Retail Data & Analytics Lakehouse__معالجة وتحليل بيانات لقطاع المتاجر

️ مشروع: _Retail Data Pipeline (End-to-End) Analytical مشروع pipeline متكامل لمعالجة بيانات قطاع التجزئة يعتمد على خدمات Azure ويطبّق منهجية Medallion Architecture (Bronze – Silver – Gold) باستخدام: Azure Data Factory Azure Data Lake Storage Azure Databricks (Apache Spark) Power BI نظرة عامة على المشروع الهدف من المشروع تصميم وتنفيذ منصة بيانات حديثة (Data Lakehouse) قادرة على: استخراج البيانات من مصادر متعددة تخزينها ومعالجتها على مراحل تحويلها إلى جداول جاهزة للتحليلات والمؤشرات عرض النتائج على لوحات Power BI تفاعلية ? المخطط (Architecture) يتكون النظام من 3 طبقات رئيسية وفق منهجية Medallion Architecture: المستوىالوصفمثال تسمية الجدول ? Bronzeالبيانات الخام بعد الاستخراج Rawtable_name_bronze ? Silverبيانات منظّفة ومحولةtable_name_silver ? Goldجداول نهائية لصناعة القرار (KPIs)table_name_gold ️ مصادر البيانات المستخدمة (Data Sources) Azure SQL Database ويحتوي على 3 جداول: Products Transactions Stores REST API ويحتوي على جدول واحد: Customers ️ المرحلة 1: الاستخراج باستخدام Azure Data Factory تم بناء Pipeline يقوم بـ: استخراج البيانات من Azure SQL + REST API حفظ الملفات في Azure Data Lake بصيغة Parquet تنظيم الملفات حسب الطبقة (Bronze Folder) ️ المرحلة 2: المعالجة باستخدام Azure Databricks (Spark) يشمل العمل داخل Databricks: إنشاء Catalog و Schema للبيانات الاتصال بـ Azure Data Lake معالجة البيانات باستخدام PySpark تطبيق مراحل Bronze → Silver → Gold أهم جداول Gold KPIs الناتجة: top_countries top_products top_stores top_customers geography top_year top_months المرحلة 3: بناء لوحات Power BI تم ربط Power BI بــ Databricks SQL Endpoint عبر Access Token وتم إنشاء 3 صفحات: الصفحةالمحتوى التحليليأمثلة على العناصر Salesإجمالي المبيعات، الاتجاهات الشهرية، توزيع المناطقLine, Map Charts Productsالمنتجات الأكثر مبيعاً، أداء الفئاتBar Charts Customersأعلى العملاء شراءً، المواقع الجغرافيةMap, Pie Charts ? التقنيات المستخدمة (Tech Stack) الفئةالتقنية التخزينAzure Data Lake Storage (ADLS) الاستخراجAzure Data Factory ? المعالجةAzure Databricks (Apache Spark / PySpark) التحليل المرئيPower BI ️ الهيكليةMedallion Architecture (Bronze–Silver–Gold) ? ما تم اكتسابه من المشروع (Key Learnings) تنفيذ بايبلاين بيانات متكامل End-to-End على Azure تطبيق منهجية Lakehouse باستخدام Medallion Layers دمج ELT/ETL بين Data Factory و Databricks إعداد لوحات تفاعلية احترافية باستخدام Power BI بناء جداول KPIs تدعم اتخاذ القرار لأعمال التجزئة