قمت بتصميم وبناء مستودع بيانات متطور لتحليل المعاملات المالية الضخمة، مع التركيز على تحسين الأداء واكتشاف المخاطر المالية باستخدام أدوات المعالجة الحديثة.
أبرز المهام التقنية والنتائج:
- هندسة خطوط البيانات (Medallion Pipeline):
بناء مسار بيانات متكامل يعتمد على هيكلية Medallion لمعالجة أكثر من 22.2 مليون سجل مالي باستخدام DuckDB و Apache Airflow.
- تحسين كفاءة الاستيعاب (Ingestion Optimization):**
استخدام DuckDB للقضاء على مشاكل انهيار الذاكرة (Memory Crashes) ومعالجة البيانات المعقدة من نوع JSON وتحويلها إلى جداول منظمة بكفاءة عالية.
- هندسة التحويلات باستخدام dbt:
بناء مخططات dbt (dbt Lineage) لتنظيم تسلسل تحويل البيانات، مع تفعيل اختبارات جودة البيانات (Data Tests) بشكل آلي في كل مرحلة لضمان دقة النتائج.
- نمذجة البيانات والأداء:
تصميم Star Schema مع تطبيق تقنيات SQL Indexing المتقدمة لتحقيق سرعة استعلام فائقة (Sub-second performance) في الطبقة الذهبية.
- تحليل المخاطر والبيانات المالية:
تطوير لوحات تحكم تفاعلية باستخدام Power BI ساهمت في اكتشاف مخاطر احتيال بقيمة 1.4 مليون دولار، خاصة في قطاعات الدخل المنخفض.
التقنيات المستخدمة:
- DuckDB (High-performance analytics)
- dbt (Transformations & Lineage)
- Apache Airflow (Orchestration)
- Power BI (Risk Analytics)
- SQL Server / PostgreSQL
