قمت بتطوير نظام متكامل (End-to-End Data Pipeline) مخصص لجلب ومعالجة بيانات توزيعات أرباح الأسهم من الأسواق العالمية. يهدف المشروع إلى تحويل البيانات الخام إلى رؤى استثمارية واضحة من خلال بنية تحتية هندسية قوية تضمن الدقة والسرعة.
أبرز المميزات التقنية للمشروع:
جلب البيانات: الاعتماد على Polygon.io API للحصول على بيانات دقيقة ومحدثة.
إدارة سير العمل (Orchestration): استخدام Apache Airflow (عبر منصة Astronomer) لضمان جدولة المهام ومراقبتها بكفاءة.
معالجة البيانات: استخدام مكتبة Polars، المعروفة بأدائها الفائق وسرعتها في معالجة البيانات الضخمة مقارنة بالحلول التقليدية.
التخزين والنمذجة: تخزين البيانات في مستودع Snowflake السحابي، مع إجراء عمليات التحويل (Transformation) باستخدام dbt لضمان جودة وتنظيم البيانات.
التحليل المرئي: تصميم لوحات تحكم تفاعلية عبر Grafana لعرض النتائج وتحليل اتجاهات السوق بشكل فوري.
