Flight Radar 2025 - Real-Time Flight Tracking Pipeline
تفاصيل العمل
يهدف هذا المشروع إلى إنشاء مسار بيانات حديث لتوليد ونقل ومعالجة وتصوير بيانات وهمية لأحداث الرحلات الجوية. يستخدم النظام Python (Faker) لإنتاج أحداث رحلات افتراضية تُنقل عبر Kafka كوسيط رسائل لحظي. يقوم Spark Structured Streaming باستهلاك ومعالجة هذه الأحداث، وتحويل البيانات قبل حفظها في قاعدة بيانات PostgreSQL. أخيراً، تُعرض تفاصيل ومواقع وحالات الرحلات (في الوقت المحدد، متأخرة، ملغاة) في لوحة معلومات تفاعلية عبر Streamlit وفي الوقت الفعلي. تُستخدم حاويات Docker Compose لتنسيق وتشغيل جميع الخدمات في بيئة قوية وقابلة للاستنساخ.
مهارات العمل
بطاقة العمل
طلب عمل مماثل
