استخراج ومعالجة بيانات الوظائف من Wuzzuf باستخدام Web Scraping

نبذة عن المشروع: طورت نظام متكامل لاستخراج بيانات الوظائف تلقائياً من موقع Wuzzuf باستخدام Web Scraping المتقدم، يتضمن ثلاث مراحل: تجاوز أنظمة الحماية، استخراج البيانات، وتنظيفها لتصبح جاهزة للتحليل. مراحل العمل المرحلة الأولى: اختبار الوصول استخدمت Undetected ChromeDriver لتجاوز أنظمة كشف البوتات، مع ضبط خيارات المتصفح وانتظار 15 ثانية لتحميل المحتوى الديناميكي، وحفظ الصفحة كاملة في HTML. المرحلة الثانية: الاستخراج التلقائي التنقل بين الصفحات: بنيت نظام pagination ذكي باستخدام معامل start في URL مع آلية توقف تلقائي. استخراج البيانات: استخدمت BeautifulSoup لاستخراج ثلاثة حقول: عنوان الوظيفة، الموقع، ووقت النشر، مع معالجة حالتين مختلفتين للعرض وإضافة "N/A" للحقول المفقودة. الحفظ: حفظت البيانات في CSV بترميز UTF-8 مع عداد للتتبع وتقارير بعد كل صفحة، واستخدمت try-finally لضمان إغلاق المتصفح. المرحلة الثالثة: تنظيف البيانات بناء دالة ذكية: صممت parse_relative_date لتحويل النصوص الزمنية: "hour" → 0 أيام "yesterday" → 1 يوم الأسابيع → ×7 الأشهر → ×30 السنوات → ×365 النتيجة: أضفت عمودين جديدين (Days Ago و Posted Date) بصيغة YYYY-MM-DD، وحفظت الملف النهائي بترميز UTF-8. التحديات والحلول أنظمة الحماية: استخدام Undetected ChromeDriver المحتوى الديناميكي: WebDriverWait بدلاً من time.sleep اختلاف التنسيقات: منطق مرن لحالتين مختلفتين دقة التواريخ: دالة شاملة بتقريبات معقولة النتائج استخراج مئات الوظائف في دقائق ملف CSV جاهز للتحليل سهولة تعديل الكود لمسميات وظيفية أخرى تواريخ دقيقة قابلة للفرز المهارات المستخدمة Web Scraping (Selenium) Bot Detection Bypass HTML Parsing (BeautifulSoup) Dynamic Content Handling String Parsing Data Cleaning Error Handling CSV Management Python Programming المكتبات المستخدمة Python 3 - Undetected ChromeDriver - Selenium - BeautifulSoup4 - CSV - Datetime - LXML