Scrapy

إطار عمل سريع وعالي المستوى لاستخراج البيانات من مواقع الويب باستخدام لغة بايثون، يدعم الزحف المتزامن والمعالجة غير المتزامنة، وهو مثالي للمشاريع واسعة النطاق.

حالة المشروع
نشط
آخر مراجعة للصفحة
زيارة الموقع الرسميالتوثيقالمستودع

قد يتضمّن رابط الموقع عمولة إحالة تدعم الحصن، دون أي تكلفة عليك.

عن Scrapy

Scrapy هو إطار عمل مفتوح المصدر ومتعدد المنصات لاستخراج البيانات من المواقع الإلكترونية (web scraping)، تم تطويره بلغة بايثون، وهو يُستخدم على نطاق واسع لبناء مشاريع زحف كبيرة ومعقدة. صُمم Scrapy ليكون سريعًا وفعالًا بفضل بنيته غير المتزامنة (asynchronous) التي تسمح بمعالجة طلبات متعددة في وقت واحد. يوفر الإطار واجهات برمجية متقدمة لتحليل المحتوى باستخدام محددات XPath و CSS، وآليات مدمجة لتتبع الروابط، ودعمًا واسعًا لتنسيقات البيانات المخرجة مثل JSON و CSV و XML. يتميز Scrapy بقدرته على التعامل مع الطلبات وإعادة المحاولات تلقائيًا، وإدارة الجلسات وملفات تعريف الارتباط، ودعم الوكيل الوسطي. يتكامل Scrapy أيضًا مع السحابة عبر خدمة Scrapy Cloud، ويتم صيانته بواسطة Zyte (سابقًا Scrapinghub) ومجتمع مفتوح المصدر. يُستخدم Scrapy في مجالات تحليل البيانات، والتجارة الإلكترونية، والبحث الأكاديمي، وأتمتة جمع المعلومات، مع أكثر من 61 ألف نجمة على GitHub و 604 مساهمًا. يعتمد الإطار على رخصة BSD-3-Clause ويتطلب Python 3.10+.

بدائل Scrapy

أسئلة شائعة حول Scrapy

هل يمكن لـ Scrapy التعامل مع صفحات الجافا سكريبت؟

Scrapy في جوهره لا يعالج الجافا سكريبت لأنه يعتمد على طلبات HTTP مباشرة. ولكن يمكن دمجه مع أدوات مثل Splash أو Selenium أو Playwright لتمكينه من معالجة المحتوى الديناميكي، وهو أمر شائع في المشاريع المتقدمة.

كيف يمكن تخزين البيانات الم extracted باستخدام Scrapy؟

يدعم Scrapy تصدير البيانات بتنسيقات متعددة مثل JSON، CSV، XML، و JSON Lines. يمكن أيضًا تخزينها في قواعد بيانات مثل MongoDB و PostgreSQL عبر خطوط الأنابيب (Item Pipelines).