Crawlee

مكتبة استخراج بيانات وأتمتة متصفحات حديثة لـ Node.js، تدعم البرمجة بلغتي JavaScript و TypeScript، وتوفر واجهة واحدة لأنماط الزحف HTTP والمتصفح الخفي، مع إدارة متكاملة للجلسات والوكلاء.

حالة المشروع
نشط
آخر مراجعة للصفحة
زيارة الموقع الرسميالتوثيقالمستودع

قد يتضمّن رابط الموقع عمولة إحالة تدعم الحصن، دون أي تكلفة عليك.

عن Crawlee

Crawlee هي مكتبة مفتوحة المصدر طورتها شركة Apify لبناء زواحف ويب موثوقة وسريعة باستخدام Node.js. صُممت لدعم كل من زحف HTTP التقليدي والمتصفح الخفي عبر Playwright أو Puppeteer، مما يجعلها مناسبة لمجموعة واسعة من سيناريوهات استخراج البيانات وأتمتة المتصفحات. تتوفر المكتبة بلغتي JavaScript و TypeScript، وتتميز بواجهة برمجة واحدة لأنماط الزحف المختلفة، مما يبسط كتابة الكود ويقلل التعقيد. تدير Crawlee تلقائيًا قوائم الانتظار للطلبات، وتخزن البيانات في نظام ملفات محلي أو سحابي، وتوفر آليات متقدمة للتعامل مع الأخطاء وإعادة المحاولة، وتدعم الوكيل المتداول وإدارة الجلسات لتجنب الحظر. تشمل ميزاتها الرئيسية: واجهة واحدة لـ HTTP و headless browser، قوائم انتظار مستمرة للروابط، تخزين قابل للتوصيل للبيانات والملفات، وجدولة مدمجة. تعمل Crawlee على Node.js 16 أو أحدث، وهي متوافقة مع TypeScript، وتوفر واجهة سطر أوامر CLI لإنشاء مشاريع جديدة. تُستخدم المكتبة على نطاق واسع في مشاريع جمع البيانات، وتحسين محركات البحث، وتغذية نماذج الذكاء الاصطناعي (LLMs، RAG)، وهي الأساس لـ Apify Actors. تم تطويرها تحت رخصة Apache 2.0، وحصلت على أكثر من 23 ألف نجمة على GitHub. أحدث إصدار هو 3.0.2، صدر في مايو 2026.

بدائل Crawlee

أسئلة شائعة حول Crawlee

ما الفرق بين Crawlee و Puppeteer أو Playwright؟

Puppeteer و Playwright هما أدوات للتحكم في المتصفحات الخفية (headless browsers)، بينما Crawlee هي مكتبة متكاملة لبناء الزواحف (crawlers) تستخدم هذه الأدوات كأساس، وتضيف عليها إدارة قوائم الانتظار، والتخزين، والتعامل مع الأخطاء، وإدارة الجلسات، وغيرها من الميزات المتقدمة.

هل يمكن استخدام Crawlee مع أي قاعدة بيانات؟

بشكل افتراضي، يخزن Crawlee البيانات في نظام الملفات المحلي (JSON Lines). ولكن يمكن تخصيصه لتخزين البيانات في أي وجهة مرغوبة، بما في ذلك قواعد بيانات مثل MongoDB أو PostgreSQL، عبر تنفيذ واجهات التخزين المخصصة (Storage adapters).