Crawlee

Crawlee هي مكتبة مفتوحة المصدر طورتها شركة Apify لبناء زواحف ويب موثوقة وسريعة باستخدام Node.js. صُممت لدعم كل من زحف HTTP التقليدي والمتصفح الخفي عبر Playwright أو Puppeteer، مما يجعلها مناسبة لمجموعة واسعة من سيناريوهات استخراج البيانات وأتمتة المتصفحات. تتوفر المكتبة بلغتي JavaScript و TypeScript، وتتميز بواجهة برمجة واحدة لأنماط الزحف المختلفة، مما يبسط كتابة الكود ويقلل التعقيد. تدير Crawlee تلقائيًا قوائم الانتظار للطلبات، وتخزن البيانات في نظام ملفات محلي أو سحابي، وتوفر آليات متقدمة للتعامل مع الأخطاء وإعادة المحاولة، وتدعم الوكيل المتداول وإدارة الجلسات لتجنب الحظر. تشمل ميزاتها الرئيسية: واجهة واحدة لـ HTTP و headless browser، قوائم انتظار مستمرة للروابط، تخزين قابل للتوصيل للبيانات والملفات، وجدولة مدمجة. تعمل Crawlee على Node.js 16 أو أحدث، وهي متوافقة مع TypeScript، وتوفر واجهة سطر أوامر CLI لإنشاء مشاريع جديدة. تُستخدم المكتبة على نطاق واسع في مشاريع جمع البيانات، وتحسين محركات البحث، وتغذية نماذج الذكاء الاصطناعي (LLMs، RAG)، وهي الأساس لـ Apify Actors. تم تطويرها تحت رخصة Apache 2.0، وحصلت على أكثر من 23 ألف نجمة على GitHub. أحدث إصدار هو 3.0.2، صدر في مايو 2026.