Crawl4AI

  • تحذير
  • NOTE

مكتبة بايثون مفتوحة المصدر لاستخراج البيانات من الويب وجاهزة لنماذج اللغة الكبيرة (LLM)، تعتمد على Playwright لتقديم محتوى ديناميكي وتحويله إلى ماركداون نظيف، مع ميزات متقدمة مثل معالجة الخوادم الوكيلة والتخصيص العميق.

حالة المشروع
نشط
Last page review
Official SiteDocsrepository

The website link may include a referral commission that supports Al-Hisn, at no cost to you.

تنبيهات مهمة

تحذير

Crawl4AI v0.8.5 had a security issue with litellm; upgrade to v0.8.6 or later.

NOTE

Crawl4AI requires Playwright browsers to be installed (`playwright install`) and may need additional setup for different platforms.

عن Crawl4AI

Crawl4AI هي مكتبة بايثون حديثة (أكثر من 60 ألف نجمة على GitHub) مصممة لاستخراج بيانات الويب وتحويلها إلى تنسيق ماركداون نظيف وجاهز لنماذج اللغة الكبيرة (LLM). تستخدم المكتبة متصفح Playwright لتحميل الصفحات وتنفيذ الجافا سكريبت، مما يضمن معالجة المحتوى الديناميكي. توفر Crawl4AI مجموعة شاملة من الميزات المتقدمة، بما في ذلك: استخراج بيانات مهيكلة باستخدام مخططات JSON مخصصة (CSS و XPath)، معالجة الخوادم الوكيلة الديناميكية (Rotating proxies)، الامتثال لملفات robots.txt، جدولة عمليات الزحف المتقدمة، وتخصيص عميق لسلوك الزاحف عبر الخطافات (hooks) وسير العمل المخصص (custom workflows). كما تتضمن المكتبة أدوات ذكاء اصطناعي لتوليد مخططات الاستخراج (schemas) تلقائيًا باستخدام OpenAI أو نماذج محلية، مما يبسط عملية تحويل المواقع إلى بيانات منظمة. تقدم Crawl4AI بنية غير متزامنة (asynchronous) تسهل بناء خطوط أنابيب بيانات عالية الأداء، وتدعم التكامل مع أطر LLM الشائعة مثل LangChain و LlamaIndex. المكتبة متاحة عبر pip (`pip install crawl4ai`) مع تبعيات إضافية لـ Playwright، وتعمل على جميع أنظمة التشغيل الرئيسية. تحتوي على ميزة "تفريغ الظل" (Shadow DOM flattening) وكشف الحظر التلقائي، وتبلغ عدد تحميلاتها على PyPI أكثر من 9 ملايين عملية. المشروع حصل على أكثر من 60 ألف نجمة على GitHub ويتم تطويره بنشاط تحت رخصة Apache 2.0. أحدث إصدار هو v0.8.6 (مايو 2026).

بدائل Crawl4AI

أسئلة شائعة حول Crawl4AI

ما الفرق بين Crawl4AI و Scrapy؟

Scrapy هو إطار عمل لاستخراج البيانات باستخدام طلبات HTTP مباشرة، ولا يتعامل مع محتوى الجافا سكريبت بطبيعته. بينما يعتمد Crawl4AI على Playwright لتشغيل متصفح حقيقي، مما يمكنه من معالجة المواقع الحديثة التي تعتمد بشكل كبير على الجافا سكريبت. كما أن Crawl4AI يوفر إخراجًا منسقًا كماركداون جاهزًا لـ LLM، بينما يوفر Scrapy بيانات خام (JSON، CSV).

كيف يمكن استخدام Crawl4AI مع نماذج LLM المحلية؟

يدعم Crawl4AI نماذج LLM المحلية عبر Ollama، حيث يمكن استبدال مفتاح API الخاص بـ OpenAI بعنوان خادم Ollama المحلي (مثل `http://localhost:11434`). هذا يتيح توليد مخططات الاستخراج (schemas) ومعالجة البيانات دون الاتصال بالإنترنت وبدون تكاليف إضافية.

كيفية تثبيت Crawl4AI مع دعم Playwright؟

قم بتثبيت المكتبة عبر `pip install crawl4ai`، ثم قم بتشغيل `playwright install` لتحميل متصفحات Playwright المطلوبة. قد تحتاج إلى تثبيت تبعيات إضافية (مثل `playwright install-deps` على Linux) لضمان عمل المتصفحات بشكل صحيح.