🏗️ Under constant development – if you spot an issue, I'm already working on fixing it. Thanks for your understanding! :)
Crawl4AI
WARNINGNote
مكتبة بايثون مفتوحة المصدر لاستخراج البيانات من الويب وجاهزة لنماذج اللغة الكبيرة (LLM)، تعتمد على Playwright لتقديم محتوى ديناميكي وتحويله إلى ماركداون نظيف، مع ميزات متقدمة مثل معالجة الخوادم الوكيلة والتخصيص العميق.
Software License: Open Source (Apache 2.0)
About Crawl4AI
Crawl4AI هي مكتبة بايثون حديثة (أكثر من 60 ألف نجمة على GitHub) مصممة لاستخراج بيانات الويب وتحويلها إلى تنسيق ماركداون نظيف وجاهز لنماذج اللغة الكبيرة (LLM). تستخدم المكتبة متصفح Playwright لتحميل الصفحات وتنفيذ الجافا سكريبت، مما يضمن معالجة المحتوى الديناميكي. توفر Crawl4AI مجموعة شاملة من الميزات المتقدمة، بما في ذلك: استخراج بيانات مهيكلة باستخدام مخططات JSON مخصصة (CSS و XPath)، معالجة الخوادم الوكيلة الديناميكية (Rotating proxies)، الامتثال لملفات robots.txt، جدولة عمليات الزحف المتقدمة، وتخصيص عميق لسلوك الزاحف عبر الخطافات (hooks) وسير العمل المخصص (custom workflows). كما تتضمن المكتبة أدوات ذكاء اصطناعي لتوليد مخططات الاستخراج (schemas) تلقائيًا باستخدام OpenAI أو نماذج محلية، مما يبسط عملية تحويل المواقع إلى بيانات منظمة. تقدم Crawl4AI بنية غير متزامنة (asynchronous) تسهل بناء خطوط أنابيب بيانات عالية الأداء، وتدعم التكامل مع أطر LLM الشائعة مثل LangChain و LlamaIndex. المكتبة متاحة عبر pip (`pip install crawl4ai`) مع تبعيات إضافية لـ Playwright، وتعمل على جميع أنظمة التشغيل الرئيسية. تحتوي على ميزة “تفريغ الظل” (Shadow DOM flattening) وكشف الحظر التلقائي، وتبلغ عدد تحميلاتها على PyPI أكثر من 9 ملايين عملية. المشروع حصل على أكثر من 60 ألف نجمة على GitHub ويتم تطويره بنشاط تحت رخصة Apache 2.0. أحدث إصدار هو v0.8.6 (مايو 2026).
Origin: Global
Pro & Cons of Crawl4AI
Pro's
- Active Community
- Asynchronous
- Cross-Platform
- Extensible by Plugins/Extensions
- LLM-Ready Output
- Modern Architecture
- Open Source
- Playwright Integration
Con's
- Limited Browser Automation (Relies on Playwright)
- Limited Integrations
- Requires Self-Hosting Expertise
- Resource Intensive
- Setup Complexity
FAQ About Crawl4AI
These are the most frequently asked questions about Crawl4AI
Scrapy هو إطار عمل لاستخراج البيانات باستخدام طلبات HTTP مباشرة، ولا يتعامل مع محتوى الجافا سكريبت بطبيعته. بينما يعتمد Crawl4AI على Playwright لتشغيل متصفح حقيقي، مما يمكنه من معالجة المواقع الحديثة التي تعتمد بشكل كبير على الجافا سكريبت. كما أن Crawl4AI يوفر إخراجًا منسقًا كماركداون جاهزًا لـ LLM، بينما يوفر Scrapy بيانات خام (JSON، CSV).
يدعم Crawl4AI نماذج LLM المحلية عبر Ollama، حيث يمكن استبدال مفتاح API الخاص بـ OpenAI بعنوان خادم Ollama المحلي (مثل `http://localhost:11434`). هذا يتيح توليد مخططات الاستخراج (schemas) ومعالجة البيانات دون الاتصال بالإنترنت وبدون تكاليف إضافية.
قم بتثبيت المكتبة عبر `pip install crawl4ai`، ثم قم بتشغيل `playwright install` لتحميل متصفحات Playwright المطلوبة. قد تحتاج إلى تثبيت تبعيات إضافية (مثل `playwright install-deps` على Linux) لضمان عمل المتصفحات بشكل صحيح.
Supported Languages
English
Learn More About Crawl4AI
[alhisn_related_posts]
Resources About Crawl4AI
News & Updates About Crawl4AI
[alhisn_related_news]
No Data
Alternatives and Similar Tools to Crawl4AI
0 out of 5 stars (based on 0 reviews)
There are no reviews yet. Be the first one to write one.
أخر تحديث للصفحة May 27, 2026