ScrapeGraphAI

  • NOTE

مكتبة بايثون لاستخراج البيانات من الويب باستخدام نماذج اللغة الكبيرة (LLMs) والرسوم البيانية المنطقية، تسمح باستخراج المعلومات بناءً على المعنى وليس على محددات ثابتة.

حالة المشروع
نشط
Last page review
Official SiteDocsrepository

The website link may include a referral commission that supports Al-Hisn, at no cost to you.

تنبيهات مهمة

NOTE

ScrapeGraphAI is in beta; check latest version. Monitor API costs; use markdown mode for savings.

عن ScrapeGraphAI

ScrapeGraphAI هي مكتبة بايثون مفتوحة المصدر تستخدم نماذج اللغة الكبيرة (LLMs) لاستخراج البيانات المهيكلة من المواقع الإلكترونية والملفات المحلية مثل XML، HTML، JSON، و Markdown. بدلاً من كتابة محددات (selectors) يدويًا، يمكن للمستخدم تحديد المعلومات المطلوبة وستقوم المكتبة بالباقي. تدعم المكتبة تكاملًا واسعًا مع أطر LLM مثل LangChain و LlamaIndex و CrewAI، وأطر منخفضة الكود مثل Pipedream و Bubble و Zapier و n8n و Dify. تتضمن أنواعًا مختلفة من "الرسوم البيانية" (graphs) مثل SmartScraperGraph (لصفحة واحدة مع إدخال المستخدم) وSearchGraph (للبحث عن روابط). تتميز ScrapeGraphAI بقدرتها على معالجة الصفحات الديناميكية التي تستخدم الجافا سكريبت، وتوفر وضع تحويل إلى Markdown بتكلفة أقل بنسبة 80% مقارنة بوضع AI. تم تطويرها تحت رخصة MIT وحصلت على أكثر من 21 ألف نجمة على GitHub. الإصدار الثابت هو v1.20.0-beta.1، وهي مناسبة لبناء خطوط أنابيب بيانات (data pipelines) لتطبيقات الذكاء الاصطناعي وتعلم الآلة.

بدائل ScrapeGraphAI

أسئلة شائعة حول ScrapeGraphAI

ما الفرق بين ScrapeGraphAI و BeautifulSoup؟

BeautifulSoup يتطلب كتابة محددات (selectors) ثابتة لفهم بنية الصفحة، بينما يستخدم ScrapeGraphAI نماذج اللغة الكبيرة (LLMs) لتفسير المحتوى واستخراج المعلومات بناءً على المعنى، مما يجعله أكثر مرونة مع التغييرات في تصميم الصفحات.

كيف يمكن تقليل تكاليف استخدام LLM مع ScrapeGraphAI؟

يوفر ScrapeGraphAI وضع تحويل إلى Markdown (markdown conversion mode) الذي يحول الصفحات إلى نص خالص بتكلفة أقل بنسبة 80% من وضع AI، كما يتيح استخدام نماذج محلية (مثل Ollama) لتجنب تكاليف APIs تمامًا.