FreeToken
- تحذير
- NOTE
- NOTE
محرك خدمة استدلال (Inference) مفتوح المصدر مخصص لتشغيل نماذج MoE الضخمة محلياً على أجهزة الحوسبة الاستهلاكية، مما يتيح تشغيل نماذج بحجم 284B على حاسوب ألعاب و753B على بطاقة رسوميات واحدة، بسرعة تفاعلية تصل إلى 83 رمزاً في الثانية.
- Licensing
- مجاني بالكامل، مفتوح المصدر
- Platfroms
- لينكس، ويندوز
- حالة المشروع
- نشط
- Last page review
The website link may include a referral commission that supports Al-Hisn, at no cost to you.
عن FreeToken
FreeToken هو محرك خدمة استدلال (Serving Engine) مفتوح المصدر مصمم خصيصاً لتشغيل نماذج اللغة الكبيرة من نوع Mixture-of-Experts (MoE) على الأجهزة الشخصية والاستهلاكية، بدلاً من الاعتماد على مجموعات GPU في مراكز البيانات. تم تطويره بواسطة باحثين من جامعة كاليفورنيا بيركلي (Sky Computing Lab) وجامعة تكساس في أوستن ومعهد ماساتشوستس للتكنولوجيا (MIT)، من بينهم باحثون بارزون مثل Song Han وMatei Zaharia وIon Stoica. يعالج المحرك المشكلة الأساسية المتمثلة في الفجوة المتزايدة بين توفر النماذج مفتوحة الأوزان والقدرة على تشغيلها فعلياً، حيث تتطلب هذه النماذج عادةً بنية تحتية باهظة التكلفة.
يعتمد FreeToken على فلسفة “الحوسبة الطرفية الأصلية” (Edge-Native)، حيث يتعامل مع الجهاز الشخصي ليس كبطاقة رسوميات صغيرة، بل كمنصة استدلال مرنة وموحدة. تشمل الميزات التقنية الرئيسية: التنفيذ المشترك بين CPU وGPU المتكيف مع عرض النطاق (q⋆ policy)، والتدفق المزدوج للمخزن المؤقت الكامل للطبقة (Full-Layer Double-Buffered Prefill Streaming) لتحسين سرعة المعالجة الأولية، والتخزين المؤقت الذكي للخبراء (Global LRU Expert Caching) لتقليل عمليات النقل عبر PCIe، والتخزين الدلالي المتقدم (Semantic-Aware Caching) الذي يتيح إعادة استخدام السياق في مهام الوكلاء المتكررة دون إعادة حساب.
يدعم FreeToken أكثر من 20 نموذج MoE مفتوح الأوزان، بما في ذلك DeepSeek-V4-Flash وQwen3.6-35B-A3B وGLM-5.2 وGemma-4 وغيرها، مع دعم صيغ التكميم MXFP4 وNVFP4 وFP8 وBF16. كما يوفر واجهات برمجة تطبيقات متوافقة مع OpenAI وAnthropic، مما يتيح التكامل السلس مع أدوات البرمجة والوكلاء الذكيين مثل Codex وClaude Code وOpenCode وOpenClaw. يدعم المحرك بطاقات رسوميات NVIDIA من سلسلة RTX 30 و40 و50، بالإضافة إلى وحدات معالجة الرسوميات الاحترافية، ويتوفر كتطبيق سطح مكتب لأنظمة Windows وLinux، أو كأداة سطر أوامر (CLI) لأنظمة Linux x86_64 مع بطاقات NVIDIA.
حقق FreeToken أداءً لافتاً في الاختبارات، حيث تمكن من تشغيل نموذج Qwen3.6-35B-A3B بسرعة 77 إلى 83 رمزاً في الثانية على بطاقة RTX 5090، وتشغيل نموذج GLM-5.2 بحجم 753 مليار معلمة على بطاقة رسوميات واحدة لمحطة العمل. المشروع مرخص بموجب رخصة Apache 2.0، وهو متاح على GitHub وPyPI كحزمة `freetoken`، مما يجعله خياراً مثالياً للمطورين والشركات الناشئة والفرق الهندسية الصغيرة التي تبحث عن بديل محلي لخدمات الاستدلال السحابية الباهظة، خاصة في القطاعات التي تتطلب الامتثال والخصوصية مثل الرعاية الصحية والقانون والدفاع.
بدائل FreeToken
أسئلة شائعة حول FreeToken
كيف يختلف FreeToken عن llama.cpp أو vLLM؟
llama.cpp وvLLM محركان عامان لخدمة نماذج اللغة، لكنهما يعتمدان في تشغيل النماذج الكبيرة على وجود ذاكرة VRAM كافية أو على تفريغ ثابت (Static Offloading) غير مرن. FreeToken مصمم خصيصاً لنماذج MoE على الأجهزة الطرفية، ويتميز باستراتيجية تفريغ متكيفة مع عرض النطاق (q⋆ policy) توزع العمل ديناميكياً بين CPU وGPU، وتخزين مؤقت ذكي للخبراء (LRU Cache) لتقليل النقل عبر PCIe، وإدارة مرنة للذاكرة تتيح إعادة تخصيص VRAM بين ذاكرة الخبراء وذاكرة KV دون إعادة تشغيل المحرك. هذا يسمح بتشغيل نماذج أكبر بكثير مما يمكن تشغيله عادةً على نفس العتاد.
ما هي النماذج التي يمكن تشغيلها على بطاقة رسوميات واحدة؟
حسب التوثيق الرسمي، يمكن تشغيل نموذج بحجم 35B (مثل Qwen3.6-35B-A3B) على بطاقة رسوميات بسعة 8 جيجابايت في حاسوب محمول بسرعة تفاعلية، ونموذج بحجم 284B على حاسوب ألعاب، ونموذج GLM-5.2 بحجم 753B على بطاقة رسوميات واحدة لمحطة عمل. يعتمد الأداء الفعلي على طراز البطاقة وعرض النطاق الترددي للذاكرة والقرص ونوع التكميم المستخدم.
هل يمكن استخدام FreeToken مع أدوات البرمجة بالذكاء الاصطناعي مثل Claude Code؟
نعم، يوفر FreeToken واجهات برمجة تطبيقات متوافقة مع OpenAI وAnthropic، مما يتيح استخدامه مباشرة مع أدوات مثل Claude Code وCodex وOpenCode وOpenClaw وDeepSeek Harness. يمكنك تشغيل الخادم محلياً باستخدام الأمر `ft serve –model ` ثم توجيه الأداة إلى نقطة النهاية المحلية (localhost:1919 افتراضياً). كما يتضمن الأمر `ft launch` لتكوين وتشغيل وكيل برمجي ضد الخادم المحلي مباشرة.
هل يمكن استخدام FreeToken بدون اتصال بالإنترنت؟
نعم، FreeToken مصمم ليعمل محلياً بالكامل. بعد تنزيل أوزان النموذج مرة واحدة (من Hugging Face مثلاً)، يمكن تشغيل المحرك والاستدلال دون أي اتصال بالإنترنت. جميع العمليات تتم على العتاد المحلي، مما يضمن بقاء بياناتك خاصة ومتوافقة مع متطلبات الامتثال مثل HIPAA وGDPR في القطاعات الحساسة.