A .gguf رحلة تنتظر مدرجاً: الملف الوحيد نفسه يعمل في Ollama وllama.cpp وLM Studio وJan و— مع تحفظات — vLLM. هذه هي الفحوصات قبل الإقلاع، بالترتيب: اختر المشغّل، اجلب النموذج، تحقق أنه هبط فعلاً على كرت الشاشة، واحفظ أسماء الإجهاضات الأربعة قبل حدوثها.

THE PRE-FLIGHT

خمس فحوصات بين التنزيل ونموذج يقدّم الخدمة. ضع علامة عليها وأنت تسير — المدرج يضيء خلفك.

THE FILE, AND ITS NAME

صيغة GGUF (GGML Universal File) حاوية للنماذج المكمَّمة: الأوزان والمقطِّع والبيانات الوصفية — ملف واحد بلا حساء إعدادات.

أوزان مضغوطة من 16 بتاً إلى 4: نموذج 9B يحتاج ~18 GB بالدقة الكاملة يتسع في ~5.5 GB كـ Q4 — كرت ألعاب أو حتى معالج.

المنظمة · النموذج الأساسي · التصدير · وسم التكميم — يهمّ أمران: الأساس (gemma-2-9b-it) ومدى قسوة ضغط الأوزان (Q4_K_M)

TWO WAYS TO FLY IT

Ollama — خدمة الاضبط-و-انصرف. GGUF أصلي عندها، ومنذ 2024 تجلب مباشرة من Hugging Face. الثمن هو التحكم: لا تختار عدد طبقات كرت الشاشة.

# اجلب تكميماً GGUF مباشرة من Hugging Face وتحدث
ollama run hf.co/bartowski/gemma-2-9b-it-GGUF:Q4_K_M

# or wrap a file you already have — Modelfile, one line:# أو غلّف ملفاً لديك أصلاً — Modelfile، سطر واحد:# FROM ./gemma-2-9b-it-Q4_K_M.gguf
ollama create gemma9b -f Modelfile
ollama run gemma9b

llama.cpp — الموطن الأصلي لـ GGUF. الدعم الأعمق والأحدث، وllama-server يمنحك واجهة دردشة ونقطة نهاية متوافقة مع OpenAI معاً:

# نزّل مباشرة من Hugging Face (يختار GGUF مناسباً)
llama-server -hf ggml-org/gemma-3-4b-it-GGUF --port 8080

# or run a file you already have, with full GPU offload# أو شغّل ملفاً لديك أصلاً، بإزاحة كاملة إلى كرت الشاشة

The -ngl هي القوة الخارقة لـ llama.cpp — الإزاحة الجزئية. جربها على مثال السجل: نموذج 9B ذو 48 طبقة على بطاقة 6 GB:

تلميح بضربة واحدة: استبدل llama-server for llama-cli بنفس العلم -m flag. LM Studio is the same engine behind a GUI — drop in a . LM Studio هو المحرك نفسه خلف واجهة — أسقط وانقر تحميل.

WHICH QUANT IN THE TANK

الجواب الافتراضي: Q4_K_M — ضمن نقطة أو اثنتين من الدقة الكاملة عند نحو ربع الحجم؛ الجودة لكل غيغابايت تبلغ ذروتها هنا للنماذج 7–14B.

السلم، من الأكبر إلى الأصغر:

• Q8_0 — شبه بلا خسارة؛ استخدمه إن كانت ذاكرتك تبلع 8.5 بت لكل وزن دون أن تتحسس.
• Q6_K / Q5_K_M — درجة أصغر حجماً، ما زال ممتازاً للنماذج 30B+.
• Q4_K_M — the default.
• IQ4_XS / Q3_K_M — ضغط نموذج كبير على بطاقة صغيرة؛ يصير فقد الجودة ملحوظاً.
• Q2_K and below — الملاذ الأخير؛ يبدأ النموذج بالتحلل إلى هراء في منتصف الجملة.

قاعدة الاتساع: file size + ~1–2 GB of context overhead ≤ VRAM — Q4_K_M بحجم 4.7 GB لنموذج 9B مرتاح على بطاقة 8 GB.

الكلفة الإضافية هي ذاكرة KV المؤقتة: تنمو مع السياق لا مع حجم النموذج. جهّز ميزانية لأطول جلستك الحقيقية.

And prefer a نموذج أصغر بتكميم أعلى — Q8 بحجم 4B يتفوق عادة على Q2 بحجم 9B.

زاوية الصيغ: safetensors is the unquantised archive — التدريب والضبط الدقيق وtransformers وComfyUI. GGUF هو المكمَّم، القابل للتشغيل.

You can't fine-tune a GGUF, and you can't run safetensors in Ollama or llama.cpp without converting (convert_hf_to_gguf.py هو الجسر). التدريب → safetensors؛ الدردشة المحلية → GGUF.

THE FOUR ABORTS

لماذا لا يُحمَّل نموذج GGUF لديّ؟ هذه الأربعة تغطي معظم الحالات:

الزاوية الأخيرة: نقطة نهاية GGUF محلية تنسجم جميلاً مع أدوات البرمجة الوكيلة — وجّه إليها عميلاً متوافقاً مع OpenAI؛ الإكمالات لا تكلف سوى الكهرباء.

حين تعمل السباكة، يصير السؤال: أي نموذج يستحق الفتحة؛ تقرأ مقالة حجرة المحرك سجل llama.cpp-ضد-Ollama من طرف إلى طرف.

نموذج واحد ومستخدمون كثر؟ وضع GGUF في vLLM يعمل — على كرت الشاشة فقط، وراكب درجة ثانية إلى جانب صيغه الأصلية.

نهاية الرحلة الأولى · لم يُجلب شيء · كل شيء محلي