■ فضاء · مكبس الكتل · fig 1

■ الجواب أولاً

Q4_K_M افتراضياً — نحو 4.85 بت لكل وزن، نحو 1% كلفة بيربلكسيتي، نحو 30% من الحجم الكامل الدقة.

ارتقِ إلى Q6_K للكود والرياضيات؛ وأبقِ Q8_0 للتشغيلات المرجعية؛ ودون Q4 حصص طوارئ للنماذج الكبيرة.

القرار كله سطر واحد: size_GB ≈ bits_per_weight × params / 8.

4.85بت لكل وزن — الدرجة الافتراضية

~1%كلفة البيربلكسيتي عند Q4_K_M

30%من الحجم الكامل الدقة

01المكبس

صندوق واحد، أربع ختومات — الميزان الجسري يجيب بالحجم، المؤشر يجيب بالكلفة

FIG 1 · مكبس كتل GGUFمفاتيح 1–5 — أو الأزرار · المقبض يضبط المعاملات

~1% بيربلكسيتي — الاختيار الافتراضيالاختيار الافتراضي. أفضل مقايضة جودة مقابل الجيغابايت موجودة.

درجة Q4_K_M · 4.85 BPW · السلم 4.85 GB / FP16 16.0 GB · الحجم 30% · معاملات 8B

الصندوق هو النموذج: الأوزان نفسها في كل مرور — لا يتغير إلا الختم. اضغط 5 وشاهد مؤشر الكلفة يهبط

02السلم كله

الجهاز يحمل أربع درجات — المستودع يشحن ثمانية

الدرجة	bpw	الجودة — الحكم	متى تستعمله
Q2_K الحصة	~3.4	قاسٍ تحت 13B — حصة طوارئالتماسك يبدأ بالانهيار على النماذج الصغيرة	لا شيء آخر يتسع — نماذج كبيرة فقط. اختبر قبل أن تثق.
Q3_K_M العصر	~3.9	محسوس — عصر ذاكرة VRAMخسارة محسوسة — فقط لذاكرة VRAM ضيقة عند ≥14B	ذاكرة VRAM ضيقة، نماذج ≥14B فقط.
Q4_K_S الاحتياط	~4.6	خسارة صغيرةخسارة صغيرة — حين لا يتسع Q4_K_M والفرق يسير	الاحتياط حين لا يتسع Q4_K_M والهامش ضئيل.
IQ4_XS i-quant	~4.3	≈ Q4_K_M — عصر codebookجودة ≈ Q4_K_M، أصغر — إن كان خلفيتك يشغّل i-quants	Q4_K_M أكبر قليلاً، خلفية تدعم i-quants. أبطأ قليلاً على بعض الخلفيات.
Q4_K_M الافتراضي	~4.85	~1% بيربلكسيتي — الاختيار الافتراضيأفضل جودة لكل جيغابايت — كل المستودعات تشحنه	الاختيار الافتراضي. أفضل مقايضة جودة مقابل الجيغابايت موجودة.
Q5_K_M هامش الراحة	~5.7	~0.5% بيربلكسيتيخسارة تكاد تكون منعدمة، وما يزال مريحاً	هامش مع راحة — الجودة كانت أهم من آخر جيغابايت.
Q6_K حصان العمل	~6.6	تكاد لا تتفرقتكاد لا تتفرق — درجة الكود والرياضيات	كود ورياضيات واستخراج — كل ما يعاقب الضجيج.
Q8_0 المرجع	~8.5	منعدمة عملياً (~0.02% مقابل الكاملة)منعدمة عملياً (~0.02%) — A/B وقواعد fine-tune	تشغيلات مرجعية وA/B وقواعد fine-tune — ليست للقيادة اليومية.

السطر الواحد—size_GB ≈ bits_per_weight × params / 8 — كل قراءة على المكبس تحسبها مباشرةً

مثال محلول—8B عند Q4_K_M: 4.85 × 8 / 8 = 4.85 GB؛ FP16 كان سيبلغ 16.0 GB — الصندوق ينزل إلى 30% من الدقة الكاملة

الأوزان وحدها—أضف ذاكرة KV المؤقتة والتفعيلات والمخازن: نموذج «4.9 GB» يريد بطاقة 6 GB عند سياق 4k — flash-attention مع تكميم ذاكرة KV يبقيان نافذة 16k على تلك البطاقة. وعند نافذة كاملة 128k تطلب المخزنة وحدها نحو 16 GiB.

على الـhub—فضّل ملفاً واحداً Q4_K_M.gguf على الـsplits المجزأة، إلا إذا لم يشحنوا سوى الأخيرة. متجهاً إلى vLLM بدلاً من llama.cpp؟ إضافته للـGGUF تأخذ الملفات نفسها — قاعدة GPU فقط تنطبق. على أي حال، المحرك محور مستقل عن التكميم.

03ما يزيله الختم

الصندوق يتقلص — هذا ما يفعله الختم فعلياً بالبتات

دُرّبت بـ16 بت—كل واحد من مليارات أوزان النموذج عدد من بايتين بنقطة عائمة 16 بت؛ التكميم يدس كل وزن في بتات أقل

الطريقة الساذجة—تقريب كل شيء إلى عدد صحيح 4 بت — يدمّر القيم الصغيرة المهمة

التحجيم بالكتل—أوزان مجمعة في كتل من 32، كل كتلة تحمل معامل تحجيمها الخاص، فتنجو المدى الواسع من القيم

k-quants، حرف K—عظم-كتل للمعاملات حساسة للأهمية — طبقات الانتباه والـfeed-forward تعامل بغير شكل، لأنها لا تحتمل الضغط بالتساوي

عائلة IQ—كتب-شيفرات مستعارة من ضغط الصور — بتات أقل بجودة مماثلة، أبطأ قليلاً على بعض الخلفيات

لم يمسّ—البنية والمقسّم ومعالجة السياق: التكميم يغير الأوزان المخزنة فقط

ملف Q4 وملف Q8 لنفس النموذج هما النموذج نفسه، معطفان مختلفان.

04ترتيب القرار

الآلية صادقة — إذن أي درجة لأي عمل

أولاً السياق + ميزانية KV، ثم الأوزان. سياق لا يتسع أردأ من جودة لا تستطيع قياسها — عند السياق الطويل قد تفوق المخزنة النموذج نفسه.
افتراضياً Q4_K_M. نحو 1% بيربلكسيتي مقابل نحو 30% من الحجم؛ افتراضي المجتمع، ولسبب.
ارتقِ إلى Q6_K حين تعاقب المهمة الضجيج — كود ورياضيات واستخراج، كل ما يعمل دون رقابة.
Q8_0 للمرجع فقط — اختبارات A/B وقياس الأضرار وقواعد fine-tune. كقائد يومية لا يشتري سوى حساسات VRAM ساخنة.
دون Q4 فقط تحت الإلزام، نماذج كبيرة فقط — واختبرها ببرومبت صعب معروف قبل أن تثق.

أعلى أفضل؟—تقنياً نعم؛ إدراكياً لا تكاد — Q8_0 يهبط داخل نحو 0.02% من الدقة الكاملة: lossless لأي غرض عملي؛ وQ6_K تكاد لا تتفرق

التقريب الساذج—Q4_0 يكلّف أكثر قليلاً من نحو 1–2% لدى Q4_K_M

الحجم يشتري هامشاً—70B يصمد على Q3 وزعاً؛ و7B على Q2 بتر — النماذج الكبيرة أكثر فائضاً

الأرضية تتحرك—الشات يحتمل Q4؛ الكود الدقيق والرياضيات وRAG فوق مستندات دقيقة تكشف الضجيج أسرع — إن كتب نموذج Q4 كوداً خاطئاً بخفاء، فاختبر النموذج نفسه عند Q6_K قبل أن تلوم النموذج

أوزان fp16

0.42-0.880.150.67-0.310.950.08-0.52

↓ كتلة من 32 + معامل تحجيم واحد

شيفرات q4

70362814

× التحجيم

معامل تحجيم واحد لكل كتلة من 32 — القيم الواسعة تنجو من العصر. لا يتغير سوى الأوزان المخزنة؛ البنية والمقسّم يبقيان على حالهما.

05اقسِ الأضرار بنفسك

العدادات تقرأ أحكام llama.cpp — اجعل عتادك أنت يصوّت

ابنِ llama.cpp مرة واحدة

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build && cmake --build build --config Release -j

اسحب درجتين — بيربلكسيتي، ثم سرعة

huggingface-cli download bartowski/Meta-Llama-3.1-8B-Instruct-GGUF \
  Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf Meta-Llama-3.1-8B-Instruct-Q8_0.gguf \
  --local-dir models
# perplexity (lower = closer to the original model)
./build/bin/llama-perplexity -m models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf -ngl 99
./build/bin/llama-perplexity -m models/Meta-Llama-3.1-8B-Instruct-Q8_0.gguf  -ngl 99
# and speed on the same hardware
./build/bin/llama-bench -m models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf -ngl 99

verify: رقم Q4_K_M يهبط بضع مئات من النقطة أسوأ — والملف أصغر بنحو 40%. بيانات نفسها، كل درجة

البيربلكسيتي هي مفاجأة الـtoken التالي على مجموعة بيانات ثابتة: وكيل قياس، لا درجة — وقد يخالفها مهمتك الحقيقية.

الخطأ القديم—الجدال بين Q4 وQ5 مع تجاهل طول السياق: ميزانية ذاكرة KV أولاً؛ الدرجة هي الجزء السهل

الخصوصية—التكميم حساب على الأوزان، محلي بالكامل: تشغيل Q4_K_M محلياً يتسرب بالقدر نفسه الذي يتسرب به النموذج بالدقة الكاملة — لا شيء يغادر الجهاز. متغير الخصوصية هو أين يجري الاستدلال، لا عرض البت

المصدر—يقتص بالقدر نفسه عبر الدرجات: fine-tune «uncensored» على أساس مسروق في Q8 ليس أنقى من الأوزان نفسها في Q4

■ ختم صادق أحكام الجودة من تشغيلات بيربلكسيتي، لا من الانطباع. مُختبَر على: llama.cpp llama-perplexity · llama-bench · GGUF من Q2_K إلى Q8_0 · ملفات Hugging Face. أرقام السلم هي قياسات llama.cpp ذاتها على النماذج المرجعية لعائلة Llama؛ وحساب الحجم هو السطر الواحد — كل قراءة أعلاه على المكبس هي ذلك السطر. شغّل الأوامر واستبدل أرقامي بأرقامك.

نهاية مكبس الكتل · لم يُجلب أي شيء · كل شيء محلي