■ пространство · пресс для блоков · fig 1

■ сначала ответ

Q4_K_M по умолчанию — ~4,85 бита на вес, ~1 % платы по перплексии, ~30 % полноточного размера.

Шаг к Q6_K для кода и математики ; держи Q8_0 для референсных прогонов ; ниже Q4 — аварийный паёк для больших моделей.

Всё решение — одна строка: size_GB ≈ bits_per_weight × params / 8.

4.85биты на вес — ступень по умолчанию

~1%плата по перплексии при Q4_K_M

30%от полноточного размера

01ПРЕСС

одна коробка, четыре штампа — базкула отвечает за размер, индикатор — за цену

FIG 1 · ПРЕСС ДЛЯ БЛОКОВ GGUFклавиши 1–5 — или кнопки · ручка настраивает параметры

~1 % перплексии — ВЫБОР по умолчаниюПо умолчанию. Лучший обмен качества на гигабайт, какой есть.

СТУПЕНЬ Q4_K_M · 4,85 BPW · ШКАЛА 4.85 GB / FP16 16.0 GB · РАЗМЕР 30% · ПАРАМЕТРЫ 8B

коробка — это модель: те же веса на каждом прогоне — меняется только штамп. Нажми 5 и смотри, как ныряет индикатор цены

02ВСЯ ЛЕСТНИЦА

машина несёт четыре ступени — реестр поставляет восемь

ступень	bpw	качество — вердикт	когда брать
Q2_K паёк	~3.4	жёстко ниже 13B — аварийный паёксвязность начинает разваливаться на малых моделях	Больше ничего не влезает — только большие модели. Проверяй, прежде чем доверять.
Q3_K_M тиски	~3.9	заметно — тиски VRAMзаметная потеря — только для тесной VRAM на ≥14B	Тесная VRAM, только модели ≥14B.
Q4_K_S запасной вариант	~4.6	небольшая потерянебольшая потеря — когда Q4_K_M не влезает и запас близок	Запасной вариант, когда Q4_K_M не влезает и резерв минимален.
IQ4_XS i-квант	~4.3	≈ Q4_K_M — сжатие codebookкачество ≈ Q4_K_M, меньше — если твой backend запускает i-кванты	Q4_K_M чуть великоват, backend поддерживает i-кванты. Чуть медленнее на некоторых backend.
Q4_K_M выбор по умолчанию	~4.85	~1 % перплексии — ВЫБОР по умолчаниюлучшее качество-за-гигабайт — все реестры его поставляют	По умолчанию. Лучший обмен качества на гигабайт, какой есть.
Q5_K_M запас	~5.7	~0,5 % перплексиипотеря почти нулевая, ещё комфортно	Запас с комфортом — качество значило больше, чем последний гигабайт.
Q6_K рабочая лошадка	~6.6	почти неотличимопочти неотличимо — ступень кода и математики	Код, математика, извлечение — всё, что наказывает шум.
Q8_0 референс	~8.5	на практике ноль (~0,02 % против полноточной)на практике ноль (~0,02 %) — A/B и базы для fine-tune	Референсные прогоны, A/B, базы fine-tune — не ежедневный драйвер.

одна строка—size_GB ≈ bits_per_weight × params / 8 — каждый показ пресса вычисляет её вживую

разобранный пример—8B в Q4_K_M: 4,85 × 8 / 8 = 4.85 GB ; FP16 был бы 16.0 GB — коробка уходит в 30% от полной точности

только веса—добавь кеш KV, активации и буферы: модели «4,9 ГБ» нужна карта на 6 ГБ при контексте 4k — flash-attention + квантованный кеш KV держат окно 16k на этой карте. При полном окне 128k один только кеш просит ~16 GiB.

на хабе—предпочитай один Q4_K_M.gguf раздробленным сплитам, если только не поставляются одни лишь последние. Путь к vLLM вместо llama.cpp? Его плагин GGUF берёт те же файлы — правило «только GPU» действует. В любом случае движок — отдельная ось, независимая от кванта.

03ЧТО ШТАМП УБИРАЕТ

коробка сжимается — вот что штамп реально делает с битами

обучены в 16 бит—каждый из миллиардов весов модели — число из 2 байтов в плавающей точке 16 бит; квантование упаковывает каждый вес в меньше бит

наивный путь—округлить всё в 4-битное целое — уничтожает малые, но важные значения

блочное масштабирование—веса собраны в блоки по 32, каждый блок несёт свой коэффициент масштаба, так что широкий размах величин выживает

k-кванты, буква K—суперблоки масштабов, внимательные к важности — слои внимания и feed-forward обрабатываются по-разному, потому что терпят сжатие неравномерно

семейство IQ—кодовые книги, заимствованные из сжатия изображений — меньше бит при сходном качестве, чуть медленнее на некоторых backend

нетронуто—архитектура, токенизатор, работа с контекстом: квантование меняет только сохранённые веса

Q4-файл и Q8-файл одной модели — это та же модель, в разных пальто.

04ПОРЯДОК РЕШЕНИЯ

механизм честен — так какая ступень для какого дела

Сначала контекст + бюджет KV, потом веса. Контекст, который не влезает, хуже качества, которое не измеришь — на длинном контексте кеш может перевесить модель.
По умолчанию — Q4_K_M. ~1 % перплексии за ~30 % размера; выбор сообщества не зря.
Поднимайся к Q6_K, когда задача наказывает шум — код, математика, извлечение, всё, что работает без надзора.
Q8_0 только для референса — A/B-тесты, замер повреждений, базы fine-tune. Как ежедневный драйвер покупает лишь тёплые датчики VRAM.
Ниже Q4 только по нужде, только большие модели — и проверяй на известном трудном промпте, прежде чем доверять.

выше — лучше?—технически да; на слух почти нет — Q8_0 приземляется в ~0,02 % от полной точности: lossless для любой практической цели; Q6_K почти неотличим

наивное округление—Q4_0 стоит дороже, чем примерно 1–2 % у Q4_K_M

размер покупает запас—70B переживает Q3 как подгонку; 7B на Q2 — ампутация — большие модели избыточнее

минимум сдвигается—чат вмещает Q4; точный код, математика и RAG по точным документам вскрывают шум раньше — если модель на Q4 пишет слегка неверный код, проверь ту же модель на Q6_K, прежде чем обвинять модель

веса fp16

0.42-0.880.150.67-0.310.950.08-0.52

↓ блок по 32 + одна шкала

q4-коды

70362814

× шкала

одна шкала на блок из 32 — широкие величины выживают в тисках. Меняются только сохранённые веса; архитектура и токенизатор остаются теми же.

05МЕРЬ УРОНЫ САМ

шкалы показывают вердикты llama.cpp — пусть проголосует твоё железо

собери llama.cpp один раз

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build && cmake --build build --config Release -j

скачай две ступени — перплексия, затем скорость

huggingface-cli download bartowski/Meta-Llama-3.1-8B-Instruct-GGUF \
  Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf Meta-Llama-3.1-8B-Instruct-Q8_0.gguf \
  --local-dir models
# perplexity (lower = closer to the original model)
./build/bin/llama-perplexity -m models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf -ngl 99
./build/bin/llama-perplexity -m models/Meta-Llama-3.1-8B-Instruct-Q8_0.gguf  -ngl 99
# and speed on the same hardware
./build/bin/llama-bench -m models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf -ngl 99

verify: число Q4_K_M приземляется на пару сотых балла хуже — и файл на ~40 % меньше. Те же данные, всякая ступень

Перплексия — удивление следующим токеном на одном фиксированном наборе данных: прокси, а не оценка — и твоя настоящая задача может с ней спорить.

старая ошибка—страдать над Q4-против-Q5, игнорируя длину контекста: бюджет кеша KV — первым; ступень — лёгкая часть

приватность—квантование — арифметика над весами, целиком офлайн: локальный прогон Q4_K_M утекает ровно столько же, сколько полноточная модель — из машины не уходит ничего. Переменная приватности — где крутится инференс, а не битовая ширина

происхождение—режет одинаково по всем ступеням: «uncensored» fine-tune с украденной основы в Q8 не чище тех же весов в Q4

■ честный штамп Вердикты качества из перплексия-прогонов, не по наитию. Проверено на: llama.cpp llama-perplexity · llama-bench · GGUF Q2_K → Q8_0 · файлы Hugging Face. Числа лестницы — собственные замеры llama.cpp на референсных моделях семейства Llama; размерная математика — та самая одна строка — каждый показ пресса выше и есть эта строка. Прогони команды и подставь свои числа вместо моих.

конец пресса для блоков · ничего не скачано · всё локально