■ space · le pont-bascule · fig 1

■ la réponse d'abord

VRAM ≈ poids + cache KV + overhead ; la taille du fichier, c'est la ligne des poids seulement.

Un 8B en Q4_K_M, contexte 32k : ~9.8 GB — rate une carte de 8 GB de 23%. Le quant n'a jamais été le méchant ; le contexte l'était.

Le mode inversé répond à la vraie question : un budget en entrée, le plus grand quant qui tient en sortie. Tout le calcul, dans votre navigateur, rien d'envoyé.

4.85 GBla ligne des poids — 8 × 4.85 / 8

4.00 GBle cache KV à 32k — 128 KB × 32 768

23%au-dessus de la carte de 8 GB — le raté

01LE PONT-BASCULE

le modèle est la caisse, le contexte est le touret — la marque rouge est la carte que vous possédez

FIG 1 · LE PONT-BASCULEtouches 1 · 2 · 3 — ou les boutons

CHARGE ~9.8 GB · POIDS 4.85 GB · KV 4.00 GB · TARE 0.94 GB · VERDICT RATÉ DE 23%

la touche 2 rembobine 4 096 → 32 768 → 131 072 tokens sur le touret — regardez l'aiguille, pas le quant

l'aiguille se tient à 9.8 de 16 — au-delà de la marque rouge à 8, et le fanion plaide tout seul

02L'ARITHMÉTIQUE

deux lignes bougent l'aiguille : ce que pèse la caisse, ce que coûte le contexte

le modèle entier, quatre lignes

VRAM ≈ weights + KV cache + overhead
weights  = params × bits-per-weight / 8
KV cache = 2 × layers × kv_dim × context × 2 bytes   (f16)
overhead ≈ 0.7 GB CUDA/runtime + ~5% compute buffers

bits-par-poids d'après les formats de quant ggml de llama.cpp — les mêmes nombres que ceux des fichiers de Hugging Face

Quant	bpw	Quant	bpw
Q2_K	3.35	Q5_K_M	5.69
Q3_K_M	3.91	Q6_K	6.59
IQ4_XS	4.25	Q8_0	8.50
Q4_K_M	4.85	F16	16.0

GQA—un 8B de classe Llama-3 garde 8 têtes KV × 128 dims × 32 couches, soit 128 KB par token

sans GQA—un Llama 2 13B brûle 640 KB par token — cinq fois plus, pour un modèle d'une époque antérieure et nominalement plus petit

le retournement—faites la touche 3 sur le pont-bascule — un vieux 13B pèse plus, en facture de cache par token, qu'un 70B moderne

03LA VOIE INVERSÉE

un budget en entrée, un quant en sortie — une carte fixe, un modèle en tête : la question que les gens se posent vraiment

le passage du dossier : un 7B à 4 096 de contexte contre un budget de 8 GB (géométrie GQA)

Quant	Poids	Total (est.)	Verdict
Q4_K_M	4.24 GB	~5.7 GB	tient avec marge
Q6_K	5.77 GB	~7.3 GB	serré
Q8_0	7.44 GB	~9.0 GB	délestage CPU partiel, bien plus lent

La taille du fichier vous disait ce que vous téléchargeriez. Elle ne vous disait jamais ce que vous pourriez faire tourner.

un écran, et la vieille dispute «Q4 ou Q8» s'effondre dans la réponse de votre matériel au lieu de celle d'un autre

04FAITES-LE TOURNER VOUS-MÊME

trois entrées que vous pouvez re-dériver à la main, un verdict que vous pouvez contester — les défauts sont l'exemple travaillé du dossier

paramètres

quant

fenêtre de contexte

1k32 768 tokens128k

géométrie d'attention

poids — 8 × 4.85 / 84.85 GB

cache KV — 128 KB × 32 7684.00 GB

overhead — 0.7 GB CUDA + 5% de buffers0.94 GB

LA BALANCE ANNONCE~9.8 GB

le verdict «carte de 8 GB» : raté de 23% — le quant n'a jamais été le méchant ; le contexte l'était.

bande de cartes : plein · tient — sombre : serré — au-delà de la ligne tiretée à 85% — hachuré : dépassé · délestage partiel

routage MoE—à l'inférence, seuls les experts actifs sont touchés, mais cette arithmétique facture tout le jeu de poids — aussi les totaux MoE se lisent-ils trop haut

quant mixte—Q4_K_M est lui-même une moyenne entre tenseurs — un vrai fichier atterrit à quelques pour cent de la valeur de la table

padding CUDA—les 0.7 GB plats varient selon la version du backend — chiffre du milieu de la route, pas constante de la nature

l'en-tête—quand une décision vaut plus que quelques centaines de mégaoctets, lisez l'en-tête du fichier — llama.cpp embarque pour ça gguf_dump.py

■ cachet d'honnêteté Testé sur : tables bpw de llama.cpp · géométrie GQA Llama-2/Llama-3 · dans le navigateur, rien d'envoyé. Enregistré 2026-10-02, rafraîchi 2026-10-06 ; l'outil vit en un fichier HTML unique, sans aucune dépendance, dans github.com/mrsaynothing/gguf-vram-calculator. Le pont-bascule ci-haut fait la même arithmétique que l'outil — les défauts reproduisent l'exemple travaillé du dossier (8B · Q4_K_M · 32k → ~9.8 GB, 23% au-dessus d'une carte de 8 GB) au centième près.

fin du pont-bascule · rien de fetché · tout est local