■ space · l'atelier des machines · fig 1

■ la réponse d'abord

Llama 3.1 8B at 131,072 tokens in fp16: cache KV ≈ 16 GiB — aussi gros que les poids.

Le « 8B qui tient en 16 GiB » devient un problème à 32 GiB.

Le cache est linéaire en contexte et alloué d'avance — la RAM paie 128k que vous le remplissiez ou pas.

Le correctif est ennuyeux : règlez le contexte sur ce que vous utilisez vraiment — une fenêtre de 32k coûte un quart du cache 128k.

16.0GiB — le cache kv de 128k · llama 3.1 8b · fp16

131,072tokens facturés remplis ou pas

128 KiBcharge fixe — chaque token, llama 8b

01LE COMPTOIR DU COMPTEUR

le locataire, c'est le cache kv — les roues font tourner la note que la carte n'imprime jamais

FIG 1 · LE COMPTOIR À MÈCHES DU CACHE KVtouches 1 · 2 · 3 · 4 — ou les boutons

CACHE = POIDSà pleine fenêtre, le cache est aussi gros que le modèle auquel il appartient — une location de 32 GiB désormais

LOCATAIRE LLAMA 3.1 8B · FENÊTRE 128k · 131,072 TOKENS · CACHE 16.00 GiB · POIDS 16.0 GiB · PART 100% · NOURRI 0

les roues ont facturé avant que l'odomètre bouge — l'allocation est d'avance, le remplissage optionnel

02LA FORMULE QUE LES FICHES OMETTENT

une formule publique a actionné chaque chiffre de ces roues

l'arithmétique — telle qu'en expose transformer inference arithmetic

cache_bytes = 2 × layers × context × kv_heads × head_dim × bytes_per_element

« La fenêtre de contexte n'est pas une option que vous activez. C'est un bail mémoire que vous payez chaque seconde où le serveur tourne. »

l'addition complète — deux lignes contre les config.json publics

def kv_cache_gib(layers, kv_heads, head_dim, ctx, bytes_per=2):
    return 2 * layers * ctx * kv_heads * head_dim * bytes_per / 2**30

print(kv_cache_gib(32, 8, 128, 131_072))  # Llama 3.1 8B  -> 16.0
print(kv_cache_gib(28, 4, 128, 131_072))  # Qwen2.5 7B    -> 7.0

verify: kv_cache_gib(32, 8, 128, 131_072) → 16.0 · kv_cache_gib(28, 4, 128, 131_072) → 7.0

2 tenseurs—clés + valeurs, mises en cache pour chaque couche, chaque tête KV, chaque token — rien n'est recalculé, tout est retenu

pourquoi linéaire—le stockage par token est constant, donc le stockage total est linéaire en contexte — 128× le cache d'une fenêtre de 1k, pour la vie de la session

pourquoi d'avance—la pile de service alloue la fenêtre pleine au chargement — la RAM paie pour 128k que vous la remplissiez ou pas

03DEUX LOCATAIRES, UN COMPTOIR

une formule est de l'arithmétique jusqu'à ce qu'elle chiffre deux vraies fiches de modèle côte à côte

Modèle (fp16)	Couches × têtes KV	Cache KV @ 128k	Poids	Cache vs poids
Llama 3.1 8B	32 × 8	~16 GiB	~16 GiB	~100%
Qwen2.5 7B	28 × 4	~7 GiB	~15 GiB	~47%

appuyez sur la touche 1 du comptoir — la même fenêtre de 128k se remesure à 7.0 GiB pour qwen2.5 7b

la remise côté modèle—grouped-query attention (GQA) : moins de têtes KV, cache plus mince — de l'architecture, pas de la quantization

pourquoi qwen paraît plus sympathique—ses 28 couches × 4 têtes KV ont pour effet que la même fenêtre coûte environ 7 GiB — un vrai soulagement sur des machines modestes

où se cachent les têtes—les specs disent rarement les têtes KV — il faut fouiller config.json pour les trouver, ce qui vous dit comment ce nombre devait être lu

04OÙ LA NOTE PLOIE

le compteur est honnête pour l'attention pleine — quatre coudes avant que vous ne signiez quoi que ce soit

prefill · la deuxième note—un prompt de 100k tokens est mastiqué entier avant le premier caractère en sortie — sur une 3060, c'est des minutes, pas des millisecondes

modèles à fenêtre glissante—l'attention façon mistral plafonne par couche, donc le cache cesse de grandir — la formule les surestime, en votre faveur

quantization du kv—llama.cpp peut garder le KV en q8_0, à peu près moitié avec un certain risque qualité — la moitié de 16 GiB fait encore 8 GiB

la pile de service—vLLM prend le GGUF sur GPU avec la même note mémoire attachée — la quantization rétrécit les poids, jamais l'arithmétique du cache

Personne ne lit 128 000 tokens. Votre RAM paie pour chacun d'eux quand même.

le correctif est ennuyeux—réglez le contexte sur ce que votre charge de travail utilise vraiment — 32k couvre presque chaque prompt qu'un développeur seul envoie, au quart de la note

la voie de la récupération—le travail du RAG — remplir une fenêtre est la façon chère de dire « lis la section 4 » ; la récupération au lieu d'une fenêtre pleine, parce que le long contexte n'est pas inutile, il est facturé

■ cachet d'honnêteté Testé sur : Llama 3.1 8B · Qwen2.5 7B · fp16 · fenêtre de 131,072 tokens — noté le 2026-09-22, rafraîchi le 2026-10-04. Chaque nombre de cette page est la formule publique passée sur les config.json publics des modèles (couches, têtes KV, head_dim), telle qu'en expose Transformer Inference Arithmetic — la jauge du comptoir est cette même formule en JavaScript ; aucun banc d'essai à acheter, à un print de votre propre terminal.

fin du registre du locataire · rien de fetché · tout est local