■ la respuesta primero

Llama 3.1 8B at 131,072 tokens in fp16: cache KV ≈ 16 GiB — tan grande como los pesos.

El «8B que cabe en 16 GiB» se vuelve un problema de 32 GiB.

La cache es lineal en el contexto y se asigna por adelantado — la RAM paga por 128k lo llenes o no.

El arreglo es aburrido: pon el contexto en lo que de verdad usas — una ventana de 32k cuesta un cuarto de la cache de 128k.

16.0GiB — la cache kv de 128k · llama 3.1 8b · fp16
131,072tokens facturados llenos o vacíos
128 KiBcuota fija — cada token, llama 8b

01EL MOSTRADOR DEL MEDIDOR

el inquilino es la cache kv — las ruedas hacen girar la factura que la tarjeta nunca imprime

FIG 1 · EL MOSTRADOR MEDIDOR DE LA CACHE KVteclas 1 · 2 · 3 · 4 — o los botones
EL LIBRO DEL INQUILINOCACHE KV · MEDIDA EN VIVOINQUILINO · LLAMA 3.1 8B32 CAPAS × 8 CABEZAS KVRAM MEDIDA · PAGADA POR ADELANTADOCACHE KV · LA FACTURAFACTURADO1600GiBPESOS · EL MODELO160GiBCACHE = PESOSVENTANA128kCUOTA FIJA128 KiB/TOKTOKENS DENTRO000000

CACHE = PESOSa ventana llena la cache es tan grande como el modelo al que pertenece — un arrendamiento de 32 GiB ya

INQUILINO LLAMA 3.1 8B · VENTANA 128k · 131,072 TOKENS · CACHE 16.00 GiB · PESOS 16.0 GiB · PARTE 100% · ALIMENTADO 0

las ruedas facturaron antes de que el odómetro se moviera — la asignación va por adelantado, llenar es opcional

02LA FÓRMULA QUE LAS FICHAS OMITEN

una fórmula pública movió cada dígito de esas ruedas

la aritmética — tal como la expone transformer inference arithmetic
cache_bytes = 2 × layers × context × kv_heads × head_dim × bytes_per_element

«La ventana de contexto no es una opción que activas. Es un arrendamiento de memoria que pagas cada segundo que el servidor corre.»

la cuenta completa — dos líneas contra los config.json públicos
def kv_cache_gib(layers, kv_heads, head_dim, ctx, bytes_per=2):
    return 2 * layers * ctx * kv_heads * head_dim * bytes_per / 2**30

print(kv_cache_gib(32, 8, 128, 131_072))  # Llama 3.1 8B  -> 16.0
print(kv_cache_gib(28, 4, 128, 131_072))  # Qwen2.5 7B    -> 7.0

verify: kv_cache_gib(32, 8, 128, 131_072) → 16.0 · kv_cache_gib(28, 4, 128, 131_072) → 7.0

2 tensores—claves + valores, guardadas en cache para cada capa, cada cabeza KV, cada token — nada se recalcula, todo se recuerda
por qué lineal—el almacenamiento por token es constante, así que el total es lineal en el contexto — 128× la cache de una ventana de 1k, por la vida de la sesión
por qué por adelantado—el stack de servicio asigna la ventana completa al cargar — la RAM paga por 128k la llenes o no

03DOS INQUILINOS, UN MOSTRADOR

una fórmula es aritmética hasta que cifra dos fichas de modelo reales lado a lado

Modelo (fp16)Capas × cabezas KVCache KV @ 128kPesosCache vs pesos
Llama 3.1 8B32 × 8~16 GiB~16 GiB~100%
Qwen2.5 7B28 × 4~7 GiB~15 GiB~47%

pulsa la tecla 1 del mostrador — la misma ventana de 128k se re-mide en 7.0 GiB para qwen2.5 7b

el descuento por lado del modelo—grouped-query attention (GQA): menos cabezas KV, cache más fina — arquitectura, no cuantización
por qué qwen se siente más amable—sus 28 capas × 4 cabezas KV son la razón de que la misma ventana cueste unos 7 GiB — alivio verdadero en máquinas modestas
dónde se esconden las cabezas—las specs rara vez dicen cabezas KV — hay que escarbar en config.json para encontrarlas, lo que te dice cómo estaba pensado ese número para leerse

04DÓNDE SE DOBLA LA FACTURA

el medidor es honesto para la atención completa — cuatro dobleces antes de que firmes algo

prefill · la segunda factura—un prompt de 100k tokens se mastica entero antes del primer carácter de salida — en una 3060, son minutos, no milisegundos
modelos de ventana deslizante—la atención al estilo mistral pone tope por capa, así que la cache deja de crecer — la fórmula los sobreestima, a tu favor
cuantización del kv—llama.cpp puede guardar la KV en q8_0, reduciéndola casi a la mitad con algo de riesgo de calidad — la mitad de 16 GiB sigue siendo 8 GiB
el stack de servicio—vLLM toma GGUF en GPU con la misma factura de memoria adjunta — la cuantización encoge los pesos, jamás la matemática de la cache

Nadie lee 128,000 tokens. Tu RAM paga por todos ellos igual.

el arreglo es aburrido—pon el contexto en lo que tu carga de trabajo realmente usa — 32k cubre casi cada prompt que envía un desarrollador solo, por un cuarto de la factura
el carril de la recuperación—el trabajo del RAG — llenar una ventana es la manera cara de decir «lee la sección 4»; recuperación en vez de una ventana llena, porque el contexto largo no es inútil, está tarificado
■ sello honesto Probado en: Llama 3.1 8B · Qwen2.5 7B · fp16 · ventana de 131,072 tokens — registrado 2026-09-22, refrescado 2026-10-04. Cada número de esta página es la fórmula pública corrida contra los config.json públicos de los modelos (capas, cabezas KV, head_dim), tal como la expone Transformer Inference Arithmetic — el medidor del mostrador es esa misma fórmula en JavaScript; no hay bancos que comprar, a un print de tu propia terminal.

fin del libro del inquilino · nada fetchado · todo local