■ space · el recorrido por los pisos

LA NOCHE EN QUE 4.9 SE VOLVIÓ 7.0

La caja: Ryzen, 32 GB de RAM, una RTX 3060 con 12 GB de VRAM. El modelo: llama3.1:8b, etiquetado 4.9 GB. Tres comandos, una pantalla:

$ ollama ps
NAME            SIZE      PROCESSOR    CONTEXT
llama3.1:8b     7.0 GB    100% GPU     32,768
$ nvidia-smi
   …  7963 MiB / 12288 MiB  …
$ free -h
Mem:  31 Gi

la captura, reescrita a mano — los píxeles se quedaron en la caja de pruebas; los números son el registro

Un «modelo de 4.9 GB» reservó 7.0 GB antes de responder a un solo prompt — un impuesto de contexto del 43% — y se quedó con 7,963 de 12,288 MiB para sí.

Los pesos nunca fueron el presupuesto. El contexto sí.

La VRAM vende el sueño. La RAM decide si el modelo arranca siquiera — y cuánto contexto sobrevive cuando arranca.

EL PLANO DEL PISO

Cada modelo cargado alquila dos pisos a la vez. Elige una clase de modelo, mueve la rueda del contexto, mira llenarse ambos. Las tres filas medidas de abajo anclan la rueda.

las habitaciones no están a escala entre sí — cada piso se dibuja contra su propio contrato

QUÉ SON LOS GIGABYTES EXTRA

Las llama.cpp memory notes explican la aritmética que las páginas de descarga omiten: memoria total = pesos del modelo + cache KV + buffer de cómputo. Solo el primer término es constante.

Ollama envuelve llama.cpp — misma ley. ollama ps: 7.0 GB por una etiqueta de 4.9 GB con una ventana de 32,000 tokens, todo residente en la GPU.

Relee las dos últimas filas. En VRAM, un 14B con contexto real es un trabajo de offload partido; un 27B, imposible. Con 32 GB de RAM, solo lento.

Imposible contra lento — toda la diferencia práctica entre RAM y VRAM. El offload viaja por PCIe: la FAQ de Ollama es contundente — el rendimiento cae fuerte al encoger la cuota de GPU.

Nadie elige ese compromiso a conciencia. Ocurre en silencio, capa a capa — el síntoma es solo que «los modelos locales se sienten sobrevalorados.»

Por eso existe la escalera de cuantización: Q4 aterriza la aritmética dentro del hardware que la gente tiene. Dos setups 8B «idénticos», longitudes de contexto distintas, máquinas del todo distintas.

Un modelo cuantizado no es un compromiso. Es un reconocimiento de que la memoria siempre fue el presupuesto real.

EL LIBRO HONESTO

Lo que se rompió o me sorprendió mientras escribía esta pieza, en orden:

1. El propio número del 43%. Esperaba que el modelo 8B ocupara «aproximadamente su tamaño de archivo». Reservó 7.0 GB contra una descarga de 4.9 GB. Si eso me sorprendió, sorprende a todo el que lee fichas técnicas en vez de la salida de ps.
2. La sesión de captura. Mi primera captura de pantalla agarró la ventana equivocada; la segunda funcionó, y es la que el bloque de recibo reescribe. Los recibos son un flujo de trabajo, no un ambiente — un ciclo tirar → capturar → ollama rm mantiene el disco honesto.
3. Lo que no se rompió: la GPU nunca se desbordó. 8B con contexto de 32k sobre 12 GB es de verdad cómodo. La tarjeta está bien. El discurso alrededor de la tarjeta es lo que está mal calibrado.

Las GPUs siguen importando — la línea de 100% GPU es la razón por la que la generación se sintió instantánea. Pero la GPU es la segunda pregunta. La elección del runner viene después de lo que cabe.

LA REGLA DEL PULGAR QUE MERCE LA PENA

RAM = archivo del modelo + cache KV para tu ventana real + 4 GB por ser un ordenador. 7–8B Q4: 16 GB cómodos. 14B–32B: 32 GB es la clave.

Compra VRAM para la velocidad que quieras al contexto que uses; compra RAM para todo lo que cargues jamás.

Echa un ojo a ollama ps una vez y la religión de las fichas técnicas se apaga en silencio.

Dos preguntas para tu próxima caja de dev: ¿VRAM para los benchmarks que postearás, o RAM para los modelos que correrás? ¿Y cuántos tirones de las 2 a.m. sobrevivieron al desayuno? Los míos no.

fin del recorrido por los pisos · nada fetchado · todo local