■ espacio · carril de prosa

LA BANDA DE TRAMOS

Lee tu VRAM — nvidia-smi --query-gpu=memory.total --format=csv,noheader — y colócate en tu peldaño:

dos reglas hacen funcionar la banda: 1–2 GB de margen para la caché KV · cuantiza antes de encoger

Dos reglas hacen funcionar esta tabla en la práctica: dejar 1–2 GB de margen de VRAM para la caché KV — un 14B en Q4 más un contexto de 8K tokens no caben en un presupuesto de 10 GB, porque el contexto cuenta en el total. Y bajar un quant antes de bajar un tamaño de modelo — los quants Q5/Q4 cuestan unos pocos puntos de calidad; pasar de un 14B a un 7B cuesta mucho más que eso.

¿CUÁNTA VRAM NECESITAS?

The honest rule of thumb: La regla honesta del pulgar: Un contexto de 8K ronda 1 GB — así que un 14B en Q4 (~9 GB) más 8K tokens no caben en 10 GB. En números claros: 8 GB corre modelos 7B–8B en Q4 con comodidad — respuestas del largo del autocompletado, contexto de 4K–8K. es el punto dulce para un 14B en Q4 con un contexto de código realista de 8K–16K. is the sweet spot for 14B at Q4 with a realistic 8K–16K coding context. abre los modelos densos clase 20B y Qwen3 14B con contexto más largo. opens 20B-class dense models and Qwen3 14B with longer context. 24 GB corre el Qwen3 Coder 30B A3B MoE en Q4 — lo más cercano a un modelo de código de calidad nube que puedes alojar tú mismo. ¿Solo CPU? Funciona — llama.cpp correrá un 7B Q4 en una CPU de portátil a 5–10 tok/s — pero trátalo como ejercicio de paciencia, no como daily driver.

QWEN3 CODER VS DEEPSEEK

El duelo que las barras de autocompletado preguntan de verdad, y la respuesta se corta con tijera:

• Qwen3 Coder (30B A3B) está construido para el bucle de edición: sigue las convenciones de formato de instrucciones para llamadas de herramientas, produce diffs consistentes y — la parte decisiva — el diseño MoE activa solo ~3B de parámetros por token, así que una sola tarjeta de 24 GB logra 40–60 tok/s. Para uso estilo IDE, la responsividad es la calidad.
• La línea DeepSeek V3/R1 argues at a higher level: architecture decisions, tricky algorithms, multi-step reasoning. But the flagship is 600B+ parameters; locally you only run it heavily quantised on multi-GPU or Mac unified-memory rigs, and it writes prose about code faster than it writes code.
argumenta a un nivel superior: decisiones de arquitectura, algoritmos trileros, razonamiento multi-paso. Pero el buque insignia tiene 600B+ parámetros; en local solo lo corres muy cuantizado en equipos multi-GPU o de memoria unificada Mac, y escribe prosa sobre código más rápido de lo que escribe código.

Elección local: Qwen3 Coder como daily driver, DeepSeek solo si tienes el hardware para alojarlo casi a plena precisión. Con 8–16 GB el debate sobra — los modelos Qwen2.5/3 Coder son lo más fuerte que cabe.

CINCO COMANDOS PARA FUNCIONAR

# 1. install Ollama (Linux)
curl -fsSL https://ollama.com/install.sh | sh

# 2. pull the model that fits your VRAM bracket (8 GB card shown)
ollama pull qwen2.5-coder:7b

# 3. chat with it interactively
ollama run qwen2.5-coder:7b

# 4. use it as an OpenAI-compatible API from any tool
curl http://localhost:11434/v1/chat/completions \\
  -d '{
    "model": "qwen2.5-coder:7b",
    "messages": [{"role": "user", "content": "Refactor this fn to be async: add(a,b){return a+b}"}]
  }'

# 5. point tools that expect OPENAI_BASE_URL at it
export OPENAI_BASE_URL=http://localhost:11434/v1

verifica: curl -s $OPENAI_BASE_URL/models → "qwen2.5-coder:7b" en la lista

Dónde gana el local, con precisión: el bucle de edición — refactors, boilerplate, andamios de tests, "haz esta función async" — donde la latencia es el producto y el diff es pequeño. Dónde pierde: el razonamiento largo multi-archivo sobre una arquitectura desconocida, donde los modelos frontera alojados siguen ganándose sus tokens. Corre ambos contra el mismo endpoint y usa cada uno donde gana.

fin de los tramos · nada descargado · todo local