■ space · 过磅台 · fig 1

■ 先说答案

VRAM ≈ 权重 + KV 缓存 + 开销;文件大小只对应权重那一行。

8B 的 Q4_K_M、32k 上下文: 约 9.8 GB —— 在 8 GB 显卡上超出 23%。从来不是量化的错;是上下文。

反向模式回答真正的问题:进去一个预算,出来能装下的最大量化。所有算术都在浏览器里,不外传任何东西。

4.85 GB权重那一行 —— 8 × 4.85 / 8

4.00 GB32k 的 KV 缓存 —— 128 KB × 32 768

23%越过 8 GB 显卡 —— 差距

01过磅台

模型是货箱,上下文是轴卷 —— 红线就是你手里那张卡

FIG 1 · 过磅台按键 1 · 2 · 3 —— 或用按钮

载重 ~9.8 GB · 权重 4.85 GB · KV 4.00 GB · 皮重 0.94 GB · 判词 超出 23%

按下键 2,轴卷会从 4 096 缠到 32 768 再到 131 072 token —— 盯着指针,别盯着量化

指针停在 16 中的 9.8 —— 越过了 8 处的红线,而旗子自己在替你辩护

02算术

两行在动指针:货箱多重,上下文多贵

整个模型,四行

VRAM ≈ weights + KV cache + overhead
weights  = params × bits-per-weight / 8
KV cache = 2 × layers × kv_dim × context × 2 bytes   (f16)
overhead ≈ 0.7 GB CUDA/runtime + ~5% compute buffers

bits-per-weight 来自 llama.cpp 的 ggml 量化格式表 —— 和 Hugging Face 上文件所用的同一批数字

Quant	bpw	Quant	bpw
Q2_K	3.35	Q5_K_M	5.69
Q3_K_M	3.91	Q6_K	6.59
IQ4_XS	4.25	Q8_0	8.50
Q4_K_M	4.85	F16	16.0

GQA—Llama-3 一档的 8B 带着 8 个 KV 头 × 128 dims × 32 层,等于 每个 token 128 KB

无 GQA—Llama 2 13B 烧掉 每个 token 640 KB —— 贵五倍,而它是更早一代、名头上更小的模型

翻面—在过磅台上按键 3 —— 一台老 13B 按每 token 的缓存账单算,比一台现代 70B 的还重

03反向车道

进去预算,出来量化 —— 一张固定的卡、心里一个模型:这才是人们真正的问题

档案里自己跑的那一趟:7B、4 096 上下文、对 8 GB 预算(GQA 几何)

Quant	权重	Total (est.)	Verdict
Q4_K_M	4.24 GB	~5.7 GB	装得下还有余量
Q6_K	5.77 GB	~7.3 GB	贴线
Q8_0	7.44 GB	~9.0 GB	部分 offload 到 CPU,慢得多

文件大小告诉你的是你会下载什么。它从没告诉你的是你能跑什么。

一屏之内,「Q4 还是 Q8」这场老争论直接塌缩成你自己的硬件答案,而不是别人的

04自己动手跑

三个输入都能手推重现,一个判词随时可以顶嘴 —— 默认值就是档案里那道例题

参数

quant

上下文窗口

1k32 768 tokens128k

注意力几何

权重 —— 8 × 4.85 / 84.85 GB

KV 缓存 —— 128 KB × 32 7684.00 GB

开销 —— 0.7 GB CUDA + 5% 缓冲0.94 GB

称重结果~9.8 GB

「8 GB 显卡」的判词:超出 23% —— 从来不是量化的错;是上下文。

显卡条:实心 · 装得下 —— 深色 · 贴线 —— 过了 85% 的虚线 —— 阴影纹 · 超限 · 部分 offload

MoE 路由—推理时只有激活的专家会被碰,但这套算术把整套权重全计入 —— 所以 MoE 的总数读起来偏高

混合量化—Q4_K_M 本身就是对张量取的平均 —— 真实文件会落在表值的上下几个百分点之内

CUDA 填充—那份平坦的 0.7 GB 随后端版本而变 —— 一个折中的数字,不是自然常数

文件头—要是这个决定值得几百兆以上,就去读文件头 —— llama.cpp 自带的工具 gguf_dump.py

■ 诚实印记 实测环境:llama.cpp bpw 表 · Llama-2/Llama-3 GQA 几何 · 浏览器内运行,不传任何东西。 记录于 2026-10-02,更新于 2026-10-06;这个工具就是一个 HTML 文件,没有依赖,住在 github.com/mrsaynothing/gguf-vram-calculator。上面的过磅台跑的和工具是同一套算术 —— 默认值精确复现档案里那道例题(8B · Q4_K_M · 32k → ~9.8 GB,在 8 GB 显卡上超出 23%),一分不差到小数点后。

过磅台到此为止 · 没有任何 fetch · 全程本地