■ space · 评审庭
诚实写在前面：这波才几天大——我读的是记录，没有跑过测试。来源：Ollama 公告、llama.cpp 0.6.0 说明、checkpoint 卡片。
带真实延迟的基准测试是后续篇。
路由、闸口、分类 → decision model。一个小模型（144M–27B）一趟返回 {label, probability}——没有要解析的散文。
两个引擎一周之内先后本地化：Ollama 在 9 月 29 日，llama.cpp 的 /v1/systemone 在 0.6.0 里、10 月 5 日。
商用前先查许可——OpenJev 是 CC BY-NC；其余五个随包带 Apache-2.0。
给外行的词汇表
- decision model——一个微型 AI，用一个选项加一个置信数字回答问题，而不是句子
- probability——置信数字：0.87 意思是「一百次里有八十七次我会这么说」
- routing——把每个进来的请求送到正确的队列或工人那里，就像邮递员挑车
- calibration——置信数字说不说真话；校准过的 0.9 十次里对九次
- GGUF——本地模型的发行文件格式；每张下载清单里都有它
两种回答的形状
聊天模型用散文回答一切——对一半的流水线需求来说形状就错了。路由器要的是哪条队列；闸口要的是放行还是拒绝、多有把握。
分类器要的是六个标签之一。
问聊天模型要一个决策：一句意思大体正确的句子——通常如此——每次措辞都不一样，外加一步悄悄失效的解析。
一个人分拣邮件并为每封信写一篇小作文。另一个人递给你格子盘：「87% 确信——账单」。早晨六点你信谁？
错的形状 · 问聊天模型
对的形状 · 问 decision model
{ "route": "sales", p: 0.09 }
{ "route": "other", p: 0.04 }每次调用同形状
判决的分档
低调的关键：概率本身就是答案。0.51 和 0.99 是不同的决策——把线画在「动手比上报划算」的位置，格子盘就会自己分拣。
a chat model that says "this is probably billing" hides its own calibration — one phrasing, once. a decision model hands you the number; whether it tells the truth on YOUR labels is not in the release notes. that is what the bench is for.
这波到底是什么
「Jev」是 API 契约：问题进、固定的选项列表、每个选项一个概率。契约由 TypeSafe 定义；本地工具一周之内跟进采纳。
Ollama 在 9 月 29 日交付——v0.35 带上了 /v1/systemone，Nimble 和 Tev1 发布即可拉取。
llama.cpp 在 0.6.0（10 月 5 日）跟上：同一个端点、五个开放 GGUF——Julia-1、Laya、Kev-4B、lev、OpenJev——Nimble 几天后到。
小：144M 到 27B 参数；聊天模型起步是它的 30 倍。小就是卖点——决策只要一趟，而即时性改变了哪些工作会来问。
公开的准确率对比只有一份——Bespoke Labs 的 13 个数据集、3,880 条人工标注的决策：Nimble 75.7%、Tev1-4B 73.3%、Tev1-0.8B 63.5%，托管版 Jev 1.13 为 76.0%。
贴近厂商的数字——只是起点。要紧的基准，跑的是你的标签。
这样想：聊天模型是按小时预约的资深顾问。decision model 是前台的橡皮章——它只说进哪个格子，而且永不疲倦。尺寸就是薪水：144M 干这点活只花零钱；27B 只有在活儿要看图的时候才请得起。
THE MODELS ON THE SHELF
llama.cpp 的货架——它的 0.6.0 端点提供六个 checkpoint。Ollama 的库里有自己的一套：Nimble、Tev1、Laya、Clef。
按许可筛选：OpenJev 是 NC 条目。MIT 运行时改变不了权重允许什么。
| Checkpoint | 尺寸 | 许可 | 备注 |
|---|---|---|---|
| Julia-1 | 144M | Apache-2.0 | 2–20 个选项，合计上限 8,192 token |
| Laya | 421M | Apache-2.0 | 英文路由；别默认它是多语的 |
| lev | 4B | Apache-2.0 | 文本决策 |
| Kev-4B | 4B | Apache-2.0 | 参考日期预处理不随包附带 |
| Nimble | 9B | Apache-2.0 | 在 Qwen3.5-9B 上的 LoRA；本地仅文本 |
| OpenJev | 27B | CC BY-NC 4.0 | 视觉输入经它的投影器进；非商用 |
第七个形状 Clef 随同一发 0.6.0 到货（Apache-2.0，文本加视觉）；Cloudflare 的 Clef 线也从 Ollama 拉取。同一个想法，更多的门。
尺寸阶梯：144M–421M 挂在闲置 CPU 上就能干净路由；4B 处理细微标签；27B 有眼睛。跑一下 nvidia-smi --query-gpu=memory.total --format=csv,noheader——任何卡都够格。
哪里合身——哪里不合身
输出就是一个决策时它就合身：请求路由（工单 → billing / sales / abuse）、闸口（放行或拒绝、带置信度）、大批量的文档分诊。
用小模型分类；大模型的 token 只花在它标记出来的东西上。
需要理由时它不合身。带概率的标签不附带理由。要「为什么」？回聊天模型——或者回文档。
要靠共识得真理时它不合身。一致不等于核验——全票通过的错答案，来的时候嗓门最大、口气最笃定。
这正是我们的台账存在的目的：抓住这种失败。
在你的机器上验证形状：ollama run qwen3:0.6b "Reply YES or NO: is 7 prime?"——一个 token 的答案、没带文章，说明形状对了。
评审庭到此为止 · 什么都没下载 · 全程本地