■ space · судный зал

Строка честности сразу: этой волне считанные дни — я прочитал записи, а не гонял их. Источники: анонс Ollama, заметки к llama.cpp 0.6.0, карточки чекпойнтов.

Стенд с настоящими задержками — апдейт отдельно.

СЛОВА ДЛЯ ПУБЛИКИ

• decision model — крошечный ИИ, который отвечает на вопрос выбором и числом уверенности, а не фразой
• probability — число уверенности: 0.87 значит «87 раз из 100 я бы сказал то же самое»
• routing — отправить каждый входящий запрос в правильную очередь или к нужному воркеру, как почтальон, выбирающий фургон
• calibration — говорит ли число уверенности правду; откалиброванный 0.9 прав 9 раз из 10
• GGUF — формат файлов, в которых приезжают локальные модели; имя в каждом списке загрузок

ДВЕ ФОРМЫ ОТВЕТА

Чат-модели отвечают на всё прозой — не та форма для половины того, что нужно пайплайнам. Роутеру нужен ответ в какую очередь; фильтру — разрешить или отказать, насколько уверенно.

Классификатору нужен один из шести ярлыков.

Спросите решение у чат-модели: фраза, которая означает правильное — как правило — каждый раз другими словами, плюс шаг распарсивания, который тихо падает.

Один разбирает почту и пишет сочинение на каждое письмо. Другой подаёт вам лоток: «уверен на 87% — счета». Кому вы верите в шесть утра?

ПОЛОСЫ ПРИГОВОРА

Тихая фича: вероятность и есть ответ. 0.51 и 0.99 — разные решения — поставьте черту там, где действовать выгоднее, чем эскалировать, и лоток разберётся сам.

a chat model that says "this is probably billing" hides its own calibration — one phrasing, once. a decision model hands you the number; whether it tells the truth on YOUR labels is not in the release notes. that is what the bench is for.

ЧТО ТАКОЕ ЭТА ВОЛНА НА САМОМ ДЕЛЕ

«Jev» — это API-контракт: вопрос на входе, фиксированный список опций, вероятность на каждую опцию. Определил его TypeSafe; локальные инструменты приняли его за неделю.

Ollama выкатил 29 сентября — v0.35 получила /v1/systemone, Nimble и Tev1 доступны сразу при запуске.

llama.cpp последовал в 0.6.0 (5 октября): тот же эндпоинт, пять открытых GGUF — Julia-1, Laya, Kev-4B, lev, OpenJev — Nimble днями позже.

Крошечный: от 144M до 27B параметров; чат-модели стартуют с 30-кратного. Малый — и есть смысл: решение — это один проход, а мгновенность меняет, какие задачи его спрашивают.

Существует одно открытое сравнение точности — 13 датасетов Bespoke Labs, 3,880 размеченных людьми решений: Nimble 75.7%, Tev1-4B 73.3%, Tev1-0.8B 63.5%, хостовый Jev 1.13 на 76.0%.

Цифры на стороне вендора — стартовая точка. Стенд, который имеет значение, гоняется на ВАШИХ ярлыках.

представьте: чат-модель — это консультант высшего звена, которого бронировали по часам. decision model — это резиновый штамп на стойке ресепшена — он говорит только, в какой лоток, и никогда не устаёт. размер — это зарплата: 144M делает работу за гроши; 27B вы оплачиваете только когда работе нужно смотреть на картинки.

THE MODELS ON THE SHELF

Полка llama.cpp — шесть чекпойнтов, которые раздаёт его эндпоинт 0.6.0. У библиотеки Ollama свой набор: Nimble, Tev1, Laya, Clef.

Фильтруйте по лицензии: OpenJev — некоммерческая позиция. MIT-рантайм не меняет того, что позволяют веса.

Седьмая форма, Clef, выехала в том же релизе 0.6.0 (Apache-2.0, текст и зрение); линейка Clef у Cloudflare тоже тянется из Ollama. Та же идея, больше дверей.

Лестница размеров: 144M–421M на простаивающем CPU для чистой маршрутизации; 4B для тонких ярлыков; 27B добавляет глаза. Запустите nvidia-smi --query-gpu=memory.total --format=csv,noheader — подойдёт любая карта.

ГДЕ ЗАХОДИТ — И ГДЕ НЕТ

Заходит, когда выход — это решение: маршрутизация запросов (тикет → billing / sales / abuse), фильтры (разрешить-или-отказать, с уверенностью), сортировка документов потоком.

Классифицируйте маленькой моделью; токены большой тратьте только на то, что она пометила.

Не заходит, когда нужны основания. Ярлык с вероятностью оснований не приносит. Нужно «почему»? Возврат к чат-модели — или к документам.

Не заходит, когда нужна правда через консенсус. Согласие — не проверка — единодушный неправильный ответ приходит самым уверенным голосом из всех.

Вот отказ, ради ловли которого и существуют наши реестры.

проверьте форму на своей машине: ollama run qwen3:0.6b "Reply YES or NO: is 7 prime?" — ответ в один токен без приложенного сочинения значит, что форма работает.

конец судного зала · ничего не скачано · всё локально