System One 模型是什么,不是什么
System One 模型返回的是带类型的判断与校准过的概率,而不是生成的文本。这意味着什么、RLCD 与 RLHF 有何不同,以及独立证据目前还薄弱在哪里。

System One 模型是一类以返回判断而非文本为目标的模型。 你提交一个 state 与一组「可能答案已由你预先定义」的问题,它返回的是带类型的值,并附带概率。最值得直接引用的是 TypeSafe 自己的定义:“System One 模型是一类为做出快速、结构化、可供软件直接使用的决策而构建的 AI 模型。”
Jev 是第一个。下面想做的,是尽量准确地说清这件事改变了什么、又没有改变什么——并且为每一条说法标出来源,因为关于 Jev 流传的很多内容来自厂商自述,而其中一部分存在争议。
这个名字是刻意别扭的
“System One”来自卡尼曼的《思考,快与慢》:系统 1 快速而直觉,系统 2 缓慢而审慎。TypeSafe 自己承认这个名字里的坑——“System 1 thinking”这个说法同时带有「容易出错」的意味——但它认为对于需要快速、可重复而非深度的判断来说,这个取舍是值得的。
由此得出的定位是:“非结构化 state 输入,带类型的概率化判断输出。” 这一句话就是整个产品论点,值得用它去检验关于 Jev 的每一条说法。
它是怎么训练的:RLCD
TypeSafe 描述了三条后训练路径,并把自己的放在第三条:
| 方法 | 优化目标 | 产物 |
|---|---|---|
| RLHF | 人偏好的回答 | 对话模型 |
| RLVR | 可验证的奖励 | 推理模型 |
| RLCD | 校准过的判断与概率 | System One 模型 |
RLCD 是 Reinforcement Learning for Calibrated Decisions(面向校准决策的强化学习)。训练目标不是「产出一个人会喜欢的答案」,而是「返回一个名副其实的概率」——被赋予 0.2 的结果应当约有 20% 的概率发生,被赋予 0.8 的约有 80%。
关于这条主张有两点值得注意:
- 校准是群体属性,不是对单个答案的保证。 TypeSafe 自己就写明了这个前提:这些比率描述的是成组的预测,而不是对任何单个答案的承诺。一个校准良好的 0.9 在你眼前这一例上依然可能是错的。
- 它的动机是对 RLHF 的批评。 TypeSafe 认为偏好优化会奖励迎合与「听起来很自信」的编造,并导致模式坍缩——模型偏向某种风格,同时压低其他有效输出的概率。因此才有了那个说法:一段输出可以对人很有说服力,却仍不足以可靠到无人值守地自动化。
还有两条厂商自述、但在使用上很重要的事实:Jev 不针对单个客户做微调——同一套权重服务所有账号,领域行为来自请求本身(state、instructions、criteria)而不是按账号的权重;以及客户数据不用于训练。
它与语言模型的区别
下面这些差异改变的是你如何基于它构建,而不是你如何给它打分:
| 维度 | 生成式大模型 | Jev |
|---|---|---|
| 输出 | 你需要解析并校验的字符串 | 带类型的值;没有解析步骤,也不会出现格式错误 |
| 采样 | 串行,一次一个 token | 并行——所有问题一趟回答 |
| 置信度 | 在提示词里索要,然后指望那个数字有意义 | 每个 Choice 与 Score 答案都从分布中直接给出 |
| 适用 | 答案本身是散文的任务 | 你能预先枚举答案空间的任务 |
由此直接推出两个结论。
增加问题在延迟上几乎免费。 因为所有问题针对同一个 state 并行评估,从 1 个问题增加到 12 个,响应时间几乎不变。这与「一次调用只问一个判断」的大模型习惯正好相反,也是构建时最大的结构性差异。
置信度才是重点。 你可以向语言模型索要一个置信度分数;但它无法给出一个源自「它并未真正产生的分布」的数字。这里的数字来自你所声明选项之间的真实概率质量,这正是它可以被用来设阈值的原因。
它不是什么
这是大多数介绍会略过、却决定 Jev 是否适合你的部分。
- 它不是可以平替大模型的方案。 做出首个官方集成的 LangChain 说得很直白:Jev 不生成文本,最适合被理解为对驱动你 agent 的那个模型的补充,而不是替代。
- 它不能写任何东西。 不能起草回复、不能生成代码、不能写散文式摘要、也不能对话。
- 它无法回答你列不出选项的问题。 如果你无法枚举可能的答案,就没有 Choice 问题可问,这个任务就不是 Jev 的任务。
- 它的准确率是持平,而不是碾压。 在 TypeSafe 自己的工作流评测中,Jev 得分 67.8%,GPT-5.6 Terra 为 67.9%——统计上打平,而每样本约 0.4 秒 对 10.1 秒,成本只是零头。同一评测环境下更强的前沿模型得分为 74.1%。支持 Jev 的理由是在相近准确率下的成本与速度,而不是准确率本身。
独立证据薄弱的地方
校准是核心主张,因此最该被怀疑——而诚实的答案是:独立测试尚在早期,且结果确实好坏参半。
- 一项预注册研究发现 Jev 在两个数据集上校准良好,而在第三个上校准很差:Brier 分数 0.846,对照为 0.668,并且在 16% 的样本上给真实标签分配了零概率。
- 一项 LessWrong 的 AI 控制试点发现 Jev 对后门的排序能力很好(AUROC 0.976,在 2% 假阳性率下抓到 90%),但明显过于欠自信——这使它的原始分数成为一个好的排序、却是一个差的概率。这项试点的完整拆解见《用 Jev 当评判模型》。
- 厂商自己的基准方法也受到批评:它衡量的是与其他前沿模型的一致性,而不是对照独立的标准答案。
实用的读法是:先把原始置信度当作排序信号,再拿你自己的数据去校准阈值。 从别人的工作负载抄来的阈值只是一个猜测。这也正是 JevStation 试验台会展示完整概率分布、而不只是胜出答案的原因——分布的形状比那个数字本身说明更多。
如何判断一个任务是否合适
三个条件,应当同时成立:
- 你能预先枚举答案空间。 列不出选项,就没有可定义的问题。怎么把问题写好,见《设计 Jev 能回答的问题》。
- 你在反复做同一个判断。 一次性的判断无法从可调的阈值中获益。
- 你能依据置信度采取行动。 高置信度自动执行、低置信度转人工,这就是全部价值;如果每个答案最终都要人来看,那么更便宜的模型并不是瓶颈。
三条都成立时,成本论据非常有力——一次实测评估的成本在 $0.000012 到 $0.000377 之间,而每一次都返回一个你的代码可以直接分支的值。只要有一条不成立,通用模型或其他分类器就是更合适的工具,再大的延迟优势也改变不了这一点。
来源
逐条标注出处,方便你把厂商自述的部分与独立的部分对照核查:
- 定义、RLCD、RLHF/RLVR 的区别、校准前提、训练数据政策 —— TypeSafe 的机器学习入门与发布公告 (厂商)
- 「不能平替大模型」、并行评估、集成形态 —— LangChain (第三方,但为集成作者)
- 对比表、70–500 ms 延迟与准确率数字 —— TypeSafe 的发布公告与一篇 dev.to 评测 (分别为厂商与独立)
- 校准结果 —— jev-benchmarks 与 LessWrong (独立)
- 模型标识与 API 形态 —— TypeSafe 文档