返回博客

System One 模型是什么,不是什么

System One 模型返回的是带类型的判断与校准过的概率,而不是生成的文本。这意味着什么、RLCD 与 RLHF 有何不同,以及独立证据目前还薄弱在哪里。

更新于 JevStationJevStation
System One 模型是什么,不是什么

System One 模型是一类以返回判断而非文本为目标的模型。 你提交一个 state 与一组「可能答案已由你预先定义」的问题,它返回的是带类型的值,并附带概率。最值得直接引用的是 TypeSafe 自己的定义:“System One 模型是一类为做出快速、结构化、可供软件直接使用的决策而构建的 AI 模型。”

Jev 是第一个。下面想做的,是尽量准确地说清这件事改变了什么、又没有改变什么——并且为每一条说法标出来源,因为关于 Jev 流传的很多内容来自厂商自述,而其中一部分存在争议。

这个名字是刻意别扭的

“System One”来自卡尼曼的《思考,快与慢》:系统 1 快速而直觉,系统 2 缓慢而审慎。TypeSafe 自己承认这个名字里的坑——“System 1 thinking”这个说法同时带有「容易出错」的意味——但它认为对于需要快速、可重复而非深度的判断来说,这个取舍是值得的。

由此得出的定位是:“非结构化 state 输入,带类型的概率化判断输出。” 这一句话就是整个产品论点,值得用它去检验关于 Jev 的每一条说法。

它是怎么训练的:RLCD

TypeSafe 描述了三条后训练路径,并把自己的放在第三条:

方法优化目标产物
RLHF人偏好的回答对话模型
RLVR可验证的奖励推理模型
RLCD校准过的判断与概率System One 模型

RLCD 是 Reinforcement Learning for Calibrated Decisions(面向校准决策的强化学习)。训练目标不是「产出一个人会喜欢的答案」,而是「返回一个名副其实的概率」——被赋予 0.2 的结果应当约有 20% 的概率发生,被赋予 0.8 的约有 80%。

关于这条主张有两点值得注意:

  • 校准是群体属性,不是对单个答案的保证。 TypeSafe 自己就写明了这个前提:这些比率描述的是成组的预测,而不是对任何单个答案的承诺。一个校准良好的 0.9 在你眼前这一例上依然可能是错的。
  • 它的动机是对 RLHF 的批评。 TypeSafe 认为偏好优化会奖励迎合与「听起来很自信」的编造,并导致模式坍缩——模型偏向某种风格,同时压低其他有效输出的概率。因此才有了那个说法:一段输出可以对人很有说服力,却仍不足以可靠到无人值守地自动化。

还有两条厂商自述、但在使用上很重要的事实:Jev 不针对单个客户做微调——同一套权重服务所有账号,领域行为来自请求本身(state、instructions、criteria)而不是按账号的权重;以及客户数据不用于训练。

它与语言模型的区别

下面这些差异改变的是你如何基于它构建,而不是你如何给它打分:

维度生成式大模型Jev
输出你需要解析并校验的字符串带类型的值;没有解析步骤,也不会出现格式错误
采样串行,一次一个 token并行——所有问题一趟回答
置信度在提示词里索要,然后指望那个数字有意义每个 Choice 与 Score 答案都从分布中直接给出
适用答案本身是散文的任务你能预先枚举答案空间的任务

由此直接推出两个结论。

增加问题在延迟上几乎免费。 因为所有问题针对同一个 state 并行评估,从 1 个问题增加到 12 个,响应时间几乎不变。这与「一次调用只问一个判断」的大模型习惯正好相反,也是构建时最大的结构性差异。

置信度才是重点。 你可以向语言模型索要一个置信度分数;但它无法给出一个源自「它并未真正产生的分布」的数字。这里的数字来自你所声明选项之间的真实概率质量,这正是它可以被用来设阈值的原因。

它不是什么

这是大多数介绍会略过、却决定 Jev 是否适合你的部分。

  • 它不是可以平替大模型的方案。 做出首个官方集成的 LangChain 说得很直白:Jev 不生成文本,最适合被理解为对驱动你 agent 的那个模型的补充,而不是替代。
  • 它不能写任何东西。 不能起草回复、不能生成代码、不能写散文式摘要、也不能对话。
  • 它无法回答你列不出选项的问题。 如果你无法枚举可能的答案,就没有 Choice 问题可问,这个任务就不是 Jev 的任务。
  • 它的准确率是持平,而不是碾压。 在 TypeSafe 自己的工作流评测中,Jev 得分 67.8%,GPT-5.6 Terra 为 67.9%——统计上打平,而每样本约 0.4 秒 对 10.1 秒,成本只是零头。同一评测环境下更强的前沿模型得分为 74.1%。支持 Jev 的理由是在相近准确率下的成本与速度,而不是准确率本身。

独立证据薄弱的地方

校准是核心主张,因此最该被怀疑——而诚实的答案是:独立测试尚在早期,且结果确实好坏参半。

  • 一项预注册研究发现 Jev 在两个数据集上校准良好,而在第三个上校准很差:Brier 分数 0.846,对照为 0.668,并且在 16% 的样本上给真实标签分配了零概率。
  • 一项 LessWrong 的 AI 控制试点发现 Jev 对后门的排序能力很好(AUROC 0.976,在 2% 假阳性率下抓到 90%),但明显过于欠自信——这使它的原始分数成为一个好的排序、却是一个差的概率。这项试点的完整拆解见《用 Jev 当评判模型》。
  • 厂商自己的基准方法也受到批评:它衡量的是与其他前沿模型的一致性,而不是对照独立的标准答案。

实用的读法是:先把原始置信度当作排序信号,再拿你自己的数据去校准阈值。 从别人的工作负载抄来的阈值只是一个猜测。这也正是 JevStation 试验台会展示完整概率分布、而不只是胜出答案的原因——分布的形状比那个数字本身说明更多。

如何判断一个任务是否合适

三个条件,应当同时成立:

  1. 你能预先枚举答案空间。 列不出选项,就没有可定义的问题。怎么把问题写好,见《设计 Jev 能回答的问题》。
  2. 你在反复做同一个判断。 一次性的判断无法从可调的阈值中获益。
  3. 你能依据置信度采取行动。 高置信度自动执行、低置信度转人工,这就是全部价值;如果每个答案最终都要人来看,那么更便宜的模型并不是瓶颈。

三条都成立时,成本论据非常有力——一次实测评估的成本在 $0.000012 到 $0.000377 之间,而每一次都返回一个你的代码可以直接分支的值。只要有一条不成立,通用模型或其他分类器就是更合适的工具,再大的延迟优势也改变不了这一点。

来源

逐条标注出处,方便你把厂商自述的部分与独立的部分对照核查: