哪个决策模型在你的数据上最准？
公开排行榜很少能代表你的任务。粘贴或上传带标签的样本，一次跑完最多 8 个决策模型，并排看准确率、校准、延迟和成本，再拿走推荐的模型、置信度阈值和调用代码。
怎么用
- 1
准备带标签的样本
直接从表格软件里复制粘贴，或上传 CSV、JSONL，也可以从示例数据集开始。需要一列文本和一列标签。
- 2
给每个标签写一行定义
每个不同的标签就是一个选项。模型只看到你写的这一行说明，不需要训练。
- 3
选模型，开始运行
开始前就能看到要花多少积分。各模型并行运行，失败的行自动退还积分。
- 4
拿走最好的那个
按你能接受的错误率给出推荐模型和阈值，列出模型答错的样本，并附上可以直接运行的 API 调用。
能跑多少
- 不登录：最多 20 行 × 2 个模型，每天 1 次。
- 注册后的第一次评测免费：最多 100 行 × 4 个模型。
- 之后最多 500 行 × 全部 8 个模型，按积分计费——200 行跑全部模型约 2,200 积分。
示例报告
已经在公开数据集上跑好，拿自己的数据之前可以先看一份完整报告。
开始评测
1. 数据
常见问题
- 什么是决策模型评测？
- 把同一批带标签的样本交给几个决策模型（零样本分类器，给每个选项返回一个校准过的概率），比较每个模型答对的比例、置信度和实际准确率是否一致、速度多快、成本多少。
- 需要多少条样本？
- 准确率会附带 95% 置信区间，可以看出多加数据时它大概会变动多少。推荐阈值至少需要 50 条成功作答的样本；覆盖所有标签的 100–300 条是不错的起点。
- 数据会发给谁？
- 每一行会发给你选中模型的提供方：TypeSafe（Jev）、Cloudflare（Clef），以及经由 OpenRouter 的 Perplexity、OpenAI、Microsoft 和 Liquid AI。取消勾选某个模型，数据就不会发给它的提供方。不登录的评测不保存；登录用户的评测保留 30 天。
- 决策模型不就是零样本分类器吗？
- 基本是：用自然语言描述选项，不训练就能得到每个选项的概率。上线时真正重要的是，这些概率在你的数据上是否校准，以及阈值设多少错误率才能接受——这正是这个评测要测的。
- 推荐阈值是怎么算的？
- 对每个模型，在 0.50 到 0.99 之间逐个尝试置信度阈值，在“超过阈值的样本里错误率不高于目标（1%、5% 或 10%）”的前提下，取覆盖样本最多的那个。推荐模型就是覆盖率最高的模型。