哪个 AI 模型最会分类你的数据?
公开排行榜很少能代表你的任务。粘贴或上传带标签的样本,一次跑完最多 8 个决策模型,并排对比准确率、校准、延迟和成本,再拿到推荐的模型、起步置信度阈值和调用代码。
怎么用
- 1
准备带标签的样本
直接从表格软件里复制粘贴,或上传 CSV、JSONL,也可以从示例数据集开始。需要一列文本和一列标签。
- 2
给每个标签写一行定义
每个不同的标签就是一个选项。模型只看到你写的这一行说明,不需要训练。
- 3
选模型,开始运行
开始前就能看到要花多少积分。各模型并行运行,失败的行自动退还积分。
- 4
拿走最好的那个
按你能接受的错误率给出推荐模型和阈值,列出模型答错的样本,并附上可以直接运行的 API 调用。
能跑多少
- 注册后的第一次评测免费:最多 100 行 × 4 个模型。
- 之后最多 500 行 × 全部 8 个模型,按积分计费——200 行跑全部模型约 2,200 积分。
示例报告
已经在公开数据集上跑好,拿自己的数据之前可以先看一份完整报告。
开始评测
1. 数据
常见问题
- 什么是决策模型评测?
- 就是针对分类任务的 LLM 评测:同一批带标签的样本交给多个决策模型(零样本分类器,会为每个选项返回概率),对比各自的准确率、置信度是否符合实际、速度和成本。每一行只有一个正确标签。
- 可以对比哪些模型?
- 共 8 个:Jev(TypeSafe)、Clef-flash 和 Clef(Cloudflare)、Perplexity Decider、OpenAI Luna Decisions、Microsoft-Decision-1,以及 Liquid AI 的 d1-ultra 和 d1。它们都使用同一套自然语言选项说明,比较条件一致。不想跑的模型取消勾选即可。
- 和 promptfoo、OpenAI Evals 等 LLM 评测框架有什么不同?
- 那些框架评测的是提示词和生成文本,测试脚本、评分器和 API 调用都要自己写。这里范围更窄、不用写代码:只做封闭标签分类、只评决策模型,准确率、校准和阈值都替你算好。如果想比较用提示词做分类的通用聊天模型,请用那些框架,或看我们的 Jev 与 LLM 分类对比页。
- 需要多少条样本?
- 准确率会附带 95% 置信区间,可以看出多加数据时它大概会变动多少。推荐阈值至少需要 50 条成功作答的样本;覆盖所有标签的 100–300 条是不错的起点。
- 校准是怎么衡量的?
- 把样本按置信度分成 10 档,期望校准误差(ECE)是每档里「声称的置信度」和「实际准确率」之差,再按行数加权平均。越低越好:ECE 为 0.05 表示置信度平均偏差约 5 个百分点。准确率附 95% Wilson 区间,宏平均 F1 用来看少见标签是否和常见标签一样准。
- 推荐阈值是怎么算的?
- 对每个模型,在 0.50 到 0.99 之间逐个尝试置信度阈值,在“超过阈值的样本里错误率不高于目标(1%、5% 或 10%)”的前提下,取覆盖样本最多的那个。推荐模型就是覆盖率最高的模型。阈值是在同一批样本上选出并计算的,所以只能当起点:正式使用前请在一批新样本上确认,样本少于 300 行时尤其如此。
- 什么情况下不该用决策模型?
- 答案是开放式的、而不是固定几个标签之一;一行需要同时打多个标签;或者你已经有几千条标注数据、调用量又很大——这时微调一个小分类器往往更便宜也更准。这个评测能先快速告诉你零样本模型够不够用,再决定要不要投入训练。
- 一次评测要花多少钱?
- 注册后第一次评测(最多 100 行 × 4 个模型)免费,新账号另送 50 点。之后 200 行跑全部 8 个模型约 2,200 点,按 $9.90 买 5,000 点的套餐约合 $4.40。开始前会显示预估,失败的行自动退点。
- 可以导出结果吗?
- 登录用户可以下载 CSV,包含每一行的文本、标签以及每个模型的预测和置信度,方便你自己重算指标或试别的阈值。登录后的评测保留 30 天。
- 数据会发给谁?
- 每一行会发给你选中模型的提供方:TypeSafe(Jev)、Cloudflare(Clef),以及经由 OpenRouter 的 Perplexity、OpenAI、Microsoft 和 Liquid AI。取消勾选某个模型,数据就不会发给它的提供方。评测记录保留 30 天。
- 决策模型不就是零样本分类器吗?
- 基本是:用自然语言描述选项,不训练就能得到每个选项的概率。上线时真正重要的是,这些概率在你的数据上是否校准,以及阈值设多少错误率才能接受——这正是这个评测要测的。