零样本分类：用你定义的类别给文本打标签

这个工具检查什么

示例看起来像一个边界情况：它讲的是一家公司的股价和营收预期，属于商业；但这家公司做的是处理器，可能被拉向科技。由于商业被定义为"公司、市场、财报与经济"，Jev 会明确把它归入商业。你可以把文本改写成讲处理器本身，看看概率分布怎么变化。一次评估问三个问题：

这四个主题正是 AG News 的标签集，AG News 是常用的主题分类基准，所以你可以把这里看到的结果和下面公开的数字对照。这些标签没有经过任何训练，定义每个标签的只有它旁边那一行文字。改掉那行文字，分类器也就跟着改了。

这里的零样本分类是怎么做的

大多数零样本分类器会把任务改写成模型本来就会做的事。经典做法是 Hugging Face 的 zero-shot-classification pipeline：把每个标签变成一个假设句（默认是 This example is {}.），再用自然语言推理（NLI）模型打分。另一条常见路线是提示通用大模型"只用这些标签之一回答"。

Jev 直接接收标签。一个 Choice 问题就是一组带说明的选项，返回的是每个选项的概率，而不是一段还要和标签名去匹配的文字。实际用起来有两个影响：

• 它不会答出你的标签以外的东西。 不会临时造出一个"商业/科技"，也没有会出错的解析步骤。
• 你拿到的是分布，而不只是一个赢家。 商业 0.55、科技 0.40 的文本，和商业 0.97 的文本，应该做不同的决定。置信度把这个分布形状压缩成一个可以设阈值的数字。

和其他零样本分类器相比

我们知道的唯一独立测量是 jev-benchmarks，一项预先登记的试验：在三个数据集上各取 100 条留出样本，比较 jev-1.13.0 和 GLiNER（fastino/gliner2.5-multi-v1）：

覆盖率是在错误率不超过 5% 的前提下可以自动处理的文本比例，比单纯的准确率更接近分类器的实际用法。在新闻主题和银行意图上 Jev 明显领先；在情绪分类上两者都不可用，而且 Jev 的校准更差。这只是一项 300 条样本的试验，不是排行榜，也没有纳入 bart-large-mnli 这类 NLI 模型或提示式大模型。更多取舍见 Jev 的替代方案。

怎么写标签

定义每个标签，而不只是给它起名。 "商业"对编辑和会计意味着不同的东西。一行说明（"公司、市场、财报与经济"）才是任务定义所在。

把边界写明白。 如果团队会把芯片公司的财报归到商业，就在说明里写上："公司业绩即使来自科技公司，也归入此类。"

加一个兜底选项。 真实数据里总有不属于任何标签的文本。other 选项能避免它们被硬塞进最接近的标签，它的概率也能告诉你标签集漏掉了多少。

会重叠的标签用 Noul。 一段文本可能同时讲价格和 bug，这是多标签分类。为每个标签各问一个 Noul，而不是用一个 Choice。

更多措辞技巧见设计 Jev 能回答的问题。

从试用到流水线

1. 先标注一批样本。 一百条左右团队已分好类的文本，就足以看出 Jev 在哪里和你一致、你的标签定义在哪里有歧义。
2. 不写代码处理积压数据。 批量页面可以对 CSV 的每一行跑同一组问题。
3. 从样本里选阈值。 高于阈值的自动处理，其余交给人。这个划分正是上表覆盖率衡量的东西。
4. 新文本走 API。 同样的评估可以用 API Key 通过 System One API 调用，扣点和试验台相同。

哪些时候 Jev 不是合适的工具

• 细粒度情绪分类。 这正是基准里失败的场景。要么重点测试，要么用自己的标注数据训练模型。
• 文本不能离开你的机器。 Jev 是托管模型；GLiNER 或 NLI 模型可以本地运行。
• 标签集大且稳定，标注数据充足。 在你自己的任务上，用自己数据训练的分类器通常会胜过任何零样本模型，单次调用也更便宜。
• 你需要写出来的推理过程。 Jev 返回的是带类型的答案，不是解释。