免费情感分析工具：商品评价的情感、星级与退款请求

Works fine for basic edits, but the export crashed twice on a 40-page file. Support replied within a day, which was good. Would still like a refund for this month.

这个工具检查什么

上面的示例正是那种会让"正面 / 负面"二分类器出错的评价：它夸了基础编辑功能，抱怨导出一个 40 页的文件时崩溃了两次，肯定客服一天之内就回复了，最后还要求退还这个月的费用。一次评估问三个问题：

三个回答各有用处。sentiment 用于看板和趋势线，给它一个 mixed 选项，像这样的评价就不会被硬塞到某一边。rating 给没有星级的反馈打上一个数字——客服邮件、应用商店回复、问卷评论。refund_request 是需要有人跟进的那一个：它把一条评价变成一项任务。三个问题针对同一份 state 并行作答，合起来只收 1 点。

怎么写这些问题

给每个情感选项下定义。 示例给每个选项都写了一句 criteria——mixed 是"既有表扬也有抱怨"（Both praise and complaints）。没有这句，Jev 就得去猜只有一点小抱怨的评价算正面还是褒贬参半。把你们团队实际用的界线写进去。

把星级当阈值用，而不是精确数字。 Score 返回的是在刻度上按概率加权的位置。TypeSafe 说明 Score 各级的数值校准较弱，所以不要把落在 3 和 4 之间的期望值读成"3.4 星"。改问一个阈值问题：这条评价是否在 2 星及以下？

你会采取的每个动作各用一个 Noul。 退款请求、扬言取消、bug 报告和功能需求，各自流向不同的地方。每个都给一个 Noul，界线微妙时加上 criteria：

{
  "type": "noul",
  "instructions": "Does the reviewer ask for a refund?",
  "criteria": {
    "true": "The reviewer asks for money back, a refund or a credit for a charge.",
    "false": "The reviewer complains about value or price but does not ask for money back."
  }
}

不要用正反两种问法问同一件事。 在 TypeSafe 自己的文档里，一个关于退款的问题和它的否定问法分开提问，返回的概率加起来是 1.19。选定一种问法，在它上面调阈值。

更多关于问法的内容，见设计 Jev 能回答的问题。

方面级情感分析

整体情感说的是顾客感受如何，方面级情感说的是对什么：一条评价可能对产品是正面的，对物流是负面的，对价格只字未提。产品和客服团队真正能据此行动的，通常是后者。

在 Jev 里，每个方面就是同一次评估里多问的一个问题。每个方面用一个 Choice，并加一个"未提及"选项，避免把沉默当成中性：

{
  "shipping": {
    "type": "choice",
    "instructions": "How does the reviewer feel about shipping and delivery?",
    "criteria": {
      "positive": "Praises delivery speed, packaging or tracking",
      "negative": "Complains about delays, damage or lost parcels",
      "not_mentioned": "Shipping is not discussed"
    }
  }
}

不超过 8,000 字符的评价、不超过 5 个问题仍然只扣 1 点，所以整体情感加上产品、物流、价格、客服四个方面，花费和只问情感一样。超过 5 个问题时扣 3 点，最多 12 个问题。

方面要从你自己的评价里挑，而不是套用通用清单：读一百条评价，记下大家实际在夸什么、抱怨什么，把最常见的五个主题变成问题。

从一条评价到流水线里的一步

1. 先标注一批样本。 几百条你们自己的评价，每条标好团队会给的情感、星级和动作，就足以看出 Jev 的回答在哪里对得上。
2. 一次跑完存量。 批量页面可以对 CSV 的每一行跑同一组问题，你可以直接给导出的历史评价打分，再和自己的标注对比，不用写代码。
3. 按 Noul 分流。 refund_request 概率高的评价交给客服，sentiment 和 rating 用于报表。8,000 字符以内的评价，最多 5 个问题仍然只收 1 点，所以再加一个 bug 报告或取消意向的问题不会多花钱。
4. 记录模型版本。 每次响应都带有 model 字段（例如 jev-1.13.0）。把它和每条结果一起存下，版本变化时重新校验阈值——JevStation 在部署层固定模型，不需要你在请求里指定。
5. 新评价进来就分类。 同样的评估可以用 API Key 通过 System One API 调用，扣点规则和试验台一样。

信任之前先验证

• 如实看待现有证据。 我们所知唯一的独立基准，是一项每个数据集 100 条样本的预注册试验。Jev 在 AG News（四类新闻主题）上准确率 0.910，但在六类情绪数据集 DAIR Emotion 上只有 0.480：在 5% 错误率的要求下，它能自动处理的输入比例为零，校准也比拿来对比的零样本模型更差。三分类情感和六分类情绪不是同一个任务，而目前没有可以引用的 Jev 情感分析公开结果。请用你自己的评价测试。
• 要做情绪识别，就测得最严。 喜悦、愤怒、恐惧、悲伤这类标签，最接近上面表现不好的那个场景。在依赖它们之前单独测量。
• 每种语言分别检查。 TypeSafe 表示英文准确率最高，其他语言能处理，但效果不如英文。
• 关注 mixed 区间。 如果大多数评价都落在这里，要么你的评价确实褒贬参半，要么 criteria 太笼统——抽一批读一读就知道是哪种。

和其他情感分析工具相比

搜"情感分析工具"能找到的大多数工具可以分成四类。它们的区别主要不在于宣称的准确率，而在于返回什么、任务有多少能由你来定义：

Google 的 API 返回 -1 到 1 的分数和一个强度值（magnitude）；Amazon Comprehend 和 Azure AI Language 返回正面、负面、中性、混合四类及置信度，两者也都有针对特定实体或方面的情感功能。如果标准标签正好是你要的，它们是不错的选择。当决策需要你自己来定义时，比如带你自己边界的"褒贬参半"、隐含星级或退款请求，并且你想按答案的确定程度来分流，Jev 更合适。

品牌监测这类社交聆听套件是另一种产品：它们替你收集提及并画成图表。Jev 只给你已有的文本分类。

哪些时候 Jev 不是合适的工具

• 你需要总结顾客说了什么。 Jev 返回的是带类型的回答，不是文字。需要总结时搭配一个生成式模型。
• 细粒度情绪就是你的产品。 那正是上面基准里的弱项。用你的标注训练的模型可能做得更好；Jev 对比开源模型讲了有哪些选择。
• 规则和数字有关。 "这位顾客本月是否留了三条差评？"属于计数，是 TypeSafe 自己列出的弱项。在代码里数。

如果你在为这件事权衡 Jev、通用 LLM 和自己训练的分类器，Jev 的替代方案讲清了各自什么时候更合适。