Jev を評価モデルに：型付きの判定で LLM の回答を採点する

この評価モデルがチェックすること

上の例では、サポートボットの回答を、本来参照すべきだったナレッジベースの抜粋と照合して採点しています。1 回の呼び出しで 3 つの質問を尋ねます。

質問が 3 つでも費用は 1 クレジットで、同じ state に対して並列に回答されるため、3 つすべてを尋ねてもレイテンシはほとんど増えません。例の回答は参照情報と矛盾しています（無料プランでは API にアクセスできないと述べています）。そのため注目すべき出力は、correct がどれだけ強く「no」に傾くか、そして verdict が reject と revise のどちらを選ぶかです。

うまく機能する評価用の質問の書き方

Noul 1 つにつき失敗パターンは 1 つ。 「この回答は良いか？」は、正確さ・口調・網羅性を 1 つの確率に混ぜてしまい、それでは行動に移せません。「回答は参照情報と矛盾しているか？」なら意味は 1 つです。気にかけている失敗ごとに Noul を追加してください。たとえば「回答は、ポリシーで認められていないことを約束しているか？」などです。

Noul に基準を与える。 true と false の説明によって、Jev に境界線の位置を伝えられます。

{
  "type": "noul",
  "instructions": "Does `answer` state or imply something that contradicts `reference`?",
  "criteria": {
    "true": "The answer asserts a fact the reference contradicts.",
    "false": "Everything the answer claims is supported by, or absent from, the reference."
  }
}

重大度が重要なら Score を使う。 出力の大半が「部分的に正しい」場合、各レベルに短い説明を付けた 5 段階のルーブリックのほうが、Yes/No よりもうまく回答を順位付けできます。

判断は Choice に任せる。 ship / revise / reject を直接尋ねると、アクションに対する分布が得られます。3 つの数値を自分で組み合わせるより、振り分けが簡単です。残りの 2 つの質問はログ記録としきい値調整に使いましょう。

質問の書き方について詳しくは、Jev が答えられる質問の設計 をご覧ください。

1 回のチェックから採点ステップへ

1. ラベル付きの例を集める。 人が良い・悪いを判定した実際の回答が 50〜200 件あれば、Jev の確率がそれらをどこで分けるかを確認できます。
2. しきい値を 1 つではなく 3 つの帯にする。 Jev が確信している回答は通し、中間帯はより強力な評価モデルか人にエスカレーションし、残りはブロックします。公開パイロットでは、このパターンによって Jev 単独でキューの約 80% を処理できました。
3. モデルバージョンを記録する。 すべてのレスポンスには jev-1.13.0 のような model フィールドが含まれます。判定ごとにこれを記録し、変わったときはしきい値を見直してください。JevStation がモデルを固定するため、リクエストごとに選ぶ必要はありません。
4. パイプラインから呼び出す。 同じ評価を API Key を使って System One API からも実行でき、プレイグラウンドと同じクレジットが消費されます。

信頼する前に確かめる

• 例ではなく、自分のラベルと比較する。 他人のデータで機能するしきい値は、あなたのしきい値ではありません。
• 言い回しをテストする。 Noul とその否定形、あるいは同じ内容を Noul と Choice で尋ねた場合では、異なる確率が返ることがあります。実際にリリースする質問そのものでしきい値を調整してください。
• 中間帯に注目する。 大半の回答がしきい値の間に入るなら、質問が曖昧すぎます。分割してください。

Jev が評価モデルに向かない場面

• 書かれた理由が必要な場合。 レビュー担当者向け、監査証跡、採点対象モデルへのフィードバックなどです。
• 判定に数え上げ、計算、日付が絡む場合。 TypeSafe はこれらを弱点として文書化しています。
• 採点される側のシステムが評価モデルに問い合わせられる場合。 安価で安定したスコアは、すり抜けるものを探る手がかりになってしまいます。

これらの限界の根拠と、このページで引用したパイロットの数値は、出典付きで 評価モデルとしての Jev：1 つの Yes/No 質問で見抜けること、見逃すこと にまとめています。