LLM 路由器对比：LiteLLM、OpenRouter、RouteLLM 与 Jev

一览

这几个工具名字相近，功能却不同。下表按各自做的决定来分类。内容取自各项目的文档，文档经常变，选型前请点开链接核对。

各自怎么工作

LiteLLM。 用一个接口对接众多 LLM 服务商。它的 Router 支持加权、基于延迟、最少繁忙和基于成本的策略，并带重试和降级。它在你已选定的模型的多个部署之间分摊负载，想自托管网关时常选它。

OpenRouter。 一个托管的模型市场，一个 API 即可调用。它能绕开服务商故障，支持模型降级链，还提供为提示词自动选模型的选项。不想自己运行任何东西时，这是接入多个模型最快的办法。

RouteLLM。 LMSYS 的开源框架，用训练好的路由器判断提示词是否需要更强的模型，还是可以交给更便宜的。作者在自己的基准上报告了较大的成本降幅且质量接近 GPT-4；这只代表该基准，不代表你的流量。

Portkey。 带路由、降级、监控和访问控制的网关，面向需要对模型使用做治理的团队。

Jev。 是分类器，不是网关。你写好档位，比如 small、medium、frontier，每档用一句话描述能胜任的工作。Jev 一次调用返回每一档的概率、一个难度分，以及你要求的是非信号。TypeSafe 官方数字是 70–500 ms、输入 $0.042 / 百万 token、输出免费。在 JevStation 上，一次三个问题的路由判断消耗 1 点。

怎么选

• 需要故障转移、负载均衡或跨服务商的统一 API。 用网关：自托管选 LiteLLM，要托管选 OpenRouter。
• 想用偏好数据训练路由器，手上有一强一弱两个模型。 看看 RouteLLM。
• 想自己定义档位和信号，并按置信度行动。 用 Jev，读取概率。
• 不确定路由器能不能胜过一条简单规则。 先测。LiteLLM 公布过一个基准：它基于规则的复杂度评分 AUC 只有 0.524，接近随机。任何路由器，包括 Jev，都应当在你自己标注的提示词上胜过一条十行代码的规则。

网关与分类器搭配使用

两层回答的是不同问题，可以叠加：

1. 把进来的提示词发给 Jev，问一个 route Choice，再加上你关心的信号，比如 needs_code。
2. 读取档位和置信度。置信度低时往上升一档：多花一点钱，比答错再重试的代价小。
3. 用该档对应的模型，通过 LiteLLM、OpenRouter 或服务商 SDK 发出请求，重试和降级交给网关。
4. 记录档位、概率和 Jev 返回的模型版本，版本变化时重新检查阈值。

Jev 做路由的证据

• DevelopersIO 的测试测得每次 Jev 调用 $0.000025–$0.000027，中位延迟 0.643–0.674 秒。四个难度档共 40 次调用，每次都得到预期档位。
• 该测试每档只用了一条提示词，作者本人说它不是准确率基准。中间档的置信度低于两端，而路由器能不能省钱正取决于这类临界提示词。
• 没有公开基准在同一批提示词上对比过 Jev、RouteLLM 和各网关的自动路由。请用自己的数据测。

可以在 LLM 路由器工具或试验场里试自己的档位和提示词，也可以看 Jev 与 LLM 分类的对比。