混合选择
概览
hybrid 将 Elo 评分、Router-DC 描述相似度、AutoMix 的单模型价值估计和成本,组合成一个加权候选分数。
论文:Hybrid LLM: Cost-Efficient Quality-Aware Query Routing
主要优势
- 混合多个选择器,而不是只承诺其中一个。
- 权重显式,易于审计。
- 可以通过改变权重,逐步引入某个组件。
- 成本感知打分,平衡质量与运维开销。
算法原理
当启用 normalize_scores 时,Hybrid 先对可用的 Elo、Router-DC 和 AutoMix 分数做 min-max 归一化。它用相对权重组合这些组件,并在返回了数据的组件上重新归一化。启用成本调整时,再对更便宜的模型施加乘法加成。因此成本是第二阶段调整,而不是组件平均中的另一个线性项。
选择流程
组件选择器
Hybrid 选择器在内部实例化三个子选择器:
| 组件 | 来源 | 提供什么 |
|---|---|---|
EloSelector | 自己的内存评分 | 相对模型评分 |
RouterDCSelector | 模型描述 | 语义查询-模型相似度 |
AutoMixSelector | 单次请求路径 | 成本-质量价值估计 |
每个组件共享同一个 SelectionContext,并独立运行。