快速开始兼容性协议兼容性矩阵版本:v0.4本页总览协议兼容性矩阵 Semantic Router 在数据平面两侧都支持三种推理线格式。客户端请求被解码为协议中立形式,路由策略选择模型,该模型的 api_format 选择后端编解码器。响应再被翻译回客户端的原始格式。 client endpoint -> client codec -> routing -> backend codec -> model endpoint 协议兼容性独立于目标配置和部署支持: 使用后端目标兼容性了解 URL、权重、标头、发现和生成方保留;以及 使用部署支持了解项目维护的栈、集成和硬件配置。 面向客户端的协议