octoryn-router(自主 DP 路由)
一个手写的自主 HTTP 反向代理路由,覆盖数据并行推理集群,具备中途逐字节一致的失效切换与事件化审计轨迹。
说明
在不依赖第三方代理的情况下,将请求路由至数据并行集群,并能在芯片之间中途切换,同时保持解码逐字节一致。每一次路由决策都写入事件化审计轨迹。
亮点
- 自研 HTTP 反向代理,直接置于数据并行推理集群之前——请求路径中没有任何第三方代理
- 在芯片或副本之间进行流中途 failover,解码输出保持逐字节一致
- 每一次路由决策都写入事件化的审计轨迹
- 路由与 failover 逻辑自主可查,不交给不透明的负载均衡器
- Apache-2.0 授权
octoryn-router 是一个自研的 HTTP 反向代理,直接部署在数据并行推理集群之前。请求路径中不存在任何第三方代理:路由与 failover 逻辑是你自己拥有、可以逐行阅读的代码,而不是交给某个不透明负载均衡器去决定的行为。这里的“sovereign(主权)”不是营销修辞,而是一个具体属性——每一次“请求发往何处”的决定,都由你掌控之下、可被审查的逻辑做出。
工作原理
router 最核心的能力是流中途 failover。当正在处理某次生成的芯片或副本变得不可用时,router 可以把该请求迁移到另一个副本,同时让解码输出保持逐字节一致,使得一个已经处于生成中途的客户端不会看到中断或发生分叉的流。这依赖于跨芯片解码一致性:接管的副本必须以相同方式解码相同的 token——这正是一份关于 cross-chip decode consistency 的相关数据集所研究的主题。在路由之上,每一次决策都会写入事件化的审计轨迹,因此事后可以完整重建某个请求实际走过的路径。
为什么重要
对于自托管、多芯片推理的团队来说,failover 往往意味着要在韧性与掌控之间做取舍——引入第三方均衡器,就等于接受一套你无法完全看清或验证的行为。octoryn-router 让 failover 本身及其记录都留在你手中。它与研究院在 local-sovereign-inference 与 governed-agent-systems 上的更广工作一脉相承,把同一条原则贯彻到服务层:决策始终自主、可查、有据可循。采用 Apache-2.0 授权。
局限
- 逐字节失效切换依赖跨芯片解码一致性(见相关数据集)。
- 代码仓库正迁出即将下线的 Octoryn Research 域名。