港科大与华为提出BalanceRoute路由方法

香港科技大学周子杰团队与华为 2012 实验室理论部联合提出 BalanceRoute，用于缓解大模型推理数据并行解码中的负载均衡瓶颈：该方法通过数学建模刻画同步等待，将短期负载预测转化为在线路由决策。 据该团队称，在 96 张昇腾 910C NPU、运行 DeepSeek-V3 671B（W8A8）、含 8 个解码工作单元的主实验中，采用实际预测器的 BR-H 相对所比较的最强基线解码吞吐提升约 15%；在接近饱和的高负载条件下，团队回放企业生产请求记录和公开 Azure-2024 请求记录，与轮询、最短队列等四种常用路由策略比较。 该工作已被 NeurIPS 2026 接收，并已部署于双方共建的 MaaS 推理服务系统 MathBot-Pie。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。