机器之心·2026-10-16 11:23· 9 小时前AI 评分41

港科大与华为提出 BalanceRoute：破解大模型推理数据并行负载均衡瓶颈

卡加了，吞吐为何没跟上？大模型推理中的等待，有了新解法

AI 导读

香港科技大学周子杰团队与华为 2012 实验室理论部联合提出 BalanceRoute，通过数学建模刻画数据并行解码中的同步等待，将短期负载预测转化为在线路由决策。

来源：机器之心 · mp.weixin.qq.com