北邮 MiTA 提出注意力即快权重 FFN，1024K 长度推理吞吐达标准注意力 159 倍 | NeurIPS 2026

北京邮电大学团队提出 Mixture-of-Top-k Attention（MiTA），将注意力机制视为权重由输入生成、隐藏层宽度随序列长度增长的快权重 FFN，并用扩展策略、专家数量、专家类型、专家构造方式与路由拓扑五维框架设计可复用 Top-k 专家，该工作已被 NeurIPS 2026 接收且代码开源。