北邮团队提出MiTA注意力框架，已被NeurIPS 2026接收

北京邮电大学团队提出 Mixture-of-Top-k Attention（MiTA）高效注意力框架，将注意力机制视为权重由输入生成、隐藏层宽度随序列长度增长的快权重 FFN，并据此设计可变形、可复用的 Top-k 专家，既保留全局信息，也按需读取原始细节。该工作已被 NeurIPS 2026 接收，代码已开源。 据 BestBlogs 报道，MiTA 在 1024K 长度下的推理吞吐达到标准注意力的 159 倍。该数字来自报道对 MiTA 性能的描述，尚未见独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。