Ollama Blog·· 2026-06-29精选AI 评分62
Ollama 0.31 通过多 token 预测让 Gemma 4 在 MLX 上提速近 90%
Faster Gemma 4 on MLX with multi-token prediction
AI 导读
Ollama 0.31 让 Gemma 4 在 Apple Silicon 上生成 token 平均提速近 90%,该加速默认开启且不改变模型输出。提速来自多 token 预测(MTP):Gemma 4 附带一个小型草稿模型,先提出后续若干 token,主模型一次验证并保留一致的部分,代码场景因可预测性高而受益明显。
推荐理由
原文给出 MTP 加速的实测数据与实现细节,读者可据此判断本地编码 Agent 的响应速度变化。
来源:Ollama Blog · ollama.com