跳到正文
10月6日周二
9月29日周二
8月28日周五
6月29日周一
  1. Ollama Blog62

    Ollama 0.31 通过多 token 预测让 Gemma 4 在 MLX 上提速近 90%

    Ollama 0.31 让 Gemma 4 在 Apple Silicon 上生成 token 平均提速近 90%,该加速默认开启且不改变模型输出。提速来自多 token 预测(MTP):Gemma 4 附带一个小型草稿模型,先提出后续若干 token,主模型一次验证并保留一致的部分,代码场景因可预测性高而受益明显。

    推荐理由:原文给出 MTP 加速的实测数据与实现细节,读者可据此判断本地编码 Agent 的响应速度变化。

6月11日周四