Gemma 4 在 Apple Silicon 上提速:Ollama 0.31 引入 MTP

Ollama Blog15 小时前
分享到

Gemma 4 在 Apple Silicon 上获得性能提升

Ollama 0.31 为 Apple Silicon 上的 Gemma 4 引入了基于 MLX 的多 Token 预测(Multi-Token Prediction,MTP)能力,使其推理速度显著提升。

在编码代理使用场景中,根据 Aider polyglot benchmark 的测试结果,Gemma 4 的性能最高可提升 90%。

关键信息

  • 适用环境:Apple Silicon
  • 相关版本:Ollama 0.31
  • 技术机制:基于 MLX 的多 Token 预测(MTP)
  • 测试场景:编码代理
  • 基准测试:Aider polyglot benchmark
  • 报告结果:最高提速 90%

简要解读

多 Token 预测的核心思路是在一次推理过程中预测多个后续 Token,从而减少生成过程中的等待与计算开销。对于代码生成、自动修改、多轮代理执行等任务,这类优化可能带来更明显的响应速度改善。

不过,目前可见信息主要集中在性能提升结果与测试场景,尚未提供更完整的硬件配置、模型规模、测试参数或不同任务类型下的详细对比,因此实际体验仍需结合具体设备和工作负载验证。

评论

请登录后发表观点

暂无数据