Gemma 4 在 Apple Silicon 上提速:Ollama 0.31 引入 MTP
Ollama Blog15 小时前
Gemma 4 在 Apple Silicon 上获得性能提升
Ollama 0.31 为 Apple Silicon 上的 Gemma 4 引入了基于 MLX 的多 Token 预测(Multi-Token Prediction,MTP)能力,使其推理速度显著提升。
在编码代理使用场景中,根据 Aider polyglot benchmark 的测试结果,Gemma 4 的性能最高可提升 90%。
关键信息
- 适用环境:Apple Silicon
- 相关版本:Ollama 0.31
- 技术机制:基于 MLX 的多 Token 预测(MTP)
- 测试场景:编码代理
- 基准测试:Aider polyglot benchmark
- 报告结果:最高提速 90%
简要解读
多 Token 预测的核心思路是在一次推理过程中预测多个后续 Token,从而减少生成过程中的等待与计算开销。对于代码生成、自动修改、多轮代理执行等任务,这类优化可能带来更明显的响应速度改善。
不过,目前可见信息主要集中在性能提升结果与测试场景,尚未提供更完整的硬件配置、模型规模、测试参数或不同任务类型下的详细对比,因此实际体验仍需结合具体设备和工作负载验证。
