腾讯发布 Hy3:295B 参数 MoE 开源模型
Simon Willison15 小时前
腾讯 Hy 团队发布了新的大语言模型 Hy3,采用 Apache 2.0 许可。
模型概况
Hy3 是一个 295B 参数的混合专家模型(MoE),其中:
- 总参数量:295B
- 激活参数量:21B
- MTP 层参数:3.8B
- 上下文长度:256K
官方介绍称,Hy3 是在 4 月底 Hy3 Preview 发布后,结合 50 多个产品的反馈,并使用更高质量数据扩大后训练规模后推出的版本。
模型体积
目前可用版本包括:
- 完整模型:约 598GB
- FP8 量化版本:约 300GB
这意味着 Hy3 虽然是开源许可模型,但本地部署对存储、显存和推理基础设施仍有较高要求。
官方性能表述
腾讯 Hy 团队称,Hy3 在同等规模模型中表现更优,并可与参数量为其 2–5 倍的旗舰级开源模型竞争。同时,模型在多类产品和生产力任务中的实用性有所提升。
临时免费体验
Hy3 目前可在 OpenRouter 上免费使用,免费开放时间截至 7 月 21 日。
有人测试让模型生成“骑自行车的鹈鹕”的 SVG,模型返回了一张扁平卡通风格图像:白色鹈鹕、橙色大喙、红色自行车、浅蓝背景,并带有表示速度的灰色运动线。
适合关注的点
- Apache 2.0 许可,便于研究和商业场景评估
- 256K 长上下文,适合长文档和复杂上下文任务
- MoE 架构下仅 21B 激活参数,有利于推理效率
- 模型体积较大,实际部署门槛不低
- FP8 版本可降低部署资源需求,但仍需要较强硬件支持
