8月28日,腾讯混元正式发布并开源新一代大语言模型Hy4 preview。该模型总参数770B、激活参数49B,上下文长度突破1M。Hy4 preview已在WorkBuddy/CodeBuddy国内版及国际版、元宝、ima等腾讯产品同步首发,用户可通过腾讯云TokenHub和OpenRouter接入API使用。
Hy4 preview在模型尺寸、上下文长度、数据规模上均进行了显著扩展。相比前一代产品Hy3的295B总参数,770B的Hy4preview实现了大幅提升。
Hy4 preview API定价延续普惠路线,输入6元/百万tokens,输出18元/百万tokens,缓存命中0.3元/百万tokens。腾讯方面表示,预训练和后训练的共同进步带来了智能水平的巨大提升,Hy4 preview稳居开源模型第一梯队。
据悉,自今年2月重建基础设施以来,混元大模型平均每两个月迭代一次大版本,按此节奏,Hy4的下一版模型也将在近期陆续上线。腾讯方面表示,Hy4 preview是Hy4迭代的一个早期版本,预训练和后训练均仍有较大提升空间,存在复杂任务长思考等已知问题,将持续敏捷迭代。