月之暗面 Kimi 开源 Moonlight:30 亿 / 160 亿参数混合专家模型

月之暗面 Kimi 开源 Moonlight:30 亿 / 160 亿参数混合专家模型

作者: 发表时间:2026-07-06 10:51:18
苏州市安全生产app 晋城市文旅信息app 荆门市公益app 阳江市热点专题app 郑州市暴雨监控中心app 七台河市公开信息app 柳州市政要信息app 辽源市环境保护协会app 双鸭山市最新新闻app 聊城市第三小学app 宜宾市劳动局app 大同市未成年保护协会app 罗城仫佬族自治县财政信息app 米脂县未成年保护协会app 西平县第四小学app 淳化县新闻中心app 前郭尔罗斯蒙古族自治县第一小学app 哈巴河县公共法律服务app 酉阳土家族苗族自治县第一中学app 壤塘县第五小学app 五原县第一高中app 内黄县招标信息app 雅江县第四高中app 双柏县防洪app 宾县公路管理app 遂昌县国土信息app 牟定县卫生协会app 莎车县第二小学app

本站 2 月 24 日消息,月之暗面 Kimi 昨日发布了“Muon 可扩展用于 LLM 训练”的新技术报告,并宣布推出“Moonlight”:一个在 Muon 上训练的 30 亿 / 160 亿参数混合专家模型(MoE)。使用了 5.7 万亿个 token,在更低的浮点运算次数(FLOPs)下实现了更好的性能,从而提升了帕累托效率边界。

月之暗面称,团队发现 Muon 优化器可通过添加权重衰减、仔细调整每个参数的更新幅度等技术进行扩展,并具备如下亮点:

这些技术使得 Muon 能够在大规模训练中开箱即用,无需进行超参数调优。扩展法则实验表明,与计算最优训练的 AdamW 相比,Muon 实现了约 2 倍的计算效率。

本次论文所使用的模型为 Moonlight-16B-A3B,总参数量为 15.29B,激活参数为 2.24B,其使用 Muon 优化器,在 5.7T Tokens 的训练数据下获得上述成绩。

我们的模型不仅突破了当前的 Pareto 前沿,还在训练所需的 FLOP 数大幅减少的情况下,达到了比以往模型更优的性能。

我们开源了一个分布式版本的 Muon 实现,它在内存使用和通信效率上都进行了优化。同时,我们也发布了预训练模型、经过指令调优的模型以及中间训练检查点,旨在为未来的研究提供支持。

本站附有关链接如下:

    GitHub:点此前往

    Hugging Face :点此前往

相关文章