摩尔线程完成Kimi K3.1 Pro训练适配 双机16卡连续稳定运行400步

李玉洋 |

未来,摩尔线程将持续打磨从算子适配、多卡协同到自动化工具链的完整训练能力,推动前沿大模型在国产全功能GPU上从“能训”走向“开箱即训”。

中经记者 李玉洋 上海报道

11月18日,《中国经营报》记者从摩尔线程(688795.SH)方面获悉,近期该公司基于旗舰级AI训推一体智算卡MTT S5000与MUSA软件栈快速完成了对月之暗面近3万亿参数的旗舰模型Kimi K3.1 Pro的训练适配。

需要指出的是,摩尔线程此次完成的是对先进开源大模型的训练适配,这和以往说的算力芯片Day 0适配最新开源大模型还不一样,适配/接入成功并不等于该模型是在这个芯片上预训练出来的。比如,深度求索(DeepSeek)公司在DeepSeek V4技术报告中同时并列验证昇腾NPU与英伟达GPU两条路线,验证了一套细粒度专家并行(EP)方案,行业共识认为V4 报告里昇腾+英伟达并列,是推理算子验证。事实上,DeepSeek没有官宣其基座预训练原始算力源于哪里。

摩尔线程方面表示,此次完成对Kimi K3.1 Pro的训练适配,构建了原生FSDP2多模态训练路径,打通了从模型加载、分片调度到梯度同步的完整训练链路。同时,公司已构建起成熟的工程化体系,具备对前沿复杂大模型从“快速推理部署”到“全链路稳定训练”的支撑能力。

在技术报告中,摩尔线程展示了更多细节。比如,该公司在实验中采用双机共16张MTT S5000完成跨节点联合训练测试,全部16个训练进程完成400次连续优化器更新,loss与梯度范数全程保持有限,未出现数值溢出或异常中断。

据了解,在大规模训练实战方面,摩尔线程已落地多项“国芯训国模”成果:不仅完成了021科学基础模型(2360亿参数)从零起步的完整训练,还支撑了全球首个5D世界模型“北大EvoPhys-World”的全栈原生训练,并联合智源完成具身大脑模型RoboBrain 2.5的全流程训练, 目前公司正携手合作伙伴推进万亿级参数大模型的训练。

未来,摩尔线程将持续打磨从算子适配、多卡协同到自动化工具链的完整训练能力,推动前沿大模型在国产全功能GPU上从“能训”走向“开箱即训”。

(编辑:吴清 审核:李正豪 校对:翟军)

版权说明:

* 本平台全部文章为作者独立观点,不代表中国经营网立场。

* 文章来源于“中国经营网”,版权均归中国经营网所有(另有声明的除外),未经授权任何单位及个人不得转载、摘编或以其它方式使用上述作品,违者将被追究法律责任。

* 如因作品内容、版权和其他问题需要同本网联系的,请在30日内进行。

* 有关作品版权事宜请联系:010-88890046 邮箱:banquan@cbnet.com.cn

热榜

  1. 1.秋假客流分化:铁路增速跑赢民航 航司未额外加运力客座率抬升
  2. 2.《中国养老金融发展报告2026》成果研讨会举行 专家热议养老金融体系建设
  3. 3.中国人寿集团蔡希良:保险机构应共建面向亚太的三大服务体系
  4. 4.“锚定标尺 共赴长青”:2026中国企业ESG大会即将启幕
  5. 5.高分红凸显长期配置价值 沪市产业园区REITs前三季分派率6.9%
  6. 6.广发银行干部员工认真学习领会党的二十届五中全会精神(二)
  7. 7.2035年太空光伏市场规模或破万亿元 国内光伏企业竞逐新赛道
  8. 8.中汽协付炳锋:充换电设施产业迈入规模化建设与模式创新深度融合的新阶段
  9. 9. 国内首次实践!算力基础设施机构间REIT完成第一次扩募
  10. 10.广发银行干部员工认真学习领会党的二十届五中全会精神(三)
  11. 11.广发银行党委召开扩大会议传达学习贯彻党的二十届五中全会精神
  12. 12.北京朝阳驼房营“回炉”地块受捧 中建智地+太古、金隅+懋源溢价分食
  13. 13.捷途推出首款纯电方盒子,切入年轻市场
  14. 14.家庭财富管理逻辑思变:保险从“兜底”走向“全周期配置”
  15. 15.专访罗甸县农业农村局副局长李春明:国投集团产业帮扶激活乡村发展动能

相关推荐