天气与日历 切换到宽版
返回列表 发布新帖

摩尔线程开源 Megatron-MUSA-Titan,聚焦万卡级集群的万亿参数 MoE 模型训练

[复制链接]
2 0
AI 总结
• 10 月 28 日,摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。
• 该项目基于摩尔线程全功能 GPU,聚焦万卡级集群的万亿参数 MoE 模型训练需求,覆盖预训练与强化学习两大场景。
• 项目已在万卡级集群

【项目简介】
IT之家 10 月 28 日消息,摩尔线程今日宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。

该项目基于摩尔线程全功能 GPU,聚焦万卡级集群的万亿参数 MoE 模型训练需求,覆盖预训练与强化学习两大场景,为开发者提供面向 MUSA 平台的训练适配与系统优化能力。

【应用与实践】
据介绍,Megatron-MUSA-Titan 已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中持续应用,经过长时间训练实践检验,实现高 MFU(模型算力利用率)与长稳训练。

同时支持与 slime、miles 强化学习框架协同,结合 Megatron 训练与 SGLang 样本生成,构建贯通万亿参数 MoE 预训练与强化学习的训练基础。

【技术特性】
IT之家注意到,Megatron-MUSA-Titan 支持 blockwise FP8 训练,将摩尔线程全功能 GPU 的低精度计算能力引入训练流程,提升大规模训练的计算效率。

还可结合 DeepEP 与 ACE 异步通信引擎,加速 MoE 中的 Token 分发与结果合并,并实现专家并行(EP)与计算的通算重叠,让数据交换与计算任务协同执行,提升端到端训练效率。

【参考链接】
https://github.com/MooreThreads/Megatron-MUSA-Titan

[来源链接] https://www.ithome.com/1/019/131.htm
回复

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则

友情链接(按入站自动排序,自主申请自动检测审核)

全部链接 ›
牛牛马论坛简简单好搜是一个综合性的聚合搜索引擎导航工具,致力于为用户提供全面、便捷的搜索服务。支持全网搜索结果一键切换,网站集成了多种主流搜索引擎,包括网页、AI、新闻、影音娱乐资源等搜索服务,以满足用户各种搜索方面的需求!简单好搜简单好搜是一个综合性的聚合搜索引擎导航工具,致力于为用户提供全面、便捷的搜索服务。支持全网搜索结果一键切换,网站集成了多种主流搜索引擎,包括网页、AI、新闻、影音娱乐资源等搜索服务,以满足用户各种搜索方面的需求!四AI工具及资源导航 - 高效提升工作与学习效率的平台四万导航网AI工具及资源导航 - 高效提升工作与学习效率的平台一一身戎装走天涯中中华游戏网老I‘m a Doctor老苏I‘m a Doctor股“每日复盘+深度解读”,精准拆解盘面细节,热点新闻及时解读。股票愣涨“每日复盘+深度解读”,精准拆解盘面细节,热点新闻及时解读。掌掌上社区扒扒拉一下顺顺为丰有好玩实用又省钱的全能网站导航有趣鸭好玩实用又省钱的全能网站导航野路子野,随时跑偏野路子路子野,随时跑偏品吴侬软语、小桥流水,最美在苏州。品味苏州吴侬软语、小桥流水,最美在苏州。旺爱生活、爱摸鱼旺东自留地爱生活、爱摸鱼
投诉/建议联系

admin@20546.cn

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2026 乐享同盟 版权所有 All Rights Reserved. 劰载中...鲁ICP备14009223号|鲁公网安备 37052202370590号
关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表