蚂蚁集团Ling团队突破!国产芯片训练AI性能追平英伟达
蚂蚁集团Ling团队近日发布了一项令人瞩目的技术成果论文,揭晓了两款自主研发的MoE大语言模型——百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus)。其中,百灵轻量版参数规模达168亿,激活参数27.5亿;而百灵增强版更是拥有高达2900亿的基座模型参数规模,激活参数达到288亿,两款模型性能均稳居行业前列。
除了在大模型研发上取得显著成就,该论文还提出了一系列创新策略,旨在提升在资源受限环境下AI开发的效率与普及度。令人振奋的是,实验结果显示,一个参数规模达3000亿的MoE大模型,在仅使用国产GPU的低性能设备上,也能完成高效训练,其性能表现与完全依赖英伟达芯片、同规模的稠密模型及MoE模型相比,毫不逊色。
这一成果不仅展示了蚂蚁集团Ling团队在AI技术研发上的深厚底蕴,更为国产芯片在AI领域的应用开辟了新的道路,预示着国产芯片在高性能计算领域正逐步缩小与国际领先水平的差距。
声明:本文图片、文字、视频等内容来源于互联网,本站无法甄别其准确性,建议谨慎参考,本站不对您因参考本文所带来的任何后果负责!本站尊重并保护知识产权,本文版权归原作者所有,根据《信息网络传播权保护条例》,如果我们转载内容侵犯了您的权利,请及时与我们联系,我们会做删除处理,谢谢。
上一篇:微信新功能上线:一键多选聊天信息,铁路电子发票同步卡包 下一篇:返回列表