微软和 NVIDIA 共同推出迄今为止训练的最大的语言模型

品玩 10 月 12 日讯,微软英伟达今天宣布了由 DeepSpeed 和 Megatron 驱动的 Megatron-Turing 自然语言生成模型,这是迄今为止训练的最大和最强大的解码语言模型。这个模型包括 5300 亿个参数,与现有最大的模型 GPT-3 相比,参数数量是其 3 倍。

训练这样的大型模型涉及各种挑战,沿着所有的人工智能轴线进行了许多创新和突破。例如,通过紧密合作,英伟达和微软将最先进的 GPU 加速训练基础设施与尖端的分布式学习软件堆栈相融合,实现了前所未有的训练效率。

微软与 Nvidia 建立了高质量的自然语言训练语料库,其中包含数千亿个标记,并共同开发了训练配方,以提高优化效率和稳定性。

版权声明:
作者:营销二院
链接:https://www.yxey.cn/yenei/411244.html
来源:营销二院路小白个人品牌自媒体平台博客
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>