郑纬民院士:大模型训练完全可以用国产超算来支撑

责任编辑:王鹤迦 2024.01.25 17:07 来源:通信世界全媒体

通信世界网消息(CWW)近日,中国工程院院士郑纬民在2023世界5G大会上表示,国产超算完全可以支持大模型训练。

郑纬民介绍道,目前支持大模型训练的主要有三种算力系统,一是基于英伟达公司的GPU系统,二是基于国产AI芯片的系统,三是基于超级计算机的系统。英伟达GPU系统的优点是硬件性能好,生态也比较完善,但中美博弈加上产品价格高,给国产AI芯片带来了难得的发展机遇,目前国内已经有30多家公司推出了国产芯片,“但用户不太喜欢用,核心问题就是生态不好。”

而不依赖国外芯片技术改变国产大模型生态系统发展局面,编程框架、并行加速、通信库、算子库、AI编译器、编程语言、调度器、内存分配系统、容错系统、存储系统这十大关键软件技术值得重点投入。

“如果国产AI芯片硬件性能达到国外芯片的60%,大多数用户也是可以满意的,因为硬件再好这十个软件做不好,也没有市场。”郑纬民说道,一定要把这十个软件做好,改变国产系统的生态。“如果把这些问题解决好,国产AI卡也会大受欢迎。希望国内广大用户尽可能采用国产AI芯片,以用促建,以用促研,不断的给予正向反馈。”

目前,我国超算水平已经处于国际第一梯队,有14个国家一级超算中心,另外还有不少由地方和行业建设运营的超算中心。这些超算中心在科学计算上做得很不错,发挥了很大的作用,但是部分超算中心的算力利用率并不饱和,完全也可以用这些机器来做大模型训练,但需要从源头做好软硬件协同设计。

“硬件发展很快,过去一台机器,基本是CPU+内存+硬盘就可以,但是现在计算部件不只是简单的CPU,还有很多新的器件出现;软件方面,不论是人工智能应用软件,还是基于图数据的图计算应用,以及大数据应用,软件已和过去不一样,如何将软件和硬件更好协同起来非常重要。”


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容