通信世界网消息（CWW）ChatGPT凭借其极强的语义理解能力、文字流畅性和持续对话能力，掀起了生成式AI热潮，也代表着通用人工智能奇点时刻的到来。产业界纷纷加强大模型相关领域的研究，并推出一些新产品和新应用，而传统信息产业生态正在被重构。作为ICT基础设施建设的主力军，运营商迎来了智算发展的新机遇。
AI创新，加速运营商数字化转型
在网络基础设施运营方面，AIGC可以助力产品创新智能化、IT/网络运维智能化，甚至能够提供网络费用智能稽查、网络投诉“自服务机器人”等服务。智慧运营不仅可以提升运维效率，还能优化服务品质、提升用户体验。例如中国移动的“九天”AI平台，在网络智能化运营方面有诸多创新实践。
在创新业务方面如视联网、VR、直播等，AIGC不仅可以提升机器视觉算法的准确率，还能快速生成数字内容，提供个性化、沉浸式体验。这些创新业务为运营商带来新增长动力，例如天翼云的“明厨亮灶”服务，通过多种识别算法提升了食品安全保障；韩国KT的VR服务，可以提供丰富的互动内容。
在toB业务方面，“5G+工业互联网”有广阔的应用前景，比如智慧矿山、智慧校园等。面对运营商海量边缘业务场景，AIGC不仅可以帮助边缘IT平台实现业务自治，减少故障发生的次数；还能通过自主训练和推理不断提升边缘业务服务水平，提升对不同场景的适应性。如中国电信iStack（灵动版）边缘一体机，能够广泛应用于各种边缘AI场景。
AIGC到来，数据基础设施面临哪些挑战？
要想抓住AI发展机遇，就需要加强技术创新与基础设施建设。提及AI产业的基础设施，人们普遍会关注AI芯片、深度学习框架和预训练大模型，而忽略另一个关键问题——大模型将带来巨大的数据压力，数据存储是AI发展中的支柱。那么，从数据归集、数据预处理，到数据训练的AIGC大模型流程中，数据基础设施面临哪些挑战呢？
挑战一：数据归集慢
数据归集需从跨域多数据源中拷贝PB级原始数据。由于涉及数据迁移和数据汇聚，如果使用硬盘邮递进行数据迁移，需要数周时间；如果由本地向目标中心远程传输，也需要数天的时间。分散的多样化数据源实则造成了“数据孤岛”，在使用时无法有效快速归集数据。因此，如何打通“数据孤岛”、缩短归集时长，是我们面临的第一个挑战。
挑战二：数据预处理周期长
通过收集、网络爬取获得的原始数据不能直接用于AI模型训练，需要进行数据预处理，即对多样化、多格式的数据进行清洗、去重、过滤和加工。与传统单模态小模型相比，多模态大模型所需的训练数据量是其千倍以上，例如一个典型的百TB级大模型数据集，预处理的时长超过10天，占AI数据挖掘全流程的30%。同时，数据预处理常伴随频繁的高并发情况，对CPU消耗巨大。如何以低成本方式缩短数据预处理时长，是当前亟需解决的问题。
挑战三：训练易中断，数据恢复时间长
相较于传统深度学习模型，大模型训练带来了参数、数据集规模的指数级增加。目前，主流预训练模型的参数已达千亿级，今后将发展至万亿级。因此，频繁的参数调优、网络不稳定、服务器故障等因素会带来训练过程不稳定、易中断返工，预训练需要利用Checkpoint机制确保训练回退到某一个点，而不是初始点。当前，由于Checkpoint需要数天时间才能恢复，因此大模型整体训练周期延长，面对单次10TB的数据量和未来小时级的频度要求，产业界需要认真考虑如何减少Checkpoint恢复时长。综合来看，为确保AIGC大模型的持续创新突破，需要从数据存储的角度对归集、预处理和训练全流程进行优化。
面向AIGC，运营商智算中心需如何建设？
运营商加强AI智算中心建设，需要重视数据存力的建设，实现存算均衡发展。我们建议可以从以下方面考虑。
首先，消除“数据孤岛”，缩短归集时长。面对多数据源难以共享的问题，运营商需要构建智能数据编织能力，实现跨系统、跨地域、跨云的全局统一数据视图和调度。华为通过GFS（Global File System），帮助用户打通“数据孤岛”，提升3倍数据调度效率，实现小时级数据归集时长，更好地支持上层应用的数据价值挖掘。
其次，通过近数据加速，缩短数据预处理耗时。面向海量原始数据预处理任务，华为数据存储提供高效数据底座，支持多协议互通、免数据格式转换、高效识别多样化的数据格式；单节点340万IOPS满足海量数据并行预处理高性能要求；未来将支持预处理任务下推，由存储承接数据预处理任务，大幅减少CPU资源开销，实现降本增效。
最后，创新AI存储解决方案，减少Checkpoint恢复时长。面对大模型训练易中断、Checkpoint需快速恢复的要求，华为通过创新的AI存储解决方案，以及高带宽、大容量的存储设备，满足面向PB级数据、小时级频度的Checkpoint要求，提升训练预处理效率，支持万亿参数大模型训练。
AIGC奔涌而来，智算底座将成为千行百业创新变革的重要基石。生成式AI已进入网络运营、创新业务和toB边缘等运营商应用场景，华为数据存储通过创新的存储技术，打造领先的全闪存架构产品和解决方案，携手AI产业生态伙伴率先实现存储创新与AI发展的紧密契合，助力运营商构筑可靠AI数据基础设施。
