中国移动首发智算推理集群“运营黄金标准”

责任编辑:梅雅鑫 2025.12.29 17:12 来源:通信世界网

通信世界网消息(CWW)近日,中国移动联合合作伙伴在智算运营领域取得重要突破,在行业首创“智算推理集群运营黄金标准”。该标准以用户体验为导向,构建了一套可量化、可评估、可复用的集群运营指标体系,首次实现了对人工智能推理算力服务质量的系统化、标准化度量。这一创新标志着AI推理算力发展范式正从“规模扩张”转向“质量跃迁”,推动行业进入精细化运营与高质量发展的新阶段。

image.png

当前,人工智能发展正从集中式的“模型训练”(练兵)阶段加速迈向大规模“推理部署”(实战)阶段,推理应用已在政务、金融、制造、医疗等多场景深度落地,智能体生态蓬勃发展,驱动算力需求结构发生深刻变革——推理算力占比持续攀升,并已成为智算基础设施的核心负载。然而,面对用户对更高性能、更优体验与更低成本的复合诉求,行业仍面临突出矛盾。因此,如何在保障服务质量的前提下,动态平衡“降本”与“优服”,实现推理系统的高效、稳定与经济运行,已成为当前智算基础设施建设与运营亟待破解的核心挑战。

针对这一挑战,中国移动基于大量理论分析与实测验证,创新提出“智算推理集群运营黄金标准”。该标准以“度量破局”为核心理念,系统构建涵盖用户体验、系统并发能力、系统可用性及硬件利用率四大维度的集群效能评估体系。通过实时监控推理集群运行状态,该体系在保障关键体验指标达标的前提下,精准识别最先触达性能瓶颈的硬件资源指标,并将其确立为当前场景下的“黄金指标”。这一指标不仅反映系统性能的临界约束条件,还可作为判断集群是否高效运行、是否需要扩容或优化的重要决策依据。

image.png

为验证“黄金标准”的有效性,中国移动组织开展试点工作,系统评估了多种典型模型在不同业务负载下的运行表现,包括以DeepSeek-R1为代表的MoE(混合专家)稀疏大语言模型、以Qwen3-32B为代表的稠密大语言模型、以Qwen2.5-VL-72B为代表的多模态理解模型、以Stable Diffusion为代表的多模态生成模型。测试结果显示,在不同推理负载下,四项硬件指标(算力利用率、显存利用率、显存带宽利用率和KVCache利用率)的增长速率存在显著差异,且各场景中最先触达性能瓶颈的指标各不相同。

依托“黄金指标”的实时监控,企业能够在高并发与负载波动等复杂场景下,精准洞察集群运行状态,实现精细化运营。即当指标显示资源利用率较低时,可主动引入负载提升资源效能;当指标逼近扩容阈值时,则触发弹性扩容机制。实践表明,该方法可实现扩容决策准确率接近100%。

1766999990092048722.png

面向未来,中国移动将深入贯彻落实国家“人工智能+”战略,把握历史机遇,锚定“人工智能供给者、汇聚者、运营者”三位一体定位,全面升级“AI+”行动计划,发挥央企引领作用。公司将持续夯实智算基础设施底座,创新体系化运营模式,推动算力供给向普惠易用、经济高效、绿色智能方向演进;同时,广泛开放应用场景,加速AI技术在企业内外千行百业的深度渗透与规模化落地,全面赋能经济社会数字化转型。


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容