基于云边协同的分布式推理网络架构与赋能

作者:中国电信研究院 冀思伟 雷波 李聪 唐静 责任编辑:包建羽 2025.07.01 14:49 来源:通信世界杂志

通信世界网消息(CWW)人工智能(AI)领域正经历深刻变革,核心驱动力之一是DeepSeek等大语言模型(LLM)的成熟与广泛应用。这些模型在展现强大能力的同时,也推动市场算力需求发生巨变。过去,AI算力的投入高度集中于模型预训练阶段,训练千亿或万亿参数规模的AI模型需要消耗海量样本数据与庞大计算资源;而DeepSeek通过“算法+工程”创新提升模型推理能力与效率,将推理成本压缩至OpenAI同类模型的1/40~1/30,API调用价格仅为行业标准的3%~5%,这使中小型企业和开发者能以更低成本获取强大AI能力,算力需求重心由“训练侧”快速向“推理侧”倾斜,预计到2027年推理负载占比将达到72.6%。

DeepSeek的开源模式大幅降低了AI应用门槛,用户推理需求激增。据统计,DeepSeek上线20天累计新增用户1.25亿户,日活用户数超2000万,今年1月28日的单日访问量高达4900万次。但高并发访问请求导致服务器资源迅速耗尽,用户访问DeepSeek网页时经常遇到“服务器繁忙,请稍后再试”的提示。2月6日DeepSeek官方宣布,由于服务器资源紧张,已暂停API服务充值功能。针对企业私有算力有限、难以满足海量用户并发推理需求的问题,运营商亟须利用自有网络资源、算力资源以及边缘计算能力,构建全新分布式推理架构,通过多节点云边协同,为用户提供无处不在的低时延推理服务。

……

点此阅读杂志全文

微信图片_20250630171930.jpg

通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容