通信世界网消息（CWW）
2026年11月5日，英伟达发布技术解读，给出一个值得通信与算力产业高度关注的信号：在每GPU的HBM容量仅增加约3%的条件下，Vera Rubin NVL72相较GB300 NVL72的每美元智能体吞吐量最高可提升30倍。该数据来自SemiAnalysis AgentX基准，测试条件为每用户每秒125 token。英伟达同时披露，GB300 NVL72较H200平台在每用户每秒100 token条件下，每美元吞吐量最高提升10倍。数字背后，AI基础设施的竞争标尺正在变化：从“堆多少显存”转向“每字节、每瓦特能产出多少有效token”。
这不是一次单纯的硬件迭代叙事。它更像是对AI内存瓶颈的系统性回应：HBM供应趋紧、价格上升，智能体和RAG把上下文长度推高，推理集群的瓶颈从算力峰值转向内存容量、带宽、层级调度和软件协同。对通信行业而言，这意味着AI工厂的评估体系、算力网络调度方式以及国产算力芯片的追赶路径，都需要重新审视。
3%与30倍：反差来自系统协同，不是单点堆料
如果只看HBM容量，约3%的增幅很难解释30倍的每美元吞吐提升。英伟达给出的答案是全栈协同设计：把GPU、CPU、网络、存储和软件作为一个整体，让每一字节内存在AI工厂不同层级产生更高价值。换言之，30倍不是单卡HBM容量的线性成果，而是系统级吞吐、成本与软件调度共同作用的结果。
这一表述的行业意义在于，AI推理的“经济性”正在被重新定义。过去，云厂商和算力中心常用GPU数量、显存容量、峰值算力作为采购和报价依据；但在智能体工作流中，模型需要多轮调用、工具调用和上下文携带，服务成本取决于单位时间内能完成多少有效请求。每美元智能体吞吐量把硬件成本、内存占用、软件效率和网络存储协同纳入同一框架，更接近真实运营指标。
英伟达将HBM比作仓库、内存带宽比作装卸口：容量再大，如果数据进出速度跟不上，新增容量也难以转化为服务能力。这个“内存墙”判断并不新鲜，但在智能体场景下变得更尖锐。模型权重只是静态占用，KV缓存则随请求上下文动态膨胀；当上下文达到百万级token，内存压力就从“装得下模型”变成“能否高效周转上下文”。
智能体把KV缓存推成主角，内存墙从容量转向层级
原文提到，智能体工作流会在多次模型调用和工具调用间持续携带历史上下文，部分场景需处理多达300万token；检索增强生成还会把企业资料加入提示词，进一步推高内存占用。对推理系统来说，昂贵的HBM既要承载模型权重，也要保存KV缓存。上下文越长、并发越高，KV缓存越容易成为HBM的主要消耗项。
这解释了一个产业现实：HBM扩容并非唯一解。即使HBM容量继续增长，如果所有活跃和不活跃上下文都挤在HBM中，带宽和成本仍会形成约束。英伟达的方案强调把数据压缩、放置在合适层级，并在需要前提前送回GPU。其核心不是让HBM“无限大”，而是让HBM只承载最热、最需要低延迟访问的数据，把冷数据、暂停上下文和检索索引放到更合适的存储层级。
从系统架构看，这是一种“内存分层”思路：HBM负责高带宽热数据，CPU大容量内存提供就近缓冲，CMX上下文存储承接不活跃上下文，CPU与存储侧保留RAG索引。网络和软件则负责在正确时间把数据送回GPU。对于AI工厂而言，内存不再只是GPU板卡上的一个参数，而是贯穿计算、存储、网络和调度的系统性资源。
四条路径拆解：压缩、分散、缓冲、迁移
英伟达披露的具体操作可以概括为四条路径。
第一是压缩。NVFP4低精度格式用于压缩模型权重和KV缓存。低精度不是简单“降质”，而是在可接受精度损失下降低每token的内存占用和带宽需求。对推理集群而言，精度格式的选择直接影响单位显存能承载的并发量和单位成本。
第二是分散。在NVL72系统中，模型权重可分散至最多72颗GPU。通过系统级互连，把单卡显存放不下的模型权重拆分到多卡，避免单GPU HBM容量成为硬上限。这对大规模MoE模型和长上下文推理尤其重要，但也对片间互连带宽和一致性提出更高要求。
第三是缓冲。Vera CPU的大容量LPDDR内存为暂停的上下文提供就近缓冲。CPU内存的带宽低于HBM，但容量更大、成本更低，适合承接不活跃或暂时不需要GPU高频访问的上下文。其价值在于把“所有数据都放HBM”的粗放模式，转为按访问频率分层。
第四是迁移。Dynamo推理软件将不活跃上下文迁移至CMX上下文存储，并在复用前取回；RAG索引也可保留在CPU与存储侧，避免长期占用HBM。软件在这里承担“内存交通调度”的角色：识别哪些上下文活跃、哪些可下沉、何时预取回GPU。没有软件调度，分层内存很难转化为实际吞吐。
这四条路径共同指向一个判断：AI内存瓶颈的破解，越来越依赖“计算—内存—存储—网络—软件”的协同设计。单点提升HBM容量或带宽仍然重要，但仅靠单点参数已不足以解释系统级成本优势。
每美元token成为新标尺，算力成本核算变了
英伟达援引的基准数据最值得产业界关注的，不是30倍这个上限数字，而是测试条件：每用户每秒125 token、每用户每秒100 token。它把吞吐、交互体验和成本放在同一约束下。对智能体服务而言，用户感知的是响应速度和任务完成率，运营方关心的是单位美元能支撑多少并发、多少token。
这会带来三方面影响。
其一，算力采购逻辑变化。显存容量仍重要，但“每美元有效token”更能反映推理集群的真实产出。云厂商在规划AI工厂时，需要同时评估HBM容量、内存带宽、CPU内存、存储IO、网络时延和软件调度效率。单纯比较GPU峰值算力或HBM容量，容易高估实际服务能力。
其二，服务定价逻辑变化。若推理服务从“按GPU时长”进一步转向“按token”或“按任务”计费，底层基础设施的效率差异会被放大。同样一张GPU，在不同内存分层和调度软件下，可服务的上下文长度、并发数和缓存复用率不同，单位token成本也随之分化。
其三，能效评价逻辑变化。每瓦特有效token与每美元有效token相互关联。AI数据中心受电力、散热和土地约束，通信运营商和算力枢纽运营方更需要关注“有效算力”而非“峰值算力”。内存分层若减少无效数据搬运，也有助于降低带宽和功耗压力。
对存储带宽与通信网络意味着什么
这一方案对通信产业的直接启示，是AI工厂内部的“数据搬运”重要性上升。HBM带宽再高，也无法独立承担所有上下文；当不活跃上下文下沉到CPU内存和CMX存储，GPU与CPU、存储之间的互连时延、带宽和一致性就成为关键。推理集群需要更精细的内存语义、缓存预取和流量调度，网络不再只是把GPU连起来，而是参与内存层级协同。
对数据中心网络而言，长上下文和智能体工作流会增加东西向流量，尤其是多卡并行、上下文迁移、RAG索引访问和存储取回。网络若不能提供稳定低时延和高带宽，内存分层带来的收益会被传输开销抵消。对算力网络而言，跨节点调度需要感知任务的内存特征：哪些任务适合放在HBM充足节点，哪些适合靠近大容量存储和CPU内存资源。算力调度从“找GPU”进一步走向“找匹配的内存与存储层级”。
对存储产业而言，CMX上下文存储和RAG索引下沉说明AI推理正在创造新的存储层级需求。高带宽HBM、DDR/LPDDR、本地NVMe、分布式存储之间需要更清晰的数据放置策略。存储不再只是训练数据的仓库，而是推理上下文的“二级内存”。这对存储控制器、接口IP、内存池化和数据管理软件提出新要求。
国产算力芯片的启示：不能只盯HBM容量
对中国通信产业和国产算力芯片而言，英伟达这次技术解读提供了一个重要参照：在HBM供应趋紧、先进制程和高端存储受限的背景下，单纯追求HBM容量追赶并不足够，系统级协同可能是更现实的效率提升路径。
国内产业链在HBM、先进封装、存储控制、板卡互连、推理框架和算力网络等环节已有布局。运营商主导的算力网络、东数西算枢纽和智算中心，也为系统级优化提供了场景。但从这次方案看，国产算力芯片需要同时补齐几个能力：低精度格式与KV缓存压缩、片间互连与模型并行、CPU大内存缓冲、存储池化与上下文迁移、推理软件调度，以及RAG索引的异构放置。任何单一环节短板，都可能削弱整体每美元token表现。
更关键的是评价体系。国产算力芯片的对比不能只停留在峰值算力和HBM容量，而应引入长上下文并发、智能体多轮调用、RAG检索、每瓦特有效token、每美元有效token等指标。对于政策关注群体，这意味着智算中心建设评估应从“建了多少卡”转向“形成了多少可持续的推理服务能力”。
结语：内存瓶颈的破局点在系统效率
HBM仅增约3%，每美元智能体吞吐量最高提升30倍，这一反差的真正含义是：AI内存瓶颈不再只靠扩大HBM容量解决。英伟达的方案把压缩、分散、缓冲、迁移组合起来，让HBM承载最热数据，让CPU内存、上下文存储和RAG索引分担压力，再通过软件和网络完成调度。
对通信行业而言，AI工厂正在变成一张由GPU、CPU、内存、存储和网络共同构成的高效系统。算力竞争的关键，正从“显存多少”转向“每字节、每瓦特能产出多少有效token”。谁能把内存层级、网络时延和软件调度协同好，谁就更可能在智能体时代的算力成本曲线中占据主动。
