HBM如何突破AI内存墙

分享到

HBM为何成为AI加速器的核心内存

随着AI模型复杂度上升，AI系统对内存提出了更高要求：更大容量、更低延迟、更高带宽以及更好的能效。不同内存技术各有取舍：

HBM将多层DRAM芯片垂直堆叠，并通过超宽数据通路连接计算芯片。相比DDR5，HBM制造成本明显更高，也因此具备价格溢价，但市场需求仍然强劲。当前用于生成式AI训练和推理的主流AI加速器，普遍采用HBM。

从各类加速器路线图看，一个共同趋势是：通过增加HBM堆栈数量、提升堆叠层数、采用更快一代HBM，持续扩大单芯片的内存容量和带宽。

HBM常被理解为“多层DRAM裸片的3D堆叠”，但其另一个关键优势是更宽的数据总线。即使信号速率并不极端，超宽总线也能显著提升带宽，使HBM在单封装带宽方面优于其他常见内存形态。

但更高I/O数量也带来更高布线密度和更复杂的封装要求。每个I/O都需要独立线路，同时还要布置电源与控制信号。以HBM3E堆栈为例，相邻XPU与HBM之间可能存在超过1000根连线。

这种布线密度难以通过普通PCB或封装基板实现，因此需要硅中介层或有机中介层，并通常采用类似CoWoS的2.5D封装方案。

为了降低数据传输延迟和能耗，HBM必须尽可能靠近计算引擎边缘。这里涉及一个重要概念：shoreline（岸线），即SoC边缘可用于贴近部署HBM的位置。

由于封装外部I/O也需要占用芯片边缘，HBM通常只能布置在SoC的部分边缘。这使得“岸线面积”变得非常宝贵，也限制了HBM可放置的数量和位置。

在这种约束下，为了提供足够容量，HBM需要通过垂直堆叠DRAM裸片来增加容量，而不是单纯依赖平面扩展。

HBM要实现3D堆叠，每一层DRAM裸片通常都需要通过TSV（硅通孔）向上层传输电源和信号，最顶层除外。TSV结构会占用额外芯片面积，因此HBM裸片通常比对应DDR裸片更大、位密度更低。

文中给出的一个对比是：SK海力士D1z DDR4的位密度为0.296 Gb/mm²，比其HBM3的0.16 Gb/mm²高约85%。

这说明，HBM并不是简单把DDR产能切换过来即可。TSV相关工艺和设备是普通DDR DRAM晶圆产能转换为HBM产能时的主要瓶颈之一。

除前段工艺外，HBM在后段还需要进行多层堆叠。典型HBM堆栈可能由8层或12层DRAM裸片，加上底部逻辑基底裸片组成，总层数达到9层或13层。

HBM的增长也让先进封装技术从相对小众的领域走向行业核心。包括CoWoS、MR-MUF等封装相关技术，已经成为AI硬件供应链参与者需要重点理解的内容。

随着AI加速器需求上升，HBM比特需求也出现快速增长。尽管定制ASIC增长很快，但文章认为，到2027年，英伟达仍将占据HBM需求的主要份额，原因是其加速器路线图较为激进，其中Rubin Ultra单GPU内存容量将推至1TB。

此外，Broadcom也将受益于TPU和MTIA出货增长；OpenAI与SoftBank相关项目会带来较小但可见的增量需求；Amazon也会成为重要HBM客户之一。

值得注意的是，Amazon采取直接采购HBM的策略，而不是完全通过设计合作伙伴采购，这有助于降低其成本。

HBM的影响已经不只是“更快的显存”。它正在改变AI加速器架构、先进封装产能分配、DRAM厂商资本开支结构，以及内存市场的分析框架。

传统DRAM市场更多关注晶圆产能、位供给和价格周期；而HBM市场还必须同时考虑：

因此，HBM供应能力并不只取决于DRAM晶圆投入，还受到先进封装和专用工艺设备的共同约束。

文章还提到，HBM未来将出现更深层次的技术变化，尤其是HBM4可能引入定制基底裸片。这会影响不同AI加速器厂商对HBM的使用方式，包括OpenAI、英伟达、AMD等在定制HBM方向上的探索。

同时，未来HBM相关议题还包括：

这些方向表明，HBM不只是内存器件本身的升级，而是正在和AI计算架构、封装架构、系统设计深度耦合。

HBM之所以成为AI硬件中的关键组件，是因为它在带宽、容量和能效之间提供了当前较优的平衡。但这种优势也伴随着更高制造成本、更复杂封装、更紧张的岸线资源，以及TSV和先进封装产能瓶颈。

随着AI加速器继续扩大单芯片内存容量和带宽，HBM需求预计仍将保持强劲。与此同时，HBM4、定制基底裸片和内存架构协同设计，可能成为下一阶段AI芯片竞争的重要变量。