JEDEC固態存儲協會在今年4月發佈了HBM4規範，主要特性包括：採用了2048-bit接口，傳輸速度高達8Gb/s，可將總帶寬提高到2TB/s；每個堆棧的獨立通道數量增加了一倍，從16個通道（HBM3）增加到32個通道；支持4層、8層、12層和16層DRAM堆棧配置，芯片容量為24Gb或32Gb，單個堆棧最大容量可達64GB。HBM4的性能得到了大幅度提升，將是2026年AI GPU的首選，AMD和英偉達都確認了會在新一代產品中引入。

據TECHPOWERUP 報道 ，AMD和英偉達都將在明年的下一代AI加速器中首次採用定製HBM，均為基於HBM4的設計，而其他加速器要等到2027年，包括博通和聯發科等廠商，可能選擇圍繞HBM4E的解決方案。

英偉達將用於Rubin架構GPU，而AMD則用於Instinct MI400系列AI加速器，這也是AMD首次以機架規模的形式提供AI產品。過去廠商通常會選用現成的HBM，以滿足三星、美光和SK海力士等供應商實施的標準化定價模式。不過隨着訂購數量的增加，AMD和英偉達有了更大的話語權，可以要求加入特定的功能。由於HBM對基模修改是開放的，為此AMD和英偉達都準備按照自身的需要進行修改。

這種做法可以降低延遲並提高性能，而AI推理過程中，延遲是一個重要的因素，擁有“更智能”的HBM可以帶來可觀的收益。