微軟分享Maia 100更多規格信息:N5工藝+CoWoS-S封裝,適配AI工作負載

在去年的開發者大會上,微軟 宣佈 推出其芯片實驗室設計的兩款定製芯片,分別是Azure Maia 100 AI加速器和Azure Cobalt 100處理器。微軟和OpenAI希望使用自己開發的AI芯片,以更高效、更低成本地適配其開發的大型語言模型(LLM),滿足未來算力的需求。

近日在Hot Chip 2024大會上,微軟 分享 了Azure Maia 100 AI加速器更多的規格信息。其芯片面積為820mm²,採用了台積電(TSMC)N5工藝製造,運用了CoWoS-S封裝技術,搭配了64GB的HBM2E,提供了1.8TB/s的帶寬,主機接口為PCIe 5.0 x8通道(32GB/s),後端網絡連接帶寬為600GB/s,配置功耗為500W,設計支持最高700W的TDP,可根據目標工作負載有效地管理功耗。

Azure Maia 100 AI加速器配有高速Tensor單元,採用16xRx16結構單元,可為訓練和推理提供高效處理,同時支持多種數據類型,包括微軟於2023年通過MX聯盟首次推出的MX數據格式等;矢量處理器是一個鬆散耦合的超標量引擎,採用定製指令集架構(ISA),支持包括FP32和BF16在內的多種數據類型;直接內存訪問(DMA)引擎支持不同的張量分片方案;在Maia系統上,硬件信號標支持異步編程。