Cerebras宣佈,推出Andromeda,這是一款擁有1350萬核心的AI超級計算機,部署於美國加利福尼亞州聖克拉拉的數據中心,現已用於商業和學術工作。其採用了16個Cerebras CS-2系統集羣構建,並利用Cerebras MemoryX和SwarmX技術簡化和協調跨系統的模型拆分,以16位半精度提供超過1 Exaflop的AI計算和120 Petaflops的密集計算。

Cerebras稱,Andromeda基於AMD第三代EPYC服務器處理器,以及Cerebras的Wafer Scale Engine 2構建,是唯一一台僅依靠簡單數據並行性在大型語言模型工作負載上展示近乎完美的線性擴展的AI超級計算機,在GPT類大型語言模型裏幾乎呈線性擴展,這效率是標準GPU集羣所無法比擬的。
Wafer Scale Engine 2是世界上尺寸最大的單顆裸片,面積為462.25平方釐米,幾乎等於一塊12英寸晶圓。其擁有850000個AI內核,2.6萬億個晶體管,配備了40GB的SRAM,提供了20 PB/s緩存帶寬和220 Pb/s互聯帶寬,採用台積電7nm工藝製造。這些芯片將分佈在16個機架的124個服務器節點上,通過100 GbE網絡連接,並由284個AMD第三代EPYC服務器處理器提供支持,均為64核心128線程規格,總有18176個核心。

Andromeda整個系統的功耗為500KW,比採用GPU加速的超級計算機的功耗要低得多。這樣的設計並不是完美無缺,在這種大規模並行的超級計算機上擴展工作負載長期以來都是制約其發展的因素之一,某些情況下擴展很容易會崩潰,因此添加更多硬件會導致回報迅速減少。