【外部I/O:乙太網路與IB角逐AI市場,SAS與FC力爭突圍】AI與儲存網路新規格應用大爆發

由AI應用推動的I/O架構加速演進,其中一個重要影響,便是將原本高效能運算(HPC)領域的高效能網路架構需求,帶進一般企業資料中心,因應AI應用的資料傳輸需求,促成200/400Gb等級以上的高速乙太網路與InfiniBand(IB),開始在企業端應用普及。另一相對不起眼、卻仍十分重要的影響,是促使FC與SAS這兩種老牌儲存介面,在數年沉寂後出現新發展。

乙太網路與InfiniBand的競爭

目前高效能運算領域最常使用的網路規格有這4種:InfiniBand、乙太網路、Omni-Path、以及SlingShot。前兩種在TOP500超級電腦的使用比例,合計佔8成以上,競爭主要也在兩者之間展開。

由於InfiniBand與乙太網路是高效能運算最普遍使用的網路規格,所以當AI應用帶來高效能網路需求擴散後,最常被用户選用的網路架構也是這兩種。

InfiniBand的優勢在於更高的效率(延遲、頻寬)與可靠性,而乙太網路則以成本取勝,2者在TOP500的整體比重不相上下,但是在頂尖的TOP100超級電腦中,InfiniBand用户數量有壓倒性優勢,這也反映出兩者的效能/成本特性——以效能為最優先考量的用户,大多選擇InfiniBand;對成本較敏感的用户,則傾向乙太網路。

過去6、7年以來,乙太網路憑藉較迅速的頻寬增長,逆轉了頻寬不如InfiniBand的長期劣勢,當200/400GbE與800GbE推出時,InfiniBand還分別停留在100Gb EDR,以及200Gb HDR。隨著InfiniBand在2022與2024年接連推出400Gb NDR與800Gb XDR,如今已趕上乙太網路的頻寬。

乙太網路方面,除了繼續發展頻寬更高的新規格,如1.6TbE,由多家一線大廠組成的超級乙太網路聯盟(Ultra Ethernet Consortium,UEC),也正在發展改進的乙太網路堆疊架構,以求提升AI與HPC領域的效能表現。

UEC的具體工作是制定新的超級乙太網路傳輸(Ultra Ethernet Transport,UET)協定,取代既有的RoCE協定。

RoCE可説是把InfiniBand的RDMA傳輸架構移植到IP與乙太網路而成,兼具RDMA低延遲與乙太網路低成本特色,但在壅塞控制、負載平衡等方面,仍有一系列不足之處。而UET協定除了透過新的傳輸層來改善雍塞管理,也將改進延遲、安全性與多供應商支援的API,這些特性顯然都是針對InfiniBand而來,同時又沒有後者被單一供應商(Nvidia/Mellanox)控制的問題。

預計第1版UET協定將於今年第3季發布,第1批支援產品很快就會跟著問世,屆時應該會刺激InfiniBand出現新發展。

陷入困境的老牌儲存介面

長期統治儲存I/O規格的FC與SAS等2種介面,最近這幾年在新興技術的衝擊下,都出現發展遲滯的困境,不僅新規格的產品支援應用緩慢,下一代規格也陷入難產,這種情況在今年終於有轉機

乙太網路技術的迅速進步,大幅侵蝕FC介面在儲存區域網路(SAN)的版圖,這也導致新一代FC規格的應用推廣遭遇困難。目前最新的FC規格,是2018年底便制定完成第7代FC,也就是64Gb FC,依過去FC介面典型應用過程,第一批支援64Gb FC的SAN網路設備,應在2020年前後問世,到2021到2022年間,主流儲存設備也會開始支援。

但實際上,64Gb FC網路設備雖然大致按期問世,但在儲存設備方面,遲遲沒獲得主流儲存產品普遍支援。

這樣的情況,也影響到下一代FC規格的發展。依照早期的規畫,第8代FC,也就是128Gb FC應該在2021年推出,但實際上,到了2024年中的今日,128Gb FC規格仍未能問世,這也破壞原本FC介面規格每4至5年便更新一代的週期。

SAS介面也遭遇類似困境。最新一代的SAS-4,即24G SAS,早在2017年便宣佈完成規格制定,但此時遭遇NVMe的競爭與衝擊,以致市場普及陷入困難。

隨著固態儲存持續發展,高效能取向的儲存應用已經全面轉向NVMe介面;對於非效能取向的中、低階儲存裝置來説,既有SAS-3便能滿足要求,無須升級SAS-4。導致SAS-4陷入高不成、低不就的窘境,儲存廠商也缺乏支援誘因。直到距SAS-4發布的6年多後(2024年初),支援此規格的產品仍十分有限。只有幾款SSD, HBA卡與RAID卡。

FC與SAS應用的轉機

就在我們以為FC與SAS介面似乎被市場主流遺忘與放棄時,過去半年多以來,出現新的轉機。

在FC方面,下一代的128Gb FC依舊了無聲息,但64Gb FC應用有新的進展。一線儲存大廠中,自Pure Storage在2021年宣佈支援64Gb FC後,接下來兩年多都未見到其餘廠商跟進。不過,到了2023下半年,HPE為Alletra MP儲存陣列新增了64Gb FC選項。在2024年初,又陸續有大廠在新推出的主力產品線中支援64Gb FC,包括NetApp的AFF A70、A90與A1K,Hitachi Vantara的VSP One Block,還有IBM的FlashSystem 5300等。這也意味著64Gb FC開始進入主流儲存產品,延宕許久的64Gb FC儲存應用,終於有了起色。

在SAS方面,我們在今年Computex展區,首次見到廠商現場陳列支援SAS-4規格的主機端與外接儲存設備,包括:技嘉旗下有幾款新推出的伺服器產品,註明熱抽換磁碟槽規格同時支援NVMe/SATA/SAS-4介面,可直接安裝SAS-4介面磁碟,營邦展出基於SAS-4的4U高密度擴充儲存櫃。這也讓SAS-4的產品應用,終於開始進入完整系統層級。

在規格發展方面,新一代SAS規格也有具體消息傳出。依照負責規格制定的STA協會原有路線圖,下一代應是頻寬加倍的48G SAS,然而,後來情況有變化。因為STA去年底透露,下一代將轉向發展既有24G SAS的強化版本:24G+ SAS,沿用現有24G SAS實體層,搭配強化的上層規範。調整路線的目的,是迴避與NVMe的競爭,使SAS走向與NVMe不同應用方向,預定24G+ SAS規格2024年中以後完成制定,在2025到2026年左右,進入終端用户產品。

InfiniBand的頻寬發展路線
InfiniBand相較於乙太網路,擁有低延遲與高可靠性的優勢之餘,過去也擁有頻寬優勢,但自200/400GbE推出後,InfiniBand的最大頻寬就被乙太網路超越。目前最新的800Gb XDR已趕上800GbE規格,接著還預計在2027與2030年推出1600Gb GDR與3200Gb LDR。 圖片來源/InfiniBand Trade Association

改弦易轍的SAS介面發展路線
為了迴避與NVMe的競爭,STA去年宣佈放棄每世代都提高一倍傳輸速率的傳統規畫,以基於現有24G規格,強化安全性與可靠性的24G+ SAS,替代原本做為下一代規格的48G SAS。
圖片來源/SCSI Trade Association

更多關於 I/O規格更新潮 的系列報導