美光開源世界首個針對SSD和SCM設計的異構內存存儲引擎

美光於昨晚 公開 了一個針對固態硬盤(SSD)和存儲級內存(SCM)設計的鍵值式存儲結構異構內存存儲引擎(Heterogeneous-Memory Storage Engine),簡稱HSE。這套引擎通過在DRAM和其他多種SSD中統籌安排數據的存放方式,對存儲系統的性能和耐用性都做出了相當程度的優化。

在美光的新聞稿中,他們舉出了一些HSE引擎能夠帶來的性能提升,比如它能夠將特定類型的存儲應用的吞吐量提高6倍,將延遲降低11倍,並將SSD的壽命延長7倍。因為是異構內存架構,它還可以利用不同類型介質的優勢,比如將NAND SSD和3D XPoint閃存結合在一起,提高吞吐量並降低延遲,他們實測了在美光5210 QLC SSD中添加自家的X100——也就是那款使用3D XPoint閃存的產品後,系統的吞吐量增加了一倍以上,而讀取延遲被優化了接近四倍。

HSE可以驅動各類數據庫應用,還有在高性能計算、大數據、IoT和AI等領域中也能夠起到相當有效的作用。隨着新聞稿的發佈,美光也同步將這套系統開源到 GitHub 上去了,頁面上還給出了它在業界標準測試中產生的對比數據。

可以看到當MongoDB切換到HSE作為引擎之後,其性能有大幅度的提升,而面對Facebook家的RocksDB時它也有很大的優勢。

由於3D XPoint等存儲級內存或者叫持久性內存在性能上有很大優勢,但又較為昂貴,如果能更好的利用它的長處來為整個存儲系統做貢獻,那收益還是相當可觀的,這套HSE引擎就是採用了這種理念。