Databricks投資Mistral AI並整合模型到平台

AI資料分析平台 Databricks上週宣佈 投資法國AI新創公司Mistral AI,也將其Mistral 7B及Mixtral 8x7B模型整合到其平台。

Databricks已經加入了這家AI新創公司的A輪募資,同時也將Mistral AI的模型整合到Databricks AI分析平台Data Intelligence Platform。現在Databricks用户可以在AI模型市集Databricks Marketplace存取Mistral AI的模型,在AI圖像建立平台Mosaic AI Playground中和模型互動(下圖),以AI部署與管理平台Mosaic AI Model Serving作為模型端點使用模型,或是以自有資料來客製化這些模型。

Databricks表示,從今年初開始,該公司平台上已經有將近1,000家企業使用Mistral的模型,並做了100萬次模型推論。因此該公司希望透過這次技術整合,企業用户可以更方便為其AI應用存取Mistral AI的模型,而不用擔心損及Databricks平台最核心的安全、資料隱私和治理。

Databricks引入Mitral AI的二個開放模型,包括Mistral 7B和Mixtral 8x7B。其中Mistral 7B以8K脈絡長度訓練,是70億參數的小模型,且使用分組查詢注意力(grouped query attention,GQA)及滑窗注意力(sliding window attention,SWA)的架構使其模型相當有效率。Mixtral 8x7B則是專家模型的稀疏混合(SMoE),支援32k脈絡長度,能處理英、法、德、義與西語。Mixtral 8x7B效能在多個標竿測試超越Llama 2 70B,且拜其SMoE架構之賜,推論時只啟動120億,而非450億個參數,使效能更加提升。

目前Databricks客户已經有信用評分業者Experian使用Mixtral 8x7B分析資料,而AI分析軟體顧問業者Celebal Technologies也使用了Mistral支持檢索增強生成(Retrieval-Augmented Generation,RAG)AI助理答覆銀行用户查詢。

Databricks是繼2月份的 Amazon Bedrock 後,最新一家使用Mistral AI相同2款模型的大型軟體平台。