Open Source LLM

Amazon Bedrock將上架Mistral 7B和Mixtral 8x7B兩開源語言模型

AWS 宣佈 將在雲端人工智慧模型平台Bedrock提供Mistral AI的模型,分別是 Mistral 7B Mixtral 8x7B ,而這將使Mistral AI成為繼AI21 Labs、Anthropic、Meta、Stability AI等廠商之後,第7個Bedrock基礎模型供應商,用户將有更多的大型語言模型選擇,以滿足開發各種人工智慧應用的需求。

Mistral AI是法國的人工智慧公司,由之前在Meta與DeepMind任職的研究人員成立,開發用於各種任務的大型語言模型。在Bedrock將要上架的Mistral 7B和Mixtral 8x7B模型,特性不同適合不同用例,Mistral 7B是一個擁有73億參數的輕巧高效能語言模型,雖然相較於其他語言模型來説規模較小,但是卻在許多基準測試上,表現都優於規模更大的Llama 2 13B。

而Mixtral 8x7B則是Mistral AI在去年底才剛開源的大型語言模型,其特別之處在於採用稀疏混合專家(SMoE)模型架構,能夠處理32,000個Token上下文,但是在處理大量參數和資料的同時,也能維持一定的運算效率,在許多基準測試都超越擁有700億參數的Llama 2 70B,甚至是GPT 3.5模型。