Open Source LLM

Amazon Bedrock提供模型客製化服務

AWS昨(23)日發表AI平台Amazon Bedrock最新服務 Custom Model Import預覽版 ,可讓企業用户將模型上傳Bedrock微調並為特定應用客製化。

Amazon Bedrock提供如Mistral或Llama等基礎模型,供企業選擇以打造生成式AI應用,有些用户會為特定使用場景微調或客製化模型。另一些企業則是自建基礎架構,使用Mistral或Llama等模型客製化並開發AI應用。之前,企業用户必須在Bedrock以外的其他環境上進行客製化。問題是,這類環境的部署需要一定能力,而對Bedrock用户而言,這還會使開發人員必須在不同模型環境間切換,造成經驗的不連續。

最新公佈工具可解決客製化環境的部署問題。首先是Custom Model Import,訴求讓用户將客製化模型匯入Bedrock,一方面保留客製化成果,另一方面又能在安全的雲端平台上使用模型。匯入Bedrock後,用户就能透過Bedrock的API呼叫,以隨需(on-demand)方式存取模型,並為基礎、客製化及匯入的模型建立一致化經驗。最新工具支援Mistral、Llama及Flan T5等。

另一方面,針對Bedrock上想客製化模型的用户, AWS昨日也宣佈預覽一項新功能 。新功能讓用户從Amazon SageMaker機器學習平台及Amazon S3以Hugging Face safetensors格式匯入自訂權重以客製化模型,之後就能以隨需方式存取模型。本功能支援Meta Llama 2、Llama 3及Mistral。

這樣一來用户可以使用Bedrock上為寫程式特化的Code Llama模型,或是以自有資料微調模型後,再將模型匯入Bedrock。二項新功能目前都僅在美國測試。美國用户可透過Bedrock控制台主頁開始匯入模型或權重。