AMD 宣佈 ,推出一個名為“GAIA”的新開源項目。這是一款生成式AI應用程序,利用了Ryzen AI NPU來運行本地大語言模型(LLM),暫時僅限於Windows平台,並針對Ryzen AI 300系列處理器進行了優化。這種集成允許更快、更有效的處理,一方面功耗更低,另一方面保持了數據的本地化及安全性。

目前GAIA提供了兩個版本,一個是可以在任何Windows PC上運行,但是會比較慢,另一個就是經過優化的版本,可在Ryzen AI PC上運行,利用NPU和iGPU以獲得更好的性能。GAIA的突出特點之一是其代理檢索增強生成(RAG)管道,可以將LLM與知識庫相結合,使代理能夠在交互式聊天環境中檢索相關信息、原因、計劃和使用外部工具,產生更準確及上下文感知的響應。
AMD表示,在NPU上本地運行LLM有幾個好處:增強了私密性,消除了將敏感信息發送到雲端的需要,大大增強了數據隱私和安全性,同時仍能提供高性能的AI功能;無需與雲端通信,從而減少了延遲;通過NPU優化了性能,從而實現更快的響應時間和更低的功耗。從Ryzen AI Software 1.3版本開始,支持同時使用NPU和核顯的量化LLM部署提供混合支持,提升了運行效率。

如果想進一步瞭解並嘗試GAIA,可在github.com/amd/gaia上查看GAIA存儲庫。