Open Source LLM

AMD帶來本地運行LLM,可構建專屬AI聊天機器人

繼英偉達發佈Chat with RTX以後,AMD現在也為用户帶來了可以本地化運行基於GPT的大語言模型(LLM),用户可以此構建專屬的AI聊天機器人,可以在具有XDNA NPU的Ryzen 7000/8000系列及內置AI加速核心的Radeon RX 7000系列GPU設備上運行,需要下載對應版本的LM Studio。

AMD表示,人工智能助手正迅速成為幫助提高生產力、效率甚至集思廣益的重要來源。在用户自己設備的本地AI聊天機器人不僅不需要互聯網連接,而且對話可以保留在本地系統上。

AMD在博客文章中提供了完整的運行步驟,並有具體的用例説明:如果想運行Mistral 7b,搜索“TheBloke/OpenHermes-2.5-Mistral-7B-GGUF”,例子中使用的是Mistral;如果想運行LLAMA v2 7b,搜索“TheBloke/Llama-2-7B-Chat-GGUF”,並從左側結果中選擇,通常是第一個結果。

感興趣的AMD用户,如果有使用相應的CPU或GPU,可以參照 原文 進一步瞭解,按照相應的説明進行操作。

競爭對手英偉達是在上個月 發佈 了Chat with RTX,作為一個技術演示應用,可以讓用户以自己的內容定製一個聊天機器人,結合了檢索增強生成、TensorRT-LLM和NVIDIA RTX加速技術。用户可以把PC上的本地文件作為數據集連接到開源的LLM,比如Mistral或Llama 2上,支持.txt,.pdf,.doc/docx,.xml等多種文件類型,只需要給出文件夾路徑,AI就會在數秒內把它們加載到庫中。