像ChatGPT這種AI助手都挺好用的，不過用户需要聯網才能夠訪問它們。雖然本地部署LLM也是可以的，但是多半比較麻煩。而近日，NVIDIA推出了一種較為方便的本地部署AI助手的方式，名為Chat with RTX。
NVIDIA在 官方博客 中表示，Chat with RTX是一個技術演示應用，可以讓用户以自己的內容定製一個聊天機器人。這個應用結合了檢索增強生成、TensorRT-LLM和NVIDIA RTX加速技術。用户可以把PC上的本地文件作為數據集連接到開源的LLM如Mistral或Llama 2上，這樣就能詢問AI獲得答案和相關的文件，而不必自己動手尋找。NVIDIA表示，Chat with RTX支持.txt，.pdf，.doc/docx，.xml等多種文件類型，只需要給出文件夾路徑，AI就會在數秒內把它們加載到庫中。
另外，用户還可以讓AI理解並提取Youtube視頻中的內容（至少NVIDIA是這樣説明的，不知道是否支持更多網站），只需要添加Youtube視頻或者播放清單的URL，就可以向AI提問，比如説讓它總結視頻內容。這裏説明一下，雖然這個操作需要訪問網絡，但是AI的運算是全程在本地進行的。
至於配置要求的話，用户需要一張8GB顯存起步的RTX 30或40系顯卡（反正是Ampere和Ada Lovelace兩代GPU就行），16GB以上的內存，Windows 11系統和535.11及更新的驅動。就顯存這塊來説要求也不算特別高。佔用空間方面，用户需要下載35.1GB文件。感興趣和配置要求及格的用户可以點擊【 該鏈接 】直接下載體驗。