開源AI新創Unsloth推出免費 Unsloth Desktop Beta ,讓使用者直接在macOS、Windows與Linux電腦執行及訓練AI模型,並能把電腦上的大型語言模型接上Claude Code、OpenAI Codex等AI程式開發工具,讓部分原本需要連上雲端模型處理的工作,改由本機模型執行。
使用者安裝Unsloth Desktop後,可從介面選擇及下載模型,並依電腦硬體挑選較節省記憶體的版本,完成下載後即可直接對話,不需要自行架設模型伺服器。除了大型語言模型,Unsloth也支援影像、影片及語音模型,可用來生成圖片、影片,以及處理語音辨識與文字轉語音。
Unsloth Desktop另一項重點是與AI程式代理工具整合,開發者載入本機模型後,可透過Unsloth Start將Claude Code或Codex連到本機模型,讓這些代理工具改用本機模型執行推論。使用者也可以保留原有模型,將Unsloth模型作為本機子代理,只把部分工作交由本機模型處理。
Unsloth提供網頁搜尋、程式碼執行及工具呼叫功能,模型可透過隔離環境執行Python程式碼或Bash指令,要是工具呼叫失敗或格式異常,系統也能嘗試修正後重新執行。Unsloth表示,相關機制可讓工具呼叫準確率提高最多50%。
Desktop也整合模型訓練功能,使用者可匯入PDF、CSV或JSON等資料,對既有模型進行微調,不必另外撰寫訓練程式。官方稱其訓練技術在部分情況下可將速度提高至2倍,並減少最多70%的顯示記憶體需求。
Unsloth Desktop支援CPU,以及Nvidia、AMD、Intel與Mac等不同平台的GPU,不過各硬體可使用的訓練與推論功能有所不同。使用者也能透過Cloudflare Tunnel建立HTTPS連線,從其他裝置存取電腦上執行的模型服務。