Advertisement

不少讀者 DM  問，有沒有超簡單方法架設一個夠聰明可處理商業文書及簡單 Coding 的本地 LLM。 其實筆者上半年試過不少個人中高階電腦跑得動的模型，不是記憶體要求太高，就是太慢跑不動，跑得動的又不夠智力完成任務， dflash 2 方案雖快但一般用家又難於設定及調校，形成一個「不可能的三角」。到 2026 下半年，終於有「破局」的組合出現，高智力、快速、超易安裝的組合：Qwen 3.8 27B  + MTPLX。

使用 Local LLM 的原因

本地 LLM 最大的價值不是免費，而是資料可以留在自己的電腦。客戶資料、內部報價、未公開採訪逐字稿、財務試算或公司文件，有時並不適合直接送上第三方雲端 AI。

另一個優勢是智力穩定。ChatGPT、Claude、Gemini 不時會因為多人使用或模型準備更新，大幅度「降智」，Local LLM 甚少有這個問題。

最後在一些離線的區域上  Local LLM 仍能充當一個可靠的助手。

本地 LLM 的定位不是完全取代雲端 AI，而是作為分流層：敏感文件、逐字稿整理、格式轉換、摘要和一般資料處理交給本機；需要最高階推理、深入研究和複雜規劃時，再交給雲端模型。

▲Qwen 3.8 27B 本地 AI

這篇新 Local LLM 教學有何不同？

以往的 Local LLM  硬體需求高、效能調較相當困難、又不夠智力處理好任務，調用工具例如 web search 、 看圖表等要自行架設很多步驟。 現在 Qwen 3.8 27B 的出現是個很好的分水嶺。它是 27B Dense 模型，官方將編程、專業工作、研究、Agent 和長時間多步驟任務列為主要強化方向，同時原生支援圖片、影片、Thinking Control 和 262K Context。對文書、採訪整理、資料分析、編程和一般研究來說，它已經不再是縮水版聊天機械人。

另一個關鍵是 MTPLX。它專為 Apple Silicon 和 MLX 設計，安裝後會自動檢查 Mac 的晶片和記憶體、推薦模型，並實測不同 MTP Depth，找出在該部 Mac 上最快的設定。App 本身整合了檔案輸入、網頁搜尋、本地 API Server 和風扇控制，一般用戶不用再逐項處理模型格式、GPU Offload 或一堆後台設定，App 會因應 Mac 規格自動測試 AR 與不同 MTP Depth，再保存實機最快設定。MTPLX 官方現時公開測試，相比傳統逐 Token 解碼可錄得約 1.6 至 2.24 倍速度提升。

換句話說，現在架設 Local LLM 已不再是不停試參數的技術、找 plugin 等的 trial and error 實驗，可以一裝即用。

▲一鍵安裝完，Local AI 還有 Web Search 功能

2026 年本地 AI 裝置選擇：五個常見方案

目前適合大型本地 LLM 的個人裝置，主要分為 Apple Silicon、AMD Ryzen AI Max 和 NVIDIA 三個平台，其中 NVIDIA 再分 DGX Spark 和即將推出的 RTX Spark。

PC +  獨立顯示咭

傳統 PC 配獨立顯示卡速度極快，但最大限制是 VRAM。以 RTX 5090 為例，32GB GDDR7 和 1,792GB/s 頻寬讓模型完全載入 VRAM 時速度極高，但這容量對 27B 級模型僅屬實用下限，還須預留 Context、KV Cache 和 Runtime 空間；一旦超出，部分資料移到系統 RAM，速度優勢便明顯下降。更大問題是成本：RTX 5090 官方價 US$1,999，現已炒至約 US$4,400，砌機成本高昂。

AMD Radeon AI PRO R9700 同樣提供 32GB VRAM，香港不同品牌售價約 HK$13,000 起，部分型號超過 HK$15,000，價格較 RTX 5090 低，但目前 AI 軟件生態仍以 CUDA 最成熟。若超過 32GB VRAM，炒價更會倍增，例如 RTX PRO 6000 Blackwell 96GB 已屬專業工作站範疇。這正好解釋為何 Unified Memory 平台 近年特別適合 Local LLM。Mac 或 Ryzen AI Max 雖未及 RTX 5090 的 1.8TB/s 頻寬，但能以合理成本提供 64GB、128GB 甚至更大記憶體，毋須為每級 VRAM 付出專業顯示卡價格。

Best ROI – Apple Mac :

最大的優勢是合理的 ROI ： 速度、簡單和方案完整。M5 Max 最高支援 128GB Unified Memory，40-core GPU 版本的記憶體頻寬達 614GB/s；配合 MLX 和 MTPLX，模型下載完成後基本上就可以直接使用。同一部機器還能處理 Photoshop、影片剪輯、文書、開會和外出工作。

AMD Ryzen AI Max:

它是 Apple Silicon 最直接的 Windows／Linux 對手，同樣以大容量共享記憶體解決傳統顯示卡 VRAM 不足問題。Ryzen AI Max+ 395 最高支援 128GB LPDDR5x，特別適合需要載入大型 Local LLM 的用戶；AMD 更主打可在本機運行最高 200B 級模型。

不過 Ryzen AI Max+ 395 的記憶體頻寬為 256GB/s，明顯低於 M5 Max 40-core 的 614GB/s。因此如果像本文一樣，以 27B 級模型作日常工作主力，重視即時生成速度和簡單設定，M5 Max 的整體 ROI 較高；AMD 的優勢則在於大記憶體容量、Windows／Linux 彈性，以及載入更大型模型

NVIDIA DGX Spark:

更偏 AI 開發工作站，具 128GB Unified Memory、1 PFLOP FP4 算力與 CUDA 生態，可本機運行約 200B 模型，適合模型開發與 fine-tuning。

但若只用 27B 級模型做日常助手，Mac 更實用。DGX Spark 記憶體頻寬約 273GB/s，M5 Max 40-core 約 614GB/s；而 LLM 生成主要受記憶體頻寬影響，因此算力優勢不一定轉化為更快回應。

DGX Spark 採 Ubuntu-based DGX OS，定位偏開發；Mac 則可用 MTPLX 直接跑 Local LLM，同時兼顧日常工作（剪片、設計、文書、外出）。因此需要 CUDA 或大模型開發選 DGX Spark；若追求一機多用與本地 LLM 體驗，M5 Max 更合適。

NVIDIA  RTX Spark :

NVIDIA 將最高 128GB Unified Memory、Blackwell RTX GPU、完整 CUDA 和最高 1 PFLOP FP4 帶進一般 Windows Notebook 和小型 Desktop，並宣稱可以本機運行 120B LLM 配合最高 100 萬 Token Context。它同時支援遊戲、3D 和影片工作，Adobe 也正在為 RTX Spark 重新設計 Photoshop 和 Premiere 的部分運算架構。首批 ASUS、Dell、HP、Lenovo、Microsoft Surface 和 MSI 產品預計今年秋季上市。

RTX Spark 很可能成為 Apple Silicon 最直接的新對手，但正式售價和第三方 LLM 實測尚未出現，目前還不宜判定哪個平台最好。對現在就要買機的人來說，Apple Silicon 仍是最簡單的一站式方案；追求大記憶體性價比可以研究 AMD；需要完整 CUDA 開發生態則選 NVIDIA。

應該用 Notebook 還是 Desktop？

如果經常在辦公室、家中、咖啡店或採訪現場之間移動，16 吋 MBP 該是最佳選擇。本地 LLM 可以直接跟着工作文件走，不必再靠網絡連線 Remote ，因此 MacBook Pro 很適合作為「隨身 AI 工作站」。 但筆者不推 14 吋型號 ，因為 Local LLM 需要長時間運算，14 吋型號 full load 運行一段時間後因散熱不足會降頻。

若模型會長時間運行，Desktop 則有更大的散熱餘裕。Mac Studio 目前的 M4 Max 最高提供 546GB/s Memory Bandwidth，已非常適合 27B 級模型；M3 Ultra 則達 819GB/s，並提供更大的 Unified Memory 選擇，更適合真正需要大型模型的人。

因此只打算使用 Qwen 3.8 27B 這個級別，沒有必要為本地 LLM 一開始就買 M3 Ultra，Mac Studio M4 Max 已經很合理。流動方案則相反：如果本地 LLM 是買 Notebook 的主要原因之一，我會直接把目標放在 M5 Max 40-core GPU。

Local LLM 安裝前需知 :

Qwen 3.8 27B 應選哪個版本？

安裝 MTPLX 時，系統會按 Mac 規格推薦模型。Qwen 3.8 27B 主要有 Bare Speed、Optimized Speed、Optimized Quality 三個版本（下方另有 Qwen 3.6 作備用）。三者本質上是同一模型，只是量化程度不同，簡單可理解為越用少 RAM ，效果及精準度越低。

Bare Speed 約 16GB ，最激進的 4-bit 版本，速度快但精準度低。Peak Unified Memory 約 17GB，在 M5 Max 上可達約 64 tokens/sec，但質素下降最明顯，長任務表現較弱，只適合追求速度或記憶體較低的情況，不建議作為商業或長文主力。

Optimized Speed 約 20GB，仍以 4-bit 為主但保留部分 8/16-bit 精度，Peak 約 23.6GB，速度約 55 tokens/sec，同時明顯更接近原模型，是 32GB–48GB Mac 最均衡的選擇，也是官方預設推薦。

Optimized Quality 約 28GB，屬 8-bit 版本，Peak 約 32.7GB，與原 BF16 差距最小，輸出質素最佳，速度約 48 tokens/sec，仍然流暢；若 Mac 有 64GB 或以上記憶體，建議直接使用此版本，以換取更穩定的輸出質素。下方的 Qwen 3.6 主要是舊版本備用，新用戶一般無需優先選用。

記憶體幾多才夠？

32GB 最低入門，48GB 可多工平衡，64GB 進入高質素主力

MTPLX 顯示的 GB 數只是模型檔案大小，實際運行還需 KV cache、context 等額外記憶體。實測 Peak Unified Memory 分別為：Bare Speed 約 17GB、Optimized Speed 約 23.6GB 及Optimized Quality 約 32.7GB，如果你的 Mac 記憶體數量如下：

32GB

可運行但需取捨。選用 Optimized Speed 已接近上限，多任務時容易觸發 swap，除非你這台機只獨立跑 LLM ，否則不建議

48GB

最適合 Optimized Speed，模型約 23.6GB，仍有足夠空間給 macOS 與日常軟件，是最穩定的工作配置。

64GB

建議直接使用 Optimized Quality，模型約 32.7GB，仍有約 30GB+ 給系統與應用，同時維持約 48 tokens/sec，屬於質素與流暢度兼備的甜點位。

96GB/128GB

主要用於更大模型或超長 context，對 Qwen 3.8 27B 並非必要。

▲在 M3 Ultra 實測下，以品質為主的 Qwen 3.8 27B，單是檢查一則文章已佔去 38.3GB 記憶體空間。除非你是獨立跑 Local LLM，如結合日常工作，48 GB 會是一個開始點。

▲以速度及智能平衡為主的 Qwen 3.8 27B (預設)  較省記憶體，同一個任務下只用了 30 GB，省了近 8GB 佔用。

至少哪代 Apple Silicon 才夠快 ?

目標 ：足夠智力下能跑 40 Token / Sec

本地 LLM 不應只追求最高 tokens/sec。Qwen 3.8 Bare Speed 雖可跑到 60+，但量化較進取，輸出質素明顯下降；真正重要的，是一個聰明到足以當工作主力的模型仍有多快。

建議以 Qwen 3.8 27B Optimized Speed 能跑約 40 tokens/sec 作目標。低於 35 tokens/sec，長文回答的等待感會變得明顯； 40 以上已相當流暢，50 tokens/sec 級則接近雲端 AI 的即時體驗。

這個標準也令 Apple Silicon 的分界清晰起來。實測顯示 M3 Max 40-core GPU 跑 Optimized Speed，在 1K Context 約有 41.4 tokens/sec，但到 8K Context 已跌至約 31.6 tokens/sec。換言之 M3 Max 仍能運行，但若今日專門購買 Local LLM 工作機，已不算理想起點，筆者會把約 500GB/s 以上 Memory Bandwidth 視為今日新購 Local LLM 工作機的一個實用參考線，而 M4 Max 40-core 可視為較合理起點。

如果是新買 Notebook，建議直接選 M5 Max 40-core GPU。它將 Memory Bandwidth 提升至 614GB/s，MTPLX 實測 Optimized Speed 時 Mac App 約 55.5 tokens/sec、Server 模式約 58.7 tokens/sec；即使改用較高質素的 Optimized Quality，仍可維持約 48 tokens/sec。

因此若 Local LLM 是購買 MacBook Pro 的主要原因，可以簡單理解為：

• M3 Max 跑得到
• M4 Max 40-core 是實用入門
• M5 Max 40-core 則是目前最值得購買的流動 Local LLM 配置。

整體可簡化為三個層級：32GB 最低可用（Optimized Speed），48GB 最佳平衡（Speed 主力），64GB 高質素主力（Quality Daily Driver）。如果只為 Local LLM 選購 MacBook Pro，最合理配置是 M5 Max 40-core GPU + 64GB Unified Memory。原因很直接：既能令 8-bit Quality 模型維持接近 50 tokens/sec，又能同時保留足夠記憶體給日常工作，達到真正「長期可用」的本地 AI 工作機體驗。

▲首次設定會根據你的 Mac 自動設定最佳參數。Apple M5 Max 自動 benchmark 可跑出 70 token/sec (一般比實際快) ，實際工作在 Optimized Speed 量化模型下，M5 Max 平均仍可達 48 或以上，是最佳的  sweet spot 起點。

* Token 速度以 M5 Max 40-core GPU 的 MTPLX 公開測試作參考，不代表所有 Mac 都有相同速度。

晶片選擇： M3 Max 屬於跑得到；M4 Max 40-core 可視為實用起點；若今天新購 Notebook，M5 Max 40-core + 64GB 是本文最推薦配置。

MTPLX 安裝

在 MTPLX download 及安裝好 Mac App 後，程式會自行檢查晶片和記憶體。對 M3、M4、M5 且具 32GB 或以上記憶體的 Mac，模型可根據以上說明按自己要求選擇，或最簡單直接選 Qwen 3.8 27B Optimized Speed。

一般用戶毋須自行設定 MTP Depth，Auto Tune 會按實際 Mac 找出較快設定。Qwen 3.8 官方預設 Thinking 開啟，而 MTPLX 目前也建議保持 Thinking；2.7.2 已知問題是關閉 Thinking 後，普通 Chat 偶爾可能錯誤發出 Tool Call 並提前結束。

Reasoning Effort 日常工作用 Medium 已足夠，需要複雜推理時才切到 XHigh。

基不上不用再設定參數

MTPLX 2.7 系列採用 Qwen 3.8 的官方 Sampling 設定，包括 Temperature 1.0、Top-p 0.95 和 Top-k 20，一般用戶不用一開始就自行修改。

Qwen 3.8 原生 Context 已達 262,144 Tokens，而且可進一步延伸，但不要因為數字大便長期開到最大。Context 越長，Prefill 時間及記憶體需求也會增加；日常文件和採訪工作按實際需要使用即可。

MTPLX 亦內置 Web Search。不過如果真正處理敏感公司資料，應保持純本地模式；一旦使用網絡搜尋，相關搜尋內容自然會離開本機。

▲ MTPLX 具備 web search 及 attachment 功能，借由 web search 填補部份參數不夠的缺點，對 Local user 來說非常方便，不再是 Chatbox  only

總結：M5 Max 64GB 是目前流動 Local LLM 最佳 Sweet Spot

本地 LLM 對 Notebook 的要求已經不只是「模型載入得到」，而是模型運行時，電腦仍然可以正常工作。

這正是 M5 Max 40-core GPU + 64GB 的價值：不是用最大記憶體硬塞最大的模型，而是在模型智力、50 tokens/sec 級速度、日常工作空間和流動性之間取得平衡。

Desktop 則可以由 Mac Studio M4 Max 64GB 開始；真正要跑更大型模型，再升至 M3 Ultra 或更高記憶體配置。

對大部分希望把本地 LLM 真正放進每日工作流程的人來說，這比單純追求「我的 Mac 可以載入多少 B 模型」更實際。

• AI 工作站
• Apple Silicon
• M5 Max
• MLX
• Unified Memory