其實對於AI PC來説,AMD其實是要比Intel更早入場的,去年推出採用Phoenix核心的鋭龍7040系列處理器就配備了Ryzen AI單元,而今年推出採用Hawk Point核心的鋭龍8040系列處理器把AI單元正式改名為NPU,同樣採用XDNA架構,但算了從10 TOPS提升到16 TOPS,而在應用方面,AMD這段時間在客户端和本地AI工作的軟件優化方面投入了大量工作,在最新發布的官方測試表明配備Ryzen AI的AMD處理器在新的AI測試中超越了Intel的Core Ultra。

AMD對比了15W的Ryzen 7 7840U和28W的Core Ultra 7 155H,兩款對比用的筆記本均搭配了16GB LPDDR5-6400內存,並更新到了最新的驅動。

測試在本地運行LLM,包括LLama 2、Mistral AI_、code llama和RAG等一系列模型,本地運行人工智能模型在私密性方面會比在雲端更有保障,而且可以節省訂閲費用。AMD正在進一步進入這一領域,併發布了本地運行大語言模型的指南,詳細介紹瞭如何在本地部署屬於自己的AI聊天機器人。

首先是Mistral Instruct 7B LLM,與Core Ultra 7 155H相比,Ryzen 7 7840U僅用了61%的時間就完成了AI處理。


而在Llama 2 7B聊天速度僅用時54秒Ryzen 7 7840U就完成了任務。


Ryzen 7 7840U在LLama v2 Chat 7B (Q4 KM)中性能比對手高了14%,在Mistral Instruct 7b (Q4 KM)中性能則高出17%。LLama v2 Chat的首次令牌速度快了79%,在Mistral Instruct 7B LLM中的First token速度快了41%。


需要注意的是,Ryzen 7 7840U的功耗限制是要比Core Ultra 7 155H要低的,而且NPU速度也稍慢一些,Ryzen 7 7840U的NPU是10 TOP,而Core Ultra 7 155H則是11 TOP。如此採用同樣28W功耗而且NPU提速到16 TOP的鋭龍8040處理器的話優勢會更明顯。
由於AMD的Ryzen AI上市更早,這能讓AMD收到更多的市場反饋,能讓他們對下一代CPU的AI性能進行優化,下一代採用Zen 5內核的Strix Point系列會把NPU升級到XDNA 2架構,算力會進一步提升,以適應日漸成熟的AI應用。
其實對於AI PC來説,AMD其實是要比Intel更早入場的,去年推出採用Phoenix核心的鋭龍7040系列處理器就配備了Ryzen AI單元,而今年推出採用Hawk Point核心的鋭龍8040系列處理器把AI單元正式改名為NPU,同樣採用XDNA架構,但算了從10 TOPS提升到16 TOPS,而在應用方面,AMD這段時間在客户端和本地AI工作的軟件優化方面投入了大量工作,在最新發布的官方測試表明配備Ryzen AI的AMD處理器在新的AI測試中超越了Intel的Core Ultra。

AMD對比了15W的Ryzen 7 7840U和28W的Core Ultra 7 155H,兩款對比用的筆記本均搭配了16GB LPDDR5-6400內存,並更新到了最新的驅動。

測試在本地運行LLM,包括LLama 2、Mistral AI_、code llama和RAG等一系列模型,本地運行人工智能模型在私密性方面會比在雲端更有保障,而且可以節省訂閲費用。AMD正在進一步進入這一領域,併發布了本地運行大語言模型的指南,詳細介紹瞭如何在本地部署屬於自己的AI聊天機器人。

首先是Mistral Instruct 7B LLM,與Core Ultra 7 155H相比,Ryzen 7 7840U僅用了61%的時間就完成了AI處理。


而在Llama 2 7B聊天速度僅用時54秒Ryzen 7 7840U就完成了任務。


Ryzen 7 7840U在LLama v2 Chat 7B (Q4 KM)中性能比對手高了14%,在Mistral Instruct 7b (Q4 KM)中性能則高出17%。LLama v2 Chat的首次令牌速度快了79%,在Mistral Instruct 7B LLM中的First token速度快了41%。


需要注意的是,Ryzen 7 7840U的功耗限制是要比Core Ultra 7 155H要低的,而且NPU速度也稍慢一些,Ryzen 7 7840U的NPU是10 TOP,而Core Ultra 7 155H則是11 TOP。如此採用同樣28W功耗而且NPU提速到16 TOP的鋭龍8040處理器的話優勢會更明顯。
由於AMD的Ryzen AI上市更早,這能讓AMD收到更多的市場反饋,能讓他們對下一代CPU的AI性能進行優化,下一代採用Zen 5內核的Strix Point系列會把NPU升級到XDNA 2架構,算力會進一步提升,以適應日漸成熟的AI應用。