Feed
Tech
News
Photography
Blog
Search
Open Source LLM
【LLM關鍵基礎建設:算力】因應大模型訓練需求,國網中心算力明年大擴充
ITHome
|
Nov. 30, 2023, 10:01 p.m.
|
Original
即便不是從無到有、開發一套大型語言模型(LLM),以開源LLM為基礎,用數百億Token語料進行預訓練、微調和人類回饋強化學習(RLHF)所優化出的繁中基礎模型,也是極耗成本。光130億參數模型,就得花上幾個月才能完成預訓練。 算力,是影響訓練成敗的一大關鍵。台灣現有算力,夠發展自己的LLM嗎? 盤點台灣現有超級電腦算力
【本土LLM:國科會TAIDE】打造台版LLM供企業和公部門免費使用,還要開源繁中資料集
【一年從無到有,台灣生成式AI發展下一步如何擴大?】台灣發展LLM的4大挑戰
Menu
Home
List View
Feed
Category
Tech
News
Photography
Blog
Accounts
Login