Open Source LLM

【LLM關鍵基礎建設:算力】因應大模型訓練需求,國網中心算力明年大擴充

即便不是從無到有、開發一套大型語言模型(LLM),以開源LLM為基礎,用數百億Token語料進行預訓練、微調和人類回饋強化學習(RLHF)所優化出的繁中基礎模型,也是極耗成本。光130億參數模型,就得花上幾個月才能完成預訓練。 算力,是影響訓練成敗的一大關鍵。台灣現有算力,夠發展自己的LLM嗎? 盤點台灣現有超級電腦算力