中研院在上週五 開源釋出 了用Meta的Llama 2所開發的繁中優化的大型語言模型CKIP-Llama-2-7b，並將其放上GitHub等平台，提供學術和商用，不過，最初在訓練階段使用簡中的開源資料集，導致多任務微調的繁中模型，在回答提問時可能出現簡中習慣的用語或詞彙，引起社羣廣泛討論和關注。在模型釋出第4天，中研院在今日傍晚（10/9）發布 新聞稿 ，宣佈已將該模型下架。

中研院此次使用開源商用LLM模型Llama 2所開發的CKIP-LlaMa-2-7b模型，是一項來自中研院內部的計畫，該計畫的目的是要透過繁中優化的大型語言模型，協助研究人員自動化分析和建構中國明清朝代人物的生平圖譜，包括歷史人物、事件、時間、地點等事理圖譜。完成模型後，中研院不僅將其用於內部用途，還將該模型開源，提供給公眾進行試用。

為了訓練可以自動化明清人物分析的LLM模型，需要大量文言文的語料。因此，CKIP Lab團隊在構建訓練資料時，也納入了中國的簡中語料，以便進行文言文和白話文的相互翻譯，以及詩詞等方面閲讀理解。這也解釋了為什麼中研院沒有使用自己多年累積的中文繁體語料。

CKIP-LlaMa-2-7b模型最初用於明清人物的生平自動化分析使用，中研院強調，因為與「台版ChatGPT」功能有所不同，許多提問測試並不在其原始研究範疇之內。同時，中研院指出，該模型與國科會正在開發的國產可信任AI對話引擎（TAIDE）無關。

中研院補充説明，這是一項個人小型研究，總經費約30萬元，其中主要用於運算成本。為了訓練CKIP-LlaMa-2-7b模型，中研院租用了4個Nvidia A100雲端運算服務，共花費了10多天進行模型訓練。

然而，在該模型微調的過程中，因大量使用含有簡中內容的COIG-PC和dolly開源資料集，導致模型釋出後，許多人實際測試發現，中研院的繁中大型語言模型在回答提問時可能含有簡中習慣的用語或詞彙出現，而引起熱議。負責該計畫的研究人員表示，生成式AI容易產生所謂的「幻覺」（hallucination），使模型生成的內與預期不符，這是未來要積極改善的領域，並表示未來研究及成果釋出，會更加謹慎。

為了防止類似問題再次發生，中研院強調將建立審核機制，未來，研究人員必須經過審核才能對外公開釋出其相關研究成果。儘管中研院已下架該模型，但對於修正後是否重新上架則沒有多做説明。