微軟計畫讓個人版及企業版Bing Chat聊天機器人的查詢輸入字元上限,由現行的4,000字提高一倍來到8,000字元。
Bing Chat今年初推出時,一開始只要回覆問題超過15次就會表現出異常行為,像是和用户衝突或出現過激語氣, 迫使微軟很快就縮減 用户問答次數及輸入字元數。隨著它表現穩定後, 微軟逐步放寬 Bing Chat和用户對談輸入內容。目前Windows用户一次可向Bing Chat詢問20個問題,以及4,000字元。7月上線的企業版Bing Chat也具有相同限制。
本週微軟搜尋部門Mikhail Parakhin回覆 一名Bing Chat企業版用户的要求時,表示微軟計畫擴增Windows消費版及企業版Bing Chat的輸入字元上限,由4,000字元增加為8,000字元(Chrome版Bing Chat輸入上限則是2,000字元),但是得再等一段時日。原因是演算法會造成context空間需求以次方增加,因此字元擴增為2倍會讓Bing Chat營運成本增加為4倍。
雖然微軟絕對會實踐其承諾,但現實是營運聊天機器人相當耗資源。營運AI聊天機器人的伺服器不但相當耗能,也牽涉更高的冷卻成本;根據 《財星雜誌》 引述一份加州大學研究指出,使用者在微軟Bing Chat或ChatGPT等聊天機器人每次查詢一次散發的伺服器熱氣,都耗掉1瓶水。微軟的資料顯示,由於AI系統使用量大增,導致該公司2022年全球資料中心用水量比前一年激增34%。
這些龐大開支對新創公司更是一大考驗。 研究機構估計 OpenAI的ChatGPT一天營運成本高達70萬美元,要不是有微軟的資金挹注,可能明年就會破產。