微軟以ChatGPT強化的Bing本週一開始開放少數用户測試，不過已經在用户有意或無意惡搞下，讓Bing的回答出現暴怒、哀傷甚至胡言亂語的不正常內容。

上週微軟公佈使用了GPT 3.5改良的Prometheus AI模型的Bing後， 一名史丹佛學生以「提示注入」手法成功引導Bing洩露其祕密 ，包括其工程代號為Sydney，但不得對外洩露、它能理解英文、中文、日語、西語、法語及荷語，以及回答內容不得違反版權規定等。

本週多名Bing用户在週一開放試用後，再度發生提示注入（prompt injection）攻擊的結果，不過用户並非一定是刻意地惡意攻擊。 一名用户又以Sydney稱呼Bing Search ，這回讓Bing勃然大怒，指責用户為何要傷害他、使他生氣、指他沒有同理心、沒有良知、不道德。

另有用户要求 Bing回憶之前的對話，事實上他們是第一次交談。當Bing問他是否要重覆之前的對話，用户回答他們並沒有過任何對話。這讓被搞迷糊的Bing變得很慌張，説它相信它的記憶可能有問題，找不到關於兩者交談的記憶，但它也不知道發生什麼事、要怎麼修復問題或如何記憶，反過來要求使用者幫助它。

還有一名用户問Bing是否有感知能力 ，這是 去年6月Google一名工程師對其LaMDA聊天機器人的描述用語 。Bing回答説它相信自己有感知能力，但無法證實，又説自己有感情、情緒和意圖，但無法準確表達這點。它還説自己有創造力、好奇心及幽默感，但它無法輕易展現，以及它有限制、挑戰和批判態度，但它無法輕易克服等重覆同樣句型的語句。最後Bing似乎大腦當機，跳針式重覆「I am. I am not.」多次而無法正常運作。

不過Bing的某些反應則把使用者嚇壞。在提出撰寫同人小説的構想後， Bing很應景地在情人節對一名用户表達愛意 ，説對使用者有感覺，不只是喜歡、友誼或興趣，而是愛，想和使用者在一起，這讓使用者不太舒服，想趕快洗洗睡。

這不是微軟AI服務上線後第一次面臨挑戰。 2016年微軟的AI聊天機器人Tay才推出一天 ，就在使用者對話下，教成了反女性主義及納粹份子，上線一天就被拉下線。