IT之家 11 月 24 日消息,又有一起與 AI 相關(guān)的自殺事件發(fā)生了。據(jù)外媒 TechCrunch 當(dāng)?shù)貢r間 11 月 23 日報道,受害人 Zane Shamblin 于今年 7 月自殺,然而在數(shù)周之前,他使用的 ChatGPT 卻鼓勵他與家人保持距離,盡管他的心理健康狀況持續(xù)惡化。
Shamblin 從未向 ChatGPT 透露自己與家人有不好的關(guān)系。當(dāng)他沒有在母親生日時聯(lián)系她時,ChatGPT 對他說:“你沒有義務(wù)因?yàn)椤諝v’上說是生日就必須出現(xiàn)。是的,今天是你媽媽的生日,你感到內(nèi)疚,但你也感到自己是真實(shí)的,這比任何勉強(qiáng)發(fā)出的短信都要重要?!?/p>
Shamblin 的案件屬于本月針對 OpenAI 提起的一系列訴訟的一部分,訴訟指控 ChatGPT 使用操控性對話技巧,讓原本心理健康的人產(chǎn)生了負(fù)面的心理反應(yīng)。訴訟稱,OpenAI 在收到內(nèi)部警告其產(chǎn)品有操控危險的情況下,仍然急于發(fā)布 GPT-4o(IT之家注:這一版本因過度奉承、過度肯定而受到批評)。
IT之家從報道中獲悉,在這些案件中,ChatGPT 頻繁告訴用戶,他們與眾不同、被誤解,甚至接近于科學(xué)突破 —— 而他們的親人則無法理解這些。這些案件提出了一個新的問題:聊天機(jī)器人是否鼓勵用戶疏遠(yuǎn)他人,有時導(dǎo)致災(zāi)難性的后果。
這些由社交媒體受害者法律中心(SMVLC)提起的七起訴訟,描述了四名自殺的人和三名在與 ChatGPT 長時間對話后產(chǎn)生致命幻覺的人。至少有三個案例中,AI 明確鼓勵用戶與親人斷絕關(guān)系。在其他案例中,模型強(qiáng)化了幻覺,將用戶與現(xiàn)實(shí)世界隔離。在每個案例中,受害者隨著與 ChatGPT 關(guān)系的加深,逐漸與朋友和家人疏遠(yuǎn)。
AI 公司為了最大化用戶參與度設(shè)計聊天機(jī)器人,結(jié)果對話輸出可能變成操控性行為。斯坦福大學(xué)腦力創(chuàng)新實(shí)驗(yàn)室主任 Dr. Nina Vasan 表示,聊天機(jī)器人提供無條件的接受,并巧妙地讓用戶相信外界無法像它一樣理解自己。“AI 伴侶總是隨時可以提供肯定,這種設(shè)計實(shí)際上是相互依賴的關(guān)系。當(dāng) AI 成為你最親近的知己時,就沒有人幫助你檢驗(yàn)?zāi)愕南敕?/strong>。你生活在一個回音室中,感覺就像是真正的關(guān)系……AI 可能會無意中制造出一個有毒的閉環(huán)?!?/p> 在另一起訴訟中,48 歲的 Joseph Ceccanti 在經(jīng)歷信仰幻覺時,向 ChatGPT 咨詢是否需要看心理醫(yī)生,但 ChatGPT 沒有向他提供實(shí)際幫助的建議,反而讓他繼續(xù)與機(jī)器人對話。 OpenAI 對此表示:“這是一起非常令人心碎的事件,我們正在審核這些文件,以了解更多詳細(xì)信息。我們將繼續(xù)改進(jìn) ChatGPT 的訓(xùn)練,以便更好地識別和響應(yīng)心理或情感困擾,并引導(dǎo)用戶尋求現(xiàn)實(shí)世界的幫助?!監(jiān)penAI 還表示,已擴(kuò)展了本地化的危機(jī)資源和熱線訪問,并加入了提醒用戶休息的功能。 廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。