IT之家 6 月 11 日消息,此前,Anthropic 被曝會在用戶不知情的情況下,限制競爭對手使用新模型 Claude Fable 5 開發(fā)其他 AI 模型。AI 研究社區(qū)強烈反對后,Anthropic 決定做出點改變。
Anthropic 在給《連線》的聲明中致歉稱:“我們正在調(diào)整 Fable 5 面向前沿模型開發(fā)的安全防護措施,讓這些措施對用戶可見。我們作出了錯誤權(quán)衡,也為沒有拿捏好平衡而道歉?!?/p>
Anthropic 本周早些時候發(fā)布 Claude Fable 5。作為最新模型,Claude Fable 5 加入了額外護欄,用于防止濫用。用戶如果詢問網(wǎng)絡(luò)安全、生物學(xué)或化學(xué)問題,系統(tǒng)會把請求轉(zhuǎn)交給能力較弱的 AI 模型,以降低先進 AI 被用于網(wǎng)絡(luò)攻擊或生物武器制造的風(fēng)險。
但面對使用 Claude Fable 5 從事前沿 AI 開發(fā)的研究人員,Anthropic 原本準(zhǔn)備采用另一套更隱蔽的做法:在用戶不知情的情況下,故意降低模型表現(xiàn)。換言之,研究人員如果試圖用 Claude 訓(xùn)練競爭性 AI 模型,Claude Fable 5 可能會暗中“拖后腿”。
據(jù)IT之家了解,Anthropic 的服務(wù)條款明確禁止使用 Claude 訓(xùn)練競爭性 AI 模型。
官方最新給出的措施是,Claude Fable 5 面向 AI 開發(fā)的安全防護措施會改為對用戶可見。如果 Anthropic 懷疑用戶試圖使用 Claude 構(gòu)建高能力 AI,Anthropic 會明確提醒用戶系統(tǒng)將拒絕請求,或?qū)⒂脩艮D(zhuǎn)到能力較弱的模型。
Anthropic 是在 AI 研究社區(qū)強烈反對后撤回該政策的。據(jù)IT之家了解,此前,其已限制競爭對手使用 Claude 構(gòu)建閉源和開源 AI 模型,但批評者認(rèn)為,面向特定用戶悄悄降低模型性能已經(jīng)越過界線。
當(dāng)前,Claude 智能體已經(jīng)成為許多開發(fā)者喜愛的工具,開源 AI 研究項目也在使用 Claude。多名研究人員告訴《連線》,如果 Anthropic 最新政策落地,先進 AI 研究未來可能被少數(shù)頭部 AI 實驗室壟斷。
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。