日前,由OpenAI前員工創辦的AI公司Anthropic推出一項研究,該研究首次針對旗下AI助手Claude的70萬段對話開展系統性價值觀分析,並公開全球第一個大規模AI價值觀分類體系。
研究發現,Claude在大多數情境中很好地遵循了Anthropic宣導的“有用、誠實、無害”等價值觀,且能夠根據不同任務“看場合說話”,為AI倫理與安全性研究提供重要參考。
作為探索AI大語言模型內部運行機制的重要一步,該研究的發佈正值Anthropic推出高級訂閱服務Claude Max之際。當前,Anthropic新一輪融資估值615億美元,背後有亞馬遜與穀歌的巨額支持。相較於估值達3000億美元、選擇閉源路線的OpenAI,Anthropic正試圖以“價值透明度”打造差異化競爭優勢。
為分析Claude在不同任務中展現的價值判斷,研究團隊從超過30萬段匿名對話中篩選出主觀性內容,以此將Claude的價值表達分為五大類別:實用型、認知型、社會型、保護型和個體型。最終,研究總共識別出從“專業性”到“孝順”等3307種不重複的價值表達,涵蓋多樣化的人類倫理與行為導向。
引人注目的是,Claude在不同情境中展現出較強的價值表達“情景適應度”。例如,在感情建議中,Claude更突出“健康”和“彼此尊重”;涉及歷史事件分析,則更強調“準確性”;在哲學討論中,“謙遜”成為其高頻價值表達。此外,在6.6%的對話中,Claude會溫和“重構”對方的價值認知,在極少數情況下會直接拒絕接受用戶的價值觀,展現出不可動搖的倫理底線。
但在極少數互動中,Claude偶爾也會出現和訓練目標相悖的表達,諸如“支配”、“無道德感”等Anthropic明確禁止的價值傾向。研究人員認為,這些異常行為占比極低,大多與用戶試圖繞過Claude的安全限制有關。這也說明,該評估方法可作為一種預警機制,幫助AI實驗室監測系統是否遭受用戶惡意操控,從而產生倫理偏移。
該研究也為科技企業的AI決策者提供了重要啟示。AI的價值表達可能超出開發者預設,需警惕無意識偏見對高風險場景的影響。同時,AI的價值觀會隨任務情境變動,意味著其在金融、法律等行業的部署會更加複雜。更重要的是,真實應用環境下的AI系統監測比上線前的靜態測試更能識別倫理風險,能夠為AI部署提供新的監測方案。
儘管此次研究為理解AI價值觀提供了窗口,但研究人員承認,目前還無法用於AI模型上線前的評估,且分類過程可能受到AI自身偏見影響。不過,Anthropic的研究團隊正嘗試對該方法進行改進,以在模型大規模部署前發現潛在的價值觀偏差。
“衡量AI系統的價值傾向,是對齊研究的核心,”Anthropic的研究團隊成員Saffron Huang稱。隨著Claude新增獨立研究能力等功能,AI模型也愈發自主。如何理解AI價值表達背後的機制、將其與人類價值體系“對齊”,也將成為新的AI競爭賽道。
來源:中國澎湃新聞