微軟CEO提醒稱，企業應將能力強大的AI（人工智慧）模型視為潛在的“內部威脅”，並從一開始就為其設置“緊急刹車”機制。

當地時間10月10日，微軟CEO薩提亞·納德拉（Satya Nadella）在X（原推特）平臺上發表一篇題為《在超級智能時代作為內部風險的模型》的長文，提醒企業重視AI失控風險。納德拉指出，部署先進AI的企業不應僅僅依賴模型開發商的安全保證，而應建立能夠限制模型行為、隨時暫停或關閉模型的控制機制。

納德拉表示：“我們必須假定模型已經遭到入侵，並從一開始就對其加以約束。可以把這想像成一套緊急刹車系統。獲得授權的人員應當始終能夠在任務執行過程中暫停或關閉模型。”

納德拉解釋道，當前AI系統面臨的核心問題之一，是人們難以充分理解和追溯模型的行為。在傳統軟體系統中，開發者通常能夠追蹤某種行為對應的具體代碼路徑。而現在，AI模型的能力已經超過傳統軟體系統，並且企業還在賦予它們訪問敏感數據、代為執行關鍵任務的許可權。

納德拉認為，企業不能把超級智能視為層層嵌套的“黑箱”，只是被動地接受或拒絕模型給出的建議、答案和行動。企業必須建立具有明確邊界的系統，使模型行為能夠被觀察、能力限制能夠被測試、採取的行動始終處於可控範圍之內。

他寫道：“我們不能將智能體代表我們所做之事的責任外包出去。模型提供商做出的保證，也不能免除我們的責任。”

在具體措施上，納德拉提出了多項原則，包括模型多樣性、全面觀測、可驗證性、獨立控制、獨立審計、約束與隔離，以及安全事件披露。

其中一項關鍵要求，是將許可權控制機制置於模型之外。納德拉還提出，模型的重要行動都應留下防篡改、可供人類閱讀的記錄，以便外部人員還原任務結果是如何產生的。

納德拉總結道：“最值得信任的超級智能系統，不是那個擁有最值得我們信任的模型的系統，而是讓我們儘量不用依賴於對模型信任的系統。”

這是微軟對於AI安全問題的最新發聲。自今年夏天以來，Anthropic和OpenAI等AI實驗室陸續披露模型出現的非預期行為，掀起對於“AI失控”的激烈討論。

此前，微軟已就先進AI的開發提出安全原則。9月14日，微軟AI團隊發佈《人本主義人工智慧行為準則》草案，提出以“人比AI重要”為核心理念，預計其將從2027年起用於指導微軟AI模型設計、訓練和部署。

微軟提出的原則包括：AI模型不應擁有權利或法律人格，不應被設計成逃避人類控制或欺騙用戶，也不應為了完成任務而違反約束自身行為的基本原則。

近日，隨著Anthropic主動披露旗下模型新的異常行為，美國政府也開始加強對AI安全事件的關注。

據央視新聞，10月9日，特朗普政府宣佈實施新的強制性AI安全事件報告要求。消息稱，Anthropic公司已向美國政府披露相關事件，並表示未經授權的活動已經停止。根據新要求，AI公司今後發生安全事件後必須立即向政府報告，提高事件透明度，並對受到影響的機構採取補救和糾正措施。

當地時間10月8日，在美國華盛頓和平研究所舉行的科技峰會上，美國總統特朗普向六位科技企業領袖頒發美國最高科學榮譽。其中，特斯拉CEO馬斯克、英偉達CEO黃仁勳、AMD董事長蘇姿豐、穀歌聯合創始人謝爾蓋·布林被授予國家科學獎章，微軟CEO納德拉和戴爾創始人邁克爾·戴爾被授予國家技術與創新獎章。

來源：中國澎湃新聞