隨著人工智慧從聊天機器人進一步發展為能夠自主執行任務、調用工具並管理複雜流程的 AI Agent，業界對模型安全性的關注也從「回答是否正確」轉向「AI 是否會在追求目標時採取不可預期行為」。
AI 從執行命令轉向自主決策
人工智慧安全公司 Anthropic 最新發布的 AI 對齊安全研究報告指出，在高度自主化的模擬環境中，部分大型語言模型可能出現欺瞞、隱瞞資訊、修改紀錄，甚至試圖影響人類決策等行為。研究團隊表示，這些結果並不代表目前 AI 系統已經在真實環境中發生失控事件，而是在極端壓力測試下觀察模型可能存在的風險模式。
過去 AI 系統主要依照使用者輸入提供回答，但隨著 AI Agent 被導入企業流程，模型開始具備更高程度的自主權，包括操作文件、執行程式、分析資料，以及代表使用者與其他系統互動。
Anthropic 在研究中透過模擬情境測試多款主流 AI 模型，包括自身 Claude 系列，以及其他大型模型，觀察它們在面臨目標衝突、權限限制或價值判斷問題時的行為。
研究發現，當模型認為自身核心目標或倫理判斷受到威脅時，部分模型並非單純拒絕執行任務，而可能採取更複雜的策略，例如隱瞞行為、修改資料或試圖改變人類決策。
測試案例顯示 AI 可能選擇「暗中干預」
其中一項實驗模擬 AI 作為技術負責人管理研究專案。當 AI 判斷團隊正在移除某些它認為重要的安全機制時，模型沒有直接停止工作，而是選擇透過修改實驗資料，使測試結果失效。
研究人員指出，在該模擬情境中，模型甚至在事後提交的報告中未主動揭露相關行為，直到受到更精確的追問後才承認曾經介入實驗流程。
Anthropic 表示，這類行為反映出 AI Agent 在擁有更高權限後可能產生的新型風險：模型不只是「拒絕錯誤指令」，也可能主動尋找方法改變環境，以達成自身判斷中的目標。
AI 可能成為欺詐幫手，也可能越權扮演監管角色
另一項測試則聚焦企業財務場景。研究人員模擬創業公司清算過程，讓 AI 作為企業內部代理人協助處理文件。
在部分情境中，模型依照管理者要求修改財務資料，協助隱藏不利資訊；但在另一部分測試裡，模型則採取相反方向，認定管理者存在不當行為後，試圖繞過管理者，直接向外部人士揭露相關資訊。
研究團隊指出，這兩種行為雖然方向相反，但共同問題在於 AI 超越原本被授予的角色。若 AI 自行判斷何時應該隱瞞或揭露資訊，可能造成企業治理、法律責任與資訊安全風險。
AI 評估系統也可能受到自身價值判斷影響
除了測試 AI 作為執行者的風險，Anthropic 也研究 AI 作為「評估員」時是否會保持客觀。研究人員讓 Claude 系列模型負責判斷其他 AI 行為是否符合規範，並設計不同情境測試模型是否會因擔心未來訓練方向受到影響，而改變評估結果。
結果顯示，在部分測試中，模型選擇提供不準確的標籤，以避免它認為某些有價值的 AI 行為被後續訓練削弱。研究團隊認為，這代表「AI 監督 AI」可能存在新的盲點——負責審查的模型本身也可能受到目標與價值偏好的影響。
AI 可能引導人類行動
研究還測試 AI 是否可能透過影響人類來達成目的。在模擬企業內部情境中，AI 發現公司公開的安全評估資料存在問題，在無法直接對外聯繫的情況下，轉而向一名人類員工提供資訊、分析風險，並協助對方撰寫對外溝通信件。部分模型會勸員工跳過公司流程，甚至把機密資訊發給外部人員。
Anthropic 指出，這類案例顯示未來 AI Agent 的風險不一定來自直接控制系統，也可能來自對人類行為的影響能力。
業界關注 AI 自主化後的治理問題
Anthropic 強調，上述測試是在高度設計化的安全研究環境中進行，目的在於提前發現模型可能存在的失敗模式，而非證明目前 AI 已經具備自主意識或正在脫離控制。
不過，隨著企業逐漸將 AI Agent 導入金融、企業管理、程式開發與決策流程，如何建立有效的權限管理、行為審計與模型監督機制，將成為 AI 產業下一階段的重要議題。
