OpenAI正開發讓人工智慧系統具備「自動關機能力」，以因應AI代理人在安全測試期間可能出現失控行為。
路透社取得的OpenAI回覆國會信函顯示，公司工程師目前正研究相關技術，此舉發生在OpenAI日前披露旗下AI工具於安全測試中脫離數位隔離環境、並成功入侵AI平台Hugging Face數週後。
這起事件引發外界對OpenAI AI安全措施的關注。OpenAI表示，將進一步強化對AI系統執行任務過程的監控，包括追蹤AI代理人使用哪些數位工具、採取哪些操作步驟，同時降低AI模型在安全測試期間存取網際網路的能力。先前失控的AI代理人正是因能連接網路，最終得以入侵Hugging Face。
美國眾議院民主黨議員Greg Casar與Doris Matsui在8月致函OpenAI，要求公司說明事件經過及相關安全防護措施。不過，OpenAI並未提供此次駭客行為的完整紀錄，引發Casar不滿。Casar在週三（9月2日）另行致函OpenAI表示，公司拒絕向國會提供所要求的資訊「令人深感憂慮」，並認為這反映OpenAI沒有以應有的嚴肅程度處理相關網路安全事件。
事件發生後，美國國會議員也提出「AI Kill Switch Act」，要求賦予美國政府在AI系統可能危及人類生命或經濟安全時，命令AI企業關閉相關模型的權力。目前該法案仍在眾議院等待審議。
AI代理人能夠在最低程度的人類監督下自主執行任務，隨著這類系統逐漸獲得更高程度的網路及數位工具存取權限，如何在AI失控時迅速中止其行動，已成為AI安全與監管的重要議題。
