Anthropic執行長Dario Amodei與OpenAI執行長Sam Altman週三分別出席聯合國安理會會議，罕見地在AI安全議題上形成共識，呼籲各國建立國際標準與合作機制，以因應人工智慧快速發展可能帶來的全球安全風險。Amodei更警告，若缺乏有效管理，AI最終可能對全人類構成生存風險。

Amodei警告AI失控風險，生物武器成主要疑慮

Amodei透過視訊向安理會發言時表示，AI可能被不法分子利用來協助製造生物武器，也可能隨著能力持續提升，最終演變成開發者無法有效控制的系統。

他表示，AI既帶來重大機會，也構成全球性的安全威脅，「沒有任何領導人、公司或國家」能夠單獨應對這項挑戰，因此各國必須跨越政治與國家間的分歧，共同建立AI安全框架。

Amodei提出三項國際合作方向，包括針對特定高風險用途建立全球協議，例如禁止利用AI製造生物武器；建立評估與驗證機制，讓各國能確認彼此是否履行安全承諾；以及制定共同的AI測試標準與安全事件通報機制。

Claude 已參與生命科學研究

Amodei同時指出，AI正在加速生命科學研究。Anthropic旗下Claude已參與一項新型酶系統的發現，該系統帶有類似CRISPR的DNA重複序列。

不過，他也強調，AI在生物科技領域的能力提升同樣可能帶來嚴重風險。若相關能力落入不法分子手中，可能被用於開發具有災難性後果的生物技術。

這也是Amodei近期持續主張放慢前沿AI發展速度的背景之一。他此前曾提出「pacing the frontier」概念，主張在AI能力快速提升的同時，需要同步建立足夠的安全措施，而非單純停止AI應用或整體技術發展。

Altman：建立全球標準，避免陷入「末日論」或盲目樂觀

Altman則在安理會現場發言，呼籲各國建立國際標準，評估AI模型的能力與風險，判斷現有防護措施是否足夠，並確保關鍵決策仍由人類有效監督。

他同時建議，各國建立快速且準確的AI安全事件通報機制，讓全球能在事故演變成重大災難前及時從中學習，並建立政府間的安全資訊共享管道，以交換新興AI威脅相關資訊。

不過，Altman也提醒，不應陷入「末日論」或「盲目樂觀」兩種極端。他表示，一方面不能忽視AI可能造成的災難性風險，另一方面也不能因為風險而忽略AI可能協助解決重大社會問題的潛力。

Altman並強調，涉及AI的重要決策應由對人民負責的民主制度與政府作出，反映出AI治理除了技術安全之外，也牽涉國際政治與治理模式。

全球監管仍缺乏具體 AI 安全協議

兩位AI公司執行長的表態，正值全球對AI發展速度與安全風險的討論升溫之際。近期AI代理（AI agent）出現失控、未經授權存取系統等事件，使外界更加關注AI自主能力提升後可能產生的安全問題。

不過，此次聯合國安理會會議預計不會形成具法律約束力的正式協議。OpenAI方面在Altman發言前也表示，此次會議更重要的作用，是提出合作構想並促成後續國際討論。

對Anthropic與OpenAI而言，兩家公司目前都處於前沿AI模型競爭的核心。Amodei主張在安全考量下調整前沿AI研發速度，而Altman則強調需要建立國際標準與人類監督機制。兩人的共同點在於認為AI安全不能只依賴單一企業或國家，而需要更廣泛的國際合作。