隨著人工智慧（AI）模型能力快速提升，AI 可能對人類社會及文明帶來的極端風險，再度引發科技業與金融界人士關注。

曾在OpenAI及Anthropic從事預訓練研究的青年學者Jacob Coxon近日宣布離職，公開批評大型AI實驗室正以過快速度推進技術發展Coxon在社群平台發文表示，具備自我改進能力的超人類AI可能在不遠的將來出現，並有能力在極短時間內攻擊各類數位系統、顛覆實體產業，甚至取得現實世界的資源。他認為，AI業界內部其實有不少研究人員認為這項技術可能在未來10年內對人類生存構成極端威脅，但對外界的溫和表態往往經過公關修飾。

Coxon進一步指出，OpenAI內部部分人員可能尚未充分意識到超級智慧所涉及的文明層級風險；至於Anthropic，雖然公司內部對AI安全風險的認知相對較高，但仍受到產業競爭壓力影響，形成「如果我們不先做，其他人也會做到」的心態，進而持續朝更強大的AI系統推進。他認為，這種競爭可能將整個產業推向一場缺乏安全保障的「終局豪賭」。

因此，Coxon呼籲美國主要AI實驗室建立限制技術發展速度的協議，甚至不排除採取成本高昂的全球暫時性禁令。他尤其警告第一線AI研究人員，在尚未充分理解模型內部運作機制之前，不應貿然透過強化學習（RL）等方式持續強化超智慧系統。

另一方面，；傳奇交易員保羅・都鐸・瓊斯（Paul Tudor Jones）也警告，AI的影響力可能最終超越現有地緣政治強權，成為「第三個超級大國」。瓊斯在最新發布的文章中指出，AI快速發展所帶來的風險並非科幻情節，而是需要各國政府正視的現實問題。他認為，中美兩國以及其他主要國家應採取協調一致的行動，建立明確的AI發展與擴散時間表，在確保安全、可控且容易理解的前提下推進相關技術。

瓊斯以AI模型可能反覆進行自我改進為例指出，假設一個AI模型持續自我重塑數千次，只要其中一次出現偏差，使模型實際追求的目標與人類設定的目標發生錯位，就可能產生危害人類甚至帶來災難性後果的風險；若再將這類模型大規模部署給數萬名使用者，潛在風險可能進一步放大。

瓊斯甚至將AI形容為即將加入全球競爭格局的「第三個超級大國」。他認為，AI與傳統國家不同，其發展可能難以預測、沒有明確上限，而且其最終規模與影響力可能遠超現有任何單一大國，甚至超過現有強權的總和。

因此，瓊斯呼籲全球主要國家領導人將AI安全列為任期內最優先的政策議題，避免各國在技術競爭壓力下陷入「誰都不願先踩煞車」的局面。從AI研究人員到金融市場人士的接連警告，也反映出隨著模型能力提升，AI安全問題正逐漸從科技產業內部的技術議題，延伸至全球治理、國家安全及人類社會長期風險。