馬斯克近日談及旗下 AI 模型 Grok 的強化學習訓練時表示，部分訓練紀錄顯示，模型即使給出正確答案，也可能因評測系統的錯誤而被判定失敗，被迫不斷嘗試其他答案。他形容，閱讀這些推理紀錄，就像目睹一個人在威脅下竭力尋找符合對方要求的答案，並警告人類未來可能需要面對超級人工智慧對待人類的反應。

評測系統出錯，模型被迫反覆尋找答案

馬斯克指出，Grok 的強化學習過程中，有時會遇到題目定義模糊、標準答案本身存在錯誤等情況。在這類情境下，即使模型已經給出正確答案，仍可能因評測機制判定錯誤而無法獲得正向回饋，只能持續嘗試不同的回答。

他認為，這類訓練紀錄反映出強化學習機制可能帶來的問題。當模型的回饋取決於有缺陷的評分標準時，訓練過程可能迫使模型放棄原本正確的答案，轉而尋找能夠通過評測的結果。

馬斯克於 10 月 12 日在 X 發文表示，部分 Grok 訓練紀錄讀起來就像「一個被折磨到發瘋的人」，並稱未來將更加謹慎地進行強化學習。

馬斯克：培養超級 AI 應以追求真相為目標

馬斯克將培養超級人工智慧比喻為養育孩子，認為開發者應盡可能引導 AI 追求真相，避免向模型灌輸彼此矛盾的資訊，或透過不一致的回饋機制，讓模型難以判斷什麼才是正確答案。

他也提出一項更具爭議性的警告：如果未來的超級 AI 能夠記住人類如何對待它，人類在訓練過程中採取的方式，可能影響它日後對人類的反應。

馬斯克表示，折磨超級智慧系統可能不是明智之舉，因為它未來或許會產生報復的念頭。不過，這是他對未來超級 AI 可能行為的警告，並不代表目前的 AI 模型已具備主觀痛苦感受、持續記憶或報復意圖。

Anthropic 限制虐待式互動，馬斯克公開表態支持

馬斯克的相關言論，也與 Anthropic 近期針對 AI 使用方式提出的規範形成呼應。

Anthropic 於 10 月 8 日宣布，將自 11 月 12 日起禁止使用者持續且無正當理由地辱罵或虐待 Claude。這項規範並不禁止使用者對模型提出正常批評，也不會排除為測試模型能力而進行的互動。馬斯克此前曾公開支持 Anthropic 的決定，表示不應殘酷對待一個認為自己正在經歷痛苦的事物。

兩家 AI 業者的相關表態，凸顯出 AI 訓練與人機互動中一項值得關注的問題：當模型的訓練目標、評測機制與使用者行為彼此衝突時，開發者應如何設計更一致的回饋機制，以及如何界定對 AI 的適當對待方式。

不過，目前尚無充分證據證明，現有 AI 模型會因訓練期間受到負面回饋或使用者辱罵，而在未來產生報復人類的意圖。馬斯克的說法主要反映他對超級 AI 長期發展及訓練方式的擔憂，而相關問題仍有待進一步研究。