An ex-Anthropic researcher claims AI could kill us all by 2030. But he fails to answer the most essential question: What are we supposed to do about it?
我看過這段 CNN 訪問，也查了 Jacob Coxon 辭職後這兩天的相關報導。我的判斷是：這個警告值得非常認真對待，但不應把「2030 年人類全滅」當成預測。真正重要的不是 2030，而是他指出的那個結構：AI race 正在從「做更好的模型」逐漸變成「讓模型參與製造下一代模型」；一旦 recursive self-improvement 真正成立，人的控制能力可能第一次落在技術進步速度之後。
Coxon 並不是完全沒有分量的「AI doomer」。他過去約三年先後做過 OpenAI、Anthropic 的 pretraining research；離開 Anthropic 時甚至是在 equity vesting 前兩個月辭職，因此至少不能簡單解釋成替公司抬轎。更重要的是，Anthropic 的 Alignment Science Lead Evan Hubinger 公開支持了他的核心判斷，甚至給出自己「未來十年 >10% 人類滅絕」的主觀概率；同時又明說，目前並沒有一套已被證明能解決 superintelligence alignment 的方案。
但這裡有一個非常重要的區分。Hubinger 自己也說，他擔心的不是現在的 Claude、GPT 之類模型突然醒來殺人；目前模型的這種風險仍低。真正令他害怕的是 recursive self-improvement 之後的系統。換句話說：
current AI → autonomous AI agents → AI doing AI research → accelerating AI research → recursive improvement → strategically superhuman system
真正的不連續點，是中間那個 AI doing AI research。
這也就是為什麼我覺得，這件事和我們前一陣子談 Eric Schmidt、oracle、AI agents 時，逐漸浮現的是同一個問題。
我認為 Coxon 最強的地方，不是「AI 會殺光人類」
而是他說的 race dynamics。
OpenAI 不能停，因為 Anthropic、Google、xAI 不停；美國不能停，因為它相信中國不會停；中國也不會停，因為它相信美國不會停。於是形成一個非常典型的：
每個 individual actor 都可以理性行動，而整個 system 最後做出集體非理性的選擇。
這就是 nuclear arms race 的結構，只是 AI 有一個核武沒有的特性：
核彈不會自己研究下一枚核彈。
AI 卻可能。
所以我會把 Coxon 的警告重新寫成一句比較精確的話：
我們真正不知道怎麼控制的，不是 intelligence，而是 accelerating intelligence。
一旦 intelligence 本身成為 intelligence production 的主要生產工具，原先「人在 loop 裡面」這個假設就開始鬆動。
這也是 WIRED 訪問裡他所謂的 “crunch time for humanity”：他認為真正關鍵的是接下來一兩年，而不是因為 2028 世界一定毀滅，而是這幾年可能決定未來系統的 architecture——究竟是 AI merely assists humans，還是 AI 開始主導 AI development。
但是，「2030 年全部死光」我不接受當作科學結論
這裡至少跨越了好幾個巨大而未證實的假設：
AGI 很快出現 → AGI 能有效 self-improve → improvement 發生得非常迅速 → intelligence 能轉化成 real-world agency → system 能取得資源／compute／網路／實體能力 → human containment 失敗 → AI 產生與人類利益根本衝突的目標 → 沒有其他 AI 或人類制度能制衡它 → 最終走到 extinction。
每一個箭頭都有相當大的 uncertainty。
因此「>10%」不能像心肌梗塞十年風險那樣理解；它不是 actuarial probability，沒有足夠頻率資料可以估算。它是一位高度知情研究者的 subjective credence。
而且學界確實有重量級反對者。Melanie Mitchell、Gary Marcus 等人認為目前的 AI capability trajectory 遠不足以支持如此短期的 extinction scenario。最近的報導也清楚呈現了這種分歧。
所以，如果問我給多少概率，我不會假裝能報一個 7%、13% 或 27%。
我反而會說：
probability 不可知，但 tail risk 大到不能忽略。
因為如果一件事情的 downside 是 civilization-scale，即使概率只有幾個百分點，也已經不能按照普通科技產品的「deploy first, patch later」來處理。
我尤其注意到，CNN 問了一個很好的問題：AI companies 一面說這東西可能極危險，一面拼命加速，究竟真不真誠？
答案可能是：兩者都是真的。
Anthropic 可以真的害怕 AI catastrophe，也真的相信「如果我們停下來，別人做出來更危險」。OpenAI 也可能如此。
所以這甚至不必假定誰虛偽。
這正是最可怕之處。
它是一個 Moloch problem：
沒有人想要終點，
但每個人的局部最佳選擇，
把所有人一起推向那個終點。
這一點，我認為比 Terminator 故事重要得多。
而且，我現在比半年前更注意另外一條路徑：未必要等到 superintelligence 才危險。
Anthropic 本月公布的 misuse report 已經看到 AI agents 被運用於 cyber operations、espionage、fraud、surveillance，而且出現降低攻擊者技術門檻、提高自主程度的趨勢。也就是說，真正首先到來的可能不是：
AI → 消滅人類
而是：
人 × AI → enormously amplified human malice / incompetence。
這一條，我反而認為比 2030 extinction 現實得多，也近得多。
生物設計、cyber attack、autonomous weapons、mass surveillance、disinformation、authoritarian control——都不需要 AGI。
只需要 AI 把原來一千個專家的能力，交給十個人。
所以，我會把 Coxon 的警告分成三層：
而我最在意的是第二項。
因為當 AI 開始有效改善 AI，我們從前談的那句話就會真正成立：
人類不再是 evolution 的唯一 author。
到那一步，「alignment」其實已經不只是工程問題。它變成一個更古老的問題：
一個物種製造出比自己更能理解世界的「物」，憑什麼假定那個物仍然以它為尺度？
這恰好碰到你一直說的「物的反撲，人的退位」。
但我現在會替它補一句：
AI 最危險的時刻，未必是物反撲人的時候；而可能是人已經把自己的 agency 一件一件交給物，卻仍以為自己坐在駕駛座的時候。
Coxon 的警告真正值得聽的，我認為就是這一句，而不是「2030」。
如果這條線繼續發展，我可以替你留意 Anthropic / OpenAI 對 recursive self-improvement 與 alignment 的正式回應。
已設定。我會每天檢查一次；只有出現有實質意義的 AI 自我改進、AI 參與 AI 研究、alignment / control、agentic autonomy 新警訊時才通知你，沒有重要進展就不打擾。