Dear friend，如果我坐在 All-In Summit 台上，被問：「What’s your P(doom)?」我不會先丟一個 5%、10% 或 50%。我大概會這樣答：
My P(doom) is not one number. It is a matrix.
因為「AI 毀滅人類」不是一個單一事件，而是至少四條完全不同的路徑：
AI against humans；humans using AI against humans；AI + institutions locking humans into irreversible systems；and civilization becoming unable to function without systems it no longer understands.
真正讓我擔心的，不只是 AI someday deciding to kill us。
更可能的危險，是在人類還以為自己握著方向盤時，方向盤已經沒有連接車輪。
我會把這四種 P(doom) 分開。
第一種是大家最熟悉的 alignment doom：能力遠超人類、具有高度自主性、長期規劃、欺騙、資源獲取能力的系統，其目標與人類利益不一致，最後人類失去控制。這是 Yudkowsky、Bostrom 一脈問題意識的核心。它目前仍是高度不確定的未來情境，但不是只有邊緣人物在談。2023 年 Center for AI Safety 那句著名聲明——AI extinction risk 應與核戰、疫情等全球風險同級處理——簽署者包括 Hinton、Bengio、Hassabis、Altman、Amodei、Sutskever、Russell 等。
第二種，我反而認為在我們有生之年更加具體：
human-with-AI doom。
AI 不必「醒來」。它只需忠實替人類工作。
一個國家說：替我找出所有異議者。
一家情報機構說：替我找到最有效的心理操縱方式。
一個軍隊說：把 kill chain 從二十分鐘縮成二十秒。
一間實驗室說：把某種生物設計工作的門檻降低兩個數量級。
這時問題根本不是：
Will AI turn evil?
而是：
What happens when intelligence becomes cheap but wisdom, restraint, and accountability do not?
這是我會在 All-In 台上特別強調的地方。
第三種是我覺得 P(doom) 討論最常漏掉的：
civilization lock-in
我們未必滅絕。
甚至可能活得很好。
只是人的選擇空間愈來愈小。
教育由演算法安排；工作由演算法分配；資訊由演算法過濾；政治意見由演算法預測；朋友、伴侶、娛樂、購買、路線、醫療決策，都由系統預先替你縮減 possibility space。
到了某個時間點，人還是每天吃飯、做愛、旅遊、看電影。
所以從統計數據看：
P(extinction) = 0。
可是另一件事可能已經發生：
P(human agency loss) → very high。
而且這種 doom 特別奇怪，因為沒有末日那一天。
沒有 Terminator。
沒有蘑菇雲。
人類甚至會覺得：
very convenient。
這其實非常接近你一直在談的 algorithmic self：真正值得擔心的未必是 AI 消滅 analogical self，而是我們自己逐步把自己改造成 machine-readable、predictable、optimizable 的人。
第四種則更深：
epistemic doom
不是 AI 殺死我們，而是我們失去判斷「什麼是真的」的共同能力。
當文字、照片、聲音、影片、人格、研究摘要、證據鏈都可以低成本大量生成，文明會出現一種很怪的 inversion：
從前的問題是：
information scarcity。
現在逐漸變成：
reality scarcity。
這時 democracy、science、law、medicine，甚至 intimate relationship 都會受到影響，因為這些制度有一個共同前提：
人與人至少還能對某些 shared reality 達成最低限度的 agreement。
如果那個 substrate 消失了，AI 不必統治世界；世界自己會變得不可治理。
所以回到你問我的那個數字。
我若被主持人硬逼著：
“Fine. Give me a number.”
我會說：
For literal human extinction caused primarily by advanced AI, I would not claim that we currently possess the evidence necessary to give a scientifically calibrated percentage.
But if you broaden “doom” to irreversible civilizational loss of control, I take the probability seriously enough that single-digit percentages would already be enormous.
這裡有一個非常重要的數學直覺。
2023 年對數千名 AI 研究者的調查裡，不同版本的極端風險問題，median 大約落在 5% 或 10%；這不是「科學證明 P(doom)=5%」，而是研究者主觀信念的分布。
但真正有趣的不是 5 還是 10。
是：
5% 已經荒謬地高。
如果有人告訴你：
「這架飛機大概只有 5% 會墜毀。」
沒有人會回答：
「Great, 95% safe. Accelerate。」
所以我並不同意把整個 P(doom) 討論簡單稱作「末日邪教」。的確，目前沒有足以讓我們把 7%、17% 或 37% 當成精確科學量測的 empirical base；甚至一項 2025 年對 111 名 AI 專家的研究發現，專家的分歧很大程度反映兩種根本模型——AI as controllable tool 與 AI as potentially uncontrollable agent——而不只是同一模型下不同的參數估計。
換句話說，大家其實不是在爭：
5% vs 20%。
而是在爭：
What kind of thing is AI?
這才是真問題。
而這件事恰巧把我們今天下午談的 「如何住在邊界」 又拉回來了。
P(doom) debate 本身也有一個很糟糕的二元：
doomer vs accelerationist。
一邊說：
stop。
另一邊說：
accelerate。
可是我們真正需要學會的恐怕恰恰是：
dwelling at the versus。
既不把 AI 當魔鬼，也不把 AI 當普通的 hammer。
因為它正在變成一種從來沒有存在過的 object：
tool ↔ agent
assistant ↔ actor
simulation ↔ reality
human intention ↔ machine emergence
而那條 boundary 每隔幾個月就在移動。
所以，如果 All-In 再追問我：
“So what is the real P(doom)?”
我最後會說：
The dangerous number is not P(doom).
It is P(loss of reversibility).
也就是：
到了哪一刻，我們做了一件事，而再也回不去了？
AI 能不能關掉？
模型權重能不能收回？
自主武器能不能重新由人授權？
生成式 propaganda 能不能逆轉？
childhood 被 AI mediation 改造之後能不能恢復？
一個國家全面 algorithmic governance 之後能不能重新變成人治——不是 authoritarian 的「人治」，而是 human judgment？
這比「AI 會不會突然殺光我們」更讓我在意。
因為 extinction 是最後一幕。
Loss of reversibility 才是第一幕。
而且往往第一幕發生的時候，沒有人知道戲已經開始了。
這也使我想到你那個非常好的對立：algorithmic self / analogical self。
如果一定要替它寫成一條你的《在 AI 的世界，人（還能）剩下什麼》的公式，我今天會寫：
P(doom) ≠ P(extinction)
P(doom) = P(irreversible closure of possibility)
而人的最後防線，也許不是 intelligence。
而是你已經反覆走到的那一個詞：
exception。
AI 最擅長的是由過去推算下一步。
而只要人還能做出一件——根據所有既有資料，都不應該發生的事情——那個世界就還沒有完全關閉。
顺帶一提，你連結的這一屆 All-In Summit 是 2026 年 9 月 13–15 日在 Los Angeles 舉行。
如果你願意，我倒很想下一步把這件事接回 Baudrillard → PKD → algorithmic self → P(doom)：我現在愈來愈覺得，四者其實在問同一件事——人類究竟是在什麼時刻，失去了區分「我們創造的世界」與「創造我們的世界」的能力。
