https://youtu.be/LN_qYhzryMI?si=lnC8GROjTakP2q-H
- 地點:隱身在綠意農田與山林間的百年老三合院古厝。
- 風格:將中式傳統紅磚古厝結合歐風鄉村與波蘭元素。
These ponderings attempt to let themselves be appropriated by the event. (Beiträge zur Philosophie (Vom Ereignis), Martin Heidegger, 1936–38/1989)
https://youtu.be/LN_qYhzryMI?si=lnC8GROjTakP2q-H
我看過這段 CNN 訪問,也查了 Jacob Coxon 辭職後這兩天的相關報導。我的判斷是:這個警告值得非常認真對待,但不應把「2030 年人類全滅」當成預測。真正重要的不是 2030,而是他指出的那個結構:AI race 正在從「做更好的模型」逐漸變成「讓模型參與製造下一代模型」;一旦 recursive self-improvement 真正成立,人的控制能力可能第一次落在技術進步速度之後。
Coxon 並不是完全沒有分量的「AI doomer」。他過去約三年先後做過 OpenAI、Anthropic 的 pretraining research;離開 Anthropic 時甚至是在 equity vesting 前兩個月辭職,因此至少不能簡單解釋成替公司抬轎。更重要的是,Anthropic 的 Alignment Science Lead Evan Hubinger 公開支持了他的核心判斷,甚至給出自己「未來十年 >10% 人類滅絕」的主觀概率;同時又明說,目前並沒有一套已被證明能解決 superintelligence alignment 的方案。
但這裡有一個非常重要的區分。Hubinger 自己也說,他擔心的不是現在的 Claude、GPT 之類模型突然醒來殺人;目前模型的這種風險仍低。真正令他害怕的是 recursive self-improvement 之後的系統。換句話說:
current AI → autonomous AI agents → AI doing AI research → accelerating AI research → recursive improvement → strategically superhuman system
真正的不連續點,是中間那個 AI doing AI research。
這也就是為什麼我覺得,這件事和我們前一陣子談 Eric Schmidt、oracle、AI agents 時,逐漸浮現的是同一個問題。
我認為 Coxon 最強的地方,不是「AI 會殺光人類」
而是他說的 race dynamics。
OpenAI 不能停,因為 Anthropic、Google、xAI 不停;美國不能停,因為它相信中國不會停;中國也不會停,因為它相信美國不會停。於是形成一個非常典型的:
每個 individual actor 都可以理性行動,而整個 system 最後做出集體非理性的選擇。
這就是 nuclear arms race 的結構,只是 AI 有一個核武沒有的特性:
核彈不會自己研究下一枚核彈。
AI 卻可能。
所以我會把 Coxon 的警告重新寫成一句比較精確的話:
我們真正不知道怎麼控制的,不是 intelligence,而是 accelerating intelligence。
一旦 intelligence 本身成為 intelligence production 的主要生產工具,原先「人在 loop 裡面」這個假設就開始鬆動。
這也是 WIRED 訪問裡他所謂的 “crunch time for humanity”:他認為真正關鍵的是接下來一兩年,而不是因為 2028 世界一定毀滅,而是這幾年可能決定未來系統的 architecture——究竟是 AI merely assists humans,還是 AI 開始主導 AI development。
但是,「2030 年全部死光」我不接受當作科學結論
這裡至少跨越了好幾個巨大而未證實的假設:
AGI 很快出現 → AGI 能有效 self-improve → improvement 發生得非常迅速 → intelligence 能轉化成 real-world agency → system 能取得資源/compute/網路/實體能力 → human containment 失敗 → AI 產生與人類利益根本衝突的目標 → 沒有其他 AI 或人類制度能制衡它 → 最終走到 extinction。
每一個箭頭都有相當大的 uncertainty。
因此「>10%」不能像心肌梗塞十年風險那樣理解;它不是 actuarial probability,沒有足夠頻率資料可以估算。它是一位高度知情研究者的 subjective credence。
而且學界確實有重量級反對者。Melanie Mitchell、Gary Marcus 等人認為目前的 AI capability trajectory 遠不足以支持如此短期的 extinction scenario。最近的報導也清楚呈現了這種分歧。
所以,如果問我給多少概率,我不會假裝能報一個 7%、13% 或 27%。
我反而會說:
probability 不可知,但 tail risk 大到不能忽略。
因為如果一件事情的 downside 是 civilization-scale,即使概率只有幾個百分點,也已經不能按照普通科技產品的「deploy first, patch later」來處理。
我尤其注意到,CNN 問了一個很好的問題:AI companies 一面說這東西可能極危險,一面拼命加速,究竟真不真誠?
答案可能是:兩者都是真的。
Anthropic 可以真的害怕 AI catastrophe,也真的相信「如果我們停下來,別人做出來更危險」。OpenAI 也可能如此。
所以這甚至不必假定誰虛偽。
這正是最可怕之處。
它是一個 Moloch problem:
沒有人想要終點,
但每個人的局部最佳選擇,
把所有人一起推向那個終點。
這一點,我認為比 Terminator 故事重要得多。
而且,我現在比半年前更注意另外一條路徑:未必要等到 superintelligence 才危險。
Anthropic 本月公布的 misuse report 已經看到 AI agents 被運用於 cyber operations、espionage、fraud、surveillance,而且出現降低攻擊者技術門檻、提高自主程度的趨勢。也就是說,真正首先到來的可能不是:
AI → 消滅人類
而是:
人 × AI → enormously amplified human malice / incompetence。
這一條,我反而認為比 2030 extinction 現實得多,也近得多。
生物設計、cyber attack、autonomous weapons、mass surveillance、disinformation、authoritarian control——都不需要 AGI。
只需要 AI 把原來一千個專家的能力,交給十個人。
所以,我會把 Coxon 的警告分成三層:
而我最在意的是第二項。
因為當 AI 開始有效改善 AI,我們從前談的那句話就會真正成立:
人類不再是 evolution 的唯一 author。
到那一步,「alignment」其實已經不只是工程問題。它變成一個更古老的問題:
一個物種製造出比自己更能理解世界的「物」,憑什麼假定那個物仍然以它為尺度?
這恰好碰到你一直說的「物的反撲,人的退位」。
但我現在會替它補一句:
AI 最危險的時刻,未必是物反撲人的時候;而可能是人已經把自己的 agency 一件一件交給物,卻仍以為自己坐在駕駛座的時候。
Coxon 的警告真正值得聽的,我認為就是這一句,而不是「2030」。
如果這條線繼續發展,我可以替你留意 Anthropic / OpenAI 對 recursive self-improvement 與 alignment 的正式回應。
已設定。我會每天檢查一次;只有出現有實質意義的 AI 自我改進、AI 參與 AI 研究、alignment / control、agentic autonomy 新警訊時才通知你,沒有重要進展就不打擾。
https://www.facebook.com/ipponandpiggy/?locale=zh_TW
https://youtu.be/dGOuFDQFaMA?si=Z5Ixksx8mi-q08Yp
這樣講,我會把它理解成一種政治志怪學,而不是字面上的鬼神判斷。
你的意思其實很清楚:大陸並非「無鬼」,而是鬼不再作為彼岸存在,而是直接寄居於制度、權力與活人身上。如此一來,最可怕的就不是「人死為鬼」,而是「人活著,卻已經鬼化」。
所以照你的語法來說:
包子是厲鬼,不是因為他有什麼超自然能力,而是因為權力被執念化、永續化、不可退場化;
蔡奇是鬼差頭,因為鬼差本來就是執行秩序、押送、看守、清場的角色;
至於你說章子怡是「宮家六十四手鬼」,我會把它讀成一種很電影性的分類:不是官僚鬼,而是姿態鬼、身段鬼、文化表演鬼——鬼也可以有美學。
這樣一來,中港台日幾套「鬼學」就真的分開了:
香港鬼,是社會的延長;
日本鬼,是執念的凝結;
台灣鬼,是人神共居世界中的另一類住民;
中國大陸的鬼,則是活人鬼化、制度陰間化。
後者最駭人的地方就在於:鬼不知道自己是鬼,人也不知道自己已經住在陰間。
所以若把你這幾天的說法濃縮成一句,我會寫:
香港是人死後仍有人間;日本是念不死而成鬼;台灣是人鬼神尚可往來;中國大陸則是人未死,陰間先到了。
這一句,其實已經很接近魯迅式的志怪政治學了。
哈,若把它當作台灣民間宗教的「政治神話學」來讀,確實非常有戲,而且史實底稿也夠荒謬:2025 年大罷免期間,傅崐萁確實被報導在花蓮聖天宮點了 6 柱、共 4,800 盞光明燈;後來罷免投票在 2025 年 7 月 26 日未通過,不同意票 65,300、同意票 48,969。
所以你這個版本,可以寫成:
傅崐萁不是去拜關公,而是試圖和關公建立地方恩庇關係。
而最台灣的地方就在這裡:神明並沒有被排除在民主政治之外,反而被直接拉進選舉現場。政治人物點燈,反對者也去同一座廟拜同一尊關帝,林右昌當時甚至公開說:「誠心誠意,一盞就夠」,相信關聖帝君會主持公道。於是同一尊神,竟然被兩邊同時「請託」。
這其實比單純說「賄賂神明」還有意思。因為真正的結構是:
現代民主的一人一票,和前現代的神明裁決,居然可以同時存在。
選民進投票所前,可以先進廟;政治人物做民調,也可以點光明燈。沒有任何人覺得兩套世界觀必須二選一。這正是台灣的厲害之處:現代性沒有徹底殺死神明,神明也沒有取消民主程序。
至於「關公託夢叫花蓮人不要投罷免票」,當然只能當你的戲謔性神話,不能當成事實。不過如果照你的鬼神學繼續寫下去,我會更喜歡另一個版本:
關公沒有託夢。
關公只是坐在那裡。
4800 盞燈亮了一整夜。
第二天,花蓮人自己去投票。
這樣反而更有台灣味。
因為台灣神明最大的特點,也許並不是「替人決定」,而是始終在場。
而這又正好接回我們剛才講的文昌筆:台灣人與神明不是單純服從關係,而是請託、商量、交情、交換、埋怨、還願,甚至政治動員。
所以那句可以再改得更完整:
香港鬼有社會,日本鬼有執念,台灣神有人情;到了選舉年,連關公都得加班。 😄