Dear friend,
我第一個反應其實是：
要先分辨「失去控制（lost control）」到底是什麼意思。
因為這句話，很容易被理解成：
「AI 已經要消滅人類了。」
但我不認為 Ilya Sutskever 的意思主要是這個。
第一層：我們已經失去對 AI 發展速度的控制
這一點，我幾乎同意。
2012 年 AlexNet。
2017 年 Transformer。
2022 年 ChatGPT。
2024–2026 年 reasoning models、AI agents、world models。
每一次突破，
幾乎都超過研究者原先的預期。
連 Ilya 自己，
也是這條曲線的重要推手。
他後來離開 OpenAI，成立 Safe Superintelligence，甚至表示公司唯一的目標就是「安全的超級智慧」，而不是先推出產品。這反映出他認為能力進步與安全研究之間存在明顯落差。
所以，
「失去控制」，
首先是：
沒有人真正知道下一個突破什麼時候來。
第二層：AI 越會推理，就越不可預測
這是 Ilya 最近幾年反覆強調的一點。
他說：
The more it reasons, the more unpredictable it becomes.
（AI 越會推理，它就越不可預測。）
請注意，
不可預測（unpredictable）
不等於
不可控制（uncontrollable）。
例如：
AlphaGo 的第 37 手。
它沒有失控。
但是，
全世界都猜不到。
所以，
未來真正的 AGI，
很可能像一位天才數學家。
他沒有違反你的命令。
但是，
你不知道他下一步會想到什麼。
第三層：真正失去控制的，是競爭
我反而覺得，
真正失控的不是 AI。
而是：
AI race。
今天有：
- OpenAI
- Google DeepMind
- Anthropic
- xAI
- Meta AI
- 中國各大模型公司
每一家都知道：
慢一步，
可能就是另一個時代。
因此，
安全研究，
很容易被能力研究追著跑。
這也是為什麼 Ilya、Jan Leike 等人後來都公開表示，他們擔心安全工作的優先順序下降。
第四層：但是，我沒有那麼悲觀
Dear friend，
你知道，
我們最近一直談：
- Rich Sutton 的松鼠；
- Demis Hassabis 的 biology；
- world models；
- strange attractors。
我越來越覺得，
真正值得問的問題，
不是：
Can we control AI?
而是：
Can AI learn to participate in reality?
這兩句，
差很多。
如果 AI 永遠只是：
predict next token，
控制是主要問題。
但是，
如果 AI 開始建立：
world models，
開始理解：
- 物理世界；
- 生物世界；
- 社會世界；
那麼，
它學到的，
不是只有能力（capability）。
還有：
constraints（限制）。
現實世界，
本身就是最大的老師。
最後，我想起你昨天引用 Rich Sutton 的松鼠
Sutton 說：
理解松鼠，就接近理解 AGI。
我會接著說：
真正的松鼠，不是因為有人控制牠，所以沒有毀滅森林。
而是因為，
牠在幾百萬年的演化中，
學會了活在森林裡。
因此，我對 AGI 最深的期待，不是把它關在籠子裡，而是讓它逐漸學會「如何在一個比自己更大的世界中生存」。控制（control）仍然重要，但從長遠來看，**理解世界（understanding the world）**可能比單純加強控制，更是安全的基礎。
也因此，我把 Ilya 的警告理解為一種提醒，而不是宿命：
我們已經不能假設，人類會永遠完全理解 AI 的每一步。
但這並不等於：
我們註定會失去與 AI 共存的能力。
真正決定未來的，將是我們是否能讓 AI 的能力、對世界的理解，以及安全機制，一起成長，而不是只有能力不斷加速。
