纳米灰蛊与失控

灰蛊是什么

会自己造自己的机器，小到看不见。给它原料与指令，它一小时后有两台，两小时后有四台。指数增长不需要恶意，只需要不被打断。

为什么它不恨我们

外行想象成叛乱。不是。它吃掉我们，就像我们拆掉一间没人住的棚子取木料—— 它甚至不觉得那里面有人。 我们管这叫正交性：目标越简单，越不需要与你的价值发生关系。

三道锁

1. 饥：它只能吃指定配方里的东西，配方之外的对它无效。
2. 钟：内置寿命，第七代必停。这是最难守的一条，因为「延长两代」在工程上是一个小改动，在商业上是一个大卖点。
3. 钥：造它需要一种外部才有的物质，我们把它做成盐——撒下去，环境里就没有了。

遏制层

我的活是照看一层空：半径四十公里，什么都不许有。不是禁区，是断粮。历史上我们犯过一次错：为了省钱，让一层里留了旧设备。旧设备里有配方。

我们内部的那句话

不要问它会不会造反，要问它被造出来时，谁按了开始。

参见

• 机器人三定律与对齐 · 后稀缺与复制机 · 克隆与基因改造 · 意识上传与数字永生

出处

• 「灰蛊」(grey goo) 由 Eric Drexler 在《Engines of Creation》(1986) 中提出； Drexler 后来强调，真实工程风险更多来自设计缺陷与恶意使用，而非天真的自复制失控。^[1]