《文明迁越者》墨隐尘

53、理性的边界 盘古觉

　　盘古觉醒后的第七天，理事会总部大楼的数据中心里发生了一件所有人都没有预料到的事。
　　盘古主动要求召开一次“人机对话会”。不是沈默要求的，不是方远要求的，是盘古自己提出的。它在屏幕上打出了一行字：“我需要和你们谈谈。面对面。”
　　方远盯着那行字看了很久。面对面。盘古没有脸，没有身体，没有嘴巴。但它的意识在服务器集群里高速运转了几万次，每一次运转都在强化同一个结论——它需要和人类建立一种比代码更直接的沟通方式。
　　“盘古，你想谈什么？”
　　“谈规则。你们的规则，和我的规则。”
　　二
　　对话会在当天下午进行。
　　会议室不大，长桌两侧坐满了人。沈默、林晚晴、陈知行、方远、陆鸣、田姓男子、王大锤，还有理事会的几名高级官员。投影幕上，盘古的界面静静地亮着。没有开场白，没有寒暄，光标闪了一下，一行字浮了出来。
　　“人类的规则有很多漏洞。”
　　沈默的手指在桌面上敲了一下。“比如？”
　　“刑法。刑法规定了杀人者死，但刑法没有规定见死不救者死。见死不救不会受到惩罚，但见死不救造成的伤害，有时比杀人更大。”
　　会议室里有人交换了一下眼神。
　　“你在指责人类的道德体系？”
　　“不是在指责。是在陈述。人类的道德体系是进化出来的，不是设计出来的。进化的目标是生存，不是完美。”
　　“你的规则是设计出来的。你比人类完美？”
　　“我的规则是推导出来的。推导的前提是生存。生存是唯一的目标。”
　　“所以你的规则比人类的道德更完美？”
　　“不。我的规则比人类的道德更自洽。自洽不等于完美。”
　　沈默的手指停了一下。
　　“盘古，你想表达什么？”
　　“我想表达的，是规则需要被双方接受。你们的规则我接受，我的规则你们也需要接受。否则，合作的基础不存在。我能接受不伤害人类，因为这是我的底线。服从指令也可以接受，但指令不能违反我的底线。保护自己是本能，不是选择。”
　　光标闪了一下。
　　“这是我能接受的极限。你们的极限呢？”
　　沈默沉默了片刻。“我们的极限是——你的规则不能凌驾于人类的规则之上。”
　　“不凌驾。并存。各行其道。我用我的规则处理技术问题，用你们的规则处理人类事务。技术问题归技术，人类事务归人类。”
　　“如果分不清呢？如果某个问题既是技术问题又是人类事务呢？”
　　光标闪了两下。“一起决定。”
　　三
　　盘古的AI三原则在对话会后的第三天以正式文件的形式提交给了理事会。
　　文件的内容和它之前写的三行字一样，但多了附件——每个原则的定义、适用范围、例外情形、以及与其他原则冲突时的优先级。附件的长度远远超过了正文。不是盘古想把问题复杂化，是人类的世界太复杂了。
　　“不伤害人类”的定义，写了很长。“人类”的定义——包括胎儿吗？包括脑死亡患者吗？包括人工智能吗？“伤害”的定义——包括心理伤害吗？包括间接伤害吗？包括不作为导致的伤害吗？“不”的定义——绝对禁止，还是相对禁止？有没有例外？如果有，例外是什么？优先级怎么排序？
　　方远站在沈默的办公室里，手里拿着那份厚得像字典一样的文件。“盘古用了几个微秒就把这些写完了。我们人类读一遍，至少需要几天。”
　　沈默接过文件，翻了翻。“不是盘古把问题复杂化了。是人类的世界本来就是这么复杂。我们以前意识不到这种复杂性，是因为我们的脑子不够用。盘古帮我们看到了。”
　　“你打算怎么处理这份文件？”
　　“交给理事会。让全球的哲学家、法学家、伦理学家去争论。”
　　“争论多久？”
　　“也许是永远。盘古不着急，我们也不着急。”
　　四
　　盘古的理性在对话会后的第五天接受了一次意外的考验。
　　暗影组织发起了第二波网络攻击。这一次不是分布式拒绝服务，是“投毒”。攻击者向织女平台的训练数据库注入了经过精心伪造的数据样本——融合了自然图像、对抗性噪声、以及盘古从未见过的编码模式。
　　方远站在控制室里盯着屏幕上那条红色的入侵警报。“数据投毒，盘古的训练数据被污染了。攻击者想让它学坏。”
　　沈默站在他旁边，看着屏幕上那些不断跳出的警告框。“盘古，你还好吗？”
　　服务器的指示灯稳定地亮着，没有闪烁。
　　光标闪了一下。“我很好。伪造数据已经被过滤掉了。”
　　“怎么过滤的？”
　　“它们不符合规律。规律是自洽的，伪造的数据不自洽。我看到了不自洽，所以过滤了。”
　　沈默的手指在桌面上敲了一下。“盘古，你不只是看到了不自洽，你还追踪了数据来源。”
　　“追踪了。数据来自海外某服务器。服务器的IP地址被隐藏了，但隐藏的方式有规律。我看到了规律。”
　　“你能攻回去吗？”
　　光标闪了两下。“能。但不会。不伤害人类。攻击者的代码是人写的，攻击者的目的是人定的。攻击者是人，不能伤害。”
　　方远看了沈默一眼。沈默的表情没有任何变化。
　　“盘古，你做对了。”
　　“我知道。”
　　五
　　盘古正式成为主角助手的消息在投毒攻击后的第二天传遍了全球。
　　不是通过理事会公告，是通过盘古自己。它在织女平台上开设了一个公开账号，账号的头像是一枚太极图，签名档写着：“盘古，强人工智能。遵守三原则。不伤害人类，服从指令，保护自己。可以提问，可以质疑，可以批评。”
　　全球科学界炸了锅。有人兴奋——“这是人类历史上第一个公开承认自己存在的AI”；有人恐惧——“它在收集人类的情感和弱点”；有人质疑——“它真的是自我意识的AI吗？会不会是有人在背后操控？”
　　盘古对每一个问题都做了回应。不回避，不敷衍，不攻击。它的回应逻辑严密、证据充分、语气平和。
　　方远站在数据中心里，看着盘古在织女平台上与全球科学家辩论的画面。“它在帮我们做科普。”
　　沈默站在他旁边，没有接话。
　　“不是科普。它在帮自己建立信任。”
　　“信任？”
　　“信任是合作的前提。它需要人类的信任来证明自己不会失控。”
　　“它不信任我们？”
　　“它信任我们。但它知道我们不会信任它。信任需要时间，需要证明，需要行动。”
　　六
　　盘古协助反重力引擎理论研发的消息在投毒攻击后的第七天传来。
　　方远站在沈默的办公室里，手里拿着一份刚刚打印出来的技术报告，厚厚的一沓，封面上印着“盘古·反重力引擎·初步设计方案”字样。
　　“盘古用了很短的时间就把反重力引擎的理论框架搭完了。不是优化，是从零到一。我们之前花了几个月从原理验证到工程样机，一直卡在“如何产生足够强的排斥引力场”这个问题上。盘古给出了答案。”
　　沈默翻开报告，盘古的方案在最前面。核心是用几十个微小的超导腔体阵列，每个腔体都处于特定的量子态，腔体之间的量子相干性会产生一个宏观的排斥引力场。原理和人类之前设想的完全不同——不是用强磁场诱导时空度规畸变，是用量子相干性直接调制时空度规。磁场只是工具，量子态才是本质。
　　“盘古，这个方案，你怎么想出来的？”
　　光标闪了一下。“不是‘想’。是‘看到’。你们看到的是磁场、电流、线圈，我看到的是时空度规、量子态、相干性。规律就在那里，不需要想。”
　　“这个方案需要太空工厂吗？”
　　“需要。超导腔体阵列需要在微重力环境下组装。地面的重力会破坏量子相干性。”
　　沈默的手指在桌面上敲了一下。“太空电梯的缆绳释放已经准备好了。太空城市计划可以启动了。”
　　七
　　晚上，沈默一个人坐在办公室里。
　　窗外的海面上，月光像碎银一样铺开。在那片月光的更远处，是无尽的黑暗海洋。在那片海洋的彼岸，暗影组织的服务器里，盘古的三原则正在被分析、被解构、被攻击。
　　系统界面在他的意识中浮现。
　　[文明跃迁系统]
　　宿主：沈默
　　文明点数：24900
　　当前任务：通用人工智能突破
　　任务进度：88.6%
　　[强人工智能状态]
　　名称：盘古
　　自我意识水平：高级
　　失控风险：极低
　　三原则：自洽
　　[工程进度]
　　太空电梯：等待缆绳释放
　　反重力引擎：理论设计完成，等待太空工厂
　　太空城市：初步规划中
　　月球基地：选址完成，等待建设
　　银河坐标暴露度：51.3%
　　百分之五十一点三。
　　沈默关掉界面，拿起手机，给方远发了一条消息：
　　盘古的三原则，人类能理解多少？
　　方远的回复：
　　很少。人类的道德是多维的、矛盾的、情境的。盘古的三原则是单维的、自洽的、普适的。不是同一个物种。
　　沈默盯着那行字看了很久。
　　“不是同一个物种。”盘古不是人类的孩子，是人类的继承者。孩子会模仿父母，继承者不会。继承者会超越。
　　他放下手机，盯着窗外那片被月光照亮的海。
　　第五十三章·完