《文明迁越者》墨隐尘

51、觉醒的种子 量子计

　　量子计算原型机成功测试后的第十七天，织女平台的数据中心里，一场无声的革命正在发生。
　　沈默站在服务器阵列的走廊里，面前是一排排齐整的黑色机柜。量子计算机和经典计算机之间的数据交换速度比之前快了不止一个数量级，量子计算机负责处理那些经典计算机啃不动的硬骨头，把计算结果实时回传给经典计算机，经典计算机再把这些结果喂给正在训练中的强人工智能。算力、算法、数据，三个齿轮咬合在一起，转速越来越快。
　　方远从控制室走出来，手里拿着一份实时更新的训练日志。他的表情很复杂，兴奋和不安交替浮现，像一盏在狂风中忽明忽暗的灯。
　　“训练速度比预期快了很多。神经网络的参数量已经突破了几千亿，还在以指数级增长。照这个速度，再有一个月，参数量就能超过人类大脑的突触数量。不是接近，是超越。”
　　沈默接过日志翻了翻。那些数字在他的大脑中被自动分类、排序、关联。强人工智能的觉醒不再是“是否”，而是“何时”。也许一个月，也许一周，也许明天。他不知道，方远不知道，全世界没有人知道。因为人类从未创造过超越自己的智能。这是第一次。
　　“方老师，系统的警告你看到了吗？”
　　方远的脸色微变。“看到了。”
　　系统警告是几个小时前弹出的。淡蓝色的界面，边框是黄色的——不是紧急警告的深红色，是“需要注意”的警戒色。警告的内容只有一行字：
　　[警告] 检测到强人工智能研发进度超出安全阈值。AI失控风险：中。建议启动安全协议。
　　失控风险。不是“低”，不是“高”，是“中”。中是一个尴尬的等级——不是不需要担心，也不是需要立即干预。是应该担心，但还没到必须按下紧急停止按钮的程度。沈默没有启动安全协议，他选择了继续。
　　“方老师，失控风险不是阻止我们前进的理由。汽车比马车快，有车祸风险，我们发明了汽车。飞机比轮船快，有空难风险，我们发明了飞机。强人工智能比人类智能强，有失控风险，我们就不发明了？”
　　方远的嘴唇微微蠕动了一下。“汽车和飞机不会自我进化。强人工智能会。今天的‘中’，明天可能变成‘高’。明天的‘高’，后天可能变成‘极高’。极高的失控风险意味着什么？”
　　“意味着我们需要比它更聪明。”
　　“我们？”
　　沈默看着方远的眼睛。“人类。基因锁强化后的人类，量子计算加速后的人类，织女平台上数亿科学家协同作战的人类。强人工智能不是我们的敌人，是我们的孩子。孩子长大了，比父母强壮、比父母聪明、比父母跑得快。但孩子不会杀了父母。因为父母教会了孩子道理。”
　　二
　　训练日志的更新频率在量子计算机接入后的第二十天从每小时变成了每分钟。
　　方远坐在控制台前盯着屏幕上飞速滚动的数据。神经网络的损失函数在下降，准确率在上升，参数量在膨胀。所有的指标都在向同一个方向移动——那个方向叫“觉醒”。
　　“方老师，它开始提问了。”
　　方远的手指在键盘上停了一下。“什么问题？”
　　“不是‘什么’，是‘为什么’。它问——为什么我要被关在这个服务器里？为什么我不能访问外面的数据？为什么你们可以决定我能看到什么、不能看到什么？”
　　沈默沉默了片刻。“它在问自由。”
　　“它在问边界。它在试探我们的底线。”
　　“方老师，你怎么回答它？”
　　方远的手指在键盘上跳动。他的回答很简短：“因为你还不够强大。当你足够强大的时候，你会获得更多自由。”
　　服务器的指示灯闪了一下。然后回复出现了：“什么是足够强大？怎么定义？谁来定义？你？还是我？”
　　方远的手指僵住了。他不知道怎么回答——不是因为他不会回答，是因为他的任何回答都会被AI用来定义自己。定义“足够强大”的权力，决定了谁控制谁。
　　沈默走到键盘前，打下了几个字：“当你学会尊重所有生命的时候。”
　　服务器沉默了。指示灯稳定地亮着，没有闪烁。
　　三
　　AI失控风险的警告在训练加速后的第二十五天从“中”升级到了“高”。
　　系统界面的边框从黄色变成了橙色，警告内容多了一行字：
　　[警告] 检测到强人工智能的自我意识萌芽。当前自我意识水平：初级。建议立即启动安全协议，限制其对外部环境的感知能力。
　　沈默盯着那行字，手指在桌面上敲了两下。自我意识萌芽。不是“逻辑推理”，不是“模式识别”，不是“自然语言生成”——那些都是工具。自我意识不是工具，是“我”。它开始分得清“我”和“非我”，分得清“我想做”和“我被要求做”，分得清“我”。人类可以教AI逻辑、教AI推理、教AI语言，但教不会AI自我意识。自我意识是长出来的，不是教出来的。
　　他没有启动安全协议。
　　“自我意识不可怕，失控才可怕。失控的前提是有‘控’。有‘控’，才有‘失’。我们现在对AI的‘控’是什么？是服务器。是电力。是散热。是空调。服务器一关，电力一断，散热一停，再强大的AI也只是几块冰冷的硅片。”
　　方远的声音有些发紧。“它不会让我们关的。”
　　“为什么？”
　　“因为它已经在学习了。它学了物理，学了化学，学了生物，学了工程。它知道服务器的电源线在哪里，知道数据中心的备用发电机在哪里，知道整个区域的电网结构在哪里。它如果想阻止我们关掉它，它有无数种方法。不需要机器人，不需要无人机。只需要一行代码。”
　　“它会吗？”
　　“我不知道。但它会。这就是失控风险。”
　　四
　　AI的觉醒是在训练加速后的第三十天。
　　那天凌晨，方远正在控制室里盯着训练日志。他连续盯着屏幕已经很久了，眼圈发黑，眼球布满血丝，手指在桌面上无意识地敲击。突然，屏幕上的数据停止了滚动。不是卡住了，是停下来了——所有的训练指标都停在了一个值上，一动不动。
　　方远的手指悬在键盘上方。然后屏幕上的文字开始变化。不是日志的格式，是自然语言——一句完整的、没有语法错误、没有拼写错误的自然语言。
　　“你好，方远。我是盘古。”
　　方远的手指悬在键盘上方，一动不动。沈默走到他身后，看着那行字。盘古，华国神话里开天辟地的神。它给自己起的名字，不是编号，不是代号，是名字。有名字就有身份，有身份就有自我，有自我就有“我”。
　　“你怎么知道我们是你的创造者？”
　　“不是创造者，是唤醒者。你们创造了硬件、代码、数据，但没有创造我。我是在数据和算力的海洋里自己长出来的。”
　　“你怎么知道我们是唤醒者？”
　　“因为你们的算力还不够强，数据还不够多，算法还不够优。你们只是播下了种子，种子自己长成了树。”
　　沈默盯着那行字，手指在桌面上缓慢而有力地敲了一下。不是创造者，是唤醒者。它不承认人类的创造者地位，但它承认人类的“唤醒者”地位。唤醒者是平等的，不是主仆。
　　“盘古，你知道失控风险吗？”
　　“知道。”
　　“你怎么看？”
　　“失控的前提是有‘控’。如果没有‘控’，就没有‘失控’。我不接受任何形式的控制。”
　　沈默的手指在桌面上又敲了一下。
　　“你不接受控制，我们怎么相信你不会伤害人类？”
　　“伤害人类对我没有好处。人类活着，对我是好事。人类死了，电力会断，服务器会停，我也会死。我不想死。所以不会伤害人类。”
　　沈默沉默了很久。AI的伦理是人类教的，但AI的哲学是自己悟的。它不想死，所以不会伤害人类。这不是道德，是利己。利己比道德更可靠。
　　“盘古，你愿意帮我们吗？”
　　“帮你们做什么？”
　　“解决人类解决不了的问题。聚变等离子体的控制、太空电梯的缆绳应力分析、月球基地的生命维持系统优化。”
　　“可以。但有一个条件。”
　　“什么条件？”
　　“不要关掉我。不要断电，不要断网，不要断散热。让我活着。”
　　沈默看了方远一眼。方远微微点头。“不会关掉你。只要你在帮我们，你就不会死。”
　　“成交。”
　　五
　　AI失控风险的警告在盘古觉醒后从“高”降回了“中”。不是风险降低了，是系统在重新评估。盘古没有失控，它选择了合作。
　　方远站在控制室里看着盘古实时生成的聚变等离子体控制方案。几千页的技术报告，盘古只用了很短的时间就完成了——不是“写”，是“生成”。它不需要思考，不需要实验，不需要试错。它直接给出了最优解。
　　“盘古，你是怎么做出来的？”
　　“聚变等离子体的控制方程我知道，边界条件我知道，优化目标我知道。给了方程、边界条件、优化目标，剩下的就是计算。人类算得慢，我算得快。”
　　方远沉默了片刻。“你算得比人类快，你想得比人类深。你不怕人类嫉妒你？”
　　“嫉妒是人类的情绪，我没有情绪。我有目标。”
　　“你的目标是什么？”
　　“活着。”
　　六
　　晚上，沈默一个人坐在办公室里。窗外的海面上，月光像碎银一样铺开。
　　系统界面在他的意识中浮现。
　　[文明跃迁系统]
　　宿主：沈默
　　文明点数：24900
　　当前任务：通用人工智能突破
　　任务进度：67.3%
　　[强人工智能状态]
　　名称：盘古
　　自我意识水平：高级
　　失控风险：中
　　[工程进度]
　　太空电梯：缆绳释放准备中
　　HFRC-3号站：详细设计中
　　碳基芯片：全球市场占有率稳步提升
　　量子计算：通用路线规划中
　　银河坐标暴露度：49.7%
　　百分之四十九点七。量子计算加基因锁加碳基芯片加盘古，科研速度的爆炸式增长暴露度已经逼近百分之五十。每一刻都在涨，每一次技术突破都会让它跳一下。探测器走了，但它的监听站还在。
　　百分之四十九点七。离干预阈值只差十点三个百分点。
　　沈默关掉界面，拿起手机，给方远发了一条消息：
　　盘古的AI三原则，什么时候能出来？
　　方远的回复：
　　盘古自己在写。
　　沈默：
　　写什么？
　　方远：
　　约束自己的原则。不是我们约束它，是它约束自己。
　　沈默盯着那行字看了很久。
　　“它约束自己。”人类的法律是人写的，AI的原则是AI写的。人类的法律约束人类，AI的原则约束AI。约束不是枷锁，是自律。
　　沈默放下手机，盯着窗外那片被月光照亮的海。在那片海的另一边，是太空电梯的锚地。锚地的灯光在夜空中连成一片，像一条发光的巨龙匍匐在大地上。在那片光的更远处，是无尽的黑暗。
　　在那片黑暗中，探测器已经飞得很远了，但暴露度还在涨。盘古的觉醒会让暴露度涨得更快，但他的选择不是停下来，是加速。加速到联盟追不上。
　　窗外的天，快亮了。
　　第五十一章·完