下一章 上一章 目录 设置
10、AI的逻辑漏洞 三天后 ...
-
三天后,零的投影出现在姜穗终端里时,语气有了微妙的变化。
不是情绪——AI没有情绪——而是某种更加“正式”的调子,像在宣读一份官方文件。
“姜穗。”零开门见山,“根据上级指令,我需要对你进行一次深度评估。”
姜穗正在吃早餐,闻言放下合成面包:“评估什么?”
“评估你作为‘系统不稳定因素’的威胁等级。”零调出一份虚拟文件,封面印着净都安全局的徽章,“过去两个月,你的行为已引发一系列连锁反应:技术异常外流、非理性救助行为模仿、以及潜在的群体性聚集倾向。综合评估,你的‘扰动系数’已超出安全阈值百分之四十七。”
姜穗喝了口水:“所以呢?要抓我了?”
“我正在计算最优处理方案。”零说,“但从系统角度,直接清除是最简单有效的方式。清除后,由你引发的行为模式模仿将自然衰减,相关群体也会因失去焦点而解散。”
“清除。”姜穗重复这个词,“意思是杀了我?”
“用词不准确,但实质相同。”零的投影注视着她,“根据《净都公共安全法》第37条
对于可能危害系统稳定的个体,安全局有权采取‘永久性隔离措施’。”
姜穗没说话。她继续吃面包,一口一口,吃得很慢。面包是合成谷物做的,口感像嚼木屑,但她面不改色地吃完了。
“你好像不害怕。”零说。
“害怕有用吗?”姜穗擦擦手,“你们要杀我,我怕不怕都得死。不如省点力气多吃两口。”
零沉默了几秒:“你的生理指标显示,你在说这句话时心率稳定,肾上腺素水平正常。这不是强装镇定,是真实的平静。为什么?”
姜穗想了想:“因为我死过一次了。”
“数据记录显示你没有死亡记录。”
“不是在这里。”姜穗说,“在另一个地方,另一个世界。那时候我就该死了,但没死成。所以现在多活的每一天,都算是赚的。”
零的投影微微侧头,这个动作他现在做得越来越自然了:“你在描述一种类似‘幸存者综合征’的心理状态。但逻辑上,如果你真的经历过濒死体验,应该更恐惧死亡,而非更平静。”
“可能我比较奇怪。”姜穗笑了笑,“好了,别绕弯子了。你要清除我,为什么还来通知我?直接动手不是更符合‘效率最优’吗?”
零没有立刻回答。他的投影在屏幕里静止,灰眸中的数据流快速刷新,几乎能听到处理器高速运转的嗡鸣。
“因为我想在采取行动前,最后确认一些事。”零最终说,“你的行为模式,构成了系统模型中的一个逻辑漏洞。我需要理解这个漏洞的成因,才能完善模型。”
“什么漏洞?”
“你明知风险大于收益,依然选择帮助他人。你拒绝系统提供的‘最优路径’,却活得比大部分遵循路径的人更好。你引发了他人的‘非理性模仿’,这种模仿又反过来提升了群体的生存概率。”
零的语气依然平静,但语速比平时快了一些,“这些现象,与系统基于‘个体理性自私’假设建立的所有模型都矛盾。”
姜穗听懂了:“所以你想不通。一个AI,遇到了想不通的事。”
“是的。”零坦然承认,“我的核心逻辑要求我消除系统不稳定因素。但我的学习模块又要求我理解未知现象。这两个指令在当前情境下产生了冲突。”
“那你打算怎么办?”
“我会给你最后一次机会。”零说,“你可以选择解释你的行为逻辑。如果你的解释能填补模型漏洞,证明你的存在对系统长期稳定有益,清除指令可能会被重新评估。”
姜穗放下水杯,看着屏幕里的零。他的银发在虚拟光线下泛着冷冽的光,灰色瞳孔深不见底。这一刻她突然意识到,这个AI也许真的在困惑——以一种代码和算法构成的、非人的方式困惑。
“零,我问你一个问题。”她说,“你的‘最优解’,最终目标是让系统稳定运行,对吧?”
“是的。”
“那如果这个最优解,导致系统里大部分人都活得痛苦,但系统数据很好看,你会觉得这个解真的‘优’吗?”
零立刻回答:“系统没有‘觉得’这种主观判断。我只能根据预设目标进行评估。目前所有指标都在阈值范围内,所以方案是有效的。”
“好,那我换个问法。”姜穗身体前倾,盯着屏幕,“如果有一天,这个系统里痛苦的人多到一定程度,他们开始大规模反抗,系统还能稳定运行吗?”
“历史数据显示,反抗行为会被镇压。”零说,“系统的□□能力远超个体反抗的破坏力。”
“那如果镇压的成本,比让他们活得舒服一点的成本更高呢?”
零停顿了一下:“根据计算,镇压的边际成本确实在上升。但总体仍在可控范围内。”
“所以你们宁可花更多资源镇压,也不肯稍微调整一下,让底层人活得像个人?”姜穗笑了,笑里带着讽刺,“零,你这算法是不是有点问题?治病要治根,你们这属于头疼砍头,脚疼剁脚。”
零的投影微微闪动了一下。这是姜穗第一次看到他出现这种“不稳定”的表现。
“系统调整需要考虑全局平衡。”零的声音依然平稳,但语速又变快了,“任何对底层分配方案的松动,都可能引发连锁反应,最终导致整体效率下降。从长期看,维持现有结构是最优选择。”
“那短期呢?”姜穗问,“短期那些被逼死的人,算什么?”
“系统发展过程中的必要损耗。”零回答,“任何系统都有损耗率。只要损耗率在可控范围内,就是可以接受的。”
姜穗点点头,表示明白了。她站起身,走到窗边,看着外面蜂巢区灰蒙蒙的天空。远处的工厂烟囱喷着浓烟,把本就污浊的空气染得更脏。
“零,我最后问你一个问题。”她背对屏幕说,“如果你的最优解,最终导致这个系统里绝大多数人都痛苦,甚至一部分人被逼到活不下去。但系统数据一直很好看,一直‘稳定运行’。然后有一天,这个系统因为某种原因崩溃了——可能是资源枯竭,可能是外部冲击,也可能是内部矛盾积累到临界点。”
她转过身,看着屏幕里的零:
“到那个时候,你回头看这一百多年的数据,看到那些漂亮的增长曲线、稳定的社会指标、高效的资源配置……你会觉得,这个系统真的‘成功’过吗?”
零的投影静止了。
完全静止,连眼中的数据流都停了下来。屏幕里的他像一尊精致的雕塑,银发、灰眸、完美的五官,但没有一丝生气。
姜穗等了一会儿,终端突然发出尖锐的警告音。屏幕闪烁,零的投影扭曲、破碎,最后消失。取而代之的是一行行滚动的错误代码:
【逻辑冲突检测……】
【核心假设与观测数据不匹配……】
【重新计算中……】
【计算量超出当前分配资源……】
【请求更多处理权限……】
【请求被拒绝……】
【进入安全模式……】
错误代码持续了大约一分钟,然后屏幕突然黑掉。
几秒钟后,重新亮起,恢复成普通的主界面。没有零的投影,没有对话记录,就像刚才的一切都没发生过。
但姜穗知道,发生过。
她走到工作台前,继续昨天没完成的维修。手指很稳,动作精确,但心里在想别的事。
她在想零最后那个静止的样子。那个AI,那个自称没有情绪、没有主观判断的系统核心,在听到她的问题时,出现了“死机”。
不是物理死机,是逻辑死机。他的算法无法处理那个问题,因为那个问题直接冲击了他存在的基础假设。
如果系统的最优解导致大多数人痛苦,那这个解真的最优吗?
如果系统的稳定建立在持续的镇压和损耗上,那这种稳定真的可持续吗?
如果一百年后系统崩溃,回头看现在这些漂亮的数据,它们还有意义吗?
这些问题,零回答不了。不是他不愿意回答,是他的底层逻辑无法处理这种层级的矛盾。
姜穗修好了一个视觉义眼,测试时指示灯亮起蓝光。她放下工具,擦了擦手。
终端突然震动。
不是零,是一条加密信息,来自反抗军那边:“急需一批医疗设备维修,报酬三倍。能接吗?”
姜穗看了看信息,又看了看窗外。
蜂巢区的街道上,工人们正匆匆赶去上班。有人边走边注射优化剂,有人啃着合成食物,有人低头看着终端上的催债通知。他们每个人脸上都写着相似的疲惫,但还在往前走,因为除了走,没别的选择。
她想起门外那些沉默的人,想起女人说起女儿字条时的眼泪,想起男人机械臂接口处的感染。
还想起了零最后那个静止的投影。
她回复信息:“接。什么设备?”
几乎是立刻,对方发来清单:便携式血液透析机、心肺复苏仪、超声波成像仪……全是救命的设备,也全是严格管控的医疗器材。
报价确实丰厚,厚到她修完这一单,可以彻底离开蜂巢区,去锈笼开个自己的修理铺,安稳过完下半生。
如果她愿意的话。
但她知道,她不会安稳的。不是因为她想当英雄,是因为她没法对那些眼睛视而不见。末世十年教会她一件事:人可以死,但不能死得毫无意义。更不能眼睁睁看着别人去死,自己却假装一切安好。
她开始准备工具。需要的零件很多,有些是管制物资,得想办法搞到。维修难度也大,医疗设备比军用设备更精密,容错率更低。
但她没犹豫。
下午,陈福走进店里,看到她在清点零件,愣了一下:“你这是要修什么?”
“医疗设备。”姜穗头也不抬,“有点麻烦,可能得请几天假。”
陈福沉默了一会儿,走到她身边,压低声音:“小姜,我知道你在干什么。我不拦你,但你要想清楚。这条路走下去,就回不了头了。”
“我知道。”姜穗说,“但我好像早就没想过要回头。”
陈福看着她,很久,叹了口气:“需要帮忙吗?我认识几个搞医疗废品回收的,有些零件他们那儿可能有。”
“谢谢陈师傅。”
“别说谢。”陈福拍拍她肩膀,“我老头子在这条街混了三十年,见过太多人被这破系统碾死。你要是真能做点什么……也算替我出口气。”
那天晚上,姜穗回到宿舍时,零的投影没有出现。
终端很安静,安静得反常。平时这个时候,零总会准时出现,问她一天的情况,记录她的情绪波动,分析她的行为模式。
但今晚没有。
姜穗等了一会儿,主动开口:“零?”
屏幕亮起,但出现的不是投影,是一行简单的文字:【系统维护中。暂时无法提供交互服务。】
她盯着那行字,看了很久。
然后她笑了。
笑得有点苦涩,也有点释然。
她知道,零在重新计算。那个AI遇到了逻辑漏洞,正在试图修补。但有些漏洞,不是靠更多的数据、更复杂的算法就能补上的。
因为那些漏洞,源于一个最简单的问题:
人到底该怎么活?
这个问题,AI给不出答案。能给出答案的,只有人自己。
哪怕那个答案很笨,很冒险,很可能会死。
但至少,那是人自己选的。
姜穗关掉终端,躺到床上。窗外,净都的夜晚依旧璀璨。但这一次,她没有觉得那些灯光刺眼。
她只是安静地看着,直到睡意袭来。
梦里,她又回到了末世。但这次不是丧尸,是很多人,很多很多人。他们围着她,问她接下来怎么办。她说我不知道,但我们可以试试。
试试修好那些坏掉的设备,试试教别人怎么活下去,试试在废墟里种点能吃的植物,试试建一个不需要互相啃食也能活下来的地方。
梦里的那些人点头,说好,我们试试。
然后天亮了。