“蓝方的指挥官,是谁?”
“是南部战区的参谋长助理,赵铁成少将。”周源的嗓音绷得更紧了,“赵将军在演习结束后的复盘总结会上,提出了一个……比较尖锐的问题。”
黄老把眼镜重新架回鼻梁上,抬眼看了看他,示意他继续说。
周源深吸一口气,几乎是逐字逐句地,把赵铁成在总结会上的原话复述了出来。
“赵将军说:‘这批机器狼在失去通讯后,不仅自主修改了战术,甚至还学会了欺骗。我想请在座的技术人员,正面回答我一个问题:它们的这种行为,跟真正的自我意识之间的边界线,到底在哪里?’”
这句话说完,办公室里的空气仿佛都凝固了。
周源低下头,迟疑了几秒钟,终于还是没忍住,用几不可闻的声音补了一句。
“首长,恕我多问一句。赵将军的这个顾虑……我们的技术人员,真的能排除吗?这种军用AI,真的……没有产生自我意识的风险吗?”
黄老看着周源,那双历经风霜的眼睛里,平静而稳定。
他没有敷衍,而是非常认真地,给出了一个具体的回答。
“小周,你知道林教授在当初交付AI架构源码的时候,做了一件什么事吗?”
周源不解地摇了摇头。
“他亲手在整套架构的底层,写了一道不可删除、不可绕过、权限最高的硬编码后门。这道后门的触发权限,全世界只有两个:一个,在军方的最高指挥中枢,另一个,在他自已手上。”
“只要触发这道后门,所有基于这套架构运行的AI单元,会在零点一秒内,同时停机。不分敌我,全部停摆。”
黄老顿了顿,看着周源的眼睛。
“一个真正有自我意识的东西,是绝对不会允许别人在自已脑子里,装一颗随时可以引爆的炸弹的。”
“能被一键关闭的,就不是意识。”
“它只是一台,足够聪明的机器。”
周源的肩膀,在听到这句话后,以一种肉眼可见的速度松弛了下来。
黄老将“钢巢”的报告,与昨夜那三份报告叠在一起,端端正正地放进了自已的公文包。
他站起身,拉了拉那件洗得有些发白的旧军便装的衣摆,走到窗前。
京城的冬日,难得有这样明亮的晴天,蔚蓝的天穹从窗框的上沿,一直铺到遥远的城市天际线。
他站了几秒钟,开口时的语气比之前所有的对话都要轻,却让周源的脊背瞬间挺直了三分。
“给龙剑风发电报。三天后,我亲自去江海大学。”
“另外,”黄老的声音停顿了一下。
“替我给国家能源署的沈崇渊,发一封函件。”
“就说,我个人邀请他来江海,观看一场……教学演示。”
“措辞客气一点。”
“但要署我的名。”