《星核纪元》路栖影

22、注意力不美 少年班的第

　　少年班的第一学期，课程排得比高中还满。

　　上午数学分析，下午高等代数，晚上是研讨班。何美琳在第一周就领教了少年班的强度，晚上十点瘫在自习室里："我后悔了。我想回实验小学。"

　　"你那时候在实验小学可没说过这种话。"星瑶头也不抬，正在写作业，"你说的是'我要去江城大学'。"

　　"那是八岁的我说的，不算。"

　　"说话算话，是你自己教我的。"

　　何美琳趴在桌上，哀嚎了一声，认命地爬起来继续写。

　　周野的课程表跟他们不一样——计算机方向单独排课。但他几乎每晚都抱着笔记本出现在数学系自习室，理由是"数学课听不懂，来蹭你们的聪明气"。

　　"你那是来蹭网的。"星瑶说。

　　"蹭网怎么了？"周野理直气壮，"少年班的网速全校最快，我编译一次大模型只要三分钟。在宿舍要等十分钟。十分钟，够我写完一个bug了。"

　　"你那是写完一个bug还是写下一个bug？"

　　"……你说话能不能客气点？"

　　"我说话一向很客气。你没听过我跟教授说话，那才叫客气。"

　　吵归吵，日子过得飞快。

　　十一月，深度学习课讲到注意力机制。

　　讲台上的年轻讲师姓许，三十出头，PPT做得极漂亮。他讲到Self-Attention的公式时，特意停下来，指了指屏幕上那一大串符号："这是2017年以来，整个深度学习领域最重要的公式之一。它让模型学会'自己看自己'，找到输入里最相关的部分。"

　　"大家注意这个缩放因子，还有这个softmax归一化。细节很关键，考试会考。"

　　星瑶坐在第一排，盯着那个公式看了很久。

　　下课后，她没走。等许老师收拾完东西，她站起来，走到讲台边："许老师，我有一个问题。"

　　"你说。"

　　"这个注意力公式，它是在'选择'信息，对吗？选出重要的，丢掉不重要的。"

　　"对，本质上是这样。"

　　"那……"星瑶顿了顿，"如果它不是在'选择'，而是在'压缩'呢？"

　　许老师愣了一下："压缩？"

　　"就是，不丢掉任何信息，而是把所有信息，换到另一个空间里，让它们互相指认。"星瑶越说越快，"我读过一本书，书里说，结构上的稀疏不等于语义上的缺失。我觉得注意力也许……"

　　"你读的什么书？"许老师问。

　　"《稀疏结构与连接主义》，陈砚秋著，1997年。"

　　许老师沉默了几秒，像是想了一会儿才想起这个名字："陈砚秋……九十年代那个'稀疏连接'的？那套东西，当年没跑通。理论是漂亮的，但没有算力支撑。现在也没人提了。"

　　"那如果现在有算力了呢？"星瑶追问，"现在的大模型，参数比九几年大了几万倍。如果注意力可以在更稀疏的结构上做压缩……"

　　"那是大工程。"许老师斟酌着措辞，"而且，你要知道，现在的框架是整个工业界花了十年磨合出来的。改一个注意力公式，牵一发而动全身。你一个新想法，想撼动它——"他笑了笑，"很难。"

　　星瑶没说话。

　　她听懂了许老师没说完的话：很难。你太小了。你不配。

　　她没有反驳。她只是点点头："谢谢老师，我回去想想。"

　　那天晚上，星瑶在宿舍里，把注意力公式抄了一遍，又抄了一遍。

　　她把公式里那个softmax拆开，盯着"归一化"三个字看了很久。

　　"选择是丢，压缩是留。"她自言自语，"可现在的注意力，把权重归一化以后，重要的信息被放大了，不重要的信息其实是被'压没'了——这不是压缩，这还是选择。只是选择得高明一点。"

　　她拿起笔，在纸上画了一个图。

　　她想：如果我把这些信息，换到另一个空间里——比如频域，或者某种更稀疏的表示——让它们不靠"谁大谁小"来竞争，而是靠"彼此的位置"来互相指认……

　　就像外婆说的"气"。

　　气在经脉里流动，不是一条路走到黑，而是许多路互相呼应。你要看一个人病没病，不是只看一个穴位，而是看整个脉象怎么"压"在一起。

　　"如果注意力是脉象……"星瑶在纸上写下这句话，自己都觉得荒唐，但她没有划掉。

　　她给周野发了条消息："你能不能帮我写个程序？"

　　"什么程序？"

　　"一个特别简单的模拟。我想看看，把注意力公式换成另一种写法，输出会变成什么样。"

　　"什么写法？"

　　星瑶打了半天字，说不清楚，干脆拍了张草稿纸的照片发过去："就这个。你帮我跑一下试试。"

　　五分钟后，周野回消息："你这里面有个符号我看不懂。明天机房门见，我当面问你。"

　　"你就不怕我是在浪费你的时间？"

　　"怕。"周野说，"但我更怕错过。你知道吗，六年前集训营那道题，你要是没问我'要不要一起试试'，我到现在可能还在说'数学好有什么用'。所以——说吧，要我干什么。"

　　星瑶盯着屏幕，忽然觉得鼻子有点酸。

　　她回了一个字："好。"

　　十二月中旬，期末考结束。少年班放假前一周，郑教授把星瑶叫到办公室。

　　"听说你在折腾注意力公式？"郑教授给她倒了杯茶。

　　"嗯。"星瑶有点惊讶，"您怎么知道？"

　　"许老师跟我说的。"郑教授说，"他说你有个想法，他没敢接，怕打击你，让我来看看。"

　　"……"星瑶低头喝茶，没说话。

　　"我问你一个问题。"郑教授说，"你读过多少篇跟注意力机制有关的论文？"

　　星瑶想了想："那本书算吗？还有教材里的。"

　　"不算。"郑教授说，"文献，是别人走过的路。你连别人走过的路都没看全，凭什么觉得自己想到的是新路？"

　　星瑶被问住了。

　　"我告诉你一个做学问的道理。"郑教授摘下老花镜，"新想法，九成九不是'想'出来的，是'读'出来的。你读书读到别人的路断了，你才知道哪里该有桥。你连断处都没看到，建什么桥？"

　　"那……我该读什么？"

　　"从2017年那篇《Attention Is All You Need》开始，把后面十年里所有跟注意力相关的代表作，读一遍。"郑教授从抽屉里拿出一张纸，"这是书单，够你读到开春。读完了，你要是还想改注意力公式，再来找我。"

　　星瑶接过书单，看了一眼，密密麻麻三页纸。

　　"谢谢教授。"她说。

　　"谢什么。"郑教授摆摆手，"记住，你要是真想动这个公式，你的对手不是许老师，不是考试，是全世界用了十年打磨出来的这套东西。你要撼动它，得先比任何人都懂它。"

　　寒假，星瑶没有出去玩。

　　柳河街15号的家里，她的书桌上堆满了论文。她一篇一篇地读，从2017年的Transformer，到后面十年的稀疏注意力、线性注意力、混合注意力……

　　她读得越多，越发现一件事：所有"改进"注意力机制的尝试，都是在"选择"这个框架里打转——怎么选得更快、选得更省、选得更准。没有人问过：注意力到底应不应该是一种"选择"？

　　只有陈砚秋，1997年，在一本没人读的旧书里，写过一句近似的话。

　　"如果注意力是压缩……"星瑶合上第47篇论文，看着窗外江城的冬夜，"那她二十年前就问过的问题，我来接着答。"

　　她翻开笔记本，在扉页上郑重地写下一个标题：

　　《注意力即压缩：一种基于稀疏结构的注意力重参数化》

　　写完，她盯着这行字，心里那个十四岁半的女孩，第一次有了一种庄重感。

　　她知道，从今晚起，她不再是"做题的林星瑶"了。

　　她是"要答题的林星瑶"。