这项由CogAI Lab、FusionBrain Lab、莫斯科国立大学、NUST MISIS、HSE大学、Applied AI Institute、ISP RAS、MIRAI等多家机构联合完成的研究，于2026年6月17日以预印本形式发布，论文编号为arXiv:2606.19297v1。有兴趣深入了解的读者可通过该编号在arXiv平台查阅完整论文。
假设你家里有一个聪明的机器人助手。它能准确地把咖啡杯从桌子上端给你，能把散落的物品归位，看起来样样都行。但你有没有想过，当你让它"把那杯脏咖啡拿走"时，它真的知道哪杯是脏的、哪杯是干净的吗？当你说"帮我递给那个看起来难过的朋友一包纸巾"时，它能分辨谁更难过吗？这不是科幻小说里的问题，而是今天人工智能研究者们正在认真追问的现实难题。这篇研究的核心，就是要揭开一个隐藏在机器人聪明外表之下的知识黑洞。
一、聪明的机器人是怎么"炼成"的
要理解这个问题，先得明白今天的机器人助手是怎么造出来的。现代智能机器人的大脑，通常分两步打造。第一步，工程师先训练一个强大的"视觉语言模型"——可以把它理解成一个博览群书、见多识广的学生，它看过海量的图片和文字，学会了识别颜色、辨认人脸、理解情绪、认识名人、数清楚有几个苹果……总之，它积累了大量关于这个世界的常识。第二步，工程师把这个"博学学生"进一步培训成一个"机器人操作专家"，让它不只是会描述世界，还能动手操作——伸手、抓握、放置、移动。这种最终产品，研究者们给它起了个名字，叫做"视觉语言行动模型"，英文缩写是VLA。
然而，问题就藏在这第二步的培训里。就像一个文科生去学了一年职业技能，可能会逐渐生疏了当年的历史知识和文学素养一样，VLA在被密集训练成"机器人手臂专家"的过程中，很可能把原本学到的那些丰富的世界常识给"忘掉"了一部分。而以前的研究基本上只关心机器人会不会成功完成任务，从来没有系统地追问过：它还记得多少"基本常识"？
这支来自多家机构的研究团队决定把这个问题搞清楚。他们设计了一套全新的测试框架，给它起名叫"Act2Answer"，意思是"用行动来回答"。
二、考试不用嘴说，用手来做
过去，如果你想测试一个机器人知不知道某个知识点，最直接的方法是问它问题，让它用文字回答。比如问"苹果是什么颜色的？"，看它能不能打出"红色"或"绿色"。但这样测试有个漏洞：机器人的"嘴巴"（负责输出文字的部分）和"手臂"（负责做动作的部分）其实是两个不同的系统。就算它的"嘴巴"还记得苹果是红色的，它的"手臂"不一定能在实际操作中用到这个知识。
Act2Answer的设计思路完全不同。它把每一道知识题，都变成了一个简短的桌面场景游戏。具体来说，机器人面前的桌子上会摆放两张图片，代表两个可能的答案，机器人需要抓起一个小方块，把它放到它认为正确的那张图片上。比如，要测试机器人能不能分辨情绪，就在桌上放一张微笑的人脸照片和一张悲伤的人脸照片，然后告诉机器人"把方块放到更难过的那个人的照片上"。机器人选对了，就说明它真的用行动表达出了这个知识；选错了或者乱放，就说明它的知识在行动层面已经失效了。
这套设计的妙处在于，它把难度控制得恰到好处。机器人不需要完成什么复杂的多步骤任务，只需要做一个简单的"放置"动作，这样就能把"它懂不懂这个知识"和"它的机械手臂灵不灵"这两件事尽可能分开，让测试结果更能说明问题。
三、测什么？十二类知识的大排查
研究团队把机器人需要具备的常识，划分成了七个大类。物理世界知识包括了解物体的属性、状态，比如草地是干的还是湿的、一件外套是长的还是短的。时间类知识考验机器人能不能从图片上认出时间，比如钟面显示的是几点几分。数量类知识涉及数数和大小比较，比如哪堆番茄更多。生物类知识关乎分辨活物与死物、动物与植物。社交类知识是识别人类情绪，比如哪个人笑得更开心。规范类知识是认识各种公共标志，比如禁止吸烟的标志或者道路指示牌。文化类知识则是认识知名人士，比如能不能认出照片里的历史名人。
这七大类下面细分出了十二个具体的测试方向，分别是属性、状态、颜色、形状、对称性、情绪、名人、生物世界、数数、时间、交通标志、公共信息。研究团队从五个已经在学术界广泛使用的视觉语言基准数据集中，精心挑选并改造了题目，最终收集了1720道独特的二选一题目，加上左右镜像对换的版本，共形成了3440个测试场景。
之所以把每道题都做成左右两个版本，是一个非常聪明的防作弊设计。有些机器人可能天生有"左偏"或"右偏"的倾向，不管什么情况都喜欢把方块放左边或放右边。如果只测一个方向，那些有偏向的机器人可能蒙对一半，显得比实际上更聪明。把左右两个版本的得分平均起来，就能更公平地反映机器人真实的知识水平。
四、七个明星机器人接受大考
研究团队选取了七个目前最受关注的VLA模型作为考生，它们分别是π0、OpenVLA、Magma、Xiaomi-Robotics-R0、InternVLA-M1、SmolVLA和SpatialVLA。与此同时，研究团队还找来了九个纯粹的"视觉语言模型"作为参照组，包括Qwen2.5-VL、Qwen3、Ovis、PaliGemma和InternVL等，这些模型没有经过机器人动作训练，但见多识广，用来衡量"如果知识没有被破坏，理论上应该表现多好"。
所有模型都在相同的测试场景下接受评判。判分标准也很直观：机器人把方块放在正确图片的容忍范围内就算成功，放到错误图片或者乱扔到桌上其他地方就算失败。最终计算一个成功率，并用统计方法判断这个成功率是真的反映了知识，还是只是随机乱猜碰对了。
五、颜色和形状还行，但一碰复杂问题就原形毕露
测试结果画出了一幅清晰而令人深思的图景。
在颜色和形状这两类最基础的感知测试上，几乎所有的VLA模型都表现不错。颜色识别方面，OpenVLA、SpatialVLA、Magma等模型都能达到八九十个百分点的成功率。形状识别方面，Magma和SpatialVLA也表现良好，达到了八十多个百分点。这说明机器人的训练过程至少没有把最基础的视觉辨别能力破坏掉。
然而，一旦题目涉及到更复杂的知识，局面就急转直下了。情绪识别这一项，除了Magma达到了72%，其余大多数VLA模型都徘徊在50%左右，也就是说它们的表现和随机猜测没有本质区别。属性判断（比如哪件外套更长、哪只鸟的羽毛更黄）和状态判断（比如哪片草地更干燥、哪个苹果更多切片）同样如此，大部分机器人都只能"靠运气"。
对称性识别是所有模型的共同滑铁卢——没有任何一个VLA模型在这个类别上达到了统计意义上高于随机猜测的水平。数数也是如此，面对"哪边有三个番茄"这样的问题，所有机器人的成功率都在50%上下浮动，基本等同于抛硬币决定。
名人认知和公共信息（各种图标、标志的含义）方面，除了Magma之外，其他VLA模型几乎全军覆没，成功率都在50%到55%之间，属于没有可信知识的状态。
在这场大考中，Magma表现最为突出，它在情绪（72%）、公共信息（88%）、交通标志（80%）、名人（94%）、生物世界（77%）等多个复杂类别上都明显超出了随机猜测的水平。这和它的训练方式密切相关，稍后会详细解释。
六、"会说"和"会做"之间差了多少
研究团队还设计了一个对比实验，用来量化VLA模型和它们的"前身"——纯视觉语言模型——之间到底差了多少。
方法是这样的：给每个VLA模型对应的原始视觉语言模型看同样的测试场景的第一帧画面，然后直接用文字问它：你看到了哪个答案选项？它在左边还是右边？只有模型既认出了正确的答案，又说对了它的位置，才算答对。
这个测试揭示了一条触目惊心的鸿沟。那些最强的纯视觉语言模型，比如InternVL3.5-38B在情绪类别上达到了99%，名人类别100%，颜色100%，时间100%。而经过机器人动作训练之后，它们对应的VLA版本，在这些相同类别上通常只剩下50%到60%。也就是说，从"会说话的百科全书"变成"会动手的机器人"这个过程中，有大约20到40个百分点的知识能力凭空消失了。
PaliGemma这个比较小的视觉语言模型则提供了一个有趣的参照：它在几乎所有类别上的得分都在47%到53%之间，接近于随机猜测，说明这个模型本身的视觉语言能力就相对有限，而它对应的VLA版本OpenVLA自然也就无从保留更多知识。
七、知识去哪儿了？其实它还藏在模型深处
这里出现了一个耐人寻味的问题：那些被"遗忘"的知识，真的被完全抹掉了吗？
研究团队用了一种叫做"逐层意图探针"的技术来追踪这个问题。原理并不复杂：VLA模型的内部就像一栋多层楼的大楼，信息在每一层之间流动和变换。研究者在每一层楼的"出口"都安装了一个探测器——用数学的话说，是训练了一个线性分类器——来检测这一层的信号里还保留了多少关于正确答案的信息。
检测结果令人惊讶。在VLA模型的中间层（也就是负责理解和语言的那部分），探针往往能探测到明显高于随机的答案相关信号，说明模型的"理解系统"其实还保留着这个知识。但是，当信号传递到最后的"行动层"（负责控制机械手臂的那部分）时，这个信号就大幅衰减，往往接近随机水平。
用一个生动的比喻来说：这就好像一个人大脑里其实知道哪杯是脏咖啡，但当他伸手去拿的时候，这个知识信号在传到手的过程中丢失了，最终手臂做出的动作和没有这个知识时没什么两样。知识还在，只是没被正确地"翻译"成行动。
研究团队还用一个叫做"机会归一化保留率"的指标来量化这种衰减程度。在这个指标上，Magma得分最高（0.87），说明它从理解层到行动层的知识传递最完整；π0得分最低（0.36），说明它的行动层几乎完全无法利用理解层保留的那些知识。
八、为什么Magma一枝独秀？训练方式的秘密
细心的读者可能注意到，Magma在几乎所有复杂知识类别上都明显优于其他VLA模型。这背后的原因，研究团队给出了一个清晰的解释：训练方式的不同。
研究团队把参与测试的VLA模型分成了两组。第一组是在机器人动作训练的同时，还保持了视觉语言理解训练的模型，包括Magma、Xiaomi-Robotics-R0和InternVLA-M1。这就好比一个学生在学习职业技能的同时，每周仍然坚持阅读和通识课程，以防止知识退化。第二组是主要或几乎完全专注于机器人动作训练的模型，包括OpenVLA、SpatialVLA和π0，就像完全放弃了其他课程、只练一门手艺的学生。
总体趋势十分明显：第一组在几乎所有复杂知识类别上的表现，都明显优于第二组，尤其是在涉及情绪、时间、公共信息、名人和生物世界这类需要丰富语义理解的题目上。这有力地说明，在机器人训练过程中保留视觉语言联合监督，对于维持知识敏感型行动能力至关重要。
九、额外"补课"有没有用？一个令人警惕的发现
研究团队还想知道，如果给一个已经训练好的VLA模型做进一步的"下游微调"（可以理解为针对某个特定任务的专项强化训练），它的知识保留情况会怎样变化？
以OpenVLA为实验对象，研究团队分别用两种方法进行了补充训练：一种是"监督式微调"（SFT），相当于给它补充更多示范性的操作数据让它学；另一种是"强化学习微调"（RL），相当于让它自己反复练习并根据结果好坏来调整。两种微调都在一个包含视觉变化和语义变化的小型抓取放置数据集上进行。
结果并不乐观。两种微调方式都没有带来知识保留方面的显著改善，监督式微调甚至在颜色和状态这两个类别上出现了明显的性能下滑。这意味着，常规的"专项补课"不但不能让机器人重新找回失去的常识，反而可能进一步强化了它对特定操作模式的依赖，挤压掉了剩余的通用知识能力。这对于那些希望通过简单微调来提升机器人全能性的工程师来说，是一个值得认真对待的警示。
十、有没有解药？初步的实验探索
面对这个问题，研究团队也没有只是提出问题就算完，他们还进行了两种初步的缓解实验，尽管他们明确说明这些只是探索性尝试，而非完整的解决方案。
第一种方法是"语言改写增强"：在对π0进行补充训练时，不断变换指令的表达方式，比如用不同的动词、不同的句式、不同的描述方式来表达同一个操作意图，以期让模型更好地保留对语言多样性的理解。第二种方法是"潜在知识蒸馏"：在训练π0时额外加入一个约束，要求VLA模型中间层的表示不要偏离一个冻结的视觉基础模型的嵌入表示太远，相当于在训练时用一个"知识锚"拉住它，防止它漂得太远。
这两种方法都产生了一定的积极效果，但效果相当有限。语言改写增强对颜色和形状有些帮助，但对情绪和属性这类更抽象的知识几乎没有改善。知识蒸馏在形状上有提升，但情绪和属性依然接近随机猜测的水平。这一模式与整篇研究的核心发现高度一致：浅层感知知识相对容易保留或恢复，但更深层的语义和社会性知识，需要远比这两种方法更根本的机制才能维持。
研究团队指出，真正有前景的方向可能包括：在预训练阶段就将动作学习和知识学习紧密结合的多任务架构、专门的知识蒸馏和正则化技术、知识模块与控制模块的架构性解耦，以及参数高效微调和选择性回放等轻量级方法。这些方向都还处于开放探索阶段，是这个领域未来需要认真投入的重要课题。
说到底，这项研究用一种简洁却有说服力的方式，向整个机器人AI领域提出了一个被长期忽视的问题：当我们把一个"博学的大脑"改造成"灵巧的手臂"时，那些原本的知识去哪儿了？
测试结果告诉我们，当前绝大多数VLA模型在颜色和形状这类最基础的感知判断上还算可靠，但一旦需要用到情绪理解、数字计数、对称识别、名人认知、公共标志理解这类更丰富的常识时，它们的表现便退化到了和随机猜测相差无几的水平。更诡异的是，这些知识并没有被彻底清除，它们仍然悄悄地藏在模型的中间层里，只是在传递到控制手臂的最后一步时，像信号在传输线末端衰减殆尽一样，消失在了行动之前。
这对于普通人来说意味着什么？当你在商场或医院里遇到一个号称"智能"的服务机器人，它可能真的能准确地把东西递给你，但它很可能无法判断你此刻是否心情不好，无法认出你手中拿的是处方药还是普通食品，也无法理解某个交通标志是什么意思。这种"低智"并非机器人的手臂出了问题，而是它的"常识翻译系统"在行动层面已经失效。
归根结底，只靠把强大的视觉语言模型"改装"成机器人控制系统，是不够的。未来真正有用的智能机器人，需要在设计之初就把知识保留和行动能力放在同等重要的位置来考量。如果你对未来的机器人助手感兴趣，或者你的工作涉及到AI系统的设计和评估，这篇发表于2026年6月、编号为arXiv:2606.19297v1的研究，是一个值得认真阅读的起点。
Q&A
Q1：Act2Answer测试框架和普通的VLM文字问答测试有什么本质区别？
A：Act2Answer要求机器人用实际动作来"回答"问题——把一个方块放到它认为正确的图片上，而不是打出文字。这样测的是机器人在行动层面能不能用到知识，而不只是它的语言模块还记不记得答案。两者测的其实是不同的东西，而研究发现这两者之间存在巨大的鸿沟。
Q2：VLA模型为什么在从视觉语言模型微调成机器人控制模型之后会丢失常识？
A：目前还没有完全确定的机制解释，但研究显示知识并未被彻底清除，而是"卡"在了中间层，无法传递到控制行动的末端层。可能的原因是机器人动作训练会强烈地改写模型后几层的权重，使得最终输出变得高度专注于动作预测，而丢失了对语义内容的敏感性。
Q3：Magma在Act2Answer测试中为什么比其他VLA模型表现好那么多？
A：Magma在训练时同时保留了视觉语言理解的监督信号，而不是完全切换到机器人动作数据。这相当于它在"练手"的同时没有放弃"读书"，因此在需要语义常识的测试类别上，知识保留得更完整，成功率也更高。
正规配资炒股提示：文章来自网络，不代表本站观点。
