当你第一次学习骑自行车时，摔倒并不意味着这次练习毫无价值。相反，每一次失败都能告诉你哪里做得不对，下次应该如何调整。复旦大学、同济大学和上海创新研究院的研究团队最近发表了一项突破性研究，他们开发了一种名为"自参考策略优化"（SRPO）的新技术，让AI机器人也能像人类一样从失败中学习。这项研究由费森宇、王思音等研究者领导，发表于2025年11月的arXiv预印本平台，论文编号为2511.15605v1。
在传统的机器人训练中，就像一个严厉的老师只给学生打分数而不解释错在哪里一样，AI系统往往只能从成功的示例中学习，而那些失败的尝试就被简单地丢弃了。这就好比你在学做菜时，只有完美的菜谱可以参考，而所有做砸的经历都被当作垃圾扔掉。这种做法显然浪费了大量宝贵的学习机会。
SRPO技术的核心创新在于它能够让AI机器人像一个善于反思的学生一样，通过比较自己的失败尝试与成功经验，找出其中的差距并从中学习。研究团队巧妙地使用了一种"世界模型"的潜在表示，就像给机器人配备了一副特殊的眼镜，让它能够更好地理解和比较不同的行为模式。
一、传统方法的困境：只看结果不看过程的学习方式
当前的视觉-语言-动作（VLA）模型在机器人操作方面表现出色，但它们面临着一个根本性问题：过度依赖专家演示。这就像一个学生只能通过观看老师的完美示范来学习，而无法从自己的错误中获得经验。这种学习方式不仅限制了AI的创新能力，还导致了"演示偏差"问题，使得机器人难以超越人类教师的水平。
为了解决这个问题，研究人员开始尝试用强化学习的方法来训练机器人。然而，现有的强化学习方法，比如组级策略优化（GRPO），又面临着另一个严重问题：奖励信号过于稀疏。这就像一个老师只在学期末告诉学生是否及格，而整个学期都不给任何反馈一样。在机器人学习中，这意味着只有当机器人完全完成任务时才能得到正面奖励，而所有失败的尝试都被一律标记为零分。
这种稀疏奖励的问题在机器人领域尤其严重，因为机器人的每次尝试都需要大量的计算资源和时间。当一个机器人花费几分钟时间试图完成一个任务却失败了，传统方法会简单地将这次尝试标记为失败并丢弃，完全忽视了其中可能包含的有价值信息。这就像丢弃了一本记录着所有错误做法的宝贵笔记。
一些研究尝试通过手工设计的过程奖励模型来提供更密集的反馈，但这种方法需要大量的专家知识和任务特定的工程设计，就像为每种不同的菜谱都要制定一套独特的评分标准一样繁琐且难以推广。更重要的是，这种方法仍然依赖于外部专家的指导，无法实现真正的自主学习。
二、SRPO的核心思路：用成功经验指导失败分析
SRPO技术的革命性之处在于它提出了"自参考学习"的概念。简单来说，就是让AI机器人用自己的成功经验作为标准，来评估和改进自己的失败尝试。这就像一个学生把自己做得好的作业拿来对比分析做得不好的作业，找出差距所在。
具体来说，SRPO的工作流程可以这样理解：每当机器人进行一批训练尝试时，研究团队会将这批尝试分为两类——成功的和失败的。然后，他们用一种特殊的"世界模型编码器"来分析这些尝试，这个编码器就像一个懂得机器人行为的专业分析师，能够理解和比较不同行为序列的相似性。
世界模型编码器的作用就像一个经验丰富的教练，它不是简单地看动作的表面形式，而是能够理解动作背后的意图和进展情况。比如，当机器人试图把一个苹果放入盘子时，即使最终失败了，这个编码器也能识别出机器人是否成功抓住了苹果，是否朝着正确的方向移动，以及距离完成任务还差多少步骤。
通过这种深层次的行为理解，SRPO能够为失败的尝试分配合理的"进度奖励"。这些奖励不是简单的0或1，而是根据失败尝试与成功经验的相似程度来确定的连续数值。这就像一个老师不仅看最终答案是否正确，还会根据解题思路和步骤的正确性给出部分分数。
三、潜在世界表示：机器人的"直觉理解"
SRPO技术的一个关键创新是使用潜在世界表示来衡量行为相似性。传统方法通常直接比较像素级别的图像，这就像只看照片的表面而不理解照片内容一样肤浅。而SRPO采用的方法更像是让机器人具备了"直觉理解"的能力。
这种潜在世界表示来自于预训练的世界模型，可以想象成是一个见多识广的"老师傅"，它看过大量的机器人操作视频，因此能够理解不同动作序列背后的物理规律和任务进展。当两个动作序列在这个潜在空间中距离较近时，说明它们在本质上是相似的，即使表面上看起来可能不同。
举个例子，假设有两个机器人都在尝试把杯子放到桌子上。一个机器人从左边抓起杯子，另一个从右边抓起，虽然它们的具体动作路径不同，但在潜在世界表示中，这两个序列会被识别为相似的，因为它们都体现了"抓取-移动-放置"这个核心的任务结构。
这种理解能力让SRPO能够准确识别失败尝试中的积极进展。即使机器人最终没能完成任务，只要它的行为在某些关键方面与成功经验相似，就能获得相应的奖励。这就像一个学生虽然没有得出正确答案，但因为使用了正确的解题方法而获得部分分数。
更重要的是，这种潜在表示具有很强的泛化能力，就像一个有丰富经验的导师能够在不同的情境中识别出相似的学习模式一样。无论是在不同的环境中，还是面对不同类型的任务，这种表示都能有效地工作，不需要针对每个新任务重新训练。
四、实验验证：从48.9%到99.2%的惊人飞跃
研究团队在LIBERO基准测试上验证了SRPO的效果，结果令人震撼。LIBERO是一个专门用于测试机器人学习能力的标准化平台，包含了四个不同类型的任务套件：空间推理、物体操作、目标导向和长期规划任务。
实验的设置就像一场公平的学习能力测试。研究团队首先用每个任务的单个演示对机器人进行基础训练，这就像给学生看一遍标准答案。在这个起点上，机器人的成功率只有48.9%，表现相当一般。然后，他们使用SRPO方法进行在线强化学习，让机器人在实际尝试中不断改进。
结果是惊人的：仅仅经过200个强化学习步骤，机器人的成功率就飙升到了99.2%，这相当于103%的相对提升。更令人印象深刻的是，这个过程完全不需要额外的专家演示或人工奖励设计，机器人完全是通过自我对比和反思来实现这种飞跃的。
在不同的任务类型上，SRPO都展现出了优异的表现。在空间推理任务中，成功率达到了98.8%，在物体操作任务中达到了100%，在目标导向任务中达到了99.4%，即使在最困难的长期规划任务中也达到了98.6%。这些数字不仅超越了所有对比的基线方法，还达到了接近完美的水平。
更进一步，研究团队还在LIBERO-Plus基准上测试了SRPO的泛化能力。这个测试平台引入了七种不同的扰动维度，包括摄像头角度变化、机器人初始位置变化、语言指令变化、光照条件变化、背景变化、传感器噪声和布局变化。这就像让学生在各种干扰条件下答题，测试真正的理解能力而不是死记硬背。
在这个更具挑战性的测试中，SRPO同样表现出色，实现了167%的性能提升。这证明了SRPO不仅能在标准条件下工作良好，还具有很强的适应性和鲁棒性。
五、与现有方法的对比：为什么SRPO更胜一筹
为了更好地理解SRPO的优势，研究团队将其与多种现有方法进行了详细对比。这些对比方法可以分为几个类别，每种都有其特定的优势和局限性。
传统的模仿学习方法，如OpenVLA、Pi0等，主要依赖专家演示进行学习。这些方法就像让学生反复观看老师的标准操作，虽然能够学到正确的做法，但缺乏创新和适应能力。在LIBERO测试中，这些方法的表现虽然不错，但普遍存在泛化能力不足的问题。
强化学习方法，如SimpleVLA-RL、RIPT-VLA和RLinf等，试图通过环境交互来改进策略。这些方法就像让学生通过大量练习来提高能力，理论上应该更加灵活。然而，由于奖励稀疏性问题，它们的学习效率往往较低，需要大量的尝试才能取得进展。
一些研究尝试通过手工设计的过程奖励来解决稀疏性问题，如TGRPO方法。这种方法就像为每个学习步骤制定详细的评分标准，虽然能提供更丰富的反馈，但需要大量的专家知识和任务特定的工程设计，难以推广到新的任务。
相比之下，SRPO的优势在于它结合了多种方法的长处而避免了各自的缺点。它像模仿学习一样能够利用成功经验，像强化学习一样具备探索能力，同时又像过程奖励方法一样提供密集反馈，但不需要任何外部专家知识。
在训练效率方面，SRPO也展现出明显优势。传统的监督学习可能需要数万个训练步骤，而SRPO在不同任务套件中分别只需要79步（空间任务）、59步（物体任务）、103步（目标任务）和219步（长期任务）就能达到优异性能。
六、深入分析：为什么潜在世界表示如此有效
为了验证潜在世界表示在奖励塑形中的有效性，研究团队进行了详细的对比实验。他们将SRPO与两种替代方案进行比较：像素级进度奖励和基于ImageBind的进度奖励。
像素级方法直接比较视频帧之间的像素差异，就像通过比较照片的每个像素点来判断两张照片是否相似。虽然这种方法简单直观，但存在明显的局限性。它对环境中的微小变化过于敏感，可能会因为光照变化或物体的细微移动而产生错误判断。更重要的是，它无法理解动作的语义含义，可能会将表面相似但实际目标不同的动作误判为相同。
ImageBind方法使用通用的视觉编码器来提取特征，这比像素级方法更加智能，能够识别高层次的视觉模式。然而，由于它是在通用数据上训练的，缺乏对机器人特定物理概念的理解，在评估任务进度时仍然不够准确。
相比之下，SRPO使用的潜在世界表示专门针对物理世界的动态过程进行训练，能够理解物体之间的相互作用、运动的因果关系以及任务的层次结构。这就像一个专业的体操教练与普通观众的区别，专业教练能够看出动作的技术含量和完成度，而普通观众可能只能看到表面的相似性。
在定量评估中，研究团队设计了五个评价指标来测量进度奖励的质量。这些指标包括时间相关性（奖励是否随时间单调递增）、单调性（是否平稳增长）、最大均值差异（成功和失败轨迹的区分度）、詹森-香农散度（分布差异）和标准化均值差异（效应大小）。
结果显示，SRPO在所有五个指标上都显著优于其他方法。特别是在时间相关性方面，SRPO达到了0.998的近乎完美分数，而像素级方法只有0.125，ImageBind方法为0.957。这意味着SRPO能够提供真正反映任务进度的奖励信号。
七、训练效率的显著提升：事半功倍的学习过程
SRPO在训练效率方面的优势不仅体现在需要的训练步骤更少，还体现在对失败轨迹的有效利用上。传统的GRPO方法本质上丢弃了所有失败的尝试，只从成功的经验中学习。这就像一个学生只看正确答案而忽视错误解法中的有用信息。
为了直观地展示这种差异，研究团队绘制了SRPO与GRPO在训练过程中的性能曲线对比。结果显示，SRPO的学习曲线明显更陡峭，特别是在长期任务中优势更加明显。这是因为长期任务包含更多的中间步骤，失败的尝试往往包含大量有价值的部分成功信息，而SRPO能够充分挖掘和利用这些信息。
以LIBERO-Long任务套件为例，GRPO需要大约300个训练步骤才能达到90%的成功率，而SRPO只需要约200步就能达到相同水平。更重要的是，SRPO的训练过程更加稳定，波动更小，这意味着它能够更可靠地向目标收敛。
这种效率提升的原因在于SRPO能够从每次尝试中提取更多信息。当机器人尝试执行一个复杂任务时，即使最终失败了，它可能在某些子任务上表现良好。SRPO能够识别这些积极的方面并给予适当的奖励，从而加速学习过程。
八、探索能力的增强：跳出演示数据的局限
SRPO的另一个重要优势是它能够促使机器人探索超越原始演示数据的新策略。为了验证这一点，研究团队分析了使用SRPO训练的机器人在执行任务时生成的动作轨迹，并将其与仅接受监督训练的机器人进行比较。
分析结果令人印象深刻：SRPO训练的机器人展现出了明显更高的动作多样性。在LIBERO-Spatial任务套件的测试中，研究团队记录了机器人的末端执行器位置轨迹，发现SRPO训练的机器人不仅能够到达原始演示中未曾涉及的空间区域，还能够生成更加分散和多样化的运动模式。
这种探索能力的增强具有重要意义。传统的模仿学习方法容易陷入"演示偏差"的陷阱，即机器人只能重复演示者的特定做法，无法适应新的情况或发现更优的解决方案。而SRPO通过在线学习和自我比较，鼓励机器人尝试不同的方法，只要这些尝试朝着正确的方向前进就会得到奖励。
研究团队还展示了一些具体的例子，说明SRPO如何帮助机器人发现新的策略。在"把苹果放进盘子"的任务中，原始演示可能只展示了一种特定的抓取方式，但SRPO训练的机器人学会了多种不同的抓取位置和角度，使其能够更好地适应苹果位置的变化。
九、真实世界的验证：从仿真到实际应用
为了验证SRPO在真实世界中的有效性，研究团队在X-ARM 7机器人上进行了五个不同的操作任务。这些任务包括把苹果和梨分别放入盘子、折毛巾、擦白板和选择特定的扑克牌。
考虑到真实世界实验的安全性和时间成本，研究团队采用了离线强化学习的方式，结合优势加权回归（AWR）策略和SRPO的自参考进度奖励机制。他们首先收集演示数据并存储在轨迹缓冲区中，然后使用SRPO的奖励机制来计算每个时间步的进度奖励。
实验结果证实了SRPO在真实世界中的有效性。两种不同的VLA策略骨干网络（基于扩散的π0和基于自回归的π0-FAST）在使用SRPO方法后都获得了显著的性能提升，平均提升幅度分别达到了66.8%和86.7%。
特别值得注意的是，在涉及物体放置和操作的任务中，改进效果最为显著。这验证了该方法在适应感知变化方面的有效性。同时，在折毛巾这样涉及可变形物体操作的复杂任务中，SRPO也表现出了良好的性能，这证明了方法的广泛适用性。
研究团队还设计了一些特殊的测试来验证机器人的语义理解能力。在"选择小丑牌"的任务中，桌面上放置了五张不同的扑克牌，包括小丑、黑桃J、梅花K、黑桃J和黑桃10。机器人需要准确识别并选择指定的牌。这种任务不仅需要精确的动作控制，还需要对视觉信息的准确理解。
十、技术细节：SRPO的具体实现
SRPO的技术实现涉及几个关键组件的精心设计。首先是世界模型编码器的选择，研究团队使用了V-JEPA 2模型，这是一个在大规模视频数据上预训练的潜在世界模型。这个选择并非偶然，因为V-JEPA 2专门针对视频序列中的时间动态进行了优化，能够很好地理解动作序列的发展过程。
在轨迹比较过程中，SRPO使用DBSCAN聚类算法对成功轨迹的潜在表示进行聚类。这一步的目的是识别不同的成功策略模式。由于同一个任务往往可以通过多种不同的方式完成，聚类能够确保失败轨迹与最相似的成功策略进行比较，而不是与某个可能不相关的成功案例进行比较。
奖励计算使用L2距离来衡量失败轨迹与成功轨迹聚类中心的相似性。距离越小，表示失败轨迹与成功模式越相似，因此获得的进度奖励越高。最终的奖励通过一个激活函数映射到0到1的范围内，成功轨迹获得固定的1.0奖励，失败轨迹根据其进度获得相应的部分奖励。
在策略优化方面，SRPO基于GRPO框架进行改进，主要修改在于优势函数的计算。传统GRPO只使用稀疏的二元奖励，而SRPO使用基于进度的连续奖励来计算优势。这使得策略梯度更新能够更精确地指向有益的行为改进方向。
十一、深度分析：为什么自参考学习如此有效
SRPO的成功背后有着深刻的理论基础。传统的强化学习往往依赖外部定义的奖励函数，但在复杂的机器人任务中，设计合适的奖励函数是一个巨大的挑战。过于稀疏的奖励导致学习困难，而过于密集的人工奖励又可能引导机器人学到次优的策略。
自参考学习的核心思想是利用智能体自身生成的数据作为参考标准。这种方法的优势在于它自动适应智能体当前的能力水平。在训练初期，成功的案例可能较少且质量不高，但随着训练的进行，成功案例的数量和质量都会提升，从而为进度评估提供更好的参考标准。
这种动态的参考标准更新机制确保了学习过程的自适应性。就像一个学生在不断提高的过程中，自然会将自己的标准也相应提高一样。这避免了固定奖励函数可能带来的过早收敛或错误引导问题。
潜在世界表示的使用进一步增强了自参考学习的效果。通过在抽象的特征空间中进行比较，SRPO能够捕捉到行为的本质相似性，而不被表面的差异所干扰。这就像一个经验丰富的教练能够看出不同学生在技术动作上的共同点，即使他们的身体条件和表现形式不同。
十二、局限性与未来展望
尽管SRPO展现出了令人印象深刻的性能，但研究团队也诚实地指出了一些局限性和改进空间。首先，该方法目前主要在视觉-语言-动作任务上进行了验证，对于其他类型的机器人任务（如触觉为主的操作或听觉导向的任务）的适用性还需要进一步验证。
其次，虽然SRPO显著提高了训练效率，但在某些极其复杂的长期任务中，仍然需要相当数量的训练样本才能达到理想性能。这部分反映了当前世界模型在理解复杂时间依赖关系方面的局限性。
在真实世界应用方面，虽然研究团队进行了初步验证，但实验规模相对有限。更大规模的真实世界部署和长期性能评估仍然是未来工作的重要方向。此外，在更加动态和不可预测的环境中的表现也需要进一步研究。
从技术角度来看，目前的方法主要依赖视觉信息进行进度评估，未来可以考虑融合多模态信息（如触觉、听觉等）来提供更全面的进度判断。同时，探索更先进的世界模型和更高效的轨迹比较算法也是有价值的研究方向。
研究团队指出，SRPO为"自主学习"开辟了新的可能性。未来的机器人系统可能能够在最少人类干预的情况下，通过自我探索和反思来掌握复杂的技能。这不仅有助于降低机器人部署的成本，还能让机器人具备更强的适应性和创新能力。
说到底，SRPO代表了机器人学习领域的一个重要进展。它不仅解决了当前方法面临的一些关键技术挑战，更重要的是，它展示了一种新的学习范式——让AI系统像人类一样从失败中学习，通过自我反思不断进步。
这项研究的意义远不止于技术本身。它为我们思考AI学习和人类学习的相似性提供了新的视角。也许有一天，我们的AI助手不仅能够执行指令，还能够像真正的伙伴一样，通过经验积累和自我反思来不断成长和改进。对于那些希望深入了解这项研究技术细节的读者，可以通过论文编号2511.15605v1在arXiv平台上查阅完整论文。
Q&A
Q1：SRPO技术是什么，它与传统机器人学习方法有什么区别？
A：SRPO是"自参考策略优化"技术，由复旦大学等机构开发。与传统方法最大的区别是它能让机器人从失败中学习，而不是简单地丢弃失败的尝试。就像学生可以通过对比自己的好作业和差作业来找出问题一样，SRPO让机器人用自己的成功经验来指导失败分析，从而大幅提高学习效率。
Q2：SRPO技术在实际测试中表现如何？
A：SRPO在LIBERO基准测试中表现惊人，仅用200个训练步骤就将机器人成功率从48.9%提升到99.2%，相当于103%的提升。在更困难的LIBERO-Plus测试中也实现了167%的性能改进。更重要的是，这些提升完全不需要额外的专家指导或人工设计奖励，机器人完全通过自我学习达到近乎完美的表现。
Q3：SRPO技术什么时候能应用到日常生活中的机器人？
A：目前SRPO还处于研究阶段，已经在真实机器人上验证了有效性，能够完成抓取物品、折毛巾、擦白板等基础任务。虽然距离商用还需要时间，但这项技术为未来家用机器人的智能化奠定了重要基础。随着技术进步，我们有望在未来几年看到更加聪明、能够自主学习的机器人助手走进日常生活。
华泰优配官网提示：文章来自网络，不代表本站观点。
