零真机数据纯仿真训练:韩松团队开源PEAR,27B模型单卡操控真实机械臂
一张印着梵高《星空》的图片递到机械臂面前,它端详片刻,便在白板上一笔一笔勾勒出对应的线稿。另一段演示里,桌面并排放着碘水、酚酞、乙醇三瓶试剂,被问及如何验证溶液是否呈碱性时,它伸出夹爪选中酚酞,滴入待测液体,溶液随即泛起粉色。
完成这两个任务的,是 MIT 韩松团队公布的机器人后训练项目 PEAR(Post-training Engine for Agentic Robotics),其核心是一个 27B 参数的千问模型,被接入一台真实的双臂机器人。
背景要从 Fable 和 GPT-6 Astra 说起。两者相继问世后,具身智能领域受到巨大冲击,「通用大模型能搞定机器人一切」的说法一度甚嚣尘上,开发者们争相将其接入机器人尝试各种复杂任务。但探索越深入,模型规模庞大的短板就越扎眼:推理成本高企,响应延迟跟不上实时控制的节奏,端侧算力、功耗、散热处处受限。模型再强,也难以直接落地。
PEAR 换了一条路走。它以开源的 Qwen3.8-27B 为底座,没有用一帧人类遥操作演示,也没有采一条真机数据,训练完全在仿真环境中以强化学习方式进行。训练结束后,模型被直接搬上一台从未见过的双臂 YAM 真机,30 次测试成功 18 次——训练之前,这个数字是 0。与 π0.5 相比,它的通用性更强,执行指令的能力也更胜一筹;在 LIBERO 模式下,成绩几乎追平 Astra Max。
从工作方式看,机械臂操作与电脑操作本质上是同一件事,区别只在二维与三维。电脑操作智能体的流程是:看一张截图,思维链里盘算「保存按钮在右上角」,吐出 click (812, 431),操作系统替它挪动鼠标。PEAR 做的正是同一套动作。每一回合,模型的输入包括三路相机画面与机械臂实时的关节状态,它在思维链中分析「夹爪位于橡皮正上方,应把手指降到橡皮两侧」,随后输出一段 JSON,内含末端执行器的下一个目标位姿,即 x、y、z 坐标与 roll、pitch、yaw 姿态角。逆运动学据此解算关节角度,底层控制器驱动机械臂到位。这一回合连同新拍到的画面一并写回上下文,下一回合接着决策。
整条链路中没有感知模块,没有抓取规划器,也没有技能库。定位物体、规划路径、判断上一步的偏差,全部由模型自己从相机画面中完成。研究者把这套训练方案命名为 Robot-Use RL,与前沿模型学会使用电脑的逻辑如出一辙。
LIBERO 是机器人操控领域的经典基准,含 Goal、Spatial、Object、Long 四个子套件,合计 2000 个评测 episode。Qwen3.8-27B 零样本只有 1.6%,经 RL 训练后,PEAR 冲到 74.4%。同场的闭源旗舰中,GPT-6 Astra 的 medium 档为 49.3%、max 档 76.2%;GPT-6.1 Sol 的 medium 档 48.1%、max 档 80.6%。PEAR 采用的是 xhigh 档。
单看 LIBERO 原版,π0.5 的 96.9% 明显高于 PEAR 的 74.4%。但研究者引入的两个扰动版本 LIBERO-Plus 和 LIBERO-Pro,让格局彻底改写。
LIBERO-Plus 扰动的是观测条件,涵盖相机角度、光照、背景与传感器噪声,两个模型的下滑幅度相差不大。LIBERO-Pro 则直接改动任务目标和物体布局,其中两种关键扰动很能说明问题。
其一是任务替换:场景、物体、初始状态全部一致,只换指令。训练时指令是「把碗放到盘子上」,评测时改成「把碗放到炉灶上」。π0.5 从 96.9% 一路坠至 0.75%,蒸发了 96.2 分;PEAR 从 74.4% 降到 57.4%,只少了 17 分。其二是布局替换:指令不变,物体位置对调,完成同一句指令需要走出不同的运动路径。π0.5 跌至 20.8%,损失 76.1 分;PEAR 停在 57.5%,损失 16.9 分。
π0.5 并非全线溃败。在改写指令措辞、替换物体外观这两种扰动上它仍然领先,因为这两类情况下正确的运动轨迹没有变化。π0.5 记住的是训练时见过的运动模式,模式适用就高分,模式失效就彻底失败;PEAR 则保住了基础模型的指令理解与视觉感知能力,RL 教它根据当前画面和指令重新生成位姿。一个靠模仿,一个靠推理,任务条件一变,高下立判。
PEAR 的训练流程全程在仿真中完成,真实机器人数据为零,迁移能力从四个维度接受了检验。
新任务方面,模型在 LIBERO-Goal、Spatial、Object 上训练后,零样本挑战 LIBERO-Long 拿到 39.0%,底座仅 0.4%——长程任务能力几乎从零起步,直接跳到接近四成。
新机器人、新仿真器方面,RoboDojo 是一个完全不同的仿真环境,机械臂从 LIBERO 的单臂 Franka 换成双臂 ARX。PEAR 只在 LIBERO 上训练过,没碰过 RoboDojo 和 ARX,直接在 general_pickup 上拿到 39.9%,底座为 10.7%,提升近四倍。
新基准方面,第三个仿真评测平台 RoboLab-120 收录 120 个桌面任务,分三个难度级别,每个任务评测 10 次。在 LIBERO 与 RoboDojo 上完成训练的 PEAR 跑出 37.3%,底座 5.4%。作为参照,RoboLab 排行榜上的通才机器人策略成绩为:NVIDIA Cosmos3-Nano-Policy 36.8%、π0.5 28.0%、DreamZero 25.7%、GR00T N1.6 7.2%。PEAR 与 Cosmos3 几乎打平,高出其余三家。
真机环节是最硬的一道关。研究者在 LIBERO 和 RoboDojo 上都完成训练后,把模型部署到一台双臂 YAM 真机上。这台机器人在训练中从未出现,仿真器、机械臂型号、物理环境全是陌生的。30 次测试分成两组:Align blocks 组用三角尺把三块积木摆成直线,5 个场景各 2 次,共 10 次;General pickup 组抓取绳子、螺丝、遥控器、毛绒乌龟、网球、订书机、洗洁精、喷雾罐、气泵、刷子共 10 种物体,每种 2 次,合计 20 次。
成绩单上,底座模型 Qwen3.8-27B 全军覆没,0/30;只在 LIBERO 上训过的中间检查点拿到 7/30;完整版达到 18/30,成功率 60%。
通过强化学习学会机器人操控之后,原本的推理、编程、视觉能力是否还在?答案写在了评测结果里:AIME 2026 数学竞赛测试得分 98.5,GPQA Diamond 科学知识测试得分 89.7,LiveCodeBench 代码能力测试得分 88.4,与基础模型相比几乎纹丝不动;所有视觉基准测试中,得分差距不超过 2 分。同一个模型,推理、写代码、看图答题、操控真实机械臂,样样拿得起来。
每步动作之前都要走一遍思维链,解码速度直接决定机械臂的响应节奏。推理栈采用 NVFP4 权重量化(NVIDIA ModelOpt),搭配 Inco AI 的 DFlash2 drafter,平均接受长度 3.2 token。不同硬件上的解码速度为:Apple M5 Max(Inco Splash 引擎)52 tok/s;单张 RTX 5090(megakernel)221 tok/s;单张 GB300(megakernel)747 tok/s。
以 GB300 为例,xhigh 档一回合思考约 4.3 秒,low 档约 1.1 秒。模型训练时只用过 xhigh 档,但推理时 effort 仍然可调。low 档思考 token 约 0.86k,xhigh 约 3.23k,LIBERO 成功率从 74.4% 回落到 21.9%,成功率和思考量基本成正比。
一个带思维链的 27B 机器人模型,靠一张消费级 GPU 就能实时驱动机械臂,在研究者看来,这件事的实用意义可能比 60% 的真机成功率本身还大。目前,PEAR 的论文、代码与模型权重均已开放,分别托管在项目博客、GitHub 仓库(mit-han-lab/pear)以及 Hugging Face 的 mit-han-lab/pear 合集中。