在探索具身智能领域的道路上，如何将视觉语言基础模型（VLMs）应用于机器人以实现通用操作，一直是科研人员关注的焦点。这一目标的实现面临两大核心挑战：VLMs缺乏精确的3D理解能力，以及难以输出低层次的机器人动作。
传统的VLMs主要通过对比学习范式训练，以2D图像和文本作为输入，这限制了它们在3D空间中的理解和应用能力。同时，尽管将VLMs在机器人数据上进行微调以构建视觉-语言-动作（VLA）模型被视为一种有潜力的解决方案，但高昂的数据收集成本和模型的泛化能力限制，使得这一方案仍面临诸多挑战。
为了克服这些难题，北京大学与智元机器人团队携手提出了OmniManip架构。这一架构基于以对象为中心的3D交互基元，成功地将VLMs的高层次推理能力转化为机器人的低层次高精度动作。OmniManip通过引入VLM规划和机器人执行的双闭环系统设计，有效解决了大模型幻觉问题和真实环境操作的不确定性，实现了操作性能的显著提升。
OmniManip的关键设计包括基于VLMs的任务解析、以物体为中心的交互基元作为空间约束、闭环VLM规划和闭环机器人执行。利用VLMs强大的常识推理能力，OmniManip能够将任务分解为多个结构化阶段，每个阶段都明确指定了主动物体、被动物体和动作类型。通过3D基座模型生成任务相关物体的3D模型和规范化空间，OmniManip使得VLMs能够直接在该空间中采样3D交互基元，作为动作的空间约束，从而优化求解出主动物体在被动物体规范坐标系下的目标交互姿态。
在闭环VLM规划阶段，OmniManip将目标交互姿态下的主动/被动物体渲染成图像，由VLMs进行评估与重采样，实现VLMs对自身规划结果的闭环调整。而在闭环机器人执行阶段，通过物体6D姿态跟踪器实时更新主动/被动物体的位姿，并将其转换为机械臂末端执行器的操作轨迹，实现闭环执行。
OmniManip具备通用泛化能力，不受特定场景和物体的限制。这一特性使得OmniManip能够被广泛应用于数字资产自动标注/合成管道等领域，实现大规模的机器人轨迹自动采集。目前，研究团队已经开源了泛化操作大规模数据集和对应的仿真评测基准，为相关领域的进一步研究提供了有力支持。
在智元机器人方面，其量产的第1000台通用具身机器人已于本月正式下线。这批机器人中包括731台双足人形机器人（远征A2/灵犀X1）和269台轮式通用机器人（远征A2-D/A2-W）。这一成果不仅展示了智元机器人在机器人量产方面的实力，也进一步验证了OmniManip架构的有效性和实用性。
智元机器人的发展也备受关注。据悉，以“天才少年”身份加入华为的稚晖君已于2022年底宣布离职，并创业成立了智元机器人。2024年9月3日，智元机器人完成了A++++++轮融资，估值已超过70亿元。这一轮融资得到了包括北汽、上汽、比亚迪在内的国内汽车巨头的支持，为智元机器人的未来发展注入了强劲动力。
