在人工智能与机器人技术的交汇点上，浙江大学控制学院的副教授朱秋国与云深处科技的创始人，分享了他在人形机器人与四足机器人研究领域的深厚积累。自2019年起，他与国外学者合作，将强化学习（RL）引入到传统控制方法中，为机器人研究带来了新的突破。
在近期的一次讨论中，来自不同领域的专家围绕“RL + Control”的主题展开了深入探讨。王建明老师作为主持人，首先提出了一个引人深思的问题：为何众多学者早在AI与机器人结合的浪潮到来之前，就选择在这个领域深耕？
石冠亚教授分享了他的观点。他认为，机器人研究之所以吸引他，是因为它是一个综合性的系统工程，涵盖了从“大脑”算法到“小脑”控制，再到硬件设计的各个方面。他引用了导师Joel W. Burdick的观点，即每次机器人领域成为风口时，都会留下对领域发展有重大贡献的成果，为下一次浪潮奠定基础。
朱秋国教授则讲述了自己从双足人形机器人到四足机器人的研究历程。他指出，人形机器人是一个极佳的研究平台，但要让机器人走出实验室，适应复杂环境并实现实际应用，需要经历长时间的探索与迭代。他强调了热爱与坚持对于机器人研究的重要性。
罗剑岚博士从控制理论的角度出发，分享了他对强化学习的看法。他提到，在传统的控制方法中，状态估计与控制往往是分离的，这在处理复杂操作时面临很大挑战。而强化学习通过端到端的方法，直接从感知到控制进行优化，为操作任务提供了新的解决思路。
卢宗青教授则从强化学习算法的角度，分享了他对机器人研究的见解。他认为，虽然现有的强化学习算法在实践中表现良好，但针对机器人学习的特性进行定制化设计，仍有很大的探索空间。他强调了与物理世界交互的重要性，并指出这是提升机器人智能的关键。
在讨论RL和Control在机器人移动能力（Locomotion）上的应用时，石冠亚教授提出了一个有趣的观点：他认为RL和Control本质上都是解决同一个问题的方法，而非独立的方法论。他详细解释了Sim2Real RL与基于模型的控制（MBC）在算力运用和状态估计方面的差异，并强调了将RL与Control相结合的重要性。
朱秋国教授则从产业化的角度，分享了他在四足机器人控制方面的经验。他提到，虽然传统控制方法在某些场景下表现稳定，但RL在展现机器人全身运动能力方面更具优势。他强调了在实际应用中，需要根据具体场景选择合适的控制方法，并逐步将RL与传统控制方法相结合。
在探讨操作（Manipulation）方面时，罗剑岚博士强调了强化学习在处理外部世界不确定性方面的优势。他指出，与Locomotion不同，Manipulation面临的主要挑战来自外部世界的不确定性，而强化学习通过与环境的交互，能够更好地适应这种不确定性。
关于商用机器人的可靠性问题，专家们一致认为，要达到99%以上的可靠性是一个巨大的挑战。他们提出，除了技术层面的突破外，还需要结合场景需求进行定制化设计，并逐步通过真实世界的数据进行验证与优化。
最后，关于RL算法本身的创新空间，专家们认为虽然现有的PPO、SAC等算法在实践中表现良好，但针对机器人学习的特性进行定制化设计仍有很大的探索空间。他们强调了持续创新的重要性，并期待未来能有更多针对机器人领域的强化学习算法出现。
整场讨论中，专家们不仅分享了各自的研究成果和经验，还就RL与Control在机器人研究中的应用、挑战与未来方向进行了深入交流。这次讨论不仅为机器人领域的研究者提供了宝贵的启示，也为未来机器人技术的发展指明了方向。
