Auto Reset In Real World Data Collection

进行机器人操作策略训练经常需要收集大量真机数据，除了人类进行实时遥操和demo，还有一种方式是让机器人基于现有policy在real world自己rollout,收集成功/失败轨迹数据。为了降低数采成本，我们希望系统能够在无需人类介入的前提下尽可能久地自己rollout.这就需要auto failure detection和reset。 再加上最近ICL甚嚣尘上，如何让机器人在真实场景中持续地工作和自我进化，成为越来越受到关注的问题。 detection的方法五花八门。auto reset目前是更under explored问题。 真机rollout不像在仿真里，能够用一个env.reset()函数轻松把任何糟糕的rollout结果一笔抹除，完成环境复原。真机环境中，物体掉下桌子，离开视野，或者机器人触发底层报错需要重启，这些乱七八糟的意外总是需要人类介入解决。 首先，我们定义一个auto rollout system 所需要具备的能力和工作流状态机：