How Do Vlas Assign Actions
#笔记
Code as Policies
将动作作为语言来处理,借助由code定义的技能primitives,作为从任务规划导动作执行的的中介. Limitations:
- 如果一开始给的目标有问题,在执行过程中,上层VLA难以快速灵活地介入调整.因此更像是开环控制.
- 传统控制器难以处理contact-rich的操作.一些非传统操作模式也难以用接口+planner的方式定义.
Code as Policies: Language Model Programs for Embodied Control
2022.09 Google Research 把code作为衔接语言推理与动作规划和执行的API. 很自然的思路.
Discrete Tokens
Diffusion & Flow matching
关于什么是[Flow Matching] 和 [Diffusion Model], 你可能会想看看我的另外两篇blog ;)