General Llm For Robotics

我现在正在做文献调研，我主要研究方向是机器人灵巧操作方向，然后我最近关注到Chat GPT的astra发布之后，很多人说这种很有那就是大规模预训练，出来的有很强语义理解，推理能力的llm或者多模态大语言模型，会对具身和3D重建领域带来很大的冲击。也看到有很多demo,用astra 直接去控制机器人，让他直接读取观测图像，然后输出机器人的控制策略,体现为去调用机器人的正逆运动学接口直接做控制，然后自己观察图像反馈自我改进。呈现出了一些很好的效果。这就引发我的思考，就是过去一段时间里面，我们做具身领域比较火的是vla和Word action model,但是他们往往都是在overfit一些特定的任务，astra所展现出来的Zero shot Generalization能力是非常impressive的。我觉得这也是一个很正确的方向。就是高层的语义理解交给一个能够吃得下互联网级别的推理，语言，多模态数据的模型来做。而在机器人控制这一端，这些高频的运动控制反应式，并且需要适应真实世界。难以在仿真中建模的那些物理动态，的底层控制器交给另一个模块来做，类似于现在大模型里面谈的很火的harness.我看到最近也涌现出一些新的词汇叫做agentic robot,我应该理解为机器人智能体.我理解他们的意思也是说我们用一个大语言模型或者预训练的大模型去做上层的语义理解和思考，做记忆，自我迭代进化，也就是前段时间可能前一两个月说的很火的， icl, in context learning或者是rsi recursive, self improvement,然后我们把底层的一些控制接口去提供好，类似于现在有的匹诺曹运动规划器， curobo,或者move IT.或者其他的一些灵巧手操作策略，人形机器人的控制策略，底盘的移动等等。让这些东西成为类似于现在大模型的skill或者hardness, mcp的工具去让大模型更好的调用。然后这也会让我想起之前好像在机型控制领域也会有人说system one system two,快系统慢系统，大小脑架构。然后我们再做vla的时候，有一些工作也是我们用一个视觉语言模型去做，图像理解和语言推理，做记忆等等高层的规划模块，然后后面我们接一个flow matching或者是diffusion model做比较高频快速的这个动作生成。我觉得都是有一定相通之处的，就是我们把语义理解，把需要具备泛化性的，带有模糊性的一些推理感知、记忆，这些模块放到一个慢系统当中，放到一个更具备更强能力能吃进大量数据，的一个比较heavy的系统里面去做。然后把一些我们需要反应是要有高频控制，嗯并且他能够用一些现有的物理规律是比较好表达，比如说实现高效性、准确性、可控性、安全性、鲁棒性，这样的一个功能。通过一些传统的方式去实现，然后暴露出能够被大模型调用的接口。这就让我想到嗯一个问题，就是我们需要什么样的底层模型去报去提供什么样的接口，因为大语言模型它可能是处理一些比较模糊的信息，他给出的这个目标可能是比较泛化的。然后比如他说出的可能是token,可能是语义级的模糊的指令，可能是我要拿到某个东西，那我怎么去把它翻译成一个能够被底层的控制器所统一的接收的这个信号呢？或者说底层的控制器我需要实现哪些功能，我如何去做这个不重不漏的解耦，我如何把复杂的目标去用一个通用的规划器实现，比如说现有的运动规划器，我可能只能实现到特定的位置，然后轨迹无碰撞，那我不能实现更丰富的目标，比如说全身的控制，例句的控制，反应式的一些信号，或者是一些更语义层级的控制，那我能不能有一个通用的底层规划器，它既具备高效性，然后它自身的实现是简单的，从而能够实现快速的这个反应高频的计算，同时它又具有灵活性办法性，能够完成各种各样的llm，或者说上层模型想让它完成的任务，然后我们所谓的底层模块可能包含哪些东西，除了我之前说到的现在很成熟的运动规划器，逆运动学求解，然后可能有感知或者是人形机器人的姿态控制移动，还有哪些其他的方向，现在大模型它能够推理却无法在底层上高效的实现呢？或者更fundamental的讲我们这个system真的是未来能够收敛的趋势吗？会不会有更好的解法呢？比如说llm，如果我们实际上部署到真机投入产业的话，它是否还是缺乏呃就是效率还是太低，需要的运算资源还是太多，然后它的可解释性不够。可能他这个太贵，然后我们更新起来比较慢之类的，我不知道会不会有什么别的问题。会不会有更好的方式能够替代这样子高层低层的分解，然后另外就是我如何让大语言模型知道我现在有哪些工具可以用，我怎么去把一个语义层级的东西能够很好的映射到能够让他很好的调用一些底层模块，我觉得这之前我们会说Action grounding,但我觉得现在我们可能需要个更好的词来描述它。另外我也很好奇现在大家对于这些问题有哪些思考？比如说我知道会有很多这个所谓identic,embodied,Intelligence,也会比较早的叫做cold ASR policy.现在可能是llm ASR policy,或者有没有一些更新的说法一些呃更前沿的方法一些工作一些demonstration呢？然后去看以往的秉持类似思路，但是在可能在前大语言模型时代，或者是We are a world action model.之类的时代。有没有类似工作，他们是如何处理Action grounding,或者类似问题的呢？ Astra的出现给robotics带来了很大的震动。 梳理当下Astra在具身任务上展现出了怎样的能力，进而讨论，哪些具身工作有可能被颠覆和替代，哪些方向还有生存余地。

What’s different about Astra

为什么astra发布之后忽然出现了这么多robotics方面的demo? Astra excels in computer use: so we don’t have to re-design control API for Astra to take over robot controll.

• How: directly call low-level planner an controll robot through socket or other interfaces? also has better sequential work ability.

How does Astra control a robot

System1, System 2

Low-level policy -> code as policy -> LLM as policy

Observation:

• head&wrist camera

Harness:

• move ee
• give up HIstory

是否意味着目前实现泛化性的操作的范式已经收敛，两个能够带来增益的两个方向也基本确定：low-level controller for general use,比如IK solver, motion controller, 成为模型的Harnesss/Skill;以及多模态的foundation language model for high level control? 是否可以说VLA/WAM已死？ 或者说，哪些环节可以被LLM铲平，而那些环节上不能被替代（又是谁有可能在相应的方面补足？） Astra能做的：high-level reasoning and reference trajectory generation

Jev是什么

The impressive results

zero-shot adaption

no need for task specific fine-tuning! true generalizability 颠覆了过往VLA foundation model+task-specific finetuning来实现position, object apperance层级泛化性的范式：更低成本，零数据，更泛化。 but for highly semantic tasks

In Context Learning

What’s missing

Inspect the benchmarks

sensing

physical feedback: contact-rich manipulation

highly dynamic motions

control frequency and inference cost

it takes quite a long time for astra to discover how to use its body, about 30 mins (however, it is much more faster than collecting data and finetuning…)

Physical grounding and semantic decomposition of embodied intelligence

---

Day1: semantic & physical module的中间表征是什么？

In this section we mainly focus:

1. What: Which VLM and downstream controller are used.
2. How: What are the interface between this two modules (what information, feedback, at what frequency). Are some module fine-tuned? Or all plug-and-use?
3. Motivation: 作者如何claim不同模块所带来的能力？

4. Effectiveness: The frameworks are tested on what tasks, reach what SR. Failure cases?

   Conclusion

我们把一个控制机器人的策略分成higher-lower两部分，本质上是出与这样一个motivation: skill transfer through task decomposition, 让system 1做unseen scene/task 的decomposition, system 2做physical plausible perception & execution。上游是LLM/VLM, 下游是code API, VLA, skill policies.

SayCan: Do As I Can, Not As I Say

2022 CoRL Michael Ahn … Andy Zeng

\(\text{Language} \rightarrow [\text{pick},\text{move},\text{place}] \rightarrow \text{pretrained skills}\) semantic module 输出 high-level skill sequence；问题是 LLM 无法直接影响 perception-action feedback loop，也很难表示 “稍微向右 10 cm” 或 “直到看到香蕉再停止” 这种 numerical / reactive behavior

---

Code as Policies: Language Model Programs for Embodied Control

2023 ICRA Jacky Liang, Wenlong Huang, Fei Xia, Peng Xu, Karol Hausman, Brian Ichter, Pete Florence, Andy Zeng

Core idea: use executable Python programs as the interface between language-level reasoning and robot perception/control. The LLM does not directly output actions; it generates a program that queries perception APIs, performs logic/geometric computation, and invokes robot-specific control APIs.

graph LR
A[Language Instruction] --> B[Code-generating LLM]
B --> C[Executable Python Policy]
D[Perception APIs] --> C
C --> E[Control / Motion APIs]
E --> F[Robot / Environment]
F --> D
G(LLM is not in the loop)

Details

https://chatgpt.com/share/6abfa7b6-6eb8-83ea-a53b-68186d241e4e

1. 上下游模块分别是什么

1. Semantic module：具有 code-generation 能力的 pretrained LLM。论文机器人实验主要使用 OpenAI Codex code-davinci-002通过 few-shot prompting 生成程序，没有针对机器人任务进行 fine-tuning。
2. Intermediate representation：Executable Python program。
3. Physical/perception module：
   • perception：MDETR / ViLD 等现成 open-vocabulary perception models；
   • action：scripted pick-and-place primitive、waypoint trajectory follower、navigation motion planner 等。 2209.07753v4

     2. 各个模块带来怎样的能力

Language:

1. 将自然语言任务翻译成 control flow，并重新组合已有 APIs，因此能够处理 prompt 中没有直接出现过的 instruction / object attribute / behavior composition。
2. 可以将诸如 “a bit to the right”“faster” 等模糊语言映射成程序中的数值或计算操作。论文将这种能力称为 behavioral commonsense。 Code APIs:
3. LLM 不需要完全依靠 natural-language reasoning 完成精确空间计算，而是可以生成 Python，并调用 NumPy / Shapely 等成熟 numerical libraries。实验支持：

|Representation|Object selection|Position selection| |—|–:|–:| |Natural language|39%|30%| |CoT|68%|48%| |Code|96%|100%|

1. [perception]-[calculation/logic]-[action] loop: 生成一次程序以后，程序可以反复读取 perception、判断条件并执行 action，因此可以形成 reactive behavior.

   3. Contribution

2. Program composition enables strong compositional generalization without task-specific robot training. 相比 end-to-end learned policy，CaP 可以通过已有 APIs 的重新组合处理 unseen attributes 和 unseen instructions。
3. 不局限于有限的skill primitives(像SayCan), 而是可以由LLM编写新的program-level composition。

   4. My comment

4. CaP区分了在不同场景、任务间需要重组、泛化的语义/任务推理能力与可复用的感知、控制能力，并将其分别交给LLM和python APIs,从而分别在重组泛化性和精确感知上取得了比单一模块更好的效果。
5. 本质上是用LLM实现跨任务的感知/动作基元分解和逻辑组织（organizes existing perceptual and physical capabilities），在感知、动作能力上，仍然依赖已有API. 进而，bottle neck是perception/control APIs的能力。因此，对long-horizon/complex logic方面任务有优势，可以进行末端和移动底座位置控制和速度控制，但是并不适合dynamic,contact-rich任务，或者状态难以被object-centric pose detection 描绘的任务（比如可变形物体，复杂、难以参数化描述的形状、场景理解）
6. CaP has physical feedback within a fixed generated policy, but lacks semantic-level closed-loop replanning based on execution success/failure.

---

ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation

2024 CoRL Wenlong Huang, Chen Wang, Yunzhu Li, Ruohan Zhang, Li Fei-Fei

---

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

2023 CoRL Wenlong Huang, Li Fei-Fei

![[VoxPoser-Overview.png]]

Use LLM and VLM to produce 3D affordance and avoidance map that can be consumed by downstream motion planner.

---

Steerable Vision-Language-Action Policies for Embodied Reasoning and Hierarchical Control

2026 RSS, William Chen, Sergey Levine

Core Idea: 不要只让 VLM 给 VLA 一个 subtask；给它更多种类、更细粒度的 conditioning，并允许高层在这些 conditioning 之间切换。 太显而易见了，没什么有趣的结论，看看算了。

Details

https://chatgpt.com/share/6abfaac3-7b98-83ea-a30b-87b001fc92bb

1. Failure cases是最有信息增量的部分

1. VLM 不知道对特定 VLA 来说，什么 wording / abstraction 才会诱导出正确 behavior。VLM输出的看似正确的指令可能对VLA来说有歧义，甚至过于详细的instruction会导致OOD。因为low-level policy 仍然只是 imitation-trained distribution,
2. point-based command 依赖的上游感知模型可能是不准确的，而loop中没有geometric verifier纠正这种错误。
3. high-level VLM并不擅长做准确的trace generation
4. 能力上限仍然来自 robot dataset. steering 并不会创造新的 physical skill,只是让已有 behavior 更容易被调用。

   2. Answer the section’s questions

5. two modules Semantic module
   • Fine-tuned Prismatic 7B embodied reasoner，or
   • frozen Gemini 3.0 API VLM。 Physical module
   • fine-tuned OpenVLA / $\pi_{0.5}$ Steerable VLA；
   • direct 7D end-effector action generation；
   • not classical motion planner。 Interface
   • free-form textual steering commands: 人工定义 6 个 abstraction families：task, subtask, motion, point, trace, combination.
   • Point 是 2D pixel grounding, 没有显式 3D geometry / feasibility / constraint representation。
6. Feedback

    flowchart LR
    L[Task instruction L] --> VLM
    I[Image I_t] --> VLM
   
    VLM["High-level VLM
    (I_t, L, history) → g_t"]
   
    I --> VLA
    VLM -->|steering command g_t| VLA["Steerable VLA
    (I_t, g_t) → a_t"]
   
    VLA -->|action a_t| ENV[Robot / Environment]
    ENV -->|new image| I
   
    F["Re-query VLM:
    learned: every 5 steps
    Gemini: every 20 steps"] -.-> VLM
   

7. fine-tuning: Steerable VLA：必须 fine-tune。High-level LLM: learned reasoner → fine-tuned on synthetic rationale + commands；Gemini → completely frozen / prompted.

   CoRAL: Contact-Rich Adaptive LLM-based Control for Robotic Manipulation

   2026 RSS Berk Çiçek, Mert K. Er, Ozgur S. Oguz

---

Mimic Intent, Not Just Trajectories

2026 RSS Renming Huang, Chendong Zeng, Wenjing Tang, Jintian Cai, Cewu Lu, Panpan Cai

Core idea: end-to-end imitation learning 中显式区分 high-level behavior abstraction 与 low-level execution details。它在 action latent space 内通过监督构造 coarse-to-fine hierarchy，将最粗层 token $S_1$ 称为 Intent token，更细层 $S_{2:K}$ 被称为 Execution tokens。policy 输入当前视觉、语言 instruction 和 proprioception，先预测 $S_1$，再自回归预测更细粒度 token，最后通过 learned action decoder 解码为连续 action chunk。 MINT leverages the Spectrally Disentangled Action Tokenizer (SDAT) to separate low-frequency global intent from high-frequency execution residuals via scale-wise spectral reconstruction, ensuring stable intent representation, improving robustness to environmental variations, achieving state-of-the-art performance across diverse manipulation benchmarks, and enabling effective one-shot skill transfer through intent injection.

Details

1. Intermediate representation

连续 action chunk $A\in\mathbb{R}^{H\times D}$ 首先经过 learned encoder 得到 latent $f$，再通过 multi-scale residual quantization 生成 \(S=\{S_1,S_2,\dots,S_K\}.\) 其中 $S_1$ 只有一个 discrete codebook token，负责第一层 coarse reconstruction；后续 token 对剩余 residual 逐层编码。因此 $S_1$ 并不是直接由 DCT 截取的低频系数，也不是 PCA/t-SNE 式降维，而是一个 learned discrete latent。DCT 主要用于训练 loss：作者要求仅使用 $S_1$、使用 $S_{1:2}$、一直到使用全部 $S_{1:K}$ 时，都能够逐步重建原 trajectory 的频谱： \(\mathcal L_{\text{freq}} = \sum_{k=1}^{K}\lambda_k \left\| F-F^{(k)} \right\|_2^2,\) 其中 $F=\mathrm{DCT}(A)$。这种 scale-wise spectral reconstruction 加上 coarse scale 的 capacity bottleneck，使前层 token 倾向于解释 trajectory 中的 dominant low-frequency structure，而后层负责 high-frequency residual。 作者据此将 low-frequency、global、long-horizon motion structure 解释为 “intent”，而将 high-frequency residual 解释为 execution details。这里的 intent 并没有独立的 symbolic 或 task-semantic formal definition，也没有 semantic label supervision；更准确地说，它是一个 coarse behavior-level action abstraction。因此论文证明的是 $S_1$ 与 coarse behavior semantics 对齐，而不是严格证明了 “low-frequency = task intent”。

Architecture and training

MINT-30M 使用 frozen SigLIP、DINOv2 和 BERT features，并训练一个约 30M 参数的 Transformer policy；MINT-4B 则采用基于 $\pi_{0.5}$ 的 pretrained PaliGemma/SigLIP backbone，并从头训练约 300M 参数的 action expert。整个方法并非 plug-and-use，而是两阶段训练：首先训练 SDAT tokenizer，使 action latent 形成 spectral hierarchy；随后训练 policy 根据 observation 预测这些 discrete action tokens。

3. Why this representation may help

作者的核心假设是：同一种行为在不同具体环境中的 global structure 相对稳定，而精细 trajectory realization 会随 object layout、robot state 和 perception conditions 改变。因此，若 $S_1$ 能保存 coarse behavior specification，而 $S_{2:K}$ 根据当前 observation 重新生成，就可能实现“保持 intent、适应 execution”。 这个机制在 one-shot transfer 中体现得最直接。MINT-Zero 从单条 demonstration 中提取 $S_1^{demo}$，在新环境中固定该 token，仅根据当前 observation 重新预测 $S_{2:K}$： \(S_1^{demo}+o_t \rightarrow S_{2:K}^{new} \rightarrow A^{new}.\) 因此 transfer 的并不是 demonstration 中的 high-frequency dynamics，而是 coarse latent；fine execution 是在新环境下重新生成的。

4. Experiments and evidence

在 standard benchmarks 上，MINT-4B 达到 LIBERO 平均 98.3%、CALVIN 五任务连续成功率 86.1%、MetaWorld 平均 67.2%。在 LIBERO-Plus 的七类 distribution shift 下平均成功率为 80.1%，高于 $\pi_{0.5}$ 的 65.0%。 更关键的是 one-shot intent injection：在 New Task、New Layout 和 Extended Horizon 三类测试中，直接注入单条 demonstration 提取的 $S_1$，平均成功率达到 0.77，明显高于 trajectory replay 的 0.11 和 one-shot fine-tuning 的 0.17。这说明 $S_1$ 确实包含可跨具体 execution instance 复用的 behavior-level information。 Spectral ablation 进一步说明性能提升来自 scale-wise spectral supervision，而不只是 multi-scale tokenization 本身。在 LIBERO-Long 上，terminal time-domain reconstruction 为 87.8%，scale-wise time-domain reconstruction 反而降至 82.8%，而 scale-wise spectral reconstruction 提升至 93.4%。这支持了作者的观点：仅有 hierarchy 不足，必须显式约束不同 scale 承担不同 frequency content。

5. Limitation

论文并没有严格证明 $S_1$ 是纯粹的 task intent，或者 $S_{2:K}$ 专门编码 environment-dependent dynamics。缺失的关键实验包括：比较不同层级 token injection 的 transfer 效果、与 oracle task ID conditioning 的直接比较，以及 probing $S_1$ 是否对 task identity 高敏感而对 scene/layout 低敏感。因此更稳妥的结论是：MINT 学到了一个可迁移的 coarse action latent，并通过 finer latent 重新生成 context-dependent execution；它提供了对 behavior abstraction 和 physical realization 解耦的有效 inductive bias，但尚未严格证明这种分解等价于 task semantics 与 low-level dynamics 的完全 disentanglement。

---

---

Day2: feasibility, progress, and failure

What physical information should the low-level system expose to the high-level reasoner so that the latter can reason about feasibility, progress, and failure?

重点不再只是 capability model，而是研究各种 bottom-up interface：

具体可以看五类信息：

1. affordance / feasibility：这个动作现在能不能做；
2. success / progress：做到了多少；
3. failure semantics：为什么失败；
4. physical state：contact / force / tactile / stability；
5. capability boundary：机器人在当前 embodiment 下到底有哪些可行行为。

   Comment

semantic-level failure retrieval on structure graph. but for tasks that can hardly be decribed by language or descrete parse graph(with continuous states and ambiguous stage seperation)

---

REFLECT: Summarizing Robot Experiences for FaiLure Explanation and CorrecTion

2023 CoRL Zeyi Liu∗ Arpit Bahety∗ Shuran Song

Core idea: Use LLM to generate robot failure summary to enhance later performance. LLM converts the multisensory observation to a hierarchy explanation of robot failure and plan correction motion accordingly.

---

FIRE-Grasp: Failure-Informed Regrasping With Multimodal Evidence

2026 RAL Bojun Yang , Yifan Sun , Yilin Huang , Graduate Student Member, IEEE, Ye Lin , Junling Wang , and Yi Guo

Core idea: Girpper grasp. Failure detection, failure reason evaluation and grounding(?), then genereate regrasp traj. 能识别哪些类别的失败，失败diagnose的正确率如何。正确的diagnose多大程度上能够提高regrasp成功率。 本文的关注点是post failure recovery。之前的工作只是从多模态的log中分类、诊断故障，但不能据此生成恢复。而基于failure diagnose + VLM 的recovery 生成，lacks direct force/tactile feedback and often produces free-form textual guidance，不能直接ground为geometry feasible control parameter，特别是考虑到真实世界的contact uncertainty and partial observability–reliability-aware。

Comment

1. not open vocabulary, rely on labeled 5-way failure category

Day3: What kinds of reusable physical execution capabilities currently exist in robotics, and what are their scope, interface, feedback, generalization, and limitations?

---

$\pi_{0.5}$: a Vision-Language-Action Model with Open-World Generalization

2025 CoRL Physical Intelligence

Goal. Train a generalist mobile-manipulation policy that can execute long-horizon household tasks in entirely unseen homes. Architecture.

\[(o_t,\ell) \xrightarrow{\text{high-level}} \hat\ell_t \xrightarrow{\text{low-level}} a_{t:t+H}\]

where $o_t$ contains multi-view RGB observations and proprioception, $\ell$ is the global task, and $\hat\ell_t$ is a textual subtask. Importantly,

\[\pi(a,\hat\ell\mid o,\ell) = \pi(a\mid o,\hat\ell)\pi(\hat\ell\mid o,\ell),\]

so the low-level controller is conditioned on the predicted subtask rather than directly on the original long-horizon instruction.

![[pi0.5-pipeline.png]]

Training. Pretraining combines heterogeneous supervision: target mobile-manipulator data, cross-embodiment robot data, manually annotated semantic subtasks and bounding boxes, and multimodal web data. Actions are represented using FAST discrete action tokens. Post-training specializes to mobile manipulation and introduces a 300M flow-matching action expert for efficient continuous action generation, while retaining token-prediction objectives to preserve semantic capabilities.

Key empirical finding. Cross-embodiment robot data primarily improves manipulation skill, while web data contributes especially to semantic/OOD-object generalization and high-level subtask prediction. Explicit high-level inference helps, but much of the gain already appears when subtask supervision is included during training without explicit runtime reasoning.

Interface limitation. Despite the hierarchical architecture, the semantic–physical interface is still essentially a textual subtask. The model does not explicitly expose feasibility, physical state, progress, uncertainty, or failure semantics to the high-level module. Failures therefore include physical infeasibility, partial observability, and high-level looping without explicit diagnosis.

---

HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots

2025 ICRA Tairan He, Wenli Xiao, Toru Lin, Zhengyi Luo, Zhenjia Xu, Zhenyu Jiang, Jan Kautz, Changliu Liu, Guanya Shi, Xiaolong Wang, Linxi Fan, Yuke Zhu

Day4: Programmable Controllers

training-free

RMPflow: A Computational Graph for Automatic Motion Policy Generation

2018 WAFR Ching-An Cheng, Mustafa Mukadam, Jan Issac, Stan Birchfield, Dieter Fox, Byron Boots, Nathan Ratliff

Summary

Core idea: RMPflow 是一种 reactive motion generation / policy synthesis 方法。 机器人具有 configuration space$\mathcal C$，当前 configuration 为$q\in\mathcal C$，状态为$(q,\dot q)$。通过不同的 task map $x_i=\psi_i(q)$ 可以把机器人映射到多个 task spaces，例如末端位置、link 位置、关节坐标、到障碍物的距离等。每个 task space 上定义一个 Riemannian Motion Policy $\mathcal R_i(x_i,\dot x_i)=(a_i,M_i),$ 其中 $a_i(x_i,\dot x_i)$ 表示该 task 希望实现的 desired acceleration，而 $M_i(x_i,\dot x_i)\succeq0$ 表示这个目标在不同方向上的 importance。RMPflow 将这些 task-space policies 通过 Jacobian 几何一致地 pull back 到 configuration space，并求解

$\boxed{ \ddot q^\star= \arg\min_{\ddot q} \frac12\sum_i \left| J_i\ddot q+\dot J_i\dot q-a_i \right|_{M_i}^{2} }$

从而得到当前状态下的 joint acceleration $\ddot q=\pi(q,\dot q).$ 因此，各个 local RMP 合在一起，可以看成隐式定义了 configuration-state space$(q,\dot q)$ 上的一个二阶 vector field。它的 reactivity 确实是最核心的优势。它不像 trajectory optimization 那样每次显式计算整条 $q_{0:T},$ 而是不断重新计算 $(q_t,\dot q_t,\text{current environment}) \mapsto \ddot q_t.$ 如果 obstacle 或 target 变化，只要相应的 task map / RMP 参数更新，下一 control cycle 就会立即产生新的 acceleration。因此它很适合 moving target、dynamic obstacle 和在线 perturbation。论文的真实系统也是通过实时视觉更新 world state，再让 motion generator 响应。

Comment

优势：

1. 目标位置$x_g$、obstacle 位置等参数可以实时变化，例如同一个 attractor RMP 可以不断接受新的$x_g(t)$。只要重新设计相应的 task map / RMP，相当于新的 analytical primitives.
2. reactive、modular、interpretable、training-free

缺点：

1. Locality / lack of look-ahead。 RMPflow 没有显式规划未来的完整 trajectory，因此不能直接比较不同 homotopy class。例如为了绕过一个 U-shaped obstacle，正确策略可能要求暂时“远离目标”。局部 vector field 并不知道这种长期拓扑结构，所以可能出现 local minima、oscillation 或走入死路。
2. Behavior 和 metric 需要人工设计。
   原始 RMPflow 是 training-free，但不是 design-free。你需要人工规定 $a_i(x,\dot x),\quad M_i(x,\dot x)$ 的形式以及 potential、damping、activation 等参数。论文最后也明确把“通过 learning 降低手工设计 subtask RMP 的要求”列为 future work。
3. 多目标是 soft trade-off，而不是一般意义上的 hard constraints。
   它本质在求 weighted least squares：$\min_{\ddot q}\sum_i |\ddot x_i-a_i|{M_i}^2.$ 因此一个 obstacle-avoidance objective 通常是通过把相应$M_i$ 或 repulsion 调得很大来获得优先级，而不是直接施加 $d(q,\mathcal O)\ge d{\min}$ 这样的硬约束。所以不像 CBF、constrained optimization 那样天然给出严格 collision constraint guarantee。RMPflow 论文证明的是特定 GDS 条件下的 stability，而不是一般的 collision-free completeness。

   Day5: How to learn foundational skills

Summary

skills can be described as action distribution, policy, optimization objective and constraints. data-driven approaches to gain such skills can be borardly categorized into 2 categories:

1. teleoperation + Imitation learning
2. RL

for dexterous manipulation, the challenge are two-folds:

1. complexity in contact-rich dynamics, high-dimensional configuration space
2. dexterity in long-horizon contact transition

这两个challenge可以分别解决。 第一个主要在于难建模的物理动态，可以用RL解决。 第二个主要在于高维空间的路径规划，可以用人类demo， heuristic, 或者RRT这种采样建图构建搜索树的方式寻路。

DEXTERITYGEN: Foundation Controller for Unprecedented Dexterity

2025 RSS Zhao-Heng Yin1,2, Changhao Wang2, Luis Pineda2, Francois Hogan2, Krishna Bodduluri2, Akash Sharma2, Patrick Lancaster2, Ishita Prasad2, Mrinal Kalakrishnan2, Jitendra Malik2, Mike Lambeta2, Tingfan Wu2, Pieter Abbeel1, Mustafa Mukadam2 ![[dexgen.png]]

Core Idea

a generative model that transfer a coarse, unsafe external motion command to a safe and fine action. use RL to pretrain large scale dexterous motion primitives leverage the learned dataset to train a dexterous foundational controller use human teleoperation as prompt to the controller to produce highly dexterous behaviour.

key insight is that: RL is effective at learning low-level motion primitives, while humans excel at providing coarse motion commands for complex, long-horizon tasks.

Day6: Generalizable manipulation affordance in object space

General Flow as Foundation Affordance for Scalable Robot Learning

2025 CoRL Chengbo Yuan, Chuan Wen, Tong Zhang, Yang Gao

ManipLLM: Embodied Multimodal Large Language Model for Object-Centric Robotic Manipulation

2024 CVPR Xiaoqi Li, Mingxu Zhang, Yiran Geng, Haoran Geng, Yuxing Long, Yan Shen, Renrui Zhang, Jiaming Liu, Hao Dong

RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation

2024 CoRL Yuxuan Kuang, Junjie Ye, Haoran Geng, Jiageng Mao, Congyue Deng, Leonidas Guibas, He Wang, Yue Wang

Any-point Trajectory Modeling for Policy Learning

2024 RSS Chuan Wen, Xingyu Lin, John Ian Reyes So, Kai Chen, Qi Dou, Yang Gao, Pieter Abbeel

视频演示数据比带动作标签的数据更容易获得，其中也包含大量的信息：几何、语义、物理…… 但是缺乏动作标签（？） 如何从视觉数据中学习到对动作有帮助的信息？ 将动作表达为点的移动。

Core idea

从大量视觉数据中预训练【】能力，然后用少量动作标签训练DP把物体逐点移动预测翻译成动作指令。

RoboPoint: A Vision-Language Model for Spatial Affordance Prediction in Robotics

2025 CoRL Wentao Yuan, Jiafei Duan, Valts Blukis, Wilbert Pumacay, Ranjay Krishna, Adithyavairavan Murali, Arsalan Mousavian, Dieter Fox

Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation

2023 CoRL Theophile Gervet, Zhou Xian, Nikolaos Gkanatsios, Katerina Fragkiadaki

HACMan: Learning Hybrid Actor-Critic Maps for 6D Non-Prehensile Manipulation

2023 CoRL oral Wenxuan Zhou, Bowen Jiang, Fan Yang, Chris Paxton, David Held

#reinforcementLearning #actionRepresentation #nonprehensile

Core idea

proposes an object-centric action representation for non-prehensile manipulation: 只关注contact的位置（在物体点云中选点），和接触后的一帧移动方向。 相应地用RL训练了一个policy来实现在（离散选点，连续方向选择）的决策空间上生成动作。 在多种(seen/unseen)物体的 nonprehensile pose alignment 任务上验证了表征的优越性和RL算法有效性。

Comment

1. 为什么可以generalize across objects（更换物体instances, catagories SR 几乎不降）：点云经过 PointNet++ 可以提取局部和全局的几何特征，而不依赖于物体类别语义。
2. 从目标表示到动作表示到RL学习架构，都强绑定于点云表征：limitation中也提到，对于点云观测精度、观测和目标点云匹配、非遮挡的依赖。
3. 只学习contact rich的部分，如何在 free-space 中运动，交给下游规划器来做。把学习的目标剥离得更干净。
4. 把 6D 位姿匹配目标表示为逐点位移，避免了旋转和平移表征对齐的问题。
5. 把 per-point actor map 替换成所有点一致的 EE displacement预测，SR 只 $85.4\%\rightarrow 83.5\%$.
6. closed-loop 的频率较低，每次只预测和执行一个 action，然后 EE 再 reset -> precontact -> contact -> push，而不是连续执行。

   Details

   RL policy: input: 3D point clouds $\mathcal{P}=(p,m,f)$. p是位置，m是mask（前景/背景），f 是 flow vecter $\Delta p = p_{goal}-p$ output: \(\mathbf{a}=(p,\delta p),\qquad p\in\mathcal{P},\; \delta p \in \mathbb{R}^3\)

7. $\mathbf{a}$ 交给下游 motion planner 用 EE 实现
8. $p$ 离散地选自观测点云(确保接触点的 spatial grounding)，而”action parameter” $\delta p$ 来自连续的 EE 轨迹空间，决策空间 is hybrid–>actor network outputs per-point continuous motion parameters and the critic network predicts per-point Q-values over the object point cloud.

---

FlowBot++: Learning Generalized Articulated Objects Manipulation via Articulation Projection

2023 CoRL Harry Zhang, Ben Eisner, David Held

Day7: Agentic Robot benchmarks

Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies

2026.10 Arxiv Galbot Team

Benchmarking Astra on 6 embodied tasks, compares direct control, cooperation with learned policies, and feedback-driven adaptation.

[[Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies]]

Day8: Agentic Robot

ASPIRE: Agentic /Skills Discovery for Robotics

Arxiv 2607.00272 Runyu Lu, Yubo Wu, Ethan Kou, Max Fu, Wenli Xiao, Ajay Mandlekar, Yinzhen Xu, Guanya Shi, Ken Goldberg, Ang Chen, Mosharaf Chowdhury, Yuke Zhu, Linxi “Jim” Fan, Guanzhi Wang

是否意味着 robotics 的工作以后不再需要人类去为某种特定的task优化方法，而是在于搭建稳定、可自主恢复的系统，让 agent 来自主完成 skill 学习？