Serl

RL policy–RLPD

Preliminaries

Robotic reinforcement learning tasks can be defined via an MDP $\mathcal{M}={\mathcal{S}\mathcal{A},\rho,\mathcal{P}, r,\gamma}$ where $s\in\mathcal{S}$ is the state observation (e.g., an image in combination with the current end-effector position), $a\in\mathcal{A}$ is the action (e.g., the desired end-effector pose), $\rho(s0)$ is a distribution over initial states, $\mathcal{P}$ is the unknown and potentially stochastic transition probabilities that depend on the system dynamics, and $r:\mathcal{S}\times\mathcal{A}\rightarrow \mathbb{R}$ is the reward function, which encodes the task.

algorithm–RLPD

RLPD 在 Soft Actor-Critic (SAC)的基础上，针对小样本+真实物理世界上人类演示数据少的问题，设计算法让机器人在真机上以极高的效率安全地学习策略。

关键创新：

数据的均匀混合采样避免灾难性遗忘

在传统的 RL 中，机器人只从自己探索的在线经验池 $\mathcal{D}{online}$ 中采样学习。而在 RLPD 中，我们预先收集了一批高质量的人类演示数据（Prior Data），存入离线经验池 $\mathcal{D}{prior}$。

每次神经网络更新时，RLPD 强制要求构建一个混合的 mini-batch。其采样分布 $\rho$ 可以表示为：

\[\rho(s, a, r, s') = 0.5 \cdot \rho_{prior} + 0.5 \cdot \rho_{online}\]

确保网络始终在复习人类的正确动作（Prior），防止策略在探索初期发生灾难性遗忘（Catastrophic Forgetting）。

极高的 UTD (Update-To-Data Ratio)

UTD 指的是“机器人在环境中走一步，神经网络在后台更新多少次”。

传统的 RL（如 SAC）通常是 1:1。但在真实物理世界，收集数据太慢了。RLPD 采用了极高的 UTD（例如 20），也就是采集 1 条新数据，网络就拿历史数据更新 20 次。

抑制 Q 值过估计 (Ensemble Critics & LayerNorm)

高 UTD 带来了一个致命问题：Q 值的灾难性过估计（Overestimation）。网络更新太快，会导致对未见过状态的价值产生不切实际的盲目乐观。

RLPD 引入以下两个机制来改善：

• Critic 引入 Layer Normalization： 在 Q 网络的每一层加入 LayerNorm，强制平滑特征，防止梯度爆炸。

• 集成网络（Ensemble Q-Networks）： 将 SAC 原本的 2 个 Critic 扩展为 $N$ 个（例如 10 个）。在计算目标 Q 值 $y$ 时，随机抽取一个子集 $\mathcal{M}$（通常包含 2 个网络），并取它们的最小值，以此保持悲观：

\[y = r + \gamma \Big( \min_{j \in \mathcal{M}} Q_{\theta'_j}(s', a') - \alpha \log \pi_\phi(a' | s') \Big)\]

(其中 $r$ 是奖励，$\gamma$ 是折扣因子，$\alpha$ 是控制探索的温度参数，$\pi\phi$ 是当前策略。)_

然后，用这个保守的目标 $y$ 去更新所有的 $N$ 个 Critic：

\[J_Q(\theta_i) = \mathbb{E}_{(s,a,r,s') \sim \rho} \Big[ \big( Q_{\theta_i}(s, a) - y \big)^2 \Big]\]

online training

actor和learner在两个异步线程上。 ![[Pasted image 20260707183614.png]]

Reset

reward function

允许用户在真实世界中直接定义reward function

视觉输入

Robot controller

对于contact rich 任务，controller需要有阻尼控制； 需要精确； 需要安全；

效果

对每个任务，SERL能够在15-60分钟内学到近乎100%成功率的策略

人在回路修正 (Human-in-the-Loop)

这是 HIL-SERL 的核心升级。在策略自主训练过程中，当机器人陷入死角或发生错误时，人类通过 SpaceMouse 实时接管并给出纠正动作 。这些纠正数据会被加入经验回放池，使策略能够从错误中学习 。

TODO

1. setup franka controller
2. 尝试复现一个SERL中已有的任务
3. 定义灵巧手的动作空间
4. 手的controller