Dishwasher manipulation checkpoints
本仓库包含 5 个基于 π0.5 的洗碗机餐盘操作 checkpoint。它们均使用 16 维直接动作表示(action_dim=32,包含双臂),动作预测 horizon 为 50;训练产物采用 JAX/Orbax checkpoint 格式。
模型一览
| 仓库目录 | 是否使用触觉 | 任务 |
|---|---|---|
circleL_upload/ |
是 | 大号圆盘上料:必要时先把盘子移到桌面中央;右手将最上层盘子从盘堆中滑出并保持,左手抓取后把盘子插入洗碗机碗架。 |
circleM_upload/ |
是 | 中号圆盘上料:必要时先居中盘子;右手滑出并保持最上层盘子,左手抓取并插入碗架。 |
square_upload/ |
是 | 方盘上料:必要时先居中盘子;右手滑出并保持最上层盘子,左手抓取并插入碗架。 |
mix_upload/ |
是 | 混合餐盘上料:必要时先居中盘子;右手滑出并保持最上层盘子,左手抓取并插入碗架。 |
mix_unload/ |
否 | 混合餐盘下料:若有非圆盘直立,先将其放倒;随后用右手把碗架中的 10 个盘子全部取出并堆叠到桌面上。 |
触觉配置
circleL_upload、circleM_upload、square_upload 和 mix_upload 是视觉-触觉策略。它们使用冻结的 facebook/sparsh-vjepa-base 作为触觉编码器,输入为相对于每个 episode 第 0 帧生成的 4 帧有序背景差分触觉序列:
[D_t, D_t-1, D_t-2, D_t-3]
D = clip((I - I0) + 0.5, 0, 1)
这些模型还使用最近 8 步动作历史进行条件化。
mix_unload 不使用触觉输入或触觉编码器;它使用常规视觉/状态输入,并同样使用最近 8 步动作历史进行条件化。
目录说明
- 五个顶层模型目录采用一致的结构:目录本身就是可加载的 Orbax checkpoint 根目录,下面直接包含
_CHECKPOINT_METADATA、params/和assets/。 - 每个 checkpoint 中的
assets/**/norm_stats.json保存对应训练数据的归一化统计量;加载时应与同一 checkpoint 配套使用。
English summary
circleL_upload,circleM_upload,square_upload, andmix_uploadare tactile π0.5 policies for loading large round, medium round, square, and mixed plates into a dishwasher rack, respectively. They use a frozen SPARSH V-JEPA tactile encoder, four ordered background-difference tactile frames, and an 8-step action history.mix_unloadis a non-tactile π0.5 policy for unloading 10 mixed plates from the rack and stacking them on the table. It uses an 8-step action history.