You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

Dishwasher manipulation checkpoints

本仓库包含 5 个基于 π0.5 的洗碗机餐盘操作 checkpoint。它们均使用 16 维直接动作表示(action_dim=32,包含双臂),动作预测 horizon 为 50;训练产物采用 JAX/Orbax checkpoint 格式。

模型一览

仓库目录 是否使用触觉 任务
circleL_upload/ 是 大号圆盘上料:必要时先把盘子移到桌面中央;右手将最上层盘子从盘堆中滑出并保持,左手抓取后把盘子插入洗碗机碗架。
circleM_upload/ 是 中号圆盘上料:必要时先居中盘子;右手滑出并保持最上层盘子,左手抓取并插入碗架。
square_upload/ 是 方盘上料:必要时先居中盘子;右手滑出并保持最上层盘子,左手抓取并插入碗架。
mix_upload/ 是 混合餐盘上料:必要时先居中盘子;右手滑出并保持最上层盘子,左手抓取并插入碗架。
mix_unload/ 否 混合餐盘下料:若有非圆盘直立,先将其放倒;随后用右手把碗架中的 10 个盘子全部取出并堆叠到桌面上。

触觉配置

circleL_upload、circleM_upload、square_upload 和 mix_upload 是视觉-触觉策略。它们使用冻结的 facebook/sparsh-vjepa-base 作为触觉编码器,输入为相对于每个 episode 第 0 帧生成的 4 帧有序背景差分触觉序列:

[D_t, D_t-1, D_t-2, D_t-3]
D = clip((I - I0) + 0.5, 0, 1)

这些模型还使用最近 8 步动作历史进行条件化。

mix_unload 不使用触觉输入或触觉编码器;它使用常规视觉/状态输入,并同样使用最近 8 步动作历史进行条件化。

目录说明

  • 五个顶层模型目录采用一致的结构:目录本身就是可加载的 Orbax checkpoint 根目录,下面直接包含 _CHECKPOINT_METADATA、params/ 和 assets/。
  • 每个 checkpoint 中的 assets/**/norm_stats.json 保存对应训练数据的归一化统计量;加载时应与同一 checkpoint 配套使用。

English summary

  • circleL_upload, circleM_upload, square_upload, and mix_upload are tactile π0.5 policies for loading large round, medium round, square, and mixed plates into a dishwasher rack, respectively. They use a frozen SPARSH V-JEPA tactile encoder, four ordered background-difference tactile frames, and an 8-step action history.
  • mix_unload is a non-tactile π0.5 policy for unloading 10 mixed plates from the rack and stacking them on the table. It uses an 8-step action history.
Downloads last month

-

Downloads are not tracked for this model. How to track
Video Preview
loading