DuVLA V3.31

DuVLA 以冻结的 Qwen3-VL-2B-Instruct 为视觉语言骨干,使用 Flow Matching 策略 生成机器人动作。本仓库提供 V3.31 策略权重;源码、安装和训练说明见 DuVLA GitHub 仓库。

作者与维护者:goddogman。Hugging Face 发布账号 doggodman 由同一作者维护。 骨干依赖为冻结的 Qwen3-VL-2B-Instruct; 本仓库提供单独训练的机器人策略,使用项目加载器与骨干组合推理。

文件与使用

  • policy.pt:V3.31 机器人策略权重。
  • model_config.json:策略结构配置。
  • train_manifest.json:训练配置及动作归一化统计。
hf download doggodman/duvla-v3.31 \
  policy.pt model_config.json train_manifest.json \
  --revision 5f5003cbf8c2f9febf2d88fd6b1e84107bd07689 \
  --local-dir weights/duvla-v3.31

评测命令见GitHub README。 策略由项目的 PyTorch 加载器读取,不使用 AutoModel.from_pretrained。 固定代码版本为 Git tag v3.31;权重 SHA256 为 321109cf3662f4e5bd946ed475213cd61e1ba8d2227a9dce5906517694b18aa3。 安装、CPU 加载检查与上游版本见复现说明。 train_manifest.json 内的 V3.27 表示基础缓存来源,模型版本以 policy.pt 内的 V3.31 为准。

模型与硬件

双相机128×128和自然语言输入,冻结Qwen3-VL-2B提供layer14空间网格与多层语义, 语言桥接及双相机融合后输入Flow动作专家。每次生成5条8步7D动作,逐坐标中值,执行前2步。 机器人policy为134,394,924参数,主策略激活路径101,895,440参数;完整推理仍需要约2.13B的Qwen。 RTX 5060 Laptop 8GiB 实机完成冻结骨干特征上的策略训练及在线测评。

完整 LIBERO 结果为 1906/2000(95.30%)。

训练与结果

使用2000条LIBERO官方训练示范、336,575个因果有效起点,训练数据源和revision在manifest中。 V3.31经过基础策略从头30E、再全量30E联合适配及训练侧增强;前置阶段在训练代码中标识为V3.29。 训练不使用评测初始状态、成功信号或奖励。

版本 LIBERO-10 Spatial Object Goal 总计
V3.31 457/500 479/500 484/500 486/500 1906/2000

测评:单模型、自然语言、无 task-index、40 任务 × 50 状态;20Hz 仿真控制、OSMesa、 5 条 Flow 候选、每轮执行 2 步、seed 23,时限分别为 520/280/280/300 环境步。

使用时另需 Qwen3-VL-2B-Instruct 和 LIBERO 模拟器;评测不需要训练缓存或示范 HDF5。

限制与许可

DuVLA 自有代码和策略采用 MIT 许可,版权人为 goddogman。 Qwen 权重、LIBERO 数据和模拟资产从各自上游单独获取并遵循其许可。 引用本项目请参阅 CITATION.cff。

Downloads last month

-

Downloads are not tracked for this model. How to track
Video Preview
loading