vision-tl-action-light

轻量视觉-TL-行动线(LightTLChunk,无 VLM 骨干、约 65M 参数)的数据集与模型 checkpoint 存档。所有成功率数字均为 Panda E01 holdout 闭环 Success@K(审计协议、seed 1007、单种子)。

目录与内容

datasets/

路径 大小 内容
train/panda_vta_aligned_train_rgb_v1/ 415 MB 正式训练集:57,058 条 Panda 轨迹、约 741 万 RGB 帧(HDF5 records 分片)、每帧双视角(custom 俯视 + BEV)、关节状态、动作序列、TL-graph 场景标注、dataset_statistics.json(动作归一化统计)。本线全部训练作业实际使用的数据集
test/panda_vta_e01_eval_registry_v1/ 6.6 MB E01 holdout 评测注册表:512 个任务(128 正式 + 384 扩展)的场景/渲染/初始状态参数与审计文件(audit.json 等)

checkpoints/

每个目录含 pytorch_model.pt(LightTLChunk 权重,~65 MB)。"S@256" 为 Panda E01 holdout 128 任务闭环成功率(%,候选 256、seed 1007);f0/f1/f2/f3 为任务族细分。

目录 配置 训练步数 S@256
to2-4x_hist2_85k_s256-61.72_SOTA/ 观测历史 2 帧(To2) 85,596 61.72(当前最佳)
lowlr2_50.78+21k-reanneal_s256-53.91/ 无记忆 + 余弦重退火抛光 85,596+21,399 53.91
lowlr_4xfinal+21k_s256-50.78/ 无记忆 + 恒 1e-5 抛光 85,596+21,399 50.78
a0-4x_h8_85k_s256-46.88/ A0(H=8 纯噪声) 85,596 46.88
to2-lowlr_to2final+21k_s256-44.53/ To2 + 低 LR 抛光 21,399+21,399 44.53
to4_hist4_21k_s256-44.53/ 观测历史 4 帧 21,399 44.53
to2_hist2_21k_s256-42.19/ 观测历史 2 帧 21,399 42.19
a0_h8_21k_s256-35.94/ A0 基线 21,399 35.94
b1_h16_21k_s256-29.69/ H=16 纯噪声(归因对照) 21,399 29.69
b0b_sourceshift-scratch_s256-24.22/ SafeFlowMPC 源平移(从零) 21,399 24.22
a0-16x_h8_342k_s256-21.09_freshcosine-neg/ fresh-cosine 续训(负结果) 342,384 21.09
b0a_sourceshift-finetune_s256-14.84/ SafeFlowMPC 源平移(微调) +微调 14.84
c1_h16-inpaint_21k_s256-14.06/ inpainting 前缀 clamp 21,399 14.06
to10_hist10s4_21k/ 观测历史 10 帧 @stride 4 21,399 评测中

说明:checkpoint 文件名中的步数为优化器步数;以 _smoke 结尾及未列出的中间快照未收录。

备注

  • 评测任务族:f0 单阶段 / f1-f3 多阶段(Panda TL 场景)。
  • 数据集为 HDF5 分片格式,读取方式见训练代码(panda_render_datasets_tl loader)。
  • 本仓库仅作内容存档;代码与协议细节见配套工程文档(未公开部分)。
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support