vision-tl-action-light
轻量视觉-TL-行动线(LightTLChunk,无 VLM 骨干、约 65M 参数)的数据集与模型 checkpoint 存档。所有成功率数字均为 Panda E01 holdout 闭环 Success@K(审计协议、seed 1007、单种子)。
目录与内容
datasets/
| 路径 | 大小 | 内容 |
|---|---|---|
train/panda_vta_aligned_train_rgb_v1/ |
415 MB | 正式训练集:57,058 条 Panda 轨迹、约 741 万 RGB 帧(HDF5 records 分片)、每帧双视角(custom 俯视 + BEV)、关节状态、动作序列、TL-graph 场景标注、dataset_statistics.json(动作归一化统计)。本线全部训练作业实际使用的数据集 |
test/panda_vta_e01_eval_registry_v1/ |
6.6 MB | E01 holdout 评测注册表:512 个任务(128 正式 + 384 扩展)的场景/渲染/初始状态参数与审计文件(audit.json 等) |
checkpoints/
每个目录含 pytorch_model.pt(LightTLChunk 权重,~65 MB)。"S@256" 为 Panda E01 holdout 128 任务闭环成功率(%,候选 256、seed 1007);f0/f1/f2/f3 为任务族细分。
| 目录 | 配置 | 训练步数 | S@256 |
|---|---|---|---|
to2-4x_hist2_85k_s256-61.72_SOTA/ |
观测历史 2 帧(To2) | 85,596 | 61.72(当前最佳) |
lowlr2_50.78+21k-reanneal_s256-53.91/ |
无记忆 + 余弦重退火抛光 | 85,596+21,399 | 53.91 |
lowlr_4xfinal+21k_s256-50.78/ |
无记忆 + 恒 1e-5 抛光 | 85,596+21,399 | 50.78 |
a0-4x_h8_85k_s256-46.88/ |
A0(H=8 纯噪声) | 85,596 | 46.88 |
to2-lowlr_to2final+21k_s256-44.53/ |
To2 + 低 LR 抛光 | 21,399+21,399 | 44.53 |
to4_hist4_21k_s256-44.53/ |
观测历史 4 帧 | 21,399 | 44.53 |
to2_hist2_21k_s256-42.19/ |
观测历史 2 帧 | 21,399 | 42.19 |
a0_h8_21k_s256-35.94/ |
A0 基线 | 21,399 | 35.94 |
b1_h16_21k_s256-29.69/ |
H=16 纯噪声(归因对照) | 21,399 | 29.69 |
b0b_sourceshift-scratch_s256-24.22/ |
SafeFlowMPC 源平移(从零) | 21,399 | 24.22 |
a0-16x_h8_342k_s256-21.09_freshcosine-neg/ |
fresh-cosine 续训(负结果) | 342,384 | 21.09 |
b0a_sourceshift-finetune_s256-14.84/ |
SafeFlowMPC 源平移(微调) | +微调 | 14.84 |
c1_h16-inpaint_21k_s256-14.06/ |
inpainting 前缀 clamp | 21,399 | 14.06 |
to10_hist10s4_21k/ |
观测历史 10 帧 @stride 4 | 21,399 | 评测中 |
说明:checkpoint 文件名中的步数为优化器步数;以 _smoke 结尾及未列出的中间快照未收录。
备注
- 评测任务族:f0 单阶段 / f1-f3 多阶段(Panda TL 场景)。
- 数据集为 HDF5 分片格式,读取方式见训练代码(
panda_render_datasets_tlloader)。 - 本仓库仅作内容存档;代码与协议细节见配套工程文档(未公开部分)。
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support