ActionRoPE(动作走 RoPE 的 Wan2.2-TI2V-5B 世界模型)

《恶意不息》2.5D 俯视角漫游数据(teawhite/EYBX-processed)上训练:动作不走文本,写进每帧 token 的 RoPE 世界坐标; known/new 支持掩码;文本只含场景。零新增参数(mask 通道 conv 15,360 参数可关)。

路径 内容
DISTILL_HANDOFF.md 从零搭环境、拉数据、加载权重、前向/训练/评测接口(先读这个)
code/ 训练 / 推理 / 评测 / baseline 代码(actionrope/baseline/configs/scripts/tests/、项目 README、requirements.txt
checkpoints/arope_10k_ga2/step-10000.safetensors 当前最好的权重(10 GB,只含 DiT + arope_mask_embedding.*)+ config.json + 训练/验证日志
data/arope_sidecar.pt 22,782 个 clip 的逐 cell 相机偏移(训练必需,32 MB)
data/text_table_actionrope.pt 只含场景的 UMT5 文本表(361 键,1.5 GB)
data/text_table_eybx_mirror.pt 动作词翻回真实方向的 UMT5 文本表(plain/prompt 对照臂用,7.5 GB)
data/gain_fit_y112.json 相机增益校准结果(重建 sidecar 用)
data/eval/eybx_bg_50/ 50 个未见背景(bg50 四科评测)

训练配方:8×H200、DeepSpeed ZeRO-2、bf16、每卡 batch 1 × 梯度累积 2、lr 1e-5、10k 步(5k + 续训 5k)。 bg50 四科(1×)@5k:增益斜率 0.94、折返 PSNR 19.1 dB、倒退帧 9/50 景、方向误差中位 0.76°、失控 0。

Downloads last month
2,167
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for teawhite/ActionRoPE

Finetuned
(91)
this model