yixue888/Coract_checkpoint

CoRAct checkpoints

⚠️ 未整理版本（raw research release）：这是论文 arXiv:2610.39543 配套的原始训练存档，按内部实验目录结构直接上传，未做整理与筛选。 目录命名沿用内部 run 约定；完整评测口径与更多指标见论文与 项目主页。整理过的版本可能后续发布。

基于 deepseek-ai/JanusFlow-1.3B 微调的机器人动作专家（action expert）， 数值 CoT + chunk-start-relative 动作目标 + 可选 world-model 生成损失， 覆盖 VLABench 与 RoboCasa，并包含 GRPO 噪声 actor 训练产物与 grounding 奖励模型。

配套代码：https://github.com/onlyxingxingzyx/CoRAct_model （论文、方法说明、训练/评测流程、环境文件都在那里）

仓库结构

目录	变体	内容
vlabench/	VLABench 全部 checkpoint（cot_action_only/ = CoT only；cot_wm/ = CoT + world-model；no_cot_action_only/ = no-CoT action baseline）	每个配置 best + last，另有 GRPO 起点 ep7（cot_wm/）与人类干预实验 base ep7（cot_action_only/）
robocasa/	RoboCasa checkpoint（均为 CoT 系：checkpoint-epoch-*/ 与 with_state_*/、wm_224/ = CoT + world-model；action_only_224/ = CoT only 无 world-model；暂无 no-CoT 存档）	SFT 基座 + 224 对照实验 + GRPO actor 产物，详见 robocasa/README.md
grpo/	GRPO 训练产物与评测输出	VLABench GRPO
groundingdino/	GRPO waypoint/world 奖励用的 grounding 模型	base 为公共 IDEA-Research/grounding-dino-base，这里只放训练头，见 groundingdino/README.md

Checkpoint 成功率（VLABench Track-1 闭环，10 任务约 500 episodes；RoboCasa copy_test，17 任务 510 episodes）

VLABench（vlabench/）

checkpoint	CoT	world-model	成功率	备注
cot_wm/checkpoint-epoch-10_best_44.4pct	✅	✅	44.4%	本配置最高
cot_wm/checkpoint-step-30000_last_41.1pct	✅	✅	41.1%	续训至 30k step
cot_wm/checkpoint-epoch-7_grpo_base	✅	✅	44.3%	VLABench GRPO 训练起点
cot_action_only/checkpoint-epoch-9_best_41.3pct	✅	❌	41.3%	本配置最高
cot_action_only/checkpoint-epoch-10_last	✅	❌	39.7%	最后一个 epoch
cot_action_only/checkpoint-epoch-7_human_intervention_base	✅	❌	39.2%	人类干预/评审实验所用模型
no_cot_action_only/checkpoint-epoch-9_best_47.5pct	❌	❌	47.5%	本配置最高（action baseline）
no_cot_action_only/checkpoint-epoch-10_last	❌	❌	—	最后一个 epoch（未评测）

RoboCasa（robocasa/）

checkpoint	CoT	world-model	成功率	备注
checkpoint-epoch-9/	✅	✅	81.4%	xyz-waypoint SFT 基座，本配置最高
checkpoint-epoch-10/	✅	✅	80.2%	最后一个 epoch
checkpoint-epoch-8/	✅	✅	80.0%（fixed_eval 71.6%）	唯一带完整 OOD 评测套件
with_state_xyz_waypoint_regression_wm/checkpoint-epoch-7_79.2pct	✅	✅	79.2%	with_state 变体（含 optimizer 完整存档）
action_only_224/checkpoint-epoch-8_best_last_73.5pct	✅	❌	73.5%	compare_pre 消融，best=last
wm_224/checkpoint-epoch-10_best_72.0pct	✅	✅	72.0%	compare_pre 消融，本配置最高
wm_224/checkpoint-epoch-19_last_step58145	✅	✅	—	续训最后一个（未评测）
grpo_cot_numeric_ep7/actor_checkpoints/	—	—	—	GRPO 噪声 actor，需配合 base SFT 权重

评测口径与逐任务明细：VLABench 见各 checkpoint 同名本地 run 目录的 eval_cot_track1_new/， RoboCasa 见 robocasa/README.md 与 robocasa/eval_results/；GRPO/GRPO-base 结果见 grpo/。

Checkpoint 目录内容（每个 checkpoint）

文件	大小	说明
model.safetensors	~6.6GB	JanusFlow 主干（VLM + 生成侧）完整权重
action_expert.pt	~9.0GB	动作专家模块权重（flow-matching 动作头）
optimizer.bin	~12.8GB	优化器状态（续训用，部分 checkpoint 未含）
scheduler.bin / training_state.json	小	学习率调度与训练进度
config.yaml	—	完整训练配置（数据/模型/训练三段）
normalization_stats.json	—	动作/状态 q99 归一化统计（推理必需）
random_states_*.pkl	—	随机状态（精确复现用）

推理必需：model.safetensors + action_expert.pt + config.yaml + normalization_stats.json；其余为续训/复现用。

模型与训练配置（摘要）

• 基座：deepseek-ai/JanusFlow-1.3B（dual-resolution；VLM 侧注入 EEF 状态）
• 动作头：flow matching，horizon 8，7 维（xyz + delta-euler + 夹爪）， logit-normal timestep，MOT (Mixture-of-Transformers)
• 动作表示：chunk_start_relative_target_v1，闭环执行
• CoT：数值型移动 CoT（xyz + 旋转 + t+H 路点）；no_cot_* 无 CoT； *_wm 配置额外带 motion 自适应加权的未来 second-image 生成损失
• 数据：LeRobot v2.1，q99 归一化，episode 级切分
• 训练：full fine-tune（非 LoRA），bf16，lr 2e-4 cosine，seed 42

下载

huggingface-cli download yixue888/Coract_checkpoint \
  --include "vlabench/cot_wm/*" --local-dir ./coract_checkpoint --repo-type model

加载与闭环评测见 GitHub 仓库 vlabench/（eval_cot.sh）。

引用

@article{yixue2026coract,
  title   = {From Reasoning to Action: Consequence-Grounded Alignment for Vision-Language-Action Models},
  author  = {Zhang, Yixue and Xia, Wenke and Wu, Kun and Yu, Wenbo and Ren, Pei and Nie, Junnan and Hu, Di and Che, Zhengping and Liu, Chang},
  journal = {arXiv preprint arXiv:2610.39543},
  year    = {2026},
  url     = {https://arxiv.org/abs/2610.39543}
}