jini-yang/tc3r_forcasting_ckpt

TrackCraft3R forecasting — Isambard 학습 체크포인트

Wan2.1-T2V-1.3B 기반 TrackCraft3R 를 3D 궤적 예측기로 바꾼 flow 학습의 전 런·전 스텝. 코드: sheep1283/TrackCraft3R_forcasting (비공개).

구성

경로	내용	용도
full/<런>/flow_stepN.pt	런별 최신 스텝 원본 그대로 (옵티마이저 포함, 3.17GB)	학습 재개
dedup/<런>/flow_stepN.safetensors	나머지 스텝, 학습된 텐서만 (0.18GB)	추론·평가

왜 중복 제거가 안전한가

flow 학습기(scripts/train_forecast_flow_delta.py)는 DiT 를 통째로 동결하고 PlainLoRA 의 A/B, injector, mask_head 만 옵티마이저에 넣는다. .pt 의 나머지는:

• base.base_layer.*, base.lora_*.default — 공식 TrackCraft3R 릴리스 model.safetensors 와 바이트 동일 (3개 런 × 960 텐서 전수 대조, 불일치 0)
• base.lora_*.forecast — PEFT 가 B 를 0 으로 초기화하고 학습기가 동결. 순전파 기여가 항상 0 (720 모듈 전부 B=0 확인)
• opt — 옵티마이저 상태. 재개에만 필요

scripts/verify_dedup_cpu.py 로 확인: 새로 주입한 forecast_B 300/300 레이어가 0, 240 모듈 출력이 원본과 비트 동일.

dedup 파일 로드

from scripts.export_dedup_ckpt import load_dedup
lora, injector_sd, maskhead_sd, args, step = load_dedup("flow_stepN.safetensors")

# 평소대로 공식 릴리스로 모델을 만든 뒤
module = WanForecastTrainingModule(official_checkpoint_path=".../trackcraft3r/model.safetensors", ...)
wrap_attention_plain(module.pipe.dit, args["lora_rank"])
for nm, m in module.pipe.dit.named_modules():
    if isinstance(m, PlainLoRA):
        m.A.weight.data.copy_(lora[nm]["A.weight"]); m.B.weight.data.copy_(lora[nm]["B.weight"])
injector.load_state_dict(injector_sd)

args 에 학습 인자 전체(total_len, history_len, mm_subset, 손실 가중치 등)가 들어 있다.