SSLcom-007/dacon-inha-2026-submission

재현 코드

2026 INHA AI Challenge · SO-100 action-conditioned video world model. 첫 프레임 한 장과 6축 관절 지령 16행을 받아 이어지는 16프레임을 만든다.

제출 CSV   submission_features.csv
sha256     c4481e1e724ae6592cb7207855832c7fac95e8a98d6334bfbfbb411f6307fa93
어댑터     LoRA rank 1280 · 50,000 step · EMA
백본       nvidia/Cosmos3-Nano @ 411f42a8fdfb8c5b2583cb8786e0938f49796eaa (OpenMDW 1.1)

이 번들이 담지 않는 것

우리가 계산하거나 검출한 값은 고정본으로 싣지 않는다. 재현 중에 코드가 다시 만든다. 전부 결정적이라 같은 입력이면 같은 결과가 나온다.

산출물	만드는 코드	언제
관절 정규화 통계 joint_stats.json	make_joint_stats.py	학습·추론 시작 시 자동
정지 프레임 조회표 still_table.json	still_frames.py	학습 시작 시 자동
창 보류 목록 window_spans.json	run_gate.py	캐시를 구운 뒤 수동 1회

기대 sha256 은 pinned.json 의 regenerated 에 적어 두었다. 재현이 맞게 돌았는지 그 값으로 확인할 수 있다.

학습 데이터·레이턴트 캐시·백본 스냅샷·주최측 제출 킷은 담지 않는다.

환경

requirements.txt · environment.txt. GPU 한 장을 쓴다. 학습 피크 62 GiB.

runtime_paths.py 가 경로를 푼다 — SO100_* 환경변수를 먼저 보고, 없으면 기본값을 쓰되 그 기본값이 없는 기계에서는 이 파일 기준 상대 경로로 떨어진다. 다른 기계에서 지정할 것은 넷이다: SO100_ROOT(작업 루트) · SO100_DATASET(제공 데이터셋) · SO100_SNAPSHOT(백본 스냅샷) · SO100_PYTHON(가상환경 파이썬).

백본은 nvidia/Cosmos3-Nano 를 위 리비전으로 받아 두고 SO100_SNAPSHOT 으로 그 경로를 준다.

huggingface-cli download nvidia/Cosmos3-Nano \
  --revision 411f42a8fdfb8c5b2583cb8786e0938f49796eaa --local-dir <스냅샷경로>

1. 추론 — 어댑터로 216편을 만든다

어댑터 두 파일은 weights/ 에 있다 — 파일명·크기·sha256 은 WEIGHTS.md 에 있다. --lora 에 그 폴더를 준다. 하위 ema/ 를 만들지 않는다.

cd code
python render_eval.py \
  --lora ../weights \
  --challenge <데이터셋>/data/eval \
  --out ../out \
  --steps 30 --seed 31337 --dtype fp16 --domain-id 10 \
  --action-encoder joint

시작할 때 관절 정규화 통계가 없으면 제공 학습 데이터에서 만든다(3~4분). 그래서 추론에도 학습 데이터가 필요하다.

216샘플 × 12.2초 ≈ 44분. 이어서 제출 킷으로 CSV 를 만든다. 결과는 648행이다 (216샘플 × 3 component).

cd <데이터셋>/submission_kit
python make_submission_csv.py \
  --prediction-root <mp4 폴더> \
  --challenge-root ../data/eval \
  --output-csv submission_features.csv \
  --action-stats-path ../data/train/so100_action_statistics.json

생성 설정이 어댑터와 맞아야 한다. 조건 표현은 관절 18채널이고, 어댑터의 train_state.json 에 그 값이 적혀 있다. render_eval.py 가 시작할 때 대조해 어긋나면 멈춘다 — 표현이 틀리면 영상은 멀쩡히 나오면서 조건만 어긋나기 때문이다.

2. 전처리 — 레이턴트 캐시를 굽는다

python bake_latents.py --augment mix --aug-seed 0 \
       --stride1 4 --stride2 4 --out <증강캐시>
python bake_latents.py --stride1 2 --stride2 2 --out <잠재캐시>

--augment 는 값을 받는다 (mix · final_grain · final_grain_inv).

잠재 캐시의 stride 는 2 다. 학습이 --cache-mod - 4:2 로 잠재 뱅크에서 start % 4 == 2 인 창만 쓰기 때문이다. stride_plan 은 에피소드마다 시작점 0 에서 출발해 앞 12개는 stride1, 그 뒤는 stride2 간격으로 훑으므로, stride 4 로 구우면 시작점이 전부 4의 배수라 그 격자에 한 창도 안 걸린다. stride 2 는 시작점을 짝수로 놓아 절반이 % 4 == 2 가 된다. 증강 캐시는 격자를 안 걸므로 stride 4 그대로다.

낸 체크포인트의 잠재 캐시는 밀도를 올려 가며 여러 번에 나눠 구운 것이라 stride (1,1)·(2,2)·(4,4) 샤드가 섞인 274 샤드다. 이어 굽기는 --exclude-file 로 이미 구운 창을 계획에서 빼면서 했다. 4:2 격자가 고르는 창 집합은 stride 2 로 한 번에 굽는 것과 같은 좌표계이므로, 처음부터 재현할 때는 위 한 줄이면 된다.

3. 창 보류 목록 — 학습에 넣지 않을 구간을 찾는다

캐시를 구운 뒤 한 번 돌린다.

python run_gate.py <작업폴더>

다섯 단계가 순서대로 돈다. 각 단계는 결과를 작업폴더에 남기고 이미 처리한 영상은 건너뛰므로 중단해도 이어서 돌아간다.

단계	하는 일	산출
pick_sources.py	캐시 meta 에서 학습이 실제로 쓰는 영상만 추린다	sources.json
measure_motion.py	프레임간 화면 변화량, action·observation.state 변화량	motion.jsonl
measure_skin.py	YCrCb 피부색 비율과 최대 덩어리 넓이	skin.jsonl
detect_hands.py	MediaPipe HandLandmarker 손 검출 점수	hand.jsonl
merge_gate_spans.py	셋을 합쳐 보류 구간	window_spans.json

버리는 기준 둘:

• person — 손 검출 0.5 이상 그리고 피부 덩어리 3.5% 이상인 프레임이 연속 2프레임 이상 (한 프레임짜리 오검출을 뺀다)
• action0-motion — 지령·상태 변화량이 둘 다 0.5 미만인데 화면 움직임만 그 영상 중앙값보다 5 이상 큰 프레임 (로봇은 멈춰 있는데 화면이 움직였다)

찾은 프레임은 앞뒤 2프레임씩 늘리고 간격 2 이하는 잇는다. 학습은 창 17프레임 중 1프레임이라도 이 구간에 걸치면 그 창을 버린다.

손 검출 모델 gate_scan/hand_landmarker.task 는 Google MediaPipe 의 공개 모델을 그대로 동봉한 것이다. 검출은 프레임 단위 IMAGE 모드라 순서에 의존하지 않는다. 병렬도는 NPROC 로 조절한다.

4. 학습

python fit_adapter.py \
  --out <출력> --cache <증강캐시> <잠재캐시> --cache-mod - 4:2 \
  --exclude-frames <작업폴더>/window_spans.json \
  --exclude-scenes held_out_scenes.json \
  --rank 1280 --lr 8e-05 --accum 4 --seed 0 \
  --preset D --steps 60000 \
  --action-encoder joint --action-mode joint \
  --t-dist waver --shift 5.0 \
  --lr-shape linear --f-max 0.4 --f-min 0.1 --warmup 0 \
  --proj-lr-mult 5.0 --action-proj-init official \
  --weight-decay 0.05 --beta2 0.99 --eps 1e-8 \
  --ema-rate 0.10 --autocast off \
  --scene-balance uniform --sample-policy seq \
  --domain-id 10 --checkpointing

제출 어댑터는 <출력>/step_050000/ema 다. --steps 는 학습 길이가 아니라 학습률 스케줄의 지평이다. 60000 을 주고 50,000 에서 꺼내는 것과 50000 을 주고 50,000 을 도는 것은 lr 곡선이 다르므로, 위 값을 그대로 둔다.

--ema-rate 기본값은 0.0 이고 0 이면 ema/ 가 생기지 않는다.

학습 캐시 창 수 269,782개 = 증강 뱅크 136,328 + 잠재 뱅크 133,454. 씬 보류 24개와 창 보류까지 다 적용한 뒤의 수다:

              원본      중복 제거    격자 4:2    씬 보류     창 보류
증강 뱅크   232,686     198,179          -     138,187     136,328
잠재 뱅크   501,276     501,276    193,337     135,264     133,454
                                                  합계     269,782

보류 목록은 record 324편 · 구간 445개 · 프레임 3,840개이고, 그 결과 창이 273,451 → 269,782 로 줄어든다(1.34%). 어댑터의 train_state.json 에 적힌 cache_n 과 같은 수다.

소요 시간

관절 통계     에피소드 10,544편            ≈ 4분   (CPU)
전처리       273,451창 · 1.7~2.5창/s      ≈ 30~45시간
창 보류 목록  영상 6,730편 · CPU 48병렬    ≈ 10분  (CPU)
정지 조회표   창 501,276개                 ≈ 6분   (CPU)
학습         50,000 step × 1.36 s/step    ≈ 19시간
추론         12.2 s/샘플 × 216            ≈ 44분

파일

파일	역할
bake_latents.py · degrade_clips.py	전처리 — 레이턴트 캐시, 픽셀 증강
run_gate.py · window_gate.py · gate_scan/	창 보류 목록 생성과 적용
fit_adapter.py · step_kernel.py	학습
render_eval.py	추론
joint_channels.py · make_joint_stats.py	조건 인코더(관절 18채널)와 그 정규화 통계
window_source.py · still_frames.py · prompt_text.py	데이터셋 · 정지 프레임 · 프롬프트
runtime_paths.py · catalog.json · held_out_scenes.json	경로 · split · 보류 씬
pinned.json	CSV · 어댑터 · 소스 sha256 과 재생성물 기대 sha256