romplle/grpo-vs-sft-ood-adapters

LoRA-адаптеры для grpo-vs-sft-ood

Адаптеры к проекту romplle/grpo-vs-sft-ood: NanoVLM 222M (lusxvr/nanoVLM-222M) выбирает действие left / right / forward в MiniGrid Empty по эго-кадру. SFT на траекториях BFS-эксперта, затем GRPO. Все числа и протокол оценки — в README репозитория.

LoRA: r = 64, alpha = 64, модули q_proj, k_proj, v_proj, out_proj. Пути повторяют локальную папку checkpoints/ проекта.

Скачать

hf download romplle/grpo-vs-sft-ood-adapters --local-dir checkpoints

После этого команды scripts/test_models.py из README работают без правок. GRPO-адаптер обучен поверх своего SFT и загружается вместе с ним: --sft-adapter-path <SFT> --grpo-adapter-path <GRPO>.

Состав

Папка	SFT, поверх которого обучен GRPO	Роль
sft_adapter_8x8_bs32_e10/epoch-{1,5,9}	—	SFT 8×8, эпохи 1 / 5 / 9 длинного обучения
grpo_adapter_8x8_handoff_from_e10_e9[_seed123|_seed456]/episode-100	sft_adapter_8x8_bs32_e10/epoch-9	Основной результат: три обучения GRPO
grpo_adapter_8x8_handoff_from_e10_e{1,5}[_seed123|_seed456]/episode-100	sft_adapter_8x8_bs32_e10/epoch-{1,5}	Знак Δ на ранних эпохах SFT
grpo_adapter_8x8_c1train_color_from_e10_e9/episode-100	sft_adapter_8x8_bs32_e10/epoch-9	Обучение со смешанным цветом цели (одно обучение)
sft_adapter_16x16_bs32_e10/epoch-8	—	SFT 16×16, эпоха 8
grpo_adapter_16x16_handoff_from_e10_e8[_seed123|_seed456]/episode-100	sft_adapter_16x16_bs32_e10/epoch-8	Обучение GRPO сразу на 16×16, три обучения
grpo_adapter_16x16_c1far_from_e10_e8/episode-100	sft_adapter_16x16_bs32_e10/epoch-8	Far-reset: каждый эпизод с дальнего старта (одно обучение)
sft_adapter_{8x8,16x16}_bs32/epoch-3	—	Короткий SFT, 3 эпохи
grpo_adapter_8x8_from_bs32_sft3/episode-75	sft_adapter_8x8_bs32/epoch-3	GRPO после короткого SFT, 8×8
grpo_adapter_16x16_from_bs32_sft3/episode-100	sft_adapter_16x16_bs32/epoch-3	GRPO после короткого SFT, 16×16

Горизонты оценки в README: 12 шагов на 8×8 и 40 на 16×16 (--max-steps передаётся явно).