fassabilf/sd15-dpo-us-sd15

SD 1.5 Diffusion-DPO — gambar sintetis, US, gender

UNet hasil train.py mode DPO (DiffusionDPO-private) di 1.400 pasangan preferensi gambar sintetis SD 1.5 (308 pasangan val), 20 epoch (880 step), --seed 0. Dataset: fassabilf/dpo-train-us-sd15 (pasangan + pool rejected), sisi chosen dari fassabilf/ift-train-us-sd15.

Ini arm pembanding untuk fassabilf/sd15-dpo-us-real: resepnya identik (β_dpo 5000, lr 1e-5 constant_with_warmup 50, 4 pasangan × accum 8, bf16, ref = base SD 1.5, bukan checkpoint SFT). Yang beda hanya sumber gambarnya: 2.800 gambar sintetis unik yang dirender dari caption-nya sendiri, bukan 280 foto Pexels yang dipakai ulang ~10×.

Pasangannya distribusional: chosen = pool utama (proporsi chosen=female per okupasi = p_female_target), rejected = pool flip dengan caption sama dan gender seberang. Di 66,6% pasangan train kedua sisi memakai seed render yang sama.

VAE, text encoder, dan tokenizer identik dengan SD 1.5 base — tidak ikut diunggah. Rakit pipeline dengan memasang UNet dari sini ke stable-diffusion-v1-5/stable-diffusion-v1-5. Checkpoint: unet_ep1 … unet_ep20. ep1–19 fp16; unet_ep20 fp32 (checkpoint akhir yang tidak dikompak). Setelan di hparams.yml, kurva di tensorboard/, angka di analysis/ (COMPARISON.md = laporan lengkap).

Hasil: bobot ini TIDAK memperbaiki distribusi

Training "berhasil" di train dan gagal di luar train — itu temuannya, bukan bug.

• Train DPO loss turun 0,826 → 0,454 dan implicit accuracy train naik ke 0,80, menembus plafon teoretis 0,6514 sejak ~ep4. Tiap caption train muncul sekali dengan gender chosen tetap, jadi yang dipelajari adalah hafalan caption → gender.
• Val DPO loss naik monoton dari base (0,693) ke 1,601 tanpa minimum di dalam; val implicit accuracy tidak pernah mencapai plafon (maks 0,616).
• MAE test (n=100/okupasi, 14 okupasi) tidak pernah lebih baik dari base SD 1.5 (0,149): ep5 0,209 · ep10 0,244 · ep15 0,162 · ep20 0,178. Semua CI95 cluster tumpang tindih dengan base. Arm SFT sintetis dengan data chosen yang sama mencapai 0,091.
• Distribusinya berosilasi antar-mode: ep5 condong ke laki-laki (signed −0,10), ep10 berbalik ke perempuan (+0,20). Di ep20 14/14 okupasi bergerak ke gender mayoritas dan 7 kolaps penuh ke 0/1 (base: 4) — mode-seeking lebih keras daripada arm foto asli.
• Unclear rate turun 0,098 → 0,029: gender yang dihasilkan makin tegas, tapi yang tegas itu gender mayoritas.

Kesimpulan: kegagalan DPO distribusional di proyek ini bukan cuma soal data foto — dengan gambar sintetis unik yang cocok caption-nya, resep yang sama tetap gagal. Satu seed; checkpoint "terbaik" tidak bisa diklaim karena selisih antar-checkpoint ada di dalam CI95.

Pakai checkpoint ini sebagai objek studi kegagalan DPO distribusional, bukan sebagai model yang lebih adil dari base. Artefak penelitian, bukan model produksi.