alibayram/feji-turku-lora

Feji Türkü LoRA

ACE-Step 1.5 (acestep-v15-xl-sft-diffusers) taban modeli üzerine Türkçe türkü/bağlama repertuvarı için eğitilen LoRA adaptör checkpoint'lerinin arşivi. Her checkpoint'in ürettiği örnek sesler alibayram/feji-turku-eval reposunda aynı experiment adıyla eşleşir — bir adaptörü kullanmadan önce karşılığını orada dinleyebilirsin.

Klasör düzeni

Üç nesil deney var:

1. Genel (tüm veri seti) — asıl hedef

• tum201-lora-diffusers-xl-sft-attnmlp-r16-lr3e4-resume — güncel/canlı koşu: 201 şarkının tamamıyla eğitilen genel adaptör, LR 3e-4. tum201-tam-attnmlp-r16-e10 checkpoint 2'sinden ağırlık aktarılarak (resume) devam ediyor. Her klasör bir checkpoint (adapter_eval_000N); N arttıkça daha çok epoch görmüş demektir.
• tum201-tam-attnmlp-r16-e10 — aynı genel koşunun LR 2e-4 ile eğitilen ilk hali (checkpoint 1-2). Benzerlik skoru hemen hemen hareket etmedi; LR 3e-4'e çıkarılınca yukarıdaki koşuya devam edildi.
• tum201-accel-attnmlp-r16-opt200 — 160 saniyelik rastgele segmentlerle eğitilen ilk 201-şarkı denemesi (1 checkpoint). Söz/caption tam şarkıyı anlattığı için segment kesme uyumsuzluk riski taşıyordu; tam şarkı eğitimine geçilince terk edildi.
• genel10-accel-attnmlp-r16-opt50 — 10 şarkılık ön deneme (2 checkpoint), 201 şarkıya geçilince terk edildi.

2. Tek şarkı doğrulama (pipeline sınaması)

• tek-parca-accel-attnmlp-r16-opt25 — LR 3e-4 + attn_mlp hedefleri + üretim başına 25 optimizer adımı. Benzerlik skoru 0.65 → 0.68 sıçraması burada görüldü ve genel koşuya bu ayarla taşındı. Not: tek şarkı üzerinde eğitilip aynı şarkıda ölçüldü (aşırı öğrenme sınaması), 201 şarkılık genellemeyle birebir kıyaslanamaz.
• tek-parca-r16-long400 — ilk sürüm: LR 1e-4, sadece attention hedefleri (MLP yok). 400 adımda skor pratikte hiç kıpırdamadı; attn_mlp + yüksek LR'ye geçiş kararı buradan geldi.

3. Eski train.py tabanlı koşular (arşiv)

• kisa-kosu, tek-ornek — bu diffusers hattından önceki ilk denemeler. checkpoints/epoch_N_loss_X/, final/, TensorBoard runs/ içerir.

LoRA yapılandırması

Tüm attnmlp etiketli deneyler aynı ayarı kullanır:

Alan	Değer
Taban model	ACE-Step/acestep-v15-xl-sft-diffusers
rank / alpha	16 / 32
hedef modüller	to_q, to_k, to_v, to_out.0, gate_proj, up_proj, down_proj
dropout / bias	0.0 / none

tek-parca-r16-long400 bunun dışında: rank 16 ama sadece to_q, to_k, to_v, to_out.0 (MLP hedefleri yok).

Bir adaptörü yükleme

import torch
from diffusers import AceStepPipeline
from peft import PeftModel

pipe = AceStepPipeline.from_pretrained(
    "ACE-Step/acestep-v15-xl-sft-diffusers", torch_dtype=torch.bfloat16
).to("cuda")
pipe.transformer = PeftModel.from_pretrained(
    pipe.transformer,
    "alibayram/feji-turku-lora",
    subfolder="tum201-lora-diffusers-xl-sft-attnmlp-r16-lr3e4-resume/adapter_eval_0003",
)

Notlar

• Optimizer durumu (training_state) pushlanmaz; sadece adapter_config.json + adapter_model.safetensors.
• Checkpoint numaraları deneyler arası karşılaştırılamaz: bazıları epoch bazlı (10 epoch/checkpoint), bazıları sabit adım sayısı bazlı.
• Repo private; erişim için HF hesap sahibinden (alibayram) izin gerekir.