destrier

LoRA soup ของ 3 fold: dacarokann/Courser_a, dacarokann/Courser_c, dacarokann/Courser_d

ΔW = (1/3)·Σ ΔW_i เป๊ะ — ต่อแกน rank (r 16 → 48, alpha โตตามให้ scaling คงเดิม) ไม่ใช่การเฉลี่ยน้ำหนัก A/B ตรง ๆ ซึ่งจะมีพจน์ไขว้ B_i·A_j ปนมา (วัดได้จริงว่าทบเป็น 3-16 เท่า)

ใช้ PEFT add_weighted_adapter ไม่ได้: MoE target_parameters โหลดได้ตัวเดียวต่อโมเดล อนุมาน: ตอน serve ต้องตั้ง max_lora_rank ≥ 48