space1637/iapyx-exaone-3.5-32b-qlora

Iapyx SFT — EXAONE-3.5-32B-Instruct (QLoRA)

Iapyx(AI 라이프 가디언) 리스크 리포트 + Function Call 태스크로 파인튜닝한 국내 오픈웨이트 모델. 학습·평가는 A100 80GB ×2에서 수행했으며, 채점은 결정적 코드(모델 무관)로 이뤄졌다.

파인튜닝 전후 (held-out val)

지표	Base(제로샷)	파인튜닝
리스크 JSON 유효율	97.1%	100.0%
리스크 스키마 준수	0.0%	99.0%
리스크 등급 정확도	0.0%	99.0%
FC 도구선택 정확도	25.0%	75.0%
FC 인자형식 정확도	76.0%	75.0%
FC 과호출 억제율	100.0%	100.0%

학습 구성

• 방식: QLoRA · base LGAI-EXAONE/EXAONE-3.5-32B-Instruct
• 데이터: 합성 SFT 통합 1,881 (리스크 945 + FC 936), val 리스크 105 / FC 104
• 3 epochs · cosine · warmup 3% · max_len 1024 · assistant-only loss
• 풀FT: FSDP full_shard + 8-bit Adam(lr 1e-5) / QLoRA: NF4 4bit + LoRA r=16(lr 2e-4)
• flash-attention-2 · bf16 · gradient checkpointing

학습 로그: Weights & Biases iapyx-finetune.