AX-3.1-Light-sft_v0_21 (동전)

skt/A.X-3.1-Light를 기반으로, sft_v0_2와 동일한 학습 데이터(AI Hub 71857/71874/71610/ 569/71949, 5,801 examples)를 사용하되 정답 출력 형식만 "정답 우선 + 근거 한 문장 이내"로 교정해 LoRA 파인튜닝 후 병합한 모델입니다.

• 베이스 모델: skt/A.X-3.1-Light
• AI Hub 데이터 활용: 예 (sft_v0_2와 동일)
  • 71857 국어 교과 지문형 문제 데이터 (CLIcK 축)
  • 71874 전문 의학지식 데이터 (KMMLU 축)
  • 71610 금융, 법률 문서 기계독해 데이터 (HLE 축)
  • 569 행정 문서 대상 기계독해 데이터 (MuSR 축)
  • 71949 인과관계 기반 추론 데이터(업사이클링) (Com2-main 축)
• 주요 학습 방법: sft_v0_2를 실제 K-AI 리더보드에 제출한 결과 CLIcK 축만 유의미하게 하락(-0.166)한 원인을 분석한 결과, "정답을 설명 뒤에 붙이는" 출력 습관이 근본 원인으로 확인됨(토큰 예산과 무관하게 고정된 습관, 프롬프트 지시만으로는 교정 불가). 이를 근거로 학습 데이터의 target을 "<해설>\n정답: X" → "정답: X (근거: 한 문장 이내)"로 재작성하고, LoRA SFT 재학습(r=16, alpha=32, lr 5e-5, 1 epoch, sft_v0_2 대비 더 보수적인 학습 강도).
• 모델의 목적: 출력 형식(정답 우선 순서) 교정을 통한 5개 벤치마크 축 전반의 안정성 개선. 콘텐츠(지식/추론) 자체는 sft_v0_2와 학습 데이터가 동일하므로 변경하지 않음.
• 구조 변경: 없음 (LoRA adapter를 base model에 병합한 표준 A.X-3.1-Light 아키텍처, 별도 custom code 없음)

로컬 공개 벤치마크 결과 (참고용, K-AI 공식 점수 아님)

KMMLU-Pro / CLIcK / HLE / SNU Ko-MuSR / Com2-main / Original MuSR 원본 공개 데이터셋 총 11,323문항 기준, base 대비 (Parsed accuracy):

Benchmark	Base	sft_v0_2	sft_v0_21(본 모델)
KMMLU-Pro	40.40%	28.10%	40.89%
CLIcK	65.61%	38.45%	64.31%
HLE	4.41%	2.78%	4.25%
SNU Ko-MuSR	49.47%	27.20%	58.13%
Com2-main	50.72%	42.04%	51.52%
Original MuSR(참고)	55.29%	35.71%	56.61%
전체 평균	41.84%	28.76%	42.54%

형식(strict) 오류율은 sft_v0_2에서 축별 1293%였던 것이 본 모델에서는 전 축 00.3%로 사실상 해소됨.

sft_v0_2는 K-AI 리더보드에 이미 실제 제출되어 CLIcK 축(-0.166)만 유의미하게 하락한 것으로 확인된 바 있고(base 공식 평균 0.423 → sft_v0_2 0.398), 본 모델은 그 원인을 진단해 교정한 후속 버전임. HF 리포지토리명 및 파일 구조는 AX-3.1-Light-sft_answer_first_v1 실험명을 유지하되, 제출용 버전 표기는 v0.2.1-answer-first(sft_v0_21)를 사용함.

사용 데이터셋 명시

AI Hub: 71857/71874/71610/569/71949의 validation label 중 최종 proxy 벤치마크로 표본 추출되지 않은 문서-안전(document-safe) 잔여분만 학습에 사용함 (sft_v0_2와 동일 데이터, 출력 형식만 재작성).