HyperCLOVA-X-SEED-MISHULTA-v1.6

K-DATA SCIENCE 해커톤 본선 제출 모델 · 팀 MISHULTA

naver-hyperclovax/HyperCLOVAX-SEED-Think-14B를 한국어 객관식 추론 과제에 맞춰 LoRA로 미세조정한 뒤 병합한 모델입니다.

v1.5와의 차이 — 생성 길이 상한

가중치와 채팅 템플릿은 v1.5와 완전히 동일합니다. generation_config.json의 max_new_tokens만 2048 → 640으로 낮췄습니다.

왜 낮췄나

v1.5는 KMMLU 100문항 평가에서 62%가 생성 상한에 도달했습니다. 답을 낸 뒤에도 생성이 이어져 토큰을 소모하고, 생성 결과에서 정답을 추출하는 평가에서 불리하게 작용합니다.

내부 평가 (KMMLU 10과목 100문항, greedy, 동일 문항)

설정	정확도	'정답:' 미출현	평균 생성 토큰
v1.5 (max_new_tokens 2048)	0.710	0.080	789
v1.6 (max_new_tokens 640)	0.700	0.100	541
(참고) 384로 낮춘 경우	0.470	0.440	353

640에서는 정확도 손실이 100문항 중 1문항에 그치는 반면 생성량은 31% 줄었습니다. 384까지 낮추면 답을 쓰기 전에 잘려 정확도가 급락합니다.

학습 개요

• 베이스: naver-hyperclovax/HyperCLOVAX-SEED-Think-14B (14B, 국내 개발)
• 방식: QLoRA (4bit NF4) → 병합. r=64, alpha=128, rsLoRA
• 학습 형식: 풀이 + 마지막 줄 "정답: X" 단일 형식으로 정규화
• 학습 데이터: Upstage Solar Pro 4로 생성한 한국어 추론·객관식 증류 데이터(자체 생성)

라이선스

베이스 모델 HyperCLOVAX-SEED의 라이선스를 따릅니다. 모델명에 HyperCLOVA X 접두를 유지합니다.