HyperCLOVA-X-SEED-MISHULTA-Solar-Distilled-v1.8

K-DATA SCIENCE 해커톤 제출 모델 · 팀 MISHULTA

naver-hyperclovax/HyperCLOVAX-SEED-Think-14B(국내 기업 개발 모델, 14.8B)를 한국어 객관식 추론 과제에 맞춰 LoRA로 미세조정한 뒤 병합한 모델입니다. 한국어 지식형 문항과 다단 추론 문항에 대해 풀이 과정을 거쳐 결론을 제시하고, 답을 낸 뒤 생성을 안정적으로 종료하도록 정렬했습니다.

Teacher 모델 출처 및 이용 조건

본 모델은 Upstage Solar Pro 4를 teacher 모델로 사용하여 학습 데이터(CoT)를 생성하였으며, 해당 활용은 비상업·해커톤 목적에 한하여 업스테이지의 별도 확인(컨펌)을 거쳐 진행되었습니다.

현 Upstage 이용약관상 Solar 결과물을 활용한 distillation은 원칙적으로 허용되지 않으며, 본 건은 예외적으로 확인을 받은 사례입니다. 따라서 본 모델카드를 근거로 Solar 기반 distillation이 일반적으로 허용된다고 해석해서는 안 됩니다.

Solar 관련 조건은 Solar Open 2 라이선스를 따릅니다.

학습 데이터

모두 공개 데이터 또는 자체 생성 데이터이며, 평가용 test 스플릿은 사용하지 않았습니다.

구분	출처
한국어 객관식 자기증류	HAERAE-HUB/KMMLU train 스플릿
교사 증류	Upstage Solar Pro 4 (상단 이용 조건 참조), deepseek-ai/DeepSeek-R1-0528
한국 행정·법령 지식	AI Hub 공공민원 상담 데이터 기반 자체 출제
자체 생성	한국 문화·언어 문항, 합성 추론 문항 (신규 생성, 평가 벤치마크 원문항 미사용)
다단 추론	Com2 train 스플릿 한국어화 (평가셋 main/hard 겹침 사전 제외)

평가 대상 벤치마크(KMMLU-Pro·CLIcK)와의 문항 중복은 문항 + 선택지 단위로 전수 대조하여 제거했습니다.

사용법

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "smllms/HyperCLOVA-X-SEED-MISHULTA-Solar-Distilled-v1.8"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "다음 문제의 정답을 고르시오. ..."}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, do_sample=False, stop_strings=["<|endofturn|>", "<|stop|>"], tokenizer=tok)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

chat template 기본값은 think-OFF이며, 정답은 출력 마지막의 정답: X 형식으로 제시됩니다.

라이선스

베이스 모델의 HyperCLOVA X SEED Model License Agreement를 따릅니다. 라이선스 §3.1에 따라 파생 모델명은 "HyperCLOVA X"로 시작합니다.

Teacher 모델(Upstage Solar Pro 4) 관련 조건은 상단 절을 반드시 함께 확인하십시오.

팀

MISHULTA — 미술전시 큐레이션 서비스 운영팀. K-DS 해커톤(NIA) 참가.