kojev-4b — 한국어 판정 모델

규칙·사실(상태)과 질문, 보기 2~8개를 받아 보기별 확률만 내는 4B 판정 모델입니다. 글을 생성하지 않으므로 순전파 한 번으로 끝나고, 근거가 없는 문항은 보류합니다(가장 높은 확률 0.6 미만).

A Korean 4B judgement model: given rules/facts, a question and 2–8 options, it outputs a probability per option in a single forward pass (no generation), and abstains when the evidence is missing.

구조

구성	내용
본체	Qwen/Qwen3.5-4B-Base 텍스트 부분 (32층, hidden 2560). 가중치 고정, 비전 부분 제거
LoRA	r=16, alpha=32, 어텐션·FFN 투영층 7종 (q/k/v/o/gate/up/down_proj) — adapter_model.safetensors
Pointer 헤드	선형층 2개 (2560→256). [판정] 위치와 각 보기 끝 위치의 은닉 상태 내적 → 보기 점수 — pointer_head.safetensors
보정	사후 온도 T = 1.55 (pointer_head.safetensors 의 metadata)
출력	softmax(점수 / T). 최고 확률 0.6 미만이면 보류

LM 헤드를 쓰지 않으므로 transformers 의 generate 로는 쓸 수 없습니다. jev_infer.py 를 쓰세요.

사용법

from jev_infer import load, judge
tok, model, head, T = load("yblee-dacon/kojev-4b")
judge(tok, model, head, T,
      state="65세 이상이고 소득 1,500만 원 미만이면 지급한다.\n신청인은 68세, 소득 1,200만 원이다.",
      question="지급 대상인가?", options=["지급", "미지급"])
# {'probs': {'지급': 0.9..., '미지급': 0.0...}, 'answer': '지급'}   answer 가 None 이면 보류

입력은 학습 때와 같은 모양으로 조립됩니다: [상태]\n{state}\n\n[질문]\n{question}\n\n[보기]\n{보기1}\n{보기2}\n…\n[판정]

학습

항목	내용
학습 데이터	78,964행 (답이 있는 행 + 근거 없음·"알 수 없음" 보기 행 + 전제 불일치 질문 행). 전체 88,498행 공개: yblee-dacon/kojev-4b-data
데이터 출처	자체 생성 판정 데이터(일반 판정·업무 규칙·용어 적용), KoBEST·KLUE 학습 분할
목표	답이 있는 행은 정답 1.0, 답할 수 없는 행은 보기에 균일 확률 (교차엔트로피)
설정	2 에폭 · 배치 8 · 학습률 5e-5 · 최대 입력 768 토큰 · bf16
자원	광주 국가 AI데이터센터(AICA) NVIDIA H100 1장, 126분
버전	2026-11-01 학습분

평가

학습에 쓰지 않은 고정 평가셋 3,132문항. 비교 LLM 은 Qwen3.8-27B(FP8, vLLM), "상태만으로 답을 정할 수 없으면 '알 수 없음'" 지시 포함.

묶음	지표	문항	LLM thinking 끔	LLM thinking 켬	kojev-4b
답이 있는 문항	정답률	1,079	91.1%	95.7%	97.8%
처음 보는 벤치 (KMMLU·Belebele·CLIcK·APEACH)	정답률	800	72.9%	77.4%	62.1%
보류해야 정답	보류율	803	64.6%	82.6%	84.7%
"알 수 없음" 보기 포함	정답률	450	83.6%	77.8%	88.7%

같은 구조로 답이 있는 행만 학습한 버전은 보류율 14.7%, "알 수 없음" 보기 포함 정답률 48.4% 였습니다.

속도 (H100 1장씩, 32건 동시): kojev-4b 73.6 건/초, LLM thinking 끔 23.1 건/초, thinking 켬 1.4 건/초.

한계

• 규칙이 주어지지 않은 상식·전문지식 문제는 27B LLM 보다 약합니다 (위 "처음 보는 벤치").
• 날짜·기간 계산은 학습하지 않았습니다. 숫자 계산은 코드로 하고 의미 판단만 맡기세요.
• 768 토큰을 넘는 긴 입력, 개방형 답변 채점에는 맞지 않습니다.

라이선스

LoRA 어댑터와 Pointer 헤드는 베이스 모델과 같은 Apache 2.0 으로 공개합니다. 학습 데이터의 일부(KoBEST·KLUE)는 CC BY-SA 4.0 입니다.