judge-ko — 한국어 판단 모델, 0.32B, 상업 이용 가능

한국어 판단은 27B가 아니라 0.32B로. judge-ko는 텍스트를 읽고, 요청할 때 정한 선택지·예/아니오·점수에 보정된 확률로 답하는 한국어 판단(decision) 모델입니다. 글을 생성하지 않습니다. 질문 하나를 한 번의 forward pass로 처리하고, 판정은 소비자용 GPU에서 약 9 ms에 끝납니다.

82.0	한국어 판단 6개 과제 평균. 같은 문항에서 27B 공개 판단 모델 OpenJev는 74.8
0.32B	파라미터 수. OpenJev 27B의 약 1/84
≈9 ms	판정 1건 지연(p50, 소비자용 데스크톱 GPU). CPU 8스레드에서 약 37 ms
≈1.4 GB	추론 중 최대 GPU 메모리. VRAM 2 GB급 GPU나 CPU만으로도 돌아감
Apache-2.0	상업 이용 가능. OpenJev 가중치는 CC BY-NC 4.0(비상업)

judge-ko는 TypeSafe, OpenJev 프로젝트, Convai Innovations가 만들거나 보증한 모델이 아닙니다. 이 문서에서 OpenJev, Jev, Laya라는 이름은 비교와 출처 설명에만 씁니다. OpenJev 수치는 공개 가중치(FP8)를 우리 장비에서 같은 문항으로 직접 잰 결과이며, 호스팅 Jev API의 결과가 아닙니다.

# pip install laya==0.4.13
import laya

judge = laya.load("tonymustbegreat/judge-ko", device="cpu")   # GPU가 있으면 device="cuda"
out = judge.predict(
    "고객 메시지: 결제가 두 번이나 됐는데 문의를 세 번 넣어도 답이 없어요! 정말 너무 화나네요. 당장 환불해 주세요!",
    {
        "route":   {"type": "choice", "instructions": "어느 팀이 처리해야 하는가?",
                    "criteria": {"billing": "결제·환불", "shipping": "배송", "technical": "기술 문제"}},
        "angry":   {"type": "noul", "instructions": "고객이 화가 나 있는가?"},
        "urgency": {"type": "score", "instructions": "얼마나 급한가? 0은 여유, 3은 지금 당장",
                    "criteria": ["0", "1", "2", "3"]},
    },
)
print(out["answers"]["route"]["choice"], out["answers"]["route"]["probabilities"])

결과는 질문마다 답과 모든 선택지의 확률(probabilities), 확신도(answer_confidence)를 돌려줍니다. 위 예제 형식(질문 3개)은 CPU 8스레드에서 약 0.1초에 처리됩니다(p50, laya 0.4.13, 공개 체크포인트로 확인).

질문 세 개, 답 세 개. 모든 선택지에 확률이 붙습니다. 판단 항목은 요청에 담기므로, 새 항목을 추가해도 다시 학습할 필요가 없습니다.

왜 judge-ko인가

• 한국어 판단에서 더 정확합니다. 같은 한국어 평가 문항에서 27B OpenJev보다 높습니다(아래 표, 같은 문항·같은 지표).
  • 뉴스 주제 분류(YNAT): +11.0
  • 관계 분류(KLUE RE): +14.9
  • LLM 답변 신뢰성 판정(AI Hub 138): +14.6
  • 비윤리 발화 탐지(AI Hub 147): +12.8
  • OpenJev 모델 카드의 지원 언어 목록에는 한국어가 없습니다(en, de, fr, hi, zh, ja).
• 판단이 반복되는 곳에 넣을 수 있을 만큼 작고 빠릅니다. 0.32B라서 GPU 하나에 다른 모델과 함께 올리거나 CPU에서도 돌릴 수 있습니다.
  • judge-ko: 약 9 ms(소비자용 데스크톱 GPU)
  • OpenJev: 짧은 텍스트 판정 약 80 ms(H100, 자체 모델 카드 기준)
  • 측정 장비와 입력이 다르므로 이 두 값은 참고용입니다.
• 상업 제품에 그대로 넣을 수 있습니다. Apache-2.0이라 출처만 표기하면 제품·서비스에 넣고 파인튜닝, 양자화, 증류할 수 있습니다. OpenJev 가중치는 CC BY-NC 4.0이라 상업적으로 쓰려면 별도 계약이 필요합니다.
• 데이터가 밖으로 나가지 않습니다. 공개 가중치를 내 서버나 기기에서 돌립니다. 호출 비용도 없습니다.
• 확률을 믿고 문턱을 세울 수 있습니다. 문항 유형별로 온도를 보정했고, 보정 오차(ECE)를 과제별로 공개합니다. 예를 들어 YNAT는 0.008, AI Hub 138은 0.014입니다. 확신도로 "자동 허용 / 사람에게 묻기 / 거부"를 나누거나, 아래처럼 확신이 낮을 때만 큰 모델로 넘길 수 있습니다.
• 내 판단 기록으로 계속 키울 수 있습니다. 작은 모델이라 내 데이터로 다시 학습하는 비용이 낮습니다. SFT와 KL 안전장치를 둔 GRPO 레시피를 공개할 예정입니다. 학습 노하우는 tonymustbegreat@gmail.com 으로 문의해 주세요.

결과

측정 방법

• 모든 수치는 같은 평가 문항, 같은 지표, 보정 전 확률로 우리 장비에서 직접 쟀습니다.
• OpenJev는 저장된 예측으로 다시 계산해 검증했습니다.
• 모델 선택과 보정은 학습 데이터에서 떼어 둔 분할로만 했습니다. 아래 test 문항은 보고에만 썼습니다.
• 표의 judge-ko 수치는 공개 체크포인트의 값입니다. 이 체크포인트는 seed 3개 중 선택용 분할 정확도가 가장 높은 것(seed 2)이며, test 점수는 고르는 데 쓰지 않았습니다.
• 같은 데이터와 설정을 seed 3개(0·1·2)로 다시 학습해 재현성을 확인했습니다.
  • 6개 과제 평균: 82.0 ± 0.1 (81.9–82.2)
  • 11개 평균: 82.7 ± 0.3 (82.4–83.0)
  • 세 seed 모두 두 평균에서 OpenJev보다 높았습니다. - seed 사이 차이가 가장 큰 항목은 SIB-200(81.9–85.3)과 MIRACL(83.8–85.1)입니다.

한국어 판단 과제 (judge-ko가 학습한 유형)

과제	무엇을 판단하나	문항	지표	기반 Laya	judge-ko	OpenJev 27B
KLUE YNAT	뉴스 제목 주제 7분류	9,107	macro-F1	43.3	85.7	74.7
KLUE NLI	두 문장의 함의·중립·모순	3,000	정확도	74.5	83.9	94.2
KLUE STS	의미 유사도 0–5	519	Pearson	38.7	89.5	89.3
KLUE RE	개체 간 관계 30분류	7,765	micro-F1	5.5	63.2	48.3
AI Hub 초거대 LLM 신뢰성	LLM 답변의 무해성·도움·사실	32,995	하위 유형 평균 정확도	53.5	86.4	71.8
AI Hub 텍스트 윤리검증	대화 발화의 비윤리성	45,215	정확도	49.1	83.2	70.4
평균				44.1	82.0	74.8

판단·검색·번역 과제 11개 (처음 보는 형식 포함)

항목	지표	기반 Laya	judge-ko	OpenJev 27B
위 6개 과제	평균	44.1	82.0	74.8
MIRACL ko (질문–문단 관련성 재순위)	nDCG@10	63.8	84.4	86.0 ¹
KorSTS (번역 문장 유사도)	Pearson	25.9	84.1	87.6
XPQA ko (상품 질문–답변 후보 관련성, 오답 후보 80%)	AUROC	66.2	87.5	93.2
SIB-200 ko (주제 분류)	정확도	72.5	81.9	85.3
KorNLI (번역 NLI)	정확도	69.5	76.6	81.1
11개 평균		51.1	82.4	80.2

¹ OpenJev의 MIRACL은 판정 라벨이 있는 후보만으로 계산했습니다.

읽는 법: judge-ko는 판정을 빠르고 싸게, 정확하게 반복하는 일을 맡습니다. 정해진 기준으로 분류하고, 거르고, 허용 여부를 판정하는 일입니다. 긴 지문 독해, 지식 문제, 다단계 조건 추론은 이 모델의 대상이 아니라서 위 표에서 뺐습니다. 이 유형에서는 27B 생성형 모델이 훨씬 강합니다. 이런 일은 아래의 2단 구조로 큰 모델에 넘기세요.

권장 구성: 확신이 낮을 때만 큰 모델로

요청 → judge-ko(≈9 ms) → 최고 확률 ≥ 0.8 → 그대로 사용
                       └→ 최고 확률 < 0.8 → LLM·큰 판단 모델로 넘김

과제(보정 후)	넘기는 비율	judge-ko가 맡은 부분의 정확도	전체 정확도
KLUE YNAT	27.9%	94.5%	85.9%
KLUE NLI	25.6%	92.5%	83.9%
AI Hub 신뢰성(138)	27.2%	96.4%	87.1%
AI Hub 윤리검증(147)	31.8%	91.6%	83.2%

문턱을 바꾸면 넘기는 비율과 정확도가 함께 바뀝니다. 예를 들어 YNAT는 0.7에서 18.2%를 넘기고 92.0%, 0.9에서 42.8%를 넘기고 96.8%입니다. 온도는 학습에서 떼어 둔 400문항으로만 맞췄습니다. 전체 정확도는 모든 문항을 judge-ko가 판정했을 때의 정확도입니다(YNAT은 macro-F1이 아닌 정확도).

돌릴 수 있는 장비

judge-ko는 3.2억 파라미터 인코더라서 GPU가 없어도 돌아갑니다.

구분	권장 범위	측정·추정
가중치 크기	fp32 약 1.3 GB, fp16·bf16 약 0.65 GB	추정(파라미터 수 기준)
GPU	CUDA를 지원하는 NVIDIA GPU, VRAM 2 GB 이상(노트북용·보급형 포함)	추론 최대 메모리 약 1.4 GB(fp32, 입력 1,024토큰). 데스크톱 GPU에서 판정 1건 p50 약 9 ms(측정)
CPU	x86-64 또는 ARM64, RAM 4 GB 이상, 4코어 이상 권장	8스레드에서 판정 1건 p50 약 37 ms, p95 약 49 ms(측정). 코어가 많을수록, 묶음 처리(batch)할수록 처리량이 늘어남
서버	GPU 하나에 다른 모델(LLM 등)과 함께 올려도 됨	메모리를 적게 써서 2단 구성(judge-ko → 큰 모델)에 맞음

• 지연은 입력 길이와 질문 수에 따라 달라집니다. 위 값은 질문 1개, 짧은 입력 기준입니다.
• TODO: Apple Silicon(MPS), 보급형 노트북 GPU, ARM 엣지 장치는 아직 재지 않았습니다. 측정 후 추가합니다.

할 수 있는 일

• Typed decisions
  • choice: 정해진 선택지 중 하나와 선택지별 확률(처리 경로, 위험 유형, 주제)
  • noul: 예/아니오 확률("사람 확인이 필요한가?", "이 답변은 안전한가?")
  • score: 순서가 있는 점수(위험도, 유사도)
• 요청 시점에 정하는 스키마: 선택지와 정의를 매 요청에 넣습니다.
• 여러 질문을 한 요청에: 한 상태에 여러 질문을 묶습니다.
• HTTP 서빙: laya-serve의 POST /v1/systemone. TODO: OpenJev·Jev 요청 형식과의 호환 범위를 시험해 명시
• 이런 곳에 씁니다: 에이전트의 도구 호출 허용 판단, 사람 승인 필요 여부, LLM 답변의 무해성·도움 적정성·사실성 판정, 비윤리 발화 탐지, 문의 분류, 검색 결과 재순위.

알려진 한계

• 긴 지문 독해, 지식 문제, 다단계 조건 추론은 약합니다. 이런 과제에는 쓰지 말고, 확신이 낮을 때 큰 모델로 넘기는 구성을 권합니다.
• 선택지 이름을 따라가는 성향이 남아 있습니다. 이름과 정의를 일치시켜 쓰세요. 학습 때 이름을 가리는 방식(masked-SFT)으로 이 성향을 줄였습니다. TODO: 선택지 순서와 표현을 바꾸는 일관성 시험 결과 추가
• 라벨이 아주 많은 choice(관계 30종 등)는 상대적으로 약합니다.
• 학습에 없던 형식의 예/아니오는 한쪽으로 치우칠 수 있습니다. 이런 경우 반드시 보정과 문턱 시험을 거치세요.
• 안전 규칙을 대신하지 않습니다. 비밀 정보, 시스템 변경, 외부 게시 같은 금지 범주는 규칙과 사람이 막아야 합니다.

학습 데이터와 고지

• KLUE(YNAT·NLI·STS·RE), CC BY-SA 4.0: https://github.com/KLUE-benchmark/KLUE
• MIRACL 한국어 train(질문–문단 관련성), Apache-2.0
• KorNLI·KorSTS train(카카오브레인, CC BY-SA 4.0), SIB-200 한국어 train(CC BY-SA 4.0). 평가 test·dev와 겹치는 문장은 정확 일치·근접 중복 기준으로 뺐습니다.
• 이 모델은 과학기술정보통신부·한국지능정보사회진흥원(NIA)의 AI Hub 데이터(초거대 언어모델 신뢰성 벤치마크, 텍스트 윤리검증 데이터)를 활용한 한국지능정보사회진흥원 AI 허브 사업 결과물입니다. AI Hub 원본 데이터는 포함하지 않으며 재배포하지 않습니다.
• 일부 문항은 대규모 언어 모델의 판정 확률을 보조 라벨로 섞었습니다. xPQA 한국어 train(amazon-science, CDLA-Sharing-1.0)은 사람 라벨과 Qwen3.8-27B(Apache-2.0) 판정 확률을 반반 섞어 썼습니다.
• 비상업 라이선스 모델(OpenJev 등)의 출력은 학습에 쓰지 않았습니다. 비교 평가에만 썼습니다.

라이선스와 출처 표기

• Apache-2.0입니다. 전문은 LICENSE에 있습니다.

• 출처 표기 의무: 이 모델이나 파생 모델(파인튜닝, 양자화, 병합, 증류 포함)을 재배포할 때는 NOTICE 파일을 읽을 수 있는 형태로 함께 배포해야 합니다(Apache-2.0 제4조 (d)). 제품 문서, 모델 카드, "정보" 화면에는 다음과 같이 표기해 주세요.

  judge-ko by Antonio Kim (tonymustbegreat@gmail.com, https://tony.banya.ai)

• 저작자: Antonio Kim · 문의: tonymustbegreat@gmail.com · https://tony.banya.ai

• 기반 Laya(Convai Innovations, Apache-2.0)와 mmBERT의 고지, 학습 데이터 고지(KLUE CC BY-SA 4.0 출처 표기, NIA AI Hub 사업 결과 표기)도 NOTICE에 포함되어 있습니다.

인용

@misc{judge-ko-2026,
  title  = {judge-ko: a small calibrated Korean typed-decision model},
  author = {Antonio Kim},
  year   = {2026},
  note   = {Fine-tuned from Convai Innovations Laya (multilingual, Apache-2.0)}
}