judge-ko — 한국어 판단 모델, 0.32B, 상업 이용 가능

한국어 판단은 27B가 아니라 0.32B로. judge-ko는 텍스트를 읽고, 요청할 때 정한 선택지·예/아니오·점수에 보정된 확률로 답하는 한국어 판단(decision) 모델입니다. 글을 생성하지 않습니다. 질문 하나를 한 번의 forward pass로 처리하고, 전용 실행 파일로 CPU에서 판정 1건 약 17 ms에 끝납니다.

82.0	한국어 판단 6개 과제 평균. 같은 문항에서 27B 공개 판단 모델 OpenJev는 74.8
0.32B	파라미터 수. OpenJev 27B의 약 1/84
≈17 ms	판정 1건 지연(p50, 짧은 입력, CPU 8스레드, int8). GPU 없이 돌아감
≈0.43 GB	모델 파일 크기(int8). 실행 파일에 ONNX Runtime 포함
Apache-2.0	상업 이용 가능. OpenJev 가중치는 CC BY-NC 4.0(비상업)

judge-ko는 TypeSafe나 OpenJev 프로젝트가 만들거나 보증한 모델이 아닙니다. 이 문서에서 OpenJev, Jev라는 이름은 비교에만 씁니다. OpenJev 수치는 공개 가중치(FP8)를 우리 장비에서 같은 문항으로 직접 잰 결과이며, 호스팅 Jev API의 결과가 아닙니다.

사용 방법

judge-ko는 전용 실행 파일 judge-ko 하나로만 실행합니다. ONNX Runtime이 실행 파일 안에 들어 있어 따로 설치할 것이 없습니다. 모델 파일은 암호화되어 있어 다른 런타임에서는 열리지 않습니다.

OS	파일 (bin/)
Linux x86_64	judge-ko-linux-amd64
macOS (Apple Silicon)	judge-ko-darwin-arm64
Windows x86_64	judge-ko-windows-amd64.exe

파일과 SHA-256은 이 저장소의 bin/과 bin/SHA256SUMS에 있습니다. 실행 파일은 아직 코드 서명이 되어 있지 않으니, 받은 뒤 SHA-256부터 확인해 주세요.

1. 이용 조건 동의와 토큰

1. 이 페이지에서 Hugging Face 계정으로 로그인하고 이용 조건에 동의합니다.
2. Access Tokens에서 토큰을 만듭니다. 이 저장소 읽기 권한만 가진 fine-grained 토큰을 권장합니다.

실행할 때마다 judge-ko는 이 토큰으로 두 가지 일을 합니다.

• Hugging Face에서 암호화된 모델(약 430 MB)을 받습니다. 처음 한 번만 받고 이후에는 캐시를 씁니다.
• judge-ko 키 서비스(judge-ko-keys.judgeko.workers.dev)에서 복호화 키를 받습니다.

토큰은 키 서비스로 전송되지만 저장되지 않습니다. 키와 복호화된 모델은 메모리에만 있습니다. 시작할 때 인터넷 연결이 필요합니다.

요청 예시 request.json(UTF-8로 저장):

{
  "state": "고객 메시지: 결제가 두 번이나 됐는데 문의를 세 번 넣어도 답이 없어요! 정말 너무 화나네요. 당장 환불해 주세요!",
  "questions": {
    "route":   {"type": "choice", "instructions": "어느 팀이 처리해야 하는가?",
                "criteria": {"billing": "결제·환불", "shipping": "배송", "technical": "기술 문제"}},
    "angry":   {"type": "noul",   "instructions": "고객이 화가 나 있는가?"},
    "urgency": {"type": "score",  "instructions": "얼마나 급한가? 0은 여유, 3은 지금 당장",
                "criteria": ["0", "1", "2", "3"]}
  }
}

2-A. Linux

sha256sum judge-ko-linux-amd64              # bin/SHA256SUMS와 비교
chmod +x judge-ko-linux-amd64
mv judge-ko-linux-amd64 ~/.local/bin/judge-ko

export HF_TOKEN=hf_...                      # 본인 토큰

judge-ko predict --threads 8 < request.json

judge-ko serve --threads 8 &                # 기본 127.0.0.1:8765
curl -s http://127.0.0.1:8765/healthz
curl -s http://127.0.0.1:8765/predict -H 'Content-Type: application/json' --data-binary @request.json

2-B. macOS (Apple Silicon)

shasum -a 256 judge-ko-darwin-arm64         # bin/SHA256SUMS와 비교
chmod +x judge-ko-darwin-arm64
xattr -d com.apple.quarantine judge-ko-darwin-arm64   # 서명되지 않은 파일의 격리 표시를 지웁니다
mv judge-ko-darwin-arm64 /usr/local/bin/judge-ko

export HF_TOKEN=hf_...

judge-ko predict --threads 8 < request.json

judge-ko serve --threads 8 &
curl -s http://127.0.0.1:8765/predict -H 'Content-Type: application/json' --data-binary @request.json

xattr 대신, 처음 실행할 때 경고가 뜨면 **시스템 설정 → 개인정보 보호 및 보안 → "그래도 열기"**를 눌러도 됩니다.

2-C. Windows (PowerShell)

Get-FileHash .\judge-ko-windows-amd64.exe -Algorithm SHA256   # bin/SHA256SUMS와 비교
Unblock-File .\judge-ko-windows-amd64.exe   # 서명되지 않은 파일의 차단을 풉니다

$env:HF_TOKEN = "hf_..."

# PowerShell 파이프는 한글이 깨질 수 있어 cmd 리디렉션을 씁니다
cmd /c ".\judge-ko-windows-amd64.exe predict --threads 8 < request.json"

# 로컬 서버 (기본 127.0.0.1:8765)
Start-Process .\judge-ko-windows-amd64.exe -ArgumentList "serve","--threads","8"
curl.exe -s http://127.0.0.1:8765/predict -H "Content-Type: application/json" --data-binary "@request.json"

실행 파일은 이름만 쓰지 말고 .\를 붙여 실행하세요. 설정에 따라 현재 폴더의 프로그램을 이름만으로는 실행하지 않는 PC가 있습니다. 탐색기에서 SmartScreen 창이 뜨면 추가 정보 → 실행을 누릅니다.

출력

{
  "model": "judge-ko-v1",
  "answers": {
    "route":   {"type": "choice", "choice": "billing",
                "probabilities": {"billing": 0.9465, "shipping": 0.0063, "technical": 0.0472},
                "confidence": 0.7922, "answer_confidence": 0.9465, "action": {"act_probability": 1.0}},
    "angry":   {"type": "noul", "noul": 0.8472,
                "confidence": 0.8472, "answer_confidence": 0.8472, "action": {"act_probability": 1.0}},
    "urgency": {"type": "score", "score": 0.9168,
                "legend": {"0": "0", "1": "1", "2": "2", "3": "3"},
                "probabilities": {"0": 0.2701, "1": 0.5859, "2": 0.1011, "3": 0.0429},
                "confidence": 0.2545, "answer_confidence": 0.5859, "action": {"act_probability": 1.0}}
  },
  "usage": {"input_tokens": 270, "output_tokens": 0, "state_tokens": 48,
            "state_tokens_dropped": 0, "truncated": false, "truncated_questions": []}
}

위 값은 AVX-512가 있는 x86 CPU에서 측정한 것입니다. 아래 "결과가 달라지는 경우"를 보세요.

요청 형식

필드	내용
state	판단할 대상. 문자열, 객체, 대화 목록을 받습니다
questions	{질문ID: 질문}. 한 요청에 여러 질문을 넣을 수 있습니다
type	choice(보기 중 하나 고르기), noul(예/아니오 확률), score(단계 점수)
instructions	질문 문장
criteria	choice: {보기ID: 설명} 또는 목록. score: 0부터 시작하는 단계 목록. noul: 선택이며 {"true": …, "false": …}

알 수 없는 필드가 있으면 요청을 거부합니다. 판단 대상의 키는 text가 아니라 state입니다.

옵션

옵션	내용
--threads N	추론 스레드 수. 0이면 기본값을 씁니다
--model PATH	이미 받아 둔 암호화 모델 파일을 씁니다. 크기와 SHA-256은 똑같이 검사하고, 키는 여전히 키 서비스에서 받습니다
--addr	serve의 주소. 루프백 주소만 허용합니다

모델 캐시 위치: Linux ~/.cache/judge-ko, macOS ~/Library/Caches/judge-ko, Windows %LocalAppData%\judge-ko. 캐시에는 암호화된 모델과 ONNX Runtime 라이브러리만 저장됩니다.

지연 시간(짧은 입력, 8스레드): 첫 실행은 다운로드 때문에 약 45초가 걸립니다. 이후 시작은 약 3초이고, 한 번 묻는 데 p50 약 17 ms입니다(AMD Threadripper PRO 7955WX).

결과가 달라지는 경우

int8 모델이라 두 가지 경우에 확률이 조금씩 달라집니다.

• 함께 묻는 질문이 다를 때. 같은 문장이라도 함께 묻는 질문 구성에 따라 확률이 달라집니다. 예: angry만 물으면 0.8304, 질문 3개를 함께 물으면 0.8472.
• CPU가 다를 때. CPU마다 ONNX Runtime이 쓰는 연산 경로가 달라, 소수 둘째 자리 이상 달라질 수 있습니다. 예: AVX-512가 없는 Intel Core i5-14600K에서는 billing 0.9542, angry 0.8199, urgency 0.9844.

같은 기기에서 같은 요청을 보내면 결과는 항상 같습니다. 임계값을 정할 때는 실제로 쓸 기기에서 측정하세요.

수집하는 정보

키 서비스는 키를 줄 때마다 아래 정보를 기록합니다.

• Hugging Face 계정 ID와 이름
• 토큰의 지문(HMAC 앞 12자리. 토큰 자체는 저장하지 않습니다)
• IP 주소
• 운영체제
• judge-ko 버전

기록은 1년 동안 보관한 뒤 자동으로 지웁니다. 이 기록은 이용 현황을 파악하고 이용 조건 위반 시 접근을 회수하는 데만 씁니다.

라이선스와 출처 고지는 judge-ko licenses로 볼 수 있습니다.

왜 judge-ko인가

• 한국어 판단에서 더 정확합니다. 같은 한국어 평가 문항에서 27B OpenJev보다 높습니다(아래 표, 같은 문항·같은 지표).
  • 뉴스 주제 분류(YNAT): +11.0
  • 관계 분류(KLUE RE): +14.9
  • LLM 답변 신뢰성 판정(AI Hub 138): +14.6
  • 비윤리 발화 탐지(AI Hub 147): +12.8
  • OpenJev 모델 카드의 지원 언어 목록에는 한국어가 없습니다(en, de, fr, hi, zh, ja).
• 판단이 반복되는 곳에 넣을 수 있을 만큼 작고 빠릅니다. 0.32B라서 GPU 없이 CPU만으로 돌아가고, LLM 같은 큰 모델 옆에 함께 둘 수 있습니다.
  • judge-ko: 약 17 ms(CPU 8스레드, int8)
  • OpenJev: 짧은 텍스트 판정 약 80 ms(H100, 자체 모델 카드 기준)
  • 측정 장비와 입력이 다르므로 이 두 값은 참고용입니다.
• 상업 제품에 넣을 수 있습니다. Apache-2.0이라 출처를 표기하면 제품·서비스에서 쓸 수 있습니다. OpenJev 가중치는 CC BY-NC 4.0이라 상업적으로 쓰려면 별도 계약이 필요합니다.
• 판단할 데이터가 밖으로 나가지 않습니다. 판정은 내 서버나 기기에서 실행되고, 판단 대상 텍스트는 어디에도 전송되지 않습니다. 호출 비용도 없습니다. 실행을 시작할 때만 모델 파일과 복호화 키를 받기 위해 인터넷에 연결합니다(아래 "수집하는 정보").
• 확률을 믿고 문턱을 세울 수 있습니다. 문항 유형별로 온도를 보정했고, 보정 오차(ECE)를 과제별로 공개합니다. 예를 들어 YNAT는 0.008, AI Hub 138은 0.014입니다. 확신도로 "자동 허용 / 사람에게 묻기 / 거부"를 나누거나, 아래처럼 확신이 낮을 때만 큰 모델로 넘길 수 있습니다.

결과

측정 방법

• 모든 수치는 같은 평가 문항, 같은 지표, 보정 전 확률로 우리 장비에서 직접 쟀습니다.
• OpenJev는 저장된 예측으로 다시 계산해 검증했습니다.
• 모델 선택과 보정은 학습 데이터에서 떼어 둔 분할로만 했습니다. 아래 test 문항은 보고에만 썼습니다.
• 표의 judge-ko 수치는 배포 모델의 원본(fp32) 체크포인트로 잰 값입니다. 배포되는 int8 모델은 6개 과제 × 200문항 비교에서 1순위 답이 95.3% 일치했고 평균 정확도 차이는 +0.25점이었습니다. 이 체크포인트는 seed 3개 중 선택용 분할 정확도가 가장 높은 것(seed 2)이며, test 점수는 고르는 데 쓰지 않았습니다.
• 같은 데이터와 설정을 seed 3개(0·1·2)로 다시 학습해 재현성을 확인했습니다.
  • 6개 과제 평균: 82.0 ± 0.1 (81.9–82.2)
  • 11개 평균: 82.7 ± 0.3 (82.4–83.0)
  • 세 seed 모두 두 평균에서 OpenJev보다 높았습니다. - seed 사이 차이가 가장 큰 항목은 SIB-200(81.9–85.3)과 MIRACL(83.8–85.1)입니다.

한국어 판단 과제 (judge-ko가 학습한 유형)

과제	무엇을 판단하나	문항	지표	judge-ko	OpenJev 27B
KLUE YNAT	뉴스 제목 주제 7분류	9,107	macro-F1	85.7	74.7
KLUE NLI	두 문장의 함의·중립·모순	3,000	정확도	83.9	94.2
KLUE STS	의미 유사도 0–5	519	Pearson	89.5	89.3
KLUE RE	개체 간 관계 30분류	7,765	micro-F1	63.2	48.3
AI Hub 초거대 LLM 신뢰성	LLM 답변의 무해성·도움·사실	32,995	하위 유형 평균 정확도	86.4	71.8
AI Hub 텍스트 윤리검증	대화 발화의 비윤리성	45,215	정확도	83.2	70.4
평균				82.0	74.8

판단·검색·번역 과제 11개 (처음 보는 형식 포함)

항목	지표	judge-ko	OpenJev 27B
위 6개 과제	평균	82.0	74.8
MIRACL ko (질문–문단 관련성 재순위)	nDCG@10	84.4	86.0 ¹
KorSTS (번역 문장 유사도)	Pearson	84.1	87.6
XPQA ko (상품 질문–답변 후보 관련성, 오답 후보 80%)	AUROC	87.5	93.2
SIB-200 ko (주제 분류)	정확도	81.9	85.3
KorNLI (번역 NLI)	정확도	76.6	81.1
11개 평균		82.4	80.2

¹ OpenJev의 MIRACL은 판정 라벨이 있는 후보만으로 계산했습니다.

읽는 법: judge-ko는 판정을 빠르고 싸게, 정확하게 반복하는 일을 맡습니다. 정해진 기준으로 분류하고, 거르고, 허용 여부를 판정하는 일입니다. 긴 지문 독해, 지식 문제, 다단계 조건 추론은 이 모델의 대상이 아니라서 위 표에서 뺐습니다. 이 유형에서는 27B 생성형 모델이 훨씬 강합니다. 이런 일은 아래의 2단 구조로 큰 모델에 넘기세요.

권장 구성: 확신이 낮을 때만 큰 모델로

요청 → judge-ko(≈17 ms) → 최고 확률 ≥ 0.8 → 그대로 사용
                       └→ 최고 확률 < 0.8 → LLM·큰 판단 모델로 넘김

과제(보정 후)	넘기는 비율	judge-ko가 맡은 부분의 정확도	전체 정확도
KLUE YNAT	27.9%	94.5%	85.9%
KLUE NLI	25.6%	92.5%	83.9%
AI Hub 신뢰성(138)	27.2%	96.4%	87.1%
AI Hub 윤리검증(147)	31.8%	91.6%	83.2%

문턱을 바꾸면 넘기는 비율과 정확도가 함께 바뀝니다. 예를 들어 YNAT는 0.7에서 18.2%를 넘기고 92.0%, 0.9에서 42.8%를 넘기고 96.8%입니다. 온도는 학습에서 떼어 둔 400문항으로만 맞췄습니다. 전체 정확도는 모든 문항을 judge-ko가 판정했을 때의 정확도입니다(YNAT은 macro-F1이 아닌 정확도).

돌릴 수 있는 장비

구분	내용
OS	Linux x86_64, macOS(Apple Silicon), Windows x86_64
CPU	4코어 이상 권장. GPU는 쓰지 않습니다
메모리	RAM 2 GB 이상 권장(실행 중 약 1.5 GB)
디스크	모델 캐시 약 0.43 GB + 실행 파일 약 60–90 MB
네트워크	시작할 때 Hugging Face와 키 서비스에 연결

• 지연(x86_64, AVX-512, 8스레드, 배치 1): 짧은 입력(74토큰) p50 약 17 ms, 512토큰 약 120 ms.
• 지연은 입력 길이와 질문 수에 따라 달라집니다. Apple Silicon과 AVX-512가 없는 CPU의 지연은 아직 따로 재지 않았습니다.

할 수 있는 일

• Typed decisions
  • choice: 정해진 선택지 중 하나와 선택지별 확률(처리 경로, 위험 유형, 주제)
  • noul: 예/아니오 확률("사람 확인이 필요한가?", "이 답변은 안전한가?")
  • score: 순서가 있는 점수(위험도, 유사도)
• 요청 시점에 정하는 스키마: 선택지와 정의를 매 요청에 넣습니다.
• 여러 질문을 한 요청에: 한 상태에 여러 질문을 묶습니다.
• 로컬 HTTP 서빙: judge-ko serve
• 이런 곳에 씁니다: 에이전트의 도구 호출 허용 판단, 사람 승인 필요 여부, LLM 답변의 무해성·도움 적정성·사실성 판정, 비윤리 발화 탐지, 문의 분류, 검색 결과 재순위.

알려진 한계

• 긴 지문 독해, 지식 문제, 다단계 조건 추론은 약합니다. 이런 과제에는 쓰지 말고, 확신이 낮을 때 큰 모델로 넘기는 구성을 권합니다.
• 선택지 이름을 따라가는 성향이 남아 있습니다. 이름과 정의를 일치시켜 쓰세요. 학습 때 이름을 가리는 방식(masked-SFT)으로 이 성향을 줄였습니다. TODO: 선택지 순서와 표현을 바꾸는 일관성 시험 결과 추가
• 라벨이 아주 많은 choice(관계 30종 등)는 상대적으로 약합니다.
• 학습에 없던 형식의 예/아니오는 한쪽으로 치우칠 수 있습니다. 이런 경우 반드시 보정과 문턱 시험을 거치세요.
• 안전 규칙을 대신하지 않습니다. 비밀 정보, 시스템 변경, 외부 게시 같은 금지 범주는 규칙과 사람이 막아야 합니다.

학습 데이터와 고지

• KLUE(YNAT·NLI·STS·RE), CC BY-SA 4.0: https://github.com/KLUE-benchmark/KLUE
• MIRACL 한국어 train(질문–문단 관련성), Apache-2.0
• KorNLI·KorSTS train(카카오브레인, CC BY-SA 4.0), SIB-200 한국어 train(CC BY-SA 4.0). 평가 test·dev와 겹치는 문장은 정확 일치·근접 중복 기준으로 뺐습니다.
• 이 모델은 과학기술정보통신부·한국지능정보사회진흥원(NIA)의 AI Hub 데이터(초거대 언어모델 신뢰성 벤치마크, 텍스트 윤리검증 데이터)를 활용한 한국지능정보사회진흥원 AI 허브 사업 결과물입니다. AI Hub 원본 데이터는 포함하지 않으며 재배포하지 않습니다.
• 일부 문항은 대규모 언어 모델의 판정 확률을 보조 라벨로 섞었습니다. xPQA 한국어 train(amazon-science, CDLA-Sharing-1.0)은 사람 라벨과 Qwen3.8-27B(Apache-2.0) 판정 확률을 반반 섞어 썼습니다.
• 비상업 라이선스 모델(OpenJev 등)의 출력은 학습에 쓰지 않았습니다. 비교 평가에만 썼습니다.

라이선스와 출처 표기

• Apache-2.0입니다. 전문은 LICENSE에 있습니다.

• 출처 표기 의무: 이 모델을 재배포할 때는 NOTICE 파일을 읽을 수 있는 형태로 함께 배포해야 합니다(Apache-2.0 제4조 (d)). 제품 문서, 모델 카드, "정보" 화면에는 다음과 같이 표기해 주세요.

  judge-ko by Sung Ran Song (sungran0518@gmail.com)

• 저작자: Sung Ran Song · 문의: sungran0518@gmail.com

• 기반 모델과 인코더의 고지, 학습 데이터 고지(KLUE CC BY-SA 4.0 출처 표기, NIA AI Hub 사업 결과 표기)도 NOTICE에 포함되어 있습니다.

• 이용 조건에 동의하기 전에도 NOTICE를 읽을 수 있도록 같은 파일의 공개 사본을 두었습니다: NOTICE (공개 사본)

인용

@misc{judge-ko-2026,
  title  = {judge-ko: a small calibrated Korean typed-decision model},
  author = {Sung Ran Song},
  year   = {2026}
}