XERON-0.1 🎯

XERON-0.1 is a fine-tuned typed-decision (System 1) model built on convaiinnovations/laya's multilingual checkpoint (backbone: jhu-clsp/mmBERT-base, 322M params).

It answers typed questions over a state — choice / score / noul (boolean) — in a single forward pass, returning calibrated probabilities. It never generates text, so it cannot hallucinate and cannot emit malformed schemas.

Trained by PIXELZX as the first release of the XERON family (training plan & data pipeline: https://github.com/PIXELZX0/XERON).

✨ What makes XERON-0.1 different

Base	jhu-clsp/mmBERT-base (Laya multilingual subfolder)
Fine-tuned on	148,281 sequences — English typed-decisions + Korean (KLUE ynat/nli/sts) + browser/web decisions (BBC + AG News, SMS spam, phishing URLs) + web-agent actions (Mind2Web) + long-context (SCOTUS, 20 Newsgroups)
Training	RLCD — strictly proper scoring rule + GRPO-style baseline; post-hoc temperature calibration. 4 epochs · 15,987 updates · ~5h on 1×GPU (bf16)
Context	4,096 tokens trained (CTX_CAP up to 32,768 via RoPE extension)
Languages	100+ via mmBERT (English + Korean trained explicitly)
License	Apache-2.0

📊 Head-to-head: Laya vs Jev vs XERON-0.1

A. 실측 비교 (동일 평가셋 · 동일 스크립트)

평가셋 LocalLLaMA/typed-decisions test split — 400 cases = 600 choice + 400 score + 400 noul (1,400 decisions). 동일한 scripts/evaluate.py / scripts/recompute_metrics.py, CPU 단일 프로세스, 2026-09-22. 원본: eval_comparison.md, eval_baseline_*.json.

모델	백본 / 파라미터	choice acc	soft acc	Brier	ECE ↓	score MAE ↓	noul acc
XERON-0.1 (ours)	mmBERT-base · 322M · fine-tuned	0.7000	0.5171	0.4493	0.2143	0.4213	0.7817
laya-typed-decisions (Convai)	ModernBERT-large · 421M · 벤더 튜닝	0.7333	0.4460	0.4669	0.2380	0.2963	0.8583
laya-multilingual (Convai)	mmBERT-base · 322M · base(미튜닝)	0.2900	0.2758	0.9952	0.3282	1.0625	0.4983
Jev (TypeSafe AI)	비공개 · 호스팅 API	측정 불가 (웨이트 비공개)	—	—	—	—	—

• 미튜닝 Laya base(0.290) → XERON-0.1(0.700) = +41.0%p. 파인튜닝이 결정적 (Laya base는 태스크별 FT 전제라는 공개 설명과 일치).
• 벤더가 이 벤치마크에 직접 튜닝한 421M 영어 모델 대비 하드 라벨 -3.3%p, 그러나 soft accuracy +7.1%p / ECE −0.024 는 XERON 우위 → 확률(신뢰도) 품질이 더 좋음.

B. 스펙 · 공개 지표 비교

Laya/Jev 수치는 벤더·제3자 공개 자료에서 인용 (2026-09-22 조회). XERON 수치는 실측.

항목	XERON-0.1	Laya (Convai)	Jev (TypeSafe AI)
배포 형태	오픈 웨이트 (self-host)	오픈 웨이트 (self-host)	호스팅 API (closed)
라이선스	Apache-2.0	Apache-2.0	상용 API
백본 / 파라미터	mmBERT-base · 322M	EN 421M / multi 322M	비공개
컨텍스트	4,096 (cap 32,768)	512 (EN) / 1,024 (multi)	64k
언어	100+ (mmBERT), EN·KR 학습	100+ (multi 체크포인트)	다국어 (비공개)
결정 프리미티브	choice / score / noul	choice / score / noul	choice / score / noul
파인튜닝 필요	❌ (이미 튜닝됨)	✅ (base는 FT 전제)	❌ (제로샷)
정확도 (공개)	—	in-task 0.753 · zero-shot 0.651 · typed-decisions 0.766	JevBench v1.3.0 composite 74.4 (#1)
난이도별 (Easy/Std/Judge/Hard)	—	94.4 / 72.9 / 69.2 / 34.1 %	100 / 99 / 94.5 / 74.1 %
캘리브레이션 (ECE)	0.2143 (동일 평가셋)	in-task 0.030 · zero-shot 0.204 · multi 0.081 (벤더)	미공개
Brier	0.4493 (동일 평가셋)	0.308 in-task / 0.532 zero-shot (벤더)	미공개
지연	2.2 s/case (CPU, 로컬 측정)	p50 38.4 ms (1문항, 벤더) · 32.8 ms (T4)	~150 ms (제3자 236–276 ms)
비용	self-host (GPU 비용만)	self-host (GPU 비용만)	$0.042 / 1M input tokens
JevBench v1.3.0 순위	미등재	#33 (54.4)	#1 (74.4)

⚠️ A와 B는 다른 평가셋·다른 하드웨어입니다. A는 동일 조건 실측(모델 간 직접 비교 가능), B는 공개 자료 인용(참고용). Jev는 웨이트가 공개되지 않아 A에 넣을 수 없습니다.

C. JevBench v1.3 방식 평가 (공개 아이템 231/534)

JevBench v1.3.0(Benchmark Heaven) 하네스·어댑터·채점 코드를 그대로 사용해 측정했습니다. 공개 아이템은 534개 중 231개뿐(judge tier는 전부 비공개)이므로 공식 보드 순위와 직접 비교할 수 없습니다. 전체 방법·family별 분석·재현 코드: https://github.com/PIXELZX0/XERON/tree/main/results/jevbench-public

동일한 231개 공개 아이템에서 4개 시스템을 비교 (Jev/Laya는 공식 per-task 아티팩트의 공개 아이템 결과):

시스템	easy (48)	standard (72)	hard (111)	전체 (231)	Intelligence
Jev 1.13.0 (TypeSafe, API)	1.000	0.986	0.730	0.866	82.2
laya-typed-decisions (Convai, 421M, 벤더 튜닝)	0.979	0.653	0.270	0.537	38.0
XERON-0.1 (ours)	0.875	0.444	0.306	0.468	23.3
laya-multilingual (미튜닝 base)	0.896	0.403	0.324	0.468	21.5

솔직한 결론

• XERON-0.1은 JevBench류 태스크(정책 문서 + 루브릭 선택)에서 벤더 Laya 튜닝판보다 약합니다. 학습 데이터(KLUE·브라우저·Mind2Web·SCOTUS)와 도메인이 겹치지 않기 때문입니다.
• 단, 동일 백본 미튜닝 base 대비 파인튜닝 효과는 검증됐습니다 (ECE hard 0.289 → 0.211, 확률 TVD 0.573 → 0.389).
• hard tier에서는 XERON이 벤더 튜닝판을 이깁니다 (0.306 vs 0.270) — adversarial / trap / judge_hard 계열.
• 부분 JevBench Score(judge tier 없음, 재정규화): laya-typed-decisions 37.5 · XERON-0.1 11.5 · laya-multilingual 8.8. Intelligence<50 패널티 (I/50)²가 XERON 점수를 크게 깎습니다.
• 다음 단계: JevBench 스타일 데이터(공개 231건 또는 HF Praveenrajus/jev-bench 166k rows)로 추가 파인튜닝 후 재평가.

읽는 법

• Jev = 제로샷 강자 (하드 난이도 74.1%).
• Laya / XERON = 오픈 웨이트, 파인튜닝 후 자기 도메인에서 강해지는 진영.
• XERON-0.1은 Laya multilingual과 같은 백본 + 한국어·브라우저·웹 에이전트·장문 데이터 추가 학습판.

🚀 사용법

pip install laya

import laya

agent = laya.load("PIXELZX/XERON-0.1")

state = "Customer email: 'I was charged twice, please refund immediately.' tier=premium, sla=4h"
questions = {
    "intent":  {"type": "choice", "options": ["billing", "technical", "cancellation", "other"]},
    "urgency": {"type": "score",  "levels": ["0 — no time pressure", "1 — routine", "2 — elevated", "3 — critical"]},
    "needs_refund": {"type": "noul"},
}

res = agent.predict(state, questions)
print(res["answers"])

Returned per question: selected key / expected level + full probability distribution + calibrated confidence.

📈 평가 재현

python scripts/evaluate.py \
  --model PIXELZX/XERON-0.1 \
  --dataset LocalLLaMA/typed-decisions --split test \
  --device cpu --output eval_results.json
python scripts/recompute_metrics.py eval_results.json   # score MAE / 타입별 정확도

eval_results.json (per-decision predictions 포함)이 이 저장소에 포함되어 있습니다.

⚠️ 한계

• 4,096 토큰 학습 — 초장문은 CTX_CAP 확장 후 재학습 필요.
• 평가는 영어 typed-decisions split 중심. 한국어/브라우저/웹 에이전트 트랙은 별도 벤치마크 미공개.
• score 타입은 순서형(ordinal) rubric 전용.

Citation

@misc{xeron01,
  title  = {XERON-0.1: a fine-tuned multilingual typed-decision model},
  author = {PIXELZX},
  year   = {2026},
  url    = {https://huggingface.co/PIXELZX/XERON-0.1}
}

Built on Laya by Convai Innovations (Apache-2.0) and jhu-clsp/mmBERT-base.