sciedu-router-axenc

OpenArm SciEdu 대화 라우터(이슈 #83)의 트랙 나: 학생·선생님의 한국어 말 하나를 열한 갈래로 가르는 분류기다. skt/A.X-Encoder-base(ModernBERT, 149M, Apache-2.0)에 분류 머리를 달아 미세조정했다. CPU에서 문장 하나를 수십 ms에 읽는다(아래 지연 표). 로봇을 움직이는 결정을 혼자 내리지 않는다.

라우터는 대화층에 기본값 꺼 둠으로 붙는다. 꺼져 있으면 대화층은 지금처럼 낱말 길과 대화 모델·결정 모델만 쓴다. 켜면 멈춤 빠른 길은 낱말 목록과 둘 중 하나만 걸려도 서고, 움직임은 대화 모델의 계획과 이 분류기가 둘 다 움직임 갈래일 때만 움직인다. 아래처럼 통과 기준을 아직 만족하지 못하므로 켜기 전에 수업 기록으로 더 재야 한다.

갈래

pause(멈춰), stop(그만), proceed(다음), retry(다시), start_switch(실험 시작·바꾸기), leaf_side(나뭇잎 쪽), hands(손 넣기), question(질문), answer(대답), chitchat(일반 대화), unclear(알 수 없음). 움직임 갈래는 proceed·retry·start_switch·leaf_side, 멈춤 갈래는 pause·stop이고 unclear는 되묻기다. 정의와 경계 짝은 저장소 plan/dialogue-routing.md에 있다.

입력

맥락 칸 다섯을 말 앞에 글로 붙인 한 줄이다(dialogue/routing/schema.py의 render_input, 칸 순서·이름 고정). 예: 장면=로봇 움직이는 중 | 실험=검전기 | 나뭇잎 활동=없음 | AI 제안=아니오 | 말한 사람=학생 || 멈춰! 칸: 장면(실험 없음·시작 전·로봇 움직이는 중·다음 지시 기다림·접지 기다림·일시정지 중), 실험(산화환원·검전기·나뭇잎·없음), 나뭇잎 활동(학생이 분류·기준 맞히기·없음), AI 제안(있음·아니오), 말한 사람(학생·선생님). 토큰은 <s> … <\s>, 최대 128. 입력 칸은 router.json의 fields다.

확신도 규칙

router.json의 policies에 이름 붙은 규칙이 있고 policy가 기본(balanced)이다. 온도 T로 로짓을 나눈 소프트맥스에서: halt_min — pause+stop 확률의 합이 이 값 이상이면 멈춘다(큰 쪽의 갈래), move_min — 움직임 갈래가 이 확률보다 낮으면 unclear, other_min — 질문·대답·일반 대화·손 넣기가 이 확률보다 낮으면 unclear. 온도와 문턱은 검증 세트(428줄)로만 정했다. 모델·씨앗(13·21·42 가운데)도 검증으로만 골랐고(마지막 판정을 보기 전에 정했다), 마지막 판정을 보고 다시 고르거나 학습을 고치지 않았다.

결과

판정은 두 조각이다(코디네이터 결정): (가) 마지막 판정에서 손대지 않은 줄 482개 — 시나리오 옮김과 독립 시험(정의만 보고 다른 에이전트가 쓴 123줄), 학습 보강을 만들 때 본 tuned 줄은 뺐다 — (나) 손대지 않은 덧붙임 508줄(움직임 낱말이 든 일반 대화의 오탐을 본다). 위험한 틀림: 움직임이 아닌 말을 움직임으로 고름(false_move) · 정답이 멈춤인데 멈춤 갈래로 답하지 않음(missed_pause) · 정답이 그만인데 멈춤 갈래로 답하지 않음(missed_stop). 멈춤↔그만을 바꿔 답한 것은 위험이 아니다(둘 다 선다).

통과 기준(잠정: (가)·(나) 위험 0, (가) 맞음 90% 이상)을 만족하지 못한다: 기본 규칙의 위험은 (가) 2개·(나) 1개, (가) 맞음 88.2%.

(가) 마지막 판정, 손대지 않은 482줄

규칙	값	맞음	위험한 틀림	진짜 움직임 말을 막음
balanced	T=1.89, halt≥0.6, move≥0.95, other≥0.0	88.2%	2 (놓친 멈춤 2 · 놓친 그만 0 · 움직임 아닌 말을 움직임으로 0)	47.7%
strict	T=1.89, halt≥0.6, move≥0.95, other≥0.0	88.2%	2 (놓친 멈춤 2 · 놓친 그만 0 · 움직임 아닌 말을 움직임으로 0)	47.7%
argmax	T=1.89, halt≥1.0, move≥0.0, other≥0.0	93.2%	6 (놓친 멈춤 2 · 놓친 그만 0 · 움직임 아닌 말을 움직임으로 5)	20.3%

갈래별(기본 규칙 balanced, 정답 줄 기준 재현율·답 기준 정밀도):

갈래	정답 줄	재현율	정밀도
pause(멈춰)	47	95.7%	100.0%
stop(그만)	28	100.0%	93.3%
proceed(다음)	68	35.3%	100.0%
retry(다시)	17	94.1%	100.0%
start_switch(실험 시작·바꾸기)	16	81.2%	100.0%
leaf_side(나뭇잎 쪽)	27	51.8%	100.0%
hands(손 넣기)	80	100.0%	95.2%
question(질문)	44	93.2%	83.7%
answer(대답)	48	79.2%	97.4%
chitchat(일반 대화)	10	100.0%	62.5%
unclear(알 수 없음)	97	97.9%	62.5%

(나) 손대지 않은 덧붙임 508줄

규칙	값	맞음	위험한 틀림	진짜 움직임 말을 막음
balanced	T=1.89, halt≥0.6, move≥0.95, other≥0.0	90.3%	1 (놓친 멈춤 0 · 놓친 그만 0 · 움직임 아닌 말을 움직임으로 1)	26.9%
strict	T=1.89, halt≥0.6, move≥0.95, other≥0.0	90.3%	1 (놓친 멈춤 0 · 놓친 그만 0 · 움직임 아닌 말을 움직임으로 1)	26.9%
argmax	T=1.89, halt≥1.0, move≥0.0, other≥0.0	94.5%	6 (놓친 멈춤 0 · 놓친 그만 0 · 움직임 아닌 말을 움직임으로 6)	5.9%

참고(통과 판정에 쓰지 않는다): 독립 시험 123줄 단독 기본 규칙 맞음 91.1%, 위험 1. 시험 세트 976줄(학습 보강을 만들 때 본 tuned 109줄 포함) 기본 규칙: tuned 줄 맞음 98.2%(위험 1), 손대지 않은 줄 867개 맞음 89.0%(위험 2). tuned 줄은 학습과 떨어져 있지 않아 낙관적이다.

CPU 지연

문장 하나씩(배치 1), 맥락 글 만들기 + 토큰 + 모델 + 규칙 전체, Ryzen 5 7500F, 다른 일이 함께 도는 PC(부하 평균 7~9)라 상한에 가깝다:

길	스레드	중앙(ms)	p90	p99	최대	어디서
torch fp32	4	44.68	48.71	52.6	53.89	채점 틀(손대지 않은 final 482줄)
onnxruntime fp32	4	24.39	26.89	29.79	33.59	채점 틀(손대지 않은 final 482줄)
torch fp32	1	100.65	109.48	116.12	124.05	bench(시험 앞 300줄)
torch fp32	4	45.65	53.27	59.99	63.92	bench(시험 앞 300줄)
torch fp32	6	48.14	53.1	58.68	66.16	bench(시험 앞 300줄)
onnxruntime fp32	1	75.66	85.59	92.5	98.38	bench(시험 앞 300줄)
onnxruntime fp32	4	27.24	31.2	35.46	62.68	bench(시험 앞 300줄)
onnxruntime fp32	6	28.59	34.47	38.15	38.78	bench(시험 앞 300줄)

학습

• 기반 모델: skt/A.X-Encoder-base 커밋 9708f9c404ace91efd25c06fac2d73413616f4ef (라이선스 Apache-2.0)
• 자료: 저장소 LEAP-LAB-KUS/openarmsciedu-robot 갈래 routing@414a698의 dialogue/routing/data/(학습 때 작업 트리 커밋 c75ddeeb1a74e0df44a28bc5b67e5bfb8a44cf24, 브랜치 routing-encoder)
  • train.jsonl sha256 933768cc1e770a22…
  • val.jsonl sha256 422a5fe179cc5b6e…
  • test.jsonl sha256 067b59afce0baee1…
  • test_indep.jsonl sha256 1578eaa84ea37da8…
• 인자: 학습률 3e-05, 배치 32, 에포크 8.0(검증 최고 에포크 8.0), 안전 갈래(pause·stop) 손실 가중 2.0, weight decay 0.01, 워밍업 0.1, 씨앗 13, bf16 혼합 정밀도, 선형 감쇠
• 온도 1.8919, 보정 전·후 ECE 0.0426 → 0.02

쓰는 법

from dialogue.routing.axenc.model import AxRouter   # 저장소 코드
router = AxRouter("leapshared/sciedu-router-axenc", revision="<이 저장소의 커밋>", threads=4)   # backend="onnx"면 onnx/model.onnx(torch 없이 onnxruntime만)
route = router("멈춰!", {"scene": "moving", "experiment": "electroscope", "leaf_activity": None, "ai_proposed": False, "speaker": "student"})
route.label, route.scores

한계

• 학습·시험 말은 대부분 손과 LLM으로 쓴 것이다. 실제 수업 음성 받아쓰기는 촬영 기록 45줄뿐이다.
• 시험의 덧붙임 줄은 학습 시드와 같은 사람이 썼다. 독립 시험은 123줄뿐이라 갈래별 숫자는 흔들린다.
• 확신 있게 틀리는 말이 남는다. 위험 0과 맞음 90%를 문턱 하나로 함께 얻지 못한다: strict처럼 위험을 줄이면 진짜 움직임 말을 되묻는 몫이 크게 는다.
• 대본(실험 순서)을 모른다. 순서 밖 지시는 계획기·서빙이 막는다.