junho908/caution-smart-assistant-v1

코션스마트 AI v1 · 승인 교정으로 배운 업무 판단 시제품

현장에서 직접 고친 기준을 작은 언어 모델이 배울 수 있는지 확인한 공개 실험입니다. 실제 Qwen3-0.6B 모델에 LoRA 지도학습을 수행한 PEFT 어댑터를 제공합니다.

허깅페이스에서 직접 체험하기

무엇을 하는 모델인가요?

자동차 작업 사진의 설명·기록·촬영 시점에 관한 글을 읽고, 판단, 근거, 추가확인을 한국어 JSON으로 생성합니다. 입고와 완성 사진 구분, 기타 기록 사진, 직접 공정 근거 우선, 예정 출고와 실제 인도 구분, 동일 차량의 다른 방문 구분, 확인된 사실에 근거한 블로그 설명을 연습했습니다.

사진을 직접 읽는 모델, 운영 코션비서 전체, 자율적인 출고·블로그 실행 시스템은 아닙니다. 실제 고객 데이터·사진·차량번호·연락처·운영 서버에 연결되지 않습니다.

어떤 자료로 학습했나요?

직접 승인된 교정 5개와 명시적 운영 기준 4개, 합계 9개를 사용했습니다. 검토 전 초안 36개와 충돌 항목 1개는 제외했습니다. source_corrections.json은 개인 식별 정보가 없는 해당 기준만 담고 있습니다.

구분	문장 수	용도
학습	121	원본 기준 문장과 기준에서 파생한 가상 연습문제
검증	18	별도 표현의 가상 문제, 체크포인트 선택
시험	30	별도 표현의 가상 문제 27개 + 업무 범위 외 3개

9개 교정을 121개의 실제 사람 교정으로 늘렸다는 뜻이 아닙니다. 문장과 가상 사례 그룹을 분리했지만 같은 원천 기준을 공유합니다. 독립된 실제 고객 사례에 대한 일반화나 사진 정확도를 입증하지 않습니다. 생성 문장과 정답은 수작업으로 구성한 파생 교재이며 실제 현장 결과가 아닙니다.

실제 학습과 검증

기반 모델: Qwen/Qwen3-0.6B, 리비전 c1899de289a04d12100db370d81485cdf75e47ca. Apple Silicon MLX에서 전 레이어 LoRA, rank 8, scale 2, 배치 2, 학습률 0.0001로 180회 학습했습니다. 응답 토큰만 지도학습하며 비사고 모드를 사용했습니다. 강화학습은 수행하지 않았습니다.

검증 손실 최저인 119회 업데이트 체크포인트를 선택했습니다. 선택 검증 손실은 0.01067이며 시험 결과는 선택에 사용하지 않았습니다. MLX 가중치를 PEFT 형식으로 변환했고, 모든 어댑터의 유효값·0이 아닌 가중치 변화, PEFT 실제 로딩, 세 입력의 MLX/PyTorch 순전파 유사도와 다음 토큰 일치를 확인했습니다. 세부 근거는 verification.json, 선택은 selection.json, 학습 추이는 training_history.json에 있습니다.

학습 전후 결과

승인 기준 추가 검색 없이 동일한 시스템 지시와 결정적 생성 조건에서 검사했습니다.

모델	JSON 형식과 판단 분류가 함께 맞은 문장	지정 JSON 형식 준수
학습 전 Qwen3-0.6B	0/30 (0.0%)	0/30
코션 LoRA 학습 후	22/30 (73.3%)	30/30

이 점수는 JSON 세 문자열 형식과 판단 분류의 정확 일치만 검사합니다. 근거와 추가확인 전체를 사람이 채점한 답변 정확도가 아닙니다. 학습 전 0점에는 지정 형식을 지키지 못한 영향이 포함되며 모든 업무 이해가 0이라는 뜻이 아닙니다. 엄격한 기준을 통과하지 못한 8개도 숨기지 않고 trained_eval_responses.json에 공개했습니다. 실제 고객 데이터나 이미지로 측정한 정확도, 실제 운영 이익이나 비용 감소 수치가 아닙니다.

체험의 기본 모드는 학습 모델 자체의 답변입니다. ‘추가 실험’을 켜면 승인 기준 9개 전체를 함께 제공합니다. 추가 참고 기능은 이 표와 조건이 다르며 오답이 없어지는 것을 보장하지 않습니다. 체험 원문을 통해 답변이 실제로 생성되는지 확인할 수 있습니다.

한계와 실패 사례

자료가 9개 기준으로 매우 작아 특정 표현을 외우고 다른 문장을 혼동할 수 있습니다. 계기판·차대번호를 상태점검으로 잘못 분류하거나, 성능 주장 질문을 출고 질문으로 오해한 사례가 있습니다. 업무 범위 밖 질문에 부적절하게 답한 사례도 있습니다. 실제 업무 사용 전 사람 확인이 필요합니다. 사진 분류와 실제 고객 인도를 반드시 분리하며, 실제 인도는 별도의 현장 확인이 필요합니다. 교정 기준을 함께 제공해도 모델의 환각이나 오답이 없어지는 것은 아닙니다.

사용 예

import torch
from peft import PeftModel
from transformers import AutoTokenizer, AutoModelForCausalLM
from huggingface_hub import hf_hub_download

repo = "junho908/caution-smart-assistant-v1"
revision = "c1899de289a04d12100db370d81485cdf75e47ca"
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B", revision=revision)
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", revision=revision,
    dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, repo).eval()
with open(hf_hub_download(repo, "system_prompt.txt"), encoding="utf-8") as f:
    system = f.read()
messages = [{"role": "system", "content": system},
    {"role": "user", "content": "출고 예정일은 지났지만 실제 고객 인도는 확인되지 않았습니다."}]
text = tok.apply_chat_template(messages, tokenize=False,
    add_generation_prompt=True, enable_thinking=False)
inputs = tok(text, return_tensors="pt", add_special_tokens=False).to(model.device)
with torch.inference_mode():
    out = model.generate(**inputs, max_new_tokens=256, do_sample=False,
        pad_token_id=tok.eos_token_id)
print(tok.decode(out[0, inputs.input_ids.shape[1]:], skip_special_tokens=True))

검증 환경: mlx-lm 0.31.2, transformers 5.5.3, torch 2.15.0, peft 0.21.2. 공개 체험은 Gradio와 무료 ZeroGPU를 사용하며 대기와 사용량 제한이 있을 수 있습니다.

공개 범위와 출처

고객 원본 데이터·개인 메모·토큰·운영 시스템의 비공개 경로는 공개하지 않습니다. 이 저장소는 코션의 승인 업무 기준과 그 파생 연습문제, 어댑터, 실제 평가 기록만 포함합니다. 기반 모델은 Qwen3-0.6B이며 Apache-2.0으로 공개돼 있습니다. 이 실험의 어댑터·코드·가상 연습문제도 Apache-2.0으로 공개합니다. 제작: Jeon Junho (junho908) · 코션스마트 AI 공개 학습 실험 · 2026-11-05.