carbix-v6

한국 탄소배출 증빙 문서(전기요금 청구서 · 도시가스 청구서 · 화물 운송증)에서 구조화 JSON을 추출하는 Qwen3-VL-4B LoRA 파인튜닝 모델.

v6는 카테고리 힌트 없이 문서 종류를 스스로 판별하면서 추출 정확도를 유지한다.

구성

파일	크기	설명
carbix-v6-q8.gguf	4.28GB	llama.cpp 서빙용 가중치 (q8_0)
carbix-v6-mmproj.gguf	836MB	비전 프로젝터 (f16)
lora_adapter_v6/	132MB	PEFT 어댑터 (merge 전)

v5 대비 변경

• 학습 프롬프트를 카테고리 힌트 없는 자동분류용 1종으로 통일. v5까지는 카테고리별 3종(전기 2,167자 · 가스 2,677자 · 운송 4,782자)을 썼는데, 그러면 정답의 category 가 프롬프트에 이미 적힌 값의 복사라 모델이 분류를 배울 기회가 없었다. v6는 전 샘플이 동일한 5,241자 자동분류 프롬프트다.
• 프롬프트 v13 (스키마 변경 없음)

학습

베이스     Qwen/Qwen3-VL-4B-Instruct
LoRA       r=16, alpha=32, dropout=0.05
           q/k/v/o_proj, gate/up/down_proj
최적화     AdamW, LR 2e-4, cosine, warmup 0.05 (246스텝)
배치       1 × grad_accum 4 (effective 4)
스텝       4,925 (1 epoch), 15시간 41분 (L4 24GB)
데이터     19,700건 — 가스 10,727 · 전기 4,495 · 운송 4,478
손실       train 0.0087 / eval 0.0020

분류 정확도 (힌트 없는 프롬프트, 120건)

모델	정확도	오분류
Qwen3-VL-4B (파인튜닝 전)	87.5%	15건
carbix-v5	56.7%	52건
carbix-v6	100.0%	0건

전기 9/9 · 가스 75/75 · 운송 36/36. unknown 출력, 토큰 초과, 파싱 실패 모두 0건.

v5가 베이스보다 낮은 것이 힌트 전용 학습의 대가였다 — 프롬프트가 항상 정답을 알려줬으므로 분류를 수행할 필요가 없었고, 힌트 없는 입력은 학습 분포 밖이었다.

추출 정확도 (테스트 657건, llama.cpp q8_0)

카테고리	v4	v5	v6 (자동분류)
전기	100.0%	100.0%	100.0%
가스	99.85%	99.87%	99.85%
운송	95.43%	98.00%	98.14%
전체	98.76%	99.42%	99.43%
ANLS	0.9954	0.9979	0.9984
Token-F1	0.9898	0.9947	0.9946

v6 열은 카테고리를 사전 지정하지 않고 측정한 값이다. v4·v5 는 정답 카테고리를 프롬프트로 받은 상태의 수치이다. 오분류가 있었다면 해당 문서의 필드가 통째로 어긋나 점수가 유지될 수 없다

카테고리 힌트를 주는 기존 경로도 유지된다: 807건 기준 98.82%(ANLS 0.9962)로 v5의 98.87% 와 사실상 동일하다.

건당 평균 5.0초 (p50 3.5s / p95 11.0s).

서빙

llama-server -m carbix-v6-q8.gguf --mmproj carbix-v6-mmproj.gguf \
    --host 127.0.0.1 --port 8001 -ngl 99 -c 8192 \
    --parallel 2 --image-min-tokens 1024 --jinja

max_tokens 는 768 이상을 권장 — 운송 25키 출력이 경유지 3개일 때 461 토큰까지 발샘