kgb-writer

여행 가이드북 서비스 KGB에서 가이드북 글을 쓰는 모델입니다. kakaocorp/kanana-1.5-8b-instruct-2505를 고정하고 LoRA 어댑터만 SFT로 학습했습니다. KTB4 10조 프로젝트입니다.

• 목표: 서비스에서 쓰던 Claude Sonnet을 대체해 비용은 30% 이하로, 품질은 최대한 가깝게
• 결과: 비용은 Sonnet의 7~25%로, 품질은 같은 입력 기준 Sonnet의 84%로 맞췄습니다.

버전

맨 위 파일은 서비스에서 쓰는 버전이고, 지금은 v7입니다. 모든 버전은 v7/, v8/, v9/, v10/ 폴더에도 보관합니다. 서비스 버전을 바꿀 때는 그 폴더를 맨 위에 덮어씁니다.

위치	버전	쓰는 단위 · 형식	학습 데이터	규칙 검사 통과
맨 위 · v7/	v7	여행 전체 한 번에. 추천 이유 한 문장, 개요 앞 200자	2,206쌍	test 200건 중 162건 (81%)
v8/	v8	하루씩. 장소마다 개요 요약 2문장 + 추천 이유 1문장 (250자 안), 개요 전체	8,323쌍	test 735일 중 494일 (67.2%)
v9/	v9	v8과 같음	8,455쌍	test 735일 중 513일 (69.8%)
v10/	v10	v8과 같음	7,476쌍	test 735일 중 513일 (69.8%)

• v8부터 하루 단위로 바꿨습니다. 7일 일정을 한 번에 쓰면 응답이 너무 길어져서, 서비스가 날짜별로 나눠 동시에 부르기 때문입니다. 같은 요청 2,800건을 날로 나눠서 학습 쌍 수가 v7보다 많습니다.
• 장소 글은 가이드북 한 쪽(250자)에 들어가게 개요 요약 2문장과 추천 이유 1문장으로 나눴습니다. 제목과 소개는 v8부터 이 모델이 쓰지 않습니다.
• v9는 v8과 같은 교사 답으로 학습했고, 정답을 고르는 기준만 다릅니다. v8은 검사를 통과한 첫 답을, v9는 통과한 답 중 같은 문장 틀이 가장 적은 답을 골랐습니다. 장소가 5곳인 날의 통과율이 38%에서 48%로 올랐습니다.
• v10은 장소가 5곳인 날에 교사 답을 더 만들고, 같은 틀과 취향 문구가 적은 답만 남겨 학습했습니다. 5곳인 날은 52%가 됐지만 전체 통과는 v9와 같습니다. 학습 데이터의 반복을 줄여도 출력의 반복은 거의 그대로였습니다.
• v8 이후 숫자는 v7과 단위(하루 vs 여행 전체)와 검사 항목이 달라 바로 비교하지 않습니다. 학습 전 kanana는 같은 735일에서 35일(4.8%)을 통과했습니다.
• v8 이후 버전은 아직 Sonnet과 블라인드 비교를 하지 않았고, 서비스에 붙이지 않았습니다. 남은 약점은 추천 이유마다 "~에 관심 있는 여행자에게 알맞은 장소입니다"처럼 취향을 붙이는 버릇입니다.

vLLM은 저장소 이름만 받으면 맨 위 v7을 읽습니다. v9를 쓰려면 폴더를 받아 경로로 넘깁니다.

hf download orbit01/kgb-writer --include "v9/*" --local-dir kgb-writer
vllm serve kakaocorp/kanana-1.5-8b-instruct-2505 \
  --enable-lora --max-lora-rank 16 \
  --lora-modules writer=kgb-writer/v9

아래 「하는 일」, 「학습」, 「서빙」, 「한계」는 v7 기준입니다. 「평가」에는 모든 버전을 적었습니다.

하는 일

입력	여행 조건(지역·날짜·동행·취향) + 이미 짜인 일정(날짜·순서·시각 고정) + 장소별 개요
출력	가이드북 글만 담은 JSON. 제목, 소개, 하루 요약, 장소별 추천 이유

일정은 바꾸지 않습니다. 일정은 앞 단계에서 정하고, 이 모델은 "왜 여기인지"를 씁니다.

학습

• 데이터: 교사 모델 Qwen3-32B-AWQ로 정답을 만들고(증류), 규칙 검사기로 걸렀습니다.
  • train 2,206쌍, valid 171쌍, test 200쌍(학습과 분리). 검사에 걸린 423쌍은 뺐습니다.
• 방식: bf16 LoRA. transformers Trainer와 peft로 SFT를 직접 구현했습니다.
  • loss는 정답 부분에만 걸었습니다.
  • r=16, alpha=32, dropout 0.05, 모든 linear 층에 적용했습니다. 학습한 파라미터는 41.9M개(0.52%)입니다.
  • 2 epoch, lr 1e-4(cosine, warmup 3%), 실효 배치 8, A100에서 552 step을 돌렸습니다.
• 버전 v1~v7을 거쳤고, v7에서 장소 개요를 입력에 넣었습니다.

평가

평가는 두 가지로 했습니다. 규칙 검사는 입력과 대조해 틀린 것(지어낸 동행, 취향 밖 장소를 취향인 것처럼 쓰기, 같은 문장 틀 반복, 개요 베끼기 등)을 셉니다. 하나라도 걸리면 실패입니다. 품질은 같은 입력을 받은 Sonnet과 모델 이름을 가리고 비교했습니다.

v1~v7: 여행 전체를 한 번에 (test 200건)

검사 기준이 바뀔 때마다 모든 버전을 다시 채점한 값입니다.

버전	바꾼 것	규칙 검사 통과
학습 전		44 (22%)
v1	첫 학습 (867쌍)	79 (39.5%)
v2	통과한 답 중 반복이 가장 적은 답을 정답으로	100 (50%)
v3	검사·프롬프트 강화, 데이터 2배	141 (70.5%)
v4	입력에 장소별 취향 정보	148 (74%)
v5	교사가 취향 정보를 보고 다시 생성	146 (73%)
v6	교사 프롬프트 수정, 요청당 답 8개	183 (91.5%)
v7	입력에 장소 개요 200자	162 (81%)

v7은 개요 덕분에 글이 길고 구체적이 되었고, 그만큼 같은 틀 반복·거리 언급 검사에 더 걸려 v6보다 통과가 적습니다. 품질은 v7이 v6보다 크게 나았습니다(블라인드 비교 50건 중 48건 승).

v8~v10: 하루씩, 개요 요약 2문장 + 추천 이유 1문장 (test 735일)

test 200건을 날로 나눈 735일입니다. 형식과 검사 항목이 달라 v7 숫자와 바로 비교하지 않습니다.

버전	바꾼 것	규칙 검사 통과	장소 5곳인 날
학습 전		35 (4.8%)	0%
v8	하루 단위, 2+1 형식, 개요 전체	494 (67.2%)	38%
v9	통과한 답 중 반복이 가장 적은 답	513 (69.8%)	48%
v10	5곳인 날 답을 더 만들고 더 엄격하게 고름	513 (69.8%)	52%

• 장소가 34곳인 날은 세 버전 모두 7377%이고, 차이는 5곳인 날에서 납니다.
• 가장 많이 걸리는 이유는 추천 이유마다 "~에 관심 있는 여행자에게 알맞은 장소입니다" 같은 꼬리를 붙이는 버릇(취향 연결, 118일)입니다.
• v10은 학습 데이터의 반복을 줄였지만 출력의 반복은 거의 그대로였습니다. 정답을 고르는 방법으로는 더 줄지 않아, 다음은 생성 단계에서 막는 방법(DPO, 여러 개 만들어 고르기)을 볼 계획입니다.

v7 품질: 같은 입력의 Sonnet과 블라인드 비교

블라인드 품질 비교 (GPT 심판, test 50건, 기준별 1~5점):

• 심판이 A/B 순서를 바꾼 10쌍에서 모두 같은 판정을 내려 일관성을 확인했습니다(10/10).

기준	v7 / Sonnet (같은 입력)
사실	95%
입력과 맞음	88%
구체성	84%
자연스러움	79%
반복	70%
평균	84% (학습 전 74%)

• 개요 효과: 이전 버전(v6-B) 대비 118%였고, 구체성 점수는 1.80점에서 3.96점(2.2배)으로 올랐습니다.

서빙

KGB에서는 RunPod Serverless(vLLM)로 매일 오후 1시~5시에 이 모델을 쓰고, 그 외 시간에는 Claude Sonnet을 씁니다.

아래는 vLLM, RunPod L4 측정 결과입니다(에러 0).

동시 요청	첫 토큰(TTFT)	시간당 처리	비용 (Sonnet 대비)
1	1.94초	55건	25%
3	2.23초	141건	10%
5	2.45초	189건	7%

vllm serve kakaocorp/kanana-1.5-8b-instruct-2505 \
  --enable-lora --max-lora-rank 16 \
  --lora-modules writer=orbit01/kgb-writer

model="writer"로 부릅니다. 개요는 학습 때와 같이 자릅니다.

1. 공백을 합칩니다.
2. 앞 200자만 남깁니다.
3. 100자 이후에 마침표가 있으면 마지막 마침표까지만 남깁니다.

개요가 없는 장소는 overview 필드를 빼고 보냅니다.

한계

• 한국어 전용이며, KGB 입력 형식에 맞춰 학습했습니다.
• 전체 응답 시간은 Sonnet보다 약 4배 깁니다(출력 약 950토큰, L4 기준).
• 문장 틀 반복이나 거리·이동 시간 언급이 아직 남아 있습니다.

링크

• 서비스: https://kguidebook.site/
• 학습·평가 코드: https://github.com/100-hours-a-week/KTB4-10th-AI (model/)