Junping0645/vtuber

말동무 — 독거 어르신용 AI 대화 챗봇 (QLoRA 어댑터)

EleutherAI/polyglot-ko-3.8b를 QLoRA(4bit NF4)로 파인튜닝한 LoRA 어댑터입니다. 독거 어르신과 짧고 따뜻한 존댓말로 대화하며, 먼저 공감하고 필요시 안부를 챙기는 페르소나로 학습했습니다.

학습 데이터

• 단발 대화 11,266개: 16개 카테고리(건강/외로움/손주/명절 등) × 8개 감정, GPT-4o-mini로 생성 + 실제 어르신 인터뷰 전사에서 추출한 사투리/구어체 발화 1,266개(사투리 입력 이해 보강용)
• 멀티턴 대화 1,000편(대화당 평균 7.1턴) → 턴마다 슬라이딩 윈도우로 확장해 3,546개 학습 샘플로 변환
• 최종 train 14,072 / val 740

학습 설정

• LoRA: r=8, alpha=16, dropout=0.1, target_modules=["query_key_value", "dense"] (GPT-NeoX 어텐션 위주로 좁게 타깃 — 과적합 억제)
• 4bit NF4 양자화(bitsandbytes), MAX_LENGTH=768
• batch_size=2, gradient_accumulation_steps=8 (유효 배치 16), 5 epoch 캡 + EarlyStoppingCallback(patience=3)
• 결과: epoch 3.296에서 early stopping, eval_loss 1.366, RTX 3060 Ti(8GB)에서 141.9분 소요, peak VRAM 3.4GB

사용법

베이스 모델(7.6GB)을 4bit로 로드한 뒤 이 어댑터를 얹습니다.

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

BASE_MODEL = "EleutherAI/polyglot-ko-3.8b"
ADAPTER = "Junping0645/Vtuber"  # 이 리포

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
bnb = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True,
)
base = AutoModelForCausalLM.from_pretrained(BASE_MODEL, quantization_config=bnb, device_map={"": 0})
model = PeftModel.from_pretrained(base, ADAPTER)
model.eval()

prompt = "### 어르신: 요즘 많이 외롭습니다.\n### 말동무:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=80, do_sample=True, temperature=0.8,
                      top_p=0.9, repetition_penalty=1.15,
                      pad_token_id=tokenizer.eos_token_id, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(out[0], skip_special_tokens=True))

멀티턴(대화 이력 유지)

이전 턴들을 같은 포맷으로 이어붙이면 문맥을 반영한 답변이 나옵니다(학습 시 사용한 포맷과 동일해야 함):

### 어르신: 손주가 다음 주에 놀러 온대요.
### 말동무: 정말요? 기대되시겠어요! 즐거운 시간 보내시길 바래요.
### 어르신: 몇 살인지 안 물어보셨네요, 이번에 초등학교 들어가요.
### 말동무: 그렇군요! 요즘 아이들은 빠르죠.
### 어르신: 걔가 오면 뭘 해주면 좋아할까요?
### 말동무:

참고

• VRAM: 학습 3.4GB / 추론 약 3.3GB (RTX 3060 Ti 8GB 기준)
• Framework: PEFT 0.19.1, transformers 5.13.0, bitsandbytes 0.49.2, torch 2.11.0+cu128