inquiry_merged_model

모델 소개

이 모델은 GEMMA 2B-IT 기반 LoRA 파인튜닝된 민원 Q&A 응답 생성 모델입니다.

• 베이스 모델: google/gemma-2b-it
• 파인튜닝 방식: LoRA (Low-Rank Adaptation)
• 학습 데이터: 민간 민원 Q&A 데이터 (2,000개)
• 라이센스: Apache-2.0

모델 상세 정보

학습 데이터

• 출처: AI허브 민간 민원 상담 LLM 사전학습 데이터
• 데이터 출처 기관: 하나카드, 액티벤처, 엘지유플러스 (3개 금융사)
• 샘플 크기: 2,000개 (전체 25,132개 중 샘플링)
• 형식: Q&A 대화 형식 (상담사-손님 대화)
• 개인정보: 완벽하게 마스킹됨

파인튜닝 설정

• Epochs: 2
• Batch Size: 1
• Learning Rate: 2e-4
• LoRA Rank: 32
• LoRA Alpha: 64

병합 정보

• 병합 방식: LoRA 어댑터와 베이스 모델 완전 병합
• 결과 모델 크기: 약 4.7GB
• 추론 방식: 베이스 모델 없이 단독 실행 가능

사용 방법

Python에서 사용

from transformers import AutoModelForCausalLM, AutoTokenizer

# 모델 로드
model = AutoModelForCausalLM.from_pretrained("suna999/inquiry_merged_model")
tokenizer = AutoTokenizer.from_pretrained("suna999/inquiry_merged_model")

# 추론
prompt = "카드를 잃어버렸는데 어떻게 해야 하나요?"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=128)
answer = tokenizer.decode(outputs[0])
print(answer)

FastAPI에서 사용

이 모델은 FastAPI 기반 민원 자동 답변 생성 웹 서비스에 통합되어 있습니다.