README.md

metadata

license: llama3.2
datasets:
  - KorQuAD/squad_kor_v1
language:
  - ko
base_model:
  - meta-llama/Llama-3.1-8B-Instruct

Llama-3.2-1B-Instruct-korQuAD-v1

이 모델은 Llama-3.2-1B-Instruct를 기반으로 한국어 질의응답 태스크에 대해 파인튜닝된 모델입니다.

모델 설명

• 기본 모델: Llama-3.2-1B-Instruct
• 학습 데이터셋: KorQuAD v1.0
• 학습 방법: LoRA (Low-Rank Adaptation)
• 주요 태스크: 한국어 질의응답

사용 방법

다음과 같이 모델을 로드하고 사용할 수 있습니다:

#모델, 토크나이저 로드
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_path = "NakJun/Llama-3.2-1B-Instruct-ko-QuAD"
model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.bfloat16,
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_path)

#입력 형식 설정
prompt = f"""
### Question:
{question}
### Context:
{context}
### Answer:
"""

#토큰화 및 추론
input_ids = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
output = model.generate(
input_ids,
max_new_tokens=100,
temperature=0.1,
repetition_penalty=1.3,
do_sample=True,
eos_token_id=tokenizer.eos_token_id
)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
answer = generated_text.split("Answer:")[-1].strip().split('\n')[0].strip()
print("생성된 답변:", answer)

학습 세부 정보

• 에폭: 5
• 배치 크기: 1
• 학습률: 2e-4
• 옵티마이저: AdamW (32-bit)
• LoRA 설정:
  • r: 16
  • lora_alpha: 16
  • 대상 모듈: ["q_proj", "v_proj", "k_proj", "o_proj", "gate_proj", "down_proj", "up_proj"]
  • lora_dropout: 0.01

연락처

• njsung1217@gmail.com
• https://github.com/nakjun