Update README.md

README.md

@@ -1,3 +1,75 @@
----
-license: llama3.2
----
+---
+license: llama3.2
+datasets:
+- KorQuAD/squad_kor_v1
+language:
+- ko
+base_model:
+- meta-llama/Llama-3.1-8B-Instruct
+---
+
+# Llama-3.2-1B-Instruct-korQuAD-v1
+
+이 모델은 Llama-3.2-1B-Instruct를 기반으로 한국어 질의응답 태스크에 대해 파인튜닝된 모델입니다.
+
+## 모델 설명
+
+- 기본 모델: Llama-3.2-1B-Instruct
+- 학습 데이터셋: KorQuAD v1.0
+- 학습 방법: LoRA (Low-Rank Adaptation)
+- 주요 태스크: 한국어 질의응답
+
+## 사용 방법
+
+다음과 같이 모델을 로드하고 사용할 수 있습니다:
+```
+#모델, 토크나이저 로드
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+model_path = "NakJun/Llama-3.2-1B-Instruct-ko-QuAD"
+model = AutoModelForCausalLM.from_pretrained(
+model_path,
+torch_dtype=torch.bfloat16,
+device_map="auto",
+)
+tokenizer = AutoTokenizer.from_pretrained(model_path)
+
+#입력 형식 설정
+prompt = f"""
+### Question:
+{question}
+### Context:
+{context}
+### Answer:
+"""
+
+#토큰화 및 추론
+input_ids = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
+output = model.generate(
+input_ids,
+max_new_tokens=100,
+temperature=0.1,
+repetition_penalty=1.3,
+do_sample=True,
+eos_token_id=tokenizer.eos_token_id
+)
+generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
+answer = generated_text.split("Answer:")[-1].strip().split('\n')[0].strip()
+print("생성된 답변:", answer)
+
+```
+
+## 학습 세부 정보
+- 에폭: 5
+- 배치 크기: 1
+- 학습률: 2e-4
+- 옵티마이저: AdamW (32-bit)
+- LoRA 설정:
+  - r: 16
+  - lora_alpha: 16
+  - 대상 모듈: ["q_proj", "v_proj", "k_proj", "o_proj", "gate_proj", "down_proj", "up_proj"]
+  - lora_dropout: 0.01
+
+## 연락처
+- njsung1217@gmail.com
+- https://github.com/nakjun