README.md

---
language:
- ko
tags:
- pytorch
- causal-lm
license: llama2
pipeline_tag: text-generation
---

# llama-2-ko-story-7b
llama-2-koen-story-13b는 [beomi/llama-2-koen-13b](https://huggingface.co/beomi/llama-2-koen-13b)를 기반으로 한글 소설 raw 데이터를 학습시킨 기반 모델입니다.
## 학습 데이터
llama-2-koen-story-13b는 약 167MB의 한글 소설 말뭉치로 학습되었습니다. 주요 데이터셋은 다음과 같습니다.
| Source                              |Size (MB) | Link                                  |
|----------------------------------|---------|------------------------------------------|
| 한글 소설 말뭉치 | 115.0 | |
| 공유마당 한국 고전 문학 말뭉치 | 53.0  | https://gongu.copyright.or.kr/ |
## 학습
llama-2-koen-story-13b는 [beomi/llama-2-koen-13b](https://huggingface.co/beomi/llama-2-koen-13b)에서 qlora로 추가 학습되었습니다.
- lora_alpha: 16
- lora_dropout: 0.05
- lora_r: 32
- target_modules: q_proj, v_proj
- epoch: 3
- learning_rate: 3e-4