squarelike
/

llama-2-ko-story-7b

Text Generation

text-generation-inference

Inference Endpoints

Model card Files Files and versions Community

Edit model card

llama-2-ko-story-7b

llama-2-ko-story-7b는 beomi/llama-2-ko-7b를 기반으로 한글 소설 raw 데이터를 학습시킨 기반 모델입니다.

학습 데이터

llama-2-ko-story-7b는 약 167MB의 한글 소설 말뭉치로 학습되었습니다. 주요 데이터셋은 다음과 같습니다.

Source	Size (MB)	Link
한글 소설 말뭉치	115.0
공유마당 한국 고전 문학 말뭉치	53.0	https://gongu.copyright.or.kr/

학습

llama-2-ko-story-7b는 beomi/llama-2-ko-7b에서 qlora로 추가 학습되었습니다.

lora_alpha: 16
lora_dropout: 0.05
lora_r: 32
target_modules: q_proj, v_proj
epoch: 3
learning_rate: 3e-4

Downloads last month: 8

Safetensors

Model size

6.86B params

Tensor type

F32

·

Text Generation

This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.