README.md

metadata

license: mit
datasets:
  - maywell/korean_textbooks
language:
  - ko

TinyKo-v5-a모델에서 약간의 파인튜닝을 한 진행한 모델입니다.

주의: 성능이 매우 떨어지며 할루시네이션이 매우 심합니다.

모델 정보

model type: llama

hidden size: 6

hidden size: 127

num attention heads: 16

num key value heads: 4