metadata
library_name: transformers
license: other
日本語向けLlama３ ８B
はじめに
このリポジトリはLlama３を日本語化しようとしたモデルのリポジトリです。
ライセンス
Llama 3 ライセンスなので商用利用可能です。ただし、Llama 3ライセンスをよく読んで使ってください。
学習データ
- llm-jp/databricks-dolly-15k-ja
- cl-nagoya/auto-wiki-qa
学習方法
cl-nagoya/auto-wiki-qaにある約240万件の学習データでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。 その後、返答が味気なさすぎたので、llm-jp/databricks-dolly-15k-jaでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
ハードウェア
- NVIDIA A6000x2
ソフトウェア
- transformers
- trl
学習時間
- 50 GPU hours