README.md

---
library_name: transformers
license: other
---

# 日本語向けLlama３　８B

# はじめに
このリポジトリはLlama３を日本語化しようとしたモデルのリポジトリです。

# ライセンス
Llama 3 ライセンスなので商用利用可能です。ただし、Llama 3ライセンスをよく読んで使ってください。

# 学習データ
- llm-jp/databricks-dolly-15k-ja
- cl-nagoya/auto-wiki-qa

# 学習方法
cl-nagoya/auto-wiki-qaにある約240万件の学習データでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
その後、返答が味気なさすぎたので、llm-jp/databricks-dolly-15k-jaでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。

# ハードウェア
- NVIDIA A6000x2

# ソフトウェア
- transformers
- trl

# 学習時間
- 50 GPU hours