|
--- |
|
library_name: transformers |
|
license: other |
|
--- |
|
|
|
# 日本語向けLlama３ ８B |
|
|
|
# はじめに |
|
このリポジトリはLlama３を日本語化しようとしたモデルのリポジトリです。 |
|
|
|
# ライセンス |
|
Llama 3 ライセンスなので商用利用可能です。ただし、Llama 3ライセンスをよく読んで使ってください。 |
|
|
|
# 学習データ |
|
- llm-jp/databricks-dolly-15k-ja |
|
- cl-nagoya/auto-wiki-qa |
|
|
|
# 学習方法 |
|
cl-nagoya/auto-wiki-qaにある約240万件の学習データでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。 |
|
その後、返答が味気なさすぎたので、llm-jp/databricks-dolly-15k-jaでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。 |
|
|
|
# ハードウェア |
|
- NVIDIA A6000x2 |
|
|
|
# ソフトウェア |
|
- transformers |
|
- trl |
|
|
|
# 学習時間 |
|
- 50 GPU hours |
|
|
