alfredplpl commited on
Commit
fc475a3
1 Parent(s): d2ee79f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -2
README.md CHANGED
@@ -14,10 +14,11 @@ Llama 3 ライセンスなので商用利用可能です。ただし、Llama 3
14
  # 学習データ
15
  - llm-jp/databricks-dolly-15k-ja
16
  - cl-nagoya/auto-wiki-qa
 
17
 
18
  # 学習方法
19
- cl-nagoya/auto-wiki-qaにある約240万件の学習データでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
20
- その後、返答が味気なさすぎたので、llm-jp/databricks-dolly-15k-jaでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
21
 
22
  # ハードウェア
23
  - NVIDIA A6000x2
 
14
  # 学習データ
15
  - llm-jp/databricks-dolly-15k-ja
16
  - cl-nagoya/auto-wiki-qa
17
+ - meta-llama/Meta-Llama-3-8B-Instruct
18
 
19
  # 学習方法
20
+ meta-llama/Meta-Llama-3-8B-Instructに対して、cl-nagoya/auto-wiki-qaにある約240万件の学習データでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
21
+ その後、そのモデルに対して、llm-jp/databricks-dolly-15k-jaでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
22
 
23
  # ハードウェア
24
  - NVIDIA A6000x2