alfredplpl
commited on
Commit
•
fc475a3
1
Parent(s):
d2ee79f
Update README.md
Browse files
README.md
CHANGED
@@ -14,10 +14,11 @@ Llama 3 ライセンスなので商用利用可能です。ただし、Llama 3
|
|
14 |
# 学習データ
|
15 |
- llm-jp/databricks-dolly-15k-ja
|
16 |
- cl-nagoya/auto-wiki-qa
|
|
|
17 |
|
18 |
# 学習方法
|
19 |
-
cl-nagoya/auto-wiki-qaにある約240万件の学習データでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
|
20 |
-
|
21 |
|
22 |
# ハードウェア
|
23 |
- NVIDIA A6000x2
|
|
|
14 |
# 学習データ
|
15 |
- llm-jp/databricks-dolly-15k-ja
|
16 |
- cl-nagoya/auto-wiki-qa
|
17 |
+
- meta-llama/Meta-Llama-3-8B-Instruct
|
18 |
|
19 |
# 学習方法
|
20 |
+
meta-llama/Meta-Llama-3-8B-Instructに対して、cl-nagoya/auto-wiki-qaにある約240万件の学習データでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
|
21 |
+
その後、そのモデルに対して、llm-jp/databricks-dolly-15k-jaでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
|
22 |
|
23 |
# ハードウェア
|
24 |
- NVIDIA A6000x2
|