alfredplpl
commited on
Commit
•
70c643c
1
Parent(s):
b42855b
Update README.md
Browse files
README.md
CHANGED
@@ -98,7 +98,7 @@ print(tokenizer.decode(outputs[0]))
|
|
98 |
# 学習方法
|
99 |
meta-llama/Meta-Llama-3-8B-Instructに対して、cl-nagoya/auto-wiki-qaにある約240万件の学習データでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
|
100 |
その後、そのモデルに対して、llm-jp/databricks-dolly-15k-jaでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
|
101 |
-
|
102 |
# ハードウェア
|
103 |
- NVIDIA A6000x2
|
104 |
|
|
|
98 |
# 学習方法
|
99 |
meta-llama/Meta-Llama-3-8B-Instructに対して、cl-nagoya/auto-wiki-qaにある約240万件の学習データでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
|
100 |
その後、そのモデルに対して、llm-jp/databricks-dolly-15k-jaでLoRAによるインストラクションチューニングを1epoch行い、LoRAをマージしました。
|
101 |
+
これらの学習はすべて教師あり学習で行いました。
|
102 |
# ハードウェア
|
103 |
- NVIDIA A6000x2
|
104 |
|