akiyoshiR23
commited on
Commit
•
4ad95de
1
Parent(s):
85cd890
Update README.md
Browse files
README.md
CHANGED
@@ -12,7 +12,7 @@ elyza-tasks-100-TV_0.jsonl の回答モデルの作成のためのコードで
|
|
12 |
- データセットを ichikara-instruction-003 の全てのファイルを利用するよう変更
|
13 |
- 学習率(learning_rate) を 2e-5へ変更
|
14 |
- 累積勾配(gradient_accumulation_steps) を 4 に変更
|
15 |
-
- RoRAのRANKを 32 に変更
|
16 |
|
17 |
自宅のPC(RTX3090) でコードを実行し、解答を出力しました。
|
18 |
|
@@ -124,6 +124,9 @@ dataset_all = DatasetDict({
|
|
124 |
"train": concatenated_train_dataset
|
125 |
})
|
126 |
|
|
|
|
|
|
|
127 |
# 学習時のプロンプトフォーマットの定義
|
128 |
prompt = """### 指示
|
129 |
{}
|
|
|
12 |
- データセットを ichikara-instruction-003 の全てのファイルを利用するよう変更
|
13 |
- 学習率(learning_rate) を 2e-5へ変更
|
14 |
- 累積勾配(gradient_accumulation_steps) を 4 に変更
|
15 |
+
- RoRAのRANK(LoraConfig r)を 32 に変更
|
16 |
|
17 |
自宅のPC(RTX3090) でコードを実行し、解答を出力しました。
|
18 |
|
|
|
124 |
"train": concatenated_train_dataset
|
125 |
})
|
126 |
|
127 |
+
# 結合したデータを使用
|
128 |
+
dataset=dataset_all
|
129 |
+
|
130 |
# 学習時のプロンプトフォーマットの定義
|
131 |
prompt = """### 指示
|
132 |
{}
|