Commit
•
5e8c110
1
Parent(s):
da83140
Update README.md
Browse files
README.md
CHANGED
|
@@ -5,4 +5,13 @@ language:
|
|
| 5 |
- ja
|
| 6 |
metrics:
|
| 7 |
- f1
|
| 8 |
-
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 5 |
- ja
|
| 6 |
metrics:
|
| 7 |
- f1
|
| 8 |
+
---
|
| 9 |
+
|
| 10 |
+
ベースモデル：cl-tohoku/bert-base-japanese-whole-word-masking
|
| 11 |
+
データセット：llm-book/wrime-sentiment
|
| 12 |
+
- オプティマイザ: adafactor
|
| 13 |
+
- Optunaでハイパーパラメータ探索
|
| 14 |
+
- 学習率スケジュールのタイプ(lr_scheduler_type): constant, linear, cosine
|
| 15 |
+
- 学習率(learning rate): 1e-6 ~ 1e-4
|
| 16 |
+
- バッチサイズ(per_device_train_batch_size): 16,32,64,128,256
|
| 17 |
+
- 正則化(weight_decay): 1e-6 ~ 1e-1
|