Update README.md
Browse files
README.md
CHANGED
|
@@ -6,8 +6,23 @@ library_name: transformers
|
|
| 6 |
---
|
| 7 |
|
| 8 |
# モデル
|
| 9 |
-
- rinna/bilingual-gpt-neox-4b-instruction-sft
|
| 10 |
-
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 11 |
|
| 12 |
# コード
|
| 13 |
```python
|
|
|
|
| 6 |
---
|
| 7 |
|
| 8 |
# モデル
|
| 9 |
+
- **rinna/bilingual-gpt-neox-4b-instruction-sft**に、84,300件の和訳データセットをフルパラメータファインチューニングしたモデルです。
|
| 10 |
+
- ファインチューニングに使用したデータセットは**izumi-lab/llm-japanese-dataset**から和訳タスクのデータセットのみ抽出し、学習に使用しました。
|
| 11 |
+
- 学習に使用したデータは、instructionに「以下の英語を日本語に翻訳してください。」と記載されたデータのみ機械的に抽出しました。
|
| 12 |
+
|
| 13 |
+
# 学習
|
| 14 |
+
- ハードウェア: 1 x NVIDIA RTX A6000(VRAM48GB)
|
| 15 |
+
- 使用VRAM: 32~34GB
|
| 16 |
+
- 学習時間: 5h 39m 37s
|
| 17 |
+
- train/epoch: 2.61
|
| 18 |
+
- train/loss: 0.9958
|
| 19 |
+
- eval/loss: 0.9223530292510986
|
| 20 |
+
- optimizer: Adam
|
| 21 |
+
- learning_rate: 1.5e-5
|
| 22 |
+
- lr_scheduler_type: "cosine"
|
| 23 |
+
- warmup_steps: 500
|
| 24 |
+
|
| 25 |
+
|
| 26 |
|
| 27 |
# コード
|
| 28 |
```python
|