Add benchmark scores
Browse files
README.md
CHANGED
|
@@ -21,6 +21,47 @@ This is a T5 (Text-to-Text Transfer Transformer) model pretrained on Japanese co
|
|
| 21 |
|
| 22 |
このモデルは事前学習のみを行なったものであり、特定のタスクに利用するにはファインチューニングする必要があります。
|
| 23 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 24 |
## ライセンス
|
| 25 |
|
| 26 |
[CC-BY SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/deed.ja)
|
|
|
|
| 21 |
|
| 22 |
このモデルは事前学習のみを行なったものであり、特定のタスクに利用するにはファインチューニングする必要があります。
|
| 23 |
|
| 24 |
+
|
| 25 |
+
# ベンチマーク
|
| 26 |
+
|
| 27 |
+
livedoor newsコーパスを用いたニュース記事のジャンル予測タスクの精度は次の通りです。
|
| 28 |
+
|
| 29 |
+
日本語T5 (t5-base-japanese, パラメータ数は220M)
|
| 30 |
+
|
| 31 |
+
| label | precision | recall | f1-score | support |
|
| 32 |
+
| ----------- | ----------- | ------- | -------- | ------- |
|
| 33 |
+
| 0 | 0.96 | 0.94 | 0.95 | 130 |
|
| 34 |
+
| 1 | 0.98 | 0.99 | 0.99 | 121 |
|
| 35 |
+
| 2 | 0.96 | 0.96 | 0.96 | 123 |
|
| 36 |
+
| 3 | 0.86 | 0.91 | 0.89 | 82 |
|
| 37 |
+
| 4 | 0.96 | 0.97 | 0.97 | 129 |
|
| 38 |
+
| 5 | 0.96 | 0.96 | 0.96 | 141 |
|
| 39 |
+
| 6 | 0.98 | 0.98 | 0.98 | 127 |
|
| 40 |
+
| 7 | 1.00 | 0.99 | 1.00 | 127 |
|
| 41 |
+
| 8 | 0.99 | 0.97 | 0.98 | 120 |
|
| 42 |
+
| accuracy | | | 0.97 | 1100 |
|
| 43 |
+
| macro avg | 0.96 | 0.96 | 0.96 | 1100 |
|
| 44 |
+
| weighted avg | 0.97 | 0.97 | 0.97 | 1100 |
|
| 45 |
+
|
| 46 |
+
|
| 47 |
+
比較対象: 多言語T5 (google/mt5-small, パラメータ数は300M)
|
| 48 |
+
|
| 49 |
+
| label | precision | recall | f1-score | support |
|
| 50 |
+
| ----------- | ----------- | ------- | -------- | ------- |
|
| 51 |
+
| 0 | 0.91 | 0.88 | 0.90 | 130 |
|
| 52 |
+
| 1 | 0.84 | 0.93 | 0.89 | 121 |
|
| 53 |
+
| 2 | 0.93 | 0.80 | 0.86 | 123 |
|
| 54 |
+
| 3 | 0.82 | 0.74 | 0.78 | 82 |
|
| 55 |
+
| 4 | 0.90 | 0.95 | 0.92 | 129 |
|
| 56 |
+
| 5 | 0.89 | 0.89 | 0.89 | 141 |
|
| 57 |
+
| 6 | 0.97 | 0.98 | 0.97 | 127 |
|
| 58 |
+
| 7 | 0.95 | 0.98 | 0.97 | 127 |
|
| 59 |
+
| 8 | 0.93 | 0.95 | 0.94 | 120 |
|
| 60 |
+
| accuracy | | | 0.91 | 1100 |
|
| 61 |
+
| macro avg | 0.91 | 0.90 | 0.90 | 1100 |
|
| 62 |
+
| weighted avg | 0.91 | 0.91 | 0.91 | 1100 |
|
| 63 |
+
|
| 64 |
+
|
| 65 |
## ライセンス
|
| 66 |
|
| 67 |
[CC-BY SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/deed.ja)
|