Add JGLUE benchmark result (in progress)

README.md

@@ -35,9 +35,12 @@ https://github.com/sonoisa/t5-japanese
 
 # ベンチマーク
 
-livedoorニュースコーパスを用いたニュース記事のジャンル予測タスクの精度は次の通りです。
+## livedoorニュース分類タスク
 
-日本語T5 ([t5-base-japanese](https://huggingface.co/sonoisa/t5-base-japanese), パラメータ数は222M)
+livedoorニュースコーパスを用いたニュース記事のジャンル予測タスクの精度は次の通りです。  
+Google製多言語T5モデルに比べて、モデルサイズが25%小さく、6ptほど精度が高いです。
+
+日本語T5 ([t5-base-japanese](https://huggingface.co/sonoisa/t5-base-japanese), パラメータ数は222M, [再現用コード](https://github.com/sonoisa/t5-japanese/blob/main/t5_japanese_classification.ipynb))
 
 | label       |  precision  |  recall | f1-score | support |
 | ----------- | ----------- | ------- | -------- | ------- |
@@ -73,12 +76,21 @@ livedoorニュースコーパスを用いたニュース記事のジャンル予
 | weighted avg |     0.91   |   0.91  |    0.91  |    1100 |
 
 
-## 免責事項
+## [JGLUEベンチマーク](https://github.com/yahoojapan/JGLUE)
+
+- MARC-ja: 準備中
+- JSTS: 準備中
+- JNLI: 準備中
+- JSQuAD: EM=0.900, F1=0.945, [再現用コード](https://github.com/sonoisa/t5-japanese/blob/main/t5_JSQuAD.ipynb)
+- JCommonsenseQA: 準備中
+
+
+# 免責事項
 
 本モデルの作者は本モデルを作成するにあたって、その内容、機能等について細心の注意を払っておりますが、モデルの出力が正確であるかどうか、安全なものであるか等について保証をするものではなく、何らの責任を負うものではありません。本モデルの利用により、万一、利用者に何らかの不都合や損害が発生したとしても、モデルやデータセットの作者や作者の所属組織は何らの責任を負うものではありません。利用者には本モデルやデータセットの作者や所属組織が責任を負わないことを明確にする義務があります。
 
 
-## ライセンス
+# ライセンス
 
 [CC-BY SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/deed.ja)