sonoisa commited on
Commit
bd1add4
1 Parent(s): 9dcf8c2

Update dataset and license

Browse files
Files changed (1) hide show
  1. README.md +4 -0
README.md CHANGED
@@ -8,6 +8,7 @@ license: "cc-by-sa-3.0"
8
  datasets:
9
  - "wikipedia"
10
  - "oscar"
 
11
  ---
12
 
13
  # 日本語T5事前学習済みモデル(公開準備中)
@@ -18,6 +19,7 @@ This is a T5 (Text-to-Text Transfer Transformer) model pretrained on Japanese co
18
 
19
  * [Wikipedia](https://ja.wikipedia.org)の日本語ダンプデータ (2020年7月6日時点のもの)
20
  * [OSCAR](https://oscar-corpus.com)の日本語コーパス
 
21
 
22
  このモデルは事前学習のみを行なったものであり、特定のタスクに利用するにはファインチューニングする必要があります。
23
  本モデルにも、大規模コーパスを用いた言語モデルにつきまとう、学習データの内容の偏りに由来する偏った(倫理的ではなかったり、有害だったり、バイアスがあったりする)出力結果になる問題が潜在的にあります。
@@ -78,3 +80,5 @@ livedoorニュースコーパスを用いたニュース記事のジャンル予
78
  ## ライセンス
79
 
80
  [CC-BY SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/deed.ja)
 
 
 
8
  datasets:
9
  - "wikipedia"
10
  - "oscar"
11
+ - "cc100"
12
  ---
13
 
14
  # 日本語T5事前学習済みモデル(公開準備中)
 
19
 
20
  * [Wikipedia](https://ja.wikipedia.org)の日本語ダンプデータ (2020年7月6日時点のもの)
21
  * [OSCAR](https://oscar-corpus.com)の日本語コーパス
22
+ * [CC-100](http://data.statmt.org/cc-100/)の日本語コーパス
23
 
24
  このモデルは事前学習のみを行なったものであり、特定のタスクに利用するにはファインチューニングする必要があります。
25
  本モデルにも、大規模コーパスを用いた言語モデルにつきまとう、学習データの内容の偏りに由来する偏った(倫理的ではなかったり、有害だったり、バイアスがあったりする)出力結果になる問題が潜在的にあります。
 
80
  ## ライセンス
81
 
82
  [CC-BY SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/deed.ja)
83
+
84
+ [Common Crawlの利用規約](http://commoncrawl.org/terms-of-use/)も守るようご注意ください。