ysakuramoto commited on
Commit
0368b5f
1 Parent(s): 837edc5

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -8
README.md CHANGED
@@ -13,20 +13,20 @@ AI関係の仕事をしている櫻本です。
13
  このページを見つけた方はかなりラッキーですから、ぜひ一度使ってみてください!!
14
 
15
  # 利用方法
16
- transformersを利用されている場合の方法です。
17
- トークナイザを東北大学さんのモデルからお借りしました。
18
- それ以外は、**BertFor**なんちゃら~のクラスを**MobileBertFor**なんちゃら~に直して、このリポジトリを指定するだけです!
19
- (注意:文書分類などのタスクに利用するには、ファインチューニングが必要です)
20
  ```from transformers import BertJapaneseTokenizer, MobileBertForSequenceClassification
21
  tokenizer = BertJapaneseTokenizer.from_pretrained("cl-tohoku/bert-large-japanese")
22
  model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobilebert-ja") # 文書分類の場合
23
  ```
 
24
 
25
  # BERTとの性能比較
26
  文書分類と固有表現抽出について、ファインチューニング・性能評価を行いました。
27
- 参考程度にご覧ください。(ファインチューニング後の性能を常に保証するものではありません)
28
 
29
- - 文書分類(MobileBertForSequenceClassification
30
  |メトリック|BERT|MobileBERT(高速化前)|MobileBERT(高速化後)|
31
  |-----------|-----------| ------- | -------- |
32
  |学習時間(s)|585.0|399.7|-|
@@ -38,7 +38,7 @@ model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobileb
38
  - 推論データ n=1,474。精度はAccuracy。
39
  - エポック数=10, lr=1e-4
40
  - 推論時の高速化として、枝刈り・量子化・jitコンパイルを実施。
41
- - Google Colabにて、学習にGPU、推論にCPUを利用した。推論はバッチ処理でなく1件ずつ処理。
42
 
43
  - 固有表現抽出(BertForTokenClassification)
44
  |メトリック|BERT|MobileBERT(高速化前)|MobileBERT(高速化後)|
@@ -52,7 +52,7 @@ model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobileb
52
  - 推論データ n=2,140。精度は完全一致のAccuracy。
53
  - エポック数=10, lr=1e-4
54
  - 推論時の高速化として、枝刈り・量子化・jitコンパイルを実施。
55
- - Google Colabにて、学習にGPU、推論にCPUを利用した。推論はバッチ処理でなく1件ずつ処理。
56
 
57
  # モデルの説明
58
  - モデルの構造
 
13
  このページを見つけた方はかなりラッキーですから、ぜひ一度使ってみてください!!
14
 
15
  # 利用方法
16
+ 既にtransformersでBERTを利用されている方向けです。
17
+ トークナイザは東北大学さんのモデル(cl-tohoku/bert-large-japanese)からお借りしましたのでご指定ください。
18
+ 後は、**BertFor**なんちゃら~のクラスを**MobileBertFor**なんちゃら~に直して、このリポジトリを指定するだけです!
 
19
  ```from transformers import BertJapaneseTokenizer, MobileBertForSequenceClassification
20
  tokenizer = BertJapaneseTokenizer.from_pretrained("cl-tohoku/bert-large-japanese")
21
  model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobilebert-ja") # 文書分類の場合
22
  ```
23
+ (注意:文書分類などのタスクに利用するには、ファインチューニングが必要です)
24
 
25
  # BERTとの性能比較
26
  文書分類と固有表現抽出について、ファインチューニング・性能評価を行いました。
27
+ 参考程度にご覧ください。(ファインチューニング後の性能を保証するものではありません)
28
 
29
+ - 文書分類(MobileBertForSequenceClassification)
30
  |メトリック|BERT|MobileBERT(高速化前)|MobileBERT(高速化後)|
31
  |-----------|-----------| ------- | -------- |
32
  |学習時間(s)|585.0|399.7|-|
 
38
  - 推論データ n=1,474。精度はAccuracy。
39
  - エポック数=10, lr=1e-4
40
  - 推論時の高速化として、枝刈り・量子化・jitコンパイルを実施。
41
+ - Google Colabにて、学習にGPU、推論にCPUを利用。推論はバッチ処理でなく1件ずつ処理。
42
 
43
  - 固有表現抽出(BertForTokenClassification)
44
  |メトリック|BERT|MobileBERT(高速化前)|MobileBERT(高速化後)|
 
52
  - 推論データ n=2,140。精度は完全一致のAccuracy。
53
  - エポック数=10, lr=1e-4
54
  - 推論時の高速化として、枝刈り・量子化・jitコンパイルを実施。
55
+ - Google Colabにて、学習にGPU、推論にCPUを利用。推論はバッチ処理でなく1件ずつ処理。
56
 
57
  # モデルの説明
58
  - モデルの構造