ysakuramoto
commited on
Commit
•
0368b5f
1
Parent(s):
837edc5
Update README.md
Browse files
README.md
CHANGED
@@ -13,20 +13,20 @@ AI関係の仕事をしている櫻本です。
|
|
13 |
このページを見つけた方はかなりラッキーですから、ぜひ一度使ってみてください!!
|
14 |
|
15 |
# 利用方法
|
16 |
-
transformers
|
17 |
-
|
18 |
-
|
19 |
-
(注意:文書分類などのタスクに利用するには、ファインチューニングが必要です)
|
20 |
```from transformers import BertJapaneseTokenizer, MobileBertForSequenceClassification
|
21 |
tokenizer = BertJapaneseTokenizer.from_pretrained("cl-tohoku/bert-large-japanese")
|
22 |
model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobilebert-ja") # 文書分類の場合
|
23 |
```
|
|
|
24 |
|
25 |
# BERTとの性能比較
|
26 |
文書分類と固有表現抽出について、ファインチューニング・性能評価を行いました。
|
27 |
-
参考程度にご覧ください。(
|
28 |
|
29 |
-
-
|
30 |
|メトリック|BERT|MobileBERT(高速化前)|MobileBERT(高速化後)|
|
31 |
|-----------|-----------| ------- | -------- |
|
32 |
|学習時間(s)|585.0|399.7|-|
|
@@ -38,7 +38,7 @@ model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobileb
|
|
38 |
- 推論データ n=1,474。精度はAccuracy。
|
39 |
- エポック数=10, lr=1e-4
|
40 |
- 推論時の高速化として、枝刈り・量子化・jitコンパイルを実施。
|
41 |
-
- Google Colabにて、学習にGPU、推論にCPU
|
42 |
|
43 |
- 固有表現抽出(BertForTokenClassification)
|
44 |
|メトリック|BERT|MobileBERT(高速化前)|MobileBERT(高速化後)|
|
@@ -52,7 +52,7 @@ model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobileb
|
|
52 |
- 推論データ n=2,140。精度は完全一致のAccuracy。
|
53 |
- エポック数=10, lr=1e-4
|
54 |
- 推論時の高速化として、枝刈り・量子化・jitコンパイルを実施。
|
55 |
-
- Google Colabにて、学習にGPU、推論にCPU
|
56 |
|
57 |
# モデルの説明
|
58 |
- モデルの構造
|
|
|
13 |
このページを見つけた方はかなりラッキーですから、ぜひ一度使ってみてください!!
|
14 |
|
15 |
# 利用方法
|
16 |
+
既にtransformersでBERTを利用されている方向けです。
|
17 |
+
トークナイザは東北大学さんのモデル(cl-tohoku/bert-large-japanese)からお借りしましたのでご指定ください。
|
18 |
+
後は、**BertFor**なんちゃら~のクラスを**MobileBertFor**なんちゃら~に直して、このリポジトリを指定するだけです!
|
|
|
19 |
```from transformers import BertJapaneseTokenizer, MobileBertForSequenceClassification
|
20 |
tokenizer = BertJapaneseTokenizer.from_pretrained("cl-tohoku/bert-large-japanese")
|
21 |
model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobilebert-ja") # 文書分類の場合
|
22 |
```
|
23 |
+
(注意:文書分類などのタスクに利用するには、ファインチューニングが必要です)
|
24 |
|
25 |
# BERTとの性能比較
|
26 |
文書分類と固有表現抽出について、ファインチューニング・性能評価を行いました。
|
27 |
+
参考程度にご覧ください。(ファインチューニング後の性能を保証するものではありません)
|
28 |
|
29 |
+
- 文書分類(MobileBertForSequenceClassification)
|
30 |
|メトリック|BERT|MobileBERT(高速化前)|MobileBERT(高速化後)|
|
31 |
|-----------|-----------| ------- | -------- |
|
32 |
|学習時間(s)|585.0|399.7|-|
|
|
|
38 |
- 推論データ n=1,474。精度はAccuracy。
|
39 |
- エポック数=10, lr=1e-4
|
40 |
- 推論時の高速化として、枝刈り・量子化・jitコンパイルを実施。
|
41 |
+
- Google Colabにて、学習にGPU、推論にCPUを利用。推論はバッチ処理でなく1件ずつ処理。
|
42 |
|
43 |
- 固有表現抽出(BertForTokenClassification)
|
44 |
|メトリック|BERT|MobileBERT(高速化前)|MobileBERT(高速化後)|
|
|
|
52 |
- 推論データ n=2,140。精度は完全一致のAccuracy。
|
53 |
- エポック数=10, lr=1e-4
|
54 |
- 推論時の高速化として、枝刈り・量子化・jitコンパイルを実施。
|
55 |
+
- Google Colabにて、学習にGPU、推論にCPUを利用。推論はバッチ処理でなく1件ずつ処理。
|
56 |
|
57 |
# モデルの説明
|
58 |
- モデルの構造
|