Mizuiro-sakura commited on
Commit
bd1255a
1 Parent(s): 8846a77

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +62 -0
README.md CHANGED
@@ -1,3 +1,65 @@
1
  ---
2
  license: mit
 
 
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: mit
3
+ language: ja
4
+ tags:
5
+ - bert
6
+ - pytorch
7
+ - transformers
8
+ - ner
9
+ - 固有表現抽出
10
+ - named entity recognition
11
+ - named-entity-recognition
12
+
13
  ---
14
+
15
+ # このモデルはcl-tohoku/bert-large-japanese-v2をファインチューニングして、固有表現抽出(NER)に用いれるようにしたものです。
16
+ このモデルはcl-tohoku/bert-large-japanese-v2を
17
+ Wikipediaを用いた日本語の固有表現抽出データセット(ストックマーク社、https://github.com/stockmarkteam/ner-wikipedia-dataset )を用いてファインチューニングしたものです。
18
+
19
+ 固有表現抽出(NER)タスクに用いることができます。
20
+
21
+ # This model is fine-tuned model for Named-Entity-Recognition(NER) which is based on cl-tohoku/bert-large-japanese-v2
22
+
23
+ This model is fine-tuned by using Wikipedia dataset.
24
+
25
+ You could use this model for NER tasks.
26
+
27
+ # モデルの精度 accuracy of model
28
+ 全体:0.8620626488367833
29
+ || precision |recall | f1-score | support|
30
+ |---|----|----|----|----|
31
+ |その他の組織名 | 0.80 | 0.78 | 0.79| 238|
32
+ |イベント名 | 0.82| 0.88 | 0.85 | 215|
33
+ |人名 | 0.92 | 0.95 | 0.93 | 549|
34
+ |地名 | 0.90 | 0.89 | 0.89 | 446|
35
+ |政治的組織名 | 0.86 | 0.91 | 0.89 | 263|
36
+ |施設名 | 0.86 | 0.91 | 0.88 | 241|
37
+ |法人名 | 0.88 | 0.89 | 0.88 | 487|
38
+ |製品名 | 0.62 | 0.68 | 0.65 | 252|
39
+ |micro avg |0.85 | 0.87 | 0.86 | 2691|
40
+ |macro avg | 0.83 | 0.86 | 0.85 | 2691|
41
+ |weighted avg | 0.85 | 0.87 | 0.86 | 2691|
42
+
43
+
44
+
45
+ # How to use 使い方
46
+ fugashiとtransformers,unidic_liteをインストールして (pip install fugashi, pip install unidic_lite, pip install transformers)
47
+ 以下のコードを実行することで、NERタスクを解かせることができます。
48
+ please execute this code.
49
+ ```python
50
+ from transformers import AutoTokenizer,pipeline, AutoModelForTokenClassification
51
+
52
+ tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/bert-large-japanese-v2-finetuned-ner')
53
+ model=AutoModelForTokenClassification.from_pretrained('Mizuiro-sakura/bert-large-japanese-v2-finetuned-ner') # 学習済みモデルの読み込み
54
+
55
+ text=('昨日は東京で買い物をした')
56
+
57
+ ner=pipeline('ner', model=model, tokenizer=tokenizer)
58
+
59
+ result=ner(text)
60
+ print(result)
61
+ ```
62
+
63
+
64
+
65
+