Mizuiro-sakura commited on
Commit
ba43520
1 Parent(s): d07b8d6

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +67 -0
README.md CHANGED
@@ -1,3 +1,70 @@
1
  ---
2
  license: mit
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: mit
3
+ language: ja
4
+ library_name: transformers
5
+ tags:
6
+ - pytorch
7
+ - deberta
8
+ - deberta-v2
9
+ - question-answering
10
+ - question answering
11
+ - squad
12
+ datasets:
13
+ - wikipedia
14
+ - cc100
15
+ - oscar
16
+ metrics:
17
+ - accuracy
18
+
19
  ---
20
+
21
+ # このモデルはdeberta-v2-base-japaneseをファインチューニングして固有表現抽出(NER)に用いれるようにしたものです。
22
+ このモデルはdeberta-v2-base-japaneseを Wikipediaを用いた日本語の固有表現抽出データセット(ストックマーク社、https://github.com/stockmarkteam/ner-wikipedia-dataset )を用いてファインチューニングしたものです。
23
+
24
+ # This model is fine-tuned model for Named Entity Recognition (NER) which is based on deberta-v2-base-japanese
25
+ This model is fine-tuned by using Wikipedia dataset.
26
+
27
+ You could use this model for NER tasks.
28
+
29
+ # How to use 使い方
30
+ transformersおよびpytorch、sentencepiece、Juman++をインストールしてください。
31
+ 以下のコードを実行することで、Question-Answeringタスクを解かせることができます。 please execute this code.
32
+ ```python
33
+ from transformers import AutoTokenizer,pipeline, AutoModelForTokenClassification
34
+ tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/deberta-v2-base-japanese-finetuned-ner')
35
+ model=AutoModelForTokenClassification.from_pretrained('Mizuiro-sakura/deberta-v2-base-japanese-finetuned-ner') # 学習済みモデルの読み込み
36
+
37
+ text=('昨日は東京で買い物をした')
38
+
39
+ ner=pipeline('ner', model=model, tokenizer=tokenizer)
40
+
41
+ result=ner(text)
42
+ print(result)
43
+ ```
44
+ # モデルの精度 accuracy of model
45
+ precision recall f1-score support
46
+
47
+ その他の組織名 0.73 0.75 0.74 238
48
+ イベント名 0.81 0.81 0.81 215
49
+ 人名 0.84 0.87 0.85 547
50
+ 地名 0.83 0.83 0.83 446
51
+ 政治的組織名 0.82 0.85 0.83 263
52
+ 施設名 0.74 0.86 0.80 241
53
+ 法人名 0.81 0.82 0.82 487
54
+ 製品名 0.68 0.73 0.71 252
55
+
56
+ micro avg 0.79 0.82 0.81 2689
57
+ macro avg 0.78 0.81 0.80 2689
58
+ weighted avg 0.79 0.82 0.81 2689
59
+
60
+ # deberta-v2-base-japaneseとは?
61
+ 日本語Wikipedeia(3.2GB)および、cc100(85GB)、oscar(54GB)を用いて訓練されたモデルです。
62
+ 京都大学黒橋研究室が公表されました。
63
+
64
+ # Model description
65
+ This is a Japanese DeBERTa V2 base model pre-trained on Japanese Wikipedia, the Japanese portion of CC-100, and the Japanese portion of OSCAR.
66
+
67
+ # Acknowledgments 謝辞
68
+ モデルを公開してくださった京都大学黒橋研究室には感謝いたします。
69
+ I would like to thank Kurohashi Lab at Kyoto University.
70
+