言語処理学会 第30回年次大会 発表論文集（2024年3月）

表層が同じ文字列の同一性を表現した深層固有表現抽出
吉村 貴紀

牧野 晃平 三輪 誠 佐々木 裕
豊田工業大学{sd23447,sd21505,makoto-miwa,yutaka.sasaki}@toyota-ti.ac.jp

概要
本稿では，BERT の内部で文書中の表層が同じ文字列について，その同一性を表現する機構を取り入れた，One Sense Per Discourse 仮説を考慮した深層固有表現抽出モデルを提案する．日本語医療文書デー
タセット Real-MedNLP において提案手法における固有表現抽出の性能は向上しなかったが，解析によりモデルが予測する固有表現のタイプの一貫性が向上していることや，表層が同じ固有表現のスパンを正しく認識できた場合にそのタイプの正解率が向上することを確認した．

1

はじめに固有表現抽出（Named Entity Recognition; NER）は文章中から人名や組織名などの固有表現を特定し，分類するタスクである [1]．これは自然言語で記述された情報を計算機で扱うための基礎技術で，取得した固有表現は関係抽出や質問応答などの下流タスクに利用される [2]．
NER においては，BERT (Bidirectional Encoder Representations from Transformers) [3] を用いた手法 [4, 5]が高い性能を示しており，未知の単語を含む固有表現が登場しても，文脈情報からある程度正しく予測できる．一方で，文脈のみでは固有表現を正しく認識出来ない場合がある．例えば，略語の場合では，一度だけ用語の種類も特定できるように定義し，以降の文脈では用語の種類が特定できない形式で記述されて，正しく予測できないことがある．
人はこのような場合においても，最初に定義された用語に関する文脈に基づいて，中盤以降の同じ用語を解釈することで，文書を正しく読むことができる．この経験則に関連する仮説として，議論や文書中に現れる表層が同じ語句同士は，それぞれ同じ意味を示す傾向が強いとする One Sense Per Discourse仮説（OSPD 仮説）[6] が提唱されている．OSPD 仮説を考慮して，文書中の表層が同じ語句すべての意味が同じと解釈できれば，語句の解釈の曖昧性を減少できる可能性がある．
しかしながら，BERT を用いた NER においては，OSPD 仮 説 を 表 現 で き ず，考 慮 も さ れ て い な い．
BERT を用いた NER においては，表層が同じトークンに対して，同じ単語表現を使うことはあっても，それらのトークンの表層が同一であるという情報はBERT 内では表現されていない．さらに，入力の単語や単語表現が同じでも BERT によって文脈化された単語表現に変更されるため，同じトークンに対しても，異なった単語表現が使われる．
そこで本研究では，BERT を用いた NER[5] を基盤に，OSPD 仮説を考慮した深層固有表現抽出モデルを実現し，その固有表現抽出に与える影響を明らかにすることを目指す．そのために，BERT の内部で文書中の表層が同じ文字列の同一性を表現する機構を取り入れ，それを利用した固有表現抽出モデルを構築する．OSPD 仮説をモデル内で明示的に表現できれば，略語の例のように，解釈の曖昧性を減らし，より正しく固有表現の認識を行うことができると期待される．

2

関連研究

OSPD 仮説は 1992 年に Gale らによって提唱された [6]．彼らは，Brown Corpus の同じ文書から抽出された表層が同じ多義語のペアの 96% は同じ意味を持っていることを確認した．この結果から，議論や文書において同じ表層で複数回登場する単語は一つの意味を示す傾向が強いと示した．
OSPD 仮説を仮定して利用する手法が，語義曖昧性解消や固有表現抽出，共参照解析などの自然言語処理タスクで性能向上を示している [7, 8]．Barrena
らの研究 [7] では，固有表現に Wikipedia 記事へのリンクが付与された AIDA データセット [9] において，文書中で複数回同じ表層で登場した固有表現の96.01% が同時に同じリンクに結び付いていることを挙げている．これを利用して，同じ表層の固有表― 2982 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

文書

カルバマゼピン服用開始 ... DLST陽性（カルバマゼピン）

JP1263
内科から肺合併症例について
カルバマゼピン服用開始…
DLST陽性（カルバマゼピン）

固有表現抽出器

自己注意

フレーズ
抽出器

同一

[CLS]
カルバマゼピンカルバマゼピン[SEP]
カルバマゼピン入力系列

用開始

追加トークンカルバマゼピン 服用 開始…
DLST 陽性（ カルバマゼピン ）ン）

図1

提案手法の概要

現に結び付くリンクを最も頻繁に予測されたリンる品詞として最も多くを占めていることから，名詞クで揃える後処理により，OSPD 仮説を固有表現にが OSPD 仮説を表す文字列であると仮定する．形態

適用し，語義曖昧性解消の性能の向上を報告してい素解析器を用いて名詞と判定された形態素のうち，る．Garcia らの研究 [8] では，固有表現抽出と共参照解析の両者の性能を向上させるために，既存の手文書中に複数回登場するものをフレーズとして抽出する．固有表現を構成している品詞に関する予備調法を用いた固有表現抽出の結果を，OSPD 仮説に基査の結果を付録 A の表 6 に示す．

づいた後処理アルゴリズムで編集し，ラベルの一貫3.2性を向上させることで，両タスクの性能が向上する

フレーズの表層の同一性を利用した深層固有表現抽出ことを示した．

BERT の自己注意機構を利用して，フレーズの表層の同一性を考慮した予測を行うモデルを実現す

提案手法

3

る. 各フレーズに対応する追加トークンを作成し，OSPD 仮説を考慮した深層固有表現抽出モデルを実現し，その固有表現抽出における影響を明らかに入力系列に追加することで，拡張入力系列として新たな系列を作成し，これをモデルに入力する．

するために，同一の表層で登場するフレーズを抽出

追加トークンはフレーズ抽出器によって抽出されするフレーズ抽出器と，フレーズの表層の同一性をたすべてのフレーズをそれぞれトークナイズする考慮した BERT をベースにした固有表現抽出器の 2ことで得る．得られた追加トークンを入力系列中のつのモジュールを作成する．図 1 に概要を示す．

“[SEP]” トークンの後ろに結合することで拡張入力系列を得る．追加トークンの埋め込みには，BERT

3.1

フレーズ抽出器の単語埋め込みと，フレーズ用に別に用意した位置

フレーズ抽出器では文書中に同じ表層で複数回埋め込みを用いて行う．具体的には，フレーズを構登場する文字列としてフレーズを抽出する．抽出し成するトークンの順序を表すための位置埋め込みたフレーズには OSPD 仮説の影響があると考える．

を用意し，元の入力系列とは別の位置埋め込みとしかし，文中においてフレーズの候補は一意ではなする．

く，文字列の範囲は明らかではない．本手法では，モデル内では入力された拡張入力系列に対し選択単体で意味を持つ内容語であり，固有表現を構成す的な自己注意を行う．入力系列中のトークンは，入― 2983 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 すべての固有表現に対する各モデルの F 値 [%]比較手法

表 2 各モデルが予測した固有表現のタイプの一貫性 [%]

比較手法

一貫性

ベースラインモデル

75.3±0.2

F値

ベースラインモデル

91.5±1.9

ベースラインモデル+訂正

75.4±0.2

ベースラインモデル+訂正

100.0±0.0

提案モデル

74.7±0.4

提案モデル

93.8±2.6

力系列に加えて，対応する追加トークンが存在する

4.2

結果と考察場合には，その追加トークンに対しても注意機構を検証データを用いて実験を行った．Real-MedNLP

適用する．追加トークンに対しては，入力系列中のSubtask 1 [10] の設定に基づいて主要な 8 種類のタイ同じ表層と判定されたフレーズのトークンと，追加プの固有表現を評価対象とし，評価指標にマイクロトークン自身を対象とするようにする．

F 値を用いて評価した．評価対象となる固有表現はこれらの操作により，フレーズの表層の同一性を付録 A の表 5 に示す．

利用した深層固有表現抽出モデルを実現する．文書

表 1 の実験結果から，提案モデルは他の比較手法中の表層が同じフレーズから取得した表現を各トークンで一つ保持しておき，それを入力系列中のトーよりも低い F 値を示した．この結果から，本手法により OSPD 仮説を考慮することで固有表現抽出の性クンが参照することで，同じ表層で複数回登場する能が向上するとはいえないことがわかった．

フレーズは一つの意味を持つと考える OSPD 仮説を考慮する．

4実験

4.1

実験設定

解析

5

提案モデルが OSPD 仮説を考慮して固有表現抽出を行えているかどうかを確認し，固有表現抽出に与える詳細な影響を調べるため，開発データを用いて解析を行った．

提案手法による固有表現抽出への影響を評価すモデルが予測する固有表現のタイプの一貫性の比較

5.1

るため，Real-MedNLP データセット [10] の症例報告
コーパスを用いた．これはオープンアクセスの日本モデルが予測する固有表現のうち，各文書中で同語症例報告から作成された文書単位のデータセット

じ表層で複数回登場する固有表現を一貫して一つであり，「病名・症状」や「臓器・部位」といった 13のタイプで予測しているかどうかを確認した．各表種類のタイプを含む BIO タグでアノテーションされている．入手可能な 148 件のデータを，訓練，開層で固有表現のタイプが揃っていれば 1，そうでなければ 0 とし，表層の数で平均を取ることで，一貫発，検証のため，70:30:48 に分割して用いた．デー性を計算した．比較手法は 4.1 節のものと同じであタセットに含まれる固有表現数を付録 A の表 4 に示る．結果を表 2 に示す．

す．なお，開発データ中に同じ表層で複数回登場す提案モデルが予測する固有表現のタイプの一貫性

る固有表現のタイプがすべて同じであったことかはベースラインモデルのものと比べて向上していら，OSPD 仮説を仮定する妥当性を確認している．
ベースラインとして BIO ラベルを用いた固有表現ることがわかった．後処理により訂正を行う手法に比べ一貫性は劣るが，モデル内で OSPD 仮説を考慮抽出に用いられる BERT+CRF モデル [5] を使用し，して固有表現のタイプを予測していることを確認

これに提案手法を加えた提案モデルと比較する．ました．

た，ベースラインモデルの出力に後処理を行い，同

5.2

同じ表層で複数回登場する固有表現のみに対する性能の比較

じ表層で複数回登場する固有表現をそれぞれの表層において最も頻繁に登場するタイプに揃えて訂正す

正解データ中の，各文書中に含まれる同じ表層でる，ベースラインモデル+訂正についても比較する．

複数回登場する固有表現を対象に以下の３つの基準

BERT には日本語文書で事前学習された NICT-で性能を評価した．結果を表 3 に示す．

BERT を，形態素解析器には MeCab+juman 辞書を使用した．学習設定の詳細は付録 B に示す．

― 2984 ―• スパンとタイプを同時に正しく予測できたか．
• スパンのみを正しく予測できたか．

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 3 表層が同じで複数回登場する固有表現に対する３つ基準における各モデルの正解率 [%]比較手法

スパンとタイプ同時 スパンのみ

スパンが正しいときのタイプ

ベースラインモデル

83.4±0.7

89.0±1.0

93.7±0.8

ベースラインモデル+訂正

83.8±1.2

89.0±1.0

94.1±1.3

提案モデル

83.0±0.7

88.0±0.794.3±0.9• スパンを正しく予測できたとき，そのタイプをスラインモデルがこれらを正しく予測できたのに予測できたか．
比較手法と比べ，提案モデルはスパンとタイプを対して，提案モデルは前者中の「NST」と後者中の「NST 介入」を固有表現として予測した．提案モデ同時に予測した場合やスパンのみを予測した場合のルは「NST」をフレーズとして扱っており，固有表正解率は低い値を示した．一方で，スパンを正しく現である「NST 介入」中の「NST」を参照すること予測できていたとき，そのタイプを予測する場合にで，これを前者中でも固有表現として認識したと考は比較手法よりも高い正解率を示した．ここから，えられる．提案モデルによって間違った予測がなさ

OSPD 仮説の影響がある固有表現に対して，スパンれるようになった事例を 3 個確認した．このようなとタイプを同時に予測した場合に提案モデルの正解事例を抑制するためには，フレーズ抽出の対象とな率は低くなるが，その要因はスパンを正しく予測でる文字列のレベルを変更し，「NST」と「NST 介入」きていないことであるとわかる．

をそれぞれ別のフレーズとして扱えるようにすることが考えられる．

5.3

事例研究

ベースラインモデルと提案モデルの出力を比較す

おわりに6ることで予測性能の変化を事例レベルで確認した．

本稿では，BERT の内部で文書中の表層が同じ文「ACP 発現，nitroglycerin 奏効より狭心症を疑う．」「ACP 発現，これは nitroglycerin 内服で用意に消失字列について，その同一性を表現する機構を取り入れた，One Sense Per Discourse 仮説を考慮した深層固す．
」の 2 文を含む文書に含まれる「nitroglycerin」

有表現抽出モデルを提案した．日本語医療文書デーはどちらも薬品名の固有表現である．ベースライ

タセット Real-MedNLP において提案手法におけるンモデルは後者中のタイプを正しく予測し，前者固有表現抽出の性能は向上しなかったが，解析によ中のタイプを処置と予測した．一方，提案モデル

りモデルが予測する固有表現のタイプの一貫性が向は両者中で正しく予測した．前者の文に含まれる上していることや，表層が同じ固有表現のスパンを「奏功」は治療効果が現れることを意味するため，正しく認識できた場合にそのタイプの正解率が向上「nitroglycerin」のタイプに薬品名，処置の 2 つの曖したことを確認した．

昧性が生じていたと考えられる．一方，後者の文

現在の課題として，5.2 節での結果から，固有表現に含まれる内服は薬を飲むことを意味するため，のスパンを正しく予測する性能が低いことが挙げら「nitroglycerin」は薬品名である可能性が高い．提案れる．その要因として，5.3 節で確認されたように，モデルは「nitroglycerin」をフレーズとして扱ってお本来は別々に扱うべきフレーズを同様に扱っている

り，表層の同一性を利用して曖昧性を軽減したことで正しく予測できたと考えられる．提案モデルにことが挙げられる．5.2 節の結果から，固有表現のよって正しく予測されるようになった事例を 5 個確

スパンを正しく認識することができれば，OSPD 仮説を考慮してそのタイプをより正確に予測できるこ認した．とが確認できているため，今後はフレーズ抽出手法一方で，間違った予測がなされるようになったを改善することで，OSPD 仮説を考慮した深層固有事例も存在した．「低栄養状態を伴う直腸癌患者に表現抽出による固有表現抽出への影響を明確したい

NST が介入し，栄養状態が著しく回復した一例」と考えている．

「10 病日に NST 介入となった．」の 2 文を含む文書に含まれる「NST(Nutrition Support Team)」において，固有表現であるのは後者中の「NST 介入」のみであり，前者中の「NST」は固有表現ではない．ベー

― 2985 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献

ambiguation of named entities in text. In Regina Barzilay
and Mark Johnson, editors, Proceedings of the 2011[1] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction
to the CoNLL-2003 shared task: Language-independent
named entity recognition. In Proceedings of the Sev-Conference on Empirical Methods in Natural Language Processing, pp. 782–792, Edinburgh, Scotland,

enth Conference on Natural Language Learning at
HLT-NAACL 2003, pp. 142–147, 2003.

[2] Zhaohui Yan, Zixia Jia, and Kewei Tu. An empirical
study of pipeline vs. joint approaches to entity and relation
extraction. In Yulan He, Heng Ji, Sujian Li, Yang Liu,and Chua-Hui Chang, editors, Proceedings of the 2ndUK., July 2011. Association for Computational Linguistics.
[10] Yada, et al. Real-mednlp: Overview of real documentbased medical natural language processing task. NTCIR16, 2022.
[11] Nict bert. https://alaginrc.nict.go.jp/nict-bert/index.html.

Conference of the Asia-Paciﬁc Chapter of the Association for Computational Linguistics and the 12th
International Joint Conference on Natural Language
Processing (Volume 2: Short Papers), pp. 437–443,

Online only, November 2022. Association for Computational Linguistics.
[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein,
Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapo-lis, Minnesota, June 2019. Association for ComputationalLinguistics.
[4] Zihan Liu, Feijun Jiang, Yuxiang Hu, Chen Shi, and Pascale Fung. Ner-bert: A pre-trained model for low-resource
entity tagging, 2021.
[5] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf, 2020.
[6] William A. Gale, Kenneth W. Church, and David
Yarowsky. One sense per discourse. In Speech and Natural Language: Proceedings of a Workshop Held atHarriman, New York, February 23-26, 1992, 1992.

[7] Ander Barrena, Eneko Agirre, Bernardo Cabaleiro,Anselmo Peñas, and Aitor Soroa. “one entity per discourse” and “one entity per collocation” improve namedentity disambiguation. In Junichi Tsujii and Jan Hajic,editors, Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics:
Technical Papers, pp. 2260–2269, Dublin, Ireland, Au-gust 2014. Dublin City University and Association for
Computational Linguistics.
[8] Marcos Garcia. Incorporating lexico-semantic heuristics
into coreference resolution sieves for named entity recognition at document-level. In Nicoletta Calzolari, KhalidChoukri, Thierry Declerck, Sara Goggi, Marko Grobelnik,
Bente Maegaard, Joseph Mariani, Helene Mazo, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors,
Proceedings of the Tenth International Conferenceon Language Resources and Evaluation (LREC’16),

pp. 3357–3361, Portorož, Slovenia, May 2016. European
Language Resources Association (ELRA).
[9] Johannes Hoﬀart, Mohamed Amir Yosef, Ilaria Bordino,
Hagen Fürstenau, Manfred Pinkal, Marc Spaniol, Bilyana
Taneva, Stefan Thater, and Gerhard Weikum. Robust dis-― 2986 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

データセット
データセットの統計を表 4, 5, 6 に示す．
表 4 データセット中の固有表現数

データ

固有表現数 複数回登場する固有表現数

訓練

4,078

378

開発

1,633

163

評価

2,766

296

合計

8,558

837

表5

評価対象となる固有表現

タイプ

B

評価対象

病名・症状

⃝

臓器・部位

⃝

特徴・尺度

×

変化

×

時間表現

⃝

品詞

数

検査（検査名）

⃝

名詞

8,454

検査（検査項目）

⃝

接尾辞

1,301

検査（検査値）⃝薬品（薬品名）

⃝

特殊助詞

953
350

薬品（薬品値）
処置

⃝×

形容詞

287

接頭辞

227

クリニカルコンテキスト×

動詞

226

保留×

副詞

39

助動詞

10指示詞7連体詞6表6

学習設定
実装には Python 3.7.11，Pytorch 1.8.0，Transform-ers 2.2.2, pytorch-crf 0.7.2 を 用 い た．ハ ー ド ウ ェ
ア は CPU に Intel(R) Core(TM) i7-5960X，GPU に訓練データ中の固有表現を構成する品詞の数

接尾辞
合計

211862

GeForce GTX TITAN X を用いた．事前学習モデルはNICT BERT-base JapaneseWikipedia 32K BPE[11]，形態素解析器は Juman 辞書を用いた MeCab を使用した．最適化手法には AdamW を設定し，BERT の学習率を 3 × 10−5 ，CRF の学習率を 5 × 10−3 とした．
バッチサイズを 4 に設定し学習した．CRF の推移ス
コアを編集し不可能なタグの推移を抑制した．実験は 5 回行った．

― 2987 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).