言語処理学会 第26回年次大会 発表論文集 (2020年3月)

学習データ作成の省力化に向けたエンティティ抽出手法
白石 哲也
沖電気工業株式会社

山崎 貴宏

村田 稔樹

経営基盤本部

研究開発センター{shiraishi842, yamasaki635, murata656}@oki.com

1

はじめにきるという特徴を用いて，専門用語の抽出など，特定の内容に限ったエンティティのみの抽出に適用するこ文書からエンティティを抽出することは，自然言語とが考えられる．そのため，本論文ではエンティティ処理の重要な技術の一つである．近年では，質問応答抽出に文書分類技術を応用することを考え，分類カテや対話，要約といったアプリケーションの需要の増加ゴリに関係するエンティティの抽出をタスクとする．に伴い，エンティティ抽出技術の必要性が高まってい文献 [2] の章のタイトル「賃金」を分類カテゴリとる．エンティティの抽出手法としては，機械学習を適し，抽出対象となる，分類カテゴリに関係するエンティ用した様々な手法が提案されている [1]．それらの手ティ（出力の下線部）の例を図 1 に示す．

法では，大量のラベル付きデータを準備して学習する
ことにより，高い精度でエンティティの抽出が可能となっている．
しかし，それらの手法は大量の学習データを準備す

第6章 賃金
第32条 基本給
基本給は、本人の職務内容、技能、勤務成績、年齢等を考慮して各人別に決定する。

る必要があるため，学習データの作成コストが非常に高いことや，専門用語を取り出しにくい，という問題点が挙げられる．また，ドメインに特化した文書群を入力：基本給は、本人の職務内容、技能、勤務成績、年齢等を考慮して各人別に決定する。

対象にする状況を考えると，利用できるデータがそも

分類カテゴリ：賃金そも少ないため，従来の手法が適用しづらい，という

出力：基本給は、本人の職務内容、技能、勤務成績、年齢等を考慮して各人別に決定する。

問題もある．
そこで本論文では，利用可能な学習データが少ない

図 1: 本論文で抽出するエンティティの例

場合においても適用可能なエンティティ抽出手法を提案し，データ量が少ないドメインでの提案手法の適用可能性を検証する．

3
2

タスク設定

提案手法
本章では，エンティティ抽出に文書分類技術を応用

学習データが十分に準備できないデータに対してエンティティ抽出を行うために，文書分類技術を応用することを考える．このとき，必要な学習データは分類カテゴリが付与された文書群である．分類カテゴリは章や条などの文書構造，「スポーツ」や「政治」などのジャンル名を利用できるので，学習データは従来のエンティティ抽出手法の学習データよりも容易に準備できる．また，章や条などの構造を持つ文書は社内の規程集や製品のマニュアルなど一般的に存在するため，様々な文書で学習データを作成できると考えられる．
一方，分類カテゴリに関係するエンティティが抽出でする手法を提案する．提案手法は，アテンション機構付きニューラルネットワーク（以下 NN）を用いて文書分類を行い，分類時のアテンションの重みからエンティティを抽出する．
まず，アテンションの重みからエンティティを抽出する方法を述べる．アテンション機構では，NN が注目した度合いを各単語の重みとして付与する．この重みは，分類タスクにおいては分類精度に寄与する一方で，本タスクにおいてはエンティティ抽出に利用する．
アテンションの重みが大きい単語を，分類時に注目した単語であると仮定すると，その単語は分類カテゴリに関係する単語であると考えられる．そこで各単語の― 263 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

アテンションの重みを抽出し，重みが大きい単語のみエンティティをマッチングすることにより，評価を行を獲得することで，分類カテゴリに関係するエンティう．このときのマッチングパターンを図 2 に示す．図ティを抽出する．

2 より，マッチングパターンとしては，完全一致する

次に，提案手法の特徴を述べる．本手法は文書分類パターン (A)，部分一致するパターン (C, D)，全く一技術を応用しているため，上述の通り，学習データが致しないパターン (B, E) が考えられる．本実験では，従来のエンティティ抽出手法で必要となるラベル付き正解のエンティティが欠けることなく抽出できているデータよりも容易に作成できる．

図 2 のパターン A, D のみを正解のエンティティが抽出できたとする．

評価実験

4

文書：

本章では，提案手法を用いてエンティティ抽出がで基本給は、本人の職務内容、技能、勤務成績、年齢等を考慮して各人別に決定する。

分類カテゴリ：賃金きる可能性を検証するための実験を行う．本実験では，提案手法に有効な学習データとアテンションの閾値に比較パターンよるエンティティ抽出結果の変化を調査する．

提案手法

ABCDE

正解データ

職務内容
職務内容

技能成績
勤務成績

年齢等
年齢決定する-抽出できたとみなすか〇

××〇

×

対象データ

4.1

図 2: マッチングパターン

本実験では，社内の総務規程集「従業員旅費支給規程」を対象とする．2 章に記述の通り，文書構造を利用することで，章や条のタイトルを分類カテゴリとしてみなす．表 1 に，本実験で用いる学習データを示す．

4.3

実験設定

対象の文書は複数の章から構成され，各章には各規程を条として定めたものが記載されている．各章，各条

本実験では，文献 [3] の方式を用いてアテンション機には分類カテゴリとして利用可能なタイトルが付与さ構を実装した．エンベディング層の次元数は 300, 双方れるため，分類カテゴリとしてみなす単位が複数考え

向 LSTM の次元数は 600, アテンション層の次元数はられる．また，文書分類における『文書』としてみな300 とした．学習エポックは 30, バッチサイズは 20, ドすデータ単位も複数考えられる．そのため，表 1 に示

ロップアウトは 0.05, 最適化は Adam で行った．また，す 5 種類の学習データが作成可能である．本実験では，対象のデータの単語分割は，mecab-ipadic-NEologd[4]これらの学習データでの抽出結果を比較し，提案手法を使用した MeCab[5] で行った．
提案手法では，重みが大きい単語を獲得するためにに有効な学習データを調査する．

アテンションの重みに閾値を設け，閾値以上の単語をエンティティとして抽出する．そのため，閾値によっ

表 1: 本実験で用いる学習データ
学習データて抽出されるエンティティの質と量が変化すると考え分類カテゴリ数

学習データ数られる．そこで本実験では，閾値を変化させ，抽出す[件][件]

るエンティティの質と量の変化を確認する．0.0〜1.0

分類カテゴリ

データ単位

1⃝

章

文ごと

101282⃝

章条ごと1034に正規化したアテンションのうち，0.1, 0.3, 0.5 の 33
⃝

章

章ごと

10104
⃝

条

文ごと

34128

点を設定し，閾値の変化による提案手法の抽出結果を5⃝

条

条ごと

3434

パターン比較する．

4.44.2

実験結果

表 1 で示した 5 パターンの学習データに対して，4.3マッチングパターン

節で示した 3 パターンのアテンションの閾値を設定し本実験では，人手で抽出したエンティティを正解とし，提案手法によって抽出したエンティティと正解のて実験を行った．表 2 に，Precision, Recall, F 値を評価指標として実験した結果を示す．

― 264 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

学習データ分類カテゴリパターン

データ単位1⃝2
⃝

3
⃝

4
⃝

5
⃝

表 2: 実験結果
アテンションのPrecision [%]
閾値

章
文ごと
章
条ごと
章
章ごと
条
文ごと
条
条ごと

考察

5

Recall [%]F 値 [%]

0.1

41.24

75.99

53.46

0.3

43.76

68.95

53.54

0.5

39.75

54.97

46.14

0.1

33.29

53.85

41.15

0.3

32.68

29.93

31.24

0.5

31.89

20.17

24.71

0.1

39.39

64.73

48.97

0.3

36.29

28.05

31.64

0.5

31.36

13.23

18.61

0.1

40.48

78.24

53.35

0.3

45.05

70.36

54.93

0.5

43.31

60.04

50.32

0.1

36.20

60.51

45.30

0.3

35.35

36.77

36.05

0.5

37.29

24.6729.70

分類カテゴリ当たりの学習データ数が多い．そのため，同一の分類カテゴリに共通して含まれる，カテゴリの5.1

学習データの違いによる変化

特徴を表す表現に NN が注目できたため，正解のエン

本節では，本手法に適した学習データ作成の方針について，分類カテゴリの粒度，および分類カテゴリに含まれるデータ単位の面で考察する．
まず，分類カテゴリの違いによる変化を見る．表 2より，分類カテゴリが条のときに F 値が高いと分かる．

ティティをより抽出できたと考えられる．
以上より，文書構造を利用して本手法の学習データを作成するときは，記載内容が絞られる分類カテゴリを付与し，カテゴリ当たりの学習データ数が多くなるデータ単位とする方が良いと考えられる．

これは，学習データの記載内容が関係していると考えられる．分類カテゴリが章の場合，一つの学習データ5.2

アテンションの閾値による変化の記載内容が広範囲にわたる．一方，分類カテゴリが条の場合，それらが別のカテゴリに分かれる．そのた

本節では，アテンションの閾値による，抽出したエめ，記載内容が絞られ，分類カテゴリに関係する単語

ンティティの質と量を評価し，考察する．表 2 より，アに NN が注目できたため，正解のエンティティをよりテンションの閾値が小さいほど，Precision と Recall抽出できたと考えられる．

が高い傾向があると分かるが，誤って抽出するエン次に，データ単位の違いについて考察する．表 2 よティティの量が増える．そのため，閾値が小さいほどり，データ単位が文ごとのときに最も F 値が高いと抽出するエンティティの質が良いとは言えない．現状分かる．これは，カテゴリ当たりの学習データ数に関の提案手法では，抽出する目的に応じて閾値を設定す係していると考えられる．データ単位が章ごとや条ごることが重要であると考えられる．例えば，とにかくとの場合，分類カテゴリ数と学習データ数が同一とな多くのエンティティの抽出を目的とするような，抽出る．つまり，一つのカテゴリに対して一つの学習デーするエンティティの量を優先する場合では，閾値を低タを作成することになる，その結果，分類時に分類カく設定した方が良いと考えられる．また，正解のエンテゴリに関係する単語に必ずしも注目するとは限らなティティのみの抽出を目的とするような，抽出するエいと考えられる．一方，データ単位が文ごとの場合，ンティティの質を優先する場合では，閾値を高く設定した方が良いと考えられる．

― 265 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

提案手法の適用可能性

5.3も存在する．今後は，提案手法の精度向上に向け，課提案手法は文書分類技術を応用しているため，学習データの準備が従来よりも容易であると考えられる．
また，実験結果より，正解のエンティティのうち約 7割を抽出できたと分かった．そのため，提案手法を用いてエンティティを抽出できる可能性を見い出せたと考えられる．

題の改善を検討する．
提案手法の応用先としては，プレゼン資料のような，タイトルと本文で構成されている資料に対し，タイトルを分類カテゴリとして本手法を適用することにより，本文からタイトルに関係するエンティティの抽出が考えられる．さらに，抽出するエンティティが分類カテゴリとして利用する文書のタイトルと関係がある，という特性を用い，分類カテゴリとエンティティの関係を特定することでオントロジーとして利用する可能性

今後の課題

5.4も考えられる．
本節では，本手法における，精度面での課題を述べる．
まず，単語区切りに課題があると考える．本実験で

参考文献

は文書を単語に区切るために MeCab を用いた．しかし，MeCab の単語区切りと正解のエンティティの区[1] Guillaume Lample, Miguel Ballesteros, Sandeep

切りが異なることがある．その場合，アテンションのSubramanian, Kazuya Kawakami, and Chris

重みが付与される単語と正解のエンティティにズレがDyer.

生じ，正解のエンティティを正しく抽出できない．こrecognition.

れを解決するためには，単語の区切り方を正解のエン2016.

ティティに合わせる必要があるため，単語の区切り方

Neural architectures for named entity
arXiv preprint arXiv:1603.01360,[2] 厚生労働省ホームページ. モデル就業規則 第 6を変更できる方法が必要となると考えられる．

章 賃金.

次に，データ量に課題があると考える．対象である

https://www.mhlw.go.jp/content/000496456.pdf.

データ量が少ないドメインでは，作成できる学習デー
タ量が限られるため，局所的に頻出する一般的な表現[3] Zhouhan Lin, Minwei Feng, Cicero Nogueira dos

を，分類カテゴリ特有の表現と誤って抽出する可能性

Santos, Mo Yu, Bing Xiang, Bowen Zhou,

が高い．そこで，ドメインに依存しない膨大なテキス

and Yoshua Bengio.

トを用いて事前学習したモデルを活用することで，こattentive sentence embedding.の誤りを低減し，抽出精度を高めることができると考

arXiv:1703.03130, 2017.

える．

A structured selfarXiv preprint[4] 奥村学 佐藤敏紀, 橋本泰一. 単語分かち書き辞書

また，学習データ作成コスト面の評価を実施し，本手法により学習データ作成の省力化の効果を確認する

mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. In 言語処理学会第 23 回ことも必要だと考える．

年次大会 (NLP2017), pages NLP2017–B6–1. 言語処理学会, 2017.

6

おわりに

[5] Taku Kudo, Kaoru Yamamoto, and Yuji Mat-

本論文では，大量の学習データを準備できないデー
タに対してエンティティ抽出を行うことを目的に，文書分類技術を応用する手法を提案した．また，データ量が少ないドメインでの提案手法の適用可能性を検証

sumoto. Applying conditional random ﬁelds tojapanese morphological analysis. In Proceedingsof the 2004 conference on empirical methods innatural language processing, pages 230–237, 2004.

し，正解のエンティティを約 70%抽出できたことから，提案手法によってエンティティ抽出ができる可能性を見い出せた．一方で，抽出したエンティティのうち，半分以上が不正解のエンティティを含むという問題点― 266 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.