言語処理学会 第21回年次大会 発表論文集 (2015年3月)

Wikipedia を用いた遠距離教師あり学習による専門用語抽出
宮崎 亮輔 ∗ 1
1

小町 守 1

首都大学東京2

柏倉 俊樹 2

株式会社トヨタ IT 開発センター

はじめに

1

疋田 敏朗 2ンを抽出し，抽出した共起パターンを用いて新たなインスタンスを抽出する．この手順を反復的に繰り返し，専門用語抽出はコーパスから専門用語を抽出する技術である．専門用語のような重要な用語を辞書として少数のシードインスタンスから大規模なインスタンスの集合を再帰的に獲得する手法である．

保持しておくことは，文書分類や情報検索などの自然

このブートストラッピング法では，反復処理を繰り言語処理技術を用いたアプリケーションにおいて重要返していくうちにシードインスタンスと関係のないイである．

ンスタンスを抽出してしまう問題が知られており，意従来，専門用語の抽出は専門家の人手によらねばな味ドリフトと呼ばれている．あらかじめ手元に多くのらず，大量な人手と時間がかかる作業であった．その用語（シードデータ）がありそれに加えて更に新しいため常に更新された辞書を保持することは困難であっ用語を取得するような場合には，反復処理をする必要た．そこで，コーパスから自動で用語を抽出する手法がないため，提案する手法では意味ドリフトの問題をが研究されている．一つの方法としてブートストラッ考慮する必要なく新たな専門用語を抽出することがでピング法という手法がある．これは，人手で作成したきると考えられる．

少数のシード辞書をもとに繰り返しコーパスから用語を抽出する方法である．しかし，ブートストラッピン
グ法を利用する上では意味ドリフトの問題が存在する．

2.2

遠距離教師あり学習

他にも，コーパスにアノテーションをして教師あり学

これまでに関係抽出のタスクで遠距離教師あり学習習を行うことで専門用語を抽出する方法も考えられるが成果をあげている [1, 3]．遠距離教師あり学習ではが，アノテーションのコストがかかってしまう．

教師あり学習や半教師あり学習のようにラベルつきの

そこで，本論文では遠距離教師あり学習（distant

コーパスを必要としない．その代わり遠距離教師ありsupervision）を用いて Wikipedia から得たシードを学習では，大量の知識ベースと大量のラベルなしコーもとにコーパスに自動でアノテーションすることで専門パスを用いる．

用語を抽出する方法を提案する．ブートストラッピング法と比べて非常に多くのシードを用いるが，Wikipedia

Mintz らの遠距離教師あり学習を用いた手法では，関係ペアとその関係を表す 3 つ組を Freebase1 から大から自動でシードを獲得することでシードを用意する量に抽出し，それを大量の知識ベースとした．また，手間を軽減した．また，実験により 84 ％の適合率でWikipedia のダンプデータを大量のラベルなしコーパスとして利用した．この大量のラベルなしコーパスに専門用語を抽出できることを示した．

対して，知識ベースに保持しておいた 3 つ組にマッチ2関連研究する文があれば正例だと見なして学習する．

2.1

ブートストラッピング法in)”,“(Obama, Hawaii, Born in)” を含む関係を表す3 つ組を多数保持しているとする．つまり，“Obama”

例として，知識ベースには “(Obama, Hawaii, Liveブートストラッピング法は自然言語処理における情報抽出の一般的なフレームワークである [2,4]．ブート
ストラッピング法は獲得対象となるクラス（例:is-a 関係）のインスタンス（例:(cat, animal)）をシードとして与え，コーパスからインスタンスと共起するパターと “Hawaii” の組に対して “Live in” と “Born in” という 2 つの関係を知識ベース内に持っていることになる．ここで，“Obama was born in Hawaii.” という文がラベルなしコーパスに出現した場合を考える．この∗ miyazaki-ryosuke@ed.tmu.ac.jp

1 https://www.freebase.com― 87 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

“Obama was born in Hawaii.” という文の学習を行うが，正解ラベルが “Born in” であると見なして関係大量の知識ベースを準備する．本論文では Wikipedia

1 ステップ目では遠距離教師あり学習にて必要になる分類器の学習を行うだけでなく，加えて正解ラベルが内のあるカテゴリに属するタイトルを全て抽出し，そ“Live in” であると見なして学習も行う．すなわち，トレーニングデータ内の文に対して，保持している知識のタイトルをそのカテゴリの専門用語だと仮定していベースとマッチするペアが存在すれば，そのペアに対ここでは無視する．

る．もちろん専門用語でないタイトルも含まれるが，して保持している知識ベース内のすべての関係タイプ

2 ステップ目では遠距離教師あり学習にて必要になを正解ラベルと見なして関係分類器の学習を行う．

る大量のラベルなしコーパスを準備する．本論文では習を行う例のように，間違ったラベルを正解だと思っ上記の例での “Live in” を正解ラベルだと思って学Wikipedia から抽出して利用している．
3 ステップ目で，遠距離教師あり学習を行うためにて学習してしまうこともある．しかし，教師あり学習擬似的なラベル付きコーパスを作成する．ラベルなしのような少ないリソースだけでなく，大量のラベルなコーパスに対してはあらかじめ形態素解析を施しておしコーパスを用いることが可能なため，素性の表現がく．例えば，知識ベース内に “シフトレバー” というより豊富になるという利点がある．そのため，いくら用語があった場合を考える．ラベルなしコーパス内にかの雑音があったとしても小さいコーパスの教師あり“シフト—レバー—を—動かす” のように知識ベース学習と比べても性能を向上することが可能になった．と一致する単語が現れると，単純なパターンマッチによってその文に BIO のラベルを付ける．この場合は，

3

遠距離教師あり学習による専門用“シフト (B)—レバー (I)—を (O)—動かす (O)” とい語抽出うラベルが付与される．

4 ステップ目で遠距離教師あり学習を行う．3 ステッ

本論文では，ある特定の専門分野で通用される語彙プ目にて擬似的に作成されたラベル付きコーパスをもをその分野の専門用語とし，その分野に適応した専門とに，教師あり学習と同様に系列ラベリング問題を学用語の抽出方法を提案する．

習することができる．

上に述べたように，これまでに関係抽出のタスクで5 ステップ目で対象とするコーパスには，抽出する遠距離教師あり学習の手法が成果をあげてきた．関係

専門用語が多く含まれると予想できるコーパスや大規抽出のタスクでは，2 対の単語ペアからその単語間の模なデータを想定する．例えば，Wikipedia の全デー関係を限られた選択肢の中から選ぶという分類問題をタなどが考えられる．この対象とするコーパスに対し遠距離教師あり学習で解いていたが，関係抽出と違いて 4 ステップ目で学習したモデルを用いて解析を行う．

用語抽出では用語の区切りを考慮して分類する必要がすなわち自動で対象とするコーパスに BIO の系列ラある．本論文では形態素区切りが専門用語の区切りとベルを付与する．

なると仮定し，複数形態素で一つの専門用語が構成さ6 ステップ目によって新たな専門用語を抽出するこれることがあるので，系列ラベリング問題を遠距離教とができる．5 ステップ目で解析された結果から一度師あり学習で解き，その結果から専門用語を抽出する．

でも BI のラベルのついた用語を抽出するのである．そ提案する手法については以下に詳しく説明する．の中からもともと知識ベースに存在していた用語を差し引いた残りが新たに抽出された専門用語となる．

1. シードとなる用語を用意する

これらのステップを踏むことで，人手によるアノ

2. トレーニング用のラベルなしコーパスを用意する
3. シード内の用語をもとに，ラベルなしコーパスに対して自動でラベルを付与する

テーションやデータベース構築なしに Wikipedia からシードデータベースを抽出し遠距離教師あり学習を行うことで新たに専門用語を抽出することが可能になる．

4. 自動で付与したラベル付きコーパスをもとに，系列ラベリングによる遠距離教師あり学習を行う

4

5. 学習したモデルを用いて抽出対象のコーパスを解析する

う．本実験では 2 種類の実験を行う，1 つ目は，専門

6. 解析結果から新たに得られた用語を専門用語として抽出する

Wikipedia の記事データ（2014 年 12 月時点）を利用して交差検定を行う．2 つ目は実際に新たな専門用語専門用語抽出とその妥当性の実験
遠距離教師あり学習による専門用語抽出の実験を行

用語を抽出できるかの妥当性の実験を行う．これには― 88 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 1: Wikipedia から抽出したカテゴリ名とタイトル名の例
カテゴリ名

タイトル名

自動車工学

アクティブスタビリティコントロール, アクティブ・ヨー・コントロール, アダプティブ・
フロントライティング・システム, 外輪差, 過給圧
PRV エンジン, ノーススターエンジン, ポルシェのエンジン一覧, ユニフロー掃気ディーゼ
ルエンジン, リアエンジン
エアブレーキ, ジャダー, サーボブレーキ, ディスクブレーキ, ブレーキ, 圧縮開放ブレーキ,自動空気ブレーキ, 自動ブレーキ, 真空ブレーキ

自動車のエンジン
ブレーキ

表 2: 学習に利用した素性テンプレート
表層形に関する素性
文字種に関する素性
組み合わせ素性表 4: Wikipedia を用いた妥当性実験の結果

w−2 , w−1 , w0 , w1 , w2
w−1 w0 , w0 w1
t−2 , t−1 , t0 , t1 , t2
t−2 t−1 , t−1 t0 , t0 t1 , t1 t2
t−2 t−1 t0 , t−1 t0 t1 , t0 t1 t2
w0 t0

平均値

適合率

再現率

69.45%

39.27%

F値49.80を行う 2 ．このとき，できるだけ短単位に区切って系列ラベルを付与することでより細かい粒度の素性情報を得られるため，形態素解析器 MeCab 0.996（辞書はを抽出する実験を行う．これには国土交通省の自動車リコール不具合情報データベースを利用する．

UniDic 1.3.12）を用いた．
3 ステップ目では遠距離教師あり学習を行うために，ラベルなしコーパスに対して自動でラベルを付与する．

4.1

共通する実験設定

シードデータベース内に存在するあるタイトル名と単いずれの実験も専門用語のドメインとして自動車の純にマッチする形態素列がラベルなしコーパス内に存専門用語を対象とする．以下に共通する実験設定を記在する場合，そこに系列ラベルを自動で付与する 3 ．

述する．各ステップ番号は 3 節でのステップ番号と対シードデータベース内に存在するタイトル名すべてに応している．

対して同様に系列ラベルの付与を行う．
以上のステップによって，擬似的にラベル付きコー

1. Wikipedia から “自動車工学” カテゴリに属する記事タイトルを抽出する
2. 抽出したタイトルの記事本文を取得して形態素解析をする

パスを作成する．以降では，この擬似的なラベル付きコーパスを用いて実験を行う．
学習の素性には，形態素の表層形の素性と，その形態素がカタカナだけで構成されているか，英字だけで構成されているか，それ以外かの 3 値の素性の 2 種類

3. 抽出したタイトルをシードデータベースとして，を用いた．前者を w，後者を t と表して，実験に利用

形態素解析済みコーパスに対して系列ラベルを自した素性テンプレートを表 2 に示す．また，系列ラベ動で付与するリング問題の学習および解析には CRF++ 0.58 を利

1 ステップ目の記事タイトルの抽出はカテゴリ名をもとに行う．対象ドメインを自動車の専門用語としたので，自動車関連の記事が多く含まれるであろう “自用した．

4.2

妥当性の実験

動車工学” カテゴリをルートカテゴリに設定した．更実験設定に自動車工学カテゴリ以下の包含関係にあるカテゴリ

門用語の抽出をすることができるかどうかの妥当性をからもタイトル名の抽出を行う．すなわち，自動車工評価する．4.1 節で作成したラベル付きコーパスを 10学カテゴリに含まれるタイトルと自動車工学カテゴリ分割して 4 交差検定を行い，テストデータ内に含まれの子カテゴリに含まれるタイトルを抽出した．これにる専門用語をどれだけ当てられるかを実験する．

本実験では遠距離教師あり学習によって専より，最終的に 690 の記事タイトルが得られた．得ら
実験結果れたカテゴリ，タイトルの例を表 1 に示す．

2 ステップ目では，これらのタイトル名を含むラベルなしコーパスを取得するために，同タイトルの記事本文を同じく Wikipedia から取得する．結果，全70,921 文のラベルなしコーパスを取得した．また前処理として得られた記事本文データに対して形態素解析

4.2 節の実験の結果を表 4 に示す．表 4 は10 分割交差検定の結果を表している．再現率は約 40

2 形態素単位ではなく文字単位に区切っても動作するが，本実験では形態素単位を扱う．
3 複数形態素に対して系列ラベルを付与する．形態素区切り以外でマッチした場合にはラベルの付与はしない．
4 このとき，各トレーニング時にはテストデータ内に出現する各正例（すなわち系列ラベルが付与された各タイトル名）をトレーニングしない．

― 89 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 3: 国土交通省の自動車のリコール不具合コーパスからの専門用語抽出実験の結果得られた単語

専門用語（84 件）

その他の単語（16 件）

分類件数

例

部品64 件

システム

14 件

現象，動作

6件

オノマトペ
A の B，A な B

4件
8件

その他の（一般的な）名詞
区切り間違い

3件
1件

グローランプ, ドアバイザー, ディスクパッド, スロット
ルペダル, エアーバッグ, リアホイールシリンダー
サスペンションコントロールシステム, グローコントロー
ル, ２輪駆動, アクティブステアリング
ノッキング現象, ジャダー現象, ランオン現象, レストブ
レーキ, 尾灯点灯, ノーブレーキ
ガクガク, ガタガタ, コトコト, コツコツ
キックダウン後の振動, ブレーキペダルからの振動, 前照灯の整備, タイヤの振動, 走行の振動, 微細な振動
ドアブレーキ, 温度計, 電気消費率
尾灯・制動（本来は “尾灯・制動灯”）％と低いが，適合率が約 70 ％で新たな専門用語を抽や名詞句になっているものが多い．人手による作業が出できていることを確認できた．

必要になってしまうが，抽出して得られた単語に対ししかし，再現率が低い割に，適合率も高いとは言えてルールベースなどのフィルター（例えば “A の B”ない．これは専門用語抽出と言うよりもタイトル推定のパターンを除外する等）をかける操作を行ったり，になってしまっているためだと推測できる．すなわち，もともとのシードデータベースのクリーニングを行っ新たに抽出した専門用語が実際には専門用語であるにたりすることで，適合率をさらに上げることができるも関わらず，シードデータベースに存在しなかったたのではないかと考えられる．

めに負例になってしまっているというケースが考えられる．エラー分析を行った結果，交差検定のある分割において False Positive 143 件中 86 件（約 60%）が上

5おわりに記ケースに該当する例であった．この分割においては

本論文では遠距離教師あり学習による専門用語抽出適合率が真には約 81.4%であったはずだが，53.4%まを可能にした．ブートストラッピング法と比べて多くで下がってしまっていた．のシードデータを必要とするが，Wikipedia から自動で取得することで人手の作業を減らしている．

4.3

専門用語抽出の実験

実験設定

本実験では，実際に専門用語の抽出を試み参考文献た．学習には 4.1 節で作成したラベルの付与されたコー[1] Gabor Angeli, Julie Tibshirani, Jean Y. Wu, andパスを用いる．本実験では交差検定のように分割は行

Christopher D. Manning. Combining distant andpartial supervision for relation extraction. InEMNLP, pp. 1556–1567, 2014.

わずコーパスすべてを学習に用いる．解析対象には国
土交通省の自動車のリコール不具合情報データベー
ス 5 をクロールして取得したコーパスを用いる．自動車の不具合やリコールに関する情報の文を約 30,000文集めることができた．このリコール不具合コーパスを解析し，そこから専門用語抽出を行う．
実験結果

リコール不具合データを解析した結果，新たに 100 件の用語を抽出した．抽出した用語の中には[2] Marti A. Hearst. Automatic acquisition of hyponyms. In COLING, pp. 539–545, 1992.
[3] Mike Mintz, Steven Bills, Rion Snow, and Dan
Jurafsky. Distant supervision for relation extraction without labeled data. In ACL-IJCNLP, pp.
1003–1011, 2009.

自動車の専門用語と言えない単語も存在したが．抽出した用語を人手で確認すると適合率は 84 ％であった．

[4] Michael Thelen and Ellen Riloﬀ. A bootstrap-

抽出した用語の一部を表 3 に示す．
表 3 に見られるように，抽出して得られた新たな用語の中にも専門用語ではない単語も含まれていた．そping method for learning semantic lexicons using
extraction pattern contexts. In EMNLP, pp. 214–221, 2002.の他の単語として抽出された用語の中にはオノマトペ
5 http://carinf.mlit.go.jp/jidosha/carinf/opn/index.html― 90 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.