DEIM Forum 2014 A1-1

YAGO を用いた拡張固有表現抽出における新出語のクラス推定精度の検証
真嶋 温佳†

白川 真澄†

原隆浩†

西尾章治郎†† 大阪大学大学院情報科学研究科マルチメディア工学専攻〒 565–0871 大阪府吹田市山田丘 1-5
E-mail: †{majima.haruka,shirakawa.masumi,hara,nishio}@ist.osaka-u.ac.jp
あらまし

固有表現抽出は，文書中から人名・地名・組織名などの固有表現を抜き出す技術であり，一般的に数種類程度の固有表現クラスに分類する．最近では 100 クラス以上に細分化・階層化した拡張固有表現が提案されているが，高い精度で拡張固有表現抽出を実現した事例は少ない．その中で，HYENA と呼ばれる手法は，Wikipedia の情報を利用することで F 値 0.9 程度の性能を達成している．しかし，この性能は Wikipedia の情報に依存するものであり，Wikipedia で定義されていないような新出語に対しては大きく精度が低下することが予測される．本研究では，

HYENA の既出語と新出語に対する性能の差について検証し，また，その検証結果から，新出語に対応可能な手法のデザインについて模索する．
キーワード

固有表現抽出, 新出語,HYENA

1. は じ め に十分である．

Yosef ら [9] は，505 種類の拡張固有表現タイプと，階層型分

固有表現抽出とは，文書中の固有表現（エンティティ）の固類による拡張固有表現抽出手法（HYENA）を提案している．評

有表現タイプを識別する技術であり，文書要約 [1] や質問応答

価実験では，505 種類の拡張固有表現タイプに対して，F 値 0.9

システム [2] などの重要な基礎技術である．一般的な固有表現

程度という非常に高い精度を達成している．しかし，HYENA

抽出のアプローチでは，事前にメンション（固有表現を指す文

は抽出対象である拡張固有表現のメンションそのものに関する

字列部分）とそのタイプが与えられた文書を訓練データとし，情報を大規模な知識基盤から学習しているため，この高い精度

そこから様々な特徴（メンション自体の情報，周辺の語の出現はメンション自体の情報に大きく依存すると考えられる．メン

パターンなど）を学習して識別器を構築する．英語の固有表現

ション自体を学習の素性として用いると，推定したいメンショ

抽出は，DARPA の評価型プロジェクト MUC [3] を中心としンが訓練データに含まれていれば容易にタイプ推定を行うことて行われ，また日本語では，評価型ワークショップ IREX [4] のができる．たとえば，「Microsoft」というメンションの拡張固タスクとして広く研究されてきた．一般的な固有表現抽出では，有表現タイプが「Company」であると学習していた場合，推定

MUC の 7 種類の固有表現タイプ（組織名，人名，地名，日付

時に「Microsoft」が出現すれば，この拡張固有表現タイプは表現，時間表現，金額表現，割合表現），あるいはこれに固有「Company」であると簡単に識別できる．しかし，現実には既物名を追加した IREX の 8 種類の固有表現タイプを抽出対象と存の知識基盤に出現しない語（新出語）に対する推定も必要にしている．しかし，情報抽出や質問応答などへの幅広い活用になってくる．この場合，メンション自体の情報は使えないため，

おいて，より細分化された固有表現タイプを利用したいという周辺の語などの情報を用いて拡張固有表現タイプを推定するこ

要求が高まってきた．

とになる．したがって，メンション自体の情報に大きく依存しより細分化された固有表現タイプに対する固有表現抽出として，数百種類のタイプを扱う拡張固有表現抽出が研究されていている HYENA では，新出語に対する推定精度が低下する可能性がある．

る．粒度の高い固有表現抽出が可能となれば，拡張固有表現タ

本研究では，HYENA による拡張固有表現抽出において，既イプ間の関係 [5] を用いた高度な意味レベルでの文書要約などが存の知識基盤に含まれていない新出語に対する精度について検期待できる．拡張固有表現抽出では，既存の固有表現タイプを証する．具体的には，Yosef らの研究で用いられたデータセッ

細分化し，タイプを階層構造化した拡張固有表現階層が定義さトを利用し，新出語と既出語に対する拡張固有表現抽出をそれれている．たとえば，Sekine ら [6] は，新聞記事における固有ぞれ行い，精度の違いについて検証する．また，識別誤りの傾表現の設計を目的として，200 種類の拡張固有表現タイプを人

向について解析し，新出語に対応した拡張固有表現抽出手法に手によって網羅的に定義している．Ling ら [7] は，Freebase [8]ついて検討する．

のクラスを人手で精査して 112 種類の拡張固有表現タイプを定義し，拡張固有表現抽出手法（FIGER）を提案している．しか2. 拡張固有表現抽出手法 HYENA

し，FIGER の拡張固有表現の識別精度は F 値 0.6 程度であり，本研究では，拡張固有表現抽出手法として，Yosef ら [9] の手

文書要約や質問応答などの基礎技術として用いるには精度が不法である HYENA(Hierarchical Type Classification for Entity示す．ここでは，例として「The film was the first samurai

film that Akira Kurosawa had ever directed.」という文中の「Akira Kurosawa」を推定対象の文字列（メンション）とした
場合を示している．Mention String は，メンション自体（名詞または名詞句）と，メンションにオーバーラップする 2-gramと 3-gram である．Sentence Surrounding Mention は，メンションの前後のコンテキストを表す素性で，メンションの前
後 3 語以内の，メンションからの符号付き距離付きの 1-gram，

2-gram，3-gram である．ただし，1-gram すなわち単語については，絶対距離付きのものも素性として用いる．Mention

Paragraph は，メンションのトピックを推定する手がかりとな
図 1 HYENA の処理図（学習時）る素性で，メンションの前後の 2,000 文字の枠内に含まれる全ての 1-gram，2-gram，3-gram である．ただし，2,000 文字の枠内であっても，パラグラフの区切りを越えたものは素性として使用しない．Grammatical Features は，メンションの文法的特徴を示す素性で，メンションの前後 3 語以内の全ての POS タ
グである．ただし，メンションからの符号付き距離付き・距離な
しの両方とする．Gazetteer Features は，メンションの地名らしさを表す素性で，YAGO から構築した地名辞書内の単語がメンションに含まれているか否かの 2 値特徴量（TRUE/FALSE）
である．メンションのタイプを決定付けるものではないが，ひとつの手がかりとなる．ここで挙げた素性はすべて，人手では

図 2 HYENA の処理図（推定時）

Names) を取り上げる．ここでは，HYENA の詳細および問題点について述べる．

2. 1 手法の詳細
HYENA の学習，推定の処理をそれぞれ図 1，2 に示す．学
習フェーズでは，知識基盤を用いて訓練データ（メンション，
素性，拡張固有表現タイプの組）を自動的に作成し，得られた訓練データの集合を入力として拡張固有表現タイプごとの識別器を学習する．推定フェーズでは，メンションと素性を入力とし，タイプごとの識別器で受理・不受理を推定する．

HYENA の拡張固有表現は階層構造を持っており，知識基盤
YAGO [10] に基いて構築されている．YAGO では，Wikipediaのカテゴリを Wordnet のシンセットと呼ばれるタイプにマッピングすることで，タイプ間の階層構造が作られている．Yosef
らは拡張固有表現タイプとして，YAGO の 5 つの最上階層
クラス（「Person」，「Location」，「Organization」，「Event」，「Artifact」）を選び，その下にそれぞれ 100 個のサブクラスを選択している．これら 100 個のサブクラスは，そのサブクラスに含まれる Wikipedia の記事（エンティティ）数が上位のものを選択している．これにより，505 のタイプからなる拡張固有
表現階層が構築されている．なお，Yosef らは階層構造の構築に YAGO を用いているが，他の Wikipedia を基にした知識基盤（Freebase [8], DBpedia [11] など）を適用することもできる．
この拡張固有表現階層を用いて，Wikipedia のエンティティにリンクされたテキストから，自動的に拡張固有表現タイプでラベル付けされた訓練データを作成できる．そのため，HYENA
では拡張固有表現抽出のための膨大な訓練データを利用できる．

HYENA で学習及び推定に用いられている素性を表 1 になくテキストから自動抽出できるもののみである．
識別器としては，SVM ツールの liblinear [12] を用いている．

505 個の各タイプに対して，あるタイプに属するデータを正例，
同じ階層の他のタイプに属するデータを負例とし，全タイプの分類器を liblinear でそれぞれ学習する．また，各タイプのサ
ブクラスのどれにも属さないデータについては，それぞれに

Other というタイプを与えている．タイプ推定は階層構造の上から下へ向かって網羅的に行い，メンションがタイプごとの識
別器に受理されればそのタイプに割り当てられ，さらに下位の階層のタイプについて識別を行う．

2. 2 問 題 点
前述の拡張固有表現タイプの推定においては，素性として
拡張固有表現のメンション自体（Mention String）を使っているが，訓練データに出現していない語（新出語）の場合はメンション自体の情報は使えないため，その語以外の情報を用いて
拡張固有表現タイプを推定することになる．したがって，新出語に対するタイプ推定は精度が低下する可能性が考えられる．

HYENA では，訓練データセットとテストセットをランダムに取得しているため，テストセットのメンションが訓練データ
セットに含まれている．拡張固有表現タイプごとの識別器の学習時に，抽出対象である拡張固有表現のメンションそのものを学習しているため，推定時に同じメンションが出現した場合，推定が簡単になる可能性がある．Yosef らの論文では，HYENA
は F 値 0.9 程度で精度よく拡張固有表現タイプを推定できていると述べているが，これは実験環境において，テストセットのメンションが訓練データセットに多く含まれていたことに起因すると考えられる．
具体例を用いて説明する．図 3 は，「Toyota」というメンションについて，Yosef らの論文で用いられたデータセットの一部を表 1 識別に用いる素性（「The film was the first samurai film that Akira Kurosawa hadever directed.」の「Akira Kurosawa」をメンションとした場合を例示している．
）
素性

Mention String

説明例

メンション自体（名詞または複数語からなる名詞句）と， “Akira
メンションにオーバーラップする 2-gram，3-gram．

Kurosawa”,“that Akira Kurosawa”,“Akira Kurosawa had”, “film that Akira Kurosawa”, “Akira Kurosawa had ever”,

Sentence Surrounding Mention メンションの前後 3 語以内の 1-gram，2-gram，3gram “samurai(-3)”, “film(-2)”,“that(-1)”, “had(+1)”,
すべて（メンションからの距離付き）．ただし，1-gram “ever(+2)”, “directed(+3)”, “samurai film(-2)”,の場合は絶対距離付きのものも用いる．

“film

that(-1)”,“hadever(+1)”,

“ever

di-

rected(+2)”, “samurai film that(-1)”, “had everdirected(+1)”, “samurai(3)”, “film(2)”, “that(1)”,“had(1)”, “ever(2)”, “directed(3)”Mention Paragraph

メンションの周りのテキスト 2,000 文字の枠内に含まれ “The film was”, “film was the”, ..., “ever directed
る 1-gram，2-gram，3-gram すべて．ただし，枠内で.”, “The film”, “film was”, ..., “directed .”, “The”,

あってもパラグラフの区切りを越えたものは使用しない． “film,”, ..., “.”Grammatical Features

メンションの前後 3 語以内の POS タグすべて（メンショ “NN”, “NN”, “WDT”, “NNP”, “NNP”, “VBD”,
ンからの距離付き/距離なし）．

“RB”, “VBN”,“NN(-3)”,“NN(-2)”,“WDT(-

1)”,“VBD(+1)”, “RB(+2)”,“VBN(+3)”
Gazetteer Features

YAGO から構築した地名辞書内の単語が，メンション FALSE (「Akira Kurosawa」は人名なので地名辞書に含まれているか否かの 2 値特徴量．

には含まれていない)表したものである．データは，対象のメンション「Toyota」と

表2

実験データ
メンションの数

その前後の単語列，および真の所属タイプ（「Organization」，「Institution」「，Company」,「Enterprise」「，Business」「，Man-

ufacturer」）からなる．各素性の特徴量を用いて「Toyota」と訓練データセット

200,000

テストセット 既出語

33,084

新出語

19,945いうメンションについて推定された所属タイプが，信頼度順に矢印の右に示されている．ここでは，「Toyota」の前後には多様な語が含まれているが，どのデータについても，推定されたタのデータ（注 1）253,029 件である．ここからランダムに取得したイプが真の所属タイプと完全に一致していることがわかる．こ200,000 件を訓練データセットとし，残りの 53,029 件のうち，れは，「Toyota」というメンション自体の情報が使われているたメンションが訓練データセットに含まれている 33,084 件を既め，タイプの推定精度が高くなっているものと考えられる．一

出語のテストセット，含まれていない 19,945 件を新出語のテス方，図 4 は，真の所属タイプが同じでメンションが異なる例をトセットとした（表 2）．データは，メンション自体とその周辺示している．ここでは，真の所属タイプが一致しているにも関の単語列からなる素性（第 2. 1 節参照），及びメンションが所

わらず，推定されたタイプは異なっている．これは，メンショ

属する拡張固有表現タイプからなる．訓練データセットを用いン自体がそれぞれ異なっており，また，各メンションの特徴がて，拡張固有表現タイプごとのモデルを 505 種類それぞれ構築

十分に学習できていないためであると考えられる．

した．その後，既出語，新出語の各テストセットに対して拡張

このように，メンション自体を学習の素性に用いている場合，
拡張固有表現タイプの推定結果がメンション自体の情報に大き固有表現タイプごとの識別器を適用し，メンションの所属する
拡張固有表現タイプを推定する．

く依存する．しかし，新出語に対する推定では，「Toyota」な

3. 2 評 価 指 標

どのメンション自体の情報を利用できないため，前後の単語列

評価指標として，Macro と Micro の両方について，適合率の情報を用いてタイプ推定を行う必要がある．この場合，メン（Precision），再現率（Recall），F 値 (F1-score) を用いた．そション自体の情報が使えないため，推定精度が低下することがれぞれ以下の通り定義される．

考えられる．

P recisionmacro =3. HYENA の新出語に対する性能の検証
HYENA の新出語に対する拡張固有表現抽出の性能について

t∈T

Recallmacro =検証した．HYENA の論文 [9] 中では，新出語と既出語に対する性能が大きく異なるかどうかは検証されていない．そこで，新出語に対する HYENA の性能を明らかにすることを目的として，新出語と既出語に分けたテストセットを用いて拡張固有
表現タイプを推定する実験を行った．

1 ∑ |It ∩ Iˆt ||T ||Iˆt |
1 ∑ |It ∩ Iˆt ||T |∑P recisionmicro =

t∈T

t∈T
∑

|It |

|It ∩ Iˆt ||Iˆt |

t∈T∑|It ∩ Iˆt |t∈T∑
Recallmicro =
t∈T

|It |

3. 1 データセット
本実験に用いるデータは，Yosef らが公開している HYENA（注 1）：http://www.mpi-inf.mpg.de/yago-naga/hyena/results/tracing/図 3 「Toyota」をメンションとした例

図 4 真の所属タイプが同じでありメンションが異なる例

F 1-score =2 × P recision × Recall
P recision + Recall

すべてのタイプについて評価値を平均したものであり，Microは，全てのタイプについてまとめて評価値を平均したものである．

ここで，T は拡張固有表現階層に含まれる全タイプ数（505 種類），It はタイプ t に属するデータの集合，Iˆt はタイプ t の識

4. 結果と考察

別器に受理されたデータの集合である．適合率は，タイプ t の

既出語と新出語に対する拡張固有表現タイプ推定の結果を，識別器に受理されたデータの中で，t が真の所属タイプである

表 3 に示す．既出語と新出語の結果を比較すると，新出語の方ものの割合であり，いかに誤りなく真の所属タイプを推定できが値が小さくなっている．これは，新出語の方が既出語よりもたかを示している．再現率は，本来タイプ t に属するデータの

拡張固有表現タイプの推定が難しいことを示している．既出語

中で，t の識別器に受理されたものの割合であり，いかに網羅

は，メンション自体が訓練データに含まれているため，メンショ

的に真の所属タイプを推定できたかを示している．F 値は適合ン自体を用いて拡張固有表現タイプを推定することができる．

率と再現率の調和平均であり，両者のバランスを取った指標でしかし，新出語はメンション自体が訓練データに含まれていなある．なお，Macro は，各タイプについて評価値を算出した後，いため，その周辺の単語列のみで拡張固有表現タイプを推定す

表 3 既出語と新出語に対する拡張固有表現タイプ推定の結果

Macro

最上層のタイプ（5 種類）
全てのタイプ（505 種類）

F値

適合率 再現率

F値

既出語

0.844

0.836

0.840

0.868

0.879

0.874

新出語

0.727

0.688

0.707

0.769

0.760

0.764

既出語

0.612

0.467

0.530

0.751

0.774

0.728

新出語

0.428

0.261

0.324

0.530

0.551

0.510

表 4 訓練データ数が少ない例（訓練データ数 212，タイプ：「Crime」）
適合率 再現率Micro

適合率 再現率

F値ていると考えられる．

4. 3 既出語と新出語の精度差が大きいタイプ

既出語

0.625

0.588 0.606

既出語と新出語の傾向の違いをより詳細に検証するため，拡

新出語

0.500

0.063 0.111

張固有表現タイプの推定精度の差が大きいものについて検証する．例として，「Country」という拡張固有表現タイプを挙げる

る必要がある．表 3 より，新出語の方が既出語よりも拡張固有（表 5）．
「Country」は拡張固有表現階層上では第 6 階層にあり，表現タイプの推定が困難になるという仮説が検証されている．

最上位階層である「Location」の下位階層に位置している．表

4. 1 訓練データの数の影響

5 に示したとおり，既出語では F 値 0.9 程度と精度が高いが，新全体の傾向として，訓練データ数が少ないタイプに対する推出語では 0.1 程度と非常に低くなっている．これは，「Country」

定精度が低くなっている．Yosef らの実験では約 1,600,000 件のタイプ推定においてメンション自体の情報が寄与しているこの訓練データを用いて F 値 0.9 程度を達成していたが，今回のとを示しており，また，周辺の単語列から得られる情報は寄与

実験では訓練データ数が 200,000 件と比較的少ないため，全体率が低いことを意味している．拡張固有表現タイプ「Country」

的にタイプ推定精度が下がっている．特に訓練データ数が少なに所属するメンションは国の名前であるため，同じ表記が頻繁いタイプの例として，表 4 に拡張固有表現タイプ「Crime」のに出現し，結果としてメンション自体の情報がタイプ推定に大タイプ推定結果を示す．
「Crime」は第 6 階層の拡張固有表現タきく影響を与えていると考えられる．表 6 に，訓練データ中にイプであり，最上位階層である「Event」の下位階層に位置し出現する「Country」に属するメンションのうち出現回数が上ている．
「Crime」の訓練データ数は 212 と少なく，学習が十分

位 10 位までのものを示す．この出現回数を「Country」の訓練でないため，既出語，新出語に対する性能が全体平均と比べてデータ数 9,112 と比較すると，出現回数上位 10 のメンション低くなっている．特に新出語では，メンション自体の情報が利のみで訓練データの約 18%を占めていることがわかる．同じ表用できないことから，再現率が大きく減少している．このよう記が頻繁に出現していることから，メンション自体の寄与率がに，訓練データの数が少ないほどメンション以外の素性につい上昇したため，既出語に対するタイプ推定精度が向上したと考ての学習が不十分になり，既出語との性能差が顕著になる傾向

えられる．

があることがわかった．

また，本来「Country」に所属する新出語のうち，誤って他

4. 2 Macro と Micro の比較の拡張固有表現タイプの識別器に受理されたもののタイプと拡張固有表現階層の最上位の 5 タイプ（「Person」，「Loca-

数を調査した．表 7 は受理された回数が多い順に上位 10 のタtion」，「Organization」，「Event」，「Artifact」）の結果と，全てイプを表している．拡張固有表現階層最上位の 5 タイプ中ののタイプの結果を，Macro と Micro の両方について比較する． 「Location」以外のタイプ（「Organization」，「Event」，「Per表 3 より，既出語について，最上位の 5 タイプの F 値は Macroson」，「Artifact」）が上位を占めているが，これは最上位のタで 0.840，Micro で 0.874 と高い値となっている．一方，全てイプに属するメンションの数が相対的に多いことに起因するのタイプの F 値は，Macro で 0.503，Micro で 0.728 となってと考えられる．一方，5 位の「Municipality」は，拡張固有表

おり，特に Macro では精度が大きく下がっている．各結果に現階層上で「Country」と共通の親タイプ（「Administrative

ついて，Macro と Micro の性能を比較すると，すべてにおい

district」）に属しており，第 6 階層に位置しているにも関わらて Macro の方が値が小さくなっている．原因として考えられず，誤って受理された回数が多い．これは，周辺の単語列の特徴

るのは，HYENA の拡張固有表現階層が 505 種類と粒度が高が「Municipality」と似ていたためであると考えられる．ここ

いことと，階層の末端に位置するタイプに対する訓練データので真の所属タイプが「Municipality」の新出語について，誤っ数が不十分であることである．拡張固有表現タイプの粒度が高て受理されたタイプ集合の中に「Country」が出現する可能性

いと，最下位階層のタイプなどに，出現頻度の低い，いわゆるに着目する．本来「Municipality」に所属する新出語のうち，

ロングテールに位置するタイプが多数含まれる．このようなタ

誤って他の拡張固有表現タイプの識別器に受理されたものにつイプは訓練データの数も比較的少なくなり，さらに本実験ではいて，受理された回数上位 10 のタイプを表 8 に示す．表 8 に訓練データ数が 200,000 件と少なかったため，識別器を十分において，「Country」は第 45 位（出現回数 6 回）に出現してお学習することができず，拡張固有表現タイプの推定精度が低く

り，「Municipality」の語が誤って「Country」に受理されるこなったと考えられる．Macro では，各拡張固有表現タイプにつとは少なかった．このことから，誤って推定されるタイプは，

いての推定精度が全て等しい重みで平均されているため，精度相互に誤りが多いというわけでもなく，あるタイプのメンショの低いロングテールなタイプの推定結果が，全体の精度を下げ

ンが別のタイプに一方的に誤って解釈されるケースが存在する

表 5 既出語と新出語で精度の差が大きいタイプの例

表 8 本来「Municipality」に所属する新出語が誤って受理された（訓練データ数：9,112，タイプ：「Country」）
適合率 再現率タイプとその新出語数（上位 10）
順位

F値

タイプ

最上位のタイプ

受理された新出語数

既出語

0.926

0.884 0.905

1 Tract

Location

444

新出語

0.132

0.135 0.133

2 SiteLocation

438

3 CityLocation366

表 6 訓練データ中のメンションの出現回数上位 10

4 TownLocation

126（訓練データ数：9,112，タイプ：「Country」）

5 AreaLocation104

順位

6 SeatLocation

104

メンション

出現回数

1 United Kingdom

188

7 Center

Location

102

2 Japan181

8 County seat

Location78

3 India180

9 Artifact–

58

4 Germany

174

10 Person–

50

5 Italy167

6 Russia160

7 Canada

146

8 Egypt

144

9 Spain

128

既出語

0.806

0.825 0.816

10 Sweden

128

新出語

0.909

0.774 0.837

表 9 既出語と新出語で精度の差が小さいタイプの例（訓練データ数：1,034，タイプ：「Baseballplayer」）
適合率 再現率

表 7 本来「Country」に所属する新出語が誤って受理されたタイプとタイプ

表 10 素性 Mention Paragraph 中の名詞（名詞句）の出現回数（訓練データ数：1,034，タイプ：「Baseballplayer」）

その新出語数（上位 10）
順位

F値

最上位のタイプ 受理された新出語数

順位 単語

出現回数

順位

単語

出現回数

1 Organization–70

1 season

2 Event

–

70

2 he

418

15 seasons

244

3 Person–68

3 first416

16 home244

4 Artifact–

66

4 game394

17 Series

242

5 Municipality

Location27

5 League386

18 Baseball

230

6 Way

Artifact25

6 players384

19 pitcher

218

25

7 Tigers

366

20 American League

214

24

8 team352

21 time214

24

9 games318

22 major

212

23

10 baseball312

23 record

204

11 American278

24 player

198

12 the Tigers

270

25 World Series

198

13 league

268

26 year192

7 Body of water
8 Facility
9 Geological formation
10 School district

Location
Artifact
Location
Location

ことがわかった．全体的には，「Country」よりも誤って受理さ

478

14 World

266

れた新出語数が多いが，これは「Country」と「Municipality」の新出語の数が異なるためであると考えられる．また，各タイプに所属するメンションの平均所属タイプ数が，「Country」
が 9.61 であるのに対して「Municipality」が 15.88 となっていたことも原因であると考えられる．
「Municipality」に属するメンションは，「Site」や「City」などのタイプにも同時に属することが多く，表 8 で上位に出現しているクラスのほぼ全てが，「Municipality」のメンションの多くにとって真の所属タイプであった．そのため，「Municipality」のみに属する新出語に対して，誤ってそれらのタイプの識別器に受理されることが多かった．

4. 4 既出語と新出語の精度差が小さいタイプ
既出語と新出語で拡張固有表現タイプの推定精度の差が小さいものの例として，拡張固有表現タイプ「Baseballplayer」について調査した（表 9）．
「Baseballplayer」は第 4 階層の拡張固有表現タイプであり，最上位階層である「Person」の下位階層に位置している．表 9 に示したとおり，既出語，新出語の両方
で F 値が 0.8 程度と高精度でタイプ推定ができている．これは，メンション自体の情報がなくても，周辺の単語列から得られた情報から高精度にタイプ推定が可能であることを示している．
拡張固有表現タイプ「Baseballplayer」に所属するメンション
は，野球選手の名前であるため，同一人物（あるいは同姓同名）を意味する同じメンションは，「Country」と比べて出現回数が少ない．したがって，メンション自体の情報は，「Country」と比較すると，タイプ推定の結果に決定的な影響を与えていない．
「Baseballplayer」タイプについて，素性の一つである Men-tion Paragraph に含まれる単語のうち出現回数が上位の名詞を
表 10 に示す．出現する単語は，「season」「League」「players」などスポーツに関するものや，「baseball」「pitcher」など野球に関するものが上位を占めている．
「Baseballplayer」を一意に特定するような語がメンションの前後の単語列に含まれる場合が多かったため，新出語の場合も「Baseballplayer」のタイプを推定できたと考えられる．

4. 5 新出語に対応した拡張固有表現抽出手法の検討
HYENA の問題点を改善するような，新たな拡張固有表現抽
出手法を検討する．実験結果から，HYENA に関して以下のこ

とがわかった．

張固有表現タイプの推定精度を改善するような拡張固有表現抽•

出手法を設計・実装することを検討している．また，実装した新出語に対する拡張固有表現タイプの推定は，全体的に既出語よりも精度が低い．

•

メンション自体の情報はどのタイプに対しても有効であり，メンション自体の情報を使うことができなければ，タイプ推定精度は低下する傾向にある．

•

手法の性能を評価する予定である．

謝

辞本研究の一部は文部科学省国家課題対応型研究開発推進事

メンションの周辺の単語列から得られる情報は有効

業−次世代 IT 基盤構築のための研究開発−「社会システム・

であるが，タイプによっては，類似するタイプに誤って推サービスの最適化のための IT 統合システムの構築」（2012 年

定される場合が頻発する．

度〜2016 年度）の助成による．

•訓練データの量が少ないほど，識別器を十分に学習できず，精度が低下する傾向がある．
以上を踏まえて，新たな拡張固有表現抽出手法を検討する．
新出語に対する推定精度を高めるためには，新出語の出現に対し，その都度新出語に関する情報を知識として蓄えていく必要がある．これは，タイプの種類によっては，メンションの周辺の情報からではタイプ推定精度に限度があるためである．実験で示したとおり，メンション自体の情報が利用できない場合，類似するタイプに誤って推定されることが多い．メンションの周辺の語の情報は場合によっては有用であるが，常に周辺に手がかりとなる単語が存在しているとは限らない．したがって，
メンション自体の情報を獲得していくことが必要である．また，既出語に対しても，メンション自体の情報は有効であるため，
メンション自体の情報を獲得することが望ましい．
新たな拡張固有表現抽出手法として，以下のような手法が考えられる．まず，HYENA と同様の手法をベースとしてメンションに対する拡張固有表現タイプの推定を行うものとする．
推定を進めていく上で，メンション自体と周辺の単語列の情報を知識として追加していく．あるメンションに対する周辺の単語列には，場合によってはタイプ推定の手がかりとなる情報が含まれている．この周辺の単語列の情報を蓄積していくこと
により，あるメンションのタイプ推定の手がかりとなる情報が徐々に獲得される．これにより，はじめは新出語であった語も，識別対象として出現する度に周辺の単語列の情報を獲得していき，システムは徐々に新出語に対応できるようになると考えられる．

5. ま と め
本研究では，拡張固有表現抽出手法である HYENA を取り上げ，新出語に対する拡張固有表現タイプ推定における問題点について議論し，これを検証するための実験・考察を行った．
新出語に対する拡張固有表現タイプの推定は既出語よりも精度が低く，メンション自体の情報がタイプ推定に大きく寄与していることがわかった．また，メンションの周辺の単語列から得られる情報には，そもそもタイプ推定に有効な情報が含まれていなかったり，類似するタイプと区別するための情報がなかったりする場合があり，メンション自体の情報を使うことができなければ推定精度は低下する傾向にあった．また，訓練データの量が少ないと，識別器が十分に訓練されず精度が低下するた
め，高い粒度でのタイプ推定には大量の訓練データが必要であることがわかった．
今後は，本研究で得られた知見に基づき，新出語に対する拡

文

献[1] Ge Jiayin, Huang Xuanjing, Wu Lide “Approaches toEvent-Focused Summarization Based on Named Entities
and Query Words”, Proc. of Document Understanding
Workshop, 2003.
[2] Al-Onaizan Yaser, Kevin Knight “Translating Named Entities Using Monolingual and Bilingual Resources”, Proc. ofAnnual Meeting on Association for Computational Linguistics (ACL), pp. 400–408, 2002.
[3] Grishman Ralph, Beth Sundheim “Message Understanding
Conference-6: A Brief History”, Proc. of International Conference on Computational Linguistics (COLING), Vol. 1,
pp. 466–471, 1996.
[4] Sekine Satoshi, Isahara Hitoshi Proc. of International Conference on Language Resources and Evaluation (LREC),
pp. 1977–1980, 2000.
[5] Nakashole Ndapandula, Gerhard Weikum, Fabian Suchanek“PATTY: a Taxonomy of Relational Patterns with Semantic Types”, Proc. of Joint Conference on Empirical Methods
in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 1135–1145,
2012.
[6] Sekine Satoshi, Kiyoshi Sudo, Chikashi Nobata “Extended
Named Entity Hierarchy”, Proc. of International Conference on Language Resources and Evaluation (LREC), 2002.
[7] Ling Xiao, Daniel S. Weld “Fine-Grained Entity Recognition”, Proc. of Conference on Artificial Intelligence (AAAI),
pp. 94–100, 2012.
[8] Kurt Bollacker, Colin Evans, Praveen Paritosh, Tim Sturge,
Jamie Taylor “Freebase: A Collaboratively Created Graph
Database for Structuring Human Knowledge”, Proc. of
ACM International Conference on Management of Data
(SIGMOD), pp. 1247–1250, 2008.
[9] Mohamed Amir Yosef, Sandro Bauer, Johannes Hoﬀart,
Marc Spaniol, Gerhard Weikum “HYENA: HierarchicalType Classification for Entity Names”, Proc. of International Conference on Computational Linguistics (COLING), pp. 1361–1370, 2012.
[10] Fabian M. Suchanek, Gjergji Kasneci, Kasneci, Gerhard
Weikum “Yago: a Core of Semantic Knowledge”, Proc.
of International World Wide Web Conference (WWW),
pp. 697–706, 2007.
[11] Sren Auer, Christian Bizer, Georgi Kobilarov, Jens
Lehmann, Richard Cyganiak, Zachary Ives “DBpedia: A
Nucleus for a Web of Open Data”, The Semantic Web,
Springer Berlin Heidelberg, pp. 722–735, 2007[12] Rong-En Fan, Kai-Wei Chang, Cho-Jui Hsieh, Xiang-Rui
Wang, Chih-Jen Lin “LIBLINEAR: A Library for Large
Linear Classification”, Journal of Machine Learning Research, Vol. 9, pp. 1871–1874, 2008.