# 日本語語義曖昧性解消のための訓練データの自動拡張

本稿では, 訓練データの自動拡張による語義曖昧性解消の精度向上方法について述 べる。評価対象として, SemEval-2010 日本語語義曖昧性解消夕スクを利用した。本稿では，まず，配布された訓練データのみを利用して学習した場合の結果を紹介す る. 更に, 辞書の例文, 配布デー夕以外のセンスバンク，ラベルなしコーパスなど， さまざまなコーパスを利用して，訓練データの自動拡張を試みた結果を紹介する。本稿では，訓練データの自動獲得により $79.5 \%$ の精度を得ることができた．更に，対象語の難易度に基づき，追加する訓練データの上限を制御したところ，最高 $80.0 \%$ の精度を得ることができた.

キーワード：SemEval-2010，例文，コーパス，難易度
## Effectiveness of Automatic Expansion of Training Data for Japanese Word Sense Disambiguation

\author{
Sanae Fujita ${ }^{\dagger}$, Kevin Duh $^{\dagger}$, Akinori Fujino ${ }^{\dagger}$, \\ Hirotoshi Taira $^{\dagger}$ and Hiroyuki Shindo ${ }^{\dagger}$
}

In this paper, we propose a method to expand training data automatically, using example sentences of a dictionary, other sensebank and unlabelled corpus. We tested on the data of SemEval-2010 Japanese WSD task and achieved $79.5 \%$ accuracy in our experiments. Then, we limited the number of used training data and achieved $80.0 \%$ accuracy.

Key Words: SemEval-2010, Example sentences, Corpus, Difficulty Analysis

## 1 はじめに

SemEval-2010 において, 日本語の語義曖昧性解消タスクが行われた (Okumura, Shirai, Komiya, and Yokono 2010). 本タスクは，コーパス中に出現する対象語に対し，辞書で定義された語義のうち適切な語義を推定することが課題である。日本語を対象とした類似のタスクとしては, 2001 年に開催された SENSEVAL-2 の日本語辞書タスクがあげられる。ただし, SENSEVAL-2 における日本語辞書タスクとは，2つの点で大きく異なっている。すなわち，対象コーパスの分野が多岐にわたる点, および，辞書に定義されていない語義が出現することもあるという点で異なっている。

語義曖昧性解消は，非常に古くから取り組まれてきている課題であり，さまざまな手法が提案されてきている (Navigli 2009)，教師なし学習法も，クラスタリングに基づく手法 (Pedersen 2006) や，辞書定義文を利用した手法 (Lesk 1986; Baldwin, Kim, Bond, Fujita, Martinez, and Tanaka 2010) などが提案されているが，一般に訓練データが存在する場合には, 教師あり学習法による精度の方が高い (Tanaka, Bond, Baldwin, Fujita, and Hashimoto 2007). SENSEVAL-2, および，SemEval-2010での日本語語義曖昧性解消タスクでも，教師あり学習法による手法が最も高い精度を出している (Okumura et al. 2010; 村田, 内山, 内元, 馬, 井佐原 2003). そこで,本稿でも，教師あり学習法をべースとした実験を行った。

しかし，本タスクにおいて，訓練データとして与えられたのは，各対象語につき 50 例ずつであり，十分な量とはいい難い，実際，評価データにしか出現しない語義（未知語義）も存在する。そのような未知語義は，訓練データのみを用いた学習では推測できない。また，コンテストに参加したチームで，ドメイン適合性に着目した実験を行ったチームもあるが，ドメイン適合性はいずれのチームでもあまり有効に機能していない (Shirai and Nakamura 2010; Fujita, Duh， Fujino, Taira, and Shindo 2010). 我々は，その原因が，訓練デー夕の少なさにあると考え，訓練データの自動獲得による精度向上を試みた。本稿ではその報告を行う。

訓練データを自動的に増やす方法としては，まず，Bootstrapping 法があげられる． Bootstrapping 法では，まずラベル（語義）の付与された訓練データで学習し，ラベルなしデータのラベルを推定し，ある基準において最も信頼できるものをラベルありデータに追加する (Mihalcea 2002， 2004). ここで, ラベルなしデータのラベル推定を決定木で行う研究もある (Yarowsky 1995).

しかしこれらの方法の場合, ラベルなしデータから, いくら訓練データを追加したところで, もともとの訓練データに出現しないような語義を推測することはできない，という問題がある. そのため, この方法でも未知語義には対応できない.

また，訓練データを自動的に増やす他の方法として，単義の同義語を利用する方法も提案されている (Mihalcea and Moldovan 1999; Agirre and Martinez 2000). 彼らは, WordNet の同義語 (synset)のうち, 単義語（例えば, “remember 1 ”に対して“recollect”など）や, 定義文 (gloss)の中のユニークな表現 (例えば, "produce 5 "に対して, glossの一部である "bring onto the market" など）を検索語として Web 検索を行い，獲得したスニペット中の対象語に語義を付与し，訓練データに追加している。この方法であれば，未知語義の訓練データを得て, 推定できる可能性がある。

そこで, 本稿では, 基本的に後者の方法に近い方法を導入する. ただし, (Mihalcea and Moldovan 1999; Agirre and Martinez 2000) らは，WordNet から同義語等を得ることができたが，本夕スクの語義は岩波国語辞典によるため，WordNetの synsetのような同義語を直接獲得することは難しい，そこで，定義文中から比較的抽出しやすい例文に着目し，例文を利用した訓練デー夕の獲得を行う，また，本稿では，既存のコーパスの利用も考える.
本稿では，まず 2 章で，本タスクで配布されたデータ，および，それ以外に本稿で利用したデータについて紹介する。次に 3 章では，本稿で利用する素性，学習方法について述べる， 4 章では実験の結果とそれに基づく議論，5 章では自動獲得した訓練デー夕の評価について， 6 章では結論を述べる.

## 2 データ

## 2.1 SemEval-2010: Japanese WSD タスク配布データ

1 章で述べたように，SemEval-2010: Japanese WSD タスクは, 対象コーパスの分野が多岐にわたるという特徴がある。訓練デー夕は, 白書 (以下, OW), 新聞 (PN), 本や雑誌 (PB) の分野から成り，評価デー夕は，更に，Web 上の Q\&A サイトである，Yahoo! 知恵袋（以下，OC）のデータも含んでいる。これらのデー夕は, 現代日本語書き言葉均衡コーパス $(B C C W J)^{1}$ のうち,形態素解析の誤りを人手で修正したコアデータと呼ばれる部分から抽出されている．なお，形態素解析は, UniDic に基づいて行われている.

また, 本デー夕には, 岩波国語辞典 (西尾, 岩淵, 水谷 1994) の語義を元に, 語義 ID が付与されている。岩波国語辞典に定義されていない新語義（以下，x）も付与されている場合があり， それらの新語義を推定することも，課題の一つである。対象語は 50 語で，辞典に定義された語義数は 219 だった。訓練データでは, 2 種類の新語義 $(X)$ が出現している. 訓練デー夕と評価データは，各語 50 文ずつ与えられた。

図 1 は，本タスクで配布された岩波国語辞典の例である。図 1 に示すように，各エントリは，表記，品詞，定義文や例文などの情報を含んでいる.

図 2 は，訓練データの例である。 ここで， sense="”で示される部分が，付与されている語義 ID を示している。例えば, 図 2, 6 行めの形態素「取っ」の場合, 語義 ID '37713-0-0-1-1'が付与されている。但し, 図 2 において, lemma="”の部分は, 配布デー夕には存在していなかった.これは, 各形態素の基本形を示しており, カタカナによる基本形 (bfm) や, 出現形から推測し, 我々がほぼ自動的に付与したものである。また, 図 2 において, 各行頭に付与した番号は，参照用に便宜的に付与したものである.

## 2.2 岩波国語辞典の例文

本稿では，まず，岩波国語辞典の例文を抽出する。図 1 の例のように，「」で囲まれた部分は，各語義の例文になっている。そこで，「」で囲まれた部分を例文として抽出する。ここで，“一” の部分は，見出し語を補完することができる，それにより，例えば，図 1 に示した見出し語「と


Headword とる【取る・採る・執る・捕る】

37713-0-0-0-0 ((五他))

37713-0-0-1-0 <1>置いてあったもの、離れていたものなどを、みずからの動作で手に持つ。

37713-0-0-1-1 くア>手で握り（つまみ）持つ。「手に一って見る」「手をーって導く」

. .

37713-0-0-3-0<3>身に負い持つ。

37713-0-0-3-1 くア>（進んで）自分がそれを引き受ける。「責任を一」「仲介の労を一」

37713-0-0-3-2 くイ>結果として得る。「百点を一」「不覚を一」「污名を一」

事件だ」

..

37713-0-0-6-0<6>物事の内容をはかり知る。

. .

37713-0-0-6-3 くウ>数える。測る。「数を一」「尺を一」（寸法を測る）「脈を一」（転じて診察する意にも）

図 1 岩波国語辞典の例：「とる」から抜粋

図 2 訓練データの例

る」の場合, 37713-0-0-1-1 の例文として (1), 37713-0-0-3-1 の例文として $(2), 37713-0-0-6-3$ の例文として (3) などが獲得できる。また, 岩波国語辞典の場合, 例文の前方や後方が, “...”という記号によって省略される場合がある。例えば,「“に一って」のような形（図 1 の 37713-0-0-3-3)

である.こうした“..."は, 取り除き，(4)のような形にした3

(1) 手を取って導く (37713-0-0-1-1)

(2) 責任を取る $(37713-0-0-3-1)$

(3) 数を取る $(37713-0-0-6-3)$

(4) にとって (37713-0-0-3-3)

こうして抽出した例文は, 形態素解析器 $\mathrm{Mecab}^{4} の$ UniDic バージョンで解析する。 また, 例文(1)-(3)において, “一”によって見出し語を補完した部分（下線部）には，例文を抽出した語義のID を付与する。但し, 本タスクで推定する語義の粒度は, 中語義（ - で区切られた数字の，最後の部分を除いたもの．37713-0-0-1, 37713-0-0-3 等）なので，実際には，中語義に集約して抽出している。つまり, 例文 (1) は37713-0-0-1, (2), (4) は 37713-0-0-3, (3) は 37713-0-0-6 の例文として利用する。

## 2.3 センスバンク：檜

本稿では，更に数種類の言語資源を利用した。

まず，基本語意味データベース Lexeed (笠原, 佐藤, Francis, 田中, 藤田，金杉, 天野 2004), および，センスバンク「檜」(Bond, Fujita, and Tanaka 2006)を利用する. Lexeed は，日本人にとって最も馴染みの深い 28,270 語を収録した辞書である。収録語は, 心理実験によって選定されており, 語義毎に語義文と例文がある。また, 各語義文と例文の内容語には, Lexeed 自身の語義が付与されている。 更に, 京都大学テキストコーパス 5 の内容語に対しても, Lexeed の語義が付与されている。これらの, Lexeedによって語義付与されたセンスバンクを「檜」(Bond et al. 2006) と呼んでいる。檜のサイズを表 1 に示す. なお, 檜には構文情報も付与されているが, 本稿では利用していない.

表 1 「檜」に付与された語義数

^{3}$ Fujita ら (2010)では, 岩波国語辞典の例文をそのまま追加した場合, 精度はむしろ低下する傾向にあった. この原因は，“...”等で表される省略記号などを取り除かず，そのまま利用したこと，例文そのものは非常に短いものが多く，切れ切れになってしまうことなどが考えられる.

4 http://mecab.sourceforge.net/

5 http://www-lab25.kuee.kyoto-u.ac.jp/nl-resource/corpus.html
}

ここで, Lexeed と岩波国語辞典の語義は，語義文の類似度の高いもの同士がリンクされている (Dridan and Bond 2006). そのため, リンクが存在する語義なら, 檜で付与されている Lexeed の語義を岩波国語辞典の語義に置き換えて，訓練データとして利用することができる.

例えば，岩波国語辞典の「とる」37713-0-0-6-3 の語義文は「数える，測る.」であり，Lexeed の 19036420-49 の語義文「数える。測定する.」と, 非常に類似しており, リンクされている.このリンクを用いることで，例えば，Lexeed の 19036420-49 の例文 (5) を, 岩波国語辞典の 37713-00-6(-3)の訓練データに追加できる。但し, 檜はIPA 品詞体系に基づいた形態素解析が行われているため, UniDicによって形態素解析をやりなおし, 語義 ID のみを対応箇所に付与しなおした.

（5）そこで、医者は患者の顔色を診ながら脈を取った。

## 2.4 現代日本語書き言葉均衡コーパス

2.1 章で述べたように，本タスクのデータは, 現代日本語書き言葉均衡コーパス (BCCWJ)のコアデータから抽出されている. BCCWJのデータは, モニター公開データとして利用可能である。但し，コアデータには，人手修正された形態素解析結果が付与されているが，コアデータ以外の BCCWJには形態素解析結果は付与されていない. 本稿では, BCCWJ の 2009 年度版モニター公開データを利用する。 Readmeによると, BCCWJ 2009 年度版モニター公開データには 4,300 万語が含まれている.

このデータから， 2.2 章で抽出した岩波国語辞典の例文を利用し，訓練データを獲得する。まず， 2.2 章で獲得した例文を文字の列として完全に含む文を抽出し，形態素解析を行う．更に，対象例文の見出し語と, 基本形, および, 品詞大分類が一致する形態素に, 該当する例文の語義 ID を付与する。

例えば，37713-0-0-3-3 の例文「にとって」（図 1 参照）を含む文として，Yahoo! 知恵袋 (OC) から，文 (6)を獲得できる。文 (6) の下線部は, 2.2 章で抽出した例文 (4) と一致した部分である。また, これを形態素解析したものが, 図 3 である.

（6）地運の相性を見ても彼はあなたにとって最高の相手ですが、

このように, 本手法によって獲得した文はラベルあり訓練データとして追加する. 但し, BCCWJ には，評価対象文が含まれるので，評価対象文と同一の文は利用しないという制限を設けた。

また, 新聞デー夕 2 年分（日本経済新聞（以下, NIK), 毎日新聞 $(\mathrm{MAI})$ ) からも, 同様に訓練データを抽出した.

## 2.5 未知語義数, および，獲得データサイズ

表 2 に, 評価デー夕に出現する語義のうち, 訓練データにも出現する語義と, 評価デー夕にのみ出現する語義の数を示す. 辞書に定義された全語義は 219 語義だが, 評価デー夕に出現する語

図 3 新たに獲得した訓練データの例

表 2 評価データに出現する語義の種類と出現回数

義は, 新語義 $(X)$ を除くと, 142 語義 $(=150-8)$ であり, 辞書に定義された全語義の $64.8 \%$ だった。また, 評価デー夕にのみ出現する語義は 9 語義 $(=15-6), 18$ 例 $(=34-16)$ だった.

また, 2.2 章から 2.4 章で紹介した方法で獲得した訓練データのサイズを, 表 3 に示す. 表 3 から, 評価データにのみ出現する 9 語義に対しても, 例文 (EX), 檜の両方から訓練データが獲得できることがわかる。また, 表 3 には, 参考のため, 訓練デー夕の数値も表示している.

本提案手法では, 新語義 $(X)$ の訓練デー夕は獲得できない. また, それ以外の語義に対しても，評価デー夕に出現する語義の異なりに対して，訓練デー夕ほどのカバー率はない，但し，すべてのコーパスを利用すれば，ほぼ，訓練データに近いカバー率を得ることができている。

なお, 表 3 は, 獲得傾向を確認するために, 評価デー夕に出現する語義かどうかを分けて表示しているが，実験では当然，評価デー夕に出現しない語義の例文であっても区別せずに利用している.
表 3 新たに獲得した訓練データの数

}} & \multicolumn{2}{|c|}{ 訓練データにある } & & & & \\

## 3 実験

## 3.1 学習器

学習には, 代表的な識別モデルの一つであり, ラベルありデータを用いて教師あり学習を行う最大エントロピーモデル (Maximum Entropy Method: ME, (Nigam, Lafferty, and McCallum 1999)）を用いた。これは, Fujita ら (2010)によると, Support Vector Machine (SVM, (Chang and Lin 2001))より，ME の精度がはるかに良かったためである.

## 3.2 素性

[基本素性] まず，語義曖昧性解消タスクで一般的に利用される素性を，基本素性として利用する.

各対象語 $w$ に対し, 出現形, 基本形, 品詞, 品詞大分類（名詞, 動詞, 形容詞など）を利用する。また, 対象語が $i$ 番目の語だとすると, 前後 2 語 $(i-2, i-1, i+1, i+2)$ の同じ情報も利用する. 更に, 前後 3 語以内の bigrams, trigrams, skipbigrams も利用する. これらの素性を利用したモデルを BLとする。

[Bag-of-Words] 各対象語 $w$ に対し, 同一文内に出現する全内容語の基本形を素性として利用する。これらの素性を利用したモデルをBOWとする.

[トピック素性] SemEval-2007 English WSD タスクでは, トピック情報を利用したシステムが, 最も高い精度を得ている (Cai, Lee, and Teh 2007). Cai ら (2007)の研究を参考に, トピック
情報を利用した素性を導入した。 Cai らは, Bayesian topic models (Latent Dirichlet Allocation: LDA）を用いて教師なし状態でトピック分類を行い，推定したトピックを素性として利用している.

本稿では, 訓練データと評価デー夕に gibbslda $++^{6}$ を適用し, 文書 (ファイル) 単位でトピック分類を行った。 但し, 新聞 (PN) の場合のみ, 記事毎に分類した。これは, 新聞の場合は, 記事毎に, 内容ががらりと変わることがあるが, それ以外の文書（書籍や Yahoo! 知恵袋, 白書など）では，がらりと変わると思われなかったためである。また，一つの文書，あるいは記事は，複数のトピックに含まれることがある.

本稿では，対象語が属する文書，あるいは記事の含まれるトピック分類を素性として利用し， これらの素性を利用したモデルを TPX とする．ここで，Xは，トピック数であり，Xが多ければ多いほど，分類が細かいことになる。

## 4 結果と議論

## 4.1 配布データのみを利用

Fujita ら (2010) によると, 対象語毎に訓練デー夕の分野の組合せを変えて学習するより, 分野に関係なくすべての訓練データを学習に用いる方が精度が良い。学習器は, 前述のようにMEを用いる，表 5 に，すべての訓練デー夕を学習に用い, 素性の組合せを変えた場合の結果を示す. パラメータは, 訓練データにおける対象語毎の交差検定で最も良い精度を出したものを用いている.また，表 5 には, 参考として, SemEval-2010での Best result (RALI-2 (Brosseau-Villeneuve, Kando, and Nie 2010)) も掲載している.

更に, 対象語を難易度毎に分けて傾向を分析する。そのため, SENSEVAL-2 の日本語辞書夕スクと同様に, 訓練データにおける語義の頻度分布のエントロピー $E(w)$ （式 (1)）を, 単語の難易度の目安として利用し, 対象語を, 高難易度 $\left(D_{\text {diff }}, E(w) \geq 1\right)$, 中難易度 $\left(D_{\text {mid }}, 0.5 \leq E(w)<1\right)$,低難易度 $\left(D_{\text {easy }}, E(w)<0.5\right)$ の 3 つにわけた (白井 2003). 式 (1)において, $p\left(s_{i} \mid w\right)$ は, 単語 $w$ の語義が $s_{i}$ となる確率を表している.

$
E(w)=-\sum_{i} p\left(s_{i} \mid w\right) \log p\left(s_{i} \mid w\right)
$

各難易度に含まれる対象語の数は, それぞれ， $D_{\text {diff }}$ で 9 語, $D_{\text {mid }}$ で 20 語, $D_{\text {easy }}$ で 21 語たっった. 対象語の詳細を，表 4 に示す.

表 5 によると, 基本素性 (BL)だけを利用した場合でも, SemEval-2010の Best result (76.4\%) より高い精度 $(77.7 \%)$ が得られた。最も精度が高かったのは, トピック素性を利用した場合 (BL
^{6}$ http://gibbslda.sourceforge.net/
}
表 4 難易度毎の対象語

 \\

表 5 素性毎の精度 (Precision, \%)

 &  &  &  &  & \\

BL + TP100 & 90.3 & 71.4 & 62.4 & 77.7 & + トピック素性 $(100)$ \\
BL + TP200 & 90.4 & 71.3 & $\mathbf{6 3 . 8}$ & $\mathbf{7 8 . 0}$ & +トピック素性 $(200)$ \\

+TP200) (78.0\%) たっった. BOWを素性として利用する場合は, 精度はかえって低下する傾向にある 7 .

なお，BL +TP200で最も精度が高かった対象語は，「外」(精度 100\%)，「経済」(98\%)，「考える」 $(98 \%)$, 「大きい」 $(98 \%), 「$ 文化」 $(98 \%)$ などである。一方, 最も精度の低かった語は, 「取

## 4.2 自動獲得した訓練データも利用

本節では，自動獲得した訓練データ（表 3 参照）を利用した場合の結果について紹介する （表 6)，表 6 では，素性は基本素性 (BL)のみ利用し，学習器は ME を利用した。

基本素性 (BL)を用いて, 配布された訓練データのみで学習した場合の精度を基準とすると,難易度別に傾向が非常に異なることがわかる．低難易語の場合，訓練データを追加すると，ほとんどの場合で精度が低下している，それどころか，精度が最も高いのは，最頻語義を利用し
$-検定を行ったところ, いずれも有意差はなかった.
}
表 6 自動獲得した訓練デー夕も利用した場合の精度 (\%) （基本素性 (BL)のみ利用）

た Base Lineである。しかし， 中難易語では，精度向上する場合の方が多くなり，高難易語では，すべての場合で，精度が向上している，特に，自動獲得したすべての訓練デー夕を追加した場合，低難易語では最も精度が低くなり，高難易語では最も精度が高くなっている。

これはつまり，そもそも低難易語の場合には，誤りを含むかもしれない訓練デー夕の追加は， むしろマイナスに働く可能性が高いが，中・高難易語の場合，訓練データに含まれる誤りによる悪影響より，訓練データが増えることによる好影響の方が強いことが伺える。

また，表 6 には，配布訓練データを用いず，自動獲得したすべての訓練データだけを用いた場合の実験結果も載せている。それによると, 低・中難易度では, 配布訓練デー夕を用いた精度に及ばないが，高難易度では，配布訓練データのみを用いる場合より高い精度を得ることができた。このように, 自動獲得した訓練データのみを利用した場合も善戦はしているが, 配布訓練データも利用した場合の方が相当精度が高い（最大 11.1 ポイント差）。この原因は, (1) 特に BCCWJ と新聞データは，岩波の例文を含む文のみを抽出しているため，訓練データのバリエーションに乏しい，(2) 例文によって，獲得できる訓練デー夕数に非常にばらつきがあり, 自然な分布にならない, (3) 自動獲得しているため誤りが含まれる，などが考えられる.

また，岩波の例文そのものを追加した場合，精度は若干低下する，しかし，例文を用いて訓練データを追加した，BCCWJも新聞も，OWを除いて，精度向上が見られる。

これは，例文そのものは非常に短いものが多く，切れ切れになってしまうが，例文を含む文全体を追加することで，もう少し広い前後の語などの情報も利用できるために，精度が向上したのだと考えられる8.

また, 本手法の利点の一つに，訓練データで出現しない語義に対しても，訓練デー夕を追加できることがある。そこで, 評価データにしか出現しなかった未知語義 $(9$ 語義 18 例, 2.5 節参照）に対する精度のみを確認した，訓練データに出現しない語義なので，訓練データのみ利用した場合, 精度は $0 \%$ \%゙ある。表 7 に，改良があった結果のみ表示する。表 7 によると，すべて追加した場合でも，2 例正解しただけであるが，訓練データだけでは絶対に正解できなかった部分であり，意義は大きい.

## 4.3 学習曲線

前節では, 各コーパスから追加可能な文はすべて追加して学習した。本節では, 過学習していないか調べるため, 追加する文数と精度との関連を調べた，BCCWJや新聞デー夕の場合, 岩波の例文を完全に含む文を追加するため，例文毎に追加できる最大の文数を設定し，精度との関係を調べた，つまり例えば，最大追加文数を 5 文と設定する場合，例文 (1)-(4)のそれぞれに対し，条件を満たす文のうち，最初に出てきた 5 文までを訓練データとして追加する，但し，当然, 最大の文数まで獲得できない場合もある.

表 8 は, 表 6 で最も良い精度を出した PBを用いた場合の結果である。また，参考までに，図 4 に学習曲線を示した。

表 8 および図 4 から, 難易度によって, 学習曲線が大きく異なることがわかる。低難易語の場合, 10 文追加までは, かろうじて精度が向上している. しかし, その後は, 訓練データを追加すればするほど，精度が低下している。一方で，中・高難易語に対しては，訓練デー夕を

表 7 未知語義（18 例）に対する精度（基本素性）

$-検定を行ったところ, いずれも有意差はなかった.
}
表 8 岩波例文毎に追加する最大文数を制限する場合（難易度別, 基本素性利用, PB）

$(\%)$

図 4 岩波例文毎に追加する最大文数を制限する場合（基本素性, PB）

追加した方が精度は向上する．特に，高難易語での精度向上が大きい9.

この結果から，低難易語には訓練データをほとんど追加せず，中・高難易語には訓練データを追加する方がいいことがわかる．表 8 の「参考」に，中・高難易語にのみ， 300 文を上限に訓練データを追加した場合の結果を示す，但し，本稿の手法の利点の一つは，訓練デー夕に出現しなかった語義にも訓練デー夕を獲得できることであるため，訓練デー夕に出現していない語義に対しては，低難易語であっても訓練データを 5 文を上限として追加している．この場合，低難易語の精度は下がらず，全体精度は $80.0 \%$ 達成，未知語義も 1 例正解できた。


## 5 自動獲得した訓練データの評価

本節では, 2.4 章の訓練データの自動獲得方法で獲得した訓練デー夕に正しい語義が付与されているかどうかを評価した。

評価対象には, 前節（4.3 節）で利用したPBにおいて, 追加できる最大文数を 5 文とした場合に獲得されたデータを用いた。この条件では, 47 語, 114 語義に対し, 1,038 文が獲得されている。人手評価の結果, 正しい訓練データだったものは 979 文 $(94.3 \%)$ ，誤っていたものは 59 文 $(5.7 \%)$ だった。このように $5.7 \%$ の誤りを含んでいたものの, 表 8 によると, 全体で $1.4 \%$ の精度の向上が見られており追加の効果は高い.

誤った訓練デー夕を獲得した原因で最も多かったのは, 慣用表現である。例えば, 語義 ID 20676-0-0-1「ある時刻と他の時刻との間 (の長さ).」の例文「時間の問題」は慣用的な表現である ${ }^{10}$. しかし, 獲得された 5 文のうち， 1 文は, 文 (7)であり, 語義 ID 20676-0-0-3「空間と共に，物体界を成り立たせる基礎形式と考えるもの.」の方がふさわしいだろう。

（7）この本はむずかしい時間の問題を、抽象的な時間論というかたちではなく、...

慣用表現かどうかの判定は非常に難しく(橋本, 河原 $2008 b)$, 本稿の手法で, 慣用表現による誤りを取り除くことは困難である。すべての誤りを取り除くには, 慣用表現辞書 (橋本, 河原 2008a）などを利用し, 慣用表現と思しき表現を利用しないことにするか, 最終的に人手による判断が必要だろう.

次に多かった誤りは，対象語以外の形態素区切りの不一致によるものだった.

例えば，37713-0-0-6の例文「数を取る」の場合, 文 (8) が獲得されている．しかし，37713-0-0-6 は「数える」という意味なので，文 $(8)$ は誤りである.

(8) ペーパーテストではいい点数を取るのかもしれませんがね。

2.4 節で述べたように，訓練データの追加条件は，例文を完全に含むこと以外にも，「対象例文の見出し語と, 基本形, および, 品詞大分類が一致する形態素に, 該当する例文の語義 ID を付与する.」という条件がある。しかし, 見出し語以外は, 形態素解析結果が一致するかは確認していない. だが, 文 (8)の場合, 動詞「取る」の目的語部分（「数」と「点数」）は異なっているため, 例文側も形態素解析し, 前後の形態素も含めて一致する文だけを訓練データに追加すれば，排除できる誤りである.

ここまで述べたように，自動獲得した訓練デー夕には誤りが含まれる。しかし， 1,038 文の正誤評価には 1 日とかからなかったので11, 慣用表現のような, 人手判断が必要な表現であって


も，1 日の人手作業で，正しい訓練データを 4 割近く増やすことができることになる．また，自動獲得では間違いやすい部分のみ，人手作業を行うことも可能である。そのようにして，効率的に正確な訓練データを増やすことも，今後，選択肢の一つになると考えられる．

## 6 おわりに

本稿では, 訓練データの自動拡張による語義曖昧性解消の精度向上方法について述べた. 評価対象として，SemEval-2010 日本語語義曖昧性解消タスクを利用した。

本稿では, 辞書の例文, 配布データ以外のセンスバンク（檜），ラベルなしコーパス (BCCWJ),新聞データなど，さまざまなコーパスを利用して，訓練データの自動拡張を試みた。

配布データ以外のセンスバンク（檜）を利用する場合，語義が定義された辞書同士のリンクを経由して，訓練データを獲得した，辞書同士のリンクは，定義文同士の類似度によって構築されている．檜を追加した場合， $78.8 \%$ の精度を得ることができた。これは，配布デー夕のみを利用した場合の結果 $(77.7 \%)$ より，+1.2\%の改良である.

このように, 異なる品詞体系, 異なる辞書（語義）に基づいて構築されたセンスバンクであっても，自動的に訓練データに追加し, 精度向上に寄与できることを示した. 人手で構築する言語資源は, 構築のための時間と費用が非常にかかるため, こうした既存言語資源の有効利用は, ますます重要になると考えれられる。

また，センスバンク以外のラベルなしデータを用いる場合，辞書の例文を文字の列として完全に含み, かつ, 形態素解析の結果, 対象語と, 基本形, および, 品詞大分類が一致するものを訓練データとして追加した。

最も良い精度を出したラベルなしデータは，書籍（BCCWJのPB）であり， $79.5 \%(+1.8 \%)$ の精度を得た。ここで，追加した例文のうち，1,038 文をサンプリング評価したところ， $94.3 \%$ に正しい語義が付与されていた。このように，自動獲得した訓練データには誤りも含まれるものの，例文そのものを追加するより，本稿の提案手法のように，例文を完全に含む，より自然な文を利用する方が効果が高いことを示した。

難易度に基づいて傾向を分析した結果，低難易語には訓練デー夕を追加せず，中・高難易語には訓練データを追加する方がいいことがわかった。 そのため, 中・高難易語と未知語義にのみ訓練データを追加した場合，最高 $80.0 \%$ の精度を得た。

このように，本稿で紹介したような訓練デー夕の追加は，非常に有効であると言える。

最後に, 今後の課題として以下の 3 点を挙げる.

（1）訓練データを追加する場合（4.2 章参照）も，トピック素性を利用して実験を行う。配布データのみを利用した場合には, トピック素性を利用した場合がもっとも良かった（4.1 章参照）ためである。

（2）辞書定義文から同義語を獲得し, (Mihalcea and Moldovan 1999; Agirre and Martinez 2000) らと同様に，同義語を用いた訓練データの拡張も行う，本稿では，辞書の例文に完全一致する語を訓練データとして追加したが, 本手法の場合, そもそも辞書に全く例文がない場合には, 新しい訓練データは獲得できない. 同義語も利用すれば, 例文のみでは訓練データを新たに獲得できなかった語義についても新しい訓練データを追加できるかもしれない，また，例文に完全一致する文のみの追加では，訓練データに偏りが出る恐れがあるが，その点を補完できると期待できる。

（3）ラベルなしデー夕を利用した半教師あり学習法 (Fujino, Ueda, and Saito 2008)による精度向上を図る。半教師あり学習を適用する場合でも，始めに与える訓練デー夕にない語義は，ラベルなしデータをいくら与えたところで推定できない. そのため, 本稿のようにあらかじめ低頻度語の訓練データを追加しておくことは重要だと思われる。

## 謝 辞

SemEval-2010 Japanese WSD task に関しまして, データ整備, 運営, 開催等にご尽力された皆様に感謝いたします。また,「『現代日本語書き言葉均衡コーパス』モニター公開データ（2009 年度版)」に関しまして，使用を許可して下さった独立行政法人国立国語研究所に感謝いたします.

## 参考文献

Agirre, E. and Martinez, D. (2000). "Exploring Automatic Word Sense Disambiguation with Decision Lists and the Web." CoRR, pp. 11-19.

Baldwin, T., Kim, S. N., Bond, F., Fujita, S., Martinez, D., and Tanaka, T. (2010). "A reexamination of MRD-based word sense disambiguation." Transactions on Asian Language Information Process, Association for Computing Machinery (ACM), 9 (1), pp. 1-21.

Bond, F., Fujita, S., and Tanaka, T. (2006). "The hinoki syntactic and semantic treebank of Japanese." Language Resources and Evaluation, 40 (3/4), pp. 253-261. (Special issue on Asian language technology).

Brosseau-Villeneuve, B., Kando, N., and Nie, J.-Y. (2010). "RALI: Automatic Weighting of Text Window Distances." In Proceedings of the 5th International Workshop on Semantic Evaluation (SemEval-2010), pp. 375-378.

Cai, J. F., Lee, W. S., and Teh, Y. W. (2007). "NUS-ML: Improving Word Sense Disambiguation Using Topic Features." In Proceedings of the Fourth International Workshop on Semantic

Evaluations (SemEval-2007), pp. 249-252.

Chang, C.-C. and Lin, C.-J. (2001). LIBSVM: a library for support vector machines. Software available at http://www.csie.ntu.edu.tw/ ${ }^{\sim}$ cjlin/libsvm.

Dridan, R. and Bond, F. (2006). "Sentence Comparison using Robust Minimal Recursion Semantics and an Ontology" In Workshop on Linguistic Distances, pp. 35-42.

Fujino, A., Ueda, N., and Saito, K. (2008). "Semi-supervised learning for a hybrid generative/discriminative classifier based on the maximum entropy principle" IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 30 (3), pp. 424-437.

Fujita, S., Duh, K., Fujino, A., Taira, H., and Shindo, H. (2010). "MSS: Investigating the Effectiveness of Domain Combinations and Topic Features for Word Sense Disambiguation." In the 5th International Workshop on Semantic Evaluation (SemEval-2010), pp. 383-386.

橋本力, 河原大輔 (2008a). 慣用句の検出と格解析のための言語資源の構築. 言語処理学会第 14 回年次大会発表論文集, pp. 1148-1151.

橋本力, 河原大輔 $(2008 \mathrm{~b})$. 日本語慣用句コーパスの構築と慣用句曖昧性解消の試み. 電子情報通信学会言語理解とコミュニケーション研究会, pp. 1-6.

笠原要, 佐藤浩史, Francis Bond, 田中貴秋，藤田早苗，金杉友子，天野昭成 (2004).「基本語意味データベース：Lexeed」の構築情報処理学会自然言語処理研究会 (2004-NLC-159), pp. $75-82$.

Lesk, M. (1986). "Automatic Sense Disambiguation using Machine Readable Dictionaries: How to Tell a Pine Cone from an Ice Cream Cone." In Proceedings of the 5th Annual International Conference on Systems Documentation, pp. 24-26.

Mihalcea, R. (2002). "Bootstrapping Large Sense Tagged Corpora." In Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC-2002), pp. 1407-1411.

Mihalcea, R. (2004). "Co-training and Self-training for Word Sense Disambiguation." In Proceedings of the Conference on Natural Language Learning (CoNLL-2004), pp. 33-40.

Mihalcea, R. and Moldovan, D. (1999). "An Automatic Method for Generating Sense Tagged Corpora." In Proceedings of the American Association for Artificial Intelligence (AAAI1999), pp. 461-466.

村田真樹, 内山将夫, 内元清貴, 馬青, 井佐原均 (2003). 技術資料 SENSEVAL-2J 辞書タスクでの CRL の取り組み一日本語単語多義性解消における種々の機械学習手法と素性の比較.自然言語処理, $10(3)$, pp. 115-134.

Navigli, R. (2009). "Word sense disambiguation: A survey." ACM Comput. Surv., 41 (2), pp. 1-69.

Nigam, K., Lafferty, J., and McCallum, A. (1999). "Using Maximum Entropy for Text Classification." In IJCAI-99 Workshop on Machine Learning for Information Filtering, pp. 61-67.西尾実, 岩淵悦太郎, 水谷静夫 (1994). 岩波国語辞典. 岩波書店.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2010). "SemEval-2010 Task: Japanese WSD." In Proceedings of the 5th International Workshop on Semantic Evaluation (SemEval2010), pp. 69-74.

Pedersen, T. (2006). Word Sense Disambiguation: Algorithms and Applications, 33, Chap. 6, pp. 133-166. Springer.

Shirai, K. and Nakamura, M. (2010). "JAIST: Clustering and Classification Based Approaches for Japanese WSD." In Proceedings of the 5th International Workshop on Semantic Evaluation (SemEval-2010), pp. 379-382.

白井清昭 (2003). SENSEVAL-2 日本語辞書タスク. 自然言語処理, 10 (3), pp. 3-24.

Tanaka, T., Bond, F., Baldwin, T., Fujita, S., and Hashimoto, C. (2007). "Word Sense Disambiguation Incorporating Lexical and Structural Semantic Information." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL-2007), pp. 477-485.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics (ACL-93), pp. 189-196.

## 略歴

藤田早苗：1997 年大阪府立大学工学部航空宇宙工学科卒業. 1999 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年 4 月よりNTT 日本電信電話株式会社コミュニケーション科学基礎研究勤務. 以来, 自然言語処理の研究に従事. また, 2009 年 3 月奈良先端科学技術大学院大学にて博士号 (工学) 取得. ACL, 言語処理学会各会員.

Kevin Duh: Kevin has been a research associate at NTT CS Labs since 2009/09. He received his B.S. from Rice University (USA) in 2003, and PhD from the University of Washington (USA) in 2009, both in Electrical Engineering. He is interested in natural language processing, information retrieval, and machine learning research.

藤野昭典：1995 年京都大学工学部精密工学科卒業. 1997 年同大学大学院修士課程修了. 2009 年同大学大学院博士課程修了. 博士（情報学）。1997 年 NTT 入社. 機械学習, テキスト処理などの研究に従事. 現在, NTTコミュニケー

ション科学基礎研究所研究主任. 電子情報通信学会 PRMU 研究奨励賞 (2004 年度), FIT 論文賞 (2005 年) 等受賞. 電子情報通信学会, 情報処理学会, IEEE 各会員.

平博順：1994 年東京大学大学理学部化学科卒業. 1996 年同大学院理学系研究科化学専攻修士課程修了. 同年, 日本電信電話株式会社, NTT コミュニケーション科学研究所入所. 意味理解, 文書自動分類, バイオインフォマティクスの研究に従事. 2002 年奈良先端大学院大学情報学専攻博士後期課程修了。博士 (工学)。2005 年〜2007 年株式会社 NTT データ技術開発本部研究主任. 2007 年より NTT コミュニケーション科学基礎研究所研究員, 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, ACL 各会員. 人工知能学会編集委員.

進藤裕之：2009 年早稲田大学大学院先進理工学研究科修士課程修了. 同年 NTT 入社. 統計的自然言語処理の研究に従事. 現在, NTTコミュニケーション科学基礎研究所研究員. ACL 会員.