# 語義曖昧性解消のための領域適応手法の 決定木学習による自動選択

古宮嘉那子†・奥村 学怰
}

ソースドメインのデータによって分類器を学習し, ターゲットドメインに適応する ことを領域適応といい, 近年さまざまな手法が研究されている. しかし, 語義曖昧性解消 (WSD: Word Sense Disambiguation) について領域適応を行った場合, 最も効果的な領域適応手法は, ソースデータとターゲットデータの性質により異なる。本稿ではそれらの性質から, WSDの対象単語タイプ, ソースドメインとターゲットド メインの組み合わせに対して, 最も効果的な領域適応手法を決定木学習を用いて自動的に選択する手法について述べるとともに, どのような性質が効果的な領域適応手法の決定に影響を与えたかについて考察する。

キーワード: 語義曖昧性解消, 領域適応, 手法選択, 決定木学習
## Automatic Selection of Domain Adaptation Method for WSD using Decision Tree Learning

\author{
Kanako KomiYa $^{\dagger}$ and Manabu Okumura ${ }^{\dagger \dagger}$
}

\begin{abstract}
Domain adaptation (DA), which involves adapting a classifier developed from source to target data, has been studied intensively in recent years. However, when DA for word sense disambiguation (WSD) was carried out, the optimal DA method varied according to the properties of the source and target data. This paper describes how the optimal method for DA was determined depending on these properties using decision tree learning given a triple of the target word type of WSD, the source domain, and the target domain and discusses what properties affected the determination of the best method when Japanese WSD was performed.
\end{abstract}

Key Words: word sense disambiguation, domain adaptation, method selection, decision tree learning

## 1 はじめに

自然言語処理で使われる帰納学習では, 新聞デー夕を用いて新聞用の分類器を学習するなど, ドメインＡのデータを用いてドメインＡ用の分類器を学習することが一般的である。しかし一

方, ドメイン B についての分類器を学習したいのに， ドメイン A のデータにしかラベルがついていないことがあり得る。このとき， ドメイン $\mathrm{A}$ (ソースドメイン）のデータによって分類器を学習し，ドメイン B（ターゲットドメイン）のデータに適応することを考える。これが領域適応であり，様々な手法が研究されている。

しかし, 語義曖昧性解消 (Word Sense Disambiguation, WSD) について領域適応を行った場合, 最も効果的な領域適応手法は, ソースドメインのデータ（ソースデータ）とターゲットドメインのデータ（ターゲットデータ）の性質により異なる．SVM 等の分類器を利用してWSDを行う際にモデルを作る単位である, WSD の対象単語タイプ, ソースドメイン, ターゲットドメインの三つ組を1ケースとして数えるとする。本稿では，このケースごとに，データの性質から，最も効果的な領域適応手法を，決定木学習を用いて自動的に選択する手法について述べるとともに, どのような性質が効果的な領域適応手法の決定に影響を与えたかについて考察する.

本稿の構成は以下のようになっている。まず 2 節で領域適応の関連研究について紹介する。 3 節では領域適応手法をどのように自動選択するかについて述べる。 4 節では本研究で用いたデー 夕について説明する．５節では決定木学習におけるラベル付きデータの作成方法と学習方法について述べ，6節に結果を，7節に考察を，8節にまとめを述べる.

## 2 関連研究

領域適応は，学習に使用する情報により, supervised, semi-supervised, unsupervised の三種に分けられる。まず supervised の領域適応は，訓練事例として少量のターゲットドメインだでなく大量のソースドメインのデータを加えて学習を行うもので, 訓練事例としてソースデー 夕または少量のターゲットデータだけを利用する場合よりも，分類器を改良することを目指す.次の semi-supervised の領域適応は，ラベルつきのソースデータに加え，ラベルなしのターゲットデータを利用し, 訓練事例としてソースデータだけを利用する場合よりも，分類器を改良することを目指す。また, 最後の unsupervisedの領域適応は，ラベルつきのソースデータで学習後, ターゲットデータで実行する。本研究で扱うのは, supervisedの領域適応である.

領域適応の研究は様々な分野で研究が行われており, ここではその一部を紹介する。まず, (Chan and Ng 2006)は，EM アルゴリズムによる語義の事前確率推定により WSD の領域適応を行っている。(Chan and Ng 2007) も，EM アルゴリズムによる事前確率推定を行っているが, これは能動学習により事例をターゲットドメインから加える supervised の領域適応である. Count-merging により重要文に重みをつけることで，性能を向上させている.

また, (Daumé 2007) はシーケンスラベリングを例に supervised の領域適応を行っている。素性空間の次元を「ソースデータの素性空間」「ターゲットデータの素性空間」「ソースデータとターゲットデータ共通の素性空間」に相当する三倍にし，モデルを三倍に拡張して実験を行う

というもので，様々な supervised の領域適応に併用できる手法である．利点として，上記の併用可能性に加え, 実装が簡単で処理が速いこと, マルチドメインに拡張が簡単（素性空間の次元をドメイン数 +1 倍にすればよい) であることが挙げられる.

さらに, (Daumé, Kumar, and Saha 2010) は (Daumé 2007) を semi-supervised のために拡張した。この手法がなぜ有効なのかはまだ解き明かされていないが，拡張前の利点を引き継いでいるだけでなく，ラベルなしのターゲットデータを利用することでよりよい性能が得られる.

(Agirre and de Lacalle 2008)は, semi-supervised の WSD の領域適応を行った. 大量のラベルなしのソースデータに，ラベルなしのターゲットデータを加えて行列を作り, 特異值分解 (SVD) により素性圧縮をして分類器を学習する手法である。また (Agirre and de Lacalle 2009) は，大量のラベルなしのソースデータの代わりに，少量のラベルつきのソースデータを使用して，同様の手法で supervised の領域適応を行っている.

(Jiang and Zhai 2007) は領域適応を行う際，事例の重み付けにより性能が向上することを示した. この手法は様々な supervised または semi-supervised の領域適応との併用が可能である. また，領域適応に悪影響を及ぼすソースデータを特定して削除することも試みているが，ソー スデータの削除は事例の重み付けを行わなければ有効であるが，事例の重み付けを行った場合には有効ではないと結論づけている。

(Zhong, Fan, Peng, Zhang, Ren, Turaga, and Verscheure 2009) はターゲットデータとソースデータの周辺確率を似せるようにカーネル空間を学習した後, 条件確率がターゲットデータに似ているソースデータの事例をクラスタリングベースの事例選択を用いて選び，その事例を利用して領域適応を行っている.

(Raina, Battle, Lee, Packer, and Ng 2007) は Web 上からランダムに取得したラベルなしデータを利用して, より高いレべルの素性を作成するためにスパースコーディングを利用した self-taught learningを提案している。これは unsupervised の領域適応の一種である.

(Tur 2009) は co-training において領域適応を行った co-adaptation の研究である. boosting による線形補完により領域適応を行い，両方の分類器においてエラー率が低下したことを報告している.

また (Blitzer, McDonald, and Pereira 2006) は semi-supervised の領域適応である.この研究では, ソースデータ中とターゲットデータ中の単語の類似度を計算するために, pivot feature （ソースデータとターゲットデータの両方でよく出てくる単語）の周りの単語の重みを計算する。この重みの行列にSVD を適用して新しい素性空間を作り，オリジナルの素性に新しい素性を加えて使用するという手法をとっている.

本稿に最も近い研究は, (McClosky, Charniak, and Johnson 2010) である. この研究では, 多様なドメインからなる文書を構文解析する際, 最も良いモデルは異なるという問題に注目している。彼らは様々な混合モデルによる構文解析の正解率を回帰分析で予測し, それぞれのター

ゲットデータに対して, 最も高い正解率を出すと予測されたモデルを利用して構文解析を行っている。本研究との最も大きな違いは，対象の夕スクが構文解析ではなく語彙曖昧性解消である点である。そのため，本論文ではケースという単位ごとに最適な領域適応を行う．また，彼らは複数のソースドメインから抽出した用例を混合して訓練事例とした領域適応を想定しているが，我々は想定していない，本研究では決定木学習を用いることで，どのような性質が最適な領域適応の決定に影響を与えるのかについて考察する.

本稿では，ソースデータとターゲットデータの性質をもとに領域適応に用いる手法を自動選択する手法について述べる。これに関連した研究として (張本, 宮尾, 辻井 2010) や (Asch and Daelemans 2010) がある。(張本他 2010)は, 構文解析において, 分野間距離をはかり, より適切なコーパスを利用して領域適応を行えるようにした。また, (Asch and Daelemans 2010)は,構文解析において，自動的にタグ付けされたコーパスを用いて，ソースデータとターゲットデー 夕の類似度から性能を予測できることを示した。これらの研究では, 領域間の距離からソースデータとして利用できるコーパスを選択するという立場をとっているが，本研究では領域間の距離などの性質から，手法を選択するという立場をとる。

## 3 領域適応手法の自動選択

## 3.1 ケースごとの領域適応手法の自動選択

本論文では，ケースという単位を定義し，ケースごとに適切な領域適応を行う。本論文におけるケースとは，SVM 等の分類器を利用してWSD を行う際にモデルを作る単位である．WS $\mathrm{D}$ の分類器は, 対象単語タイプ, ソースドメイン, ターゲットドメインの三つ組に対してひとつ作られるので，この三つ組をケースと呼ぶ。例えば，ケースを（対象単語タイプ，ソースドメイン, ターゲットドメイン）の順に書くと, (出る, 新聞, Yahoo!知恵袋), (出る, Yahoo! 知恵袋, 新聞), (手, Yahoo!知恵袋, 新聞）は全て別のケースである.

最適な領域適応手法は，ソースデータとターゲットデータの性質により異なるが，WSDにおけるソースデータとターゲットデータの訓練事例集合は, ソースやターゲットになるコーパスのドメインだけでなく，WSDの対象単語も含めたケースごとに定まる。したがって，ケースごとに適切な領域適応手法を自動的に選択し，その手法を適宜用いて領域適応を行えば，どれかひとつの手法を用いるよりも，WSDの性能が向上することが予想される。このため, 決定木学習を用いて，ケースごとに領域適応手法の自動選択を行う。決定木学習の素性にはソースデー タとターゲットデータの性質を利用し，ラベル（教師値）には，WSDの正解率を比較した際に，そのケースにおいて最も正解率が高かった領域適応手法を用いる。決定木学習を用いるのは，どのような性質が最適な領域適応手法の決定に影響を与えるのかを明示的に示すことができる上, 少量の訓練事例から学習しても十分な分類精度が得られるからである。また, $\mathrm{n}$ 個の
領域適応手法から選択する際には, pairwise 方式で ${ }_{n} C_{2}$ 通りの二分決定木をつくり, 最終的にそれらを統合することで，ひとつのケースにつきひとつの領域適応手法を決定する¹.

なお，本論文で扱う領域適応手法は，どれも supervised の領域適応であるため，最終的にどの領域適応手法が選択されるかは不明な段階でも，先にターゲットデータに対する少量の語義のタグ付けが必要である.

本論文では, 一般公開されている Yahoo!知恵袋, 白書, 新聞の三つの夕グ付きコーパスから, 144 ケースのラベル付きデータを作成して決定木学習を行った。これらのラベル付きデータの素性ベクトルには，ソースデータとターゲットデータの JS 距離などを用いており，それぞれのケースの対象単語タイプ，ソースドメイン，ターゲットドメインが何なのかという情報は与えていない．WSD の領域適応の問題が生じた場合には，問題のケースごとに，本論文で叙述するように素性べクトルを作成して決定木への入力とし, 決定木によって最適な領域適応手法を選択する。本論文では決定木学習の有効性を 144 ケースの交差検定によって示す.

## 3.2 WSD のための領域適応手法

WSDのための領域適応手法として, 本研究では以下に示す三つを用いる. したがって, pairwise 方式で三つ（TO と RS， TO と FD，RS と FD）の二分決定木をつくり，最終的にそれらを統合することで，ひとつのケースにつきひとつの領域適応手法を決定する.

以降，決定木の用例の単位であるケースと区別するために，WSDの用例の単位をトークンと呼ぶ. WSDの対象単語を $\mathrm{w}$ とすると，トークンは $\mathrm{w}$ の用例と等しい。それぞれソースドメインとターゲットドメインのコーパス中の $\mathrm{w}$ の用例が, ソースデータとターゲットデータの訓練事例であるため，ケースごとにソースデータとターゲットデータの数や性質は異なる.

・ TO: Target Only. ソースデータを用いず，ランダムに選んだ少量のターゲットデータのトークンに語義をタグ付けしたものだけを訓練事例にする。

・ RS: Random Sampling. ランダムに選んだ少量のターゲットデータのトークンに語義をタグ付けしたものとソースデータの両方を訓練事例にする.
- FD: フィルタリングによる削除. ランダムに選んだ少量のターゲットデータのトークンに語義をタグ付けしたものとソースデータの両方を訓練事例にする。このときソースデータは，フィルタリングによりターゲットデータにある一定の間値以上似ているデー タのみを用いる。

FDでは以下の手順を取る。なお，ターゲットデータやソースデータのトークンは，後述する WSDの素性を要素としたべクトルとして表されている.
^{1}$ pairwise 方式を利用するのは，多値分類では十分な分類性能が得られなかったためである．この原因は， 入手できた事例数が 144 ケースという少数であったためだと思われる.
}

(1) ターゲットデータのトークン $\forall t_{i} \in T$ について，全ソースデータのトークン $\forall s_{j} \in S$ とのコサイン類似度 $\operatorname{sim}_{i, j}$ を計算する.

(2) ソースデータのトークン $\forall s_{j} \in S$ について，それぞれ最も自身と近いターゲットデータのトークン $t_{j, \text { nearest }}$ を特定する.

(3) ソースデータのトークン $\forall s_{j} \in S$ について $t_{j, \text { nearest }}$ との類似度 $\operatorname{sim}_{j, \text { nearest }}$ をとに, 訓練事例とするかどうかを判定する.

ここで， $\operatorname{sim}_{j, \text { nearest }}$ が 0.8 以上のソースデータ $s_{j}$ を訓練事例に含めた. なお $\operatorname{sim}_{i, j}$ を計算する際，重みづけや正規化は行っていない.

なお，追加するターゲットデータ数は常に 10 トークンとした.

分類器としてはマルチクラス対応のSVM (libsvm) を使用した. カーネルは予備実験の結果, 線形カーネルが最も高い正解率を示したため, これを採用した。また, 学習の素性には, (Sugiyama and Okumura 2009) で使われている以下の 17 素性を用いた.
- WSD の対象単語の前後二語までの形態素の表記（4 素性）
- WSD の対象単語の前後二語までの品詞 (4 素性)
- WSD の対象単語の前後二語までの品詞の細分類 (4 素性)
- WSD の対象単語の前後二語までの分類コード (4 素性)
- 係り受け (1 素性)

－ 対象単語が名詞の場合はその名詞が係る動詞

－ 対象単語が動詞の場合はその動詞のヲ格の格要素

分類語彙表の分類コードには (国立国語研究所 1964)を使用した.

## 3.3 決定木学習のラベル

作成する三つの二分決定木のうち, ここでは TO と RS の決定木のラベル（教師値）について述べる。作成する決定木によって，TOと RS を，それぞれ TOと $\mathrm{FD}$ ，または RS と $\mathrm{FD}$ に読み替えていただきたい.

ケースごとに，最もWSD の正解率がよかった手法によって，TO と RS と Same の三種類のうちのひとつのラベルをつける。これらのつけ方は 5.1 節で述べる。決定木は，ケースごとにソースデータとターゲットデータの性質から，TO かRSのどちらの手法を使って領域適応するべきかを判定していることに留意いただきたい².

・ TO: RSより TOを使用した方が WSD の正解率が良いケース

・ RS: TO より RSを使用した方が WSD の正解率が良いケース

- Same: TO と RS のどちらを使っても WSDの正解率に差がないケース

なお，TO と RS のどちらを使っても WSD の正解率に差がないケースには， Same ラベルを使用せず，どちらかの手法に強制的に割りつけることも可能であるが，このような正解率に差がないケースが比較的多かったため (c.f. 表 5), 本論文では Same ラベルを使って決定木の分類性能をあげている。

## 3.4 決定木学習の素性

最適な領域適応手法はソースデータとターゲットデータの分布や距離などの性質によって異なると考えられるため，決定木には以下の 24 種類の合計 40 の素性を利用する ${ }^{3}$. なお，手法 1 と手法 2 は作成する二分決定木によって， RS と TO，または RS と FD，または TO と FDが相当する。また，データ 1 とデータ 2 は手法 1 と手法 2 に準じ，それぞれ RS の場合にはソー スデータ，TOの場合にはターゲットデータ，FDの場合にはターゲットデータに閥値以上似たソースデータが相当する。

(1) 手法 1 のシミュレーションの正解率

(2) 手法 2 のシミュレーションの正解率

(3) ふたつの正解率の比 $((1) /(2))$

(4) データ 1 のトークン数

(5) データ 2 のトークン数

(6) ふたつのデータのトークン数の比 $((4) /(5))$

(7) データ 1 の語義数

(8) データ 2 の語義数

(9) 辞書中の語義数

(10) データ1のMFS（Most Frequent Sense:データ中最も頻出する語義）のトークン数

(11) データ 2 の MFS のトークン数

(12) MFS の語義がデータ 1 とデータ 2 で同じか

(13) データ1のMFS のパーセンテージ $((10) /(4))$

(14) データ 2 の MFS のパーセンテージ $((119 /(5))$

(15) データ 2 の MFS のデータ 1 中でのパーセンテージ $((11) /(4))$

(16) データ 1 の MFS のデータ 2 中のパーセンテージ $((10) /(5))$

(17) データ 1 とデー夕 2 の語義タグのジェンセン・シャノン・ダイバージェンス (JS 距離)

(18) データ 1 とデータ 2 の間の WSD の素性ごとの分布の JS 距離

（19）データ 1 とデータ 2 の間の素性ごとの JS 距離を足しあわせたもの（(18)を 17 種類足し
^{3} 41$ 番目の素性として品詞を追加した実験も行ったが，正解率が低下したため, 最終的には含めなかった
}

あわせた值)

（20）デー夕 1 とデー夕 2 の素性をひとつの単位としたときの JS 距離

(21) 新語義の数

(22) データ 1 とデータ 2 で共通する語義数

（23）データ 1 とデータ 2 で共通する語義の, データ 1 中のパーセンテージ $((22) /(4))$

(24) データ 1 とデータ 2 で共通する語義の, データ 2 中のパーセンテージ $((22) /(5))$

なお, (1) と (2)のシミュレーションの正解率としては, 手法ごとに以下を用いる.
- RS：ソースデータのシミュレーションの正解率. ソースデータで分類器を学習し, 語義をタグ付けしたターゲットデータ 10 トークンで評価した正解率
- TO：TOのシミュレーションの正解率. ターゲットデータ 10 トークンに語義を夕グ付けし, Leave One Out 法で評価を行った際の正解率
- FD：FDのシミュレーションの正解率. ターゲットデータに間值以上似たソースデータで分類器を学習し, 語義を夕グ付けしたターゲットデータ 10 トークンで評価した正解率また，(4)と (5) のトークン数には, 手法ごとに以下を用いる. ただし, (13)～(16), (23), (24) において, TOのデータ数は 10 トークンとする.
- RS：全ソースデータのトークン数
- TO：全ターゲットデータのトークン数
- FD：全ソースデータの 4/5（5 分割交差検定のうち一試行）のうち, ターゲットデータに閥値以上似ているトークンの数また, (7) と (8) の語義数には, 手法ごとに以下を用いる.
- RS：全ソースデータ中に出現する語義の異なり数
- TO：語義を夕グ付けした 10 トークンのターゲットデータ中に出現する語義の異なり数
- FD：ソースデータの全トークンの $4 / 5$ のうち, ターゲットデータに間値以上似たデータに出現する語義の異なり数

また，(10)と (11)，(12)のMFSには，手法ごとに以下を用いる.
- RS : 全ソースデータ中の, 全ソースデータの MFS を語義に持つトークンの数
- TO：語義をタグ付けしたターゲットデータ 10 トークンの中の, 語義をタグ付けしたター ゲットデータ 10 トークンの MFS を語義に持つトークンの数
- FD：「全ソースデータの $4 / 5$ のうち，ターゲットデータに閾値以上似たデータ」中の,「全ソースデータの $4 / 5$ のうち, ターゲットデータに閥値以上似たデー夕」のMFS を語義に持つトークンの数

さらに， (17) (20) の JS 距離は, カルバック・ライブラー・ダイバージェンスを対称にしたものであり, $\mathrm{H}(\mathrm{P})$ が分布 $\mathrm{P}$ のエントロピーであるとき, 以下の式で与えられる.

$
D_{J S D}(P \| Q)=H\left(\frac{1}{2} P+\frac{1}{2} Q\right)-\frac{1}{2} H(P)-\frac{1}{2} H(Q)
$

また, (17)では,
- RS：全ソースデータの $4 / 5$

・ TO：ターゲットデータの 10 トークン
- FD：全ソースデータの $4 / 5$ のうち，ターゲットデータに間值以上似たトークンの語義タグの分布間の JS 距離を用いたが，(18)の JS 距離では,
- RS：全ソースデータ
- TO：全ターゲットデータ
- FD：全ソースデータの $4 / 5$ のうち, ターゲットデータに間值以上似たトークン

の間の WSD の素性（形態素情報など 17 種類. 3.2 節参照）の素性ごとの分布の JS 距離を, (19) の JS 距離では，これらのデータの WSD の素性（形態素情報など 17 種類）をつなげて，ひとつの単位としたものの分布の JS 距離を用いた。これは， 17 種類全ての素性が等しいときにたけ, 同じ要素と考えて JS 距離を求めるものである。また, (22)の共通語義も，(17) の JS 距離の際のデータのうち, 手法に対応したふたつのデータに出現した語義の異なり数である. また, $(21)$ の新語義の数は,
- RS と TO の決定木：語義を夕グ付けしたターゲットデータ 10 トークンに出現せず，全ソースデータのみに出現する語義の異なり数
- RS と FD の決定木 : 全ソースデータの $4 / 5$ のうち, ターゲットデータに閥値以上似たデータに出現せず，全ソースデータのみに出現する語義の異なり数
- TO と FDの決定木：語義を夕グ付けしたターゲットデータ 10 トークンに出現せず，全ソースデータの $4 / 5$ のうち，ターゲットデータに間値以上似たトークンのみに出現する語義の異なり数

になる。

決定木作成アルゴリズムには C4.5 (Quinlan 1993) を利用し，二分決定木を作成した。また，五分割交差検定を行った。決定木作成の枝刈りの閥値は訓練事例の $1 / 4$ を開発用データとした予備実験により最適化した。なお, このとき決定木作成の閾値にはノードのエントロピーの値を使用し， $0,0.1,0.2 \ldots$ というように 0.1 きざみで試した. 閾値の最適化の際に，最高の正解率の決定木の閥値が複数ある場合には，決定木がより小さいときの閥値を採用した.

## 4 データ

実験には, 現代日本語書き言葉均衡コーパス（BCCWJコーパス）(Maekawa 2008)の白書のデータと Yahoo! 知恵袋のデータ，またRWCコーパスの毎日新聞コーパス (Hashida, Isahara, Tokunaga, Hashimoto, Ogino, and Kashino 1998)の三つのデータを利用し, ソースデータとター ゲットデータを変えることで，全部で 6 通りの領域適応を行った。これらのデータには岩波国語辞典 (西尾, 岩淵, 水谷 1994) の語義が付与されている. これらのコーパス中の多義語のうち, ソースデータおよびターゲットデータ中にともに 50 トークン以上存在する単語を実験対象とした. WSD を行う単語の異なり数は, 白書 $\Leftrightarrow$ Yahoo! 知恵袋 : 24 白書 $\Leftrightarrow$ 新聞 : 22 Yahoo!知恵袋 $\Leftrightarrow$ 新聞 : 26 であり, 最終的なケースの数は, 28 単語, 合計 144 のケースとなった. ター ゲットコーパス別に見たケースの最小, 最大, 平均トークン数を表 1 に示す. また, 実験には岩波国語辞典の小分類の語義を採用した. 全 WSD の対象単語の語義数ごとの内訳を表 2 に示す.

また，領域適応による WSDの実験には五分割交差検定を用いた．RSのときのこの様子を図 1 に示す. RS の場合には, ソースデータの $4 / 5$ (ソースデータの濃い灰色の部分）に加え, ター

表 1 ターゲットコーパス別に見たケースの最小, 最大, 平均トークン数

表 2 全 WSD の対象単語の語義数ごとの内訳

ゲットデータの $4 / 5$ （ターゲットデータの白の部分と薄い灰色の部分）から 10 トークン（白い部分）を訓練事例とする．FDの際には，ソースデータの $4 / 5$ (ソースデータの濃い灰色の部分） に関して，ターゲットデータの $4 / 5$ （ターゲットデータの白の部分と薄い灰色の部分）との類似度を測り，一定以上似たデータと 10 トークン（白い部分）を訓練事例とする。テストデータは，ターゲットデータの残りの $1 / 5$ (黒い部分）である.

表 3 に，白書 $\Leftrightarrow$ Yahoo！知恵袋でソースデータとターゲットデータを逆にしたときの領域適応別の WSD の正解率を示す。これらの結果は，すべてのトークンごとの平均の正解率（マイクロ平均）である。ここで，夕グつきターゲットデータが手に入ったと仮定して, supervised の学習を 5 分割交差検定を用いて行った self と，ターゲットデータに対して，ソースデータだけで 5 分割交差検定を用いて学習を行った Source Only についての WSD も行い, その正解率も参考として示した，表 3 から，使用するコーパスによって効果の出る手法が異なることが分かる。また，表 4 に，ソースデータとターゲットデータのコーパス別に見たケースごとの最適な領域適応手法の分布を示す。この表において，例えば「RS と $\mathrm{TO}\rfloor$ は， RS と TO が同率一位であることを表す。この表から，最適な領域適応手法は，コーパスごとよりも，ケースごとに異なることが分かる.

図 $1 \mathrm{RS}$ による WSD の実験の五分割交差検定

表 3 Yahoo！知恵袋と白書でソースデータとターゲットデータを逆にしたときの領域適応別の WSD の正解率

表 4 ソースデータとターゲットデータのコーパス別に見たケースごとの最適な領域適応手法の分布

## 5 決定木学習におけるラベル付きデータの作成方法と学習方法

本研究では, 決定木の Same ラベルの付け方や, Same ラベルのついたトークンの扱い, 決定木におけるケースの重みを変えて 8 通りの決定木を作成した。本節ではそれらの手法の詳細と， pairwise に作成した複数の決定木の結果を統合して, 最終的に領域適応手法を一意に定める手法について述べる.

ここでも， 3.3 節と同様, TO と RS の決定木のラベルについて述べる. 作成する決定木によって，WSDの手法は読み替えていただきたい.

## 5.1 Same ラベルの付け方

3.3 節で述べたように, 決定木学習の教師値として, ケースごとに, 最もWSD の正解率がよかった手法によって, TO と RS と Same の三種類のうちのひとつのラベルをつける。このうち, Same は TO でも RS でも WSD の正解率に差がないケースに対するラベルであるが，どこまでが正解率に差がなく, どこからが差があるかという点についてはいくつかの考え方がある.本稿では，以下の二通りの Sameの定義を考え，両方について実験を行う。
- 「同じもの」:TO と RS の WSD の正解率が全く等しいものに Sameをつけ，それ以外にTO かRS を付与する。
- 「カイ二乗検定」：TO と RS の WSD の正解率を比較してカイ二乗検定を行い, 有意差がないものに Same をつけ, あるものに TO か RS を付与する。 なお, カイ二乗検定の有意水準は 0.05 を利用した。

「同じもの」では，全く同じ正解率のケースだけを，TO と RSに差がないケースと考え，「カイ二乗検定」では，カイ二乗検定により有意差がないケースを，TO と RS に差がないケースと考えている.

決定木とラベル付け手法別に見たラベルの分布を表 5 に示す。また，コーパスとラベル付け手法別に見たラベルが割りつけられたケースの数と合計の単語タイプ数を表 6 に示す.
表 5 決定木とラベル付け手法別に見たラベルの分布

表 6 コーパスとラベル付け手法別に見たラベルが割りつけられたケースの数と合計の単語タイプ数

## 5.2 決定木学習における Same の扱い

前節のように全てのケースに三つのラベルを付与したが，三つ目のラベル Same については TO でもRSでも差がないケースであり, 決定木学習の際にいくつかの扱い方が考えられる。本稿では, 決定木学習の際, 以下の二通りの Sameの扱い方で実験を行う.
- 「Sameを利用した 3 值分類」：TO, RS, Sameの 3 值分類の決定木学習とテストを行う.
- 「訓練事例から Same の事例を削除した 2 值分類」: Same が付与されたケースを訓練事例から削除して TO と RS） 2 值分類の決定木学習を行う。なお，テストには全ケースを利用する。

図 2 に，「訓練事例から Same の事例を削除した 2 值分類」のときの決定木学習の五分割交差検定の様子を示す. 全体が 144 ケースあり, 最終的に訓練データとして用いるケースはそのうちの TO かRS のラベルをもつケースである.「同じもの」を使用するときは 129 ケースがこれにあたり，「カイ二乗検定」を用いるときには 69 ケースがこれにあたる（濃い灰色の部分）。五分割交差検定の一試行において，この訓練デー夕となる濃い灰色の部分の $4 / 5$ （白い部分）で訓練を行い，全体のケースの 144 ケースのうちの $1 / 5$ （薄い灰色の部分）でテストを行う。これを五回交差して行うことで決定木学習の五分割交差検定を行った.

図 2 訓練事例から Same の事例を削除した 2 値分類のときの決定木学習の五分割交差検定

「訓練事例から Sameの事例を削除した 2 值分類」を利用してテストを行う場合, Same ラべルがふられたケースに正解はない。そのため, 決定木のノードにおけるラベルの確からしさの度合いなどの閾値をもうけることで,「Sameを利用した 3 値分類」の Sameのようなどちらの手法を利用してもよいという結果を出力することも考えられる。 しかし, Same ラベルがふられたケースはもともと, どちらの手法を利用してもよいケースであるため, 便宜的な割り付けを行っても問題ないとの考えから, 本稿では学習した決定木を用いて全てのケースに自動的に TO かRSかを割り付けた。

## 5.3 ケースによる分類とトークン数による重みづけを用いた分類

表 1 にあるように, ケースにはたくさんの事例があるケースと, 少量の事例しかないケースがある。このため, 決定木において，少量のトークン（WSD の事例）しかないケースよりも，たくさんのトークンがあるケースについて, 利用する領域適応手法を正確に予測できた方が， より全体の WSD の正解率に寄与する可能性がある。本稿では，以下のようにケースによる分類のほかに，トークン数による重みづけを行う分類についても実験を行った.
- 「ケースによる分類」: 全てのケースに同等の重みがあるとして決定木学習を行う.
- 「トークン数による重みづけを用いた分類」: ケースごとにケース中のトークン数の重みをつけて決定木学習を行う。

具体的には，トークン数による重みづけを用いた分類は，決定木学習の際，エントロピーの計算において，ひとつのケースをひとつのケースとして数えるかわりに，トークン数分のケー スとして数えることで重みを付けている.

5.1-5.3 節でそれぞれ二通りの選択肢があるため, 本稿では全組み合わせの合計 8 通りの決定木を作成した。

## 5.4 決定木の統合

決定木の統合は, 以下のように行った. pairwise の性質上, 三つの決定木が三つとも同じ方法がよいと答えることはなく, 答えが $2: 1$ に分かれるか, 三つ巴になるはずである.

このうち, $2: 1$ に分かれるときは, かならず 2 つ決定木が出した答えが理論的に一番良くなるため，その答えを選択すればよい。手法 $1>$ 手法 2 のとき手法 1 のほうがよい手法であるとすると，例えば， $\mathrm{TO}>\mathrm{RS}$ かつ， $\mathrm{FD}>\mathrm{RS}$ かつ $\mathrm{TO}>\mathrm{FD}$ であれば， $\mathrm{TO}>\mathrm{FD}>\mathrm{RS}$ なので， $\mathrm{TO} を$選択する。

次に，三つ巴のときには，事例が割りつけられた葉についている確率を比較し，一番高い確率のところに割り付けた，確率は，「学習時にその葉に割りつけられたその手法のケース数/学習時に，その葉に割りつけられた全ケース数」として計算した，たとえば，テストデータが，実行時に「学習時に, TOが 1 ケース, RSが 2 ケース割り当てられた葉」に割り当てられた場合, そのテストデータは $2 / 3$ の確率で RS となる。 三つ巴の場合には, この確率で比較し, 最も高い確率の手法を割り当てた。

三つ巴のときに, ふたつの決定木で割りつけられた葉の確率が同率一位である場合には, RS>TO かつ $\mathrm{FD}>\mathrm{RS}$ なら, $\mathrm{FD}>\mathrm{RS}>\mathrm{TO}$ なので $\mathrm{FD}$ を選択, というように論理的に選択された手法を選択した。

また，三つ巴でどれも確率が等しい時など，上記のルールを利用してもどうしても領域適応手法が選べない時には，一括的に領域適応を行ったときに正解率が高い順，つまり，FD， TO， RSの順で割りつけた。

## 6 結果

表 7 に，もともとの手法を一括的に用いた際の WSD の平均正解率を示す.なお， 144 のケー スには合計 232,116 の WSD のトークンが含まれており, 本稿の平均正解率はそれらのトークンの平均の正解率（マイクロ平均）である。表 7 から TO, RS, FDのうち, 最も良い正解率は FDの $82.27 \%$ であることが分かる.

表 8 に，5節の決定木を用いて自動的にケースごとに選択した手法を利用した際の WSD の平均正解率を示す。なお, 選択の仕方は, 決定木学習による選択の 8 種類と, Golden Answer の一種類の合計 9 種類である。ここで，決定木学習による選択の 8 種類は，5.1-5.3 節でのそれぞれ二通りの選択肢による，全組み合わせに対応する。表 8 の決定木学習の方法の列はそれぞれ，一列目が 5.1 節の分類に, 二列目が 5.2 節の分類に, 三列目が 5.3 節の分類にあたる。それぞれ,

表 7 個別の手法を用いた際の WSD の平均正解率

表 8 選択した手法を利用した際の WSD の平均正解率

3 值と 2 值は「Sameを利用した 3 值分類」と「訓練事例から Same の事例を削除した 2 值分類」 を，ケースとトークンは「ケースによる分類」と「トークン数による重みづけを用いた分類」を示す。なお, Golden Answer は，決定木学習を用いる代わりに，ラベルとなっているふたつの領域適応のうち, WSDの正解率の高い領域適応手法をケースごとに人手で選択して, WSDの平均正解率を求めた值であり, upper bound である.

「Same を利用した 3 値分類」の決定木で Same が割りつけられたケースは, 本来は TO でも RSでもどちらでもよいというように，二つの領域適応手法の選択肢のどちらを用いてもよいケースであるが, 本稿では一括的に領域適応を行ったときに正解率が高い方の手法を用いて, 最終的な WSD の平均正解率を算出した。「訓練事例から Same の事例を削除した 2 值分類」を利用した場合は，5.2 節で述べたように，学習した決定木を用いて自動的に全てのケースを分類した. そのため, Sameの割りつけられたケースも, 決定木によって選択された手法を利用して最終的な WSD の平均正解率を算出した。

表 8 から, 決定木学習を用いて選択した手法を利用した際の WSD の平均正解率のうち, 最も高いWSD の平均正解率は,「カイ二乗検定」,「訓練事例から Same の事例を削除した 2 値分類」,「ケースによる分類」を利用した $83.52 \%$ である。表 7 の, 個別の手法を用いた際の最高の正解率, FDの $82.27 \%$ りも正解率が高いため, 決定木を利用して適切な領域適応手法を利用した方が，個々の領域適応手法を使った時よりも正解率が上がることが分かる．またこのとき， カイ二乗検定により十分な有意差が認められた.

## 7 考察

## 7.1 決定木学習のラベル付きデータの作成方法と学習方法についての比較

本節では, 決定木学習に打けるラべル付きデー夕の作成方法と学習方法による違いを比較する. まずSame ラベルの付け方について比べると, 決定木学習に打ける Same の扱いを「訓練事例から Same の事例を削除した 2 値分類」にしたときには「同じもの」が「カイ二乗検定」よりもよいが，「Sameを利用した 3 値分類」にしたときには「カイ二乗検定」が「同じもの」よりもよいことが分かる.

また決定木学習における Same の扱いについて比べると，「訓練事例から Same の事例を削除した 2 值分類」のほうがいつも「Sameを利用した 3 值分類」よりもよいことが分かる。

さらにケースによる分類とトークン数による重みづけを用いた分類について比べると，「ケー スによる分類」のほうがいつも「トークン数による重みづけを用いた分類」よりもよいことが分かる.

8 種類の決定木の作成手法のうち最も良かったのは, 決定木学習のデー夕の Sameのラベル付けには「カイ二乗検定」を利用し, 決定木学習における Same の扱いにおいては「訓練事例から Same の事例を削除した 2 值分類」を利用し，決定木学習の際には「ケースによる分類」を用いた決定木学習（カイ二乗検定，2 値，ケース）であった.

このとき，決定木の正解率はそれぞれ，TO と RS の決定木は $69.57 \%$ ，TO と FDの決定木は $64.81 \%, \mathrm{RS}$ とD の決定木は $52.63 \%$ であった。

また，上記の実験は，コーパスを考慮しない五分割交差検定であるため，語義夕グがついていないコーパスに対しての性能を見るために，ケースをコーパスごとに分け，コーパスごとの交差検定を行った．上記の実験で最高の正解率だった（カイ二乗検定， 2 値，ケース）の決定木学習の手法で実験を行ったところ，WSD の平均正解率は $82.32 \%$ となった．FD の $82.27 \%$ よも高いが，カイ二乗検定による有意差は得られなかった．利用したコーパスは 3 つであるため， 144 ケースのおおよそ三分割交差検定を行うこととなっており，訓練事例数が足りず，決定木の十分な分類性能が得られなかったためだと考えられる．WSD の領域適応の実際のタスクにおいて，本論文が提案する決定木を作る際には，ソースドメインのコーパス以外に，語義夕グ付きのコーパスが少なくともひとつ以上存在する必要がある。その中にターゲットドメインのコーパスを含めずに済むかどうかは不明である。しかし，上記の実験から，含めない場合にもある程度の効果は得られると考える。あるいはターゲットドメインのコーパスに決定木を作るのに必要な程度の語義夕グをつけることも考えられる。

## 7.2 学習された決定木についての考察

WSD の平均正解率が最高だった「カイ二乗検定」,「訓練事例から Same の事例を削除した 2 値分類」,「ケースによる分類」の決定木学習の五回の検定のうち, 最も高い正解率だった決定木を付録として示し，生成に特に貢献した素性と素性値について以下に述べる.

まず，TO と RS の決定木のルートノードでは,「ふたつの正解率の比 $=0.70$ 以上」が no のときTOが割り当てられた。これは「the Otherのシミュレーションの正解率/ TO のシミュレー ションの正解率」の割合が 0.70 以下であれば，TO が割り当てられたということである。つまり, 10 トークンのターゲットデータに語義をタグ付けし, Leave One Out 法で評価を行った際の正解率のほうが, ソースデータで分類器を学習し, 10 トークンのターゲットデータに語義をタグ付けしたもので評価した正解率よりも高いときには TO が割り当てられたということに等しい.このことから，10 ケースの語義をタグ付けしたターゲットデータによるシミュレーションの予測が，最適な領域適応の手法を予想する強力な手がかりになることが分かる.

次に, 決定木の深さが 1 のノードでは, 「JS 距離 (WSD の対象単語の一つ前の形態素 $)=0.61$以上」のときにTOが選ばれている。このことから, WSD の対象単語の一つ前の形態素に関する素性の分布がソースデータとターゲットデータで異なっているときには, ソースデータを訓練事例に利用せず，ターゲットデータの 10 トークンに語義をタグ付けして訓練事例にした方がよいことが分かる．JS 距離が大きいのは素性の分布が異なっていることを意味し，逆に JS 距離が小さいのは素性の分布が似通っていることを意味する．WSDにおいて鍵となる素性の分布が遠く, ソースデータが十分に似ていない時には, ソースデータを利用しない方がよいため, JS 距離が大きいときには TO になりやすいと考えられる. 同様に素性の分布が近く, ソー スデータが十分に似ている時には, ソースデータを利用した方がよいため, JS 距離が小さいときにはRSになりやすいと考えられる。

また, RS と FD の決定木のルートノードでは,「ソースデータの数/ターゲットデータに一定以上似ているソースデータの数 $=186.85$ 以上」のとき FD が割り当てられた. FD は, ターゲットデータに閥値以上似たソースデータだけを訓練事例に利用する手法であるため，ターゲットデータに間値以上似ていないソースデータが多量にあるときには, 全ソースデータではなく, ターゲットデータに似ているデータだけ利用すればよいことが分かる。このことから， ター ゲットデータに十分似ていないデータを足しすぎると，誤った学習が行われてしまうことが推察できる。

次に，決定木の深さが 1 のノードでは, 「JS 距離（WSD の対象単語の二つ前の形態素）=0.74 以上」が yes であれば FDが，noであれば RSが割り当てられた。このことから，WSD の対象単語の二つ前の形態素に関する素性の分布がソースデータと「ターゲットデータに一定以上似ているソースデータ」で似ているときには, ソースデータを訓練事例にすべて利用した方がよく，似ていない時には，ソースデータを利用せずに語義を夕グ付けしたターゲットデータの 10

トークンを訓練事例にした方がよいことが分かる。本決定木では， TO と RS の決定木の深さ 1 のノードと同様に，素性の分布が似ているときに，ソースデータを利用したほうがよいという結果になっている.

また, TO と FD の決定木のルートノードでは, 「ターゲットデータ 10 トークン中の MFS の, ターゲットデータに閾値以上似たソースデータ中のパーセンテージ $=12.58$ 以下」である場合に, TO が割り当てられた. このことにより, ターゲットデータ 10 トークン中に最頻出する語義が, FD の訓練事例として利用される，「ターゲットデータに一定以上似ているソースデータ」に少ない時には，TOを用いた方がよいことが分かる．このことから，二つのデータの語義夕グが似ていないときは，ソースデータから訓練事例を一切足すことなく， ターゲットデータだけで学習した方がよいと考えられる。

次に, 決定木の深さが1のノードでは, 「JS 距離（WSD の対象単語の一つ後の形態素の分類語彙表の値 $)=0.15$ 以下」であれば，TOが割り当てられた．WSD の対象単語の一つ後の形態素の分類語彙表の值に関する素性の分布が，ターゲットデータと「ターゲットデータに一定以上似ているソースデータ」で似ているときには，ソースデータを訓練事例に一切利用せず，ター ゲットデータを 10 トークンタグ付けして訓練事例にした方がよいことが分かる。ここで注目したいのは，これまでの決定木とは逆に，素性の分布が似ているときに，ソースデータを利用しないほうがよいという結果になっていることである。TO と FDの決定木全体を見てみると， ノードに JS 距離についての条件は四度現れる。そのうち，二回は素性の分布が似ているときに，ソースデータを利用しないほうがよいという結果であり，残りの二回は逆に素性の分布が似ているときに，ソースデータを利用したほうがよいという結果になっている。このように同じ JS 距離でも素性によって似ているときにソースデータを利用した方がよかったり，そうでなかったりするのは，本決定木では TO と FD の二手法から領域適応手法を選択しているためであると考えられる。全てのソースデータを訓練事例に含める RS と異なり，FDでは，ターゲットデータに一定以上似ているソースデータを訓練事例に含めるため，素性によって似ていたらソースデータを使用すべきものと，ソースデータを使用すべきでないものに分かれているのではないかと考えられる。「WSDの対象単語の一つ後の形態素の分類語彙表の値」は後者であることが決定木から読みとれる。

## 8 まとめ

語義曖昧性解消 (WSD; Word Sense Disambiguation) について領域適応を行った場合、ソー スデータとターゲットデータのデータの性質により，最も効果的な領域適応手法が異なる。そのため本稿では, 決定木学習を用いてソースデータとターゲットデータの性質から, 最も効果的な領域適応手法を自動的に選択する手法について述べた．WSDの対象単語タイプ，ソース

ドメイン，ターゲットドメインの三つ組を 1 ケースとして数え，決定木学習を利用してケースごとに，TO，RS，FDの三種類から適切な領域適応手法を選択した。なお，TO はソースデー タを用いず，ランダムに選んだ少量のターゲットデータに語義をタグ付けしたものだけを訓練事例とする手法, RS はソースデータと語義を夕グ付けした少量のターゲットデータの両方を訓練事例とする手法, FD はターゲットデータに似たソースデータと語義を夕グ付けした少量のターゲットデータを訓練事例とする手法である。三つの手法から領域適応手法を一意に選ぶため, pairwise 方式に三つの決定木を作成し, 最後に統合して用いた. ケースごとに自動的に選択された手法を用いて領域適応を行うことで，もともとの手法を一括的に使った時に比べ，WSD の正解率が有意に向上した.

また，ラベル付きデータの作成方法と学習方法を 8 通り試したが，このうち最もWSD の平均正解率が高かったのは, 決定木学習のケースへのラベル付けの際, ふたつの領域適応手法の WSD の正解率に有意差がないケースに Same ラベルを付与し, Sameの割りつけられたケースは訓練事例から取り除いて 2 值分類を行い, ケースごとに分類を行う決定木学習であった.

作成した決定木から，語義を夕グ付けした少量のターゲットデータによるシミュレーションの予測や, 同ターゲットデータの最頻出語義の「ターゲットデータに一定以上似ているソースデータ」中の出現率, ソースデータの数と「ターゲットデータに一定以上似ているソースデー 夕」の数の比が, 最適な領域適応の手法を予想する強力な手がかりになることが分かった.

## 謝 辞

文部科学省科学研究費補助金特定領域研究「現代日本語書き言葉均衡コーパス」の助成によ

り行われた。ここに，謹んで御礼申し上げる。また, 本論文の内容の一部は, 5th International Joint Conference on Natural Language Processing で発表したものである (Komiya and Okumura 2011).

## 参考文献

Agirre, E. and de Lacalle, O. L. (2008). "On Robustness and Domain Adaptation using SVD for Word Sense Disambiguation." In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 17-24.

Agirre, E. and de Lacalle, O. L. (2009). "Supervised Domain Adaption for WSD." In Proceedings of the 12th Conference of the European Chapter of the Association of Computational Linguistics, pp. 42-50.

Asch, V. V. and Daelemans, W. (2010). "Using Domain Similarity for Performance Estima-
tion." In Proceedings of the 2010 Workshop on Domain Adaptation for Natural Language Processing, ACL 2010, pp. 31-36.

Blitzer, J., McDonald, R., and Pereira, F. (2006). "Domain Adaptation with Structural Coppespondence Learning." In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 120-128.

Chan, Y. S. and Ng, H. T. (2006). "Estimating Class Priors in Domain Adaptation for Word Sense Disambiguation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 89-96.

Chan, Y. S. and Ng, H. T. (2007). "Domain Adaptation with Active Learning for Word Sense Disambiguation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 49-56.

Daumé, III, H. (2007). "Frustratingly Easy Domain Adaptation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 256-263.

Daumé, III, H., Kumar, A., and Saha, A. (2010). "Frustratingly Easy Semi-Supervised Domain Adaptation." In Proceedings of the 2010 Workshop on Domain Adaptation for Natural Language Processing, ACL 2010, pp. 23-59.

Hashida, K., Isahara, H., Tokunaga, T., Hashimoto, M., Ogino, S., and Kashino, W. (1998). "The RWC text databases." In Proceedings of The First International Conference on Language Resource and Evaluation, pp. 457-461.

Jiang, J. and Zhai, C. (2007). "Instance Weighting for Domain Adaptation in NLP." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 264-271.

Komiya, K. and Okumura, M. (2011). "Automatic Determination of a Domain Adaptation Method for Word Sense Disambiguation Using Decision Tree Learning." In Proceedings of the 5th International Joint Conference on Natural Language Processing, IJCNLP 2011, pp. 1107-1115.

Maekawa, K. (2008). "Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 6th Workshop on Asian Language Resources (ALR), pp. 101-102.

McClosky, D., Charniak, E., and Johnson, M. (2010). "Automatic Domain Adaptation for Parsing." In Proceedings of the 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 28-36.

Quinlan, J. R. (1993). C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers.

Raina, R., Battle, A., Lee, H., Packer, B., and Ng, A. Y. (2007). "Self-taught Learning: Trans-
fer Learning from Unlabeled Data." In ICML '07: Proceedings of the 24th international conference on Machine learning, pp. 759-766.

Sugiyama, K. and Okumura, M. (2009). "Semi-supervised Clustering for Word Instances and Its Effect on Word Sense Disambiguation." In Proceedings of the 10th International Conference on Intelligent Text Processing and Computational Linguistics (CICLing 2009), pp. 266-279.

Tur, G. (2009). "Co-adaptation: Adaptive Co-training for Semi-supervised Learning." In Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing, 2009. ICASSP 2009, pp. 3721-3724.

Zhong, E., Fan, W., Peng, J., Zhang, K., Ren, J., Turaga, D., and Verscheure, O. (2009). "Cross Domain Distribution Adaptation via Kernel Mapping." In Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 1027-1036.張本佳子, 宮尾祐介, 辻井潤一 (2010). 構文解析の分野適応における精度低下要因の分析及び

分野間距離の測定手法. 言語処理学会第 16 回年次大会発表論文集, pp. 27-30.

国立国語研究所 (1964). 分類語彙表. 秀英出版.

西尾実, 岩淵悦太郎, 水谷静夫 (1994). 岩波国語辞典第五版. 岩波書店.

## 付録

## A 生成された決定木

上の枝が yes, 下の枝が no に相当する. JS 距離 (語義) は, 決定木の素性の (17) データ 1 とデー 夕 2 の語義タグの JS 距離の略記, JS 距離（*)は, (18)データ 1 とデータ 2 の間の WSD の素性ごとの分布の JS 距離の略記であり，*には 3.2 節の WSD の素性名が入る. JS 距離 (Featureplus) は (19) データ 1 とデータ 2 の間の素性ごとの JS 距離を足しあわせたものの略記で，(18)を 17 種類足しあわせた値であり, JS 距離 (Featureall) は (20)データ 1 とデータ 2 の素性をひとつの単位としたときの JS 距離の略記である.

図 $3 \mathrm{TO}$ と $\mathrm{RS}$ の決定木

$
\begin{aligned}
& \text { - FD } 10 \text { ケース } \\
& \text { ソースデータの数/ターダットデータに一定以上似ているソースデータの数 }=186.85 \text { 以上 } \\
& \text { - FD } 4 \text { ケース } \\
& \text { 一JS 距離 (WSD の対象単語の二つ前の形態素) }=0.74 \text { 以上 } \\
& \text { L RS } 23 \text { ケース FD } 8 \text { ケース } \\
& \text { 図 } 4 \mathrm{RS} \text { と } \mathrm{FD} \text { の決定木 }
\end{aligned}
$

$
\begin{aligned}
& \left.\lvert\, \begin{array}{c}
\text { ターゲットデータの数=56 以上 } \\
\text { L TO } 1 \text { ケース }
\end{array}\right. \\
& \begin{array}{l}
\text { FD のシミュレーションの正解率 }=0.2 \text { 以上 } \\
\text { L TO } 1 \text { ケース }
\end{array} \\
& \begin{array}{l}
\text { ターゲットデータ } 10 \text { トークン中の MFS を持つトークン数=5 以上 } \\
\text { L TO } 3 \text { ケース }
\end{array} \\
& \text { — JS 距離（WSD の対象単語の一つ後の形態素の分類語彙表の値） }=0.15 \text { 以上 } \\
& \text { —TO } 5 \text { ケース } \\
& \text { ターゲットデータ } 10 \text { トークンの MFS を持つターゲットデータに } \\
& \text { 一定以上似ているソースデータ中のパーセンテージ= } 12.58 \text { 以上 }
\end{aligned}
$

図 5 TO と FD の決定木

## 略歴

古宮嘉那子 : 2005 年東京農工大学工学部情報コミュニケーション工学科卒. 2009 年同大大学院博士後期課程電子情報工学専攻修了. 博士 (工学). 同年東京工業大学精密工学研究所研究員, 2010 年東京農工大学工学研究院特任助教, 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

奥村学：1962 生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同
大学院博士課程修了. 工学博士. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授，2009 年同教授，現在に至る. 自然言語処理，知的情報提示技術, 語学学習支援, テキスト評価分析, テキストマイニングに関する研究に従事. 情報処理学会, 電子情報通信学会, 人工知能学会, AAAI,言語処理学会, ACL, 認知科学会, 計量国語学会各会員.