\section{はじめに}
本論文では，語義曖昧性解消(WordSenseDisambiguation,WSD)の領域適応に対して，共変量シフト下の学習を試みる．共変量シフト下の学習では確率密度比を重みとした重み付き学習を行うが，WSDのタスクでは算出される確率密度比が小さくなる傾向がある．ここではソース領域のコーパスとターゲット領域のコーパスとを合わせたコーパスをソース領域のコーパスと見なすことで，この問題に対処する．なお本手法はターゲット領域のデータにラベル付けしないため，教師なし領域適応手法に分類される．WSDは文中の多義語の語義を識別するタスクである．通常，あるコーパス$S$から対象単語の用例を取り出し，その用例中の対象単語の語義を付与した訓練データを作成し，そこからSVM等の分類器を学習することでWSDを解決する．ここで学習した分類器を適用する用例がコーパス$S$とは異なるコーパス$T$内のものである場合，学習した分類器の精度が悪い場合がある．これが領域適応の問題であり，自然言語処理ではWSD以外にも様々なタスクで問題となるため，近年，活発に研究されている\cite{da-book,mori,kamishima}．今，対象単語$w$の用例を${\bmx}$，$w$の語義の集合を$C$とする．${\bmx}$内の$w$の語義が$c\inC$である確率を$P(c|{\bmx})$とおくと，WSDは$\arg\max_{c\inC}P(c|{\bmx})$を求めることで解決できる．領域適応では，コーパス$S$（ソース領域）から得られた訓練データを用いて，$P(c|{\bmx})$を推定するので，得られるのは$S$上の条件付き分布$P_S(c|{\bmx})$であるが，識別の対象はコーパス$T$（ターゲット領域）内のデータであるため必要とされるのは$T$上の条件付き分布$P_T(c|{\bmx})$である．このため領域適応の問題は$P_S(c|{\bmx})\neP_T(c|{\bmx})$から生じているように見えるが，用例${\bmx}$がどのような領域で現れたとしても，その用例${\bmx}$内の対象単語$w$の語義が変化するとは考えづらい．このため$P_S(c|{\bmx})=P_T(c|{\bmx})$と考えられる．$P_S(c|{\bmx})=P_T(c|{\bmx})$が成立しているなら，$P_T(c|{\bmx})$の代わりに$P_S(c|{\bmx})$を用いて識別すればよいと思われるが，この場合，識別の精度が悪いことが多い．これは$P_S({\bmx})\neP_T({\bmx})$から生じている．$P_S(c|{\bmx})=P_T(c|{\bmx})$かつ$P_S({\bmx})\neP_T({\bmx})$という仮定は共変量シフトと呼ばれる\cite{sugiyama-book}．自然言語処理の多くの領域適応のタスクは共変量シフトが成立していると考えられる\cite{da-book}．ソース領域のコーパス$S$から得られる訓練データを$D=\{({\bmx_i},c_i)\}_{i=1}^N$とおく．一般に共変量シフト下の学習では確率密度比$w({\bmx})=P_T({\bmx})/P_S({\bmx})$を重みとした以下の重み付き対数尤度を最大にするパラメータ${\bm\theta}$を求めることで，$P_T(c|{\bmx})$を構築する．\[\sum_{i=1}^{N}w({\bmx_i})\logP_T(c_i|{\bmx_i};{\bm\theta})\]共変量シフト下の学習の要は確率密度比$w({\bmx})$の算出であるが，その方法は大きく2つに分類できる．1つは$P_T({\bmx})$と$P_S({\bmx})$をそれぞれ求め，その比を求めることで$w({\bmx})$を求める方法である．もう1つは$w({\bmx})$を直接モデル化する方法である\cite{sugiyama-2010}．ただしどちらの方法をとっても，WSDの領域適応に対しては，求められる値が低くなる傾向がある．この問題に対しては，確率密度比を$p$乗($0<p<1$)したり\cite{sugiyama-2006-09-05}，相対確率密度比\cite{yamada2011relative}を使うなど，求めた確率密度比を上方に修正する手法が存在する\footnote{これらの手法は正確には確率密度比を1に近づける手法であるが，多くの場合，確率密度比は1以下の値であるため，ここではこれらの手法も確率密度比を上方に修正する手法と呼ぶことにする．}．本論文では$P_T({\bmx})$と$P_S({\bmx})$をそれぞれ求める手法を用いる際に，ターゲット領域のコーパスとソース領域のコーパスを合わせたコーパスを，新たにソース領域のコーパス$S$と見なして確率密度比を求めることを提案する．提案手法は必ずしも確率密度比を上方に修正する訳ではないが，多くの場合，この処理により$P_S({\bmx})$の値が減少し，結果的に$w({\bmx})$の値が増加する．なお，本論文で利用する手法は，ターゲット領域のラベル付きデータを利用しないために，教師なし領域適応手法に属する．当然，ターゲット領域のラベル付きデータを利用する教師付き領域適応手法を用いる方が，WSDの識別精度は高くなる．しかし本論文では教師なし領域適応手法を扱う．理由は3つある．1つ目は，教師なし領域適応手法はラベル付けするコストがないという大きな長所があるからである．2つ目は，共変量シフト下の学習はターゲット領域のラベル付きデータを利用しない設定になっているからである．3つ目は，WSDの領域適応の場合，対象単語毎に領域間距離が異なり，コーパスの領域が異なっていても，領域適応の問題が生じていないケースも多いからである．領域適応の問題が生じている，いないの問題を考察していくには，ターゲット領域のラベル付きデータを利用しない教師なし領域適応手法の方が適している．実験では現代日本語書き言葉均衡コーパス(BalancedCorpusofContemporaryWrittenJapanese,BCCWJ\cite{bccwj})における3つの領域OC（Yahoo!知恵袋），PB（書籍）及びPN（新聞）を利用する．SemEval-2の日本語WSDタスク\cite{semeval-2010}ではこれらのコーパスの一部に語義タグを付けたデータを公開しており，そのデータを利用する．すべての領域である程度の頻度が存在する多義語16単語を対象にして，WSDの領域適応の実験を行う．領域適応としてはOC→PB，PB→PN，PN→OC，OC→PN，PN→PB，PB→OCの計6通りが存在する．結果$16\times6=96$通りのWSDの領域適応の問題に対して実験を行った．その結果，提案手法による重み付けの効果を確認できた．また，従来手法はベースラインよりも低い値となったが，これは多くのWSDの教師なし領域適応では負の転移が生じていない，言い換えれば実際には領域適応の問題になっていないことから生じていると考えられる．考察では負の転移と重み付けとの関連，また負の転移と関連の深いMisleadingデータの存在と重み付けとの関連を中心に議論した．
\section{関連研究}
自然言語処理における領域適応は，帰納学習手法を利用する全てのタスクで生じる問題であるために，その研究は多岐にわたる．利用手法をおおまかに分類すると，ターゲット領域のラベル付きデータを利用するかしないかで分類できる．利用する場合を教師付き領域適応手法，利用しない場合を教師なし領域適応手法と呼ぶ．提案手法は教師なし領域適応手法の範疇に入るので，ここでは教師なし領域適応手法を中心に関連研究を述べる．領域適応の問題は，一般の教師付き学習手法における訓練事例のスパース性の問題だと捉えることもできる．そのためターゲット領域のデータにラベルを付与しないという条件では，半教師付き学習\cite{chapelle2006semi}が教師なし領域適応手法として使えることは明らかである．ただし半教師付き学習では大量のラベルなしデータを必要とする．半教師付き学習をWSDに利用する場合，対象単語毎に用例を集める必要があり，しかもターゲット領域のコーパスは新規であることが多いため，対象単語毎の用例を大量に集めることは困難である．このためWSDの領域適応の場合，半教師付き学習を利用しようとすれば，Transductive学習\cite{joachims1999transductive}に近い形となるが，ソース領域とターゲット領域が異なる領域適応の形にTransductive学習が利用できるかどうかは明らかではない．WSDの領域適応をタスクとした教師なし領域適応の研究としては，論文\cite{shinnou-gengo-13}の研究がある．そこでの基本的なアイデアはWSDで使うシソーラスをターゲット領域のコーパスから構築することであるが，WSDで使うシソーラスが分野依存になっているかどうかは明らかではない\cite{shinnou-jws5}\footnote{この論文\cite{shinnou-gengo-13}は本論文と同じタスクに対して，一部同じデータを用いた実験結果を示しているため，考察において提案手法との比較を行う．}．またChanはターゲット領域上の語義分布をEMアルゴリズムで推定している\cite{chan2005word,chan2006estimating}．これも教師なし領域適応手法であるが，本論文で扱う領域適応では語義分布の違いは顕著ではなく，効果が期待できない．本論文は，WSDの領域適応では共変量シフトの仮定が成立していると考え，共変量シフト下の学習を利用する．共変量シフト下の学習を領域適応に応用した研究としてはJiangの研究\cite{jiang2007instance}と齋木の研究\cite{saiki-2008-03-27}がある．Jiangは確率密度比を手動で調整し，モデルにはロジステック回帰を用いている．また齋木は$P_S({\bmx})$と$P_T({\bmx})$をunigramでモデル化することで確率密度比を推定し，モデルには最大エントロピー法を用いている．ただしどちらの研究もタスクはWSDではない．しかもターゲット領域のラベル付きデータを利用しているために，教師なし領域適応手法でもない．また新納はWSDの領域適応に共変量シフト下の学習を用いているが\cite{shinnou-gengo-14}，そこではDaum{\'e}が提案した素性空間拡張法(FeatureAugmentation)\cite{daume0}を組み合わせて利用しているために，これも教師なし領域適応手法ではない．一方，共変量シフト下の学習は，事例への重み付き学習の一種である．Jiangは識別精度を悪化させるようなデータをMisleadingデータとして訓練データから取り除いて学習することを試みた\cite{jiang2007instance}．これはMisleadingデータの重みを0にした学習と見なせるため，この手法も重み付き学習手法と見なせる．吉田はソース領域内の訓練データ${\bmx}$がターゲット領域から見て外れ値と見なせた場合，${\bmx}$をMisleadingと判定し，それらを訓練データから取り除いて学習している\cite{yoshida}．これはWSDの教師なし領域適応手法であるが，Misleadingデータの検出は困難であり，精度の改善には至っていない．またWSDの領域適応をタスクとした古宮の手法\cite{komiya-nenji2013}も重み付き学習と見なせる．そこでは複数のソース領域のコーパスを用意し，そこから訓練事例をランダムに選択し，選択された訓練データセットの中で，ターゲット領域のテストデータを識別するのに最も適した訓練データセットを選ぶ．これは全ソース領域のコーパスの訓練データから選択された訓練データの重みを1，それ以外を重み0としていることを意味する．ただし複数のソース領域のコーパスから対象単語のラベル付き訓練データを集めるのは実際は困難である．また古宮は上記の研究以外にもWSDの領域適応の研究\cite{komiya3,komiya2,komiya-nlp2012}を行っているが，これらは教師付き学習手法となっている．
\section{期待損失最小化に基づく共変量シフト下の学習}
対象単語$w$の語義の集合を$C$，また$w$の用例${\bmx}$内の$w$の語義を$c$と識別したときの損失関数を$l({\bmx},c,d)$で表す．$d$は$w$の語義を識別する分類器である．$P_T({\bmx},c)$をターゲット領域上の分布とすれば，本タスクにおける期待損失$L_0$は以下で表せる．\[L_0=\sum_{{\bmx},c}l({\bmx},c,d)P_T({\bmx},c)\]また$P_S({\bmx},c)$をソース領域上の分布とすると以下が成立する．\[L_0=\sum_{{\bmx},c}l({\bmx},c,d)\frac{P_T({\bmx},c)}{P_S({\bmx},c)}P_S({\bmx},c)\]ここで共変量シフトの仮定から\[\frac{P_T({\bmx},c)}{P_S({\bmx},c)}=\frac{P_T({\bmx})P_T(c|{\bmx})}{P_S({\bmx})P_S(c|{\bmx})}=\frac{P_T({\bmx})}{P_S({\bmx})}\]となり，$w({\bmx})=P_T({\bmx})/P_S({\bmx})$とおくと以下が成立する．\[L_0=\sum_{{\bmx},c}w({\bmx})l({\bmx},c,d)P_S({\bmx},c)\]訓練データを$D=\{({\bmx_i},c_i)\}_{i=1}^N$とし，$P_S({\bmx},c)$を経験分布で近似すれば，\[L_0\approx\frac{1}{N}\sum_{i=1}^Nw({\bmx_i})l({\bmx_i},c_i,d)\]となるので，期待損失最小化の観点から考えると，共変量シフトの問題は以下の式$L_1$を最小にする$d$を求めればよいことがわかる．\begin{equation}\label{eq:1}L_1=\sum_{i=1}^Nw({\bmx_i})l({\bmx_i},c_i,d)\end{equation}分類器$d$として以下の事後確率最大化推定に基づく識別を考える．\[d({\bmx})=\arg\max_{c}P_T(c|{\bmx})\]また損失関数として対数損失$-\logP_T(c|{\bmx})$を用いれば，\mbox{式(\ref{eq:1})}は以下となる．\[L_1=-\sum_{i=1}^Nw({\bmx_i})\logP_T(c_i|{\bmx_i})\]つまり，分類問題の解決に$P_T(c|{\bmx},{\bm\lambda})$のモデルを導入するアプローチを取る場合，共変量シフト下での学習では，確率密度比を重みとした以下に示す重み付き対数尤度$L({\bm\lambda})$を最大化するパラメータ${\bm\lambda}$を求める形となる．\begin{equation}\label{eq:2}L({\bm\lambda})=\sum_{i=1}^Nw({\bmx_i})\logP_T(c_i|{\bmx_i},{\bm\lambda})\end{equation}ここではモデルとして以下の式で示される最大エントロピー法を用いる．\begin{equation}\label{eq:3}P_T(c|{\bmx},{\bm\lambda})=\frac{1}{Z({\bmx},{\bm\lambda})}\exp\left(\sum_{j=1}^M\lambda_jf_j({\bmx},c)\right)\end{equation}${\bmx}=(x_1,x_2,\cdots,x_M)$が入力，$c$がクラスである．関数$f_j({\bmx},c)$は素性関数であり，実質${\bmx}$の真のクラスが$c$のときに$x_j$を返し，そうでないとき0を返す関数に設定される．$Z({\bmx},{\bm\lambda})$は正規化項であり，以下で表せる．\begin{equation}\label{eq:4}Z({\bmx},{\bm\lambda})=\sum_{c\inC}\exp\left(\sum_{j=1}^M\lambda_jf_j({\bmx},c)\right)\end{equation}\noindentそして${\bm\lambda}=(\lambda_1,\lambda_2,\cdots,\lambda_M)$が素性に対応する重みパラメータとなる．
\section{確率密度比の算出}
確率密度比$w({\bmx})=P_T({\bmx})/P_S({\bmx})$の算出法は大きく2つに分類できる．1つは$P_S({\bmx})$と$P_T({\bmx})$を各々推定し，その比を取る手法であり，もう1つは$w({\bmx})$を直接モデル化する手法である．ここでは前者の方法として論文\cite{shinnou-gengo-14}において提案された手法を利用する．簡単化のために本論文ではこの手法をNB法と名付ける．また後者の方法としては論文\cite{kanamori2009least}において提案された拘束無し最小二乗重要度適合法(unconstrainedLeast-SquaresImportanceFitting,uLSIF)を利用する．\subsection{NB法}対象単語$w$の用例${\bmx}$の素性リストを$\{f_1,f_2,\cdots,f_n\}$とする．求めるのは領域$R\in\{S,T\}$上の${\bmx}$の分布$P_R({\bmx})$である．ここでNaiveBayesで使われるモデルを用いる．NaiveBayesのモデルでは以下を仮定する．\[P_R({\bmx})=\prod_{i=1}^{n}P_R(f_i)\]領域$R$のコーパス内の$w$の全ての用例について素性リストを作成しておく．ここで用例の数を$N(R)$とおく．また$N(R)$個の用例の中で，素性$f$が現れた用例数を$n(R,f)$とおく．MAP推定でスムージングを行い，$P_R(f)$を以下で定義する\cite{takamura}．\[P_R(f)=\frac{n(R,f)+1}{N(R)+2}\]以上より，ソース領域$S$の用例${\bmx}$に対して，確率密度比$w({\bmx})=P_T({\bmx})/P_S({\bmx})$が計算できる．\[w({\bmx})=\frac{P_T({\bmx})}{P_S({\bmx})}=\prod_{i=1}^n\left(\frac{n(T,f_i)+1}{N(T)+2}\cdot\frac{N(S)+2}{n(S,f_i)+1}\right)\]\subsection{uLSIF}ソース領域内のデータを$\{{\bmx_i^s}\}_{i=1}^{N_s}$，ターゲット領域内のデータを$\{{\bmx_i^t}\}_{i=1}^{N_t}$とするuLSIFでは確率密度比$w({\bmx})$を以下の式でモデル化する．\begin{align*}w({\bmx})&=\sum_{l=1}^b\alpha_l\psi_l({\bmx})\\&={\bm\alpha}\cdot{\bm\psi}({\bmx})\end{align*}ただしここで，${\bm\alpha}=(\alpha_1,\alpha_2,\cdots,\alpha_b)$，${\bm\psi}({\bmx})=(\psi_1({\bmx}),\psi_2({\bmx}),\cdots,\psi_b({\bmx}))$である．また$\alpha_l$は正の実数であり，$\psi_l({\bmx})$は基底関数と呼ばれるソース領域のデータ${\bmx}$から正の実数値への関数である．uLSIFでは，概略，自然数$b$と基底関数${\bm\psi}({\bmx})$を定めた後に，パラメータ${\bm\alpha}$を推定する手順をとる．説明の都合上，$b$と${\bm\psi}({\bmx})$が定まった後の${\bm\alpha}$の推定を先に説明する．$w({\bmx})$のモデルを$\hat{w}({\bmx})$とおくと，パラメータ$\alpha_l$を推定するには，$w({\bmx})$と$\hat{w}({\bmx})$の平均2乗誤差$J_0({\bm\alpha})$を最小にするような${\bm\alpha}$を求めれば良い．$w({\bmx})=P_T({\bmx})/P_S({\bmx})$に注意すると，$J_0({\bm\alpha})$は以下のように変形できる．\begin{align*}J_0({\bm\alpha})&=\frac{1}{2}\int(\hat{w}({\bmx})-w({\bmx}))^2P_S({\bmx})d{\bmx}\\&=\frac{1}{2}\int\hat{w}({\bmx})^2P_S({\bmx})d{\bmx}-\int\hat{w}({\bmx})w({\bmx})P_S({\bmx})d{\bmx}+\frac{1}{2}\intw({\bmx})^2P_S({\bmx})d{\bmx}\\&=\frac{1}{2}\int\hat{w}({\bmx})^2P_S({\bmx})d{\bmx}-\int\hat{w}({\bmx})P_T({\bmx})d{\bmx}+\frac{1}{2}\intw({\bmx})^2P_S({\bmx})d{\bmx}\end{align*}3項目の式は定数なので，$J_0({\bm\alpha})$を最小にするには，以下の$J({\bm\alpha})$を最小にすればよい．\[J({\bm\alpha})=\frac{1}{2}\int\hat{w}({\bmx})^2P_S({\bmx})d{\bmx}-\int\hat{w}({\bmx})P_T({\bmx})d{\bmx}\]$J({\bm\alpha})$を経験分布で近似した$\widehat{J}({\bm\alpha})$は以下となる．\begin{equation}\begin{aligned}[b]\widehat{J}({\bm\alpha})&=\frac{1}{2N_s}\sum_{i=1}^{N_s}\widehat{w}({\bmx_i^s})^2-\frac{1}{N_t}\sum_{j=1}^{N_t}\widehat{w}({\bmx_j^t})\\&=\frac{1}{2}\sum_{l,l'=1}^b\alpha_l\alpha_{l'}\left(\frac{1}{N_s}\sum_{i=1}^{N_s}\psi_l({\bmx_i^s})\psi_{l'}({\bmx_i^s})\right)-\sum_{l=1}^b\alpha_l\left(\frac{1}{N_t}\sum_{j=1}^{N_t}\psi_l({\bmx_j^t})\right)\\&=\frac{1}{2}{\bm\alpha}^T\widehat{H}{\bm\alpha}-\widehat{h}^T{\bm\alpha}\end{aligned}\label{jhatalpha}\end{equation}ここで$\widehat{H}$は$b\timesb$の行列であり，その$l$行$l'$列の要素$\widehat{H}_{l,l'}$は以下である．\[\widehat{H}_{l,l'}=\frac{1}{N_s}\sum_{i=1}^{N_s}\psi_l({\bmx_i^s})\psi_{l'}({\bmx_i^s})\]また$\widehat{h}$は$b$次元のベクトルであり，その$l$次元目の要素$\widehat{h}_l$は以下である．\[\widehat{h}_l=\frac{1}{N_t}\sum_{j=1}^{N_t}\psi_l({\bmx_j^t})\]$\widehat{J}({\bm\alpha})$の最小値を求める際に正則化を行う．このとき付加する正則化項をL2ノルムに設定し，${\bm\alpha}>0$の条件を外して，以下の最小化問題を解く．ここでパラメータ$\lambda$が導入されることに注意する．$\lambda$は基底関数を設定する際に決められる．\[\min_{{\bm\alpha}}\left[\frac{1}{2}{\bm\alpha}^T\widehat{H}{\bm\alpha}-\widehat{h}^T{\bm\alpha}+\frac{\lambda}{2}{\bm\alpha}^T{\bm\alpha}\right]\]この最小化問題は制約のない凸2次計画問題であるために，唯一の大域解が得られる．その解は以下である．\begin{equation}\label{eq:alp-kai1}\tilde{{\bm\alpha}}=(\widehat{H}+\lambdaI_b)^{-1}\widehat{h}^T\end{equation}最後に${\bm\alpha}>0$の条件に合わせるように，以下の調整を行う．\begin{equation}\begin{aligned}[b]\widehat{{\bm\alpha}}&=\left((\max(0,\tilde{\alpha_1}),\max(0,\tilde{\alpha_2}),\cdots,\max(0,\tilde{\alpha_b})\right)\\&=\max(0_b,\tilde{{\bm\alpha}})\end{aligned}\label{eq:alp-kai2}\end{equation}パラメータ$b$と基底関数の設定であるが，まず，$b$については以下で設定する\footnote{本実験では$b$の値は最大100となるが，この100という数値はオリジナルの論文\cite{kanamori2009least}で使われた値であり，本論文でのなんらかの予備実験から得た値ではない．uLSIFの実験結果はこの値を調整することで多少の向上があったかもしれない．}．\[b=\min(100,N_t)\]次にターゲット領域のデータから重複を許さずに$b$個の点をランダムに取り出す．それらの点を$\{{\bmx_j^t}\}_{j=1}^b$とおく．そして基底関数$\psi_l({\bmx})$を以下のガウシアンカーネルで定義する．\[\psi_l({\bmx})=K({\bmx},{\bmx_l^t})=\exp\left(-\frac{||{\bmx}-{\bmx_l^t}||^2}{\sigma^2}\right)\]以上より，確率密度比を求めるために残されているパラメータは正則化項の係数$\lambda$とガウシアンカーネルの幅$\sigma$の2つである．これらのパラメータはグリッドサーチの交差検定で求める．まずソース領域のデータとターゲット領域のデータをそれぞれ交わりのない$R$個の部分集合に分割する．それらの部分集合の中で$r$番目の部分集合を除き，残りを結合した集合を作る．それらを新たなソース領域のデータとターゲット領域のデータと見なす．そして$\lambda$と$\sigma$をある値に設定し，\mbox{式(\ref{eq:alp-kai1})}と\mbox{式(\ref{eq:alp-kai2})}より${\bm\alpha}$を求め，\mbox{式(\ref{jhatalpha})}より$\widehat{J}({\bm\alpha})^{(r)}$の値を求める．$r$を1から$R$まで変化させることで，$R$個の$\widehat{J}({\bm\alpha})^{(r)}$の値が求まり，それらを平均した値を$\lambda$と$\sigma$に対する$\widehat{J}({\bm\alpha})$の値とする．次に$\lambda$と$\sigma$を変化させ，上記手順で得られる$\widehat{J}({\bm\alpha})$の値が最小となる$\hat{\lambda}$と$\hat{\sigma}$を求め，これを$\lambda$と$\sigma$の推定値とする．\subsection{$P_S({\bmx})$の補正による確率密度比の算出}WSDのタスクではNB法あるいはuLSIFで算出される確率密度比は小さい値を取る傾向があり，実際の学習で用いる際には，少し上方に修正した値を取る方が最終の識別結果が改善されることが多い．これは以下の2点から生じていると考えられる．\begin{itemize}\item$T$に${\bmx}$が入っているかは確率的であるが，$S$には必ず${\bmx}$が入っている．\item$P_S({\bmx})$を推定するために${\bmx}\inS$を用いるため，訓練データである${\bmx}$に過学習した結果$P_S({\bmx})$は$P_T({\bmx})$に比べて高く見積もられてしまう．\end{itemize}このため，求まった確率密度比を上方に修正する手法が存在する．論文\cite{sugiyama-2006-09-05}では確率密度比$w({\bmx})$を$p$乗($0<p<1$)することを提案している．また論文\cite{yamada2011relative}では以下で示される相対確率密度比$w'({\bmx})$を確率密度比として利用することを提案している．\[w'({\bmx})=\frac{P_T({\bmx})}{\alphaP_S({\bmx})+(1-\alpha)P_T({\bmx})}\]ここで$0<\alpha<1$である．確率密度比$w({\bmx})$が1以下である場合，$w({\bmx})$を$p$乗すると上方に修正できることは，それらの比の対数を取れば，\mbox{$\logw({\bmx})<0$}であることから明らかである．\[\log\frac{w({\bmx})^p}{w({\bmx})}=(p-1)\logw({\bmx})>0\]また相対確率密度比$w'({\bmx})$は以下の変形から$w({\bmx})$を上方に修正していると見なせる．\begin{align*}w'({\bmx})&=\frac{P_T({\bmx})}{\alphaP_S({\bmx})+(1-\alpha)P_T({\bmx})}\\&=\frac{1}{\alpha+(1-\alpha)w({\bmx})}w({\bmx})\\&>\frac{1}{\alpha+(1-\alpha)}w({\bmx})\\&=w({\bmx})\end{align*}確率密度比が1以上である場合，これらの手法は確率密度比を下方に修正するので，正確には確率密度比を1に近づける手法である．しかし，ほとんどの訓練データの確率密度比は1以下であるために，ここではこれらの手法を上方修正する手法と呼び，提案手法と対比させる．本論文では確率密度比を上方に修正するために，ソース領域のデータとターゲット領域のデータを合わせたデータを新たにソース領域のデータとみなし，NB法を用いて$P_S({\bmx})$を補正することを提案する．これは$S$のスパース性を緩和させることを狙ったものである．確率密度比が真の値よりも低く見積もられる原因の1つは，$P_S({\bmx})$が真の値よりも高く見積もられるからだと考える．さらにその原因が$S$のスパース性なので，スパース性を緩和するために$S$にデータを追加するというアイデアである．ただし追加するデータは$S$と類似の領域のデータであることが望ましい．WSDの領域適応の場合，$S$と$T$は完全に異なることはなく，比較的似ているために，追加するデータとして$T$のデータが利用できると考えた．提案手法の新たなソース領域を$S+T$で表せば，$P_S({\bmx})>P_{S+T}({\bmx})$が成立していると考えるのは自然であり，この不等式が成立していれば，提案手法により確率密度比は上方に修正される．ただし，ここで提案手法は必ずしもNB法の確率密度比を上方に修正できるとは限らないことに注意する．また提案手法はNB法の確率密度比が1以下かどうかには無関係であることにも注意する．NB法の確率密度比が1以上であっても，上方に修正する可能性がある．また$P_{S+T}({\bmx})$は以下の式を利用して求められる．\begin{align*}P_{S+T}(f)&=\frac{n(S+T,f)+1}{N(S+T)+2}\\&=\frac{n(S,f)+n(T,f)+1}{N(S)+N(T)+2}\end{align*}
\section{実験}
BCCWJのPB（書籍），OC（Yahoo!知恵袋）及びPN（新聞）を異なった領域として実験を行う．SemEval-2の日本語WSDタスク\cite{semeval-2010}ではこれら領域のコーパスの一部に語義タグを付けたデータを公開しており，そのデータを利用する．この3つの領域からある程度頻度のある多義語16単語をWSDの対象単語とする．これら単語と辞書上での語義数及び各コーパスでの頻度と語義数を\mbox{表\ref{tab:target-word}}に示す\footnote{語義は岩波国語辞書がもとになっている．そこでの中分類までを対象にした．また「入る」は辞書上の語義が3つだが，OCやPBでは4つの語義がある．これはSemEval-2の日本語WSDタスクでは新語義のタグも許しているからである．}．領域適応の方向としてはOC→PB，PB→PN，PN→OC，OC→PN，PN→PB，PB→OCの計6通りの方向が存在する．\begin{table}[t]\caption{対象単語}\label{tab:target-word}\input{02table01.txt}\end{table}本稿で利用した素性は以下の8種類である．(e0)$w$の表記，(e1)$w$の品詞，(e2)$w_{-1}$の表記，(e3)$w_{-1}$の品詞，(e4)$w_1$の表記，(e5)$w_1$の品詞，(e6)$w$の前後3単語までの自立語の表記，(e7)e6の分類語彙表の番号の4桁と5桁．なお対象単語の直前の単語を$w_{-1}$，直後の単語を$w_1$としている．対象単語$w$についてソース領域$S$からターゲット領域$T$への領域適応の実験について説明する．ソース領域$S$の訓練データのみを用いて，手法Aにより分類器を学習し$w$に対する正解率を求める．16種類の各対象単語($w_1,w_2,\cdots,w_{16}$)に対する正解率の平均，つまりマクロ平均をソース領域$S$からターゲット領域$T$に対する手法Aの正解率とする．結果，手法Aについて6種類の各領域適応に対しての正解率が得られる．それらの平均を手法Aの平均正解率とする．上記の手法Aとしては，以下の8種類を試す．(1)重みを考慮しない（重みを1で固定する）手法(Base)，(2)NB法による重みをつけた手法(NB)，(3)NB法の重みを$p$乗した値を重みにする手法(P-NB)，(4)NB法の重みを相対確率密度比により上方修正した値を重みにする手法(A-NB)，(5)uLSIFによる重みをつけた手法(uLISF)，(6)uLSIFの重みを$p$乗した値を重みにする手法(P-uLSIF)，(7)uLSIFの重みを相対確率密度比により上方修正した値を重みにする手法(A-uLSIF)，(8)提案手法，またすべての手法において学習アルゴリズムとしては最大エントロピー法を用いた．またその実行にはツールのClassiasを用いた\cite{Classias}．$S$から$T$への領域適応における各手法の正解率を\mbox{表\ref{tab:resultall}}に示す．ただしP-NB，A-NB，P-uLSIF，A-uLSIFについては$p$と$\alpha$のパラメータが存在する．これらの値については，その値を0.01から0.09まで0.01刻み，及び0.1から0.9まで0.1刻みで変化させ，平均正解率が最もよい値を示した値を採用した．結果，P-NBについては$p=0.2$，A-NBについては$\alpha=0.01$，P-uLSIFについては$p=0.04$，A-uLSIFについては$\alpha=0.01$の値を採用した．\mbox{表\ref{tab:resultall}}が示すように，領域適応のタイプ毎に最適な手法は異なるが，平均正解率としては提案手法が最も高い値を示した．またP-NBとA-NBの平均正解率はNBの平均正解率よりも高く，P-uLSIFとA-uLSIFの平均正解率はuLSIFの平均正解率よりも高い．つまり確率密度比を上方に修正する手法が有効であったことがわかる．\begin{table}[b]\caption{各手法の平均正解率(\%)}\label{tab:resultall}\input{02table02.txt}\end{table}また有意差を検定するために以下の実験を行った．まず対象単語毎にOCのデータからランダムに9割のデータ取り出し，それらのデータセットをOC-1とする．これを20回行い，OC-1，OC-2，$\cdots$，OC-20を作成する．同様にPBのデータからPB-1，PB-2，$\cdots$，PB-20を作成する．また同様にPNのデータからPN-1，PN-2，$\cdots$，PN-20を作成する．そしてデータセットの組(OC-i,PB-i,PN-i)を用いて，前述した実験と同様の実験を行い，20個の平均正解率を算出しt-検定（両側検定の有意水準5\%）を行った．結果を\mbox{表\ref{tab:kentei}}に示す．\mbox{表\ref{tab:kentei}}における評価値は以下の式により計算されたものである．\[\frac{\bar{X_1}-\bar{X_2}}{\sqrt{\left(\frac{1}{n_2}+\frac{1}{n_2}\right)\frac{n_1S_1^2+n_2S_2^2}{n_1+n_2-2}}}\]ここで$\bar{X_1}$と$S_1^2$が提案手法の20個の平均正解率の平均と分散であり，$\bar{X_2}$と$S_2^2$が比較対象の手法の20個の平均正解率の平均と分散である．$n_1$と$n_2$は共にサンプル数20である．この評価値が自由度38のt分布の0.975の分位点2.0244よりも大きい場合に，提案手法が対応する手法に対して有意であると判定される．\begin{table}[b]\caption{有意差の検定結果}\label{tab:kentei}\input{02table03.txt}\end{table}\mbox{表\ref{tab:kentei}}が示すようにP-NB以外の全ての手法に対して，提案手法が有意に優れていた．
\section{考察}
\subsection{確率密度比を上方修正しないケース}「$p$乗する」あるいは「相対確率密度比を取る」という手法は，元の確率密度比が1以下である全てのデータに対してその値を上方に修正するが，提案手法は一部のデータに対してはNB法の確率密度比が1以下であっても，それらを上方に修正できない．提案手法により確率密度比の値が大きくならず，逆に小さくなったデータの個数を\mbox{表\ref{tab:down}}に示す．\begin{table}[b]\caption{上方修正できなかったデータの個数}\label{tab:down}\input{02table04.txt}\end{table}ほとんどのデータに対して，その確率密度比を上方に修正しているが，修正できていないデータが極端に多いケースも存在する．例えば，PB→PNに関しては「言う」「自分」「見る」「やる」「ゆく」，OC→PNに関しては「書く」「見る」「やる」「ゆく」である．これらに関してのみBaseとNBと提案手法の正解率の比較を\mbox{表\ref{tab:down-pre}}に示す．\mbox{表\ref{tab:down-pre}}からわかるように，上方修正ができないデータが多くなると，提案手法はNB法よりも正解率が下がっている．ただし，下方に修正した場合には必ず正解率が下がるとも言えないことに注意したい．例えば，確率密度比の値を下げないようにするには提案手法を修正し，「NB法の値を上方に修正できなければ，NB法の値をそのまま使う」という形にすれば良い．この修正案の手法も試した結果を\mbox{表\ref{tab:resultsyuusei}}に示す．修正案の手法の平均正解率は，提案手法よりも若干悪かった．\begin{table}[t]\caption{上方修正できなかったデータの正解率(\%)}\label{tab:down-pre}\input{02table05.txt}\end{table}\begin{table}[t]\caption{修正版提案手法の平均正解率(\%)}\label{tab:resultsyuusei}\input{02table06.txt}\end{table}上記の実験はNB法による確率密度比が1以下かどうかは考慮していない．「p乗する」や「相対確率密度比を取る」手法では，確率密度比が1以上の場合に，その値を逆に小さくしている．確率密度比が1以上の場合に，上方修正する方がよいのか下方修正する方がよいのかは未解決である．参考として上記の修正案の手法を更に修正し，「NB法の値が1以上の場合，あるいはNB法の値を上方に修正できな場合にはNB法の値をそのまま使う」という形の実験も行った．結果，平均正解率は72.14と若干改善はされたが，提案手法よりも若干悪いことに変化はなかった．データの確率密度比（重み）はその値の大きさが重要ではなく，他データとの重みとの関係が本質的である．例えば全てのデータの重みを10倍して，値自体を増やしても，推定できるパラメータが変化しないのは，重み付き対数尤度（\mbox{式\ref{eq:2}}）の最大化する部分が変化しないことから明らかである．データの重みはタスクの背景知識から，その重要度を設定していくか，そのデータを数値化した後に確率密度比という観点から設定していくしか方法はないと考える．提案手法は後者であり，コーパスのスパース性への対処からNB法を改良した手法と考えている．上方修正することに，どのような意味があるかを調べることは今後の課題である．\subsection{提案手法の重みの上方修正}\begin{figure}[b]\begin{center}\includegraphics{21-5ia2f1.eps}\end{center}\caption{$p$乗による提案手法値の上方修正}\label{zu1}\end{figure}\begin{figure}[tb]\begin{center}\includegraphics{21-5ia2f2.eps}\end{center}\caption{相対確率密度比による提案手法値の上方修正}\label{zu2}\end{figure}提案手法は，確率密度比を上方修正する手法と組み合わせて利用することで更なる精度改善も可能である．提案手法の確率密度比を$p$乗した場合の平均正解率の変化を\mbox{図\ref{zu1}}に示す．$p=0.6$のとき最大値72.54\%をとった．また提案手法の確率密度比に対してパラメータ$\alpha$の相対確率密度比をとった場合の平均正解率の変化を\mbox{図\ref{zu2}}に示す．$\alpha=0.6$のとき最大値72.30\%をとった．ともに確率密度比を上方修正することで平均正解率は改善されている．本論文の以降の記述において，提案手法の重みを$p$乗した値を重みにする手法を「P-提案手法」，提案手法の重みを相対確率密度比により上方修正した値を重みにする手法を「A-提案手法」と名付ける．ここで$p=0.6$，$\alpha=0.6$である．また前節で行った有意差の検定を「P-提案手法」と「A-提案手法」に対しても行った．結果，「P-提案手法」はP-NBや提案手法を含む全ての手法に対して有意に優れていた．ただし「A-提案手法」はP-NBや提案手法とに有意な差はなかった．\subsection{Misleadingデータからの評価}本論文で提案した確率密度比（重み）はNB法やuLSIFによる確率密度比よりも，有効に機能していた．ただし真の確率密度比の値は未知であるために，真の値に近いかどうかという観点での評価は不可能である．また重みの設定だけで，どの程度まで平均正解率が向上できるのかも未知である．一方，Misleadingデータを削除してから学習を行うことでかなりの精度向上が可能であることが論文\cite{yoshida}により示されている．Misleadingデータを削除してから学習することは，Misleadingデータの重みを0，それ以外のデータの重みを1とした重み付き学習と見なせる．この重み付けが真の確率密度比と類似しているかどうかは不明だが，Misleadingデータに対してはできるだけ小さな重みを与える手法が優れているとみなせる．そこでここでは各手法においてMisleadingデータに付与された重みを調べることで手法を評価する．まず論文\cite{yoshida}で行ったように，しらみつぶしにMisleadingを見つけ出す．領域$S$から領域$T$の領域適応において，対象単語$w$の$S$上のラベル付きデータ$D$が存在する．まず$D$で学習した識別器の$T$に対する正解率$p_0$を測る．次に$D$から1つデータ$x$を取り除き，$D-\{x\}$から学習した識別器の$T$に対する正解率$p_1$を測る．$p_1>p_0$となった場合，データ$x$をMisleadingデータと見なす．これを$D$内のすべてのデータに対して行い，$S$から$T$の領域適応における対象単語$w$のMisleadingデータを見つける．この処理によって見つけ出されたMisleadingデータの個数を\mbox{表\ref{tab:mislead}}示す．括弧内の数値は全データ数である．またMisleadingによる重みを用いた学習の識別結果を\mbox{表\ref{tab:resultmis}}に示す．表中のMisleadがそれにあたる．本論文の実験で得られている平均正解率よりもかなり高い．つまり重みの設定のみでもBaseの平均正解率71.71\%を少なくとも75.42\%まで改善可能である．\begin{table}[t]\caption{Misleadingデータの個数}\label{tab:mislead}\input{02table07.txt}\end{table}\normalsize\begin{table}[t]\caption{Misleadingによる重みを用いた学習の平均正解率(\%)}\label{tab:resultmis}\input{02table08.txt}\end{table}次に各手法がMisleadingデータに付与した重みにより手法を評価する．領域$S$から領域$T$の領域適応において，対象単語$w$の$S$上のラベル付きデータを$D=\{x_i\}_{i=1}^{N_w}$とする．まず$D$内のデータの重みの平均値$m_w$を調べる．\[m_w=\frac{1}{N_w}\sum_{i=1}^{N_w}w(x_i)\]次に$D$内のMisleadingデータを$\{x'_j\}_{j=1}^{M_w}$とする．各$x'_j$の重み$w(x'_j)$が$m_w$と比較して小さな値であればよいので，対象単語$w$に関するMisleadingデータを用いた評価値$d_w$を以下で測る．\[d_w=\frac{1}{M_w}\sum_{j=1}^{M_w}\frac{w(x'_j)}{m_w}\]$d_w$は対象単語$w$の訓練データの重みの平均値$m_w$に対して，Misleadingデータ$x'_j$の重み$w(x'_j)$の比を取り，その比の平均を取ったものである．このため$d_w$の値が小さいほど，適切に重み付けできていると考えられる．そして$d_w$の各単語に関して平均を取った値を，その手法における$S$から$T$のMisleadingデータを用いた評価値（小さいほど良い）とする．これをまとめたものが\mbox{表\ref{tab:miseval}}である．\mbox{表\ref{tab:miseval}}が示すように，Misleadingデータを用いた評価では，NB法，uLSIF及び提案手法の3つの中でuLSIFが最も優れている．ただし提案手法はNB法よりも優れていた．更に全ての手法において「$p$乗する」，あるいは「相対確率密度比を取る」ことで評価値は改善されており，重みを上方修正する効果があることがわかる．また「$p$乗する」と「相対確率密度比を取る」を比較すると，「$p$乗する」方が効果があることもわかる．\begin{table}[t]\caption{Misleadingデータからの評価値}\label{tab:miseval}\input{02table09.txt}\end{table}\subsection{負の転移の有無}NB法やuLSIFはBaseよりも平均正解率が低い．これは確率密度比からの重み付き学習が効果がなかったことを示している．この原因として，WSDの領域適応では，領域の変化はあるが，実際には領域適応の問題が生じていない，つまり負の転移\cite{rosenstein2005transfer}が生じていない対象単語がかなり存在するからだと考える．負の転移が生じていなければ，訓練データを全て利用して学習する方が有利であることは明らかであり，重みをつけると逆効果になると考えられる．この点を確認するために，負の転移が生じているものと生じていないものに分けて，各手法の平均正解率を測ってみる．まず負の転移が生じている単語の判定であるが，これは\mbox{表\ref{tab:mislead}}で示したMisleadingデータの個数から行う．ここではMisleadingデータが全データの1割以下の場合，負の転移が生じないと判定した．結果を\mbox{表\ref{tab:mislead2}}に示す．チェックが付いているものが「負の転移が生じない」と判定したものである．\mbox{表\ref{tab:mislead2}}でチェックがついていない対象単語に限定して，各手法の平均正解率を測った結果が\mbox{表\ref{tab:del-fu-kekka}}である．また逆に\mbox{表\ref{tab:mislead2}}でチェックがついている対象単語に限定して，各手法の平均正解率を測った結果が\mbox{表\ref{tab:del-fu-kekka2}}である．\begin{table}[t]\caption{負の転移が生じない単語}\label{tab:mislead2}\input{02table10.txt}\end{table}\begin{table}[t]\caption{負の転移が生じる単語に限定した平均正解率(\%)}\label{tab:del-fu-kekka}\input{02table11.txt}\end{table}\mbox{表\ref{tab:del-fu-kekka}}と\mbox{表\ref{tab:del-fu-kekka2}}からわかるように，NB法やuLSIFは負の転移が生じる，生じないに関わらず，Baseよりも平均正解率が低く，本実験においては有効ではなかった．一方，提案手法は負の転移が生じる場合でも，生じない場合でもBaseよりも平均正解率が高く，どちらの場合でも有効であることがわかる．また負の転移が生じる場合，提案手法の平均正解率はNB法の平均正解率の1.09倍であり，uLSIFの平均正解率1.05倍である．一方，負の転移が生じない場合，提案手法の平均正解率はNB法の平均正解率の1.02倍であり，uLSIFの平均正解率1.03倍である．つまり負の転移が生じるケースで提案手法と既存手法（NB法，uLSIF）との差が大きくなる．更に確率密度比を上方修正する効果をみてみる．負の転移が生じる場合，NB法は平均正解率60.69\%が$p$乗することで65.19\%，相対確率密度比を取ることで65.35\%まで向上しているので，平均的には7.5\%平均正解率が向上している\footnote{$((65.19+65.35)/2)/60.69\approx1.075$から算出した．}．同様に計算してuLSIFの平均正解率は3.6\%，提案手法の平均正解率は0.5\%向上している．負の転移が生じない場合，NB法は1.4\%，uLSIFは2.8\%平均正解率が向上している．また提案手法では平均正解率はほとんど変化しない．つまり確率密度比を上方修正する効果は負の転移が生じるケースで顕著になっている．\begin{table}[t]\caption{負の転移が生じない単語に限定した平均正解率(\%)}\label{tab:del-fu-kekka2}\input{02table12.txt}\end{table}今後の課題としてはMisleadingデータの検出方法を考案することである．Misleadingデータを検出し，そのデータに重みを0にすることはかなりの精度向上が期待できる．またMisleadingデータの割合から負の転移の有無を判定し，負の転移が生じる問題にだけ，重み付け学習手法を適用するアプローチも効果があると考えられる．\subsection{トピックモデルの利用}論文\cite{shinnou-gengo-13}は本論文と同じタスクに対して一部同じデータを用いた実験結果を示している．ここではそこでの実験結果の値と本論文の実験結果の値を比較し，手法間の違いを考察する．論文\cite{shinnou-gengo-13}の核となるアイデアは，ターゲット領域$T$のトピックモデルを作成し，ターゲット領域に特有のシソーラスを構築することである．このシソーラスの情報を素性として組み込むことで，識別精度を上げることを狙っている．実験はOC→PBと\mbox{PB→OC}の2方向である．また対象単語は本論文の16単語の他「来る」が含まれている\footnote{本論文では「来る」はPNの領域において曖昧性がないため対象単語から外した．}．\begin{table}[p]\caption{正解率(\%)の比較(OC→PB)}\label{tm-hikaku1}\input{02table13.txt}\end{table}\begin{table}[p]\caption{正解率(\%)の比較(PB→OC)}\label{tm-hikaku2}\input{02table14.txt}\end{table}OC→PBとPB→OCの領域適応における，本論文の対象単語16単語についての識別精度の比較を\mbox{表\ref{tm-hikaku1}}と\mbox{表\ref{tm-hikaku2}}に示す．なお表中のSVM-TM-kNNは論文\cite{shinnou-gengo-13}の手法を意味する．対象単語に応じて最も高い正解率の手法は異なるが，平均的にはSVM-TM-kNNが最も高い正解率を示している．ただしSVM-TM-kNNはトピックモデルを構築するために，ターゲット領域のコーパスを利用していることに注意したい．本論文の提案手法はターゲット領域の対象単語の用例を用いているが，コーパスは利用していない．つまり利用しているリソースが異なるために，単純にSVM-TM-kNNが提案手法よりも優れているとは結論できない．またSVM-TM-kNNにおけるトピックモデルは素性構築の際に利用されているだけであり，提案手法と競合するものではない．つまりSVM-TM-kNNの手法を利用して，WSDでの素性を構築し，それに対して本論文の提案手法を適用することも可能である．今後はこの方向での改良も試みたい．
\section{おわりに}
本論文では，WSDの領域適応に対して，共変量シフト下の学習を試みた．共変量シフト下の学習では確率密度比を重みとした重み付き学習を行うが，WSDのタスクでは算出される確率密度比が小さくなる傾向があるため，ソース領域のコーパスとターゲット領域のコーパスとを合わせたコーパスをソース領域のコーパスと見なしてNB法を用いる手法を提案した．BCCWJの3つの領域OC（Yahoo!知恵袋），PB（書籍）及びPN（新聞）に共通して出現する多義語16単語を対象にして，WSDの領域適応の実験を行った．NB法，uLSIF及び提案手法を比較すると，提案手法が最も高い平均正解率を出した．また「$p$乗する」や「相対確率密度比を取る」といった確率密度比を上方修正する手法も試し，提案手法のように確率密度比を上方修正する効果を確認した．またMisleadingデータをしらみつぶし的に取り出し，Misleadingデータを用いた手法の評価も行った．Misleadingデータを利用した評価ではuLSIFが優れていたが，提案手法はNB法の改良になっていることを確認できた．WSDの領域適応の場合，Misleadingデータの検出あるいは負の転移の有無を判定することが，精度改善に大きく寄与できる．今後はこの点の研究を進めたい．またトピックモデルの利用も検討したい．\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{Chan\BBA\Ng}{Chan\BBA\Ng}{2005}]{chan2005word}Chan,Y.~S.\BBACOMMA\\BBA\Ng,H.~T.\BBOP2005\BBCP.\newblock\BBOQWordSenseDisambiguationwithDistributionEstimation.\BBCQ\\newblockIn{\BemProceedingsofIJCAI-2005},\mbox{\BPGS\1010--1015}.\bibitem[\protect\BCAY{Chan\BBA\Ng}{Chan\BBA\Ng}{2006}]{chan2006estimating}Chan,Y.~S.\BBACOMMA\\BBA\Ng,H.~T.\BBOP2006\BBCP.\newblock\BBOQEstimatingClassPriorsinDomainAdaptationforWordSenseDisambiguation.\BBCQ\\newblockIn{\BemProceedingsofCOLING-ACL-2006},\mbox{\BPGS\89--96}.\bibitem[\protect\BCAY{Chapelle,Sch{\"o}lkopf,\BBA\Zien}{Chapelleet~al.}{2006}]{chapelle2006semi}Chapelle,O.,Sch{\"o}lkopf,B.,\BBA\Zien,A.\BBOP2006\BBCP.\newblock{\BemSemi-SupervisedLearning},\lowercase{\BVOL}~2.\newblockMITpressCambridge.\bibitem[\protect\BCAY{Daum{\'{e}}}{Daum{\'{e}}}{2007}]{daume0}Daum{\'{e}},H.~I.\BBOP2007\BBCP.\newblock\BBOQFrustratinglyEasyDomainAdaptation.\BBCQ\\newblockIn{\BemProceedingsofACL-2007},\mbox{\BPGS\256--263}.\bibitem[\protect\BCAY{Jiang\BBA\Zhai}{Jiang\BBA\Zhai}{2007}]{jiang2007instance}Jiang,J.\BBACOMMA\\BBA\Zhai,C.\BBOP2007\BBCP.\newblock\BBOQInstanceWeightingforDomainAdaptationinNLP.\BBCQ\\newblockIn{\BemProceedingsofACL-2007},\mbox{\BPGS\264--271}.\bibitem[\protect\BCAY{Joachims}{Joachims}{1999}]{joachims1999transductive}Joachims,T.\BBOP1999\BBCP.\newblock\BBOQTransductiveInferenceforTextClassificationusingSupportVectorMachines.\BBCQ\\newblockIn{\BemICML},\lowercase{\BVOL}~99,\mbox{\BPGS\200--209}.\bibitem[\protect\BCAY{神嶌}{神嶌}{2010}]{kamishima}神嶌敏弘\BBOP2010\BBCP.\newblock転移学習.\\newblock\Jem{人工知能学会誌},{\Bbf25}(4),\mbox{\BPGS\572--580}.\bibitem[\protect\BCAY{Kanamori,Hido,\BBA\Sugiyama}{Kanamoriet~al.}{2009}]{kanamori2009least}Kanamori,T.,Hido,S.,\BBA\Sugiyama,M.\BBOP2009\BBCP.\newblock\BBOQALeast-SquaresApproachtoDirectImportanceEstimation.\BBCQ\\newblock{\BemTheJournalofMachineLearningResearch},{\Bbf10},\mbox{\BPGS\1391--1445}.\bibitem[\protect\BCAY{古宮\JBA奥村}{古宮\JBA奥村}{2012}]{komiya-nlp2012}古宮嘉那子\JBA奥村学\BBOP2012\BBCP.\newblock語義曖昧性解消のための領域適応手法の決定木学習による自動選択.\\newblock\Jem{自然言語処理},{\Bbf19}(3),\mbox{\BPGS\143--166}.\bibitem[\protect\BCAY{古宮\JBA小谷\JBA奥村}{古宮\Jetal}{2013}]{komiya-nenji2013}古宮嘉那子\JBA小谷善行\JBA奥村学\BBOP2013\BBCP.\newblock語義曖昧性解消の領域適応のための訓練事例集合の選択.\\newblock\Jem{言語処理学会第19回年次大会},\mbox{\BPGS\C6{--}2}.\bibitem[\protect\BCAY{Komiya\BBA\Okumura}{Komiya\BBA\Okumura}{2011}]{komiya3}Komiya,K.\BBACOMMA\\BBA\Okumura,M.\BBOP2011\BBCP.\newblock\BBOQAutomaticDeterminationofaDomainAdaptationMethodforWordSenseDisambiguationusingDecisionTreeLearning.\BBCQ\\newblockIn{\BemProceedingsofIJCNLP-2011},\mbox{\BPGS\1107--1115}.\bibitem[\protect\BCAY{Komiya\BBA\Okumura}{Komiya\BBA\Okumura}{2012}]{komiya2}Komiya,K.\BBACOMMA\\BBA\Okumura,M.\BBOP2012\BBCP.\newblock\BBOQAutomaticDomainAdaptationforWordSenseDisambiguationBasedonComparisonofMultipleClassifiers.\BBCQ\\newblockIn{\BemProceedingsofPACLIC-2012},\mbox{\BPGS\75--85}.\bibitem[\protect\BCAY{Maekawa}{Maekawa}{2007}]{bccwj}Maekawa,K.\BBOP2007\BBCP.\newblock\BBOQDesignofaBalancedCorpusofContemporaryWrittenJapanese.\BBCQ\\newblockIn{\BemSymposiumonLarge-ScaleKnowledgeResources(LKR2007)},\mbox{\BPGS\55--58}.\bibitem[\protect\BCAY{森}{森}{2012}]{mori}森信介\BBOP2012\BBCP.\newblock自然言語処理における分野適応.\\newblock\Jem{人工知能学会誌},{\Bbf27}(4),\mbox{\BPGS\365--372}.\bibitem[\protect\BCAY{Okazaki}{Okazaki}{2009}]{Classias}Okazaki,N.\BBOP2009\BBCP.\newblock\BBOQClassias:ACollectionofMachine-LearningAlgorithmsforClassification.\BBCQ.\bibitem[\protect\BCAY{Okumura,Shirai,Komiya,\BBA\Yokono}{Okumuraet~al.}{2010}]{semeval-2010}Okumura,M.,Shirai,K.,Komiya,K.,\BBA\Yokono,H.\BBOP2010\BBCP.\newblock\BBOQSemEval-2010Task:JapaneseWSD.\BBCQ\\newblockIn{\BemProceedingsofthe5thInternationalWorkshoponSemanticEvaluation},\mbox{\BPGS\69--74}.\bibitem[\protect\BCAY{Rosenstein,Marx,Kaelbling,\BBA\Dietterich}{Rosensteinet~al.}{2005}]{rosenstein2005transfer}Rosenstein,M.~T.,Marx,Z.,Kaelbling,L.~P.,\BBA\Dietterich,T.~G.\BBOP2005\BBCP.\newblock\BBOQToTransferorNottoTransfer.\BBCQ\\newblockIn{\BemProceedingsoftheNIPS2005WorkshoponInductiveTransfer:10YearsLater}.\bibitem[\protect\BCAY{齋木\JBA高村\JBA奥村}{齋木\Jetal}{2008}]{saiki-2008-03-27}齋木陽介\JBA高村大也\JBA奥村学\BBOP2008\BBCP.\newblock文の感情極性判定における事例重み付けによるドメイン適応.\\newblock\Jem{情報処理学会第184回自然言語処理研究会,NL-184-10}.\bibitem[\protect\BCAY{新納\JBA佐々木}{新納\JBA佐々木}{2013}]{shinnou-gengo-13}新納浩幸\JBA佐々木稔\BBOP2013\BBCP.\newblockk近傍法とトピックモデルを利用した語義曖昧性解消の領域適応.\\newblock\Jem{自然言語処理},{\Bbf20}(5),\mbox{\BPGS\707--726}.\bibitem[\protect\BCAY{新納\JBA佐々木}{新納\JBA佐々木}{2014}]{shinnou-gengo-14}新納浩幸\JBA佐々木稔\BBOP2014\BBCP.\newblock共変量シフトの問題としての語義曖昧性解消の領域適応.\\newblock\Jem{自然言語処理},{\Bbf21}(1),\mbox{\BPGS\61--79}.\bibitem[\protect\BCAY{新納\JBA國井\JBA佐々木}{新納\Jetal}{2014}]{shinnou-jws5}新納浩幸\JBA國井慎也\JBA佐々木稔\BBOP2014\BBCP.\newblock語義曖昧性解消を対象とした領域固有のシソーラスの構築.\\newblock\Jem{第5回コーパス日本語学ワークショップ},\mbox{\BPGS\199--206}.\bibitem[\protect\BCAY{Sogaard}{Sogaard}{2013}]{da-book}Sogaard,A.\BBOP2013\BBCP.\newblock{\BemSemi-SupervisedLearningandDomainAdaptationinNaturalLanguageProcessing}.\newblockMorgan\&Claypool.\bibitem[\protect\BCAY{杉山}{杉山}{2006}]{sugiyama-2006-09-05}杉山将\BBOP2006\BBCP.\newblock共変量シフト下での教師付き学習.\\newblock\Jem{日本神経回路学会誌},{\Bbf13}(3),\mbox{\BPGS\111--118}.\bibitem[\protect\BCAY{杉山}{杉山}{2010}]{sugiyama-2010}杉山将\BBOP2010\BBCP.\newblock密度比に基づく機械学習の新たなアプローチ.\\newblock\Jem{統計数理},{\Bbf58}(2),\mbox{\BPGS\141--155}.\bibitem[\protect\BCAY{Sugiyama\BBA\Kawanabe}{Sugiyama\BBA\Kawanabe}{2011}]{sugiyama-book}Sugiyama,M.\BBACOMMA\\BBA\Kawanabe,M.\BBOP2011\BBCP.\newblock{\BemMachineLearninginNon-StationaryEnvironments:IntroductiontoCovariateShiftAdaptation}.\newblockMITPress.\bibitem[\protect\BCAY{高村}{高村}{2010}]{takamura}高村大也\BBOP2010\BBCP.\newblock\Jem{言語処理のための機械学習入門}.\newblockコロナ社.\bibitem[\protect\BCAY{Yamada,Suzuki,Kanamori,Hachiya,\BBA\Sugiyama}{Yamadaet~al.}{2011}]{yamada2011relative}Yamada,M.,Suzuki,T.,Kanamori,T.,Hachiya,H.,\BBA\Sugiyama,M.\BBOP2011\BBCP.\newblock\BBOQRelativeDensity-ratioEstimationforRobustDistributionComparison.\BBCQ\\newblock{\BemNeuralComputation},{\Bbf25}(5),\mbox{\BPGS\1370--1370}.\bibitem[\protect\BCAY{吉田\JBA新納}{吉田\JBA新納}{2014}]{yoshida}吉田拓夢\JBA新納浩幸\BBOP2014\BBCP.\newblock外れ値検出手法を利用したMisleadingデータの検出.\\newblock\Jem{第5回コーパス日本語学ワークショップ},\mbox{\BPGS\49--56}.\end{thebibliography}\begin{biography}\bioauthor{新納浩幸}{1985年東京工業大学理学部情報科学科卒業．1987年同大学大学院理工学研究科情報科学専攻修士課程修了．同年富士ゼロックス，翌年松下電器を経て，1993年4月茨城大学工学部システム工学科助手．1997年10月同学科講師，2001年4月同学科助教授，現在，茨城大学工学部情報工学科准教授．博士（工学）．機械学習や統計的手法による自然言語処理の研究に従事．言語処理学会，情報処理学会，人工知能学会各会員．}\bioauthor{佐々木稔}{1996年徳島大学工学部知能情報工学科卒業．2001年同大学大学院博士後期課程修了．博士（工学）．2001年12月茨城大学工学部情報工学科助手．現在，茨城大学工学部情報工学科講師．機械学習や統計的手法による情報検索，自然言語処理等に関する研究に従事．言語処理学会，情報処理学会各会員．}\end{biography}\biodate\end{document}