\section{はじめに}
語義曖昧性解消（以下，WSD）とは多義語の語義ラベルを付与するタスクである．長年，英語のみならず日本語を対象としたWSDの研究が盛んに行われてきた．しかし，その多くは教師あり学習による対象単語を頻出単語に限定したWSD(lexicalsampleWSD)であるため，実用性が高いとは言えない．これに対し，文書中のすべての単語を対象とするWSDをall-wordsWSDという．all-wordsWSDのツールがあれば，より下流の処理の入力として，例えば品詞情報のように語義を利用することが可能になり，より実用的になると期待される．all-wordsWSDは，lexicalsampleWSDと異なり，教師ありの機械学習に利用する十分な量の訓練事例を得ることが難しいため，辞書などの外部の知識を利用して，教師なしの手法で行われることが一般的である．all-wordsWSDの研究は日本語においては研究例が少ない．その理由のひとつに，all-wordsWSDを実行・評価するのに足りるサイズの語義つきコーパスがないことがあげられる．日本語の教師あり手法によるWSDでは，岩波国語辞典の語義が付与されている『現代日本語書き言葉均衡コーパス』（以下，BCCWJ）\cite{Okumura-2011}がよく用いられてきた．しかし，知識ベースの手法でall-wordsWSDを行う場合に多用される類義語の情報は岩波国語辞典のような語義列記型の辞書からは得ることができない．英語のall-wordsWSDにおいては，WordNet\footnote{https://wordnet.princeton.edu/}というシソーラスが辞書として主に利用されている．WordNetには日本語版も存在するが，基本的には英語版を和訳したものであり，日本語にしかない品詞の単語はどうするのかなどの問題点が残る．そのため，現在BCCWJに分類語彙表の意味情報がアノテーションされ，語義付きコーパスが整備されつつある．本研究では，整備されつつあるこのコーパス\cite{Kato-2018}を用いて，日本語を対象とした教師なしall-wordsWSDを行う．分類語彙表とは単語を意味によって分類したシソーラスである．レコード総数は約10万件で，各レコードは類・部門・中項目・分類項目を表す“分類番号”によって分類されている．その他にも分類語彙表では“段落番号”，“小段落番号”，“語番号”が各レコードに割り振られており，それらすべての番号によってレコードが一意に決まるようになっている．また，分類語彙表には「意味的区切り」が240箇所に存在し，分類番号による分類をさらに細かく分けている．本稿では分類語彙表から得られる類義語の情報を利用し，分類番号を語義とした日本語all-wordsWSDの手法を提案する．
\section{関連研究}
WSDの手法は，大きく教師あり学習と知識ベース（教師なしの手法）の二つに分けることができる．一般的に，WSDを教師あり学習を用いた手法で行った場合，教師なしの手法に比べて高い精度を得ることができる．しかしその反面，十分な量の教師データ，すなわちタグ付きの用例文が必要なためその作成にコストがかかるという問題点がある．一方，教師なしの場合は教師データを必要としないためコストはかからないが，教師ありの手法と同等の精度を得ることは難しい．WSDにおいては，一般に対象単語の文脈を素性とする．例えば，\citeA{yarowsky1995}は，同一の連語や文書内では出現する単語に対する語義割り当てが一意であるという仮説\cite{Gale:1992:OSP:1075527.1075579}のもと，教師なしによるWSDで高い精度を達成している．また，近年，文脈として，WSDの対象単語の周辺単語を分散表現で表す研究が行われている．\citeA{suga}では，教師あり学習において対象単語の前後N単語ずつの単語の分散表現を基本的な素性として用い，その有効性を明らかにした．さらに，\citeA{yamaki}は，単語の位置を規定しない・自立語以外の語を考慮しない，などしてSugawaraらの手法を改善し成果を上げている．このように，対象単語を決めるうえで周辺の単語が大きな手掛かりとなることが知られている．そのため，本研究では，教師なしの手法を利用する際にも，周辺の単語の分散表現を手掛かりとして利用する．一方で，本研究には階層的な概念辞書である，シソーラスも同時に利用する．WSDに分類語彙表などのシソーラスを用いる手法は数多く提案されている．特に，教師あり手法ではシソーラスから得られる単語の情報や上位概念を素性として利用することが多い．\citeA{shinnou}では，教師あり手法によるWSDにおいて分類語彙表などのシソーラスを素性に利用することの有効性や，上位概念のレベル（シソーラスの粒度）による精度の差があまりないことなどが報告されている．また，シソーラスを用いた辞書ベースの手法は，教師なしの手法のうち最も一般的な手法の一つである．\citeA{yarowsky1992}はロジェのシソーラスを用いた教師なし手法によるWSDの手法を提案した．また，\citeA{koba}はシソーラスを分類語彙表に置き換え，Yarowskyの手法に改良を加えた手法を提案している．これらの手法では，シソーラスにおいて対象単語の語義と同じ分類に属する単語の用例を集め，用例に出現しやすい自立語すなわち語義の特徴の重みを計算することで語義を予測している．また，\citeA{boyd}はWordNetの語義を用いることでトピックモデルを教師なしWSDに応用した．\citeA{guo}も同様にトピックモデルとWordNetの組み合わせの手法を提案しているが，概念構造は利用せず，辞書の定義文から事前学習を行う手法で，all-wordsWSDに関してBoyd-Graberらと同程度の精度を上げている．また，\citeA{tanigaki}は階層ベイズとギブスサンプリングを用いた英語のall-wordsのWSDを提案している．日本語のall-wordsWSDの研究には\citeA{baldwin}，\citeA{sasaki}や\citeA{kywsd}がある．日本語は表意文字（漢字）を利用しているため，すでに書かれた時点で意味が分かることが多い．そのため，日本語のWSDは英語のWSDに比べて，語義の差が小さいと考えられる．小さな語義の差を，あまり用例がない状態でも解かなければならない点が，日本語のall-wordsWSDの難しさであろう．\citeA{baldwin}では，machinereadabledictionary(MRD)ベースの手法を提案している．\citeA{sasaki}では，多義語の周辺に現れる語義の分布を利用する教師なし学習による周辺語義モデルを提案している．この論文の手法はギブスサンプリングを用いたシソーラスベースのall-wordsのWSDである．ただしこのシステムにはEDR電子化辞書による概念体系辞書が組み込まれており，再現するのが困難である．また，Shinnouetal.\citeyear{kywsd}は単語分割をするテキスト分析のツールキットを応用し，教師ありの手法でall-wordsWSDを簡易に行えるシステムを作成している．
\section{比較対象となるベースライン手法}
本研究では，四つの比較対象となるベースライン手法を用いた．一つは語義をランダムに選択した場合の正解率(random)である．コーパス中の全多義語の出現ごとの平均語義数の逆数により求めた．二つ目は最頻出の語義をテキストコーパスから疑似的に推定する手法（PseudoMostFrequentSense.以下PMFS）である．この手法では，テストコーパスと同分野についての学習用テキストコーパスをテストコーパスとは別に用意し，語義の頻度を計算する．例えば，学習用コーパスに語義aを持つ単語が出現した場合は語義aの頻度に1を割り振る．また，語義aと語義bを持つ単語（多義語）が出現した場合は語義aに1/2，語義bに1/2の頻度を割り振る．このようにして学習用コーパスでのすべての単語の語義の頻度を加算して，語義ごとに頻度を求めておく．テストの際には，WSDの対象単語のそれぞれの語義候補のうち，求めておいた頻度が最も高い語義を選択する．三つ目は分類語彙表の分類番号を語義としたYarowskyの手法\cite{yarowsky1992}である．Yarowskyの手法では，学習用コーパスから分類番号ごとに用例を集め，その中に出現する特徴の重みを計算しておく．ここでの特徴とは用例に出現する自立語である，語義$c$における特徴$f$の重みは以下の式で定義される．\begin{equation}w(c,f)=\frac{\logPr(f|c)}{Pr(f)}\end{equation}対象単語の周辺の自立語の重みの合計を語義候補ごとに計算し，最も大きい値になった語義を選んでいく．四つ目は，\citeA{boyd}で提案された，latentDirichletallocationwithWordNet（以下LDAWN）と呼ばれる手法である．LDAWNは，トピックモデルLDA(LatentDirichletAllocation)において，各トピックが持つ単語の確率分布を，概念辞書上の単語生成過程であるWORDNET-WALKに置き換え，WSDに応用したモデルである．ルート概念からの経路の違いにより，語義の違いを表現している．WORDNET-WALKとは，WordNetや分類語彙表のような木構造の概念辞書において，ルート概念から下位概念への遷移を確率的に繰り返し，リーフ概念が表す単語を出力する単語生成過程である．LDAWNでは，各文書が持つトピックの確率分布と，各トピックにおける各概念から下位概念への遷移確率分布をギブスサンプリングから求めている．WSDは対象単語のトピックを推定し，対応する遷移確率分布を用いてルート概念から対象単語までの経路を推定することで行える．
\section{概念辞書の類義語と分散表現を利用したall-wordsWSD}
単語の語義は周辺の文脈によって推定できることから，周辺の単語同士が類似している場合，中心の単語同士も類似していると考えられる．我々はこの考えをもとにした教師なしのall-wordsWSDの手法を提案する．我々の提案する手法では，類義語を用いて語義を決定する．ここで，「犬」という単語の例を考える．「犬」という単語には「動物の犬」と「スパイ」という意味の二つの意味がある．どちらの意味なのか決定するために，我々は類義語の文脈と，対象単語の文脈を比較する．文脈を比較するためには，後述する「周辺単語ベクトル」を用いる．ある用例の周辺単語ベクトルが，「動物の犬」という意味を持つ類義語の周辺単語ベクトルよりも，「スパイ」という意味の周辺単語ベクトルに近ければ，その用例の語義は「スパイ」の方であると判定する．周辺単語ベクトルの作成方法として，我々は単語の分散表現を用いる方法，分類番号の分散表現を用いる方法，その両方を用いる方法の三種類の手法を提案する．我々の手法は，WSDを繰り返して行う．はじめに，単語の分散表現を用いる方法で周辺単語ベクトルを求め，類義語の情報から文書内のすべての多義語の語義を推定する．単語の分散表現は語義タグのないテキストコーパスから求められるため，こうして教師なしのall-wordsWSDが実現できる．本研究の語義は分類語彙表の分類番号であるから，語義を推定した時点ですべての単語の分類番号を推定できる．その推定した分類番号をもとに，今度は分類番号の分散表現を作成し，単語の分散表現を用いる方法と同様に，周辺単語ベクトルを求め，類義語の情報から文書内のすべての多義語の語義を推定することで，より正確な語義を推定することができる．この時点で推定された語義（分類番号）もまた，新たな分類番号の分散表現を作成するのに利用できる．我々はこれらの処理を繰り返すことで，最終的な語義を推定した．\subsection{概念辞書の類義語}\label{ssec:wlsp}本研究では，概念辞書として分類語彙表を使用した．分類語彙表とは単語を意味によって分類したシソーラスである．レコード総数は約10万件で，各レコードには「レコードID番号／見出し番号／レコード種別／類／部門／中項目／分類項目／分類番号／段落番号／小段落番号／語番号／見出し／見出し本体／読み／逆読み」という項目がある．分類番号は類・部門・中項目・分類項目を表す番号で，分類語彙表では主にこの番号によって単語が分類されている．その他にも“段落番号”，“小段落番号”，“語番号”が各レコードには割り振られており，それらすべての番号によってレコードが一意に決まるようになっている．さらに，分類語彙表には「意味的区切り」が240箇所に存在し，分類番号による分類をさらに細かく分けている．したがって分類の細かさは，分類番号による分類＜分類番号+意味的区切りによる分類＜分類番号+段落番号による分類＜分類番号+段落番号+小段落番号による分類（右に行くほど細かい）といえる．本研究ではこの分類語彙表から対象単語の類義語を求め，語義の予測に用いる．具体的には，“分類番号+意味的区切り”によって同じグループに分類された単語を類義語とする場合と“分類番号+段落番号”によって同じグループに分類された単語を類義語とする場合の2パターンで実験を行った．例えば「犬」という単語は分類語彙表中で二か所に存在する．すなわち，「犬」は二つの分類番号(1.2420,1.5501)を持つ多義語である．分類語彙表における「犬」の一部を表\ref{inu}に示す．\begin{table}[b]\caption{分類語彙表における「犬」}\label{inu}\input{04table01.tex}\end{table}上記の条件で「犬」の類義語を求めると，分類番号：1.2410+意味的区切りで得られる類義語は［スパイ，回し者，…，教師，魔法使い，…］の429単語，1.5501+意味的区切りで得られる類義語は［おおかみ，くま，…，象，馬，…］の302単語となる．また，分類番号+段落番号：1.2410+27で得られる類義語は［スパイ，回し者，…］の11単語，1.5501+04で得られる類義語は［おおかみ，くま，…］の74単語となる．\subsection{単語の分散表現を用いる手法}\label{ssec:w2v}周辺の単語同士が類似している場合，中心の単語同士の語義も類似している，と考え，本稿では以下の手法を提案する．まず，対象単語の周辺の単語（前後2単語ずつ）のそれぞれの分散表現（以下，w2v）を求める．そして，これらのw2vを連結し一つの分散表現にしたものを対象単語の「周辺単語ベクトル」とする．このとき，「．」や「（」などの記号は周辺単語に含めなかった．また，前後の単語数が2に満たないときはnullとし，すべてゼロベクトルで補った．なお，本手法では，自立語以外についても上記の条件を満たせば，分散表現を作成した．次に，分類語彙表から対象単語の語義候補ごとに類義語を求め，コーパス中に出現する類義語からも対象単語と同様に周辺単語ベクトルを作成していく．この際，類義語の周辺単語ベクトルには語義候補の語義をラベル付けしておく．また，\ref{ssec:wlsp}節のようにして分類語彙表から類義語を求めた際に語義候補間で重複する類義語があればその単語はどちらからも除外した\footnote{予備実験によれば有効な手法であったため，このようにした.}．最後に，対象単語の周辺単語ベクトルとラベル付けした類義語の周辺単語ベクトル群との距離を計算し，K近傍法によってラベルを一つ求めこれを対象単語の語義とした．なお，K近傍法を利用したのはデータスパースネスに対して頑健であり，all-wordsWSDでは処理対象となる，コーパス中に用例の少ない単語に対してもWSDを行うことが可能だからである．例えば以下の文における「犬」の語義を提案手法を用いて予測してみる．\[彼は警察の犬だ．\]この文における「犬」の周辺単語は「警察」「の」「だ」「null」となり，単語wの分散表現を$\mathrm{w2v_w}$とすると周辺単語ベクトルは\[\begin{bmatrix}\mathrm{w2v_{警察}}&\mathrm{w2v_{の}}&\mathrm{w2v_{だ}}&\mathrm{w2v_{null}}\end{bmatrix}\]となる．ここでnullは文脈が文の外側に出る場合に素性が未定義であることを表す．次に「犬」の類義語を求め，用例を集める．「犬」の語義候補は分類番号1.2410と1.5501であり，\ref{ssec:wlsp}節で述べたようにして類義語を求めると1.2410の類義語は［スパイ，回し者，…］，1.5501の類義語は［きつね，くま，…］となるが，この中から多義語はすべて除外し（「くま」は多義語なので除外する）単義語のみ使用する．さらに，1.2410の類義語と1.5501の類義語に重複する単語がある場合はどちらからも除外する．コーパス中に出現するこれらの類義語から，「犬」と同じようにして周辺単語ベクトルを作っていき（図\ref{12410}，図\ref{15501}），1.2410または1.5501のラベルを付与する．最後に，「犬」の周辺単語ベクトルとラベルが付与された類義語の周辺単語ベクトルの距離を計算し，K近傍法で「犬」の周辺単語と距離が近いラベルを求め語義を決定する．\begin{figure}[t]\begin{center}\includegraphics{26-2ia4f1.eps}\end{center}\caption{1.2410の類義語の用例とその周辺単語ベクトル}\label{12410}\end{figure}\begin{figure}[t]\begin{center}\includegraphics{26-2ia4f2.eps}\end{center}\caption{1.5501の類義語の用例とその周辺単語ベクトル}\label{15501}\end{figure}\subsection{分類番号の分散表現を用いる手法}\label{ssec:c2v}本手法では，分類番号の分散表現（以下，c2v）を作成し語義の予測に用いる．まず，\ref{ssec:w2v}節の手法によって予測した結果をもとに，コーパス全体を分類番号の系列（語義列）に変換する．例えばコーパスが図\ref{corpus}のような場合，“ビデオ”(1.4620)などは語義を1つしか持たない単義語であるためその語義に置き換え，“ジョッキー”(1.2410or1.2450)や“年”(1.1630or1.1962)などの多義語は\ref{ssec:w2v}節の手法で予測した語義に置き換える．なお，“根本”や“が”や“「”のような分類番号を持たない単語は置き換えずにそのままとする．したがって，分類番号の系列は図\ref{concept}のようになる．こうして作成した分類番号の系列を分散表現作成ツール（gensimのWord2Vec\footnote{https://radimrehurek.com/gensim/models/word2vec.html}）に入力することで，テキストコーパスの単語列からw2vを作成したように，分類番号の系列からc2vを作成する．\begin{figure}[b]\begin{center}\includegraphics{26-2ia4f3.eps}\end{center}\caption{コーパスの例}\label{corpus}\end{figure}\begin{figure}[b]\begin{center}\includegraphics{26-2ia4f4.eps}\end{center}\caption{分類番号の系列}\label{concept}\end{figure}次に，\ref{ssec:w2v}節の手法と同じようにして語義を予測していく．このとき，周辺単語ベクトルはw2vとc2vを組み合わせた場合と，c2vのみの場合の2通りとした．また，\ref{ssec:w2v}節の手法では類義語の中から多義語をすべて排除したが，そうすることで用例が少なくなるという問題点がある．そこで本手法では周辺単語ベクトルを作る際に，\ref{ssec:w2v}節の手法で語義候補の語義と予測された多義語の用例も追加した．前述の例文の「犬」の語義を予測するまでの流れを以下に示す．まずは「犬」の周辺単語ベクトルを作成する．周辺単語が「警察」，「の」，「だ」，「null」のとき，w2v+c2vで作成した周辺単語ベクトルは\[\begin{bmatrix}\mathrm{w2v_{警察}}&\mathrm{c2v_{警察}}&\mathrm{w2v_{の}}&\mathrm{c2v_{の}}&\mathrm{w2v_{だ}}&\mathrm{c2v_{だ}}&\mathrm{w2v_{null}}&\mathrm{c2v_{null}}\end{bmatrix}\]となり，c2vで作成した周辺単語ベクトルは\pagebreak\[\begin{bmatrix}\mathrm{c2v_{警察}}&\mathrm{c2v_{の}}&\mathrm{c2v_{だ}}&\mathrm{c2v_{null}}\end{bmatrix}\]となる．次にコーパス中に出現する類義語から周辺単語ベクトルを「犬」と同じようにして作成する．このとき，「犬」の1.5501における類義語には「くま」が含まれるが，「くま」は2つの分類番号(1.1700,1.5501)を持つ多義語である．この場合，\ref{ssec:w2v}節の手法によって1.5501と予測された「くま」の用例からも周辺単語ベクトルを作成する．最後に，\ref{ssec:w2v}節と同様にK近傍法によって語義を求める．
\section{評価実験}
\label{評価実験}実験にはBCCWJに分類語彙表の分類番号がアノテーションされたコーパスを使用する．コーパス中のすべての多義語の語義を予測する問題設定とする．また，ここでいう多義語とは，複数の分類番号を持つ単語である．表\ref{sample}，表\ref{data}に使用したコーパスの文書数と統計を示す．なお，表\ref{data}および以降における「トークン」の数とは出現したのべ数であり，「タイプ」とは種類の数を指す．特に，単語のタイプ数は語彙数に相当する．多義語（トークン）の平均語義数は，コーパス中の多義語の用例を無作為にひとつ選んだ際，その多義語が平均どのくらいの用例をコーパス中に持っているかを示している．表\ref{data}において平均語義数は2.98なので，当て推量してみると1/2.98(=0.336)の確率で正解になることを示している．\begin{table}[b]\caption{コーパスに含まれるジャンルとその文書数}\label{sample}\input{04table02.tex}\end{table}\begin{table}[b]\caption{コーパスの統計}\label{data}\input{04table03.tex}\end{table}また，比較手法のPMFSとYarowskyの手法で用いる学習用コーパスにはBCCWJの分類番号が付与されていない部分も含めて使用した．表\ref{sample_t}，表\ref{data_t}に使用した学習用コーパスの文書数と統計を示す．\begin{table}[t]\caption{学習用コーパスに含まれるジャンルとその文書数}\label{sample_t}\input{04table04.tex}\end{table}\begin{table}[t]\caption{学習用コーパスの統計}\label{data_t}\input{04table05.tex}\end{table}提案手法とLDAWNでは，テストコーパスのみを用いて実験を行った．Yarowskyの手法において，学習用コーパスから用例を集める際は前後10単語ずつとした．さらに，対象単語の周辺単語の重みの和を求めるときも，前後10単語ずつから求めた．LDAWNでは，\citeA{sasaki}を参考にパラメータを設定した．具体的には1文を1文書とし，メタパラメータであるK（トピック数）は32，S（遷移確率の調整定数）は10そして$\tau$（ディリクレ分布のprior）は0.01とした．提案手法では類義語を分類語彙表から“分類番号+意味的区切り”を用いて求める場合と“分類番号+段落番号”を用いて求める場合の2通りで実験を行った．w2vの作成にはnwjc2vec\cite{nwjc2vec}を使用した．nwjc2vecとは，国語研日本語ウェブコーパス(NWJC)に対してword2vec\cite{Mikolov1,Mikolov2,Mikolov3}で学習を行った分散表現データである．word2vecのパラメータは，アルゴリズムにContinuousBag-of-Words(C-BoW)を利用し，次元数を200，ウィンドウ幅を8，ネガティブサンプリングに使用する単語数を25，反復回数を15としている．c2vは，コーパスを分類番号の系列に変換したものを同じくword2vecで学習して作成した．その際，アルゴリズムはC-BoWを利用し，次元数を50，ウィンドウ幅を5，ネガティブサンプリングに使用する単語数を5，反復回数を3，min-countを1，として学習を行った．また，周辺単語ベクトルを作成する際，周辺に単語が四つない場合（対象単語が文頭や文末にある場合などnullに相当する）や，word2vecで学習されていない単語の分散表現などは，同じ次元の零行列を用いた．周辺単語ベクトルの作成に用いる周辺単語の数は前後2単語ずつの4単語とした．したがって，w2vのみで作成した周辺単語ベクトルは800次元，w2v+c2vで作成した周辺単語ベクトルは1000次元となる．周辺単語ベクトルの距離を測りK近傍法で分類する過程にはscikit-learn\footnote{https://scikit-learn.org/stable/}のKNeighborsClassifierを使用した．ここではユークリッド距離を使用し，k=1，3，5，weight=uniform，distance（uniform=重みなし，distance=重みあり）で実験を行った．実験では，最も良いパラメータを選ぶため，w2vを利用した場合，w2v+c2vを利用した場合，c2vを利用した場合のそれぞれに対し，パラメータ三種類（“分類番号+意味的区切り”/“分類番号+段落番号”，k=1/3/5，uniform/distance）のバリエーションを試した．この際，w2vを利用した場合では一度目（繰り返しなし），w2v+c2vを利用した場合とc2vを利用した場合では二度目（一度目はw2vを利用し，二度目でw2v+c2vまたはc2vを利用して繰り返した）の結果で比較する．また，この際に最も良かった設定について五度繰り返して正解率を見た．
\section{結果}
四つの比較手法および三つの提案手法の結果を表\ref{hikaku}に示す．提案手法の結果は，w2vを利用した手法，w2v+c2vを利用した手法，c2vを利用した手法における，それぞれ最も結果が良かった場合のパラメータを利用した際の結果である．パラメータについては考察で述べる．\begin{table}[b]\caption{比較手法と提案手法の正解率(\%)}\label{hikaku}\input{04table06.tex}\end{table}また，表\ref{boot}に最良の場合の手法とパラメータを利用した場合の繰り返しによる正解率の変化を示す．最も良い数値を太字で示した．\begin{table}[b]\caption{繰り返しによる正解率の変化(\%)}\label{boot}\input{04table07.tex}\end{table}表\ref{hikaku}から，提案手法w2v+c2vと提案手法c2vが，比較手法であるrandom，PMFS，Yarowskyの手法，LDAWNのすべてを上回る結果となったことが分かる．なお，比較手法の中ではPMFSの正解率が最も高い結果となった．w2vを利用した手法，w2v+c2vを利用した手法，c2vを利用した手法の三手法を比較すると，w2v+c2vを利用した手法が最もよく，続いてc2vを利用した手法となり，このことからc2vの利用がall-wordsWSDにおいて有効であることが示された．繰り返しの効果について表\ref{boot}を見てみると，w2vだけを用いた一度目の結果よりも，c2vも併せて用いた二度目の結果（一度繰り返したとき）の方が正解率が上昇している\footnote{予備実験では，w2vだけを利用して繰り返すパターンも試したが，正解率はあまり上昇しなかった．}．これに対して三度目の結果は僅かに上昇し，その後は変化がない．このため，c2vを導入した繰り返しに効果はあるが，何度も繰り返しても正解率はあまり変わらないことが分かった．
\section{考察}
\subsection{提案手法のパラメータ}提案手法のパラメータ別の結果を表\ref{para}に示す．一つの実験の中で最も良い数値を太字とした．また，提案手法の中で最も良い数値には下線を引いた．さらに，比較手法すべてよりも良い結果となったものを斜体で示した．\begin{table}[b]\caption{パラメータごとの正解率(\%)}\label{para}\input{04table08.tex}\end{table}表\ref{para}から，提案手法で最も良い結果となったのは“分類番号+意味的区切り”，w2v+c2vを用いた場合であることが分かる．また，提案手法ではKの値や重みの有無によって精度に大きな差がないことが分かった．類義語の決め方に注目すると，“分類番号+意味的区切り”を使用するほうが“分類番号＋段落番号”を利用した場合に比べて，常に良い結果となっていることがわかる．類義語の区分に“分類番号＋段落番号”を利用した場合には，c2vの導入によって正解率が下がっている．このことから，類義語の区分には適切なものを利用する必要があることが分かる．比較手法の結果と提案手法の正解率を比べると，“分類番号+意味的区切り”，w2v+c2vまたは“分類番号+意味的区切り”，c2vを用いた場合（表の4〜7行目）ではrandom，PMFS，Yarowskyの手法，LDAWNのすべてを上回る結果となった．\subsection{他手法との比較}Yarowskyの手法と本研究の提案手法は，類義語の周辺の単語を用いるという点では同じである．Yarowskyの手法は計算量が提案手法よりも少ないことから，大きな学習用コーパスから用例を集めることや，周辺単語として前後20単語を利用することができる．一方，提案手法は計算量が多いため，学習用コーパスは用意せずにWSDの対象となるコーパスから用例を集め，周辺単語も前後4単語しか利用していない．それでもYarowskyの手法を上回る結果となったことから，分散表現がWSDにおいて有効であることがわかる．また，提案手法はLDAWNも上回った．しかもLDAWNはYarowskyの手法よりも劣った．これには二つの原因が考えられる．一つは本研究のタスクがall-wordsWSDであることである．教師なしWSDの研究は多いが，それらの手法がそのまま教師なしall-wordsWSDにおいて高精度の結果を出せるわけではない．トピックモデルを利用した手法がそのような手法の一つだと考えられる．トピックモデルを利用した教師なしWSDは，本質的に，対象単語の文脈をトピック分布で表現し，その分布が語義ごとに異なることを利用する．しかし語義の違いを区別するためのトピックの分割が全ての単語で同一である保証はない．またLDAWNでは妥当な分割を求める手がかりとして語義の階層構造を利用するが，その階層構造として，分類語彙表の語義の階層構造が適切であるかどうかも疑問である．一方，提案手法は単語や語義の分散表現を利用しており，WSDの対象単語に依存しない．このため，よりall-wordsWSDに適した手法となっている．二つ目はWSDで利用する対象単語の文脈情報として，トピック分布だけでは不十分であることである．トピックは大域的な文脈情報である．しかし実際にWSDで有効な情報は，直前直後の出現単語といった局所的な文脈情報である，LDAWNはそのような局所的な情報を直接的には利用していない．一方，本手法やYarowskyの手法は直接的に局所的な文脈情報を利用しているために，LDAWNを上回ったと考えられる．特に日本語は表意文字を利用しているため，英語に比べて語義同士の意味が近い．そのため，トピックのような大域的な文脈よりも，周辺の単語のような局所的な文脈が効いたものと考えられる．また，提案手法では分類語彙表に多く含まれる，類義語の情報を利用しているため，上位下位概念よりも多くの情報が利用できる．さらに提案手法は分散表現を利用しているため，同一の単語でなくても類似度が計算でき，K近傍法を利用したことによってデータスパースネスに強い手法となっている．\begin{table}[b]\caption{「犬」の分類番号1.2410の類義語になりうる単語（一部省略）}\label{1.2410-of-wlsp}\input{04table09.tex}\end{table}\subsection{類義語についての考察}提案手法では分類語彙表から類義語を求めてWSDに利用する．類義語は，対象単語と意味が近いほど類義語として好ましい．しかし，意味が近い単語に限定しすぎると類義語の数，すなわち類義語の用例の数が少なくなってしまい語義の予測に影響が出てしまう．例えば，「犬」の分類番号1.2410の類義語になりうる単語を列挙すると表\ref{1.2410-of-wlsp}のようになる．分類番号が等しく多義語でない単語を類義語とした場合（分類番号1.2410には意味的区切りは存在しない．）「犬」の類義語は429単語となり，その中には「教育家」や「教師」，「神官」などの単語も含まれる．しかしこれらの単語は「犬」の語義とそれほど近い語義を持っているわけではなく，「犬」の語義を予測する場合に役立っているとは考えにくい．一方，“分類番号＋段落番号”が等しい単語を類義語とした場合は「犬」とかなり意味的に近い単語に限定され，これらの単語は「犬」と言い換えても文脈が変化しないため類義語としてふさわしい単語だといえる．しかしその数はわずか11単語となり類義語の用例の数が大きく減少してしまう．そこで，本研究で用いたコーパスにおいて多義語が一つの語義から類義語の用例をいくつ獲得できるか平均を求めると，表\ref{num-ruigigo}のようになった．正解・不正解はw2vを利用した場合（表\ref{para}の2，3，8，9行目）の結果である．\begin{table}[t]\caption{一つの語義から獲得した類義語の用例数の平均}\label{num-ruigigo}\input{04table10.tex}\end{table}多義語全体の平均を見ると，“分類番号＋意味的区切り”に比べて分類番号+段落番号を類義語の定義として用いた場合は獲得できる用例の数が大幅に少なくなっていることがわかる．本研究では，“分類番号＋段落番号”で類義語を集めた場合，“分類番号＋意味的区切り”で類義語を集めた場合と比べて精度が下がっているが，これは獲得できる類義語の用例数が著しく減少したことが原因だと考えられる．また，正解した多義語が獲得した用例数の平均が不正解した場合を大きく上回っていることからも，語義を正しく予測するには類義語の用例数をある程度多く獲得する必要があることが分かった．ただし，最も多く用例を獲得できた語義は“分類番号+意味的区切り”だと2.1200で用例の数は5,535個，“分類番号+段落番号”だと1.1960-01で用例の数は3,974個であり，用例の数が最も少なかったのは2.1340や3.1522-05で用例の数は1個だった．このことから，分類語彙表を用いて類義語の用例を獲得する場合用例の数は語義ごとにかなりばらつきが生まれることも確認できた．したがって本研究の提案手法は，用例が極端に少ない場合には学習用コーパスを用意して用例を獲得したり，広い意味で類義語を定義して用例の数を増やしたりすることで精度が向上する可能性が考えられる．また，用例が極端に多い場合は，段落番号や小段落番号を用いるなど，類義語を狭い意味で定義し，対象単語により意味が近い単語に限定することで精度が向上し，さらに計算量を減少させることができると考えられる．
\section{おわりに}
本稿では，教師なしによる日本語のall-wordsWSDの手法を提案した．具体的には，対象単語の周辺単語ベクトルと対象単語の類義語の周辺単語ベクトルを作成し，それらの距離を計算してK近傍法によって語義を求める．周辺単語ベクトルは，前後2単語ずつのw2vを連結したベクトル，w2v，c2vを連結したベクトル，c2vを連結したベクトルの3通りで実験を行った．c2vは予測結果をもとにコーパスを分類番号の分かち書きに変換して作成した．類義語は分類語彙表から“分類番号+意味的区切り”，“分類番号+段落番号”の2通りの方法で定義し，それぞれで実験を行った．実験の結果，w2v+c2v，“分類番号+意味的区切り”を用いた場合が最も高い精度となった．また，提案手法ではランダムベースライン，PMFS，Yarowskyの手法，LDAWNを超える精度を出すことができ，語義曖昧性解消において有効な手法であることが確認できた．さらに結果を分析すると，不正解だった対象単語の1語義当たりの類義語の用例数が正解だった場合と比べて少ない傾向にあることや，獲得できる類義語の用例数は語義によってばらつきがあることが確認できた．これらのことから，本手法で精度をさらに向上させる方法として，類義語の用例を獲得しづらい語義では学習用コーパスから用例を獲得する，類義語の意味の幅を広くするなどの方法で用例数を確保することが考えられる．\acknowledgment本研究は，国立国語共同研究プロジェクト「コーパスアノテーションの拡張・統合・自動化に関する基礎研究」および「all-wordsWSDシステムの構築および分類語彙表と岩波国語辞典の対応表作成への利用」の研究成果を含んでいます．また，本研究はJSPS科研費15K16046および18K11421の助成と，茨城大学女性エンパワーメントプロジェクトの助成を受けたものです．また，本論文の内容の一部は，11theditionoftheLanguageResourcesandEvaluationConferenceで発表したものです\cite{Suzuki-2018}．\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{Baldwin,Kim,Bond,Fujita,Martinez,\BBA\Tanaka}{Baldwinet~al.}{2008}]{baldwin}Baldwin,T.,Kim,S.~N.,Bond,F.,Fujita,S.,Martinez,D.,\BBA\Tanaka,T.\BBOP2008\BBCP.\newblock\BBOQMRD-basedWordSenseDisambiguation:FurtherExtendingLesk.\BBCQ\\newblockIn{\BemProceedingsofthe3rdInternationalJointConferenceonNaturalLanguageProcessing(IJCNLP2008)},\mbox{\BPGS\775--780}.\bibitem[\protect\BCAY{Boyd-Graber,Blei,\BBA\Zhu}{Boyd-Graberet~al.}{2007}]{boyd}Boyd-Graber,J.,Blei,D.,\BBA\Zhu,X.\BBOP2007\BBCP.\newblock\BBOQATopicModelforWordSenseDisambiguation.\BBCQ\\newblockIn{\BemEMNLP-CoNLL-2007},\mbox{\BPGS\1024--1033}.\bibitem[\protect\BCAY{Gale,Church,\BBA\Yarowsky}{Galeet~al.}{1992}]{Gale:1992:OSP:1075527.1075579}Gale,W.~A.,Church,K.~W.,\BBA\Yarowsky,D.\BBOP1992\BBCP.\newblock\BBOQOneSensePerDiscourse.\BBCQ\\newblockIn{\BemProceedingsoftheWorkshoponSpeechandNaturalLanguage},HLT'91,\mbox{\BPGS\233--237},Stroudsburg,PA,USA.AssociationforComputationalLinguistics.\bibitem[\protect\BCAY{Guo\BBA\Diab}{Guo\BBA\Diab}{2011}]{guo}Guo,W.\BBACOMMA\\BBA\Diab,M.\BBOP2011\BBCP.\newblock\BBOQSemanticTopicModels:CombiningWordDistributionalStatisticsandDictionaryDefinitions.\BBCQ\\newblockIn{\BemProceedingsofthe2011ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\552--561}.\bibitem[\protect\BCAY{Kato,Asahara,\BBA\Yamazaki}{Katoet~al.}{2018}]{Kato-2018}Kato,S.,Asahara,M.,\BBA\Yamazaki,M.\BBOP2018\BBCP.\newblock\BBOQAnnotationof`WordListbySemanticPrinciples'LabelsforBalancedCorpusofContemporaryWrittenJapanese.\BBCQ\\newblockIn{\BemProceedingsofthe32ndPacificAsiaConferenceonLanguage,InformationandComputation(PACLIC32)}.\bibitem[\protect\BCAY{小林\JBA白井}{小林\JBA白井}{2018}]{koba}小林健人\JBA白井清昭\BBOP2018\BBCP.\newblock分類語彙表の分類項目を識別する語義曖昧性解消—Yarowskyモデルの適応と拡張—.\\newblock\Jem{言語処理学会第24回年次大会発表論文集},\mbox{\BPGS\244--247}.\bibitem[\protect\BCAY{Komiya,Sasaki,Morita,Sasaki,Shinnou,\BBA\Kotani}{Komiyaet~al.}{2015}]{sasaki}Komiya,K.,Sasaki,Y.,Morita,H.,Sasaki,M.,Shinnou,H.,\BBA\Kotani,Y.\BBOP2015\BBCP.\newblock\BBOQSurroundingWordSenseModelforJapaneseAll-wordsWordSenseDisambiguation.\BBCQ\\newblockIn{\BemPACLIC2015},\mbox{\BPGS\35--43}.\bibitem[\protect\BCAY{Mikolov,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013a}]{Mikolov2}Mikolov,T.,Chen,K.,Corrado,G.,\BBA\Dean,J.\BBOP2013a\BBCP.\newblock\BBOQEfficientEstimationofWordRepresentationsinVectorSpace.\BBCQ\\newblockIn{\BemProceedingsofICLRWorkshop2013},\mbox{\BPGS\1--12}.\bibitem[\protect\BCAY{Mikolov,Sutskever,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013b}]{Mikolov3}Mikolov,T.,Sutskever,I.,Chen,K.,Corrado,G.,\BBA\Dean,J.\BBOP2013b\BBCP.\newblock\BBOQDistributedRepresentationsofWordsandPhrasesandtheirCompositionality.\BBCQ\\newblockIn{\BemProceedingsofNIPS2013},\mbox{\BPGS\1--9}.\bibitem[\protect\BCAY{Mikolov,tauYih,\BBA\Zweig}{Mikolovet~al.}{2013c}]{Mikolov1}Mikolov,T.,tauYih,W.,\BBA\Zweig,G.\BBOP2013c\BBCP.\newblock\BBOQLinguisticRegularitiesinContinuousSpaceWordRepresentations.\BBCQ\\newblockIn{\BemProceedingsofNAACL2013},\mbox{\BPGS\746--751}.\bibitem[\protect\BCAY{Okumura,Shirai,Komiya,\BBA\Yokono}{Okumuraet~al.}{2011}]{Okumura-2011}Okumura,M.,Shirai,K.,Komiya,K.,\BBA\Yokono,H.\BBOP2011\BBCP.\newblock\BBOQOnSemEval-2010JapaneseWSDTask.\BBCQ\\newblock\Jem{自然言語処理},{\Bbf18}(3),\mbox{\BPGS\293--307}.\bibitem[\protect\BCAY{新納\JBA浅原\JBA古宮\JBA佐々木}{新納\Jetal}{2017}]{nwjc2vec}新納浩幸\JBA浅原正幸\JBA古宮嘉那子\JBA佐々木稔\BBOP2017\BBCP.\newblocknwjc2vec:国語研日本語ウェブコーパスから構築した単語の分散表現データ.\\newblock\Jem{自然言語処理},{\Bbf24}(5),\mbox{\BPGS\705--720}.\bibitem[\protect\BCAY{Shinnou,Komiya,Sasaki,\BBA\Mori}{Shinnouet~al.}{2017}]{kywsd}Shinnou,H.,Komiya,K.,Sasaki,M.,\BBA\Mori,S.\BBOP2017\BBCP.\newblock\BBOQJapaneseall-wordsWSDsystemusingtheKyotoTextAnalysisToolKit.\BBCQ\\newblockIn{\BemProceedingsofPACLIC2017,no.~11},\mbox{\BPGS\392--399}.\bibitem[\protect\BCAY{新納\JBA佐々木\JBA古宮}{新納\Jetal}{2015}]{shinnou}新納浩幸\JBA佐々木稔\JBA古宮嘉那子\BBOP2015\BBCP.\newblock語義曖昧性解消におけるシソーラスの利用問題.\\newblock\Jem{言語処理学会第21回年次大会発表論文集},\mbox{\BPGS\59--62}.\bibitem[\protect\BCAY{Sugawara,Takamura,Sasano,\BBA\Okumura}{Sugawaraet~al.}{2015}]{suga}Sugawara,H.,Takamura,H.,Sasano,R.,\BBA\Okumura,M.\BBOP2015\BBCP.\newblock\BBOQContextRepresentationwithWordEmbeddingsforWSD.\BBCQ\\newblockIn{\BemProceedingsofPACLING2015},\mbox{\BPGS\108--119}.\bibitem[\protect\BCAY{Suzuki,Komiya,Asahara,Sasaki,\BBA\Shinnou}{Suzukiet~al.}{2018}]{Suzuki-2018}Suzuki,R.,Komiya,K.,Asahara,M.,Sasaki,M.,\BBA\Shinnou,H.\BBOP2018\BBCP.\newblock\BBOQAll-wordsWordSenseDisambiguationUsingConceptEmbeddings.\BBCQ\\newblockIn{\BemProceedingsofthe11theditionoftheLanguageResourcesandEvaluationConference(LREC2018)},\mbox{\BPGS\1006--1011}.\bibitem[\protect\BCAY{谷垣\JBA撫中\JBA匂坂}{谷垣\Jetal}{2016}]{tanigaki}谷垣宏一\JBA撫中達司\JBA匂坂芳典\BBOP2016\BBCP.\newblock語の出現と意味の対応の階層ベイズモデルによる教師なし語義曖昧性解消.\\newblock\Jem{情報処理学会論文誌},{\Bbf57}(8),\mbox{\BPGS\1850--1860}.\bibitem[\protect\BCAY{Yamaki,Shinnou,Komiya,\BBA\Sasaki}{Yamakiet~al.}{2016}]{yamaki}Yamaki,S.,Shinnou,H.,Komiya,K.,\BBA\Sasaki,M.\BBOP2016\BBCP.\newblock\BBOQSupervisedWordSenseDisambiguationwithSentencesSimilaritiesfromContextWordEmbeddings.\BBCQ\\newblockIn{\BemProceedingsofPACLIC2016},\mbox{\BPGS\115--121}.\bibitem[\protect\BCAY{Yarowsky}{Yarowsky}{1992}]{yarowsky1992}Yarowsky,D.\BBOP1992\BBCP.\newblock\BBOQWord-senseDisambiguationusingStatisticalModelsofRoget'sCategoriesTrainedonLargeCorpora.\BBCQ\\newblockIn{\BemProceedingsofCOLING},\mbox{\BPGS\454--460}.\bibitem[\protect\BCAY{Yarowsky}{Yarowsky}{1995}]{yarowsky1995}Yarowsky,D.\BBOP1995\BBCP.\newblock\BBOQUnsupervisedWordSenseDisambiguationRivalingSupervisedMethods.\BBCQ\\newblockIn{\BemACL1995},\mbox{\BPGS\189--196}.\end{thebibliography}\begin{biography}\bioauthor{鈴木類}{2017年茨城大学工学部情報工学科卒．2019年茨城大学大学院理工学研究科情報工学専攻修了．}\bioauthor{古宮嘉那子}{2005年東京農工大学工学部コミュニケーション工学科卒．2009年同大学大学院博士後期課程電子情報工学専攻修了．博士（工学）．同年東京工業大学精密工学研究所研究員，2010年東京農工大学工学研究院特任助教，2014年茨城大学工学部情報工学科講師．現在に至る．自然言語処理の研究に従事．情報処理学会，人工知能学会，言語処理学会各会員．}\bioauthor{浅原正幸}{2003年奈良先端科学技術大学院大学情報科学研究博士後期課程修了．2004年より同大学助教．2012年より人間文化研究機構国立国語研究所コーパス開発センター特任准教授．2019年より同教授．博士（工学）．言語処理学会，日本言語学会，日本語学会各会員．}\bioauthor{佐々木稔}{1996年徳島大学工学部知能情報工学科卒業．2001年同大学大学院博士後期課程修了．博士（工学）．2001年12月茨城大学工学部情報工学科助手．現在，茨城大学工学部情報工学科講師．機械学習や統計的手法による情報検索，自然言語処理等に関する研究に従事．言語処理学会，情報処理学会各会員．}\bioauthor{新納浩幸}{1985年東京工業大学理学部情報科学科卒業．1987年同大学大学院理工学研究科情報科学専攻修士課程修了．同年富士ゼロックス，翌年松下電器を経て，1993年より茨城大学工学部．現在，茨城大学工学部情報工学科教授．博士（工学）．機械学習や統計的手法による自然言語処理の研究に従事．言語処理学会，情報処理学会，人工知能学会各会員．}\end{biography}\biodate\end{document}