Re-learning Contexts with Sense Embeddings小中　史人†　　白井　屋人†三浦　孝夫† †法政大学　理工学研究科　〒 184–8584東京都小金井市梶野町3-7-2 †† 島根大学　総合理工学研究科　〒 690–8504 島根県松江市西川津町1060 E-mail: †fumito.konaka.2t@stu.hosei.ac.jp, ††shirai@cis.shimane-u.ac.jp, †††miurat@hosei.ac.jpあらまし　語の埋め込み表現には，その後が多義語であった場合にそれぞれの意味を区別して表現できないという問題がある．語ではなく意味の埋め込み表現を学習する手法も提案されているが，意味の埋め込み表現のみを用いた文脈の表現・語義の予測はされていない．本研究は，意味の埋め込み表現を用いた文脈表現と語義の予測を目的とする.具体的には，意味の埋め込み表現を用いた多次元正規分布による文脈の表現と語義の予測，並びに文脈の再学習手法を提案する．評価実験では語義曖昧性解消タスクと文の意味的類似度タスクを行い，提案手法の有効性を検証する.キーワード　埋め込み表現，語義曖昧性解消，文の意味的類似度
1.前書書きき
インターネット上には膨大な数の文書が存在している．今日ではTwitter(# 1)やFacebook(# 2) , Instagram(# 3)などのソーシャルネットワークサービス(Social Network Service, SNS)の普及・流行により，あらゆる人々が容易に情報を発信できる.また，過去の書籍の電子化も進んでおり，インターネット上に存在する文書数は日々増加し続けている．これらの文書に含まれる情報の全てを人手で把握することはできないため，計算機技術の発展に伴い，計算機による支援が求められている.計算機支援の1つとして，文書検索がある．文書検索とは，大最の文書集合からクエリに類似する文書を抽出するタスクである．このタスクでは，文書の情報表現として主にBag-Of-Wordsを用いる.  Bag-Of-Wordsはベクトルの各次元を語として考え,各次元の成分を文書内でのその語の出現回数や重みとする．このため， Bag-Of-Wordsで表現された文書はスバースかつ高次元という特徴を持つ．この方法は非常に容易に構築可能という利点を持つ一方で， (1)短い文書に有効でない， (2)出現順序情報の損失，  (3)同義語や類義語などの単語同士の意味関係を反映できない，という欠点を持つ. Bag-Of-WordsではSNS上で生成されるような短い文書を扱えないため，計算機上で文の意味を表現する研究が盛んに行われている[1] [2] [3] [4] [5] [24]. 文の意味を適切に解釈するために，語の並びに注目した手法も提案されている[23].語同士の意味関係を扱うためには，外部知識の利用やコーバスを用いた表現の自動獲得が考えられる．前者は， WordNet [16]のような人手によって構築された機械可説な辞書を用いて意味情報を取得する．この方法は非常に細かい粒度で意味を扱うことができるが，意味の関係性は人手によって記述されているため，扱える語数に限りがある．後者は，語の埋め込み表現(Word Embeddings)と呼ばれる，低次元で密な実数値ベクトルによる単語表現を自動的に獲得する[7] [15].しかし，語が多義語であった場合にそれぞれの語義を区別して表現できない.ある語が用いている語義を文脈から明らかにするタスクは語義藤昧性解消(Word Sense Disambiguation, WSD)と呼ばれている[17].語義曖昧性解消を解くと同時に埋め込み表現を学習する手法も提案されている[18] [22]が，子測の際の文脈表現には語の埋め込み表現を利用している.そこで本研究では，意味の埋め込み表現を用いた文脈表現と語義の予測を目指す.具体的には，意味の埋め込み表現を用いた多次元正規分布による文脈の表現と語義の子測，並びに文脈を再学習する手法を提案する.これにより,意味の埋め込み表現のみを用いた文脈表現が可能となる．語義曖昧性解消に用いられる文脈は多義語を合む可能性があり，各語義を明確に区別して表現することで，より適切な語義の予測が期待できる.本研究の貢献は， (1)意味の埋め込み表現による文脈表現の提案， (2)意味の埋め込み表現による文脈を用いた語義の予測と文脈の再学習手法の提案，の二つからなる.本稿の構成を述べる．２章では背景と関連研究を示し，本研究の位置づけについて整理する．３章では，意味の埋め込み表現を用いて語義の周辺文脈を表現する提案手法について説明する．4章では評価実験の結果を示し，５章では結論を述べる.
2.研究目的とその背景
2.1 語の埋め込み表現語の埋め込み表現は「似た文脈に出現する単語は似た意味を持つ」という分布仮説[10]に基づく.  Bag-Of-Wordsはベクトルの各次元を単語として扱っているため，語数が少ない短い文書は適切に扱うことができない．こうした問題は語の埋め込み表現による解決が期待できる. DeerwesterらはBag-Of-Wordsで表現された単語文書行列を特異値分解することで，低次元で密な行列に圧縮する手法を提案している[7]．単語文書行列は，文書内での語の出現回数や重みをベクトルの成分としている．つまり，文書内全体における共起（以下，大域文脈）を扱える．この手法は単語数の増加と共に次元数が増えるため，大きなコーバスに対して適用する場合は大規模な記憶装置が必要となる．また，行列分解の計算コストが大きいため新しい語の追加も困難である． Mikolovらは，周辺語を予測するSkip-Gramモデルを提案している[15].この手法は[7]よりも高速に学習できるが，巨大なコーバスを要求する. [7]と比較すると, [15]は単語周辺での共起（以下,局所文脈）のみを考慮している.  Penningtonらは局所文脈と大域文脈の両方を用いることで, [7]と[15]双方の特長を活かす手法を提案している[19].また，外部知識を用いて学習済みの語の埋め込み表現を再学習する手法も提案されている[8].語の埋め込み表現は，文脈に依存して変化する語義を区別して表現できない．barrelという名詞を考える．この語は， (1)大きな樽,  (2)銃身,  (3)シリンダー,  (4)時計の香箱,  (5)石油量の単位バレル, (6)液量の単位バレル,など複数の語義を持っている.  barrelは，銃に関する記事では(2)の語義が，石油に関するニュースでは(5)の語義が，ビールに関する記事では(6)の語義が用いられている可能性が高い．また， (2)の語義に類似する語としては銃や弾が考えられるが， (4)の語義については銃よりもCASIOなど時計に関係する語が類似すべきである．しかし語の埋め込み表現は，語に対してベクトルを付与しているために，類似すべき語を文脈に応じて区別することができない．この問題は，語ではなく語義に対してベクトルを付与することで解決が期待できる.
2.2 語の埋め込み表現による文の意味的類似度
文の意味的類似皮タスク(Semantic Textual Similarity, STS）は2つの文に対して類似度を計算し，人手によって付与された類似度と比較するタスクである．表1に示すような， 2つの文に対して人手による類似度が付与されたデータセットが公開されている(#4)
文の意味的類似度タスクでは，外部知識や固有表現など様々な特徴量を用いて回帰する手法が多く提案されている[1] [2] [3] [4] [5] [24].  Kenterらは語の埋め込み表現を用いてこのタスクに取り組んでいる[12]．彼らは2つの入力文に出現している語の埋め込み表現をそれぞれ平均したベクトルを文の表現と見做す.そして文の表現間のコサイン類似度やユークリッド距離を計算し，それらの値を特徴最として採用している.文の埋め込み表現を学習するものとしては，段落IDと語の埋め込み表現を用いて文の埋め込み表現を学習する手法[13]や,双方向LSTM (Long Short-Term Memory)に語の埋め込み表現を入力し，文脈の類似皮を計算する手法[23]がある.文の意味的類似度を精度良く求めるために語義曖昧性解消を用いる手法も存在する. Pilehvarらは,文に含まれている語の語義の最適な組み合わせを探索する手法を提案している[20].文の意味的類似度を求めるために語の埋め込み表現を用いる手法は数多く提案されている[12] [13] [23]が，語の埋め込み表現を用いているため，文中の語の多義性を考慮していない. 2.3 関連研究と本研究の位置づけ語の埋め込み表現は多義語が持つそれぞれの意味を区別して扱えない．この問題を解決するために，語義に対して低次元で密な実数値ベクトルを付与する，意味の埋め込み表現(Sense Embeddings)が提案されている.  Neelakantanらは[15]を拡張し，意味の埋め込み表現を学習するMulti Sense Skip-Gram (MSSG)モデルとNon-Parametric MSSG (NP-MSSG)モデルを提案している[18]. 単語あたりの語義数は，MSSGではバラメータとして与えられるが，NP-MSSGではノンバラメトリックに決定される. 文脈窓幅2,語義数3のMSSGモデルを図1に示す.まず語の埋め込み表現による文脈ベクトルと,語義に対応する各クラスタの重心とのコサイン距離を求める.その後，最も距離が近いクラスタを語義として選択し，それを用いて周辺語を予測する.  Tianらも[18]と似た発想で,周辺語から語義を確率的に決定し，それを用いて周辺語を予測するモデルを提案している[22].図1:文脈総幅2,語義数3のMSSGモデル. 図中のpredicted senseは，文脈から子測された語義であることを示す．このモデルは意味の埋め込み表現を学習しているが，周辺語の表現には語の埋め込み表現を用いている.意味の埋め込み表現は[18]や[22]で, [15]と同程度以上の精度を示すことが報告されており，文の意味的類似度タスクにおいても意味の埋め込み表現が有効に機能することが期待できる.しかし，これらの手法は周辺語の表現に語の埋め込み表現を用いており，意味の埋め込み表現による文脈の表現や語義の子測は行っていない．つまり，ある単語の周辺に出現している語が多義語であった場合に，その各語義を区別して扱うことができない．このため本研究では，意味の埋め込み表現を用いた文脈表現の獲得と，それを用いた語義の予測を目指す.
提案手法
3.
本章では新たな文脈の表現と語義の予測，並びに文脈の再学習手法を提案する．これにより， (1)意味の埋め込み表現による文脈の表現,  (2)意味の埋め込み表現による文脈表現を用いた語義の予測， 3)意味の埋め込み表現による文脈表現を用いた文脈の再学習，が可能になる．提案手法は意味の埋め込み表現を用いることで，従来の文脈表現では扱えない周辺語の多義性を考慮することができる.また, (1), (3)により適切な文脈表現の獲得と， (2)により多義性を考慮した文脈表現を用いた適切な語義の予測が期待できる.具体的には，文脈表現と語義予測のために，学習済みの意味の埋め込み表現と多次元正規分布を用いる。多次元正規分布は連続値を扱う確率分布である．埋め込み表現は連続値を持つベクトルであるため，多次元正規分布の導入は妥当である．また多次元正規分布のバラメータである平均と共分散により,より柔軟な文脈表現が可能となる.提案手法のうち，まず文脈の表現方法を述べる．単語wの語義sが持つ文脈を,多次元正規分布Nç(μ,Σ)で表現する. μ, Σはそれぞれ平均と共分散である.意味の埋め込み表現はベクトルであり，その次元同士は独立である．従って，本研究では共分散Σを対角成分のみを持つ分散行列として扱う.平均μは,語義sが出現している全ての位置の局所文脈を抽出し，その平均とする．分散Σは各局所文脈とμより求まる．次に，意味の埋め込み表現による文脈を用いた語義の予測手法を述べる．ある局所文脈czにおける単語wが持つ語義sは,多次元正規分布の確率密度関数f(æ)を用いて事後確率を計算し，それが最大となる語義とする.
s = argmax P(s i | w,cl) = argmax f w (cl)
最後に，多次元正規分布のバラメータの更新と語義の子測を行う再学習手法の擬似コードをAlgorithm 1に示す.意味の埋め込み表現は既存手法を用いて獲得済みとする．まず，再学習に用いるコーバスを初期化する．その後，各語が持つ語義について，その語義の全ての局所文脈を取得し，N c (μ, Σ)のバラメータを更新する.そして,更新されたバラメータを用いて語義を予測する. これを十分な回数繰り返す.例題を用いて， Algorithm 1の動作を述べる．以下はbankという単語の例文の集合である(#5) Algorithm 1 Re-learning Contexts with Sense Embeddings Input: text, sense embeddings, word list of sense embeddings 1: meansense , varsense ← random, random # Initialize step 1 2: Predict senses of words in every position  # Initialize step 2 3:  for iteration = 1,2,...,n do 4:4 for each word w in word list do for each sense s in w do 5: 6: L ← getLocalContexts(w, s) mean w, var w, ← L length, ∑ i (L[i] – mean)² 7: 8: end for for each pos p in text if p has w do 9: 10: Predict the sense of w in p by equation (2) end for 11: 12: end for 13: Update senses of words in every position 14: end for The boat grounded on a sand bank. ….  The bank gave way in the flood.  ...  The 130th National Bank (Hyakusanju Bank) → 11 banks includ- ing the 130th National Bank were merged into the Hozen Bank in 1923. …. It is not allowed to climb the bank.初期化ステップ2で，何らかの方法によりbankの語義曖昧性を解消したものとする．以下はその結果である． The boat grounded on a sand bank_2.  ...  The bank 1 gave way in the flood.  ...  The 130th National Bank_1 (Hyakusanju Bank_1) → 11 banks_1 including the 130th National Bank_1 were merged into the Hozen Bank_1 in 1923. ….  It is not allowed to climb the bank_1.ここでbank_1は銀行を, bank_2は土手もしくは堤防という語義を表しているものとする.簡単のためbankのみ意味を区別しているが，他の語についても同様に語義曖昧性を解消する.次にbank_1とbank_2それぞれについて，局所文脈を得る.文脈総幅は2とすると，最初に出現するbank_1の周辺語として見なされる語はthe, gave, wayとなる．文脈語について意味の埋め込み表現を平均し，それを局所文脈として扱う．bank_1, bank_2それぞれについて全ての局所文脈を計算し，平均する.これにより多次元正規分布のバラメータが更新される.更新されたバラメータを用いて，式2に従い，語義を予測する．以下に示す結果において，斜体は語義が更新された箇所である. The boat grounded on a sand bank_2.  ...  The bank_2 gave way in the flood.  ...  The 130th National Bank 1 (Hyakusanju Bank 1) → 11 banks_1 including the 130th National Bank_1 were merged into the Hozen Bank_1 in 1923. ….  It is not allowed to climb the bank_2.語義が更新されたため，更なるバラメータの更新が可能になる.
4. 評価実験
本章では，語義曖昧性解消と文の意味的類似度の2つの実験を行う.語義曖昧性解消タスクでは,提案している意味の埋め込み表現による文脈表現が，適切な語義予測を実現できることを確認する．文の意味的類似度タスクでは，適切な語義の予測が，適切な文の表現を実現できることを確認する.
4.1 語義曖昧性解消タスク
4.1.1データセット語義曖昧性解消タスクでは，評価のための様々なデータセットが提案されている[9] [11] [21].しかし，それらの多くは単語ペアと人手によるスコアのみが与えられている．本研究では意味の埋め込み表現を用いた文脈表現とそれによる語義の子測を提案しているため，そのようなデータセットは評価に適さない.本研究における評価実験では，文脈を用いた語義曖昧性解消の精度を評価するため，Huangらが提案しているSCWSデータセット[11]を用いる．表2にSCWSデータセットに含まれているデータの一例を示す。ベースライン，提案手法ともに，語義曖昧性を解消する単語の前後5語を文脈として用いる.表2: SCWSデータセットに含まれているデータの一例、ポールド体は語義曖昧性を解消する単語であることを示す.各ペアには[0,10]の人手による類似度スコアが付与されている.

4.1.2評価指標
評価はデータセットに付与された人手によるスコアと,予測されたスコアとのスビアマン順位相関係数ρで行う.単語間の類似皮指標は, [18]と同様に,  avgSimC,  localSimを用いる.
localSim(w, w') = sim(SE(w, i), SE(w', j)) (4)ここでP(w,c,i)は，局所文脈cの下で単語wがす番目の語義を選択する確率である。また，SE(w,i)は単語wのｉ番目の語義に対応する意味の埋め込み表現であり， simは類似度関数である．本実験では類似度関数としてコサイン類似度を採用する。 avgSimCは，ある文脈における各語義の生起確率で重み付けされた類似皮指標である．一方localSimは，文脈から子測された意味の埋め込み表現のみを用いて類似度を算出する. 4.1.3モデルベースラインとして，NP-MSSG [18]を採用する．このモデルは文脈表現に語の埋め込み表現を用いているため，意味の埋め込み表現で文脈を表現する提案手法との比較に適している. NP-MSSGによる意味の埋め込み表現の学習にはukWaC [6]の100万語コーバスを用い，出現回数10回以上の語を対象に，次元数を150,文脈窓幅を5,最大語義数を5,エポック数は15とする．結果として42,802個の意味の埋め込み表現が獲得される.  avgSimCの計算のためのP(w,c,i)には, [18]に従い,コサイン距離の逆数を用いる.提案手法のバラメータは,ベースラインとして獲得された意味の埋め込み表現を用いてukWaCの100万語コーバスの文脈を再学習して獲得する.  Algorithm 1における初期化ステップ2は[18]に従い，Context Cluster Centersと局所文脈とのコサイン距離を計算し，最も距離が近いクラスタに対応する語義を選択する. avgSimCの計算のためのP(w,c,i)には,多次元正規分布の確率密度を用いる．またSCWSデータセットに対しても同様に，まずContext Cluster Centersを用いて周辺語の語義を予測する.その後,予測された語義に対応する意味の埋め込み表現を用いて確率密度を計算する.
4.1.4 実験結果
表3に，実験結果を示す．avgSimCの観点では，反復回数が偶数の時に提案手法がベースラインよりも強い相関を示していることがわかる．また，反復回数が偶数回の時には0.31程度の相関を示している．一方，奇数回の時には0.22程度の相関を示している. これより，提案手法では偶数回の反復で得られる分布と奇数回で得られる分布に規則性があると思われる. localSimの観点では，提案手法は全ての分布においてベースラインよりも強い相関を示しており，ベースラインよりも適切に文脈を表現できていると言える.

4.1.5考察
ます。提案手法において反復回数1回の分布がlocalSimの親点で最も強い相関を示す理由を述べる．評価実験において，局所文脈の意味の埋め込み表現はNP-MSSGによって予測されたものである．反復回数1回の分布も同様に，NP-MSSGによって予測された語義から得たバラメータである．ゆえに，反復回数1回の分布が最も強い相関を示していると考えられる.次に， avgSimCの観点で提案手法が示す相関に規則性が見られる理由を検討する. 図2に，各反復におけるKLダイバージェンスを示す. ↑回目の反復で符られた分布のKLダイバージェンスは，下式で算出している.
上式において，変数の下に添えられたnはn回目の反復で得たバラメータであり，dは多次元正規分布の次元数である．図2より，収束性は確かめられない．また，奇数回目の反復で得た分布は，偶数回目の反復で得た分布と比べ，分布が大きく変化した語義が少ないことがわかる．表5に，偶数回目／奇数回目の反復で得た分布における，各分布のKLダイバージェンス降順トップ100語義と，前回の分布におけるトップ100語義との共通語義数と共通する語義の一例を示す. 表5より, 奇数回目の反復で得た分布では偶数回目の反復で得た分布よりも多くの共通語義を有していることが確認できる．これは，文脈表現を更新する提案手法が意味の埋め込み表現自体の再学習をしていないために，文脈表現が振動していると考えられる.ス．奇数回目の反復で得た分布は，偶数回目の反復で得た分布と比べ，分布が大きく変化した語義が少ないことがわかる.更に， localSimの観点で提案手法がベースラインよりも強い相関を示す理由を考察する.  SCWSデータセットには2,003件の評価用データが含まれている．このうち783件は，未知語が語義曖昧性解消の対象であるために類似度を計算できていない．類似度が求まった1,220件について，表4に，人手によるスコアが[0,5)の場合はFalse,  [5,10]の場合はTrue, 反復1回で得た分布におけるlocalSimが[-1,0)の場合はNegative, [0,1]の場合はPositiveとした際の混同行列を示す. Trueの場合はTP, TNともにNP-MSSGと提案手法に差は見られない.しかしFalseの場合では，提案手法がNP-MSSGよりも多くのペアの類似性を適切に判別できていることがわかる．図3に, FP/FNそれぞれのペアにおける，文脈中に含む多義語数の分布を示す. 図３より,  FNはFPよりも多くの多義語を文脈中に含んでいることがわかる．これより，提案している文脈表現がより精度良い語義の予測を実現していると考えられる.最後に，類似度を求めることができた実例を検討する．表6に，判定できた単語ペアの一例を示す．多義語の判定はWord-表4:人手によるスコアが[0,5)の場合はFalse,  [5,10]の場合はTrue,  localSimが[-1,0)の場合はNegative,  [0,1]の場合はPositiveとした際の混同行列.  Trueの場合はベースラインと提茶手法に差は見られないが， Falseの場合は提案手法がベースラインよりも適切に区別できていることがわかる.
ることがわかる. Net 3.0とNP-MSSGを用いて行っている．表6より，文脈中に多くの多義語を含んでいることがわかる．このため，多義性を考慮した文脈表現が有効に機能していると考えられる. 4.2 文の意味的類似度タスク4.2.1データセット本実験ではSemEval 2012 [1], SemEval 2013 [2], Se- mEval 2014 [3], Sentences Involving Compositional Knowl- edge (SICK) [14], Paraphrase and Semantic Similarity in Twitter (PIT) [24]の5種類のデータセットのテストデータを用いる(#6). 表7に各データセットのデータ数を示す. 4.2.2評価指標評価は，データセットに付与された人手によるスコアと，予測されたスコアとのビアソン相関係数r,スビアマン順位相関係数ρで行う. 文ペアの類似度関数はコサイン類似度とする.
ベースラインには，4.1節で用いたNP-MSSGを用いる．ま
ず文中の各語について語義曖昧性解消を行う．そして予測された語義に対応する意味の埋め込み表現の平均を文の表現とする.提案手法は，4.1節でlocalSimの観点で最も強い相関を示した反復1回目で得た分布を用いる．まずNP-MSSGで語義曖昧性解消を行う．その後，予測された語義に対応する意味の埋め込み表現を用いて，再度，語義曖昧性解消を行う．そしてベースラインと同様に，予測された語義の平均を文の表現とする.
4.2.4実験結果
表8に実験結果を示す．殆どのデータセットにおいて，ピアソン相関係数，スピアマン順位相関係数ともに提案手法がベースラインよりも強い相関を示していることが確認できる. 4.2.5考察提案手法がベースラインよりも強い相関を示す理由を考察する．図4に，提案手法の適用によりベースラインとは異なる語義が予測された語が文ペア中に占める割合の分布を示す．pairs: baselineはペースラインが提案手法よりも人手によるスコアに近いスコアを予測したペアを, pairs: proposed methodは提茶手法がベースラインよりも人手スコアに近いスコアを予測したペアを装す.横軸の割合は，下式で算出している. rate =
ここで，S.diffはある文において異なる語義が予測された語の総数であり，S.lengthは未知語を除いた文中の総単語数である。また縦軸は，2種類のペアそれぞれにおける割合を示す.図4より,  pairs: proposed methodはpairs: baselineよりも,多くの異なる語義が予測されていることがわかる．これより,意味の埋め込み表現による文脈表現が適切な予測を実現し，結果としてより良い文の表現を獲得できていると考えられる.表9にデータセット中の文ペアの一例と，各手法により予測された語義番号を示す.表9より, Sentence 1のTwo, floating, waterはベースラインとは異なる語義が予測されていることがわかる．これより，ある語義の変更が他の語の語義予測に影響を与えていることが確認できる. (7)
表9:データセット中の文ペアの一例と，各手法により予測された語義番号。表中の-は未知語であることを示す．このペアに付与された人手によるスコアは1.8である．ベースラインはこのペアを類似皮3.35と判定しているが，提案手法では類似皮3.77と判定している．表より，提案手法とベースラインで異なる語義が予測されていることを確認できる．

5.結
通
本研究では意味の埋め込み表現を用いた適切な文脈の表現と語義の予測を目的に，多次元正規分布による文脈表現と語義子測，並びに文脈の再学習手法を提案した．多次元正規分布のバラメータである平均と共分散は，より柔軟な文脈の表現を可能にする．提案手法は学習済みの意味の埋め込み表現を用いてバラメータを獲得し，そのバラメータに基いて語義の予測を行う．そして，新たに予測された語義に対応する意味の埋め込み表現を用いてバラメータを更新する.評価実験では，語義曖昧性解消タスクと文の意味的類似度タスクの2種類の実験を行った．前者では，提案手法はスピアマン順位相関係数の観点でベースラインよりも正方向に強い相関を示し，ベースラインよりも適切に語義を予測できることが確かめられた．具体的には，ある文脈下での語義の生起確率で重み付けされた類似皮指標では最大で0.314の相関を達成し,ベースラインと比べ最大0.044の相関の向上を確認できた．予測された語義で計算される類似度指標では最大で0.222の相関を達成し，ベースラインと比べ最大0.056の相関の向上を確認できた．また，後者においても提案手法は殆どのデータセットにおいて，ビアソン相関係数，スビアマン順位相関係数ともにベースラインよりも正方向に強い相関を示し，ベースラインよりも適切に文を表現できることが確かめられた．具体的には，ビアソン相関係数の観点では最大で0.455の相関を達成し，ベースラインと比べ最大0.136の相関の向上を確認できた．スビアマン順位相関係数の観点では最大で0.456の相関を達成し,ベースラインと比べ最大0.144の相関の向上を確認できた.今後は，巨大なコーバスを用いて学習することで語義曖昧性解消タスクにおいてより高い相関を実現したい．さらに，文の意味的類似度タスクで語の埋め込み表現を用いた文の表現と比較し，意味の埋め込みがより適切に文を表現できることを確認したい．また，提案手法は文脈表現を更新しているが意味の埋め込み表現の学習は行っていないため，提案手法の意味の埋め込み表現の学習への組み込みも検討したい.
文
動
Eneko Agirre, Daniel Cer, Mona Diab, and Aitor Gonzalez- [1] Agirre (2012): "SemEval-2012 Task 6:  A Pilot on Semantic Textual Similarity", in Proceedings of the 6th International Workshop on Semantic Evaluation (SemEval), pp. 385-393. [2] Eneko Agirre, Daniel Cer, Mona Diab, Aitor Gonzalez- Agirre, and WeiWei Guo (2013): "*SEM 2013 shared task: Semantic Textual Similarity", in Proceedings of the 7th In- ternational Workshop on Semantic Evaluation (SemEval), pp. 32-43. Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, [3] Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe (2014): "SemEval-2014 Task 10:  Multilingual Semantic Textual Similarity", in Proceedings of the 8th International Work- shop on Semantic Evaluation (SemEval), pp. 81-91. [4] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Inigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe (2015): "SemEval- 2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability", in Proceedings of the 9th In- ternational Workshop on Semantic Evaluation (SemEval), pp. 252-263. Eneko Agirre, Carmen Banea, Daniel Cer, Mona Diab, [5] Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe (2016): "Semeval-2016 Task 1: Semantic Textual Similarity, Monolingual and Cross-Lingual Evalu- ation", in Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 497-511. Marco Baroni, Silvia Bernardini, Adriano Ferraresi, and [6] Eros Zanchetta (2009): "The WaCky Wide Web: A Col- lection of Very Large Linguistically Processed Web-Crawled Corpora", Language Resources and Evaluation 43 (3), pp. 209-226. Scott Deerwester, Susan T. Dumais, George W. Furnas, [7] Thomas K. Landauer, and Richard Harshman (1990): "In- dexing by latent semantic analysis", Journal of the Ameri- can society for information science, 41(6), pp. 391-407. Manaal Faruqui, Jesse Dodge, Sujay Kumar Jauhar, [8] Chris Dyer, Eduard Hovy, and Noah A. Smith (2015): "Retrofitting Word Vectors to Semantic Lexicons", in Pro- ceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 1606- 1615. Lev Finkelstein, Evgeny Gabrilovich, Yossi Matias, Ehud [9] Rivlin, Zach Solan, Gadi Wolfman, and Eytan Ruppin (2001): "Placing search in context:  The concept revis- ited", in Proceedings of the 10th international conference on World Wide Web (WWW), ACM, pp. 406-414. [10] Zellig S. Harris (1954): "Distributional structure", Word, Vol. 10, pp. 146-162. Eric H. Huang, Richard Socher, Christopher D. Manning, [11] and Andrew Y. Ng (2012): "Improving Word Representa- tions via Global Context and Multiple Word Prototypes", in Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 873-882. Tom Kenter and Maarten de Rijke (2015): "Short Text Sim- [12] ilarity with Word Embeddings", in Proceedings of the 24th ACM International Conference on Information and Knowl- edge Management (CIKM), pp. 1411-1420. [13] Quoc Le and Tomas Mikolov (2014): "Distributed Rep- resentations of Sentences and Documents", in Proceedings of the 31st International Conference on Machine Learning (ICML), pp. 1188-1196. Marco Marelli, Stefano Menini, Marco Baroni, Luisa Ben- [14] tivogli, Raffaella Bernardi, and Roberto Zamparelli (2014): "A SICK cure for the evaluation of compositional distribu- tional semantic models", in Proceedings of the 9th Interna- tional Conference on Language Resources and Evaluation (LREC), pp. 216-223. [15] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Cor- rado, and Jeff Dea (2013): "Distributed representations of words and phrases and their compositionality", in Proceed- ings of Advances in Neural Information Processing Systems (NIPS), pp. 3111-3119. George A. Miller (1995): "WordNet: a lexical database for [16] English", Communications of the ACM, 38.11: 39-41. Roberto Navigli (2009): "Word sense disambiguation:  A [17] survey", ACM Computing Surveys (CSUR) 41.2, 10. [18] Arvind Neelakantan, Jeevan Shankar, Alexandre Passos, and Andrew McCallum (2014): "Efficient non-parametric estimation of multiple embeddings per word in vector space", in Proceedings of the 2014 Conference on Empir- ical Methods in Natural Language Processing (EMNLP), pp. 1059-1069. Jeffrey Pennington, Richard Socher, and Christopher D. [19] Manning (2014): "Glove:  Global Vectors for Word Rep- resentation", in Proceedings of the 2014 Conference on Em- pirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543. Mohammad Taher Pilehvar, David Jurgens, and Roberto [20] Navigli (2013): " Align, Disambiguate and Walk: A Unified Approach for Measuring Semantic ", in Proceedings of the 51th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1341-1351. [21] Herbert Rubenstein and John B. Goodenough (1965): "Contextual correlates of synonymy", Communications of the ACM, 8.10, pp. 627-633. [22]  Fei Tian, Hanjun Dai, Jiang Bian, Bin Gao, Rui Zhang, Enhong Chen, and Tie-Yan Liu (2014): "A Probabilistic Model for Learning Multi-Prototype Word Embeddings", in Proceedings of the 25th International Conference on Com- putational Linguistics (COLING), pp. 151-160. [23] Shengxian Wan, Yanyan Lan, Jiafeng Guo, Jun Xu, Liang Pang, and Xueqi Cheng (2016): " A Deep Architecture for Semantic Matching with Multiple Positional Sentence Rep- resentations", in Proceedings of the 30th AAAI Conference on Artificial Intelligence (AAAI), pp. 2835-2841. [24] Wei Xu, Chris Callison-Burch, and William B. Dolan (2015): "SemEval-2015 Task 1: Paraphrase and Semantic Similarity in Twitter (PIT)", in Proceedings of the 9th In- ternational Workshop on Semantic Evaluation (SemEval), pp. 1-11.