label{sec:introduction}単語を密ベクトルで表現する単語分散表現\cite{mikolov-13b,mikolov-13a,pennington-14,levy-14,bojanowski-17}が，機械翻訳\cite{sutskever-14}，文書分類\cite{mikolov-14}および語彙的換言\cite{melamud-15}など多くの自然言語処理応用タスクにおける性能改善に大きく貢献してきた．単語分散表現は今やこれら応用タスクの基盤となっており，その性能改善は重要な課題である．広く利用されているCBOW(ContinuousBag-of-Words)\cite{mikolov-13a}やSGNS(Skip-gramwithNegativeSampling)\cite{mikolov-13b}などの手法では各単語に対して$1$つの分散表現を生成するが，LiandJurafsky\citeyear{li-17}によって，語義ごとに分散表現を生成することで多くの応用タスクの性能改善に貢献することが示されている．そこで，本研究では各単語に複数の語義の分散表現を割り当てる手法を提案する．文脈に応じて分散表現を使い分けるために，多義語に複数の分散表現を割り当てる手法\linebreak\cite{neelakantan-14,paetzold-16d,fadaee-17,athiwaratkun-17}が提案されている．しかし，語義曖昧性解消はそれ自体が難しいタスクであるため，これらの先行研究では近似的なアプローチを用いている．例えば，PaetzoldandSpecia\citeyear{paetzold-16d}は品詞ごとに，Fadaeeら\citeyear{fadaee-17}はトピックごとに異なる分散表現を生成するが，これらの手法には多義性を扱う粒度が粗いという課題がある．以下の例では，いずれの文もトピックは{\ttfood}であり，単語{\ttsoft}の品詞は形容詞である．\begin{enumerate}\renewcommand{\labelenumi}{}\setlength{\leftskip}{1.0cm}\item{\itIatea\textit{\textbf{soft}}candy.}\label{enum:soft1}\item{\itIdrunk\textit{\textbf{soft}}drinks.}\label{enum:soft2}\end{enumerate}先行研究ではこれらの単語{\ttsoft}を同じ分散表現で表す．しかし，例\ref{enum:soft1})の単語{\ttsoft}は{\tttender}という意味を，例\ref{enum:soft2})の{\ttsoft}は{\ttnon-alcoholic}という意味を表すため，これらに同一の分散表現を生成するのは適切ではない．このような品詞やトピックでは区別できない多義性を考慮するために，各単語により細かい粒度で複数の分散表現を割り当てることが望ましい．そこで本研究では，文脈中の単語を手がかりとして，先行研究よりも細かい粒度で各単語に複数の分散表現を割り当てる$2$つの手法を提案する．$1$つ目の手法は，文脈中の代表的な$1$単語を考慮して語義の分散表現を生成する手法である．この手法では語義を区別する手がかりとして，各単語と依存関係にある単語を用いる．$2$つ目の手法は，文脈中の全ての単語を考慮して語義の分散表現を生成する手法である．この手法では双方向LSTM(LongShort-TermMemory)を用いて文中に出現する全ての単語を同時に考慮する．どちらの手法も教師なし学習に基づいており，訓練データが不要という利点がある．提案手法の有効性を評価するため，多義性を考慮する分散表現が特に重要な，文脈中での単語間の意味的類似度推定タスク\cite{huang-12}および語彙的換言タスク\cite{mccarthy-07,kremer-14,ashihara-19a}において実験を行った．評価の結果，提案手法は先行研究\cite{neelakantan-14,paetzold-16d,fadaee-17}よりも高い性能を発揮し，より細かい粒度で分散表現を生成することが応用タスクでの性能向上に繋がることが示された．また，詳細な分析の結果，文脈中の代表的な$1$単語を考慮して語義の分散表現を生成する手法は文長に影響を受けにくいため，文が長い場合に，文脈中の全ての単語を考慮して語義の分散表現を生成する手法よりも高い性能を示すことが確認できた．