\label{sec:intro}テキスト分類\cite{shen-2018}や機械翻訳\cite{qi-2018}など，多くの自然言語処理タスクにおいて単語分散表現は基盤となる言語資源である．しかし，広く利用されているGloVe\cite{pennington-2014}やfastText\cite{bojanowski-2017}などの単語分散表現はモデルサイズが非常に大きく，モバイル機器などメモリ容量が制限された環境での自然言語処理アプリケーションの開発において，大きな問題となっている．例えば，$200$万単語にそれぞれ$300$次元のベクトルを割り当てるfastText\footnote{\url{https://fasttext.cc/docs/en/english-vectors.html}}は，約$2$GBの記憶領域を必要とする．語彙サイズを限定することで単語分散表現のモデルサイズを削減できるが，これはシステムが処理できない未知語を増大させるため，アプリケーションの性能を著しく悪化させてしまう．未知語の発生を避けつつ単語分散表現のモデルサイズを削減するために，文字\cite{pinter-2017,kim-2018}や文字N-gram\cite{zhao-2018,sasaki-2019}の情報から単語分散表現を推定する研究が行われてきた．単語のタイプ数に比べて文字や文字N-gramのタイプ数は著しく少ないため，これらの部分文字列\footnote{本研究では，文字や文字N-gramのことを部分文字列と呼ぶ．}から単語分散表現を高精度に推定できれば，アプリケーションの性能を保持したままモデルサイズを削減できる．これらの先行研究では，図~\ref{fig:reconstruction}に示すように，部分文字列の分散表現から単語の分散表現を構成し，学習済みの単語分散表現を模倣する．これらの手法では，学習済み単語分散表現および部分文字列という対象単語から得られる局所的な情報のみを扱ってきた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1and2\begin{figure}[b]\noindent\begin{minipage}[b]{202pt}\includegraphics{28-1ia10f1.pdf}\caption{部分文字列に基づく単語分散表現の模倣}\label{fig:reconstruction}\end{minipage}\hfill\begin{minipage}[b]{202pt}\includegraphics{28-1ia10f2.pdf}\caption{提案手法における損失計算}\label{fig:loss}\end{minipage}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本研究では，図~\ref{fig:loss}に示すように，対象単語以外の単語も手がかりとして利用する大域的な訓練によって，単語分散表現の模倣性能を改善する．似た意味を持つ単語同士が似たベクトルを持つという単語分散表現の特性を考慮して，対象単語の学習済み単語分散表現を模倣する通常の訓練に加えて，対象単語と他の単語との類似度分布を模倣する訓練も行うマルチタスク学習を実施する．我々の提案手法は，部分文字列の単位や模倣モデルの構造に依存せず，部分文字列から単語分散表現を模倣する全ての既存手法に容易に適用できる．単語間の意味的類似度推定タスク\cite{faruqui-2014}における評価実験の結果，本手法の適用によって全ての先行研究における単語分散表現の模倣性能が改善した．特に，文字N-gramから単語分散表現を模倣する自己注意機構\cite{sasaki-2019}に本手法を適用することによって，fastTextの$97$\%の品質を保持しつつモデルサイズを$74$MB（$30$分の$1$）に削減できた．また，モデルサイズを$12$MB（$200$分の$1$）に削減した状態でも，元のfastTextの$87$\%の品質を保つことができた．さらに，テキスト分類タスク\cite{conneau-2018}の評価においても，$12$MBの設定で元のfastTextの$90$\%程度の品質を保持できることを確認した．%==================================================