label{sec:introduction}単語は異なる時期間や分野間で異なる意味や用法を持つことがある．例えば，\textit{meat}は古英語で「食べ物全般」を意味していたが，近代英語では「動物の肉」という狭い意味で使われるようになった．また，\textit{interface}は一般的に「物体の表面」という意味で使われるが，情報科学の分野では「利用者とコンピュータを結びつけるシステム」という意味で使われている．上記のような時期間や分野間で意味や用法の変わる単語を自動で検出する手法は，言語学・社会学や辞書学だけでなく，情報検索においても有用である\cite{kutuzov-etal-2018-diachronic}．本稿ではこれ以降，時期の違いによる意味の変化に焦点を絞って言及する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{30-2ia1f1.pdf}\end{center}\hangcaption{1900年代から1990年代にかけて，学習した単語\textit{coach}のベクトルとその周辺単語のベクトルが変化する様子．}\label{fig:difference}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%近年，このような変化を検出する方法として，単語を周辺単語との共起情報を基にベクトルで表現する単語分散表現が広く用いられている．例として，1900年代と1990年代における単語\textit{coach}の単語ベクトルとその周辺単語ベクトルを図\ref{fig:difference}に示す．図より，\textit{coach}の周辺単語が乗り物関連からスポーツ関連に変化していることがわかる．最終的な意味変化の度合いについては，学習した単語ベクトル$\overrightarrow{coach}_{1900s}$と$\overrightarrow{coach}_{1990s}$のユークリッド距離や余弦類似度などの尺度を用いられることが多い．上記のように異なる時期の文書情報を考慮した単語分散表現は，各時期で独立に訓練した単語分散表現に対応づけを行うなどをして獲得する\cite{kim-etal-2014-temporal,kulkarni-etal-2015-statistically,hamilton-etal-2016-diachronic}．対応づけによる手法は主にWord2Vec\cite{mikolov-etal-2013-efficient}などの文脈を考慮しない単語分散表現を対象としているため，実装が容易で計算コストも低いことから，大規模な計算資源を持たない研究者でも導入することができる\cite{sommerauer-fokkens-2019-conceptual,zimmermann-2019-studying}．しかし，対応づけによる手法は「各文書で学習したベクトル空間を線形変換で対応づけできる」という強い仮定をおいている．そこで近年，対応づけを回避する2つの手法が提案された\cite{yao-etal-2018-dynamic,dubossarsky-etal-2019-time}．%が，現在も以下の問題が残されている．まず，\citeA{yao-etal-2018-dynamic}は各時期の単語分散表現を同時に学習するDynamicWordEmbeddingsを提案した．この手法は回転行列などによる対応づけが不要だが，%後\ref{subsubsec:non-contextual-word-embed}節式\eqref{eqn:dynamic-embed}に示すように，設定に敏感な3つのハイパーパラメータが存在するため，膨大な組み合わせ数の設定から最適なハイパーパラメータを探索する必要がある．次に，\citeA{dubossarsky-etal-2019-time}は全ての時期の文書をただ1つの文書とみなし，事前に用意したリストに載っている単語だけ時期を区別してベクトルを学習するTemporalReferencingを提案した．この手法は1つに結合した文書で単語分散表現を学習すれば良いことから非常に導入しやすいが，リストに載っていない単語は文書間で変化しないと仮定しているため，事前によく選定された対象単語のリストを用意する必要がある．また，時期を考慮した単語分散表現を獲得する手法だけでなく，それらを用いた分析においてもいくつかの問題がある．1つ目は，時期を考慮した単語分散表現を獲得する手法が数多く提案されているにも関わらず，それらの性能の定量的な比較があまり行われていないことである\cite{schlechtweg-etal-2019-wind,shoemark-etal-2019-room,tsakalidis-liakata-2020-sequential,schlechtweg-etal-2020-semeval}．これは主に評価で対象の文書間で意味の変化した単語を用意する必要があるためである．比較が行われていても，多くが英語やドイツ語などのヨーロッパ圏の言語を対象としており，複数の言語での比較は少ない\cite{schlechtweg-etal-2020-semeval}．2つ目は，意味変化が自明な単語に絞った定性的な分析が多いことである．特に英語においては，「陽気な」という意味から「同性愛者」という意味を持つようになった\textit{gay}という単語についての分析が多く\cite{kim-etal-2014-temporal,kulkarni-etal-2015-statistically,hamilton-etal-2016-diachronic,hu-etal-2019-diachronic}，意味の変化が自明でない単語に注目されることは少ない\cite{gonen-etal-2020-simple}．そこで本研究では，これらの問題に対して以下のように取り組む．まず，手法の問題を解消するために，\citeA{dubossarsky-etal-2019-time}のTemporalReferencingに対して2つの拡張を行う．1つ目は，単語ベクトルの学習の際に選定した語彙に含まれるすべての単語を対象単語とすることである．このように拡張することで，対象単語のリストを事前に用意する必要が無くなり，リストに載っていない単語の意味が変化することによる分析漏れなども避けることができる．また，単語ベクトルの変化量から，自明でない単語の意味変化を検出することが可能になる．2つ目は，周辺単語ベクトルも文書間での変化を考慮することである．一般的に動的な単語分散表現\cite{yao-etal-2018-dynamic}でない限り，学習した単語分散表現の対象単語ベクトルは文書間で獲得されるが，一緒に学習される周辺単語ベクトルは文書間で固定されているか，対応が取れていないことが多い\cite{kim-etal-2014-temporal,kulkarni-etal-2015-statistically,hamilton-etal-2016-diachronic,dubossarsky-etal-2019-time}．そこで，DynamicWordEmbeddingsのように周辺単語ベクトルも文書間での変化を考慮するような拡張を行う．次に，実験において，複数の言語での性能比較および網羅的な分析を行った．定量的な分析においては，各手法で意味変化した単語の検出性能を評価した．SemEval-2020Task1\cite{schlechtweg-etal-2020-semeval}で4つの言語において提案した拡張方法による効果を検証した後に，英語と日本語の2つの言語において先行研究と提案した拡張手法の性能を比較した．先行研究との比較の際には，意味変化を検出する性能だけでなく，単語分散表現の学習に要する計算時間も比較した．定性的な分析においては，先行研究によって意味の変化が報告されている単語だけでなく，意味の変化が自明でない単語についても，網羅的な分析を行った．本稿の構成を示す．第\ref{sec:relatedwork}節では時期を考慮した単語分散表現を獲得するための先行研究および既存手法の問題点について述べる．第\ref{sec:proposal}節では既存手法の問題点を解消するための拡張方法を提案する．第\ref{sec:preexperiment}節と第\ref{sec:experiment}節では提案手法と既存手法について，意味変化した単語の検出性能を比較する．第\ref{sec:qualitative}節では各手法が検出した単語や，意味変化の種類・傾向について分析を行う．最後に，第\ref{sec:conclusion}節で本研究の結論を述べる\footnote{実験に使用したコードは以下で公開している．\url{https://github.com/a1da4/pmi-semantic-difference}}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%