意味変化分析に向けた単語埋め込みの時系列パターン分析

単語の意味は時代によって変化することがある．例えば，「こだわる」という単語は近代でネガティブな意味『執着する』を持っていたが，現代でポジティブな意味『追求する』を獲得した[1]．通時的な単語の意味変化を捉えることは言語学の分析に有用である[2]．また，自然言語処理の分野への応用も期待されている．最近広く注目を集めている事前訓練済みの大規模言語モデルは，時代経過で訓練データの時代が古くなることで，最新の知識を持った入力に対応できなくなり，性能が低下することが言われている[3]が，時代間で意味が変化した単語を重点的に追加訓練することで，時代経過による性能低下を効率的に防ぐことができる[4]．意味変化のモデル化に向けて，意味変化のパターンを理解することは，これまでに発生した単語の意味変化を説明するだけでなく，将来発生する意味変化を予測するために重要である．先行研究では，頻度や多義性によって意味変化のしやすさが説明できの年代ごとに学習しSVDで圧縮した際の単語「自在」の埋め込みの2003–2020年の変化．𝑥軸，𝑦軸，𝑧軸の順に分散上位の2,3,5次元目を表す．色が濃い方が古い年代，薄い方が新しい年代を表している．時系列の変化が確認できる．ることや[5]，意味変化のパターンとして意味競争，意味協力といった語義同士の関係が示唆されている[6]．これらの分析ではなぜ頻度や多義性が意味変化のしやすさに関係するのか，なぜこのような語義同士の関係が存在するか，といったメカニズムが明らかにされていない．そこで本研究では，意味変化のパターンを分析するための前段階として，複数の時期で学習された単語埋め込みの時系列特性を分析する．図2に本研究の概要図を示す．まず，時期ごとに異なる単語埋め込みを同時に学習し，対象単語の埋め込みを抽出する．次に，抽出された行列を特異値分解(SingularValueDecomposition;SVD)や独立成分分析(IndependentComponentAnalysis;ICA)といった次元圧縮手法を用いて低次元に圧縮する．その後，圧縮された時系列データを関数データ[7]として扱い，クラスタリングを行う．最後に，時系列の埋め込みやクラスタの分析を行い時系列単語埋め込みのパターンを調査する．本研究の貢献は以下となる．.•単語埋め込みの時系列パターン分析手法を提案した．時系列のパターンが分析可能となり，意味変化の分析につながることが期待できる．•分析結果より，単語群の非自明な時系列パターンを発見した．これはデータの特徴にあったパターンであると考えられる．