\label{sec:intro}word2vec\cite{Mikolov2013}をはじめとする\emph{単語分散表現}やBERT\cite{Devlin2019-ri}に代表される\emph{事前学習済み言語モデル}\footnote{本研究では，BERTのようなマスク型言語モデルも含めて，広義の言語モデルとみなす．}など，大量の学習コーパスを用いて事前学習したニューラルネットワークのモデルの利活用が一般的になっている．研究者や実務者はこのような\emph{事前学習済みモデル}を，各々のタスクに合わせて利用し，必要に応じてファインチューニングする．公開されている事前学習済みモデルやAPIを起点とするのが一般的ではあるが，個別の用途に合わせた独自の事前学習済みモデルを構築することにも大きな利点がある\cite{Zhao2023-hy}．事前学習済み言語モデルに関しては，例えばドメイン特化のSciBERT\cite{Beltagy2019-wt}，BioBERT\cite{10.1093/bioinformatics/btz682}，FinBERT\cite{araci2019finbert}が提案され，下流のドメイン固有タスクで一般的なBERTに比べ優れた性能を発揮している．単語分散表現でも，独自コーパスでモデルを構築する研究や応用が数多くある\cite{lassner-etal-2023-domain}．独自の事前学習済みモデルを構築・運用する際には，事前学習時に存在しなかった新しいテキストに対する性能劣化に注意しなければならない\cite{ishihara-etal-2022-semantic}．言語は社会的事象の発生などを理由に常に変化し続けている\cite{Traugott2017-ui}．特に単語の通時的な意味変化は\textbf{セマンティックシフト(SemanticShift)}と呼ばれ，事前学習済みモデルの\emph{時系列性能劣化}\footnote{本研究では，事前学習済みモデルの性能が，事前学習時に存在しなかった新しいテキストに対して劣化する現象を時系列性能劣化と呼ぶ．}を引き起こすと指摘されている\cite{Loureiro2022-mj,Mohawesh2021-pc}．時系列性能劣化を計測する最も素朴な方法は，実際に新しいテキストを学習コーパスを加えて事前学習済みモデルを構築し，ファインチューニングをして新しいテキストに対する推論を行い，性能を評価し比較することである（図\ref{fig:project_overview}上）．しかし，大規模な事前学習済みモデルの構築・ファインチューニング・推論には膨大な計算量が必要なため，費用や時間の側面が実用上の課題となる．特に事前学習済み言語モデルは，性能に関する経験的なスケーリング則\cite{Kaplan2020-vr}の存在に後押しされて大規模化が加速しており，時系列性能劣化の計測にかかる費用・時間も増大している\footnote{たとえば175億のパラメータサイズを持つGPT-3\cite{NEURIPS2020_1457c0d6}は事前学習に数千petaflop/s-dayの計算資源を消費した．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1\begin{figure}[t]\begin{center}\includegraphics{31-4ia6f1.pdf}\end{center}\hangcaption{本研究の問題設定の概要図．学習コーパス内の単語の通時的な意味変化に着目し，事前学習済みモデルの時系列性能劣化を，実際に計測する以前に監査するための手法を開発する．}\label{fig:project_overview}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本研究の目的は，事前学習済みモデルの時系列性能劣化を，事前学習・ファインチューニング・推論を実施することなく監査する枠組みの開発である（図\ref{fig:project_overview}下）．我々は事前学習済みモデルの時系列性能劣化は学習コーパス内の単語の通時的な意味変化に起因するという仮説を定め，セマンティックシフトの研究領域の知見を応用した監査指標\emph{SemanticShiftStability}を設計する（\ref{sec:proposed-method}節）．この指標は，異なる時間幅の学習コーパスを用いて作成された2つのword2vecモデルを比較することで計算される．word2vecモデルは比較的低コストで作成できる．事前学習済み言語モデルを追加で事前学習・ファインチューニング・推論することなく，時系列性能劣化を推測できれば，優れた監査の仕組みとなる．提案する監査の枠組みの有用性を検証するため，まず予備実験として事前学習済みモデルの時系列性能劣化を観察した（\ref{sec:degradation}節）．具体的には，日本語のRoBERTaモデル\cite{Liu2019-vu}と，日本語・英語のword2vecモデルを，学習コーパスの期間を変えてそれぞれ11ずつ作成した．その後，これらのモデルの時系列性能劣化を監査するという設定で，提案する指標を活用する実験を行った（\ref{sec:experiments}節）．この実験を通じて，学習用コーパス間の単語の通時的な意味変化も大きい際に，モデルの時系列性能劣化が発生していると分かった．提案する指標の利点を活かし，意味が大きく変化した単語から原因を推察した結果，2016年の米大統領選や2020年の新型コロナウイルス感染症の影響が示唆された．本研究の主要な貢献は，以下の通りである．\begin{enumerate}\setlength{\parskip}{0cm}%\setlength{\itemsep}{0cm}\itemセマンティックシフトの研究領域の新たな応用として，事前学習済みモデルの時系列性能劣化を監査する枠組みを提案した．さらにセマンティックシフトに関する既存研究を拡張し，効率的に計算可能な監査指標SemanticShiftStabilityを設計した.\item学習コーパスの期間が異なる英語と日本語の事前学習済みモデルを作成して，時系列性能劣化の存在を明らかにした上で，設計した監査の枠組みの有用性を検証・議論した．\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2