\section{はじめに}
\label{sec:intro}word2vec\cite{Mikolov2013}をはじめとする\emph{単語分散表現}やBERT\cite{Devlin2019-ri}に代表される\emph{事前学習済み言語モデル}\footnote{本研究では，BERTのようなマスク型言語モデルも含めて，広義の言語モデルとみなす．}など，大量の学習コーパスを用いて事前学習したニューラルネットワークのモデルの利活用が一般的になっている．研究者や実務者はこのような\emph{事前学習済みモデル}を，各々のタスクに合わせて利用し，必要に応じてファインチューニングする．公開されている事前学習済みモデルやAPIを起点とするのが一般的ではあるが，個別の用途に合わせた独自の事前学習済みモデルを構築することにも大きな利点がある\cite{Zhao2023-hy}．事前学習済み言語モデルに関しては，例えばドメイン特化のSciBERT\cite{Beltagy2019-wt}，BioBERT\cite{10.1093/bioinformatics/btz682}，FinBERT\cite{araci2019finbert}が提案され，下流のドメイン固有タスクで一般的なBERTに比べ優れた性能を発揮している．単語分散表現でも，独自コーパスでモデルを構築する研究や応用が数多くある\cite{lassner-etal-2023-domain}．独自の事前学習済みモデルを構築・運用する際には，事前学習時に存在しなかった新しいテキストに対する性能劣化に注意しなければならない\cite{ishihara-etal-2022-semantic}．言語は社会的事象の発生などを理由に常に変化し続けている\cite{Traugott2017-ui}．特に単語の通時的な意味変化は\textbf{セマンティックシフト(SemanticShift)}と呼ばれ，事前学習済みモデルの\emph{時系列性能劣化}\footnote{本研究では，事前学習済みモデルの性能が，事前学習時に存在しなかった新しいテキストに対して劣化する現象を時系列性能劣化と呼ぶ．}を引き起こすと指摘されている\cite{Loureiro2022-mj,Mohawesh2021-pc}．時系列性能劣化を計測する最も素朴な方法は，実際に新しいテキストを学習コーパスを加えて事前学習済みモデルを構築し，ファインチューニングをして新しいテキストに対する推論を行い，性能を評価し比較することである（図\ref{fig:project_overview}上）．しかし，大規模な事前学習済みモデルの構築・ファインチューニング・推論には膨大な計算量が必要なため，費用や時間の側面が実用上の課題となる．特に事前学習済み言語モデルは，性能に関する経験的なスケーリング則\cite{Kaplan2020-vr}の存在に後押しされて大規模化が加速しており，時系列性能劣化の計測にかかる費用・時間も増大している\footnote{たとえば175億のパラメータサイズを持つGPT-3\cite{NEURIPS2020_1457c0d6}は事前学習に数千petaflop/s-dayの計算資源を消費した．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1\begin{figure}[t]\begin{center}\includegraphics{31-4ia6f1.pdf}\end{center}\hangcaption{本研究の問題設定の概要図．学習コーパス内の単語の通時的な意味変化に着目し，事前学習済みモデルの時系列性能劣化を，実際に計測する以前に監査するための手法を開発する．}\label{fig:project_overview}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本研究の目的は，事前学習済みモデルの時系列性能劣化を，事前学習・ファインチューニング・推論を実施することなく監査する枠組みの開発である（図\ref{fig:project_overview}下）．我々は事前学習済みモデルの時系列性能劣化は学習コーパス内の単語の通時的な意味変化に起因するという仮説を定め，セマンティックシフトの研究領域の知見を応用した監査指標\emph{SemanticShiftStability}を設計する（\ref{sec:proposed-method}節）．この指標は，異なる時間幅の学習コーパスを用いて作成された2つのword2vecモデルを比較することで計算される．word2vecモデルは比較的低コストで作成できる．事前学習済み言語モデルを追加で事前学習・ファインチューニング・推論することなく，時系列性能劣化を推測できれば，優れた監査の仕組みとなる．提案する監査の枠組みの有用性を検証するため，まず予備実験として事前学習済みモデルの時系列性能劣化を観察した（\ref{sec:degradation}節）．具体的には，日本語のRoBERTaモデル\cite{Liu2019-vu}と，日本語・英語のword2vecモデルを，学習コーパスの期間を変えてそれぞれ11ずつ作成した．その後，これらのモデルの時系列性能劣化を監査するという設定で，提案する指標を活用する実験を行った（\ref{sec:experiments}節）．この実験を通じて，学習用コーパス間の単語の通時的な意味変化も大きい際に，モデルの時系列性能劣化が発生していると分かった．提案する指標の利点を活かし，意味が大きく変化した単語から原因を推察した結果，2016年の米大統領選や2020年の新型コロナウイルス感染症の影響が示唆された．本研究の主要な貢献は，以下の通りである．\begin{enumerate}\setlength{\parskip}{0cm}%\setlength{\itemsep}{0cm}\itemセマンティックシフトの研究領域の新たな応用として，事前学習済みモデルの時系列性能劣化を監査する枠組みを提案した．さらにセマンティックシフトに関する既存研究を拡張し，効率的に計算可能な監査指標SemanticShiftStabilityを設計した.\item学習コーパスの期間が異なる英語と日本語の事前学習済みモデルを作成して，時系列性能劣化の存在を明らかにした上で，設計した監査の枠組みの有用性を検証・議論した．\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{関連研究}
\label{sec:related}本節では関連研究として，事前学習済みモデルの時系列性能劣化と，セマンティックシフトについて整理する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1\subsection{事前学習済みモデルの時系列性能劣化}本研究では事前学習済みモデルとして，事前学習済み言語モデルと単語分散表現の2種類を取り扱う．ラベル付けされていない大規模なコーパスからモデルを事前学習するという考え方は，昨今の自然言語処理領域で不可欠な要素となり，事前学習と下流タスクへのファインチューニングから成る新しい枠組みをもたらした\cite{Zhou2023-en,Zhao2023-hy}.この潮流はword2vecのような単語分散表現から始まり，BERTのような高度な事前学習済み言語モデルへと発展してきた．BERTの後続として，GPT-2\cite{Radford2019LanguageMA}やT5\cite{JMLR:v21:20-074}などの異なるアーキテクチャや，{RoBERTa}や{DeBERTa}\cite{he2021deberta}などの事前学習手法の改善が次々と提案されている．{GPT-3}やPaLMなど，より大規模な事前学習済み言語モデルは大規模言語モデルとも呼ばれ，パラメータ更新なしでも多種多様なタスクに対応できる．ChatGPT\footnote{\url{https://openai.com/blog/chatgpt}}の登場を一つの契機に，社会的な認知や実応用の拡大も急速に進んでいる．数多くの事前学習済みモデルやAPIが提供されている中でも，独自の事前学習済みモデルを構築する試みは少なくない\footnote{たとえば，特定のドメインに特化した事前学習済み言語モデルが数多く提案されている（付録\ref{app:domainplm}）．}が，運用にはテキストの通時変化に伴う時系列性能劣化に注意が必要である．入出力のデータセットの分布が学習と予測の段階で異なる場合に発生する性能劣化は，機械学習の長年の問題である\cite{Quinonero-Candela2008-ur}．本研究で題材とする時系列性能劣化は，その一種と言える．自然言語処理の文脈でも，機械翻訳\cite{levenberg-etal-2010-stream}・文書分類\cite{huang-paul-2018-examining,huang-paul-2019-neural-temporality}・固有表現認識\cite{rijhwani-preotiuc-pietro-2020-temporally}などで，時系列性能劣化の発生が報告されている．事前学習済み言語モデルに関しては，\citeA{lazaridou2021mind}が包括的な調査で時系列性能劣化の存在を明らかにした．\citeA{Mohawesh2021-pc}も，入出力のデータセットの分布の違いが，偽レビュー検出の性能に悪影響を与えると報告した．ドメイン特化の例では，\citeA{Loureiro2022-mj}が期間が異なる英語のTwitter（現X）\footnote{\url{https://twitter.com/}}コーパスで複数の事前学習済み言語モデルを構築し，時系列性能劣化を観測した．学習方法の工夫や後処理を通じて，事前学習済み言語モデルの時系列性能劣化に対処する研究も存在する\cite{rottger-pierrehumbert-2021-temporal-adaptation,10.1145/3447548.3467162,su-etal-2022-improving}．単語分散表現についても，コーパスを時間軸で分割するのではなく単語を時間の関数として捉えたり\cite{Rosenfeld2018-ps}，時系列性に加えて文脈も考慮したり\cite{hofmann2021dcwe}と，意味変化を踏まえた設計が進んでいる．本研究では英語のみならず日本語も対象に，学習コーパスの期間が異なる事前学習済みモデルを作成し，時系列性能劣化の存在と監査の手法について議論する．独自の事前学習済みモデルの構築・運用の需要が増える中で，重要性が高まっていく取り組みであると期待される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.2\subsection{セマンティックシフト}人間が扱う言語の変化は古くからさまざまな観点で研究され\cite{Bloomfield1933}，言語学・社会学・情報科学の観点で幅広く関心が寄せられている\cite{kutuzov-etal-2018-diachronic}．近年は大規模なコーパスを用いて単語の通時的な意味変化，すなわちセマンティックシフトを捉えようとする取り組みが加速した\cite{Traugott2017-ui}．たとえば\citeA{Gulordava2011-on}は，1960年代と1990年代のコーパスにおける分布を比較し\emph{sleep}という単語が睡眠障害に関してより否定的な意味合いになったという文化的な変化を確認した．その他の具体的な手法としては，学習コーパスの期間が異なる単語分散表現の比較や，確率的な統計モデルの利用が挙げられる\cite{inoue-etal-2022-infinite}．前者には語彙全体の意味変化を観察できる利点，後者には特定の単語に対し詳細に分析できる利点がある．本研究にはコーパス全体の単語の通時的な意味変化を捉える狙いがあるため，前者の手法を採用する．単語分散表現からセマンティックシフトを分析する研究は，長期間のコーパスを用いた経緯や理由の言語学的な探究と，比較的短期間のコーパスを用いた社会的事象の検知・分析の2つに大別される\cite{kutuzov-etal-2018-diachronic}．前者には，特定の単語の変化の追跡\cite{10.1145/2736277.2741627,hamilton-etal-2016-inducing,10.1145/3447548.3467162}や意味変化の法則の研究\cite{hamilton-etal-2016-cultural,Hamilton2016-ia}，異なる時点で同じ意味を持つ単語の発見\cite{szymanski-2017-temporal}，性別・人種・階級に関するバイアスの分析\cite{doi:10.1177/0003122419877135,doi:10.1073/pnas.1720347115}などが挙げられる．後者には，武力紛争の発生の予測\cite{kutuzov-etal-2017-tracing,mueller_rauh_2018}や，中国を恐れる感情の増幅の分析\cite{Shen_He_Backes_Blackburn_Zannettou_Zhang_2022}，新型コロナウイルス感染症の影響の分析\cite{takahashi2022,Guo2021-mo,Betancourt2022-wt}などがある．本研究は，単語分散表現を用いたセマンティックシフトの研究領域の新たな応用として，事前学習済みモデルの時系列性能劣化の監査を提示する.具体的には，既存の比較的短期間のコーパスを用いた社会的事象の検知・分析の枠組み\cite{Guo2021-mo}を活用しつつ，事前学習済みモデルの時系列性能劣化の監査に繋がる指標を導出・検証する．セマンティックシフトの応用として時系列性能劣化に着目した類似研究として，我々の初期の取り組み\cite{ishihara-etal-2022-semantic}と同時期に公開されたSuらの研究\cite{su-etal-2022-improving}が存在する．この研究は，時系列性能劣化が単語のセマンティックシフトと密接に関係していると実証的に確認した点で，我々の研究と共通している．しかしSuらの研究の主要な貢献は，セマンティックシフトが発生した単語を含むデータで事前学習済みモデルを追加学習することで時系列性能劣化を効率的に緩和できる手法を開発したことである．一方で我々の研究では，セマンティックシフトに着目して時系列性能劣化を監査する枠組みを設計する．Suらの研究のような手法を事前学習済みモデルに適用する必要があるかを議論できる点で，我々の研究とSuらの研究は競合する存在ではなく，むしろ互いの貢献を増強する補完的な立場である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{SemanticShiftStability:単語の通時的な意味変化の定量化手法}
\label{sec:proposed-method}本節では，単語分散表現を用いた言語の通時的な意味変化の定量化手法（図\ref{fig:approach}）を説明する．手法は次の3つの手順から成る．以降，各手順を具体的に説明する．\begin{enumerate}\setlength{\parskip}{0cm}\itemword2vecモデルの構築：年ごとの単語分散表現を構築する．\itemベクトル空間のマッピング：Guoらの先行研究\cite{Guo2021-mo}に基づき，2つの単語分散表現を比較することで単語の通時的な意味変化の度合いを計算する．\itemモデル全体の変化度合いの計算：単語の通時的な意味変化の度合いの平均をとることで全体の代表値とする．\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2\begin{figure}[t]\begin{center}\includegraphics{31-4ia6f2.pdf}\end{center}\hangcaption{単語分散表現による言語の通時変化の定量化手法．1年ごとの単語分散表現を構築し，頻出する単語を起点に両者のベクトル空間を「マッピング」する．単語$w$の空間内の移動を$\it{stab}(w)$として算出し，全単語の平均を単語分散表現同士の変化度合いとみなす．}\label{fig:approach}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.1\subsection{word2vecモデルの構築}単語分散表現の獲得には，先行研究でも数多く利用されているword2vec\cite{Mikolov2013}を利用する．word2vecモデルの構築には，gensim\cite{rehurek_lrec}のskip-gramを利用する．テキストの前処理としてHTMLタグやURLを削除する．日本語を扱う場合，分かち書きにはMeCab\cite{Kudo2006-lj}，辞書にはmecab-ipadic-NEologd\cite{sato2017mecabipadicneologdnlp2017}を用いる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.2\subsection{ベクトル空間のマッピング}最初に，単語の通時的な意味変化を検出するため，学習済みの2つのword2vecモデルのベクトル空間に回転を施し，同一の空間に落とし込む（マッピング）．ここでは，意味変化の割合は単語頻度の負の累乗に従うという考え方\cite{Hamilton2016-ia}に基づき，\textit{登場頻度の高い単語の意味は時間の経過とともに変化せず局所的な構造は保存されている}と仮定を置き，\citeA{Guo2021-mo}が提案する手法を利用する．この手法では，学習済みの2つのword2vecモデルを入力とし，回転行列を導出して座標軸を揃える．具体的には，両者に共通する単語を抽出した上で，word2vecモデル$i$で出現頻度が上位1,000件の単語行列$W_i$と，word2vecモデル$j$で同じ1,000個の単語から作った行列$W_j$から，特異値分解の応用で最適化問題を解く．ここで，単語の通時的な意味変化の度合いを計算する素朴な方法として，各モデルにおける単語分散表現のコサイン類似度\cite{Schonemann1966-wu}が挙げられる．しかし片方向のみの変換では類似度は平均して低くなる\cite{AzarbonyadDBAMK17}ため，\citeA{Guo2021-mo}は逆方向に同様の処理を適用し，単語の安定性($stab$)という観点で単語の通時的な意味変化を捉えている．モデル$i$とモデル$j$を比較した単語$w$の$\it{stab}$を次のように定義する．$$\it{stab}(w)=\frac{\it{sim}_{ij}(w)+\it{sim}_{ji}(w)}{2}$$$$\it{sim}_{ij}(w)=\it{cossim}(R^{ji}R^{ij}V^i_w,V^i_w)$$$\it{stab}$が小さいほど2つのword2vecモデルのベクトル空間での違いが大きく，単語の通時的な意味がより大きく変化しているとみなす．ただし，$\it{cossim}$はコサイン類似度，$R^{ji}$はモデル$j$から$i$のマッピングに用いた回転行列，$V^i_w$は単語$w$のモデル$i$での単語分散表現を意味する．なお実装には，\citeA{Hamilton2016-ia}の実装\footnote{\url{https://github.com/williamleif/histwords}}を活用した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.3\subsection{モデル全体の変化度合いの計算}本研究では，モデル全体の変化度合いはモデル内の単語の変化度合いと相関しているとみなし，単語の$\it{stab}$の平均値をSemanticShiftStabilityと名付け，代表値として採用する．$W$はword2vecモデル$i$と$j$に共通して含まれる語彙で，$N$は$W$の個数である．この値が小さいほど，モデル全体の変化度合いが大きい．単語ごとの$\it{stab}$を用いることで，特に変化の度合いが大きかった単語を特定し，変化の要因を推察することも可能である．$$\mathrm{Semantic\Shift\Stability}=\displaystyle\frac{1}{N}\sum_{w\inW}\it{stab}(w)$$%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{予備実験：事前学習済みモデルの時系列性能劣化}
\label{sec:degradation}本節では，事前学習済みモデルの時系列性能劣化の存在を報告する．具体的には，11年分の日本語と英語の学習コーパスを用意し，学習コーパスの期間が異なる単語分散表現と事前学習済み言語モデルを構築し，新しいテキストに対する性能劣化を確認した．単語分散表現として日本語・英語のword2vecモデル，事前学習済み言語モデルとして日本語のRoBERTaモデルをそれぞれ11ずつ作成・評価した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.1\subsection{データセット}実験には，日本語と英語のニュース記事コーパスを利用した．日本語としては，株式会社日本経済新聞社が提供するニュース配信サービス「日経電子版」\footnote{\url{https://aws.amazon.com/marketplace/seller-profile?id=c8d5bf8a-8f54-4b64-af39-dbc4aca94384}}（以降，\emph{Nikkei}コーパス）で，2010年10月23日～2021年12月31日に発行された記事を取得した．英語としては，複数の新聞や雑誌媒体のデータを含む「NewsontheWeb」\footnote{\url{https://www.english-corpora.org/now/}}（以降，\emph{NOW}コーパス）の2011年1月1日～2021年12月31日の記事を用いた．NOWコーパスは媒体として\textit{TechCrunch}，\textit{ESPN}，\textit{ArsTechnica}，\textit{Salon}，\textit{CNET}，\textit{Politico}などを含む．Nikkeiコーパスではサービス開始日の2010年10月23日からの記事が取得できたが，NOWコーパスでは2011年1月1日以降の記事しか取得できなかったため，期間を揃えるため以降の議論では必要に応じてNikkeiコーパスの2010年10月23日～2010年12月31日のデータは除外している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.2\subsection{単語分散表現の時系列性能劣化}\label{subsec:w2v_degradation}単語分散表現として日本語と英語のword2vecモデルを作成し，時系列性能劣化を明らかにする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.2.1\subsubsection{word2vecモデルの構築}NikkeiコーパスとNOWコーパスをそれぞれ発行日で1年ごとに分割し，gensim\cite{rehurek_lrec}を利用してword2vecモデルを作成した．学習アルゴリズムはskip-gram，次元数は300，イテレーション数は15，その他\texttt{window}は5，\texttt{negative}は5，\texttt{min\_count}は3に設定した．日本語のNikkeiコーパスを扱う際，テキストの前処理としてHTMLタグやURLを削除し，分かち書きにはMeCab\cite{Kudo2006-lj}，辞書にはmecab-ipadic-NEologdの2020年9月10日時点版を用いた．作成した日本語のword2vecモデルについては，一般公開されているモデルと比較して遜色ない性能を示すことを確認した（付録\ref{app:word2vec}）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.2.2\subsubsection{時系列性能劣化の観測}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3\begin{figure}[b]\begin{center}\includegraphics{31-4ia6f3.pdf}\end{center}\label{fig:w2v_experiments}\hangcaption{単語分散表現の時系列の性能変化の確認方法．1年ごとのデータでword2vecとLightGBMを学習し，2021年のデータで推論し評価する．「word2vecのみ過去のデータで学習」の設定では，LightGBMは2021年のデータで学習したモデルで固定した．}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%2011～2021年のコーパスで構築した日本語と英語それぞれ11個のword2vecモデルを用いて，\citeA{kutuzov-etal-2018-diachronic}と同様に時系列の性能変化を検証した．具体的には，作成したword2vecモデルの妥当性を確認した際の実験と類似の設定で，キーワードを入力としてLightGBMを用いて記事のジャンルを予測した（図3）．検証ではLightGBMの学習用にも過去のデータを使うか否かで2つの実験を設定した．「word2vecとLightGBMを学習」の設定では，word2vecモデルとLightGBMを各年のデータで学習し，LightGBMの推論に2021年1月1日～11月30日のデータを用いた．「word2vecのみ過去のデータで学習」の設定では，word2vecモデルのみを各年のデータで学習し，LightGBMは2021年のデータで学習したモデルで固定した．LightGBMの推論には，2021年1月1日～11月30日のデータを利用した．Nikkeiコーパスにおけるジャンルは「経済」「企業」「国際」「政治」「株・金融」「財務」「科学」「くらし」「スポーツ」「社会」「エコ」「健康」「インターネット」「雇用」「教育」の15種類だった．NOWコーパスでは特定のジャンルに特化している媒体の媒体名をジャンルと見做した．具体的には「TechCrunch」「ESPN」「ArsTechnica」「Salon」「CNET」「politico」の6種類だった．表\ref{tab:pre2}に示す通り，いずれの設定・コーパスでも2020年のデータを使った際の性能が最良で，学習期間が過去になるほど性能が劣化する傾向が確認できた．「word2vecのみ過去のデータで学習」と比べ「word2vecとLightGBMを学習」の設定では，LightGBMの学習にも過去のデータを利用している分だけ全体的に性能が劣化している．前年からの性能の差分を「改善幅」として算出したところ，特に2013，2016，2020年で．大きな性能の改善が確認された．このことは，例えば「2015年ではなく2016年のデータで学習したところ，2021年のデータに対する性能が改善する」という解釈につながる．すなわち，モデルの時系列性能劣化を踏まえた再学習の意思決定をするという観点で，図\ref{fig:project_overview}に示したような本研究の問題設定に関連した値であると言える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1\begin{table}[t]\input{06table01.tex}\caption{2021年の記事データに対する性能の変化．緑色の濃淡は値の大きさを示す．}\label{tab:pre2}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.3\subsection{事前学習済み言語モデルの時系列性能劣化}事前学習済み言語モデルとして日本語のRoBERTaモデルを作成し，時系列性能劣化を明らかにする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.3.1\subsubsection{RoBERTaモデルの構築}2010年3月23日～2021年12月31日のNikkeiコーパスを用い，表3に示す通り，学習コーパスの期間が異なる12のRoBERTaモデルを事前学習した．モデルのパラメータサイズは1億2500万に設定した．コーパスは，2010年，2010～2011年，...，2010～2021年の12パターンを用意した．word2vecモデルとコーパスの分割単位を変えたのは，1年ごとに分割したコーパスではRoBERTaモデルの事前学習には不十分であると考えたためである．実際に，表\ref{tab:pretrain}から読み取れる通り，1年分のコーパスでは損失が十分に小さくなっていない．学習コーパスのサイズが大きくなるにつれ，事前学習に必要な時間と計算費用は増加し，損失は減少する傾向が見られた．例えば2010～2021の記事データを用いた事前学習には，約14万秒（39時間）と約1278ドルの費用がかかった．計算資源にはAmazonEC2P4dインスタンス(\texttt{p4d.24xlarge})を使用した．このインスタンスはA100GPUを8基搭載しており，1時間あたりのオンデマンド価格は32.77ドルだった\footnote{\url{https://aws.amazon.com/jp/ec2/instance-types/p4/}}．word2vecモデルの構築を含むSemanticShiftStabilityの算出にはGPUは不要で，かかる時間と計算費用は，事前学習済み言語モデルの構築に比べると圧倒的に小さい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T2\begin{table}[b]\input{06table02.tex}\hangcaption{学習コーパスごとの事前学習に要した時間，損失，サイズの一覧．2010年から始まり，学習コーパスを1年ごとに追加した．学習コーパスのサイズは，CSVフォーマットで計測した．}\label{tab:pretrain}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%トークナイザは，SentencePiece\cite{Kudo2018-gi}をユニグラム言語モデル\cite{Kudo2018-bj}の設定で学習した．語彙サイズは一般的な値として32,000に設定した\cite{Tao2024-in}．SentencePieceは事前の単語分割を必要とせず生テキストから直接語彙を生成するため，日本語のように単語間に明示的なスペースがない言語のトークナイザとして有用である．図4に，学習コーパスの期間が異なるトークナイザの分割結果を示す．2010年のみの記事データで学習したトークナイザでは「コロナ禍」や「巣ごもり需要」が1，2文字の細かな単位に分割されている．一方でコロナ禍以後を含む2010～2021の記事データで学習したトークナイザは「コロナ禍」と「巣ごもり需要」を一つの語彙として認識した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F4\begin{figure}[t]\begin{center}\includegraphics{31-4ia6f4.pdf}\end{center}\label{fig:sentencepiece}\caption{学習コーパスの期間が異なるトークナイザの分割結果．}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%語彙サイズに関しては日本語での大規模言語モデルを対象に，より大きいほど下流タスクで優れた性能を示す傾向があると実証的に報告されている\cite{Takase2024-th}．しかし語彙サイズを大きくした場合も，学習コーパス内に存在しない新語を一つの語彙として扱えるようになるとは期待できない．語彙サイズの大小に関わらず，時系列性能劣化は発生し得ると考えている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.3.2\subsubsection{時系列性能劣化の観測}先行研究\cite{Loureiro2022-mj}に従い，{RoBERTa}の時系列性能劣化をPseudo-perplexity(PPPL)\cite{Salazar2020-sj}を用いて測定した．評価セットは，年ごとの学習コーパスから100,000記事ずつ抽出して構築した\footnote{理想的には，評価セットと事前学習に用いたコーパスとの重複を考慮するのが望ましいが，利用可能な全コーパスで事前学習を実施済みのため，重複を許容した設定となった．}．PPPLはパラメータ$\Theta$を持つマスク型言語モデルにおいて，評価セット$\mathbb{W}$内の系列$W_{\backslasht}:=(w_1,\dotsc,w_{t-1},w_{t+1},\dotsc,w_{\abs{W}})$の各トークンを繰り返し穴埋めし，対応する条件付き対数確率$P_{\text{MLM}}(w_t\midW_{\backslasht};\Theta)$を合計するという考えに基づき計算される．PPPLは次の式で表され，値が小さいほど，未知のテキストのトークンを正しく予測できていることを表す．ここで$N$は$\mathbb{W}$内の全てのトークン数を意味する．\begin{align*}\text{PLL}(W)&:=\sum_{t=1}^{\abs{W}}\logP_{\text{MLM}}(w_t\midW_{\backslasht};\Theta)\\\text{PPPL}(\mathbb{W})&:=\exp\left(-\frac{1}{N}\sum_{W\in\mathbb{W}}\text{PLL}(W)\right)\end{align*}本研究では時系列の性能変化を見るために，学習コーパスの期間が異なるRoBERTaモデルと評価セットの組み合わせについて，PPPLを計算した（表\ref{tab:pppl}）．全体的な傾向として，表の右側に行くほど値が劣化し，下に行くほど改善した．例えば2010年の記事データで事前学習したRoBERTaモデルを2010年の記事データで評価すると，PPPLは800.57だった．ここで評価セットを2011，2012，$\ldots$，2020年と新しくするにつれ，PPPLの値が劣化していった．2010年の記事データで事前学習したRoBERTaモデルは，2020年の記事データに対してPPPLが1076.00だったが，事前学習に用いる学習コーパスを増やすほどPPPLが改善している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T3\begin{table}[t]\input{06table03.tex}\hangcaption{学習コーパスの期間が異なるRoBERTaモデルと評価に用いるコーパスの組み合わせについて計算したPseudo-perplexity(PPPL)．PPPLは値が小さいほど，未知のテキストのトークンを正しく予測できていることを表す．斜体は，評価に用いるコーパスが学習コーパスと重複していることを意味する．}\label{tab:pppl}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T4\begin{table}[t]\input{06table04.tex}\hangcaption{評価セットの年ごとの性能劣化幅を明らかにするためのPseudo-perplexity(PPPL)の変換結果．最初に，各RoBERTaモデルについて学習コーパスに含まれる最新年を基準に，性能劣化の割合を算出した．その後，前年との性能劣化幅をそれぞれ算出した．}\label{tab:relative_pppl}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本研究の問題設定を模倣するため，表\ref{tab:pppl}を変換した表\ref{tab:relative_pppl}も作成した．表\ref{tab:relative_pppl}では，各RoBERTaモデルについて学習コーパスに含まれる最新年を基準にして，評価セットの年ごとの性能劣化の割合を算出した後，前年との性能劣化幅をそれぞれ算出した．具体的な説明として，2010～2012年の記事データで事前学習したRoBERTaモデルに着目する．学習コーパスに含まれる最新年は2012年であり，63.13のPPPLが基準となる．ここで2013年以降の記事データを用いた評価結果の値を63.13で割ると，性能劣化の割合が計算できる．例えば性能劣化の割合(\%)は2013年で$70.25\div63.13\times100=111.278$，2014年で$73.17\div63.13\times100=115.903$となる．最後に，前年との性能劣化幅を計算すると表\ref{tab:relative_pppl}が完成する．性能劣化幅は2013年で$111.278-100=11.28$，2014年で$115.903-111.278=4.63$となる．評価セットとして2013，2016，2020年の記事データを用いた際に，特に前年からの性能劣化幅が大きい．もしこの大きな性能劣化幅を，実際にPPPLを算出する以前に確認できれば，優れた監査の仕組みとなる．すなわち，モデルの時系列性能劣化を踏まえた再学習の意思決定をするという観点で，図\ref{fig:project_overview}に示したような本研究の問題設定に関連した値であると言える．さらに表\ref{tab:pppl}からは，実際に記事データを追加して再学習した際の性能改善の割合も読み取れる．例えば，2010～2012年の記事データで事前学習したRoBERTaモデルを2013年の記事データで評価した際，PPPLは70.25だった．ここで2010～2013年の記事データで事前学習したRoBERTaモデルを2013年の記事データで評価すると，PPPLは38.62に改善しており，性能改善の割合(\%)は$70.25\div38.62\times100=181.920$となる．同様の考え方で，2011～2020年の記事データを追加して再学習した際の性能改善の割合を計算した結果を表\ref{tab:relative_improvement}に示す．2018年以外は性能が改善しており，評価セットに相当する年の記事データを追加して再学習することが，PPPLの改善に繋がっている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T5\begin{table}[t]\input{06table05.tex}\caption{2011～2020年の記事データを追加して再学習した際の性能改善の割合．}\label{tab:relative_improvement}{\vskip-5pt}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{実験：時系列性能劣化とSemanticShiftStability}
\label{sec:experiments}本節では，\ref{sec:degradation}節で観測した事前学習済みモデルの時系列性能劣化について，\ref{sec:proposed-method}節で提案したSemanticShiftStabilityとの関係を議論する．最初に各年のSemanticShiftStabilityを計算し，本研究で採用した手法による単語の通時的な意味変化の検出性能を調査すると共に，具体的なケーススタディとしてword2vecモデルとRoBERTaモデルの時系列性能劣化を監査する．最後に，SemanticShiftStabilityの算出方法を部分的に変更し，手法の妥当性を議論する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1\subsection{SemanticShiftStabilityの年次推移}\label{subsec:sss}SemanticShiftStabilityの年次推移を図\ref{fig:entire_model_stability}に示す．たとえば2011年と2012年の変化度合いは，学習用のコーパスが2011年と2012年であるword2vecモデルを比較して算出した．図\ref{fig:entire_model_stability}からは，NikkeiコーパスとNOWコーパスの両者で2019年と2020年のSemanticShiftStabilityが最も小さく，すなわち変化度合いが大きいことが読み取れる．NOWコーパスでは2番目に2015年と2016年が，Nikkeiコーパスでは2番目に2011年と2012年，3番目に2015年と2016年が小さい結果となった．NikkeiコーパスとNOWコーパスにおけるPearsonの相関係数は0.66で，言語を超えて通時的な意味変化の傾向が類似している．ただしNOWコーパスはNikkeiコーパスと比べて，全体的に値が小さかった．これはNOWコーパスには複数の媒体が含まれており，Nikkeiコーパスと比べて文章全体が多様性に富むことに由来すると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F5\begin{figure}[t]\begin{center}\includegraphics{31-4ia6f5.pdf}\end{center}\hangcaption{SemanticShiftStabilityの年次推移．NikkeiコーパスとNOWコーパスの両者で2019年と2020年の値が最も小さく，相関係数0.66と変遷が類似している．}\label{fig:entire_model_stability}{\vskip-5pt}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.2\subsection{単語の通時的な意味変化の検出性能}ここでは，2つのword2vecモデルをマッピングした結果得られた単語ごとの$stab$を用いて，本研究で採用した手法による単語の通時的な意味変化の検出性能を定性的に検証する．具体的にはSemanticShiftStabilityが小さく変化の度合いが大きかった2019年と2020年，および2015年と2016年の比較に絞り，$\it{stab}$の小さい・大きい単語を調査する．一部の単語について，word2vecモデルの語彙内でコサイン類似度が高い類義語の遷移も示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.2.1\subsubsection{2019年と2020年の違いの分析}2019年と2020年の比較における，NikkeiコーパスとNOWコーパスの$\it{stab}$の頻度分布を，それぞれ図\ref{fig:sss_nikkei_2019_hist}aと図\ref{fig:sss_nikkei_2019_hist}bに示す．共に$\it{stab}$は中央値を軸とした歪んでいない分布である，2019年と2020年の比較における，NikkeiコーパスとNOWコーパスの$stab$と2020年の出現頻度の散布図を図\ref{fig:sss_nikkei_2019_scatter}aと図\ref{fig:sss_nikkei_2019_scatter}bに示す．一般に単語の出現頻度が高いほど意味の変化は小さいという法則が知られている\cite{Hamilton2016-ia}．一方でTwitterを題材に新型コロナウイルス感染症が言語に与える影響を分析した先行研究\cite{Guo2021-mo}は，特定の社会的事象に注目した際には逆の関係性が出現すると報告した．本研究の場合，出現頻度が増加するにつれ$\it{stab}$の最小値が減少していく，すなわち意味の変化が大きくなっていく傾向が観測された．2020年は新型コロナウイルス感染症の流行という社会的事象が発生しており，本研究の結果は先行研究\cite{Guo2021-mo}の発見を再現していると言える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F6\begin{figure}[t]\begin{center}\includegraphics{31-4ia6f6.pdf}\end{center}\caption{2019年と2020年の比較における$stab$の頻度分布．}\label{fig:sss_nikkei_2019_hist}{\vskip-5pt}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F7\begin{figure}[t]\begin{center}\includegraphics{31-4ia6f7.pdf}\end{center}\caption{2019年と2020年の比較における$stab$（縦軸）と2020年の出現頻度（横軸）の散布図．}\label{fig:sss_nikkei_2019_scatter}{\vskip-10pt}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%2019年と2020年のword2vecモデルをマッピングした際，NikkeiコーパスとNOWコーパスで$stab$が小さかった単語上位10件を以下に示す．共に感染・コロナ・ウイルス(virus)・マスク(masks，mask，wear，wearing)などの新型コロナウイルス感染症関連の単語が上位に登場している．2019年と2020年の単語分散表現の変化の要因が，新型コロナウイルス感染症によると示唆された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{itembox}[l]{Nikkeiコーパスで$stab$が小さい単語上位10件}感染，感染拡大，コロナ，ワクチン，ウイルス，マスク，感染者，北朝鮮，接種，流行\end{itembox}\begin{itembox}[l]{NOWコーパスで$stab$が小さい単語上位10件}king,scott,de,virus,masks,wear,mask,pi,q,wearing\end{itembox}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%類義語の変遷からは，実際に2019年と2020年の間にこれらの単語で意味変化が生じていると確認できた．Nikkeiコーパスでの「コロナ」の類義語上位3件の変遷を見ると，2020年を境に新型コロナウイルス感染症関連の語が登場している（表\ref{tab:w2v_nikkei_corona}）．Nikkeiコーパスでの「ウイルス」の類義語上位3件の変遷（表\ref{tab:w2v_nikkei_virus}）やNOWコーパスでの「virus」の類義語上位5件の変遷（表\ref{tab:w2v_now_corona}）からも，同様の傾向が確認できた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T6\begin{table*}[b]\input{06table06.tex}\hangcaption{Nikkeiコーパスでの「コロナ」の類義語上位3件の変遷．2020年に新型コロナウイルス感染症関連の単語が登場している．}\label{tab:w2v_nikkei_corona}\end{table*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T7\begin{table*}[b]\input{06table07.tex}\hangcaption{Nikkeiコーパスでの「ウイルス」の類義語上位3件の変遷．2020年に新型コロナウイルス感染症関連の単語が登場している．}\label{tab:w2v_nikkei_virus}\end{table*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T8\begin{table*}[t]\input{06table08.tex}\hangcaption{NOWコーパスでの「virus」の類義語上位5件の変遷．2020年に新型コロナウイルス感染症関連の単語が登場している．}\label{tab:w2v_now_corona}{\vskip-10pt}\end{table*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%一方で，NikkeiコーパスとNOWコーパスで$stab$が大きかった単語上位10件を以下に示す．Nikkeiコーパスでは日付や一般的な動詞，NOWコーパスでは数値や曜日など，通時的に意味が変化していないと考えられる単語が導出された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{itembox}[l]{Nikkeiコーパスで$stab$が大きい単語上位10件}減少，17日，12日，ない，指摘，述べ，おり，し，た，いる\end{itembox}\begin{itembox}[l]{NOWコーパスで$stab$が大きい単語上位10件}four,thursday,tuesday,really,monday,16,taking,wednesday,took,three\end{itembox}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.2.2\subsubsection{2015年と2016年の違いの分析}2015年と2016年のword2vecモデルをマッピングした際，NikkeiコーパスとNOWコーパスで$stab$が小さかった単語上位10件を以下に示す．Nikkeiコーパスではトランプ氏とドナルド・トランプという，米大統領選に関する単語が上位に登場している．一方でNOWコーパスでは，米大統領選に直接関連すると考えられる単語は確認できなかった．actorsやhollywoodは，ハリウッド俳優らのドナルド・トランプ氏への批判が関係している可能性もあるが，より詳細な分析が必要である．\begin{itembox}[l]{Nikkeiコーパスで$stab$が小さい単語上位10件}HD,:,雪,うどん,食,トランプ氏,ドナルド・トランプ,北朝鮮,47\%,麺\end{itembox}\begin{itembox}[l]{NOWコーパスで$stab$が小さい単語上位10件}hide,king,caption,actors,toggle,machine,notes,gold,hollywood,editors\end{itembox}Nikkeiコーパスでの「トランプ」の類義語上位3件の変遷を見ると，2016年を境にドナルド・トランプ氏に関連する語が登場しており，単語の意味変化が生じている（表\ref{tab:w2v_nikkei_trump}）．NOWコーパスでの「trump」の類義語上位5件の変遷からは，2016年から大統領(president)に関する単語が出現していると確認できた（表\ref{tab:w2v_now_trump}）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T9\begin{table*}[t]\input{06table09.tex}\hangcaption{Nikkeiコーパスでの「トランプ」の類義語上位3件の変遷．2016年にドナルド・トランプ氏を指す単語が登場している．}\label{tab:w2v_nikkei_trump}{\vskip-5pt}\end{table*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T10\begin{table*}[t]\input{06table10.tex}\caption{NOWコーパスでの「trump」の類義語上位5件の変遷．表\ref{tab:w2v_nikkei_trump}ほど，顕著な傾向は確認できなかった．}\label{tab:w2v_now_trump}{\vskip-10pt}\end{table*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%一方で，NikkeiコーパスとNOWコーパスで$stab$が大きかった単語上位10件を以下に示す．2015年と2016年の比較でも，2019年と2020年の比較と同様に，Nikkeiコーパスでは日付や一般的な動詞，NOWコーパスでは数値や曜日など，通時的に意味が変化していないと考えられる単語が導出された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{itembox}[l]{Nikkeiコーパスで$stab$が大きい単語上位10件}の，6日，20日，れ，た，語っ，おり，ない，いる，、\end{itembox}\begin{itembox}[l]{NOWコーパスで$stab$が大きい単語上位10件}weeks,four,billion,taking,want,i've,monday,five,took,tuesday\end{itembox}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%ここまで確認した通り，$stab$の大小と単語の意味変化の度合いには，一定の対応関係が存在した．以上の結果から，本研究で採用した手法には，単語の通時的な意味変化を捉える性能があると示唆された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.3\subsection{ケーススタディ：単語分散表現}ここでは日本語と英語のword2vecモデルの時系列性能劣化を監査するという想定で，SemanticShiftStabilityの有用性を示す．具体的には，SemanticShiftStabilityが小さく意味変化の度合いが大きい年について，実際にword2vecモデルの性能が大きく変化しているかを確認する．\ref{subsec:sss}節で述べた通り，SemanticShiftStabilityはNikkeiコーパスとNOWコーパスの両者で2019年と2020年が最も小さく，NOWコーパスでは2番目に2015年と2016年が，Nikkeiコーパスでは2番目に2011年と2012年，3番目に2015年と2016年が小さい結果だった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F8\begin{figure}[b]{\vskip-10pt}\begin{center}\includegraphics{31-4ia6f8.pdf}\end{center}\hangcaption{word2vecモデルの性能改善幅（表2，word2vecのみ過去のデータで学習）と，SemanticShiftStabilityの関係．SemanticShiftStabilityが小さい年に，改善幅が大きくなっている．$X-1$年と$X$年の比較で算出されたSemanticShiftStabilityを，横軸の$X$年に配置した．}\label{fig:result_nikkei_w2v}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%図\ref{fig:result_nikkei_w2v}aおよび図\ref{fig:result_nikkei_w2v}bに示す通り，表\ref{tab:pre2}におけるword2vecのみ過去のデータで学習する設定では，SemanticShiftStabilityが小さい年に性能改善幅が大きくなっていると分かった．赤い波線は，表\ref{tab:pre2}におけるword2vecのみ過去のデータで学習する設定での性能改善幅を示す．青い線が表すSemanticShiftStabilityが小さいときに，赤い波線が大きくなっていると読み取れる．Pearsonの相関係数はそれぞれ$-$0.4855，$-$0.8861だった．このことは，監査指標としてのSemanticShiftStabilityの有用性を示唆している．一方，表\ref{tab:pre2}におけるword2vecとLightGBMを学習する設定では相関係数はそれぞれ$-$0.2611と$-$0.1738で，明確な相関が確認できなかった（図\ref{fig:result_nikkei_w2v_lgbm}a，図\ref{fig:result_nikkei_w2v_lgbm}b）．これはLightGBMモデルも過去の記事データで学習したため，word2vecモデル単体の影響が薄れたためだと考えられる．LightGBMモデルの扱いについては本研究の対象外で，今後の課題である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F9\begin{figure}[t]\begin{center}\includegraphics{31-4ia6f9.eps}\end{center}\hangcaption{word2vecモデルの性能改善幅（表2，word2vecとLightGBMを学習）と，SemanticShiftStabilityの関係．図10のような明確な相関は確認できなかった．$X-1$年と$X$年の比較で算出されたSemanticShiftStabilityを，横軸の$X$年に配置した．}\label{fig:result_nikkei_w2v_lgbm}{\vskip-10pt}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T11\begin{table}[b]{\vskip-5pt}\input{06table11.tex}\hangcaption{それぞれのRoBERTaモデルにおける，時系列性能劣化幅とSemanticShiftStabilityの相関係数．学習コーパスの期間ごとに，評価セットとして利用できる年数が異なる．}\label{tab:sss_corr}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.4\subsection{ケーススタディ：事前学習済み言語モデル}ここでは日本語のRoBERTaモデルの時系列性能劣化を監査するという想定で，SemanticShiftStabilityの有用性を確認する．具体的には，SemanticShiftStabilityが小さく意味変化の度合いが大きい年について，実際にRoBERTaモデルの性能が大きく変化しているかを確認する．\ref{subsec:sss}節で述べた通り，NikkeiコーパスでのSemanticShiftStabilityは2019年と2020年が最も小さく，2番目に2011年と2012年，3番目に2015年と2016年が小さい結果だった．表\ref{tab:relative_pppl}から読み取れる通り，SemanticShiftStabilityが小さい2012，2016，2020年の記事データを評価セットとして用いた際，RoBERTaモデルの性能劣化幅が大きかった．それぞれのRoBERTaモデルにおける，時系列性能劣化とSemanticShiftStabilityのPearsonの相関係数を表\ref{tab:sss_corr}に示す．たとえば2010年の記事データで事前学習されたRoBERTaモデルで，時系列性能劣化幅とSemanticShiftStabilityの間に，$-$0.7775と大きな相関関係が確認できた（図\ref{fig:result_roberta2010}a）．SemanticShiftStabilityが小さい年に，劣化幅が大きくなっていると分かる．2010--2011年の記事データで事前学習されたRoBERTaモデルでも，同様の傾向が見られた（図\ref{fig:result_roberta2010}b）．このことは，監査指標としてのSemanticShiftStabilityの有用性を示唆している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F10\begin{figure}[t]\begin{center}\includegraphics{31-4ia6f10.pdf}\end{center}\hangcaption{記事データで事前学習したRoBERTaモデルの時系列性能劣化幅（表5）と，SemanticShiftStabilityの関係．SemanticShiftStabilityが小さい年に，劣化幅が大きくなっている．}\label{fig:result_roberta2010}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{tab:sss_corr}で留意すべき点として，学習コーパスの期間が長くなるにつれて相関係数の算出に用いられる評価セットの年数が少なくなっている．2010年の記事データで事前学習したRoBERTaモデルに対して10年分の評価セットで算出した相関係数は$-$0.7775だった．しかし，連続する3年分のみを対象に相関係数を計算したところ，抽出した区間ごとに$-$0.9091,$-$0.1645,$-$0.5270,$-$0.4720,$-$0.0627,0.4351,$-$0.9753と大きな分散が見られた．そのため，評価セットの年数が少ない場合の結果には不確実性が大きい．表\ref{tab:sss_corr}ではRoBERTaモデルの学習コーパスの期間が増えるにつれ，相関係数の絶対値が小さくなっている．この現象は，より大規模な学習コーパスで構築したRoBERTaモデルの時系列性能劣化について，本研究で提案する枠組みで監査するのが適切でない可能性を示唆するため，更なる検証が望ましい．2021年以降のコーパスを用いて評価セットの年数を追加することや，必要に応じて相関が高くなる指標の設計を模索することは，今後の展望である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.5\subsection{算出方法を変えた場合のSemanticShiftStability}ここではSemanticShiftStabilityの算出方法を部分的に変更し，\ref{sec:proposed-method}節で説明した手法の妥当性について議論する．具体的には，単語分散表現の学習に用いる期間，頻度の考慮，単語分割の辞書の影響の3つの観点を調査した．Nikkeiコーパスのみを対象としている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.5.1\subsubsection{単語分散表現の学習に用いる期間}最初に，単語分散表現の学習コーパスの期間を変えた場合の影響を検証する．ここまでは1年ごとにコーパスを分割し，たとえば2019年と2020年の変化度合いは，学習用のコーパスが2019年と2020年であるword2vecモデルを比較して算出した．ここで，学習コーパスの期間を1年より長くした場合，短くした場合の変化を観察する．まず，学習コーパスの期間を長くした場合，つまり2010--2019年と2010--2020年のように，過去のコーパスも学習に用いて比較した場合の結果を表\ref{tab:sss_comparison}に示す．「過去も用いた分割」の設定では，SemanticShiftStabilityの値がほとんど1となった．この現象は，学習コーパスに共通する部分が大きいことに起因すると考えられる．本研究の目的においては，比較するword2vecモデルが一定程度異なるような設定が望ましく，期間の重なりが少ないコーパスを用いる妥当性が確認された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T12\begin{table*}[b]\input{06table12.tex}\hangcaption{過去のコーパスも学習に用いた場合のSemanticShiftStability(SSS)と，頻度を考慮した加重平均で導出したWeightedSemanticShiftStability(WSSS)．}\label{tab:sss_comparison}\end{table*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%次に，学習コーパスの期間を短くした場合を考察する．具体的には，最もSemanticShiftStabilityが小さかった期間である2019--2020年に焦点を当て，月単位でword2vecモデルを構築し，隣接するモデル同士をそれぞれ比較することでSemanticShiftStabilityを算出した．図\ref{fig:sss_month}からは，新型コロナウイルス感染症が初めて日本で大きく流行した期間に当たる2020年2--4月にかけて，SemanticShiftStabilityが小さくなっている様子が読み取れる．年よりも小さい月の単位でも，本研究で提案する監査の枠組みが有効である可能性を示唆する結果となった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F11\begin{figure}[t]\begin{center}\includegraphics{31-4ia6f11.pdf}\end{center}\hangcaption{2019--2020年のSemanticShiftStabilityの月次推移．月単位でword2vecモデルを構築し，隣接するモデル同士をそれぞれ比較することで算出した．}\label{fig:sss_month}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.5.2\subsubsection{頻度の考慮}\ref{sec:proposed-method}節で述べた手法では，全ての単語の単純平均をSemanticShiftStabilityとして算出する．ここでは，コーパスでの出現頻度に基づく加重平均でWeightedSemanticShiftStabilityを導出し，SemanticShiftStabilityと比較する．加重平均の重み($weight(w)$)としては，比較する2つのコーパス内での各単語の出現回数の和の比率を用いた．$$\mathrm{Weighted\Semantic\Shift\Stability}=\displaystyle\frac{1}{N}\sum_{w\inW}\it{weight}(w)\times\it{stab}(w)$$表\ref{tab:sss_comparison}からは，単純平均と加重平均で全体の傾向に大きな変化はないことが読み取れる．WeightedSemanticShiftStabilityが最も小さいのは，SemanticShiftStability同様，2019年と2020年を比較した場合だった．SemanticShiftStabilityは，2018年と2019年の0.985から，2019年と2020年に0.970まで0.015だけ低下する．一方でWeightedSemanticShiftStabilityでは，2018年と2019年の0.987から，2019年と2020年に0.977と低下幅は0.010だった．2020年には新型コロナウイルス感染症関連の単語の出現数が大きく増加した．そのため，一般に$\it{stab}$が小さい新型コロナウイルス感染症関連の単語に大きな重みを与えるWeightedSemanticShiftStabilityでは，低下幅が軽減されたと考えられる．逆にWeightedSemanticShiftStabilityの数式で$\it{weight}(w)$を$\displaystyle\frac{1}{\it{weight}(w)}$に置き換えると，より変化度合いを強調した指標が設計できる可能性もある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.5.3\subsubsection{単語分割の辞書の影響}本研究では，単語分割の辞書としてmecab-ipadic-NEologdの2020年9月10日時点版を用いた．この辞書の更新時期の影響を評価するため，2020年9月の前後6カ月でword2vecモデルを構築し，本研究と同様の枠組みで単語の意味変化度合いを計算した．辞書より後に出現した新語は細かく分割されるため，$stab$が小さくなり，SemanticShiftStabilityの低下に影響する懸念がある．しかし，実際に$stab$が小さかった単語は次の通りで，新語の一部と見られるものは少なく，単語分割の辞書の更新時期が与える影響が大きいとは言えないと考えられる．\begin{itembox}[l]{$stab$が小さい単語上位10件}監督，候補，短時間，吉村，当選，線，プロ野球，26，選挙，再生\end{itembox}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6
\section{おわりに}
\label{sec:conclusion}本研究では，学習コーパス内の単語の通時的な意味変化に着目した指標としてSemanticShiftStabilityを設計し，事前学習済みモデルの時系列性能劣化を監査する枠組みを提案した．具体的には，SemanticShiftStabilityが小さくなる際に，事前学習済み言語モデルの例として構築した日本語のRoBERTaモデルや，単語分散表現の例として構築した日本語・英語のword2vecモデルの時系列性能劣化が発生していることを観測した．変化の要因として2016年の米大統領選や2020年の新型コロナウイルス感染症の影響も示唆され，事前学習済みモデルの再学習に関する意思決定を支援する上での有用性を確認した．2019--2020年に絞って年ではなく月単位でコーパスを分割した実験では，より細かな粒度で監査する枠組みの可能性が確認できた．SemanticShiftStabilityの算出に必要な時間や計算費用は，事前学習済み言語モデルの構築に比べると小さく，実運用上はコーパスの期間を短縮する利点があると考えている．本研究は，セマンティックシフトの研究領域の応用として事前学習済みモデルの時系列性能劣化の監査を掲げた最初の試みの一つであり，さまざまな今後の展望が存在する．\begin{description}\setlength{\parskip}{0cm}%\setlength{\itemsep}{0cm}\item[指標の改良]本研究では指標の一案としてSemanticShiftStabilityを設計したが，セマンティックシフトに関する先行研究は数多くあり，定量化の手法にも改善の余地がある．単語分散表現の構築では，逐次的にモデルを更新するIncrementalSkip-gram\cite{kaji-kobayashi-2017-incremental}といった選択肢がある．日本語の分割に関しても，新語あるいは死語の存在を考慮して，固有の辞書を用いるのではなくSentencePieceを学習する方法も考えられる．\item[監査の方法論の確立]本研究ではSemanticShiftStabilityと時系列性能劣化の関係について，算出された定量的情報を基に定性的に考察した．今後の研究で，より説得力のある監査の方法論を定式化する必要がある．\item[コーパスやモデルの多様性]本研究ではコーパス（日本語と英語）およびモデル（RoBERTaとword2vec）の多様性をある程度確保しているが，より多様な組み合わせでの検証も望ましい．特にRoBERTaよりも大規模な事前学習済み言語モデルに対して，提案した枠組みが利用可能かを検証したい．\end{description}%%%Acknowledgement%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究の推進に当たり，日本経済新聞社の多くの方々にご協力を賜りました．特に大村和正さんには，本稿の草稿を丁寧にレビューしていただきました．RoBERTaモデルの事前学習では，AWSJapanによる技術的な支援をいただきました．最後に，数多くの建設的なコメントを頂いた査読者の皆さまにお礼申し上げます．%%%Bibliography%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.7}\bibliography{06refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\appendix
\section{ドメイン特化の事前学習済み言語モデル}
\label{app:domainplm}ドメイン特化の事前学習済み言語モデルとして，金融\cite{araci2019finbert,Wu2023-mb,SUZUKI2023103194}・医療\cite{shin-etal-2020-biomegatron,10.1093/bioinformatics/btz682,10.1093/bib/bbac409}・学術\cite{Taylor2022-ep}・法律\cite{chalkidis-etal-2020-legal,10.1145/3462757.3466088}・非英語\cite{Zeng2021-il,kim-etal-2021-changes,Su2022-nd,ishihara-etal-2022-semantic}を題材にした研究が存在する．これらは一般的なモデルと比較して，ドメイン固有のタスクで高い性能を報告している．FinBERT\cite{araci2019finbert}は少ない学習コーパスでも，2つの金融センチメント分析タスクで優れた性能を発揮した．500億のパラメータサイズを持つBloombergGPT\cite{Wu2023-mb}は，一般的なタスクで性能を低下させることなく，金融固有のタスクで良好な結果を得た．\cite{SUZUKI2023103194}は様々な設定で金融ニュースのドメインに特化したモデルを構築し，性能改善を観測した．
\section{学習した日本語word2vecモデルの性能}
\label{app:word2vec}本研究の学習設定の妥当性を調べるため，作成した日本語のword2vecモデルと，一般公開されているモデルの性能を比較したところ，その他のモデルと比較し遜色ない性能を示すと分かった（表13）．比較対象のモデルの一覧を以下に示す．\begin{itemize}\item日経:2010年3月23日～2019年10月31日のデータで学習\itemWikiEntVec\cite{Suzuki2018-bl}:日本語Wikipediaで学習\item白ヤギ\footnote{\url{https://github.com/shiroyagicorp/japanese-word2vec-model-builder}}:日本語Wikipediaで学習\itemchiVe\cite{manabe2019chive}:国立国語研究所の日本語ウェブコーパス(NWJC)で学習\end{itemize}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T13\begin{table}[b]\vspace{-1\Cvs}\input{06table13.tex}%%%%%\tabcolsep3pt\label{tab:word2vec}\caption{word2vecモデルの性能比較．太字は各タスクでの最良の値を示す．}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%各モデルの評価には日本語単語類似度データセット「JapaneseWordSimilarityDataset(JWSD)」\cite{Sakaizawa2018-zt}と，日本語類似度・関連度データセット「JWSAN」\cite{Inohara2021-we}，および日経電子版の新聞記事データを使った．JWSDは単語の類似度を0～10の値で付与したデータセットで，品詞は形容詞(JWSD-adv)・動詞(JWSD-verb)・名詞(JWSD-noun)・副詞(JWSD-adj)の4種類ある．JWSANは名詞・動詞・形容詞の類似度・関連度のデータセットで，類似度と関連度がそれぞれ1～7の値で付与されている．すべての単語ペア2,145組のデータセット(JWSAN-2145)と，分散表現に適したデータに厳選した1,400組のデータセット(JWSAN-1400)が存在する．評価指標にはスピアマンの順位相関係数\footnote{\url{https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.spearmanr.html}}を用いた．日経電子版の新聞記事データを使った性能比較(NIKKEI)では，記事に含まれるキーワードから記事のジャンルを予測する多クラス分類問題を設定した．キーワードは，記事本文から固有表現抽出した名詞を中心に，記者や編集者が人手で付与している．キーワードそれぞれの単語分散表現の平均\cite{Shen2018-jv}を入力とし，分類器には勾配ブースティング決定木のLightGBM\cite{Ke2017-hv}を用いた．ジャンルは，企業・くらし・国際・スポーツ・マーケット・経済・社会・政治の8種類で，評価指標は正答率を用いた．検証用データセットは，学習コーパスと重複がない2020年1月1日～2021年11月30日のデータを使った．NIKKEIタスクでは，本研究で作成したword2vecモデルが最も高い正答率で，日経電子版の新聞記事データを用いた分析で使うモデルとしての有用性が示唆された．%%%Biography%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{石原祥太郎}{%日本経済新聞社日経イノベーション・ラボ上席研究員．2017年東京大学工学部システム創成学科卒業．2017年より日本経済新聞社に入社し，現在は自然言語処理や機械学習の研究開発に従事．}\bioauthor{高橋寛武}{%2021年名古屋大学情報学部自然情報学科卒業．2021年より株式会社リクルートに入社，業務の傍ら独立研究者として自然言語処理に関する研究開発を行っている．}\bioauthor{白井穂乃}{%2017年明治大学理工学部情報科学科卒業．2019年東北大学大学院情報科学研究科博士前期課程修了．修士（情報科学）．2020年より日本経済新聞社に入社．}\end{biography}\biodate%%%%受付日の出力（編集部で設定します）\end{document}