事前学習済み言語モデル(Pre-trainedLanguageModels;PLM)は自然言語処理領域の基盤資源となっており，事前学習時に獲得した言語理解能力や知識は多種多様な下流タスクに活用されている．PLMは既知の問題に対して，事前学習時に記憶した知識を用いて推論を行うことができるが，未知の問題に対してはPLMの推論能力のみを頼りに推論する必要がある．しかし既存のデータセットを用いてPLMの純粋な推論能力を測ることは難しい．PLMは多種多様なデータを用いて事前学習を行うため，既存の推論能力を測るためのデータセットの情報も\emph{直接的}（下流タスクのデータセットが直接，事前学習用データに含まれている場合）・\emph{間接的}（下流タスクのデータセット自体は直接，事前学習用データに含まれていないが，下流タスクのデータセットの作成の元となったデータなど推論に有益な情報が含まれる場合）に事前学習用データに含まれている場合があり，PLMは事前学習で得た知識を下流タスクの推論時に使用している可能性がある．現に言語モデルの事前学習データに既存データセットがそのまま混入していることが指摘されていたり\cite{magar-schwartz-2022-data,ml-leakage,sainz-etal-2023-nlp}，事前学習データに含まれないような専門的な知識を必要とする下流タスクでは汎用的なPLMは正しく推論を行うことができない\cite{wang2023on-robust-domain-specific,jullien-etal-2023-semeval,nair-modani-2023-exploiting}．PLMの推論能力を測るためのいくつかの研究\cite{zhou-etal-2021-rica,wang2021adversarial,zhu2023autokg,zheng2023-vicuna-judging,yu2024kola,laban2023llms,qin-etal-2023-chatgpt}では，それらはPLMの記憶能力の影響を考慮していないため，全く未知の事象に対してのPLMの推論能力は未だ明らかになっていない．PLMの記憶能力についての研究\cite{petroni-etal-2019-language,roberts-etal-2020-much,heinzerling-inui-2021-language,wei2022emergent,carlini2023quantifying-memorize}から，その記憶能力が推論時に有益である一方，事前学習時の記憶はバイアスとして推論に影響を与えたり\cite{bias1,kaneko-etal-2022-debiasing,kaneko-etal-2022-gender,meade-etal-2022-empirical,deshpande-etal-2023-toxicity,feng-etal-2023-pretraining,ladhak-etal-2023-pre}，事前学習データに誤りが混入している場合，その誤りが推論結果に出現することがある\cite{dziri-etal-2022-origin,mckenna-etal-2023-sources,hallusination-survey,dziri-etal-2022-faithdial}．このことより，PLMの記憶能力と推論能力は密接に関係しており，記憶能力が推論時に及ぼす影響は大きいと考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{31-4ia1f1.eps}\end{center}\caption{PLMを用いたKGC手法は知識の利用と推論による解決との両側面を有している．}\label{fig:intro}\vspace{-1\Cvs}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%そこで我々はPLMの純粋な推論能力のみに焦点を当て，未知の事象に対するPLMの推論能力を調査する．本研究での純粋な推論能力とは，下流タスクのテストデータなど，未知の事象に対して，直接的・間接的に獲得した事前学習時の事実的知識を用いずに推論することを指す．未知の事象に対するPLMの推論能力の分析に際して，知識グラフ(KnowledgeGraph;KG)上の既知の関係から欠損している未知の関係を予測するタスクである知識グラフ補完(KnowledgeGraphCompletion;KGC)を対象とする．従来の埋め込みに基づくKGC手法は推論能力のみから欠損箇所を予測する一方，近年利用されているPLMを用いたKGC手法では，図~\ref{fig:intro}に示すように，事前学習時に記憶したエンティティに関する知識も利用している．このようにKGCは記憶した知識の利用と推論による解決との両側面を有することからPLMが記憶した知識の影響を測ることに適したタスクである．しかし既存のKGCデータセット（例：WN18RR\cite{WN18RR}，FB15k-237\cite{FB15k-237}，Wikidata5m\cite{wang-etal-2021-kepler}）はWeb上のデータから作成されているため，事前学習データにKGCデータセット内の関係が直接的・間接的に含まれている可能性がある．図~\ref{fig:intro}の例では，``KyloRen''の``grandfather''は``DarthVader''であるということを知識グラフから推論したいが，PLMは事前学習時に文章として間接的にその事柄に関する知識を獲得しているため，知識の利用を行っている．そのためPLMを用いたKGC手法が，問題を言語モデルの推論能力によって解決したのか，それとも言語モデルの記憶能力により解決したのか定かではない．そこで我々はモデルの記憶能力に対する評価と推論能力に対する評価を切り分けた評価方法及びそのためのデータ構築手法を提案する．この方法ではKGのグラフ構造を保持しつつ，エンティティや関係の表層表現を実際のものとは異なる表現に置換することで，PLMが事前学習で獲得した知識とは異なる環境を作り出す．この処理によってPLMは事前学習時に記憶した知識に頼らず，純粋な推論能力のみを頼りに，エンティティ間のグラフ構造を手がかりにKGCを行う必要が生じるため，言語モデルが持つ推論能力のみを測ることができる．表~\ref{tab:configurations}に我々が構築した疑似データによって評価可能な事象をまとめている．本研究では表~\ref{tab:configurations}に示した疑似データを用いて，PLMの学習過程やモデル構造の違い，事前学習の重みの有無，大規模言語モデルへの適用可能性など含めた，様々な設定下でのモデルの推論結果を分析することで，PLMが事前学習で得たエンティティに関する知識により推論を行っている箇所を明らかにした．またPLMが持つ未知の関係に対する推論能力も同時に事前学習時に獲得していることを示唆する結果も得られた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{01table01.tex}%\hangcaption{各設定での利用可能な情報の一覧．各設定で評価を比較することで，どの要素がKGCにおける推論能力に寄与しているか明らかになる．なお\textsc{Base}は元のデータセットによる推論を表す．また，\textsc{VirtualWorld}(\S\ref{sec:shuffle})，\textsc{AnonymizedEntities}(\S\ref{sec:random})，\textsc{InconsistentDescriptions}(\S\ref{sec:shuffle-descriptions})，\textsc{FullyAnonymized}(\S\ref{sec:random-descriptions})はそれぞれ本研究で作成した疑似データでの評価を表す．Pre.とRand.はそれぞれ事前学習で訓練された重みとランダムな値で初期化された重みで比較した場合を意味する．}\label{tab:configurations}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%