\label{sec:intro}自然言語理解において，文が表す時間関係の理解は重要である．自然言語には時間表現だけでなく，テンスやアスペクト，時間副詞など様々な時間に関する言語現象がある．以下は時間に関する言語現象の例である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{exe}\ex\label{ex:1}彼は走っ\textbf{た}。（テンス）\ex\label{ex:2}彼は走っ\textbf{ている}。（アスペクト）\ex\label{ex:3}\textbf{昨日}、彼は走った。（時間副詞）\end{exe}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%これらの言語現象は組み合わさって用いられることが多い．例えば(\ref{ex:3})では時間副詞とテンス・アスペクトが組み合わされている．したがって，時間関係を理解するためには個々の言語表現の意味を捉えた上で構成的に文全体の意味を捉える必要がある．そのため，時間関係の理解は挑戦的な課題である．自然言語処理において，時間に関する代表的なタスクとしては時間関係認識がある．これは，文に含まれるイベント間の時間関係を認識するタスクであり，モデルの時間理解を評価する際にしばしば用いられる．このタスクはモデルの時間認識能力を評価するのに適している．一方で，時間関係認識タスクを通じて自然言語理解能力，すなわち，モデルが時間を含む文全体の意味を正しく捉えられているかを分析できるかは自明ではない．自然言語理解能力を評価するタスクの1つに自然言語推論(NaturalLanguageInference:NLI)がある．自然言語推論は単一または複数の文からなる前提を真としたときに，単一の文からなる仮説が真となるか（含意），偽となるか（矛盾），どちらでもないか（中立）を判定する言語理解タスクである．時間推論は時間の理解が要求されるNLIであり，言語モデルの時間認識能力を，自然言語理解能力とともに評価するのに適したタスクである．以下に時間推論問題の例を示す．\begin{exe}\ex\begin{xlist}\exi{Premise(P):}彼は走っていた。\exi{Hypothesis(H):}彼は走った。\exi{GoldLabel(G):}\entailment\end{xlist}\ex\label{ex:6}\begin{xlist}\exi{P:}彼は彼女の前に走った。\exi{H:}彼は彼女の後に走った。\exi{G:}\contradiction\end{xlist}\end{exe}これらの問題では，どちらも前提文(Premise)と仮説文(Hypothesis)の表層形は類似している．そのため，表層形の類似度を推論の手がかりにすると同じラベルが予測される可能性が高い．しかし，実際には2つの問題の正解ラベルは異なっている．このように，類似度だけを手がかりに推論を行うと誤った予測が得られるケースが時間推論には多く存在する．その上，時間推論問題の正解ラベルは前述の言語現象の多様な組み合わせによって変化する．そのため，時間推論タスクは挑戦的であり，事前学習済み言語モデルにとっても課題である．言語モデルの時間推論能力を評価した既存研究には\citet{vashishtha-etal-2020-temporal}や\citet{thukral-etal-2021-probing}がある．しかし，これらの既存の分析や評価用データセットの多くは英語を対象としている上，時間に関する言語現象の一部しか扱っていない．一方で，日本語の多様な時間推論に関する分析や評価用データセットは少ない．そのため，言語モデルがどの程度日本語の時間推論パターンや時間表現を汎化できるかについての分析は十分には行われてこなかった．本研究の目的は，多様な時間推論に対する言語モデルの汎化能力を詳細に分析できる，形式意味論に基づいた日本語NLIベンチマーク\oursを構築することである．NLIベンチマークを構築する主な手法としては，クラウドソーシングを用いて構築する手法や，専門家が人手で構築する手法が挙げられる．しかし，前者の手法ではデータセット中のバイアスの制御が困難であり，後者の手法では言語モデルの分析に必要なデータ量を確保するためのコストが問題となる．また，人手による構築では，語彙や構文の選択がアノテータの事前知識に依存する．そのため，語彙や推論パターンを制御することが困難であり，未知の語彙や推論パターンに対する汎化性能を評価することが難しいという問題がある．本研究では，それらの問題を解決するために，推論テンプレートを用いた半自動構築アプローチを採用する．この手法では，理論言語学の知見に基づいて手動で設計した推論テンプレートに自動で多様な語彙を割り当てる．これにより，推論パターンと語彙の分布を制御したスケーリング可能なデータセットが構築できる．そして，構築したデータセットを推論パターンなどで制御し，その上でモデルを評価することで，\hl{理論言語学}に基づいた詳細なモデルの分析が可能になる．図\ref{fig:punch}は\oursの構築手法の概略図である．提案手法では，まずFraCaS\cite{FraCaS}の日本語版であるJSeM\cite{Ai_Kawazoe_2015}に含まれる時間推論問題を抽出し，その内容語と時間表現をマスクすることで推論テンプレートを作成する．次に，京都大学格フレーム\cite{kawahara-kurohashi-2006-fully}からChatGPT\cite{openai-2023-chatgpt}を用いて自然な格フレームを抽出する．そして，得られた格フレームに言語モデルを用いて自動でアスペクトをアノテーションする．その後，抽出した格フレームとランダムな時間表現を推論テンプレートに割り当てることで，自然な文からなる問題を生成する．問題の正解ラベルは，推論テンプレートだけでなく，問題に割り当てた時間表現や格フレームのアスペクトに応じて定める．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1\begin{figure*}[t]%%%%%\includegraphics[width=14cm]{figure/punch.pdf}\begin{center}\includegraphics{31-2ia13f1.pdf}\end{center}%\hangcaption{\oursのデータ生成手法のイメージ図．INTは「2時間」や「3ヶ月間」などの区間を表す語に対するプレースホルダである．$\dashrightarrow$は正解が不定であることを，$\rightarrow$は正解が\entailmentであることを，$\nrightarrow$は正解が\contradictionであることを表す．}\label{fig:punch}\end{figure*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本研究では，時間推論パターンや時間表現の形式に基づいて学習データを分割し，分割したデータセットを学習に用いることで，言語モデルの時間推論能力を詳細に分析する．実験では，構築したテストデータ上で3種類の識別系言語モデル（日本語言語モデル2種および多言語言語モデル1種）\cite{devlin-etal-2019-bert,liu-etal-2019-roberta,conneau-etal-2020-unsupervised}と3種類の生成系言語モデル\cite{openai-2023-chatgpt,openai-2023-gpt4}の時間推論能力を評価する．\rhl{構築したデータセットは研究利用可能な形式で公開している}\footnote{\url{https://github.com/ynklab/Jamp_sp}}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%2\setcounter{exx}{0}