\label{sec:introduction}日本語敬語は，同じ内容を人物関係や場面に応じて表現形式を使い分ける待遇表現の一種であり，具体的には敬意や配慮を表現するための上向きの待遇表現であるとされる\cite{kijutsu2009japanese}．敬語の使用には，適切な文法規則の適用と背景にある人物間の関係への理解の両方が求められる\cite{harada1976honorifics}．日本語敬語のうち，文脈情報に応じて名詞・動詞・形容詞を規則に応じて変化させる尊敬語や謙譲語が存在する．ここで，文脈情報としては，次の例が示すように，話者，聞き手，会話に登場する人々の間の社会的な関係についての情報がある．\begin{exe}\ex文脈情報：話者から見て佐藤先生は目上である．\begin{xlist}\ex佐藤先生がお読みになる．\label{keigo_correct1}\ex佐藤先生がいらっしゃった．\label{keigo_correct2}\ex[*]{佐藤先生がお読みする．}\label{keigo_wrong1}\end{xlist}\end{exe}\begin{exe}\ex文脈情報：話者と佐藤先生は同僚である．\begin{xlist}\ex佐藤先生が来なかった．\label{keigo_correct3}\ex[\#?]{佐藤先生がいらっしゃらなかった．}\label{keigo_wrong2}\end{xlist}\end{exe}自然言語処理のさまざまなタスクにおいて高い性能を持つ事前学習済み大規模言語モデルにも，文脈情報と文法知識の両方を活用して敬語を理解する能力が期待される．しかし，大規模言語モデルがこれらの情報や知識をどの程度適切に扱うことができるかは明らかでない．これまでに，日本語敬語を扱うデータセットは複数提案されている\cite{matsumoto2022conversion,liu2022construction,someya2023jcola}．これらの先行研究におけるタスク設定は，文法的な情報のみを用いたタスクで言語モデルの敬語理解における性能を評価することを目的としており，敬体文の背景にある情報を考慮した上での分析は行われていない．本研究では，複数のタスクとデータセットを用いて大規模言語モデルが文脈として文脈情報を考慮して敬語理解ができているかを分析する．まず，発言文に関連する人物間の社会的立場や社会的関係についての文脈情報を入力に含めるような敬語理解タスクを導入する．具体的には，敬語が関わる文の容認性判断タスクと，敬語使用が適切に考慮された文に変換する敬語変換タスクという2種類のタスクを設定する．そして，導入したタスクを想定したデータセットを構築する．一つ目のアプローチとして，文の構造や社会的関係といった設定の制御がしやすいテンプレート手法を用いて，新規に日本語敬語データセットを構築する．また，より自然な文を用いたデータセットを用意するために，既存の日本語敬語コーパスからデータをサンプリングし，文脈情報や異なる敬語の種類を用いた文をアノテーションすることで拡張を行う．最終的に，用意したこれらのデータセットを用いて，大規模言語モデルが社会的関係を考慮して敬語に関する容認性判断や敬語変換ができるかについて評価を行う．本研究で構築および拡張を行ったデータセットは，研究利用可能な形でGitHub上で公開している\footnote{\url{https://github.com/ynklab/japanese_honorifics}}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{15table01.tex}%\hangcaption{\protect\citeA{kijutsu2009japanese}による日本語敬語の分類．本研究では素材敬語（太字部分）を分析対象としている．}\label{table:honorifics_classification}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\setcounter{exx}{0}