\label{sec:intro}高性能な言語理解モデルを開発するためには，言語理解の能力を様々な観点から評価し分析するためのベンチマーク（データセット群）が必要である．英語においては，GLUE(GeneralLanguageUnderstandingEvaluation)\cite{wang-etal-2018-glue}が構築，公開されている．GLUEである程度の高スコアを達成できる言語理解モデルが開発されると，より難易度の高いベンチマークとしてSuperGLUE\cite{NEURIPS2019_4496bf24}などが構築され，ベンチマーク構築と言語理解モデル開発の好循環が生まれている．このような英語における言語理解研究活性化の潮流に乗じて，中国語版のCLUE\cite{xu-etal-2020-clue}，フランス語版のFLUE\cite{le-etal-2020-flaubert-unsupervised}，韓国語版のKLUE\cite{park2021klue}など，各言語におけるベンチマーク構築が進んでいる．しかし，日本語にはGLUEのようなベンチマークが存在せず，日本語自然言語処理にとって大きな問題となっている．日本語は英語や他の言語とは以下の点で異なることから，英語データセットにおける研究の知見は必ずしも日本語に適用できるとは限らない．\begin{itemize}\itemひらがな，カタカナ，漢字，アルファベットが使われる．\item単語間に空白区切りが無い．\item語順が比較的自由である．\end{itemize}以上の背景より，日本語の言語理解ベンチマークの構築は急務となっている．JSNLI\cite{jsnli:ipsj}やJSICK\cite{谷中瞳2021}など，個々の日本語データセットは構築されているが，それらの主な構築手法は英語のデータセットからの機械翻訳あるいは人手翻訳である．いずれの翻訳手法でも，翻訳文の不自然さや，翻訳元の言語（多くの場合英語）と翻訳後の言語（本研究では日本語）との間での文化・社会差が大きな問題となることが\citeA{clark-etal-2020-tydi}や\citeA{park2021klue}らに指摘されている．また，特定ドメインの日本語のデータセットとして，ホテルレビューを対象としたJRTEコーパス\cite{hayashibe-2020-japanese}や，運転行動を対象とした運転ドメインQA\cite{takahashi-etal-2019-machine}が構築されているが，いずれも一般的なドメインの言語理解能力を測るのには向かない．本研究では，一般的な日本語言語理解能力を測ることを目的として，翻訳を介することなく，日本語で一から言語理解ベンチマークJGLUEを構築する．JGLUEは，表\ref{tbl:jglue_overview}に示すように文章分類，文ペア分類，QAの3種類のタスクから構成し，GLUEおよびSuperGLUEのタスクを幅広くカバーするように設計した．また，構築したJGLUEを用いて種々の事前学習モデルを評価し，現状のモデルやデータセットの分析を行った．JGLUEは2022年6月より\url{https://github.com/yahoojapan/JGLUE}にて公開している．本ベンチマークによって日本語における言語理解研究が活性化することを期待する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{03table01.tex}\caption{JGLUEの構成}\label{tbl:jglue_overview}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%