# JGLUE: 日本語言語理解ベンチマーク

栗原健太郎 $\dagger \cdot$ 河原 大輔 $\dagger \cdot$ 柴田 知秀 $\dagger \dagger$
}

高性能な言語理解モデルを開発するためには, 言語理解の能力を様々な観点から評価 し分析するためのベンチマークが必要である。英語においては, GLUE (Wang et al. 2018) が先駆けとして構築されており, 中国語版の CLUE (Xu et al. 2020) やフラン ス語版の FLUE (Le et al. 2020) など, 各言語におけるベンチマーク構築も進んでい るが，日本語においては GLUEのようなベンチマークは存在せず，日本語自然言語処理において大きな問題となっている。本研究では, 一般的な日本語言語理解能力 を測ることを目的として，翻訳を介することなく，日本語で一から言語理解ベンチ マーク JGLUE を構築する. JGLUE は文章分類, 文ペア分類, QA の 3 種類の夕ス クから構成される。本ベンチマークによって日本語における言語理解研究が活性化 することを期待する。

キーワード：GLUE，日本語，言語理解ベンチマーク，文章分類，文ペア分類，QA
## JGLUE: Japanese General Language Understanding Evaluation

\author{
Kentaro Kurihara $^{\dagger}$, Daisuke Kawahara $^{\dagger}$ and Tomohide Shibata ${ }^{\dagger \dagger}$
}

To develop high-performance natural language understanding (NLU) models, it is necessary to have a benchmark to evaluate and analyze NLU ability from various perspectives. The English NLU benchmark, GLUE (Wang et al. 2018), has been the forerunner, and benchmarks for languages other than English have been constructed, such as CLUE (Xu et al. 2020) for Chinese and FLUE (Le et al. 2020) for French. However, there is no such benchmark for Japanese, and this is a serious problem in Japanese NLP. We build a Japanese NLU benchmark, JGLUE, from scratch without translation to measure the general NLU ability in Japanese. JGLUE consists of three kinds of tasks: text classification, sentence pair classification, and QA. We hope that JGLUE will facilitate NLU research in Japanese.

Key Words: GLUE, Japanese, NLU Benchmark, Text Classification, Sentence Pair Classification, $Q A$


## 1 はじめに

高性能な言語理解モデルを開発するためには，言語理解の能力を様々な観点から評価し分析するためのベンチマーク（データセット群）が必要である．英語においては， GLUE (General Language Understanding Evaluation) (Wang et al. 2018) が構築, 公開されている. GLUEである程度の高スコアを達成できる言語理解モデルが開発されると, より難易度の高いべンチマー クとして SuperGLUE (Wang et al. 2019) などが構築され, ベンチマーク構築と言語理解モデル開発の好循環が生まれている。このような英語における言語理解研究活性化の潮流に乗じて,中国語版の CLUE (Xu et al. 2020), フランス語版の FLUE (Le et al. 2020), 韓国語版の KLUE (Park et al. 2021) など，各言語におけるベンチマーク構築が進んでいる.

しかし, 日本語には GLUEのようなベンチマークが存在せず，日本語自然言語処理にとって大きな問題となっている。日本語は英語や他の言語とは以下の点で異なることから, 英語デー タセットにおける研究の知見は必ずしも日本語に適用できるとは限らない.

$\cdot$ひらがな, カタカナ, 漢字, アルファベットが使われる.
- 単語間に空白区切りが無い.
- 語順が比較的自由である.

以上の背景より, 日本語の言語理解ベンチマークの構築は急務となっている. JSNLI (Yoshikoshi et al. 2020) や JSICK (谷中, 峯島 2021) など, 個々の日本語データセットは構築されているが, それらの主な構築手法は英語のデータセットからの機械翻訳あるいは人手翻訳である。いずれの翻訳手法でも，翻訳文の不自然さや，翻訳元の言語（多くの場合英語）と翻訳後の言語（本研究では日本語）との間での文化・社会差が大きな問題となることが Clark et al. (2020) や Park et al. (2021) らに指摘されている. また, 特定ドメインの日本語のデータセットとして, ホテルレビューを対象とした JRTEコーパス (Hayashibe 2020) や，運転行動を対象とした運転ドメイン QA (Takahashi et al. 2019) が構築されているが，いずれも一般的なドメインの言語理解能力を測るのには向かない.

本研究では, 一般的な日本語言語理解能力を測ることを目的として, 翻訳を介することなく, 日本語で一から言語理解ベンチマーク JGLUE を構築する. JGLUE は, 表 1 に示すように文章分類，文ぺア分類，QAの3 種類のタスクから構成し，GLUE および SuperGLUEの夕スクを幅広くカバーするように設計した。また, 構築したJGLUE を用いて種々の事前学習モデルを評価し, 現状のモデルやデータセットの分析を行った. JGLUE は 2022 年 6 月より https://github.com/yahoojapan/JGLUE にて公開している。本ベンチマークによって日本語における言語理解研究が活性化することを期待する.

表 1 JGLUE の構成

## 2 関連研究

言語理解モデルを評価するためのベンチマークの先駆けは GLUEである．GLUE は，英語を対象として，文章分類および文ぺア関係分類の 2 種のタスク，合計 9 つのデータセットで構成されている．GLUE より難易度の高いベンチマークとして SuperGLUE が構築されている。 SuperGLUE は，GLUE において最も難易度が高い含意関係認識データセットを残した上で，QA や常識推論など難易度の高いデータセットを加えた合計 8 つのデータセットとして構築されている.このような英語におけるベンチマーク構築が言語理解モデル開発を活性化し, BERT (Devlin et al. 2019) やその拡張モデルが多く生み出された. この動きに伴い, 中国語, フランス語, 韓国語，インドの言語群，アラビア語，カタルーニヤ語などの各言語で, CLUE, FLUE, KLUE, IndicGLUE (Kakwani et al. 2020), ARLUE (Abdul-Mageed et al. 2021), ALUE (Seelawi et al. 2021), CLUB (Rodriguez-Penagos et al. 2021) などの言語理解ベンチマークを構築する研究が活発になっている。また, XGLUE (Liang et al. 2020), XTREME (Hu et al. 2020), XTREME-R (Ruder et al. 2021) などの多言語のベンチマークも構築されている. 日本語も多言語ベンチマー クに含まれているがデータ数は少量である.

## 3 JGLUE の構築

JGLUE は，表 1 のとおり，文章分類，文ぺア分類，QAのタスクから構成する，以下では，各タスクのデータセットの構築方法について説明する。ただし，文章分類タスクの一つである JCoLA（日本語容認性判断データセット）(染谷，大関 2022) は他研究組織から提供を受ける予定であり, 本稿では説明しない. 各データセットは英語からの翻訳ではなく日本語のテキストを用いて構築し，正解の付与や自由記述文の作成はクラウドソーシング1を用いて行う.
^{1}$ Yahoo!クラウドソーシング https://crowdsourcing.yahoo.co.jp/を用いた.
}

## 3.1 MARC-ja

文章分類タスクの一つとして，多言語商品レビューコーパス MARC (Multilingual Amazon Reviews Corpus) (Keung et al. 2020)の日本語部分を基にデータセットを構築する．MARCは，通販サイト「アマゾン」における商品レビューとそれに紐づく $1-5$ の 5 段階のレーティングをまとめているコーパスであり, 英語や日本語などの複数言語で公開されている. JGLUEでは, MARC の日本語部分を使用し，また，計算機，人間ともにできる限り摇らぎなく判定できるように，5段階のレーティングのうち 3 を除く 4 つの評価について， 1, 2 を “negative”, 4,5 を “positive"に変換した 2 値分類タスクとする．例えば，表 2 の上 4 件の例について， 5 段階のレー ティングで 4,5 の評価がついている文章や, 1,2 の評価がついている文章のレーティングの判定は, 人間にとっても困難であるが, positive, negative の 2 值分類タスクとすることで判定が容易となる。

MARC における問題点として, positive な内容のレビューに対し 1 やの評価がついている場合など，内容と評価が乘離したデータが含まれている場合があることが挙げられる。これらのデータには，レビューの内容と明らかに異なったラベルが割り振られるため, データセットの品質を低下させる.

評価に用いる dev/test セットに対しては, これらのデータを修正し高品質なものにするために, 約 12,000 件のレビューに対して positive/negative 判定タスクをクラウドソーシングで実施する. 10 人から回答を収集し， 7 人以上から同じ回答を得られたデー夕のみを採用し，票の多い回答を正解ラベルとする．収集したデータを分割することで dev/test セットとする.

以上の手続きにより，5,654 件の dev セット，5,639 件の test セットを獲得した． train セットは大規模であるため上記の手続きを実施せず，187,528件のデータを抽出した．MARC-jaのラベル分布を表 3 に示す.

 & 2 & positive \\

表 2 MARC-jaの例（上 4 件はクラウドソーシングの前後でラベルが変わらなかった例，下 2 件はクラウドソーシングによってラベルが変わった例)

表 3 MARC-ja のラベル分布

MARC-ja で用いる評価指標には, 文章の 2 値分類タスクであることから, 精度 (accuracy)を用いる.

## 3.2 JSTS $\cdot$ JNLI

文ペア分類タスクについては，意味的類似度計算 (Semantic Textual Similarity, STS) データセット JSTS および自然言語推論 (Natural Language Inference, NLI) データセット JNLI を構築する.

## 3.2.1 概要

STS は，文ぺアの意味的な類似度を推定するタスクである。正解の類似度は，クラウドソー シングによって複数人で付与した整数値 0 （意味が完全に異なる）から 5 （意味が等価）の平均値とされるのが一般的である。

NLI は，前提文と仮説文の文ぺアが与えられたときに，前提文が仮説文に対してもつ推論関係を認識するタスクである。推論関係としては「含意 (entailment)」「矛盾 (contradiction)」「中立 (neutral)」の 3 値で定義されるのが一般的である. 正解の推論関係は，クラウドソーシングによって複数人から回答を収集し，多数決によって付与することが多い.

STS, NLI タスクは GLUE において，それぞれSTS-B (Cer et al. 2017), MultiNLI (Williams et al. 2018) データセットが含まれている。日本語では，英語 NLI データセット SNLI (Stanford NLI) (Bowman et al. 2015) を機械翻訳した JSNLI (Yoshikoshi et al. 2020), 英語 STS/NLI デー タセット SICK (Marelli et al. 2014)を人手翻訳した JSICK (谷中, 峯島 2021) がある。しかし, 1 節で述べたように，これらには翻訳に由来する問題があるため, 本研究では日本語で一から構築する。

JSTS と JNLI の文ぺアは，基本的に，MS COCO Caption Dataset (Chen et al. 2015)の日本語版 YJ Captions Dataset (Miyazaki and Shimizu 2016)2 (以下, YJ Captions と呼ぶ）から抽出する. SICK や JSICK と同様に, JSTS と JNLI を構成する文ぺアの大部分は重複しており,同じ文ぺアに対する類似度と推論関係との間の関係を分析することができる．JSTSにおける類
^{2}$ YJ Captions は MS COCO (Chen et al. 2015) の各画像に対して, クラウドソーシングを用いて日本語のキャプションを 5 つ付与することで構築されている.
}
似度は，STS-B と同様に 0〜5の実数值とし，JNLIにおける推論関係は，SNLI や MultiNLI などと同様に上記の 3 値とする。各推論関係の定義は SNLIに基づく.

## 3.2.2 構築方法

JSTS と JNLI の構築フローを図 1 に示す. 基本的には，YJ Captions の同じ画像に対する 2 つのキャプションを文ぺアとし，クラウドソーシングによって類似度および推論関係を付与する. ここで二つの問題が生じる。一つ目は, JSTSにおいて, 同じ画像に対するキャプションからは類似度の低い文ぺアを収集しにくいという問題である。そこで，異なる画像に対するキャプションから類似度の低い文ぺアを収集する。二つ目は，JNLIにおいても同様に，同じ画像に対するキャプションからは contradiction 関係にある文ぺアを収集しにくいという問題である. そこで，クラウドソーシングによって付与する推論関係は entailment と neutral のみとし, contradiction 関係については，あるキャプションに対して矛盾する文をワーカーに作文してもらうことによって収集する.

JSTS と JNLI の詳細な構築手順を以下に示す.

Step 1 YJ Captionsの同じ画像に対する 2 つのキャプションを文ぺアとしたSTS タスクをクラウドソーシングで実施する． 5 人から回答を収集し，その平均値を正解類似度とする。 ただし，回答の分散が大きい文ぺアについては，類似度の判断が難しい，もしくは回答の品質が悪い文ぺアと判断し削除する。16,000 件の文ぺアを対象に上記タスクを実施し,類似度の分散が 1.0 以上の文ぺアを削除した結果，10,236 件の文ぺアに対する類似度を

図 $1 \mathrm{JSTS}$ $\cdot$JNLI の構築フロー (画像の出典: いらすとや , ONWA イラスト )
収集した。この収集データを JSTS-A と呼ぶ.

Step 2 類似度の低い文ぺアを収集するために，異なる画像に対するキャプションを文ぺアとしたSTS タスクをクラウドソーシングで実施する. 本タスクも Step 1 と同様の方法で類似度を獲得し，回答の分散によるフィルタリングを実施する４４，000 件の文ぺアを対象に上記タスクを実施し，2,970 件の文ぺアに対する類似度を収集した。この収集データを JSTS-B と呼ぶ.

Step 3 JSTS-A に対して, NLI タスクをクラウドソーシングで実施する. 推論関係には方向性があるため, 文ぺアについて双方向で推論関係を得る。前述のとおり, 同じ画像のキャプションから収集した JSTS-A からは contradiction の事例を収集しづらいため，このステップでは entailment と neutral の事例を収集する。10 人から推論関係の回答を収集し, 6 人以上が同一の回答をした場合に, それが entailment か neutral であれば正解ラベルとして採用する。同一の回答が 6 人以上から得られなかった文ぺアは採用しない. JSTS-A に対して双方向で推論関係を得るため, JSTS-Aの 2 倍の 20,472 件の文ぺアを対象に上記タスクを実施し，回答の一致度が高い 17,501 件の文ぺアに対する推論関係を収集した。 この収集データを JNLI-A と呼ぶ。なお，JSTS-Bについては，文ぺア間に関連性がなく， 3 つの推論関係から選択することが難しいことから，NLI タスクには使用しない3 3.

Step 4 contradictionのNLI 事例を収集するため, YJ Captionsのキャプションに対して，矛盾する文を 4 つずつ作成するタスクをクラウドソーシングで実施する．作成された文のうち，短い文や，提示文と関連性の低い文といった品質の低い文を除去するために，編集距離が 0.75 以上の文ぺアを除去する。 さらに，作成した文ぺアが本当に矛盾関係にあるかを確認するために，10人で片方向の NLI タスクを実施し，6 人以上が contradiction と回答した文ぺアのみを採用する。最後に，矛盾関係には方向性がないため，採用された文ぺアにおける反対方向の推論関係として contradictionを自動付与する，1,800 件のキャプションを用いて 7,200 件の文ぺアを獲得し，そこから，片方向の contradiction 関係を付与した文ぺアを 3,779 件収集した。 反対方向の contradiction 関係を自動付与することで， 2 倍の 7,558 件の事例を収集した。この収集データを JNLI-C と呼ぶ.

Step 5 Step 4 で収集した 3,779 件の文ぺアについて，クラウドソーシングによるSTSタスクを実施する. Step 1, 2 と同様の方法で類似度付与とフィルタリングを実施する．以上により，3,779 件の文ぺアから 2,303 件の文ぺアに対する類似度を収集した.この収集デー 夕を JSTS-C と呼ぶ.

以上の手続きによって獲得した JSTS-A, B, Cの 3つでJSTS，また JNLI-A, Cの 2 つで JNLI


表 $4 \mathrm{JSTS} \cdot \mathrm{JNLI}$ の例

表 6 JNLI のラベル分布

表 5 JSTS のラベル分布

表 7 JSTS における類似度の分散の平均値と分散の標準偏差

を構築した。最後に，重複する文ぺア事例を JSTS から 12 件, JNLI から 44 件除去した. JSTS と JNLI の例を表 4 に示す. JSTS と JNLI のラベル分布をそれぞれ表 5,6 に示す.

JSTS の質を評価するために，それぞれの文ぺアに対してクラウドワーカー 5 人が回答した類似度の分散を計算し，分散の平均値と標準偏差を算出した。それぞれの値は表 7 に示す通り，小さい値となっており，アノテーションの品質を保証する結果となっている． JNLIのアノテー ションの一致度を評価するために，全ての文ぺアにおける 10 人のクラウドワーカーの回答の Fleiss' Kappa 係数を計算した. 係数の値は 0.399 であり, ある程度の一致を示す数値となった. この結果は，それぞれの回答の信頼度が高くないことを示しているものの，多数決によって収集したラベルは人間のスコアの高さ（4.2 節）から信頼度が高いと言える。

JSTS の評価指標には，STS-B と同様に Pearson および Spearman 相関係数を用いる. JNLI の評価指標には，SNLI，MultiNLI などと同様に精度を用いる。

## 3.3 JSQuAD

QA データセットとして, 機械読解データセットである日本語版 SQuAD (JSQuAD) と, 常識推論データセットである日本語版 CommonsenseQA（JCommonsenseQA，3.4 節で説明）を構築する。機械読解タスクは文書を読み，それに関する質問に対して答えるというタスクである.
多くの機械読解評価セットは英語で構築されているが, その他の言語での機械読解評価セット, もしくは多言語の評価セットが構築され始めている.

日本語ではクイズを対象にした機械読解評価セット (鈴木他 2018 ) や運転ドメインの評価セット (Takahashi et al. 2019) が構築されているが, 一般ドメインのものはない. そこで, Wikipedia を用いて一般ドメインの評価セットを構築する。構築は基本的に SQuAD 1.1 (Rajpurkar et al. 2016)にならう.

まず，高品質な記事を対象とするために，Nayuki4を使ってスコアトップ 10,000 記事を選出し，そこからランダムに 822 記事を選んた。これらの記事には例えば「熊本県」「フランス料理」 が含まれている，次に，記事を段落に分割し，クラウドワーカーに各段落を提示し，段落を理解できれば答えられるような質問とその正解を書いてもらう。書いてもらった正解が段落中にない場合は，その問題は採用しない，最後に，パターンマッチングと人手での確認により，質問文が段落のタイトルや本文に包含される事例など 1,094 件の問題を除去した.

JSQuAD の例を図 2 に示す. dev/test セットについてはシステム評価を頑健にするために，質問と正解を書いてもらったワーカーとは別のワーカーに追加で 2 つの正解を書いてもらう. この際，「回答不可」の選択肢を用意し，ワーカーの回答が段落中に存在しない文字列あるいは 「回答不可」であった場合には，その回答を採用しない．2つの回答が共に採用されない場合は，問題ごと除去する.

評価指標は $\mathrm{SQuAD}$ にならい, Exact match (EM) と F1 を用いる. 最大 3 つの正解が存在するので，システムの出力と各正解を比較して最大のスコアを取る $\mathrm{EM}$ ならびに F1を採用する.英語では F1 は単語単位で計算されているが, 日本語で形態素単位で計算すると採用する形態素解析器によって値が異なってしまうので文字単位で計算する.
 / \mathrm{h}$ で運行されている

質問: 2020 年、東京〜新大阪間の最速の所要時間は

正解: 2 時間 21 分

質問: 東海道新幹線と相互乗り入れがされている路線はどこか？

正解: 山陽新幹線
}

1987 年（昭和 62 年）4月 1 日の国鉄分割民営化により、JR 東海が運営を継承した。西日本旅客鉄道（JR 西日本）が継承した山陽新幹線とは相互乗り入れが行われており、東海道新幹線区間のみで運転される列車にも JR 西日本所有の車両が使用されることがある。2020 年（令和 2 年） 3 月現在、東京駅 - 新大阪

図 $2 \mathrm{JSQuAD}$ の例
^{4}$ Nayuki は Wikipedia 内のハイパーリンクに基づき，記事の品質を推定するシステムで，SQuAD でも利用されている. https://www.nayuki.io/
}
質問: 会社の最高責任者を何というか？選択肢: 教師, 部長, 社長, 部下, バイト

質問: スープを飲む時に使う道具は何？

選択肢: スプーン, メニュー, 皿, フォーク, はし

図 3 JCommonsenseQA の例（太字は正解を表す）

質問: 電車に人が乗り降りする場所を何という？選択肢: 駅, 鉄道会社, 線路, 空港, 港

図 4 JCommonsenseQA の構築フロー

## 3.4 JCommonsenseQA

## 3.4.1 概要

JCommonsenseQA は, CommonsenseQA (Talmor et al. 2019)の日本語版データセットであり,常識推論能力を評価するための 5 択の QA で構成する. JCommonsenseQA の例を図 3 に示す. JCommonsenseQA は, CommonsenseQA と同様に, 知識ベース ConceptNet (Speer et al. 2017) をシードとし，クラウドソーシングを用いて構築する. ConceptNet は， 2 つの概念 (concept) と，その間の関係 (relation)を表す 3 つ組からなる多言語知識ベースである。 3 つ組は方向性を持ち, 例えば（新幹線, AtLocation, 駅）のように, (source concept, relation, target concept)として表される.

## 3.4.2 構築方法

JCommonsenseQA の構築フローを図 4 に示す.まず, source concept と, それに対して同じ relation を持つ target concept 3 つからなる集合を ConceptNet から収集する。以降，この集合を Question Set (QS) と呼ぶ．次に，各 QS に対して，1つの target concept のみが正解となる質問文の作成と, 2 つの誤答選択肢の追加をクラウドソーシングで行う。以下では, CommonsenseQA との違いを示しつつ, JCommonsenseQAの詳細な構築手順を説明する。

(1) ConceptNetから日本語 QS を収集する。CommonsneseQA においては, (source concept, relation, target concept) という順方向の関係のみの QS を採用しており, relation は “RelatedTo", "IsA"など一般的すぎるものを除いたものを用いている. JCommonsneseQA でも，一般的すぎる relation を除外した 22 種類の relation 集合 5 を用いるが，問題の選

択肢をより多様化させるために関係の方向は両方向とする. すなわち, (source concept, relation $^{-1}$, target concept) という逆方向の関係も用いる ${ }^{6}$. 以上の設定で, source/target concept が日本語である 43,566 件の QS を抽出し，そこから 7,500 件をランダムに選択した.

(2) CommonsenseQA には, 正解となり得る選択肢が複数含まれている低品質な問題が少数含まれている. JCommonsenseQA においては, 正解の一意性を担保するために，CommonsenseQA 構築では実施していない 2 つの処理を行う。まず，各 QSについて，3つの target concept 内に表記摇れと判断されるものがあれば，その QS を除去する。表記摇れの判断は, 形態素解析辞書 JumanDic $の$ 単語 ID （代表表記）が一致するかどうかで行う. さらに, target concept 内に同義語が含まれているかを判定するタスクをクラウドソーシングで実施し， 3 つの target concept 中に同義語が含まれる QS を除去する．以上より， 7,500 件の QS から 5,920 件の QS を採用した.

（3）各 QSにおいて，3つの target conceptのうちの 1 つの concept だけが正解となる質問文をクラウドソーシングで作成する。 さらに JCommonsenseQA では, 正解の文字数やキー ワードの指定などでヒントを与えられた難易度の低い質問, および不適切な形式の質問文を除去するために，以下のいずれかに該当する質問文を持つ問題を除去する.

(a) 質問文に選択肢の言葉が含まれる

（b）質問文に「○文字」という文字列が含まれる8（○は数字）

(c) 質問文の文末が「?」ではない

以上により， $5,920 \times 3=17,760$ 件の問題を作成し，そこから不適切な問題を除去することで 15,310 件の問題を採用した.

（4） CommonsenseQA では，2つの誤答選択肢の追加にあたって，1つを ConceptNet から選択し，もう1つをクラウドソーシングで作成している。 JCommonsenseQAでは，より多様な誤答選択肢とするため, ConceptNet からの選択は行わず, クラウドソーシングで 2 つの誤答選択肢を作成し追加する。また，問題の品質向上のために，以下のいずれかに該当する選択肢が追加された問題を除去する.

(a) 質問文に含まれる言葉と同じ選択肢

（b）既存の選択肢と重複する選択肢

以上により，15,310 件の問題に誤答選択肢を追加し，そのうち 13,906 件を採用した.

（5） 各問題を 3 人のクラウドワーカーに回答してもらい，2 人以上が正解した問題のみを採
^{-1}$, 新幹線）のような 3 つ組から, source concept「駅」に対して target concept「新幹線」「時刻表」「改札」を得る。

7 https://github.com/ku-nlp/JumanDIC

8 「値段が高いことを漢字 2 文字でなんという？」のような問題を除くために設定する.
}
用する. これにより，13,906 件の問題のうち 11,263 件を採用した。

最後に, パターンマッチングと人手での確認により, ひらがなやアルファベット 1 文字の選択肢が含まれる事例など 87 件の問題を除去した. JCommonsenseQAの評価指標には, CommonsenseQA と同様に精度を用いる。

## 4 JGLUEによるベースラインモデルの評価

構築した JGLUE を用いて様々な事前学習モデルの性能評価を行った。また，人間のスコアを計算し，モデルと比較した。そして，各データセットの分析を行った。

## 4.1 実験設定

事前学習モデルをファインチューニングすることで各データセットに対するモデルの学習を行った．実験に用いた事前学習モデルを表 8 に示す. 各事前学習モデルのファインチューニングはタスク/データセットに応じて以下のように行った 9.
- 文章分類タスクと文ぺア分類タスク：[CLS]トークンに対する分類問題もしくは回帰問題を解く.
- JSQuAD: 各トークンに対して正解のスパンの開始/終了となるかどうかの分類問題を

 &  & 日本語 Wikipedia \\

表 8 実験に用いた事前学習モデルの詳細. モデル名の丸括弧内は Hugging Face Hub での名称を示す.東北大 BERT BASE , XLM-RoBERTabaSE, 早稲田大 RoBERTabaSE については LARGE サイズも使用する。早稲田大 RoBERTabaSE $の$ max seq length は 128 , 早稲田大 RoBERTaLARGE $の$ max seq length は 128 と 512 の 2 種類あり，その他のモデルの max seq lengthは 512 である. 事前学習テキストの CCは Common Crawl を表す.

解く ${ }^{10}$.
- JCommonsenseQA: 質問と各選択肢を連結し，多肢選択式問題を解く.

実験に用いたハイパーパラメータを表 9 に示す. learning rate と epoch については $\operatorname{dev} セッ$ トを用いて最適なハイパーパラメータを探索し, それを用いて test セットで性能を評価した。

モデルの性能を人間のスコアと比較するために，人間のスコアの獲得をデータセットごとに以下の手順で行った.
- MARC-ja: positive/negative 判定タスクをクラウドソーシングで実施し, 10 人から回答を収集して多数決をとる。同票についてはランダムに positive/negative のいずれかを人間のスコア獲得時の回答とする。構築済みのラベルと一致する回答の割合を人間のスコアとする。
- JSTS: STS タスクをクラウドソーシングで実施し，5 人から回答を収集したのち，その平均値を人間のスコア獲得時の類似度とする。構築済みラベルの値と人間のスコア獲得時の類似度の Spearman 相関係数を人間のスコアとする。
- JNLI: NLI タスクをクラウドソーシングで実施し, 10 人から回答を収集して多数決をとる. 同票で 1 位の 2 つラベルについては，ランダムにいずれかを選択して人間のスコア獲得時の回答とする。構築済みのラベルと一致する回答の割合を人間のスコアとする.
- JSQuAD: 構築済みの各問題に対する 2 つもしくは 3 つの正解のうち, 1 つ目の正解を人間のスコア獲得時の人間の回答とみなす。残りの正解と人間の回答との間の $\mathrm{EM}$ と 1 スコアをそれぞれ計算し，最も大きいスコアを人間のスコアとする11.
- JCommonsenseQA: 各問題の回答をクラウドソーシングにより 5 人から収集し, 多数決をとる。同票で 1 位の 2 つの選択肢については, ランダムに選んだ 1 つの選択肢を人間の回答とする。構築済みのラベルと一致する回答の割合を人間のスコアとする。

表 9 実験に用いたハイパーパラメータ
_{\text {BASE }}$ と XLM-RoBERTa LARGE は, トークンの分割位置が解答の開始/終了位置と一致しない事例が頻出することで性能が低くなってしまうため，実験に使用しない.

11 システムの場合は最大 3 つの正解と比較してスコアを算出しているのに対し, 人間の場合は最大 2 つの正解と比較しているため, 条件が若干異なる。
}

## 4.2 実験結果

表 10 に各種モデルのスコアならびに人間のスコアを示す.モデルの性能の比較では以下のことがいえる.

の性能が全般的によい。これはモデルサイズが LARGEであることと，事前学習のテキストとして Wikipediaよりも大規模な Common Crawl を使っていることが考えられる。
- 解析単位について, サブワード単位 (東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ ) と文字単位 (東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ (char)）を比較すると一貫してサブワード単位の方が精度が高い.
- JCommonsenseQA は Wikipedia には記載されにくい常識的な知識を要求することから, Common Crawl を用いたモデルの精度が高い，図 5 に，早稲田大 RoBERTaLARGE が正解を，東北大 BERT $_{\mathrm{BASE}}$ が不正解を出力した JCommonsenseQA の事例を示す.このような知識は Wikipedia には記載されにくい.

長い MARC-ja と JSQuAD では s512 の精度が s128 よりも向上している.
- MARC-ja と JCommonsenseQA 以外のデータセットについては, ベストなモデルは人間のスコアと同等または超えている.

} & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{} \\

表 10 JGLUE による各種モデルの評洒結果

質問: 顔を洗う場所は?

選択肢: 洗面所, 店, 台所, 化粧台, ストック

図 5 早稲田大 RoBERTa RARGE が正解を, 東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ が不正解を出力した JCommonsenseQA の事例（太字が正解，下線が不正解の出力）

## 4.3 議論

システムの正解例・誤り例表 11 から表 15 に, dev セットに対するシステムの正解例ならびに誤り例を示す。各データセットで最も性能の高かったシステムの例を掲載している．MARC-ja （表 11）は全般的に性能が高く, 正解例のように正しく判定できる場合が多い. 誤りは例に示すように，レビュー文章中に positive な言及と negative な言及が混在し, 判断が難しい場合が多い. JSTS（表 12）の正解例では，1つ目の例のように「瘦せ型」と「細身」の同義関係が認識できていたり，2つ目の例のように「横転した白いトラックがあります」と「白色のトラックが横転しています」の語順の入れ替わりが認識できていた例があった。誤り例では，使われている単語の重複は多いが異なる意味の 2 文に対して誤って高い類似度を出力している場合があった. JNLI（表 13）では正解例にあげたような場合は正しく判定できている。誤り例の1つ目では「ティアラを身につけています」と「ティアラをかぶっています」の含意関係を認識でき

 & positive & positive \\

表 11 MARC-jaにおけるシステムの正解例・誤り例

 & 4.17 & 4.2 \\

表 12 JSTSにおけるシステムの正解例・誤り例（ここでの正解，誤りはそれぞれシステム出力と正解の差が比較的小さい，大きい事例のことを指す.)

 &  & entailment & entailment \\

表 13 JNLIにおけるシステムの正解例・誤り例

## 正解例

[タイトル] コンゴ共和国

自給自足的で、国民の基礎食糧となるキャッサバの生産が盛んに行われている。.. 林業は独立時には主要産業であり、木材は輸出の約 60 \%を占める主力輸出品であったが、その後石油産業の成長によって割合は小さくなり、2014 年には輸出の 0.9 \%にまで縮小した。しかし重要な産業であることには変わりなく、かつてはマヨンべ山地が、1960 年代以降はコミログ支線沿いのシャイユ山地が主な産地となっている。北部の熱帯雨林の林業開発は進んでいない。

質問： コンゴ共和国の重要な産業である林業の主な産地はどこか

正解： シャイユ山地

システム出力： シャイユ山地

## 誤り例

[タイトル] 石油

20 世紀前半には、ベネズエラやインドネシアが石油の輸出地に加わった。この当時、世界の石油生産はアメリカ、ソ連、そしてべネズエラが多く占めていた。その中でもアメリカ合衆国は約７０パー セントを占めていた。

質問：20世紀前半に石油生産が一番多かった国は?

正解： アメリカ合衆国

システム出力： ベネズエラ

表 $14 \mathrm{JSQuAD}$ におけるシステムの正解例・誤り例

ておらず，また 2 つ目では，「赤ん坊」と「テーブル」の位置関係を認識できておらず，誤って entailment と出力してしまっている. JSQuAD（表 13）では正解例にあげたようなケースは正しく判定できている。誤り例では答えとなる国の候補が 3 つあり， 2 文目と 3 文目を合わせて推論する必要があり, このような場合にシステムが誤っていた. JCommonsenseQA（表 15）では，正解例にあげたような常識的な知識をシステムが備えていることがわかる．誤り例の 1 つ

表 15 JCommonsenseQA におけるシステムの正解例・誤り例（太字が正解，下線が出力）

 &  \\

表 16 MARC-jaにおける人間の誤り回答例（P は positive，N は negative を表しており，太字は多数決で選ばれたラベルを表す。)

 &  \\

表 17 JSTS における人間の誤り回答例

目では質問中の「コンビニ」と「カウンター」から誤って「レジ」と答えてしまっており，また，2つ目では質問の「毎週発刊」と選択肢の「週刊誌」の関係性が捉えられておらず，このような常識的な知識をどのようにすれば得られるかは今後の検討課題である.

人間の誤り回答全般的に人間のスコアは高いが, 人間の判断が摇れる問題が少ない割合ではあるが作成されている，表 16 から表 20 に，各データセットの人間の誤り回答例を示す. MARC-ja においては表 16 に示すように, positive (negative)な意味を前提とした negative (positive) な発言を含む事例がしばしば存在しており，判断を悩ませている。JNLI では表 18 に示すように，

 &  \\

表 18 JNLI における人間の誤り回答例（Eは entailment, C は contradiction, N は neutral を表しており，太字は多数決によって選ばれたラベルを表す.)

[タイトル] ポルトガル

漢字表記は葡萄牙で、葡と略される。これは広東語の発音（Pou4tou4nga4 $\doteqdot$ ポウトウガー） による漢字表記に由来し、19 世紀の中国南部で生まれ、...٪それまでは...「蒲麗都家」等の多くの表記もあったが、幕末期より日本でも葡萄牙の漢字表記が優勢となっている。

質問：葡萄牙と漢字表記されることが一般的になったのはどの時期か。

正解: 19 世紀

人間の回答： 幕末期

[タイトル] 梅雨

梅雨の期間中ほとんど雨が降らない場合がある。このような梅雨のことを空梅雨（からつゆ） という。... 空梅雨の場合、夏季に使用する水（特に稲作に必要な農業用水）が確保できなくなり、渇水を引き起こすことが多く、... 秋季〜冬季の降水量が少ない北部九州や瀬戸内地方などでは、空梅雨の後、台風などによるまとまった雨がない場合、渇水が 1 年以上続くこともある。

質問： 梅雨の期間中ほとんど雨が降らない場合を何と呼ぶ？

正解： 空梅雨（からつゆ）

人間の回答： 空梅雨

表 19 JSQuADにおける人間の誤り例

 & 選択肢 \\

表 20 JCommonsenseQA における人間の誤り回答例（選択肢の太字は正解，[ ] 内の数字は人間のスコア獲得時の人間の回答の票数を表す.)

データ構築時や人間のスコア獲得時に $4: 6,5: 5$ などに回答が分かれるような判断が難しい事例が少数含まれている。JSTS についても，データ構築時と人間のスコア獲得時で大きく類似度が異なってしまう事例が少数含まれている，JSQuADでは，表 19 に示すように，正解のスパンの区切り位置の判別が難しい例や，別解が考えられる例，そのほか質問文が破綻している事例が
含まれている. JCommonsenseQA においては表 20 に示すように別解が考えられる例や，人が誤って答えてしまう事例が含まれる。これらの誤りに対処するためには，データセット構築時の各事例の検証に，より多数のクラウドワーカーを用いることで，よりロバストな結果を得ることなどが考えられる。

能の変化を確認した．各データセットで最も高い性能を出したモデルを用いている．精度の変化を図 6 に示す。全てのデータセットで性能はほぼ飽和していることから，構築したデータセットの量は十分であると言える。

JNLI における Annotation Artifacts クラウドワーカーに作文してもらうことによって構築されたデータセットは, Annotation Artifacts が発生することがあり, 特に NLI データセットにおいて顕著である (Poliak et al. 2018; Tsuchiya 2018). Annotation Artifacts とは，アノテー ションによってデータ内に生じてしまうあるパターンのことを呼ぶ. 例えば, クラウドワーカー によって作成された仮説文内に「not」が含まれている場合にたいてい推論関係が contradiction であると，システムは仮説文のみを参照するだけでも十分高い性能を出すことができる．JNLI において，仮説文のみを用いた推論の性能を確認した。はじめに，本実験用に JNLI から部分集合の抽出を行った，具体的には，推論関係が contradiction である文ぺア集合から，クラウドワーカーの作成文が仮説文である文ぺアを抽出した。推論関係が entailment, neutral である文ペア集合については，片方向分のみ文ぺア抽出した。そして，仮説文のみを用いた推論結果と， majority ベースラインとして全ての出力を neutral とする場合のスコアをそれぞれ比較した. 比較の結果を表 21 に示す. 東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ モデルによる仮説文のみを用いた推論の結果が,

図 6 学習デー夕量を変えた時の精度変化

 \\

XLM-RoBERTa \\

表 21 仮説文のみを用いた推論による JNLI の dev セットにおける精度

majority ベースラインより高精度となっていることから ${ }^{12}$, 若干 Annotation Artifacts が含まれていると考えられる，本データセットを利用することで，Annotation Artifactsの軽減に関する研究が実施されることを期待する.

JSQuADにおける Lexical Overlap JSQuADの質を評価するために，SQuAD で指摘されている Lexical Overlap について調査した. Lexical Overlap とは, 段落と質問文において単語が重なっている割合を指す。この割合が大きい場合, モデルにとって容易に回答可能であるということが知られている (Clark et al. 2020). JSQuADの各段落と質問文のペアを単語単位に分割 ${ }^{13}$ し, Lexical Overlap を算出した. Lexical Overlap の平均値は 0.795 であり，JSQuAD は SQuAD と同様の課題を持つ. しかしながら, 日本語においてべンチマークが存在しないので, JSQuAD を先駆けとして本課題に対する研究が進むことを期待する.

## 5 おわりに

本論文では日本語における言語理解ベンチマーク JGLUE の構築について述べた. JGLUE は文章分類タスクである MARC-ja・JCoLA，文ペア分類タスクの JSTS・JNLI，QA タスクの JSQuAD・JCommonsenseQA の計 6 つのデータセットで構成しており，それぞれのデータセットの文は全て人手で機械翻訳を用いることなく作成した。さらに，JGLUE を用いて各種事前学習モデルの性能比較を行うとともに，構築したデータセットのデータ量や品質について考察した. JGLUE は 2022 年 6 月よりhttps://github.com/yahoojapan/JGLUE で公開中である. JGLUE を用いて, 事前学習モデルの包括的な評価や, より難しい評価データの構築が進むことを期待している。今後は GLGE (Liu et al. 2021)のような生成系タスクや FLEX (Bragg et al. 2021)のような Few-shot タスクのデータセットなどを構築する予定である.
_{\text {LARGE }}$ モデルでは学習がうまくできず, 出力のすべてが最多ラべルである neutral となった.

13 単語単位の分割には MeCab + IPAdic  を使用した.
}

## 謝 辞

本研究はヤフー株式会社と早稲田大学の共同研究により実施した. また本論文は以下の LREC 2022 の論文を拡張・翻訳したものである.

Kurihara, K., Kawahara, D., and Shibata, T. (2022). JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the 13th Language Resources and Evaluation Conference (LREC2022). European Language Resources Association (ELRA).

## 参考文献

Abdul-Mageed, M., Elmadany, A. A., and Nagoudi, E. M. B. (2021). "ARBERT \& MARBERT: Deep Bidirectional Transformers for Arabic." CoRR, abs/2101.01785.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal. Association for Computational Linguistics.

Bragg, J., Cohan, A., Lo, K., and Beltagy, I. (2021). "FLEX: Unifying Evaluation for Few-Shot NLP.” In Beygelzimer, A., Dauphin, Y., Liang, P., and Vaughan, J. W. (Eds.), Advances in Neural Information Processing Systems.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation." In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14. Association for Computational Linguistics.

Chen, X., Fang, H., Lin, T.-Y., Vedantam, R., Gupta, S., Dollar, P., and Zitnick, C. L. (2015). "Microsoft COCO Captions: Data Collection and Evaluation Server." CORR, abs/1504.00325.

Clark, J. H., Choi, E., Collins, M., Garrette, D., Kwiatkowski, T., Nikolaev, V., and Palomaki, J. (2020). "TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages." Transactions of the Association for Computational Linguistics, 8, pp. 454-470.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Representation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online. Association for Computational Linguis-
tics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota.

Hayashibe, Y. (2020). "Japanese Realistic Textual Entailment Corpus." In LREC2020, pp. 6827-6834, Marseille, France. European Language Resources Association.

Hu, J., Ruder, S., Siddhant, A., Neubig, G., Firat, O., and Johnson, M. (2020). "XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization." CORR, abs/2003.11080.

Kakwani, D., Kunchukuttan, A., Golla, S., N.C., G., Bhattacharyya, A., Khapra, M. M., and Kumar, P. (2020). "IndicNLPSuite: Monolingual Corpora, Evaluation Benchmarks and Pretrained Multilingual Language Models for Indian Languages." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4948-4961, Online.

Keung, P., Lu, Y., Szarvas, G., and Smith, N. A. (2020). "The Multilingual Amazon Reviews Corpus." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online.

Le, H., Vial, L., Frej, J., Segonne, V., Coavoux, M., Lecouteux, B., Allauzen, A., Crabbé, B., Besacier, L., and Schwab, D. (2020). "FlauBERT: Unsupervised Language Model Pre-training for French." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2479-2490, Marseille, France.

Liang, Y., Duan, N., Gong, Y., Wu, N., Guo, F., Qi, W., Gong, M., Shou, L., Jiang, D., Cao, G., Fan, X., Zhang, R., Agrawal, R., Cui, E., Wei, S., Bharti, T., Qiao, Y., Chen, J.-H., Wu, W., Liu, S., Yang, F., Campos, D., Majumder, R., and Zhou, M. (2020). "XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training, Understanding and Generation." CORR, abs/2004.01401.

Liu, D., Yan, Y., Gong, Y., Qi, W., Zhang, H., Jiao, J., Chen, W., Fu, J., Shou, L., Gong, M., Wang, P., Chen, J., Jiang, D., Lv, J., Zhang, R., Wu, W., Zhou, M., and Duan, N. (2021). "GLGE: A New General Language Generation Evaluation Benchmark." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 408-420, Online.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." CORR, abs/1907.11692.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 216-223, Reykjavik, Iceland. European Language Resources Association (ELRA).

Miyazaki, T. and Shimizu, N. (2016). "Cross-Lingual Image Caption Generation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1780-1790.

Park, S., Moon, J., Kim, S., Cho, W. I., Han, J. Y., Park, J., Song, C., Kim, J., Song, Y., Oh, T., Lee, J., Oh, J., Lyu, S., Jeong, Y., Lee, I., Seo, S., Lee, D., Kim, H., Lee, M., Jang, S., Do, S., Kim, S., Lim, K., Lee, J., Park, K., Shin, J., Kim, S., Park, L., Oh, A., Ha, J.-W., and Cho, K. (2021). "KLUE: Korean Language Understanding Evaluation." In 35th Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2).

Poliak, A., Naradowsky, J., Haldar, A., Rudinger, R., and Van Durme, B. (2018). "Hypothesis Only Baselines in Natural Language Inference." In Proceedings of the 7th Joint Conference on Lexical and Computational Semantics, pp. 180-191, New Orleans, Louisiana. Association for Computational Linguistics.

Rajpurkar, P., Zhang, J., Lopyrev, K., and Liang, P. (2016). "SQuAD: 100,000+ Questions for Machine Comprehension of Text." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas.

Rodriguez-Penagos, C., Armentano-Oller, C., Villegas, M., Melero, M., Gonzalez, A., de Gibert Bonet, O., and Pio, C. C. (2021). "The Catalan Language CLUB." CoRR, abs/2112.01894.

Ruder, S., Constant, N., Botha, J., Siddhant, A., Firat, O., Fu, J., Liu, P., Hu, J., Garrette, D., Neubig, G., and Johnson, M. (2021). "XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation." CORR, abs/2104.07412.

Seelawi, H., Tuffaha, I., Gzawi, M., Farhan, W., Talafha, B., Badawi, R., Sober, Z., Al-Dweik, O., Freihat, A. A., and Al-Natsheh, H. (2021). "ALUE: Arabic Language Understanding Evaluation." In Proceedings of the 6th Arabic Natural Language Processing Workshop, pp. 173-184, Kyiv, Ukraine (Virtual).

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany.

染谷大河, 大関洋平 (2022). 日本語版 CoLA の構築. 言語処理学会第 28 回年次大会発表論文集,
pp. 1872-1877. [T. Someya and Y. Oseki (2022). Nihongoban CoLA no Kochiku. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 18721877.].

Speer, R., Chin, J., and Havasi, C. (2017). "ConceptNet 5.5: An Open Multilingual Graph of General Knowledge." Proceedings of the AAAI Conference on Artificial Intelligence, 31 (1), pp. 4444-4451.

鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎 (2018). 読解による解答可能性を付与した質問応答デー タセットの構築. 言語処理学会第 24 回年次大会発表論文集, pp. 702-705. [M. Suzuki et al. (2018). Dokkai niyoru Kaito Kanosei wo Fuyo shita Shitsumon Oto Detasetto no Kochiku. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing, pp. 702-705.].

Takahashi, N., Shibata, T., Kawahara, D., and Kurohashi, S. (2019). "Machine Comprehension Improves Domain-Specific Japanese Predicate-Argument Structure Analysis." In Proceedings of the 2nd Workshop on Machine Reading for Question Answering, pp. 98-104, Hong Kong, China.

Talmor, A., Herzig, J., Lourie, N., and Berant, J. (2019). "CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota.

Tsuchiya, M. (2018). "Performance Impact Caused by Hidden Bias of Training Data for Recognizing Textual Entailment." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan. European Language Resources Association (ELRA).

Wang, A., Pruksachatkun, Y., Nangia, N., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. (2019). "SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems." In Wallach, H., Larochelle, H., Beygelzimer, A., d'Alché-Buc, F., Fox, E., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc.

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. (2018). "GLUE: A MultiTask Benchmark and Analysis Platform for Natural Language Understanding." In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium.

Williams, A., Nangia, N., and Bowman, S. (2018). "A Broad-Coverage Challenge Corpus for

Sentence Understanding through Inference." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana.

Xu, L., Hu, H., Zhang, X., Li, L., Cao, C., Li, Y., Xu, Y., Sun, K., Yu, D., Yu, C., Tian, Y., Dong, Q., Liu, W., Shi, B., Cui, Y., Li, J., Zeng, J., Wang, R., Xie, W., Li, Y., Patterson, Y., Tian, Z., Zhang, Y., Zhou, H., Liu, S., Zhao, Z., Zhao, Q., Yue, C., Zhang, X., Yang, Z., Richardson, K., and Lan, Z. (2020). "CLUE: A Chinese Language Understanding Evaluation Benchmark." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4762-4772, Barcelona, Spain (Online). International Committee on Computational Linguistics.

谷中瞳, 峯島宏次 (2021). JSICK: 日本語構成的推論・類似度データセットの構築. 人工知能学

会全国大会論文集, JSAI2021. 4J3GS6f02. [H. Yanaka and K. Mineshima (2021). JSICK:

Japanese Sentences Involving Compositional Knowledge Dataset. Proceedings of the Annual Conference of JSAI 2021. 4J3GS6f02.].

Yoshikoshi, T., Kawahara, D., and Kurohashi, S. (2020). "Multilingualization of a Natural Language Inference Dataset Using Machine Translation." In The Special Interest Group Technical Reports of IPSJ. in Japanese.

## 略歴

栗原健太郎：2021 年早稲田大学基幹理工学部情報通信学科卒業. 2022 年現在同大学院修士課程在学中.

河原大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構主任研究員, 京都大学大学院情報学研究科准教授を経て, 2020 年より早稲田大学理工学術院教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学).

柴田知秀：2007 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学大学院情報学研究科助教, 特定講師を経て, 2019 年より Yahoo! JAPAN 研究所上席研究員. 専門は自然言語処理, 特に深層学習を利用した日本語基礎解析. 博士 (情報理工学).

$(2022$ 年 9 月 1 日 $\quad$ 受付 $)$
$(2022$ 年 10 月 18 日 $\quad$ 採録)