JaNLI: 日本語の言語現象に基づく敵対的推論データセット
瞳1、峯島

谷中宏次2

1

東大、2慶応大1汎用言語モデルによる言語理解● 深層ニューラルネット(Deep Neural Network)による事前学習に基づく汎用言語モデルが活発に研究されている○ BERT[Devlin+ 18], T5[Raﬀel+ 19], GPT-3[Brown+ 20]● 高度な言語理解タスクの大規模ベンチマークにおいて高性能を達成しつつある○ GLUE[Wang+ 18], SuperGLUE[Wang+ 19]

汎用言語モデルによる言語理解の可能性？

2

自然言語推論 (Natural Language Inference, NLI)
含意関係認識 (Recognizing Textual Entailment, RTE)とも
コンピュータによるテキスト間の言語理解に向けたタスク
前提文に対して仮説文は同じ意味を含むか（含意関係）
前提文
仮説文

子供が走っている猫を見ている
猫が走っている
含意前提文
仮説文

子供が走っている猫を見ている子供が走っている
非含意3

NLIデータセットの関連研究● 英語は多種多様なNLIデータセットが存在○ 言語学者による構築：FraCaS[Cooper 94]○ クラウドソーシングによる構築：
SNLI[Bowman+ 15]、MultiNLI[Williams+ 18]
SICK[Marelli+ 14], SemEval2012-2017● 近年、多言語化が進む○ MultiNLI：XNLI(15ヶ国語)[Conneau+ 18], 韓国語[Ham+ 20]○ SICK：ポルトガル語[Real+ 18], オランダ語[Wijnholds+ 18]● その中で日本語は発展途上○○○○

JSeM[Kawazoe+ 17]: 言語学者によるFraCaSの日本語版
JSICK[谷中&峯島 21]: SICKを人手で翻訳＋クラウド
JSNLI[吉越+ 20]: SNLIを機械翻訳+自動フィルタ+クラウド
旅行口コミを用いた根拠付RTEデータセット[Hayashibe 20]

4

HANS (Heuristic Analysis for NLI Systems)[McCoy+ 2019]

深層学習のモデルが人のように単語の意味と文構造に従って、様々な文の意味を構成的に理解しているか評価する目的で構築された、英語のNLIデータセット● モデルが陥りやすい3つのヒューリスティクスを定義○ ヒューリスティクスに従うと非含意のケースを含意と誤判定● 言語現象に基づくテンプレートを設計し、自動構築

5目的: 日本語の言語現象を用いた深層学習モデルのヒューリスティクス分析● 英語のHANSデータセットを参考に、モデルが陥りやすいヒューリスティクスごとに日本語の言語現象に基づく推論テンプレートを設計し、推論データセットを自動構築● 日本語・多言語の汎用言語モデルがどのくらい日本語の統語・意味的知識に基づいて構成的に推論できているのか分析

6日本語の言語現象に基づく敵対的推論データセット
JaNLI[Yanaka&Mineshima,BlackboxNLP2021]の特徴
ヒューリスティクスごとに日本語の言語現象に基づく推論テンプレートを設計し、推論データセットを自動構築
1. 日本語の柔軟な語順を考慮して5つのヒューリスティクスを定義
2. ガーデンパス現象を含め16の日本語の言語現象を用いて144の含意・非含意の推論テンプレートを設計

7

1. 推論の5つのヒューリスティクス
英語HANSの3つのヒューリスティクス (subsequence,constituent, lexical overlap)を参考に、日本語の推論の5つのヒューリスティクスを定義
subsequence

男の子 が 眠っている 女の子 を 見ている
男の子 が 眠っている
非含意

constituent

ひょっとしたら 子供 が 眠っている
子供 が 眠っている

非含意

full-overlap

ライダー が サーファー を 助け出したライダー を サーファー が 助け出した 非含意

order-preserving
subset

学生 か 子供 が 遊んでいる
学生 が 遊んでいる

mixed-subset

子供 が 泳いでいる 学生 を 助け出した
子供 を 学生 が 助け出した
非含意

非含意

8

1. 推論の5つのヒューリスティクス
日本語JaNLIでは語順の違いを考慮して、lexical overlapを次の3通りに細分化
full-overlap：前提文と仮説文で全単語共通・語順異なる
order-preserving subset：仮説文の語を含む・語順同じ
mixed-subset：仮説文の語を含む・語順異なる
full-overlap

ライダー が サーファー を 助け出したライダー を サーファー が 助け出した 非含意

order-preserving 学生 か 子供 が 遊んでいる
subset
学生 が 遊んでいる
mixed-subset

非含意

子供 が 泳いでいる 学生 を 助け出した
子供 を 学生 が 助け出した
非含意9

2. 日本語の16の言語現象
スクランブリング、受身、使役、事実性をはじめ、日本語の16の言語現象に基づいて、144の推論テンプレートを設計

10

ガーデンパス現象● ガーデンパス文
文の解釈の途中で再解釈が必要となる文
計算心理言語学を中心に読み時間の分析に用いられる● 推論のパフォーマンスにも影響があるのか、人とモデルの性能を比較
ガーデンパス文を含む推論テンプレートの例

11

ガーデンパス現象日本語のガーデンパス文は人でも間違えて解釈しやすいが、読点の有無など解釈を簡単にするファクターがいくつかある
解釈を簡単にするファクター別に5つのサブカテゴリを用意

12

推論テンプレートを用いたJaNLIの自動構築
144の推論テンプレートに対して、JSICK, JSNLIで20回以上出現する158語をランダムに割り当て、100件ずつ自動構築

13ベースライン実験● NLIを含め様々な言語理解タスクで高精度の事前学習済み
言語モデルBERT[Devlin+ 19]の日本語・多言語版をベースラインとして評価● JaNLI720件について、クラウドソーシングで人の推論のパフォーマンスも評価し、モデルと比較● BERTの実験設定○ huggingfaceのモデルを使用○ 4条件の学習データで、含意・非含意の2値分類タスクとしてファインチューニングし、正答率を評価(a)JSICK, (b)JSNLI(c)JSICK+JaNLI（一部）, (d)JSNLI+JaNLI（一部）○ JSICKとJSNLIは含意・矛盾・中立の3値ラベルのため、矛盾・中立を非含意として扱った

14

評価結果（ヒューリスティクス別）● 人はほぼ完璧にできている非含意関係の推論を、日本語・多言語
BERTは正しく推論できていない○ 人もモデルもmixed subsetが低い傾向● JaNLIを一部学習に追加したとき：○ JaNLIだけでなく、JSICK, JSNLIの正答率も向上する傾向○ 日本語BERTより多言語BERTの方が正答率が向上しにくい傾向

15評価結果（ヒューリスティクス別）● 人はほぼ完璧にできている非含意関係の推論を、日本語・多言語
BERTは正しく推論できていない○ 人もモデルもmixed subsetが低い傾向● JaNLIを一部学習に追加したとき：○ JaNLIだけでなく、JSICK, JSNLIの正答率も向上する傾向○ 日本語BERTより多言語BERTの方が正答率が向上しにくい傾向

16

評価結果（ヒューリスティクス別）● 人はほぼ完璧にできている非含意関係の推論を、日本語・多言語
BERTは正しく推論できていない○ 人もモデルもmixed subsetが低い傾向● JaNLIを一部学習に追加したとき：○ JaNLIだけでなく、JSICK, JSNLIの正答率も向上する傾向○ 日本語BERTより多言語BERTの方が正答率が向上しにくい傾向

17評価結果（言語現象別）● JaNLIを一部学習に追加したとき○ 多言語BERTの方が正答率が向上しにくい傾向○ 日本語BERTも、スクランブリング、受身、使役、事実性副詞の正答率は向上しにくい傾向

18

JaNLIを学習に追加しても解けなかった推論の例● スクランブリング、受身、使役、事実性副詞のケース○ 語順や助詞、語の繰り返しはデータ拡張では捉えるのが困難？

19

評価結果（ガーデンパス現象）● 人はガーデンパス文の解釈を簡単にするファクターが含まれているほうが、（わずかであるが）正答率が高い傾向● モデルはファクターの有無を区別していない傾向

20

本発表のまとめ● 深層学習モデルがだまされやすいヒューリスティクスごとに日本語の言語現象に基づく推論テンプレートを設計し、推論データセットを自動構築● 日本語・多言語BERTが構成的に推論できているのか評価→ヒューリスティクスで含意関係を予測し、人にとっては容易な構成的な推論に汎化しない傾向● 理論言語学に基づくデータセット自動構築は、質の良いデータ拡張手法としても有用な可能性○ 機能語が重要な役割を果たす言語現象（スクランブリング・受身など）はデータ拡張では捉えるのが困難な可能性
ご清聴ありがとうございました！
JaNLIデータセット：https://github.com/verypluming/JaNLI
谷中 瞳：hyanaka@is.s.u-tokyo.ac.jp

21