説明性の高い自然言語理解ベンチマークの構築2022-03-08菅原朔(国立情報学研究所) IBISML研究会
.目標自然言語の理解を計算論的にモデル化する■ →人間の言語理解を追究 & 人間の言語活動の支援(様々な応用技術の基礎の基礎)対話システム→言われてることちゃんとわかってる？説明性の高い自然言語理解のベンチマーク情報抽出・ファクトチェック→書いてあることちゃんとわかってる？
Fact and Mythmaking Blend in
Ukraine’s Information War
Experts say stories like the Ghost of Kyiv and Snake Island, both of questionable veracity, are propaganda or morale boosters, or perhaps both. Thursday.  Brendan Hoffman for The New York Times March 3, 2022 Just days into the Russian invasion of Ukraine, a pilot with a mysterious nickname was quickly becoming the conflict's first wartime hero. Named the Ghost of Kyiv, the ace fighter had apparently single-handedly shot down several Russian fighter jets. The story was shared by the official Ukraine Twitter account on Sunday in a thrilling montage video set to thumping music, showing the fighter swooping through the Ukrainian skies as enemy planes exploded around him. The Security Service of Ukraine, the country's main security agency, also relayed the tale on its official Telegram channel, which has over 700,000 subscribers. source: NY Times 2022/03/08
◾チューリングテスト(1950-) ■質問応答(1960s-)含意関係認識(2005-) ■ ■  Winograd Schema Challenge (2011-) ▪機械による読解(2013-) (machine reading comprehension)チューリングテストA woman selling bamboo sticks talking to two前提: men on a loading dock. There are at least three people on a loading dock.合意:  Yes含意関係認識The city councilmen refused the demonstrators a permit because they [feared/advocated] violence. Q: Who [feared/advocated] violence? A: the city councilmen / the demonstrators Winograd Schema Challenge
含意関係は単文対だったが、読解は複数文にわたる文脈的な理解を問えるContext: The princess climbed out the window of the high tower and climbed dewn the south wall when her mother was sleepingl She wandered out good ways. Finally|she|went into the forest where thère are no electric poles. Question: Where did the princess wander to after escaping? Answer:    A) Mountain *B) Forest C) Cave D) Castle照応解析常識推論時間関係の認識言語理解タスクの上で様々な技術を（独立でなく同時に）評価できる
2022/03/08

◾与えられた文章に関する質問に答える。回答は文章中の連続した単語列から抜き出し
■ Stanford Question Answering Dataset ■ PassageはWikipediaから◾ CC-BYで使いやすいデータとしてWikipediaが使われることが多い◾質問はクラウドソーシングで収集◾ひとつのpassageが複数の質問をもつ■ 2つのバージョン◾ v1.1 (2016): 100k examples ◾  v2.0 (2018): +50k “unanswerable” examples
2022/03/08
データセットの増加■ 2013年ごろから70以上◾様々な問題形式、ドメイン、言語◾どれも大規模(>10kが普通) o Other models   → Models with highest EMシステムの性能向上◾ SQuAD v1.1で人間を上回る(2018)これに限らず、多くのベンチマークで人間に肉薄SQuAD v1.1 paperwithcode
▪文脈情報=   100-200単語の 1 パラグラフ、複数パラグラフの集合、長い文章、（情報検索的な）文書集合etc ◾画像や構造情報（テーブルやDBなど）を含んでいるものも（マルチモーダル） ■質問形式◾自然な質問文、穴埋め（自動的に作りやすい）、検索クエリ（の流用） ▪回答形式◾文章から抜き出し、選択肢（Yes/No含む）、生成最近よかったサーベイはRogers+ (2021) [link]など■質問・回答の収集方法◾研究者・専門家の執筆、クラウドソーシング、自動生成、試験問題等のリソース■ドメイン・言語◾  Wikipedia、ニュース記事、小説（Project Gutenbergなど）、医療系・バイオ系特化など◾英語が最も多いが、中国語も増えてきたそれ以外の言語はあまりないかも（multilingualでひとまとめ） 7
◾ Transformerが連なったモデルを大規模コーパスで事前訓練してエンコーダとして利用（長さは維持）ョエンコードされた情報を入力にして文章から抜き出し・選択肢ごとの確率を出力・テキスト生成などStart Context Delim Answer 1 Multiple Choice Start Context Delim Answer 2 Start Context Delim Answer N説明性の高い自然言語理解のベンチマークSource: illustrated BERT
SQuAD1.1 Leaderboard Here are the ExactMatch (EM) and F1 scores evaluated on the test set of SQuAD v1.1.データセット全体で正答との一致精度のみ
◾機械読解の長所は「さまざまな技術の総合タスク」になりうることだが……
問題を解くためにどのような技術が必要なのか特定されておらず、指標として精緻な情報が得られない（＝言語理解的な仮説・説明項の欠如）
ZOZZ/03/08
10
◾敵対的事例が容易に構築でき、高度な理解をしなくても多くの質問に正答できる(Jia and Liang, 2017) ◾質問文・文脈文の大半を読まずに解けるような過度に簡単な質問が存在(Kaushik+, 2018 ; Sugawara+, 2018 ) ■データセットが意図している能力が実際は要求されない場合が多い(Gururangan+, 2018; Min+, 2019) ◾ Annotation artifactやshortcutと呼ばれたりしますArticle: Super Bowl 50 Paragraph: “Peyton Manning became the first quarter- back ever to lead two different teams to multiple Super Bowls.  He is also the oldest quarterback ever to play in a Super Bowl at age 39.  The past record was held by John Elway, who led the Broncos to victory in Super Bowl XXXIII at age 38 and is currently Denver's Execu- tive Vice President of Football Operations and General Manager. Quarterback Jeff Dean had jersey number 37 in Champ Bowl XXXIV.” Question: “What is the name of the quarterback who was 38 in Super Bowl XXXIII?” Original Prediction: John Elway Prediction under adversary: Jeff Dean Source: Jia and Liang (2017)意図した高度な理解や解法を必要とする品質でない可能性があり、言語理解を正しく評価できているか不明瞭(＝テスト理論的な真正性・説明の忠実性の欠如) 11

課題文の語順シャッフル
POSタグ+ IDによる語彙の匿名化
C:  Chris Ulmer, the 26-year-old teacher in Jacksonville starts his class by calling up each student individually to give them much admiration and a high-five. I couldn’t help but be reminded of Syona’s teacher and how she supports each kid in a very similar way. Q: What can we learn about Chris Ulmer? A: He praises his students one by one (multiple choice) C:  Immediately behind the basilica is the Grotto, a Marian place of prayer. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. Q:  To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France? A:  Saint Bernadette Soubirous (text span selection) C:  his help a in calling class but Syona's starts each 26-year- old similar individually Ulmer, and Chris admiration way. Jacksonville kid much I by couldn’t them the a to supports of in student and teacher each be teacher reminded give how she high-five. up very Q: What can we learn about Chris Ulmer? C:  @adverb1 @prep5 @other0 @noun17 @verb2 @other0 @noun20 […] @other0 @noun20 @prep6 @noun25 @punct0 @noun26 @wh0 @other0 @noun7 @noun8 @adverb3 @verb4 @prep4 @noun27 @noun28 @noun29 @prep2 @number0 @period0 O: @prep4 @wh2 @verb6 @other0 @noun7 @noun8 @adverb4 @verb4 @prep2 @number0 @prep2 @noun25 @noun26 A: He praises his s election)解けているのはすごいけど、何が評価できたのかわからない？
発表者のこれまでの研究どう説明するか◾読解に必要な能力の提案(AAAI 2017)評価指標■能力と読みやすさの関係の分析(ACL 2017)に貢献精緻・高品質なベンチマークその説明の裏付け■問題の難易度の自動分類(EMNLP 2018)品質保証■能力の必要性の自動分析(AAAI 2020)に貢献既存のデータセットで不明瞭だった「これが解けることで何ができるようになったか」に説明を与えるベンチマークを目指す
2022/03/08
SNLIやGLUEの人
1.内容的な妥当性を上げるために言語的な内容や振る舞いの多様性を高める■どのようにその多様性を測るかは難しい2.アノテーションにおけるエラーや曖昧さをできる限り排除する■本質的な曖昧さ、つまり人間においても揺れるものはそのまま取り込むべきという方向性もある。ここで指摘しているのはあくまでアノテーション由来のもの3. 識別性・信頼度を上げるため難易度を上げる・サンプル数を増やす■近年のベンチマークにおける性能はほとんど飽和している4.社会的バイアスを助長しないようなデータになっている◾バイアスに関する評価指標も必要
③データセットの整備・公開最近のシステムは賢いのでそもそもパターンパッチで解けないものを集める時点で大変②人手による能力分析・品質保証
2022/03/08

◾クラウドソーシング(Amazon Mechanical Turkなど)を利用したデータ収集◾ APIを利用して大規模化・インタラクティブに収集できるようにしていますMturk API: boto3 Web server: FastAPI Crowdsourcing platform
2022/03/08

■ Instructionには詳細な説明、良い例や悪い例、書き方のヒント、ボーナス情報◾ FAQにはタスクはいつ承認されるか・何回まで受注できるか、など周辺情報◾ Submitしたあとも最終確定までは戻って編集可能にしている◾複数のステップを踏むタスクも作れる◾空入力や語数、コピペ等の制約はクライアント側に実装◾自由度の高さから四択問題を収集Writing hard reading comprehension questions. Given the passage, write two multiple-choice question with four answer choices each. The two questions fundamentally different thing. Please make sure that for each question there is only one right answer and avoid copying text directly from the passage. Please read the full instructions before starting.
▼ Passage 1 / 2
Kirov Opera (Metropolitan Opera, New York City). Critics applaud the St. Petersburg-based comp 18 day stint in New York. "Just long enough to leave the American opera world with a welcome legacy of Russianization," says Newsday 's Justin Davidson. A spate of profiles heaps praise on the flamboyant conductor Valery Gergiev, who saved the Kirov financially as Russia went capitalist. Critics focus on Gergiev's promotion of lesser-known works by Russian composers and on his unusual arrangements. While "the great orchestras are all sounding pretty much alike, the Kirov has a character all its own" (Matthew Gurewitsch, the New York Times ).
楽な作業で高い報酬を得たい作業者VS.質の良いデータを安価に集めたい依頼者◾ある程度難しい質問を書いてもらいたい→例示はできるが「程度」がわかりづらく難しい◾データの多様性のために語数・語彙などの制約を課す→自然な文章になるとは限らない■ 作業が複雑&低報酬→誰も参加してくれない最近はfair paymentであることも研究のethics statementで重要◾それなりの長さの文章を読んで質問を書いてもらうのは時間がかかる◾時給$10-15を保証しようとすると$2-3/問は必要（依頼者のreputationも見られる） ◾回答可能性確認のためのアノテーションまで含めるとかなりの額に……（数千問ほどの規模)よいデータを集めるためにはクラウドソーシングのノウハウの蓄積が必要！
:目標◾高品質（パターンマッチで解きづらく、有意に難しい）な質問を集めたい◾さまざまな種類の質問を集めたい（評価指標・内容的妥当性） ◾できれば効率よく、少ない費用で多くのデータを集めたい■疑問どちらもNYUとの共同研究です◾どのように「ちゃんと作業してくれる作業者」を見つけるか？ ◾成果物の品質を上げるためにはどのような指示・フィードバックが必要か？ Nangia & Sugawara+ (ACL 2021) ◾どのような文章（ジャンル・読みやすさetc.）を素材にするのがよいか？ ◾敵対的な収集は有効か？データが偏らないか？ (cf. Kaushik+ 2021 ) Sugawara+ (ACL 2022, to appear
2022/03/08

(Nangia & Sugawara+, ACL 2021)どういった収集方法なら高難易度かつ一致率の高い質問を集めることができるか？手法：異なるプロトコルで読解問題を収集し、質問の難易度・一致率を比較指示だけで集めるor正当化の説明を求めるor事前に選抜・フィードバック（by作業者or専門家）質問の難易度＝人間の精度ーシステムの精度
(Nangia & Sugawara+, ACL 2021)観察◾ 「なぜ難しいか」の説明を作問と同時に依頼(justification) ➡難易度に変化なし✖ ◾作業者の上位2割のみデータ作成に参加(expert/crowd) ➡難易度・一致率が向上🌸 ◾作業内容のフィードバック➡作業者同士(crowd)より専門家(expert)が行うと一致率向上🌸 Crowdworkerでもある程度は質を担保できる
疑問
◾高難易度と言ってもシステム精度90% vs 80%ほどの差( 8 ) ◾どのような文章なら難しくなる？（この研究ではドメインひとつだけ） ■敵対的にモデルが解けないものを集めるとどうなる？
Sugawara+ ACL 2022)どういった文章なら高難易度かつ多様な質問を集めることができるか？手法：異なる読みやすさ・ドメインの文章について質問を収集して比較分析◾物語文（子供/大人向）、専門的な記事、Wikipedia（理/人文系） 、試験問題（中高/GMAT） ◾作業者の最初のフィルタリングが重要かつ効率的だったため、質問応答と執筆の二段階で選抜◾提出をそのまま受け取る/モデルが解けないものだけ受け取る（敵対的）の2通り試す
観察◾異なる読みやすさや長さの文章➡質問の難易度に変化なし✖ ◾専門的な文章では論理的推論が必要な難しい質問が相対的に多く集まったが数は少ない🎁 🎁 🎁 🎁 ◾多様な性質の質問を集めたいのであれば、多様なドメインの文章を使ったほうがよさそう◾敵対的に質問を書いてもらう➡四則演算などtrickyな質問が多くなってしまう✖ ◾敵対的収集は難しい問題の効率的な収集に便利かもしれないが、分布が歪まないように工夫が必要Question word的には普通に集めたほうがバランスがよさそう(standard)敵対的に集めるとhow manyのようなtrickyな質問が多くなってしまうまたwhich of the followingのようなgenericな問いも増える（是非は要分析） (b) Standard collection
■ 「何を測るか」の良さをどう説明すべき？ ◾そもそも人間の言語理解はどのように理論化されているのか？ ◾ その理論のなかでNLPのタスクはどのように位置づけられるか？ ■ 「どう測るか」の良さをどう説明すべき？ ◾タスクにおける測定の妥当性をどのように高めていくか？ ◾事例ごとの良さを項目応答理論で測ったりできないか？
Construction-Integration Model (Kintsch 1986) / Situation Model (Zwaan & Radvansky 1998)
1.
Construction ◾与えられたテキスト情報について、命題のネットワークを構築する。およそ隣接している文同士が結びついている状態2. Integration ◾命題集合を用いて一貫した心的表象（状況モデル）を構築する。命題はグローバルに組織化されており、必要に応じて他のモーダルにgroundingされているHernández-Orallo (2017): (successful) comprehension is the process of searching for a situation model that best explains the given text and the reader’s background knowledge Final Text Representation Words From Wharton & Kintsch (1991) 2022/03/08
1. Surface Structure Level -> “checklist” approach ( Ribeiro+ 2020 ) ◾ Linguistic propositions from the textual input ■ Skills: syntactic parsing, POS tagging, SRL, and NER 2. Textbase Level -> “skill set” approach (e.g., Rogers+ 2020, Wang+ 2019 ) ■ Local relations of propositions ◾ Skills: recognizing relations between entities and sentences such as coreference, factual knowledge, and discourse relations 3. Situation Model Level -> Recent trend? ■ Global structure of propositions ◾ Skills: creating a coherent representation and grounding it to other media (sound, image, ...) Textbase Surface Structure何を測るか

状況モデルの評価（例）
■文脈に依存的な状況設定◾ Representations are constructed distinctively depending on the given context ◾ Defeasibility: if-then reasoning ( Sap+ 2019 ), abductive reasoning ( Bhagavatula+ 2020 ) ■共通基盤（エージェント同士の協同的状況理解）：OneCommon (Udagawa & Aizawa 2021) ◾ Novelty: StrategyQA (Geva+ 2021) , SituatedQA ( Zhgang and Choi 2021 ) ◾非テキスト情報へのgrounding ◾画像： MaRVL ( Liu+ 2021 ), Visual MRC ( Tanaka+ 2021 ), Visual Commonsense Reasoning ( Zellers+ 2019 ), Science textbooks ( Kembhavi+ 2017 ), FigureQA ( Kahou+ 2018 ) ◾構造的データ： HybridQA (tabular) (Chen+ 2020) , Knowledge Base (many...)
構成概念妥当性(Messick 1995) ■心理学実験から得られた結果は測りたいものが測れたと解釈するに妥当か
構成概念妥当性の6つの側面(かなり単純化しています)
1. 内容(content) ◾評価すべき対象を評価しているか2.本質(substantive) ■過程なども含めて評価できているか3. 構造(structural) ■評価指標同士が適切に構造化されているかConstruct (psychology): an abstract concept used to facilitate understanding of human behavior例: vocabularyこれらを備えた評価基準(rubric)を作りましょう一般化可能性(generalizability) 4. ◾評価指標が信頼できるか5.外的指標との関わり(external) ◾外的な情報と適切に一貫しているか6.結果(consequential) ▪評価や解釈の誤りにリスクはないか
2022/03/08

◾項目応答理論（item response theory）というものがあります： ◾問題の難易度・識別力をモデリングし、受験者の能力に合った難易度かつ識別力の高い問題を特定してテストを作れるようにする◾言語理解系のデータセットでIRTを使ってみる研究が徐々に出てきた◾  Lalor+ (2016), Lalor+ (2018), Rodriguez+ (2021)などDiscriminativeかつHardな事例に注目すればよい？能力のモデリングをどう細かくするかなど、 multidimensional IRTの方向性はまだこれから項目応答理論を用いることでベンチマーク的に良い質問を特定することはできるが、入力情報中の何が識別性・難易度に寄与したかがわからなければ説明性は低いまま……（人間と同じように解いているとは限らない） →解釈手法と組み合わせる必要がある？
Source: Rodriguez+ (2021)

「理解」そのものについての哲学的な議論に興味がある方は最近だと信原(2020)「強いAl」[link]が導入におすすめです
.背景
◾機械の自然言語理解を評価することは人間の言語理解の探究や応用技術の発展の基盤として重要課題■ ◾従来の言語理解ベンチマークは「これが解けると何ができるようになったと言えるか」が不明瞭◾何を評価するかの理論的基礎づけや、データ作りの方法論、妥当性の向上のため何をすべきか難しい
■現在の研究
◾細かな評価指標を備え、意図した解法について品質の保証がなされたベンチマークの構築■　クラウドソーシングで大規模に効率的にデータを収集する手法の開発
■展望
■何を測るか：状況的な文脈をより広く・テキストだけでなくマルチモーダルに？ ◾ どう測るか：心理学的な「測定」の知見とNLPの解釈手法の合流など