QAにおける評価用データセットの役割と日本語QAデータセットの必要性についての考察
田保健士郎、小林景（慶應大）JED2022 2022/03/18

1

自己紹介
・田保 健士郎（タボ ケンシロウ)

・慶應義塾大学 理工学研究科 小林景研究室所属 修士2年
・自然言語処理特化の研究室所属ではないので、業界の不文律等があれば教えてください
・次年度からは金融工学系の研究業務に従事（自然言語処理もあるかも）

JED2022 2022/03/18

2

本発表の概要
・本発表ではQAデータセット全体を対象とした、やや俯瞰的な話をします〇前半 QAにおける評価用データセットの役割について
・ 評価用データセットの役割の確認と用語の整理
・ QAにおける2つの評価パラダイムの紹介〇後半 日本語QAデータセットの必要性について
・ 日本語QAデータセットの整理
・ 翻訳QAデータセットの問題の可視化
・ 日本語QAデータセット(JAQKET)単語分布の特徴析出

JED2022 2022/03/18

3

前半 QAにおける評価用データセットの役割について

データセットについて
自然言語処理における類似概念の整理(※明確な定義はなく、意見が分かれる可能性あり)

・ ベンチマーク・・・データセット、タスク、評価手法のセット
・ (評価用)データセット・・・特定のタスク、評価手法に対応する形で整理されたデータの集合
・ コーパス・・・ある領域において集積され、構造化されたテキストのデータベース

・ 言語資源・・・上記を含め、研究に利用できる言語データの総体
例：「AI王～クイズAI日本一決定戦」[10] https://sites.google.com/view/project-aio/home
日本語クイズAIのベンチマーク＝「AI王～クイズAI日本一決定戦」
データセットJAQKET(json形式のクイズ問題の集合)

JED2022 2022/03/18

タスク
クイズを解くこと

評価手法
人手による別解判定も含めた正解率4

前半 QAにおける評価用データセットの役割について

QAとは〇質問と解答があり、質問を基に解答を求めるタスク

・ 根拠文が与えられている場合はそれを使う
・ 根拠文が与えられていない場合は知識ベースやWebなどの知識源を基に解答する
入力：質問&根拠文

質問：アインシュタインは何年に生まれましたか？

出力：解答システム

解答：1879年

根拠文：アインシュタインは1879年に生まれました※正確には、これはRetriever-Readerモデル寄りの説明で、解答を生成するモデルも存在する
JED2022 2022/03/18

5

前半 QAにおける評価用データセットの役割について

QAにおける2つのパラダイム
違いはQAの目的設定〇The Cranfield Paradigm(クランフィールドパラダイム)
・ 情報検索における伝統的なパラダイム
・ 図書館の司書のようにユーザーの役に立つことに主眼がおかれている⇨ユーザーが教えられる側
・ ネット上の質問を集積して作られたデータセットはこちらに属する
例)Natural Questions (Kwiatkowski et al., 2019)[12] 、MS MARCO (Nguyen et al., 2016)[13]・ 産業界で意識されやすい

JED2022 2022/03/18

6

前半 QAにおける評価用データセットの役割について

QAにおける2つのパラダイム〇The Manchester Paradigm(マンチェスターパラダイム)

・ (Rodriguez et al. 2021)[11]によって提示されたパラダイム
・ 情報検索以外の目的に主眼をおいている・ AIがどれだけできるのかを試す⇨ユーザーが教える側
・ コンピュータを理解するため、AIと人間の能力を比較するため、AIが人間に匹敵することを証明するため に質問応答をする
・ 学術的関心に基づく場合が多い
・ 人々をワクワクさせるという特別な役割を担う(Jeopardy!でクイズ王を負かしたIBM Watsonなど)

JED2022 2022/03/18

7

前半 QAにおける評価用データセットの役割について

Rodriguez et al. 2021における主張
・クランフィールド＝役に立つことに主眼、マンチェスター＝AIの能力を試すことに主眼

・2つのパラダイムには一方が進歩すればもう一方も進歩するという相互作用が存在するが…
⇨であるがゆえに、認識されにくい問題が存在する
・一方のパラダイムにしか寄与しにくい研究が存在する◦ 敵対的な例に対するロバスト性を保持する＝人工的な例になりがち⇨ユーザーに寄与するのか？

・マンチェスターパラダイムで成果を残しても、産業的に成功するまでにはギャップがある◦ IBM Watsonのスピンオフの一つ「Watson Health」の売却(2022/01/21)◦ SQuADは答えを知っている人間によって作られ、自然な質問とは異なる特徴を有することになり、結果的に「システムにとっての抜け道」が生まれてしまった・ユーザーの役に立つことを意識した研究なのか、AGI(汎用人工知能)を目指した研究なのかは意識して取り組むべきJED2022 2022/03/188

前半 QAにおける評価用データセットの役割について

前半のまとめ・QA研究には2つのパラダイムが存在

The Cranfield Paradigm・・・ユーザーの役に立つことが主眼
The Manchester Paradigm・・・AIの発展に寄与することが主眼
・各データセット、ないしはベンチマークにおいて、それを達成したら何ができたといえるのかを意識することが重要(QAに限らず言えることかもしれない)
・各データセットを利用する際には、どのパラダイムに属したデータセットなのか意識するとよい
Rodriguez et al. 2021では、論文の最後に代表的なQAデータセットがどのパラダイムに属するかまとめられている

JED2022 2022/03/18

9

後半 日本語QAデータセットの必要性について

後半のまとめ(目次)1.

日本語QAデータセットの整理
・・・QAデータセットに対する先行研究を基に分類・整理した

2.

翻訳QAデータセットの問題の可視化・・・翻訳でデータセットを作成すると生じる問題を実際に確認した

3.

日本語QAデータセット単語分布の特徴析出
・・・JAQKETと英語QAデータセットを比較し、JAQKETの単語分布の特徴を析出した

JED2022 2022/03/18

10

後半1．日本語QAデータセットの整理

分類の観点
先行研究(Rogers et al. 2021)[1]で紹介されている分類の観点

・IR(Information Retrieval)的かRC(Reading Comprehension)的か
QAは検索、読解の2段階で解かれる

・形式
質問の形式、解答の形式、エビデンス(根拠文)の形式の違いがある⇨詳細は補足資料参照

・ドメイン
どこから作られたか、どこを対象にしているか(例:百科事典、フィクションなど)

・推論スキル(今回の分類では用いず)
各データセットがどういった推論スキルで解けるか・多言語か単言語か
JED2022 2022/03/18

11

後半1．日本語QAデータセットの整理

日本語QAデータセット分類結果１

スプレッドシート形式のものはこちらから(各データセットの提供元リンクも記載)
https://docs.google.com/spreadsheets/d/1uwuqM4i4-4UORxSeN1twwTaDwq8KaMB/edit?usp=sharing&ouid=113089316920471115347&rtpof=true&sd=true

JED2022 2022/03/18

12

後半1．日本語QAデータセットの整理

日本語QAデータセット分類結果２

スプレッドシート形式のものはこちらから(各データセットの提供元リンクも記載)
https://docs.google.com/spreadsheets/d/1uwuqM4i4-4UORxSeN1twwTaDwq8KaMB/edit?usp=sharing&ouid=113089316920471115347&rtpof=true&sd=trueJED2022 2022/03/18

13

後半1．日本語QAデータセットの整理

整理により分かること〇日本語QAデータセットとしては存在しない領域

・ 音声や動画、それらのハイブリッドをエビデンスとしたQAデータセット(英語では、音声：DAQA[14]、Spoken-SQuAD[15]、Spoken-CoQA[16]、動画:MovieQA[17]、TVQA[18]、MarioQA[19]、PororoQA[20]など、ハイブリッド:HybridQA[21]、MultiModalQA[22]などが存在)
・ オープンに共有された特定ドメインのQAデータセットが少ない(金融や医療のような)(英語では、BioASQ[24]やHead-QA[25]などが存在)※ 実際に日本語版が必要かどうかは作成コストと合わせて考える必要がある、翻訳によって補うかといった検討も必要

JED2022 2022/03/18

14

後半2．翻訳QAデータセットの問題の可視化

QAデータセットと言語の問題
言語資源が英語や一部の主要な言語に偏っていることが指摘されている
ACL2022のテーマ「言語の多様性：低資源言語から危機に瀕した言語まで」(Bender 2019)[2]を参考に作成

翻訳に頼らざるを得ない現状
JED2022 2022/03/18

15

後半2．翻訳QAデータセットの問題の可視化

翻訳がなぜダメなのか(実証手順)〇実際に検証する

1.

英語版SQuAD[3]と日本語翻訳版(人手)SQuAD[4](同一問題・327問になるようにしている)を用意(SQuAD=Stanford Question Answering Dataset)2.

英語版はDistilBERT、日本語版はBERTで解く(共にBERTベースのモデル、性能に大きな差はない)(DistilBERTはGoogle Colabratory上で学習、BERTは学習済みのものを使用)

3.

その言語変化による性能の差異をみる

JED2022 2022/03/18

16

後半2．翻訳QAデータセットの問題の可視化

翻訳がなぜダメなのか(実証結果)
SQuADと日本語翻訳版SQuAD解析結果

EM=Exact Match(完全一致)
疑似=目視による修正

結果
・日本語においては各指標がそのままでは機能しないことを確認
・目視による修正を施しても、英語の方が高性能

目視による採点：https://docs.google.com/spreadsheets/d/1pyS7EQG4D7VGqKTgMBvI1YvmC00TFZ8/edit?usp=sharing&ouid=113089316920471115347&rtpof=true&sd=true
JED2022 2022/03/18

17

後半2．翻訳QAデータセットの問題の可視化

翻訳がなぜダメなのか(考察)SQuAD とSQuAD 日本語翻訳版解析結果(不具合の例)

バラバラに翻訳することで生じる問題

注：時間の都合上全ては説明しません

JED2022 2022/03/18

18

後半3．日本語QAデータセット単語分布の特徴析出

JAQKETと各データセットの比較〇JAQKET[5]とは?

・ AI王～クイズAI日本一決定戦～というコンペティションで使用されるデータセット
・ 学習用データ22,335問、開発用データ1,000問、評価用データ1,000問(未公開)[10]より引用JED2022 2022/03/18

19

後半3．日本語QAデータセット単語分布の特徴析出

JAQKETとSQuAD2.0の単語分布
用いるもの：JAQKET 開発用データ1,000問の解答、SQuAD2.0[6] バリデーションデータのタイトル35個

手順
1.

SQuAD2.0バリデーションデータのタイトル35個を翻訳(人手)2.

学習済み日本語版Wikipedia2Vec(100次元)[8]でベクトルを取得(JAQKETは827個、SQuAD2.0は34個取得できた)

3.

PCA、t-SNE、UMAP、各手法で次元を落として可視化(ここではUMAPによる可視化の結果を紹介)

JED2022 2022/03/18

20

後半3．日本語QAデータセット単語分布の特徴析出

JAQKETとSQuAD2.0の単語分布
・ JAQKETが日本史的単語を特徴的に有することがわかる
・ 天文学的単語も特徴的に析出されている
黒点：JAQKET、青点：SQuAD2.0
特徴的な単語をアノテート
赤字：JAQKET 、青字：SQuAD2.0

JAQKET and SQuAD2.0(UMAP)
JED2022 2022/03/18

21

後半3．日本語QAデータセット単語分布の特徴析出

JAQKETとTriviaQAの単語分布
TriviaQA[7]はトリビアクイズ愛好家によって作られた95,000 の問題と解答のペアからなる英語のQA データ
セット

属性がJAQKETと近いので、先の違いがトリビアクイズによるものなのか言語によるものなのかわかる
手順
1.

TriviaQAのバリデーションデータの解答17,944 個の中からランダムに500 個取り出す(JAQKETは先と同じ)

2.

Googletrans API(Google翻訳のAPI)を利用して日本語に翻訳

3.

学習済み日本語版Wikipedia2Vec(100次元)[8]でベクトルを取得(JAQKETは827個、TriviaQAは235個取得できた)

4.

PCA、t-SNE、UMAP、各手法で次元を減らして可視化(ここではUMAPによる可視化の結果を紹介)

JED2022 2022/03/1822

後半3．日本語QAデータセット単語分布の特徴析出

JAQKETとTriviaQAの単語分布
・ 先と同じくJAQKETが日本史的単語を特徴的に有する・ 天文学的単語は析出されず(トリビアクイズの特徴か)
黒点：JAQKET、青点：TriviaQA
特徴的な単語をアノテート
赤字：JAQKET 、紫字：TriviaQA

JAQKET and TriviaQA(UMAP)
JED2022 2022/03/18

23

全体のまとめ〇前半・ データセットという言葉の定義を確認するとともに、QAにおいてデータセット作成の際に意識するべき2つのパラダイムを紹介した〇後半

・ 日本語QAデータセットの整理と、そこから見えてくる英語QAデータセットとの差を紹介した
・ 日本語QAデータセットを、特に工夫せずに英語から翻訳することで作成した場合に生じる問題を確認した
・ 代表的なQAデータセットの単語分布を比較することにより、日本語でオリジナルに作成した
QAデータセットが日本の文化に関する単語を特徴的に有することが確認された(英語もしかり)=根拠文が付随しない場合、翻訳先の言語で、解くのに必要な情報を集めにくい可能性

JED2022 2022/03/1824

参考文献[1] Anna Rogers et al., QA Dataset Explosion:A Taxonomy of NLP Resources for Question Answering and Reading
Comprehension",CoRR, Vol.abs/2107.12708, 2021.
[2] Emily M. Bender., The #BenderRule: On Naming the Languages We Study and Why It Matters. September 2019.
[3] Pranav Rajpurkar et al. SQuAD: 100, 000+ Questions for Machine Comprehension of Text, CoRR,Vol.abs/1606.05250,
2016.
[4] Akari Asai et al.,Multilingual Extractive Reading Comprehension by Runtime Machine Translation, CoRR,Vol.abs/1809.03275, 2018.
[5] Masatoshi Suzuki et al., JAQKET: クイズを題材にした日本語QA データセットの構築, 言語処理学会第26 回年次大会発表論文集, 2020.
[6] Pranav Rajpurkar Robin Jia, and Percy Liang, Know What You Don't Know: Unanswerable Questions for SQuAD, CoRR,
Vol.abs/1806.03822, 2018.
[7] Mandar Joshi et al.,TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension, In
Proceeding of the 55th Annual Meeting of the Association for Comuputational Linguistics(Vol 1:Long Papers), pp.1601-1611,
2017.
[8] Ikuya Yamada et al., Wikipedia2Vec: An Efficient Toolkit for Learning and Visualizing the Embeddings of Words andEntities from Wikipedia, In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing:
System Demonstrations, pp. 23-30., 2020.
[9] Telmo Pires, Eva Schlinger, and Dan Garrette. How Multilingual is Multilingual BERT? In Proceedingsof the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4996{5001, Florence,Italy, July 2019. Association for Computational Linguistics.
[10] AI 王～クイズAI 日本一決定戦～. https://sites.google.com/view/project-aio/home. (Accessed on 01/16/2022).
JED2022 2022/03/1825参考文献[11] Pedro Rodriguez, Jordan Boyd-Graber, Evaluation Paradigms in Question Answering, In Proceedings of the 2021
Conference on Empirical Methods in Natural Language Processing, 2021.
[12] Tom Kwiatkowski et al., Natural Ques tions: a Benchmark for Question Answering Research., Transactions of theAssociation of Computational Linguistics, 2019.
[13] Tri Nguyen et al., MS MARCO: A Human Generated MAchine Reading COmprehension Dataset. CoRR, Vol.
abs/1611.09268, 2016.
[14] Haytham M. Fayek and Justin Johnson. Temporal Reasoning via Audio Question Answering. IEEE/ACM Transactions onAudio, Speech, and Language Processing, Vol. 28, pp. 2283-2294, 2020.
[15] Chia-Hsuan Li, Szu-Lin Wu, Chi-Liang Liu, and Hung-yi Lee. Spoken squad: A study of mitigating the impact of speech
recognition errors on listening comprehension. CoRR, Vol. abs/1804.00320, 2018.
[16] Chenyu You, Nuo Chen, Fenglin Liu, Dongchao Yang, and Yuexian Zou. Towards Data Distillation for End-to-end Spoken
Conversational Question Answering. CoRR, Vol. abs/2010.08923, 2020.
[17] Makarand Tapaswi, Yukun Zhu, Rainer Stiefelhagen, Antonio Torralba, Raquel Urtasun, and Sanja
Fidler. MovieQA: Understanding Stories in Movies through Question-Answering. , 2016.
[18] Jie Lei, Licheng Yu, Mohit Bansal, and Tamara Berg. TVQA: Localized, Compositional Video Question Answering. In
Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1369{1379, Brussels,Belgium, October-November 2018. Association for Computational Linguistics.
[19] Jonghwan Mun, Paul Hongsuck Seo, Ilchae Jung, and Bohyung Han. MarioQA: Answering Questions by Watching
Gameplay Videos. CoRR, Vol. abs/1612.01669, 2016.
[20] Kyung-Min Kim, Min-Oh Heo, Seong-Ho Choi, and Byoung-Tak Zhang. DeepStory: Video Story QA by Deep Embedded
Memory Networks. In IJCAI, pp. 2016-2022, 2017.
JED2022 2022/03/1826

参考文献[22] Wenhu Chen et al., HybridQA: A Dataset of Multi-Hop Question Answering over Tabular and Textual Data. In Findingsof the Association for Computational Linguistics: EMNLP 2020, pp. 1026{1036, Online, November 2020.
Association for Computational Linguistics.
[23] Alon Talmor et al., MultiModalfqag: complex question answering over text, tables and images. In International
Conference on Learning Representations, 2021.
[24] George AU Tsatsaronis, Georgios Balikas, Prodromos Malakasiotis, Ioannis Partalas, et al. SemEval2016 Task 3:Community Question Answering. In An overview of the BIOASQ large-scale biomedical semantic indexing and question
answering competition. Association for Computational Linguistics, 2015.
[25] David Vilares and Carlos Gomez-Rodrguez. HEAD-QA: A Healthcare Dataset for Complex Reasoning., CoRR, Vol.
abs/1906.04701, 2019.

JED2022 2022/03/18

27

補足資料

分類の観点(形式について)〇質問の形式・自然な質問・・・人間が行う質問の形式に近いもの
・クエリとしての質問・・・検索エンジンでなされる形式
・穴埋め形式の質問・・・一部がマスキングされることで作成された質問の形式
・ストーリー補完・・・後に続く文章を予測するなどの形式で、穴埋め形式に近い〇解答の形式
・抽出形式・・・証拠文(エビデンス)の中から解答スパンを抽出して答える形式
・多肢選択形式・・・選択肢の中から解答を選択して答える形式
・カテゴリカル形式・・・選択肢形式ではないが、日付や時間のように答えのカテゴリーが制限されている形式
・自由形式・・・特に制限を設けない形式で、抽出or生成によって解答されることが多い〇エビデンスの形式 主に3つの視点がある
エビデンスのモダリティ・・・テキストが構造的か、画像なのか音声なのか動画なのかなど
エビデンスの量・・・単一ソース、複数ソース、部分的ソース、ソース無し
動的か静的か・・・時間的発展がある(動的)かない(静的)かJED2022 2022/03/18

28

補足資料

言語資源の偏り

世界のウェブサイトにおける使用言語の割合(W3Techs.comより;2022年1月29日時点)

JED2022 2022/03/18

各言語版Wikipedia 総記事数と点数B(点数B による降順;2022 年1 月29 日時点)29

補足 後半3．日本語QAデータセット単語分布の特徴析出

データセット間差異の定量的評価〇kmeans法による比較

手順
1.

各データセットに対して学習済み日本語版Wikipedia2Vecを用いてベクトルを取得
翻訳が必要な場合はgoogletrans APIで日本語に翻訳している

2.

比較対象のデータセットのサイズをサンプリングにより等しくする
例えば、JAQKET 827個とSQuAD2.0(train+validation) 291個だったらJAQKET 827個から291個をサンプリング

3.

kmeans法を用いて10個の群に分類

4.

可視化(UMAP)して確認&全体での割合と各群での割合の差をみる

JED2022 2022/03/18

30

補足 後半3．日本語QAデータセット単語分布の特徴析出

データセット間差異の定量的評価

JAQKET(赤)とSQuAD2.0(青)(UMAP)

JED2022 2022/03/18

JAQKET(赤)とTriviaQA(青)(UMAP)31

補足 後半3． 日本語QAデータセット単語分布の特徴析出

データセット間差異の定量的評価
JAQKETとSQuAD2.0の各群割合

JAQKETとTriviaQAの各群割合

TriviaQAとSQuAD2.0の各群割合※ 割合は左2つがJAQKETの占める割合、右はTriviaQAの占める割合※ デフォルト値からの差は(群での割合)-(全体の割合;ここでは0.5)
JED2022 2022/03/1832

補足 後半3． 日本語QAデータセット単語分布の特徴析出

データセット間差異の定量的評価
デフォルト値からの差まとめ

・定量的にもJAQKETが特異な分布を有していることが確認された・また、googletrans APIをdeepl APIに変更(翻訳精度を向上)して行った実験により、TriviaQAやSQuAD2.0がアメリカ文化を象徴する単語を多く有していることも確認された。
⇨間接的に、翻訳&各言語で学習されたコーパスにより各言語圏の文化的単語が失われやすいことを示した
JED2022 2022/03/18

33