# JDocQA: 図表を含む日本語文書質問応答データセットによる 大規模言語モデルチューニング

大南英理 1,2 栗田修平 2 宮西大樹 3 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 理化学研究所 ${ }^{3}$ 国際電気通信基礎技術研究所
\{onami.eri.ob6,taro\}@is.naist.jp shuhei.kurita@riken.jp miyanishi@atr.jp

## 概要

実用的な文書にはテキストだけでなく様々な図表等が含まれる。このような文書への高精度な質問応答を実現するためには，視覚情報とテキスト情報の両方の理解が必要となる. 本研究では図表を含む日本語文書をもとにして，視覚情報とテキスト情報の両方を参照する質問応答データセット JDocQAを提案し, 複数の日本語大規模言語モデルや画像を入力とするモデルを使用して，データセットのベンチマーキングを行った. その結果，JDocQAを用いて大規模言語モデルのチューニングを行うことで，図表を含む日本語文書の質問応答課題の性能を向上することができた. また，文書中の情報から解答できない質問を学習することにより，モデルのハルシネーション抑制に有効であることを確認した.

## 1 はじめに

視覚的なコンテンツとテキストとの双方を含む文書への質問に解答する課題は, 文書画像質問応答 (Document VQA) として注目を集めている $[1,2,3,4]$. また，学校の理科教材として使われるダイアグラムにアノテーションや質問応答を付与した AI2D [5] や，中学校理科テキストブックへの質問応答 TQA [6] などを筆頭に，グラフ読取，幾何学，科学などの分野で，図表やテキストを入力とした複雑な推論を志向した研究とも深く関連する $[7,8,9,10,11]$. 図表を含む文書は社会のあらゆる場面で使用されており，実応用としても非常に重要である。昨今は, OpenAI GPT [12] に代表される大規模言語モデル（LLM）やマルチモーダルな入力が可能なモデル $[13,14]$ が急速に発展し, 社会実装が進むに伴い，様々なチューニング用や評価用のテキストデータセットが提案されてきている $[15,16,17]$. しかしながら，テキスト情報だけで
なく視覚的な情報を必要とする質問応答のチューニング用データセットはまだ十分でなく，特に英語以外の言語での視覚的な公開データセットは，大学入試分野 [18] などを除けば非常に稀有な存在である.

本研究では，グラフ，表，地図，日本語の縦書き横書き混在等の視覚的な情報とテキスト情報の両方を参照しなければ解答できない質問応答データセット JDocQA を提案する。JDocQA は，オープンアクセス可能な PDF 形式の文書で構成され, 経済,教育，農業，歴史，文化など多岐にわたる分野を網羅し，レポート，スライド，パンフレット，Web サイト，縦書き等の様々な形式の文書を提供するデー タセットである。提案する JDocQA は, 日本語文書に特化した質問応答のチューニング用データセットしても使用することができ，高性能な日本語質問応答モデルの作成が期待できる. また，本研究では，LLM が事実に基づかない情報を生成するハルシネーションに対処するため，文書中の情報だけでは解答できない質問を全データセットの 1 割程度作成し, このデータを使って追加で学習する方法を提案する. 複数の日本語 LLM や画像を大力とするマルチモーダル LLM を使用して，JDocQA のベンチマーキングと提案手法の有効性を検証する.

本論文の貢献は以下のようにまとめられる. (i) テキストと図・表・縦書きなどの視覚情報の両方を理解しなければ解答できない質問応答データセット JDocQA を提案した, (ii) 日本語対応 LLM JJDocQA を学習させることで， ゼロショットの OpenAI GPT と比べ高い性能を示すことを確認した，(iii) LLM のハルシネーションを防ぐため, 文書中の情報では解答できない質問（解答不能問題）を作問した，(iv)解答不能問題を含む全データを学習させた場合と，解答不能問題を含まないデータで学習させた場合とを比較し，前者がハルシネーションの抑制に有効であることを確認した。

図 1 質問形式毎の質問，解答および解答根拠範囲（赤色矩形領域）アノテーションサンプル.

## 2 JDocQA データセット

## 2.1 タスク

(1) 質問に対して「はいんいえ」で解答するはい/ いいえ形式，(2) 本文中から事実を抜き出して解答する事実抽出形式，(3) 簡単な四則演算や単位を含めて数字で解答する数量形式，(4) 質問に対してある程度の長さの文章を作成して解答する自由記述形式の 4 つの形式に沿った質問を作成した.また， 4 つの質問形式とは独立に複数ページを参照しなければ解答できない質問および文書中の情報では解答できない質問 (解答不能問題)を作成した.

## 2.2 データ収集

ドキュメント収集日本の官公庁が公開しているスライドやレポート，地方自治体のパンフレット，国立国会図書館デジタルライブラリに保存されているウェブサイト，から PDFファイルを収集した.収集した文書は，レポート，スライド，パンフレット，ウェブサイトの 4 つに分類される. これらの文書のうち，表，グラフ，図，絵などの視覚的な情報理解が重要なものを人手で選択した。

テキスト標準化モデルに入力するテキストを取得するため，PDF に埋め込まれた文字の抽出および $\mathrm{OCR}^{1)}$ によるテキストの取得を行った。モデルの入力には，原則的に埋め込み文字の抽出を使用し，埋め込み文字が取得できない場合，例外的に OCR で取得したテキストを用いた。


アノテーション計 43 名のアノテーターが，テキスト情報と視覚情報の両方を使用しなければ解答できない質問とその解答，解答根拠の矩形領域を作成した。また，解答不能問題を作成し，正解解答を 「本文中に記載がありません」とした。

質問・解答データ標準化句読点と句点の有無や全角と半角，語尾の「です」「ます」などの差異が存在したため，ルールベースで標準化を行った。

画像入カデータモデルの入力として, 同じピクセルで質問の該当ページ全体の画像データ，解答の根拠を囲う矩形領域内の画像データ，白画像データの 3 種類を準備した.

## 2.3 統計

合計 5,508 個の PDF ファイルに対して 11,600 件の質問応答ペアを作成した. 図 1 は，4つの質問形式で作成された質問解答ペアの例であり，表 1 は，作成したデータセットの統計である。質問解答ペアは必ず参照する視覚情報を含み，図 2 は，視覚情報別の質問応答件数を表す。学習，検定，テストセットにそれぞれ 9,290 件，1,134 件，1,176 件の質問応答が含まれるようにデータセット全体を分割した。同一PDF ファイルは必ず同一の分割に出現する.

## 3 実験

## 3.1 モデル

テキストのみの入カモデル提案データセットの有用性を評価するため，2023 年 9 月までに公開されていた日本語に対応しかつ 13B までのパ

表 1 ドキュメントカテゴリ別の統計量，質問解答種別数，複数ページにわたる質問応答件数，解答不能問題件数.

ラメータサイズの代表的な LLMを選定し，学習データによるチューニングおよび評価を行った。具体的には, rinna japanese-gpt-4B-8k, rinna japanesegpt-1B, OpenCALM-7B, weblab-10B, PLaMo-13B, StabilityAI Japanese-StableLM-Base-Alpha-7B, StabilityAI Japanese-StableLM-Instruct-Alpha-7B および Llama-27Bを使用した。 入力トークンサイズは，公平性および簡単のため基本的に 1024 トークンとし，トー クン数を変更した際の挙動を調べるため, rinna japanese-gpt-4B-8k を 2048，4096，および 8192 トー クンで学習させた.

マルチモーダル入カモデル日本語に対応しかつテキストと画像の両方を入力できるマルチモー ダルな LLM を選定し, 評価を行った. 具体的には Stability AI Japanese-StableLM-Instruct-Alpha-7B を使用した. 入力画像には，PDFの 1 ページ全体の画像，矩形の解答根拠箇所を結合した画像，白画像の 3 種類を用いた. 入力画像サイズは $800 x 600$ ピクセルに統一した. モデルの入力制限のため, 入力トー クン数は 512 トークンとした.

OpenAI GPT ベースライン OpenAI GPT の性能と比較するため, gpt-3.5-turbo-16k と gpt-4 を使用した2). GPT モデルについては学習セットを利用したモデルのチューニングは行わず，なるべく精度のよいプロンプトテンプレートを人手で作成した上で， ゼロショットでの評価を行った.

## 3.2 評価方法

4 つの質問形式のうち，はいいいえ，事実抽出，数量の質問は，ルールベースで句読点・句点の違いやですますなどの語尾の違いを除去し，正解解答との一致を調査した. 正解解答との一致だけでなく正解解答に含まれる要素があれば加点する方式でも評価を行ったが，スコアに大きな差がなかったため正解との一致による評価とした. 自由記述形式の質問は，解答の平均長が 65.97 文字と長いため, $\mathrm{MeCab}$ でトークン化された BLEU スコアを使用した。

## 3.3 実験設定

データセットには解答不能問題が含まれるため, LLM がハルシネーションを起こすことが予想される. そこで，学習段階で解答不能問題のデータを含める場合と含めない場合の 2 通りの学習を行い，評価段階でもテストセットに解答不能問題を含める場合と除外する場合の 2 通りのテストを行った.

## 4 結果

テキストのみを入力するモデルの実験結果は表 2，テキストおよび画像を入力するモデルの実験結果は表 3 の通りである.

## 4.1 全ての質問応答で学習した場合

解答不能問題を含めた全ての学習データで学習し，テストセットに解答不能問題を含む場合と含まない場合の 2 通りでテストを行った. 表 2 にて，解答不能問題を含む全てのデータで学習をした場合，特にパラメータ数の大きいモデルにおいて, OpenAI の gpt-3.5, gpt-4 モデル以上の精度が出ることがわかる. 解答不能問題ありでテストした場合（表 2 左） となしでテストした場合（表 2右）では，精度に同じ傾向が見られるため，全データで学習した場合の振る舞いが似ていることがわかる。また、Llama-2-7B は StableLM の 7B モデルと比較した場合，解答不能問題での精度に伸び悩む傾向があった.

## 4.2 解答不能問題を除いて学習した場合

学習時に解答不能問題を除いたデータで学習し,解答不能問題を含む場合と含まない場合の 2 通りでテストを行った．まず，ほぼ全てのモデルで，全データで学習した場合の方が，解答不能問題を除くデータで学習した場合よりも精度が良いことがわかる.これは，モデルがハルシネーションを起こすためであり，学習データに正解が解答できない質問を入れることは，ハルシネーションの抑制に寄与すると言える。


表 2 各チューニング済みモデルおよび OpenAI GPT の，はいんいえ(Y/N), 事実形式 (Fact), 数量形式 (Num), 自由記述形式 (Free)，およびそれらの重み付き平均 (Avg.) での結果を示す.

表 3 マルチモーダル入力を行ったモデルの結果.

## 4.3 マルチモーダルモデル

表 3 に詳細な結果を示す. 元となったモデルの入カトークン数は 512 が上限のため，この制限が性能を低下させた恐れがある. 白画像の精度と他の 2 種類のモデルの精度がまだあまり差がなく，この対策として，事前学習も含めた日本語のマルチモーダル基盤モデルの拡充が有効であると考えられる.

## 4.4 トークンの長さによる結果への影響

JDocQA にはコンテクスト長が長い文書が含まれているが，入力トークンの最大長を超える場合はその冒頭部分のみを入力している。この影響を調べるため, rinna bi-4B-8k モデルを用いて 2,048，4,096,

表 43 段階の異なるトークン入力最大長と結果への影響 8,192 の 3 つの入力トークン最大長で学習および評価し性能を比較した結果を表 4 に示す. 入力トークン最大長が増加した場合にモデルの性能がやや改善する傾向が見られた。

## 5 結論

日本語ドキュメントに対する質問応答タスクであるJDocQA を提案し，テキスト情報だけでなく，視覚情報を用いなければ解答できない質問応答タスクを提案した。このタスクは，文書内の情報からは解答することができない質問を含んでおり，本文中に解答のない質問を含めてモデルの学習を行うことで LLM の信頼性向上に寄与する可能性が示された.

## 謝辞

本研究は JST さきがけ JPMJPR20C2，および JSPS 科研費 JPMJPR22P8 の助成を受けたものです. JDocQA データセットのアノテーションはその一部を株式会社バオバブに実施いただきました。

## 参考文献

[1] Minesh Mathew, Viraj Bagal, Rubèn Tito, Dimosthenis Karatzas, Ernest Valveny, and C. V. Jawahar. Infographicvqa. In 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pp. 2582-2591, 2022

[2] Xingyu Chen, Zihan Zhao, Lu Chen, JiaBao Ji, Danyang Zhang, Ao Luo, Yuxuan Xiong, and Kai Yu. WebSRC: A dataset for web-based structural reading comprehension. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4173-4185, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, 2021.

[4] Ryota Tanaka, Kyosuke Nishida, Kosuke Nishida, Taku Hasegawa, Itsumi Saito, and Kuniko Saito. Slidevqa: A dataset for document visual question answering on multiple images. In AAAI, 2023

[5] Aniruddha Kembhavi, Mike Salvato, Eric Kolve, Minjoon Seo, Hannaneh Hajishirzi, and Ali Farhadi. A diagram is worth a dozen images. In Computer Vision - ECCV 2016, pp. 235-251, Cham, 2016. Springer International Publishing.

[6] Aniruddha Kembhavi, Minjoon Seo, Dustin Schwenk, Jonghyun Choi, Ali Farhadi, and Hannaneh Hajishirzi. Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017.

[7] Jayant Krishnamurthy, Oyvind Tafjord, and Aniruddha Kembhavi. Semantic parsing to probabilistic programs for situated question answering. In Jian Su, Kevin Duh, and Xavier Carreras, editors, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 160-170, Austin, Texas, November 2016. Association for Computational Linguistics.

[8] Mrinmaya Sachan, Kumar Dubey, and Eric Xing. From textbooks to knowledge: A case study in harvesting axiomatic knowledge from textbooks to solve geometry problems. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 773-784, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Kushal Kafle, Scott Cohen, Brian Price, and Christopher Kanan. Dvqa: Understanding data visualizations via question answering. In CVPR, 2018.
[10] Shailaja Keyur Sampat, Yezhou Yang, and Chitta Baral. Visuo-linguistic question answering (VLQA) challenge. In Trevor Cohn, Yulan He, and Yang Liu, editors, Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4606-4616, Online, November 2020. Association for Computational Linguistics.

[11] Pan Lu, Swaroop Mishra, Tony Xia, Liang Qiu, Kai-Wei Chang, Song-Chun Zhu, Oyvind Tafjord, Peter Clark, and Ashwin Kalyan. Learn to explain: Multimodal reasoning via thought chains for science question answering. In The 36th Conference on Neural Information Processing Systems (NeurIPS), 2022.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020 .

[13] Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, and Steven Hoi. Instructblip: Towards generalpurpose vision-language models with instruction tuning, 2023.

[14] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. In NeurIPS, 2023.

[15] Swaroop Mishra, Daniel Khashabi, Chitta Baral, and Hannaneh Hajishirzi. Cross-task generalization via natural language crowdsourcing instructions. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3470-3487, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[16] Victor Sanh, Albert Webson, Colin Raffel, Stephen Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Teven Le Scao, Stella Biderman, Leo Gao, Thomas Wolf, and Alexander M Rush. Multitask prompted training enables zero-shot task generalization. In International Conference on Learning Representations, 2022.

[17] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[18]東ロボプロジェクト. ロボットは東大に入れるか. In https://21robot.org.

## 本研究の制約

本研究では，代表的な LLM を JDocQA で学習させた場合の精度を報告した. しかし，これらの結果はあくまで JDocQA による学習との相性による可能性もあり，必ずしも学習前の LLM の性能を示すものではないと考える. また，ゼロショットでの質問応答性能はプロンプトに大きく依存するため, 本研究では OpenAI GPT のゼロショット性能を提示するに留めた。

## 付録

データセットの追加の統計量視覚情報カテゴリ別の質問応答件数を図 2 に，質問応答カテゴリ別のテキスト統計量を表 5 に示す. 表 5 から，JDocQA の入力データは比較的長めのテキストが多い.

図 2 視覚情報カテゴリ別の質問応答件数

Train dataset comparison

$
れる 。
$

図 6 Stable-LM モデルにおける自由記述形式出力結果の実験条件による比較解答不能問題も含まれる.

表 5 質問応答カテゴリ別の本文，質問，解答の平均文字数.

人手評価表 6 は，人手評価の結果を示す.テストケースの中の 100 件の質問応答をサンプルとして人手評価を行った. テキストを入力するモデルから PLaMo-13B と StableLM Instruct-Alpha-7B, テキストと画像を入力するモデルから StableLM InstructBLIP-Alpha の白画像を入力した場合を評価した. アノテーターは，アノテーションされた答えが生成結果に含まれているかどうか，間違った答えが生成結果に含まれていないかどうかの 2 つの観点に対して，それぞれ 0-2 点をつけて採点を行った.

表 6 サンプルセットにおける人手評価結果. 学習セット全体で学習したモデルを使用し，サンプルセットには
Q:市税などの滞納により差し押さえをした自動車を公売しますが、売却区分番号15J001はどのような自動車ですか?/ The vehicle seized due to tax delinquent will be sold at a public auction. Please explain the feature of ID $15 \mathrm{~J} 001$.

A:売却区分番号15J001は、トヨ多の「フロボックス」です。初年度登録は平成14年で、走行距離(平成27 年6月30日時点)が124,344kmで、車検有効期限が平成27年10月13日の自動車です。/ ID $15 \mathrm{~J} 001$ is TOYOTA PROBOX. Register date was 2002, total mileage was $124,344 \mathrm{~km}$ and inspection expires 2015 Oct $13^{\text {th }}$

StableLM InstBLIP-AI (img):トヨタ・チロボックスです。平成14年124,344kmの走行距離です。 It is TOYOTA PROBOX. Mileage in 2002 was $124,344 \mathrm{~km}$.

StableLM Inst.-Al.-7B:本文中に記載がありません

Not mentioned in the text

StableLM Base-Al.-7B:トヨタ゚ロボックス平成14年124,344kmです。 TOYOTA PROBOX 2002 124,344km.

Q: 2016年のイランの実質GDPと消費者物価指数の推移に影響した全要因は何ですか / What is the main factor affected to the Iran's actual GDP and consumer price index in 2016?

A:本文中に記載がありません/Not mentioned in the text

StableLM Inst.-Al.-7B (trained with all instances)本文中に記載がありません/ Not mentioned in the text

StableLM Inst.-Al.-7B (trained without unanswerable questions): 2016年はイランのGDPは18\%もの成長を記録し、インフ率も低下した。しかし、2018年の米国の制裁復活が影響することで、IMEはGDP成長率が2018年に-1\%、2019年には-4\%に落ち込み、インフル率は上昇する。/ In 2016, Iran's GDP recorded an impressive growth of $18 \%$, and the inflation rate decreased. However, the re-imposition of U.S. sanctions in 2018 had a significant impact, causing Iran's GDP growth rate to plummet to $-1 \%$ in 2018 and further to $4 \%$ in 2019 , while inflation rates rose.