ング用データセットはまだ十分でなく，特に英語以実用的な文書にはテキストだけでなく様々な図外の言語での視覚的な公開データセットは，大学入表等が含まれる．このような文書への高精度な質問試分野[18]などを除けば非常に稀有な存在である．応答を実現するためには，視覚情報とテキスト情報本研究では，グラフ，表，地図，日本語の縦書きの両方の理解が必要となる．本研究では図表を含む横書き混在等の視覚的な情報とテキスト情報の両日本語文書をもとにして，視覚情報とテキスト情報方を参照しなければ解答できない質問応答データの両方を参照する質問応答データセットJDocQAをセットJDocQAを提案する．JDocQAは，オープン提案し，複数の日本語大規模言語モデルや画像を入アクセス可能なPDF形式の文書で構成され，経済，力とするモデルを使用して，データセットのベンチ教育，農業，歴史，文化など多岐にわたる分野を網マーキングを行った．その結果，JDocQAを用いて羅し，レポート，スライド，パンフレット，Webサ大規模言語モデルのチューニングを行うことで，図イト，縦書き等の様々な形式の文書を提供するデー表を含む日本語文書の質問応答課題の性能を向上タセットである．提案するJDocQAは，日本語文書することができた．また，文書中の情報から解答でに特化した質問応答のチューニング用データセッきない質問を学習することにより，モデルのハルシトしても使用することができ，高性能な日本語質問ネーション抑制に有効であることを確認した．応答モデルの作成が期待できる．また，本研究では，LLMが事実に基づかない情報を生成するハル

シネーションに対処するため，文書中の情報だけで視覚的なコンテンツとテキストとの双方をは解答できない質問を全データセットの1割程度作含む文書への質問に解答する課題は，文書画像成し，このデータを使って追加で学習する方法を提質問応答(DocumentVQA)として注目を集めてい案する．複数の日本語LLMや画像を入力とするマる[1,2,3,4]．また，学校の理科教材として使われルチモーダルLLMを使用して，JDocQAのベンチるダイアグラムにアノテーションや質問応答を付マーキングと提案手法の有効性を検証する．与したAI2D[5]や，中学校理科テキストブックへ本論文の貢献は以下のようにまとめられる．(i)テの質問応答TQA[6]などを筆頭に，グラフ読取，幾キストと図・表・縦書きなどの視覚情報の両方を理何学，科学などの分野で，図表やテキストを入力解しなければ解答できない質問応答データセットとした複雑な推論を志向した研究とも深く関連すJDocQAを提案した，(ii)日本語対応LLMにJDocQAる[7,8,9,10,11]．図表を含む文書は社会のあらゆを学習させることで，ゼロショットのOpenAIGPTる場面で使用されており，実応用としても非常にと比べ高い性能を示すことを確認した，(iii)LLMの重要である．昨今は，OpenAIGPT[12]に代表されハルシネーションを防ぐため，文書中の情報では解る大規模言語モデル（LLM）やマルチモーダルな答できない質問（解答不能問題）を作問した，(iv)入力が可能なモデル[13,14]が急速に発展し，社解答不能問題を含む全データを学習させた場合と，会実装が進むに伴い，様々なチューニング用や評解答不能問題を含まないデータで学習させた場合と価用のテキストデータセットが提案されてきていを比較し，前者がハルシネーションの抑制に有効でる[15,16,17]．しかしながら，テキスト情報だけであることを確認した．―691―.(1)はい/いいえ形式(2)事実抽出形式(3)数量形式(4)⾃由記述形式Q:名古屋駅から桜⼭キャンパスへ地下鉄で⾏くにはどの路線を使ったらよいですか。Q:富⼠市ではシルバー⼈材センターを設けていますか。A:桜通線A:いいえ