絵本を題材とするクイズの生成と評価

絵本を読むことは，子どもの言語発達と情操教育の両面で効果が期待できる[1]．NTTではこれまで，子どもの興味や発達にあった絵本の推薦に取り組んできたが，絵本を読んだ後にも，内容に関するクイズを出題したり感想を話し合えるシステムを提供することで，理解度を測ると同時に読書への意欲を高めることを目指している．特にクイズは，理解度を確認する有効性が示されており[2]，楽しみながら理解度の確認ができるという点で有用である．しかし，クイズを人手で作成するためには，実際に絵本を読み，クイズとして適切な問題文と回答を作成する必要があるため，高い人的コストを要する．そのため，クイズの自動生成（作問）技術が望まれている．クイズの自動作問サービスは既に存在するものの，クイズの作問では「場面にあった主題と様々な明示的・暗示的な条件を満たす必要がある」と言われている[3]．本稿が目指す「子どもの絵本に対する理解度を確認するためのクイズ」においては，クイズの主題が絵本であるだけでなく，クイズで問う内容は絵本の内容に忠実かつ限定されている必要がある．また，クイズの問題文や回答が，その絵本を読み終わったばかりの子どもに対して適した難易度である必要がある．例えば，日本語のQAデータセットJAQKET[4]には，絵本『ぐりとぐら』[5]に関するクイズが4問あるが，『ぐりとぐら』を読み終わった子どもへのクイズとしては，“おりょうりすることとたべることが好きな2匹の野ねずみの生活を描いた、中川李枝子（なかがわ・りえこ）の絵本シリーズは何でしょう？”よりも，“中川李枝子と山脇百合子による絵本『ぐりとぐら』で、ぐりとぐらが卵から作ったお菓子は何？”の方が適切だと考えられる．さらに言えば，『ぐりとぐら』に関するクイズだとわかっている場合には，下線部だけを出題すれば十分である．これを踏まえ，本稿ではまず，子どもが絵本を読んだ後に回答することを想定したクイズデータを人手で作成し，インストラクションチューニング用のデータに変換する．その際，絵本のタイトル,本文や想定読者の年齢情報を含めるかどうかなど，条件を変えてインストラクションデータを作成し，LLMの追加学習を行う．追加学習で得られたモデルを用いて，評価用の未知の絵本に対するクイズの生成を行い，クイズの品質を評価することで，インストラクションに含まれる情報がクイズの生成に与える影響を調査する．