歴史クイズ生成のための比較可能な画像組合せ検索
大熊 祐輝†

澄川 靖信‡

拓殖大学†‡

1 はじめに歴史を深く理解することの重要性は広く認められている．実際，現代社会の形成過程を深く理解できるようになる効果があることが知られている[1]．また，歴史は社会的に重要な役割を担っているため，多くの国で小学校から歴史の授業が開講されている．このような背景の下，効果的に歴史の知識を活用できる能力を育成するための高等学校の歴史の授業を前提とした授業設計の研究[2]，歴史は教育以外の活動のためにも利用されていることを踏まえた現代と関係する歴史を作る価値の提案[3]，歴史と Twitter 利用者の会話を促すチャットボットの開発[4]が行われている．
本研究では，図 1 に示すように，写真や絵画などの画像を 2 つ提示し，どちらが現代に近いかを問うクイズを自動で生成するアルゴリズムを提案する．本稿では 19,147 件も歴史に関係する画像とその説明を含む World Digital Library(WDL) からクイズとして回答可能な画像の組合せを求める．この結果を利用できるように
Twitter でチャットボットを実装し，いつでも回答とその結果を確認できる環境を実現した．
本研究は歴史の知識を問うクイズに画像を利用するので，単語や文などの言語に比べて，単に興味を引きやすいだけでなく，多くの情報を長期間にわたり覚えられる画像優位性効果を活かした学習支援環境を実現する基礎となりうる．
2 提案手法
本手法を適用する前に，WDL からすべての画像とその説明である年代，場所，トピック，要約文の 4 つを抽出してデータベース（DB）を構築する．次に，抽出した画像に対してDetectron2[5]によって，物体とそのカテゴリを検出する．要約文は Term Frequency-Inverse
Document Frequency（TF-IDF）によって特徴ベクトルを作成する．
比較可能な画像の組合せを求めるために，DBの画像一つ一つに対して，最も類似度の高い他
Comparable Image Combination Retrieval for History QuizGeneration† Yuki Ookuma, Takushoku University‡ Yasunobu Sumikawa, Takushoku University

図 1 本手法が生成するクイズの例の画像を求め，それらをクイズとして出力する組合せとする．この類似度を計算するために，上述した 4 つの特徴それぞれで類似度を求め，それらを統括した値を最終的な類似度とする．
ここでは，i 番目と j 番目の画像の類似度を求める方法を述べる．要約文の類似度は TF-IDFで作成した特徴ベクトルに対するコサイン類似度で求め，この値を Cos と表記する．場所とトピックはそれらのカテゴリ階層が与えられているので，これらの類似度は与えられた複数のカテゴリの一致度を Jaccard 係数によって求める．
例えば，図 1 の 2 つの画像の場所に関するカテゴリ階層は「EastAsia＞Japan」と定義されている．これらの結果を，それぞれ，place ，topicと表記する．Detectron2 は複数の物体を 1 枚の画像から検出するので，検出したカテゴリどうしの類似度も Jaccard 係数によって求める．この結果は image と表記する．
上記の 4 つの類似度の値を次式で示すように統括して最終的な 2 つの画像の類似度とする．
i,jij

ij

ij

sim =α *Cos +α *place +α *topic +α *imageij

1i,j2ij

3ij

4ij

(1)

ここで，α +α +α +α = 1 とする．本稿ではこれらの 4 つのパラメータの値を 0.25 とした．
1

234

3 実験
本手法の有効性を評価するために 2 種類の実験をした．まず WDL から取得した特徴のどれがクイズ生成に有効なのかを評価するために，1)ランダムに 2 枚の画像を選ぶ場合，2) Cos のみを使う場合，3) place のみを使う場合，4) topic のみを使う場合，5) image のみを使う場合，の 5 つを比較対象とし，提案手法の式(1)と一緒に精度を確認した．この結果，提案手法が最も精度が高いことが確認できたので，次に，提案手法が生成したクイズの妥当性を検証する評価を行った．ランダムに 2 枚の画像を選ぶ場合と提案手法で 50 個ずつの画像の組合せを生成した．これ
らの組合せが回答可能かどうかを確認するために，7 名の日本語話者の大学生に実際にクイズとして回答してもらった．本実験では，クイズとして提示する 2 つの画像に対して A と B という見出しを付与した．本研究は回答可能なクイズを生成することが目的なので，各クイズに対して，これらの見出しの「A」「B」に加えて「回答不能」を選択肢として提示した．すなわち，Aと B の選択肢をクイズ成立，回答不能をクイズ不成立とする．回答の中には歴史の知識の有無によって回答可能か不可能かの判別で意見が異なったので，各クイズの回答可能性を決定するために，可能と不可能のどちらが多いかを確認し，過半数を占めたものをそのクイズの回答可能性に使用した．
実験結果を確認したところ，ランダム生成のクイズ成立率は 50％だった．一方，本手法ではクイズ成立率は 80％だった．したがって，本手法が最もクイズ生成に適していると言える．
クイズとして成立しなかった画像の組合せを確認したところ，WDL の画像には図 1 のような人物やイラストの画像だけでなく，過去に発行された文章や地図の画像があった．文章や地図の画像がクイズに含まれた場合，そのクイズは不成立だったと回答した人が多かった．これらの画像はその年代や地域の歴史に詳しい人なら回答できるかもしれないが，多くの人にとっては細かい知識を問う問題だったと考えられる．
提案手法の結果に注目すると，文章どうしや地図どうしの比較を問うクイズが生成されていた．本手法はこのような画像を除外するために物体検出を組み合わせたので，このようなクイズを生成した原因を調べたところ，アラビア語で書かれた文章画像で「bird」カテゴリを誤検出していたことが明らかになった．地図画像でもi,jij

ijij

同様の誤検出が確認できたので，クイズ不成立の原因として物体の誤検出が考えられる．

4 まとめと今後の課題
本研究では，デジタル図書館から取得した歴史に関する画像の中からクイズとして回答できる組合せを求める検索アルゴリズムを提案した．
本手法を誰でも利用できるように Twitter チャットボットを実装した．本システムを利用することによって，歴史の授業で学習した内容をより深く理解することや，専門的な歴史について触れることが可能になる．本検索アルゴリズムの有効性を確認したところ，約 80％の確率で回答可能なクイズを生成したことが分かった．
今後の課題は 2 つある．1 つ目はクイズとして出力できる画像を増やすことが考えられる．例
えば，歴史の教科書などにも扱われているような有名な画像もクイズとして出力できると歴史に興味のない人の関心を惹くクイズを生成できると考えられる．任意の画像を対象とするなら，説明文などが無くても類似度を測定できるように検索アルゴリズムを拡張する必要がある．2 つ目はクイズ形式の増加である．本手法で生成したクイズはどちらが現代に近いかを問う単純な 2択クイズであった．このクイズ形式は気軽に歴史に触れられるが，もし指定した固有名詞に関するクイズに取り組められると，歴史の授業の振り返りなどの場面でも使えるような学習システムとして利用できると考えられる．
参考文献[1] R. P. Abelson and A. Levi: Decision
making and decision theory, handbook ofsocial psychology, pp. 231–309 (1985).
[2] 池尻良平, 澄川靖信：真正な社会參画を促す
世界史の授業開発– その日のニュースと関連した歴史を検索できるシステムを用いて– ,社会科研究, 84, pp.37–48 (2016).
[3] 澄川靖信,ヤトフトアダム：デジタルヒスト
リーとの対話を促す twitter チャットボット,
電子情報通 信学会論文誌, J104-D, 5, pp.
486– 497 (2021).
[4] R. Conard: The Pragmatic Roots of Public
History Education in the United States, The
Public Historian, Vol. 37, No. 1, pp. 105–120(2015).
[5] Y. Wu, A. Kirillov, F. Massa, W.-Y. Lo, andR. GirshickDetectron2
https://github.com/facebookresearch/detectron2 (2019).