情報処理学会研究報告
IPSJ SIG Technical Report

機械学習手法を用いたクイズ問題のジャンル推定淀川 翼1,a)伊東 栄典2

概要：問題に対する一意な回答から構成されるクイズは，人類が古来より楽しんできた知的娯楽である。
クイズの形式は教育や学習における試験でも活用されている。クイズは知性を実現するものとも考えられており，人工知能の例としてクイズ回答 AI も作成されている。一方，クイズをスポーツ的な対戦および観戦として楽しむ，頭脳戦心理戦としてのクイズ大会も開催されている。クイズ大会で選手が勝ち残るため，選手はクイズの訓練を行う。クイズの訓練には，過去から現在までに作成され蓄積されたクイズ問題を利用できる。数多くのクイズから，適切な訓練問題を選出するには，クイズのジャンル分類や，難易度の数値化が必要である。本研究では，機械学習手法によるクイズのジャンル推定を行う。ジャンル推定手法および小規模実験結果について述べる。
キーワード：クイズ, 機械学習, ジャンル推定

Quiz genre estimation by machine learning
Tubasa Yodogawa1,a)Eisuke Ito2Abstract: A quiz consists of a question and unique answer. Human beings have enjoyed quiz as an intellectual entertainment since ancient times. The quiz format is also used in exams in teaching and learning.
Quiz answering AI was created as an example of artificial intelligence. Recently, quiz tournaments are held,and guiz game is played as a sports game in the tournament. Players fight as a mental/psychological war,audience enjoy their games. Players train and learn quizzes to win the quiz tournament. For quiz training,
player uses a lot of quizzes which are created from the past to the present. To select an appropriate training
quiz, it is necessary to categorize the quiz genres and to quantify the diﬃculty. In this study, we propose anautomatic genre estimation method using machine learning. This paper shows the method and some resultsof small-size experiment.
Keywords: Quiz, Machine learning, Genre estimation

1. はじめにの親和性が高い近年では，クイズをスポーツ的な対戦および観戦として楽しむ，頭脳戦心理戦としてのクイズ大会も問題に対する一意な回答から構成されるクイズは，人類開催されている。日本の主に大学生を対象とした「全日本が古来より楽しんできた知的娯楽である。クイズの形式はクイズリーグ（通称 AQL）」には，多くの大学生がクイズ大教育や学習における試験でも活用されている。クイズは知会に参加している。表 1 に，2017〜2019 年における AQL性を実現するものとも考えられており，人工知能の例とし全国のクイズ大会の参加団体数および参加者数を示す。てクイズ回答 AI も作成されている。
従来よりテレビでクイズ番組が放映されてきた。クイズは多くの人が気軽に参加でき，共感できるため，テレビと12a)

九州大学大学院ライブラリサイエンス
九州大学情報基盤研究開発センター
yodogawa.tsubasa.543@s.kyushu-u.ac.jp

c 2020 Information Processing Society of Japan⃝

表 1 AQL 全国クイズリーグ大会参加者
大会団体数

参加者数

プレ AQL (2017 年)

110869AQL2018

147

1,284

AQL2019

214

1,895

1

情報処理学会研究報告
IPSJ SIG Technical Report

クイズは娯楽だけでなく，脳の活性化にも役立つ。子供る。クイズの場合，必ず答えが１つに決まることが必要での教育現場における試験は，クイズ的な要素を持つ。クイある。クイズ大会の過去問は，各大学にいるクイズ部員がズは子供の知的能力をアピールする場として使われること多人数で検査しているため，クイズ問題の内容的品質も保も有る。近年の日本では高齢者が増加している。クイズでたれている。

は体力を使わず頭脳を使うため，高齢者でも気軽に参加できるレクレーションである。高齢者の脳の活性化にもなる

3. クイズへのジャンル付与 CGI
表 2 に示すように，クイズの問題と回答は含まれるものと考えられる。
クイズ大会で選手が勝ち残るため，選手はクイズの訓練の，ジャンルは無い。分類問題で用いる機械学習手法では，を行う。クイズの訓練には，過去から現在までに作成され分類器の訓練に用いる正解データが必要である。そこで，蓄積されたクイズ問題を利用できる。数多くのクイズかクイズに人手でジャンル（ジャンルタグ，単語）を付与すら，適切な訓練問題を選出するには，クイズのジャンル分ることにした。

類や，難易度の数値化が必要である。子供や高齢者を含め，本論文の筆者だけでは，時間と労力の限界から 3 万問の多様な人がクイズを楽しむには，その人の嗜好に合うクイクイズにジャンルを付与できない。また 1〜2 名のジャンズの選出（推薦）も必要である。

ル付与では偏る可能性もある。クイズ研究会員のように，本研究では，機械学習手法によるクイズのジャンル推定

クイズ分野に詳しい複数の人でジャンルを付与するほうがを行う。クイズのデータセットとして，九州大学クイズ研信頼できる正解データが得られると判断した。そこで，複究会が保持する約 3 万問の過去問を用いる。過去問には数人によるジャンル付与システムを構築する。

ジャンル情報が無いため，人手でジャンルを付与する。
本論文の構成を述べる。第 2 節ではクイズデータについ図 1 に構築中のジャンル付与 CGI システムの概要を示す。て述べる。次に第 3 節で，クイズにジャンルを人手で付与システムでは最初に利用者認証を行う。認証後，その利するために構築した CGI システムについて説明する。第 4

用者によりジャンル付与されたクイズの一覧を表示する。

節では，機械学習によるクイズのジャンル推定について述

ボタンによりジャンル付与済みクイズの再編集，ジャンルべる。最後に第 5 節でまとめと今後の課題を述べる。

未付与のクイズへのジャンル付与を選択する。「ランダムに 10 個選ぶ」を押すと，ジャンル未付与のクイズから，ラ2. 用いるクイズデータ

ンダムに 10 問を選択肢，ジャンル編集画面に遷移する。

本研究で用いるクイズのデータは，九州大学クイズ研究

ジャンル編集画面では，クイズを選択すると，問題と回答会が保持する約 3 万問の過去問である。これらの多くはの詳細が表示される。下にジャンル入力欄があるため，そクイズデータを蓄積・公開するサイト [2] に有る問題を整こにジャンルとなる単語を入力する。

形したものである。このサイトによると，クイズ大会 abc

ジャンルとなる単語は複数個入力可能とする。基本的なは「新世代による基本問題実力 No.1 決定戦」
，クイズ大会文書のジャンル分けの場合，ジャンルは１つに限定するこEQIDEN は「新世代の学生サークルによる、早押しクイズとが多い。クイズや文書の場合，ジャンルを１つに絞るこ日本一決定戦トーナメント」である。とが難しい。人手の作業を複数回行う労力を省くため，複表 2 にクイズの例を示す。

数個の単語をジャンルに指定可能にしておく。

4. 機械学習によるクイズのジャンル分け

表 2 クイズの例

ID問題

回答

1

アルファベットの「Ａ」「Ｂ」「Ｃ」のうＡ

ち、ローマ字で用いたときに唯一母音と本研究の主要部分である機械学習によるクイズのジャンル分けを説明する。

して扱われるものはどれでしょう？

2

アメリカのバラク・オバマ大統領と、日民 主 党 [Demo-本の鳩山由紀夫首相に共通する、所属政

cratic Party]

党は何党でしょう？

3「相乗積・浸透圧・円周率」を表すときπに共通して使われるギリシャ文字は何でしょう？

4.1 Bag-of-Words によるクイズのベクトル化
機械学習で分類問題を解く場合，分類対象を数値のベクトルで表現する。文書のジャンル分けの場合，文書をベクトル化する必要がある。
最も基本的な文書のベクトル化手法は，Bag-of-Words を用いる方法であろう。図 2 にベクトル化の概要を示す。

今回の分析では，分析対象が適度な範囲に絞られている

日本語文書の場合，形態素解析により文を単語に分割すこと望ましい。クイズ大会に出題された問題は，クイズ問る。形態素解析ツール Mecab では，辞書を指定すること

題の品質が均質である。主に大学生が対象であるため，クで新語にも対応可能である。単語に分割された後，不要語イズの難易度は大学生が理解できる度合いに調整されていを削除する。日本語では「の」や「こと」のような補助語

c 2020 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report
User
Yodogawa ▼ loginItouYodogawa:

Yodogawa ‘s Quiz dataID

QAGenre2

アメリカのバラク・オバ
マ大統領と、日…

民主党, …

政治

3「相乗積・浸透圧・円周率」を表π

科学
数学

ジャンル付与IDQA25東南アジアにある宗教遺跡で、アンコールワットは…

仏教

38

アラビア語で「クジラの口」という意味の言葉が語源で…

フォーマルハウトeditedit

ジャンル未付与クイズへの入力

Genreedit
天文学

edit

ID 25
Q 東南アジアにある宗教遺跡で、アンコールワットはヒランダムに10個選ぶ

ンドゥー教の寺院ですが、ボロブドゥールは何教の寺A 院でしょう？
仏教

自分で選択

Genre

宗教 地理 歴史save

CGI Program(Python)
User
Data

図 1

人手によるジャンル付与 CGI

4.2 単語の分散表現によるクイズのベクトル化

文書集合 D

document

d1

d2 …… dndix1words
x2 … xj … xp

d1

1101

d201

10

101

1110

1

1つずつ処理

単語抽出（形態素解析）不要語除去:
di近年，Word2Vec などの単語の分散表現を用いた研究がなされている。Word2Vec は Tomas Mikolov らの開発した分散表現を生成する手法で，各単語を高次元のベクトルで表現する [3]。各単語を高次元ベクトルで表す分散表現では，単語のベクトルの加法・減法の結果が，単語の意味の加法・減法が成り立つ規則性が示されている。我々は単語の分散表現を用いた，クラスタリングの部分文書集合の内:
dn

Quiz Data(CSV, RDB)

文書単語行列(Bag of Words)

Binary Frequency bf(i, wj)

図 2

Bag-of-Words によるベクトル化

容推定手法を研究してきた [5]。そこで，単語の分散表現を用いたクイズ文書のベクトル化も検討する。
図 3 に fastText を用いた単語の分散表現獲得を示す。大規模な文書コーパスから抽出した文章を，形態素解析に分かち書きにする。分かち書きで単語の並びになった文章をfastText に入力し，単語の分散表現を得る。分散表現としてのベクトル長は 100〜300 を指定できる。図 3 では 300が多数出現する。これらの補助語は意味の解析では雑音ととして出力している。

なる。名詞のみに絞ることで，意味に基づく分析が出来る。
文書コーパス(Wikipedia等)

不要語削除の後，単語の出現頻度を数え，文書と単語の対応を表す文書単語を構築する。一般的な文書単語行列でfastText

は，単語の出現頻度である TF (Term Frequency) を行列の要素値にすることが多い。文書 di に単語 xj が出現した

300 dimensional vectors for word.

回数が行列の i, j の値になる。

w1 = (v11, v12, …, v1,300)
w2 = (v21, v22, …, v2,300)::
wm = (vm1, vm2, …, vm300)

本研究では行列の値として，単語が出現したか否かを表す BF (Binary Frequency) を用いる。BF を用いる理由は２つある。１つ目の理由はクイズ文の短さである。クイズ文は短いため，複数回出現する単語は少ない。そのため

図 3

fastText による単語の分散表現獲得

TF と BF の値に差が出ない。２つ目の理由は機械学習分類器に用いる際の精度である。筆者の経験上，TF よりも次に文書のベクトル化手法を考える。最も簡単な方法とBF にした方が精度が高い場合が多い。そのため，今回もして，文書に出現する単語のベクトル値の平均値を，そのBF 値を用いて実験する。

文書のベクトルとする方法が有る。図 4 に単語のベクトルc 2020 Information Processing Society of Japan⃝

3情報処理学会研究報告
IPSJ SIG Technical Report

値の平均値を得る手順を示す。

Binary Frequency

d = {x1 , x2 , …, xm}

5. おわりに本研究では，クイズ問題・回答の文章から，クイズのジャFastText
Word Vectors

ンル推定について述べた。九州大学クイズ研究会が保持する過去のクイズ問題 3 万個を用いて機械学習する。正解

1) 𝑥 + ∗ 𝑣𝑒𝑐 (𝑥)|𝑁|

ジャンルのデータは無いため，人手で付与する。人手によ

単語の分散表現によるベクトル化クトルと，単語の分散表現を用いたベクトル化を提案した。

𝑣𝑒𝑐 𝑑 =る作業を支援するための CGI プログラムを構築している。

/∈1

クイズ文書のベクトル化手法として，BF による文書ベ
図 4

クイズ文書のベクトル化後，機械学習で SVM や NN によるジャンル分類器を作る。出来た分類器でジャンルが推定可能である。

4.3 分類器によるジャンル推定

今回は手法の提案だけで，実データにおる実験に至って文書を数値のベクトルで表現できれば，機械学習によるいない。今後はデータの整備と，データによる実験を行う分類器を構築できる。分類問題に使える機械学習分類器は，予定である。

SVM (Support Vector Machine)，NN (Neural Network)，
ランダムフォレスト等がある。図 5 に SVM による分類器

参考文献作成を示す。

クラス（ジャンル）単語文書

AQL:全日本クイズリーグ, https://www.quizaql.com/(accessed at 2020-02-25).
[2] ABC, http://abc-dive.com/ (accessed at 2020-02-25).
[3] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeﬀrey Dean: Distributed Representations of Words
and Phrases and Their Compositionality, NIPS’13, vol.2,
pp.3111–3119, 2013.
[4] Piotr Bojanowski,Edouard Grave, Armand Joulin, Tomas
Mikolov: Enriching Word Vectors with Subword Information, arXiv preprint, arXiv:1607.04606, 2016.
[5] 淀川翼, 加登一成, 伊東栄典: 単語の分散表現を用いた文書
クラスタのラベル推定, 人工知能学会 第 49 回セマンティック
ウェブとオントロジー研究会 SIG-SWO, vol.49, no.3, Nov.
2019.
[1]

yx1x2

d110101d211010::di5::

dN

20…

xj…

xp

文書が，クラスCか否かを学習

SVM

学習デ ータ
10101

101

図 5

単語 xiの重み wibw1w2…

wj…

wp

15.4

-0.1

16.8…

3.5…

-2.8

• 重み wi が正の値 → xi は正例に影響• 重み wi が負の値 → xi は負例に影響• |wi |が大きいほど影響力が大きい

クラスC のSVM文書分類器

𝑓 𝑑 = 𝑏 + 𝑤' 𝑥 ' + ⋯ + 𝑤* 𝑥 *SVM によるジャンル推定

今回はクイズのジャンルを複数付与する。複数ジャンルを許容する場合，SVM および NN では問題無い。SVM は2 値分類であるため，ジャンル数と同じ個数の文書ジャンル分類器を作る。1 つのクイズに 2 個のジャンルが付与されている場合，どちらのジャンルの分類器にも適合するように訓練されれば良い。

NN の場合，出力層のノード数をジャンル数と同数にすれば良い。例えば 2 個のジャンルを付与されたクイズ文書の場合，その 2 つのジャンルの出力層ノードの値が大きくなるようにすれば良い。
決定木やランダムフォレストでは，複数ジャンルの分類には適さないかもしれない。SVM, NN を含め複数の手法を試し，最も性能の良い分類器を採用する。

4.4 分類器の評価用いるデータには約 3 万個のクイズ問題・回答が含まれる。すべてのクイズにジャンル付与が出来れば，3 万個のクイズで 5 分割交差検定，あるいは 10 分割交差検定で性能を評価する。性能は Precision, Recall, Accuracy, F1 score(F-Measure) で評価する。

c 2020 Information Processing Society of Japan⃝

4