word2vecとクラスタリングでクイズの出題順を最適化したい

# 概要
クイズの出題順を最適化する、つまり近いジャンルの問題が近接しないように配置するためのアルゴリズムを考えてみました。
試しにクイズ大会『abc the first』のペーパーテスト100問で実施したところ、そこそこうまくいきました。結果だけ見たい方は記事の最下方までスクロールしてください。

# 作ったプログラム
[ここ](https://github.com/miyax0227/quizScatterer)に置いてあります。詳しくプログラムを見たい方向け。

# 背景・目的
突然ですが、私の趣味はクイズです。それもテレビのクイズ番組を見るだけでなく、有志のクイズ大会に参加したり、大会のスタッフをやったりしています。
クイズ大会を開催するとなると早押し問題を数百問用意して、それを並び替えて使います。このときあまりに並び順が悪いと参加者から不平不満が出ます。というのも、参加者によって得意な問題が違うからです。「自分の予選の組のときだけ不得意な△△の問題ばかり出た」などといった怨嗟の声が生まれてしまうのです。
そのようなことが起きないよう、たいていはアナログな方法で問題の並び順を決めています。予め決めたジャンル毎に問題を用意して同ジャンルの問題が連続しないよう配置したり、スタッフが読み合わせを行って近いジャンルの問題を離したりといった作業です。これにより極端な偏りは防ぐことができますが、特に後者の作業はなかなか骨が折れます。
というわけで、今回はこの問題の並び替えを自動化するプログラムを作りたいと思います。

# アプローチ
## 階層的クラスタリングを用いて問題を分類する
問題の分類方法として、従来は予め決められたジャンル（たとえば「文学歴史」「社会」「科学」「芸能音楽」「スポーツ」など）に従って人が判断してより分けていました。この方法を採るには予めジャンルを決め打ちする必要がありますが、その結果問題群によってはジャンルによって偏りが生じることがあります。この欠点を解消するために**階層的クラスタリング**という手法を用います。この方法を用いると、問題同士の「近さ」の情報をもとに機械的に問題を分類できます。また、大グループの中の中グループ、中グループの中の小グループというように、人間の手で行うには煩雑な階層的な分類ができます。但し、どんなグループに分かれるかはやってみないとわかりません。望ましい結果を得るためにある程度のチューニングが必要になります。

## Word2Vecによる単語の類似度から問題文同士の「近さ」を定義する
上記の階層的クラスタリングを行うには。問題同士の「近さ」を定義する必要があります。今回は、**Word2Vec**を用いて問題文中に使われている単語同士の類似度を元に、問題同士の「近さ」を定義したいと思います。「類似度の高い単語が使われているクイズは、同じジャンルの問題なので遠くに配置されるべきだ」という仮定を置いています。

# 手順の概要
![問題文ジャンル散らし手順.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/944873/493ab1b4-ccb5-5281-f7a7-157e0d659940.png)

# 準備
## 環境
今回はAWS上にEC2インスタンスを作って動作させることにします。ただの説明用に用意するだけなので、詳しい方は適切なスペックのマシンを適宜用意してください。AWSのアカウント登録、EC2インスタンスの作成、インスタンスへの接続（Teratermなど）についての方法は省略します。

- AMI: Amazon Linux 2 AMI (HVM), SSD Volume Type - ami-00f045aed21a55240
- インスタンスタイプ： t2.micro

## セットアップ
EC2インスタンスを作成して、SSH接続した後のコマンド例です。

```bash:各種パッケージのインストール
sudo yum update
sudo yum -y install gcc* make
sudo yum -y install git
sudo yum -y install patch
```

```bash:swap設定(メモリ確保)
sudo dd if=/dev/zero of=/swap.img bs=1M count=2048
sudo chmod 600 /swap.img
sudo mkswap /swap.img
sudo bash -c 'echo "/swap.img    swap    swap    defaults    0    0" >> /etc/fstab'
sudo swapon -a
```

```bash:MeCabのインストール
# MeCab
cd /tmp
wget https://github.com/PROoshio/mecab/raw/master/mecab-0.996.tar.gz
tar zxvf mecab-0.996.tar.gz
cd mecab-0.996
./configure --with-charset=utf-8
make
sudo make install
sudo bash -c 'echo "/usr/local/lib" >> /etc/ld.so.conf.d/usr-local.conf'
sudo ldconfig

# MeCab ipadic
cd /tmp
wget https://github.com/PROoshio/mecab/raw/master/mecab-ipadic-2.7.0-20070801.tar.gz
tar zxvf mecab-ipadic-2.7.0-20070801.tar.gz
cd mecab-ipadic-2.7.0-20070801
./configure --with-charset=utf-8
make
sudo make install

# mecab-ipadic-neologd
cd /tmp
git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
cd mecab-ipadic-neologd
./bin/install-mecab-ipadic-neologd -n
```

```shell:pythonのインストール
sudo yum install python3
```

## プログラムの取得
```shell:プログラムの取得
cd ~
# リポジトリからコピー
git clone https://github.com/miyax0227/quizScatterer

# 必要なライブラリのインストール
cd quizScatterer
sudo pip3 install -r requirements.txt

# 学習済みモデルのダウンロード（白ヤギコーポレーション様）
sudo chmod 755 getGensimModel.sh
./getGensimModel.sh
```

#実行！
サンプルとして、クイズ大会「abc the first」(2003年)のペーパーテスト100問を同梱しました。ペーパーテストの問題をジャンル散らしする必要は無い気がしますが、それは置いておきましょう。

```shell:プログラムの実行
python3 -m quizScatterer sample.txt
```

```:実行結果
①③⑦┬70.フェンシングの試合場のことを何というでしょう?        ピスト
│││└┬91.フォークボールを武器に通算215勝を挙げ、｢フォークボールの神様｣の異名を取った中日の投手は誰でしょう？        杉下茂
│││　└┬82.ずばり、卓球は1セット何点先取でしょう？  11点（昨年よりルール改正）
│││　　└┬41.今年の元日に決勝が行われたサッカー天皇杯で、初優勝を飾ったチームは何でしょう？ 京都パープルサンガ
│││　　　└74.今年秋に開幕する、ラグビーの社会人１２チームによる全国規模のリーグ戦を何というでしょう？       （ジャパンラグビー）トップリーグ
││└┬┬┬49.東京の落語家で、真打ちと前座の中間にあるランクを何というでしょう？       二ツ目
││　││└50.大相撲の第６８代横綱・朝青龍は何部屋の力士でしょう？     高砂部屋
││　│└┬35.地方から東京へ出ることを「上京」といいますが、地方から京都へ出ることを何といったでしょう？       上洛
││　│　└97.デパートの「友の会」で、「クローバーサークル」は伊勢丹ですが、「ローズサークル」といえばどこのデパートでしょう？ 高島屋
││　└┬┬2.格闘家ボブ・サップの出身国はどこでしょう？        アメリカ
││　　│└┬┬5.人気タレント・タモリの本名は何でしょう？      森田一義
││　　│　│└94.小木博明(おぎ・ひろあき）と矢作兼（やはぎ・けん）の２人が組んでいる、お笑いコンビの名前は何でしょう？        おぎやはぎ
││　　│　└┬1.人気漫画『ドラえもん』の登場人物で、ジャイアンの苗字は剛田ですが、スネ夫の苗字は何でしょう？  骨川（滑川も正解）
││　　│　　└18.1号は本郷猛、2号は一文字隼人がその正体である、テレビヒーローといえば何でしょう？     仮面ライダー
││　　└┬27.テレビの視聴率調査における「ゴールデンタイム」とは、午後７時から何時までのことでしょう？ 午後１０時
││　　　└┬60.ＡＢＢＡのヒットソングに綴ってストーリーが展開される、電通四季劇場「海」で公開中の劇団四季のミュージカルは何でしょう？ 『マンマ・ミーア！』
││　　　　└┬38.『学校』シリーズや、『男はつらいよ』シリーズで知られる映画監督といえば誰でしょう？   山田洋次
││　　　　　└84.映画『ロッキー』で、女優タリア・シャイアが演じた、ロッキーの妻の名前は何でしょう？   エイドリアン
│└⑤┬┬29.７０１年に藤原不比等（ふじわらのふひと）らが長部親王（おさべ）らと共に作り上げた、国家の基本法典を何というでしょう？       大宝律令
│　││└┬4.織田信長、豊臣秀吉、徳川家康という３人の戦国武将の性格を表現するのに用いられる鳥は何でしょう？    ホトトギス
│　││　└80.江戸時代の村役人で「村方三役」と呼ばれたのは、庄屋、組頭とあと一つは何でしょう？ 百姓代
│　│└┬┬77.主に夏の夜に行われる､まきを焚いて野外で行う能のことを何というでしょう？  薪能(たきぎのう)
│　│　│└88.立秋の後の暑さを「残暑」といいますが、立春の後の寒さのことを何というでしょう？   余寒
│　│　└┬┬36.日本の国宝第1号に認定された弥勒菩薩像がある、京都の寺はどこでしょう?   広隆寺
│　│　　│└42.ことわざ「弘法も筆の誤り」で、弘法大師が間違えたとされる文字は何でしょう？     応
│　│　　└┬┬39.いわゆる「四書五経」の「四書」とは、『大学』『孟子』『論語』と何でしょう？   『中庸』
│　│　　　│└┬54.この時期を表した俳句「春の海 ひねもすのたり のたりかな」を詠んだ、江戸時代の俳人は誰でしょう？     与謝蕪村
│　│　　　│　└86.「行く河の流れは絶えずして、しかも元の水にあらず」という書き出しの、鴨長明の随筆といえば何でしょう？       『方丈記』
│　│　　　└┬11.「たけやぶやけた」などのように、前から読んでも後ろから読んでも同じになる文章を何というでしょう？     回文
│　│　　　　└40.春の七草で「すずな」といえば蕪のことですが、「すずしろ」といえば何のことでしょう？   大根
│　└⑧┬┬21.代表作に『日本の黒い霧』や『点と線』などがある、推理作家は誰でしょう？   松本清張
│　　││└71.主著に『純粋理性批判』『実践理性批判』がある、ドイツ観念論の創始者である哲学者といえば誰でしょう?        イマニュエル・カント
│　　│└┬13.別名を『ラ・ジョコンダ』という、レオナルド・ダ・ヴィンチが描いた絵画といえば何でしょう？ 『モナ・リザ』
│　　│　└┬31.セルバンテスの小説『ドン・キホーテ』で、ドン・キホーテが巨人と間違えて襲いかかったものは何でしょう？   風車
│　　│　　└┬8.アンデルセンの自叙伝とも言われている物語で、いじめられっこが実は白鳥だったというお話は何でしょう？    『みにくいあひるの子』
│　　│　　　└66.木下順二の戯曲『夕鶴』で、助けた鶴の化身・つうと結婚する男の名前は何でしょう？       与ひょう
│　　└┬┬55.ロシアの作曲家、チャイコフスキーの三大バレエ音楽といえば、『白鳥の湖』『くるみ割り人形』と何でしょう？   『眠れる森の美女』
│　　　│└┬9.男性の声の音域で、テノールとバスの間に当たるのは何でしょう？    バリトン
│　　　│　└64.日本では上松美香（あげまつみか）がその演奏者として知られている、「インディアンハープ」とも言われる民族楽器は何でしょう？       アルパ
│　　　└┬┬87.嵐、アルフィー、ミスターチルドレンの３つのグループのメンバーに共通する名字は何でしょう？       桜井
│　　　　│└98.オリコンのシングルチャートで初めて「デビュー曲初登場1位」となった、近藤真彦のヒット曲は何でしょう？    『スニーカーぶる～す』
│　　　　└┬53.デモテープ、デモ行進のデモとは、どんな言葉を略したものでしょう？       デモンストレーション
│　　　　　└┬44.北原白秋作詞の童謡『あわて床屋』の中で、床屋に行ったお客である動物は何でしょう？     ウサギ
│　　　　　　└73.英語の『ドレミの歌』の歌詞で、「自分を呼ぶ名前」と歌われている音は何でしょう？       ミ（Ｍｅ、Ｍｉ）
└②┬┬┬16.1840年に勃発し、香港がイギリスに割譲される結果に終わった戦争を、原因となった麻薬から何というでしょう？     アヘン戦争 (Opium War)
　│││└┬62.インドではイギリスが東インド会社を設立し、日本では関ケ原の戦いの火ぶたが切って落とされたのは、西暦何年のことでしょう？   1600年
　│││　└┬43.南米の国、ウルグアイとパラグアイは、共にどこの国の領土から独立したでしょう？   スペイン
　│││　　└56.ロイターといえばイギリスの通信社ですが、ＡＦＰといえばどこの国の通信社でしょう？       フランス
　││└┬24.オーストラリアの国旗に星は６つありますが、ニュージーランドの国旗には星がいくつあるでしょう？       ４つ
　││　└69.アメリカ合衆国で、一番面積が広い州はアラスカ州ですが、一番面積が狭い州はどこでしょう?      ロードアイランド州
　│└┬┬52.1924年以降、南アフリカの各地で発見され、ラテン語で「南の猿」という意味の名がつけられた化石人類は何でしょう？       アウストラロピテクス
　│　│└89.出世魚ボラの成長しきった時の名に因んだ、結局のところ、という意味の言葉は何でしょう？       とどのつまり
　│　└┬┬26.火を神聖視するために「拝火教」の別名がある、紀元前６世紀のペルシアで始まった宗教は何教でしょう？ ゾロアスター教
　│　　│└93.イギリスで中世の封建制度崩壊と共に現れた独立自営農民のことを何というでしょう？   ヨーマン
　│　　└┬3.ロシア語で「城」という意味がある、ロシアの大統領府の別名は何でしょう？    クレムリン
　│　　　└92.チベットのラサにある、ダライ・ダマが住む宮殿といえば何でしょう？ ポタラ宮
　└④⑨┬┬83.ＪＩＳ規格のキーボードでのタッチタイピングで、人差し指を置く基本となるキーは「Ｆ」と何でしょう？ Ｊ
　　│││└┬48.２つ以上の文字を組み合わせて図案化したもののことで、特にルイ・ヴィトンのものが知られるのは何でしょう？ モノグラム
　　│││　└┬0.「abc ～the first～」へようこそ！さて、ABC・・・と始まるアルファベットは、全部で何文字でしょう？      26文字
　　│││　　└61.エレベーターで使われる記号で、屋上を示す「Ｒ」はルーフの略ですが、地下を示す「Ｂ」はどんな単語の頭文字でしょう？（カタカナ可）       ベースメント
　　││└┬┬6.２つのサイコロをふったとき、ゾロ目が出る確率は何分のいくつでしょう？    ６分の１
　　││　│└90.カジノのルーレットにある数字の中で、最大の数字はいくつでしょう？       36
　　││　└┬17.気象用語で「平年」といえば、過去何年間の平均値のことでしょう？ 30年
　　││　　└┬32.ボウリングの球の重さを表す単位は何でしょう？ ポンド
　　││　　　└37.牛２頭で１日に耕した面積が起源といわれる、ヤード・ポンド法の面積の単位は何でしょう？ エーカー
　　│└┬┬19.日本国憲法に定められている国民の三大義務とは、勤労、教育と何でしょう？   納税
　　│　│└76.「郵政三事業の民営化」などというときの「三事業」とは、「郵便」「貯金」とあと１つは何でしょう？   簡易保険（保険は×）
　　│　└┬┬45.『Tokyo Walker』や『Kansai Walker』などの、「Walker」シリーズを発行している出版社といえばどこでしょう？        角川書店
　　│　　│└65.アメリカのブッシュ (George Walker Bush) 現大統領が昨年の一般教書演説で使って以来広まった、イラン・北朝鮮・イラクの批判的な総称は何でしょう？   悪の枢軸 (Axis of Evil)
　　│　　└┬15.市販の自動車に手を加えて、性能を高めることを英語で何というでしょう？   チューンナップ
　　│　　　└46.50㎞以上250㎞以下の短い路線を運行する「地域航空輸送」を、英語で何というでしょう？      コミューター航空
　　└⑥┬┬22.料理のときに使う計量スプーンで、大さじ１杯といったら通常何ccでしょう？   15cc
　　　││└┬95.果物を切る時などに使われる小型のナイフのことを、和製英語で何というでしょう？   ぺティナイフ
　　　││　└┬99.年に２度収穫できる「二度芋」といえばジャガイモのことですが、年に３度収穫できることから「三度豆」と呼ばれているのは何でしょう？       インゲン豆
　　　││　　└┬96.コーヒーはアカネ科の植物ですが、カカオは何科の植物でしょう？       アオギリ科
　　　││　　　└┬10.中華料理の飲茶で使われる、軽食やお菓子のことを何というでしょう？ 点心
　　　││　　　　└57.ジャムやマーマレードを入れて飲む紅茶の飲み方を、ある国の名を取って何ティーというでしょう？       ロシアンティー
　　　│└┬28.他には影響を及ぼさない、狭い範囲でのもめ事のことを、「何の中の嵐」というでしょう？       コップ
　　　│　└┬┬78.大きな火皿を持ち、吸い口までが湾曲したパイプを、船乗りがよく使ったことから何パイプというでしょう？   マドロスパイプ
　　　│　　│└┬23.スキー板に靴を取り付けるための締め具のことを何というでしょう？     ビンディング
　　　│　　│　└67.幾つかの布切れを縫いあわせ、飾りや模様を作る手芸方法を何というでしょう？   パッチワーク
　　　│　　└┬20.太棹、中棹、細棹といえば、どんな楽器の種類でしょう？ 三味線
　　　│　　　└79.青銅といえば銅と錫の合金ですが、黄銅は銅と何との合金でしょう？       亜鉛
　　　└┬┬┬25.1934年には天然記念物に指定された、学名を「ニッポニア・ニッポン」という鳥といえば何でしょう？   トキ
　　　　││└┬63.とっくりを持ったタヌキの置物が有名な、滋賀県の焼物といえば何でしょう？       信楽（しがらき）焼
　　　　││　└81.ハクチョウを県の鳥にしている２つの県といえば、青森県とどこでしょう？ 島根県
　　　　│└┬14.「東京湾」は２つの半島に囲まれていますが、それは房総半島と何半島でしょう？     三浦半島
　　　　│　└┬7.「国際連合」の旗に描かれている植物といったら何でしょう？      オリーブ
　　　　│　　└34.箱根や富士などの火山から噴き出した灰が積もって形成された、広く関東地方をおおっている赤い粘土質の地層を何というでしょう？     関東ローム層
　　　　└┬┬51.ギリシャ神話で、ろうで固めた翼で空を飛んだものの、太陽の熱でろうが溶けて墜落死したのは誰でしょう？     イカロス
　　　　　│└59.太陽系の惑星の中で衛星をもっていない2つの惑星とは、水星と何でしょう？  金星
　　　　　└┬┬33.その色合いが鳩の血のように見えることから、最高級のルビーのことを何というでしょう？   ピジョンブラッド
　　　　　　│└58.オリンピックの五輪の旗で、真ん中にある輪の色は何色でしょう？ 黒
　　　　　　└┬30.妊娠５ヶ月目の戌（いぬ）の日に体に付ける、胎児を保護するためにする帯を何というでしょう？     岩田帯
　　　　　　　└┬┬12.ゴルフボールの表面につけられているくぼみのことを何というでしょう？       ディンプル
　　　　　　　　│└┬75.イスラム文化で用いられた、植物の茎や葉を組み合わせて作った幾何学文様や唐草文様を何というでしょう？     アラベスク
　　　　　　　　│　└85.インクのしみを落として作った左右対称の図形が何に見えるかで診断する人格検査法を、スイスの精神医学者の名前を取って何テストというでしょう？       ロールシャッハ・テスト
　　　　　　　　└┬47.ロウソクの炎を3つに分けると外炎、内炎と何でしょう？      炎心
　　　　　　　　　└┬68.紫外線ＵＶ－Ｂの作用によって起こる、皮膚が褐色になる健康的な日焼けを英語で何というでしょう？   サンタン
　　　　　　　　　　└72.態度や意見ががらりと変わってしまうことを、ある動物の斑紋が季節によって鮮やかに変わることから何というでしょう？ 豹変
52.1924年以降、南アフリカの各地で発見され、ラテン語で「南の猿」という意味の名がつけられた化石人類は何でしょう？ アウストラロピテクス
40.春の七草で「すずな」といえば蕪のことですが、「すずしろ」といえば何のことでしょう？   大根
23.スキー板に靴を取り付けるための締め具のことを何というでしょう？       ビンディング
71.主著に『純粋理性批判』『実践理性批判』がある、ドイツ観念論の創始者である哲学者といえば誰でしょう?    イマニュエル・カント
61.エレベーターで使われる記号で、屋上を示す「Ｒ」はルーフの略ですが、地下を示す「Ｂ」はどんな単語の頭文字でしょう？（カタカナ可）       ベースメント
74.今年秋に開幕する、ラグビーの社会人１２チームによる全国規模のリーグ戦を何というでしょう？     （ジャパンラグビー）トップリーグ
34.箱根や富士などの火山から噴き出した灰が積もって形成された、広く関東地方をおおっている赤い粘土質の地層を何というでしょう？     関東ローム層
85.インクのしみを落として作った左右対称の図形が何に見えるかで診断する人格検査法を、スイスの精神医学者の名前を取って何テストというでしょう？     ロールシャッハ・テスト
39.いわゆる「四書五経」の「四書」とは、『大学』『孟子』『論語』と何でしょう？   『中庸』
43.南米の国、ウルグアイとパラグアイは、共にどこの国の領土から独立したでしょう？ スペイン
50.大相撲の第６８代横綱・朝青龍は何部屋の力士でしょう？ 高砂部屋
15.市販の自動車に手を加えて、性能を高めることを英語で何というでしょう？ チューンナップ
9.男性の声の音域で、テノールとバスの間に当たるのは何でしょう？  バリトン
57.ジャムやマーマレードを入れて飲む紅茶の飲み方を、ある国の名を取って何ティーというでしょう？   ロシアンティー
44.北原白秋作詞の童謡『あわて床屋』の中で、床屋に行ったお客である動物は何でしょう？     ウサギ
90.カジノのルーレットにある数字の中で、最大の数字はいくつでしょう？     36
26.火を神聖視するために「拝火教」の別名がある、紀元前６世紀のペルシアで始まった宗教は何教でしょう？     ゾロアスター教
60.ＡＢＢＡのヒットソングに綴ってストーリーが展開される、電通四季劇場「海」で公開中の劇団四季のミュージカルは何でしょう？       『マンマ・ミーア！』
59.太陽系の惑星の中で衛星をもっていない2つの惑星とは、水星と何でしょう？        金星
42.ことわざ「弘法も筆の誤り」で、弘法大師が間違えたとされる文字は何でしょう？   応
67.幾つかの布切れを縫いあわせ、飾りや模様を作る手芸方法を何というでしょう？     パッチワーク
18.1号は本郷猛、2号は一文字隼人がその正体である、テレビヒーローといえば何でしょう？     仮面ライダー
76.「郵政三事業の民営化」などというときの「三事業」とは、「郵便」「貯金」とあと１つは何でしょう？       簡易保険（保険は×）
13.別名を『ラ・ジョコンダ』という、レオナルド・ダ・ヴィンチが描いた絵画といえば何でしょう？     『モナ・リザ』
81.ハクチョウを県の鳥にしている２つの県といえば、青森県とどこでしょう？ 島根県
69.アメリカ合衆国で、一番面積が広い州はアラスカ州ですが、一番面積が狭い州はどこでしょう?        ロードアイランド州
86.「行く河の流れは絶えずして、しかも元の水にあらず」という書き出しの、鴨長明の随筆といえば何でしょう？ 『方丈記』
95.果物を切る時などに使われる小型のナイフのことを、和製英語で何というでしょう？ ぺティナイフ
41.今年の元日に決勝が行われたサッカー天皇杯で、初優勝を飾ったチームは何でしょう？       京都パープルサンガ
17.気象用語で「平年」といえば、過去何年間の平均値のことでしょう？       30年
87.嵐、アルフィー、ミスターチルドレンの３つのグループのメンバーに共通する名字は何でしょう？     桜井
72.態度や意見ががらりと変わってしまうことを、ある動物の斑紋が季節によって鮮やかに変わることから何というでしょう？       豹変
35.地方から東京へ出ることを「上京」といいますが、地方から京都へ出ることを何といったでしょう？   上洛
3.ロシア語で「城」という意味がある、ロシアの大統領府の別名は何でしょう？        クレムリン
33.その色合いが鳩の血のように見えることから、最高級のルビーのことを何というでしょう？   ピジョンブラッド
4.織田信長、豊臣秀吉、徳川家康という３人の戦国武将の性格を表現するのに用いられる鳥は何でしょう？        ホトトギス
0.「abc ～the first～」へようこそ！さて、ABC・・・と始まるアルファベットは、全部で何文字でしょう？      26文字
31.セルバンテスの小説『ドン・キホーテ』で、ドン・キホーテが巨人と間違えて襲いかかったものは何でしょう？ 風車
79.青銅といえば銅と錫の合金ですが、黄銅は銅と何との合金でしょう？       亜鉛
38.『学校』シリーズや、『男はつらいよ』シリーズで知られる映画監督といえば誰でしょう？   山田洋次
7.「国際連合」の旗に描かれている植物といったら何でしょう？      オリーブ
45.『Tokyo Walker』や『Kansai Walker』などの、「Walker」シリーズを発行している出版社といえばどこでしょう？      角川書店
77.主に夏の夜に行われる､まきを焚いて野外で行う能のことを何というでしょう？      薪能(たきぎのう)
22.料理のときに使う計量スプーンで、大さじ１杯といったら通常何ccでしょう？       15cc
82.ずばり、卓球は1セット何点先取でしょう？      11点（昨年よりルール改正）
16.1840年に勃発し、香港がイギリスに割譲される結果に終わった戦争を、原因となった麻薬から何というでしょう？       アヘン戦争 (Opium War)
64.日本では上松美香（あげまつみか）がその演奏者として知られている、「インディアンハープ」とも言われる民族楽器は何でしょう？     アルパ
12.ゴルフボールの表面につけられているくぼみのことを何というでしょう？   ディンプル
2.格闘家ボブ・サップの出身国はどこでしょう？    アメリカ
37.牛２頭で１日に耕した面積が起源といわれる、ヤード・ポンド法の面積の単位は何でしょう？ エーカー
63.とっくりを持ったタヌキの置物が有名な、滋賀県の焼物といえば何でしょう？       信楽（しがらき）焼
11.「たけやぶやけた」などのように、前から読んでも後ろから読んでも同じになる文章を何というでしょう？     回文
89.出世魚ボラの成長しきった時の名に因んだ、結局のところ、という意味の言葉は何でしょう？ とどのつまり
21.代表作に『日本の黒い霧』や『点と線』などがある、推理作家は誰でしょう？       松本清張
28.他には影響を及ぼさない、狭い範囲でのもめ事のことを、「何の中の嵐」というでしょう？   コップ
84.映画『ロッキー』で、女優タリア・シャイアが演じた、ロッキーの妻の名前は何でしょう？   エイドリアン
46.50㎞以上250㎞以下の短い路線を運行する「地域航空輸送」を、英語で何というでしょう？    コミューター航空
29.７０１年に藤原不比等（ふじわらのふひと）らが長部親王（おさべ）らと共に作り上げた、国家の基本法典を何というでしょう？ 大宝律令
47.ロウソクの炎を3つに分けると外炎、内炎と何でしょう？  炎心
10.中華料理の飲茶で使われる、軽食やお菓子のことを何というでしょう？     点心
49.東京の落語家で、真打ちと前座の中間にあるランクを何というでしょう？   二ツ目
62.インドではイギリスが東インド会社を設立し、日本では関ケ原の戦いの火ぶたが切って落とされたのは、西暦何年のことでしょう？       1600年
53.デモテープ、デモ行進のデモとは、どんな言葉を略したものでしょう？     デモンストレーション
48.２つ以上の文字を組み合わせて図案化したもののことで、特にルイ・ヴィトンのものが知られるのは何でしょう？       モノグラム
55.ロシアの作曲家、チャイコフスキーの三大バレエ音楽といえば、『白鳥の湖』『くるみ割り人形』と何でしょう？       『眠れる森の美女』
75.イスラム文化で用いられた、植物の茎や葉を組み合わせて作った幾何学文様や唐草文様を何というでしょう？   アラベスク
94.小木博明(おぎ・ひろあき）と矢作兼（やはぎ・けん）の２人が組んでいる、お笑いコンビの名前は何でしょう？        おぎやはぎ
78.大きな火皿を持ち、吸い口までが湾曲したパイプを、船乗りがよく使ったことから何パイプというでしょう？   マドロスパイプ
93.イギリスで中世の封建制度崩壊と共に現れた独立自営農民のことを何というでしょう？       ヨーマン
54.この時期を表した俳句「春の海 ひねもすのたり のたりかな」を詠んだ、江戸時代の俳人は誰でしょう？       与謝蕪村
6.２つのサイコロをふったとき、ゾロ目が出る確率は何分のいくつでしょう？  ６分の１
91.フォークボールを武器に通算215勝を挙げ、｢フォークボールの神様｣の異名を取った中日の投手は誰でしょう？  杉下茂
14.「東京湾」は２つの半島に囲まれていますが、それは房総半島と何半島でしょう？   三浦半島
8.アンデルセンの自叙伝とも言われている物語で、いじめられっこが実は白鳥だったというお話は何でしょう？    『みにくいあひるの子』
58.オリンピックの五輪の旗で、真ん中にある輪の色は何色でしょう？ 黒
19.日本国憲法に定められている国民の三大義務とは、勤労、教育と何でしょう？       納税
36.日本の国宝第1号に認定された弥勒菩薩像がある、京都の寺はどこでしょう? 広隆寺
24.オーストラリアの国旗に星は６つありますが、ニュージーランドの国旗には星がいくつあるでしょう？ ４つ
1.人気漫画『ドラえもん』の登場人物で、ジャイアンの苗字は剛田ですが、スネ夫の苗字は何でしょう？  骨川（滑川も正解）
99.年に２度収穫できる「二度芋」といえばジャガイモのことですが、年に３度収穫できることから「三度豆」と呼ばれているのは何でしょう？       インゲン豆
73.英語の『ドレミの歌』の歌詞で、「自分を呼ぶ名前」と歌われている音は何でしょう？       ミ（Ｍｅ、Ｍｉ）
51.ギリシャ神話で、ろうで固めた翼で空を飛んだものの、太陽の熱でろうが溶けて墜落死したのは誰でしょう？   イカロス
97.デパートの「友の会」で、「クローバーサークル」は伊勢丹ですが、「ローズサークル」といえばどこのデパートでしょう？     高島屋
83.ＪＩＳ規格のキーボードでのタッチタイピングで、人差し指を置く基本となるキーは「Ｆ」と何でしょう？     Ｊ
92.チベットのラサにある、ダライ・ダマが住む宮殿といえば何でしょう？     ポタラ宮
88.立秋の後の暑さを「残暑」といいますが、立春の後の寒さのことを何というでしょう？       余寒
20.太棹、中棹、細棹といえば、どんな楽器の種類でしょう？ 三味線
70.フェンシングの試合場のことを何というでしょう?        ピスト
25.1934年には天然記念物に指定された、学名を「ニッポニア・ニッポン」という鳥といえば何でしょう？ トキ
66.木下順二の戯曲『夕鶴』で、助けた鶴の化身・つうと結婚する男の名前は何でしょう？       与ひょう
65.アメリカのブッシュ (George Walker Bush) 現大統領が昨年の一般教書演説で使って以来広まった、イラン・北朝鮮・イラクの批判的な総称は何でしょう？ 悪の枢軸 (Axis of Evil)
80.江戸時代の村役人で「村方三役」と呼ばれたのは、庄屋、組頭とあと一つは何でしょう？     百姓代
30.妊娠５ヶ月目の戌（いぬ）の日に体に付ける、胎児を保護するためにする帯を何というでしょう？     岩田帯
56.ロイターといえばイギリスの通信社ですが、ＡＦＰといえばどこの国の通信社でしょう？     フランス
27.テレビの視聴率調査における「ゴールデンタイム」とは、午後７時から何時までのことでしょう？     午後１０時
96.コーヒーはアカネ科の植物ですが、カカオは何科の植物でしょう？ アオギリ科
98.オリコンのシングルチャートで初めて「デビュー曲初登場1位」となった、近藤真彦のヒット曲は何でしょう？  『スニーカーぶる～す』
32.ボウリングの球の重さを表す単位は何でしょう？ ポンド
5.人気タレント・タモリの本名は何でしょう？      森田一義
68.紫外線ＵＶ－Ｂの作用によって起こる、皮膚が褐色になる健康的な日焼けを英語で何というでしょう？ サンタン
```
前半にデンドログラム、後半に最適化した配置の問題が出力されます。
デンドログラムを見ると、近いジャンルの問題がグループになっているように見えませんか？

|グループ番号|分岐位置|ジャンル名（私が命名）|問題数 |
|:---------:|:-----:|:-------------------|------:|
|1          |┳┳┳━━  |スポーツ             |5      |
|2          |┃┃┗━━  |映画・芸能           |13     |
|3          |┃┗┳━━  |日本史・日本文化     |12     |
|4          |┃　┗┳━ |文学・芸術           |6      |
|5          |┃　　┗━|音楽                |8      |
|6          |┗┳━━━  |世界史・世界地理      |12    |
|7          |　┗┳┳━ |文字・数字           |9      |
|8          |　　┃┗━ |公民                |6     |
|9          |　　┗┳━|料理・生活           |12     |
|10         |　　　┗━|(上)日本地理 (下)色関連 |17   |

・・・グループ7や10あたりが怪しいですね。
どうやらこの手法だと数字同士・アルファベット同士・色名同士の類似度が高いと判定されるため、普段人間が行うジャンル分けとは異なる様相を呈する部分があるようです。このあたりは今後のチューニングにより改善していくことにします。実は既にいくつかののチューニングをしていますが、その試行錯誤については別記事にて。

# 参考文献
- [EC2上にmecab環境をつくる](https://qiita.com/ayaniimi213/items/95f947dbdd5440492c43)
- [word2vecの学習済み日本語モデルを公開します（白ヤギコーポレーション様）](https://aial.shiroyagi.co.jp/2017/02/japanese-word2vec-model-builder/)
- [クイズダウンロードサイト・クイズの杜](https://quiz-schedule.info/quiz_no_mori/data/data.htm)
    - 註：私はabc the firstの問題集を所持した上で二次利用をしています。