C3-2

問題自動生成機能を利用した作問支援の効果
Effect of Support for Creating Test Questions
Using an Automatic Generation Function of them
福坂 祥基，高木 正則，山田敬三，佐々木淳
Shoki FUKUSAKA，Masanori TAKAGI，Keizo YAMADA，Jun SASAKI
岩手県立大学ソフトウェア情報学部
Faculty of Software and Information Science, Iwate Prefectural University
Email: g031k142@s.iwate-pu.ac.jp
あらまし：近年，様々な検定試験が行われている．各試験では，出題する問題の作成に多くの時間を費やしている．そこで，本研究では作問負担の軽減を目的に，知識ベースと出題テンプレートを用いた作問支援機能を提案する．本機能は，出題したいキーワードを入力するだけで多数の問題候補を提示でき，これらを編集することで，作問負担の軽減につなげることを狙いとしている．本機能の評価実験で被験者が作成した問題を分析した結果，作問時間の短縮と不適切問題作成の抑制ができることを示した．
キーワード：作問，知識ベース，ご当地検定

1.

はじめに近年，TOEIC や情報処理技術者試験など様々な検定試験が行われている．これらの検定試験では，出題する問題の作成に多くの負担がかかっている．一方で，教育現場で必要となる多様な演習問題が不足していることに対し，演習問題を自動生成する研究が多数存在する(1)(2)．しかし，問題生成の事前準備として，問題を生成するためのリソース情報に XMLのタグを付与することや，Wikipedia を情報源として問う知識のカテゴリに対応した語尾を定義する必要があるなど作問者にかかる負担は未だ大きい．

2.

自動生成の対象

菅原ら(3)は，多肢選択式問題における誤答選択肢を自動生成するシステムを開発した．また，多くの検定試験では多肢選択形式や一問一答形式が採用されている．本研究では問題文と解答を自動生成して一問一答形式問題を生成する．多肢選択形式問題を生成する場合は，菅原らのシステムと連携することを考える．

3.

問題自動生成機能

3.1 機能概要
本研究では，知識ベースと出題テンプレートを用いて，一問一答形式の問題を自動生成する．なお，地理・歴史・人物などの固有名詞の知識を問うものを対象とする．また，本研究では共同研究を行っている盛岡商工会議所が主催するご当地検定の盛岡もの識り検定（以下，もりけん）を支援対象とする．

図 1 知識ベース例

決定する．カテゴリの子ノードには，「新渡戸稲造」などの固有名詞が配置され，カテゴリと固有名詞の間にはノード間の関係が紐付けられる．同様に，固有名詞の子ノードとも関係の紐付けを行う．この知識ベースは古舘ら(5)が開発した手法によって自動構築される．本研究では，この知識ベースを活用する．
3.3 作問支援に用いる出題テンプレート	  表 2 に本機能で用いる出題テンプレートを示す．
表中の OⅠには図 1 のカテゴリ「人物」の子ノード「新渡戸稲造」が挿入され，PⅠにはカテゴリと子ノードの関連「盛岡駅前滝の広場で胸像が除幕された先人」と「平成 24 年，生涯 150 年を迎える盛岡ゆかりの人物」が挿入される．また, OⅡには「新渡戸稲造」の子ノード「カナダ・ビクトリア市」と「国際連盟」が挿入され，PⅡにはそれぞれの関連「客死したことが縁で盛岡の姉妹都市となった」と「設立時に事務次長をつとめた国際組織」が挿入される．
表 1 出題テンプレート

3.2 作問支援に用いる知識ベース
過去問題をリソースにして構築した知識ベース例を図 2 に示す．本研究では，知識ベースを木構造で定義する．まず，もりけんの知識ベースであることから，ルートに盛岡市を置く．次に，問題で問われている知識を抽出し，この知識が属するカテゴリを

(1)
(2)
(3)
(4)

― 171 ―

問題文
[OⅠ]について正しい説明は何か[OⅡ]について正しい説明は何か[PⅡ]が(のが)[0Ⅱ]である[PⅠ]は(のは)何か[PⅠ]の[OⅠ]が[PⅡ]は(のは)何か

正答[PⅠ][OⅠ]が[PⅡ]
[OⅠ]
[OⅡ]

教育システム情報学会 JSiSE2015
第 40 回全国大会 2015/9/1～9/3

4.

実験結果と評価

表 3 パターン分類結果一部

4.1 実験概要
本機能による作問負担の軽減効果を検証するため，評価実験を行った．実験では，27 名の学生を対象とし，実験直前に提示したキーワードを主題とした問題を制限時間内（40 分）にできる限り多く作成してもらった．なお，作問時の知識収集の手段として実験中のインターネットの利用は可とした．本実験では作問に要する時間を負担とみなし，本機能を利用せずに作問した場合（以下，通常作問）と，本機能を利用して作問した場合（以下，機能利用作問）で，各問題の作成に要した時間を比較した．また，同被験者に連続して作問させた場合，慣れによる時間の減少が予想されるため，通常作問した後に機能利用作問するグループ A（13 名）と，その逆順で作問するグループ B（14 名）に分けて実験した．
4.2 結果と考察	  機能利用作問による 660 問と，通常作問による389 問の合計 1049 問の問題が作成された．これより，各グループにおける，機能利用作問と通常作問での 1 問あたりの平均作問時間（秒）を求めた．平
均作問時間の結果を表 2 に示す．分析の結果，グループ A の 13 名中 12 名と，グループ B の 14 名中13 名が機能利用作問の作問時間が通常作問よりも短かった．
表 2 平均作問時間（秒）グループ A
グループ B

5.

機能利用作問
97.90
67.30

通常作問
142.46144.90

作成された問題の分析

5.1 機能利用作問で作成された問題の分析
機能利用作問では，本機能で自動生成された問題を編集して問題を作成した．そこで，被験者が生成された問題をどのように編集して新しい問題を作成していたかを分析した．まず，機能利用作問で作成された問題 660 問について，自動生成された問題と投稿時（編集後）の問題を比較した．なお，660 問
中 240 問は編集されずに投稿していたため分析対象から除外した．残りの 420 問の編集箇所を分析し，編集内容ごとにパターンの分類化を行った．分類結果の一部を表 3 に示す．表 3No(1)は，表 1 の出題テンプレートに含まれる「の（のは）」を適切な表現に直す編集作業である．自動生成された問題にはこのような助詞の誤りが 373 問あったが，そのうち86.0%の問題は修正されていた．
5.2 結果と考察
機能利用作問により作成された問題と通常作問で作成された問題において，不適切問題（文法的な誤りや，問題文と回答の関係性に誤りがある問題）がどの程度含まれているのかを分析した．なお，分析の範囲としては，機能利用作問で作成された 660 問中編集されて投稿された 420 問と，通常作問で作成

No
(1)

(2)

(3)

編集内容
問題文の（のは）を除去
問題文の一部を省略する
問題文の問い方を改善

問題数337139125

例（編集前問題文）	  盛岡城跡公園にある碑の碑
文「願わくはわれ太平洋の橋とならん」の言葉の新渡戸稲造が客死したことが縁で盛岡の姉妹都市となったは(のは)何か（編集前正答）カナダ・ビクトリア（編集後問題文）	  盛岡城跡公園にある碑の碑
文「願わくはわれ太平洋の橋とならん」は誰の言葉か（編集後正答）新渡戸稲造

された 389 問の中で，グループ A により作成された179 問とする．グループ B は機能利用作問後に通常作問を行い，自動生成された内容が通常作問の作問内容に影響することが予想されたため，対象外とした．	  結果として，編集された問題中の不適切問題の割合は 6.67%（28 問），グループ A により作成された問題中の不適切問題の割合は 11.73%（21 問）となった．この結果から，機能利用作問は通常作問に比べて，不適切問題の発生を抑制できたと言える．

6.

まとめと今後の課題	  本稿では，もりけんを対象とした一問一答形式問
題の自動生成機能の評価実験を行い，作問時間を短縮できたことを実証した．また，実験より得られた問題を分析した結果，不適切問題の発生を抑制できることが示唆された．今後は出題テンプレートをより汎用性の高いものにし，実際の作問委員会などに利用してもらうとで，本機能の有効性を検証する．
謝辞
本 研 究 の 一 部 は 科 学 研 究 費 （ 若 手 研 究 （ B ），No.24700904）の研究助成を受けたものである．また，本研究に協力して頂いた盛岡商工会議所と文化地層研究会の皆様に感謝を申し上げます．
参考文献(1) 菅沼明，峯恒憲，正代隆義:“学生の理解度と問題の難易度を動的に評価する練習問題自動生成システム”，情報処理学会論文誌 (2005)(2) 田村吉宏, 山内崇資，林佑樹，中野有紀子:“Wikipedia
記事情報に基つく歴史学習問題の自動生成手法”, 人
工知能学会全国大会論文集（2014）(3) 菅原遼介，高木正則:“誤回答を用いた誤答選択肢自動生成システムの開発と評価”，情報処理学会情報教育シンポジウム (2013)(4) 福坂祥基，古舘昌信，高木正則，山田敬三，佐々木淳：“知識ベースと出題テンプレートを用いた作問支援機能の開発と評価”，情報処理学会全国大会（2014）(5) 古舘昌伸，高木正則，高木輝彦：“試験問題の自動生成を可能とする知識ベース自動構築手法の提案”，情報処理学会研究報告，2015-CE-128(14)，1-10 (2015)― 172 ―