I1-23

学習者の誤りを捉える多肢選択問題の有意味誤選択肢の自動生成
Problem Generation for Multiple-Choice test to Capture Learner’s Errors
with Meaningful-Erroneous Choices
石橋 和樹*1, 小川 修史*2, 松田 憲幸*3, 平嶋宗*4, 瀧 寛和*3

Kazuki ISHIBASHI*1, Noriyuki MATSUDA*2, Hisashi OGAWA*2, Tsukasa Hirashima*2, Hirokazu TAKI*2*1 和歌山大学大学院システム工学研究科*1Graduate School of Systems Engineering, Wakayama University*2*2 兵庫教育大学大学院学校教育研究科
Graduate School of Education, Hyogo University of Teacher Education*3 和歌山大学システム工学部*3 Faculty of Systems Engineering, Wakayama University*4 広島大学工学部*4

Department of Information Engineering, Hiroshima University
Email: s151002@center.wakayama-u.ac.jp

あらまし：多肢選択問題は単に学習者の能力を測定するためのテスト問題の出題形式の一つではなく，より適切な指導のために学習者の誤りを捉えるための手段の一つでもある．それゆえ，多くの教材で利用されており，解答の提示とともに解説文が提供されてきた．問題を自動生成する仕組みを通して，誤りを捉えるための有意味誤選択肢と，見た目が異なる錯乱肢である無意味誤選択肢を機械的に生成する仕組みを通して検討する．
キーワード：多肢選択問題，問題解決知識，作問，摂動

1.

はじめにSES で生成可能な多肢選択問題

2.

多肢選択問題は広く普及した出題形式の一つである．問いかけに対し「正選択肢を選べたか？」は能力を表し，「どの誤選択肢を選んだか？」は与えるべき適切な指導を表す(1)．誤選択肢ごとに用意された解説文が指導を表す．
筆者らは，学習者の誤りを捉えるよう作られた誤選択肢を“有意味誤選択肢”，見た目が正選択肢と異なるよう作られた誤選択肢を“無意味誤選択肢”とし，区別する．実際に使われている多肢選択問題を分類し有意味誤選択肢を認めた(2)．
一方，e-Learning による反復演習の普及に伴い，十分な量の多肢選択問題を効率よく整えるため，自動生成の仕組みが盛んに研究されている(3-7)．一度に大量の問題を生成することができる一方で，有意味誤選択肢と無意味誤選択肢の区別を明確にした上でそれぞれの生成の仕組みを検討する必要があるが，十分にその区別は明確とはいえない．
本稿は，有意味誤選択肢と無意味誤選択肢の比較を 筆者ら が提案 した 多肢先 駆問題 の生成 法 SES（Simulation of Erroneous Solution）をベースに行う．
SES(8)は，問題を解くための知識を Prolog に表すことで問題条件から正選択肢を自動生成し，その解決過程を解説文テンプレートにあてはめることで解説文を生成する．さらに，正しい知識の一部に変更を加えた誤った問題解決知識をもとに，正選択肢と同様の方法で誤選択肢および解説文を生成する．このとき，知識に加えた変更を”摂動”と呼ぶ．

多肢選択問題を次の 5 つに分類した．SES は Prolog
で表した問題解決知識を基に問題条件から，正選択肢および解説文を生成する．また問題解決知識を摂動した誤った問題解決知識から誤選択肢および解説文を生成する．以下，5 つのカテゴリごとに先行研究による自動生成の仕組みを述べ，また SES による生成の可能性にふれる．

― 45 ―A)

問題条件を満たす概念を選択させる問題
たとえば，”TELNET”を正選択肢とするプロトコルを問う問題で，FTP, HTTP, SMTP が誤選択肢となる．
ほとんどの先行研究がこのカテゴリの問題を扱っている．問題を解くために必要な宣言的知識を記述したコーパス・シソーラスを用いて，正選択肢から近傍の見出し語を無作為に選び誤選択肢としている．大量に生成した問題や誤選択肢から手作業で適切な問題を選び出し利用するものと考えられる．すな
わち，特に有意味・無意味誤選択肢を区別して生成しておらず，両者とも同じ仕組みで生成している．また，多くの先行研究は，誤選択肢に対する解説文を生成できないか，すべての誤選択肢に対して解説文を生成している．
一方 SES は宣言的知識の表現が Prolog に適しており，有意味誤選択肢を知識の摂動にて，無意味選択肢を正選択肢からの近傍から無作為に選ぶことで生成可能と考えられる．

教育システム情報学会 JSiSE2015
第 40 回全国大会 2015/9/1～9/3

B)

C)

D)

E)

3.

手続き的に答えを求める設問
たとえば，スタックに対する手続きを提示し，最終的に残ったデータを答えさせる問題が該当する．有意味誤選択肢には，スタックをキューに読み替えて求めた解がある．無意味誤選択肢には，正選択肢や有意味誤選択肢の一部の文字を置換した解がある．
SES は手続的知識を Prolog に表し，有意味誤選択肢を手続的知識の摂動により導出することができる(8)．
説明文を選ばせる設問
たとえば DHCP の説明として適当な文章を選ばせる問題である．多くの誤選択肢は，正選択肢の宣言的知識を摂動した文とみなせ，有意味誤選択肢と認めた (2)．問題解決知識を宣言的知識として記述できれば，有意味誤選択肢については，カテゴリ A と同様に，先行研究も SES のいずれも生成可能と考えられる．
ただし，生成した後，自然な文章とするため手作業による修正が必要である．
一方で無意味誤選択肢は，正選択肢の文章と出題の意図において明らかに異なると判断可能な文章を無作為な文字の置換のみで生成することは難しいと思われる．
なお，問題が不適当な文章を選ぶ場合は，前述とは逆に，正選択肢を摂動した知識から導出し，誤選択肢を正しい知識から導出する．
正しい組み合わせを選ばせる設問
たとえば，情報システムの脅威とセキュリティについて正しい関係が示された選択肢を選ばせる問題である．
先行研究においても，SES においても宣言的知識を用意できれば有意味誤選択肢，無意味誤選択肢ともに生成できると考えられる．
用意すべき宣言的知識は，カテゴリ A や C とは異なり，比較すべき組み合わせを表す必要がある．
正しい順序関係を選ばせる設問
順序や位置について正しい順序を選ばせる問題がこのカテゴリに該当する．誤選択肢は，正しい順序以外の順列パターンを表している．SES が有意味誤選択肢を生成するには，順序についてよく勘違いしやすい誤りについて，摂動に表し誤選択肢，および，解答文を生成できると考える．

SES に基づく比較

カテゴリ B から，SES が Prolog に表された手続き的知識を元に有意味／無意味誤選択肢を生成する方法を比較する．
河川で観測した電気伝導度(EC)および生物指標について，古い記録と現在の記録の関係を理解する問
題を考える．生物指標が下がると河川の溶存物質が増加，そのため電気伝導度が減少するといった関係を学習者に辿らせる．このときの知識の概要を図１に示す．
問題に提示する条件は古い生物指標，現在の生物指標，EC の変化（増加／変化なし／減少）の中から二つ，残り一つが解答である．このとき，捉えるべ「溶存物質が増えるとき学習者の誤りは，たとえば，電気は流れやすくなる」といった誤りがある．これを摂動に表すと「溶存物質の変化」と「電気伝導度の変化」を比例の関係に置き換えることである．
このように，有意味誤選択肢は問題解決知識の摂動により導出でき，一方，無意味誤選択肢は問題解
決知識の外で，文字の置換や河川の昆虫から無作為に選出することで生成することになる．
生物指標(A)<順位>

一位 => カワゲラ
二位 => ゲンジボタル
三位 => ミズムシ

四位 => セスジュスリカ
問題条件

生物指標の変化(A,B)<順位の比較>AがBよりも上位 => 上位へ変化

反比
例

溶存物質の変化(A)<比例の比較>増加 => 増えた

AとBが同じ順位 => 変化なし

変化無し => 変化していない

AがBよりも下位 => 下位へ変化

減少 => 低くなった

問題条件

A => B
Aは尺度の初期値，
Bは問題・解説文にあてはめる語句

反比例

電気伝導度の変化(A)<比例の比較>増加 => 高くなった
変化無し => 変化していない
減少 => 低くなった

図 1 「河川の水質」の問題解決知識

4.

まとめ

多肢選択問題の有意味誤選択肢と無意味誤選択肢の違いを機械的に自動生成する手法の上で検討した．
有意味誤選択肢の生成の一つは問題解決知識の摂動に帰着できる．
先行研究の多くは，誤選択肢の区別なく無作為な選出にて生成しており，生成後に手動で区別する．
この重要な問題点は，その生成が偶然に依存し，コントロールできないこと，および，有意味誤選択肢ごとの解説文の生成ができないことにある．
参考文献(1) Munby, J.: “Read and Think”，Longman, 1968．
(2) 小川修史, 梅本修平, 松田憲幸, 平嶋宗, 瀧寛和: “多肢選択問題における誤選択肢の分類と作成法の検討”，
日本教育工学会第 29 回全国大会講演論文集，3a-1403-02，(2013)(3) E. Sumita, F. Sugaya, & S. Yamamoto: “Measuring nonnative speakers' proficiency of English by using a test with
automatically-generated fill-in-the-blank questions”, Proc.
of ACL '05 Workshop: Building Educational Applications
Using Natural Language Processing, pp.61-68, (2005)(4) 菅原遼介, 奥津翔太, 古舘昌伸, 井上裕之, 高木正則:“多肢選択形式作問支援システムの開発”, 日本教育工学会第 29 回全国大会論文集, 3a-1-305-01, (2013)― 46 ―