北信越地区

教育システム情報学会 2019年度学生研究発表会

作問学習で作成された問題の質と自己評価の分析
Analysis of the Quality of Quizzes Created by Students and their Selfevaluation
阿部 佳宣*1, 高木 正則*1，市川尚*1
Yoshinobu ABE*1, Masanori TAKAGI*1，Hisashi ICHIKAWA*1*1 岩手県立大学ソフトウェア情報学部*1Faculty of Software and Information Science, Iwate Prefectural University
Email: g031p007@s.iwate-pu.ac.jp
あらまし：学習者が問題を作成する作問学習では，作成される問題の質が多様であり，作問によって得られる学習効果には差異があるという問題点がある．そこで，作問学習で作成された問題の質と作問学習で得られる学習効果の関係を明らかにすることを目的とし，本学で開講された情報基礎数学 B の履修学生
57 名が実施した作問学習の結果を分析した．作問学習で作成された問題の質とその問題を作成した学生の自己評価の関係を分析した結果，参考文献の記載がある場合は，誤答選択肢に妥当な選択肢が設定されているほど自己評価が比較的に高く，参考文献の記載がない場合は，自己評価が高い人ほど解説がわかりづらく，曖昧な表現が多いことがわかった．
キーワード：作問学習，自己評価，CollabTest

1. 背景
多くの教育現場では，学習者が問題に解答する演習が行われているが，我々は学習者が学んだ知識を用いて問題を作成する作問学習に着目して研究を進めてきた．作問学習には問題を解くことよりも問題やその解法に対するより深い理解が必要であり，理解した知識を踏まえ問題として整理することで，より大きな学習効果が見込めるとして数多くの研究がされている⁽¹⁾．しかし，作成される問題の質が多様であり，作問によって得られる学習効果には差異があるという問題点がある．そこで，作問学習で作成された問題の質と作問学習で得られる学習効果の関係を明らかにすることを目的とし，本学で開講された情報基礎数学 B の履修学生 58 名が実施した作問学習の結果を分析した．

図1

問題投稿時の画面例の欄に問題の背景，正答となる選択肢の説明，誤答となる選択肢の説明，補足となる説明の 4 項目が記述されていることと定めていた．

2. 関連研究高木ら⁽²⁾は作問学習支援システム「CollabTest」を開発して運用している．CollabTest では，対象となる科目を①学習したうえで作問，②グループ内で問題の相互評価，③教員への問題の提出・教員による問題の評価，④学生または教員が作成した問題を利用した確認テスト，の手順で学習する．また，問題作成時の入力項目には，問題文・選択肢・解説といった必須項目と，作問時に参考にした Web サイトや文献の情報を入力する参考文献欄などがある．図 1 にCollabTest の問題投稿時の画面例を示す．
学生はこの入力欄に各種情報を入力しながら作問する⁽³⁾．
佐藤ら⁽4⁾は，作問学習に関連する思考力・判断力・表現力を測定する独自のルーブリックを作成し，このルーブリックに基づいて思考力・判断力・表現力を自己評価・他者評価できる機能を開発した．
小谷ら⁽5⁾は完成度の高い問題の条件として，解説

3. 分析
2019 年度後期に本学で開講された情報基礎数学 Bの履修学生 57 名が CollabTest を利用して作成した問題の質と学習効果の関係について調査した．情報基礎数学 B の作問学習では，作成した問題をグループ内で相互評価する際に，チェックリストを提示して相互評価をさせている．表 1 に相互評価チェックリストを示す．本研究では，この チェックリストに基づき，作問学習で作成された問題を著者が分析した．
その結果，作問の際に参考にした参考文献の内容や解説の丁寧さが，作問者の思考力・判断力・表現力に影響を与えていると考えた．そこで，本分析では，参考文献の記載の有無や参考文献に記載された情報によって問題を分類し，各問題の作問者の思考力・判断力・表現力の自己評価の値を比較した

39

北信越地区

教育システム情報学会 2019年度学生研究発表会

表 3 細分化後の t 検定の結果
思考力
判断力
表現力
0.046*
0.271
0.410
A1 と A20.025*
0.135
0.169
A1 と B
0.427
0.855
0.582
A2 と B**p<.01 *p<.05

3.1 分析手順
学生が作成した問題の参考文献の情報を分析した
結果，参考文献を明記していた学生が 21 名（以下，グループ A），明記していなかった学生が 24 名（以下，グループ B）いた． まず，グループ A，B の自己評価の平均値について t 検定を行った．t 検定の結果を表 2 に示す．t 検定の結果，グループ A，B の間には有意差がないことが確認された．次に，グループ A の学生を，参考文献に授業資料を使用した学生（グループ A1）と，使用しなかった学生（グループ A2）に細分化し，A1 と A2，A1 と B，A2 と B について t 検定を行った．t 検定の結果を表 3，4 に示す．その結果，A1 と A2，A1 と B の思考力において有意差が確認できた．
次に相互評価チェックリストの各項目の点数（各項目を満たした場合 1，満たさなかった場合 0）と思考力・判断力・表現力の自己評価の結果（各 10 点満点）との相関を調べた．その結果を表 5 に示す．表5 から，参考文献の記載があるグループでは，誤答選択肢に妥当な選択肢が設定されていると自己評価が比較的に高いことがわかった．また，参考文献の記載がないグループでは自己評価が高い人ほど解説がわかりづらく，曖昧な表現が多いことがわかった．

表4A1A2B

4. 考察
本分析の結果から，誤答選択肢に妥当な選択肢を設定する学生は想定される誤答を予め予想できていたと考えられ，その結果，自己評価の向上につながったと考えられる．また，自己評価が高い学生に解説がわかりづらく曖昧な表現が多かった理由として，相互評価の際に解説でわかりづらかった箇所を補足していたと予想でき，自己評価項目「相互評価の際に自分の意見を伝えられる」を満たしていたと考えられる．

12
3456

表 1 相互評価チェックリスト
解説 に答 えを導く計算過程が書か れており，不正解した学習者が見てわかりやすい解説になっているか
著作権を侵害していないか（参考文献が記載されているか）
誤字脱字がないか
曖昧な表現やわかりにくい表現はないか
問題内容・答え・解説は正しいか
誤答選択肢には妥当な選択肢が設定されているか

A1，A2，B の自己評価の平均
思考力
判断力
表現力
6.35
6.53
6.43
5.65
5.93
5.63
5.77
6.09
5.87

グループ AA の相互チェックリストと自己評価の相関
自己評価
思考力
判断力
表現力
1-0.16
-0.18
-0.09
2なし
3-0.16
-0.18
-0.09
40.04
0.03
0.12
50.10
0.06
0.21
0.26
0.3060.15-0.34
-0.37
-0.38
1
2なし
3なし
-0.41
4-0.25-0.30
5-0.06-0.06-0.05
6-0.13-0.06
0.01

グループ B

相互チェックリスト

表5

合計
0.175
0.079
0.909

5. おわりに本研究では，作問学習で作成された問題の質とその問題を作成した学生の自己評価の関係を分析した．
分析の結果，参考文献が記載されている場合は誤答
選択肢に妥当な選択肢が設定されているほど自己評価が高く，参考文献が記載されていない場合には自己評価が高いほど解説がわかりづらく曖昧な表現が多いことが分かった．今後は，作問時に参考文献を明記させることや解説について分析を進めていく．
参考文献(1) 竹中真希子，室田一成:“作問学習を取り扱った先行研究に関する基礎的研究―先行研究で採用されている作問の方法―”，大分大学教育学部研究紀要，Vol.40，
No.1，pp.133-148（2018）(2) 高木正則，田中充，勅使河原可海：“学生による問題作成およびその相互評価を可能とする協調学習型WBT システム”，情報処理学会論文誌 Vol.48，No.3，pp.1532-1545（2007）(3) 井上裕之，高木正則:“適応型学習支援システムによる学習効果の分析”，情報教育シンポジウム 2015 論文集，Vol.2015，pp157-164（2015）(4) 佐藤雅希，高木正則，市川尚:“作問学習における思考力・判断力・表現力の目標設定・自己評価・他者評価の継続的な実践と分析”，情報処理学会研究報告（2020）(5) 小谷篤司，望月雅光，高木正則，勅使河原可海:“作問演習において理解度向上を支援する作問手順の検討”，
情報教育シンポジウム，pp155-160（2011）

表2

グループ A と B における t 検定の結果
A の平均
B の平均
t値
13.33
11.85
0.160
思考力
11.76
10.66
0.279
判断力
7.71
7.040.224
表現力**p<.01 *p<.05

40