大学入試研究ジャーナル第 29 号
データ作成日：19/03/22 SE-06【原著】

大学入試研究ジャーナル第 29 号，111-116，2019

高大接続を視野に入れたタブレットを用いる評価問題の試作（3）――ペーパーテストとの比較 ――
安野 史子（国立教育政策研究所），山下 卓弥（富山県立富山中部高等学校），
柳澤 秀樹（駒場東邦中学校高等学校），高木 繁（名古屋工業大学），中島 範行（富山県立大学），
林 誠一（富山県立砺波高等学校），松原 静郎（桐蔭横浜大学）

本研究は，CBTの特性を生かした教科・科目ベースの問題を試作し，検討することを目的として実施してきている。今回は，映像やシミュレーション実行のための動的オブジェクトを含む化学の問題について，PBTと評価がどのように異なるのかを探るため，CBT用に開発した問題の一部をPBT版に直し，比較調査を実施した。その結果，冊子全体としては明確な違いは確認できなかったが，PBTとCBTで問題の提示方法が異なることもあり，個別の設問において差異が観察された。

1 研究の目的
本研究は，昨年（2016年）度に引き続き，CBT（Computer-Based Testing）の特性を生かした教科・科目ベースの問題を試作し，検討することを目的として実施された。今回は，化学における同一内容の問題で，CBTとPBT（Paper-Based Testing）では測定結果にどのような違いがあるかを検討することを主目的とする。
具体的には，高等学校の化学の履修を終えている大学1,2年生を対象とした調査を通じて，難易度の差や評価内容に違いがあるのかを検討し，それらを規定する要因が何であるのかという問いに対する解答を探る。さらに，昨年度までは，高等学校第2学年及び第3学年の生徒を対象に調査を行っていたが，今回は，高大接続の観点から，調査対象集団を大学1,2年生とし，CBTの問題について，高校生と大学生といった異なる集団で調査した場合，難易度に違いがあるのかを探ることも目的としている。
2 調査のデザイン
このような目的の実現のために，同一内容の問題をCBT形式とPBT形式の両方の形式で作成し，能力同等と考えられる二つの集団に解答させることと，一受験者に，CBT形式とPBT形式の両方を解答させることが必要になる。
その二つの課題の遂行のために，昨年度までに開発したCBTの問題（安野, 2018）から選ばれた6題がPBT形式に書き換えられ，それらを3題ずつ，内容と難易度がほぼ均等になる2組に分けられた。一方，受験者
は，2大学の理系学部に所属する大学1年生及び2年生からなるサンプルを無作為に2群に分け，各群に対しそれぞれ2組の問題の一方が実施された。
3 方法
3.1 調査対象者
高等学校の学習内容を履修し終え，入学試験で理科が試験科目となっている理系学部の大学1,2年生を調査対象とした。ただし，調査実施が大学入学試験受験後多少時間が経過していることから，大学においても化学系の科目を履修しているものとし，国公立大学2大学において実施した。
3.2 調査問題
昨年度までに開発したCBTの化学問題（安野, 2018）
は，CBTの特性を活かした問題として開発を行った。
そのため，化学実験を中心とした映像やシミュレーションを実行できる動的なオブジェクトを含んでおり，PBTでは表現できない（あるいはしにくい）問題である。
特に，化学変化の様子を映像で示しているものは，ペーパーテストではその現象を問題文で明示することになるため，本質的には異なる。その中で，同一内容で比較的ペーパーテストに書き換え可能な問題を，今までに開発した15題（安野, 2018）のうちから選び出し，6題をPBT形式に改作した。それらの問題の内容は，表1の通りである。前述のように，CBT形式の「映像」を見て，変化の様子やどのような現象が起こったかを記述させる設問は，PBT形式では出題が難しいため，問題ID01 ～ 03は，PBT形式への書き換えにより小問数が減少した（表2）。また，問題ID04ではPBT形式への書き換えにより設問の順番が入れ替わった
（表2）
。例えば，

- 111 -

38_【原著】国立教育政策研究所_安野史子-190322.indd 111

2019/03/22 12:08

大学入試研究ジャーナル第 29 号
SE-06
データ作成日：19/03/22

大学入試研究ジャーナル第 29 号

図1は問題ID03のCBT形式の問題，図2はそれをPBT形式に書き換えた問題を示したものである。CBT形式では映像を見て，沈殿が生じている操作（例えば，図3）をすべて選ぶが，PBT形式ではそのような設問は出題できず，問題文に各操作で沈殿が生じるか生じないかを明記している。さらに，問題ID05はCBT形式では動的オブジェクトを用いたシミュレーション問題であり，インタラクティブにデータを収集すると，自動的にグラフにプロットされるが，PBT形式では同一の表現が困難なため，実験結果データの表をあらかじめ明示し，それをもとにグラフに描かせる問題としている（表2）。
これらの問題を内容と難易度がほぼ均等になる2組に分け，2冊子（A冊子，B冊子）を作成した。各冊
子には， CBT形式とPBT形式の問題を3題ずつ割り振り，第1問から第3問はPBT形式，第4問から第6問はCBT形式の問題とし，解答時間は60分に設定した。
3.3 質問紙
以下の1 ～ 3の内容の質問紙も併せて作成した。
ただし，質問項目はすべて選択肢式の項目である。
1. 問題について‒ 難易度，意味の理解，解答時間
2. 問題のオブジェクトについて‒ 映像時間，映像の見易さ
3. 高等学校での化学実験の頻度について
3.4 調査実施① 調査日：2017年12月19日（U1大学）
及び2017年12月25日（U2大学）② 調査人数：U1大学A冊子37名 B冊子38名（1年生1学科，2年生1学科）
U2大学A冊子37名 B冊子39名（1年生2学科）③ 調査方法：問題冊子（iBooks による電子冊子及び紙媒体の冊子），解答用紙（紙媒体），7.9インチのタ
ブレット端末（Apple Inc.のiPad mini2,OS:iOS9），質問紙（マークシート）
を配付し，学生の所属大学の講義室で実施した。質問紙調査は，問題を解答後に行い，調査終了後全ての配付物を回収した。

- 112 -

38_【原著】国立教育政策研究所_安野史子-190322.indd 112

2019/03/22 12:08

大学入試研究ジャーナル第 29 号
データ作成日：19/03/22 SE-06

高大接続を視野に入れたタブレットを用いる評価問題の試作（3）- 113 -

38_【原著】国立教育政策研究所_安野史子-190322.indd 113

2019/03/22 12:08

大学入試研究ジャーナル第 29 号
SE-06
データ作成日：19/03/22

大学入試研究ジャーナル第 29 号

4 調査結果各問題の配点（枝点を含む）
は2017年3月調査（安野,2018）の配点を踏襲した。そのため，満点がA冊子は128点，B冊子は107点となるが，本稿での比較においては，両方の冊子に共通している設問のみで行う。表3は，冊子ごとに見た形式別の得点率に関する統計量である。2組に分けた問題は，3題のまとまりの問題群で見ると，形式による得点率に差異はほとんど見られず，むしろ問題群 I（ID01 ～ 03）
が問題群 II（ID04 ～ 06）
よりも難度が高かったことがわかる。
次に，図4及び図5は，各冊子の問題群 I（ID01 ～ 03）と問題群 II（ID04 ～ 06）の得点率の散布図である。相関係数は，A冊子が0.54，B冊子が0.46であり，これらからも，形式による明白な違いは確認できず，問題群の難度の違いが観察できた。
さらに，表2は大問別あるいは小問別にみた結果である。大問で差が最も大きかった問題は，問題ID06（沈殿反応）
で，得点率の差が14.9%ポイントで，CBT形式の方が易しいという結果であった。この問題
は，CBT形式では30映像が用意されていて，知識がなくても，すべての映像を見れば正解が得られるが，PBT形式は知識がないと正解できないということに起因していると考えられる。CBT形式では観察・実験の技能，思考・判断・表現，知識・理解，関心・意欲・態度，に関して総合的に評価する問題であったのが，PBT形式では知識・理解のみの評価問題となってしまい，問題の改変により，評価していることが変質してしまった設問と言える。
小問レベルで見ていくと，問題ID06を除いた問題で差が大きかった設問は，問題ID04（1）と問題ID01（4）で，前者はガラス器具の名称（ホールピペット）を尋ねている設問で，CBT形式の得点率の方が18.9%ポイント高いという結果であった。それは，PBT形式では器具がイラストで提示されているが，CBT形式では実際に使用している様子を映像で見ることができ，器具の大きさも把握しやすいことに起因していると考えられる。形式によって，特定の誤答に偏ることなく，どちらの形式も同じように，ピペット，駒込ピペット，ビュレットといった誤答が目立ち，これらの誤答の反応率はPBT形式の方が高い。後者は，蒸気圧と沸騰の問題の（4）で，減圧後の水の沸騰に関する問いである。この問題（ID01）
は，CBT形式のみ（1）～（3）
において，どのような変化が起こったか等，現象を記述させているので，枝問レベルでは3問多いが，図6からもわかるように，（1）～（3）はPBT形式の方が平均得点率が高く，（4）で逆転するとともに，差が一番開き，CBT形式の方が15.5%ポイント高いという結果であった。勢いよくフラスコ内に水が引き込まれ，その水が沸騰する様子を- 114 -

38_【原著】国立教育政策研究所_安野史子-190322.indd 114

2019/03/22 12:08

実際に見ることによって，減圧によるものであることがイメージしやすかったためではないかと考えられる。
次に，2017年3月に高校生を対象に調査を行った結果との違いについて述べる。高校生の調査は全15題で各冊子5題ずつの3冊子に分けられ調査が実施された。
高校生調査においても，無作為に分けられた3組の集団に対して実施されたが，今回の調査で用いた6題は，問題群 I（ID01 ～ 03）
及び問題群 II（ID04 ～ 06）とも，高校生の調査の3冊子から1題ずつ選ばれている。各冊
子の実施人数も若干名異なるため，厳密に平均得点動的オブジェクトでの実験シミュレーションによる（率）が算出できないが，各問題の平均得点を加算した（CBT）
か問題に実験結果のデータが与えられていて，もので違いを見ることにする。
その結果を自分でプロットする（PBT）
かの違いで，そ問題群 I（ID01 ～ 03）（配点合計63点）
は，の後は化学計算を伴う問題である。形式による平均
高校生19.2点（30.5%）, 大学生26.9点（42.7%）
得点率の差は観察できなかった（表2）が，CBT形式の問題群 II（ID04 ～ 06）（配点合計61点）
は，方が，易しいと回答している受験者ほど得点が高い
高校生19.5点（32.0%）, 大学生32.4点（53.1%）
傾向がより強い。
で，大学生の方が，どちらの問題群も平均得点率が次に，形式による相関係数の差が大きかった問題
10%ポイント以上高く，開発したCBT問題の弁別力があは，問題ID02（電池のしくみ）
で，CBT形式（A冊子）
がる程度確認できた。
相関係数0.20，PBT形式（B冊子）が相関係数0.41であった。この問題も大問の平均得点率に差がほとんど見られない（表2）が，PBT形式の方が，易しいと回答している受験者ほど得点が高い傾向がより強い。図7及び図8は，横軸に質問項目の選択肢番号，縦軸に当該問題の選択肢別平均得点率，バブルの大きさに質
問項目（難易度）の選択肢（5択）
への回答人数をとった
この問題のバブルチャートであるが，これらの図からも，違いが明確である。
「難しい」と回答している割合
がCBT形式では9%に対してPBT形式では26%と高く，逆に，この受験者の平均得点率は，CBT形式で27%であるのに対し，PBT形式では21%と低い値を示しており，これが相関に大きく影響していることが考えられる。
なお，高等学校での化学実験の頻度について，8択（1.しなかった 2.年に1回以上 3.学期に1回以上 4.月に1回以上 5.2週に1回以上 6.週に1回以上 7.毎回 8.化学を履修しなかった）で尋ねているが，1 ～ 3（月に15 質問紙調査との関係回に満たない）と回答した割合の合計がA冊子69%，B
表4は，「各問題の難易度について，あなたがどの冊子78%，4と回答した割合がA冊子23%，B冊子16%でように感じたか」
（難易度）
を5択
（1.難しい 2.やや難あった。実験頻度が比較的低い傾向にあることもあり，しい 3.ちょうどよい 4.やや易しい 5.易しい）で尋ね
高等学校での化学実験の頻度と得点率との相関係数た質問項目への回答平均と大問の得点率との相関をは，形式別に見て，いずれもほぼ0で，無相関という示したものである。
反応平均は，2.1 ～ 3.1という結果で，「やや難しい」 結果であった。この結果から，高等学校での化学実験経験との関連を見ていくには，高等学校での化学から「ちょうどよい」に位置しており，形式による難易実験経験が豊富な集団に対して調査を行う，具体的度の感じ方の違いはほとんど観察できなかった。に経験した実験内容とそれに関連する問題の正誤と得点との相関を，質問反応と大問得点率との相関の関係を見ていく，といったことをしていく必要があ
係数でみると，問題ID05はPBT（A冊子）で0.42，CBT（B冊子）で0.54と，形式によらず高かった。この問題は， ると考えられる。

- 115 -

38_【原著】国立教育政策研究所_安野史子-190322.indd 115

2019/03/22 12:08

大学入試研究ジャーナル第 29 号
データ作成日：19/03/22 SE-06

高大接続を視野に入れたタブレットを用いる評価問題の試作（3）大学入試研究ジャーナル第 29 号
SE-06
データ作成日：19/03/22

大学入試研究ジャーナル第 29 号

附記
本研究は，日本学術振興会科学研究費補助金基盤研究（A）「高大接続に資する多面的・総合的な学力評価・測定を行うための新たな技術的基盤の構築」（平成25 ～ 29年度，課題番号25242016）
及び基盤研究（A）「高大接続に資する多面的評価のためのタブレット端末を用いたCBTの総合的研究」（平成29 ～33年度，課題番号17H00822）の成果の一部である。
後註iPad mini2,iBooksは，米国および他の国々で登録されたApple Inc.の商標である。



参考文献
安野史子
（2017）.「高大接続を視野に入れたタブレッ
トを用いる評価問題の試作―映像や動的オブジェクトを含む問題―」『大学入試研究ジャーナル』
27, pp.71-79.
安野史子（2018）.「高大接続を視野に入れたタブレッ
トを用いる評価問題の試作（2） ―映像や動的オブジェクトを含む問題―」『大学入試研究ジャーナル』
28, pp.155-162.

6 まとめと今後の課題
本研究では，映像や動的オブジェクトを含む化学のCBT問題について，PBTと評価がどのように異なるのかを探るため，PBT版に改作し，比較調査を行ったが，大問レベルで見ると，大部分の問題は，形式による難易度の違いが確認できなかった。小問レベルで見ると，現象や変化に関しての明示の違いによって，差がある問が確認できた。そもそも，CBT形式に特化した問題を作題してきたこともあり，PBT形式へ書き換えがしにくい問題が多く，CBT形式とPBT形式では，測定している能力が変わってしまったものもあり，さらに個別に結果を精査する必要がある。映像やシミュレーションといった動的オブジェクトの働きと，評価したい能力との関係を明確にしていくことで，CBT問題の有益性は高まると考える。さらに，問題開発のみならずタブレットへ直接入力する解答方法の開発等，CBTに関する総合的研究として進めていく予定である。

- 116 -

38_【原著】国立教育政策研究所_安野史子-190322.indd 116

2019/03/22 12:08