【原著】

大学入試研究ジャーナル第 30 号，52-58，2020．

CBT による多肢選択式問題の解決プロセスの解明――大学入試センター試験問題の国語既出問題を活用して――
北澤 武（東京学芸大学／教育テスト研究センター），白水 始（東京大学）
本研究では，大学入試センター試験問題の国語既出問題を対象に，解答者が読んだり解答したりしている箇所をタップすることで，リアルタイムにログの取得をする CBT を開発した。そして，解答者が問題の解決に至るまでのプロセスについてログから可視化し，解決プロセスの特徴を分析した。その結果，１）本文に記載されている傍線部までを読んでから設問を読み解答する解決プロセス，
２）本文全体を読んでから設問を読み解答する解決プロセスなどが明らかになり，本研究で開発した CBT で多肢選択式問題の解決プロセスを解明できることが分かった。
キーワード：CBT，テスト形式，解決プロセス，大学入試センター試験，国語
Based Testing）を含めることを公表した。このこと
1 はじめにから，例えば，理科（化学）を対象に実験のシミュレー
センター試験の現代文（評論，小説）の多肢選択ション問題を可能とする CBT の開発（山下，2017）や，式問題について，得点が高い生徒であっても傍線部動的オブジェクトを有する数学の CBT の開発（安野の前後に留まった部分読みとなり，傍線部を互いに関ら，2018）など，CBT の開発に関する研究が報告さ連付けながら全文を読むような読み方になっていなれるようになってきた。大学入試センター（2018）もかったことが思考発話の実験から明らかになっている
また，CBT に関する調査研究を実施し，教科「情報」（益川ほか，2018）。また，東京大学入学試験の国語記述式問題とセンター試験の現代文（評論，小説） の CBT の開発に着手している。
益川ら（2018: 69）は，上述した思考発話の限界をの多肢選択式問題を比較したところ，前者の方が，解決する方法の一つとして，「今後 CBT を開発して本文が短いことと，設問が一望できて複数の設問間いく上で，今回分析したような問題文と設問との間のの関係を考え易い設問構成になっていることなどか行動や解決方略を自動的に記録できるテスト形式をら，問題文全体を読んだ上で，場面（設問）間の関検討していくことが，より大規模な検証と開発につな係について統合的に捉えようとする読解活動が誘発されることが，思考発話により示された（益川・白水， がっていくだろう」と述べている。このような背景を踏まえ，本研究では CBT に着目し，コンピュータを2019a）。河﨑ほか（2019: 165）は，思考発話法で問用いて，現代文の多肢選択式問題の解決プロセスが題の解決プロセスを明らかにする意義として「出題者をはじめとした関係者が『こういう力を測りたいが， 把握できるシステムを開発することを目的とする。そして，開発した CBT を用いたテストを行い，テスト実際それが可能なテストとなっているか』というテスに参加した者から取得したログの解析を行うことで，トで測りたい力と実際に働く問題解決過程との対応を現代文の多肢選択式問題の解決プロセスが判断可能自覚的に吟味すること」であり，このための資料を提供することが重要であると述べている。このように， かどうか検証することを目的とする。
思考発話は解答者の思考過程を明らかにし，この知2 開発した CBT の概要
見を提供するために有効な手法と考えられるが，１人
CBT の開発に際し，本研究では先行研究（益川ほで問題を問いた後に考えたことを発話させる手法でか，2018; 2019a; 2019b）を基に，2015 年のセンターあるために，「独り言」を求める不自然さが問題点と試験国語で出題された第２問の小説『石を愛でる人して指摘されている（益川・白水，2019b）。
』を題材に開発を行った。本研究は解答解答者の思考過程を明らかにする方法には，思考 （小池昌代）者の長文読解の解決プロセスを追究することを目的と発話法以外にも存在する。文部科学省（2017）は「高していたため，設問の問１（語句の意味）を対象外と大接続改革の実施方針等の策定について（平成 29
し，問２～６の全５問の設問で構成した。
年 7 月 13 日）」において，将来の大学入学共通テス
また，解答者がどの箇所を読んでいるかを調べる
トにコンピュータベースの試 験（CBT: Computer－ 52 －CBT による多肢選択式問題の解決プロセスの解明

手法は，アイカメラを用いた眼球運動の測定や（柳澤ほか，2010），視線追跡技術を活用した分析（中園・濱川，2018）が行われてきた。しかし，大学入試でこれらのシステムを導入することは困難であるため，
CBT で解答者の解決プロセスを測る仕組みを考案した。以下，開発した CBT について説明する。

図１ CBT の画面（問題文のリードと本文）

図２ CBT の画面（設問文と選択肢）
表１ ログの一覧の例

2.1 設問画面
図１は，CBT の画面（問題文のリードと本文）を示したものである。CBT の画面は，解答者がタブレッ
トで操作することを想定して設計した。はじめに，解答者が画面右上の ID 一覧のタブから自分の ID を選択すると，問題が表示できるように設定した。ID 一
覧のタブは，画面のスクロールと合わせて画面から見えなくなるように設計し，解答者が問題を解く際に目障りとならないように配慮した。本文は，薄く表示されているが，画面をタップすると，当該の段落が濃く表示される。本文は，現在濃く表示されている所以外の箇所をタップすると，その箇所が濃く表示され，他の箇所は薄く表示される。本文は縦書きで表示され，左から右にスクロールすることで，本文が確認できるようになっている。
図２は，CBT の画面（設問文と選択肢）を示したものである。本文をスクロールすると，設問文と多肢選択問題が表示される。はじめは，本文，設問文，多肢選択問題は薄く表示されているが，タップをすると濃く表示される。これにより，解答者はタップした箇所を読んでいると判断し，タップした箇所をログとして取得するシステムとした。
本文は，タップするたびに，濃く表示されるが，過去にタップした箇所は再び薄くなるように設定した。
しかし，解答者は設問文と選択肢を対比しながら問題解決を行うプロセスが予想されるため，設問文と選択肢は，復数箇所をタップしても濃く表示されたままになるように設定にした。そして，濃く表示された箇所を再度タップしたり，本文をタップしたりすることで，設問文と選択肢が薄い表示になるようにした。
ログは解答者が特定の領域をタップして濃く表示した時点を取得し，サーバに記録されるように構築した。
2.2 ログの確認画面
表１は，取得したログの一覧の例を示したものである。ログの確認は管理者画面で，ID 順，時刻順でソートすることが可能である。取得するログは，ID，通し番号，タップした段落，時刻，解答番号（解答者が選んだ選択肢）とした。

－ 53 －

大学入試研究ジャーナル第 30 号

3 方法
3.1 実験デザイン
本研究の目的は，CBT に着目し，コンピュータを用いて，現代文の多肢選択式問題の解決プロセスが把握できるシステムを開発することであった。したがって，システム開発の前提条件として，開発した CBT と，はじめから全ての文章が濃く表示されている CBT を比較し，正答率に差異が生じないことが重要である。
そこで，第一に，本研究で開発した CBT で問題を解く実験群と，はじめから全ての文章が濃く表示されている CBT（図３）で問題を解く統制群に分けて，正答率の差異を分析した。
第二に，実験群と統制群ともに，導入として約 10分間，本研究の趣旨説明と，CBT の操作練習を行った。
CBT の操作練習では，本実験（『石を愛でる人（小池昌代）』）とは異なる練習用の問題文と設問文，多肢選択式問題で構成した各々の CBT のシステムを体験させた。
第三に，両群とも各々の CBT を用いて，20 分間の制限時間で本実験を実施した（図４）。ログから１名のみ問５が無回答であったが，その他の学生はすべての問に回答していたため，概ね，制限時間内に回答できたと判断した。なお，解答の際，メモ用紙を準備し，必要に応じて書き込みを許可したが，解答者の多くは，メモ用紙を必要としなかった。
3.2 対象対象は，本研究の趣旨に同意した関東圏の大学生60 名（１年生９名，２年生 16 名，３年生 14 名，４年生 21 名）で，性別と文系理系でできる限り偏りが生じないように，文系 44 名（男性 22 名，女性 22 名），理系 16 名（男性８名，女性８名）とした。
実験群と統制群の構成についてもまた，性別と文系理系で偏りが生じないように，実験群 30 名（文系：男性 11 名，女性 11 名，理系：男性４名，女性４名），統制群 30 名（文系：男性 11 名，女性 11 名，理系：男性４名，女性４名）の構成とした。

図３ CBT の画面（統制群）

3.3 期日2018 年 10 月 21 日（日）に，都内の大学施設内で実験を行った。

図４ CBT による解決プロセスの様子（実験群）

図５ 実験群と統制群の正答率の結果

3.4 分析
3.4.1 正答率の比較実験群と統制群の正答率の差異を分析するために，両群の平均値を t 検定（対応なし）で比較分析した。
3.4.2 解決プロセスの特徴分析
実験群の CBT で取得されたログから解答者の解決プロセスの特徴を分析するために，どの箇所をどのような手順でタップしたのかを 30 名のログを可視化した。紙ベースの読解問題では，解答者の解決プ
ロセスの特徴として，１）設問から問題文部分を読む，２）問題文部分から設問を読む，３）問題文全体から設問を読むの３つが挙げられている（益川ほか，2018）。本研究では，実験群の解決プロセスの特徴について，上記３つに着目した。

－ 54 －

CBT による多肢選択式問題の解決プロセスの解明

図６ 解決プロセスの可視化の例（本文傍線部まで→設問文→解答→本文，n = 16）
3.4.3 解決プロセスの特徴別に見た分析
3.4.2 の結果を受けて，解決プロセスの特徴ごとに，１）タップ回数，２）正答率にどのような差異が生じるかを明らかにするために，分散分析で比較分析した。
4 結果
4.1 正答率の比較
図５は，実験群と統制群の正答率の結果を示したものである。実験群の平均値は 58.0（SD = 26.0），統制群の平均値は 60.0（SD = 25.0）であった。t 検定（対応なし）を行った結果，有意差は認められなかった（t (58) = 0.30, n.s.）。

以上の結果から，本研究で開発したタップしたところのみ濃く表示される CBT と，はじめから全ての文章が濃く表示されている CBT において，正答率に差があるとは言えないことが分かった。したがって，本研究で開発した CBT を活用して問題解決した実験群においても，紙ベースのような解決プロセスが行われたと判断し，開発した CBT で取得したログを可視化し，解決プロセスの特徴分析を行うことを試みた。
4.2 解決プロセスの特徴分析取得したログより，解決プロセスの可視化を試みた。
可視化に際し，縦軸をタップした回数（N 回目），横軸を問題のリード，本文（１～ 42 段落），設問文，選－ 55 －

大学入試研究ジャーナル第 30 号

図７ 解決プロセスの可視化の例（本文→設問文→解答，n = 11）
択肢の順に定義した。これらの軸を基に，N 回目にタップした箇所を黒いノードで描画した。黒いノードの濃淡は，実験参加者がタップした割合の高低に応じて色を変化させた。
図６，
７は，解決プロセスの可視化の例を示したものである。図６は，はじめに問題文のリードを確認した後，本文を順に読んでいった解決プロセスが理解できる。しかしながら，最初の傍線部の前後に留まった後，設問文と選択肢を確認している解決プロセスが認められた。その後，最初の傍線部付近から本文を読み続け，次の傍線部の前後に留まった後，次の設問文と選択肢を確認している解決プロセスが理解できた。このように，本文に記載されている傍線部までを読んでから設問を読み解答する解決プロセスを行った者は 30 名中 16 名（53.3%）であった。

一方，
図７は，はじめに問題文のリードを確認した後，本文を順に最後まで読み，すべて読み終わった後に設問文と選択肢を確認しながら解答している解決プロセスであることが理解できた。このように，本文全体を読んでから設問を読み解答する解決プロセスを行った者は 30 名中 11 名（36.7%）であった。また，その他の解決プロセスとして，テスト開始時に設問文を確認してから本文を読み解答する解決プロセスなどが 30 名中 3 名（10.0%）に認められた。
図６，
７の解決プロセスの可視化について，本文と設問文を行ったり来たりするプロセスが随所に確認できた。これについて，選択肢式の問題の場合，解答者の多くは文章・文節の一部分の解釈をもとに解決していく「部分解釈型」と，高い得点を取るために，テストやテストを受ける状況の特性や形式を利用する－ 56 －

CBT による多肢選択式問題の解決プロセスの解明

図８ 解決プロセス別に見たタップ回数の結果

図９ 解決プロセス別に見た正答率の結果能力であるテストワイズネス（Millman, et al, 1965）を働かせながら解決していく「テストワイズネス型」
が 存 在 す ることと 合 致し て いる（ 益 川・白 水，2019b）。このことから，本研究で開発した CBT のログを用いて解決プロセスを可視化することで，各々の解決プロセスの特徴が解明できることが分かった。

5 考察
本研究では，現代文の多肢選択式問題の解決プロセスが理解できるシステムを開発することを目的とした．そして，開発した CBT を用いたテストを行い，テストに参加した者から取得したログの解析を行うことで，現代文の多肢選択式問題の解決プロセスが判断可能かどうか検証した。開発した CBT で得られたログ分析の結果，図６，７のような解決プロセスを可視化することで，１）本文に記載されている傍線部までを読んでから設問を読み解答する解決プロセス，
２）はじめに問題文のリードを確認した後，本文を順に最後まで読み，すべて読み終わった後に設問文と選択肢を確認しながら解答している解決プロセス，３）テスト開始時に設問文を確認してから本文を読み解答する解決プロセスの特徴が明らかになった。これらの結果から，本研究で開発した CBT を用いることで，大規模なテストにおいても現代文の多肢選択式問題の解決プロセスが判断可能になり，出題意図と受験者の問題解決プロセスが吟味できる資料が思考発話法よりも短時間で得られることが期待できる。
紙ベースのテストの先行研究では，18 名中，設問から問題文部分を読んだ者が 13 名，問題文部分から設問を読んだものが５名，問題文全体から設問を読んだ者が０名であった（益川ほか，2018）。一方，本研究では，問題文全体から設問を読んだ者が 30 名
中 11 名存在した。設問部分に比較的アクセスしやすかった紙ベースのテストに比べて，今回の CBT は冒頭からクリックして読んでいく行動を誘発し易かったのかもしれない。今後，詳細な分析が求められる。
本研究で開発した CBT は，文章の一部を画像に変えたり，動画のリンクを埋め込んだりすることが可能である。本研究では大学入試センター試験問題の国語既出問題を対象としたが，今後，この問題以外4.3 解決プロセスの特徴別に見た分析
4.2 の解決プロセスの特徴分析の結果から，実験群の解決プロセスは３つの特徴に分類された。
そこで，これらの分類によって，１）タップ回数，２）正答率に差異が認められるか，分散分析で比較分析を行った。
4.3.1 タップ回数の比較
図８は，解決プロセス別に見たタップ回数の結果を示したものである。分散分析の結果，３つの分類に有意差は認められなかった（F (2, 27) = 0.91, n.s.）。
したがって，統計的にタップ回数は解決プロセス別に差異があるとは言えない。
4.3.2 正答率の比較
図９は，解決プロセス別に見た正答率の結果を示したものである。本文に記載されている傍線部までを読んでから設問を読み解答する解決プロセスの平均値は 65.0%，本文全体を読んでから設問を読み解答する解決プロセスの平均値は 54.5%，その他の解決プロセスの平均値は 33.3% であった。これらの値に対して分散分析を行った結果，有意差は認められなかった（F (2, 27) = 2.11, n.s.）。したがって，正答率は解決プロセス別に差異があるとは言えない。

－ 57 －

大学入試研究ジャーナル第 30 号の CBT を開発し，解答者がどのような解決プロセスを辿るかの知見を広く提供していきたい。て -」『日本テスト学会誌』, 14(1), 51−70.
益川弘如・白水始 (2019a).「東京大学入学試験の国語記述式
問題が引き出す思考過程−思考発話法を用いた大学入試セ

6 まとめと今後の課題
本研究では，大学入試センター試験問題の国語既出問題を対象に，解答者が読んだり解答したりしている箇所をタップすることで，リアルタイムにログの取得をする CBT を開発した。そして，縦軸をタップした回数，横軸を問題のリード，本文，設問文，選択肢の順に定義し，ノードを描画する解決プロセスの可視化を行った。その結果，次のことが明らかになった。
・本研究で開発したタップしたところのみ濃く表示される CBT と，はじめから全ての文章が濃く表示されている CBT において，正答率に差がなかったた
め，前者の CBT で解決プロセスが測定できた。
・開発した CBT による解決プロセスの可視化により，先行研究（益川ほか，2018）で課題となっていた問題文と設問との間の行動や解決方略を自動的に記録できる CBT の開発ができた。
・本文に記載されている傍線部までを読んでから設問を読み解答する解決プロセスは，他よりもタップ回数を少なくし，かつ，高い正答率を取得するというテストワイズネスが働いている可能性がある。
今後，小問間の関係付けプロセスの有無について分析することが課題である。加えて，本文と設問文が同時に閲覧できたり，直接書き込みができたりするシステム，及び多様な問題形式でログを取得可能にする CBT の開発が求められる。

ンター試験の国語多肢選択式問題との比較実験」『大学入試研究ジャーナル』, 29, 167−173.
益川弘如・白水始 (2019b).「多肢選択式問題と記述式問題の解決プロセスの比較―大学入試センター試験問題の国語既出問題を活用した協調問題解決実験―」『2019 年度全国大学入学者選抜研究連絡協議会予稿集Ⅰ』，133−138.
Millman, J., Bishop, C.H., and Ebel, R. (1965). “An analysisof test-wiseness” . Educational and PsychologicalMeasurement. 25, 707−726.
文部科学省 . 高大接続改革の実施方針等の策定について（平成 29 年 7 月 13 日）<http://www.mext.go.jp/b_menu/houdou/
29/ 07/1388131.htm>（2019 年 3 月 20 日）
中園歩・濱川礼 (2018).「LookUp: 視線移動情報の特徴と機械学習を用いた読書支援システム」，『情報処理学会 インタラクション 2018』，1060−1065
安野史子・西村圭一・根上生也・祖慶良謙・高橋広明・浪川幸彦・伊藤仁一・三宅正武 (2018).「動的オブジェクトを有する CBT 数 学問題の開発 」，『日本 数 学 教 育 学 会 誌 』，
100(5)，2−14.
山下卓弥 (2017). Computer-Based-Testing（CBT）「問題の試作」，『化学と教育』，65(7), 334−337．
柳澤絵美・大木理恵・鈴木美加 (2010).「アイカメラを使って謝辞
本研究は科研費補助金基盤研究（S）17H06107，及び教育テスト研究センターの支援を得た。CBT の開発には駿河台大学の竹内俊彦氏の協力を得た。ここに感謝申し上げる。

参考文献
大学入試センター (2018). 教科「情報」における CBT を活用した試験の開発に向けた問題素案の募集について <https://www.dnc.ac.jp/news/20180717-01.html>（2019 年 3 月 20日）
河﨑美保・白水始・益川弘如 (2019) .「思考発話法を用いた穴埋め式問題の解決プロセスの解明 - 大学入試センター試
験問題の数学既出問題を活用して -」『日本テスト学会誌』,
15(1), 149−167.
益川弘如・白水始・根本紘志・一柳智紀・北澤武・河﨑美保(2018).「思考発話法を用いた多肢選択式問題の解決プロセスの解明 - 大学入試センター試験の国語既出問題を活用し－ 58 －

観察した日本語学習者の読みの特徴―レベルの違いから見えてくるもの―」，『東京外国語大学留学生日本語教育セン
ター論集』，36，1−12.