情報スキル教育におけるコンピュータ適応型テストの運用検討とナレローの有効性
神山 博*1, 瀬戸山 光宏*2
Email: kamiyama at b.nebuta.ac.jp, setomi at narero.com*1: 青森公立大学 経営経済学部, *2: 株式会社ナレロー◎Key Words 基礎情報教育，反転授業，コンピュータ適応型学習

1.

し、個別の事項や個人的な質問に対する回答には電子メ

はじめに近年の大学生は高校で「情報」を履修してきているが、25 年度以降の入試に「情報」を課さない大学では入学時の知識やスキルに大きな差のあることが予測され、初年次情報科目では「専門科目の修得に資する力の獲得」という本来の目的に加え、基礎スキル不足を補えるような内容・構成で設計する必要がある。
本学の 1 年次必修科目「情報リテラシーⅠ」は、経営経済学系の上級年次での学習に欠かせない内容を扱う科目として開設されており、問題解決型プロジェクト遂行を中心とする授業をおこなって成果を上げてきた。しかしコロナ渦の下での三密回避の必要から、2020年度以降は課題研究型の自学自習を軸とし、オンプレミス型のMS-Office 実習・成績管理システム「ナレロープレミアムシ(1)-(2)(3)

ステム 」と、記事型教材「日経パソコン Edu 」による課題研究を併用して授業展開することで、学生の知識と操作スキルの底上げを目指した。その結果、自学自習ベースの課題研究方式でも、知識やスキル向上に加えて、自己有能感や取り組み姿勢が大幅に向上することが明らかと(4)なっている 。
今年度は特にナレローに実装されているコンピュータ適応型テスト(CAT)の問題毎の制限時間や合計試験時間等の終了判定条件を検討し、運用で調整をした結果、授業時間での CAT 受験のしやすさが大きく改善した。本論
文ではこれによる波及効果としてナレローの CAT, CALの有効性を評価した結果を報告する。

2.

授業のための環境

先に述べたように授業ではクラウド型の記事データベース教材「日経パソコン Edu」と、オンプレミス型の実習教材「ナレロープレミアムシステム」で提供されているコンピ(4)ュータ適応型学習（CAL） とを組合わせた、課題研究型の反転授業を主軸として授業展開することとした。
授業運営のプラットフォームとして Google Classroom を用い、対面授業での説明に加えて Classroom 上でも各回の主題や要点の解説をおこない、課題の提示とレポート収集、小テストの実施・採点等をおこなった。また各授業回での出席確認や質疑応答、個別指示などの双方向性を担保する手段としては Google Forms により質問やコメントを受け付け、敢えて Classroom は用いなかった。質問に対する回答や追加の指示については、全員に共通する事項はGoogle Sheetsを介してQA集の形で受講生に公開(6)ールを併用した 。Google サービスのためのアカウントは、
G Suite for Education により約 350 人分の Google アカウン
トを一括作成した。
対面授業では課題の提示と、ポイントや留意点の説明をおこない、授業外では日経パソコン Edu 収録の記事やインターネット上の資料を参考にして学習を進めさせ、次回の対面授業では課題研究成果の試問や発表を中心に進めた。また自学部分ではナレローによるスキル学習も進めさせたが、ナレローにはプログラム学習の原則を備わっており、ゲーム感覚で学習を進められるようになっているが、これに加えてさらなる動機付けとして、4 度の CAT により実力が身についていることを実感させるようにした。ナレローの学習によってMS-Officeの操作スキルの能力値が20~25ポイント程度向上することが、これまでの研究で明らかとなって(1), (1)-(2)いるからである。
CALではCATにより測定された能力値に基づいて、出題される問題の難易度が調整される。このため、学習者は自分のスキルレベルに合った、最適な難易度の問題群に取り組むことができる。これにより学習者の負担は大幅に軽減されて難しすぎて挫けることが減り、学習意欲の持続することが大いに期待される。

3. 結果と考察
3.1 試験時間短縮による CAT 成績への影響
古典的な試験理論では受験者全員が同じ問題を決まった時間内に解くことで、公平性を担保している。一方 CATのような IRT に基づく試験は、能力値が収束することを目標にして、問題毎に難易度を調整しつつ推移するので、当然のことながら、問題の内容や問題数は、受験者毎に異なる。
つまり古典的な試験理論と異なり、試験時間や問題数を固定して公平性を担保する必要がなく、試験時間も受験者によって変わって構わない。しかし現実的には時間が限られるし、出題できる問題項目数にも限りがあるので、高精度で収束するまで試験を継続するわけにはいかない。
だから試験の打ち切り時間を設定する必要がある。
ナレローの CAT では、あらかじめ試験の終了判定条件が複数種類設定されている。詳細は大会発表にゆずるが、ここでは終了判定条件の１つである、科目あたりの解答時間の上限について検討することにする。CAT では他の終了判定を最適化することで、昨年から試験時間の上限を20 分に短縮することができた。それ以前は準備時間も含めると 90 分１コマの授業に収めることが難しかったが、昨年度からは、三科目連続して受験した場合でも、最大 60分で CAT 試験を終えることができるようになった。
実際に学生に受験させると、試験時間が短時間になった分、メニューやリボンを探し回って試行錯誤する頻度は減ったが、依然として練習が不充分なまま、試験で初めて見る問題や、うろ覚えの問題を解こうとして試行錯誤する姿が散見された。
表 1 試験時間を 20 分に制限した場合の成績と、概ね 12 分に制限した場合の成績。それぞれの最⼤値、平均値、標準偏差。初回と、学習が進んだ 3 週間後の⽐較。

図 1 試験時間上限20分の場合の成績分布（横軸）に対する、概ね 12 分に制限した場合の成績分布（縦軸）。⻘は初回、橙
は学習が進んだ３週後。

メニューをあちらこちら探し回って、ようやく目的のメニュー項目を見つけて正しい操作ができるのは、方法を発見する実力だと言えないこともないが、当該の操作が身についていないということでもある。
基礎情報科目としての本科目では、試行錯誤しなくとも素早く正しい操作ができるところまで習熟することを目標としたい。
そこで本研究ではCAT試験時間を、授業内の運用でさらに制限しつつ、学生に対しては試行錯誤しなければ解けない問題を試験ではスキップすることを指示し、試験開始後 12 分程度が経過した時点から以降の問題をすべてスキップさせることにした。当然のことながら、正解の操作をせずにスキップすれば、IRT の能力値は漸減していく。
スキップしないで済むように、十分学習して習熟しておくように、学生には周知しており、スキップした問題は、学習時に、解説文や解説ビデオを見ながらしっかり解法を身につけるように指導した。
表 1 に、試験時間を 20 分に制限した場合（T1）の成績と、概ね 12 分に制限した場合（T2,T3）の成績それぞれの、最大値、平均値、標準偏差を示す。初回を T2、学習が進んだ 3 週間後を T3 とラベリングした。
制限時間の短いT2は制限時間の長いT1と比してわずかに成績平均が下がってはいるものの、最大試験時間が20 分から 12 分へと大幅に短くなっているにもかかわらず、成績平均値は殆ど変わっていないと言うことができる。
一方、T3 は T1 と比較すると 4 ポイント程度、成績が向上していることから、学習が進むことにより、短時間の試験時間でも試行錯誤することなく素早く正解の操作ができ、成績も向上する傾向が示唆された。
図 1 は、T1 の成績分布（横軸）に対する、同一学生のT2（青）および T3（橙）の成績分布（縦軸）を示す。T1 は試験時間の上限が CAT の設定値のままの 20 分で、特に運用で制限することなく、試行錯誤を許している。
一方 T2 と T3 は、同一学生が概ね 12 分以内に試験を終えるよう制限した場合の成績分布（縦軸）である。試行錯誤を許したT1では84点と高得点を得る学生が、試験時間の短い T2 では 75 点まで下がったが、T3 では再び向上し、試行錯誤をすることなく 85 点近くの高得点を取っている。
T1 で 70 点以上の学生は、T1-T2 回帰直線の傾きがおおむね 1 に近い、つまりもともとあった能力値の伸びはあまり期待できないことが示唆される。一方 T1 で能力値 45～65 の範囲だった学生については、回帰直線の傾きが0.3～0.4 程度と小さくなっており、T1 で低値だった 学生の能力値の伸びが、高値だった学生のそれよりも大きい。
つまり苦手な学生ほど伸びが大きい傾向があることが示唆される。
なお本論文で報告したデータは、学期途中のものである。今後4 回目の CAT を予定しており、これまでの研究の経験から、今後さらなる成績向上が期待される。

3.2 試行錯誤の意義と実力の評価
Office ツールの活用スキルに何が求められるか。問題の解き方を自分で調べて正解に至るという力ももちろん必要であるが、特定の操作をするために長い時間がかかってしまうのでは、即戦力の実力とは言えない。
一般論として、実力を測定するためには試験が使われるが、筆記試験の場合は資料持ち込み禁止か、あるいは持ち込み可だとしても持ち込み範囲に制限があるのが通例である。
一方実習を伴う試験では、知識のみを問う試験と異なり、Word 等の画面に表示されるリボンのボタンやメニューを探し回って試行錯誤する事で正解を発見したり、機能検索機能を使ってやり方を調べたり、ネットにアクセスして機能を調べたり、隣の詳しい友人に尋ねたり等、種々の方略が考えられる。
これらの是非については、おそらく大方の意見では四番目が不正行為、三番目は非推奨、二番目はグレーゾーンと判断されることが予想される。

一方、一番目の「アプリ操作画面での試行錯誤」については、「自分で探せる実力」とみるか「活用力が定着していない」とみるかによって判断は分かれるところであるが、基礎情報科目としての本科目では、試行錯誤しなくとも正しい操作ができるところまで習熟することを目標としていることから、学習時には試行錯誤をせずにまず解説文や解説ビデオを見て覚えるよう指導している。
CAT では問題毎の制限時間が設定されており、解法を知らない問題でも試行錯誤することで偶然解法を見つけるといった学生の方略に、一定の歯止めをかけており、この点において授業の方針と合致している。（なお CAT での個々の問題の制限時間は、大多数の受験者が問題を解くためにかかった時間から得られる統計値を元に設定している。）
適度な試行錯誤は正しい操作を身に着けるチャンスとなりうるし、学習としても有効といえるが、度を越した試行錯誤や、あちらこちらとメニューやリボンを探し回る癖がついてしまうと、迷った思いや苦しい思いだけが残ってしまい、間違いの練習をしていることにしかならない。筆者が学生に対して、まずは正解の操作を解説ビデオや解説文で覚え、それを模倣することを推奨している理由はそこにある。ビデオを見て一発で正解の操作ができるようになれば、試行錯誤で遠回りすることなく、ストレートに自己有能感につながっていくと考えられる。

4.

まとめと今後の展望

ナレローに実装されているコンピュータ適応型テスト(CAT)の問題毎の制限時間や合計試験時間等の終了判定条件を検討し、運用で調整をした結果、授業時間でのCAT受験のしやすさが大きく改善した。大会ではこれによる波及効果としてナレローの CAT, CAL の有効性について報告する。

参考文献(1) ナレロー：“ナレローシリーズ”, 株式会社ナレロー(2022),
https://www.narero.com/personal/products/products.html .

(2) ナレロー："ナレロープレミアムシステム",株式会社ナレロー(2022), https://www.narero.com/school/school.html .

(3) 日経パソコン：“日経パソコン Edu:クラウド型デジタル教材サービス”, https://info.nikkeibp.co.jp/media/NPC/sales/edu/ ,日経 BP(2022).
(4) 神山 博, 瀬戸山 光宏："課題研究型基礎情報科目におけるコンピュータ適応型学習(CAL)の有効性", 2021CIECPCC 論文集, CIEC, pp. 213-214(2021).
(5) 高木 正則："MS-Office 操作スキルを測定するコンピュー
タ適応型テストの開発", 日本リメディアル教育学会合同フォーラム, 2017.
(6) 青森公立大学：“Syllabus2022 春学期 1 年次”,pp.7-9(2022).
(7) 神山 博："アクティブラーニング用オンプレミス教材の運用方法検討と学習効果分析", 2017CIEC PCC 論文集,CIEC, pp. 59-60(2017).
(8) 神山 博："反転型基礎情報科目における自宅実習教材による学習効果の検討", 2018CIEC PCC 論文集, CIEC, pp.
86-87(2018).
(9) 神山 博, 瀬戸山 光宏："反転型基礎情報科目におけるコンピュータ適応型テスト(CAT)活用の検討", 2019CIEC
PCC 論文集, CIEC, pp. 25-26(2019).
(10) 神山 博, 瀬戸山 光宏："反転型基礎情報科目におけるコンピュータ適応型学習(CAL)の導入効果", 2020CIEC
PCC 論文集, CIEC, pp. 59-60(2020).