広島工業大学紀要教育編
第 16 巻（2017）27-35

論文

新入生全員を対象としたオンラインテストの実際
廣瀬英雄＊（平成28年10月24日受付）

A Report to the Online Testing Systems Applied to All Freshman Students
Hideo HIROSE（Received Oct. 24，2016）

Abstract
To take care of students who were taught insufﬁciently in high schools and junior high schools,
we have recently established the follow-up program (FP) aimed at helping students who need basic
learning and aimed at assisting teachers who have to engage in teaching a variety of educational
students. The follow-up systems are recognized as a part of the follow-up program, and consist of
the learning check testing, follow-up program testing, and collaborative work testing. These testing
systems use a large number of structured problem items installed in the database (i.e., item bank). It
is considered to be difﬁcult to design mathematics lectures for undergraduate classes if a variety ofstudents exist in the same class. In this paper we ﬁrst introduce the newly developed follow-up program and its related testing systems such as the learning check testing (LCT), follow-up program
testing (FPT), and collaborative work testing (CWT). Four months have passed since the FP system
was ﬁrst introduced. We then show our experience of the use of the FP system and related things.
We have found that 1) students showed us positive attitudes toward the newly introduced testing
system, 2) although many difﬁculties occurred at the beginning of the system launching, the systems
are working well in overall, 3) we have faced to the difﬁculty of how we manage the FP classes,
which reminds us the defect of initial FP design, 4) we have learned many valuable things about education by participating this opportunity.
Key Words: Online testing, Follow-up program, Learning check testing, collaborative work testing,

Follow-up program testing, WiFi access, item response theory.

数学を基礎としていると考えて組み立てられていることが１．はじめに多いため，数 IA の入学試験しか受けてこなかった学生な
どには，卒業時の学士力を備えるには入学後の特別な配慮

多様な学生を受け入れられるように 2016 年度からは新しいカリキュラムのもとでフォローアッププログラム（FP）が必要になってくる。

が開始された。毎授業での授業の理解度を確認しながら，その FP が開始され約４ヶ月が終わった今は半期で行っ授業の理解度が不十分と思われる学生には特別なケアを行た内容を振り返る時期でもある。今後，このような取り組うというプログラムで，大学全入時代の今は時宜適切な方みが違った形ででも行われることになれば少しでも参考に策と思われる。大学で教わる数学の基礎教育の内容は高校なるようにと「FP 開始から半年の取り組みの実際」とい＊＊＊広島工業大学環境学部建築デザイン学科，データサイエンスリサーチセンター― 27 ―

廣瀬英雄

う意味で記録することとした。
数学の FP は，授業時間でのオンラインテスト（LCT,learning check testing），フォローアップクラス（FPC）での CWT（collaborative work testing），FPT（follow-upprogram testing）から構成されている。ここではそれらのテストシステムの概要とテスト実施時の経過について述べる。

２．フォローアッププログラムの基本設計
図１は広島工業大学の入学定員である。全員で1080人。実際に 2016 年度に入学を許可された学生は 1160 人であった。
Hiroshima Institute of Technology
Number of enrollments is 1080 in 12 departments
Faculty

Department

図２

Enrollment

Electronics and Computer
Engineering

プレースメントスコアの学科別比較Electrical Systems
Engineering
Mechanical SystemsEngineering
Engineering

FP を設計するにあたっては，昨年，PT と期末試験とのIntelligent MechanicalEngineering
Civil and EnvironmentalEngineering

比較を行っているので，入学直後の習熟度（これは PT でArchitectural Engineering測る）と，入学して大学の授業を受けたあとでの習熟度（期Total in department
Computer Science
Information

末試験などのスコアで測る）を比較することで，いつの時Information Systems andManagement

点での習熟度を参考にすれば FP のクラス編制が可能かを

Total in department
Architectural Design

考えてみた。

Environment Global Environment Studies
Total in department

図３は，2015 年度の PT スコアと期末試験成績を比較しClinical Engineering
Life Science

Food Sciences andBiotechnologyた図である。解析と線形代数に分けて比較している。いずTotal in department

図１

れの場合も入学前の習熟度と入学後半年経った後での成績

広島工業大学の入学定員の相関は低いことが分かる。解析では，取り扱っている内入学してきた多様な学生の特徴を調べる方法の一つして容が高校数学と似通った部分が多いため一定程度の相関はプレースメントテスト（PT）を行っている。図２は 13 学

見られるが，線形代数では入学前後の内容が大きくことな科の中から９学科を選んで PT のスコアのヒストグラムをるため相関はほとんど見られない。つまり，このことは示したものである。立て軸は人数を揃えている。赤い縁でPT のスコアによって習熟度別のクラスを編成するには注マークした部分が入学後もケアが必要と思われる学生と考意が必要であることを促している。

えられる。背景に薄く水色で示しているのはスコアに分布の概要である。uniform と書かれている図を見ると，クラス全体の習熟度が一様分布に近いことを示している。このことは，全員を対象として習熟度を向上させるには教育法に工夫をしないとクラスでの教育が困難であることを示している。
そこで，実際にこの結果を用いて習熟度別のクラスを開講する場合がある。ただし，数学の場合，習熟度の未熟な学生だけを集めたクラスではクラスの雰囲気が悪くなり，全体が下降気味になることを過去に経験しているので下位クラスは作っていない。上位クラスとその他の普通クラス

図３で分けている。普通クラスでは，習熟度の高い学生がそう2015 年度 PT スコアと期末試験成績の比較

でない学生を教えている姿があちこちで見られ微笑ましい

そこで，学生が FP クラスに入るには，単純に PT のスクラスの雰囲気を作っており，習熟度もクラスで全体的にコアから決めて固定化することをやめ，毎授業での授業理向上する雰囲気が出来上がっている。数学では PT は上位解度を見ながら動的に編成することを考えた。また，毎授クラスの学生を対象として高度な教育を行うことに重きが業の理解度の確認も新入生全員を対象とすることとした。

置かれている。

そのため，大規模な確認テストの設計が必要になった。
― 28 ―

新入生全員を対象としたオンラインテストの実際

1000 人を対象とした一斉テストを毎週実施してそのスコ

図５に FP システムをハード的に支えているシステム構

アから即座に FP クラス対象者を判断するにはどうしても成を示す。このシステムは学内のポートフォリオシステム

コンピュータを使ったテストが必要になる。そこで，オンと一体になっているので，LCT，CWT，FPT の評価結果は，ラインテストを実施することにした。これが広島工大の数学生当人のみならず，科目担当教員，学科の学生アドバイ

学グループが FP を設計した前提であり基本的な立ち位置

ザー，学科内で割り振られたチューター教員，学生支援セである。

ンターに迅速に連絡できるように連携がはかられている。

図４に広島工大で取り組んでいる数学グループの FP の全体図を示す。図には，大きく LCT，CWT，FPT によって 運 用 さ れ て い る こ と が 示 さ れ て い る。 こ こ で LCT，CWT，FPT のそれぞれについて簡単に述べておく。
LCT：LCT は，当該授業の内容の理解度を確認するために授業後 10 分程度で行なう小テストである。全学生同一問題にオンラインで解答する。評価は項目反応理論（IRT，item response theory）によって行なう。成績が一定水準に達しない場合には授業を補う意味で FPC 出席の対象となる。LCT 実施後直ちに FPC メンバーが確定する。

CWT：CWT は，FPC で行なうオンライン演習のことである。アダプティブオンライン IRT システムを用いて学生が自ら演習を行う。この際，１テーブルあたり 10 人
図５程度の FP 対象学生が集まっているところに１人のピアサフォローアッププログラムのシステム構成ポーターが配置されている。FPC の担当教員は全体としてはこのピアサポーターを監督しながら授業を進行させe-learning は作ってしまったらその後使われなくなるとる。つまり，上級生が１年生を指導するような形態である。

いう評判をよく聞く。その一因はシステムの柔軟性にある

このため，ピアサポーター自身の成長も促すように配慮さと考える。問題や解答の修正，追加登録，学生のレベルにれたシステムになっている。

あった問題選定をきめ細かく行なうことで，システムが活FPT：FPT は，FPC の成果を確認するテストであり，きてくる。受講生にとっての魅力とは，このシステムにアアダプティブオンライン IRT システムを用いている。確クセスすることによって，聞きたい，知りたいことが即座認の範囲は，それまでの授業のすべてに渡っている。FPTに返ってくることであろう。受講生に飽きられないように失敗した学生は翌週も FPC を受講することになる。に，２つの工夫を行なった。一つは，誰でも自由に時間と場所の制限無く問題登録を行なえる機能を備えさせたことである。図６にその様子を示す。テンプレートに従って問題と解答を作成するとシステムのデータベースの中に簡単な手続きで取り込まれる。もう一つは，図７に示すように，問題の難易度を受講者のレベルにあわせて柔軟に対応させる dually adaptive IRT システムの採用である。図では，受験者の増加と新規問題の追加による user-item マトリクスが自動的に成長していき，対応する問題困難度も柔軟に変化していく様子を示している。

図４

フォローアッププログラムのテストシステム― 29 ―廣瀬英雄

FP システムの上位に立つという設計仕様から未完成な履
修 DB が進行中の FP の DB を上書きしてしまうということが起こった。これは相当深刻で，早朝，授業の準備のた
め LCT 確認を行って大丈夫と確認したあとで，授業時間になって学生のデータがすべて消されてしまって試験が実施できない状況が複数回起こった。このため，PF と FPは一旦切り離して DB の管理を行うこととなった。
それには大きな問題がある。
一つはアクセス環境である。
今の大学生はパソコンを知らずにスマホだけ知っている世代である。両者には大きな差がある。フルのキーボードと図６タッチキーである。パソコンの扱いに慣れさせる必要があ問題登録機能る。もちろん，スマホでのアクセスも可能である。もう一
つは，WiFi 環境である。多くの大学では WiFi 環境が十分に整っている教室は限られている。広島工大では 2016年度年度から一斉授業でも全員の WiFi アクセスを可能にした環境を作った。
この二つを同時に始めたリスクは大きかった。まず，パソコンに慣れさせるため，ポートフォリオの URL をパソコンに覚え込ませておいて何も分からないでもポートフォリオからあちこちにアクセスできるように誘導しておいたが，そのため学生が FP システムにたどり着くのにかえっ

図７てとまどった。また，WiFi 環境の設計には落とし穴があっ
dually adaptive online system

た。学生は自分のスマホとパソコンとを同時に使う傾向にある。しかし，通常，大学は授業時間内にはスマホアクセ

３．フォローアッププログラムの稼働直後スはないものとして設計している。実際には WiFi を受け付ける要領は実は半分しかなかったかもしれない。

FP の構想が議論され始めて実際に基本的な設計を始めたのは運用予定の半年前にも満たなかった。３ヶ月前とこのため，４月の LCT では混乱が起こった。LCT 実施いってもよいくらいであった。設計後のシステムの運用テに教員も学生も慣れていないため思わぬ時間がかかったストを行う時間もとれない状況で４月の新学期がスタート（これは５月には慣れたためすぐに解消された）。何らかのした。まず，１日目が無事終わるかどうか極めて不安な状理由で LCT を受験できない学生への対応に追われること

況で開始された。になる。FP システムを運用している教員に一気にその作運用のはじめから大きな問題が分かっていた。それは履業が入ることになった。そこで，授業中にも，何らかの不修データである。新入生の履修申告が正式に確定されるの具合が発生した学生には FPC への参加を免除するというは４月の終わりである。しかし，４月から FP はスターとフラグを教員がその場で DB に対して立てられるように仕しなければならない。広島工大では教育効果を考えて，少様を追加した。これで自動化が図れた。

人数教育を基本としているため，100 人を超えるような学

４．LCT の 結 果 か ら FPC 参 加 者 を 決 め る 方 法 と科では複数の教員が手分けして教育することになってい

FPC から出る方法

る。このためのクラス編制作業を第１回目の授業開始時には終わっていなければならない。科目と教員と教室と学生

ここでは，LCT の結果から得られた情報によってどのとの詳細な紐つけの情報が必要になってくる。正式の履修ように FPC に参加する学生を選ぶか，また FPC 参加によっデータがない状態で FP をスタートさせるため，ここではて十分に習熟度が一定のレベルに達したかということにつ仮のテーブルを作成しておき，後で修正するという方法をいて述べる。
まず，LCT の試験範囲である。試験範囲は，直前に習っとった。
しかし，図５に見られるように，single sign on の為にた内容をすぐに試験するのでは復習する時間がないため，設計したポートフォリオ（PF）からのログインと，PF が復習の時間をとるために１週前の内容とした。ここは直後― 30 ―

新入生全員を対象としたオンラインテストの実際がよいのではないかという議論もかわされたが当面は 1 週

教員は主にピアサポーターの監督を行うことになるが，サ遅れということでスタートした。しかし，後で分かるが，ポーターの指導で不十分なところが出てきた場合にはそれあまり遅れてしまうと学生の勉学意欲をかえって損なうこを補佐する。とにもつながるので注意が必要である。
次に評価法である。図８に，学生の LCT の回答結果（正解が１，不正解が０）の一例を示す。従来よく使われている古典的な評価法のように正解数で評価するよりも項目反応理論（IRT, item response theory）を用いた評価法の方が問題の困難度も同時に推定して評価内容に盛り込めるため一般に推定精度が高い。そこで，ここでも IRT を用いることにする。IRT では一人一人の評価を行うのではなく，受験者全員がそろった時点ですべての回答データを使って計算する必要があるので，LCT は全クラスが終了した時点で評価結果（ability）を出すことになる。しかし，半分くらいの試験結果が出揃った時点でおおよその評価基準を算出しておきその後はその規準に従って計算するという方式をとっている。

図８

図９

LCT の結果を受けて FPC に参加するプロセス

図 10

FPT の試験範囲（当該クラス以前の内容となる）

LCT における評価法（IRT を用いる）

図９は，１週間のカリキュラムの中で，FPC の実施日と LCT の実施日を併記して示したものである。LCT であまりよくない成績が出たら，その次の週に実施される

更に言えば，図 11 に示す内容となる。FPT では試験範FPC に参加する。その際，進度の違う２つのクラスでの囲は過去に LCT を受験した記録によって自動的に算出さLCT から FPT へのクラスメンバーの選び方を示している。

れることになる。

k 週目で，student A は i 週目の授業を受け，student B は j週目の LCT を受けているので，FPC では違う内容の授業を受けることになる。一つのクラス内でどのようにこれを実現するかということになるが，これを解決するのがCWT（collaborative work testing） で あ る。 図 10 に はFPT の試験範囲が示されている。これは同時に CWT の範囲でもある。CWT では，受験者が自分で強化したいと思った単元や section を選ぶことができ，その中での演習問題が出されることになる。CWT では，多くて 10 名の学生に１人の割合でピアサポーターがついて指導にあたる

図 11

ことになる。こうすることで，個別の指導が可能となる。
― 31 ―FPT での LCT 記録による試験範囲自動算出

廣瀬英雄

どの受験に不具合が発生したらその場で教員に告げること
で FPC への参加が免除されることになっている。これは，試験実施後に全受験生の名簿が出ているのでその場でフラグを立てることができる。

図 12

FPT での合否判定の識別

図 13 には，FPC に入った学生が FPC に参加する必要性がなくなる過程を示している。FPT に失敗すると何度でも FPC に通わなければならず，試験範囲は広がる一方なので FPC から出るには滞在期間が長い程努力を必要とする。

図 14

図 13 FPC から FPC に参加する必要性がなくなる過程

LCT 受験状況図 15-1

LCT 受験のプロセス（1）

図 15-2

LCT 受験のプロセス（2）５．LCT の試験の実際
ここでは，LCT の試験の実際について説明する。図 14に LCT 受験風景を示す。パソコンに向かって全員が一斉に受験している様子が分かる。試験問題は 1 問 1 問出されるが，隣の席の人とは問題が異なるように示されるため単純なカンニングはできないようにしている。
図 15 では，試験の一連のプロセスが示されている。教員は，試験のクラス，科目，単元を指定した後，スタートのボタンを押す。LCT へのアクセスが許可され学生が受験できる状態になる。学生は回答を開始し，最後まで回答が終わったら終了となる。教員は，実施された試験結果がちゃんと DB に送付されたかどうかを確認することができる（未実施時は白，受験体制で赤色，終了後黄色に変化）。
もし，特定の学生が WiFi 接続不良，パソコン電源脱落な― 32 ―

新入生全員を対象としたオンラインテストの実際解いた問題から ability を算出し，その結果を用いて最適な問題のレベルを問題 DB からランダムに選んで出題してい る。 少 な い 問 題 数 で も ability の 推 定 が 可 能 な の はBayes 法を使っているからである。
CWT には２つのモードがあり，それは学習モードと受験モードである。学習モードでは問題を解く毎に解説を閲覧でき，受験モードでは解説は一番最後に閲覧できるようになっている。受験後，採点結果がその場でグラフによって示され，これは DB に中に保存され，受験者はいつでも過去の履歴を振り返ることができる。
図 15-3

LCT 受験のプロセス（3）６．CWT による演習の実際
ここでは，CWT による演習の実際について説明する。
図 16 は，学生がパソコンに向かって，彼の特性を知っているコンピュータが自動的に彼向けの問題を出して解いている風景である。途中で解答の解説を見ることができる。
その解説が分からない場合には側にいるピアサポーターが支援してくれる。それでも納得がいかなければ教員が直接学生の側で教えるという仕組みである。FPC では，約 100人の学生を対象に考えているので，ピアサポーターを 20

図 17-1 CWT 受験のプロセス（1）人雇っている。解析と線形代数の２科目なので合計 40 人のサポーターということになる。学生から希望を募ったところかなり多くの学生が希望したため 40 人のサポーターが確保できた。

図 17-2 CWT 受験のプロセス（2）７．FPT の試験の実際
図 16

ここでは，FPT の試験の実際について説明する。図 18 は，

CWT による演習の実際

CWT の演習が終わった後で FPT を受験している様子をこの試験は LCT とは異なり，学生向けに異なった問題示す。問題は CWT と同様に adaptive online testing 形式が作られる adaptive system となっている。図 17 の最初となっている。試験問題の範囲は先に述べたとおりである。の図に，出題のアルゴリズムが書かれている。１問目は，図 19 は FPT 画面の様子を示している。

学生の最近の ability を記憶しておき，そのレベルからランダムに出題する。２問目は１問目の出来によって強制的に難易度を変更させた問題を出している。３問目からは，― 33 ―

廣瀬英雄

やすいメリットの大きなシステムへと発展していくことを願っている。
最後に，このような大規模なシステムを実施することの機会を与えていただいた広島工業大学に深謝する次第である。

文献1 ） Hideo Hirose, Meticulous Learning Follow-up

Systems for Undergraduate Students Using the Online
Item Response Theory, 5th International Conference
on Learning Technologies and Learning Environments
図 18（LTLE2016）, pp.427-₄32, July 10-14, 2016.

FPT 受験の様子

2 ）H. Hirose, M. Takatou, Y. Yamauchi, T. Taniguchi, T.

Honda, F. Kubo, M. Imaoka, T. Koyama, Questions
and Answers Database Construction for Adaptive
Online IRT Testing Systems: Analysis Course andLinear Algebra Course, 5th International Conference
on Learning Technologies and Learning Environments（LTLE2016）, pp.43₃-₄38, July 10-14, 2016.
3 ）Y. Tokusada, H. Hirose, Evaluation of Abilities byGrouping for Small IRT Testing Systems, 5 thInternational Conference on Learning Technologies
and Learning Environments（LTLE2016）, pp.44₅-₄49,
図 19

July 10-14, 2016.

FPT 受験時の画面と成績閲覧画面4 ）Hirose, Hideo; Aizawa, Yu, Automatically Growing

Dually Adaptive Online IRT Testing System, IEEE

８．まとめInternational Conference on Teaching, Assessment,

多様な学生を受け入れられるように 2016 年度からは新and Learning for Engineering 2014（ TALE 2014）,

しいカリキュラムのもとで開始されたフォローアッププロ

5C_5, pp.52₈-₅33, December ₈-10, 2014.

グラム（FP）の実際について述べた。FP が開始され約 4 ヶ5 ） Hirose, Hideo; Tokusada, Yoshiko; Noguchi,

月が終わった今，実に様々で多くの経験を行うことができ

Kazuhisa, Dually Adaptive Online IRT Testing System

た。数学の授業は他の専門分野で行われているようにスクwith Application to High-School Mathematics Testing

リーンを用いた授業の評判がよくない。従ってコンピューCase, IEEE International Conference on Teaching,タを使った試験についてもかなりの抵抗があるのではない

Assessment, and Learning for Engineering 2014

かと思われた。実際議論は多かった。数学教育にオンライ（ TALE 2014）, 6 B_ 1 , pp. 447-₄52 , December ₈-10 ,ンを導入できるかどうかさえ難しく感じていた。しかし，

2014.

最終的には数学教育を担当している教員全員が理解してオ6 ）Hideo Hirose and Yoshiko Tokusada, A Simulation

ンライン教材を作ることに努力してきた。ばらばらになり

Study to the Dually Adaptive Online IRT Testing

がちの数学教員がコンピュータを使ったオンライン教育をSystem, IEEE International Conference on Teaching,契機に一体となって同じ仕事に取り組むことができたといAssessment, and Learning for Engineering 2014

うことは実に画期的なことであったと思う。

（TALE 2014）, 8E_3, pp.97-102, 2014.

システム自体も 1000 人対象の一斉オンラインという大7 ）H. Hirose, T. Sakumura, Item Response Prediction for

きなスケールであり，評価法にも現代テスト理論の項目反Incomplete Response Matrix Using the EM-type Item

応理論（IRT）を採用したことは，大学の取り組みとしてResponse Theory with Application to Adaptive Online

もおそらく日本でも例を見ない新しい取り組みではないか

Ability Evaluation System, IEEE Internationalと思う。今後，この経験を活かして学生にとって更に使い

Conference on Teaching, Assessment, and Learning― 34 ―

新入生全員を対象としたオンラインテストの実際

for Engineering 2012（TALE 2012）, pp.₈-12, August9 ） H. Hirose and T. Sakumura, An Accurate Ability

20-23, 2012.

Evaluation Method for Every Student with Small8 ） T. Sakumura, T. Kuwahata and H. Hirose, An

Problem Items Using The Item Response Theory,

Adaptive Online Ability Evaluation System Using theProceedings of the International Conference on

Item Response Theory, Education& e-Learning

Computer and Advanced TEchnology in Education（EeL2011）, pp.51-₅4, November 7-₈, 2011.

（CATE 2010）, pp.152-158, August 2₃-25 2010.

― 35 ―