広島工業大学紀要研究編
第 51 巻（2017）149-155

論文

ラーニングアナリティクス：
フォローアップ演習（CWT）の場合
廣瀬

英雄＊（平成28年10月24日受付）

Learning Analytics:
in the Case of Collaborative Work Testing, CWT
Hideo HIROSE（Received Oct. 24, 2016）

Abstract
Nowadays, students are to be enrolled in universities easier than before because of the shrinkage ofthe number of the graduate students from high schools. To accept a variety of students, universities
have prepared various pre-schools before entering universities. This is called“high school / university
connection＂, and various teaching methods are adopted. One interesting method recently developed isto use the adaptive online testing system that uses the item response theory. We have recently established the follow-up program system (FP system) aimed at helping students who need basic learningand aimed at assisting teachers who have to engage in teaching a variety of educational students. The
follow-up system consists of the learning check testing (LCT), follow-up program testing (FPT), andcollaborative work testing (CWT); FPT and CWT are related to adaptive online testing system. Since
the FP system was ﬁrst introduced, four months have passed, and we have accumulated the large scaleof testing results. In this paper, we show the results of learning analytics focused on the CWT results.
From the analytics, we have found that 1) we had about 50000 access cases to CWT problem items
from April to July, which means that students tried 10,000 series to testing, 2) mean of the number oftimes that a problem was tackled was 38, and mean of the number of times that a student tackled toproblems was 46, 3) many problem items provided were rather easily solved by students; mean valueof the ratios of correct answers to total answers was 0.7, 4) the dates of accessing to CWT is corresponding to the dates and the number of participants to follow-up classes; however, at the end of July,
the number of access times was increased because of the ﬁnal examination, 5) there are problem items
that were frequently tackled and items that were not tackled.
Key Words: Learning analytics, Online testing, Follow-up program system, Collaborative work test-ing, Item response theory, Coefﬁcient of correlation.

１

校での数学の知識を補うために，高大接続の一環として入はじめに学前教育を行うことはもはや普通になってきた。この入学

今日では，推薦入試合格者に対して不足になりがちな高＊＊＊

前教育には，大学や塾の授業に出席する方法，演習問題を広島工業大学環境学部建築デザイン学科，データサイエンスリサーチセンター― 149 ―

廣瀬英雄

自宅で行なってその結果を報告する方法などさまざまであれたシステムになっている。

る。例えば，九州工大ではアダプティブオンライン演習方式を採用し高大接続教育を実施している。

FPT：FPT は，FPC の成果を確認するテストであり，アダプティブオンライン IRT システムを用いている。確特徴的なのは，普通のオンライン演習と異なり，問題を解いていくうちに受験生の習熟度に合った問題が出題され認の範囲は，それまでの授業のすべてに渡っている。FPTに失敗した学生は翌週も FPC を受講することになる。

るようになっているので，受験生の能力を効率的に引き出せるような仕組みになっていることである。これには項目反応理論（IRT）が用いられている。自宅での演習はつらいものであるが，このオンライン演習は，アンケートの結果を見ると，受験生にとっても楽しみながら進められるようである。広島工大では，入学してきた多様な学生にも十分対応ができるように特別のケアができる仕組みを 2016年度から作っている。これをフォローアッププログラム（follow-up program, FP）と言う。広島工大では，九州工大でのアダプティブオンライン演習の経験を活かして，数学科目で行なっている FP の中での FP クラス（FPC）で取り組んでいる演習形式の個別指導法にも，このアダプティブオンラインテスティングを採用することとした。こ図１

こでは，学生とピアサポーターと教員とが一体となって学習できるテスティングについて紹介するとともに，テスティングの結果得られた分析結果を紹介する。

フォローアッププログラムのテストシステム

図２に FP システムをハード的に支えているシステム構成を示す。このシステムは学内のポートフォリオシステム

数学の FP は，授業時間でのオンラインテスト（LCT,と一体になっているので，LCT, CWT, FPT の評価結果は，learning check testing），フォローアップクラス（FPC）での学生当人のみならず，科目担当教員，学科の学生アドバイCWT（collaborative work testing），FPT（follow-up program

ザー，学科内で割り振られたチューター教員，学生支援セtesting）から構成されている。ここでは特に，CWT のラーンターに迅速に連絡できるように連携がはかられている。

ニングアナリティクスについて述べることとする。

２

数学のフォローアッププログラム

図１に広島工大で取り組んでいる数学グループの FP の全体図を示す。図には，大きく LCT，CWT，FPT によって 運 用 さ れ て い る こ と が 示 さ れ て い る。 こ こ で LCT,CWT, FPT のそれぞれについて簡単に述べておく。
LCT：LCT は，当該授業の内容の理解度を確認するために授業後 10 分程度で行なう小テストである。全学生同一問題にオンラインで解答する。評価は項目反応理論（IRT，item response theory）によって行なう。成績が一定水準に達しない場合には授業を補う意味で FPC 出席の対象となる。LCT 実施後直ちに FPC メンバーが確定する。

図２

CWT：CWT は，FPC で行なうオンライン演習のことである。アダプティブオンライン IRT システムを用いて学生が自ら演習を行う。この際，１テーブルあたり 10 人

３

フォローアッププログラムのシステム構成

CWT を使った演習について程度の FP 対象学生が集まっているところに１人のピアサ

CWT は FPC においてピアサポーターと教員の支援のポーターが配置されている。FPC の担当教員は全体としもとに学生がコンピュータを用いて自ら演習問題を解いててはこのピアサポーターを監督しながら授業を進行させいくものである。問題は興味の対象となるセクションを選る。つまり，上級生が１年生を指導するような形態である。

ぶことによってコンピュータから自動的に出題される。初

このため，ピアサポーター自身の成長も促すように配慮さ回には標準的な問題がまず出題され，それに正答すれば― 150 ―ラーニングアナリティクス： フォローアップ演習（CWT）の場合もっと難しい問題が出題され，正答できなければもっと易

4.1

アクセス回数しい問題が出題されるようにアダプティブな出題形式を

図３に，ある問題にはどの程度の回数アクセスされていとっている。このため，問題の困難度を計算しながら出題るのか（出題されているのか）を表したものを示す。横軸できる項目反応理論（IRT）を用いている。問題のセット

は問題の id を，縦軸はアクセス回数を表す。１度もアクを５問としたテスティングを１回のテストと考えている。

セスされていない問題もあるが，ここではすべての FP 関

数学の問題の場合，記憶だけでなく推論を伴うので５問で連の登録問題を対象にしており，それには LCT の問題もも 10 分程度はかかるのが普通である。従ってあまり多く含まれており，LCT 問題は CWT には出題されないのでの問題を一度には出さないようにしている。２回目に受験全くアクセスされない問題も出てくる。LCT の問題数は，する際には先の受験生の習熟度がコンピュータに記憶され１回あたり６問が６回と１回あたり 10 問が３回で，合計ているのでそのレベルから出題される。

66 問が除外の対象になる。問題 id は連番として左から若５問回答すると，正解できなかった問題の解説を見て復い順になっているが id そのものにはあまり意味はない。

習することができる。この際，解説を見ても理解できない図から，1000 回以上も受験対象になった問題もあるが，ような場合にピアサポーターが支援することになる。ピア

通常は 100 回程度が多いことを示している。

サポーターでも説明が難しいようなら教員がその場に出向同じ内容をヒストグラムにしたものが図４である。図には，最大，最小，中央値，平均値と第１，３四分位点の値いて解説を行う。
ピアサポーター１人には多くても５－ 10 人の学生がつも示した。20 － 30 回あたりのアクセス回数が多く見られけられるように配置している。議論が自由にできる大部屋る。中央値は 19，平均値は 38 である。第１四分位点の値の中でこれらのグループが一つ一つの島を作りながら動的が０なのは 25％以上の問題にはアクセスされていないこに着席位置を決められる。ピアサポーターは１科目 20 人とを示している。

程度を想定して準備した。従って，FPC では１科目で100-200 人を対象にすることが可能であるが，通常は 100人程度を想定している。

４

CWT の分析結果について

CWT では FPC のクラスメンバー（受験対象者）が毎週変わるので，LCT のように学生個別に対応する詳細なアナリティクスは難しい。そこで，２点に絞って分析を試みた。一つはアクセス回数である。ある問題にはどの程度の回数アクセスされているのか（出題されているのか）というものと，ある学生はどの程度問題を解こうとしているのかというものである。更に，これらを同時に見る，ある問題にある学生はどの程度挑戦しているのかというもので

図３問題に対して出題された回数の棒グラフ

図４問題に対して出題された回数回数の頻度ある。もう一つは正答率に対する分析である。最後に参考として，アクセスした時期（日付）について述べる。

FP で登録された問題数は，LCT，FPT，CWT 併せて1393 問になる。受験生の数は１年生のすべてを対象にして 1160 人とした。CWT では，id を与えることによって１年生に限らず受験が可能であるが，今回の分析ではそれを除外した。４月初めから７月末までの CWT へのアクセ
ス数は 53150 回であった。１年生以外のアクセス数も含めるとそれは 53758 回であった。１回の受験で５問出題されることから，５問１セットの受験の回数はおよそ 5300 回ということになる。学生数は 1160 人なので一人当たり平均して４－５回受験していることになる。実際には全く受験していない学生も 400 人以上いるので，一人当たり平均して７－８回にはなると思われる。
― 151 ―

廣瀬英雄

次に，ある学生はどの程度問題を解こうとしているのかにソーティングして置き換えてみたものを図８に示す。図ということについて述べる。図５は，横軸は学生の id を，８を見ると全体的なアクセスの分布の様子が把握できる。

縦軸はアクセス回数を表す。多くの学生がアクセスしていつまり，一部の問題と一部の学生に集中していることが分るように見えるが，何人かは一度もアクセスしていない。

かる。

大雑把に見ると 100 問程度挑戦しているようである。中には 800 問解こうとしている学生がいる。500 回以上の挑戦者も 10 人以上いる。
同じ内容について，ヒストグラムを見たものが図６である。40 問以下の挑戦者が多いように見える。中央値は 20，平均値は 46 である。これも，第１四分位点の値は０である。

図５

図７

学生が問題に取り組んだ回数の頻度マトリクスの一部

図８

学生が問題に取り組んだ回数の頻度マトリクスの一部

図６

学生が問題に取り組んだ回数の棒グラフ

学生が問題に取り組んだ回数の頻度

4.2

正答率

CWT の問題のレベルは学生に合っていたのだろうか。
ある学生がある問題にどの程度アクセスしたかという統それに答えるのが正答率である。ある学生がある問題に挑計値は上の２つの図だけからは判断できない。そこで，こ戦すると，正答，誤答の２値の値が返される。学生は同じれを表すような user-item マトリクスにアクセス数を入れ問題に何回か挑戦する場合がある。CWT では１セット５た図を描いてみた。それが図７である。図では，行に学生問の問題では同じ問題は出題されないが，別のセットの問id，列に問題 id とし，各要素には色を付けたアクセス回

題では過去に出題された問題が再度出題されることを許し数を示している。図の中の右下に左上の拡大図を示し，要ている。その場合，何回かチャレンジしたときの正答率の素毎の変化を分かりやすくした。このマトリクスは全体の平均値をその問題への（平均）正答率として表した。

およそ 1/30 程度の大きさを示している。全部を表すこと

図９に，学生が問題に正答した比率の頻度分布を表す。

はできないが，アクセスの集中している問題と学生を左隅

正答率 0.7 付近に大きな山が見える。実際，中央値と平均― 152 ―ラーニングアナリティクス： フォローアップ演習（CWT）の場合は 0.7 程度である。また，すべて正解した正答率の平均値場合の回数もかなり多い。分布はパラメータ（α，β）=（4, 2）のベータ分布によく似ている。CWT への正答率はかなり良いことが分かる。適切な問題配置であったと言えよう。もう少し困難度を高めてもよいかもしれない。
先程と同じように，user-item マトリクスに正答率の平均値を入れた図（学生が問題に正答した比率を表すマトリクスの一部）を描いてみた。これもマトリクスが大きいため全体図を示すことができないので一部を抜き取って示すこととした。また，図の中の右下に左上の拡大図を示し，要素毎の変化を分かりやすくした。緑の部分が多いのは，特定の問題と特定の学生に集中し，全般的にまんべんなく解答されているようにはなっていない。CWT のアルゴリ
ズムでは，困難度が適切に与えられていればこのように特定の問題に集中するようなことはないと考えられるが，まだ運用して間もないために，問題の困難度の自動チューニングが適切に働いていないためと思われる。何度もアクセ

図９

学生が問題に正答した比率のヒストグラム

スを繰り返すうちに機械学習の性格からチューニングはうまくいくものと期待される。
4.3

アクセス時期CWT へのアクセスはどの時期に集中しているかは，FPC のクラスの日程に依存するのではないかと考えてア
クセス時期を調べてみた。それを図 11 に示す。毎月₄- 5
回ほど２日間連続で多く使われている日がある。これがFPC の開催日にあたる。₄- 5月には多いときで 3000 回のアクセス数に登っているが，６月に少なくなり，７月には更に少なくなっている。しかし，７月には FPC の開催日とは無関係に期末試験に向けて段々多くなっているのが分かる。８月に入ると期末試験時期になっているのでぱったりと止んでいる。このアクセス数の推移は FPC 参加者の図 10学生が問題に正答した比率を表すマトリクスの一部推移と呼応していると考えられる。
4.3

複数回解答による正答率の変化

図９では，同じ学生が同じ問題を複数回解いたとき，正答率は平均を用いている。つまり，正答率 = 正解数／解答回数，である。このため，少ない回数同じ問題を解いた場合と沢山の回数問題を解いた場合とでは比較の規準が異なっているので，図９は注意してみなければならない。例
えば，何度も同じ問題に取り組んだ学生は問題に習熟して（あるいは単に解答を暗記して）正答を返す可能性が高いと考えられる。

図 11― 153 ―CWT へのアクセス日時廣瀬英雄

そこで，ここでは，同一問題への回答数によって正答率がどのように変化していくかを見てみた。図 12 は，横軸に何回目の解答にあたるかを示し，縦軸は正答率を示す。
例えば，１回目に挑戦した場合の正答率は 0.73 程度である。この際，１問挑戦した解答総数を調べておく必要があるので，それを図 13 に示した。１回の回答ケースは（１回だけ解答しただけでなく２回以上解答した場合の学生も含む），約 42600 ケースある（53758 件のうち大半がこれにあたる）。このときの正答率が 0.73 であることは，全体としても同様な正答率になっていることを示している。図９はほぼそのまま解釈してよいものと思われる。
図 12 を見ると，同じ問題への解答を重ねるごとに正答率が上がっていっていることが分かる。最初 0.73 だった

図 12

同一問題への解答回数による正答率の変化

図 13

同一問題解答回数に対する解答ケース数

ものが５回目で 0.87 に，10 回目で 0.91 程度に上がっている。先に述べたように，この結果は習熟度が上がったのか，解答を暗記していたのかは分からない。別に調査する必要がある。
同じ学生が同じ問題に複数解答するケースは想定しているが，最大で 38 回も解答している場合がある。この他にも調べてみると，11 回以上同じ学生が同じ問題にアクセスしたケース数は 31 ケースにも昇る。同一問題のケースは 20 ケースである。かなり少ない問題にアクセスが集中している原因はまだ分からない。

５まとめ

広島工大では，入学してきた多様な学生にも十分対応ができるように特別のケアができる仕組みを 2016 年度から作っている。これをフォローアッププログラム（follow-up２）ある問題にはどの程度の回数アクセスされているのprogram, FP）と言う。広島工大では，九州工大でのアダかを見た場合，20 － 30 回あたりのアクセス回数が多く見プティブオンライン演習の経験を活かして，数学科目で行られた。中央値は 19，平均値は 38，第１四分位点の値はなっている FP の中での FP クラス（FPC）で取り組んで０であった。ある学生はどの程度の回数問題に挑戦していいる演習形式の個別指導法にも，このアダプティブオンラるのかを見た場合，40 問以下の挑戦者が多いように見えインテスティングを採用することとした。ここでは，学生た。中央値は 20，平均値は 46，第１四分位点の値は０でとピアサポーターと教員とが一体となって学習できるテスあった。
３）CWT の問題の正答率の平均は，中央値と平均値は 0.7

ティングについて紹介するとともに，テスティングの結果得られた分析結果を紹介した。

程度とかなり良い。これは CWT の問題のレベルが学生の今回，CWT 結果の分析を行うことによって分かってき習熟度に合致していると考えられる。もう少し問題の困難度上げてもよいかもしれない。分布はパラメータ（α，β）

たことを列挙すると：１）４月初めから７月末までの CWT へのアクセス数は=（4, 2）のベータ分布によく似ていた。

53000 を超えた。１回の受験で５問出題されることから，

４）CWT へのアクセス日程を調べると，CWT アクセ

５問１セットの受験の回数はおよそ 5300 回ということにス数の頻度は FPC のクラスの日程と参加率に呼応していなる。学生数は 1160 人なので一人当たり平均して₄- 5回ることが分かった。４－５月の多いときには 3000 回のア受験していることになる。全く受験していない 400 人以上

クセス数になるが，６－７月では少なくなってきた。しかい る 学 生 を 考 慮 す る と， 一 人 当 た り 平 均 し て 7 - ₈ 回 はし，７月後半には期末試験に向けて段々多くなっている。
５）大半のケースで１問だけアクセスしているケースでCWT 挑戦していると思われる。

あったが，複数解同じ問題にアクセスしているケースも見― 154 ―

ラーニングアナリティクス： フォローアップ演習（CWT）の場合られた。その場合，回数を重ねる毎に正答率は段々上昇しand Learning for Engineering 2014 (TALE 2014 ),ている。初回 0.73 程度だったものが５回目で 0.87 に，105C_5, pp.52₈-533, December ₈-10, 2014.

回目で 0.91 程度に上がっている。

５）Hirose, Hideo; Tokusada, Yoshiko; Noguchi, Kazuhisa,

５）今年度は開始年度ということもあり，問題によってDually Adaptive Online IRT Testing System withは全くアクセスされていないものがあったり，逆に頻繁にApplication to High-School Mathematics Testing Case,アクセスされている問題もあった。来年度には，今年度のIEEE International Conference on Teaching,

アクセス記録を踏襲した困難度が自動的にチューニングさAssessment, and Learning for Engineering 2014 (TALEれるので，すべての問題にまんべんなくアクセスされるこ2014), 6B_1, pp.447-₄52, December ₈-10, 2014.とが期待される。

６） Hideo Hirose and Yoshiko Tokusada, A Simulation

文

Study to the Dually Adaptive Online IRT Testing

献System, IEEE International Conference on Teaching,１） Hideo Hirose, Meticulous Learning Follow-up

Assessment, and Learning for Engineering 2014 (TALE2014), 8E_3, pp.97-102, 2014.

Systems for Undergraduate Students Using the Online
Item Response Theory, 5th International Conference７）H. Hirose, T. Sakumura, Item Response Prediction foron Learning Technologies and Learning Environments

Incomplete Response Matrix Using the EM-type Item

(LTLE2016), pp.427-₄32, July 10-14, 2016.

Response Theory with Application to Adaptive Online

２）H. Hirose, M. Takatou, Y. Yamauchi, T. Taniguchi, T.

Ability Evaluation System, IEEE International

Honda, F. Kubo, M. Imaoka, T. Koyama, Questions

Conference on Teaching, Assessment, and Learning forand Answers Database Construction for Adaptive

Engineering 2012 (TALE 2012), pp.₈-12, August 20-23,
2012.

Online IRT Testing Systems: Analysis Course andLinear Algebra Course, 5th International Conference on８）T. Sakumura, T. Kuwahata and H. Hirose, An Adaptive

Learning Technologies and Learning Environments

Online Ability Evaluation System Using the Item(LTLE2016), pp.43₃-₄38, July 10-14, 2016.

Response Theory, Education& e-Learning (EeL2011),

３） Y. Tokusada, H. Hirose, Evaluation of Abilities bypp.51-54, November 7-₈, 2011.

Grouping for Small IRT Testing Systems, 5 th９） H. Hirose and T. Sakumura, An Accurate Ability

International Conference on Learning Technologies andEvaluation Method for Every Student with Small

Learning Environments (LTLE2016), pp.445-₄49, July

Problem Items Using The Item Response Theory,10-14, 2016.

Proceedings of the International Conference on４）Hirose, Hideo; Aizawa, Yu, Automatically Growing

Dually Adaptive Online IRT Testing System, IEEE
International Conference on Teaching, Assessment,― 155 ―

Computer and Advanced TEchnology in Education(CATE 2010), pp.152-158, August 2₃-25 2010.