A4-1

ラーニングアナリティクス・ダッシュボードを活用したリアルワールド教育エビデンスの自動収集の仕組みと検討
Mechanism for Automatic Collection of Real-world Evidences by using
Learning Analytics Dashboard
中西 太郎*1, 黒宮 寛之*1, 緒方 広明*2
Taro NAKANISHI*1, Hiroyuki KUROMIYA*1, Hiroaki OGATA*2*1
京都大学情報学研究科*1
Graduate School of Informatics, Kyoto University*2
京都大学学術情報メディアセンター*2
Academic Center for Computing and Media Studies, Kyoto University
Email: nakanishi.taro.26r@st.kyoto-u.ac.jp
あらまし：エビデンスに基づいた教育への期待が高まる一方，従来の教育エビデンスはシステマティックレビューや RCT を必要とし限定的で少数であるため，学校現場への適用範囲が狭い．そこで教育ビックデータからエビデンスを抽出するリアルワールド教育エビデンスという考え方が提案されている．本研究では，教師の授業改善をラーニングアナリティクス・ダッシュボードでサポートするシステムを活用し，リアルワールド教育エビデンスを自動的に収集する仕組みについて提案する．
キーワード：ラーニングアナリティクス，エビデンスに基づく教育，学習環境デザイン，学習データ

1.

はじめに

近年，教育の質を保証するためエビデンスに基づく教育(1) という考え方が広く認識され，データドリブンな授業設計や授業改善への注目が高まっている．
しかし，従来の教育エビデンスはシステマティックレビューや RCT を必要とし限定的で少数であるため，学校現場への適用範囲が狭い．そこで，教育ビ
ックデータより準実験的研究や記述研究レベルの事
例を抽出することでエビデンスとする，リアルワー
ルド教育エビデンスにも注目が集まってきている．
筆者らはこれまで，エビデンスに基づく教育システムをサポートする技術フレームワーク LEAF を開発してきている．また，この技術フレームワークを採用している中学・高校と連携し，データの収集や分析などを進めてきた．一方で，実証研究を除き教師が ICT を日頃どのように活用しているのか，またどのような効果があったのかという事例を捕捉し，利活用するまでには至っていない．そこで本研究では，授業改善を目的とした教師によるリフレクションをサポートするシステムを開発し，その実践を通して事例を自動的に蓄積する仕組みについて検討する．

2.

スを発見し，蓄積することを目的としている．リア
ルワールド教育エビデンスはエビデンスのレベルは低い代わりに多くの事例を集めることができるため，適用範囲を増やし，利用を促進させることができる．
LEAF のシステム構成を図１に示す.まず，ICT シ
ステムをユーザーが利用することで学習レコードストア(LRS)に学習ログが蓄積される．蓄積されたログはラーニングアナリティクス・ダッシュボードにて分析され，分析結果が表示される．その後，指導者や研究者がこの分析結果を見てどのように活用したか，どのような改善につながったのかというデータを補足し，エビデンスレコードストア(ERS)に登録される．登録されたエビデンスはエビデンスポータルにて共有や推薦などに利活用される．

リアルワールド教育エビデンスの自動収集の仕組み

2.1 LEAF
本 研 究 は ， Learning Evidence and Analytics
Framework (LEAF) に基づいている(2)．LEAF はデー
タの収集，分析，介入の計画，モニタリング，リフレクションの工程をシステムにてサポートすること
で学習ログデータからリアルワールド教育エビデン

図 1 LEAF のシステム構成図
現在，BookRoll と呼ばれるデジタル教材配信シス
テムを用いることで学習ログを蓄積し，ラーニングアナリティクス・ダッシュボードにて分析結果を表示することができている．しかし，分析結果からどのような介入を行ったのか，どのような効果があっ― 169 ―教育システム情報学会 JSiSE2021
第46回全国大会
2021/9/1-9/3

たのかを自動的に捕捉できるシステムは開発されていない．そこで本研究にて介入や効果を捕捉するために，ラーニングアナリティクス・ダッシュボードに授業情報パネルを追加した．このパネルでは授業情報を登録することで，その日に出された宿題のログを収集し，宿題の正答率，回答率，学習時間などをダッシュボードに表示する．授業情報の登録にはその授業中に行う介入を記載する項目があり，ユー
ザーは前回の宿題の取り組み状況をモニタリングした上でどのような改善を行うのかを記載する．これ
によりシステム上で介入情報を保持することができ，介入の前後を比較することで効果も測ることができる．

図 2 授業情報パネル
2.2 ラーニングアナリティクス・ダッシュボードを利用した授業改善フロー
教師は授業情報パネルを活用し，図 2 の流れに従って授業の改善を行う．初めに授業情報を登録する．
具体的には，日時，クラス，単元，使用する教材，宿題の範囲を登録する．次に実際に授業を行う．授業後，事前に登録した宿題を生徒に課す．生徒は家庭学習として BookRoll 上の宿題に取り組む．教師は次回の授業前に分析結果を確認し，リフレクションを行う．ここで何かしらの改善が必要だと感じた場
合，次回の授業情報の登録の際にどのような介入を行うのかを追加で記載する．

図 3 授業改善フロー
この一連の流れを毎授業ごとに繰り返すことで，日常的に生徒の状態を把握し，適切な介入を行うことができる．また，システムは登録された情報とログデータを元に介入の前後比較を行い，事例としてデータを登録する．
本稿では実践として，高校 1 年生を担当している数学の教師に 1 ヶ月の間，この授業改善フローを行ってもらった．宿題は生徒が所持している演習用テキストを BookRoll 上にアップロードし，各問題に対して BookRoll の quiz 機能を用いて正解・不正解を入力できるようにした．教師は授業情報に登録した宿題のページを毎回生徒に課し，宿題の取組状況をモニタリングする．その上で宿題の回答率，正答率，学習時間のどれかに着目し，次回の授業登録の際に改善のための介入を記載し，授業中に実行する．このサイクルを繰り返してもらった．

3.

実践結果

授業情報パネルを授業改善フローに従って活用してもらうことで，各授業での介入内容およびその効果を測定し，エビデンスとしてエビデンスレコードストアに登録することができた.
一方で，実証期間後に行った生徒アンケートをまとめたところ継続して BookRoll 上で宿題を行ったと答えた生徒は 15 名(38.5%)にとどまり，過半数の生徒がテキストで宿題に取り組んだあと，正解・不正解の入力のみ BookRoll で行ったと答えた．そのため，ほとんどの生徒においてアンケートで申告してもらった学習時間と，学習ログには乖離が見られた．
そのため，学習時間に関してエビデンスの効果の信頼性が低い．また，実証期間初期は 90%以上あった回答率も徐々に減少していき，最終的に 55%まで下がっていた．このことから，正答率に関しても母数の観点からエビデンスの信頼性は低いと言える．このように ICT システムを用いた学習に消極的な学生が多くいるため，十分なデータが集まらないという課題が見つかった．

4.

おわりに

本稿では，授業改善を目的とした教師によるリフレクションをサポートするシステムを開発し，その実践を通して事例を自動的に蓄積する仕組みについて述べ，実践事例について報告を行った．実践結果
では授業情報パネルを活用することで事例の登録ができている一方，事例の信頼性が低いという問題が見つかった．リアルワールド教育エビデンスは生徒が学習に ICT を利用していることを前提としている
ため，データ自体に不足や現実との乖離がある場合エビデンスの信頼性を担保できない．そのため，今後の研究としては生徒が ICT を使って学習を行う仕組みづくりを強化していく．また，今回はエビデンスの対象を宿題の取組状況に関する指標に対する効果に絞ったが，指標を拡張して様々な効果に関して調査していく予定である．
参考文献(1) Davies, Philip; "What is evidence‐based education?.",British journal of educational studies, 47.2, 108-121(1999).
(2) OGATA, Hiroaki, et al.; “Beyond learning analytics:
Framework for technology-enhanced evidence-basededucation and learning”, 26th International Conference on
Computers in Education Workshop Proceedings
Asia-Pacific Society for Computers in Education(APSCE), p. 493-496 (2018)― 170 ―