α×SC2021Q 教育とスーパーコンピュータシンポジウム
九州大学
情報基盤研究開発センター

eBookの利用履歴
データ活用に向けた学習行動分析
殷 成久
Chengjiu YIN

1

yin@lion.kobe-u.ac.jp
http://yin.istc.kobe-u.ac.jp/
2021年3月23日@ 九州大学情報基盤研究開発センター

2

自己紹介

究 分 野研究分野

研

研究分野

研究分野：教育工学 ・情報工学
e-Learning
M-Learning
Social Learning
Educational Data Mining

Educational Data Mining：
現在

教育におけるデータを収集・解析し、問題を解決していく3

電子ブックシステム研究1:クラスター分析(Clustering)
研究2:因果関係を求める学習行為分析フレー
ムワーク(ReCoLBA)
スーパーコンピュータの活用の検討

4背景
 無線LANの整備、タブレットなどの情報端末、教育現場でＩＴ化が急速に進んでいる。
 日常的な学習の記録が電子データ：学生がいつ何を読み、どの問題にどれくらい時間をかけて取り組んだか。
 Learning Analytics(LA) が注目されました。(Chen, Yin, Isaias,Psotka, 2020).

Nian-Shing Chen, Chengjiu Yin, Pedro Isaias & Joseph Psotka (2020) Educational big data: extracting meaning from data
for smart education, Interactive Learning Environments, 28:2, 142-147, DOI: 10.1080/10494820.2019.1635395

LA プロジェクト

5 Read Go to next Return to previous
 Marker memo

Lecturematerials
Document

Viewer6

E-book システム
https://cse.istc.kobe-u.ac.jp/ebook/16

E-book ログ例
Table :ログ例
UseridStudent1
Student1

Student2
Student3

Learning
material
Law
CourseLaw
CourseLaw
CourseLaw
CourseAction
nameNext

Page
Number16

Prev15

AddUnderLine

15

Add Memo 15

Actiontime
2017/5/2
2 8:40:55
2017/5/2
2 8:42:15
2017/5/2
2 8:42:16
2017/5/2
2 8:42:18

DevicePC
MobileTabletMobile8

電子ブックシステム研究1:クラスター分析(Clustering)
研究2:因果関係を求める学習行為分析フレー
ムワーク(ReCoLBA)
スーパーコンピュータの活用の検討

9

研究活動と研究の抱負

ページ遷移可視化と学習パターン分析
 背景
 略

 従来の課題 学習ログからどのような学習行為が特定できるか？
 どのような学習行為に学生の成績との相関があるか？

 提案手法 学習ログを用いた可視化などによって、学習行為を特定
 成績に関係ある学習行為の分析

 それらの行為による学生のグループ分けと、各グループの特徴の分析

10

研究の流れ A. データ収集
 B. Factorの数の統計
 C.データクレンジング(整形) D. 可視化->学習パータン分析
 E. 各Factorと成績の相関分析
 F. 成績と相関あるFactorによって、Clustering
 G.各Clusterの間の比較(統計分析より)

11

学習行動パターンの分析の関連研究
学習行動パターンの分析は、LA / EDMの重要なトピックである。例えば、
 反省行動パターンの分析は、Webベースのポートフォリオ評価には価値がある。(Chang, Chen,and Chen, 2012) 知識共有行動パターンは、調査学習プロセスにおいて重要です(Chiang, Yang and Hwang,2014)12

研究活動と研究の抱負

A. データ収集
本研究では、2014年に「情報科学」という授業で収集した98名のe-bookの学習ログを利用し、成績に関係ある学習行為に対するクラスタリングを行い、学生をグループ分けして、各グループの特徴の分析を行った。

12•成績に関係ある学習行為を見つけ出す•それらの学習行為をグループ分けして、特徴を分析

13

B. Factorを数値化
 各要素の集計:

Factorを数値化

 memoの数,

 underline数,
 Highlight数,
 予習回数, 読んだページ数、
 読んだ時間、
 繰り返す回数

Factorを数値化
Memo

各学習行為の抽出
Extraction of each operation

MarkerBookmark

Zoom-in

学習ログ

Zoom-outFactorを数値化
Frequency
Memo

MarkerBookmark

Zoom-in

Zoom-out

How often each action happens
各学習行為の発生頻度分析

16

C.クレンジング（整形） 1. 正規化
 正規化とは, データ等々を一定のルール（規則）に基づいて変形し、利用しやすくすること。
(Wiki)。
 つまり、データを一定の方法で変形し、例えば身長と体重みたいな次元が違うものに対しても、なんとかして同じような単位で取り扱えるようにして、計算や比較しやすくしよう」、というのが正規化の狙い17

C.クレンジング（整形） 2. z-score normalization (標準化)標準化と言い換えられることも多い、z-scoreです。これは、元データを平均0、標準偏差が1のものに変換する正規化法のことをさします。
 ■目的
元データを平均0、標準偏差が1のものに変換する正規化法
 外れ値のあるデータに対して有効 最大値・最小値に上限、下限がない場合は、z-scoreを使うとよい Min-Max normalization
 ■目的

最小値を0、最大値を1とする正規化 ■条件

最大値と最小値が予め決まっている様な場合には有効な手法
 データとして外れ値が存在していないこと 外れ値があると、とんでもない最大値や最小値にひっぱられてしまう

ため、うまく正規化できない

データの分布が一様分布であること

18

D. 可視化

ページ遷移可視化⇒学生の閲覧パターンは、学習者毎、教材毎に異なる

19

研究活動と研究の抱負

可視化分析結果

繰り返している順次学習ログから、学生は教材を順次ページを進める行為（次へ：Next）を観察された。更に、ページを戻る行為（戻る：Prev）を繰り返している行為もある。

よく学習をしている学生ほど「戻る」という行為を多く行っており、その行為が成績と相関があると仮定する。

20

研究活動と研究の抱負

E. 成績と学習行為の相関分析
学習ログから、頁の「戻る」の回数、「次へ」の回数、予習回数、閲覧時間、閲覧頁の数などの情報を集計し、学生の成績との相関を求めた結果
閲覧頁数
Read Pages (RP)繰り返し率
Backtrack Reading
Rate(BRR)

閲覧時間
Read Time (RT)
予習回数
Preview Times (PT)

RP
成績PCC
pPT

RTBBR

0.728 0.417 0.681 0.665.
.000.000 .000 .000

PCC (Pearson correlation coefficient) p <.0001

Partial Correlation (SPSS)

23閲覧頁数RP
Reading Time (RT) Backtrack

繰り返し率

予習回数

PTLP

Reading Rate(BRR)
Reading Pages (RP)

BRR

Preview Times (PT)

Learning Performance (LP)閲覧時間

RT
k-means クラスター分析を行った

研究手順-K-means
F.クラスター分析の結果

C1
C2
C3
C4

人数 成績 繰り返 閲覧
し率 頁数
25 93.7 0.42 0.71
29 89.84 0.38 0.65
14 80.22 0.78 0.46
30 65.68 0.28 0.19

予習 閲覧回数 時間
0.64 0.61
0.09 0.59
0.11 0.41
0.04 0.16

23

研究活動と研究の抱負

G. 各Clusterの間の比較(統計分析より)
パターン分析
予習、閲覧頁、閲覧時間、繰り返す率、テスト点数

デジタル教科書の学習パターン分析⇒K-means Clusteringによる学習行為のクラスタリングを行い、各グループの特徴を分析

24

研究活動と研究の抱負

学習パターン分析

グループ間比較 : 多重比較検定(Post hoc)

一緒に分析してみよう
C1>
C2>
C3>
C4>

C1<

C2<
①予

③繰

②繰

C3<
C4<
③点,頁,予,時 点,繰,頁,予,時②頁,時点,頁,時点,繰,頁,時

予習、閲覧頁、閲覧時間、繰り返す率、テスト点数

Result analysis
Cluster Comparison： (Post hoc tests Scheffe tests)
RP: reading pages; RT: reading time; PT: preview times;
BRR: backtrack reading rate
SC,PR,RP,RT no difference

C1>
C2>
C3>
C4>

C1<

C2<PT

BRR

BRR

C3<
SC,RP,PT,RT
RP,RT

C4<
SC,BRR,RP,PT,RT
SC,RP,RT
SC,BRR,RP,RT C1 vs C2 : Only “the times of previewing the lesson for class”

showed a significant difference.
 Thus, these students’ learning achievement will not beeffected by preview times, in the case where reading time,reading pages, and reading style have no significant
difference.

Result analysis
Cluster Comparison： (Post hoc tests
Scheffe tests)
C1>
C2>
C3>
C4>

C1<

C2<PT

BRR

BRR

C3<
SC,RP,PT,RT
RP,RT

C4<
SC,BRR,RP,PT,RT
SC,RP,RT
SC,BRR,RP,RT

no difference with SC

C2 vs C3 : In comparing the students in C3 and C2, significant
differences were observed in reading style (BRR: c3 >c 2), but not in theirscores.
 C3 students tended to review previous pages frequently, scored shortertime for reading, and obtained satisfactory scores (similar to C2students).
 This finding shows that BRR style has a significant positive influence onlearning effectiveness, and it helps students manage their time to learn
effectively.
Result analysis
Cluster Comparison： (Post hoc tests
Scheffe tests)

C1>
C2>
C3>
C4>

C1<

C2<PT

BRR

BRRC3<
SC,RP,PT,RT
RP,RT

C4<
SC,BRR,RP,PT,RT
SC,RP,RT
SC,BRR,RP,RT C3 vs C1 : The comparison between C3 and C1 students showedsignificant differences in reading style (BRR: c3 > c1), read pages(RP: c3 < c1), reading time (RT: c3 < c1), and scores (SC: c3 < c1).
The findings show that although C3 students demonstrated agood reading style, they still need to spend more time to read thelearning contents to ensure better learning achievement.

28

研究活動と研究の抱負

K-Means クラスタリングで学習パターン分析

グループ間比較 : 多重比較検定(Post hoc)
C1<C2<C3<
C4<C1>①予 ③点,頁,予,時 点,繰,頁,予,時C2>②頁,時点,頁,時C3> ③繰 ②繰
点,繰,頁,時C4>
予習、閲覧頁、閲覧時間、繰り返す率、テスト点数

 C4はやる気があまりない学生グループ。

29

電子ブックシステム研究1:クラスター分析(Clustering)
研究2:因果関係を求める学習行為分析フレー
ムワーク(ReCoLBA)
スーパーコンピュータの活用の検討

30

因果関係分析フレームワーク

因果関係を求める学習行為分析フレームワーク
A Result Confirmation-based Learning Behavior
Analysis (ReCoLBA) framework.

31

おむつとビール？

アメリカのシステム会社が、あるスーパーマーケットのPOSデータを分析したところ、おむつとビールがセットで購入されやすいということが判明しました。

32

因果関係を求めるべき
Data MiningExplain

Discover correlations of their goods
隠された関係性 :おむつとビールがセットで購入

しかし、なぜそのような現象が起こったのか?
いままでの学習分析では関連性を重視、原因究明までは至らない

33

因果関係分析フレームワークReCoLBA

関連研究：Learning Analytics Model (Siemens, 2013)◆ Collection◆ Storage◆ Data cleaning◆ Data integration◆ Representationand visualization◆ Action
Learning analytics model.
Siemens, G. (2013). Learning analytics: The emergence of a discipline. American Behavioral Scientist, 57(10), 1380-1400.

関連研究： ELT based LA framework

Kolb’s Experiential
Learning Cycle◉ Kolb’s Experiential Learning
Theory (ELT) is a model oflearning through experience.
“Learning is the process
whereby knowledge is createdthrough the transformation ofexperience”.

Chatti et al. (2012) introduced the theory to theLearning Analytics Framework.

Chatti, M. A., Dyckhoff, A. L., Schroeder, U., & Thüs, H. (2012). A reference model for learning analytics.
International Journal of Technology Enhanced Learning, 4(5-6), 318-331.

ReCoLBAと前のフレームワークの比較◉Chatti et al. (2012)
described a learning
analytics framework inlight of an iterative cycle.

◉ Siemens (2013)
proposed a learning
analytics cycle
framework.

ReCoLBA framework
With 5 main steps:

因果関係を確認することがない● Data collection● Data processing● Data analysis● Result confirmation● Result application

Result Confirmation-based Learning Behavior Analysis (ReCoLBA) framework

37

ReCoLBAフレームワーク

38

データ収集
課題：複数の異なるソースからのデータを一元化して、ユーザーがデータを活用できる．
データ取得手法
IOT感知
Wearable devices
ビデオ記録Video broadcasting
画像認識
Eye-tracking
各種教育プラットフォーム
Operation log data

39

データ処理
クリーニング
正規化
変形
欠損値の補完
ノイズの検出統合

40

データ処理タスク
クリーニング

正規化・標準化

古い不要
重複

データが0～1の間
デジタルトランス
フォーメーション

欠損値の補完統合

ノイズの検出学習分
析可能な形に変換推定された値に置
き換え

外れ値の検出
複数の異なるソースからのデータを一元化

41

データ分析

予測、構造の発見、関係発見

42

学習分析の目的と方法
目的予測階層構造

関係マイニング

方法

Classification

Clustering

Regression

FactorAnalysis
Knowledge
Inference

Association ruleminingCorrelation
miningSequential
pattern mining

NetworkAnalysis

Causalmining

LatentKnowledge
Estimation

data

43

結果の原因分析（因果関係）

原因分析(Cause Analysis)

学習分析によって得られる結果、行動パターン、戦略などの発生原因を分析する。

44

原因分析方法 定量と定性分析
 個人レポート アンケート インタビュー 比較分析,二次元:
 時系列 (semesters or school years)
 空間 (different schools).
 段階的な確認, 2 Stages:
 1st stage, 統計分析.

 2nd stage, インタビューとアンケート

45

結果応用

●Supervise 監督？？？具体説明●Supervise 監督●Forecast 予想●Intervene 介入●Assessment 評価●Individualization 個別化●Recommend 推薦●Reflect 反省●Improvement 改善

46

役割とメリット

個々人向けにカスタマイズ

観察・評価・介入

推薦
介入・評価・管理改善・反省

47

ReCoLBA ベース研究48

2021/3/19

ReCoLBA ベース学習行動系列分析

Behavioral analysis

学生は何をしている?

どのような学習活動で、成績を上がったか

因果関係!
学習行為が発生した理由?

49

目的
12

目的

• DITeL(Digital book for Improving Teaching andLearning)という電子教材閲覧システムを開発• システムを用いて学生の閲覧履歴の行動系列分析
Sequential Analysis(SA)• 分析の結果を教材やシステムの改善に活かせる50

データ収集(ReCoLBA Step1)

User ID

Operation name

Page number Action time

Student 1 NEXT page:0192020/7/10 12:05:18

Student 2 PREV page:8162020/7/10 12:07:31

Student 3 ADD HL page:4 16

2020/7/10 12:36:54

51

データ処理(ReCoLBA step2)a)クリーニングルール
無効閲覧時間
閲覧時間は5秒以内の場合、該当頁を読んでないとみなす
無効レコード操作の間は２０分以上時間かかった場合、無効レコードと見なす(b)正規化・標準化(c)変形: デジタルトランスフォーメーション

52

データ分析(ReCoLBA step3)
学生の学習行為パターンを分析するために、逐次分析(Sequential analysis )を用いて学生の閲覧履歴を分析した。
行動系列分析は、学習行動連鎖において、ある特定の行動系列が生じる確率の推測統計の一種である。
Eat
方向2.00

Sleep

行動5.00
Walk

学習行為パターン分析

一連の行動が生じる確率

行動行為の系列：
食事--ウォーキング
ウォーキング後--食事
食後--寝る
寝る--食事…..

どのような行動行為の系列は健康にいいか？

53

GSEQ:行動系列分析ツール

Bakeman, R., & Quera, V. (2011). Sequential Analysis andObservational Methods for the Behavioral Sciences. Cambridge, UK:Cambridge University Press. ISBN: 9781107001244(hdcv), 9780521171816 (ppbk).

54

行動系列分析結果表Starting behaviors

Z-value
PRNXUL
DU
MOHLDHBMDB

PR
11.67
-1.33
-4.20
-1.89
-1.01
-6.60
-3.03
-1.79
-1.10

NX-2.70
9.95
-5.13
-2.05
0.64
-4.07
-2.82
-1.54
-1.39

UL-3.98
-4.98
15.61
3.45
-0.71
0.48
-0.56
2.31-0.43

DU-1.31-3.13
2.37
7.01
-0.301.08
1.21
3.08
-0.18

MO-0.83
0.20
-0.66
-0.28
9.66
-0.49
-0.39
-0.20
-0.13

HL-5.15
-6.19
1.37
0.44
-0.65
10.06
6.18
0.21
-0.92

DH-3.44
-1.29
-0.55
1.21
-0.42
4.38
0.49
4.47
-0.26

BM
-1.79
-0.10
-0.70
-0.30
-0.22
0.21
-0.42
-0.22
v
22.44

DB
-1.09
-0.21
2.05
-0.18
-0.13
-0.92
3.73
-0.13
-0.08

subsequent behaviors
A series of progressive sequential analyses was conducted toexplore the behavioral patterns.
A Z-value greater than 1.96 means that a behavior-sequence
reaches the level of significance (Bakeman & Gottman, 1997; Hou, 2012)

55

行動系列分析結果

学習行為の行動系列図
線が引かれている箇所は全て統計的に有意であることを示す。矢印に書かれた数字はz-scoreの値である。矢印は行動遷移の方向を示す。

56

有意てあった行動系列※HL(HightLight); BM(BookMark); UL(UnderLine)

57

ラーニング・パターン
1 HLとHL、HLとDelete HLに相関がある

2 BMとDelete BMに相関がある
3 BMとDelete ULに相関がある

4 BMとDelete HLに相関がある
5 Delete BMとDelete HLに相関がある

6 Delete ULとDelete UL、Delete ULとDelete BMに相関がある

58

原因分析方法(ReCoLBA step4)

59

LBP1
It was found that they often changed the important
keywords .
HLやUL、BMの追加・削除を繰り返す行動
系列

アンケート

1.マークしたキーワード重要だと思ったが、論文を読み進めていく際に重要じゃなかったと分かったからだ.
2.論文を読み進めていくと、もっと意味あるキーワードを発見.
3.その部分に疑問がある時に一時的に使用していた。理解した後で削除した.

60

LBP2
It was also observed that,after “deleting underline”,
the students often “addunderline”.

deleteadd

Students’ interview:
1.When I completed the reading of the paper, I felt that I understood all ofthem.
2.I thought the part which had been underlined was not important anymore, so I
deleted the underline.
3.When I had questions on the contents I marked it, after when I found theanswer, I deleted them all.

61

アドバイス
学生がHL/BMの追加・削除を繰り返す行為->マークした重要なキーワードの場所をよく変更=>教材を作成する際には重要な場所やページを予めマークしておくことが望ましい

結果応用(ReCoLBA step5)
To apply this finding, we
proposed a learning strategy
whereby the teacher
highlights the learningemphasis before students
read the learning materials.
教材を作成する際には重要な場所やページを予めマークしておくこと

63

重要な場所やページを予めマークしておくこと

64

評価実験
分析で得られた結果を応用し、学習効果分析

重要な場所やページを予めマークしておくこと

実験設計
対照群
事前重要な場所をマークせず
実験群
重要な場所を予めマーク

教育工学授業ジャーナル論文１篇
修士１年生
実験群：受講者は43人
対照群：37人

実験結果

実験群はよい成績を得られたことで、「重要な場所やページを予めマー クしておくこと」
策略は有効である。

67

電子ブックシステム研究1:クラスター分析(Clustering)
研究2:因果関係を求める学習行為分析フレー
ムワーク(ReCoLBA)
スーパーコンピュータの活用の検討

68

データ問題
 ビッグデータ分析の活用レベルは、検証フェーズから実用フェーズに移行しつつあり、分析対象とするデータの量や種類は飛躍的に増大している。
 多くの研究では、一部のデータを抽出して分析するなどの対処を行っています。

69

Plus-DX:デジタルを活用した
大学高専教育高度化プラン

システム構成図
学内クラウド（Private）
教務システム

サービス毎の最適配置
遠隔授業支援システム（顔認識，表情認識）（新規導入）

グローバル教育管理システム

学修データ統合サーバ

学修管理システム

就職支援システム

毎日DB
同期

データ収集（バッチ処理）

Kobe Data
Ware House

データ処理・可視化処理システム（開発導入）

VR関連（新規導入）
ビデオ配信システム（新規導入）
電子教科書システム（開発導入）
新LMS(簡易LMS)（新規導入）

70

71

スパコンの利用
４０大学 採用 → データ連携
数千個の属性データを持つ数百万人分のデータになる スパコンの高速処理技術を搭載した分析基盤を用いることで、
 例えば従来1週間かかっていた、数千個の属性データを持つ数百万人分の学生データといった超大規模データに対する分析を数時間に短縮できるとしている。