P1-03

マルチメディア教材の異なるレイアウトにおける学習者の視線遷移の分析
Analyzing learners’ eye movement across different layoutsof multimedia teaching materials
益本

浩志*1, 角所 考*1, Weijane Lin *2, Hsiu-Ping Yueh *2
Koji Masumoto *1, Koh Kakusho *1*1 関西学院大学*1 Kwansei Gakuin University*2 国立台湾大学*2 National Taiwan University
Email: gdt56894@kwansei.ac.jp

あらまし：絵や文章など，様々な表現形式の要素から成るマルチメディア教材では，各要素間に関連性がある．そこで，このようなマルチメディア教材に対し，学習者が各要素をどのように関連付けて学習しているのかを明らかにすることを目指し，レイアウトの異なるマルチメディア教材における異なる要素間での視線遷移の違いを分析することを試みる．
キーワード：マルチメディア教材，注視行動，レイアウト，視線遷移

1.

はじめに

e ラーニングでは，絵やテキストといった異なる表現形式を用いた要素から構成されるマルチメディア教材がよく使用される．このようなマルチメディ
ア教材を用いた学習では，各要素が学習者に対して果たす役割が，その表現形式によって異なると考えられる．このような違いは学習者の注視行動の違いにも反映されると考えられるため，従来からレイアウトの異なるマルチメディア教材に対する学習者の注視行動の分析が試みられている．
このような従来研究では，各要素に対する学習者の注視の多さに注目したものが多い[1, 2]．しかし，異なる表現形式による要素からなるマルチメディア教材において，各要素は，それらが連携して同一の学習内容を説明するような相補的な関連性を持つた
め，どのような表現形式を要素とするレイアウトではどのような要素同士を相互に参照しながら学習が行われるのかを明らかにするには，異なる要素間の視線遷移にも注目することが望まれる．そこで，これに着目した学習者の注視行動の違いの分析を筆者らが試みたところ，レイアウトの違いによる視線遷移頻度の違いを示唆する結果が得られている[3]．そこで本稿ではさらに，どのような表現形式の要素がこのような視線遷移頻度の違いを生み出しやすいのかについて調べてみた結果について報告する．

2.

使用教材

本研究では，薬用植物の図鑑を教材として使用した．対象とする薬用植物は全部で 6 種類あり，各植物について説明したページとして，原書（ラテン語）と訳文（中国語），イラスト，写真の 4 種類の表現形
式による要素を，図 1 のような 4 通りのレイアウト
𝐿∈{A，B，C，D}で配置したものを用意した．それぞれのレイアウトによる教材に対して 7～8 人の学習者を割り当て，その視線データを視線計測装置で獲得した．

（a）レイアウト A（b）レイアウト B（c）レイアウト C（d）レイアウト D
図 1 レイアウトの異なる教材

3.

視線分析

3.1 レイアウトと視線データの関係
上で得られる視線データは，注視点座標とその注視時間によって構成されている．そこで，注視時間を一定の時間間隔∆𝑡で区切り，その各瞬間での注視点座標を求めた．学習者の集合を𝑃，6 種類の植物の集合を𝐻とする時，植物ℎ(ℎ ∈ 𝐻)を学習する学習者𝑝𝑝(𝑝 ∈ 𝑃)の時刻𝑡 = 𝑚∆𝑡(𝑚 = 0，1， … ，𝑀ℎ )での注𝑝
視点座標を𝝋ℎ (𝑚)で表す．
このとき，植物 ℎを記述したページを読む学習者
𝑝
𝑝𝑝の注視点座標の変化は，𝝋ℎ (𝑚)と𝝋ℎ (𝑚 + 1)をそれ𝑝
ぞ れ 始 点 と 終 点 と す る 4 次 元 デ ー タ 𝜸ℎ (𝑚) =𝑝𝑝[𝝋ℎ (𝑚)，𝝋ℎ (𝑚 + 1)]で表すことができる．この 4 次
元データを各レイアウトの各植物に対する全学習者の全区間について集めたものをクラスタリングすることで，同じレイアウトによる各植物ページを学習する際の学習者の代表的な視線遷移のパターンを求めた．得られた各クラスタ中心を調べた結果，始点― 43 ―

教育システム情報学会 JSiSE2023
第48回全国大会 2023/8/29-8/31と終点が共に同一要素内に含まれている場合と，それぞれが異なる要素に含まれている場合の主に 2 通りが見られた．このことから，学習者の注視対象は，各構成要素を単位として視線遷移しているといえる．

いは，D でのみ写真が用いられていることであり，さらに，写真は C にも含まれている．これらのことから，視線遷移頻度は，写真との間で高くなっていることが示唆される．

3.2 異なる要素間の視線遷移の頻度

3.4 各レイアウトの視線遷移の種類別の頻度

各要素は四角形で区切られた範囲を持つが，実際に絵や文字が書かれている領域は，その中の一部である．そこで上のような学習者の視線遷移において，学習者の注視点座標が各要素内に位置する場合に，そのときの注視点が，要素内の各領域とどの程度近いのかを考慮するために，背景色に基づいて各領域を 抽出 し ， そ れ に対 す る 距 離変 換 結 果 を 用い て
𝑝𝑝𝑝
𝜸ℎ (𝑚)の始終点𝝋ℎ (𝑚)，𝝋ℎ (𝑚 + 1)と各領域との距離（最大値を 255 とする）を求め，最も近い領域まで𝑝𝑝の距離を𝛿ℎ (𝑚)，𝛿ℎ (𝑚 + 1)で表す．このとき，それらの領域を含む要素を𝑡 = 𝑚∆𝑡，(𝑚 + 1)𝑡での注視対𝑝𝑝象とみなし，𝛿̃ℎ (𝑚)，𝛿̃ℎ (𝑚 + 1)で表す．このとき，各植物のページでの異なる要素間にまたがる学習者
𝑝毎の視線遷移の比率𝐹ℎ を次式で算出する．

3.3 の結果を踏まえ，実際に異なる要素間の視線遷移として，写真との間の遷移が多いのかを確認するために，異なる表現形式の要素対毎の視線遷移の頻度を求めた．
教材には最大 4 種類の要素があるため，異なる要素間を跨ぐ視線遷移は最大 6 通り生じ得る．このとき各レイアウトにおいて，どの要素間の遷移が多いのかを調べるために，上の 6 通りの視線遷移頻度を，異なるレイアウト間で比較してみた．各レイアウトにおける 6 通りの視線遷移の頻度に対する異なる学習者の人数分布を求め，その中央値をレイアウト毎に算出した．この中央値が高かったイラスト－訳文間と写真－訳文間の値を図 4 に示す．図の横軸と縦軸は視線遷移の頻度とその頻度を持つ学習者の人数に対応している．このとき，異なるレイアウトに対する結果を 3.2 と同様に異なる色で示している．
図 3(a)では，イラスト－訳文間の視線遷移は，レイアウトによって要素数が異なるにも拘わらず，ほぼ同程度となっている．一方，図 3(b)では，C（緑）の方が D（黄）よりも要素数が多いにも拘わらず，視線遷移頻度は D の方が多くなっている．これらの結果より， 写真を含む遷移が多いことを確認できた．
写真は植物の部位を形と色の両方で表示できていることから，言葉による説明を補完する役割を果たしているためと考えられる．

𝑝𝑝
𝛿 (𝑚)
𝛿 (𝑚 + 1){(1 − ℎ) + (1 − ℎ)}𝑚=1255255
̃ 𝑝 (𝑚)≠𝛿̃ 𝑝 (𝑚+1)
𝛿ℎℎ𝑝𝑝𝑝𝛿 (𝑚)𝛿 (𝑚 + 1)𝑀ℎ∑𝑚=1 {(1 − ℎ) + (1 − ℎ)}255255𝑀𝑝∑ ℎ𝑝𝐹ℎ =3.3 各レイアウトの視線遷移の頻度𝑝𝑝

異なるレイアウトの教材に対する𝐹1 ~𝐹6 の和𝐹 𝑝に対する学習者の人数の分布を求めた結果を図 2(a)に示す．図の横軸は𝐹 𝑝 の値，縦軸はその値を持つ学習者の人数を示し，異なるレイアウトの学習教材に対する分布を異なる色（レイアウト A：青，B：赤，C：緑，D：黄）で表示している．

（a）人数分布（b）中央値
図 2 各レイアウトの異なる要素間の視線遷移頻度
図より，レイアウトによって各視線遷移の頻度を持つ学習者の多さが異なることが分かる．この違いを明確にするために，さらに上の人数分布の中央値を求めたものを同図(b)に示す．この図からわかるよ
うに，異なる要素を跨ぐ視線遷移の頻度はレイアウ
ト C，D，A，B の順に多いことがわかる．
このような視線遷移の頻度は，各レイアウトに含まれる要素数が増えれば，増加すると考えられ，実際，視線遷移の頻度が最も多いレイアウト C は要素数も最も多い．しかし，残りの 3 つのレイアウトについてみると，A は D よりも要素数が多く，B は Dと同じ要素数であるにも拘わらず，D の方がそれらよりも遷移頻度が高い．このとき，D と A，B の違（a）イラスト－訳文間（b）写真－訳文間
図 3 種類別視線遷移頻度の人数分布の中央値

4.

おわりに異なるレイアウト間での異なる要素間の視線遷移の違いについて調べた．今後は領域内の各部分間を跨ぐ視線遷移に着目した分析等を進める予定である．
参考文献(1) Yang, F.Y., et al.“Tracking learners’ visual attention during
a multimedia presentation in a real classroom” Computers& Education, vol．62, pp208–220 (2013)(2) Lin, W., et al. “Modeling Reading Behaviors: An Automatic
Approach to Eye Movement Analytics” IEEE Access, vol 9,
pp63580-63590 (2021)(3) Lin, W., et al. “How scientific illustration and photography
aid learners’ reading – Evidence from eye movements”
HCII (2023) (to appear)― 44 ―