H6-2

CSCL システムの言語・非言語情報を活用した振り返り支援の検討
Supporting Reflection on Collaborative Learning in a CSCL System
Using Verbal and Non-verbal Information
正野 敦也, 林 佑樹, 瀬田 和久
Atsuya SHONO, Yuki HAYASHI, Kazuhisa SETA
大阪府立大学大学院 人間社会システム科学研究科
Graduate School of Humanities and Sustainable System Sciences, Osaka Prefecture University
Email: shono@ksm.kis.osakafu-u.ac.jp
あらまし： 研究を始めとした複雑なテーマに関する議論では，発表者は予め思考を整理，文書化し，発表に望む必要がある．一方で，各々の活動を適切に行うことは難しい．本研究では，振り返りの刺激として議論プロセスに観測される話者と聞き手の視線を活用することを考える．視線は他者の発表時の思考の一端を表しているという着想のもと，セマンティクスを付与した議論資料上への議論中の他者の視線推移を起点とした内省支援を検討する．
キーワード：議論リフレクション，非言語情報，視線行為，多人数インタラクション

1.

研究背景

唯一解を規定することのできない領域での問題解
決，例えば研究活動では，自身が遂行する研究課題のアプローチや提案手法などを共有，検討するための議論（研究 MT）の場が設けられる．参加者は，発表者（学習者）が用意した議論資料に記載の提案内容の整合性を確認し，不備があれば助言や示唆を与える．研究初学者においては，指摘に至る議論を振り返るとともに，自身の説明不足故に参加者が十分に追従できなかったと思われる箇所などを内省し，次なる研究 MT に備える活動（議論リフレクション）が重要となる．一方で，議論中のメモや録音された音声・動画を用いた振り返りでは，議論時に交わされる発言内容に注力しがちとなり，発言として必ずしも表明されるとは限らない参加者の理解状態に意識を向けることは難しい．
本研究では，このような参加者の理解状態を捉える手段として，非言語情報，特に議論参加者の視線情報に着目する．時々刻々と変化する議論において，各々の参加者が注目している（注視している）他者や議論資料コンテンツに基づき，学習者の説明に追従できている／できていないといった振り返りに資する議論状況を同定し，刺激として学習者に与えることを着想した．この目的にアプローチするために，
本稿では意味情報（セマンティクス）を付与した議
論資料および言語・非言語情報を活用した振り返り支援のためのインタラクション区間の同定手法を検討する．

2.

非言語情報の解釈および分析の困難性

研究 MT では，学習者が準備した議論資料の構造が理解しづらく，また説明内容の不十分さ故にその場の議題に追従できないことがある．議論では，このような学習者が提案する理路の不備を指摘する質疑応答が交わされることにはなるが，必ずしも参加者の疑問点全てが場に出されるとは限らない．そのような言明されない疑問点については暗黙的なままとなり，これを音声などの言語情報を参照しながら振り返ることも難しい．
このような状況で生じうるやり取りとして，例えば，学習者が資料領域①の説明を終え，次の領域②の説明をしている一方で，参加者の視線は未だ資料領域①に留まっている状況が考えられる．このように視線情報（非言語情報）には，必ずしも言語化されない思考の一端が表出される可能性がある．一方
で，視線が持つ役割の多様性から，その対象の意味内容に踏み込んだ解釈を与えることも難しく，また，こうした非言語情報と思考の状態の関係を議論するための共通の枠組みも存在していない．
そこで本研究では，研究 MT の議論資料として「研究背景」や「仮説の前提」といった記述内容を表すセマンティクスを予め付与した資料を前提とし，議論時に誰が誰を見ているのか，また，どのような内容が書かれた箇所を観察しているかを捉えることにより，発言情報のみからは検知することのできない振り返りに資するインタラクション区間を同定することを考える．

3.

議論における言語・非言語インタラクションの計測環境

本研究では，セマンティクスアウェアな議論資料を用意するとともに，これを分散環境で展開される多人数インタラクションで発現する言語・非言語情報を計測可能な CSCL システム(1)に組み入れることで， 議論時の視線情報や発話情報の計測を実現する．
本プラットホーム上で実施される議論の様子を図1(A)に示す．任意の学習支援ツールを組み込める構成となっており，ここでは，ビデオチャットツールを通して音声対話を実現し，議論資料共有ツールを通して資料を共有している状況を表す．システム内部では，参加者のビデオ映像や発言タイミング，参加者映像および議論資料の各領域に注視対象領域を付与することにより，視線対象情報（どこを，いつからいつまで見たか）を計測・蓄積できる．このよ― 451 ―

教育システム情報学会 JSiSE2019
第44回全国大会 2019/9/11-9/13

図 1：議論環境と取得データの利用
うにして観測された発言や視線対象といった原始的なシグナルを組み合わせることにより，学習者同士の注視対象が同じである（共同注視）や，互いを見つめ合っている（相互注視），学習者が話しているときに他の参加者が見ている（学習者の話しに耳を傾けている），といった言語・非言語インタラクションの様相を捉えることができる．

4.

セマンティクスを付与した資料によるイ
ンタラクションパターンの分析

4.1 議論インタラクションパターンの検討
議論リフレクションとしての振り返り区間を検出するための初期的な検討として，3 章で説明した言語・非言語情報を組み合わせることにより，議論状況として想定できるインタラクションパターン（I_P）
を調査した．ここでは，発表者（学習者）1 名，参加者（共同研究者）2 名から構成される議論を想定し，発表者の振り返りという視点から I_P を検討した．
具体的には，議論のある時点において学習者／他者が発話しているかどうかを言語情報とし，学習者／他者の視線対象（ある参加者／資料の任意領域）を非言語情報として，これらの組み合わせとして考えられるパターンを考察した．結果，資料に対する共同注視を除き，45 パターンの議論状況を想定できることがわかった．図 1(B)に一例を掲載する．(B)-I
は「学習者が発話をしている∧学習者が資料を見ている∧他者 2 名が資料を見ている」という I_P を表し，(B)-II は「学習者が発話をしている∧学習者が資料を見ている∧他者 2 名が学習者を見ている」を表す．(B)-III は「他者 A が発話をしている∧他者 A が資料を見ている∧学習者が他者 A を見ている∧他者
B が他者 A を見ている」状況を表している．
どのような I_P が学習者の有意味な振り返りに資するかは検討の余地があるが，時々刻々と変化する
議論において，ある時区間で観測される各 I_P 頻度を算出することにより，例えば，学習者が発言している状況で学習者の注目箇所に他者も注目できていた割合や，ある時区間において頻出している I_P を手掛かりとし，各区間がどのような議論状態であるか（図 1(C)上），また，ある議論状態（I_P）になっている区間を検出できる可能性がある（図 1(C)下）．

を検討するために，発表者（学習者）1 名，参加者 2名から構成される研究 MT 議論データ（約 40 分）を収集した．I_P の発現頻度が議論時間に伴い変化するかを確認するために，議論の前半 10 分，後半 10分の 2 区間のデータを対象とし，計測された発話情報，視線情報に基づき各 I_P 頻度を求めた．
初期的な分析の結果，前半部では「学習者が発話をしている∧学習者が資料を見ている∧他者 2 名が資料を見ている」という I_P（(B)-I）が最も多く観察された．議論前半では学習者の用意した資料に注目しながら発表に耳を傾けていた区間として解釈できる可能性がある．ここで，資料に対する学習者と他者の共同注視の有無を調査したところ，発表者と異なる箇所に注目していた I_P が多く観測されていたことが示された．
また，後半部では「全参加者が資料を見ている∧誰も発話していない」という I_P が最も多く，続く
I_P 頻度の傾向としては，学習者以外の発言が含まれる I_P（(B)- III 等）が多く出現していた．前半部と比べて後半部では，学習者が発言することは相対的に少なく，学習者以外の他者を中心に議論が展開されていた状況であると解釈することができる．
現段階では，資料内容（セマンティクス）に踏み込んだインタラクション分析には至っていないものの，このように，前半部と後半部の I_P 頻度に差異が認められ，これを手掛かりとして議論状態を検出できる可能性があることが示唆された．

5.

まとめと今後の課題

本研究では，非言語情報を活用した議論リフレクション支援に向けて，セマンティクスが付与された議論資料や参加者に向けられた視線情報を手がかりとした議論インタラクションの分析手法を検討した．
今後の課題として，今回の初期分析では考慮できていない視線計測データの欠落箇所を考慮したインタラクションパターンのモデル化を進めるとともに，議論状況の振り返りに資するリフレクション支援システムを設計していく予定である．
参考文献(1) 杉本葵，林佑樹, 瀬田和久: “言語・非言語アウェアな CSCL

4.2 実データへの適用
前節で述べた I_P に基づく議論状態の検出可能性― 452 ―

システム開発プラットホーム”，電子情報通信学会論文誌(D),
Vol.J101-D, No.4, pp.713-724, 2018.