G4-1

CSCL システムのための言語・非言語アウェアなプラットフォーム開発
Developing Verbal and Non-verbal Aware Platform for CSCL Systems
杉本 葵, 林 佑樹, 瀬田 和久
Aoi SUGIMOTO, Yuki HAYASHI, Kazuhisa SETA
大阪府立大学大学院 人間社会システム科学研究科
Graduate School of Humanities and Sustainable System Sciences, Osaka Prefecture University
Email: sugimoto@ksm.kis.osakafu-u.ac.jp
あらまし：情報通信技術を利用し，CSCL の研究領域で様々な学習目的に応じた協調学習支援システムが開発されてきた．参加者の言語・非言語情報を扱ってインタラクションを支援する研究が行われているが，特に非言語情報を扱った研究は少なく分析に留まっているのが現状である．本研究では，開発者が参加者の言語・非言語情報にアクセスし，学習目的に応じた学習ツールを開発するためのプラットフォームを構築する．本プラットフォームでは，通信するメッセージを系統的に管理し，認証処理に関するメッセージと開発者が処理するメッセージを区別できるプロトコルを用意する．開発者は本プラットフォームに基づきシステムの認証，通信処理は意識せずに，学習目的に合目的な学習ツールの開発に専念できる．
キーワード：言語・非言語情報，CSCL，プラットフォーム

1.

はじめに情報通信技術の発達により，学習目的に応じた学習ツールを備えた CSCL システムが開発されている．
実世界の協調学習では，発言のやり取りに加え，視線や韻律といった非言語的な情報も用いて学習を進めており，これらのマルチモーダル情報を手段としてグループ会話の様子や参加者の役割を分析する研究が盛んに行われている(1) (2)．一方で，これらの知見を活かした実用的な CSCL システムはそれほど多くない．その一つの要因として，開発者が言語・非言語情報に並列的にアクセス可能な CSCL システムを実現するための敷居の高さが挙げられる．
本研究では，開発者が言語・非言語情報にアクセスでき，学習目的に応じた学習ツールを組み込み可能な CSCL システムを実現するためのプラットフォームを提案する．

2.

図 1 プラットフォーム構成図

要件定義

言語・非言語情報を用いて，誰と誰によって議論が進行されている，議論の先導者が誰から誰に変わった，といった意味のある高次な解釈を導くためには，誰が誰を見ている，誰が誰に話している，といった単一のコミュニケーションチャネルに基づく情報を統合理解することが求められる (3)．このように開発者が支援対象に応じて言語・非言語情報を組み合わせ，目的に応じた学習ツールを開発できる環境を整備する．ここでは，開発者が CSCL システムに共通する認証処理等を意識することなく，必要に伴い言語・非言語情報にアクセスできることが望ましい．そこで，本研究では以下に挙げる 2 点の要件を満たすプラットフォームを提案する．
(1) 様々な言語・非言語情報を並列処理し，支援対象に応じて学習ツール開発者がアクセスできる機能(2) 学習ツールに関連する／しない通信メッセー
ジを系統的に峻別できる通信管理機能

3.

プラットフォーム構築

3.1 プラットフォーム構成
図 1 にプラットフォームの構成図を示す．本プラットフォームではサーバ・クライアント型の構成をとり，ユーザ認証情報や，参加者の言語・非言語情報，学習ツールが独自に定義した情報など，様々なデータがやり取りされる．
サーバは RTMP プロトコルに準拠した Red5 サー
バを拡張する形で実装しており，ユーザ認証管理やデータベースの更新処理を行う．クライアント側のシステム処理機構では，サーバ側とユーザ認証処理を実現している．参加者の言語・非言語情報はマルチモーダル情報管理機構で管理され，クライアント側に接続された各種センシングデバイスから取得可能なデータをサーバへ送信する．学習ツール管理機
構では，開発者が独自に構築した学習ツールが管理され，サーバから受信したメッセージを適宜学習ツールへ分配する役割を担う．

― 323 ―

教育システム情報学会 JSiSE2016
第41回全国大会 2016/8/29-8/31

図 2 メッセージ構造
3.2 メッセージプロトコル
3.2.1 メッセージ構造
サーバ・クライアント間では，オブジェクトとして定義されたメッセージを通信する．メッセージの構造を図 2 に示す．
systemMessage（SY_M）：ログインやログアウトなどユーザ認証に使用するメッセージ．
sessionMessage（SE_M）：同一セッションのクライアント間で通信するメッセージ．SE_M を継承して，sessionInfoMessage（SI_M：セッション内のユーザ管理情報），learningToolMessage（LT_M：学習ツールで定義される情報），interactionMessage（I_M：参加者の言語・非言語情報）の 3 種類のメッセージが定義されている．
開発者は SY_M を意識することなく，I_M で定義されているメッセージを参照できるとともに，LT_M として独自のメッセージを追加できる．全てのメッセージは Message クラスを継承しており，メッセージタイプ（msgType）を識別する固有プロパティを含む．
3.2.2 メッセージの通信
サーバ・クライアント間の全てのメッセージはJSON 形式で通信される仕組みを採用した．図 3 にメッセージ通信の流れを示す．サーバ・クライアン
ト共にメッセージを SY_M と SE_M に識別後，各メッセージに対応する処理を行う．開発者はメッセージの JSON 形式への変換や識別処理を意識することな
く，チャットメッセージや発話内容等といった SE_M，I_M に該当するメッセージを学習ツールで受け取り，処理を定義するだけで通信が行える．
3.3 言語・非言語情報
マルチモーダル情報管理機構では，協調学習における言語・非言語情報として，現在以下の情報を開発者に提供している．
1. 音声情報（音声区間，音声内容）: マイクからの入力データ，音声認識による解析データから，発話の開始・終了と発話内容を検出する．
2. 視線情報（視線対象）: アイトラッカを使用し，参加者の視線対象人物・オブジェクトを検出する．
3. 筆記情報（筆記区間）: デジタルペンを使用し，参加者が筆記動作をしているか否かを検出する．

図 3 メッセージ通信の流れ

図 4 ビデオチャットツール

4.

プラットフォームに基づくシステム開発構築したプラットフォームに基づき，CSCL シス
テムで特に重要な学習ツールとして，ビデオチャッ
ト，テキストチャット，音声会話履歴，Web ブラウ
ザ，共有ボードが実装されている．図 4 に示すビデ
オチャットツールでは，マルチモーダル情報管理機
構が提供する情報を活用し，参加者の言語・非言語情報をリアルタイムに表示する．開発者はシステムに共通の認証処理等を意識することなく，学習目的に応じてこれらの基本的なツールの拡張や独自の学習ツール開発に専念できる．

5.

まとめと今後の課題

本研究では開発者が参加者の言語・非言語情報にアクセスし，学習ツールを開発するためのプラットフォームを構築した．
今後は，言語・非言語情報を統合的に解釈する機構を備え，協調学習のインタラクションを支援するための仕組みについて考察していきたい．
参考文献(1) Gatica-Perez, D.:”Automatic nonverbal analysis of socialinteraction in small groups: A review”, Image and VisionComputing, 27(12), 1775-1787, （2009）(2) 林佑樹, 小川裕史, 中野有紀子:“協調学習における非言語情報に基づく学習態度の可視化”, 情報処理学会
論文誌, Vol. 55, No. 1, pp. 189-198 （2014）(3) 角康之, 矢野正治, 西田豊明: “マルチモーダルデー
タに基づいた多人数会話の構造理解”, 社会言語科学
会誌, Vol. 14, No. 1, pp. 82-96 （2011）― 324 ―