関東地区

教育システム情報学会

2017年度学生研究発表会

ロボットによるプレゼンテーション動作に着目した代講システム
A Lecture Robot for Reconstructing Presentation Behavior in Lecture
石野 達也*1, 後藤 充裕*2, 柏原 昭博*1
Tatsuya ISHINO*1, Mitsuhiro GOTO*2, Akihiro KASHIHARA*1*1
電気通信大学 大学院情報理工学研究科*1
Graduate School of Informatics and Engineering, The University of Electro-Communications*2
NTT サービスエボリューション研究所*2
NTT Service Evolution Laboratories
Email: ishino.tatsuya@uec.ac.jp
あらまし：大学講義のプレゼンテーションで講義内容を的確に伝達して学生の理解を深めるためには，学習者の注意誘導や理解促進動作などのプレゼンテーション動作が講師には必要であり，学習の状態や講師の意図を考慮して適切に実施しなければならないが，必ずしもうまく行えるとは限らない．そこで，本研
究では講師の伝達意図，動作カテゴリ，プレゼンテーション動作を関係付けたモデルをデザインし，このモデルを用いてロボットによるプレゼンテーション代講システムを開発している．
キーワード：プレゼンテーション動作，ジェスチャ，注意誘導，理解促進，代講，ロボット

1.

解を促すプレゼンテーションを実施することができると考えられる．
Kamide ら(2)は，ロボットプレゼンタの視線行動により聴衆の視線をスライドやプレゼンタへ誘導し，聴衆の注意誘導を促すことに成功している．また，有馬(3)は初任教師と熟練教師の授業中での視線行動と思考について比較しており，熟練教師は意図的な視線行動を多く実施すると分析している．これらからプレゼンテーション中の視線行動やジェスチャといった非言語動作はやみくもに実施するのではなく，講師の意図を考慮して適切に実施することが重要だと考えられる．
そこで，本研究では，講師による動作が適切・十分かを診断し，診断結果に応じて再構成し，ロボットに代講させるアプローチを採り，図１に示す通り，診断・再構成のためのプレゼンテーション動作モデルを提案してきた(4)．本モデルは，伝達意図と動作カテゴリ，プレゼンテーション基本動作の 3 層の対応関係でプレゼンテーションに必要となる動作を表現するモデルである．

はじめに

プレゼンテーションは大学などの高等教育機関での対面講義において盛んに行われており，講師が受講者（以下，学習者）に対して，講義内容を伝達するためにプレゼンテーションが実施される．通常，講師が講義内容を表現したスライドを用いてプレゼンテーションを行う場合が多く，スライドには，イラストやグラフ，キーワードが散りばめられ，講師はこれらを口頭説明するとともに，スライドには陽に表現されてない事項についても口頭で補足説明を行う．そこでは，講師による重要箇所への注意誘導や講義内容の理解促進のための非言語動作が，学習者の理解を促すために重要となる．
しかしながら，講師によってはこれらの動作が不十分で重要な箇所をうまく伝えられずに進めてしまうことがある．そのため，伝えたい講義内容がうまく学習者に伝わらずにプレゼンテーションを終えてしまうことも少なくない．
そこで，本稿では，プレゼンテーション中の動作に着目して，講師の代わりにロボットが講義プレゼンテーションを分かりやすく再構成して実施するプ
レゼンテーション代講システムについて述べる．

2.

3.

プレゼンテーション代講システム

本システムは，注意誘導や講義内容の理解促進のために必要となる講師の動作についてプレゼンテー
ション動作モデルを用いて診断し，不適切・不十分な動作を検出・修正した後に，プレゼンテーションを再構成してロボットによる代講を実現する．

プレゼンテーション中の動作

McNeill(1)は，効果的にコンテンツの理解を促すようなジェスチャを，(a)Deictic: 強調部分を指差すな
どのポインティングジェスチャ，(b)Metaphoric: 3 つの主張がある場合に指を 3 本立てて表現したり，増減を表現するために手を上下に動かすような概念を表現するジェスチャ，(c)Iconic: 両手で大きさや長さを表現するジェスチャ，に分類している．講義でもこのようなジェスチャ分類に基づき，伝達しようとするコンテンツに合わせて適切なジェスチャを行え
ば，講義内容をより分かりやすく伝え，学習者の理

3.1 システム概要
本システムでは，フェイズ１：講師によるプレゼンテーションを収録，フェイズ 2：収録データの分析による動作診断・再構成，フェイズ 3：ロボットによるプレゼンテーションといった 3 つのフェイズを経てプレゼンテーション代講を実現する(5)．フェ
イズ１の収録では，スライドデータをスクリーンキ

33

関東地区

教育システム情報学会

OM6P"*+&+
RQ=
OM/C
F

2B
(24E

J6V=

J6XG

1AW:
?57

1AW:
0D7



S;

%

' .
39!'>K
<NIL

@,H85U#)
$

/CYT
1A


2017年度学生研究発表会



図 1 プレゼンテーション動作モデル
図 2 Sota によるプレゼン動作の表現例

ャプチャし，口頭説明の音声データを市販のマイクにより録音する．また，プレゼンテーション中の動作は Microsoft 社の Kinect によるスケルトンデータとして記録する．フェイズ 2 ではモデルを基に，スケルトンデータから求めたジェスチャ動作をスライドデータや音声データと照合し，適切な動作へ再構成を行う．例えば，スライド中の重要な部分を話しているが視線の向きやジェスチャなどができていない場合にはこれらの非言語動作を修正する．フェイ
ズ３では，前フェイズの再構成結果に基づき，Vstone社の Sota を NTT の R-env:連舞(6)を用いてプレゼンテーションを実施する．以降では，フェイズ 2 におけるジェスチャ動作の認識について詳述する．
3.2 プレゼンテーション動作の認識
本システムでは，時系列に収録したスケルトンデータから講師の実施したジェスチャを認識するために，Microsoft 社の Visual Gesture Builder(以下，VGB)を用いている．VGB は認識させたいジェスチャの特徴を持つスケルトンデータの開始時刻と終了時刻，そのジェスチャを表すラベルを指定することで，そのジェスチャを機械学習し，ジェスチャ認識 DB を作成するツールである．例えば，収録データ内の指差しを実行しているスケルトンデータの出現範囲を数箇所指定し，「pointing」のタグ付けを行うことで，指差しを認識する DB を作成できる．この DB を利用することで，講師のプレゼンテーション動作から特定のジェスチャが認識可能となる．
現在，McNeill(1)が分類したジェスチャを参考に指差しや数量，大小のプレゼンテーション動作の認識を可能とするため，それぞれ短時間のプレゼンテーションを収録したスケルトンデータを 5 セット程度用いて，データ中のジェスチャ出現範囲を最大 30箇所指定してジェスチャ認識 DB を作成している．
腕を大きく動かす指差しや大小などのジェスチャの場合，動作を正しく認識できる傾向にあるが，指を２本，３本立てて数量を表現するジェスチャの場合は動きが小さく，認識できなかったり，誤認識してしまう傾向にある．プレゼンテーション動作の認識をより向上させるために，学習データ数の増加や出現範囲の指定をより正確に行うことを考えている．

3.3 Sota によるプレゼンテーション動作表現
人間に比べて関節数が少なく，指を持っていない
Sota では，数量や大小を表現するのに機能的な制約がある．そこで，本研究では，認識した動作をロボットに表現可能な動作へ変換することで，講師の伝達意図を維持したまま，ロボットによる代講を実現する．図 2 の(a)，(b)に示す通り，体の目の前で腕を開いたり閉じたりすることで，大小を表現したり，数を表現する場合には(c)，(d)のように，腕を複数回上下に振るという表現を検討している．

4.

まとめ

本稿では，プレゼンテーション動作モデルに基づいて，講師のプレゼンテーション動作を診断・再構成するロボットによる代講システムについて述べ，講師の動作の認識方法や関節数の少ないロボットによる動作表現例を提案した．
今後は，本システムを用いたロボットによる講義代行の評価実験を行い，その有用性や注意誘導，ジェスチャによる講義理解への効果について検証していく予定である．
参考文献(1) McNeill, D.: “Hand and Mind”, The University ofChicago Press, (1992).
(2) Kamide, H., et.al: “Nonverbal behaviors toward anaudience and a screen for a presentation by a humanoidrobot”, Artificial Intelligence Research, Vol. 3, No. 2, pp.
57-66 (2014).
(3) 有馬 道久： “授業過程における教師の視線行動と反省的思考に関する研究: 熟練教師と初任教師の比較を通して” , 広島大学, Vol.63, pp. 9-17 (2014).
(4) 石野 達也ら： “ロボットを用いたプレゼンテーション代行による講義理解支援” , HAI シンポジウム 2017,
P-23(2017).
(5) 後藤 充裕ら： “プレゼンタ動作を再現・再構成するロボットプレゼンテーションシステム”, JSiSE 2017年度 第５回研究会,Vol.32, No.5 pp.121-128, (2018).
(6) 松元 崇裕ら： “「R-env:連舞 TM」クラウド対応型インタラクション制御技術」”, 2017 年度人工知能学会全国大会予稿集, (2017).

34