情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3P-74
2024/2/28

VR プレゼントレーニングシステム構築のための基礎検討
吉田圭吾 1

佐野睦夫 2

概要： 社会人になると学生の頃と比べて,上司とのコミュニケーション,プレゼンや会議での発言など人前で話す機会が圧倒的に増えるため,プレゼンテーション力が大きく求められる.また,人前で話すのが苦手という人の割合が多いことから,本研究では,音声,表情,視線,動作に着目し,プレゼンテーションを評価,フィードバックを行いトレーニングを通してプレゼンテーション力向上を図る.今回の実験から視線についてはフィードバックの優位性が見られたが,ドッグワード,表情については今後追加検証していく必要がある.

1. はじめに近年コロナウイルスの影響やオンライン化が促進したことによりプレゼンをする機会が増え,プレゼンテーショ

2. 関連研究
ビジネスプレゼンテーションにおける言語・非言語的能力の自動推定

ン力が大きく求められる.本番の環境に慣れるために経験

八木ら[3]は,プレゼンテーションデータから得られたマが必要だが,1 人で練習することは難しい.また,練習をしルチモーダル情報から「プレゼンテーション能力」を推定ていても実際に自分が良いプレゼンテーションができていするモデルの構築・評価を行った.発話内容に含まれる品詞るかの判断をすることは難しい.

情報,韻律情報,動作量をマルチモーダル特徴量として抽出

これまで対話エージェントによる QOL 支援システムといし,個人のプレゼンテーション能力値を推定するモデルをうものを開発してきた.QOL 支援システムとはユーザに今機械学習により構築した.評価実験の結果,「目的網羅性 ｣日あった出来事やコミュニケーションの内容についての対「内容ロジック」,「Visual＆Vocal」,「効果的演出要素」

話を行ってもらった後図 1 のエージェントと話し方のトレに関する評定値に関して,回帰タスクでそれぞれ最大ーニングを行ってもらう.トレーニングの内容としては少0.59,0.51,0.38,0.29 の決定係数を得た.しかし,ノンバー

し短い文章を伝えたい部分を強調するように発音してもら

バルな評価は行われていない.

うことにより会話の改善を行う.その後，エージェントから腹式呼吸の出し方の説明があり,ユーザにはプリントに書かれている絵本の文を腹式呼吸に意識しながら読んでもら

3. 提案手法い,腹式呼吸,表情,感情の測定から次の実験の際に振り返

3.1 目的りやアドバイスの提示をすることで改善を促進するという提案するトレーニングシステムを通して,実際の空間に近ものである.それらを応用し,今回はプレゼンテーション力い状況で発表を行うことで緊張をやわらげ,話し方トレーを評価[1]し,プレゼンテーション力の向上のためのトレー

ニングで強弱のつけ方や聞きやすい話し方を身につけまた,ニングシステムを開発する.トレーニングには VR を用いて実際の発表のフィードバックを行うことでプレゼンテーシ

NPC 一人一人に感情を持たせ,一人一人異なるリアクショ

ョン力を向上させることを本研究の目的としている.

ンをするような実際の発表に近い空間での発表トレーニン

システム構成グや話し方トレーニング[2],また発表内容の改善トレーニ

3.2 システム構成

ングなどを行う.

今回提案するトレーニンがシステムはプレゼンテーシ
ョンを実際に行い,それらを視線,表情,音声などから評価しそれらの評価点の低かった部分に応じてトレーニングを実施し再度プレゼンテーションを行い評価点の向上を目指す.
具体的にトレーニングは視線,表情などは図３の VR 空間を用いて複数の感情を持つ NPC が存在している実際のプレゼンテーションに近い状況でアドバイスとフィードバックを受けて発表し,1 人でいる時に実践経験を積めるようにするトレーニングであり,表情認識は OpenCV を用いて緊張や笑顔度を測定する.音声では以前研究に用いた話し方ト

図 1 対話エージェントによる QOL 支援システム

レーニングを用いる.フィードバックでは発表のドッグワ

1 大阪工業大学 大学院 情報科学研究科
Graduate School of Information Science and Technology, Osaka Institute ofTechnology
2 大阪工業大学
Osaka Institute of Technology© 2024 Information Processing Society of Japan1378

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

ードの回数,発表の構成や初めのつかみや始め方のレクチ

3P-74
2024/2/28

4.2 実験手順

ャーや相手を見て話していた割合や声の大きさのフィードバックを行う.

図 2 VR トレーニング空間図

図 3 実験の様子

話し方トレーニングでは 4 つのパートに分けてトレーニ

今回はどのようなトレーニングが適切でフィードバッングを行う.1 つ目のパートでは「私は友人と沖縄に 2 泊 3クが適切かということを実験を通して明確にするべく,参日の卒業旅行をしました」というような文の一部をより強加者にはまず,コンセンサスゲームというゲームを行なっく相手に伝えるように発音してもらうというものである.てもらう.コンセンサスゲームとは,与えられた課題につい2 つ目のパートではエージェントから腹式呼吸の出し方て,チームで協力しながら答えを見つけていくものである.の説明があり,腹式呼吸に意識しながら「のみのぴこ」とい具体的には砂漠に遭難したメンバーが,不時着した飛行機う絵本を一息で読んでもらうというものである.徐々に長の中から見つけた 12 個のアイテムの中で必要なものからくなる文書をどこまで読めるのかのチェックを行う.ただ重要度の高い順に１番から 12 番までの順位をつけ,それらし,人によって読むスピードが異なるため実験前にかなりが自分の考えているものと他の参加者が考えているものをゆっくりのスピード読んでいる音声を参加者に聞いてもら比較し,チームで話し合い一つの答えを導き出してもらう.

うことで読むスピードを揃えている.

それらをどのような経緯で答えを導き出したのかについて

3 つ目のパートでは,3 分ほどの文章を読んでもらう.ここ1 人 5 分以内に発表してもらう(図 4.1).その後,プレゼンテ

ではスピードの指定は無く,参加者には普通に読んでもらーションについてのアンケートを答えてもらう.発表した

うように伝えている.ここでは読んでいる最中に詰まった

プレゼンテーションを視線,表情,音声から評価し,後日そのり,噛んだ回数をチェックしている.ただし,2 回目と 3 回目

結果をフィードバックし,再度発表を行なってもらい 1 回で同じ文書を使用すると読み慣れてきてしまうことを懸念

目と 2 回目でフィードバックを受けてどのように変化するして,違う文章を用いている.最後に 4 つ目のパートではエのかを検証するものである.

ージェントと会話してもらい自分の考えていることを説明してもらい.その際に『えー』や『んー』などの意味を持た

4.3 アンケートない言葉をドッグワードといい,これらが多すぎると話がアンケート[4]ではプレゼンテーションを通して自分自長く感じたり,聞きづらいことがあるためこれらの回数を身と他の参加者を聞いてどうだったかの 2 種類のアンケー減らすように受けことをしてもらう.

ト(図 4.2)に回答してもらう(10 問程度).具体的には声の大きさやドッグワードの多さ,緊張していたかなどを 1〜5 の

4. 実験

5 段階で評価[5]してもらうものである.

4.1 実験対象者
参加者は 20 代の大阪工業大学に在籍している学生 4 名である．参加者には事前に実験の手順が書かれているプリント渡し,大まかな説明している.
実施期間は 2023 年 12 月，実験場所は執筆者の所属するゼミ室である． 実験の実施に当たり，全員に研究内容を説明し，実験参加への同意を得た．(承認番号 2023-10)© 2024 Information Processing Society of Japan1379

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3P-74
2024/2/28

表 2 視線推定結果

視線

参加者１ 参加者２ 参加者３ 参加者４straight(1回目)

42%

32%

57%

29%

straight(2回目)

76%

55%

85%

41%

5.3 声の大きさ
声の大きさは 4 人中 4 人とも大きい dB になっており(図5.4, 図 5.5)，アンケートでもフィードバック後の 2 回目の方が適切な声の大きさで発表できていたという結果になった.

図 4 アンケート用紙

図6

参加者 1 の 1 回目の声の大きさ

図7

参加者 1 の 2 回目の声の大きさ

5. 結果
5.1 表情認識
表情認識[6]では OpenCV を用いて,発表を録画した映像を 1

5.4 アンケート

秒間に 10 枚の画像に分割したものから 1 秒間隔に画像をアンケートの結果は以下に示す.

取り出しそれらをその区間の代表画像として表情認識を行う.表情は無表情,怒り,悲しみ,笑顔,驚き,嫌悪の 6 種類に分類する.1 回目と 2 回目の表情分析の結果を表 5.1 に示す.
表 1 参加者 1 の表情認識結果
無表情

怒り悲しみ

笑顔

表3

発表者アンケート１回目

発表者アンケート(1回目)

参加者１

嫌悪

参加者３

参加者４

4

4

5

4

詰まることなく発表できていたか

2

2

4

2

適切発表速度で発表できていたか

3

2

5

4

発表速度に最も当てはまるもの

驚き

参加者２

適切な声の大きさで発表できていたか

ちょうど良かった

少し遅かった

ちょうど良かった 少し早かった

ジェスチャーは良く使用しましたか

1

1

1

1

傍聴者を見て話しましたか

2

2

4

4

発表時、緊張はしましたか？

1

4

4

4

76%

0%

4%

18%

0%

2%

分かりやすく発表できましたか？

2

2

4

分かりやすいワードで発表できましたか

2

2

575%

0%

3%

19%

0%

2%

ドックワードは多かったですか？

4(24)

4(36)

論理的な発表ができていましたか？

5.2 視線

表4視線推定[7]には OpenCV を用いて発表中の視線を計測した(図 5.2).
表 5.3 は発表中に前を向いていた時間の割合を 1 回目と

2(70)

2

4
44(12)

2

54

発表者アンケート 2 回目

発表者アンケート(2回目)

参加者１

参加者２

参加者３

参加者４

適切な声の大きさで発表できていたか

5

5

54

詰まることなく発表できていたか

3

1

4

3

適切発表速度で発表できていたか

4

2

5

4

発表速度に最も当てはまるもの

ちょうど良かった

少し遅かった

ちょうど良かった 少し早かった

ジェスチャーは良く使用しましたか

3

2

3

1

フィードバック後の 2 回目に分けて示している.結果から傍聴者を見て話しましたか

3

4

4

4

発表時、緊張はしましたか？

133

3

視線はフィードバックで大幅に前を向いている時間の割合

分かりやすく発表できましたか？

3

2

3

4

分かりやすいワードで発表できましたか

435が増加している.

ドックワードは多かったですか？

3(19)

5(56)

論理的な発表ができていましたか？

表5
傍聴者アンケート(参加者１)

3

5

4

傍聴者アンケート
参加者２

参加者３

参加者４

5

5

5

詰まることなく発表できていたか

5

5

5

適切発表速度で発表できていたか

5

5ちょうど良かった

ちょうど良かった5
ちょうど良かった

ジェスチャーは良く使用しましたか

1

1

1

傍聴者を見て話しましたか

4

4

4

発表時、緊張はしましたか？

2

2

2

理解できましたか？

4

5

5

分かりやすく発表できましたか？

4

4

5

分かりやすいワードで発表できましたか

4

4

4

ドックワードは多かったですか？

2

3

2

論理的な発表ができていましたか？

4

4

5

表6

© 2024 Information Processing Society of Japan3

44(10)

適切な声の大きさで発表できていたか

発表速度に最も当てはまるもの

図 5 視線推定3(45)ドッグワード回数

ドックワード 参加者1

参加者2

参加者3

参加者4

1回目

4(24)

4(36)

2(70)

4(12)

2回目

3(19)

5(56)

3(45)

4(10)

1380

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

6. 考察
今回表情では嫌悪の割合を減らし笑顔の量を増やすことを目指していたが,表 5,1 よりほとんど 1 回目と 2 回目で変化がなく,少し笑顔の量が増えた.これらからフィードバックによる効果があったとはあまりいえない,発表中は基本的に無表情がおおかったので,今後はフィードバックにリラックスして,適切なところで笑顔を増やす発表できるようなフィードバックを行う方が良いと考える.
視線計測では表 5.3 よりフィードバックによる効果はかなり大きい事が結果から分かった.しかし,これが継続的にする必要があるため,トレーニングシステムでは VR ゴーグ

3P-74
2024/2/28

らすことができたが,１人は意識してしまってなのか逆にドッグワード増えアンケートでも聞きにくいという意見があったため,フィードバックの仕方や伝えを今後トレーニングに実装する際には考える必要がある.アンケートからは緊張していたと回答している人でも,聴講者側のアンケートでは緊張しているようには見えなかったと回答している人が多かったり，逆に緊張していなかったと回答している人の聴講者側のアンケートで緊張しているように見えたなど発表者と聞き手の感じ方の違いがあり,緊張に関してはトレーニングに有用な結果は得られなかったため今後再度予備実験などを通して検証いく必要がある.

ルで視線の計測を行う必要がある.
アンケートでは他の参加者の発表を聞いて,1 回目より 2回目の方が声の大きさは全員聞き取りやすくなっていると回答していたため,フィードバックによる効果があったと参考文献[1]

考えられる.緊張についてではあまり変化がなく,少し緊張が少なくなったと回答している人が 1 人いた.これらの結果から笑顔の量と緊張は少し関係していると考えられる.

[2]

また,ドッグワードでは 3 人はが減り,1 人は増える結果となった.これは,ドッグワードについてのフィードバックを行うことで減らそうと言う気持ちで減った人もいるが,逆[3]に意識してしまい,話が詰まってしまいフィードバックが良くない方向に作用してしまったと考える.実際にドッグワードが増えた参加者へのアンケートでは 1 回目より 2 回[4]目の方が詰まっていると感じたと回答している人が多かっ[5]た.

7. 今後の展望[6]

今後はこれらの実験結果をもとにさらに良いトレーニング
システムを作るべく，視線,表情,音声に加えてジェスチャーを評価項目に加えより良いプレゼンテーションを行えて[7]

いるかの調査を行っていきたい.また,音声についても,大きさに加えて強弱も測定できるようにし,発表の内容の評価[8][8][9]も同時に行っていきたい.

8. まとめ[9]

栗原一貴; 加藤公一; 大浦弘樹. SlideChecker: プレゼンテー
ション資料の基礎的な定量的自動評価手法. WISS 第 17 回
インタラクティブシステムとソフトウェアに関するワークショップ論文集, 2009, 89-94.
GLOBIS CAREER NOTE ,仕事が上手くいく話し方のコツとは？自分の考えや意見を正確に伝えよう！,〈https://mba.globis.ac.jp/careernote/1104.html〉(最終閲覧日2023 12 月 19 日)
八木悠太朗, et al. ビジネスプレゼンテーションにおける言語・非言語的能力の自動推定. In: 人工知能学会全国大会論
文集 第 33 回 (2019). 一般社団法人 人工知能学会, 2019. p.
4F2OS11a02-4F2OS11a02.
竹田尚彦, et al. プレゼンテーション演習における学生間相互評価の分析. 情報処理学会研究報告コンピュータと教育(CE), 2005, 2005.36 (2005-CE-079): 55-62.
山下祐一郎; 中島平. プレゼンテーションスキルと分かりやすさの関係分析: レスポンスアナライザによる評価とアンケート分析の比較. 日本教育工学会論文誌, 2010, 34.Suppl.: 5-8.
@fujino-fpu(秀則 藤野), Python と OpenCV を使った笑顔認識
https://qiita.com/fujino-fpu/items/99ce52950f4554fbc17d(最終閲覧日 2023 12 月 19 日)
HAKKY ,Dlib による視線方向推定, https://book.sthakky.com/data-science/eye-deirection-overview/(最終閲覧日2023 12 月 19 日)
栗原一貴, et al. スライド提示型プレゼンテーション方法論の拡張手法を定量的に評価する研究. 情報処理学会論文誌,
2010, 51.2: 391-403.
山下祐一郎. プレゼンテーションにおけるスライド評価と発表評価の一致率. 日本教育工学会論文誌, 2021, 44.Suppl.: 5-8.

今回はプレゼンテーション力の向上を目的とするトレーニングシステム開発にあたり,どのようなフィードバッ
クやアドバイスそしてトレーニングが適切であるかの検証を行うため,実際発表をしてもらい,視線や発話内容,表情,アンケートなどからフィードバックを行い再度発表をしてもらい,1 回目と 2 回目を比較することでフィードバックの効果を検証した.結果から視線については 1 回目と 2 回目で明らかに相手を見て話す割合が増え効果があったと言える.
しかし,これを継続的に行えるかなどは今後検証していく必要がある.表情についてはあまり変化が見れなかった.また,声量については 4 人とも適切な声量になる結果となった.ドッグワードについては 4 人中 3 人がドッグワードを減© 2024 Information Processing Society of Japan1381