関西地区

教育システム情報学会 2022年度学生研究発表会

円滑なコミュニケーションが可能な遠隔プレゼンテーション環境の構築
Construction of a remote presentation environment
enabling facilitated communication
古川 哲也*1， 西口 敏司*2， 橋本 渉*2， 水谷 泰治*2
Satoshi NISHIGUCHI*2, Wataru HASHIMOTO*2, Yasuharu MIZUTANI*2*1 大阪工業大学大学院情報科学研究科*1 Graduate School of Information Science and Technology, Osaka Institute of Technology*2 大阪工業大学*2 Osaka Institute of Technology
Email: m1m21a39@st.oit.ac.jp

Tetsuya FURUKAWA*1,

あらまし：既存の遠隔会議システムは対面時のコミュニケーションにおいて，重要とされている相手の行動や状態を把握することが困難である．そこで本研究では，個々の遠隔参加者の状態推定に基づくコミュ
ニケーション全体の状況推定と発表者への提示および，発表者から参加者への注意喚起のフィードバッ
ク機構の導入により，円滑なコミュニケーションが可能な遠隔プレゼンテーション環境を提案する．
キーワード：遠隔会議システム，コミュニケーション，状態推定，遠隔プレゼンテーション

1.

はじめに新型コロナウイルス感染症（COVID-19）が世界的に流行したことにより，空間を共有する対面コミュニケーションから Zoom や Google Meet などの遠隔会議システムを利用した遠隔地間での非対面コミュニケーションの機会が多くなった．
遠隔会議システムでは，参加者は画面越しのコミュニケーションとなるため，相手の顔や表情を見ながらのコミュニケーションが困難である点や，他者とのつながりを感じにくいと考えられる点など，非対面コミュニケーションに特有の問題が存在する．
例えば，遠隔会議システムを用いた遠隔講義では，講師は遠隔の複数の受講者に対して，講義資料を画面共有しながら講義を行う形式が多く，コミュニケーションが端末の画面越しでの対応となるため，講師が複数の受講者の対面講義と同等な状態を把握することは困難である．
そこで本研究では，遠隔講義や遠隔セミナーなどの遠隔プレゼンテーション環境において，講師が個々の参加者の状態および複数の参加者の状況を容易に把握可能とし，かつ，把握した状態や状況に基づき参加者にフィードバック可能とすることで，講師と参加者が円滑にコミュニケーション可能な遠隔プレゼンテーション環境を提案する．

2.

状態を改善するために，Web アプリケーションを介して参加者に注意喚起をフィードバック可能とする．
関連研究としては e ラーニング時の覚醒度推定を題材にした研究 1)があるが，リアルタイムに可視化するような形では実装されていない．
2.1 参加者の顔および視線検出
本研究では，顔検出および視線検出のために，OpenFace2)を利用する．図 1 に OpenFace による顔および視線検出の例を示す．

図 1: 顔検出および視線検出の様子
2.2 参加の有無の推定
参加者の参加の有無は，PC の前にいるか否かを，参加者の顔の検出の有無で推定する．

提案手法

本研究では，個々の参加者の状態を，参加の有無，画面注視の有無，メモ取りの有無，の 3 つの指標の組で定義し，これらの指標は参加者側の Web カメラで撮影した顔映像に顔検出および視線検出技術を適用して推定する．個々の参加者の状態から複数の参加者の状況を推定し，それぞれの推定結果を Web アプリケーションで可視化して講師に提示する．講師
は，提示された状態および状況に基づき，参加者の2.3 画面注視の有無の推定
参加者の画面注視の有無は，参加者が PC の前に存在し，かつ，参加者の PC の画面内に視線を向けているか否かで推定する．
2.4 メモ取りの有無の推定
参加者のメモ取りの有無は，参加者が遠隔ビデオ会議システムで講師のプレゼンテーションを聞きな

165

関西地区

教育システム情報学会 2022年度学生研究発表会

がら，手元でメモ帳などに記述している，あるいは，PC のキーボードで入力しているか否かで推定する．
これは，参加者が PC の前におり，自身の手元に視線を向けているか，またはキー入力しているか否かで推定する．
2.5 参加者の状態の可視化
講師による参加者の状態把握を容易とするために，講師の端末上に個々の参加者の状態および複数の参加者の状況を，前述の 3 つの指標に基づきリアルタ
イムに可視化する．個々の参加者の状態の可視化内
容は，3 つの指標それぞれについて，現在の有無，参加を始めてからの現在までの頻度，および，過去 10秒間の頻度である．また，複数の参加者の状況の可視化内容は，開始から現在までの複数の参加者の各指標の発現頻度，および，過去 1 分間の複数の参加者の各指標の発現頻度の 2 種類である．個々の参加者の状態は表形式，複数の参加者の状況はプログレ
スバーを用いて可視化する．表形式では，頻度によって 5 種類の色分けをしている．図 2 に，個々の参加者の状態を可視化した例，図 3 に複数の参加者の状況を可視化した例を示す．

図 2: 個々の参加者の状態の可視化例

3

実験

参加者の状態をリアルタイムに可視化することで，講師がどの程度自身以外の参加者の状態を把握することが出来たか評価するため，および参加者に対するフィードバックによってどの程度参加者の参加態度が変化したかを評価した．
遠隔プレゼンテーション環境として，今回の実験
では遠隔講義を対象とした．大阪工業大学の学生 6名に参加してもらい，1 グループにつき 3 名（講師役 1 名，受講者役 2 名）でゼミでの研究内容を題材に模擬プレゼンテーション授業を実施してもらった．
既存の遠隔会議システムのみを用いてプレゼンテーションする場合と，遠隔会議システムと提案したシステムを用いてプレゼンテーションする場合について，事後アンケートにより評価した．

4

実験結果と考察

まず，講師役の「受講者の様子に変化があったかどうか」というアンケート結果から，本システムなしの場合，5 人全てがわからないと回答したのに対し，本システムありの場合では 5 人中 3 人があったと回答した．つまり，本システムありの方が可視化した内容を元に受講者の様子の変化を捉えやすいという結果となった．次に，受講者役の「自身の受講状況に変化はありましたか」というアンケート項目について，本システム無しの場合 10 人中 2 人がはいと解答したのに対し，本システム有りの場合では10 人中 3 人がはいと答えた．実験結果から後者の方が受講状況に変化があった人数は多いものの，前者とあまり変わらない結果となった．

5

おわりに

本研究では，遠隔ビデオ会議システムを用いた遠隔プレゼンテーション環境でも講師が複数の参加者の参加状態や参加状況を把握可能なシステムを構築し，遠隔授業でも講師と参加者が円滑なコミュニケーションが可能な仕組みを提案した．実験結果より，提案手法が参加者の様子が把握しやすいことが確認された．一方，フィードバック機構については効果がみられなかった．今後の課題としてはシステムフ
ィードバック方法の見直しによる改善などが挙げられる．

図 3: 複数の参加者の状況の可視化例
2.6 注意喚起のフィードバック機構
講師は，図 2 に示すような個々の参加者の状態に基づき，各参加者の表にある 3 種類の連絡ボタンのいずれかを押すことで参加者の端末へ注意喚起のメッセージを送信することでフィードバック可能である．注意喚起のメッセージは，「真面目に授業を受けてください」，「発表内容に注目してください」，「重要な部分なのでメモしてください」の 3 種類である．

166

参考文献
(1) 寺井 省吾, 川村 亮介, 白井 詩沙香, メラサア リザ
デ, 武村 紀子, 浦西 友樹, 長原 一, 竹村 治雄, “顔表情および頭部動作に基づく e ラーニング時の覚醒度推定,” 情報処理学会第 82 回全国大会講演論文集
2020，pp.421-422, 2020.
(2) Tadas Baltruˇsaitis, Amir Zadeh, Yao Chong Lim, andLouis-Philippe Morency, OpenFace 2.0: Facial Behavior
Analysis Toolkit, IEEE International Conference on
Automatic Face and Gesture Recognition, 2018.