立石科学技術振興財団

助成研究成果集(第31号) 2022

［ 研究助成 (C) ］

深層学習による身体動作予測に基づく遠隔会議システムの開発と評価
Development of Remote Conference System with Body Motion Prediction Function
Based on Deep Learning Method
2207009

研究代表者
共同研究者

北陸先端科学技術大学院大学
助 教
知識科学系
(助成受領時：筑波大学 システム情報工学研究科
筑波大学

システム情報系

筑波大学
システム情報工学研究科
東京大学

情報理工学系研究科

王子洋

博士後期課程)教

川口一

画

博士前期課程

野秋

裕

己教

葛岡

英明

助授

これを解決するために，本研究では，参照的[研 究 の 目 的]

動作を自動的に検出または予測し遠隔参加者に遠隔会議とは，離れる場所にいる複数人がビ提示することでより円滑かつ効率的な遠隔会議

デオ通話などのシステムを使用し，ある議題にを実現することを目的とした。本研究の実施に対して意見交換・意思決定を行うことである。

あたって，主に二つの課題を行った。

そのうち，本研究では一人の遠隔参加者と複数

1．適切な参照的動作の提示方法の調査

人の現地側参加者の遠隔会議に着目した。この

2．参照的動作を検出/予測するモデルの構築

ような遠隔会議では，遠隔参加者がウェブカメ[研究の内容，成果]

ラを使用し，会議に参加することが多い。しかし，現地側参加者が会議室を歩き回って，実空間の物体を他者に示す参照的動作を行っている

課題 1．適切な参照的動作の提示方法の調査際に (例えば，会議室のホワイトボードに近づ

本課題では，検出/予測された参照的動作のき，ホワイトボードの上にある資料を指差しな適切な提示方法と提示内容を検討する調査をがら話す)，遠隔参加者はウェブカメラの狭い行った。

FOV などの原因により，参照的動作を出す人まず，遠隔会議システムの開発について，を把握できず，さらに，その人の会話内容や「Kubi」という商用テレプレゼンスロボットをニュアンスが理解できないことがある。一方，

用 い て，遠 隔 参 加 者 が「Kubi」に あ る タ ブ

遠隔参加者の存在感 (社会的プレゼンス) が通

レットのカメラの方向を変更することで，自ら常より薄いので，このような問題を生じた時，の視点を自由に操作できる機能を備える多人数

現地側参加者は気付かなくて，遠隔参加者をサ遠隔会議システムを開発した。その後，検出/ポートしないことが多い (例えば，ウェブカメ

予測された参照的動作の適切な提示方法と適切ラの方向を調整する)。そのまま会話を続けるな提示内容を調査するために，以下の機能を実と，意見交換の効率と会議の品質が下がる恐れ装した。
参 照 的 動 作 の 提 示 方 法 は，自 動 移 動 法 とがある。
― 1 ―立石科学技術振興財団

図3

実験の様子

10〜15 箇所の観光名所から希望の観光名所を選択して 10 時間の旅行を計画した。また，実図1

験参加者は個別の目標が提供されたので，自分PIP 提示方法の様子の目標をなるべく達成するように他の参加者と交渉することにした。なお，実験参加者がほかの実験参加者の目標が分からなかった。15 分経過後，旅行の計画が完成していなくてもタスクを終了させ，直ちに質問紙の回答を行った。
質問紙の内容はシステムのユーザビリティ，コミュニケーションの質，およびグループディスカッションのコンセンサスが含まれており，合図2

計 36 問があった。

四種類の条件

このあと，10 分間の休憩を挟み，次のタス

Picture-in-Picture 法 (PiP 法) の 2 種類としクを実施した。同じグループはこの旅行計画のた。自動移動法は，現地側参加者がある物体をタスクを 4 回実施し，遠隔参加者は上述の 4 種指している際に，「Kubi」が自動的にその人ま類の参照的動作の提示機能を備えた遠隔会議シ

たはその物体に向かうように回転することによ

ステムを介し現地側参加者と会話した (図 3)。

り，遠隔参加者の画面に直接反映する方法であ

結果は，遠隔参加者には自動移動法と比べる。一方，PiP は，参照的動作を発生した時，PiP 法のユーザビリティが高く感じた。自動移超広角カメラで記録した画像から対象者または動法では，ビデオ分析により遠隔参加者が意図対象物をクロップして，遠隔参加者の本来の画しない視点移動に戸惑う発言 (「故障している」

面に小さなウィンドウを設け，そこで表示する「動かされている」「嫌がら せを受けている」

方法である (図 1)等) が確認でき，視点の自動移動がユーザビリ

一方，参照的動作の提示内容は，参照的動作ティを低下させていることが考えられる。また，を行った人と参照的動作の対象物の 2 種類とし参照的動作を行った人を提示すると比較し，参た。そして，この四種類 (2 種類の提示方法と照的動作の対象物を提示した方は，ユーザビリ2 種類の提示の組み合わせ) の機能の効果を調ティが高い傾向にあった。この要因は現地側参査するために (図 2)，実際の遠隔会議を模擬加者がパネルに注視誘導をした際に，遠隔参加する実験が行われた。

者が視野を現地側参加者からパネルまで移動さ一回の実験では，遠隔参加者 1 人と現地側参せる必要があったことが考えられる。

加者 2 人のグループは旅行計画のタスクを実施

また，会話への参加機会について，PiP 法とした。実験参加者らは交通時間を考慮しながら，参照的動作を行った人の条件は，自動移動法と― 2 ―Tateisi Science and Technology Foundation

験から収集された時系列のデータを用いた (図5)。
このデータの使用にあたり，まず，手動で時系列データを動作セグメントに分割し，それぞれの動作セグメントが参照的動作であるかどうかをラベリングした。
その後，持ち上げ，置き，指差し，回転の四種類の動作を検出・予測する LSTM モデルを構築した。学習した特徴は 4 クラスあり，動作図4を行った人の 3 次元の 13 個のジョイント座標，課題 1 の結果

各ジョイントから隣接ジョイントへのベクター

参照的動作を行った人の条件より遠隔参加者はと距離 (例えば右肩−右上腕のベクター)，各高く感じた。このことから，PiP の方が部分的ジョイント隣接フレームのベクターと距離 (例に会話の円滑性が高いことが示された。

えばフレーム N の右肩−フレーム N+1 の右肩総合的に考慮した場合，PiP 法と対象物の条件は最も会話が円滑性であったことになる。このベクター)，及び各ジョイントから対象物へのベクターと距離であった。

れらの機能により，遠隔参加者は現地側参加者

モデルの構造は図 6 に示した。それぞれの特の参照的動作を見逃すことはなく，遠隔会議に徴 ク ラ ス は 右 半 身，胴 体，左 半 身 の 三 つ のスムーズに参加することができる。

LSTM モデルを作成し，そして三つの LSTMモデルの出力は一つの LSTM に入力した。さ課題 2．参照的動作を検出/予測するモデルのらに，それぞれの特徴クラスの LSTM モデル

構築の出力は Concatenate Layer に導入して最終出

本課題では，深層学習の手法を用い，現地側力を求めた。

参加者の参照的動作を検出するモデルを開発した。
参照的動作を検出/予測するための入力デー
タについて，モーションキャプチャシステムで取得したスケルトンデータはビデオデータと比較してノイズが少ないので，スケルトンデータを使用した。学習データは，旅行計画の模擬実

図5

深層学習用データの収集実験

図6

― 3 ―

深層学習モデル

立石科学技術振興財団

本モデルの出力について，動作予測を実現するために，動作セグメントのすべてのフレームの検出・予測機能を備えた遠隔会議システムを実現した。

を入力した後，可能性が最も高い動作が出力さ[今後の研究の方向，課題]れることではなく，各フレームに対して，可能性が最も高い動作を出力するとした。
本モデルの検証について，特徴クラス「各この二年間，新型コロナウイルス感染症のたジョイントから対象物へのベクターと距離」をめ，実験実施することが困難であった。そのた含めないモデル (モデル 1) とそれを含めるモめ，今後の課題として，システムの有用性を含デル (モデル 2) を比較した。損失関数についめ，ユーザー行為の変化を調べ，開発した参照て，指差しを有効に学習するために，指差しに的動作の検出・予測機能を備えた遠隔会議シスより高い重みをつけた。その結果，モデル 1 のテムの評価を実施する。

適合率は 64% で，再現率は 61.54% で F1 スコ
アは 62.75% であった。一方，モデル 2 の適合[成果の発表，論文等]率は 54.81% で，再現率は 81.43% で F1 スコア

・ Tzu-Yang Wang, Yuki Noaki, and Hideaki Kuzuoka.

は 65.52% であった。このことから，開発した2021. Exploring How to Display Referential Action

モデルの有効性が確認され，モデル 2 の方が精to Support Remote Group Discussion. In Asian CHI度が高いことが分かった。
そして，モデル 2 を課題 1 の PiP 機能を備えた遠隔会議システムに導入して，参照的動作― 4 ―Symposium 2021 (Asian CHI Symposium 2021),
May 8-13, 2021, Yokohama, Japan. ACM, New York,NY, USA, 10 pages. https: //doi.org/10.1145/34293
60.3468188