情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2P-762024/2/28

VR 会議における他者との対面量と言語行動の対応関係の分析
渡会 隆哉1

鎌田 光太郎2

角 康之1

王 子洋2

由井薗 隆也2

高島 健太郎2

概要：本研究は，VR 会議において見る/見られるといった対面量と参加者の発話にはどのような対応関係があるのかを調査する．VR 環境のような実際に対面していない状況では，参加者は発話している参加者を見るのかは分からない．この調査を行うことで，VR 会議での言語行動や対面量が活発，非活発になる原因を知ることができる可能性がある．これが分かれば，言語行動や対面量を活発にするような環境を整えることができ，会議の質を高めることにも繋がると考える．分析を行うために 2 つの環境を用意して実験を行い，環境の違いによって言語行動と対面量の対応関係には違いがあるのかを調査した．また，対面量と発話時間の対応関係を可視化した．これにより，2 つの環境の分布には大きな差が見られることが分かった．壁提示環境では，参加者ごとで見ていた時間，見られていた時間，発話時間に大きな差は表れず，まとまった分布となっていた．机上提示環境では，参加者ごとで見ていた時間，見られていた時間，発話時間に差が表れることが分かった．これらのことより，壁提示環境ではまとまった行動が多くなり，そのため対面量と発話が均等にある可能性が示唆された．机上提示環境では，進行を行う参加者が現れ，発話に偏りが生じ，立ち位置によって対面量にも偏りが生じることが示唆された．

1. はじめにReality) 会議のような実際に参加者同士で対面しない状況
でも言語行動と対面量には関係があるのかは分からない．

本研究は，VR 会議において見る/見られるといった対面音声だけ聞こえていれば会議は行えるため，話している参量と参加者の発話などは，どういった対応関係があるのか加者の方を見る必要はなく，そのような状況にある参加者を調査した．

は実際どういった行動を取るのかは分からない．対面して実世界の会議では，他の参加者に視線をを向けるなどといない分，話を聞いていることや話を伝えようとアピール

いった非言語情報は，会議を行う上で重要な要素である．

するために真剣に相手の方を見る可能性も考えられる．

発話をしている参加者は，他の参加者を見ることで話をど以前行った研究 [2] では，発話行動と社会的手抜き [3] のう展開するかを伺う．また，話者を見ている参加者は，相認知を調査し，VR 環境の環境設定によっては言語行動は，手に視線を向けることで話を聞いているという態度を示参加者を評価する指標となり得ることが示唆された．もうすことができる．このように，非言語情報はコミュニケー

１つ以前行った研究 [4] では，見る/見られるといった対面ションにおいて重要な情報である [1]．

量に着目し，社会的手抜きの認知や会議の質に対面量は関また，会議において，発話などの言語行動も重要な要素係があるのかを調査した．結果として，VR 環境の環境設である．発話をする量によっては，その参加者の印象は変定では対面量は参加者を評価する指標となり，会議の質と化することが考えられる．発話量が大きくなればそれだけも相関関係があることが示唆された．しかし，これらの研会議に真摯に望んでいたことが伺え，発話量が小さけれ

究では言語行動と対面量の別々に着目していたため，それば，会議に対して参加意欲がさらに，発話をしている際はぞれがどういった対応関係になるかがわかっていない．

他の参加者の様子を伺いながら発話することで相手に話をそこで本研究では，VR 会議において対面量と言語行動振るなどの行動も行いやすくなる．このように，非言語情にはどういった対応関係があるのかを調査する．この関係

報と言語情報は密接な関係であり，発話行動を取ることで性を明らかにすることができれば，VR 会議において参加非言語行動も促される．発話を多く行っている参加者は多者がどういった行動を取っているのかを明らかにすることくの視線を集めることが考えられる．しかし，VR(Virtualができる．参加者がどういった行動を取っているのかを明1
2

公立はこだて未来大学 システム情報科学研究科
北陸先端科学技術大学院大学 先端科学技術研究科© 2024 Information Processing Society of Japan

らかにすることができれば，参加者の行動に合わせた会議

960

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2P-76
2024/2/28

環境を作ることができ，会議を行いやすくすることに繋がる可能性がある．また，VR 会議での言語行動や対面量が活発，非活発になる原因を知ることができる可能性がある．
これが分かれば，言語行動や対面量を活発にするような環境を整えることができ，会議の質を高めることにも繋がる．

2. 関連研究2.1 グループワークでの言語行動と非言語行動
榎本らの研究 [5] では，日本語多人数会話における視線行動を分析し，話者交代と視線にはどういった関係があるのかを調査した．その結果，話者が視線を向けている参加者が次の話者になることが多いということが分かった．
このように，話者の交代というコミュニケーションを円滑に進める上で重要な工程にも，視線が関係している．こ3. 実験
3.1 会議環境VR 会議を行うための仮想環境には Mozilla Hubs*1 を用いた．VR 環境には図 1，図 2 と２つの VR 環境を用いた．

2 つの VR 環境には，砂漠生き残り課題を説明するホワイ
トボード，テーブル，図 3 のようなアイテムの 3D モデルとアイテムに関する専門家の意見が書かれたポスター，水槽と小説が書かれたホワイトボードが配置された．テーブ
ルとアイテムの 3D モデルはセットであり，これらの配置を変えることで，2 つの環境を設定した．以下が 2 つの環境の違いである．

• 壁提示環境（図 1）：アイテムとアイテムに関する説明情報を記載したポスターを部屋を取り囲むように周囲のことから，発話という言語行動と見る/見られるといったの壁に配置した環境．情報収集のために参加者が散策

対面量には密接な関係があると考える．そのため，本研究では VR 会議でも言語行動と対面量には関係があるのか，関係がないのかを分析する．

することが期待される．

• 机上提示環境（図 2）：アイテムとアイテムの説明情報用紙を部屋の中心のテーブル上に並べ，密集させた環境．参加者全員がテーブル周辺に集まって議論を行う

2.2 VR でのグループワークに関する研究ため，参加者同士の距離は近く，移動やグループの分

Wallace と Maryott の研究 [6] では，仮想環境のグルー裂は抑制されると思われる．

プワークの質とアバターの外見には関係があるのかを調査した．異なる民族のアバターを用意し，グループワークに参加する上でどのアバターを利用したいかを調査した．結果として，参加者は自分と似た外見のアバターを好むことが分かった．また，他の参加者のアバターの見た目は，グループワークに対する意欲にも影響があることが分かった．このように，アバターの見た目は会議に対する意欲に関係する可能性がある．
そこで本研究は参加者のアバターは全て同じシンプルな見た目にし，参加者に余計な影響を及ばさないようにした．

Han らの研究 [7] では，VR 環境のデザインが参加者に影響を与えるのかを調査した．仮想環境をパノラマの屋外仮想環境，パノラマの屋内仮想環境，広さに制限がある屋

2 つの VR 環境の違いにより，参加者の行動は影響を受けることが予想される．以前我々は，この VR 環境の違いは発話権取得失敗にどのような影響を与えるのかを調査した [8]．本研究では，VR 環境の違いによって，言語行動と対面量の対応関係は異なるのかを調査する．

VR 会議では図 4 のような，参加者に与える影響を最小限にするために白色のシンプルなアバターを使用した．胸のアルファベットと頭の上に浮かんでいるボードからどの参加者か識別することができる．また，発話を行うとアバターの上部が点灯する仕様になっている．さらに，顔の向きが分かるようなデザインのため，誰がどこを見ているのか概ね分かるようになっている．

外仮想環境，広さに制限がある屋内仮想環境で実験をした．
その結果，パノラマ環境のような広々とした空間の方が参加者同士で同期的な動きがあり，広さに制限のある仮想環境よりも存在感や喜び，楽しさなどが大きく感じられるということが分かった．このように，環境の違いによって参加者の感覚に影響を受ける可能性がある．
そこで本研究は，2 つの仮想環境を用いて，環境の違いによって対面量や言語行動に影響があるのか，また，対面量と言語行動の対応関係は 2 つの環境で異なるのかを調査した．

図 1*1© 2024 Information Processing Society of Japan

壁提示環境の様子

https://hubs.mozilla.com/961

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2P-76
2024/2/28

3.2 実験に使用した課題
VR 会議には Laﬀerty ら [9] によって開発された砂漠生き残り課題を編集して使用した．この砂漠生き残り課題は，砂漠で遭難した際に，生存するために必要だと考えるアイテムの選択をする課題である．本研究では会議開始前と終了後，参加者にアンケートを実施して選んだアイテムを答えてもらった．本実験では，10 個のアイテムがあるうちの優先度が高いものを 5 個選択するという内容に変更した．

3.3 参加者
図 2

北陸先端科学技術大学院大学 (25 人) および，公立はこだ

机上提示環境の様子て未来大学 (15 人) から計 40 人 (女性 8 人，男性 32 人) を募集した．実験中に，1 人の辞退者が出たため，合計で 39名となった．39 名の参加者が，8 グループ (4 名のグループが 1 つ，5 名のグループが 7 つ) に分かれて VR 会議を実施した．

3.4 手続き
参加者には全員，Web カメラ付きのパーソナルコンピューター（PC）を用いて実験に参加するように求めた．また参加者には実験中，WebEx*2 を用いて画面共有をしてもらい，この様子を全て録画した．

1 回の VR 会議につき参加者は 5 人で行い，合計で 8 回行った．会議中には，基本的に自由に話してもらうが，個人が特定できる情報などは話さないように制限した．また，参加者には ID を割り振って，その ID を使用してもらった．
実験の始めに参加者には WebEx と Mozilla Hubs に接続してもらい，そこで課題の説明を行った．説明が終わった
後，参加者には他の参加者とは相談をせず，15 分の時間を設けアンケートフォームで優先順位の高いアイテムを 5 個を選択してもらった．アンケートの回答後，40 分間の会議
図 3

アイテムとポスターの例を開始した．会議終了後，15 分の時間を設け参加者にグループで決定した優先度の高いアイテム 5 個をアンケートフォームで回答してもらった．グループで決定したアイテ
ムをアンケートフォームの回答後，15 分の時間を設け，自分は会議に貢献することができたかを評価する自己評価の項目が含まれたアンケートに回答するよう求めた．

4. 分析方法
4.1 対面量のデータ
実験で録画された，参加者の VR 会議での一人称映像からその参加者がどの参加者をどれだけの時間見ていたのかをラベリングした．ラベリングには ELAN*3 を用いた．参図 4

VR 会議の様子（アバターは頭上のボードと胸の文字で識別可能）

加者の 1 人称視点映像に，他の参加者が映り込んだ時点をラベルの始点として，映り込んだ参加者が視界から外れた*2*3© 2024 Information Processing Society of Japan

https://www.webex.com/ja/index.html
https://archive.mpi.nl/tla/elan962

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2P-76
2024/2/28

時点をラベルの終点とし，他の参加者を「見ていた」状態をし，どういったケースがあるのかを知る手がかりになるとラベリングした．複数の参加者が同じ時間に映り込んでい考える．

た場合は，複数人を見ていた状態としてラベリングを行った．なお，会議は各 5 人（1 グループのみ 4 人）で行われていたため，最小で 0 人（誰も見ていなかった状態）から5. 結果と考察
5.1 対面量の分布と言語行動の対応の可視化

最大で 4 人（4 人のグループのみ 3 人）を見ていた状態が対面量の分布と言語行動の対応を図 5 に示す．図 5 は，xある．他の参加者が視界に映り込んでいたかどうかを判別

軸が見ていた時間 (秒)，y 軸が見られていた時間 (秒) で構しラベリングを行ったため，参加者が実際に他の参加者を成され，それぞれの参加者がどういった非言語行動を行っ知覚し見ていたかどうかの判別はしていない，よって正確ていたかを視覚化した散布図である．x 軸の中央線は見てには，このラベルは参加者が他の参加者を見ていたといういた時間の平均値，y 軸の中央線は見られていた時間の平状態の近似である．

均値である．マーカーの大きさはそれぞれの参加者の発話

このラベリングデータからは以下のようなデータが得られる．

時間と対応している．それぞれの発話時間には正規化を行っており，最小値 0，最大値 1 となるようにスケーリン• 「見ていた/見られていた」時間（秒. ミリ秒）グしている．左の散布図が壁提示環境，右の散布図が机上ある参加者が他の参加者を「見ていた」時間は，ラベリ提示環境であり，それぞれのグループごとに色分けを行っングデータをそのまま参照することで得ることができる．ている．

また，「見ていた」時間は見られていた参加者側からすると「見られていた」時間であるため，「見られていた」時間もこのラベリングデータから得ることができる．
このデータから，参加者はどれくらい他の参加者を見ていたか，逆にどれくらい見られていたかを知ることができる．

4.2 言語行動のデータ
この実験では，参加者の発話も録音していた．そのため，記録データを用いて Whisper*4 や Adobe Premire Pro*5 で書き起こしを行った．書き起こしたデータから以下のデー

図 5

対面量の分布と対応する言語行動の可視化タを得ることができた．

• それぞれの参加者の発話時間（秒. ミリ秒）
このデータから，参加者が会議中にどれくらいの発話を行っていたのかを明らかにすることができる．

2 つの散布図を比較すると，分布が大きく異なっていることが分かる．左の壁提示環境は一部を除き参加者同士の分布は固まっている．一方，右の机上提示環境は参加者同士で比較的まばらな分布となっている．

4.3 得られたデータを用いて行った分析
言語行動と対面量の対応関係を理解するために以下の分析を行った．

左の壁提示環境では，左下の部分に分布しているグループがある．このグループは会議が早く終わってしまったグループであり，見ていた時間も見られていた時間も短く見る/見られるといった対面量を x 軸と y 軸にとり，壁なっている．その他の参加者は見ていた時間にも，見られ提示環境と机上提示環境 2 つの散布図を作成した．この散ていた時間にも大きな差はなく同程度の位置に集中してい布図を見ることで，見る/見られるという対面量には環境る．また，グループごとでも，見ていた時間と見られていによってどのような違いがあるのかを比較することがでた時間に大きな差はなくまとまった分布となっている．見きる．また，マーカーの大きさを発話時間の大きさと対応ていた時間も見られていた時間も長い参加者は，発話時間させる．そうすることで，対面量の分布と言語行動の分布も長くなっている．さらに，参加者ごとで発話時間には大を同時に理解することができる．また，発話時間が長い参きな差はなく，参加者たちは同程度の発話時間で会議が行加者は，見られている時間はどうなっているのかを確認すわれていたことがわかる．

ることができる．この分布を見ることでそれぞれの環境で一方，右の机上提示環境は，まばらな配置となっており，の傾向やグループごとの傾向，特徴的な参加者を知ること見られていた時間の平均値あたりに分布している参加者はができ，VR 会議での言語行動と対面量の対応関係を理解発話時間が短くなっている．発話時間が高くなっている参*4*5

https://openai.com/research/whisper
https://www.adobe.com/jp/products/premiere.html© 2024 Information Processing Society of Japan

加者は，見られていた時間が短い場合と見られていた時間が長い場合の両極端の位置に見られた．また，グループの963

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2P-76
2024/2/28

中で参加者ごとに発話時間には大きな差があり，発話時間面量には差が生まれ，会議を進行するために進行役のようが長い参加者と発話時間が短い参加者が極端に分かれていな参加者が表れ，発話時間にも差が生まれやすいのではなるグループが見られた．

いかということが示唆された．

5.2 壁提示環境での対面量の分布と言語行動の対応の考察

6. おわりに

壁提示環境では，参加者ごとで見ていた時間と見られて本研究では，VR 会議においての言語行動と見る/見られいた時間に大きな差はなく，まとまった分布となっていた．

るといった対面量の対応関係を分析し，VR 会議では発話また，グループごとでもまとまった分布となっている．こ

量によって対面量も変化するのかを調査した．この調査をれは，グループごとでまとまって会議を行っていたことが行うために，壁提示環境と机上提示環境の 2 つの VR 環境考えられる．会議中に違う場所に移動する時も，まとまっを用意して比較実験を行った．実験で録画した一人称視点て動いていたため，見られていた時間にも見られていた時映像を用いて，参加者の見ていた/見られていた時間を集間も大きな差はなかったのではないかと考えられる．さら計した，また，会議の発話記録を書き起こし，発話時間をに，グループ全体でまとまって行動していたため，発話す集計した．

る機会も均等にあったことが考えられる．

分析では，見ていた時間と見られていた時間を散布図でまた，見ていた時間と見られている時間は長い参加者は，可視化した．散布図のマーカーの大きさは，それぞれの参発話時間も長いことが分かった．この環境では移動を行う加者の発話時間に対応させた．これにより，見ていた時間機会が多いため，他の参加者の様子を伺うことも多くなる．

や見られていた時間によって発話時間はどのくらいの時そうした中で，発話をしている参加者を見る機会は増える間だったのかを理解することができた．また，会議環境ごのは自然であり，発話をしている参加者は他の参加者の様との傾向や，グループごとの傾向なども分析することがで子を伺うために他の参加者を見る機会が増えるというのもきた．

自然であるため，このような結果になるのは妥当であると考える．

壁提示環境では，参加者ごとで見ていた時間と見られていた時間ともに，大きな差はなくまとまった分布であるここのように，動きが促されるような環境では参加者は他とが分かった．また，グループごとで見ていた時間も見らの参加者の様子を伺いながら会議を進めるため，まとまっれていた時間ともにまとまった分布になることが分かっ

た行動が多くなり，結果的に見ていた時間と見られていた

た．さらに，発話時間には大きな差はなく，参加者たちは時間，発話時間が同程度になることが示唆された．また，同程度の発話をすることができていたことが分かった．こ見る/見られるといった行動を見ることで，発話時間も知れは，移動を行うことで，相手の様子を伺いながら会議にることができるということも示唆された．

参加するため，見ていた時間と見られていた時間は同程度になったのではないかと考えられる．また，まとまった行

5.3 机上提示環境での対面量の分布と言語行動の対応の考察動が多くなるため，発話機会も同程度あった可能性があることが示唆された．

机上提示環境では，参加者ごとで見ていた時間にも見ら

机上提示環境では，参加者ごとに見ていた時間と見られれていた時間にも大きく差が見られた．また，発話時間はていた時間ともに大きな差が見られ，ばらけた分布にな長い参加者と短い参加者の差が大きく表れた．これは，机ることが分かった．さらに，参加者間で発話時間に大きな上提示環境では立ち位置が一旦固定すると大きく変化する差が現れることも分かった．これは，参加者の立ち位置にことはあまりなく，基本は机側を見て会議会議に臨んでいよって見ていた時間と見られていた時間に変化があることたため，立ち位置によっては全く見られない位置になる場が原因であると考えられる．また，移動して会議を進める

合もあり，見る時間も長くなる参加者もいれば，視界にあわけではないため，会議を進めるきっかけとなる人が現れまり参加者が入らない位置だと見る時間も短くなる．よっ

やすく，そのため進行をする参加者は発話時間が長くなって，見る時間と見られる時間の差はそれぞれで大きくなってしまい，その他の参加者は発話時間が短くなってしまうたことが考えられる．また，机上提示環境では，移動をしことが考えられる．このように，机上提示環境では，立ちながら会議を行うわけではないため，話のきっかけを作る位置によって対面量には偏りが生じやすく，発話時間の差ような参加者が必要であり，その結果，会議を進行する役も生じやすくなる可能性があることが示唆された．となる参加者とそれ以外の参加者に分かれたことが考えら

このように，壁提示環境では，参加者同士がまとまってれる．そのため，グループごとで参加者の間で発話時間に行動しやすく，発話時間も均等になる可能性があることが大きな差が生まれてしまったことが考えられる．このよう考えられる．また，壁提示環境では見る/見られるといっに，机上提示環境のような移動があまり行われないようなた対面量から発話がどの程度だったのかがが予測できる可環境では，立ち位置によっては見る/見られるといった対能性があることが示唆された．そのため，壁提示環境のよ© 2024 Information Processing Society of Japan964

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2P-76
2024/2/28

うな動きが促されたような環境では，対面量を見ることで会議により積極的に参加しているかが分かるのではない[2]かと考えられ，会議を進める上での指標となり円滑に会議を進めることに繋がるのではないかと考えられる．また，

VR で会議において壁提示環境のような環境では，全参加者が均等に発話しやすい環境である可能性が示唆されたため，会議環境を用意する上でどのよう環境にデザインするかという際の手がかりになる可能性があるのではないかと

[3]

考える．
一方，机上提示環境では，参加者間で見る/見られる時間は偏りが生じやすく，発話時間にも偏りが生じやすい可[4]

能性があることが示唆された．これは，参加者の立ち位置が関係している．発話時間が長いのにも関わらず見られて[5]いた時間が短い参加者がいた．この参加者は図 6 のような他の参加者の後ろ側から参加しており，このグループで最[6]も発話時間が長く，他の参加者を見ながら会議の進行をしていた．このように，VR 会議では後ろから話しかけ進行[7]を進めるといったこともあるということが分かった．参加者の発話内容や会議の様子をより深掘りすることで，VR会議を進行する上での戦略をより理解することに繋がるのではないかと考えられる．

[8]

[9]

図 6(1967).
Kamada, K., Watarai, R., Wang, T. Y., Takashima, K.,
Sumi, Y. and Yuizono, T.: Explorative study of perceived social loaﬁng in VR group discussion: A comparison between the poster presentation environment
and the typical conference environment. IFIP TC.13 International Conference on Human-Computer Interaction(INTERACT). LNCS. Vol.14144, pp.115-134 (2023).
https://doi.org/10.1007/978-3-031-42286-7 7
Latané, B., Williams, K. and Harkins, S.: Many hands
make light the work: The Causes and Consequences ofSocial Loaﬁng. Journal of Personality and Social Psychology. Vol.37, No.6, pp.822–832 (1979).
渡会隆哉, 鎌田光太郎, 角康之, 王子洋, 由井薗隆也, 高島健太郎.: VR 会議における他者との対面量に着目した会議の質評価の試み. マルチメディア, 分散, 協調とモバイ
ルシンポジウム 2023 論文集. pp.1657-1665 (2023).
榎本美香, 伝康晴.: 話し手の視線の向け先は次話者になる
か. 社会言語科学. Vol.14, No.1, pp.97-109 (2011).
Wallace, P. and Maryott, J.: The impact of avatar selfrepresentation on collaboration in virtual worlds. Innovate: Journal of Online Education. Vol.5, No.5 (2009).
Han, E., Miller, M. R., DeVeaux, C., Jun, H., Nowak, K.
L., Hancock, J. T., Ram, N. and Bailenson, J. N.: People, places, and time: a large-scale, longitudinal studyof transformed avatars and environmental context ingroup interaction in the metaverse. Journal of ComputerMediated Communication. Vol.28, No.2 (2023).
鎌田光太郎, 渡会隆哉, 王子洋, 高島健太郎, 角康之, 由井薗隆也.: VR グループ・ディスカッションにおける会議
形態の違いがターンテイキングに与える影響. ヒューマン
インタフェース学会研究報告集. Vol.25, No.3, pp.97-102(2023).
Laﬀerty, J. C. and Eady, P. M.: The desert survival problem. Experimental Learning Methods. Plymouth (1974).

発話時間が長く見られていた時間が短い参加者の立ち位置

今後は，会議に対する満足度と発話時間や対面量とのとの関係を見ることを考えている．発話時間の差や対面量の差が生じる原因はその会議で納得していない面なども関係していると考えられる．そのためこれらの関係を調べることで，会議に対する満足度が言語行動や対面量に関係しているのか，それとも関係がないのかを知ることができると考える．この関係を調べることで，会議をより円滑に進め全員が納得できるような会議を行う手がかりを知ることに繋がると考える．
謝辞

本研究は，北陸先端科学技術大学院大学の令和 4年度萌芽的研究支援および科研費（21K11978、22H03634）の補助を受けた。
参考文献
[1]

Mehrabian, A. and Ferris, S. R.: Inference of attitudes
from nonverbal communication in two channels. Journal of Consulting Psychology. Vol.31, No.3, pp.248–252© 2024 Information Processing Society of Japan965