アバターとのギャップがもたらす空間的広がりに基づくオンラインコミュニケーション
研究代表者

笹井一

人

茨城大学大学院理工学研究科

1 はじめにコロナウィルス感染症による世界的なパンデミックによって，我々の生活様式は大きな変革を余儀なくされた．特に、感染症対策のためのソーシャルディスタンスを維持するために，オフィスに出社せずに自宅で業務を行うリモートワークや，教育においては教室に集まらないオンライン授業などが行われ，オンラインコミュニケーションが一気に普及することとなった．その一方で，オンラインコミュンケーションでは，相手とやり取り可能な非言語情報が少ないことや，通信による時間の非同期性・遅延などが加味されて，どこかぎこちなさが残るため，アジェンダや議案のはっきりしている間を埋めやすいコミュニケーションにおいてはよく機能するのに対して，自由討議や雑談のようなコミュニケーションには余り向いていないことが問題となっている．Society5.0 構想の基盤となっているメタバースやサイバー空間において効果的なコミュニケーションを実現するためには，雑談や自由討論，無言の空間共有など周辺的なコミュニケーションを如何にして情報空間上で実現するかが肝要であるといえる．
現在のオンラインコミュニケーションで主流となっているのは，Web カメラを用いたビデオ会議ツールである．ビデオ会議ツールは，複数名が Web カメラやマイクの音声を遠隔で送信しあうシステムとなっており，Web カメラ（多くはマイクが付属している）のみあれば使用することができるため容易に利用することができる．ビデオ会議ツールは主に，ビジネスの分野で発展してきたのに対して，よりプライベートなオンラインコミュニケーションは，ゲームを通して全く異なる進化を遂げてきた．ファイナルファンタジーシリーズ
を始めとする MMO(Massively Multiplayer Online)RPG では，プレイヤーが仮想空間上のキャラクターとなって，同じ空間上に存在する別なプレイヤー達とコミュニケーションを行うことができ，オンライン空間上にまさにサイバー社会ともいえる規模のコミュニケーションを生成している．ビジネスとゲームにおいてオンラインコミュニケーション技術の進展に差異があるのは，エンターテイメント性だけではなく，目的論的な性質が異なっているのではないかと考えられる．ゲームでは，目標や役割などが明確に分担されており，ある場面には必ず目標や役割などのフレームが明確に与えられている．これに対して，ビジネスなど実世界のコミュニケーションでは，明確な目的が与えられていないことや，誤りによって自分が背負うリスクが大きいことなどが要因となって，複雑な背景における慎重なコミュニケーションが必要となる．ただし，これは通常の対面コミュニケーションにおいても同様であり，ビジネスや恋愛など，よりリアリティの高いコミュニケーションに対して，サークル活動やサバイバルゲームのようなアトラクション等はコミュニケーションを容易にすることは想像に易いところであろう．このような問題に対して，コミュニケーションに関する心理学では，ゲーム要素をコミュニケーションに取り入れたり，アイスブレーキングと呼ばれる簡単なゲームを行ったりすることで解決を得ようとしている．さらに，ベンチャービジネスやアントレブレナー教育のような世界においては，ビジネスそのものをある種のゲームと捉えるゲーミフィケーションも一般的な考え方となっている[1]．しかしながら，このようなコミュニケーション方法や価値観そのものをフレーミングする手法に，コミュニケーションの文化的側面が毀損されるようなことはないのかどうか，という問題意識は，近年の文学作品や映像作品などに散見されるところでもあるし，そのようなことを指摘する哲学者も存在する[2]．このような背景から，近未来社会のモデルである Society5.0 に必要不可欠な課題として，ゲームやゲーミフィケーションのような強いフレームを導入することなく，既存社会のよい所を保存しつつ円滑にコ
ミュニケーションを行うため技術を開発する必要があると考える．
コミュニケーションに関する心理学的研究としてよく参照されるものに「スティンザー効果」がある[3]．
スティンザー効果は，会議室における着座位置の関係によって，相手に抱く印象が異なる可能性があるというものである．特徴的な着座位置として，以下のようなものがある．対面位置の相手に対しては，対立意見や感情を持ちやすくなるため，交渉や聴取などに向いているとされる．反対に，隣同士に着座すると味方とみなし，同調や肯定的な印象を抱きやすくなると言われている．このようなことから，同僚や上司などとの打合せはテーブルの角に座る 90 度の角度のコミュニケーションが良いとされており，実際のミーティング
1
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

などでそのような着座位置をとるように慣習づけられている組織もしばしば見受けられるほど，このスティンザー効果は実際のビジネス現場でコミュニケーションを円滑化する方法として明示的・暗示的に関わらず根付いているといえる．近年のコミュニケーション研究では，スティンザー効果は着座位置そのものよりも自分と相手の視線が大きく影響していることが分かってきており，スティンザーのいう角の着座位置は，視線が合ったり合わなかったりが実現されるような角度であると考えられている[4]．これに対して，ビジネスで用いられるビデオ会議システムでは，互いに常に対面している状態になっているため，常に視線が合っている状態となり，緊張が高まると考えられる．また，メタバースのような三次元仮想空間上では，アバターと呼ばれる仮想的な身体を用いてユーザが表現され，当然角度を付けたコミュニケーションが可能であるが，一方で，視線の表現能力に関する問題や，空間認知の臨場感の欠如などの問題から，スティンザー効果のような空間的なコミュニケーション促進効果は得られにくいと考えられる．
本研究では，上記の課題を解決する糸口を別役実[5]の寓話である「おいとけ様」に着想を得て，オンラインコミュニケーションに応用するコミュニケーション支援手法を提案し，その効果を検証する．

2 対話の媒介による非同期的空間拡張系
2-1 媒介的対話モデルとしての「おいとけ様」
別役実[5]の著作「道具づくし」は，日本各地で伝統的に使用されてきた道具をテーマにした寓話を集めたもので，内容はフィクションではあるものの，社会を巧みに風刺した有益なアイデアも多く含まれている．
「おいとけ様」はその中で紹介されている道具の１つであり，二人きりの対話を行う際に，傍らに置く木像のことである．二人は間に置かれた木像の方を向いて，「おいとけ様」に向けて互いの話したいことを話すことで，互いに目を合わせることなく対話することができ，それにより座が和むとされている．社会学者・哲学者の大澤[6]は、コミュニケーションにおいて相手と自分の関係だけに着目せず、取り巻く世界の不定性に着目して、積極的にそれを取り込むことで、ヴィトゲンシュタイン的なコミュニケーションの不可能性に陥ることのないコミュニケーションモデルを提案している。申請者は、「おいとけ様」が大澤の示した世界の不定性を積極的に呼び込む装置としてはたらく可能性のある道具ではないかと考えた。これは、容易に想像できる。例えば、キャンプファイヤーのたき火、暖炉のあるリビング、教会の像、コミュニケーションを和ませる媒介物を含んだシチュエーションは沢山ある。郡司[7]はコミュニケーションの成立過程における創造性を「外部」として説明している。外部は相手と自分の他者としてだけではなく、それが互いの共通基盤として形成されるコンテクストを積極的に無効化（脱色）する存在とされていることから、ここで一つの仮説として、90 度のコミュニケーションを成立させる過程は、相手と見える景色の間のギャップにあるのではないか、という考えが着想される。本研究においては、オンラインコミュニケーションにおいて、これまで Webカメラや資料の共有など、共通基盤やコンテクストにとって意味のあるものしか使用してこなかったところから脱却して、オンラインコミュニケーションを彩りあるものとする要素を見つけ出すことが目標となる。
本研究では，向かい合って話す限定された空間であるビデオ会議ツールと，カメラから画像認識した話者の動きに同期するアバターを題材として，おいとけ様的な状況を仮に想定し，実験を行うことで，不定な外部を取り込むことのできる空間的な広がりを仮想的に実現するアプリケーションの可能性を模索する．
2-2 ビデオ会議ツールを用いた媒介的対話実験
本節の内容は，研究代表者らが計測自動制御学会システムインテグレーション部門講演会にて成果発表を行った内容[8]について解説している．図は当該予稿論文に掲載したものを引用している．
まず，ビデオ会議ツールにおいて「おいとけ様」的な対話を実現するために，以下の２つの要件を定める：①相手の顔を見ないで，おいとけ様を見て話す．②おいとけ様は何もしない（「おいておく」だけ）．それらの条件から，本研究では，図 1 に示すような４つの実験条件を設定した：(a)同期ビデオ（Synchronous Video, SV）
リアルタイム映像を用いて，コミュニケーションを行う，一般的なビデオ通話の形式．
対面（対座）して会話を行う空間的配置に対応する．
(b)同期アバター（Synchronous Avatar, SA）
アバターソフトウェアの機能によるモーショントラッキング（Web カメラ）やリップシンキングを用いたリアルタイムコミュニケーション．こちらも対面した空間配置に対応する．

2
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

(c)非同期アバター（Asynchronous Avatar, AA）(b)の機能を停止し，あらかじめソフトウェアで用意されたまばたきや少々の動きのみを行う状態にした 3D モデルを表示する．おいとけ様条件に対応するが，まばたきなどの動作があるため、「おいておくだけ」ではなく，会話を聞いている印象となることを期待している．
(d)おいとけエージェント（Oitoke Agent, OA）
人間のキャラクターモデルではない，3D モデルを用いておいとけ様の道具感を強調した条件．
本稿の実験では，お地蔵様のモデルを使用した．会話を聞いているのではなく，「ただそこにある（いる）」という感じが強調された条件となっている．

図1

各実験条件に相当する空間的配置

本実験環境では，ビデオ会議システムとして Microsoft Teams を使用し，アバターソフトウェアとして，3tene[]を使用している．3tene はモーショントラッキングを利用して画面上に表示した．図 2 はそれぞれの条件を実際の実験環境上で示したものとなっている．

(b) SA：同期アバター(a) SV：同期ビデオ(c) AA：⾮同期アバター(d) OA：おいとけ画像

図２ 実験環境における実際の実験条件の様子
本稿で行った実験では，(a)〜(b)の各条件において，ランダンムに選んだテーマを用いてディベート実験

3
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

を行ってもらった．実験では，最初に 3 分間自由に会話をしてもらい，その後で 5 分間のディベートを行ってもらった．実験参加者は６名の大学生による４つのペアに参加をお願いした．それぞれの条件をランダムな順番で行ってもらった．各実験の後に，コミュンケーションに関する主観的評価をたずねるアンケートに回答してもらいデータを収集した．アンケート項目は，対話エージェントの実験によく用いられる質問項目を中心に相手のイメージを 4 つの概念に設計した．
Q1. 発話している人と，画面に表示されている人(もの)が一致していると感じましたか？（同期）Q2. 相手の意見にどの程度同意できると感じましたか？（同意）Q3. 相手の発言をどの程度理解できたと感じましたか？（理解）Q4. 相手と親しみやすいと感じましたか？（親密）そう思う ５ 4 3 2 1 そう思わない
図 3 に実験後に行ったアンケートの結果を示した．同期の項目によって，実験条件で設定した，同期非同期が認識されたことが確認できる．また，同期・非同期によって，親しみの度合いが分かること分かった．
しかしながら，理解や同意の項目においては，条件による違いはみられなかった．

同期

図3

同意理解親密実験後に行ったアンケートの結果（主観的評価）

図 4 に，録画映像からいくつかの量的指標を抽出した客観的評価値を示した．ここで，「発話回数」はディベートを通じた発話の回数をカウントしたものとなっており，話者の交替を 1 つの発話として数えている．
また，「話者の偏り」項目は，文字に起こしたスクリプトに含まれる文字数（つまり，発話された語数）の話者間の偏りを計算したものである．さらに，会話の盛り上がりを評価する指標として，「笑い」の起こった回数についても評価した．笑いの数え方は定義が難しいが，ここでは仮に，実験者が笑ったと主観的に判定したものを笑いとして数えることにした．結果として，条件 EA が他の条件に比べて値が高くなる傾向にあり，会話として盛り上がっていたことがうかがえる．
実験結果から，非同期アバターやおいとけ様に対しては，親しみを感じることはないが，特においとけ様を見つめることで，会話の盛り上がりを導出することができる可能性があることが分かった．また，同期ビデオや同期アバターの条件では，ディベートが長続きせず，早々に決着が付く，つまり片方が相手を論破してしまい，ディベートが持続しない傾向が見られた．これに対して，非同期条件では，時間いっぱいまで議論が持続し，決着が付かないことが多かった．さらに，同じ非同期条件でも，アバターとおいとけ様では，アバターの方で意見が対立しやすかったのに対して，おいとけ様条件では，新しい角度からの主張や，笑いが多く起こっていた．また，会話中で，「もう終わり？」「楽しい」などの発話が見られ，このことからも，天然知能モデルとおいとけ様条件は何らかの関係性があることがうかがえた．

4
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

発話回数

図4

話者の偏り

笑いの回数

客観的指標を用いた盛り上がり評価の結果

2-3 トランスクリプトの言語解析と考察
前節の末尾で議論したように，おいとけ様条件を用いたビデオ会議実験は，他の条件よりも盛り上がりや，和みといった効果があるのかについて，実験結果として保存している録画データを文字起こししたトランスクリプトを用いて，これを言語解析することにより詳細に検証する．トランスクリプトは一般的に話した内容などの音声を文字起こししたもののことで，会話分析の研究などでコミュニケーションを定性的に分析することが可能であり，実験結果の観察を補完することができると考えられる．
本研究ではまず，発話内容の形態素解析を行った．形態素解析では MeCab と呼ばれる汎用的な形態素解析エンジンを利用した．MeCab は形態素解析を行う際に辞書を使用する．mecab-ipadic-NEologd は，MeCab と共に使用することができる単語分かち書き辞書で，新語や固有表現に強く，語彙数が多いオープンソースソフトウェアである.本研究では MeCab 用の辞書として mecab-ipadic-NEologd を使用して解析を行うこととした．当該辞書を用いてテキストを分かち書きすることにより，採録されている大量の語彙や，固有表現によって，誤った形態素に分割されにくいため，より良い結果を生み出せるのではないかと期待して採用した．
本研究では東北大学乾・鈴木研究室で公開されている日本語評価極性辞書を利用した Sentiment Analysis ラ
イブラリである「oseti」を利用して，作成されたテキストの感情分析を行った．図 5 に実験協力者全員の実験毎の極性評価平均値のグラフを示す．実験 1〜4 はそれぞれ，1-SV, 2-SA, 3-AA, 4-EA に対応している．

図 5 発話の極性評価
前述の実験の結果得られたトランスクリプトの発話者ごとに計測するため，各データから発話者ごとの発5
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

話内容に分類し，評価極性の計測を行った．評価極性の計測は，各発話によって計測を行い，それをもとに時間ごとの発話における評価極性の推移を計測したものと，協力者の，実験毎に発話した内容全体から計測したものと 2 種類行った．実験 3，4 が他に比べて比較的にスコアが高い傾向にあることが確認できる.これは先述したように，相手が見えないことにより，相手の非言語的情報などといった社会的な手掛かりを得るのが，実験１や２に比べてより難しくなってくる.それにより，ディベートに対して平等に積極的な参加を促すことができ，図 1 において発話の回数が増えていく要因になり，ポジネガの平均値も増加したと言える．
話者と同期しないアバタのみを表示している実験 3 と、話者と全くかかわりのない 3D モデルを表示している実験４では、社会的な手掛かりを得る事が実験 1,2 に比べて難しくなっている.その為，オンラインディベートに積極的を促すことができている，または自分の意思を持った発言を行うことが出来ており，平等な参加を促進することはできていたと捉えることが出来る．
実験毎に発生した同時発言の時間のディベート時間に対する占有率を求めたものを図 6 に示す. 同時発話
時間の占有率は，レコーディングされたものから計測している．ディベート相手の発言の終わり際などに割り込むように発言を行い始めるような時間だけでなく，相手が発言中に対して，相槌や共感の意を表すような発言を確認できた時も同時発話として含むことにしている．図から明らかに，α以外では実験 2，3 で同時発言時間の全体に対する占有率が低い傾向にあることがわかった．逆に実験 1，4 では占有率が高くなっていることも確認できる．さらに，実験 4 の占有率が最も高く，先述したように同時発言の占有率が高いと，盛り上げっているという傾向があるため，実験 4 のおいとけ様条件が最も盛り上がっていたと考えられる．

図6

各ペアの同時発話占有率

実験 3 では社会的手掛かりなどの情報が少なくなってオンラインディベートに積極的に参加はすることができたものの，あまり盛り上がらなかったという分析結果となる.一方で実験 4 では，前節の予備的分析においても発話回数・笑いの回数ともに最も多く，また同時発話時間の占有率も高いことから，ディベートが盛り上がっていたと言える．また，実験 3，4 で社会的手掛かりが不足することによる効果がある程度現れていたのに対し，実験 2 では現れなかった要因としては，今回のオンラインディベート実験では友人同士で行ったものが多かったために，相手の情報をある程度最初から持っていたためアバターになっても影響が表れにくかったのではないかと考える.また，同様の理由で，実験１での占有率も高くなっているのも，最初からある程度のオンラインでも円滑なコミュニケーションが取れる間柄だったからだと思われる. 以上のことから考えると，評価極性の計測は，発言した量や発言の質的な要素を評価することは出来るものの，オンラインディベートの盛り上がりの評価にはあまり効果的では無かったと考察できる.一方で，同時発話は，相手の話終わりにかぶせて（食い気味で）自分の発言を始めた時や，相手の発言に対しての相槌などで起こる．一般に，オンラインコミュニケーションにおいては混戦や音声のぶつかり等を回避することも含めて，同時に発6
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

言する機会が対面型のコミュニケーションに比べて少なく，意識的に避ける傾向がある．しかしながら，それでも自分の意見を強く伝えたい場合や，相手に同調したい場合などでは，オンライン上でのコミュニケーションのために発言が重なり合って不便で多少抵抗がある場合であったとしても，発言をしてしまうほど盛り上がっているコミュニケーションになっていると言い換えることも出来ると考えられる．
2-4 「おいとけ様」効果を補完する対面実験
これまで述べてきた実験結果を補完するために，対面によるおいとけ様実験を行った[9]．対面によるおいとけ様実験は，図 7 に示すような，(a)対面して話す場合と，(b)おいとけ様を使用して話す場合の 2 つの条件を用いて行う．図 7(b)のおいとけ様条件では，これまで使用してきたアバターとの整合性を取るために，液晶モニター（27 インチ・4K 解像度）を用いて同じお地蔵様の 3D モデルを表示することとした．

(a)

(b)

図7

対面での実験の様子

実験は，オンラインコミュニケーションの時の反省から，ディベートではなくフリートークによって行った．フリートークでは，目の前にトークテーマの表を置いて，テーマを選択しながら会話を行ってもらい，終了後にアンケートに回答してもらうことで，対話の楽しさや満足度などを評価してもらった．今回使用したアンケート項目は以下の通りである．
Q1.実験前の相手との親しさ
Q2.フリートークを経てそれが変わったかQ3.５分で満足できたか
Q4.どのくらい楽しかったか？

7
公益財団法人電気通信普及財団研究調査助成報告書 第38号 2023年度

実験データは，9 組のペアで対面条件が 5 例，おいとけ様条件が 4 例取得することができた．図 8 に対面実験の結果を示す．まず図 8 左のグラフはアンケート結果を示している．青色が対面条件で，橙色がおいとけ様条件を示している．アンケートの結果から，全ての項目において，おいとけ様条件の方が高い平均値を示している（有意差の検定はサンプル数の不足によりできていない）．特に，「もっと長く話したい」「楽しかった」などの項目において，高い評価が得られており，おいとけ様条件は実際に話しやすさをともなうことが示唆されている．他方，図 8 右のグラフは，トークテーマの変更回数を示したものである．一般的にトークテーマを選択して会話をする場合，もしもトークが盛り上がったときには，同じトークテーマで長く話すため，テーマの変更は少なくなると考えられ，対話の持続性や盛り上がりを観測する上で有益なデータとなり得る．結果として，本実験ではおいとけ様条件の方が，トークテーマの変更回数が少なくなっており，結論として，2 条件の比較においては，おいとけ様を置いた方が，会話が盛り上がる，話しやすくなるのではないか，ということが考察される結果となった．ただし，今回行った対面におけるおいとけ様実験では，相手の姿が横目に見える状態（別役の提示した方法に沿っているものであるが）となっており，おいとけ様をずっと見続けることが難しく，「たまに相手の方を見てしまった」と報告した参加者も少なからずいた．しかしながら，相手の方を見続けることなく，かつ視線の置き所としておいとけ様が存在していることは，会話しやすさに影響していることは，参加者の報告からうかがえた．

Q1

Q2

Q3

Q4

平均︓4.0回

おいとけ様（橙）ではもっと話したい、楽しかったと思うポイントが⾼かった
図8＞

平均︓3.0回

１つのことについて⻑く話すおいとけ様条件は沈黙の回数が少なくなった

対面実験の結果

3 おわりに
本研究では，オンラインコミュニケーションとしてビデオ会議ツールである Teams を用いて，別役実の「おいとけ様」に着想を得た新しいコミュニケーション支援手法の実現を目指した実験を行った．結果として，おいとけ様条件は，それに類似する条件よりも会話を和ませ，盛り上げる効果があることが示唆され，オンラインコミュニケーションに使用できる可能性が認められた．これらの成果を国内会議において発表することができた．本研究では，実際にビデオ映像を映し合ったコミュニケーションに対して，おいとけ様条件が，一種のアイスブレイクとして有意に効果があるとまでは示しきれなかったが，視線を当てる対象としてそこに存在するにもかかわらず，それが背景（図地の「地」）として空間拡張を実現する装置となりうることは，実験を行った観察結果と郡司や大澤の理論を組み合わせることで，その可能性を見ることができた．さらに，本研究の後半では，対面実験によっておいとけ様の効果に関する検証の補完を行うことができた．オンライ
ンコミュニケーションの実験では，アンケート結果において，有意なおいとけ様の効果を確認することができなかったが，対面実験においては，会話の持続性が向上したり，楽しさや満足の向上につながったりと，おいとけ様のもたらす「和み」の効果は，利用者の主観的な認識にも表れることが分かった．今後の課題として，おいとけ様条件を実現するプラグインやソフトウェア，さらに本研究ではカバーしきれなかった仮想空間（メタヴァース）上におけるおいとけ様的コミュニケーションの試作などが挙げられる．引き続き，研究継続のための予算獲得と，さらなる実験データの蓄積を行っていくことが必要と考える．

8
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

【参考文献】[1] 井上明人, ゲーミフィケーション, NHK 出版, 2012.
[2] 郡司ペギオ幸夫, かつてそのゲームの世界に住んでいたという記憶はどこから来るのか, 青土社, 2022.
[3] Steinzor, B. The spatial factor in face to face discussion groups. J. Abnorm. Soc. Psychol. 45, 552–555 (1950).
[4] Kajimura, S. & Nomura, M. When we cannot speak: Eye contact disrupts resources available tocognitive control processes during verb generation. Cognition 157, 352–357 (2015).
[5] 別役実, 道具づくし, 大和書房, 1984.
[6] 大澤真幸, コミュニケーション, 弘文堂, 2019.
[7] 郡司ペギオ幸夫, 天然知能, 講談社選書メチエ, 2019.
[8] 笹井一人, 熊谷遼太, 鈴木優太, 柴田奎哉, “オンライン対話を和ませ共創する天然知能的傍観者,” 第23 回システムインテグレーション部門講演会, pp. 3047-3049, 2022.
[9] 熊谷遼太, 柴田奎哉, 鈴木優太, 笹井一人, “対話における持続と創造のための媒介者エージェント,” 第6 回共創学会年次大会講演論文集, pp. 62-65, 2022.

〈発題名

オンライン対話を和ませ共創する天然知能的傍観者,
対話における持続と創造のための媒介者エージェント

表資料〉

掲載誌・学会名等

発表年月

第 23 回システムインテグレーション部門講演会
第 6 回共創学会年次大会講演論文集

2022 年 12 月
2022 年 12 月

9公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度