情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-52
2020/3/9

VR 環境におけるテキストコミュニケーションシステムのユーザ反応
青山悠佑 1

武川直樹 2

概要：対面での口頭会話においては，フォーマル，インフォーマルの場面に関わらず，自分が話したい話題を話すことができない状況がしばしば発生する．今話されている話題と別の話題について話したいと思っても，今の話題に発言が埋もれて無視されてしまったり，場違いな発言になり会話の流れを妨げたり，そもそも発言を遠慮してしまう場合がある．しかし，テキストチャットの会話では，自分の話したい話題について随時発言できる．本研究では，対面会話をしているときにテキストで自分の話したい話題を発言して，その発言を元として人が多様な話題を話すことのできるコミュニケーションシステムを構築することを目的とする．そのため，ユーザが VR 空間中に文字を入力した付箋紙を配置しながら会話ができる環境を試作した．本 VR システムを用いてユーザがコミュニケーションする行動の観察実験を行った．観察結果によりコミュニケーションするためのインタラクションデザインを検討する．

1. はじめに本システムは，対面での会話中に，話し出したい話題を音声会話以外に文字として表示させておくことができる．

リアルタイムの対面での口頭会話では，フォーマル，イまた，その空中に表示されるテキストを音声の会話中に自ンフォーマルの場面に関わらず，一度に発言できる人が１然と読むことができる．そのため多様な話題の展開，発展人に限られるため自分が話したい話題を話そうと思っても，につながると期待できる．

急に会話の中で話題を変えることは難しかったりする．あ
えて自分が話したい話題について話しをすると場違いな発

2. 関連研究

言となり会話を妨げてしまうことがある．そのため，会話関連する先駆的研究として，対面口頭会話と同時並行しに際してその様なことがないように気を使うスキルが要求てテキストチャットを併用した会議システムが試みられてされる．一方，対面会話とは異なり，テキストチャットでいる[1]．本システムの利用により，口頭での発言権を持たは，メインとなる話題の流れと別に，自分の話したい話題ない参加者がテキストチャット上で随時発言することが可を発言して，会話に割り込んだり，同時に複数の話題を会能になり，口頭発言者以外が意見表明を行うことのできる

話する使い方もされている．

機会を増やすことができた．小倉ら[2]は，テキストチャッ

本研究では，対面会話をしているときにテキストで自分ト中に主となる話題の他の話題を話しやすくなるように複の話したい話題を発言し，対面会話に割り込んで会話をす数のレーンを画面上に表示することで，主となる話題以外ることのできるような会話環境を作ることで，人が多様なの話題について話すことのできるチャットシステムを提案

話題を話すことのできるシステム構築を目指す，対面会話している．これらは，テキストを併用することで，随時テ中にテキストを併用するシステムには付箋紙を表示するた

キストで自分の発言をすることができる．また，テキストめのディスプレイが必要となる，スマートフォンなどでテとして話し出せなかった話題を残しておくことで，後からキストチャットを試みても，相手がスマートフォンやディ話題を随時取り入れて会話を展開できるメリットを持つ．

スプレイを確認しなければ，相手に自分が話したい話題なしかしながら，メインの話題を維持することを目的としてどを知らせることはできない，そこで，対面会話をしていおり,メインの話題に積極的に割り込んで自分の話したいる空中に人の発言を文字表示して対面会話にテキストベー話題を話せる機能は持ち合わせていない.したがってメイスの会話を導入することを提案する，空中に文字を表示すンの話題に沿っていない多様な話題について話し尽くせるるための手段は様々あるが，VR や AR の空間では空中にような会話環境ではなかった．

浮いた文字を表現することが可能である．

また，AR 空間でテキストを使うコミュニケーションを

本研究では，空中に浮いた文字を使いながら会話ができ支援するシステムの研究については，柴田ら[3]が AR のデる環境を VR 空間に試作した．試作システムを用い，空中ィスプレイ上に話題をテキストと表示することで会話の継に表示される文字を使うユーザのコミュニケーション行動続を行うシステムを開発している．このシステムは対面会の観察実験を行う．

話中の音声から会話中の話題を推定する．そして推定した話題自体とその話題に関係する話題を Twiiter のトレンド

1 東京電機大学大学院情報環境学研究科
2 東京電機大学システムデザイン工学部© 2020 Information Processing Society of Japanから抽出し，AR ディスプレイ上に表示することで会話継続を支援している．このシステムではユーザの過去の発言

977

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-52
2020/3/9を用いるため，これから発言しようとする内容を表示すると，付箋紙を回転するボタンが表示され，付箋紙の向きをことはない．そのため，話したい話題があったとしてもそ自由に変更できる．なお，ユーザの視線方向はユーザが頭の話題に展開することはない．したがって話題の多様性に部を回転することで行う．

は必ずしもつながるものではない．

3. 目的とアプローチ
本研究の目的は，対面会話中に空中に配置できる文字を使ったインタラクションを検討することである．
どのようなコミュニケーションが可能かを検討するために，VR 空間でユーザは自分の発言を文字として付箋紙に表示できるようにした．これにより，音声の会話に加えて

図 1

付箋紙の操作文字を使った非リアルタイムコミュニケーションを実現できる．本システムが VR 空間中で付箋紙のメタファを利用するのはブレインストーミングを，付箋紙メタファを用いて行う研究[4]に倣ったものである．また，システムでは，5. 実験
5.1 目的

その付箋紙を VR 空間の空中の自由な位置に自由な角度で構築したシステムを用い，VR 空間にユーザが作成した配置できるようにした．これにより，ユーザが付箋紙の配付箋紙をどのような位置姿勢に移動・配置してコミュニケ置と移動を行うインタラクションを探索することができるーションするかを探索的に調査することを目的として，ユと考えられる．

ーザによるコミュニケーション実験を実施した．また，この実験を行うことで，本システムがどのようなコミュニケ

4. システム実装ーションのタスク（雑談，議論，アイデア出し）に有効で4.1 システム構成あるかを議論する．

試作した本システムの構成は,Oculus 社の Oculus Go を5.2 方法使用し，ソフトウェアは Unity Technologies 社の Unity を用いて開発した．複数人で同じコミュニケーション空間を共 有 す る た め ネ ッ ト ワ ー ク と し て Photon

実験には本システムの知識を持たないデザイン工学を学
ぶ大学学部 3 年生 3 名に協力してもらった．

Unity

実験では，まず，図 2 に示すように同じ部屋で実験参加

Networking の SDK を使用した．また，VR 空間中の付箋紙に者 3 名に円形に向かい合うように椅子に着席してもらった．

音声による文字の入力をするために Google Cloud Speech

実験者は，実験概要の説明の後，参加者に HMD を装着しAPI を使用した．てもらいコントローラのボタンやタッチパッドの位置など開発したシステムでは Oculus Go の内臓マイクに音声をを確認しながら本システムの操作方法の説明をした．その入力すると，文字が書き起こしされ，VR 空間に付箋紙とし後，VR 空間で音声を付箋紙として表示するための操作とて表示される．ユーザが Oculus Go のコントローラを動か付箋紙の移動と回転の操作を練習した．これらの参加者へ

すと VR 空間に表示されるコントローラが連動して動き，の導入後に 3 つのタスクに従って実験を行った．

VR 空間のコントローラの先端から伸びるレーザーポイン
タを動かして付箋紙の表示位置・姿勢を変えることができ

タスク 1：音声と VR テキストの併用での自由コミュニケーション

る．付箋紙の内容，位置は Photon Unity Networking を通

参加者が同じ部屋で直接音声の話し声が聞こえる状況でじてリアルタイムにユーザ間で同期される．

本システムの VR 付箋紙を用いて会話する．参加者には直4.2 ユーザの操作手順

接話し合いながら本システムを使い自由にコミュニケーシ

ユーザが HMD を装着すると仮想空間内にコミュニケーョンを行うように教示した．会話時間は 20 分間であった．

ション相手となる他のユーザがアバターとして表示されてタスク 2：VR テキストのみでの自由コミュニケーショいる．この環境においてユーザは，HMD のコントローラをン利用し，VR 空間に配置されたボタンを押すことで，音声入参加者はそれぞれ別の部屋で本システムを利用する．本

力を起動し，音声を VR 空間に表示されている付箋紙に文システムは直接音声で会話する機能は持っていない．した字として入力する．また，表示された付箋紙はコントロー

がって直接音声の話し声が聞こえない状況である．本シスラの先端から伸びるレーザーポインタで指定して，コントテムの付箋紙のみを使って自由にコミュニケーションを行

ローラのトリガーを引きながらコントローラを動かすことうように教示した．会話時間は 20 分間とした．

で移動させ，メンバーとの会話ができるよう配置することができる．そのために付箋紙にレーザーポインタが当たる© 2020 Information Processing Society of Japan978情報処理学会 インタラクション 2020
IPSJ Interaction 2020

タスク 3：音声と VR テキストの併用でのブレインスト

3B-52
2020/3/9

すべての条件に共通して，ユーザは入力した付箋紙を，話題を振りたいアバターに向けて移動させていた．話題をーミング
参加者はタスク 1 と同様に同じ部屋で直接音声の話し声振られていないユーザには，アバターの間を付箋紙が行きが聞こえる状況で音声と本システムを利用した付箋紙を併来している様子として見ることができる．アバターに付箋用して会話する．タスク 1 とは異なり，本システムを使う紙を近づけるときに，１人のアバターのみに近づける場合ときの目標を明確に指示した．参加者には直接話し合いなもあれば，他の１人のアバターに近づけたあとに，もう一がら本システムを使いブレインストーミングを行うように方のアバターに近づけるように付箋紙を動かしたり，他の教示した．体験時間は 10 分間とした．

二人の中間に付箋紙を置くふるまいも見られた．

各タスクの間には 15 分程度の休憩と部屋の移動時間を付箋紙の配置は，初期設定ではそれぞれのアバターが円設けた．実験中の実験参加者の操作を後から分析するため形に並んでいる中央の空間，もしくはその空間の外側の空に，実験参加者がシステムを利用してみている映像を収録間に配置される．アバター間の中央の空間に付箋紙が配置した．図 3 のように実験中,VR 空間でユーザ同士のやり取されるときには，見る角度によって付箋紙が反転していたりが行われていた.3 つのタスクのすべてを終了後，実験参り，付箋紙がアバターに対して垂直の角度になり，全く読加者に口頭でインタビュー調査を行った．

めなくなることがある．アバター間の外側に配置されるときには，全員で付箋紙が読めるように配置された．
インタビューの結果，本システムを用いた実験参加者はコミュニケーションが成立していると感じていたと答えた．
その理由として，付箋紙の移動によって発言の宛先が理解できたことが挙げられた．他の誰かに付箋紙を読んでもらいたいときに，その人のアバターの方に付箋紙を移動させて，相手に読んでもらおうとしていた．また，付箋紙が他の人から自分の方向に向かってきているのを見たユーザは，相手が自分に対して話しかけていると感じていた．相互に

図 2

実験の様子

付箋紙を空中で移動させることで相互のやり取りの様子が付箋紙を行き交うことで理解できていた．このやり取りをしている様子をもう一人のユーザが見ると，二人がどんな内容の会話をしているのかを理解することができていた．
あたかも付箋紙をキャッチボールのようにやり取りすることが楽しいという意見もあった．
また，同時に話題が複数出てくるようなマルチスレッドな状況も起きていた．実験参加者は他の人の発言に反応を返すため，同時に複数の話題を維持していた．同時に複数の話題に応答するために，話題ごとに付箋紙の配置するスペースを分けるなどの工夫をユーザ自らあみだしていた．
これは，本システムが多様な話題の会話を支援していると考えることができる．
タスク 3 のブレインストーミングのときには，議論のテーマや話題を空間の上部に配置して全員で常に見えるようにしていた．そして，目の前のアバター間の中央で付箋紙

図 3

VR 空間でのユーザ同士の会話の様子のやり取りを行うことで話し合いを行っていた．このとき直接音声を使った会話では，どこに付箋紙を配置するとブ6. 実験結果と考察レインストーミングをしやすいか相談していた．ある程度
話し合い，まとまった事柄については改めて付箋紙にして映像とインタビューから，本システムの音声を入力して皆に見えるようにアバター間の円の外側に大きな壁を作る

付箋紙作成，VR 空間への配置，移動と回転の操作についように配置していた．実験参加者同士でブレインストーミて，実験参加者は，最初は操作に慣れていなかったが，次ングというタスクに合っている付箋紙の配置を模索しなが第に操作になれてスムーズに操作できていたことを確認しらスペースの使い分けをしていた．

た．

© 2020 Information Processing Society of Japan979

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-52
2020/3/9

7. まとめ
本稿では，VR 空間で空中に配置した付箋紙を使うコミュニケーションを提案した．実験の結果，ユーザは付箋紙を自由に移動させて付箋紙を相互に見せ合うことでコミュニケーションが行われることが分かった．また，ブレインストーミングのようにコミュニケーションのタスクを決めることで，会話のために付箋紙を配置するスペースとまとまった事柄を表示するためのスペースに分けて使うことが分かった．
今後，空中に浮いた付箋紙を使ったコミュニケーションがどのようなタスクに合っているのか調査する．
謝辞

研究議論をいただいた青木良輔客員准教授に深謝する．

参考文献
小林智也, 西本一志. Chatplexer: チャットを併用する口頭発表における発表者のための重要発言選択支援の試み. 情報処理学会論文誌, 2012, 53.1: 12-21.
[2] 小倉加奈代, 西本一志. Kairos Chat: 主観的時間の概念を導入したチャットシステム. インタラクション, 2010.
[3] 柴田有紀, 砂山渡. 発話内容に関する話題の提供による コミュニケーションの継続支援. SIG-AM, 2016, 12.09: 55-60.
[4] 伊藤栄俊; 大囿忠親; 新谷虎松. 実世界型電子付箋システム
における漂流型情報共有機構について. 日本ソフトウェア科
学会大会論文集, 2017, 34: 39-48.
[1]© 2020 Information Processing Society of Japan980