情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P072022/2/21

共有フィジカルフィードバック：共有仮想空間とフィジカルフィードバックの連携による一体感の創出
佐々木温子 1,a) 洪花 1 富杉正広 1

飛田博章 1

概要：移動時間の効率化や働き方の多様化，地域格差解消の施策として，オンライン上でのコミュニケーションの機会が増えている．例えば職場でのミーティングや商談，学校での授業がオンライン上で実施されている．多くのオンライン上でのコミュニケーションに使用されるクラウド型のビデオチャットシステムでは参加者は 2D 映像と音声の2 種類の情報を個別に受け取り，コミュニケーションを行う．しかし，対面でのコミュニケーションのように視覚と音声に加えて参加者同士が同じ空間からの得る一体感を十分に表現できないでいる．本論文では VR 共有空間を現実世界に拡張し，複数の双方向フィードバックを実現する．複数の双方向フィードバックにより共有出来る感覚を増やすことで既存のオンライン上でのコミュニケーションに比べ対面に近い一体感を得られることを目指す．

1. はじめに移動時間の効率化や働き方の多様化，地域格差解消の施じることが出来る．現実世界で風を発生させると 3D 共有空間で風が発生し共有出来る.こうした機能により，参加者同士が同じ体験をして同じ空間に居るような一体感がうま策として，オンライン上でのコミュニケーションの機会がれ，対面でのミーティングに近い効果が生まれる．

増えている．例えば職場でのミーティングや商談，学校で本システムが実現され 3D 共有空間と現実世界が双方向にの授業や英会話教室がオンライン上で実施されている．多動作することで対面での空間共有に近い感覚を得ることがくのオンライン上でのコミュニケーションに使用されるク可能になり，オンライン上でのコミュニケーションで対面

ラウド型のビデオチャットシステムでは参加者は 2D 映像に近い一体感を得ることが期待される．と音声の 2 種類の情報を個別に受け取り，コミュニケーションを行う．しかし，対面でのコミュニケーションのように視覚と音声に加えて参加者同士が同じ空間からの得る一体感を十分に表現できないでいる[1]．

2. システム概要
本システムは，VR 共有空間部とフィジカルフィードバック部に大別される．VR 共有空間部はネットワーク上の近年オンラインでの一体感の創出において 3D 共有空間

3D 共有空間であり，参加者はアバターを使用し同じ空間にが注目され，様々なサービスが登場している．仮想現実に居ることを実現する．また，VR 共有空間でのイベントやフよるアプローチとして「VRChat」ではアバターを使用し，ィジカルフィードバックの起動情報から参加者のフィジカ

3D 共有空間で他者とのコミュニケーションができる．

ルフィードバックシステムを操作し，動作を共有すること「Facebook Spaces」では自身の写真よりアバターを作成し，ができる．フィジカルフィードバック部は現実世界で参加

3D 共有空間で他者とのコミュニケーションができる．しか者の触覚や嗅覚の感覚を共有することを実現する．また，し，3D 共有空間の視覚情報を共有しただけにすぎず本質的フィジカルフィードバックの起動情報を VR 共有空間に送にはクラウド型のビデオチャットシステムと変わりがない．

信することができる．

また，拡張現実のアプローチとして「ビュー・ビュー・View」

本システムを動作させるためには，参加者全員が図 1 の[2]は，ネットワークを介してフィジカルなフィードバック

PC とフィジカルフィードバックシステムを 1 台ずつ用意を共有することが可能となっている．しかし，フィジカルする必要がある．PC は VR 共有空間と Web アプリケーシなフィードバックの共有が中心であるため，3D 共有空間にョンを起動する．フィジカルフィードバックシステムはマおける視覚情報が不足し一体感を十分に表現できていない．

イコン基盤である Arduino と各種デバイスの設定を行い PC

そこで，本論文では 3D 共有空間を現実世界に拡張し，と接続する．接続後は PC の Unity アプリケーションにて，複数の双方向フィードバックを実現する．複数の双方向フVR 共有空間名と参加者名を設定し利用する．この環境かィードバックにより共有出来る感覚を増やすことで既存サら参加者は複数の双方向フィードバックにより視覚，触覚，ービスに比べ対面の一体感に近づけることを目指す[3]．例

嗅覚，聴覚など感覚を共有する体験を得ることができる．

えば，3D 共有空間で花畑を歩くと現実世界で花の香りを感

1 産業技術大学院大学
Advanced Institute of Industrial Technology, Tokyo 140-0011, Japana) a2014as@aiit.ac.jp© 2022 Information Processing Society of Japan374

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P072022/2/21

図 1. 全体図とデバイスの機能役割

図 2. VR 共有空間イベントによる連動

3. システム実行例
本システムでは VR 共有空間とフィジカルフィードバッ
クシステムを連携させ，ネットワークを介して複数の参加者が 3D 共有空間と現実世界の感覚を双方向に共有できる．
3.1 VR 共有空間と現実世界のイベント連動
VR 共有空間と現実世界のイベントが相互に連動する動作について図 2 に示す．
VR 共有空間のイベントの現実世界との連動の詳細につておらず（図 2 の①），かつ，DC ファンが停止している状
態（図 2 の②）で，赤外線リモコンのボタンを押すこと（図2 の⑥）で，DC ファンを操作し送風を行う（図 2 の⑤）．
DC ファンの操作はシステムにより検知され，VR 共有空間内でも風が吹くエフェクトを発生しビュービューと風の音とともに木の葉が激しく揺らぎ始める（図 2 の④）．同様に，参加者が赤外線リモコンで DC ファンを停止すると，VR 共有空間内でも風が吹くエフェクトが停止する．
このように VR 共有空間とフィジカルフィードバックシいて説明する．参加者が VR 共有空間に入室した時点では，ステムの相互の連動により，参加者は視覚，聴覚，触覚のVR 共有空間内は風が吹いておらず（図 2 の①），フィジカ

3 つの感覚に刺激を感じることができる．

ルフィードバックシステムの Arduino に接続された DC フ
ァンは停止している（図 2 の②）．入室後一定時間が経過す

3.2 参加者間のイベント共有
複数の参加者が参加している場合，参加者間でイベントると（図 2 の③），風が吹くエフェクトが発生しビュービュが共有される．VR 共有空間内でのイベントは参加者全員ーと風の音と共に木の葉が激しく揺らぎ始め（図 2 の④）のフィジカルフィードバックシステムと連動し，ある参加参加者の視覚と聴覚を刺激する．さらに，フィジカルフィ者により発生したフィジカルフィードバックシステムでのードバックシステムでは DC ファンにより送風が行われイベントは VR 共有空間内に連動すると共に他参加者のフ（図 2 の⑤），参加者の触覚を刺激する．同様に，VR 共有空間内での風が吹くエフェクトが停止すると DC ファンも連動して停止する．

ィジカルフィードバックシステムと連動する．詳細は図 3で示し，風に関するイベントと香りに関するイベントについて，以下に説明する．

次に，現実世界のイベントの VR 共有空間との連動の詳細について説明する．参加者が VR 共有空間内で風が吹い© 2022 Information Processing Society of Japan375

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P072022/2/21

図 3. 参加者間のイベント共有
風に関するイベントが参加者間で共有される．VR 共有空間内で風が吹くと参加者全員の DC ファンが動作し，送ドバックシステムの 2 つの要素について説明する．
4.1 VR 共有空間風する．また，ある参加者が DC ファンを操作すると，VRVR 共有空間として，Unity を使用して PC 上で動作する共有空間内で風が吹くとともに，他の参加者全員の DC フVR アプリケーションを作成した．屋外を模した VR 共有

ァンも動作し送風が行わる．

空間内では，日中，夕暮れといった日差しの強さや雨，風風と同様に香りに関するイベントも参加者間で共有されなどの天候の変化が発生する． Unity アプリケーション内

る．参加者が VR 共有空間内で特定の場所にアバターを移で発生する天候変化やアバターの動作等の情報は，Photon

動すると花びらが飛ぶエフェクトが発生するとともに，Cloud と い う ク ラ ウ ド サ ー ビ ス と PUN2 （ Photon UnityArduino に接続されたサーボモーターが動作し，スプレーNetworking 2）という Unity アセットを利用して，VR 共有のレバーを押すことで香り付きの液体が噴霧される．同時空間に参加する参加者全員に共有される．に，VR 空間を共有している他の参加者のサーボモーター

4.2 フィジカルフィードバックシステムも動作し，香り付きの液体が噴霧される．

フィジカルフィードバックシステムとして，赤外線受信参加者間でイベントが共有されることで参加者全員が器，DC ファン，サーボモーターを利用した香り発生装置を視覚，聴覚，触覚，嗅覚への刺激を同時に感じることがでブレッドボード上に配線し，Arduino によって制御するシきる．

ステムを作成した．Arduino は，VR 共有空間である Unity

4. 実装

アプリケーションによるリクエスト，または，赤外線信号本システムを構成する VR 共有空間とフィジカルフィー© 2022 Information Processing Society of Japanの受信を契機に，接続された DC ファンおよび香り発生装置を動作させる．

376

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P07
2022/2/21

図 4. システム間の連携
4.3 システム間の連携

ケーションはファイル存在確認リクエストへのレスポンス

VR 共有空間とフィジカルフィードバックシステムのシに応じて，デバイス操作を検知し，VR 共有空間内でのイベステム間の連携は，VR 共有空間が動作する PC とフィジカントを実行するとともに，VR 共有空間を利用する他の参

ルフィードバックシステムを制御する Arduino を接続する

加者の Unity アプリケーションに対して，PUN2 経由でイ方式とした．図 4 に示すように，Unity アプリケーションとベントの発生を通知する．これにより，VR 共有空間を利用

Python の Web アプリケーションは，同一 PC 上で http 通信する他の参加者の環境でもイベントおよびデバイスの操作にて接続する．また，PC と Arduino は，PC 上の上記 Webに関し同様の動作が実行される．

アプリケーションを経由してシリアル通信にて接続する．

5. 考察

Web アプリケーションは，Python の Web アプリケーション
フレームワークである Flask を利用して作成し，外部から本論文では，オンライン上でのコミュニケーションは対の リ ク エ ス ト を 受 けて 所 定の 処 理 を 実 行 す る ．ま た ，面より一体感が劣っていると考えオンライン上でのコミュArduino とのシリアル通信を監視する機能も実装し，動作ニケーションにて対面に近い一体感を生み出すべく VR 共させる．

有空間を現実世界に拡張し，VR 共有空間と現実世界のイ

4.3.1 Unity アプリケーションから Arduino への連携ベント連動，参加者間のイベント共有の実装を行った．VR

VR 共有空間内で特定のイベントが発生した場合，Unity共有空間と現実世界での双方向アプローチを実現し，VRアプリケーションは，Web アプリケーションに対して，対共有空間による視覚情報と連動した現実世界イベントによ応するデバイスを操作するためのリクエストを送信する．

り触覚と嗅覚を刺激することで，従来のオンライン上でのリクエストを受信した Web アプリケーションは，Arduinoコミュニケーションとは異なる空間共有を可能にした．こに対して，シリアル通信にて対象のデバイスを操作するリれらの機能実現により対面でのコミュニケーションで参加クエストを送信し，Arduino がデバイス操作を実行する．ま

者同士が同じ空間から得る一体感に近づけることを可能にた，Unity アプリケーションは，発生したイベントを PUN2した．

経由で VR 共有空間を利用する他の参加者の Unity アプリ

今回の実装では発生イベントは参加者の現実世界での行ケーションに通知する．

動や時限式起動でのイベント実行であり，参加者が行動す

4.3.2 Arduino から Unity アプリケーションへの連携ることで仮想現実と現実世界が連動したイベントが発生す

Arduino は，特定の赤外線信号を受信した場合，対応するる仕組みとなっている．今後は参加者がオンライン上でのデバイス操作を実行するとともに，接続された PC に対しコミュニケーション中に自然に空間を共有していることをてシリアル通信にて，デバイス操作を実行した旨のメッセ感じるイベントの起動方法の検討を行う必要がある．加えージを送信する．PC 上で動作しているシリアル通信監視機てストレスや緊張を緩和させる効果のあるフィードバック能が，Arduino からのメッセージを検知し，PC 上にデバイ[4]のように，現実世界へのフィードバック自体に意味や効ス操作実行履歴ファイルを作成する．Unity アプリケーシ

果を持つ実装を検討していくことで，より対面に近い空間

ョンは，フレームごとに Web アプリケーションへの上記フ共有の感覚のみならず対面で得られる以上の一体感を得る

ァイルの存在確認リクエストを送信しており，ファイルがことが出来ると考える．

存在する場合，特定のレスポンスを受信する．Unity アプリ© 2022 Information Processing Society of Japan377情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P07
2022/2/21

6. まとめ
本論文では 3D 共有空間を現実世界に拡張し，複数の双方向フィードバックを実現するシステムについて述べた．
複数の双方向フィードバックにより共有出来る感覚を増やすことで既存サービスに比べ対面の一体感に近づけることを目指した．こうした機能により，参加者同士が同じ空間に居るような一体感がうまれ，対面でのミーティングに近い効果が生まれことを確認した．
今後は，提案手法の有効性の検証や，フィードバックの起動方法，バリエーションを増やすことを予定している．

参考文献
[1]

赤堀渉, 中谷桃子, 橋本遼, 山下直美, 在宅勤務が職場の関係性及びメンタルヘルスに及ぼす影響, インタラクション 2021
論文集, INT21001, pp.1-10, 2021.3.
[2] 澤田枝里香, 淡路達人, 森下圭介, 古川正紘, 有賀友恒, 木村秀俊, 藤井智子, 武市隆太, 清水紀芳, 井田信也, 常盤拓司，杉本麻樹, 稲見昌彦, 風を利用した入出力インタフェース：
ビュー・ビュー・View, 日本バーチャルリアリティ学会論文
誌，13（3）, pp.375-383, 2008.9.
[3] 寺内涼太, 福島史康, 大津耕陽, 福田悠人, 小林貴訓, 久野義徳, 山崎敬一, 一体感を増強する遠隔ライブ参加システム,
インタラクション 2019 論文集，1B-32, pp.308-312, 2019.3.
[4] 三浦光梨, 光岡宏海, 北野るな, 栗原渉, 有山大地, 串山久美
子, オンライン会議における足元の触覚コミュニケーションシステムの提案, インタラクション 2021 論文集，1B16,pp.243-245, 2021.3.

© 2022 Information Processing Society of Japan378