「第29回マルチメディア通信と分散処理ワークショップ論文集」 令和3年10月

新生活様式におけるコミュニティ形成のためのサイバーフィジカル空間共有基盤の設計開発
天野 辰哉1 , a)

水本 旭洋1 , b) 山口 弘純1 , c) 松田 裕貴2 , d) 藤本 まなと2 , e)
安本 慶一2 , g) 中村 優吾3 , h) 田上 敦士6 , i)

諏訪 博彦2,5 , f)

概要：アフターコロナ社会では，人々のコミュニティ維持や心のつながり形成のための遠隔コミュニケー
ションが一層重要となる．特に近年の VR 技術の発展により，各人が存在する物理空間を常時センシング
し，精緻な空間データを仮想空間に持ち寄ることで互いの存在をシームレスに知覚する空間共有の実現などが期待されている．しかし，空間把握のための高精度 3 次元カメラや超臨場サウンドデバイス，ロボッ
トなどのセンサーデバイスが取得するデータは，各人のプライバシー要求を反映しながら共有されることが大前提となる．本研究では人間のプライバシー要求の自動理解と，それに基づく精緻空間データの共有・アクセス制御技術を統合したサイバーフィジカル空間共有基盤の設計開発を行う．3 次元 LiDAR による物理空間スキャンと，AR デバイスによる一方向の空間共有システムの簡易プロトタイピングを行い，同基盤の基礎性能評価を行った．その結果，無圧縮センサデータをそのまま利用する場合，約 360 Mbps のデータストリームが生じ，また点群のセマンティックセグメンテーションに 1 フレームあたり約 0.25 秒要することが分かった．

1. はじめに期待されるが，新しい生活様式においてもコロナをはじめとする感染症への対策は継続されるはずであり，そういっコロナ禍で人々の物理的距離に制約が生じ，結果としてた状況においても人々が「つながる」ために必要とする距

深刻なコミュニケーション上の課題を生むことが徐々に明離感を維持できる社会づくりが求められている．中でもビらかになってきている．ソーシャルディスタンシングによフォアコロナにおいて物理的に実現されていた「空間」やり社会的人間関係の維持が困難になっているだけではなく，「場」の共有を情報通信技術で実現できれば，そういった物

外出や行動を抑制されることにより間接的な精神的抑圧が理的距離による断絶を埋めることができると期待される．

発生し，自死や引きこもりの増加が懸念されている．また，これに対し，現状では超臨場感の研究開発が急速に進ん初等教育から高等教育における学校行事や勉学の遅滞もでおり，コロナ禍の中でも情報共有やコミュニケーション

深刻であり，個々の家庭では高齢者の孤立や家族間の分断をスムーズに行うツールが報道等で頻繁に紹介されている．

も生じている．アフターコロナではそれらの状況の改善が中でも仮想現実（VR）は有望な技術であり，仮想会議室，
仮想学校，仮想オフィスなど，人々が仮想的な空間を共有

1
2
3
4
5
6
a)
b)
c)
d)
e)
f)
g)
h)
i)

大阪大学，Osaka University
奈良先端科学技術大学院大学，
Nara Institute of Science and Technology
九州大学，Kyushu University
JST さきがけ，JST PRESTO
理化学研究所 革新知能統合研究センター，
RIKEN Center for Advanced Intelligence Project (AIP)
KDDI 総合研究所，KDDI Research, Inc．
t-amano@ist.osaka-u.ac.jp
mizumoto@ist.osaka-u.ac.jph-yamagu@ist.osaka-u.ac.jp
yukimat@is.naist.jp
manato@is.naist.jp
h-suwa@is.naist.jp
yasumoto@is.naist.jp
y-nakamura@ait.kyushu-u.ac.jp
tagami@kddi-research.jp©2021 Information Processing Society of Japanすることで，空間的ギャップを埋めることが可能となる．
特に 6DoF（six degrees of freedom）など，仮想空間における当事者行動の自由度は飛躍的に高まってきており，いわゆるテレプレゼンスの高度化も進んでいる．また，現在の 5G 通信のみならず，今後の Beyond 5G 通信や 6G 通
信では，高速無線ネットワークに裏打ちされた感覚コミュ
ニケーションも増加すると期待される．
しかし，それらにおけるコミュニケーションはあくまで仮想世界を介した仮想コミュニケーションであり，一定の目的（プログラム開発，議論，会社勤務など）を持った人々
がアバターなどを介して没入する環境である．したがって，

129

「第29回マルチメディア通信と分散処理ワークショップ論文集」 令和3年10月

我々の存在する物理空間やそこで発生しているイベント，元多様体とみなしし三次元形状を学習することで，RGB 画

あるいはその場の空気感といった，よりパーソナルで現実像・点群からの三次元メッシュ生成や物体分類さらにモー的な情報を共有することを目的としたものではない．我々

フィングなどを可能にする．PCN[5] は部分点群からの補の生活基盤はあくまで現実空間であり，ビフォアコロナと完された全点群生成手法である．本研究ではこれら高精度

同じような「場の共有」が求められている．その意味で，な 3 次元点群からの空間認識・物理形状再現技術を活用し，我々が存在するパーソナル空間そのものをシームレスに行

実空間のヒト・モノ・空間のリアルタイム理解を実現する．

き来可能な，新しい空間共有技術が必要とされている．例
する状況をセンシングし，その状況をスマートグラスやホ

2.2 プライバシー
Palen ら [6] は，新しいインタラクションシステムを開ログラム，立体ディスプレイなどを介してシェアすること発する際のプライバシー問題を検討するため，日常生活ができれば，家族間のつながりを感じることができ，またにおける対人関係のプライバシー管理を支配する 3 つの遠隔料理教室への参加といったように個人の精神的幸福度

緊張関係：Disclosure Boundary（どの状況でどの情報をや生活の質向上にも寄与できる．

公開するか），Identity Boundary（コミュニケーション相えば，離れて暮らす高齢者や家族の間で，キッチンで調理

本研究では，我々が存在・活動するパーソナル現実空間

手との関係に応じた公開するアイデンティティの特徴），

を適切なプライバシー制御のもとで共有することを可能

Temporal Boundaries（公開した情報に対する過去・現在・とする，サイバーフィジカル空間共有基盤の設計開発を行

未来における解釈や行動の間の緊張関係）について議論し，う．同基盤は，プライバシー機敏情報を含むフィジカル空
定し，それらが捉える高精細映像や音声などのセンシング

family intercom，active badges，mobile telephones の３つのケースに対する考察を行った．Squicciarini ら [7] は，SNS にアップロードされた写真のプライバシー管理に関し

データや，そのデータから直接あるいは間接的に推定されて，自分を含む複数人が映り込んだ写真の所有権および閲るコンテキストに対し，どの内容のデータをどのように加覧権を管理・制御する方法を提案した．また，Li ら [8] は，間を精緻にセンシング可能なデバイスが偏在する環境を想工するか，あるいはアクセス可能とするかの制御を行い，SNS への投稿画像に映り込む人物に対するプライバシー

パーソナル空間を提供するユーザーに安全安心を与える技

管理のためのぼかしが，ユーザ体験やプライバシー問題に術を開発する．

与える影響を調査した．Venkatesh ら [9] は，多人数が参3 次元 LiDAR による物理空間スキャンと，AR デバイ

加するビデオ会議を対象に，一般参加者とプライベート参スによる一方向の空間共有システムの簡易プロトタイピン

加者を区別し，プライベート参加者の視聴覚情報をリアルグを行い，同基盤の基礎性能評価を行った．その結果，無タイムに匿名化（映像情報はブラックアウト，音声情報は圧縮センサデータをそのまま利用する場合，約 360 Mbps

ピッチ変更）するシステムを提案した．Wang ら [10] は，のデータストリームが生じ，また点群のセマンティックセ

ビデオ会議などにおけるビデオストリーム内に映るユー

グメンテーションに 1 フレームあたり約 0.25 秒要するこ

ザの顔を，予め指定されたポリシーに従ってぼかすことにとが分かった．

よってプライバシーを管理するシステムを提案した．Du

2. 関連研究ら [11] は，監視カメラ映像内における身体領域やアクセサ
リなどのプライベートコンテンツを認識し，ぼかすことに

2.1 点群認識技術
深度カメラや LiDAR などのセンサにより得られる 3 次

よってプライバシー保護を行うシステムの提案と，システ

元点群を活用し，空間内の物体形状や人物の骨格・行動をを利用し，医学研究における映像データに映り込む人物の推定する研究がなされている．PointNet[1] は深層学習に顔領域を架空の人物とスワッピングすることで，顔のキー基づく入力点群の分類やセグメンテーション手法であり，ポイント抽出を行うことが可能な映像を生成しつつ対象者

入力点群の各点に対し畳み込み処理で特徴を抽出し，そのプライバシーを保護するシステムを提案した．監視カメ

ムのユーザ調査を行った．Zhu ら [12] は，Deepfake 技術

れらに対して Max Pooling を適用するにより点群全体のラに映り込む人のプライバシー情報を保護するため，コン特徴を抽出する．PointNet++[2] は入力点群に対して細ピュータビジョンに基づく画像加工の方法が多数提案され部から全体にかけて階層的に PointNet を適用することでている [13]．

ローカルな点群構造も学習している．これら PointNet な

しかし，これら既存研究は，自身の映像や音声のみを共

どにより抽出される特徴を用いて，三次元点群からの状況有する際のプライバシー情報管理しか扱っておらず，本研

認識や三次元形状復元する手法が提案されている．例えば

究が想定する，自身とその周辺を含む空間を他と共有する

P2P-Net[3] は PointNet++を利用しシェイプ変換を行う

際のプライバシー情報管理を扱っていない．

手法であり，入力点群の骨格点群や断面点群への変換を実現する．AtlasNet[4] は三次元オブジェクトの表面を二次©2021 Information Processing Society of Japan

130

「第29回マルチメディア通信と分散処理ワークショップ論文集」 令和3年10月

2.3 VR 共有空間の実現技術
遠隔空間における情報共有やコミュニケーションをス
ムーズに行う技術が急速に発展している．VR においては，

360 度視野の拡張やマルチユーザによる空間共有技術が提案，実装されている．例えば文献 [14] では，ビデオのタイ

QUIC [26] が標準化された事もあり，QUIC ベースの双方向通信フレームワーク WebTransport [27] や，WebRTC Data Channel を QUIC で置き換えた WebRTC
over QUIC [28] など新しいプロトコルも提案されている．
また，プライバシー的観点から中継サーバに情報が漏洩しリングや視点適応的な最適資源割当てなど，スケーラブルない E2EE（End-to-End Encryption）にも注目が集まっな 360 度映像のための通信技術を提供している．また，文ており，IETF においても 2020 年 11 月から SFRAME

献 [15] では，共有された VR 空間への入退室の仕組みを研(Secure Media Frames) WG が立ち上がり，議論を開始し究している．実在する家庭における入退室の振舞いに基づている．テレワークならびにオンライン化の普及に従い，き，VR 共有空間におけるホストとゲストの役割を区別す

これらのコミュニケーションプロトコルの重要性は向上しる枠組みを構成している．

ており，既存のプロトコルの見直し，ならびに新しいプロ
トコルの提案が活発に行われている．

2.4 音の共有
音声チャットを用いた遠隔コミュニケーションは，テキストチャットを用いるより強い社会的な繋がりを生み出す

2.6 インタラクション
Follmer らは，単身赴任などで遠距離になっている家族

ことが分かっている [16]．しかしながら，音声チャットでの一体感をサポートするために，遠隔にいる親子がビデオ

は，参加者数が増えるほど会話が混線する可能性が高かま

会議上で一緒に遊べる共有アクティビティを提案している

るため，音声会議や多人数参加型ゲームにおいては，発言[29]．また，Wallbaum らは，離れて暮らす祖父母と孫のの順番待ちや機会損失が生じ，没入感や満足感が失われる

非対面コミュニケーションにおいて，孫側の飽きを克服すという問題がある．この問題を解決するため，仮想空間上るために，おもちゃ箱型のビデオ会議インタフェースであのユーザの位置関係を基に音量調整や音声合成を行う研究

る StoryBox を提案している [30]．Hendriks らは，リモーが行われている [17], [18]．これらの手法では，混線の回避

トコミュニケーションを豊かにするために，モダリティのだけではなく，通信トラフィックを削減することもできる．

次元を高めるのではなく，気を散らす要因を減らすため

しかし，このような仮想空間上でのコミュニケーションでの触覚クッション型デバイスである Azalea を開発していは，会話相手に声が聞こえているか分からず不安を感じる

る [31]．しかし，これらの先行研究では，リモートコミュという問題がある [19]．また，音声コミュニケーションを

ニケーションをより良くするための新しいインタフェース

用いたシステム全般では，環境音や同居人の声が他者に聞やインタラクションが提案されているものの，双方のプラかれる可能性や，音声からジェンダーが他者に知られるこ

イバシー要求に対応するための仕組みについては，十分にとによりトラブルに発展する可能性など，音声を用いるこ検討がなされていない．本研究では，遠隔家族交流や遠隔とによるプライバシーの問題がある [16], [20]．

料理教室といったユースケース毎に，空間の人やオブジェ
クト毎に発生しうるプライバシー要求を整理・分析する．

2.5 ネットワーク
ITU-T による 2030 年に必要な新しいサービスや機能に関する報告 [21] によると，ホログラム通信や触覚通信（Telehaptics）などよりリッチで没入感のあるインタラク
ティブなサービスが普及することが予想されている．これ
らのサービスの要求（帯域や遅延など）は，エンド-エンド
やオーバーレイでの対応が難しく，ネットワーク内の機能との連携が必要であることが示唆されている．

そして，プライバシー要件を配慮しつつ，必要に応じてコミュニケーションの情報量やモダリティを調整し，より一体感のある空間共有を実現するための新しいインタフェー
ス及びインタラクションを設計・実装を目指す．

3. サイバーフィジカル空間共有とは
本研究開発では，センシングデバイスの高度化・データの精緻化により，サイバー空間とフィジカル空間の垣根を現在，テレカンファレンスアプリには WebRTC [22], [23]取り払い，各人が存在する現実空間をなるべく自然に共有が広く利用されている．WebRTC は本来，ブラウザ間ですることを実現する際に生じる技術課題の解決を図る．こP2P 通信を行うための通信フレームワークであるが，多れに対し，LiDAR や深度カメラなどを活用し，3 次元空間

人数でのコミュニケーションを効率良く実行するために，

理解技術，理解し獲得したデータを，人間のプライバシー

ネットワーク内に MCU（Multi-point Control Unit）や要求理解に基づき制御する人間のプライバシー要求理解技

SFU（Selective Forwarding Unit）を用いて中継する手法

術，および，それらのデータをセキュアに送受信するためが提案されており，これらのネットワーク機能を提供するのセンシングデータのアクセス制御技術が必要となる．こサービスも存在する [24], [25]．

れらについて以下で述べる．

近年，HTTP/3 で利用するトランスポート層である©2021 Information Processing Society of Japan

131

「第29回マルチメディア通信と分散処理ワークショップ論文集」 令和3年10月

3.1 3 次元空間理解技術

3次元深度計

3次元深度計カメラ

実空間のヒト・モノ・空間を正しく把握し空間データとして提供するための技術，ならびにその膨大なボリューム
を無線転送可能なレベルに圧縮・最適化する技術を確立す

スマート
スピーカー

る．特に 3 次元センシングに着目し，人の体幹・行動，予表情，モノの存在，空間サイズやテキスチャなど，プライバ

立体ディスプレイ
3次元深度計

シーを考慮しない場合に取得・推定可能なすべての情報を精緻ヒューマンデータ

3次元深度計カメラ

究極にセンシングする技術を達成し，現実空間のサイバーデータ化で最先端の技術を実現するとともに，膨大なデー

立体ディスプレイ

精緻ヒューマンデータ

タボリュームの最適化技術と組み合わせ，5G を想定した無線環境で実時間転送可能なデータ量に抑制する技術を主眼とする．

プライバシー
フィルター

パススルー

モノ・空間センシング

モノ・空間センシング

図 1 料理における空間共有（プライベート）

3.2 人間のプライバシー要求理解技術
各人のセンシングデータに対するプライバシー要求の自3次元深度計

3次元深度計カメラ

動理解と獲得技術を確立する．コンテキスト推定による状況理解技術の開発として，人間のプライバシー要求に影響

スマート
スピーカー

を与える行動・環境・ソーシャルコンテキストを獲得する手法を構築する必要がある．また，複合コンテキストによ立体ディスプレイるプライバシー表現モデルの構築において，プライバシー

3次元深度計非精緻ヒューマンデータ
点群化・アバター化

は個人の主観に依存するところが大きいため，プライバ
シーを複数の行動・環境コンテキストの複合により表現するモデルを構築し，プライバシーを左右する要因を明らか

精緻ヒューマンデータ

3次元深度計カメラ
空間ディスプレイ

プライバシーフィルター

人間理解に基づく
プライバシ要求理解にする必要もある．さらに，深層強化学習によるプライバ
シー要求獲得技術においては，プライバシー要求におけるモノ・空間センシング

各個人の嗜好や傾向を強化学習により獲得する技術を開発

図 2

料理における空間共有（パブリック）

する．
ユースケースでは，このようなケースにおいて，遠く離れ

3.3 センシングデータの通信技術た家族が，互いにお互いの空間を気軽に訪問できるように

サイバーフィジカル空間共有基盤においては，実空間のすることで，見守りや体験の共有ができるようにすること

ヒト・モノを把握しオブジェクトとして扱い，さらにそれを目的とする．例えば，お互いの家のキッチン・ダイニン

ぞれのオブジェクトに対して映像，点群など各センシング

グルームのみを共有するようにした場合，キッチン・ダイ

データが紐づけられている．それぞれのセンシングデータ

ニングルームにいるときのみ，互いの存在や体験（一緒にはエラーの許容度やプライバシポリシに違いがあり，それ料理をする，食事を摂るなど，図 1 参照）を共有できるたらを理解しつつ多対多で情報共有する必要がある．これら

め，プライバシーにも配慮することが可能である．

に対応するため，Stream をベースとした通信方式の適用に

3.4.2 遠隔料理教室
図 1，2 に家庭における料理の様子を異なる２つの状況（プライベートとパブリック）で共有する例を示す．図 1 のついて検討し，アプリケーションとの連携により，効率よくセンシングデータを送受信可能な基盤を設計開発する．

プライベートケースは，先に述べた遠隔家族交流であり，3.4 ユースケース
本研究で想定するユースケースの例として，遠隔家族交

すべてのセンシング情報（人の位置・体形・顔や行動，会話および空間データなど）は精緻なまま，あたかも同じ空流と遠隔料理教室について述べる．

間にいるかのように共有することが基本的に承認される．

3.4.1 遠隔家族交流
近年は，COVID-19 の影響により，地方に住む高齢者

一方，図 2 のパブリックケースは遠隔料理教室であり，3次元センシングで精緻に捕捉された顔や体形情報は抽象化が困難な状況に置かれている．クラスター感染のリスクにされ，同居する他の家族の存在や会話はフィルターされる．

より介護施設の利用は難しく，地方と都市の感染状況の違一方で臨場感の向上のため，包丁の動きやそれを追う視線

いによる温度差から，都市に住む若い世代が地方に住む高などは現実感をもって高精度に伝達される．

齢の家族を訪問することが憚られる状況になっている．本©2021 Information Processing Society of Japan

132

「第29回マルチメディア通信と分散処理ワークショップ論文集」 令和3年10月

4. サイバーフィジカル空間共有基盤の設計
開発
4.1 アーキテクチャ概要
図 3 にアーキテクチャ全体図を示す．本基盤は各ユーザの自空間に位置し，ユーザ側の自空間センシングデータからコンテキストを生成して他空間と共有したり，他空間から共有されたコンテキストを受け取って自空間と融合させるエッジサーバと，複数ユーザからの空間コンテキスト間の整合性を管理したり，エッジサーバと連携してエッジ処理の一部を負担することでエッジサーバーの負荷を軽減したりするクラウドサーバからなる．エッジサーバでは，
ユーザ実空間に配置された LiDAR やカメラ，マイク，あるいはユーザが装着する生体センサや特製の IoT デバイス（テイラーメイド IoT）からのデータを処理して自空間のコンテキスト表現に必要なセグメントを様々な表現方法（点群やテキストなど）で生成する．それらは実空間のオ
ブジェクトとして関連付けられ，空間的な相関関係を与えられたのちに，プライバシポリシ決定機構により送るべきコンテンツとその表現方法が決定される．クラウドサーバ
では複数の空間から得られるコンテキストデータ間の相関関係の整合性を管理する．
各エッジサーバでの処理フローのうち，データ収集と処理部分の詳細を図 4 に示す．この図においては，各センサからのデータはセグメント化され，そのデータから推定される意味（コンテキスト）が与えられる．例えば LiDAR
データであれば，人・モノ・背景の点群が含まれるが，それらの分別（セグメンテーション）を行い，人であればさらに人の身体部位の分別まで行う．それらから推定される
コンテキスト（例えば「左腕」や「包丁」）をラベル付けする．

4.2 3 次元空間理解
本空間理解プロセスは大きく，デバイス依存のセンシン
グ機構およびオブジェクト関連付け機構により実現される．処理は（1）データセグメンテーション，（2）セグメン
ト認識・分類，（3）人および物体トラッキングの 3 ステッ
プでの実行を想定する．

3 次元点群の場合，PointNet[1] や VoteNet[32] による点群のセマンティックセグメンテーションによりデータセ
グメンテーションおよび各セグメントの認識・分類が可能である．これにより入力点群の各点の属性（例えば「床」「テーブル」「人」など）が得られる．プライバシー要求理
解やコンテキスト推定の対象となる「人」と認識されたセグメントに対しては「顔」や「手」などの部位ごとのセグ
メンテーションや骨格検出を適用する．一般にこれらセグ
メンテーション・物体認識は処理負荷が高く毎フレームの適用は困難であると予想されるため，点群トラッキングと©2021 Information Processing Society of Japanの組み合わせによる実行回数の削減を検討している．これらセグメント分割・ラベル付け処理により，ユーザ空間内の各ヒト・オブジェクトの空間メタ情報が毎フレーム得られる．オブジェクトの空間メタ情報にはオブジェクトの座
標・向き・形状・種別・状態が，ヒトの空間メタ情報には
これらに加えて表情や骨格などが含まれる．毎フレームの
空間メタ情報のリストがオブジェクト関連付け機構やプラ
イバシポリシ決定機構・オブジェクト関連付け機構の入力となる．
各空間メタ情報が指し示すオブジェクトやヒトの客体空間上の表現（3 次元点群やアバター・アイコン，文字表現など）はプライバシポリシ決定機構や受信者の選択により動的に決定される．センシング機構は可視表現データを生成し，要求に応じてセンサデータ送信基盤に提供する．3次元点群などセンサデータ自体が要求された場合は，そのデータをセンサデータ送信基盤に提供する．オブジェクトの 3 次元メッシュデータを要求された場合は対象オブジェ
クトのメッシュを AtlasNet[4] などによりセンサデータか
ら動的に構築，あるいは事前に構築し共有する．

4.3 人間のプライバシー要求理解・獲得のためのモデルとのその学習
本節では，人間のプライバシー要求を理解・獲得するた
め，まず，(1) プライバシー表現モデルを定義する．モデルは，どういったコンテキストの時に，どのオブジェクトに対しどのようなプライバシー保護レベルを設定したいのかを表現する．このモデルを学習するために必要な技術として，(2) コンテキスト推定，(3) モデルの強化学習とプラ
イバシー獲得インタフェース，を提案する．

4.3.1 プライバシー表現モデル
各ユーザが自身とその周辺空間（主体空間と呼ぶ）に属するすべてのオブジェクトに対し，プライバシー保護レベ
ルを設定する．
各オブジェクトのプライバシー保護レベルは，状況やコ
ミュニケーション相手，コミュニケーション目的等のコンテキストに応じて変化する．よって，プライバシー保護レベルを以下の関数 pl として定義する．

pl : C × O → L(1)

ここで，C はコンテキストの集合，O はオブジェクトの集合，L はプライバシ保護レベルの集合（{低，中，高}など）である．

4.3.2 コンテキスト推定
コンテキストとして，行動コンテキスト，環境コンテキ
スト，ソーシャルコンテキストを対象とする．行動コンテ
キストは，現在どういった行動をしているのか（料理，食事，仕事等），環境コンテキストは，どういった場所なのか（自宅，職場，外出先，移動中など），ソーシャルコンテキ

133

「第29回マルチメディア通信と分散処理ワークショップ論文集」 令和3年10月

図 3

サイバーフィジカル共有基盤のモジュールアーキテクチャ
セキュア通信通常通信

セ ン シ ン グ デ ー タ 送 信 基 盤

A さん

背景

Visual_2(アイコン)

Sound_1(そのまま)

Visual_3(Mesh)···

コンテキスト(料理教室, 介護, ...)

プ ラ イ バ シ ポ リ シ 決 定 機 構

A さん

背景

Visual_1(そのまま)

Visual_2(アイコン)

Sound_1(そのまま)

Visual_3(Mesh)···

Sound_1(そのまま)オ ブ ジ ェ ク ト 関 連 付 機 構

Visual_1(そのまま)
身体部位

Visual_2(アイコン)

身体部位

Visual_3(Mesh)モノ

Visual_4(点群)

Sound_1(そのまま)

Sound_2(フィルタ)

モノ

他

他

···
ヒト

背景

セグメント切り出し

3D LidarRGB Camera

Depth Camera

ヒト

背景ソーシャルコンテキスト

行動・環境コンテキスト

セグメント
切り出し

感情認識・
ソーシャルコンテキスト推定

行動・感情推定Microphone(Voice & Sound)

生体センサ

テーラーメイド
IoT

デバイス依存センシング機構

図 4 エッジサーバーにおける処理フロー

ストは，コミュニケーション相手との関係（続柄，身分，に関しては，使用する PC やスマートフォンの設置位置か

立場等），これまでのコミュニケーション頻度や親密度等

ら自動推定する，もしくは，ユーザが手動で入力することを表す．

を想定する．ソーシャルコンテキストのうち，静的なコン

行動コンテキストについては，生活行動認識システム

テキスト，例えば，家族の続柄や組織における身分関係な（文献 [33] など）が対象空間に設置されていると想定し，シどに関しては，本システムの利用者登録を行い，ソーシャ

ステムの認識結果をそのまま利用する．環境コンテキスト

ルグラフ（コミュニケーションしたことのあるユーザ間に©2021 Information Processing Society of Japan

134

「第29回マルチメディア通信と分散処理ワークショップ論文集」 令和3年10月

辺）を作成し，辺の属性として登録しておくことで対処す場合，通信路の暗号化と重複するためパフォーマンスが劣る．動的なソーシャルコンテキストに関しては，過去のコ

化することが指摘されてる．このため各実装における性能

ミュニケーション履歴とプライバシー保護レベル設定履歴評価が重要である．

等から，ユーザ間の親密度を算出し，ソーシャルグラフのこのため本通信基盤の設計開発において，パフォーマン

辺に更新していくことを検討している．

スを計測しスケーラビリティを担保した通信方式を選択す

4.3.3 モ デ ル の 強 化 学 習 と プ ラ イ バ シ ー 獲 得 イ ン タる．さらに，本設計をプライバシポリシ決定機構と共有し，フェース
本研究では，主体空間における各オブジェクトのプライ

アプリケーションと連携した通信方式により，効率と性能の両立を図る．

バシー保護レベルを強化学習モデルにより自動的に獲得することを目指している．そのためには，ユーザが主体空間の各オブジェクトに対し，プライバシー保護レベルを設定するためのインタフェースが必要である．本研究では，以下の２つのインタフェースを検討している．

4.5 空間共有のためのインタフェース
4.5.1 入出力インタフェース
映像と音声だけでは共有が難しい，臨場感のある空間共有を実現するため，人の細かな動作を精緻に取得し再現す• 静的プライバシー設定インタフェース（静的 IF）：ユー

る入出力インタフェースを開発する．入力インタフェース

ザがコミュニケーション相手に接続する前に，主体として，3D カメラやマイクロフォンアレイに加え，目的空間，その中のオブジェクト群，デフォルトプライバごとに最適化されたテーラーメイド IoT デバイスを開発す

シー保護レベルを提示し，ユーザは各オブジェクトをる．出力インタフェースとして，Hololens2 などの高機能選択しプライバシー保護レベルを適切なものに変更すアクチュエータや投影型ディスプレイを活用し，共有相手る（オンライン会議システムの背景画像設定に相当）．

からの共有空間情報を自身のパーソナル空間にプロジェク• 動的プライバシー設定インタフェース（動的 IF）：コ

ションするインタフェースを開発する．空間データベース

ミュニケーション中にも，オブジェクト毎のプライバに保存されるオブジェクトである音や映像，3 次元点群，モ

シー保護レベルを変えたい場合に使用する．静的 IF

ノや住空間情報をそれらの属性に応じて，自然にアクチュをポップアップして操作するする方式（ポップアップ

エーションする機構を適切な IoT デバイスやインタラク

IF，既存オンライン会議に相当）と主体空間内で物理

ションデバイスの組み合わせで実現する．また，それらのオブジェクトに触れるまたはジェスチャすることで変

環境情報，部分空間のコンテキスト情報を自身の空間に自更する方式（ジェスチャ方式）を検討する．

然に反映する機構を開発する．

シーに応じてクラウドサーバでのデータ処理を許容する/

4.5.2 主体空間への客対空間のマッピング
主体空間を S0 ，客体空間を S1 , ΓΓΓ, Sn とする．空間 Siに含まれるオブジェクトの集合を O(Si ) と表記する．
4．3 節の技術で，主体空間のコンテキストが c の時の各
空間 Si の各オブジェクト o ∈ O(Si ) へのプライバシー保護レベル pl(c, o) が決定する．プライバシー保護レベル plをオブジェクト o に適用後のオブジェクトを ao(o, pl) と表しないといった暗号化制御を行う必要がある．これらを実記する．

4.4 センシングデータ通信基盤
サイバーフィジカル空間共有基盤において，通信基盤にはオブジェクト単位での制御が求められる．具体的にはオブジェクトデータの種別によってパケットロスを許容する/しないといった通信品質の制御，プライバシーポリ

現するためには，複数の TCP/IP コネクションを利用す

主体空間 S0 に客体空間群 S1 , ΓΓΓ, Sn をマッピングしることも考えられるが，NAT や FW への対応を考えるとた共有空間を HS0 と表記する．コンテキストを c とする．

Stream ベースのアプローチが好ましいと考えられる．
WebRTC において，データを転送するための DataChannel は SCTP を拡張 [34] したプロトコルが利用されており，複数の DataChannel を 1 つのコネクション上に構築することが可能である．また，QUIC [26] においても，複数の Stream を 1 つのコネクション上で提供することが可能である．このような Stream を活用することで，複数のO(HS0 ) = O(S0 ) ∪ni=1 ∪o∈Si ao(o, pl(c, o)) となるように，共有空間 HS を構成する．ここで，客体空間の各オブジェ
クトを主体空間のどの位置に配置するかを決定するために，ユーザがオブジェクトごとに自由に設置位置を決定可
能な GUI を作成することを計画している．
料理教室を例に説明する．図 2 において，主体空間 S0
は，料理教室会場 (オブジェクトは classroom)，客体空間

オブジェクトデータを送受信することは可能である．しS1 は，遠隔ユーザ (オブジェクトは remote user ) である

かしながら，複数の品質の異なる Stream を 1 つのコネクとする．遠隔ユーザのコンテキストは “cooking class” とション上で提供する場合，輻輳制御との不整合や，Head ofする（行動コンテキスト：料理，環境コンテキスト：自宅，

Line のような問題が発生する可能性がある．また，クラウドサーバでのデータ処理を阻止するために E2EE を行った

ソーシャルコンテキスト：初めて参加）．

©2021 Information Processing Society of Japan

O(S0 ) = {cooking class}，O(S1 ) = {remote user} であ135

「第29回マルチメディア通信と分散処理ワークショップ論文集」 令和3年10月

り，pl(cooking class, remote user) = “high” とする．この時，図 2 に示すように，遠隔ユーザ自身はアバターとして，主体空間に反映される．この例では，ユーザ自身を一つのSenderLAN

Edge-server

Edge-server

Receiver

AR Vision
Rendering

Semantic
Segmentation

オブジェクトとしているが，ユーザの顔，からだ，手を別LAN

オブジェクトとして取り扱い，異なるプライバシー保護レ

USB

USB
Segmented
Point Cloud

ベルを設定することも可能（手だけはリアルの映像を表示

Rendered View

するなど）である．

5. 基礎性能評価

HoloLens 2

Livox Avia

Realsense L515

図 5

3 次元 LiDAR による物理空間のスキャンと AR デバ

一方向遠隔共有システム

イスによる一方向の遠隔空間共有の簡易システムを実装
し，サイバーフィジカル空間共有基盤の基礎性能評価を行った．システムの概要を図 5 に示す．3 次元 LiDAR として Livox 社の Livox Avia および Intel 社の RealSense

L515 を使用し，受信側ユーザのインターフェースとしてMicrosoft HoloLens 2 を使用した．Avia および L515 それぞれに対して，色情報を含まない 3 次元点群データセッ
ト ScanNet[35] で学習済みの VoteNet および色情報を含む SUN RGB-D データセットにより学習済みの VoteNet
による人物検出・セグメンテーションを適用し，人物点群
を受信側の Hololens2 へネットワークを介して送信する際の処理速度を評価した．各 LiDAR による点群例を図 6 に(a) Livox Avia
図 6(b) Realsense L515

各 LiDAR による 3 次元点群．Livox Avia の 3 次元点群は人物部分を緑色で描写している．

示す．

VoteNet による人物検出に要する時間を計測した．検出処理は Intel Core i7-7820HQ 2．90GHz CPU および
Quadro P4000 GPU のエッジサーバ上で行った．1 フレー
ムあたり最大 240,000 点を含む Avia では検出処理に平均
0.240 秒，平均 91,883 点含む L515 では平均 0.231 秒要した．Avia の最大計測距離はおよそ 320m であり屋内環境
では計測可能な最大点数が常に得られた一方で，L515 はセ

して本基盤では 3 次元点群内オブジェクトの高速追跡技術の併用および，テーラーメイド IoT や生体センサ，マイク
ロフォンなどを組み合わせたマルチモーダルなオブジェク
ト状態理解により高速 3 次元空間理解の実現を検討している．また今回の実験では無圧縮データでは 360 Mbps 程度の通信帯域が必要であった．これに対して，本研究では，

ンサから遠方の点は計測されなかったため，フレームごと

3 次元点群の圧縮技術および複数のセンサーの空間位置依存関係から冗長なデータを自動的に削減するとともに， 3に得られる点数に変化が生じた．なお点群に色情報の付随次元空間の依存関係ベースモデル圧縮・受信者視点や状況しない Avia のデータからは人物を検出することができなに応じた送信データの動的選択などにより必要なデータをかった．これは図 6(a) に示す Avia の走査パターンによっストリームを 1/10 程度への抑制することを目指す．

て生じる点群特徴が，学習に用いた ScanNet の点群と異なるためであると考えられる．さらに 3 次元点群データを

6. まとめ

無圧縮で受信デバイスに送信した場合に要求される通信速本研究では人間のプライバシー要求の自動理解と，それ度を計測した．L515 の場合，1 送信フレームサイズが平均に基づく精緻空間データの共有・アクセス制御技術を統合

約 1.5MB であった．そのためセンサフレームレートであしたサイバーフィジカル空間共有基盤の設計開発を行っる 30 FPS で送信するには約 360 Mbps の通信帯域が必要た．同基盤は，空間把握のための高精度 3 次元カメラや超となる．

臨場サウンドデバイス，ロボットなどのセンサーデバイス

本研究の想定する遠隔家族交流および遠隔料理教室の実により，各人が存在する物理空間を常時センシングするこ

現にはリアルタイムな双方向通信かつ L515 のようなセンとで精緻な空間データを取得し，各人のプライバシー要求

サの各ユーザ実空間への複数台設置が要求される．今回のを反映しながら他者の物理空間を自空間に共有する枠組み

実験では 1 秒あたり 4 フレームのセグメンテーション処理を提供しており，本研究ではその初期設計を行っている．

が可能であったものの，例えば遠隔料理教室においてユー

3 次元深度センサーによる物理空間スキャンと，AR デバ

ザの包丁の動きを正確に遠隔に伝えるためには，より高速

イスによる一方向の空間共有システムの簡易プロトタイピ

なセグメンテーションや追跡処理が必要である．これに対ングを行い，同基盤の基礎性能評価を行った結果，同基盤©2021 Information Processing Society of Japan

136

「第29回マルチメディア通信と分散処理ワークショップ論文集」 令和3年10月の基礎性能評価を行った．その結果，無圧縮センサデータをそのまま利用する場合，約 360 Mbps のデータストリー[12]

ムが生じ，また点群のセマンティックセグメンテーションに 1 フレームあたり約 0.25 秒要することが分かった．

謝辞

[13]

本研究の成果は NICT 課題 222「ウイルス等感染症対策に資する情報通信技術の研究開発」の支援によるものです．

[14]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

Qi, C. R., Su, H., Mo, K. and Guibas, L. J.: PointNet: Deep learning on point sets for 3D classiﬁcationand segmentation, Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition(CVPR 2017), pp. 77–85 (2017).
Qi, C. R., Yi, L., Su, H. and Guibas, L. J.: PointNet++: Deep hierarchical feature learning on pointsets in a metric space, Proceedings of the Advances in
Neural Information Processing Systems (NIPS 2017),
pp. 5100–5109 (2017).
Yin, K., Huang, H., Cohen-Or, D. and Zhang, H.:
P2P-NET: Bidirectional point displacement net forshape transform, ACM Transactions on Graphics,
Vol. 37, No. 4, pp. 1–13 (2018).
Groueix, T., Fisher, M., Kim, V. G., Russell, B. C.
and Aubry, M.: AtlasNet: A Papier-Mache Approachto Learning 3D Surface Generation, Proceedings of theIEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2018), pp. 216–
224 (online), DOI: 10.1109/CVPR.2018.00030 (2018).
Yuan, W., Khot, T., Held, D., Mertz, C. and Hebert,
M.: PCN: Point completion network, Proceedings ofthe 2018 International Conference on 3D Vision (3DV
2018, pp. 728–737 (2018).
Palen, L. and Dourish, P.: Unpacking" privacy" fora networked world, Proceedings of the SIGCHI conference on Human factors in computing systems, pp.
129–136 (2003).
Squicciarini, A. C., Shehab, M. and Paci, F.: Collective privacy management in social networks, Proceedings of the 18th international conference on World
wide web, pp. 521–530 (2009).
Li, Y., Vishwamitra, N., Hu, H., Knijnenburg, B. P.
and Caine, K.: Eﬀectiveness and users’ experience offace blurring as a privacy protection for sharing photos via online social networks, Proceedings of the Human Factors and Ergonomics Society Annual Meeting,Vol. 61, No. 1, SAGE Publications Sage CA: Los Angeles, CA, pp. 803–807 (2017).
Venkatesh, M. V., Zhao, J., Proﬁtt, L. and Sen-ching,
S. C.: Audio-visual privacy protection for video conference, 2009 IEEE International Conference on Multimedia and Expo, IEEE, pp. 1574–1575 (2009).
Wang, J., Amos, B., Das, A., Pillai, P., Sadeh, N. andSatyanarayanan, M.: A scalable and privacy-aware
IoT service for live video analytics, Proceedings of the
8th ACM on Multimedia Systems Conference, pp. 38–
49 (2017).
Du, L., Zhang, W., Fu, H., Ren, W. and Zhang, X.:
An eﬃcient privacy protection scheme for data security in video surveillance, Journal of Visual Communication and Image Representation, Vol. 59, pp. 347–362©2021 Information Processing Society of Japan

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]
[25]
[26]

[27]
[28]

(2019).
Zhu, B., Fang, H., Sui, Y. and Li, L.: Deepfakes
for medical video de-identiﬁcation: Privacy protection
and diagnostic information preservation, Proceedingsof the AAAI/ACM Conference on AI, Ethics, and Society, pp. 414–420 (2020).
Padilla-López, J. R., Chaaraoui, A. A. and FlórezRevuelta, F.: Visual privacy protection methods: A
survey, Expert Systems with Applications, Vol. 42,
No. 9, pp. 4177–4195 (2015).
Chakareski, J.: Viewport-Adaptive Scalable MultiUser Virtual Reality Mobile-Edge Streaming, IEEE
Transactions on Image Processing, Vol. 29, pp. 6330–
6342 (online), DOI: 10.1109/TIP.2020.2986547 (2020).
Evans, M. C., Kamineni, S., Cheikh-Ali, O., Fanzo,J., Jiang, S., Majmudar, K., Ren, M. and Hammer, J.: Sharing Multi-User VR Spaces, Extended Abstracts of the 2020 Annual Symposium on ComputerHuman Interaction in Play, CHI PLAY ’20, New York,NY, USA, Association for Computing Machinery,p. 229–233 (online), DOI: 10.1145/3383668.3419871(2020).
Kumar, A. and Epley, N.: It’s surprisingly nice to hear
you: Misunderstanding the impact of communication
media can lead to suboptimal choices of how to connect with others, Journal of Experimental Psychology:
General (2020).
Yasumoto, K. and Nahrstedt, K.: Ravitas: Realistic
voice chat framework for cooperative virtual spaces,
2005 IEEE International Conference on Multimedia
and Expo, IEEE, pp. 1046–1049 (2005).
Nguyen, C. D., Safaei, F. and Boustead, P.: Optimal
assignment of distributed servers to virtual partitionsfor the provision of immersive voice communicationin
massively multiplayer games, Computer Communications, Vol. 29, No. 9, pp. 1260–1270 (2006).
Dey, A., Piumsomboon, T., Lee, Y. and Billinghurst,
M.: Eﬀects of sharing physiological states of players
in a collaborative virtual reality gameplay, Proceedings of the 2017 CHI conference on human factors incomputing systems, pp. 4045–4056 (2017).
Kuznekoﬀ, J. H. and Rose, L. M.: Communicationin multiplayer gaming: Examining player responses togender cues, New Media & Society, Vol. 15, No. 4, pp.
541–556 (2013).
ITU-T FG NET-2030 Sub-G2: New Services and Capabilities for Network 2030: Description, TechnicalGap and Performance Target Analysis, ITU-T Deliverable (2019).
Aboba, B., Vasiliev, V. and Hirano, Y.: WebRTC 1.0:
Real-Time Communication Between Browsers, W3C
Recommendation (2021).
Alvestrand, H.: Overview: Real-Time Protocols forBrowser-Based Applications, RFC 8825, RFC Editor(2021).
NTT Communications: SkyWay, https://webrtc.
ecl.ntt.com.
KDDI Web Communications Inc.: Twilio, https://cloudapi.kddi-web.com.
Iyengar, J. and Thomson, M.: QUIC: A UDP-BasedMultiplexed and Secure Transport, RFC 9000, RFC
Editor (2021).
Jennings, C., Boström, H. and Bruaroey, J.-I.: WebTransport, W3C Editor’s Draft (2021).
Hampson, S.: RTCQuicTransport Coming to an Ori-

137

「第29回マルチメディア通信と分散処理ワークショップ論文集」 令和3年10月

[29]

[30]

[31]

[32]

[33]

[34]
[35]

gin Trial Near You, https://developers.google.
com/web/updates/2019/01/rtcquictransport-api.
Follmer, S., Raﬄe, H., Go, J., Ballagas, R. and Ishii,H.: Video play: playful interactions in video conferencing for long-distance families with young children,
Proceedings of the 9th International Conference on Interaction Design and Children, pp. 49–58 (2010).
Wallbaum, T., Matviienko, A., Ananthanarayan, S.,
Olsson, T., Heuten, W. and Boll, S. C.: Supporting
communication between grandparents and grandchildren through tangible storytelling systems, Proceedings of the 2018 CHI Conference on Human Factors
in Computing Systems, pp. 1–12 (2018).
Hendriks, S., Mare, S., Gamboa, M. and Baytaþ,M. A.: Azalea: Co-experience in Remote Dialog
through Diminished Reality and Somaesthetic Interaction Design, Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, pp.
1–11 (2021).
Qi, C. R., Litany, O., He, K. and Guibas, L. J.:
Deep Hough Voting for 3D Object Detection in Point
Clouds, Proceedings of the IEEE International Conference on Computer Vision (2019).
Matsui, T., Onishi, K., Misaki, S., Fujimoto, M.,
Suwa, H. and Yasumoto, K.: SALON: Simpliﬁed Sensing System for Activity of Daily Living in Ordinary
Home, Sensors, Vol. 20, No. 17, p. 4895 (2020).
Jesup, R., Loreto, S. and Tüxen, M.: WebRTC Data
Channels, RFC 8831, RFC Editor (2021).
Dai, A., Chang, A. X., Savva, M., Halber, M.,
Funkhouser, T. and Nießner, M.: ScanNet: Richlyannotated 3D Reconstructions of Indoor Scenes, Proc.
Computer Vision and Pattern Recognition (CVPR),
IEEE (2017).

©2021 Information Processing Society of Japan138