11F-03
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 21 回日本バーチャルリアリティ学会大会論文集（2016 年 9 月）

テレイグジスタンスの研究 (第 86 報): インターネットを越えたTelexistence を実現するために求められる通信要件についてStudy on Telexistence (LXXXVI): Required features for Telexistence system over the Internet
中蔵聡哉 1),3) ，チャリス・フェルナンド 1) ，南澤孝太 1) ，加藤朗 1) ，砂原秀樹 1) ，舘暲 2)1) 慶應義塾大学 メディアデザイン研究科 (〒 223-8526 横浜市港北区日吉 4-1-1, t.nakakura@kmd.keio.ac.jp)
2) 東京大学高齢社会総合研究機構 (〒 113-8656 東京都文京区本郷 7-3-1)
3) NTT コミュニケーションズ技術開発部 (〒 108-8118 東京都港区芝浦 3-4-1 グランパークタワー 16F)
概要: The purpose of this study is to develop a Telexistence system over the Internet. Communi-cation over the internet will be aﬀected by network obstacles like delay, jitter, packet loss and etc,
and we have to establish the connection over the Firewalls and NATs. We have developped a prototype system and evaluate the eﬀect with network simulator. Our goal is the spread of Telexistence
applications, therefore our prototype is based on one of the standard protocols named WebRTC
in W3C and IETF. This experimental results for Telexistence system will be used for the robust
design of any real-time system over the Internet.
キーワード： Telexistence, WebRTC, Virtual Reality

1.

はじめに入感を損なわないようにするための機構が必要である．し遠隔地に対してもインタラクションを行いたいというのかしながら現時点においては，没入感を持って Telexistenceが人類の長年の夢であり，これまでに様々な取り組みが成アプリケーションを操作するために，通信品質に対して求されている．例えば，遠方と音声対話を行うために電話がめられる要件は自明ではない．個々人の認知能力に影響を開発され，更に近年ではビデオ通話機能により視覚情報を受けるため個人差があることが想定され，汎用的に利用で得ることも可能になった．我々はこれらに加え，遠隔地にきる評価基準は現在までに策定されていない．

対して没入感を伴った身体インタラクションを提供するこ

通信品質に対する要件は，通信経路で発生すると思われとを目標に Telexistence[1] の研究を進めており，現在までる遅延やロスのようなネットワーク特性による受けつつも，に Telexistence ロボット TELESAR V([2]) の開発を行っTelexistence アプリケーションの利用に充分な品質への影ている．TELESAR V は操縦者の体の動きに追従して動作響を押さえることである．まずは，ネットワークを介してし，自身のセンサが捉えた視覚・聴覚・触覚信号を操縦者の動作する Telexistence アプリケーションのプロトタイプの五感情報として感じられるように VR(Virtual Reality) 技構築を行い，ネットワーク特性による影響をかけ影響を観術を用いて適切に提示することができる．これらの機能を察することにより，ユーザの主観評価へ影響を与えるメカ利用することで，操縦者は高い没入感を得ることができ，自ニズムを把握することが重要である．本稿ではこのメカニ身があたかもロボットの位置にいるかのように振る舞うこズム把握と，これを緩和するためのエンジンの開発を行い，とが可能になる．

今後の通信要件策定に繋げるものである．

ロボットを遠隔地に置いて操作する為には，操縦者とロボットの間で長距離通信が必要であり，市中の商用網におプロトタイプで利用する通信プロトコル2.

いて長距離通信を行うための通信機能の開発が必要である．

最終的には商用公衆網で利用する事を目標にしており，プ

更に，通信品質によっては，映像品質の低下による視覚へのロトタイプでの検証の妥当性を高めるため，プロトタイプ影響や，ロボットの操作データの遅延や欠損による操縦性作成に当たってもこの点を念頭に置いて検討を行う．の低下が懸念される．実際に遠距離で Telexistence アプリ

2.1

ケーションを利用するためには，これらの影響を緩和し没

2.1.1

Toshiya NAKAKURA, Charith FERNANDO,
Kouta MINAMIZAWA, Akira KATO, Hideki
SUNAHARA and Susumu TACHI

接続人口の多いネットワークは，IP ネットワークをベースと前提とする通信要件
市中のネットワークでの活用

2016 年時点において，全世界において最も普及率が高く© 2016 日本バーチャルリアリティ学会

するインターネットであるため，これの利用を前提とする．

- 11F-03 -11F-03

総務省による情報通信白書 ([3]) が示す通り，現在のイン通信の確立性能については，民間の調査会社 callstats.io

ターネット構成は，外部からの接続を積極的に待ち受ける端のレポート ([9]) で利用統計が報告されている．カメラやマ末をサーバ，サーバに接続してサービスを享受するクライア

イクを備えていない端末で MediaStream を利用しようとしントと分類した形で設計がなされており，通信トラフィッ

たケースのようなハードウェアの不備を除けば，通信確立成クもサーバからクライアントへのダウンロードトラフィッ

功/失敗の比率は 85:1 である．確立された通信のうち直接クが主である．外部からの攻撃を防ぐため，サーバネット接続できたものの比率は 78%で，残りの 22%がサーバ中継

ワークは管理者しか立ち入れない専用のサーバルームに配置である．この統計には，セキュリティを重視する企業ネッ

され，クライアントネットワークへ向けたトラフィックは，トワークのように，想定外の通信を意識的に遮断している

サーバからの折り返し通信以外の通信は全て Firewall によものも含まれており，100%にすることはそもそも不可能でり遮断されるのが一般的である．また IP アドレス枯渇対策あること，その他のメリットとのトレードオフを考慮して，の観点から，外部からアクセスするのに利用できるグローバ

本用途にとっては充分なものと考える．

ル IP アドレスはサーバ用のネットワークに集中させ，クライアント用のネットワークは NAT の配下に設置し，外部かプロトタイプのアプリケーション構成

3.

らの通信確立が困難なローカル IP アドレスによって運用さプロトタイプアプリケーションとして，人間の頭部のみれるケースが多い．Telexistence ロボットはその用途から，を模した Telexistence ロボットを用いた試験実装を作成しサーバルームだけではなく日常空間への設置も想定するた

た．このロボットは，ヨー，ロール，ピッチの三軸で頭を動め，クライアントネットワークに設置された場合においてかすことができ，胴体を固定した際の人間の頭部移動を再も接続を確立できなければならない．

現することができるものである．このロボットを用いたプ

2.1.2

Telexistence アプリケーションにおける動作要件

ロトタイプのモジュール構成を図 2 に示す．

Telexistence ロボットは人間の動きに追従して動作し，自図中左上部，ユーザの装着したヘッドマウントディスプレ

身の持つセンサで得られた五感情報をユーザへ提示する．こイ (以下 HMD) のジャイロセンサーを用いてユーザの頭部れを動作させるために求められる通信機能は，操作端末か方向を検出し，DataChannel を通じてロボット駆動用端末らロボットに対して操作信号の伝送と，ロボットから操作へ送信する．このジャイロセンサーはヨー，ロール，ピッチ端末への五感信号の伝送である．の 3 軸を備えており，ユーザが HMD を装着する際のキャ通信経路が長くなれば長くなるほど，ネットワーク特性リブレーションにより設定した原点に対し，頭部角度の絶の影響を受ける箇所が増加し，通信品質が低下しやすくな対値になるよう加工を施した上で送信する．ロボット駆動ることが懸念される．仮にロボットと操作端末が同じ構内用端末でこの値を受信し，同じ角度までロボットのサーボ網に接続していれば，構内網に閉じた通信を行えるのが望を動かすことで，ロボットをユーザの頭部に追従させる．

ましい．更に中継サーバを利用するよりも直接通信の方が視覚に関しては，ロボットの右目と左目に相当するカメ

一般に低遅延高品質であるため，まずは直接通信を試行し，ラから，それぞれ横 640 ピクセル縦 480 ピクセルの映像を不可能であればフォールバック系として中継サーバを経由取得して MediaStream で送信し，ユーザ用の操作端末内でした形で通信できるように設計するのが望ましい．

3D レンダリングを行い，HMD で表示を行う．

2.2

WebRTC のエンジンには Google Chrome，カメラにはWebRTC の活用

我々は，WebRTC([4]) をベースに本取り組みの通信仕

See3Cam CU130，HMD には Oculus Rift DK2，ユーザ操様を検討することとした．WebRTC は，W3C 及び IEEE

作用端末はノート PC(Galleria QSF960HGS)，ロボット駆によって標準化が進められている通信仕様であり，アプリ

動用端末には Intel NUC 6i5SYH，ロボットのサーボにはケーション間に対して通信ソケットを提供するプロトコル

Herkulex 0201 を用いた．

である．提供される通信ソケットは，映像と音声の通信を標準仕様下における実装と通信品質の及ぼす影響担当する MediaStream と，任意のデータの転送を担当する

4.

DataChannel の機能を持つ．WebRTC はサーバからの折

4.1

模擬環境における評価実験

り返しを偽装する機能を備えており，NAT のもつグローバ

ネットワーク上で流れるパケットは，通信経路上で様々

ル IP アドレスを利用することで，クライアント端末間で直なネットワーク特性により影響を受ける．まず通信は瞬時接通信を試行することができる．直接通信が確立できないには届かず，送信側がデータを送出してから受信側で受け場合のフォールバック系として，中継サーバを経由して通取るまでの間に遅延が発生する．この遅延は必ずしも一定

信を行うことも可能である．

ではなく，通信経路上のネットワーク機器に対する負荷にMediaStream に投入した映像や音声は，VP8([5]) 又はより変動 (ジッタ) が発生する．無線ネットワークの電波状

H.264([6]) で圧縮された後，SRTP([7]) パケットとしてネッ況やネットワーク機器にかかる負荷によってはパケットがトワークに送出される．DataChannel で伝送するデータは損失しロスが発生する可能性がある。通信ケーブル上にはSCTP([8]) のパケットに格納されて送信される．これらの電気信号や光信号として送出されるが，それらが物理的干通信は DTLS により暗号化が施される．

渉を受けることにより内容が変質する場合があり，一部の© 2016 日本バーチャルリアリティ学会- 11F-03 -11F-03^4_`aK5
LbcdefZH[FDE\]

ghf2
iKVH+,-.
/01

23458
RS+,-.
PQ1

2345TUF\]!"#$%&'()*("2345DEF8GHIJKLHM
9,<?<=&N<(("OB2345C78-.
9:";*<=>?@"<AB2345678-.
9:";*<=>?@"<AB!"#$%&'()*("23452345
TUF
VH3
2345
67WXY
2345
C7WXY

図 1: プロトタイプのモジュール構成
データが書き換わってしまうことも想定しなければならなから札幌に設置されたサーバまでの遅延が片道 12ms 程度，い．インターネット上の通信経路は一定ではなく途中で通東京から米国西海岸に設置されたサーバまでの遅延が片道

信経路が変わる可能性があり，それにより後発のパケット75ms 程度であった．海外への通信を想定すると，動作の先がより品質のよい経路を通って転送されることで，パケッ読みのようなアプリケーション上の作り込みが必要になる

トの到着順も前後する可能性がある．途中のネットワークと考えられる．

機器の MTU(Maximum Transmission Unit) 設定を越える

ジッタに関しては，WebRTC の性質から，視聴覚情報と大きなサイズのパケットは分割されて転送されるので，パその他の伝送で別々の影響を受ける．視聴覚情報は Medi-ケットの断片化と再統合を前提にしたプロトコルにする必

aStream 内で SRTP として転送されるため，パケット自体要がある．回線のバンド幅による全体転送量についても考にタイムスタンプがあり，到着が多少前後しても影響を受け慮しなければならない．これらが Telexistence アプリケーない．DataChannel で送信されるデータについては SCTP

ションに対しどのような影響を与えるのか，評価するためで伝送されるためタイムスタンプがなく，アプリケーションの環境を構築した．

側で独自に調整する必要がある．タイムスタンプでの吸収

インターネット回線を想定したネットワークシミュレーを検討する場合，再生までの間にバッファリングが必要にタとして動作するソフトウェアルータ (VyOS) を設置し，なるが，ジッタが大きくなるにつれてバッファの幅が大きローカルセグメントを 2 つ作成する．操作用端末とロボッくなり，送信から再生までのタイムラグが大きくなる．実ト駆動用端末を別々のセグメントに接続し，ネットワーク網のジッタについては iPerf コマンドによって計測を行ったシミュレータを経由して通信を行う事で，双方向又は片方が，東京〜札幌間で 0.4ms，東京〜米国西海外で 4ms 程度向の通信に対してネットワーク特性を設定することが可能であった．この程度であれば，ジッタがない場合と比較しである．この評価環境において得られた傾向について，実て，有意な操作感覚の悪化は観察されなかったが，ジッタ際に通信に影響を与えたものについて以下に記述する．

をより大きくすると，自分の動きに対してロボットの応答4.1.1

速度が一定でなくなり，影響が生じることが考えられる．

遅延・ジッタネットワーク上において遅延が発生すると，操作信号，映4.1.2

パケットロス・一部破損

像ともに送信から受信までにより多くの時間がかかることに

Telexistence アプリケーションにおいては，ロボットとなる．IP ネットワークで発生する遅延は，通信負荷やネッユーザの体の間の同期が求められる．通信パケットが欠損

トワーク機器の負荷，通信経路の変更といった理由により変した際に再送を行うのはかえってその同期を乱す元となる動するため一定ではなく，ゆらぎ，即ちジッタが発生する．

ため再送は検討せず，SCTP の品質保証オプションは oﬀ にTelexistence の系全体としては，ユーザが体を動かしてして利用する．

からそれに合わせた信号が送信され，ロボットが駆動し，ロまずロボットの動作について述べる．今回の実装においボットの目で観測した映像がユーザへ送られる．通信遅延てはロボットの操作信号は絶対座標の連続値として送信し以外にもセンサによるユーザ動作の取得やロボットの物理たため，操作信号が欠損した際はロボットが沿って動くべき駆動による遅延が考えられるが，ネットワーク遅延以外の軌跡のうちの特定の点に関する情報が欠損することになり，部分についてはいかなる通信プロトコルにおいても共通の動作がぎこちなくなる．これを緩和するためには，ロボッものであるため，本稿の検討からは除外する．

トを動作させる前に移動平均を計算して動作させるような，ジッタが発生しない固定遅延においては通信内容は変質アプリケーションの作り込みが必要になると考えられる．

せず，ユーザの認識に対して遅れが発生する．開発者を含

視聴覚情報についてはまず品質の低下が観測された．VP8

む数名での評価においては，片道 10ms 以上の遅延が発生すや H.264 は圧縮後のデータの一部欠損を想定しており，更るとユーザが遅延を体感し始めた．片道 50ms 以上の通信に WebRTC には通信品質に応じて自動的にビデオの品質遅延が発生すると，ほぼ全てのユーザに VR 酔いが発生し，を変更する仕様があるため，1%程度までのロスについては長時間操作できない状態になった．ping コマンドを用いて影響は観測されなかった．それ以上のロスが発生した際に実網での遅延の計測を行ったが，東京にある我々の研究室はブロックノイズが発生する．

© 2016 日本バーチャルリアリティ学会- 11F-03 -11F-03

視聴覚情報については，品質の他に映像の同期ズレも観測された．WebRTC において，同一の MediaStream のト
ラックとして入力された映像や音声は，SRTP のタイムスタンプで同期される仕様になっているが，それぞれのトラックは別々のパケットで伝送されるため，1 つのパケットが>?@ABCD#
EFGH&IFJ
QRSN
6,789:;<=.<,KLSN
OPSN>?@ABCD#
EFGH&IFJ*+,-./0123,/45!"#$%&'()*+,-./0123,/45>?@ABCD#
EFGH&IFJ
6,789: QRMN;<=.<, KLMN
OPMN

ロスした際に影響を受けるトラックは 1 つである．そのためパケットロスによって受ける影響はトラック毎に異なり，

図 2: 開発したエンジンの動作

残されたパケットから複合された映像の同期ズレの原因となる．

まとめ6.

Telexistence アプリケーションにおいて同期ズレの影響

本稿は，インターネットを超えて Telexistence を実現すは顕著である．左右の目の同期にズレが発生すると，左右のるために必要な通信要件を洗い出すことを目的とし，市中の目で別々の地点を見ることになるため，ユーザの脳内で映商用網での動作も検討した上で，テスト用のアプリケーショ像を処理することができなくなる．音声の同期がズレるとンを作成して評価を行った．インターネット上で想定され音声方向の認識が崩れる．更に現在の WebRTC の仕様でる遅延やロスといったネットワーク特性が Telexistence ア

は触覚情報はタイムスタンプのない DataChannel で送信す

プリケーションに及ぼす影響を把握するため，ネットワークるため，影響はより顕著である．視覚と触覚の再現の同期シミュレータで負荷をかけることで傾向の把握を行い，把がズレると，触覚の認識に影響が出ることが知られており，握した傾向を元に Telexistence アプリケーション用のエン例えば Wu ら ([10]) は，映像に対し力覚のフィードバックジンの開発を行った．このエンジンを用いて詳細なユーザが遅れることでバネの硬さの認識が崩れ，より柔らかいバ評価を行い，Telexistence に求められる通信要件を策定するネであるかのように誤認識するという報告を行っている．

ことを目標に継続して検討を進める．

4.1.3

謝辞

パケットの到着順の前後

視聴覚情報については，パケットの到着順が前後してもWebRTC 版の Telexistence 評価アプリケーション作成に当RTP のシーケンス番号により修復され影響が見られなかったり，一般的な Telexistence アプリケーションに必要なシた．操作信号については，前述の通り SCTP の品質保証オ

ステム構成や作り込みについて，技術協力を頂いた慶應義プションを oﬀ にしたため，到着の前後によりロボットが塾大学のムハマド・ヤメン・サライジ氏に感謝します．

沿って動作すべき軌跡の点が前後したため，動作がぎこち参考文献なくなる挙動が観察された．

5.

[1] Susumu Tachi. Telexistence. World Scientific, 2010.
[2] Charith Lasantha Fernando, Masahiro Furukawa,

Telexistence 用エンジンの開発
前章での実験結果から，Telexistence 用エンジン開発のたTadatoshi Kurogi, Sho Kamuro, Katsunari Sato,

めに WebRTC に加えるべき改修は 2 点である．まず，ジッタ

Kouta Minamizawa, and Susumu Tachi. Design ofやパケット到着順の前後にはタイムスタンプやシーケンス番

TELESAR V for transferring bodily consciousness号が有効であり，現状の WebRTC の仕様では MediaStream

in telexistence. In IEEE/RSJ International Confer-のみがこの恩恵を受け DataChannel は影響を受けることがence on Intelligent Robots and Systems (IROS), pp.

あげられる．MediaStream と DataChannel が別々の影響

5112–5118, 2012.
[3] 総務省. 平成 27 年版情報通信白書, 2015.
[4] W3C. Webrtc 1.0: Real-time communication be-を受けることは，同期の観点から望ましくない．次に，タイムスタンプやシーケンス番号によってネットワークプロト

tween browsers.

コルレベルで同期が保証されていても，パケットロスは特定のストリームにのみ影響を及ぼすため，アプリケーションレベルでは同期が崩れる場合があることである．以上の点を踏まえ，SRTP の利用をベースに同期が崩れないように工夫を行うのが妥当であると考えられる．

http://dev.w3.org/2011/webrtc/editor/webrtc.html.
[5] IETF. Vp8 data format and decoding guide, 2011.
[6] IETF. Rtp payload format for h.264 video, 2011.
[7] IETF. The secure real-time transport protocol

限り防ぎようがないため，同時刻の入力をチャンクして一(srtp), 2004.
[8] IETF. Stream control transmission protocol, 2007.
[9] callstats.io.
WebRTC - an analytics perspec-

つのバイナリペイロードとして SRTP に格納するエンジン

tive. http://www.slideshare.net/callstatsio/webrtc-

ロスによる同期崩れは別々のパケットに格納されているを開発した．
今後はこのエンジンを元にユーザ評価実験を進め，触覚

an-analytics-perspective-by-callstatsio.
[10] Bing Wu, Sung Hun Sim, Andinet Enquobahrie, and信号も含めた形で，ネットワーク特性が没入感を及ぼす影

Ricardo Ortiz. Eﬀects of visual latency on visual-

響を評価し，没入感を担保するために必要なネットワーク

haptic experience of stiﬀness. In Quality of Multi-要件を定義する予定である．

media Experience (QoMEX), pp. 1–6, 2015.

© 2016 日本バーチャルリアリティ学会- 11F-03 -