32特集

日本バーチャルリアリティ学会誌第 18 巻 1 号 2013 年 3 月

VR 技術と宇宙への夢

特集 ■ VR 技術と宇宙への夢

宇宙との高臨場感通信実験

小木哲朗

慶應義塾大学Ogi Tetsuro

1．はじめに行われた．そのため，複数の会場でそれぞれ個別のイ

近年，国際宇宙ステーション（ISS: International Space

ベントを行いながら，国際宇宙ステーションから送らStation） [1][2] の開発等により，宇宙空間はロケットやれてくる映像は同時に受信し，会場間で共有するといスペースシャトルで飛行するだけではなく，人間が長期う方式が取られた．

間滞在可能な居住空間としての様相も呈するようになっ国際宇宙ステーションと直接対話を行う交信場所とてきた．そのため，宇宙空間に滞在中の宇宙飛行士と地しては，慶應義塾大学日吉キャンパス協生館の CDF

球上の人間との間で，臨場感の高いコミュニケーション（Concurrent Design Facility）ルームが使用され，ここでは「情を実現することは，宇宙に滞在中の宇宙飛行士にとって報技術と宇宙時代」と題したシンポジウムのイベントがも，地上で見守っている人間にとっても，重要な要求の開催された．また同じ建物内の藤原ホールでは，公開講ひとつとなっている．このような要求に対して，VR，特座として「宙のがっこう」が開催され，世田谷区烏山区にテレイマージョン等の高臨場感コミュニケーションに民センターと南三陸町スポーツ交流村では，子供たちを関する研究成果は，問題を解決するための有効な要素技対象にした「夢ミッション by 南三陸・世田谷キッズ」の術になり得ると期待される．

イベントが開催された．国際宇宙ステーションから伝送

筆者らは，JAXA による国際宇宙ステーションとのされた映像は，一度 CDF ルームで受信し，ここから各会交信イベントの公募に採択された際に，国際宇宙ステー場に同時配信を行った．また，慶應義塾大学内に設置しションとの間で高臨場感コミュニケーションを実現すたエアードーム，東京大学，京都大学の各会場が CDF ルーるための実験を行った [3]．この交信イベントは，慶應

ムとネットワークで接続され，CDF ルームのスイッチを義塾大学と読売新聞社の共同で 2012 年 11 月 6 日に行介して各会場の映像を視聴できる構成とした．

われ，慶應義塾大学の大学院生および世田谷区，南三今回の実験は，この交信イベントの中で，国際宇宙ス陸町の小中学生が，国際宇宙ステーションに滞在中のテーションとできるだけ臨場感の高いコミュニケーショ

星出彰彦飛行士に幾つかの質問を行い，宇宙から答えンを実現したいという目的で行われた．臨場感を表現あてもらうという形式で行われた．この際に実験として，

るいは伝達する方法に関しては，これまでに種々のシス高臨場感コミュニケーションを実現するために，高解テムが研究開発されている．例えば，大画面ディスプレ

像度 3D 映像の利用，ドーム型ディスプレイの利用，多イや高解像度ディスプレイの利用，立体視映像の利用等

地点間での空間共有環境の構築等の試みを行った．本は有効な方法として知られている．また，嗅覚や触覚等

稿では，この交信イベントの中で行われた，国際宇宙の人間の五感の利用や，映像とのインタラクション等もステーションとの高臨場感コミュニケーションに関す効果的な方法と考えられる．しかし，現状の国際宇宙ス

る実験の概要について紹介する．

テーションは，持ち込める機材が制限されているため，ステレオカメラや大規模なディスプレイ装置を使用する

2．高臨場感コミュニケーションことは難しい．そのため今回の実験では，双方向での臨国際宇宙ステーションとの交信イベントは，慶應義場感通信はあきらめ，地上側での臨場感の生成に絞って塾大学の提案と読売新聞社の提案を合わせて，合同で実験を行った．

32

特集

VR 技術と宇宙への夢

JVRSJ Vol.18 No.1 March, 201333

図 1 国際宇宙ステーションとの交信イベントで構築された映像通信のシステム構成

具体的な高臨場感コミュニケーション技術としては，を行う元映像となると同時に，国際宇宙ステーション（1）2D/3D 変換による 3D 映像コミュニケーションとの間で直接対話に使用されるため，映像品質とリア（2）ドーム型ディスプレイを使用した没入型映像体験

ルタイム性を重視し，JPEG2000 を用いた IP 伝送装置

（3）多地点間での映像通信による空間共有体験

T-VIPS TVG-430 を使用した．
また CDF ルームで受信した映像は，ここから同じ建の各手法について実験的な検証を行った．

物内の藤原ホール，仮設エアードームの他，東京大学，3．通信システムの構成

京都大学，世田谷区，南三陸町の各会場に同時配信を行っ

図 1 は，本交信イベントで構築した通信システムのた．藤原ホールとエアードームは，CDF ルームと同じ構成を示したものである．国際宇宙ステーションは，建物内にあるため，同軸ケーブルを用いてそのまま分岐NASA，JAXA との間では常に映像通信の回線が確保さによる配線を行った．また CDF ルームと東京大学，京れモニタされているが，その他の場所で通信を行うた

都大学の間は，インターネットを使用した HD テレビ会

めには独自に映像回線を確保しなければならない．本議システム Polycom の多地点接続サーバ RMX2000 を使

実験では国際宇宙ステーションから NASA を経由して用して，映像の相互配信を行った．また世田谷区の会場

JAXA 筑波宇宙センターに送られてくる交信映像を，は B フレッツで接続し，イベントの中で CDF ルームとSINET あるいはつくば WAN を経由して，慶應義塾大双方向のやり取りを行うため，独立に HD テレビ会議シ学まで伝送するネットワーク環境を構築した．SINET

ステム Polycom HDX8004 を用意した．南三陸町の会場

は大学・研究機関を接続する学術情報ネットワークでも B フレッツで接続したが，こちらは CDF ルームからあるが，時間帯によっては通信状況が大きく変化するの映像は H.264 を用いた富士通の IP 伝送装置 IP900 でため，バックアップ用として，つくば WAN，JGN-X を送信し，南三陸町から CDF ルームへの通信は会場の雰経由した通信路を用意した．これらのネットワークは囲気だけを伝えればよかったため，IP テレビ電話 Skype

WIDE を経由して慶應義塾大学の協生館 CDF ルームまを使用した．
また慶應義塾大学の CDF ルームと藤原ホールで行で接続した．
映像伝送の方法としては，IP 伝送装置，テレビ会議

われたイベントの様子は，それぞれ動画配信サービス

システム，IP テレビ電話，動画配信サービス等を目的

Ustream を使用して，インターネット上に配信した．まに応じて使用した．JAXA 筑波宇宙センターから慶應義た同じく慶應義塾大学のエアードームの様子は，iPhone塾大学 CDF ルームまでの伝送は，各サイトで映像共有

Ustream を使用したライブ中継を行い，この映像は他の

33

34

特集

日本バーチャルリアリティ学会誌第 18 巻 1 号 2013 年 3 月

VR 技術と宇宙への夢

会場との間でのコミュニケーションにも利用した．映像
通信における各方式は，通信機器の手軽さの他，必要なネットワークの帯域，通信の遅延時間等も異なるため，それぞれ必要に応じた使い分けを行った．
4．3D 映像コミュニケーション
高臨場感コミュニケーションの試みとしては，まずCDF ルームで高解像度 3 次元映像の利用を行った．国際宇宙ステーションにはステレオカメラ等を設置することはできなかったため，送られてくる HD モノラル映像に対して 2D/3D 変換を行い，立体視映像を生成し

図 2 JAXA 筑波宇宙センターにある実験棟 「きぼう」 の実物大模型の寸法を計測している様子

た．国際宇宙ステーションと実際に交信を行った時間
は約 20 分間で，途中中継衛星の切り替えがあったた
め，前半の 10 分間は送られてきた 2 次元映像をそのまま提示し，後半の 10 分間は 2D/3D 変換を行った 3 次元映像の提示を行った．2D/3D 変換には SONY のイメー
ジプロセッサ MPE-200 を使用し，生成された 3 次元映像は 2 台の 4K プロジェクタ SONY SRX-S110 を使用して，180 インチスクリーンに偏光立体視映像として投影を行った．
2D/3D 変換は，一般に映像内のオブジェクトを認識し，オブジェクトごとに視差情報を付加することで 3 次元映像として再構成する．この際，付加される視差情報は，

図 3 3D 映像を使用して国際宇宙ステーションの星出宇宙飛行士と対話を行っている様子 （©JAXA） ＊口絵にカラー版掲載

フォーカス位置の分析等，使用する変換アルゴリズムに従って自動生成されるため，一般に正確である保証はない．今回の通信実験では，国際宇宙ステーションからに，ここで行われた通信方法がどれだけ臨場感を生成で送られてくる映像の実験棟「きぼう」は，実物大模型がきたか評価することも目的であった．しかしながら，そJAXA 筑波宇宙センターに存在するため，事前に計測しもそも臨場感とはどのような感覚であるのか，またどのた寸法を用いて，実寸大表現に近くなるように視差情報ように計測できるのか等が，明確に定義されていないのを調整することが可能であった．ここでは，観客が見たが現状である．このような問題に対して，筆者等はこれときにスクリーン面から奥に国際宇宙ステーションの実までに，生体情報の計測によって臨場感を評価する方法

験棟「きぼう」の空間が広がるように，以前に行われたについて検討を行ってきた．これまでの研究から，臨場交信時の映像を元にパラメータの調整を行った．
ただし，感の高い状況では，集中力の指標である心電図における交信時のカメラに対する星出宇宙飛行士の立ち位置は不RRV（心拍間隔の分散）の値が低くなるが，心的負担を明であったため，実際の交信時の生成映像は，想定より表すサーモ画像における鼻部温度の低下が少ない．またも人物が拡大されて表示されてしまった．

対象への興味を示す視線の注視点が頻繁に動く傾向が見

図 2 は JAXA 筑波宇宙センターにある「きぼう」のられることが分かってきた [4]．すなわち臨場感とは，体実物大模型の寸法を計測している様子，図 3 は 180 イン

験者が集中はしているが，心的負担は少なく，興味の対チスクリーンに投影された星出宇宙飛行士の立体視映像象が多数存在している状態と言うことができる．

を示したものである．CDF ルームでは，大学院生およ

本実験においては，体験者の感じている臨場感を計測

び小中学生が，この立体視映像を見ながら星出宇宙飛行するため，最前列中央の席に座った被験者に，心電図，士との対話を行った．

サーモ画像，視線位置の測定を行わせてもらい，2 次元

ところで本実験では，国際宇宙ステーションとの間映像を見ている状態と 3 次元映像を見ている状態の比較でリアルタイムコミュニケーションを実現すると同時を行った．図 4，図 5 は計測結果の例として，被験者の34

特集

VR 技術と宇宙への夢

JVRSJ Vol.18 No.1 March, 2013

心電図の RRV の変化とサーモカメラの画像を示したも35

表 1 2 次元映像と 3 次元映像に対する観客のアンケート結果のである．これらの計測結果から，星出宇宙飛行士の映像が 2 次元映像の時に比べ，3 次元映像の体験時には，RRV が低く，鼻部温度があまり変化せず，視線の動きが多くなる傾向が見られ，より高い臨場感を感じることが確認された．

5．ドーム型ディスプレイ
次に臨場感の高い映像提示方法として，ドーム型ディスプレイの利用を行った．ドーム型ディスプレイは，フレームの無い広視野の映像提示により，没入感の高い映像体験をできるのが特徴である．また，視野全体が映像で覆われることで，利用者は両眼視差を用いなくても立図 4 2 次元映像使用時と 3 次元映像使用時に計測された観客の RRV 値の変化体感の高い映像を知覚できることが知られている．
特に，宇宙との交信というコンテンツにおいては，プラネタリ
ウム型のドーム環境は，宇宙空間をイメージさせることで，利用者が感じる臨場感を更に増強させる効果を期待することができる．
今回の実験においては，CDF ルームと同じ建物内に直径 5m のエアードーム CUBEX Dome を仮設して使用した．また，映像投影は 180 度の魚眼レンズを取り付けた 1 台のプロジェクタを使用して，ドームスクリーンへの投影を行った．通常，魚眼レンズを使用すると投影される映像は大きな歪を持つが，本システムではドームスクリーンの形状により歪が軽減されるため，投影映像に対する歪補正の処理は行わず，伝送された映像をそのま

図 5 サーモカメラで撮影された星出宇宙飛行士と交信時の観客の顔面皮膚温度ま提示した．
図 6 は本実験で設置したエアードームの外観，図 7 はまた，主観的な評価として，CDF ルームでのイベン

ドームスクリーン内に投影された星出宇宙飛行士の姿

トの参加者に対してアンケートによる調査を行った．アンケートでは，2 次元映像によるコミュニケーション時と 3 次元映像を用いたコミュニケーション時について，表 1 の質問を行った．それぞれの質問に対して，「あった（+2），ややあった（+1），どちらとも言えない（0），あまりなかった（-1），なかった（-2）
」の 5 段階で回答してもらった．表は回答のあった 38 人の答えの平均値，標準偏差，t 検定の結果を示している．この結果から特に，「自分に話しかけられている感じがあった」「同じ空間にいる感じがあった」の項目で明確な有意差があったことから，主観的にも 3 次元映像による臨場感提示が実現できていたと言うことができる．

図 6 慶應義塾大学協生館内に設置された直径 5m の移動式エアードーム

35

36

特集

日本バーチャルリアリティ学会誌第 18 巻 1 号 2013 年 3 月

VR 技術と宇宙への夢

電話，動画配信サービス等の映像伝送技術を使い分けることで，各サイト間での映像共有を実現した．
また，同時体験を可能にする並行世界としては，国際宇宙ステーションと地上の 7 つの会場の他に，シミュレーションによる可視化世界も含めることとした．シ
ミュレーション世界としては，フリーの 3D 天体シミュ
レーションソフト Celestia とフィアラックス社の VR ラ
ンチャーソフト EasyVR を使用することで，地球と国際宇宙ステーションの位置関係の変化等を立体視映像として可視化した．国際宇宙ステーションが今何処を移動し
図 7 エアードームのスクリーンに投影された星出宇宙飛行士の映像 （©JAXA）ているかという俯瞰的なシーンは現実世界の中では見ることができないが，シミュレーションを交えることで体を示したものである．このエアードームは，その大きさ験的に理解することが可能になる．図 8 は Celestia でシから同時に体験できる利用者は 10 人程度までであった

ミュレーションされた国際宇宙ステーションの様子を示が，体験した利用者からは，「ドームの没入効果が宇宙したものである．の表現に適していた」「ドームの大きさは映像対象に対して臨場感を表現するのに適当な大きさであった」等の感想をもらった．これらの感想から，利用者は没入環境の中で効果的な臨場感映像を体験することができたと考えられる．当初は，外部の大規模なプラネタリウム施設を借りて使用する予定であったが，映像対象が国際宇宙ステーションの内部ということを考えると，使用したエアードームは適当な大きさであったと感じられる．
6．パラレルリアリティ体験
本実験イベントは，慶應義塾大学内の CDF ルーム，

図 8 Celestia でシミュレーションされた国際宇宙ステーションの移動の様子

藤原ホール，エアードームの他，東京大学，京都大学，世田谷区，南三陸町の合計 7 カ所の会場をネットワークで接続して行われた．このうち慶應義塾大学の CDF ルー会場としては使用した CDF ルームは 180 インチのム，藤原ホール，世田谷区，南三陸町の各会場ではそれ

4K3D スクリーンと両サイドの 108 インチモニタで構成

ぞれ独自の講演会やクイズ大会等のイベントが行われた

されており，立体視映像を提示しながら他に 2 種類の映が，残りの会場も含め映像通信により相互に情報を共有像を表示できる．また，4K 用のスクリーンは HD 映像しながら，全体としてひとつのイベントを構成した．特の 4 分割表示としても使用することができるため，合計に，各会場とも国際宇宙ステーションと交信が行われる

6 画面のマルチディスプレイとして，複数の映像を提示

約 20 分間は，同一の交信映像を共有することで，空間することも可能である．図 9 は CDF ルームにおいて講の共有感を生成した．

演を行いながら，両サイドのモニタで他の会場の様子をこれは，国際宇宙ステーションを含め，複数のサイ提示している様子，また図 10 は各サイトから送られてトをネットワークで結んで体験する，一種のパラレルリきた映像を 6 画面表示し，同時進行している複数サイトアリティの実験と言えた．パラレルリアリティとは，東を同時体験している様子を示したものである．

京大学の石井威望名誉教授によって提唱されている概念

このように映像伝送による相互接続を行うことで，各で，種々の映像伝送技術を使用することで，同時並行的会場に集まった参加者は他の会場の様子も同時体験するに進行している複数の現実世界を同時体験することを可ことができ，イベント全体としての共有感を表現するこ能にする新しいコミュニケーションスタイルである．本とができた．特に多くの参加者に対して，宇宙空間も含実験では，IP 伝送装置，テレビ会議システム，IP テレビ

めて同時進行している現実世界の一部であるという意識

36

特集

VR 技術と宇宙への夢

JVRSJ Vol.18 No.1 March, 2013

37を伝えることができたのではないかと考えている．また，がつながり，星出宇宙飛行士の姿が立体映像として表示

CDF ルームの会場の定員の関係で星出宇宙飛行士と対された瞬間は，非常に大きな興奮を覚えた．これは実験話を行った小中学生の家族の方は，藤原ホールや世田谷イベントに関わったスタッフだけではなく，大学院生や区，南三陸町等の他の会場にいたが，家族にとっては子小中学生，一般の方々を含め，会場にいた多くの参加者供の様子を確認することができ，また子供にとっては家が感動と興奮を共有できた瞬間であったように思う．こ族の姿を見て安心できる等の効果もあったようである．のように宇宙というコンテンツは，多くの人々にとってまた，本実験で使用した各種の映像伝送技術は，単体非常に夢のある世界であり，VR 技術がこのような夢のではそれぞれ完成度の高い技術であったが，これらを同実現に向けて，少しでも貢献できることは大きな喜びで時に利用し，全体の運用や制御を行うことは容易ではなあると感じた．

く，本実験でも途中で音声が切れる等の幾つかのトラブルがあった．これらの問題は，利用者自身が経験を積む

参考文献

とともに，手軽に使える映像通信技術を実現することも，[1] 狼嘉彰，冨田信之，中須賀真一，松永三郎：宇宙ステー今後の課題であると感じた．

ション入門，東京大学出版会（2008）[2] http://www.youtube.com/embed/yNmwv-5ImBU?
rel=0&hd=1，JAXA 宇宙飛行士星出彰彦第 32 次 /33 次ISS 長期滞在ミッション[3] 小木哲朗，立山義佑：宇宙とのテレイマージョン−
星出宇宙飛行士とのリアルタイム交信実験−，第 18回テレイマージョン技術研究会（2012）[4] 久保田曜丞，当麻哲哉，小木哲朗，近清武，新井真由美，池辺靖，松山桃世：高臨場感映像体験時の生情報計測，ヒューマンインタフェースシンポジウム 2012，pp.515-516（2012）

図 9 会場でイベントを行いながら他の会場のイベントの様子を同時体験している様子【略歴】
小木哲朗 （OGI Tetsuro）
慶應義塾大学研究科

大学院システムデザイン・マネジメント教授

1984 年東京大学工学部卒業，1986 年東京大学大学院工学系研究科修士課程修了，1994 年東京大学大学院工学系研究科博士課程修了．博士（工学）．1986 年三菱総合研究所入社，1996 年東京大学大学院工学系研究科助教
授，2004 年筑波大学大学院システム情報工学研究科准教授，2008 年より現職．専門は没入型ディスプレイ技術，テレイマージョン等．著書『サイバースペース入門』『シ，
図 10 6 画面を同時に使用したパラレルリアリティの体験の様子ミュレーションの思想』等．

7．おわりに本稿では，慶應義塾大学と国際宇宙ステーションとの間で行われた交信イベント，およびそこでの高臨場感コミュニケーション実験について紹介した．これまでは，筆者自身も国際宇宙ステーションでどのような活動が行われているのかあまり意識したことが無く，遠い世界のように感じていたが，今回の実験イベントで実際に通信37