WISS 2017

全天球カメラ付き球体ディスプレイの遠隔コミュニケーションへの応用
李 正卿 ∗

宮藤 詩緒 ∗

佐藤 俊樹 ∗

葛岡英明 †小池 英樹 ∗概要.
映像通信システムにおけるディスプレイとカメラの視野制限は長年の問題である。従来の研究では、より広い視野を有するビデオ通信システムにより、タスクの効率が改善されることが示されている。本研究では、全天球カメラを搭載した球面ディスプレイシステムとして OmniEyeball を提案する。本システムは、全天球カメラによって撮影された 360 度のパノラマのライブストリームを球面ディスプレイに表示することができる。さらにパノラマビデオチャットとして、2 つの OmniEyeball デバイスを使用したアプリケーションを実装し、遠隔地にいるユーザーと 360 度視野のビデオチャットを行うことができる。

1

はじめにと関連研究

映像通信システムにおけるディスプレイとカメラの視野制限は長年の問題である。Gaver ら [2] は、視界の狭さが遠隔通信での理解を制限すると指摘した。
一方、最近のカメラの動向の 1 つは全天周カメラである。ワンショットでパノラマ画像を撮影し、360 度での視野を確保できるカメラであり、ここ数年で商品化された製品もある。このような技術には、カメラにおける視界狭さを解決する可能性がある。例えば、Johnson ら [3] は、テレプレゼンスロボットからの 3 種類の視野ビデオフィードバックを比較した結果、より広い視野を用いたものでは、より効率的にタスク処理できることを示した。
しかしながら、彼らは通常の狭い視野よりも全天球映像の方が大きな認知負荷をかけることも示している。実際、バーチャルリアリティヘッドマウントディスプレイ（VR HMD）、パノラマドームディスプレイ、または通常の 2D モニタなどの 360 度コンテンツが扱えるディスプレイは、ビデオチャットに使用するときにいくつか問題がある。より適切なディスプレイを使用することで、この問題は改善できると我々は考える。
現存のディスプレイに対する代替案として、球体ディスプレイ [1] があげられる。球体ディスプレイは 3 次元形状であるため、従来のディスプレイより自然に 360 度の画像を表示し、ユーザの認知負荷を低減することができると期待される。
Li ら [4] は新しい 360 度のパノラマビデオ通信
デバイスとして OmniEyeball を提案した。これは球体ディスプレイシステムに全天周カメラを組み込んだディスプレイである。 OmniEyeball は、全天周のライブビデオストリームをキャプチャし、ワイヤレス接続を介してデータを送信する。遠隔通信相手の

図 1: 360 度パノラマビデオ通信.

OmniEyeball から受信したのライブビデオを球面に表示する。このシステムでは、全天周カメラによって周りの環境全体をそのまま撮影することができるので、ユーザはカメラの位置またはディスプレイの表示方向に制約されることはない。すなわち、ユーザは装置周辺のどこにいたとしてもコミュニケーションに参加することができる。
したがって、本研究の目的は図 1 に示すように、2 つの OmniEyeball デバイスを用いて、双方向ビデオ通信における全天球ビデオチャットシステムの有用性を探求することである。

2

実装

2.1

ハードウェア本システムのプロトタイプで用いるハードウェア
を図 2 左に示す．本システムは、ディスプレイとして渋谷光学の球体ディスプレイ Glomal350 を使用した．
解像度は 1024×768 である．球体ディスプレイの上には全天周カメラが乗っている。カメラは RICOH 社のTheta S を使用した．本実装では Theta S を有線で直接 PC に繋ぎ通信を行なっており，ライブストリーミングのフレームレートは 30fps，解像度は 1280×640の画像を用いている．PC は MacBook Pro(2.6 GHzIntel Core i7) である．

2.2
Copyright is held by the author(s).
∗ 東京工業大学† 筑波大学

ソフトウェア

使用しているカメラ ThetaS のライブストリーミ
ング機能では，アプリケーションを通して解像度

WISS 2017

図 3: ローカルユーザーがパノラマビデオチャットを通して遠隔の人々と話している様子.
図 2: ハードウェアプロトタイプ (左). 正距方位図法を用いて変換を行う（右）。

1280×640 の正距円筒図法での全周囲画像が 30fpsで PC に送信される．パノラマビデオ通信の場合は正距方位図法への変換を行なった後，球体ディスプレイ本体下のプロジェクタからディスプレイ側面に対して投影を行う．
2.2.1 正距方位図法変換
Theta から撮影された球体画像は RICOH ThetaUVC Blender アプリケーションを通して，矩形型の正距円筒図法画像として PC に送信される．Glomal350
で投影される画像は円形型の正距方位図法画像であり，図 2 右のように正距円筒図法画像（右上）から正距方位図法画像（右下）への変換を行なっている．
正距円筒図法画像矩形の高さは，正距方位図法画像
円形の半径 r と一致し，正距円筒図法画像矩形の幅は，正距方位図法画像円形の偏角 ϕ の 0 から 2π の変化と一致する．正距円筒図法画像の原点は，正距方位図法画像の中心となり，正距方位図法画像でのピクセル P （X，Y）は，正距円筒図法画像でのピクセル P（x，y）を用いて以下式で変換する．

θ = x/yX = r + y sin θY = r − x cos θ3パノラマビデオ通信アプリケーション

パノラマビデオ通信では、2 つの OmniEyeball と2 つの PC が 2 つの異なる場所に設置されている。各
OmniEyeball の全天周カメラは、周囲の環境をキャプチャし、ライブビデオストリームをローカル PC に送信する。ローカル PC とリモート PC は LAN（ローカルエリアネットワーク）で接続されている。ロー
カル全天周カメラによって撮影されたライブビデオは、解像度 768 × 768 ピクセルの TCP/IP プロトコ
ルを介してリモートシステムに転送され、リモートディスプレイに表示されます。FPS は 30fps である。
ビデオチャット接続が確立された後、カメラとディスプレイのキャリブレーションを行う。これにより、
図 1 のように、ローカルディスプレイ上でローカル人物 B が遠隔人物 C と対面した場合、リモート側のB の画像も、人物 C に向か。さらに、オーディオはローカル PC のマイクで録音され、Skype を使用してリモート PC に転送される。

4

結論および今後の展望

本研究は、ビデオ通信システムにおけるディスプレイとカメラの視野制限問題の解決策として、OmniEyeball と双方向 360 度パノラマビデオ通信システムを提案した。今後の課題としては、球体ディスプレイの反対側を見るための適切な解決策が必要と考えられる。

参考文献[1] H. Benko, A. D. Wilson, and R. Balakrishnan.
Sphere: Multi-touch Interactions on a Spherical Display. In Proceedings of the 21st Annual ACM Symposium on User Interface Software and Technology,
UIST ’08, pp. 77–86, New York, NY, USA, 2008.
ACM.
[2] W. W. Gaver. The Affordances of Media Spaces forCollaboration. In Proceedings of the 1992 ACM Conference on Computer-supported Cooperative Work,CSCW ’92, pp. 17–24, New York, NY, USA, 1992.
ACM.
[3] S. Johnson, I. Rae, B. Mutlu, and L. Takayama. Can
You See Me Now?: How Field of View Affects Collaboration in Robotic Telepresence. In Proceedingsof the 33rd Annual ACM Conference on Human Factors in Computing Systems, CHI ’15, pp. 2397–2406,
New York, NY, USA, 2015. ACM.
[4] Z. Li, S. Miyafuji, T. Sato, and H. Koike. OmniEyeball: Spherical Display Embedded With Omnidirectional Camera Using Dynamic Spherical Mapping.
In Proceedings of the 29th Annual Symposium onUser Interface Software and Technology, UIST ’16
Adjunct, pp. 193–194, New York, NY, USA, 2016.
ACM.