情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C56
2016/3/2

全方位映像の 2.5 次元俯瞰表示による広域管理
宇都木 契†

小林 美保†

荒 宏視†

概要：工場や倉庫，店舗など，広域空間の状況管理のため，３Ｄマップに複数の全方位カメラの映像情報をマッピングする画面デザインについて発表する．提案手法では，複数の全方位画像を三次元環境内の仮想スクリーンにマッピングすることで，環境の一望俯瞰が直感的に行なう画面を構築する．この手法はシンプルな実装で実現可能であり，時間変化を伴う全体状況を俯瞰するための使い勝手の良いＵＩを提供する．

Monitoring System Using Multiple Spherical Images
KEI UTSUGI† MIHO KOBAYASHI† KOJI ARA†
Abstract: In this article, we introduce ‘the multi-perspective dome projection method’, which monitors huge indoor space byusing multiple spherical cameras. Our proposed method consists of a three-dimensional map and spherical images and movies
projected into multiple virtual cylindrical screens in the map. The method enables interactive scene representation by simple
implementation.

1. はじめにモニタリングなどの運用は実用的に難しい。
一方、近年増加しつつある全方位カメラ等を用い、イン

本発表では，複数の全方位カメラの映像情報を元に，広タラクティブな見回し[3]を伴う没入型一人称の運用例も域の屋内空間の状況を提示するインタラクティブな画面構増えている[4][5]。全方位カメラが撮影した観察点を視点位築する手法を紹介する．本提案手法では，三次元マップの置として選び見回すことが出来る。先行研究[4][5]では、こ画面内に筒状の投影スクリーンを複数配置してその上に全の観察点を"Bubble"と呼んでいる。このような画像ベース

方位画像をマッピングする．三次元再構築よりも簡便かつの状況確認は、臨場感も高く、詳細状況の把握にも向いて低コストでリアルタイムな処理も実現可能という実用性のいる。その一方、自分が見ている場所が全体空間の中でど高さが特徴である．の位置なのか背景コンテクストの理解が困難になる傾向が

1.1 本稿の構成ある。

第 2 章では過去の関連研究としてマルチカメラを用いた本発表で提案する映像提示手法は、この二つの表現をつ環境の俯瞰方法のニーズと関連する従来技法を比較検討し，なぎ合わせて、空間の状況を俯瞰的に見てコンテクスト全本手法の狙いを説明する．第 3 章で提案手法であるマルチ体を理解するモードと、没入的に状況を確認するモードをパースペクティブを用いた表現のコンセプトについてのべ，シームレスに連結する表現を特徴としている。また、３Ｄ4 章ではこの適用事例を紹介する．第 5 章ではまとめと今マップ内に配置された簡易３Ｄモデルによって、観察点か後の方針について記載する．

らみた映像に情報を追加する AR 的効果も兼ね備えている。

2. 関連研究3. 提案手法:マルチパースペクティブ投影表現関連研究としてカメラ映像の情報を用いて、広域空間の3.1 手法の概要

物理状況を可視化する問題を取り扱う。ここでは議論整理

提案システムは主に三次元マップと全方位画像から構のため、高い位置においた視点から俯瞰する表現の例を俯成される．撮影点の周囲に、仮想的なスクリーンオブジェ

瞰型三人称、人間の視点高さから状況を見る表現の例を没クトを配置し、表示を行なう。このように複数の Bubble

入型一人称と呼ぶ。前者は空間全体の把握に向いた表示方を 3D マップ上に配置する表現をマルチパースペクティブ法で、各場所の局所状況の確認には後者が用いられる。

投影表現 (MP 表現) と呼び，映像を投影するオブジェクト

俯瞰型の三人称映像を構築するもっとも直裁的な方法を仮想スクリーンと呼ぶ．

は、映像情報や空間計測情報から環境の三次元モデルを再図１はこの仮想スクリーンの形状を円筒型にして表示構築することである。このパタンとして市街地環境の３Ｄした例である。この表現ではマップ観察の視点位置ではなモデルなどが構築された例[1][2]がある。だが、計測と再構

く各撮影地点での視聴風景が並ぶ、擬似的な俯瞰映像が示

築計算が高コストになるため、現時点ではリアルタイムなされる．また３Ｄマップの描画視点位置を特定の一つのBubble の中心位置に併せて観察すると見回し表示[4]に近†1 (株)日立製作所
Hitachi Ltd.

© 2016 Information Processing Society of Japan

い表現となり、この仮想的なスクリーンとして被写体付近

389

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C56
2016/3/2の平面を選ぶと、先行研究[5]に近い表現となる。

Spherical camera

Virtual screen object
Image of A
Target A

図 4 柱形状への投影
Figure 4. Projected image onto cylindrical screen.
半球面または全球面画像から，撮影点を中心とした方向
図 1
Figure 1.

円筒状スクリーンによる映像の提示例
Proposed method using cylindrical screen.に対応する画像色情報のテクスチャマッピング処理を行う．
このテクスチャは筒形状の内側にのみ描画し、外側は透過状態にする．この手法では 180 度を超える高視野角の映像を見ることができ、また映像と三次元位置の対応が理解しやすい．
3.3 視点位置のインタラクション
本システムでは視点位置移動の基本的な UI 操作方法として，以下の二種類を提供する．
注目視点の選択俯瞰状態で任意の撮影点を選択する(図 3)．当該カメラの図 2 方形状スクリーンによる映像の提示例

撮影点を，レンダリングの中心となるようにカメラパラ

Figure 2. Proposed method using rectangle screen.

メータを移動させる．
角度と距離の制御選択した撮影点を中心として，視線方向の回転と，視距離の調整を行う．また、注目すべき対象物があらかじめ位置が決まっている場合、後述のプリセット操作を用いることも出来る。
3.4 スクリーン形状の比較と変形
本手法では，視聴の対象と用途に応じて仮想スクリーンの形状を変化させることで，目的に応じた映像を提供する．

図 3 観察点付近からの表示例Figure 3. Display image observed from center of “bubble”.

以下に，代表的な形状と特徴を述べる．
円筒形状
円筒形状を用いた場合には，各仮想スクリーンにおいて3.2 映像のマッピング

横方向 180 度の広視野角の映像が視聴可能となる．この

図 4 に仮想スクリーンと投影方法の基本例を示す．三次場合，画像上に大きな歪みが生まれるが，仮想スクリー

元マップ上での各撮影点に相当する地点を点 p とする．各ンの形状が認識可能なため状況を理解しやすく，また注

点 p の周囲に投影用の筒形状の仮想スクリーン面を 3D オ

目する特定の被写体を歪の少ない表示領域である前方にブジェクトとして配置し，スクリーン面の内側に，全方位移動させるインタラクションが可能である．

画像の映像を投影表示する．仮想スクリーンの外側は非表

床面形状

示かまたは薄い透明度で描画を行なう．このようなデザイ

床平面への映像投影は，上方向からの俯瞰状態で，移動ンにすることで、撮影点付近では映像とその方向を併せて物体の存在を確認する場合に効果的な表現となる．平面理解することが出来るようになる。

モザイキングと同様に，カメラの存在位置から離れた物

三次元マップ内には，複数の仮想スクリーンを配置するので，一つの被写体が複数の仮想スクリーン上にそれぞれ像をもつ事もある．

体は大きな歪を見せることになる．
方形形状
平面状に並んだ棚の状況確認など，対象の位置があらかじめ定まっている場合には，仮想オブジェクトの投影面を当該位置に配置すると，三次元再構築されたように歪© 2016 Information Processing Society of Japan390

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C56
2016/3/2

みの少ない映像を視聴することが出来る．ただし，その異常な変形が発生しないため，安定して映像が視聴できる

棚の前を通り過ぎる人間など，想定される面と一致して点が長所である．また，MP 映像表現では複数の視点位置いないイレギュラーな物体はひずんだ像として写ることの画像を一度に眺めることにより，３次元的に正確な再現になる．また多角形の角における映像は大きな歪みを見では本来見えなくなるアングルからの映像が一度に視聴でせる．

き，シーンが理解しやすくなる効果もある．

複合形状
また，これらの形状特性を組み合わせて利用することも4. 運用例

できる．図 5 は円筒形状の一部を平面形状で置き換えた

本提案手法をベースとして，物流倉庫の環境を可視化す例である．注視対象となる箇所を平面で定義して三次元るインタフェースのプロトタイプを開発した．本章ではこオブジェクトの関係を分かりやすく示すと同時に，それの開発内容について説明する．

以外の箇所については広角を見渡すことに適した円筒形

4.1 運用例：情報コックピットへの俯瞰状況追加
提案手法に基づいて物流倉庫の状況把握と分析を目的状を用いている．

として，情報管理を行なうシステムを試作した．このシステムでは，生産性などの分析情報結果と，現場の物理状況の俯瞰を連結した画面を提供する．CAD 図面から作成した三次元モデルと提案手法の全方位画像で構成される．三次元モデルで構成されたマップ部分に，業務情報の KPI を反映し，該当時刻の物理状況を表す映像と合わせて視聴することで，広域の屋内空間の状況を直観的かつインタラクテ
ィブに可視化する．このような現場情報と分析情報を融合した状況管理画面を「実世界志向コックピット」と呼んでいる．実世界志向コックピットでは，業務状況を管理・分
図 5

複合形状の利用例

Figure 5. Proposed method with general convex screen.

析するための各種指標と，物理的状況を確認する映像を一つの画面に収め，問題の発見から，詳細状況と事象理由の把握を行って指示を実施するまでの工程を連続的に実施す

3.5 プリセット設定
あらかじめ視聴する可能性の高い対象の位置が決まっることを目標として構築されている．
4.2 ハードウェアと実装例ている場合には、選択カメラと角度、及び適切なスクリー

研究対象とした倉庫は，数十名の作業者が活動する縦横数ン形状をセットとして登録しておき、その設定を呼び出す百メートルの広域空間であり，各種の作業最適化の研究[6]操作をまとめてある。この際、プリセット設定に至る視点が行なわれている．図 6 に，この倉庫内に設置した各種設位置とスクリーンの変化過程をアニメーションとして再生備を示す．コックピットは Web アプリケーションとして動することによって、全体環境と映像の観察個所の関係性が作し，図 6 の三面大型ディスプレイに情報が表示される．

直感的に示される。

施設天井に設置された全方位カメラによる定点観測画像な

3.6 手法の効果どを組み合わせて，計 33 箇所の観測点で擬似的な俯瞰画像複数のカメラ映像を並べただけの表現や，インタラクテを構築した．

ィブな見回し表示などの一人称的な表現では，環境の絶対座標系でのカメラと被写体の位置関係を直感的に理解することが難しい．提案手法では，三次元マップと各撮影画像の位置と方向が一致するため，画像の向きや画像内の被写体の位置関係が理解しやすくなる．また各カメラの撮影位置と被写体を同時に視聴するため，俯瞰的な位置に置いた視点を連続的なアニメーションで移動させると，各カメラに写った被写体の存在位置や視聴角度の関係を把握するこ

図 6 表示システムの例 [7]とが容易となる．この全方位画像間の関係把握は，特に画

Figure 6. Monitoring system of warehouse [7]

像をまたがった移動体の行動軌跡を確認する目的に効果を発揮する．

4.3 デモンストレーション環境
本シンポジウムインタラクション 2016 では，提案手法

また環境を三次元再構築する手法と比較すると，映像生を用いたシステムのデモ展示を行い、インタラクティブに成コストが低い点と，奥行き情報の精度不足による映像の状況の確認を体感できる環境を設置する予定となっている．

© 2016 Information Processing Society of Japan391

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

5. まとめ

161C56
2016/3/2

荒宏視（正会員）

本発表では，全方位映像を用いた議事俯瞰表示デザインの実施例について発表し、具体事例のデモ展示を行なう．
提案手法は，複数の全方位画像を三次元環境内の仮想スクリーンにマッピングすることで，環境の一望俯瞰が直感的に行なう画面を構築する．時間変化を含めて全体を俯瞰することのできるＵＩを提供する．

1998 年 3 月早稲田大学理工学研究科
電子情報通信工学専攻修士課程修了。
同年 4 月に日立製作所に入社、同社中央研究所勤務。現在、日立製作所中央研究所に勤務。2012 年早稲田大学大学院基幹理工学研究科にて博士号（工学）を取得。サービス革新のための大量データ活用・人工知能・可視化技術の研究に従事。

参考文献
1) Lisle, J.Richard: Google Earth: a new geological resource; Geology
today 22.1 p.p. 29-32. (2006)
2) S. Agarwal, Sameer et al: Building rome in a day; Communicationsof the ACM Vol.54 No.10, pp105-112, (2011)3) S. Chen et. al.: Quicktime VR: An image based approach to virtualenvironment navigation; SIGGRAPH 95, (1995).
4) D. Anguelov et al.: Google Street View: Capturing the world at street
level; Computer Vol.6 pp.32-38. (2010)5) Kopf, Johannes, et al. Street slide: browsing street level imagery."
ACM TOG. Vol. 29. No. 4. (2010)6) 多田 和市: 倉庫の渋滞解消に AI 活用，生産性を最大 10％向上させた日立, 特集「アルゴリズムは現場が磨く」(1);
http://business.nikkeibp.co.jp/atclbdt/15/258673/080500014/, 日経
BigData (2015)7) 日立物流: 先端物流システムの活用事例紹介, ロジスティクス
ソリューションフェア２０１５, (2015),
http://www.hitachi-hbsoft.co.jp/news/20150624.html
謝辞 本研究の実証実験は㈱日立物流の協力の下に行なわれた。
本研究にご協力頂いた関係者に，謹んで感謝の意を表する．

著者紹介
宇都木契（正会員）
2000 年 3 月東京大学計数工学専攻修士課程修了。同年 4 月に日立製作所に入社、同社システム開発研究所勤務。
現在、日立製作所中央研究所に勤務。
2011 年東京大学学際情報学府にて博士号（学際）を取得。大画面表示や立体ディスプレイを用いた情報可視化の研究業務に従事。
小林美保
2002 年 3 月東北大学情報科学研究科情報基礎科学専攻修士課程修了。同年 4月に日立製作所に入社、同社システム開発研究所勤務。現在、日立製作所東京社会イノベーション協創センタ勤務。可視化・UI 技術を活用したデータ理解と分析支援の研究業務に従事。

© 2016 Information Processing Society of Japan392