応用論文

無人飛行船からの空撮全方位動画像を用いた蓄積再生型拡張テレプレゼンス
大倉 史生*1

神原 誠之 ∗1

横矢 直和 ∗1

Augmented Telepresence Using Recorded Aerial Omnidirectional Videos
Captured from Unmanned Airship
Fumio Okura*1 , Masayuki Kanbara∗1 and Naokazu Yokoya∗1
Abstract– This paper proposes an augmented telepresence system which generates
large-scale omnidirectional AR scenes in outdoor environments using recorded omnidirectional videos captured from an unmanned airship. The proposed system realizes
geometric registration by estimating extrinsic camera parameters using a video sequenceand GPS data. Photometric registration is realized by environmental map completion
and illumination environment estimation of real scene. This paper describes a system
for aerial imaging using an airship and an omnidirectional camera, geometric and photometric registration methods, and experimental results of generating AR scenes from an
omnidirectional video sequence captured on a historic site.

Keywords: Augmented telepresence, Aerial image, Unmanned airship, Geometricregistration, Photometric registration

1

はじめに

近年，ユーザに没入感の高い遠隔地の情景を提示するテレプレゼンス [1] に関する研究が盛んに行われている．遠隔地の情景を実時間でユーザに提示する実時間テレプレゼンスシステムは遠隔コミュニケーショ
ン [1] や遠隔手術 [2]，災害地等の偵察 [3] 等に用いられている．一方で，あらかじめ蓄積された遠隔地の情景を用いる蓄積再生型テレプレゼンスシステムとして，Aspen MovieMap プロジェクト [4] や Cybercity

Walker [5] をはじめとする地図やウォークスルー，エンタテインメント [6] 等を応用とする様々な研究が行われており，近年では Google 社の Google Street Viewのように地図アプリケーションの一機能などとして一般的に用いられるようになっている．
さらに，遠隔地の情景をそのまま提示するだけでなく，その場所に関連する情報の提示を行うために，カメラ等で取得された実環境の情景に仮想物体を重畳する拡張現実感（Augmented Reality: AR）[7, 8] とテレプレゼンスを組み合わせることで，ユーザへの情報提示を効果的に行う研究が行われている [9–12]．
本研究ではこれを拡張テレプレゼンス（Augmented

Telepresence）と呼ぶ．特に，空撮動画像を用いた拡張テレプレゼンスシステム [10, 11] は地上での撮影と比較して広範囲の情景を取得できるという特徴を持*1 奈良先端科学技術大学院大学*1 Nara Institute of Science and Technology (NAIST)

ち，ヘリコプタ等の移動体の遠隔操縦支援や景観シ
ミュレーション等を目的とした実時間システムについて研究が行われており，さらなる応用が期待できる．
本研究では，空撮動画像を用いた拡張テレプレゼンスによる「時空を超えた」バーチャル歴史観光システ
ムを構築する．2010 年は奈良にかつて存在した平城京が設立されて 1300 周年であり，平城遷都 1300 年祭が開催された．提案システムは，奈良時代の平城宮に存在した建造物を復元した「時間を超える」CG を仮想物体とし，無人飛行船から撮影・蓄積された「空間を超える」動画像に重畳する．本研究では蓄積された動画像を用いた拡張テレプレゼンスを蓄積再生型拡張テレプレゼンスと呼ぶ．従来，蓄積再生型拡張テレ
プレゼンスについては地上の 1 地点から撮影された画像を対象として GIS 情報の可視化等を目的とした研究 [13, 14] が行われているが，幾何学的整合性または光学的整合性を考慮しておらず，またテレプレゼンスの没入感向上に関する検討が不十分であった．本研究で実現するバーチャル歴史観光システムは，従来のシステムと比較しリアリティおよび没入感の高い体験をユーザに提供するために，幾何学的・光学的整合性を考慮し，蓄積再生型テレプレゼンスシステムにおける没入感の向上を図る．これらのアプローチは，本研究のようなバーチャル観光旅行等のエンタテインメント
用途のみならず，同様に高品質に仮想物体を重畳し，高い没入感を提供することが望まれる景観シミュレー

日本バーチャルリアリティ学会論文誌 Vol.16, No.2, 2011

ションや都市計画等にも適用が可能であり，近年広く

処理1

全方位動画像の空撮

アプローチ 2.1

処理2

カメラ位置・姿勢推定

アプローチ 1.1

処理3

全方位動画像の姿勢統一アプローチ 2.3

処理4

死角のない
全方位動画像の生成アプローチ 2.2

処理5

ARシーンのレンダリング

アプローチ 1.2

用いられている蓄積再生型テレプレゼンスによるアプ
リケーションにも容易に応用できる．
本論文では，2 章で飛行船と全方位カメラを用いた空撮システム，カメラ位置・姿勢の推定法，死角領域
補完，光学的整合性の実現法について述べる．次に 3
章では平城宮跡上空から撮影された動画像を用いた全方位 AR シーンの生成実験とその結果，および平城宮跡で行われた提案システムの一般公開実験のための拡
張テレプレゼンスシステムの構成と公開実験の様子に

図 1 提案システムの処理の流れ
Fig. 1 Flow of proposed system

ついて述べる．

2

飛行船からの空撮全方位動画像を用いた拡張テレ
プレゼンス

2.1

[アプローチ 2.1]
飛行船に搭載された全方位カメラで撮影された実
環境の全方位動画像を用いてユーザの視線に追従

蓄積再生型拡張テレプレゼンスを実現するた

した透視投影動画像を生成することで，自由な見めの技術課題回しを実現する．

蓄積再生型拡張テレプレゼンスを実現するための技
術課題は，実環境の情景が撮影された動画像への仮想物体の重畳，および蓄積再生型テレプレゼンスシステ
ムを実現するための没入感の向上に大別される．以下に本研究で取り扱う技術課題と解決方法をまとめる．
動画像への仮想物体の重畳• 幾何学的整合性の実現[課題 1.1]
仮想物体位置合わせのためのカメラ位置・姿勢推定[アプローチ 1.1]
動画像と GPS を用いたカメラ位置・姿勢推定手法[15] を適用する．広域屋外環境に適用可能な動画像
からのカメラ位置・姿勢推定手法として Structurefrom-Motion（SfM）が挙げられるが，一般的にSfM では絶対的なスケールが得られないため，GPSと併用することで既知の三次元点座標を測量する
等の事前準備を行わずにスケール情報付きのカメ
ラ位置・姿勢を得る．

• 光学的整合性の実現[課題 1.2]
実物体と仮想物体間の陰影表現の統一• 全方位動画像中の死角領域補完[課題 2.2]
飛行船の映り込みや全方位カメラで撮影できない部分による死角領域の存在[アプローチ 2.2]
死角領域を消去・補完することで情景の欠損がな
い全方位動画像を生成する．そのために，動画像の全フレームから情景を推定し，動画像全フレー
ムを通じて死角となる部分では天空光モデルを用いて天空の輝度分布を推定する．

• 全方位動画像の姿勢統一[課題 2.3]
飛行船の姿勢変化によるユーザの意図しない視線
方向の変更[アプローチ 2.3]推定されたカメラの位置・姿勢情報を用いて全方位動画像の姿勢を統一する．

2.2

システムの処理概要

提案システムの処理の流れを図 1 に示す．図 1 では，各処理に対応する前節のアプローチを同時に挙げている．以下に，各処理を順に概説する．

[アプローチ 1.2]
実環境の全方位画像を光源環境マップとして用い，仮想物体に対して Image Based Lighting (IBL) を（処理 1）空撮動画像は無人飛行船に搭載された全方用いたグローバルイルミネーション（GI）レンダ

ンスにおける没入感向上のため，鳥瞰視点で見回し可

リングを行うことで実物体と仮想物体間の光源環

能な動画像を撮影する．

境を統一する．
蓄積再生型テレプレゼンスのための没入感向上• 全方位カメラによる空撮

位カメラにより撮影される．前節で挙げたテレプレゼ（処理 2）GPS，姿勢センサ，および空撮動画像を用いてカメラの位置・姿勢を推定することにより，仮想物
体を実環境の情景に重畳する際に必要な幾何学的整合性を実現する．

[課題 2.1]
視野が狭く，情景の見回しができないことによる（処理 3）カメラの姿勢を用いて全方位動画像の姿勢

没入感低下を統一することにより，飛行船の姿勢変化によるユー

大倉・神原・横矢 : 無人飛行船からの空撮全方位動画像を用いた蓄積再生型拡張テレプレゼンス

ザの意図しない視線方向の変更を防止する．

姿勢センサ：TISS-5-40（東京計器）（処理 4）本研究では飛行船の全方位動画像への映り

全方位カメラ：Ladybug 3（Point Grey Research）

込みや全方位カメラで撮影できない部分を死角領域とGPSアンテナ：P4-GPS（日立造船）
は飛行船上部に取付呼び，これを消去・補完することで死角のない全方位
動画像を生成する．

(a) 無人飛行船と搭載機器の外観（処理 5）最後に，死角のない全方位動画像と撮影位

GPSアンテナ

置・姿勢を用いて，市販のレンダリングソフトウェア
により仮想物体にグローバルイルミネーション（GI）
を適用しレンダリングを行い実環境と仮想環境を合成
ノートPC，GPS本体することで，全方位 AR 動画像を生成する．ここで，

姿勢センサ
全方位カメラ

全方位画像を光源環境マップとして用いることで実環
境と仮想環境の照明条件を統一する．
以下，全方位動画像の空撮，カメラ位置・姿勢の推定手法，全方位動画像の姿勢統一，死角のない全方位
動画像の生成および AR シーンのレンダリングの詳細
を述べる．

2.3

全方位動画像の空撮

空撮は地上からの撮影と比較して鳥瞰視点で広範囲の動画像を取得できるため，広域屋外環境における拡張テレプレゼンスシステムを構築するために有効な撮影手段となる．特に無人航空機（飛行機，ヘリコプタ，
飛行船等）は有人航空機と比較して低空での撮影に適しており，建造物等を詳細に確認するような用途に有効である．無人飛行船は飛行機やヘリコプタと比較すると安全であり，さらに撮影を低コストで行うことができる [16]．このような理由から，本研究では空撮に無人飛行船を用いる．
提案システムでは，図 2(a) に示す全長 12m のラジコン飛行船を用いて空撮を行う．飛行船には空撮
動画像を取得するための全方位マルチカメラシステ
ム Ladybug3（Point Grey Research 社製）を下向きに取り付け，離散的な位置情報取得のための GPS として電子基準点網によるネットワーク補正を利用する

Diﬀerential GPS である P4-GPS（日立造船株式会社
製），姿勢センサとして光ファイバージャイロ TISS5-40（東京計器株式会社製）を図 2(b) のように搭載する．全方位カメラによって取得された画像は，全方位カメラにおける各カメラの内部パラメータおよびカメラ間の関係を用いて図 3 に示すようなパノラマ画像に(b) 機器の搭載位置

図 2 本研究で使用した無人飛行船と搭載機器
Fig. 2 Unmanned airship and equipped sensors

よびセンサは，データ蓄積のために 1 台のノート PCに接続される．

2.4

カメラ位置・姿勢推定

提案システムでは，動画像からカメラ位置・姿勢を推定する Structure-from-Motion（SfM）アルゴリズムと GPS の位置情報を併用するハイブリッド手法 [15]を用いてカメラ位置・姿勢を推定する．一般に，動画像を用いた逐次的なトラッキングには蓄積誤差が発生する．SfM アルゴリズムは全体最適化を行い誤差を動
画像全体に分散させることによって蓄積誤差を抑制しているが，原理上，蓄積誤差に起因する動画像全体の誤差を完全に解消することは難しい．また，SfM アル
ゴリズムでは相対的なカメラ位置・姿勢しか得られずスケールが未知である．これに対して GPS の位置情報には蓄積誤差が発生せず，絶対座標系である GPS
測地座標系で測位が行われスケールが既知である．文献 [15] では，それらを併用することで，絶対座標系上でのカメラ位置・姿勢推定を行う．カメラ位置・姿勢
推定手法 [15] の概要を以下に示す．
カメラ位置・姿勢推定に用いる座標系，記号および誤差の定義を図 4 に示す．一般に SfM アルゴリズム
表 2 搭載センサの仕様
Table 2 Speciﬁcation of sensors

変換される [17]．飛行船の仕様を表 1，各センサの詳

センサ

細を表 2 に示す．飛行船に搭載された全方位カメラお全方位
マルチカメラシステム
GPS

表 1 飛行船の仕様
Table 1 Speciﬁcation of airship
サイズ
ペイロード
最大速度
連続航行時間搭載センサ

全長 12 m，直径 3.2 m
約 12 kg（気温により変動）
50km / h （バッテリ駆動）
約 60 分
GPS・姿勢センサ・全方位カメラ

姿勢センサ

モデル
Point Grey
Research
Ladybug3
日立造船
P4-GPS

東京計器
TISS-5-40

詳細
5400 × 2700 画素
15 fps搭載カメラ: 6 個
Diﬀerential GPS
4Hz
水平 RMS 40.4cm
垂直 RMS 53.5cm
精度: 3◦ /h
500Hz

日本バーチャルリアリティ学会論文誌 Vol.16, No.2, 2011

ここで，ω は重み係数，Sp i は第 i フレームにおいて観測された特徴点の集合，Fg は GPS 測位データが観測されたフレーム集合を表す．カメラ位置・姿勢 Mi
は，適切な ω を用いて評価関数 E を勾配法などにより最小化することで求められる．
本研究では，全方位カメラおよび GPS 受信機は飛行船船体に固定されているものとし，カメラ座標系上での GPS 受信機の位置 d は飛行船の直径およびゴン
ドラの高さから計算する．また，カメラで撮影された

図 3 全方位カメラで得られる空撮全方位画像
Fig. 3 Omnidirectional image captured fromairship

動画像の各フレームおよび GPS 受信機の測位についてのタイムスタンプを保持しておき，GPS 測位のタ
イムスタンプと最も近いタイムスタンプを持つフレー
ムに GPS 測位データを付与する．

カメラパラメータ行列 ௜

GPS測地座標系

文献 [15] においては位置推定に用いる GPS として
RTK-GPS を用いているが，本研究では，飛行船のペ特徴点
カメラ座標系

イロードの制約から Diﬀerential GPS を用いる．RTK௝
投影座標 

GPS の計測精度はおよそ数 cm から数十 cm 程度であ再投影誤差 Φ௜௝
特徴点検出座標 ࢐

11

GPS測位値 g௜

では，文献 [15] で用いられる ω = 10−9 と比較し小GPS受信機の推定位置 

GPS測位誤差り，Diﬀerential GPS と比較して精度が高い．本研究
さな重み ω = 10−13 を用いることで，GPS の計測誤GPS受信機の位置推定誤差 Ψ௜
GPS受信機差による影響を低減する．また，本研究において大量のフレームを一度に扱う場合，文献 [15] の手法を用いると，GPS の測位誤差に起因して E が増大した結図 4 カメラ位置・姿勢推定 [15] における座標系，記号および誤差の定義
Fig. 4 Coordinates in camera pose estimation [15]果，正しく推定が行われない場合があり，一度に全フレームの推定を行うのは困難である．そこで，本研究では全フレームに対し一度にカメラ位置・姿勢の推定を行わず，数百フレームの短い動画像を切り出して推では第 i フレームにおける画像上で検出された特徴点定を行う．また，各動画像間におけるカメラ位置・姿

j の座標 qij ，および推定された特徴点 j の三次元位置を再投影することで計算される画像上への投影座標

勢推定値の連続性を実現するため，各動画像を重複さ

q̂ij を用いて，第 i フレームにおける特徴点 j の再投影誤差関数 Φij を以下のように定義する．

定値を線形補間し，姿勢は 2 つの推定値の四元数を球

Φij = |qij − q̂ij |2 .

せる．重複したフレームにおいては，位置は 2 つの推面線形補間することによって推定値を一意に求める．

(1)

評価関数の最小化結果は，局所解の存在が問題とな

本研究の枠組みにおいては，GPS 受信機を用いるためり初期値に大きく依存する．一般に，前フレームのカに第 i フレームにおける GPS 測地座標系上での GPS

メラ位置・姿勢が正しく推定された場合，連続するフ

受信機の位置を gi ，カメラパラメータ行列を Mi とすレーム間でのカメラの移動量が微小であるとして，前るとき，カメラに対して GPS 受信機は相対的に固定フレームで推定されたカメラ位置・姿勢を次フレームされているため，カメラ座標系上での GPS 受信機ののカメラ位置・姿勢の初期値とすることができる．し位置 d は一定となり，以下の関係が成立する．

かし，動画像の 1 フレーム目については初期値を決め(2)ることが難しい．文献 [15] では，測量された実環境のしかし，一般に Mi には推定誤差が含まれるため，GPS
受信機の位置推定誤差関数 Ψi を以下のように定義す3 次元座標と初期フレームの画像座標の対応を与える
ことにより，1 フレーム目のカメラ位置・姿勢の初期る．

値を計算している．しかし，本研究では広域にわたる

Mi gi = d.

(3)

測量が難しく，人的コストが大きくなることから，飛誤差関数 Φij および Ψi を用い，評価関数 E は以下の行船に搭載した姿勢センサによって得られた姿勢情報

ように定義される．
(1 − ω) ∑ ∑ω ∑Ψi + ∑
Φij .
E=
|Fg |
i |Sp i |を 1 フレーム目のカメラ姿勢の初期値としている．

Ψi = |d − Mi gi | .
2

i∈Fg

i

j∈Sp i(4)大倉・神原・横矢 : 無人飛行船からの空撮全方位動画像を用いた蓄積再生型拡張テレプレゼンス

3. 残存する死角領域の天空光モデルを用いた補完
地上領域に存在する死角領域の補完
地上付近の死角領域を補完するため，動画像中の補完対象フレームに対する前フレームにおける輝度情報を利用する．1 フレームでの飛行船の移動が十分小さ
く，死角領域による地上への遮蔽が遠景のみに見られると仮定し，死角周辺の限られた領域を探索すること
により，2.4 で推定されたカメラの姿勢を用いて方角
図 5 姿勢統一後の全方位画像
Fig. 5 Omnidirectional image aligned its postureが合わせられたパノラマ画像座標上における前フレームからの移動ベクトルを推定する．前フレームからの死角領域周辺の移動ベクトルを推定するため，Sum of

Squared Diﬀerence (SSD) を用いて補完対象フレーム
2.5

全方位動画像の姿勢統一における死角周辺領域と対応する前フレームにおける本研究では 2.4 において全方位カメラの姿勢が得ら領域を推定し，死角領域 1 つにつき領域の移動ベクトれているため，これを用いて全方位動画像の姿勢統一

ルを 1 つ求める．死角領域内の画素の輝度値には，推を行う．第 i フレームにおけるカメラパラメータ行列

定された移動ベクトルが示す前フレームの対応画素のMi の回転成分を Ri としたとき，全方位動画像を球面

輝度値を用いる．これを初期フレームから繰り返すこに投影し R−1= RT
i によって変換を行うことで GPSiとにより，図 6(b) のように動画像全体における地上測地座標系における球の姿勢を統一する．再びパノラ領域に存在する死角領域を補完する．

マ画像に展開することで，姿勢が統一された全方位動

空領域に存在する死角領域の輝度値推定

画像を得る．図 3 の全方位画像を姿勢統一したものを空に存在する死角領域の輝度値を推定するために，

図 5 に示す．図 5 は画像の中央が北となるように変換

動画像全体で空領域における光源環境は不変であり輝され，地平線が画像上の水平線とほぼ一致しているこ

度値が変化しないと仮定し，動画像の全フレームからとがわかる．以降のステップでは，姿勢統一後の動画

1 枚の空画像を生成する．この時，動画像中の各フレー
ムにおける輝度値のみを用いて，死角領域の輝度値を像に対して処理を行う．

2.6

死角のない全方位動画像の生成推定する．また空は無限遠に存在するとして，地上に提案システムで撮影される全方位画像には，死角領存在する死角領域の補完時のような画像上での位置合域，すなわち飛行船の映り込みや全方位カメラで撮影

わせを行わずに補完を行う．まず，図 7(a) に示されるできない領域が含まれる．本研究ではその領域の消去・ような，動画像の各フレームの北を上方に合わせた等補完を行い，死角のない全方位動画像を生成すること

立体角射影画像を生成する．次に，動画像の全フレーにより実環境の光源環境推定および死角領域の実環境

ムを以下のように統合することにより，1 枚の空画像の情景への遮蔽による没入感低下への対策を行う．こを生成する．統合後の空画像における各画素の輝度値のとき，カメラと飛行船は相対的に固定されているた

vxy は，第 i フレームの空画像の輝度値 vixy を用いてめ，死角領域は動画像全体で一意に指定できる．そこ

本研究において死角領域の大部分は空に存在するが，以下のように計算される．
∑
1αixy · vixy ,(5)
vxy = ∑
i αixy i{
1 (vixy が死角領域に含まれない)
αixy =
0 (vixy が死角領域に含まれる)．
統合後の空画像を図 7(b) に示す．本処理では空領域

飛行船の姿勢変化により図 6(a) のように死角領域がの光源環境が変化しないと仮定しているため，雲の移

地上を遮蔽する場合がある．本研究では，全方位動画

動等で光源環境が変化した場合，空領域の輝度勾配が像における仰角 5 度以上に地上の構造物が映りこんで実際より小さくなる．よって，光源環境の大きく変化

いないと仮定して空領域と定義し，それ以外を地上領する環境においては，動画像全体で輝度値推定を行わ域として推定を行う．以下，死角のない全方位動画像

ず，数十〜数百フレーム程度の短い動画像ごとに推定の生成処理の流れを示し，各処理の詳細を述べる．

を行うといった対処が考えられる．

で，姿勢統一前の全方位画像を用いて死角領域を示す
マスクを作成し，各フレームの姿勢を用いて 2.5 と同様の処理を行うことによって各フレームのマスクを生成しておく．

残存する死角領域の天空光モデルを用いた補完

1. 地上領域に存在する死角領域の補完
2. 空領域に存在する死角領域の輝度値推定

動画像を通して全てのフレームで空が映り込まず死∑i αixy = 0 となる．図 7(b) に示角となる部分では日本バーチャルリアリティ学会論文誌 Vol.16, No.2, 2011(a) 飛行船の映り込みによる地上への遮蔽．塗 (b) 地上領域に存在する死角領域の補完結果．
りつぶされた領域は死角領域を示す．

図 6 地上領域に存在する死角領域の補完
Fig. 6 Completion of ground area(a) 各フレームでの空画像（北が (b) 動画像の全フレームを用いて (c) All Sky Model に基づいて生 (d) 補完後の HDR 空画像（表示上方の等立体角射影画像．塗りつ 生成される統合後の空画像
成される空画像
輝度値レベルは図 7(a) に統一）ぶされた領域は死角領域を示す．
）

図 7 空領域に存在する死角領域の補完
Fig. 7 Completion of sky area

すように天頂付近では統合後の空画像の輝度値を決定できないため，全ての天候における空全体の輝度を統計的にモデル化した All Sky Model [18] を用いて補完を行う．All Sky Model は，空全体の輝度分布モデ
ルとして多くの天空状態において実際の観測値に近い近似となっている [18]．All Sky Model は空のおおま
かな近似モデルであるため，本処理で補完される領域
における雲のテクスチャや局所的な輝度値の変化は再現されない．ここで，計算によって求められる輝度値は元画像における輝度値の上限を上回る可能性がある
ため，出力される画像を High Dynamic Range(HDR)
画像とする．All Sky Model は，天空の輝度分布を天6.73− 1.16,
1 + 0.17 · exp(3.7 · Si)
0.566
b=
,
{1 + 30.1 · exp(−2.8 · Si)} − 0.88a=c = 1.77 · (1.22 · Si)3.56 · exp(0.2 · Si) · (2.1 − Si)0.8 ,
−3.05
d=
,
1 + 10.6 · exp(−3.4 · Si)
0.48
e=
,
1 + 245 · exp(−4.13 · Si)La(γs , γ, ζ) : 天空要素の輝度,
Lz(γs ) : 天頂輝度,
L(γs , γ, ζ) : 相対天空輝度分布,

頂輝度と相対輝度分布の積で表すモデルであり，天空

γs : 太陽高度 [rad],状態（天候等）によって変化するパラメータにより全

γ : 天空要素の高度 [rad],天候に対応している．All Sky Model は以下のように

ζ : 太陽と天空要素の角距離 [rad],定式化される．

Si : 天空指標．

Lz(γs ) · L(γs , γ, ζ)ϕ(γ) · f (ζ), (6)= Lz(γs ) · π
ϕ( 2 ) · f ( π2 − γs )bϕ(γ) = 1 + a · exp(
),
sin γ
π
f (ζ) = 1 + c·{exp(d·ζ)−exp(d· )}+e·cos2 ζ,2La(γs , γ, ζ)=

ここで，天空指標 Si は全天日射量等から算出され，天候によって 0.0 ≤ Si ≤ 2.0 の値をとる．Si が大きい
ほど晴天に近く，天空の拡散が少ないことを示す．また，太陽高度 γs は撮影日時および緯度・経度から算出される．本来，All Sky Model における天空要素の輝度 La および天頂輝度 Lz には [W/m2 sr] で表される
物理量が与えられるが，本研究では物理的な輝度は未大倉・神原・横矢 : 無人飛行船からの空撮全方位動画像を用いた蓄積再生型拡張テレプレゼンス

曇天

晴天

Si = 0.0

Si = 1.0

・・・

Si = 2.0

・・・
Si = 0.6 （Lzの分散最小）

図 8 All Sky Model における Si の推定
Fig. 8 Estimation of Si in All Sky Model

知である．よって，本研究ではガンマ補正が行われていない画像を用いることで，画像上での RGB それぞれの輝度値を用いて以降の計算を行う．ここで，ガンマ補正が行われていない画像における飽和が起こっていない画素の輝度値は物理的な輝度に比例するため，相対的な輝度分布は実環境と同じとなる．
本研究では多くの場合天頂が遮蔽されるため，天頂
輝度 Lz は未知である．Lz を推定するため，式 (6) を以下のように変形し，La および L を導出することでLz を推定する．

図 9 死角領域補完後の全方位画像
Fig. 9 Result of environmental map completionのように動画像全体を補完する．図 9 には死角領域を補完した全方位画像を示す．地上領域には地上画像の輝度値，空領域には空画像の輝度値を用いることで統合を行う．空画像の補完時と同様に，領域境界付近の画素値についてブレンディングを行う．
仮想物体を重畳する際の背景画像およびレンダリン
グ時の光源として，以上の処理で推定された死角領域
による遮蔽のない環境マップを用いる．

2.7 AR シーンのレンダリング
AR シーンのレンダリングには市販のレンダリング
ソフトウェアである Autodesk 社製 3ds Max およびLa(γs , γ, ζ).
(7)L(γs , γ, ζ, Si)
ここで，天空指標 Si は死角領域が存在するために全天日射量等を得ることができず未知であるため，Si をのカメラ位置・姿勢により仮想物体の位置合わせを行

変数として扱う．ここで，空画像中における死角領域

GI により相互反射等を考慮したレンダリングを行い，でない，かつ輝度値の飽和が起こっていない画素をラ

全方位 AR シーンを生成する．

Lz(γs , γ, ζ, Si) =mental image 社製 mentalray を用いる．各フレーム
い，推定された環境マップを用いて IBL を適用した

ンダムに数百点程度サンプリングし，k 番目の画素の3

輝度値を Lak とする．次に，画素 k における相対輝
度 Lk を導出するために，Si を決定する必要がある．

実験

本研究では，Si = 0.0 から Si = 2.0 まで 0.1 間隔で3.1 実験内容
無人飛行船を用いて平城宮跡上空で撮影を行ない，サンプリングし，それぞれ独立に Lk (γs , γ, ζ, Si) を求

仮想物体を合成する実験を行った．実験に用いた動画

め，さらに式 (7) を用いて Lzk (γs , γ, ζ, Si) を計算す

像はおよそ 1900 フレームであり，約 200 フレームの短る．図 8 に示すように，Lzk (γs , γ, ζ, Si) の分散が最い動画像ごとにカメラ位置・姿勢の推定を行った．短いも小さくなるように Si を決定する．決定された Si を

動画像それぞれ，1 フレーム目の姿勢の初期値は姿勢

用い，Lzk (γs , γ, ζ, Si) を k について平均することで，センサの計測値より与えた．飛行船に搭載された GPS

Lz(γs , γ, ζ, Si) を推定する．これは，各 Si に基づいによって得られた飛行パスを図 10 に示す．飛行船の飛たモデルを用いて空画像を生成し，実際に得られたラ

行範囲は南北方向，東西方向ともにおよそ 200m 程度，

ンダムサンプリングされた点の輝度値との誤差が最小

移動距離はおよそ 600m 程度であった．重畳した仮想となる Si を選択することと等価である．

物体には，図 11 に示される南北 1km，東西 1.3km 程決定された Si および Lz を用い，死角領域における輝度値を式 (6) から推定する．この際，モデルによって推定された領域と動画像から推定された領域の境界に

度の平城宮の三次元モデルのうち，建物部分のみを用いた．

エッジが発生することがあるため，境界からの距離に3.2 AR 合成結果
実験結果を図 12 に示す．入力画像を図 12(a) に，姿

応じてアルファ値を低下させることで，両手法によっ勢を統一した画像を図 12(b)，死角領域の補完結果をて推定された画素値のブレンディングを行う．

図 12(c)，生成された AR シーンを図 12(d) に示す．

動画像全体で空画像が 1 枚推定されるため．これをAll Sky Model における天空指標 Si を求めた結果，各フレームにおける地上画像と統合することで，図 9

Si = 0.6 となった．また，文献 [19] を用いて全方位日本バーチャルリアリティ学会論文誌 Vol.16, No.2, 2011

す一般的に販売されている 65 インチ TV モニタに提示

34.6935

し，ジョイスティックを用いて見回しを実現した．ユー
34.693

ザは，ジョイスティックを操作することにより視線方向を変更することができる．HMD を用いたシステム

34.6925では，生成された平面透視投影動画像は図 14(b) に示
シーケンス終点

緯 34.692
度

す HMD に提示され，HMD に内蔵された 3 軸ジャイ
ロセンサにより HMD の姿勢に応じた動画像を提示することで見回し可能とした．よって，ユーザが実際に34.6915

見回し動作を行うことにより，その視線方向に対応した平面透視投影画像を得ることができる．システムを

34.691

用いて提示されるコンテンツには，3.1 および 3.2 にシーケンス始点
34.6905135.7945

135.7955

135.7965

135.7975

おいて撮影され合成されたものを用いた．また，仮想経度

物体が重畳された情景と実環境のみの情景を切り替え

図 10 平城宮跡上空からの撮影時における飛行
船の軌跡
Fig. 10 Path of airship during aerial imaging
above heijo-kyo

可能とし，より直感的に奈良時代当時の風景と実環境を結びつけられるよう配慮を行った．
一般公開実験において各システムを体験したユーザから得られた意見から，実環境の情景と仮想物体を合成して提示することで実際の風景と過去の風景を直感的に結び付けやすいという感想が多く得られた．また，歴史体験システムとして建造物へのアノテーション付
与の需要が多く，さらに撮影経路外への視点移動の実
現や，仮想物体として動物体を用いることなどを求める意見が多数得られた．仮想物体の位置合わせや陰影表現の統一については概ね良い評価であったが，一部に仮想物体と実物体間のジッタを指摘する意見が見ら

図 11 平城宮の三次元モデル（凸版印刷株式会
社製作）
Fig. 11 3D model of “Heijo-kyo” created by
Toppan printing Co., Ltd.

れた．以上より，本研究で目指した幾何学的・光学的整合性等の実現以外に，コンテンツとしての完成度や充実度を高めることも大きな需要の一つであると考え
られる．

3.4

拡張テレプレゼンスシステムの評価実験

提案システムの性能を定量的に検証するため，幾何AR 画像から平面透視投影画像を生成した例を図 13 に示す．正しく仮想物体の位置合わせが行われ，光源環学的整合性を実現するための処理であるカメラ位置・境についても違和感なく提示されている．

姿勢推定，および光学的整合性を実現するための処理

拡張テレプレゼンスシステムの一般公開実験

である実物体と仮想物体の陰影関係の統一についての

平城宮跡上空から撮影された動画像を用いた提案方評価を行った．各整合性実現処理に対する評価法およ3.3

式に基づくバーチャル歴史体験システムについて，TV

び評価結果を以下に述べる．

モニタを用いたシステムと HMD を用いたシステムを提案システムのカメラ位置・姿勢推定精度検証のた

開発し，一般公開実験を行った．本実験はおよそ 2 週

め，再投影誤差を用いて客観的な定量評価を行った．

間にわたり，平城遷都 1300 年祭の平城宮跡会場内，平

本研究は広域屋外環境を対象とているため，正確な測

城京なりきり体験館で行われ，延べ 1000 人以上が体量によって実空間の 3 次元座標値の真値を得ることが験した．公開実験に用いたシステムの外観を図 14 に示

難しい．そこで，重畳された仮想物体上の画像座標と，す．生成・蓄積された全方位 AR シーンは，全方位動対応する実環境の画像座標をそれぞれ手動で与えて比画像を用いたテレプレゼンスシステム [19] によりユー

較することにより再投影誤差を評価した．本研究ではザの視線方向に追従した平面透視投影画像へ GPU を全方位画像を用いており単純に画像座標上での距離を用いて実時間で変換され，HMD 等のディスプレイデ

用いて比較することは難しいため，得られた画像座標

バイスを用いて提示される．

のカメラを中心とした球面上への射影を求め，各点とTV モニタを用いたシステムでは，全方位動画像か球の中心を結ぶ線がなす角を評価に用いた．精度比較

ら切り出された平面透視投影動画像を，図 14(a) に示の対象として，GPS および姿勢センサのみで仮想物

大倉・神原・横矢 : 無人飛行船からの空撮全方位動画像を用いた蓄積再生型拡張テレプレゼンス(a) 入力された全方位画像(b) 姿勢統一後の全方位画像(c) 死角領域補完後の全方位画像(d) 生成された全方位 AR 画像

図 12 提案システムにより生成された全方位 AR シーン
Fig. 12 Omnidirectional AR scene generated by proposed system日本バーチャルリアリティ学会論文誌 Vol.16, No.2, 2011

図 13 全方位 AR シーンから変換された平面透視投影画像
Fig. 13 Planar perspective AR scene generated from omnidirectional AR scene(a) TV モニタを用いたシステム(b) HMD を用いたシステム

図 14 一般公開実験に用いた拡張テレプレゼンスシステム
Fig. 14 Proposed system implemented for demonstration

大倉・神原・横矢 : 無人飛行船からの空撮全方位動画像を用いた蓄積再生型拡張テレプレゼンス
9

よる空撮，死角領域の補完，および全方位動画像の姿

8

勢統一を行う広域屋外環境における蓄積再生型拡張テ

7レプレゼンスシステムを提案した．提案システムでは動画像と GPS を用いてカメラ位置・姿勢を推定する

5

提案システム4

センサのみ

ことで幾何学的な位置合わせを行い，死角領域が補完

3

された全方位動画像を光源環境として利用してレンダ

2

リングを行うことで写実性の高い AR シーンを生成す

1

る．実験では，平城宮跡上空から撮影された動画像を0用いて AR コンテンツを構築し，さらに HMD および

10
30
50
70
90
110
130
150
170
190
210
230
250
270
290
310
330
350
370
390

再投影誤差（Deg）

6

フレーム

図 15 提案システムにより生成された動画像および比較動画像のカメラ位置・姿勢に基づく再投影誤差
Fig. 15 Reprojection errors based on positionand posture of the camera

体を重畳した動画像を用いた．3.2 で生成された動画像のうち最初の 400 フレームを 10 フレーム毎に，計40 フレーム分の再投影誤差を比較した．各フレーム
14 組の対応を与えた．結果を図 15 に示す．提案シス
テムの再投影誤差の平均は 0.23 度，センサのみで仮想物体を重畳した場合の再投影誤差の平均は 5.11 度であった．有意差が認められ（p < 0.01，t 検定），本TV モニタを用いた一般公開実験を行った．また，評価実験によりカメラ位置・姿勢推定および光学的整合性の実現に関する処理の有効性が示された．
今後は，提案システムを実時間拡張テレプレゼンスに応用していく予定である．そのためには，飛行船から地上への全方位動画像の実時間伝送，実時間でのカメラ位置・姿勢推定，光源環境推定を行う必要がある．蓄積再生型システムにおいては，実空間の幾何形状を考慮することにより，実物体による仮想物体のオ
クルージョンの再現を行うことが考えられる．また，自由視点画像生成を応用した自由な視点移動の実現についても検討を行う．
謝辞

研究におけるカメラ位置・姿勢推定処理の有効性が示
本研究の一部は，文部科学省特別教育研究経費「アされた．
光学的整合性については客観評価を行うことが難し
いため，アンケート調査による主観的な定量評価を行うことにより有効性を検証した．撮影日時および撮影地点から得られた太陽の方角からの平行光を光源に用

ンビエント環境知能研究創出事業」，科学研究費補助
金 (基盤研究 (A)，No.19200016) による．本研究で用いた三次元モデルは凸版印刷株式会社，社団法人平城遷都 1300 年記念事業協会の提供による．

いてレンダリングを行った動画像 A と，提案システム
によって生成された動画像 B について比較を行った．

参考文献

各動画像は，3.3 における HMD を用いたシステムに[1] J. Steuer. Deﬁning virtual reality: Dimensions
determining telepresence. J. of Communication,
Vol. 42, No. 4, pp. 73–93, 1992.
[2] G.Ballantyne.
Robotic surgery, telerobotic
surgery, telepresence, and telementoring. SurgicalEndoscopy, Vol. 16, No. 10, pp. 1389–1402, 2002.
[3] T. Fong and C. Thorpe. Vehicle teleoperation interfaces. Autonomous Robots, Vol. 11, pp. 9–18,
2001.
[4] A. Lippman. Movie-maps: An application of the
optical videodisc to computer graphics. Proc.
ACM SIGGRAPH ’80, Vol. 14, No. 3, pp. 32–42,
1980.
[5] D. Kotake, T. Endo, F. Pighin, A. Katayama,
H. Tamura, and M. Hirose. Cybercity walker 2001:
Walking through and looking around a realistic cyberspace reconstructed from the physical world. In
Proc. Second IEEE and ACM Int. Symp. on Augmented Reality, pp. 205–206, 2001.
[6] M. Hori, M. Kanbara, and N. Yokoya. MR telepresence system with inertial force sensation using a motion platform and an immersive display.
In Proc. IEEE Sympo. on 3D User Interfaces(3DUI2009), pp. 133–134, 2009.

よりユーザに提示した．各動画像の見回し動作の後，ユーザに各動画像の建造物（仮想物体）と背景（実物体）間の陰影関係についての違和感を 5 段階（1: 違
和感が大きい，5: 違和感が小さい）で尋ねた．アン
ケートは 20 歳代および 30 歳代の大学院生 10 名に対して行われた．アンケートの結果，動画像 A の評価の平均は 2.1，提案システムにより生成された動画像 Bの評価の平均は 4.4 となった．提案システムの評価が高く，有意差が認められ（p < 0.01，Wilcoxon 順位和検定），提案システムの光学的整合性の実現に関する処理の有効性が示された．

4

まとめと今後の展望

本論文では，実写動画像に仮想物体を合成するために幾何学的・光学的整合性を実現し，さらに没入感の高いテレプレゼンスを実現するために全方位カメラに日本バーチャルリアリティ学会論文誌 Vol.16, No.2, 2011[7] R. Azuma. A survey of augmented reality. Presence: Teleoperators and Virtual Environments,
Vol. 6, No. 4, pp. 355–385, 1997.
[8] R. Azuma, Y. Baillot, R. Behringer, S. Feiner,
S. Julier, and B. MacIntyre. Recent advances inaugmented reality. IEEE Computer Graphics andApplications, Vol. 21, No. 6, pp. 34–47, 2001.
[9] S. Lawson, J. Pretlove, A. Weeler, and G. Parker.
Augmented reality as a tool to aid the telerobotic
exploration and characterization of remote environments. Presence: Teleoperators and Virtual
Environments, Vol. 2, No. 4, pp. 352–567, 2002.
[10] H. Kim, J. Kim, and S. Park. A bird’s-eye view
system using augmented reality. In Proc. 32nd Annual Simulation Symposium, pp. 126–132, 1999.
[11] A. Halme, J. Suomela, and M. Savela. Applying
telepresence and augmented reality to teleoperateﬁeld robots. J. of Robotics and Autonomous Systems, Vol. 26, No. 2-3, pp. 117–125, 1999.
[12] F. Okura, M. Kanbara, and N. Yokoya. Augmented telepresence using autopilot airship andomni-directional camera. In Proc. Ninth IEEE
Int. Sympo. on Mixed and Augmented Reality (ISMAR2010), pp. 259–260, 2010.
[13] 島村潤, 山澤一誠, 竹村治雄, 横矢直和. 全周パノラマ
ステレオ画像と CG モデルの合成による複合現実環
境の構築. 情報処理学会論文誌 :コンピュータビジョ
ンとイメージメディア, Vol. 42, No. SIG6(CVIM2),
pp. 44–53, 2001.
[14] P. Ghadirian and I. D. Bishop. Integration of augmented reality and GIS: A new approach to realistic landscape visualisation. Landscape and Urban
Planning, Vol. 86, pp. 226–232, 2008.
[15] Y. Yokochi, S. Ikeda, T. Sato, and N. Yokoya. Extrinsic camera parameter estimation based-on feature tracking and GPS data. In Proc. Seventh
Asian Conf. on Computer Vision (ACCV2006),
Vol. 1, pp. 369–378, 2006.
[16] E. Paiva, J. Azinheira, J. Ramos, A. Moutinho,
and S. Bueno. Project AURORA: Infrastructureand ﬂight control experiments for a robotic airship.
J. of Field Robotics, Vol. 23, No. 2–3, pp. 201–222,
2006.
[17] S. Ikeda, T. Sato, and N. Yokoya. High-resolution
panoramic movie generation from video streams
acquired by an omnidirectional multi-camera system. In Proc. 2003 IEEE Int. Conf. on Multisensor Fusion and Integration for Intelligent System(MFI2003), pp. 155–160, 2003.
[18] N. Igawa, Y. Koga, T. Matsuzawa, and H. Naka-mura. Models of sky radiance distribution and sky
luminance distribution. Solar Energy, Vol. 77, pp.
137–157, 2004.
[19] Y. Onoe, K. Yamazawa, H. Takemura, andN. Yokoya.
Telepresence by real-time viewdependent image generation from omnidirectional
video streams. Computer Vision and Image Understanding, Vol. 71, No. 2, pp. 154–165, 1998.
(2010 年 12 月 10 日受付)

［著 者 紹 介］
大倉 史生 （学生会員）
2009 年立命館大学情報理工学部メディア情報学科中退．2011 年奈良先端科学技
術大学院大学情報科学研究科博士前期課
程修了．現在，同大博士後期課程に在学
中．複合現実感の研究に従事．電子情報通信学会，IEEE 各会員．

神原 誠之 （正会員）
2002 年奈良先端科学技術大学院大学
博士後期課程修了．同年同大情報科学研
究科助教，2010 年同大准教授，現在に至る．コンピュータビジョン，複合現実感の研究に従事．博士 (工学)．2002 年電子情報通信学会学術奨励賞受賞．FIT2005
論文賞受賞．電子情報通信学会，情報処
理学会，IEEE 各会員．

横矢 直和 （正会員）
1974 年大阪大学基礎工学部情報工学科卒．1979 年同大大学院博士後期課程修了．工博．同年電子技術総合研究所入所．
以来，画像処理ソフトウェア，画像データ
ベース，コンピュータビジョンの研究に従事．1986〜87 年マッギル大・知能機械研究センター客員教授．1992 年奈良先端科
学技術大学院大学・情報科学センター教授．
現在，同大情報科学研究科教授．1990 年，
2007 年情報処理学会論文賞受賞．2005 年
情報処理学会フェロー，電子情報通信学会フェロー．情報処理学会，人工知能学会，日本認知科学会，映像情報メディア学会，IEEE，ACM SIGGRAPH 各会員．