NAIST-IS-MT1051069

修士論文

IBR を用いたテレプレゼンスのための提示映像評価に基づく画像撮影手法

田中 佳樹

2012 年 2 月 2 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
田中 佳樹

審査委員：
横矢 直和 教授

（主指導教員）小笠原 司 教授

（副指導教員）佐藤 智和 准教授

（副指導教員）神原 誠之 准教授

（副指導教員）IBR を用いたテレプレゼンスのための提示映像評価に基づく画像撮影手法∗
田中 佳樹

内容梗概
本研究では，Image-Based Rendering（IBR）によるテレプレゼンスのための，提示映像評価に基づく遠隔制御ロボットを用いた画像撮影手法を提案する．ユー
ザに没入感の高い遠隔地の情景を提示するテレプレゼンスにおいて，遠隔地の情
景を臨場感豊かに提示するために，高い写実性を表現可能な IBR が用いられる場
合が多い．しかし，IBR において広範囲で滑らかな視点移動を実現するには，あらゆる地点・方向で画像を記録する必要があるため，撮影コストと保持データ量が膨大になるという 2 つの問題が生じる．従来は 2 つの問題は別々に取り扱われていたが，本研究では周囲の環境に応じた撮影地点の設定を撮影中に行うことにより，これら 2 つの問題を同時に解決する．提案手法では，追加撮影が推奨される地点や保持データの削減が可能な地点を撮影推奨度マップとして可視化することで，効率的な撮影を可能とする．実験では，多地点で撮影した画像群を切り替えて映像提示する IBR 手法に対して，推奨度に撮影画像間の相違度を用い，撮影コストと保持データ量の削減に対する推奨度マップの有効性を検証する．

キーワード
テレプレゼンス, イメージベースドレンダリング, 全方位, 遠隔制御ロボット∗奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT1051069, 2012 年 2 月 2 日.

iImage Acquisition Support System Using
Recommendation Degree Map
for Telepresence with Image-based Rendering∗
Yoshiki Tanaka

Abstract
This thesis describes an omnidirectional image acquisition support system fortelepresence with image-based rendering (IBR). To provide a user with an image
at various positions and directions in IBR telepresence, there are two problems:
the capturing cost and the amount of storage data. Each problem is handledindependently so far. In this study, these problems are concurrently resolved by
selecting the capturing position based on a surrounding environment during thecapturing. The proposed method visualizes the recommendation degree map representing positions where additional image is required and also positions whererecorded images can be eliminated. In experiments, we conﬁrm that the recommendation degree map, which is deﬁned as degree of diﬀerence among neighboring
images, is eﬀective to reduce the capturing cost and the amount of storage data.
In addition, we discuss the relation between the amount of data reduction andthe quality of images presented to users.

Keywords:
telepresence, image-based rendering, omnidirectional image, remote controlled
robot∗

Master’s Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1051069, February 2, 2012.

ii

目次
1. はじめに1

2. 関連研究と本研究の位置づけ

3

2.1

IBR テレプレゼンスのための画像取得における課題 . . . . . . . .

3

2.2

撮影コストの削減に関する関連研究 . . . . . . . . . . . . . . . . .

3

2.3

保持データ量の削減に関する関連研究. . . . . . . . . . . . . . .

9

2.4

本研究の位置づけ . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

2.4.1

撮影コストの削減 . . . . . . . . . . . . . . . . . . . . . . .

12

2.4.2

保持データ量の削減 . . . . . . . . . . . . . . . . . . . . .

14

3. 提示映像評価に基づく画像撮影手法

15

3.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

3.2

画像の撮影

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

3.2.1

撮影機器構成 . . . . . . . . . . . . . . . . . . . . . . . . .

17

3.2.2

カメラの位置・姿勢推定と姿勢統一 . . . . . . . . . . . . .

19

画像切り替え方式に対する推奨度マップの生成と更新 . . . . . . .

21

3.3.1

推奨度マップの生成方法 . . . . . . . . . . . . . . . . . . .

21

3.3.2

推奨度マップを用いた追加撮影地点と削減地点の決定 . . .

25

3.3

4. 実験

27

4.1

屋外環境での撮影 . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

4.2

推奨度マップの生成. . . . . . . . . . . . . . . . . . . . . . . . .

29

4.3

撮影地点の追加・削減による推奨度マップの更新と考察 . . . . . .

32

4.4

保持データの削減量と提示映像品質に関する定量的評価 . . . . . .

42

5. まとめ

53

謝辞

54

参考文献

55

iii

図目次
1

テレプレゼンスシステムの例 [12] . . . . . . . . . . . . . . . . . .

42

Google ストリートビューのデータ収集車を用いた撮影 [7] . . . . .

53

ジェットコースターを用いた撮影 [13] . . . . . . . . . . . . . . . .

6

4

移動ロボットを用いた撮影 [14]. . . . . . . . . . . . . . . . . . .

65飛行船を用いた撮影 [15] . . . . . . . . . . . . . . . . . . . . . . .

7

6

16 カメラシステム [16] . . . . . . . . . . . . . . . . . . . . . . . .

7

7100 カメラシステム [17] . . . . . . . . . . . . . . . . . . . . . . . .

8

8

推奨度マップを用いた 3 次元形状情報の効率的な計測 [21] . . . . .

109

画像間には類似性を用いた全方位画像群の記述 [23] . . . . . . . .

1110

高解像度デプスマップによる超解像を用いた自由視点映像表現 [25]1311

提案手法のフローチャート . . . . . . . . . . . . . . . . . . . . . .

1612

全方位カメラ Ladybug2

1813

全方位カメラを搭載した撮影システム. . . . . . . . . . . . . . .

18

14

カメラの姿勢統一 . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

15

画像切り替え方式 . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

16

ドロネー三角形分割を用いた領域分割の例 . . . . . . . . . . . . .

23

17

方向別の推奨度マップの生成. . . . . . . . . . . . . . . . . . . .

24

18

推奨度マップの生成. . . . . . . . . . . . . . . . . . . . . . . . .

24

19

推奨度マップの例 . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

20

撮影地点の削減 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

21

撮影場所：サイエンスプラザ前の広場. . . . . . . . . . . . . . .

28

22

初期撮影のカメラ位置推定結果 . . . . . . . . . . . . . . . . . . .

29

23

平面透視投影変換による提示映像の生成 . . . . . . . . . . . . . .

30

24

方向別の提示映像 . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

25

初期撮影による推奨度マップの生成結果 . . . . . . . . . . . . . .

33

26

追加撮影後のカメラ位置推定結果 . . . . . . . . . . . . . . . . . .

34

27

撮影地点追加後の推奨度マップの生成結果 . . . . . . . . . . . . .

3528

初期撮影および追加撮影後の推奨度マップの比較 . . . . . . . . .

36. . . . . . . . . . . . . . . . . . . . . . .

iv

29

追加撮影前後における提示映像の経路. . . . . . . . . . . . . . .

37

30

追加撮影前後における提示映像の比較：方向① . . . . . . . . . . .

38

31

追加撮影前後における提示映像の比較：方向③ . . . . . . . . . . .

39

32

追加撮影前後における提示映像の比較：方向⑤ . . . . . . . . . . .

40

33

追加撮影前後における提示映像の比較：方向⑦ . . . . . . . . . . .

4134

単純削減による 30%削減後の推奨度マップの生成結果 . . . . . . .

4335

単純削減による 60%削減後の推奨度マップの生成結果 . . . . . . .

4436

単純削減による 90%削減後の推奨度マップの生成結果 . . . . . . .

4537

提案手法による 30%削減後の推奨度マップの生成結果 . . . . . . .

4638

提案手法による 60%削減後の推奨度マップの生成結果 . . . . . . .

47

39

提案手法による 90%削減後の推奨度マップの生成結果 . . . . . . .

48

40

撮影地点削減による推奨度マップ生成結果の比較 . . . . . . . . .

49

41

主観評価実験で用いる提示映像の経路と方向 . . . . . . . . . . . .

50

42

提示映像品質と地点削減量の関係 . . . . . . . . . . . . . . . . . .

52

表目次
1

追加撮影前後の撮影地点数 . . . . . . . . . . . . . . . . . . . . . .

34

2

削減量と地点数 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

3

主観評価の結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51v

1. はじめに遠隔地の情景をユーザに提示し，あたかもその場にいるのと同様の感覚を与える仮想現実感技術はテレプレゼンス [1] と呼ばれ，教育や医療，エンターテイ
ンメントなどの様々な分野で応用が期待されている [2, 3]．テレプレゼンスでは，情景をユーザに提示するだけでなく，写実性の高い映像提示や，自由な視点移動の実現などで臨場感の向上が望まれている．ユーザへの提示映像の生成手法として，多地点で撮影された画像などから 3 次元復元によって仮想環境を構築・提示
する Model-Based Rendering[4] (以下，MBR) と，撮影環境を明示的に 3 次元復元することなく画像の変形・合成により仮想環境を構築・提示する Image-Based

Rendering[5] (以下，IBR) がある．MBR は，仮想環境を 1 度構築すれば任意の視点位置における映像を提示することが可能であるが，形状が複雑な物体が存在す
る屋外環境などでのモデル化において実物体と近い写実性を再現することは困難となる．一方 IBR は，撮影された画像をそのまま利用するため、屋外環境においても実物体と近い写実性を再現することが可能である．テレプレゼンスにおいて臨場感豊かに遠隔地の情景を提示することは重要な課題であるため，高い写実性を表現可能な IBR を用いた試みが多く行われている [6]．

IBR を用いた自由な視点移動を実現する手法として，Google ストリートビュー[7] のように撮影画像を切り替えて提示する手法，ワーピングやモーフィングを用いた手法 [8, 9, 10] ，Light Field Rendering[11] などの自由視点画像生成の手法などが挙げられる．しかし，これらの IBR の手法を用いて広範囲で自由な視点移動を実現するには，多くの地点・方向で画像を記録する必要がある．そのため，IBRを用いたテレプレゼンスのための画像取得における，以下の 2 つを課題を解決する必要がある．

(1) 撮影コストの削減：
広域環境において密に撮影を行うためには，撮影にかかる時間や労力などが膨大になる．そのため，短時間で多くの撮影を行うことができ，撮影が必要な地点を提示するシステムを用いた撮影の効率化が求められる．

(2) 保持データ量の削減：
1広範囲を密に撮影した場合，蓄積された画像データ量は膨大になる．そのため，保持可能なデータ量や，コンピュータの画像データベースの処理能力を考慮して保持データの圧縮や取捨選択を行う必要がある．
従来研究では，これら 2 つの問題は別々に扱われていたが，これらの問題を同時に解決することにより効率的なデータベース構築手法が必要となる．本研究では，IBR によるテレプレゼンスのための，提示映像評価に基づく遠隔制御ロボットを用いた画像撮影手法を提案する．提案手法では，追加撮影が推奨される地点を撮影推奨度マップとして可視化することで，効率的な撮影を可能とする．また，推奨度マップから撮影地点の削減可能な地点を選択することで保持データの削減も行う．
以下，2 章では，IBR テレプレゼンスのための画像取得における課題の解決に関する研究を示し，本研究の位置づけについて述べる．3 章では，提案する提示
映像評価に基づく画像撮影手法について詳述する．4 章では，屋外環境で撮影を行い，提案手法を用いた画像データベース構築の結果を示し，考察する．最後に5 章で，まとめと今後の展望を述べる．

2

2. 関連研究と本研究の位置づけ
本章では，IBR テレプレゼンスのための画像取得における課題を解決する関連研究を概観し，本研究の位置付けを述べる．

2.1 IBR テレプレゼンスのための画像取得における課題
テレプレゼンスでは写実性の高い IBR を用いた試みが多く行われている．図

1 は，遠隔地の情景をユーザからの指示に従い，インタラクティブに自由に視線方向を変更することができるシステムである [12]．また，テレプレゼンスでは，情景をユーザに提示するだけでなく，写実性の高い映像提示や，自由な視点移動の実現などで臨場感の向上が望まれている．このような要求に対し，広域環境において密に撮影を行うと，撮影にかかる時間や労力が膨大になる問題がある．また，広範囲を密に撮影した場合，蓄積された画像データ量は膨大になる．テレプ
レゼンスを行う際に，ユーザに遠隔地の情景を臨場感高く提供するために，撮影
経路上から離れた視点位置の画像を生成・提示する手法として，蓄積画像をワー
ピングやモーフィングにより変換する手法 [8, 9, 10]，光線情報を用いて自由視点
画像を生成する Light Field Rendering[11] などがある．これらの手法を用いると，Google ストリートビュー [7] のように撮影画像を切り替えて提示する手法と比較すると，同じ提示映像の品質を実現したとしても，保持データ量を抑えることができる．しかし，撮影環境の規模の増大により撮影コストや保持データ量も増大する問題は解決できるわけではない．このように，IBR テレプレゼンスのための画像取得において，撮影コストと保持データ量の削減は解決しなければならない
課題である．

2.2 撮影コストの削減に関する関連研究
広域環境において密に撮影を行うためには，撮影にかかる時間や労力などが膨大になるため，短時間で多くの撮影を行うことができ，撮影が必要な地点を提示するシステムを用いた撮影の効率化が求められる．関連研究では，短時間で多く

3

図 1 テレプレゼンスシステムの例 [12]の撮影を行うために撮影機材の工夫や，効率化のために撮影が必要な地点を示す
撮影推奨度マップを用いた撮影が行われている．また，これらを組み合わせてシステムを構築することも可能である．
移動撮影システムを用いた撮影
短時間で多くの撮影を行うために，移動車両や移動ロボットを用いた撮影シス
テムが従来から提案されている．これらは主に静的環境を対象とし，広域環境の撮影を想定したシステムである．また，用いる撮影システムにより提示可能な視点位置を 1〜3 次元に設定可能である．
提示可能な視点位置を 1 次元とした例として，Google ストリートビュー [7] における図 2 のような移動車両を使用した撮影や，図 3 のようにジェットコースターを利用した撮影 [13] が行われている．ただし，ジェットコースターでは軌道上での撮影しか行えないため，自由視点生成のための画像撮影システムとして用いることは難しい．また，提示可能な視点位置を 2 次元とした例としては，図 4 のよ
うに機動性に優れ，位置・姿勢制御が可能な移動ロボットが用いられることが多い [14]．さらに，提示可能な視点位置を広げた例としては，図 5 のように飛行船を用いた撮影 [15] がある．これは飛行船を用いることで陸上面だけでなく上空を含めた 3 次元的な撮影が可能となる．

4

図 2 Google ストリートビューのデータ収集車を用いた撮影 [7]

このように，広範囲を短時間に撮影するために，人手による撮影ではなく移動
車両やロボット等のシステムが使用されている．また，上空など人手での撮影が困難な場所でも飛行船などのシステムを用いることで撮影が可能になるという利点もある．
カメラアレイシステムを用いた撮影
カメラを複数並べたカメラアレイを利用することで，1 回の撮影で多地点の撮影画像が得られる多眼撮像系システムにより撮影を行う方法が提案されている．
初期のカメラアレイは図 6 のような 16 台の NTSC カメラを用いた小規模なシス
テム [16] であったが，近年，図 7 のように 100 台のカメラを用いたカメラアレイシステム [17] も開発されている．カメラを並べる範囲によって提示可能視点位置
は 1〜2 次元に設定可能である．IBR の研究は静的な環境を中心に行われてきたが，カメラアレイを用いたシステムによって画像の撮影から自由視点画像の提示までを実時間で行い，動的な環境へも対応できるようになる．ただし，カメラア
レイを使用したシステムは主に立体視画像を生成する目的などの小規模な環境で用いられ，広範囲の撮影を行うためにはカメラの台数を増やす必要があるため，屋外環境において広範囲を撮影するといった用途には向かない．

5

図 3 ジェットコースターを用いた撮影 [13]図 4 移動ロボットを用いた撮影 [14]6ΒͷۭࡱશํҐಈը૾Λ༻͍ͨ஝ੵ࠶ੜ‫֦ܕ‬ுςϨϓϨθϯε
ጼໃ䝉䞁䝃䠖
d/^^ͲϱͲϰϬ䠄ᮾிィჾ䠅΁ͷөΓ඲᪉఩䜹䝯䝷䠖
>ĂĚǇďƵŐϯ䠄WŽŝŶƚ'ƌĞǇZĞƐĞĂƌĐŚ䠅֯ྖҬͱ'W^䜰䞁䝔䝘䠖WϰͲ'W^䠄᪥❧㐀⯪䠅䛿㣕⾜⯪ୖ㒊䛻ྲྀ௜͍શํҐແਓඈߦધͱ౥ࡌ‫ثػ‬ͷ֎‫؍‬
図 5 飛行船を用いた撮影 [15]

ͱࡱӨҐ

τ΢ΣΞ

ϯʢ

ʣ

‫ڥ‬Λ߹੒

ɽ͜͜ͰɼͱͰ࣮‫؀‬‫ثػ‬ͷ౥ࡌҐஔ࢟੎ͷਪਤຊ‫ͨ͠༻࢖Ͱڀݚ‬ແਓඈߦધͱ౥ࡌ‫ثػ‬

͍શํҐ

άͷৄࡉ

Ͱ޿ൣғ

Αͼηϯα͸ɼσʔλ஝ੵͷͨΊʹʹ઀ଓ͞ΕΔɽΧϝϥҐஔɾ࢟੎ਪఆ

͓͚Δ֦

༗ޮͳࡱ

Ϧίϓλɼ

ࡱӨʹద

༻్ʹ༗

ͱൺֱ͢

͏͜ͱ͕

͸ۭࡱʹ

୆ͷϊʔτ

ఏҊγεςϜͰ͸ɼಈը૾͔ΒΧϝϥҐஔɾ࢟੎Λ
図 6 16 カメラシステム [16]
ਪఆ͢Δ
ͱ

ʢ

ʣΞϧΰϦζϜ

ͷҐஔ৘ใΛซ༻͢ΔϋΠϒϦουख๏Λ༻͍ͯΧϝϥҐஔɾ࢟੎Λਪఆ͢ΔɽҰൠʹɼಈը
7૾Λ༻͍ͨஞ࣍తͳτϥοΩϯάʹ͸஝ੵ‫ൃ͕ࠩޡ‬ੜ
͢ΔɽΞϧΰϦζϜ͸શମ࠷దԽΛߦ͍‫ࠩޡ‬Λಈը૾શମʹ෼ࢄͤ͞Δ͜ͱʹΑͬͯ஝ੵ‫ࠩޡ‬Λ཈੍͠
͍ͯΔ͕ɼ‫ݪ‬ཧ্ɼ஝ੵ‫ىʹࠩޡ‬Ҽ͢Δಈը૾શମͷ図 7 100 カメラシステム [17]撮影推奨度マップを用いた撮影支援
物体の計測において未計測部分を効率よく削減するために，MBR では，最適なレンジデータの取得位置を求めるビュープランニング手法が提案されている[18, 19, 20]．一般にビュープランニングとは，モデル化の対象領域に対し，取得済みのレンジデータから各地点で計測した場合に予測される未計測領域の削減量を計算し，削減量が最も多い地点を次計測地点として求める手法である．物体の形状情報取得に用いられるレンジファインダは，測定可能な部分がレーザが到達する範囲に限定されるため，一度の計測で対象物体の全てを計測することは困難である．そのため，対象全体の形状を得るには，異なる方向からレンジデータを取得し，それらを統合する必要があるが，オクルージョンなどによりレーザが照射されなかった未計測の部分は欠損となってしまう．レーザレンジファインダを用いた 3 次元形状情報の効率的な計測のためのデータの取得支援システム [21] では，図 8 のように計測候補地点を推奨度としとマップ上に可視化し，新たなレンジデータを取得する度に更新することにより，センサの操作者に計測効率の良い
次計測地点をインタラクティブに提示する取得支援システムを提案している．また，このシステムでは広域環境に対応するため，移動車両を用いた撮影を行って8

いる．このような撮影推奨度マップを用いる手法は，IBR においても必要な撮影
地点のユーザへの提示方法として用いることができる．

2.3 保持データ量の削減に関する関連研究
広範囲を密に撮影した場合，蓄積された画像データ量は膨大になる．従来研究では，既に撮影された画像群を対象とし，画像データ量の削減による保持データ量の削減方法が提案されている．これらの研究では，画像を撮影する際の撮影地点の選択を考慮することは行われていない．

MPEG1 圧縮によるデータ量の削減
データ量の削減のために，多視点画像から代表画像を選択し，その変形予測と輝度誤差によって他の画像を記述することで画像群全体の符号量を削減する多視点符号化 [22] が提案されている．さらに，この手法を拡張し，全方位画像群は近接した位置で撮影されているため隣接した画像間には類似性があるという画像相関を利用した，効率的な符号化・復号化を行う手法 [23] が提案されている．この手法で用いる撮影画像は，カメラを環境内のさまざまな位置に移動させて撮影した多地点全方位画像群である．画像の撮影間隔は 50cm の等間隔とし，50〜100 地
点を 1 環境とし撮影を行っている．
まず，図 9 のように撮影された全方位画像群を 5 × 5 のブロックに分割を行う．
次に，そのブロック内から 1 つの代表画像（テンプレート画像）を選択し，その他の画像（テンプレート予測画像）をテンプレート画像の変形予測と輝度誤差により記述する．ブロック内の画像には類似性があるため，変形予測と輝度誤差で記述されるテンプレート予測画像の符号量を小さくすることが可能である．また，
テンプレート画像は画像内符号化を用いて符号量を削減する．
符号化手法が複雑になると復号処理が複雑化するため，再生時の計算コストが大きくなる．そのため，蓄積画像を出力するだけで良いという IBR の利点を損なうことになる．そこで，比較的計算コストが小さい動画符号化規格 MPEG1 に採用されている技術を用いて符号化を行っている．

9Recommendation degree
low

high

Acquisition positionof range data

The area where rangefinder
cannot enter

Viewpoint in the imageof model1st acquisition.

18th acquisition.

49th acquisition.

図 8 推奨度マップを用いた 3 次元形状情報の効率的な計測 [21]

10

類似
y

x
テンプレート符号化画像
テンプレート予測符号化画像

図 9 画像間には類似性を用いた全方位画像群の記述 [23]デプスマップによる超解像を用いたデータ量の削減
仮想視点映像を合成する方法として，多視点映像とそこから推定されるシーンの奥行情報を用いる Depth Image based Rendering(DIBR)[24] がある．奥行情報とは多視点映像の各画素における被写体までの距離である．自由視点映像を伝送することを考えた場合，奥行情報を送信側で推定し多視点のグレースケール映像(デプスマップ) として記述して伝送することが有効であると考えられる．このアプローチは受信側の演算量を削減すると共に，符号化歪みが重畳する前の多視点映像を用いて，奥行情報を推定することでより精度の高い推定が可能となる．
この考えをもとに，高解像度のデプスマップを保持し，画像情報において画素数を削減する自由視点画像のデータ表現 [25] が提案されている．図 10 に処理の流れを示す．画像の画素数を削減したことによる自由視点画像の品質低下を防ぐ
ために，多視点画像を用いた超解像を用いて，視点間で欠損した画像情報の復元を行っている．自由視点画像を伝送する際，送信側で多視点画像をダウンサンプ
リングすることで総画素数の削減を行い，高品質な多視点デプスマップと共に符11

号化・伝送し，受信側でデプスマップを用いた超解像により画像を復元する．提案データ表現では，従来の自由視点超解像と異なり，伝送する画像よりも高解像なデプスマップを持つことで，高い画像復元を実現している．実験では，被写体に対し正対する平面内に規則的に配置された 8 つカメラの撮影画像から，奥行き
方向に自由視点画像を生成する状況において手法の有効性を示している．

2.4 本研究の位置づけ
本研究では，IBR テレプレゼンスのための画像取得を目的に，広域環境において密な撮影を行うことを想定する．このような想定において，従来では撮影コス
トと保持データ量の削減の問題は別々に取り扱われていた．これに対し，提案手法では，ユーザへの提示映像の評価から算出された，各地点において撮影の必要度を示した撮影推奨度マップを用いることにより同時に解決する．

2.4.1 撮影コストの削減
本研究では，撮影にかかる時間や労力などの撮影コストの削減を提示映像評価に基づく遠隔制御ロボットを用いた画像撮影手法により解決する．
移動ロボットを用いた撮影
本研究では，文献 [14] と同様に短時間で多くの撮影を行うことができる遠隔制
御ロボットを用いる．これにより，人手での撮影と比較し，撮影時間の短縮と労力の削減が可能となる．
撮影推奨度マップの参照による撮影補助

MBR ではビュープランニング手法 [21] が提案されてるが，IBR を対象とした
画像撮影手法においても同様に，撮影が必要な地点を撮影推奨度マップ上に可視化することで撮影の効率化が行えると考えられる．本研究では，提示映像の評価から算出された撮影推奨度マップの参照により撮影地点選択の効率化を行い，撮影のコストを削減する．従来研究 [23, 25] では，どのように撮影地点を選択する

12

図 10 高解像度デプスマップによる超解像を用いた自由視点映像表現 [25]13

かについては考慮されていないが，提案手法では，近景や遠景が存在するといった周囲の環境に応じた撮影地点の選択を行う．

2.4.2 保持データ量の削減
従来研究 [23, 25] では，撮影された画像データを圧縮することで保持データ量の削減を行っている．これに対し，本研究では撮影地点の削減により保持データ量を削減するという別のアプローチをとる．保持データ量の削減は以下の 2 つにより実現できる．

• 撮影中に推奨度マップを参照することで必要な撮影地点のみ選択する• 推奨度マップの低推奨度領域において撮影地点の削減を行う
また，提案手法を適用した場合でも，従来手法によって撮影画像のデータを圧縮することで，さらに保持データ量を削減するという併用した方法もとることができる．

14

3. 提示映像評価に基づく画像撮影手法
本章では，提案手法をフローチャートとともに概説し，その後，撮影に用いる機器構成，推奨度マップの生成方法と推奨度マップの参照による撮影地点の追加・削減方法について述べる．

3.1 提案手法の概要
提案手法のフローチャートを図 11 に示す．提案手法は画像の撮影により処理を開始し，撮影の後処理としてカメラの位置・姿勢推定と姿勢統一も行う．その後，推奨度マップの生成を行うことで追加撮影や撮影地点の削減が可能な領域を可視化する．提案手法では，撮影地点の追加を繰り返し，その後，撮影地点の削減を繰り返すといった流れで処理が行われる．
撮影地点の追加
推奨度マップ中の高推奨度の領域は撮影地点の追加が推奨される領域であり，このような領域において追加撮影を行う．また，推奨度マップの更新を行い，一定の推奨度となるまで撮影と推奨度マップの更新を繰り返す．
撮影地点の削減
推奨度マップの低推奨度の領域において，推奨度の低い順番に撮影地点から削減を行う．また，推奨度マップの更新を行い，一定の推奨度となるまで撮影と推奨度マップの更新を繰り返す．削減可能な限界の基準としては，提示映像をユー
ザが見たときの品質の水準，またはデータベースとして保持可能なデータ量が挙げられる．
以降，3.2 では画像の撮影に使用する機器構成と撮影の後処理のカメラ位置姿
勢・推定について述べ，3.3 では推奨度マップを用いた追加撮影地点と削減地点の決定について述べる．

15

開始
画像の撮影（3.2）

推奨度マップの生成（3.3.1）

撮影地点の追加（3.3.2）

あり

追加撮影が必要な地点
なし
推奨度マップの生成（3.3.1）

撮影地点の削減（3.3.2）あり削減が可能な地点なし
終了

図 11 提案手法のフローチャート

16

3.2 画像の撮影
本節では，3.2.1 で画像の撮影に使用する機器構成を示し，3.2.2 では撮影の後処理としてカメラ位置の取得と姿勢統一のために必要なカメラ位置・姿勢推定について述べる．

3.2.1 撮影機器構成
撮影に用いる主な機器は，画像の取得に用いる全方位マルチカメラシステムと撮影領域の移動に使用する遠隔制御ロボットで構成される．ここでは，2 つの撮影機器について述べる．
全方位マルチカメラシステム
全方位画像の取得には，図 12 のように，複数のカメラを外向きに配置した Point

Grey Research 社製の全方位型マルチカメラシステム Ladybug2[26] を用いる．Ladybug2 は横 768 画素，縦 1024 画素の画像を水平方向の 5 台と真上の 1 台の計 6
台の CCD カメラから同期して取得し，上方を含む全方位の約 75%以上の視野において画像を取得することが可能である．これら 6 台で撮影された画像を結合することにより最大横 3500 画素，縦 1750 画素の高解像度の全方位パノラマ画像を取得することが可能である．
遠隔制御ロボット
撮影に使用する遠隔操縦ロボットとして，本研究では，MobileRobots 社製のロボットシステム Pioneer 3-AT を用いる．Pioneer 3-AT は屋外走行が可能な車輪を持ち，撮影システムを積載して走行することが可能である．図 13 に撮影機材を搭載した撮影システムを示す．全方位カメラは人の視点の高さと同程度となる
位置に配置している．

17

図 12 全方位カメラ Ladybug2

図 13 全方位カメラを搭載した撮影システム

18

3.2.2 カメラの位置・姿勢推定と姿勢統一
IBR による自由な視点移動を実現するためには，撮影画像とそれに関連付けた
撮影地点のカメラ位置・姿勢の情報が必要となる．撮影地点のカメラ位置情報は提示する撮影地点の画像を決定する際に必要であり，カメラ姿勢情報はデータベースを構築する上でピッチ軸・ロール軸・ヨー軸の 3 軸のカメラの姿勢統一を行う
ために必要である．カメラ位置・姿勢の推定方法には，センサを用いる方法，動画像を用いる方法，センサと動画像を併用した方法がある．提案手法では，画素単位でカメラ位置・姿勢の推定を行うことが可能な動画像を用いる方法によりカ
メラ位置・姿勢の復元を行うことで，カメラの位置取得と姿勢統一を実現する．
単眼カメラで撮影される動画像において，画像上の自然特徴点を追跡すること
で，カメラ位置・姿勢を推定する Structure from Motion（SfM）と呼ばれる手法が研究されている [27, 28]．さらに，これらを全方位カメラに適用する手法が複数提案されている [29, 30]．これらの手法では，三次元位置が既知の基準マーカを必要としないが，自然特徴点の誤追跡によるカメラ位置・姿勢の推定誤差が累積するために，多くの画像を扱うことが困難であるという問題がある．
そこで本研究では，校正済みの全方位カメラの各カメラユニットの相対的な位置関係を利用して，カメラ位置・姿勢を統合的に推定する手法 [31] を用いてカメ
ラ位置・姿勢推定を行う．この手法では，三次元位置関係が既知の基準マーカと自然特徴点を全方位動画像上で同時に追跡することで，広範囲の移動を伴う長時間の全方位動画像においてもカメラ位置・姿勢を安定して推定できる．文献 [31]では，29m のカメラパスに対し平均誤差が位置・姿勢に関してそれぞれ 40mm,

0.12 度という実験結果が得られている．これは環境のスケールに対して充分に小さい誤差値である．図 14 はカメラ姿勢を推定し，姿勢の統一を行った例である．
破線は同じ方角を表しており，全ての地点において正しくカメラの姿勢が統一で
きている．

19

A地点

B地点

C地点

カメラ姿勢統一

A地点

B地点

図 14 カメラの姿勢統一

20

C地点

3.3 画像切り替え方式に対する推奨度マップの生成と更新
ここでは，画像切り替え方式を例にした推奨度マップの生成方法と撮影地点の追加・削減に伴う推奨度マップの更新の方法を示す．画像切り替え方式とは，図15 のように隣接する撮影地点の提示画像を順番に切り替えてユーザに提示する方式である．また，本研究では画像の切り替え時にブレンディングを行うことで提示画像が滑らかに切り替わるような処理を行う．提案手法では提示映像評価に基づいた推奨度マップの生成を行う．撮影により取得した画像は全方位画像であるが，提示映像は平面透視投影変換した画像であるため，そのままでは全方位の景色をカバーできない．そのため，提案手法では水平画角 60 度で平面透視投影
変換を行い，水平方向に全方位をカバーするため 45 度刻みで 8 方向を向いた場
合についてそれぞれ推奨度を計算し，その最大値を推奨度マップとして可視化す
る．追加撮影を行う場合は，推奨度マップ中の高推奨度の領域において撮影を行う．また，撮影地点を削減する場合は，撮影地点の推奨度を計算し，低推奨度の地点から順番に削減を行う．撮影地点の追加・削減を行った後は推奨度マップの更新を行う．

3.3.1 推奨度マップの生成方法
推奨度の算出は，映像の提示方法に対して設定した提示映像の善し悪しを評価する尺度（評価尺度）をもとに行う．画像切り替え方式では，隣接する撮影地点の画像間で類似度が低い場合，提示画像の切り替え時に見た目の変化が大きくなり，映像を見たユーザに違和感を与えると考えられる．よって，本研究では画像切り替え方式において画像間の類似度を表すことができる正規化相互相関（NCC）
を評価尺度として用いる．
画像切り替え方式では，隣接する撮影地点の提示画像を切り替えていくため，
隣接する撮影地点間で NCC を計算することが必要である．本研究では，SfM により推定された撮影地点群に対し，図 16 のようにドロネー三角形分割 [32] を用いて三角形に領域分割し，辺で結ばれた 2 地点間で NCC の計算を行う．ドロネー三角形分割は空間分割法の一つのであり，三角形が持つ外接円内に他のいずれの点

21

撮影地点

移動経路

ユーザ
図 15 画像切り替え方式も含まないように分割することが特徴である．つまり，外接円内では 1 番近い 3点が選ばれることになり，隣接する撮影地点を切り替えていく画像切り替え方式
での撮影推奨度を算出する上で，ドロネー三角形分割が適していると考えられる．

NCC の計算は，図 17(a) のように一つの三角形に属する 3 つの撮影地点に対し
3 つのペアを考え，それぞれの画像間で計算する．W × H pixel を持つ 2 枚の画像
IA (x, y), IB (x, y) に対する NCC 値 Nh,i,j の計算は式 (1) のようになる．ただし，hは三角形の辺に対応する撮影地点のペアの番号（1 ≤ h ≤ 3），i は三角形領域の番号（i ∈ N），j は方向の番号（1 ≤ j ≤ 8）を表す．
H−1
−1
∑W
∑

IA (x, y)IB (x, y)y=0 x=0

Nh,i,j = v
uH−1 W −1
H−1
−1
∑W
∑
u∑ ∑
t
IB (x, y)2
IA (x, y)2 ×
y=0 x=0y=0 x=0

22

(1)

外接円

撮影地点

ドロネー三角形

図 16 ドロネー三角形分割を用いた領域分割の例

この値は 0〜１の範囲をとり，値が大きいほど 2 枚の画像の相関が高いことを示す．また，明度の線形変化に対して不変ではないため，画像全体の明度変化により見た目の変化が生じる状況においても画像間の差異を検出可能である．NCC
は撮影地点の 3 つのペア，各三角形領域，8 方向においてそれぞれ計算を行う．
三角形領域での推奨度 Qi,j は，式 (2) のように，3 つの NCC 値の平均値を相違度とするため 1 から引いた値と定義する．ただし，E は平均値を表す．

Qi,j = 1 − E(Nh,i,j )(2)

図 17(b) は三角形領域番号 1，j 方向の推奨度を計算し，可視化した例である．
これを図 17(c) のように全領域において行う．また，式 (3) を用い，各三角領域について 8 方向の最大の推奨度 Ri の計算を図 18 のように行う．

Ri = max(Qi,j )j(3)

このように生成したマップを，提案手法では撮影に使用する推奨度マップとする．生成した推奨度マップの例を図 19 に示す．暖色領域は推奨度が高いことを示し，追加で撮影が推奨される領域を表している．また，寒色領域は推奨度が低い
ことを示し，撮影の削減が可能な候補領域を表している．

23

N2, 1, j

N1, 1, j

Q2, j

Q1, j

Q1, j

Q3, j

N3, 1, jQ4, j(c) 推奨度マップの生成(b) 推奨度の計算(a) NCCの計算

図 17 方向別の推奨度マップの生成

Q2,8

Q2,1

Q1,8

Q1,1
Q3,8

Q3,1

Q5,8

Q5,1
Q4,8

Q4,1

各三角形領域における最大値を採用

R2

R1

R3
R4

R5

図 18 推奨度マップの生成

24

Q5, j

低

高

推奨度

図 19 推奨度マップの例

3.3.2 推奨度マップを用いた追加撮影地点と削減地点の決定
図 19 のような推奨度マップを参照することで，追加撮影および撮影地点の削減を行い，推奨度マップの更新を行う．このような処理を繰り返すことにより，提示映像の品質低下を抑えたデータベースの構築を行う．
撮影地点の追加
撮影地点の追加は，推奨度マップ中の高推奨度の領域で行う．追加撮影は 3.2
で示した方法により行い，推奨度マップの更新を行う．この処理を追加撮影が必
要な地点がなくなるまで繰り返し行う．
撮影地点の削減
撮影地点の削減は，推奨度マップ中の低推奨度の領域で行う．ただし，削減する撮影地点を決定するために撮影地点の推奨度を定義する必要がある．ここで，図 20(a) のように，ある撮影地点の周囲に存在する三角形領域が持つ推奨度 Ri のうち，式 (4) のように最大の推奨度をその地点での推奨度 Pk と定義する．ただし，k は撮影地点の番号（k ∈ N）を表す．

25

P5

P5

P2
R2
R3

P2
P1

R1

P1

P1
R4

P4

P4

R5
P3

P3
P4

(a) 撮影地点の推奨度の定義(b) 全撮影地点で推奨度を定義P4(c) 削減する地点の決定

図 20 撮影地点の削減

Pk = max(Ri )i(4)

最大の推奨度とする理由は，その撮影地点を削減する場合，それ以上高い推奨度を持つ領域が周囲に存在しないことを保証するためである．この計算を，すべての撮影地点に対して行い，図 20(b) のように全撮影地点で推奨度を定義する．
削減する地点は，図 20(c) のように推奨度の低い地点から順番に決定し，地点の削減と推奨度マップの更新を行う．

26

4. 実験
本章では，IBR テレプレゼンスによる自由な視点移動を行うためのデータベースの効率的な構築を行うことを目的とし，屋外環境で撮影された全方位動画像を用いて，提案手法によるデータベースの構築と推奨度マップの生成を行った結果を示す．

4.1 屋外環境での撮影
撮影は，図 21 に示すようなキャンパス北側に位置するサイエンスプラザ前の広場で行った．この広場には，自由な視点移動を行うことができる領域が十分にある．また，南方面には大学院の建物が遠景に見え，北方面には銅像や建造物が近景に見えるため，場所や方向によって撮影推奨度の変化が見られると予想できることから，提案手法による推奨度マップの生成結果に変化が出やすい場所であると考えられる．具体的には，遠景が見える方向では推奨度が低く，逆に近景が見える方向では推奨度が高くなると予想される．
初期撮影を行った後，SfM によってカメラ位置姿勢推定を行った結果を図 22 に示す．SfM を用いたカメラ位置の推定精度は，文献 [31] の実験結果では環境のスケールに対して充分に小さい誤差値となることが示されている．撮影は 12fps の撮影フレームレートで行い，SfM によるカメラ位置・姿勢の推定後，データベースへの使用には撮影フレームレートを 2fps に落とし撮影地点数を 1/6 に削減した

1505 地点とした．これは，遠隔制御によるロボットの位置決めの精度は数十 cm 程度であるのに対し，12fps の撮影フレームレートで撮影を行うロボットが 30cm/sで移動する場合，撮影フレーム間の位置の差は 2.5cm となるため，撮影経路方向に撮影地点が過密になることがわかる．このことから，全体の撮影地点の密度を考慮すると撮影フレームレートは 2fps 程度で十分であると考えられる．ただし，SfM によるカメラ位置・姿勢推定を行う場合に 12fps とするのは，撮影フレーム
間の特徴点位置の差異が大きすぎると良好な結果が得られないためである．

27

遠景：大学院の建物

撮影領域

サイエンスプラザ

近景：銅像・建造物
N

図 21 撮影場所：サイエンスプラザ前の広場

28

6000

4000

2000

0
-2000

0

2000

4000

6000

8000

10000

12000

14000

16000 [mm]

-2000

-4000
初期撮影
-6000 [mm]

図 22 初期撮影のカメラ位置推定結果

4.2 推奨度マップの生成
提示映像は図 23 に示すように，3500 × 1750 画素のパノラマ画像を入力とし，一般的なカメラの画角に近い水平画角 60 度，アスペクト比（縦横比）は映像コ
ンテンツとして近年用いられることが多い 16:9 へ平面透視投影変換することで生成する．また，画像サイズは 512 × 288 画素とした．ただし，テレプレゼンスにおいて提示すべきコンテンツは周囲の像や建造物であるとの考えから，カメラの光軸を水平方向に向けると映像の下半分は地面となってしまうため，カメラの光軸を水平方向に対し上向き 10 度とする．推奨度マップの生成は，方向別の特徴を確認するため，図 24 に示すように 8 方向において提示映像を生成し，それぞれの方向を向いた場合の推奨度マップの生成を行う．
図 25(a) は初期撮影による推奨度マップの生成結果である．図 25(b) のように撮影領域をドロネー三角形分割により領域分割した結果を用いて，図 25(c)〜(j)のように方向別の推奨度マップを生成した．これらの方向別推奨度マップの最大の推奨度を表したものが図 25(a) の推奨度マップである．図 25(a) の推奨度マッ

29

パノラマ画像

画像サイズ 3500×1750 画素

透視投影変換水平線

提示画像

画像サイズ 512×288 画素
アスペクト比 16：9

10度

透視投影変換のカメラの光軸は水平線に対して上向き10度

図 23 平面透視投影変換による提示映像の生成30

①方向の提示映像⑧方向の提示映像②方向の提示映像②①③④③方向の提示映像

⑧
⑦

⑤

⑥

④方向の提示映像⑦方向の提示映像⑥方向の提示映像⑤方向の提示映像

図 24 方向別の提示映像

31

プを見ると，撮影領域の中心付近の推奨度が高く，周囲の推奨度が低くなっている．このことより，撮影領域の中心付近において追加撮影が推奨され，周囲において撮影地点の削減ができる可能性があることがわかる．また，周囲の物体が遠景に見える①方向の推奨度マップでは，移動に伴い見た目の変化が起きにくいた
め，全体的に推奨度が低くなっている．一方，周囲の物体が近く，移動に伴い見た目の変化が起きやすい④，⑤方向の推奨度マップでは，全体的に推奨度が高くなっている．これらより，周囲環境や方向によって撮影が必要な地点数は変化するといえる．これらは事前に予想した結果と一致し，予想は妥当であったことが確認できた．

4.3 撮影地点の追加・削減による推奨度マップの更新と考察
本節では，3.3.2 で示したように，推奨度マップ中の高推奨度の領域で追加撮影を行い，低推奨度の領域で撮影地点を間引く操作を行った結果と考察を述べる．
撮影地点の追加
図 25 に示す推奨度マップの生成により，撮影領域の中央付近の撮影が不足していることが分かった．そこで，この領域において追加撮影を行った後，SfM によってカメラ位置姿勢推定を行った結果を図 26 に示す．また，表 1 に追加撮影前
後の撮影地点数を示す．この追加撮影の後，初期撮影と同様に図 27 に示す推奨度マップの更新を行い，図 28 のように撮影領域の中央付近において推奨度の低下を確認した．
ここで，提示映像の経路を図 29 のように設定し，①，③，⑤，⑦方向を向いて
経路上を移動した場合の追加撮影前後の提示映像を生成し，映像の品質を比較す
る．図 30〜33 がそれぞれ①〜⑦方向を向いて経路上を移動したときの提示映像の生成結果である．どの方向においても，初期撮影時の提示映像において撮影地点の不足による大きなぶれが生じたが，追加撮影後は緩和された．この追加撮影前と後の比較により，推奨度マップ中の推奨度の高い領域に対して追加撮影を行うと提示映像の品質が向上することが確認できた．また，図 30 のように，①方向を向いて経路上を移動した場合は，遠景が映る提示映像のため，提示映像の見た目

32

0

0.15

0.30

推奨度

(a) 推奨度マップ(b) ドロネー三角形分割の結果(c) ①方向の推奨度マップ(d) ②方向の推奨度マップ(e) ③方向の推奨度マップ(f) ④方向の推奨度マップ(g) ⑤方向の推奨度マップ(h) ⑥方向の推奨度マップ

NAIST
②

①

⑦ サイエンスプラザ③④(i) ⑦方向の推奨度マップ⑤(j) ⑧方向の推奨度マップ

図 25 初期撮影による推奨度マップの生成結果

33

⑧

⑥

6000

4000

2000

0
-2000

0

2000

4000

6000

8000

10000

12000

14000

16000 [mm]

-2000

-4000
初期撮影
追加撮影
-6000 [mm]

図 26 追加撮影後のカメラ位置推定結果

表 1 追加撮影前後の撮影地点数
撮影状態
撮影地点数
初期撮影

1505 地点

追加撮影後

2122 地点に変化が少ないことがわかる．これは，図 27(c) の①方向の推奨度マップの推奨
度が全体的に低いことと関連付けることができる．一方，図 32 のように，⑤方向を向いて経路上を移動した場合は，近景が映る提示映像のため，提示映像の見た目に変化が大きいことがわかる．これは，図 27(g) の⑤方向の推奨度マップの推奨度が全体的に高いことと関連付けることができる．提示映像の見た目の変化が大きい場所は，ユーザが提示映像を見たときに違和感を生じやすいため，撮影地
点を密に撮影する必要がある．提示映像の見た目の変化と推奨度マップの推奨度の値には実験の結果から相関があると判断でき，撮影が必要な地点を示すために提案手法の推奨度マップは有効であると考えられる．

34

0

0.15

0.30

推奨度

(a) 推奨度マップ(b) ドロネー三角形分割の結果(c) ①方向の推奨度マップ(d) ②方向の推奨度マップ(e) ③方向の推奨度マップ(f) ④方向の推奨度マップ(g) ⑤方向の推奨度マップ(h) ⑥方向の推奨度マップ

NAIST
②

①

⑧
⑦ サイエンスプラザ③④(i) ⑦方向の推奨度マップ⑤⑥(j) ⑧方向の推奨度マップ

図 27 撮影地点追加後の推奨度マップの生成結果

35

0

0.15

0.30

推奨度

初期撮影

追加撮影後

図 28 初期撮影および追加撮影後の推奨度マップの比較

撮影地点の削減
ここでは，撮影地点の追加を行った図 27 の状態を初期状態として撮影地点の削減を行う．撮影地点の削減は，撮影地点に対応づけた推奨度の値をもとに，推奨度の低い地点から順番に削減を行い，一定の推奨度まで削減する．撮影地点の削減が必要となる例としては，初期状態の保持データがデータベースの画像記憶容量を超えている場合である．このような想定のもと，以下の 2 つの方法により撮影地点を削減し，推奨度マップの生成結果と提示映像の品質を比較する．

• 撮影フレームを単純に 30%，60%，90%と等間隔に間引くことで撮影地点を削減（単純削減）する場合• 提案手法により 30%，60%，90%と撮影地点を削減する場合
表 2 に削減量と地点数を示す．ここで，提案手法において，推奨度の 1 番低い
地点の削減と推奨度マップの更新を行い，また次の地点の削減を行うことが最良であると考えられる．しかし，撮影地点数と削減地点数により計算コストが膨大になるため，今回は削減地点決定の結果に対して影響の少ないと考えられる，削減前の 2122 地点数に対して 5%の地点数（106 地点）ずつ削減し，推奨度マップの更新を繰り返すことで目的の削減量を達成するものとする．

36

6000

4000

2000

0
-2000

0

2000

4000

6000

8000

10000

12000

14000

16000

-2000

-4000

提示映像の経路-6000

初期撮影の撮影地点での提示映像の経路

6000

4000

2000

0
-2000

0

2000

4000

6000

8000

10000

12000

14000

16000

-2000

-4000

提示映像の経路-6000

追加撮影後の撮影地点での提示映像の経路

図 29 追加撮影前後における提示映像の経路

37

初期撮影

追加撮影後

NAIST
②

①

⑦ サイエンスプラザ

③
④

⑧

⑤

⑥

図 30 追加撮影前後における提示映像の比較：方向①

38

初期撮影

追加撮影後

NAIST
②

①

⑦ サイエンスプラザ

③
④

⑧

⑤

⑥

図 31 追加撮影前後における提示映像の比較：方向③

39

初期撮影

追加撮影後

NAIST
②

①

⑦ サイエンスプラザ

③
④

⑧

⑤

⑥

図 32 追加撮影前後における提示映像の比較：方向⑤

40

初期撮影

追加撮影後

NAIST
②

①

⑦ サイエンスプラザ

③
④

⑧

⑤

⑥

図 33 追加撮影前後における提示映像の比較：方向⑦41

表 2 削減量と地点数
撮影状態 撮影地点数
初期状態

2122 地点30%削減後1485 地点60%削減後848 地点90%削減後

212 地点単純削減により 30%，60%，90%と撮影地点を削減した結果が図 34, 35, 36 である．また，提案手法により 30%，60%，90%と撮影地点を削減した結果が図 37,

38, 39 である．図 40 は，各削減段階における単純削減および提案手法の推奨度
マップの比較である．単純削減では，左下領域が高推奨度，右上領域が低推奨度という傾向は削減前と削減後で同じである．一方，提案手法では，削減後において推奨度が全体的に一様になるように撮影地点の削減が行われていることがわかる．このことから，どの領域でも同程度の品質の提示映像が生成できると考えられる．

4.4 保持データの削減量と提示映像品質に関する定量的評価
撮影地点の削減に対する提示映像品質の傾向を確認し，保持データ量削減に対して推奨度マップを用いた撮影の有効性を示すことを目的に主観評価実験を行った．評価は削減前の提示映像を基準に，比較先として提案手法および単純削減を用いて削減した場合の映像を提示し比較を行った．評価基準として，映像のぶれがないか，移動は滑らかであるかといったことを考慮し，削減前に対し比較先が同品質であれば 5 を，低下の場合は 4 以下，向上の場合は 6 以上といった評価で，被験者 10 人による評価値 1〜10 の 10 段階評価を行った．実験では，撮影地点の削減量を 30，60，90%と変更した場合についての傾向を確認した．また，図 41 のように 3 つの経路を設定し，それぞれで 4 つの方向を向いて移動した場合について提示映像を生成した．推奨度による削減後の品質の傾向を見るため，経路 1 は削減前に高推奨度であった領域を通るように設定し，経路 2，3 は同様に低推奨

42

0

0.15

0.30

推奨度

(a) 推奨度マップ(b) ドロネー三角形分割の結果(c) ①方向の推奨度マップ(d) ②方向の推奨度マップ(e) ③方向の推奨度マップ(f) ④方向の推奨度マップ(g) ⑤方向の推奨度マップ(h) ⑥方向の推奨度マップ

NAIST
②

①

④

(i) ⑦方向の推奨度マップ⑧⑦ サイエンスプラザ③⑤⑥(j) ⑧方向の推奨度マップ

図 34 単純削減による 30%削減後の推奨度マップの生成結果

43

0

0.15

0.30

推奨度

(a) 推奨度マップ(b) ドロネー三角形分割の結果(c) ①方向の推奨度マップ(d) ②方向の推奨度マップ(e) ③方向の推奨度マップ(f) ④方向の推奨度マップ(g) ⑤方向の推奨度マップ(h) ⑥方向の推奨度マップ

NAIST
②

①

④

(i) ⑦方向の推奨度マップ⑧⑦ サイエンスプラザ③⑤⑥(j) ⑧方向の推奨度マップ

図 35 単純削減による 60%削減後の推奨度マップの生成結果

44

0

0.15

0.30

推奨度

(a) 推奨度マップ(b) ドロネー三角形分割の結果(c) ①方向の推奨度マップ(d) ②方向の推奨度マップ(e) ③方向の推奨度マップ(f) ④方向の推奨度マップ(g) ⑤方向の推奨度マップ(h) ⑥方向の推奨度マップ

NAIST
②

①

④

(i) ⑦方向の推奨度マップ⑧⑦ サイエンスプラザ③⑤⑥(j) ⑧方向の推奨度マップ

図 36 単純削減による 90%削減後の推奨度マップの生成結果

45

0

0.15

0.30

推奨度

(a) 推奨度マップ(b) ドロネー三角形分割の結果(c) ①方向の推奨度マップ(d) ②方向の推奨度マップ(e) ③方向の推奨度マップ(f) ④方向の推奨度マップ(g) ⑤方向の推奨度マップ(h) ⑥方向の推奨度マップ

NAIST
②

①

④

(i) ⑦方向の推奨度マップ⑧⑦ サイエンスプラザ③⑤⑥(j) ⑧方向の推奨度マップ

図 37 提案手法による 30%削減後の推奨度マップの生成結果

46

0

0.15

0.30

推奨度

(a) 推奨度マップ(b) ドロネー三角形分割の結果(c) ①方向の推奨度マップ(d) ②方向の推奨度マップ(e) ③方向の推奨度マップ(f) ④方向の推奨度マップ(g) ⑤方向の推奨度マップ(h) ⑥方向の推奨度マップ

NAIST
②

①

④

(i) ⑦方向の推奨度マップ⑧⑦ サイエンスプラザ③⑤⑥(j) ⑧方向の推奨度マップ

図 38 提案手法による 60%削減後の推奨度マップの生成結果

47

0

0.15

0.30

推奨度

(a) 推奨度マップ(b) ドロネー三角形分割の結果(c) ①方向の推奨度マップ(d) ②方向の推奨度マップ(e) ③方向の推奨度マップ(f) ④方向の推奨度マップ(g) ⑤方向の推奨度マップ(h) ⑥方向の推奨度マップ

NAIST
②

①

④

(i) ⑦方向の推奨度マップ⑧⑦ サイエンスプラザ③⑤⑥(j) ⑧方向の推奨度マップ

図 39 提案手法による 90%削減後の推奨度マップの生成結果

48

0.15

0

0.30

推奨度

単純削減

提案手法

高推奨度

高推奨度

削減なし

削減なし

30%削減

30%削減

60%削減

60%削減

高推奨度

一様な推奨度

90%削減

90%削減

図 40 撮影地点削減による推奨度マップ生成結果の比較

49

経路2

①

経路3
③
経路1

⑦

⑤
4つの方向

・ 経路1：
高推奨度領域
・経路2, 3：
低推奨度領域

図 41 主観評価実験で用いる提示映像の経路と方向度領域を通るように設定した．
表 3 はそれぞれの経路において，4 つの方向を向いて移動した場合と 3 段階の削減量での単純削減および提案手法の提示映像品質の評価結果である．高推奨度
領域を通る経路 1 における評価では，提案手法の方が単純削減に対し評価が高く，有意水準 5%による t 検定の結果，有意な差が見られた．一方，低推奨度領域を通る経路 2，3 における評価では，条件によって提案手法が単純削減に劣る場合やその逆の結果も見られ，両者は同等な結果であると考えられる．
図 42 は，実験の結果から推測される撮影地点の削減前に高推奨度および低推奨度であった領域における提示映像品質と地点削減量の関係である．撮影全領域
が品質の基準を上回るように撮影を行った状態を初期状態とし，その後，単純削減および提案手法で削減した状態を表している．単純削減は撮影地点を削減する
べきではない高推奨度領域において撮影地点の削減とともに提示映像の低下を抑止することができないが，提案手法は提示映像品質の低下を抑止する．また，提案手法において，経路 1 のような高推奨度領域における提示映像品質と経路 2，3のような低推奨度領域における提示映像品質は，削減後の推奨度マップが全体的に一様であることから同程度の品質であると予想でき，低推奨度領域での削減による品質低下は全体の提示映像の品質に対し影響は少ないと考えられる．以上より，推奨度マップを用いた提案手法による撮影では品質低下を抑止しながら保持データ量を削減していることが確認できた．

50

表 3 主観評価の結果

提案手法
単純削減
提案手法
単純削減
提案手法
単純削減

経路1
①方向
③方向
5.3
4.9
5.4
4.9
5.6
4.9
4.8
4.3
5.1
5.2
4.4
3.9

⑤方向
5.4
4.7
5.1
3.9
5.0
3.6

⑦方向
5.1
4.8
5.0
4.7
4.7
4.4

提案手法
単純削減
提案手法
単純削減
提案手法
単純削減

経路2
①方向
③方向
4.8
4.5
4.9
5.0
4.7
3.3
4.8
4.6
4.9
3.1
4.7
2.9

⑤方向
4.9
4.0
3.8
3.5
2.7
2.8

⑦方向
5.0
5.2
4.2
5.1
3.9
4.4

提案手法
単純削減
提案手法
単純削減
提案手法
単純削減

経路3
①方向
③方向
5.1
4.4
5.2
4.5
5.7
4.4
5.2
4.1
5.4
4.1
5.3
3.8

⑤方向
5.4
4.9
4.0
4.4
3.0
3.2

⑦方向
4.9
5.0
4.2
4.5
3.8
4.0

削減量
30%
60%
90%

削減量
30%
60%
90%

削減量
30%
60%
90%

t検定の結果
有意差：有意水準5%
有意傾向：有意水準10%・ 高推奨度領域
提案手法が良提案手法が良（有意差）
提案手法が良（有意傾向） ・ 低推奨度領域

同等な結果

単純削減が良（有意傾向）
単純削減が良（有意差）

51

提示映像品質

低推奨度領域：単純削減
低推奨度領域：提案手法
高推奨度領域：提案手法
高推奨度領域：単純削減

品質の基準

地点削減量
図 42 提示映像品質と地点削減量の関係

52

5. まとめ本研究では，IBR によるテレプレゼンスのための，提示映像評価に基づく遠隔制御ロボットを用いた画像撮影手法を提案した．提案手法では，映像の提示方法
に対して設定した提示映像の善し悪しを評価する尺度（評価尺度）をもとに撮影推奨度を算出することで，撮影が必要な地点と削減可能な地点を可視化した推奨
度マップをユーザに提示する．これにより，従来別々に扱われていた撮影コストと保持データの削減の 2 つの問題を同時に解決し，効率的な画像データベース構築の支援を行うことが可能となる．
実験では，多地点で撮影した画像群を切り替えて映像提示する手法に対して，評価尺度に撮影画像間の相違度を用いた提案手法を適用し，推奨度マップを生成した．推奨度マップ中の高推奨度領域において追加撮影を行ったところ，推奨度の低下と提示映像の品質の向上が見られた．また，撮影フレームを単純に間引く方法（単純削減）と提案手法を用いて撮影画像を削減した場合において，撮影地点の削減の結果を比較した．その結果，単純削減では推奨度マップ中の値が場所により変化する結果となったが，提案手法を用いることにより周囲環境に応じた
撮影地点の削減が行われ，全体の推奨度が一様となるように削減が行われた．このように，推奨度マップを撮影補助として用いた撮影を行うことで，品質低下を抑止しながら保持データ量を削減していることが確認できた．
今後は様々な自由視点画像生成手法に対して画像切り替え方式と同様に評価尺度を設定し，推奨度マップを用いた撮影支援システムを適用していく．また，デー
タベースとして蓄積する画像は静的な環境で撮影される必要があるが，屋外環境をテレプレゼンスの対象にした場合，時刻の経過に伴う光源環境の変化や車両・人間といった移動物体の存在を考慮しなければならない．そこで，動的環境下で撮影された画像から光源変化の補正や動物体の除去を行っていくことが必要であると考えられる．

53

謝辞
本研究の全過程を通して，懇切なる御指導，御鞭撻を賜りました視覚情報メディア研究室 横矢直和 教授に心より感謝致します．また，本研究の遂行にあたり，有益な御助言，御鞭撻を頂いたロボティクス講座 小笠原司 教授に厚く御礼申し上げます．そして、本研究を進めるにあたり，終始暖かいご指導をしていただいた
環境知能学講座 神原誠之 准教授に深く感謝致します．特に，神原誠之 准教授には本研究のテーマ設定から本論文の執筆，その他の発表論文の添削，発表練習に至るまで細やかな御指導を頂きました．さらに，本研究の全過程において，的確な御助言，御鞭撻を頂いた視覚情報メディア研究室 佐藤智和 准教授に深く御礼申し上げます．また，本研究の全過程において，的確な御助言，御鞭撻を頂いた
視覚情報メディア研究室 河合紀彦 助教に深く御礼申し上げます．そして，本研究を進めるにあたり，適切な御助言や御指摘を頂きました視覚情報メディア研究
室 大倉史生氏に心より感謝致します．さらに，ロボット実験に関して幾度となくお手伝い頂いたロボティクス講座 田中康之氏，落合佑哉氏に深く感謝いたします．また，研究室での生活を支えていただいた視覚情報メディア研究室事務補佐
員 中村美奈 女史に厚く御礼申し上げます．最後に，研究活動だけでなく日々の生活においても大変お世話になった視覚情報メディア研究室の諸氏に心より感謝
致します．

54

参考文献
[1] S. Moezzi. Ed. Special Issue on Immersive Telepresence. IEEE MultiMedia,
Vol. 4, No. 1, 1997.
[2] Y. Kim, J. Jung, S. Jeon, S. Lee and G. Kim. Telepresence Meets Racing
Games. Proc. Int. Conf. on Advances in Computer Entertainment Technology, pp. 381–382, 2005.
[3] G. Welch, H. Fuchs, B. Cairns, K. Mayer-Patel, D. H. Sonnenwald, R. Yang,
A. State, H. Towles, A. Ilie, M. Noland, V. Noel and H. Yang. Improving,Expanding and Extending 3D Telepresence. Proc. Int. Workshop on
Advanced Information Processing for Ubiquitous Networks, 2005.
[4] T. Asai, M. Kanbara and N. Yokoya. 3D Modeling of Outdoor Environments
by Integrating Omnidirectional Range and Color Images. Proc. Int. Conf.on
3-D Digital Imaging and Modeling (3DIM), pp. 447–454, 2005.
[5] L. McMillan and J. Bergen. Plenoptic Modeling: An Image-Based Rendering
System. Proc. SIGGRAPH’95, pp. 39–46, 1995.
[6] S. Ono, K. Ogawara, M. Kagesawa, H. Kawasaki, M. Onuki, K. Honda andK. Ikeuchi. Driving View Simulation Synthesizing Virtual Geometry andReal Images in an Experimental Mixed-Reality Traﬃc Space. Int. Symp. on
Mixed and Augmented Reality, pp. 214–215, 2005.
[7] L. Vincent. Taking Online Maps Down to Street Level. Computer, Vol. 40,
No. 12, pp. 118–120, 2007.
[8] S. Chen and L.Williams. View Interpolation for Image Synthesis. Proc.
SIGGRAPH’93, pp. 279–288, 1993.
[9] M. Kato and H. Noyama.

Interactive Visual Simulation in a Quasi-

threedimensional World Based on the Structuralization of Images. Proc.
Int. Conf. on Arti cial Reality and Telexistence, Vol. 95, pp. 101–110, 1995.
55

[10] S. Seitz and C. Dyer. View Morphing. Proc. SIGGRAPH’96, pp. 21–30,
1996.
[11] M. Levoy and P. Hanrahan. Light Field Rendering. Proc. SIGGRAPH’96,
pp. 31–42, 1996.
[12] 池田聖, 佐藤智和, 横矢直和. 全方位型マルチカメラシステムを用いた高解像
度な全天球パノラマ動画像の生成とテレプレゼンスへの応用. 日本バーチャ
ルリアリティ学会論文誌, Vol. 8, No. 4, pp. 443–450, 2003.

[13] M. Hori, M. Kanbara and N. Yokoya. A Mixed Reality Telepresence Systemwith Limited DOF Motion Base and Immersive Display. Proc. Int. Conf. on
Advances in Computer Enterntainment Technology, pp. 315–318, 2009.
[14] M. Etoh, T. Aoki and K. Hata. Estimation of structure and Motion Parameters for a Roaming Robot that Scans the Space. Proc. IEEE Int. Conf. on
Computer Vision, Vol. 1, pp. 579–584, 1999.
[15] 大倉史生, 神原誠之, 横矢直和. 無人飛行船からの空撮全方位動画像を用いた蓄積再生型拡張テレプレゼンス. 日本バーチャルリアリティ学会論文誌,

Vol. 16, No. 2, pp. 127–138, 2011.
[16] T. Naemura, J. Tago and H. Harashima. Real-Time Video-Based Modelingand Rendering of 3D Scenes. IEEE Computer Graphics and Applications,Vol. 22, No. 2, pp. 66–73, 2002.
[17] M. Tanimoto. FTV (Free Viewpoint Television) Creating Ray-Based Image
Engineering. in Proc. IEEE Int. Conf. on Image Processing(ICIP 2005),
Vol. II, pp. 25–28, 2005.
[18] C. I. Connolly. The Determination of Next Best Views. Proc. IEEE Int.
Conf. on Robotics and Automation, Vol. 2, pp. 432–435, 1985.

56

[19] N. A. Massios and R. B. Fisher. A Best Next View Selection Algorithm
Incorporating a Quality Criterion. Proc. British Machine Vision Conference,
pp. 780–789, 1998.
[20] R. Pito. A Solusion to the Next Best View Problem for Automated Surface
Acquisiton. IEEE Trans. on Pattern Analysis and Machine Intelligence, pp.
1016–1030, 1999.
[21] T. Asai, M. Kanbara and N. Yokoya. Data Acquiring Support System Using
Recommendation Degree Map for 3D Outdoor Modeling. Proc. SPIE, Vol.
4910, pp. 64910H–1–64910H–8, 2007.
[22] 畑幸一, 栄藤稔, 千原國宏. 複数テンプレートによる多視点画像の記述. 電子
情報通信学会技術研究報告. PRMU, Vol. 96, No. 491, pp. 9–16, 1997.

[23] 青木利道, 畑幸一, 栄藤稔. 多地点全方位画像による環境記述. 電子情報通信学会技術研究報告. PRMU, Vol. 98, No. 677, pp. 57–64, 1999.

[24] C. Zitnick, S. Kang, M. Uyttendaele. S. Winder and R. Szeliski. Highquality Video View Interpolation Using a Layered Representation. ACM
Transactions on Graphics (TOG), Vol. 23, No. 3, pp. 600–608, 2004.
[25] 杉本志織, 志水信哉, 木全英明, 松浦宣彦. 高解像度デプスマップによる超解像を用いた自由視点画像のデータ量削減. 第 10 回情報科学技術フォーラム（FIT2011）一般講演論文集, Vol. 3, pp. 5–10, 2011.

[26] Point Grey Research Inc. http://www.ptgrey.com/.
[27] P. Beardsley, A. Zisserman and D. Murray. Sequential Updating of Projective and Aﬃne Structure from Motion. Int. Jour. Computer Vision, Vol. 23,
No. 3, pp. 235–259, 1997.
[28] C. Tomasi and T. Kanade. Shape and Motion from Image Streams under
Orthography. Int. Jour. Computer Vision, Vol. 9, No. 2, pp. 137–154, 1992.
57

[29] J. Gluckman and S. Nayar. Ego-Motion and Omnidirectional Cameras.
Proc. IEEE Int. Conf. on Computer Vision, pp. 999–1005, 1998.
[30] C. J. Taylor. VideoPlus. Proc. IEEE Workshop on Omnidirecitonal Vision,
pp. 3–10, 2000.
[31] T. Sato, S. Ikeda and N. Yokoya. Extrinsic Camera Parameter Recovery from
Multiple Image Sequences Captured by an Omni-directional Multi-camera
System. Proc. European Conf. on Computer Vision (ECCV2004), Vol. 2,
pp. 326–340, 2004.
[32] J. Ruppert. A Delaunay Reﬁnement Algorithm for Quality 2-Dimensional
Mesh Generation. Jour. Algorithms, Vol. 18, No. 3, pp. 548–585, 1995.

58