NAIST-IS-MT1251025

修士論文

車載カメラシステムを対象とした画像処理アルゴリズ
ムの評価のための自由視点画像生成

小甲 啓隆

2014 年 2 月 6 日

奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
小甲 啓隆

審査委員：
横矢 直和 教授

（主指導教員）小笠原 司 教授

（副指導教員）佐藤 智和 准教授

（副指導教員）車載カメラシステムを対象とした画像処理アルゴリズ
ムの評価のための自由視点画像生成 ∗
小甲 啓隆

内容梗概
本論文では，車載カメラシステムに搭載される画像処理アルゴリズムの評価に利用可能な品質を有する映像を生成可能な自由視点画像生成手法を提案する．近年，自動車の安全運転の支援を目的として，車載カメラシステムを対象とした様々な画像処理アルゴリズムが開発されている．従来，これらの画像処理アルゴリズ
ムの評価は，実走行によって取得した映像を用いて行われてきた．しかし，車載
カメラの取り付け位置やカメラの仕様が変更される度に画像処理アルゴリズムの評価が必要とされることに加え，異なる車線や進路変更などの様々な状況に対応する走行環境の評価を行うためには，膨大な距離の実走行が必要となり，多大なコストが掛かるという問題が生じている．これらの問題を解決するために，コン
ピュータグラフィックスで生成した画像を評価に用いる研究が提案されているが，実走行で得られた実写画像の代替として用いるには不十分であることが評価結果から示されている．
一方，実際には撮影していない視点位置からの画像を仮想的に生成する自由視点画像生成手法として，モデルベースドレンダリング法，イメージベースドレン
ダリング法およびそれらを組み合わせたハイブリッド法が提案されており，これらを用いることで，様々な走行環境に対応する映像を合成し，低コストな画像処
理アルゴリズムの評価を実現することが見込まれる．本研究では自由視点画像生成手法を用いて画像を生成し，生成した画像を用いて画像処理アルゴリズムの評∗

奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1251025,
2014 年 2 月 6 日.

i価を行い，その結果について述べる．ここで，画像処理アルゴリズムの評価に用いる自由視点画像の品質は，実写画像の品質と同等であることが望ましく，特に障害物検出，路面検出，白線検出などのアルゴリズムを想定した場合には，合成されるシーンの (1) 幾何形状の誤差，(2) 合成されるシーン中の情報の欠損，が問題となる．本研究では，正確な幾何形状を得ることを目的に，まず車載したライ
ンスキャナ (LiDER) を用いて走行路周辺の密な 3 次元点群を取得する．次に，従来提案されている 3 次元点群からの 3 次元曲面再構成法 [53] で提案されたエネル
ギ関数を導入して，ユーザが設定した自由視点に対する奥行画像を推定する．ここで，機器の制約により，LiDER で取得可能な 3 次元点の数は有限であり誤差やノイズを含む．また，遮蔽などにより計測できない領域が生じるため，これを用いてそのまま奥行画像を生成すると，正しい幾何形状の再現が行われず生成画像
上に欠損が生じる．本研究では，車載した全方位カメラで取得した全方位画像とその撮影位置姿勢情報を利用することで，この問題点を克服し，生成画像の品質向上を実現する．実験では，車載カメラ画像処理アルゴリズムの一つとして白線検出アルゴリズムを対象とし，実走行で得られた実映像と，実映像と同じカメラ
パス上で生成した自由視点映像を用い，白線検出結果を比較することで，提案手法による自由視点画像生成を用いた画像処理アルゴリズム評価実現の可能性を検
証する．

キーワード
自由視点画像生成，車載カメラ，安全運転支援システム， アルゴリズム評価ii

Free-viewpoint Image Rendering for Evaluationof Image Processing Algorithms on In-vehicle
Camera System∗
Akitaka Oko

Abstract
This thesis proposes a free-viewpoint image rendering method for evaluationof image processing algorithms on in-vehicle camera systems. Recently, image
processing algorithms have been developing for safety driving. However, there
exists a cost problem in the evaluation stage for developed algorithms. More concretely, in order to evaluate the algorithms under huge combinations of possible
driving situations, vast amount of images should be captured in the real environment.Although there existing researches that use computer graphics (CG)images for evaluating the algorithms, the experimental results show that it is
not suﬃcient to use CG images for evaluating these algorithms. On the other
hand, free-viewpoint image rendering method based on photographs are expected
to be used for generating images of road environment for the evaluation. However, actually this technique has not been used for evaluation of algorithms on
in-vehicle camera system. In this study, we use free-viewpoint images for evaluating image processing algorithms on in-vehicle camera systems. When we focus
on the algorithms such as white line detection, road detection and obstacles detection, (1) errors of 3-D geometry, (2) lack of information, in generated images
will make the evaluation result inaccurate. In this research, to obtain accurate∗

Master’s Thesis, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1251025, February 6, 2014.

iii

geometry of outdoor 3-D models, we first measure the point cloud data arounddriving roads by LiDER mounted on vehicles and apply surface reconstruction(SR) methods. In order to compensate the missing region in the generated models due to occlusions or lack of samplings, we also extract the 3-D informationfrom the omni-directional images whose positions are know. In experiments, wetest our method with the white line detection algorithm as one of algorithms forin-vehicle camera system. Finally, this thesis shows possibility of the use of thevirtual images for evaluation of the algorithms.

Keywords:
Free-viewpoint Image Rendering, In-vehicle Camera, Vehicle Safety System, Evaluation of Algorithmsiv

目次
1. はじめに2

2. 関連研究と本研究の位置づけ

4

2.1
2.2

2.3

2.4

車載カメラシステムに搭載される画像処理アルゴリズムの評価に関する従来研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

自由視点画像生成に関する研究 . . . . . . . . . . . . . . . . . . .

6

2.2.1

モデルベースドレンダリング法 . . . . . . . . . . . . . . .

6

2.2.2

イメージベースドレンダリング法 . . . . . . . . . . . . . .

8

2.2.3

ハイブリッドレンダリング法 . . . . . . . . . . . . . . . .

10

対象環境の 3 次元形状復元に関する従来研究 . . . . . . . . . . . .

14

2.3.1

画像に基づく手法 . . . . . . . . . . . . . . . . . . . . . . .

14

2.3.2

センサにより得られる 3 次元点群に基づく手法 . . . . . . .

16

本研究の位置づけと方針 . . . . . . . . . . . . . . . . . . . . . . .

20

3. 走行環境を対象とした自由視点画像生成

22

3.1

走行環境を対象とした自由視点画像生成手法の概要 . . . . . . . .

22

3.2

入力情報の取得 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

3.3

全方位奥行画像の生成 . . . . . . . . . . . . . . . . . . . . . . . .

24

3.3.1

疎な全方位奥行画像の生成 . . . . . . . . . . . . . . . . . .

25

3.3.2

隠点消去 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

3.3.3

無限遠点の追加 . . . . . . . . . . . . . . . . . . . . . . . .

27

3.3.4

領域分割に基づく密な全方位奥行画像の生成 . . . . . . . .

29

3.4

初期奥行画像の生成. . . . . . . . . . . . . . . . . . . . . . . . .

30

3.5

VDDT に基づくアーティファクトの除去 . . . . . . . . . . . . . .

31

3.6

3.5.1

ファッテンドシルエットの除去. . . . . . . . . . . . . . .

31

3.5.2

カットシルエットの検出・補償 . . . . . . . . . . . . . . .

33

VDTM による画像生成 . . . . . . . . . . . . . . . . . . . . . . . .

34v

4. 実験

35

4.1

実験の目的および方法 . . . . . . . . . . . . . . . . . . . . . . . .

35

4.2

入力情報の取得 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

35

4.3

自由視点映像の生成結果 . . . . . . . . . . . . . . . . . . . . . . .

37

4.4

白線検出結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

4.5

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40

5. まとめ

42

謝辞

43

参考文献

44

付録

51

vi

図目次
1

画像認識アルゴリズム評価用映像作成システム [6] . . . . . . . . .

52

欠損・誤差が生じた 3 次元モデルを用いて自由視点画像の生成例 [9]73Seitz らの手法 [27] . . . . . . . . . . . . . . . . . . . . . . . . . . .

94

光線情報の補間方法の違いによる生成画像の違い ((左)Davis らの手法 [32]，(右)Lipski らの手法 [31])．Davis らの手法による生成画像の方が Lipski らの手法の生成画像より輝度の変化が滑らかである 10

5

Irani らの手法 [33] による自由視点画像生成．(上列) 入力画像，(下)自由視点画像生成結果 . . . . . . . . . . . . . . . . . . . . . . . .

6

11

VDTM 例．(a) 使用した 3 次元モデル，(b) 単純なテクスチャマッ
ピング，(c)Takai らの手法 [46] . . . . . . . . . . . . . . . . . . . .

12

7

Okura らの提案手法 [44] による自由視点画像生成結果 . . . . . . .

14

8

エネルギ関数最小化による奥行画像上のノイズ除去．(左) ノイズが生じた奥行画像 [14]，(右) ノイズ除去結果 [18] . . . . . . . . . .

16

9

サン・マルコ広場 (イタリア) の復元結果 [21] . . . . . . . . . . . .

17

10

Devore らの手法 [55] による屋外環境の 3 次元曲面再構成結果 . . .

1811フーリエ変換に基づく 3 次元曲面再構成手法 [47] による 3 次元モデル復元結果 (左) と Kazhdan らの手法 [48] による 3 次元モデル復
元結果 (右)12. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

Liang らの手法による人体の 3 次元点群からの 3 次元モデル復元結
果 [53]．右足に該当する点群が失われているにもかかわらず 3 次元曲面が復元されている . . . . . . . . . . . . . . . . . . . . . . . .

13

19

Ignacio らの手法による屋外環境 (高層ビル群) の 3 次元曲面再構成
結果 [54] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1914

提案手法の処理の流れ . . . . . . . . . . . . . . . . . . . . . . . .

22

15

本研究で使用した IP-S2 を車載した実験車両 . . . . . . . . . . . .

23

16

IP-S2 で取得可能な情報．(a)3 次元点群，(b) 全方位画像，(c) 全方
位画像の位置姿勢情報 . . . . . . . . . . . . . . . . . . . . . . . .

vii

24

17

提案手法による全方位画像奥行画像の生成．(左) 原画像，(右) 全
方位奥行画像の生成結果 . . . . . . . . . . . . . . . . . . . . . . .

1824

疎な全方位奥行画像の生成例，(a) 原画像．(b) 疎な全方位奥行画
像．(c) 隠点の例 . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

19(a-2-2) 隠点消去で用いる記号の関係. . . . . . . . . . . . . . . .

26

20

エネルギと c と s 間の距離 d との関係 . . . . . . . . . . . . . . . .

26

21

疎な全方位奥行画像 (上段) と隠点消去結果 (下段) . . . . . . . . .

27

22

隠点消去済みの疎な全方位画像に対して無限遠点 (ピンクの領域)を追加した結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

23

空と地面の領域分割．(左) 原画像，(右) 領域分割結果 . . . . . . .

28

24

3 次元点群に基づくマスク画像の生成．(左) 疎な全方位奥行画像，(右) 生成したマスク画像 . . . . . . . . . . . . . . . . . . . . . . .

25

29

無限遠領域画像の生成．(a) 領域分割画像，(b) マスク画像，(c) 無限遠領域画像の生成結果 . . . . . . . . . . . . . . . . . . . . . . .

29

26

領域分割結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

27

奥行画像の生成結果 (左) とテクスチャマッピングを行った結果 (右) 31

28

VDDT で使用するパラメータ . . . . . . . . . . . . . . . . . . . .

32

29

ファッテンドシルエットの除去結果 . . . . . . . . . . . . . . . . .

33

30

カットシルエットの検出・補償結果 . . . . . . . . . . . . . . . . .

34

31

VDTM による画像生成例 . . . . . . . . . . . . . . . . . . . . . .

34

32

外部カメラの取り付け位置 . . . . . . . . . . . . . . . . . . . . . .

35

33

実験車両の走行経路

36

34

外部カメラの映像とそれに対応する自由視点映像の一部．(シーケ. . . . . . . . . . . . . . . . . . . . . . . . .

ンス 1)center における実映像，(シーケンス 2)center における自由
視点映像，(シーケンス 3)right における実映像，(シーケンス 4)right
における自由視点映像 . . . . . . . . . . . . . . . . . . . . . . . .

3538

白線検出に先立ち実施した画像処理の結果．(a) 原実画像，(b) 原
自由視点画像，(c) クロッピングを行った実画像，(d) クロッピン
グおよび色調補正を行った自由視点画像 . . . . . . . . . . . . . .

viii

39

36

白線検出結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

視点位置から左右の白線までのオフセット距離の比較．(上) シー40

ケンス 1，2 に対する結果，(下) シーケンス 3，4 に対する結果 . .

4138

主成分分析で得られる固有ベクトルと点との関係 . . . . . . . . .

5239

全ての座標 s における点 p から与えられるエネルギの分布 . . . .

5340

全ての座標 s においてそれぞれの座標が全て点 p から与えられるエネルギの分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

表目次
1

評価方法の特徴の比較 . . . . . . . . . . . . . . . . . . . . . . . .

2

IP-S2 で取得できる全方位画像の位置姿勢情報および 3 次元点の精度 363

外部カメラの仕様と全方位カメラからの移動量および回転量 . . .

36

4

IP-S2 で収集した情報 . . . . . . . . . . . . . . . . . . . . . . . . .

37

1

20

1. はじめに近年，安全運転支援を目的とした車載カメラシステムの開発が盛んである．この車載カメラシステムの例としては，走行時に白線を検出し，車線から逸脱しそうになった際に警告し注意を促す白線検出システムや，走行路上に物体が出現した際に物体との衝突を回避するために自動でブレーキをかける衝突回避システムなどがあり，運転時の交通事故を引き起こすリスクの低減に寄与している．このような車載カメラに搭載される画像処理アルゴリズム (以下，画像処理アルゴリ
ズムと記す) は，人命保護や財産保護に関わることから，信頼性の確保が重要となる．すなわち，開発した画像処理アルゴリズムの信頼性を確認するために，十分にアルゴリズムの評価を行う必要があり，新しいアルゴリズムの製品への搭載を遅らせる要因の一つとなっている．現在の画像処理アルゴリズムの評価方法としては，搭載される車種・カメラ仕様・走行環境を想定した映像を実走行により撮影し，その映像を使用して評価を行う実走行テストが一般的である．しかし，走行条件の組み合わせの数は際限がなく，想定されうる条件の組み合わせ全てを評価することは困難である．この問題を解決するために，コンピュータグラフィッ
クス (Computer Graphics : CG) を用いて画像処理アルゴリズムを評価する取り組みが行われている [1, 2]．しかし，CG による画像処理アルゴリズムの評価結果
から，実映像の代替として CG 映像を用いることは適切ではないことが示されている [3]．一方で，実画像に基づく自由視点画像生成を利用することで走行環境を模した映像を合成し，画像処理アルゴリズムを評価する取り組みがなされている[4]．この手法では，実映像の背景にあたる空や周囲の建物などの領域は実映像に基づく自由視点画像生成手法を用いて描画しているが，道路面などの近景領域は

CG を用いて描画しているため，実映像の代替としてこの手法で生成された映像を用いることはやはり不適切である．現時点において，画像処理アルゴリズムの評価に，実映像の代替として自由視点映像を用いることが期待される一方，走行環境における実映像の代替として使用可能な品質を有する映像を生成可能な自由
視点画像生成手法は，未だ存在しない．
このような問題に対して，本論文では，画像処理アルゴリズムの評価に利用可能な品質を有する映像を生成可能な自由視点画像生成手法を提案する．本研究で2

は，屋外の走行環境の正確な 3 次元モデルを再現するために，初めに車両に取り付けた LiDER を用いて屋外環境の 3 次元点群を計測し，その 3 次元点群から屋外環境の 3 次元曲面再構成を行うことで屋外環境の 3 次元モデルを獲得する．ただし，収集した 3 次元点群には遮蔽などが原因で計測されない領域が存在するため，そのような 3 次元点群を用いて生成した 3 次元モデルには欠損が生じる．そこで，3 次元点群取得時に，屋外環境の撮影位置姿勢情報が既知の全方位画像を併せて取得しておき，全方位画像から全方位奥行画像の推定を行う．3 次元点群と全方位奥行画像を用いることで，3 次元幾何形状の誤差が小さく欠損が補償された自由視点画像を生成し，これを画像処理アルゴリズムの評価に使用する．
以下，第 2 章では，本研究に関する従来研究と本研究の位置づけについて述べる．第 3 章では，走行環境を対象とした 3 次元点群と全方位画像を用いた自由視点画像生成手法について詳述する．第 4 章では，実映像と提案手法による実映像に対応する自由視点映像に対して，白線検出を行いそれぞれの結果を比較することで，提案手法による自由視点画像生成を用いた車載カメラ画像処理アルゴリズ
ム評価実現の可能性を検証する．最後に，第 5 章でまとめと今後の展望について
述べる．

3

2. 関連研究と本研究の位置づけ
本研究の目的は，車載カメラ画像処理アルゴリズムの評価において，実画像の代替として使用可能な品質を有する自由視点画像を生成可能な自由視点画像生成手法を開発し，提案手法で生成した自由視点画像が実際に実画像の代替として使用可能であることを示すことにある．これに基づき，本章では (1) 車載カメラに搭載される画像処理アルゴリズムの評価を行うための従来研究，(2) 自由視点画像生成手法の従来研究，(3) 対象環境の 3 次元復元に関する従来研究，の 3 つの分野の従来研究を概観したのち，本研究の位置付けを述べる．

2.1 車載カメラシステムに搭載される画像処理アルゴリズムの評価に関する従来研究
現在，車載カメラシステムに搭載される画像処理アルゴリズム (以下，画像処
理アルゴリズムと略記) の評価は，特定の走行環境に対してあらかじめ車載カメラを模した映像を撮影しておき，その映像を使用して画像処理アルゴリズムを評価する方法や，車載カメラ製品のプロトタイプを実験車両に取り付けて実際に評価を行う方法などの，実走行テストによって行われている．しかし，車載カメラ
システムによる運転支援は人命や財産の保護に関わることから高い信頼性が要求され，信頼性を確保するためには車載カメラの取り付け位置や走行環境について想定されうる組み合わせを網羅して評価を行う必要がある．しかし，実走行テス
トでは，評価に膨大なコストが掛かり，車載カメラシステムの普及を妨げる要因の一つとなっている．画像処理アルゴリズムの評価に掛かるコストを抑えるための単純な方法として，現実の走行環境を模した仮想空間中において，仮想的なカ
メラパスに対応する CG 映像を生成し，この映像を実映像の代替として使用する方法が提案されている [1, 2, 4]．しかし，CG による画像処理アルゴリズムの評価
結果から，実画像の代替として CG を用いることは適切でないことが指摘されている [3]．
これに対して，画像処理を施した実映像を用いて画像処理アルゴリズムを評価する取り組みがなされている [5, 6]．株式会社日立アドバンストデジタルは，実走4図 1 画像認識アルゴリズム評価用映像作成システム [6]行テストと同様に，特定の取り付け位置・仕様の車載カメラを想定した実映像をあらかじめ撮影しておき，その映像を利用して画像処理アルゴリズムを評価する
際に，その実映像に対して画像処理によって疑似的に夜間映像や霧映像など様々な天候を模した映像を生成することで，多様な天候を想定した車載カメラ画像処
理アルゴリズムの評価を可能とする画像認識アルゴリズム評価用映像作成システ
ム [6] を開発した (図 1)．ただし，CG によるシミュレータと異なり，様々な幅員・曲率を有する環境を想定した評価，視点変更時の評価，障害物を再現した評価などを行うことはできないため，評価可能な走行環境の自由度は小さい．

Ono ら [4] は，実写画像に基づく自由視点画像生成を利用することで走行環境の画像を生成し，その自由視点画像を用いた画像処理アルゴリズムの評価に取り組んでいる．この手法では，実際の車載映像の背景にあたる空や周囲の建物などの領域は実画像に基づく自由視点画像生成手法を用いて描画しているが，道路面

5などの近景領域は CG で描画しているため，実画像の代替としてこの手法で生成された画像を用いることはやはり不適切である．現時点において，画像処理アル
ゴリズムの評価に，実画像の代替として自由視点画像を用いることが期待される
一方，走行環境における実画像の代替として使用可能な品質を有する自由視点画像生成手法は，未だ存在しない．

2.2 自由視点画像生成に関する研究
これまでに提案されている自由視点画像生成手法は，(1) 対象環境の 3 次元形状をあらかじめ復元し用いることで自由視点画像を生成するモデルベースドレンダ
リング (Model-Based Rendering : MBR) 法，(2) 対象環境を撮影した画像群を変形・合成により自由視点画像を生成するイメージベースドレンダリング (Image-

Based Rendering : IBR) 法，(3)MBR 法と IBR 法を組み合わせたハイブリッドレ
ンダリング (Hybrid Rendering : HR) 法の 3 つに分類できる．以下では，これら

3 つの手法について詳述し，画像処理アルゴリズムの評価に使用可能な自由視点
画像を生成手法について論じる．

2.2.1 モデルベースドレンダリング法
モデルベースドレンダリング (Model-Based Rendering : MBR) 法 [7, 8, 9, 10,

11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25] は，自由視点画像生成を行う
対象のテクスチャ付き 3 次元モデルを構築し，仮想環境として用いることで任意視点における画像を生成する手法である．MBR 法では，完全な 3 次元モデルが構築されている場合において，高品質な自由視点画像を生成可能である．ただし，実際には完全な 3 次元モデルを構築することは困難であり，欠損や誤差が生じた
不完全な 3 次元モデルを用いて自由視点画像生成を行うと，生成画像中に欠損や歪みが生じる (図 2)．
このような自由視点画像上に生じる欠損や歪みは，より欠損・誤差の少ない 3次元モデルを用いることで低減することが出来る．一方で，3 次元モデル上の欠6

Defects(blue colored region)

Distortion
図 2 欠損・誤差が生じた 3 次元モデルを用いて自由視点画像の生成例 [9]損・誤差を許容して，自由視点画像生成時に視点依存テクスチャマッピング (View-

Dependent Texture Mapping : VDTM)[37, 43, 45, 46] を行うことで自由視点画像上に生じる欠損・歪みを目立たなくする研究が行われている．対象環境の欠損・誤差が少ない 3 次元モデルの復元および VDTM に関する従来研究については，それぞれ 2.3 節：対象環境の 3 次元形状復元に関する従来研究，2.2.3 節：ハイブリッ
ドレンダリング法で詳述する．

MBR 法で生成される自由視点画像の特徴として，(1) 仮想視点の位置・姿勢が異なる生成画像から復元可能な幾何形状は一貫していること，(2) 仮想環境の加工が容易であることが挙げられる．具体的には，同一の 3 次元モデルを使用して生成した画像上においては，いかなる仮想視点の位置・姿勢であってもそれぞれの生成画像から復元できる幾何形状は一貫している．一方で，後段で述べるイメー
ジベースドレンダリング法やハイブリッドレンダリング法は，仮想視点の位置・姿勢の変更に応じて生成画像に歪みが生じ，その歪みの量もパラメータの変更量に応じて変わるため，これらの手法の生成画像から復元できる幾何形状は一貫していない．加えて，MBR 法は仮想環境の 3 次元モデルが存在することを前提とするため，その仮想環境中に様々な 3 次元モデルを重畳して表示したり，不要な仮想環境中の建物などのオブジェクトを除去することが可能である．また，仮想環境中の幅員や道路の曲率を変更することで様々な走行環境を構築することが可7

能である．自由視点画像を車載カメラの画像処理アルゴリズムの評価に使用することを前提とする場合において，仮想環境の加工が容易であることは，実際には評価困難な走行環境・条件を評価することを容易にする．

2.2.2 イメージベースドレンダリング法
イメージベースドレンダリング (Image-Based Rendering : IBR) 法 [26, 27, 28,

29, 30, 31, 32] は，対象環境を撮影した画像群を仮想視点に応じて変更・合成することで自由視点画像を生成する手法である．IBR 法は対象環境の 3 次元モデルを必要としないため，MBR 法では正確な幾何形状の再現が困難な複雑な形状を持つ樹木等の物体に対しても，自然な自由視点画像を生成可能である．一方で，視点変更量に応じて，生成画像に歪みが生じるため，異なる視点変更パラメータで生成された生成画像から復元できる幾何形状は一貫していない可能性が高い．

IBR 法は蓄積した画像群の (1) 変形による手法，(2) 光線情報を用いた手法 に大別できる．以下では，それぞれの特徴を述べる．

[変形による手法]
対象環境で撮影した画像群を変更することで自由視点画像を生成するワーピン
グまたはモーフィングと呼ばれる手法が提案されている．これらは，2 つの画像間で対応点を与え，中間視点位置における対応点の位置から入力画像間を部分的に変形しテクスチャブレンディングすることで自由視点画像を生成する (図 3)．本
手法は，対応点が存在しない領域が映し出される視点位置で生成した画像に歪みが生じる．また，環境に関する幾何形状を有していないため，物体の遮蔽関係の判定を行うことが困難であり，生成画像中に遮蔽関係に誤りのある領域が生じる場合がある．また，単純なワーピングでは，2 つの画像の撮影位置の間に設定された視点位置以外の全ての視点位置における生成画像上に歪みが生じる．

[光線情報を用いた手法]
対象環境を撮影した画像を，視点位置の座標 (x, y, z)，光線の向き (θx , θy )，波
長 λ および時間 t の集合からなる 7 次元の光線情報の集合と捉えることで，対象環境である空間を 7 次元の光線情報で記述することが出来る．対象環境に関して，

8

Virtual Camera

Morphed View

図 3 Seitz らの手法 [27]

この 7 次元のデータを全て記録することができれば，対象環境に関して任意視点における画像の各画素値を光線情報から一意に決定することができる．しかし，実際には全ての 7 次元データをサンプリングすることは困難であり，サンプリン
グされなかった光線情報は欠損となるため，欠損が生じた 7 次元の光線情報から
自由視点画像を生成するには，(1) 欠損を補償，(2) 次元削減，の両方あるいはいずれかを行うことでサンプリングするべき情報量を減らすことで生じる欠損を減らす必要がある．
欠損を補償する方法として，Lipski ら [31] は線形補間によって最近傍の光線情報から補間することで欠損を補償する手法を提案した．しかし，最近傍の光線情報が切り替わる画素の周辺で，切り替わる地点を境に急激に見えが変化する．

Davis ら [32] は見えが滑らかに変化するように，重み係数を用いた N 個の近傍の光線情報のブレンディングにより欠損を補償する手法を提案している (図 4)．
次元削減によってサンプリングするべき情報量を減らす方法として，苗村ら [28]は，空間を伝播する光線は減衰・変位しないと仮定することで，Plenoptic Functionの 7 次元の光線情報から z 座標，波長 λ および時間 t を減らし，情報量を 4 次元にすることでサンプリングするべき情報量を大幅に減らすことが可能となる光線空間法を提案した．Levoy ら [29] および Gortler ら [30] は，Light Field Rendering，

Lumigraphs を提案した．これらは，光線空間法が平面 (x, y) および光線の向き(θx , θy ) で 4 次元空間を表現したのに対して，この 4 次元を 2 つの平行した平面を9

図 4 光線情報の補間方法の違いによる生成画像の違い ((左)Davis らの手法 [32]，(右)Lipski らの手法 [31])．Davis らの手法による生成画像の方が Lipski らの手法の生成画像より輝度の変化が滑らかである

横切る (u, v)，(s, t) と表現することで，効率的なレンダリングを可能とした．

IBR 法によって自由視点画像生成を行うには，膨大な量の光線情報が必要となる．特に，サンプリングした光線情報からより離れた地点で自由視点画像生成を行うほど，欠損の補償の不完全さからより大きな歪みが生じる．また，MBR 法と異なり対象環境の 3 次元モデルを有していないため，仮想環境中の道路の幅や曲率を変更するような，シーン構造の変形を実現することは困難である．これらのことから，画像処理アルゴリズムを評価するために実画像の代替となりうる品
質を有する自由視点画像生成手法として IBR 法を用いることは解決すべき課題が多く現実的でない．

2.2.3 ハイブリッドレンダリング法
MBR 法，IBR 法それぞれの利点・欠点を補うために，MBR 法と IBR 法を組み合わせたハイブリッドレンダリング (Hybrid Rendering : HR) 法の研究がなされている [33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44]．篠原ら [34] は対象環境の複雑さに応じて，IBR 法と MBR 法を切り替えて利用する手法を提案した．具体的には，3 次元モデルの生成が可能なシーンに対しては MBR 法，不可能なシーンに対しては IBR 法を用いて自由視点画像生成を行う．この手法では，MBR 法の欠点

10

図 5 Irani らの手法 [33] による自由視点画像生成．(上列) 入力画像，(下) 自由視
点画像生成結果である 3 次元モデル中の欠損を IBR 法で補償している．一方で，MBR 法・IBR 法が切り替わる箇所において，生成される画像の品質が不連続に変化する．Irani ら[33] は視点位置に依存した 3 次元モデルを生成し，利用する手法を提案した．この手法は，ある任意視点において，入力情報である対象環境の画像群から photoconsist な奥行画像を推定し，その奥行画像から復元できる 3 次元モデルを画像群に再投影することで画素値を取得し自由視点画像を生成する (図 5)．生成される自由視点画像の品質は推定された奥行画像に依存するため，photo consistencyを取りにくい入力画像群中の複雑な領域に対応する自由視点画像中の領域の品質は低下する．このように，視点に応じた奥行画像から復元出来る 3 次元モデル
を視点依存ジオメトリ (View-Dependent Geometry : VDG)，視点に応じて使用するテクスチャあるいは画素値を選択する手法を視点依存テクスチャマッピング(View-Dependent Texture Mapping : VDTM) と呼ぶ．
VDTM[45, 46, 37, 38] は，VDG などによって推定した奥行画像の精度の低さに起因して生じる自由視点画像上の歪みを低減させる特徴がある．Takai ら [46]は奥行画像から復元できる 3 次元モデルをテクスチャ画像群に再投影することで得られる複数の画素の値を用い，任意視点位置とテクスチャ画像の撮影地点の関係から得られる重み付き和を求めることで奥行画像の各画素の画素値を決定し，

11

;ĂͿ

;ďͿ

;ĐͿ

図 6 VDTM 例．(a) 使用した 3 次元モデル，(b) 単純なテクスチャマッピング，(c)Takai らの手法 [46]歪みの少ない自由視点画像生成を実現している (図 6)．伊吹ら [37] らは，複数の自由視点画像からなる自由視点映像について，映像を再生した際に生じるテクス
チャの光学的整合性の不一致を，互いに近い時刻で撮られた画像からテクスチャを選択するように改良することで改善した．

VDG を用いる手法として，伊吹ら [37] は，対象環境の奥行画像を入力とした
自由視点画像生成手法を提案した．本手法では，任意視点における奥行画像と入力である奥行画像群との整合性を表すエネルギ関数を定義し，そのエネルギ関数
を最小化することで任意視点における奥行画像を推定する．そのため，生成される自由視点画像の品質は，入力である奥行画像群の枚数および精度に依存する．
また，Gaurav ら [42] は対象環境の奥行画像を視点位置に応じて選択し，それらの奥行画像から得られる 3 次元モデルを任意視点に対して再投影することで任意視点の奥行画像を推定し，自由視点画像生成を行った．入力の奥行画像が有する3 次元形状を直接用いるため，奥行画像中に誤差を含んでいた場合その誤差が直接任意視点の奥行画像に反映されることから，入力として高精度な奥行画像が求められる．Nakashima ら [43] は，対象物体に関する荒い 3 次元モデルと実画像群を入力として，対象物体に関する自由視点画像生成手法を提案した．具体的には，
入力画像に対してあらかじめ対象物体の画素領域とそれ以外の領域を分割しておく．次に，3 次元モデルを用いて，任意視点における奥行画像を 3 次元モデルを12

用いて推定する．ここで，3 次元モデル中の欠損は奥行画像上で欠損となるため，推定した奥行画像に対して膨張処理を行うことでこの欠損を補償している．次に，領域分割をしておいた入力画像を用いて VDTM を行うことで，自由視点画像上に対象物体の境界に現れる歪みの改善している．本手法では，上記の領域分割は人手で行っており，なおかつ対象物体は比較的単純な形状の物体の組み合わせである．屋外環境を対象とした場合，対象物体は複雑な形状かつ複雑な組み合わせであるため，それぞれの物体の分割を人手で行うには人的コストが掛かる．さらに屋外環境の 3 次元モデル上に生じる欠損は，奥行画像上の単純な膨張処理で補償できないほど大きい場合があり，本手法をそのまま適用することはできない．

Nvidia Co. Ltd.[35]，Heaulet Packyard Co. Ltd.[36]，Renan ら [41]，Okura ら[44] は，対象環境の 3 次元点群を入力として用いた VDG に基づく自由視点画像生成手法を提案した．これらは，設定した視点位置から各画素に向かって伸びる光線と 3 次元点群の関係から，視点依存ジオメトリであるメッシュモデルを構築する．これらの手法において，自由視点画像の生成速度と品質の関係は，メッシュ
モデルを構築するアルゴリズムと入力される 3 次元点群の量と質による．Okura
ら [44] の提案システムでは，リアルタイム性が求められることから，画像の生成速度を最優先させた結果，生成画像上に歪みが生じている (図 7)．また，3 次元点群のスパース性から，その視点位置において実際には他の物体に遮蔽されるべき点が生成画像上に現れる場合がある．そのような本来遮蔽されるべき点は隠点と呼ばれ，Renan らの手法 [41] では前処理として設定した視点位置に応じて隠点
消去 (Hidden Point Removal : HPR) を適用している．

HPR の手法としては，専用の HPR オペレータを適用する方法 [59] と 3 次元点群から 3 次元曲面再構成を行う方法 [60] がある．一般的に，専用の HPR オペレー
タを利用する方が，3 次元曲面再構成を行うよりも高速に隠点消去が可能である．
しかし，専用の HPR オペレータは，複雑な形状を有する 3 次元点群に対して適用すると隠点を除去しきれないため，屋外環境の 3 次元点群に適用は困難である．

13

図 7 Okura らの提案手法 [44] による自由視点画像生成結果

2.3 対象環境の 3 次元形状復元に関する従来研究
2.3.1 画像に基づく手法
画像に基づく対象環境の 3 次元形状復元手法の多くは，与えられた画像に対応する奥行画像を推定することで対象の 3 次元復元を行う．
ステレオ法は，位置・姿勢が既知の 2 台以上のカメラによって撮影された画像に対し，撮影画像上で各画素の対応を決定することで，三角測量の原理により奥行画像を推定する手法である．本手法は，各カメラの位置関係を把握するために，高精度なカメラキャリブレーションが必要である．キャリブレーションの手法として，3 次元位置が既知のマーカを用いる手法 [7] が代表的であるが，屋外環境を対象とした場合，画角内に十分な数のマーカを配置することは難しい．

Structure from Motion 法 (SfM 法) は，複数の画像を入力として与え，それぞれの画像中の特徴点の対応点を求めることで，その対応点からそれぞれの画像の撮影位置姿勢情報および対応点に対する 3 次元座標を推定する．本手法で得られる撮影位置姿勢情報は，特徴点の相対的な位置関係のみが推定され，絶対的な位置・姿勢情報を取得するためには外部指標が必要である．外部指標の例として，

GPS・ジャイロなどのセンサ類を利用する手法 [8] や 3 次元位置が既知の基準点を用いる手法 [10] が提案されている．これらの手法を用いることで，実世界との位置関係を取得することが可能である．SfM 法は対象環境の撮影カメラの位置・

14姿勢情報を推定するには適しているが，復元される 3 次元情報は特徴点に対する3 次元点に限られるため疎にしか得られない．
多視点ステレオ (Multi View Stereo : MVS) 法 [11, 14, 15, 16, 17, 18, 20, 21,

22, 25] は，SfM 法などによって求めた撮影位置姿勢が既知な画像群を入力として与え，ステレオ法によってそれぞれの画像の奥行画像を推定することで，対象環
境の 3 次元形状を復元する手法である．Goesele ら [16] は共有写真データベースなどを対象として，不特定多数の人物が撮影した観光地の画像群からステレオを行う手法を提案した．また，Merrell ら [12] は車載カメラを用いて撮影した画像群からステレオを行い，GPU を用いて高速に奥行画像を統合することで，広域屋外環境の 3 次元形状をリアルタイムに推定する手法を提案した．Hernandez ら[14] らは，ステレオによってある奥行画像のある画素の奥行値をロバストに推定するために，Occulusion Robust Photo-Consistency 関数を提案した．ただし，この関数を使用して推定した奥行画像上には入力画像の曖昧さから，誤った奥行値
がノイズ上に生じる．そのため，Campbell ら [18] は，推定した奥行画像を格子状のマルコフランダムフィールド (Marcov Random Field : MRF)X とみなすことで，このノイズを排除する手法を提案した．具体的には，データ項として元のX とノイズが取り除かれた MRF X̂ の L2 ノルム，正則化項として X̂ の全て隣接
する 2 つの p 番目と q 番目のフィールドの差の絶対値の和を用い，データ項と正則化項の和からなる以下に示すようなエネルギ関数 EM RF (X̂) を定義する．

EM RF (X̂) = ||X − X̂|| + λ∑|X̂p − X̂q | ただしλは任意定数

(1)

p,q

このエネルギ関数が最小する新たな X̂ を求めることで，ノイズを排除している(図 8)．一般的に，MRF のフィールド数を N ，各フィールドが取りうる状態数をK としたとき，その MRF の取りうる状態の組み合わせは K N 通りであるため，
エネルギ関数を最小化するような一意の MRF を有限時間内に探索するのは困難である．そのため，Graph-Cut[61] や Tree-Rewighted Message Passing[62] を用いて近似解を求められることが多い．

MVS 法は画像のみを用いて対象環境の 3 次元形状を復元できる一方で，テクスチャが存在しない画像の領域の奥行値については，対応点を安定して求めるこ

15

図 8 エネルギ関数最小化による奥行画像上のノイズ除去．(左) ノイズが生じた
奥行画像 [14]，(右) ノイズ除去結果 [18]とができないため正しい奥行値の推定が困難である．Furukawa ら [21] によるイ
ンターネット上の画像を用いて広域屋外環境の 3 次元形状を復元する試みにおいても，建物などの画素値の変化に富んでいる物体については 3 次元復元がなされているが，道路や空，建物の内部の暗がりなど画像中で画素値の変化が少ない領域の 3 次元復元はなされていない．車載カメラシステムに搭載される画像処理ア
ルゴリズムの評価において，道路の 3 次元形状の獲得は必須である．しかし，これらの MVS 手法をそのまま適用して，道路領域に関する 3 次元形状を復元することは難しい (図 9)．

2.3.2 センサにより得られる 3 次元点群に基づく手法
対象環境の 3 次元点群を取得する方法として，光レーザを照射することで，光が反射して計測されるまでの時間 (time of flight) を計測する方法や，プロジェ
クタ等でパターン光を照射し，近接するカメラでパターン光の位置を検出し，三角測量の原理によって対象環境の 3 次元点群を取得する機器を用いる方法がある．3 次元点群の収集に用いられるシステムとして，Topcon IP-S2[56]，Velodyne

HDL-64E[57] や Microsoft Kinect[58] などがあり，これらを用いることで容易に対象環境に関する 3 次元点群を収集できる．また，対象環境に関する 3 次元点群16

図 9 サン・マルコ広場 (イタリア) の復元結果 [21]から対象環境の 3 次元モデルを再構成する，3 次元曲面再構成の研究が行われている [40, 47, 48, 49, 50, 51, 52, 53, 54, 55]

Schnabel ら [49] は，プリミティブと呼ばれる球・直方体・錐体等の単純な 3 次
元モデルを 3 次元点群に当てはめることで対象環境の 3 次元モデルを復元する手法を提案した．この手法は，対象環境がプリミティブで近似可能であるような単純なものであれば，良好な復元結果が得られる．
若本ら [40]，Yang ら [50] は 3 次元点群に局所平面を割り当てることで対象環境の 3 次元曲面再構成を行う手法を提案した．これらの手法では個々の点に割り当てる平面のサイズ・姿勢を考慮せず，同じ平面を画一的に割り当てるため，得られる 3 次元形状の精度は高くない．そこで Devore ら [55] は，ある点とそのいく
つかの近傍点からその点に割り当てるべき曲面を求め，求めた曲面を割り当てる
ことでより精度の高い 3 次元形状の復元を行った (図 10)．

Kazhdan ら [48] は，陰関数に基づく 3 次元曲面再構成手法を提案した．この手法では，3 次元空間のある地点と 3 次元点群を引数とする陰関数を用いて 3 次元
空間を物体の内側と外側に分け，その境界面を探索することで対象環境の 3 次元モデルを構築する．本手法では，境界面の形状はポアソン分布に従うという仮定を置いているため，復元結果の 3 次元モデルは，全体的に滑らかになる一方で対象物が本来有する細かなディテールを損なう (図 11)．Liang ら [53] は，3 次元点17図 10 Devore らの手法 [55] による屋外環境の 3 次元曲面再構成結果

図 11 フーリエ変換に基づく 3 次元曲面再構成手法 [47] による 3 次元モデル復元
結果 (左) と Kazhdan らの手法 [48] による 3 次元モデル復元結果 (右)群を直接用いない陰関数に基づく 3 次元曲面再構成法を提案した．本手法では 3次元空間に存在する 3 次元点群から，3 次元空間のそれぞれの地点において，3 次元点群の分布に基づくエネルギを求めることで，3 次元空間内の 3 次元点群から与えられるエネルギ分布を得る．次に，この 3 次元空間内のエネルギ分布を引数とする陰関数を解くことで 3 次元曲面再構成を行う．本手法は，3 次元点群に欠損が生じているような箇所でも，エネルギ分布の求め方次第ではそのような欠損を補償することができる (図 12)．

Xiao ら [25]，Ignacio ら [54] は対象環境に関する事前知識を用いた 3 次元形状復元手法を提案した．具体的には，マンハッタンワールド仮定と呼ばれる，屋外18

図 12 Liang らの手法による人体の 3 次元点群からの 3 次元モデル復元結果 [53]．
右足に該当する点群が失われているにもかかわらず 3 次元曲面が復元されている

図 13 Ignacio らの手法による屋外環境 (高層ビル群) の 3 次元曲面再構成結果 [54]の建物や屋内の壁は，地面に対して直立しているという制約のもと，対象環境の3 次元形状を復元を行う手法である (図 13)．
これらの 3 次元曲面再構成法では，対象環境に関する 3 次元点群が密に，またその 3 次元点群に対しての事前知識が多いほど復元される 3 次元形状の精度は向上するが，実際には，機器の制約によって十分な量の 3 次元点群を獲得できない．

19

そのような 3 次元点群から復元される 3 次元モデルには，ファッテンドシルエッ
トと呼ばれる，実際には存在しないはずの 3 次元曲面が生成される．また，屋外環境から計測した 3 次元点群に遮蔽などに起因する欠損が生じると，構築した 3次元モデルにも欠損が生じる．このような欠損が生じた 3 次元モデルをもとに生成した映像においては当該領域に欠損が生じるため，物体検出を行う画像処理ア
ルゴリズムの評価において，実映像を用いる場合と大きな差異が生じる．

2.4 本研究の位置づけと方針
既に述べたとおり，画像処理アルゴリズムの評価を行う手法として，実走行テストによる方法，CG を用いた方法，加工した実映像を用いた方法，自由視点画像を用いる方法が存在する．表 1 に，それぞれの評価方法の特徴を示す．同表に示すように，実走行テストに代わる評価手法として，アルゴリズムの評価コストが低く，かつ評価可能な走行環境の自由度が高い自由視点画像生成を用いることが最も効果的であると考えられる．しかし，上述の通り評価に使用する実画像の代替として使用可能な品質を有する CG 生成手法あるいは自由視点画像生成手法
は提案されていない．

表 1 評価方法の特徴の比較
使用可能性
アルゴリズム評価のコスト

自由度

実走行テスト

高

高

低

CG

低

低

高

加工した実映像

高中

中

自由視点画像低 (従来手法)

低中

この問題に対し，本研究では，車載カメラに搭載される画像処理アルゴリズムの評価において，実画像の代替として使用可能な品質を有する自由視点画像を生成可能な自由視点画像生成手法を開発し，提案手法で生成した自由視点画像が実際に実画像の代替として使用可能であることを示す．車載カメラ画像処理アルゴ

20

リズムの評価のための実画像に代わる品質を有する自由視点画像には以下の要件が求められる．

(1) 評価困難な走行環境・条件の自由視点画像を合成可能であること(2) 視点変更に伴って生じる歪みは極めて小さいこと
これら 2 点を満たすために，対象環境の複雑さに応じて，MBR 法と VDG，VDTMに基づく HR 法を切り替える自由視点画像生成手法を提案する．具体的には，まず，対象環境の 3 次元点群から Liang らの 3 次元曲面再構成手法 [53] で用いられている 3 次元空間のエネルギ分布から求まる 3 次元モデルを用いて，ユーザが設定した視点位置における奥行画像を推定する．ここで，屋外環境の 3 次元点群はポアソン分布やマンハッタンワールド仮定に従わない場合があり，何らかの制約や事前知識を基づく 3 次元曲面再構成を用いることはできない．従って，本研究においてはこれらを用いず，屋外環境の 3 次元点群を用いた 3 次元曲面再構成に実績のある，Liang らの手法 [53] は基礎として 3 次元点群から求まる 3 次元空間
中のエネルギ分布から 3 次元曲面再構成を行う．
ただし，実際には，3 次元点群には誤差や物体の遮蔽による欠損が生じているため，奥行画像上にはファッテンドシルエット・カットシルエットと呼ばれるアー
ティファクトが生じるという問題が残されている．そこで，対象環境に関する実画像から対象環境に関する 3 次元モデルを復元し，VDG，VDTM に基づく HR法によってこれらのアーティファクトの検出・除去・補償を行う．最後に推定した
奥行画像に対して VDTM を行うことで自由視点画像生成を行う．実験では，屋外環境を走行して取得した実映像と，提案手法で生成した実映像に対応する自由視点映像を画像処理アルゴリズムに入力し，その出力を比較することで，提案手法による自由視点映像が実映像の代替として評価に使用可能な品質を有しているかの確認を行う．

21

3. 走行環境を対象とした自由視点画像生成
本章では，走行環境を対象として，画像処理アルゴリズムの評価を行うことを前提とする自由視点画像生成手法の詳細について述べる．本手法では，Topcon

IP-S2[56](以下，IP-S2 と略記) を用いて屋外環境に関する 3 次元点群と全方位画像および全方位画像の位置姿勢情報を取得し，まずこれらの入力情報を元に 3 次元点群を用いて全方位画像に対する全方位奥行画像を推定する．次に，ユーザが設定した視点位置に対する奥行画像を，3 次元点群に対して Liang らの 3 次元曲
面再構成法 [53] を適用することで推定する．最後に，推定した奥行画像を用いてSato ら [38] の手法を基礎とした VDTM を行うことで自由視点画像を生成する．
以下ではまず，提案手法の処理の流れを概説した後，それぞれの処理について詳述する．

3.1 走行環境を対象とした自由視点画像生成手法の概要
図 14 に，提案手法による自由視点画像生成の処理の流れを示す．提案手法は，
自由視点画像を行うために必要な入力情報の収集と前処理である処理 (a) と実際に自由視点画像を生成する処理 (b) に分かれる．

(a)

๓ฎ⌮

ධຊ᝟ሗ䛾ྲྀᚓ
(a-2) ඲᪉఩ዟ⾜⏬ീ䛾⏕ᡂ(b) ⮬⏤どⅬ⏬ീ⏕ᡂฎ⌮(b-1) ึᮇዟ⾜⏬ീ䛾⏕ᡂ(b-2) VDDT䛻ᇶ䛵䛟䜰䞊䝔䜱䝣䜯䜽䝖䛾㝖ཤ(b-3) VDTM䛻䜘䜛⏬ീ⏕ᡂ
(a-1)

図 14 提案手法の処理の流れ

22

前処理では，IP-S2 を用いて，屋外環境の 3 次元点群・全方位画像・全方位画像の撮影位置姿勢情報を取得する (a-1)．次に，全方位画像に対する全方位奥行画像を生成する (a-2)．自由視点画像生成処理では，前処理で得た 3 次元点群・全方位
画像・全方位画像の撮影位置姿勢情報・全方位奥行画像を用いて自由視点画像の生成を行う．まず，設定した視点位置において，初期奥行画像を推定する (b-1)．
初期奥行画像にはファッテンドシルエット・カットシルエットと呼ばれるアーティ
ファクトが生じているため，視点依存デプステスト (View-Dependent Depth Test :VDDT) を適用してこれらのアーティファクトの除去を行う (b-2)．最後に VDTMを行うことで自由視点画像を生成する (b-3)．以下それぞれの処理について詳述
する．

3.2 入力情報の取得提案手法では，走行路環境周辺の 3 次元点群と撮影位置・姿勢が既知の全方位画像を必要とする．本研究では，IP-S2 を搭載した実験車両 (図 15) で屋外で走行することでそれらを収集する．IP-S2 には，ラインレンジスキャナ，全方位マル
チカメラシステム，RTK-GPS，およびオドメトリセンサが搭載されており，実験車両を走らせるだけで，走路上の 3 次元点群・全方位画像・全方位画像の位置
姿勢情報 (図 16) を取得することができる．

/WͲ^Ϯ

図 15 本研究で使用した IP-S2 を車載した実験車両

23

;ĂͿ

;ĐͿ
;ďͿ

図 16 IP-S2 で取得可能な情報．(a)3 次元点群，(b) 全方位画像，(c) 全方位画像の位置姿勢情報

図 17 提案手法による全方位画像奥行画像の生成．(左) 原画像，(右) 全方位奥行
画像の生成結果

3.3 全方位奥行画像の生成
後段の処理である VDDT に基づくアーティファクトの除去 (b-2)，および VDTM
による画像生成 (b-3) を行うために，取得した各地点の全方位画像に対応する全方位奥行画像を生成する (図 17)．全方位奥行画像の生成は，疎な全方位奥行画像の生成，隠点消去，無限遠点の追加，および領域分割に基づく密な全方位奥行画
像の生成，の 4 つの処理からなる．以下，それぞれの処理について述べる．

24

;ĂͿ

;ĐͿ
;ďͿ

図 18 疎な全方位奥行画像の生成例，(a) 原画像．(b) 疎な全方位奥行画像．(c)
隠点の例

3.3.1 疎な全方位奥行画像の生成
全方位奥行画像を生成するための最初の手順として，疎な全方位奥行画像を生成する．具体的には，全方位奥行画像の生成対象である全方位画像 (原画像) の撮
影地点に設定した球状の全方位画像面に対して，対象環境に関する 3 次元点群を投影することで，疎な全方位奥行画像を生成する (図 18)．

3.3.2 隠点消去
疎な全方位画像には本来遮蔽されるべき隠点が生じる場合がある (図 18(c))．この隠点を消去するために，Liang ら [53] が提案した式 (7)(付録参照) で定義される
エネルギ関数を用いて，可視の物体表面位置を推定する．具体的には，図 19 に示すように，疎な全方位画像の光学中心を c，3 次元点が投影された座標を r としたとき，c から r 方向に延びる半直線 l を考える．次に，l 上を自由に動く 3 次
元点 s を考え，s が 3 次元点群から与えられるエネルギを式 (7) を用いて求める．
図 20 に，図 19 における，c と s との距離 d，d に対応するエネルギの関係を示す．
図 20 中のローカルピーク α, β に対応する s の位置は図 19 中の α, β の位置であり，それぞれ 3 次元点群から復元される 3 次元曲面上に存在する．本研究では，あら25

かじめ設定した範囲内の全ての d についてエネルギを求め，ローカルピークのうち最小の d を可視の物体表面の奥行値 dˆ とする．このとき，元の奥行値が dˆ よりも大きい場合，s に投影されている点は隠点であると判断し取り除く．この操作
を 3 次元点が投影された全ての座標に対して行うことで隠点消去を行う (図 21)．

ḟඖⅬ⩌

ϯ

図 19 (a-2-2) 隠点消去で用いる記号の関係ŶĞƌŐǇ;ϯϯϱ͕ϭϵϴͿ

;ϰϰϯ͕ϭϴϰͿ

Ě

図 20 エネルギと c と s 間の距離 d との関係

26

図 21 疎な全方位奥行画像 (上段) と隠点消去結果 (下段)

3.3.3 無限遠点の追加
隠点消去済みの疎な全方位奥行画像に，図 22 に示すように無限遠領域を表す
領域に無限遠を表す無限遠点を追加する．なお，本研究では無限遠とは主に空領域と仮定し，(a) 空と地面の領域分割，(b)3 次元点群に基づくマスク画像の生成，および (c) 無限遠点を追加した隠点消去済みの疎な全方位奥行画像の生成，の 3
つの処理で無限遠領域の追加を行う．以下に，それぞれの処理について詳述する．

(a) 空と地面の領域分割対象となる原画像に対して，RGB の 3 次元要素を持つ全画素に対して k-means ク
ラスタリングに基づく領域分割を行うことで，空領域と地面領域の 2 つの領域に分割する (図 23)．同図のように色情報だけを用いて領域分割を行うと，空領域の色と類似している白線や白い建物に該当する領域が空領域としてクラスタリング
される．このような誤った領域を取り除くために，3 次元点群に基づくマスク画
像を生成する．

(b)3 次元点群に基づくマスク画像の生成
空と地面の領域分割画像に生じる誤った領域を取り除くために，3 次元点群に基27

図 22 隠点消去済みの疎な全方位画像に対して無限遠点 (ピンクの領域) を追加し
た結果

ㄗ䜚㡿ᇦ

図 23 空と地面の領域分割．(左) 原画像，(右) 領域分割結果

づくマスク画像を生成する．具体的には，疎な全方位奥行画像上のある画素 t について，t を原点とする幅 w のウィンドウ領域内に 3 次元点が投影された画素が1 つ以上あれば 0 を，そうでなければ 1 とすることで，図 24 に示すようなマスク
画像を生成する．

(c) 無限遠点を追加した隠点消去済みの疎な全方位奥行画像の生成
まず，上記の 2 つの手順で生成した領域分割画像とマスク画像の積を取ることで，無限遠領域画像を獲得する (図 25)．次に，無限遠領域画像に従い，無限遠に該当する画素に対して，隠点消去済みの疎な全方位奥行画像上に無限遠点を追加する
ことで，図 22 に示したような無限遠点を追加した隠点消去済みの疎な全方位奥行画像を生成する．

28

図 24 3 次元点群に基づくマスク画像の生成．(左) 疎な全方位奥行画像，(右) 生成したマスク画像

;ĂͿ

;ĐͿ

;ďͿ

図 25 無限遠領域画像の生成．(a) 領域分割画像，(b) マスク画像，(c) 無限遠領
域画像の生成結果

3.3.4 領域分割に基づく密な全方位奥行画像の生成
無限遠点を追加した隠点消去済みの疎な全方位奥行画像に対して，Watershed
領域分割 [63] に基づく密な全方位奥行画像の生成を行う．具体的には，無限遠点を追加した隠点消去済みの疎な全方位奥行画像中において，奥行値が存在する画素をシード e として領域分割を行う (図 26)．Meyer の Watershed 領域分割 [63] では，あるシード e に対となる領域 Ωe が生成される．そこで Ωe に含まれる画素の奥行値を e が有する奥行値とすることで，図 17 に示したような密な全方位奥行画
像を生成する．Meyer の Watershed 領域分割 [63] は 1 つのシードに対して 1 つの29

領域を生成する領域分割手法である．また，この手法は，隣接する領域との境界
画素値の差の絶対値の総和が最大化するような領域に分割する．すなわち画像中で類似した画素値でかつ隣接する画素の奥行値は同一あるという仮定を置くならば，隠点消去を行った 3 次元点群に基づく Meyer の Watershed 領域分割 [63] は理に適っており，MVS 法と異なりテクスチャレスな領域に対しても安定して奥行値を求めることができる．

図 26 領域分割結果

3.4 初期奥行画像の生成
自由視点画像生成処理では，まずユーザが設定した視点位置における初期奥行
画像を，前節で述べた全方位奥行画像の生成と同様の手順を全画素に対して行う
ことで生成する (図 27)．ただし，Liang らの手法 [53] を単純に全画素に適用して奥行画像を生成すると，同図に示すようにファッテンドシルエット [50] と呼ばれる本来存在しないはずの領域や，元の 3 次元点群の欠損に起因して，初期奥行画
像上に欠損領域 (本研究では，このような欠損領域をファッテンドシルエットと対比させてカットシルエットと呼ぶ) が生じる．

30

fattened-silhouette

cut-silhouette

図 27 奥行画像の生成結果 (左) とテクスチャマッピングを行った結果 (右)3.5 VDDT に基づくアーティファクトの除去
ファッテンド・カットシルエットを改善するために，新たに視点依存デプステ
スト (View-Dependent Depth Test : VDDT) を導入する．VDDT は Yang ら [50]が提案したデプステスト (Depth Test : DT) が元のアイデアとなっているが，DTは対象環境の正確な奥行画像を別途用いることでファッテンドシルエットの除去を可能とする一方で，使用可能な奥行画像に誤差がある場合，適用が困難である．
また，DT はカットシルエットの検出・補償は行えない．以下に提案する VDDT
は，DT を拡張することで，検証に用いる奥行画像上の誤差を考慮し，なおかつファッテンドシルエットとカットシルエットの双方に対応する．VDDT は，ファッテンドシルエットを除去する処理，およびカットシルエットを検出・補償する処理，の 2 つの処理からなる．以下にそれぞれの処理について詳述する．

3.5.1 ファッテンドシルエットの除去
ファッテンドシルエットを取り除くために，事前に作成した全方位画像上の奥行値と仮想視点において生成した奥行値の整合性を検証する．具体的には，まず
図 28 に示すように，仮想視点 ĉv の画像上の画素 px に対応する 3 次元点 p̂x を復元する．次に ĉv から近い N 地点 (c1 , c2 , · · · , cN , ) の全方位奥行画像 ci を選択す31

図 28 VDDT で使用するパラメータ

る．ここで，p̂x を全方位奥行画像上に投影し，投影座標から事前に推定されている奥行値を用いて復元される 3 次元点を pi とする．本研究では，これらを用いて以下に示す重み付き奥行誤差 Err(px ) を算出する．

∑
Err(px ) =


wi =

1
θ+λ||p̂x −ci ||0

i ||pi − p̂x ||
∀i w
∑
∀i wi

; ||p̂x − ci || ≤ ||pi − ci ||

,

,

(2)

; otherwiseθ[0, π] = ̸ cv p̂x ci ,ただし，λ はパラメータ定数である．関数 Err(px ) は，px と全方位奥行画像上の奥行値との整合性を，遮蔽を考慮した空間距離の重み付き和として表している．
本手法では，重み付き誤差 Err(px ) が閾値以上となる場合には，px がファッテン
ドシルエットであると判定する．ファッテンドシルエットと判定された画素については，||p̂x − cv || より大きな新たな奥行値を Liang らの手法 [53] を用いて算出し用いる．図 29 に，上記の手法を用いることで図 27 におけるファッテンドシル
エットを除去した結果を示す．図 29 から，信号機周辺等に生じていたファッテン
ドシルエットが取り除かれていることがわかる．

32

3000>
2500
2000
1500
1000
500
0

map
considering fattened-silhouette;ĂͿ(b) depth map without
fattened-silhouette

図 29 ファッテンドシルエットの除去結果

3.5.2 カットシルエットの検出・補償
ファッテンドシルエットを除去した後，カットシルエットの検出・補償を行う．
ここでは，ファッテンドシルエットの検出と同様の関数 Err を用いることで，カットシルエットが生じている領域を検出する．ただし，カットシルエットの検出には，式 (2) に示した重み wi の代わりに以下の重み ŵi を用いる．



ŵi =

1
θ+λ||p̂x −ci ||0; ||p̂x − ci || > ||pi − ci ||.

(3); otherwise

ファッテンドシルエットの検出時と同様に，重み付き誤差 Err(px ) が閾値以上であれば，その領域はカットシルエットが生じている領域と判断し，その画素については画像に基づく自由視点画像生成手法 [38] を用いることで，全方位奥行画
像群から奥行値を推定する．図 29 に示した結果に加えて，上記の操作を行うことでカットシルエットを検出・補償した結果を図 30 に示す．図 30 から，図 27 に生じていたカットシルエットに該当する領域の奥行値が補償されていることがわ
かる．

33

3000>
2500
2000
1500
1000
500

map
considering cut-silhouette

0

;ĂͿ

(b) depth map with compensatedregion of cut-silhouette

図 30 カットシルエットの検出・補償結果

3.6 VDTM による画像生成
上記の手順で生成した奥行画像を用い，全方位画像群から適切なテクスチャを選択することで，テクスチャマッピングを行う．ここでは，文献 [38] の手法と同様の VDTM 手法でテクスチャマッピングを行う (図 31)．

図 31 VDTM による画像生成例

34

4. 実験
4.1 実験の目的および方法
車載カメラシステムの画像処理アルゴリズムの評価において，自由視点画像が実画像の代替として使用可能であるかどうかを検証するために，本実験では実映
像と実映像に対応する自由視点映像を入力として，白線検出アルゴリズム [64] を適用し，出力される白線検出結果を比較する．実映像は図 32 に示すように IP-S2を取り付けた実験車両のキャリアに外部カメラ (Point Grey Research: Flea3) を2 台取り付け，対象環境に関する情報を収集する際に，屋外環境を走行中のキャプチャ映像も併せて収集した．表 2 に，IP-S2 で取得可能な全方位画像の位置姿
勢情報および 3 次元点の精度を示す．表 3 に，取り付けた外部カメラのパラメー
タおよび全方位カメラから 2 つの外部カメラへの水平・垂直移動量および回転量
を示す．

IP-S2

external
right camera
external
center camera

図 32 外部カメラの取り付け位置

4.2 入力情報の取得
提案する自由視点画像生成手法は，入力情報として対象環境の 3 次元点群・全方位画像・全方位画像の撮影位置姿勢情報を必要とする．本研究では IP-S2 を搭

35

表 2 IP-S2 で取得できる全方位画像の位置姿勢情報および 3 次元点の精度
位置姿勢 (水平方向)± 10.0mm + 0.5ppm

位置姿勢 (垂直方向)± 15.0mm + 0.5ppm

3 次元点± 35mm

表 3 外部カメラの仕様と全方位カメラからの移動量および回転量
center camera right camera
解像度

640 × 512 px.

画角67 × 56 deg.

垂直方向移動量-70.8 cm

-72.8 cm

水平方向移動量

1.4 cm40.4 cm

ヨー角回転量0.0 deg.

3.5 deg.

཰㞟⤊஢఩⨨
཰㞟㛤ጞ఩⨨
図 33 実験車両の走行経路36

表 4 IP-S2 で収集した情報
収集日時
2013/12/20 16 時 36 分
走行距離

520 m

全方位画像枚数

267 枚

3 次元点数

3,000,000 点載した実験車両を用いて，京都府設楽郡精華町光台 3 丁目において，図 33 に示す走行経路で，表 4 に示す量の 3 次元点群・全方位画像・全方位画像の位置姿勢
情報を取得した．

4.3 自由視点映像の生成結果
図 34 に，実験車両のキャリア中央に設置にした外部カメラ (center) および車両右側に設置した外部カメラ (right) でキャプチャした実映像と，これらに対応する提案手法を用いて生成した自由視点映像の一部を示す．同図から，微小なアー
ティファクトと色合いの違いを除いて，白線の位置や建物の位置などの幾何形状を高品質に再現出来ていることがわかる．

4.4 白線検出結果
前節で示した実映像と実映像に対応する自由視点映像に対して白線検出アルゴ
リズム [64] を適用し，その白線検出結果を比較する．なお，実映像と生成した自由視点映像は，それぞれ 31 フレームの画像による 3 秒の映像で，1 フレーム間のカメラの視点位置は約 1.0m 離れている．これは，実験車両が 36km/h で走行している間に 10fps で撮影した車載カメラの映像を対象に白線検出を行ったことに相当する．白線検出アルゴリズムの適用に先立ち，実映像と生成した自由視点映
像には色合いなどの違いがあるため，実映像と自由視点映像に対して画像処理を施す．まず，実映像の下部には実験車両が映り込んでいるが，自由視点映像には37ĨƌĂŵĞηϭĨƌĂŵĞηϳĨƌĂŵĞηϭϯĨƌĂŵĞηϮϬ

䝅䞊䜿䞁䝇

ϭ

䝅䞊䜿䞁䝇

Ϯ

䝅䞊䜿䞁䝇

ϯ

䝅䞊䜿䞁䝇

ϰ

図 34 外部カメラの映像とそれに対応する自由視点映像の一部．(シーケンス

1)center における実映像，(シーケンス 2)center における自由視点映像，(シーケンス 3)right における実映像，(シーケンス 4)right における自由視点映像

この実験車両が映り込んでいない．このような映像中の実験車両の有無が白線検出結果に影響を及ぼすことを避けるため，シーケンス 1，2 の映像に対して映像の下部 8%を，シーケンス 3，4 の映像に対して映像の下部 10%をクロッピングした．次に，色合いの違いが検出結果に影響を及ぼすことを避けるため，人手による色調補正を行った．具体的にはシーケンス 2，4 の自由視点映像に対してコン
トラスト比を+40%，画像全体の明るさを-32%，赤の輝度値に対して+33 のバイ
アスを掛けた (図 35)．画像処理を施したそれぞれの映像に対して白線検出を行った結果を図 36 に示す．また，視点位置から左右の白線までのオフセット距離を図

38

;ĂͿ

;ďͿ

;ĐͿ

;ĚͿ

図 35 白線検出に先立ち実施した画像処理の結果．(a) 原実画像，(b) 原自由視点
画像，(c) クロッピングを行った実画像，(d) クロッピングおよび色調補正を行った自由視点画像37 に示す．白線検出結果から，シーケンス 1，2 の左右の白線までのオフセット
位置の誤差の平均は，それぞれ 37mm と 24mm であった．またシーケンス 3，4の左右の白線までのオフセット位置の誤差の平均は，それぞれ 35mm と 25mm であった．この誤差には，全方位カメラと外部カメラ間のキャリブレーション誤差
によるバイアス誤差が生じている．シーケンス 1，2 の左右の白線までのバイア
ス誤差を差し引いたオフセット位置の誤差の平均は，それぞれ 23mm と 9mm であった．同様にシーケンス 3，4 の左右の白線までのバイアス誤差を差し引いた
オフセット位置の誤差の平均は，それぞれ 31mm と 14mm であった．

39

ĨƌĂŵĞηϭĨƌĂŵĞηϳĨƌĂŵĞηϭϯĨƌĂŵĞηϮϬ

䝅䞊䜿䞁䝇

ϭ

䝅䞊䜿䞁䝇

Ϯ

䝅䞊䜿䞁䝇

ϯ

䝅䞊䜿䞁䝇

ϰ

図 36 白線検出結果

4.5 考察
実験結果から，提案手法による自由視点画像生成手法による自由視点映像は，
白線検出アルゴリズムにおいて，実映像の代替として使用可能な一定の品質を有していると考えられる．併せて，自由視点画像による車載カメラに搭載される画像処理アルゴリズムの評価は可能であると結論付ける．ただし，本実験では，非常に短い映像を対象とし，限られた走行環境および白線検出アルゴリズムを対象とした評価を行った．そのため，自由視点画像による画像処理アルゴリズムの評価
結果の信頼性を向上させるために，様々な走行環境および画像処理アルゴリズムを対象とした大規模な実験を行う必要がある．ただし，現在，Intel(R) Core(TM)i7-3970X，nVidia GTX680 を用いて，自由視点画像，全方位奥行画像を生成する

40

31
25
f
r
a
m
e
n
u
m
b
e
r

20
15
10
5
1
-1.5

-1.0

-0.5

0.0 0.5 1.0
offset distance

1.5

2.0 [m]distance to left white linefrom center real images

distance to right white linefrom center real images

distance to left white linefrom center virtual images

distance to right white linefrom center virtual images(a) center camera

31
25
f
r
a
m
e
n
u
m
b
e
r

20
15
10
5
1
-2.0

-1.5

-1.0 -0.5 0.0 0.5
offset distance

1.0

1.5

distance to left white linefrom right real images

distance to right white linefrom right real images

distance to left white linefrom right virtual images

distance to right white linefrom right virtual images[m](b) right camera

図 37 視点位置から左右の白線までのオフセット距離の比較．(上) シーケンス 1，

2 に対する結果，(下) シーケンス 3，4 に対する結果

のに，それぞれ平均して 58 分，72 分を要している．従って大規模な実験に先立ち，
これらのアルゴリズムを改善することで画像生成速度を向上する必要がある．

41

5. まとめ本研究では，画像処理アルゴリズムの評価において，実画像の代替として自由視点画像を利用することを目的に，高品質な自由視点画像を生成するための自由視点画像生成手法を提案した．併せて白線検出アルゴリズムを対象とし，実映像と提案手法による実映像に対応する自由視点映像の白線検出結果を比較した．実験結果から，それぞれの映像の白線検出位置の差は非常に小さく，これは自由視
点画像が実画像の代替として用いることの可能性を示したと考えられる．今後は，手法の高速化を行うとともに，白線検出のみならず自由視点画像による様々な画
像処理アルゴリズムの評価を想定し，多様な走行環境を考慮した大規模な実験を行う必要がある．

42

謝辞
本研究を進めるに当たり，始終暖かくご指導，ご鞭撻頂いた視覚情報メディア研究室横矢直和教授に心より感謝申し上げます．また，本学での研究におけるあらゆる面で，多大なご助言，ご協力を賜りましたことを深く感謝致します．副指導教官として有益なご助言を頂きましたロボティクス研究室小笠原司教授，ならびに本研究を進めるに当たりご助言頂いた視覚情報メディア研究室佐藤智和准教授に厚く御礼申し上げます．本研究へのご助言，研究環境の整備にご協力を頂いた視覚情報メディア研究室河合紀彦助教， 中島悠太助教に深く感謝致します．研究遂行にあたり様々なご指導を頂いた視覚情報メディア研究室粂秀行氏に深く感謝いたします．研究について無数の御助言，御指導，ご協力を賜った株式会社豊田中央研究所町田貴史氏に心より深く感謝致します．また，研究室での生活を支えて頂いた視覚情報メディア講座事務補佐員石谷由美女史に心より感謝致します．
さらに，研究活動だけでなく日々の生活においても大変お世話になった視覚情報
メディア講座の皆さまに深く感謝致します．最後に，私の 2 年間の大学院生活に関わった全ての方々に感謝の意を表します．

43

参考文献
[1] G. Weinberg, and B. Harsham, “Developing a Low-Cost Driving Simulator
for the Evaluation of In-Vehicle Technologies,” Proc. Int. Conf. Automotive
User Interfaces and Interactive Vehicular Applications, pp.51-54, 2009.
[2] TASS International, PreScan, https://www.tassinternational.com/prescan,
2013.
[3] 安田浩志, 山田直之, 寺本英二, “歩行者検出システム開発のための模擬カメラ
画像評価尺度の検討,” 電子情報通信学会総合大会講演論文集, D-11-80, p.80,

2011.
[4] S. Ono, R. Sato, H. Kawasaki, and K. Ikeuchi, “Image-Based Rendering of
Urban Road Scene for Real-time Driving Simulation,” Proc. ASIAGRAPH,
1 page, 2008.
[5] 三 菱 重 工 業 株 式 会 社, 画 像 処 理 ア ル ゴ リ ズ ム の 評 価 シ ス テ ム, 201033321(P2010-33321A), 2010.
[6] 株式会社日立アドバンストデジタル, 画像認識アルゴリズム評価用映像作成システム, http://www.hitachi-ad.co.jp/technology/2013/tech03.html, 2013.

[7] R. Y. Tsai, “An Eﬃcient and Accurate Camera Calibration Technique for 3D
Machine Vision,” Proc. Computer Vision and Pattern Recognition, pp.364374, 1986.
[8] 上原将文, 塩崎剛志, 全炳東, “数値地図と動画像解析による都市空間モデリ
ング,” 画像の認識・理解シンポジウム論文講演集, Vol.2, pp.373-378, 2000.

[9] 浅井俊弘, 神原誠之, 横矢直和, “全方位距離画像と全方位カラー画像の統合による屋外環境の三次元モデル化,” 画像電子学会誌, Vol.34, No.5, pp.529-538,

2005.

44

[10] 佐藤智和, 池田聖, 横矢直和, “複数動画像からの全方位型マルチカメラシステ
ムの位置・姿勢パラメータの推定,” 電子情報通信学会論文誌, Vol.J88-D-II,

No.2, pp.347-357, 2005.
[11] M. Goesele, B. Curless, and S. M. Seitz, “Multi-View Stereo Revisited,”
Proc. Computer Vision and Pattern Recognition, pp.2402-2409, 2006.
[12] P. Merrell, A. Akbarzadeh, L. Wang, P. Mordohai, J. -M. Frahm, R. Yang, D.
Nister, and M. Pollefeys “Real-Time Visibility-Based Fusion of DepthMaps,”
Proc. Int. Conf. Computer Vision, 8 pages, 2007.
[13] C. L. Zitnick, and S. B. Kang, “Stereo for Image-Based Rendering using
Image Over-Segmentation,” Int. Journal of Computer Vision, Vol.75, No.1,
pp.49-65, 2007.
[14] C. Hernandez, G. Vogiatzis, and R. Cipolla, “Probabilistic Visibility for
Multi-View Stereo,” Proc. Int. Conf. Computer Vision, 8 pages, 2007.
[15] G. Vogiatzis, C. Hernandez, H.S. T. Philip, and R. Cipolla, “Multiview Stereo via Volumetric Graph-Cuts and Occlusion Robust PhotoConsistency,” IEEE Trans. Pattern Analysis and Machine Intelligence,
Vol.29, No.12, pp.2241-2246, 2007.
[16] M. Goesele, N. Snavely, B. Curless, H. Hoppe, and S. M. Seitz, “Multi-View
Stereo for Community Photo Collections,” Proc. Int. Conf. Computer Vision,
8 pages, 2007.
[17] Y. Furukawa, and J. Ponce, “Accurate, Dense, and Robust Multiview Stereopsis,” IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.32, No.8,
pp.1362-1376, 2007.
[18] N. D. Campbell, G. Vogiatzis, C. Hernandez, and R. Cipolla, “Using Multiple
Hypotheses to Improve Depth-Maps for Multi-View Stereo,” Proc. European
Conference on Computer Vision, No.1, pp.766-779, 2008.
45

[19] Y. Taguchi, B. Wilburn, and C. L. Zitnick, “Stereo Reconstruction with
Mixed Pixels using Adaptive Over-Segmentation,” Proc. Int. Conf. Computer Vision, 8 pages, 2008.
[20] Y. Furukawa, B. Curless, S. M. Seitz, and R. Szeliski, “Reconstructing Building Interiors from Images,” Proc. Int. Conf. Computer Vision, pp.80-87, 2009.
[21] Y. Furukawa, B. Curless, S. M. Seitz, and R. Seliski, “Towards Internetscale Multi-view Stereo,” Proc. Computer Vision and Pattern Recognition,
pp.1434-1441, 2010.
[22] Y. Liu, Q. Dai, and W. Xu, “A Point Cloud Based Multi-View Stereo Algorithm for Free-Viewpoint Video,” IEEE Trans. Visualization and Computer
Graphics, Vol.16, No.3, pp.407-418, 2010.
[23] R. A. Richard, and A. J. Davison, “Live Dense Reconstruction with a Single
Moving Camera,” Proc. Computer Vision and Pattern Recognition, pp.14981505, 2010.
[24] X. Mwi, X. Sun, M. Zhou, S. Jian, H. Wang, and X. Zhang, “On Building an
Accurate Stereo Matching System on Graphics Hardware,” Proc. Int. Conf.
Computer Vision Workshops, pp.467-474, 2011.
[25] J. Xiao, and Y. Furukawa, “Reconstructing the World s Museums,” Proc.
European Conference on Computer Vision, No.1, pp.668-681, 2012.
[26] S.E. Chen, and L. Williams, “View Interpolation for Image Synthesis,” Proc.
SIGGRAPH’93., pp.279-288, 1993.
[27] S. M. Seitz, and C. R. Dyer, “View Morphing,” Proc. SIGGRAPH’96., pp.2130, 1996.
[28] T. Naemura, T. Takano, M. Kaneko, and H.Harashima, “Ray-Based Creation of Photo-Realistic Virtual World,” Proc. Int. Conf. Virtual Systems
and MultiMedia, pp.59-68, 1997.
46

[29] M. Levoy, and P. Hanranhan, “Light Field Rendering,” Proc. SIGGRAPH’96., pp.31-41, 1996.
[30] S. J. Gortler, R. Grzeszczuk, R. Szeliski, and M. F. Cohen, “The Lumigraph,” Proc. SIGGRAPH’96., pp.43-54, 1996.
[31] C. Lipski, C. Linz, K. Berger, A. Sellent, and M. Magnor, “Virtual Video
Camera: Image-Based Viewpoint Navigation Through Space and Time,”
Computer Graphics Forum, Vol.29, No.8, pp.2555-2568, 2010.
[32] A. Davis, M. Levoy, and F. Durand, “Unstructured Light Fields,” Journalof Computer Graphics Forum, Vol.31, No.2, pp.305-314, 2012.
[33] M. Irani, T. Hassner, and P. Anandan, “What Does the Scene Look Like froma Scene Point?,” Proc. European Conference on Computer Vision, Vol.2,
pp.883-893, 2002.
[34] 篠原秀俊, 八木康史, 谷内田正彦，“IBR と MBR を併用した空間モデリングとウォークスルー環境,” 情報処理学会 研究報告, No.2, pp.147-154, 2003.

[35] Nvidia Corporation, Method of generating surface defined by boundary of
three-dimensional point cloud, US 7586489 B2, 2009.
[36] Hewlett-Packard Development Company, L.P., Mesh for rendering an image
frame, US 7854518 B2, 2010.
[37] 伊吹拓也, 佐藤智和, 松下康之, 横矢直和. 視点位置に依存して変形する三次
元メッシュモデルを利用した自由視点画像生成における違和感の低減. 電子
情報通信学会 技術研究報告. PRMU2009-307, 2010.

[38] T. Sato, H. Koshizawa, and N. Yokoya, “Omnidirectional Freeviewpoint Rendering Using a Deformable 3-D Mesh Model,” Int. Journal of Virtual Reality,
Vol.9, No.1, pp.37-44, 2010.

47

[39] G. Chaurasia, O. S. Hornung, and G. Drettakis, “Silhouette-Aware Warpingfor Image-Based Rendering,” Proc. the Eurographics Symposium on Rendering, Vol.30, No.4, 10 pages, 2011.
[40] 若元 友輔, 福元 和真, 山口 祐之, 川崎 洋, 子安 大士, “ビルボードレンダリ
ングによる広域環境の写実的レンダリングシステムの提案,” 第 15 回画像の認識・理解シンポジウム (MIRU2012), 7 pages, 2012.

[41] M. e S. Renan, C. Esperanca, A. and Oliveira, “Eﬃcient HPR-Based Rendering of Point Clouds,” Proc. Conf. Patterns and Images(SIBGRAPI), pp.126133, 2012.
[42] G. Chaurasia, S. Duchene, O. S. Hornung, and G. Drettakis, “Depth Synthesis and Local Warps for Plausible Image-based Navigation,” ACM Transactions on Graphics, Vol.32, 12 pages, 2013.
[43] Y. Nakashima, Y. Uno, N. Kawai, T. Sato, and N. Yokoya, “Augmented Reality Image Generation with Virtualized Real Objects Using View-Dependent
Texture and Geometry,” Proc. IEEE Int. Sympo. Mixed and Augmented Reality, Works-in-Progress, 6 pages, 2013.
[44] F. Okura, Y. Ueda, T. Sato, and N. Yokoya, “Free-Viewpoint Mobile Robot
Teleoperation Interface Using View-Dependent Geometry and Texture,” ITE
Trans. Media Technology and Applications, Vol.2, No.1, pp.82-93, 2014.
[45] P. Debevec, Y. Yu, and G. Borshukov, “Eﬃcient View-Dependent ImageBased Rendering with Projective Texture-Mapping,” Proc. the Eurographics
Workshop, pp.105-116, 1998.
[46] 高井 勇志，松山 隆司, “Harmonized Texture Mapping,” 映像情報メディア
学会誌, Vol.43, No.4, pp.488-499, 2009.

[47] M. Kazhdan, “Reconstruction of Solid Models from Oriented Point Sets,”
Proc. the 3rd Eurographics Sympo. on Geometry, No.73, 11 pages, 2005.
48

[48] M. Kazhdan, M. Bolitho, and H. Hoppe, “Poisson Surface Reconstruction,”
Proc. the 4th Eurographics Sympo. Geometry, pp.61-70, 2006.
[49] R. Schnabel, P. Degener, and K. Reinhard, “Completion and Reconstruction
with Primitive Shapes,” Computer Graphics Forum, Vol.28, No.2, pp.503512, 2009.
[50] R. Yang, D. Guinnip, and L. Wang, “View-dependent Textured Splatting,”
Journal of The Visual Computer, Vol.22, No.7, pp.456-467, 2006.
[51] K. Thangudu, L. Gade, J. M. Singh, and P. J. Narayanan, “Point Based
Representations for Hierarchical Environments,” Proc. Int. Conf. Computing: Theory and Apllications, pp.574-578, 2007.
[52] P. Goswami, F. Erol, R. Mukhi, R. Pajarola, and E. Gobbetti, “An eﬃcient Multi-Resolution Framework for high Quality Interactive Rendering ofMassive Point Clouds Using Multi-Way KD-Trees,” The Visual Computer,Vol.29, No.1, pp.69-83, 2012.
[53] J. Liang, F. Park, and H. Zhao, “Robust and Eﬃcient Implicit Surface Reconstruction for Point Clouds Based on Convexified Image Segmentation,”
Journal of Scientific Computing, Vol.54, No.2-3, pp.577-602, 2013.
[54] I. G. Dorado, I. Demir, and D. G. Aliaga, “Automatic Urban Modeling
Using Volumetric Reconstruction with Surface Graph Cuts,” Computer &Graphics, Vol.37, No.7, pp.896-910, 2013.
[55] R. DeVore, G. Petrova, M. Hielsberg, L. Owens, B. Clark, and A. Sood,“Processing Terrain Point Cloud Data,” SIAM Journal on Imaging Sciences,
Vol.6, No.1, pp.1-31, 2013.
[56] Topcon, IP-S2, http://www.topcon.com/[57] Velodyne, HDL-64E, http://velodynelidar.com/
49

[58] Microsoft, Kinect, http://www.xbox.com/en-US/Kinect[59] S. Katz, A. Tal, and R. Basri, “Direct Visibility of Point Sets,” Proc. SIGGRAPH’07., No.24, 11 pages, 2007.
[60] D. L. M. Tavares, and J. L. D. Comba, “Eﬃcient Approximate Visibility ofPoint Sets on the GPU,” Conf. Graphics, Patterns and Images (SIBGRAPI),
pp.239-246, 2010.
[61] Y. Boykov, and M. P. Jolly, “Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D images,” Proc. Int. Conf.
Computer Vision, Vol.1, pp.105-112, 2001.
[62] V. Kolmogorov, “Convergent Tree-Reweighted Message Passing for Energy
Minimization,” IEEE Trans. Pattern Anal. Mach. Intell. Vol.28, No.10,
pp.1568-1583, 2006.
[63] S. Beucher, and F. Meyer, “The Morphological Approach to Segmentation:
The Watershed Transformation,

Mathematical Morphology in Image Pro-

cessing, Marcel Dekker Press, pp.433-481, 1992.
[64] A. Watanabe, and M. Nishida, “Lane Detection for a Steering Assistance
System,” Proc. IEEE Intelligent Vehicles Symp., pp.159-164, 2005.

50

付録
Liang らの 3 次元曲面再構成手法 [53] で用いられている，3 次元空間内の 3 次元点群から得られるエネルギ分布の求め方について以下に詳述する．入力された 3 次元点群に含まれるある 3 次元点を p としたとき，p と p の k 個の最近傍(k-Nearest Neighbor : KNN) の集合を xi (i = 0 · · · k) とする．次に，以下の式(4) で与えられる xi の 3 × 3 の分散共分散行列 P に対して主成分分析を行い，固有値 σ0 , σ1 , σ2 (0 ≤ σ0 ≤ σ1 ≤ σ2 ) とそれぞれの固有値に対応する固有ベクトルv0 , v1 , v2 を得る．

P =

k
∑

(xi − x)T (xi − x)

i=0
k
1 ∑
ただしx =xi
k + 1 i=0(4)

固有ベクトル v0 , v1 , v2 は，図 38 の 2 次元点を用いた例で示すように p において割り当てられるべき局所平面の傾きを表し，特に v0 は平面の法線方向を表す．また，固有ベクトルは x を原点とする局所座標系を作る．ここで，3 次元空間中のある座標 s が 3 次元点 p から与えられるエネルギを考える．初めに，s を p とその KNN から求まる局所座標系へ座標変換を行い，変化後の座標 s′ を得る．この座標変換は p とその KNN から求まる固有ベクトル v0 , v1 , v2 を用いて，以下の式(5) によって行われる．

s′ = [v2 , v1 , v0 ]T s − x(5)

次に，s′ = [l, m, n]T と固有値 σ0 , σ1 , σ2 を用いて，以下の式 (6) でエネルギ G(s′ )を求める．

G(s′ ) = exp(−α

l2
m2 n2
σ0
)exp{−β( ++ )}σ0 + σ1 + σ2
σ2
σ1
σ0
ただし，
αとβ は任意定数51(6)図 38 主成分分析で得られる固有ベクトルと点との関係
図 39 に，図 38 の例を用いて全ての座標 s における点 p から与えられるエネルギの分布を示す．式 (6) は，ある座標 s が点 p とその KNN から求まる局所座標系
において，原点を極大とする非等方性ガウシアン分布に従うエネルギが与えられていると考えられる．また，式中の項 exp(−α σ0 +σσ10 +σ2 ) は，点 p とその KNN が構成する 3 次元曲面の曲率が高いほど小さい値を取り，曲率が小さいほど (すなわち平面であるほど) 大きな値を取る．最後に，ある座標 s が入力である 3 次元点群に含まれる全て 3 次元点からエネルギが与えられるとする．このエネルギは式 (7) によって得ることができ，全ての座標 s についての求めたエネルギ分布を図 40 に示す．上記の操作を行うことで，3 次元空間内の 3 次元点群から得られる
エネルギ分布を求めることが出来る．

EAGK (s) =∑G(s′ )(7)∀p

ただし，エネルギ分布の最大値は 3 次元点群の密度と任意定数 α，β によって変わるため，そのまま扱うと不便であるため，式 (8) を用いて正規化したエネルギ
分布を用いる．

EN ormAGK (s) =EAGK (s) − min∀s EAGK (s)max∀s EAGK (s) − min∀s EAGK (s)
52

(8)

1.0
0.8
0.6
0.4
0.2
0.0

図 39 全ての座標 s における点 p から与えられるエネルギの分布

1.0
0.8
0.6
0.4
0.2
0.0

図 40 全ての座標 s においてそれぞれの座標が全て点 p から与えられるエネルギの分布53