NAIST-IS-MT0051068

修士論文

複数の全方位画像を用いた広範囲な任意視点画像の生成

冨手 要

2002 年 2 月 8 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
冨手 要

審査委員：

横矢 直和 教授
小笠原 司 教授

複数の全方位画像を用いた広範囲な任意視点画像の生成∗
冨手 要

内容梗概
近年，バーチャルリアリティの世界に実環境を取り込み，写実性の高い見回し可能なウォークスルー環境を実現する研究が行われている．これらの研究はリアリティが要求されるシミュレータの構築やウォ−クスルー可能なテレプレゼンスの実現などに応用することができ，都市計画，交通工学，教育やアミュ−ズメントなどの幅広い分野での活用が期待されている．そこで本研究では，実環境を仮想環境に取り込み，360 °の見回しが可能でかつ，広範囲なウォークスルーを実現するための任意視点画像の生成法の開発を目的とする．提案手法では周囲 360°の画像を一度に取得するために全方位画像センサを用い，実環境中の複数の地点で全方位画像を取得する．次に，取得した全方位画像とセンサの位置，および画像間の対応を入力として与え，全方位画像のブレンドにより，ユーザの任意視点位置における全方位画像を生成する．最後に，生成された全方位画像をユーザの視線に追従した透視投影画像に変換しユーザに提示する．実験では，全方位画
像を複数枚取得し，屋内環境と屋外環境のそれぞれについてウォークスルー環境を構築した．実時間で任意視点の全方位画像を生成し，ジョイスティックを使用
してウォークスルーを行うことにより，提案手法の有効性を確認した．

キーワード
全方位画像, 任意視点画像生成, イメージベーストレンダリング , ウォークスルー∗

奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-IS-

MT0051068, 2002 年 2 月 8 日.

i

Arbitrary Viewpoint Rendering from
Multiple Omnidirectional Images for Interactive
Walkthroughs∗
Kaname Tomite

Abstract
Recently, the walkthrough which enables us to look around a virtualized realworld has been widely investigated. The walkthrough system can be applied to
the wide ﬁeld of applications such as city planning, traﬃc engineering, education
and amusement. This paper describes a method of realizing an interactive walkthrough which takes a real scene and enables us to look around in the virtualized
scene. The proposed method is based on acquiring omnidirectional images atmultiple points in the real world using an omnidirectional camera. The method
generates omnidirectional images at arbitrary locations from captured omnidirectional images, and presents a user a converted perspective image. In the experiment, we made the walkthroughs using indoor and outdoor omnidirectional
images. We have conﬁrmed the feasibility of the method by generating omnidirectional images at arbitrary viewpoints in real-time and walking in the virtualenvironment using a joystick.

Keywords:
Omnidirectional Image, Arbitrary Viewpoint Rendering, ImageBased Rendering,
Walkthrough∗

Master’s Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT0051068, February 8, 2002.

ii

目次
1. はじめに1

2. 従来研究と本研究の方針

4

2.1 仮想環境のウォークスルーに関する従来研究 . . . . . . . . . . . .

4

2.1.1

モデルベースドレンダリングによるウォークスルー . . . .

5

2.1.2

イメージベースドレンダリングによるウォークスルー . . .

8

2.1.3

ハイブリッド 方式によるウォークスルー . . . . . . . . . .

13

2.2 本研究の方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

3. 全方位画像を用いた任意視点画像の生成

21

3.1 提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

3.2 全方位画像センサによる画像取得 . . . . . . . . . . . . . . . . . .

22. . . . . . . . . . . . . . .

24

3.4 対応点の三次元位置の推定 . . . . . . . . . . . . . . . . . . . . . .

27

3.5 全方位画像上の対応点の算出. . . . . . . . . . . . . . . . . . . .

29

3.6 任意視点における画像の生成. . . . . . . . . . . . . . . . . . . .

29

3.3 任意視点画像生成のための重みの導入

4. 実験

33

4.1 屋内環境における実験 . . . . . . . . . . . . . . . . . . . . . . . .

33

4.1.1

評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

4.1.2

任意視点での両眼立体視画像の生成実験 . . . . . . . . . .

38

4.1.3

ウォークスルーの実験 . . . . . . . . . . . . . . . . . . . .

41

4.2 屋外環境における実験 . . . . . . . . . . . . . . . . . . . . . . . .

45

5. 考察

49

6. まとめ

50

謝辞

52

参考文献

53
iii

付録

56

A. 屋内環境のウォークスルー実験に使用した
入力データ

56

iv

図目次
1

複合現実環境の構築方法 . . . . . . . . . . . . . . . . . . . . . . .

5

2

3D Kyoto における京都四条周辺のウォークスルー [2] . . . . . . .

63View Morphing [8] . . . . . . . . . . . . . . . . . . . . . . . . . .

94

Town Digitizing [9] . . . . . . . . . . . . . . . . . . . . . . . . . .

105Light Field Rendering . . . . . . . . . . . . . . . . . . . . . . . .

11

6

光線空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

7

情景モデル [16] . . . . . . . . . . . . . . . . . . . . . . . . . . . .

148

全周パノラマステレオ画像と CG 合成 [17] . . . . . . . . . . . . .

15

9CyberCityWalker の外観 [18] . . . . . . . . . . . . . . . . . . . . .

17

10

３次元レ イヤ推定手法 . . . . . . . . . . . . . . . . . . . . . . . .

1811

提案手法の概念図 . . . . . . . . . . . . . . . . . . . . . . . . . . .

2112

提案手法のフローチャート . . . . . . . . . . . . . . . . . . . . . .

22

13HyperOmni Vision . . . . . . . . . . . . . . . . . . . . . . . . . .

23

14

全方位画像と透視投影画像 . . . . . . . . . . . . . . . . . . . . . .

24

15

重みとセンサの位置関係 . . . . . . . . . . . . . . . . . . . . . . .

26

16センサと推定される対応点の位置関係 (a) と拡大図 (b)，及び重みを用いて算出した三次元位置 T (c) . . . . . . . . . . . . . . . . . .

28

17

対応点の三角形分割から透視投影画像を提示するまでの処理手順 .

31

18

３枚の入力画像をブレンドし生成された全方位画像の例 . . . . . .

32

19

評価実験の環境：(a) 入力画像のセンサ位置，(b) 任意視点画像の生成位置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

35. . . . . . . . . . . . . . .

36

20

屋内環境での実験に使用した入力画像

21

評価実験：(a) 提案手法により生成された全方位画像，(b) 実際に撮影した全方位画像，(c) 生成された全方位画像を透視投影変換した画像，(d) 実際に撮影した全方位画像を透視投影変換した画像 .

2237

任意視点での両眼立体視画像の生成実験の環境：(a) 実験環境を上から見下ろした図，(b) 撮影地点周辺の拡大図 . . . . . . . . . . .

v

39

23

任意視点における両眼立体視画像の生成実験の結果：(a) 生成した全方位画像, (b) 進行方向の画像, (c) 進行方向の右側の画像 . . . .

40

24

屋内環境のウォークスルー実験 . . . . . . . . . . . . . . . . . . .

42

25

屋内環境のウォークスルー実験の結果画像：A〜E 地点 . . . . . .

43

26

屋内環境のウォークスルー実験の結果画像：F〜J 地点 . . . . . .

44

27

実験に使用した屋外環境の模式図と撮影地点 . . . . . . . . . . . .

4628

屋外実験に使用した入力画像. . . . . . . . . . . . . . . . . . . .

47

29

屋外環境において生成された全方位画像と透視投影画像 . . . . . .

48

30

ウォークスルー実験で使用した入力画像 . . . . . . . . . . . . . .

59

表目次
1
2

モデルベースの手法，イメージベースの手法とハイブ リッド の手法の比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

本研究で使用した HyperOmni Vision の仕様 . . . . . . . . . . . .

33vi

1. はじめに
近年，コンピュータグラフィックス (CG: Computer Graphics) の技術は，映画，
テレビ CM といった様々な映像メディアや家庭用ゲームなどのアミューズメント
といった幅広い分野に応用され，急速に普及してきている．CG の技術を用いて計算機上に仮想環境を構築して，ユーザがあたかもその場にいるような臨場感あふれる体験を提供する技術はバーチャルリアリティ(仮想現実環境 VR:Virtual

Reality) と呼ばれ，都市工学や交通工学，医療，アミューズメントなどの分野で活用されている．この VR には，ユーザ自らが仮想環境に入り込み，視線・視点を変えてウォークスルーすることにより，様々な仮想体験を味わうことができるという特徴がある．
この VR の特徴を生かし，現実環境を再構築した仮想環境内をウォークスルーすることが望まれている．ウォークスルーを行う上で要求される事項を以下に示す．

• モデル化の容易さ
現実環境に則したド ライブシミュレータなどの構築や，歴史的な建造物をデータとして保存する場合，広範囲な現実環境の再構築が必要となり，モデル化が容易であることが望まれる．

• 高解像度利用者に提示される画像は，臨場感を損なわないためにも高い解像度の画像が提示される必要がある．

• 奥行き関係の正しい表現
利用者が仮想環境内で正しく物体との遠近感を認識するために奥行き関係
を正しく表現する必要がある．

• 自由な移動自由な視点移動を行う上で任意の視点位置の画像を利用者に提示する必要がある．また，視点移動は前後左右に移動できるだけではなく，あらゆる方向に移動できる必要がある．

1

• 見回し利用者は自由に 360 °の見回しを行えることで高い臨場感を得ることができる．

• 実時間性
利用者の視点移動に対して，違和感を与えないフレームレートでの環境提示速度が求められる．

• 仮想物体の表示と配置
都市計画や交通工学の分野に応用する上でウォークスル−環境内に仮想物体を表示し配置できることが望まれる．
これらの要求を満たす仮想環境が構築できれば，ド ライブシミュレータや防災シミュレータなどのリアリティが要求されるシミュレータの構築や仮想観光などに応用することが可能である．また，現実世界に存在する歴史的な建造物を仮想環境に忠実に再現し，保存しておくことは文化的にも重要なことである．この構築された歴史的建造物の内部をウォークスルー体験できることは，教育の現場においても非常に有用なことであると考えられる．また，新しく都市計画を策定する上でも重要なデータになる．このように，仮想環境内に現実環境を再構築してウォークスルーできることは幅広い分野での活用が可能であるためその実現が期待されている．
上記の要求を満たすために，CG のみの技術を駆使し，都市空間や自然の景観などを仮想環境に取り込もうと試みられてきたが，広域な景観や複雑な形状を多く含んでいる景観を仮想環境内に３次元モデル化する作業は多大な労力を要し，また３次元モデルの複雑さに比例して表示するための計算時間がかかり，利用者が実時間でウォークスルーすることは不可能に近い．このウォークスルー環境構築の CG 技術に関する問題を解決するために，現実環境の情報を仮想環境内に融合するという新しい発想の複合現実環境 (MR:Mixed Reality) [1] が提案され近年注目されている．複合現実環境を用いた手法は３次元モデルの生成に重点をおいたモデルベースドレンダリング (MBR:Model-Based Rendering) の手法 [2, 3, 4, 5, 6]と３次元モデルを生成せずに，実写画像のみを使用するイメージベースドレンダ

2リング (IBR:Image-Based Rendring) の２つの手法 [7, 8, 9, 10, 11, 12, 13, 14, 15]に大別されてきた．モデルベースドレンダリングの手法は，仮想環境内に３次元モデルの形状を持っているため，利用者の視点移動や奥行き関係の表現に優れており，仮想物体を表示し，自由に配置を変更することが容易であるという利点がある．しかし，複雑な形状が複数存在する環境ではモデル化が困難である．一方，イメージベースドレンダリングの手法は計算量が３次元モデルの複雑さに依存せず，計算量が一定であるという利点があげられる．しかし，密に画像を取得する必要があるため蓄積画像のデータ量が膨大となる．また，大規模な現実環境から密に画像を取得するのは困難である．近年，モデルベースドレンダリングとイメー
ジベースドレンダリングの互いに優れている点を利用したハイブリッド 方式を用いる手法が盛んに研究されている [16, 17, 18]．そこで本研究では，このハイブ
リッド 方式の手法に着目し，複数枚の入力画像を用い，ユーザにとって自由な視点位置で見回すことが可能で，かつ広範囲にわたってウォークスルー可能なシステムを構築することを目的とする．
以下, 2 章では，従来研究と本研究の位置付けについて述べ，3 章では，全方位画像センサで取得した画像を用いた任意視点画像の生成方法について述べる．4
章では , 実際に数十枚の全方位画像を入力として使用し，屋内環境と屋外環境においてウォークスルー実験を行い，提案手法の有用性について考察する. 最後に5 章で , 本研究のまとめと今後の課題を述べる.

3

2. 従来研究と本研究の方針
2.1 仮想環境のウォークスルーに関する従来研究
従来，バーチャルリアリティの空間をウォークスルーすることが可能な３次元空間を記述・生成する言語として Virtual Reality Modeling Language(VRML) が提案されている [19]．利用者は，この言語を使用することでインターネットを介し，ネットワーク上に構築された仮想的な３次元モデルの中をウォークスルーすることが可能になった．しかし ，VRML では複雑で大規模な形状を持つ物体を表現することは大変な時間と労力を要し，また，実写画像を用いない CG のみのウォークスルー環境は写実性に欠け，高い臨場感が得られないという問題があった．そこで，VRML で構築した物体の表面に実写画像をテクスチャとして貼り付けることによって写実性の高いウォークスルーを表現しようと試みられてきた．
このように近年，従来のコンピュータグラフィックス (CG) で表現できる空間の写実性と臨場感の限界を超える概念として，現実環境を仮想環境に取り込む複合
現実環境 (MR:Mixed Reality) [1] が提案され注目を集めている．
この複合現実環境の概念を取り入れ，現実環境を仮想環境内に取り込み，写実性が高くかつ自由な見回しが可能なウォークスルー環境を構築する手法が盛んに研究されている．その従来手法は以下のように大別される．

• モデルベースの方法
現実環境の３次元モデルを手作業やコンピュータビジョン (CV:Computer

Vision) の手法を用いて計算機に入力し，仮想環境内に再構築する．３次元
モデルに実写画像のテクスチャマッピングを行い，その仮想環境内の任意視点画像を CG 技術により生成してウォークスルーを実現する．

• イメージベースの方法
イメージベースドレンダリング (IBR:Image Based Rendering) の手法を用いて，現実環境の３次元モデルを再構成せずに，蓄積画像と空間中の伝搬する光に関する制約条件のみを用いて任意視点画像の生成を行い，ウォー
クスルーを実現する．

4  



 


図 1 複合現実環境の構築方法

しかし，図 1 で示されるように，近年では現実環境の３次元モデルを積極的に取り入れ，かつ写実性を向上させるためにイメージベースの手法も取り入れたハイ
ブ リッド 方式を採用する研究も行われてきている．本章では，2.1.1 節でモデル
ベースの従来手法とその考察について述べ，2.1.2 節ではイメージベースの従来手法とその考察について述べ，2.1.3 節でモデルベースとイメージベースの手法を組み合わせたハイブリッド 方式の従来手法とその考察について述べる．

2.1.1 モデルベースドレンダリングによるウォークスルー
モデルベースの手法に共通する特徴は，仮想環境内に現実環境の３次元モデルを持つことで奥行き関係が正しく表現され，自由な見回しが可能で，さらに仮想物体を表示し，自由に配置を変更することが容易に実現できるといった利点があげられる．しかし，どのようにして現実環境の３次元形状を仮想環境に取り込む
かといった問題がある．以下でモデルベースの手法を用いた従来研究について述べ考察する．
３次元モデルを利用した簡単なウォークスルー環境の構築例の一つに，京都の街並みを簡易的に再構築し，インターネット上で，ウォークスルーをすることが可能な 3D Kyoto がある [2]．そのシステムの画面を図 2 に示す．これは，タグ型の３次元空間記述言語 3D Markup Language(3DML) [20] を用いて，立方体や直方体といった簡単な形状を京都の街並みに則して手作業で仮想環境内に配置し ，表面には実写画像から得られるテクスチャを貼り付けるという単純なものである

5

図 2 3D Kyoto における京都四条周辺のウォークスルー [2]6

が，誰もが気軽にウォークスルーを楽しむことができるシステムである．このシステムは，インターネット上に仮想的な街並みを再現し，その中でショッピング
をするといったバーチャルモールなどには適しているが，現実環境を忠実に再現
し，リアリティの高いウォークスルー環境を構築する場合，３次元形状の入力に多大な労力と時間を要する．また，任意視点において物体表面をリアルに表現できないため，写実性に欠けてしまうという問題点がある．
次に，モデルベースの手法に共通する問題である現実環境の３次元モデルの取り込みを自動で行い，かつ任意視点における物体の見え方を考慮した研究が行われている [3, 4, 5, 6]．現実環境を仮想環境に自動的に取り込む方法の主流は，３次元レーザスキャナによる能動的な方法と画像処理によるステレオ計測などの受動的な方法とに分かれる．
まず，池内らは３次元レーザスキャナを用いて，現実環境に存在する物体の３次元形状モデルを密に取得し，仮想環境内に現実環境を再現する手法を提案している [3]．この手法は密に取得した物体の３次元形状に対し，eigen-texture rendering

method [21] を適用することで，任意視点における画像の提示を可能にしている．
しかし，３次元レーザスキャナを用いて現実環境を自動的に取り込む手法は，物体の形状データを密に取得することが可能という利点はあるが，対象物体と計測可能な場所が限定されてしまう．また，一般的な３次元レーザスキャナではセン
シング能力の限界から，広範囲にわたる３次元形状データの獲得は困難である．
次に，実写画像を利用して画像処理により現実環境の形状データを自動的に取得する代表的な方法としてステレオ法が挙げられる．ステレオ法は異なる位置に設置した２つ以上の複数のカメラで撮像した画像上の物体像のずれから三角測量の原理に基づき物体までの距離を推定する手法である．
その中でも，全らは動きステレオを用いて都市景観に限定して道路を走行する車両に搭載したカメラから得られた動画像の解析による，都市景観のモデル化手法を提案している [4]．この手法は動きステレオによる奥行き計測を基本として
おり，建築物などの対象物体は，観測経路である道路からの奥行きとテクスチャ
によって表現されているため，現実環境の３次元形状の入力は容易であるが，この手法は単純な形状の多い都市環境のみで有効な手法であり，複雑な建築物の多7

い環境では適さない．それに対し，佐藤らは複雑な都市景観の３次元モデルを密に復元する手法を提案している [5]．この手法は動画像を入力としてマーカーと自然特徴点を追跡しカメラパラメータを推定する．そして推定されたカメラパラ
メータを用いて，マルチベースラインステレオ法により数百フレームの各シーンの奥行き情報を推定し，ボクセル空間で統合することにより現実環境のモデルを密に復元している．しかし，この手法ではウォークスルーに必要な広域な環境を復元しようとすると蓄積誤差が増加してしまう．次に，多眼視点映像を用いて，現実世界を対象とし，かつその中で動作する物体も仮想環境に取り込み，その中をウォークスルーしようとする試みが仮想化現実 (Virtualized Reality) [6] として，
金出らによって提案されている．このシステムは多数のビデオカメラを配置した
ド ーム上の実空間内の出来事を映像記録しておき，コンピュータビジョンの手法
で仮想空間を構築し，その中をウォークスルーするというものである．現実環境の再構築にとど まらず動物体も対象として扱い，ほぼ全自動的に現実環境をモデル化可能である．しかし，再構築できる空間に対してシステムが大規模なものとなる上，現時点では計算量が膨大なため任意視点映像の実時間生成は困難である．
以上，モデルベースの手法を用いたウォークスルー環境の構築は，自由な視点
移動や奥行き関係の正しい表現に適しており，容易に仮想物体の表示や配置の変更が可能であるといった利点が挙げられる．しかし，現実環境内の複雑な形状を仮想環境内に正確にモデリングすることは困難であり，複雑な形状が多数存在す
るような環境ではシステムの実時間性が損なわれてしまうという問題点があげられる．また，実時間性を実現するために複雑な形状を単純なモデルで表現すると物体の詳細な部分が現実と異なるため違和感が生じてしまう．

2.1.2 イメージベースドレンダリングによるウォークスルー
イメージベースの手法を用いた手法に共通する特徴は，蓄積画像より任意視点
画像を生成し，仮想環境内に３次元形状データを一切持たない，また，複雑な現実環境であっても処理時間が一定で高解像度な任意視点画像を提示することが可能であるといった利点が挙げられる．しかし，３次元形状データを持たないため，
仮想物体の表示や配置の変更は不可能である．以下で，イメージベースの手法を8用いた従来研究について述べ考察する．
複雑な現実環境の３次元モデルの復元をせずに自由な視点移動を行うためには，
任意視点における画像の生成が必要となる．２枚以上の入力画像間に対応を与えることにより任意視点画像を生成する一般的な手法としては，ワーピングやモーフィングなど の画像処理を行う方法が提案されている [7, 8]．図 3 はモーフィン
グ手法を用いて左右の入力画像よりその中間視点の画像を生成するまでの過程と生成された画像を示している．この手法は，予め入力画像間に対応を与えていれば高速に任意視点画像を生成することが可能であることから，ウォークスルーにも応用することが可能である．

図 3 View Morphing [8]9実環境の３次元情報を一切使用せずに都市をモデ リングする手法として，加藤らがTown Digitizing を提案している [9]．この手法は全方位画像センサとGPS(Global Positioning System) を組み合わせ，GPS により地図上の位置とその位置での全方位画像を同時に記録しておく．記録された全方位画像はユーザの視点位置にもとづいて選択され，視線情報から透視投影画像に変換され提示される．
このシステムでは，取得した全方位画像を記録する際にフーリエ変換を適用し ，画像情報の圧縮を行い，記憶容量の節約も計られている．図 4 に示すように，このシステムはユーザが地図上の見たい地点の全方位画像を蓄積画像群より選択し，
透視投影画像に変換，提示することによってウォークスルーが可能である．しかし，入力画像の取得位置でしか 360 °の見回しが行えず，移動範囲は撮影経路上に限定される．この問題点を解決するために，一般的には KL 展開やパラメトリッ
ク固有空間法などを用いて画像補間を行い任意視点画像を提示する方法などが考えられている [22, 23]．

図 4 Town Digitizing [9]10図 5 Light Field Rendering

図 6 光線空間

次に，空間中を伝搬する光の情報を使用することにより対応点を与えずに任意視点画像を生成する手法が提案されている [24, 25, 10, 11, 12, 13, 14, 15]．任意視点画像を生成する上で，蓄積画像間の対応点を求めることなく生成するには３次元空間内を伝搬する全ての光線情報の記述が必要となる．３次元空間内を伝搬する光線記述の概念は Adelson らが Plenoptic Function [24] として提案している．Plenoptic Function は任意の３次元点 (x, y, z) の任意の方向 (θ, φ) を通る任意の時刻 t の任意の波長 λ の関数として定義される．これらの情報が全て既知であれば，任意視点の画像が生成できる．しかし，この (x, y, z, θ, φ, t, λ) の７次元空間のサンプ リングはあまりにも膨大なデータとなるので実現不可能に近い．そこで Plenoptic Function を簡略化する手法として McMillan らが Plenoptic

Modeling [25] を提案している．Plenoptic Modeling は，静的環境に限定し，かつ一本の光線は同じ色であると仮定することにより，時刻 t を省略し，波長 λ を定数として，５次元の Plenoptic Function として定式化したものである．実環境に適用するために Levoy らが Light Field Rendering [10]，Gortler らが Lumigraph [11]，藤井らが光線空間 [12] を提案している．これらの手法は光が伝搬することにより生じる干渉や減衰などの変化を無視することで，５次元の Plenoptic Function を４次元に射影した．Light Field Rendering と Lumigraph は図 5 に示すように，光11

線を２つの平面を通る点の位置 (s, t) と (u, v) により記述し，光線空間は図 6 に示
すように，１つの平面を通る点 (P, Q) と方向 (θ, φ) によって記述するが，原理的には同等のものと考えることができる．これらの基本概念は，ある平面にカメラを密に配置し，カメラの光軸がその平面と直交するように画像を取得する．これによりこの平面を通る光線情報を取得する．そして，取得された光線情報を基に
平面付近の任意視点画像を生成する．山口らはこれらの手法を応用し，全方位画像センサ HyperOmni Vision [26] を用いて 360 °のステレオ画像を生成し，静止環境下で少ない時間遅延で見回しと立体視が可能なシステムを構築した [13]．この手法は，撮影地点付近でしか歪みの少ない画像を生成することができないため
広域な環境を復元するには膨大なデータ量が必要となるという問題がある．これと同様の原理で高橋らは全方位画像センサを搭載した自動車で走行し，その移動経路付近の任意視点を作成しウォークスルーを行っている [14]．この手法も視点
は移動経路から大きく離れることができないため，視点の移動範囲が制限されたままである．これに対し ，Aliga らは Plenoptic Function の概念に基づいて，全方位画像センサ搭載のカートを使用し，室内空間を密にサンプリングすることにより自由度の高いウォークスルー環境を提示している [15]．しかし，視点移動の自由度は高くなったものの，この手法では，室内空間で密に画像を撮影する必要があり，都市環境や自然景観といった広範囲の環境に適していない．
以上から，イメージベースドレンダリングの手法は情景の複雑さに依存せずに，自由な見回しが可能で高解像度な任意視点画像を実時間でユーザに提示するという要求には適している．しかし，空間中を伝搬する光線情報を用いる手法は密にデータを取得する必要があり，広範囲にわたるデータを取得するのは困難であり，また，データ量が膨大となってしまうという問題点が挙げられる．

12

2.1.3 ハイブリッド 方式によるウォークスルー
モデルベースとイメージベースのハイブリッド な手法の特徴は，複雑な形状が多数存在していても実時間で高解像度で奥行き関係が正しく表現された任意視点
画像の提示が可能で，さらに仮想物体の表示や配置の変更も可能であるといった利点が挙げられる．以下で，モデルベースとイメージベースのハイブリッド な手法の従来研究について述べ考察を行う．
正司らは，情景モデルとしてイメージベースドレンダ リングの手法とモデル
ベースドレンダ リングの手法を組合せ，３視点で撮影されたパノラマ画像から，現実環境を情景モデルという表現方式でモデル化しウォークスルーを行う手法を提案した [16]．情景モデルの表現方法は以下のように設定されている．

• 背景はパノラマ画像で表現• 視点から近傍にある対象物体は３次元モデルで表現• 背景と近傍付近の中間距離にあたる部分の対象物体には３次元空間内で平面近似による表現
図 7(a) は実画像であり，図 7(b) は情景モデルにより生成された画像である．この手法は，広範囲な空間表現を可能にしているが，１つの視点を基準にして情景モデルが構築されるため，極端に視点が変化する場合に違和感が生じてしまうといった問題点がある．

13

(a) 実画像(b) 情景モデルによって生成された画像
図 7 情景モデル [16]14

島村らは全周ステレオパノラマ画像を用いてテクスチャ付３次元モデルと近景
用 CG モデルを合成し ，その中をウォークスルーするシステムを提案した [17]．
この手法は，視点移動の際の運動視差や奥行き関係を表現するために，全周パノ
ラマステレオ画像から全周パノラマ距離画像を生成し，これをもとに遠景用３次元モデルを構成し，近景に詳細な幾何形状を保持した CG オブジェクトを合成し，ユーザに提示する．ユーザは複雑な仮想環境内においても実時間性の高い視点移動が可能である．図 8 は全周パノラマステレオ画像によって生成された遠景用モデルと詳細な３次元モデルを持つ近景用の CG を合成して表示した画像である．
しかし，複数の全周パノラマステレオ画像を使用してのウォークスルーができな
いため移動範囲が制限されてしまう．

図 8 全周パノラマステレオ画像と CG 合成 [17]

15

遠藤らは

Cyber City Walker として８台の車載カメラを使用し全天周画像を生成し，さらに正しい奥行き知覚に対する問題も解決するために画像上の対象
物ごとに部分画像に分割・再配置を行う３次元レ イヤ推定手法を提案し，ウォー
クスルーシステムを構築している [18]．図 9 は Cyber City Walker の外観である．
ここで，３次元レ イヤ推定手法とは図 10 で示すように，対象物があると思われる奥行きにあわせて，参照用の別の視点からの画像全体の拡大縮小・変形を行う．
対象物体までの奥行きが正しければ，画像中でその対象部分のみ一致する．逆に切り出したい対象物が一致するように奥行きを設定し，一致した部分のみを取り出せば，奥行き情報を持つレ イヤとして抽出することができる．それらを３次元空間内に視点からの距離に応じて再配置を行い，任意視点画像を生成する．この手法は，蓄積画像間にあらかじめ対応を付けておき，ワーピングの手法を用いて画像補間しているでの，他のイメージベースドレンダリングの手法に比べて少ないデータ量で，広範囲にわたるウォークスルーが可能である．また，粗く３次元形状を復元しているので，構築された仮想環境内に仮想物体を配置することも可能である．しかし，道路上の視点移動は撮影経路上に制限されてしまう．以上か
ら，モデルベースとイメージベースのハイブリッド な手法は実時間性や写実性に優れており，さらに仮想物体の表示や配置が容易に行えるといった利点があり，視点の移動に制限があるという問題以外はウォークスルー環境の構築に必要な要求事項を全て満たしているといえる．

16

図 9 CyberCityWalker の外観 [18]

17









図 10 ３次元レ イヤ推定手法

18

2.2 本研究の方針
2.1 節で述べてきた通り，写実性の高いウォークスルー環境の構築は，モデル
ベースの方法，イメージベースの方法，モデルベースとイメージベースのハイブ
リッド な手法の３つに分けられる．それらの関係を表 1 に示す．モデルベースの手法を用いて，広域でかつ複雑な環境のもと，現実環境の形状モデルを復元するのは現実的に困難である．また，光線情報を用いたイメージベースの手法では，
密にデータを取得する必要があるため広範囲なウォークスルーには適していない．
モデルベースとイメージベースのハイブリッド な手法は自由な視点移動が可能となれば，ウォークスルーを行う上での要求事項が全て満たされることになる．そこで本研究は，ユーザに臨場感の高い仮想環境を提示するために，モデルベースとイメージベースのハイブリッド な手法に着目し，以下の要求を満たすシステムの構築を目的とする．

• 現実環境のモデル化が容易であること．
• 高解像度で提示でき，また奥行き関係が正しく表現され，任意視点において物体表面が正しく表現されていること．

• 実時間で制限のない広範囲な視点の移動が可能で，かつ 360 °の自由な見回しが可能であること．
本研究では以上の目的を実現するために，以下のような手法を提案する．まず，全方位画像センサ HyperOmni Vision [26] を用いて，全方位画像センサの世界座
標系における位置，姿勢が既知の画像を複数箇所で取得する．そして，全方位画像間の対応点の位置関係に基づき，入力として与えられる全方位画像 (以下，入力画像) をブレンドし，任意の視点位置における全方位画像を生成する．
（ 本研究では，対応点を手動で与えた．
）最後に，生成された任意の視点位置における全方位画像を平面透視投影画像に変換し，ユーザの視線に追従した画像を提示することによって任意視点における自由な見回しを実現する．

19

表 1 モデルベースの手法，イメージベースの手法とハイブリッド の手法の比較
モデルベース

イメージベース

ハイブリッド現実環境のモデル化の容易さ

困難×

困難×

容易○

奥行き関係の表現

容易○

容易○

容易○

自由な視点移動可能○

可能○

制限がある×360 °の見回し

容易○

容易○

容易○

ポリゴン数に依存×

容易○

容易○

容易○

不可能×

容易○

実時間性
仮想物体の表示と配置

20

3. 全方位画像を用いた任意視点画像の生成
3.1 提案手法の概要
本研究では，デジタルスチルカメラに搭載した全方位画像センサを用い，図 11のように複数箇所で撮影し全方位画像を取得する．入力画像の取得位置と生成したいユーザの視点位置，および対応点の情報より，ユーザは入力画像の取得位置によって構成される多角形の内部をウォークスルーすることを可能にする．提案
手法のフローチャートを図 12 に示す．本手法では全方位画像センサの位置，姿勢，および全方位画像と入力画像間の対応点を入力とする．まず、任意の視点位置における全方位画像上の対応点の位置を算出する．次に得られた任意視点の対応点に対し三角形パッチを生成する．生成された三角形の頂点に対応する三角形
を各入力画像に対し求め，その三角形の画像を切り出す．そして視点の位置に基づいて重み付けを行い入力画像をブレンドし，任意の視点位置における全方位画像を生成する．最後に，生成された任意の視点位置における全方位画像をユーザの姿勢に基づき平面透視投影画像に変換し提示する．以下の節では提案手法についてさらに詳細に述べる．

図 11 提案手法の概念図

21





!"

 







図 12 提案手法のフローチャート

3.2 全方位画像センサによる画像取得
提案手法では , デジタルスチルカメラに搭載した全方位画像センサを用いる．撮影地点は図 11 で示したようにほぼ一定間隔に配置し撮影する．図 13(a) は Nikon

CoolPix990 に全方位画像センサを搭載した外観である．全方位画像センサは図13(b) に示すように，鉛直下向きに取り付けられた双曲面ミラーに写り込む像をその下部に取り付けたデジタルカメラで撮像するものである．ミラー部の双曲面には回転二葉双曲面を用い，図 13(b) に示すように二焦点 OM , OC が存在し，カメラのレンズ中心が OC に位置するように設置される．さらに，Z 軸を鉛直軸とする三次元世界座標系 (X, Y, Z) を考えると，双曲面ミラーの面，ミラー焦点 OM ，およびカメラのレンズ中心 OC は式 (1) で表せる (a, b, c は双曲面の形状を定義す
る定数).

22







OM
c b

Y

O
X

c

x

y

f OC

P  

(a) 外観(b) 光学系の構成
図 13 HyperOmni Vision

X2 + Y 2 Z2
− 2 = −1a2b
: (0, 0, +c)

ミラー曲面 :
ミラー焦点 OM

(1)

レンズ中心 OC : (0, 0, −c)√(c = a2 + b2 )また，内側の焦点 OM に集まる像は双曲面ミラーに反射して，外側の焦点 OC に集まる．ここで，OC にレンズ中心を置いたカメラで全方位の画像を撮影すると，双曲面の特性により，三次元空間中の点 P (X, Y, Z) と全方位画像上の写像点 p(x, y)の間には式 (2) の関係が成立する．

x=

Xf (b2 − c2 )

(b2 + c2 )(Z − c) − 2bc X 2 + Y 2 + (Z − c)2
(2)
2

y=

2

Y f (b − c )(b2 + c2 )(Z − c) − 2bc X 2 + Y 2 + (Z − c)223

(a) 全方位画像(b) 透視投影画像

図 14 全方位画像と透視投影画像

したがって，式 (2) により入力全方位画像をミラー焦点 OM から見た平面透視投
影画像に変換することも可能である [26]．HyperOmni Vision により得られる全方位画像の例を図 14(a) に示す．同図で示されるように，双曲面鏡の焦点 OM を中心とした周囲 360 °の画像を一度に撮影できる．この全方位画像は双曲面鏡の焦点 OM を中心とした双曲面上への１点中心投影像であるため，その一部を通常の平面透視投影像に変換することができる．図 14(a) の一部を変換して通常の平面透視投影画像を生成した例を図 14(b) に示す．この透視投影画像は，図 14(a) の全方位画像上の円弧と直線に囲まれた領域に対応している．この幾何学的変換は透視投影画像のすべての画素に対応する全方位画像上の対応点の位置を求めることにより行った．図 14(a) の全方位画像では凸面鏡をとおし 周囲 360 °の情報を獲得するため画像が歪んだものとなるが，図 14(b) の透視投影画像では歪みのな
い画像となっていることがわかる．

3.3 任意視点画像生成のための重みの導入
入力画像の撮影地点は図 11 で示した通り一定間隔で撮影し ，その撮影地点をDelaunay の三角形分割法 [27] により三角形分割し ，任意視点が含まれる三角形の各頂点の入力画像を用いて任意視点画像を生成する．本研究の目的は任意視

24

点における画像を生成してユーザに提示することであるが，任意視点における画像を生成する上でユーザに違和感なく提示するためにはユーザの視点位置が入力画像の取得位置と一致した場合，生成した画像が可能な限り入力画像に近い画像となる必要がある．そこで，提案手法では三次元中の点の位置推定と入力画像のブレンディングの際に視点位置に応じた重みを導入する．重みは任意視
点が入力画像の取得位置と一致した際には，生成される全方位画像と入力画像が一致するように決定する．撮影地点は既知であるものとし ，任意視点の位置
は撮影地点によって構成される三角形の内部に限定する．図 15 に入力画像の取得位置 P1 (x1 , y1), P2 (x2 , y2 ), P3 (x3 , y3) と任意視点の位置 Pv (Xv , Yv ) の関係を模式的に示す．ここで，任意視点の位置 Pv (Xv , Yv ) は w1 , w2 , w3 と入力画像の位置

P1 (x1 , y1 ), P2 (x2 , y2 ), P3 (x3 , y3) によって以下のように表わすことが可能である．
Xv= w 1 X1 + w 2 X2 + w 3 X3

Yv

= w1 Y 1 + w2 Y 2 + w3 Y 3(3)

ただし， w1 + w2 + w3 = 1
上の連立方程式を解くことにより得られる w1 , w2, w3 を重みとし，対応点の三次元位置の推定と入力画像のブレンド 処理の際に使用する．

25


P3 ( X 3 , Y3 )w3y w1



w2

V



Pv ( X v , Yv )P1 ( X 1 , Y1 )

P2 ( X 2 , Y2 )x
図 15 重みとセンサの位置関係

26

3.4 対応点の三次元位置の推定
三地点で取得された全方位画像上の対応点の座標 p1 (x1 , y1 ), p2 (x2 , y2), p3 (x3 , y3 )から，その三次元位置 T (X, Y, Z) を推定する．図 16(a) は全方位画像上の対応点の位置とセンサの投影中心とを結ぶ直線を上から見下ろした図であり，図 16(b)は推定される対応点の三次元位置の周辺を拡大表示したものである．全方位画像
上の対応点とセンサの投影中心とを結ぶ直線は量子化誤差などの影響により一般には一点で交わらない．そこで，これらの直線との距離の二乗和が最小となる点
を推定位置 T  とする．対応点の推定位置 T  を任意視点における全方位画像上へ再投影した場合，視点が撮影地点と一致していても再投影された対応点が撮影地
点の全方位画像上の対応点と一致するとは限らない．そこで，各直線 l1 , l2 , l3 上
で T  に最も近い点を T1 , T2 , T3 とし，以下の式により対応点の三次元位置 T を算出する．

T = w1 T1 + w2 T2 + w3 T3(4)

図 16(c) は点 T1 , T2 , T3 によってできる三角形に対し，重み w1 , w2, w3 を用いて三次元の位置 T を算出した過程を図示したものである．これにより，例えば任意視
点が入力画像 1 の撮影地点と一致した場合，T = T1 となり T を全方位画像上へ再投影すると入力画像 1 上の座標 p1 と一致する．

27



l2

l2

l1
l3

T1

p3 ( x3 , y3 )T2

p1 ( x1, y1 )



l1

T'

p 2 ( x2 , y 2 )

y

l3

T3



x

(a)

(b)

l2
T3
w3
w1 T1

l3
l1

w2

T

T2

(c)
図 16 センサと推定される対応点の位置関係 (a) と拡大図 (b)，及び重みを用いて算出した三次元位置 T (c)283.5 全方位画像上の対応点の算出
任意視点における全方位画像上の対応点の位置 pv (xv , yv ) は，前節で得られた対応点の三次元座標 T (X, Y, Z) を式 (2) に代入して全方位画像上へ再投影することにより算出する (式 (5) 参照)．このようにして対応点の全組合せに対し任意視
点における対応点の全方位画像上での位置を算出する．

xv =

Xf (b2 − c2 )

(b2 + c2 )(Z − c) − 2bc X 2 + Y 2 + (Z − c)2
(5)
2

yv =

2

Y f (b − c )(b2 + c2 )(Z − c) − 2bc X 2 + Y 2 + (Z − c)2

3.6 任意視点における画像の生成
任意視点における全方位画像の生成を行う上で，入力画像間の全ての画素に対して対応を求め，任意視点画像を生成することが理想ではあるが，処理が膨大となるため実時間で行うことは不可能である．そこで対応点によってできる三角形
内部のテクスチャをハード ウェア的にブレンド することにより擬似的に任意視点画像を生成する．求められた任意視点における対応点の位置より任意視点の画像を生成する手順を図 17 に示す．
図 17(a) は前節で得られた任意の視点位置における全方位画像上の対応点集合である．この対応点集合に対し ，Delaunay の三角分割法を適用し ，三角形パッチを生成する (図 17(b))．次に，入力画像に対し任意視点画像上で生成された三角形パッチの構成に基づいて任意の視点位置における全方位画像上の三角形と同じ形状に変形する．その様子を図 17(c) に示す．その後，各入力画像より得られた三角形の画像に対し ，重み w1 , w2 , w3 を用いてブレンド を行い，任意の視点位置における全方位画像を生成する (図 17(d))．このとき，ユーザの視点位置の移動に伴い毎回三角形パッチを生成し直すと三角形パッチの構成が変更されることとなり違和感が生じる原因になる．そこで，三角形パッチは入力画像の撮影位置によって構成される三角形の重心位置を任意視点として一度だけ三角形パッチを生成する．図 18 は Delaunay の三角分割を行い入力画像をブレンドした例であ29

る．最後に，生成された全方位画像からユーザの姿勢 (視線) に基づき図 17(e) に示すような各格子点を設け，各格子点に対応する全方位画像上の点の座標をソフトウェアにより正確に求める．各格子の中は使用したハード ウェアのテクスチャマッピング機能を利用することで線形補間による画像変形を行い，ビデオレート
で平面透視投影画像を生成し提示する [28]．

30



(b)

(a)







(c)
w1

w2

w3



(d)



(e)

図 17 対応点の三角形分割から透視投影画像を提示するまでの処理手順

31

図 18 ３枚の入力画像をブレンドし生成された全方位画像の例

32

4. 実験
提案手法の有効性を確認するために，複雑な形状が多数存在し，主な対象物体が近景に存在する屋内環境と主な対象物体が遠景に多く存在する屋外環境の双方で実験を行った．屋内環境では提案手法の評価実験，任意視点における両眼立体
視可能な画像を生成する実験，また，実時間でウォークスルーを行う実験を行った．屋外環境では撮影地点を徐々に離していき，任意視点画像を生成する際に生じる歪みについての実験を行った．これらの実験では先に図 13(a) に外観を示した
デジタルカメラ (Nikon CoolPix990) を利用した HyperOmni Vision を使用した．
この HyperOmni Vision の仕様を表 2 に示す (a, b, c は双曲面の形状を定義する定数，f は焦点距離，Ox, Oy は全方位画像の中心座標)．

表 2 本研究で使用した HyperOmni Vision の仕様

a

27 mm

b

38.5 mmc

47.6 mmf

1200 pixel

Ox

500 pixelOy390 pixel

画像の大きさ1024 × 768 pixel

撮像素子

1/1.8 インチ CCD

4.1 屋内環境における実験
4.1.1 評価実験
提案手法によって生成された任意視点画像の品質を評価するために，生成された任意視点画像と実際に撮影された画像とを比較する実験を行った．図 19(a) は実験に使用した屋内環境を上から図示したものである．図 19(b) は図 19(a) の撮

33

影地点周辺を拡大表示したものである．図 19 で示す 4 地点 (1〜4) で撮影を行い，このとき撮影した 4 枚の入力画像を図 20 に示す．屋内環境ではセンサ付近に対象物体があることから可能なかぎりオクルージョンが生じないように撮影地点を1m 間隔の格子点上にセンサを配置し撮影を行った．
まず，比較用の画像として，図 19(b) の A 地点〜F 地点 (20cm 間隔) で実際に全方位画像を取得した．次に，A 地点〜F 地点の各視点位置で提案手法により図20 の入力画像から全方位画像を生成し ，透視投影画像を生成した．生成された全方位画像を図 21(a) に示し，透視投影変換した画像を図 21(c) に示す．そして，実際に取得された比較用の全方位画像を図 21(b) に示し，取得された全方位画像(図 21(b)) から透視投影変換した画像を図 21(d) に示す．ここで，使用する全方位
画像および対応点の組合せは手動で 120 点与えた．実験より A 地点から F 地点における全方位画像は PC(CPU：Pentium4 Xeon 1.7GHz Dual,Memory：2GB) を用い，平均 0.1 秒で任意視点の透視投影画像を生成することができた．実験結果
から，面の構成が単純で対応点の与えやすいモニタやポスタは画像が歪んでおらず，奥行き関係を正しく表現できているのがわかった．しかし，結果画像の右下に見える円形のテーブルは対応点が与えられなかったため，歪みが大きく違和感が生じてしまった．

34

1



1

A

2

2

B
3

C

4

D



1m

E

3

 (a)

F

1m

4

(b)

図 19 評価実験の環境：(a) 入力画像のセンサ位置，(b) 任意視点画像の生成位置35

撮影地点 1

撮影地点 2

撮影地点 3

撮影地点 4

図 20 屋内環境での実験に使用した入力画像

36

A

B

C

D

E

F
(a)

(b)

(c)

(d)

図 21 評価実験：(a) 提案手法により生成された全方位画像，(b) 実際に撮影した全方位画像，(c) 生成された全方位画像を透視投影変換した画像，(d) 実際に撮影した全方位画像を透視投影変換した画像

37

4.1.2 任意視点での両眼立体視画像の生成実験
次に，提案手法により両眼立体視が可能な任意視点画像を生成する実験を行った．図 22(a) は実験に使用した屋内環境を上から図示したものである．図 22(b)は図 22(a) の撮影地点周辺を拡大表示したものである．提案手法により任意視点
画像を生成する際に使用した入力画像は評価実験で用いた図 20 の 4 枚の画像である．実験では任意視点の移動経路を図 22(b) の A 地点 (撮影地点 2) から G 地点

(撮影地点 3) までとし，使用する全方位画像および対応点の組合せは前節ものと同じものを用いた．
実験により生成された A 地点から G 地点までにおける画像を図 23 に示す．A 地
点から G 地点における全方位画像は PC(CPU：Pentium4 Xeon 1.7GHz Dual,Memory：

2GB) を用い，任意視点において平均 0.1 秒で単眼の透視投影画像を生成することができた．任意視点画像を生成する際に使用した入力画像は A 地点〜D 地点までは撮影地点 1,2,4 の画像を使用し，E 地点〜G 地点までは撮影地点 1,3,4 の画像を使用した．実験結果から，A 地点と G 地点 (撮影地点 2 と 3) では出力結果が入力画像と一致した．また，B 地点から F 地点においては運動視差に加え立体視可
能な画像も得られることを確認した．しかし，A 地点から G 地点までの連続的に生成された画像を見たとき，入力画像が切り替わる D 地点においては三角形パッチの構成が大きく変化してしまい不連続感を感じた．また，B 地点から F 地点に共通して，オクルージョンにより対応点が与えられない箇所や撮影対象がセンサに近すぎ る場合は歪みが大きくなり正しい画像が生成されなかった．

38

1



1

2

3

4

2
A
B
C
D

1m

E



F

3G

 (a)

1m

4

(b)

図 22 任意視点での両眼立体視画像の生成実験の環境：(a) 実験環境を上から見下ろした図，(b) 撮影地点周辺の拡大図

39

A

B

C

D

E

F

G
(a)

(b)

(c)

図 23 任意視点における両眼立体視画像の生成実験の結果：(a) 生成した全方位
画像, (b) 進行方向の画像, (c) 進行方向の右側の画像

40

4.1.3 ウォークスルーの実験システムの実時間性と自由な視点移動が行えるかを確認する実験を行った．屋
内環境ではオクルージョンが生じ易く，主な撮影対象が近景に存在することから撮影地点を 1m 間隔の格子点上に配置し撮影を行った．また，センサを物理的に配置できない場所では，底辺 1m ×高さ 1m の二等辺三角形を構成するようにセンサを配置し，実験を行った．撮影地点を図 24 の格子点 1〜20 で示す．また取得した全方位画像は付録 A に添付する．さらに，撮影地点により構成される三角形
は図 24 の通りとし，各入力画像間の対応点は手動で与えた．視点の移動経路は A
地点〜J 地点を通る太い実線で表される経路である．また，透視投影変換を行う
際の視線方向の向きは矢印の方向である．実験により得られた A 地点〜J 地点における全方位画像と透視投影画像を図 25，図 26 に示す．図 25，図 26 の (a) は現
実環境のマップとその環境内における利用者の位置と視線方向を示している．図25，図 26 の (b) は各地点において生成される全方位画像であり，(c) は (a) に示した視点位置と視線方向の情報から全方位画像を透視投影変換した画像である．実験結果から，前後左右という制約なしに自由に視点移動が可能であることがわかる．また，実行時に平均 10fps(frame/sec) で透視投影画像が利用者に提示されていたことから実時間性が実現できていることも確認した．

41

4m

1

2

3

H

G

J

I
5 F

6



7

E
9

10
D

5m

11

C

12

B
13

14

A 15

16

18

19

20


17


図 24 屋内環境のウォークスルー実験

42

4

8

A

B

C

D

E
(a)

(b)

(c)

図 25 屋内環境のウォークスルー実験の結果画像：A〜E 地点

43

F

G

H

I

J
(a)

(b)

(c)

図 26 屋内環境のウォークスルー実験の結果画像：F〜J 地点

444.2 屋外環境における実験
遠景に対象物が多く存在する屋外環境において，撮影地点を 1m 間隔で離して撮影を行い，任意視点画像を生成する実験を行った．図 27(a) は実験に使用した
屋外環境を上から図示したものである．図 27(b) は図 27(a) の撮影地点周辺を拡大表示したものである．撮影地点 1,2,3 によって構成される底辺と高さが 1m の三角形を三角形 A とし，撮影地点 4,5,6 によって構成される底辺と高さが 2m の三角形を三角形 B，撮影地点 7,8,9 によって構成される底辺と高さが 3m の三角形を
三角形 C とする．そして，図 27(b) に×印で示す三角形 A の重心位置を三角形 A
での画像を生成する視点とする．同様に三角形 B,C の画像を生成する視点位置も三角形 A の重心位置とする．図 27(b) に×印で示す地点は三角形 B の重心位置であるが，三角形 C に関しては重心位置ではない．しかし，同一地点を任意視点として画像を生成し，比較する必要があるため三角形 A,B,C ともに同一の地点を視点位置とした．各三角形 A,B,C について三角形の頂点 1〜9 で撮影した全方位画
像より任意視点画像をそれぞれ生成した．撮影地点 1〜9 における入力画像を図28 に示し，生成された全方位画像および，透視投影画像を図 29 に示す．透視投
影画像を生成する際の視線方向は，図 27(a) のアとイの矢印で示す．矢印アの方
向は対象物の構造が単純で対応点を容易に与えることができ，矢印イの方向は自然物が多く対応点を与えることが困難であった方向である．図 29A,B,C はそれぞれ三角形 A,B,C によって生成された画像である．図 29(a) は任意視点で生成された全方位画像である．図 29(b) は図 27(a) のアの方向を向いた透視投影画像であり，図 29(c) は図 27(a) のイの方向を向いた透視投影画像である．図 29(b) から，対象物の面の構成が単純ものは撮影地点が離れても歪みが少なく違和感が生じなかった．しかし，図 29(c) より，対象物の形状が複雑で対応点を与えるのが困難な場合は撮影地点が離れるに従い，歪みが大きくなりすぎて違和感が生じてしまうことを確認した．

45

9

2m
5



3

1 1m
7

2

4

8

3m

(a)

(b)

図 27 実験に使用した屋外環境の模式図と撮影地点

46

3m

1m

2m



6

撮影地点 1

撮影地点 2

撮影地点 3

撮影地点 4

撮影地点 5

撮影地点 6

撮影地点 7

撮影地点 8

撮影地点 9図 28 屋外実験に使用した入力画像

47

(a)

(b)

(c)

A

B

C

図 29 屋外環境において生成された全方位画像と透視投影画像

48

5. 考察評価実験により，容易に対応点を与えられる場合は提案手法によって生成される画像は歪みが少なく，奥行き関係も正しく表現されていることを確認した．しかし，対象物体の形状が複雑であったり，オクルージョンにより対応点を与えるのが困難な場合は大きく画像が歪んでしまい違和感が生じた．また，対象物体がセンサ位置に近過ぎ る場合も同様に歪みが大きくなり違和感が生じてしまった．
また，任意視点での両眼立体視画像の生成実験から任意視点が撮影地点と一致した場合は出力結果の単眼画像が入力画像と一致したことを確認し，任意視点画像を生成することにより運動視差に加え立体視可能な画像も得られることを確認した．しかし，連続的に生成された画像を見たとき，使用する入力画像が切り替わる地点においては三角形パッチの構成が大きく変化してしまい不連続感を感じた．
ウォークスルー時に撮影地点により構成される三角形の辺上を通過する場合は，対応点の構成と入力画像の構成が大きく変化するため不連続感は大きかった．また，撮影地点上を通過するときは対応点の構成と入力画像の構成が大きく変化するものの，一旦入力画像と一致するため，先ほどの場合に比べると不連続感は小さかった．この任意視点位置によって入力画像が切り替わった際に生じる不連続感は対応点の組を徐々に変更することにより解決されると考えられる．対応点を徐々に変更するためのアルゴ リズムは検討中である．
最後に屋外実験より対象物が遠景に存在し，かつ対象物を構成する面の構造が単純で対応点が容易に与えられる場合は，撮影地点を離しても歪みの少ない画像を提示できると考えられる．しかし，複雑な自然物が多くオクルージョンなどで対応点が与えられない場合は対象物が遠景にあっても歪みが大きくなるため，撮影地点を細かくしなければならない．対応点が与えられない場合の問題を解決す
るには，対応点が与えられない場合でも入力画像より対象物を抽出し，奥行き関係に基づいて仮想環境内に再配置する３次元レ イヤの手法を全方位画像に適用することにより解決できると考えている．この手法が実現できれば，撮影地点をさらに離しても歪みの少ない任意視点画像を生成することが可能になり，仮想物体の表示や配置なども可能になると考えている．

49

6. まとめ
本論文では，利用者にとって自由な視点位置で見回わすことが可能で，かつ広範囲にわたってウォークスルー可能なシステムの構築を目的として，複数地点で撮影した全方位画像とそのセンサ位置の情報から任意視点の全方位画像を生成し，
平面透視投影画像に変換してユーザに提示することにより，ウォークスルー環境を構築する手法を提案した．実験により生成される任意視点画像は実際に取得される画像に近いものであり，満足に対応点が与えられれば，歪みの少ない任意視
点画像を利用者に提示できることを確認した．また，平行な複数の移動経路を同時に計算することにより，立体視可能な画像を生成することも可能であった．屋外実験から，対象物の構成が単純で遠景にある場合は撮影地点を離しても歪みが生じないが，対象物が複雑になり対応点が与えられない場合は歪みが大きくなってしまうことも確認した．また，撮影対象がセンサに近過ぎる場合やオクルージョンによって対応点が与えられない場合も同様に，生成した画像の歪みが大きくな
り違和感が生じた．任意視点画像の歪みを減少させるためには撮影地点を細かく設定するか，細かく設定できない場合でも歪みの少ない任意視点画像の生成手法を開発することが必要である．そして，ウォークスルーの実験結果から，利用者がゆっくりと視点移動を行った場合，入力画像の組合せが切り替わる地点において Delaunay の三角分割法で形成される三角形パッチの構成が大きく変更されてしまい違和感が生じることも確認された．この問題は対応点の組合せを視点位置によって徐々に変更することによって解決できると考えられる．
今後の課題としては，視点位置によって対応点を徐々に変更するアルゴ リズムの開発，周辺色情報やコンピュータビジョンの手法を用いた対応点の自動探索，
奥行き関係に基づいて物体を抽出し再配置する３次元レ イヤの手法の適用などが挙げられる．対応点の自動探索の手法としては，３枚の入力画像からエッジの交点などを特徴点として抽出し，各入力画像中の特徴点と各センサの投影中心とを結ぶ３次元空間中の直線を算出し，その３本の直線との距離の二乗和が最小となる点を算出する．そして，その点と３本の直線との距離の和が最小となる組合せを全探索などにより算出し，その組合せより対応点として決定する方法などが考えられる．また，テクスチャのブレンド 処理に必要な計算コストを削減し，レン50

ダリング処理を高速化することによってリアルタイムで両眼立体視可能なシステ
ムへ改良することも考えられる．

51

謝辞
在学中に大変貴重な体験をさせていただき，また本研究を進めるにあたり終始
暖かく御指導を頂いたソフトウェア基礎講座 横矢 直和 教授に厚く御礼申し上げます．副指導教官として御助言を頂いたロボティクス講座 小笠原 司 教授ならびに大阪大学 サイバーメディアセンター 竹村 治雄 教授に深く感謝致します．本研究への御助言や研究環境の整備に御協力を頂いたソフトウェア基礎講座 山澤 一
誠 助手に深く感謝いたします．多くの御助言を頂いたソフトウェア基礎講座 佐藤 哲 氏，神原 誠之 氏, 松宮 雅俊 氏, 町田 貴史 氏, 佐藤 智和 氏, に深く感謝いたします．貴重な時間を割いて，実験を手伝ってくださったソフトウェア基礎講
座 池田 聖氏，江藤 誠彦氏，森田 真司氏に深く感謝いたします．一年間ではありましたが，お世話になった後輩方に心より感謝申し上げます．また，日々の研究
活動を支えてくださったソフトウェア基礎講座 事務補佐員 北川 知代女史に感謝いたします．

52

参考文献[1] 田村 秀行, 大田 友一， 複合現実感 , 映像情報メディア学会誌, vol.52, no.3,
pp.266-272, 1998.
[2] http : //www.digitalcity.gr.jp/openlab/kyoto/3dml_guide_j.html[3] D.Miyazaki, T.Ooishi, T.Nishikawa, R.Sagawa, K.Nishino, T.Tomomatsu,
Y.Takase, K.Ikeuchi,

The Great Buddha Project: Modelling Cultural Her-

itage through Observation , 6th International Conference on Virtual Systems
and Multimedia, pp.138-145, 2000.
[4] 納富 幹人, 小澤 史郎, 全 炳東,

移動体観測による都市モデル構築

情報通信学会論文誌 D- , Vol.81-D-, 電子

No.5, pp.872-879, 1999

[5] 佐藤 智和, 神原 誠之，横矢 直和, 竹村 治雄, 視点位置推定による動画像
からの屋外環境の三次元モデル化 , 画像電子学会第 190 回研究会講演予稿,

pp.49-55, 2001.
[6] T.Kanade, P.Rander and P.J. Narayanan,

Virtualized Reality: Construct-

ing Virtual Worlds from Real Scenes , IEEE Multimedia, vol.4, No. 1, pp.
34-47., Jan., 1997.
[7] S.E.Chen and L.Williams, View Interporation for Image Synthesis , Proc.
SIGGRAPH 1993,pp.279-288, 1993.
[8] S.M.Seitz, and C.R.Dyer, View Morphing , Proc. SIGGRAPH 1996, pp.2130, 1996
[9] 加藤 浩二, 石黒 浩，マシュー バース， Town Digitizing -全方位カメラとGPS による実時間街モデリング - , 情報処理学会研究会報告 CVIM, vol.125,
pp.111-118, 2001.
[10] M.Levoy and P.Hanrahan,Light Field Rendering , Proc. SIGGRAPH

1996, pp.31-42, 1996
53

[11] S.J.Gortlar, R.Grzeszczuk, R.Szeliski and M.F.Cohen, The Lumigraph ,ibid., pp.43-54, 1996[12] 苗村 健, 柳澤 健之, 金子 正秀, 原島 博,

光線情報による３次元実空間の効率的記述へ向けた光線空間射影法 , 電子情報通信処理学会技術研究報告 IE

95-119, 1996[13] 山口晃一郎，山澤一誠，竹村治雄，横矢直和, 全方位動画像を用いた両眼ス
テレオ画像の実時間生成によるテレプレゼンス , 電子情報通信学会論文誌(D- ),Vol.84,No.9, pp.2048-2057,2001.
[14] T.Takahashi, H.Kawasaki, K.Ikeuchi, and M.Sakauchi, Arbitrary View Position and Direction Rendering for Large-Scale Scenes , Proc. IEEE Conf.
on Computer Vision and Pattern Recognition, Vol.2, pp.296-303,2000.
[15] D.G. Aliga and I.Carlborm, Plenoptic Stitching: A Scalable Method for Reconstructing 3D Interactive Walkthroughs , Proc. SIGGRAPH 2001,pp.443450, 2001.
[16] 正司 哲朗, 安田 一樹, 岡田 至弘,
ルの構築

３視点パノラマ画像提示による情景モデ, 画像の認識・理解シンポジウム MIRU2000 講演論文集 , pp.

-91-96, 2000
[17] J.Shimamura, H.Takemura, N.Yokoya, K.Yamazawa, Construction and Presentation of a Virtual Environment Using Panoramic Stereo Images of a Real
Scene and Computer Graphics Models , Proc. 15th Int. Conf. on Pattern
Recognition, Vol.4, pp.463-467,2000.
[18] 広瀬通孝, 渡辺真二郎, 谷川智洋, 遠藤隆明, 実写画像を用いた広域仮想空間構
築における画像生成手法の研究 , Human Interface News and Report,vol.13,

pp.173-178, 1998.
[19] http://www.web3d.org/

54

[20] http://www.ﬂatland.com/
Eigen-texture method , Proc. IEEE

[21] K.Nishino, Y.Sato, and K.Ikeuchi,

Conf. on Computer Vision and Pattern Recognition, pp.618-622, June 1999[22] 松井明, 佐藤宏介, 千原國宏， 多光源画像の KL 展開と環境観測に基づく実照明と仮想照明の複合 ，電子情報通信処理学会技術研究報告 PRMU97-324,

pp.29-36 1997.
[23] 寺薗 浩平, 眞鍋 佳嗣, 佐藤 宏介, 井口 征士， IBR における影の表現 ，画像の認識・理解シンポジウム MIRU2000 講演論文集 , pp.

-101-106, 2000

[24] E.H.Adelson and J.R.Bergen, The Plenoptic Function and the Elements of
Early Vision , in Computational Models of Visual Processing (Landy andMovshon, Eds.), MIT Press, pp.3-20, 1991
[25] L.McMillan and G.Bishop, Plenoptic Modeling: An Image-Based Rendering
System , Proc. SIGGRAPH 1995, pp.39-46, 1995
[26] 山澤一誠，八木康史，谷内田正彦, 移動ロボットのナビゲーションのための全方位視覚系 HyperOmni Vision の提案, 電子情報通信学会論文誌 (D-),Vol.J79-D- ,No.5, pp.698-707,1996.
[27] P.Heckbert Ed., Graphics Gems

, pp.47-59, Academic Press, 1994.

[28] 山澤一誠, 尾上良雄, 横矢直和, 竹村治雄, 全方位画像からの視線追従型実時
間画像生成によるテレプレゼンス 電子情報通信学会論文誌 (D-,5,pp.880-887,1998.

55),J81-D-

付録

A. 屋内環境のウォークスルー実験に使用した
入力データ

撮影地点 1

撮影地点 2

撮影地点 3

撮影地点 456

撮影地点 5

撮影地点 6

撮影地点 7

撮影地点 8

撮影地点 9

撮影地点 1057

撮影地点 11

撮影地点 12

撮影地点 13

撮影地点 14

撮影地点 15

撮影地点 1658

撮影地点 17

撮影地点 18

撮影地点 19

撮影地点 20

図 30 ウォークスルー実験で使用した入力画像

59