 

修士論文

光線方向を考慮した奥行き情報の選択による全方位動画像からの自由視点画像生成

越澤 広幸

 年 月 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 工学 授与の要件として提出した修士論文である。
越澤 広幸

審査委員：
横矢 直和 教授

（主指導教員）加藤 博一 教授

（副指導教員）山澤 一誠 准教授

（副指導教員）佐藤 智和 助教

（副指導教員）光線方向を考慮した奥行き情報の選択による全方位動画像からの自由視点画像生成
越澤 広幸

内容梗概
屋外環境を仮想化し計算機上に再現する技術は，遠隔テレプレゼンスや景観のディジタルアーカイブ，エンターテインメント等，様々な分野への応用が期待されている．現在，屋外環境を仮想空間内に再現するための手段として，人手によって  データを作成した上で実写によるテクスチャマッピングを行う手法が広く用いられている．しかし，広範囲の屋外環境を対象とした場合には，多くの人的コストがかかることが問題となっている．そこで，予め取得した画像群を利用して屋外環境の仮想化を自動化する試みとして，仮想化の対象となる環境を単一の三次元モデルとして再現する   法や，取得した画像群から任意の視点の画像を直接生成する   法が提案されてきた．しかし，前者の手法では，単一の三次元モデルとして再現することが難しい樹木のような複雑な形状を持つ物体の幾何情報を正確に推定することが困難であり，それに加えてオクルージョンにより遮蔽される領域に欠損が生じるため，写実性が損なわれるという問題がある．また，後者の手法では，入力画像を変形させることで新たな視点の画像を生成するため，前者に比べて視点の移動に伴って発生する幾何学的な歪みが大きく，入力として用いる画像の撮影範囲に対して，高品位な画質を保ちながら移動できる範囲が狭いという問題がある．
このような問題に対して，本研究では任意に設定した視点位置に応じて適切な形状に変形する三次元メッシュモデルを用いて自由視点画像を生成する手法を提案
 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文






年 月

日





する．提案手法では，仮想化現実空間を幾何学的に正しく描画可能である 法を基礎とすることで， 法の問題であった視点移動に伴う生成画像上での幾何学的な歪みを抑制する．また， 法のように単一のモデルを生成せず，視点位置に応じて変形する三次元形状モデルを逐次生成することで，  法の問題であったモデル上の欠損を解消し，画質の向上を図る．実験では，全方位マル
チカメラシステムによって実環境を撮影した全方位動画像を入力として用い，自由視点画像生成を行うことにより，撮影範囲に対して比較的広範囲な視点移動が可能な仮想環境内でのウォークスルーを実現できることを示す．

キーワード
自由視点画像生成 全方位動画像 奥行き画像                    
    !  "#  !  $ % %& ! ' $# (  ) * % %& ! !   !& + $ ,,"     )  !  $ %&,!   ! #. '   '/ (  $ !! %!) 0 !  !    !   $ %&,!  ! #. "!. $ ",!'  !+ ! % 1! %&,!) 2&% !  !  %  ,#)  !  $ ,," "!'"! (  $! %  ! !  "' #. ""'    ( "!'"!)  !  !! ,,"  $ %&,!  . !! &  !  %&,!  ! $ $ !  ",!' ,! $!  ,'! )   ! % !  ,# & '  $# (   "!  !  !  $ %&,! ) !  ,, !  !  (   $ #. ' !  ,!!"! ,! , ! !  "! #  !  ,!  ,!'
$ !  $ %&,!) 0' ,,"  #". #  !   ,,"! ! "  !  !". ""! %!'3 &) 2&% & 4!
'   '/ (  ! % !   ,#)  !  5,!
  
""   

 !  "" ! "#  

"#$ %&! $ %&,!   ! $ "!  ",!' #.
 "! '!" .! !  & !  $#!. $ !  ,,!  $ !  &+! ' ,,"!  !  %!'3 %!)% %& ! 0"! % ,! ,

%

目次

 はじめに 自由視点画像生成の関連研究と本研究の位置付け

)

自由視点画像生成に関する従来研究)

本研究の位置付けと方針) )  ) )  
) )( 2.# 

 光線方向を考慮した奥行き情報の選択による自由視点画像生成()()

入力情報の取得() )() )カメラ位置・姿勢情報の推定
奥行き情報の推定

の生成

()()
()()
()()(
()()

)

7
7

6

エネルギー関数の定義
奥行き画像の選択
メッシュモデルの初期化
エネルギー最小化によるメッシュモデルの変形

メッシュモデルへのテクスチャのマッピング

 実験
)



自由視点画像生成手法の概要()( エネルギー最小化による視点位置に応じた三次元メッシュモデル

()

(
(
6



全方位動画像からの自由視点画像生成実験))))

入力情報の取得
自由視点画像生成

考察

7
7
(
(7



 まとめ
%

謝辞



参考文献



%

図目次
レーザレンジファインダを用いた三次元モデルの復元結果 8(9
不特定多数の人物が撮影した画像群からのステレオ法 8(:& , 8 99



平面の集合によって近似的に三次元形状を復元する手法 8( 9
本手法による自由視点画像生成の流れ

7

6

三次元メッシュモデルの初期設定

6

メッシュモデルの各頂点の座標
エネルギーの算出に用いる変数

各頂点に対する光線と撮影カメラ位置からの距離

視点移動後のメッシュモデルの変形(

視点移動後の奥行き  の探索範囲(

メッシュモデルの三角形パッチ ; と三頂点
全方位型マルチカメラシステム <.#'

入力として用いた全方位動画像の フレーム7

* 法によって推定されたカメラ位置・姿勢
6

マルチベースラインステレオ法により推定された全方位奥行き画
像の一例


6


ドロネーの三角形分割法により補間された全方位奥行き画像の一例
自由視点画像の生成視点位置・視線方向
ルート  における自由視点画像
ルート  における自由視点画像

ルート  における自由視点画像に対応する奥行き画像
ルート  における自由視点画像に対応する奥行き画像

%

(
(
((
(
(

表目次
自由視点画像の生成手法の比較
本実験のパラメータ(

使用した計算機のスペック
自由視点画像の生成にかかる処理時間

%

(
(
(

 はじめに実環境を仮想化し計算機上に再現する技術は仮想化現実 '! :!'!.
と呼ばれ，遠隔テレプレゼンスや景観のディジタルアーカイブ，エンターテインメ
ント等の様々な分野で応用が期待されている．このような応用分野において，ユー
ザは仮想空間内で自由に視点位置・視線方向を変えることによって，計算機上に再現された実環境を体験することができる．従来から，実環境を仮想空間内に再現するための手段として，人手によって建物の三次元形状を  データとして作成した上で，実写によるテクスチャマッピングを行う手法が最も広く用いられてきた．
しかし，広範囲の実環境を対象とした場合には，このようなモデリングの作業に多くの人的コストがかかることが問題となっている．そこで，予め取得した画像群を利用して屋外環境の仮想化を自動化する試みが多くなされている．代表的な手法として，仮想化の対象となる実環境を多数の地点で撮影し，取得された画像群から三次元復元によって仮想環境を再現する   法 以下，

 法 8   (   7  6     (   7  6    9や，取得された画像群から撮影環境を三次元復元することなく，画像の変形・合成により任意の視点の画像を直接生成する   法 以下，
法8 (

  7  6  (9 が研究されてきた．しかし， 法では，復元した三次元空間内で視点・視線方向を自由に設定することができる反面，単一の三次元モデルとして再現することが難しい樹木のような複雑な形状を持つ物体の幾何情報を正確に再現できず，それに加えてオクルージョンにより遮蔽される領域にモデルの欠損が生じるため，写実性が損なわれるという問題がある．これに対して， 法では幾何情報を直接用いないため，複雑な形状の物体に対しても実物体に近い見え方を再現することが可能であるが，入力画像を変形させることで新たな視点の画像を生成するため，  法に比べて視点の移動に伴って発生する幾何学的な歪みが大きく，写実性を保ったまま自由に広範囲を移動するア
プリケーションに応用することは難しい．また， 法と  法を共に利用する 2.#  法 8(  (  ((9 も提案されているが，各手法を線形的に結合したものが多く，根本的な問題の解決には至っていない．
このような問題に対して，本研究では任意に設定した視点位置に応じて適切な形状に変形する三次元メッシュモデルを用いて自由視点画像を生成する手法を提案する．提案手法では，仮想化現実空間を幾何学的に正しく描画可能である 法を基礎とすることで， 法の問題であった視点移動に伴う生成画像上での幾何学的な歪みを抑制する．また， 法のように単一のモデルを生成せず，視点位置に応じて変形する三次元形状モデルを逐次生成することで，  法の問題であったモデル上の欠損を解消し，画質の向上を図る．具体的には，入力として用いる複数の画像に対してあらかじめ推定された奥行き情報の整合性に関するエネルギー関数を設定し，視点の前面に設定したメッシュモデルの各頂点を，エネルギーが最小となる地点に移動させることで，視点位置に応じた最適なモデルを作成する．最後に，生成したメッシュモデルに対して，視線方向を表す直線に最も近い地点からの画像をテクスチャマッピングすることで自由視点画像を生成する．ただし，本研究では仮想空間内での任意な見回しと視点位置に応じた最適な三次元モデルの生成を実現するために，実環境を全方位型マルチカメラシステ
ムを用いて撮影し，全方位カメラの運動パラメータと全方位画像に対する奥行き
画像を既存の手法によって推定した後に入力として用いる．実際には，撮影した画像群に対して !'"!' $ ! 法 8

9 を適用することで全方位カメラの運動パラメータを推定し，更にマルチベースラインステレオ法 8 (9 を用いて各撮影画像に対応する奥行き画像を生成する．
以下，第 章では，自由視点画像の生成手法に関する従来研究と本研究の位置付けについて述べる．第 ( 章では，視点位置に応じて適切に変化するメッシュモ
デルを用いた全方位動画像からの自由視点画像生成の手法について詳述する．第章では，提案手法を用いて，屋外環境において任意の視点の見回し・移動を行った際の自由視点画像を生成した結果を示す．最後に第 章で，まとめと今後の展望を述べる．

 自由視点画像生成の関連研究と本研究の位置付け
本章では，仮想空間内でユーザが任意に設定した視点位置・視線方向に対応する画像を生成する自由視点画像生成手法の関連研究について概観するとともに，本研究の位置付けを述べる．

 自由視点画像生成に関する従来研究
現在までに提案されている自由視点画像の生成手法は，対象環境の三次元形状を用いることで自由な視点位置・視線方向の画像を生成する  法，対象環境を明示的に三次元復元することなく画像の変形・合成により自由視点画像を生成する  法，それらの手法を組み合わせた 2.#  法に大別される．以下では，これら ( つの手法について詳述する．

    
 法では，自由視点画像を生成するために対象環境の三次元形状を直接用いる．この手法では，対象環境の幾何学的な構造が再現されるため，視点・視線方向の設定を 7 自由度 位置 ( 自由度・姿勢 ( 自由度 で設定でき，また視点移動に伴う物体の奥行き関係の再現が可能である．また，仮想化された環境内に他の物体を追加表示したり，環境内の物体の配置を変更することが容易であるという特長がある．ただし， 法で高品位な自由視点画像を生成するためには，対象環境の三次元形状を精度よく計測する必要がある．仮想化の対象となる環境の三次元形状を取得するための方法としては，撮影対象に積極的に電磁波を照射することで対象の形状を計測する能動的な方法と，対象環境への働きかけは行わず，撮影した画像群から画像処理によって三次元形状を推定する受動的な方法の つが存在する．どちらの手法においても，一度に三次元復元可能な範囲は限られているため， 地点のみから対象環境を完全に計測することはできない．従って，一般的には対象環境全体の三次元形状を取得するために，部分的に計測された三次
元形状の位置合わせを行う必要がある．以下では，対象環境の部分形状に関する
能動的，受動的な三次元復元手法およびその位置合わせの手法について述べる．

(

能動的な三次元復元手法!

能動的な三次元復元手法は，スリット光を用いた三角測量による手法と，光レーザの飛行時間測定による手法に大別される．
スリット光の三角測量による手法

スリット光の三角測量による手法では，プロジェクタ等によってスリット光を対象に照射し，近接する位置に設置したカメラ
でスリット光の位置を検出し，三角測量の原理によって対象環境の三次元形状を
奥行き画像として取得する 8 

9．三角測量による計測では，スリット光を照射するプロジェクタとカメラの間の距離 ベースライン と，カメラと対象までの間の距離の比によって計測精度が決まり，対象までの距離に対して比較的容易にベースラインを長く設定できる小物体に対しては高精度でその三次元形状を推定できるという特長がある．その反面，屋外等の広域環境を対象とした場合には，ベースラインを十分に確保することが困難であり，また屋外では日照条件によってス
リット光の観測が困難となる問題も加わって，対象環境の三次元形状を高精度に推定することは難しい．
光レーザの飛行時間測定による手法 光レーザの飛行時間測定による手法では，対象環境に光レーザを照射することによって，光が反射して計測されるまでの時
間 ! $ = ! を計測することでレンジデータを取得する．このような光レー
ザを二次元走査することで，レンジデータを奥行き画像として取得することが可能である．一般的に，レーザの反射強度が一定以上であれば屋外のような広域環
境においても高精度なレンジデータを取得することが可能である．一般に取得されたレンジデータは対象環境の部分形状であるため，複数地点で取得されたレンジデータの幾何学的な位置合わせを行う手法が多数提案されている 8( 9．これらの手法では，レンジデータの位置合わせを行うために重複して計測された領域が必要となるため，計測地点を密にする必要がある．しかし，一般的なレンジ
ファインダでは，各地点の計測において数分程度の計測時間が必要となるため，計測コストを考慮すると計測地点を密にすることは難しい．このため，オクルー
ジョンが発生しやすい複雑な環境では，計測地点の粗さによる計測漏れが発生しやすく，図 のようにモデルの欠損が生じてしまうという問題を抱えている．

図

レーザレンジファインダを用いた三次元モデルの復元結果 8(9

受動的な三次元復元手法!

受動的な三次元復元手法は，対象環境を撮影した一枚または複数枚の画像を用いて，画像処理によって三次元形状の復元を行う手法である．この手法は，一般的なカメラの他に，一度に全方位の画像を取得できる全方位カメラを入力機器として用いることもできるため，比較的短時間で入力データを取得できるという特長がある．受動的な三次元復元手法としては，陰影による手法，視体積交差法，ステレオ法，レンズ焦点法，特徴点の追跡による手法等がある．以下では，これ
らの各計測手法について述べる．
陰影による手法

陰影による手法は，撮影対象の陰影画像を取得し，撮影対象の反射特性や光源情報を用いて三次元形状の復元を行う手法である 87 9．この手法では，任意の点の奥行きを与えることで，画像上のすべての点の奥行き値を得ることができる．また，対象環境に関する滑らかさの制約条件などを用いることで比較的精度の良い復元を行えるという特長がある．しかし，陰影による手法は，暗室のような光源状況を任意に設定できる環境でしか利用できないため，光源環

境が複雑な屋外環境の三次元復元に用いることは困難である．
視体積交差法

視体積交差法は，対象の輪郭情報を用いる手法である．この手法

では，撮影時のカメラ位置・姿勢を既知とし，輪郭情報を空間に投影して得られる錐体 視体積 の内側に対象が含まれるという仮定の下に対象物の三次元形状を取得する 86 9．視体積交差法では，視体積の交差する領域を用いて三次元形状の復元を行うため，物体の凹み部分など，輪郭として現れない形状を復元することはできない．そのため，屋外環境のように形状が複雑で様々な方向からの輪郭情報を取得することが困難な環境に対してこの手法を適用することは難しい．
ステレオ法

ステレオ法は，位置・姿勢が既知の二台以上のカメラによって撮影された画像に対し，撮影画像上で各画素の対応を決定することで，三角測量の原理により奥行き画像を推定する手法である．三台のカメラを用いることで，対応点のあいまいさを減少させる三眼ステレオ法 8

 9 や，多数の画像を同時に利用するマルチベースラインステレオ法 8 (9 も提案されている．一般的に，ステレ
オ法ではカメラ位置関係の把握が重要であり，高精度なキャリブレーションを実現することが必要となる．このようなステレオカメラのキャリブレーション手法
として，三次元位置が既知のマーカを用いる手法 89 が代表的である．しかし，屋外環境を対象とした場合には，画角内に十分な数のマーカを配置することが困難であるため，後述する特徴点の追跡による手法によって得られるカメラ位置・姿勢の推定結果を用いてステレオを行う手法が提案されている 8 (9．また近年は，広域を対象としたステレオ法も提案されており，> ら 8

9 は共有写真デー

タベースなどを対象として，不特定多数の人物が撮影した観光地等の画像群からステレオを行う手法を提案している．しかし，図 に示すように，複雑な環境を単一の三次元モデルで再現するのは困難であり，モデルに欠損が生じるという問題がある．
レンズ焦点法

レンズ焦点法は，レンズの焦点深度を変化させた複数の画像において，被写界深度の範囲外に写る対象に画像上のボケが発生するという光学的な特徴を利用して奥行きを求める手法である 8 7

7

9．この手法は，対象環境に対図

不特定多数の人物が撮影した画像群からのステレオ法 89する事前知識や制約条件が必要でないという特長がある．しかし，レンズの焦点を微小に変化させながら計測を行う必要があるため，一枚の奥行き画像を推定す
るのに時間がかかるという問題がある．また，屋外環境においては，被写界深度が広くなるため高精度な三次元形状の復元は困難である．
特徴点の追跡による手法

特徴点の追跡による手法は，複数の静止画像または動画像を入力とし，画像上の特徴点を複数の画像間で対応付ける 追跡する ことによって，特徴点の三次元位置とカメラの移動パラメータを取得する手法である

8 6 9．この手法は !'"!' $ ! 法 以下，* 法 と呼ばれ，任意の移動を伴った画像系列から特徴点の三次元位置を取得できる．また，対象環境や撮影時のカメラ位置・姿勢に対する制約が少なく，容易に屋外環境の三次元形状を取得できる．しかし，一般的に動画像上の特徴点のみを用いる手法では，撮影
カメラと特徴点の相対的な位置関係のみが推定され，絶対的な位置・姿勢情報を取得するためには何らかの外部指標を与えなければならない．このための外部指標として，>? やジャイロなどのセンサ類を利用する手法 8 置が既知の基準点を用いる手法 8

9 や，三次元位

9 が提案されている．これらの手法を用いることで，現実世界との位置関係を取得することができる．また，近年は一般的な単眼カメラ以外に，全方位カメラによって撮影された動画像に対して * 法を適用する手法が提案されている 8 9．全方位カメラを用いることで対象環境の情報を効率的に取得できるという利点があるが，追跡された特徴点以外の点に対

する三次元情報が得られないため，復元される情報の密度がモデリング等に利用するためには十分でないという問題がある．
このように，特徴点の追跡による手法は，対象環境と撮影カメラの位置・姿勢
に対する制約が少なく，自由に移動するカメラの位置・姿勢を推定するのに適しているが，三次元情報は疎にしか得られないため，三次元モデルを構築するためにはステレオ法などの手法と組み合わせて利用する必要がある．

 "#  
 法は対象環境の三次元形状を直接用いずに，物体やシーンの見え方そのものを入力画像として記録しておき，これらを変形・合成することで新しい視点の画像を生成する手法である．この手法では，対象物体の形状や反射特性を直接利用しないため， 法では適用が難しい複雑な環境に対しても欠損なしに自由

視点の映像を生成することができるという特長を持つ．以下では  法を，蓄積した画像群を直接変形・合成することで自由視点画像を生成する手法と，空間中を伝搬する光線情報を用いる手法に大別し，それぞれの特徴を述べる．
画像群の変形による手法!

蓄積された複数の画像群を直接変形することにより自由視点画像を生成する手法として，ワーピングやモーフィングと呼ばれる手法 8 (9 が提案されている．

これらの手法は，入力となる複数の画像間で対応点を与え，中間視点位置において対応点がどの位置に現れるかを決定することで，入力画像を変形させる．具体的には，入力画像を対応点によってあらかじめメッシュ状に分割しておき，メッ
シュ内のテクスチャを対応点の動きに応じて変形させた上で，複数の入力画像のテクスチャをメッシュ内でブレンディングする．また，その中間視点における対応点の > 値を入力画像の色のブレンディングによって決めることで自由視点画像を生成する 図 (．この手法は，比較的単純であり手動で対応点を与えるだ

けで簡単に 視点間の中間視点画像を生成できるという特長があるが，これらの手法では，環境の形状に関する情報を用いないため，物体の隠蔽関係を正しく再現することが困難であり，そのような領域では不自然な画像が生成されるという6図 ( :& , 89問題がある．また，入力画像から直接自由視点画像を生成するため，視点移動に伴って生成画像上で幾何的な歪みが発生しやすいという問題がある．
光線情報を用いた手法!

光線情報を用いた手法として，?,!" *'"!8

9，光線空間法 8 79，< !
* 8 9，<', 8 69 等が提案されている． ら 8 9 は ?,!" *'"! を提案し，空間中に存在する光線は  次元ですべて表現することが出，光線の向き θ θ ，波長 λ およ来るとした．すなわち，視点の座標 
び時間 の  次元のデータを用いることで空間中のすべての光線を記述する手法
を提案している．しかし， 次元のデータを全て記録するためには膨大な量の画  



像が必要となり，現実的に全てのデータを収集することは難しい．これに対して苗村ら 8 79 は，より低い次元の情報で空間を記述することで任意視点の画像を効率的に再構築する手法として，光線空間法を提案している．光線空間法は，空間を伝搬する光線は減衰・変移しないものとすることで，?,!" *'"! の  次

元の光線情報から  座標，波長 λ および時間  を減らし，情報量を 次元とする
ことで取得すべき画像の量を大幅に減らした．また，<%. ら 8 9 および >!
ら 8 69 は同時期に < ! * ，<', という手法を提案した．これらの手法では，光線空間法が平面    および光線の向き θ  θ  で 次元空間を表現したのに対して，この 次元を つの平行した平面を横切る座標   および    で表現することで，効率的なレンダリングを可能にした．

また，全方位カメラを用いることで，一度に多数の方向の光線情報を収集する手法も提案されている 8

 (9．山口ら 8 9 は，全方位画像センサ 2.,0: を用いて直線上を移動しながら環境を撮影し，任意の視線方向に対してス
テレオ視可能な画像を生成する手法を提案した．また，高橋ら 8(9 は同様に全方位画像センサを搭載した自動車で環境中を走行し，その移動経路付近の自由視点
画像を生成する手法を提案している．これらの手法では，全方位カメラを用いる
ことで取得すべき画像の枚数を削減しているが，広域な環境を自由に移動するといった用途で利用する場合には依然として膨大な量の画像が必要となるという問題がある．

 $   
 法と  法とを組み合わせたハイブリッドレンダリングによる手法が提案されている．@!  ら 8( 9 は平面の集合によって近似的に対象物体の三次元形状を表現することで自由視点画像を生成する手法を提案している 図 ．この手法では，ボクセルやポリゴン等の幾何モデルによって物体を表現するよりも計算コストが少なく高速に自由視点映像を生成できるという特長がある．しかし，この手法は，サッカーを対象とした手法であり，対象環境の大部分が平面でかつ単色であるという前提を用いているため，一般的な環境を対象として利用できる
ものではない．
冨手ら 8( 9 は，多地点で全方位画像を撮影し，それらの画像間に対応点を与えることで対象環境の疎な三次元形状を復元し，その形状に対応するテクスチャをモーフィングによって生成する手法を提案している．この手法は，あらかじめ複数の対応点を手動で与える必要があり，複雑で広域な屋外環境を対象として用い図

平面の集合によって近似的に三次元形状を復元する手法 8( 9

ることは難しい．
篠原ら 8((9 は対象環境の複雑さに応じて， 法と  法を切り替えて利用する手法を提案している．具体的には，三次元モデルの生成が可能なシーンに対しては  法，不可能なシーンに対しては  法を用いて自由視点画像を生成することで，広範囲での自由視点画像生成を実現している．しかし， 法・

 法のそれぞれの問題点は根本的には解決されておらず，また生成される画像の品質が利用する手法の切り替えによって不連続に変化してしまうという問題
がある．

表

 法

自由視点画像の生成手法の比較
長所

短所

・仮想化現実空間を幾何学的に・複雑な三次元形状を再現する

正しく描画可能ことが難しい・生成される画像上に欠損が生
じる

 法



・生成される画像上に欠損が生・視点移動に伴う生成画像上のじない歪みが大きい・一定の移動範囲内では写実的・入力として膨大なデータ量がな画像を生成できる

必要

本研究の位置付けと方針

本研究は，屋外環境のような複雑な環境下における自由視点画像の生成を目的としている．既に述べた通り，自由視点画像の生成手法には  法， 法，

2.#  法の三つの手法が存在する．
表 に  法， 法の長所と短所をそれぞれ示す． 法は対象環境を単一の三次元モデルとして復元しようとするため，樹木のような自然物等の複雑な形状を持つ物体の幾何情報を再現することが難しく，それに加えてオクルージョンにより遮蔽される領域にモデルの欠損が生じるため，写実性が損なわれるという問題を抱えている． 法は対象環境の複雑さに依存せずに自由視点画像を生成することができるが，入力画像を変形することで新しい視点の画像を生成する
ため  法と比べて視点移動に伴う生成画像上の歪みが大きく，写実性を保ったまま自由に広範囲を移動するためには対象環境を密に撮影する必要がある．しかし，現実的には広域環境全てを密に撮影することは難しく，広域での自由な視点移動を実現することは難しい． 法と  法を組み合わせた 2.# 
法も提案されているが，各手法を線形的に結合したものが多く，根本的な問題の解決には至っていない．

そこで本研究では，仮想化現実空間を幾何学的に正しく描画可能である 法を基礎とすることで， 法の問題であった視点移動に伴う生成画像上での幾何学的な歪みを抑制する．また， 法のように単一の三次元モデルを生成せず，視点位置に応じて適切な形状に変形する三次元メッシュモデルを逐次生成することで， 法の問題であったモデル上の欠損を解消し，画質の向上を図る．
本研究では，仮想空間内での任意な見回しと視点位置に応じた三次元モデルの生成を実現するために，一度に全方向の情報を効率的に取得できる全方位型マルチカメラシステムを用いて入力画像を撮影する．また，撮影時の全方位カメラの運動パラメータを全方位動画像に対する * 法 8

9 を用いて推定し，マルチベー

スラインステレオ法 8 (9 を用いて全方位画像群に対する全方位奥行き画像を生成する．これら全方位画像群，カメラ位置・姿勢，全方位奥行き画像群を入力として用い，視点の前面に生成した三次元メッシュモデルに対して適切な全方位画像
をテクスチャマッピングすることで自由視点画像を生成する．

(

 光線方向を考慮した奥行き情報の選択による自由視点画像生成
本章では，まず初めに自由視点画像の生成手法の概要を述べる．次に，本研究で用いる入力情報の取得方法について述べる．最後に，エネルギー最小化を用いた視点依存三次元メッシュモデルの生成手法とメッシュモデルへのテクスチャマッ
ピング法について詳述する．

 自由視点画像生成手法の概要
図 に提案手法による自由視点画像生成の処理の流れを示す．提案手法では，
まず対象環境の情報を取得し，次に取得した情報を入力として，ユーザが設定した視点位置・視線方向に対する自由視点画像を生成する．入力情報の取得は三つのステップから成る．まず最初に，全方位カメラを用いて移動しながら対象環境を撮影する．次に，撮影された動画像に対して * 法 8

9 によって撮影時のカメラ位置・姿勢を計測する．最後に，マルチベースラインステレオ法 8 (9 により，対象環境の撮影画像上の特徴点の三次元位置を計測する．自由視点画像生成の処
理は，三次元メッシュモデルの生成フェーズとテクスチャのマッピングフェーズから成る．三次元メッシュモデルの生成フェーズでは，まずメッシュモデルの各頂点に対し，頂点と視点位置を結ぶ光線と撮影地点との距離が最も近い順に複数の撮影地点を選択する．次に，初期値として任意に設定した視点の前面にメッシュ
モデルを生成する．最後に，選択された複数の撮影地点において推定された奥行き画像群を利用し，メッシュモデルの各頂点を光線上で視点位置から最適な距離に移動させる．テクスチャのマッピングフェーズでは，まず複数の撮影画像の中から，テクスチャマッピングに利用する画像を選択し，各メッシュへのテクスチャのマッピングを行う．本手法では，ユーザが視点位置・視線方向の変更を行う度に，奥行き画像の選択以降の処理を繰り返すことで自由視点画像を生成する．以上の手順により，視点位置に応じて最適な形状に変形する三次元メッシュモデルを用いた自由視点画像を生成する．

入力情報の取得
対象環境の移動撮影
SFM法によるカメラ位置・姿勢の推定
マルチベースラインステレオ法による
対象環境の特徴点の三次元位置の推定

自由視点画像生成
視点位置に応じた三次元メッシュモデルの生成
メッシュモデルの生成に使用する
奥行き画像の選択
メッシュモデルの生成/変形
メッシュモデルへのテクスチャのマッピング
使用するテクスチャの選択
テクスチャマッピング

ユーザによる視点位置・視線方向の変更

図本手法による自由視点画像生成の流れ

入力情報の取得

本研究では，自由視点画像生成の対象となるシーンを，全方位の情報を効率的に一度に取得可能な全方位カメラを用いて移動しながら撮影する．本節では，全方位画像取得時の撮影カメラ位置・姿勢の推定方法，また取得した各全方位画像に対応する全方位奥行き画像の推定について述べる．

 カメラ位置・姿勢情報の推定
ここでは，撮影した全方位動画像に対する * 法 8

9 を用いて，取得した全方位動画像から特徴点の三次元位置と撮影時のカメラ位置・姿勢を推定する．次に，動画像中の各フレームにおいて以下に示す処理を行い，これらを最終フレー
ムまで繰り返すことで，カメラ位置・姿勢と特徴点の三次元位置を逐次推定する

詳細は文献 8 9 を参照．
特徴点の追跡 テンプレートマッチングと 2 オペレータにより前のフレームに存在する各特徴点について，現フレームにおける対応点を探索する．さらに，

  アルゴリズムにより，特徴点の誤対応を排除する．
カメラ位置・姿勢の推定追跡された特徴点の画像上の座標と三次元座標から，

カメラの位置・姿勢を推定する．ここでは，検出された全て特徴点の三次元座標を画像に再投影した際の再投影誤差の二乗和が最小になるようにカメラ位置・姿勢を推定する．なお，特徴点の三次元座標は，前フレームまでに推定されている値を用いる．
特徴点の三次元位置推定

現フレームまで追跡されている全ての特徴点について，特徴点ごとに再投影誤差の二乗和を最小化することで三次元座標を算出し，フレーム毎に特徴点の三次元座標を更新する．

7

特徴点の追加と削除

複数の評価尺度を用いて，カメラ位置・姿勢推定に用いる信頼度の高い特徴点の組をフレームごとに自動更新する．ここで用いる信頼度は，各特徴点に対する再投影誤差の分散の逆数として定義される．
最後に，動画像全体での最適化処理 #' A'!! を行うことで推定誤差を最小にする．具体的には，動画像全体に対する再投影誤差の総和を最小化す
ることで，撮影時のカメラ位置・姿勢と特徴点の三次元位置を最適化する．

 奥行き情報の推定
上記の * 法により全方位動画像中の特徴点の三次元位置を推定することができるが，* 法により得られる特徴点の三次元位置は非常に疎なものである．
そこで，* 法により求めたカメラ位置・姿勢を用い，特徴点の数え上げによるマルチベースラインステレオ法 8 (9 を適用することで，より多くの特徴点に対して奥行き画像を生成する．具体的には，撮影された動画像に対して以下の処理を行うことで，全方位動画像の各フレームに対応した奥行き画像を生成する 詳細は文献 8 (9 を参照．
画像特徴点の検出

画像の拡大・縮小や回転に対して頑健に画像特徴点を抽出可

特徴点の奥行き推定

三次元空間中に特徴点が存在する場合には，その特徴点の能な 2 オペレータを用いて，各入力画像上の特徴点を全て検出する．

画像上への投影位置にも特徴点が検出されるという仮定の下，特徴点の奥行きに対応した三次元位置の画像上への投影座標付近に最も多くの特徴点が検出される
奥行きを探索し，全ての特徴点に対する奥行き画像を算出する．
誤推定結果の排除

各入力画像を基準として算出された奥行き推定結果の整合性を検証することによって誤推定結果の排除を行う．各フレームの奥行き推定に用いた全ての画像を用い，奥行き推定値の信頼度を評価する．
ただし，特徴点の数え上げによるマルチベースラインステレオ法 8 (9 では，奥

行き推定の評価尺度として，画像特徴点の座標からなる評価尺度を用いることで，奥行き推定のロバスト性の向上と計算コストの低減を図るため，画像特徴点以外の画素に対する奥行きは算出されない．そのため本手法では，奥行きが推定された全ての特徴点に対して，ドロネーの三角形分割法を用いて領域分割を行い，分割された領域内の奥行き値を線形補間することで密な奥行き画像を生成する．

 エネルギー最小化による視点位置に応じた三次元メッシュモデ
ルの生成
本節では，視点位置に応じて適切な形状に変形する視点依存の三次元メッシュ
モデルを用いた全方位動画像からの自由視点画像の生成手法について述べる．本
手法では，図 7 に示すように，まず仮想視点位置の前面に三次元メッシュモデルを設定する．次に，メッシュモデルの各頂点に対して，モデルの変形に用いる複数枚の奥行き画像を光線方向を考慮してそれぞれ選択する．最後に，入力として用いる複数の奥行き情報の整合性に関するエネルギー関数を設定し，設定された
メッシュモデルの各頂点をエネルギーが最小となる地点に移動させることで，視点位置に応じた最適なモデルを生成する．以下ではまず，メッシュモデルの生成に用いるエネルギー関数を定義し，モデルの変形に用いる奥行き画像の選択について述べ，次にメッシュモデルの初期化，エネルギー最小化を用いたメッシュモ
デルの変形手法について詳述する．

図 7 三次元メッシュモデルの初期設定

6

⎛ X p Yp⎞
p̂i (d ) = ⎜⎜ i d , i d , d ⎟⎟
Zi
⎝ Zi
⎠

(

pi = X pi , Ypi , Z i)

撮影時のカメラパス

y

d

x

z

v

ri
図  メッシュモデルの各頂点の座標 エネルギー関数の定義
本研究では，図  に示す仮想視点位置

に対して設定されたメッシュモデル上の 番目の頂点  カメラ座標系での三次元位置B       に対して，式   に示す奥行き画像の整合性に関するエネルギー   を定義し， と%

上でエネルギー   が最小となる位置   C 

を結ぶ直線





     に頂点  を移動させることで，メッシュモデルの変形を行う．

 C

 

 %    
 %              %    %      -   %   %     
 C


 

  C ""          -    C 
(% &' C 



 

   

 





   





 

            



 





 





Dij (d )撮影時のカメラパス

d

仮想視点

ri

cij からの奥行き画像をpˆ i (d )piv

用いて推定されるモデル

e(cij , pˆ i (d ))θ ij (d )cij
図 6 エネルギーの算出に用いる変数

ここで， は奥行きの整合性の判定に用いる奥行き画像   

に対応する全方位画像の撮影地点     の数である．  %  は図 6に示すように， を中心とする奥行き画像上における三次元位置 %  の方向に%  は頂点  に対して選択さ対応する奥行き値を表す関数である．また， 
れた撮影地点  に関する重みであり， と %  を結ぶ直線と光線  の成す角%  %     の時，すな   の逆数として定義する．ここで，  %  が遮蔽されている可能
わち，撮影地点  から見てオクルージョンによって 








 





























性がある場合には，地点  の奥行きを整合性の判定に用いず， によるエネル

ギーを  として計算する．ただし，整合性の判定に用いる  の数が一定数  以
下となる奥行き値  に対しては，奥行きの整合性を正しく判定できないため，エネルギー最小化による奥行き値の探索範囲から除外する．

式   で定義したエネルギー  はオクルージョンとなる地点を除いた  地点

  に対応する奥行き画像     から得られる三次元モデルと頂点  の移動先 % との距離の総和が最も小さい   の撮影地点   時に最小となる．従って，メッシュモデルの各頂点  に対してエネルギーを最小%化する地点   に頂点を移動することで，各撮影地点から推定された奥行き情報に対して幾何学的な整合性が取れたメッシュモデルを生成することができる．
ここで，エネルギーが最小となる奥行き値  を決定するために， が取り得る全ての探索範囲を対象としてエネルギー   を計算するには多くの計算コストが必要となるため，以下では全探索によって一旦最適なメッシュを作成し，以降はそれを初期値として探索範囲を制限することで，ユーザによる視点移動時のメッシュ変形にかかる計算コストを削減する．

 奥行き画像の選択
ここでは，メッシュモデルの各頂点に対するエネルギー   の算出に用いる奥行き画像      と，それに対応する全方位画像の撮影地点

  の選択方法について述べる．本手法では，メッシュモデルの各頂% に対す点  に対し，移動先となる座標 D  の奥行き値  を決定する上で，る奥行き情報の信頼度の高い複数の撮影地点を選択する．ここでは，頂点  と仮




想視点位置

を結ぶ光線  との距離  が近い撮影地点ほど他の物体等の遮蔽による影響を受けにくいため，信頼度が高いものとする．具体的には，図 に示すよ
うな，メッシュモデルの頂点  に関する光線  と，* 法によって推定された
各カメラ位置  との距離  を算出し， が小さい順に  個の撮影カメラ位置   とそれに対応する奥行き画像    

 を選択する．

選択された  個の撮影地点は，奥行き値  の探索時において，光線方向  と奥行き情報に対する光線との角度差が少ないため，遮蔽の影響が小さく，後述する
テクスチャマッピングにおいても仮想視点位置と見え方が近いテクスチャを利用することができる．

 メッシュモデルの初期化
自由視点画像生成の初回には，初期値として利用できるメッシュモデルが存在しないため，奥行き値  の全探索によりメッシュモデルの初期化を行う．まず，

pi
撮影時のカメラパス

仮想視点

cij

ci(j +1 )li ( j −1)lijli ( j +1)

図

ci(j −1 )ri

各頂点に対する光線と撮影カメラ位置からの距離

メッシュモデル初期化の前準備として，図 7 に示すようにユーザが設定した初期
仮想視点位置の前面の一定の奥行きのところに平面状の三次元メッシュモデルを設定する．次に，各頂点  をそれぞれエネルギー   が最小となる座標へ移動させる．具体的には， に対して光線  上で仮想視点位置からの距離  を から 

の範囲内で変化させ，エネルギー   が最小となる距離  を決定する．すなわち，各頂点に対して以下の式を満たす   を決定し， を

 



        に移動することでメッシュを変形する．

 C   



 



 エネルギー最小化によるメッシュモデルの変形
ユーザの操作による視点移動・視線方向の変化量は生成されるフレーム間で微小であるという仮定の下で，移動前の仮想視点に対して生成されたメッシュモデ
ルを初期値として用い，限定された探索範囲内でのエネルギー最小化処理を行う

(C )

( A)

(B )

現フレームの視点

前フレームの視点

図 視点移動後のメッシュモデルの変形ことで，視点移動時のメッシュモデルの生成処理の高速化および視点移動・視線方向の変化に伴う急激なモデルの変化を抑制する．

 はユーザの操作による仮想視点移動時の探索範囲を表している．図  において   を視点移動前のメッシュモデルとすると，視点移動後のモデル生成時の の探索範囲を   のモデルを中心とした   から   までの一定範囲内に制
図











限する．以下では，探索範囲の具体的な決定方法について述べる．図に示す

ように，まず現フレームの仮想視点の前面に設定した平面上の頂点  に対して，

頂点  に対応する光線  と前フレームで生成したモデルとの交点 E を求める．

次に，現フレームの視点位置から交点 E までの奥行き値 E に対する一定の割合
  

 の範囲を探索範囲としてエネルギーが最小となる奥行き値   

(

( A)

~p
i

pi

現フレームの視点~d図

前フレームの視点

視点移動後の奥行き  の探索範囲を探索する．
 

C    



 



ただし，上記の限定された探索範囲では，画像上にジャンプエッジが存在する
場合には，正しく奥行き値を決定できない場合がある．従って，本研究では制限した探索範囲内においてエネルギーが事前に設定した閾値以下に収まらない場合には，その頂点に関して奥行き値  の全探索を行い，エネルギーが最小となる距
離   を探索する．

 メッシュモデルへのテクスチャのマッピング
本節では，生成されたメッシュモデルへのテクスチャのマッピングについて述べる．ここではまず，()() 項で述べた手法により選択した全方位画像の撮影位置

ka ∈ ΩΩ

kb ∈ Ω
図kc ∈ Ω

メッシュモデルの三角形パッチ ; と三頂点

 および各頂点においてエネルギーが最小となった時の重み % を用いて，テクスチャマッピングに用いる画像の候補を選択する．次に，候補の中から最も優先度の高い画像を選択し，テクスチャマッピングを行う．具体的には，まず注目する三角形パッチ ; の各頂点

  ; に対して，奥行き値 の決定時に 枚ずつ選択された撮影地点に対応する合計 ( 枚の入力画像を選択する．ここで，選択された ( 枚の画像のフレーム番号を C     とおく．これらの画像に対して，式 7 に示すテクスチャの優先度  を算出した上で，優先度 の最も高いテクスチャを選択し，パッチ ; にそのテクスチャをマッピングする．








!

" " "  %   -  C 

C 
 








 

"



(



7

"



枚の画像中には，同一の撮影地点から撮影された画像が含まれる場合があり，そのようなテクスチャについては優先度  は高くなる．また，" フレームにお%ける撮影地点  の重み    が大きいほどテクスチャの優先度  が高く設定される．

 実験
 全方位動画像からの自由視点画像生成実験
提案手法により，視点位置に応じて適切に変化する三次元メッシュモデルを用いて，全方位動画像から自由視点画像を生成できることを検証するために，屋外
実環境を対象とした自由視点画像生成実験を行った．

 入力情報の取得( に示す複数のカメラを外向きに配置した ?! >. " 社製の全方位型マルチカメラシステム <.#' を用いた．<.#' では横 76 画素，縦  画素の画像を水平方向 台および真上
方向 台の計 7 台の  カメラで同期して取得する．また，全方向の約  ％以上の領域を ($, の動画像として取得することが可能である．
本実験では，<.#' を用いて移動しながら屋外環境を撮影した全方位動画像
  フレーム，( 枚 を入力として用いた．図 は本実験で入力として用い
全方位動画像を取得するカメラとして，図る全方位動画像の フレームである．ここではまず，この全方位動画像に対して() ) 項で述べた * 法を適用することで，図 に示す全方位カメラのカメラ位
置・姿勢を推定した．次に，() ) 項で述べたマルチベースラインステレオ法を適用することで，図 7 に示す特徴点の奥行き値を算出した．図  は，図 7 に対してドロネーの三角形分割法を用いた上で特徴点の間の奥行き値を補間した奥行き画像である．以下では，これら全方位動画像，それに対応する全方位奥行き動画
像，カメラ位置・姿勢を入力として用い，自由視点画像生成を行う．

7

図

図

( 全方位型マルチカメラシステム <.#'

入力として用いた全方位動画像の フレーム 上空から見たカメラ位置・姿勢

図

# 地上から見たカメラ位置・姿勢
* 法によって推定されたカメラ位置・姿勢
6

図

7 マルチベースラインステレオ法により推定された全方位奥行き画像の一例

図 ドロネーの三角形分割法により補間された全方位奥行き画像の一例

 自由視点画像生成) ) 項で示した全方位動画像と推定されたカメラパラメータ，全方位動画像に対応する全方位奥行き画像群を入力として，表 に示すパラメータを用いて自由6 に示すように，入力画像取得時のカメラ
パスに沿って移動する  ルートと，そのカメラパスから離れるように移動する 
ルートの二つのルートに対して，それぞれ地点  から 89 おきに進行方向 # と進行方向に対して (°視線方向を回転させた方向 " の三方向の自由視点画像
視点画像を生成した．ここでは，図画像を生成した．

 にルート ， に対応する自由視点画像の生成結果を示す．また，
図 ，図 にルート ， の自由視点画像の生成時に用いられたメッシュモデ
ルに対応する奥行き画像を示す．また，表 ( に使用した計算機のスペックを，表図，図に自由視点画像の生成にかかった平均処理時間を示す．

S

B

図

(b)

(c)

A
(c)

(a)

(a)
(b)

5m

仮想視点

6 自由視点画像の生成視点位置・視線方向(表

本実験のパラメータ
横 68,59 縦 68,59

自由視点画像の解像度
メッシュモデルの頂点数7 点 横 ( 点×縦 ( 点

奥行き画像の選択枚数 枚

奥行き値の整合性の判定に必要な枚

奥行き画像の最低枚数 
探索範囲の限定に用いる

)

奥行き値の初期値 E に対する割合 
表 ( 使用した計算機のスペック

?F.
グラフィックスボード表!  ' G67()(( >23
7 >
: >*" 6>
:B 自由視点画像の生成にかかる処理時間
平均処理時間 8"9

奥行き画像の選択
三次元メッシュモデルの初期化
三次元メッシュモデルの変形
テクスチャマッピング

(

)67
) 
) 6(
)( 

方向 

方向 #

方向 "

図ルート  における自由視点画像
上から順に地点  から   7 離れた地点

(方向 

方向 #

方向 "

図  ルート  における自由視点画像
上から順に地点  から   7 離れた地点

((方向 
図方向 #

方向 "

ルート  における自由視点画像に対応する奥行き画像
上から順に地点  から   7 離れた地点

(方向 
図方向 #

方向 "

ルート  における自由視点画像に対応する奥行き画像
上から順に地点  から   7 離れた地点

(



考察

 より，提案手法を用いることで欠損のない自由視点画像が生成できていることが確認できる．また，ルート  に対する生成結果 図  より，入力
図，図画像を取得した経路に沿って自由視点画像を生成した場合には，品質の高い画像を生成できていることが分かる．しかし，一部の地点において地面のテクスチャに不連続な部分が見られる．この原因としては，生成されたメッシュモデル上で隣り合う三角形パッチにマッピングされるテクスチャの取得フレームが異なるためであると考えられる．これを解決するためには，複数フレームのテクスチャをブレンディングして用いるなどの工夫が必要である．また，ルート  に対する生成結果 図 より，この実験環境では撮影地点から  以内の範囲であれば，大きな違和感のない画像が生成できていることが分かる．従って，提案手法は撮影地点付近での自由視点画像生成に対しては有効な画像を生成できると考えられる．
しかし，撮影地点から

 以上離れた場合には，仮想視点が建物に近づくにつれて，樹木がある領域の歪みが大きくなっている．これは，図から分かるように，生成に用いたメッシュモデルの分割数が少ないことに起因して，建物のテクスチャが樹木に対応する奥行きの位置にマッピングされているためである．これを解決するためには，対象環境の複雑さを考慮してメッシュの分割数を適応的に変化させることが考えられる．
一方，処理時間について，ユーザによる仮想空間内での自由な視点移動，見回しを実現するためには実時間処理が必要であるが，現時点ではメッシュモデルの変形に約 ) 秒，また，テクスチャマッピングに約 )( 秒を要している．モデルの生成に関して，マルチスレッド処理や >?F を用いた実装上の工夫を行うことで高速化を行い，最終的には実時間処理を実現する必要がある．また，テクスチャのマッピング処理についても，予め : 上に使用するテクスチャを全て読み込んでおくなど実装上の工夫による大幅な処理速度向上の余地が残されている．

(7

 まとめ
本論文では，単一の三次元モデルを生成せず，視点位置・視線方向に応じて適切な三次元メッシュモデルを逐次生成することで，自由視点画像を生成する手法を提案した．提案手法では，全方位カメラにより対象環境を移動しながら撮影し，撮影した画像群に対して !'"!' $ ! 法 8

9 を適用することで全方位カメラの運動パラメータを推定し，更にマルチベースラインステレオ法 8 (9 を用いて各撮影画像に対応する奥行き画像を生成する．以上を入力として，仮想視点の前面に設定したメッシュモデルを，奥行き情報の整合性に関するエネルギーを最小化することで適切な形状に変形させ，信頼度の高いテクスチャをマッピング
することによって自由視点画像を生成する．
実験では，本学敷地内を対象として自由視点画像の生成を行うことにより，撮影範囲に対して比較的広範囲な視点移動が可能な仮想環境内でのウォークスルーが実現できることを示した．生成された自由視点画像は撮影地点付近では写実的に生成されており，撮影地点付近での自由視点画像生成には有効であると考えられる．しかし，撮影地点から遠く離れた場合には，生成画像上に歪みが生じることから，より広範囲の移動に対応可能なウォークスルーシステムを実現するためには，今後さらなる改善が必要である．
今後の課題として，生成される自由視点画像の品質を向上させるために，環境の複雑さを考慮してメッシュの分割数を適応的に変化させることや，テクスチャのブレンディングを行うことなどが必要である．また，処理速度の向上のために，
マルチスレッド処理や使用するテクスチャを予め読み込んでおくなどの実装上の工夫が必要である．

(謝辞
本研究を進めるにあたり，その全過程において細やかな御指導，御鞭撻を頂いた視覚情報メディア講座 横矢 直和 教授に心より感謝申し上げます．また，本研究の遂行にあたり，有益な御助言，御鞭撻を頂いたインタラクティブメディア設
計学講座 加藤 博一 教授に厚く御礼申し上げます．そして，本研究の全過程を通して，始終暖かい御指導をして頂いた視覚情報メディア講座 山澤 一誠 准教授に深く感謝申し上げます．さらに，研究活動の全過程を通して多大なる御助言，御指導を頂いた視覚情報メディア講座 佐藤 智和 助教に心より感謝致します．特に，
佐藤 智和 助教には本研究のテーマの設定から本論文の執筆，その他発表論文の添削，発表練習に至るまで細やかな御指導，御鞭撻を頂き深く感謝致します．また，研究活動において常に温かい御助言を頂いた視覚情報メディア講座の諸氏に感謝いたします．特に，本研究の遂行にあたり，多大なる御助力を頂いた視覚情報メディア講座 伊吹 拓也 氏に深く御礼申し上げます．最後に，研究室での生活を支えていただいた視覚情報メディア講座 高橋 美央 女史に心より感謝申し上げ
ます．

(6

参考文献

8 9 佐藤宏介 井口征士B H空間コード化による距離画像入力I 電子情報通信学会
論文誌  :) J76 ) ( ,,) (7 (  6 )8 9 塚本壮輔 呉本尭 古賀和利 三池秀敏B H階層化位相シフト法による高精度な奥行き計測I 画像の認識・理解シンポジウム 講演論文集 :)  ,,) 6  )8(9 浅井俊弘 神原誠之 横矢直和 H全方位距離画像と全方位カラー画像の統合に (6よる屋外環境の三次元モデル化I 画像電子学会誌 :) (  )  ,,) )8 9 2) K   )  #+B H"!'"! $ 5!' F# ( 
#. *' >' <    I GG ) 
$!  .! :)  ,,) 7  7  ()8 9 )*'  )K+ B H!'"! ( !.  #.  >'  # :&I ?") GGG $)  ,'! : ?!! "! :)  ,,) 7  7  ()879 ) J) L  H? !!" !  $ ! '$" 0!! $ '!, I J' $ 0,!" G :)  ) ,,) (   6)
89 @) +'" B H! '$" 0!! $ ,"' '$" #. F  
? !!" ! ! I GGG )  ?!! .  " !" :) ( ) 7 ,,) 77 77  6 )869 J) M) K B H"N' (  $ N'" $ !'I GGG
)  ?!! .  "  !" :) 7 )  ,,) 7(6)(

8 9 L)   J) L#' B H'!!" "!'"! $ ( 0#A"!
'  # "," I ?") !) $)  "! %" ( !    ,,) ( 6 )
8 9 2) + H  I ?") ! !) J! $)  !/" !" ,,) 7 7  )8 9 :) J) +%"  ) @B H"' : F ? !!" G$ 0!! !!I ?") ?  F! L+ , ,,) 7(   6 )8 9 ) ."   *) <'!B H*!  # ?% "' !:I ?") !) $)  ,'! : :)  ,,)  7 6)8 (9 佐藤智和 横矢直和B H画像特徴点の数え上げによるマルチベースラインステ
レオ法I 情報処理学会論文誌 :) 6 )> 7 ,,) ( )8 9 ) M) B H GÆ"!  ""'!  #! " N' $ ("  :I ?") ,'! :  ?!! "! ,,) (7 (  67)
8 9 ) > ) %. ) ' 2) 2,,  ) ) !3H'!:&! $ '!. ? ! "!I ?") !) $)  ,'!
: )8 79 2) )   ) :) !&!B H#'! *"' I ?") ,'!
:  ?!! "! ,,) ( ( )
8 9 ) @) .B H , $ *"' .!I ?") ,'! :  ?!! "! ,,) ( (6)
8 69 ) ?$. ) @"  ) :'& ) ) +'.!  <) J) :) >B
H  " "!'"! $ I ?") ?G:) ( 6 ,,)  7 )

8 9 佐藤智和 池田聖 横矢直和B H複数動画像からの全方位型マルチカメラシステ
ムの位置・姿勢パラメータの推定I 信学論 :) J66 )  ,,) 6  7 )8 9 ) '+  ) 0  B H  "%. $ 0#A"! ,   !
F   .! &!  :    >. I ?") !) $)  ,'! : :)  ,,)  )8 9 上原将文 塩崎剛志 全炳東B H数値地図と動画像解析による都市空間モデリ
ングI 画像の認識・理解シンポジウム論文講演集 :)  ,,) (((6 )8 9 山下淳 林本悦一 金子透B H全方位カメラ搭載移動ロボットによる !'"!'$ ! を用いた ( 次元環境モデリングI 日本機械学会論文集 :) ()  7 ,,)   )8 (9 ) G)    <) LB H:& !,! $  .! I ?")>>?24 ( ,,)   66 ()8 9 ) ) !3  ) ) .B H:& , I ?") >>?24 7 ,,) ( 7)
8 9 G) 2)   J) B H  ?,!" *'"!  !  G! $
G. :I  ? #  ,,) ( 
)
8 79 苗村健 原島博B H. ! $ ? !!" :!' LI:!' !.  '! ,,) 76 )
8 9 " <%.  ?) 2 B H< ! * I ?") >>?24 7 ,,) (   7)8 69 ) J) >! ) >33"3'+ ) 3+  ) *)  B H  <', I?") >>?24 7 ,,) (  7)8 9 山口晃一郎 山澤一誠 竹村治雄 横矢直和B H全方位動画像を用いた両眼ス
テレオ画像の実時間生成によるテレプレゼンスI 電子情報通信学会論文誌:) 6  )  ,,)  6    )8(9 ) +   2) @&+ @) +'"   ) +'" B H#!. :&?!  "!  $ <" "I ?") ,'!
:  ?!! "! :)  ,,) 7(( )8( 9 ) @!   M) 0 ! H"# ( ,!! $ ( : ,.
  <" ,"I ?") :!' !.4( ,,)   ()8( 9 冨手要 山澤一誠 横矢直和B H複数の全方位画像を用いた広範囲なウォークス
ルーの実現I 画像の認識・理解シンポジウム 講演論文集 :)  ,,) ( (( 6 )8((9 篠原秀俊 八木康史 谷内田正彦B H と  を併用した空間モデリング ()とウォークスルー環境I 情報処理学会 研究報告 )  ,,) 