(57)【特許請求の範囲】
【請求項１】
内部パラメータが既知なカメラを用いて方向を変えて撮影し、かつ撮影時のカメラの位置・姿勢が既知な複数の画像から、任意の視点を中心とした全方位の画像を作成し出力する全方位画像生成装置であって、
画像の一部が重なるようにカメラの位置・姿勢を変更して撮影した複数の画像を取得する第１の手段と、
全方位画像を生成するために必要なレイヤの位置、数、形状を設定する第２の手段と、
各レイヤ上の点に対応する、前記複数の画像のそれぞれの各画像上の対応点との関係を求める第３の手段と、
第３の手段で求めた対応点の類似度から各レイヤ上の点における被写体の存在確率を計算する第４の手段と、
各レイヤ上の点、それに対応する各画像上の対応点、全方位画像の中心との位置関係に応じて、対応する各画像上の対応点の画素値をブレンディングすることにより、各レイヤ上の点の色情報を計算する第５の手段と、
前記第４の手段の処理を実行することで求めた被写体の存在確率の割合で、前記第５の手段の処理を実行することで求めた色情報をレンダリングした各レイヤの色情報を加算し、全方位画像として出力する第６の手段とを備え、
前記第４の手段は、各レイヤ上の点に対応する画像上の対応点に基づき、前記被写体の存在確率を求めることができる領域と、前記被写体の存在確率を求めることができない領域に分割する第４−１の手段と、
前記被写体の存在確率を求めることができる領域において、各レイヤ上の点に対応する２つ以上の画像上の対応点の類似度から各レイヤ上の前記被写体の存在確率を計算する第４−２の手段と、
前記被写体の存在確率を求めることができる領域における前記被写体の存在確率を求めることができない領域との境界からの一定領域において、前記被写体の存在確率をブレンディングする第４−３の手段と、
前記被写体の存在確率を求めることができない領域において、前記被写体の存在確率を求めることができる領域における前記被写体の存在確率を求めることができない領域との境界の各レイヤ上の前記被写体の存在確率に基づき、複数のレイヤ上の被写体の存在確率を補間するステップ第４−４の手段とを有することを特徴とする全方位画像生成装置。
【請求項２】
前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域を第２および第３領域とし、前記第１領域が前記２領域と前記第３領域との間に位置する場合に、
前記第４−４の手段は、前記第１領域の複数のレイヤの中から、前記第２領域の前記第１領域との境界における前記被写体の存在確率が最も高いレイヤと、前記第３領域の前記第１領域との境界における前記被写体の存在確率が最も高いレイヤとの間の中間位置のレイヤを選択する手段１と、
前記第１領域の各レイヤ上の前記被写体の存在確率として、前記選択したレイヤに対して１の存在確率を、それ以外のレイヤに対して０の存在確率を付与する手段２とを有することを特徴とする請求項１に記載の全方位画像生成装置。
【請求項３】
前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域を第２および第３領域とし、前記第１領域が前記第２領域と前記第３領域との間に位置する場合に、
前記第４−４の手段は、前記第１領域の複数のレイヤの中から、前記第２領域の前記第１領域との境界における前記被写体の存在確率が最も高いレイヤと、前記第３領域の前記第１領域との境界における前記被写体の存在確率が最も高いレイヤとの間に位置するレイヤを順次連続的に選択する手段１と、
前記第１領域の各レイヤ上の前記被写体の存在確率として、前記選択したレイヤに対して１の存在確率を、それ以外のレイヤに対して０の存在確率を付与する手段２とを有することを特徴とする請求項１に記載の全方位画像生成装置。
【請求項４】
前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域を第２および第３領域とし、前記第１領域が前記２領域と前記第３領域との間に位置する場合に、
前記第４−４の手段は、前記第１領域の前記第２領域との境界の各レイヤの前記被写体の存在確率として、前記第２領域の前記第１領域との境界の各レイヤの前記被写体の存在確率を付与する手段１と、
前記第１領域の前記第３領域との境界の各レイヤの前記被写体の存在確率として、前記第３領域の前記第１領域との境界の各レイヤの前記被写体の存在確率を付与する手段２と、
前記第１領域における、前記第２領域との境界と前記第３領域との境界との間の各レイヤの前記被写体の存在確率として、前記第１領域の前記第２領域との境界の各レイヤの前記被写体の存在確率から、前記第１領域の前記第３領域との境界の各レイヤの前記被写体の存在確率まで連続的に変化させた存在確率を付与する手段３とを有することを特徴とする請求項１に記載の全方位画像生成装置。
【請求項５】
前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域を第２領域とし、前記第１領域が前記第２領域の隣に位置する場合に、
前記第４−４の手段は、前記第１領域の複数のレイヤの中から、前記第２領域の前記第１領域との境界における前記被写体の存在確率が最も高いレイヤを選択する手段１と、
前記第１領域の各レイヤ上の前記被写体の存在確率として、前記選択したレイヤに対して１の存在確率を、それ以外のレイヤに対して０の存在確率を付与する手段２とを有することを特徴とする請求項１に記載の全方位画像生成装置。
【請求項６】
前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域を第２領域とし、前記第１領域が前記第２領域の隣に位置する場合に、
前記第４−４の手段は、前記第１領域における各レイヤの前記被写体の存在確率として、前記第２領域の前記第１領域との境界における前記各レイヤの前記被写体の存在確率を付与することを特徴とする請求項１に記載の全方位画像生成装置。
【請求項７】
前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域における前記第１領域との境界から一定の領域を第４領域、それ以外の領域を第５領域とするとき、
前記第４−３の手段は、前記第１領域の複数のレイヤの中から所定数のレイヤを、ブレンディングする前の前記被写体の存在確率の大きい順に選択する手段１と、
前記第１領域の各レイヤ上の前記被写体の存在確率として、前記手段１で選択したレイヤのブレンディングする前の前記被写体の存在確率に基づき、前記手段１で選択したレイヤに対して新たな前記被写体の存在確率を付与するとともに、前記手段１で選択したレイヤ以外のレイヤに対して０の存在確率を付与する手段２とを有し、
前記手段１において、前記第４領域と前記第５領域との境界から前記第４領域の前記第１領域との境界に向けて順次選択するレイヤ数を減少させることを特徴とする請求項１に記載の全方位画像生成装置。
【請求項８】
前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域における前記第１領域との境界から一定の領域を第４領域、それ以外の領域を第５領域とするとき、
前記第４−３の手段は、前記第４領域における各レイヤの前記被写体の存在確率として、前記第４領域の前記第５領域との境界の存在確率から前記第４領域の前記第１領域との境界の存在確率まで連続的に変化させた存在確率を付与することを特徴とする請求項１に記載の全方位画像生成装置。
【請求項９】
請求項１ないし請求項８のいずれか１項に記載の全方位画像生成装置の各手段をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方位画像生成装置、プログラムおよび記録媒体に係わり、特に、画像の一部が重なるように方向を変えて撮影した複数の画像を用いて、任意の視点を中心とした全方位画像を生成する技術に関する。
【背景技術】
【０００２】
全方位画像を生成する方法の一つとして、三次元空間上の各点に被写体が存在する確率を推定し、その値に応じて色情報を重み付けすることによって画像を生成する方法が知られている。（下記、特許文献１参照）
以下、従来の全方位画像生成法について説明する。
図１は、従来の全方位画像生成法について、幾何学的な構成を示した図である。
図１において、１０１は全方位画像の中心、１０２はカメラのレンズ中心、１０３はカメラによって撮影した画像、１０４はレイヤ上の点に被写体が存在する確率を表す信頼度マップ、１０５はレイヤ上の点における色情報を表す色マップである。
図２は、従来の全方位画像生成方法を説明するためのフローチャートである。
全方位画像を生成するための処埋手順は、互いに重なる領域があるようにカメラの位置・姿勢を変更し複数の画像を取得するステップ１と、全方位画像を生成するために必要なレイヤの位置、数、形状を設定するステップ２と、レイヤ上の点に対応する各画像上の対応点との関係を求めるステップ３と、ステップ３で求めた対応点の類似度からレイヤ上の点における被写体の存在確率を計算するステップ４と、レイヤ上の点、それに対応する画像上の対応点、全方位画像の中心との位置関係に応じて、対応する画像上の対応点の画素値をブレンディングすることにより、レイヤ上の点の色情報を計算するステップ５と、ステップ４で求めた被写体の存在確率の割合で、ステップ５で求めた色情報をレンダリングした各レイヤの色情報を加算し、全方位画像として出力するステップ６とから構成される。
【０００３】
0004825824.tif 000002
【０００４】
0004825824.tif 000003
【０００５】
0004825824.tif 000004
【０００６】
0004825824.tif 000005
【０００７】
なお、本願発明に関連する先行技術文献としては以下のものがある。
【特許文献１】特開２００７−２５７１００公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、前述の従来の技術では、カメラ画像を全方位画像に変換する際に、被写体の奥行き情報を利用して視点変換を行い、連続的な全方位画像としている。したがって、全方位画像を生成するためには、距離の情報が必ず必要となる。
このように、従来の技術では、レイヤ上の点に対応する２つのカメラ画像上の対応点がない場合、２つのカメラ画像上の対応点の類似度から被写体が存在する確率を求めることができないため、すべての点において被写体の存在確率を０以外の値とする。それらの点においては、被写体の奥行きについて考慮されていないため、奥行きのある被写体を撮影した複数の画像から連続的な全方位画像を生成することは困難である。
また、レイヤ上のすべての点で奥行き情報を求めようとした場合、被写体のすべての点を２枚以上の画像で撮影するよう、複数のカメラ、または、複数の画像が必要である。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、全方位画像生成装置において、一部の領域しか重なっていない画像からでも、連続的な全方位画像を生成することが可能となる技術を提供することにある。
また、本発明の他の目的は、前述の全方位画像生成装置の各手段をコンピュータに実行させるためのプログラムを提供することにある。
また、本発明の他の目的は、前述のプログラムが記録された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【課題を解決するための手段】
【０００９】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
本発明は、内部パラメータが既知なカメラを用いて方向を変えて撮影し、かつ撮影時のカメラの位置・姿勢が既知な複数の画像から、任意の視点を中心とした全方位の画像を作成し出力する全方位画像生成装置であって、画像の一部が重なるようにカメラの位置・姿勢を変更して撮影した複数の画像を取得する第１の手段と、全方位画像を生成するために必要なレイヤの位置、数、形状を設定する第２の手段と、各レイヤ上の点に対応する、前記複数の画像のそれぞれの各画像上の対応点との関係を求める第３の手段と、第３の手段で求めた対応点の類似度から各レイヤ上の点における被写体の存在確率を計算する第４の手段と、各レイヤ上の点、それに対応する各画像上の対応点、全方位画像の中心との位置関係に応じて、対応する各画像上の対応点の画素値をブレンディングすることにより、各レイヤ上の点の色情報を計算する第５の手段と、前記第４の手段の処理を実行することで求めた被写体の存在確率の割合で、前記第５の手段の処理を実行することで求めた色情報をレンダリングした各レイヤの色情報を加算し、全方位画像として出力する第６の手段とを備え、前記第４の手段は、各レイヤ上の点に対応する画像上の対応点に基づき、前記被写体の存在確率を求めることができる領域と、前記被写体の存在確率を求めることができない領域に分割する第４−１の手段と、前記被写体の存在確率を求めることができる領域において、各レイヤ上の点に対応する２つ以上の画像上の対応点の類似度から各レイヤ上の前記被写体の存在確率を計算する第４−２の手段と、前記被写体の存在確率を求めることができる領域における前記被写体の存在確率を求めることができない領域との境界からの一定領域において、前記被写体の存在確率をブレンディングする第４−３の手段と、前記被写体の存在確率を求めることができない領域において、前記被写体の存在確率を求めることができる領域における前記被写体の存在確率を求めることができない領域との境界の各レイヤ上の前記被写体の存在確率に基づき、複数のレイヤ上の被写体の存在確率を補間するステップ第４−４の手段とを有する。
【００１０】
また、本発明では、前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域を第２および第３領域とし、前記第１領域が前記２領域と前記第３領域との間に位置する場合に、前記第４−４の手段は、前記第１領域の複数のレイヤの中から、前記第２領域の前記第１領域との境界における前記被写体の存在確率が最も高いレイヤと、前記第３領域の前記第１領域との境界における前記被写体の存在確率が最も高いレイヤとの間の中間位置のレイヤを選択する手段１と、前記第１領域の各レイヤ上の前記被写体の存在確率として、前記選択したレイヤに対して１の存在確率を、それ以外のレイヤに対して０の存在確率を付与する手段２とを有する。
また、本発明では、前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域を第２および第３領域とし、前記第１領域が前記第２領域と前記第３領域との間に位置する場合に、前記第４−４の手段は、前記第１領域の複数のレイヤの中から、前記第２領域の前記第１領域との境界における前記被写体の存在確率が最も高いレイヤと、前記第３領域の前記第１領域との境界における前記被写体の存在確率が最も高いレイヤとの間に位置するレイヤを順次連続的に選択する手段１と、前記第１領域の各レイヤ上の前記被写体の存在確率として、前記選択したレイヤに対して１の存在確率を、それ以外のレイヤに対して０の存在確率を付与する手段２とを有する。
また、本発明では、前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域を第２および第３領域とし、前記第１領域が前記第２領域と前記第３領域との間に位置する場合に、前記第４−４の手段は、前記第１領域の前記第２領域との境界の各レイヤの前記被写体の存在確率として、前記第２領域の前記第１領域との境界の各レイヤの前記被写体の存在確率を付与する手段１と、前記第１領域の前記第３領域との境界の各レイヤの前記被写体の存在確率として、前記第３領域の前記第１領域との境界の各レイヤの前記被写体の存在確率を付与する手段２と、記第１領域における、前記第２領域との境界と前記第３領域との境界との間の各レイヤの前記被写体の存在確率として、前記第１領域の前記第２領域との境界の各レイヤの前記被写体の存在確率から、前記第１領域の前記第３領域との境界の各レイヤの前記被写体の存在確率まで連続的に変化させた存在確率を付与する手段３とを有する。
【００１１】
また、本発明では、前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域を第２領域とし、前記第１領域が前記第２領域の隣に位置する場合に、前記第４−４の手段は、前記第１領域の複数のレイヤの中から、前記第２領域の前記第１領域との境界における前記被写体の存在確率が最も高いレイヤを選択する手段１と、前記第１領域の各レイヤ上の前記被写体の存在確率として、前記選択したレイヤに対して１の存在確率を、それ以外のレイヤに対して０の存在確率を付与する手段２とを有する。
また、本発明では、前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域を第２領域とし、前記第１領域が前記第２領域の隣に位置する場合に、前記第４−４の手段は、前記第１領域における各レイヤの前記被写体の存在確率として、前記第２領域の前記第１領域との境界における前記各レイヤの前記被写体の存在確率を付与する。
また、本発明では、前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域における前記第１領域との境界から一定の領域を第４領域、それ以外の領域を第５領域とするとき、前記第４−３の手段は、前記第１領域の複数のレイヤの中から所定数のレイヤを、ブレンディングする前の前記被写体の存在確率の大きい順に選択する手段１と、前記第１領域の各レイヤ上の前記被写体の存在確率として、前記手段１で選択したレイヤのブレンディングする前の前記被写体の存在確率に基づき、前記手段１で選択したレイヤに対して新たな前記被写体の存在確率を付与するとともに、前記手段１で選択したレイヤ以外のレイヤに対して０の存在確率を付与する手段２とを有し、前記手段１において、前記第４領域と前記第５領域との境界から前記第４領域の前記第１領域との境界に向けて順次選択するレイヤ数を減少させる。
また、本発明では、前記被写体の存在確率を求めることができない領域を第１領域、前記被写体の存在確率を求めることができる領域における前記第１領域との境界から一定の領域を第４領域、それ以外の領域を第５領域とするとき、前記第４−３の手段は、前記第４領域における各レイヤの前記被写体の存在確率として、前記第４領域の前記第５領域との境界の存在確率から前記第４領域の前記第１領域との境界の存在確率まで連続的に変化させた存在確率を付与する。
また、本発明は、前述の（１）ないし（８）の何れかに記載の全方位画像生成装置の各手段をコンピュータに実行させるためのプログラムである。
また、本発明は、前述のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１２】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明の全方位画像生成装置によれば、一部の領域しか重なっていない画像からでも、連続的な全方位画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
［実施例１］
本発明の実施例１の全方位画像生成装置の全方位画像の全体的な生成方法は、基本的に図２と同じである。
以下、図２を用いて、本実施例の全方位画像生成装置の全方位画像生成方法（以下、単に、本実施例の全方位画像生成方法という。）について説明する。
本実施例１では、図２に示すように、画像の一部が重なるようにカメラの位置・姿勢を変更し複数の画像を取得するステップ１と、全方位画像を生成するために必要なレイヤの位置、数、形状を設定するステップ２と、レイヤ上の点に対応する各画像上の対応点との関係を求めるステップ３と、ステップ３で求めた対応点の類似度からレイヤ上の点における被写体の存在確率を計算するステップ４と、レイヤ上の点、それに対応する画像上の対応点、全方位画像の中心との位置関係に応じて、対応する画像上の対応点の画素値をブレンディングすることにより、レイヤ上の点の色情報を計算するステップ５と、ステップ４で求めた被写体の存在確率の割合で、ステップ５で求めた色情報をレンダリングした各レイヤの色情報を加算し、全方位画像として出力するステップ６から構成される。
以下、各ステップにおける詳細な処理について述べる。
【００１４】
0004825824.tif 000006
【００１５】
0004825824.tif 000007
【００１６】
0004825824.tif 000008
【００１７】
0004825824.tif 000009
【００１８】
0004825824.tif 000010
【００１９】
0004825824.tif 000011
【００２０】
（４−４）ステップ４−４
領域Ｖｋでは、レイヤ上の点に対応する対応点を有する画像が、１つしか存在しないため、対応点の類似度から被写体の存在確率を求めることができない。
そこで、領域Ｕｋ−１と領域Ｕｋとの境界での被写体の存在確率を用いて、領域Ｖｋの被写体の存在確率を補間する。
本実施例では、図８の手法１に示すように、領域Ｕｋ−１と領域Ｕｋとの境界において、最も被写体の存在確率が高いレイヤの中間に被写体が存在すると仮定する。そして、中間位置にあるレイヤ上のすべての点の存在確率を１、それ以外のレイヤ上の点の存在確率を０とする。
図８の手法１では、左端の境界（領域Ｕｋ−１の右端）では、手前から３番目のレイヤの存在確率（ここでは、１）が一番大きく、右端の境界（領域Ｕｋの左端）では、手前から６番目（一番奥から２番目）のレイヤの存在確率（ここでは、１）が一番大きい。
そして、中間位置にあるレイヤは、４番目と、５番目のレイヤとなるが、図８の手法１では、両端の存在確率の差が小さい４番目のレイヤ上のすべての点の存在確率を１、それ以外のレイヤ上の点の存在確率を０とする。なお、図８の手法１において、５番目のレイヤ上のすべての点の存在確率を１、それ以外のレイヤ上の点の存在確率を０としてもよい。
ただし、領域Ｖ１とＶＮは、領域Ｕｋの間に存在しない全方位画像の端の領域であるため、図９の手法１に示すように、境界において最も被写体の存在確率が高いレイヤ（ここでは、手前から３番目のレイヤ）に被写体が存在すると仮定し、そのレイヤ上のすべての点の被写体の存在確率を１、それ以外のレイヤ上の被写体の存在確率を０とする。
【００２１】
0004825824.tif 000012
【００２２】
［実施例２］
本実施例２の全方位画像の全体的な生成方法は、実施例１で説明した方法と同様であるため、詳細な説明は省略する。
本実施例２の全方位画像生成において、実施例１と異なるのは、ステップ４のレイヤ上の点における被写体の存在確率を計算する方法である。
実施例１では、全方位画像の中心からレイヤに伸ばした直線において、レイヤ上のすべての点において対応する対応点を有する画像が２つ以上存在するときのみ、画像上の対応点の類似度から被写体の存在確率を求めている。そのため、直線上の一部の点で類似度が求められているにも関わらず、その値を利用していない。
そこで、本実施例２では、全方位画像の中心からレイヤに伸ばした直線において、レイヤ上の一部の点で得られた類似度も用いて、被写体の存在確率を補間する。
以下、実施例２におけるステップ４の処理について説明する。
【００２３】
（４）ステップ４
本実施例２において、ステップ４は、図５に示すように、全方位画像の中心からレイヤに向けて伸ばした直線上の点に対応する対応点を有する画像数に応じて領域を分割するステップ４−１と、直線上のすべての点において、対応点を有する画像が２つ以上存在する領域において、２つ以上の画像のそれぞれ対応点の類似度から被写体の存在確率を計算するステップ４−２と、直線上の一部の点において対応点を有する画像が２つ以上存在する領域において、２つ以上の画像のそれぞれ対応点の類似度から被写体の存在確率を計算するステップ４−３と、直線上の一部の点において対応点を有する画像が２つ以上存在する領域において、領域の境界を連続的につなげるためにブレンディング処理を行うステップ４−４と、直線上のすべての点において対応点を有する画像が１つしか存在しない領域において、境界で被写体が存在する確率が最も高いレイヤの中間位置に被写体が存在すると仮定し、被写体の存在確率を補間するステップ４−５とから構成される。
なお、図５は、本発明の実施例２の全方位画像生成方法の信頼度マップの計算方法の処理手順を示すフローチャートである。以下、各ステップの詳細な処理について述べる。
【００２４】
0004825824.tif 000013
【００２５】
0004825824.tif 000014
【００２６】
0004825824.tif 000015
【００２７】
（４−５）ステップ４−５
領域Ｖｋでは、レイヤ上の点に対応する対応点を有する画像が１つしか存在しないため、対応点の類似度から被写体の存在確率を求めることができない。そこで、領域Ｗｋ−１と領域Ｗｋとの境界での被写体の存在確率を用いて、領域Ｖｋの被写体の存在確率を補間する。
本実施例では、図８の手法１に示すように、領域Ｗｋ−１と領域Ｗｋとの境界において、最も被写体の存在確率が高いレイヤの中間に被写体が存在するとする。そして、中間位置にあるレイヤ上のすべての点の存在確率を１、それ以外のレイヤ上の点の存在確率を０とする。
ただし、領域Ｖ１とＶＮは、領域Ｕｋの間に存在しない全方位画像の端の領域であるため、図９の手法１に示すように、境界において最も被写体の存在確率が高いレイヤ（ここでは、手前から３番目のレイヤ）に被写体が存在すると仮定し、そのレイヤ上のすべての点の被写体の存在確率を１、それ以外のレイヤ上の被写体の存在確率を０とする。
【００２８】
0004825824.tif 000016
【００２９】
0004825824.tif 000017
【００３０】
0004825824.tif 000018
【００３１】
0004825824.tif 000019
【００３２】
0004825824.tif 000020
【００３３】
なお、実施例１のステップ４−４、実施例２のステップ４−５での領域Ｖｋの被写体の存在確率の補間方法は、実施例４の手法を用いることも可能である。
以上説明したように、本実施例によれば、被写体の一部の領域が重なるように撮影した複数のカメラ画像から、奥行き情報を推定することができない領域において、周囲の奥行き情報を推定可能な領域から奥行き情報を補間することにより、連続的な全方位画像を生成することが可能となる。
また、複数のカメラで、被写体の一部の領域が重なるように撮影すればよいため、被写体のすべての点が、必ず２つ以上のカメラで重なるように撮影した場合と比較して、全方位画像を生成するために必要なカメラ台数、または、画像数を減少することができる。
なお、前述の全方位画像生成方法は、コンピュータに実行させることも可能であり、その場合に、全方位画像生成方法は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【００３４】
【図１】従来の全方位画像生成法を説明するための模式図である。
【図２】本発明の実施例の全方位画像生成法と従来の全方位画像生成法の処理手順を示すフローチャートである。
【図３】本発明の実施例１の全方位画像生成方法の信頼度マップの計算方法の処理手順を示すフローチャートである。
【図４】図３のステップ４−１における、信頼度マップの領域分割を説明するための模式図である。
【図５】本発明の実施例２の全方位画像生成方法の信頼度マップの計算方法の処理手順を示すフローチャートである。
【図６】図５のステップ４−１における、信頼度マップの領域分割を説明するための模式図である。
【図７】本発明の各実施例における、領域Ｕｋおよび領域Ｗｋでの被写体の存在確率のブレンディング方法を説明するための模式図である。
【図８】本発明の各実施例における、領域Ｖｋでの被写体の存在確率の補間方法を説明するための模式図である。
【図９】本発明の各実施例における、領域Ｖ１とＶｎでの被写体の存在確率の補間方法を説明するための模式図である。
【符号の説明】
【００３５】
１０１  全方位画像の中心
１０２  カメラのレンズ中心
１０３  画像
１０４  信頼度マップ
１０５  色マップ
【図１】
0004825824.tif 000021
【図２】
0004825824.tif 000022
【図３】
0004825824.tif 000023
【図４】
0004825824.tif 000024
【図５】
0004825824.tif 000025
【図６】
0004825824.tif 000026
【図７】
0004825824.tif 000027
【図８】
0004825824.tif 000028
【図９】
0004825824.tif 000029