(57)【要約】複数のカメラで撮影された複数枚の被写体の画像をもとに、仮想視点から被写体を見たときの画像である仮想視点画像を生成する仮想視点画像生成方法が提供される。この仮想視点画像生成方法において、多層構造をもつ投影面を設定し、前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求め、複数の対応点の色情報に基づいて前記投影点の色情報を決定し、空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点の相関の度合いに基づいて計算し、前記仮想視点から見て重なり合う基準点の色情報に対し、前記被写体が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における各画素の色情報を決定する。
2004114224.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで撮影された複数枚の被写体の画像を取得するステップと、前記被写体を見る位置である仮想視点を決定するステップと、前記取得した被写体の画像をもとに、前記視点から被写体を見たときの画像である仮想視点画像を生成するステップとを有する仮想視点画像生成方法において、
前記仮想視点画像を生成するステップは、
多層構造をもつ投影面を設定するステップ１と、
前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求めるステップ２と、
複数の対応点の色情報または輝度情報に基づいて前記投影点の色情報または輝度情報を決定するステップ３と、
空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点もしくはその近傍領域の相関の度合いに基づいて計算するステップ４と、
前記仮想視点から見て重なり合う基準点の色情報または輝度情報を、前記被写体が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における各画素の色情報または輝度情報を決定するステップ５と、
前記仮想視点画像の画素に相当するすべての点について、前記ステップ１からステップ５までを繰り返し行うステップ６とを有することを特徴とする仮想視点画像生成方法。
【請求項２】
前記ステップ３は、
前記複数の対応点の色情報または輝度情報を混合する、もしくは前記複数の対応点の色情報または輝度情報の中から１つの対応点の色情報または輝度情報を選択することを特徴とする請求項１に記載の仮想視点画像生成方法。
【請求項３】
前記ステップ４または前記ステップ５は、前記被写体が存在する可能性の度合いを変換して、前記投影面上の各基準点に透過から不透過までの複数の階調を持つ透明度を設定するステップを有し、
前記ステップ５は、前記被写体が存在する可能性の度合いの代わりに、前記透明度に応じた混合処理をすることを特徴とする請求項１または請求項２に記載の仮想視点画像生成方法。
【請求項４】
前記ステップ５の混合処理は、
前記仮想視点に遠い投影点から近い投影点に向かって逐次的に処理し、
ある投影点までの混合処理で得られる色情報または輝度情報は、その投影点における色情報または輝度情報とそれ以前の投影点までの混合処理で得られる色情報または輝度情報とを、前記透明度に応じた比率で内分して得ることを特徴とする請求項３に記載の仮想視点画像生成方法。
【請求項５】
前記ステップ１は、前記各被写体の画像を撮影したカメラ毎に固有の投影面を設定し、
前記ステップ３の前記投影点の色情報または輝度情報は、前記複数のカメラにより撮影された被写体の画像の対応点の色情報または輝度情報のみを用いて決定し、
前記ステップ４の前記被写体が存在する可能性の度合いは、前記投影点が属する投影面に固有のカメラの視点を基準視点として計算し、
前記ステップ５の前記仮想視点の色情報または輝度情報の混合処理は、前記仮想視点と前記各基準視点との位置関係により補正することを特徴とする請求項１乃至請求項４のいずれか１項に記載の仮想視点画像生成方法。
【請求項６】
複数のカメラで撮影された複数枚の被写体の画像を取得する被写体画像取得手段と、前記被写体を見る位置である仮想視点を決定する仮想視点決定手段と、前記取得した被写体の画像をもとに前記視点から被写体を見たときの画像である仮想視点画像を生成する画像生成手段とを備える仮想視点画像生成装置において、
前記画像生成手段は、
多層構造をもつ投影面を決定する投影面決定手段と、
基準視点の位置を決定する基準視点決定手段と、
前記投影面に貼り付けるテクスチャ画像の配列を確保するテクスチャ配列確保手段と、
前記複数枚の被写体の画像間で、前記被写体の同一の領域が撮影されている箇所の対応付けを行う対応点マッチング処理手段と、
前記複数枚の被写体の画像を混合処理して、前記テクスチャ画像の配列のうちの色情報または輝度情報を決定する色情報決定手段と、
前記対応点マッチング処理手段の処理結果に基づいて、前記テクスチャ画像の配列のうちの、前記各投影点の位置に相当する距離に前記被写体が存在する可能性の度合いである存在確率情報を決定する存在確率情報決定手段と、
前記色情報決定手段で決定した色情報または輝度情報及び前記存在確率情報決定手段で決定した存在確率情報に基づいて、前記仮想視点から見た前記投影面をレンダリングするレンダリング手段とを備えることを特徴とする仮想視点画像生成装置。
【請求項７】
前記存在確率情報決定手段は、
前記存在確率情報を変換して、前記投影面上の各基準点に透過から不透過までの複数の階調を持つ透明度を設定する手段を備え、
前記レンダリング手段は、前記被写体が存在する可能性の度合いの代わりに、前記透明度を用いてレンダリングすることを特徴とする請求項６に記載の仮想視点画像生成装置。
【請求項８】
レンダリング手段は、
前記仮想視点に遠い投影点から近い投影点に向かって逐次的に処理する手段を備え、
ある投影点までの混合処理で得られる色情報または輝度情報は、その投影点における色情報または輝度情報とそれ以前の投影点までの混合処理で得られる色情報または輝度情報とを、前記透明度に応じた比率で内分して得ることを特徴とする請求項７に記載の仮想視点画像生成装置。
【請求項９】
前記投影面決定手段は、前記各被写体の画像を撮影したカメラ毎に固有の投影面を決定し、
前記色情報決定手段は、前記複数のカメラにより撮影された被写体の画像の対応点の色情報または輝度情報のみを用いて決定し、
前記存在確率情報決定手段は、前記投影点が属する投影面に固有のカメラの視点を基準視点として計算し、
前記レンダリング手段は、前記仮想視点と前記各基準視点との位置関係により補正する手段を備えることを特徴とする請求項６乃至請求項８のいずれか１項に記載の仮想視点画像生成装置。
【請求項１０】
コンピュータに、
複数のカメラで撮影された複数枚の被写体の画像を取得するステップと、前記被写体を見る位置である仮想視点を決定するステップと、前記取得した被写体の画像をもとに、前記視点から被写体を見たときの画像である仮想視点画像を生成するステップとを実行させる仮想視点画像生成プログラムにおいて、
前記仮想視点画像を生成するステップは、
多層構造をもつ投影面を設定するステップ１と、
前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求めるステップ２と、
複数の対応点の色情報または輝度情報に基づいて前記投影点の色情報または輝度情報を決定するステップ３と、
空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点もしくはその近傍領域の相関の度合いに基づいて計算するステップ４と、
前記仮想視点から見て重なり合う基準点の色情報または輝度情報を、前記被写体が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における各画素の色情報または輝度情報を決定するステップ５と、
前記仮想視点画像の画素に相当するすべての点について、前記ステップ１からステップ５までを繰り返し行うステップ６とを有することを特徴とする仮想視点画像生成プログラム。
【請求項１１】
請求項１０に記載の仮想視点画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
複数の異なる視点から被写体を撮影した画像を取得するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、取得した前記被写体の３次元形状に基づいて、観察者の視点から見た前記被写体の画像を生成するステップとを有する画像生成方法であって、
前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報を決定するステップと、前記投影点と対応する対応点間の相関度を算出するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の相関度に基づいて、前記各投影点に物体の表面が存在する確率である存在確率を決定するステップとを有し、
前記相関度を算出するステップは、前記複数の視点の中から選んだいくつかの視点の組み合わせであるカメラセットを複数組用意するステップと、前記各カメラセットに含まれる画像上の対応点から相関度を求めるステップとを有し、
前記存在確率を決定するステップは、前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確率を算出するステップと、前記カメラセット毎に決定した存在確率の統合処理をして前記各投影点の存在確率を決定するステップとを有することを特徴とする画像生成方法。
【請求項１３】
前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確率を算出するステップは、前記カメラセット毎に算出した前記各投影点の相関度から評価基準値を算出するステップと、前記カメラセット毎に算出した前記各投影点の評価基準値の統計処理を行って存在確率の分布関数を算出するステップと、前記存在確率の分布関数に基づいて前記各投影点の存在確率を決定するステップとを有することを特徴とする請求項１２に記載の画像表示方法。
【請求項１４】
前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者の視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さに応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、１枚の２次元画像を生成することを特徴とする請求項１２または請求項１３に記載の画像生成方法。
【請求項１５】
前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者の視点から見て奥行きが異なる位置に、複数枚の画像生成面を設定するステップと、前記観察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の点の位置関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前記各画像生成面上の色情報または輝度情報、及び輝度分配係数に変換するステップとを有することを特徴とする請求項１２または請求項１３に記載の画像生成方法。
【請求項１６】
複数の異なる視点から被写体を撮影した画像を取得する被写体画像取得手段と、前記複数枚の画像から前記被写体の３次元形状を取得する３次元形状取得手段と、取得した前記被写体の３次元形状に基づいて、観察者の視点から見た前記被写体の画像を生成する被写体画像生成手段とを備える画像生成装置であって、
前記３次元形状取得手段は、仮想的な３次元空間上に多層構造の投影面を設定する手段と、前記被写体の３次元形状を取得するための基準視点を決定する手段と、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、前記投影点と対応する対応点間の相関度を算出する手段と、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の相関度に基づいて、前記各投影点に物体の表面が存在する確率である存在確率を決定する手段とを備え、
前記相関度を算出する手段は、前記複数の視点の中から選んだいくつかの視点の組み合わせであるカメラセットを複数組用意する手段と、前記各カメラセットに含まれる画像上の対応点から相関度を求める手段とを備え、
前記存在確率を決定する手段は、前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確率を算出する手段と、前記カメラセット毎に決定した存在確率の統合処理をして前記各投影点の存在確率を決定する手段とを備えることを特徴とする画像生成装置。
【請求項１７】
前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確率を算出する手段は、前記カメラセット毎に算出した前記各投影点の相関度から評価基準値を算出する手段と、前記カメラセット毎に算出した前記各投影点の評価基準値の統計処理を行って存在確率の分布関数を算出する手段と、前記存在確率の分布関数に基づいて前記各投影点の存在確率を決定する手段とを有することを特徴とする請求項１６に記載の画像生成装置。
【請求項１８】
前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さに応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、１枚の２次元画像を生成する手段であることを特徴とする請求項１６または請求項１７に記載の画像生成装置。
【請求項１９】
前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の視点から見て奥行きが異なる位置に、複数枚の画像生成面を設定する手段と、前記観察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の点の位置関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前記各画像生成面上の色情報または輝度情報、及び輝度分配係数に変換する手段とを備えることを特徴とする請求項１６または請求項１７に記載の画像生成装置。
【請求項２０】
コンピュータに、
複数の異なる視点から被写体を撮影した画像を取得するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、取得した前記被写体の３次元形状に基づいて、観察者の視点から見た前記被写体の画像を生成するステップとを実行させる画像生成プログラムであって、
前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報を決定するステップと、前記投影点と対応する対応点間の相関度を算出するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の相関度に基づいて、前記各投影点に物体の表面が存在する確率である存在確率を決定するステップとを有し、
前記相関度を算出するステップは、前記複数の視点の中から選んだいくつかの視点の組み合わせであるカメラセットを複数組用意するステップと、前記各カメラセットに含まれる画像上の対応点から相関度を求めるステップとを有し、
前記存在確率を決定するステップは、前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確率を算出するステップと、前記カメラセット毎に決定した存在確率の統合処理をして前記各投影点の存在確率を決定するステップとを有することを特徴とする画像生成プログラム。
【請求項２１】
前記請求項２０に記載の画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２２】
合焦距離を変えて被写体を撮影した複数枚の画像を取得するステップと、前記複数枚の画像に写っている被写体を見る視点である仮想視点を設定するステップと、
前記複数枚の画像から前記被写体の３次元形状を取得するステップと、前記取得した被写体の３次元形状に基づいて、前記仮想視点から見た前記被写体の画像を生成するステップとを有する画像生成方法であって、
前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した各画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと、前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を決定するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の合焦点度に基づいて、前記各投影点の位置に相当する距離に前記被写体の表面が存在する確率である存在確率を決定するステップとを有し、
前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点から見て重なり合う投影点の色情報または輝度情報を前記存在確率に応じた割合で混合して、生成する画像上の各点の色情報または輝度情報を決定することを特徴とする画像生成方法。
【請求項２３】
前記被写体の３次元形状を取得するステップ、または前記仮想視点から見た前記被写体の画像を生成するステップは、前記基準視点または前記仮想視点から見て重なり合う複数の投影点の存在確率に基づいて、前記各投影点上に透過から不透過までの複数の階調を持つ透明度を設定するステップを有し、
前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点から見て重なり合う複数の投影点の色情報または輝度情報を、前記存在確率に基づいて設定した前記透明度に応じた割合で混合して、生成する画像上の各点の色情報または輝度情報を決定することを特徴とする請求項２２に記載の画像生成方法。
【請求項２４】
前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点から見て遠い投影点から近い投影点に向かって逐次的に色情報または輝度情報を混合し、
ある投影点までの色情報または輝度情報は、その投影点における色情報または輝度情報とそれ以前の投影点までの混合処理で得られる色情報または輝度情報とを、前記透明度に応じた比率で内分して得ることを特徴とする請求項２３に記載の画像生成方法。
【請求項２５】
合焦距離を変えて被写体を撮影した複数枚の画像を取得する被写体画像取得手段と、前記複数枚の画像に写っている被写体を見る視点である仮想視点を設定する仮想視点設定手段と、前記複数枚の画像から前記被写体の３次元形状を取得する３次元形状取得手段と、前記取得した被写体の３次元形状に基づいて、前記仮想視点から見た前記被写体の画像を生成するレンダリング手段とを備える画像生成装置であって、
前記３次元形状取得手段は、仮想的な３次元空間上に多層構造の投影面を設定する手段と、前記被写体の３次元形状を取得するための基準視点を決定する手段と、前記投影面上の点である投影点と対応する前記取得した各画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を決定する手段と、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の合焦点度に基づいて、前記各投影点の位置に相当する距離に前記被写体の表面が存在する確率である存在確率を決定する手段とを備え、
前記レンダリング手段は、前記仮想視点から見て重なり合う投影点の色情報または輝度情報を前記存在確率に応じた割合で混合して、生成する画像上の各点の色情報または輝度情報を決定する手段を備えることを特徴とする画像生成装置。
【請求項２６】
前記３次元形状取得手段、または前記レンダリング手段は、前記基準視点または前記仮想視点から見て重なり合う複数の投影点の存在確率に基づいて、前記各投影点上に透過から不透過までの複数の階調を持つ透明度を設定する手段を備え、
前記レンダリング手段は、前記仮想視点から見て重なり合う複数の投影点の色情報または輝度情報を、前記存在確率に基づいて設定した前記透明度に応じた割合で混合して、生成する画像上の各点の色情報または輝度情報を決定する手段を備えることを特徴とする請求項２５に記載の画像生成装置。
【請求項２７】
前記レンダリング手段は、前記仮想視点から見て遠い投影点から近い投影点に向かって逐次的に色情報または輝度情報を混合し、ある投影点までの色情報または輝度情報は、その投影点における色情報または輝度情報とそれ以前の投影点までの混合処理で得られる色情報または輝度情報とを、前記透明度に応じた比率で内分して得る手段を備えることを特徴とする請求項２６に記載の画像生成装置。
【請求項２８】
コンピュータに、
合焦距離を変えて被写体を撮影した複数枚の画像を取得するステップと、前記複数枚の画像に写っている被写体を見る視点である仮想視点を設定するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、前記取得した被写体の３次元形状に基づいて、前記仮想視点から見た前記被写体の画像を生成するステップとを実行させる画像生成プログラムであって、
前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した各画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと、前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を決定するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の合焦点度に基づいて、前記各投影点の位置に相当する距離に前記被写体の表面が存在する確率である存在確率を決定するステップとを有し、
前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点から見て重なり合う投影点の色情報または輝度情報を前記存在確率に応じた割合で混合して、生成する画像上の各点の色情報または輝度情報を決定するステップを有することを特徴とする画像生成プログラム。
【請求項２９】
請求項２８に記載の画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３０】
異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、前記取得した被写体の３次元形状に基づいて、前記観察者の視点から見た前記被写体の画像を生成するステップとを有する画像生成方法であって、
前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステップとを有し、
前記存在確率を決定するステップは、前記対応点の画像情報から前記各投影点の評価基準値を算出するステップと、前記各投影点の評価基準値の統計処理を行うステップと、前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出するステップとを有することを特徴とする画像生成方法。
【請求項３１】
前記複数枚の画像を取得するステップは、複数の異なる視点から前記被写体を撮影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と対応する対応点間の相関度を求めるステップと、前記各投影点の相関度に基づいた評価基準値を算出するステップと、前記評価基準値の統計処理を行うステップと、前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出するステップとを有することを特徴とする請求項３０に記載の画像生成方法。
【請求項３２】
前記複数枚の画像を取得するステップは、１つの視点から合焦距離を変えて前記被写体を撮影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を算出するステップと、前記各投影点の合焦点度に基づいた評価基準値を算出するステップと、前記評価基準値の統計処理を行うステップと、前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出するステップとを有することを特徴とする請求項３０に記載の画像生成方法。
【請求項３３】
前記複数枚の画像を取得するステップは、複数の視点から前記被写体を撮影した画像、及び前記複数の視点のうち、１つ以上の視点から合焦距離を変えて前記被写体を撮影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と前記視点の異なる複数枚の画像上の対応点間の相関度を求めるステップと、前記各投影点の相関度に基づいた第１評価基準値を算出するステップと、前記第１評価基準値の統計処理を行うステップと、
ある視点から撮影した前記合焦距離の異なる画像上の対応点の合焦点度から前記投影点の合焦点度を算出するステップと、前記各投影点の合焦点度に基づいた第２評価基準値を算出するステップと、前記第２評価基準値の統計処理を行うステップと、前記統計処理を行った第１評価基準値及び第２評価基準値に基づいて前記各投影点の存在確率を算出するステップとを有することを特徴とする請求項３０に記載の画像生成方法
【請求項３４】
前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者の視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さに応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、１枚の２次元画像を生成することを特徴とする請求項３０乃至請求項３３のいずれか１項に記載の画像生成方法。
【請求項３５】
前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者の視点から見て奥行きが異なる位置に、複数枚の画像生成面を設定するステップと、前記観察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の点の位置関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前記各画像生成面上の色情報または輝度情報、及び輝度分配係数に変換するステップとを有することを特徴とする請求項３０乃至請求項３３のいずれか１項に記載の画像生成方法。
【請求項３６】
異なる条件で被写体を撮影した複数枚の画像を取得する被写体画像取得手段と、前記複数枚の画像から前記被写体の３次元形状を取得する被写体形状取得手段と、前記取得した被写体の３次元形状に基づいて、前記観察者の視点から見た前記被写体の画像を生成する被写体画像生成手段とを備える画像生成装置であって、
前記被写体形状取得手段は、仮想的な３次元空間上に多層構造の投影面を設定する手段と、前記被写体の３次元形状を取得するための基準視点を決定する手段と、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、前記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の表面が存在する確率である存在確率を決定する手段とを備え、
前記存在確率を決定する手段は、前記対応点の画像情報から前記各投影点の評価基準値を算出する手段と、前記各投影点の評価基準値の統計処理を行う手段と、
前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出する手段とを備えることを特徴とする画像生成装置。
【請求項３７】
前記被写体画像取得手段は、複数の異なる視点から前記被写体を撮影した画像を取得し、
前記存在確率を決定する手段は、前記投影点と対応する対応点間の相関度を求める手段と、前記各投影点の相関度に基づいた評価基準値を算出する手段と、前記評価基準値の統計処理を行う手段と、前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出する手段とを備えることを特徴とする請求項３６に記載の画像生成装置。
【請求項３８】
前記被写体画像取得手段は、１つの視点から合焦距離を変えて前記被写体を撮影した画像を取得し、
前記存在確率を決定する手段は、前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を算出する手段と、前記各投影点の合焦点度に基づいた評価基準値を算出する手段と、前記評価基準値の統計処理を行う手段と、前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出する手段とを備えることを特徴とする請求項３６に記載の画像生成装置。
【請求項３９】
前記被写体画像取得手段は、複数の視点から前記被写体を撮影した画像、及び前記複数の視点のうち、１つ以上の視点から合焦距離を変えて前記被写体を撮影した画像を取得し、
前記存在確率を決定する手段は、前記投影点と前記視点の異なる複数枚の画像上の対応点間の相関度を求める手段と、前記各投影点の相関度に基づいた第１評価基準値を算出する手段と、前記第１評価基準値の統計処理を行う手段と、
ある視点から撮影した前記合焦距離の異なる画像上の対応点の合焦点度から前記投影点の合焦点度を算出する手段と、前記各投影点の合焦点度に基づいた第２評価基準値を算出する手段と、前記第２評価基準値の統計処理を行う手段と、前記統計処理を行った第１評価基準値及び第２評価基準値に基づいて前記各投影点の存在確率を算出する手段とを備えることを特徴とする請求項３６に記載の画像生成装置。
【請求項４０】
前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さに応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、１枚の２次元画像を生成する手段であることを特徴とする請求項３６乃至請求項３９のいずれか１項に記載の画像生成装置。
【請求項４１】
前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の視点から見て奥行きが異なる位置に複数枚の画像生成面を設定する手段と、前記観察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の点の位置関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前記各画像生成面上の色情報または輝度情報、及び輝度分配係数に変換する手段とを備えることを特徴とする請求項３６乃至請求項３９のいずれか１項に記載の画像生成装置。
【請求項４２】
コンピュータに、
異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、前記取得した被写体の３次元形状に基づいて、前記観察者の視点から見た前記被写体の画像を生成するステップとを実行させる画像生成プログラムであって、
前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステップとを有し、
前記存在確率を決定するステップは、前記対応点の画像情報から前記各投影点の評価基準値を算出するステップと、前記各投影点の評価基準値の統計処理を行うステップと、前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出するステップとを有することを特徴とする画像生成プログラム。
【請求項４３】
前記請求項４２に記載の画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項４４】
異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、観察者から見て異なった奥行き位置にある複数の画像表示面を前記観察者が見る視点位置を設定するステップと、前記取得した被写体の３次元形状に基づいて前記各画像表示面に表示する２次元画像を生成するステップと、前記生成した２次元画像を前記各表示面に表示することで前記被写体の３次元像を提示するステップとを有する３次元画像表示方法であって、
前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステップとを有し、
前記２次元画像を生成するステップは、前記投影点の色情報または輝度情報、及び存在確率を、前記投影点が存在する投影面と対応する前記画像表示面上の点である表示点の色情報または輝度情報、及び存在確率に変換して前記２次元画像を生成し、
前記被写体の３次元像を提示するステップは、前記各表示点の色情報または輝度情報を、前記存在確率に応じた輝度で表示することを特徴とする３次元画像表示方法。
【請求項４５】
前記複数枚の画像を取得するステップは、複数の異なる視点から前記被写体を撮影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と対応する対応点間の相関度を求めるステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の相関度の高さに基づいて前記各投影点の存在確率を決定するステップとを有することを特徴とする請求項４４に記載の３次元画像表示方法。
【請求項４６】
前記複数枚の画像を取得するステップは、１つの視点から合焦距離を変えて前記被写体を撮影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を算出するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の合焦点度の高さに基づいて前記各投影点の存在確率を決定するステップとを有することを特徴とする請求項４４に記載の３次元画像表示方法。
【請求項４７】
前記複数枚の画像を取得するステップは、複数の視点から前記被写体を撮影した画像、及び前記複数の視点のうち、１つ以上の視点から合焦距離を変えて前記被写体を撮影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と前記視点の異なる画像上の対応点間の相関度を求めるステップと、前記各視点の合焦距離が異なる画像上の対応点の合焦点度を算出するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の前記相関度の高さ及び前記合焦点度の高さに基づいて前記各投影点の存在確率を決定することを特徴とする請求項４４に記載の３次元画像表示方法。
【請求項４８】
異なる条件で被写体を撮影した複数枚の画像を取得する被写体画像取得手段と、前記複数枚の画像から前記被写体の３次元形状を取得する３次元形状取得手段と、観察者から見て異なった奥行き位置にある複数の画像表示面を前記観察者が見る視点位置を設定する観察者視点設定手段と、前記取得した被写体の３次元形状に基づいて、前記各画像表示面に表示する２次元画像を生成する２次元画像生成手段とを備え、前記生成した２次元画像を前記各表示面に表示させることで前記被写体の３次元像を提示させる３次元画像表示装置であって、
前記３次元形状取得手段は、仮想的な３次元空間上に多層構造の投影面を設定する手段と、前記被写体の３次元形状を取得するための基準視点を決定する手段と、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、前記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の表面が存在する確率である存在確率を決定する手段とを備え、
前記２次元画像生成手段は、前記投影点の色情報または輝度情報、及び存在確率を、前記投影点が存在する投影面と対応する前記画像表示面上の点である表示点の色情報または輝度情報、及び存在確率に変換して前記２次元画像を生成する手段を備え、
前記各表示点の色情報または輝度情報を、前記存在確率に応じた輝度で表示させることを特徴とする３次元画像表示装置。
【請求項４９】
前記被写体画像取得手段は、複数の異なる視点から前記被写体を撮影した画像を取得する手段であり、
前記存在確率を決定する手段は、前記投影点と対応する対応点間の相関度を求める手段と、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の相関度の高さに基づいて前記各投影点の存在確率を決定する手段とを備えることを特徴とする請求項４８に記載の３次元画像生成装置。
【請求項５０】
前記被写体画像取得手段は、１つの視点から合焦距離を変えて前記被写体を撮影した画像を取得する手段であり、
前記存在確率を決定する手段は、前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を算出する手段と、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の合焦点度の高さに基づいて前記各投影点の存在確率を決定する手段とを備えることを特徴とする請求項４８に記載の３次元画像生成装置。
【請求項５１】
前記被写体画像取得手段は、複数の視点から前記被写体を撮影した画像、及び前記複数の視点のうち、１つ以上の視点から合焦距離を変えて前記被写体を撮影した画像を取得する手段であり、
前記存在確率を決定する手段は、前記投影点と前記視点の異なる画像上の対応点間の相関度を求める手段と、前記各視点の合焦距離が異なる画像上の対応点の合焦点度を算出するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の前記相関度の高さ及び前記合焦点度の高さに基づいて前記各投影点の存在確率を決定する手段を備えることを特徴とする請求項４８に記載の３次元画像生成装置。
【請求項５２】
コンピュータに、
異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、観察者から見て異なった奥行き位置にある複数の画像表示面を前記観察者が見る視点位置を設定するステップと、前記取得した被写体の３次元形状に基づいて前記各画像表示面に表示する２次元画像を生成するステップと、前記生成した２次元画像を前記各表示面に表示することで前記被写体の３次元像を提示するステップとを実行させる３次元画像表示プログラムであって、
前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステップとを有し、
前記２次元画像を生成するステップは、前記投影点の色情報または輝度情報、及び存在確率を、前記投影点が存在する投影面と対応する前記画像表示面上の点である表示点の色情報または輝度情報、及び存在確率に変換して前記２次元画像を生成するステップを有し、
前記被写体の３次元像を提示するステップは、前記各表示点の色情報または輝度情報を、前記存在確率に応じた輝度で表示するステップを有することを特徴とする３次元画像生成プログラム。
【請求項５３】
前記請求項５２に記載の３次元画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】［０００１］  本発明は、複数枚の画像から物体の３次元形状に関する情報を推定し、その情報を用いて画像を生成する技術に関するものである。本発明の技術は、例えば、テレビ電話等の視覚的なコミュニケーションを支援するシステムに適用できる。
【背景技術】［０００２］  従来から、コンピュータグラフィックス（ＣＧ；Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）やバーチャルリアリティ（ＶＲ；Ｖｉｒｔｕａｌ  Ｒｅａｌｔｙ）の分野では、カメラが設置された視点位置からだけでなく、利用者が望む視点位置から見た被写体の画像をコンピュータにより生成する技術が盛んに研究されている。
［０００３］  例えば、異なる条件で被写体を撮影した複数枚の画像を用いて、被写体の３次元像を表示する、あるいは被写体を仮想的な視点から見た画像（以下、仮想視点画像という）を生成する方法がある。
［０００４］  物体の３次元像を表示する方法としては、例えば、ＤＦＤ（Ｄｅｐｔｈ−Ｆｕｓｅｄ  ３−Ｄ）ディスプレイのように、複数枚の画像表示面を持つディスプレイを用いる方法がある。前記ＤＦＤは、複数枚の画像表示面を、ある間隔で重ね合わせたディスプレイである（例えば、文献１：特許第３０２２５５８号公報を参照）。また、前記ＤＦＤには、大きく分けて、輝度変調型と透過型がある。
［０００５］  前記ＤＦＤに前記物体の画像を表示するときには、例えば、表示する物体の２次元画像を各画像表示面に表示する。このとき、前記ＤＦＤが輝度変調型であれば、前記各表示面上の、あらかじめ設定された観察者の視点（基準視点）から見て重なる画素の輝度を、前記物体の奥行き方向の形状に応じた割合に設定して表示する。こうすると、前記物体上のある点は、観察者から見て手前にある画像表示面の画素の輝度が大きくなり、また別の点は、観察者から見て奥の表示面の画素の輝度が大きくなる。その結果、前記ＤＦＤの各画像表示面に表示される画像を観察する観察者は、前記物体の立体的な画像（３次元像）を観察することができる。
［０００６］  また、前記ＤＦＤが透過型であれば、前記各画像表示面上の、あらかじめ設定された観察者の視点（基準視点）から見て重なる画素の透過度を、前記物体の奥行き方向の形状に応じた割合に設定して表示する。
［０００７］  また、前記物体の３次元像を表示する方法としては、前記ＤＦＤを用いた表示方法の他に、例えば、観察者の左右の眼の間隔に相当する視差を有する２枚の画像を、液晶ディスプレイ等の１枚の画面上に表示する方法もある。
［０００８］  このような、物体の３次元像を表示するための画像や任意の視点から見た前記物体の画像を生成するときに、前記物体の３次元形状が、例えば、コンピュータ・グラフィックス等で生成されていて既知である場合は、そのモデルを用いて前記各画像を生成すればよい。一方、前記物体の３次元形状が既知でない場合は、前記各画像を生成する前に、前記物体の３次元形状、すなわち、幾何学的なモデルを取得しなければならない。
［０００９］  また、前記複数枚の画像を用いて前記仮想視点画像を生成するときにも、まず、前記複数枚の画像をもとにして前記被写体の幾何学的なモデルを得る必要がある。このとき、得られた前記被写体の幾何学的なモデルは、例えば、ポリゴンやボクセルと呼ばれる基本図形の集まりとして表現される。
［００１０］  前記複数枚の画像をもとにして前記被写体の幾何学的なモデルを得る方法は様々であり、コンピュータ・ビジョンの分野において、Ｓｈａｐｅ  ｆｒｏｍ  Ｘとして数多くの研究がなされている。前記Ｓｈａｐｅ  ｆｒｏｍ  Ｘにおいて代表的なモデル取得方法は、ステレオ法である（例えば、文献２：「Ｔａｋｅｏ  Ｋａｎａｄｅ  ｅｔ  ａｌ．：″Ｖｉｒｔｕａｌｉｚｅｄ  Ｒｅａｌｉｔｙ：Ｃｏｎｓｔｒｕｃｔｉｎｇ  Ｖｉｒｔｕａｌ  Ｗｏｒｌｄｓ  ｆｒｏｍ  Ｒｅａｌ  Ｓｃｅｎｅｓ，″ＩＥＥＥ  ＭｕｌｔｉＭｅｄｉａ，Ｖｏｌ．４，Ｎｏ．１，ｐｐ．３４−３７，１９９７」を参照。）。
［００１１］  前記ステレオ法では、異なる視点から被写体を撮影した複数枚の画像をもとにして、前記被写体の幾何学的なモデルを得る。このとき、モデルを取得するための基準視点から前記被写体上の各点までの距離は、例えば、対応点マッチング、すなわち各画像上の点（画素）の対応付けを行い、三角測量の原理で求める。ただしこのとき、前記ステレオ法で即座に前記被写体の幾何学的なモデルが得られるわけではなく、得られるのは被写体表面の点群である。そのため、前記被写体の幾何学的なモデルを得るには、前記点群に含まれる各点同士がどのように繋がり、どのような面を構成するかという構造情報を決定する必要がある（例えば、文献３：「池内克史：″画像による実物体のモデル作成″，日本ロボット学会誌，Ｖｏｌ．１６，Ｎｏ．６，ｐｐ，７６３−７６６，１９９８」を参照）。
［００１２］  つまり、前記ステレオ法を用いて前記被写体の幾何学的なモデルを得る方法では、画像を生成する装置（計算機）で、前記被写体の形状の当てはめや統計処理等の複雑な処理を行わなければならない。そのため、高い計算機パワーが必要となる。
［００１３］  また、複数枚の画像をもとにして前記被写体の幾何学的なモデルを得る方法には、前記ステレオ法とならぶ代表的なモデル取得方法として、複数の視点で撮影した各画像の被写体の輪郭をもとにして、空間中で前記被写体が占める領域を決めるＳｈａｐｅ  ｆｒｏｍ  Ｓｉｌｈｏｕｅｔｔｅと呼ばれる方法（以下、Ｓｈａｐｅ  ｆｒｏｍ  Ｓｉｌｈｏｕｅｔｔｅ法という）がある（例えば、文献４：「Ｐｏｔｍｅｓｉｌ，Ｍ：″Ｇｅｎｅｒａｔｉｎｇ  Ｏｃｔｒｅｅ  Ｍｏｄｅｌｓ  ｏｆ  ３Ｄ  Ｏｂｊｅｃｔｓ  ｆｒｏｍ  ｔｈｅｉｒ  Ｓｉｌｈｏｕｅｔｔｅｓ  ｉｎ  ａ  Ｓｅｑｕｅｎｃｅ  ｏｆ  Ｉｍａｇｅｓ，″ＣＶＧＩＰ  ４０，ｐｐ．１−２９，１９８７」を参照。）。
［００１４］  前記Ｓｈａｐｅ  ｆｒｏｍ  Ｓｉｌｈｏｕｅｔｔｅ法で得られる前記被写体の幾何学的なモデルは、ボクセルと呼ばれる微小な立方体の集まりとして表現されることが多い。しかしながら、前記被写体の幾何学的なモデルを前記ボクセルで表現する場合、前記被写体の３次元形状を表現するために必要なデータ量が膨大な量になる。そのため、前記Ｓｈａｐｅ  ｆｒｏｍ  Ｓｉｌｈｏｕｅｔｔｅ法を用いて前記被写体の幾何学的なモデルを得るには、高い計算機パワーが要求される。
［００１５］  そこで近年、前記ステレオ法や前記Ｓｈａｐｅ  ｆｒｏｍ  Ｓｉｌｈｏｕｅｔｔｅ法のように前記被写体の幾何学的なモデルをポリゴンやボクセル等で表現する代わりに、例えば、前記被写体の部分的な画像を多層構造の投影面にテクスチャマッピングし、前記被写体の３次元的な形状を多層平面で表現する方法が提案されている（例えば、文献５「Ｊｏｎａｔｈａｎ  Ｓｈａｄｅ  ｅｔ  ａｌ．：″Ｌａｙｅｒｅｄ  Ｄｅｐｔｈ  Ｉｍａｇｅｓ，″ＳＩＧＧＲＡＰＩＩ９８  Ｃｏｎｆｅｒｅｎｃｅ  Ｐｒｏｃｅｅｄｉｎｇｓ，ｐｐ．２３１−２４２，１９９８」、文献６「多湖，新田，苗村，原島：″動的レイヤ表現を用いたＶｉｄｅｏ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ″，３次元画像コンファレンス２００１，ｐｐ．３３−３６，２００１」を参照。）。
［００１６］  前記テクスチャマッピングは、多層構造の投影面を設定し、前記撮影した画像から切り取った部分的な画像（テクスチャ画像）を、そのテクスチャ画像に写っている物体の距離に対応する投影面に貼り合わせて、立体的な視覚効果を得る方法である。そのため、一般に普及しているパーソナル・コンピュータに搭載されているグラフィックス・ハードウェアでも、十分に高速な処理を行うことができるとともに、データの扱いが容易であるという利点がある。
［００１７］  しかしその一方、前記テクスチャマッピングによる多層平面で前記被写体の幾何学的なモデルを表現する場合、前記投影面の設定間隔が広すぎると、前記被写体の詳細な形状を表現することができない。そのため、大まかな形状は投影面（平面）で表現し、微細な形状については、前記テクスチャ画像の画素毎に、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の色情報に加えて、もう１つの値（デプス値）を持たせるような工夫がなされている。前記文献５では、各テクスチャ画像の画素の位置を前記デプス値に応じて変化させて、前記多層平面だけでは表現しきれない微細な奥行きを表現する方法が提案されている。また、前記文献６では、前記デプス値に応じて、各画素の透明度を設定して、前記多層平面だけでは表現しきれない微細な奥行きを表現する方法が提案されている。
【発明の開示】
【発明が解決しようとする課題】［００１８］  しかしながら、被写体の幾何学的なモデルを得る方法のうち、前記ステレオ法を用いて前記被写体の幾何学的なモデルを得る方法では、前記被写体の形状や表面の模様（テクスチャ）、前記被写体周辺の環境の影響を受けやすく、どのような形状の被写体でも、そして前記被写体上のどの点でも信頼性の高い距離情報を得られるとは限らない（例えば、文献７：「奥富正敏：″ステレオがなぜ難しいか″，日本ロボット学会誌，Ｖｏｌ．１６，Ｎｏ．６，ｐｐ．３９−４３，１９９８」を参照。）。
［００１９］  前記被写体の距離を推定するときに、その推定の信頼性が低いと、誤った距離を推定してしまうことがある。距離の推定を誤った場合、前記被写体の幾何学的なモデルを用いて生成した仮想視点画像は、例えば、前記距離の推定を誤った箇所に不連続なノイズが現れる。そのため、前記仮想視点画像は、例えば、図１に示すように、被写体７の一部に欠損領域７Ｂが生じているように見える。
［００２０］  また、前記Ｓｈａｐｅ  ｆｒｏｍ  Ｓｉｌｈｏｕｅｔｔｅ法は、原理的に、前記被写体が凸形状であることを仮定して前記被写体の幾何学的なモデルを得る方法である。そのため、前記被写体が全体的あるいは部分的に凹形状であると、前記被写体の正しいモデルを取得することができないという問題がある。
［００２１］  また、前記Ｓｈａｐｅ  ｆｒｏｍ  Ｓｉｌｈｏｕｅｔｔｅ法は、画像上の背景と前記被写体の輪郭を正確に抽出すること自体が難しく、正確に抽出する方法については、現在でもコンピュータ・ビジョン分野における主要な研究課題となっている。つまり、前記Ｓｈａｐｅ  ｆｒｏｍ  Ｓｉｌｈｏｕｅｔｔｅ法で得られる前記被写体の幾何学的なモデルは、不正確な輪郭から得られるモデルであり、その信頼性は十分に高いとはいえない。そのため、前記Ｓｈａｐｅ  ｆｒｏｍ  Ｓｉｌｈｏｕｅｔｔｅ法で得られた前記被写体の幾何学的なモデルから生成される画像は、十分に満足できる画質ではないという問題がある。
［００２２］  また、前記テクスチャマッピングのように前記被写体の３次元的な形状を多層平面で表現する方法は、各テクスチャ画素に与える前記デプス値が既知である、すなわち前記被写体の形状が正確に求められていることを前提にしている。そのため、前記物体の形状が既知でない場合は、まず、前記被写体の幾何学的なモデルを取得しなければならない。その結果、前記被写体の形状を推定したときに信頼性が低い箇所があると、前記テクスチャ画像を誤った投影面に貼り付けてしまうことがあり、生成した画像が著しく劣化することがあるという問題がある。
［００２３］  また、前記テクスチャマッピングにより前記被写体の３次元的な形状を表現する方法では、前記多層構造の投影面に画像を貼り付ける処理は高速であるが、前記デプス値を求める処理において前記被写体の形状を正確に求めようとすると、高い処理能力が必要になる。
［００２４］  以上説明したように、従来技術では、前記被写体の形状を推定するときに、その推定の信頼性が低い箇所があると、距離の推定を誤りやすく、生成した画像上に不連続なノイズが生じて画質が低下しやすいという問題があった。
［００２５］  また、前記被写体の形状の推定の誤りによる画質の低下を防ぐためには、推定の信頼性が高くなるようにすればよいが、そのためには、多数の画像を用い、厳密な計算処理を行って、前記被写体の正確な幾何学的なモデルを得なければならない。しかしながら、その場合、仮想視点画像等を生成する装置に高い処理性能（計算機パワー）が必要である。そのため、一般に普及しているパーソナル・コンピュータ等では、画質の劣化が少ない仮想視点画像を高速で生成することが難しいという問題もあった。
［００２６］  また、被写体の幾何学的なモデルの信頼性を高くするためには、より多くの視点から撮影した画像が必要になる。そのため、撮影装置が大型化し、装置構成が複雑化するという問題もあった。
［００２７］  本発明の目的は、複数枚の画像から被写体の３次元的な形状を取得して被写体の画像を生成するときに、被写体の形状の推定の信頼性が低い部分で生じる著しい画質の劣化を低減することが可能な技術を提供することにある。
［００２８］  本発明の他の目的は、複数枚の画像から被写体の３次元的な形状を取得して被写体の画像を生成するときに、処理性能が低い装置でも、部分的な画質の劣化が少なく、かつ、短時間で画像を生成することが可能な技術を提供することにある。
［００２９］  本発明の他の目的は、被写体の幾何学的なモデルを得るために用いる画像を撮影する撮影装置の小型化し、装置構成を簡素化が可能な技術を提供することにある。
［００３０］  本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【課題を解決するための手段】［００３１］  上記の課題を解決するために、本発明は、複数のカメラで撮影された複数枚の被写体の画像を取得するステップと、前記被写体を見る位置である仮想視点を決定するステップと、前記取得した被写体の画像をもとに、前記視点から被写体を見たときの画像である仮想視点画像を生成するステップとを有する仮想視点画像生成方法において、前記仮想視点画像を生成するステップは、多層構造をもつ投影面を設定するステップ１と、前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求めるステップ２と、複数の対応点の色情報または輝度情報に基づいて前記投影点の色情報または輝度情報を決定するステップ３と、空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点もしくはその近傍領域の相関の度合いに基づいて計算するステップ４と、前記仮想視点から見て重なり合う基準点の色情報または輝度情報を、前記被写体が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における各画素の色情報または輝度情報を決定するステップ５と、前記仮想視点画像の画素に相当するすべての点について、前記ステップ１からステップ５までを繰り返し行うステップ６とを有することを特徴とする仮想視点画像生成方法として構成できる。
［００３２］  また、本発明の画像生成方法は、複数の異なる視点から被写体を撮影した画像を取得するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、取得した前記被写体の３次元形状に基づいて、観察者の視点から見た前記被写体の画像を生成するステップとを有する画像生成方法であって、前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報を決定するステップと、前記投影点と対応する対応点間の相関度を算出するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の相関度に基づいて、前記各投影点に物体の表面が存在する確率である存在確率を決定するステップとを有し、前記相関度を算出するステップは、前記複数の視点の中から選んだいくつかの視点の組み合わせであるカメラセットを複数組用意するステップと、前記各カメラセットに含まれる画像上の対応点から相関度を求めるステップとを有し、前記存在確率を決定するステップは、前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確率を算出するステップと、前記カメラセット毎に決定した存在確率の統合処理をして前記各投影点の存在確率を決定するステップとを有するものとして構成することもできる。
［００３３］  また、本発明は、合焦距離を変えて被写体を撮影した複数枚の画像を取得するステップと、前記複数枚の画像に写っている被写体を見る視点である仮想視点を設定するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、前記取得した被写体の３次元形状に基づいて、前記仮想視点から見た前記被写体の画像を生成するステップとを有する画像生成方法であって、前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した各画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと、前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を決定するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の合焦点度に基づいて、前記各投影点の位置に相当する距離に前記被写体の表面が存在する確率である存在確率を決定するステップとを有し、前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点から見て重なり合う投影点の色情報または輝度情報を前記存在確率に応じた割合で混合して、生成する画像上の各点の色情報または輝度情報を決定することを特徴とする画像生成方法として構成することもできる。
［００３４］  また、本発明は、異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、前記取得した被写体の３次元形状に基づいて、前記観察者の視点から見た前記被写体の画像を生成するステップとを有する画像生成方法であって、前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステップとを有し、前記存在確率を決定するステップは、前記対応点の画像情報から前記各投影点の評価基準値を算出するステップと、前記各投影点の評価基準値の統計処理を行うステップと、前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出するステップとを有することを特徴とする画像生成方法として構成することもできる。
［００３５］  また、本発明は、異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚の画像から前記被写体の３次元形状を取得するステップと、観察者から見て異なった奥行き位置にある複数の画像表示面を前記観察者が見る視点位置を設定するステップと、前記取得した被写体の３次元形状に基づいて前記各画像表示面に表示する２次元画像を生成するステップと、前記生成した２次元画像を前記各表示面に表示することで前記被写体の３次元像を提示するステップとを有する３次元画像表示方法であって、前記被写体の３次元形状を取得するステップは、仮想的な３次元空間上に多層構造の投影面を設定するステップと、前記被写体の３次元形状を取得するための基準視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステップとを有し、前記２次元画像を生成するステップは、前記投影点の色情報または輝度情報、及び存在確率を、前記投影点が存在する投影面と対応する前記画像表示面上の点である表示点の色情報または輝度情報、及び存在確率に変換して前記２次元画像を生成し、前記被写体の３次元像を提示するステップは、前記各表示点の色情報または輝度情報を、前記存在確率に応じた輝度で表示することを特徴とする３次元画像表示方法として構成することもできる。
【発明の効果】［００３６］  本発明によれば、複数枚の画像から被写体の３次元的な形状を取得して被写体の画像を生成するときに、被写体の形状の推定の信頼性が低い部分で生じる著しい画質の劣化を低減することが可能となる。また、処理性能が低い装置でも、部分的な画質の劣化が少なく、かつ、短時間で画像を生成することが可能となる。更に、被写体の幾何学的なモデルを得るために用いる画像を撮影する撮影装置の小型化し、装置構成を簡素化が可能となる。
【図面の簡単な説明】［００３７］［図１］従来の仮想視点画像の問題点を説明するための図である。
［図２］第１の実施の形態における仮想視点画像生成方法の原理を説明するための模式図であり、投影面群，カメラ，基準視点，投影点，対応点の一例を示す図である。
［図３］第１の実施の形態における仮想視点画像生成方法の原理を説明するための模式図である。
［図４］第１の実施の形態における仮想視点画像生成方法の原理を説明するための模式図であり、投影点の透明度に応じた混合処理の一例を示す図である。
［図５］第１の実施の形態における仮想視点画像生成方法の原理を説明するための模式図であり、被写体，投影面群，基準視点，仮想視点，投影点の一例を示す図である。
［図６］実施例１−１の仮想視点画像生成装置の概略構成を示す模式図であり、画像生成装置内部の構成を示すブロック図である。
［図７］実施例１−１の仮想視点画像生成装置の概略構成を示す模式図であり、画像生成装置を用いたシステムの構成例を示す図である。
［図８］実施例１−１の仮想視点画像生成装置を用いた仮想視点画像生成方法の数理モデルを説明するための模式図であり、投影変換の一例を示す図である。
［図９］実施例１−１の仮想視点画像生成装置を用いた仮想視点画像生成方法の数理モデルを説明するための模式図であり、座標変換の一例を示す図である。
［図１０］実施例１−１の仮想視点画像の生成処理手順を説明するための模式図であり、生成処理全体のフロー図である。
［図１１］実施例１−１の仮想視点画像の生成処理手順を説明するための模式図であり、仮想視点画像を生成するステップの具体的なフロー図である。
［図１２］実施例１−１の仮想視点画像の生成処理手順を説明するための模式図であり、投影面の設定方法の一例を示す図である。
［図１３］実施例１−１の仮想視点画像の生成処理手順を説明するための模式図であり、投影点，投影点列，投影点列の集合の一例を示す図である。
［図１４］実施例１−１の仮想視点画像の生成処理手順を説明するための模式図であり、色情報の混合処理を説明するための基準視点，投影点，カメラ位置によりなす角度の一例を示す図である。
［図１５］実施例１−１の仮想視点画像の生成処理手順を説明するための模式図であり、対応点マッチング処理の一例を示す図である。
［図１６］実施例１−１の仮想視点画像の生成処理手順を説明するための模式図であり、レンダリング処理を説明するための図である。
［図１７］実施例１−１の仮想視点画像の生成処理手順を説明するための模式図であり、生成された仮想視点画像の一例を示す図である。
［図１８］実施例１−１の仮想視点画像生成装置を適用したシステムの応用例を示す模式図である。
［図１９］（ａ）は実施例１−２の特徴となる処理を示すフロー図であり、（ｂ）は透明度情報を決定するステップの具体的な処理手順の一例を示すフロー図である。
［図２０］実施例１−３の仮想視点画像生成方法を説明するための模式図であり、投影面群，基準視点，仮想視点，投影点の一例を示す図である。
［図２１］第２の実施の形態の画像生成方法の原理を説明するための模式図であり、生成方法の概念を説明する図である。
［図２２］第２の実施の形態の画像生成方法の原理を説明するための模式図であり、図２１を２次元的に表現した図である。
［図２３］対応点の相関度の求め方を説明する図である。
［図２４］対応点の相関度を求めるときに問題となる点を説明する図である。
［図２５］第２の実施の形態の画像生成方法の原理を説明するための模式図であり、相関度を求めるときの問題を解決する方法を説明する図である。
［図２６］存在確率の精度を向上させる方法の一例を説明する図である。
［図２７］第２の実施の形態の画像生成方法の原理を説明するための模式図である。
［図２８］第２の実施の形態の画像生成方法の原理を説明するための模式図である。
［図２９］実施例２−１の画像生成方法を説明するための模式図であり、全体的な処理手順の一例を示すフロー図である。
［図３０］実施例２−１の画像生成方法を説明するための模式図であり、図２９における投影点の色情報及び存在確率を決定するステップの処理手順の一例を示すフロー図である。
［図３１］実施例２−１の画像生成方法を説明するための模式図であり、図３０における存在確率を決定するステップの一例を示すフロー図である。
［図３２］実施例２−１の画像生成方法を説明するための模式図であり、カメラセットの設定例を示す図である。
［図３３］実施例２−１の画像生成方法を説明するための模式図であり、投影面の情報を表示面の情報に変換する方法を説明する図である。
［図３４］投影面の情報を表示面の情報に変換する方法を説明する図である。
［図３５］実施例２−１の画像生成方法を適用した画像生成装置の構成例を示すブロック図である。
［図３６］実施例２−１の画像生成方法を適用した画像生成装置を用いた画像表示システムの構成例を示す図である。
［図３７］実施例２−１の画像生成方法を適用した画像生成装置を用いた画像表示システムの他の構成例を示す図である。
［図３８］実施例２−２の画像生成方法を説明するための模式図であり、全体的な処理手順の一例を示すフロー図である。
［図３９］実施例２−２の画像生成方法を説明するための模式図であり、レンダリングの原理を説明する図である。
［図４０］実施例２−２の画像生成方法を説明するための模式図であり、本実施例２の画像生成方法で問題となる点を説明する図である。
［図４１］実施例２−２の画像生成方法を説明するための模式図であり、本実施例２の画像生成方法で問題となる点の解決方法を説明する図である。
［図４２］実施例２−２の画像生成方法を説明するための模式図であり、存在確率を透明度に変換する処理手順の一例を示すフロー図である。
［図４３］第３の実施の形態の画像生成方法の原理を説明するための模式図であり、投影面及び基準視点の設定例を示す図である。
［図４４］第３の実施の形態の画像生成方法の原理を説明するための模式図であり、投影面及び基準視点の設定例を示す図である。
［図４５］第３の実施の形態の画像生成方法の原理を説明するための模式図であり、投影点の色情報及び合焦点度の決定方法を説明する図である。
［図４６］第３の実施の形態の画像生成方法の原理を説明するための模式図であり、投影点の存在確率の決定方法を説明する図である。
［図４７］第３の実施の形態の画像生成方法の原理を説明するための模式図であり、投影点の存在確率の決定方法を説明する図である。
［図４８］第３の実施の形態の画像生成方法の原理を説明するための模式図であり、投影点の存在確率の決定方法を説明する図である。
［図４９］第３の実施の形態の画像生成方法の原理を説明するための模式図であり、仮想視点から見た画像の生成方法を説明する図である。
［図５０］第３の実施の形態の画像生成方法の原理を説明するための模式図であり、本発明の画像生成方法において問題となる点を説明する図である。
［図５１］第３の実施の形態の画像生成方法の原理を説明するための模式図であり、本発明の画像生成方法において問題となる点を解決する方法を説明する図である。
［図５２］第３の実施の形態の画像生成方法の数理モデルを説明するための模式図であり、投影点，対応点，生成する画像上の点の関係を示す図である。
［図５３］第３の実施の形態の画像生成方法の数理モデルを説明するための模式図であり、空間上の点と画像上の画素の変換方法を説明する図である。
［図５４］実施例３−１の画像生成方法を説明するための模式図であり、画像の生成手順を示すフロー図である。
［図５５］実施例３−１の画像生成方法を説明するための模式図であり、投影点列の設定方法を説明する図である。
［図５６］実施例３−１の画像生成方法を説明するための模式図であり、図５４のステップ１０３０５の処理の具体例を示すフロー図である。
［図５７］実施例３−１の画像生成方法を説明するための模式図であり、レンダリングの方法を説明する図である。
［図５８］実施例３−１の画像生成方法で画像を生成する装置の概略構成を示す模式図であり、装置の構成を示すブロック図である。
［図５９］実施例３−１における被写体画像撮影手段の構成例を説明する図である。
［図６０］実施例３−１における被写体画像撮影手段の構成例を説明する図である。
［図６１］実施例３−１における被写体画像撮影手段の構成例を説明する図である。
［図６２］実施例３−１の画像生成装置を用いた画像生成システムの概略構成を示す模式図であり、画像生成システムの一構成例を示す図である。
［図６３］実施例３−１の画像生成装置を用いた画像生成システムの概略構成を示す模式図であり、画像生成システムの他の構成例を示す図である。
［図６４］実施例３−２の仮想視点画像生成方法の処理を示すフロー図である。
［図６５］第３の実施の形態の画像生成方法における、他の生成方法を説明するための模式図である。
［図６６］第３の実施の形態による実施例４−１の画像生成方法を説明するための模式図であり、全体的な処理手順の一例を示すフロー図である。
［図６７］実施例４−１の画像生成方法を説明するための模式図であり、投影面の設定方法の一例を示す図である。
［図６８］実施例４−１の画像生成方法を説明するための模式図であり、投影面の設定方法の一例を示す図である。
［図６９］実施例４−１の画像生成方法を説明するための模式図であり、投影点列の設定方法を説明する図である。
［図７０］実施例４−１の画像生成方法を説明するための模式図であり、投影点の色情報及び存在確率を決定するステップの処理手順の一例を示すフロー図である。
［図７１］実施例４−１の画像生成方法を説明するための模式図であり、存在確率の決定方法を説明する図である。
［図７２］実施例４−１の画像生成方法を説明するための模式図であり、存在確率の決定方法を説明する図である。
［図７３］実施例４−１の画像生成方法を説明するための模式図であり、存在確率の決定方法を説明する図である。
［図７４］実施例４−１の画像生成方法を説明するための模式図であり、存在確率の決定方法を説明する図である。
［図７５］実施例４−１の画像生成方法を説明するための模式図であり、各画像表示面で表示する２次元画像の生成方法を説明する図である。
［図７６］実施例４−１の画像生成方法を説明するための模式図であり、各画像表示面で表示する２次元画像の生成方法を説明する図である。
［図７７］実施例４−１の画像生成方法を説明するための模式図であり、各画像表示面で表示する２次元画像の生成方法を説明する図である。
［図７８］実施例４−２の画像生成方法を説明するための模式図であり、投影点と対応点の関係を示す図である。
［図７９］実施例４−２の画像生成方法を説明するための模式図であり、投影点の色情報及び存在確率を決定するステップの一例を示すフロー図である。
［図８０］実施例４−２の画像生成方法を説明するための模式図であり、存在確率の求め方を説明する図である。
［図８１］実施例４−２の画像生成方法を説明するための模式図であり、存在確率の求め方を説明する図である。
［図８２］実施例４−３の任意視点画像生成方法を説明するための模式図であり、全体的な処理手順の一例を示すフロー図である。
［図８３］実施例４−３の任意視点画像生成方法を説明するための模式図であり、レンダリングの原理を説明する図である。
［図８４］実施例４−３において存在確率を透明度に変換する処理手順の一例を示すフロー図である。
［図８５］実施例４−４の画像生成装置の概略構成を示す模式図である。
［図８６］実施例４−４の画像生成装置の概略構成を示す模式図である。
［図８７］実施例４−４の画像生成装置の概略構成を示す模式図であり、画像生成装置を用いた画像表示システムの構成例を示す図である。
［図８８］実施例４−４の画像生成装置の概略構成を示す模式図であり、画像生成装置を用いた画像表示システムの構成例を示す図である。
［図８９］実施例４−４の画像生成装置の概略構成を示す模式図であり、画像生成装置を用いた画像表示システムの構成例を示す図である。
［図９０］第５の実施の形態による実施例５−１の３次元画像表示方法を説明するための模式図であり、全体的な処理手順の一例を示すフロー図である。
［図９１］実施例５−１の３次元画像表示方法を説明するための模式図であり、投影面の設定方法の一例を示す図である。
［図９２］実施例５−１の３次元画像表示方法を説明するための模式図であり、投影面の設定方法の一例を示す図である。
［図９３］実施例５−１の３次元画像表示方法を説明するための模式図であり、投影点の設定方法を説明する図である。
［図９４］実施例５−１の３次元画像表示方法を説明するための模式図であり、投影点の色情報及び存在確率を決定するステップの処理手順の一例を示すフロー図である。
［図９５］実施例５−１の３次元画像表示方法を説明するための模式図であり、存在確率の決定方法を説明する図である。
［図９６］実施例５−１の３次元画像表示方法を説明するための模式図であり、存在確率の決定方法を説明する図である。
［図９７］実施例５−１の３次元画像表示方法を説明するための模式図であり、存在確率の決定方法を説明する図である。
［図９８］実施例５−１の３次元画像表示方法を説明するための模式図であり、各画像表示面で表示する２次元画像の生成方法を説明する図である。
［図９９］実施例５−１の３次元画像表示方法を説明するための模式図であり、各画像表示面で表示する２次元画像の生成方法を説明する図である。
［図１００］実施例５−１の３次元画像表示方法を説明するための模式図であり、各画像表示面で表示する２次元画像の生成方法を説明する図である。
［図１０１］実施例５−２の３次元画像表示方法を説明するための模式図であり、投影点と対応点の関係を示す図である。
［図１０２］実施例５−２の３次元画像表示方法を説明するための模式図であり、投影点の色情報及び存在確率を決定するステップの一例を示すフロー図である。
［図１０３］実施例５−２の３次元画像表示方法を説明するための模式図であり、存在確率の求め方を説明する図である。
［図１０４］実施例５−２の３次元画像表示方法を説明するための模式図であり、存在確率の求め方を説明する図である。
【符号の説明】
［００３８］（第１の実施の形態）
１，１Ａ，１Ｂ，１Ｃ…仮想視点画像生成装置、１０１…仮想視点決定手段、１０２…被写体画像取得手段、１０３…画像生成手段、１０３ａ…投影面決定手段、１０３ｂ…基準視点決定手段、１０３ｃ…テクスチャ配列確保手段、１０３ｄ…対応点マッチング処理手１０３ｅ…色情報決定手段、１０３ｆ…存在確率情報決定手段、１０３ｇ…レンダリング手段、１０４…生成画像出力手段、２…視点位置入力手段、３…被写体撮影手段（カメラ）、４…画像表示手段、６…仮想視点画像、７…被写体の像、７Ａ…画像が劣化している部分、７Ｂ…画像が欠損している部分。
（第２の実施の形態）
６，６Ａ，６Ｂ，６Ｃ…画像生成装置、６０１…被写体画像取得手段、６０２…観察者視点設定手段、６０３…投影面設定手段、６０４…投影面情報格納領域確保手段、６０５…色情報／存在確率決定手段、６０６…投影面情報−表示面情報変換手段、６０７…画像出力手段、７，７Ａ，７Ｂ…画像表示手段、８，８Ａ，８Ｂ…被写体画像撮影手段、９，９Ａ，９Ｂ…基準視点入力手段
（第３の実施の形態）
２，２Ａ，２Ｂ，２Ｃ…画像生成装置、２０１…被写体画像取得手段、２０２…仮想視点設定手段、２０３…投影面等設定手段、２０４…テクスチャ配列確保手段、２０５…色情報／存在確率決定手段、２０６…レンダリング手段、２０７…生成画像出力手段、３，３Ａ，３Ｂ…被写体画像撮影手段、４，４Ａ，４Ｂ…視点情報入力手段、５，５Ａ，５Ｂ…画像表示手段、６…偏光型二値光学系、７，７Ａ，７Ｂ…イメージセンサ、８…ビームスプリッタ、９…偏光フィルタ、１０…可変焦点レンズ、１１ａ，１１ｂ，１１ｃ，１１ｄ…固定焦点レンズ、１２…レンズホルダ
（第４の実施の形態）
２，２Ａ，２Ｂ，２Ｃ…画像生成装置、２０１…被写体画像取得手段、２０２…観察者視点設定手段、２０３…投影面等設定手段、２０４…テクスチャ配列確保手段、２０５…色情報／存在確率決定手段、２０６…投影面情報−表示面情報変換手段、２０７…画像出力手段、２０８…レンダリング手段、３，３Ａ，３Ｂ…画像表示手段、４，４Ａ，４Ｂ…被写体画像撮影手段、５，５Ａ，５Ｂ…基準視点入力手段
（第５の実施の形態）
２，２Ａ，２Ｂ，２Ｃ…３次元画像生成装置、２０１…被写体画像取得手段、２０２…観察者視点設定手段、２０３…投影面等設定手段、２０４…テクスチャ配列確保手段、２０５…色情報／存在確率決定手段、２０６…投影面情報−表示面情報変換手段、２０７…画像出力手段、３，３Ａ，３Ｂ…画像表示手段、４，４Ａ，４Ｂ…被写体画像撮影手段、５，５Ａ，５Ｂ…基準視点入力手段
【発明を実施するための最良の形態】［００３９］  以下、発明を実施するための最良の形態として、第１の実施の形態〜第５の実施の形態について説明する。
［００４０］  ［第１の実施の形態］
まず、本発明の第１の実施の形態について説明する。なお、第１の実施の形態は、主に請求項１〜請求項１１に対応する実施の形態である。本実施の形態では、色情報の表現として赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色を用いる例を示しているが、輝度（Ｙ）もしくは色差（Ｕ，Ｖ）を用いた表現をとることも可能であり、また白黒画像の場合には色情報として輝度情報のみを用いることが可能である。なお、第１の実施の形態を説明するための図において、同一機能を有するものは、同一符号を付ける。
［００４１］  第１の実施の形態における各実施例を説明する前に、まず、第１の実施の形態における仮想視点画像生成方法の原理について説明する。
［００４２］  図２乃至図５は、本発明における仮想視点画像生成方法の原理を説明するための模式図であり、図２は投影面群，カメラ，基準視点，投影点，対応点の一例を示す図、図３（ａ）及び図３（ｂ）は対応点間の相関度のグラフの一例を示す図、図４（ａ）は投影点の透明度に応じた混合処理の一例を示す図、図４（ｂ）は透明度に応じた色情報の混合処理を色空間において表現した図、図５は被写体，投影面群，基準視点，仮想視点，投影点の一例を示す図である。
［００４３］  本発明における仮想視点画像の生成方法は、多層構造をもつ投影面群を設定するステップ１と、投影面上の各点（投影点）に対応する複数のカメラの撮影画像上での点（対応点）を求めるステップ２と、複数の対応点の色情報を混合もしくはそのうちの１つを選択することで投影点の色情報を決定するステップ３と、空間上のある視点（基準視点）から見て重なり合う複数の投影点について、各投影点の距離に被写体が存在する可能性の度合い（存在確率情報）を対応点もしくはその近傍領域の相関の度合いをもとに計算するステップ４と、仮想視点から見て重なり合う基準点の色情報を存在確率情報に応じた混合処理をして仮想視点における各画素の色情報を決定するステップ５と、仮想視点画像の画素に相当するすべての点について前記ステップ１からステップ５を繰り返し行うステップ６とを有する。すなわち、従来の手段のようにあらゆる場合及びあらゆる箇所で被写体の正確な幾何モデルを得ようとするのではなく、被写体の撮影条件や部位によっては距離推定で十分な信頼性を持つ推定値が得られないことを前提として、信頼性が低い推定値が得られた箇所については曖昧に描画して画像生成への寄与を低くし、極端な画像の劣化を防止するとともに、信頼性が高い距離データが得られた箇所については明瞭に描画して画像生成への寄与を高くする。
［００４４］  ここで推定の信頼性は、撮影した画像の対応点の相関の程度（相関度）によって以下のように判別される。例えば、図２に示すように、基準視点Ｒ、カメラの中心位置Ｃｉ（ｉ＝１，２，…，Ｎ）、互いに平行な投影面Ｌｊ（ｊ＝１，２，…，Ｍ）を設定し、投影点Ｔｊを中心位置Ｃｉのカメラで撮影した対応点をＧｉｊとする。
［００４５］  すると、例えば、投影面Ｌｍ上にある投影点Ｔｍについて対応点の集合｛Ｇｉｍ｜ｉ＝１，２，…，Ｎ｝が得られ、それらの相関の程度（相関度）も計算できる。
［００４６］  ここで、基準視点Ｒから見て直線上にある複数の投影点Ｔｊ（ｊ＝１，２，…，Ｍ）について相関度を計算し、横軸に基準視点Ｒと投影面の距離ｌ、縦軸に相関度をとると、図３（ａ）あるいは図３（ｂ）に示すようなグラフが得られる。相関度の具体的な計算方法については後の実施例で述べることとし、ここでは相関度が大きいほど対応点間の相関の程度が大きいものとして図示する。
［００４７］  相関度が高い距離では複数のカメラにおける対応点は類似しており、投影点の位置で被写体上の同じ点を撮影している可能性が高いため、その距離に被写体が存在する可能性も高い。そして、基準視点Ｒを通る直線上で被写体が存在する距離が１つであると仮定すれば、図３（ａ）及び図３（ｂ）に示したように、最も高い相関度をとる距離ｌ＝ｌ＊に被写体が存在すると推定できる。
［００４８］  このとき、図３（ａ）に示したように、距離ｌ＝ｌ＊における対応点の相関度が他の候補よりも非常に高い場合には信頼性の高い推定ができるが、図３（ｂ）に示した、距離ｌ＝ｌ＊と距離ｌ＝ｌ’のように推定値の候補が複数あり、かつその対応点の相関度が同程度の場合には推定の信頼性が低くなる。
［００４９］  図３（ｂ）に示したような場合に、相関度が最も高い距離ｌ＝ｌ＊に相当する投影点を１点だけ描画する方法をとると、推定の誤りにより、実際には被写体が距離ｌ＝ｌ’にあった場合、生成画像に大きなノイズとなって現れてしまう。
［００５０］  それに対し、本発明では相関度から被写体の存在する可能性（存在確率情報）を計算し、存在確率情報に応じた明瞭さで複数の投影点を描画することで、推定の信頼性が低い場合には複数の投影点が曖昧に描画され、生成画像のノイズが目立たず、観察者の見た目にはより良好な画像を生成する効果がある。
［００５１］  一方、推定の信頼性が高い場合には存在確率情報が高い投影点が明瞭に描画されるため、より良好な画像を生成することが可能である。
［００５２］  また、本発明の描画手法はコンピュータグラフィクスの基本的な手法であるテクスチャマッピングによりシンプルに実装でき、普及型のパーソナルコンピュータに搭載している３次元グラフィックスハードウエアで良好に処理できるほど計算機負荷が軽くなる効果がある。
［００５３］  また、本発明による仮想視点画像生成方法では、投影面上の各基準点は透過から不透過までの階調を持つ透明度を有し、各基準点における透明度は上記ステップ４で得られる存在確率情報を変換することにより計算され、上記ステップ５で仮想視点における各点の色情報を得るための混合処理は仮想視点に遠い投影点から近い投影点に向かって逐次的に処理され、ある投影点までの混合処理で得られる色情報は、その投影点における色情報とそれ以前の投影点までの混合処理で得られる色情報とを透明度に応じた比率で内分して得る。このとき、混合処理により得られる色情報は、ある段階での色情報とその次の色情報の内分である。
［００５４］  ここで、例えば、図４（ａ）に示すように、投影面Ｌｊ（ｊ＝１，２，…，Ｍ）、投影点Ｔｊ（ｊ＝１，２，…，Ｍ）、赤，緑，青（Ｒ，Ｇ，Ｂ）の成分を持ち、投影点の色情報を表すベクトルＫｊ（ｊ＝１，２，…，Ｍ）が、下記数式１で表される色空間に設定されている場合を考える。
［００５５］
2004114224.tif 000003
また、投影点の透明度αｊ（ｊ＝１，２，…，Ｍ）は、下記数式２となるように設定されているものとする。
［００５６］
2004114224.tif 000004
このとき、ｊ＝ｍまでの混合処理で得られる色情報Ｄｍは、下記数式３及び数式４のような漸化式で表され、仮想視点から見て一番手前のｊ＝Ｍまで混合処理した色情報ＤＭが仮想視点における色情報となる。
［００５７］
2004114224.tif 000005
［００５８］
2004114224.tif 000006
このとき、前記数式２及び数式３の関係より、色情報Ｄｍは色空間ＶにおいてＫｍとＤｍ−１の内分点であるため、図４（ｂ）に示すように、Ｋｍ，Ｄｍ−１∈ＶならばＤｍ∈Ｖである。
［００５９］  すると、前記数式１及び数式２の条件を満たせば、仮想視点における色情報ＤＭについて、下記数式５のようになることが保証される。
［００６０］
2004114224.tif 000007
前記数式５のような保証は、数学的帰納法により証明されるが、詳細な説明は省略する。
［００６１］  つまり、投影点の色情報及び透明度を前記数式１及び数式２を満たすように設定すれば、仮想視点の色情報は必ず適切な色空間Ｖに納めることができる。
［００６２］  以上のような特徴により、同一の被写体において複数の仮想視点画像を生成する場合に、ある１つの基準視点から投影点の色情報と透明度情報を計算したとしても、その色情報及び透明度が前記数式１及び数式２を満たせば、すべての仮想視点画像で適切な色情報の範囲で画像を生成することができる。
［００６３］  ここで、例えば、図５に示すように、被写体Ｏｂｊがあり、２つの投影面Ｌ１，Ｌ２、基準視点Ｒ、仮想視点Ｐを設定した場合において、投影点Ｔ１，Ｔ２，Ｔ１’，Ｔ２’における色情報がそれぞれＫ１，Ｋ２，Ｋ１’，Ｋ２’、被写体が存在する可能性の度合いがβ１，β２，β１’，β２’である場合を考える。
［００６４］  前記被写体が存在する可能性の度合い（存在可能性情報）は、基準視点Ｒを通る直線上で計算され、同一直線上の投影点における存在可能性情報の合計は１となり、投影点Ｔ１’及びＴ２付近に被写体の表面が存在するため、この点での存在可能性情報はＴ１及びＴ２’に比べて高くなる。すると、前記存在可能性情報は、下記数式６及び数式７のようになる。
［００６５］
2004114224.tif 000008
［００６６］
2004114224.tif 000009
このとき、仮想視点Ｐの画像面の点Ａにおける色情報ＫＡは直線ＰＡ上にある投影点の色情報を存在可能性情報に応じた重み付けで加算することで計算され、下記数式８のようになる。
［００６７］
2004114224.tif 000010
また、前記数式８は、前記数式６及び数式７により、下記数式９のように表される。
［００６８］
2004114224.tif 000011
仮想視点Ｐから見たときに、ＴＡ’はＴＡにより遮蔽されているため、点Ａにおける本来の色情報はＫＡ＝Ｋ２であるが、前記数式９ではＫ１’の分だけ（Ｒ，Ｇ，Ｂ）の各成分の輝度が上がってしまう。
［００６９］  また、ＫＡ及びＫＡ’の各成分が大きな輝度を持つ場合には、ＫＡは有効な色空間の範囲を超えてしまう。そのため、有効な色情報の範囲内に収まるようにクリッピング処理が必要となる。
［００７０］  そこで、例えば、後の実施例１−２で述べる計算方法により存在確率情報から透明度を求めると、下記数式１０及び数式１１と計算される。
［００７１］
2004114224.tif 000012
2004114224.tif 000013
［００７２］
2004114224.tif 000014
ただし、前記数式１０及び数式１１において、α１，α２，α１’，α２’はそれぞれＴ１，Ｔ２，Ｔ１’，Ｔ２’における透明度である。
［００７３］  ここで、仮想視点における各点の色情報を得るために、仮想視点に遠い投影点から近い投影点に向かって逐次的に混合処理し、ある投影点までの混合処理で得られる色情報は、その投影点における色情報とそれ以前の投影点までの混合処理で得られる色情報とを透明度に応じた比率で内分して得るようにすると、ＫＡは、下記数式１２のようになる。
［００７４］
2004114224.tif 000015
このとき、前記数式１２は、前記数式６，数式７，数式１０，数式１１から下記数式１３のようになり、本来の色情報のよい近似となる。
［００７５］
2004114224.tif 000016
以上で述べたとおり、存在確率情報をそのまま用いた画像生成では、基準視点と仮想視点が同一である場合には問題ないものの、両者が異なる場合に被写体の遮蔽領域付近で輝度の増加が生じることがあるのに対し、存在確率情報を透明度に変換する画像生成では、この現象を防止する効果がある。
［００７６］  また、存在確率情報をそのまま用いる画像生成において基準視点と仮想視点が異なる場合には、後に示す数式を用いた演算で色情報を計算した場合に有効な色情報の範囲内に収まる保証がなく、例えば、補正処理が必要であるのに対し、透明度に変換する画像生成では、このような補正は不要である。
［００７７］  また、存在確率情報を透明度に変換する画像生成では、半透過の被写体も効率的に表現することができ、現実世界にあるより多くの被写体に対して広く本発明を適用できる効果がある。
［００７８］  また、本発明の仮想視点画像生成方法では、ステップ１においてカメラ毎に固有の投影面群を設定し、ステップ３において投影点の色情報は、投影点が属する投影面に固有のカメラによる撮影画像の対応点の色情報を用い、ステップ４における存在確率情報は、投影点が属する投影面に固有のカメラの視点を基準視点として計算され、ステップ５における仮想視点の色情報の混合処理は、仮想視点と各基準視点との位置関係により補正する。このようにすると、カメラ間の位置関係とは無関係にカメラ毎に固有の投影面群を設定するため、カメラの配置が複雑であったり不規則であったりしても、投影面群の設定処理が影響を受けることはなく、一貫した処理方法により画像生成ができる。
［００７９］  また、前記カメラ毎に固有の投影面群を設定した場合、投影面の色情報に関しては対応するカメラで撮影した画像間での混合処理が必要ない。そのため、例えば、計算機（コンピュータ）で処理する際に並列処理が可能であり、画像生成の高速化が可能である。
［００８０］  また、同じカメラに対応付けされている投影面群の色情報はすべて同じであるため、計算機（コンピュータ）で処理する際に、色情報を格納するテクスチャメモリを共有できる。そのため、投影面の数ほどはメモリを消費することがなく、画像生成に用いる装置の負荷を低減することができる。
［００８１］  また、ある投影面に対応するカメラは一意に決定されているため、両者の座標の対応関係をあらかじめ設定しておくことで、レンズの歪曲収差の補正などのキャリブレーションを容易にかつ高速に行うことができる。
［００８２］  よって、本発明の第１の実施の形態の仮想視点画像生成方法を専用の装置、普及型のパーソナルコンピュータ等で実行させるプログラムは広い適用範囲と高い汎用性を持つ。
［００８３］  以下、第１の実施の形態の仮想視点画像生成方法を実行する装置及び具体的な画像生成方法を、実施例を挙げて説明する。
［００８４］  （実施例１−１）
図６及び図７は、本発明による実施例１−１の仮想視点画像生成装置の概略構成を示す模式図であり、図６は画像生成装置内部の構成を示すブロック図、図７は画像生成装置を用いたシステムの構成例を示す図である。
［００８５］  図６において、１は仮想視点画像生成装置、１０１は仮想視点決定手段、１０２は被写体画像取得手段、１０３は画像生成手段、１０３ａは投影面決定手段、１０３ｂは基準視点決定手段、１０３ｃはテクスチャ配列確保手段、１０３ｄは対応点マッチング処理手段、１０３ｅは色情報決定手段、１０３ｆは存在確率情報決定手段、１０３ｇはレンダリング手段、１０４は生成画像出力手段、２は視点位置入力手段、３は被写体撮影手段、４は画像表示手段である。また、図７において、Ｕｓｅｒは仮想視点画像生成装置の利用者、Ｏｂｊは被写体である。
［００８６］  本実施例１−１の仮想視点画像生成装置１は、図６及び図７に示すように、利用者Ｕｓｅｒが視点位置入力手段２を用いて入力した視点（仮想視点）のパラメータを決定する仮想視点決定手段１０１と、複数の視点位置Ｃｉにある被写体撮影手段（カメラ）３で撮影された被写体Ｏｂｊの画像を取得する被写体画像取得手段１０２と、前記取得した被写体Ｏｂｊの画像をもとに、前記仮想視点から前記被写体Ｏｂｊを見たときの画像（仮想視点画像）を生成する画像生成手段１０３と、前記画像生成手段１０３で生成した仮想視点画像を画像表示手段４に表示させるための生成画像出力手段１０４とにより構成される。
［００８７］  仮想視点決定手段１０１では、前記仮想視点のパラメータとして、例えば、位置、方向、画角を決定する。また、前記視点位置入力手段２は、例えば、図７に示したように、マウス等の利用者Ｕｓｅｒが操作して選択するデバイスであってもよいし、キーボード等の利用者Ｕｓｅｒが直接数値として入力するデバイスでもよいし、前記利用者Ｕｓｅｒが装着する位置・姿勢検出センサでもよい。また、他のプログラムにより与えられるものでも、ネットワークを介して与えられるものでも可能である。
［００８８］  また、前記被写体画像取得手段１０２は、刻々と変化する被写体の位置・姿勢を一定の間隔、例えば３０Ｈｚの間隔で逐次的に取得することも、任意の時刻における被写体の静止画像を取得することも可能であるし、あらかじめ撮影した被写体画像を記録装置から読み出すことで取得することも可能である。なお、複数の視点位置からの被写体画像は、すべてのカメラ間の同期をとることにより同一時刻に撮影したものであることが望ましいが、被写体の位置・姿勢の変化が十分に遅く、静止物と見なせる場合にはこの限りではない。
［００８９］  また、前記画像生成手段１０３は、図６に示したように、画像生成に用いる投影面の位置・形状を決定する投影面決定手段１０３ａと、基準視点の位置を決定する基準視点決定手段１０３ｂと、投影面に貼り付けるテクスチャ画像の配列をメモリ上に割り当てるテクスチャ配列確保手段１０３ｃと、前記被写体画像取得手段１０２で取得した被写体の画像において、複数の視点位置の間で被写体の同一の領域が撮影されている箇所の対応付けを行う対応点マッチング処理手段１０３ｄと、前記テクスチャ配列確保手段１０３ｃで確保したテクスチャ配列のうちの色情報を、取得した複数枚の被写体の画像の色情報を混合処理することで決定する色情報決定手段１０３ｅと、前記テクスチャ配列確保手段１０３ｃで確保したテクスチャ配列のうちの、投影面上に被写体が存在する可能性の度合い（存在確率情報）を、前記対応点マッチング処理手段１０３ｄの結果に基づいて決定する存在確率情報決定手段１０３ｆと、前記色情報決定手段１０３ｅで決定した色情報及び前記存在確率情報決定手段１０３ｆで決定した存在確率情報をもとに、前記仮想視点から見た前記投影面をレンダリングするレンダリング手段１０３ｇとにより構成される。
［００９０］  前記テクスチャ配列確保手段１０３ｃで確保する配列は、各画素について色情報と存在確率情報を保持し、例えば、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色及び前記存在確率情報に対して各８ビットで表現する。ただし、本発明はこのような特定のデータ表現形式に依存するものではない。
［００９１］  また、前記画像表示手段４は、例えば、ディスプレイ端子等の生成画像出力手段１０４に接続されたＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ），ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ），ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）等の表示装置である。前記画像表示手段４は、例えば、２次元平面状の表示装置でもよいし、利用者Ｕｓｅｒを取り囲むような曲面状の表示装置であってもよい。また、前記画像表示手段４として、立体表示が可能な表示装置を用いれば、前記仮想視点決定手段１０１で、前記利用者Ｕｓｅｒの左右眼に相当する２つの仮想視点を決定し、前記画像生成手段１０３で前記２つの仮想視点からの仮想視点画像を生成したのち、利用者の左右眼に独立した画像を提示することも可能である。また、３つ以上の仮想視点からの画像を生成し、３つ以上の視差がついた画像を表示することのできる３次元ディスプレイを用いれば、１人以上の利用者に対して立体映像を提示することも可能である。
［００９２］  また、前記仮想視点画像生成装置１を用いたシステムは、例えば、図７に示したような構成になっており、利用者Ｕｓｅｒは前記視点位置入力手段２を介して仮想視点画像生成装置１に所望の視点位置・方向・画角を指定すると、前記仮想視点画像生成装置１は被写体Ｏｂｊを前記被写体撮影手段（カメラ）３で撮影し、その画像を取得した後、前記取得した被写体の画像をもとに指示された視点における画像（仮想視点画像）を生成する。前記生成された仮想視点画像は、前記画像表示手段４により利用者Ｕｓｅｒに提示する。
［００９３］  なお、図７のシステム構成は本発明における画像生成装置の実装の一例を示すものであり、本発明の請求範囲は必ずしもこのような構成に限定されるものではなく、個々の装置の配置、形態、実装は本発明の趣旨を逸脱しない範囲において任意である。
［００９４］  以下、前記画像生成手段１０３による画像生成処理について説明するが、その具体的な処理手順を記述する前に、処理の前提となる数理モデルについて説明する。
［００９５］  図８及び図９は、本実施例１−１の仮想視点画像生成装置を用いた仮想視点画像生成方法の数理モデルを説明するための模式図であり、図８は投影変換の一例を示す図、図９は座標変換の一例を示す図である。
［００９６］  本実施例１−１の仮想視点画像生成装置を用いた画像生成処理では、例えば、図８に示したように、カメラ３の中心位置Ｃｉ（ｉ＝１，２，…，Ｎ）及び仮想視点Ｐ、投影面Ｌｊ（ｊ＝１，２，…，Ｍ）が設定されている。以下、複数台のカメラ３を区別するために、前記カメラの中心位置Ｃｉはカメラ自体も示すものとし、同様にＰは仮想視点自体を示すとともに仮想視点の中心の位置を示すものとする。
［００９７］  また、図８では、カメラＣｉは横一列に配置しているが、本発明はこのような配置に限定されるものではなく、例えば２次元格子状や円弧状などの多様な配置にも適用可能である。さらに、投影面Ｌｊの配置も必ずしも平行に限定されるものではなく、後述の実施例１−３のように曲面とすることも可能である。ただし、本実施例１−１の説明では投影面Ｌｊは平面であるとする。
［００９８］  本実施の形態の仮想視点画像生成方法では、実際にカメラを配置した位置Ｃｉで取得した被写体Ｏｂｊの画像をもとに前記カメラが配置されていない仮想視点Ｐの画像を生成するため、基本的には、カメラＣｉで撮影した被写体の画像の一部をコンピュータ等の仮想視点画像生成装置１上に想定した投影面Ｌｊに貼付（テクスチャマッピング）し、そのテクスチャマッピングされた投影面を前記仮想視点Ｐから見たときの画像を座標計算処理により生成するという手順を経る。
［００９９］  このような処理を行う際、前記仮想視点Ｐ及びカメラＣｉは、３次元空間中の点をそれぞれの画像面の２次元の点に射影する。
［０１００］  一般的に、３次元空間上の点（Ｘ，Ｙ，Ｚ）から画像面上の点（ｘ，ｙ）へ射影する行列は３行４列の行列で与えられ、下記数式１４及び数式１５のように表すことができる。
［０１０１］
2004114224.tif 000017
［０１０２］
2004114224.tif 000018
このとき、例えば、原点を中心とした焦点距離ｆの透視投影変換を表す行列Φ０は、下記数式１６となる。
［０１０３］
2004114224.tif 000019
また、コンピュータにより扱う画像はいわゆるディジタル画像であり、メモリ上の２次元配列により表現されている。この配列の位置を示す座標系（ｕ，ｖ）をディジタル画像座標系と呼ぶことにする。
［０１０４］  このとき、例えば、６４０画素×４８０画素の大きさをもつディジタル画像上の１点は、０から６３９の整数値のいずれかをとる変数ｕと、０から４７９の整数値のいずれかをとる変数ｖにより示され、その点での色情報はそのアドレスでの赤（Ｒ），緑（Ｇ），青（Ｂ）情報を８ビットなどで量子化したデータで表される。
［０１０５］  またこのとき、図９（ａ）に示すような画像座標（ｘ，ｙ）と、図９（ｂ）に示すようなディジタル画像座標（ｕ，ｖ）は、１対１で対応付けされ、例えば、下記数式１７のような関係を持つ。
［０１０６］
2004114224.tif 000020
2004114224.tif 000021
ここで、図９（ａ）に示したｘ軸と図９（ｂ）に示したｕ軸は平行であり、ｕ軸とｖ軸の単位長は（ｘ，ｙ）座標系を基準にｋｕ，ｋｖ、ｕ軸とｖ軸のなす角度を０とおいた。
［０１０７］  なお、２次元配列の書き込み及び読み取りをする際、前記ディジタル画像座標（ｕ，ｖ）は離散値をとるが、以下の説明では断りのない限り連続値をとることとし、配列へのアクセスの際に適当な離散化処理を行うものとする。
［０１０８］  また、この座標変換で前記数式１７の関係に加え、レンズの収差による画像の歪みを補正した変換を行うことも可能である。
［０１０９］  以下、前記数理モデルを用いて、具体的な仮想視点画像の生成処理手順について説明する。
［０１１０］  図１０乃至図１７は、本実施例１−１の仮想視点画像の生成処理手順を説明するための模式図であり、図１０は生成処理全体のフロー図、図１１は仮想視点画像を生成するステップの具体的なフロー図、図１２は投影面の設定方法の一例を示す図、図１３は投影点、投影点列、投影点列の集合の一例を示す図、図１４は色情報の混合処理を説明するための基準視点，投影点，カメラ位置によりなす角度の一例を示す図、図１５は対応点マッチング処理の一例を示す図、図１６はレンダリング処理を説明するための図、図１７は生成された仮想視点画像の一例を示す図である。
［０１１１］  本実施例１−１の仮想視点画像生成装置１を用いて仮想視点画像を生成するときには、図１０に示すように、まず、利用者Ｕｓｅｒからの要求に基づき、前記仮想視点決定手段で仮想視点Ｐのパラメータを決定する（ステップ５０１）。前記ステップ５０１では、例えば、仮想視点Ｐの位置、方向、画角等を決定する。
［０１１２］  次に、前記複数台のカメラ３（Ｃｉ）で撮影した被写体Ｏｂｊの画像を、前記被写体画像取得手段１０２で取得する（ステップ５０２）。
［０１１３］  次に、前記被写体画像取得手段１０２で取得した被写体の画像をもとに、前記仮想視点Ｐから前記被写体Ｏｂｊを見たときの画像（仮想視点画像）を生成する（ステップ５０３）。
［０１１４］  前記ステップ５０３では、例えば、図１１に示すような各ステップの処理を行い、仮想視点画像を生成する。
［０１１５］  前記ステップ５０３の処理では、まず、前記投影面決定手段１０３ａにより、仮想視点画像の生成に用いる多層構造の投影面Ｌｊ（ｊ∈Ｊ，Ｊ≡｛１，２，…，Ｍ｝）の位置、形状を決定する（ステップ５０３ａ）。前記ステップ５０３ａで前記投影面Ｌｊを設定するときには、例えば、図８に示したような、平面形状を持つ投影面を等間隔に平行に設置する。
［０１１６］  また、前記カメラＣｉが等間隔に配置されているときには、その設置間隔をＢ、カメラの焦点距離をＦ、画像面の１画素の大きさをδとして、下記数式１８で求められる距離の系列ｌｄ（ｄ＝１，２，３，…）に平面（投影面）を配置してもよい。
［０１１７］
2004114224.tif 000022
このような場合、カメラ間の対応点マッチングの奥行き分解能と投影面の設置間隔が一致する。すなわち、図１２に示すように、カメラＣｎ及びＣｎ−１が間隔Ｂで設置されており、カメラＣｎの画像面上の点をＡ、カメラＣｎ−１の画像面上でＣｎにおける点Ａに相当する点をＡ０’、Ａ０’からｄ画素目の点をＡｄ’とすれば、点Ａの対応点は｛Ａ０’｜ｄ＝１，２，…｝からなる系列となり、その際に計算される距離の系列は前記数式１８で与えられる。
［０１１８］  ただし、前記投影面Ｌｊの設定例はあくまでも一例であり、本発明の画像生成法は基本的に２枚以上の異なる投影面を設定すればよく、このような特定の投影面の設定法に限定されるものではない。
［０１１９］  前記ステップ５０３ａの処理が済んだら、次に、前記基準視点決定手段１０３ｂにより、後の処理で用いる、投影点上に被写体が存在する可能性の度合い（存在確率情報）を計算する際に基準とする点（基準視点）Ｒを決定する（ステップ５０３ｂ）。前記基準視点Ｒの位置は仮想視点Ｐの位置と一致させてもよいし、仮想視点が複数ある場合にはその重心位置にとってもよい。ただし、本発明は特定の基準視点の取り方に依存した方法を提供するものではない。
［０１２０］  前記ステップ５０３ｂの処理が済んだら、次に、前記投影面上に多数の投影点を設定する（ステップ５０３ｃ）。このとき、基準視点Ｒを通る複数の直線上に投影点が乗るように設定し、同一の直線上にある投影点を投影点列としてひとまとめに扱う。ここで、例えば、図１３に示すように、基準視点Ｒを通るある直線に着目し、投影面Ｌｊ上にある投影点をＴｊ、それらを集めた投影点列をＳとおけば、Ｓ＝｛Ｔｊ｜ｊ∈Ｊ｝と書け、さらに投影点列の集合をΣとおけばＳ∈Σとなる。
［０１２１］  前記ステップ５０３の処理が済んだら、次に、前記テクスチャ配列確保手段１０３ｃにより、前記投影面にテクスチャマッピングする画像を保持する配列（テクスチャ配列）を、画像生成装置のメモリ上に確保する（ステップ５０３ｄ）。このとき、確保する配列は、前記投影点の位置に対応するテクスチャ情報を画素毎に、色情報（Ｒ，Ｇ，Ｂ）及び存在確率情報を例えば８ビットずつ持たせる。
［０１２２］  また、前記ステップ５０３ｄでは、テクスチャ配列の画素の２次元ディジタル座標（Ｕｊ，Ｖｊ）と投影点Ｔｊの３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）の対応関係も設定する。このとき、例えば、すべての（Ｕｊ，Ｖｊ）の値に対して（Ｘｊ，Ｙｊ，Ｚｊ）の値をテーブルとして設定してもよいし、代表的な（Ｕｊ，Ｖｊ）に対してのみ（Ｘｊ，Ｙｊ，Ｚｊ）の値を設定し、その他対応は補完処理（例えば線形補完）により求めてもよい。
［０１２３］  前記ステップ５０３ｄの処理が済んだら、前記ステップ５０２で取得した被写体の画像をもとに、前記ステップ５０３ｄで確保した各投影点に相当する画素の色情報及び存在可能性情報を決定する。その際、投影点列ＳをＳ∈Σの範囲で順に走査し、さらに投影点ＴｊをＴｊ∈Ｓの範囲で順に走査し、２重のループ処理を行う。
［０１２４］  前記ループ処理は、まず、操作する投影点列Ｓを開始位置に初期化する（ステップ５０３ｅ）。そして次に、走査する投影点Ｔｊを投影点列Ｓ内で開始位置に初期化し、例えば、ｊ＝１とする（ステップ５０３ｆ）。
［０１２５］  前記ステップ５０３ｅ及び前記ステップ５０３ｆの処理が済んだら、次に、投影点Ｔｊの座標（Ｘｊ＊，Ｙｊ＊，Ｚｊ＊）を求め、（Ｘｊ＊，Ｙｊ＊，Ｚｊ＊）の位置にある点を各カメラで撮影したとき、画像面のそれぞれどの位置に対応するかを前記数式１４から数式１７までの関係を用いて算出する（ステップ５０３ｇ）。このとき、前記対応点を計算するカメラの集合Ξ≡｛Ｃｉ｜ｉ∈Ｉ｝とおく。前記カメラの集合Ξは、すべてのカメラであってもよいし、仮想視点Ｐや基準視点Ｒ、投影点Ｔｊの位置に応じて１つもしくは複数のカメラを任意に選択してもよい。
［０１２６］  ここで求めた各カメラの対応点をＧｉｊ（ｉ∈Ｉ）とおき、そのディジタル座標を（ｕｉｊ＊，ｖｉｊ＊）（ｉ∈Ｉ）とおく。
［０１２７］  前記ステップ５０３ｇの処理が済んだら、次に、前記色情報決定手段１０３ｅにより、投影点Ｔｊに対応するテクスチャ配列上の画素（Ｕｊ＊，Ｖｊ＊）における色情報を、（ｕｉｊ＊，ｖｉｊ＊）（ｉ∈Ｉ）における色情報を混合することにより決定する（ステップ５０３ｈ）。前記混合処理は、例えば、各カメラの対応点の色情報の平均値をとる。
［０１２８］  また、前記混合処理では、例えば、カメラＣｉ，投影点Ｔｊ，基準視点Ｒによりなす角θｉｊに応じた重み付けを行うことも可能である。ここで、例えば、図１４に示すように、カメラの集合をΞ＝｛Ｃｎ，Ｃｎ＋１，Ｃｎ＋２｝（Ｉ＝｛ｎ，ｎ＋１，ｎ＋２｝）とした場合を考える。このとき、投影点Ｔｊと対応点Ｇｉｊにおける色情報（Ｒ，Ｇ，Ｂ）を表すベクトルをそれぞれＫｊ，Ｋｉｊとおくと、例えば、下記数式１９のようにＫｊを決定すれば、基準視点Ｒから投影点Ｔｊを見る角度と近い角度から撮影したカメラほど、混合処理の寄与の程度が大きくなる。
［０１２９］
2004114224.tif 000023
前記ステップ５０３ｈの処理が済んだら、前記対応点マッチング処理手段１０３ｄにより、投影点Ｔｊに対する各カメラの対応点Ｇｉｊ（ｉ∈Ｉ）の相関の程度Ｑｊを計算する（ステップ５０３ｉ）。前記相関の程度Ｑｊは、例えば下記数式２０のようにすれば、Ｑｊが正の値をとり、対応点の相関が高いほどＱｊは小さな値をとる。
［０１３０］
2004114224.tif 000024
また、前記数式２０では、投影点と対応点の色情報を１点でのみ比較しているが、投影点と対応点の近傍にある複数の点で色情報の比較を行うこともできる。このとき、例えば、図１４に示すように、投影面Ｔｊの近傍の領域Φｊ、カメラＣｉにおける対応領域Ψｉｊをとると、これらの領域における相関の程度Ｑｊは、例えば、下記数式２１により計算される。
［０１３１］
2004114224.tif 000025
ここでＫ（Ｕｊ，Ｖｊ）はテクスチャ配列の座標（Ｕｊ，Ｖｊ）における色情報の推定値、Ｋ（ｕｉｊ，ｖｉｊ）はカメラＣｉにおける撮影画像の座標（ｕｊ，ｖｊ）における色情報を示す。
［０１３２］  なお、相関の程度を計算する方法は上記の限りではなく、本発明は特定の計算方法に依存するものではない。例えば、図１５に示した例では、投影点Ｔｊ及び対応点に相当する画素とその周りの８画素からなる領域を、それぞれ近傍の領域Φｊ、及びその対応領域Ψｉｊとしている。しかし、近傍の領域Φｊ、及びその対応領域Ψｉｊの定め方は、この例に限定されるものではない。
［０１３３］  前記ステップ５０３ｉの処理が済んだら、次に、前記投影点Ｔｊを更新し（ステップ５０３ｊ）、投影点Ｔｊ∈Ｓをすべて走査したかを判別する（ステップ５０３ｋ）。ここでもし、すべてを走査し終えたのなら、次のステップ５０３ｌに進み、まだ走査し終えていないのであれば前記ステップ５０３ｇに戻る。
［０１３４］  前記ステップ５０３ｋで、すべて走査し終えたと判別されたら、次に、前記存在確率情報決定手段１０３ｆにより、前記ステップ５０３ｉで計算した相関の程度Ｑｊをもとにして、基準視点Ｒを通る直線上にあるすべての投影点Ｔｊ（ｊ∈Ｊ）について、投影点上に被写体が存在する可能性の度合い（存在確率情報）βｊを決定する（ステップ５０３ｌ）。ただし、前記存在確率情報βｊは、下記数式２２及び数式２３の条件を満たす必要がある。
［０１３５］
2004114224.tif 000026
［０１３６］
2004114224.tif 000027
さらに、投影点Ｔｊに被写体が存在する確率が高いほど１に近い値をとるため、前記ステップ５０３ｉで計算した投影点と対応点の相関の程度Ｑｊに対し、例えば、下記数式２４及び数式２５で表される変換処理を施して前記存在確率情報βｊ（ｊ∈Ｊ）を得る。
［０１３７］
2004114224.tif 000028
［０１３８］
2004114224.tif 000029
2004114224.tif 000030
ただし、前記存在確率情報βｊは、前記数式２２及び数式２３の条件を満たせばよいため、変換処理は必ずしも前記数式２４及び数式２５で表される方法に限定されるものではない。
［０１３９］  前記ステップ５０３ｌの処理が済んだら、次に、投影点列Ｓを更新し（ステップ５０３ｍ）、投影点列Ｓ∈Σをすべて走査したかを判別する（ステップ５０３ｎ）。ここでもし、すべてを走査し終えたのなら次のステップ５０３ｏに進み、まだ走査し終えていないのであればステップ５０３ｆに戻る。
［０１４０］  前記ステップ５０３ｎで、すべて走査し終えたと判別されたら、次に、前記レンダリング手段１０３ｇにより、多層構造を持つ投影面Ｌｊ（ｊ＝１，２，…，Ｍ）を仮想視点Ｐから見た画像を、前記存在確率情報βｊに応じて描画して生成する（ステップ５０３ｏ）。ここで、例えば、図１６に示すように、仮想視点Ｐにおける画像面の座標が（ｕｐ，ｖｐ）で表されているとする。このとき、画像面上のある画素ｐ＊（ｕｐ＊，ｖｐ＊）の色情報Ｋｐ＊は、Ｐとｐ＊を結ぶ直線上にある投影点列｛Ｔｊ＊｜ｊ∈Ｊ｝の色情報｛Ｋｊ＊｜ｊ∈Ｊ｝に対応する存在確率情報｛βｊ＊｜ｊ∈Ｊ｝を掛けて加算したものとして決定され、下記数式２６のように表される。
［０１４１］
2004114224.tif 000031
そして、画像面上にあるすべての画素について色情報を決定すれば、仮想視点Ｐにおける画像を得ることができる。
［０１４２］  また、前記数式２６の代わりに、下記数式２７としてＫｐ＊を計算すると、基準視点Ｒと仮想視点Ｐの位置が異なる場合でも、Ｋｐ＊は必ず有効な色空間の範囲内に収めることが保証される。
［０１４３］
2004114224.tif 000032
なお、ここでは画像面の画素を走査して色情報を決定する手順を示したが、これに限らず、例えば、ＯｐｅｎＧＬやＤｉｒｅｃｔＸ等の汎用的なグラフィックスライブラリに投影面の構成、テクスチャ配列、視点Ｐの設定などのデータを受け渡し、描画処理を任せてもよい。
［０１４４］  以上で前記仮想視点画像の生成処理（ステップ５０３）が終了し、生成された仮想視点画像は、前記画像表示手段４に表示される（ステップ５０４）。このとき、前記画像表示手段４に表示される仮想視点画像６は、例えば、図１７に示すように、被写体の像７のうち、前記ステップ５０３ｌで計算した前記相関の程度Ｑｊが低い、すなわち推定値の信頼性が低い箇所７Ａは、曖昧に描画され、ぼやけたようになっている。そのため、例えば、図１に示したような、従来の仮想視点画像６のように、画像が欠損しているようには見えず、利用者の目には気にならない程度の劣化となる。
［０１４５］  その後、前記ステップ５０５で、処理の継続あるいは終了を判断し、継続するのであれば最初のステップ５０１から繰り返し、終了であれば終了処理を行う。
［０１４６］  以上説明したように、本実施例１−１の仮想視点画像生成装置を用いた仮想視点画像生成方法によれば、従来の手段のようにあらゆる場合及びあらゆる箇所で被写体の正確な幾何モデルを得ようとするのではなく、被写体の撮影条件や部位によっては距離推定で十分な信頼性を持つ推定値が得られないことを前提として、信頼性が低い推定値が得られた箇所については曖昧に描画して画像生成への寄与を低くし、極端な画像の劣化を防止するとともに、信頼性が高い距離データが得られた箇所については明瞭に描画して画像生成への寄与を高くする。そのため、推定の信頼性が低い箇所の画像の劣化を目立たなくすることができ、利用者の見た目には劣化の少ない仮想視点画像とすることができる。
［０１４７］  また、本実施例１−１の仮想視点画像生成装置１では、テクスチャマッピングを利用して仮想視点画像を生成するので、画像生成処理における装置の負荷を小さくすることができ、かつ、高速に仮想視点画像を生成することができる。
［０１４８］  また、前記仮想視点画像生成装置１は、専用の装置である必要はなく、例えば、ＣＰＵ、及び、メモリ、ハードディスク等の記憶装置を有するコンピュータとプログラムによっても実現することができる。その場合、図１１に示したような各ステップをコンピュータに実行させることが可能なプログラムを作成し、前記コンピュータに実行させれば、普及型のパーソナルコンピュータでも、画像の劣化が少ない仮想視点画像を容易に、かつ高速に生成することができる。なお、この場合、処理に係るデータは記憶装置に保持され、適宜読み出されてＣＰＵにより処理がなされる。
前記プログラムは、フロッピーディスクやＣＤ−ＲＯＭ等の記録媒体に記録して提供することもできるし、ネットワークを通して提供することも可能である。
［０１４９］  なお、本実施例１−１で説明した仮想視点画像生成装置の構成、及び仮想視点画像の生成方法や処理手順は一例であり、本発明の本旨とするところは、多層から構成される投影面の透明度情報を、複数の異なる視点位置から被写体を撮影した画像間の対応領域の信頼性に応じて決定することである。そのため、この主旨を大きく逸脱しない範囲において特定の処理方法や実装に依存するものではない。
［０１５０］  また、前記仮想視点画像生成装置１を利用したシステムも、図７に示したような、一方向のシステムに限らず、双方向のシステムでも適用できる。
［０１５１］  図１８は、前記実施例１−１の仮想視点画像生成装置１を適用したシステムの応用例を示す模式図である。
［０１５２］  前記実施例１−１の仮想視点画像生成装置１は、例えば、テレビ電話やテレビ会議等のシステムに適しており、例えば、図１８に示すように、通信ネットワークを介して遠隔地に存在する利用者ＵｓｅｒＡ及びＵｓｅｒＢにおいて、両者が利用者であるとともに被写体であると見なし、お互いの画像を提示し合い、視覚的なコミュニケーションを支援するシステムに適用することができる。このとき、ＵｓｅｒＡが所望する視点からのＵｓｅｒＢの画像をＩｍｇ［Ａ→Ｂ］とおけば、Ｉｍｇ［Ａ→Ｂ］はＵｓｅｒＢ側の被写体撮影手段（カメラ）３Ｂにより撮影されたＵｓｅｒＢの画像をもとに生成されてＵｓｅｒＡ側の画像表示手段４Ａに提示される。また、ＵｓｅｒＢが所望する視点からのＵｓｅｒＡの画像をＩｍｇ［Ｂ→Ａ］とおけば、Ｉｍｇ［Ｂ→Ａ］はＵｓｅｒＡ側の被写体撮影手段（カメラ）３Ａにより撮影されたＵｓｅｒＡの画像をもとに生成されてＵｓｅｒＢ側の画像表示手段４Ｂに提示される。
［０１５３］  また、図１８に示したシステムでは、各Ｕｓｅｒの視点位置入力手段が、利用者の頭部に装着された位置／姿勢センサのデータ送信部２０１Ａ，２０１Ｂとデータ受信部２０２Ａ，２０２Ｂにより構成され、利用者の頭部移動に自動的に追従して所望の仮想視点を算出するような例を示している。しかしながら、前記視点位置入力手段は、必ずしもこのような形態をとる必要はない。また、被写体撮影手段３Ａ，３Ｂにより撮影された利用者の画像をもとに頭部の位置／姿勢を推定し、同様の機能を持たせることも可能である。
［０１５４］  ここで、Ｉｍｇ［Ａ→Ｂ］はＵｓｅｒＡ側の仮想視点画像生成装置１ＡとＵｓｅｒＢ側の仮想視点画像生成装置１Ｂのどちらで生成するようなシステム構成も可能である。前者の場合には、カメラ３Ｂで撮影されたＵｓｅｒＢの画像がネットワーク８を介してＵｓｅｒＡ側の仮想視点画像生成装置１Ａに伝送され、それをもとに前記仮想視点画像生成装置１ＡでＩｍｇ［Ａ→Ｂ］が生成されて画像表示手段４Ａで提示される。また、後者の場合にはＵｓｅｒＢ側のカメラ３Ｂで撮影されたＵｓｅｒＢの画像をもとにＵｓｅｒＢ側の仮想視点画像生成装置１ＢでＩｍｇ［Ａ→Ｂ］が生成されたのち、仮想視点画像Ｉｍｇ［Ａ→Ｂ］がＵｓｅｒＡ側の仮想視点画像生成装置１Ａに伝送されて画像表示手段４Ａで提示される。また、説明は省略するが、Ｉｍｇ［Ｂ→Ａ］についても同様である。
［０１５５］  また、図６における画像生成手段１０３を構成する各手段は、ＵｓｅｒＡ側の仮想視点画像生成装置１Ａ及びＵｓｅｒＢ側の仮想視点画像生成装置１Ｂのどちらで分担することも可能であり、例えば、Ｉｍｇ［Ａ→Ｂ］を生成するためにＵｓｅｒＡ側にある画像生成装置１Ａで投影面決定手段１０３ａ及び基準視点決定手段１０３ｂ、ならびに対応点マッチング手段１０３ｄを実装し、ＵｓｅｒＢ側にある画像生成処理装置１Ｂでテクスチャ配列確保手段１０３ｃ及び色情報決定手段１０３ｅ及び存在確率情報決定手段１０３ｆ及びレンダリング手段１０３ｇを実装することができる。また、説明は省略するが、Ｉｍｇ［Ｂ→Ａ］についても同様である。
［０１５６］  さらには、ネットワーク８上の任意の場所に、ＵｓｅｒＡ側及びＵｓｅｒＢ側の前記仮想視点画像生成装置１Ａ，１Ｂとは別の画像生成装置１Ｃを設け、画像生成手段のすべて若しくは一部を実装することも可能である。
［０１５７］  なお、ここではＵｓｅｒＡとＵｓｅｒＢの２人の利用者間での通信について述べたが、利用者の人数は、この限りではなく、さらに多数の利用者間でも同様に本発明を適用することができる。その際、利用者が実際に存在する実空間とは別にコミュニケーションに用いる仮想空間を想定し、その位置関係に応じた他の利用者の画像をお互いに提示し合えば、あたかもネットワーク上の仮想空間（サイバースペース）を共有するかのような感覚を利用者に提示することができる。
［０１５８］  （実施例１−２）
図１９は、実施例１−２の仮想視点画像生成方法を説明するための模式図であり、図１９（ａ）は本実施例１−２の特徴となる処理を示すフロー図、図１９（ｂ）は透明度情報を決定するステップの具体的な処理手順の一例を示すフロー図である。
［０１５９］  本実施例１−２では、前記実施例１−１で説明した仮想視点画像の生成処理において、前記ステップ５０３ｌで計算した投影点の存在確率情報の代わりに、前記存在確率情報を透明度情報に変換して画像生成を行う例を示す。
［０１６０］  このとき、前記仮想視点画像生成装置１の構成や、全体的な処理手順については、前記実施例１−１で説明した例と同様な形態をとることができるため、以下、差異のある部分のみを説明する。
［０１６１］  前記実施例１−１では、前記画像を生成するステップ５０３において、図１１に示したように、前記ステップ５０３ｌで決定した前記存在確率情報βｊを用いて、仮想視点画像を生成していたが、本実施例１−２では、図１９（ａ）に示すように、前記ステップ５０３ｌの後、前記存在確率情報を変換して透明度を決定するステップ５０３ｐを付加する。
［０１６２］  そのため、前記実施例１−１のテクスチャ配列を確保するステップ５０３ｄでは、色情報及び前記存在確率情報を保持する配列を確保したのに対し、本実施例１−２のステップ５０３ｄでは、色情報及び前記透明度情報を保持する配列を確保する。
［０１６３］  前記透明度情報αｊは、前記存在確率情報βｊをもとに計算され、前記実施例１−１のステップ５０３ｌと同様、本実施例１−２でも、前記ステップ５０３ｌで前記存在確率情報をいったん計算し、次のステップ５０３ｐで透明度情報を計算する。
［０１６４］  また、本実施例１−２のレンダリング処理を行うステップ５０３ｏでは、前記実施例１−１で説明した前記数式２６や数式２７の代わりに、前記数式２から前記数式４までに従ってＤｊを逐次的に計算する。そのため、画像面上のある画素ｐ＊（ｕｐ＊，ｖｐ＊）の色情報Ｋｊ＊は、下記数式２８のように計算することになる。
［０１６５］
2004114224.tif 000033
以上が本実施例における画像生成方法であるが、前記存在確率情報βｊをもとに透明度情報αｊを計算する方法の一例を、以下で示す。
［０１６６］  まず、前記数式２６と前記数式２８を比較すると、下記数式２９のようになる。
［０１６７］
2004114224.tif 000034
この関係から、ｊ＝Ｍ，Ｍ−１，…，１の順にαｊを求めていく手順は以下のようになる。
［０１６８］  まず、図１９（ｂ）に示すように、ｊの初期値としてｊ＝Ｍとする（ステップ５０３１ｐ）。次に、前記数式２９から、αＭ＝βＭと決定する（ステップ５０３２ｐ）。次に、ｊの値をｊ＝ｊ−１と更新する（ステップ５０３３ｐ）。
［０１６９］  次に、αｊ＋１が１か否かを判別する（ステップ５０３４ｐ）。このとき、αｊ−１≠１であれば、前記数式２９の関係から、下記数式３０によりαｊを決定する（ステップ５０３５ｐ）。
［０１７０］
2004114224.tif 000035
一方、αｊ＋１＝１のときは、下記数式３１によりαｊを決定する（ステップ５０３６ｐ）。
［０１７１］
2004114224.tif 000036
この根拠を説明すると、まず、αｊ＋１＝１ならば、下記数式３２のようになり、前記数式３０では分母が０（零）となるため計算できない。
［０１７２］
2004114224.tif 000037
そこで前記数式３２を展開すると、下記数式３３となり、前記数式２９を代入すると、数式３４のようになる。
［０１７３］
2004114224.tif 000038
2004114224.tif 000039
［０１７４］
2004114224.tif 000040
前記数式３４と前記数式２２及び数式２３から、下記数式３５が得られる。
［０１７５］
2004114224.tif 000041
ここで、前記数式３２と前記数式３５を、前記数式２９の下辺に代入すれば０＝０×αｊとなり、αｊは任意の値をとりうることがわかる。そこで、本実施例１−２では、例えば、αｊ＝１と設定する。
［０１７６］  ただし、上記の通りαｊは任意の値に設定することができ、本発明は特定のαｊの決定法に依存するものではない。
［０１７７］  次に、ｊ＝１まで処理したかを判別し（ステップ５０３７ｐ）、すべての処理が済んだならば終了、まだ済んでいないのであれば前記ステップ５０３３ｐに戻る。
［０１７８］  以上説明したように、本実施例１−２の仮想視点画像生成方法によれば、前記実施例１−１と同様に、部分的な画像の劣化が目立たない仮想視点画像を容易に、かつ高速に生成することができる。
［０１７９］  また、前記実施例１−１で説明したように、存在確率情報をそのまま用いた画像生成では、基準視点と仮想視点が異なる場合に被写体の遮蔽領域付近で輝度の増加が生じることがあるのに対し、本実施例１−２のように、存在確率情報を透明度に変換する画像生成では、この現象を防止する効果がある。そのため、画像の劣化が少なく、より実際の被写体に近い仮想視点画像を得ることができる。
［０１８０］  また、前記実施例１−１で説明したように、存在確率情報をそのまま用いる画像生成では、基準視点と仮想視点が異なる場合には、後に示す数式を用いた演算で色情報を計算した場合に有効な色情報の範囲内に収まる保証がなく、例えば、補正処理が必要であるのに対し、本実施例１−２のように、前記存在確率情報を透明度に変換する画像生成では、このような補正は不要である。そのため、画像生成処理が簡略化できる。
［０１８１］  また、本実施例１−２の仮想視点画像生成方法のように、存在確率情報を透明度に変換する画像生成では、半透過の被写体も効率的に表現することができ、現実世界にあるより多くの被写体に対して広く本発明を適用できる効果がある。
［０１８２］  なお、本実施例１−２で説明した仮想視点画像生成方法は一例であり、本実施例の本旨とするところは、前記存在確率情報を透明度情報に変換して仮想視点画像を生成することである。そのため、この主旨を大きく逸脱しない範囲において特定の計算方法や処理手順に依存するものではない。
［０１８３］  また、上記の色情報とは、白黒画像の場合には輝度情報に相当し、同様に処理することが可能である。
［０１８４］  （実施例１−３）
図２０は、実施例１−３の仮想視点画像生成方法を説明するための模式図であり、投影面群、基準視点、仮想視点、投影点の一例を示す図である。
［０１８５］  本実施例１−３では、複数のカメラで共通の投影面Ｌｊを用いるのではなく、カメラＣｊ毎に固有の投影面を設定して画像生成する方法について説明する。なお、仮想視点画像生成装置１の構成や、全体的な画像生成の処理手順は前記実施例１−１で説明した手順と同様であるので、詳細な説明は省略する。
［０１８６］  まず、前記実施例１−１で説明したように、前記ステップ５０１で仮想視点を決定し、次の前記ステップ５０２で被写体の画像を取得する。
［０１８７］  本実施例１−３の画像生成方法では、次に行われる前記仮想視点画像を生成するステップ５０３の、投影面を決定するステップ５０３において、前記カメラ毎に固有の投影面群を設定する。
［０１８８］  このとき、前記投影面群は、例えば、図２０に示すように、カメラＣｉ（ｉ∈Ｉ，Ｉ＝｛ｎ−１，ｎ，ｎ−１，ｎ＋２｝）の画像面Ｉｍｇｉ（ｉ∈Ｉ）に平行に、それぞれ固有の投影面群Ａｉ≡｛Ｌｉｊ｜ｊ∈Ｊ｝を設定する。
［０１８９］  前記投影面群の設定が済んだら、次に、前記ステップ５０３ｂの基準視点を決定する処理において、前記投影面群Ａｉに固有の基準視点Ｒｉを、カメラの視点Ｃｉと同じ位置に設定する。
［０１９０］  前記ステップ５０３ｂが済んだら、次に、前記実施例１−１で説明したような手順で前記ステップ５０３ｃの処理を行う。そしてその次のステップ５０３ｄでは、カメラで撮影したディジタル画像の各画素を投影面上に逆投影し、投影面のテクスチャ配列の各画素と対応づける。
［０１９１］  ここで、ディジタル画像の点（ｕ，ｖ）と画像面上の点（ｘ，ｙ）への変換は、例えば、前記数式１７で表され、（ｘ，ｙ）から３次元空間中の投影面上の点（Ｘ，Ｙ，Ｚ）への逆投影は例えば以下のように数式化できる。
［０１９２］  一般に、２次元の点（ｘ，ｙ）が与えられたとき、前記数式１４及び前記数式１５を満たすような点（Ｘ，Ｙ，Ｚ）は３次元中に無数にあるが、そのうち投影面上にある点（Ｘ，Ｙ，Ｚ）が逆投影像である。
［０１９３］  投影面の式は一般的にａＸ＋ｂＹ＋ｃＺ＋ｄ＝０と表現され、これをベクトル表現で書き直すと、下記数式３６のようになる。
［０１９４］
2004114224.tif 000042
ここで前記数式１４及び前記数式１５、ならびに前記数式３６をまとめると、下記数式３７が得られる。
［０１９５］
2004114224.tif 000043
そこで、前記数式３７を（Ｘ，Ｙ，Ｚ）について解くと（ｘ，ｙ）から（Ｘ，Ｙ，Ｚ）への逆投影像を求めることができる。ここで、例えば、前記数式３７の４行４列の行列が逆行列を持つならば、ｓ’＝１／ｓとおけば、前記逆投影像は下記数式３８で求められる。
［０１９６］
2004114224.tif 000044
なお、上記の例はあくまでも一例であり、レンズの収差（例えば歪曲収差）を補正するようなキャリブレーションを行うことも可能であるし、ディジタル画像の点（ｕ，ｖ）に対応する投影面上の点（Ｘ，Ｙ，Ｚ）をテーブルとして持つことも可能である。
［０１９７］  その後、前記実施例１−１で説明した手順で前記ステップ５０３ｅから前記ステップ５０３ｇ間での処理を行う。そしてその次のステップ５０３ｈの色情報を決定する処理では、前記投影面群Ａｉ上の投影点は、カメラＣｉで撮影した画像の色情報のみを用いて決定する。
［０１９８］  本実施例１−３で説明した前記ステップ５０３ｄと前記ステップ５０３ｈのようにすることで、カメラで撮影したディジタル画像をそのまま投影面のテクスチャ配列の色情報として用いることができる。
［０１９９］  その後再び、前記ステップ５０３ｉから前記ステップ５０３ｎまでは、前記実施例１−１と同じ手順で処理を行う。そしてその次に、前記ステップ５０３ｏのレンダリング手段においては、仮想視点Ｐから見て重なり合うすべての投影点について色情報の混合処理を行う。このとき、例えば、図２０に示した例では、投影面群Ａｎ及びＡｎ＋１上の投影点について、仮想視点Ｐを通る直線上で色情報の混合処理を行っている。
［０２００］  ここで、投影面Ｌｉｊ上にある投影点をＴｉｊ、Ｔｉｊでの色情報をＫｉｊ，存在可能性情報をβｉｊとして、前記実施例１−１で前記数式２７として表された仮想視点Ｐの画像面の色情報は例えば以下のように決定される。
［０２０１］  すなわち、画像面上のある画素ｐ＊（ｕｐ＊，ｖｐ＊）の色情報Ｋｐ＊は、Ｐとｐ＊を結ぶ直線上にある投影点列｛Ｔｉｊ＊｜ｉ∈Ｉ，ｊ∈Ｊ｝の色情報｛Ｋｉｊ＊｜ｉ∈Ｉ，ｊ∈Ｊ｝に対応する存在可能性情報｛βｉｊ＊｜ｉ∈Ｉ，ｊ∈Ｊ｝を係数とした重み付き平均値として決定され、下記数式３９となる。
［０２０２］
2004114224.tif 000045
以上説明したように、本実施例１−３の仮想視点画像生成方法によれば、前記実施例１−１と同様に、部分的な画像の劣化が目立たない仮想視点画像を容易に、かつ高速に生成することができる。
［０２０３］  また、本実施例１−３のように、カメラ間の位置関係とは無関係にカメラ毎に固有の投影面群を設定すれば、カメラの配置が複雑であったり不規則であったりしても、投影面群の設定処理が影響を受けることはなく、一貫した処理方法により画像生成ができる。
［０２０４］  なお、本実施例１−３で説明した仮想視点画像生成方法は一例であり、本実施例の本旨とするところは、前記存在確率情報を透明度情報に変換して仮想視点画像を生成することである。そのため、この主旨を大きく逸脱しない範囲において特定の計算方法や処理手順に依存するものではない。
［０２０５］  また、上記の色情報とは、白黒画像の場合には輝度情報に相当し、同様に処理することが可能である。
［０２０６］  （第１の実施の形態の効果）
第１の実施の形態で説明した方法によれば、従来の方法のようにあらゆる場合及びあらゆる箇所で被写体の正確な幾何モデルを得ようとするのではなく、被写体の撮影条件や部位によっては距離推定で十分な信頼性を持つ推定値が得られないことを前提とし、信頼性が低い推定値が得られた箇所については曖昧に描画して画像生成への寄与を低くし、極端な画像の劣化を防止するとともに、信頼性が高い距離データが得られた箇所については明瞭に描画して画像生成への寄与を高くする。そのため、推定の信頼性が低い箇所の画像の劣化が目立たなくなる。
［０２０７］  また、基準視点と仮想視点が異なる場合に被写体の遮蔽領域付近で輝度の増加が生じるという問題を解決できる。また、基準視点と仮想視点が異なる場合、色情報を計算したときに有効な色情報の範囲内に収まる保証がないので、補正処理が必要となることがあるが、本実施の形態で説明した方法ではこのような補正は不要である。また、半透過の被写体も効率的に表現することができ、現実世界に存在する、より多くの被写体に対して広く本発明を適用できる効果がある。また、カメラ間の位置関係とは無関係にカメラ毎に固有の投影面群を設定すれば、カメラの配置が複雑であったり不規則であったりしても、投影面群の設定処理が影響を受けることはなく、一貫した処理方法により画像生成ができる。
［０２０８］  更に、前記カメラ毎に固有の投影面群を設定した場合、投影面の色情報に関しては対応するカメラで撮影した画像間での混合処理が必要ない。そのため、例えば、計算機（コンピュータ）で処理する際に並列処理が可能であり、画像生成の高速化が可能である。
［０２０９］  また、同じカメラに対応付けされている投影面群の色情報はすべて同じであるため、計算機（コンピュータ）で処理する際に、色情報を格納するテクスチャメモリを共有できる。そのため、投影面の数ほどはメモリを消費することがなく、画像生成に用いる装置の負荷を低減することができる。更に、ある投影面に対応するカメラは一意に決定されているため、両者の座標の対応関係をあらかじめ設定しておくことで、レンズの歪曲収差の補正などのキャリブレーションを容易にかつ高速に行うことができる。
［０２１０］  また、複数枚の被写体の画像をもとに仮想視点画像を生成する装置の処理時間を短縮する、あるいは装置にかかる負荷を軽減することができ、普及型のパーソナルコンピュータでも部分的な劣化が少ない画像を短時間で生成させることができる。
［０２１１］  ［第２の実施の形態］
以下、本発明の第２の実施の形態について説明する。第２の実施の形態は、主に請求項１２〜請求項２１に対応する実施の形態である。第２の実施の形態における基本的なしくみは第１の実施の形態と同様であるが、第２の実施の形態では、カメラセットを複数組用意し、カメラセット毎に求めた相関度に基づき存在確率を算出する点に特徴がある。なお、第２の実施の形態を説明するための図において、同一機能を有するものは、同一符号を付ける。
［０２１２］  第２の実施の形態の画像生成方法は、視点が異なる複数枚の画像から、前記画像に写っている物体の３次元形状を取得し、前記物体の３次元像を提示する画像、あるいは任意の視点から前記物体を見たときの画像を生成する方法である。このとき、前記物体の３次元形状は、テクスチャマッピングの手法を用い、多層構造の投影面を設定して、前記観察者の視点から物体の表面上の各点までの距離を推定して求める。前記物体の表面までの距離を推定するときには、例えば、前記観察者の視点から見て重なり合う各投影面上の点（以下、投影点という）に対して、前記投影点と対応する各画像上の点（以下、対応点という）の相関度を求める。そして、前記観察者の視点から見て重なり合う各投影点の相関度の高さから、前記重なり合う投影点のうち、どの投影点の近傍に前記物体の表面が存在するか推定する。ただし、本実施の形態の画像生成方法では、前記観察者の視点から見て重なり合う複数の投影点のうち、どの投影点の近傍に前記物体の表面が存在するかということを考えるのではなく、前記各投影点の近傍に、前記各投影点の相関度の大きさに応じた割合で物体の表面が存在すると考える。このとき、本発明の画像生成方法では、前記各投影点に対する相関度から、前記各投影点もしくはその近傍に物体の表面が存在する確率（以下、存在確率という）を決定する。そして、前記被写体の３次元形状に基づいて画像を生成するときに、前記投影点の色情報を前記生成する画像上の各点の色情報に割り当てるときに、前記存在確率の高さに応じた割合で割り当てる。このようにして、前記投影面を観察している観察者から見て、前記物体表面までの距離の推定が難しい部分を曖昧に描画し、不連続なノイズ等を目立ちにくくする。
［０２１３］  また、前記観察者の視点、もしくは物体の３次元形状を取得するための基準視点から見て重なり合う複数の投影点について、物体表面の存在確率の確率密度分布をある程度想定できるのであれば、確率密度分布を反映したパラメータ関数ｐ（ｌ）を用いて前記存在確率を求めてもよい。その場合、撮影した画像上のノイズ（雑音）の影響による相関度のばらつきを低減でき、存在確率の信頼性の低下を防げる。
［０２１４］  またさらに、ある投影点に対する相関度を、全ての画像上の対応点を用いて求めるのではなく、あらかじめ定められていくつかの視点から撮影した画像上の対応点から求めれば、例えば、オクルージョン（遮蔽）により前記投影点上に物体の表面があっても写らない画像を取り除くことで、前記相関度の高さの信頼性が向上し、前記存在確率の信頼性も向上する。
［０２１５］  図２１乃至図２８は、本実施の形態の画像表示方法の原理を説明するための模式図であり、図２１は表示する画像の生成方法の概念を説明する図、図２２は図２１を２次元的に表現した図、図２３（ａ）及び図２３（ｂ）は対応点の相関度の求め方を説明する図、図２４（ａ）及び図２４（ｂ）は対応点の相関度を求めるときに問題となる点を説明する図、図２５は相関度を求めるときの問題を解決する方法を説明する図、図２６（ａ）及び図２６（ｂ）は存在確率の精度を向上させる方法の一例を説明する図、図２７（ａ），図２７（ｂ），及び図２８は本実施の形態の特徴を説明する図である。
［０２１６］  本実施の形態の画像表示方法では、表示する画像を生成するときに、まず、コンピュータ等の画像生成装置内に仮想的な３次元空間を設定し、前記３次元空間上に、前記物体の画像を撮影したカメラの視点Ｃｉ（ｉ＝１，２，…，Ｎ）、及び物体の３次元形状を推定する多層構造の投影面Ｌｊ（ｊ＝１，２，…，Ｍ）を設定する。このとき、前記カメラがある１本の直線上に並んでいるとすれば、前記視点Ｃｉは、例えば、図２１及び図２２に示すように、Ｘ軸（Ｚ＝０）上に設定する。また、前記投影面Ｌｊは、例えば、図２１及び図２２に示すように、ＸＹ平面に平行な平面を、Ｚ＝ｌｊ（＜０）に設定する。
［０２１７］  このとき、図２１及び図２２に示したように、観察者の視点Ｐから引いた直線ｌｐとある投影面Ｌｍの交点（投影点）Ｔｍに物体の表面があれば、その点は、前記視点Ｃｉに設置したカメラで撮影した画像上の点（対応点）Ｇｉ，ｍに写るはずである。同様に、前記投影点Ｔｍに物体の表面があれば、その点は、前記視点Ｃｉ＋１，Ｃｉ＋２に設置したカメラで撮影した画像上ではそれぞれ、対応点Ｇｊ＋１，ｍ，Ｇｉ＋２，ｍに写るはずである。そのため、前記投影点Ｔｍに対する前記各画像上の対応点Ｇｉ，ｍ，Ｇｉ＋１，ｍ，Ｇｉ＋２，ｍの相関度（類似度）がわかれば、前記投影点Ｔｍ上もしくはその近傍に物体の表面が存在するかどうか推定することができる。そして、このような推定を、前記観察者の視点Ｐから引いた直線ｌｐ上の各投影点Ｔｊに対して行えば、前記観察者の視点Ｐから引いた直線ｌｐ上では、物体の表面がどの投影点Ｔｊ（投影面Ｌｊ）の近傍にあるか推定できる。
［０２１８］  前記観察者の視点Ｐから引いた直線ｌｐ上で、物体の表面がどの投影点Ｔｊ（投影面Ｌｊ）の近傍にあるか推定するときには、例えば、前記投影点Ｔｊと対応する各対応点Ｇｉ，ｊの相関度Ｑｊを用いる。前記相関度Ｑｊは、例えば、第１の実施の形態と同様に、下記数式４０を用いて求める。
［０２１９］
2004114224.tif 000046
ここで、Ｉは各カメラの視点Ｃｉ（ｉ＝１，２，…，Ｎ）のうち画像面上に前記投影点Ｔｊに対する対応点Ｇｉ，ｊを定義できる視点Ｃｉの組み合わせ、Ｋｉｊは各対応点Ｇｉ，ｊの色情報、Ｋｊは投影点Ｔｊの色情報で前記各対応点Ｇｉ，ｊの色情報Ｋｉｊの平均値とする。
［０２２０］  このとき、設定した投影面Ｌｊに、実際の物体の表面形状を重ね合わせると、例えば、図２３（ａ）のようになる場合を考えてみる。このとき、前記観察者の視点Ｐから引いた直線ｌｐ上の投影点Ｔｊのうち、前記カメラの視点Ｃｉ，Ｃｉ＋１，Ｃｉ＋２から見える物体表面に最も近い投影点は投影点Ｔｍである。そのため、前記投影点Ｔｍに対する対応点Ｇｉ，ｍ，Ｇｉ＋１，ｍ，Ｇｉ＋２，ｍのそれぞれに写っている物体表面上の点は、図２３（ａ）に示したように、非常に近い位置関係にある。一方、例えば、投影面Ｔ２に対する対応点のそれぞれに写っている物体表面上の点は、離れた位置関係にある。その結果、前記数式４０を用いて、前記直線ｌｐ上の各投影点Ｔｊの相関度Ｑｊを求めると、図２３（ｂ）に示すように、前記投影点Ｔｍの相関度Ｑｍだけが非常に小さな値となる。そのため、前記観察者の視点Ｐから前記直線ｌｐの方向を見たときに、物体の表面は、前記投影点Ｔｍ、すなわち前記投影面Ｌｍが設定されている距離ｌｍの位置にあると推定できる。
［０２２１］  そこで、前記観察者の視点Ｐから様々な方向に直線ｌｐを引き、各直線ｌｐ上の投影点Ｔｊに対して、同様の処理を繰り返せば、前記画像に写っている物体の表面形状を推定することができる。
［０２２２］  ただし、このような推定方法が有効である、すなわち推定した物体の表面形状の信頼性が高いのは、図２３（ａ）及び図２３（ｂ）に示したように、実際の物体の表面形状が比較的単純な場合だけであり、物体の形状が複雑であったり、複数の物体が観察者の視点Ｐから見て重なっている場合には、推定した物体の表面形状の信頼性が低くなる。
［０２２３］  ここで、推定した物体の表面形状の信頼性が低くなる例として、２個の物体が観察者の視点Ｐから見て重なっており、設定した投影面Ｌｊと、２個の物体の表面形状を重ね合わせると、例えば、図２４（ａ）のようになる場合を考えてみる。このとき、図２４（ａ）において破線で示している観察者の視点Ｐから引いた直線ｌｐ上の投影点Ｔｊに対して相関度Ｑｊを求めれば、例えば、図２３（ｂ）に示したような分布になると考えられる。そのため、前記直線ｌｐの付近では、推定した物体Ａの表面形状の信頼性が高いと考えられる。
［０２２４］  ところが、例えば、図２４（ａ）において実線で示している観察者の視点Ｐから引いた直線ｌｐ’上の投影点Ｔ’ｍに対して相関度Ｑ’ｍを求める場合、視点Ｃｉから撮影した画像の対応点Ｇ’ｉ，ｍには物体Ｂの表面が写っており、前記視点Ｃｉ＋１，ｍ，Ｃｉ＋２，ｍから撮影した画像の対応点Ｇ’ｉ＋１，ｍ，Ｇ’ｉ＋２，ｍには物体Ａの表面が写っている。このような場合、前記数式４０から求めた相関度Ｑ’ｍは大きくなってしまう。その結果、前記直線ｌｐ’上の投影点Ｔ’ｊの相関度Ｑ’ｊの分布は、図２４（ｂ）に示したようになり、どの投影点Ｔｊの近傍に物体の表面があるか推定することが難しい。このとき、図２３（ｂ）に示したような分布の場合と同様に、相関度Ｑ’ｊが最も小さい投影点Ｔ’ｊの近傍に物体の表面があると推定すると、その推定が誤りであった場合、表示する画像上に不連続なノイズとなって現れてしまう。
［０２２５］  そこで、本実施の形態の画像表示方法では、例えば、前記相関度Ｑｊが最も小さい投影点Ｔｊもしくはその近傍に物体の表面があるという推定をせず、各投影点Ｔｊに、前記相関度Ｑｊの大きさの割合に応じた確率で物体の表面が存在すると考える。このとき、前記投影点Ｔｊもしくはその近傍に物体の表面が存在する確率（存在確率）をβｊとすると、前記観察者の視点Ｐから引いた直線ｌｐ上の投影点、すなわち前記観察者の視点Ｐから見て重なり合う投影点Ｔｊの存在確率βｊは、下記数式４１及び数式４２のような条件を満たすことが必要である。
［０２２６］
2004114224.tif 000047
［０２２７］
2004114224.tif 000048
さらに、投影点Ｔｊのうち、物体表面が存在する確率が高い投影点ほど、前記存在確率βｊが１に近い値をとるようにするためには、前記各投影点Ｔｊの相関度Ｑｊに対して、例えば、下記数式４３及び数式４４で表される変換処理を行って、前記各投影点Ｔｊの存在確率βｊを決定する。
［０２２８］
2004114224.tif 000049
［０２２９］
2004114224.tif 000050
ただし、前記存在確率βｊは、前記数式４１及び数式４２の条件を満たしていればよい。そのため、前記存在確率βｊは、前記数式４３及び数式４４で表される変換処理以外の方法で決定してもよい。
［０２３０］  このような処理により、前記各投影点Ｔｊもしくはその近傍に物体の表面が存在する確率βｊを決定すると、例えば、図２５に示すように、前記観察者の視点Ｐから引いたある直線ｌｐ上の各投影点Ｔｊに対する色情報Ｋｊ及び存在確率βｊが決定する。
［０２３１］  こうして推定した物体の３次元形状を用いて、例えば、輝度変調型のＤＦＤに前記物体の３次元像を表示する場合は、複数の表示面のうちの、前記各投影点Ｔｊに相当する画素を、色情報Ｋｊ，前記存在確率βｊに応じた輝度で表示する。こうすると、前記直線ｌｐ上の各投影点Ｔｊの相関度Ｑｊが、例えば、図２３（ｂ）に示したように、ある投影点Ｔｍの相関度Ｑｍの値だけ、他の相関度の値と著しく異なる場合、その投影点Ｔｍの存在確率βｍだけが大きな値をとる。そのため、前記投影点Ｔｍに相当する画素の輝度だけが大きくなり、前記観察者の視点Ｐから前記投影面Ｌｊを見ている観察者の見た目に明瞭にうつる。
［０２３２］  一方、前記直線ｌｐの各投影点Ｔｊの相関度Ｑｊが、例えば、図２４（ｂ）に示したようになり、どの投影点Ｔｊの近傍に物体の表面があるか推定することが難しい場合、同程度の存在確率になる投影点が複数個現れる。そのため、複数の投影面Ｌｊ上の投影点Ｔｊに相当する画素が同程度の輝度で表示され、前記観察者の視点Ｐから前記投影面Ｌｊを見ている観察者の見た目には、距離感が曖昧にうつる。しかしながら、観察者の視点Ｐから見て重なる複数の投影点に物体の表面像を表示するので、物体表面までの距離の推定を誤ることで生じるような不連続なノイズにはならない。そのため、表示する物体の正確な３次元形状を求めなくても、観察者の見た目に自然な物体の３次元像を表示することができる。
［０２３３］  また、前記手順で推定した物体の３次元形状を用いて、任意の視点から前記物体を見たときの二次元画像（任意視点画像）を表示する場合には、例えば、前記観察者の視点Ｐから引いた直線ｌｐ上の各投影点Ｔｊの色情報Ｋｊを前記存在確率βｊの割合で混合した色情報を、前記直線ｌｐと表示する画像の画像面との交点の色情報とすればよい。
［０２３４］  また、前記存在確率βｊを決定するときに、物体の表面が存在する確率の確率密度分布をある程度想定することができるのであれば、前記数式４３及び数式４４で決定した前記各投影点Ｔｊの存在確率βｊに、前記物体の形状分布に基づいた統計処理を行うことで、前記各視点Ｃｉで撮影した画像のノイズ（雑音）による推定の誤差を低減することができる。ここで、前記統計処理を行う前の存在確率と処理を行ったあとの存在確率を区別するために、前記統計処理を行う前の存在確率、すなわち前記数式４３及び数式４４から求めた存在確率βｊを、評価基準値νｊとする。そして、前記評価基準値νｊに対して統計処理を行ったあとに得られる値を存在確率βｊとする。
［０２３５］  前記数式４３及び数式４４から求めた評価基準値νｊに対して行う統計処理では、まず、例えば、図２６（ａ）に示すように、前記評価基準値νｊの分布に、物体の存在確率の確率密度分布を当てはめ、存在確率の分布関数ｐ（ｌ）を求める。このとき、前記確率密度分布が、例えば、正規分布（ガウス分布）に従うとすれば、前記存在確率の分布関数ｐ（ｌ）は、下記数式４５のように表すことができる。
［０２３６］
2004114224.tif 000051
2004114224.tif 000052
ここで、μは平均値、σは分散を表すパラメータであり、前記評価基準値νｊを用いて、下記数式４６及び数式４７のように推定することができる。
［０２３７］
2004114224.tif 000053
［０２３８］
2004114224.tif 000054
こうして存在確率の分布関数ｐ（ｌ）を求めたら、例えば、下記数式４８を用いて、前記存在確率βｊを決定する。
［０２３９］
2004114224.tif 000055
ここで、ｌｊ−及びｌｊ＋は、図２６（ｂ）に示すように、距離ｌｊにある投影面Ｌｊに物体の表面が存在するとみなす距離の下限値及び上限値であり、例えば、下記数式４９及び数式５０で与える。
［０２４０］
2004114224.tif 000056
［０２４１］
2004114224.tif 000057
前記数式４５から数式５０の関係を用いて求めた前記存在確率νｊに基づいて、前記ＤＦＤに物体の３次元像を表示したり、任意の視点から見た２次元画像を表示したりすることで、もとの画像、すなわち前記視点Ｃｉから前記物体を撮影した画像のノイズの影響を低減した画像を表示することができる。
［０２４２］  また、例えば、図２４（ａ）及び図２４（ｂ）に示したように、物体のオクルージョン（遮蔽）により、ある投影点Ｔｊに対する対応点Ｇｉ，ｊの中に、他の対応点とは異なる物体がうつっているような場合、その対応点を除外して相関度Ｑｊを求めれば、比較的信頼性の高い推定をすることができると考えられる。ここで、図２４（ａ）のような場合を考えてみると、いままで説明した方法では、前記観察者の視点Ｐから引いた直線ｌｐ’上の投影点Ｔ’ｍの相関度Ｑ’ｍを求めるときに、前記物体Ａの表面でなく、物体Ｂの表面がうつっている対応点Ｇｉ，ｍも用いて求める。そのため、前記数式４０から求めた相関度Ｑ’ｍは大きくなり、前記直線ｌｐ’で物体の表面が存在する距離を推定することが難しかった。
［０２４３］  そこで、例えば、図２７（ａ）に示すように、前記物体Ｂの表面がうつっている対応点Ｇｉ，ｍを除外して前記投影点Ｔｍに関する相関度Ｑｍを求める。このとき、図２７（ａ）に示した例では、前記投影点Ｔｍに対する対応点Ｇｉ＋１，ｍ，Ｇｉ＋２，ｍを用いて相関度Ｑｍを求めることになる。こうすると、前記対応点Ｇｉ＋１，ｍ，Ｇｉ＋２，ｍには、前記物体Ａの表面の非常に近い点がうつっているので、前記数式４０から相関度Ｑ’ｊを求めれば、図２７（ｂ）に示すように、投影点Ｔ’ｍの相関度Ｑ’ｍだけが他の投影点の相関度よりも小さいような分布になる。そのため、オクルージョンの影響を低減し、実際の物体の表面形状に近い３次元形状を推定することができる。
［０２４４］  またこのとき、前記相関度Ｑｊを求めるための対応点Ｇｉ，ｊ（視点Ｃｉ）の組み合わせΞを何通りか設定しておき、前記観察者の視点Ｐから引いたある直線ｌｐ上の各投影点Ｔｊの相関度Ｑｊを、全ての組み合わせΞの場合について求め、その結果を統合して、最終的な存在確率を求める。一般に、対応点Ｇｉ，ｊ（視点Ｃｉ）の組み合わせをΞ（ｈ∈ＩＩ）とし、前記各組み合わせΞｈを用いて求めた前記直線ｌｐ上の存在確率の分布関数をｐｈ（ｌ）、前記各分布関数ｐｈ（ｌ）から求めた存在確率をβｊ，ｈとすれば、統合された存在確率βｊは下記数式５１から求めることができる。
［０２４５］
2004114224.tif 000058
また、前記投影点Ｔｊの色情報Ｋｊは、例えば、前記組み合せ組み合わせΞｈ毎に求めた色情報Ｋｊ，ｈ及び存在確率βｊ，ｈから、例えば、下記数式５２を用いて決定できる。
［０２４６］
2004114224.tif 000059
こうすると、例えば、図２８に示すように、ある組み合わせΞｈで求めた物体表面までの距離の推定の信頼性が高く明瞭なピークが現れる分布関数ｐｈ（ｌ）が、別の組み合わせΞｈ’で求めた物体表面までの距離の推定の信頼性が低い分布関数ｐｈ（ｌ）の影響を受けにくい。そのため、全体として前記観察者の視点から表示する物体上の各点までの距離の推定の信頼性が向上する。
［０２４７］  （実施例２−１）
図２９乃至図３４は、本発明による実施例２−１の画像生成方法を説明するための模式図であり、図２９は全体的な処理手順の一例を示すフロー図、図３０は図２９における投影点の色情報及び存在確率を決定するステップの処理手順の一例を示すフロー図、図３１は図３０における存在確率を決定するステップの一例を示すフロー図、図３２はカメラセットの設定例を示す図、図３３，図３４（ａ），及び図３４（ｂ）は投影面の情報を表示面の情報に変換する方法を説明する図である。
［０２４８］  本実施例２−１の画像生成方法は、複数の視点から撮影した画像を用いて、前記画像に写っている物体の３次元形状を取得し、取得した前記物体の３次元形状に基づいて、例えば、ＤＦＤのように複数の画像表示面を持つ画像表示手段の各画像表示面に表示する２次元画像を生成する方法である。
［０２４９］  前記画像生成方法は、例えば、図２９に示すように、視点Ｃｉから撮影した物体の画像を取得するステップ１と、観察者の視点Ｐを設定するステップ２と、前記物体の３次元形状を取得するステップ３と、取得した３次元形状を表現する投影面上の点（投影点）の色情報及び存在確率を画像表示面上の点（表示点）の色情報及び存在確率に変換して前記画像表示面に表示する２次元画像を生成するステップ４と、画像表示面上の表示点を色情報，存在確率に応じた輝度または透明度で表示させるステップ５とを有する。
［０２５０］  また、前記ステップ３は、例えば、図２９に示すように、多層構造の投影面Ｌｊを設定するステップ３０１と、物体の３次元形状を取得するための基準視点を決定するステップ３０２と、前記基準視点から見て重なる各投影面Ｌｊ上の投影点Ｔｊの組でなる投影点列及び前記投影点列の各投影点Ｔｊに対応する取得した各画像上の対応点Ｇｉ，ｊを設定するステップ３０３と、前記各投影点Ｔｊの相関度Ｑｊを求めるための視点Ｃｉの組み合わせ（以下、カメラセットという）Ξｈを決定するステップ３０４と、前記投影点Ｔｊの色情報及び存在確率を格納する配列を確保するステップ３０５と、前記投影点Ｔｊの色情報及び存在確率を決定するステップ３０６とを有する。
［０２５１］  また、前記ステップ３０６は、例えば、図３０に示すように、前記投影点列を初期化するステップ３０６０１と、前記カメラセットΞｈ及び投票データを初期化するステップ３０６０２と、前記投影点列上の投影点Ｔｊを初期化するステップ３０６０３と、前記投影点Ｔｊの色情報を決定するステップ３０６０４と、前記投影点Ｔｊに対する対応点Ｇｉ，ｊのうち、前記カメラセットΞｈの組み合わせに含まれる対応点を用いて相関度Ｑｊ，ｈ算出するステップ３０６０５と、処理の対象となっている投影点列上の全ての投影点Ｔｊに対して前記ステップ３０６０４及びステップ３０６０５の処理を繰り返し行わせるステップ３０６０６と、前記カメラセットΞｈで求めた各相関度Ｑｊ，ｈを投票するステップ３０６０７と、カメラセットΞｈを更新し、全てのカメラセットで前記ステップ３０６０４からステップ３０６０７までの処理を繰り返し行わせるステップ３０６０８と、前記ステップ３０６０７で投票した相関度Ｑｊ，ｈに基づいて前記各投影点Ｔｊの存在確率を決定するステップ３０６０９と、投影点列を更新し、全ての投影点列に対して前記ステップ３０６０２からステップ３０６０９までの処理を繰り返し行わせるステップ３０６１０とを有する。
［０２５２］  またさらに、前記ステップ３０６０９は、図３１に示すように、カメラセットΞｈを初期化するステップ３０６０９ａと、前記カメラセットΞｈを用いて求めた相関度Ｑｊ，ｈから評価基準値νｊ，ｈを算出するステップ３０６０９ｂと、前記評価基準値νｊ，ｈの統計処理により存在確率の分布関数ｐｈ（ｌ）を決定するステップ３０６０９ｃと、前記存在確率の分布関数から、前記各投影点Ｔｊの存在確率βｊ，ｈを決定するステップ３０６０９ｄと、前記カメラセットΞｈを更新し、前記ステップ３０６０９ｂからステップ３０６０９ｄまでの処理を繰り返し行わせるステップ３０６０９ｅと、前記各カメラセットΞｈで求めた存在確率βｊ，ｈを統合して、前記各投影点Ｔｊの存在確率βｊを決定するステップ３０６０９ｆとを有する。
［０２５３］  本実施例２−１の画像生成方法を用いて、例えば、前記ＤＦＤの各画像表示面に表示する２次元画像を生成するときには、まず、複数の異なる視点Ｃｉ（ｉ＝１，２，…，Ｎ）に設置したカメラで物体を撮影した画像を取得する（ステップ１）。このとき、前記視点Ｃｉは画像を撮影するカメラの設置位置とし、例えば、図２１に示したように、ある１つの直線上に１次元的に並んでいるとする。またこのとき、前記カメラの視点Ｃｉは、ある１つの直線上に限らず、複数の直線上あるいは曲線上に１次元的に並んでいてもよい。また、１次元的ではなく、平面上あるいは曲面上に２次元格子状に並んでいてもよい。またこのとき、取得する画像は、カラー画像であっても、白黒画像であってもよいが、本実施例２−１では、画像上の各点（画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色を用いた色情報で表現されるカラー画像を取得するとして説明する。
［０２５４］  次に、コンピュータ等の画像生成装置上の仮想空間に、ＤＦＤに表示する物体の３次元像（画像）を観察する観察者の視点Ｐを設定する（ステップ２）。
［０２５５］  次に、前記画像を生成するために用いる、物体の３次元形状を取得する（ステップ３）。前記ステップ３では、まず、前記仮想空間上に、前記物体の３次元形状（表面形状）を推定するための投影面Ｌｊを設定する（ステップ３０１）。このとき、前記投影面Ｌｊは、例えば、図２１に示したように、ＸＹ平面と平行な平面として設定する。またこのとき、前記投影面Ｌｊの設定間隔は、例えば、画像を表示するＤＦＤの画像表示面の間隔と一致させてもよいし、一致させなくてもよい。
［０２５６］  次に、前記物体の３次元形状を取得するための基準視点を決定する（ステップ３０２）。前記基準視点は、例えば、観察者の視点としても良いし、観察者の視点以外の３次元空間上の任意の点に決定しても良い。
［０２５７］  次に、前記観察者の視点Ｐあるいは基準視点から見て重なる各投影面Ｌｊ上の投影点Ｔｊの組でなる投影点列、及び前記各投影点Ｔｊと対応する前記取得した画像上の対応点Ｇｉ，ｊを設定する（ステップ３０３）。
［０２５８］  このとき、前記投影点Ｔｊは、前記仮想空間（３次元空間）上の点（Ｘｊ，Ｙｊ，Ｚｊ）で表され、視点Ｃｉから撮影した画像の画像面上に２次元のｘｙ座標系を考えると前記対応点Ｇｉ，ｊの座標は（ｘｉ，ｊ，ｙｉ，ｊ）で与えられる。このとき、前記対応点Ｇｉ，ｊ座標（ｘｉ，ｊ，ｙｉ，ｊ）は、前記投影点（Ｘｊ，Ｙｊ，Ｚｊ）を前記視点Ｃｉから撮影した画像の画像面上に射影して求める。この射影は、第１の実施の形態で説明した一般的な３行４列の変換行列を用いればよい。
［０２５９］  また、コンピュータのような画像生成装置を用いる場合、扱う画像はいわゆるディジタル画像であり、装置のメモリ上の２次元配列で表現されている。以下、前記配列の位置を表す座標系をディジタル画像座標系といい、その位置は（ｕ，ｖ）で表す。ここで、例えば、横６４０画素，縦４８０画素のディジタル画像を考えると、前記ディジタル画像上の各画素の位置は、０から６３９までの整数値のいずれかをとる変数ｕと、０から４７９までの整数値のいずれかをとる変数ｖにより示される。そして、その点の色情報は、そのアドレスでの赤（Ｒ），緑（Ｇ），青（Ｂ）の情報を８ビット等に量子化したデータで与えられる。
［０２６０］  このとき、３次元の仮想空間内での前記対応点Ｇｉ，ｊの座標（ｘｉ，ｊ，ｙｉ，ｊ）と、前記ディジタル画像座標系（ｕ，ｖ）は、１対１で対応付けされ、例えば、数式５３のような関係を持つ。
［０２６１］
2004114224.tif 000060
なお、前記数式５３は、例えば、ディジタル画像座標系のｕ軸を、Ｘ軸と平行にとっているとする。また前記数式５３において、ｋｕ，ｋｖはそれぞれ、仮想空間上の（ｘ，ｙ）座標系を基準にした前記ディジタル画像座標系のｕ軸とｖ軸の単位長、θはｕ軸とｖ軸のなす角である。
［０２６２］  そこで、前記ステップ３０３では、前記投影点Ｔｊの座標（Ｘｊ，Ｙｊ，Ｚｊ）と前記ディジタル画像座標（ｕｉｊ，ｖｉｊ）の対応付けを行う。この対応付けは、たとえば全ての（ｕｉｊ，ｖｉｊ）に対して（Ｘｊ，Ｙｊ，Ｚｊ）の値をテーブルとして与えておいてもよいし、代表的な（ｕｉｊ，ｖｉｊ）に対してのみ（Ｘｊ，Ｙｊ，Ｚｊ）の値を設定し、その他の点は、例えば、線形補完等の補完処理で求めてもよい。
［０２６３］  また、前記ディジタル画像座標系では（ｕ，ｖ）は離散値をとるが、以下の説明では、断りのない限り連続値をとることとし、前記２次元配列へアクセスするときに適当な離散化処理を行うものとする。
［０２６４］  前記ステップ３０３の処理が済んだら、次に、相関度Ｑｊを求めるときに用いるカメラの視点Ｃｉの組み合わせ（カメラセット）Ξｈを決定する（ステップ３０４）。ここで、例えば、視点Ｃｉ、すなわちカメラが、図３２に示すように、３×３の格子状に設置されているとすれば、前記カメラセットΞｈは、例えば、Ξ１＝｛Ｃ１，Ｃ２，Ｃ３，Ｃ５｝，Ξ２＝｛Ｃ３，Ｃ５，Ｃ６，Ｃ９｝，Ξ３＝｛Ｃ５，Ｃ７，Ｃ８，Ｃ９｝，Ξ４＝｛Ｃ１，Ｃ４，Ｃ５，Ｃ７｝の４つに決定する。
［０２６５］  なお、前記カメラセットΞｈの決定方法は任意であり、図３２に示した例では、Ξ１，Ξ２，Ξ３，Ξ４だけに限らず、他のカメラセットを用意してもよい。またこのとき、前記カメラセットΞｈは、前記カメラ（視点Ｃｉ）の設置状況に合わせてあらかじめ用意しておいてもよいし、観察者が指定してもよい。
［０２６６］  前記ステップ３０４の処理が済んだら、次に、例えば、前記画像生成装置のメモリ（記憶手段）上に、前記投影点Ｔｊの色情報Ｋｊ及び物体が存在する確率βｊの情報を格納する配列を確保する（ステップ３０５）。このとき、情報を格納する配列は、前記投影点Ｔｊの各情報Ｋｊ，βｊは、例えば、赤（Ｒ），緑（Ｇ），青（Ｂ）の色情報及び物体が存在する確率を、例えば、８ビットずつ持たせるような配列を確保する。
［０２６７］  前記ステップ３０５の処理が済んだら、次に、前記取得した複数枚の画像を用いて、前記各投影点Ｔｊの色情報及び物体が存在する確率を決定する（ステップ３０６）。前記ステップ３０６では、例えば、ある投影点列に対して、指定したカメラセットΞｈを用いて前記投影点列上の各投影点Ｔｊの色情報Ｋｊ，ｈ及び相関度Ｑｊ，ｈを求める処理を行い、その処理を全てのカメラセットΞｈで繰り返すという処理を行う。そして、その処理を全ての投影点列に対して繰り返し行う。
［０２６８］  そこで、前記ステップ３０６では、まず、図３０に示すように、投影点列を初期化する（ステップ３０６０１）。
［０２６９］  次に、カメラセットΞｈ及び相関度の投票データを初期化する（ステップ３０６０２）。
［０２７０］  次に、処理の対象となっている投影点列上の投影点Ｔｊを初期化し、例えば、ｊ＝１とする（ステップ３０６０３）。
［０２７１］  次に、選択されているカメラセットΞｈに含まれる対応点Ｇｉ，ｊの色情報から、前記投影点Ｔｊの色情報Ｋｊ，ｈを決定する（ステップ３０６０４）。このとき、前記投影点Ｔｊの色情報Ｋｊ，ｈは、例えば、前記カメラセットΞｈに含まれる対応点Ｇｉ，ｊの色情報Ｋｉ，ｊの平均値にする。
［０２７２］  次に、前記投影点Ｔｊと、前記選択されているカメラセットΞｈに含まれる対応点Ｇｉ，ｊの相関度Ｑｊ，ｈを算出する（３０６０５）。このとき、前記相関度Ｑｊ，ｈは、例えば、前記数式４０を用いて算出する。
［０２７３］  次に、投影点Ｔｊを更新し、処理の対象となっている投影点列上の全ての投影点で前記ステップ３０６０４及びステップ３０６０５の処理を行ったか判定する（ステップ３０６０６）。ここで、前記ステップ３０６０４及びステップ３０６０５の処理を行っていない投影点があれば、前記ステップ３０６０４に戻って、処理を繰り返す。
［０２７４］  処理の対象となっている投影点列上の全ての投影点で前記ステップ３０６０４及びステップ３０６０５の処理を行ったら、その結果、すなわち選択されたカメラセットΞｈに含まれる対応点Ｇｉ，ｊから求めた色情報Ｋｊ，ｈ及び相関度Ｑｊ，ｈを投票する（ステップ３０６０７）。
［０２７５］  前記ステップ３０６０７の処理が済んだら、次に、前記カメラセットΞｈを更新し、処理の対象となっている投影点列に対して、前記ステップ３０６０４からステップ３０６０７までの処理を行っていないカメラセットがあるか判定する（ステップ３０６０８）。ここで、前記ステップ３０６０４からステップ３０６０７までの処理を行っていないカメラセットがあれば、前記ステップ３０６０３に戻って、処理を繰り返す。
［０２７６］  処理の対象となっている投影点列に対して、全てのカメラセットΞｈで、前記ステップ３０６０４からステップ３０６０７までの処理を行ったら、前記ステップ３０６０７で投票した色情報Ｋｊ，ｈ及び相関度Ｑｊ，ｈから、投影点Ｔｊの色情報Ｋｊ及び存在確率βｊを決定する（ステップ３０６０９）。
［０２７７］  前記ステップ３０６０９では、例えば、図３１に示すように、まず、カメラセットΞｈを初期化する（ステップ３０６０９ａ）。
［０２７８］  次に、カメラセットΞｈを用いて算出した各投影点Ｔｊの相関度Ｑｊ，ｈから、例えば、評価基準値νｊ，ｈを算出する（ステップ３０６０９ｂ）。前記評価基準値νｊ，ｈは、例えば、前記数式４３及び数式４４で表される変換処理で求める。
［０２７９］  次に、前記評価基準値νｊ，ｈの統計処理を行い、前記カメラセットΞｈを用いた場合の存在確率の分布関数ｐｈ（ｌ）を求める（ステップ３０６０９ｃ）。前記分布関数ｐｈ（ｌ）は、例えば、前記数式４５，数式４６，数式４７を用いて求める。
［０２８０］  次に、前記カメラセットΞｈを用いた場合の存在確率の分布関数ｐｈ（ｌ）から、前記カメラセットΞｈを用いた場合の各投影点Ｔｊに物体の表面が存在する確率（存在確率）βｊ，ｈを決定する（ステップ３０６０９ｄ）。前記存在確率βｊ，ｈは、例えば、前記数式４８，数式４９，数式５０を用いて求める。
［０２８１］  次に、前記カメラセットΞｈを更新し、処理の対象となっている投影点列に対して、前記ステップ３０６０９ｂからステップ３０６０９ｄまでの処理を行っていないカメラセットΞがあるか判定する（ステップ３０６０９ｅ）。ここで、前記ステップ３０６０９ｂからステップ３０６０９ｄまでの処理を行っていないカメラセットΞがあれば、前記ステップ３０６０９ｂに戻って、処理を繰り返す。
［０２８２］  処理の対象となっている投影点列に対して、前記ステップ３０６０９ｂからステップ３０６０９ｄまでの処理を行ったら、その処理結果を統合して、前記投影点Ｔｊの色情報Ｋｊ及び存在確率βｊを決定する（ステップ３０６０９ｆ）。このとき、前記色情報Ｋｊは、例えば、前記数式５２を用いて求める。また、前記存在確率βｊは、例えば、前記数式５１を用いて求める。
［０２８３］  前記ステップ３０６０９ｆの処理が終了すると、前記ステップ３０６０９の処理が終了する。そして次に、投影点列を更新し、前記ステップ３０６０２からステップ３０６０９までの処理を行っていない投影点列があるか判定する（ステップ３０６１０）。ここで、前記ステップ３０６０２からステップ３０６０９までの処理を行っていない投影点列があれば、ステップ３０６０２に戻って、処理を繰り返す。
［０２８４］  全ての投影点列に対して、前記ステップ３０６０２からステップ３０６０９までの処理を行ったら、前記ステップ３０６（ステップ３）の処理が終了し、前記物体の３次元形状を取得することができる。
［０２８５］  前記ステップ３の処理が終わり、前記物体の３次元形状が得られたら、次に、前記物体の３次元形状に基づいて、前記ＤＦＤの各画像表示面上に表示する２次元画像を生成する。前記２次元画像を生成するときには、例えば、図３３に示すように、前記物体の形状を取得した仮想空間上に前記２次元画像を生成するための画像生成面ＬＤｒ（ｒ＝１，２，…，Ｒ）を設定する。
［０２８６］  ここでまず、例えば、図３３に示すように、前記投影面Ｌｊの設定枚数及び間隔と前記画像生成面ＬＤｒの数及び間隔が一致する場合を考える。この場合、前記画像生成面ＬＤｒの表示点Ａｒの色情報ＫＤｈ及び存在確率γｒは、前記表示点Ａｒと一致する投影点Ｔｊの色情報Ｋｊ及び存在確率βｊとすればよい。
［０２８７］  また、前記投影面Ｌｊの設定間隔は、前記画像生成面ＬＤｒの設置間隔と一致させる必要はなく、前記投影面Ｌｊの設定枚数と前記画像生成面ＬＤｒの設定枚数を一致させる必要もない。つまり、前記投影面Ｌｊの設定の仕方によっては、例えば、図３４（ａ）に示すように、前記投影面Ｌｊの設置間隔と前記画像生成面ＬＤｒの設置間隔が一致していない場合もある。このような場合、前記観察者の視点Ｐから引いた直線ｌｒと前記各画像生成面ＬＤｒの交点（表示点）Ａｒの色情報ＫＤｒ及び存在確率γｒは、次のような手順で求める。
［０２８８］  まず、前記各表示点Ａｒの色情報ＫＤｒは、例えば、前記直線ｌｐ上の投影点Ｔｊであり、その表示点Ａｒ（画像生成面ＬＤｒ）が最も近い表示点（画像生成面）となる投影点Ｔの色情報Ｋの平均値にする。このとき、前記表示点Ａｒの色情報ＫＤｒは、平均値の代わりに、前記表示点Ａｒからもっとも近い投影点Ｔの色情報Ｋとしてもよい。
［０２８９］  一方、前記各表示点Ａｒの存在確率γｒは、その表示点Ａｒ（画像生成面ＬＤｒ）が最も近い表示点（画像生成面）となる投影点Ｔの存在確率βを足し合わせた値とする。このとき、ある画像生成面ＬＤｒが最も近い画像生成面となる投影面Ｌｊの集合を｛Ｌｊ｜ｊ∈Ｒ｝とおくと、前記画像生成面ＬＤｒ上の表示点Ａｒの存在確率γｈは、前記各投影面Ｌｊの投影点Ｔｊの存在確率βｊを用いて、下記数式５４で与えることができる。
［０２９０］
2004114224.tif 000061
ここで、図３４（ａ）に示した場合を考えると、前記画像生成面ＬＤ１が最も近い画像生成面になるのは、投影面Ｌ１，Ｌ２，Ｌ３である。そのため、前記表示点Ａｒの色情報ＫＤｒは、例えば、投影点Ｔ１，Ｔ２，Ｔ３の色情報Ｋ１，Ｋ２，Ｋ３の平均値にする。また、前記表示点Ａｒの存在確率γｒは、前記投影点Ｔ１，Ｔ２，Ｔ３の存在確率β１，β２，β３の和にする。同様に、前記画像生成面ＬＤ２上の表示点Ａ２の色情報ＫＤ２は、例えば、投影点Ｔ４，Ｔ５の色情報Ｋ４，Ｋ５の平均値にする。また、前記表示点Ａ２の存在確率γ２は、前記投影点Ｔ４，Ｔ５の存在確率β４，β５の和にする。
［０２９１］  また、例えば、図３４（ｂ）に示すように、前記画像生成面Ｄｒの設置間隔と前記投影面Ｌｊの設定間隔が異なり、２枚の連続した画像生成面ＬＤ１，ＬＤ２の間に２枚の投影面Ｌ１，Ｌ２が設定されている場合、前記各画像生成面ＬＤ１，ＬＤ２の表示点Ａ１，Ａ２の存在確率γ１，γ２は、前記各投影面Ｌｊの投影点Ｔｊの存在確率βｊを、前記投影点Ｔｊから各画像生成面ＬＤ１，ＬＤ２までの距離の比に応じて分配してもよい。このとき、一般に、前記画像生成面ＬＤ１，ＬＤ２の間に複数枚の投影面Ｌｊの集合を｛Ｌｊ｜ｊ∈Ｊ｝とすると、前記画像生成面ＬＤｒ上の表示点Ａｒの存在確率γｒは、前記各投影点Ｔｊの存在確率βｊを用いて、下記数式５５で与えることができる。
［０２９２］
2004114224.tif 000062
ここで、ｗｊ，ｒは、投影面Ｌｊの画像生成面ＬＤｒに対する寄与の度合いを表す係数である。
［０２９３］  ここで、例えば、図３４（ｂ）に示すように、２枚の画像生成面ＬＤ１，ＬＤ２の間に、投影面Ｌ１，Ｌ２が設定されている場合を考える。このとき、投影面Ｌ１から前記各画像生成面ＬＤ１，ＬＤ２までの距離がそれぞれＢ１，Ｂ２であれば、前記投影面Ｌ１の前記各画像生成面ＬＤ１，ＬＤ２に対する寄与の度合いｗ１，１，ｗ１，２はそれぞれ、下記数式５６で与えられる。
［０２９４］
2004114224.tif 000063
2004114224.tif 000064
同様に、投影面Ｌ２から前記各画像生成面ＬＤ１，ＬＤ２までの距離がそれぞれＢ３，Ｂ４であれば、前記投影面Ｌ２の前記各画像生成面ＬＤ１，ＬＤ２に対する寄与の度合いｗ２，１，ｗ２，２はそれぞれ、下記数式５７で与えられる。
［０２９５］
2004114224.tif 000065
この結果、前記画像生成面ＬＤ１の表示点Ａ１の存在確率γ１、及び前記画像生成面ＬＤ２の表示点Ａ２の存在確率γ２はそれぞれ、下記数式５８のようになる。
［０２９６］
2004114224.tif 000066
以上のような手順により、前記ステップ４の処理を行うことで、前記ＤＦＤの各画像表示面に表示する２次元画像が得られる。そして、ＤＦＤの各画像表示面上の点（画素）を、前記各画像生成面ＬＤ上の各点に割り当てられた色情報Ａで表示させる（ステップ５）。このとき、前記ＤＦＤが輝度変調型であれば、前記各画像生成面ＬＤｒの各表示点Ａｒの色情報ＫＤｒを、前記存在確率γｒに応じた輝度で表示させればよい。また、前記ＤＦＤが透過型の場合は、例えば、各表示点Ａｒの透過度を前記存在確率γｒに応じた透過度に設定して表示すればよい。
［０２９７］  このように、図２９に示したステップ１からステップ５の処理を行って、前記ＤＦＤ物体の３次元像を表示した場合、前記原理のところで説明したように、物体の正確な３次元形状を求めなくても、観察者の見た目に自然な３次元像を表示することができる。
［０２９８］  図３５乃至図３７は、本実施例２−１の画像生成方法を適用した装置及びシステムの概略構成を示す模式図であり、図３５は画像生成装置の構成例を示すブロック図、図３６は画像生成装置を用いた画像表示システムの構成例を示す図、図３７は画像生成装置を用いた画像表示システムの他の構成例を示す図である。
図３５において、６は画像生成装置、６０１は被写体画像取得手段、６０２は基準視点設定手段、６０３は投影面設定手段、６０４は投影面情報格納領域確保手段、６０５は色情報／存在確率決定手段、６０６は投影面情報−表示面情報変換手段、６０７は画像出力手段、７は画像表示手段（ＤＦＤ）、８は被写体画像撮影手段、９は観察者視点入力手段である。
［０２９９］  本実施例２−１の画像生成方法を適用した画像生成装置６は、例えば、図３５に示すように、撮影条件が異なる複数枚の被写体画像を取得する被写体画像取得手段６０１と、生成する画像を見る観察者の視点を設定する観察者視点設定手段６０２と、存在確率を決定するための投影面，投影点列，対応点，カメラセット等を設定する投影面等設定手段６０３と、投影面上の点（投影点）の色情報及び存在確率を格納する領域を確保する投影面情報格納領域確保手段６０４と、前記投影点の色情報及び前記投影点に物体が存在する確率（存在確率）を決定する色情報／存在確率決定手段６０５と、前記投影点の色情報及び存在確率の情報を表示面の色情報及び存在確率に変換する投影面情報−表示面情報変換手段６０６と、画像出力手段６０７とを備える。このとき、前記画像出力手段６０７から出力された画像は、例えば、ＤＦＤのように、複数の重なり合う表示面を備える画像表示手段７で表示される。
［０３００］  また、前記被写体画像取得手段６０１は、被写体画像撮影手段（カメラ）８で撮影された被写体（物体）の画像を取得する。なお、取得する画像は、前記被写体画像撮影手段８で撮影した画像を直接取得してもよいし、前記被写体画像撮影手段８で撮影した画像が記録された、磁気的，電気的，光学的な記録媒体から間接的に取得してもよい。
［０３０１］  また、前記観察者視点設定手段６０２は、例えば、観察者が、マウスやキーボード等の画像条件入力手段９を用いて入力した情報に基づいて、前記観察者の視点Ｐから前記画像表示手段７までの距離や視線等の画像生成面ＬＤｒとの相対的な位置関係を設定する。また、前記画像条件入力手段９は、前記観察者の姿勢や視線を検知して、その姿勢や視線に応じた情報を入力する手段であってもよい。
［０３０２］  また、前記投影面等設定手段６０３は、例えば、図２２に示したように、視点（カメラ）Ｃｉからの距離がｌｊ（ｊ＝１，２，…，Ｍ）の平行な投影面Ｌｊを設定する。また、前記投影面等設定手段６０３では、前記観察者視点設定手段６０２で設定した観察者の視点Ｐから見て重なる各投影面Ｌｊ上の投影点Ｔｊの組でなる投影点列や、前記投影点Ｔｊに対応する各画像上の対応点Ｇｉ，ｊも設定する。またこのとき、前記投影面等設定手段６０３では、前記画像条件入力手段９により入力された条件に基づいたカメラセットΞｈを設定してもよい。
［０３０３］  また、前記投影面情報格納領域確保手段６０４は、各投影面上の各投影点Ｔｊの色情報Ｋｊ及び存在確率βｊを格納する領域を、例えば、装置内に設けられたメモリ上に確保する。
［０３０４］  また、前記色情報／存在確率決定手段６０５は、前述のような原理に基づいて、前記投影点Ｔｊと対応する画像上の対応点Ｇｉｊの色情報から前記投影点Ｔｊの色情報Ｋｊを決定するとともに、前記投影点Ｔｊに物体の表面が存在する確率βｊを決定する。
［０３０５］  また、前記投影面情報−表示面情報変換手段６０６では、本実施例２−１で説明したように、前記投影面の色情報及び存在確率を前記画像生成面、すなわち前記画像表示手段７の表示面に表示する画像を生成する面上の点（表示点）の色情報及び輝度分配率に変換する。
［０３０６］  前記画像生成装置６は、本実施例２−１で説明した前記ステップ１から前記ステップ５までの処理を行って、前記ＤＦＤに表示する画像を生成する。すなわち、前記画像生成装置６では、従来のような物体の正確な３次元形状を求める処理を行わなくてよい。そのため、高い処理能力がない装置でも、前記ＤＦＤに表示する画像を高速に、かつ、容易に生成することができる。
［０３０７］  また、前記画像生成装置６は、例えば、コンピュータと前記コンピュータに実行させるプログラムによっても実現することができる。その場合、本実施例２−１で説明した処理手順に相当する命令が記述されたプログラムを前記コンピュータに実行させればよい。またこのとき、前記プログラムは、例えば、磁気的，電気的，光学的な記録媒体に記録して提供してもよいし、インターネット等のネットワークを利用して提供してもよい。
［０３０８］  また、前記画像生成装置６を用いた画像表示システムは、例えば、図３６に示すような構成が考えられる。このとき、前記被写体画像撮影手段８は、観察者Ｕｓｅｒが前記画像表示手段（ＤＦＤ）７を観察している空間に近い場所に設置されていてもよいし、地理的に遠隔な場所に設置されていてもよい。前記被写体画像撮影手段８が地理的に遠隔な場所に設置されている場合、撮影した画像は、インターネット等のネットワークを利用して、前記画像生成装置６に転送すればよい。
［０３０９］  また、前記画像生成装置６を用いた画像表示システムは、図３６に示したように、ある観察者Ｕｓｅｒが、ある被写体Ｏｂｊを観察する場合だけでなく、テレビ電話やテレビ会議といった双方向の通信システムに適用することもできる。その場合、例えば、図３７に示すように、各観察者ＵｓｅｒＡ，ＵｓｅｒＢがいる空間のそれぞれに、画像生成装置６Ａ，６Ｂ、画像表示手段（ＤＦＤ）７Ａ，７Ｂ、被写体画像撮影手段８Ａ，８Ｂ、基準視点設定手段９Ａ，９Ｂを設置すればよい。そして、例えば、前記各観察者ＵｓｅｒＡ，ＵｓｅｒＢがいる空間に設置された画像生成装置６Ａ，６Ｂを、インターネット等のネットワーク１０で接続しておけば、観察者ＵｓｅｒＡは、被写体画像撮影手段８Ｂで撮影された画像から生成した観察者ＵｓｅｒＢの３次元像を前記画像表示手段７Ａで観察することができる。同様に、観察者ＵｓｅｒＢは、被写体画像撮影手段８Ａで撮影された画像から生成した観察者ＵｓｅｒＡの３次元像を前記画像表示手段７Ｂで観察することができる。
［０３１０］  また、このような双方向の通信システムに適用する場合、前記各画像生成装置６Ａ，６Ｂが、図３５に示したような構成になっている必要はなく、前記画像生成装置６Ａ，６Ｂのどちらかは、図３５に示したような構成手段を備えていない一般的な通信端末であってもよい。また、図３５に示したような各構成手段が、前記画像生成装置６Ａ，６Ｂに割り振られていてもよい。
［０３１１］  また、図３７に示したように、ネットワーク１０上に他の画像生成装置６Ｃが設けられていれば、前記観察者ＵｓｅｒＡ，ＵｓｅｒＢがいる空間に、前記画像生成装置６Ａ，６Ｂが設置されていなくても、前記ネットワーク１０上の画像生成装置６Ｃを利用して、前記画像表示手段（ＤＦＤ）７Ａ，７Ｂで表示する物体の３次元像を取得することができる。
［０３１２］  また、図３７に示した画像生成システムでは、利用者がＵｓｅｒＡ，ＵｓｅｒＢの２人であるが、さらに多数の観察者（利用者）間での通信システムにも適用できる。
［０３１３］  また、図３６及び図３７では、前記被写体画像撮影手段８は、４個のカメラからなる撮影手段を示しているが、前記カメラは、２個または３個であってもよいし、５個以上であってもよい。また、前記カメラの配置は、直線または曲線上に１次元的に配置されていてもよいし、平面または曲面に２次元格子状に配置されていてもよい。
［０３１４］  以上説明したように、本実施例２−１の画像生成方法によれば、表示する物体の正確な３次元形状を求めなくても、観察者の見た目に自然な３次元像を表示することができる。
［０３１５］  また、本実施例２−１の画像生成方法では、前記カメラセットΞｈを、前記ステップ３０４であらかじめ設定して処理を行っているが、これに限らず、例えば、プログラム的な処理により、表示する画像を生成する処理を行いながら、観察者が指定した条件に合うようなカメラセットを動的に設定してもよい。このとき、例えば、観察者が、前記画像条件入力手段から、前記相関度Ｑｊの分布あるいは閾値等の条件を入力し、その条件に合うようなカメラセットを探しながら前記ステップ３０６の処理を行えば、前記観察者が望んでいる画像に近い３次元像を表示することができると考えられる。
［０３１６］  また、本実施例２−１の画像生成方法では、画像上の点（画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色を用いた色情報で表現されたカラー画像を取得し、前記物体の３次元的な形状をする場合を例に挙げて説明したが、本実施例２−１の画像表示方法では、前記カラー画像に限らず、画像上の各点（画素）が輝度（Ｙ），色差（Ｕ，Ｖ）を用いた表現の白黒画像を取得し、前記物体の３次元的な形状を取得することもできる。取得する画像が前記白黒画像の場合、前記色情報に相当する情報として、前記輝度情報（Ｙ）を用いて、本実施例２−１で説明したような手順で３次元形状を取得し、前記２次元画像を生成すればよい。
（実施例２−２）
図３８乃至図４２は、実施例２−２の任意視点画像生成方法を説明するための模式図であり、図３８は全体的な処理手順の一例を示すフロー図、図３９はレンダリングの原理を説明する図、図４０は任意視点画像を生成するときに問題となる点を説明する図、図４１（ａ）、（ｂ）は任意視点画像を生成するときに問題となる点を解決する方法を説明する図、図４２は存在確率を透明度に変換する処理手順の一例を示すフロー図である。
［０３１７］  前記実施例２−１では、前記ステップ３で取得した前記被写体の３次元形状を用いて、前記ＤＦＤのように複数の画像表示面を有する装置の前記各画像表示面で表示する２次元画像を生成する方法を例に挙げたが、前記被写体の３次元形状モデルは、これに限らず、任意の視点から見た前記被写体の２次元画像を生成するときにも用いることができる。このとき、前記実施例２−１と異なるのは、図３８に示したように、前記ステップ３の後、レンダリング、すなわち前記被写体の３次元形状を前記観察者の視点から見た２次元画像にするステップ１１の処理を行う点である。このとき、前記ステップ１からステップ３で前記被写体の３次元形状を取得する処理は前記実施例２−１で説明しているとおりなので、詳細な説明は省略する。
［０３１８］  また、本実施例２−２の任意視点画像生成方法において、レンダリングをするステップ１１では、例えば、図３９に示すように、前記表示する任意視点画像上の各点（画素）の色情報は、前記観察者の視点Ｐから見て、前記任意視点画像上の点Ａと重なる投影点Ｔｊ（ｊ＝１，２，…，Ｍ）の色情報Ｋｊを混合処理して決定する。このとき、前記混合処理は、例えば、前記各投影点Ｔｊの色情報Ｋｊに前記存在確率βｊの値で重み付けをして混合し、前記生成する画像上の点Ａの色情報ＫＡは、例えば、下記数式５９で算出する。
［０３１９］
2004114224.tif 000067
ただし、前記数式５９を用いた混合処理の場合、例えば、被写体の形状や基準視点Ｒと仮想視点Ｐの位置関係によっては、生成する画像上の点の色情報が、実際の物体の表面の色情報と大きく異なったり、有効な色空間に収まらなかったりする。ここで、実際の物体上に、図４０に示すような位置関係で、２枚の投影面Ｌ１，Ｌ２、基準視点Ｒ、仮想視点Ｐを重ね合わせた場合を考えてみる。このとき、前記基準視点Ｒから見て重なり合う投影点Ｔ１，Ｔ２について前記実施例２−１で説明したような方法で存在確率β１，β２を決定すると、β１はほぼ０になり、β２はほぼ１になる。同様に前記基準視点Ｒから見て重なり合う投影点Ｔ’１，Ｔ’２について前記実施例２−１で説明したような方法で存在確率β’１，β’２を決定すると、β’１はほぼ１になり、β’２はほぼ０になる。
［０３２０］  このとき、前記仮想視点Ｐの画像面の点Ａにおける色情報ＫＡは、前記数式５９を用いると、前記仮想視点Ｐからみて前記画像面上の点Ａと重なる投影点Ｔ’１，Ｔ２の色情報Ｋ’１，Ｋ２を、前記存在確率β’１，β２に応じた重み付けで加算することで求まる。そうすると、今、β’１，β２ともにほぼ１になるので、前記点Ａの色情報ＫＡはＫＡ＝Ｋ’１＋Ｋ２になる。
［０３２１］  しかしながら、前記仮想視点Ｐから前記物体Ｏｂｊを見たときには、投影点Ｔ’１は、投影点Ｔ２により遮蔽されているので、画像面上の点Ａにおける本来の色情報はＫＡ＝Ｋ２である。つまり、生成された画像上の点Ａの色情報ＫＡは、本来の色情報よりもＫ’１の分だけ（Ｒ，Ｇ，Ｂ）の各成分の輝度が上がってしまう。
［０３２２］  またこのとき、前記投影点Ｔ’１，Ｔ２の色情報Ｋ’１，Ｋ２の各成分が大きな輝度を持つ場合、点Ａの色情報ＫＡは有効な色空間の範囲を超えてしまう。そのため、有効な色情報の範囲内に収まるようにするクリッピング処理が必要となる。
［０３２３］  そこで、このような問題を解決するために、例えば、前記投影点の存在確率に基づいて、各投影点に透過から不透過までの複数の階調を持つ透明度を設定する。このとき、前記生成する画像における各点の色情報を得るための混合処理は、前記生成する画像の視点から遠い投影点から近い投影点に向かって逐次的に処理し、ある投影点までの混合処理で得られる色情報は、その投影点における色情報とそれ以前の投影点までの混合処理で得られる色情報とを前記透明度に応じた比率で内分して得る。またこのとき、前記混合処理により得られる色情報は、ある段階での色情報とその次の色情報の内分である。
［０３２４］  前記色情報の混合処理の原理を説明するために、例えば、色空間Ｖに、図４１（ａ）に示すように、投影面Ｌｊ（ｊ＝１，２，…，Ｍ）、投影点Ｔｊ、赤（Ｒ），緑（Ｇ），青（Ｂ）の成分を持ち投影点の色情報を表すベクトルＫｊが設定されている場合を考える。このとき、前記色空間Ｖは、下記数式６０で表されるとする。
［０３２５］
2004114224.tif 000068
また、前記投影点Ｔｊの透明度αｊは、下記数式６１の条件を満たすように設定されているとする。
［０３２６］
2004114224.tif 000069
このとき、変数ｊ＝ｍまでの混合処理で得られる色情報Ｄｍは、下記数式６２及び数式６３のような漸化式で表される。そして、前記仮想視点Ｐから見て一番手前の投影面ＬＭ、すなわち変数ｊ＝Ｍまで混合したときの色情報ＤＭが、前記生成する画像の画像面上の点Ａにおける色情報ＫＡとなる。
［０３２７］
2004114224.tif 000070
［０３２８］
2004114224.tif 000071
またこのとき、前記数式６１及び数式６２の関係から、前記色情報Ｄｍは、図４１（ｂ）に示すように、色空間ＶにおいてベクトルＫｍと色情報Ｄｍ−１の内分点である。そのため、前記色情報Ｄｍは、Ｋｍ∈Ｖ，Ｄｍ−１∈ＶならばＤｍ∈Ｖとなる。
［０３２９］  すると、第１の実施の形態でも説明したとおり、前記数式６０及び数式６１の条件を満たせば、前記仮想視点Ｐにおける色情報ＤＭについて、ＤＭ∈Ｖが保証される。
［０３３０］  つまり、前記投影点Ｔｊの色情報Ｋｊ及び透明度αｊを、前記数式６０及び数式６１を満たすように設定すれば、前記生成する画像の点Ａの色情報ＤＭは、必ず適切な色空間Ｖに納めることができる。
［０３３１］  このように、透明度αｊを用いた色情報の混合処理を行うと、同一の被写体において複数の仮想視点から見た画像を生成するときに、ある１つの視点（基準視点）から投影点の色情報及び透明度を計算したとしても、その色情報及び透明度が、前記数式６０及び数式６１の条件を満たせば、生成する全ての画像を、適切な色情報の範囲で生成することができる。
［０３３２］  そこで、本実施例２−２の任意視点画像の生成方法では、例えば、図３０に示したステップ３０６０９の後、あるいは前記レンダリングを行うステップ１１において、前記存在確率βｊを透明度αｊに変換する処理を行う。
［０３３３］  前記存在確率βｊを透明度αｊに変換する処理は、例えば、図４２に示すように、まず、投影点Ｔｊを初期化してｊ＝Ｍとする（ステップ１１０１）。次に、前記投影点ＴＭの透明度αＭをαＭ＝βＭとする（ステップ１１０２）。
［０３３４］  次に、変数ｊの値をｊ＝ｊ−１に更新する（ステップ１１０３）。そして、透明度αｊ＋１が１か否かを判別する（ステップ１１０４）。ここで、透明度αｊ＋１がαｊ＋１≠１であれば、例えば、下記数式６４から前記透明度αｊを求める（ステップ１１０５）。
［０３３５］
2004114224.tif 000072
また、前記透明度αｊ＋１が１である場合は、例えば、αｊ＝１とする（ステップ１１０６）。なお、前記ステップ１１０５で前記透明度αｊを求めるときには、前記数式６４に限らず、他の数式を用いて求めてもよい。また、詳細な説明は省略するが、前記ステップ１１０６においても、実際には、透明度αｊを任意の値にすることができるので、１以外の値にしてもよい。
［０３３６］  次に、前記ステップ１１０４からステップ１１０６の処理を変数ｊ＝１まで行ったか判別する（ステップ１１０７）。ここで、処理がまだ済んでいなければ、前記ステップ１１０３に戻って、処理を繰り返す。
［０３３７］  前記ステップ１１０４からステップ１１０６の処理を変数ｊ＝１まで行ったら、前記観察者視点Ｐから見て画像面上の点Ａと重なる投影点Ｔｊの前記存在確率βｊを透明度αｊに変換する処理が終了する。その後、前記数式６２及び数式６３を用いた混合処理を行い、任意視点画像上の点Ａの色情報ＤＭを求める。そして、この処理を、前記任意視点画像上の全ての点（画素）について行えば、前記観察者の視点Ｐから任意視点画像が得られる。
［０３３８］  また、このような任意視点画像を生成する画像生成装置の基本的な構成は、前記実施例２−１で説明した画像生成装置と同様の構成であり、図３５に示した投影面情報−表示面情報変換手段６０６に相当する手段として、前述のような混合処理を行う手段を備えればよい。そのため、装置に関する説明は省略する。
［０３３９］  以上説明したように、本実施例２−２の画像生成方法によれば、物体の正確な３次元形状を求めなくても、観察者の見た目に自然な任意視点画像を生成することができる。
［０３４０］  また、本実施例２−２の任意視点画像表示方法でも、前記カメラセットΞｈは、例えば、プログラム的な処理により、表示する画像を生成する処理を行いながら、観察者が指定した条件に合うようなカメラセットを動的に設定してもよい。このとき、例えば、観察者が、前記画像条件入力手段から、前記相関度Ｑｊの分布あるいは閾値等の条件を入力し、その条件に合うようなカメラセットを探しながら前記ステップ３０６の処理を行えば、前記観察者が望んでいる画像に近い３次元像を表示することができると考えられる。
［０３４１］  また、本実施例２−２の画像生成方法の場合も、取得する画像はカラー画像、白黒画像のどちらでもよく、白黒画像の場合は、前記色情報に相当する情報として、輝度情報（Ｙ）を用いて、前記実施例２−１で説明したような処理を行って物体の３次元形状を取得した後、本実施例２−２で説明したような手順で仮想視点画像を生成すればよい。
［０３４２］  （第２の実施の形態の効果）
上記の通り、第２の実施の形態の画像生成方法は、前記被写体の３次元形状を取得するときに、複数の投影面を設定し、前記基準視点から見て重なり合う前記各投影面上の点（投影点）に対して、物体の表面が存在する確率（存在確率）をあたえる。すなわち、従来のように前記基準視点から見て重なり合う各投影点のうちの１つの投影面上に物体の表面があるとして正確な被写体の３次元形状を取得しようとするのではなく、前記物体の表面が前記各投影点上にある存在確率で存在するとして前記被写体の３次元形状を取得する。こうすることで、前記基準視点から見てある方向の物体の表面の距離を推定するときに、その推定の信頼性が低い部分は前記各投影点の存在確率に応じた割合で曖昧に描画される。そのため、前記物体の３次元形状に基いて画像を生成したときに、従来のような物体表面の距離の推定を誤ったときに生じる不連続なノイズを目立ちにくくすることができ、見た目に自然な画像を生成することができる。
［０３４３］  また、前述のように、前記取得した画像の中から、前記カメラセットに含まれる数枚の画像から存在確率を算出すると、例えば、オクルージョン（遮蔽領域）の影響により、ある投影点の近傍にある物体の表面が、ある領域の視点からは見えない場合に、その視点から撮影した画像を取り除いた存在確率を算出することができ、前記各投影点の存在確率の信頼性が高くなる。
［０３４４］  また、前記存在確率を決定するときに、前記存在確率の確率密度分布がある程度想定できる場合は、前記各投影点の相関度から評価基準値を算出し、その評価基準値に対して統計処理を行うことで得られる存在確率の分布関数に基づいて存在確率を決定してもよい。このように、統計処理を行って存在確率を決定する場合、取得した画像上のノイズ（雑音）による存在確率の信頼性の低下を防ぐことができる。
［０３４５］  ［第３の実施の形態］
次に本発明の第３の実施の形態について説明する。第３の実施の形態は、主に請求項２２〜請求項２９に対応する実施の形態である。第３の実施の形態では、１つの視点から合焦距離を変えて撮影した複数枚の画像（多焦点画像）をもとにして前記画像に写っている被写体の３次元的な形状を取得し、任意の視点（仮想視点）から見た前記被写体の画像を生成する。すなわち、複数の視点から被写体を撮影した複数枚の画像をもとにして被写体の３次元的な形状を取得する第１、第２の実施の形態に対し、本実施の形態は、１つの視点から合焦距離を変えて撮影した複数枚の画像を用いる点に特徴がある。なお、本実施の形態でも、前記被写体の３次元的な形状は、テクスチャマッピングの手法を用いた多層平面で表現する。なお、第３の実施の形態を説明するための図において、同一機能を有するものは、同一符号を付ける。
［０３４６］  図４３乃至図５１は、本実施の形態の画像生成方法の原理を説明するための模式図であり、図４３及び図４４は投影面及び基準視点の設定例を示す図、図４５は投影点の色情報及び合焦点度の決定方法を説明する図、図４６乃至図４８は投影点の存在確率の決定方法を説明する図、図４９は仮想視点から見た画像の生成方法を説明する図、図５０は本実施の形態の画像生成方法において問題となる点を説明する図、図５１は本実施の形態の画像生成方法において問題となる点を解決する方法を説明する図である。
［０３４７］  本発明の画像生成方法では、前述のように、１つの視点から合焦距離を変えて撮影した複数枚の画像（多焦点画像）をもとにして前記画像に写っている被写体の３次元的な形状を取得し、任意の視点（仮想視点）から見た前記被写体の画像を生成する。そしてこのとき、前記被写体の３次元的な形状は、テクスチャマッピングの手法を用いた多層平面で表現する。
［０３４８］  前記テクスチャマッピングの手法を用いて前記被写体の３次元的な形状を表現するときには、例えば、コンピュータ等の画像生成装置内に設定した仮想的な３次元空間上に、図４３に示すように、カメラの視点Ｃ，多層構造の投影面Ｌｊ（ｉ＝１，２，…，Ｍ），前記被写体の３次元的な形状を取得するための基準視点Ｒを設定する。またこのとき、Ｎ枚の合焦距離が異なる画像から前記被写体の形状を取得するとすれば、前記投影面Ｌｊは、図４４に示すように、前記各画像Ｉｍｇｉ（ｉ＝１，２，…，Ｎ）の合焦距離ｆｉと一致するような距離に設定する。
［０３４９］  ここで、図４４に示したように、前記基準視点Ｒからある方向を見たときに重なり合う投影点Ｔｊ（ｊ＝１，２，…，Ｎ）について考えると、従来のモデル取得方法では、前記被写体の表面は、前記投影点Ｔｊのいずれか１点に存在すると考える。このとき、前記被写体の表面が前記投影点Ｔｊのうちのどの投影点に存在するかは、例えば、前記各投影点Ｔｊの合焦点度の高さによって決定する。そこで、まず、前記基準視点Ｒから見て重なり合う各投影点Ｔｊの色情報Ｋｊ及び合焦点度Ｑｊを決定する。
［０３５０］  前記投影点Ｔｊの色情報Ｋｊ及び合焦点度Ｑｊを決定するときには、図４５に示すように、前記投影点Ｔｊと対応する前記各画像Ｉｍｇｉ上の点（対応点）Ｇｉの色情報κｉ及び前記対応点Ｇｉで焦点の合っている度合い（合焦点度）に基づいて決定する。このとき、前記投影点Ｔｊの色情報Ｋｊは、例えば、前記各対応点Ｇｉの色情報κｉの平均値、あるいは空間的に一致する対応点Ｇｉ＝ｊの色情報κｉ＝ｊとする。また、前記投影点Ｔｊの合焦点度は、画像上の点または微小領域での画像のシャープさやボケの程度により決められる。前記合焦点度の算出方法には、Ｄｅｐｔｈ  ｆｒｏｍ  Ｆｏｃｕｓ理論もしくはＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ理論に基づき、様々な方法がある。なお、Ｄｅｐｔｈ  ｆｒｏｍ  Ｆｏｃｕｓ理論もしくはＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ理論については、例えば以下の文献を参照されたい。
［０３５１］  文献８：Ａ．Ｐ．Ｐｅｎｔｌａｎｄ：″Ａ  Ｎｅｗ  Ｓｅｎｓｅ  ｆｏｒ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ，″ＩＥＥＥ  Ｔｒａｎｓ．Ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．ＰＡＭＩ−９，Ｎｏ．４，ｐｐ．５２３−５３１（１９８７）．
文献９：Ｍｕｒａｌｉ  Ｓｕｂｂａｒａｏ  ａｎｄ  ｇｏｐａｌ  Ｓｕｒｙａ：″Ｄｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ：Ａ  Ｓｐａｔｉａｌ  Ｄｏｍａｉｎ  Ａｐｐｒｏａｃｈ，″Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，１３，３，ｐｐ．２７１−２９４，Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ．
文献１０：石原満宏，佐々木博美：″合焦法による高速三次元形状計測″，精密工学会誌，Ｖｏｌ．６３，Ｎｏ．１，ｐｐ．１２４−１２８，精密工学会．
文献１１：大場光太朗，山田茂：″実時間全焦点顕微鏡カメラ″，Ｏ  ｐｌｕｓ  Ｅ，Ｖｏｌ．２２，Ｎｏ．１２，ｐｐ．１５６８−１５７６，２０００，新技術コミュニケーションズ．
前記合焦点度Ｑｊは、例えば、前記各対応点Ｇｉの局所空間周波数の大きさを比較することで求められる。
［０３５２］  前記Ｄｅｐｔｈ  ｆｒｏｍ  Ｆｏｃｕｓ理論もしくはＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ理論は、合焦距離の異なる複数枚の画像を解析し、前記物体の表面形状を計測する方法である。このとき、例えば、前記合焦距離を変えて撮影した画像のうち、最も局所空間周波数が高い画像の合焦距離に相当する距離に前記物体の表面があると推定できる。そこで、前記投影点Ｔｊの合焦点度Ｑｊは、例えば、下記数式６５で表されるような局所空間周波数の評価関数を用いて算出する。
［０３５３］
2004114224.tif 000073
ここで、ｆは画素の濃淡値、Ｄは正規化のための定数で評価を行う全ての画素数、（−Ｌｃ，−Ｌｒ）−（Ｌｃ，Ｌｒ）及び（ｘｉ，ｙｉ）−（ｘｆ，ｙｆ）はそれぞれ分散評価と平滑化を行うための小領域である。
［０３５４］  そして、このような処理を、前記基準視点Ｒから見て重なり合う全ての投影点Ｔｊに対して行い、図４６に示すように、前記各投影点Ｔｊの色情報及び合焦点度Ｑｊを決定したら、前記各投影点Ｔｊの合焦点度Ｑｊの高さに基づいて、前記被写体の表面が存在する距離を推定する。このとき、前記基準視点Ｒから見て重なり合う各投影点Ｔｊの合焦点度Ｑｊが、例えば、図４７（ａ）に示すように、ある投影点Ｔｎの合焦点度Ｑｎのみが非常に高い値を示している場合は、その投影点Ｔｎ上に前記被写体の表面が存在すると推定でき、その信頼性も非常に高い。
［０３５５］  ところが、取得した画像の撮影条件や、前記被写体の形状、あるいは前記被写体の表面の模様（テクスチャ）によっては、例えば、図４７（ｂ）に示すように、合焦点度Ｑが特徴的な大きな値をとる投影点Ｔがない場合もある。図４７（ｂ）に示した例では、例えば、投影点Ｔｎ，Ｔｎ＊の合焦点度Ｑが、他の投影点Ｔの合焦点度Ｑよりも若干高い値なので、前記投影点Ｔｎ，Ｔｎ＊のどちらかに前記被写体の表面が存在すると考えられる。しかしながら、どちらの投影点Ｔｎ，Ｔｎ＊の合焦点度Ｑも、特徴的な大きな値ではないので、どちらかの投影点を選択した場合、その信頼性は低い。また、場合によっては、誤った投影点を選択してしまうこともある。そして、前記被写体の表面が存在する投影点の推定（選択）を誤れば、生成した画像上に大きなノイズとなって現れる。
［０３５６］  このような場合、前記被写体の表面の距離、すなわちどの投影面上に存在するかを推定したときの信頼性を上げるには、例えば、合焦距離の間隔を細かくして、より多くの画像を用いたり、ピーク位置だけでなくその前後の合焦点度の値を、例えば、正規分布関数等の既知の関数に当てはめたりして前記被写体表面の距離を推定する工夫が必要となる。
［０３５７］  しかしながら、より多くの画像を用いれば、処理時間が長くなる、撮影手段における合焦距離の調節が難しくなるといった問題がある。また、ある合焦距離にピントを合わせた場合、その前後に被写界深度と呼ばれる範囲があり、前記被写界深度の範囲内にある点であれば、前記合焦距離上になくても、撮影した画像上でのボケは実質的に生じない。そのため、前記合焦距離を細かく区切って効果が得られるのは前記被写界深度程度の間隔まででそれ以上細かくしても効果は薄い。さらに、前記被写体表面のテクスチャの空間周波数が低い、すなわち模様の変化が少なく一様である場合、合焦距離を変えても画像上での変化は生じにくい。このような場合は、原理的に、信頼性の高い推定を行うことが困難である。
［０３５８］  このようなことから、一般的には、前記合焦点度Ｑの分布が、図４７（ｂ）に示したような場合でも、前記合焦点度Ｑが最大値の投影点Ｔｊに前記被写体の表面が存在するとしている。そのため、前記被写体の表面の距離の推定を誤り、生成した画像に大きなノイズが現れることが多かった。
［０３５９］  そこで、本発明の画像生成方法では、前記被写体表面の距離をある１点、すなわち前記基準視点Ｒから見て重なり合う投影点Ｔｊのいずれか１点に特定せずに、図４８に示すように、前記各投影点Ｔｊの合焦点度Ｑｊの高さに応じた存在確率βｊを与える。このとき、前記存在確率βｊは、前記基準視点Ｒから見て重なり合うすべての投影点Ｔｊの存在確率βｊの集合において、下記数式６６及び数式６７の条件を満たす必要がある。
［０３６０］
2004114224.tif 000074
2004114224.tif 000075
［０３６１］
2004114224.tif 000076
そこで、投影面ＬｊがＭ枚あり、前記基準視点Ｒから見て重なり合う投影点ＴｊがＭ個あるとすれば、ｋ番目の投影面Ｌｋ上の投影点Ｔｋの存在確率βｋは、下記数式６８から求める。
［０３６２］
2004114224.tif 000077
このようにして、前記基準視点Ｒから見て重なり合う投影点Ｔｊについて、前記各投影点Ｔｊに存在確率βｊを決定するという処理を、あらゆる方向に対して行うことで、前記被写体の３次元的な形状を得ることができる。そして、前記仮想視点Ｐから見た前記被写体の画像を生成するときには、例えば、図４９に示すように、前記投影面Ｌｊが設定された空間上に前記仮想視点Ｐを設定して、生成する画像上の各点の色情報を決定する。このとき、前記生成する画像上の点Ａの色情報ＫＡは、前記仮想視点Ｐから見て前記点Ａと重なり合う投影点Ｔｊの色情報Ｋｊ及び存在確率βｊから、例えば、下記数式６９を用いて決定する。
［０３６３］
2004114224.tif 000078
2004114224.tif 000079
そして、前記数式６９を用いて、前記生成する画像上の全ての点の色情報を決定すると、前記仮想視点Ｐから見た前記被写体の画像（仮想視点画像）が得られる。このとき、生成された前記仮想視点画像上で、例えば、図４７（ａ）に示したように、ある投影点Ｔｎの合焦点度Ｑｎだけが特徴的な大きな値を持つような場合は、その投影点Ｔｎの存在確率βｎだけが大きくなる。そのため、前記数式６９を用いて色情報を混合処理するときに、前記投影点Ｔｎの色情報Ｋｎの、前記生成画像上の点Ａの色情報ＫＡへの寄与率が高くなり、明瞭に描画される。また、図４７（ｂ）に示したように、前記被写体の表面の距離の推定が難しい場合は、各投影点Ｔの存在確率βが小さな値になるので、前記生成画像上の点Ａの色情報ＫＡへの寄与率は低くなり、曖昧に描画される。その結果、距離の推定を誤ったときに生じるような不連続で大きなノイズを低減することができ、観察者の見た目に、より良好な画像を生成することができる。
［０３６４］  また、本発明の画像生成方法は、コンピュータ・グラフィックスの基本的な手法であるテクスチャマッピングによりシンプルに実装できる。そのため、普及型のパーソナル・コンピュータに搭載している３次元グラフィックス・ハードウェアで良好に処理できるほど、計算機負荷が軽くなる。
［０３６５］  ただし、本発明の画像生成方法は、前記基準視点のようにある視点から見て重なり合う各投影点Ｔｊについて合焦点度Ｑｊを算出し、前記存在確率βｊを決定している。そのため、被写体の形状や、前記基準視点と前記仮想視点の位置関係によっては、前記仮想視点Ｐから見て重なり合う複数の投影点の中に、存在確率が非常に高い投影点が２点以上含まれることがある。そのような場合、前記各投影点の色情報を前記存在確率に応じた割合で混合すると、生成する画像上の点の色情報が有効な色情報の範囲を超えてしまうことがある。
［０３６６］  ここで、これまでに説明した実施の形態と同様にして、図５０に示すように、被写体Ｏｂｊがある空間に、２枚の投影面Ｌ１，Ｌ２、基準視点Ｒ，仮想視点Ｐを設定した場合について考えてみる。このとき、投影点Ｔ１，Ｔ２，Ｔ’１，Ｔ’２における色情報がそれぞれＫ１，Ｋ２，Ｋ’１，Ｋ’２、被写体の存在確率がβ１，β２，β’１，β’２であるとする。
［０３６７］  また、前記被写体の存在確率β１，β２，β’１，β’２は、基準視点Ｒを通る直線上で決定したとすると、図５０に示した例では、投影点Ｔ’１及びＴ２付近に被写体Ｏｂｊの表面が存在するため、この投影点Ｔ’１及びＴ２での存在確率は、投影点Ｔ１及びＴ’２に比べて高くなる。このとき、前記各投影点Ｔ１，Ｔ２，Ｔ’１，Ｔ’２の存在確率β１，β２，β’１，β’２は、下記数式７０及び数式７１のようになる。
［０３６８］
2004114224.tif 000080
［０３６９］
2004114224.tif 000081
このとき、前記仮想視点Ｐの画像面上の点Ａにおける色情報ＫＡは、前記数式６９から、前記仮想視点Ｐから見て前記画像面上の点Ａと重なる投影点Ｔ’１，Ｔ２の色情報Ｋ’１，Ｋ２を、前記存在確率β’１，β２に応じた重み付けで加算することで求まり、下記数式７２のようになる。
［０３７０］
2004114224.tif 000082
また、前記数式７２は、前記数式７０及び数式７１により、下記数式７３のように近似できる。
［０３７１］
2004114224.tif 000083
しかしながら、前記仮想視点Ｐから前記物体Ｏｂｊを見たときには、投影点Ｔ’１上の物体表面は、投影点Ｔ２上の物体表面より遮蔽されているので、画像面上の点Ａにおける本来の色情報はＫＡ＝Ｋ２である。つまり、生成された画像上の点Ａの色情報ＫＡは、前記数式７３のように、本来の色情報よりもＫ’１の分だけ（Ｒ，Ｇ，Ｂ）の各成分の輝度が上がってしまう。
［０３７２］  またこのとき、前記投影点Ｔ’１，Ｔ２の色情報Ｋ’１，Ｋ２の各成分が大きな輝度を持つ場合、点Ａの色情報ＫＡは有効な色空間の範囲を超えてしまう。そのため、有効な色空間の範囲内に収まるようにするクリッピング処理が必要となる。
［０３７３］  そこで、本発明の画像生成方法では、前記投影点の存在確率に基づいて、各投影点に透過から不透過までの複数の階調を持つ透明度を設定する。このとき、前記生成する画像における各点の色情報を得るための混合処理は、前記生成する画像の視点から遠い投影点から近い投影点に向かって逐次的に処理し、ある投影点までの混合処理で得られる色情報は、その投影点における色情報とそれ以前の投影点までの混合処理で得られる色情報とを前記透明度に応じた比率で内分して得る。またこのとき、前記混合処理により得られる色情報は、ある段階での色情報とその次の色情報の内分である。
［０３７４］  前記色情報の混合処理の原理を説明するために、例えば、色空間Ｖに、図５１（ａ）に示すように、投影面Ｌｊ（ｊ＝１，２，…，Ｍ）、投影点Ｔｊ、赤（Ｒ），緑（Ｇ），青（Ｂ）の成分を持ち投影点Ｔｊの色情報を表すベクトルＫｊが設定されている場合を考える。このとき、前記色空間Ｖは、下記数式７４で表されるとする。
［０３７５］
2004114224.tif 000084
2004114224.tif 000085
また、前記投影点Ｔｊの透明度αｊは、下記数式７５の条件を満たすように設定されているとする。
［０３７６］
2004114224.tif 000086
このとき、変数ｊ＝ｍまでの混合処理で得られる色情報Ｄｍは、下記数式７６及び数式７７のような漸化式で表される。そして、前記仮想視点Ｐから見て一番手前の投影面ＬＭ、すなわち変数ｊ＝Ｍまで混合したときの色情報ＤＭが、前記生成する画像の画像面上の点Ａにおける色情報ＫＡとなる。
［０３７７］
2004114224.tif 000087
［０３７８］
2004114224.tif 000088
またこのとき、前記数式７５及び数式７６の関係から、前記色情報Ｄｍは、色空間ＶにおいてベクトルＫｍと色情報Ｄｍ−１の内分点である。そのため、前記色情報Ｄｍは、図５１（ｂ）に示すように、Ｋｍ∈Ｖ，Ｄｍ−１∈ＶならばＤｍ∈Ｖとなる。
［０３７９］  すると、前記数式７４及び数式７５の条件を満たせば、前記仮想視点Ｐにおける色情報ＤＭについて、前述したように、下記数式７８のようになることが保証される。
［０３８０］
2004114224.tif 000089
つまり、前記投影点Ｔｊの色情報Ｋｊ及び透明度αｊを、前記数式７４及び数式７５を満たすように設定すれば、前記生成する画像の点Ａの色情報ＤＭは、必ず適切な色空間Ｖに納めることができる。
［０３８１］  このように、透明度αｊを用いた色情報の混合処理を行うと、同一の被写体において複数の仮想視点から見た画像を生成するときに、ある１つの視点（基準視点）から投影点の色情報及び透明度を計算したとしても、その色情報及び透明度が、前記数式７４及び数式７５の条件を満たせば、生成する全ての画像を、適切な色情報の範囲で生成することができる。
［０３８２］  そこで、例えば、図５０に示した例で、前記各投影点Ｔ１，Ｔ２，Ｔ’１，Ｔ’２のそれぞれに、下記数式７９及び数式８０で与えられるような透明度α１，α２，α’１，α’２を設定する。
［０３８３］
2004114224.tif 000090
［０３８４］
2004114224.tif 000091
ここで、前記仮想視点Ｐにおける各点の色情報を得るために、前記仮想視点Ｐから見て遠い投影点から近い投影点に向かって逐次的に混合処理をし、ある投影点までの混合処理で得られる色情報は、その投影点における色情報とそれ以前の投影点までの混合処理で得られる色情報とを、前記透明度に応じた比率で内分して得るようにする。そうすると、仮想視点Ｐから見た画像の点Ａの色情報ＤＡは、下記数式８１のようになる。
［０３８５］
2004114224.tif 000092
このとき、前記数式８１は、前記数式７０，数式７１，数式７９，数式８０から下記数式８２のようになり、本来の色情報のよい近似となる。
［０３８６］
2004114224.tif 000093
以上で述べたとおり、前記存在確率βをそのまま用いた画像生成では、基準視点Ｒと生成する画像の視点Ｐが同一である場合には問題ないものの、両者が異なる場合に被写体の遮蔽領域付近で輝度の増加が生じることがあるのに対し、存在確率βを透明度αに変換する画像生成では、この現象を防止する効果がある。
［０３８７］  また、前記存在確率βをそのまま用いる画像生成において基準視点Ｒと仮想視点Ｐが異なる場合には、複数の投影点の色情報を混合処理したときに、仮想視点Ｐから見た画像上の点の色情報が、有効な色空間の範囲内に収まる保証がない。そのため、例えば、補正処理が必要となる。それに対し、前記存在確率βを透明度αに変換する画像生成では、このような補正は不要である。
［０３８８］  また、前記存在確率βを透明度αに変換する画像生成では、半透過の被写体も効率的に表現することができ、現実世界にあるより多くの被写体に対して広く本発明を適用できる効果がある。
［０３８９］  次に、本発明の画像生成方法を用いて画像を生成するときに、処理の前提となる数理モデルの一例について説明する。
［０３９０］  図５２及び図５３は、本発明の画像生成方法の数理モデルを説明するための模式図であり、図５２は投影点，対応点，生成する画像上の点の関係を示す図、図５３は空間上の点と画像上の画素の変換方法を説明する図である。
［０３９１］  本発明の画像生成方法を用いて、前記仮想視点Ｐから見た画像を生成するときには、例えば、透視投影変換により、前記仮想視点から見た画像上のある点の色情報または輝度情報を求める。ここで、カメラの視点Ｃ、投影面Ｌｊ（ｊ＝１，２，…，Ｍ）、仮想視点Ｐが、例えば、図５２に示すように設定されている場合を考える。
［０３９２］  一般的に、３次元空間上の投影点Ｔｍ（Ｘ，Ｙ，Ｚ）を前記仮想視点Ｐから見た画像、すなわち生成する画像上の点（ｘ，ｙ）へ射影する行列は、３行４列の行列で与えられる。このとき、前記射影行列、及び原点を中心とした焦点距離ｆの透視投影変換を表す行列Φ０は、第１の実施の形態等において説明した通りである。
［０３９３］  また、図５３に示すような画像座標（ｘ，ｙ）と、ディジタル画像座標（ｕ，ｖ）との関係も、第１の実施の形態において説明した通りである。なお、２次元配列の書き込み及び読み取りをする際、前記ディジタル画像座標（ｕ，ｖ）は離散値をとるが、以下の説明では断りのない限り連続値をとることとし、配列へのアクセスの際に適当な離散化処理を行うものとする。また、レンズの収差による画像の歪みを補正した変換を行うことも可能である。
［０３９４］  （実施例３−１）
図５４乃至図５７は、本発明による実施例３−１の画像生成方法を説明するための模式図であり、図５４は画像の生成手順を示すフロー図、図５５は投影点列の設定方法を説明する図、図５６は図５４のステップ１０３０５の処理の具体例を示すフロー図、図５７はレンダリングの方法を説明する図である。
［０３９５］  本実施例３−１の画像生成方法は、前述のような原理を用いて画像を生成する方法であり、図５４に示すように、合焦距離が異なる複数枚の画像を取得するステップ１０１と、観察者の視点（仮想視点）を設定するステップ１０２と、前記取得した画像に基づいて被写体の３次元的な形状を取得するステップ１０３と、前記ステップ１０３で取得した被写体の３次元的な形状を前記仮想視点から見た画像を生成（レンダリング）するステップ１０４とを有する。
［０３９６］  また、前記ステップ１０３は、多層構造の投影面を設定するステップ１０３０１と、被写体の３次元的な形状を取得するための基準視点を決定するステップ１０３０２と、投影点列、対応点等を設定するステップ１０３０３と、テクスチャ配列、すなわち前記投影点の色情報及び存在確率を格納する領域を確保するステップ１０３０４と、前記投影点の色情報及び存在確率を決定するステップ１０３０５とを有する。
［０３９７］  本実施例３−１の画像生成方法では、例えば、図５４に示すように、まず、合焦距離を変えて被写体を撮影した複数枚の画像を取得する（ステップ１０１）。このとき、取得する画像は、カラー画像であっても、白黒画像であってもよいが、本実施例３−１では、画像上の各点（画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色を用いた色情報で表現されるカラー画像を取得するとして説明する。
［０３９８］  次に、観察者が前記被写体を見る位置（仮想視点）を設定する（ステップ１０２）。次に、前記取得した被写体の画像を用いて、前記被写体の３次元的な形状を取得する（ステップ１０３）。そして、前記被写体の３次元的な形状を取得したら、前記仮想視点から前記被写体を見たときの画像を生成する（ステップ１０４）。
［０３９９］  このとき、前記ステップ１０３では、例えば、図５４に示すように、まず、多層構造の投影面Ｌｊ（ｊ∈Ｊ，Ｊ≡｛１，２，…，Ｍ｝）を設定する（ステップ１０３０１）。このとき、前記投影面Ｌｊは、例えば、図４３に示したように、平面形状を持つ投影面を平行に設置する。またこのとき、前記投影面の設置間隔は、例えば、図４４に示したように、前記ステップ１０１で取得する各画像の合焦距離と一致させるのが好ましいが、一致していなくても構わない。
［０４００］  次に、前記被写体の３次元的な形状を取得する視点、言い換えると、投影点上に被写体の表面が存在する確率を求めるときの基準とする点（基準視点）Ｒを決定する（ステップ１０３０２）。このとき、前記基準視点Ｒは、前記仮想視点Ｐと同じ点であっても良いし、異なる点であっても良い。また、連続的に複数の仮想視点Ｐから見た被写体の画像を生成するときには、その重心位置にとっても良い。
［０４０１］  次に、前記基準視点Ｒを通る直線上の投影点の組でなる投影点列、前記投影点と対応する画像上の点（対応点）等を設定する（ステップ１０３０３）。このとき、前記投影点列は、例えば、図１３に示すように、前記基準視点Ｒを通る直線と前記投影面Ｌｊの交点（投影点）Ｔｊの集まりとして定義する。このとき、投影点列Ｓは、Ｓ＝｛Ｔｊ｜ｊ∈Ｊ｝と書け、さらにその集合をσとおけば、Ｓ∈σとなる。
［０４０２］  次に、前記各投影面にテクスチャマッピングする画像を保持する配列（テクスチャ配列）を、例えば、前記画像を生成する装置のメモリ上に確保する（ステップ１０３０４）。このとき、確保する配列は、例えば、前記投影点の位置に対応するテクスチャ情報を、画素毎に色情報（Ｒ，Ｇ，Ｂ）及び存在確率の情報を８ビットずつ持たせる。
［０４０３］  また、前記ステップ１０３０４では、前記テクスチャ配列の画素の２次元ディジタル座標（Ｕｊ，Ｖｊ）と投影点Ｔｊの３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）の対応関係も設定する。このとき、例えば、すべての（Ｕｊ，Ｖｊ）の値に対して（Ｘｊ，Ｙｊ，Ｚｊ）の値をテーブルとして設定してもよいし、代表的な（Ｕｊ，Ｖｊ）に対してのみ（Ｘｊ，Ｙｊ，Ｚｊ）の値を設定し、その他の座標は、例えば、線形補完等の補完処理により求めてもよい。
［０４０４］  次に、前記ステップ１０１で取得した被写体の画像をもとに、前記ステップ１０３０４で確保した各投影点Ｔｊに相当する画素の色情報Ｋｊ及び存在確率βｊを決定する（ステップ１０３０５）。このとき、前記色情報及び存在確率は、ある投影点列Ｓ上の投影点ＴｊをＴｊ∈Ｓの範囲で順に走査し、それを投影点列Ｓ（∈σ）の範囲で繰り返す２重のループ処理を行う。
［０４０５］  前記ステップ１０３０５の処理を行うときには、まず、図５６に示すように、走査する投影点列Ｓを開始位置に初期化する（ステップ１０３０５ａ）。そして次に、走査する投影点Ｔｊを投影点列Ｓ内で開始位置に初期化し、例えば、ｊ＝１とする（ステップ１０３０５ｂ）。
［０４０６］  次に、前記投影点Ｔｊの座標（Ｘｊ＊，Ｙｊ＊，Ｚｊ＊）の色情報Ｋｊを決定する（ステップ１０３０５ｃ）。前記ステップ１０３０５ｃでは、まず、座標（Ｘｊ＊，Ｙｊ＊，Ｚｊ＊）の位置にある点を撮影したとき、画像面（イメージセンサ）どの位置に対応するかを算出する。そして、前記投影点Ｔｊに対応するテクスチャ配列上の画素（Ｕｊ＊，Ｖｊ＊）における色情報は、例えば、（ｕｉｊ＊，ｖｉｊ＊）（ｉ∈Ｉ）における色情報とする。
［０４０７］  次に、前記投影点Ｔｊの合焦点度Ｑｊを決定する。このとき、前記合焦点度Ｑｊは、例えば、対応点の局所空間周波数の大きさに基づいて、前記数式６５を用いて算出する（ステップ１０３０５ｄ）。
［０４０８］  前記ステップ１０３０５ｄまでの処理が済んだら、次に、前記投影点Ｔｊを更新し、投影点Ｔｊ∈Ｓをすべて走査したかを判別する（ステップ１０３０５ｅ）。ここでもし、すべてを走査し終えたのなら、次のステップ１０３０５ｆに進み、まだ走査し終えていないのであれば前記ステップ１０３０５ｃに戻る。
［０４０９］  前記ステップ１０３０５ｅで、すべて走査し終えたと判別されたら、次に、前記ステップ１０３０５ｄで算出した各投影点Ｔｊの合焦点度Ｑｊに基づいて、前記投影点列Ｓ上のすべての投影点Ｔｊ（ｊ∈Ｊ）について、各投影点上に被写体が存在する確率（存在確率）βｊを決定する（ステップ１０３０５ｆ）。前記存在確率βｊは、例えば、前記数式６８を用いて決定する。なお、前記存在確率βｊは、基本的には、前記数式６６及び数式６７の条件を満たせばよいので、前記数式６８以外の数式を用いてもよい。
［０４１０］  次に、投影点列Ｓを更新し、投影点列Ｓ∈σをすべて走査したかを判別する（ステップ１０３０５ｇ）。ここでもし、すべてを走査し終えたのなら前記ステップ１０３の処理、すなわち前記被写体の３次元的な形状の取得が終了する。また、まだ走査していない投影点列があれば、ステップ１０３０５ｂに戻る。
［０４１１］  前記ステップ１０３０５ｇで、すべての投影点列について走査し終えたと判別されたら、次に、前記投影面Ｌｊ（ｊ＝１，２，…，Ｍ）を用いて表現される被写体を、前記仮想視点Ｐから見た画像を、前記存在確率βｊに応じて描画して生成する（ステップ１０４）。ここで、例えば、図５７に示すように、仮想視点Ｐにおける画像面の座標がｕｐ，ｖｐで表されているとする。このとき、画像面上のある画素ｐ＊（ｕｐ＊，ｖｐ＊）の色情報Ｋｐ＊は、仮想視点Ｐと画像面上の画素ｐ＊を結ぶ直線上にある投影点列｛Ｔｊ＊｜ｊ∈Ｊ｝の色情報｛Ｋｊ＊｜ｊ∈Ｊ｝に対応する存在確率｛βｊ＊｜ｊ∈Ｊ｝を掛けて加算したものとして決定され、下記数式８３のように表される。
［０４１２］
2004114224.tif 000094
そして、画像面上にあるすべての画素について、前記数式８３を用いて色情報を決定すれば、仮想視点Ｐにおける画像を得ることができる。
［０４１３］  また、前記数式８３の代わりに、下記数式８４を用いてＫｐ＊計算すると、基準視点Ｒと仮想視点Ｐの位置が異なる場合でも、Ｋｐ＊は必ず有効な色空間の範囲内に収めることが保証される。
［０４１４］
2004114224.tif 000095
なお、ここでは画像面の画素を走査して色情報を決定する手順を示したが、これに限らず、例えば、ＯｐｅｎＧＬやＤｉｒｅｃｔＸ等の汎用的なグラフィックスライブラリに投影面Ｌｊの構成、テクスチャ配列、仮想視点Ｐの設定などのデータを受け渡し、描画処理を任せてもよい。
［０４１５］  以上で本実施例３−１の前記仮想視点画像の生成処理が終了し、生成された画像は、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ），液晶ディスプレイ等の画像表示手段に出力される。このとき、前記画像表示手段に表示される画像は、例えば、被写体の像のうち、前記ステップ１０３０５ｄで算出した合焦点度Ｑが低い投影点の色情報は、生成した画像上の点の色情報への寄与が小さい。そのため、距離の推定の信頼性が低い投影点については曖昧に描画される。その結果、例えば、従来の方法で生成した画像のように、部分的に画像が欠損している、あるいは画質が極端に劣化しているようには見えず、利用者の目には気にならない程度の劣化となる。
［０４１６］  図５８乃至図６１は、本実施例３−１の画像生成方法で画像を生成する装置の概略構成を示す模式図であり、図５８は装置の構成を示すブロック図、図５９乃至図６１は被写体画像撮影手段の構成例を示す図である。
図５８において、２は画像生成装置、２０１は多焦点画像（被写体画像）取得手段、２０２は仮想視点設定手段、２０３は投影面等設定手段、２０４はテクスチャ配列確保手段、２０５は色情報／存在確率決定手段、２０６はレンダリング手段、２０７は生成画像出力手段、３は多焦点画像（被写体画像）撮影手段、４は視点情報入力手段、５は画像表示手段である。また、図５９において、６は偏光型二値光学系、７，７Ａ，７Ｂはイメージセンサ、８はビームスプリッタ、ＯｂｊＡ，ＯｂｊＢは被写体である。また、図６０において、９は偏向フィルタである。また、図６１において、１０は可変焦点レンズ、１１ａ，１１ｂ，１１ｃ，１１ｄは固定焦点レンズ、１２はレンズホルダである。
［０４１７］  本実施の形態の画像生成方法を用いて画像を生成するときに用いる画像生成装置２は、例えば、図５８に示すように、合焦距離が異なる複数枚の画像を取得する被写体画像取得手段２０１と、生成する画像の視点（仮想視点）を設定する仮想視点設定手段２０２と、仮想的な３次元空間上に多層構造の投影面を設定する投影面設定手段２０３と、前記投影面に貼り付ける画像（テクスチャ画像）の配列をメモリ上に割り当てるテクスチャ配列確保手段２０４と、前記テクスチャ配列確保手段２０４で確保したテクスチャ配列を用いて、前記各投影面上の点（以下、投影点という）の色情報及び存在確率を決定する色情報／存在確率決定手段２０５と、前記各投影点の色情報を前記存在確率に応じた割合で混合し、生成する画像上の各画素の色情報を決定するレンダリング手段２０６と、前記レンダリング手段２０６で生成された画像を出力する生成画像出力手段２０７とを備える。
［０４１８］  このとき、前記被写体画像取得手段２０１では、例えば、偏光型二値光学系（例えば、文献１２：特開２０００−２５８７３８号公報を参照。）のように偏光成分に応じて合焦距離が変わるレンズを備える被写体画像撮影手段３で撮影した被写体の画像を取得する。また、前記偏光型二値光学系に限らず、可変焦点レンズ（例えば、文献１３：特許第３３０３２７５号公報を参照。）を備える撮影手段で撮影した画像を取得してもよい。また、その他にも、例えば、複数個の焦点距離が異なるレンズを一体的に支持しておき、個々のレンズを高速で切り替えながら撮影した画像を取得してもよい。またこのとき、前記被写体画像取得手段２０１は、刻々と変化する被写体の位置・姿勢を一定の間隔、例えば、３０Ｈｚの間隔で逐次的に取得することも、任意の時刻における被写体の静止画像を取得することも可能である。また、前記被写体の画像は、前記被写体画像撮影手段３で撮影した後、磁気的または電気的、あるいは光学的な記録媒体（記録装置）に記録された画像を取得してもよい。なお、前記被写体の画像は、同一時刻に撮影した画像であることが望ましいが、被写体の位置や姿勢の変化が十分に遅く、静止物と見なせる場合にはこの限りではない。
［０４１９］  また、前記仮想視点設定手段２０２は、前記生成する画像の視点（仮想視点）のパラメータとして、例えば、位置，方向，画角を設定する。このとき、前記仮想視点は、前記仮想視点設定手段２０２において自動的に決定してもよいし、利用者がマウスやキーボード等の視点情報入力手段４を用いて入力した情報に基づいて決定してもよい。またこのとき、視点情報入力手段４は、前記利用者が装着する位置・姿勢検出センサでもよい。また、他のプログラムにより与えられるものでも、ネットワークを介して与えられるものでも可能である。
［０４２０］  また、前記投影面等設定手段２０３は、例えば、図５４に示したステップ１０３０１，ステップ１０３０２，ステップ１０３０３の処理を行う。
［０４２１］  また、前記テクスチャ配列確保手段２０４では、図５４に示したステップ１０３０４の処理を行い、例えば、各画素について色情報と存在確率に関する情報を保持し、例えば、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色及び前記存在確率に対して各８ビットで表現するテクスチャ配列を確保する。ただし、本発明はこのような特定のデータ表現形式に依存するものではない。
［０４２２］  また、前記色情報／存在確率決定手段２０５は、図５４に示したステップ１０３０５の処理を行い、例えば、図５６に示したようなステップ１０３０５ａからステップ１０３０５ｇまでの処理を行う。また、前記レンダリング手段２０６は、前記色情報／存在確率決定手段２０５の結果をもとにして、図５４に示したステップ１０４の処理を行い、前記仮想視点Ｐからみた前記被写体の画像を生成する。
［０４２３］  また、前記レンダリング手段２０６で生成した仮想視点画像は、前記生成画像出力手段２０７から出力され、ＣＲＴ，ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ），ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）等の画像表示手段５で表示される。このとき、前記画像表示手段５は、例えば、２次元平面状の表示装置でもよいし、利用者を取り囲むような曲面状の表示装置であってもよい。また、前記画像表示手段５として、立体表示が可能な表示装置を用いれば、前記仮想視点設定手段２０２で、前記利用者の左右眼に相当する２つの視点を決定し、前記２つの視点からの立体画像を生成したのち、利用者の左右眼に独立した画像を提示することも可能である。また、３つ以上の仮想視点からの画像を生成し、３つ以上の視差がついた画像を表示することのできる３次元ディスプレイを用いれば、１人以上の利用者に対して立体映像を提示することも可能である。
［０４２４］  また、前記生成画像出力手段２０７は、前記生成した画像を前記画像表示手段５に出力するだけでなく、例えば、電気的，磁気的，光学的な記録媒体に出力するような手段であってもよい。
［０４２５］  またこのとき、図示は省略するが、前記画像生成装置２に、前記生成した画像を蓄積する蓄積手段を設けて前記生成した画像を蓄積しておき、利用者からの指示に応じて、蓄積された画像を出力し前記画像表示手段５で表示するようにしてもよい。
［０４２６］  また、前記撮影手段３として、例えば、偏光型二値光学系が組み込まれているカメラを用いれば、２通りの合焦距離で前記被写体Ｏｂｊを撮影することができる。前記偏光型二値光学系は、光学的な異方性（複屈折性）を示す材質を用いた光学系であり、例えば、図５９（ａ）に示すように、前記偏光型二値光学系６を通る光の偏光成分がｐ成分の場合と、ｓ成分の場合で合焦距離ｆ１，ｆ２が異なる。このとき、一般的な撮影手段のように、１枚のイメージセンサ７上に画像を結像すれば、前記イメージセンサ７から得られる画像では、前記ｐ成分によるイメージとｓ成分によるイメージ、すなわち合焦距離ｆ１で撮影した画像と合焦距離ｆ２で撮影した画像が重なった画像になってしまう。そのため、例えば、図５９（ｂ）に示すように、前記偏光型二値光学系６を通った光をビームスプリッタ８で分離し、ｐ成分の光を第１イメージセンサ７Ａに結像させ、ｓ成分の光を第２イメージセンサ７Ｂに結像させれば、合焦距離がｆ１の画像と、合焦距離がｆ２の画像に分離して取得することができる。
［０４２７］  ここで、例えば、図５９（ｂ）に示したように、前記合焦距離ｆ１の近傍に被写体ＯｂｊＡがあり、合焦距離ｆ２の近傍に別の被写体ＯｂｊＢがあるとすれば、前記第１イメージセンサ７Ａの画像、すなわちｐ成分の光で結像させた画像は、図５９（ｃ）に示したように、被写体ＯｂｊＡがシャープで、被写体ＯｂｊＢがぼやけた画像になる。一方、前記第２イメージセンサ７Ｂの画像は、逆に、被写体ＯｂｊＡがぼやけ、被写体ＯｂｊＢがシャープな画像になる。
［０４２８］  また、前記偏光型二値光学系６を用いて撮影した画像を分離するときには、前記ビームスプリッタ８の代わりに、例えば、図６０（ａ）に示すように、前記偏光型二値光学系６とイメージセンサ７の間に偏光フィルタ９を設置してもよい。このとき、設置する偏光フィルタ９は、例えば、図６０（ｂ）に示すように、ｐ成分に対するフィルタ９Ａとｓ成分に対するフィルタ９Ｂが、市松格子状に配置されたフィルタを用いる。このとき、各フィルタ９Ａ，９Ｂが前記イメージセンサ７の画素と同じサイズ、あるいはｎ×ｎ画素のサイズであれば、前記イメージセンサ７で得られた画像から、ｐ成分またはｓ成分に相当する画素を間引くことで、図５９（ｃ）に示したような２枚の画像が得られる。
［０４２９］  また、前記合焦距離が異なる複数枚の画像を撮影するときには、前記偏光型二値光学系６を用いる代わりに、例えば、図６１（ａ）に示すように、可変焦点レンズ１０を用いてもよい。前記可変焦点レンズ１０を用いれば、例えば、図６１（ａ）に示したように、１つのレンズで４つの焦点位置ｆ１，ｆ２，ｆ３，ｆ４の画像を得ることができる。
［０４３０］  またさらに、前記偏光型二値光学系６や可変焦点レンズ１０のように、レンズの媒質の屈折率を変化させることで焦点位置を変化させる代わりに、図６１（ｂ）に示すように、合焦距離が固定しており、かつ、互いに異なる固定焦点レンズ１１ａ，１１ｂ，１１ｃ，１１ｄをレンズホルダ１２で一体的に支持し、例えば、レンズホルダ１２を回転させて個々のレンズを高速で切り替えながら画像を撮影してもよい。
［０４３１］  以上説明したように、本実施例３−１の画像生成方法によれば、従来の手段のようにあらゆる場合及びあらゆる箇所で被写体の正確な幾何モデルを得ようとするのではなく、被写体の撮影条件や部位によっては距離推定で十分な信頼性を持つ推定値が得られないことを前提として、推定の信頼性が低い箇所については曖昧に描画して画像生成への寄与を低くし、極端な画像の劣化を防止するとともに、推定の信頼性が高い箇所については明瞭に描画して画像生成への寄与を高くする。そのため、推定の信頼性が低い箇所の画像の劣化を目立たなくすることができ、利用者の見た目には劣化の少ない仮想視点画像とすることができる。
［０４３２］  また、本実施例３−１の画像生成方法では、テクスチャマッピングの手法を利用して物体の３次元的な形状を取得し、前記仮想視点Ｐから見た画像を生成するので、図５８に示したような画像生成装置２で前記仮想視点画像を生成するときの負荷を小さくすることができ、高速に仮想視点画像を生成することができる。
［０４３３］  また、前記画像生成装置２は、専用の装置（計算機）である必要はなく、例えば、コンピュータとプログラムによっても実現することができる。その場合、図５４及び図５６に示したような各ステップをコンピュータに実行させることが可能なプログラムを作成し、前記コンピュータに実行させれば、一般に普及しているパーソナル・コンピュータでも、画像の劣化が少ない仮想視点画像を容易に、かつ高速に生成することができる。またこのとき、前記プログラムは、磁気的、電気的、あるいは光学的な記録媒体に記録して提供することもできるし、ネットワークを通して提供することも可能である。
［０４３４］  なお、本実施例３−１で説明した画像生成装置の構成、及び画像の生成方法や処理手順は一例であり、本発明の本旨とするのは、多層から構成される投影面にテクスチャマッピングする画像に対して存在確率を与え、推定した距離の信頼性が低いところは複数の投影面にテクスチャマッピングして曖昧に描画する点である。そのため、この主旨を大きく逸脱しない範囲において特定の処理方法や実装に依存するものではない。
［０４３５］  また、本実施例３−１の画像生成方法では、画像上の点（画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色を用いた色情報で表現されたカラー画像を取得し、前記仮想視点画像を生成する場合を例に挙げて説明したが、本実施例３−１の画像生成方法は、前記カラー画像に限らず、画像上の各点（画素）が輝度（Ｙ），色差（Ｕ，Ｖ）を用いた表現の白黒画像を取得し、前記仮想視点画像を生成することもできる。取得する画像が前記白黒画像の場合、前記色情報に相当する情報として、前記輝度情報（Ｙ）を用いて、本実施例３−１で説明したような手順で仮想視点画像を生成すればよい。
［０４３６］  図６２及び図６３は、本実施例３−１の画像生成装置を用いた画像生成システムの概略構成を示す模式図であり、図６２は画像生成システムの一構成例を示す図、図６３は画像生成システムの他の構成例を示す図である。
［０４３７］  本実施例３−１の画像生成装置１は、例えば、図６２に示すような画像生成システムに適用することができる。このとき、利用者Ｕｓｅｒがマウス等の前記視点情報入力手段４を用いて、所望の視点位置，方向，画角を指定すると、前記画像生成装置２は、前記撮影手段３で撮影している被写体Ｏｂｊの画像を取得する。そして、前記被写体Ｏｂｊの画像を取得した前記画像生成装置１では、本実施例３−１で説明したような手順で、前記利用者Ｕｓｅｒが指定した視点位置，方向，画角から前記被写体Ｏｂｊを見たときの画像を生成する。そして、生成した画像を画像表示手段５に表示し、利用者Ｕｓｅｒに提示する。
［０４３８］  このとき、前記撮影手段３は、前記利用者Ｕｓｅｒがいる場所と地理的に近い場所に設置されていてもよいし、インターネット等のネットワークを介して、地理的に遠隔な場所に設置されていてもよい。
［０４３９］  また、本実施例３−１の画像生成装置１は、例えば、図６２に示したように、利用者Ｕｓｅｒと被写体Ｏｂｊの関係が固定されている一方向の画像生成システムだけでなく、テレビ電話やテレビ会議のような双方向の通信システムに適用することも可能である。
［０４４０］  本実施例３−１の画像生成装置２を双方向の通信システムに適用するときには、例えば、図６３に示すように、利用者ＵｓｅｒＡを撮影する撮影手段３Ａ及び利用者ＵｓｅｒＢを撮影する撮影手段３Ｂがあればいい。こうすれば、前記利用者ＵｓｅｒＡは、前記撮影手段３Ｂで撮影された利用者ＵｓｅｒＢの画像を用いて、所望の視点から前記利用者ＵｓｅｒＢを見たときの画像を生成し、画像表示手段４Ａに表示させることができる。同様に、前記利用者ＵｓｅｒＢは、前記撮影手段２Ａで撮影された利用者ＵｓｅｒＡの画像を用いて、所望の視点から前記利用者ＵｓｅｒＢを見たときの画像を生成し、画像表示手段４Ａに表示させることができる。このとき、前記画像生成装置２は、図６３に示したように、前記各利用者ＵｓｅｒＡ，ＵｓｅｒＢの手元に設置されていてもよいし、どちらか一方の利用者ＵｓｅｒＡ，ＵｓｅｒＢの手元にのみ設置されていてもよい。また、インターネットや社内ＬＡＮ等のネットワーク１３上に前記画像生成装置２Ｃを設置すれば、前記各利用者ＵｓｅｒＡ，ＵｓｅｒＢの手元に前記画像生成装置２が無くても、前記仮想視点から見た画像を生成し、表示することができる。
［０４４１］  また、図６３では、利用者が二人の例を示しているが、さらに多数の利用者間でも、同様の画像生成を行うことができる。そのため、利用者が実際に存在する実空間とは別にコミュニケーションに用いる仮想空間を想定し、その位置関係に応じた他の利用者の画像をお互いに提示し合えば、あたかもネットワーク上の仮想空間（サイバースペース）を共有するかのような感覚を利用者に提示することができる。
［０４４２］  なお、図６２及び図６３に示したシステムの構成は、本発明における画像生成装置の一適用例を示すものであり、必ずしもこのような構成に限定されるものではない。すなわち、個々の装置及び手段の配置，形態，実装等は、本発明の趣旨を逸脱しない範囲において任意に設定することができる。
（実施例３−２）
図６４は、実施例３−２の特徴となる処理を示すフロー図である。本実施例３−２では、前記実施例３−１で説明したような仮想視点画像の生成処理において、前記ステップ１０３０５ｆで決定した投影点の存在確率の代わりに、前記存在確率を透明度に変換して画像生成を行う例を示す。
［０４４３］  このとき、前記画像生成装置１の構成や、全体的な処理手順については、前記実施例３−１で説明した例と同様な形態をとることができるため、以下、差異のある部分のみを説明する。
［０４４４］  前記実施例３−１では、前記ステップ１０３０５ｆで決定した前記存在確率βｊを用いて、例えば、前記数式６９を用いて、前記仮想視点Ｐから見た画像上の各点の色情報を決定し、前記仮想視点画像を生成したが、その場合、図５０を用いて説明したように、前記被写体の形状や前記基準視点と仮想視点の位置関係によっては、本来の被写体表面の色情報とは大きく異なる場合がある。そこで、本実施例３−２では、そのような問題を解決する方法として、前記存在確率を透明度に変換し、前記各投影点の色情報を前記透明度に応じた割合で混合する方法について説明する。このとき、前記存在確率を透明度に変換するステップは、前記ステップ１０３による処理におけるステップ１０３０５ｆの後、または前記ステップ１０４、あるいは前記ステップ１０３とステップ１０４の間で行えばよい。そこで、本実施例３−２では、図６４に示すように、前記前記存在確率を決定するステップ１０３０５ｆの直後に、前記存在確率を変換して透明度を決定するステップ１０５を付加する。
［０４４５］  この場合、前記実施例３−１のテクスチャ配列を確保するステップ１０３０４では、色情報及び前記存在確率を保持するテクスチャ配列を確保したのに対し、本実施例３−２のステップ１０３０４では、色情報及び前記透明度を保持するテクスチャ配列を確保する。
［０４４６］  前記透明度αｊは、前記存在確率βｊに基づいて計算され、前記実施例３−１のステップ１０３０５ｆと同様、本実施例３−２でも、前記ステップ１０３０５ｆで前記存在確率をいったん計算し、次のステップ１０５で透明度αｊを計算する。
［０４４７］  また、本実施例３−２のレンダリング処理を行うステップ１０４では、前記実施例３−１で説明した前記数式８３や数式８４の代わりに、前記数式１１から前記数式１３までに従ってＤｊを逐次的に計算する。そのため、画像面上のある画素ｐ＊（ｕｐ＊，ｖｐ＊）の色情報Ｋｊ＊は、下記数式８５のように計算することになる。
［０４４８］
2004114224.tif 000096
以上が本実施例３−２における画像生成方法であるが、前記存在確率βｊをもとに透明度αｊを計算する方法は、第１の実施の形態において図１９（ｂ）を参照して説明した方法と同じである。
［０４４９］  本実施例３−２の画像生成方法によれば、前記実施例３−１と同様に、部分的な画像の劣化が目立たない仮想視点画像を容易に、かつ高速に生成することができる。
［０４５０］  また、前記実施例３−１で説明したように、存在確率をそのまま用いた画像生成では、基準視点と仮想視点が異なる場合に被写体の遮蔽領域付近で輝度の増加が生じることがあるのに対し、本実施例３−２のように、存在確率を透明度に変換する画像生成では、この現象を防止する効果がある。そのため、画像の劣化が少なく、より実際の被写体に近い仮想視点画像を得ることができる。
［０４５１］  また、前記実施例３−１で説明したように、存在確率をそのまま用いる画像生成では、基準視点と仮想視点が異なる場合には、色情報を混合したときに有効な色情報の範囲内に収まる保証がなく、例えば、補正処理が必要であるのに対し、本実施例３−２のように、前記存在確率情報を透明度に変換する画像生成では、このような補正は不要である。そのため、画像生成処理が簡略化できる。
［０４５２］  また、本実施例３−２の仮想視点画像生成方法のように、存在確率を透明度に変換する画像生成では、半透過の被写体も効率的に表現することができ、現実世界にあるより多くの被写体に対して広く本発明を適用できる効果がある。
［０４５３］  なお、本実施例３−２で説明した画像生成方法は一例であり、本実施例３−の本旨とするところは、前記存在確率を透明度に変換して仮想視点画像を生成することである。そのため、この主旨を大きく逸脱しない範囲において特定の計算方法や処理手順に依存するものではない。
［０４５４］  また、本実施例３−２の画像生成方法の場合も、取得する画像はカラー画像、白黒画像のどちらでもよく、白黒画像の場合は、前記色情報に相当する情報として、輝度情報（Ｙ）を用いて、本実施例３−２で説明したような混合処理を行えばよい。
［０４５５］  図６５は、本発明の画像生成方法における、他の生成方法を説明するための模式図である。
［０４５６］  前記実施例３−１及び実施例３−２の画像生成方法では、合焦距離が異なる複数枚の画像の取得に一般的なレンズを用い、色情報の投影あるいは射影をするときに、ピンホール光学系で近似することを前提として説明した。しかしながら、本発明の画像生成方法のように、合焦距離が異なる画像を用いる場合、例えば、テレセントリック・レンズを用いて前記複数枚の画像を取得すれば、色情報の投影あるいは射影をするときに、図６５に示すように、平行投影系を設定することもできる。この場合、生成する画像上の点Ａを通り、画像面に垂直な直線と前記投影面Ｌｊの交点を対応点Ｔｊとし、前記実施例で説明したような手順で各投影点Ｔｊ上に被写体が存在する確率βｊを求めればよい。このとき、図６５に示したように、投影点Ｔ１にテクスチャマッピングする対応点Ｇ１の座標のｘ成分及びｙ成分は、イメージセンサ上の点Ｇのｘ成分及びｙ成分になる。そして、取得した画像Ｉｍｇｉ上において、前記対応点Ｇ１に写っている部分と同じ部分は、前記イメージセンサ上の点Ｇを通り前記イメージセンサと垂直な直線上になるので、これらの点を対応点Ｇｉとして前記投影点Ｔ１の色情報Ｋ１及び合焦点度Ｑ１を決定する。そして、この処理を同一直線上の各投影点Ｔｊに対して行った後、前記各投影点の合焦点度から存在確率βｊを求めればよい。
［０４５７］  （第３の実施の形態の効果）
上記のように、第３の実施の形態の画像生成方法は、前記被写体の３次元的な形状を得るための基準視点から見て重なり合う複数の投影点に色情報または輝度情報と前記被写体の表面が存在する確率（存在確率）を与える。すなわち、従来の３次元的な形状を得る方法のように、前記被写体の表面を、前記基準視点から見て重なり合う複数の投影点の中の１つの投影点上に存在すると考えるのではなく、前記被写体の表面は、前記各投影点上に前記存在確率で存在すると考える。このようにすると、距離の推定の信頼性が低い場合でも、実際に物体の表面が存在する投影点上に、ある確率で物体の表面が存在する。このとき、前記仮想視点から見た前記被写体の画像を生成すると、生成した画像上の点（画素）で、前記存在確率が低い投影点の色情報を混合した色情報または輝度情報を持つ画素、すなわち距離の推定の信頼性が低い被写体上の点は曖昧に描画される。その結果、距離の推定を誤ったときに生じるような不連続なノイズを目立ちにくくすることができる。
［０４５８］  前記被写体の３次元的な形状を得るために、合焦点度が異なる複数枚の画像を用いる。このとき、前記基準視点から見て重なり合う各投影点の存在確率は、前記各投影点と対応する前記各画像上の点（対応点）の合焦点度に基づいて決定する。そのため、物体の形状や、前記基準視点と前記仮想視点の位置関係によっては、前記仮想視点から見て重なり合う複数の投影点の中に、存在確率が非常に高い投影点が２点以上含まれることがある。そのような場合、例えば、前記各投影点の色情報または輝度情報を前記存在確率に応じた割合で混合すると、生成する画像上の点の色情報が有効な色空間の範囲を超えてしまうことがある。そのため、前記存在確率に基づいて前記投影点に透明度を設定し、前記透明度に応じた割合で色情報を混合処理してもよい。このようにすると、前記仮想視点から見て重なり合う投影点の中に、存在確率が高い投影点が２点以上ある場合、前記仮想視点から見て遠くある投影点、例えば、前記仮想視点からは見えない投影点の色情報の、生成画像上の点の色情報への寄与を小さくすることができる。
［０４５９］  従来の生成方法のようにあらゆる形状の被写体、そして前記被写体上のあらゆる点で幾何学的なモデルを正確に求めるような処理は行わない。そのため、前記画像を生成する装置（計算機）にかかる負荷を低減することができる。前記画像を生成する装置にかかる負荷を低減できれば、一般に普及しているパーソナル・コンピュータのように、処理性能が低い装置でも、高速で画像を生成することが可能になる。
［０４６０］  また、前記被写体の３次元的な形状を取得するときに、１つの視点から合焦距離を変えて撮影した画像を用いる場合、前記画像の撮影に用いる撮影装置は、従来のような多視点から撮影する装置に比べて小型化でき、装置構成も簡素化することができる。このとき、例えば、光学的な異方性を示し、偏光面に応じて合焦距離が異なる材質を備える偏光型二値光学系を用いて前記被写体を撮影すれば、１つの視点から合焦距離が異なる２枚の画像を撮影することができる。また、例えば、合焦距離が異なるレンズを複数個用意して、前記各レンズを高速で切り替えながら撮影すれば、１つの視点から合焦距離の異なる３枚以上の画像を撮影することができる。
［０４６１］  ［第４の実施の形態］
次に本発明の第４の実施の形態について説明する。第４の実施の形態は、主に請求項３０〜請求項４３に対応する実施の形態である。第４の実施の形態は、評価基準値νｊに対する統計処理（パラメータフィッティング）に基づき存在確率を求める点に特に特徴がある。なお、第４の実施の形態を説明するための図において、同一機能を有するものは、同一符号を付ける。
［０４６２］  第４の実施の形態の３次元画像表示方法では、互いに異なる撮影条件で被写体を撮影した複数枚の画像から前記被写体の３次元形状を取得し、取得した前記被写体の３次元形状に基づいて、ＤＦＤのように複数の表示面を備えるディスプレイに前記被写体の３次元像を表示する。前記被写体の３次元形状を取得するときには、仮想的な３次元空間上に多層構造の投影面を設定し、観察者の視点から見て重なり合う複数の投影面上の点（投影点）について、前記各投影点の色情報または輝度情報、及び前記投影点上に被写体の表面が存在する確率（存在確率）を決定する。そして、取得した前記被写体の３次元形状に基づいて、前記複数の表示面に表示する２次元画像を生成するときに、前記投影点の色情報または輝度情報を割り当てる２次元画像上の点に、前記色情報または輝度情報、及び存在確率を割り当て、前記画像表示面に表示するときに、２次元画像上の各点を前記存在確率の高さに応じた輝度で表示する。こうすることで、前記被写体の表面の距離に関する推定の信頼性が低い部分を曖昧に表示し、観察者の見た目に自然な３次元像を提示する。
［０４６３］  （実施例４−１）
図６６乃至図７７は、実施例４−１の画像生成方法を説明するための模式図であり、図６６は全体的な処理手順の一例を示すフロー図、図６７及び図６８は投影面の設定方法の一例を示す図、図６９は投影点列の設定方法を説明する図、図７０は投影点の色情報及び存在確率を決定するステップの処理手順の一例を示すフロー図、図７１乃至図７４は存在確率の決定方法を説明する図、図７５乃至図７７は各画像表示面で表示する２次元画像の生成方法を説明する図である。
［０４６４］  本実施例４−１の画像生成方法は、例えば、ＤＦＤのような観察者から見て奥行き方向に重なった複数の画像表示面を有する画像表示手段に表示する画像を生成する方法であり、図６６に示すように、異なる視点から物体を撮影した複数枚の画像を取得するステップ１０１と、表示する物体の３次元像を観察する観察者の視点（基準視点）を設定するステップ１０２と、前記複数枚の画像から前記物体の３次元形状を取得するステップ１０３と、前記ステップ１０３で取得した前記物体の３次元形状に基づいて、各画像表示面に表示する２次元画像を生成するステップ１０４と、前記ステップ１０４で生成した各２次元画像を前記各画像表示面に表示して前記物体の３次元像を提示するステップ１０５とを有する。
［０４６５］  本実施例４−１の画像生成方法を用いて、例えば、前記ＤＦＤで物体の３次元像を表示するための画像を生成するときには、まず、異なる視点から前記物体を撮影した画像を取得する（ステップ１０１）。このとき、前記取得する画像を撮影する視点は、例えば、直線状に一列に並んでいても良いし、円弧状または任意の曲線上、あるいは平面または曲面上に２次元的に並んでいても良い。またこのとき、取得する画像は、カラー画像であっても、白黒画像であってもよいが、本実施例４−１では、画像上の各点（画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色を用いた色情報で表現されるカラー画像を取得するとして説明する。
［０４６６］  前記ステップ１で画像を取得したら、次に、前記ＤＦＤに表示される物体を観察する観察者の視点を設定する（ステップ１０２）。このとき、前記観察者の視点は、例えば、前記複数の画像表示面のうちの基準となる画像表示面からの距離等の前記観察者の視点と前記画像表示面の相対的な位置関係や、視線の方向等を設定する。
［０４６７］  前記ステップ２で観察者の視点を設定したら、次に、前記ステップ１で取得した複数枚の画像から、前記画像に写っている物体の３次元形状を取得する（ステップ１０３）。前記ステップ３では、まず、多層構造の投影面Ｌｊ（ｊ＝１，２，…，Ｍ）を設定する（ステップ１０３０１）。そして次に、前記物体の３次元形状を取得するための基準視点Ｒを設定する（ステップ１０３０２）。このとき、前記投影面Ｌｊは、例えば、図６７に示すように、仮想的な３次元空間上のＸＹ平面と平行な面を複数枚設定する。またこのとき、前記各投影面Ｌｊは、例えば、図６７及び図６８に示すように、前記３次元空間上のＺ＝０から負の方向の距離ｌｊに設定する。また、前記基準視点Ｒは、前記物体の３次元形状を取得するための視点であり、３次元空間上の任意の点に設定することができる。そこで、前記基準視点Ｒは、前記ステップ２で設定した観察者の視点とし、例えば、前記Ｚ＝０から最も遠い投影面Ｌ１を、前記ＤＦＤの観察者から見て最も奥にある画像表示面として、図６８に示すように、前記投影面Ｌ１からの距離が、前記観察者の視点から前記ＤＦＤの最も奥にある画像表示面までの距離ｌｄとなるように設定する。
［０４６８］  前記ステップ１０３０１及びステップ１０３０２で前記投影面Ｌｊ及び基準視点Ｒを設定したら、次に、前記投影面上の投影点、及び前記各投影点と対応する前記取得した画像上の点（対応点）等を設定する（ステップ１０３０３）。このとき、前記投影点は、例えば、図６９に示すように、前記基準視点Ｒから複数の方向に直線を引き、前記各直線と前記各投影面Ｌｊの交点に設定する。また、前記被写体の表面の距離を推定するときには、前記同一直線上にある複数の投影点Ｔｊに対して、どの投影点上に存在するか推定するので、図６９に示したように、同一直線上にある投影点Ｔｊを投影点列Ｓとしてひとまとめに扱う。
［０４６９］  また、前記対応点は、図６７及び図６８に示したように、前記投影点Ｔｊから前記各カメラの視点Ｃｉを見たときに、前記カメラの視点と重なる前記各カメラの画像面上の点Ｇｉｊである。このとき、図６７に示したように、前記各画像面上に２次元の座標系（ｘｙ座標系）を設定すると、前記投影点Ｔｊ（Ｘｊ，Ｙｊ，Ｚｊ）と対応する対応点Ｇｉｊの２次元座標（ｘｉｊ，ｙｉｊ）は、前記投影点Ｔｊを各画像面上の２次元の点に射影することで求められる。この射影は、一般的な、３次元空間上の点（Ｘ，Ｙ，Ｚ）を２次元平面上の点（ｘ，ｙ）に射影する３行４列の射影行列を用いて行えばよい。前記仮想的な３次元空間内での前記対応点Ｇｉｊの座標（ｘｉｊ，ｙｉｊ）と、前記ディジタル画像座標（ｕ，ｖ）との関係は、これまでに説明した通りである。
［０４７０］  前記ステップ１０３０３では、前記対応点Ｇｉｊのディジタル画像座標（ｕｉｊ，ｖｉｊ）と前記投影点Ｔｊの３次元空間座標（Ｘｊ，Ｙｊ，Ｚｊ）の対応関係を設定する。この対応関係は、全ての（ｕｉｊ，ｖｉｊ）に対して（Ｘｊ，Ｙｊ，Ｚｊ）の値をテーブルとして設定してもよいし、代表的な（ｕｉｊ，ｖｉｊ）に対してのみ（Ｘｊ，Ｙｊ，Ｚｊ）の値を設定し、その他の点は、例えば、線形補完等の補完処理で求めてもよい。
［０４７１］  また、前記ディジタル画像座標系では（ｕ，ｖ）は離散値をとるが、以下の説明では断りのない限り連続値をとることとし、前記２次元配列へアクセスするときに適当な離散化処理を行うものとする。
［０４７２］  前記ステップ１０３０３で前記投影点列、対応点等を決定したら、次に、前記投影面Ｌｊの情報、すなわち前記投影面Ｌｊにテクスチャマッピングする画像を格納する配列（テクスチャ配列）を確保する。（ステップ１０３０４）。このとき、確保する配列は、前記投影点Ｔｊの位置に対応するテクスチャ情報として、画素毎に色情報及び存在確率の情報を、例えば、８ビットずつ持たせる。
［０４７３］  前記ステップ１０３０４で前記投影面の情報を格納する配列を確保したら、次に、各投影点Ｔｊの色情報及び存在確率を決定する（ステップ１０３０５）。前記ステップ１０３０５では、例えば、図７０に示すように、ある投影点列上の各投影点Ｔｊの色情報及び存在確率を決定するという処理を、設定した全ての投影点列に対して繰り返すという２重ループの処理を行う。そこでまず、前記投影点列を初期化する（ステップ１０３０５ａ）。そして次に、前記投影点列上の投影点Ｔｊを初期化し、例えば、ｊ＝１とする。（ステップ１０３０５ｂ）。
［０４７４］  次に、前記投影点Ｔｊの色情報を決定する（ステップ１０３０５ｃ）。前記ステップ１０３０５ｃでは、例えば、前記ステップ１０３０３で設定した各対応点Ｇｉの色情報Ｋｉの平均値を前記投影点Ｔｊの色情報Ｋｊに決定する。
［０４７５］  次に、前記投影点Ｔｊと対応する各対応点Ｇｉｊ（ｉ∈Ｉ）に写っている物体上の点の相関度Ｑｊを求める（ステップ１０３０５ｄ）。このとき、前記相関度Ｑｊは、例えば、前記投影点Ｔｊの色情報を表すベクトルをＫｊ、各対応点Ｇｉｊの色情報を表すベクトルをＫｉｊとおくと、下記数式８６により求められる。
［０４７６］
2004114224.tif 000097
前記数式８６を用いて相関度Ｑｊを求めた場合、前記相関度Ｑｊは、常に正の値をとり、かつ、相関が高いほど値が小さくなる。
［０４７７］  なお、前記数式８６は前記相関度Ｑｊの求め方の一例であり、前記数式８６以外の数式を用いて前記相関度Ｑｊを求めてもよい。また、前記相関度Ｑｊを求めるときには、前記投影点Ｔｊと前記対応点Ｇｉｊの１点だけでなく、前記投影点Ｔｊ及び前記対応点Ｇｉｊの近傍にある複数の点を含めた小領域を考えて求めてもよい。
［０４７８］  前記ステップ１０３０５ｄにより、前記相関度Ｑｊを求めたら、前記投影点Ｔｊを更新し、処理の対象となっている投影点列上の全ての投影点で、前記ステップ１０３０５ｃ及びステップ１０３０５ｄの処理を行ったか確認する（ステップ１０３０５ｅ）。ここで、前記ステップ１０３０５ｃ及びステップ１０３０５ｄの処理を行っていない投影点があれば、前記ステップ１０３０５ｃに戻って前記色情報Ｋｊ及び相関度Ｑｊを求める。
［０４７９］  処理の対象としている投影点列上の全ての投影点に対して、前記色情報及び相関度Ｑｊを求めると、図７１に示すように、投影点列上の各投影点Ｔｊに対して色情報Ｋｊ及び相関度Ｑｊが与えられる。このとき、前記各投影点Ｔｊの相関度Ｑｊを比較すると、一般的には、図７２（ａ）に示すように、ある投影点Ｔｍの相関度Ｑｍだけが特徴的な小さな値をとる。このような場合、その投影点列投上では、前記物体の表面が前記投影点Ｔｍ上にあると推定でき、その信頼性も高い。
［０４８０］  しかしながら、物体の形状や表面の模様（テクスチャ）、あるいは撮影条件等によっては、投影点列上の各投影点Ｔｊの相関度Ｑｊを比較したときに、図７２（ｂ）に示すように、相関度が特徴的な小さな値を持つ投影点がない場合がある。このような場合、前記物体の表面がある１つの投影点上にあると推定しても、その信頼性は低く、推定を誤っている場合がある。そして、推定を誤っている場合、その影響が生成した画像上に大きなノイズとなって現れていた。
［０４８１］  そこで、前記各投影点Ｔｊの相関度Ｑｊの高さに基づいて前記投影点列上の各投影点Ｔｊに物体の表面が存在する確率（存在確率）βｊを決定する。このとき、前記存在確率βｊは、前記相関度Ｑｊから直接求めることも可能であるが、取得した画像上にノイズがあり、前記相関度Ｑｊの信頼性が低いと、前記存在確率βｊもその影響を受けて信頼性が低下する。そこで、本実施例４−１の画像生成方法では、まず、前記存在確率βｊの基準値として用いる評価基準値νｊを求める（ステップ１０３０５ｆ）。このとき、前記評価基準値νｊは、下記数式８７及び数式８８を満たす必要がある。
［０４８２］
2004114224.tif 000098
［０４８３］
2004114224.tif 000099
さらに、前記投影点Ｔｊに物体の表面が存在する確率が高いほど前記評価基準νｊが１に近い値をとるようにすると、前記投影点列上の各投影点Ｔｊに対して求めた相関度Ｑｊに対し、例えば、下記数式８９及び数式９０で表される変換処理を行って前記評価基準値νｊ（ｊ∈Ｊ）を算出すればよい。
［０４８４］
2004114224.tif 000100
2004114224.tif 000101
［０４８５］
2004114224.tif 000102
なお、前記評価基準値νｊは、基本的には前記数式８７及び数式８８の条件を満たしていればよい。そのため、前記変換処理は、前記数式８９及び数式９０以外の数式を用いて算出してもよい。
［０４８６］  前記数式８９及び数式９０を用いて算出した各投影点Ｔｊの評価基準値νｊは、前述のように、前記物体の表面が存在する確率（存在確率）として用いることも可能であるが、取得した画像上のノイズの影響により、そのままでは存在確率としての信頼性が不十分である場合が出てくる。そのため、次に、生成する物体の確率分布モデルを仮定して、前記評価基準値νｊに対する統計処理（パラメータフィッティング）を行い、例えば、図７３（ａ）に示すようなフィッティング関数ｐ（ｌ）を求める（ステップ１０３０５ｇ）。
［０４８７］  ここで、前記物体が存在する確率の確率密度分布が、距離ｌに対して正規分布（ガウス分布）に従うと仮定すれば、前記評価基準値νｊのフィッティング関数ｐ（ｌ）は、下記数式９１のように表すことができる。
［０４８８］
2004114224.tif 000103
2004114224.tif 000104
ここで、μは存在確率分布の平均値、σは存在確率分布の分散であり、それぞれ下記数式９２，数式９３で与えられる。
［０４８９］
2004114224.tif 000105
［０４９０］
2004114224.tif 000106
前記フィッティング関数ｐ（ｌ）を求めたら、その関数ｐ（ｌ）から、各投影面ＬＰｌの距離ｌｐｊ、すなわち前記各対応点Ｔｊに物体が存在する確率βｊを決定する（ステップ１０３０５ｈ）。このとき、前記存在確率βｊは、例えば、下記数式９４を用いて決定する。
［０４９１］
2004114224.tif 000107
ここで、ｌｊ−，ｌｊ＋はそれぞれ、図７３（ｂ）に示すように、投影面Ｌｊに寄与する距離の下限及び上限であり、例えば、下記数式９５及び数式９６で与えられる。
［０４９２］
2004114224.tif 000108
［０４９３］
2004114224.tif 000109
前記ステップ１０３０５ｃからステップ１０３０５ｈの処理を行うと、図７４に示すように、投影点列上の前記各投影点Ｔｊの色情報Ｋｊ及び存在確率βｊが決定される。その値を前記ステップ１０３０４で確保した領域に格納する。
［０４９４］  このように、ある投影点列上で表示する物体表面が存在する確率の確率密度分布を仮定できる場合、前記評価基準値νｊのフィッティング関数ｐ（ｌ）に基づいて前記存在確率βｊを求めると、撮影した画像のノイズの影響を低減することができる。
［０４９５］  なお、前記数式９１はフィッティング関数の一例であり、物体の形状分布に応じた種々の関数、例えば、ラプラス分布関数を用いてパラメータフィッティングを行ってもよい。
［０４９６］  前記各投影点Ｔｊの色情報Ｋｊ及び存在確率βｊを格納したら、前記投影点列を更新し、前記ステップ１０３０３で決定した全ての投影点列で、前記ステップ１０３０５ｃからステップ１０３０５ｈまでの処理を行ったか確認する（ステップ１０３０５ｉ）。ここで、前記ステップ１０３０５ｃからステップ１０３０５ｈまでの処理を行っていない投影点列があれば、前記ステップ１０３０５ｂに戻って前記ステップ１０３０５ｃからステップ１０３０５ｈまでの処理を繰り返す。
［０４９７］  こうして、前記ステップ１０３０３で決定した全ての投影点列に対して、前記ステップ１０３０５ｃからステップ１０３０５ｈまでの処理を行うと、前記ステップ１０３０５（ステップ１０３）の処理が終了し、前記物体の３次元的な形状が得られる。
［０４９８］  前記ステップ１０３の処理を行うと、例えば、図７４に示すように、ある投影点列上の各投影点Ｔｊ（ｊ＝１，２，…，Ｍ）のテクスチャ配列には色情報Ｋｊ及び存在確率βｊが保持されている。つまり、本発明の３次元画像表示方法で取得する物体の３次元形状は、従来の方法のように前記投影点列上のある１つの投影点に物体の表面が存在するのではなく、前記各投影点に存在する。
［０４９９］  本実施例４−１の画像生成方法では、前記ステップ１０３で取得した前記被写体の３次元形状に基づいて、前記観察者から見た前記被写体の画像を生成する。本実施例４−１では、生成する画像はＤＦＤのような複数の画像表示面を有するディスプレイの前記各画像表示面に表示する２次元画像の生成方法について説明する。この場合、前記ステップ１０３の処理が終了したら、図６６に示したように、前記投影点の色情報及び存在確率を、２次元画像生成面上の点の色情報及び輝度分配係数に変換する（ステップ１０４）。
［０５００］  前記ステップ１０４で、前記各画像表示面に表示する２次元画像を生成するときには、まず、前記仮想的な３次元空間上に観察者の視点、複数枚の２次元画像生成面、前記ステップ１０３で取得した前記物体の３次元形状を設定する。このとき、前記２次元画像生成面ＬＤｎ（ｎ＝１，２，…，Ｎ）は、例えば、図７５に示すように、前記観察者の視点Ｐから見て奥行き方向に重なるように設定する。また、前記観察者の視点Ｐから前記各２次元画像生成面ＬＤｎまでの距離ｌｄｎは、前記ステップ１０２で設定された距離になるように設定する。またこのとき、前記物体の３次元形状を表現している投影面Ｌｊの数及び設定間隔が、前記２次元画像生成面ＬＤｎの数及び設定間隔と一致しているとすれば、前記物体の３次元形状は、例えば、図７５に示すように、前記投影面Ｌｊと前記２次元画像生成面ＬＤｎが一致するように設定する。このとき、前記２次元画像生成面ＬＤｎが、輝度変調型ＤＦＤの各画像表示面に表示する画像を生成する面であるとすれば、観察者の視点Ｐから見て重なり合う前記２次元画像生成面ＬＤｎ上の各点（表示点）Ａｎに対して、色情報ＫＤｎ及び輝度分配係数γｎを決定する必要がある。ここで、図７５に示すように、前記物体の３次元形状を表現している投影面Ｌｊと２次元画像生成面ＬＤｎが一致しているのであれば、前記各表示点Ａｎの色情報ＫＤｎは、前記各表示点Ａｎがある２次元画像生成面ＬＤｎと重なっている投影面Ｌｊの投影点Ｔｊの色情報Ｋｊとする。また、前記各表示点Ａｎの輝度分配率γｎは、前記各表示点Ａｎがある２次元画像生成面ＬＤｎと重なっている投影面Ｌｊの投影点Ｔｊの存在確率βｊを割り当てる。このようにして、前記２次元画像生成面ＬＤｎ上の各表示点Ａに対して色情報ＫＤ及び輝度分配係数γを決定したら、その２次元画像生成面ＬＤｎに生成された画像を出力し、実際のＤＦＤの画像表示面で表示する（ステップ１０５）。
［０５０１］  ただし、前記物体の３次元形状を表現する投影面Ｌｊの数及び設定間隔は、前記２次元画像生成面ＬＤｎの数及び設定間隔と一致させる必要はない。そこで次に、投影面Ｌｊの数及び設定間隔と前記２次元画像生成面ＬＤｎの数及び設定間隔が一致していない場合の前記２次元画像の生成方法について説明する。
［０５０２］  このとき、前記観察者の視点Ｐから見て一番手前の投影面から一番奥の投影面までの距離と、一番手前の２次元画像生成面から一番奥の２次元画像生成面までの距離がほぼ等しいのであれば、前記物体の３次元形状を表現する投影面Ｌｊは、例えば、図７６に示すように、前記観察者の視点Ｐから見て一番奥の投影面Ｌ１と２次元画像生成面ＬＤ１が重なるように設定する。こうすると、前記観察者の視点Ｐから見て一番奥の２次元画像生成面ＬＤ１の各表示点Ａの色情報ＫＤ及び輝度分配係数γは、前記観察者の視点Ｐから見て一番奥の投影面Ｌ１上の各投影点Ｔの色情報Ｋ及び存在確率βである。
［０５０３］  また、重なっている投影面がない２次元画像生成面ＬＤ上の各表示点Ａの色情報ＫＤ及び輝度分配係数γに関しては、以下のような方法で決定する。
［０５０４］  前記重なっている投影面がない２次元画像生成面ＬＤ上の各表示点Ａの色情報ＫＤ及び輝度分配係数γに関しては、例えば、前記観察者の視点Ｐから見て、前記各表示点Ａと重なる前記各投影面Ｌ上の投影点Ｔの色情報Ｋ及び存在確率βを、前記投影面Ｌから見て最も近い２次元画像生成面ＬＤ上の表示点Ａに割り当てる。このとき、前記表示点Ａの色情報ＫＤは、割り当てられた各投影点Ｔの色情報Ｋの平均値、もしくは前記表示点Ａがある２次元画像生成面ＬＤから見て最も近い投影面Ｌの投影点Ｔの色情報Ｋとする。また、輝度分配係数γに関しては、前記割り当てられた各投影点Ｔの存在確率βの和とする。このとき、ある２次元画像生成面ＬＤｎが最も近い生成面となる投影面Ｌｊの集合を｛Ｌｊ｜ｊ∈Гｎ｝とおくと、前記２次元画像生成面ＬＤｎ上の表示点Ａｎの輝度分配率γｎは、前記各投影面Ｌｊの投影点Ｔｊの存在確率βｊを用いて、下記数式９７で与えられる。
［０５０５］
2004114224.tif 000110
ここで、前記投影面Ｌｊと２次元画像生成面ＬＤｎが、図７７（ａ）に示すような位置関係にある場合を考える。ここで、観察者の視点Ｐから見て表示点Ａ１，Ａ２と重なり合う各投影点Ｔｊ（ｊ＝１，２，３，４，５）の色情報Ｋｊ及び存在確率βｊを、前記各投影面から見て最も近い２次元画像生成面上の表示点Ａに割り当てるとすれば、投影点Ｔ１，Ｔ２，Ｔ３の色情報及び存在確率は、前記表示点Ａ１に割り当てられる。このとき、前記表示点Ａ１の色情報ＫＤ１は、例えば、前記各投影点Ｔ１，Ｔ２，Ｔ３の色情報Ｋ１，Ｋ２，Ｋ３の平均値でも良いし、前記表示点Ａ１からみて最も近い投影点Ｔ２の色情報Ｋ２としても良い。また、前記表示点Ａ１の輝度分配係数γ１は、前記数式９１を用い、前記各投影点Ｔ１，Ｔ２，Ｔ３の存在確率β１，β２，β３の和とする。
［０５０６］  同様に、前記投影点Ｔ４，Ｔ５の色情報及び存在確率は、２次元画像生成面ＬＤ２に割り当てられ、表示点Ａ２の色情報ＫＤ２は前記投影点Ｔ４，Ｔ５の色情報Ｋ４，Ｋ５の平均値もしくは投影点Ｔ５の色情報Ｋ５とする。そして、輝度分配係数γ２に関しては、前記数式９１を用いて前記各投影点Ｔ４，Ｔ５の存在確率β４，β５の和とする。
［０５０７］  また、前記２次元画像生成面ＬＤｎの設置間隔と前記投影面Ｌｊの設定間隔が異なり、２枚の連続した２次元画像生成面ＬＤｎ，ＬＤｎ＋１の間にある投影面Ｌｊの投影点の色情報及び存在確率は、前記投影面Ｌｊと各２次元画像生成面ＬＤｎ，ＬＤｎ＋１の距離の比に応じて分配してもよい。このとき、前記２次元画像生成面ＬＤｎ，ＬＤｎ＋１の間にある投影面Ｌｊの集合を｛Ｌｊ｜ｊ∈Γｎ｝とおくと、前記２次元画像生成面ＬＤｎ上の表示点Ａｎの輝度分配率γｎは、前記各投影点Ｔｊの存在確率βｊを用いて、下記数式９８で与えることができる。
［０５０８］
2004114224.tif 000111
前記数式９８において、ｗｊ，ｎは、投影面Ｌｊの２次元画像生成面ＬＤｎに対する寄与の度合いを表す係数である。
［０５０９］  ここで、例えば、図７７（ｂ）に示すように、２枚の２次元画像生成面ＬＤ１，ＬＤ２の間に、投影面Ｌ１，Ｌ２が設定されている場合を考える。このとき、投影面Ｌ１と前記各表示面ＬＤ１，ＬＤ２の距離がそれぞれＢ１，Ｂ２とすると、前記投影面Ｌ１の前記各２次元画像生成面ＬＤ１，ＬＤ２に対する寄与の度合いをｗ１，１，ｗ１，２は、例えば、下記数式９９で与えられる。
［０５１０］
2004114224.tif 000112
同様に、投影面Ｌ２と前記各２次元画像生成面ＬＤ１，ＬＤ２の距離がそれぞれＢ３，Ｂ４であれば、前記投影面Ｌ２の前記各２次元画像生成面ＬＤ１，ＬＤ２に対する寄与の度合いｗ２，１，ｗ２，２は、下記数式１００で与えられる。
［０５１１］
2004114224.tif 000113
この結果、前記２次元画像生成面ＬＤ１の表示点Ａ１の輝度分配率γ１及び前記表示面ＬＤ２の表示点Ａ２の輝度分配率γ２はそれぞれ、下記数式１０１のようになる。
［０５１２］
2004114224.tif 000114
このように、前記物体の３次元形状を取得するときに、前記投影点列上の各投影点Ｔｊの相関度Ｑｊから前記各投影点Ｔｊに物体の表面が存在する確率（存在確率）βｊを与えた形状を取得し、前記２次元画像生成面ＬＤ上の表示点Ａの輝度分配係数を前記存在確率βｊで与えると、前記投影点列上の各投影点Ｔｊに特徴的な値の相関度Ｑｊを持つ投影点がなく、物体表面の距離の推定に対する信頼性が低い場合、その投影点列上では、前記物体の表面が複数の投影面に曖昧に表現される。そして、前記各投影点Ｔｊの存在確率βから前記２次元画像生成面ＬＤ上の点の輝度分配係数γを決定すると、前記２次元画像生成面に生成された２次元画像を実際の画像表示面に表示し、物体の３次元像を提示したときに、距離の推定に対する信頼性が低く、複数の投影点に前記存在確率βが分散している投影点列上では、前記物体の表面が曖昧に表示される。そのため、前記ＤＦＤに表示した３次元像上のノイズが目立ちにくくなり、観察者の見た目に自然な像を表示することができる。
［０５１３］  以上説明したように、本実施例４−１の画像生成方法によれば、表示する物体の正確な３次元形状を求めなくても、観察者の見た目に自然な３次元像を表示することができる。
［０５１４］  また、前記存在確率βｊを求めるときに、投影点列上で物体の表面が存在する確率の確率密度分布を仮定して、前記相関度Ｑｊから算出した評価基準値νｊの統計処理を行って求めることにより、取得した画像上のノイズによる前記存在確率βｊの信頼性の低下を低減することができる。
［０５１５］  また、本実施例４−１の画像生成方法では、画像上の点（画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色を用いた色情報で表現されたカラー画像を取得し、前記物体の３次元的な形状をする場合を例に挙げて説明したが、本実施例４−１の画像表示方法では、前記カラー画像に限らず、画像上の各点（画素）が輝度（Ｙ），色差（Ｕ，Ｖ）を用いた表現の白黒画像を取得し、前記物体の３次元的な形状を取得することもできる。取得する画像が前記白黒画像の場合、前記色情報に相当する情報として、前記輝度情報（Ｙ）を用いて、本実施例４−１で説明したような手順で３次元形状を取得し、前記２次元画像を生成すればよい。
（実施例４−２）
図７８乃至図８１は、実施例４−２の画像生成方法を説明するための模式図であり、図７８は投影点と対応点の関係を示す図、図７９は投影点の色情報及び存在確率を決定するステップの一例を示すフロー図、図８０及び図８１は存在確率の求め方を説明する図である。
［０５１６］  本実施例４−２の画像生成方法は、基本的な手順の流れは、前記実施例４−１の画像生成方法と同様であり、前記ＤＦＤで表示する複数枚の２次元画像を生成するときには、図６６に示したような、前記ステップ１０１からステップ１０５の処理を行う。本実施例４−２の画像生成方法において、前記実施例４−１の画像生成方法と異なる点は、前記ステップ１０１で、視点が異なる複数枚の画像の代わりに、合焦距離が異なる複数枚の画像を取得し、前記ステップ１０３において、前記合焦距離が異なる画像を用いて、前記物体の３次元形状を取得する点である。
［０５１７］  本実施例４−２の画像生成方法を用いて、例えば、前記ＤＦＤで物体の３次元像を表示するための複数枚の２次元画像を生成するときには、まず、ある視点から合焦距離を変えて撮影した複数枚の画像を取得する。このとき、前記複数枚の画像は、例えば、偏光型二値光学系や可変焦点レンズ等を用いて撮影する。また、取得する画像は、前記実施例４−１と同様でカラー画像であっても良いし、白黒画像であっても良い。次に、前記実施例４−１で説明したように、観察者の視点を設定（ステップ１０２）した後、前記物体の３次元形状を取得するステップ１０３の処理を行う。
［０５１８］  前記ステップ１０３の処理では、前記実施例４−１で説明したように、まず、前記投影面Ｌｊ（ｊ＝１，２，…，Ｍ）及び基準視点Ｒを設定する（ステップ１０３０１，ステップ１０３０２）。そして続けて、前記投影点列や対応点を設定し、前記投影面の情報を格納する配列（領域）を確保する（ステップ１０３０３，ステップ１０３０４）。
本実施例４−２の３次元画像表示方法のように、合焦距離が異なる複数枚の画像を用いて物体の３次元像を表示させる場合、前記ステップ１０３０１で投影面Ｌｊを設定するときには、例えば、図７８に示すように、前記カメラの視点Ｃからの距離が前記カメラで撮影した画像の合焦距離ｆｉ（ｉ＝１，２，…，Ｎ）と一致するように設定する。そして、前記ステップ１０３０３では、前記投影点Ｔｊに対応する対応点Ｇｉは、前記カメラの視点Ｃから前記投影点Ｔｊを見たときに前記投影点Ｔｊと重なる画像Ｉｍｇｉ上の点とする。なお、投影点列の設定方法、前記投影点Ｔｊの座標と対応点Ｇｉのディジタル画像座標の対応付けに関しては、前記実施例４−１で説明したのと同様の方法で対応付ければよいので、詳細な説明は省略する。
［０５１９］  また、前記ステップ１０３０４の投影面の情報を格納する領域を確保する処理も、前記実施例４−１で説明した処理と同様の処理を行えばよいので、詳細な説明は省略する。
［０５２０］  次に、前記取得した複数枚の画像を用いて、前記各投影点Ｔｊの色情報及び存在確率の情報を決定する（ステップ１０３０５）。本実施例４−２の３次元画像表示方法でも、前記ステップ１０３０５では、例えば、図７９に示すように、ある投影点列上の各投影点Ｔｊの色情報及び存在確率を決定するという処理を、設定した全ての投影点列に対して繰り返すという２重ループの処理を行う。そこでまず、前記投影点列を初期化する（ステップ１０３０５ａ）。そして次に、前記投影点列上の投影点Ｔｊを初期化し、例えば、ｊ＝１とする（ステップ１０３０５ｂ）。
［０５２１］  次に、前記投影点Ｔｊの色情報を決定する（ステップ１０３０５ｃ）。前記ステップ１０３０５ｃでは、例えば、前記ステップ１０３０３で設定した各対応点Ｇｉの色情報の平均値を前記投影点Ｔｊの色情報Ｋｊに決定する。
［０５２２］  次に、前記投影点Ｔｊと対応する各対応点Ｇｉに写っている物体上の点の焦点の合っている度合い（合焦点度）から、前記投影点Ｔｊの合焦点度Ｑｊを求める（ステップ１０３０５ｊ）。合焦点度は、画像上の点または微小領域での画像のシャープさやボケの程度により決められる。前記合焦点度の算出方法には、前述した通り、Ｄｅｐｔｈ  ｆｒｏｍ  Ｆｏｃｕｓ理論もしくはＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ理論に基づき、様々な方法がある。このとき、前記合焦点度Ｑｊは、例えば、前記各対応点Ｇｉの局所空間周波数の大きさを比較することで求められる。
［０５２３］  前記Ｄｅｐｔｈ  ｆｒｏｍ  Ｆｏｃｕｓ理論もしくはＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ理論は、合焦距離の異なる複数枚の画像を解析し、前記物体の表面形状を計測する方法である。このとき、例えば、前記合焦距離を変えて撮影した画像のうち、最も局所空間周波数が高い画像の合焦距離に相当する距離に前記物体の表面があると推定できる。そこで、前記投影点Ｔｊの合焦点度Ｑｊは、例えば、下記数式１０２で表されるような局所空間周波数の評価関数を用いて算出する。
［０５２４］
2004114224.tif 000115
ここで、ｆは画素の濃淡値、Ｄは正規化のための定数で評価を行う全ての画素数、（−Ｌｃ，−Ｌｒ）−（Ｌｃ，Ｌｒ）及び（ｘｉ，ｙｉ）−（ｘｆ，ｙｆ）はそれぞれ分散評価と平滑化を行うための小領域である。
［０５２５］  なお、前記数式１０２は前記合焦点度Ｑｊの求め方の一例であり、前記数式１０２以外の数式を用いて前記合焦点度Ｑｊを求めてもよい。
［０５２６］  前記ステップ１０３０５ｊにより、前記合焦点度Ｑｊを求めたら、前記投影点Ｔｊを更新し、処理の対象となっている投影点列上の全ての投影点で、前記ステップ１０３０５ｃ及びステップ１０３０５ｊの処理を行ったか確認する（ステップ１０３０５ｅ）。ここで、前記ステップ１０３０５ｃ及びステップ１０３０５ｊの処理を行っていない投影点があれば、前記ステップ１０３０５ｃに戻って前記色情報Ｋｊ及び合焦点度Ｑｊを求める。
［０５２７］  処理の対象としている投影点列上の全ての投影点に対して、前記色情報及び合焦点度Ｑｊを求めると、図８０に示すように、投影点列上の各投影点Ｔｊに対して色情報Ｋｊ及び合焦点度Ｑｊが与えられる。このとき、前記各投影点Ｔｊの合焦点度Ｑｊは前記実施例４−１で存在確率βを決定するときに用いた相関度に相当する度合いであり、物体の形状や表面の模様（テクスチャ）、あるいは撮影条件等によっては、投影点列上の各投影点Ｔｊの合焦点度Ｑｊを比較したときに、合焦点度が特徴的な小さな値を持つ投影点がない場合がある。このような場合、前記物体の表面がある１つの投影点上にあると推定しても、その信頼性は低く、推定を誤っている場合がある。そして、推定を誤っている場合、その影響が生成した画像上に大きなノイズとなって現れていた。
［０５２８］  そこで、本発明の３次元画像表示方法では、次に、図８１に示すように、前記投影点列上の各投影点Ｔｊに物体の表面が存在する確率（存在確率）βｊを決定する。このとき、前記存在確率βｊは、前記実施例４−１で説明したように、取得した画像上のノイズによる信頼性の低下を防ぐために、評価基準値νｊに対する統計処理を行ってから決定する（ステップ１０３０５ｆ）。前記ステップ１０３０５ｆで評価基準値νｊを算出するときには、前記評価基準値νｊが、前記数式８７及び数式８８を満たす必要がある。そこで、本実施例４−２では、例えば、下記数式１０３を用いて、投影点Ｔｋの評価基準値νｊを決定する。
［０５２９］
2004114224.tif 000116
なお、前記評価基準値νｊは、基本的には前記数式８７及び数式８８の条件を満たしていればよい。そのため、前記評価基準値νｊは、前記数式９７以外の数式を用いて決定してもよい。
［０５３０］  前記ステップ１０３０５ｆで評価基準値νｊを算出したら、次に、前述のような手順でパラメータフィッティングを行い、図８１に示したように、前記各投影点Ｔｊの存在確率βｊを決定する（ステップ１０３０５ｇ，１０３０５ｈ）。
［０５３１］  前記ステップ１０３０５ｈにより、前記各投影点Ｔｊの存在確率βｊを決定したら、前記各投影点Ｔｊの色情報Ｋｊ及び存在確率βｊを、前記ステップ１０３０４で確保した領域に格納する。
［０５３２］  記各投影点Ｔｊの色情報Ｋｊ及び存在確率βｊを格納したら、前記投影点列を更新し、前記ステップ１０３０３で決定した全ての投影点列で、前記ステップ１０３０５ｃからステップ１０３０５ｈまでの処理を行ったか確認する（ステップ１０３０５ｉ）。ここで、前記ステップ１０３０５ｃからステップ１０３０５ｈまでの処理を行っていない投影点列があれば、前記ステップ１０３０５ｂに戻って前記ステップ１０３０５ｃからステップ１０３０５ｈまでの処理を繰り返す。
［０５３３］  こうして、前記ステップ１０３０３で決定した全ての投影点列に対して、前記ステップ１０３０５ｃからステップ１０３０５ｈまでの処理を行うと、前記ステップ１０３０５の処理が終了し、前記物体の３次元的な形状が得られる。そして、前記ステップ１０３の処理により前記物体の３次元的な形状を取得したら、前記実施例４−１と同様の手順で、前記取得した物体の３次元形状に基づいて、前記２次元画像生成面ＬＤ上の表示点Ａの色情報及び輝度分配係数γを決定し、ＤＦＤのような複数の重なり合った画像表示面に表示する２次元画像を生成し（ステップ１０４）、生成した画像を実際の画像表示面に表示（ステップ１０５）すれば、前記物体の３次元像を提示することができる。
［０５３４］  本実施例４−２の３次元画像表示方法も、前記実施例４−１の３次元画像表示方法と同様に、取得した前記物体の３次元形状において、前記投影点列上の各投影点Ｔｊに特徴的な値の合焦点度Ｑｊを持つ投影点がなく、物体表面の距離の推定に対する信頼性が低い場合、その投影点列上では、前記物体の表面が複数の投影面に曖昧に表現される。そして、前記各投影点Ｔｊの存在確率βから前記２次元画像生成面ＬＤ上の点の輝度分配係数γを決定すると、前記２次元画像生成面に生成された２次元画像を実際の画像表示面に表示し、物体の３次元像を提示したときに、距離の推定に対する信頼性が低く、複数の投影点に前記存在確率βが分散している投影点列上では、前記物体の表面が曖昧に表示される。そのため、前記ＤＦＤに表示した３次元像上のノイズが目立ちにくくなり、観察者の見た目に自然な像を表示することができる。
［０５３５］  以上説明したように、本実施例４−２の３次元画像表示方法によれば、前記実施例４−１と同様に、物体の正確な３次元形状を求めなくても、見た目に自然な３次元形状を表示することができる。
［０５３６］  また、本実施例４−２の画像生成方法の場合も、取得する画像はカラー画像、白黒画像のどちらでもよく、白黒画像の場合は、前記色情報に相当する情報として、輝度情報（Ｙ）を用いて、本実施例４−２で説明したような処理を行えばよい。
（実施例４−３）
図８２乃至８４は、本発明による実施例４−３の任意視点画像生成方法を説明するための模式図であり、図８２は全体的な処理手順の一例を示すフロー図、図８３はレンダリングの原理を説明する図である。図８４（ａ）及び図８４（ｂ）は存在確率を透明度に変換する処理手順の一例を示すフロー図である。
［０５３７］  前記実施例４−１及び実施例４−２では、前記ステップ１０３で取得した前記被写体の３次元形状を用いて、前記ＤＦＤのように複数の画像表示面を有する装置の前記各画像表示面で表示する２次元画像を生成する方法を例に挙げたが、前記被写体の３次元形状モデルは、これに限らず、任意の視点から見た前記被写体の２次元画像を生成するときにも用いることができる。このとき、前記実施例４−１及び前記実施例４−２と異なるのは、図８２に示したように、前記ステップ１０３の後、レンダリング、すなわち前記被写体の３次元形状を前記観察者の視点から見た２次元画像にするステップ１０６を行う点である。このとき、前記ステップ１０１からステップ１０３で前記被写体の３次元形状を取得する処理は前記実施例４−１及び実施例４−２で説明しているとおりなので、詳細な説明は省略する。
［０５３８］  また、本実施例４−３の任意視点画像生成方法において、レンダリングをするステップ１０６は、例えば、図８３に示すように、前記表示する任意視点画像上の各点（画素）の色情報は、前記観察者の視点Ｐから見て、前記任意視点画像上の点Ａと重なる投影点Ｔｊ（ｊ＝１，２，…，Ｍ）の色情報Ｋｊを混合処理して決定する。透明度αｊを用いた色情報の混合処理については、第２の実施の形態における実施例２−２等で説明した通りである。
［０５３９］  本実施例４−３の任意視点画像の生成方法でも、例えば、図８４（ａ）に示すように、前記存在確率βｊを決定するステップ１０３０５ｈの後、前記存在確率νｊを透明度αｊに変換する処理を行う（ステップ１０７）。
［０５４０］  前記存在確率νｊを透明度αｊに変換する処理は、例えば、図８４（ｂ）に示すように、  まず、投影点Ｔｊを初期化してｊ＝Ｍとする（ステップ１０７ａ）。次に、前記投影点ＴＭの透明度αＭをαＭ＝βＭとする（ステップ１０７ｂ）。
［０５４１］  次に、変数ｊの値をｊ＝ｊ−１に更新する（ステップ１０７ｃ）。そして、透明度αｊ＋１が１か否かを判別する（ステップ１０７ｄ）。ここで、透明度αｊ＋１がαｊ＋１≠１であれば、例えば、下記数式１０４から前記透明度αｊを求める（ステップ１０７ｅ）。
［０５４２］
2004114224.tif 000117
また、前記透明度αｊ＋１が１である場合は、例えば、αｊ＝１とする（ステップ１０７ｆ）。なお、前記ステップ１０７ｅで前記透明度αｊを求めるときには、前記数式１０４に限らず、他の数式を用いて求めてもよい。また、詳細な説明は省略するが、前記ステップ１０７ｅにおいても、実際には、αｊを任意の値にすることができるので、１以外の値にしてもよい。
［０５４３］  次に、前記ステップ１０７ｄからステップ１０７ｆの処理を変数ｊ＝１まで行ったか判別する（ステップ１０７ｇ）。ここで、処理がまだ済んでいなければ、前記ステップ１０７ｃに戻って、処理を繰り返す。
［０５４４］  前記ステップ１０７ｄからステップ１０７ｆの処理を変数ｊ＝１まで行ったら、前記観察者視点Ｐから見て画像面上の点Ａと重なる投影点Ｔｊの前記存在確率νｊを透明度αｊに変換する処理が終了する。その後、前記レンダリングのステップ１０４において、前記数式６２及び数式６３を用いた混合処理を行い、任意視点画像上の点Ａの色情報ＤＭを求める。そして、この処理を、前記任意視点画像上の全ての点（画素）について行えば、前記観察者の視点Ｐから任意視点画像が得られる。
［０５４５］  また、本実施例４−３の画像生成方法の場合も、取得する画像はカラー画像、白黒画像のどちらでもよく、白黒画像の場合は、前記色情報に相当する情報として、輝度情報（Ｙ）を用いて、前記実施例４−１で説明したような処理を行って物体の３次元形状を取得した後、本実施例４−３で説明したような手順で仮想視点画像を生成すればよい。
［０５４６］  （実施例４−４）
図８５乃至図８９は、本発明による実施例４−４の画像生成装置の概略構成を示す模式図であり、図８５及び図８６は装置の構成を示すブロック図、図８７乃至図８８は画像生成装置を用いた画像表示システムの構成例を示す図である。
図８５及び図８６において、２は３次元画像生成装置、２０１は被写体画像取得手段、２０２は観察者視点設定手段、２０３は投影面等設定手段、２０４はテクスチャ配列確保手段、２０５は色情報／存在確率決定手段、２０６は投影面情報−表示面情報変換手段、２０７は画像出力手段、２０８はレンダリング手段、３は画像表示手段、４は被写体画像撮影手段、５は視点情報入力手段である。
［０５４７］  本実施例４−４の画像生成装置２は、前記実施例４−１及び実施例４−２で説明したような手順で物体の３次元的な形状を取得し、ＤＦＤのような複数の重なった画像表示面を持つ画像表示手段３の各画像表示面に表示する２次元画像や、任意の視点から見た前記物体の画像を生成する装置である。このとき、前記ＤＦＤで表示する画像を生成する装置の場合、例えば、図８５に示すように、撮影条件が異なる複数枚の被写体画像を取得する被写体画像取得手段２０１と、生成する画像を見る観察者の視点を設定する観察者視点設定手段２０２と、存在確率を決定するための投影面，投影点，対応点を設定する投影面等設定手段２０３と、投影面上の点（投影点）の色情報及び存在確率を格納するテクスチャ配列を確保するテクスチャ配列確保手段２０４と、前記投影点の色情報及び前記投影点に物体の表面が存在する確率（存在確率）を決定する色情報／存在確率決定手段２０５と、前記投影点の色情報及び存在確率の情報を前記画像表示面に表示する２次元画像上の点の色情報及び存在確率に変換する投影面情報−表示面情報変換手段２０６と、画像出力手段２０７とを備える。このとき、前記画像出力手段２０７から出力された画像は、例えば、ＤＦＤのように、複数の重なり合う画像表示面を備える画像表示手段３で表示される。
［０５４８］  また、実施例４−３で説明したように、前記任意の視点から見た前記物体の画像を生成する装置の場合、図８６に示すように、前記投影面情報−表示面情報変換手段２０６の代わりに、レンダリング手段２０８を備える。また、図示は省略するが、前記投影面情報−表示面情報変換手段２０６及び前記レンダリング手段２０８の両方を備え、観察者からの命令に応じて、どちらかの手段で指定された画像を生成するような構成になっていても良い。
［０５４９］  また、前記被写体画像取得手段２０１は、被写体画像撮影手段４で撮影された被写体（物体）の画像を取得する。このとき、前記被写体画像撮影手段４は、例えば、複数の視点にカメラが設置された撮影手段であってもよいし、１つの視点から焦点位置の異なる画像を撮影できる撮影手段であってもよい。またこのとき、前記被写体画像撮影手段４で、１つの視点から焦点位置の異なる画像を撮影する場合は、例えば、偏光型二値光学系（例えば、文献１２を参照）や、可変焦点レンズ（例えば、文献１３を参照）を用いればよい。また、その他にも、焦点位置が異なる複数枚のレンズを高速で切り替えて撮影してもよい。
［０５５０］  また、前記観察者視点設定手段２０２は、例えば、観察者が、マウスやキーボード等の視点情報入力手段５を用いて入力した情報に基づいて、前記観察者の視点から前記画像表示手段３の画像表示面までの距離等を設定する。また、前記視点情報入力手段５は、前記観察者の姿勢や視線を検知して、その姿勢や視線に応じた情報を入力する手段であってもよい。
［０５５１］  また、前記投影面等設定手段２０３は、前記実施例４−１及び実施例４−２で説明したように、例えば、互いに平行な投影面Ｌｊ，投影点列，対応点等を設定する。
［０５５２］  また、前記テクスチャ配列確保手段２０４は、前記実施例４−１及び実施例４−２で説明したように、投影面上の投影点Ｔｊの色情報及び存在確率βｊを格納する領域を、例えば、装置内に設けられたメモリ上に確保する。
［０５５３］  また、前記色情報／存在確率決定手段２０５は、前記実施例４−１及び実施例４−２で説明したように、前記投影点Ｔｊと対応する画像上の対応点Ｇから色情報を決定するとともに、前記投影点Ｔｊに物体の表面が存在する確率βｊを決定する。
［０５５４］  また、前記投影面情報−表示面情報変換手段２０７では、前記実施例４−１で説明したように、前記投影面の色情報及び存在確率を、前記画像表示手段の各画像表示面に表示する２次元画像上の点（表示点）の色情報及び輝度分配率に変換する。また、前記投影面情報−表示面情報変換手段２０６の代わりに、前記レンダリング手段２０８を備える場合、前記実施例４−３で説明したように、前記数式５９、または数式６２及び数式６３の関係に基づいて生成する画像上の各点の色情報を決定する。
［０５５５］  本実施例４−４の画像生成装置２は、例えば、前記実施例４−１及び実施例４−２で説明したような手順で前記ＤＦＤに表示する画像を生成する。すなわち、前記３次元画像生成装置２では、従来のような物体の正確な３次元形状を求める処理を行わなくてよい。そのため、高い処理能力がない装置でも、前記ＤＦＤに表示する画像を高速に、かつ、容易に生成することができる。
［０５５６］  また、本実施例４−４の画像生成装置２は、例えば、コンピュータと前記コンピュータに実行させるプログラムによっても実現することができる。その場合、前記実施例４−１で説明した処理手順、もしくは前記実施例４−２で説明した処理手順に相当する命令が記述されたプログラムを前記コンピュータに実行させればよい。またこのとき、前記プログラムは、例えば、磁気的，電気的，光学的な記録媒体に記録して提供してもよいし、インターネット等のネットワークを利用して提供してもよい。
［０５５７］  また、本実施例４−４の画像生成装置２を用いた画像表示システムは、例えば、図８７に示すような構成が考えられる。このとき、前記被写体画像撮影手段４は、観察者Ｕｓｅｒが前記画像表示手段（ＤＦＤ）３を観察している空間に近い場所に設置されていてもよいし、地理的に遠隔な場所に設置されていてもよい。前記被写体画像撮影手段４が地理的に遠隔な場所に設置されている場合、撮影した画像は、インターネット等のネットワークを利用して、前記３次元画像生成装置２に転送すればよい。
［０５５８］  また、本実施例４−４の画像生成装置２を用いた画像表示システムは、図８７に示したように、ある観察者Ｕｓｅｒが、ある被写体Ｏｂｊを観察する場合だけでなく、テレビ電話やテレビ会議といった双方向の通信システムに適用することもできる。その場合、例えば、図８８に示すように、各観察者ＵｓｅｒＡ，ＵｓｅｒＢがいる空間のそれぞれに、３次元画像生成装置２Ａ，２Ｂ、画像表示手段（ＤＦＤ）３Ａ，３Ｂ、被写体画像撮影手段４Ａ，４Ｂ、基準視点設定手段５Ａ，５Ｂを設置すればよい。そして、例えば、前記各観察者ＵｓｅｒＡ，ＵｓｅｒＢがいる空間に設置された画像生成装置２Ａ，２Ｂを、インターネット等のネットワーク６で接続しておけば、観察者ＵｓｅｒＡは、被写体画像撮影手段４Ｂで撮影された画像から生成した観察者ＵｓｅｒＢの３次元像を前記画像表示手段３Ａで観察することができる。同様に、観察者ＵｓｅｒＢは、被写体画像撮影手段４Ａで撮影された画像から生成した観察者ＵｓｅｒＡの３次元像を前記画像表示手段３Ｂで観察することができる。
［０５５９］  また、このような双方向の通信システムに適用する場合、前記各画像生成手段２Ａ，２Ｂが、図８８に示したような構成になっている必要はなく、前記画像生成装置２Ａ，２Ｂのどちらかは、図８６に示したような構成手段を備えていない一般的な通信端末であってもよい。また、図８６に示したような各構成手段が、前記画像生成装置２Ａ，２Ｂに割り振られていてもよい。
［０５６０］  また、図８８に示したように、ネットワーク６上に他の画像生成装置２Ｃが設けられていれば、前記観察者ＵｓｅｒＡ，ＵｓｅｒＢがいる空間に、前記画像生成装置２Ａ，２Ｂが設置されていなくても、前記ネットワーク６上の画像生成装置２Ｃを利用して、前記画像表示手段（ＤＦＤ）３Ａ，３Ｂで表示する物体の３次元像を取得することができる。
［０５６１］  また、図８７及び図８８では、前記被写体画像撮影手段４は、カメラが複数個設けられているシステムを示しているが、前記実施例４−２で説明したように、合焦距離が異なる画像から物体の３次元的な形状を取得するときは、例えば、図８９に示すように、表示画像を生成するときには、カメラが１つであってもよい。
［０５６２］  以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
［０５６３］  例えば、前記実施例４−１では、視点が異なる画像から物体の３次元像を表示する方法について説明し、前記実施例４−２では、合焦距離が異なる画像から物体の３次元像を表示する方法について説明したが、これらの方法を組み合わせて物体の３次元像を表示させてもよい。その場合、ある投影点Ｔｊについて、視点が異なる画像の対応点から相関度を求め、ある視点から焦点位置を変えた画像の対応点から局所空間周波数を求め、それらを組み合わせて存在確率βｊを求める。こうすると、前記存在確率βｊの信頼性が高くなり、観察者の見た目により自然な画像を表示することができる。
［０５６４］  （第４の実施の形態の効果）
第４の実施の形態の画像生成方法では、前記被写体の３次元形状を取得するときに、前述のように、複数の投影面を設定し、前記基準視点から見て重なり合う前記各投影面上の点（投影点）に対して、前記各投影点上に前記被写体の表面が存在する確率（存在確率）を与える。すなわち、従来の３次元形状を取得する方法のように、前記基準視点から見て重なり合う投影点のうちの１つの投影点上に物体の表面が存在すると考えず、前記各投影点上に、ある確率で前記被写体の表面が存在すると考える。また、前記存在確率を決定するときに、前記各投影点の相関度あるいは合焦点度から算出した評価基準値を統計処理した後、前記統計処理をした評価基準値から前記各投影点の存在確率を生成する。このとき、前記統計処理は前記被写体の確率分布モデルを仮定して、前記各投影点の評価基準値のフィッティング関数を求め、そこから、前記各投影点の存在確率を決定する。
［０５６５］  このようにすると、前記基準視点からある方向を見たときに、被写体の表面がどの距離（投影点）にあるか推定するときの信頼性が低い場合でも、実際に前記被写体の表面が存在する距離に相当する投影点上に、ある確率で前記被写体の表面が存在する。そのため、前記手順で取得した被写体の３次元形状に基づいて、前記観察者の視点から見た前記被写体の画像を生成することにより、従来の方法で距離の推定を誤ったときに生じるような不連続なノイズが目立ちにくくなる。また、前記評価基準値の統計処理をして存在確率を決定することで、前記取得した画像のノイズの影響による前記存在確率の信頼性の低下を低減することができる。
［０５６６］  また、本実施の形態によれば、一般に普及しているパーソナル・コンピュータのように、処理性能が低い装置でも、高速で前記各２次元画像を生成することが可能になる。
［０５６７］  ［第５の実施の形態］
次に本発明の第５の実施の形態について説明する。第５の実施の形態は、主に請求項４４〜請求項５３に対応する実施の形態である。第５の実施の形態では、互いに異なる撮影条件で被写体を撮影した複数枚の画像から前記被写体の３次元形状を取得し、取得した前記被写体の３次元形状に基づいて、ＤＦＤのように複数の表示面を備えるディスプレイに前記被写体の３次元像を表示する。なお、第５の実施の形態では、第４の実施の形態で説明したパラメータフィッティングの処理は行っていない。なお、第５の実施の形態を説明するための図において、同一機能を有するものは、同一符号を付ける。
［０５６８］  前記被写体の３次元形状を取得するときには、仮想的な３次元空間上に多層構造の投影面を設定し、観察者の視点から見て重なり合う複数の投影面上の点（投影点）について、前記各投影点の色情報または輝度情報、及び前記投影点上に被写体の表面が存在する確率（存在確率）を決定する。そして、取得した前記被写体の３次元形状に基づいて、前記複数の表示面に表示する２次元画像を生成するときに、前記投影点の色情報または輝度情報を割り当てる２次元画像上の点に、前記色情報または輝度情報、及び存在確率を割り当て、前記画像表示面に表示するときに、２次元画像上の各点を前記存在確率の高さに応じた輝度で表示する。こうすることで、前記被写体の表面の距離に関する推定の信頼性が低い部分を曖昧に表示し、観察者の見た目に自然な３次元像を提示する。
［０５６９］  （実施例５−１）
図９０乃至図１００は、本発明による実施例５−１の３次元画像表示方法を説明するための模式図であり、図９０は全体的な処理手順の一例を示すフロー図、図９１及び図９２は投影面の設定方法の一例を示す図、図９３は投影点列の設定方法を説明する図、図９４は投影点の色情報及び存在確率を決定するステップの処理手順の一例を示すフロー図、図９５乃至図９７は存在確率の決定方法を説明する図、図９８乃至図１００は各画像表示面で表示する２次元画像の生成方法を説明する図である。
［０５７０］  本実施例５−１の３次元画像表示方法は、例えば、図９０に示すように、異なる視点から物体を撮影した複数枚の画像を取得するステップ１０１と、表示する物体の３次元像を観察する観察者の視点（基準視点）を設定するステップ１０２と、前記複数枚の画像から前記物体の３次元形状を取得するステップ１０３と、前記ステップ１０３で取得した前記物体の３次元形状に基づいて、各画像表示面に表示する２次元画像を生成するステップ１０４と、前記ステップ１０４で生成した各２次元画像を前記各画像表示面に表示して前記物体の３次元像を提示するステップ１０５とを有する。
［０５７１］  本実施例５−１の３次元画像表示方法を用いて、前記ＤＦＤに物体の３次元像を表示するときには、まず、異なる視点から前記物体を撮影した画像を取得する（ステップ１０１）。このとき、前記取得する画像を撮影する視点は、例えば、直線状に一列に並んでいても良いし、円弧状または任意の曲線上、あるいは平面または曲面上に２次元的に並んでいても良い。またこのとき、取得する画像は、カラー画像であっても、白黒画像であってもよいが、本実施例５−１では、画像上の各点（画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色を用いた色情報で表現されるカラー画像を取得するとして説明する。
［０５７２］  前記ステップ１０１で画像を取得したら、次に、前記ＤＦＤに表示される物体を観察する観察者の視点を設定する（ステップ１０２）。このとき、前記観察者の視点は、例えば、前記複数の画像表示面のうちの基準となる画像表示面からの距離等の前記観察者の視点と前記画像表示面の相対的な位置関係や、視線の方向等を設定する。
［０５７３］  前記ステップ１０２で観察者の視点を設定したら、次に、前記ステップ１０１で取得した複数枚の画像から、前記画像に写っている物体の３次元形状を取得する（ステップ１０３）。前記ステップ１０３では、まず、多層構造の投影面Ｌｊ（ｊ＝１，２，…，Ｍ）を設定する（ステップ１０３０１）。そして次に、前記物体の３次元形状を取得するための基準視点Ｒを設定する（ステップ１０３０２）。このとき、前記投影面Ｌｊは、例えば、図９１に示すように、仮想的な３次元空間上のＸＹ平面と平行な面を複数枚設定する。またこのとき、前記各投影面Ｌｊは、例えば、図９２に示すように、前記３次元空間上のＺ＝０から負の方向の距離ｌｊに設定する。また、前記基準視点Ｒは、前記物体の３次元形状を取得するための視点であり、３次元空間上の任意の点に設定することができる。そこで、前記基準視点Ｒは、前記ステップ１０２で設定した観察者の視点とし、例えば、前記Ｚ＝０から最も遠い投影面Ｌ１を、前記ＤＦＤの観察者から見て最も奥にある画像表示面として、図９２に示すように、前記投影面Ｌ１からの距離が、前記観察者の視点から前記ＤＦＤの最も奥にある画像表示面までの距離ｌｄとなるように設定する。
［０５７４］  前記ステップ１０３０１及びステップ１０３０２で前記投影面Ｌｊ及び基準視点Ｒを設定したら、次に、前記投影面上の投影点、及び前記各投影点と対応する前記取得した画像上の点（対応点）等を設定する（ステップ１０３０３）。このとき、前記投影点は、例えば、図９３に示すように、前記基準視点Ｒから複数の方向に直線を引き、前記各直線と前記各投影面Ｌｊの交点に設定する。また、前記被写体の表面の距離を推定するときには、前記同一直線上にある複数の投影点Ｔｊに対して、どの投影点上に存在するか推定するので、図９３に示したように、同一直線上にある投影点Ｔｊを投影点列Ｓとしてひとまとめに扱う。
［０５７５］  また、前記対応点は、図９１及び図９２に示したように、前記投影点Ｔｊから前記各カメラの視点Ｃｉを見たときに、前記カメラの視点と重なる前記各カメラの画像面上の点Ｇｉｊである。このとき、図９１に示したように、前記各画像面上に２次元の座標系（ｘｙ座標系）を設定すると、前記投影点Ｔｊ（Ｘｊ，Ｙｊ，Ｚｊ）と対応する対応点Ｇｉｊの２次元座標（ｘｉｊ，ｙｉｊ）は、前記投影点Ｔｊを各画像面上の２次元の点に射影することで求められる。この射影は、一般的な、３次元空間上の点（Ｘ，Ｙ，Ｚ）を２次元平面上の点（ｘ，ｙ）に射影する３行４列の射影行列を用いて行えばよい。また、仮想的な３次元空間内での前記対応点Ｇｉｊの座標（ｘｉｊ，ｙｉｊ）と、前記ディジタル画像座標（ｕ，ｖ）との関係は他の実施の形態で説明したものと同様である。
［０５７６］  前記ステップ１０３０３では、前記対応点Ｇｉｊのディジタル画像座標（ｕｉｊ，ｖｉｊ）と前記投影点Ｔｊの３次元空間座標（Ｘｊ，Ｙｊ，Ｚｊ）の対応関係を設定する。この対応関係は、全ての（ｕｉｊ，ｖｉｊ）に対して（Ｘｊ，Ｙｊ，Ｚｊ）の値をテーブルとして設定してもよいし、代表的な（ｕｉｊ，ｖｉｊ）に対してのみ（Ｘｊ，Ｙｊ，Ｚｊ）の値を設定し、その他の点は、例えば、線形補完等の補完処理で求めてもよい。
［０５７７］  また、前記ディジタル画像座標系では（ｕ，ｖ）は離散値をとるが、以下の説明では断りのない限り連続値をとることとし、前記２次元配列へアクセスするときに適当な離散化処理を行うものとする。
［０５７８］  前記ステップ１０３０３で前記投影点列、対応点等を決定したら、次に、前記投影面Ｌｊの情報、すなわち前記投影面Ｌｊにテクスチャマッピングする画像を格納する配列を確保する。（ステップ１０３０４）。このとき、確保する配列は、前記投影点Ｔｊの位置に対応するテクスチャ情報として、画素毎に色情報（Ｒ，Ｇ，Ｂ）及び存在確率の情報を、例えば、８ビットずつ持たせる。
［０５７９］  前記ステップ１０３０４で前記投影面の情報を格納する配列を確保したら、次に、各投影点Ｔｊの色情報及び存在確率を決定する（ステップ１０３０５）。前記ステップ１０３０５では、例えば、図９４に示すように、ある投影点列上の各投影点Ｔｊの色情報及び存在確率を決定するという処理を、設定した全ての投影点列に対して繰り返すという２重ループの処理を行う。そこでまず、前記投影点列を初期化する（ステップ１０３０５ａ）。そして次に、前記投影点列上の投影点Ｔｊを初期化し、例えば、ｊ＝１とする。（ステップ１０３０５ｂ）。
［０５８０］  次に、前記投影点Ｔｊの色情報を決定する（ステップ１０３０５ｃ）。前記ステップ１０３０５ｃでは、例えば、前記ステップ１０３０３で設定した各対応点Ｇｉの色情報Ｋｉの平均値を前記投影点Ｔｊの色情報Ｋｊに決定する。
［０５８１］  次に、前記投影点Ｔｊと対応する各対応点Ｇｉｊ（ｉ∈Ｉ）に写っている物体上の点の相関度Ｑｊを求める（ステップ１０３０５ｄ）。このとき、前記相関度Ｑｊは、例えば、前記投影点Ｔｊの色情報を表すベクトルをＫｊ、各対応点Ｇｉｊの色情報を表すベクトルをＫｉｊとおくと、第４の実施の形態と同様に、下記数式１０５により求める。
［０５８２］
2004114224.tif 000118
前記数式１０５を用いて相関度Ｑｊを求めた場合、前記相関度Ｑｊは、常に正の値をとり、かつ、相関が高いほど値が小さくなる。
［０５８３］  なお、前記数式１０５は前記相関度Ｑｊの求め方の一例であり、前記数式１０５以外の数式を用いて前記相関度Ｑｊを求めてもよい。また、前記相関度Ｑｊを求めるときには、前記投影点Ｔｊと前記対応点Ｇｉｊの１点だけでなく、前記投影点Ｔｊ及び前記対応点Ｇｉｊの近傍にある複数の点を含めた小領域を考えて求めてもよい。
［０５８４］  前記ステップ１０３０５ｄにより、前記相関度Ｑｊを求めたら、前記投影点Ｔｊを更新し、処理の対象となっている投影点列上の全ての投影点で、前記ステップ１０３０５ｃ及びステップ１０３０５ｄの処理を行ったか確認する（ステップ１０３０５ｅ）。ここで、前記ステップ１０３０５ｃ及びステップ１０３０５ｄの処理を行っていない投影点があれば、前記ステップ１０３０５ｃに戻って前記色情報Ｋｊ及び相関度Ｑｊを求める。
［０５８５］  処理の対象としている投影点列上の全ての投影点に対して、前記色情報及び相関度Ｑｊを求めると、図９５に示すように、投影点列上の各投影点Ｔｊに対して色情報Ｋｊ及び相関度Ｑｊが与えられる。このとき、前記各投影点Ｔｊの相関度Ｑｊを比較すると、一般的には、図９６（ａ）に示すように、ある投影点Ｔｍの相関度Ｑｍだけが特徴的な小さな値をとる。このような場合、その投影点列投上では、前記物体の表面が前記投影点Ｔｍ上にあると推定でき、その信頼性も高い。
［０５８６］  しかしながら、これまでの実施の形態においても説明した通り、物体の形状や表面の模様（テクスチャ）、あるいは撮影条件等によっては、投影点列上の各投影点Ｔｊの相関度Ｑｊを比較したときに、図９６（ｂ）に示すように、相関度が特徴的な小さな値を持つ投影点がない場合がある。このような場合、前記物体の表面がある１つの投影点上にあると推定しても、その信頼性は低く、推定を誤っている場合がある。そして、推定を誤っている場合、その影響が生成した画像上に大きなノイズとなって現れていた。
［０５８７］  そこで、本発明の３次元画像表示方法では、次に、前記投影点列上の各投影点Ｔｊに物体の表面が存在する確率（存在確率）βｊを決定する（ステップ１０３０５ｆ）。このとき、前記存在確率βｊは、下記数式１０６及び数式１０７を満たす必要がある。
［０５８８］
2004114224.tif 000119
［０５８９］
2004114224.tif 000120
さらに、前記投影点Ｔｊに物体の表面が存在する確率が高いほど前記存在確率βｊが１に近い値をとるようにすると、前記投影点列上の各投影点Ｔｊに対して求めた相関度Ｑｊに対し、例えば、下記数式１０８及び数式１０９で表される変換処理を行って前記存在確率βｊ（ｊ∈Ｊ）を決定すればよい。
［０５９０］
2004114224.tif 000121
［０５９１］
2004114224.tif 000122
なお、前記存在確率βｊは、基本的には前記数式１０６及び数式１０７の条件を満たしていればよい。そのため、前記変換処理は、前記数式１０８及び数式１０９以外の数式を用いて決定してもよい。
［０５９２］  前記ステップ１０３０５ｆにより、前記各投影点Ｔｊの存在確率βｊを決定したら、前記各投影点Ｔｊの色情報Ｋｊ及び存在確率βｊを、前記ステップ１０３０４で確保した領域に格納する。
［０５９３］  記各投影点Ｔｊの色情報Ｋｊ及び存在確率βｊを格納したら、前記投影点列を更新し、前記ステップ１０３０３で決定した全ての投影点列で、前記ステップ１０３０５ｃからステップ１０３０５ｆまでの処理を行ったか確認する（ステップ１０３０５ｇ）。ここで、前記ステップ１０３０５ｃからステップ１０３０５ｆまでの処理を行っていない投影点列があれば、前記ステップ１０３０５ｂに戻って前記ステップ１０３０５ｃからステップ１０３０５ｆまでの処理を繰り返す。
［０５９４］  こうして、前記ステップ１０３０３で決定した全ての投影点列に対して、前記ステップ１０３０５ｃからステップ１０３０５ｆまでの処理を行うと、前記ステップ１０３０５の処理が終了し、前記物体の３次元的な形状が得られる。
［０５９５］  前記ステップ１０３の処理を行うと、例えば、図９７に示すように、ある投影点列上の各投影点Ｔｊ（ｊ＝１，２，…，Ｍ）のテクスチャ配列には色情報Ｋｊ及び存在確率βｊが保持されている。つまり、本発明の３次元画像表示方法で取得する物体の３次元形状は、従来の方法のように前記投影点列上のある１つの投影点に物体の表面が存在するのではなく、前記各投影点に存在する。本発明の３次元画像表示方法では、このような物体の３次元形状を用いて、前記複数の画像表示面のそれぞれに表示する２次元画像を生成する（ステップ１０４）。
［０５９６］  前記ステップ１０４で、前記各画像表示面に表示する２次元画像を生成するときには、まず、前記仮想的な３次元空間上に観察者の視点、複数枚の２次元画像生成面、前記ステップ１０３で取得した前記物体の３次元形状を設定する。このとき、前記２次元画像生成面ＬＤｎ（ｎ＝１，２，…，Ｎ）は、例えば、図９８に示すように、前記観察者の視点Ｐから見て奥行き方向に重なるように設定する。また、前記観察者の視点Ｐから前記各２次元画像生成面ＬＤｎまでの距離ｌｄｎは、前記ステップ１０２で設定された距離になるように設定する。またこのとき、前記物体の３次元形状を表現している投影面Ｌｊの数及び設定間隔が、前記２次元画像生成面ＬＤｎの数及び設定間隔と一致しているとすれば、前記物体の３次元形状は、例えば、図９８に示すように、前記投影面Ｌｊと前記２次元画像生成面ＬＤｎが一致するように設定する。このとき、前記２次元画像生成面ＬＤｎが、輝度変調型ＤＦＤの各画像表示面に表示する画像を生成する面であるとすれば、観察者の視点Ｐから見て重なり合う前記２次元画像生成面ＬＤｎ上の各点（表示点）Ａｎに対して、色情報ＫＤｎ及び存在確率（輝度分配係数）γｎを決定する必要がある。ここで、図９８に示すように、前記物体の３次元形状を表現している投影面Ｌｊと２次元画像生成面ＬＤｎが一致しているのであれば、前記各表示点Ａｎの色情報ＫＤｎは、前記各表示点Ａｎがある２次元画像生成面ＬＤｎと重なっている投影面Ｌｊの投影点Ｔｊの色情報Ｋｊとする。また、前記各表示点Ａｎの輝度分配率γｎは、前記各表示点Ａｎがある２次元画像生成面ＬＤｎと重なっている投影面Ｌｊの投影点Ｔｊの存在確率βｊを割り当てる。このようにして、前記２次元画像生成面ＬＤｎ上の各表示点Ａに対して色情報ＫＤ及び輝度分配係数γを決定したら、その２次元画像生成面ＬＤｎに生成された画像を出力し、実際のＤＦＤの画像表示面で表示する（ステップ１０５）。
［０５９７］  ただし、前記物体の３次元形状を表現する投影面Ｌｊの数及び設定間隔は、前記２次元画像生成面ＬＤｎの数及び設定間隔と一致させる必要はない。そこで次に、投影面Ｌｊの数及び設定間隔と前記２次元画像生成面ＬＤｎの数及び設定間隔が一致していない場合の前記２次元画像の生成方法について説明する。
［０５９８］  このとき、前記観察者の視点Ｐから見て一番手前の投影面から一番奥の投影面までの距離と、一番手前の２次元画像生成面から一番奥の２次元画像生成面までの距離がほぼ等しいのであれば、前記物体の３次元形状を表現する投影面Ｌｊは、例えば、図９９に示すように、前記観察者の視点Ｐから見て一番奥の投影面Ｌ１と２次元画像生成面ＬＤ１が重なるように設定する。こうすると、前記観察者の視点Ｐから見て一番奥の２次元画像生成面ＬＤ１の各表示点Ａの色情報ＫＤ及び輝度分配係数γは、前記観察者の視点Ｐから見て一番奥の投影面Ｌ１上の各投影点Ｔの色情報Ｋ及び存在確率βである。
［０５９９］  また、重なっている投影面がない２次元画像生成面ＬＤ上の各表示点Ａの色情報ＫＤ及び輝度分配係数γに関しては、以下のような方法で決定する。
［０６００］  前記重なっている投影面がない２次元画像生成面ＬＤ上の各表示点Ａの色情報ＫＤ及び輝度分配係数γに関しては、例えば、前記観察者の視点Ｐから見て、前記各表示点Ａと重なる前記各投影面Ｌ上の投影点Ｔの色情報Ｋ及び存在確率βを、前記投影面Ｌから見て最も近い２次元画像生成面ＬＤ上の表示点Ａに割り当てる。このとき、前記表示点Ａの色情報ＫＤは、割り当てられた各投影点Ｔの色情報Ｋの平均値、もしくは前記表示点Ａがある２次元画像生成面ＬＤから見て最も近い投影面Ｌの投影点Ｔの色情報Ｋとする。また、輝度分配係数γに関しては、前記割り当てられた各投影点Ｔの存在確率βの和とする。このとき、ある２次元画像生成面ＬＤｎが最も近い生成面となる投影面Ｌｊの集合を｛Ｌｊ｜ｊ∈Гｎ｝とおくと、前記２次元画像生成面ＬＤｎ上の表示点Ａｎの輝度分配率γｎは、前記各投影面Ｌｊの投影点Ｔｊの存在確率βｊを用いて、下記数式１１０で与えられる。
［０６０１］
2004114224.tif 000123
2004114224.tif 000124
ここで、前記投影面Ｌｊと２次元画像生成面ＬＤｎが、図１００（ａ）に示すような位置関係にある場合を考える。ここで、観察者の視点Ｐから見て表示点Ａ１，Ａ２と重なり合う各投影点Ｔｊ（ｊ＝１，２，３，４，５）の色情報Ｋｊ及び存在確率βｊを、前記各投影面から見て最も近い２次元画像生成面上の表示点Ａに割り当てるとすれば、投影点Ｔ１，Ｔ２，Ｔ３の色情報及び存在確率は、前記表示点Ａ１に割り当てられる。このとき、前記表示点Ａ１の色情報ＫＤ１は、例えば、前記各投影点Ｔ１，Ｔ２，Ｔ３の色情報Ｋ１，Ｋ２，Ｋ３の平均値でも良いし、前記表示点Ａ１からみて最も近い投影点Ｔ２の色情報Ｋ２としても良い。また、前記表示点Ａ１の輝度分配係数γ１は、前記数式１１０を用い、前記各投影点Ｔ１，Ｔ２，Ｔ３の存在確率β１，β２，β３の和とする。
［０６０２］  同様に、前記投影点Ｔ４，Ｔ５の色情報及び存在確率は、２次元画像生成面ＬＤ２に割り当てられ、表示点Ａ２の色情報ＫＤ２は前記投影点Ｔ４，Ｔ５の色情報Ｋ４，Ｋ５の平均値もしくは投影点Ｔ５の色情報Ｋ５とする。そして、輝度分配係数γ２に関しては、前記数式１１０を用いて前記各投影点Ｔ４，Ｔ５の存在確率β４，β５の和とする。
［０６０３］  また、前記２次元画像生成面ＬＤｎの設置間隔と前記投影面Ｌｊの設定間隔が異なり、２枚の連続した２次元画像生成面ＬＤｎ，ＬＤｎ＋１の間にある投影面Ｌｊの投影点の色情報及び存在確率は、前記投影面Ｌｊと各２次元画像生成面ＬＤｎ，ＬＤｎ＋１の距離の比に応じて分配してもよい。このとき、前記２次元画像生成面ＬＤｎ，ＬＤｎ＋１の間にある投影面Ｌｊの集合を｛Ｌｊ｜ｊ∈Гｎ｝とおくと、前記２次元画像生成面ＬＤｎ上の表示点Ａｎの輝度分配率γｎは、前記各投影点Ｔｊの存在確率βｊを用いて、下記数式１１で与えることができる。
［０６０４］
2004114224.tif 000125
2004114224.tif 000126
前記数式１１１において、ｗｊ，ｎは、投影面Ｌｊの２次元画像生成面ＬＤｎに対する寄与の度合いを表す係数である。
［０６０５］  ここで、例えば、図１００（ｂ）に示すように、２枚の２次元画像生成面ＬＤ１，ＬＤ２の間に、投影面Ｌ１，Ｌ２が設定されている場合を考える。このとき、投影面Ｌ１と前記各表示面ＬＤ１，ＬＤ２の距離がそれぞれＢ１，Ｂ２とすると、前記投影面Ｌ１の前記各２次元画像生成面ＬＤ１，ＬＤ２に対する寄与の度合いｗ１，１，ｗ１，２は、例えば、下記数式１１２で与えられる。
［０６０６］
2004114224.tif 000127
同様に、投影面Ｌ２と前記各２次元画像生成面ＬＤ１，ＬＤ２の距離がそれぞれＢ３，Ｂ４とすれば、前記投影面Ｌ２の前記各２次元画像生成面ＬＤ１，ＬＤ２に対する寄与の度合いｗ２，１，ｗ２，２は、下記数式１１３で与えられる。
［０６０７］
2004114224.tif 000128
この結果、前記２次元画像生成面ＬＤ１の表示点Ａ１の輝度分配率γ１及び前記表示面ＬＤ２の表示点Ａ２の輝度分配率γ２はそれぞれ、下記数式１１４のようになる。
［０６０８］
2004114224.tif 000129
このように、前記物体の３次元形状を取得するときに、前記投影点列上の各投影点Ｔｊの相関度Ｑｊから前記各投影点Ｔｊに物体の表面が存在する確率（存在確率）βｊを与えた形状を取得し、前記２次元画像生成面ＬＤ上の表示点Ａの輝度分配係数を前記存在確率βｊで与えると、前記投影点列上の各投影点Ｔｊに特徴的な値の相関度Ｑｊを持つ投影点がなく、物体表面の距離の推定に対する信頼性が低い場合、その投影点列上では、前記物体の表面が複数の投影面に曖昧に表現される。そして、前記各投影点Ｔｊの存在確率βから前記２次元画像生成面ＬＤ上の点の輝度分配係数γを決定すると、前記２次元画像生成面に生成された２次元画像を実際の画像表示面に表示し、物体の３次元像を提示したときに、距離の推定に対する信頼性が低く、複数の投影点に前記存在確率βが分散している投影点列上では、前記物体の表面が曖昧に表示される。そのため、前記ＤＦＤに表示した３次元像上のノイズが目立ちにくくなり、観察者の見た目に自然な像を表示することができる。
［０６０９］  以上説明したように、本実施例５−１の３次元画像表示方法によれば、表示する物体の正確な３次元形状を求めなくても、観察者の見た目に自然な３次元像を表示することができる。
［０６１０］  また、本実施例５−１の画像表示方法では、画像上の点（画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色を用いた色情報で表現されたカラー画像を取得し、前記物体の３次元的な形状をする場合を例に挙げて説明したが、本実施例５−１の画像表示方法では、前記カラー画像に限らず、画像上の各点（画素）が輝度（Ｙ），色差（Ｕ，Ｖ）を用いた表現の白黒画像を取得し、前記物体の３次元的な形状を取得することもできる。取得する画像が前記白黒画像の場合、前記色情報に相当する情報として、前記輝度情報（Ｙ）を用いて、本実施例５−１で説明したような手順で３次元形状を取得し、前記２次元画像を生成すればよい。
［０６１１］  （実施例５−２）
図１０１乃至図１０４は、本発明による実施例５−２の３次元画像表示方法を説明するための模式図であり、図１０１は投影点と対応点の関係を示す図、図１０２は投影点の色情報及び存在確率を決定するステップの一例を示すフロー図、図１０３及び図１０４は存在確率の求め方を説明する図である。
［０６１２］  本実施例５−２の３次元画像表示方法は、基本的な手順の流れは、前記実施例５−１の３次元画像表示方法と同様であり、図９０に示したような、前記ステップ１０１からステップ１０５の処理を行う。本実施例５−２の３次元画像表示方法において、前記実施例５−１の３次元画像表示方法と異なる点は、前記ステップ１０１で、視点が異なる複数枚の画像の代わりに、合焦距離が異なる複数枚の画像を取得し、前記ステップ１０３において、前記合焦距離が異なる画像を用いて、前記物体の３次元形状を取得する点である。
［０６１３］  本実施例５−２の３次元画像表示方法を用いて、前記ＤＦＤに物体の３次元像を表示するときには、まず、ある視点から合焦距離を変えて撮影した複数枚の画像を取得する。このとき、前記複数枚の画像は、例えば、偏光型二値光学系や可変焦点レンズ等を用いて撮影される。また、取得する画像は、前記実施例５−１と同様でカラー画像であっても良いし、白黒画像であっても良い。次に、前記実施例５−１で説明したように、観察者の視点を設定（ステップ１０２）した後、前記物体の３次元形状を取得するステップ１０３の処理を行う。
［０６１４］  前記ステップ１０３の処理では、前記実施例５−１で説明したように、まず、前記投影面Ｌｊ（ｊ＝１，２，…，Ｍ）及び基準視点Ｒを設定する（ステップ１０３０１，ステップ１０３０２）。そして続けて、前記投影点列や対応点を設定し、前記投影面の情報を格納する配列（領域）を確保する（ステップ１０３０３，ステップ１０３０４）。
［０６１５］  本実施例５−２の３次元画像表示方法のように、合焦距離が異なる複数枚の画像を用いて物体の３次元像を表示させる場合、前記ステップ１０３０１で投影面Ｌｊを設定するときには、例えば、図１０１に示すように、前記カメラの視点Ｃからの距離が前記カメラで撮影した画像の合焦距離ｆｉ（ｉ＝１，２，…，Ｎ）と一致するように設定する。そして、前記ステップ１０３０３では、前記投影点Ｔｊに対応する対応点Ｇｉは、前記カメラの視点Ｃから前記投影点Ｔｊを見たときに前記投影点Ｔｊと重なる画像Ｉｍｇｉ上の点とする。なお、投影点列の設定方法、前記投影点Ｔｊの座標と対応点Ｇｉのディジタル画像座標の対応付けに関しては、前記実施例５−１で説明したのと同様の方法で対応付ければよいので、詳細な説明は省略する。
［０６１６］  また、前記ステップ１０３０４の投影面の情報を格納する領域を確保する処理も、前記実施例５−１で説明した処理と同様の処理を行えばよいので、詳細な説明は省略する。
［０６１７］  次に、前記取得した複数枚の画像を用いて、前記各投影点Ｔｊの色情報及び存在確率の情報を決定する（ステップ１０３０５）。本実施例５−２の３次元画像表示方法でも、前記ステップ１０３０５では、例えば、図１０２に示すように、ある投影点列上の各投影点Ｔｊの色情報及び存在確率を決定するという処理を、設定した全ての投影点列に対して繰り返すという２重ループの処理を行う。そこでまず、前記投影点列を初期化する（ステップ１０３０５ａ）。そして次に、前記投影点列上の投影点Ｔｊを初期化し、例えば、ｊ＝１とする。（ステップ１０３０５ｂ）。
［０６１８］  次に、前記投影点Ｔｊの色情報を決定する（ステップ１０３０５ｃ）。前記ステップ１０３０５ｃでは、例えば、前記ステップ１０３０３で設定した各対応点Ｇｉの色情報の平均値を前記投影点Ｔｊの色情報Ｋｊに決定する。
［０６１９］  次に、前記投影点Ｔｊと対応する各対応点Ｇｉに写っている物体上の点の焦点の合っている度合い（合焦点度）から、前記投影点Ｔｊの合焦点度Ｑｊを求める（ステップ１０３０５ｈ）。合焦点度は、画像上の点または微小領域での画像のシャープさやボケの程度により決められる。前記合焦点度の算出方法には、Ｄｅｐｔｈ  ｆｒｏｍ  Ｆｏｃｕｓ理論もしくはＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ理論に基づき、様々な方法がある。このとき、前記合焦点度Ｑｊは、例えば、前記各対応点Ｇｉの局所空間周波数の大きさを比較することで求められる。
［０６２０］  前記Ｄｅｐｔｈ  ｆｒｏｍ  Ｆｏｃｕｓ理論もしくはＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ理論は、合焦距離の異なる複数枚の画像を解析し、前記物体の表面形状を計測する方法である。このとき、例えば、前記合焦距離を変えて撮影した画像のうち、最も局所空間周波数が高い画像の合焦距離に相当する距離に前記物体の表面があると推定できる。そこで、前記投影点Ｔｊの合焦点度Ｑｊは、例えば、下記数式１１５で表されるような局所空間周波数の評価関数を用いて算出する。
［０６２１］
2004114224.tif 000130
ここで、ｆは画素の濃淡値、Ｄは正規化のための定数で評価を行う全ての画素数、（−Ｌｃ，−Ｌｒ）−（Ｌｃ，Ｌｒ）及び（ｘｉ，ｙｉ）−（ｘｆ，ｙｆ）はそれぞれ分散評価と平滑化を行うための小領域である。
［０６２２］  なお、前記数式１１５は前記合焦点度Ｑｊの求め方の一例であり、前記数式１１５以外の数式を用いて前記合焦点度Ｑｊを求めてもよい。
［０６２３］  前記ステップ１０３０５ｈにより、前記合焦点度Ｑｊを求めたら、前記投影点Ｔｊを更新し、処理の対象となっている投影点列上の全ての投影点で、前記ステップ１０３０５ｃ及びステップ１０３０５ｈの処理を行ったか確認する（ステップ１０３０５ｅ）。ここで、前記ステップ１０３０５ｃ及びステップ１０３０５ｈの処理を行っていない投影点があれば、前記ステップ１０３０５ｃに戻って前記色情報Ｋｊ及び合焦点度Ｑｊを求める。
［０６２４］  処理の対象としている投影点列上の全ての投影点に対して、前記色情報及び合焦点度Ｑｊを求めると、図１０３に示すように、投影点列上の各投影点Ｔｊに対して色情報Ｋｊ及び合焦点度Ｑｊが与えられる。このとき、前記各投影点Ｔｊの合焦点度Ｑｊは前記実施例５−１で存在確率βを決定するときに用いた相関度に相当する度合いであり、物体の形状や表面の模様（テクスチャ）、あるいは撮影条件等によっては、投影点列上の各投影点Ｔｊの合焦点度Ｑｊを比較したときに、合焦点度が特徴的な小さな値を持つ投影点がない場合がある。このような場合、前記物体の表面がある１つの投影点上にあると推定しても、その信頼性は低く、推定を誤っている場合がある。そして、推定を誤っている場合、その影響が生成した画像上に大きなノイズとなって現れていた。
［０６２５］  そこで、本発明の３次元画像表示方法では、次に、前記投影点列上の各投影点Ｔｊに物体の表面が存在する確率（存在確率）βｊを決定する（ステップ１０３０５ｆ）。このとき、前記存在確率βｊは、前記数式１０６及び数式１０７を満たす必要がある。そこで、本実施例５−２では、例えば、下記数式１１６を用いて、投影点Ｔｋの存在確率βｋを決定する。
［０６２６］
2004114224.tif 000131
なお、前記存在確率βｊは、基本的には前記数式１０６及び数式１０７の条件を満たしていればよい。そのため、前記存在確率は、前記数式１１６以外の数式を用いて決定してもよい。
［０６２７］  前記ステップ１０３０５ｆにより、図１０４に示すように、前記各投影点Ｔｊの存在確率βｊを決定したら、前記各投影点Ｔｊの色情報Ｋｊ及び存在確率βｊを、前記ステップ１０３０４で確保した領域に格納する。
［０６２８］  記各投影点Ｔｊの色情報Ｋｊ及び存在確率βｊを格納したら、前記投影点列を更新し、前記ステップ１０３０３で決定した全ての投影点列で、前記ステップ１０３０５ｃからステップ１０３０５ｆまでの処理を行ったか確認する（ステップ１０３０５ｇ）。ここで、前記ステップ１０３０５ｃからステップ１０３０５ｆまでの処理を行っていない投影点列があれば、前記ステップ１０３０５ｂに戻って前記ステップ１０３０５ｃからステップ１０３０５ｆまでの処理を繰り返す。
［０６２９］  こうして、前記ステップ１０３０３で決定した全ての投影点列に対して、前記ステップ１０３０５ｃからステップ１０３０５ｆまでの処理を行うと、前記ステップ１０３０５の処理が終了し、前記物体の３次元的な形状が得られる。そして、前記ステップ１０３の処理により前記物体の３次元的な形状を取得したら、前記実施例５−１と同様の手順で、前記取得した物体の３次元形状に基づいて、前記２次元画像生成面ＬＤ上の表示点Ａの色情報及び輝度分配係数γを決定し、ＤＦＤのような複数の重なり合った画像表示面に表示する２次元画像を生成し（ステップ１０４）、生成した画像を実際の画像表示面に表示（ステップ１０５）すれば、前記物体の３次元像を提示することができる。
［０６３０］  本実施例５−２の３次元画像表示方法も、前記実施例５−１の３次元画像表示方法と同様に、取得した前記物体の３次元形状において、前記投影点列上の各投影点Ｔｊに特徴的な値の合焦点度Ｑｊを持つ投影点がなく、物体表面の距離の推定に対する信頼性が低い場合、その投影点列上では、前記物体の表面が複数の投影面に曖昧に表現される。そして、前記各投影点Ｔｊの存在確率βから前記２次元画像生成面ＬＤ上の点の輝度分配係数γを決定すると、前記２次元画像生成面に生成された２次元画像を実際の画像表示面に表示し、物体の３次元像を提示したときに、距離の推定に対する信頼性が低く、複数の投影点に前記存在確率βが分散している投影点列上では、前記物体の表面が曖昧に表示される。そのため、前記ＤＦＤに表示した３次元像上のノイズが目立ちにくくなり、観察者の見た目に自然な像を表示することができる。
［０６３１］  以上説明したように、本実施例５−２の３次元画像表示方法によれば、前記実施例５−１と同様に、物体の正確な３次元形状を求めなくても、見た目に自然な３次元形状を表示することができる。
［０６３２］  また、本実施例５−２の画像表示方法の場合も、取得する画像はカラー画像、白黒画像のどちらでもよく、白黒画像の場合は、前記色情報に相当する情報として、輝度情報（Ｙ）を用いて、本実施例５−２で説明したような処理を行えばよい。
［０６３３］  （実施例５−３）
本実施の形態においても、第４の実施の形態における図８５に示した構成と同様の３次元画像生成装置を構成できる。また、第４の実施の形態における図８７〜８９に示した構成と同様の画像表示システムを構成できる。但し、装置が実行する処理は、実施例５−１、５−２に対応するものである。
［０６３４］  以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
［０６３５］  例えば、前記実施例５−１では、視点が異なる画像から物体の３次元像を表示する方法について説明し、前記実施例５−２では、焦点位置が異なる画像から物体の３次元像を表示する方法について説明したが、これらの方法を組み合わせて物体の３次元像を表示させてもよい。その場合、ある投影点Ｔｊについて、視点が異なる画像の対応点から相関度を求め、ある視点から焦点位置を変えた画像の対応点から局所空間周波数を求め、それらを組み合わせて存在確率βｊを求める。こうすると、前記存在確率βｊの信頼性が高くなり、観察者の見た目により自然な画像を表示することができる。
［０６３６］  （第５の実施の形態の効果）
第５の実施の形態に係る３次元画像表示方法においても、基準視点からある方向を見たときに、被写体の表面がどの距離（投影点）にあるか推定するときの信頼性が低い場合でも、実際に前記被写体の表面が存在する距離に相当する投影点上に、ある確率で前記被写体の表面が存在する。そのため、前記画像表示面上の各点を、前記存在確率の高さに応じた輝度で表示することにより、従来の方法で距離の推定を誤ったときに生じるような不連続なノイズが目立ちにくくなる。また、一般に普及しているパーソナル・コンピュータのように、処理性能が低い装置でも、高速で前記各２次元画像を生成することが可能になる。
［０６３７］  本発明は、上記の各実施の形態に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【図１】
2004114224.tif 000132
【図２】
2004114224.tif 000133
【図３】
2004114224.tif 000134
【図４】
2004114224.tif 000135
【図５】
2004114224.tif 000136
【図６】
2004114224.tif 000137
【図７】
2004114224.tif 000138
【図８】
2004114224.tif 000139
【図９】
2004114224.tif 000140
【図１０】
2004114224.tif 000141
【図１１】
2004114224.tif 000142
【図１２】
2004114224.tif 000143
【図１３】
2004114224.tif 000144
【図１４】
2004114224.tif 000145
【図１５】
2004114224.tif 000146
【図１６】
2004114224.tif 000147
【図１７】
2004114224.tif 000148
【図１８】
2004114224.tif 000149
【図１９】
2004114224.tif 000150
【図２０】
2004114224.tif 000151
【図２１】
2004114224.tif 000152
【図２２】
2004114224.tif 000153
【図２３】
2004114224.tif 000154
【図２４】
2004114224.tif 000155
【図２５】
2004114224.tif 000156
【図２６】
2004114224.tif 000157
【図２７】
2004114224.tif 000158
【図２８】
2004114224.tif 000159
【図２９】
2004114224.tif 000160
【図３０】
2004114224.tif 000161
【図３１】
2004114224.tif 000162
【図３２】
2004114224.tif 000163
【図３３】
2004114224.tif 000164
【図３４】
2004114224.tif 000165
【図３５】
2004114224.tif 000166
【図３６】
2004114224.tif 000167
【図３７】
2004114224.tif 000168
【図３８】
2004114224.tif 000169
【図３９】
2004114224.tif 000170
【図４０】
2004114224.tif 000171
【図４１】
2004114224.tif 000172
【図４２】
2004114224.tif 000173
【図４３】
2004114224.tif 000174
【図４４】
2004114224.tif 000175
【図４５】
2004114224.tif 000176
【図４６】
2004114224.tif 000177
【図４７】
2004114224.tif 000178
【図４８】
2004114224.tif 000179
【図４９】
2004114224.tif 000180
【図５０】
2004114224.tif 000181
【図５１】
2004114224.tif 000182
【図５２】
2004114224.tif 000183
【図５３】
2004114224.tif 000184
【図５４】
2004114224.tif 000185
【図５５】
2004114224.tif 000186
【図５６】
2004114224.tif 000187
【図５７】
2004114224.tif 000188
【図５８】
2004114224.tif 000189
【図５９】
2004114224.tif 000190
【図６０】
2004114224.tif 000191
【図６１】
2004114224.tif 000192
【図６２】
2004114224.tif 000193
【図６３】
2004114224.tif 000194
【図６４】
2004114224.tif 000195
【図６５】
2004114224.tif 000196
【図６６】
2004114224.tif 000197
【図６７】
2004114224.tif 000198
【図６８】
2004114224.tif 000199
【図６９】
2004114224.tif 000200
【図７０】
2004114224.tif 000201
【図７１】
2004114224.tif 000202
【図７２】
2004114224.tif 000203
【図７３】
2004114224.tif 000204
【図７４】
2004114224.tif 000205
【図７５】
2004114224.tif 000206
【図７６】
2004114224.tif 000207
【図７７】
2004114224.tif 000208
【図７８】
2004114224.tif 000209
【図７９】
2004114224.tif 000210
【図８０】
2004114224.tif 000211
【図８１】
2004114224.tif 000212
【図８２】
2004114224.tif 000213
【図８３】
2004114224.tif 000214
【図８４】
2004114224.tif 000215
【図８５】
2004114224.tif 000216
【図８６】
2004114224.tif 000217
【図８７】
2004114224.tif 000218
【図８８】
2004114224.tif 000219
【図８９】
2004114224.tif 000220
【図９０】
2004114224.tif 000221
【図９１】
2004114224.tif 000222
【図９２】
2004114224.tif 000223
【図９３】
2004114224.tif 000224
【図９４】
2004114224.tif 000225
【図９５】
2004114224.tif 000226
【図９６】
2004114224.tif 000227
【図９７】
2004114224.tif 000228
【図９８】
2004114224.tif 000229
【図９９】
2004114224.tif 000230
【図１００】
2004114224.tif 000231
【図１０１】
2004114224.tif 000232
【図１０２】
2004114224.tif 000233
【図１０３】
2004114224.tif 000234
【図１０４】
2004114224.tif 000235
【国際調査報告】
2004114224.tif 000236
2004114224.tif 000237