(57)【要約】【課題】自動的にかつ現実感の高い３次元形状表面を取得可能な３次元形状生成装置を提供する。【解決手段】ステレオマッチング手段１１は複数の画像の組に対してステレオマッチング処理を行い、奥行き画像を生成する。奥行き画像統合手段１２はステレオマッチング手段１　１から得られた奥行き画像と、それぞれの奥行き画像に対応するカメラ位置のパラメータとからボクセル空間内でそれぞれの視差に対応する点への投票を行い、元の３次元形状のボクセル表現による形状を復元する。ボクセル色決定手段１３は奥行き画像統合手段１２で得られたボクセル表現とカメラ位置パラメータとからボクセルの位置を、ステレオマッチン手段１１に用いた入力画像に逆投影し、対応する画素のうちの最も適した画素を選択する。【選択図】　　　図１
2004013869.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定を行うステレオマッチング手段と、前記ステレオマッチング手段で得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基に３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う奥行き画像統合手段と、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記奥行き画像統合手段で得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの最適な色を決定するボクセル色決定手段とを有することを特徴とする３次元形状生成装置。
【請求項２】
複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定するステレオマッチング手段と、前記ステレオマッチング手段で得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基に３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う奥行き画像統合手段と、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記奥行き画像統合手段で得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの各面に対応するテクスチャデータを決定するボクセルテクスチャ決定手段とを有することを特徴とする３次元形状生成装置。
【請求項３】
複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定する第１のステップと、前記第１のステップで得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基にボクセル空間への投票を行うことで３次元空間中の対象位置の推定を行う第２のステップと、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記第２のステップで得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの最適な色を決定する第３のステップとを有することを特徴とする３次元形状生成方法。
【請求項４】
複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定する第１のステップと、前記第１のステップで得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基に３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う第２のステップと、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記第２のステップで得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの各面に対応するテクスチャデータを決定する第３のステップとを有することを特徴とする３次元形状生成方法。
【請求項５】
コンピュータに、複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定する第１の処理と、前記第１の処理で得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基に３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う第２の処理と、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記第２の処理で得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの最適な色を決定する第３の処理とを実行させるためのプログラム。
【請求項６】
コンピュータに、複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定する第１の処理と、前記第１の処理で得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基に３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う第２の処理と、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記第２の処理で得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの各面に対応するテクスチャデータを決定する第３の処理とを実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は３次元形状生成装置及びそれに用いる３次元形状生成方法並びにそのプログラムに関し、特に３次元形状モデルに対応する現実の物体をカメラによって複数のアングルから撮影し、同時に撮影時のカメラ位置・姿勢を計測しておくことで、自動的に形状表面の情報を決定する３次元形状生成方法に関する。
【０００２】
【従来の技術】
実世界、例えば街並の建物、植物等を３次元ＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）で表現するための３次元モデルの形状を生成する手段として、３次元モデリング用のツールを用いて作成することが広く行われている。また、実際の風景を、カメラで撮影したり、３次元スキャナ装置を用いて、実際の３次元空間をそのままモデル化する手法についても多くの手法が開発されている。その中で、ボクセル（３次元空間中の微小立方体）を用いた３次元形状表現によって計算機内で３次元形状を表現する３次元形状生成手法は、対象の細かな凹凸等を表現可能であるという特徴がある。
【０００３】
従来のボクセルを用いた３次元形状生成手法の一例が、「視点位置推定による動画像からの屋外環境の三次元モデル化」（佐藤ら、第１９０回研究会講演予稿集、画像電子学会、２００１年、第４９頁〜第５５頁）に記載されている。
【０００４】
従来のボクセルを用いた３次元形状生成装置の一例を図１０に示す。図１０に示すように、３次元形状生成装置３はステレオマッチング手段３１と、対応色判定手段３２と、奥行き画像統合手段３３とから構成されている。
【０００５】
ステレオマッチング手段３１は複数の異なる３次元位置で入力されたフレーム画像間でのステレオマッチング処理を行い、奥行き推定を行う。奥行き画像統合手段３３は複数のステレオ奥行き画像と、推定されたカメラ位置パラメータとを使って、ボクセル空間への投票を行うことで、３次元空間中の対象位置の推定を行う。対応色判定手段３２は奥行き画像統合手段３３での投票に対応する画素の色を用いてボクセルの色を決定する。
【０００６】
このような構成な３次元形状生成装置３では、形状の復元及び形状表面の色決定を次のように行っている。すなわち、例えば、街並みや建物を撮影したビデオ画像から各フレームを撮影した時点でのビデオカメラ（図示せず）の３次元的な位置のパラメータを求めた後、各フレーム画像及び推定されたビデオカメラの３次元位置を入力とし、各フレーム画像に対して時間的に前後にあり、フレーム画像と異なる位置から撮影を行った複数の画像を用いてステレオマッチング処理を行い、フレーム毎に対応する奥行き画像を得る。
【０００７】
次に、得られた奥行き画像と、奥行き画像に対応するフレーム画像の推定位置とを用いて、奥行き画像の各画素の点が実際に存在すると推定される３次元空間中の微小立方体（ボクセル）に投票を行う。この投票を各奥行き画像から行うことで、一定以上の投票値を持つボクセルを、物体が実際に存在する場所であるという推定を行うことで３次元形状の復元を行う。
【０００８】
以上で、３次元の形状を推定することができるが、３次元ＣＧで用いるための３次元モデルとしては表面の色情報を得る必要があるため、さらに以下の処理を行う。すなわち、得られた各ボクセルへの投票に際して、各奥行き画像に対応するフレーム画像中の対応画素の色を調べ、ボクセルへの投票数と同時に記録する。
【０００９】
ボクセルへの投票が完了した時点で投票された色の平均値を求め、これをボクセルの色とする。このような処理によって、３次元形状とその表面の色とを求めることが可能となる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来の３次元形状生成手法では、ボクセルの色の決定をボクセルに投票を行った画素の平均値で行っているので、例えば、建物の壁と窓の境目のように大きく色が異なる場合、ステレオマッチングの誤差によって、誤って異なる色の画素が投票された場合、非常に異なった色となってしまうため、上記の方法によって生成されるボクセルの色の精度が低いという問題がある。これは、上記の誤差が各ボクセルについて独立であるので、実際には一様である面において、隣り合うボクセルで色がそれぞれ微妙に異なるという現象が発生する。
【００１１】
また、従来の３次元形状生成手法では、上記の方法によって生成されるボクセルが、例えば、実空間中で１０ｃｍの精度を持つ立方体であったとしても、色データのみを投票することによって、その表面に持つ細かな模様（テクスチャ）の情報が失われるという問題がある。
【００１２】
以上のような問題のため、全体としては形状が正確であったとしても、現実感の低い形状になるという問題が生じており、建物形状等の詳細な形状を求めると同時に、現実感の高い形状表面を生成する３次元形状生成手法が求められている。
【００１３】
そこで、本発明の目的は上記の問題点を解消し、自動的にかつ現実感の高い３次元形状表面を取得することができる３次元形状生成装置及びそれに用いる３次元形状生成方法並びにそのプログラムを提供することにある。
【００１４】
【課題を解決するための手段】
本発明による３次元形状生成装置は、複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定を行うステレオマッチング手段と、前記ステレオマッチング手段で得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基に３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う奥行き画像統合手段と、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記奥行き画像統合手段で得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの最適な色を決定するボクセル色決定手段とを備えている。
【００１５】
本発明による他の３次元形状生成装置は、複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定するステレオマッチング手段と、前記ステレオマッチング手段で得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基に３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う奥行き画像統合手段と、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記奥行き画像統合手段で得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの各面に対応するテクスチャデータを決定するボクセルテクスチャ決定手段とを備えている。
【００１６】
本発明による３次元形状生成方法は、複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定する第１のステップと、前記第１のステップで得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基にボクセル空間への投票を行うことで３次元空間中の対象位置の推定を行う第２のステップと、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記第２のステップで得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの最適な色を決定する第３のステップとを備えている。
【００１７】
本発明による他の３次元形状生成方法は、複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定する第１のステップと、前記第１のステップで得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基に３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う第２のステップと、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記第２のステップで得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの各面に対応するテクスチャデータを決定する第３のステップとを備えている。
【００１８】
本発明による３次元形状生成方法のプログラムは、コンピュータに、複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定する第１の処理と、前記第１の処理で得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基に３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う第２の処理と、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記第２の処理で得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの最適な色を決定する第３の処理とを実行させている。
【００１９】
本発明による他の３次元形状生成方法のプログラムは、コンピュータに、複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定する第１の処理と、前記第１の処理で得られた複数のステレオ奥行き画像と前記カメラの位置パラメータとを基に３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う第２の処理と、前記ボクセルの位置と前記カメラの位置パラメータとを用いて前記第２の処理で得られたボクセルを元の画像系列の各画像に逆投影して当該ボクセルの各面に対応するテクスチャデータを決定する第３の処理とを実行させている。
【００２０】
すなわち、本発明の第１の３次元形状生成装置は、複数の異なる３次元位置でカメラから入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定するステレオマッチング手段と、複数のステレオ奥行き画像とカメラの位置パラメータとを使って３次元空間中の微小立方体を示すボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う奥行き画像統合手段と、ボクセルの位置とカメラの位置パラメータとを用いて得られたボクセルを元の画像系列の各画像に逆投影して適当な色を決定するボクセル色決定手段とを有している。
【００２１】
本発明の第１の３次元形状生成装置では、上記のような構成をとり、複数の異なる３次元位置で入力された画像間でのステレオマッチング処理を自動的に行い、得られた視差情報による画像中の各点での撮影位置からの奥行き情報を抽出した後、それぞれの奥行き情報とカメラの位置パラメータとを使ってボクセル空間へ奥行き情報を投票し、さらに一定数以上の投票が得られたボクセルを物体表面であるとしてボクセル表現による物体の３次元形状を求め、得られた各ボクセルの位置をカメラの位置パラメータを用いて元の画像系列に逆投影し、適当な画像中の対応画素の色を得ることでボクセルの色を決定するように動作する。
【００２２】
本発明の第１の３次元形状生成装置では、このような構成を採用し、ボクセル位置とカメラの位置パラメータとからボクセルを逆投影することによって、元の画像とボクセルとの間の距離やフレーム画像の撮影順序の情報を利用し、適当なボクセル色を決定することが可能となる。したがって、本発明は３次元形状モデル生成において、自動的にかつ現実感の高い３次元形状表面色が取得可能となる。
【００２３】
また、本発明の第２の３次元形状生成方法は、複数の異なる３次元位置で入力されたフレーム画像間でのステレオマッチング処理を行って奥行き推定するステレオマッチング手段と、複数のステレオ奥行き画像とカメラの位置パラメータとを使ってボクセルへの投票を行うことで３次元空間中の対象位置の推定を行う奥行き画像統合手段と、ボクセルの位置とカメラの位置パラメータとを用いて得られたボクセルを元の画像系列の各画像に逆投影してボクセルの各面に対応するテクスチャデータを決定するボクセルテクスチャ決定手段とを有している。
【００２４】
本発明の第２の３次元形状生成装置では、上記のような構成をとり、複数の異なる３次元位置で入力された画像間でのステレオマッチング処理を自動的に行い、得られた視差情報による画像中の各点での撮影位置からの奥行き情報を抽出した後、それぞれの奥行き情報とカメラの位置パラメータとを使ってボクセル空間へ奥行き情報を投票し、さらに一定数以上の投票が得られたボクセルを物体表面であるとしてボクセル表現による物体の３次元形状を求め、得られた各ボクセルの各面を構成する頂点をカメラの位置パラメータを用いて元の画像系列に逆投影し、適当な画像中の対応領域をボクセル表面のテクスチャデータして得ることで、ボクセルの表面のテクスチャを決定するように動作する。
【００２５】
本発明の第２の３次元形状生成装置では、このような構成を採用し、ボクセルの位置とカメラの位置パラメータとからボクセルを構成する頂点を逆投影することによって、元の画像とボクセルとの間の距離やフレーム画像の撮影順序の情報を利用し、適当なボクセル表面テクスチャを決定することが可能となる。したがって、本発明では、３次元形状モデル生成において、自動的にかつ現実感の高い３次元形状表面テクスチャが取得可能となる。
【００２６】
【発明の実施の形態】
次に、本発明の実施例について図面を参照して説明する。図１は本発明の一実施例による３次元形状生成装置の構成を示すブロック図である。図１において、３次元形状生成装置１はステレオマッチング手段１１と、奥行き画像統合手段１２と、ボクセル色決定手段１３と、記録媒体１４とから構成されている。尚、記録媒体１４には３次元形状生成装置１をコンピュータで実現する際に、そのコンピュータで実行するプログラムが格納されている。
【００２７】
ステレオマッチング手段１１は複数の異なる３次元位置で図示せぬカメラから入力されたフレーム画像間でのステレオマッチング処理を行い、奥行き推定を行う。奥行き画像統合手段１２は複数のステレオ奥行き画像とカメラの位置パラメータとを使って３次元空間中の微小立方体を示すボクセルへの投票を行うことで、３次元空間中の対象位置の推定を行う。ボクセル色決定手段１３はボクセルの位置とカメラの位置パラメータとを用いて、得られたボクセルを元の画像系列の各画像に逆投影し、適当な色を決定する。
【００２８】
図２は図１の３次元形状生成装置１の動作を示すフローチャートである。これら図１及び図２を参照して本発明の一実施例による３次元形状生成装置１の動作について説明する。尚、図２に示す処理は３次元形状生成装置１のコンピュータが記録媒体１４に格納されたプログラムを実行することで実現される。
【００２９】
ステレオマッチング手段１１は複数の画像の組に対してステレオマッチング処理を行い（図２ステップＳ１）、奥行き画像を生成する（図２ステップＳ２）。奥行き画像統合手段１２はステレオマッチング手段１　１から得られた奥行き画像と、それぞれの奥行き画像に対応するカメラ位置のパラメータとからボクセル空間内でそれぞれの視差に対応する点への投票を行い（図２ステップＳ３）、元の３次元形状のボクセル表現による形状を復元する（図２ステップＳ４）。
【００３０】
ボクセル色決定手段１３は奥行き画像統合手段１２で得られたボクセル表現と、カメラの位置パラメータとからボクセルの位置を、ステレオマッチン手段１１に用いた入力画像に逆投影し（図２ステップＳ５）、対応する画素のうちの最も適した画素を選択する（図２ステップＳ６）。
【００３１】
図３はボクセル表現の例を示す図であり、図４及び図５（ａ），（ｂ）はボクセルへの投票を説明するための図であり、図６はボクセルの点の画像への逆投影を説明するための図である。これら図１と図３〜図６とを参照して本発明の一実施例による３次元形状生成装置１の具体的な動作について説明する。
【００３２】
まず、３次元形状生成装置１にはビデオカメラあるいは通常のカメラ（図示せず）等によって撮影した画像の系列が入力として与えられる。この画像系列は復元対象となる建物等の物体をそれぞれ異なる位置、向きで撮影した画像である。また、それぞれの画像を撮影した際のカメラの相対的な位置関係については、例えば、上記の文献「視点位置推定による動画像からの屋外環境の三次元モデル化」（佐藤ら、第１９０回研究会講演予稿集、画像電子学会、２００１年、第４９頁〜第５５頁）中にあるカメラのパス推定やカメラ本体に固定した位置、方向を計測するセンサで測定したデータがカメラの位置パラメータとして得られるものとする。
【００３３】
ステレオマッチング手段１１では、まず同じ物体が写っている画像組を用いてステレオマッチング処理を行い、奥行き画像を生成する。その具体的な手法については、特に制限はなく、例えば特開平３−１６７６７８号公報に開示されている方法でも、上記の文献中に記述されている方法でもよい。
【００３４】
得られる奥行き画像はステレオマッチング処理対象となる画像組のうちのいずれかを基準画像として、それと同じ座標系として作成される。すなわち、奥行き画像は基準画像を撮影したカメラ位置から各画素の位置に対応する対象物体上の点の距離を示すものである。
【００３５】
画像の系列中には、同じ対象に対して異なる位置、方向から撮影したこのような画像組が多数含まれ、そのような画像組の全て、または任意に選択した一部の組に対して行い、複数の奥行き画像を得る。以上の処理で、入力となった各画像を撮影したカメラ位置から見た時の対象物体までの距離を示す画像が多数得られる。
【００３６】
次に、得られた奥行き画像とカメラの位置パラメータとから奥行き画像統合手段１２において、物体の３次元ボクセル表現への変換を行う。ボクセル表現は、図３に示すように、３次元空間を一定の大きさの立方体に区切り、その立方体の集合として形状を表現するものである。
【００３７】
奥行き画像とカメラの位置パラメータとからボクセル表現を推定するには、各カメラ位置から視差の値を用いて、ボクセル空間への投票を行う。図４及び図５（ａ），（ｂ）は２次元の場合、ボクセルへの投票の概念を示したものである。これは３次元ボクセル空間がＸＹＺからなる直交座標空間で考えた場合の特定のＺ値についての投票に相当する。
【００３８】
図４において、カメラＡにおいて撮影した入力画像それから得られた奥行き画像Ａは、２次元で図５（ａ　）のような値の分布を持っていたとする。この時、ボクセル空間への図５（ｂ）のような投票が行われる。同様に、カメラＢ，Ｃからの投票を行うことで、実際に物体がある確からしい面を得ることができる。この投票は得られた視差に対応する単一のボクセルに対して行ってもよいし、精度に応じて一定の範囲のボクセルに重み付けを行って投票を行う等、各種の方式をとることができる。最後に得られた投票空間に対して一定の閾値処理をすることで、物体の表面形状をボクセル表現として得ることができる。
【００３９】
次に、ボクセル色決定手段１３では物体のボクセル表現と入力となった画像系列及びそれぞれに対応するカメラの位置パラメータとから、各ボクセルを３次元中の点として考えた場合のそれぞれの点の画像への逆投影を行う。ここで、各ボクセルを点として考える場合の方法としては、ボクセルの中心点をそのボクセルを代表する点として用いる、ボクセル中のカメラに最も近い点を代表点として用いる等の様々な方法での選択が可能である。
【００４０】
図６はボクセルからの逆投影を２次元的に示したものである。各ボクセルからは入力画像それぞれに対応して複数の点の色が得られる。これらの点の色から最適な点を選択する。
【００４１】
この最適な点の選択基準としては、まず、（１）ボクセルから各画像の間に遮蔽物となるボクセルが存在しないことを条件とし、（２）（１）で選択した複数の画像の中からカメラ位置とボクセルとの３次元的な距離が最小となる画像中の画素の色を選択する。上記の処理によって、物体の対象とする点を最も近くから撮影した画像中の色を使うことで選択された色の確からしさを向上させることができる。
【００４２】
また、別の選択基準としては、ユーザが目視で画像系列から撮影状態が良好なものから順に画像に順序を与え、その中で上記の（１）の条件を満たす最初の画像を選択することもできる。この選択基準は、照明条件等によって色が全ての画像で必ずしも正しく得られていない場合に有効となる基準である。
【００４３】
さらに、（１）の条件を満たす全ての画像、または距離を基準として一定距離以下の画像、あるいは距離を基準として一定枚数以下の画像、ユーザが与えた順序で一定枚数の画像を選択し、その平均値、または最頻値、中央値等を用いることもできる。
【００４４】
さらにまた、隣接するボクセル間を順に処理する際に、できるだけ同じ画像を選択するという基準を設けることもできる。この基準は連続するボクセルにおいて、できるだけ同じ画像から色を取得することで、表面色の滑らかさを重視する場合の基準である。尚、選択の基準としてはこれらに限定されるものではなく、各画像に画素値の信頼度を付加する様々な基準が利用可能である。以上の処理で得られた画素の色を各ボクセルに付与することで、３次元形状表面の色を決定することができる。
【００４５】
図７は本発明の他の実施例による３次元形状生成装置の構成を示すブロック図である。図７において、３次元形状生成装置２はステレオマッチング手段１１と、奥行き画像統合手段１２と、テクスチャ決定手段２１と、記録媒体２２とから構成されている。尚、記録媒体２２には３次元形状生成装置２をコンピュータで実現する際に、そのコンピュータで実行するプログラムが格納されている。
【００４６】
ステレオマッチング手段１１は複数の異なる３次元位置で図示せぬカメラから入力されたフレーム画像間でのステレオマッチング処理を行い、奥行き推定を行う。奥行き画像統合手段１２は複数のステレオ奥行き画像とカメラの位置パラメータとを使って、ボクセルへの投票を行うことで、３次元空間中の対象位置の推定を行う。
【００４７】
テクスチャ決定手段２１はボクセルの位置とカメラの位置パラメータとを用いて、得られたボクセルの各頂点を元の画像系列の各画像に逆投影し、ボクセルの各面に対応する適当なテクスチャを決定する。
【００４８】
図８は図７の３次元形状生成装置２の動作を示すフローチャートである。これら図７及び図８を参照して本発明の他の実施例による３次元形状生成装置２の動作について説明する。尚、図８に示す処理は３次元形状生成装置２のコンピュータが記録媒体２２に格納されたプログラムを実行することで実現される。
【００４９】
ステレオマッチング手段１１は複数の画像の組に対してステレオマッチング処理を行い（図８ステップＳ１１）、奥行き画像を生成する（図８ステップＳ１２）。奥行き画像統合手段１２はステレオマッチング手段１　１から得られた奥行き画像とそれぞれの奥行き画像に対応するカメラ位置のパラメータとからボクセル空間内でそれぞれの視差に対応する点への投票を行い（図８ステップＳ１３）、元の３次元形状のボクセル表現による形状を復元する（図８ステップＳ１４）。
【００５０】
テクスチャ決定手段２１は奥行き画像統合手段１２で得られたボクセル表現とカメラの位置パラメータとからボクセルの各頂点を、ステレオマッチング手段１１に用いた入力画像に逆投影し（図８ステップＳ１５）、ボクセルの各面を構成する４つの頂点の投影が生成する入力画像中の矩形領域から最も適した矩形領域を決定し（図８ステップＳ１６）、その領域の画素値をボクセルの各面のテクスチャとする（図８ステップＳ１７）。
【００５１】
図９はボクセルの面の画像への逆投影を説明するための図である。これら図７と図９とを参照して本発明の他の実施例による３次元形状生成装置２の具体的な動作について説明する。
【００５２】
入力として与えられる画像データと、ステレオマッチング手段１１及び奥行き画像統合手段１２各々における処理は上述した本発明の一実施例と同様であるので、その説明を省略する。
【００５３】
本実施例では、得られた物体のボクセル表現と、入力となった画像系列及びそれぞれに対応するカメラの位置パラメータとをテクスチャ決定手段２１に入力として与え、各ボクセルを構成する面の頂点の画像への逆投影を行う。
【００５４】
図９はボクセルの各面の頂点からの逆投影を模式的に示したものである。各ボクセルの面毎に、入力画像それぞれに対応して矩形の領域が得られる。この矩形領域のうちの最適な矩形領域を選択する。
【００５５】
この最適な矩形領域の選択基準としては、（１）ボクセルの面から各画像への逆投影の間に遮蔽物となるボクセルが存在しないことを条件とし、（２）（１）で選択した複数の画像の中からカメラ位置とボクセルとの３次元的な距離が最小となる画像中の画素の色を選択する。上記の処理によって、本実施例では、物体の対象とする点を最も近くから撮影した画像中のテクスチャから選択可能とすることで、選択されたテクスチャの確からしさを向上させることができる。
【００５６】
また、別の基準としては、ボクセルを画像に投影した時に得られる矩形の面積が最大になる面を選択することもできる。この基準は、カメラから見た時に対象となるボクセル面が正面向きに近いほどよいとする場合の基準である。また、別の基準としては、ユーザが目視で画像系列から撮影状態が良好なものから順に画像に順序を与え、その中で上記の（１）の条件を満たす最初の画像を選択することもできる。この基準は、照明条件等によって色が全ての画像で必ずしも正しく得られていない場合に有効となる基準である。
【００５７】
さらに、（１）の基準を満たす全ての画像、または距離を基準として一定距離以下の画像、あるいは距離を基準として一定枚数以下の画像、ユーザが与えた順序で一定枚数の画像を選択し、その平均値、または最頻値、中央値等を用いることもできる。
【００５８】
さらにまた、隣接するボクセル間を順に処理する際に、できるだけ同じ画像を選択するという基準を設けることもできる。この基準は連続するボクセルにおいて、できるだけ同じ画像から色を取得することで、表面色の滑らかさを重視する場合の基準である。尚、選択の基準としてはこれらに限定されるものではなく、各画像に画素値の信頼度を付加する等の様々な基準が利用可能である。本実施例では、以上の処理で得られたテクスチャを各ボクセルの面に付与することで、３次元形状表面のテクスチャを決定することができる。
【００５９】
このように、本発明では、ボクセルの位置とカメラの位置パラメータとからボクセルを逆投影することによって、元の画像とボクセルとの間の距離やフレーム画像の撮影順序の情報を利用して最適なボクセル色を選択することができるため、３次元形状モデル生成において、自動的にかつ現実感の高い３次元形状表面色を取得することができる。
【００６０】
また、本発明では、ボクセルの位置とカメラの位置パラメータとからボクセルの各頂点を逆投影することによって、元の画像とボクセルとの間の距離やフレーム画像の撮影順序の情報を利用して最適なボクセル表面テクスチャを選択することができるため、３次元形状モデル生成において、自動的にかつ現実感の高い３　次元形状表面テクスチャを取得することができる。
【００６１】
【発明の効果】
以上説明したように本発明の３次元形状生成装置は、ボクセルの位置とカメラの位置パラメータとからボクセルを逆投影することによって、自動的にかつ現実感の高い３次元形状表面を取得することができるという効果が得られる。
【００６２】
また、本発明の他の３次元形状生成装置は、ボクセル位置とカメラ位置パラメータとからボクセルの各頂点を逆投影することによって、自動的にかつ現実感の高い３次元形状表面を取得することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施例による３次元形状生成装置の構成を示すブロック図である。
【図２】図１の３次元形状生成装置の動作を示すフローチャートである。
【図３】ボクセル表現の例を示す図である。
【図４】ボクセルへの投票を説明するための図である。
【図５】（ａ），（ｂ）はボクセルへの投票を説明するための図である。
【図６】ボクセルの点の画像への逆投影を説明するための図である。
【図７】本発明の他の実施例による３次元形状生成装置の構成を示すブロック図である。
【図８】図７の３次元形状生成装置の動作を示すフローチャートである。
【図９】ボクセルの面の画像への逆投影を説明するための図である。
【図１０】従来の３次元形状生成装置の構成を示すブロック図である。
【符号の説明】
１，２　３次元形状生成装置
１１　ステレオマッチング手段
１２　奥行き画像統合手段
１３　ボクセル色決定手段
１４，２２　記録媒体
２１　テクスチャ決定手段
【図１】
2004013869.tif 000003
【図２】
2004013869.tif 000004
【図３】
2004013869.tif 000005
【図４】
2004013869.tif 000006
【図５】
2004013869.tif 000007
【図６】
2004013869.tif 000008
【図７】
2004013869.tif 000009
【図８】
2004013869.tif 000010
【図９】
2004013869.tif 000011
【図１０】
2004013869.tif 000012