(57)【特許請求の範囲】
【請求項１】
複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理装置であって、
前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応手段と、
前記特徴点対応手段によって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定手段と、
前記特徴点対応手段によって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定手段と、
前記幾何学的条件決定手段により決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定手段により決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算手段と、
を具備し、
前記光学的条件決定手段は、
前記特徴点対応手段によって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成手段と、
前記輝度行列生成手段によって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割手段と、
前記部分行列分割手段によって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算手段と、
前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換手段と、
を具備する
ことを特徴とする画像処理装置。
【請求項２】
前記部分行列分割手段は、
前記輝度行列生成手段によって生成された輝度行列とその転置行列を掛け合わせた行列の固有ベクトルを計算する固有ベクトル計算手段と、
前記固有ベクトル計算手段によって計算された固有ベクトルを各列に含んだ行列と、その転置行列を掛け合わせた表面行列を計算する表面行列計算手段と、
前記表面行列計算手段によって計算された表面行列の行と列の同時の並替えを、前記表面行列の非対角成分が零となるように繰り返す並替え手段と、
前記並替え手段による並べ替えの繰り返しと同じ順序で前記輝度行列の要素を並べ替え、前記表面行列の各対角ブロックの次元に対応して前記輝度行列を所定の数の部分行列に分割する分割手段と、
を具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記分割手段は、
前記輝度行列のランクを計算し、この計算されたランク数に応じた数に部分行有する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記距離情報計算手段は、
前記時系列画像のうち特定時点Ａの画像を選択して基準画像とし、この基準画像中で各画素における前記対象物体までの距離Ｚを設定する距離設定手段と、
前記距離設定手段によって設定された距離Ｚ及び前記幾何学的条件決定手段により決定された前記対象物体の各時点の位置と姿勢の変化に基づいて、前記各画素と対応する画素を、前記特定時点Ａと異なる３時点以上の画像群において決定する対応画像決定手段と、
前記対応画像決定手段によって決定された画素における輝度と前記基準画像中の画素における輝度との整合の度合を、前記光学的条件決定手段により決定された前記時系列画像間の前記複数の光源に対応した線形結合係数に基づいて計算する整合度合計算手段と、
前記整合度合計算手段によって計算された整合度合に応じて、前記距離設定手段によって設定された距離Ｚを評価して、この評価に基づいて距離情報を計算する評価手段と、
を具備した
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理方法であって、
前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップによって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応ステップと、
前記特徴点対応ステップによって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定ステップと、
前記特徴点対応ステップによって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定ステップと、
前記幾何学的条件決定ステップにより決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定ステップにより決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算ステップと、
を具備し、
前記光学的条件決定ステップは、
前記特徴点対応ステップによって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成ステップと、
前記輝度行列生成ステップによって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割ステップと、
前記部分行列分割ステップによって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算ステップと、
前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換ステップと、
を具備する
ことを特徴とする画像処理方法。
【請求項６】
複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理方法を実現するプログラムを記憶した記録媒体であって、
前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出機能と、
前記特徴点抽出機能によって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応機能と、
前記特徴点対応機能によって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定機能と、
前記特徴点対応機能によって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定機能と、
前記幾何学的条件決定機能により決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定機能により決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算機能と、
を実現し、
前記光学的条件決定機能は、
前記特徴点対応機能によって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成機能と、
前記輝度行列生成機能によって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割機能と、
前記部分行列分割機能によって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算機能と、
前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換機能と、
を実現するプログラムを記憶した
ことを特徴とする画像処理方法の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば工業部品などの設計を支援するための３次元ＣＡＤ（計算機援用設計）、３次元ＣＧ（コンピュータグラフィクス）を用いた映像作成、あるいは人物の顔画像を用いたＨＩ（ヒューマンインタフェイス）、ゲームへの応用を含むＶＲ（バーチャルリアリティ）上でのアバタの作成などで用いられるものであり、対象物体のモデル記述の作成を支援することに有用な画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
近年、工業部品などの設計を支援するための３次元ＣＡＤ、３次元ＣＧを用いた映像作成、あるいは人物の顔画像を用いたＨＩなど、画像生成、画像処理、画像認識といった画像に関わる計算機処理のニーズが急速に拡大している。
【０００３】
これらの処理においては、対象とする物体の幾何形状、表面属性、そして、必要に応じて動きのデータを計算機に数値化して入力することが必要である。この入力過程をモデリングと呼び、入力された数値データをモデルと呼ぶ。現在、このモデリング作業は、人手により多くの手間を掛けて行っており、生産性やコストの面からも自動化が強く望まれている。
【０００４】
そこで、カメラで得た画像を解析することにより、対象物体の形状及び表面属性を自動的に求める手法の研究が行われている。すなわち、複数台のカメラを用いて３角測量の原理により距離を求めるステレオ法や、簡素なシステムとして一台のカメラの焦点距離を変えて得た画像を解析することにより距離を求める手法を用いて、環境に存在する物体のモデリングを自動的に行う試みがなされている。
【０００５】
しかしながら、一台のカメラで焦点距離を変える際には物体が静止していることが必要であり、ステレオ法において複数のカメラを用いる場合、一台のカメラを用いるのに比べてコストに問題がある。また、一台のカメラで動物体を複数方向から撮影し、ステレオ法を応用するためには、物体の向きと照明方向の相対変化を考慮した対応付け問題が一般に解決されておらず、例えば人間の頭部のように複雑形状、かつ、動きのある物体のモデルを実用的な精度と処理速度を満足しつつ自動的に作成する方式は未だ実現されていない。
【０００６】
【発明が解決しようとする課題】
上述したように、従来の方法では、焦点距離を変える際には物体が静止していることが必要であり、ステレオ法において複数のカメラを用いる場合、一台のカメラを用いるのに比べてコストに問題があった。また、一台のカメラで動物体を複数方向から撮影し、ステレオ法を応用するためには、物体の向きと照明方向の相対変化を考慮した対応づけ問題が一般に解決されておらず、例えば人間の頭部のように複雑形状、かつ、動きのある物体を実用的にモデリングすることはできなかった。
【０００７】
本発明は上記のような点に鑑みなされたもので、人間の頭部のように複雑形状、かつ、動きのある物体のモデルを一台のカメラで実用的な精度と処理速度を満足しつつ自動的に作成することのできる画像処理装置及び画像処理方法を提供することを目的とする。
【０００８】
また、この場合に、光源が一つのときだけでなく複数のときでも上記目的を解決できるものを提供する。
【００１３】
【課題を解決するための手段】
請求項１の発明は、複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理装置であって、前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応手段と、前記特徴点対応手段によって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定手段と、前記特徴点対応手段によって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定手段と、前記幾何学的条件決定手段により決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定手段により決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算手段と、を具備し、前記光学的条件決定手段は、前記特徴点対応手段によって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成手段と、前記輝度行列生成手段によって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割手段と、前記部分行列分割手段によって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算手段と、前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換手段と、を具備することを特徴とする画像処理装置である。
【００１５】
請求項２の発明は、前記部分行列分割手段は、前記輝度行列生成手段によって生成された輝度行列とその転置行列を掛け合わせた行列の固有ベクトルを計算する固有ベクトル計算手段と、前記固有ベクトル計算手段によって計算された固有ベクトルを各列に含んだ行列と、その転置行列を掛け合わせた表面行列を計算する表面行列計算手段と、前記表面行列計算手段によって計算された表面行列の行と列の同時の並替えを、前記表面行列の非対角成分が零となるように繰り返す並替え手段と、前記並替え手段による並べ替えの繰り返しと同じ順序で前記輝度行列の要素を並べ替え、前記表面行列の各対角ブロックの次元に対応して前記輝度行列を所定の数の部分行列に分割する分割手段と、を具備することを特徴とする請求項１記載の画像処理装置である。
【００１６】
請求項３の発明は、前記分割手段は、前記輝度行列のランクを計算し、この計算されたランク数に応じた数に部分行有することを特徴とする請求項２記載の画像処理装置である。
【００１７】
請求項５の発明は、前記距離情報計算手段は、前記時系列画像のうち特定時点Ａの画像を選択して基準画像とし、この基準画像中で各画素における前記対象物体までの距離Ｚを設定する距離設定手段と、前記距離設定手段によって設定された距離Ｚ及び前記幾何学的条件決定手段により決定された前記対象物体の各時点の位置と姿勢の変化に基づいて、前記各画素と対応する画素を、前記特定時点Ａと異なる３時点以上の画像群において決定する対応画像決定手段と、前記対応画像決定手段によって決定された画素における輝度と前記基準画像中の画素における輝度との整合の度合を、前記光学的条件決定手段により決定された前記時系列画像間の前記複数の光源に対応した線形結合係数に基づいて計算する整合度合計算手段と、前記整合度合計算手段によって計算された整合度合に応じて、前記距離設定手段によって設定された距離Ｚを評価して、この評価に基づいて距離情報を計算する評価手段と、を具備したことを特徴とする請求項１記載の画像処理装置である。
【００１９】
請求項５の発明は、複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理方法であって、前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップによって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応ステップと、前記特徴点対応ステップによって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定ステップと、前記特徴点対応ステップによって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定ステップと、前記幾何学的条件決定ステップにより決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定ステップにより決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算ステップと、を具備し、前記光学的条件決定ステップは、前記特徴点対応ステップによって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成ステップと、前記輝度行列生成ステップによって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割ステップと、前記部分行列分割ステップによって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算ステップと、前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換ステップと、を具備することを特徴とする画像処理方法である。
【００２１】
請求項６の発明は、複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理方法を実現するプログラムを記憶した記録媒体であって、前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出機能と、前記特徴点抽出機能によって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応機能と、前記特徴点対応機能によって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定機能と、前記特徴点対応機能によって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定機能と、前記幾何学的条件決定機能により決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定機能により決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算機能と、を実現し、前記光学的条件決定機能は、前記特徴点対応機能によって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成機能と、前記輝度行列生成機能によって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割機能と、前記部分行列分割機能によって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算機能と、前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換機能と、を実現するプログラムを記憶したことを特徴とする画像処理方法の記録媒体である。
【００２２】
以上により、本発明は、対象物体の撮影によって得られる時系列画像を用い、その時系列画像の各時点の画像に含まれる特徴点同士を対応づけ、その対応づけられた各特徴点の位置座標情報から対象物体の各時点の３次元の位置と姿勢、したがって、時系列画像間の幾何学的結合条件を求め、一方でその対応づけられた各特徴点の輝度情報から時系列画像間の光学的結合条件及び光源の方向を計算し、時系列画像間の幾何学的及び光学的結合条件を用いて各画素における距離情報及び表面法線ベクトルを獲得し、さらに表面法線ベクトルを利用して距離情報を補正したものを上記対象物体のモデル情報として出力するものである。
【００２３】
なお、表面法線ベクトルは距離情報の補正以外に映像の生成に利用できる。
【００２４】
このような構成により、例えば人間の頭部のように複雑形状、かつ、動きのある物体を対象に、一台のカメラを入力装置としてそのモデルを自動作成することができる。
【００２５】
なお、本発明は、この意味で複数台のカメラを用いるＵＳ  Ｐａｔｅｎｔ  ５４７５４２２  （参考文献１：ＵＳ  Ｐａｔｅｎｔ  ５４７５４２２−  Ｄｅｃ．  １２，  １９９５  （ＮＴＴ）  ”Ｍｅｔｈｏｄ  ａｎｄ  ａｐｐａｒａｔｕｓ  ｆｏｒ  ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ  ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｏｂｊｅｃｔｓ”）等の提案とは内容を異にする。
【００２６】
また、以下で発明の実施の形態として対象物体の動きを算出するためにＣ．  Ｔｏｍａｓｉ  等による因子分解法（参考文献２：Ｃ．  Ｔｏｍａｓｉ  ａｎｄ  Ｔ．  Ｋａｎａｄｅ，  ”Ｓｈａｐｅ  ａｎｄ  ｍｏｔｉｏｎ  ｆｒｏｍ  ｉｍａｇｅ  ｓｔｒｅａｍｓ  ｕｎｄｅｒ  ｏｒｔｈｏｇｒａｐｈｙ：  Ａ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｍｅｔｈｏｄ”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｖｏｌ．  ９：２  ｐｐ  １３７−１５４，  １９２２  ）を用いており、その際、一撃計算により特定に選択された点の３次元位置が同時に求まるが、これの外挿を基本とするモデル化は関連して別途”特願平９−７６７号”として出願している。また、対応づけに基づくステレオ法を応用することで対象物体の３次元表面全体を復元する方法についても”特願平９−２７３５７３号”として出願している。
【００２７】
これに対し本発明は、３次元の奥行きと表面の法線ベクトルを同時推定しようとするものであり、物体形状の精度の向上に寄与するものである。
【００２８】
【発明の実施の形態】
（参考実施形態）
以下、本発明には含まれないが、後述する本発明の実施形態の参考となる参考実施形態について、人間の頭部の表面モデルを自動生成する場合を例にとって説明する。
【００２９】
図１（ａ）に本実施形態の基本的な構成例を示し、図１（ｂ）に本実施形態の詳細な構成例を示す。
【００３０】
画像取込部０により得られた動画像系列から、まず特徴点抽出部１により、モデル作成を行う物体の表面を構成する特徴点を抽出する。
【００３１】
次に、３次元動き推定部２により、連続画像間でこれら抽出した特徴点同士の対応づけを行い、対応づけられた特徴点群の２次元座標から生成される行列を係数行列として含む関係式を変形操作することにより、頭部の位置・姿勢を求める。
【００３２】
また、線形結合係数計算部３により、対応づけられた各特徴点の輝度情報から生成される行列を係数行列として含む関係式を変形操作することにより、画像間の線形結合係数を求める。
【００３３】
最後に、距離情報検出部４により、頭部の位置・姿勢と画像間の線形結合係数にしたがって、幾何学輝度拘束条件に基づいて、物体への距離情報を検出し、形状復元を行う。
【００３４】
次に、上記基本構成における各構成要素の構成例について説明する。
【００３５】
（ａ）特徴点抽出部
図２に、特徴点抽出部１の詳細な構成例を示す。
【００３６】
まず平滑化処理部１０において、抽出する原画像に平滑化処理を施す。この処理をデジタルフィルタで実現する場合は、例えば、
【数１】
0003630582.tif 000002
という係数を持つサイズ３の空間フィルタで実現できる。
【００３７】
この処理は、次の２次元差分処理部１１、及び方向別分散値計算部１４における、ノイズ低減のための前処理として行われる。二次空間差分処理部１１では、上記平滑化処理結果に対し二次空間差分処理を施すことにより、孤立した特徴点部分の明度強調を行う。この処理をデジタル空間フィルタで実現する場合は、例えば、
【数２】
0003630582.tif 000003
という係数を持つサイズ３の空間フィルタで実現できる。
【００３８】
次に、孤立特徴点抽出部１２において、この明度強調結果で適当に設定した閾値以上の部分を抽出することにより、例えば頭部における黒子のような孤立した特徴点を抽出し、この座標値を記憶部に順次格納する。
【００３９】
さらに、局所マスク設定部１３では、前記平滑化処理部１０の結果に対し、例えば頭部における目尻、唇の端点のような連続特徴点を抽出するための局所マスク領域を順次設定する。
【００４０】
連続特徴点は、例えば目尻であれば目領域の上輪郭と下輪郭の交差する点、唇の端点であれば上唇の輪郭と下唇の輪郭の交差する点、というように、複数の輪郭線（エッジ）の交差部分、すなわち複数の方向に輝度勾配が強い点として求められる。マスク領域の大きさは、抽出する特徴点を構成する輪郭線（エッジ）の長さと必要となる演算量を考慮して最適となるように設定する。
【００４１】
次に、方向別分散値計算部１４において、この設定された各局所マスク内の方向別分散値を計算する。この方向としては例えば、垂直、水平、右４５゜、左４５゜の４方向を選択し、局所マスク内の各方向に連続した画素の明度値を用いて、各方向別分散値を計算する。
【００４２】
次に、連結特徴点抽出部１５において、上記方向別分散値計算部１４において計算された方向別分散値が、２つ以上の方向に対し一定閾値以上の値を有する局所マスクの中心点を連結特徴点として抽出し、この座標値を記憶部に順次格納する。
【００４３】
（ｂ）３次元動き情報抽出部
次に、前記３次元動き情報抽出部２の詳細な構成例について、図３を用いて説明する。
【００４４】
特徴点対応づけ部２０において、前記特徴点抽出部１で抽出された孤立特徴点群、及び連結特徴点群の、連続時系列画像間における対応づけを行う。
【００４５】
図４に、上記特徴点対応づけ部２０の詳細な構成例を示す。
【００４６】
まず、特徴点選択部２００で、連続時系列画像間における対応づけを行う特徴点の組を選択する。
【００４７】
次に、局所マスク設定部２０１において、これら特徴点を含む５×５や７×７などのサイズを持つ局所マスク領域を各々の画像中に設定する。
【００４８】
次に、相関値計算部２０２において、これら局所マスク領域間の相関係数の値を計算する。
【００４９】
次に、対応判定部２０３において、上記相関係数値が閾値以上、かつ最大となる組を、対応づけが求まったものとして記憶部に格納する処理を、抽出された各特徴点について順次行う。
【００５０】
次に、計測行列設定部２１では、これら対応づけの得られた特徴点の画像中の座標値を用いて、３次元動き情報を求めるための計測行列を作成する。
【００５１】
本実施形態では、モデル作成を行う対象そのものの奥行きに対し、観測に用いるカメラが対象から十分遠方にある（正射影の条件を満たす）場合について、因子分解法を適用した例について述べる。この条件は例えば顔を撮影する場合、通常カメラを特に遠方に配置しなくても満たされる。
【００５２】
対応づけが得られた特徴点の組において、ｆ枚目の画像中のｐ番目の特徴点の位置を（Ｘｆｐ  ，Ｙｆｐ  ）とする。また、画像の相枚数をＦ、特徴点の組の数をＰとする。
【００５３】
ｆ枚目の画像中の特徴点群の重心位置を（Ａｆ  ，Ｂｆ  ）とするとこれらは、
【数３】
0003630582.tif 000004
として与えられる。次にこれらの座標間の差をとって、
【数４】
0003630582.tif 000005
とする。このとき計測行列Ｗは、
【数５】
0003630582.tif 000006
として設定される。この計測行列Ｗは、２Ｆ×Ｐの行列である。次に、計測行列変形操作部２２では、上記計測行列Ｗに対し変形操作を行って
【数６】
0003630582.tif 000007
と２つの行列の積の形に分解する。ただし、
【数７】
0003630582.tif 000008
は２Ｆ×３の行列、
【数８】
0003630582.tif 000009
は３×Ｐの行列である。この分解は、例えば特異値分解処理を用いることにより実行される。
【００５４】
ここで、Ｓにおける成分Ｓｐ  は対応づけられたｐ番目の特徴点の３次元位置（Ｘｐ  ，Ｙｐ  ，Ｚｐ  ）である。一方、Ｍの行列の成分のうち（ｘｆ  ，ｙｆ  ）は、ｆ番目の画像の基本ベクトルであり、動画像系列における各時点での画像の中心位置を与えており、これらの差からフレーム間の物体の３次元の動き情報、すなわち位置と姿勢の変化を決定することができる。
【００５５】
なお、特異値分解は一般に任意性を有するが、Ｍの要素ベクトルが正規直交系を構成することなどの適当な拘束条件の下に分解を一意に決定できる（詳細は参考文献２）。
【００５６】
これにより、動画像系列中にある時点での入力画像の任意の点の座標と、その点までの推測される距離Ｚから、他の画像において対応する点の座標を算出することができる。
【００５７】
（ｃ）画像間線形結合計算部
次に、前記画像間線形結合計算部３の詳細な構成例について、図５を用いて説明する。
【００５８】
ここで、一般に１つの無限遠点光源を考えるときある画素ｘｉ  の輝度Ｉは、その画素に対応する物体表面上の点の内向きの３次元単位法線ベクトルに表面反射率を乗じた量Ｂｉ  と、点光源の光の方向を示す３次元単位ベクトルに光源の
強さを乗じた量ｓ１  との内積、すなわち
【数９】
0003630582.tif 000010
で表現されることに注意されたい（図８参照）。またこれに基づいて、単一点光源下で得られる完全拡散反射表面を持つ凸物体の任意の画像は、同一平面状にない３個の単一点光源によって対象物体を同じ方向から撮影した任意の３枚の画像を基底画像とし、それらの線形結合で表現できることがＳｈａｓｈｕａ  （参考文献３：Ａ．  Ｓｈａｓｈｕａ  ”Ｇｅｏｍｅｔｒｙ  ａｎｄ  ｐｈｏｔｏｍｅｔｒｙ  ｉｎ  ３Ｄ  ｖｉｓｕａｌ  ｒｅｃｏｇｎｉｔｉｏｎ”  Ｐｈ．  Ｄ．  Ｔｈｅｓｉｓ，  Ｄｅｐｔ．  Ｂｒａｉｎ  ａｎｄ  Ｃｏｇｎｉｔｉｖｅ  Ｓｃｉｅｎｃｅ，  ＭＩＴ，  １９９２．）によって示されている。
【００５９】
いま、物体表面上の点が動画像系列上の点ｘ（ｊ）  に投影されるとき、無限遠のｎｋ  個の点光源による反射をＬａｍｂｅｒｔｉａｎモデルで表現すると、ｊ番目の画像のｉ番目の点の輝度値は、
【数１０】
0003630582.tif 000011
で与えられる。ただし、上式において、Ｂｉ  は物体表面の内向きの単位法線ベ
クトルに表面反射率を乗じたものであり、Ｒ（ｊ）  は最初の画像からｊ番目の画
像までの物体の回転を表す行列であり、ｓｋ  はｋ番目の光の方向を示す単位ベ
クトルに光源の強さを乗じたものである。ある光源によって画素が照射されていないと内積が負の値をとるのでｍａｘ（・，０）とする必要がある。
【００６０】
式（７）  は次のように書くこともできる。
【００６１】
【数１１】
0003630582.tif 000012
は光源に関する因子であり、Ｄｋ  （ｊ）  はｋ番目の光源がｊ番目の画像を照射しているかどうかで、１または０の値をとる。
【００６２】
画像中の特徴点がｎｉ  個であり、ｎｊ  枚の動画像系列を解析する場合、以下の行列表現をすることができる。
【００６３】
【数１２】
0003630582.tif 000013
なお、ＩはＩｉ  （ｊ）  を要素とするｎｉ  ×ｎｊ  の行列であり、ＢはＢｉＴを各行とするｎｉ  ×３の行列であり、ｓはｓ´（ｊ）を各列とする３×ｎｊ  の行列である。
【００６４】
３次元動き抽出部２中で記述済みの特徴点対応づけ部２０で、ｎｊ  枚通して全ての動画像系列中の各々の特徴点に対して対応づけを行うことで、対応づけされた特徴点の輝度値Ｉｉ  （ｊ）  をＩにおいて記録することができる。
【００６５】
輝度行列設定部３１では、これら対応づけの得られた特徴点における輝度値を用いて、輝度行列を作成する。
【００６６】
次に、単一点光源を考えるとき輝度行列変形操作部３２では、計測行列Ｉに対し例えば特異値分解等を行うことによって、ｒａｎｋ３の行列による近似表現を得ることができる。
【００６７】
【数１３】
0003630582.tif 000014
は、線形結合係数を含む３×ｎｊ  の行列である。
【００６８】
よく知られているように特異値分解による分解は一意ではなく、一般には任意の３×３正則行列Ａを用いて次のように表現される。
【００６９】
【数１４】
0003630582.tif 000015
を満たす行列Ａを計算すれば距離情報と同時に光源の方向が求まる。そのような行列Ａは以下のように計算することができる。
【００７０】
まず、式（１１）の行列ｓに含まれる光源の物理的な意味に立ち戻ると、その解釈は次のようになる。すなわち１列目のｓ（１）  が最初のフレームの光源ベクトル、つまり真の光源ベクトルであり、その他の列は物体の回転にしたがい
【数１５】
0003630582.tif 000016
によって表されるベクトルとなる。ここでＲ（ｊ）  は最初のフレームからｊ番目のフレームにかけての物体の３×３次元回転行列であり、回転行列の転置を乗じることは、光源が相対的に逆向きの回転をしているという解釈に基づいている。回転行列は、前記３次元動き抽出部２の説明における式（４）  でサンプル点の座標から計算した２×３次元行列Ｍ（ｊ）  から直接与えられる。
【００７１】
式（１４）両辺の各列の関係を、上記の光源ベクトルが満たすべき条件式（１５）に代入すると、関係式
【数１６】
0003630582.tif 000017
が得られる。式（１６）は基準画像に対して参照画像１フレームにつき３本の方程式を与えるので、参照画像が３フレームあれば方程式が９本得られ、これらを適当に展開すると行列Ａの９個の要素についての同次方程式を得る。
【００７２】
しかしその解には自由度が３残っており、同次方程式のみから行列Ａを一意に決定することはできない。これは物理的に条件が不足していることを意味しており、最初のフレームにおける光源と物体の初期配置に自由度３の任意性があるためと解釈できる。この任意性を取り除いて問題を良設定なものにするためには、何らかの拘束条件を与えることが必要である。そこで、条件として任意のサンプル点を一つ取り上げ、その点における法線方向ＢｉＴを用いることにする。これは知識として与えてもよいが、そのサンプル点周辺の奥行きを先に計算しておくことで、その領域の勾配から計算することができる。式（６）  と式（１４）から
【数１７】
0003630582.tif 000018
以上に述べた行列Ａに関する条件（１６）及び（１７）を入力画像が３枚の場合についてまとめて整理すると、
【数１８】
0003630582.tif 000019
（ｄ）距離情報検出部
次に、距離情報検出部４の詳細な構成例について、図７を用いて説明する。
【００７３】
基本的な概念は動画像中からある基本画像を選択し、この画像中で顔に相当する部分の各画素において他の画像との幾何的輝度拘束―幾何学的に対応する点における輝度間に成立する線形拘束―にしたがって距離を推定するものであり、前記３次元動き情報抽出部２と前記画像間線形結合計算部３の結果の双方を利用するものである。
【００７４】
この概念は図７に４枚の時系列画像を用いて示されるごとくである。
【００７５】
基準画像の任意の画素の輝度Ｉｉ  （１）  は、他の３枚の画像において幾何学的に対応している点の輝度Ｉｉ（２）  ，Ｉｉ（３）  ，Ｉｉ（４）  の線形結合で表される。なお図中、対象物体の動きは撮影するカメラの逆位相の動きとして解釈されている。
【００７６】
すなわち、１番目の画像において顔表面のある点Ｘｉが投影された画素の輝度Ｉｉ（１）  を考えるとき、その点Ｘｉへの距離Ｚを仮定、これにしたがって同じ点Ｘｉが異なる時点の画像において投影された輝度Ｉｉ（２）  ，Ｉｉ（３）  ，Ｉｉ（４）  を推測し、これらの輝度が、画像間線形結合計算部で計算された線形結合係数に基づいた線形結合拘束を正しく満たす度合を評価することで、正しい距離Ｚを探索によって求めることができる。
【００７７】
ある距離Ｚを仮定するときこれに対する３次元基底画素計算部４０と評価関数計算部４１は以下のように構成する。
【００７８】
【数１９】
0003630582.tif 000020
なる拘束式が成立し、これを最小２乗の意味でもっとよく満足する解として次の３次元ベクトルを得る。
【００７９】
【数２０】
0003630582.tif 000021
距離判定部４２では、推測の距離Ｚを変化させつつ上記評価関数Ｅｉ（Ｚ）  の計算を行い、評価関数を最小（理想的には零）とするＺをもってその点での距離とする。以上の操作を画像上の各点において実行することで画像全体の距離画像を得る。
【００８０】
ここで、前記光源方向推定部３３により光源の方向がすでにわかっている場合は、さらに法線ベクトル計算部４３によって物体表面の法線ベクトルを計算できる。この場合、前記評価関数計算部４１における式（２１）は次式で置き換えられる。
【００８１】
【数２１】
0003630582.tif 000022
また、法線ベクトルが得られると、距離補正部４４で局所領域での奥行きの連続性を利用し、各画素の周辺画素での奥行きＺ０  と法線ベクトルＢｉＴから奥行きの推定値Ｚｅ  を計算することもできる。周辺の画素の範囲は連続性を考慮する度合に応じて決定し、奥行き推定値はその範囲内の各画素での計算値の例えば平均値を取る。簡単には上下左右の４画素だけを考慮しても効果が見られるが、範囲をωとし、そこに含まれる画素数をｎとしてＺｅ  を定式化すると
【数２２】
0003630582.tif 000023
となる。ただしＺ０ｋは画素ｋにおける奥行きの一次近似、Ｄｋ  は画素ｋから画素ｉまでの距離、ｇｒａｄｋ  は画素ｋから画素ｉを見た方向の距離勾配であり各画素の法線方向ＢＴ  から算出される。前記距離判定部４２の奥行き探索において、式（２２）による誤差関数Ｅｉ  （Ｚ）  の極小ピークが複数存在する場合は、それぞれを候補とした上で式（２４）による奥行き推定値Ｚｅ  に最も近い極小ピークをもって真の奥行きとすることができる。こうした処理は一種のヒューリスティックとも呼べ、また結果としてスムージング効果を持つことになるが、奥行き探索の結果から直接意味のある値のみを残すことを可能とする。
【００８２】
変更例１
なお、本発明は上記実施形態で記載した内容に限定されるものではない。
【００８３】
例えば、距離判定部４２で距離Ｚを推測する際、３次元動き情報抽出部において物体の動きと同時に抽出される特徴点の３次元位置情報Ｓを用いて距離Ｚの推測範囲を限定することができる。
【００８４】
光源についてはさらに、ここで記述した単一点光源における議論を基に、その組合せとして一般光源へ拡張した環境へも対応することが可能である。このように本発明は物体の幾何的条件と光学的条件を組み合わせることにより様々な拡張が可能である。
【００８５】
（本発明の実施形態）
図９に本発明の実施形態の詳細な構成例を示す。
【００８６】
参考実施形態では、単一光源の場合について説明したが、本発明の実施形態では、複数光源が存在する場合について説明する。なお、画像間線形結合部計算部３の式(18)までは、参考実施形態と同様の処理を行う。そのために、式(1) から式(18)までは、参考実施形態を参照し、式(19)以降については、本発明の実施形態の式番号を参照する。
【００８７】
したがって、図１０に示す画像間線形結合部計算部３の輝度行列変形操作部３２において複数点光源が存在する場合を考える。
【００８８】
最も単純な場合として、全ての点光源が物体表面上の全ての点を照射している状況では、それらの点光源の重ね合わせに等価な一つの光源を仮定し、上述の単一光源における方法をあてはめることで線形結合係数を計算することができる。さらに光源方向推定部３３で光源の方向が推定できる。しかし、物体表面上の多くの点は実際には複数光源の部分的な組合せによって照射されており、その組合せは各点においてまちまちである。
【００８９】
すなわち、輝度行列設定部３１で設定した輝度行列は、様々な光源の組合せによって生じた輝度が格納されることになる。この状況では輝度行列分割部３０を経て輝度行列変形操作部３２以降の処理を行う必要がある。
【００９０】
輝度行列分割部３０では、輝度行列を共通する組合せの光源によって生じた輝度のみを含んだ部分行列へ各行の並べ替えによって分割し、正準化する。この分割ができると、輝度行列変形操作部３２以降の処理は各部分行列ごとに行い、対応する線形結合係数及び光源の方向を計算すればよい。
【００９１】
以下、部分行列への分割を一般性を失うことなく２つの点光源が存在する場合を例にとって説明する。
【００９２】
まず、２点光源（ｌ１  ，ｌ２  とおく）における輝度行列は単一光源下における関係式（１０）に対応し、次のように表現できる。
【００９３】
【数２３】
0003630582.tif 000024
ここで、ｓ１  とｓ２  は光源ｌ１  とｌ２  に対応した列を含み、Ｄｋ（ｋ＝０，１，２，３）は３×３単位行列Ｅ及び零行列からなる次の４種類の６×６行列のいずれかで、輝度行列Ｉの各要素に寄与している光源の組合せに対応している。
【００９４】
【数２４】
0003630582.tif 000025
Ｄ０は特徴点がｌ１  とｌ２  の両方の光源に照射されている場合、Ｄ１及びＤ２は特徴点が各々ｌ１  またはｌ２  の片一方に照射されている状況に対応する。特徴点が完全な陰の部分にある場合がもしあれば、その場合の輝度値は０でありＤ３が対応する。
【００９５】
いま、ｎｉ  個の特徴点のうちｎ０  個が入力画像列を通して光源ｌ１  とｌ２  の両方に照射されており、ｎ１  個が光源ｌ１  のみに、またｎ２  個が光源ｌ２  に照射されているとする。
【００９６】
つまり、陰になる部分を除外して考えｎｉ  ＝ｎ０  ＋ｎ１  ＋ｎ２  とする。
【００９７】
ここで、輝度行列の分割の方法を説明する前に、分割した部分行列の表現形式について述べておく。何らかの方法で特徴点の分類が照射する光源の組合せごとにわかっている状況を考え、これにしたがって輝度行列Ｉの各々ｎｋ  個の特徴点に対応する部分行列Ｉｋ（ｋ＝０，１，２）への分割がなされているとする。このとき式（１９）は次のように表現でき、
【数２５】
0003630582.tif 000026
と表される。ここでｎｋ  ×３行列Ｂｋの各行に係わる特徴点はＤｋ  （ｋ＝０，１，２）に対応する光源の組に照射されており、またｓ０は光源ｌ１  とｌ２  を重ね合わせたベクトル
【数２６】
0003630582.tif 000027
であることに注意する。
【００９８】
式（２０）では陰の部分を除外して考えることでＤ３に対応するＩ３を無視しているが、更に光源Ｉ１  が物体全体を、光源ｌ２  が物体の一部分のみを照射していると考えても一般的な議論には差し支えない。これにより部分行列Ｉ２を省略するとき（ｎｉ  ＝ｎ０  ＋ｎ１  ）、輝度行列は次のような正準型となる。
【００９９】
【数２７】
0003630582.tif 000028
同じことが輝度行列Ｉにもそのまま当てはまるため、入力画像の枚数を６枚以上、つまりｎｊ  ≧６としておく（一般に光源の組合せがｎｍ  とおりある場合は３ｎｍ  枚を用いることになる）。
【０１００】
ここで、輝度行列Ｉの任意の行がｎｊ  次元輝度空間Ｒｎｊの一点を表すものと解釈すると、部分行列Ｉ０の各行は３次元部分空間Ｌ０  の一点を、また部分行列Ｉ１の各行は別の３次元部分空間Ｌ１  の一点を表すことになる。
【０１０１】
したがって、特徴点を分類する問題は、空間Ｒｎｊにおけるｎｊ  個の特徴点群を２つの異なる３次元部分空間に分けることに帰着される。
【０１０２】
以下では、まずこの分類が数学的に可能であることを述べた上で、表面行列と呼ばれる行列を導入することで現実的に分類を行う方法について述べる。
【０１０３】
【数２８】
0003630582.tif 000029
定義よりこれはランクｒの半正値対称行列である。その固有値をλ１  ≧，…，≧λＮ  （最初のｒ個のみが零でない）とし、対応する固有ベクトルの正規直交系を｛υ１  ，…，υＮ  ｝とする。そしてＮ×Ｎ作用行列Ｑ＝（Ｑαβ）を次のように定義する。
【０１０４】
【数２９】
0003630582.tif 000030
すなわち、αとβは２つの任意の特徴点、ＩαとＩβは輝度行列Ｉのうちでそれらに対応する行とする。定義よりこれはランク６の半正値対称行列である。その固有値をλ１  ≧，…，≧λｎｉ（最初の６個のみが非零）とし、対応する固有ベクトルの正規直交系を｛υ１  ，…，υｎｉ｝とする。そしてｎｉ  ×ｎｉ  作用行列Ｈ＝（Ｈαβ）を次のように定義し
【数３０】
0003630582.tif 000031
つまり、この表面行列Ｈは各特徴点対αとβの分類の可能性を示すもので、２点を照射する光源の組合せが共通であるか異なるかをＨαβの計算に基づいて判断できる。Ｈαβが非零であれば光源の組合せが共通で、光源の組合せが異なればＨαβの値が零となる。表面行列Ｈを求めることで特徴点全てを対象としてこの判断を組織的に行う方法を以下で述べる。
【０１０５】
図１１に、輝度行列分割部３０の詳細な構成例を示す。
【０１０６】
まず、表面行列生成部３００では，輝度行列Ｉに次の特異値分解を直接に施す。
【０１０７】
【数３１】
0003630582.tif 000032
となる。
【０１０８】
定義から表面行列Ｈは輝度行列Ｉから一意に計算できるばかりか、輝度行列Ｉの行の順序を入れ替えても、その値の組Ｈαβは一定のままで並び方が入れ替わるのみである。つまり輝度行列Ｉの行αとβを入れ替えると、行列Ｕの対応する行αとβが入れ替わり、結果として表面行列Ｈの行αとβが一定の値のまま同時に入れ替わることになる。
【０１０９】
【数３２】
0003630582.tif 000033
表面行列対角化部３０１では、表面行列生成部３００で生成した表面行列Ｈのブロック形式への対角化を行う。ここでブロックの数、つまり特徴点群の輝度が帰属する輝度部分空間の数ｍに関しては、特徴点群の分類に先立って輝度行列ランクｒを計算することで求められる。すなわちｒ＝３ｍである。
【０１１０】
計測した特徴点の輝度に雑音を含む環境では、表面行列Ｈの要素のうち異なる光源の組合せに照射された特徴点対に対応するものでも小さな非零値をもつ場合が考えられる。しかし、表面行列Ｈの対角化は、表面の相関エネルギーを表す量としてＨ２  αβを用い、Ｈの非対角成分のエネルギーを最小化するように全ての行と列の入れ替えを探索することで行う。この問題に対しては、簡単な最小化アルゴリズムで十分であるが、ヒルクライミング法や欲張り法などの探索法を用いて効率を上げることも可能である。
【０１１１】
続いて、輝度行列正準化部３０２では、表面行列対角化部３０１において表面行列Ｈの行と列の各々の組を並べ替えたのと、同じ順序で輝度行列Ｉの行の入れ替えを行う。この結果、同一の光源に照射された特徴点が隣接した行に並ぶ輝度行列Ｉの正準型輝度行列を生成することができる。
【０１１２】
そして、得られた部分輝度行列の各々に対して独立に輝度行列変形操作部３２以降の処理を施すことで、対応する線形結合係数及び光源の方向ｓ０とｓ１を計算する。以上の処理は２点光源の場合だけでなく任意点光源に対しても適応できる。
【０１１３】
次に距離情報検出部４の詳細な構成例について、図１２を用いて説明する。
【０１１４】
基本的な概念は動画像中からある基本画像を選択し、この画像中で顔に相当する部分の各画素において他の画像との幾何的輝度拘束―幾何学的に対応する点における輝度間に成立する線形拘束―にしたがって距離を推定するものであり、前記３次元動き情報抽出部２と前記画像間線形結合計算部３の結果の双方を利用するものである。この概念は図７に４枚の時系列画像を用いて示されるごとくである。
【０１１５】
すなわち、１番目の画像において顔表面のある点Ｘｉが投影された画素の輝度Ｉｉ  （１）  を考えるとき、その点Ｘｉへの距離Ｚを仮定、これにしたがって同じ点Ｘｉが異なる時点の画像において投影された輝度Ｉｉ（２）  ，Ｉｉ（３）  ，Ｉｉ（４）  を推測し、これらの輝度が、前記画像間線形結合計算部３で計算された線形結合係数に基づいた線形結合を正しく満たす度合いを評価することで、正しい距離Ｚを探索によって求めることができる。
【０１１６】
ある距離Ｚを仮定するときこれに対する３次元基底画素計算部４０と評価関数計算部４１は以下のように構成する。
【０１１７】
【数３３】
0003630582.tif 000034
ここで評価関数Ｅｉ  （Ｚ）は光源の異なる組合せに対する複数の線形結合係数について計算し、その最も小さい値を選択する。
【０１１８】
距離判定部４２では、推測の距離Ｚを変化させつつ上記評価関数Ｅｉ  （Ｚ）の計算を行い、評価関数を最小（理想的には零）とするＺをもってその点での距離とする。以上の操作を画像上の各点において実行することで画像全体の距離画像を得る。
【０１１９】
変更例２
なお、本発明は上記実施形態で記載した内容に限定されるものではない。
【０１２０】
光源についてはさらに、ここで記述した複数の点光源における議論を基に、その組合せとして一般光源へ拡張した環境へも対応することが可能である。このように本発明は物体の幾何的条件と光学的条件を組み合わせることにより様々な拡張が可能である。
【０１２１】
【発明の効果】
本発明によれば、複雑形状かつ動きのある物体の形状復元を、実用的な精度と処理速度を満足して行うための画像処理方法及びその装置を提供することが可能となり、３次元ＣＡＤ、また３次元ＣＧ（コンピュータグラフィクス）を用いた映像作成等の技術に、大きく貢献する。
【図面の簡単な説明】
【図１】（ａ）は、本発明の参考実施形態の基本的な構成を示すブロック図である。（ｂ）は、（ａ）の全体構成を示すブロック図である。
【図２】図１の特徴点抽出部の詳細な構成を示すブロック図である。
【図３】図１の３次元動き抽出部の詳細な構成を示すブロック図である。
【図４】図３の特徴点対応づけ部の詳細な構成を示すブロック図である。
【図５】図１の画像間線形結合計算部の詳細な構成を示すブロック図である。
【図６】図１の距離情報検出部の詳細な構成を示すブロック図である。
【図７】図６の距離情報検出部において用いられる幾何学的輝度拘束を示すスケッチ図である。
【図８】物体の表面反射モデルを示すスケッチ図である。
【図９】本発明の画像処理装置の全体構成を示すブロック図である。
【図１０】本発明の実施形態の画像間線形結合計算部の詳細な構成を示すブロック図である。
【図１１】輝度行列分割部の詳細な構成を示すブロック図である。
【図１２】距離情報検出部の詳細な構成を示すブロック図である。
【符号の説明】
０    画像取込部
１    特徴点抽出部
２    ３次元動き情報抽出部
３    画像間線形結合計算部
４    距離情報検出部
１０    平滑化処理部
１１    ２次元空間差分処理部
１２    孤立特徴点抽出部
１３    局所マスク設定部
１４    方向別分散値検出部
１５    連結特徴点抽出部
２０    特徴点対応づけ部
２１    計測行列設定部
２２    計測行列変形操作部
２００    特徴点対選択部
２０１    局所マスク設定部
２０２    相関値計算部
２０３    対応判定部
３１    輝度行列設定部
３２    輝度行列変形操作部
３３    光源方向推定部
３００    表面行列生成部
３０１    表面行列対角化部
３０２    輝度行列正準化部
４０    ３次元基底画素計算部
４１    評価関数計算部
４２    距離判定部
４３    法線ベクトル計算部
４４    距離補正部
【図１】
0003630582.tif 000035
【図２】
0003630582.tif 000036
【図３】
0003630582.tif 000037
【図４】
0003630582.tif 000038
【図５】
0003630582.tif 000039
【図６】
0003630582.tif 000040
【図７】
0003630582.tif 000041
【図８】
0003630582.tif 000042
【図９】
0003630582.tif 000043
【図１０】
0003630582.tif 000044
【図１１】
0003630582.tif 000045
【図１２】
0003630582.tif 000046