(57)【要約】【課題】  本発明はＨｅｌｍｈｏｌｔｚ相互画像ペアによる表面再構成とレジストレーションに関する。【解決手段】  画像再構成の方法は、第１画像と対応する相互画像とを含むオブジェクト（３０）に対応する画像のＨｅｌｍｈｏｌｔｚ相互ペアを取得する段階と、Ｈｅｌｍｈｏｌｔｚ相互ペアの取得に関連するイメージングの幾何学的配置を決定する段階と、マッチングのための候補ポイントを選択する段階と、画像の相互ペアでの選択されたポイントと候補ポイントとをマッチングさせる段階とを含む。【選択図】      図１
2005115946.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトに関する画像レジストレーション方法であって、
第１の画像と対応する相互画像とを含むオブジェクトの画像のＨｅｌｍｈｏｌｔｚ相互ペアを取得する段階と、
前記オブジェクトのポーズを推定する段階と、
前記ポーズに対応する推定画像と前記画像相互ペアの内の１つの画像とを予測する段階と、
前記推定画像を前記画像ペアからの対応する実画像と比較する段階と、
前記比較段階に基づいて前記ポーズを推定する段階を改良する段階と、
を含む方法。
【請求項２】
前記取得段階は、
第１光学的中心において第１の受像器によって前記画像ペアの第１の画像と、第２光学的中心において第１の光源とを取り込む段階と、
前記第２光学的中心において前記第１の受像器と第２の受像器の少なくとも１つにより前記画像ペアの第２画像を取り込み、前記第１光学的中心において前記第１の光源と第２光源の少なくとも１つを取り込む段階と、
を含む請求項１に記載の方法。
【請求項３】
前記予測段階は、前記画像相互ペアの第１の画像での対応する複数の選択されたポイントの計測輝度に基づいて、複数の候補ポイントの輝度を求める段階を含む請求項１に記載の方法。
【請求項４】
前記予測段階は、前記選択されたポイントに対応する前記オブジェクト上のポイントに関連するＢＲＤＦとは無関係であることを特徴とする請求項３に記載の方法。
【請求項５】
前記予測段階は、前記画像相互ペアの反射光を含むことを特徴とする請求項３に記載の方法。
【請求項６】
前記予測段階は、前記予測の堅牢性を高めるために影とオクルージョンの作用を活用する段階を含む請求項３に記載の方法。
【請求項７】
前記比較段階は、前記推定画像上の選択された複数のポイントと、前記対応する実画像上の選択された複数の対応するポイントとの差に基づいて誤差を求める段階を含む請求項１に記載の方法。
【請求項８】
前記改良段階は、ダイナミックプログラミングを含む請求項１に記載の方法。
【請求項９】
前記改良段階は、大域非線形最適化アルゴリズムを含む請求項１に記載の方法。
【請求項１０】
前記改良段階は更に、
パラメトリックモデルを設定する段階と、
前記推定画像と前記対応する実画像との一致を改善するために前記モデルのパラメータを更新する段階と、
を含む請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
画像再構成
シェーディングから形状を再構成又は決定する問題は、コンピュータビジョン団体から大きな注目を集めてきた。複数の画像を使用するシェーディングから単眼の形状を決定することは、民生用途の多数の実用的システムに達している。この進歩は、反射光からの形状、相互反射、反射率モデリング、及び抽出からの形状を決定するような多くの関連する分野での発展によって可能になった。
【背景技術】
【０００２】
最近、当該技術分野ではステレオ再構成においてＨｅｌｍｈｏｌｔｚの相互性をうまく用いることが行なわれてきている。この原理は、表面の双方向反射率分布関数（ＢＲＤＦ）が入射各と出射角で対称であることを明らかにしている。ｖｏｎ  Ｈｅｌｍｈｏｌｔｚによる最初の表現では単に鏡面反射を意味していた。後にＬｏｒｄ  Ｒａｙｌｅｉｇｈによってより一般的な結果が示された。全体的な表面について、基礎物理学からのＨｅｌｍｈｏｌｔｚの相互性原理の導出がごく最近確立されたことは非常に興味深いことである。
【０００３】
カメラと光源の位置を入れ換えることによって、Ｈｅｌｍｈｏｌｔｚの相互性の原理を任意のＢＲＤＦを有する表面の形状を復元するのに活用することができる。現在、満足できる画像再構成結果を得るためには複数のＨｅｌｍｈｏｌｔｚペアが必要とされる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、当該技術分野で必要とされることは、複数の画像ペアを用いることなくＨｅｌｍｈｏｌｔｚの相互性を利用できるようにする連続的な表面用の再構成アルゴリズムである。
【０００５】
画像レジストレーション
多くの応用において、既知の３Ｄ表面モデルは、空間にある対応するオブジェクトの位置と整列している必要がある。オブジェクトが１セットのカメラの前に任意に置かれている場合、モデルは撮像画像と位置合わせすることができる。このように、オブジェクトのポーズをカメラに対して求めることができる。このようなシナリオの１つの実施例は、計測システムを使用して既知の部品のＣＡＤモデルを新しく製造される品目の画像と並べる産業用部品検査システムである。画像及びモデルレジストレーションはまた、医学領域においても有用である。例えば、患者のＣＴスキャンは等表面のセットを生成するのに使用され、跡で手術台の患者の画像と並べられる。これは一般に画像誘導型手術の初期段階である。
【０００６】
表面と撮像画像とのレジストレーションを達成するために使用されてきた幾つかの手法がある。カメラの座標系での距離画像を生成できる場合には、反復最近傍点（ＩＣＰ）などのアルゴリズムを使用することができる。距離画像は、テクスチャされた光再構成又は高密度ステレオ再構成などの種々の方策を使用して収集することができる。レーザーストライピングなどのテクスチャされた光技術は、長時間の間オブジェクトを静止させておくことが必要とされ、種々のタイプの表面仕上げ（磨かれた金属及びファイバーグラス複合材などの）によって混同される場合がある。ほとんどの高密度ステレオ再構成アルゴリズムは、画像対画像の一致を確定するのに表面テクスチャに依存するが、画像化されることになるオブジェクトの全てが表面テクスチャを含むわけではない。
【０００７】
別の手法は、結果として得られる撮像画像用の生成モデルとして３Ｄ表面構造をビューすることである。オブジェクトポーズの初期推定が妥当と思われる場合には、勾配下降を用いて生成された画像と観測された画像の差を最小にすることによってポーズ推定を改善することができる。照明源に関して簡単な仮定を行うことによって、表面を所与のカメラフレームにレンダリングすることができる。初期の研究では、表面トポロジー及び地形反射率の１つのモデルが、衛星画像を整列するために使用された。他のものは、相互情報量（ＭＩ）が生成された画像と観測された画像の差を計測するための妥当なメトリックであることを示してきた。画像のステレオペアは、別の画像の輝度値に基づいて１つの画像の輝度値を生成するために用いられてきた。これは、両方の画像に表面上の各ポイントを投影し、生成された第２の画像に第１の画像で求められた輝度値を移送することによって行なわれる。この手法は、直接表面レンダリングよりも現実的であるが、表面反射率においてＬａｍｂｅｒｔｉａｎモデルを仮定する点では正確ではない。従って、当該技術分野で必要とされることは、画像レジストレーションのためのＨｅｌｍｈｏｌｔｚの相互性に基づくより正確な生成モデルである。
【０００８】
上記に説明された実施形態の他の特徴及び利点は、以下の詳細な説明及び図面から当業者であれば認識し理解するであろう。
【課題を解決するための手段】
【０００９】
例示的な実施形態において、第１の画像と対応する相互画像とを含むオブジェクトの画像のＨｅｌｍｈｏｌｔｚ相互ペアを取得する段階と、画像のＨｅｌｍｈｏｌｔｚ相互ペアの取得に関連するイメージングの幾何学的配置を決定する段階と、第１の画像内の複数のポイントを選択する段階と、対応する相互画像内の対応する候補ポイントを識別する段階と、複数のポイントの中の１つの選択されたポイントと対応する候補ポイントの１つの候補ポイントとをマッチングさせる段階とを含む画像再構成方法が開示される。
【００１０】
また、別の例示的な実施形態において、第１の画像と対応する相互画像とを含むオブジェクトの画像のＨｅｌｍｈｏｌｔｚ相互ペアを取得する段階と、オブジェクトのポーズを推定する段階と、ポーズに対応する推定画像と画像相互ペアの内の１つの画像とを予測する段階と、推定画像を画像ペアからの対応する実画像と比較する段階と、比較に基づいてポーズを推定する段階を改良する段階とを含むオブジェクトに関する画像レジストレーション方法が開示される。
【００１１】
更に別の例示的な実施形態において、コンピュータに画像再構成の上述の方法を実行させる命令を含む機械可読コンピュータプログラムコードで符号化された記憶媒体が開示される。
【００１２】
また、例示的な実施形態において、プロセッサに画像再構成の上述の方法を実行させるように構成されたコードを含むコンピュータデータ信号が開示される。
【００１３】
更に別の例示的な実施形態において、画像再構成のためのシステムが開示される。このシステムは、第１の画像と対応する相互画像を含むオブジェクトの画像のＨｅｌｍｈｏｌｔｚ相互ペアを取得する手段と、画像のＨｅｌｍｈｏｌｔｚ相互ペアの取得に関連するイメージングの幾何学的配置を決定する手段と、第１の画像内の複数のポイントを選択して対応する相互画像内の対応する候補ポイントを識別する手段と、複数のポイントの中の１つの選択されたポイントと対応する候補ポイントの１つの候補ポイントとをマッチングさせる手段とを含む。
【００１４】
別の例示的な実施形態において、オブジェクトに関する画像レジストレーションの上述の方法をコンピュータに実行させる命令を含む機械可読コンピュータプログラムコードで符号化された記憶媒体が開示される。
【００１５】
更に別の例示的な実施形態において、オブジェクトに関する画像レジストレーションの上述の方法をプロセッサに実行させるように構成されたコードを含むコンピュータデータ信号が開示される。
【００１６】
最後に別の例示的な実施形態において、第１の画像と対応する相互画像を含むオブジェクトの画像のＨｅｌｍｈｏｌｔｚ相互ペアを取得する手段と、オブジェクトのポーズを推定する手段と、ポーズに対応する推定画像と画像相互ペアの内の１つの画像とを予測する手段と、推定画像を画像ペアからの対応する実画像と比較する手段と、比較に基づいてポーズの推定を改良する手段とを含む、オブジェクトに関する画像レジストレーションのためのシステムが開示される。
【発明を実施するための最良の形態】
【００１７】
次に、それぞれの図面において同じ要素に同じ番号が付けられた添付図面を参照しながら実施例として本発明を説明する。
【００１８】
図１及び図２を参照すると、ここでは、受像器１２（例えばカメラ及び同様のもの、以下カメラとして示す）と発生源１４（例えば光源、ランプ、及び同様のもの、以下光源１４として示す）の位置を交互にすることから生じる対称性を利用する表面の３次元再構成の方法１００及びシステム１０が開示されている。この構成により、画像間の相互オクルージョンの活用並びに、テクスチャの存在を必要とすることなく任意の双方向反射率分布関数を用いた表面の平滑化を含むオブジェクト３０の形状を復元させるためのＨｅｌｍｈｏｌｔｚの相互性原理の使用が可能になる。
【００１９】
単一の画像ペアにおいて、重要な概念は、所与のエピポーラ平面と区分線形曲線を有する表面との交点を近似することである。この定式化は、表面の所与のポイントに対して、第１の画像の輝度応答が第２の画像の輝度応答から予測できるようなエピポーラ平面に含まれる表面法線の成分を推定するのに必要なローカルコンテクストを提供する。全体的な予測誤差に基づくコスト関数が設定され、ダイナミックプログラミングを使用して最適近似ポリゴンが求められる。更に、反射光、高曲率の画像飽和領域、影、及びオクルージョンを処理するためのメカニズムについて説明する。
【００２０】
従来の多くの高密度再構成アルゴリズムと同様に、この方法はダイナミックプログラミングを利用してエピポーラ線に沿った最適マッチングを求める。しかしながら、これはＬａｍｂｅｒｔｉａｎモデル又はＰｈｏｎｇモデルを満たすような、シーンのＢＲＤＦについてのどのような非現実的仮定をも必要としない。マッチングは、直接画像計測に対して妥当性が確認される、１つの画像から他方の画像への輝度値の予測によって行なわれる。有利には、従来技術全体にわたり、ここに開示された方法は、わずかに１つの相互作用の光／カメラペアをうまく利用する。更に、この方法は、ダイナミックプログラミングを介して誤差関数の大局的極小値を求めることにより表面深さと向きを同時に復元させる。誤差は、深さだけでなく同様に表面の向きの関数でもあるので、画像再構成は既存の技術より厳しい幾何学的制約を受け、結果として再構成における高コストの大局的変形を引き起こす理由により局所的なノイズに合わせることは避けられる。
【００２１】
例示的な実施形態において、１つの画像に表面形状の最新の推定値と輝度計測値が与えられると、Ｈｅｌｍｈｏｌｔｚの相互性を用いて、相互画像ペアの第２の画像の画素輝度値が予測される。ダイナミックプログラムは、予測輝度値と計測輝度値の間の全体差を最小にする再構成を求める。この手法は、産業用部品の最適な検査で通常遭遇する問題である、反射光及び高曲率の領域を表示する表面の再構成を可能にする。
【００２２】
Ｈｅｌｍｈｏｌｔｚの相互性が、高密度画像再構成のコンテクストでコンピュータビジョンに導入されてきたことを理解されたい。ＩＣＰアルゴリズムに従う高密度再構成を実装してレジストレーションを容易にすることができるが、Ｈｅｌｍｈｏｌｔｚステレオペアの１つの画像と正確なポーズの表面が与えられると、第２のＨｅｌｍｈｏｌｔｚ画像を正確に生成できることは容易に観測できる。従って、例示的な実施形態において、ＩＣＰに従う再構成を避け、推定されたポーズと、予測画像と実画像との比較に置き換えることができ、比較に基づいて推定されたポーズを最適化することができる。
【００２３】
画像再構成
続いて図２は、例示的な実施形態による画像を再構成する方法１００を実行する簡略ブロック図を示す。方法１００は、プロセスブロック１１０で示されるＨｅｌｍｈｏｌｔｚ相互画像ペアを収集する段階で始まる。画像ペアは、即時に取り込まれた画像か、或いは他の時間に取り込まれた記憶画像とすることができる。１つの例示的な実施形態において、カメラ１２と光源１４は、オブジェクト３０に対して光学的中心で示される既知の位置に設置され、第１の画像が取り込まれて記憶される。次いで、カメラ１２と光源１４が入れ換えられ、第２の画像が取り込まれる。例示的な実施形態において、コンピュータ２０と適切なインターフェースとが、画像の取り込み、記憶、及び処理を容易にするために利用される。
【００２４】
引き続き図１及び方法１００において、プロセスブロック１２０で画像取り込みに関連する幾何学的配置が決定され、エピポーラ幾何学的配置が設定される。幾何学的配置は、オブジェクト３０に対するカメラ１２と光源１４の物理的位置に基づく。例示的な実施形態において、幾何学的配置は、オブジェクト３０に対するカメラ１２と光源１４の位置及び向きを較正することによって設定される。更に、光学的中心に基づくエピポーラ幾何学的配置が計算される。次にプロセスブロック１３０では、第１の画像でのエピポーラ線上にある複数のポイントが選択され、対応する相互画像の対応する候補ポイントが識別される。対応する相互画像の対応するエピポーラ線が選択される。エピポーラ線上では、第１の画像における隣接するポイントを用いて第２の相互画像での対応するエピポーラ線上にマッチングポイントが設定される。
【００２５】
最後にプロセスブロック１４０で、対応するエピポーラ線に沿ってポイントをマッチングさせる。マッチングを行うために、所与の候補マッチングにおける深さ（ポイントｐから光学的中心ｃ１、ｃ２までの距離）と法線が決定される。Ｈｅｌｍｈｏｌｔｚの相互性原理は、マッチしたポイントの輝度の予測を容易にするために適用される。所与のポイントの予測輝度は、第２の相互画像上の同じポイントの計測された輝度と比較されて反復ダイナミックプログラミングプロセスを介して最小にされ、予測の誤差が最小化される。
【００２６】
開示された実施形態の説明を容易にするために、数学的背景の要約を加える。ここで同様に図３を参照すると、表面上のポイントｐのＢＲＤＦは、入射方向ｖ１の光線に対して、方向ｖ２での出射放射輝度と入射光線の放射輝度との比が定義され、ρ（ｐ，ｖ１，ｖ２）で示される。Ｈｅｌｍｈｏｌｔｚの相互性は、ρ（ｐ，ｖ１，ｖ２）＝ρ（ｐ，ｖ２，ｖ１）であることを示す。次に、任意に配置されたカメラ１２とポイント光源１４とを考察する。ｖ１をｐからカメラ１２の光学的中心ｃ１に向かう単位ベクトルとし、ｖ２をｐから光源１４の位置ｃ２に向かう単位ベクトルとする。ｐからカメラ１２によって受け取られる放射輝度Ｉ１,２は式（１）で与えられる。
【００２７】
【数１】
2005115946.tif 000003
【００２８】
式中、ｎはｐにおける表面法線であり、ηは倍率である。同様に、カメラ１２と光源１４の位置が交換された場合には、カメラ１２によって受け取られる新しい放射輝度Ｉ２,１は、次式のようになる。
【００２９】
【数２】
2005115946.tif 000004
【００３０】
式（２）に式（１）を代入し、ｎと計測された輝度Ｉ１,２が与えられると、他の画像における対応する画素値の輝度の推定値は容易に次式で計算できる。
【００３１】
【数３】
2005115946.tif 000005
【００３２】
Ｈｅｌｍｈｏｌｔｚの相互性に基づく式（３）は、表面のＢＲＤＦとは無関係である点を理解されたい。従って式（３）から、カメラ１２と光源１４の位置が交換される画像のペア（相互ペア）を収集することによって、所与のポイントにおける表面の向きと深さを認識することで１つの画像のどの画素輝度も表面のＢＲＤＦに関係なく他の画像から予測できるようになることが分かる。
【００３３】
輝度予測による大域マッチング
エピポーラ平面と連続する表面の交点を再構成するために、ダイナミックプログラミングを使用するマッチングアルゴリズムを用いることができ、これにより別の画像における対応するエピポーラ線に対して１つの画像のエピポーラ線に大域マッチングのポイントを生成する。基本的な概念は、各列が第１の画像のエピポーラ線上の画像ポイントに対応し、各行が第２の画像のエピポーラ線の画像ポイントに対応するグリッドを作成することである。グラフの各ノードは、２つの画像ポイントの光線の交点によって定義される空間におけるポイントを表す。行と列は、グリッドを通る単調増加経路が有効な再構成を構成するようにエピポーラ線に沿う位置に基づいて順序付けられる。この手法は、順序付け制約条件を満たすものとして知られる。Ｌａｍｂｅｒｔｉａｎ反射率モデル（例えば一定ＢＲＤＦ）の仮定において、ノードａからノードｂへのステップに関連するコストは、ノードｂに関連するポイントを中心とする輝度ウィンドウ間の正規化相関誤差を加えたノードａでのコストである。
【００３４】
同様に図４を参照すると、Ｈｅｌｍｈｏｌｔｚの相互性を用いて、コスト関数Ｃ（ａ，ｂ）を定義することができ、ここでａ及びｂはＢＲＤＦに依存しないダイナミックプログラミンググリッドの連続する列からのノードである。ノードａ及びｂは、空間中の２つのポイントｐａ及びｐｂを定義する。これらの２つのポイント間のラインセグメント上のポイントは次式によって与えられる。
【００３５】
【数４】
2005115946.tif 000006
【００３６】
再構成されることになる表面の平滑度を想定して、このラインセグメントを用いて以下のように表面を近似することができる。
【００３７】
【数５】
2005115946.tif 000007
【００３８】
式中、
【００３９】
【数６】
2005115946.tif 000008
【００４０】
であり、これはポイントｐ（ｘ）に関連するコストで、
【００４１】
【数７】
2005115946.tif 000009
【００４２】
は式３で定義され、Ｉ２,１は画像で直接計測される。
【００４３】
また
【００４４】
【数８】
2005115946.tif 000010
【００４５】
は、先験的に利用可能でない表面法線ｎに応じて変わる点に注目されたい。ｎ＝ｎｏ＋ｎｅとし、ここでｎｅはエピポーラ平面上の法線ベクトルｎの投影であり、ｎｏはエピポーラ平面と直交する向きにあるｎの投影である。前節で定義された単位ベクトルｖ１とｖ２は次式で与えられる。
【００４６】
【数９】
2005115946.tif 000011
【００４７】
ｖ１とｖ２は両方ともエピポーラ平面内にあるので、
【００４８】
【数１０】
2005115946.tif 000012
【００４９】
ｎｅは、次式のように未知の倍率αに応じて近似できる。
【００５０】
【数１１】
2005115946.tif 000013
【００５１】
より高次の近似を使用するのが好ましいが、これは、（５）で関数を最適化するためのツールとしてのダイナミックプログラミングの適用に必要な条件に背くことになる。（９）を（８）に代入し、次に（３）に代入すると、次式が得られる。
【００５２】
【数１２】
2005115946.tif 000014
【００５３】
式（１０）の右辺の全ては、第２の画像を取り込んだものから計測されるか、或いはカメラの幾何学的配置とポイントｐａとｐｂによって定義される表面近似から導出される。
【００５４】
１つの重要な知見は、ダイナミックプログラミングによる高密度マッチングへの従来の方法において、有効な以前のマッチングだけが順序付け原理の実施によるものを将来にわたって有するということである。この制約条件は、使用できるマッチングの範囲を制限する。例示的な実施形態でここに開示された方法では、順序付け原理から設定された制約条件に加えて、先のマッチングは、ｐｂとｐａの両方に依存するので法線ｎｅの値に影響を与えることになる。これは、マッチングのより強固な結合を生じ、幾何学的一貫性を強化し、再構成に対するより厳しい制約条件をもたらすことが分かる。結果として、ここに呈示された技術は、局所的なノイズに対して既存の方法より敏感であってはならない。図５のＡ及びＢは、例示的な実施形態によるＨｅｌｍｈｏｌｔｚ立体視に伴う順序付け制約条件の影響の説明図である。
【００５５】
図５のＡ及びＢは、従来の相関ベースのマッチングと本明細書で開示された方法との間の基本的な差を示す。ｃ１とｃ２に光学的中心を有する２つのカメラ１２は、実線で示された表面を観測する。許容できる範囲は、表面上の中点の位置が順序付け制約条件に反しない領域に対応する。この中点に対して摂動が付加される場合には、従来の方法における残りの再構成は図５のＡの破線で示されるように変化しない。有利には、ここに導入された方法を用いると、深さの変化は式（１０）によって表面法線の推定と結びついているので、これは事実とは異なる。これは、図５のＢに示されるように残りの再構成における大域変化をもたらし、式（６）によって定義された大域コスト関数において有意な増大を生じる。従って、導入された方法は、局所的なノイズによって誘導された摂動に対してより耐性があるものとすることができる。
【００５６】
引き続き例示的な実施形態の図４及び図５のＢにおいて、ダイナミックプログラミングマトリクスの各列及び各行は、第１及び第２カメラ１２からそれぞれ撮影された光線を表す。列と行の間隔は、連続する光線がこれらの対応する画像平面を貫通するときの該光線間の距離を定義する。次いで、再構成が行と列の光線の交点から生成される。表面法線は、連続する列光線上のポイントを接続するラインセグメントから計算される。ダイナミックプログラミングを使用するほとんどの高密度マッチング応用では、行と列の間隔が均等にサンプリングされる。再構成が深さに関係する場合のみ均等サンプリングが適切であることを理解されたい。しかしながら、例示的な実施形態において表面法線の正確な近似を確保するためには、列の間隔は行の間隔の約２０倍大きく設定されなければならない。しかし、列と行の間隔要件は、アルゴリズムの実行時間に直接の影響を有する点を理解されたい。Ｎｃを列の数、Ｎｒを行の数とすると、ダイナミックプログラムの複雑性は、Ｏ（ＮｃＮ２ｒ）である。Ｎｒ≒２０Ｎｃであるので、この方法の直接実装には、標準高密度マッチングアルゴリズムの処理の約４００倍を必要とすることになる。従ってこの問題に対処するために、別の例示的な実施形態ではスケール空間方法が採用されてきた。ダイナミックプログラムの多重反復が実行される。初めに行と列の間隔が、粗い再構成が得られる比較的大きな値に設定される。次に続く反復では、より目の詰まった行と列の間隔を使用するが、次の再構成での可能なマッチングの数は、前の再構成で得られたマッチング近傍に制限され、Ｎｒがその全値の事実上１０％であるようにされる。各反復につき１００分の１だけランタイムが低減される。プロセスは、所望の解像度が得られるまで続けられる。
【００５７】
図６を参照すると、Ｈｅｌｍｈｏｌｔｚ立体視と幾何学的配置の有意な特徴は、１つの画像で同時に見ることができ且つ照明される任意のポイントはまた、他方の画像でも見ることができ且つ照明されなければならないことである。カメラ１２と光源１４の位置の交換は、相互オクルージョン効果を生み出し、すなわち、１つの画像でのオクルージョン輪郭はもう他方の画像での影のゾーンに対応することになる。標準立体視では、影とオクルージョンは独立したものである。しかしながら、Ｈｅｌｍｈｏｌｔｚ立体視では、一方の画像における１つのエピポーラ線上の影は、対応する画像の対応するエピポーラ線上のオクルージョンとして直接マッピングされ、この逆も同様である。従って、エピポーラ線に沿ったポイントのマッチングは、オクルージョン輪郭と影の始まりの部分間にあるエピポーラ線のマッチングセグメントに沿ったダイナミックプログラミング問題として行うことができ、セグメントの終わりのポイントは既に対応関係にあることになる。更に具体的には、見えないものとして分類されるポイントは、輝度閾値を満たさないためにダイナミックプログラミングマトリクスから削除される。次に、画像ポイントは、視認性の連続した領域にグループ分けされる。ノードａとｂの所与のペアについていずれかの画像の画像ポイントが異なる領域に属する場合には、コスト関数Ｃ（ａ，ｂ）はゼロに設定される。このように連続性制約条件は、これらが当てはまらない領域全体には適用されない。有利には、この原理の応用は、影とオクルージョンの影響を活用して、再構成に関連する処理問題を更に簡単にし、画像再構成の堅牢性を更に高める。
【００５８】
次に、開示された例示的な実施形態の更に別の特徴を参照すると、Ｈｅｌｍｈｏｌｔｚ立体視を用いることにより、これまで反射光、飽和、及びブルーミングに関連する問題点を容易に軽減できる点を理解されたい。特に反射光は、反射光の位置がカメラ位置に応じて移動するので、静止した照明に基づく従来の高密度マッチングアルゴリズムを難しいものにしてきた。図７に示されるように再構成されることになる表面に反射光が固定されるので、Ｈｅｌｍｈｏｌｔｚ再構成には当てはまらず、実際にエピポーラ線に沿ってポイントのマッチングを容易にする点に注目されたい。
【００５９】
しかしながら、カメラダイナミックレンジの制約により、反射光が画像飽和（カメラ性能の限界）を生じて飽和領域に沿って輝度プロフィールを破損し、式（６）で定義されたコスト関数Ｃ（ｘ）が無効になる可能性がある。この場合、両方の画像が飽和を示すため合計Ｓ（ｘ）Ｉ１（ｘ）２＋Ｉ２（ｘ）２が可能な限り大きいという観測に基づいて、適当なコスト判定基準を再定義することができる。近似を行うと以下の式となる。
【００６０】
【数１３】
2005115946.tif 000015
【００６１】
式中、ポイントｐ（ｘ）が２つのカメラからほぼ等距離であると仮定すると、βは一定であり、ｎｅがｖ１とｖ２に二等分されるときにＳ（ｘ）が最大であることが示される。この結果は、入射光と反射光が局所的な表面法線と作る角度がほぼ同じ場合にのみ鏡面反射が起こるという事実と一致する。従って、ｐ（ｘ）の２つの投影が飽和する場合には、式（６）で前に定義されたコスト関数Ｃ（ｘ）は以下に設定される。
【００６２】
【数１４】
2005115946.tif 000016
【００６３】
多くの産業用途では、極めて高い曲率を有する表面の計測を必要としている。この１つの実施例は、曲率半径が０．０１インチ程度であるファンブレードの前縁上でポイントの位置を決めるために必要なものである。Ｈｅｌｍｈｏｌｔｚ立体視前縁計測システムは、工場のフロアで実施され配置されている。標準の座標計測機械と比べると、結果としておよそ０．００１２インチ程度のＲＭＳ再構成誤差が得られる。
【００６４】
同様に、高曲率領域で高密度再構成を行う可能性について考察する。エピポーラ平面に沿う表面法線は急激に変化するので、ダイナミックプログラミンググリッドの列と行の間隔は、画素よりかなり小さく維持されるのが好ましい。
【００６５】
この研究の自然の拡張は、再構成されることになる表面のパラメトリックモデルを使用することである。このように、法線ベクトルが表面の現在の推定値から直接引き出され、大域非線形最適化アルゴリズムが、式（１０）による輝度値の予測における誤差を最小にするように表面形状パラメータに適用される。これにより最適化されることになるパラメータの数が有意に低減されるが、表面形状の推定は非線形最適化手法によって行なわれなければならないので、表面形状の良好な初期推定を利用することが必要とされる点に留意されたい。有利には、初期推定は上述の非パラメトリック法によって提供される。
【００６６】
画像レジストレーション
更に別の例示的な実施形態において、画像／モデルレジストレーションの方法が開示される。ここで図８を参照すると、方法２００が３つの主要プロセスに要約することができ、すなわち、プロセスブロック２０２に示されるようなモデル外観の予測、プロセスブロック２０４に示されるような観測画像に対する予測外観の比較、プロセスブロック２０６に示されるような予測画像と観測画像との間のマッチングを最適化するモデルポーズの改良である。
【００６７】
Ｈｅｌｍｈｏｌｔｚ予測
図１、２、３及び８を再び参照すると、オブジェクト３０の３次元（３Ｄ）ポイント雲モデルが与えられると、Ｈｅｌｍｈｏｌｔｚ構成を用いて予測画像が生成される。最初に、光源１４がｃ２に位置付けられ、ｃ１にあるカメラ１２がオブジェクト３０の画像を取り込む。次にカメラ１２と光源１４の位置が交換され、第２の画像が、オプションのプロセスブロック２０１に示されるように、前述のＨｅｌｍｈｏｌｔｚ相互画像ペアを設定するために収集される。
【００６８】
次に、プロセスブロック２０２に示されるように、オブジェクトモデルのポーズが推定される。所与のモデルポイントｐについて、ポイントからカメラセンターｃ１とｃ２までの距離が計算される。更に、ポイントｐでの表面法線ｎが求められる。有利には、各ポイントｐの表面法線ｎを事前計算することが可能であり、計算上においてより有効である点を理解されたい。カメラセンターｃ１とｃ２に対応するビューイング方向ｖ１とｖ２が計算される。次に光線がｃ１からｐへ投影される。光線が通過する画素の輝度がＩ１,２として記録される。最後に、式（３）を用いてＩ２,１が計算される。これは、ｃ２にあるカメラによって見られるのと同じデータポイントの予測輝度である。この手順はモデルの各データポイントについて繰り返され、ｃ２から見られるような画像の予測を生成する。この予測がＢＲＤＦを明示的な計測を必要とすることなく表面のＢＲＤＦの完全なモデリングと一致することを観測するのは有利である。
【００６９】
画像比較と計測技術
引き続き図８において、プロセスブロック２０４で、観測画像に対する予測された外観の比較は、１つ又はそれ以上の計測技術に基づくことができる。例示的な実施形態において、Ｈｅｌｍｈｏｌｔｚ生成パラダイムに関連する場合、幾つかの画像比較計測技術が考えられる。画像比較のための適切な計測技術の選択が、レジストレーションの収束と精度に有意な影響を及ぼす可能性があることは容易に理解されるであろう。画像非類似性を計測するための最も直接的な方法は、次式によって与えられる画素差の二乗平均平方根εRMSによるものである。
【００７０】
【数１５】
2005115946.tif 000017
【００７１】
式中、Ｎは画素数である。図９は、異なるポーズでの４つの異なるオブジェクトに対するこのメトリックの値を示し、この各々は固有の幾何学的特性且つテクスチャ的特性を有する。位置ゼロは完全なレジストレーションを示す。
【００７２】
ｔ＝［０００］Ｔ（センチメートル）、θ＝［０００］Ｔ（度）をオブジェクトの正確なポーズを表すベクトルとする。図９のグラフは、オブジェクトのポーズが任意の並進及び回転方向で摂動する場合の式（１３）の結果を示しており、これは、最適なものからの摂動ポーズの偏差の大きさを計測するパラメータｓの異なる値について、それぞれ、
【００７３】
【数１６】
2005115946.tif 000018
【００７４】
であるｓΔｔと、
【００７５】
【数１７】
2005115946.tif 000019
【００７６】
であるｓΔθとで示される。これは、ポーズパラメータがある全６次元ＳＥ（３）マニホールドの１次元スライスに相当し、従って最適化ランドスケープの全体像を提供できない。しかしながら、このスライスでは少なくとも正確なポーズが式（１３）の最小値に相当する点に留意されたい。
【００７７】
どのような勾配ベースの最適化アルゴリズムも、フィッシュデータセットの場合には真の解に向けて収束させるのが困難であるのは明らかである。フィッシュデータセットは、前景と同じ材料と色を有する背景を備えたより高度にテクスチャされた表面からのものである。この問題は、画素差の平方の中央値のような異なる種類の類似性計測を必要とし、画像輪郭に対してより堅牢なメトリックεｍｓをもたらすはずである。
【００７８】
【数１８】
2005115946.tif 000020
【００７９】
図１０は、図９と同じ４つのオブジェクトについてのＥＭＳの値を示す。ブレードのコスト曲線は最小値を有し、最適アラインメント位置から変位している点に留意されたい。他方、同じオブジェクトのＥＲＭＳコスト曲線は全く滑らかであり、最適アラインメントの位置の極めて近傍に最小値を有する。モデルは、図９の結果を得るのに使用されたのと同じように最適な位置決めから摂動される。ブレードも同様にほとんどテクスチャがないので、このオブジェクトのＥＭＳの形もテクスチャのないものとなる点に注目されたい。これらの結果は、滑らかでテクスチャのない表面によって特徴付けられるオブジェクトを扱う場合はＥＲＭＳを使用してレジストレーションを行うべきであり、ＥＭＳはより高度にテクスチャされた表面が関与する場合において好ましいことを示している。
【００８０】
相互情報量ＥＭＩである、画像輝度の空間的分布に応じて変わる更に別のメトリックを用いることができ、ＥＭＩは次式で表される。
【００８１】
【数１９】
2005115946.tif 000021
【００８２】
式中、Ｈ［ｘ］は確率変数ｘのエントロピーである。
【００８３】
図１１は、Ｈｅｌｍｈｏｌｔｚ生成手法とＬａｍｂｅｒｔｉａｎ近似方式の両方を用いた予測画像と実画像の間の相互情報量を示す。全ての場合において、ここに開示された方法は、Ｌａｍｂｅｒｔｉａｎモデルよりも多くの情報を提供する。更に、Ｌａｍｂｅｒｔｉａｎ方式は、幾つかの例、例えば魚及び人形の頭部などの正確なモデルポーズを識別することができないが、Ｈｅｌｍｈｏｌｔｚ法は４つのオブジェクト全てに対してこの識別に成功する。
【００８４】
画像比較のための適切なメトリックの選択がレジストレーションの収束と精度に有意な影響を及ぼすことは容易に理解されるはずである。ここに提供された方法及び結果は、選択されたメトリックの影響を示す例示的なものにすぎないことを理解すべきである。得られた結果は、滑らかでテクスチャのない表面によって特徴付けられるオブジェクトを扱う場合に、レジストレーションがＥＲＭＳを使用して行うべきであり、ＥＭＳはより高度にテクスチャされた表面に関与する場合に好ましいことを示していると同時に、他のメトリックも可能である。実際、限定ではないが、勾配下降、モンテカルロ法、網羅的探索、及びこれらと同様のもの並びに前述の少なくとも１つを含む組合せを含む、多数の方法をポーズの推定の最適化のために用いることができる。
【００８５】
ポーズの最適化
モデル外観の予測が実画像と比較されると、これら２つの間の差異を用いて、図８のプロセスブロック２０６で示されるようにモデルのポーズを改良するための最適化アルゴリズムを実行することができる。これは、全ての画素座標（ｘ，ｙ）について
【００８６】
【数２０】
2005115946.tif 000022
【００８７】
がモデルの初期ポーズに対して回転マトリクスと並進ベクトルに一致する同じパラメータＲとｔの関数である場合、式（１３）又は（１５）に示されるようなコスト関数のいずれをも最適化することによって実施することができる。ｐ＝ｐ（Ｒ，ｔ）、ｎ＝ｎ（Ｒ）であり、且つ（ｘ，ｙ）がポイントｐの投影の座標である、すなわち（ｘ,ｙ）＝ｘ＝ｘ（ｐ）であるから、モデルの向きＲと位置ｔに対する
【数２１】
2005115946.tif 000023
【００８８】
の依存性は式（３）において明示される。従って、モデルのポーズ
【００８９】
【数２２】
2005115946.tif 000024
【００９０】
は次式で得ることができる。
【００９１】
【数２３】
2005115946.tif 000025
【００９２】
又は、
【００９３】
【数２４】
2005115946.tif 000026
【００９４】
本研究で示された実施例において、（１６）又は（１７）を解くために採用された最適化方法は、差分により計算された微分を有する共役勾配法であったが、多くの他の選択肢も可能である。
【００９５】
最適化プロセスを始めるためには、最適化アルゴリズムが収束するような真の位置に十分近接したポーズの初期推定値を有する必要がある。産業用部品のレジストレーションについては、良好な初期推量を容易に利用可能である場合が通常である。追跡用途では、初期化問題を後回しにするのが通常であり、反復毎に、ポーズの最新の推定がグランドトルースに近接するはずの次の反復用の初期推量を提供する。
【００９６】
Ｈｅｌｍｈｏｌｔｚの相互性原理は正確な生成モデルを与えるので、アラインメントが完全である場合には予測画像と観測された画像との間の差はゼロとなるはずである。一般には、ｃ２の位置にあるカメラ１２によって見られるような予測画像と実画像との間の不一致が存在する。これはモデルのミスアラインメントの結果であり、ＲＭＳ（二乗平均平方根差）、ＬＭＳ（平方根差の中心値）、又はＭＩ（相互情報量）を使用して定量化することができる。適切に選択されたメトリックでは、共役勾配法を用いて、モデルの変換マトリクスが更新される。モデルがシーンに再配置された後、別の予測画像が生成され、現在の向きのコストが再び計算される。この一連のステップは、収束に達するまで繰り返される。
【００９７】
ここで導入された技術を実証するために、一連の実験が行なわれた。２つの全く同じカメラ１２の光学的中心に可能な限り近接させ且つカメラ自体が光を遮蔽しないようにポイント光源１４を配置することにより、Ｈｅｌｍｈｏｌｔｚステレオペアを設定した。図１２を参照して理解されるように、４つのオブジェクトに対して３つの画像が収集され、１つの画像は周囲光を計測するために光をオフにした状態のものであり、２つの画像は転置された光１４とカメラ１２に対するものであった。次いで、周囲光の影響を無くすために、Ｈｅｌｍｈｏｌｔｚペアの各画像からバックグラウンド画像を差し引いた。レーザーストライプによりオブジェクトを掃引し、ステレオ再構成を行うことによって、各オブジェクトの３Ｄモデルを得た。次にモデルの３Ｄポイントを、元の位置からｘ，ｙ及びｚ方向の各々に２．０ｃｍの並進と、ｘ，ｙ及びｚ軸の各々の周りの１０゜（度）の回転とによって摂動させた。これは、６．９ｃｍの合計並進と１７．３゜の回転に相当する点に注目されたい。３Ｄモデル再構成で使用されたカメラ１２は、レジストレーション用に使用されたものと同じであったので、位置又はパラメータをどのようにも変更することなく、最適なアラインメントがゼロ並進及び回転によって得られる。マトリクスＲは、［ｗ］ｘは、ｘの全ての値について［ｗ］ｘｘ＝ｗ×ｘであるようなｗの入力から構築された非対称行列である場合、例えばＲ＝ｅｘｐ（［ｗ］ｘ）である指数マップにより表された。ｗの方向は、回転が行なわれる軸であり、ｗの大きさは回転角である。例示的な実施形態による本明細書で説明されたアルゴリズムが用いられ、メトリックとして画素輝度の差の中心値を使用する良好なアラインメント（２ｍｍの最終並進と１゜の最終回転）が、ｘ，ｙ及びｚ方向に１．０ｃｍの並進と並びにｘ，ｙ及びｚ軸の周りの３゜の回転により初期化される魚以外の全てのデータセットに対して実現された。これは、１．７ｃｍの合計並進と５．２０の回転に相当する。モデルの初期ポーズに対するレジストレーションの堅牢さを確かめるための迅速な実験として、モデルに加えられた初期並進と回転に−１を乗算し、レジストレーションアルゴリズムを再び実行させた。この場合もまた、２ｍｍと１゜以内の収束が得られた。図１１は各オブジェクトについての初期ポーズと最終ポーズを示す。魚モデルの収束における難しさは、魚自体と同じテクスチャを有する散乱した背景と、このモデルの小さいサイズに起因する。
【００９８】
開示された例示的な実施形態は、Ｈｅｌｍｈｏｌｔｚの相互性に基づく２Ｄ画像に対して３Ｄモデルのレジストレーションを行うための技術を導入する。この方法は、該原理を活用することによって、ＢＲＤＦを明示的に認知することを必要とすることなく、ＢＲＤＦと一致する後方投影されたモデルの外観の予測を容易にする。これは、表面のある一定のタイプにのみ有効であるＬａｍｂｅｒｔｉａｎモデルを想定する技術に対して大きな利点である。特にこのようなアルゴリズムは、光沢のある鏡面表面を扱うことができない。モデルの外観を予測した後、適切な画像メトリックを用いて、予測画像と観測された画像の差が定量化される。予測画像はオブジェクトのＢＲＤＦと一致するはずであるため、この差はオブジェクト３０のミスアラインメントに起因する可能性があり、従って最適なレジストレーションパラメータの探索を実行することができる。このアルゴリズムの有効性は、異なるオブジェクトに関する多数のレジストレーション実験並びに相互情報量の比較によって実証された。
【００９９】
開示された発明は、これらのプロセスを実施するためのプロセス及び装置を実装したコンピュータ又はコントローラ２０の形態で具現化することができる。本発明はまた、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードドライブ、或いは他のいずれかのコンピュータ可読記憶媒体などの有形媒体１６に組み入れられた命令を含むコンピュータプログラムコードの形態で具現化することができ、ここで、このコンピュータプログラムコードがコンピュータ又はコントローラ２０によってロードされて実行される場合には、コンピュータ２０が本発明を実施する装置となる。本発明はまた、例えば、記憶媒体１６に格納されるか、或いはコンピュータ又はコントローラにロードされ及び／又はこれにより実行され、或いは電線又はケーブル、光ケーブル、又は電磁放射線などのような伝送媒体を介して伝送されるデータ信号１８として組み込まれたコンピュータプログラムコードの形態で具現化することができ、ここで、該コンピュータプログラムコードがコンピュータにロードされて実行される場合には、コンピュータは本発明を実施する装置となる。汎用マイクロプロセッサ上に実装された場合、コンピュータプログラムコードのセグメントは、特定論理回路を生成するようマイクロプロセッサを構成する。
【０１００】
類似の項目を示すための第１及び第２或いは他の同様の用語の使用は、特に指示がない限りどのような特定の順序をも指定又は意味することを意図するものではないことを認識されたい。
【０１０１】
本発明を例示的な実施形態に関して説明してきたが、本発明の範囲から逸脱することなく種々の変更を行うことができ、均等物をその要素に代替することができることを当業者であれば理解するであろう。更に、本発明の本質的な範囲から逸脱することなく、本発明の教示に特定の状況又は材料を適合させるように、多くの変更を行うことができる。
【図面の簡単な説明】
【０１０２】
【図１】例示的な実施形態に従って画像を取り込み且つ再構成するためのシステムの簡略図。
【図２】例示的な実施形態に従って画像を再構成するための方法を示す簡略図。
【図３】例示的な実施形態に適用されるＨｅｌｍｈｏｌｔｚの相互性の説明図。
【図４】例示的な実施形態によるコスト関数のダイナミックプログラミング及び定義の説明図。
【図５】Ａは、順序付け制約条件の影響の説明図。Ｂは、例示的な実施形態によるＨｅｌｍｈｏｌｔｚ立体視に伴う順序付け制約条件の影響の説明図。
【図６】オクルージョンと影に対してＨｅｌｍｈｏｌｔｚ立体視から結果として生じる簡単化を表す図。
【図７】反射光とエピポーラ線に沿ったマッピングを備えるＨｅｌｍｈｏｌｔｚ画像ペア。
【図８】別の例示的な実施形態によるレジストレーション方法を表すフローチャート。
【図９】異なるポーズでの４つの異なるオブジェクトに関する結果とＥＲＭＳメトリック。
【図１０】異なるポーズでの４つの異なるオブジェクトに対する結果とＥＭＳメトリック。
【図１１】異なるポーズでの４つの異なるオブジェクトに対する結果とＥＭＩメトリック。
【図１２】レジストレーションのためのポーズ予測の最適化を表す幾つかの例示的な画像でのポイントの雲分布。
【符号の説明】
【０１０３】
１２  受像器
１４  発生源
１６  記憶媒体
１８  データ信号
２０  コンピュータ
３０  オブジェクト
【図１】
2005115946.tif 000027
【図２】
2005115946.tif 000028
【図３】
2005115946.tif 000029
【図４】
2005115946.tif 000030
【図５】
2005115946.tif 000031
【図６】
2005115946.tif 000032
【図８】
2005115946.tif 000033
【図９】
2005115946.tif 000034
【図１０】
2005115946.tif 000035
【図１１】
2005115946.tif 000036
【図７】
2005115946.tif 000037
【図１２】
2005115946.tif 000038