(57)【要約】対象物の３Ｄ表面構造再構築方法は２段階アプローチを用いる。第１段階では、第１組の画像が取得され、ランダムグリッドのような空間符号化手法が、対象物の第１の画像から第２の画像への座標の対応マッピングに使用され、画像が、対象物に対して異なる角度で取得される。第２段階では、通常は縞模様グリッドを含む第２の構造化照射が用いられ、通常は対象物のさらに２つの画像を含む第２組の画像が取得される。第１段階において行われるマッピングにより、第２組の２つの画像間のグリッドの適切なラベリングが実現され、これらの画像間の要素の正確な整合化を可能にする。そして、三角測量手法またはエピポール手法が用いられ、再構築される表面の３Ｄ座標を取得することができる。
2006528770.tif 000002
【特許請求の範囲】
【請求項１】
対象物の３次元表面再構築方法であって、
（ａ）表面に第１の構造化パターンを有する対象物の第１組の画像を取得し、前記第１組の画像間において画像点の対応を判定するステップと、
（ｂ）表面に第２の構造化パターンを有する前記対象物の第２組の画像を取得し、（ａ）で判定された前記対応に基づいて、前記第２組の画像間において前記第２の構造化パターンをラベリングするステップと、
（ｃ）（ｂ）で決定されたラベリングに基づいて前記第２組の画像間において要素を整合化するステップと、
（ｄ）（ｂ）で整合化された前記第２組の画像の要素から、前記対象物の空間座標を判定するステップと、
を具備する、３次元表面再構築方法。
【請求項２】
ステップ（ａ）は、
前記対象物に照射される構造化光の一意的に符号化された構造化パターンによって定義される前記第１の構造化パターンを有する前記対象物の前記第１組の画像を取得するステップ（Ａ）と、
前記第１の構造化パターンに関する符号化に基づいて、１つの画像の座標を少なくとも１つの他の画像へマッピングすることにより、前記第１組の画像の画像点間において対応を求めるステップ（Ｂ）と、
を具備する、請求項１記載の方法。
【請求項３】
前記第２の構造化パターンは、前記対象物に照射された周期的構造化パターンを有する、請求項２記載の方法。
【請求項４】
前記第１組の画像は、前記対象物に対する角度の異なる少なくとも２つの画像を有する、請求項３記載の方法。
【請求項５】
前記少なくとも２つの画像は、画像として取得される、請求項４記載の方法。
【請求項６】
前記少なくとも２つの画像は、ほぼ同時に取得される、請求項５記載の方法。
【請求項７】
前記第１組の画像の１つの画像は、前記一意的に符号化された構造化パターンを有し、前記第１組の画像の少なくとも１つの他の画像は、画像として取得される、請求項４記載の方法。
【請求項８】
前記一意的に符号化された構造化パターンは、黒および白の要素のランダムまたは疑似ランダムな分布を有する２次元アレイを有する、請求項４記載の方法。
【請求項９】
ステップ（ａ）において、パターン整合化技術を用いて前記画像点の対応を判定する、請求項７記載の方法。
【請求項１０】
前記第２組の画像は、前記対象物に対する角度の異なる少なくとも２つの画像を有する、請求項３記載の方法。
【請求項１１】
前記少なくとも２つの画像は、画像として取得される、請求項１０記載の方法。
【請求項１２】
前記少なくとも２つの画像は、ほぼ同時に取得される、請求項１１記載の方法。
【請求項１３】
前記第２組の画像の１つの画像は、前記周期的構造化パターンを有し、前記第２組の画像の少なくとも１つの他の画像は、画像として取得される、請求項１０記載の方法。
【請求項１４】
前記周期的パターンは、第２の輝度またはカラーを有する第２の複数の縞に対して挿入された、第１の輝度またはカラーを有する第１の複数の縞を有する、請求項１０記載の方法。
【請求項１５】
前記第１の複数の縞は、白のピクセルを有し、前記第２の複数の縞は、黒のピクセルを有する、請求項１４記載の方法。
【請求項１６】
（ｉ）前記第２組の画像の第１の画像の第１の要素を、第１の関連付け手法に従って、前記第１組の画像の第１の画像の第１の画像点と関連付け、
（ｉｉ）前記第１の画像点との対応を有する前記第１組の画像の第２の画像の第２の画像点を判定し、
（ｉｉｉ）前記第２の画像点を、第２の関連付け手法に従って、前記第２組の画像の第２の画像の、前記第１の要素と整合する第２の要素と関連付ける、請求項１４記載の方法。
【請求項１７】
前記第１の関連付け手法において、前記第１の要素は、各画像に対し、前記第１の画像点とほぼ同一の空間位置内の画像要素である、請求項１６記載の方法。
【請求項１８】
前記第２の関連付け手法において、前記第２の要素は、画像に対し、前記第２の画像点の位置またはその近傍に存在する、画像に対する空間位置内の画像要素である、請求項１６記載の方法。
【請求項１９】
前記第１の要素は、前記第２組の画像の前記第１の画像に含まれる前記第１の複数の縞の１つの縞のピクセル列の中心点を有する、請求項１６記載の方法。
【請求項２０】
前記第２の要素は、前記第２組の画像の前記第２の画像に含まれる前記第１の複数の縞の１つの縞のピクセル列の中心点を有する、請求項１６記載の方法。
【請求項２１】
（ｉ）前記第２組の画像の第１の画像内の第１の要素を、第１の関連付け手法に従って、前記第１組の画像の第１の画像の第１の画像点と関連付け、
（ｉｉ）前記第１の画像点との対応を有する前記第１組の画像の第２の画像の第２の画像点を判定し、
（ｉｉｉ）前記第２の画像点を、第２の関連付け手法に従って、前記第２組の画像の第２の画像の、前記第１の要素と整合する第２の要素と関連付ける、請求項１記載の方法。
【請求項２２】
前記第１の関連付け手法において、前記第１の要素は、各画像に対し、前記第１の画像点とほぼ同一の空間位置内の画像要素である、請求項２１記載の方法。
【請求項２３】
前記第２の関連付け手法において、前記第２の要素は、画像に対し、前記第２の画像点の位置またはその近傍に存在する、画像に対する空間位置内の画像要素である、請求項２１記載の方法。
【請求項２４】
前記第１の要素は、前記第２組の画像の前記第１の画像に含まれる前記第１の複数の縞の１つの縞のピクセル列の中心点を有する、請求項２１記載の方法。
【請求項２５】
前記第２の要素は、前記第２組の画像の前記第２の画像に含まれる前記第１の複数の縞の１つの縞のピクセル列の中心点を有する、請求項２１記載の方法。
【請求項２６】
ステップ（ｄ）は、三角測量手法に基づく、請求項１記載の方法。
【請求項２７】
ステップ（ｄ）は、エピポーラ再構築手法に基づく、請求項１記載の方法。
【請求項２８】
対象物の第１組の画像間において点を整合化する方法であって、
（ａ）第１の構造化パターンを有する対象物の前記第１組の画像を取得するステップと、
（ｂ）表面に第２の構造化パターンを有する前記対象物の第２組の画像を取得し、前記第２組の画像間において画像点の対応を判定するステップと、
（ｃ）（ｂ）で判定された前記対応に基づいて前記第１組の画像間において前記第１の構造化パターンの要素をラベリングするステップと、
（ｄ）（ｃ）でラベリングされた要素間において点を整合化するステップと、
を具備する方法。
【請求項２９】
（Ｉ）第１の構造化パターンと第２の構造化パターンとにより対象物を選択的に照射するよう構成された投光器と、
（ＩＩ）前記第１の構造化パターンと前記第２の構造化パターンとにより照射されたときの前記対象物の画像を取得するための少なくとも１つのカメラと、
（ＩＩＩ）前記画像に基づいて前記対象物の３次元表面トポロジーを判定するためのマイクロプロセッサ手段と、
を具備する、対象物の３次元表面再構築システム。
【請求項３０】
前記マイクロプロセッサ手段は、請求項１から請求項２７のいずれかの方法に従って、前記トポロジーを判定するよう構成される、請求項２９記載のシステム。
【請求項３１】
請求項１から請求項２７のいずれかに記載の方法を実行する、請求項２９記載のシステムのマイクロプロセッサ手段をプログラムするための命令を格納するコンピュータ読取り可能な媒体。
【請求項３２】
対象物の３次元表面再構築に使用される制御ユニットであって、
（ｉ）表面に第１の構造化パターンを有する前記対象物の第１組の画像を表すデータを処理し、前記第１組の画像間において画像点の対応を判定するステップと、
（ｉｉ）前記対応を用いて、第２の構造化パターンを有する前記対象物の第２組の画像を処理して、前記第２組の画像間において前記第２の構造化パターンの要素を整合化するステップと、
（ｉｉｉ）前記整合化された要素を解析し、前記対象物の空間座標を判定するステップと、
を実行するようにプログラムされた制御ユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の３次元表面再構築の方法およびシステムに関し、特に、少なくとも部分的には、構造化照射技術に基づく。また、本発明は、対象物または風景の２つの画像間における要素のラベリングに関する。
【背景技術】
【０００２】
対象物の３次元（３Ｄ）形状を判定することは、多くの分野で非常に重要である。例えば、製造物の寸法測定の分野においては、製造物の複数の所定寸法および／または面座標の正確な測定は、製造工程の精度を判定するうえでの重要なツールとなる。
【０００３】
このような３Ｄ形状判定のためのシステムおよび方法は、特に産業用途においては、機械および光学の２つの主要な経路を辿ってきた。機械システムは、対象物に関する正確な３Ｄデータを提供するが、プローブと対象物との間の機械的接触に依存し、１度に１つの表面点だけを測定するので、非常に遅く、非実用的なデータ取得速度になることがある。光学システムは、多様な方法のいずれに基づいてもよい。あるカテゴリーでは、三角測量システムを用いて、投射光線が反射される対象物上の点の３Ｄ空間位置を判定する。他のカテゴリーでは、エピポール手法が同じ目的で使用される。いずれの場合も、走査線システムから１本の光線を対象物上に投射し、投射線の反射を、投射装置の投射軸に対しある角度に位置するカメラで読み取る。これにより、対象物の部位（光線が投射された場所）の位置の三角測量を行うための画像の輪郭が得られる。このようなシステムでは、光線が対象物上に順次走査され（progressively scanned）、当該対象物の完全な３Ｄ形状が判定される。しかし、この方法もまた取得時間が長く、この時間の間にカメラと対象物との間に何らかの不測の動きが発生すれば、エラー発生の可能性もある。
【０００４】
改良された走査線システムでは、対象物に同時に複数の走査線を投射することができ、すべての線の反射をカメラにより取り込む。取得時間は速いが、特定の反射線が照射グリッド内のどの線に対応するかが不明瞭であるため、カメラにより撮像された画像の線と照射グリッド内の線との間の整合化を図ることが困難である。製造物に対してはよくあることだが、対象物自体が複雑でありかつ鋭端または急勾配面を有する場合、これは問題である。
【０００５】
この不明瞭性の問題を解決するための様々な方法が知られている。非特許文献１では、このような方法が概説されている。ここで説明された時間多重手法において、グレイコード法として知られる時間符号化法は、バイナリパターンの様々な空間周波数を用いて対象物を照射する。通常、最初の明と暗の２つの縞が対象物の関心領域を完全に照射するために用いられ、この反射が画像に記録される。次に、当該対象物は再び照射されるが、２つの明と２つの暗の、４つの縞により照射される。工程は複数回繰り返される。毎回、縞の数を倍にし、対象物の同一領域を照射し、その反射を別々の組の画像に記録する。対象物上のいずれの線も、対象物を照射するために過去に使用されたグレイスケールから、その位置で、一意的に観測されたコードから、元の特定の縞に関連付けることができる。
【０００６】
しかし、このような方法は、多数のデータ取得ステップを必要とし、また、対象物の３Ｄ構造を取得するデータ取得時間が比較的長いという難点がある。
【０００７】
不明瞭性の問題の解決には、空間に基づいた方法も知られており、前述の非特許文献１の刊行物において検討されている。パターン内のある点をラベリングするコードワードは通常、周辺の近傍点から取得される。空間的な近傍は、いつも当該画像中に再現できるとは限らないので、この方法の復号化工程ではエラーの生じる可能性がある。また、ピクセルまたは隣接ピクセル群の色または輝度は通常、空間的な近傍において収集可能な視覚的特徴である。空間に基づいたある方法では、本譲受人によりＯｐｔｉｇｏ２００の名で市場に出されている３次元画像化システムにおいて、所望の対象物（すなわち３Ｄ構造の判定を要する対象物）をランダムな白黒ピクセルのグリッドで照射する。対象物に対し異なった角度で設置された２つ以上のカメラがそれぞれ、対象物上に重ねられたランダムなグリッドを用いて対象物の画像を同時に撮り、各カメラより得られたグリッドパターン画像の相互相関をとる。このような空間に基づいた方法では、単一の空間符号化パターンを用いて不明瞭性の問題を解決し、このようにして得た画像間のピクセルの対応を利用して調査対象物の表面座標を求める。
【０００８】
全般的な背景技術としての関連性を有する特許文献１は、３Ｄ対象物を画像化するための方法に関し、この方法においては、グリッド形式の線パターンを対象物に照射し、パターンの線間および／または線の交差点間の相対距離に基づいて、形状を取得する。また、背景技術としての関連性を有する特許文献２は、画像化方法および装置に関し、この方法および装置においては、対象物に異なる色の帯域（differently-colored bands）の繰返しパターンを照射し、取得画像の、色のバー（colored bar）間のクロストークを減少することにより、取得画像の精度を高めている。
【特許文献１】米国特許第６，５１０，２４４号明細書
【特許文献２】米国特許第６，２５２，６２３号明細書
【非特許文献１】J. Salvi et al., "Pattern Codification Strategies in Structured Light Systems," April 2004
【発明の開示】
【０００９】
本明細書では、「対応（correspondence）」は、例えば、近傍型符号化の手法に基づく、対象物の異なる画像間の点対点のマッピング（通常はピクセルレベル）を指す。
【００１０】
「ラベリング（labeling）」は、対象物の異なる画像間の一次元の線パターンまたは準一次元の縞パターンのようなパターンの適切な識別を指す。
【００１１】
「整合化（matching）」は、対象物の異なる画像間におけるサブピクセル対サブピクセルのマッピングを指す。
【００１２】
「画像（image）」は、通常の意味に加え、本明細書では、対象物に投射されるオリジナルパターンを含んで用いられる。
【００１３】
本発明は、対象物の３Ｄ表面構造再構築方法を提供する。「対象物（object）」は、２次元または３次元の対象物もしくは風景を含む対象物の集合を指す。
【００１４】
本方法は、２段階アプローチを使用することにより対象物上の各反射点と照射パターンとの一意的な整合化を可能にするにことに基づくが、このような整合化が、サブピクセルレベルで可能である。第１段階では、第１組の像が取得され、空間符号化手法が、対象物の第１の像から第２の像への座標の対応マッピングに使用される。通常、近傍符号化手法が、この対応の判定に使用される。ある実施の形態では、ランダムなグリッドまたは他の構造化光を用いて対象物を照射し、画像を対象物に対し異なる角度で取得する。他の実施の形態では、非構造化光を使用することにより取得された画像から上記マッピングを実行するうえで、対象物の表面特性が十分である。
【００１５】
第２の段階では、通常は縞模様グリッドを含む第２の構造化照射を用いて、通常さらに２つの対象物画像を含む第２組の画像を取得し、そして第１段階において行われるマッピングにより、第２組の２つの画像間のグリッドの適切なラベリングが与えられる。再構築される表面の３Ｄ座標を取得するために、三角測量、エピポール法、または他の適切な方法を用いてもよい。
【００１６】
したがって、本発明は、対象物の３次元表面再構築方法に関する。本方法は、
（ａ）表面に第１の構造化パターンを有する対象物の第１組の像を取得し、第１組の画像間において画像点の対応を判定する工程と、
（ｂ）表面に第２の構造化パターンを有する対象物の第２組の画像を取得し、（ａ）で判定された対応に基づいて、第２組の画像間において第２の構造化パターンをラベリングする工程と、
（ｃ）（ｂ）で決定されたラベリングに基づいて第２組の画像間において要素を整合化する工程と、
（ｄ）（ｂ）で整合化された第２組の画像の要素から対象物の空間座標を判定する工程と、を有する。
【００１７】
通常、工程（ａ）は、
対象物に照射される構造化光の一意的に符号化された構造化パターンによって定義される第１の構造化パターンを有する対象物の第１組の画像を取得する工程と、
第１の構造化パターンに関する符号化に基づいて、１つの画像の座標を少なくとも１つの他の画像へマッピングすることにより、第１組の画像の画像点間において対応を求める工程と、を有する。
【００１８】
第１組の画像は通常、対象物に対して異なる角度の２つの画像を含む。本発明の第１の実施の形態では、これら２つの画像は、２つのカメラ、または対象物に対し２つの位置間を移動する単一のカメラを用いてほぼ同時に画像として取得される。第２の実施の形態では、第１組の画像の１つの画像は一意的に符号化された構造化パターンを有し、そして第１組の画像の少なくとも１つの他の画像は画像として取得され、従って、単一の固定カメラのみが必要である。
【００１９】
一意的に符号化された構造化パターンは通常、２次元のランダムまたは疑似ランダムのグレイコード、すなわち黒および白の要素のランダムまたは疑似ランダムの分布を有する２次元アレイを含む。工程（ａ）において画像点の対応を求めるうえで、パターン整合化技術を用いることができる。
【００２０】
第２の構造化パターンは通常、対象物に照射された周期的な構造化パターンを有する。第２組の画像は通常、対象物に対する角度の異なる２つの画像を含む。本発明の第１の実施の形態では、これら２つの画像は、２つのカメラ、または対象物に対し２つの位置間で移動する単一のカメラを通常同時に使用して画像として取得される。第２の実施の形態では、第１組の画像の１つの画像は一意的に符号化された構造化パターンを有し、そして第１組の画像の少なくとも１つの他の画像は画像として取得され、従って単一の固定カメラのみが必要である。
【００２１】
従って通常、第２の実施の形態は、対象物に投射されるパターンについて予め知っていることを必要とし、カメラの校正に加えて投光器の校正を必要とする。第１の実施の形態では、カメラの校正のみが必要になる。
【００２２】
小さな変動は通常許容されるものの、第１組の画像と対象物との間の関係は、第２組の画像と対象物との間の関係と実質的に同様である。
【００２３】
上記周期的パターンは通常、第２の輝度または色を有する第２の複数の縞に挿入された、第１の輝度または色を有する第１の複数の縞を含む。一実施の形態では、第１の複数の縞が白のピクセルを含み、第２の複数の縞が黒のピクセルを含む。
【００２４】
特に、本方法の第２の段階において、
第２組の画像の第１の画像における第１の要素を、第１の関連付け手法に従って、第１組の画像の第１の画像の第１の画像点と関連付ける工程と、
第１の画像点との対応を有する第１組の画像の第２の画像の第２の画像点を判定する工程と、
第２の画像点を、第２の関連付け手法に従って、第２組の画像の第２の画像の、第１の要素と整合する少なくとも１つの第２の要素と関連付ける工程と、を実施することができる。
【００２５】
第１の関連付け手法によれば、第１の要素は、各画像に対し第１の画像点とほぼ同一の空間位置における画像要素である。
【００２６】
第２の関連付け手法によれば、少なくとも１つの第２の要素は、画像に対し第２の画像点の位置またはその近傍に存在する、画像に対する空間位置における画像要素である。
【００２７】
第１の要素は通常、第２組の画像の第１の画像に含まれる第１の複数の縞の１つの縞のピクセル列の中心点を含む。
【００２８】
第２の要素は通常、第２組の画像の第２の画像に含まれる第１の複数の縞の１つの縞のピクセル列の中心点を含む。
【００２９】
工程（ｄ）は、三角測量手法か、エピポーラ再構築手法か、あるいはその他の適切な任意の手法に基づくものとすることができる。
【００３０】
本発明はまた、対象物の第１組の画像間の点を整合化する方法である。この方法は、
（ａ）第１の構造化パターンを有する対象物の第１組の画像を取得する工程と、
（ｂ）表面に第２の構造化パターンを有する対象物の第２組の画像を取得し、第２組の画像間において画像点の対応を判定する工程と、
（ｃ）（ｂ）で判定された対応に基づいて第１組の画像間において第１の構造化パターンの要素をラベリングする工程と、
（ｄ）（ｃ）でラベリングされた要素間において要素に含まれる点を整合化する工程と、を含む。
【００３１】
本発明はまた、対象物の３次元表面再構築システムに関する。このシステムは、
（Ｉ）第１の構造化パターンと第２の構造化パターンとにより対象物を選択的に照射するよう構成された投光器と、
（ＩＩ）第１の構造化パターンと第２の構造化パターンとにより照射された際に、対象物の画像を取得するための少なくとも１つのカメラと、
（ＩＩＩ）画像に基づいて対象物の３次元表面トポロジーを判定するためのマイクロプロセッサ手段と、を含む。
【００３２】
通常はコンピュータであるマイクロプロセッサ手段は、本発明の方法に従ってトポロジーを判定するために構成される。
【００３３】
本発明の方法は、適切なコンピュータに命じて上記方法を実行させるためのコンピュータ読取り可能な媒体に組み込むことができる。
【００３４】
本発明は、対象物の３次元表面再構築に使用される制御ユニットに関する。このユニットは、
（ｉ）表面に第１の構造化パターンを有する対象物の第１組の画像を表すデータを処理し、第１組の画像間の画像点の対応を判定する工程と、
（ｉｉ）対応を用いて、第２の構造化パターンを有する対象物の第２組の画像を処理し、第２組の画像間の第２の構造化パターンの要素をマッピングする工程と、
（ｉｉｉ）整合化された要素を解析し、対象物の空間座標を判定する工程と、を実行するようにプログラムされる。
【００３５】
このように、本発明は対応方法（correspondence method）を用いて、速く正確なラベリングを実現するとともに、対象物の２組の画像により正確な線対線のラベリングを実現する。これにより、速く正確な３Ｄ表面再構築を実現できる。特に、本方法の第１段階は、有効な対応の手段を単一のデータ取得工程のみにおいて実現し、この対応は、サブピクセルレベルの精度で３Ｄ再構築を可能にしつつ線対線のラベリングを実行するために使用することができる。
【発明を実施するための最良の形態】
【００３６】
本発明を理解しそれがどのように実行できるかを知るために、非限定的な例のみを用いて、好ましい実施の形態について添付の図面を参照しつつ以下に説明する。
【００３７】
概して参照符号１００で表される本発明の方法の実施の形態を図１に図示する。本方法の第１段階、すなわち段階Ｉにおいて、図２、図３および図４に示すように、対象物Ｏは、一意的な符号化（光パターン）が単一の照射に集められたような構造化照射により照射される。図３に概略的に示されるように、このような構造化照射は通常、ランダムまたは準ランダムなピクセルパターンＡの形式の空間符号化を有する。このパターンにおいて［ｎ×ｍ］ピクセルの各マトリクスは一意的であることが好ましい。本実施の形態では、ピクセルパターンＡは、基本的に２次元のグレイスケールであり、ピクセルは黒または白の色を有する。黒および白のピクセル分布はランダムとすることができる。あるいは、ピクセル分布は準ランダムでもよい。つまり、ピクセル分布は、グリッド（パターン）内の任意の［ｎ×ｍ］ピクセルのマトリクスに対し、グリッドＡ内の他のどの場所にもない白および黒のピクセルの一意的な順列が存在するように特別に設計される。実際には、通常はグリッドＡに対しグローバルな一意性ではなくローカルな一意性を持たせることで十分であるので、グリッド内のパターンの一部は実際にはグリッド内で繰り返されてもよいが、相互に離間される。
【００３８】
ステップ１１０において、対象物Ｏの画像は、図４に概略的に示されるように、対象物に重ねられたパターンＡを用いて、対象物Ｏの２つの画像（それぞれＩ１とＩ２）を同時に取得することで得られる。
【００３９】
ステップ１２０において、これらの画像は、白黒ピクセルの一意的な分布に従って画像Ｉ２の各部を画像Ｉ１の一部に対応するものとして識別するように処理することができる。このことについてここでさらに説明する。任意の適切な復号化、パターン認識およびパターン整合方法をこの目的に使用することができる。対象物上に重ねて見ると、パターンＡは、対象物Ｏのトポロジーに従って歪んで見え、さらに、通常この「歪み」の種類および程度は対象物Ｏに対する視角により異なる。既知のとおり例えば２Ｄ平面における曲線のような３Ｄエンティティの投射は、この平面における異なる２つの曲線となるため、各画像Ｉ１、Ｉ２は、オリジナルパターンＡに対し歪み、かつ相互に異なって見えるパターンＡ１およびＡ２をそれぞれ有する。
【００４０】
第１の画像Ｉ１は対象物Ｏの符号化画像と考えてよく、グローバルな矩形マトリクス内の複数の黒および白のピクセルから成る。このマトリクスは、可能なすべてのローカルな［ｎ×ｍ］マトリクスに分割され、これらは時にある程度まで相互に重複する場合がある。この結果、第１の画像Ｉ１の各ピクセルに、当該ピクセルを中心とする［ｎ×ｍ］マトリクスを割り当てることができる。もちろん、画像の端および角のピクセルは、それぞれに関連付けられるマトリクスの一部のみを有することができる。また、必要な変更を加えて、以下に説明する方法をこのようなマトリクスに適用してもよい。例えば、［ｎ×ｍ］マトリクスは［５×５］のマトリクスであるが、マトリクスの大きさおよび縦横比は、画像Ｉ１の大きさおよび他の特性に応じて変更してもよい。
【００４１】
第２の画像に関する典型的な「復号化」手順は、近傍符号化法に基づくものであり、以下のようにして実行される。画像Ｉ１の座標（ｘ１，ｙ１）を有する特定のピクセルを中心とする［５×５］マトリクスのような、画像Ｉ１内のマトリクスＭ１を例に取ると、他の画像Ｉ２において探索が行われ、黒／白のピクセルパターンがマトリクスＭ１のピクセルパターンと最も高い相関度を有する同様の［５×５］マトリクスの位置が、求められる。このマトリクスＭ２が求められると、その中心座標（ｘ２，ｙ２）が分かる。これらの中心座標はピクセルでもよく、またはこれらの座標に対しサブピクセルレベルの精度を実現する適切な方法を用いることができる。この操作は、画像Ｉ１内の全てのピクセル（すなわち［ｎ×ｍ］マトリクスのピクセル全て）に対して繰り返され、これによって、画像Ｉ１内のピクセルの中心座標を画像Ｉ２へ効果的にマッピングすることができる。このようにして、画像Ｉ１の全部分を画像Ｉ２に効果的にマッピングすることができる。
【００４２】
グリッドＡがローカルな一意性のみを有し、従ってこのグリッド内に一定の繰返しパターンが存在する場合においても、２つの画像間の対応を求め、各マトリクスを画像Ｉ１から画像Ｉ２へマッピングすることができる。例えば、これは、Ｉ１内の各マトリクス（例えばＭ１）を近傍（すなわちＭ１の近傍）に位置する他の複数のマトリクスＭ１ｎと関連付けることによって、行うことができる。Ｍ１と相関する複数のマトリクスＭ２’が第２の画像Ｉ２に存在する場合、前述のマトリクスＭ１ｎと相関するマトリクスＭ２ｎを近傍に有する、マトリクスＭ２’の中の特定の１つのが、Ｍ１に対応するマトリクスとして選択される。
【００４３】
または、グレイスケールに基づくランダムなグリッドを使用するのではなく、例えば前述の非特許文献１に説明されているように、カラースケールに基づくランダムなグリッドを用いてもよい。当該文献の内容は全て本明細書に含むものとする。
【００４４】
本方法の段階ＩＩのステップ１３０では、図５に示されるように、第２の構造化パターンが対象物Ｏに投射され、さらに画像Ｋ１およびＫ２を含む２つの画像が、図６に示されるように撮像される。ここで、第２の構造化パターンは、周期的パターンであり、通常は、離間された縞のアレイから成る縞模様の照射パターンＢである、すなわち、黒のピクセルの縞により分離される白のピクセルの実質的に平行な縞を有する。または、パターンＢを、任意の色の組合せで構成されたものとしてもよい。
【００４５】
ステップ１４０では、１つの画像または画像Ｋ１内の各縞または各線Ｌ１、Ｌ２、・・・、ＬＮの各部分が、他の画像または画像Ｋ２における特定の線番号Ｌ１’、Ｌ２’、・・・、ＬＮ’に対応するものとして識別およびラベリングされる。例えば次のとおりである。
【００４６】
図７を参照し、画像Ｋ１の線Ｌ３を例にとると、線Ｌ３の長手に沿った各ピクセルまたはピクセルの組に対し中心点ｑｎを求めることができる。例えば零交差法のように正確に中心点を求めるいくつかの既知の方法がある。ピクセルＮ０に対応するこのような１つの中心点ｑ０に関し、その座標は、例えば（ｘ１’，ｙ１’）と判定される。次に、これらの座標は、段階Ｉにおいて構造化照射により取得された対応に従って、画像Ｋ２に、すなわち位置ｑｒ（ｘ２’，ｙ２’）にマッピングされる。次に、ラベリング段階において、画像Ｋ２は、（ｘ２’，ｙ２’）の近傍で探索され、線Ｌ１’、Ｌ２’、・・・、ＬＮ’のうち、（ｘ２’，ｙ２’）に最も近い線の線セグメントＬｉ’（図７ではＬ３’）が求められる。
【００４７】
次に、画像Ｋ１とＫ２との間の要素が整合化される。まず（ｘ２’，ｙ２’）に最も近い中心ｑ１およびｑ３を有するＬ３’上のピクセルまたはピクセルの組Ｑ１およびＱ３が識別される。段階ＩＩに従って、Ｋ１のｑ０の座標（ｘ１’，ｙ１’）に最も近いものに対応するＫ２の座標は、これらの中心ｑ１、ｑ３間のどこかにあると考えられる。
【００４８】
ステップ１５０において、（ｘ１’，ｙ１’）に対応する対象物Ｏの座標（Ｘ１，Ｙ１）は、以下のように取得される。空間射線Ｐ１は、画像Ｋ１の点ｑ０（ｘ１’，ｙ１’）と投射中心ＣＰ１とにより定義される。次に、平面Ｓは、画像Ｋ２の点ｑ１、ｑ３と投射中心ＣＰ２とにより定義される。平面Ｓと射線Ｐ１との交差点Ｄにより、対象物Ｏの座標（Ｘ１，Ｙ１）またはこれに近い推定が得られる。
【００４９】
または、図８に示されるように、（ｘ１’，ｙ１’）に対応する対象物Ｏの座標（Ｘ１，Ｙ１）は以下のように取得される。空間射線Ｐ１は、画像Ｋ１の点（ｘ１’，ｙ１’）と投射中心ＣＰ１とにより定義される。次に、画像Ｋ２が補間され、マッピングされた点ｑｒ（ｘ２’，ｙ２’）と同じｙ２’座標を有する線Ｌ３’上の中心点ｑ５の座標を得る。点ｑ５は、点ｑ０と整合化されたものと考えられる。次に、空間射線Ｐ２は、画像Ｋ２の点ｑ５と投射中心ＣＰ２とにより定義される。次に、三角測量方法を用いて、射線Ｐ１、Ｐ２の交差点Ｄ’、または少なくともＰ１、Ｐ２間の最小距離の点を求めて、これにより、点（Ｘ１，Ｙ１）の座標またはそれに近い推定が得られる。
【００５０】
または、図９に示されるように、エピポール再構築に基づいた方法を使用することにより、ｑ０（ｘ１’，ｙ１’）に対応する対象物Ｏの点Ｄ’’（Ｘ１，Ｙ１）の座標を取得することができる。まず、ｑ０（ｘ１’，ｙ１’）の座標は、段階Ｉにおいて構造化照射により取得された対応に従って、画像Ｋ２上の点ｑｒ（ｘ２’，ｙ２’）にマッピングされる。次に、前述のように、画像Ｋ２が（ｘ２’，ｙ２’）の近傍で探索され、線Ｌ１’、Ｌ２’、・・・、ＬＮ’のうち、（ｘ２’，ｙ２’）に最も近い線の線セグメントＬｉ’、すなわちＬ３’が求められる。空間射線Ｐ１’は、画像Ｋ１の点ｑ０と投射中心ＣＰ１とにより定義され、従って点Ｄ’’を通る。エピポーラ線ＥＰＬは、ＣＰ１を像Ｋ２の投射中心ＣＰ２と接続するものであり、エピポールＥＰ１およびＥＰ２にて画像Ｋ１およびＫ２を接続するものである。画像Ｋ２への点Ｄ’’の投射は、ＥＰ２を通るエピポーラ線ＰＰ上に位置するよう制限され、Ｄ’’とＰＰとの間の関係は、当該技術では既知である対応基本マトリクス（corresponding Fundamental matrix）により表される。次に、例えば零交差法のような適切な方法を使用することにより求められたＬ３’の中心点の軌跡ＬＣＰは、エピポーラ線ＰＰと交差し、ｑ０に対応する中心点ｑ５’の座標を与える。点ｑ５’は、点ｑ０と整合化されたものと考えられる。次に、エピポーラ方法を用いて点Ｄの座標（Ｘ１，Ｙ１）を判定することができる。
【００５１】
随意的に、対象物Ｏが適切な構造化表面パターンを有する場合、本方法の第１段階は、グリッドＡを用いることなく、非構造化光を用いて実施することができる。この場合、対象物の２つの画像を取得するとともに、この表面パターンのローカルな一意性に基づいた適切なパターン整合化方法により、１つの画像の座標を他の画像にマッピングすればよい。
【００５２】
図２に示されるように、本実施の形態による本発明の方法は、システム２００を用いて実行することができる。システム２００は、投光器Ｐを使用することにより、段階Ｉおよび段階ＩＩにおいて必要な照射を提供し、少なくとも２つの画像が、対象物Ｏに対し異なる角度における２つのカメラＣ１およびＣ２により取得される。これらの画像は通常、ほぼ同時に撮像される。または、角度の異なる少なくとも２つの位置間で移動する単一のカメラを用いて、２つの画像を取得してもよい。適切なコンピュータ等のマイクロプロセッサ手段（図示せず）は、本発明の方法に従って、通常は画像取り込み器を介し、カメラＣ１およびＣ２により取得された画像を処理する。
【００５３】
対象物を照射する方法は多く存在する。例えば、パターンＡまたはパターンＢのいずれかが対象物に選択的に照射されることを可能にするマスクを有する発光体を使用してもよい。上記マスクは、いわゆる「受動」マスク、例えば、発光体により生成された光の光路内に選択的に設置可能な、固定パターンＡおよびＢをそれぞれ定義する２つのマスクであってもよい。このような受動マスクは、回転ディスクの形式を有することができ、半分がパターンＡを有することができ、他の半分がパターンＢを有することができる。ディスクは、１８０°回転され、必要な半分が発光体と位置合わせされる。
【００５４】
または、マスクは、動作可能に制御モジュールに接続された空間光変調器（ＳＬＭ）の形式を有するいわゆる「能動」マスクであってもよく、制御モジュールの管理の下でＳＬＭは必要なパターンＡまたはパターンＢを提供する。
【００５５】
または、発光体自体が、構造化光を生成するように構成されてもよい。これは、発光素子のマトリクスを用いて実現できる。このようなマトリクスは、固定パターンＡまたはＢに従って設計することができ、または、動作可能に制御モジュールに接続されパターンＡまたはパターンＢにより選択的に対象物を照射する適切な発光変調器（light-emitting modulator）として構成されてもよい。
【００５６】
または、レーザスペックル配列体（laser speckle arrangement）を用いてランダムなパターンを提供してもよい。
【００５７】
他の実施の形態では、ランダムなパターンＡにより照射された対象物の画像をそれぞれ取得する３台以上のカメラを用いてもよく、必要な変更を加えて、各画像は、上述したものと同じ方法で他の画像と関連付けられる。
【００５８】
カメラＣ１、Ｃ２、投光器Ｐ、対象物Ｏの間の空間的な関係は、第１組および第２組の画像が取得された時から、実質的に変更されないことが好ましく、よって、通常、画像の組Ｉ１、Ｉ２およびＫ１、Ｋ２は、非常に素早く連続的に撮像される。しかし、いくらかの相対的動きが精度に影響を与えることなく生じてもよい。通常、このような動きは、縞模様の照射パターンＢの線間距離の半分未満である。
【００５９】
本発明の第２の実施の形態を図１０に示す。本発明の第２の実施の形態は、第１の実施の形態の要素をすべて含み、必要な変更を加えた以下の相違を有する。
【００６０】
第２の実施の形態においては、第１組の画像は、対象物を照射するのに使用される、一意的に符号化された構造化パターン自体を有する。よって、段階Ｉにおいては、対象物Ｏは、パターンＡ（図１１ａ）のような、パターン内の［ｎ×ｍ］ピクセルの各マトリクスが好ましくは一意的であるようなランダムあるいは準ランダムなピクセルパターンを含む構造化照射により照射される。しかしながら、対象物に重ねられたパターンを用いてカメラ等により取得される画像は一つのみであり、図１１ｂに示されるように、対象物Ｏの画像Ｉ３が得られ、一組の画像における他方の「画像」はパターンＡ自体（図１１ａ）である。第１の実施の形態同様、パターンＡは対象物上に重ねて見ると、オリジナルパターンＡに対して歪んで見える。本実施の形態では、異なるカメラにより撮像された２つの画像間の対応を求めるのではなく、画像Ｉ３についてオリジナルパターンＡとの相関をとる。しかし、第１の実施の形態と同様な方法で、パターンＡは可能なすべての［ｎ×ｍ］マトリクスに分割される。したがって、このマトリクスは時にはある程度相互に重複してもよい。パターンＡの各ピクセルをＩ３の対応する位置へマッピングすることが試みられる。通常、このような［ｎ×ｍ］マトリクスは［５×５］マトリクスであるが、マトリクスの大きさおよび縦横比は、画像Ｉ３の大きさおよびその他の特性に応じて変更してもよい。
【００６１】
このように、第１の実施の形態に説明における方法に必要な変更を加えて、画像Ｉ３は効果的に符号化され、例えばグリッドＡと画像Ｉ３との節点座標間の対応を提供する。
【００６２】
段階ＩＩにおいては、例えば縞模様の照射パターンＢ（図１２ａ）のような周期的な構造化照射が、対象物Ｏ上に投射され、図１２ｂに図示されるような画像Ｋ３が撮像される。ここで、第２組の画像は、パターンＢと、対象物Ｏ上に重ねられたＢの撮像された画像と、を含む。オリジナルパターンＢの各縞または各線の各部分は、他の画像Ｋ３の特定の線に対応するものとして識別することができ、上記各部分の各中心点は、オリジナルパターンＢ内の線の一部に対しラベリングされているＫ３内の線の対応部分と整合化することができ、画像Ｋ１およびＫ２に関する第１の実施の形態について説明したのと同様の方法で、必要な変更を加えて、対象物の座標が取得される。
【００６３】
本実施の形態によれば、本発明の方法は、システム２００’を使用することにより実行することができる。システム２００’は、投光器Ｐを使用することにより段階Ｉおよび段階ＩＩに必要な照射を与えるとともに、対象物Ｏに対し投光器Ｐと異なる角度に位置合わせされたカメラＣを有する。適切なコンピュータ等のマイクロプロセッサ手段（図示せず）は、本発明の方法に従って、通常は画像取り込み器を介して、カメラＣにより取得された画像を処理する。
【００６４】
カメラＣ、投光器Ｐおよび対象物Ｏの間の空間的な関係は、画像Ｉ３およびＫ３が取得された時から実質的に変更されないことが好ましく、よって、通常、画像Ｉ３およびＫ３は、非常に素早く連続的に撮像される。ただし、いくらかの相対的運動が精度に影響を与えることなく生じてよい。通常、このような動きは、縞模様の照射パターンＢの線間距離の半分未満である。
【００６５】
以下の方法の請求項において、請求項の工程を指定するために使用されるアルファベット文字およびローマ数字は単に便宜上与えられるものであり、工程を実行する特定の順序を示唆するものではない。
【００６６】
最後に、添付の請求項において用いられる「有する（comprising）」の語は、「含むが限定されない（including but not limited to）」ことを意味することに注意されたい。
【００６７】
本発明に従った例示的な実施の形態を示し開示したが、本発明の精神を逸脱することなく多くの変更を行なうことができるということが理解されるであろう。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施の形態による方法の略図である。
【図２】本発明のシステムの第１の実施の形態の要素の略図である。
【図３】図２または図１０の実施の形態で使用されるランダムまたは準ランダムなピクセルパターンを図示する。
【図４】対象物が図３のパターンで照射された場合の、図２のシステムで取得された画像を図示する。
【図５】図２または図１０の実施の形態で使用される線パターンを図示する。
【図６】対象物が図５のパターンで照射された場合の、図２のシステムで取得された画像を図示する。
【図７】対象物が図５のパターンで照射された場合に図２のシステムで取得された画像を使用することにより、対象物上の点座標を取得する方法を図示する。
【図８】対象物が図５のパターンで照射された場合に図２のシステムで取得された画像を使用することにより、対象物上の点座標を取得する三角測量法を図示する。
【図９】対象物が図５のパターンで照射された場合に図２のシステムで取得された画像を使用することにより、対象物上の点座標を取得するエピポールに基づいた方法を図示する。
【図１０】本発明のシステムの第２の実施の形態の要素の略図である。
【図１１】図１１ａおよび図１１ｂは、図１０の実施の形態の投光器とカメラとにより投射されたランダムまたは準ランダムなピクセルパターンと受信された画像とをそれぞれ図示する。
【図１２】図１２ａおよび図１２ｂは、図１０の実施の形態の投光器とカメラとにより投射された線パターンと受信された画像とを図示する。
【図１】
2006528770.tif 000003
【図２】
2006528770.tif 000004
【図３】
2006528770.tif 000005
【図４】
2006528770.tif 000006
【図５】
2006528770.tif 000007
【図６】
2006528770.tif 000008
【図７】
2006528770.tif 000009
【図８】
2006528770.tif 000010
【図９】
2006528770.tif 000011
【図１０】
2006528770.tif 000012
【図１１】
2006528770.tif 000013
【図１２】
2006528770.tif 000014
【国際調査報告】
2006528770.tif 000015
2006528770.tif 000016
2006528770.tif 000017