(57)【要約】検出すべき対象（３）の表面の３次元座標を検出するために、プロジェクタ（４）から表面（２）に投影される色パターン（５）の色変化を冗長的な符号を用いて符号化することが提案される。カメラ（６）によって撮影された画像（７）において生じた色変化を分析する評価方法は表面（２）における変化に対して鈍感である。さらには１回の撮影でもって対象（３）の輪郭を検出することができる。したがって本発明による方法は異動する対象にも適している。
2005538347.tif 000002
【特許請求の範囲】
【請求項１】
対象（３）を３次元に検出する方法であって、
−検出すべき前記対象（３）に既知の投影データを有する色パターン（５）を投影し、
−前記対象（３）に投影された前記色パターン（５）をカメラを用いて検出し、
−前記カメラ（６）によって形成された画像（７）を評価ユニット（９）において前記対象（３）の３次元座標に処理する、対象（３）を３次元に検出する方法において、
前記色パターン（５）における前記投影データを冗長的な符号を用いて符号化することを特徴とする、対象（３）を３次元に検出する方法。
【請求項２】
前記色パターン（５）における色値を冗長的な符号の符号語を用いて構造化し、前記画像（７）の点（Ｐ）の投影データを、前記評価ユニット（９）によって実施される、前記色値を符号化した符号語の検索でもって識別する、請求項１記載の方法。
【請求項３】
前記色パターン（５）の色変化を冗長的な符号の符号語を用いて構造化し、前記評価ユニット（９）における評価の間に、色変化を符号語に応じて有効な色変化として認める、請求項１または２記載の方法。
【請求項４】
非自明なハミング距離を有する符号語を使用する、請求項２または３記載の方法。
【請求項５】
前記符号語が重畳されて設けられている、請求項２から４までのいずれか１項記載の方法。
【請求項６】
各色チャネルにおける前記色値は２つの値で変化する、請求項１から５までのいずれか１項記載の方法。
【請求項７】
各色チャネルにおける前記色値は最小値と最大値の間で変化する。請求項６記載の方法。
【請求項８】
前記色値は少なくとも２つのチャネルにおいて共に変化し、前記評価ユニット（９）における評価の間に、少なくとも２つの色チャネルにおいて一緒に生じた色変化を有効な色変化として認める、請求項１から７までのいずれか１項記載の方法。
【請求項９】
各色チャネルでは各符号語において少なくとも１回色変化を実施する、請求項１から８までのいずれか１項記載の方法。
【請求項１０】
前記評価ユニット（９）において、各色チャネルにおける色変化の位置を測定信号（１１）の一次導関数（１２）の極大値を用いて決定する、請求項１から９までのいずれか１項記載の方法。
【請求項１１】
前記色パターン（５）をストライプ状に構成し、前記評価ユニット（９）における評価の間に、相互に対応する色変化をプロフィール線（１５）に結合する、請求項１から１０までのいずれか１項記載の方法。
【請求項１２】
前記対象（３）の表面（２）の３次元座標を決定するために前記画像（７）の撮影を１回実施する、請求項１から１１までのいずれか１項記載の方法。
【請求項１３】
前記画像（７）において検出された色パターン（５）の色および該色パターン（５）における本来投影された色を評価することによって、前記対象（３）の表面（２）の色調を再構成する、請求項１から１２までのいずれか１項記載の方法。
【請求項１４】
検出すべき対象（３）の表面（２）に色パターン（５）を投影するプロジェクタ（４）と、前記表面（２）に投影された色パターン（５）の画像（７）を撮影するカメラ（６）と、前記画像（７）を評価する評価ユニット（９）とを用いて、対象を３次元に検出する装置において、
前記プロジェクタ（４）から投影される色パターン（５）および前記評価ユニット（９）は請求項１から１３までのいずれか１項記載の方法を実施するために設けられていることを特徴とする、対象を３次元に検出する装置。
【請求項１５】
人間の顔を識別するための請求項１から１３までのいずれか１項記載の方法または請求項１４記載の装置の使用。
【請求項１６】
人間のジェスチャーを識別するための請求項１から１３までのいずれか１項記載の方法または請求項１４記載の装置の使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は対象を３次元に検出する方法に関し、この方法では、
−検出すべき対象に既知の投影データを有する色パターンを投影し、
−検出すべき対象に投影されたパターンをカメラを用いて検出し、
−カメラによって形成された画像を評価ユニットにおいて３次元の対象座標に処理する。
【０００２】
本発明はさらに本方法を実施するための装置ならびに装置および方法の使用に関する。
【０００３】
対象を３次元に検出する方法は種々の使用目的に関して、例えば人間の識別および認証のために必要とされる。例えばＤＥ１９９  ６３  ３３３  Ａ１からは、色のついたパターン要素からなる２次元の色パターンを検出すべき対象に投影し、検出すべき対象に投影されたこの色パターンをカメラを用いて検出することが公知である。検出すべき対象の表面は立体的な性質を有するので、色パターンはカメラによって形成された画像においては本来の配置に比べるとずらされており、その結果プロジェクタとカメラの位置が既知である場合には、検出すべき対象の表面における対象点の３次元データを計算することができる。
【０００４】
もっとも公知の方法は色のついたシーンには適していない。むしろ公知の方法では、参照画像を均一の白色の対象照明を用いて撮影することが必要である。この参照画像によってパターン画像における投影された色を検出することができる。公知の方法では少なくとも２つの画像を撮影することが必要とされるので、移動性または変形性の対象には制限的にしか適していない。したがってこの公知の方法は、手または顔の識別には制限的にしか適していない。
【０００５】
P. VuylstekeとA. Oosterlinckの「Range Image Acquisition with a Single Binary-Encoded Light Pattern」IEEE Transaction on Pattern Analysis and Machine Intelligence, 第１２巻２号、１９９０年２月からは、検出すべき対象に、付加的に符号化された白黒の２次元パターン投影することが公知である。この際、カメラ画像の各点に関する投影角度を点の画像周辺から求めることが試みられている。殊に、カメラの視点からの対象面への立体的な配向によって生じる投影パターンのひずみからそれぞれの点の投影角度を求めることが試みられている。しかしながらこのことは、滑らかに延在する表面を有する対象にしか良好に達成することができない。しかしながら検出すべき対象においてくぼみ（Tiefenspruenge）が存在する場合には、画像点周辺の符号化されたパターン要素は妨害され、このことは検出不可能または誤った投影角度を生じさせ、また結果として誤った３次元対象座標を生じさせる。
【０００６】
したがってこの従来技術を基礎とする本発明の課題は、検出すべき対象の色調によってもくぼみによっても損ねられることのない、対象を３次元に検出する方法を提供することである。
【０００７】
さらに本発明の課題は、この方法を実施するための装置を提供することである。
【０００８】
この課題は独立請求項の特徴を有する方法および装置によって解決される。従属請求項には本発明の有利な構成および実施形態が示されている。
【０００９】
本発明による方法では、投影座標が色パターンにおいて冗長的な符号を用いて符号化される。符号化のために色パターンを使用することは、殊に顔を識別する際にくぼみまたは遮蔽部によって符号の妨害は生じ得ないように符号化をコンパクトに実施できるという利点を有する。さらには符号化は、冗長的な符号化を用いることにより対象の色調によって惹起される画像内の色品質劣化を検出して除去できるので誤りに対してロバストである。
【００１０】
したがって方法を実施するために設けられている装置は、冗長的に符号化された色パターンを、検出すべき対象に投影するプロジェクタを有する。
【００１１】
方法の有利な実施形態においては、色パターンの色値は複数の符号語に分割されている。この場合符号語は有利には非自明なハミング距離を有する。ここで非自明なハミング距離とは１より大きいハミング距離とする。符号化のこのような形態でもって符号化された投影データを識別する際には良好な結果が得られた。
【００１２】
符号化のロバスト性は符号語を重畳することによってさらに高めることができる。
【００１３】
別の措置は個々のチャネルにおける色変化に関する。識別の精度を例えば、各色チャネルにおける色値はその都度、予め定められた２つの色値しかとらないことによって高めることができる。好適には各色チャネルにおける色は考えられる最小値と別の考えられる最大値とで変化する。
【００１４】
さらには、色変化を少なくとも２つの色チャネルにおいて同時に行わねばならないことが要求される。
【００１５】
これらの２つの措置によって、検出すべき対象の色調の変化に起因する障害を除去することができる。
【００１６】
色パターンに対する別の有意な要求は各符号語における色変化の数である。それぞれの色チャネルにおける各符号語において少なくとも１つの色変化が行われるならば、識別エラーは複数の符号語にわたることはない。
【００１７】
色変化を冗長的に符号化された符号の符号語に統合することによっても識別の精度をさらに改善することができる。色パターンの符号化に対するこれらの要求によって復号時のエラーを確実に検出する事ができる。
【００１８】
復号は、一次導関数の最大値を決定することによって、検出された測定信号の変曲点が評価ユニットにおいて検出されることによって行われる。潜在的な色変化に対応付けることができるそのように検出された変曲点は引き続き、色符号の符号化を充足する判定基準について検査される。この際例えば色変化の大きさおよびチャネル間の色変化の相関が検査される。別の判定基準は例えば、変曲点は正の勾配と負の勾配とがそれぞれ対になって生じなければならず、且つ色変化は色変化の符号語に対応していなければならないといったものである。
【００１９】
最後に色変化は色変化の符号化された符号語と一致するか否かについて検査され、検出された画像の点に対応付けられた投影データが検出される。カメラによって検出された画像におけるそれぞれの点の投影データおよび座標から、検出すべき対象の表面の３次元対象座標を算出することができる。
【００２０】
以下では本発明を付属の図面に基づき詳細に説明する。ここで、
図１は対象データを３次元に検出するための装置の俯瞰図である。
図２ａから２ｃはデータ処理を具体的に説明するグラフである。
図３ａおよび３ｂは検出された対象の再構成されたプロフィール線を表す。
【００２１】
図１には、検出すべき対象３の表面２の３次元対象座標を決定するために使用される装置１を示す。
【００２２】
装置１は色パターン５を、検出すべき対象３の表面２に投影するプロジェクタ４を有する。図１に示されている事例では色パターン５は並置されている一連の色ストライプから構成されている。しかしながら、図１に示した１次元の色パターン５の代わりに２次元の色パターンを使用することも考えられる。
【００２３】
図１に示されている実施例では、対象３の表面２の各点Ｐに投影平面ｇを対応付けることができる。したがって色パターン５によって投影データは符号化されている。対象３の表面２に投影された色パターン５はカメラ６によって画像７に変換され、この画像７において表面２における点Ｐが点Ｐ′に変換される。プロジェクタ４とカメラ６の配置構成が既知である場合、殊に基線８の長さが既知である場合には、三角測量によって表面２における点Ｐの３次元空間座標を計算することができる。このために必要とされるデータ処理および評価は評価ユニット９によって行われる。
【００２４】
対象３の表面２がくぼみおよび遮蔽部を有する場合でも、表面２における点Ｐの３次元空間座標を１つの画像７から決定できるようにするために、色パターン５は投影平面ｇの符号化がエラーに対して可能な限りロバストであるように構成されている。さらには符号化によって対象の色調に基づくエラーを除去することができる。
【００２５】
図１に示されている実施例では、色パターン５の色はＲＧＢモデルによって表される。色パターン５の色値の変化は個々の色チャネルＲ、ＧおよびＢにおける色値が変化することによって行われる。
【００２６】
ここで色パターンは以下の条件を満たすものとする：
−各色チャネルにおいては２つの色値しか使用されない。殊に各色チャネルにおいてはそれぞれ最小値と最大値が使用され、その結果ＲＧＢモデルでは全部で８つの色が使用される。
−符号語においては各色チャネルは少なくとも１つの色変化を示す。この条件は個々の符号語の復号を可能にする。
−並置されている色要素は少なくとも２つの色チャネルでは異なる。この条件は例えば、殊にくぼみに対するエラー許容差を保証するために使用される。
−色パターン５の個々の符号語は非自明なハミング距離を有する。この条件も、投影平面ｇの復号の際のエラー許容差を高めるために使用される。
−色変化も非自明なハミング距離を有する符号語に統合される。
【００２７】
以下では、上記の５つの条件を満たす色パターン５についての例を説明する。この色パターン５は赤色チャネルＲ、緑色チャネルＧおよび青色チャネルＢを有するＲＧＢモデルに関する。色値は各色チャネルにおいてそれぞれ最小値か最大値しかとらないので、全部で８つの混合色が使用され、この混合色にはそれぞれ以下の数が割り当てられている：
黒        ０
青        １
緑        ２
シアン    ３
赤        ４
マゼンタ  ５
黄        ６
白        ７
【００２８】
色値の符号語には４つの色ストライプの長さが選択され、この際隣接する符号語はそれぞれ３つの色ストライプと重畳している。
【００２９】
色変化も数値に対応付けた。３つの色チャネルのそれぞれのチャネルにおいては色値を一定に保たれる、低減する、上昇することができるので、混合色の全部で２７の種々の色変化が生じ、この色変化には０〜２６のうちの１つの数がそれぞれ割り当てられた。色変化に対応付けられている符号語の長さは３つの色変化で等しく選択されており、この際隣接する符号語はそれぞれ２つの色変化と重畳する。
【００３０】
検索アルゴリズムによって、前述の５つの条件を満たす色パターン５の実施例を表す以下の順番の数が発見された：
1243070561217414270342127216534171614361605306352717072416305250747147065035603634743506172524253607
【００３１】
ここで示した実施例においては第１の符号語は１２４３からなり、第２の符号語は２３４０からなり、第３の符号語は４３０７からなる。ここで示した実施例は非常にロバストな符号化を表す。
【００３２】
図２ａ〜２ｃはデータ処理を具体的に説明するものである。図２ａには元の色信号１０が示されている。対象３の表面２によって元の色信号１０が測定信号１１に変形される。明瞭にするために、ここでは色信号１０および測定信号１１は、図１に示した色パターン５の色ストライプを横断する方向で示していることを言及しておく。
【００３３】
データ処理のために、第１のステップでは測定信号１１の一次導関数１２が計算される。続いて、一次導関数１２の極大値１３が計算されることによって測定信号１１の変曲点が決定される。正確な位置は導関数１２の極大値の周辺において放物線または３次多項式を直接フィットさせることによって計算される。これにより生じる極大値はその空間的な分布に応じて混合された色信号の極大値に統合され、この極大値は複数の色チャネルにわたり延在する。複数の色チャネルにわたり延在する極大値の位置は、個々の色チャネルにおける極大値の位置の重み付けされた平均値が形成されることによって計算される。重み付けに使用される係数は、測定信号１１のフィット曲線の品質および信号ノイズ比を基礎として形成される。他の色チャネルにおける別の極大値に対応しない個々の極大値はそれ以降無視される。このことは相応の色遷移が生じることなく極大値が発生する確率は非常に僅かであるので、ノイズに起因する歪みを除去するために効果的な手段である。図２ｃにおいては例えば誤って検出された極大値１４を除去することができる。
【００３４】
さらなる方法ステップにおいては、同一の極大値がプロフィール線１５に結合される。図３ａは極大値にはさらなるフィルタリングが行われていない場合の結果を示す。しかしながら色変化は、相互に非自明なハミング距離を有している重畳された符号語を用いて構造化されているので、表面２の色調における色エッジに基づく極大値もフィルタリングすることができる。結果が図３ｂに示されている。すなわちここで説明する方法は色パターン５における色変化に基づく、色変化の実際のプロフィール線１５を十分に検出することができる。
【００３５】
さらなる経過においては画像７の点Ｐには色符号化によって投影平面ｇを対応付けることができる。この場合表面の３次元対象データは、カメラ６とプロジェクタ４の配置が既知である場合には三角測量によって得られる。
【００３６】
ここで説明する方法は、検出すべき対象３の色調を決定するためにも使用することができる。画像７における点Ｐの色値は以下の式によって表すことができる。
【００３７】
【数１】
2005538347.tif 000003
ここでｓｃ（λ）はカメラ６におけるセンサ素子のスペクトル感度を表し、ｒｃ（λ）は対応する表面２のスペクトル反射率を表し、Ｉｐ（λ）はプロジェクタ４から放射されるビームのスペクトル強度を表し、Ｉａ（λ）は背景照明の強度を表す。各点Ｐに対するＩｐ（λ）は上述した方法の実施後は既知であるので、Ｒｃ（λ）は実質的に定数ｒｃと等しいという前提のもとに、背景照明の影響を無視できる場合には、各色チャネルにおける測定値Ｒｃから定数ｒｃを計算することができる。３つの色チャネルの反射率ｒｃから表面２の色調を推測することができる。隣接するｒｃの値を考慮して最終的には、少なくとも対象３の色調の低周波成分を検出することが可能である。
【００３８】
本方法は既に十分に試験された。１０４のストライプが一義的な符号化を形成した色パターンを使用した。しかしながら検査構造体の幾何学は符号化されたパターンの部分的な反復を許容するので、投影される色パターン５に関しては全部で１５６の光平面が使用された。
【００３９】
プロジェクタ４には簡単なスライドプロジェクタもＬＣＤプロジェクタも使用した。光学系が大きな焦点深度について最適化されている簡単なスライドプロジェクタはコストの観点からより良好な択一形態である。
【００４０】
カメラには５７４×７６８ピクセルの解像度を有する種々のＲＧＢカメラを使用した。個々の色チャネル間でのクロストークを可能な限り抑制するために、カメラ６における良好な色分離が重要である。評価ユニット９にはペンティアムＩＶ２．４ＧＨｚプロセッサを備えたコンピュータを使用した。これによりプログラムコードの速度を最適化せずとも１秒間に１５画像まで撮影および分析することができた。したがって本方法はジェスチャーの識別に十分適している。
【００４１】
本方法は、表面２の色調の変化および背景照明が周波数および振幅で色パターン５の色変化に対応しない場合には確実に動作する。このことはまた図３ａおよび図３ｂからも識別でき、これらの図面においては指１６が多色の台１７上に載置されている。
【００４２】
面に３次元座標を対応付けられるようにするためには、この面は画像７において少なくとも８×８ピクセルの大きさでなくてはならない。何故ならば評価のためには少なくとも２つの完全な色ストライプが必要とされるからであり、この際カメラ６における１つの色ストライプは少なくとも３ピクセル幅である。
【００４３】
ここで説明する方法の実施に際して、表面２の３次元座標を決定するためには表面２の１回の撮影で十分であるので、ここで説明する方法およびここで説明する装置はことに移動または変形する対象の検出に適している。したがってここで説明する方法は生物測定学の枠内において、顔の識別およびジェスチャーの識別に適している。その限りではここで説明する方法は特に人間の識別および認証に適している。
【００４４】
別の適用領域は製品の品質保証、例えば改装、修理のための建造物内の物体の測定または既存の機械または装置の拡張、またはマルチメディアまたはゲームの分野における対象の３次元モデリングが該当する。
【００４５】
色パターン５を表すために別の色モデル、例えばＹＵＶモデルも使用できることを言及しておく。
【００４６】
さらに、カメラの概念はあらゆる画像システムと解することを言及しておく。
【図面の簡単な説明】
【００４７】
【図１】対象データを３次元に検出するための装置の俯瞰図である。
【図２ａ】データ処理を具体的に説明するグラフである。
【図２ｂ】データ処理を具体的に説明するグラフである。
【図２ｃ】データ処理を具体的に説明するグラフである。
【図３ａ】検出された対象の再構成されたプロフィール線を表す。
【図３ｂ】検出された対象の再構成されたプロフィール線を表す。
【図１】
2005538347.tif 000004
2005538347.tif 000005
2005538347.tif 000006
【国際調査報告】
2005538347.tif 000007
2005538347.tif 000008
2005538347.tif 000009
2005538347.tif 000010
2005538347.tif 000011
2005538347.tif 000012