(57)【要約】画像処理のための新しい方法、装置及びシステムが提供される。本発明のいくつかの実施例によると、可視光画像センサアレイ（例えば、電荷結合素子（ＣＣＤ）、又は相補型金属酸化膜半導体（ＣＭＯＳ））及び距離センサアレイが実質的に同一方向に向き、実質的に重なる視野を有して配置されうる。本発明の更なる実施例によると、距離センサアレイ内の１又はそれ以上の距離センサエレメントから得られた距離値は、可視センサアレイ内の１又はそれ以上の画像処理エレメントと相関づけられうる。画像処理ロジックは得られた距離値を、得られた距離の関数として、１又はそれ以上の画像処理エレメントと相関づけできる。【選択図】図１
2010516153.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、実質的に同一方向を向き、かつ、少なくとも部分的に重なる視野を有する、可視光画像センサアレイ及び距離センサアレイと、当該距離センサアレイ内の１又はそれ以上の距離センサエレメントから得られた距離値を、当該得られた距離値の関数として１又はそれ以上の可視光センサアレイの画像処理エレメントと相関づけるように構成される画像処理ロジックと、を具えることを特徴とする装置。
【請求項２】
請求項１に記載の装置において、前記画像処理ロジックが、距離センサエレメントから得られた距離値を、オフセット値を推定することによって可視光センサアレイの画像処理エレメントと相関づけるように構成されることを特徴とする装置。
【請求項３】
請求項２に記載の装置において、前記画像処理ロジックが、距離センサエレメントから得られた距離値を、前記オフセット値を前記距離センサエレメントのアドレスに適用することによって可視光センサアレイの画像処理エレメントと相関づけるように更に構成され、これによって、対応する可視光センサアレイの画像処理エレメントのアドレスを決定することを特徴とする装置。
【請求項４】
請求項２に記載の装置において、前記画像処理ロジックが距離センサエレメントセットから、クラスタ化された距離値のセットに基づいて目標を記録／検出するように構成され、前記距離エレメントが互いに近接することを特徴とする装置。
【請求項５】
請求項４に記載の装置において、前記画像処理ロジックが前記距離センサエレメントセットを、当該距離センサエレメントセットに対するオフセット値を推定することによって可視光センサアレイの画像処理エレメントセットと相関づけるように構成されることを特徴とする装置。
【請求項６】
請求項５に記載の装置において、前記処理ロジックが、対応する可視光センサアレイの画像処理エレメントセットのアドレスを決定するために、前記オフセット値を前記距離センサエレメントセットのアドレスに適用するように構成されることを特徴とする装置。
【請求項７】
請求項４に記載の装置において、前記画像処理ロジックがバックグラウンドノイズをフィルタにかけるように更に構成されることを特徴とする装置。
【請求項８】
画像処理方法であって、可視光画像センサアレイでの可視光画像と距離センサアレイからの距離画像とを実質的に同時に取得するステップであり、前記可視光画像センサアレイ及び距離センサアレイが実質的に同一方向を向き、かつ、少なくとも部分的に重なる視野を有するステップと、前記距離センサアレイ内の１又はそれ以上の距離センサエレメントから得られた距離値を、当該得られた距離値の関数として１又はそれ以上の可視光センサアレイの画像処理エレメントと相関づけるステップと、を具えることを特徴とする方法。
【請求項９】
請求項８に記載の方法において、距離センサエレメントから得られた距離値を可視光センサアレイの画像処理エレメントと相関づけるステップが、オフセット値を推定するステップを含むことを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、距離センサエレメントから得られた距離値を可視光センサアレイの画像処理エレメントと相関づけるステップが、前記オフセット値を前記距離センサエレメントのアドレスに適用するステップを含み、これによって、対応する可視光センサアレイの画像処理エレメントのアドレスを決定することを特徴とする方法。
【請求項１１】
請求項９に記載の方法が、クラスタ化された距離値のセットに基づいて目標を記録／検出するステップを更に具え、前記距離エレメントが互いに近接することを特徴とする方法。
【請求項１２】
請求項１１に記載の方法が、距離センサエレメントセットを、当該距離センサエレメントセットに対するオフセット値を推定することによって可視光センサアレイの画像処理エレメントセットと相関づけるステップを更に具えることを特徴とする方法。
【請求項１３】
請求項１２に記載の方法が、対応する可視光センサアレイの画像処理エレメントセットのアドレスを決定するために、前記オフセット値を前記距離センサエレメントセットのアドレスに適用するステップを更に具えることを特徴とする方法。
【請求項１４】
請求項１１に記載の方法が、バックグラウンドノイズをフィルタにかけるステップを更に具えることを特徴とする方法。
【請求項１５】
コンピューティングシステムであって、実質的に同一方向を向き、かつ、少なくとも部分的に重なる視野を有する、可視光画像センサアレイ及び距離センサアレイを含む画像ベースのインタフェースと、当該距離センサアレイ内の１又はそれ以上の距離センサエレメントから得られた距離値を、当該得られた距離値の関数として１又はそれ以上の可視光センサアレイの画像処理エレメントと相関づけるように構成される画像処理ロジックと、を具えることを特徴とするシステム。
【請求項１６】
請求項１５に記載のシステムにおいて、前記画像処理ロジックが、距離センサエレメントから得られた距離値を、オフセット値を推定することによって可視光センサアレイの画像処理エレメントと相関づけるように構成されることを特徴とするシステム。
【請求項１７】
請求項１６に記載のシステムにおいて、前記画像処理ロジックが、距離センサエレメントから得られた距離値を、前記オフセット値を前記距離センサエレメントのアドレスに適用することによって可視光センサアレイの画像処理エレメントと相関づけるように更に構成され、これによって、対応する可視光センサアレイの画像処理エレメントのアドレスを決定することを特徴とするシステム。
【請求項１８】
請求項１６に記載のシステムにおいて、前記画像処理ロジックが距離センサエレメントセットから、クラスタ化された距離値のセットに基づいて目標を記録／検出するように構成され、前記距離エレメントが互いに近接することを特徴とするシステム。
【請求項１９】
請求項１８に記載のシステムにおいて、前記画像処理ロジックが前記距離センサエレメントセットを、当該距離センサエレメントセットに対するオフセット値を推定することによって可視光センサアレイの画像処理エレメントセットと相関づけるように構成されることを特徴とするシステム。
【請求項２０】
請求項１９に記載のシステムにおいて、前記処理ロジックが、対応する可視光センサアレイの画像処理エレメントセットのアドレスを決定するために、前記オフセット値を前記距離センサエレメントセットのアドレスに適用するように構成されることを特徴とするシステム。
【請求項２１】
請求項１８に記載のシステムにおいて、前記画像処理ロジックがバックグラウンドノイズをフィルタにかけるように更に構成されることを特徴とするシステム。
【請求項２２】
請求項１５に記載のコンピューティングシステムにおいて、当該コンピューティングシステムが、ゲームコンソール、Ｗｅｂ会議システム及びセキュリティシステムからなる群から選択されることを特徴とするシステム。
【請求項２３】
画像処理システムを構築する方法であって、前記可視光画像センサアレイ及び距離センサアレイが実質的に同一方向を向き、かつ、少なくとも部分的に重なる視野を有する可視光画像センサアレイ及び距離センサアレイを整列するステップと、前記距離センサアレイ内の１又はそれ以上の距離センサエレメントから得られた距離値を、当該得られた距離値の関数として１又はそれ以上の可視光センサアレイの画像処理エレメントと相関づけるように構成される画像処理ロジックを統合するステップと、を具えることを特徴とする方法。
【請求項２４】
請求項２３に記載の方法が、照射モジュールを統合するステップを更に具えることを特徴とする方法。
【請求項２５】
請求項２３に記載の方法が、動的な距離ウィンドウを規定するように構成される、第１及び第２の変調器を統合するステップを更に具えることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的に、画像処理のための方法、装置及びシステムに関する。特に、現場を表す多次元（例えば、３次元）データセットを出力するために適用される可視光画像センサアレイ及び距離センサアレイを用いて、１又はそれ以上の現場の画像をキャプチャするための方法、装置及びシステムに関する。
【背景技術】
【０００２】
３次元画像、すなわち、現場の奥行き又は距離情報を含む画像を得るための様々な技術が知られている。多次元画像処理の例示的な方法は、（１）飛行時間（すなわち、光）計測と、（２）反射した放射線の位相検出と、（３）立体画像の三角測量とを含んでいる。前述の技術（１）及び（２）は一般的に画像が例えば、レーザビームによって照射／パルス化され、奥行きデータが視野を横切る各点ごとに取得されることを要求する。技術（３）は実時間で奥行きデータを得るために、多数の画像処理センサアレイと、比較的大量の計算能力とを要求する。しかしながら、同時に、かつ実質的に実時間で視野全体にわたる奥行き又は距離情報を取得することが、多くのアプリケーションで所望される。
【０００３】
距離でゲート化されたカメラが当該技術分野で知られている。このようなカメラはゲート化された検出器アレイを含み、パルス化された、又は、ストロボの光源と協働し、現場を照射する。アレイは例えば、そこにゲート化された増強器を接続することによって、又は当該技術分野に公知の他の手段によってゲート化できる。検出器アレイのゲートタイミングは光源に対し遅延し、カメラから所望の距離の範囲内の目標から反射された光だけがキャプチャされる。そのカメラは範囲内の様々な目標又は異なる点に対する距離を決定できない。
【０００４】
米国特許第６，０５７，９０９号は、引用によって本明細書中に取り込まれ、現場の目標のための距離情報を含む画像を表す多次元データセットを生成するための機構について述べている。この機構は、第１の変調関数を有し、現場の方に放射線を向ける変調放射線の光源と、第２の変調関数によって変調され、現場から反射される放射線を検出し、検出した前記変調放射線に応答し、現場の領域に対する距離に応答する信号を生成する検出器と、検出器からの信号を受信し、かつ、画像を形成し、機構からの目標の距離を示す輝度値分布を有する、信号に基づくプロセッサと、第１及び第２の変調関数のうちの少なくとも１つを変更し、プロセッサによって形成された画像の輝度値分布に応答するコントローラとを具えている。米国特許第６，０５７，９０９号に記載の機構は、画像全体にわたって同時に奥行き又は距離情報を取得できる。
【０００５】
米国特許第６，０９１，９０５号は、引用によって本明細書中に取り込まれ、現場の目標に対する距離を示す画像を生成するための機構について記載している。この発明は、放射線源及び変調器と、現場から反射された放射線を受信及びコリメートするためのテレセントリック構成部分と、検出器とプロセッサとで構成される。検出器はコリメートされた反射した放射線を受信し、信号をプロセッサに送信する。プロセッサは、機構からの目標の距離を示す輝度値分布を有する画像を形成する。
【０００６】
米国特許第６，１００，５１７号は、引用によって本明細書中に取り込まれ、現場の目標上の点に対する距離を示す画像を生成するための機構について記載し、第１の変調関数を有し、変調放射線の一部がその点から反射され機構に到達するように現場の方に放射線を向ける変調放射線の光源と、第２の変調関数によって変調され、各エレメントが現場の点と関連し、各エレメントが信号を生成し、機構に到達する反射した放射線の一部に応答し、特定のエレメントの信号の振幅が現場の点の距離に依存し、そのエレメントの信号に関連する、現場からの放射線を検出するアレイ検出器と、機構からの現場の各点の距離を示す輝度値分布を有し、その点に関連する信号の振幅に基づく、画像を形成するプロセッサと、を具え、第１及び第２の変調関数は互いに異なる、反復するパルス変調関数を具えている。
【０００７】
ゲーム（例えば、仮想ゲーム）やマルチメディア通信のような産業における近年の技術進歩は、有効かつ廉価な実時間での３Ｄ画像処理方法、装置及びシステムの需要を導いてきた。多くの消費者向けアプリケーション用の３Ｄ画像処理システムは、２次元画面に表示可能な２次元画像、及び、２次元画像上の特定の点／目標の距離を示す奥行きマップの双方を含む合成画像を生成する能力を要求する。
【０００８】
現場の合成又は多次元（例えば、３次元）画像を表す多次元データセットを生成するための、従来技術の画像処理方法、装置及びシステムは、例えば照準合わせと呼ばれる技術を用いることによって、視界の共通の照準線上に配置された距離センサアレイ及び可視光センサアレイの双方の組合せを用いてきた。共通の照準線の配置は、可視光センサアレイによって取得される２次元画像データと、距離センサアレイによって取得される距離データとの間で適切な相関を有するように要求される。共通の照準線はコリメータ、ビームスプリッタ及び他の光学エレメントを含む光学配置を用いて得られる。しかしながら、共通の照準線の光学配置の使用は、煩雑であり高価である。共通の照準線の光学配置を生成することに関連する複雑性は、多次元画像処理装置及びシステムの生成において負担である。現場の合成（すなわち、奥行きマップを有する２次元）画像を表す多次元画像データセットを生成するための、画像処理の分野におけるニーズが存在している。
【発明の概要】
【０００９】
本発明は、画像処理のための方法、装置及びシステムである。本発明のいくつかの実施例によると、可視光画像センサアレイ（例えば、電荷結合素子（ＣＣＤ）、又は相補型金属酸化膜半導体（ＣＭＯＳ））及び距離センサアレイが実質的に同一方向に向き、実質的に重なる視野を有して配置されうる。本発明の更なる実施例によると、距離センサアレイ内の１又はそれ以上の距離センサエレメントから得られた距離値は、可視センサアレイ内の１又はそれ以上の画像処理エレメントと相関づけられうる。画像処理ロジックは得られた距離値を、得られた距離の関数として、１又はそれ以上の画像処理エレメントと相関づけできる。
【００１０】
本発明のいくつかの実施例によると、可視光画像センサアレイは、１又はそれ以上の画像処理エレメントの得られた距離値を、得られた距離の関数として相関づけるように距離センサへの配列に従属できる。本発明の更に別の実施例によると、可視光画像センサアレイは、光学軸を有する、対物的な集束させる光学構成を具え、現在知られている、又は将来に発明されうるあらゆる型の可視光データ取得装置（すなわち、ＲＧＢ／ＢＷカメラ）にできる。
【００１１】
本発明のいくつかの実施例によると、対応するピクセル間のオフセットは、他のセンシングアレイの位置に対する、１のセンシングアレイの目標の位置間の偏位であり、オフセットは以降では相対偏位（ＲＳ）と呼ばれる。本発明の更なる実施例によると、センサの並列配置は双方のセンシングアレイと交差する「センサ軸」を設定している。本発明の更なる実施例によると、距離センサアレイからの目標の距離である「ｚ」は、「相対オフセット軸」を設定できる。本発明の別の実施例によると、対応するピクセル間の相対オフセットは、（１）感知した目標の相対オフセット軸と、（２）感知した目標と関連する距離ピクセルの座標とに基づいて計算できる。
【００１２】
本発明のいくつかの実施例によると、可視光画像センサアレイ及び距離センサアレイは、実質的に同一方向に向き、かつ、実質的に重なる視野（「並列配置」）を有して配置されうる。本発明の更なる実施例によると、このような並列配置は各センサアレイ上に対応するピクセル間のオフセットを生じうる（すなわち、現場の同一目標のピクセルが、各センサアレイの異なる相対座標に配置される）。
【００１３】
本発明のいくつかの実施例によると、対応するピクセル間のオフセットは、
ａ．センサアレイの光学中心間の距離と、
ｂ．距離センサと画像センサの双方の集束距離と、
ｃ．距離ピクセルの座標と、
ｄ．画像ピクセルの座標と、
ｅ．距離センサアレイのパラメータ（すなわち、ウィンドウパラメータ）と、
ｆ．感知した目標の得られた距離値（例えば、グレースケールパラメータ）と、
に基づいて計算できる。対応するピクセル間のオフセットの例示的な詳細な計算は本明細書中で以下に与えられる。
【００１４】
本発明のいくつかの実施例によると、画像処理ロジックは感知したピクセルの相対偏位用のルックアップ表を具えることができる。ルックアップ表の入力パラメータは距離センサアレイのパラメータ（すなわち、距離ピクセル座標）にできる。本発明の更に別の実施例によると、このようなルックアップ表は相対オフセットの実時間計算を提供するためにあらかじめ生成でき、このようにして、画像処理ロジックが実質的に実時間（「ゼロタイム」）で距離センサアレイのピクセルと、可視光センサアレイのピクセル（「対応するピクセル」）とを相関づけるのを可能にする。
【００１５】
本発明のいくつかの実施例によると、距離センサアレイ及び可視光センサアレイは双方とも現場から反射された光、つまり波長が各モジュールの動作範囲内にある場合に、照射サブシステムから生ずるか、他の光源から来るかを検出する。システムの変調光源から生じなかった距離センサに入る光は、バックグラウンドノイズと呼ばれ、距離センサアレイにより生成される距離データの精度を歪ませる。本発明のいくつかの更なる実施例によると、バックグラウンドノイズはシステムパラメータの一部に基づき、生成された画像からフィルタできる。
【００１６】
本発明のいくつかの実施例によると、距離センサアレイは現場の輝度画像及び距離画像の双方を生成し、画像は相互に記録される。本発明の更に別の実施例によると、距離センサアレイは、対象の現場を照射するための放射線源と、好ましくはＣＣＤアレイである、現場の目標から反射される放射線の輝度を検出する検出器アレイとを具えることができ、本出願と同一の出願者によって出願された「Ｏｐｔｉｃａｌ  Ｒａｎｇｉｎｇ  Ｃａｍｅｒａ」という発明の名称の米国特許第６，０５７，９０９号に記載されており、それは本出願の代理人に割り当てられ、それらの開示は引用によって本明細書中に取り込まれている。放射線源は例えば所定の既知の期間、光源を交互にブロック化及び非ブロック化する機械的又は流体のクリスタルシャッタによって変調される。反射した放射線は同様に変調され、検出器アレイに到達する放射線は所定の既知の期間、好ましくはブロック化及び非ブロック化され、放射線源がブロック化及び非ブロック化される期間と同一、又はより好ましくは異なっていてもよい。検出器アレイに到達し、それによって検出される放射線の輝度は、現場の目標の、カメラからの距離を決定するようにその後処理される。放射線源は好ましくはレーザを具えるが、代替的に他の型の好適な光源を具えてもよい。
【００１７】
本発明のいくつかの実施例によると、放射線源は第１の波形によって変調され、反射した放射線は第２の波形によって変調される。第１及び第２の波形の形状及び波形間の時間遅延は、検出器アレイの各ピクセルで、画像処理システムからピクセルによって画像処理される目標までの距離で検出された輝度の所望の関数依存性を与えるように調整される。第１及び第２の波形及びその間の遅延は、距離「ウィンドウ」、すなわち、目標の距離が決定できる画像処理システムからの目標の距離の範囲を規定するように調整できる。放射線源及び反射した放射線は第１及び第２の波形によってそれぞれ変調されるが、画像処理システムはウインドウ内部の目標の画像のみを分析する。ウインドウを好適に調整することによって、カメラからウインドウ内の目標までの距離を決定するための検出された放射線の処理は単純化され、及び／又は、その精度は改善される。本発明の更に別の実施例によると、ウインドウは対象の現場の一部に対応するカメラからの距離の範囲で、目標に対する画像処理システムの動的距離を最大化するように更に調整される。
【００１８】
本発明のいくつかの実施例によると、第１及び第２の波形は光源及び／又は反射した放射線が単一の検出器アレイのフィールド又はフレームを通じて数回、ブロック化及び非ブロック化されるようにできる。好ましくは、第１及び第２の波形は複数のパルスを具え、第２の波形の各パルスは、一般的には一定の所定の遅延で、第１の波形の対応するパルスの後に続く。ＮＴＳＣ規格のビデオフィールドの持続時間が約１６．７ミリ秒であることを考えると、第１及び第２の波形のパルスの持続時間は一般的に１マイクロ秒未満であるが、数百又は数千のこのようなパルスが、単一フィールド又はフレームの時間に含まれうることが分かるであろう。このような多数のパルス変調関数は画像処理システムによって生成される画像のＳＮ比（ＳＮＲ）を増加させるのに有用である。
【００１９】
本発明のいくつかの実施例によると、ウインドウは対象の１又はそれ以上の目標の画像を取得するように順応して調整されうる。好ましくは、第１のウィンドウは、画像処理システムからの大きな距離の範囲を包囲して、比較的長い持続期間の波形を用いて光源及び反射した放射線を変調することによって初期に規定される。対象の目標の画像は、このウィンドウ内部で取得され、目標の少なくとも１つに対する距離が決定される。第２のウインドウが次いで規定され、少なくとも１の目標を含み、好ましくは第１のウィンドウよりも狭い距離の範囲を包囲している。この方法において、第２の画像は低減した、対象ではない目標のクラッタを含んで取得され、より正確な、対象の少なくとも１の目標に対する距離の決定を可能にする。
【００２０】
本発明のいくつかの実施例によると、検出器アレイは、例えばＣＣＤアレイのような２次元マトリクスアレイにでき、１又はそれ以上の光変調器はアレイに到達する反射した光を変調して、異なる変調波形は近接するアレイ列の異なる列又はグループとそれぞれ関連づけられる。この方法においては、異なる距離ウィンドウ、すなわち、異なる選択した距離の範囲は、近接する列の異なる列又はグループと関連づけられる。近接する列の各々のこのような列又はグループはラインによって交差された目標に関する奥行き情報を含む現場のライン画像を生成する。現場全体の画像の生成のための方法は、引用によって本明細書に取り込まれる米国特許第６，０５７，９０９号に詳細に述べられている。
【図面の簡単な説明】
【００２１】
本発明に関する内容は、本明細書の結論部分で特に指摘され、明確に主張されている。しかしながら、本発明は、その目的、特徴及び利点に加えて、動作の構成及び方法の双方に関し、添付の図と共に読む場合に以下の詳細な説明によって最良に理解できるであろう。
【００２２】
【図１】図１Ａは、本発明のいくつかの実施例による多次元画像処理システムの例示的な使用を示し、図１Ｂは、本発明のいくつかの実施例による多次元画像処理システムの機能ブロック図を示している。
【図２】図２Ａは、本発明のいくつかの実施例による画像処理システムの距離セグメントの機能ブロック図を示し、図２Ｂは、本発明のいくつかの実施例による距離セグメントを含む画像処理システムの例示的な動作を示している。
【図３】図３は、本発明のいくつかの実施例による画像処理システム及び画像処理されている目標のセグメント間の例示的な関係／配置を示すブロック図である。
【図４】図４Ａは、画像処理された目標の位置と、本発明のいくつかの実施例による各々のセンサアレイ上の目標画像との間の関係を示す図であり、図４Ｂは、目標が相対オフセット軸に沿って移動する場合の、図４Ａに示された関係を示した第２の図である。
【図５】図５Ａは、幾何学式１を示し、図５Ｂは、幾何学式２を示している。
【図６】図６は、対応するセンサエレメントオフセットと目標の奥行き間の関係を示すグラフである。
【図７】図７は、本発明のいくつかの実施例による画像処理が、距離センサアレイからのエレメントを、可視光センサアレイのエレメントと相関づけできる例示的な方法のステップを含むフローチャートである。
【図８】図８は、本発明のいくつかの実施例による距離セグメントを含む画像処理システムを具えるコンピューティングシステム（すなわち、ゲームコンソール）の例示的な動作を示すブロック図である。
【００２３】
図の単純化及び明確化のために、図で示されたエレメントは必ずしも等尺で描かれていないことは分かるであろう。例えば、エレメントの一部の次元は、明確化のために他のエレメントと相対的に強調されうる。更に、適切と見なされた場合は、引用番号は、対応又は類似するエレメントを示すように図の間で反復できる。
【発明を実施するための形態】
【００２４】
以下の詳細な説明においては、多くの特定の詳細が本発明の全体的な理解を提供するように説明される。しかしながら、本発明がこれらの特定の詳細なしに実行されうることは、当該技術分野の当業者によって理解されるであろう。他の例においては、既知の方法、手順、構成及び回路は本発明を不明瞭にしないように、詳細に記載されていない。
【００２５】
特に明記しない限りにおいては、以下の考察から明らかなように、本明細書全体において「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「コンピュータ処理する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」等のような用語を利用する考察は、コンピュータ若しくはコンピューティングシステム、又は同様の電子コンピューティング装置の動作及び／又は処理であり、コンピューティングシステムのレジスタ及び／又はメモリ内の電子のような物理量として表されるデータを、コンピューティングシステムのメモリ、レジスタ、又は他のこのような情報ストレージ、送信若しくはディスプレイ装置内の物理量として同様に表される他のデータに操作及び／又は変換している。
【００２６】
本発明の実施例は、本明細書中の動作を行うための機構を含みうる。この機構は所望の目的のために特に構成でき、コンピュータに保存されるコンピュータプログラムによって選択的に活動し、又は再構築される汎用目的のコンピュータを具えることができる。このようなコンピュータプログラムは、限定しないが、フロッピー（登録商標）ディスク、光学ディスク、ＣＤ−ＲＯＭ、磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的プログラム可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、磁気又は光学カード、又は電子的命令を保存するのに好適な、かつ、コンピュータシステムバスに接続可能なその他の型の媒体のような、コンピュータ可読ストレージ媒体に保存できる。
【００２７】
本明細書に示した処理及び表示は、特定のコンピュータ又は他の機構に本来的に関連しない。様々な汎用目的のシステムは本明細書中の教示によるプログラムで用いることができ、あるいは、所望の方法を実行するためにより特異化された機構を構成するのに便利であると分かるであろう。多数のこれらのシステム用の所望の構成は、以下の記載から明らかであろう。更に、本発明の実施例は、いかなる特定のプログラム言語を引用して述べられていない。多数のプログラム言語を用いて、本明細書中に記載したような本発明の教示を実装できることは分かるであろう。
【００２８】
本発明は、画像処理のための方法、装置及びシステムである。本発明のいくつかの実施例によると、可視光画像センサアレイ（例えば、電荷結合素子（ＣＣＤ）、又は相補型金属酸化膜半導体（ＣＭＯＳ））及び距離センサアレイが実質的に同一方向に向き、実質的に重なる視野を有して配置されうる。本発明の更なる実施例によると、距離センサアレイ内の１又はそれ以上の距離センサエレメントから得られた距離値は、可視センサアレイ内の１又はそれ以上の画像処理エレメントと相関づけられうる。画像処理ロジックは得られた距離値を、得られた距離の関数として、１又はそれ以上の画像処理エレメントと相関づけできる。
【００２９】
本発明のいくつかの実施例によると、可視光画像センサアレイは、１又はそれ以上の画像処理エレメントの得られた距離値を、得られた距離の関数として相関づけるように距離センサへの配列に従属できる。本発明の更に別の実施例によると、可視光画像センサアレイは、光学軸を有する、対物的な集束させる光学構成を具え、現在知られている、又は将来に発明されうるあらゆる型の可視光データ取得装置（すなわち、ＲＧＢ／ＢＷカメラ）にできる。
【００３０】
本発明のいくつかの実施例によると、対応するピクセル間のオフセットは、他のセンシングアレイの位置に対する、１のセンシングアレイの目標の位置間の偏位であり、オフセットは以降では相対偏位（ＲＳ）と呼ばれる。本発明の更なる実施例によると、センサの並列配置は双方のセンシングアレイと交差する「センサ軸」を設定している。本発明の更なる実施例によると、距離センサアレイからの目標の距離である「ｚ」は、「相対オフセット軸」を設定できる。本発明の別の実施例によると、対応するピクセル間の相対オフセットは、（１）感知した目標の相対オフセット軸と、（２）感知した目標と関連する距離ピクセルの座標とに基づき計算できる。
【００３１】
本発明のいくつかの実施例によると、可視光画像センサアレイ及び距離センサアレイは、実質的に同一方向に向き、かつ、実質的に重なる視野（「並列配置」）を有して配置されうる。本発明の更なる実施例によると、このような並列配置は各センサアレイ上に対応するピクセル間のオフセットを生じうる（すなわち、現場の同一目標のピクセルが、各センサアレイの異なる相対座標に配置される）。
【００３２】
本発明のいくつかの実施例によると、対応するピクセル間のオフセットは、
ｇ．センサアレイの光学中心間の距離と、
ｈ．距離センサと画像センサの双方の集束距離と、
ｉ．距離ピクセルの座標と、
ｊ．画像ピクセルの座標と、
ｋ．距離センサアレイのパラメータ（すなわち、ウィンドウパラメータ）と、
ｌ．感知した目標の得られた距離値（例えば、グレースケールパラメータ）と、
に基づいて計算できる。対応するピクセル間のオフセットの例示的な詳細な計算は本明細書中で以下に与えられる。
【００３３】
本発明のいくつかの実施例によると、画像処理ロジックは感知したピクセルの相対偏位用のルックアップ表を具えることができる。ルックアップ表の入力パラメータは距離センサアレイのパラメータ（すなわち、距離ピクセル座標）にできる。本発明の更に別の実施例によると、このようなルックアップ表は相対オフセットの実時間計算を提供するためにあらかじめ生成でき、このようにして、画像処理ロジックが実質的に実時間（「ゼロタイム」）で距離センサアレイのピクセルと、可視光センサアレイのピクセル（「対応するピクセル」）とを相関づけるのを可能にする。
【００３４】
本発明のいくつかの実施例によると、距離センサアレイ及び可視光センサアレイは双方とも現場から反射された光、つまり波長が各モジュールの動作範囲内にある場合に、照射サブシステムから生ずるか、他の光源から来るかを検出する。システムの変調光源から生じなかった距離センサに入る光は、バックグラウンドノイズと呼ばれ、距離センサアレイにより生成される距離データの精度を歪ませる。本発明のいくつかの更なる実施例によると、バックグラウンドノイズはシステムパラメータの一部に基づき、生成された画像からフィルタできる。
【００３５】
本発明のいくつかの実施例によると、距離センサアレイは現場の輝度画像及び距離画像の双方を生成し、画像は相互に記録される。本発明の更に別の実施例によると、距離センサアレイは、対象の現場を照射するための放射線源と、ＣＣＤ又はＣＭＯＳアレイである、現場の目標から反射される放射線の輝度を検出する検出器アレイとを具えることができ、本出願と同一の出願者によって出願された「Ｏｐｔｉｃａｌ  Ｒａｎｇｉｎｇ  Ｃａｍｅｒａ」という発明の名称の米国特許第６，０５７，９０９号に記載されており、それは本出願の代理人に割り当てられ、それらの開示は引用によって本明細書中に取り込まれている。放射線源は例えば機械的又は流体のクリスタルシャッタ又はＧａＡｓシャッタによって変調され、本出願と同一の出願者によって出願された「Ｌａｒｇｅ  Ａｐｅｒｔｕｒｅ  Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｈｕｔｔｅｒ」という発明の名称の米国特許第６，３３１，９１１号に記載されており、それは本出願の代理人に割り当てられ、それらの開示は引用によって本明細書中に取り込まれ、所定の既知の期間、光源を交互にブロック化及び非ブロック化する。反射した放射線は同様に変調され、検出器アレイに到達する放射線は所定の既知の期間、好ましくはブロック化及び非ブロック化され、放射線源がブロック化及び非ブロック化される期間と同一、又はより好ましくは異なっていてもよい。検出器アレイに到達し、それによって検出される放射線の輝度は、現場の目標の、カメラからの距離を決定するようにその後処理される。放射線源は好ましくはレーザを具えるが、代替的に他の型の好適な光源を具えてもよい。
【００３６】
本発明のいくつかの実施例によると、放射線源は第１の波形によって変調され、反射した放射線は第２の波形によって変調される。第１及び第２の波形の形状及び波形間の時間遅延は、検出器アレイの各ピクセルで、画像処理システムからピクセルによって画像処理される目標までの距離で検出された輝度の所望の関数依存性を与えるように調整される。第１及び第２の波形及びその間の遅延は、距離「ウィンドウ」、すなわち、目標の距離が決定できる画像処理システムからの目標の距離の範囲を規定するように調整できる。放射線源及び反射した放射線は第１及び第２の波形によってそれぞれ変調されるが、画像処理システムはウインドウ内部の目標の画像のみを分析する。ウインドウを好適に調整することによって、カメラからウインドウ内の目標までの距離を決定するための検出された放射線の処理は単純化され、及び／又は、その精度は改善される。本発明の更に別の実施例によると、ウインドウは対象の現場の一部に対応するカメラからの距離の範囲で、目標に対する画像処理システムの動的距離を最大化するように更に調整される。
【００３７】
本発明のいくつかの実施例によると、第１及び第２の波形は光源及び／又は反射した放射線が単一の検出器アレイのフィールド又はフレームを通じて数回、ブロック化及び非ブロック化されるようにできる。好ましくは、第１及び第２の波形は複数のパルスを具え、第２の波形の各パルスは、一般的には一定の所定の遅延で、第１の波形の対応するパルスの後に続く。ＮＴＳＣ規格のビデオフィールドの持続時間が約１６．７ミリ秒であることを考えると、第１及び第２の波形のパルスの持続時間は一般的に１マイクロ秒未満であるが、数百又は数千のこのようなパルスが、単一フィールド又はフレームの時間に含まれうることが分かるであろう。このような多数のパルス変調関数は画像処理システムによって生成される画像のＳＮ比（ＳＮＲ）を増加させるのに有用である。
【００３８】
本発明のいくつかの実施例によると、ウインドウは対象の１又はそれ以上の目標の画像を取得するように順応して調整されうる。好ましくは、第１のウィンドウは、画像処理システムからの大きな距離の範囲を包囲して、比較的長い持続期間の波形を用いて光源及び反射した放射線を変調することによって初期に規定される。対象の目標の画像は、このウィンドウ内部で取得され、目標の少なくとも１つに対する距離が決定される。第２のウインドウが次いで規定され、少なくとも１の目標を含み、好ましくは第１のウィンドウよりも狭い距離の範囲を包囲している。この方法において、第２の画像は低減した、対象ではない目標のクラッタを含んで取得され、より正確な、対象の少なくとも１の目標に対する距離の決定を可能にする。
【００３９】
本発明のいくつかの実施例によると、検出器アレイは、例えばＣＭＯＳ画像処理アレイのような２次元マトリクスアレイにでき、１又はそれ以上の光変調器はアレイに到達する反射した光を変調して、異なる変調波形は近接するアレイ列の異なる列又はグループとそれぞれ関連づけられる。この方法においては、異なる距離ウィンドウ、すなわち、異なる選択した距離の範囲は、近接する列の異なる列又はグループと関連づけられる。近接する列の各々のこのような列又はグループはラインによって交差された目標に関する奥行き情報を含む現場のライン画像を生成する。現場全体の画像の生成のための方法は、引用によって本明細書に取り込まれる米国特許第６，０５７，９０９号に詳細に述べられている。
【００４０】
図１Ａを検討すると、本発明のいくつかの実施例による多次元画像処理システム（１０００）の例示的な使用が示されている。本発明のいくつかの実施例によると、画像処理システム１０００は現場（１１００）からの画像データ及び距離データを取得するように、かつ、画像データ及び距離データのエレメントを相関づけて、現場の画像及び奥行きデータ（すなわち、３次元画像）を生成することにより、構成されうる。
【００４１】
図１Ｂを検討すると、本発明のいくつかの実施例による多次元画像処理システム１０００の機能ブロック図が示されている。本発明のいくつかの実施例によると、画像処理システム１０００は（１）コントローラ１２００と、（２）照射モジュール１３００と、（３）距離センサモジュール１４００と、（４）可視光画像センサモジュール１５００と、（６）画像処理ロジックモジュール１６００とを具えることができる。本発明のいくつかの実施例によると、距離センサモジュールは距離センサアレイを含み、可視光画像センサモジュールは可視光画像センサアレイを含むことができる。距離センサモジュール１４００及び可視光画像センサモジュール１５００は双方とも現場から反射された光、つまり照射モジュール１３００から生ずるか、他の光源から来るかを検出する。本発明のいくつかの実施例によると、可視光画像センサモジュール（１５００）及び距離センサモジュール（１４００）は実質的に同一方向に向き、実質的に重なる視野を有して配置されうる。本発明の更なる実施例によると、距離センサアレイ内の１又はそれ以上の距離センサエレメントから得られた距離値は、本明細書中で以下に述べられるように、可視センサアレイ内の１又はそれ以上の画像処理エレメントと相関づけられうる。
【００４２】
本発明の更なる実施例によると、画像処理ロジックモジュール１６００は、得られた距離値を、得られた距離の関数として、１又はそれ以上の画像処理エレメントと相関づけできる。
【００４３】
図２Ａを検討すると、本発明のいくつかの実施例による画像処理システムの距離セグメントの機能ブロック図が示されている。本発明のいくつかの実施例によると、距離センサモジュール１４００は、（１）コントローラ２０００と、（２）第１の変調器２１００と、（３）距離センサアレイ２２００と、（４）放射線源２３００と、（５）第２の変調器２４００とを含むことができる。本発明のいくつかの実施例によると、コントローラ２０００は現場の輝度画像及び距離画像の双方を生成し、画像は相互に記録される。本発明の更に別の実施例によると、距離センサモジュール１４００は、対象の現場を照射するための放射線源２３００と、現場の目標から反射される放射線の輝度を検出する距離センサアレイ２２００とを具えることができ、本出願と同一の出願者によって出願された「Ｏｐｔｉｃａｌ  Ｒａｎｇｉｎｇ  Ｃａｍｅｒａ」という発明の名称の米国特許第６，０５７，９０９号に記載されており、それは本出願の代理人に割り当てられ、それらの開示は引用によって本明細書中に取り込まれている。放射線源は変調器２４００、例えば機械的又は流体のクリスタルシャッタ又はＧａＡｓシャッタによって変調され、本出願と同一の出願者によって出願された「Ｌａｒｇｅ  Ａｐｅｒｔｕｒｅ  Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｈｕｔｔｅｒ」という発明の名称の米国特許第６，３３１，９１１号に記載されており、それは本出願の代理人に割り当てられ、それらの開示は引用によって本明細書中に取り込まれ、所定の既知の期間、光源を交互にブロック化及び非ブロック化する。反射した放射線は変調器２１００によって同様に変調され、センサアレイ２２００に到達する放射線は所定の既知の期間、好ましくはブロック化及び非ブロック化され、放射線源２３００がブロック化及び非ブロック化される期間と同一、又はより好ましくは異なっていてもよい。検出器アレイに到達し、それによって検出される放射線の輝度は、現場の目標の、カメラからの距離を決定するようにその後処理される。放射線源２３００は好ましくはレーザを具えるが、代替的に他の型の好適な光源を具えてもよい。距離センサモジュール１４００の関数動作は、図２Ｂと協働して最良に記載でき、本発明のいくつかの実施例による距離センサモジュール１４００を含む画像処理システム１０００の例示的な動作が示されている。
【００４４】
本発明のいくつかの実施例によると、放射線源２３００は第１の波形によって変調され、反射した放射線は第２の波形によって変調される。第１及び第２の波形の形状及び波形間の時間遅延は、距離センサアレイ２２００の各ピクセルで、画像処理システムからピクセルによって画像処理される目標までの距離で検出された輝度の所望の関数依存性を与えるように調整される。第１及び第２の波形及びその間の遅延は、距離「ウィンドウ」（２５００）、すなわち、目標の距離が決定できる画像処理システムからの目標の距離の範囲を規定するように調整できる。放射線源及び反射した放射線は第１及び第２の波形によってそれぞれ変調されるが、画像処理システムはウインドウ内部の目標の画像のみを分析し、図２Ｂに示された例は、画像処理システムからの異なる距離を有する（すなわち、アイテム１が画像処理システムからＤ１の距離を有する等）４の異なるアイテム／目標で反射された放射線を検出する画像処理システム１０００である。本例においては、アイテム２及びアイテム３のみが距離ウィンドウ２５００内に配置され、従って、画像処理システム１０００はアイテム２及びアイテム３のみを分析し、アイテム１及びアイテム４を無視する。本発明の更に別の実施例によると、ウインドウ２５００は対象の現場の一部に対応するカメラからの距離の範囲で、目標に対する画像処理システムの動的距離を最大化するように更に調整されうる。
【００４５】
本発明のいくつかの実施例によると、第１及び第２の波形（変調器２３００及び２４００によって生成された）は光源及び／又は反射した放射線が単一のセンサアレイ２２００のフィールド又はフレームを通じて数回、ブロック化及び非ブロック化されるようにできる。好ましくは、第１及び第２の波形は複数のパルスを具え、第２の波形の各パルスは、一般的には一定の所定の遅延で、第１の波形の対応するパルスの後に続く。
【００４６】
本発明のいくつかの実施例によると、距離ウィンドウ２５００は対象の１又はそれ以上の目標の画像を取得するように順応して調整されうる。好ましくは、第１のウィンドウは、画像処理システムからの大きな距離の範囲を包囲して、比較的長い持続期間の波形を用いて光源及び反射した放射線を変調することによって初期に規定される。対象の目標の画像は、このウィンドウ内部で取得され、目標の少なくとも１つに対する距離が決定される。第２のウインドウが次いで規定され、少なくとも１の目標を含み、好ましくは第１のウィンドウよりも狭い距離の範囲を包囲している。この方法において、第２の画像は低減した、対象ではない目標のクラッタを含んで取得され、より正確な、対象の少なくとも１の目標に対する距離の決定を可能にする。
【００４７】
図３を検討すると、本発明のいくつかの実施例による画像処理システム及び画像処理されている目標のセグメント間の例示的な関係／配置のブロック図が示されている。本発明のいくつかの実施例によると、可視光画像センサアレイ３１００は、１又はそれ以上の画像処理エレメントと１又はそれ以上の距離エレメントを、得られた距離の関数として相関づけるように距離センサアレイ３２００への配列に従属できる。本発明の更に別の実施例によると、可視光画像センサアレイ３１００は、光学軸を有する、対物的な集束させる光学構成を具え、現在知られている、又は将来に発明されうるあらゆる型の可視光データ取得装置にできる。
【００４８】
本発明のいくつかの実施例によると、対応するピクセル間のオフセットは、他のセンシングアレイの位置に対する、１のセンシングアレイの目標の位置間の偏位であり、オフセットは以降では相対偏位（ＲＳ）と呼ばれる。本発明の更なる実施例によると、センサの並列配置は双方のセンシングアレイと交差する「センサ軸」３３００を設定している。本発明の更なる実施例によると、距離センサアレイからの目標の距離である（奥行き軸３４００で計測される）「ｚ」は、「相対オフセット軸」３５００を設定できる。本発明の別の実施例によると、対応するピクセル間の相対オフセットは、（１）感知した目標の相対オフセット軸と、（２）感知した目標と関連する距離ピクセルの座標とに基づき計算できる。詳細な計算は本明細書中で以下に与えられる。
【００４９】
図４Ａを検討すると、画像処理された目標の位置と、本発明のいくつかの実施例による各々のセンサアレイ上の目標画像との間の関係を例示する第１の図が示されている。
【００５０】
本発明のいくつかの実施例によると、可視光画像センサアレイ４１００及び距離センサアレイ４２００は、実質的に同一方向に向き、かつ、実質的に重なる視野（「並列配置」）を有して配置されうる。本発明の更なる実施例によると、このような並列配置は各センサアレイ上に対応するピクセル間のオフセットを生じうる（すなわち、現場の同一目標のピクセルが、各センサアレイの異なる相対座標に配置される）。本発明の更なる実施例によると、センサの並列配置は双方のセンシングアレイと交差する「センサ軸」４７００を設定している。本発明の更なる実施例によると、距離センサアレイからの目標の距離である「ｚ」は、「相対オフセット軸」４８００を設定できる。図４Ａは相対オフセット軸４８００上に配置された目標４０００を示している。目標４０００はアドレスＲ１で１又はそれ以上の距離エレメントによって距離センサアレイ４２００により検出され、画像処理ロジックはアドレスＲ１での距離エレメントの得られた距離値の関数として、位置Ｒ１でのエレメントから得られた距離値を、１又はそれ以上の可視光センサアレイの画像処理エレメント（Ｖ１）と相関づけるように構成されている。
【００５１】
本発明の更なる実施例によると、画像処理ロジックは位置Ｒ１での距離センサエレメントから得られた距離値を、距離センサエレメントのアドレス（すなわち、Ｒ１のアドレス）にオフセット値を適用することによって、可視光センサアレイの画像処理エレメントと相関づけるように更に構成でき、これによって対応する可視光センサアレイの画像処理エレメント（Ｖ１）のアドレス（Ｖ１’）を決定している。
【００５２】
本発明のいくつかの実施例によると、画像処理ロジックは距離センサエレメントセット（Ｒ１）から、クラスタ化された距離値のセットに基づいて目標４０００を記録／検出できる。本発明の更に別の実施例によると、前記画像処理ロジックは距離センサエレメントセット（Ｒ１）を、距離センサエレメントセットに対するオフセット値を推定することによって可視光センサアレイの画像処理エレメントセット（Ｖ１）と相関づけできる。本発明の更なるいくつかの実施例によると、画像処理ロジックは、対応する可視光センサアレイの画像処理エレメントセット（Ｖ１）のアドレス（Ｖ１’）を決定するために、オフセット値を距離センサエレメントセットのアドレス（Ｒ１）に適用することができ、対応するエレメント間のオフセットは、対応するセンサエレメントオフセット（ＣＳＥＯ）と呼ばれている。
【００５３】
図４Ｂは目標４０００と同一の相対オフセット軸４８００に配置されるが、オフセット軸上に異なって置かれた更に別の目標（４１００）を示している。本発明のいくつかの実施例によると、距離エレメントＲ２のＣＳＥＯは距離エレメントＲ１のＣＳＥＯと同一にできる。
【００５４】
目標の相対オフセットの計算のより詳細な例は、図５Ａ及び図５Ｂと協働して最良に述べられ、本発明のいくつかの実施例による目標の相対オフセット（すなわち、対応する目標間のオフセット）を計算するための幾何学式の図が示されている。対応するピクセル間のオフセットは、
ａ．センサアレイの光学中心間の距離（ｄ）と、
ｂ．距離センサと画像センサの双方の集束距離（ｆ）と、
ｃ．距離ピクセルの座標（Ｘｒ，Ｙｒ，Ｚｒ）と、
ｄ．画像ピクセルの座標（ＸＩ，ＹＩ，ＺＩ）と、
ｅ．距離センサアレイのパラメータ（Ｚ）と、
ｆ．感知した目標の得られた距離値（例えば、グレースケールパラメータ）と、
に基づいて計算できる。
【００５５】
本発明のいくつかの実施例によると、オフセット計算は以下のように行うことができる。
【００５６】
2010516153.tif 000003
【００５７】
従って、以下の式を用いて各３次元エレメント（すなわち、ピクセル）の対応するピクセル（オフセット−記号Ｅとする）間の偏位を計算できる。
【００５８】
2010516153.tif 000004
【００５９】
本発明のいくつかの実施例によると、距離センサモジュールで用いられる解像度、及び、可視光センサモジュールで用いられる解像度は異なっていてよく、更に各モジュールのピクセルサイズも異なっていてもよい。従って、オフセットを計算するステップは、いくつかの更なるステップを含むことができ、以下の記号が図５Ｂ及び本明細書中の以下の式で用いられる。
Ａ．Ｓ  −  距離センサモジュールのピクセルサイズ
Ｂ．Ｐｄ  −開始ウインドウ（第１の距離）
Ｃ．Ｐｗ  −ウィンドウ幅（第１の幅）
Ｄ．Ｚｏ  −  カメラと目標間の距離
Ｅ．Ｚｓ  −  焦点とセンサ上のピクセル位置との間の距離
Ｆ．（ｘｐ，ｙｐ）  −  画像上のピクセルでの点
Ｇ．（ｘｃ，ｙｃ）  −  ピクセルでの画像中心
とすると、次式のようになる。
【００６０】
2010516153.tif 000005
【００６１】
式５を式１と組み合わせると次式が得られる。
【００６２】
2010516153.tif 000006
【００６３】
本発明のいくつかの実施例によると、画像処理ロジックモジュール１６００は感知したピクセルの相対偏位用のルックアップ表を具えることができる。ルックアップ表の入力パラメータは距離センサアレイのパラメータ（すなわち、距離ピクセル座標）にできる。本発明の更に別の実施例によると、このようなルックアップ表は相対オフセットの実時間計算を提供するためにあらかじめ生成でき、このようにして、画像処理ロジックが実質的に実時間（「ゼロタイム」）で距離センサアレイのピクセルと、可視光センサアレイのピクセル（「対応するピクセル」）とを相関づけるのを可能にする。
【００６４】
図７を検討すると、本発明のいくつかの実施例による画像処理が、距離センサアレイからのエレメントを、可視光センサアレイのエレメントと相関づけできる例示的な方法のステップを含むフローチャートが示されている。
【００６５】
図７に示された方法は、図１Ｂで、及び本発明のいくつかの実施例により示されるシステムと協働して最良に述べることができる。コントローラ１２００はステップ７０００で示すような１又はそれ以上の距離センサアレイ（距離センサモジュール１４００のセグメント）エレメントの出力に基づいて目標を記録／検出する（例えば、出力の距離値が同様であるエレメントのクラスタを記録する）ように構成できる。
【００６６】
本発明の更なる実施例によると、コントローラ１２００は、ステップ７１００に示されるように、１又はそれ以上の対応する可視光センサアレイエレメント（ＣＳＥＯ）から、１又はそれ以上の距離センサエレメントのオフセットを決定するように構成できる。
【００６７】
本発明の更に別の実施例によると、コントローラ１２００は、ステップ７２００に示されるように、１又はそれ以上の距離センサエレメントのクラスタを、対応する１又はそれ以上の可視光センサアレイエレメントのクラスタ（例えば、ＣＳＥＯに基づいて）と相関づける／マッピングするように更に構成できる。本発明の更に別の実施例によると、コントローラ１２００は、ステップ７３００に示されるように、１又はそれ以上の距離センサエレメントのクラスタを、対応する１又はそれ以上の可視光センサアレイエレメントのクラスタと関連づけるように構成できる。
【００６８】
図８を検討すると、本発明のいくつかの実施例による画像処理装置８１００を具えるコンピューティングシステム８０００（すなわち、ゲームコンソール）の例示的な動作が示されている。本発明のいくつかの実施例によると、コンピューティングシステムは、（１）上述に記載されたように関数的に動作する画像処理装置８１００と、（２）ヒューマンマシンインタフェース（ＨＭＩ）８２００とを含み、ＨＭＩは画像処理装置及びコンピューティングシステムに関数接続できる。本発明の更に別の実施例によると、ＨＭＩは３次元画像及び／又は３次元動作を電子制御信号に変換するように構成できる。
【００６９】
本発明の特定の実施例が本明細書中に例示され記載されてきたが、多くの変形、置換、変更及び等価物は当該技術分野の当業者には分かるであろう。従って、添付の請求項は本発明の真の精神であるような総てのこのような変形及び変更をカバーすることを意図していることは、理解されるべきである。
【図１】
2010516153.tif 000007
【図２】
2010516153.tif 000008
【図３】
2010516153.tif 000009
【図４】
2010516153.tif 000010
【図５】
2010516153.tif 000011
【図６】
2010516153.tif 000012
【図７】
2010516153.tif 000013
【図８】
2010516153.tif 000014
【国際調査報告】
2010516153.tif 000015