(57)【要約】  物体(120;121;501)の画像に関する画像データを提供するための画像感知デバイス(130)は、光を感知するためのセンサエリア(132)を有する画像センサ(131)を備える。画像感知デバイス(130)は、センサエリア(132)内に、関心領域(ROI)(301a〜303a)を定義する。各ROI(301a;302a;303a)は、他のROI(301a〜303a)のうちの1つまたは複数と部分的にオーバラップする。ROI(301a〜303a)は、物体からの光に、個々に露出される。画像感知デバイス(130)は、露出されたROI(301a〜303a)にそれぞれ関連付けられたグループに属する、その中の感知された光から生じる部分的な画像データを、読み取る(403)。物体の画像に関する画像データは、読み取られた部分的な画像データの組み合わせに基づいて提供される。
2017508968.tif 000002
【特許請求の範囲】
【請求項１】
物体(120;121;501)の画像に関する画像データを提供するために、画像感知デバイス(130)によって実行される方法であって、前記画像感知デバイス(130)は、光を感知するためのセンサエリア(132)を有する画像センサ(131)を備え、前記方法は、
- 前記センサエリア(132)内に、関心領域(ROI)(301a〜303a)を定義するステップ(401)であって、各ROI(301a;302a;303a)は、他のROI(301a〜303a)のうちの1つまたは複数と部分的にオーバラップする、ステップ(401)と、
- 前記物体からの光へ前記ROI(301a〜303a)を個々に露出させるステップ(402)と、
- 前記露出されたROI(301a〜303a)にそれぞれ関連付けられたグループに属し、その中で感知された光から生じる部分的な画像データを読み取るステップ(403)と、
- 前記読み取られた部分的な画像データの組み合わせに基づいて、前記物体の前記画像に関する前記画像データを提供するステップ(405)と
を備える方法。
【請求項２】
1つの同じROIに属するすべてのピクセルが、露出を同時に開始および終了できるように、前記ROI(301a〜303a)が露出される、請求項1に記載の方法。
【請求項３】
前記ROI(301a〜303a)のうちの少なくともいくつかは、異なる露出時間を使用して露出される、請求項1または2に記載の方法。
【請求項４】
前記ROI(301a〜303a)のうちの前記少なくともいくつかは、露出方向(604)に沿って増加または減少する前記異なる露出時間で、前記露出方向(604)に沿って連続的に配置される、請求項3に記載の方法。
【請求項５】
前記ROI(301a〜303a)は、前記センサエリア(132)のピクセル列(M)またはピクセル行(N)のいずれかに沿って連続的に配置される、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記センサエリア(132)に探索方向(505a;505b)が関連付けられ、前記方法はさらに、
- 露出後、前記探索方向(505a;505b)に平行なピクセルの各ラインに沿って、探索基準を満足する1つまたは複数のそれぞれの強度ピーク位置を求めて、各ROI(301a;302a;303a)において探索するステップ(404)であって、前記画像のための前記画像データの提供はさらに、前記探索から発見された前記強度ピーク位置に基づく、ステップ(404)
を備える、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記探索方向(505a;505b)は、画像センサエリア(132)のピクセル列(M)またはピクセル行(N)と平行であり、これによって、前記ピクセルの各ラインは、それぞれのピクセル列(m)またはそれぞれのピクセル行(n)に対応する、請求項6に記載の方法。
【請求項８】
前記探索方向におけるROI(301a〜303a)間の1つまたは複数の部分的なオーバラップ(502,503)の各々は、前記センサエリア(132)における入射光の少なくとも予想される最大の強度ピーク幅(702)である、請求項6または7に記載の方法。
【請求項９】
前記探索方向における前記1つまたは複数の部分的なオーバラップ(502,503)の各々は、多くとも、前記予想される最大の強度ピーク幅の2倍である、請求項8に記載の方法。
【請求項１０】
部分的にオーバラップしているROI(301a,302a)は、シーケンシャルに露出され、オーバラップしていないROI(301a,303a)は、少なくとも部分的に同時に露出される、請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記部分的な画像データの少なくともいくつかの読み取り時および読み取り中に、ビニングが適用される、請求項1から10のいずれか一項に記載の方法。
【請求項１２】
前記提供された画像データは、前記物体(120;121;501)の3次元特性に関する情報(140-1;141-1)へ少なくとも変換可能である、請求項1から11のいずれか一項に記載の方法。
【請求項１３】
前記画像感知デバイス(130)は、前記提供された画像データに基づいて、前記物体(120;121;501)の3次元特性に関する情報(140-1〜140-K;141-1)を提供するための測定システム(100)に備えられ、前記測定システム(100)はさらに、特定の光パターン(112)で前記物体(120;121;501)を照らすように構成された光源(110)を備え、前記光源(110)および前記画像センサ(131)は、前記特定の光パターン(112)が、前記物体(120;121;501)によって反射されたとき、少なくとも部分的に、前記センサエリア(132)における入射光(133)となり、前記物体(120;121;501)からの前記光として感知されるように、互いに関して配置され、これによって、前記提供された画像データは、前記物体(120;121;501)における位置に関する前記物体(120;121;501)の前記3次元特性へ変換可能な情報(140-1〜140-K;141-1)を備え、前記位置は、前記センサエリア(132)における前記入射光(133)を発生させる、請求項1から12のいずれか一項に記載の方法。
【請求項１４】
物体(120;121;501)の3次元特性に関する情報(140-1〜140-K;141-1)を提供するための方法であって、
- 請求項13に記載の方法を一度実行し、前記物体(120;121;501)の異なる部分における反射から生じる前記画像センサ(131)の前記入射光を毎回用いて、少なくとも、露出するステップ(402)、読み取るステップ(403)、および提供するステップ(405)の動作を、1回または複数回反復することによって、複数の画像のための画像データを取得するステップ(406)であって、それによって、前記物体(120;121;501)の複数の画像に関連付けられた画像データのセットを取得する、ステップ(406)と、
- 前記画像データのセットを、前記物体(120;121;501)の3次元特性に関する前記情報(140-1〜140-K;141-1)へ変換するステップ(407)と
を備える方法。
【請求項１５】
物体(120;121;501)の画像に関する画像データを提供するための画像感知デバイス(130)であって、光を感知するためのセンサエリア(132)を有する画像センサ(131)を備え、
- 画像センサエリア(132)内に、関心領域(ROI)(301a〜303a)を定義し、各ROI(301a;302a;303a)は、他のROI(301a〜303a)のうちの1つまたは複数と部分的にオーバラップし、
- 前記物体からの光へ前記ROI(301a〜303a)を個々に露出させ、
- 前記露出されたROI(301a〜303a)にそれぞれ関連付けられたグループに属し、その中で感知された光から生じる部分的な画像データを読み取り、
- 前記読み取られた部分的な画像データの組み合わせに基づいて、前記物体の前記画像に関する前記画像データを提供する
ように構成された、画像感知デバイス(130)。
【請求項１６】
1つの同じROIに属するすべてのピクセルが、露出を同時に開始および終了できるように、前記ROI(301a〜303a)が露出される、請求項15に記載の画像感知デバイス(130)。
【請求項１７】
前記ROI(301a〜303a)のうちの少なくともいくつかは、異なる露出時間を使用して露出される、請求項15または16に記載の画像感知デバイス(130)。
【請求項１８】
前記ROI(301a〜303a)のうちの前記少なくともいくつかは、露出方向(604)に沿って増加または減少する前記異なる露出時間で、前記露出方向(604)に沿って連続的に配置される、請求項17に記載の画像感知デバイス(130)。
【請求項１９】
前記ROI(301a〜303a)は、前記センサエリア(132)のピクセル列(M)またはピクセル行(N)のいずれかに沿って連続的に配置される、請求項15から18のいずれか一項に記載の画像感知デバイス(130)。
【請求項２０】
前記センサエリア(132)に探索方向(505a;505b)が関連付けられ、前記画像感知デバイス(130)はさらに、
- 露出後、前記探索方向(505a;505b)に平行なピクセルの各ラインに沿って、探索基準を満足する1つまたは複数のそれぞれの強度ピーク位置を求めて、各ROI(301a;302a;303a)において探索するように構成され、前記画像のための前記画像データの提供はさらに、前記探索から発見された前記強度ピーク位置に基づく、
請求項15から19のいずれか一項に記載の画像感知デバイス(130)。
【請求項２１】
前記探索方向(505a;505b)は、前記画像センサエリア(132)のピクセル列(M)またはピクセル行(N)と平行であり、これによって、前記ピクセルの各ラインは、それぞれのピクセル列(m)またはそれぞれのピクセル行(n)に対応する、請求項20に記載の画像感知デバイス(130)。
【請求項２２】
前記探索方向におけるROI(301a〜303a)間の1つまたは複数の部分的なオーバラップ(502,503)の各々は、前記センサエリア(132)における入射光の少なくとも予想される最大の強度ピーク幅(702)である、請求項20または21に記載の画像感知デバイス(130)。
【請求項２３】
前記探索方向における前記1つまたは複数の部分的なオーバラップ(502,503)の各々は、多くとも、前記予想される最大の強度ピーク幅の2倍である、請求項22に記載の画像感知デバイス(130)。
【請求項２４】
前記画像感知デバイス(130)は、部分的にオーバラップしているROI(301a,302a)を、シーケンシャルに露出させ、オーバラップしていないROI(301a,303a)を、少なくとも部分的に同時に露出させるように構成される、請求項15から23のいずれか一項に記載の画像感知デバイス(130)。
【請求項２５】
前記画像感知デバイス(130)はさらに、前記部分的な画像データの少なくともいくつかの読み取り時および読み取り中に、ビニングを適用するように構成された、請求項15から24のいずれか一項に記載の画像感知デバイス(130)。
【請求項２６】
前記提供された画像データは、前記物体(120;121;501)の3次元特性に関する情報(140-1;141-1)へ少なくとも変換可能である、請求項15から25のいずれか一項に記載の画像感知デバイス(130)。
【請求項２７】
データ処理装置(809;900)によって実行されたとき、前記画像感知デバイス(130)に、請求項1から14のいずれか一項に記載の方法を実行させ、かつ/または、ハードウェアを、請求項15から26のいずれか一項に記載の画像感知デバイス(130)として統合させ、かつ/または構成させる、コンピュータプログラム(901)。
【請求項２８】
コンピュータ読み取り可能な媒体(902,903,904)と、前記コンピュータ読み取り可能な媒体(902,903,904)に記憶された請求項27に記載のコンピュータプログラム(901)とを備えるコンピュータプログラム製品。
【請求項２９】
請求項15から27のいずれか一項に記載の画像感知デバイス(130)から提供された画像データに基づいて、前記物体(120;121;501)の3次元特性に関する情報(140-1〜140-K;141-1)を提供するための測定システム(100)であって、特定の光パターン(112)で前記物体(120;121;501)を照らすように構成された光源(110)をさらに備え、前記光源(110)および前記画像センサ(131)は、前記特定の光パターン(112)が、前記物体(120;121;501)によって反射されたとき、少なくとも部分的に、前記センサエリア(132)における入射光(133)となり、前記物体(120;121;501)からの前記光として感知されるように、互いに関して配置され、それによって前記提供された画像データは、前記物体(120;121;501)における位置に関する前記物体(120;121;501)の前記3次元特性へ変換可能な情報(140-1〜140-K;141-1)を備え、前記位置は、前記センサエリア(132)における前記入射光(133)を発生させる、測定システム(100)。
【請求項３０】
- 請求項13に記載の方法を一度実行し、前記物体(120;121;501)の異なる部分における反射から生じる前記画像センサ(131)の前記入射光を毎回用いて、少なくとも、露出するステップ(402)、読み取るステップ(403)、および提供するステップ(405)の動作を、1回または複数回反復することによって、複数の画像のための画像データを取得し、それによって前記物体(120;121;501)の複数の画像に関連付けられた画像データのセットを取得し、
- 前記画像データのセットを、前記物体(120;121;501)の3次元特性に関する前記情報(140-1〜140-K;141-1)へ変換する
ように構成された、請求項29に記載の測定システム(100)。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書における実施形態は、画像感知デバイス、測定システム、その方法、コンピュータプログラム、およびコンピュータプログラム製品に関する。特に、本明細書における実施形態は、物体の画像に関する画像データの提供、および、物体の3次元特性の提供に関する。
【背景技術】
【０００２】
工場および物流自動化のための産業用ビジョンカメラおよびシステムは、しばしば、物体の3D画像がキャプチャされる3次元(3D)マシンビジョンに基づく。3D画像によって、従来の画像のように、2次元(2D)におけるピクセル位置のための強度および/または色のみならず、「深度」情報をもエンコードする画像が参照される。その後、3D画像からの物体の特性、すなわち、物体の3D特性に関する情報を抽出する処理が適用される。
【０００３】
3Dマシンビジョンシステムは、しばしば、アクティブな三角測量に基づく。そのようなシステムでは、特定の光パターンで物体を照らす光源が存在する。たとえばレーザ光によって生成された、特定の光パターンとして、光のシートを使用することが一般的である。特定の光パターンが、物体によって反射された場合に、画像センサにおける入射光となるように、画像センサを備えたカメラがその後、光源および物体に関して配置される。反射によって、画像センサにおける入射光を発生させる物体の一部が、カメラおよび画像センサによってキャプチャされ、画像データが生成される。システムの幾何形状の知見を使って、画像データはその後、特定の光パターンが物体において反射される場所に対応する、プロファイルとも称され得る、物体の3D形状に関する情報を提供する、たとえばいわゆる範囲データへ変換され得る。光源および/または物体を移動させることによって、物体の複数の部分が照らされ、反射光が、画像センサによってキャプチャされるように、たとえば、複数の連続したプロファイルに対応する、物体のより完全な3D形状を記述するデータが生成され、物体の3Dモデルが生成され得る。
【０００４】
特に、産業上の応用のために、時間はしばしば、コストに強く結び付けられ、したがって、最も重要な因子のうちの1つは、高速である。たとえば、物体のプロファイルに対応する画像データのような出力を、十分な精度および速度でキャプチャし、処理し、提供することが可能であるのが望ましい。何が十分であるかは、ケース毎に異なり、たとえば、マシンビジョン出力が何のために使用されるのか等の用途に依存する。
【０００５】
上述されたように、そのような3Dマシンビジョンシステムの1つの速度制限因子は、特定用途向け集積回路(ASIC)として実現され得るか、および/または、システムオンチップ(SoC)内に備えられ得る、使用されている画像センサの速度である。画像センサは、典型的には、たとえば、画像センサから出力されたデータの処理に関するような、追加の機能をも実現し得る画像感知デバイス内に備えられる。画像感知デバイスの1つの例は、3Dマシンビジョンシステムによって使用されるカメラであり、このカメラは、レンズと、画像センサに接続している電子回路とを備える。別の例は、画像センサと、画像センサによって提供される画像データの何らかの処理とを備えるSoCである。いずれのケースであれ、画像感知デバイスの速度は、画像データが画像センサによってどれくらい高速で獲得され提供されるのかと、含まれる任意の処理がどれくらい高速で実行されるのかとに関連している。しばしば、3Dマシンビジョンシステムのための画像感知デバイスは、具体的に、あるアプリケーションのために適合され、たとえば、画像感知デバイスのある制御を可能にするか、および/または、ある機能を提供する。これは、処理は、多かれ少なかれ、「オンチップ」でなされることを含み得る。あるアプリケーションのためのこの種の特定の適合は、典型的には、より高速、より低コスト、より小型化、より低い電力消費等を可能にするために提供される。
【０００６】
画像センサピクセルアレイを備える画像感知デバイスの1つの例が、GB2492387(A)に開示されている。画像センサピクセルアレイは、複数のピクセル構造を備える。この構造は、アレイの残りに適用されるものとは異なる露出時間制御のための個々のピクセル、または、ピクセルのグループ/ピクセル領域を定義するために選択され得るピクセル行および列の選択的な制御を可能にする。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】英国特許出願公開第２４９２３８７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記を考慮して、目的は、3Dマシンビジョンシステムにおける物体の3D特性の提供に関する改良を提供することである。
【課題を解決するための手段】
【０００９】
本明細書における実施形態の第1の態様によれば、この目的は、物体の画像に関する画像データを提供するために、画像感知デバイスによって実行される方法によって達成される。画像感知デバイスは、光を感知するためのセンサエリアを有する画像センサを備える。画像感知デバイスは、センサエリア内の関心領域(ROI)を定義する。各ROIは、他のROIの1つまたは複数と部分的にオーバラップする。画像感知デバイスは、ROIを、物体からの光へ個々に露出させる。画像感知デバイスは、露出されたROIにそれぞれ関連付けられたグループに属する、その中の感知された光から生じる部分的な画像データを、読み取る。画像感知デバイスは、物体の画像に関する画像データを、読み取られた部分的な画像データの組み合わせに基づいて提供する。
【００１０】
本明細書における実施形態の第2の態様によれば、この目的は、物体の画像に関する画像データを提供するための画像感知デバイスによって達成される。画像感知デバイスは、光を感知するためのセンサエリアを有する画像センサを備える。画像感知デバイスは、画像センサエリア内のROIを定義するように構成される。各ROIは、他のROIの1つまたは複数と部分的にオーバラップする。画像感知デバイスは、物体からの光へROIを個々に露出させるように構成される。さらに、画像感知デバイスは、露出されたROIにそれぞれ関連付けられたグループに属する、その中の感知された光から生じる部分的な画像データを、読み取るように構成される。さらに、画像感知デバイスは、物体の画像に関する画像データを、読み取られた部分的な画像データの組み合わせに基づいて提供するように構成される。
【００１１】
本明細書における実施形態の第3の態様によれば、この目的は、データ処理装置によって実行されたとき、画像感知デバイスに、第1の態様に従う方法を実行させ、かつ/または、ハードウェアが、第2の態様に従う画像感知デバイスとして統合され、かつ/または構成される、コンピュータプログラムによって達成される。
【００１２】
本明細書における実施形態の第4の態様によれば、この目的は、コンピュータ読み取り可能な媒体を備えるコンピュータプログラム製品、および、コンピュータ読み取り可能な媒体に記憶された第3の態様に従うコンピュータプログラムによって達成される。
【００１３】
本明細書における実施形態の第5の態様によれば、この目的は、第2の態様に従って、画像感知デバイスから提供された画像データに基づいて、物体の3次元特性に関する情報を提供するための測定システムによって達成される。この測定システムは、画像感知デバイスを備え、さらに、特定の光パターンで物体を照らすように構成された光源を備える。光源および画像センサは、光パターンが、物体によって反射されたとき、少なくとも部分的に、センサエリアにおいて入射光になり、物体からの上記光として感知されるように、互いに関して配置される。これによって、提供された画像データは、物体上の位置に関する物体の3次元特性に変換可能な情報を備える。この位置は、センサエリア上に入射光を生成させる。
【００１４】
画像化によって、物体の3D特性の提供に関する問題を解決するために、3D特性を提供するために使用される各画像の異なる部分へ、異なる露出および/または処理を適用できることは、様々な理由で望ましい。これは、高速実行と同様、本明細書における実施形態によって可能とされる。たとえば、上述されたように、ROIおよびその使用を通じて、異なる露出、および、同時に、画像データの比較的単純な処理が、ROI毎に、特に、画像データに基づく3D特性に関する情報を提供する目的のために可能とされる。たとえば、異なる露出のために、センサエリアを十分かつシーケンシャルに露出する代わりに、部分的にオーバラップするROIが、並列的な露出と、低減されたデータ量を含む処理と、を可能にする一方、部分的なオーバラップは同時に、ピーク位置における情報のように、3D特性に関する情報の提供のために重要な情報を喪失するリスクを低減する。また、ROI毎のハンドリングおよび処理によって、オンチップの実現が容易とされる。さらに、ROI毎の部分的な画像データのオンチップ処理が容易とされ、たとえば、全体の画像のためのすべての画像データがチップ外で処理される解決策と比べて、さらなる処理のためにチップから出力されるべきデータ量の低減を可能とする。
【００１５】
本明細書における実施形態の例が、添付された概要図を参照してより詳細に記述される。
【図面の簡単な説明】
【００１６】
【図１ａ】本明細書における実施形態のために適切な測定システムの例を描写する概要ブロック図である。
【図１ｂ】測定システムに関する関連性および動作原理を説明するための概要例示である。
【図２】本明細書における実施形態に従う画像感知デバイスを描写する概要ブロック図である。
【図３ａ】本明細書における実施形態のために適切な関心領域(ROI)がどのようにしてセンサエリア内で定義され得るのかの例を図示する概要ブロック図である。
【図３ｂ】本明細書における実施形態のために適切な関心領域(ROI)がどのようにしてセンサエリア内で定義され得るのかの例を図示する概要ブロック図である。
【図３ｃ】本明細書における実施形態のために適切な関心領域(ROI)がどのようにしてセンサエリア内で定義され得るのかの例を図示する概要ブロック図である。
【図３ｄ】本明細書における実施形態のために適切な関心領域(ROI)がどのようにしてセンサエリア内で定義され得るのかの例を図示する概要ブロック図である。
【図４】本明細書における実施形態に従って、画像感知デバイスによって実行される方法を例示するフローチャートである。
【図５ａ】本明細書における実施形態のコンテキストにおける強度ピークのハンドリングを例証するための概要例示である。
【図５ｂ】本明細書における実施形態のコンテキストにおける強度ピークのハンドリングを例証するための概要例示である。
【図５ｃ】本明細書における実施形態のコンテキストにおける強度ピークのハンドリングを例証するための概要例示である。
【図６】本明細書における実施形態のコンテキストにおける異なるROIの露出を例証するための概要例示である。
【図７】本明細書における実施形態のコンテキストにおけるROI間の部分的なオーバラップを例証するための概要例示である。
【図８ａ】本明細書における実施形態に従う画像感知デバイスを例示する概要ブロック図である。
【図８ｂ】本明細書における実施形態に従う測定システムを例示する概要ブロック図である。
【図９ａ】画像感知デバイスに関するコンピュータプログラム関連の実施形態を例示するための概要図である。
【図９ｂ】画像感知デバイスに関するコンピュータプログラム関連の実施形態を例示するための概要図である。
【図９ｃ】画像感知デバイスに関するコンピュータプログラム関連の実施形態を例示するための概要図である。
【図９ｄ】画像感知デバイスに関するコンピュータプログラム関連の実施形態を例示するための概要図である。
【発明を実施するための形態】
【００１７】
図1aは、本明細書におけるどの実施形態が説明されるのかに関する測定システム100の例を描写する概要ブロック図である。測定システムは、物体の3次元(3D)特性に関する情報を提供するために適切であり、アクティブな三角測量のために構成されたマシンビジョンシステムに相当し得る。測定システム100は、光のシートとして例証される図面において、特定の光パターン112で画像化されるように物体を照らすための光源110を備える。この光は、レーザ光であり得るが、レーザ光である必要はない。図示された例において、物体は、車の形態をしている第1の物体120と、歯車構造の形態をしている第2の物体121とによって例証される。特定の光パターン112が、物体上に入射した場合、これは、物体上の特定の光パターン112の投影に対応する。これは、特定の光パターン112が物体と交差すると見られ得る。たとえば、図示された例において、光のシートとして例証される特定の光パターン112は、第1の物体120上の光線111となる。特定の光パターン112は、この物体によって、さらに詳しくは、交差における物体の部分によって、すなわち、図示された例における光線111において、反射される。測定システム100はさらに、画像センサ131を備えた、図面においてカメラとして例証された画像感知デバイス130を備える。これらは、特定の光パターンが、物体によって反射された場合に、画像センサ131上において入射光となるように、光源110および画像化される物体に関連して配置される。画像センサ131は、典型的には、入射光を画像データへ変換するための、チップとして実現される構成である。反射によって画像センサ131上に上記入射光を発生させる物体の上記一部は、画像感知デバイス130および画像センサ131によってキャプチャされ、対応する画像データが、さらなる使用のために生成および提供され得る。たとえば、図示された例において、特定の光パターン112は、第1の物体120の車の屋根の一部における光線111において、画像感知デバイス130および画像センサ131へ向かって反射されるであろう。これは、車の屋根の上記一部に関する情報をエンコードする画像データを生成および提供し得る。たとえば、画像センサ座標が、たとえば、座標系123の座標のように、画像化されている物体に関
連する世界座標にどのようにして関連しているのかのような測定システム100の幾何形状の知見を使って、画像データは、たとえば、画像化されている物体の3D形状またはプロファイルのような3D特性に関する情報を提供するように変換され得る。
【００１８】
たとえば、光源110、および/または、第1の物体120または第2の物体121のように、画像化されるべき物体を移動させることによって、物体の複数の部分が照らされ、画像センサ131上に反射光を生成することができ、第1の物体120の図示されるプロファイル140-1〜140-Kのような、たとえば、物体の複数の連続したプロファイルに対応する、物体のより完全な3D形状を記述する画像データが生成され得る。
【００１９】
図1aに示されるように、物体を、特定の光パターン112を通過させて移動させるために、光源110および画像感知デバイス130が典型的に固定されているコンベアベルト122または同様のものが使用され得る。これによって、各物体のすべての部分、または、少なくとも光源110に面したすべての部分が照らされるようになる。
【００２０】
たとえば、プロファイルの上記3D形状のような、上記3D特性に関する情報は、任意の適切なフォーマットで3D特性を記述するデータを備え得る。いわゆる範囲データは、3D特性を記述するためにしばしば使用されるデータの1つの例である。3D特性に関する情報は、画像感知デバイス130によって直接的に、または、画像感知デバイス130からの出力データを演算するように構成された、たとえばコンピュータおよび/もしくは何らかの専用ハードウェアから提供され得る。出力データは、画像センサ131からの画像データに基づく。
【００２１】
図1aは、単に概要的であり、目的を例証するためのものであり、以下から明らかになるであるように、本明細書におけるすべての実施形態のために、図面に図示された必ずしもすべてが必要とされる訳ではないことに注意されたい。
【００２２】
図1bは、画像センサ131の基本原理と、画像センサ131からの画像データに基づいて、物体の3D特性がどのようにして提供され得るのかを図示および記述するための概要例示である。図1bの左部分は、画像センサ131のセンサエリア132を図示する。センサエリア132は、光、すなわち、センサエリア132上に入射する光を感知するために適切であり、ピクセルに対応するN×Mの分解能の画像感知素子を有する。ここで、Nは、感知素子を有する行の合計数であり、Mは、感知素子を有する列の合計数である。センサエリア132は、画像センサのローカル座標系に描かれており、ここで、mは、列位置を示し、nは、行位置を示す。したがって、nは、N行のうちの任意の行を示すために本明細書において使用され得、mは、M列のうちの任意の列を示すために本明細書において使用され得る。第1の入射光パターン133の例が、センサエリア132に図示される。第1の入射光パターン133は、特定の光パターン112を反射する第2の物体121からの結果である。図1bでは、単に理解を容易にするために、第2の物体121が、センサエリア132内に描かれている。画像センサ131は、第1の入射光パターン133を感知し得る。第1の入射光パターン133によって照らされる上記画像感知素子は、他の画像感知素子が少なくとも、露出過大になることも、露出過小になることもない、適切な露出条件の下で、画像センサ131の他の画像感知素子よりも高い強度を記録しなくてはならない。
【００２３】
図1bの図示された例では、各行nは、第2の物体121への一定の距離に対応し、各列mは、第2の物体121のプロファイルにおける位置に対応する。したがって、列m毎に、1つの真の反射しかないことが期待され得る。したがって、その結果、少なくとも理論上は、列毎の強度ピークを求めて探索することと、たとえば最大ピークのようなピークが、各列における真の反射であると予想することとが可能である。これがすべての列について反復される場合、入射光パターン133に対応するピクセルパターンが識別され得る。ピクセルパターンは、画像センサ131の座標n、mに存在するので、測定システム100の幾何形状に基づいて、世界座標における変換パターンへの変換が生じ得る。これは図1bにおいて、矢印および図面の右部分によって例示され、上記変換パターンは、世界座標において、第2の物体121のプロファイル141-1に対応する。
【００２４】
本明細書における実施形態に関する詳細を提示する前に、三角測量に基づく3Dマシンビジョンシステムに関するさらなる問題が、議論され例証されるであろう。
【００２５】
多くの画像センサにおいて、獲得速度の主な制限は、画像センサを備える測定システムによるさらなる処理のために、画像センサによって画像データがどれくらい速く提供され得るのかに関する帯域幅である。たとえば、要求される速度に達することができるように、高い帯域幅が要求される場合、これは、典型的には、大量の物理的な信号ピンが必要とされるという結果になり、また、大きな電力消費量になる結果になる。これは望ましいことではなく、しばしば、たとえばシステム小型化のように、それ自身で制限している。N×M画像センサからのM個のピーク位置の抽出が、たとえばASICまたはSoCである画像感知デバイス内の画像センサと統合して実現される場合、画像センサから出力される必要のあるデータの量は大きく低減されるであろう。読み出される必要のあるデータがより少なくなる、および/または、より低い頻度で読み出されることになる、そのような、または、類似の直接的な処理、すなわち、画像センサと統合された処理は、はるかに低出力の帯域幅と電力消費量で、同じ画像化速度が達成され得るように、帯域幅を低減し得る。しかしながらまたそのことによって、実現されているより複雑なアルゴリズムは画像センサと統合して実現することが困難および/または非効率的であり得るので、ピーク位置を抽出するために使用されるアルゴリズムの複雑さに対して制限が課せられ得る。上記で説明されたように、各々が単一の真の反射に対応する「真のピーク」を発見するための処理は、単一のピークの位置、たとえば、各列における、許容可能な強度の最初のピークまたは最後のピークのような、最も強い、または、他の何らかの基準を満足する別の特定のピークのような単一のピークの位置を発見するステップを含み得る。この処理が、誤ったピークの存在下において、真のピークの位置を抽出するために他の情報を考慮する必要があるのであれば、これは、複雑さを加える。これは、多かれ少なかれ、速度を制限する効果を有する。ここでの1つの解決策は、第1段階において、複数のピーク候補を抽出し、その後、第2段階において、複数のピーク候補の中から、真のピークを発見することであり得る。一方、複数のピークおよび2段階処理をハンドリングするためのオーバヘッドは、システムのスループットを低減し得る。これは、用途に応じて多かれ少なかれ重要なことであり得る。
【００２６】
別の速度制限因子は、検出可能な信号を得るために、入射光のキャプチャのため画像センサによって必要とされる露出時間であり得る。
【００２７】
多重反射は、しばしば、上述したタイプのシステムにおいて問題である。多重反射は、1つの面から反射された光源110からの光が、画像センサに入射する前に1つまたは複数の面においてさらに反射され、結果として誤った反射を発生させる場合に生じる。たとえば、画像センサ131のM列のうちの各列mにおける1つのように、1つのみの真の反射があるものとするが、1つ以外はすべて誤りである、複数の候補が存在することが知られ得る。多重反射はまた、幾何学的な歪みおよび/またはさらに周辺ノイズ外乱によって現れ得る。幾何学的な歪みは、画像化されている物体の、たとえばステップ端の周囲の幾何形状が、多重反射を発生させる場合に生じる。実際、誤った反射は、真の反射よりも強いことがあり得る。誤った反射はまた、真の反射よりも、より鋭く、すなわち、より狭くなり得るので、真の反射を、誤った反射と区別するために、センサによって記録された強度ピークの強度または幅を使用することが常に可能である訳ではない。したがって、画像センサでは、実際には、しばしば、真の反射と誤った反射とを区別することは困難である。1つの解決策は、強度ピークに関するすべての可能な候補位置を抽出し、そして、典型的には画像センサの外部で、後処理ステップを有することであり得る。これは、たとえば、全体の画像に関する平滑基準を適用することによって、望まれないデータをフィルタアウトする。いわゆる動的なプログラミングは、列毎の、最終的な1つの位置を発見するための候補位置に適用されるべき可能な技術の一例である。
【００２８】
別の問題は、ダイナミックレンジであり、ここでは、物体による光の反射は、いくつかの部分において非常に弱くなり、他の部分、特に、鏡面反射がある部分では、非常に強くなる。鏡面反射では、入射光の非常に大きな部分が、特定の方向に反射される。その反対は、拡散反射である。ここでは、光は、全方向に一様に反射される。実際、ほとんどの面は、鏡面反射と拡散反射との混合を与える。ダイナミックレンジの問題に対する1つの寄与因子は、たとえば、発散レーザ面からの、検出された拡散反射された光の強度は、典型的には、距離の関数として、非線形的に減少することである。光の発散は、光源から遠く離れた単位エリア毎に、より少ない入射エネルギしか与えない。別の寄与因子は、画像感知デバイス130を実現するまたは備えるカメラが、比較的小さな口径のレンズを介して光を集めることである。より長い距離において物体から反射された光は、より短い距離から反射された光よりも、口径を通過する可能性が低くなるであろう。たとえば、図1bに図示される状況では、より長い距離に対応する、画像センサエリア132の下方部分に属する感知素子によって測定された強度は、上方部分における感知素子によって感知されたものよりも低い強度を感知し得る。
【００２９】
観察された強度ピークの幅はまた、視界上の変化をも有し得、すなわち、ピーク幅問題も存在する。たとえば測定システム100に相当する測定システムが、いわゆるシャインプルーフの原理を使用して「傾斜面」焦点のために調節されないのであれば、レーザ面のある部分は、焦点を外し得る。この結果、観察された強度ピークの幅が、たとえば、被写界深度における近傍よりもより大きく離れる、分散となり得る。たとえば、図1bを参照して示すように、下方部分におけるピーク位置は、上方の行におけるピーク位置よりも広い幅の強度ピークに対応し得、またはその逆もあり得る。サブピクセルピーク位置の高精度抽出は、分散の特定の幅において最も良く動作し得、したがって、幅の大きな変化によって負の影響を受け得る。
【００３０】
また、図1aにおけるような三角測量ベースの測定システムの幾何学的特性によって、画像センサ131の単位ピクセル(ΔP)毎の深度測定(ΔR)における分解能は、深度とともに増加し、すなわち、分解能問題も同様に存在する。システムが一様な測定分解能を有するようにするために、いわゆるビニングが、近距離において利用され得、その部分におけるΔPの分解能が低下され、より一様なΔR分解能が取得される。
【００３１】
上述された問題に対するあらゆる解決策は、好適には、少なくとも、他のどの問題をも悪化させるべきではない。それは、逆効果となるであろう。そして、好適には、解決策は、1つよりも多くの問題を同時に緩和すべきであるか、または、少なくとも、他の問題を緩和するための他の解決策と整合すべきである。
【００３２】
図2は、測定システム100から分離された画像感知デバイス130を描写する概要ブロック図である。画像感知デバイス130は、画像センサ131を備える。画像感知デバイス130は、第1の物体120および第2の物体121のような物体の画像に関する画像データを提供するために適切である。画像感知デバイス130は、たとえば、ASIC、または、SoC内に統合されたチップの集合の形態である、センサチップと称され得るチップとして実現され得る。そして、画像感知デバイス130は、たとえばカメラにおいて使用され得る。画像感知デバイス130は、より高速を可能にするために有利であるが、(単一の)チップまたはSoCとして実現される必要はないことに注目されたい。画像検知デバイス130は、代わりに、たとえば、画像センサ131を備えた1つのチップ、および、画像センサ131からの出力に対して演算するように配置された1つまたは複数の他のチップのような相互接続された別個の部品を使用して実現され得る。たとえば、画像感知デバイス130は、上記相互接続された別個の部品を備える、図1aに図示されたカメラのようなカメラとして実現され得る。
【００３３】
図3a〜図3dは、本明細書における実施形態に関する関心領域(ROI)が、画像センサエリア132内でどのようにして定義され得るのかの例を図示する概要ブロック図である。ROIは、センサエリア132のサブエリアである。
【００３４】
図3aは、ROIの第1の例示的グループのうちの第1のROI 301a、第2のROI 302a、および第3のROI 303aを図示しており、各ROIは、1つまたは複数の他のROIと部分的にオーバラップする。さらに詳しくは、第1のROI 301aと、第2のROI 302aとが、互いに部分的にオーバラップし、第2のROI 302aと、第3のROI 303aとが、互いに部分的にオーバラップする。これら互いに部分的にオーバラップするROIは、関係するROIの行が全体的にオーバラップし、関係するROIの列が部分的にオーバラップしている共通の部分的なオーバラップを有する。各ROIは、センサエリア132の完全な行をカバーし、これらROIは、全体の画像センサエリア132をカバーする。図示されたROIは、センサエリア132の列に沿って連続的に配置されたROIの例である。図示されたROIはまた、各ROIが、その側面の1つに沿って、または、その側面の対向する2つに沿ってのいずれかでオーバラップを有している例でもある。ROI 301a〜303aは、例で使用され、図5に関連して以下にいくらかさらに詳細に議論されている。
【００３５】
図3bは、ROIの第2の例示的グループのうちの第4のROI 301b、第5のROI 302b、および第6のROI 303bを図示する。ここで、各ROIは、1つまたは複数の他のROIと部分的にオーバラップする。さらに詳しくは、第4のROI 301bおよび第5のROI 302bは、互いに部分的にオーバラップし、第5のROI 302bおよび第6のROI 303bは、互いに部分的にオーバラップする。互いに部分的にオーバラップするROIは、関係するROIの列が全体的にオーバラップし、関係するROIの行が部分的にオーバラップしている共通の部分的なオーバラップを有する。各ROIは、センサエリア132の完全な列をカバーし、ROIは、全体の画像センサエリア132をカバーする。図示されたROIは、センサエリア132の行に沿って連続的に配置されているROIの例である。図示されたROIはまた、各ROIが、その側面のうちの1つのみに沿った、または、たとえば、2つの対向する平行な側面のように、その側面の対向する2つに沿ったオーバラップを有する実施形態の例である。
【００３６】
図3cは、ROIの第3の例示的なグループのうちの第7から第10のROI 301c〜304cを図示する。ここで、各ROIは、2つ以上の他のROIと部分的にオーバラップする。各ROIは、行および列の一部のみをカバーし、ROIは、全体の画像センサエリア132をカバーする。図示されたROIは、各ROIが、その側面のうちの少なくとも2つに沿ったオーバラップを有する例であり、これら側面は、2つの垂直な、すなわち対向する側面ではない側面に沿っている。
【００３７】
図3dは、ROIの第4の例示的なグループのうちの第11のROI 301dおよび第12のROI 302dを図示する。ここで、各ROIは、1つまたは複数の他のROIと部分的にオーバラップする。互いに部分的にオーバラップするROI、すなわち、ここでは、第11のROI 301dと第12のROI 302dは、関係するROIの行が全体的にオーバラップし、関係するROIの列が部分的にオーバラップしている共通の部分的なオーバラップを有する。各ROIは、センサエリア132の行を部分的にカバーし、センサエリア132の列を部分的にカバーする。ROIは、画像センサエリア132の一部のみをカバーする。図3aと同様に、図示されたROIは、センサエリア132の列に沿って連続的に配置されたROIの例である。図示されたROIはまた、各ROIが、その側面の1つのみに沿ったオーバラップを有する例でもある。
【００３８】
図3a〜図3dに例証されるように、本明細書における実施形態にROIがどのように関連しているかが、以下において議論される。
【００３９】
たとえば、第1の物体120または第2の物体121のような物体の画像に関する画像データを提供するために、たとえば、画像感知デバイス130によって実行される方法に関する本明細書における実施形態の例が、ここで図4に描写されたフローチャートを参照してさらに詳述および記述されるであろう。画像感知デバイス130は、上記画像を感知するためのセンサエリア132を有する画像センサ131を備える。以下から理解されるであろうが、提供される関心画像データは、典型的には、たとえば、物体のプロファイル140-1、141-1のうちのいずれかへのように、3次元特性に関する情報へ少なくとも変換可能な画像データである。
【００４０】
この方法は、任意の適切な順序で行われ得る以下の動作を備える。さらに、これら動作は組み合わされ得る。
【００４１】
動作401
画像感知デバイス130は、センサエリア132において、たとえば、図3a〜図3dに関連して上述されたROIの例示的なグループのうちのいずれかに対応するROIを定義する。各ROIは、他のROIのうちの1つまたは複数と部分的にオーバラップする。
【００４２】
画像感知デバイス130は、あらかじめ設定されたROIのセットに基づいて、および/または、画像感知デバイス130への、ユーザ制御可能であり得る入力に基づいて、ROIを定義し得る。この入力は、たとえば命令のような設定データ、および/または、電気的なシグナリングの形態であり得、ROIがどのようにして定義されるのかを決定し得る。事前設定および/または入力は、たとえば、画像感知デバイス130の通信ポートへ接続された、コンピュータ上で実行しているソフトウェア、または、他の制御デバイスによって達成され得る。
【００４３】
たとえば、設定データは、センサエリア132におけるROIのサイズおよび位置を決定する座標に関する情報を備え得る。別の例において、設定データは、ROIの数と、部分的なオーバラップのサイズとに関する情報を備える。同時に、ROIが、たとえば、図3aにおけるようなセンサエリア132の列に沿って連続的に配置されるものとするか、および/または、全センサエリア132を均等にカバーするように配置されるものとし、部分的なオーバラップの上記サイズに従ってセンサエリア132の列に沿った部分的なオーバラップを有するものとすることが、あらかじめ設定され得る。さらに別の例では、入力は、たとえば、画像感知デバイス130を実現または具備するチップのピンを、高電圧または低電圧に設定する、電気的なシグナリングを介してなされ、したがって、画像感知デバイス130に対して特定の意味を有する特定の設定を選択する。たとえば、4つのピンが、「10のROI」の意味を有する電圧へ設定され得る(または、むしろ、電圧によってエンコードされる2進数がこの意味を有し得る)。同様に、1つのピンが、2つの選択肢から選択された(たとえば、列または行に連続的に沿った)「センサエリア132の行に沿ってROIが連続的に配置されるものとする」の意味を有する電圧へ設定され得る。他の2つのピンは、4つの事前設定された選択肢(たとえば、5、10、15または20のピクセルの部分的なオーバラップ)から選択された「センサエリア132の行に部分的に沿った10のピクセル」の意味を有する電圧へ設定され得る。
【００４４】
定義されているROIの数は、この方法の用途に関するコンテキスト、目的、および環境を考慮して適切であるべきである。これを考慮して、当業者は、たとえば、上記で議論されたように、ユーザ制御によって、定義されるべきROIの数を事前設定または制御し得る。しかしながら、ほとんどの状況において、ROIの適切な数は、2から10の範囲内であり得る。
【００４５】
いくつかの実施形態では、ROIは、たとえば、図2においてnと印された矢印、または、mと印された矢印と平行であるような、画像センサエリア132のピクセル列Mまたはピクセル行Nのいずれかに沿って連続的に配置される。これは、図3a〜図3bおよび図3dにおいて例証される。その結果、さほど複雑ではない実現、および、より高速な処理が可能とされる。
【００４６】
ROI間のオーバラップはさらに、図5〜図7に関して以下に議論される。
【００４７】
動作402
画像感知デバイス130は、動作401において定義されているように、ROIを、たとえば、第1の物体120または第2の物体121から反射されたような物体からの光へ個々に露出させる。物体からの光は、センサエリア132における入射光となる。理解されるべきであるように、センサエリア132におけるROIを、光に露出させることは、センサエリア132における、ROI内の感知素子が、入射光へ露出され、入射光を感知することを意味する。個々に露出されることは、たとえば、ROIの外部の感知素子を露出させることなく、ROI内の感知素子を露出させるために使用され得る自身のシャッタに各ROIが関連付けられていることから生じ得る、個々のユニークな方式で露出されることを意味する。自身のシャッタに関連付けられた各ROIは、たとえば、ROIのすべての感知素子について同じである、ROI毎にそれぞれ「ローカル」なシャッタが存在することを意味する。ROIを個々に露出させる1つの意味合いは、各ROIの感知素子が、他のROIに属する感知素子の露出時間長さと独立した長さからなり得る共通の露出時間を有し得ることである。言い換えれば、ROIは、1つの同じROIに属するすべてのピクセル、すなわち感知素子が、それぞれの露出を同時に開始および終了させることができるように露出され得る。
【００４８】
ROIは、別のROIと同じまたは異なる露出時間で個々に露出され得ることに注目されたい。ROIのすべて、または少なくともいくつかは、異なる露出時間を使用して露出され得る。ROIの上記少なくともいくつかは、露出方向に沿って増加または減少する上記異なる露出時間で、露出方向に沿って連続的に配置され得る。異なる露出時間、異なるROIに関連付けられた露出がどのようにして実行され得るか、および、露出方向は、さらに、図6に関連して以下に議論される。
【００４９】
動作403
画像感知デバイス130は、露出されたROIにそれぞれ関連付けられたグループに属する、その中の感知された光、すなわち、露出されたROIにおいて露出中に感知された光から生じる部分的な画像データを、読み取る。
【００５０】
したがって、理解されるべきであるように、それぞれのROIは、それぞれのROI内に配置された画像センサ131の感知素子から生じる、(上記グループのうちの1つに対応する)自身の部分的な画像データに関連付けられる。したがって、現在の動作は、露出されたすべてのROIのためのそのような部分的な画像データを読み取ることに関する。部分的な画像データの読み取りは、行毎に実行され得る。そして、読み取られた部分的な画像データの何らかの処理が、これに関連して実行され得る。これは、たとえば、後に処理を実行するための中間ストレージが省略され得るので、典型的には効率的である。また、図6に関連して以下に説明されるように、ROIに関連付けられた部分的な画像データを読み取ることは、他の1つまたは複数のROIの露出と同時に実行され得、これは、たとえば、本明細書における実施形態に従ってROIを時間効率的に活用することに注目されたい。いくつかの実施形態では、部分的な画像データの少なくともいくつかの読み取り時、および読み取り中に、ビニングが適用される。これは、上述された「何らかの処理」の例である。ビニングは、1つよりも多くのピクセルからのデータが、「スーパーピクセル」、すなわち、組み合わせに含まれる各ピクセルよりも大きなエリアを備えた、結果的に得られるピクセル、に対応する組み合わせデータを提供するために組み合わされることを意味する。ビニングに従うピクセルは、たとえば2倍または4倍大きく作られ得る。上述したように、ビニングは、より一様な分解能を達成するために適用され得る。すなわち、より一様なΔR分解能を取得するために、ΔP分解能が低減され、上記分解能問題を緩和させる。説明されるように、本明細書に例示された例では、各行は、実質的に等しい距離に対応し、したがって、これらの例では、行n毎にビニングを適用することが、主な興味である。
【００５１】
例えば、アナログからデジタルへの(A/D)変換前に、A/D変換後にデジタル的にではなく、読み取り中にビニングを適用することが有利である。これは時間を節約し、したがって、読み取り後にビニングを個々に実行するよりも少ない速度制限効果を有する。
【００５２】
すでに示されたように、ビニングは、物体に対してより近い距離に対応するROIにおいてより強く好適に適用される。図1bの例では、近い距離は、上方の行である。または、言い換えれば、最初の最後尾の行nは、最も長い距離に関連付けられ、最後の先頭の行nは、最も短いまたは最も近い距離に関連付けられる。したがって、たとえば図3aにおけるようなROIのケースでは、最も強いビニングは、第3のROI 303aへ適用され得、より弱いビニングは、第2のROI 302aへ適用され得、第1のROI 301aは、ほとんどまたはまったくビニングを適用しないことがあり得る。ビニングは、好適には、各ROI内で、同じ程度に適用される。
【００５３】
測定システム100のような所与の測定システム、その特性、満たされるべきいくつかの要件等を伴う特定の状況について、本明細書における実施形態のコンテキストにおいてビニングを適用する価値があるか否か、また、どこでどの程度、ビニングが適用されるべきであるかを決定するのは、当業者の能力内である。
【００５４】
動作404
探索方向が、センサエリア132に関連付けられ得る。画像感知デバイス130は、探索基準を満足する1つまたは複数の強度ピーク位置について、各ROIの中を、その露出後、探索方向と平行であるピクセルの各ラインに沿って探索し得る。
【００５５】
各ROIのための単純および迅速な処理が、上述した探索によって、ROI毎に可能とされる。ここでは、たとえば、列m毎に、ピクセルの各ラインにおいて、最も強い強度ピーク、または、最初もしくは最後の強度ピークの位置を発見するために、比較的単純な探索基準が使用され得る。その後、複数のROIからの単一のピークの位置が、たとえば、列m毎の1つの最後の強度ピーク位置のような、全センサエリア132における探索方向におけるピクセルの各ラインに関する1つの最後の強度ピーク位置を発見するために使用され得る。このように、実現は、たとえば、ROI毎の単一の強度ピーク位置を発見するために、ROI毎の高速なオンチップ処理を利用し、したがって、データ量をも低減する。その後、ROI毎に発見された強度位置ピークに基づいて、最終的な強度ピーク位置を発見するための、たとえば、チップ外処理、または、少なくとも画像センサ131を実現する回路の外部の処理のような、より複雑な処理が利用され得る。そのようなより複雑な処理は、たとえば、最終的な強度ピーク位置を発見するために、上記低減された量のデータへ適用され得る、上述された動的なプログラミングであり得る。
【００５６】
探索方向は、有利には、画像センサエリア132の、たとえばM個のピクセル列に沿ったピクセル列、または、たとえばN個のピクセル行に沿ったピクセル行nと平行であり得る。すなわち、ピクセルの上記各ラインは、それぞれのピクセル列mまたはそれぞれのピクセル行nに対応する。先に議論および例示された構成を用いて、ピクセル列mに沿った探索方向が好まれる。一般に、行または列に沿った探索方向は、たとえば対角線の探索方向が使用される場合と比べて、方法を実現するために、より低減された複雑さ、したがって、より迅速な処理、および/または、より複雑さの低減されたハードウェアを可能にする。画像センサ131が、固定された探索方向に関連付けられている場合、画像感知デバイス130、および/または、画像感知デバイス130に備えられている画像センサ131は、測定システム100のような測定システム内に配置されてもよく、これによって、上記で議論されたように、探索方向におけるピクセルの各ラインにおいて、1つの真の反射しか存在しないようになる。あるいは、設定可能な探索方向を用いて、探索方向において、ピクセルの各ラインに、1つの真の反射のみが期待されるようになるように、探索方向が選択され得る。
【００５７】
探索方向はさらに、図5bに関連して以下に例証されるであろう。
【００５８】
動作405
画像感知デバイス130は、読み取られた部分的な画像データの組み合わせに基づいて、物体の画像に関する画像データを提供する。動作404に従う探索が実行されるケースでは、上記画像のための画像データの提供はさらに、探索から発見された強度ピーク位置に基づく。
【００５９】
画像データはたとえば、画像化されている物体のプロファイルに対応する情報を備え得る。このプロファイルは、プロファイル140-1〜140-Kのうちの1つ、またはプロファイル141-1に対応し得る。画像データは、画像感知デバイス130内の内部使用のため、および/もしくは、さらなる処理のために提供され得るか、または、画像感知デバイス130の出力ポートへ提供され得る。出力ポートは、たとえば図1aに図示されるように、画像感知デバイス130を実現するチップの1つもしくは複数のピン、および/または、画像感知デバイス130がカメラとして実現されるケースにおける出力データポートを備え得る。いずれのケースであれ、組み合わされた画像データはさらに処理され、たとえば、同じ物体の複数のプロファイルに対応する、他の後続する組み合わされた画像データと組み合わされ得る。したがって、さらなる処理は、画像感知デバイス130内で内部的に、および/または、たとえばコンピュータのような個別のデータ処理デバイスによって外部的に関与し得る。
【００６０】
以下の動作は、動作401〜405を拡張するので、この方法は、たとえば、第1の物体120および第2の物体121それぞれのプロファイル140-1〜141-Kおよび141-1のような物体の3次元特性に関する情報を提供する方法になる。動作405に従って提供された画像データに基づいて、3次元特性に関する上記情報を提供するために適切な測定システムに画像感知デバイス130が備えられるシナリオが仮定される。この測定システムは、測定システム100によって以下に例証される。測定システム100は、たとえば図1aに図示される光のシートのような特定の光パターン112で、たとえば第1、第2、または第3の物体120、121、501のうちのいずれかのような物体を照らすように構成された光源110を備える。光源110および画像センサ131は、特定の光パターン112が、上記物体によって反射された場合に、少なくとも部分的にセンサエリア132における入射光となり、たとえば、第2の物体121からの光として感知された入射光パターン133のような物体からの上記光として感知されるように、互いに関して配置される。したがって、提供された画像データは、物体における位置に関する物体の3次元特性に変換可能な情報を備える。この位置は、センサエリア132上に上記入射光パターン133を発生させる。
【００６１】
動作406
画像感知デバイス130は、たとえば、動作401〜405に従って方法を一度実行し、たとえば第1の物体120のような物体の異なる部分における反射から生じる画像センサ131上の入射光を毎回用いて、少なくとも動作402〜405を1回または複数回反復することによって、複数の画像のための画像データを取得し得る。したがって、画像感知デバイス130は、たとえば、プロファイル140-1〜140-Kに対応する物体の複数の画像に関連付けられた画像データのセットを取得する。すなわち、動作402〜405は、たとえば、第1の物体120の3Dモデルを生成できるためのプロファイル140-1〜140-Kのように、物体の3Dモデルを生成できるためのプロファイルに基づいて、物体の3Dモデルを生成できるような3次元特性に関する情報をたとえば提供できるようにするために、これらプロファイルに対応する十分な画像データを備えたセットが存在するまで反復され得る。また、動作401は、たとえば、異なるROIが複数の画像のうちのいくつかのために使用されるようにROIを再定義することが望ましいのであれば、1回または複数回反復され得ることにも注目されたい。
【００６２】
動作407
画像感知デバイス130は、画像データのセットを、物体の3D特性に関する情報へ変換し得る。この情報は、たとえば、物体の上記3Dモデル、もしくは、物体の部分、ならびに/または、長さ、体積、平坦さ等のような物体の3D関連測定および/もしくは特性に対応し得る。本明細書における前の説明に従って、変換は、測定システムの幾何形状の知見に基づくことが示唆される。たとえば、測定システム100のケースでは、知見は、センサエリア132のピクセル位置m、nが、たとえば、座標系123における座標にどのように関連しているのか、たとえば、どのようにマップしているのかという結果になる。
【００６３】
画像化によって物体の3D特性の提供に関連して上述された問題を解決するために、上記でも議論された理由によって、3D特性を提供するために使用される各画像の異なる部分へ異なる露出および/または処理を適用できるようにすることが望ましい。上記を考慮して、本明細書における実施形態に従う方法は、これのみならず、高速な実行をもサポートすることが理解されるべきである。たとえば、ROI 301a、302a、303aのようなROIによって、および、上述されたようにこれらを使用することによって、画像データの、異なる露出と、同時に比較的単純な処理とが、特に、画像データに基づいて3D特性に関する情報を提供する目的のために、ROI毎に可能とされる。たとえば、センサエリア132を、異なる露出のために十分にかつシーケンシャルに露出させる代わりに、部分的にオーバラップするROIが、(たとえば、ROI毎のピーク位置探索、および/またはビニング、および/または異なる露出によって、)低減されたデータ量を含む並列的な露出および処理を可能にする一方、部分的なオーバラップは、同時に、ピーク位置に関する情報のように、3D特性に関する情報の提供のために重要な情報を喪失するリスクを低減する。また、ROI毎のハンドリングおよび処理によって、オンチップの実現が容易とされる。さらに、ROI毎の部分的な画像データのオンチップ処理が容易とされ、たとえば、全体の画像のためのすべての画像データがチップ外で処理される解決策と比較して、さらなる処理のためにチップから出力されるべきデータ量の低減を可能にする。
【００６４】
図5a〜図5cは、本明細書における実施形態のコンテキストにおける強度ピークのハンドリングを例証するための概要例示である。図示された例において、図5aに概略的に例示される第3の物体501は、第1および第2の物体120、121の代わりに使用され、光のライン502は、第3の物体510に入射した特定の光パターン112から生じる。
【００６５】
図5bは、図3aの例に対応する画像センサエリア132内に定義されたROIとの状況を示す。すなわち、第1および第2のROI 301a、302aは、第1の部分的なオーバラップ502と互いに部分的にオーバラップし、第2および第3のROI 302a、303aは、第2の部分的なオーバラップ503と互いに部分的にオーバラップする。図5bではさらに、センサエリア132内の第2の入射光パターン504の概要例が図示され、第2の入射光パターン504は、特定の光パターン112を反射する第3の物体501から生じる結果である。上記で説明されたように、列m毎に1つだけの真の強度ピークが期待されている。しかしながら、第2の光パターン504を第3の物体501の形状と比較することによって、第2の光パターン504の下方部分は、誤った強度ピークに対応することが理解される。誤った強度ピークは、特定の光パターン112が、第3の物体501上における多重反射となった典型例であり、すなわち、問題があるものとして上記で説明されたそのような多重反射である。図面では、さらに、動作404の下で上記で紹介されたような探索方向の2つの異なる例が図示される。第1の探索方向505aおよび第2の探索方向505bが例証される。第1の探索方向505aは、M個のピクセル列に沿っており、探索されているピクセルの各ラインは、動作404の下で上記で説明されたようなそれぞれのピクセル列mに対応する。さらに上記で説明されたように、行または列に沿った探索方向が典型的に好まれるが、他の探索方向、すなわち、対角線の探索方向が使用され得る。第2の探索方向505bは、センサエリア132における対角線の探索方向の例である。ROI毎に1つの探索方向が存在し得るが、好適には、すべてのROIについて、1つの同じ探索方向が、より簡単な実現と、より高速な処理とを可能にする。しかしながら、異なる探索方向を持つROIが可能である。
【００６６】
図5cは、第1、第2、および第3の強度ピークパターン506-1、506-2、506-3をそれぞれ概略的に例示する。たとえば、動作402に従って、第1のROI 301aが、ここで第2の光パターン504を備える入射光に個々に露出された後、第1の強度ピークパターン506-1は、第1のROI 301aにおいて画像センサ131の感知素子によって記録された強度ピークに対応する。同様に、第2の強度ピークパターン506-2は、第2のROI 302aにおける画像センサ131の感知素子によって記録された強度ピークに対応する、等であり、第3の強度ピークパターン506-3は、第3のROI 303aにおける画像センサ131の感知素子によって記録された強度ピークに対応する、等である。
【００６７】
図5a〜図5cを考慮して、動作404はより良く理解され得る。動作404におけるように、たとえば、それぞれ図示された強度ピークパターン506-1、506-2、506-3に対応するそれぞれの強度ピークパターンを識別するために、ROI 301a、302a、303a毎の個別の探索が存在し得る。個別の探索は、画像センサ131の基本的な機能と統合された、比較的単純で効率的な探索として実現され得る。たとえば、各ROI 301a、302a、303aにおける列m毎に、ある基準に従って、最も強い強度ピークまたは最初の強度ピークを求めて探索がなされ得る。これは、各ROI 301a、302a、303aについて、列毎に1つのピーク位置の値を覚え、記憶することだけが必要な、画像センサ131との高度な統合において効率的に実現され得る。ピーク位置の強度値は、ピーク位置の値に加えられたものとして記憶され得ることに注目されたい。画像センサ131が、列毎に、および、ROI 301a、302a、303a毎に、結果的に得られる1つの強度ピーク値を識別する画像データを提供すること、すなわち、問題となっているROIの感知素子からの部分的な画像データに基づいて、ROI毎に、低減されたデータ量を提供することは十分であり得る。画像感知デバイス130はその後、すべてのROIについて、そのように低減されたデータ量に基づいて、たとえば、ここでは第3の物体501である画像化される物体のプロファイルに対応する、動作405におけるように組み合わされた画像データを提供し得る。
【００６８】
列mおよびROI毎に1つのみのピークという結果となる探索は、列m毎に2つのピークを含む図5cにおける第2の強度パターン506-2という結果にはなり得ないことに注目されたい。単純な「1つの強度ピーク」探索のケースでは、第2の強度パターン506-2は、代わりに、たとえば、下方の誤った強度ピークをも全体的にまたは部分的に含むが、列m毎に1つの強度ピークしかない不連続なパターンとなり得る。しかしながら、すべてのROI 301a、302a、303aの強度パターンが考慮される場合、たとえば、第1の強度パターン506-1に対応する誤ったピークを含む、全体の画像センサエリア132について、列m毎に、複数の強度ピークが未だに存在し得る。そのように結果的に得られる複数の強度ピークは、読み取られた部分的な画像データの組み合わせに基づいて、動作405におけるように、画像データの提供に関連して取り扱われ得る。たとえば、すべてのROIのための低減された量のデータはさらに、画像感知デバイス130において内部的に処理され、その後、画像データとして提供され得るか、または、すべてのROIのための低減された量のデータが、画像データとして提供され、たとえば、さらに外部的に処理され得る。いずれのケースであれ、さらなる処理は、上述された動的なプログラミング、ならびに/または、近隣の列m、プロファイルに対応する強度ピークパターンの平滑性および/もしくは連続性に関する条件をも考慮した何らかのアルゴリズムを含み得る。この目的のために、画像化されている物体の1つまたは複数の先行または後続するプロファイルからの画像データもまた、考慮され得る。
【００６９】
図6は、動作402の下で上記で議論されたように、本明細書における実施形態のコンテキストにおける異なるROIの露出を例証するための概要例示である。たとえば、第1の露出ブロック601は、第1のROI 301aに関連付けられた16の時間単位の露出時間を例証し、第2の露出ブロック602は、第2のROI 301bに関連付けられた4の時間単位の露出時間を例証し、第3の露出ブロック603は、第3のROI 301cに関連付けられた1の時間単位の露出時間を例証する。1の時間単位は、たとえば10ミリ秒(ms)であり得る。すなわち、図示された例では、各露出ブロック間の露出時間に4倍の相違がある。一般に、ROI間の露出時間においてどの相違(たとえば、画像化されている物体に対する距離の増加に伴って増加する)を使用するのかは、たとえば測定システム100のように、使用されている測定システムの知見、その光条件等に基づいて、および/または、「学習されたデータ」に基づいて決定され得る。また、ROI間の露出時間における相違は、必要とされる露出時間、または、画像化されている物体への最長距離および最短距離に対応するROIである「最も外部」のROIのために望ましい露出時間、に基づき得る。中間のROIは、その後、最も外部のROIに関連付けられた上記露出時間の間、たとえば比例的であるような適切な露出時間に関連付けられ得る。
【００７０】
図示された例において、ROIは、行に沿って減少的に露出され、これによって、たとえば、図示された図面におけるより「下方」の行は、より長い露出時間を使用して、より「上方」の行は、より短い露出時間を使用して、露出されるようになる。センサエリア132において図1bに例示されるような第1の入射光パターン133で、近い距離は、上方の行であり、これは、より短い時間露出され、下方の行は、より長い時間露出される。これは上述したダイナミックレンジの問題を緩和するために利用され得る。
【００７１】
図面では、さらに、動作402の下で、上記で紹介されたような露出方向604の例が図示され、露出方向604に沿って、ROI 301a、302a、303cが連続的に配置されている。露出時間は、図示された露出方向604に沿って減少する。露出方向604は、少なくとも、動作402の実行毎に、すべてのROIに対して同じである。
【００７２】
一般に、ROIは、有利に露出され得るので、露出方向604は、「近/遠」方向に対し、たとえば第1、第2、または第3の物体120、121、501それぞれのように、画像化されている物体にあり、これによって、センサエリア132から遠く離れた物体の部分が、より長い時間の間露出されるようになる。たとえば、図5bに関連して上記で議論された探索方向505aのような探索方向のケースでは、そうである必要はないが、同じ方向に、露出方向604のような露出方向が存在し得ることに注目されたい。
【００７３】
さらに、図6は、動作402の下において、上記で議論された状況を図示しており、1つの同じROIに属するすべてのピクセルが同時に露出を開始および終了できるように、ROIが、露出される。これは、各ROIが、問題となっているROIのすべての感知素子について同じである自身のシャッタに関連付けられていると考えられ得る動作402の下における言及と整合している。また、これは、露出のために必要とされる合計時間を最小化し、また、典型的には、たとえば、いわゆるローリングシャッタのように、各行について個別であるシャッタの場合よりも、より単純な実現を容易にする。
【００７４】
さらにその上、図6に例示されるように、部分的にオーバラップするROIが、シーケンシャルに露出され得る。たとえば、第1および第3のROI 301a、303aそれぞれに関連付けられた第1および第3の露出ブロック601、603を参照されたい。これらは、第2のROI 301bに関連付けられた第2の露出ブロック602の後に配置されている。部分的なオーバラップが、オーバラップにおける感知素子をROIが共有し、ROIの個々の露出が達成されるべきであることを意味する場合、シーケンシャルな露出、すなわち、時間的に分離された露出が必要であり得る。しかしながら、オーバラップしていないROIは、第1および第3のROI 301a、303aそれぞれに関連付けられた第1および第3の露出ブロック601、603に関する図6におけるケースのように、少なくとも部分的に同時に露出され得、かつ有利には露出される。少なくとも部分的にROIを露出させることは、合計露出時間を低減し、したがって、本明細書における実施形態に従う方法のより高速な実行を可能にする。ROIの露出が終了した場合、そのROIに関連付けられた部分的な画像データが、1つまたは複数の他のROIの露出を続けながら、動作403の一部として読み出され得ることに注目されたい。したがって、オーバラップしていないROIの露出が同時に実行され得るのみならず、ROIに関連付けられた部分的な画像データの読み出しが、1つまたは複数の他のROIの露出と同時に実行され得る。
【００７５】
図7は、本明細書における実施形態のコンテキストにおけるROI間の部分的なオーバラップを例証するための概要例示である。第1のROI 301aと第2のROI 302aとの間の第1の部分的なオーバラップ502が、例として選択され、単一の列mについて図示されている。強度ピーク高さ701と強度ピーク幅702とを有する強度ピーク700の概要例もまた図示されている。探索方向における、たとえば、第1の部分的なオーバラップ502および/または第2の部分的なオーバラップ503のような1つまたは複数の部分的なオーバラップの各々(動作404および図5bを参照)は、センサエリア132における入射光の予想される最大の強度ピーク幅に基づき得るか、または、少なくとも、センサエリア132における入射光の予想される最大の強度ピーク幅であるべきである。この状況は、部分的なオーバラップ502に関して図7に例示される。したがって、強度ピーク幅702は、以下において、センサエリア132における入射光の予想される最大の強度ピーク幅に対応すると仮定され得る。そのような「少なくとも」部分的なオーバラップは、他のリスクが多かれ少なかれ「盲点」である、ROI間の結合部に位置する強度ピークを喪失するリスクを低減するので、画像感知デバイス130の精度を向上する効果を有する。大量のROIが使用されており、結合部における強度ピークのリスクが増加し、部分的なオーバラップとともにますます重要になることが理解される。また、予想される最大の強度ピーク幅702よりも小さくても、ある部分的なオーバラップは、強度ピークを喪失するリスクを未だに少なくとも低減し得る。予想される最大の強度ピーク幅が期待するものは、当業者の能力において、たとえば、画像感知デバイス130とともに使用されているたとえば測定システム100のような測定システムに関する詳細を考慮するように、環境を考慮して、たとえば光源110のように、どの特定の光源が使用されているのかや、光が移動するために含まれる距離等、を決定することである。さらに、予想される最大の強度ピーク幅を発見するために、ルーチンの試験および測定が当然適用され得る。いずれのケースであれ、予想される最大の強度ピーク幅は、典型的には、単にいくつかの特定の例であるが、5、10、または15ピクセルのような10ピクセルのオー
ダ内である。
【００７６】
上述した理由のために部分的なオーバラップが望ましいのと同時に、オーバラップを小さく維持することもまた有利であり得る。なぜなら、大きすぎるオーバラップは、どの特定の利点にも関連しないことがあり得るし、単に冗長なデータの読み出しという結果になり得、したがって、より長い読み出し時間、すなわち、動作403を実行するための時間、に関連付けられ得、したがって、本明細書における実施形態に従った方法の実行に、潜在的な速度制限効果を有するからである。したがって、たとえば、第1の探索方向505aのような探索方向において、たとえば、第1の部分的なオーバラップ502および第2の部分的なオーバラップ503のような上記1つまたは複数の部分的なオーバラップの各々は、多くとも、予想される最大の強度ピーク幅の2倍であることが有利であり得る。
【００７７】
上記物体の画像に関する画像データを提供するために、図4に関連して上述された動作401〜407を実行するために、画像感知デバイス130は、図8aに概念的に図示される構成を備え得る。すでに述べたように、画像感知デバイス130は、画像センサ131を備える。
【００７８】
画像感知デバイス130、すなわち、画像感知デバイス130に備えられる定義回路801は、画像センサエリア132内に、たとえばROI 301a〜303aのようなROIを定義するように構成される。ここで、各ROIは、他のROIの1つまたは複数と部分的にオーバラップしている。
【００７９】
画像感知デバイス130、または、画像感知デバイス130に備えられる露出回路802は、物体からの光へROIを個々に露出させるように構成される。ある実施形態では、画像感知デバイス130、または露出回路802はさらに、ROI 301a、302aのように部分的にオーバラップしているROIをシーケンシャルに、ROI 301a、303aのようなオーバラップしていないROIを少なくとも部分的に同時に露出させるように構成される。
【００８０】
画像感知デバイス130、または画像感知デバイス130に備えられた読み取り回路803は、露出されたROIにそれぞれ関連付けられた上記グループに属する、その中で感知された光から生じる部分的な画像データを、読み取るように構成される。
【００８１】
画像感知デバイス130、または画像感知デバイス130に備えられた提供回路804は、読み取られた部分的な画像データの上記組み合わせに基づいて、物体の画像に関する画像データを提供するように構成される。
【００８２】
画像感知デバイス130、または画像感知デバイス130に備えられた探索回路805は、その露出後、探索方向に平行なピクセルの各ラインに沿って、上記探索基準を満足する上記1つまたは複数のそれぞれの強度ピーク位置を求めて、各ROIにおいて探索するように構成され得る。このケースでは、上記画像のための画像データの提供はさらに、探索から発見された強度ピーク位置に基づく。
【００８３】
画像感知デバイス130、または画像感知デバイス130に備えられた適用回路806は、部分的な画像データの少なくともいくつかの読み取り時および読み取り中に、上記ビニングを適用するように構成され得る。
【００８４】
画像感知デバイス130、または画像感知デバイス130に備えられた取得回路807は、上述した動作406を実行することによって、すなわち、動作401〜405に従う動作を一度実行し、たとえば第1の物体120のような物体の異なる部分における反射から生じる画像センサ131上の入射光を毎回用いて、少なくとも動作402〜405を1回または複数回反復することによって、上記複数の画像のための画像データを取得するように構成され得る。したがって、画像感知デバイス130は、物体の複数の画像に関連付けられた画像データのセットを取得し得る。
【００８５】
画像感知デバイス130、または画像感知デバイス130に備えられた変換回路808は、画像データのセットを、たとえば、第1の物体120のプロファイル140-1〜140-Kのような、物体の3次元特性に関する上記情報へ変換するように構成され得る。
【００８６】
画像感知デバイス130は、もちろん、典型的には、通信ポート809を備える。これは一般に、画像感知デバイス130へのおよび/または画像感知デバイス130からのデータを含む情報の送信および/または受信に参加するように構成される。たとえば、取得回路807および変換回路808が、たとえば、図8bに関連して以下に議論されるように、画像感知デバイス130から外側にある実施形態では、画像感知デバイス130、または提供回路804は、たとえば個別のユニット内など、測定システム100内の別のどこかに配置され得る取得回路807に対して通信ポート809を介して外部に画像データを送信することによって画像データを提供するように構成され得る。取得回路807および変換回路808が画像感知デバイス130と統合されている実施形態では、変換回路808はさらに、通信ポート802を介して、たとえばプロファイル140-1〜140-Kのような上記3次元特性に関する情報を出力するように構成され得る。
【００８７】
図8bは、本明細書におけるいくつかの実施形態のための測定システム100の最小構成を概略的に図示する。すでに上述したように、最小構成は、画像感知デバイス130と、たとえば、図1aに図示されるような光のシートのような特定の光パターン112で、たとえば第1、第2、または第3の物体120、121、501のうちのいずれかのような物体を照らすように構成された光源110とを備える。光源110および画像センサ131(画像感知デバイス130に備えられた)は、物体によって反射された場合に特定の光パターン112が少なくとも部分的にセンサエリア132上のたとえば入射光パターン133のような入射光になり、物体からの上記光として感知されるように、互いに関して配置される。
【００８８】
図8bはさらに、点線によって、取得回路807および変換回路808を示す。これらは、図8aに図示されているものに対する代替であって、画像感知デバイス130から外部にあり得るが、たとえば、コンピュータのような個別のデータ処理ユニット813に備えられた測定システム100になお備えられ得る。
【００８９】
画像感知デバイス130および/または測定システム100の実施形態は、本明細書における実施形態の機能および動作を実行するためのコンピュータプログラムとともに、図8aに図示されたプロセッサ810のような1つまたは複数のプロセッサによって全体的にまたは部分的に実現され得る。いくつかの実施形態では、上記で議論された回路およびポートは、プロセッサ810によって全体的にまたは部分的に実現され得る。
【００９０】
図9a〜図9dにおける概要図からのサポートとともに例示され、さらに以下に個別に説明されているいくつかの実施形態では、第1のコンピュータプログラム901aおよび/または第2のコンピュータプログラム901bが提供されている。
【００９１】
たとえばプロセッサ810のような第1のデータ処理装置によって実行された場合、第1のコンピュータプログラム901aが、画像感知デバイス130に対して、上述されたような本明細書における実施形態に従った方法を実行させる。
【００９２】
図9aに概要的に例示されるように、たとえばコンピュータのような第2のデータ処理装置900によって実行された場合、第2のコンピュータプログラム901bは、典型的にはチップであるハードウェアを、上述されたような本明細書における実施形態に従う画像検知デバイス130として、統合させ、かつ/または構成させる。第2のデータ処理装置は、たとえば超高速集積回路ハードウェア記述言語(VHDL)のようなハードウェア統合のための何らかの従来のプログラミング言語に基づくハードウェア統合のための従来式のデータ処理装置であり得る。
【００９３】
いくつかの実施形態では、図9b〜図9dにおける概要図からのサポートを用いても例示されるように、第1のコンピュータプログラム901aおよび/または第2のコンピュータプログラム901bが記憶されているコンピュータ読み取り可能な媒体を備えるコンピュータプログラム製品が提供される。コンピュータ読み取り可能な媒体によって、一時的な伝搬信号は排除され、それに相応して、コンピュータ読み取り可能な媒体は、非一時的なコンピュータ読み取り可能な媒体と命名され得る。コンピュータ読み取り可能な媒体の例は、図9bにおけるようなメモリカードまたはメモリスティック902、図9cにおけるようなCDまたはDVDのようなディスク記憶媒体903、図9dにおけるような大容量記憶デバイス904である。大容量記憶デバイス904は、典型的には、ハードドライブまたはソリッドステートドライブ(SSD)に基づく。大容量記憶デバイス904は、たとえばインターネットまたはローカルエリアネットワーク(LAN)のようなコンピュータネットワーク905を介してアクセス可能なデータを記憶するために使用されるようなものであり得る。
【００９４】
コンピュータプログラム901aおよび/または901bは、さらにその上、純粋なコンピュータプログラムとして提供され得るか、または、ファイルに備えられ得る。ファイルは、コンピュータ読み取り可能なメモリに記憶され、大容量記憶デバイス904からサーバを介してのように、たとえば、コンピュータネットワーク905を介したダウンロードによって利用可能であり得る。サーバは、たとえば、ウェブまたはファイル転送プロトコル(ftp)サーバであり得る。第1のコンピュータプログラム901aのケースでは、ファイルは、たとえば、プロセッサ810上のような画像感知デバイス130への直接的もしくは間接的なダウンロードおよび画像感知デバイス130における実行のために実行可能なファイルであり得るか、または、同じまたは別のプロセッサを、さらなるダウンロードおよび実行の前に実行可能にすることを含む、中間的なダウンロードおよび編集のためであり得る。第2のコンピュータプログラム901bのケースでは、ファイルは、たとえば、第2のデータ処理装置900への直接的もしくは間接的なダウンロードおよび第2のデータ処理装置900による実行のために実行可能なファイルであり得るか、または、同じまたは別のコンピュータを、さらなるダウンロードおよびハードウェア統合装置906における実行の前に実行可能にすることを含む、中間的なダウンロードおよび編集のためであり得る。
【００９５】
画像感知デバイス130はさらに、図8に描写されるように、1つまたは複数のメモリユニットを備えるメモリ811を備え得る。メモリ811は、第1のコンピュータプログラム901a、および/または、画像データ、および/または、本明細書における実施形態の機能および動作を実行するための設定のようなデータを記憶するように構成される。
【００９６】
当業者はまた、ポートおよび回路801〜808は、アナログ回路とデジタル回路の組み合わせ、ならびに/または、プロセッサ810のような1つまたは複数のプロセッサによって実行された場合、上述したように実行するソフトウェアおよび/もしくはファームウェア(たとえば、メモリに記憶されている)で構成された1つもしくは複数のプロセッサを称し得ることを認識するであろう。たとえば、いくつかの実施形態では、各々が、M個の列のうちのそれぞれの列mに、または、M個の列のうちのそれぞれのサブグループに関連付けられた、複数のプロセッサが存在し得る。これらプロセッサのうちの1つまたは複数は、他のデジタルハードウェアと同様に、単一のASICまたはいくつかのプロセッサ内に含まれ得る。そして、様々なデジタルハードウェアは、個々にパッケージされているか、または、SoCへアセンブルされているかに関わらず、いくつかの個別の構成要素間に分散され得る。
【００９７】
さらなる例として、画像感知デバイス130は、上述したような回路および/またはポート等のうちの1つまたは複数を備え得る処理回路812を備え得る。本明細書において使用されるように、「処理回路」という用語は、処理ユニット、プロセッサ、ASIC、フィールドプログラマブルゲートアレイ(FPGA)等に関連し得る。例として、プロセッサ、ASIC、FPGA等は、1つまたは複数のプロセッサカーネルを含み得る。いくつかの例において、処理回路は、ソフトウェアおよび/またはハードウェアモジュールによって具体化され得る。
【００９８】
たとえば、第2のデータ処理装置900によって実行される第2のコンピュータプログラム901bが、画像感知デバイス130を実現させるためにチップの統合を引き起こす上述した実施形態では、チップは、処理ユニット812に対応し得る。
【００９９】
すでに上述した図9a〜図9dは、コンピュータプログラム実施形態に関する実施形態を例示するための概要図であり、上記で使用され議論されている。
【０１００】
本明細書で議論されたものの根本原理は、もちろん、上述した特定の例におけるもの以外の構成で動作するであろう。また、当業者は、特定の測定システムおよび詳細が、本開示における特定の例から逸脱し得る場合であっても、画像感知デバイス130の能力および本明細書における実施形態の利点を効率的に利用できるように、画像感知デバイス130を、たとえば、測定システム100に対応する特定の測定システムにおける画像センサ131を用いてどのように配置および/または設定するのかを解明することができる。行および列と命名されているものは、たとえば、本開示において行と呼ばれているものは、別のケースでは列と呼ばれ、またその逆もあり得るように、定義の問題であり得ることもまた注目されるべきである。
【０１０１】
本明細書において使用されるように、「メモリ」という用語は、ハードディスク、磁気記憶媒体、ポータブルコンピュータディスク、フラッシュメモリ、ランダムアクセスメモリ(RAM)等を称し得る。さらに、メモリは、プロセッサの内部レジスタメモリであり得る。
【０１０２】
本明細書で使用されるように、「ように構成された」という表現は、処理回路が、ソフトウェアまたはハードウェア構成によって、本明細書に記述された動作のうちの1つまたは複数を実行するように、構成または適合されていることを意味し得る。
【０１０３】
本明細書で使用されるように、「数」、「値」という用語は、二進数、実数、虚数、または有理数等のような任意の種類の数字であり得る。さらに、「数」、「値」は、文字または文字列のような1つまたは複数のキャラクタであり得、「数」、「値」はまた、ビット文字列によっても表され得る。
【０１０４】
本明細書で使用されるように、「いくつかの実施形態において」という表現は、記述された実施形態の特徴が、本明細書で開示された他の任意の実施形態と組み合わされ得ることを示すために使用されている。
【０１０５】
本明細書において命名は、一意の命名を達成するために、「第1の」、「第2の」、「a」、「b」等のような列挙用語を使用し得る。列挙用語は、典型的には、本開示における出現の順に従う。これらは、その反対に、明示的な情報がなければ、実行の順序、優先度等のような他の任意の順序を示唆するものとして解釈されないどころか、いずれの依存性を示唆するものとしても解釈されないものとする。たとえば、実施形態は、本明細書において「第1の」と命名されたような別の類似の項目を含む必要なく、本明細書において「第2の」と命名された項目を含み得る。
【０１０６】
「備える」または「備えている」という用語を使用する場合、それは、非限定的に解釈される、すなわち、「少なくとも〜からなる」ことを意味するものとする。
【０１０７】
図面および明細書では、本発明の例示的な実施形態が開示された。しかしながら、本発明の原理から実質的に逸脱することなく、多くの変形および修正が、これら実施形態に対してなされ得る。したがって、特定の用語が適用されているが、これらは、一般的に、かつ、単に記述的な意味で使用され、限定の目的のために使用されない。
【０１０８】
様々な態様の実施形態が記述されたが、その多くの異なる代替、修正等が、当業者に明らかになるであろう。したがって、記述された実施形態は、本開示の範囲を限定することは意図されていない。
【符号の説明】
【０１０９】
100  測定システム
110  光源
111  光線
112  光パターン
120  物体
121  物体
122  コンベアベルト
123  座標系
130  画像感知デバイス
131  画像センサ
132  センサエリア
133  入射光パターン
140-1〜140-K  物体のプロファイル
141-1  物体のプロファイル
301a、301b、301c、301d  関心領域
302a、302b、302c、302d  関心領域
303a、303b、303c  関心領域
304a、304c  関心領域
501  物体
502  光のライン
503  オーバラップ
504  入射光パターン
505  探索方向
506  強度ピークパターン
601  露出ブロック
602  露出ブロック
603  露出ブロック
604  露出方向
700  強度ピーク
701  強度ピーク高さ
702  強度ピーク幅
801  定義回路
802  露出回路
803  読み取り回路
804  提供回路
805  探索回路
806  適用回路
807  取得回路
808  変換回路
809  通信ポート
810  プロセッサ
811  メモリ
812  処理回路、処理ユニット
813  データ処理ユニット
900  データ処理装置
901a、901b  コンピュータプログラム
902  メモリスティック
903  ディスク記憶媒体
904  大容量記憶デバイス
905  コンピュータネットワーク
【図１ａ】
2017508968.tif 000003
【図１ｂ】
2017508968.tif 000004
【図２】
2017508968.tif 000005
【図３ａ】
2017508968.tif 000006
【図３ｂ】
2017508968.tif 000007
【図３ｃ】
2017508968.tif 000008
【図３ｄ】
2017508968.tif 000009
【図４】
2017508968.tif 000010
【図５ａ】
2017508968.tif 000011
【図５ｂ】
2017508968.tif 000012
【図５ｃ】
2017508968.tif 000013
【図６】
2017508968.tif 000014
【図７】
2017508968.tif 000015
【図８ａ】
2017508968.tif 000016
【図８ｂ】
2017508968.tif 000017
【図９ａ】
2017508968.tif 000018
【図９ｂ】
2017508968.tif 000019
【図９ｃ】
2017508968.tif 000020
【図９ｄ】
2017508968.tif 000021
【手続補正書】
【提出日】平成27年12月22日(2015.12.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体(120;121;501)の画像に関する画像データを提供するために、画像感知デバイス(130)によって実行される方法であって、前記画像感知デバイス(130)は、光を感知するためのセンサエリア(132)を有する画像センサ(131)を備え、前記方法は、
- 前記センサエリア(132)内に、関心領域(ROI)(301a〜303a)を定義するステップ(401)であって、各ROI(301a;302a;303a)は、他のROI(301a〜303a)のうちの1つまたは複数と部分的にオーバラップする、ステップ(401)と、
- 前記物体からの光へ前記ROI(301a〜303a)を個々に露出させるステップ(402)であって、1つの同じROIに属するすべてのピクセルが、露出を同時に開始および終了するように、前記ROI(301a〜303a)が露出される、ステップ(402)と、
- 部分的な画像データのグループに属する部分的な画像データを読み取るステップ(403)であって、前記グループは、前記露出されたROI(301a〜303a)にそれぞれ関連付けられ、前記部分的な画像データは、前記露出されたROI(301a〜303a)において感知された光から生じる、ステップ(403)と、
- 前記読み取られた部分的な画像データの組み合わせに基づいて、前記物体の前記画像に関する前記画像データを提供するステップ(405)と
を備える方法。
【請求項２】
前記ROI(301a〜303a)のうちの少なくともいくつかは、異なる露出時間を使用して露出される、請求項1に記載の方法。
【請求項３】
前記ROI(301a〜303a)のうちの前記少なくともいくつかは、露出方向(604)に沿って増加または減少する前記異なる露出時間で、前記露出方向(604)に沿って連続的に配置される、請求項2に記載の方法。
【請求項４】
前記ROI(301a〜303a)は、前記センサエリア(132)のピクセル列(M)またはピクセル行(N)のいずれかに沿って連続的に配置される、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記センサエリア(132)に探索方向(505a;505b)が関連付けられ、前記方法はさらに、
- 露出後、前記探索方向(505a;505b)に平行なピクセルの各ラインに沿って、探索基準を満足する1つまたは複数のそれぞれの強度ピーク位置を求めて、各ROI(301a;302a;303a)において探索するステップ(404)であって、前記画像のための前記画像データの提供(405)はさらに、前記探索から発見された前記強度ピーク位置に基づく、ステップ(404)
を備える、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記探索方向(505a;505b)は、画像センサエリア(132)のピクセル列(M)またはピクセル行(N)と平行であり、これによって、前記ピクセルの各ラインは、それぞれのピクセル列(m)またはそれぞれのピクセル行(n)に対応する、請求項5に記載の方法。
【請求項７】
前記探索方向におけるROI(301a〜303a)間の1つまたは複数の部分的なオーバラップ(502,503)の各々は、前記センサエリア(132)における入射光の少なくとも予想される最大の強度ピーク幅(702)である幅とオーバラップする、請求項5または6に記載の方法。
【請求項８】
前記探索方向における前記1つまたは複数の部分的なオーバラップ(502,503)の各々は、多くとも、前記予想される最大の強度ピーク幅の2倍である、請求項7に記載の方法。
【請求項９】
部分的にオーバラップしているROI(301a,302a)は、シーケンシャルに露出され、オーバラップしていないROI(301a,303a)は、少なくとも部分的に同時に露出される、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
前記部分的な画像データの少なくともいくつかの読み取り時および読み取り中に、ビニングが適用され、ここで、ビニングは、前記組み合わせに含まれる各ピクセルよりも大きなエリアを有する結果的なピクセルに対応する組み合わされたデータを提供するために1つよりも多くのピクセルからのデータが組み合わされることを称する、請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記提供された画像データは、前記物体(120;121;501)の3次元特性に関する情報(140-1;141-1)へ少なくとも変換可能である、請求項1から10のいずれか一項に記載の方法。
【請求項１２】
前記画像感知デバイス(130)は、前記提供された画像データに基づいて、前記物体(120;121;501)の3次元特性に関する情報(140-1〜140-K;141-1)を提供するための測定システム(100)に備えられ、前記測定システム(100)はさらに、特定の光パターン(112)で前記物体(120;121;501)を照らすように構成された光源(110)を備え、前記光源(110)および前記画像センサ(131)は、前記特定の光パターン(112)が、前記物体(120;121;501)によって反射されたとき、少なくとも部分的に、前記センサエリア(132)における入射光(133)となり、前記物体(120;121;501)からの前記光として感知されるように、互いに関して配置され、これによって、前記提供された画像データは、前記物体(120;121;501)における位置に関する前記物体(120;121;501)の前記3次元特性へ変換可能な情報(140-1〜140-K;141-1)を備え、前記位置は、前記センサエリア(132)における前記入射光(133)を発生させる、請求項1から11のいずれか一項に記載の方法。
【請求項１３】
物体(120;121;501)の3次元特性に関する情報(140-1〜140-K;141-1)を提供するための方法であって、
- 請求項12に記載の方法を一度実行し、前記物体(120;121;501)の異なる部分における反射から生じる前記画像センサ(131)の前記入射光を毎回用いて、少なくとも、露出するステップ(402)、読み取るステップ(403)、および提供するステップ(405)の動作を、1回または複数回反復することによって、複数の画像のための画像データを取得するステップ(406)であって、それによって、前記物体(120;121;501)の複数の画像に関連付けられた画像データのセットを取得する、ステップ(406)と、
- 前記画像データのセットを、前記物体(120;121;501)の3次元特性に関する前記情報(140-1〜140-K;141-1)へ変換するステップ(407)と
を備える方法。
【請求項１４】
物体(120;121;501)の画像に関する画像データを提供するための画像感知デバイス(130)であって、光を感知するためのセンサエリア(132)を有する画像センサ(131)を備え、
- 画像センサエリア(132)内に、関心領域(ROI)(301a〜303a)を定義し、各ROI(301a;302a;303a)は、他のROI(301a〜303a)のうちの1つまたは複数と部分的にオーバラップし、
- 前記物体からの光へ前記ROI(301a〜303a)を個々に露出させ、1つの同じROIに属するすべてのピクセルが、露出を同時に開始および終了するように、前記ROI(301a〜303a)が露出され、
- 部分的な画像データのグループに属する部分的な画像データを読み取り、前記グループは、前記露出されたROI(301a〜303a)にそれぞれ関連付けられ、前記部分的な画像データは、前記露出されたROI(301a〜303a)において感知された光から生じ、
- 前記読み取られた部分的な画像データの組み合わせに基づいて、前記物体の前記画像に関する前記画像データを提供する
ように構成された、画像感知デバイス(130)。
【請求項１５】
前記ROI(301a〜303a)のうちの少なくともいくつかは、異なる露出時間を使用して露出される、請求項14に記載の画像感知デバイス(130)。
【請求項１６】
前記ROI(301a〜303a)のうちの前記少なくともいくつかは、露出方向(604)に沿って増加または減少する前記異なる露出時間で、前記露出方向(604)に沿って連続的に配置される、請求項15に記載の画像感知デバイス(130)。
【請求項１７】
前記ROI(301a〜303a)は、前記センサエリア(132)のピクセル列(M)またはピクセル行(N)のいずれかに沿って連続的に配置される、請求項14から16のいずれか一項に記載の画像感知デバイス(130)。
【請求項１８】
前記センサエリア(132)に探索方向(505a;505b)が関連付けられ、前記画像感知デバイス(130)はさらに、
- 露出後、前記探索方向(505a;505b)に平行なピクセルの各ラインに沿って、探索基準を満足する1つまたは複数のそれぞれの強度ピーク位置を求めて、各ROI(301a;302a;303a)において探索するように構成され、前記画像のための前記画像データの提供はさらに、前記探索から発見された前記強度ピーク位置に基づく、
請求項14から17のいずれか一項に記載の画像感知デバイス(130)。
【請求項１９】
前記探索方向(505a;505b)は、前記画像センサエリア(132)のピクセル列(M)またはピクセル行(N)と平行であり、これによって、前記ピクセルの各ラインは、それぞれのピクセル列(m)またはそれぞれのピクセル行(n)に対応する、請求項18に記載の画像感知デバイス(130)。
【請求項２０】
前記探索方向におけるROI(301a〜303a)間の1つまたは複数の部分的なオーバラップ(502,503)の各々は、前記センサエリア(132)における入射光の少なくとも予想される最大の強度ピーク幅(702)である幅とオーバラップする、請求項18または19に記載の画像感知デバイス(130)。
【請求項２１】
前記探索方向における前記1つまたは複数の部分的なオーバラップ(502,503)の各々は、多くとも、前記予想される最大の強度ピーク幅の2倍である、請求項20に記載の画像感知デバイス(130)。
【請求項２２】
前記画像感知デバイス(130)は、部分的にオーバラップしているROI(301a,302a)を、シーケンシャルに露出させ、オーバラップしていないROI(301a,303a)を、少なくとも部分的に同時に露出させるように構成される、請求項14から21のいずれか一項に記載の画像感知デバイス(130)。
【請求項２３】
前記部分的な画像データの少なくともいくつかの読み取り時および読み取り中に、ビニングを適用するようにさらに構成され、ここで、ビニングは、前記組み合わせに含まれる各ピクセルよりも大きなエリアを有する結果的なピクセルに対応する組み合わされたデータを提供するために1つよりも多くのピクセルからのデータが組み合わされることを称する、請求項14から22のいずれか一項に記載の画像感知デバイス(130)。
【請求項２４】
前記提供された画像データは、前記物体(120;121;501)の3次元特性に関する情報(140-1;141-1)へ少なくとも変換可能である、請求項14から23のいずれか一項に記載の画像感知デバイス(130)。
【請求項２５】
データ処理装置(809;900)によって実行されたとき、前記画像感知デバイス(130)に、請求項1から13のいずれか一項に記載の方法を実行させ、かつ/または、ハードウェアを、請求項14から24のいずれか一項に記載の画像感知デバイス(130)として統合させ、かつ/または構成させる、コンピュータプログラム(901)。
【請求項２６】
コンピュータ読み取り可能な媒体(902,903,904)と、前記コンピュータ読み取り可能な媒体(902,903,904)に記憶された請求項25に記載のコンピュータプログラム(901)とを備えるコンピュータプログラム製品。
【請求項２７】
請求項14から24のいずれか一項に記載の画像感知デバイス(130)を備え、前記画像感知デバイス(130)から提供された画像データに基づいて、前記物体(120;121;501)の3次元特性に関する情報(140-1〜140-K;141-1)を提供するための測定システム(100)であって、特定の光パターン(112)で前記物体(120;121;501)を照らすように構成された光源(110)をさらに備え、前記光源(110)および前記画像センサ(131)は、前記特定の光パターン(112)が、前記物体(120;121;501)によって反射されたとき、少なくとも部分的に、前記センサエリア(132)における入射光(133)となり、前記物体(120;121;501)からの前記光として感知されるように、互いに関して配置され、それによって前記提供された画像データは、前記物体(120;121;501)における位置に関する前記物体(120;121;501)の前記3次元特性へ変換可能な情報(140-1〜140-K;141-1)を備え、前記位置は、前記センサエリア(132)における前記入射光(133)を発生させる、測定システム(100)。
【請求項２８】
- 請求項13に記載の方法を一度実行し、前記物体(120;121;501)の異なる部分における反射から生じる前記画像センサ(131)の前記入射光を毎回用いて、少なくとも、露出するステップ(402)、読み取るステップ(403)、および提供するステップ(405)の動作を、1回または複数回反復することによって、複数の画像のための画像データを取得し、それによって前記物体(120;121;501)の複数の画像に関連付けられた画像データのセットを取得し、
- 前記画像データのセットを、前記物体(120;121;501)の3次元特性に関する前記情報(140-1〜140-K;141-1)へ変換する
ように構成された、請求項27に記載の測定システム(100)。
【国際調査報告】
2017508968.tif 000022
2017508968.tif 000023
2017508968.tif 000024