(57)【要約】  深度測定装置は、（１）複数の深度レベルを含むターゲットの一連の画像の画像データを捕捉するカメラ・レンズアセンブリと、（２）カメラ・レンズアセンブリまたはターゲットが位置付けられる移動ステージと、（３）カメラ・レンズアセンブリとターゲットとの間の相対移動を規定された増分値で生じさせる、移動ステージに接続されたモータと、（４）規定された増分値の各々でカメラ・レンズアセンブリまたはターゲットの位置データを捕捉する位置センサと、（５）画像勾配法および最適な焦点距離を用いて、捕捉された画像データおよび捕捉された位置データを処理して、複数の深度レベルについて深度を特定するコントローラとを含む。多数の他の態様が提供される。【選択図】図１Ａ
2021521742.tif 000002
【特許請求の範囲】
【請求項１】
カメラ軸に沿った複数の深度レベルを含むターゲットの一連の画像の画像データを捕捉することができるカメラ・レンズアセンブリと、
前記カメラ・レンズアセンブリまたはターゲットが位置付けられる移動ステージと、
前記カメラ・レンズアセンブリと前記ターゲットとの間の前記カメラ軸に沿った規定された増分値での相対移動を提供する、前記移動ステージに接続されたモータと、
前記カメラ・レンズアセンブリまたは前記ターゲットの前記カメラ軸に沿った移動の各増分値での相対位置データを捕捉することができる位置センサと、
コントローラであって、
画像勾配法を使用して、捕捉された前記画像データ内の関心領域として表される前記複数の深度レベルについての画像鮮鋭度データを生成するように構成された画像処理ユニットと、
前記画像鮮鋭度データを使用して、前記カメラ・レンズアセンブリと、捕捉された前記画像データ内の関心領域として表される前記複数の深度レベルの各々との間の最適な焦点距離を特定するように構成された距離処理ユニットと、
最適な焦点距離データを処理して、捕捉された前記画像データ内の関心領域として表される前記複数の深度レベルの各々の深度を特定するように構成された深度処理ユニットとを備えるコントローラと
を備える、深度測定装置。
【請求項２】
前記複数の深度レベルが、複数の隣接する深度レベルまたは隣接しない離散的な深度レベルから構成される、請求項１に記載の深度測定装置。
【請求項３】
前記複数の深度レベルが、連続した傾斜から構成される、請求項１に記載の深度測定装置。
【請求項４】
前記複数の深度レベルが、前記画像内の隣接しない関心領域から構成される、請求項１に記載の深度測定装置。
【請求項５】
前記モータが、約５０マイクロメータ以下の増分値で相対運動を提供するように構成されている、請求項１に記載の深度測定装置。
【請求項６】
前記複数の深度レベルの各々の特定された深度が、隣接する深度レベルまたは隣接しない深度レベルの差である相対値である、請求項１に記載の深度測定装置。
【請求項７】
前記複数の深度レベルの各々の特定された深度が、前記複数の深度レベルのうちの１つについての基準深度レベルを用いて特定された絶対深度測定値である、請求項１に記載の深度測定装置。
【請求項８】
前記複数の深度レベルの各々の特定された深度が、前記カメラ・レンズアセンブリに関連した既知の最適な焦点距離を用いて特定された絶対深度測定値である、請求項１に記載の深度測定装置。
【請求項９】
画像勾配測定法がソーベルフィルタを採用する、請求項１に記載の深度測定装置。
【請求項１０】
前記コントローラが、前記画像鮮鋭度データおよび前記相対位置データに曲線をフィッティングさせるようにさらに構成され、前記曲線をフィッティングさせることは、前記距離処理ユニットによる前記最適な焦点距離の特定の前に実施される、請求項１に記載の深度測定装置。
【請求項１１】
カメラ軸に沿った複数の深度レベルを含むターゲットの一連の画像の画像データを捕捉することができるカメラ・レンズアセンブリと、
前記カメラ・レンズアセンブリまたは前記ターゲットが位置付けられる移動ステージと、
前記移動ステージに接続され、前記カメラ・レンズアセンブリと前記ターゲットとの間の前記カメラ軸に沿った規定された増分値での相対移動を生じさせるように構成されたモータと、
前記カメラ軸に沿った前記規定された増分値の各々での前記カメラ・レンズアセンブリまたは前記ターゲットについての位置データを捕捉することができる位置センサと、
画像勾配法および最適な焦点距離を用いて、捕捉された画像データおよび捕捉された位置データを処理して、前記複数の深度レベルの各々について深度を特定するように構成されたコントローラと
を備える、深度測定装置。
【請求項１２】
前記モータが、前記カメラ・レンズアセンブリまたはターゲットを、プラスまたはマイナス２０マイクロメータ以下の精度レベルで駆動する、請求項１１に記載の深度測定装置。
【請求項１３】
前記カメラ・レンズアセンブリが、前記カメラ軸に沿った一定の非角度視野と、前記カメラ軸に沿った深度に対して変化しない倍率とを有するテレセントリックレンズを備える、請求項１１に記載の深度測定装置。
【請求項１４】
前記カメラ・レンズアセンブリが、ＣＭＯＳまたはＣＣＤセンサを含む、請求項１１に記載の深度測定装置。
【請求項１５】
前記コントローラが、
画像勾配方法を用いて、前記複数の深度レベルについての画像鮮鋭度データを生成するように構成された画像処理ユニットと、
前記画像鮮鋭度データを用いて、前記カメラ・レンズアセンブリと前記複数の深度レベルの各々との間の最適な焦点距離を特定するように構成された距離処理ユニットと、
最適な焦点距離データを処理して、前記複数の深度レベルの各々についての深度を特定するように構成された深度処理ユニットとを備える、
請求項１１に記載の深度測定装置。
【請求項１６】
前記複数の深度レベルが、複数の隣接する深度レベルまたは隣接しない離散的な深度レベルから構成される、請求項１１に記載の深度測定装置。
【請求項１７】
複数の深度レベルを有するターゲットを提供することと、
カメラ・レンズアセンブリまたは前記ターゲットが移動可能であるように、前記カメラ・レンズアセンブリまたは前記ターゲットを移動ステージ上に位置付けることと、
前記ターゲットの前記複数の深度レベルの全てについての最適な焦点距離を通して、前記カメラ・レンズアセンブリまたは前記ターゲットを、規定された増分値でステップ移動させることと、
位置センサを採用して、各増分値で、前記カメラ・レンズアセンブリまたは前記ターゲットの位置データを測定することと、
前記カメラ・レンズアセンブリを採用して、各増分値で、一連の画像を捕捉するように前記ターゲットの画像を捕捉することと、
捕捉された前記画像の各々において、より多い量の鮮明細部が深度レベルの縁部で見える場合により高い輝度勾配値を有し、より少ない量の鮮明細部が深度レベルの縁部で見える場合により低い輝度勾配値を有する処理された画像を生成する画像勾配法を、捕捉された前記一連の画像内の前記画像の各々に適用することと、
前記複数の深度レベルの各々について、前記処理された画像内の関心領域を特定することと、
各関心領域の各処理された画像について、画像鮮鋭度スカラ値を作成することと、
各関心領域の前記画像鮮鋭度スカラ値に基づいて、各関心領域について最適な焦点距離を特定することと、
前記関心領域の各々について、前記特定された最適な焦点距離に基づいて、前記複数の深度レベルの各々について、深度測定値を特定することと、
を含む、深度を測定する方法。
【請求項１８】
各画像鮮鋭度スカラ値が、各増分値で各画像の対応する関心領域に集合関数を適用することによって作成される、請求項１７に記載の深度を測定する方法。
【請求項１９】
基準深度レベルを用いて、前記複数の深度レベルの各々の絶対深度測定値を特定することをさらに含む、請求項１７に記載の深度を測定する方法。
【請求項２０】
前記カメラ・レンズアセンブリに関連した既知の光学焦点距離を用いて、前記複数の深度レベルの各々の絶対深度測定値を特定することをさらに含む、請求項１７に記載の深度を測定する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［００１］本明細書に提供される実施形態は、深度測定に関し、より具体的には、カメラ焦点距離を用いた絶対深度測定および相対深度測定のための方法および装置に関する。
【背景技術】
【０００２】
［００２］カメラは、一般に、２次元画像平面（ｘ平面とｙ平面）における高精度位置決めが必要とされる用途における位置測定のために採用される。これらの用途には、例えば、超高解像度ディスプレイおよびモバイルデバイス用の高画素密度スクリーンの生産におけるパターニングプロセスに備えたマスクと基板の位置合わせが含まれる。
【０００３】
［００３］現在、これらのタイプの用途では、深度軸（ｚ平面）に沿った距離測定は、通常、レーザ距離センサ、共焦点センサまたは接触センサを用いて実施される。これらのセンサは、現在の製造プロセスに大幅なコストおよび複雑さを追加し得る。
【０００４】
［００４］したがって、高精度で、既存のセンサの使用に関わる複雑さおよびコストを伴わない、深度測定装置および方法が求められる。
【発明の概要】
【０００５】
［００５］いくつかの実施形態では、（１）カメラ軸に沿った複数の深度レベルを含むターゲットの一連の画像の画像データを捕捉することができるカメラ・レンズアセンブリと、（２）カメラ・レンズアセンブリまたはターゲットが位置付けられる移動ステージと、（３）カメラ軸に沿ったカメラ・レンズアセンブリとターゲットとの間の相対移動を規定された増分値で提供する、移動ステージに接続されたモータと、（４）カメラ軸に沿ったカメラ・レンズアセンブリまたはターゲットの相対位置データを、移動の各増分値で捕捉することができる位置センサと、（５）コントローラとを含む、深度測定装置が提供される。コントローラは、（ａ）画像勾配法を使用して、捕捉された画像データ内の関心領域として表される複数の深度レベルについての画像鮮鋭度データを生成するように構成された画像処理ユニットと、（ｂ）画像鮮鋭度データを使用して、カメラ・レンズアセンブリと、捕捉された画像データ内の関心領域として表される複数の深度レベルの各々との間の最適な焦点距離を特定するように構成された距離処理ユニットと、（ｃ）最適な焦点距離データを処理して、捕捉された画像データ内の関心領域として表される複数の深度レベルの各々についての深度を特定するように構成された深度処理ユニットと、を含む。
【０００６】
［００６］（１）カメラ軸に沿った複数の深度レベルを含むターゲットの一連の画像の画像データを捕捉することができるカメラ・レンズアセンブリと、（２）カメラ・レンズアセンブリまたはターゲットが位置付けられる移動ステージと、（３）移動ステージに接続され、カメラ軸に沿ったカメラ・レンズアセンブリとターゲットとの間の相対移動を規定された増分値で生じさせるように構成されたモータと、（４）カメラ軸に沿ったカメラ・レンズアセンブリまたはターゲットについての位置データを、規定された増分値の各々で捕捉することができる位置センサと、（５）画像勾配法および最適な焦点距離を用いて、捕捉された画像データおよび捕捉された位置データを処理して、複数の深度レベルの各々について深度を特定するように構成されたコントローラとを含む、深度測定装置が提供される。
【０００７】
［００７］いくつかの実施形態では、（１）複数の深度レベルを有するターゲットを提供することと、（２）カメラ・レンズアセンブリまたはターゲットが移動可能であるように、カメラ・レンズアセンブリまたはターゲットを移動ステージ上に位置付けることと、（３）ターゲットの複数の深度レベルの全てについての最適な焦点距離を通して、規定された増分値でカメラ・レンズアセンブリまたはターゲットをステップ移動させることと、（４）位置センサを採用して、各増分値で、カメラ・レンズアセンブリまたはターゲットの位置データを測定することと、（５）カメラ・レンズアセンブリを採用して、各増分値で、一連の画像を捕捉するようにターゲットの画像を捕捉することと、（６）捕捉された一連の画像内の画像の各々に画像勾配法を適用することであって、捕捉された画像の各々において、より多い量の鮮明細部が深度レベルの縁部で見える場合により高い輝度勾配値を有し、より少ない量の鮮明細部が深度レベルの縁部で見える場合により低い輝度勾配値を有する処理された画像を作成する、画像勾配法を適用することと、（７）複数の深度レベルの各々について、処理された画像内の関心領域を特定することと、（８）各処理された画像についておよび各関心領域について、画像鮮鋭度スカラ値を作成することと、（９）各関心領域についての画像鮮鋭度スカラ値に基づいて、各関心領域について最適な焦点距離を特定することと、（１０）関心領域の各々について特定された最適な焦点距離に基づいて、複数の深度レベルの各々についての深度測定値を特定することとを含む、深度を測定する方法が提供される。
【０００８】
［００８］本開示の上記の実施形態および他の実施形態により、多数の他の態様が提供される。本開示の実施形態の他の特徴および態様は、以下の詳細な説明、添付の図面、および特許請求の範囲より完全に明らかになろう。
【０００９】
［００９］下記で説明する図面は、例示目的のためだけのものであり、必ずしも縮尺通りではない。図面は、いかなるやり方においても、本開示の範囲を限定することは意図されていない。
【図面の簡単な説明】
【００１０】
【図１Ａ】［００１０］本明細書に提供される実施形態による、カメラ焦点距離を用いた深度測定装置の斜視図を示す。
【図１Ｂ】［００１１］本明細書に提供される実施形態による、カメラ焦点距離を用いた、図１Ａの深度測定装置の代替的な実施形態の斜視図を示す。
【図１Ｃ】［００１２］本明細書に提供される実施形態による、複数の深度レベルを有する例示的なターゲットを示す。
【図２】［００１３］本明細書に提供される実施形態による、カメラ焦点距離を用いた深度測定装置のためのコントローラによって提供される例示的な処理ユニットの概略図を示す。
【図３Ａ】［００１４］本明細書の実施形態による、一連の画像内で捕捉された単一の深度レベルの画像の概略図を示す。
【図３Ｂ】［００１５］本明細書の実施形態による、捕捉された一連の画像内に表される単一の深度レベルの画像を示す。
【図４Ａ】［００１６］本明細書の実施形態による、画像勾配フィルタが適用された、捕捉された一連の画像内の単一の深度レベルの表現を示す。
【図４Ｂ】［００１７］本明細書の実施形態による、画像勾配フィルタが適用された、捕捉された一連の画像内の単一の深度レベルのフィルタされた画像を示す。
【図５Ａ】［００１８］本明細書の実施形態による、捕捉された一連の画像内に含まれる単一の深度レベルを表す距離対画像鮮鋭度スカラ値のプロットを示す。
【図５Ｂ】［００１９］本明細書の実施形態による、曲線がフィッティングされた単一の深度レベルを表す距離対画像鮮鋭度スカラ値のプロットを示す。
【図６】［００２０］本明細書の実施形態による、複数の深度レベルについての画像鮮鋭度対距離の例示的なプロットを示す。
【図７】［００２１］本明細書に提供される実施形態による、カメラ焦点距離を用いた深度測定値を得る方法を示すフローチャートを示す。
【発明を実施するための形態】
【００１１】
［００２２］ここで、添付の図面に示した例示的な実施形態を詳細に参照する。複数の図を通して同じまたは類似した部分を参照するために、可能な限り、図面全体を通して同じ参照番号が使用される。別途特段に明記されない限り、本明細書に記載の様々な実施形態の特徴は互いに組み合わされ得る。
【００１２】
［００２３］フラットパネルディスプレイおよび／または半導体デバイス製造のための既存の高精度測定システムは、測定される基板の各領域に対して別個のセンサを必要とする。これらのセンサは、レーザベースおよび共焦点センサ、または測定される各個別の領域と実際に接する接触センサを含み得る。結果的に、これらのタイプのセンサは、製造プロセスに大幅なコストおよび複雑さを追加する。
【００１３】
［００２４］上記に挙げた問題のうちの一以上、特にレーザベース、共焦点または接触ベースのセンサのコストおよび複雑さを改善するために、より廉価で、測定される一以上の領域と直接接触することを必要としない深度測定装置および方法が提供される。
【００１４】
［００２５］本明細書に提供されるいくつかの実施形態では、正確な表面深度測定値を得るために、撮像カメラおよび焦点距離が採用され得る。例えば、カメラおよびレンズを含むカメラアセンブリは、種々の深度レベルの一以上の特徴が測定される対象物（例えば、ターゲット）に向かう軸に沿って移動され得る。カメラアセンブリがターゲットの方へ、あるいはターゲットから離れて移動すると、カメラが予め規定された間隔で一連の画像を記録する「ステップ移動して画像を捕捉する（ステップ移動・画像捕捉）」プロセスが実施され得る。代替的な実施形態では、ターゲットまたはターゲットとカメラアセンブリの両方が互いに対して移動され得る。カメラアセンブリ（および／またはターゲット）の各予め規定された間隔またはステップにおいて画像が捕捉され、カメラアセンブリ（および／またはターゲット）の位置が特定される。
【００１５】
［００２６］カメラアセンブリとターゲットとの間の距離が変化するにつれて、ターゲットの種々の深度における表面領域が、焦点を合わされたり焦点から外されたりする。例えば、画像勾配フィルタに基づく画像鮮鋭度測定基準を捕捉された各画像に適用して、ターゲットの特定の深度レベルが、何れのステップ（距離）において、最適（または最大）焦点にあるかを特定し得る。例えば、いくつかの実施形態では、縁部検出フィルタ（例えば、ソーベル（Ｓｏｂｅｌ）フィルタ）の適用などの勾配ベースの検出方法が、捕捉された各画像に適用され得る。かかる勾配ベースの検出方法は、明確なまたはより焦点が合わされた縁部（ｆｏｃｕｓｅｄ  ｅｄｇｅ）が検出される場合にはより高い勾配値を生成し、焦点外または縁部が検出されない場合にはより低い勾配値を生成し得る。フィルタされた各画像は、関心領域に分割され得、異なる関心領域は、測定されるターゲットの各深度レベルに対応する。例えば、各関心領域は、捕捉およびフィルタされた画像内のピクセルのサブセットであり得る。
【００１６】
［００２７］いくつかの実施形態では、各関心領域に集合関数（ａｇｇｒｅｇａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）が適用され得る。例えば、関心領域内の各ピクセル（またはピクセルのサブセット）に関して特定された勾配値を利用して、平均勾配値、標準偏差、最大または中央勾配値、標準偏差を平均で割ったものなどの上記の組合せ等を計算し得る。かかる集合値（ａｇｇｒｅｇａｔｉｏｎ  ｖａｌｕｅ）は、本明細書では、画像鮮鋭度スカラとも称される。
【００１７】
［００２８］特定の関心領域に対する画像鮮鋭度は、カメラアセンブリ（またはターゲット）の位置に対して解析され得る。画像鮮鋭度が関心領域に対して最大または最適である距離は、その関心領域に対する相対深度（したがって、ターゲットの対応する深度レベル）の測定値を提供する。画像鮮鋭度対距離は、ターゲット上で測定される各深度レベルに対する相対深度の測定値を得るために、各関心領域に対して解析され得る。いくつかの実施形態では、解像度および／または精度を向上させるために、関数は、各関心領域の距離データに対する画像鮮鋭度にフィッティングされてもよく、該関数の最大値は、最も焦点が合った位置を特定するために使用され得る。例示的な関数には、ガウス関数（Ｇａｕｓｓｉａｎ  ｆｕｎｃｔｉｏｎ）、コーシー関数（Ｃａｕｃｈｙ  ｆｕｎｃｔｉｏｎ）などが含まれる。
【００１８】
［００２９］本明細書で使用されるように、「最も」焦点が合うまたは「最適に」焦点が合うは、測定される（または関数によって予測される）際に最も焦点が合うまたは最適に焦点が合うことを指し、画像に対して実際の最も焦点が合うまたは最適に焦点が合うことを表さない場合があることに留意されたい。例えば、カメラアセンブリ（またはターゲット）は、特定の深度レベルについて最適に焦点が合うことを提供する正確な距離で停止せず、画像を記録しない場合がある。したがって、本明細書で使用されるように、最も焦点が合うまたは最適に焦点が合うことは、最も焦点が合うまたは最適に焦点が合うように測定されるおよび／もしくは予測されることを指す。
【００１９】
［００３０］ターゲットの深度レベル（例えば表面）間の深度測定は、深度レベル間の相対深度測定値を表す。いくつかの実施形態では、既知の深度測定値を有する基準特徴が、ターゲットまたはカメラアセンブリの近傍または上部に位置付けられ得、測定されるターゲットの各深度レベルに対する絶対深度測定値を確立するために使用され得る。
【００２０】
［００３１］本明細書で提供される例示的な深度測定装置および方法のさらなる詳細が、以下の図１Ａ〜７を参照しながら記載される。
【００２１】
［００３２］図１Ａは、本明細書に提供される実施形態による、カメラ焦点距離を用いた深度測定装置１００の概略斜視図を示す。該深度測定装置１００は、カメラ・レンズアセンブリ１０２（図１Ａに点線で示される）ならびにターゲット１０４を含み得る。カメラ・レンズアセンブリ１０２は、カメラ軸１０８に沿ったカメラ・レンズアセンブリ１０２とターゲット１０４との間の相対移動を提供するやり方で、移動ステージ１０６に取り付けられる。カメラ・レンズアセンブリ１０２、ターゲット１０４および移動ステージ１０６を支持するフレーム１０９が示される。任意の適切なフレームまたは他の構造物が、これらの構成部品（例えば、一以上のフレームまたは他の支持部材）を支持するために使用され得る。
【００２２】
［００３３］カメラ・レンズアセンブリ１０２は、画像捕捉要素１１０およびレンズアセンブリ１１２を含む。画像捕捉要素１１０は、当業者に知られる任意のタイプの画像捕捉デバイスから構成され得る。一以上の実施形態では、画像捕捉要素１１０は、適切な解像度の相補型金属−酸化物−半導体（ＣＭＯＳ）または荷電連結デバイス（ＣＣＤ）であり得る。例示的な解像度は、２〜１２メガピクセル以上であり得、いくつかの実施形態では、約４〜６メガピクセル以上であり得る。採用され得る１つの特定の例示的なＣＭＯＳセンサは、約２０００×２０００ピクセル、約５メガピクセル解像度、および約３．５マイクロメートルのピクセルサイズを有し得る。他のセンサタイプ、ピクセルサイズ、ピクセル数、および／または解像度が使用されてもよい。画像捕捉要素１１０の解像度は、撮像される特徴のサイズ、照明、ピクセルサイズ、センササイズ、カメラ・レンズアセンブリ１０２で使用されるレンズのタイプなどのいくつかのパラメータに応じてよい。いくつかの実施形態では、カメラ・レンズアセンブリ１０２は、約１ｍｍ×１ｍｍのターゲット１０４の領域を撮像し得る。他の領域サイズが撮像されてもよい。
【００２３】
［００３４］レンズアセンブリ１１２は、画像捕捉要素１１０と機能的に連動するように位置付けられる。具体的には、レンズアセンブリ１１２は、画像捕捉要素１１０のカメラ軸１０８と同一線上にあるターゲット１０４の領域の画像に焦点を合わせる。撮像された領域は、測定された複数の深度レベル１１４を含み得る。撮像される深度レベルは、用途に応じて、互いに隣接していても隣接していなくてもよい。いくつかの実施形態では、深度レベルは、連続した傾斜を含み得る。レンズアセンブリ１１２は、規定された焦点距離を有する任意のタイプの既知のレンズアセンブリから構成され得る。一以上の実施形態では、レンズアセンブリ１１２は、カメラ軸１０８に沿って一定の非角度視野を有し、その倍率がカメラ軸１０８に沿った深度に対して変化しないテレセントリックレンズ（ｔｅｌｅｃｅｎｔｒｉｃ  ｌｅｎｓ）であり得る。
【００２４】
［００３５］ターゲット１０４は、測定される一以上の深度レベル１１４を含み得る。いくつかの実施形態では、ターゲット１０４は、正確に測定される複数の隣接する、隣接しない、および／または離散的な深度レベル１１４を含む表面を含み得る。測定される例示的な深度レベルは、ミリメートルまたはミリメートル未満（例えばミクロン）の範囲にあり得る。例えば、いくつかの実施形態では、数ミクロン〜数十ミクロンまたは数百ミクロンの深度を有する特徴が、カメラ・レンズアセンブリ１０２で撮像され得る。例示的なターゲットには、膜堆積、パターニング、半導体ドーピング、または他の処理のために均一な分離を必要とする基板およびマスク、プリント基板、フラットパネルディスプレイ、他の半導体デバイス等が含まれるが、これらに限定されるものではない。
【００２５】
［００３６］図１Ａに戻ると、いくつかの実施形態では、深度測定装置１００は、モータ１１６と、カメラ・レンズアセンブリ１０２とターゲット１０４との間の相対移動を提供する移動ステージ１０６に連結された主ねじ１１８とを含み得る。具体的には、モータ１１６の回転によって、主ねじ１１８は回転し、カメラ軸１０８（図１Ａでは垂直）に沿って移動ステージ１０６（およびカメラ・レンズアセンブリ１０２）を移動させ、カメラ軸１０８に沿って規定された増分値でカメラ・レンズアセンブリ１０２の相対移動を提供する。該増分値は、採用されるモータのステップ分解能に応じて、いかなるサイズに設定されてもよい。例えば、一以上のギアは、用途に応じて、モータステップサイズを、より大きいまたはより小さい増分値（ステップ）に変換し得る。いくつかの実施形態では、増分値は、５、１０、１５、または２０ミクロンであってよいが、より大きいまたはより小さい増分値が使用されてもよい。一以上の実施形態では、モータ１１６は、ターゲット１０４に対して約５０マイクロメートルの増分値でカメラ・レンズアセンブリ１０２を移動させ得る。カメラ・レンズアセンブリ１０２によって動かされる全距離は、いくつかの実施形態では、約２０〜３０ｃｍであり得、後述するステップ移動・画像捕捉プロセス中に、より短いまたはより長い距離が使用され得る。
【００２６】
［００３７］一以上の実施形態では、モータ１１６は、リニアモータ、ＤＣブラシ付きまたはブラシレスモータ、ＡＣモータ、ステッピングモータ、または任意の他の適切なモータであり得る。いくつかの実施形態では、主ねじ１１８の代わりにボールねじまたは他の回転から直線的移動への伝達装置が使用され得る。
【００２７】
［００３８］図１Ａのモータ１１６は、カメラ・レンズアセンブリ１０２に（主ねじ１１８および移動ステージ１０６を介して）取り付けられるように示されており、カメラ軸１０８に沿ってカメラ・レンズアセンブリ１０２を移動させる。概して、モータ１１６は、任意の位置でカメラ・レンズアセンブリ１０２に直接的または間接的に取り付けられてよい。例えば、モータ１１６は、モータ１１６による直線的なステージの移動がカメラ・レンズアセンブリ１０２の移動を生じさせるように、カメラ・レンズアセンブリ１０２を上部、底部または側面から支持する直線的なステージに連結され得る。他の構成が、カメラ・レンズアセンブリ１０２を支持しおよび／または移動させるために使用されてもよい。
【００２８】
［００３９］図１Ａに示す実施形態の変形例では、移動ステージ１０６およびモータ１１６は、カメラ・レンズアセンブリ１０２に取り付けられるのではなく、図１Ｂに示すように、カメラ・レンズアセンブリ１０２に対してターゲット１０４を移動させ得る。この構成では、ターゲット１０４は、カメラ・レンズアセンブリ１０２に対してカメラ軸１０８に沿って規定された増分値で移動し得る。さらに別の実施形態（図示せず）では、カメラ・レンズアセンブリ１０２とターゲット１０４の両方を移動させるために、一以上のモータが採用され得、それにより、互いに対して規定された増分値でカメラ・レンズアセンブリ１０２とターゲット１０４の両方を移動させる。
【００２９】
［００４０］図１Ａに戻ると、深度測定装置１００は、ターゲット１０４に対するカメラ・レンズアセンブリ１０２の移動を追跡する位置センサ１２０を含む。いくつかの実施形態では、位置センサ１２０は、カメラ・レンズアセンブリ１０２、モータ１１６、移動ステージ１０６、主ネジ１１８、または任意の他の適切な位置に取り付けられ得る。位置センサ１２０は、ステップ移動・画像捕捉プロセス（後述する）において、移動ステージ１０６と共に移動する際に、カメラ・レンズアセンブリ１０２の位置を追跡する。図１Ｂの実施形態では、位置センサ１２０は、ステップ移動・画像捕捉プロセスにおいて、移動ステージ１０６と共に移動するときに、ターゲット１０４の位置を追跡し得る。
【００３０】
［００４１］いくつかの実施形態では、位置センサ１２０は、モータ１１６のシャフトまたは主ねじ１１８に連結された光学的または他のエンコーダであり得る。他の位置センサを使用してもよい。概して、位置センサ１２０は、ステップ移動・画像捕捉プロセスにおいて、カメラ軸１０８に沿って移動するように構成された移動ステージ１０６の位置に取り付けられ、移動ステージ１０６の位置を追跡し得る。使用され得る他の例示的なセンサは、磁気エンコーダ、線形可変差動変圧器（ＬＶＤＴ）等を含む。
【００３１】
［００４２］いくつかの実施形態では、カメラ・レンズアセンブリ１０２およびターゲット１０４は、垂直に整列されないことがある。例えば、カメラ・レンズアセンブリ１０２およびターゲット１０４は水平に位置付けられ得る。同様に、カメラ軸１０８は、直線でない場合もある。例えば、一以上のミラー（図示せず）が、ターゲット１０４からカメラ・レンズアセンブリ１０２に任意の所望の角度（例えば、４５度、９０度など）で画像を導くために採用され得る。
【００３２】
［００４３］深度測定装置１００の動作を制御するために、一以上のマイクロプロセッサ、マイクロコントローラ、専用ハードウェアおよび／またはソフトウェア等のコントローラ１２２が提供され得る。いくつかの実施形態では、コントローラ１２２は、内部メモリまたは外部メモリ、および画像捕捉要素１１０、レンズアセンブリ１１２、モータ１１６、位置センサ１２０などの動作を制御するためのソフトウェアを含み得る。
【００３３】
［００４４］図１Ｃは、本明細書に提供される実施形態による、複数の深度レベル１１４ａ、１１４ｂおよび１１４ｃを有する例示的なターゲット１０４を示す。ターゲット１０４は単なる一例であり、他の特徴および／または深度レベルの数を有するターゲットは、深度測定装置１００を用いて解析され得る。図１Ｃを参照すると、深度レベル１１４ａは、第１の高度であり、深度レベル１１４ｂは、第２の高度であり、深度レベル１１４ｃは、第３の高度である。深度レベル１１４ａは、深度レベル１１４ｃに隣接していない。以下にさらに記載するように、深度測定装置１００を採用して、深度レベル１１４ａ、１１４ｂおよび／または１１４ｃの相対深度／または絶対深度を特定し得る。例えば、いくつかの実施形態では、画像捕捉要素１１０は、領域１２４を撮像し得る。１つの特定の例示的実施形態では、関心領域１２６ａは、深度レベル１１４ａに関する深度レベル情報を特定するために、画像捕捉要素１１０によって撮られた画像内で解析され得、関心領域１２６ｂは、深度レベル１１４ｃに関する深度レベル情報を特定するために、画像捕捉要素１１０によって撮られた画像内で解析され得る（さらに後述する）。例えば、ターゲット１０４の関心領域１２６ａは、画像捕捉要素１１０のピクセル領域１２８ａに対応し得、ターゲット１０４の関心領域１２６ｂは、画像捕捉要素１１０のピクセル領域１２８ｂに対応し得る（図１Ｃにおいてターゲット１０４の右側に示される）。
【００３４】
［００４５］図２は、本明細書に提供される実施形態による、カメラ焦点距離を用いた深度測定装置１００のためのコントローラ１２２によって提供され得る例示的処理ユニットの概略図を示す。コントローラ１２２は、記憶ユニット２０２、画像処理ユニット２０４、距離処理ユニット２０６および深度処理ユニット２０８を含み得る。処理ユニット２０４、２０６、および／または２０８は、例えば、メモリに記憶され、コントローラ１２２によって実行可能なコンピュータプログラムコードまたは命令であり得る。記憶ユニット２０２は、コントローラ１２２の内部または外部の任意の適切なストレージ（例えば、固体メモリ、ハードドライブなど）であり得る。
【００３５】
［００４６］いくつかの実施形態では、記憶ユニット２０２は、カメラ・レンズアセンブリ１０２によって捕捉された一連の画像のみならず、ステップ移動・画像捕捉プロセス中に位置センサ１２０によって追跡されたときの捕捉された画像の各々についての対応する位置データも記憶し、検索するように構成され得る。例えば、記憶ユニット２０２は、何れが、取り付けられたモータ１１６を用いて移動ステージ１０６に沿って移動するように構成されているかに応じて、それぞれの捕捉された画像と、カメラ・レンズアセンブリ１０２、ターゲット１０４、またはその両方の何れかの位置との間の相関関係を維持し得る。
【００３６】
［００４７］画像処理ユニット２０４は、ステップ移動・画像捕捉プロセス中に捕捉された一連の画像内の各画像に対して、勾配ベースの縁部検出機能を実施することなどによって、捕捉された画像情報を処理するように構成される。一以上の実施形態では、勾配ベースの縁部検出方法は、ソーベル（Ｓｏｂｅｌ）、プルウィット（Ｐｒｅｗｉｔｔ）、ラプラス（Ｌａｐｌａｃｅ）、または類似のフィルタなどの縁部検出フィルタを捕捉された画像に適用することを採用する。結果として得られるフィルタされた画像は、明瞭な縁部が検出された画像のそれらの部分において、より高い輝度を有し得る。あるいは、結果として得られるフィルタされた画像は、検出された縁部が存在しない、あるいは検出された縁部がぼやけている（不鮮明な）画像のそれらの部分において、輝度がより低いか輝度を有さないことがある。これらの処理された画像は、例えば、各画像の元の位置データとともに記憶ユニット２０２に記憶され得る。例えば、離散コサイン変換などの周波数領域法を含む、他の縁部検出法または画像勾配法が使用され得る。
【００３７】
［００４８］いくつかの実施形態では、ターゲットが既知の深度範囲内に一以上の特徴を有する場合、画像のサブセットが取得および記憶され得る。このことにより、深度レベルの測定を実施する時間が削減され得る。例えば、第１の画像セットは、複数の最初に捕捉された画像において検出され、そこから抽出された第１の深度レベルの勾配ベースの縁部検出フィルタされた画像を含み得る。第２の画像セットは、複数の最初に捕捉された画像において検出され、そこから抽出された第２の深度レベルの勾配ベースの縁部検出フィルタされた画像を含み得る。第３の画像セットは、複数の最初に捕捉された画像において検出され、そこから抽出された第３の深度レベルの勾配ベースの縁部検出フィルタされた画像などを含み得る。以下同様。
【００３８】
［００４９］いくつかの実施形態では、各深度レベルに関する画像セットを作成および／または記憶することは実施されない。例えば、ステップ移動・画像捕捉プロセスにおいて捕捉された全画像は、各画像内の関心領域に関する画像鮮鋭度情報を再検討することによって、各深度レベルについて解析され得る。図１Ｃの例示的な関心領域１２６ａおよび１２６ｂを参照すると、深度レベル１１４ａおよび１１４ｃそれぞれに関する画像鮮鋭度情報を特定するために、画像捕捉要素１１０によって捕捉された画像のピクセル領域１２８ａおよび１２８ｂが解析され得る。
【００３９】
［００５０］画像勾配法を適用すること、特に各画像内の関心領域に適用することは、各関心領域内の各ピクセルについての勾配値に対応する輝度値を生成するために使用され得る。この情報は、後述するように、距離処理ユニット２０６によって使用され得る。
【００４０】
［００５１］距離処理ユニット２０６は、各深度レベルに対して、カメラ・レンズアセンブリ１０２とターゲット１０４との間の最適な焦点距離を特定するように構成される。例えば、距離処理ユニット２０６は、まず、各フィルタされた画像の各関心領域の輝度値に対して集合関数を実施し得る。例示的な集合関数は、すべてのピクセルまたはピクセルのサブセットにおける、輝度値の平均、標準偏差、最大値もしくは中央値、標準偏差を平均で割ったもの等のこれらのうちの一以上の組合せ等を含む。関心領域のピクセルのサブセットは、例えば、フィルタされた画像の関心領域内で非ゼロ値を有するピクセルであり得る。集合関数の適用は、収集された画像内でカバーされる各増分位置における特定の深度レベルに対する画像鮮鋭度を表す、関心領域についての画像鮮鋭度スカラ値をもたらす。これらの画像鮮鋭度スカラ値の各々は、例えば、記憶ユニット２０２内の対応する位置データと共に記憶されてもよい。
【００４１】
［００５２］一旦、収集された画像内に含まれる各画像の各関心領域に画像鮮鋭度スカラ値が生成されると、いくつかの実施形態では、距離処理ユニット２０６は、各関心領域についての画像鮮鋭度スカラ値に曲線をフィッティングさせ得る。例えば、ガウス曲線、コーシー曲線または他の曲線を使用して、各関心領域について位置に対する画像鮮鋭度スカラ値をフィッティングさせることができる。曲線フィッティングに基づいて、各深度レベルに対するカメラ・レンズアセンブリ１０２とターゲット１０４との間の最適な焦点距離が特定され得る（例えば、各関心領域についてのピーク画像鮮鋭度スカラ値に関連付けられた位置データに基づいて）。いくつかの実施形態では、深度測定の解像度および精度は、最適な焦点距離の特定の前に画像鮮鋭度スカラ値に曲線をフィッティングさせることによって改善され得る。また、各深度レベルについて行われる画像測定の回数が削減され得る。
【００４２】
［００５３］深度処理ユニット２０８は、最適な焦点距離が距離処理ユニット２０６によって特定された深度レベルの各々について、相対深度および／または絶対深度を特定するように構成され得る。
【００４３】
［００５４］センサ１２０によって提供される位置データは、撮影された各画像について、移動ステージ１０６上のカメラ・レンズアセンブリ１０２の位置、ターゲット１０４の位置、または両方の位置に関する情報を提供する。そのように、２つの異なる深度レベルに対する最適な焦点距離が特定されると、最適な焦点距離間の差によって、深度レベル間の相対深度が提供される。
【００４４】
［００５５］また、深度処理ユニット２０８は、深度レベルの各々について絶対測定値も特定し得る。一以上の実施形態では、カメラ・レンズアセンブリ１０２、ターゲット１０４またはいくつかの他の位置の基準面に対する既知の基準深度を確立し、基準面に対するターゲット１０４の全ての他の表面（例えば深度レベル）を測定することによって、絶対深度測定値が引き出され得る。すなわち、基準面に対する相対距離を基準面の既知の表面深度と組み合わせて、絶対測定値を得ることができる。あるいは、カメラ軸１０８に沿った一連の画像を捕捉する前に特定されるように、カメラ・レンズアセンブリ１０２の最適な焦点距離を用いて、基準深度が確立され得る。例えば、カメラ・レンズアセンブリ１０２の視界内の基準面が撮像され得、カメラ・レンズアセンブリ１０２の最適な焦点距離におけるカメラ・レンズアセンブリ１０２の位置が、基準面に対して特定され得る。基準面に対するカメラ・レンズアセンブリ１０２の位置は、光学エンコーダなどの位置センサを用いてモニタされ得る。既知の基準面位置、基準面に対するカメラ・レンズアセンブリ１０２の位置、およびそれが最適な焦点距離にある間のカメラ・レンズアセンブリ１０２からの基準面の距離を含む全ての距離測定値を組み合わせて、絶対深度測定値を生成することができる。
【００４５】
［００５６］図３Ａ〜５Ｂは、複数の深度レベルを有するターゲットの例示的な単一深度レベルの典型的なデータである。したがって、図３Ａ〜５Ｂは、複数の深度レベルを有するターゲットの各個別の深度レベルについて得られるであろうデータを表す。
【００４６】
［００５７］図３Ａは、本明細書の実施形態による、一連の画像内で捕捉されたターゲットの単一の深度レベルの画像の概略図３００を示す。図３Ａの画像では、不鮮明な画像は複数の同心円を有し、最適な焦点付近の画像は１つの円を有する。
【００４７】
［００５８］図３Ａを参照すると、カメラ・レンズアセンブリ１０２によって捕捉された第１の画像は、画像表現３０２である。例えば、画像表現３０２は、カメラ・レンズアセンブリ１０２が例示的な深度レベルの撮像を開始したときに捕捉され得る。図示のように、画像表現３０２は、画像がカメラ・レンズアセンブリ１０２の最適な焦点距離から遠い地点で捕捉されたので、不鮮明である（例えば、複数の同心円によって表される）。そのように、画像表現３０２は、鮮明度が非常に低い。
【００４８】
［００５９］画像表現３０２の捕捉に続いて、カメラ・レンズアセンブリ１０２が移動され、画像表現３０４を捕捉するために使用された。図３Ａに示されるように、画像表現３０４は、（より少ない同心円によって表されるように）画像表現３０２よりも不鮮明さが少なく、深度レベルの最適な焦点距離により近い点で捕捉された。
【００４９】
［００６０］画像表現３０４の捕捉に続いて、カメラ・レンズアセンブリ１０２が移動され、画像表現３０６を捕捉するために使用された。画像表現３０６は、カメラ軸１０８に沿った最適な焦点距離に最も近い位置で捕捉された。この画像は、捕捉された一連の画像内で最も鮮明である。そのように、この画像には、深度レベルの縁部で見える最大量の鮮明細部が含まれる（同心円がないことが、捕捉された画像内の鮮明な縁部を表している）。
【００５０】
［００６１］画像表現３０６の捕捉に続いて、カメラ・レンズアセンブリ１０２が移動され、画像表現３０８を捕捉するために使用された。次いで、移動され、画像表現３１０を捕捉するために使用された。画像表現３０８および３１０は、カメラ・レンズアセンブリ１０２が、深度レベルからの最適な焦点距離からさらに離れているときに捕捉され、したがって不鮮明である（例えば、それぞれ、画像表現３０４および３０２に類似している）。
【００５１】
［００６２］図３Ｂは、本明細書の実施形態による、図３Ｂの画像表現に対応する、捕捉された一連の画像内に表されるターゲットの単一の深度レベルの実際の画像３００’を示す。図３Ｂを参照すると、カメラ・レンズアセンブリ１０２と撮像される深度レベルとの間の最適な焦点距離から最も遠い点で、最も不鮮明な画像（参照番号３０２’および３１０’で表される）が捕捉された。そのように、これらの捕捉された画像には、深度レベルの縁部で見える鮮明細部の最少量が含まれる。カメラ・レンズアセンブリ１０２が撮像される深度レベルに対して移動されると、カメラ・レンズアセンブリ１０２が、参照番号３０６’で表されるような深度レベルから最適な焦点距離に近づくにつれて、捕捉された画像はより不鮮明でなくなる（参照番号３０４’および３０８’）。
【００５２】
［００６３］図４Ａは、本明細書の実施形態による、ソーベルフィルタなどの画像勾配フィルタが適用された、捕捉された一連の画像内の単一の深度レベルの表現４００を示す。具体的には、表現４００は、図３Ａの画像表現３０２〜３１０に対応するフィルタされた画像表現を提供する。フィルタされた画像表現４０２および４１０は、最も不鮮明な画像表現３０２および３１０から引き出されるので、フィルタされた画像の最も低い輝度勾配値を有する。画像表現４０２および４１０の低い輝度勾配値は、捕捉された画像表現３０２および３１０における深度レベルの縁部で見える鮮明細部が欠けていることを表す（小さな白い領域はフィルタされた画像における低い輝度勾配値を表す）。
【００５３】
［００６４］同様に、フィルタされた画像表現４０４および４０８は、図３Ａの捕捉された一連の画像表現内の不鮮明な画像表現３０４および３０８からも引き出されるので、低い輝度勾配値を有する。フィルタされた画像表現４０４および４０８の低い輝度勾配値は、捕捉された画像表現３０４および３０８における深度レベルの縁部で見える鮮明細部が欠けた結果である（小さな白い領域はフィルタされた画像における低い輝度勾配値を表す）。
【００５４】
［００６５］フィルタされた画像表現４０６は、捕捉された一連の画像内の最も鮮明な画像表現３０６から引き出されるので、最大の輝度勾配値を有する。フィルタされた画像表現４０６の高い輝度勾配値は、捕捉された画像表現３０６における深度レベルの縁部で見える鮮明細部を表す（最大の白い領域はフィルタされた画像における最大の輝度勾配値を表す）。
【００５５】
［００６６］図４Ｂは、本明細書の実施形態による、画像勾配フィルタが適用された、図４Ａの画像表現に対応する、捕捉された一連の画像内の単一の深度レベルの実際のフィルタされた画像を示す。画像鮮鋭度データは、図３Ｂの一連の画像に画像勾配フィルタを適用することによって得られる。フィルタされた画像４０２’および４１０’は、最も不鮮明な画像から引き出されるので、最も低い画像鮮鋭度を有する。
【００５６】
［００６７］最適な焦点距離に近い画像は不鮮明さが少なく、より顕著なフィルタされた画像を有する（参照番号４０４’および４０８’参照）。カメラ・レンズアセンブリ１０２が、深度レベルまでの最適な焦点距離に最も近かったときに撮られた画像は、最も明るい画像勾配を有する（参照番号４０６’）。
【００５７】
［００６８］上述のように、一以上の関心領域は、一以上の深度レベルに関する深度レベル情報を特定するために、画像捕捉要素１１０によって撮られた画像内で解析され得る。例えば、ターゲットの関心領域は、画像捕捉要素１１０のピクセル領域に対応し得る。いくつかの実施形態では、各関心領域に集合関数が適用され得る。例えば、関心領域内の各ピクセル（またはピクセルのサブセット）に関して特定された輝度値を利用して、平均輝度値、標準偏差、最大または中央輝度値、標準偏差を平均で割ったものなどの上記の組合せ等を、関心領域に対して計算し得る。いくつかの実施形態では、集合関数は、各画像内の各関心領域に画像鮮鋭度スカラ値などの画像鮮鋭度情報を生成するために使用され得る。
【００５８】
［００６９］図５Ａは、本明細書の実施形態による、捕捉された一連の画像内に含まれる単一の深度レベルを表すカメラ位置（距離）に対する画像鮮鋭度（スカラ値）のプロット５００を示す。図５Ａは、２２個の捕捉された画像についての画像鮮鋭度データを示す。いくつかの実施形態では、より少ないまたはより多い画像が捕捉され得る。さらに、いくつかの実施形態では、（かかる情報が利用可能である場合）特定の深度レベルについて最適な焦点が予測される場所付近で、より多くの画像が捕捉され得る。例えば、画像が撮られる頻度は、深度レベルに対するカメラ位置に基づいて増減され得る。
【００５９】
［００７０］図５Ａのプロットに示されるように、カメラ距離５０２は、最も高い画像鮮鋭度スカラ値５０４に相関する距離（例えば、深度レベルに対するほぼ最適な焦点距離）である。より小さい画像鮮鋭度スカラ値５０６ａおよび５０６ｂは、最も高い画像鮮鋭度スカラ値５０４を生成する距離５０２よりも短いおよび長い対応する距離で、最も高い画像鮮鋭度スカラ値５０４の両側に示される。これらの距離は、最も高い画像鮮鋭度スカラ値５０４を生成する距離５０２（例えば、深度レベルのほぼ最適な焦点距離）までの距離と、次いでそれを過ぎた距離とに、カメラ・レンズアセンブリ１０２をステップ移動させるモータ１１６によって使用される増分値によって分離される。
【００６０】
［００７１］図５Ｂは、本明細書の実施形態による、曲線５０８がフィッティングされた単一の深度レベルを表すカメラ位置（距離）に対する画像鮮鋭度スカラ値のプロット５００’を示す。曲線５０８は、図５Ａに示されるプロット画像鮮鋭度スカラ値にフィッティングされる。フィッティングすると、曲線５０８は、最も高い画像鮮鋭度スカラ値（例えば、図５Ｂの画像鮮鋭度スカラ値５０４’）を生成する異なる距離５０２’を提供するために使用され得る。前述のように、画像捕捉要素１１０は、特定の深度レベルに対して正確で最適な焦点距離で画像を捕捉しない場合がある。画像鮮鋭度データに曲線をフィッティングすることによって、実際の最適な焦点距離のより正確な予測が得られ得る（図５Ｂ参照）。そのように、曲線フィッティングを使用することにより、深度測定の解像度および／または精度は向上し得る。
【００６１】
［００７２］図６は、本明細書の実施形態による、複数の深度レベルについての距離に対する画像鮮鋭度の例示的なプロット６００を示す。図６を参照すると、第１の曲線６０２は、第１の深度レベルに対する画像鮮鋭度スカラ値の曲線フィッティングを表し、第２の曲線６０４は、第２の深度レベルに対する画像鮮鋭度スカラ値の曲線フィッティングを表し、第３の曲線６０６は、ターゲットの第３の深度レベルに対する画像鮮鋭度スカラ値の曲線フィッティングを表す。第４の曲線６０８は、基準特徴（例えば、ターゲットまたはカメラアセンブリ上またはその近傍に存在する）に対する画像鮮鋭度スカラ値の曲線フィッティングを表す。プロット６００の画像鮮鋭度データは、画像捕捉要素１１０が、距離Ｄ１における第１の深度レベルについて、距離Ｄ２における第２の深度レベルについて、距離Ｄ３における第３の深度レベルについて、最適な焦点の近くにあることを示す。距離Ｄ１、Ｄ２、および／またはＤ３を互いに比較することにより、深度レベルについての相対距離および／または深度情報が提供され得、一方、距離Ｄ１、Ｄ２、および／またはＤ３を基準深度レベルの距離ＤＲＥＦと比較することにより、各深度レベルの距離および／または深度の絶対測定値が提供され得る。
【００６２】
［００７３］図７は、本明細書に提供される実施形態による、カメラ・レンズアセンブリ焦点距離を用いた深度測定値を得る方法７００を示すフローチャートを示す。方法７００は、ブロック７０２において、カメラ・レンズアセンブリまたはターゲットが移動可能であるように、カメラ・レンズアセンブリまたはターゲットを移動ステージ上に位置付けることより開始する。例えば、カメラ・レンズアセンブリ１０２または複数の深度レベルを有するターゲット１０４は、移動ステージ１０６に位置付けられ得る。カメラ・レンズアセンブリ１０２およびターゲット１０４は各々、カメラ・レンズアセンブリ１０２、ターゲット１０４、またはその両方が移動ステージ１０６上で移動可能であるように位置付けられ得る。この移動ステージによって、測定される複数の深度レベルの何れかに対する最適な焦点距離よりも大きいかあるいは小さい位置で開始して、カメラ・レンズアセンブリ１０２とターゲット１０４との間の相対距離を変更することができる。
【００６３】
［００７４］位置付けられると、方法７００は、ブロック７０４において、ターゲットの複数の深度レベルの全てについての最適な焦点距離を通して、カメラ・レンズアセンブリまたはターゲットを、規定された増分値で前方または後方にステップ移動させることを含む。例えば、カメラ・レンズアセンブリ１０２（またはターゲット１０４）は、規定された増分値で前方または後方にステップ移動し得る。このステップ移動は、測定される複数の深度レベルの全てについての最適な焦点距離を通して、相対距離が増加する又は減少するかの何れかまで継続する。
【００６４】
［００７５］相対距離が増減している間、ブロック７０６において、各増分値で、方法７００は、センサを採用して、カメラ・レンズアセンブリまたはターゲットの位置データを測定することと、カメラ・レンズアセンブリを採用して、一連の画像を捕捉するようにターゲットの画像を捕捉することとを含む。いくつかの実施形態では、各増分値において、捕捉された画像と移動ステージの対応する位置データとが記憶され得る。例えば、各増分値で、カメラ・レンズアセンブリ１０２を用いてターゲット１０４の画像が捕捉され記憶されてよく、ならびに位置センサ１２０によって提供される移動ステージの対応する位置データも捕捉され記憶されてよい。
【００６５】
［００７６］画像シーケンスおよび対応する位置データが捕捉されると、ブロック７０８において、方法７００は、捕捉された一連の画像内の画像の各々に画像勾配法を適用することを含む。画像勾配法は、より多い量の鮮明細部が深度レベルの縁部で見える場合により高い輝度勾配値を有し、より少ない量の鮮明細部が捕捉された画像の各々の深度レベルの縁部で見える場合により低い輝度勾配値を有する、処理された画像を作成するために使用され得る。処理されると、いくつかの実施形態では、処理された画像は記憶され得る。上述のように、縁部特徴を強調するために、ソーベルまたは類似のフィルタが適用され得る。
【００６６】
［００７７］勾配フィルタされた画像が作成されると、ブロック７１０において、方法７００は、複数の深度レベルの各々について処理された画像内の関心領域を特定することを含み、各関心領域は、ターゲットの個別の領域に対応する処理された画像の小区分を含む。いくつかの実施形態では、捕捉された画像内の関心領域は、各画像内のピクセルの所定のサブセットであり得る。例えば、ユーザは、（例えば、各深度レベルに対応する各画像内のピクセルのサブセットを選択することによって）各深度レベルで使用される関心領域を手動で画定し得る。いくつかの実施形態では、捕捉された画像内の関心点の位置を特定するために、ターゲット（基準）発見アルゴリズムが採用され得、次いで、関心点の周りの予め規定された領域（例えば、関心点の周りのボール、ドーナツ、長方形、正方形、または他の形状の領域）は関心領域として使用され得る。背景および前景対象物については、各対象物の範囲を画定し、関心領域内のこれらの領域を優先的に含めるかまたは除外するために、ブール（Ｂｏｏｌｅａｎ）マスク演算が適用され得る。
【００６７】
［００７８］いくつかの実施形態では、各画像を関心領域に分割するために、検出された縁部が使用され得る。例えば、２つの円形または他の形状の標準点の中心を発見するために、テンプレート発見アルゴリズムが採用され得る。関心領域は、標準点の縁部の周りの領域として画定され得る。１つの例示的な実施形態では、背景関心領域を得るために、背景ドーナツ形状領域から前景ボール形状領域が引かれ得る。前景関心領域は、前景中心位置の周りのドーナツ領域であり得る。関心領域を規定するための他の適切な方法が採用され得る。
【００６８】
［００７９］各深度レベルに対する関心領域が特定された後、ブロック７１２において、方法７００は、各関心領域に対する各処理された（フィルタされた）画像に対する画像鮮鋭度スカラ値を作成することを含む。例えば、画像鮮鋭度スカラ値を特定するために、各関心領域内の一以上の輝度勾配値に集合関数が適用され得る。
【００６９】
［００８０］ブロック７１４において、方法７００は、各関心領域の画像鮮鋭度スカラ値に基づいて最適な焦点距離を特定することを含む。いくつかの実施形態では、前述したように、これは、画像鮮鋭度スカラ値対距離データに曲線をフィッティングさせることを含み得る。最適な焦点距離は、例えば、各関心領域内の最も高い画像鮮鋭度スカラ値に関連する位置データから引き出され得る。
【００７０】
［００８１］ブロック７１６において、方法７００は、関心領域の各々について、特定された最適な焦点距離に基づいて、複数の深度レベルの各々に対する相対（および／または絶対）深度測定値を特定することを含む。
【００７１】
［００８２］前述の説明は、例示的な実施形態を開示しているにすぎない。本開示の範囲に含まれる上記の装置および方法の変形例が、当業者には容易に自明であろう。したがって、本発明は、その例示的な実施形態に関連して開示されているが、他の実施形態が、以下の特許請求の範囲によって定義される本発明の趣旨および範囲に含まれることもあると、理解すべきである。
【図１Ａ】
2021521742.tif 000003
【図１Ｂ】
2021521742.tif 000004
【図１Ｃ】
2021521742.tif 000005
【図２】
2021521742.tif 000006
【図３Ａ】
2021521742.tif 000007
【図３Ｂ】
2021521742.tif 000008
【図４Ａ】
2021521742.tif 000009
【図４Ｂ】
2021521742.tif 000010
【図５Ａ】
2021521742.tif 000011
【図５Ｂ】
2021521742.tif 000012
【図６】
2021521742.tif 000013
【図７】
2021521742.tif 000014
【手続補正書】
【提出日】令和3年2月9日(2021.2.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ターゲットからの複数の距離で前記ターゲットの複数の画像を捕捉するように構成されたカメラアセンブリと、
前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する対応する位置データを捕捉するように構成された位置センサと、
コントローラであって、
前記複数の画像内の複数の領域のそれぞれについて、
前記複数の画像内の対応する勾配値を特定すること、
前記対応する勾配値から対応する最大勾配値を特定すること、及び
前記対応する最大勾配と、前記対応する最大勾配を含む前記複数の画像からの画像について捕捉された前記対応する位置データとに基づいて、前記領域についての深度測定値を特定すること、を実行するように構成されたコントローラとを備える、深度測定装置。
【請求項２】
ターゲットからの複数の距離で前記ターゲットの複数の画像を捕捉するように構成されたカメラアセンブリと、
前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する対応する位置データを捕捉するように構成された位置センサと、
コントローラであって、
前記複数の画像のそれぞれの範囲内の複数の領域のそれぞれについての対応する勾配値を特定すること、
前記複数の領域のそれぞれについての前記対応する勾配値に基づいて、前記複数の領域のそれぞれについての対応する最大勾配値を特定すること、及び
前記複数の領域のそれぞれについての前記対応する最大勾配値と、前記複数の画像のそれぞれについての前記対応する位置データとに基づいて、前記複数の領域のそれぞれについての深度測定値を特定すること、を実行するように構成されたコントローラとを備える、深度測定装置。
【請求項３】
前記ターゲットの前記複数の画像は、前記カメラアセンブリ又は前記ターゲットのうちの少なくとも一方を移動させることによって、前記ターゲットからの前記複数の距離で前記カメラアセンブリによって捕捉される、請求項２に記載の深度測定装置。
【請求項４】
前記コントローラは、前記複数の画像に画像勾配フィルタを適用することによって、前記対応する勾配値を特定する、請求項２に記載の深度測定装置。
【請求項５】
前記画像勾配フィルタは、縁部検出フィルタ、ソーベルフィルタ、プルウィットフィルタ、又はラプラスフィルタのうちの１以上を含む、請求項４に記載の深度測定装置。
【請求項６】
前記コントローラは、基準深度に基づいて前記深度測定値を更に特定し、前記複数の領域は、前記基準深度に対して測定される、請求項２に記載の深度測定装置。
【請求項７】
前記カメラアセンブリと前記ターゲットとは、
垂直に整列し、
水平に整列し、又は
ある角度に沿って整列する、請求項２に記載の深度測定装置。
【請求項８】
前記コントローラは、前記深度測定値を含む複数の深度測定値を特定し、前記複数の深度測定値は、複数の隣接する深度レベル及び複数の隣接しない深度レベルに関連する、請求項２に記載の深度測定装置。
【請求項９】
ターゲットからの複数の距離で前記ターゲットの複数の画像を捕捉するように構成されたカメラアセンブリと、
前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する対応する位置データを捕捉するように構成された位置センサと、
画像勾配フィルタを用いて前記複数の画像と前記複数の画像のそれぞれについての前記対応する位置データとを処理して、前記複数の画像内の複数の領域のそれぞれについての深度測定値を特定するように構成されたコントローラとを備える、深度測定装置。
【請求項１０】
前記ターゲットの前記複数の画像は、前記カメラアセンブリ又は前記ターゲットのうちの少なくとも一方を移動させることによって、前記ターゲットからの前記複数の距離で前記カメラアセンブリによって捕捉される、請求項９に記載の深度測定装置。
【請求項１１】
前記コントローラは、前記複数の画像に前記画像勾配フィルタを適用することによって、前記複数の画像内の前記複数の領域のそれぞれについての対応する勾配値を特定し、前記コントローラは、前記複数の領域のそれぞれについての前記対応する勾配値に基づいて、前記複数の領域のそれぞれについての対応する最大勾配値を特定し、前記深度測定値は、前記複数の領域のそれぞれについての前記対応する最大勾配値に基づいて特定される、請求項９に記載の深度測定装置。
【請求項１２】
前記画像勾配フィルタは、縁部検出フィルタ、ソーベルフィルタ、プルウィットフィルタ、又はラプラスフィルタのうちの１以上を含む、請求項１１に記載の深度測定装置。
【請求項１３】
前記コントローラは、基準深度に基づいて前記深度測定値を更に特定し、前記複数の領域は、前記基準深度に対して測定される、請求項９に記載の深度測定装置。
【請求項１４】
前記カメラアセンブリと前記ターゲットとは、
垂直に整列し、
水平に整列し、又は
ある角度に沿って整列する、請求項９に記載の深度測定装置。
【請求項１５】
前記コントローラは、前記深度測定値を含む複数の深度測定値を特定し、前記複数の深度測定値は、複数の隣接する深度レベル及び複数の隣接しない深度レベルに関連する、請求項９に記載の深度測定装置。
【請求項１６】
ターゲットからの複数の距離でカメラアセンブリによって捕捉されるターゲットの複数の画像を受け取ること、
前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する対応する位置データを受け取ること、
前記複数の画像内の複数の領域のそれぞれについての対応する勾配値を特定すること、
前記複数の領域のそれぞれについての前記対応する勾配値に基づいて、前記複数の領域のそれぞれについての対応する最大勾配値を特定すること、及び
前記複数の領域のそれぞれについての前記対応する最大勾配値と、前記複数の画像のそれぞれについての前記対応する位置データとに基づいて、前記複数の領域のそれぞれについての深度測定値を特定することを含む、方法。
【請求項１７】
前記ターゲットの前記複数の画像は、前記カメラアセンブリ又は前記ターゲットのうちの少なくとも一方を移動させることによって、前記ターゲットからの前記複数の距離で前記カメラアセンブリによって捕捉される、請求項１６に記載の方法。
【請求項１８】
前記対応する勾配値を特定することは、前記複数の画像に画像勾配フィルタを適用することによる、請求項１６に記載の方法。
【請求項１９】
前記深度測定値を特定することは、基準深度に更に基づき、前記複数の領域は、基準深度に対して測定される、請求項１６に記載の方法。
【請求項２０】
前記深度測定値を含む複数の深度測定値を特定することを更に含み、前記複数の深度測定値は、複数の隣接する深度レベル及び複数の隣接しない深度レベルに関連する、請求項１６に記載の方法。
【手続補正書】
【提出日】令和3年4月8日(2021.4.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ターゲットからの複数の距離で前記ターゲットの複数の画像を捕捉するように構成されたカメラアセンブリと、
前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する対応する位置データを捕捉するように構成された位置センサと、
コントローラであって、
前記複数の画像内の複数の領域のそれぞれについて、
前記複数の画像内の対応する勾配値を特定すること、
前記対応する勾配値から対応する最大勾配値を特定すること、及び
前記対応する最大勾配値と、前記対応する最大勾配値を含む前記複数の画像からの画像について捕捉された前記対応する位置データとに基づいて、前記領域についての深度測定値を特定すること、を実行するように構成されたコントローラとを備える、深度測定装置。
【請求項２】
ターゲットからの複数の距離で前記ターゲットの複数の画像を捕捉するように構成されたカメラアセンブリと、
前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する対応する位置データを捕捉するように構成された位置センサと、
コントローラであって、
前記複数の画像のそれぞれの範囲内の複数の領域のそれぞれについての対応する勾配値を特定すること、
前記複数の領域のそれぞれについての前記対応する勾配値に基づいて、前記複数の領域のそれぞれについての対応する最大勾配値を特定すること、及び
前記複数の領域のそれぞれについての前記対応する最大勾配値と、前記複数の画像のそれぞれについての前記対応する位置データとに基づいて、前記複数の領域のそれぞれについての深度測定値を特定すること、を実行するように構成されたコントローラとを備える、深度測定装置。
【請求項３】
前記ターゲットの前記複数の画像は、前記カメラアセンブリ又は前記ターゲットのうちの少なくとも一方を移動させることによって、前記ターゲットからの前記複数の距離で前記カメラアセンブリによって捕捉される、請求項２に記載の深度測定装置。
【請求項４】
前記コントローラは、前記複数の画像に画像勾配フィルタを適用することによって、前記対応する勾配値を特定する、請求項２に記載の深度測定装置。
【請求項５】
前記画像勾配フィルタは、縁部検出フィルタ、ソーベルフィルタ、プルウィットフィルタ、又はラプラスフィルタのうちの１以上を含む、請求項４に記載の深度測定装置。
【請求項６】
前記コントローラは、基準深度に基づいて前記深度測定値を更に特定し、前記複数の領域は、前記基準深度に対して測定される、請求項２に記載の深度測定装置。
【請求項７】
前記カメラアセンブリと前記ターゲットとは、
垂直に整列し、
水平に整列し、又は
ある角度に沿って整列する、請求項２に記載の深度測定装置。
【請求項８】
前記コントローラは、前記深度測定値を含む複数の深度測定値を特定し、前記複数の深度測定値は、複数の隣接する深度レベル及び複数の隣接しない深度レベルに関連する、請求項２に記載の深度測定装置。
【請求項９】
ターゲットからの複数の距離で前記ターゲットの複数の画像を捕捉するように構成されたカメラアセンブリと、
前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する対応する位置データを捕捉するように構成された位置センサと、
画像勾配フィルタを用いて前記複数の画像と前記複数の画像のそれぞれについての前記対応する位置データとを処理して、前記複数の画像内の複数の領域のそれぞれについての深度測定値を特定するように構成されたコントローラとを備える、深度測定装置。
【請求項１０】
前記ターゲットの前記複数の画像は、前記カメラアセンブリ又は前記ターゲットのうちの少なくとも一方を移動させることによって、前記ターゲットからの前記複数の距離で前記カメラアセンブリによって捕捉される、請求項９に記載の深度測定装置。
【請求項１１】
前記コントローラは、前記複数の画像に前記画像勾配フィルタを適用することによって、前記複数の画像内の前記複数の領域のそれぞれについての対応する勾配値を特定し、前記コントローラは、前記複数の領域のそれぞれについての前記対応する勾配値に基づいて、前記複数の領域のそれぞれについての対応する最大勾配値を特定し、前記深度測定値は、前記複数の領域のそれぞれについての前記対応する最大勾配値に基づいて特定される、請求項９に記載の深度測定装置。
【請求項１２】
前記画像勾配フィルタは、縁部検出フィルタ、ソーベルフィルタ、プルウィットフィルタ、又はラプラスフィルタのうちの１以上を含む、請求項１１に記載の深度測定装置。
【請求項１３】
前記コントローラは、基準深度に基づいて前記深度測定値を更に特定し、前記複数の領域は、前記基準深度に対して測定される、請求項９に記載の深度測定装置。
【請求項１４】
前記カメラアセンブリと前記ターゲットとは、
垂直に整列し、
水平に整列し、又は
ある角度に沿って整列する、請求項９に記載の深度測定装置。
【請求項１５】
前記コントローラは、前記深度測定値を含む複数の深度測定値を特定し、前記複数の深度測定値は、複数の隣接する深度レベル及び複数の隣接しない深度レベルに関連する、請求項９に記載の深度測定装置。
【請求項１６】
ターゲットからの複数の距離でカメラアセンブリによって捕捉されるターゲットの複数の画像を受け取ること、
前記複数の画像のそれぞれについて、前記カメラアセンブリと前記ターゲットとの間の相対距離に関連する対応する位置データを受け取ること、
前記複数の画像内の複数の領域のそれぞれについての対応する勾配値を特定すること、
前記複数の領域のそれぞれについての前記対応する勾配値に基づいて、前記複数の領域のそれぞれについての対応する最大勾配値を特定すること、及び
前記複数の領域のそれぞれについての前記対応する最大勾配値と、前記複数の画像のそれぞれについての前記対応する位置データとに基づいて、前記複数の領域のそれぞれについての深度測定値を特定することを含む、方法。
【請求項１７】
前記ターゲットの前記複数の画像は、前記カメラアセンブリ又は前記ターゲットのうちの少なくとも一方を移動させることによって、前記ターゲットからの前記複数の距離で前記カメラアセンブリによって捕捉される、請求項１６に記載の方法。
【請求項１８】
前記対応する勾配値を特定することは、前記複数の画像に画像勾配フィルタを適用することによる、請求項１６に記載の方法。
【請求項１９】
前記深度測定値を特定することは、基準深度に更に基づき、前記複数の領域は、基準深度に対して測定される、請求項１６に記載の方法。
【請求項２０】
前記深度測定値を含む複数の深度測定値を特定することを更に含み、前記複数の深度測定値は、複数の隣接する深度レベル及び複数の隣接しない深度レベルに関連する、請求項１６に記載の方法。
【国際調査報告】
2021521742.tif 000015
2021521742.tif 000016