(57)【要約】深度推定は、可動照明ユニット、可動照明ユニットに対して固定した場所を有する可動画像検知ユニット、メモリ、およびメモリに結合される1つまたは複数のプロセッサによって実施することができる。プロセッサは、メモリから命令を読み取って、画像検知ユニットから参照画像および非参照画像を受け取るステップと、参照画像および非参照画像中に現れる関心点の深度を推定するステップとを含む動作を実施する。画像検知ユニットおよび照明ユニットが第1の場所にあるとき、参照画像がキャプチャされる。画像検知ユニットおよび照明ユニットが第2の場所にあるとき、非参照画像がキャプチャされる。第1の場所と第2の場所は、画像検知ユニットの光軸に沿って、少なくとも平行移動した分だけ離される。点の深度を推定するステップは、平行移動に基づく。
2019516977.tif 000002
【特許請求の範囲】
【請求項１】
可動照明ユニットと、
前記可動照明ユニットに対して固定した場所を有する可動画像検知ユニットと、
メモリと、
前記メモリに結合された1つまたは複数のプロセッサと、
を備え、
前記1つまたは複数のプロセッサは、前記メモリから命令を読み取り、システムに、
前記可動画像検知ユニットから参照画像を受け取るステップであって、前記可動画像検知ユニットおよび前記可動照明ユニットが第1の場所にあるときに前記参照画像がキャプチャされる、ステップと、
前記可動画像検知ユニットから非参照画像を受け取るステップであって、前記可動画像検知ユニットおよび前記可動照明ユニットが第2の場所にあるときに前記非参照画像がキャプチャされ、前記第2の場所が前記可動画像検知ユニットの光軸に沿って少なくとも平行移動の分だけ前記第1の場所から離される、ステップと、
前記可動画像検知ユニットの前記光軸に沿った前記平行移動に基づいて、前記参照画像および前記非参照画像中に現れる関心点の深度を推定するステップと
を含む動作を実施させるように構成される、システム。
【請求項２】
前記照明ユニットが前記関心点への照明の主光源である、請求項1に記載のシステム。
【請求項３】
前記関心点の前記深度を推定するステップが、
前記参照画像中の前記関心点を選択するステップと、
候補点から、前記参照画像中の前記関心点に対応する前記非参照画像中の一致点を決定するステップと、
前記参照画像内の前記関心点の位置および前記非参照画像内の前記一致点の位置に基づいて、前記関心点の前記深度を推定するステップと
を含む、請求項1に記載のシステム。
【請求項４】
前記非参照画像中の前記一致点を決定するステップが、前記可動画像検知ユニットの前記光軸に沿った前記平行移動の距離に基づいて、前記参照画像と前記非参照画像との間の強度差を補正するステップを含む、請求項3に記載のシステム。
【請求項５】
前記非参照画像中の前記一致点を決定するステップが、前記参照画像内の前記関心点の前記位置および前記非参照画像内の前記一致点の前記位置に基づいて、前記参照画像と前記非参照画像との間の強度差を補正するステップをさらに含む、請求項3に記載のシステム。
【請求項６】
前記非参照画像中の前記一致点を決定するステップが、前記参照画像中の前記関心点に対応する前記参照画像中の参照パッチを選択するステップと、前記候補点の各々に対応する前記非参照画像中の複数の非参照パッチを選択するステップとをさらに含み、前記参照パッチおよび前記非参照パッチが各候補点についてのコスト関数を計算するために使用される、請求項3に記載のシステム。
【請求項７】
前記非参照画像中の前記一致点を決定するステップが、前記参照画像内の前記関心点の前記位置および前記非参照画像内の前記一致点の前記位置に基づいて、スケーリング係数を決定するステップをさらに含み、前記スケーリング係数が各候補点についてのコスト関数を計算するために使用される、請求項3に記載のシステム。
【請求項８】
前記コスト関数が、コスト関数
【数１】
2019516977.tif 000030
を使用して決定され、上式で、s(rb,rf)がスケーリング係数であり、
【数２】
2019516977.tif 000031
および
【数３】
2019516977.tif 000032
がそれぞれ前記参照点および非参照点に関連する測定値であり、前記非参照点が前記候補点のうちの1つに対応する、請求項7に記載のシステム。
【請求項９】
前記スケーリング係数が関数
【数４】
2019516977.tif 000033
を使用して決定され、上式で、
rbおよびrfがそれぞれ後方半径および前方半径であり、
ρが
【数５】
2019516977.tif 000034
により与えられる比であり、
fが前記画像検知ユニットの焦点距離であり、
αfが
【数６】
2019516977.tif 000035
によって与えられる、請求項8に記載のシステム。
【請求項１０】
前記第1の場所と前記第2の場所が、前記可動画像検知ユニットの前記光軸に沿った前記平行移動以外に少なくとも1変位だけ離され、前記少なくとも1変位が、前記可動画像検知ユニットの前記光軸以外の軸に沿った回転と平行移動のうちの1つまたは複数を含む、請求項3に記載のシステム。
【請求項１１】
前記候補点が、前記非参照画像のエピ極から、前記参照画像内の前記関心点と同じ前記非参照画像内の相対的な場所を通って外側へ延びるエピポーラ線上にある点を含む、請求項10に記載のシステム。
【請求項１２】
前記動作が、前記参照画像および非参照画像を極座標系へと変換するステップをさらに含む、請求項3に記載のシステム。
【請求項１３】
画像検知ユニットから参照画像を受け取るステップであって、前記画像検知ユニットが第1の場所にあり、照明ユニットが前記画像検知ユニットに対して固定した場所にあるときに前記参照画像がキャプチャされる、ステップと、
前記画像検知ユニットから非参照画像を受け取るステップであって、前記画像検知ユニットが第2の場所にあるときに前記非参照画像がキャプチャされ、前記第2の場所が、前記画像検知ユニットの光軸に沿って少なくとも平行移動の分だけ前記第1の場所から離される、ステップと、
前記画像検知ユニットの前記光軸に沿った前記平行移動に基づいて、前記参照画像および前記非参照画像中に現れる目標の特徴の深度を推定するステップと
を含む、方法。
【請求項１４】
前記目標の特徴の前記深度を推定するステップが、
前記参照画像中の前記目標の特徴を選択するステップと、
前記参照画像中の前記目標の特徴に対応する前記非参照画像中の一致する特徴を決定するステップと、
前記参照画像内の前記目標の特徴の位置および前記非参照画像内の前記一致する特徴の位置に基づいて、前記目標の特徴の前記深度を推定するステップと
を含む、請求項13に記載の方法。
【請求項１５】
前記非参照画像中の前記一致する特徴を決定するステップが、前記可動画像検知ユニットの前記光軸に沿った前記平行移動の距離に基づいて、前記参照画像と前記非参照画像との間の強度差を補正するステップを含む、請求項14に記載の方法。
【請求項１６】
前記非参照画像中の前記一致する特徴を決定するステップが、前記参照画像内の前記目標の特徴の前記位置および前記非参照画像内の前記一致する特徴の前記位置に基づいて、前記参照画像と前記非参照画像との間の強度差を補正するステップをさらに含む、請求項14に記載の方法。
【請求項１７】
前記非参照画像中の前記一致する特徴を決定するステップが、前記目標の特徴に対応する前記参照画像中の参照パッチ、および複数の候補点に対応する前記非参照画像中の複数の非参照パッチを選択するステップをさらに含み、前記参照パッチおよび前記非参照パッチが前記複数の候補点の各々についてのコスト関数を計算するために使用される、請求項14に記載の方法。
【請求項１８】
物体の深度を測定するためのシステムであって、
光源と、
前記光源に堅く結合されるカメラと、
前記カメラと前記光源のうちの少なくとも1つに結合される位置決め装置であって、前記カメラおよび前記光源を前記カメラの光軸に沿って動かすように構成される、位置決め装置と、
前記カメラから前の画像および後の画像を受け取るように結合される画像プロセッサであって、前記前の画像および前記後の画像が前記カメラの前記光軸に沿った2つの異なる場所でキャプチャされ、前記前の画像および前記後の画像に基づいて前記物体の前記深度を測定するように構成される、画像プロセッサと
を備える、システム。
【請求項１９】
前記光源が光のリングとして構成され、前記カメラが前記光のリング内に配設される、請求項18に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、2016年5月13日に出願された米国仮特許出願第62/336,372号の優先権を主張するものであり、その内容全体が、明示的にそれを参照することにより本明細書に具体的に組み込まれる。
【０００２】
本開示の実施形態は、概して、深度推定のための撮像システムに関する。
【背景技術】
【０００３】
本開示の分野における撮像システムは、一般的に、三角測量の基本原理に依拠する。この原理の最も基本的な実装形態は、2つの画像中の画素についての有効口径が2点間の間隔に対して小さい、2つの位置だけからの画像を含む。(ここで、有効口径とは、感知画素のアクティブな部分に到達する光線の全部を含んでいる物理的口径の部分であると考えられる。)異なる位置からの2つの画像を有するこうした実装形態は立体視と呼ばれ、2つの別個のカメラおよびレンズで実装されることが多い。三角測量を実施するため、両方の画像中の物体の位置を決定するために異なる位置からの画像についての対応問題を解決する必要がある。画像内の位置が、カメラの場所から物体への方向を決定する。これらの2本の線の交点が、シーン中の物体の位置を決定し、このことによって、物体の深度が与えられる。(シーン中の物体の深度とは、撮像システムから物体への距離であり、シーンとは、カメラが見ることができるカメラの外側の3次元世界の一部である。典型的には、カメラは、3次元シーンの2次元表現、画像をキャプチャする。)言い換えれば、2つの画像間の物体の場所におけるずれである視差を使用して、物体の深度を決定する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、物体の深度を推定するための改善した撮像システムおよび方法を開発することが望ましい。
【課題を解決するための手段】
【０００５】
深度推定を実施するためのシステムは、可動照明ユニットと、可動照明ユニットに対して固定した場所を有する可動画像検知ユニットと、メモリと、メモリに結合される1つまたは複数のプロセッサとを備えることができる。1つまたは複数のプロセッサは、メモリから命令を読み取り、システムに動作を実施させるように構成される。動作は、可動画像検知ユニットから参照画像を受け取るステップと、可動画像検知ユニットから非参照画像を受け取るステップと、参照画像および非参照画像中に現れる関心点の深度を推定するステップとを含む。可動画像検知ユニットおよび可動照明ユニットが第1の場所にあるとき、参照画像がキャプチャされる。可動画像検知ユニットおよび可動照明ユニットが第2の場所にあるとき、非参照画像がキャプチャされる。第2の場所は、可動画像検知ユニットの光軸に沿って、少なくとも平行移動した分だけ、第1の場所から離される。点の深度を推定するステップは、可動画像検知ユニットの光軸に沿った平行移動に基づく。
【０００６】
深度推定を実施するための方法は、画像検知ユニットから参照画像を受け取るステップと、画像検知ユニットから非参照画像を受け取るステップと、第1の画像または第2の画像中に現れる目標の特徴の深度を推定するステップとを含むことができる。画像検知ユニットが第1の場所にあり、照明ユニットが画像検知ユニットに対して固定した場所にあるとき、参照画像がキャプチャされる。画像検知ユニットが第2の場所にあるとき、非参照画像がキャプチャされる。第2の場所は、画像検知ユニットの光軸に沿って、少なくとも平行移動した分だけ、第1の場所から離される。目標の特徴の深度を推定するステップは、画像検知ユニットの光軸に沿った平行移動に基づく。
【０００７】
物体の深度を測定するためのシステムは、光源と、光源に堅く結合されるカメラと、カメラと光源のうちの少なくとも1つに結合される位置決め装置と、カメラから画像を受け取るように結合される画像プロセッサとを備えることができる。位置決め装置は、カメラおよび光源を、カメラの光軸に沿って動かすように構成される。画像は、カメラの光軸に沿って、それぞれ、前の場所でキャプチャされる前の画像、および後の場所でキャプチャされる後の画像を少なくとも含み、それぞれ、前の場所はシーンにより近く、後の場所はシーンからより遠い。画像プロセッサは、前の画像および後の画像に基づいて、物体の深度を測定するように構成される。
【０００８】
本開示のこれらおよび他の態様および特徴は、添付図面とともに、特定の実施形態の以下の記載を検討すれば、当業者には明らかとなるであろう。
【図面の簡単な説明】
【０００９】
【図１】いくつかの実施形態による撮像システムを図示する図である。
【図２】いくつかの実施形態による撮像装置を図示する図である。
【図３】いくつかの実施形態による画像検知ユニットによりキャプチャされた前の画像および後の画像を図示する図である。
【図４】いくつかの実施形態による撮像装置を図示する図である。
【図５】いくつかの実施形態による深度推定のための方法を図示する図である。
【図６】いくつかの実施形態による一致点を決定するための方法を図示する図である。
【図７】いくつかの実施形態による画像から極座標への変換を図示する図である。
【図８】いくつかの実施形態による深度推定を得るために前の画像および後の画像を処理した中間結果の簡略図である。
【図９】いくつかの実施形態による深度推定を得るためにスケーリング関数を使用して候補パッチをスケーリングした中間結果の簡略図である。
【発明を実施するための形態】
【００１０】
本開示の実施形態は、ここで、当業者が本開示を実践することができるように、本開示の説明のための例として提供される図面を参照して、詳細に記載することになる。本明細書に提供される図面は、原寸に比例しないデバイスの表現およびデバイスプロセスのフローを含む。特に、下の図および例は、本開示の範囲を単一の実施形態に限定することを意味しておらず、記載または図示された要素の一部または全部を交換することによって、他の実施形態が可能である。さらに、本開示のある種の要素が知られている構成要素を使用して部分的または完全に実装できる場合、本開示の理解のために必要なそのような知られている構成要素のそれらの部分だけが記載されることになり、そのような知られている構成要素の他の部分の詳細な記載は、本開示を曖昧にしないように省略されることになる。本明細書では、単一の構成要素を示す実施形態が限定的であると考えるべきでなくむしろ、本明細書で明示的に言及されない限り、本開示が、複数の同じ構成要素を含む他の実施形態を包含し、その逆も同様であることが意図される。さらに、出願人は、本明細書または特許請求の範囲中の任意の用語について、明示的にそのように記載されない限り、普通でない、または特殊な意味のものとみなすことは意図していない。さらに、本開示は、説明のために本明細書で言及される知られている構成要素に対する、現在および将来知られている等価物を包含する。
【００１１】
本開示は、いくつかの実施形態では、物体の深度を推定できる撮像システムを記載する。撮像システムは、可動照明ユニットと、可動照明ユニットに対して固定した場所を有する可動画像検知ユニットとを備えることができる。可動画像検知ユニットおよび可動照明ユニットが第1の場所にあるときにキャプチャされる可動画像検知ユニットからの第1の画像を受け取り、可動画像検知ユニットおよび可動照明ユニットが第1の場所とは離れた第2の場所にあるときにキャプチャされる可動画像検知ユニットからの第2の画像を受け取り、第1または第2の画像中の関心点と第1の画像の第1または第2の場所との間の距離を推定するために、プロセッサが可動撮像検知ユニットに結合することができる。
【００１２】
シーンの深度画像を取得する様々な方法がある。たとえば、能動的な方法では、撮像装置からシーンへと光を送り、応答を測定する。受動的な方法は、シーンから受け取った周囲光を分析する。飛行時間、構造化照明、およびLIDARを含む多くの方法は、追加のサイズ、コスト、および複雑さを必要とする高度な照明装置を必要とする。これらの追加の要件により、そのような技術が様々な用途にとって非実用的または望ましくないものになる。本開示は、いかなるそのような特殊化した照明装置を必要とせず、ほとんどいかなる照明光源でも動作することができる。
【００１３】
立体視およびカメラアレイを含む、いくつかの受動的な深度推定技法は、深度を推測するために異なる場所に置かれた複数のカメラを必要とする。複数のカメラを使用する1つの欠点は、コストおよび電力要件の増加である。複数のカメラは、複数の場所への配置だけでなく、注意深い場所およびスペクトル較正も必要とする。本明細書に記載される実施形態で利用される単眼カメラは、より少ない装置しか必要とせず、そのため、複数のカメラシステムよりも安くて小型とすることができ、ほとんどまたはまったく較正を必要としないこともできる。
【００１４】
いくつかの撮像システムは、ビデオ録画を含む複数の露光を通して深度画像を測定することができる。技法は、異なる場所を通して、いつカメラを動かすのかについて、または各々異なる焦点設定で複数の画像をカメラが取得することを含む。これらのシステムは、静止しているシーンに限定される。というのは、シーン内の何らかの動きが深度推定に干渉するためである。本明細書に開示されるシステムのいくつかの実施形態では、単一の露光だけが必要であり、したがって、深度画像の生成にはより少ないデータ処理が含まれ、動的なシーンについて、より確実である。
【００１５】
撮像システムの例としては、内視鏡システムが挙げられる。しかし、深度測定および/または深度画像を獲得するいくつかの試みは、既存の内視鏡ハードウェアと互換性がない可能性がある。たとえば、多くの内視鏡は、画像取得ユニットに取り付けられる照明ユニットを含む。それとは対照的に、深度測定を獲得する多くの手法は、画像取得ユニットに対して動く、複数の照明ユニットおよび/または単一の照明を必要とする。したがって、深度測定を獲得するこれらの手法は、従来型の内視鏡ハードウェアを使用すると、確実にはまたはまったく働かない可能性がある。したがって、既存の内視鏡ハードウェアと互換性がある手法を使用して、深度測定および/または深度画像を獲得することが望ましいことになる。この手法が確実および/または拡大縮小可能(たとえば、内視鏡の要件に対して最小化することが可能)であることがさらに望ましい。
【００１６】
いくつかの実施形態によれば、撮像システムは、物体を照明するように構成される可動光源と、光源に対して固定した場所を有する可動画像検知ユニットと、1つまたは複数の処理ユニットとを含むことができる。いくつかの例では、可動画像検知ユニットは、第1の場所からの物体の第1の画像および第2の場所からの物体の第2の画像をキャプチャするように構成することができる。そのような例を進めると、1つまたは複数の処理ユニットは、第1および第2の画像ならびに第1および第2の場所に関連する情報を受け取り、受け取った情報に基づいて、物体と撮像システムとの間の相対的な距離を決定するように構成することができる。
【００１７】
図1は、いくつかの実施形態による撮像システム100を図示する。撮像システム100は、可動照明ユニット102および可動画像検知ユニット104を含む。いくつかの実施形態によれば、可動照明ユニット102および可動画像検知ユニット104は、互いに固定した場所を有することができる。たとえば、可動照明ユニット102および可動画像検知ユニット104は、剛性部材106によって互いに結合することができ、および/または同じ筐体/シャーシ内に配設することができる。いくつかの例では、可動照明ユニット102および可動画像検知ユニット104は、間隙を介して実質的に並べて置くことができる。いくつかの例では、可動照明ユニット102および可動画像検知ユニット104は、互いに独立して動くことができ、その場合、2つのユニット間の距離は、一定の間隔を達成するために、各ユニットの場所を独立して調整することによって一定を保つことができる。いくつかの実施形態によれば、可動照明ユニット102および可動画像検知ユニット104は、画像検知ユニット104の光軸108に沿った平行移動107などの、1つの機械的な自由度を有することができる。いくつかの実施形態では、可動照明ユニット102および可動画像検知ユニット104は、1つまたは複数の軸に沿った平行移動および/または回転を含む、複数の機械的な自由度を有することができる。
【００１８】
処理ユニット110は、可動光源/照明ユニット102および/または可動画像検知ユニット104のうちの1つまたは複数に通信可能に結合される。いくつかの実施形態によれば、処理ユニット110は、1つまたは複数のプロセッサ構成要素、メモリ構成要素、記憶装置構成要素、ディスプレイ構成要素、ユーザインターフェースなどを含むことができる。たとえば、処理ユニット110は、生の画像データを出力画像データに変換するように適合された、1つまたは複数のマイクロプロセッサ、特定用途向け集積回路(ASIC)および/またはフィールドプログラム可能ゲートアレイ(FPGA)を含むことができる。出力画像データは、様々な非圧縮、圧縮、ラスタ、および/またはベクトルファイルフォーマットなどを含む、好適な出力ファイルフォーマットを使用してフォーマットすることができる。いくつかの実施形態によれば、処理ユニット110は、ローカルバスを使用して、画像検知ユニット104および/もしくは撮像システム100の様々な他の構成要素に結合すること、ならびに/または1つまたは複数のネットワーク構成要素を通してリモートで結合することができ、ローカル、分散、および/もしくはクラウドベースシステムなどを使用して実装することができる。
【００１９】
可動照明ユニット102および/または可動画像検知ユニット104の場所を変えるのは、手動で、および/またはたとえばアクチュエータ、サーボ機構などといった、自動化した動き制御を使用して実施することができる。いくつかの実施形態によれば、撮像システム100は、可動照明ユニット102および/または可動画像検知ユニット104の場所を調整するために使用される、場所コントローラ120を含むことができる。いくつかの実施形態によれば、場所コントローラ120は、可動照明ユニット102および/または可動画像検知ユニット104を特定の位置に動かすため、処理ユニット110からコマンドおよび/または命令を受け取ることができる。いくつかの例では、コマンドは、絶対的な場所(たとえば、直交座標および/もしくは極座標の組)、場所の相対的な変化(たとえば、変位および/もしくは回転)、ならびに/または速度を使用して目標の場所を指定する情報を含むことができる。図1では単一の場所コントローラ120が描かれているが、撮像システム100は、可動照明ユニット102と可動画像検知ユニット104の各々について異なる場所コントローラを含む、複数の場所コントローラを含むことができることを理解されたい。
【００２０】
シーン150は、撮像システム100を使用して撮像される1つまたは複数の物体155を含む。いくつかの実施形態によれば、物体155は、深度測定が求められる、シーン150中の任意の対象の特徴を含むことができる。いくつかの実施形態によれば、可動照明ユニット102は、シーン150に対する照明の唯一の重要な光源(たとえば、照明の主光源)である場合がある。そのようなシナリオは、たとえば、撮像システム100が人体内で内視鏡として使用されるときに典型的な場合がある。しかし、いくつかの実施形態では、シーン150に対して追加の照明の光源がある場合がある。そのようなシナリオは、たとえば、撮像システムが屋外写真撮影用途で使用されるときに典型的な場合がある。可動照明ユニット102がシーン150に対する照明の唯一の重要な光源でないとき、周囲照明光源に関連する悪影響を減少させるために、様々な技法を採用することができる。いくつかの例では、周囲照明の相対的な寄与を減少させることができる。たとえば、可動照明ユニット102の電力(出力強度)を増加させることができる。いくつかの例では、可動照明ユニット102および可動画像キャプチャデバイス/画像検知ユニット104は、信号対ノイズ比および電力効率を改善するために、時間的に同期させることができる。そのような実施形態と一致して、照明ユニット102は、短い時間期間に高い強度を有する光を放出するように設計することができ、その結果、周囲照明の相対的な強度を著しく減少させることができる。
【００２１】
いくつかの例では、可動照明ユニット102は、等方性照明(すなわち、全ての方向に等しく放射する照明)の光源とすることができる。しかし、いくつかの実施形態では、等方性照明は、最も適切に有効ではない場合がある。というのは、照明の一部は、シーン150へ以外の方向に進み、照明出力が無駄になる結果となるためである。したがって、いくつかの例では、可動照明ユニット102は、非等方性照明の光源であってよい。たとえば、可動照明ユニット102は、典型的には変動する角度の関数として照明を放出する1つまたは複数の発光ダイオードを含むことができる。
【００２２】
いくつかの例では、可動照明ユニット102は、可視光、紫外線放射、赤外線放射、および/またはそれらの任意の組合せを含むことができる、電磁放射の光源であってよい。いくつかの例では、可動照明ユニット102によって出力される光/放射は、偏光、非偏光、コヒーレント、非コヒーレント、パルス、連続などであってよい。いくつかの例では、可動照明ユニット102のスペクトル特性は、画像検知ユニット104の感度、シーン150の構造、および任意の周囲照明に基づいて最適化される。たとえば、可動照明ユニット102および可動画像検知ユニット104は、周囲照明がほとんどまたはまったくエネルギーを有さない、同様のスペクトル帯(たとえば、赤外光の部分)で動作するように設計することができる。いくつかの実施形態では、可動照明ユニット102によって出力される波長は、シーン150中の物体がより高い、および/または均一な反射特性を有する波長に対応することができる。
【００２３】
いくつかの実施形態によれば、照明ユニット102は、1つまたは複数の光源、レンズ、絞り、反射器などを含むことができる。いくつかの実施形態によれば、レンズ、絞り、反射器は、1つまたは複数の照明光源の角度および/または空間特性を変えるために使用することができる。たとえば、いくつかの実施形態によれば、可動照明ユニット102は、1つまたは複数の光源とシーン150との間に置かれた1つまたは複数のレンズを含むことができる。そのような実施形態と一致して、可動照明ユニット102は、物理的に小型のフォームファクタ内の遠隔光源の有利な特性を同時に達成することができる。いくつかの例では、さもなければシーン150から離れて進み無駄になることになる照明をシーン150へと向けるために、反射器が照明光源の周りに巻き付けられる場合がある。したがって、可動照明ユニット102は、動作中に、性能、機能性、および/またはエネルギー効率を最大化する様々な構成要素を含むことができる。
【００２４】
可動画像検知ユニット104は、一般的に、シーン150に関連する情報を搬送する電磁信号を、電磁信号中に含有される情報の少なくとも一部を保持する電気信号へと変換するのに好適な任意のデバイスを含む。いくつかの実施形態によれば、可動画像検知ユニット104は、カメラおよび/またはビデオ録画器を含むことができる。いくつかの実施形態によれば、可動画像検知ユニット104は、入射電磁信号に含有される画像のデジタル表現を生成することができる。デジタル表現は、画素へと空間的に離散化される生の画像データを含むことができる。たとえば、生の画像データは、RAW画像ファイルとしてフォーマットすることができる。いくつかの例によれば、可動画像検知ユニット104としては、電荷結合デバイス(CCD)センサ、アクティブピクセルセンサ、相補型金属酸化物半導体(CMOS)センサ、N型金属酸化物半導体(NMOS)センサなどが挙げられる。いくつかの実施形態によれば、可動画像検知ユニット104は、モノリシック集積センサを含むことができ、および/または複数の個別構成要素を含むことができる。いくつかの実施形態によれば、可動画像検知ユニット104は、色フィルタ、レンズ、増幅器、アナログデジタル(A/D)変換器、画像エンコーダ、制御ロジックなどの追加の光学および/または電子構成要素を含むことができる。
【００２５】
いくつかの実施形態によれば、可動画像検知ユニット104は、第1の場所からのシーン150の第1の画像および第2の場所からのシーン150の第2の画像をキャプチャするように構成することができる。いくつかの例では、第1の場所と第2の場所は、可動画像キャプチャユニット150の光軸に沿って距離Δだけ離れることができる。そのような例と一致して、場所コントローラ120を使用して、光軸に沿った距離Δだけ可動画像検知ユニット104の平行移動を実現することができる。第1の場所および第2の場所が可動画像検知ユニット104の光軸に沿ってそれぞれ配置されるとき、シーンからより遠い場所を後の場所と呼び、シーンにより近い場所を前の場所と呼ぶ。可動画像検知ユニット104の光軸に沿った平行移動に加えて、および/または平行移動の代わりに、可動画像検知ユニット104の様々な他の平行移動および/または回転が、第1の画像と第2の画像のキャプチャ間で生じる場合があることを理解されたい。
【００２６】
可動照明ユニット102と可動画像検知ユニット104の相対的な位置決めが固定されているために、可動照明ユニット102は、可動画像検知ユニット104との一定の関係を維持するために、第1の画像と第2の画像のキャプチャ間で、対応する平行移動および/または回転を受ける。いくつかの実施形態によれば、可動照明ユニット102によって出力される光/放射の強度は、第1の場所と第2の場所で同じであってよい。しかし、いくつかの例では、可動照明ユニット102によって出力される光/放射の強度が変動してよい。たとえば、後の場所よりも前の場所でより低い強度を使用することによって、キャプチャされる画像を適切に露光することができ、これは、両方の場所で同じ強度が照明ユニットによって使用される場合には生じることができない。具体的には、適切に露光された画像は、画像の雑音が多く暗い領域を回避するのに十分明るいが、画像のかなりの部分が飽和するほど明るくない。そのような実施形態を進めると、前の場所および後の場所での可動照明ユニット102の強度は、以前に取得した画像に基づいて動的に調整することができる。動的に調整される強度の決定は、処理ユニット110が行うことができ、この場合、可動照明ユニット102は、所望の強度を示す処理ユニット110からの信号を受け取ることができる。
【００２７】
いくつかの実施形態によれば、可動画像検知ユニット104は、第1の画像および第2の画像に加えて、画像をキャプチャするように構成することができる。いくつかの例では、第1の画像および第2の画像は、可動画像検知ユニット104がキャプチャした3つ以上の画像のシーケンスから選択することができる。いくつかの実施形態では、可動画像検知ユニット104は、ビデオフレームレートで画像を連続的に取得することができる。
【００２８】
図1に描かれているように、前の画像および後の画像をキャプチャするために、同じ画像検知ユニット(可動画像検知ユニット104)および照明ユニット(可動照明ユニット102)が使用される。しかし、様々な実施形態では、前の画像および後の画像をそれぞれキャプチャするために、異なる画像検知ユニットおよび/または対応する異なる照明ユニットを使用できることを理解されたい。そのような実施形態によれば、異なる照明ユニットおよび/または異なる画像検知ユニットのうちの1つまたは複数が移動可能でない場合がある。
【００２９】
図2は、いくつかの実施形態による撮像装置200を図示する。撮像装置200は、照明ユニット210および画像取得または画像検知ユニット220を含む。図1と一致するいくつかの実施形態によれば、照明ユニット210は、可動照明ユニット102に対応することができ、画像検知ユニット220は、可動画像検知ユニット104に対応することができる。
【００３０】
照明ユニット210は、1つまたは複数の照明光源215を含む。いくつかの例では、照明ユニット210は、単一の照明光源215を含むことができる。しかし、照明の出力強度、均一性、および/または他の所望の特性を高めるために、照明ユニット210は、図2に描かれているような複数の照明光源215を含むことができる。いくつかの実施形態によれば、画像検知ユニット220によって撮像されるシーンにおいて、複数の照明光源の各々が物体からほぼ同じ距離になるように、複数の照明光源215を配置することができる。そのような実施形態と一致して、複数の照明光源を、円環構成で配置することができる。環状配置は、光のリングまたは照明光源215に対して中心からずれている物体を含む、シーン中の物体の高度に均一な照明を可能にすることができる。より具体的には、リングの近い側で照明光源215から不釣り合いに大量の照明を受ける中心からずれている物体は、リングの遠い側で照明光源215から不釣り合いに少量の照明を受けることになる。この組み込まれた補償メカニズムによって、シーン中の物体の均一な照明がもたらされる。
【００３１】
いくつかの実施形態によれば、画像検知ユニット220の全部または一部は、照明光源215のリング内にあってよい。たとえば、図2に描かれているように、カメラレンズに対応する画像検知ユニット220の部分は、照明光源215のリングの中心または中心近くに位置決めされる。いくつかの例では、この配置は、いくつかの理由で有利であることを見いだすことができる。第1に、画像検知ユニット220の視野内でシーンの全体近くが、照明ユニット210からの照明を受け取る。第2に、画像検知ユニット220とシーン中の物体を結ぶ線と照明ユニット210と物体を結ぶ線との間が大きい角度となるように、点照明源(たとえば、単一の照明光源)が置かれるときに発生する可能性がある問題をこの配置が回避する。具体的には、後者の配置では、画像検知ユニット220が見ることができる物体が、障害(たとえば、陰影妨害)に起因して、照明ユニット210によって照明されない可能性がある。いくつかの実施形態では、シーン中で陰になった物体の深度は、正確には決定することができない。こうして、画像検知ユニット220が照明光源215のリング内にあるとき、陰影妨害の問題を減少および/またはなくすことができる。
【００３２】
図3は、いくつかの実施形態による可動画像検知ユニット104などの画像検知ユニットによってキャプチャされた参照画像310および非参照画像320を図示する。参照画像310および非参照画像320は、画像検知ユニットがその光軸に沿った平行移動を受ける前後にキャプチャされた、シーン150などのシーンの画像に対応する。
【００３３】
参照画像310中の参照点312が、深度推定を実施するために選択され、参照場所における画像検知ユニットと参照点312に対応するシーン中の位置との間の距離を決定する。いくつかの例では、参照点312は、手動および/または自動で選択することができる参照画像310中の目標の特徴および/または他の対象の特徴に対応することができる。いくつかの例では、参照画像310中の複数の点が参照点として選択される。いくつかの例では、参照画像310中の点の全部が参照点として選択され、この場合、深度画像、すなわち画像中の各点についての深度推定が計算されている画像、が得られる。説明のために、図3に単一の参照点312が描かれている。参照点312は参照パッチ314内にあり、参照パッチ314は、参照画像310内の特定の領域または点に対応する。
【００３４】
非参照画像320を参照すると、点322は、参照画像310内の参照点312と同じ、非参照画像320内の相対的な場所に(たとえば、同じ画像座標および/または同じ画素アドレスに)ある。点324は、非参照画像に見られるような、参照画像をキャプチャするために使用される場所における、撮像システムの光学中心の投影を示すエピ極324である。画像検知ユニットがその光軸に沿って動き、何らかの他の平行移動および/または回転を受けなかった実施形態では、点324は、非参照画像320の中心にある。エピポーラ線326は、エピ極324から点322を通り非参照画像320の端まで延びる。線326に沿った各点、および/またはエピポーラ線326に沿った点の部分集合は、候補点と呼ばれる。画像検知ユニットがその光軸に沿って動き、何らかの他の平行移動および/または回転を受けなかった実施形態では、エピポーラ線326上に候補点のうちの1つが、シーン中の同じ物体を見る観点から、参照点312に対応する。これは、画像検知ユニットがその光軸に沿ってシーンにより近づく、および/またはシーンから離れるように動かされるとき、シーン中の点の位置が画像の中心点から広がる放射状の線に沿って平行移動するという一般原理から導かれる。平行移動の大きさは、画像検知ユニットに対するシーン中の点の深度に依存する。画像検知ユニットがその光軸に沿った以外の、平行移動および/または回転を受けた実施形態では、そのような平行移動および/または回転は、当業者には容易に明らかとなる補正技法を使用することによって、候補点を決定するときに説明することができる。
【００３５】
候補点のうちのどれが参照点312に対応するのかを確認するために、非参照点328が候補点から選択される。非参照点328は非参照パッチ330内にあり、非参照パッチ330は、非参照画像320内の特定の領域または点に対応する。非参照パッチ330に関連するコストは、非参照パッチ330と参照パッチ314との間の類似性を数量化するコスト関数を使用して計算される。コスト関数は、図4を参照して下で記載される。いくつかの実施形態によれば、各候補点のコストがコスト関数を使用して計算され、候補点の中で最小のコストを有する点が、参照点312と一致すると決定される。
【００３６】
図4は、いくつかの実施形態による撮像装置400を図示する。図1〜図3と一致するいくつかの実施形態によれば、図4に描かれている特徴が、コスト関数の特性を図示する。照明ユニット102などの照明ユニットの動きは、それぞれ後の場所および前の場所に描かれている照明ユニット402a〜bによって表される。同様に、画像検知ユニット104などの画像検知ユニットの動きは、それぞれ後の場所および前の場所に描かれている画像検知ユニット404a〜bによって表される。画像検知ユニット404a〜bは、物体455の画像を取得するように構成される。物体点460は、物体455の表面にある。照明ユニット402a〜bがそれぞれ後の場所および前の場所にあるとき、変位ベクトル462および464は、照明ユニット402a〜bと物体点460との間の距離を表す。表面法線ベクトル466は、物体点460における、物体455の表面法線を表す。
【００３７】
いくつかの実施形態によれば、コスト関数は、次式で表すことができる。
【００３８】
【数１】
2019516977.tif 000003
【００３９】
この式では、xがコストを表し、cがコスト関数を表し、sがスケーリング関数を表し、rbおよびrfがそれぞれ後方半径および前方半径を表し、
【００４０】
【数２】
2019516977.tif 000004
【００４１】
および
【００４２】
【数３】
2019516977.tif 000005
【００４３】
が、それぞれ、キャプチャされた画像から抽出しベクトルへと構成された後方パッチおよび前方パッチに関連する光強度測定値を表す。
【００４４】
後方半径および前方半径は、それぞれ、後の点および前の点と、画像の相対的な中心における中心点との間の距離である。これらの距離は、一般的に、可動画像検知ユニット104に含まれる画像センサ上の物理的な単位を使用して測定される。いくつかの例では、これらの後方半径および前方半径は、画素の単位で距離を計算し、センサの画素ピッチを乗算することによって決定することができる。
【００４５】
上式は、スケーリング関数を含まない簡略化したコスト関数
【００４６】
【数４】
2019516977.tif 000006
【００４７】
と対比させることができる。たとえば、簡略化したコスト関数は、2乗誤差の和および/または差の絶対値の和の技法を採用することができる。しかし、これらの簡略化したコスト関数は、照明ユニットと画像検知ユニットが互いに固定した関係で動く、撮像システム100などの撮像システムを使用するときの、正確なコスト決定には好都合でない場合がある。そのような撮像システムを使用するとき、スケーリング関数を使用して、前の画像と後の画像との間の照明の変化を考慮する。
【００４８】
いくつかの実施形態によれば、スケーリング関数は、次式で表すことができる。
【００４９】
【数５】
2019516977.tif 000007
【００５０】
上式で、αfは、画像検知ユニットの光軸と変位ベクトルとの間の角度である。例として図4を参照すると、画像検知ユニットは404bとなり、変位ベクトルは464となる。
【００５１】
この式では、ρは
【００５２】
【数６】
2019516977.tif 000008
【００５３】
によって与えられる比であり、fは画像検知ユニットの焦点距離を表し、αfは
【００５４】
【数７】
2019516977.tif 000009
【００５５】
によって与えられる。比
【００５６】
【数８】
2019516977.tif 000010
【００５７】
を参照して、θbおよびθfは、それぞれ後方角度および前方角度を表す。後方角度は、表面法線ベクトル466と変位ベクトル462との間の角度であり、前方角度は、表面法線ベクトル466と変位ベクトル464との間の角度である。実際には、θbおよびθfの値は未知数であってよい。そのような場合、等角仮定を適用することができ、θbおよびθfが同じであると仮定され、ρは1であると仮定される。いくつかの例では、様々な技法によって、ρのより正確な推定を決定することができる。たとえば、1つのそのような技法としては、1などの一定のρの推定値(すなわち、等角仮定)、ならびに/または画像中の場所および観察されるシーンの幾何形状についての仮定に基づいて変わるρの値を使用して深度の最初の推定値を作成することが挙げられる。次いで、そのような深度の最初の推定値を使用して、深度推定から表面法線を計算し、θbおよびθfからρを直接計算することによって、ρのより正確な推定値を作成することができる。次いで、改善したρの値を使用して、より正確な深度画像を作成することができる。深度とρを交互に推定するそのような反復手法は、単に1つの可能な手法であり、当業者には多くの他の手法がわかることを理解されたい。
【００５８】
このコスト関数は、以下のような、図9のグラフ中のスケール対視差のプロットを参照して、直観的に説明することができる。候補点が参照点に非常に近いとき、すなわち、視差が小さいとき、参照点と候補点の両方に対応するシーン中の位置は非常に離れている。これは、画像検知システムの平行移動が、シーン中の遠い位置と比較して比較的小さい平行移動であることに起因して、点の見え方をほんのわずかに変えさせたことのためである。このイベントでは、2つの画像のキャプチャ間で、シーン中の位置の照明の変化(たとえば強度差)は、2乗減衰則に基づいて非常に小さい。この場合には、スケーリング係数の値は、1に近い。後方パッチおよび前方パッチは、それらがほとんど等しいはずであるので、ほぼ直接比較される。
【００５９】
これに代えて、参照点と候補点が互いから遠いとき、すなわち、視差が大きいとき、参照点と候補点の両方に対応するシーン中の点は、前の場所に比較的近い。画像検知システムの前への平行移動は、シーン中の点への比較的近い距離と比較してかなりの平行移動であることに起因して、点の見え方を非常に大きく変えさせた。したがって、シーン中の点と照明ユニットとの間の距離の比較的大きい差のために、2乗減衰則に従って、前の画像における値は、後の画像よりもはるかに明るい。この場合、後方パッチの明るさを高めるために、スケーリング係数は1よりも大きい。照明の効果が除去されたため、スケールアップした後方パッチと前方パッチをここで直接比較することができる。
【００６０】
たとえば、撮像システムの構成要素の制限および/または非理想性を考慮するために、様々な補正を上の計算に含めることができることを理解されたい。いくつかの例では、照明ユニットが非等方性である(すなわち、シーンにわたる様々な方向で照明強度に著しいばらつきがある)とき、コストおよびスケーリング係数計算を実施する前に、照明ユニットの角度分布を適切に較正することができる。そのような実施形態と一致して、非等方性照明ユニットからの角度に対応する異なる強度を考慮するために、適したスカラー倍率を測定値に適用することができる。
【００６１】
図5は、いくつかの実施形態による深度推定のための方法500を図示する。いくつかの実施形態によれば、方法500は、図1中の処理ユニット110などのプロセッサによって実施することができる。
【００６２】
図1および図5を参照すると、プロセス510において、参照画像および非参照画像が受け取られる。いくつかの実施形態によれば、参照画像および非参照画像は、画像検知ユニット104などの画像検知ユニットを使用してキャプチャされる。いくつかの実施形態によれば、参照画像は、画像検知ユニットおよび照明ユニット102などの照明ユニットが第1の場所にあるときにキャプチャすることができ、非参照画像は、画像検知ユニットおよび照明ユニットが第1の場所とは離れた第2の場所にあるときにキャプチャすることができる。いくつかの実施形態によれば、第1の場所および第2の場所は、プロセッサによって決定されて、画像検知ユニット104を第1の場所および第2の場所に動かすように構成される場所コントローラ120などの場所コントローラに送信することができる。いくつかの実施形態によれば、複数の画像を、第1の場所および第2の場所の各々でキャプチャすることができ、ここで、複数の画像の各々が異なる照明強度でキャプチャされる。そのような実施形態と一致して、シーン内の様々な領域が適切に露光される(たとえば、ノイズを低減するのに十分明るいが、飽和を引き起こすほど明るくない)ように、第1の画像および第2の画像を複数の画像から合成することができる。いくつかの実施形態によれば、プロセス510は、ビデオストリームなどの画像のストリームを受け取るステップ、および画像ストリームのフレームから、参照画像および非参照画像を選択するステップを含むことができる。たとえば、第1の場所と第2の場所との間にかなりの変位が生じるように、非参照画像および参照画像は、連続フレームおよび/または不連続フレームに対応することができる。
【００６３】
いくつかの実施形態によれば、プロセス510期間に受け取る前、受け取る間、および/または受け取った後に、様々な画像処理技法を、参照画像および非参照画像のうちの1つまたは複数に適用することができる。いくつかの実施形態によれば、画像検知ユニットに関連する幾何学的な歪は、当業者に知られている技法を使用して除去することができる。いくつかの実施形態によれば、当業者に知られている、適応型ぼかしなどのノイズ低減技法および/または他のノイズ低減技法を画像に適用することができる。いくつかの実施形態によれば、照明が照明ユニットから画像検知ユニットに直接戻って反射されて局所的な飽和の引き起こす領域、および/またはたとえば陰影妨害に起因して照明によって照らされない領域を含む問題領域を検出することができる。いくつかの実施形態によれば、問題領域の深度は、下に記載される技法を使用して正確に推定することができないが、代わりに、近くの領域、および/または問題領域のために具体的に開発される代替技法を使用して推定することができる。いくつかの実施形態によれば、周囲光を画像から除去することができる。たとえば、照明ユニットからのいかなる照明もなしに、ベースライン画像を各場所で取得することができ、参照画像および/または非参照画像から周囲光を除去するために、参照画像および/または非参照画像からベースライン画像を減算することができる。いくつかの実施形態によれば、特に周囲光の量が低くノイズの多い画像を起こしやすいとき、ノイズ低減技法をベースライン画像に適用することができる。
【００６４】
プロセス520において、参照画像中の参照点が選択される。いくつかの実施形態によれば、参照点は、関心点と第1の場所または第2の場所との間の距離を知ることが求められる任意の関心点であってよい。たとえば、参照点は、参照画像によってキャプチャされるシーン中の物体上の点であってよい。いくつかの実施形態によれば、深度画像を形成するとき、参照画像中の点および/または画素の各々を参照点として選択することができる。
【００６５】
プロセス530において、非参照画像中の候補点が決定される。候補点とは、シーン中で同じ絶対的な3次元位置に対応する、シーン中の参照点と一致すると考えることができる点である。たとえば、参照点がシーン中の位置に対応するとき、候補点は、シーン中の同じ位置に潜在的に対応する第2の画像中の点の組である。候補点は、第1の場所と第2の場所との間の差に依存する。いくつかの実施形態によれば、第1の場所と第2の場所との間の差は、画像検知ユニットの光軸に沿った平行移動である。そのような実施形態を進めると、候補点は、非参照画像のエピ極324から、参照画像内の参照点と同じ非参照画像内の相対的な場所(たとえば、座標および/または画素アドレス)を有する点を通って延びるエピポーラ線326上にある点の組であってよい。いくつかの実施形態では、候補点を決定する前に、非参照画像を極座標系へと変換することができる。そのような実施形態を進めると、候補点は、参照画像内の参照点のように、第2の画像内の一定角度および変化する半径の直線上にある点の組であってよい。いくつかの実施形態によれば、第1の場所と第2の場所との間の差は、画像検知ユニットの光軸以外の軸に沿った動きおよび/または回転を含むことができる。そのような実施形態を進めると、候補点は、平行移動および/または回転を考慮するのに適した補正を適用することによって決定することができる。
【００６６】
いくつかの例では、候補点は、候補点が対応する後方半径値に関して、等しく離間されてよい。いくつかの例では、候補点の合計数は、所望の計算速度、深度の精度、および/または画像の解像度に基づいて選択することができる。いくつかの例では、より効率的で正確に深度を測定するために、等しい間隔を使用しないことが望ましい場合がある。
【００６７】
本開示の別の実施形態は、深度値にわたって繰り返すことによる候補点の選択を含む。選択して可能な深度値にわたって繰り返すことによって、参照点の場所に基づいて変わることがない可能な深度推定のサンプリングが生成される。上で記載したような、等しく離間した後方半径値にわたる繰り返しでは、そのような均一なサンプリングは達成されない。こうして、等しく離間した深度値による候補点を選択することによって、精度および/または速度の改善を得ることができる。いくつかの実施形態によれば、特定の前方深度に対応する後方半径は、次式を使用して決定することができる。
【００６８】
【数９】
2019516977.tif 000011
【００６９】
この式では、dfが前方深度を表す。このようにして、(後方半径値に対応する)候補点は、前方深度に基づいて指定することができる。
【００７０】
候補点は、撮像システムならびに/または第1の場所および/もしくは第2の場所の構成に基づいて限定される場合がある。いくつかの実施形態によれば、最小の後方半径値は、撮像ハードウェアおよび/または前の点の場所に基づいて指定することができる。たとえば、画像検知ユニットの最小焦点距離は、推定することができる前方距離についての下側の境界を定めることができる。いくつかの例では、最小後方半径は、後方半径についての実用的な下側の限界を設定できる、撮像システムの意図される用途に基づいて選択することができる。したがって、最小焦点距離未満の前方距離に対応する候補点を取り除くことができる。いくつかの実施形態によれば、最大後方半径を同様に指定することができる。たとえば、参照点の前方半径よりも大きい後方半径に対応する候補点は、画像検知ユニットが後へ動くと点が画像の中心へとシフトするために、取り除くことができる。こうして、一致点の後方半径は、参照点の前方半径よりも小さいように限定される。
【００７１】
プロセス540において、非参照画像中の一致点が決定される。一致点は、参照画像内の参照点と同じシーン中の3次元位置(たとえば、シーン中の物体の表面上の点)に対応する非参照画像中の点である。いくつかの実施形態によれば、一致点は、プロセス530で決定される候補点のうちの1つに対応することができる。いくつかの例では、図6および図7を参照して下でさらに詳細に議論されるように、コスト関数を使用して、候補点のどれが最も一致点となる可能性があるかを決定することができる。
【００７２】
プロセス550において、参照点の深度が決定される。いくつかの実施形態によれば、深度は、参照点と第1の場所または第2の場所との間の距離に対応することができる。いくつかの例では、深度は、図4を参照して上で記載されたように、前方半径と後方半径との間の差に基づいて決定することができる。いくつかの実施形態では、深度は、下の式18を使用して計算される。
【００７３】
いくつかの例では、方法500は、プロセス550において終わることができる。しかし、いくつかの実施形態では、プロセス520〜550は、参照画像中の複数の点の深度を決定するために、繰り返して実施することができる。たとえば、深度画像を形成するために、プロセス520〜550は、参照点として、参照画像中の各点を使用して実施することができる。いくつかの実施形態によれば、プロセス520〜550は、参照画像中の複数の点で、連続して、および/または並列に実施することができる。さらに、方法500を使用して得られた測定値および/または深度画像に、後処理を実施することができる。後処理の例としては、ノイズ、信頼できない推定を除去するステップ、および/または信頼できる深度推定が得られなかった区域を識別するステップを含む。後処理の技法は、多くのシーンの3D幾何形状の特性がゆっくり変わることに起因して、深度画像で特に有効な場合がある。たとえば、信頼できる深度推定が得られなかった区域は、深度画像中の近くの値を使用することによって是正することができる。
【００７４】
図6は、いくつかの実施形態による一致点を決定するための方法600を図示する。図1〜図5と一致するいくつかの実施形態によれば、方法600は、非参照画像中の一致点を決定するための、プロセス540の実装とすることができる。いくつかの実施形態によれば、方法600は、処理ユニット110などのプロセッサによって実施することができる。
【００７５】
プロセス610において、参照点に関連する参照パッチが抽出される。いくつかの実施形態によれば、参照パッチは、参照点を囲む領域に対応することができる。パッチは、ほぼ矩形、くさび形、または円形などの固定した形状を有することができる。いくつかの実施形態によれば、パッチのサイズが画像での場所に基づいて変わることが望ましい場合がある。たとえば、画像の中心近くでより小さいパッチが望ましい場合がある。画像の端または中心の近くでは、画像の端または中心の近くの領域中の有用な画素が限られた数であることに起因して、関連する点の中心にない1つまたは複数のより小さいパッチが望ましい場合がある。
【００７６】
プロセス620において、候補点が選択され、候補点に関連する非参照点が抽出される。いくつかの実施形態によれば、プロセス530で決定された候補点にわたって繰り返すことによって、候補点を選択することができる。一度候補点が選択および/または決定されると、選択された候補点を囲む領域に対応する非参照パッチを抽出することができる。
【００７７】
プロセス630において、非参照パッチの照明強度は、スケーリング関数を使用して補正される。いくつかの実施形態によれば、第1の画像と第2の画像との間の照明ユニットの動きが、逆2乗則に基づいて照明を変えさせる。図4を参照して上で記載されたように、照明中のこの変化を補正するために、非参照パッチの強度は、スケーリング関数s(rb,rf)で乗算することができる。
【００７８】
プロセス640において、非参照パッチのコストが決定されて記憶される。図4を参照して上で議論したように、コストは、コスト関数
【００７９】
【数１０】
2019516977.tif 000012
【００８０】
を使用して決定することができる。いくつかの実施形態によれば、より低いコストは、非参照パッチが参照パッチにより類似しており、したがって、シーン中の同じ3次元位置に対応する可能性がより高いことを示す。
【００８１】
プロセス650において、候補点は、最初から最後まで繰り返される。いくつかの実施形態によれば、プロセス640の後に、新しい候補点が選択され、方法600は、プロセス620に進んで、新しい候補点のコストを決定する。いくつかの実施形態によれば、方法600は、候補の全部についてのコストが計算されると、プロセス660に進む。
【００８２】
プロセス660において、最小コストを有する候補点に基づいて一致点が決定される。すなわち、一致点とは、コスト関数に基づいて、参照点に最も類似していると識別された候補点である。一度一致点が決定されると、方法600が終わり、方法500は、プロセス550に進み、一致点に基づいて参照点の深度を決定することができる。
【００８３】
図7は、いくつかの実施形態による画像から極座標への変換700を図示する。いくつかの実施形態によれば、本明細書に開示される計算をより効率的に実施するために、後の画像および/または前の画像に変換700を最初に適用するのが役立つ場合がある。変換700を適用することによって、参照点および候補点に関連するパッチをより効率的に抽出することができる。
【００８４】
いくつかの実施形態によれば、元の画像710から極座標への変換は、下にある画素配置に関係することなく、変換した画像720からパッチを抽出することを可能にする場合がある。たとえば、いくつかの実施形態によれば、元の画像710中の全ての候補点は、エピポーラ線711に沿っており、エピ極または中心点712から外側に延びる。変換なしでは、候補点は、一般的に画素位置の中心になく、そのため、不整合な画素グリッドに起因して、各々のパッチについて何らかの補間が必要な可能性がある。そのような変換を最初に実施することによって、全部の候補点についてのパッチが、補間なしに、変換した画像720の垂直および/または水平線に沿ってアクセス可能となる。
【００８５】
元の画像710では、円713は中心点712に対して一定の半径を有する。変換した画像720では、線711は水平線721に変換され、円713は、垂直線723に変換される。いくつかの例によれば、変換した画像720中の各点は、元の画像710中の点に対応することができる。いくつかの実施形態によれば、変換した画像720は、極座標系に基づく。いくつかの例によれば、元の画像710中のパッチ715は、変換した画像720中の対応するパッチ725と同じ情報の多くを含むことができる。しかし、空間変換に起因して、いくつかの差が生じる可能性がある。これらの差を考慮するために、いくつかの例では、2つの画像間でパッチを比較するため、参照画像と非参照画像の両方に同じ変換を適用することができる。
【００８６】
図8は、いくつかの実施形態に従い深度推定を得るため、前の画像810および後の画像820を処理した中間結果800の簡略図である。図1〜図7と一致するいくつかの実施形態によれば、前の画像810および/または後の画像820は、画像取得ユニット220などの画像取得ユニットを使用して獲得し、方法500などの深度推定のための方法を使用して処理することができる。
【００８７】
最初に、前の画像810および後の画像820が直交座標から極座標に変換され、変換した前の画像830および変換した後の画像840が得られる。次に、変換した前の画像830中で参照パッチ850が選択され、参照パッチ850に対応する候補パッチ852〜858が変換した後の画像中で決定される。候補パッチ852〜858は、各々、変換した後の画像840中の水平線(すなわち、エピポーラ線)に沿っており、水平線は、変換した前の画像830内の参照パッチ850と同じ変換した後の画像840内の垂直の場所にある。候補パッチ852〜858は、各々、視差値(すなわち、所与の候補パッチと参照パッチ850との間の画素におけるオフセット)によって表されるような、水平線に沿った2つの画素によって隔てられる。
【００８８】
次に、コスト対視差プロット860に描かれるように、コスト関数を使用して、候補パッチ852〜858の各々についてコストが計算される。より低いコストは、所与の候補点が参照パッチ850により類似しており、一方より高いコストは、所与の候補点が参照パッチ850にあまり類似していないことを示す。プロット860中に示されるように、4画素の視差を有する候補点856が最も低いコスト(すなわち、最も高い一致)を有する。前の画像810および後の画像820を得るために使用される装置の知られている幾何形状に基づいて、4画素の値を深度推定へと変換するために、その後の計算を実施することができる。
【００８９】
図9は、いくつかの実施形態に従い深度推定を得るため、スケーリング関数を使用して候補パッチ852〜858をスケーリングした中間結果900の簡略図である。図8と一致するいくつかの実施形態によれば、スケーリング関数の使用によって、スケーリング関数を使用しない実施形態と比較して、深度推定のより確実な決定をもたらすことができる。特に、スケーリング関数は、前の画像810に対して後の画像820をキャプチャするとき、シーンからさらに離れて動く照明光源を考慮する。照明ユニットの動きは、逆2乗則に基づいて、前の画像810よりも後の画像820の特徴が暗い結果になる。スケーリング関数は、スケール対視差プロット910を使用して図示される。プロット910に描かれるように、所与の候補点についての特定のスケーリング係数は、視差と前方半径(すなわち、変換した前の画像830内の参照パッチ850の水平座標)の両方の関数である。スケーリングした候補パッチ952〜958は、候補パッチ852〜858の強度を、プロット910中に描かれるスケーリング関数に基づいた対応するスケーリング係数で乗算することによって生成される。スケーリング後に、スケーリングした候補パッチ952〜958の各々のコストが、コスト関数を使用して計算される。図9に図示されるように、コスト関数は、スケーリングに起因してより確実である。たとえば、スケーリング関数が強度を「色あせ」させたために、スケーリングした候補パッチ958は、候補パッチ858と比較して、参照パッチ850に最も一致すると誤って識別する可能性が低い。
【００９０】
（スケーリング関数の導出）
単一の光源から全体的に照明されるシーンを考える。逆2乗則に従って、光の伝播の方向に垂直に配向された固定した面積を有する小さい平面領域に入る光の量は、光源と平面との間の距離の2乗に逆比例する。平面が伝播の方向に垂直に配向されていない場合、そこに入る光の量は減少する。diを、光源と平面の中心との間の距離とする。θiを平面の法線と光の伝播の方向との間の角度とする。光源からそのような配向と距離で平面に入る光の量は、
【００９１】
【数１１】
2019516977.tif 000013
【００９２】
に比例する。
【００９３】
シーン中の物体および1点における物体の表面に垂直な小さい平面を考える。入射光の一部は、この点から反射され、撮像システムによって測定されることになる。測定値は次式によって与えられることになる。
【００９４】
【数１２】
2019516977.tif 000014
【００９５】
上式で、cは、物体のアルベド、照明ユニットの明るさ、およびカメラの光電変換を考慮に入れた定数である。この定数が物体の距離または配向に依存しないことに留意されたい。ここで、測定値が光の量と線形に関係すると仮定され、これは、ガンマ変換などの後処理が適用されないことを意味する。
【００９６】
図4に関して上で記載したように、θbを表面法線ベクトル466と変位ベクトル462との間の角度とする。同様に、θfを表面法線ベクトル466と変位ベクトル464との間の角度とする。物体点460に対応する後の画像中の後の点を考える。また、物体点460に対応する前の画像中の前の点を考える。mbおよびmfを、それぞれ、後の画像および前の画像中のこれらの点における値とする。以下の式は、測定値をモデル化するために使用される。
【００９７】
【数１３】
2019516977.tif 000015
【００９８】
【数１４】
2019516977.tif 000016
【００９９】
全体システムに変化がないために、両方の式で同じ定数kが使用されていることに注意されたい。たとえば、カメラおよびシーンは動かなかったと仮定されるために、物体のアルベドは同じである。前の画像および後の画像をキャプチャする期間の照明ユニットの強度は、等しいまたは適切にスケーリングされたと仮定されている。いくつかの例では、同じカメラを使用することができ、そのため、両方の画像について光電変換は同じであると仮定され、または事前に取り除かれる。
【０１００】
加えて、双方向反射率分布関数が、変位ベクトル462および464の対応する方向についてほぼ等しい値を有するように仮定される。そのような仮定は、ほぼランバーシアン(Lambertian)である多くの物体について有効である。変位ベクトル462と464が同じ方向として近似することができるために、この仮定は、ほとんどの物体で有効であり、ハードウェアの典型的な配置構成である。この仮定は、1つの照明ユニットから撮像システムへの鏡面を生成し得る幾何学的な構成に近い鏡面反射については無効な場合がある。しかし、そのような鏡面反射は、特有の幾何学的な方位についてだけ生じ、したがって、表面法線の決定および深度の推定を可能にすることができる。
【０１０１】
定数cを消去するために、式5と式6を組み合わせることができ、次式が得られる。
【０１０２】
【数１５】
2019516977.tif 000017
【０１０３】
【数１６】
2019516977.tif 000018
【０１０４】
とする。この場合、式7は、次式となるように解くことができる。
【０１０５】
【数１７】
2019516977.tif 000019
【０１０６】
（ρの値）
ρの値は、1であると合理的に仮定することができ、これは、cosθb=cosθfを意味し、等角仮定と呼ぶこととする。たとえば、仮定は、前の場所および後の場所で、ほぼ照明ユニットの方向に表面法線を有する物体について有効である。これらの表面では、cosθbおよびcosθfは、両方とも1に近い。1に近いコサイン値では、コサイン関数は比較的平坦である(導関数が0に近い)ために、角度の小さい変動では、ほぼ同じコサイン値が得られる。したがって、そのような形状を有する表面は、その場所にかかわらず、仮定を満たす。最も簡単な形式では、開示される方法は、全ての点について、1の値を使用して実行される場合がある。
【０１０７】
（幾何形状）
図4を参照して、αbを、画像検知ユニット404aの光軸と変位ベクトル462との間の角度とする。αfを、画像検知ユニット404bの光軸と変位ベクトル464との間の角度とする。シーン中の物体点460、後の場所402aにおける照明ユニット、および前の場所402bにおける照明ユニットによって形成される三角形を考える。三角形の1つの辺が変位ベクトル464であり、長さdfを有する。三角形の別の辺が変位ベクトル462であり、長さdbを有する。三角形の第3の辺が前の場所と後の場所における照明ユニット404aと照明ユニット404bとの間の変位であり、長さΔを有する。以下の式は、三角形にコサインの法則を適用することから得られる。
db2=df2+Δ2-2Δdfcos(π-αf)  式9
【０１０８】
これは、三角恒等式を適用することによって簡略化することができる。
db2=df2+Δ2+2Δdfcos(αf)  式10
【０１０９】
式8と式10を組み合わせて以下の式を得ることができる。
【０１１０】
【数１８】
2019516977.tif 000020
【０１１１】
測定値の比は、以下の式によって与えられる。
【０１１２】
【数１９】
2019516977.tif 000021
【０１１３】
以下の式は、三角形にサインの法則を適用することから得られる。
【０１１４】
【数２０】
2019516977.tif 000022
【０１１５】
これは、次式へと簡略化することができる。
【０１１６】
【数２１】
2019516977.tif 000023
【０１１７】
以下の式は、理想的な薄いレンズの中心を通過する光線を考慮することによって導出することができる。
【０１１８】
【数２２】
2019516977.tif 000024
【０１１９】
【数２３】
2019516977.tif 000025
【０１２０】
式14と式15を組み合わせて以下の式を得ることができる。
【０１２１】
【数２４】
2019516977.tif 000026
【０１２２】
dfについて式17を解く。
【０１２３】
【数２５】
2019516977.tif 000027
【０１２４】
式12と式18によって次式が得られる。
【０１２５】
【数２６】
2019516977.tif 000028
【０１２６】
参照点と非参照点がシーン中の同じ点、たとえば物体点460に対応する場合、式19は、測定値の比を与える。この比は、照明光源からシーン中の点、たとえば物体点460への異なる距離によって引き起こされ、結果としてシーン中の光の異なる強度が得られる。照明によって引き起こされる比は、s(rb,rf)によって与えられるものとし、これは、次式で規定される。
【０１２７】
【数２７】
2019516977.tif 000029
【０１２８】
sの値が、fの知られている値、pの推定値、ならびに前の点および後の点の場所を指定することによって決定されることに留意されたい。後の点の場所は、画素からセンサの中心への距離を見いだすことによって直接的にrbを導く。前の点の場所は、画素からセンサの中心への距離を見いだすことによって直接的にrfを導く。次いで、式16を使用して、αfをrfから見いだすことができる。
【０１２９】
処理ユニット110などのコントローラのいくつかの例では、1つまたは複数のプロセッサによって実行すると、撮像装置400のプロセスを1つまたは複数のプロセッサに実施させることができる実行可能コードを含む、非一時的で有形の機械可読媒体を含むことができる。方法500および/または方法600のプロセスを含むことができる機械可読媒体のいくつかの一般的な形態は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、および/またはプロセッサもしくはコンピュータが読み取るように適合される任意の他の媒体である。
【０１３０】
例示的な実施形態が示され記載されてきたが、上記の開示において、広範囲な修正形態、変更形態、および代替形態が企図されており、いくつかの事例では、実施形態のいくつかの特徴は、対応する他の特徴を使用することなく採用することができる。当業者は、多くの変形形態、代替形態、および変更形態を認識するであろう。したがって、本発明の範囲は、以下の特許請求範囲によってのみ限定されるべきであり、特許請求の範囲は、幅広く、本明細書に開示される実施形態の範囲と一致する様態で解釈されるのが適切である。
【符号の説明】
【０１３１】
100  撮像システム
102  可動照明ユニット、可動光源/照明ユニット
104  可動画像検知ユニット
106  剛性部材
107  平行移動
108  光軸
110  処理ユニット
120  場所コントローラ
150  シーン
155  物体
200  撮像装置
210  照明ユニット
215  照明光源
220  画像取得または画像検知ユニット
310  参照画像
312  参照点
314  参照パッチ
320  非参照画像
322  点
324  点、エピ極
326  エピポーラ線
328  非参照点
330  非参照パッチ
400  撮像装置
402a  照明ユニット
402b  照明ユニット
404a  画像検知ユニット
404b  画像検知ユニット
455  物体
460  物体点
462  変位ベクトル
464  変位ベクトル
466  表面法線ベクトル
500  方法
600  方法
700  変換
710  元の画像
711  エピポーラ線
712  中心点
713  円
715  パッチ
720  変換した画像
721  水平線
723  垂直線
725  パッチ
800  中間結果
810  前の画像
820  後の画像
830  変換した前の画像
840  変換した後の画像
850  参照パッチ
852  候補パッチ
854  候補パッチ
856  候補パッチ、候補点
858  候補パッチ
860  コスト対視差プロット
900  中間結果
910  スケール対視差プロット
952  スケーリングした候補パッチ
954  スケーリングした候補パッチ
956  スケーリングした候補パッチ
958  スケーリングした候補パッチ
【図１】
2019516977.tif 000036
【図２】
2019516977.tif 000037
【図３】
2019516977.tif 000038
【図４】
2019516977.tif 000039
【図５】
2019516977.tif 000040
【図６】
2019516977.tif 000041
【図７】
2019516977.tif 000042
【図８】
2019516977.tif 000043
【図９】
2019516977.tif 000044
【国際調査報告】
2019516977.tif 000045
2019516977.tif 000046
2019516977.tif 000047