(57)【要約】  イメージング・システムは、一定距離だけ隔てられた第1及び第2イメージング・アレイと、第1及び第2ドライバと、変調光源とを有する。第1イメージング・アレイは、複数の強度応答ピクセルの中に分配される複数の位相応答ピクセルを含み；変調光源は、第1イメージング・アレイの視野の中に、変調光を放出するように構成される。第1ドライバは、変調光源からの光出力を変調し、位相応答ピクセルからの電荷収集を同期して制御するように構成される。第2ドライバは、第1イメージング・アレイの強度応答ピクセルと、第2イメージング・アレイの対応する強度応答ピクセルとの間の位置ズレを認識するように構成される。
2018508013.tif 000002
【特許請求の範囲】
【請求項１】
イメージング・システムであって：
複数の強度応答ピクセルの中に分配される複数の位相応答ピクセルを含む第１イメージング・アレイ；
前記第１イメージング・アレイの視野の中に変調光を放出するように構成される変調光源；
光を変調し、前記位相応答ピクセルからの電荷収集を同期して制御し、タイムオブフライト深度推定値を提供するように構成される第１ドライバ；
強度応答ピクセルの第２イメージング・アレイであって、前記第１イメージング・アレイから一定の距離を隔てて配置される第２イメージング・アレイ；及び
前記第１イメージング・アレイの強度応答ピクセルと前記第２イメージング・アレイの対応する強度応答ピクセルとの間のディスパリティを認識し、ステレオ光深度推定値を提供する第２ドライバ；
を有するイメージング・システム。
【請求項２】
前記第２イメージング・アレイの視野の中に構造化光を放出するように構成される構造化光源を有する請求項１に記載のイメージング・システム。
【請求項３】
前記第１及び第２イメージング・アレイの前方にそれぞれ配置され、かつ、前記第１及び第２イメージング・アレイが重複する視野を有するように構成される第１及び第２対物レンズ系を有する請求項１に記載のイメージング・システム。
【請求項４】
前記複数の位相応答ピクセルが、連続する位相応答ピクセルの並列的な行に配置され、当該行は、連続的な強度応答ピクセルの互に介在する並列的な行の間にある、請求項１に記載のイメージング・システム。
【請求項５】
所与の行のうちの隣接する位相応答ピクセルのグループは、前記グループの複数の電荷ストレージを提供するために同時にアドレス指定される、請求項４に記載のイメージング・システム。
【請求項６】
前記並列的な行は垂直に配置される、請求項４に記載のイメージング・システム。
【請求項７】
前記並列的な行は水平に配置される、請求項４に記載のイメージング・システム。  
【請求項８】
前記第１イメージング・アレイの強度応答ピクセルは、前記第１イメージング・アレイのうち、前記第１及び第２イメージング・アレイの視野同士の重なりを撮像する部分のみに含まれる、請求項１に記載のイメージング・システム。
【請求項９】
前記第１イメージング・アレイの前方に配置され、可視光を透過し且つ前記変調光源の放出バンド以外の赤外光をブロックするように構成されるデュアル・パスバンド光フィルタを有する請求項１に記載のイメージング・システム。
【請求項１０】
位相応答ピクセルの各々が、前記変調光源の放出バンド以外の波長をブロックするように構成される光フィルタ層を含む、請求項１に記載のイメージング・システム。
【請求項１１】
前記第２イメージング・アレイの強度応答ピクセルは、赤色、緑色及び青色透過フィルタ要素を含み、前記変調光源は赤外光源である、請求項１に記載のイメージング・システム。
【請求項１２】
変調光源と、一定の距離を隔てて配置され且つ対象を撮像するように構成される第１及び第２イメージング・アレイとを有するイメージング・システムにおいて実行される深度をセンシングする方法であって：
前記変調光源からの放出を変調し、前記第１イメージング・アレイの位相応答ピクセルからの電荷収集を同期して制御し、前記対象の複数の表面ポイントの各々について、タイムオブフライト深度推定値を提供するステップ；
前記第１イメージング・アレイの強度応答ピクセルと前記第２イメージング・アレイの対応する強度応答ピクセルとの間のディスパリティを認識し、前記対象の複数の表面ポイントの各々について、ステレオ光深度推定値を提供するステップ；及び
前記タイムオブフライト深度推定値に基づき且つ前記ステレオ光深度推定値に基づいて、前記対象の複数の表面ポイントの各々について出力を返すステップ；
を有する方法。
【請求項１３】
前記出力は、前記対象の複数の表面ポイントの各々についての、前記タイムオブフライト深度推定値と前記ステレオ光深度推定値との加重平均を含む、請求項１２に記載の方法。
【請求項１４】
前記対象の所与の表面ポイントについてタイムオブフライト深度推定値の不確定性を算出し、前記不確定性に基づいて、前記表面ポイントに関連する加重平均における相対的なウェイトを調整するステップを含む請求項１３に記載の方法。
【請求項１５】
前記不確定性が閾値未満である場合、所与のポイントについて、前記ステレオ光深度推定値を省略するステップを含む請求項１４に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
ステレオ光学イメージングは、対象(a  subject)の3次元的な輪郭を撮像するための技術である。この技術では、対象は、一定の水平距離を隔てた2つの異なる視点から同時に観察される。同時に生じる画像のうちの対応するピクセル間の視差量(The  amount  of  disparity)は、それらのピクセルに結像される対象の場所までの距離の推定をもたらす。ステレオ光学イメージングは、優れた空間分解能及びエッジ検出、周辺光及びパターン化された対象に対する耐性、及び、広い深度センシング範囲などのような多くの望ましい特徴を提供する。しかしながら、この技術は、演算コストが高く、限られた視野しか提供せず、イメージング・コンポーネントについての光学的な閉塞及びミスアライメントに対して敏感である。
【発明の概要】
【０００２】
本開示は、一実施形態において、一定距離だけ隔てられた第1及び第2イメージング・アレイと、第1及び第2ドライバと、変調光源とを有するイメージング・システムを提供する。第1イメージング・アレイは、複数の強度応答ピクセル(intensity-responsive  pixels)の中に分配される複数の位相応答ピクセル(phase-responsive  pixels)を含み；変調光源は、第1イメージング・アレイの視野の中に、変調された光を放出するように構成される。第1ドライバは、変調光源からの光出力を変調し、位相応答ピクセルからの電荷収集を同期して制御するように構成される。第2ドライバは、第1イメージング・アレイの強度応答ピクセルと、第2イメージング・アレイの対応する強度応答ピクセルとの間の位置ディスパリティ(又は距離)を認識するように構成される。
【０００３】
この「発明の概要」は、以下の詳細な説明で更に記述される概念のうち選択されたものを簡易な形式で紹介するために提供されている。この「発明の概要」は、請求項に係る対象事項のうちの主要な特徴又は本質的な特徴を特定するようには意図されておらず、請求項に係る対象事項の範囲を限定するために使用されることも意図されていない。更に、請求項に係る対象事項は、本開示に記載される任意の又は全ての欠点を解決する実現手段には限定されない。
【図面の簡単な説明】
【０００４】
【図１】イメージング・システムが対象を撮像するために使用される環境例の概略的な平面図。
【０００５】
【図２】図1のイメージング・システムの右イメージング・アレイの一実施例を示す図。
【０００６】
【図３】図2の右イメージング・アレイに関連する光フィルタの例示的な透過スペクトル(transmission  spectrum)を示す図。
【０００７】
【図４】図1のイメージング・システムにより実行される深度センシング方法例を示す図。
【発明を実施するための形態】
【０００８】
上記の図面を参照しながら本開示の形態を説明する。コンポーネント、プロセス・ステップ及びその他の実質的に同様なエレメントは、統一的に特定され、繰り返しがあったとしても最小限で説明される。しかしながら、統一的に特定されるエレメントは或る程度相違するものであってよいことに留意を要する。図面は概略的なものであり、一般に縮尺通りには描かれてはいない。むしろ、様々な図面縮尺、アスペクト比、及び図面に示されるコンポーネント数は、所定の特徴又は関係を見やすくする目的で誇張されている。
【０００９】
図1は、イメージング・システム12が対象14を撮像するために使用される環境例10の概略的な平面図である。「撮像」、「イメージング」等の用語は、本願においては、平坦な画像、深度画像、グレースケール画像、カラー画像、赤外線(IR)画像、静止画像、及び、時間分解された一連の静止画像(すなわち、ビデオ)等を取得することを指す。
【００１０】
図1のイメージング・システム12は、客体14の前方輪郭表面16の方に向けられており；その表面が撮像される表面である。客体がイメージング・システムに対して可動である又はその逆も可能である状況において、複数の客体表面が撮像されてもよい。図1の客体の概略的な表現は如何なる意味にも限定するようには意図されておらず、本願は、例えば、内側及び外側の客体、背景及び前景の客体、人間のような動く客体などのような多種多様な客体の撮像についても同様に適用可能である。
【００１１】
イメージング・システム12は、客体14を表現する画像データ18を出力するように構成される。画像データは画像受信機20に送信されてもよく、画像受信機20は、例えば、パーソナル・コンピュータ、家庭娯楽システム、タブレット、スマート・フォン又はゲーム・システム等である。画像データは適切な任意のインターフェースを介して送信されてよく、インターフェースは、例えば、ユニバーサル・シリアル・バス(USB)又はシステム・バスのような有線インターフェース、或いは、Wi-Fi又はブルートゥース(登録商標)インターフェースのような無線インターフェース等である。画像データは画像受信機20において様々な目的で使用されてよく、例えば、仮想現実(VR)アプリケーションのための環境10のマップを構築するため、或いは、画像受信機のユーザーからのジェスチャー入力を記録するために使用されてもよい。一実施形態では、イメージング・システム12及び画像受信機20は、例えば、ニアアイ・ディスプレイ構成要素を備えたウェアラブル・デバイスのように、同じデバイスの中で共に一体化されてもよい。
【００１２】
イメージング・システム12は2つのカメラを含み：右カメラ22は右イメージング・アレイ24を有し、左カメラ26は左イメージング・アレイ28を有する。右及び左イメージング・アレイは、一定の水平距離Dだけ隔てられている。「右」及び「左」という表記は、図示される構成におけるコンポーネントの指定の便宜のために付されているに過ぎない。しかしながら、本開示は、図示されるものと鏡像の関係にある構成にも等しく適用可能である。言い換えれば、「右」及び「左」という表記は、本説明全体にわたって、許容可能な同様な記述を為すように可換である。同様に、カメラ及び関連するコンポーネントは、本開示の精神又は範囲から逸脱することなく、縦又は斜めに隔てられ、かつ、「右」及び「左」の代わりに「上」及び「下」と指定されてもよい。
【００１３】
引き続き図1において、光フィルタは、左及び右イメージング・アレイの各々の前方に配置され；光フィルタ30は右イメージング・アレイの前方に配置され、光フィルタ32は左イメージング・アレイの前方に配置される。各々の光フィルタは、撮像に有用な波長のみを関連するイメージング・アレイ上に通すように構成される。光フィルタに加えて、対物レンズ系が、右及び左イメージング・アレイのそれぞれの前方に配置される：対物レンズ系34は右イメージング・アレイの前方に配置され、対物レンズ系36は左イメージング・アレイの前方に配置される。各々の対物レンズ系は、ある範囲の視野角にわたって光を収集し、そのような光を、関連するイメージング・アレイの方に仕向け、各々の視野角を、イメージング・アレイのうち対応するピクセルにマッピングする。一実施形態では、対物レンズ系で受け入れられる視野角の範囲は、それぞれのカメラに関し、水平方向に60度及び垂直方向に40度をカバーする。他の視野角範囲も考えられる。一般に、右及び左イメージング・アレイが重複する視野を有し、対象14(又はその一部分)が、重複する領域の中で見えるように、対物レンズ系は構成される。
【００１４】
上記の構成では、右イメージング・アレイ24及び左イメージング・アレイ28の強度応答ピクセルからの画像データ(それぞれ、右及び左画像と言及される)は、深度画像をもたらすように、ステレオ・ビジョン・アルゴリズムにより組み合わせられる。「深度画像」という用語は、本願では、ピクセル(Xi,Yi)による四角形アレイであって、各ピクセルに深度値Ziが関連付けられている四角形アレイを指す。変形例において、深度画像の各ピクセルは、1つ以上の関連する輝度又はカラー値(例えば、赤、緑及び青の光それぞれに対する輝度)を有していてもよい。
【００１５】
一対のステレオ画像から深度画像を算出する際に、パターン・マッチングが、右及び左画像の対応するピクセルを識別するために(すなわち、合わせる又はマッチングのために)使用され、そのマッチングは、それらの視差(又はディスパリティ)に基づいて、ステレオ光学深度推定をもたらす。より具体的には、右画像のピクセルの各々について、左画像のうち対応する(すなわち、マッチングする)ピクセルが識別される。対応するピクセルは、対象のうちの同じ位置を結像していると仮定される。次に、対応するピクセル対の各々について、位置ズレ(Positional  disparity)ΔX,ΔYが認識される。位置ズレは、左画像における所与の対象位置についての、右画像に対するピクセル位置のズレ(the  shift)を表現する。イメージング・システム12が水平に向けられている場合、任意の位置の深度座標Ziは、位置ズレの水平成分ΔXと、イメージング・システム12の様々な固定パラメータ値との関数である。そのような固定パラメータ値は、右及び左イメージング・アレイ間の距離D、右及び左イメージング・アレイそれぞれの光軸、及び、対物レンズ系の焦点距離fなどを含む。イメージング・システム12において、ステレオ・ビジョン・アルゴリズムはステレオ光学ドライバ38において実行され、そのドライバは、パターン・マッチングのための専用の自動特徴抽出(automatic  feature  extraction：AFE)プロセッサを含んでいてもよい。
【００１６】
一実施形態において、右及び左ステレオ画像は、追加的な照明光源が無い周囲光の条件下で取得されてもよい。そのような構成では、利用可能な深度情報の量は、撮像される表面16の2D特徴密度の関数である。表面に特徴が乏しい場合(例えば、滑らかで全て同じ色である場合)、深度情報は利用可能でない。この問題に対処するため、イメージング・システム12は、構造化光源(a  structured  light  source)40を選択的に含む。構造化光源は、左イメージング・アレイの視野の中に、構造化光を放出するように構成され；強い強度光の発光ダイオード(LED)エミッタ42及び再分配光学素子44を含む。再分配光学素子は、LEDエミッタからの光を収集し且つ環状に再配分するように構成され、それにより、その素子が、所定の構造により、左カメラ26の対物レンズ系36を包囲する環状の開口から投影するようにする。投影光の結果として得られる構造は、例えば、規則的なパターンの輝度ライン又はドット、或いは、エイリアシングの問題を回避するための擬似ランダムパターン等を含んでもよい。一実施形態において、LEDエミッタ42は、可視光を放出するように構成されてよく、例えば、その可視光は、シリコンに基づくイメージング・アレイの量子効率最大値に合致する緑光である。別の実施形態において、LEDエミッタは、IR又は近赤外光を放出するように構成されてもよい。このように、構造化光源40は、事実上何らの特徴もない表面に、画像処理が可能な構造を与え、ステレオ光イメージングの信頼性を向上させるように構成される。
【００１７】
上述したように、対象14の深度画像はステレオ光イメージングにより算出されてよいが、この技術には幾つかの制約がある。先ず第1に、必要とされるパターン・マッチング・アルゴリズムは演算コストが高く、典型的には、専用のプロセッサ又は特定用途向け集積回路(ASIC)を必要とする。更に、ステレオ光イメージングは、光学的な閉塞(optical  occlusions)を生じやすく、平坦な表面では(構造化光源を使用しない限り)何らの情報も提供せず、撮像コンポーネントのミスアライメントに対して非常に敏感であり、ミスアライメントは、例えば、製造トレランス(又はばらつき)により引き起こされる静的なミスアライメントと、温度変化やイメージング・システム12の機械的な歪みにより引き起こされる動的なミスアライメントとの双方を含む。
【００１８】
これらの問題に対処しつつそれでも他の恩恵を提供するために、イメージング・システム12の右カメラ22は、タイムオブフライト(ToF)深度カメラだけでなくフラット・イメージ・カメラの如く機能するように構成される。そのため、右カメラは、変調光源46とToFドライバ48とを含む。ToFイメージングをサポートするために、右イメージング・アレイ24は、強度応答ピクセルの補足に加えて、複数の位相応答ピクセルを含む。
【００１９】
変調光源46は、右イメージング・アレイ24の視野の中に、変調光を抄出するように構成され；ソリッド・ステートIR又は近赤外レーザー50及び環状投影光学素子52を含む。環状投影光学素子は、レーザーからの放出を収集し、その放出を再分配するように構成され、それにより、右カメラ22の対物レンズ系34を包囲する環状開口から投影するようにする。
【００２０】
ToFドライバ48は画像信号プロセッサ(ISP)を含んでもよい。ToFドライバは、変調光源46から出力される光を変調し、右イメージング・アレイ24の位相応答ピクセルからの電荷収集を同期して制御するように構成される。レーザーは、パルス波又は連続波(CW)変調されてもよい。CW変調が使用される実施形態において、時間領域でのエイリアシングを克服するために、2つ以上の周波数が重ね合わせられてもよい。
【００２１】
ある構造及び状況では、イメージング・システム12の右カメラ22は、対象14のToF深度画像を提供するようにそれ自身が使用されてもよい。ステレオ光イメージングとは異なり、ToFアプローチは、演算能力の観点から比較的高価ではなく、光学的な閉塞には委ねられず、特徴に乏しい表面で構造化光を必要とせず、アライメントの問題に対して比較的敏感でない。更に、ToFイメージングは、「グローバル・シャッター」原理(a  ‘global  shutter’  principle)に従って動作するので、一般に、優れた動きロバスト性を示す。一方、一般的なToFカメラは、深度(センシング範囲)に関して更に制限され、周囲光及び鏡面反射表面の耐性に乏しく、多重経路反射により混乱を生じる懸念がある。
【００２２】
ステレオ光イメージング及びToFイメージング双方についての上記の問題は、本願で開示される構成及び方法で対処される。すなわち、本開示は、部分的にToFイメージングに基づき及び部分的にステレオ光イメージングに基づくハイブリッド深度センシング・モードを提供する。深度イメージングの双方の形態に固有の利点を活用し、これらのハイブリッド・モードは、右イメージング・アレイ24の特定のピクセル構造により促進され、その構造は図2に示されている。
【００２３】
図2は、右イメージング・アレイ24の一形態を示す。ここで、個々のピクセル・エレメントは拡大して個数を減らして示されている。右イメージング・アレイは、複数の強度応答ピクセル56の中に分散された複数の位相応答ピクセル54を含む。一実施形態では、右イメージング・アレイは、電荷結合デバイス(CCD)アレイであってもよい。別の形態では、右イメージング・アレイは、相補金属酸化物(CMOS)アレイであってもよい。位相応答ピクセル54は、ゲート制御されるパルスToFイメージングに関して構成されてもよいし、或いは、連続波(CW)ロックインToFイメージングに関して構成されてもよい。
【００２４】
図2に示される形態では、位相応答ピクセル54は、第1ピクセル要素58Aと、隣接する第2ピクセル要素58Bとを含むが、図示されていない追加的なピクセル要素を含んでもよい。位相応答ピクセル要素の各々は、1つ以上のフィンガー・ゲート、トランスファ・ゲート、及び/又は収集ノードを含み、それらは半導体基板上にエピタキシャル成長させられている。位相応答ピクセル各々のピクセル要素は、変調光源からの放出に同期して2つ以上の積分期間を提供するようにアドレス指定される。積分期間は、位相及び/又は全積分時間に関して異なっていてもよい。様々な積分期間の間にピクセル要素に蓄積される差分(及び一形態では共通モード)電荷の相対的な量に基づいて、対象の位置までの距離が評価されてもよい。
【００２５】
上述したように、ピクセル要素58A及び58Bのアドレッシングは、変調光源46の変調された放出に同期する。一実施形態では、レーザー50及び第1ピクセル要素58Aは同時に励起されるが、第2ピクセル要素58Bは、第1ピクセル要素に対して180度ずれた位相で励起される。第1及び第2ピクセル要素で蓄積される相対的な電荷量に基づいて、イメージング・ピクセル・アレイで受信される反射光パルスの位相角が、プローブ変調に対して計算される。その位相角から、対応する位置までの距離が、既知の空気中の光速に基づいて計算される。
【００２６】
図2に示される実施形態では、連続的な位相応答ピクセル54は並列的な行(row)60の中に配置され、行60は、連続的な強度応答ピクセル56の互いに並列的な行62の間に存在する。この図は、位相応答ピクセルの隣接する行の間に、強度応答ピクセルの1本の介在する行を示しているが、他の適切な構成は、2つ以上の介在する行を含んでもよい。ステレオ光イメージングが可視光を利用して行われる実施形態では、各々の位相応答ピクセルは、光フィルタ層(図2において影が付されている)を含み、光フィルタ層は、変調光源の放出バンド以外の(例えば、それ未満の)波長をブロックするように構成される。そのような実施形態では、光フィルタ30は、可視光を通し、かつ、変調光源46の放出バンド以外の赤外光をブロックするように構成されるデュアル・パスバンド・フィルタを含んでもよい。光フィルタ30の代表的な透過スペクトルが図3に示されている。
【００２７】
図2の実施形態において、所与の行のうちの2つの隣接する位相応答ピクセルのグループ64は、そのグループの複数の電荷ストレージを提供するために、同時にアドレス指定される。このような構成で、3つ又は4つの電荷ストレージを提供してもよい。複数の電荷ストレージは、対象又はシーン(scene)の動きについての最小の影響ともに、ToF情報が取得されることを可能にする。各々の電荷ストレージは、深度の差分関数で情報を収集する。複数の電荷ストレージは、動きのあるカメラに対して2D画像の超解像度(super-resolution  of  the  2D  images)を可能にし、レジストレーション(又は位置合わせ)を改善する。
【００２８】
右イメージング・アレイの向きは、本開示の別の実施形態では異なっていてもよい。一実施形態において、位相及び強度応答ピクセルの並列的な行は、より優れたToF分解能のために、特に、2つ以上の位相応答ピクセル54が(複数の電荷ストレージのために)一緒にアドレス指定される場合に、縦に配置されてもよい。この構成は、ピクセル・グループ64のアスペクト比も減少させる。他の実施形態では、並列的な行は、水平ディスパリティの微細な認識のために、水平に配置されてもよい。
【００２９】
図2は、右イメージング・アレイ24にわたって一様なピクセル分布を示しているが、この形態は決して必須ではない。一実施形態において、右イメージング・アレイの強度応答ピクセル56は、右イメージング・アレイのうちの一部分にしか含まれず、その一部分は、右及び左イメージング・アレイの視野の間のオーバーラップ・セクションを撮像する。右イメージング・アレイのうちの残り(The  balance)は、位相応答ピクセル54のみを含んでいてもよい。この実施形態において、右イメージング・アレイのオーバーラップ撮像部分は、右イメージング・アレイの残りの部分に配置されてもよい。オーバーラップ撮像部分の幅は、イメージング・システムの予想されるアプリケーションに関し、イメージング・システム12に対する対象14の所定の最も可能性のある深度範囲に基づいて決定されてもよい。
【００３０】
右イメージング・アレイ24とは異なり、左イメージング・アレイ28は、強度応答ピクセルのアレイのみであってもよい。一実施形態では、左イメージング・アレイは、赤−緑−青(RGB)カラー・ピクセル・アレイである。従って、第2イメージング・アレイの強度応答ピクセルは、赤色、緑色及び青色透過フィルタ要素を含む。別の実施形態では、左イメージング・アレイは、フィルタリングされないモノクロ・アレイであってもよい。一実施形態において、左イメージング・アレイのピクセルは、赤外線(IR)又は近赤外線(near-IR)に少なくとも或る程度反応する。この形態は、例えば、暗闇でステレオ光イメージングを可能にする。追加的なToFドライバの代わりに、一般的な左カメラ・ドライバ65は、左イメージング・アレイに問い合わせてデータを取り出すために使用されてもよい。一実施形態において、左イメージング・アレイのピクセル単位の分解能は、右イメージング・アレイのものより大きくてもよい。左イメージング・アレイは、例えば、高解像度カラー・カメラによるものであってもよい。この種の形態では、イメージング・システム12は、有用な深度画像だけでなく、高解像度カラー画像も画像受信機20に提供する。
【００３１】
図4は、一定の距離だけ隔てられ且つ対象を撮像するように構成される右及び左イメージング・アレイを有するイメージング・システムで実行される深度イメージング方法66の一例を示す。説明される本方法のステップは、対象の複数の表面ポイントの各々について実行されてもよく、それらのポイントは実施形態に応じて様々な方法で選択されてよい。一実施形態において、選択される表面ポイントは、(例えば、全ての、1つおきの、3つおきの強度応答ピクセル等のような)右イメージング・アレイ24の強度応答ピクセルに結合されるポイントである。他の実施形態において、複数の表面ポイントは、例えば対象が周囲光によって照明される場合に、右イメージング・アレイの強度応答ピクセルからの画像データで自動的に認識される特徴ポイントについての密集した又は分散したサブセットであってもよい。更に別の実施形態では、複数の表面ポイントは、イメージング・システムの構造化光源からの構造化光により明確に照明されるポイントであってもよい。方法66の一実施形態では、その複数の表面ポイントは、順序正しくラスター化されていてもよい。他の実施形態では、複数の表面ポイントについての2つ以上のサブセットが、自身のプロセッサ・コアにそれぞれディスパッチされ、並列的に処理されてもよい。
【００３２】
方法66の68において、イメージング・システムの変調光源からの放出が、パルス又はCW変調により変調される。同期して、70において、イメージング・システムの右イメージング・アレイの位相応答ピクセルからの電荷収集が、制御される。これらの動作は、72において、対象の表面ポイントの各々についてToF深度推定(値)を提供する。74において、ToF深度推定値の不確定性(an  uncertainty)が、表面ポイントの各々について算出される。要するに、右イメージング・アレイの位相応答ピクセルは、様々なゲート制御方式によりアドレス指定され、ToF深度推定値の分布をもたらす。分布の幅は、現在の表面ポイントにおけるToF深度推定値の不確定性の代わりになっている。
【００３３】
76において、ToF深度推定値の不確定性が所定の閾値未満であるか否かが、判定される。不確定性が所定の閾値未満である場合、現在の表面ポイントに対するステレオ光深度推定値は、不要であると判定され、現在の表面ポイントについては省略される。その状況では、そのToF深度推定値が最終的な深度出力として提供され(86に続く)、必要な演算負担を減らす。不確定性が所定の閾値未満でない場合、本方法は78に続き、右及び左ステレオ画像の間の位置ズレが、そのポイントのToF深度及び既知のイメージング・システム・パラメータに基づいて、予測される。
【００３４】
80において、左画像のサーチ・エリアが、予測されたディスパリティに基づいて選択される。一実施形態では、サーチ・エリアは、ターゲット・ピクセルを中心とするピクセルのグループであってもよい。ターゲット・ピクセルは、右イメージング・アレイの所与のピクセルに対して、予測されたディスパリティに等しい量だけシフトされる。一実施形態において、74で算出される不確定性は、そのポイントに対応する探索されるサブセットのサイズを制御する。具体的には、不確定性が大きい場合には、ターゲット・ピクセル周辺の比較的大きなサブセットが探索され、不確定性が小さい場合には、比較的小さなサブセットが探索されてもよい。これは、以後のパターン・マッチングに必要な演算負担を軽減する。
【００３５】
82において、パターン・マッチング・アルゴリズムが、左画像の選択されたサーチ・エリア内で実行され、右イメージング・アレイのうちの所与の強度応答ピクセルに対応する左イメージング・アレイの強度応答ピクセルの位置を特定する。このプロセスは、対応するピクセル間の洗練されたディスパリティをもたらす。84において、右イメージング・アレイの強度応答ピクセルと、左イメージング・アレイのうちの対応する強度応答ピクセルとの間の洗練されたディスパリティが認められ、対象の複数の表面ポイントの各々について、ステレオ光深度推定値を提供する。
【００３６】
86において、イメージング・システムは、ToF深度推定値とステレオ光深度推定値とに基づいて、対象の複数の表面ポイントの各々について、出力を返す。一実施形態において、返される出力は、ToF深度推定値とステレオ光深度推定値との加重平均を含む。ToF不確定性が利用可能である実施形態では、ToF及びステレオ光深度推定値の相対的なウェイトは、現在の表面ポイントについて、より正確な出力を提供するように、不確定性に基づいて調整されてもよく：より正確なToF推定値は、よりいっそう重く加重され、より不正確なToF推定値は、よりいっそう軽く加重されてもよい。一実施形態では、複数の反射が現在の表面ポイントの近辺でToF推定値を劣化させていることを、不確定性又は震度分布が示している場合には、ToF推定値は完全に無視されてもよい。更に別の実施形態では、出力を返すステップ86が、第1イメージング・アレイの強度応答ピクセルの探索されたサブセットに対応する位相応とピクセルから、ノイズをフィルタリングするために、ステレオ光推定値を利用することを含んでもよい。言い換えれば、ステレオ光深度の測定値は、過剰なノイズにより劣化したToF画像のエリア内では選択的に使用され、ToFノイズが過剰でない領域では省略されることが可能である。この戦略は、全体的な演算労力を節約するために使用されてよい。
【００３７】
上記の記述から明らかなように、本願で説明される方法及びプロセスは、１つ以上のコンピューティング・マシン(又はモジュール)のコンピュータ・システムに関連し、そのシステムは、例えば、ToFドライバ48、左カメラ・ドライバ65、ステレオ光ドライバ38及び画像受信機20のような図1の要素を含む。そのような方法及びプロセスは、コンピュータ・アプリケーション・プログラム又はサービス、アプリケーション・プログラミング・インターフェース(API)、ライブラリ、及び/又は、その他のコンピュータ・プログラム・プロダクトとして実現されてよい。各々のコンピューティング・マシンは、論理マシン90と、関連するコンピュータ・メモリ・マシン92と、通信マシン94とを含んでよい(これらは画像受信機20に関して明示的に示されているが、他のコンピューティング・マシンに存在してもよい)。
【００３８】
各々の論理マシン90は、命令を実行するように構成される1つ以上の物理的な論理装置を含んでよい。論理マシンは命令を実行するように構成され、命令は、アプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造又はその他の論理構造のうちの1つ以上のうちの一部分であってもよい。そのような命令は、タスクを実行し、データ・タイプを実装し、1つ以上のコンポーネントの状態を変換し、技術的な高価を達成し、或いは、所望の結果に到達するように実現されてよい。
【００３９】
論理マシン90は、ソフトウェア命令を実行するように構成される1つ以上のプロセッサを含む。追加的又は代替的に、論理マシンは、ハードウェア又はファームウェア命令を実行するように構成される1つ以上のハードウェア又はファームウェア論理マシンを含んでもよい。論理マシンのプロセッサは、シングル・コア又はマルチ・コアであってもよく、そこで実行される命令は、シーケンシャル、パラレル及び/又は分散処理のために構成されてもよい。論理マシンの個々のコンポーネントは、選択的に、2つ以上の個々のデバイスの間で分配されてもよく、それらのデバイスは遠く離れていてもよいし及び/又は協調した処理を行うように構成されてもよい。一形態による論理マシンは、クラウド・コンピューティング構成で構成される遠隔的にアクセス可能なネットワーク化されたコンピューティング・デバイスにより、仮想化され実行されてもよい。
【００４０】
コンピュータ・メモリ・マシン92は、関連する論理マシン90により実行されることが可能な命令を保持し、本願で説明される方法及びプロセスを実現するように構成される1つ以上の物理的なコンピュータ・メモリ・デバイスを含む。そのような方法及びプロセスが実現される場合に、コンピュータ・メモリ・マシンの状態は、例えば異なるデータを保持するように変換されてもよい。コンピュータ・メモリ・マシンは、取りはず可能な及び/又は内蔵されたデバイスを含んでもよく；光メモリ(例えば、CD、DVD、HD-DVD、ブルーレイ・ディスク等)、半導体メモリ(例えば、RAM、EPROM、EEPROM等)、及び/又は、磁気メモリ(例えば、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、テープ・ドライブ、MRAM等)を特に含んでもよい。コンピュータ・メモリ・マシンは、揮発性、不揮発性、ダイナミック、スタティック、リード/ライト、リード・オンリ、ランダム・アクセス、シーケンシャル・アクセス、ロケーション・アドレス指定可能な、ファイル・アドレス指定可能な、及び/又は、コンテンツ・アドレス指定可能なデバイスを含んでもよい。
【００４１】
コンピュータ・メモリ・マシン92は1つ以上の物理デバイスを含むことが、理解されるであろう。しかしながら、本願で説明される命令の一形態は、記憶媒体により保存されるのではなく、通信媒体(例えば、電磁信号、光信号など)により伝搬させられてよい。
【００４２】
一形態による論理マシン90及びコンピュータ・メモリ・マシン92は、1つ以上のハードウェア論理コンポーネントに一緒に統合されてもよい。そのようなハードウェア論理コンポーネントは、プログラマブル・ゲート・アレイ(FPGAs)、プログラム及びアプリケーション固有の集積回路(PASIC/ASICs)、プログラム及びアプリケーション固有のスタンダード・プロダクト(PSSP/ASSPs)、システム・オン・チップ(SOC)、及び、複合プログラマブル論理デバイス(CPLDs)等を含んでもよい。
【００４３】
「モジュール」、「プログラム」及び「エンジン」等の用語は、特定の機能を実行するように実現されるコンピュータ・システムの形態を記述するために使用されてよい。場合によっては、モジュール、プログラム又はエンジンは、コンピュータ・メモリ・マシンにより保持される命令を実行する論理マシンによりインスタンス化されてもよい。様々なモジュール、プログラム及びエンジンは、同じアプリケーション、サービス、コード・ブック、オブジェクト、ライブラリ、ルーチン、API、ファンクション等からインスタンス化されてよいことが、理解されるであろう。同様に、同じモジュール、プログラム又はエンジンは、異なるアプリケーション、サービス、コード・ブック、オブジェクト、ライブラリ、ルーチン、API、ファンクション等によりインスタンス化されてよいことも、理解されるであろう。モジュール、プログラム又はエンジンは、実行可能ファイル、データ・ファイル、ライブラリ、ドライバ、スクリプト、データベース・レコード等のそれぞれ又はそのグループを包含してもよい。
【００４４】
選択的に、通信マシン94は、サーバー・コンピュータ・システムを含む1つ以上の他のマシンにコンピュータ・システムを通信可能に結合するように構成される。通信マシンは、1つ以上の様々な通信プロトコルとコンパチブルな有線及び/又は無線通信デバイスを含んでよい。非限定的な具体例として、通信マシンは、無線値電話網、有線又は無線の地域的又は広域的なネットワークにより通信するように構成されていてもよい。一例において、通信マシンは、コンピューティング・マシンが、インターネットのようなネットワークを介して他のデバイスへメッセージを送信すること及び/又はそこからメッセージを受信することを許容する。
【００４５】
本願で説明されるコンフィギュレーション及び/又はアプローチはその性質上例示的であること、及び、これら特定の具体例及び例示は、様々な変形例が可能であることに起因して、限定的な意味に考慮されるべきでないことが、理解されるであろう。本願で説明される特定のルーチン又は方法は、多数の処理の仕方のうちの何らかの1つ又はそれ以上を表現する。従って、例示及び/又は記述される様々な動作は、説明及び記述通りに順番に、他の順番で、同時に実行されてもよいし、或いは、省略されてよいかもしれない。同様に、上記のプロセスの順序は変更されてもよい。
【００４６】
本開示は、第1及び第2イメージング・アレイと、変調光源と、第1及び第2ドライバとを有するイメージング・システムに関連する。第1イメージング・アレイは、複数の強度応答ピクセルの中に分配される複数の位相応答ピクセルを含む。変調光源は、第1イメージング・アレイの視野の中に、変調された光を放出するように構成される。第1ドライバは、光を変調し、位相応答ピクセルからの電荷収集を同期して制御し、タイムオブフライト(ToF)深度推定値を提供するように構成される。第2イメージング・アレイは、第1イメージング・アレイから一定の距離を隔てて配置される、強度応答ピクセルのアレイである。第2ドライバは、第1イメージング・アレイの強度応答ピクセルと第2イメージング・アレイの対応する強度応答ピクセルとの間のディスパリティを認識し、ステレオ光深度推定値を提供するように構成される。
【００４７】
上記のイメージング・システムは、第2イメージング・アレイの視野の中に構造化光を放出するように構成される構造化光源を更に有してもよい。イメージング・システムは、第1及び第2イメージング・アレイの前方にそれぞれ配置され、かつ、第1及び第2イメージング・アレイが重複する視野を有するように構成される第1及び第2対物レンズ系を更に有してもよい。イメージング・システムの一実施形態において、複数の位相応答ピクセルが、連続する位相応答ピクセルの並列的な行に配置され、当該行は、連続的な強度応答ピクセルの互に介在する並列的な行の間にあってもよい。これら及び他の実施形態において、所与の行のうちの隣接する位相応答ピクセルのグループは、グループの複数の電荷ストレージを提供するために同時にアドレス指定され。これら及び他の実施形態において、並列的な行は垂直に又は水平に配置されてもよい。これら及び他の実施形態において、第1イメージング・アレイの強度応答ピクセルは、第1イメージング・アレイのうち、第1及び第2イメージング・アレイの視野同士の重なりを撮像する部分のみに含まれてもよい。
【００４８】
上記のイメージング・システムは、第1イメージング・アレイの前方に配置され、可視光を透過し且つ変調光源の放出バンド以外の赤外光をブロックするように構成されるデュアル・パスバンド光フィルタを更に有してもよい。イメージング・システムの或る実現手段では、位相応答ピクセルの各々が、変調光源の放出バンド以外の波長をブロックするように構成される光フィルタ層を含む。これら及び他の実施形態において、第2イメージング・アレイの強度応答ピクセルは、赤色、緑色及び青色透過フィルタ要素を含んでもよい。変調光源は例えば赤外光源であってもよい。
【００４９】
本開示は、変調光源と、一定の距離を隔てて配置され且つ対象を撮像するように構成される第1及び第2イメージング・アレイとを有するイメージング・システムにおいて実行される深度をセンシングする方法にも関連している。本方法は、変調光源からの放出を変調し、第1イメージング・アレイの位相応答ピクセルからの電荷収集を同期して制御し、対象の複数の表面ポイントの各々について、タイムオブフライト深度推定値を提供するステップ；第1イメージング・アレイの強度応答ピクセルと第2イメージング・アレイの対応する強度応答ピクセルとの間のディスパリティを認識し、対象の複数の表面ポイントの各々について、ステレオ光深度推定値を提供するステップ；及び、タイムオブフライト深度推定値に基づき且つステレオ光深度推定値に基づいて、対象の複数の表面ポイントの各々について出力を返すステップ；を有する方法である。
【００５０】
上記の方法の一形態において、出力は、対象の複数の表面ポイントの各々についての、タイムオブフライト深度推定値とステレオ光深度推定値との加重平均を含む。本方法は、対象の所与の表面ポイントについてタイムオブフライト深度推定値の不確定性を算出し、不確定性に基づいて、表面ポイントに関連する加重平均における相対的なウェイトを調整するステップを更に含んでもよい。これら及び他の実現手段において、本方法は、不確定性が閾値未満である場合、所与のポイントについて、ステレオ光深度推定値を省略するステップを更に含んでいてもよい。これら及び他の実施形態において、複数の表面ポイントは、イメージング・システムの構造化光源からの構造化光により照明されてもよい。これら及び他の実施形態において、複数の表面ポイントは、第1及び第2イメージング・アレイの強度応答ピクセルから画像データの中で自動的に認識される特徴ポイントであってもよい。
【００５１】
本開示は、変調光源と、一定の距離を隔てて配置され且つ対象を撮像するように構成される第1及び第2イメージング・アレイとを有するイメージング・システムにおいて実行される深度をセンシングする他の方法にも関連している。本方法は、変調光源からの放出を変調し、第1イメージング・アレイの位相応答ピクセルからの電荷収集を同期して制御し、対象の複数の表面ポイントの各々について、タイムオブフライト深度推定値を提供するステップ；第1及び第2イメージング・アレイの強度応答ピクセルのサブセットを探索し、対応するピクセルを識別するステップであって、探索されるサブセットはタイムオブフライト深度推定値に基づいて選択されるステップ；第1イメージング・アレイの強度応答ピクセルと第2イメージング・アレイの対応する強度応答ピクセルとの間のディスパリティを認識し、対象の複数の表面ポイントの各々について、ステレオ光深度推定値を提供するステップ；及び、タイムオブフライト深度推定値に基づき且つステレオ光深度推定値に基づいて、対象の複数の表面ポイントの各々について出力を返すステップ；を有する方法である。一実施形態において、上記の方法は、対象の表面ポイントの各々について、タイムオブフライト深度推定値の不確定性を算出するステップを更に有してもよく、算出される不確定性は、そのポイントに対応する探索されるサブセットのサイズを決定する。これら及び他の実施形態において、タイムオブフライト深度推定値に基づき且つステレオ光深度推定値に基づいて出力を返すステップは、ステレオ光深度推定値を利用して、第１イメージング・アレイの強度応答ピクセルの探索されるサブセットに対応する位相応答ピクセルから、ノイズをフィルタリングすることを含んでもよい。
【００５２】
本開示の対象事項は、様々なプロセス、システム及びコンフィギュレーション、並びに、特徴、機能、動作及び/又は特性等の本願で説明されたもの、更には、それらの任意の及び全ての均等物についての新規かつ自明でないコンビネーション及びサブコンビネーションの全てを包含する。
【図１】
2018508013.tif 000003
【図２】
2018508013.tif 000004
【図３】
2018508013.tif 000005
【図４】
2018508013.tif 000006
【国際調査報告】
2018508013.tif 000007
2018508013.tif 000008
2018508013.tif 000009