(57)【要約】  例の方法は、距離センサのカメラの露出時間を第１の値に設定することと、上記カメラの視野内の被写体の第１の画像を取得するように上記カメラに命令することであって、上記第１の画像は上記露出時間が上記第１の値に設定されている間に取得される、上記カメラに命令することと、光のパターンを上記被写体の上へと投影するように上記距離センサのパターン投影機に命令することと、上記カメラの上記露出時間を上記第１の値とは異なる第２の値に設定することと、上記被写体の第２の画像を取得するように上記カメラに命令することであって、上記第２の画像が上記光のパターンを含み、上記第２の画像は上記露出時間が上記第２の値に設定されている間に取得される、上記カメラに命令することとを含む。
2021518700.tif 000002
【特許請求の範囲】
【請求項１】
距離センサの処理システムによって、前記距離センサのカメラの露出時間を第１の値に設定することと、
前記処理システムによって、前記カメラの視野内の被写体の第１の画像を取得するように前記カメラに命令することであって、前記第１の画像は前記露出時間が前記第１の値に設定されている間に取得される、前記カメラに命令することと、
前記処理システムによって、光のパターンを前記被写体の上へと投影するように前記距離センサのパターン投影機に命令することと、
前記処理システムによって、前記カメラの前記露出時間を前記第１の値とは異なる第２の値に設定することと、
前記処理システムによって、前記被写体の第２の画像を取得するように前記カメラに命令することであって、前記第２の画像が前記光のパターンを含み、前記第２の画像は前記露出時間が前記第２の値に設定されている間に取得される、前記カメラに命令することと、
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
前記第２の値が、前記第１の値よりも小さい、
ことを特徴とする方法。
【請求項３】
請求項２に記載の方法であって、
前記第１の画像が、二次元の赤、緑、青画像である、
ことを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、
前記第２の画像が、赤外線画像である、
ことを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、
前記光のパターンは、波長が人間の目には見えない光のパターンを含む、
ことを特徴とする方法。
【請求項６】
請求項５に記載の方法であって、
前記波長が、赤外である、
ことを特徴とする方法。
【請求項７】
請求項５に記載の方法であって、
前記カメラが、前記人間の目には見えない前記波長と同様に前記人間の目に見える光の波長を検出する検出器を備える、
ことを特徴とする方法。
【請求項８】
請求項７に記載の方法であって、
前記カメラが、赤、緑、青、赤外線カメラである、
ことを特徴とする方法。
【請求項９】
請求項１に記載の方法であって、
前記処理システムによって、前記第１の画像を取得するように前記カメラに前記命令することの前に、前記被写体を照明するように前記距離センサの照明源に命令することと、
前記処理システムによって、前記光のパターンを投影するように前記パターン投影機に前記命令することの前に、前記被写体を照明することを停止するように前記照明源に命令することと、
をさらに含むことを特徴とする方法。
【請求項１０】
請求項９に記載の方法であって、
前記照明源が、人間の目には見えない波長の光を放射する、
ことを特徴とする方法。
【請求項１１】
請求項１０に記載の方法であって、
前記照明源が、赤外線発光ダイオードである、
ことを特徴とする方法。
【請求項１２】
請求項１に記載の方法であって、
前記第１の画像は、前記露出時間が前記第１の値に設定されている間に前記カメラにより取得される第１の複数の画像のうちの１つであり、
前記第２の画像は、前記露出時間が前記第２の値に設定されている間に前記カメラにより取得される第２の複数の画像のうちの１つである、
ことを特徴とする方法。
【請求項１３】
請求項１に記載の方法であって、
前記第２の値が、前記第１の画像の解析に少なくとも一部は基づいて決定される、
ことを特徴とする方法。
【請求項１４】
請求項１に記載の方法であって、
前記パターン投影機が、前記距離センサの複数のパターン投影機のうちの第１のパターン投影機であり、
前記複数のパターン投影機の各々のパターン投影機が、前記視野内の異なる領域へとそれぞれの光のパターンを投影するように構成される、
ことを特徴とする方法。
【請求項１５】
請求項１に記載の方法であって、
前記処理システムによって、前記第１の画像及び前記第２の画像の解析に基づいて前記距離センサから前記被写体までの距離を計算すること、
をさらに含むことを特徴とする方法。
【請求項１６】
距離センサのプロセッサによって実行可能な命令を用いて符号化された非一時的な機械可読記憶媒体であって、実行されたときに、前記命令が前記プロセッサに動作を実行させる、非一時的な機械可読記憶媒体において、前記動作が、
前記距離センサのカメラの露出時間を第１の値に設定することと、
前記カメラの視野内の被写体の第１の画像を取得するように前記カメラに命令することであり、前記第１の画像は前記露出時間が前記第１の値に設定されている間に取得される、前記カメラに命令することと、
光のパターンを前記被写体の上へと投影するように前記距離センサのパターン投影機に命令することと、
前記カメラの前記露出時間を前記第１の値とは異なる第２の値に設定することと、
前記被写体の第２の画像を取得するように前記カメラに命令することであり、前記第２の画像が前記光のパターンを含み、前記第２の画像は前記露出時間が前記第２の値に設定されている間に取得される、前記カメラに命令することと、
前記第１の画像及び前記第２の画像の解析に基づいて前記距離センサから前記被写体までの距離を計算することと、
を含むことを特徴とする非一時的な機械可読記憶媒体。
【請求項１７】
距離センサであって、
光のパターンを被写体の上へと投影するように構成されたパターン投影機と、
カメラと、
前記パターン投影機が前記光のパターンを前記被写体の上へと投影していないときに前記カメラの露出時間を第１の値に設定し、前記パターン投影機が前記光のパターンを前記被写体の上へと投影しているときに前記カメラの前記露出時間を前記第１の値とは異なる第２の値に設定するように構成されたコントローラと、
前記露出時間が前記第１の値に設定されているときに取り込まれる第１の画像及び前記露出時間が前記第２の値に設定されているときに取り込まれる第２の画像に基づいて前記距離センサから前記被写体までの距離を計算するように構成されたプロセッサと、
を備えることを特徴とする距離センサ。
【請求項１８】
請求項１７に記載の距離センサであって、
前記パターン投影機が、
赤外光のビームを放射するように構成された赤外線レーザ源と、
前記赤外光のビームを複数の赤外光のビームへと分割するように構成された回折光学素子であり、前記複数の赤外光のビームの各々のビームが前記カメラの視野内に１つの投影アーティファクトを作り出す、回折光学素子と、
を備えることを特徴とする距離センサ。
【請求項１９】
請求項１８に記載の距離センサであって、
前記カメラが、赤、緑、青、赤外線カメラである、
ことを特徴とする距離センサ。
【請求項２０】
請求項１７に記載の距離センサであって、
前記カメラが前記第１の画像を取り込むときに前記被写体を照明するように前記コントローラにより制御される赤外線発光ダイオード、
をさらに備えることを特徴とする距離センサ。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、その全体が本願に引用して援用される２０１８年３月２０日出願の米国仮特許出願第６２／６４５，１９０号の優先権を主張する。
【背景技術】
【０００２】
米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号は、距離センサの様々な構成を記載する。このような距離センサは、安全保障、ゲーム、無人車両の制御、及び他の用途を含め、様々な用途において有用なことがある。
【０００３】
これらの出願に記載された距離センサは、人間の目には実質的に見えない波長の光（例えば、赤外線）のビームを視野内へと投影する（例えば、レーザ、回折光学素子、及び／又は他の連携構成要素を備える）投影システムを含む。光のビームを、広げて、適切な受光システム（例えば、レンズ、画像取り込み装置、及び／又は他の構成要素）によって検出することができる（ドット、破線、又は他のアーティファクトの）パターンを作り出す。パターンが視野内の被写体の上に投射されると、センサの受光システムにより取り込むことができる、視野の１つ以上の画像のパターンの現れ方（例えば、ドット、破線、又は他のアーティファクトの位置関係）に基づいて、センサから被写体までの距離を計算することができる。被写体の形状及び寸法もまた決定することができる。
【０００４】
例えば、パターンの現れ方は、被写体までの距離で変化することがある。例として、パターンがドットのパターンを含む場合に、ドットは、被写体がセンサに近いときには互いに密接して現れることがあり、被写体がセンサからさらに離れているときには互いにさらに離れて現れることがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願第１４／９２０，２４６号
【特許文献２】米国特許出願第１５／１４９，３２３号
【特許文献３】米国特許出願第１５／１４９，４２９号
【発明の概要】
【課題を解決するための手段】
【０００６】
例の方法は、距離センサのカメラの露出時間を第１の値に設定することと、上記カメラの視野内の被写体の第１の画像を取得するように上記カメラに命令することであって、上記第１の画像は上記露出時間が上記第１の値に設定されている間に取得される、上記カメラに命令することと、光のパターンを上記被写体の上へと投影するように上記距離センサのパターン投影機に命令することと、上記カメラの上記露出時間を上記第１の値とは異なる第２の値に設定することと、上記被写体の第２の画像を取得するように上記カメラに命令することであって、上記第２の画像が上記光のパターンを含み、上記第２の画像は上記露出時間が上記第２の値に設定されている間に取得される、上記カメラに命令することとを含む。
【０００７】
もう１つの例では、非一時的な機械可読記憶媒体は、プロセッサにより実行可能な命令を用いて符号化される。実行されたときに、上記命令が上記プロセッサに、距離センサのカメラの露出時間を第１の値に設定することと、カメラの視野内の被写体の第１の画像を取得するように上記カメラに命令することであって、上記第１の画像は上記露出時間が上記第１の値に設定されている間に取得される、上記カメラに命令することと、光のパターンを上記被写体の上へと投影するように上記距離センサのパターン投影機に命令することと、上記カメラの上記露出時間を上記第１の値とは異なる第２の値に設定することと、上記被写体の第２の画像を取得するように上記カメラに命令することであって、上記第２の画像が上記光のパターンを含み、上記第２の画像は上記露出時間が上記第２の値に設定されている間に取得される、上記カメラに命令することとを含む動作を実行させる。
【０００８】
もう１つの例では、距離センサは、光のパターンを被写体の上へと投影するように構成されたパターン投影機と、カメラと、上記パターン投影機が上記光のパターンを上記被写体の上へと投影していないときに上記カメラの露出時間を第１の値に設定し、上記パターン投影機が上記光のパターンを上記被写体の上へと投影しているときには上記カメラの上記露出時間を第２の値に設定するように構成されたコントローラと、上記露出時間が上記第１の値に設定されるときに取り込まれる第１の画像及び上記露出時間が上記第２の値に設定されるときに取り込まれる第２の画像に基づいて上記距離センサから上記被写体までの距離を計算するように構成されたプロセッサとを含む。
【図面の簡単な説明】
【０００９】
【図１】本開示の例の距離センサを図示するブロック図である。
【図２】本開示による、三次元深度検知及び二次元画像取り込みのための距離センサのカメラ露出を調節するための方法の一例を図示する流れ図である。
【図３】距離センサカメラのフレームレート及び露出と、三次元距離測定のための距離投影との間の関係を図示する例のタイミングチャートであり、単一の光源が三次元距離情報取得及び二次元画像取得のための別々の露出中に光を放射し、三次元距離測定及び二次元画像取得が１フレームおきに交互に行われる。
【図４】本開示の例の距離センサを図示するブロック図である。
【図５】本開示による、三次元深度検知及び二次元画像取り込みのための距離センサのカメラ露出を調節するための方法の一例を図示する流れ図である。
【図６】距離センサカメラのフレームレート及び露出と、三次元距離測定のための距離投影と、二次元画像取得のための光放射との間の関係を図示する例のタイミングチャートであり、第１の光源が三次元データ取得の時刻に又はその近くで光を放射し、第２の別の光源が二次元データ取得の時刻に光を放射し、三次元距離測定及び二次元画像取得が１フレームおきに交互に行われる。
【図７】距離センサカメラのフレームレート及び露出と、三次元距離測定のための距離投影と、二次元画像取得のための光放射との間の関係を図示する例のタイミングチャートであり、第１の光源が三次元データ取得の時刻に又はその近くで光を放射し、第２の別の光源が二次元画像取得の時刻に光を放射し、三次元距離測定及び二次元画像取得が所定の数のフレームおきに交互に行われる。
【図８】本開示の例の距離センサを図示するブロック図である。
【図９】距離センサカメラ（例えば、ビデオカメラ）のフレームレート及び露出と、三次元距離測定のための距離投影と、二次元画像取得のための光放射との間の関係を図示する例のタイミングチャートであり、（例えば、三次元距離データ取得のために使用する）２つの光投影システムが使用され、そして三次元データ取得及び二次元画像取り込みのための露出期間が同じである。
【図１０】本開示による、三次元深度検知及び二次元画像取り込みのための距離センサのカメラ露出を調節するための方法の一例を図示する流れ図である。
【図１１】距離センサカメラ（例えば、ビデオカメラ）のフレームレート及び露出と、三次元距離測定のための距離投影と、二次元画像取得のための光放射との間の関係を図示する例のタイミングチャートであり、二次元画像取得の時刻におけるシャッタ速度に関する情報が三次元距離データ取得のためのタイミングにフィードバックされる。
【図１２】センサから被写体までの距離を計算するための例の電子デバイスの高水準のブロック図を描く図である。
【発明を実施するための形態】
【００１０】
本開示は、三次元深度検知及び二次元画像取り込みのための距離センサのカメラ露出を調節するための装置、方法、及び非一時的なコンピュータ可読媒体を幅広く記述する。上に論じたように、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載されたものなどの距離センサは、被写体を含む視野内に（例えば、ドット、破線、又は他のアーティファクトの）パターンを作り出すように広がる光のビームを投影することにより被写体までの距離（並びに、可能性として、被写体の形状及び寸法）を決定する。人間の目には実質的に見えないが、（例えば、受光システムの）適切な検出器には見える波長の光を放射する１つ以上のレーザ光源から、光のビームを投影することができる。被写体までの三次元距離を次いで、検出器へのパターンの現れ方に基づいて計算することができる。
【００１１】
いくつかのケースでは、被写体の二次元画像もまた（例えば、受光システムのカメラにより）取り込むことができ、そして三次元距離測定を改善するために使用することができる。例えば、基準マークを被写体に添付することができる。次いで、三次元情報の利用可能な量（例えば、パターンのドットの数）が正確な距離測定を行うために不十分であるときには、（基準マークを含む）被写体の二次元画像からの情報を、三次元情報を補完するために使用することができる。二次元画像からの外部の明るさ、被写体の反射率、等などの環境特性を決定することもまた可能である。この情報を、三次元距離測定を改善するため投影したビーム（及び結果として、投影したパターン）を調節するために使用することができる。
【００１２】
しかしながら、同じカメラを用いて相次いで三次元被写体データ（例えば、パターンデータを含む）及び二次元被写体画像を取得することを、様々な要因が困難にさせる。例えば、周囲光によって持ち込まれる雑音が、ビームにより形成されるパターンを検出器がはっきりと検出することを困難にさせることがある。周囲光の効果を軽減するための１つの方法は、センサの受光システムに狭いバンドパスフィルタを組み込むことであり、例えば、そこではフィルタが赤外光だけを通過させることを可能にする。しかしながら、（屋外のケースであるかも知れないような）周囲光の量が非常に大きい場合、パターンと周囲光との間の明るさの違いが非常に小さいことがある。その上、受光システムの露出時間が適切に設定されていない場合、露出値とセンサの露出許容度との間の関係が望ましくない飽和を生じさせることがある。いずれにせよ、狭いバンドパスフィルタを使用したとしても、検出器にとって、ビームにより形成されるパターンを周囲光から区別することを依然として困難にさせることがある。例えば、ビームにより形成されるパターンの像及び周囲光の両者がセンサの露出許容度を超えるときには、飽和が生じることがある。しかしながら、受光システムに入力される光の量がセンサの露出許容度の範囲内であるように、露出時間を短縮することによって、パターンの画像はよりはっきりすることがある。
【００１３】
あるいは又は加えて、周囲光の量が大きいときに、パターンを形成するビームの明るさが周囲光の明るさに対して相対的に大きい場合には、パターンは、検出器にとって見分けることがより容易なことがある。しかしながら、安全性の観点から、ビームの明るさを高めることは、より明るいビームへの露出が人間の目には有害なことがあるので、ある種のリスクをともなうことがある。したがって、リスクを最小にするために、レーザの放射時間を短くすることができ、そして受光システムの露出時間もまた、周囲光を減少させるために短くすることができる。
【００１４】
パターンの明るさを高めること及び受光システムの露出時間を短縮することが、三次元情報を取得する検出器の能力を改善することができるとはいえ、これらの変形は、有用な二次元画像を取り込むカメラの能力もまた損なうことがある。例えば、短くした露出時間で取り込まれる二次元画像は、おそらく暗くなる。一般に、より長い露出時間が、よりはっきりとした二次元画像を取り込むために必要とされることがある。
【００１５】
したがって、まとめると、三次元投影パターンを検出するための最適なカメラ露出時間と二次元画像を取り込むための最適なカメラ露出時間とは、全く違うことがある。このことが、同じカメラを用いて同時に、又は（１秒未満の）比較的短時間内に、三次元投影パターンを検出すること及び二次元画像を取り込むことを困難にさせる。
【００１６】
本開示の例は、単一のカメラを用いて、（例えば、投影された光のパターンからの）三次元情報取得及び二次元画像取得を素早く連続して実行することが可能な距離センサを提供する。１つの例では、二次元画像取得のための照明を行うために使用する光源は、三次元情報取得のためのパターンを投影するために使用される光源と同じ波長を有する。このことが、距離センサの受光システム内のバンドパスフィルタに対する必要性を取り除く。
【００１７】
図１は、本開示の例の距離センサ１００を図示するブロック図である。距離センサ１００を、被写体１１４までの距離ｄを検出するために使用することができる。１つの例では、距離センサ１００は、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載した距離センサの多くの構成要素を共有する。例えば、１つの例では、距離センサは、カメラ（又は他の画像取り込み装置）１０２、プロセッサ１０４、コントローラ１０６、及びパターン投影機１０８を備える。
【００１８】
１つの例では、カメラ１０２を、スチルカメラ又はビデオカメラとすることができる。カメラ１０２は、三次元距離データを取り込むことが可能であってもよい。例えば、カメラ１０２は、被写体１１４の上へと投影される光のパターンを検出することが可能である検出器を含むことができ、ここでは投影される光は、人間の目には実質的に見えない波長のもの（例えば、赤外線）である。カメラ１０２はまた、被写体１１４の二次元の赤、緑、青（ＲＧＢ）画像を取り込むことが可能であってもよい。このように、１つの例では、カメラ１０２を、赤、緑、青、赤外線（ＲＧＢＩＲ）カメラとすることができる。このケースでは、三次元距離検知のために放射された赤外光を、ＩＲフィルタを有するカメラ１０２のピクセルにだけ入力させることができ、一方で他の波長の光を、ＲＧＢフィルタ上のピクセルによりカラー画像として認識することができる。このように、カメラの検出器は、同時に赤、緑、青及び赤外線を検出することができる、又は赤外線だけを検出することができる、又は赤、緑、及び青だけを検出することができる。三次元距離検知が光の投影したパターンの強度に依存し、そして二次元撮像が外部の明るさに依存するという理由で、カメラ１０２のＩＲ部分及びＲＧＢ部分に対する最適な露出時間は異なるだろう。カメラ１０２は、魚眼レンズを有することがあり、最大１８０度までの視野の画像データを取り込むように構成されることがある。
【００１９】
カメラ１０２は、取り込んだ画像データをプロセッサ１０４へ送ることができる。被写体１１４までの距離を計算するために、プロセッサ１０４を、取り込んだ画像データ（例えば、三次元距離データ及び二次元画像データ）を処理するように構成することができる。例えば、距離を、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載された方法に従って計算することができる。
【００２０】
コントローラ１０６を、距離センサの他の構成要素の動作、例えば、カメラ１０２、プロセッサ１０４及びパターン投影機１０８の動作を制御するように構成することができる。例えば、コントローラ１０６は、カメラ１０２の露出時間（例えば、カメラのシャッタが開かれている期間）、及びカメラ１０２が（被写体１１４の画像を含め）画像を取り込むタイミングを制御することができる。下記にさらに詳細に論じるように、コントローラ１０６は、カメラ１０２に関する２つの別々の露出期間：パターン投影機１０８が（例えば、三次元距離検知のための）パターンを被写体１１４の上へと投影すると同時に被写体１１４の画像が取り込まれる第１の露出期間、及びパターン投影機１０８が（例えば、二次元画像取得のための）パターンを被写体１１４へと投影しないときに被写体１１４の画像が取り込まれる第２の露出期間、を設定することができる。１つの例では、コントローラ１０６は、第１の露出期間と第２の露出期間とを交互に行うことができる。
【００２１】
コントローラ１０６はまた、パターン投影機１０８が光のパターンを被写体１１４の上へと投影する期間、同じようにパターン投影機１０８が光のパターンを被写体１１４の上へと投影するタイミングを制御することができる。例えば、コントローラ１０６は、下記にさらに詳細に論じるように、パターン投影機１０８の光源により放射されるパルスの期間を制御することができる。
【００２２】
パターン投影機１０８は、光のパターンを被写体１１４の上へと投影するように構成された様々な光学系を備えることができる。例えば、パターン投影機１０８は、垂直共振器面発光レーザ（ＶＣＳＥＬ）１１０及び回折光学素子（ＤＯＥ）１１２などのレーザ光源を含むことができる。ＶＣＳＥＬ１１０を、（例えば、コントローラ１０６がレーザパルスの期間を制御する場合に）コントローラ１０６の管理の下でレーザ光のビームを放射するように構成することができる。ＤＯＥ１１２を、ＶＣＳＥＬ１１０により投影された光のビームを複数の光のビームへと分割するように構成することができる。複数の光のビームは、各々のビームがカメラの視野内に光の別個の点（例えば、ドット、破線、ｘ、等）を作り出すように展開する又は広がることがある。全体として、複数のビームにより作り出された光の個別の点がパターンを形成する。被写体１１４までの距離を、被写体１１４上のパターンの現れ方に基づいて計算することができる。
【００２３】
図２は、本開示による、三次元深度検知及び二次元画像取り込みのための距離センサのカメラ露出を調節するための方法２００の１つの例を図示する流れ図である。方法２００を、例えば、図１に図示したプロセッサ１０４により実行することができる。例の目的で、方法２００を、処理システムにより実行されるとして説明する。
【００２４】
方法２００を、ステップ２０２において始めることができる。ステップ２０４では、処理システムは、距離センサのカメラの露出時間を第１の値に設定することができる。第１の値は、露出の期間（例えば、カメラのシャッタが画像データを取得するために開かれる時間の第１の窓）を規定することができる。
【００２５】
ステップ２０６では、処理システムは、距離センサの視野内の被写体の第１の画像を取得するようにカメラに命令することができる。１つの例では、第１の画像は、（投影した光のパターンからのデータを含まない）二次元画像である。１つの例では、第１の画像の取得のための露出の時間は、これゆえ第１の値に等しい。
【００２６】
ステップ２０８では、処理システムは、光のパターンを被写体の上へと投影するように距離センサのパターン投影機（例えば、レーザ光源及び回折光学素子を含む光学系のシステム）に命令することができる。１つの例では、光のパターンは、人間の目には実質的に見えない波長で放出される光（例えば、赤外線）を含むことができる。１つの例では、パターン投影機に送られる命令は、いつ光のパターンを投影し始めるか及びどれだけ長く光のパターンを投影するか（例えば、レーザパルスのタイミング及び期間）に関する命令を含むことができる。
【００２７】
ステップ２１０では、処理システムは、カメラの露出時間を第２の値に設定することができる。第２の値は、露出の期間（例えば、カメラのシャッタが画像データを取得するために開かれる時間の第２の窓）を規定することができる。１つの例では、第２の値は、第１の値よりも小さい。
【００２８】
ステップ２１２では、処理システムは、被写体の第２の画像を取得するようにカメラに命令することができ、ここでは第２の画像がまた、パターン投影機により被写体の上へと投影された光のパターンを含む。１つの例では、第２の画像の取得のための露出の時間は、これゆえ第２の値に等しい。
【００２９】
ステップ２１４では、処理システムは、光のパターンを被写体の上へと投影することを停止するようにパターン投影機に命令することができる。例えば、パターン投影機に送られる命令は、レーザをオフにするようにパターン投影機に命令することができる。
【００３０】
ステップ２１６では、処理システムは、被写体を撮像することを停止するかどうかを決定することができる。例えば、（例えば、第１の画像及び第２の画像から）十分なデータが被写体までの距離を計算するために取得されている場合に、被写体を撮像することを停止することができる。処理システムがステップ２１６において撮像することを停止すべきではないと結論付けるのであれば、方法２００は、ステップ２０４へ戻ることができ、そして被写体の追加の画像を取り込むために上に説明したように続行することができる。
【００３１】
あるいは、処理システムが、ステップ２１６において撮像することを停止すべきであると結論付けるのであれば、方法２００はステップ２１８へ進むことができる。ステップ２１８では、処理システムは、被写体までの距離を決定するために第１の画像及び第２の画像を処理することができる。例えば、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載した方法のうちのいずれかを、距離を計算するために使用することができる。あるいは、処理システムは、距離計算のための遠隔処理システムへ第１の画像及び第２の画像を送ることができる。
【００３２】
方法２００は、ステップ２２０で終わることができる。
【００３３】
図３は、距離センサカメラのフレームレート及び露出と、三次元距離測定のための距離投影との間の関係を図示する例のタイミングチャートであり、ここでは単一の光源が三次元距離情報取得及び二次元画像取得のための別々の露出の間に光を放射し、三次元距離測定及び二次元画像取得が１フレームおきに交互に行われる。例えば、図３のタイミングチャートは、図１の距離センサ１００の動作を図示することができる。
【００３４】
特に、図３は、タイミングチャートの７つのフレーム、ｆ１〜ｆ７、を示す。１つの例では、三次元距離測定及び二次元画像取得は、１フレームおきに交互に実行される。すなわち、第１のフレームｆ１の間には、第１の期間ｄ１の第１のカメラ露出を、三次元距離測定に関する情報を取得するために採用することができる。次いで、引き続く第２のフレームｆ２の間には、第２の期間ｄ２（第１のカメラ露出の期間よりも長い、すなわち、ｄ２＞ｄ１）の第２のカメラ露出を、二次元画像を取得するために採用することができる。第３のフレームｆ３及び引き続く奇数のフレームｆ５、ｆ７、等の間には、第１の期間ｄ１が三次元距離測定に関する追加の情報を取得する露出のために再び採用される。第４のフレームｆ４及び引き続く偶数のフレームｆ６、等の間には、第２の期間ｄ２が追加の二次元画像を取得する露出のために再び採用される、等々。
【００３５】
１つの例では、第３の固定期間ｐ１のレーザ（又は投影光源）パルスを、１フレームおきに放射することができる。１つの例では、第３の期間ｐ１は、第１の期間ｄ１よりも大きいが、第２の期間ｄ２よりも小さい（すなわち、ｄ１＜ｐ１＜ｄ２）。１つの例では、レーザパルスを、（例えば、奇数フレーム毎の）第１の期間ｄ１の各々のカメラ露出と同時に放射する。言い換えると、各々の奇数フレームの開始時に、期間ｐ１のレーザパルスが発光され、そしてカメラシャッタが期間ｄ１の窓の間開かれる。したがって、距離センサが三次元距離測定に関する情報を取得することができるパターンを投影するために、レーザパルスを使用することができる。
【００３６】
第３の期間ｐ１の各々のレーザパルスが、第１の期間ｄ１の１つのカメラ露出及び第２の期間ｄ２の１つのカメラの露出に関係付けられることもまた、図３から分かる。すなわち、第１の期間ｄ１の１つのカメラ露出及び第２の期間ｄ２の１つのカメラ露出は、（この順番で）第３の期間ｐ１のレーザパルスの各々の対の間に生じる。引き続いて、三次元距離測定のために取得した画像及び二次元画像を、別々にそして違ったふうに処理することができる。
【００３７】
図４は、本開示の例の距離センサ４００を図示するブロック図である。距離センサ４００を、被写体４１４までの距離ｄを検出するために使用することができる。１つの例では、距離センサ４００は、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載した距離センサの多くの構成要素を共有する。例えば、１つの例では、距離センサは、カメラ（又は他の画像取り込み装置）４０２、プロセッサ４０４、コントローラ４０６、及びパターン投影機４０８を備える。しかしながら、図１の距離センサ１００とは違って、距離センサ４００は、追加で人間の目に見える波長（例えば、白色）の光を放射する発光ダイオード（ＬＥＤ）４１６又は他のタイプの照明手段を含む。あるいは、ＬＥＤ４１６の放射される波長を、ＶＣＳＥＬ４１０の波長と同じにすることができる。
【００３８】
１つの例では、カメラ４０２を、スチルカメラ又はビデオカメラとすることができる。カメラ４０２は、三次元距離データを取り込むことが可能であってもよい。例えば、カメラ４０２は、被写体４１４の上へと投影される光のパターンを検出することが可能である検出器を含むことができ、ここでは投影される光は、人間の目には実質的に見えない波長のもの（例えば、赤外線）である。カメラ４０２はまた、被写体４１４の二次元の赤、緑、青（ＲＧＢ）画像を取り込むことが可能であってもよい。したがって、１つの例では、カメラ４０２を、赤、緑、青、赤外線（ＲＧＢＩＲ）カメラとすることができる。このケースでは、三次元距離検知のために放射された赤外光を、ＩＲフィルタを有するカメラ４０２のピクセルにだけ入力させることができ、一方で他の波長の光を、ＲＧＢフィルタ上のピクセルによりカラー画像として認識することができる。三次元距離検知が投影した光のパターンの強度に依存し、そして二次元撮像が外部の明るさに依存するという理由で、カメラ４０２のＩＲ部分及びＲＧＢ部分に対する最適な露出時間は異なるだろう。カメラ４０２は、魚眼レンズを有することがあり、最大１８０度までの視野の画像データを取り込むように構成されることがある。
【００３９】
カメラ４０２は、取り込んだ画像データをプロセッサ４０４へ送ることができる。被写体４１４までの距離を計算するために、プロセッサ４０４を、取り込んだ画像データ（例えば、三次元距離データ及び二次元画像データ）を処理するように構成することができる。例えば、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載された方法に従って、距離を計算することができる。
【００４０】
コントローラ４０６を、距離センサの他の構成要素の動作、例えば、カメラ４０２、プロセッサ４０４、パターン投影機４０８、及びＬＥＤ４１６の動作を制御するように構成することができる。例えば、コントローラ４０６は、カメラ４０２の露出時間（例えば、カメラのシャッタが開かれる期間）、及びカメラ４０２が（被写体４１４の画像を含め）画像を取り込むタイミングを制御することができる。下記にさらに詳細に論じるように、コントローラ４０６は、カメラ４０２に関する２つの別々の露出期間：パターン投影機４０８が（例えば、三次元距離検知のために）パターンを被写体４１４の上へと投影すると同時に被写体４１４の画像が取り込まれる第１の露出期間、及びパターン投影機４０８がパターンを被写体４１４の上へと投影しないがＬＥＤ４１６が（例えば、二次元画像取得のために）被写体４１４を照明する時刻に被写体４１４の画像が取り込まれる第２の露出期間、を設定することができる。１つの例では、コントローラ４０６は、第１の露出期間と第２の露出期間との間を交互に行うことができる。
【００４１】
コントローラ４０６はまた、パターン投影機４０８が光のパターンを被写体４１４の上へと投影する期間、同じようにパターン投影機４０８が光のパターンを被写体４１４の上へと投影するタイミングを制御することもできる。例えば、コントローラ４０６は、下記にさらに詳細に論じるように、パターン投影機４０８の光源により放射されるパルスの期間を制御することができる。
【００４２】
コントローラ４０６はまた、ＬＥＤ４１６が被写体４１４を照明する期間、同じようにＬＥＤ４１６が被写体４１４を照明するタイミングを制御することもできる。例えば、コントローラ４０６は、下記にさらに詳細に論じるように、ＬＥＤ４１６により放射されるパルスの期間を制御することができる。
【００４３】
パターン投影機４０８は、光のパターンを被写体４１４の上へと投影するように構成された様々な光学系を備えることができる。例えば、パターン投影機４０８は、垂直共振器面発光レーザ（ＶＣＳＥＬ）４１０及び回折光学素子（ＤＯＥ）４１２などのレーザ光源を含むことができる。ＶＣＳＥＬ４１０を、（例えば、コントローラ４０６がレーザパルスの期間を制御する場合に）コントローラ４０６の管理の下でレーザ光のビームを放射するように構成することができる。ＤＯＥ４１２を、ＶＣＳＥＬ４１０により投影された光のビームを複数の光のビームへと分割するように構成することができる。複数の光のビームは、各々のビームがカメラの視野内に光の別個の点（例えば、ドット、破線、ｘ、等）を作り出すように展開する又は広がることがある。全体として、複数のビームにより作り出された光の個別の点がパターンを形成する。被写体４１４までの距離を、被写体４１４上のパターンの現れ方に基づいて計算することができる。
【００４４】
ＬＥＤ４１６は、（例えば、コントローラ４０６がＬＥＤパルスの期間を制御する場合に）コントローラ４０６の管理の下で人間の目に見える波長（例えば、白色）の光を放射することができる１つ以上の発光ダイオード、又は他の光源を備えることができる。あるいは、ＬＥＤ４１６の放射する波長は、ＶＣＳＥＬ４１０の波長と同じであってもよい。下記にさらに詳細に論じるように、ＬＥＤ４１６により提供される照明を、被写体４１４の二次元画像を取得するために使用することができる。
【００４５】
図５は、本開示による、三次元深度検知及び二次元画像取り込みのための距離センサのカメラ露出を調節するための方法５００の１つの例を図示する流れ図である。方法５００を、例えば、図４に図示したプロセッサ４０４により実行することができる。例の目的で、方法５００を、処理システムにより実行されるとして説明する。
【００４６】
方法５００を、ステップ５０２において始めることができる。ステップ５０４では、処理システムは、距離センサのカメラの露出時間を第１の値に設定することができる。第１の値は、露出の期間（例えば、カメラのシャッタが画像データを取得するために開かれる時間の第１の窓）を規定することができる。
【００４７】
ステップ５０６では、処理システムは、距離センサの視野内の被写体を照明するように距離センサの照明源（例えば、ＬＥＤ）に命令することができる。１つの例では、被写体を照明するために放射される光は、人間の目に見える波長の光を含むことができる。あるいは、照明源の放射する波長は、距離センサのパターン投影機の波長と同じであってもよい。１つの例では、照明源に送られる命令は、いつ光を放射し始めるか及びどれだけ長く光を放射するか（例えば、ＬＥＤパルスのタイミング及び期間）に関する命令を含むことができる。
【００４８】
ステップ５０８では、処理システムは、被写体の第１の画像を取得するようにカメラに命令することができる。１つの例では、第１の画像は、（投影された光のパターンからのデータを含まない）二次元画像である。１つの例では、第１の画像の取得のための露出の時間は、これゆえ第１の値に等しい。
【００４９】
ステップ５１０では、処理システムは、被写体を照明することを停止するように照明源に命令することができる。例えば、照明源に送られる命令は、ＬＥＤをオフにするようにパターン投影機に命令することができる。
【００５０】
ステップ５１２では、処理システムは、光のパターンを被写体の上へと投影するように距離センサのパターン投影機（例えば、レーザ光源及び回折光学素子を含む光学系のシステム）に命令することができる。１つの例では、光のパターンは、人間の目には実質的に見えない波長で放射される光（例えば、赤外線）を含むことができる。１つの例では、パターン投影機に送られる命令は、いつ光のパターンを投影し始めるか及びどれだけ長く光のパターンを投影するか（例えば、レーザパルスのタイミング及び期間）に関する命令を含むことができる。
【００５１】
ステップ５１４では、処理システムは、カメラの露出時間を第２の値に設定することができる。第２の値は、露出の期間（例えば、カメラのシャッタが画像データを取得するために開かれる時間の第２の窓）を規定することができる。１つの例では、第２の値は、第１の値よりも小さい。
【００５２】
ステップ５１６では、処理システムは、被写体の第２の画像を取得するようにカメラに命令することができ、ここでは第２の画像もまた、パターン投影機により被写体の上へと投影された光のパターンを含む。１つの例では、第２の画像の取得のための露出の時間は、これゆえ第２の値に等しい。
【００５３】
ステップ５１８では、処理システムは、光のパターンを被写体の上へと投影することを停止するようにパターン投影機に命令することができる。例えば、パターン投影機に送られる命令は、レーザをオフにすることをパターン投影機に命令することができる。
【００５４】
ステップ５２０では、処理システムは、被写体を撮像することを停止するかどうかを決定することができる。例えば、被写体までの距離を計算するために（例えば、第１の画像及び第２の画像から）十分なデータが取得されている場合には、被写体を撮像することを停止することができる。処理システムがステップ５２０において撮像することを停止すべきではないと結論付けるのであれば、方法５００は、ステップ５０４へ戻ることができ、そして被写体の追加の画像を取り込むために上に説明したように続行することができる。
【００５５】
あるいは、処理システムがステップ５２０において撮像することを停止すべきであると結論付けるのであれば、方法５００はステップ５２２へ進むことができる。ステップ５２２では、処理システムは、被写体までの距離を決定するために第１の画像及び第２の画像を処理することができる。例えば、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載された方法のうちのいずれかを、距離を計算するために使用することができる。あるいは、処理システムは、距離計算のための遠隔処理システムに第１の画像及び第２の画像を送ることができる。
【００５６】
方法５００は、ステップ５２４で終わることができる。
【００５７】
図６は、距離センサカメラ（例えば、ビデオカメラ）のフレームレート及び露出と、三次元距離測定のための距離投影と、二次元画像取得のための光放射との間の関係を図示する例のタイミングチャートであり、ここでは単一の光源が三次元距離情報取得の時刻に又はその近くで光を放射し、第２の別の光源が二次元データ取得の時刻に光を放射し、そして三次元距離測定及び二次元画像取得が１フレームおきに交互に行われる。
【００５８】
特に、図６は、タイミングチャートの７つのフレーム、ｆ１〜ｆ７、を示す。図３の例におけるように、三次元距離測定及び二次元画像取得は、１フレームおきに交互に実行される。すなわち、第１のフレームｆ１の間には、第１の期間ｄ１の第１のカメラ露出を、三次元距離測定に関する情報を取得するために採用することができる。次いで、引き続く第２のフレームｆ２の間には、第２の期間ｄ２の第２のカメラ露出（第１のカメラ露出の期間よりも長い、すなわち、ｄ２＞ｄ１）を、二次元画像を取得するために採用することができる。第３のフレームｆ３及び引き続く奇数のフレームｆ５、ｆ７、等の間には、第１の期間ｄ１が三次元距離測定に関する追加の情報を取得する露出のために再び採用される。第４のフレームｆ４及び引き続く偶数のフレームｆ６、等の間には、第２の期間ｄ２が追加の二次元画像を取得する露出のために再び採用される、等々。
【００５９】
図３の例におけるように、第３の固定期間ｐ１のレーザ（又は投影光源）パルスを、１フレームおきに放射することができる。１つの例では、第３の期間ｐ１は、第１の期間ｄ１よりも大きいが、第２の期間ｄ２よりも小さい（すなわち、ｄ１＜ｐ１＜ｄ２）。１つの例では、レーザパルスが、第１の期間ｄ１の各々のカメラ露出が始まると同時に（例えば、すべての奇数フレームが始まる各々の時刻に）放射される。言い換えると、各々の奇数フレームの開始時に、期間ｐ１のレーザパルスが放射され、そしてカメラシャッタが期間ｄ１の窓の間開かれる。したがって、距離センサが三次元距離測定に関する情報を取得することができるパターンを投影するために、レーザパルスを使用することができる。
【００６０】
第３の期間ｐ１の各々のレーザパルスが、第１の期間ｄ１の１つのカメラ露出及び第２の期間ｄ２の１つのカメラの露出に関係付けられることもまた、図６から分かる。すなわち、第１の期間ｄ１の１つのカメラ露出及び第２の期間ｄ２の１つのカメラ露出は、（この順番で）第３の期間ｐ１のレーザパルスの各々の対の間に生じる。
【００６１】
１つの例では、第４の固定期間ｐ２の発光ダイオード（ＬＥＤ）（又は投影光源）パルスもまた、第３の期間ｐ１のレーザパルスと交互に放射することができる。１つの例では、第４の期間ｐ２は、第１の期間ｄ１、第２の期間ｄ２、及び第３の期間ｐ１のうちの最大である（すなわち、ｄ１＜ｐ１＜ｄ２＜ｐ２）。１つの例では、ＬＥＤパルスは複数のフレームに重なる：すなわち、ＬＥＤパルスは１つのフレームの終わりに（例えば、半分過ぎに）始まることがあり、そして引き続くフレームの中央近くで終わることがある。例えば、図６を参照して、第４の期間ｐ２のＬＥＤパルスは、第３の期間ｐ１のレーザパルスが終わった後にフレームｆ１内で始まることがある。同じＬＥＤパルスは、（その期間にはレーザパルスが生じなくてもよい）引き続くフレームｆ２の途中で終わることがある。１つの例では、ＬＥＤパルスは、第２の期間ｄ２の各々のカメラ露出の直前に（例えば、すべての偶数フレームが始まる直前に）放射される。言い換えると、各々の偶数フレームの開始直前に、期間ｐ２のＬＥＤパルスが放射され、そしてカメラシャッタが（偶数）フレームの途中で終わる期間ｄ２の窓の間開かれる。したがって、距離センサが被写体の二次元画像を取得することができる照明を提供するために、ＬＥＤパルスを使用することができる。
【００６２】
第４の期間ｐ２の各々のＬＥＤパルスが、第２の期間ｄ２の１つのカメラ露出及び第１の期間ｄ１の１つのカメラの露出に関係付けられることもまた、図６から分かる。すなわち、第２の期間ｄ２の１つのカメラ露出及び第１の期間ｄ１の１つのカメラの露出は、（この順番で）第４の期間ｐ２のＬＥＤパルスの各々の対の間に生じる。引き続いて、三次元距離測定のために取得した画像及び二次元画像を、別々にそして違ったふうに処理することができる。
【００６３】
もう１つの例では、図５のステップ５０８及び５１６を、処理システムがそれぞれ第１の複数の（例えば、ｎ個の）画像及び第２の複数の（例えば、ｎ個の）画像を取り込むようにカメラに命令するように変形することができる。したがって、照明源又はパターン投影の各々のパルス又は放射の間に、複数の画像を取り込むことができる。
【００６４】
例えば、図７は、距離センサカメラ（例えば、ビデオカメラ）のフレームレート及び露出と、三次元距離測定のための距離投影と、二次元画像取得のための光放射との間の関係を図示する例のタイミングチャートであり、ここでは第１の光源が三次元データ取得の時刻に又はその近くで光を放射し、第２の別の光源が二次元画像取得の時刻に光を放射し、そして三次元距離測定及び二次元画像取得が所定の数のフレームおきに交互に行われる。
【００６５】
特に、図７は、タイミングチャートの７つのフレーム、ｆ１〜ｆ７、を示す。三次元距離測定及び二次元画像取得が１フレームおきに交互に行われる図３及び図６の例とは異なり、図７では、三次元距離測定及び二次元画像取得がフレームの所定の（そして設定可能な）数ｎおきに交互に行われる。図７に図示した特定の例では、ｎ＝３である。すなわち、最初の３つのフレームｆ１、ｆ２及びｆ３の間には、第１の期間ｄ１の第１のカメラ露出を、三次元距離測定に関する情報を取得するために採用することができる。次いで、引き続く３つのフレームｆ４、ｆ５及びｆ６の間には、第２の期間ｄ２の第２のカメラ露出（第１のカメラ露出の期間よりも長い、すなわち、ｄ２＞ｄ１）を、二次元画像を取得するために採用することができる。ｆ７で始まる引き続く３つのフレームの間には、第１の期間ｄ１が三次元距離測定に関する追加の情報を取得する露出のために再び採用される、等々。
【００６６】
図３の例におけるように、第３の固定期間ｐ１のレーザ（又は投影光源）パルスを、三次元距離測定データが取得される各々のフレームの開始時に放射することができる。１つの例では、第３の期間ｐ１は、第１の期間ｄ１よりも大きいが、第２の期間ｄ２よりも小さい（すなわち、ｄ１＜ｐ１＜ｄ２）。１つの例では、レーザパルスは、第１の期間ｄ１の各々のカメラ露出が始まると同時に（例えば、ｎ個の連続して生じるフレームのセット内のフレームが始まる各々の時刻に）放射される。言い換えると、三次元データ取得のために指定されたｎ個のフレームのセットの各々のフレームの開始時に、期間ｐ１のレーザパルスが放射され、そしてカメラシャッタが期間ｄ１の窓の間開かれる。したがって、距離センサが三次元距離測定に関する情報を取得することができるパターンを投影するために、レーザパルスを使用することができる。
【００６７】
第３の期間ｐ１の各々のレーザパルスが、第１の期間ｄ１の１つのカメラ露出に関係付けられることもまた、図７から分かる。すなわち、第１の期間ｄ１の１つのカメラ露出は、第３の期間ｐ１のレーザパルスの各々の対の間に生じる。
【００６８】
１つの例では、第５の固定期間ｐ３の発光ダイオード（ＬＥＤ）（又は照明光源）パルスをまた、二次元画像が取得されるｎ個のフレームの各々のセットの開始時に放射することができる。１つの例では、第５の期間ｐ３は、第１の期間ｄ１、第２の期間ｄ２、第３の期間ｐ１、及び第４の期間ｐ２のうちの最大である（すなわち、ｄ１＜ｐ１＜ｄ２＜ｐ２＜ｐ３）。１つの例では、ＬＥＤパルスは複数のフレームに重なる：すなわち、ＬＥＤパルスは１つのフレームの終わり（例えば、半分過ぎ）に始まることがあり、そしてｎ個のフレーム後のフレームの中央近くで終わることがある。例えば、図７を参照して、第５の期間ｐ３のＬＥＤパルスは、第３の期間ｐ１のレーザパルスが終わった後で、フレームｆ３内で始まることがある。同じＬＥＤパルスは、ｎ個のフレーム後のフレーム、すなわち、フレームｆ６の途中で終わることがある。１つの例では、ＬＥＤパルスは、（例えば、第２の期間ｄ２のｎ個のカメラ露出が連続的に生じる場合に）第２の期間ｄ２の第１のカメラ露出の直前に放射される。言い換えると、二次元画像取得のために指定されたｎ個の続いて起きるフレームの第１のフレームの開始の直前に、期間ｐ３のＬＥＤパルスが放射され、そしてカメラシャッタが期間ｄ３の期間内に（ｎ個のフレームの各々のフレームの途中で終わる）期間ｄ２の窓の間に連続して３回開かれる。したがって、距離センサが被写体の二次元画像を取得することができる照明を提供するために、ＬＥＤパルスを使用することができる。
【００６９】
第５の期間ｐ３の各々のＬＥＤパルスが第２の期間ｄ２のｎ個のカメラ露出に関係付けられることもまた、図７から分かる。すなわち、第２の期間ｄ２のｎ個のカメラ露出は、第５の期間ｐ３のＬＥＤパルス毎に生じる。引き続いて、三次元距離測定のために取得した画像及び二次元画像を、別々にそして別なふうに処理することができる。
【００７０】
図８は、本開示の例の距離センサ８００を図示するブロック図である。距離センサ８００を、被写体８１４までの距離ｄを検出するために使用することができる。１つの例では、距離センサ８００は、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載した距離センサの多くの構成要素を共有する。例えば、１つの例では、距離センサは、カメラ（又は他の画像取り込み装置）８０２、プロセッサ８０４、コントローラ８０６、及び複数のパターン投影機８０８１〜８０８２（以降個別に「パターン投影機８０８」と呼ぶ又は集合的に「パターン投影機８０８」と呼ぶ）を備える。このように、図１及び図４の距離センサ１００とは違って、距離センサ８００は、１つ以上のパターン投影機を備える。
【００７１】
１つの例では、カメラ８０２を、スチルカメラ又はビデオカメラとすることができる。カメラ８０２は、三次元距離データを取り込むことが可能であってもよい。例えば、カメラ８０２は、被写体８１４の上へと投影される光のパターンを検出することが可能である検出器を含むことができ、ここでは投影された光は、人間の目には実質的に見えない波長のもの（例えば、赤外線）である。カメラ８０２はまた、被写体８１４の二次元の赤、緑、青（ＲＧＢ）画像を取り込むことが可能であってもよい。このように、１つの例では、カメラ８０２を、赤、緑、青、赤外線（ＲＧＢＩＲ）カメラとすることができる。このケースでは、三次元距離検知のために放射された赤外光を、ＩＲフィルタを有するカメラ８０２のピクセルにだけ入力させることができ、一方で他の波長の光を、ＲＧＢフィルタ上のピクセルによりカラー画像として認識することができる。三次元距離検知が投影した光のパターンの強度に依存し、そして二次元撮像が外部の明るさに依存するという理由で、カメラ８０２のＩＲ部分及びＲＧＢ部分に対する最適な露出時間は異なるだろう。カメラ８０２は、魚眼レンズを有することがあり、最大１８０度までの視野の画像データを取り込むように構成されることがある。
【００７２】
カメラ８０２は、取り込んだ画像データをプロセッサ８０４へ送ることができる。被写体８１４までの距離を計算するために、プロセッサ８０４を、取り込んだ画像データ（例えば、三次元距離データ及び二次元画像データ）を処理するように構成することができる。例えば、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載された方法に従って、距離を計算することができる。
【００７３】
距離センサの他の構成要素の動作、例えば、カメラ８０２、プロセッサ８０４、パターン投影機８０８、及びＬＥＤ８１６の動作を制御するように、コントローラ８０６を構成することができる。例えば、コントローラ８０６は、カメラ８０２の露出時間（例えば、カメラのシャッタが開かれる期間）、及びカメラ８０２が（被写体８１４の画像を含め）画像を取り込むタイミングを制御することができる。下記にさらに詳細に論じるように、コントローラ８０６は、カメラ８０２に関する２つの別々の露出期間：複数のパターン投影機８０８のうちの少なくとも１つが（例えば、三次元距離検知のための）パターンを被写体８１４の上へと投影すると同時に被写体８１４の画像が取り込まれる第１の露出期間、及びパターン投影機８０８がパターンを被写体８１４の上へと投影しないがＬＥＤ８１６が（例えば、二次元画像取得のために）被写体８１４を照明する時間に被写体８１４の画像が取り込まれる第２の露出期間、を設定することができる。１つの例では、コントローラ８０６は、第１の露出期間と第２の露出期間との間を交互に行うことができる。
【００７４】
コントローラ８０６はまた、パターン投影機８０８が光のパターンを被写体８１４の上へと投影する期間、同じようにパターン投影機８０８が光のパターンを被写体８１４の上へと投影するタイミングを制御することができる。例えば、コントローラ８０６は、下記にさらに詳細に論じるように、パターン投影機８０８の光源により放射されるパルスの期間を制御することができる。１つの特定の例では、コントローラ８０６は、別々の時間にカメラの視野の別々の部分へと光のパターンを投影するように複数のパターン投影機８０８を制御することができる。
【００７５】
コントローラ８０６はまた、ＬＥＤ８１６が被写体８１４を照明する期間、同じようにＬＥＤ８１６が被写体８１４を照明するタイミングを制御することができる。例えば、コントローラ８０６は、下記にさらに詳細に論じるように、ＬＥＤ８１６により放射されるパルスの期間を制御することができる。
【００７６】
パターン投影機８０８は、光のパターンを被写体８１４の上へと投影するように構成された様々な光学系を備えることができる。例えば、各々のパターン投影機８０８は、それぞれの垂直共振器面発光レーザ（ＶＣＳＥＬ）８１０１又は８１０２（以降個別に「ＶＣＳＥＬ８１０」とも又は集合的に「ＶＣＳＥＬ８１０」とも呼ばれる）及びそれぞれの回折光学素子（ＤＯＥ）８１２１又は８１２２（以降個別に「ＤＯＥ８１２」とも又は集合的に「ＤＯＥ８１２」とも呼ばれる）などのそれぞれのレーザ光源を含むことができる。ＶＣＳＥＬ８１０を、（例えば、コントローラ８０６がレーザパルスの期間を制御する場合に）コントローラ８０６の管理の下でレーザ光のビームを放射するように構成することができる。ＤＯＥ８１２を、それぞれのＶＣＳＥＬ８１０により投影された光のビームをそれぞれの複数の光のビームへと分割するように構成することができる。複数の光のビームは、各々のビームがカメラの視野内に光の別個の点（例えば、ドット、破線、ｘ、等）を作り出すように展開する又は広がることがある。全体として、複数のビームにより作り出される光の個別の点は、それぞれパターンを形成する。被写体８１４までの距離を、被写体８１４上のパターンの現れ方に基づいて計算することができる。
【００７７】
ＬＥＤ８１６は、（例えば、コントローラ８０６がＬＥＤパルスの期間を制御する場合に）コントローラ８０６の管理の下で人間の目に見える波長（例えば、白色）の光を放射することができる１つ以上の発光ダイオード、又は他の光源を備えることができる。あるいは、ＬＥＤ８１６の放射する波長は、ＶＣＳＥＬ８１０の波長と同じであってもよい。ＬＥＤ８１６により提供される照明を、下記にさらに詳細に論じるように、被写体８１４の二次元画像を取得するために使用することができる。
【００７８】
図９は、距離センサカメラ（例えば、ビデオカメラ）のフレームレート及び露出と、三次元距離測定のための距離投影と、二次元画像取得のための光放射との間の関係を図示する例のタイミングチャートであり、ここでは（例えば、三次元距離データ取得のために使用される）２つの光投影システムが使用され、そして三次元データ取得及び二次元画像取り込みのための露出期間が同じである。
【００７９】
特に、図９は、タイミングチャートの７つのフレーム、ｆ１〜ｆ７、を示す。１つの例では、２つの三次元距離測定及び１つの二次元画像取得が、３フレームおきに交互に実行される。すなわち、第１のフレームｆ１の間には、第１の期間ｄ１の第１のカメラ露出を、三次元距離測定に関する情報を取得するために採用することができる。引き続く第２のフレームｆ２の間には、第１の期間ｄ１の第２のカメラ露出を、三次元距離測定に関する情報を取得するために採用することができる。次いで、引き続く第３のフレームｆ３の間には、第１の期間ｄ１の第３のカメラ露出を、二次元画像を取得するために採用することができる。第４のフレームｆ４及び第５のフレームｆ５の間には、第１の期間ｄ１が三次元距離測定に関する追加の情報を取得する露出のために再び採用される。第６のフレームｆ６の間には、第１の期間ｄ１が追加の二次元画像を取得する露出のために再び採用される、等々。
【００８０】
図９に図示したように、第３の固定期間ｐ１の第１のレーザ（又は投影光源）パルスを、３フレームおきに放射することができる。１つの例では、第３の期間ｐ１は、第１の期間ｄ１よりも大きい（すなわち、ｄ１＜ｐ１）。１つの例では、第１のレーザパルスが、３フレームおきの始まりに放射される。言い換えると、３フレームおきの開始時に、期間ｐ１の第１のレーザパルスが放射され、そしてカメラシャッタが期間ｄ１の窓の間開かれる。したがって、距離センサが三次元距離測定に関する情報を取得することができるパターンを投影するために、第１のレーザパルスを使用することができる。
【００８１】
同様に、第３の固定期間ｐ１の第２のレーザ（又は投影光源）パルスをまた、３フレームおきに放射することもできる。１つの例では、第２のレーザパルスが、３フレームおきの始まりであるが各々の第１のレーザパルスの１フレーム後に放射される。言い換えると、第１のレーザパルスが生じるフレームの後のフレーム毎の開始時に、期間ｐ１の第２のレーザパルスが放射され、そしてカメラシャッタが期間ｄ１の窓の間開かれる。したがって、距離センサが三次元距離測定に関する情報を取得することができるパターンを投影するために、第２のレーザパルスを使用することができる。
【００８２】
第３の期間ｐ１の（第１のレーザパルスであるか第２のレーザパルスであるかに拘わらず）各々のレーザパルスが、第１の期間ｄ１の３つのカメラ露出に関係付けられることもまた、図９から分かる。すなわち、第１の期間ｄ１の３つのカメラ露出は、第３の期間ｐ１の（第１又は第２の）レーザパルスの各々の対の間に生じる。
【００８３】
１つの例では、第４の固定期間ｐ２の発光ダイオード（ＬＥＤ）（又は照明光源）パルスをまた、第３の期間ｐ１の各々の第２のレーザパルスの後に放射することもできる。１つの例では、第４の期間ｐ２は、第１の期間ｄ１及び第３の期間ｐ１のうちで最大である（すなわち、ｄ１＜ｐ１＜ｐ２）。１つの例では、ＬＥＤパルスは複数のフレームに重なる：すなわち、ＬＥＤパルスは１つのフレームの終わり（例えば、半分過ぎ）に始まることがあり、そして引き続くフレームの中央近くで終わることがある。例えば、図９を参照して、第４の期間ｐ２のＬＥＤパルスは、第３の期間ｐ１の第２のレーザパルスが終わった後にフレームｆ２内で始まることがある。同じＬＥＤパルスは、（その期間にはレーザパルスが生じなくてもよい）引き続くフレームｆ３の途中で終わることがある。１つの例では、ＬＥＤパルスは、二次元画像取得が実行される各々のカメラ露出の直前に（例えば、それぞれの第３のフレームが始まる直前に）放射される。言い換えると、それぞれの第３のフレームの開始直前に、期間ｐ２のＬＥＤパルスが放射され、そしてカメラシャッタが引き続くフレームの途中で終わる期間ｄ１の窓の間開かれる。したがって、距離センサが被写体の二次元画像を取得することができる照明を提供するために、ＬＥＤパルスを使用することができる。
【００８４】
第４の期間ｐ２の各々のＬＥＤパルスが、第１の期間ｄ１の３つのカメラ露出に関係付けられることもまた、図９から分かる。すなわち、第１の期間ｄ１の３つのカメラ露出は、第４の期間ｐ２のＬＥＤパルスの各々の対の間に生じる。引き続いて、三次元距離測定のために取得した画像及び二次元画像を、別々にそして違ったふうに処理することができる。
【００８５】
図１０は、本開示による、三次元深度検知及び二次元画像取り込みのための距離センサのカメラ露出を調節するための方法１０００の１つの例を図示する流れ図である。方法１０００を、例えば、図１、図４及び図８に図示したプロセッサ１０４、４０４又は８０４のうちのいずれかにより実行することができる。しかしながらこのケースでは、プロセッサは、カメラによって取り込まれた二次元画像データの解析を追加で実行し、そして露出制御及び照明制御を制御するためにこの解析をコントローラへとフィードバックする。例の目的で、方法１０００を、処理システムにより実行されるとして説明する。
【００８６】
方法１０００を、ステップ１００２において始めることができる。ステップ１００４では、処理システムは、距離センサのカメラの露出時間を第１の値に設定することができる。第１の値は、露出の期間（例えば、カメラのシャッタが画像データを取得するために開かれる時間の第１の窓）を規定することができる。
【００８７】
ステップ１００６では、処理システムは、距離センサの視野内の被写体を照明するように距離センサの照明源（例えば、ＬＥＤ）に命令することができる。１つの例では、被写体を照明するために放射される光は、人間の目に見える波長（例えば、白色）の光を含むことができる。１つの例では、照明源に送られる命令は、いつ光を放射し始めるか及びどれだけ長く光を放射するか（例えば、ＬＥＤパルスのタイミング及び期間）に関する命令を含むことができる。
【００８８】
ステップ１００８では、処理システムは、被写体の第１の画像を取得するようにカメラに命令することができる。１つの例では、第１の画像は、（投影した光のパターンからのデータを含まない）二次元画像である。１つの例では、第１の画像の取得のための露出の時間は、これゆえ第１の値に等しい。
【００８９】
ステップ１０１０では、処理システムは、被写体を照明することを停止するように照明源に命令することができる。例えば、照明源に送られる命令は、ＬＥＤをオフにするようにパターン投影機に命令することができる。
【００９０】
ステップ１０１２では、処理システムは、被写体の第１の画像の解析に基づいて、距離センサ（例えば、レーザ光源及び回折光学素子を含む光学系のシステム）のカメラの露出時間に関する第２の値及びパターン投影機の投影時間を決定することができる。
【００９１】
ステップ１０１４では、処理システムは、光のパターンを被写体の上へと投影するように距離センサのパターン投影機に命令することができる。１つの例では、光のパターンは、人間の目には実質的に見えない波長（例えば、赤外）で放射される光を含むことができる。１つの例では、パターン投影機に送られる命令は、いつ光のパターンを投影し始めるか及びどれだけ長く光のパターンを投影するか（例えば、レーザパルスのタイミング及び期間）に関する命令を含むことができる。
【００９２】
ステップ１０１６では、処理システムは、カメラの露出時間を第２の値に設定することができる。第２の値は、露出の期間（例えば、カメラのシャッタが画像データを取得するために開かれる時間の第２の窓）を規定することができる。１つの例では、第２の値は、第１の値よりも小さい。
【００９３】
ステップ１０１８では、処理システムは、被写体の第２の画像を取得するようにカメラに命令することができ、ここでは第２の画像もまた、パターン投影機により被写体の上へと投影された光のパターンを含む。１つの例では、第２の画像の取得のための露出の時間は、これゆえ第２の値に等しい。
【００９４】
ステップ１０２０では、処理システムは、光のパターンを被写体の上へと投影することを停止するようにパターン投影機に命令することができる。例えば、パターン投影機に送られる命令は、レーザをオフにすることをパターン投影機に命令することができる。
【００９５】
ステップ１０２２では、処理システムは、被写体を撮像することを停止するかどうかを決定することができる。例えば、被写体までの距離を計算するために（例えば、第１の画像及び第２の画像から）十分なデータが取得されている場合には、被写体を撮像することを停止することができる。処理システムがステップ１０２２において撮像することを停止すべきではないと結論付けるのであれば、方法１０００は、ステップ１００４へ戻ることができ、そして被写体の追加の画像を取り込むために上に説明したように続行することができる。
【００９６】
あるいは、処理システムがステップ１０２２において撮像することを停止すべきであると結論付けるのであれば、方法１０００はステップ１０２４へ進むことができる。ステップ１０２４では、処理システムは、被写体までの距離を決定するために第１の画像及び第２の画像を処理することができる。例えば、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載された方法のうちのいずれかを、距離を計算するために使用することができる。あるいは、処理システムは、距離計算のための遠隔処理システムへ第１の画像及び第２の画像を送ることができる。
【００９７】
方法１０００は、ステップ１０２６で終わることができる。
【００９８】
図１１は、距離センサカメラ（例えば、ビデオカメラ）のフレームレート及び露出と、三次元距離測定のための距離投影と、二次元画像取得のための光放射との間の関係を図示する例のタイミングチャートであり、ここでは二次元画像取得の時刻におけるシャッタ速度に関する情報が三次元距離情報取得のためのタイミングにフィードバックされる。すなわち、カメラの露出時間及び三次元距離データ取得中の光のパターンのための投影の時間が、被写体の二次元画像からの被写体の解析に基づくことがある。
【００９９】
明示的に特定しないとはいえ、上に説明した方法２００、５００、及び１０００のブロック、機能、又は動作のうちのいくつかが、特定の用途のために記憶すること、表示すること及び／又は出力することを含むことができることに留意すべきである。言い換えると、方法２００、５００、及び１０００において論じたいずれかのデータ、レコード、フィールド、及び／又は中間結果を、特定の用途に応じてもう１つの装置に記憶する、表示する、及び／又は出力することができる。さらにその上、決定する動作を列挙する又は判断を含む図２、図５、及び図１０のブロック、機能、又は動作は、決定する動作の２つの分岐動作が実行されることを意味しない。言い換えると、決定する動作の分岐のうちの一方は、決定する動作の結果に応じて実行されなくてもよい。
【０１００】
図１２は、センサから被写体までの距離を計算するための例の電子デバイス１２００の高水準のブロック図を描く。それはそうとして、電子デバイス１２００を、（例えば、図１、図４、及び図８のプロセッサ１０４、４０４、又は８０４のような）距離センサなどの電子デバイス又はシステムのプロセッサとして実装することができる。
【０１０１】
図１２に描いたように、電子デバイス１２００は、ハードウェアプロセッサ素子１２０２、例えば、中央処理装置（ＣＰＵ）、マイクロプロセッサ、又はマルチコアプロセッサ、メモリ１２０４、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又は読出し専用メモリ（ＲＯＭ）、センサから被写体までの距離を計算するためのモジュール１２０５、並びに様々な入力／出力デバイス１２０６、例えば、テープドライブ、フロッピー（登録商標）ドライブ、ハードディスクドライブ又はコンパクトディスクドライブを含むがこれらに限定されない記憶デバイス、受信機、送信機、ディスプレイ、出力ポート、入力ポート、及びキーボード、キーパッド、マウス、マイクロフォン、カメラ、レーザ光源、ＬＥＤ光源、等、などのユーザ入力デバイスを備える。
【０１０２】
１つのプロセッサ素子が示されるが、電子デバイス１２００が複数のプロセッサ素子を採用することができることに留意すべきである。さらにその上、１つの電子デバイス１２００が図に示されるが、上に論じたような方法が特定の図説的な例のために分散型方式又は並列方式で実装される、すなわち、上記の方法のブロック又は全体の方法が多数の電子デバイス又は並列電子デバイスの全体にわたって実装される場合には、この図の電子デバイス１２００は、これらの多数の電子デバイスの各々を表すものとする。
【０１０３】
本開示を、機械可読命令により及び／又は、例えば、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含めプログラマブル論理アレイ（ＰＬＡ）、若しくはハードウェア装置上に展開されたステートマシンを使用して、機械可読命令とハードウェアとの組合せで実装することができ、汎用コンピュータ又はいずれかの他のハードウェア等価物、例えば、上に論じた方法に関係するコンピュータ可読命令を、上に開示した方法のブロック、機能及び／又は動作を実行するようにハードウェアプロセッサを構成するために使用することができることに留意すべきである。
【０１０４】
１つの例では、センサから被写体までの距離を計算するための本モジュール又はプロセッサ１２０５のための命令及びデータ、例えば、機械可読命令を、方法２００、５００、及び１０００に関連して上に論じたようなブロック、機能又は動作を実施するために、メモリ１２０４へとロードし、そしてハードウェアプロセッサ素子１２０２により実行することができる。さらにその上、ハードウェアプロセッサが「動作」を実行するために命令を実行するとき、このことは、直接動作を実行する及び／又は動作を実行するためのもう１つのハードウェア装置又は構成要素、例えば、コプロセッサ、等を円滑にさせる、管理する、若しくは協同するハードウェアプロセッサを含むはずである。
【０１０５】
上に説明した方法に関係する機械可読命令を実行するプロセッサを、プログラムしたプロセッサ又は専用プロセッサとして認識することができる。それはそうとして、本開示のセンサから被写体までの距離を計算するための本モジュール１２０５を、実体的な又は物理的な（広く非一時的な）コンピュータ可読記憶デバイス又は媒体、例えば、揮発性メモリ、不揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気若しくは光ドライブ、デバイス若しくはディスケット、等に記憶することができる。より具体的に、コンピュータ可読記憶デバイスは、安全センサシステムのコンピュータ若しくはコントローラなどのプロセッサ又は電子デバイスによりアクセスされるデータ及び／又は命令などの情報を記憶する能力を提供する任意の物理デバイスを備えることができる。
【０１０６】
上に開示した及び他の特徴及び機能の変形形態、又はその代替形態を、多くの他の異なるシステム又はアプリケーションへと組み合わせることができることが認識されるだろう。様々な現在のところ予期されない又は予想されない代替形態、変形、その中の変形形態を引き続いて行うことができ、これらもまた別記の特許請求の範囲により含まれるものである。
【図１】
2021518700.tif 000003
【図２】
2021518700.tif 000004
【図３】
2021518700.tif 000005
【図４】
2021518700.tif 000006
【図５】
2021518700.tif 000007
【図６】
2021518700.tif 000008
【図７】
2021518700.tif 000009
【図８】
2021518700.tif 000010
【図９】
2021518700.tif 000011
【図１０】
2021518700.tif 000012
【図１１】
2021518700.tif 000013
【図１２】
2021518700.tif 000014
【国際調査報告】
2021518700.tif 000015
2021518700.tif 000016