(57)【特許請求の範囲】
【請求項１】
シーンの深度情報を含むイメージを取り込むための深度感知デバイスであって、
シーンに光を投影することができる送信器であって、一連のレーザーパルスを含む光ビームを作ることができるレーザーを含み、各パルスは、パルス長を有し、一連のパルスは、パルス周波数で作られる、送信器と、
既知の相対方位で前記送信器に結合された受信器であって、シャッターと、前記送信器によって投影され前記シーンから反射された光の感知に基づいてイメージを作ることができるセンサーアセンブリとを含む、受信器と、
プロセッサを含み、前記送信器および前記受信器に結合されたコントローラであって、
前記受信器からの第1のイメージに基づいて、少なくとも1つの他の深度感知デバイスを示す光が前記シーン内に存在すると判定することと、
前記第1のイメージに基づく、前記光が前記シーン内に存在するとの判定に応答して、
i)前記シーン内に存在すると判定された前記光との干渉を回避するために、前記一連のレーザーパルスのパルス長を制御し、
ii)前記制御されたパルス長と同期するように前記シャッターの露光期間を調整し、
iii)前記受信器からの次のイメージに基づいて、前記光が前記シーン内にまだ存在するかどうかを判定し、
iv)前記光が前記シーン内にまだ存在するとの判定に応答して、
露光ウィンドウの開始を遅延させ、
前記受信器からの複数のイメージの次のイメージに基づいて、前記光が前記シーン内にまだ存在するかどうかを判定し続けることと、
前記光が前記シーン内に存在しないとの判定に応答して、前記露光ウィンドウを開始することであって、前記露光ウィンドウは、前記制御されたパルス長で前記一連のレーザーパルスのレーザーパルスを作ることと、前記受信器が前記シーンから反射された前記レーザーパルスを感知するようにするために、前記露光期間の間前記シャッターをアクティブ化することとを含む、ことと
を行うように構成される、コントローラと
を含む深度感知デバイス。
【請求項２】
前記レーザーは、近赤外(NIR)光ビームを作ることができ、
前記送信器は、前記レーザーから放たれた前記NIR光ビームを受信するように位置決めされた光学要素をさらに含み、前記光学要素は、前記NIR光ビームが前記光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、
前記コントローラは、NIR受信器を使用して前記シーン内の構造化光パターンを示すNIR光の存在を判定するようにさらに構成される
請求項1に記載の深度感知デバイス。
【請求項３】
前記複数の特徴は、複数の回折光学特徴を含む、請求項2に記載の深度感知デバイス。
【請求項４】
前記送信器は、飛行時間(TOF)送信器を含む、請求項1に記載の深度感知デバイス。
【請求項５】
前記コントローラは、前記コントローラが前記シーン上に存在する構造化光パターンを示すNIR光がないと判定する場合に、前記シーンに構造化光パターンを投影するために前記送信器をアクティブ化し、前記NIR光ビームの前記パルス長に同期化されるように前記シャッターを調整するようにさらに構成される、請求項2に記載の深度感知デバイス。
【請求項６】
前記コントローラは、前記コントローラが前記シーン上の構造化光パターンを示すNIR光の存在を判定する場合に、遅延期間の間にNIR光ビームを作ることから前記送信器を遅延させ、前記遅延期間の終りに、前記シーン上の構造化光パターンを示すNIR光の存在についてもう一度チェックするようにさらに構成される、請求項5に記載の深度感知デバイス。
【請求項７】
前記シャッターは、ロールシャッターを含み、露光ウィンドウ中に、前記コントローラは、前記シーンが前記送信器によって投影された光によって照らされる時に、前記シーンを横切ってスキャンするために前記ロールシャッターをアクティブ化する、請求項1に記載の深度感知デバイス。
【請求項８】
前記コントローラは、前記少なくとも1つの他の深度感知デバイスまたは別の同期化システムと通信することなく、露光ウィンドウを判定するように構成される、請求項1に記載の深度感知デバイス。
【請求項９】
前記コントローラは、前記少なくとも1つの深度感知デバイスのうちの他のいずれかが前記シーンを照らす時とは時間的に異なる露光ウィンドウ中に前記送信器が前記シーンに光を投影するようにするために、前記シーン内の光の判定された存在に基づいて前記パルス周波数を調整するようにさらに構成される、請求項1に記載の深度感知デバイス。
【請求項１０】
シーンの深度情報を含むイメージを取り込むための、深度感知デバイス上で動作可能な方法であって、
センサーから受け取られた第1のイメージに基づいて、少なくとも1つの他の深度感知デバイスを示す光がシーン内に存在することを検出するステップと、
前記第1のイメージに基づく前記光が前記シーン内に存在しないことの検出に応答して、露光ウィンドウ中に前記シーンに光を投影するために前記深度感知デバイスの送信器をアクティブ化し、前記露光ウィンドウ中に前記光の反射から情報を取り込むために前記深度感知デバイスのシャッターをアクティブ化するステップであって、前記送信器はレーザーを備え、前記投影された光は前記レーザーからのレーザービームを含み、前記レーザービームは、パルス長およびパルス周波数を有する一連のパルスを含む、アクティブ化するステップと、
前記第1のイメージに基づく前記光が前記シーン内に存在することの検出に応答して、
i)前記深度感知デバイスの前記シャッターを検出されたレーザーパルス長に調整し、
ii)前記シーン内で検出された前記光との干渉を回避するために、前記調整されたシャッターと同期化された前記一連のレーザーパルスの前記パルス長を制御し、
iii)受信器からの複数のイメージの次のイメージに基づいて、前記光が前記シーン内にまだ存在するかどうかを検出するステップと、
iv)前記光が前記シーン内にまだ存在することの検出に応答して、
調整された露光ウィンドウの開始を遅延させ、
前記受信器からの前記複数のイメージの次のイメージに基づいて、前記光が前記シーン内にまだ存在するかどうかを判定し続けるステップと、
前記光が前記シーン内に存在しないとの判定に応答して、前記調整された露光ウィンドウを開始するステップであって、前記調整された露光ウィンドウは、前記制御されたパルス長で前記一連のレーザーパルスのレーザーパルスを作ることと、前記受信器が前記シーンから反射された前記レーザーパルスを感知するようにするために、露光期間の間前記シャッターをアクティブ化することとを含む、開始するステップと
を含む方法。
【請求項１１】
前記送信器は、近赤外(NIR)光ビームを作り、
前記送信器は、レーザーから放たれた前記NIR光ビームを受信するように位置決めされた光学要素を含み、前記光学要素は、前記NIR光ビームが前記光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、
前記シーンから光を検出するステップは、前記受信器を使用して前記シーン内の構造化光パターンを示すNIR光の存在を検出するステップを含み、
前記複数の特徴は、好適には複数の回折光学特徴を含む、
請求項10に記載の方法。
【請求項１２】
前記送信器は、飛行時間(TOF)送信器を含む、請求項10に記載の方法。
【請求項１３】
前記シャッターは、ロールシャッターを含み、前記露光ウィンドウ中に、コントローラは、前記シーンが前記送信器によって投影された光によって照らされる時に、前記シーンを横切ってスキャンするために前記ロールシャッターをアクティブ化する、請求項10に記載の方法。
【請求項１４】
コントローラは、前記少なくとも1つの他の深度感知デバイスまたは別の同期化システムと通信することなく、前記露光ウィンドウを判定する、請求項10に記載の方法。
【請求項１５】
前記少なくとも1つの深度感知デバイスのうちの他のいずれかが前記シーンを照らす時とは時間的に異なる露光ウィンドウ中に前記送信器が前記シーンに光を投影するようにするために、前記シーン内の光の判定された存在に基づいて前記パルス周波数を調整するステップをさらに含む、請求項10に記載の方法。
【請求項１６】
非一時的命令を含むコンピュータ可読記録媒体であって、前記非一時的命令は、深度感知デバイスの1つまたは複数のプロセッサにより実行されたときに、前記深度感知デバイスに、請求項10から15のいずれか一項に記載の方法を実行させる、コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、深度カメラ(Depth Camera)を含むイメージングシステムおよびイメージング方法に関する。具体的には、本開示は、複数の深度カメラを干渉なしに同時に使用することを可能にするシステムおよび方法に関する。
【背景技術】
【０００２】
アクティブセンシングを使用して、3次元モデルを決定することができる。アクティブセンシングシステムは、たとえば、飛行時間システム(Time-of-flight System)および構造化光システム(Structured Light System)を含む。物体の3次元(3D)モデルを抽出するために、複数のアクティブセンシングデバイスを使用することができる。深度感知システム(深度カメラとも称する)のいくつかの実施形態は、環境内および物体上に不可視の構造化光パターンを投影するのに赤外線(IR)送信器を使用する。IR放射が、物体から反射され、IRセンサーまたは深度感知システムのカメラによって検出される。環境内の物体は、カメラによって見られる時に構造化光パターン内のひずみを引き起こし、このひずみは、光源と比較して軸外であり、これらのひずみを使用して、シーンに関する深度情報を解決することができる。
【０００３】
単一のカメラを有する深度感知システムは、制限された視野を有し、単一の視点からの深度情報を提供し、その結果、深度カメラに近い物体が、環境の大きい部分を塞ぐようになる場合がある。マッピングされ得る環境の面積を拡大する1つの解決策は、複数のIR深度カメラを使用することである。これは、異なる視点からのシーンのビューを提供し、物体の360度モデルを形成することを可能にする。しかし、ある種の構成において、アクティブセンシングに使用される複数のデバイスが、お互いと干渉する可能性がある。さらに、構造化光パターンがオーバーラップする場合に、各IR深度カメラの精度が劣化する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、これらの問題を克服する深度感知システムを有することは利益がある。下で説明される実施形態は、既知のIR深度カメラシステムの不利のいずれかまたはすべてを解決する実施態様に限定されない。
【課題を解決するための手段】
【０００５】
深度感知は、通常、より低いイメージング解像度において行われる。しかし、イメージングの応用で使用されるイメージングデバイス(光源/受信器)の個数が多ければ多いほど、一般に、再構成される3Dモデルの潜在的な品質が良くなる。深度感知に使用される技法(たとえば、構造化光または飛行時間(TOF))に関して、複数の深度イメージングデバイス(たとえば、光源(たとえば、レーザー)およびイメージングデバイス(たとえば、カメラ)を含む各デバイス)を使用する時に、個々の深度イメージングデバイスが、たとえばカメラがすべて同一である場合に、お互いに干渉する可能性がある。1つの革新において、光源内のレーザーを制御して、パルス駆動された光(パターン)を作ることができる。パルスの持続時間は、たとえば、レーザーピーク出力に基づいて調整され得る。特定のフレームレートが望まれる場合には、複数のカメラは、たとえば、フルフレームの小さい分数に同時に送信し、受信することによって、1/フレームレートの時間量を共有することができる。次いで、イメージが、複数の深度イメージングデバイスの間の干渉を伴わずに、物体の3Dモデルを作るために作られ得る。
【０００６】
1つの革新は、シーンの深度情報を含むイメージを取り込むため、および少なくとも1つの他の深度感知デバイスを含む深度感知システム内での使用のための深度感知デバイスを含む。深度感知デバイスは、シーンに光を投影することができる送信器であって、一連のレーザーパルスを含む光ビームを作ることができるレーザーを含み、各パルスは、パルス長を有し、一連のパルスは、パルス周波数で作られる、送信器と、既知の相対方位で送信器に結合された受信器であって、シャッターと、送信器によって投影されシーンから反射された光の感知に基づいてイメージを作ることができるセンサーアセンブリとを含む、受信器とを含む。深度感知デバイスは、プロセッサを含み、送信器および受信器に結合されたコントローラであって、受信器を使用してシーン内の光の存在を判定し、一連のレーザーパルスのパルス長を制御し、送信器がシーンに光を投影するためにアクティブ化される露光ウィンドウが始まる時を制御し、シーンから反射された光の感知を開始するために受信器をアクティブ化し、露光ウィンドウの始まりおよびパルス長は、少なくとも1つの他の深度感知デバイスからのシーン上の光の判定された存在に基づいて制御され、したがって、露光ウィンドウは、システム内の少なくとも1つの他の深度感知デバイスのうちの他のいずれかがシーンを照らしている時とは時間的に異なるように構成される、コントローラをさらに含む。一態様において、レーザーは、近赤外(NIR)光ビームを作ることができ、送信器は、レーザーから放たれたNIR光ビームを受信するように位置決めされた光学要素をさらに含み、光学要素は、NIR光ビームが光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、コントローラは、NIR受信器を使用してシーン内の構造化光パターンを示すNIR光の存在を判定するようにさらに構成される。別の態様において、コントローラは、コントローラがシーン上に存在する構造化光パターンを示すNIR光がないと判定する場合に、シーンに構造化光パターンを投影するために送信器をアクティブ化し、NIR光ビームのパルス長に同期化されるようにシャッターを調整するようにさらに構成される。別の態様において、コントローラは、コントローラがシーン上の構造化光パターンを示すNIR光の存在を判定する場合に、遅延期間の間にNIR光ビームを作ることから送信器を遅延させ、遅延期間の終りに、シーン上の構造化光パターンを示すNIR光の存在についてもう一度チェックするようにさらに構成される。
【０００７】
別の態様において、複数の特徴は、複数の回折光学特徴を含む。別の態様において、送信器は、飛行時間(TOF)送信器を含む。別の態様において、シャッターは、ロールシャッターを含み、露光ウィンドウ中に、コントローラは、シーンが送信器によって投影された光によって照らされる時に、シーンを横切ってスキャンするためにロールシャッターをアクティブ化する。別の態様において、コントローラは、少なくとも1つの他のデバイスまたは別の同期化システムと通信することなく、露光ウィンドウを判定するように構成される。別の態様において、コントローラは、送信器が、少なくとも1つの深度感知デバイスのうちの他のいずれかがシーンを照らす時とは時間的に異なる露光ウィンドウ中にシーンに光を投影するようにするために、シーン内の光の判定された存在に基づいてパルス周波数を調整するようにさらに構成される。
【０００８】
別の革新は、少なくとも2つの深度感知デバイスを含む深度感知システム内でシーンの深度情報を含むイメージを取り込むための、深度感知デバイス上で動作可能な方法を含み、この方法は、センサーを使用してシーンから反射された光を検出するステップであって、光は、シーンが深度感知デバイスによって照らされていることを示す、検出するステップを含む。シーンからの光が検出されない場合に、この方法は、露光ウィンドウ中にシーンに光を投影するために深度感知デバイスの送信器をアクティブ化し、露光ウィンドウ中に光の反射から情報を取り込むために深度感知デバイスのシャッターをアクティブ化することができ、投影された光は、パルス長およびパルス周波数を有する一連のパルスを含む。シーンからの光が検出される場合に、この方法は、深度感知デバイスのシャッターを検出されたレーザーパルス長に調整し、シーンからの光をもう一度感知することができる。光がもう一度検出される場合に、この方法は、深度感知デバイスの送信器がシーンに光を投影し、深度感知デバイスのシャッターがシーンからの光の反射から情報を取り込む露光ウィンドウの開始を遅延させ、光がシーン上に存在するかどうかの感知を反復して繰り返し、光が検出されなくなるまで露光ウィンドウの開始を遅延させることができる。シーンからの光が検出されない場合に、この方法は、露光ウィンドウの間に送信器および受信器をアクティブ化し、パルス周波数を有し各パルスがパルス長を有する一連のパルス内でシーンに光を投影し、受信器を使用してシーンから投影された光を検出することができる。この方法の一態様において、送信器は、近赤外(NIR)光ビームを作り、送信器は、レーザーから放たれたNIR光ビームを受信するように位置決めされた光学要素を含み、光学要素は、NIR光ビームが光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、シーンから光を検出するステップは、受信器を使用してシーン内の構造化光パターンを示すNIR光の存在を検出するステップを含む。この方法の一態様において、コントローラは、少なくとも1つの他のデバイスまたは別の同期化システムと通信することなく、露光ウィンドウを判定する。別の態様において、この方法は、送信器が、少なくとも1つの深度感知デバイスのうちの他のいずれかがシーンを照らす時とは時間的に異なる露光ウィンドウ中にシーンに光を投影するようにするために、シーン内の光の判定された存在に基づいてパルス周波数を調整することができる。
【０００９】
別の革新は、シーンの深度情報を含むイメージを取り込むため、および少なくとも1つの他の深度感知デバイスを含む深度感知システム内での使用のための近赤外(NIR)深度感知デバイスを含む。この深度感知デバイスは、シーン上にNIR構造化光パターンを投影することができるNIR送信器を含み、NIR送信器は、パルス長を有するNIR光ビームを作ることができるレーザーと、レーザーから放たれたNIR光ビームを受信するように位置決めされた光学要素とを含み、光学要素は、NIR光ビームが光学要素を通って伝搬する時に既知の構造化光パターンを作るように構成された複数の特徴を含む。この深度感知デバイスは、既知の相対方位でNIR送信器に結合されたNIR受信器であって、シャッターと、シーン内の感知されたNIR構造化光パターンからイメージを作ることができるセンサーアセンブリとを含む、NIR受信器と、プロセッサを含むコントローラとをも含むことができ、コントローラは、NIR送信器およびNIR受信器に結合され、コントローラは、NIR受信器を使用してNIR光の存在を判定するように構成され、コントローラは、NIR送信器をアクティブ化し、構造化光パターンを用いてシーンを照らし、シーンからの構造化光パターンの反射から情報を取り込むための露光時間の間シャッターをアクティブ化する時間を判定するようにさらに構成され、送信器をアクティブ化し、シャッターをアクティブ化する時間は、システム内の少なくとも1つの他の深度感知デバイスのうちの他のいずれかがNIR光を用いてシーンを照らしている時とは異なる時間期間中に送信器およびシャッターがアクティブ化されるように、シーン内のNIR光の判定された存在に基づく。いくつかの実施形態において、コントローラは、コントローラがシーン内に存在するNIR光がないと判定する場合に、構造化光パターンを投影するために送信器をアクティブ化し、NIR光のパルス長に同期化されるようにシャッターを調整するようにさらに構成される。いくつかの実施形態において、コントローラは、コントローラがシーン上の構造化光パターンを示すNIR光の存在を判定する場合に、遅延期間の間にNIR光ビームを作ることからNIR送信器を遅延させ、遅延期間の終りに、NIR光(シーン上の構造化光パターンを示す)の存在についてもう一度チェックするようにさ
らに構成される。
【００１０】
別の革新は、シーンの深度情報を含むイメージを取り込むため、および少なくとも1つの他の深度感知デバイスを含む深度感知システム内での使用のための、深度感知デバイスを含む。いくつかの実施形態において、深度感知デバイスは、シーンに光を投影するための手段であって、光投影手段は、一連のレーザーパルスを含むレーザー光ビームを作るように構成され、各パルスは、パルス長を有し、一連のパルスは、パルス周波数で作られる、投影するための手段と、既知の相対方位で投影手段に結合された、光を受信するための手段であって、光受信手段は、光投影手段によって投影され、シーンによって反射された光の検出に基づいてイメージを作るように構成される、受信するための手段とを含む。このデバイスは、投影手段および光受信手段に結合された、制御するための手段であって、制御手段は、光受信手段を使用してシーン内の光の存在を判定し、一連のレーザーパルスのパルス長を制御し、光投影手段がシーンに光を投影するためにアクティブ化される露光ウィンドウが始まる時を制御し、シーンから反射された光の感知を開始するために光受信手段をアクティブ化し、露光ウィンドウの始まりおよびパルス長は、少なくとも1つの他の深度感知デバイスからのシーン上の光の判定された存在に基づいて制御され、したがって、露光ウィンドウは、システム内の少なくとも1つの他の深度感知デバイスのうちの他のいずれかがシーンを照らしている時とは時間的に異なるように構成される、制御するための手段をも含むことができる。
【００１１】
様々な他の特徴も、異なる実施態様内に含められ得る。深度感知デバイスのいくつかの実施形態において、光投影手段は、レーザーを含む送信器を含む。光受信手段は、シャッターと、光投影手段によって投影されシーンから反射された光の感知に基づいてイメージを作ることができるセンサーアセンブリとを含む受信器を含むことができる。制御手段は、少なくとも1つのプロセッサを含むことができる。様々な実施形態において、レーザーは、近赤外(NIR)光ビームを放つことができ、光投影手段は、レーザーから放たれたNIR光ビームによって照らされるように位置決めされた光学要素を含む送信器を含み、光学要素は、NIR光ビームが光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、制御手段は、光受信手段を使用してシーン内の構造化光パターンを示すNIR光の存在を判定するように構成されたコントローラを含む。複数の特徴は、複数の回折光学特徴を含むことができる。送信器は、飛行時間(TOF)送信器を含むことができる。コントローラは、コントローラがシーン上に存在する構造化光パターンを示すNIR光がないと判定する場合に、シーンに構造化光パターンを投影するために送信器をアクティブ化し、NIR光ビームのパルス長に同期化されるようにシャッターを調整するようにさらに構成され得る。コントローラは、コントローラがシーン上の構造化光パターンを示すNIR光の存在を判定する場合に、遅延期間の間にNIR光ビームを作ることから送信器を遅延させ、遅延期間の終りに、シーン上の構造化光パターンを示すNIR光の存在についてもう一度チェックするようにさらに構成され得る。受信するための手段は、ロールシャッターを含み、露光ウィンドウ中に、コントローラは、シーンが送信器によって投影された光によって照らされる時に、シーンを横切ってスキャンするためにロールシャッターをアクティブ化することができる。制御手段は、少なくとも1つの他のデバイスまたは別の同期化システムと通信することなく、露光ウィンドウを判定するように構成され得る。コントローラは、送信器が、少なくとも1つの深度感知デバイスのうちの他のいずれかがシーンを照らす時とは時間的に異なる露光ウィンドウ中にシーンに光を投影するようにするために、シーン内の光の判定された存在に基づいてパルス周波数を調整するようにさらに構成され得る。
【００１２】
別の革新は、方法を実行するように少なくとも1つのプロセッサを制御する非一時的命令を含むコンピュータ可読媒体であって、方法は、センサーを使用してシーンから反射された光を検出するステップであって、光は、シーンが深度感知デバイスによって照らされていることを示す、検出するステップと、シーンからの光が検出されない場合に、露光ウィンドウ中にシーンに光を投影するために深度感知デバイスの送信器をアクティブ化し、露光ウィンドウ中に光の反射から情報を取り込むために深度感知デバイスのシャッターをアクティブ化するステップであって、投影された光は、パルス長およびパルス周波数を有する一連のパルスを含む、アクティブ化するステップと、シーンからの光が検出される場合に、深度感知デバイスのシャッターを検出されたレーザーパルス長に調整し、シーンからの光をもう一度感知するステップと、光がもう一度検出される場合に、深度感知デバイスの送信器がシーンに光を投影し、深度感知デバイスのシャッターがシーンからの光の反射から情報を取り込む露光ウィンドウの開始を遅延させ、光がシーン上に存在するかどうかの感知を反復して繰り返し、光が検出されなくなるまで露光ウィンドウの開始を遅延させるステップと、シーンからの光が検出されない場合に、露光ウィンドウの間に送信器および受信器をアクティブ化し、パルス周波数を有し各パルスがパルス長を有する一連のパルス内でシーンに光を投影し、受信器を使用してシーンから投影された光を検出するステップとを含む、コンピュータ可読媒体を含む。いくつかの実施形態において、送信器は、近赤外(NIR)光ビームを作り、送信器は、レーザーから放たれたNIR光ビームを受信するように位置決めされた光学要素を含み、光学要素は、NIR光ビームが光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、シーンから光を検出するステップは、受信器を使用してシーン内の構造化光パターンを示すNIR光の存在を検出するステップを含む。
【００１３】
開示される態様は、以下で、開示される態様を限定するのではなく例示するために提供される添付図面および付録に関連して説明され、添付図面では、同様の符号が、同様の要素を表す。
【図面の簡単な説明】
【００１４】
【図１】物体の深度、たとえば3次元(3D)トポグラフィーを感知する能動光感知のための複数のシステムを含むシステムの一例を示す図である。
【図２】たとえば図1に示された構造化光送信器とすることができる構造化光送信器の一例を示す図である。
【図３】「放射受信器」、「センサー」、または単に「受信器」と呼ばれる場合もあるカメラの一例を示す図である。
【図４】それぞれがパルス駆動される光出力およびカメラ露光ウィンドウ(たとえば、放射へのセンサーの露光の時間の持続時間)を有するように構成された3つの光センサー/カメライメージングデバイスの例を示す図であり、各デバイスのパルス駆動される光出力およびカメラ露光ウィンドウは、他のデバイスのパルス駆動される光出力およびカメラ露光ウィンドウとは異なる時刻に発生する。
【図５】それぞれがパルス駆動される光出力およびカメラ露光ウィンドウ(時間の持続時間)を有するように構成された3つの光センサー/カメライメージングデバイスの例を示す図であり、カメラのうちの1つまたは複数は、グローバルシャッターを有しておらず(たとえば、ロールシャッターカメラ)、カメラは、それでも時間切り替えされまたは時間制御され得る(たとえば、より低いフレームレート)。
【図６】物体の3Dモデルを生成するためにイメージを作る際に少なくとも1つの他の深度感知デバイスと相互作用するために深度感知デバイスを追加することに関する、たとえば本明細書で開示されるデバイスのうちの1つまたは複数によって実行され得る、プロセスフロー図である。
【図７】本明細書で開示されるシステムのうちの1つもしくは複数または他のシステムによって実行され得る、複数の深度感知カメラを調整する方法を示すプロセスフロー図である。
【発明を実施するための形態】
【００１５】
以下の説明では、実施例の完全な理解をもたらすために、特定の詳細が与えられる。しかし、それらの例は、これらの特定の詳細なしで実践され得、本明細書で説明され、請求される実施形態の範囲内に留まりながら、説明される例より多数またはより少数の特徴を含むことができる。
【００１６】
本明細書で開示される実施態様は、物体の3Dモデルを形成するのに使用され得るイメージを生成するためのシステム、方法、および装置を提供する。そのようなイメージを生成するためにアクティブセンシングを使用することは、ここ数年で非常に一般的になった。物体3Dモデルを抽出するために、複数のアクティブセンシングデバイス/システムが、たとえば複数のアクティブセンシングデバイスによって作られるイメージが、合計して、シーン全体または物体全体の深度情報を含むように、物体またはシーンを囲む配置内で使用された。物体の3Dモデルを判定するために、物体の異なる視点を有する複数のイメージが収集される。複数のイメージの後処理が、3Dモデルを作ることができる。後処理は、十分に高速のコンピュータおよび技法が、複数のイメージの後処理に使用される場合に、ほぼリアルタイムとすることができる。深度感知イメージングが、相対的に低い解像度で行われる可能性があるので、深度情報を有するイメージを作るのに使用されるデバイスの個数が多ければ多いほど、イメージを使用して作られる再構成された3Dモデルの品質が良くなる。したがって、複数のイメージングシステムを使用することが、望ましい可能性がある。
【００１７】
能動(深度)感知システムの例は、構造化光システムおよび飛行時間(TOF)システムを含むが、これに限定はされない。構造化光3Dイメージングシステム(本明細書ではしばしば「カメラ」と称する)は、物体上に光のパターンを投影し、物体上のパターンの変形を見ることができる。すなわち、それらのシステムは、投影コンポーネント(または送信器)と受信器コンポーネントとを含む。パターンは、安定した光源を使用して物体上に投影される。パターンプロジェクタからわずかにオフセットされ、パターンの知識を有するイメージングシステム(たとえば、カメラ)は、投影されたパターンからの光を受信し、パターンの形状から、視野内の点の距離を判定する。TOFシステム(またはカメラ)は、イメージの点に関して、カメラとシーン/物体の間およびカメラに戻る光信号の飛行時間を測定することによって、光の既知の速度に基づいて距離を解決する、レンジイメージングシステム(Range Imaging System)である。様々なTOFシステムは、シーンまたは物体を照らすのに紫外線、可視光、または近赤外(NIR)光を使用することができ、これを様々な材料と共に使用することができる。個々の深度カメラの送信は、お互いと干渉する可能性がある。
【００１８】
効率のためには、複数のイメージを同時に収集することが有利である可能性がある。しかし、深度感知のための技術が、構造化光、TOF、または別の技術のどれであるのかにかかわりなく、複数の送信器の使用は、各システムが別のシステムが受信する可能性のある光を放つので、システムの間の干渉を引き起こし、カメラによって作られるイメージの異常を引き起こす可能性がある。いくつかのシステムにおいて、光のパターンを作るのに使用されるレーザー光源は、絶えず放射を行っている。下で説明するように、複数の送信器/受信器対を使用するシステム内では、各深度感知システム(たとえば、送信器/受信器対)は、複数の送信器/受信器対が異なる光パルス/カメラ露光時間を有するように、レーザーがパルス駆動され、パルスの持続時間が調整され得る(たとえば、レーザーピーク出力に基づいて)ように構成され得る。特定のフレームレートが望まれる場合には、複数のカメラが、下で示すように1/フレームレートの時間量を共有することができる(この特定の例に関して、グローバルシャッターカメラが考慮される)。深度感知システムの光源(「レーザー」と集合的に呼ばれる光源)は、作動させられる時に絶えず光を放っていることができる。いくつかの実施形態において、レーザーは、ある時にある幅の光のパルスを放つように制御され得る。カメラ露光ウィンドウは、レーザーパルスの期間中に放射を受信するように、対応して制御され得る。下でより詳細に説明するように、複数の深度感知システムが一緒に使用される時に、深度感知システム内のレーザーのパルスは、異なる時にパルスを作るように制御され得る。各深度感知システム内の関連するカメラは、レーザーパルス時間中に露光ウィンドウを有するように、対応して制御され得る。
【００１９】
本明細書で説明される実施形態の利点のいくつかは、同一タイプのデバイスを単一深度カメラデバイス感知および複数深度カメラデバイス感知に使用できること、デバイスハードウェア(たとえば、カメラまたは送信器)の変更がないこと、送信器-カメラ同期の実施が簡単であること、ユーザ透過的なカメラ間同期、および任意の個数のカメラを追加できることを含む。物体の深度情報を収集するのに複数の送信器/受信器対を使用するいくつかの実施形態において、各送信器/受信器対は、カメラの間の干渉を最小化しまたは防ぐ、異なる搬送波周波数のパターンを投影し、異なる搬送波周波数の光を受信するように構成され得る。
【００２０】
図1は、1つまたは複数の物体を含むシーンの深度、たとえば3次元(3D)トポグラフィーを感知する能動光感知のための複数のシステムを含むシステムの一例を示す図である。図1に示された実施形態において、システムは、たとえば関心を持たれている物体(物体)135を囲み、物体135のすべての表面を照らし、物体135のすべての表面からの光を受信するために、異なる視点からのIR放射を用いて物体135を照らすために物体135に向かって向けられた4つの深度感知システム(たとえば、送信器100a〜d/受信器200a〜dシステム)を含む。いくつかの実施形態において、5つ以上の送信器/受信器対を使用することができ、あるいは、4つ未満の送信器/受信器対を使用することができる。たとえば、深度感知システム100aは、物体135を照らすために構造化光105aを提供し、次いで、物体135から反射された(反射された)構造化光110aを検出する。いくつかの実施形態において、5つ以上の送信器/受信器対を使用することができ、あるいは、4つ未満の送信器/受信器対を使用することができる。この実施形態において、各深度感知システム(またはカメラ)100a〜dは、構造化光送信機200を含む。送信器200の例を、図2を参照してさらに説明する。各深度感知システム100a〜dは、受信器300をも含むことができる。受信器300の例を、図3を参照してさらに説明する。
【００２１】
様々な深度感知システムを使用することができる。配置内の深度感知デバイスの各々は、構造化光送信器、飛行時間(TOF)送信器、または別の照明源を含むことができる。様々な実施形態において、各深度感知デバイスの照明源は、紫外照明、可視照明、赤外(IR)照明、または近赤外(NIR)照明を作るように構成され得る。いくつかの実施形態において、各深度感知システム100a〜dは、光パターンを作るために光学的に操作される近赤外(NIR)光ビームを作るレーザーを含むことができ、光パターンは、物体135上に投影される。一般に、近赤外光は、約700ナノメートル超から約1mmまでの光である。深度感知システム100は、たとえば波長の約1〜5ナノメートルという狭い範囲内の、波長の非常に狭いスペクトル内のNIRビームを作るように構成され得る。いくつかの実施形態において、送信器/受信器システムの各々は、複数のデバイスがお互いと干渉しないように、異なるNIR搬送波周波数(または、非常に狭い範囲のNIR搬送波周波数)を投影し、受信し、各構成において、対にされたデバイスの各々は、異なるNIR搬送波周波数を送信し、受信することができる。
【００２２】
上で説明したシステムの利点は、複数の深度カメラシステムのより単純な設計を含む。無視できる干渉(または干渉なし)を、これらの実施形態によって達成することができる。また、そのようなシステムを用いると、帯域フィルタの帯域幅を操作することによって、雑音に対して干渉を制御することが、相対的に簡単である。さらに、N個のカメラを有するシステムを設計するためのシステムのスケーリングは、簡単であり、異なる搬送波周波数を定義することだけを必要とする。いくつかの実施形態において、送信器と受信器との両方が同調可能であり、そのようなシステムにおいて、送信器および受信器は、すべて、同一になるように設計され得、これは、コストを低下させ、より簡単な保守および修理を可能にすることができる。
【００２３】
深度感知システム100は、ある種のタイミング判断基準に従って光のパルスを放ち、ある種のパルス幅および/またはある種の周波数の光を放つようにレーザーを制御するコントローラを含むことができる。さらに、送信器は、プロセッサを含むことができる通信モジュールを含むことができる。通信モジュール(たとえば、プロセッサ)は、パルス幅の長さ、パルス幅の周波数、および光のパルスを放つべき時を調整するために他のデバイスと情報を通信するように構成され得る。深度感知システム100のそのようなコンポーネントおよび他のコンポーネントを、図2(送信器)および図3(受信器)を参照してさらに説明する。
【００２４】
図2は、たとえば図1に示された構造化光送信器とすることができる構造化光送信器200の一例を示す図である。構造化光送信器200は、図1の実施形態内に示されているように、深度感知システム100のハウジング内に含められ得る。いくつかの実施形態において、構造化光送信器200は、深度感知システムの受信器300と共に収容される。いくつかの実施形態において、構造化光送信器200および受信器300は、別々に収容されるが、それらが一緒に収容される深度感知システムと同一の機能性を実行するために、お互いの近くに位置決めされる。
【００２５】
送信器200は、狭い波長を有する放射を作るレーザー210を含む。この例において、レーザー210は、近赤外(NIR)光ビーム230を作る。送信器200は、光ビーム230がコリメーティングレンズ215を通過し、次いで回折光学要素220を通過するように整列されたコリメーティングレンズ215および回折光学要素(またはマスク)220をも含む。回折光学要素220上の回折特徴225は、物体135上に投影される光パターンを作る。
【００２６】
図3は、いくつかの実施形態によるカメラ300(または受信器)の一例を示す図である。受信器300は、深度感知デバイス内に送信器(たとえば、図2の送信器200)と共に収容され得る。いくつかの実施形態において、図3を参照して説明されるコンポーネントのうちの1つまたは複数は、送信器に結合され、送信器の機能性、たとえば、送信器によって生成されるレーザーパルスの長さ、送信器からレーザーパルスを放つべき時、または送信器からレーザーパルスを放つ周波数を制御することができる。いくつかの実施形態において、デバイス300は、構造化光深度感知のために意図的に構成された感知デバイスとすることができる。いくつかの他の実施形態において、デバイス300は、飛行時間(TOF)システムとして構成され得る。様々な実施形態は、追加のコンポーネントまたは図3に示されたコンポーネントより少数のコンポーネント、あるいは異なるコンポーネントを有することができる。
【００２７】
図3に、イメージセンサーアセンブリ315にリンクされたイメージプロセッサ320と、トランシーバ355とを含むコンポーネントのセットを有するデバイス300(イメージキャプチャデバイス)の高水準ブロック図を示す。イメージプロセッサ320は、作業メモリ305、メモリ330、およびデバイスプロセッサ350とも通信しており、デバイスプロセッサ350は、ストレージ310および電子ディスプレイ325と通信している。いくつかの実施形態において、デバイス300は、セル電話機、デジタルカメラ、タブレットコンピュータ、携帯情報端末、または深度感知のために特に作られたハイエンドカメラもしくはイメージングシステムとすることができる。デバイス300は、伝統的な写真アプリケーションおよびビデオアプリケーション、ハイダイナミックレンジイメージング、パノラマ写真、パノラマビデオ、または3Dイメージもしくは3Dビデオなどの立体視イメージングのためのアプリケーションを含むことができる。
【００２８】
図3に示された例において、イメージキャプチャデバイス300は、外部イメージを取り込むためのイメージセンサーアセンブリ315を含む。イメージセンサーアセンブリ315は、センサー、レンズアセンブリ、ならびに、各センサーにターゲットイメージの一部をリダイレクトするための一次および二次の反射面または屈折面を含むことができる。いくつかの実施形態は、複数のセンサーを有することができる。イメージセンサーアセンブリは、取り込まれたイメージをイメージプロセッサに送信するために、イメージプロセッサ320に結合され得る。
【００２９】
イメージプロセッサ320は、イメージデータが深度情報を含む場合に、シーンのすべてまたは一部を含む受信されたイメージデータに対して様々な処理動作を実行するように構成され得る。イメージプロセッサ320は、汎用処理ユニットまたはイメージング応用例のために特別に設計されたプロセッサとすることができる。イメージング処理動作の例は、クロッピング、スケーリング(たとえば、異なる解像度への)、イメージステッチング、イメージフォーマット変換、色補間、色処理、イメージフィルタリング(たとえば、空間イメージフィルタリング)、レンズアーティファクトまたはレンズ欠陥の補正などを含む。イメージプロセッサ320は、いくつかの実施形態において、複数のプロセッサを含むことができる。ある種の実施形態は、各イメージセンサーに専用のプロセッサを有することができる。イメージプロセッサ320は、1つまたは複数の専用イメージ信号プロセッサ(ISP)またはプロセッサのソフトウェア実施態様とすることができる。
【００３０】
図3の例に示されているように、イメージプロセッサ320は、メモリ330および作業メモリ305に接続される。図示の実施形態において、メモリ330は、キャプチャ制御モジュール335、センサーモジュール340、およびオペレーティングシステム345を記憶する。これらのモジュールは、1つまたは複数のイメージから深度情報を判定するための様々なイメージ処理およびデバイス管理タスクを実行するようにデバイスプロセッサ350のイメージプロセッサ320を構成する命令を含む。作業メモリ305は、メモリ330のモジュール内に含まれるプロセッサ命令の作業セットを記憶するのにイメージプロセッサ320によって使用され得る。代替案では、作業メモリ305は、デバイス300の動作中に作成される動的データを記憶するのにもイメージプロセッサ320によって使用され得る。
【００３１】
デバイス300は、ある種の搬送波周波数、たとえば図1の送信器100によって作られた搬送波周波数が通過することを可能にするように同調された(または構成された)帯域フィルタ360をも含むことができる。いくつかの実施形態において、帯域フィルタは、複数の周波数のうちの1つがイメージセンサーアセンブリ315へ通過することを可能にするために、同調可能であり、たとえばキャプチャ制御モジュール335によって制御され得る。これは、デバイス300が、送信器によって使用される周波数に対応する搬送波周波数に同調されることを可能にし、これは、各送信器/イメージキャプチャデバイス(受信器)対がNIR光の異なる搬送波周波数を投影し、受信する場合の複数イメージングシステム応用例を容易にする。
【００３２】
上で言及したように、イメージプロセッサ320は、メモリ内に記憶された複数のモジュールによって構成される。キャプチャ制御モジュール335は、イメージセンサーアセンブリ315の焦点位置を調整するようにイメージプロセッサ320を構成する命令を含むことができる。キャプチャ制御モジュール335は、深度情報を有するイメージの取込に関する機能を含むデバイス300の全体的なイメージキャプチャ機能を制御する命令をさらに含むことができる。たとえば、キャプチャ制御モジュール335は、露光時間を増減するためにセンサーアセンブリのシャッターを制御し、あるいは、露光ウィンドウの開始時刻または終了時刻を調整する命令を含むことができる。キャプチャモジュール335は、単独でまたはセンサー制御モジュール340と集合的に、センサーアセンブリ315を使用してシーンの深度感知イメージを取り込むようにイメージプロセッサ320を構成するために、サブルーチンを呼び出すことができる。キャプチャ制御モジュール335は、深度感知デバイスの送信器を制御するための機能性をも含むことができる。キャプチャ制御モジュール335は、たとえばレーザーパルスを放つ送信器と協力し、他のイメージキャプチャデバイスと協力して、イメージを取り込むようにセンサーアセンブリを制御することもできる。
【００３３】
センサー制御モジュール340は、取り込まれたイメージデータに対してステッチング技法およびクロッピング技法を実行するようにイメージプロセッサ320を構成する命令を含むことができる。ターゲットイメージ生成は、既知のイメージステッチング技法を介して行うことができる。
【００３４】
オペレーティングシステムモジュール345は、作業メモリ305およびデバイス300の処理リソースを管理するようにイメージプロセッサ320を構成する。たとえば、オペレーティングシステムモジュール345は、イメージングセンサーアセンブリ315などのハードウェアリソースを管理するためのデバイスドライバを含むことができる。したがって、いくつかの実施形態において、上で議論したイメージ処理モジュール内に含まれる命令は、これらのハードウェアリソースと直接に相互作用するのではなく、オペレーティングシステムコンポーネント345内に配置された標準サブルーチンまたはAPIを介して相互作用することができる。次いで、オペレーティングシステム345内の命令は、これらのハードウェアコンポーネントと直接に相互作用することができる。オペレーティングシステムモジュール345は、デバイスプロセッサ350と情報を共有するようにイメージプロセッサ320をさらに構成することができる。
【００３５】
デバイスプロセッサ350は、取り込まれたイメージまたは取り込まれたイメージのプレビューをユーザに表示するようにディスプレイ325を制御するように構成され得る。ディスプレイ325は、イメージングデバイス300の外部とすることができ、あるいは、イメージングデバイス300の一部とすることができる。ディスプレイ325は、イメージを取り込む前の使用のためにプレビューイメージを表示するビューファインダを提供するように構成され得、あるいは、メモリ内に記憶されたまたはユーザによって最近取り込まれたイメージを表示するように構成され得る。ディスプレイ325は、LCDスクリーンまたはLEDスクリーンを含むことができ、タッチ感知技術を実施することができる。
【００３６】
デバイスプロセッサ350は、ストレージモジュール310にデータ、たとえば取り込まれたイメージを表すデータを書き込むことができる。ストレージモジュール310は、図形的は伝統的なディスクデバイスとして表されているが、当業者は、ストレージモジュール310が任意の記憶媒体デバイスとして構成され得ることを理解するはずである。たとえば、ストレージモジュール310は、フロッピディスクドライブ、ハードディスクドライブ、光ディスクドライブ、または光磁気ディスクドライブなどのディスクドライブ、あるいは、フラッシュメモリ、RAM、ROM、および/またはEEPROMなどのソリッドステートメモリを含むことができる。ストレージモジュール310は、複数のメモリユニットを含むこともでき、メモリユニットの任意の1つは、イメージキャプチャデバイス300内にあるように構成され得、あるいは、イメージキャプチャデバイス300の外部とすることができる。たとえば、ストレージモジュール310は、イメージキャプチャデバイス300内に記憶されたシステムプログラム命令を含むROMメモリを含むことができる。ストレージモジュール310は、カメラから取り外し可能とすることができる、取り込まれたイメージを記憶するように構成されたメモリカードまたは高速メモリをも含むことができる。トランシーバ355は、各デバイスがイメージを取り込まなければならないことを判定するために、他のイメージキャプチャデバイスと情報を通信するように構成され得る。
【００３７】
図3は、プロセッサ、イメージセンサー、およびメモリを含むために別々のコンポーネントを有するデバイスを示すが、当業者は、これらの別々のコンポーネントが特定の設計目標を達成するために様々な形で組み合わされ得ることを認めるはずである。たとえば、代替実施形態において、メモリコンポーネントは、コストを節約し性能を改善するためにプロセッサコンポーネントと組み合わされ得る。
【００３８】
さらに、図3は、複数のモジュールを含むメモリコンポーネント330と、作業メモリを含む別々のメモリ305とを含む2つのメモリコンポーネントを示すが、当業者は、異なるメモリアーキテクチャを利用する複数の実施形態を認めるはずである。たとえば、ある設計は、メモリ330内に含まれるモジュールを実施するプロセッサ命令の記憶のためにROMまたはスタティックRAMメモリを利用することができる。プロセッサ命令は、イメージプロセッサ320による実行を容易にするためにRAMにロードされ得る。たとえば、作業メモリ305は、RAMメモリを含むことができ、命令は、イメージプロセッサ320による実行の前に作業メモリ305にロードされる。
【００３９】
図4は、それぞれがパルス駆動される光出力(たとえば、それぞれ406a、411a、および416a)および露光ウィンドウ(たとえば、それぞれ407a、412a、および417a)を有するように構成された3つの光センサー/カメライメージングデバイス(深度感知システム)405、410、および415の例を示す図である。パルス駆動される光出力は、一般に、シーンを照らすレーザーパルスが発生する時の持続時間と定義され得る。露光ウィンドウは、一般に、シーンからの放射を感知するためにシーンに対してイメージングデバイス内のセンサーを露光する時間の持続時間と定義され得る。図4は、各イメージングデバイスのパルス駆動される光出力406a、411a、および416aが、他のデバイスとは異なる時刻に発生する例を示す。図4は、各イメージングデバイスの露光ウィンドウ407a、412a、および417aが、他のイメージングデバイスとは異なる時刻に発生することをも示す。
【００４０】
たとえば、図4は、3つの深度感知システム405、410、および415を示し、異なる深度感知システムが、レーザーパルスを作り、システムごとに異なる対応するカメラ露光時間を有する実施形態を示す。深度感知システム405は、イメージが獲得される時間期間中に、パルス幅時間期間1a、1b、…の間のレーザーパルス406a、406bと、対応する同一の(またはほぼ同一の)カメラ時間期間(露光ウィンドウ)407a、407bとを作る。深度感知システム410は、イメージが獲得される(たとえば、カメラ露光)時に、パルス幅時間期間2a、2b、…の間のレーザーパルス411a、411bと、対応する同一の(またはほぼ同一の)カメラ時間期間(露光ウィンドウ)412a、412bとを作る。深度感知システム415は、イメージが獲得される時に、パルス幅時間期間3a、3b、…の間のレーザーパルス416a、416bと、対応する同一の(またはほぼ同一の)カメラ時間期間(露光ウィンドウ)417a、417bとを作る。
【００４１】
イメージングデバイスのいくつかの実施形態において、レーザーは、絶えずまたは特定のフレームレートで放っているものとすることができる。イメージングデバイスの間の干渉を防ぐために、レーザーは、あるフレームレートの周期的なまたは非周期的なレーザーパルスを作るように動作させられ得、レーザーパルスの持続時間は、調整され得る。シーンを照らすための特定のフレームレートが、深度感知デバイスのすべてについて望まれる場合に、複数のイメージングデバイスは、1/フレームレートの時間を共有することができる。たとえば、シーン(または物体)をイメージングするための配置内に4つの深度感知デバイスがあり、各深度感知デバイスのフレームレートが毎秒1フレームである場合に、深度感知デバイスのそれぞれは、1/4秒のパルス長を作り、なおかつ所望の毎秒1フレームを達成することができる。この例において、深度感知デバイスは、シーンが別のデバイスによって照らされつつあることの反復検出に基づいて、そのパルス照明放出の開始を遅延させるように構成され、1/4秒のレーザーパルスを作り、所望の毎秒1フレームのフレームレートを達成する対応する露光ウィンドウを有するための時間を判定するために自己調整する(すなわち、他の深度感知デバイスと通信せずに)ことができる。そのようなプロセスは、グローバルシャッター(図4に示された)またはロールシャッター(図5に示された)を有するイメージングデバイスを有する構成について実施され得る。
【００４２】
したがって、様々な実施形態において、複数のカメラは、お互いに干渉せずに、使用可能な露光時間全体を共有することができる。たとえば、いくつかの実施形態において、深度感知システムは、シーンがそれ自体の深度感知との干渉を引き起こす光源(たとえば、他の深度感知システムのうちの1つからの)によって照らされていない時を感知し、照らされていない場合に、システムを照らし(たとえば、構造化光技術またはTOF技術を使用して)、投影された放射を感知するように構成され得る。深度感知システムが、シーンがそれ自体の深度感知プロセスと干渉する可能性がある光を含むことを検出する場合には、深度感知システムは、その照明の投影を遅延させ、次いで、シーンがそれ自体の深度感知プロセスに干渉する可能性がある光を含むかどうかをもう一度感知することに進行することができる。これは、深度感知システムが、シーンがその深度感知プロセスに干渉する光を含まないと判定するまで繰り返され得、次いで、シーンを照らし、投影された放射を感知することに進行することができる。いくつかの例において、遅延は、事前に決定されてもされなくてもよい、ある遅延期間にわたる。一貫する遅延期間を有することは、複数のデバイスの干渉のより簡単な解決を容易にすることができる。たとえば、図4に示されているように、深度感知システム405は、時間期間1a、2aなどの間にあるフレームレートで照明パルスを一貫して作りつつある。深度感知システム410が、第1のレーザーパルス406aを回避するために遅延し、次いで、時間期間2a中に深度感知システム405と同一のフレームレートで照らす場合に、その後続のパルス411bは、時間期間2b中にシーンを照らし、時間期間1b中に作られたレーザーパルス406bを回避する。そのような遅延プロセスは、深度感知システム415およびシーンのイメージングにかかわる他の追加の深度感知システムによっても実行され得る。この形で、複数の深度感知デバイスは、通信がデバイスの間で発生することなく、調整が別の制御するデバイス、たとえば深度感知システムがそれぞれシーンをイメージングする時を制御するために各深度感知システムと通信しているネットワークデバイスによって指示されることなく、他のデバイスと共にシーンの照明/感知を調整することができる。
【００４３】
他の例において、事前に決定されてもされなくてもよい、異なる持続時間の複数の遅延が、使用され得る。たとえば、持続時間を有する異なる負数の遅延の使用は、同様のフレームレートのうちの同一のフレームレートで深度感知アクションに進行することを両方が試みる、同一のまたは同様の開始時刻を有する2つのシステムの干渉を防ぐことができる。いくつかの例において、遅延は、動的に決定され、たとえば、繰り返す干渉を回避することを試みるために、ランダムに決定され得る。遅延持続時間は、1つの配置内の複数の深度感知システムの間の通信を伴わずに、各イメージングシステムによって自然に完全に決定され得る。
【００４４】
図5に、それぞれがパルス駆動される光出力およびカメラ露光ウィンドウ(時間の持続時間)を有するように構成された3つの光センサー/カメライメージングデバイス(深度感知デバイス)の例を示し、深度感知デバイスは、グローバルシャッターではなくロールシャッターを有する(パルス駆動される光出力は、本明細書では照明パルスと呼ばれる場合がある)。深度感知デバイスのうちの1つまたは複数がグローバルシャッターを有しない(たとえば、その代わりにロールシャッターを有する)いくつかの実施形態において、深度感知デバイスは、それでも、同一のシステム内で使用され、お互いに干渉しないように構成され、動作させられ得る。たとえば、いくつかの実施形態において、深度感知カメラは、それらが1つまたは複数の照明パルスを放ち始める時を調整するように構成され得、かつ/または照明パルスの長さを調整するように構成され得、かつ/または照明パルスフレームレートを調整するように構成され得る。たとえば、いくつかの実施形態において、深度感知デバイスの各々は、時間切り替えされまたは時間制御される(たとえば、より低いフレームレートを用いて)時を制御することができる。具体的には、深度感知デバイス505、510、および515は、それぞれ、パルス駆動される光出力(たとえば、それぞれ506aおよび506b、511aおよび511b、ならびに516aおよび516b)と、露光ウィンドウ(たとえば、それぞれ507aおよび507b、512aおよび512b、ならびに517aおよび517b)とを有するように構成される。
【００４５】
それぞれ各深度感知デバイス505、510、および515のパルス駆動される光出力506a、511a、および516aは、他の深度感知デバイスとは異なる時に発生する。深度感知デバイスが、一時にシーンの一部(たとえば、深度感知システム内のセンサー、たとえば図3内のセンサーアセンブリ315の1行に対応するシーンの水平セグメント)を露光するロールシャッターを有するので、露光ウィンドウは、台形の露光ウィンドウによって示されるように、シーンの異なる部分について異なる。深度感知デバイス505を参照すると、グローバルシャッター実施形態に関して図4内に示された実施形態に似て、レーザーパルスは、時間期間1a中にシーンまたはオブジェクトを照らし、露光ウィンドウも、時間期間1a中である。当業者が了解するように、ロールシャッターは、任意の瞬間にセンサーの一部だけを露光するので、他のすべての条件が等しい場合には、露光ウィンドウの全持続時間は、一般により長くなる。これは、ある個数のデバイスに関するより低い全体的なフレームレートの使用または、より少数のデバイスを使用し、あるフレームレートを維持することをもたらす。しかし、パルス長およびシーンを照らすパルスの放出の遅延の調整は、図4を参照して説明したように、また、本明細書の他所で説明されるように、実行され得る。
【００４６】
図6は、シーン、たとえば物体の3Dモデルを生成するためにイメージを作るための配置内の少なくとも1つの他の深度感知デバイスに関連して相互作用するために深度感知デバイスを追加することに関するプロセス600の例を示す流れ図である。これは、2つ以上の深度感知デバイスが、深度情報を含むイメージを作るために動作すると同時に、お互いに干渉しないようにするために、お互いに関連して働く2つ以上の深度感知デバイスの文脈で議論されるが、深度感知デバイスが、このプロセスが動作するために、直接にまたは間接にお互いと通信する必要はない。その代わりに、各深度感知デバイスは、照明パルスを放つ時を調整し、照明パルスの長さを調整し、かつ/または照明パルスを放つ周波数を調整するように構成され得る。プロセス600は、たとえば、本明細書内で開示されるデバイスのうちの1つまたは複数によって実行され得る。たとえば、プロセス600は、深度感知デバイス300(図3)の1つまたは複数のコンポーネントによって実行され得る。いくつかの実施形態において、プロセッサ350(コントローラと呼ばれる場合もある)は、デバイス追加プロセスを実行するためにメモリ(たとえば、作業メモリ305)内に記憶された命令を用いて構成され得る。
【００４７】
プロセス600は、ブロック605において開始され、ここで、深度感知デバイスは、シーンの深度情報を含むイメージを収集するために1つまたは複数の他の深度感知デバイスを伴う配置内に配置され得る。4つの深度感知デバイスを有する例の配置が、図1に示されている。プロセス600は、デバイスの配置内に追加される深度感知デバイスの各々に対して実行され得、追加されるデバイスの文脈で説明される。ブロック610において、プロセス600は、深度感知デバイスのカメラ(またはセンサー)をオンに切り替え、シーンの少なくとも一部の照明を感知する。いくつかの実施形態において、カメラは、シーン全体の放射を感知するように動作する。たとえば、カメラは、特定の深度感知デバイスに関して使用される放射(たとえば、IR、NIR、UV、または可視)に類似する放射を感知するように動作させられる。デバイスカメラをオンに切り替える(フルフレームシャッター)。
【００４８】
ブロック615において、プロセス600は、カメラが、配置内の別のアクティブ深度感知デバイスの存在を示す、関連する放射、この例においてはNIR光を検出したかどうかを判定する。プロセス600は、NIR以外のタイプの放射に同等に適用可能である。
【００４９】
ブロック625において、放射が検出されない場合に、プロセス600は、送信器をオンに切り替え、シャッターをたとえばパルス長に調整する。次いで、プロセス600は、ブロック645に継続し、ブロック645は、デバイスが追加されたことを示す。これは、配置に追加された第1の深度感知デバイスが、最初に追加される時に調整を全く行わない可能性があるが、その後、追加の深度感知デバイスが追加される時に調整を行う可能性があることを例示する。
【００５０】
ブロック620において、放射が検出される場合に、カメラシャッターが、レーザーパルス長に調整される。これは、たとえば図3に示されたキャプチャ制御モジュール335およびプロセッサ350によって集合的に行われ得る。
【００５１】
次いで、プロセス600は、ブロック630に継続し、カメラが、潜在的に干渉する放射(たとえば、NIR)がシーン内に存在するかどうかをもう一度判定する。放射がシーン内に存在する場合には、プロセス600はブロック635に継続する。潜在的に干渉する放射が検出されない場合には、プロセス600はブロック640に継続する。
【００５２】
ブロック635において、プロセスは、シーンを照らすプロセスにおいて別のデバイスを示すシーン内の放射と干渉しないように、フレームの始めすなわち照明パルスを送出する時および露光ウィンドウを時間においてシフトする。次いで、プロセス600は、ブロック630に戻って継続し、カメラがシーン内のNIRパワーを検出するかどうかをもう一度判定する。
【００５３】
ブロック640において、ここでシーン内に潜在的に干渉する放射がないことを検出したので、プロセス600は、送信器をアクティブ化し640、シーンを照らす。この点において、デバイスは、あるフレームレートで、あるレーザーパルス長を用いてシーンを照らし続けることができる。次いで、このプロセスは、別のプロセスに進行することができ、別のプロセスは、シーンを照らし、深度情報を関知する。フレームレートが変化する可能性があるいくつかの実施形態において、深度感知デバイスは、シーンを照らす前に潜在的に干渉する放射についてシーンを感知することができる。これは、毎回、周期的に、または別の感知スケジュールに従って、行われ得る。
【００５４】
ブロック645において、デバイスを追加するためのプロセス600は、終了する。
【００５５】
図7は、本明細書で開示されるシステムのうちの1つもしくは複数または他のシステムによって実行され得る、複数の深度感知カメラを調整する方法700の例を示す流れ図である。方法700は、少なくとも2つの深度感知デバイスを含む深度感知システム内でシーンの深度情報を含むイメージを取り込むための深度感知デバイス上で動作可能とすることができる。いくつかの実施形態において、図3に示されたデバイスが、図示の方法を実行することができる。
【００５６】
ブロック705において、方法700は、センサーを使用してシーンから反射された光を検出し、光は、シーンが深度感知デバイスによって照らされていることを示す。判断ブロック708において、光(別の深度感知デバイスを示す)がシーン内で検出されたるどうかを判定するために、感知された光が評価される。
【００５７】
ブロック710において、方法700は、深度感知デバイスのシャッター(たとえば、シャッターが開かれる時間)を検出されたレーザーパルス長に調整し、シーンからの光をもう一度感知し、ブロック715に進行する。これは、別のデバイスから投影される光の受信を回避するのに十分に短い期間にシャッターを調節するという影響を有し、両方のデバイスが、同一の全体的な時間枠内ですなわち、一方のデバイスがまず動作し、次いで完全にシャットダウンし、次いで第2のデバイスを動作させることなく、深度感知マップを形成するために働くことを可能にすることができる。
【００５８】
ブロック720において、シーンからの光が検出されない場合に、方法700は、露光ウィンドウ中に光の反射から情報を取り込むために深度感知デバイスのシャッターをアクティブ化し、ブロック730に進行する。
【００５９】
ブロック715において、方法700は、光がシーンから検出されるかどうかを判定する。現在光が検出されない場合には、方法700はブロック720に進行する。光がもう一度検出される場合には、この方法は、ブロック725に進行し、ここで、露光ウィンドウの開始および/またはシャッターが光を取り込むために開かれる時間に対して、さらなる調整を行うことができる。さらなる調整が行われた後に(たとえば、露光ウィンドウの開始を遅延させるために)、この方法は、ブロック725からブロック715に進行し、ここで、光がシーンから検出されるかどうかをもう一度判定し、この光は、動作し、シーンに光を投影する別の深度感知システムを示す。方法700は、光がシーンに存在するかどうかの感知を反復して繰り返し、光が検出されなくなるまで、露光ウィンドウの開始を遅延させ、かつ/またはシャッターウィンドウを調整することができる。
【００６０】
ブロック730において、方法700は、露光ウィンドウの間に送信器および受信器をアクティブ化し、パルス周波数を有し各パルスがパルス長を有する一連のパルス内でシーンに光を投影し、受信器を使用してシーンから投影された光を検出する。深度感知デバイスの送信器は、露光ウィンドウ中にシーンに光を投影する。これは、露光ウィンドウ中に光の反射から情報を取り込むために深度感知デバイスのシャッターをアクティブ化することを含み、投影された光は、パルス長およびパルス周波数を有する一連のパルスを含む。
【００６１】
システムの実施および用語法
本明細書内で開示される実施態様は、視差アーティファクトおよびチルトアーティファクトのない複数アパーチャアレイカメラのシステム、方法、および装置を提供する。当業者は、これらの実施形態をハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せにおいて実施できることを認める。
【００６２】
いくつかの実施形態において、上で議論された回路、プロセス、およびシステムは、ワイヤレス通信デバイス内で使用され得る。ワイヤレス通信デバイスは、他の電子デバイスとのワイヤレス通信に使用される種類の電子デバイスとすることができる。ワイヤレス通信デバイスの例は、セルラー電話機、スマートフォン、携帯情報端末(PDA)、電子ブックリーダー、ゲームシステム、音楽プレイヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどを含む。
【００６３】
ワイヤレス通信デバイスは、1つまたは複数のイメージセンサー、2つ以上のイメージ信号プロセッサ、上で議論されたCNRプロセスを実行するための命令またはモジュールを含むメモリを含むことができる。デバイスは、データ、命令および/またはデータをメモリからロードするプロセッサ、1つまたは複数の通信インターフェース、1つまたは複数の入力デバイス、ディスプレイデバイスなどの1つまたは複数の出力デバイス、ならびに電源/インターフェースをも有することができる。ワイヤレス通信デバイスは、送信器および受信器をさらに含むことができる。送信器および受信器は、合同でトランシーバと呼ばれる場合がある。トランシーバは、ワイヤレス信号を送信し、かつ/または受信するために1つまたは複数のアンテナに結合され得る。
【００６４】
ワイヤレス通信デバイスは、別の電子デバイス(たとえば、基地局)にワイヤレスに接続され得る。ワイヤレス通信デバイスは、その代わりに、モバイルデバイス、移動局、加入者局、ユーザ機器(UE)、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれる場合がある。ワイヤレス通信デバイスの例は、ラップトップコンピュータ、デスクトップコンピュータ、セルラー電話機、スマートフォン、ワイヤレスモデム、電子ブックリーダー、タブレットデバイス、ゲームシステムなどを含む。ワイヤレス通信デバイスは、第3世代パートナーシッププロジェクト(3GPP)などの1つまたは複数の産業標準に従って動作することができる。したがって、「ワイヤレス通信デバイス」という全般的な用語は、産業標準に従う変化する用語体系を用いて説明されるワイヤレス通信デバイスを含むことができる(たとえば、アクセス端末、ユーザ機器(UE)、リモート端末など)。
【００６５】
本明細書で説明される機能は、プロセッサ可読媒体またはコンピュータ可読媒体上の1つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD-ROMもしくは他の光ディスク(disk)ストレージ、磁気ディスク(disk)ストレージデバイスもしくは他の磁気ストレージデバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するために使用可能であり、かつコンピュータによってアクセス可能な任意の他の媒体を含むことができる。本明細書で使用されるディスク(diskおよびdisc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(登録商標)(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。コンピュータ可読媒体が、有形かつ非一時的とされ得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行され、処理され、または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わされたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される時に、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能な、ソフトウェア、命令、コード、またはデータを指すことができる。
【００６６】
ソフトウェアまたは命令は、伝送媒体を介して送信もされ得る。たとえば、ウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してソフトウェアが送信される場合、上記の同軸ケーブル、光ファイバケーブル、より対線、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
【００６７】
本明細書で開示される方法は、説明される方法を達成するための1つまたは複数のステップまたはアクションを含む。方法ステップおよび/または方法アクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えると、ステップまたはアクションの特定の順序が、説明される方法の正しい動作のために要求されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく変更され得る。
【００６８】
「couple(結合する)」、「coupling(結合)」、「coupled(結合される)」という用語、またはこの語の他の変形形態は、本明細書で使用される時に、間接的な接続または直接的な接続のいずれかを示す場合があることに留意されたい。たとえば、第1のコンポーネントが第2のコンポーネントに「結合される」場合に、第1のコンポーネントは、第2のコンポーネントに間接的に接続されるか、第2のコンポーネントに直接的に接続されるかのいずれかとされ得る。本明細書で使用される時に、「plurality(複数)」という用語は、2つ以上を表す。たとえば、複数のコンポーネントは、2つ以上のコンポーネントを示す。
【００６９】
「determining(決定すること)」という用語は、様々なアクションを包含し、したがって、「決定すること」は、計算すること、コンピューティング、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベース、または別のデータ構造内でルックアップすること)、確かめること、および類似物を含むことができる。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ内のデータにアクセスすること)などを含むことができる。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立すること、および類似物を含むことができる。
【００７０】
「based on(〜に基づいて)」という句は、そうではないと明示的に指定されない限り、「based only on(〜のみに基づいて)」を意味しない。言い換えれば、「〜に基づいて」という句は、「based only on(〜のみに基づいて)」と「based at least on(少なくとも〜に基づいて)」の両方を表す。
【００７１】
前述の説明において、特定の詳細が、例の完全な理解を提供するために与えられる。しかしながら、例がこれらの具体的な詳細なしに実践され得ることが、当業者には理解されよう。たとえば、不必要な詳細で例を不明瞭にしないために、電気コンポーネント/電気デバイスがブロック図で示される場合がある。他の事例では、例をさらに説明するために、そのようなコンポーネント、他の構造および技法が詳細に示される場合がある。
【００７２】
本明細書では、見出しは、参照のために、および様々なセクションを配置するのを助けるために含まれる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図されたものではない。そのような概念は、本明細書全体を通して適用性を有することができる。
【００７３】
例が、プロセスとして説明される場合があり、プロセスが、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されることにも留意されたい。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは、並列にまたは同時に実行され得、プロセスは、繰り返され得る。さらに、動作の順序は、並べ替えられ得る。プロセスは、その動作が完了した時に終了される。プロセスは、メソッド、関数、手続き、サブルーチン、サブプログラムなどに対応することができる。プロセスがソフトウェア関数に対応する時に、その終了は、呼出し側関数またはメイン関数への関数のリターンに対応する。
【００７４】
開示された実施態様の前の説明は、任意の当業者が本発明を作成しまたは使用することを可能にするために提供される。これらの実施態様に対する様々な修正が、当業者には容易に明らかになり、本明細書で定義される一般原理は、本発明の趣旨または範囲から逸脱することなく他の実施態様に適用され得る。したがって、本発明は、本明細書に示される実施態様に限定されることを意図されているのではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。
【符号の説明】
【００７５】
100a  送信器
100b  送信器
100c  送信器
100d  送信器
105a  構造化光
110a  構造化光
135  関心を持たれている物体(物体)
200  構造化光送信器
200a  受信器
200b  受信器
200c  受信器
200d  受信器
210  レーザー
215  コリメーティングレンズ
220  回折光学要素(またはマスク)
225  回折特徴
230  近赤外(NIR)光ビーム
300  受信器
305  作業メモリ
310  ストレージ
315  イメージセンサーアセンブリ
320  イメージプロセッサ
325  電子ディスプレイ
330  メモリ
335  キャプチャ制御モジュール
340  センサーモジュール
345  オペレーティングシステム
350  デバイスプロセッサ
355  トランシーバ
360  帯域フィルタ
405  光センサー/カメライメージングデバイス(深度感知システム)
406a  パルス駆動される光出力
406b  レーザーパルス
407a  露光ウィンドウ
407b  カメラ時間期間(露光ウィンドウ)
410  光センサー/カメライメージングデバイス(深度感知システム)
411a  パルス駆動される光出力
411b  レーザーパルス
412a  露光ウィンドウ
412b  カメラ時間期間(露光ウィンドウ)
415  光センサー/カメライメージングデバイス(深度感知システム)
416a  パルス駆動される光出力
416b  レーザーパルス
417a  露光ウィンドウ
417b  カメラ時間期間(露光ウィンドウ)
505  深度感知デバイス
506a  パルス駆動される光出力
506b  パルス駆動される光出力
507a  露光ウィンドウ
507b  露光ウィンドウ
510  深度感知デバイス
511a  パルス駆動される光出力
511b  パルス駆動される光出力
512a  露光ウィンドウ
512b  露光ウィンドウ
515  深度感知デバイス
516a  パルス駆動される光出力
516b  パルス駆動される光出力
517a  露光ウィンドウ
517b  露光ウィンドウ
600  プロセス
700  方法
【図１】
0006517244.tif 000002
【図２】
0006517244.tif 000003
【図３】
0006517244.tif 000004
【図４】
0006517244.tif 000005
【図５】
0006517244.tif 000006
【図６】
0006517244.tif 000007
【図７】
0006517244.tif 000008