(57)【要約】  ３次元（３Ｄ）画像を再構成するための方法、システム、コンピュータ可読媒体、および装置が提示される。いくつかの実装形態では、この方法は、光源または対象物から発する光線を集め、光源または対象物から発する光線を第１の反射素子の方に集束させる。次いで、この方法は、光源または対象物から発する光線を第２の反射素子の方に集束させる。次いで、この方法は、集束された光線を第１のレンズ素子から第２の反射素子の方に方向変換する。次いで、この方法は、集束された光線を第２のレンズ素子から第４の反射素子の方に方向変換する。次いで、この方法は、撮像デバイスの画像センサーに入射された光線に少なくとも部分的に基づいて光源または対象物を表す３Ｄ画像を再構成する。
2018536314.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像を再構成するための撮像デバイスであって、
光源または対象物から発する光線を集め且つ集束させるための第１のレンズ素子および第２のレンズ素子であり、前記撮像デバイスの表面に各々取り付けられ、前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている第１のレンズ素子および第２のレンズ素子と、
前記第１のレンズ素子から光線を集め且つ前記撮像デバイスの第２の反射素子に方向変換するための第１の反射素子であり、前記第１の反射素子および前記第２の反射素子が前記撮像デバイスの特定の内面に各々取り付けられる、第１の反射素子と、
前記第２のレンズ素子から光線を集め且つ前記撮像デバイスの第４の反射素子に方向変換するための第３の反射素子であり、前記第３の反射素子および前記第４の反射素子が前記撮像デバイスの特定の内面に各々取り付けられる、第３の反射素子と、を含み、
前記第２の反射素子および前記第４の反射素子によって反射された光線が各々、前記光源または対象物の３次元画像再構成のための前記撮像デバイスの画像センサーに入射し、前記第１のレンズ素子と前記画像センサーとの間の光路長が、前記第２のレンズ素子と前記画像センサーとの間の光路長に等しい、撮像デバイス。
【請求項２】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長とは異なる、請求項１に記載の撮像デバイス。
【請求項３】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも長い、請求項２に記載の撮像デバイス。
【請求項４】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも短い、請求項２に記載の撮像デバイス。
【請求項５】
前記画像センサーが第１の画像センサーであり、前記撮像デバイスが、
前記光源または対象物から発する光線を集め且つ集束させるための第３のレンズ素子および第４のレンズ素子であり、前記撮像デバイスの表面に各々取り付けられ、前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている第３のレンズ素子および第４のレンズ素子と、
前記第３のレンズ素子から光線を集め且つ前記撮像デバイスの第６の反射素子に方向変換するための第５の反射素子であり、前記第５の反射素子および前記第６の反射素子が前記撮像デバイスの特定の内面に各々取り付けられる、第５の反射素子と、
前記第４のレンズ素子から光線を集め且つ前記撮像デバイスの第８の反射素子に方向変換するための第７の反射素子であり、前記第７の反射素子および前記第８の反射素子が前記撮像デバイスの特定の内面に各々取り付けられる、第７の反射素子と、をさらに含み、
前記第６の反射素子および前記第８の反射素子によって反射された光線が各々、前記光源または対象物の３次元画像再構成のための前記撮像デバイスの第２の画像センサーに入射する、請求項１に記載の撮像デバイス。
【請求項６】
前記第１のレンズ素子と前記第２のレンズ素子との間の距離が、前記第３のレンズ素子と前記第４のレンズ素子との間の距離に等しい、請求項５に記載の撮像デバイス。
【請求項７】
前記光源または対象物を再構成することが、前記第１の画像センサーへの入射と前記第２の画像センサーへの入射との組合せに少なくとも部分的に基づいて、前記光源または対象物を再構成することを含む、請求項５に記載の撮像デバイス。
【請求項８】
前記撮像デバイスが、モバイルデバイスに組み込まれ、アプリケーションベースのコンピュータビジョン演算に使用される、請求項１に記載の撮像デバイス。
【請求項９】
３次元画像を再構成するための方法であって、
第１のレンズ素子および第２のレンズ素子を介して、光源または対象物から発する光線を集めるステップであり、前記第１および第２のレンズ素子が撮像デバイスの表面に各々取り付けられ且つ前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている、ステップと、
前記第１のレンズ素子を介して、前記光源または対象物から発する光線を第１の反射素子の方に集束させるステップと、
前記第２のレンズ素子を介して、前記光源または対象物から発する光線を第２の反射素子の方に集束させるステップと、
前記第１の反射素子を介して、集束された前記光線を前記第１のレンズ素子から第２の反射素子の方に方向変換するステップであり、前記第１の反射素子および前記第２の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記光線が前記第２の反射素子を介して前記撮像デバイスの画像センサーに入射する、ステップと、
第３の反射素子を介して、集束された前記光線を前記第２のレンズ素子から第４の反射素子の方に方向変換するステップであり、前記第３の反射素子および前記第４の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記方向変換された光線が、前記第４の反射素子を介して、前記撮像デバイスの前記画像センサーに入射する、ステップと、
前記第２の反射素子および前記第４の反射素子を介して、前記撮像デバイスの前記画像センサーに入射した光線に少なくとも部分的に基づいて前記光源または対象物を表す３次元画像を再構成するステップと、を含む方法。
【請求項１０】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長とは異なる、請求項９に記載の方法。
【請求項１１】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも長い、請求項１０に記載の方法。
【請求項１２】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも短い、請求項１０に記載の方法。
【請求項１３】
前記画像センサーが第１の画像センサーであり、前記方法が、
第３のレンズ素子および第４のレンズ素子を介して、光源または対象物から発する光線を集めるステップであり、前記第３のレンズ素子および第４のレンズ素子が撮像デバイスの表面に各々取り付けられ且つ前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている、ステップと、
前記第３のレンズ素子を介して、前記光源または対象物から発する光線を第５の反射素子の方に集束させるステップと、
前記第４のレンズ素子を介して、前記光源または対象物から発する光線を第６の反射素子の方に集束させるステップと、
前記第５の反射素子を介して、集束された前記光線を前記第３のレンズ素子から第６の反射素子の方に方向変換するステップであり、前記第５の反射素子および前記第６の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記光線が前記第６の反射素子を介して前記撮像デバイスの第２の画像センサーに入射する、ステップと、
第７の反射素子を介して、集束された前記光線を前記第４のレンズ素子から第８の反射素子の方に方向変換するステップであり、前記第７の反射素子および前記第８の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、方向変換された前記光線が前記第８の反射素子を介して前記撮像デバイスの前記第２の画像センサーに入射する、ステップと、
前記第２の反射素子および前記第４の反射素子を介して、前記撮像デバイスの前記第１の画像センサーに入射した光線に少なくとも部分的に基づいて、ならびに前記第６の反射素子および前記第８の反射素子を介して、前記撮像デバイスの前記第２の画像センサーに入射した光線に少なくとも部分的に基づいて前記光源または対象物を表す前記３次元画像を再構成するステップと、をさらに含む、請求項９に記載の方法。
【請求項１４】
前記第１のレンズ素子と第２のレンズ素子との間の距離が、前記第３のレンズ素子と第４のレンズ素子との間の距離に等しい、請求項１３に記載の方法。
【請求項１５】
前記光源または対象物を再構成することが、前記第１の画像センサーへの入射と前記第２の画像センサーへの入射との組合せに少なくとも部分的に基づいて、前記光源又は対象物を再構成することを含む、請求項１３に記載の方法。
【請求項１６】
前記撮像デバイスが、モバイルデバイスに組み込まれ、アプリケーションベースのコンピュータビジョン演算に使用される、請求項９に記載の方法。
【請求項１７】
３次元画像を再構成するための装置であって、
第１のレンズ素子および第２のレンズ素子を介して、光源または対象物から発する光線を集めるための手段であり、前記第１のレンズ素子および第２のレンズ素子が撮像デバイスの表面に各々取り付けられ且つ前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている、手段と、
前記第１のレンズ素子を介して、前記光源または対象物から発する光線を第１の反射素子の方に集束させるための手段と、
前記第２のレンズ素子を介して、前記光源または対象物から発する光線を第２の反射素子の方に集束させるための手段と、
前記第１の反射素子を介して、集束された前記光線を前記第１のレンズ素子から前記第２の反射素子の方に方向変換するための手段であり、前記第１の反射素子および前記第２の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記光線が前記第２の反射素子を介して前記撮像デバイスの画像センサーに入射する、手段と、
第３の反射素子を介して、集束された前記光線を前記第２のレンズ素子から第４の反射素子の方に方向変換するための手段であり、前記第３の反射素子および前記第４の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、方向変換された前記光線が前記第４の反射素子を介して前記撮像デバイスの前記画像センサーに入射する、手段と、
前記第２の反射素子および前記第４の反射素子を介して、前記撮像デバイスの前記画像センサーに入射した前記光線に少なくとも部分的に基づいて前記光源または対象物を表す前記３次元画像を再構成するための手段と、を含む装置。
【請求項１８】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長とは異なる、請求項１７に記載の装置。
【請求項１９】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも長い、請求項１８に記載の装置。
【請求項２０】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも短い、請求項１８に記載の装置。
【請求項２１】
前記画像センサーが第１の画像センサーであり、前記装置が、
第３のレンズ素子および第４のレンズ素子を介して、光源または対象物から発する光線を集めるための手段であり、前記第３および第４のレンズ素子が撮像デバイスの表面に各々取り付けられ且つ前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている、手段と、
前記第３のレンズ素子を介して、前記光源または対象物から発する光線を第５の反射素子の方に集束させるための手段と、
前記第４のレンズ素子を介して、前記光源または対象物から発する光線を第６の反射素子の方に集束させるための手段と、
前記第５の反射素子を介して、集束された前記光線を前記第３のレンズ素子から前記第６の反射素子の方に方向変換するための手段であり、前記第５の反射素子および前記第６の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記光線が前記第６の反射素子を介して前記撮像デバイスの第２の画像センサーに入射する、手段と、
第７の反射素子を介して、集束された前記光線を前記第４のレンズ素子から第８の反射素子の方に方向変換するための手段であり、前記第７の反射素子および前記第８の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、方向変換された前記光線が前記第８の反射素子を介して前記撮像デバイスの前記第２の画像センサーに入射する、手段と、
前記第２の反射素子および前記第４の反射素子を介して、前記撮像デバイスの前記第１の画像センサーに入射した光線に少なくとも部分的に基づいて、ならびに前記第６の反射素子および前記第８の反射素子を介して、前記撮像デバイスの前記第２の画像センサーに入射した光線に少なくとも部分的に基づいて前記光源または対象物を表す前記３次元画像を再構成するための手段と、をさらに含む、請求項１７に記載の装置。
【請求項２２】
前記第１のレンズ素子と第２のレンズ素子との間の距離が、前記第３のレンズ素子と第４のレンズ素子との間の距離に等しい、請求項２１に記載の装置。
【請求項２３】
前記光源または対象物を再構成することが、前記第１の画像センサーへの入射と前記第２の画像センサーへの入射との組合せに少なくとも部分的に基づいて、前記光源または対象物を再構成することを含む、請求項２１に記載の装置。
【請求項２４】
３次元画像を再構成するためのコンピュータ実行可能な命令を記憶する一つまたは複数の非一時的コンピュータ可読媒体であって、前記命令は、実行されると、一つまたは複数のコンピューティングデバイスに、
第１のレンズ素子および第２のレンズ素子を介して、光源または対象物から発する光線を集めることであり、前記第１のレンズ素子および第２のレンズ素子が撮像デバイスの表面に各々取り付けられ且つ前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている、ことと、
前記第１のレンズ素子を介して、前記光源または対象物から発する光線を第１の反射素子の方に集束させることと、
前記第２のレンズ素子を介して、前記光源または対象物から発する光線を第２の反射素子の方に集束させることと、
前記第１の反射素子を介して、集束された前記光線を前記第１のレンズ素子から前記第２の反射素子の方に方向変換することであり、前記第１の反射素子および前記第２の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記光線が前記第２の反射素子を介して前記撮像デバイスの画像センサーに入射する、ことと、
第３の反射素子を介して、集束された前記光線を前記第２のレンズ素子から第４の反射素子の方に方向変換することであり、前記第３の反射素子および前記第４の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、方向変換された前記光線が前記第４の反射素子を介して前記撮像デバイスの前記画像センサーに入射する、ことと、
前記第２の反射素子および前記第４の反射素子を介して、前記撮像デバイスの前記画像センサーに入射した前記光線に少なくとも部分的に基づいて前記光源または対象物を表す３次元画像を再構成することと、を行わせる、非一時的コンピュータ可読媒体。
【請求項２５】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長とは異なる、請求項２４に記載の非一時的コンピュータ可読媒体。
【請求項２６】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも長い、請求項２５に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも短い、請求項２５に記載の非一時的コンピュータ可読媒体。
【請求項２８】
前記画像センサーが第１の画像センサーであり、
第３のレンズ素子および第４のレンズ素子を介して、光源または対象物から発する光線を集めることであり、前記第３のレンズ素子および第４のレンズ素子が撮像デバイスの表面に各々取り付けられ且つ前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている、ことと、
前記第３のレンズ素子を介して、前記光源または対象物から発する光線を第５の反射素子の方に集束させることと、
前記第４のレンズ素子を介して、前記光源または対象物から発する光線を第６の反射素子の方に集束させることと、
前記第５の反射素子を介して、集束された前記光線を前記第３のレンズ素子から前記第６の反射素子の方に方向変換することであり、前記第５の反射素子および前記第６の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記光線が前記第６の反射素子を介して前記撮像デバイスの第２の画像センサーに入射する、ことと、
第７の反射素子を介して、集束された前記光線を前記第４のレンズ素子から第８の反射素子の方に方向変換することであり、前記第７の反射素子および前記第８の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、方向変換された前記光線が前記第８の反射素子を介して前記撮像デバイスの前記第２の画像センサーに入射する、ことと、
前記第２の反射素子および前記第４の反射素子を介して、前記撮像デバイスの前記第１の画像センサーに入射した光線に少なくとも部分的に基づいて、ならびに前記第６の反射素子および前記第８の反射素子を介して、前記撮像デバイスの前記第２の画像センサーに入射した光線に少なくとも部分的に基づいて前記光源または対象物を表す前記３次元画像を再構成することと、をさらに含む、請求項２４に記載の非一時的コンピュータ可読媒体。
【請求項２９】
前記第１のレンズ素子と第２のレンズ素子との間の距離が、前記第３のレンズ素子と第４のレンズ素子との間の距離に等しい、請求項２８に記載の非一時的コンピュータ可読媒体。
【請求項３０】
前記光源または対象物を再構成することが、前記第１の画像センサーへの入射と前記第２の画像センサーへの入射との組合せに少なくとも部分的に基づいて、前記光源または対象物を再構成することを含む、請求項２８に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の諸態様は、コンピュータビジョンに関する。
【背景技術】
【０００２】
コンピュータビジョンは、アプリケーション内で使用するための画像を獲得し、処理し、解析し、理解するための方法を含む分野である。従来、センサーに結合されたプロセッサは、センサーから画像データを獲得し、センサーから受信された情報に対して、特徴、したがってそれらの特徴に関連付けられた対象物の検出を行うためのいくつかのコンピュータビジョン（ＣＶ）演算を実行する。特徴には、エッジ、コーナなどの特徴が含まれることがある。いくつかのインスタンスでは、特徴には、顔、笑顔、およびジェスチャーなどのより複雑な人間の特徴も含まれる。プロセッサ上で実行されるプログラムは、平面検出、顔検出、笑顔検出、ジェスチャー検出など、多様なアプリケーションにおいて検出された特徴を利用することがある。
【０００３】
コンピューティングデバイスがコンピューティングデバイスの視野内の特徴および対象物を検出することを可能にするために、近年、多くの努力がなされてきた。モバイルデバイスなどのコンピューティングデバイスは、処理するリソースの量と、モバイルデバイスによって使用される電力および放熱とに配慮して設計される。しかしながら、従来、コンピューティングデバイスの視野内の特徴および対象物をカメラを使用して検出することはかなりの処理リソースを必要とし、モバイルデバイスなどのコンピューティングデバイス内でより高い電力消費とより低いバッテリー寿命とをもたらす。
【０００４】
ＣＶ演算を実行するための深度マップの使用は、ますます普及している。深度マップは、視点からのシーンオブジェクトの表面の距離に関する情報を含む画像である。上述のＣＶ特徴を実装するために、深度マップから取得できる距離情報を使用することができる。しかしながら、深度マップの計算は非常に電力集中的な演算である。たとえば、フレームベースのシステムは、３Ｄマップの処理に使用されるピクセルのリンクを取り出すためにピクセルを検査しなければならない。別の例では、飛行時間測定値を捕捉するために、すべてのピクセルが照らされなければならない。例示された例の両方の実装は電力集中的である。いくつかの解決策は、電力使用量を節約するために低電力アクティビティ事象表現カメラを使用しようと試みる。しかしながら、低電力アクティビティ事象表現カメラは、ノイズが多く、ポイント間の良好な一致を見つける際の計算上の問題をもたらす。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、低電力の深度マップ再構築アーキテクチャの必要性が存在する。
【課題を解決するための手段】
【０００６】
低電力事象駆動型アクティビティ事象表現カメラ（ＡＥＲ）を実装するいくつかの実装形態について説明する。低電力事象駆動型ＡＥＲは、（１）単一の焦点面を有する単一のカメラを使用する、（２）合成可能なエレクトロニクスを導く属性文法に関して正式に記載された視覚化ピラミッド処理方式を使用する、（３）フォーカルプレーンエレクトロニクスを使用して、同じ水平線に沿った事象を相関させ、焦点面の画像再構成に起因する既知のノイズ問題を除去する、（４）フォーカルプレーンエレクトロニクスを使用して、遠すぎる事象をしきい値処理することによって、遠すぎる（たとえば、ｚ軸）事象を削除し、処理を低減し、モバイルデバイスアプリケーションに適したものにする、（５）高速アクションを扱うために安価な高開口率（ｆ）レンズの使用を可能にするように光路変更を提案する、（６）画像を折り畳む２つの光路を有する光学系を使用することによって、ＡＥＲに対応する既知の制限を回避することができる。
【０００７】
いくつかの実装形態では、撮像デバイスは、光源または対象物から発する光線を集め、集束させるための第１および第２のレンズ素子を含み、第１および第２のレンズ素子は各々、撮像デバイスの表面に取り付けられ、撮像デバイスの外面に沿って特定の長さまたは距離だけ離れている。撮像デバイスはまた、光線を集め、第１のレンズ素子から撮像デバイスの第２の反射素子に方向変換するための第１の反射素子も含み、第１の反射素子および第２の反射素子は各々、撮像デバイスの特定の内面に取り付けられる。撮像デバイスは、光線を集め、第２のレンズ素子から撮像デバイスの第４の反射素子に方向変換するための第３の反射素子をさらに含み、第３の反射素子および第４の反射素子は各々、撮像デバイスの特定の内面に取り付けられる。いくつかの実装形態では、第２の反射素子および第４の反射素子によって反射された光線は各々、光源または対象物の３次元（３Ｄ）画像再構成のための撮像デバイスの画像センサーに入射し、第１のレンズ素子と画像センサーとの間の光路長は、第２のレンズ素子と画像センサーとの間の光路長に等しい。
【０００８】
いくつかの実装形態では、第１のレンズ素子と第１の反射素子との間の光路の長さは、第１の反射素子と第２の反射素子との間の光路の長さとは異なる。
【０００９】
いくつかの実装形態では、第１のレンズ素子と第１の反射素子との間の光路の長さは、第１の反射素子と第２の反射素子との間の光路の長さよりも長い。
【００１０】
いくつかの実装形態では、第１のレンズ素子と第１の反射素子との間の光路の長さは、第１の反射素子と第２の反射素子との間の光路の長さよりも短い。
【００１１】
いくつかの実装形態では、画像センサーは第１の画像センサーであり、撮像デバイスは、光源または対象物から発する光線を集め、集束させるための第３および第４のレンズ素子であり、第３および第４のレンズ素子が各々、撮像デバイスの表面に取り付けられ、撮像デバイスの外面に沿って特定の長さまたは距離だけ離れている、第３および第４のレンズ素子と、光線を集め、第３のレンズ素子から撮像デバイスの第６の反射素子に方向変換するための第５の反射素子であり、第５の反射素子および第６の反射素子が各々、撮像デバイスの特定の内面に取り付けられる、第５の反射素子と、光線を集め、第４のレンズ素子から撮像デバイスの第８の反射素子に方向変換するための第７の反射素子であり、第７の反射素子および第８の反射素子が各々、撮像デバイスの特定の内面に取り付けられる、第７の反射素子とをさらに含む。いくつかの実装形態では、第６の反射素子および第８の反射素子によって反射された光線は各々、光源または対象物の３Ｄ画像再構成のための撮像デバイスの第２の画像センサーに入射する。
【００１２】
いくつかの実装形態では、第１のレンズ素子と第２のレンズ素子との間の距離は、第３のレンズ素子と第４のレンズ素子との間の距離に等しい。
【００１３】
いくつかの実装形態では、光源／対象物の再構成は、第１の画像センサーへの入射と第２の画像センサーへの入射との組合せに少なくとも部分的に基づいて、光源／対象物を再構成することを含む。
【００１４】
いくつかの実装形態では、撮像デバイスは、モバイルデバイスに組み込まれ、アプリケーションベースのコンピュータビジョン（ＣＶ）演算に使用される。
【００１５】
いくつかの実装形態では、３次元（３Ｄ）画像を再構成するための方法は、第１および第２のレンズ素子を介して、光源または対象物から発する光線を集めるステップを含み、第１および第２のレンズ素子は各々、撮像デバイスの表面に取り付けられ、撮像デバイスの外面に沿って特定の長さまたは距離だけ離れている。この方法はまた、第１のレンズ素子を介して、光源または対象物から発する光線を第１の反射素子の方に集束させるステップも含む。この方法は、第２のレンズ素子を介して、光源または物体から発する光線を第２の反射素子の方に集束させるステップをさらに含む。この方法は、第１の反射素子を介して、集束された光線を第１のレンズ素子から第２の反射素子の方に方向変換するステップをさらに含み、第１の反射素子および第２の反射素子は各々、撮像デバイスの特定の内面に取り付けられ、光線は、第２の反射素子を介して、撮像デバイスの画像センサーに入射する。この方法は、第３の反射素子を介して、集束された光線を第２のレンズ素子から第４の反射素子の方に方向変換するステップをさらに含み、第３の反射素子および第４の反射素子は各々、撮像デバイスの特定の内面に取り付けられ、方向変換された光線は、第４の反射素子を介して、撮像デバイスの画像センサーに入射する。この方法は、第２の反射素子および第４の反射素子を介して、撮像デバイスの画像センサーに入射された光線に少なくとも部分的に基づいて光源または対象物を表す３Ｄ画像を再構成するステップをさらに含む。
【００１６】
いくつかの実装形態では、３次元（３Ｄ）画像を再構成するための装置は、第１および第２のレンズ素子を介して、光源または対象物から発する光線を集めるための手段を含み、第１および第２のレンズ素子は各々、撮像デバイスの表面に取り付けられ、撮像デバイスの外面に沿って特定の長さまたは距離だけ離れている。この装置はまた、第１のレンズ素子を介して、光源または対象物から発する光線を第１の反射素子の方に集束させるための手段も含む。この装置は、第２のレンズ素子を介して、光源または物体から発する光線を第２の反射素子の方に集束させるための手段をさらに含む。この装置は、第１の反射素子を介して、集束された光線を第１のレンズ素子から第２の反射素子の方に方向変換するための手段をさらに含み、第１の反射素子および第２の反射素子は各々、撮像デバイスの特定の内面に取り付けられ、光線は、第２の反射素子を介して、撮像デバイスの画像センサーに入射する。この装置は、第３の反射素子を介して、集束された光線を第２のレンズ素子から第４の反射素子の方に方向変換するための手段をさらに含み、第３の反射素子および第４の反射素子は各々、撮像デバイスの特定の内面に取り付けられ、方向変換された光線は、第４の反射素子を介して、撮像デバイスの画像センサーに入射する。この装置は、第２の反射素子および第４の反射素子を介して、撮像デバイスの画像センサーに入射された光線に少なくとも部分的に基づいて光源または対象物を表す３Ｄ画像を再構成するための手段も含む。
【００１７】
いくつかの実装形態では、一つまたは複数の非一時的コンピュータ可読媒体は、３次元（３Ｄ）画像を再構成するためのコンピュータ実行可能命令を記憶し、命令は、実行されると、一つまたは複数のコンピューティングデバイスに、第１および第２のレンズ素子を介して、光源または対象物から発した光線を集めさせ、第１および第２のレンズ素子は各々、撮像デバイスの表面に取り付けられ、撮像デバイスの外面に沿って特定の長さまたは距離だけ離れている。命令は、実行されると、さらに、一つまたは複数のコンピューティングデバイスに、第１のレンズ素子を介して、光源または対象物から発した光線を、第１の反射素子の方に集束させる。命令は、実行されると、さらに、一つまたは複数のコンピューティングデバイスに、第２のレンズ素子を介して、光源または対象物から発した光線を、第２の反射素子の方に集束させる。命令は、実行されると、さらに、一つまたは複数のコンピューティングデバイスに、第１の反射素子を介して、集束された光線を第１のレンズ素子から第２の反射素子の方に方向変換させ、第１の反射素子および第２の反射素子は各々、撮像デバイスの特定の内面に取り付けられ、光線は、第２の反射素子を介して、撮像デバイスの画像センサーに入射する。命令は、実行されると、さらに、一つまたは複数のコンピューティングデバイスに、第３の反射素子を介して、集束された光線を第２のレンズ素子から第４の反射素子の方に方向変換させ、第３の反射素子および第４の反射素子は各々、撮像デバイスの特定の内面に取り付けられ、方向変換された光線は、第４の反射素子を介して、撮像デバイスの画像センサーに入射する。命令は、実行されると、さらに、一つまたは複数のコンピューティングデバイスに、第２の反射素子および第４の反射素子を介して、撮像デバイスの画像センサーに入射された光線に少なくとも部分的に基づいて、光源（ソース）または対象物を表す３Ｄ画像を再構成させる。
【００１８】
前記の説明では、次の詳細な説明を理解しやすくするために例の特徴および技術的利点の概略をかなり広範にわたって述べている。以下で、さらなる特徴および利点について説明する。開示される概念および具体例は、本開示の同じ目的を実行するための他の構造を変更または設計するための基礎として容易に利用される場合がある。そのような同等の構成は、添付の特許請求の範囲の趣旨および範囲から逸脱しない。本明細書で開示される概念の特性を示すと思われる特徴は、その編成と動作の方法の両方に関して、関連する利点と一緒に、添付図面に関連して検討されるときに以下の説明からより良く理解される。図の各々は、特許請求の範囲の限界を定めるものとしてではなく、例示および説明のみの目的で与えられる。
【００１９】
本開示の態様は、例として示される。添付の図面では、同様の参照符号は、類似の要素を示している。
【図面の簡単な説明】
【００２０】
【図１】いくつかの実装形態による、２次元アレイ内に配置された複数のセンサー素子を含む例示的なセンサーを示す図である。
【図２Ａ】いくつかの実装形態による、センサー素子とピクセル内回路とを含む例示的なピクセルを示す図である。
【図２Ｂ】いくつかの実装形態による、センサー素子アレイに結合された例示的な周辺回路を示す図である。
【図３】いくつかの実装形態による専用ＣＶ計算ハードウェアを示す図である。
【図４】いくつかの実装形態による、光センサーを含む感知装置の例示的な実装形態を示す図である。
【図５】いくつかの実装形態による、センサー読取り値のデジタル化を示す図である。
【図６】いくつかの実装形態による、ＡＥＲのコンテキストにおける事象ベースのカメラの技術ベースラインまたはプロトコルを示す図である。
【図７】いくつかの実装形態による、第１の例示的な撮像デバイスおよび第２の例示的な撮像デバイスを示す図である。
【図８】いくつかの実装形態による深度情報の導出のグラフ図である。
【図９】いくつかの実装形態による、対象物への距離と視差との間の反比例関係を示すチャートである。
【図１０】いくつかの実装形態による、モバイルデバイスの実装を示す図である。
【発明を実施するための形態】
【００２１】
複数の例示的な実装形態が、これから、本明細書の一部を形成する添付の図面に関して説明される。本開示の一つまたは複数の態様が実施され得る特定の実装形態が、下で説明されるが、本開示の範囲または添付の特許請求の範囲の趣旨から逸脱することなく、他の実装形態が使用され得、様々な変更が加えられ得る。
【００２２】
コンピュータビジョンベースのアプリケーションの実装について説明する。ユーザによって保持されているモバイルデバイスは、ユーザの手からの振動および環境内の光変化のアーチファクトの影響を受ける可能性がある。コンピュータビジョンベースのアプリケーションは、モバイルデバイスに近い対象物を一意に検出し、区別することができ、簡略化されたＣＶ処理を可能にし、モバイルデバイスの電力を大幅に節約することができる。さらに、これは、節電に起因して、常時動作を可能にし得る。常時動作は、手のジェスチャーならびに顔の追跡および検出を検出するのに有益であり、これらのすべてがゲームおよびモバイルデバイスアプリケーションにますます普及している。
【００２３】
コンピュータビジョンベースのアプリケーションの実装は、ＣＶ処理のために画像内のエッジを使用することができ、ランドマークポイントを探す必要がなくなる。基本代数式はシリコンで直接実装することができ、再構成およびスキャンを必要としない低コスト、低電力の３Ｄマッピング方法が可能となる。
【００２４】
センサーは、複数のセンサー素子のセンサーアレイを含み得る。センサーアレイは、列および行など、センサーアレイの２次元に配列されたセンサー素子を含む２次元アレイであってよい。センサー素子の各々は、環境条件に基づくセンサー読取り値を生成することが可能であり得る。図１は、２次元アレイ内に配列された複数のセンサー素子を備える例示的なセンサー１００を示す。図１では、センサー１００の図は、センサーアレイ内の６４（８×８）個のセンサー素子を表している。様々な実装形態では、センサー素子の形状、センサー素子の数、およびセンサー素子間の間隔は、本発明の範囲から逸脱することなく、大きく変動することがある。センサー素子１０２は、６４個の要素のグリッドからの例のセンサー素子を表す。
【００２５】
いくつかの実装形態では、センサー素子は、センサー素子に結合されるピクセル内回路を有する場合がある。いくつかの事例では、センサー素子およびピクセル内回路はまとめて、ピクセルと呼ばれることがある。センサー素子に結合されたピクセル内回路によって実行される処理は、ピクセル内処理と呼ばれることがある。いくつかの例では、センサー素子アレイはピクセルアレイと呼ばれることがあり、その差は、ピクセルアレイがセンサー素子と、各センサー素子に関連付けられたピクセル内回路の両方を含むことである。しかし、本明細書内の説明において、センサー素子という用語およびピクセルという用語は、交換可能に使用される場合がある。
【００２６】
図２Ａは、センサー素子２０２とピクセル内回路２０４とを有する例示的なピクセル２００を示す。いくつかの実装形態では、ピクセル内回路２０４は、アナログ回路、デジタル回路、またはそれらの任意の組合せであってよい。
【００２７】
いくつかの実装形態では、センサー素子アレイは、センサー素子のグループに結合された周辺回路（計算構造）として実装された専用ＣＶ計算ハードウェアを有してよい。そのような周辺回路は、オンチップセンサー回路と呼ばれることがある。図２Ｂは、センサー素子アレイ１００に結合された例示的な周辺回路（２０６および２０８）を示す。
【００２８】
さらに、図３に示すように、いくつかの実装形態では、センサー素子アレイは、センサー素子アレイ１００に結合された専用ＣＶ処理モジュール３０４として実装され、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、内臓マイクロプロセッサ、または本開示の態様を実行するための任意の同様のアナログもしくはデジタルコンピューティング論理を使用して実装される、専用ＣＶ計算ハードウェアを有してよい。
【００２９】
少なくともある種の実装形態において、専用ＣＶ処理モジュール３０４が、アプリケーションプロセッサ３０６の代わりではなくアプリケーションプロセッサ３０６に加えてとされ得ることに留意されたい。たとえば、専用ＣＶ処理モジュール３０４は、コンピュータビジョン特徴を処理し、かつ／または検出することができる。一方、アプリケーションプロセッサ３０６は、これらの検出されたコンピュータビジョン特徴の表示を受け取り、笑顔、顔、物体、その他などのマクロ特徴を判定するために、以前に記憶された画像または基準インジケータに対するパターンマッチングを行うことができる。さらに、アプリケーションプロセッサ３０６は、相対的に大幅により複雑であり、計算集中型であり、電力集中型であり、オペレーティングシステムなどのシステムレベル動作を実行する責任を負い、ユーザと対話するためのユーザインターフェースを実施し、デバイスの電力管理を実行し、メモリおよび他のリソースを管理するなどを行うことができる。アプリケーションプロセッサ３０６は、図１０のプロセッサ１０１０に類似していてもよい。
【００３０】
さらに、いくつかの実装形態では、センサーアレイは、センサー素子のグループまたはセンサーアレイに結合される周辺回路を有する場合がある。場合によっては、そのような周辺回路は、オンチップセンサー回路と呼ばれることがある。図２Ｂは、センサーアレイ１００に結合された例示的な周辺回路（２０６および２０８）を示す。
【００３１】
図４は、光センサーを含む感知装置の例示的な実装形態を示す。計算デバイスに結合された一つまたは複数のカメラを使用して、画像、またはビデオなどの一連の画像を取得するために、いくつかの技法が用いられ得る。
【００３２】
図４の例示的な実装形態は、事象ベースのカメラを使用する光センサーを示す。光センサーは、画像データを取得するための画像カメラまたはビデオカメラ内で使用され得る。事象ベースのカメラセンサーは、事象に基づいて画像情報を取得するように構成され得る。一実装形態では、事象ベースのカメラは、図１に示すように、複数のピクセルを備え得る。各ピクセルは、センサー素子とピクセル内回路とを備え得る。各ピクセル４００は、ピクセルで検出された事象に基づいて画像データを取得するように構成され得る。たとえば、一実装形態では、任意の所与のピクセルで知覚された環境条件の変化は、しきい値を超える電圧の変化をもたらす可能性があり、ピクセルにおける事象をもたらす可能性がある。事象に応答して、ピクセルに関連するロジックは、さらなる処理のためにプロセッサにセンサー素子読取り値を送り得る。
【００３３】
図４を参照すると、各ピクセル４００は、図４に示すように、フォトダイオードと、動的視覚センサー（ＤＶＳ：ｄｙｎａｍｉｃ  ｖｉｓｉｏｎ  ｓｅｎｓｏｒ）回路４０４とを含み得る。ＤＶＳ回路４０４は、事象検出回路と呼ばれることもある。事象検出回路は、環境条件の変化を検出し、事象インジケータを生成する。事象が検出された場合、ピクセルの強度がしきい値を超えて変化したとき、センサー読取り値がプロセッサに送り出される。いくつかの例では、事象が検出されたセンサー素子４０２の位置は、ペイロードとともに、さらなる処理のためにコンピュータシステムに送られる。一実装形態では、ペイロードは、強度電圧、強度電圧の変化、または、強度電圧の変化の極性（符号）であり得る。いくつかの例では、事象ベースのカメラは、従来のフレームベースのカメラと比較して、さらなる処理のためにプロセッサに転送されるデータの実質的により少ない量をもたらすことができ、電力節約をもたらす。図５を参照すると、各ピクセルは、センサー素子を使用してセンサー読取り値を生成し、センサー読取り値をデジタル化する（すなわち、ＡＤＣ変換器５５０を使用してアナログからデジタルにデータを変換する）。一実装形態では、以前のセンサー読取り値のデジタル結果は、各ピクセルについて列並列ＳＲＡＭ５３０内に記憶され得る。列並列ＳＲＡＭ５３０内に記憶された結果は、現在のセンサー読取り値と以前のセンサー読取り値との間の比較に基づいて事象を比較し、トリガするために、比較器によって使用され得る。デジタル化されたセンサー読取り値は、ＣＶ演算５６０を使用するさらなる画像処理のためにプロセッサに送られ得る。
【００３４】
さらに図６を参照すると、ＡＥＲ（Ａｃｔｉｖｉｔｙ  Ｅｖｅｎｔ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）のコンテキストにおける事象ベースのカメラのための技術ベースラインまたはプロトコルが示されている。図示のように、プロトコルは、アクティブピクセルのみが出力を送信する事象駆動型である。特定の事象は、事象が発生した時刻を示すタイムスタンプｔと、事象が２次元ピクセルアレイ内で発生した場所を定義する座標（ｘ，ｙ）と、余分なビットとして符号化され、暗から明へ、またはその逆のわずかな変化を表すオンまたはオフ（アップまたはダウン）とすることができるコントラスト変化（事象）の極性ｐとによって表される。一般に、ＡＥＲは、焦点面の変化の非同期、同時検出を適用して、最小の消費電力でエッジを生成する。だが、それは、仲裁ノイズ（ジッタおよび空間時間的非効率に起因して深度マップ再構成の精度を制限するグローバル事象仲裁方式に起因する）によって影響を受け、画像を再構成するために比較的高い事象数を必要とする。たとえば、図６に示される一連のグラフは、ピクセル強度、フレームベースのサンプリング、事象ベースの電圧、および事象ベースの事象を示す。
【００３５】
本明細書で説明する実装形態は、とりわけ、ローカル仲裁プロセスを介して情報圧縮を提供することによってＩ／Ｏを低減し、仲裁ノイズを除去するために、ハードウェアとソフトウェアの両方でＡＥＲ処理利得を増加させるという考え方に基づいている。より具体的には、本明細書で説明する実装形態の主旨は、対象物の３Ｄ再構成を生成するために、オンフォーカルまたはインフォーカル面ステレオ処理のための光学アーキテクチャに関する。さらに、ＡＥＲ処理の使用によって、あるしきい値を超えたピクセル強度の位置を与えることによって、処理能力を低下させ、処理時間を短縮することができる。
【００３６】
グローバル事象仲裁方式の現状は効率的ではない。ＡＥＲ処理は、焦点面の変化の非同期および同時の検出を適用して、最小の消費電力でエッジを生成する。これは、仲裁ノイズの影響を受け、画像を再構成するために多数の事象を必要とする。さらに、ジッタおよび空間時間的非効率は、ＡＥＲベースの深度マップの精度を制限する。
【００３７】
図７を参照すると、第１の例示的な撮像デバイス６０２および第２の例示的な撮像デバイス６０４が、本開示に従って示されている。実際には、視差距離Ｄだけ離れたパッケージ６０８（たとえば、モバイルデバイスまたは端末）に取り付けられたレンズ素子６０６ａ〜ｂは、光線６１０ａ〜ｂを捕捉し、対応する第１の反射素子６１２ａ〜ｂ上に集束させる。レンズ素子６０６ａ〜ｂは距離Ｄだけ離れているので、これらの要素は、異なる視野を「見」て、したがって、本開示の視差立体または３Ｄイメージングが可能となる（以下にさらに説明する）。第１の反射素子６１２ａ〜ｂは、光線６１０ａ〜ｂを対応する第２の反射素子６１４ａ〜ｂに方向変換し、第２の反射素子６１４ａ〜ｂは、光線６１２ａ〜ｂを対応する画像センサー６１６ａ〜ｂに方向変換する。一般に、各画像センサー６１６ａ〜ｂは、図１〜図５に関して上述したものと同様に、複数のセンサー素子のセンサーアレイと考えることができる。撮像デバイス６０２、６０４の違いは、第１および第２の反射素子６１２、６１４の形状または形態にあり、したがって、２つを比較すると、平面ミラー／プリズムの代わりに曲面ミラーが使用されることを理解されよう。
【００３８】
図７の例示的なアーキテクチャは、光源または対象物から発する／反射する光線６１０ａ〜ｂを集め、集束させることによって、本開示の視差立体または３Ｄイメージングを可能にし、したがって、光線６１０ａ〜ｂは、特定の位置で画像センサー６１６ａ〜ｂに入射し、画像センサー６１６ａ〜ｂ上のコース「スポット」と見なすことができる。たとえば、図６に示すように、光源または対象物が顔６１８であるシナリオを考える。この例では、光線６１０ａが画像センサー６１６ａに入射して第１のスポット６２０を形成し、光線６１０ｂが画像センサー６１６ｂに入射して第２のスポット６２２を形成する。スポット６２０、６２２の特定の特徴の座標値（ｘ，ｙ）を比較することによって、相対的な深度情報が視差の形で導出され、次いで顔６１８の３Ｄ再構成が取得され得る。たとえば、第１のスポット６２０を参照すると、顔６１８の鼻の先端が位置（ｘ１，  ｙ）にあると決定されると仮定し、第２のスポット６２２を参照すると、顔６１８の鼻の先端が位置（ｘ２，  ｙ）にあると決定されると仮定する。この例では、顔６１８の鼻の先端に関連する相対的な深度情報を導出するためにデルタまたは差分［ｘ１−ｘ２］が利用され得、次いで、顔６１８の３Ｄ再構成を取得するために、このプロセスが特定の粒度で実行され得る（すなわち、３Ｄ再構成を再構成するために使用され得る顔６１８の多数の特徴について、相対的な深度情報が取得され得る）。
【００３９】
上述のように、スポット６２０、６２２の特定の特徴の座標値（ｘ，ｙ）を比較することによって、相対的な深度情報が視差の形で導出され、次いで（たとえば）顔６１８の３Ｄ再構成が取得され得る。
【００４０】
深度情報の導出は、図８のチャート７０２にグラフによって示される。深度マップを取得するためのアルゴリズムは、省略表現で、Δ（ｓｉｍｉｌａｒｉｔｙ，  ｃｏｎｔｉｎｕｉｔｙ）＝Δ（ｐｏｌｙｇｏｎ）＝Ｄｅｐｔｈ  Ｍａｐと記述することができる。焦点面に変化が発生したときに多角形が可能になり得る。本質的に、アルゴリズムは、すべての多角形のサイズを一致させ、深度マップを計算し、コプロセッサにデータを転送し、多角形を無効にすることによって機能する。
【００４１】
２つの（空間的な）信号間の数学的な差を利用して深さが定量化され得、これが図９に示されており、それによって、幾何学モデル８０２を利用して、相対的な深度情報が導出され得る。幾何学モデル８０２に適用される数学的関係を、以下のように表すことができる：
Ｒ＝ｂ×（ｆ／Δ）
Δ＝ｄｌ＋ｄｒ
式中、ｂ＝レンズ素子間の距離、ｆ＝焦点距離、ｄｌ＝対象物から第１のレンズ素子までの距離、およびｄｒ＝対象物から第２のレンズ素子までの距離である。幾何学モデル８０２のいくつかの例示的な値は、ｂ＝３０ｍｍ、ｂ＝２ｍｍ、１５０ｍｍ≧Ｒ≦１０００ｍｍ、およびｐｘ＝０．０３ｍｍ（ｐｘは視差）であり得る。図９にも、視差と対象物までの距離との間の反比例関係を示すチャート８０４が示される。チャート８０４からわかるように、視差は、対象物までの距離が増加するにつれて減少する。
【００４２】
また、上述のように、本発明の主旨は、オンフォーカルまたはインフォーカル面ステレオ処理のための光学アーキテクチャに関する。撮像デバイス６０２、６０４の幾何学的形状および構成要素または材料は、最適でますます正確な視差立体または３Ｄイメージングを達成するように設計／選択され得ると企図される。たとえば、レンズ素子６０６ａ〜ｂは、最適な視野を達成するために、コマンドで、軸外（たとえば、図７に示すような角度Ｂを通って）で回転するように構成および／または配置され得る。加えて、図７に示すように、２つのレンズ素子６０６ａ〜ｂが示されている。撮像デバイス６０２、６０４を視点Ａ（図７参照）から見ると、レンズ素子６０６ａ〜ｂは、クロック面上の「１２」および「６」に配置されていると考えられ得る。レンズ素子６０６ａ〜ｄが、互いから９０度（円弧）オフセットされて撮像デバイス６０２、６０４に取り付けられるように、レンズ素子６０６ｃ〜ｄ（図示せず）の追加の組がクロック面上の「３」および「９」に配置され得ることが企図される。この例では、最適で、ますます正確な視差立体または３Ｄイメージングを達成するために、追加の画像センサーおよび反射素子が撮像デバイス６０２、６０４に組み込まれ得る。さらに、２つ以上（たとえば、２の倍数）の撮像要素（たとえば、対応する反射素子、レンズ素子などを含む４つの画像センサー）の使用が使用できることが理解されよう。言い換えれば、Ｎが正の整数である場合、２×Ｎの撮像素子があり得る。
【００４３】
デバイス内で水平方向に伝播する光の効力により、平面形式が達成されることが理解されよう。これは、薄さが望ましいデバイス（たとえば、モバイルデバイスおよびスマートフォン）において有利であり得る。モバイルデバイスは、ユーザによって容易に搬送されることが意図されているので、通常、深度はあまり大きくないが、かなりの量の水平エリアがある。２×Ｎ撮像素子を使用することによって、平面形式は、薄いモバイルデバイス内に収まることができる。本明細書で説明する実装形態の立体視の性質は、深度決定、およびカメラの視点からのより広い視野を可能にする。モバイルデバイスにおけるそのような埋込みシステムの例示的な寸法は、限定はしないが、１００×５０×５ｍｍ、１００×５０×１ｍｍ、１０×１０×５ｍｍ、および１０×１０×１ｍｍを含む。
【００４４】
図１０は、上で説明されたセンサーシステムを利用することができるモバイルデバイス１００５の実装形態を示す。図１０が、その一部または全部を適宜利用することができる様々な構成要素を概略的に示すものにすぎないことに留意されたい。いくつかの例では、図１０により図示される構成要素は、単一の物理的デバイスに局所化することができること、および／または異なる物理的な位置に配設することができる様々なネットワークデバイス間に分配することができることに留意することができる。
【００４５】
モバイルデバイス１００５は、バス１００６を介して電気的に結合され得る（または、適宜、他の方法で通信しているものとしてよい）ハードウェア要素を含んで図示されている。ハードウェア要素は、限定するものではないが、一つもしくは複数の汎用プロセッサ、（デジタル信号処理（ＤＳＰ）チップ、グラフィックスアクセラレーションプロセッサ、特定用途向け集積回路（ＡＳＩＣ）など）一つもしくは複数の専用プロセッサ、および／または他の処理構造もしくは手段を含むことができる処理ユニット１０１０を含むことができる。図１０内に示されているように、いくつかの実装形態は、所望の機能性に依存して、別々のＤＳＰ１０２０を有することができる。モバイルデバイス１００５は、限定するものではないが、タッチスクリーン、タッチパッド、マイクロフォン、ボタン、ダイアル、スイッチなどを含むことができる一つまたは複数の入力デバイス１０７０、および限定するものではないが、ディスプレイ、発光ダイオード（ＬＥＤ）、スピーカなどを含むことができる一つまたは複数の出力デバイス１０１５をやはり含むことができる。
【００４６】
モバイルデバイス１００５はまた、限定することなく、モデム、ネットワークカード、赤外線通信デバイス、ワイヤレス通信デバイス、および／または（Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、ＩＥＥＥ３０２．１１デバイス、ＩＥＥＥ３０２．１５．４デバイス、Ｗｉ‐Ｆｉ（登録商標）デバイス、ＷｉＭａｘデバイス、セルラー通信設備などの）チップセットなどを含むことが可能なワイヤレス通信インターフェース１０３０を含み得る。ワイヤレス通信インターフェース１０３０は、データが、ネットワーク、ワイヤレスアクセスポイント、他のコンピュータシステム、および／または本明細書で説明する任意の他の電子デバイスと交換されることを可能にし得る。通信は、ワイヤレス信号１０３４を送り、かつ／または受信する一つもしくは複数のワイヤレス通信アンテナ１０３２を介して実行され得る。
【００４７】
所望の機能性に依存して、ワイヤレス通信インターフェース１０３０は、ベーストランシーバ基地局（たとえば、セルラーネットワークの基地局）アクセスポイントと通信するために別々のトランシーバを含むことができる。これらの異なるデータネットワークは、様々なネットワークタイプを含むことができる。加えて、ＷＷＡＮは、符号分割多元接続（ＣＤＭＡ）ネットワーク、時分割多元接続（ＴＤＭＡ）ネットワーク、周波数分割多元接続（ＦＤＭＡ）ネットワーク、直交周波数分割多元接続（ＯＦＤＭＡ）ネットワーク、シングルキャリア周波数分割多元接続（ＳＣ−ＦＤＭＡ）ネットワーク、ＷｉＭａｘ（ＩＥＥＥ  ８０２．１６）などであってよい。ＣＤＭＡネットワークは、ｃｄｍａ２０００、Ｗｉｄｅｂａｎｄ−ＣＤＭＡ（Ｗ−ＣＤＭＡ）などの一つまたは複数の無線アクセス技術（ＲＡＴ）を実装してもよい。ｃｄｍａ２０００は、ＩＳ−９５規格、ＩＳ−２０００規格、および／またはＩＳ−８５６規格を含む。ＴＤＭＡネットワークは、モバイル通信用グローバルシステム（ＧＳＭ（登録商標）：Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、デジタル高度移動電話システム（Ｄ−ＡＭＰＳ：Ｄｉｇｉｔａｌ  Ａｄｖａｎｃｅｄ  Ｍｏｂｉｌｅ  Ｐｈｏｎｅ  Ｓｙｓｔｅｍ）、または他の何らかのＲＡＴを実装し得る。ＯＦＤＭＡネットワークは、ＬＴＥ、ＬＴＥ  Ａｄｖａｎｃｅｄなどを採用することができる。ＬＴＥ、ＬＴＥ  Ａｄｖａｎｃｅｄ、ＧＳＭ（登録商標）、およびＷ−ＣＤＭＡは、３ＧＰＰからの文書に記載される。ｃｄｍａ２０００は、「第３世代パートナーシッププロジェクト２」（３ＧＰＰ２）という名前のコンソーシアムからの文書に記載される。３ＧＰＰおよび３ＧＰＰ２の文書は、公的に入手可能である。ＷＬＡＮはまたＩＥＥＥ８０２．１１ｘネットワークであり得、またＷＰＡＮはＢｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、ＩＥＥＥ８０２．１５ｘ、または何らかの他のタイプのネットワークであり得る。本明細書で説明する技法はまた、ＷＷＡＮ、ＷＬＡＮ、および／またはＷＰＡＮの任意の組合せのために使用され得る。
【００４８】
モバイルデバイス１００５は、センサー１０４０をさらに含むことができる。そのようなセンサーは、限定なしに、一つまたは複数の加速度計、ジャイロスコープ、カメラ、磁力計、高度計、マイクロフォン、近接センサー、光センサー、および類似物を含むことができる。それに加えてまたはその代わりに、センサー１０４０は、図１〜図５内で説明された一つまたは複数の構成要素を含むことができる。たとえば、センサー１０４０はセンサーアレイ１００を含むことができ、走査アレイ１００は、本開示の他の場所で説明するように、周辺回路２０６〜２０８に接続することができる。図３のアプリケーションプロセッサ３０６は、図３内に示されたセンサーシステムに専用のマイクロプロセッサを含むことができ、このマイクロプロセッサは、モバイルデバイス１００５の処理ユニット１０１０に事象を送ることができる。
【００４９】
モバイルデバイスの実装形態は、ＳＰＳアンテナ１０８２を使用して一つまたは複数のＳＰＳ衛星から信号１０８４を受信することのできるＳＰＳ受信器１０８０をも含むことができる。そのような測位を利用して、本明細書で説明する技法を補完および／または組み込むことが可能である。ＳＰＳ受信器１０８０は、ＧＮＳＳ（たとえば、全地球測位システム（ＧＰＳ））、Ｇａｌｉｌｅｏ、Ｇｌｏｎａｓｓ、Ｃｏｍｐａｓｓ、日本上空の準天頂衛星システム（ＱＺＳＳ）、インド上空のＩｎｄｉａｎ  Ｒｅｇｉｏｎａｌ  Ｎａｖｉｇａｔｉｏｎａｌ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ（ＩＲＮＳＳ）、中国上空のＢｅｉｄｏｕ、および／または類似物など、ＳＰＳシステムのＳＰＳ  ＳＶから、従来の技法を使用してモバイルデバイスの位置を抽出することができる。さらに、ＳＰＳ受信器１０８０は、一つまたは複数の全地球および／または地域航法衛星システムに関連付けられ得る、あるいはそうでなく一つまたは複数の全地球および／または地域航法衛星システムとともに使用することが可能とされ得る、様々な補強システム（たとえば、衛星ベース補強システム（ＳＢＡＳ））とともに使用することができる。限定ではなく例として、ＳＢＡＳは、たとえば広域補強システム（ＷＡＡＳ）、欧州静止衛星航法オーバーレイサービス（ＥＧＮＯＳ）、多機能衛星補強システム（ＭＳＡＳ）、ＧＰＳ支援静止補強ナビゲーションまたはＧＰＳおよび静止補強ナビゲーションシステム（ＧＡＧＡＮ）、ならびに／あるいは同様のものなどの、完全性情報、微分補正などを提供する補強システムを含んでもよい。したがって、本明細書で使用する場合、ＳＰＳは一つもしくは複数の全地球および／または地域航法衛星システムならびに／あるいは補強システムの任意の組合せを含んでもよく、またＳＰＳ信号はＳＰＳ信号、ＳＰＳ様信号、および／またはそのような一つもしくは複数のＳＰＳに関連する他の信号を含んでもよい。
【００５０】
モバイルデバイス１００５は、さらに、メモリ１０６０を含む、かつ／またはメモリ１０６０と通信することができる。メモリ１０６０は、限定はしないが、プログラム可能、フラッシュ更新可能などとすることができる、ローカルおよび／またはネットワークアクセス可能な記憶装置、ディスクドライブ、ドライブアレイ、光ストレージデバイス、ランダムアクセスメモリ（「ＲＡＭ」）および／または読取り専用メモリ（「ＲＯＭ」）などソリッドステートストレージデバイスを含み得る。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、任意の適切なデータストアを実装するように構成され得る。
【００５１】
モバイルデバイス１００５のメモリ１０６０は、本明細書内で説明されるように、オペレーティングシステム、デバイスドライバ、実行可能ライブラリ、および／あるいは、様々な実装形態によって提供されるコンピュータプログラムを含むことができ、かつ／または他の実装形態によって提供される方法を実施し、かつ／もしくはシステムを構成するように設計され得る一つまたは複数のアプリケーションプログラムなどの他のコードを含む、ソフトウェア要素（図示せず）をも含むことができる。次いで、一態様において、そのようなコードおよび／または命令は、説明された方法に従う一つまたは複数の動作を実行するように汎用コンピュータ（または他のデバイス）を構成し、かつ／または適合させるのに使用され得る。
【００５２】
特定の要件に従って、かなりの変更を行ってもよいことは、当業者には明らかであろう。たとえば、カスタマイズされたハードウェアが使用される場合もあり、かつ／または、特定の要素は、ハードウェア、ソフトウェア（アプレットなどのポータブルソフトウェアを含む）、もしくは両方において実装される場合がある。さらに、ネットワーク入出力デバイスなどの他のコンピューティングデバイスへの接続が使用されてもよい。
【００５３】
添付図面を参照して、メモリを含むことができる構成要素が、非一時的機械可読媒体を含むことができる。本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械に特定の様式で動作させるデータを提供することに関与する任意の記憶媒体を指す。本明細書内で上で提供される実装形態において、様々な機械可読媒体が、実行のために処理ユニットおよび／または他のデバイスに命令／コードを提供するのに用いられ得る。追加または代替として、機械可読媒体を使用して、そのような命令／コードを記憶および／または実行することができる。多くの実施形態では、コンピュータ可読媒体は、物理的および／または有形の記憶媒体である。そのような媒体は、不揮発性媒体、揮発性媒体、および送信媒体を含む多くの形態をとることができるが、これらに限定されない。コンピュータ可読媒体の一般的な形は、たとえば、磁気媒体および／もしくは光媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリチップもしくはメモリカートリッジ、本明細書内で後で説明される搬送波、またはコンピュータがそれから命令および／もしくはコードを読み取ることができる任意の他の媒体を含む。
【００５４】
本明細書で説明した方法、システム、およびデバイスは、例である。様々な実装形態が、適宜、様々なプロシージャまたはコンポーネントを省略、代用、または追加することができる。たとえば、ある種の実装形態に関して説明された特徴が、様々な他の実装形態内で組み合わされ得る。実装形態の異なる態様および要素が、同様の形で組み合わされ得る。本明細書に提供される図の様々な構成要素は、ハードウェアおよび／またはソフトウェアで具体化することができる。また、技術は発展するので、要素のうちの多くは、本開示の範囲をそれらの具体例に限定しない例である。
【００５５】
ときには、主に一般に用いられているという理由で、そのような信号を、ビット、情報、値、要素、シンボル、文字、変数、用語、番号、数字などと呼ぶことが好都合であることがわかっている。ただし、これらまたは同様の用語はすべて、適切な物理量に関連すべきものであり、便利なラベルにすぎないことを理解されたい。別段に明記されていない限り、上の検討から明らかなように、本明細書での検討の全体を通して、「処理する」、「算出する」、「計算する」、「決定する」、「確定する」、「識別する」、「関連付ける」、「測定する」、「実行する」などの用語を利用することは、専用コンピュータまたは同様の専用電子コンピューティングデバイスのような、特定の装置の動作または処理を指すことは理解されよう。したがって、本明細書の文脈においては、専用コンピュータまたは同様の専用電子コンピューティングデバイスは、専用コンピュータまたは同様の専用電子コンピューティングデバイスのメモリ、レジスタ、もしくは他の情報記憶デバイス、送信デバイス、または表示デバイス内の電子的な，電気的な、または磁気的な物理量として一般に表される信号を操作または変換することができる。
【００５６】
本明細書で使用する「および」および「または」という用語は、そのような用語が使用される文脈に、少なくとも部分的に依存することがやはり予想される、様々な意味を含む場合がある。通常、「または」は、Ａ、ＢまたはＣなどのリストを関連付けるために使用される場合、本明細書において包含的な意味で使用される場合の、Ａ、Ｂ、およびＣ、ならびに本明細書において排他的な意味で使用される場合の、Ａ、ＢまたはＣを意味することが意図される。加えて、本明細書で使用する「一つまたは複数」という用語は、単数の任意の特徴、構造、もしくは特性について説明するために使用される場合があるか、または、特徴、構造もしくは特性の何らかの組合せについて説明するために使用される場合がある。しかしながら、これは例示的な例にすぎず、特許請求される主題はこの例に限定されないことに留意されたい。さらに、「のうちの少なくとも一つ」という用語は、Ａ、Ｂ、またはＣなどのリストを関連付けるために使用される場合、Ａ、ＡＢ、ＡＡ、ＡＡＢ、ＡＡＢＢＣＣＣなどの、Ａ、Ｂ、および／またはＣの任意の組合せを意味するように解釈することができる。
【００５７】
いくつかの実装形態について説明したが、本開示の趣旨から逸脱することなく、様々な修正、代替構造、および均等物が使用され得る。たとえば、上記の要素は、単により大きいシステムの構成要素とすることができ、他のルールが、本発明の適用例よりも優先するか、そうでなければ本発明の適用例を変更することができる。また、上記の要素が考慮される前、その間に、またはその後に、いくつかのステップを行うことができる。したがって、上記の説明は本開示の範囲を限定しない。
【００５８】
開示したプロセスにおけるステップの特定の順序または階層は、例示的な手法の例示であることが理解される。設計選好に基づいて、プロセスにおけるステップの特定の順序または階層が並べ替えられてよいことが理解される。さらに、いくつかのステップは、組み合わせられてよく、または省略されてよい。添付の方法クレームは、様々なステップの要素を見本的な順序で提示し、提示された特定の順序または階層に限定されることは意図されない。
【００５９】
上述の説明は、当業者が本明細書で説明した種々の態様を実施できるようにするために提供される。これらの態様への種々の変更が当業者には容易に明らかになり、本明細書において規定された一般原理は他の態様に適用され得る。さらに、本明細書において開示されるものはいずれも、公共用に提供することは意図していない。
【符号の説明】
【００６０】
１００  センサーアレイ
１０２  センサー素子
２００  ピクセル
２０２  センサー素子
２０４  ピクセル内回路
２０６  周辺回路
２０８  周辺回路
３０４  専用ＣＶ処理モジュール
３０６  アプリケーションプロセッサ
４００  ピクセル
４０２  センサー素子
４０４  動的視覚センサー回路
５３０  列並列ＳＲＡＭ
５５０  ＡＤＣ変換器
５６０  ＣＶ演算
６０２  第１の例示的な撮像デバイス
６０４  第２の例示的な撮像デバイス
６０６  レンズ素子
６０８  パッケージ
６１０  光線
６１２  第１の反射素子
６１４  第２の反射素子
６１６  画像センサー
６２０  第１のスポット
６２２  第２のスポット
８０２  幾何学モデル
１００５  モバイルデバイス
１００６  バス
１０１０  プロセッサ
１０１５  出力デバイス
１０２０  ＤＳＰ
１０３０  ワイヤレス通信インターフェース
１０３２  ワイヤレス通信アンテナ
１０３４  ワイヤレス信号
１０４０  センサー
１０６０  メモリ
１０７０  入力デバイス
１０８０  ＳＰＳ受信器
１０８２  ＳＰＳアンテナ
１０８４  信号
【図１】
2018536314.tif 000003
【図２Ａ】
2018536314.tif 000004
【図２Ｂ】
2018536314.tif 000005
【図３】
2018536314.tif 000006
【図４】
2018536314.tif 000007
【図５】
2018536314.tif 000008
【図６】
2018536314.tif 000009
【図７】
2018536314.tif 000010
【図８】
2018536314.tif 000011
【図９】
2018536314.tif 000012
【図１０】
2018536314.tif 000013
【手続補正書】
【提出日】平成30年3月27日(2018.3.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３次元画像を再構成するための撮像デバイスであって、
光源または対象物から発する光線を集め且つ集束させるための第１のレンズ素子および第２のレンズ素子であり、前記撮像デバイスの表面に各々取り付けられ、前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている第１のレンズ素子および第２のレンズ素子と、
前記第１のレンズ素子から光線を集め且つ前記撮像デバイスの第２の反射素子に方向変換するための第１の反射素子であり、前記第１の反射素子および前記第２の反射素子が前記撮像デバイスの特定の内面に各々取り付けられる、第１の反射素子と、
前記第２のレンズ素子から光線を集め且つ前記撮像デバイスの第４の反射素子に方向変換するための第３の反射素子であり、前記第３の反射素子および前記第４の反射素子が前記撮像デバイスの特定の内面に各々取り付けられる、第３の反射素子と、を含み、
前記第２の反射素子によって反射された光線が第１の画像センサーに入射して第１のスポットを形成し、前記第４の反射素子によって反射された光線が第２の画像センサーに入射して第２のスポットを形成し、前記光源または対象物の深度情報が、前記第１のスポットおよび前記第２のスポットの座標値に少なくとも部分的に基づいて導出され、導出された前記深度情報に少なくとも部分的に基づいて、前記光源または対象物の３次元画像再構成が実行され、前記第１のレンズ素子と前記画像センサーとの間の光路長が、前記第２のレンズ素子と前記画像センサーとの間の光路長に等しい、撮像デバイス。
【請求項２】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長とは異なる、請求項１に記載の撮像デバイス。
【請求項３】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも長い、請求項２に記載の撮像デバイス。
【請求項４】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも短い、請求項２に記載の撮像デバイス。
【請求項５】
前記光源または対象物から発する光線を集め且つ集束させるための第３のレンズ素子および第４のレンズ素子であり、前記撮像デバイスの表面に各々取り付けられ、前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている第３のレンズ素子および第４のレンズ素子と、
前記第３のレンズ素子から光線を集め且つ前記撮像デバイスの第６の反射素子に方向変換するための第５の反射素子であり、前記第５の反射素子および前記第６の反射素子が前記撮像デバイスの特定の内面に各々取り付けられる、第５の反射素子と、
前記第４のレンズ素子から光線を集め且つ前記撮像デバイスの第８の反射素子に方向変換するための第７の反射素子であり、前記第７の反射素子および前記第８の反射素子が前記撮像デバイスの特定の内面に各々取り付けられる、第７の反射素子と、をさらに含み、
前記第６の反射素子および前記第８の反射素子によって反射された光線が各々、前記第２の画像センサーに入射して第３のスポットおよび第４のスポットを形成し、前記光源又は対象物の深度情報が、前記第３のスポットおよび前記第４のスポットの座標値に少なくとも部分的に基づいて導出され、導出された前記深度情報に少なくとも部分的に基づいて、前記光源または対象物の３次元画像再構成が実行される、請求項１に記載の撮像デバイス。
【請求項６】
前記第１のレンズ素子と第２のレンズ素子との間の距離が、前記第３のレンズ素子と第４のレンズ素子との間の距離に等しい、請求項５に記載の撮像デバイス。
【請求項７】
前記光源又は対象物を再構成することが、前記第１の画像センサーへの入射と前記第２の画像センサーへの入射との組合せに少なくとも部分的に基づいて、前記光源又は対象物を再構成することを含む、請求項５に記載の撮像デバイス。
【請求項８】
前記撮像デバイスが、モバイルデバイスに組み込まれ、アプリケーションベースのコンピュータビジョン演算に使用される、請求項１に記載の撮像デバイス。
【請求項９】
３次元画像を再構成するための方法であって、
第１のレンズ素子および第２のレンズ素子を介して、光源または対象物から発する光線を集めるステップであり、前記第１のレンズ素子および第２のレンズ素子が撮像デバイスの表面に各々取り付けられ且つ前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離される、ステップと、
前記第１のレンズ素子を介して、前記光源または対象物から発する光線を第１の反射素子の方に集束させるステップと、
前記第２のレンズ素子を介して、前記光源または対象物から発する光線を第２の反射素子の方に集束させるステップと、
前記第１の反射素子を介して、集束された前記光線を前記第１のレンズ素子から前記第２の反射素子の方に方向変換するステップであり、前記第１の反射素子および前記第２の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記光線が前記第２の反射素子を介して前記撮像デバイスの第１の画像センサーに入射して第１のスポットを形成する、ステップと、
第３の反射素子を介して、集束された前記光線を前記第２のレンズ素子から第４の反射素子の方に方向変換するステップであり、前記第３の反射素子および前記第４の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、方向変換された前記光線が前記第４の反射素子を介して前記撮像デバイスの第２の画像センサーに入射して第２のスポットを形成する、ステップと、
前記第１のスポットおよび前記第２のスポットの座標値に少なくとも部分的に基づいて導出された前記光源または対象物の深度情報に少なくとも部分的に基づいて、前記光源または対象物を表す３次元画像を再構成するステップと、を含む方法。
【請求項１０】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長とは異なる、請求項９に記載の方法。
【請求項１１】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも長い、請求項１０に記載の方法。
【請求項１２】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも短い、請求項１０に記載の方法。
【請求項１３】
第３のレンズ素子および第４のレンズ素子を介して、光源または対象物から発する光線を集めるステップであり、前記第３のレンズ素子および第４のレンズ素子が撮像デバイスの表面に各々取り付けられ且つ前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離される、ステップと、
前記第３のレンズ素子を介して、前記光源または対象物から発する光線を第５の反射素子の方に集束させるステップと、
前記第４のレンズ素子を介して、前記光源または対象物から発する光線を第６の反射素子の方に集束させるステップと、
前記第５の反射素子を介して、集束された前記光線を前記第３のレンズ素子から第６の反射素子の方に方向変換するステップであり、前記第５の反射素子および前記第６の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記光線が前記第６の反射素子を介して前記撮像デバイスの第２の画像センサーに入射して第３のスポットを形成する、ステップと、
第７の反射素子を介して、集束された前記光線を前記第４のレンズ素子から第８の反射素子の方に方向変換するステップであり、前記第７の反射素子および前記第８の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、方向変換された前記光線が前記第８の反射素子を介して前記撮像デバイスの前記第２の画像センサーに入射して第４のスポットを形成する、ステップと、
前記第３のスポットおよび前記第４のスポットの座標値に少なくとも部分的に基づいて導出された前記光源または対象物の深度情報に少なくとも部分的に基づいて、前記光源または対象物を表す前記３次元画像を再構成するステップと、をさらに含む請求項９に記載の方法。
【請求項１４】
前記第１のレンズ素子と第２のレンズ素子との間の距離が、前記第３のレンズ素子と第４のレンズ素子との間の距離に等しい、請求項１３に記載の方法。
【請求項１５】
前記光源または対象物を再構成することが、前記第１の画像センサーへの入射と前記第２の画像センサーへの入射との組合せに少なくとも部分的に基づいて、前記光源または対象物を再構成することを含む、請求項１３に記載の方法。
【請求項１６】
前記撮像デバイスが、モバイルデバイスに組み込まれ、アプリケーションベースのコンピュータビジョン演算に使用される、請求項９に記載の方法。
【請求項１７】
３次元画像を再構成するための装置であって、
第１のレンズ素子および第２のレンズ素子を介して、光源または対象物から発する光線を集めるための手段であり、前記第１のレンズ素子および第２のレンズ素子が撮像デバイスの表面に各々取り付けられ且つ前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている、手段と、
前記第１のレンズ素子を介して、前記光源または対象物から発する光線を第１の反射素子の方に集束させるための手段と、
前記第２のレンズ素子を介して、前記光源または対象物から発する光線を第２の反射素子の方に集束させるための手段と、
前記第１の反射素子を介して、集束された前記光線を前記第１のレンズ素子から第２の反射素子の方に方向変換するための手段であり、前記第１の反射素子および前記第２の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記光線が前記第２の反射素子を介して前記撮像デバイスの第１の画像センサーに入射して第１のスポットを形成する、手段と、
第３の反射素子を介して、集束された前記光線を前記第２のレンズ素子から第４の反射素子の方に方向変換するための手段であり、前記第３の反射素子および前記第４の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、方向変換された前記光線が前記第４の反射素子を介して前記撮像デバイスの第２の画像センサーに入射して第２のスポットを形成する、手段と、
前記第１のスポットおよび前記第２のスポットの座標値に少なくとも部分的に基づいて導出された前記光源または対象物の深度情報に少なくとも部分的に基づいて、前記光源または対象物を表す３次元画像を再構成するための手段と、を含む装置。
【請求項１８】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長とは異なる、請求項１７に記載の装置。
【請求項１９】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも長い、請求項１８に記載の装置。
【請求項２０】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも短い、請求項１８に記載の装置。
【請求項２１】
第３のレンズ素子および第４のレンズ素子を介して、光源または対象物から発する光線を集めるための手段であり、前記第３のレンズ素子および第４のレンズ素子が撮像デバイスの表面に各々取り付けられ且つ前記撮像デバイスの外面に沿って特定の長さまたは距離だけ離されている、手段と、
前記第３のレンズ素子を介して、前記光源または対象物から発する光線を第５の反射素子の方に集束させるための手段と、
前記第４のレンズ素子を介して、前記光源または対象物から発する光線を第６の反射素子の方に集束させるための手段と、
前記第５の反射素子を介して、集束された前記光線を前記第３のレンズ素子から前記第６の反射素子の方に方向変換するための手段であり、前記第５の反射素子および前記第６の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、前記光線が前記第６の反射素子を介して前記撮像デバイスの前記第２の画像センサーに入射して第３のスポットを形成する、手段と、
第７の反射素子を介して、集束された前記光線を前記第４のレンズ素子から第８の反射素子の方に方向変換するための手段であり、前記第７の反射素子および前記第８の反射素子が前記撮像デバイスの特定の内面に各々取り付けられ、方向変換された前記光線が前記第８の反射素子を介して前記撮像デバイスの前記第２の画像センサーに入射して第４のスポットを形成する、手段と、
前記第３のスポットおよび前記第４のスポットの座標値に少なくとも部分的に基づいて導出された前記光源または対象物の深度情報に少なくとも部分的に基づいて、前記光源または対象物を表す前記３次元画像を再構成するための手段と、をさらに含む請求項１７に記載の装置。
【請求項２２】
前記第１のレンズ素子と第２のレンズ素子との間の距離が、前記第３のレンズ素子と第４のレンズ素子との間の距離に等しい、請求項２１に記載の装置。
【請求項２３】
前記光源または対象物を再構成することが、前記第１の画像センサーへの入射と前記第２の画像センサーへの入射との組合せに少なくとも部分的に基づいて、前記光源または対象物を再構成することを含む、請求項２１に記載の装置。
【請求項２４】
３次元画像を再構成するためのコンピュータ実行可能な命令を記憶する一つまたは複数の非一時的コンピュータ可読媒体であって、前記命令は、実行されると、一つまたは複数のコンピューティングデバイスに、
第１のスポットおよび第２のスポットの座標値に少なくとも部分的に基づいて導出された光源または対象物の深度情報に少なくとも部分的に基づいて、前記光源または対象物を表す３次元画像を再構成することを行わせ、
前記第１のスポットが、第１のレンズ素子によって集められ且つ第１の反射素子の方に集束される光源または対象物から発する光線によって形成され、前記第１の反射素子が、集束された前記光線を第２の反射素子に方向変換し、前記光線が前記第２の反射素子を介して第１の画像センサーに入射して前記第１のスポットを形成し、
前記第２のスポットが、第２のレンズ素子によって集められ且つ第３の反射素子の方に集束される前記光源または対象物から発する光線によって形成され、前記第３の反射素子が、集束された前記光線を第４の反射素子に方向変換し、前記光線が前記第４の反射素子を介して第２の画像センサーに入射して前記第２のスポットを形成する、非一時的コンピュータ可読媒体。
【請求項２５】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長とは異なる、請求項２４に記載の非一時的コンピュータ可読媒体。
【請求項２６】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも長い、請求項２５に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記第１のレンズ素子と前記第１の反射素子との間の光路長が、前記第１の反射素子と前記第２の反射素子との間の光路長よりも短い、請求項２５に記載の非一時的コンピュータ可読媒体。
【国際調査報告】
2018536314.tif 000014
2018536314.tif 000015
2018536314.tif 000016