(57)【要約】本発明は、撮影デバイス及び奥行き情報を取得するための方法を提供し、ここで、両眼方式と構造化光方式とが組み合わされ、その結果、屋外太陽光又は自然光源からの干渉に起因して長距離対象物の奥行き情報を取得することができないという、構造化光アルゴリズムの欠点が回避され、死角における短距離対象物の奥行き情報を取得することができないという、両眼方式の欠点が回避され、対象物の十分な奥行き情報を取得することができる。本方法は、対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって対象物の奥行き情報を取得すること、及び、対象物と撮影デバイスとの間の距離が両眼方式の有効距離よりも小さいときには、構造化光方式を使用することによって対象物の奥行き情報を取得することである。
2018522235.tif 000002
【特許請求の範囲】
【請求項１】
撮影デバイスであって、
第１のイメージセンサ、第２のイメージセンサ、赤外光源、及びプロセッサ
を有し、
前記第１のイメージセンサは、赤外光画像及び可視光画像を取得するよう構成され、前記第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を有し、
前記第２のイメージセンサは、可視光画像を取得するよう構成され、
前記赤外光源は、特定のパターンを対象物に投影するよう構成され、
前記プロセッサは、次の動作、すなわち、前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することを行うよう構成される、撮影デバイス。
【請求項２】
前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項１に記載の撮影デバイス。
【請求項３】
前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項１に記載の撮影デバイス。
【請求項４】
前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記対象物と前記撮影デバイスとの間の前記距離を測定すること、
前記対象物と前記撮影デバイスとの間の前記距離が第１の予め設定された値よりも大きい場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記対象物と前記撮影デバイスとの間の前記距離が第２の予め設定された値よりも小さい場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項１乃至３のうちいずれか一項に記載の撮影デバイス。
【請求項５】
両眼方式を使用することによって前記対象物の奥行き情報を前記取得することは、
前記第１のイメージセンサを使用することによって前記対象物の可視光画像及び赤外光画像を取得することであって、該可視光画像の画素値はＸに等しく、該赤外光画像の画素値はＹに等しい、取得すること、
該可視光画像及び該赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得すること、
前記第２のイメージセンサを使用することによって前記対象物の第２の参照画像を取得することであって、前記第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像である、取得すること、及び
三角定位アルゴリズムを使用することによって、前記第１の参照画像及び前記第２の参照画像に基づいて、前記対象物の前記奥行き情報を計算すること
を含む、請求項１乃至４のうちいずれか一項に記載の撮影デバイス。
【請求項６】
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
前記赤外光源を使用することによって前記特定のパターンを前記対象物に投影すること、
前記第１のイメージセンサを使用することによって、前記特定のパターンが前記対象物に投影された後に前記対象物の奥行き変調によって形成された参照パターンを取得すること、及び
前記参照パターンに基づいて、前記対象物の前記奥行き情報を計算すること
を含む、請求項１乃至５のうちいずれか一項に記載の撮影デバイス。
【請求項７】
ＭはＮの１／３に等しい、請求項１乃至６のうちいずれか一項に記載の撮影デバイス。
【請求項８】
前記両眼方式の前記有効距離は１メートルである、請求項１乃至７のうちいずれか一項に記載の撮影デバイス。
【請求項９】
奥行き情報を取得するための方法であって、
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を取得すること、及び
前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む方法。
【請求項１０】
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項９に記載の方法。
【請求項１１】
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項９に記載の方法。
【請求項１２】
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記対象物と前記撮影デバイスとの間の前記距離を測定すること、
前記対象物と前記撮影デバイスとの間の前記距離が第１の予め設定された値よりも大きい場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記対象物と前記撮影デバイスとの間の前記距離が第２の予め設定された値よりも小さい場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項９乃至１１のうちいずれか一項に記載の方法。
【請求項１３】
両眼方式を使用することによって前記対象物の奥行き情報を前記取得することは、
第１のイメージセンサを使用することによって前記対象物の可視光画像及び赤外光画像を取得することであって、前記可視光画像の画素値はＸに等しく、前記赤外光画像の画素値はＹに等しい、取得すること、
前記可視光画像及び前記赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得すること、
第２のイメージセンサを使用することによって前記対象物の第２の参照画像を取得することであって、前記第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像である、取得すること、及び
三角定位アルゴリズムを使用することによって、前記第１の参照画像及び前記第２の参照画像に基づいて、前記対象物の前記奥行き情報を計算すること
を含む、請求項９乃至１２のうちいずれか一項に記載の方法。
【請求項１４】
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
赤外光源を使用することによって特定のパターンを前記対象物に投影すること、
前記第１のイメージセンサを使用することによって、前記特定のパターンが前記対象物に投影された後に前記対象物の奥行き変調によって形成された参照パターンを取得すること、及び
前記参照パターンに基づいて、前記対象物の前記奥行き情報を計算すること
を含む、請求項１３に記載の方法。
【請求項１５】
前記第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を有し、ＭはＮの１／３に等しい、請求項１３又は１４に記載の方法。
【請求項１６】
前記両眼方式の前記有効距離は１メートルである、請求項９乃至１５のうちいずれか一項に記載の方法。
【請求項１７】
撮影デバイスであって、
対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を取得するよう構成される第１の取得ユニット、及び
前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得するよう構成される第２の取得ユニット
を有する撮影デバイス。
【請求項１８】
前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得し、
前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得する、請求項１７に記載の撮影デバイス。
【請求項１９】
前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得し、
前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得する、請求項１７に記載の撮影デバイス。
【請求項２０】
前記撮影デバイスは、
前記対象物と前記撮影デバイスとの間の前記距離を測定するよう構成される測定ユニット
をさらに有し、
前記対象物と前記撮影デバイスとの間の前記距離が第１の予め設定された値よりも大きいと前記測定ユニットが判定した場合には、前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得し、
前記対象物と前記撮影デバイスとの間の前記距離が第２の予め設定された値よりも小さいと前記測定ユニットが判定した場合には、前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得する、請求項１７乃至１９のうちいずれか一項に記載の撮影デバイス。
【請求項２１】
前記第１の取得ユニットは、
第１のイメージセンサを使用することによって前記対象物の可視光画像及び赤外光画像を取得し、ここで、前記可視光画像の画素値はＸに等しく、前記赤外光画像の画素値はＹに等しく、
前記可視光画像及び前記赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得し、
第２のイメージセンサを使用することによって前記対象物の第２の参照画像を取得し、ここで、前記第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像であり、
三角定位アルゴリズムを使用することによって、前記第１の参照画像及び前記第２の参照画像に基づいて、前記対象物の前記奥行き情報を計算するよう具体的に構成される、請求項１７乃至２０のうちいずれか一項に記載の撮影デバイス。
【請求項２２】
前記第２の取得ユニットは、
赤外光源を使用することによって特定のパターンを前記対象物に投影し、
前記第１のイメージセンサを使用することによって、前記特定のパターンが前記対象物に投影された後に前記対象物の奥行き変調によって形成された参照パターンを取得し、
前記参照パターンに基づいて、前記対象物の前記奥行き情報を計算するよう具体的に構成される、請求項２１に記載の撮影デバイス。
【請求項２３】
前記第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を有し、ＭはＮの１／３に等しい、請求項２１又は２２に記載の撮影デバイス。
【請求項２４】
前記両眼方式の前記有効距離は１メートルである、請求項１７乃至２３のうちいずれか一項に記載の撮影デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、詳細には、撮影デバイス及び奥行き情報を取得するための方法に関する。
【背景技術】
【０００２】
奥行きマップ（英語：Depth  map）は、グレースケール図を使用することによって、焦点面から画像上の各点までの距離を提示する画像表現形式である。例えば、図１Ａは、キャラクタの３次元像であり、図１Ｂは、図１Ａに基づいて取得された、このキャラクタの奥行きマップである。物が同じカラーレベルであるときには、これは、これらの物が同じ焦点面上にあり、より明るいグレーは、物が焦点面により近いことを示し、より暗いグレーは、物が焦点面からより離れていることを示す。奥行きマップの描画中に、撮影の瞬間における焦点面から物の各点までの距離、すなわち、奥行き情報が、通常は測定又は計算される必要がある。
【０００３】
一般に、デュアルカメラ／両眼方式、構造化光方式、及び飛行時間（英語：Time  of  Flight、略してＴｏＦ）方式という、奥行き情報を取得する３つの方式が存在する。
【０００４】
両眼方式においては、少なくとも２つのカメラが、画像を取得するために使用され、奥行き情報を取得するために、画像上の各点から焦点面までの距離が、三角定位アルゴリズムを使用することによって計算される。
【０００５】
しかしながら、三角定位アルゴリズム及びこれらのカメラの構造的レイアウトに起因して、対象物と焦点面との間の距離が所与の値よりも小さいときには、両眼方式を使用することによって対象物の奥行き情報を取得することができず、ここで、この所与の値は、ブラインド距離と呼ばれる。
【０００６】
構造化光方式においては、赤外光源が、対象物を照らすために一般に使用され、特定のパターンが、対象物に投影され、各画素点の奥行き情報が、このパターンのオフセットを使用することによって計算される。
【０００７】
しかしながら、構造化光方式は、赤外カメラ及び赤外光源を必要とし、構造化光方式は、投影されるパターンに関する比較的高い要件を有し、屋外光源により影響が及ぼされやすい。測定される距離は、照明源により影響が及ぼされるので、構造化光方式は、例えば３メートル（単位：ｍ）という距離内といった、屋内の短距離シナリオにおいて使用されることに制限される。対象物と焦点面との間の距離が所与の距離を超えると、奥行き情報を取得することができない。
【０００８】
ＴｏＦ方式においては、赤外光源の位相が変調され、受け取られた画像の位相オフセットが測定され、その結果、奥行き情報が測定される。
【０００９】
構造化光方式と同じく、ＴｏＦ方式も、赤外カメラ及び赤外光源を必要とし、ＴｏＦ方式は、屋内の短距離シナリオにおいて使用されることに制限される。
【００１０】
したがって、両眼方式、構造化光方式、及びＴｏＦ方式のそれぞれの制限に起因して、どの方式が使用されるかにかかわらず、対象物の奥行き情報を取得することができない可能性がある。
【発明の概要】
【００１１】
本発明の実施形態は、従来技術において生じる可能性がある、対象物の奥行き情報を取得することができないという問題を解決するために、撮影デバイス及び奥行き情報を取得するための方法を提供する。
【００１２】
第１の態様に従うと、本発明は、撮影デバイスであって、
第１のイメージセンサ、第２のイメージセンサ、赤外光源、及びプロセッサ
を含み、
前記第１のイメージセンサは、赤外光画像及び可視光画像を取得するよう構成され、前記第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を含み、
前記第２のイメージセンサは、可視光画像を取得するよう構成され、
前記赤外光源は、特定のパターンを対象物に投影するよう構成され、
前記プロセッサは、次の動作、すなわち、前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することを行うよう構成される、撮影デバイスを提供する。
【００１３】
第１の態様に関連して、第１の態様の第１の可能な実装方式において、前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む。
【００１４】
第１の態様に関連して、第１の態様の第２の可能な実装方式において、前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む。
【００１５】
第１の態様、又は、第１の態様の第１の可能な実装方式若しくは第２の可能な実装方式に関連して、第１の態様の第３の可能な実装方式において、前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記対象物と前記撮影デバイスとの間の前記距離を測定すること、
前記対象物と前記撮影デバイスとの間の前記距離が第１の予め設定された値よりも大きい場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記対象物と前記撮影デバイスとの間の前記距離が第２の予め設定された値よりも小さい場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む。
【００１６】
第１の態様、又は、第１の態様の第１の可能な実装方式乃至第３の可能な実装方式のうちのいずれか１つに関連して、第１の態様の第４の可能な実装方式において、両眼方式を使用することによって前記対象物の奥行き情報を前記取得することは、
前記第１のイメージセンサを使用することによって前記対象物の可視光画像及び赤外光画像を取得することであって、該可視光画像の画素値はＸに等しく、該赤外光画像の画素値はＹに等しい、取得すること、
該可視光画像及び該赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得すること、
前記第２のイメージセンサを使用することによって前記対象物の第２の参照画像を取得することであって、前記第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像である、取得すること、及び
三角定位アルゴリズムを使用することによって、前記第１の参照画像及び前記第２の参照画像に基づいて、前記対象物の前記奥行き情報を計算すること
を含む。
【００１７】
第１の態様、又は、第１の態様の第１の可能な実装方式乃至第４の可能な実装方式のうちのいずれか１つに関連して、第１の態様の第５の可能な実装方式において、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
前記赤外光源を使用することによって前記特定のパターンを前記対象物に投影すること、
前記第１のイメージセンサを使用することによって、前記特定のパターンが前記対象物に投影された後に前記対象物の奥行き変調によって形成された参照パターンを取得すること、及び
前記参照パターンに基づいて、前記対象物の前記奥行き情報を計算すること
を含む。
【００１８】
第１の態様、又は、第１の態様の第１の可能な実装方式乃至第５の可能な実装方式のうちのいずれか１つに関連して、第１の態様の第６の可能な実装方式において、ＭはＮの１／３に等しい。
【００１９】
第１の態様、又は、第１の態様の第１の可能な実装方式乃至第６の可能な実装方式のうちのいずれか１つに関連して、第１の態様の第７の可能な実装方式において、前記両眼方式の前記有効距離は１メートルである。
【００２０】
第２の態様に従うと、本発明は、奥行き情報を取得するための方法であって、
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を取得すること、及び
前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む方法を提供する。
【００２１】
第２の態様に関連して、第２の態様の第１の可能な実装方式において、対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む。
【００２２】
第２の態様に関連して、第２の態様の第２の可能な実装方式において、対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む。
【００２３】
第２の態様、又は、第２の態様の第１の可能な実装方式若しくは第２の可能な実装方式に関連して、第２の態様の第３の可能な実装方式において、対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することは、
前記対象物と前記撮影デバイスとの間の前記距離を測定すること、
前記対象物と前記撮影デバイスとの間の前記距離が第１の予め設定された値よりも大きい場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記対象物と前記撮影デバイスとの間の前記距離が第２の予め設定された値よりも小さい場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む。
【００２４】
第２の態様、又は、第２の態様の第１の可能な実装方式乃至第３の可能な実装方式のうちのいずれか１つに関連して、第２の態様の第４の可能な実装方式において、両眼方式を使用することによって前記対象物の奥行き情報を前記取得することは、
第１のイメージセンサを使用することによって前記対象物の可視光画像及び赤外光画像を取得することであって、前記可視光画像の画素値はＸに等しく、前記赤外光画像の画素値はＹに等しい、取得すること、
前記可視光画像及び前記赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得すること、
第２のイメージセンサを使用することによって前記対象物の第２の参照画像を取得することであって、前記第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像である、取得すること、及び
三角定位アルゴリズムを使用することによって、前記第１の参照画像及び前記第２の参照画像に基づいて、前記対象物の前記奥行き情報を計算すること
を含む。
【００２５】
第２の態様の第４の可能な実装方式に関連して、第２の態様の第５の可能な実装方式において、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
赤外光源を使用することによって特定のパターンを前記対象物に投影すること、
前記第１のイメージセンサを使用することによって、前記特定のパターンが前記対象物に投影された後に前記対象物の奥行き変調によって形成された参照パターンを取得すること、及び
前記参照パターンに基づいて、前記対象物の前記奥行き情報を計算すること
を含む。
【００２６】
第２の態様の第４の可能な実装方式又は第５の可能な実装方式に関連して、第２の態様の第６の可能な実装方式において、前記第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を含み、ＭはＮの１／３に等しい。
【００２７】
第２の態様、又は、第２の態様の第１の可能な実装方式乃至第６の可能な実装方式のうちのいずれか１つに関連して、第２の態様の第７の可能な実装方式において、前記両眼方式の前記有効距離は１メートルである。
【００２８】
第３の態様に従うと、撮影デバイスは、
対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を取得するよう構成される第１の取得ユニット、及び
前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得するよう構成される第２の取得ユニット
を含む。
【００２９】
第３の態様に関連して、第３の態様の第１の可能な実装方式において、
前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得し、
前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得する。
【００３０】
第３の態様に関連して、第３の態様の第２の可能な実装方式において、
前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得し、
前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得する。
【００３１】
第３の態様、又は、第３の態様の第１の可能な実装方式若しくは第２の可能な実装方式に関連して、第３の態様の第３の可能な実装方式において、前記撮影デバイスは、
前記対象物と前記撮影デバイスとの間の前記距離を測定するよう構成される測定ユニット
をさらに含み、
前記対象物と前記撮影デバイスとの間の前記距離が第１の予め設定された値よりも大きいと前記測定ユニットが判定した場合には、前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得し、
前記対象物と前記撮影デバイスとの間の前記距離が第２の予め設定された値よりも小さいと前記測定ユニットが判定した場合には、前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得する。
【００３２】
第３の態様、又は、第３の態様の第１の可能な実装方式乃至第３の可能な実装方式のうちのいずれか１つに関連して、第３の態様の第４の可能な実装方式において、前記第１の取得ユニットは、
第１のイメージセンサを使用することによって前記対象物の可視光画像及び赤外光画像を取得し、ここで、前記可視光画像の画素値はＸに等しく、前記赤外光画像の画素値はＹに等しく、
前記可視光画像及び前記赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得し、
第２のイメージセンサを使用することによって前記対象物の第２の参照画像を取得し、ここで、前記第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像であり、
三角定位アルゴリズムを使用することによって、前記第１の参照画像及び前記第２の参照画像に基づいて、前記対象物の前記奥行き情報を計算するよう具体的に構成される。
【００３３】
第３の態様の第４の可能な実装方式に関連して、第３の態様の第５の可能な実装方式において、前記第２の取得ユニットは、
赤外光源を使用することによって特定のパターンを前記対象物に投影し、
前記第１のイメージセンサを使用することによって、前記特定のパターンが前記対象物に投影された後に前記対象物の奥行き変調によって形成された参照パターンを取得し、
前記参照パターンに基づいて、前記対象物の前記奥行き情報を計算するよう具体的に構成される。
【００３４】
第３の態様の第４の可能な実装方式又は第５の可能な実装方式に関連して、第３の態様の第６の可能な実装方式において、前記第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を含み、ＭはＮの１／３に等しい。
【００３５】
第３の態様、又は、第３の態様の第１の可能な実装方式乃至第６の可能な実装方式のうちのいずれか１つに関連して、第３の態様の第７の可能な実装方式において、前記両眼方式の前記有効距離は１メートルである。
【００３６】
本発明において提供される解決策によれば、両眼方式と構造化光方式とが組み合わされ、その結果、屋外太陽光又は自然光源からの干渉に起因して長距離対象物の奥行き情報を取得することができないという、構造化光アルゴリズムの欠点が回避され、死角における短距離対象物の奥行き情報を取得することができないという、両眼方式の欠点が回避され、対象物の十分な奥行き情報を取得することができる。
【図面の簡単な説明】
【００３７】
【図１Ａ】図１Ａは、従来技術における３次元像の概略図である。
【図１Ｂ】図１Ｂは、従来技術における奥行き像の概略図である。
【図２】図２は、本発明の一実施形態に従った撮影デバイスの概略図である。
【図３】図３は、本発明の一実施形態に従った新規なセンサの概略図である。
【図４】図４は、本発明の一実施形態に従った、ＲＧＢカラーモードにおけるセンサの概略図である。
【図５】図５は、本発明の一実施形態に従って奥行き情報を取得するフローチャートである。
【図６】図６は、本発明の一実施形態に従った撮影デバイスの概略構成図である。
【発明を実施するための形態】
【００３８】
本発明の目的、技術的解決策、及び利点をより明瞭にするために、以下は、添付図面を参照して、本発明を詳細にさらに記載している。明らかなように、記載されている実施形態は、本発明の実施形態の全てではなく単に一部である。創造的な努力なく本発明の実施形態に基づいて当業者により得られる全ての他の実施形態は、本発明の保護範囲内に属する。
【００３９】
本発明の実施形態は、撮影デバイス及び奥行き情報を取得するための方法を提供する。両眼方式と構造化光方式とが組み合わされ、その結果、屋外太陽光又は自然光源からの干渉に起因して長距離対象物の奥行き情報を取得することができないという、構造化光アルゴリズムの欠点が回避され、死角における短距離対象物の奥行き情報を取得することができないという、両眼方式の欠点が回避され、対象物の十分な奥行き情報を取得することができる。
【００４０】
以下は、添付図面及び本明細書の実施形態を参照して、本発明の技術的解決策を記載している。
【００４１】
図２を参照すると、本発明の一実施形態は、撮影デバイスを提供する。撮影デバイスは、第１のイメージセンサ２１、第２のイメージセンサ２２、赤外光源２３、及びプロセッサ２４を含む。これらのコンポーネントは、１つ以上の通信バス又は信号ケーブル２５を使用することによって通信を行う。
【００４２】
以下は、この実施形態において提供されるフィンガープリント割り込みウェークアップのための端末デバイスを詳細に記載している。
【００４３】
第１のイメージセンサ２１は、本発明のこの実施形態において提供される新規なセンサであり、赤外光画像及び可視光画像を取得するよう構成される。第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を含む。
【００４４】
本発明のこの実施形態において、赤外光検知画素及び可視光検知画素は、均等に分散される必要がある。例えば、Ｎ：Ｍ＝３：１であるときには、あらゆる４画素が、１つの赤外光検知画素及び３つの可視光検知画素を含むことが保証される必要がある。４画素における赤外光検知画素の位置は、本発明のこの実施形態において限定されるものではない。１つの画素分散ケースが、図３に示され得、４画素を含む各領域において、左下位置にある暗色ブロックは、赤外光検知画素を表し、他の位置にある白色ブロックは、可視光検知画素を表す。
【００４５】
本発明のこの実施形態において提供される赤外光検知画素Ｍ個と可視光検知画素Ｎ個とは、いかなる比率であってもよい。好ましくは、本発明のこの実施形態において、複数のシミュレーション試験によって、赤外光検知画素の画素値Ｍ個が、可視光画像検知画素の画素値Ｎ個の１／３に等しいときには、両眼方式及び構造化光方式を使用することによって取得された奥行き情報は、両方とも望ましい精度を有することができる、ということが見出された。
【００４６】
第２のイメージセンサ２２は、可視光画像を取得するよう構成される。
【００４７】
図４に示されるように、図４は、第２のイメージセンサ２２のＲＧＢカラー画像検知画素の例を示している。
【００４８】
任意的に、撮影デバイスによりサポートされる総有効距離と電力消費とをバランスさせるために、本発明のこの実施形態において、複数のシミュレーション試験によって、これらの２つのセンサのレイアウト間隔は、両眼方式の有効距離を１メートルに設定するように調整されてよい、ということが見出された。
【００４９】
赤外光源２３は、特定のパターンを対象物に投影するよう構成される。
【００５０】
プロセッサ２４は、以下の動作、すなわち、
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって対象物の奥行き情報を取得すること、及び、対象物と撮影デバイスとの間の距離が両眼方式の有効距離よりも小さいときには、構造化光方式を使用することによって対象物の奥行き情報を取得すること
を行うよう構成される。
【００５１】
構造化光方式の有効距離は、構造化光方式の有効範囲の最大値を指し、両眼方式の有効距離は、両眼方式の有効範囲の最小値を指す。
【００５２】
任意的に、プロセッサは、最初に、両眼方式を使用することによって対象物の奥行き情報を取得し、両眼方式を使用することによって対象物の奥行き情報を取得することができない場合には、構造化光方式を使用することによって対象物の奥行き情報を取得してもよい。
【００５３】
任意的に、プロセッサは、最初に、構造化光方式を使用することによって対象物の奥行き情報を取得し、構造化光方式を使用することによって対象物の奥行き情報を取得することができない場合には、両眼方式を使用することによって対象物の奥行き情報を取得してもよい。
【００５４】
任意的に、プロセッサは、対象物と撮影デバイスとの間の距離を測定し、対象物と撮影デバイスとの間の距離が第１の予め設定された値よりも大きい場合には、両眼方式を使用することによって対象物の奥行き情報を取得し、対象物と撮影デバイスとの間の距離が第２の予め設定された値よりも小さい場合には、構造化光方式を使用することによって対象物の奥行き情報を取得してもよい。
【００５５】
任意的に、両眼方式を使用することによって対象物の奥行き情報を取得するときには、プロセッサ２４は、第１のイメージセンサ２１を使用することによって対象物の可視光画像及び赤外光画像を取得し、ここで、可視光画像の画素値はＸに等しく、赤外光画像の画素値はＹに等しく、可視光画像及び赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得し、第２のイメージセンサ２２を使用することによって対象物の第２の参照画像を取得し、ここで、第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像であり、最後に、三角定位アルゴリズムを使用することによって、第１の参照画像及び第２の参照画像に基づいて、対象物の奥行き情報を計算してもよい。
【００５６】
第１のイメージセンサ２１は、赤外光検知画素を含むので、第１のイメージセンサ２１及び赤外光源２３は、構造化光方式によりサポートされる短距離範囲内の対象物の奥行き情報を取得するために構造化光モードにともに適用され得る。加えて、第１のイメージセンサ２１は、可視光検知画素も含むので、第１のイメージセンサ２１及び第２のイメージセンサ２２は、両眼方式によりサポートされる長距離範囲内の対象物の奥行き情報を取得するために両眼方式にともに適用され得る。
【００５７】
本発明のこの実施形態において、赤外光源及びこれらの２つのセンサを使用することによって、短くて数ミリメートルから長くて数十メートルまでの範囲内の対象物の奥行き情報を取得することができる。
【００５８】
図５を参照すると、本発明の一実施形態は、撮影デバイスにより奥行き情報を取得する実施プロセスを提供する。
【００５９】
ステップ５０１：対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって対象物の奥行き情報を取得する。
【００６０】
撮影デバイスにより、両眼方式を使用することによって対象物の奥行き情報を取得する具体的なやり方は以下の通りである。
【００６１】
第１に、撮影デバイスは、第１のイメージセンサを使用することによって対象物の可視光画像及び赤外光画像を取得し、ここで、可視光画像の画素値はＸに等しく、赤外光画像の画素値はＹに等しい。
【００６２】
第２に、撮影デバイスは、可視光画像及び赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得する。
【００６３】
例えば、撮影デバイスは、補間補償方法を使用することによって第１の参照画像を取得することができる。第１の画像は、両眼方式には意味のない赤外光画像を含む。したがって、赤外光画像は、抜き取られる必要があり、元々の赤外光画像が配置されている画素の輝度が、補間補償方法とＸに等しい画素値を有する可視光画像とに基づいて推定され、その結果、Ｘ＋Ｙに等しい画素値を有する可視光画像が取得される。
【００６４】
第３に、撮影デバイスは、第２のイメージセンサを使用することによって対象物の第２の参照画像を取得し、ここで、第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像である。
【００６５】
最後に、撮影デバイスは、三角定位アルゴリズムを使用することによって、第１の参照画像及び第２の参照画像に基づいて、対象物の奥行き情報を計算する。
【００６６】
ステップ５０２：対象物と撮影デバイスとの間の距離が両眼方式の有効距離よりも小さいときには、構造化光方式を使用することによって対象物の奥行き情報を取得する。
【００６７】
撮影デバイスにより、構造化光方式を使用することによって対象物の奥行き情報を取得する具体的なやり方は以下の通りである。
【００６８】
第１に、撮影デバイスは、赤外光源を使用することによって特定のパターンを対象物に投影する。
【００６９】
次に、撮影デバイスは、第１のイメージセンサを使用することによって、特定のパターンが対象物に投影された後に対象物の奥行き変調によって形成された参照パターンを取得する。
【００７０】
最後に、撮影デバイスは、参照パターン及び初期の特定のパターンに基づいて、対象物の奥行き情報を計算する
【００７１】
従来技術においては、両眼方式は、画像を取得するために少なくとも２つのカメラを必要とし、構造化光方式は、１つの追加の赤外センサを必要とする。したがって、本発明のこの実施形態において、両眼方式と構造化光方式とが組み合わされるので、少なくとも３つのセンサが、理論的には必要とされる。しかしながら、本発明のこの実施形態において、赤外光検知画素及び可視光検知画素が、新規なセンサに統合され、その結果、この新規なセンサは、従来のセンサ及び赤外センサの両方の機能を有することができる。したがって、２つのセンサのみを使用することにより両眼方式及び構造化光方式を使用することによって、対象物の十分な奥行き情報を取得することができる。
【００７２】
ステップ５０１及びステップ５０２の順序は、本発明のこの実施形態において限定されるものではない。例えば、撮影デバイスは、最初に、両眼方式を使用することによって対象物の奥行き情報を取得し、両眼方式を使用することによって対象物の奥行き情報を取得することができない場合には、構造化光方式を使用することによって対象物の奥行き情報を取得してもよい。
【００７３】
代替的に、撮影デバイスは、最初に、構造化光方式を使用することによって対象物の奥行き情報を取得し、構造化光方式を使用することによって対象物の奥行き情報を取得することができない場合には、両眼方式を使用することによって対象物の奥行き情報を取得してもよい。
【００７４】
任意的に、撮影デバイスは、対象物と撮影デバイスとの間の距離を測定し、対象物と撮影デバイスとの間の距離が第１の予め設定された値よりも大きい場合には、両眼方式を使用することによって対象物の奥行き情報を取得し、対象物と撮影デバイスとの間の距離が第２の予め設定された値よりも小さい場合には、構造化光方式を使用することによって対象物の奥行き情報を取得してもよい。撮影デバイスは、レーザー距離測定方法、レーダー距離測定方法、又は別の距離測定方法を使用することによって、対象物と撮影デバイスとの間の距離を測定することができる。第１の予め設定された値と第２の予め設定された値とは、等しくてもよいし、又は、等しくなくてもよい。
【００７５】
本発明のこの実施形態において提供される赤外光検知画素Ｍ個と可視光検知画素Ｎ個とは、いかなる比率であってもよい。好ましくは、本発明のこの実施形態において、複数のシミュレーション試験によって、赤外光検知画素の画素値Ｍ個が、可視光検知画素の画素値Ｎ個の１／３に等しいときには、両眼方式及び構造化光方式を使用することによって取得された奥行き情報は、両方とも望ましい精度を有することができる、ということが見出された。
【００７６】
新規なセンサにおいて赤外光検知画素：可視光検知画素＝１：３であり、新規なセンサの総画素値が３００００００個である、と仮定すると、３００００００個という画素値は、７５００００個の赤外光検知画素及び２２５００００個の可視光検知画素を含む。
【００７７】
任意的に、撮影デバイスの電力消費を低減させるために、構造化光方式の有効範囲の最大値は、両眼方式の有効範囲の最小値に設定されてもよい。
【００７８】
例えば、撮影デバイスが、構造化光方式を使用するときには、ＡからＢまでの範囲（Ａ＜Ｂ）で対象物の奥行き情報を取得するよう構成され得、両眼方式を使用するときには、ＣからＤまでの範囲（Ｃ＜Ｄ）で対象物の奥行き情報を取得するよう構成され得る、と仮定すると、撮影デバイスの赤外プロジェクタの電力は、ＢがＣに等しいように調整され得る。この場合において、撮影デバイスは、構造化光アルゴリズムと両眼アルゴリズムとを組み合わせることによって、Ａ〜Ｂ／Ｃ〜Ｄの範囲内の物の奥行き情報を取得することができる。Ａ〜Ｂ／Ｃは、両眼方式の死角であり、Ｂ／Ｃ〜Ｄは、構造化光方式を使用することによって検出することができない奥行き領域である。
【００７９】
撮影デバイス上の２つのセンサのレイアウト間隔がより離れているときには、両眼方式の有効距離はより大きいが、両眼方式の死角は、これに対応して増大し得る。したがって、構造化光方式の電力は、構造化光方式の有効距離を大きくするために、増大される必要がある。撮影デバイスによりサポートされる総有効距離と電力消費とをバランスさせるために、本発明のこの実施形態において、複数のシミュレーション試験によって、これらの２つのセンサのレイアウト間隔は、両眼方式の有効距離を１メートルに設定するように調整されてよい、ということが見出された。
【００８０】
図６を参照すると、本発明の一実施形態は、本発明の図５に示される、奥行き情報を取得するための方法を実施するよう構成される撮影デバイスを提供し、撮影デバイスは、
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって対象物の奥行き情報を取得するよう構成される第１の取得ユニット６０１、及び
対象物と撮影デバイスとの間の距離が両眼方式の有効距離よりも小さいときには、構造化光方式を使用することによって対象物の奥行き情報を取得するよう構成される第２の取得ユニット６０２
を含む。
【００８１】
任意的に、第１の取得ユニット６０１が、最初に、両眼方式を使用することによって対象物の奥行き情報を取得してもよく、第１の取得ユニット６０１が、両眼方式を使用することによって対象物の奥行き情報を取得することができない場合には、第２の取得ユニット６０２が、構造化光方式を使用することによって対象物の奥行き情報を取得する。
【００８２】
任意的に、第２の取得ユニット６０２が、最初に、構造化光方式を使用することによって対象物の奥行き情報を取得してもよく、第２の取得ユニット６０２が、構造化光方式を使用することによって対象物の奥行き情報を取得することができない場合には、第１の取得ユニット６０１が、構造化光方式を使用することによって対象物の奥行き情報を取得する。
【００８３】
任意的に、撮影デバイスは、
対象物と撮影デバイスとの間の距離を測定するよう構成される測定ユニット
をさらに含んでもよく、ここで、
対象物と撮影デバイスとの間の距離が第１の予め設定された値よりも大きいと測定ユニットが判定した場合には、第１の取得ユニット６０１が、両眼方式を使用することによって対象物の奥行き情報を取得し、
対象物と撮影デバイスとの間の距離が第２の予め設定された値よりも小さいと測定ユニットが判定した場合には、第２の取得ユニット６０２が、構造化光方式を使用することによって対象物の奥行き情報を取得する。
【００８４】
任意的に、第１の取得ユニット６０１は、第１のイメージセンサを使用することによって対象物の可視光画像及び赤外光画像を取得し、ここで、可視光画像の画素値はＸに等しく、赤外光画像の画素値はＹに等しく、可視光画像及び赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得し、第２のイメージセンサを使用することによって対象物の第２の参照画像を取得し、ここで、第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像であり、三角定位アルゴリズムを使用することによって、第１の参照画像及び第２の参照画像に基づいて、対象物の奥行き情報を計算するよう具体的に構成される。
【００８５】
任意的に、第２の取得ユニット６０２は、赤外光源を使用することによって特定のパターンを対象物に投影し、第１のイメージセンサを使用することによって、特定のパターンが対象物に投影された後に対象物の奥行き変調によって形成された参照パターンを取得し、参照パターンに基づいて、対象物の奥行き情報を計算するよう具体的に構成される。
【００８６】
任意的に、第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を含み、ここで、ＭはＮの１／３に等しい。
【００８７】
任意的に、両眼方式の有効距離は１メートルである。
【００８８】
要するに、本発明のこの実施形態において提供される技術的解決策によれば、赤外光検知画素及び可視光検知画素を含む新規なセンサが提供され、赤外光源及び別のセンサをさらに使用することによって、両眼方式と構造化光方式とを組み合わせることができ、その結果、屋外太陽光又は自然光源からの干渉に起因して長距離対象物の奥行き情報を取得することができないという、構造化光アルゴリズムの欠点が回避され、死角における短距離対象物の奥行き情報を取得することができないという、両眼方式の欠点が回避され、短くて数ミリメートルから長くて数十メートルまでの範囲内の対象物の奥行き情報を取得することができる。
【００８９】
本発明の実施形態は、方法、システム、又はコンピュータプログラム製品として提供され得ることを、当業者は理解すべきである。したがって、本発明は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、又はソフトウェアとハードウェアとの組合せによる実施形態の形を使用することができる。さらに、本発明は、コンピュータ使用可能なプログラムコードを含む１つ以上のコンピュータ使用可能な記憶媒体（ディスクメモリ、ＣＤ−ＲＯＭ、光学メモリ、及び同様のものを含むがこれらに限定されるものではない）上に実装されるコンピュータプログラム製品の形を使用することができる。
【００９０】
本発明が、本発明の実施形態に従った方法、デバイス（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して、説明されている。コンピュータプログラム命令を使用して、フローチャート及び／又はブロック図における各プロセス及び／又は各ブロックと、フローチャート及び／又はブロック図におけるプロセス及び／又はブロックの組合せと、を実装することができることが理解されるべきである。これらのコンピュータプログラム命令は、マシンを生じさせるために、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又は、任意の他のプログラム可能なデータ処理デバイスのプロセッサのために提供され得、その結果、コンピュータ、又は、任意の他のプログラム可能なデータ処理デバイスのプロセッサにより実行されるこれらの命令は、フローチャートにおける１つ以上のプロセスにおける且つ／又はブロック図における１つ以上のブロックにおける特定の機能を実装するための装置を生じさせる。
【００９１】
特定の方式で動作するようにコンピュータ又は任意の他のプログラム可能なデータ処理デバイスに指示することができるこれらのコンピュータプログラム命令は、コンピュータ読み取り可能なメモリに記憶され得、その結果、コンピュータ読み取り可能なメモリに記憶されるこれらの命令は、指示装置を含む人工品を生じさせる。この指示装置は、フローチャートにおける１つ以上のプロセスにおける且つ／又はブロック図における１つ以上のブロックにおける特定の機能を実装する。
【００９２】
これらのコンピュータプログラム命令は、コンピュータ又は別のプログラム可能なデータ処理デバイスにロードされ得、その結果、一連の動作及びステップが、コンピュータ又は別のプログラム可能なデバイス上で実行され、それによって、コンピュータにより実施される処理を生じさせる。したがって、コンピュータ又は別のプログラム可能なデバイス上で実行されるこれらの命令は、フローチャートにおける１つ以上のプロセスにおける且つ／又はブロック図における１つ以上のブロックにおける特定の機能を実装するためのステップを提供する。
【００９３】
本発明のいくつかの好ましい実施形態が説明されたが、当業者は、当業者が基本的な発明のコンセプトを学習すると、これらの実施形態に対する変更及び修正を行うことができる。したがって、以下の請求項は、好ましい実施形態と本発明の範囲内に属する全ての変更及び修正とを網羅するように解釈されるよう意図されている。
【００９４】
明らかなように、当業者は、本発明の実施形態の主旨及び範囲から逸脱することなく、本発明の実施形態に対する様々な修正及び変形を行うことができる。本発明は、これらの修正及び変形が、以下の請求項及びそれらの均等の技術により定められる保護の範囲内に属する限り、これらの修正及び変形を網羅するよう意図されている。
【図１Ａ】
2018522235.tif 000003
【図１Ｂ】
2018522235.tif 000004
【図２】
2018522235.tif 000005
【図３】
2018522235.tif 000006
【図４】
2018522235.tif 000007
【図５】
2018522235.tif 000008
【図６】
2018522235.tif 000009
【手続補正書】
【提出日】平成30年1月31日(2018.1.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影デバイスであって、
第１のイメージセンサ、第２のイメージセンサ、赤外光源、及びプロセッサ
を有し、
前記第１のイメージセンサは、赤外光画像及び可視光画像を取得するよう構成され、前記第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を有し、
前記第２のイメージセンサは、可視光画像を取得するよう構成され、
前記赤外光源は、特定のパターンを対象物に投影するよう構成され、
前記プロセッサは、前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することを行うよう構成される、撮影デバイス。
【請求項２】
前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項１に記載の撮影デバイス。
【請求項３】
前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項１に記載の撮影デバイス。
【請求項４】
前記対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
前記対象物と前記撮影デバイスとの間の前記距離を測定すること、
前記対象物と前記撮影デバイスとの間の前記距離が第１の予め設定された値よりも大きい場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記対象物と前記撮影デバイスとの間の前記距離が第２の予め設定された値よりも小さい場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項１乃至３のうちいずれか一項に記載の撮影デバイス。
【請求項５】
両眼方式を使用することによって前記対象物の奥行き情報を前記取得することは、
前記第１のイメージセンサを使用することによって前記対象物の可視光画像及び赤外光画像を取得することであって、該可視光画像の画素値はＸに等しく、該赤外光画像の画素値はＹに等しい、取得すること、
該可視光画像及び該赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得すること、
前記第２のイメージセンサを使用することによって前記対象物の第２の参照画像を取得することであって、前記第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像である、取得すること、及び
三角定位アルゴリズムを使用することによって、前記第１の参照画像及び前記第２の参照画像に基づいて、前記対象物の前記奥行き情報を計算すること
を含む、請求項１乃至４のうちいずれか一項に記載の撮影デバイス。
【請求項６】
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
前記赤外光源を使用することによって前記特定のパターンを前記対象物に投影すること、
前記第１のイメージセンサを使用することによって、前記特定のパターンが前記対象物に投影された後に前記対象物の奥行き変調によって形成された参照パターンを取得すること、及び
前記参照パターンに基づいて、前記対象物の前記奥行き情報を計算すること
を含む、請求項１乃至５のうちいずれか一項に記載の撮影デバイス。
【請求項７】
ＭはＮの１／３に等しい、請求項１乃至６のうちいずれか一項に記載の撮影デバイス。
【請求項８】
前記両眼方式の前記有効距離は１メートルである、請求項１乃至７のうちいずれか一項に記載の撮影デバイス。
【請求項９】
奥行き情報を取得するための方法であって、
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を取得すること、及び
前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む方法。
【請求項１０】
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項９に記載の方法。
【請求項１１】
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項９に記載の方法。
【請求項１２】
対象物と撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を前記取得すること、及び、前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
前記対象物と前記撮影デバイスとの間の前記距離を測定すること、
前記対象物と前記撮影デバイスとの間の前記距離が第１の予め設定された値よりも大きい場合には、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得すること、及び
前記対象物と前記撮影デバイスとの間の前記距離が第２の予め設定された値よりも小さい場合には、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得すること
を含む、請求項９乃至１１のうちいずれか一項に記載の方法。
【請求項１３】
両眼方式を使用することによって前記対象物の奥行き情報を前記取得することは、
第１のイメージセンサを使用することによって前記対象物の可視光画像及び赤外光画像を取得することであって、前記可視光画像の画素値はＸに等しく、前記赤外光画像の画素値はＹに等しい、取得すること、
前記可視光画像及び前記赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得すること、
第２のイメージセンサを使用することによって前記対象物の第２の参照画像を取得することであって、前記第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像である、取得すること、及び
三角定位アルゴリズムを使用することによって、前記第１の参照画像及び前記第２の参照画像に基づいて、前記対象物の前記奥行き情報を計算すること
を含む、請求項９乃至１２のうちいずれか一項に記載の方法。
【請求項１４】
前記構造化光方式を使用することによって前記対象物の前記奥行き情報を前記取得することは、
赤外光源を使用することによって特定のパターンを前記対象物に投影すること、
前記第１のイメージセンサを使用することによって、前記特定のパターンが前記対象物に投影された後に前記対象物の奥行き変調によって形成された参照パターンを取得すること、及び
前記参照パターンに基づいて、前記対象物の前記奥行き情報を計算すること
を含む、請求項１３に記載の方法。
【請求項１５】
前記第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を有し、ＭはＮの１／３に等しい、請求項１３又は１４に記載の方法。
【請求項１６】
前記両眼方式の前記有効距離は１メートルである、請求項９乃至１５のうちいずれか一項に記載の方法。
【請求項１７】
撮影デバイスであって、
対象物と前記撮影デバイスとの間の距離が構造化光方式の有効距離よりも大きいときには、両眼方式を使用することによって前記対象物の奥行き情報を取得するよう構成される第１の取得ユニット、及び
前記対象物と前記撮影デバイスとの間の前記距離が前記両眼方式の有効距離よりも小さいときには、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得するよう構成される第２の取得ユニット
を有する撮影デバイス。
【請求項１８】
前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得し、
前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得する、請求項１７に記載の撮影デバイス。
【請求項１９】
前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得し、
前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得することができない場合には、前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得する、請求項１７に記載の撮影デバイス。
【請求項２０】
前記撮影デバイスは、
前記対象物と前記撮影デバイスとの間の前記距離を測定するよう構成される測定ユニット
をさらに有し、
前記対象物と前記撮影デバイスとの間の前記距離が第１の予め設定された値よりも大きいと前記測定ユニットが判定した場合には、前記第１の取得ユニットが、前記両眼方式を使用することによって前記対象物の前記奥行き情報を取得し、
前記対象物と前記撮影デバイスとの間の前記距離が第２の予め設定された値よりも小さいと前記測定ユニットが判定した場合には、前記第２の取得ユニットが、前記構造化光方式を使用することによって前記対象物の前記奥行き情報を取得する、請求項１７乃至１９のうちいずれか一項に記載の撮影デバイス。
【請求項２１】
前記第１の取得ユニットは、
第１のイメージセンサを使用することによって前記対象物の可視光画像及び赤外光画像を取得し、ここで、前記可視光画像の画素値はＸに等しく、前記赤外光画像の画素値はＹに等しく、
前記可視光画像及び前記赤外光画像に基づいて、Ｘ＋Ｙに等しい画素値を有する第１の参照画像を取得し、
第２のイメージセンサを使用することによって前記対象物の第２の参照画像を取得し、ここで、前記第２の参照画像は、Ｘ＋Ｙに等しい画素値を有する可視光画像であり、
三角定位アルゴリズムを使用することによって、前記第１の参照画像及び前記第２の参照画像に基づいて、前記対象物の前記奥行き情報を計算するよう構成される、請求項１７乃至２０のうちいずれか一項に記載の撮影デバイス。
【請求項２２】
前記第２の取得ユニットは、
赤外光源を使用することによって特定のパターンを前記対象物に投影し、
前記第１のイメージセンサを使用することによって、前記特定のパターンが前記対象物に投影された後に前記対象物の奥行き変調によって形成された参照パターンを取得し、
前記参照パターンに基づいて、前記対象物の前記奥行き情報を計算するよう構成される、請求項２１に記載の撮影デバイス。
【請求項２３】
前記第１のイメージセンサは、Ｍ個の赤外光検知画素及びＮ個の可視光検知画素を有し、ＭはＮの１／３に等しい、請求項２１又は２２に記載の撮影デバイス。
【請求項２４】
前記両眼方式の前記有効距離は１メートルである、請求項１７乃至２３のうちいずれか一項に記載の撮影デバイス。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
任意的に、第２の取得ユニット６０２が、最初に、構造化光方式を使用することによって対象物の奥行き情報を取得してもよく、第２の取得ユニット６０２が、構造化光方式を使用することによって対象物の奥行き情報を取得することができない場合には、第１の取得ユニット６０１が、両眼方式を使用することによって対象物の奥行き情報を取得する。
【国際調査報告】
2018522235.tif 000010
2018522235.tif 000011
2018522235.tif 000012
2018522235.tif 000013