(57)【要約】  本発明の実施形態は、奥行き情報取得方法および装置、ならびに画像取得デバイスを開示する。画像取得デバイスは、第1のカメラと第2のカメラとを含む。振れが生じたことを検出すると、奥行き情報取得装置は、第1のカメラおよび第2のカメラで撮影された画像を取得し、2つの画像内の目標撮影対象物の間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を用いて初期距離を補正し、補正された初期距離を用いて目標撮影対象物の奥行きを決定することができる。本発明の実施形態では、2つのカメラの両方がOIS機能を有するか、またはいずれかのカメラがOIS機能を有する。OISを実行すると、奥行き情報取得装置は、2つのカメラで得られた画像内の同一撮影対象物の間の距離を補正するので、最終的に得られる奥行き情報は比較的正確である。これにより、撮影対象物に正確かつ迅速に合焦することができる。
2019510234.tif 000002
【特許請求の範囲】
【請求項１】
画像取得デバイスに適用される、奥行き情報取得方法であって、前記画像取得デバイスは、第1のカメラと第2のカメラとを含み、前記方法は、
前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のカメラで撮影された目標撮影対象物の第1の画像および前記第2のカメラで撮影された前記目標撮影対象物の第2の画像を取得するステップであって、前記第1のカメラおよび前記第2のカメラは同時に画像取得を行う、ステップと、
前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の初期距離を検出し、前記第1の画像と前記第2の画像との間のオフセット差を決定するステップと、
前記オフセット差を用いて前記初期距離を補正するステップと、
補正された前記初期距離に従って、前記目標撮影対象物の奥行きを決定するステップと、
を含む、方法。
【請求項２】
前記第1のカメラは第1のレンズを含み、前記第2のカメラは第2のレンズを含み、前記第1の画像と前記第2の画像との間のオフセット差を決定する前記ステップは、
前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のレンズの第1のオフセットおよび前記第2のレンズの第2のオフセットを取得するステップと、
前記第1の画像のオフセット値と前記第2の画像のオフセット値との間のオフセット差を取得するために、前記第1のオフセットに従って前記第1の画像の前記オフセット値を決定し、前記第2のオフセットに従って前記第2の画像の前記オフセット値を決定するステップと、
を含む、請求項1に記載の方法。
【請求項３】
前記初期距離は、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の相対距離であり、前記オフセット差は、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間の相対差である、請求項1または2に記載の方法。
【請求項４】
補正された前記初期距離に従って、前記目標撮影対象物の奥行きを決定する前記ステップの後に、前記方法は、
前記目標撮影対象物に合焦するための合焦命令を受信するステップと、
前記合焦命令に応答して、前記第1のレンズの、前記奥行きに対応する第1の移動距離を取得し、前記第2のレンズの、前記奥行きに対応する第2の移動距離を取得するステップと、
前記第1の移動距離に従って前記第1のレンズの焦点位置を決定し、前記第2の移動距離に従って前記第2のレンズの焦点位置を決定するステップと、
それぞれの焦点位置に移動させるように前記第1のレンズおよび前記第2のレンズを制御するステップと、
をさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
画像取得デバイスに適用される、奥行き情報取得装置であって、前記画像取得デバイスは、第1のカメラと第2のカメラとを含み、前記装置は、
前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のカメラで撮影された目標撮影対象物の第1の画像および前記第2のカメラで撮影された前記目標撮影対象物の第2の画像を取得するように構成された取得ユニットであって、前記第1のカメラおよび前記第2のカメラは同時に画像取得を行う、取得ユニットと、
前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の初期距離を検出するように構成された検出ユニットと、
前記第1の画像と前記第2の画像との間のオフセット差を決定するように構成された第1の決定ユニットと、
前記オフセット差を用いて前記初期距離を補正するように構成された補正ユニットと、
補正された前記初期距離に従って前記目標撮影対象物の奥行きを決定するように構成された第2の決定ユニットと、
を含む、装置。
【請求項６】
前記第1のカメラは第1のレンズを含み、前記第2のカメラは第2のレンズを含み、前記第1の決定ユニットは、取得サブユニットと決定サブユニットとを含み、
前記取得サブユニットは、前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のレンズの第1のオフセットおよび前記第2のレンズの第2のオフセットを取得するように構成され、
前記決定サブユニットは、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間のオフセット差を取得するために、前記第1のオフセットに従って前記第1の画像の前記オフセット値を決定し、前記第2のオフセットに従って前記第2の画像の前記オフセット値を決定するように構成される、請求項5に記載の装置。
【請求項７】
前記初期距離は、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の相対距離であり、前記オフセット差は、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間の相対差である、請求項5または6に記載の方法。
【請求項８】
前記目標撮影対象物に合焦するための合焦命令を受信するように構成された受信ユニットであって、
前記取得ユニットは、前記合焦命令に応答して、前記第1のレンズの、前記奥行きに対応する第2の移動距離を取得し、前記第2のレンズの、前記奥行きに対応する第2の移動距離を取得するようにさらに構成され、
前記第2の決定ユニットは、前記第1の移動距離に従って前記第1のレンズの焦点位置を決定し、前記第2の移動距離に従って前記第2のレンズの焦点位置を決定するようにさらに構成される、
受信ユニットと、
それぞれの焦点位置に移動させるように前記第1のレンズおよび前記第2のレンズを制御するように構成された制御ユニットと、
をさらに含む、請求項5から7のいずれか一項に記載の装置。
【請求項９】
画像取得デバイスであって、
第1のカメラと、第2のカメラと、プロセッサと、を含み、
前記第1のカメラは、前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、目標撮影対象物の第1の画像を撮影するように構成され、
前記第2のカメラは、前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記目標撮影対象物の第2の画像を撮影するように構成され、
前記第1のカメラおよび前記第2のカメラは同時に画像取得を行い、
前記プロセッサは、前記第1の画像および前記第2の画像を取得し、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の初期距離を検出するように構成され、
前記プロセッサは、前記第1の画像と前記第2の画像との間のオフセット差を決定し、前記オフセット差を用いて前記初期距離を補正するようにさらに構成され、
前記プロセッサは、補正された前記初期距離に従って前記目標撮影対象物の奥行きを決定するようにさらに構成される、画像取得デバイス。
【請求項１０】
前記第1のカメラは第1のレンズを含み、前記第2のカメラは第2のレンズを含み、前記プロセッサによる前記第1の画像と前記第2の画像との間の前記オフセット差を決定する特定の方法は、
前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のレンズの第1のオフセットおよび前記第2のレンズの第2のオフセットを取得することと、
前記第1の画像のオフセット値と前記第2の画像のオフセット値との間のオフセット差を取得するために、前記第1のオフセットに従って前記第1の画像の前記オフセット値を決定し、前記第2のオフセットに従って前記第2の画像の前記オフセット値を決定することと、
を含む、請求項9に記載の画像取得デバイス。
【請求項１１】
前記初期距離は、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の相対距離であり、前記オフセット差は、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間の相対差である、請求項9または10に記載の画像取得デバイス。
【請求項１２】
前記目標撮影対象物に合焦するための合焦命令を受信するように構成された受信器
をさらに含み、
前記プロセッサは、前記合焦命令に応答して、前記第1のレンズの、前記奥行きに対応する第1の移動距離を取得し、前記第2のレンズの、前記奥行きに対応する第2の移動距離を取得するようにさらに構成され、
前記プロセッサは、前記第1の移動距離に従って前記第1のレンズの焦点位置を決定し、前記第2の移動距離に従って前記第2のレンズの焦点位置を決定するようにさらに構成され、
前記プロセッサは、それぞれの焦点位置に移動させるように前記第1のレンズおよび前記第2のレンズを制御するようにさらに構成される、請求項9から11のいずれか一項に記載の画像取得デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、電子技術の分野に関し、具体的には、奥行き情報取得方法および装置、ならびに画像取得デバイスに関する。
【背景技術】
【０００２】
電子技術の分野では、奥行き情報は、画像取得デバイス内のカメラモジュールのレンズ（Lens）と撮影対象物との間の垂直距離に関する情報である。奥行き情報を取得した後に、カメラモジュールは、奥行き情報に従ってレンズの移動を制御して、撮影対象物に合焦することができる。したがって、合焦精度は、奥行き情報の取得精度に依存する。光学式手振れ補正（Optical Image Stabilization、OIS）は、特殊レンズを感光素子と協働して使用し、使用過程での操作者の手振れによる画像の不安定化を最小限に抑える技術である。OISは、lensを動かすことによって主に実現される。
【０００３】
現在、人々はカメラで撮影された画像の品質に対してより厳しい要件を有する。より高い画像品質を得るために、複数のカメラモジュールが使用される。画像取得デバイスが複数のカメラモジュールを用いて撮影を行う場合に、すべてのカメラモジュールで撮像された画像が最終的に1つの画像に融合される。これにより、画像撮影品質を向上させることができる。従来技術では、複数のカメラモジュールを有する画像取得デバイス内のすべてのカメラモジュールのlensの焦点距離がわずかに異なっている。したがって、画像取得デバイスがOISを実行する際に、同じ振れが、カメラモジュール内のlensの異なるオフセットをもたらす可能性がある。その結果、画像取得デバイスによって最終的に得られる奥行き情報は不正確であり、画像取得デバイスは、合焦過程中に比較的低い精度と比較的遅い速度を有する。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明の実施形態は、奥行き情報取得方法および装置、ならびに画像取得デバイスを開示し、複数のカメラモジュールがOISを実行する際に奥行き情報を正確に取得し、それによって正確かつ迅速に合焦を行うことができる。
【０００５】
本発明の実施形態の第1の態様は、画像取得デバイスに適用される、奥行き情報取得方法を開示し、画像取得デバイスは、第1のカメラと第2のカメラとを含み、本方法は、
第1のカメラおよび第2のカメラが振れたことを検出した場合に、奥行き情報取得装置によって、第1のカメラで撮影された目標撮影対象物の第1の画像および第2のカメラで撮影された目標撮影対象物の第2の画像を取得するステップであって、第1のカメラおよび第2のカメラは同時に画像取得を行う、ステップと、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を決定するステップと、オフセット差を用いて初期距離を補正するステップと、補正された初期距離に従って、目標撮影対象物の奥行きを最後に決定するステップと、
を含むことができる。
【０００６】
第1のカメラと第2のカメラの両方がOIS機能を有している場合、またはいずれかのカメラがOIS機能を有している場合に、OISを行う際に、奥行き情報取得装置が、2つのカメラによってそれぞれ取得された2つの画像における同一の撮影対象物の間の距離を補正し、そのようにして、画像取得デバイスが対象物の比較的正確な奥行きを最終的に取得することが分かる。これにより、カメラの合焦精度が向上する。
【０００７】
任意選択的に、第1のカメラは第1のレンズを含み、第2のカメラは第2のレンズを含む。奥行き情報取得装置による第1の画像と第2の画像との間のオフセット差を決定する特定の方法は、第1のカメラおよび第2のカメラが振れたことが検出された場合に、カメラ内のホール効果センサを用いて、第1のレンズの第1のオフセットおよび第2のレンズの第2のオフセットを取得するステップと、第1のオフセットおよび第2のオフセットに従って、第1の画像のオフセット値および第2の画像のオフセット値をそれぞれ決定するステップと、第1の画像のオフセット値と第2の画像のオフセット値との間のオフセット差を最終的に取得するステップと、を含んでもよい。実際の応用では、レンズのオフセットは画像の実際のオフセットではない。振れが発生したときの画像の実際のオフセット値は、レンズのオフセットと画像のオフセットとの間の関係によって決定される。このようにして、最終的に得られる目標撮影対象物の奥行きをより正確なものにすることができる。
【０００８】
任意選択的に、画像取得デバイスは、デュアルカメラ画像取得デバイスである。
【０００９】
任意選択的に、画像取得デバイスにおいて、2つのカメラが共にOIS機能を有する場合には、振れが発生すると、第1の画像のオフセット値も第2の画像のオフセット値も0ではない。2つのカメラのうち1つのカメラのみがOIS機能を有する場合には、振れ発生時にOIS機能を有さないカメラで撮影された画像のオフセット値は0であると考えられる。
【００１０】
任意選択的に、画像取得デバイスが3つ以上のカメラを含む場合には、奥行き情報取得装置は、上記のように、目標撮影対象物の奥行きを同様に取得することができ、最終的に平均奥行きを計算して目標撮影対象物の実際の奥行きとして使用することができる。複数のカメラの場合は、OISを実行すると、すべてのカメラで得られた奥行きの差が大きくなる。したがって、このようにして得られた目標撮影対象物の奥行きはより正確であり、合焦過程の間に正確かつ迅速に合焦を行うことができる。
【００１１】
任意選択的に、初期距離は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の相対距離であってもよく、オフセット差は、第1の画像のオフセット値と第2の画像のオフセット値との間の相対差であるべきである。すなわち、初期距離とオフセット差の両方がベクトルであり、オフセット差を計算する方法は、初期距離を計算する方法に対応する必要がある。
【００１２】
任意選択的に、補正された初期距離に従って、目標撮影対象物の奥行きを決定するステップの後に、目標撮影対象物に合焦するための命令を受信すると、合焦命令に応答して、奥行き情報取得装置はさらに、第1のレンズの、奥行きに対応する第1の移動距離を取得し、第2のレンズの、奥行きに対応する第2の移動距離を取得し、それから第1の移動距離に従って第1のレンズの焦点位置を決定し、第2の移動距離に従って第2のレンズの焦点位置を決定し、それぞれの焦点位置に移動させるように第1のレンズおよび第2のレンズを最終的に制御することができる。
【００１３】
奥行き情報取得装置は、目標撮影対象物の奥行き情報を取得した後に、目標撮影対象物に合焦する必要がある場合には、レンズを移動させる必要があって奥行きに対応する距離を取得し、各移動距離に従ってレンズの焦点位置を決定し、それからレンズをそれぞれの焦点位置に移動させることができることが分かる。これにより、目標撮影対象物に正確かつ迅速に合焦することができる。
【００１４】
本発明の実施形態の第2の態様は、画像取得デバイスに適用される、奥行き情報取得装置を開示する。画像取得デバイスは、第1のカメラと第2のカメラとを含む。前記奥行き情報取得装置は、取得ユニット、検出ユニット、第1の決定ユニット、補正ユニット、および第2の決定ユニットを含むことができる。第1のカメラおよび第2のカメラが振れたことが検出された場合に、取得ユニットは、第1のカメラで撮影された目標撮影対象物の第1の画像および第2のカメラで撮影された目標撮影対象物の第2の画像を取得し、第1のカメラおよび第2のカメラは同時に画像取得を行い、そのようにして、検出ユニットは、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出する。さらに、第1の決定ユニットが第1の画像と第2の画像との間のオフセット差を決定する。次いで、補正ユニットがオフセット差を用いて初期距離を補正し、第2の決定ユニットが補正された初期距離に従って目標撮影対象物の奥行きを決定する。
【００１５】
第1のカメラと第2のカメラの両方がOIS機能を有している場合、またはいずれかのカメラがOIS機能を有している場合に、OISを行う際に、奥行き情報取得装置が、2つのカメラによってそれぞれ取得された2つの画像における同一の撮影対象物の間の距離を補正し、そのようにして、画像取得デバイスが対象物の比較的正確な奥行きを最終的に取得することが分かる。これにより、カメラの合焦精度が向上する。
【００１６】
任意選択的に、第1のカメラは第1のレンズを含み、第2のカメラは第2のレンズを含む。第1の決定ユニットは、取得サブユニットと決定サブユニットとを含むことができる。
【００１７】
取得サブユニットは、奥行き情報取得装置が第1のカメラおよび第2のカメラが振れたことを検出すると、カメラ内のホール効果センサを用いて第1のレンズの第1のオフセットおよび第2のレンズの第2のオフセットを取得することができる。決定サブユニットは、第1のオフセットおよび第2のオフセットに従って、第1の画像のオフセット値および第2の画像のオフセット値をそれぞれ決定し、第1の画像のオフセット値と第2の画像のオフセット値との間のオフセット差を最終的に取得することができる。
【００１８】
実際の応用では、レンズのオフセットは画像の実際のオフセットではない。振れが発生したときの画像の実際のオフセット値は、レンズのオフセットと画像のオフセットとの間の関係によって決定される。このようにして、最終的に得られる目標撮影対象物の奥行きをより正確なものにすることができる。
【００１９】
任意選択的に、奥行き情報取得装置は、受信ユニットと制御ユニットとをさらに含むことができる。
【００２０】
受信ユニットが目標撮影対象物に合焦するための命令を受信すると、取得ユニットは、合焦命令に応答するようにトリガされ、第1のレンズの、奥行きに対応する第1の移動距離を取得し、第2のレンズの、奥行きに対応する第2の移動距離を取得することができる。第2の決定ユニットは、第1の移動距離に従って第1のレンズの焦点位置を決定し、第2の移動距離に従って第2のレンズの焦点位置を決定する。最後に、制御ユニットは、第1のレンズおよび第2のレンズをそれぞれの焦点位置に移動させるように制御する。
【００２１】
奥行き情報取得装置は、目標撮影対象物の奥行き情報を取得した後に、目標撮影対象物に合焦する必要がある場合には、レンズを移動させる必要があって奥行きに対応する距離を取得し、各移動距離に従ってレンズの焦点位置を決定し、それからレンズをそれぞれの焦点位置に移動させることができることが分かる。これにより、目標撮影対象物に正確かつ迅速に合焦することができる。
【００２２】
本発明の実施形態の第3の態様は、第1のカメラと、第2のカメラと、プロセッサと、受信器と、を含む画像取得デバイスを開示する。第1のカメラは、第1のカメラおよび第2のカメラが振れたことを画像取得デバイスが検出した場合に、目標撮影対象物の第1の画像を撮影するように構成される。第2のカメラは、第1のカメラおよび第2のカメラが振れたことを画像取得デバイスが検出した場合に、目標撮影対象物の第2の画像を撮影するように構成され、第1のカメラおよび第2のカメラが同時に画像取得を行う。プロセッサは、主に、上述した奥行き情報取得装置の取得ユニット、検出ユニット、補正ユニット、決定ユニット、および制御ユニットにより実行される動作を行うように構成されている。受信器は、主に、目標撮影対象物に合焦するための命令を受信するように構成されており、プロセッサは、合焦命令に応答して目標撮影対象物に合焦することができる。
【００２３】
本発明の実施形態の実施態様は、以下の有益な効果をもたらす。
【００２４】
本発明の実施形態では、奥行き情報取得装置は、カメラが振れたことを検出すると、第1のカメラおよび第2のカメラで撮影した画像を取得し、2つの画像における目標撮影対象物の間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を用いて初期距離を補正し、最終的に、補正された初期距離を奥行き算出公式に代入して、目標撮影対象物の奥行きを決定することができる。本発明の実施形態によれば、2つのカメラが共にOIS機能を有していてもよいし、いずれかのカメラがOIS機能を有していてもよく、奥行き情報取得装置は、2つのカメラによって取得された画像内の同一の撮影対象物の間の距離を補正して、補正された距離に従って最終的に得られる奥行き情報が比較的正確になるようにすることができる。これにより、撮影対象物に正確かつ迅速に合焦することができる。
【００２５】
本発明の実施形態における技術的解決策をより明白に説明するために、以下では実施形態を説明するために必要な添付の図面を簡単に説明する。当然ながら、以下の説明における添付の図面は、本発明のいくつかの実施形態だけを示すものであり、当業者であれば、創造的努力なしに、これらの添付図面から他の図面をさらに導出することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態によるカメラモジュールの概略構成図である。
【図２】本発明の一実施形態による奥行き情報取得方法の概略的なフローチャートである。
【図３】本発明の一実施形態によるデュアルカメラ撮影シナリオの概略図である。
【図４】本発明の一実施形態による別の奥行き情報取得方法の概略的なフローチャートである。
【図５】本発明の一実施形態による、カメラがOISを実行するときにレンズが移動するシナリオの概略図である。
【図６】本発明の一実施形態によるレンズの焦点距離較正方法の概略図である。
【図７】本発明の一実施形態による奥行き情報取得装置の概略図である。
【図８】本発明の一実施形態による別の奥行き情報取得装置の概略構成図である。
【図９】本発明の一実施形態による画像取得デバイスの概略構成図である。
【発明を実施するための形態】
【００２７】
以下では、本発明の実施形態の添付図面を参照して、本発明の実施形態の技術的解決策について明白かつ完全に説明する。当然ながら、記載された実施形態は、本発明の実施形態の一部にすぎず、そのすべてではない。創造的努力なしに本発明の実施形態に基づいて当業者によって得られたすべての他の実施形態は、本発明の保護範囲内に含まれるものとする。
【００２８】
本発明の実施形態は、奥行き情報取得方法および装置、ならびに画像取得デバイスを開示し、複数のカメラモジュールがOISを実行する際に奥行き情報を正確に取得し、それによって正確かつ迅速に合焦を行うことができる。以下では、詳細な説明を別々に提供する。
【００２９】
本発明の実施形態による奥行き情報取得方法および装置ならびに画像取得デバイスをより良く理解するために、まず、本発明の実施形態に適用可能なカメラモジュールの構成について以下に説明する。図1を参照すると、図1は、本発明の一実施形態によるカメラモジュールの概略構成図である。図1に示す構造では、カメラモジュールは、（1）保護膜、（2）レンズ群、（3）フォーカスモータ、（4）光フィルタ、および（5）感光素子を含む。保護膜（1）は、レンズ群を保護するように構成されている。レンズ群（2）は、一般に、複数のレンズを含み、撮像機能を有する。一般に、レンズ群はOIS機能を有する。振れが発生すると、レンズ群のレンズ（本発明の実施形態ではレンズと総称し、lensともいう）を左右に移動させることにより、比較的鮮明な画像を得ることができる。フォーカスモータ（3）は、主に合焦を助けるためにlensを駆動して移動させるように構成されている。光フィルタ（4）は、主に赤外線をフィルタ処理するように構成されており、最終的に表示される画像の色差を比較的小さくする。感光素子（5）は、主にレンズ群（2）によって得られた画像を電子的な画像に変換するように構成されている。感光素子の位置は固定されている。複数のカメラモジュールを有する画像取得デバイスでは、すべてのカメラに対応する感光素子が同一平面上にあるとみなすことができる。図1に示すカメラモジュールは、スマートフォン、タブレットコンピュータ、携帯情報端末（Personal Digital Assistant、PDA）、モバイルインターネットデバイス（Mobile Internet Device、MID）、およびデジタルカメラなどの、写真機能および撮影機能を有する画像取得デバイスに適用することができる。画像取得デバイスが複数のカメラモジュールを含む場合は、複数のカメラモジュールは画像取得デバイスに並べて配置される。さらに、複数のカメラモジュールがすべてOIS機能を有してもよいし、または1つのカメラのみがOIS機能を有してもよい。これは、本発明のこの実施形態では限定されない。
【００３０】
図1に示すカメラモジュールによれば、画像を取得した後に、画像取得デバイスは、画像内の各撮影対象物の奥行き情報を算出することができる。画像取得デバイスは、撮影対象物に合焦する必要がある場合には、その撮影対象物の奥行きに従って撮影対象物に合焦することができる。画像取得デバイスが複数のカメラモジュールを含む場合には、複数のカメラモジュールによって撮影された画像が最終的に1つの画像に融合されるので、撮影された画像がより鮮明になり、ユーザの撮影要件をより良好に満たすことができる。この解決策は、複数のカメラがOISを実行することに基づいて提案されることに留意されたい。
【００３１】
本発明の一実施形態は、図1に示すカメラモジュールに基づいて、奥行き情報取得方法を開示する。図2を参照すると、図2は、本発明のこの実施形態による奥行き情報取得方法の概略的なフローチャートである。図2に示す方法は、画像取得デバイスに適用することができる。画像取得デバイスは、第1のカメラと第2のカメラとを含む。図2に示すように、奥行き情報取得方法は、以下のステップを含むことができる。
【００３２】
S201．奥行き情報取得装置は、第1のカメラおよび第2のカメラが振れたことを検出すると、第1のカメラで撮影された目標撮影対象物の第1の画像と、第2のカメラで撮影された目標撮影対象物の第2の画像と、を取得し、第1のカメラおよび第2のカメラは同時に画像取得を行う。
【００３３】
本発明のこの実施形態では、画像取得デバイスが画像プレビュー画面に入ると、第1のカメラおよび第2のカメラがそれぞれの視野内の画像をリアルタイムで取り込む。一般に、第1のカメラと第2のカメラは同時に振れる。したがって、奥行き情報取得装置が、第1のカメラと第2のカメラが振れたことを検出すると（具体的には、ジャイロスコープを用いて振れが発生したか否かを検出することができる）、第1のカメラおよび第2のカメラが、同時に現在の環境から画像を取り込んで、第1のカメラの第1の画像および第2のカメラの第2の画像をそれぞれ取得するので、奥行き情報取得装置が第1の画像および第2の画像を取得する。第1の画像および第2の画像の両方が、目標撮影対象物を含んでいる。第1の画像および第2の画像は、第1のカメラおよび第2のカメラの感光素子によって、カメラのレンズによって得られた画像を変換して得られる電子的な画像である。目標撮影対象物は、人間の顔、建物、または動物など、第1の画像と第2の画像の両方に存在する任意の撮影対象物である。これは、本発明のこの実施形態では限定されない。
【００３４】
本発明のこの実施形態では、第1のカメラは第1のレンズを含み、第2のカメラは第2のレンズを含む。奥行き情報取得装置は、第1のカメラおよび第2のカメラが振れたことを検出すると、第1の画像および第2の画像に加えて、第1のレンズの移動距離af_offset1および第2のレンズの移動距離af_offset2を取得する。
【００３５】
具体的には、af_offset1は、3次元座標系のZ軸上の第1のレンズの現在位置と第1のレンズの第1の開始位置との間のスカラー距離、すなわち、第1のレンズが第1の画像を撮影する現在位置と第1のレンズの第1の開始位置との間の相対移動距離である。af_offset2は、3次元座標系のZ軸上の第2のレンズの現在位置と第2のレンズの第2の開始位置との間のスカラー距離、すなわち、第2のレンズが第2の画像を撮影する現在位置と第2のレンズの第2の開始位置との間の相対移動距離である。第1の開始位置は、主に、第1のレンズの位置であり、第1のレンズと第1のカメラの感光素子との間の垂直距離は、第1のレンズの焦点距離の1倍である。第2の開始位置は、主に、第2のレンズの位置であり、第2のレンズと第2のカメラの感光素子との間の垂直距離は、第2のレンズの焦点距離の1倍である。第1のレンズと第1のカメラの感光素子との間の最小距離は、一般的に第1のレンズの焦点距離のほぼ1倍の距離である。第2のカメラと第2のレンズの感光素子との間の最小距離は、同様に、第2のレンズの焦点距離の1倍の距離である。
【００３６】
S202．奥行き情報取得装置は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出する。
【００３７】
図3を参照すると、図3は、本発明の一実施形態によるデュアルカメラ撮影シナリオの概略図である。図3では、奥行き情報取得装置は、カメラの感光素子が位置する平面をXY平面として用い、カメラのレンズが感光素子に対して垂直である方向をZ軸として用いる3次元座標系を作成することができる。本発明のこの実施形態では、3次元座標系の原点の位置は限定されない。したがって、奥行き情報取得装置は、第1のレンズで撮影された第1の画像と第2のレンズで撮影された第2の画像とを取得すると（図3（a）に示す）、第1の画像と第2の画像とを重ね合わせて、3次元座標系のXY平面上にマッピングする（図3（b）に示す）。
【００３８】
さらに、第1の画像と第2の画像の両方に目標撮影対象物が存在する場合には、奥行き情報取得装置は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出することができる。初期距離は、一般にベクトル距離であり、d0で表される。具体的には、初期距離は、奥行き情報取得装置が第1の画像と第2の画像とを重ね合わせてXY平面上にマッピングさせた後に、奥行き情報取得装置により得られる、2つの画像における目標撮影対象物の間の座標距離（すなわち、図3（b）に示す第1の画像および第2の画像における2つの黒点間の距離d0）である。
【００３９】
具体的には、初期距離d0は、奥行き情報取得装置が2つの画像を3次元座標系のXY平面に重ねてマッピングした後に、奥行き情報取得装置により取得された、2つの画像における目標撮影対象物の同一特徴画素の座標の間のベクトル距離であってもよい。あるいは、初期距離d0は、以下のように求められる距離であってもよい。すなわち、XY平面上で、奥行き情報取得装置が、第1の画像から複数の特徴画素を選択し、特徴画素の各々について、第2の画像から特徴画素と同じ特徴を有する画素を選択し、2つの画素の座標間のベクトル距離を算出し、最終的に、同じ特徴を有する複数の画素群のベクトル距離の平均値を、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離d0として用いる。これは、本発明のこの実施形態では限定されない。
【００４０】
本発明のこの実施形態では、奥行き情報取得装置による、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出する具体的な方法は、
3次元座標系のXY平面にマッピングされた第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離d0を検出するステップ
であってもよい。図3において作成された3次元座標系のXY平面上で、奥行き情報取得装置は、まず第1の画像と第2画像とを互いに重ね合わせて、第1の画像内の目標撮影対象物から、座標、例えば（P1x，P1y）を有する特徴画素P1を選択し、第2の画像内の目標撮影対象物から、座標、例えば（P2x，P2y）有する特徴画素と同じ特徴を有する画素P2を選択することができる。このように、奥行き情報取得装置は、P1およびP2の座標に従って、2つの画素の初期ベクトル距離d0、例えば（d0x，d0y）を算出することができる。d0xは、P1x−P2xまたはP2x−P1xであってもよい。d0x＝P1x−P2xである場合には、d0y＝P1y−P2y、またはd0x＝P2x−P1xである場合には、d0y＝P2y−P1yである。これは、本発明のこの実施形態では限定されない。
【００４１】
任意選択的に、奥行き情報取得装置は、第1のカメラの感光素子内の第1の画像の中心点をさらに使用して3次元座標系を作成し、第2のカメラの感光素子内の第2の画像の中心点を使用して、別の3次元座標系を作成し、次いで第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との同一特徴画素の、2つの座標系における座標を別々に取得し、最後に、第1の画像における目標撮影対象物の座標と第2の画像における目標撮影対象物の座標との間のベクトル距離を算出することができる。2つの座標系は、座標の原点が異なることを除き、同じ単位距離および同じX、Y、Z軸方向を有する。
【００４２】
なお、奥行き情報取得装置は、2つのカメラの各々について3次元座標系を作成してもよいし、3次元座標系を1つだけ作成してもよいことに留意されたい。これは、本発明のこの実施形態では限定されない。説明を容易にするために、本明細書の説明では、1つの3次元座標系を作成することを用いる。本発明のこの実施形態では、詳細についてさらに説明しない。
【００４３】
S203．奥行き情報取得装置は、第1の画像と第2の画像との間のオフセット差を決定する。
【００４４】
本発明のこの実施形態では、第1の画像と第2の画像との間のオフセット差は、第1の画像のオフセット値と第2の画像のオフセット値との差として理解することができる。具体的には、奥行き情報取得装置は、第1の画像および第2の画像を取得した後に、3次元座標系のXY平面上の第1の画像および第2の画像の座標位置を別々に決定し、第1のカメラが撮影した第3の画像の座標位置と第2のカメラが撮影した第4の画像の座標位置とを取得し、カメラが揺れていないときの座標位置が予め記録されており、第1の画像の座標位置と第3の画像の座標位置との間の相対座標オフセット、例えばd1、ならびに第2の画像の座標位置と第4の画像の座標位置との間の相対座標オフセット、例えばd2を別々に算出することができる。d1とd2との差は、第1の画像と第2の画像との間のオフセット差である。d1、d2およびオフセット差はすべてベクトルである。
【００４５】
実際の応用では、オフセット値d1は、一般に、第1の画像と、第1の開始位置で第1のレンズによって撮影された画像との間の相対ベクトルオフセットであり、オフセット値d2は、一般に、第2の画像と、第2の開始位置で第2のレンズによって撮影された画像との間の相対ベクトルオフセットである。
【００４６】
具体的には、奥行き情報取得装置は、第1のレンズの焦点距離の1倍において（すなわち、第1の開始位置で）第1のレンズによって撮影され、（画像内の各画素の座標位置を具体的に記録することができる）3次元座標系のXY平面上にマッピングされた、画像の座標を予め記録する。第1のカメラがOISを実行すると、第1のレンズは3次元座標系のXY平面上を移動する。この場合、第1のカメラによって撮影された第1の画像と第1の開始位置で撮影された画像との間の相対オフセットがXY平面上で発生することがある。第1のレンズによって第1の開始位置で撮影された画像内の位置の画素の座標を（q1x，q1y）とすると、奥行き情報取得装置は、第1の画像から、第1の開始位置で撮影された画像内の画素と同じ位置にある、例えば座標（q'1x，q'1y）を有する画素を選択する。奥行き情報取得装置は、2つの画像における2つの画素の座標を比較することにより、第1の画像のオフセット値d1、すなわち（d1x＝q'1x−q1x，d1y＝q'1y−q1y）を取得することができる。
【００４７】
同様に、第2の画像のオフセット値d2、すなわち（d2x＝q'2x−q2x，d2y＝q'2y−q2y）を取得することができる。
【００４８】
第1の画像における目標撮影対象物の同一特徴画素の座標から第2の画像における目標撮影対象物の特徴画素の座標を減算することにより、初期距離d0が得られた場合には、すなわちd0は（P1x−P2x，P1y−P2y）であり、オフセット差はd1−d2であることが分かる。一方、第2の画像における目標撮影対象物の同一特徴画素の座標から第1の画像における目標撮影対象物の特徴画素の座標を減算することにより、初期距離d0が得られた場合には、すなわちd0は（P2x−P1x，P2y−P1y）であり、オフセット差はd2−d1である。これは、本発明のこの実施形態では限定されない。すなわち、オフセット差を算出する方法は、d0を算出する方法と一致する必要がある。
【００４９】
初期距離は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第1の画像のオフセット値と第2の画像のオフセット値との間の相対オフセット差であることに留意されたい。あるいは、初期距離は、第2の画像における目標撮影対象物と第1の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第2の画像のオフセット値と第1の画像のオフセット値との間の相対オフセット差である。これは、本発明のこの実施形態では限定されない。
【００５０】
S204．奥行き情報取得装置は、オフセット差を用いて初期距離を補正する。
【００５１】
本発明のこの実施形態では、第1の画像と第2の画像との間のオフセット差を決定した後に、奥行き情報取得装置は、オフセット差を用いてd0を補正して、補正された距離d0'、すなわち（d0x’，d0y’）を得ることができる。具体的には、奥行き情報取得装置によるd0の具体的な補正方法は、d0'＝d0−（d1−d2）である。すなわち、d0x'＝d0x−（d1x−d2x）かつd0y'＝d0y−（d1y−d2y）である。
【００５２】
S205．奥行き情報取得装置は、補正された初期距離に従って、目標撮影対象物の奥行きを決定する。
【００５３】
振れが発生した場合には、カメラが光学的振れ補正を行うと、XY平面上のレンズにオフセットが生じ、それに応じて対応して撮影された画像間の距離が変化することに留意されたい。
【００５４】
本発明のこの実施形態では、光学的手振れ補正を行わない場合には、第1のカメラと第2のカメラで撮影された画像において、2つの画像における同一の撮影対象物の間の距離が存在する。しかし、この場合は、XY平面上のレンズにはオフセットが生じない。したがって、奥行き計算公式による計算によって得られた各撮影対象物の奥行きは正確である。しかし、第1のレンズと第2のレンズの焦点距離はわずかに異なっている。したがって、振れが発生して、第1のカメラまたは第2のカメラのいずれかが光学的手振れ補正を行う場合には、XY平面上の各開始位置に対する第1のレンズおよび第2のレンズのオフセットも異なる。第1のカメラと第2のカメラが目標撮影対象物を有する画像を別々に撮影する場合には、第1のレンズと第2のレンズとの間の実際の距離をD0'とする（図3に示す）。光学的手振れ補正を行う場合には、XY平面上の第1のレンズとオフセットと第2のレンズのオフセットとの差が比較的小さく、奥行き情報装置は、一般的に2つのレンズ間の実際の距離を直接得ることができない。したがって、一般に、従来技術では、撮影対象物の奥行きを算出する際に、第1の開始位置と第2の開始位置との間のベクトル距離を、第1のレンズと第2のレンズとの間の実際のベクトル距離として一般的に用いている。その結果、最終的に得られる奥行き情報は正確ではなく、あるいは最終的に得られた奥行き情報と実際の奥行き情報との間に大きな差が存在する。
【００５５】
本発明のこの実施形態では、レンズの焦点距離が一般に与えられる。したがって、奥行き情報取得装置は、第1の開始位置と第2の開始位置との間のベクトル距離D0を一般的に直接得ることができる。XY平面上のベクトル距離D0は、（D0x，D0y）で表すことができる。したがって、奥行き情報取得装置は、補正された距離d0'およびD0を用いて、目標撮影対象物の奥行きを算出することができる。このようにして、最終的に得られる奥行き情報は比較的正確である。
【００５６】
D0は、XY平面上の第1の開始位置の座標からXY平面上の第2の開始位置の座標を減算して求めてもよいし、XY平面上の第2の開始位置の座標からXY平面上の第1の開始位置の座標を減算して求めてもよいことに留意されたい。D0を算出する方法も、d0を算出する方法と一致する必要がある。本発明のこの実施形態では、詳細についてさらに説明しない。
【００５７】
本発明のこの実施形態では、第1の開始位置と第2の開始位置との間のベクトル距離D0、補正された距離d0’、af_offset1、およびaf_offset2を取得した後に、奥行き情報取得装置は、奥行き計算公式に従って目標撮影対象物の奥行きを算出することができる。
【００５８】
複数のカメラモジュールを有する画像取得デバイスが撮影やOISを行う場合は、すべてのカメラのレンズと感光素子との間の距離が等しくなければならないことが分かる。したがって、奥行き情報取得装置は、第1のカメラのパラメータに従って目標撮影対象物の実際の奥行きを算出してもよいし、第2のカメラのパラメータに従って目標撮影対象物の奥行きを算出してもよい。これは、本発明のこの実施形態では限定されない。
【００５９】
すなわち、画像取得デバイスでは、（f1＋af_offset1）は（f2＋af_offset2）に等しいままである必要がある。f1は第1のレンズの焦点距離であり、f2は第2のレンズの焦点距離である。奥行き情報取得装置がd0を補正した後に、目標撮影対象物のDepthで表される最終的に得られた奥行きは
【数１】
2019510234.tif 000003
となり得る。
【００６０】
具体的な実施態様では、奥行き情報装置は、初期距離d0を補正した後に、奥行き計算公式を用いて、第1の画像における目標撮影対象物の奥行きと、第2の画像における目標撮影対象物の奥行きと、を算出することができ、ここで
【数２】
2019510234.tif 000004
である。
【００６１】
任意選択的に、第1のカメラと第2のカメラの両方がOIS機能を有する場合には、画像取得デバイスがOISを実行すると、それぞれの開始位置に対してXY面上で第1のレンズと第2のレンズのオフセットが生じる。したがって、第1の画像のオフセット値d1も第2の画像のオフセット値d2も0ではない。第1のカメラと第2のカメラのいずれかがOIS機能を有する場合には（第1のカメラがOIS機能を有すると仮定する）、画像取得デバイスがOISを実行すると、第1のレンズの開始位置に対してXY平面上で第1のレンズにのみオフセットが生じる。したがって、オフセット値d1は0ではなく、OIS機能を有さないカメラ（第2のカメラ）で撮影された第2の画像のオフセット値d2は0である。すなわち、この解決策は、2つのカメラがOIS機能を有する画像取得デバイスに適用可能であるだけでなく、1つのカメラのみがOIS機能を有する画像取得デバイスにも適用可能である。これは、本発明のこの実施形態では限定されない。
【００６２】
任意選択的に、この解決策は、2つのカメラを有し、かつ少なくとも1つのカメラがOIS機能を有する画像取得デバイスに適用できるだけでなく、3つ以上のカメラを有し、かつ少なくとも1つのカメラがOIS機能を有する画像取得デバイスにも適用可能である。複数のカメラを有する画像取得デバイスでは、3つのカメラを有する画像取得デバイスを例にとると、奥行き情報取得装置は、3つのカメラのうちの2つを組み合わせて、それぞれの組み合わせにおいて2つのカメラを用いて目標撮影対象物の奥行きを取得して、3つの奥行きを取得することができる。最後に、奥行き情報取得装置は、3つの奥行きの平均奥行きを目標撮影対象物の実際の奥行きとして用いることができる。これは、本発明のこの実施形態では限定されない。
【００６３】
図2に示す方法では、奥行き情報取得装置は、カメラが振れたことを検出すると、第1のカメラと第2のカメラで撮影した画像を取得し、2つの画像における目標撮影対象物の間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を用いて初期距離を補正し、最終的に、補正された初期距離を奥行き算出公式に代入して、目標撮影対象物の奥行きを決定することができることが分かる。本発明のこの実施形態によれば、2つのカメラが共にOIS機能を有していてもよいし、いずれかのカメラがOIS機能を有していてもよく、奥行き情報取得装置は、2つのカメラによって取得された画像内の同一の撮影対象物の間の距離を補正して、補正された距離に従って最終的に得られる奥行き情報が比較的正確になるようにすることができる。これにより、撮影対象物に正確かつ迅速に合焦することができる。
【００６４】
本発明の一実施形態は、図1に示すカメラモジュールに基づいて、別の奥行き情報取得方法を開示する。図4を参照すると、図4は、本発明のこの実施形態による別の奥行き情報取得方法の概略フローチャートである。図4に示す方法は、画像取得デバイスに適用することができる。画像取得デバイスは、第1のカメラと第2のカメラとを含む。図4に示すように、奥行き情報取得方法は、以下のステップを含むことができる。
【００６５】
S401．奥行き情報取得装置は、第1のカメラおよび第2のカメラが振れたことを検出すると、第1のカメラで撮影された目標撮影対象物の第1の画像と、第2のカメラで撮影された目標撮影対象物の第2の画像と、を取得し、第1のカメラおよび第2のカメラは同時に画像取得を行う。
【００６６】
S402．奥行き情報取得装置は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出する。
【００６７】
S403．奥行き情報取得装置は、第1の画像と第2の画像との間のオフセット差を決定する。
【００６８】
本発明のこの実施形態では、奥行き情報取得装置による第1の画像と第2の画像との間のオフセット差を決定する具体的な方法は、以下のステップを含むことができる。
【００６９】
（11）第1のカメラと第2のカメラが振れたことを検出すると、奥行き情報取得装置は、第1のレンズの第1のオフセットと第2のレンズの第2のオフセットを取得する。
【００７０】
（12）奥行き情報取得装置は、第1のオフセットに従って第1の画像のオフセット値を決定し、第2のオフセットに従って第2の画像のオフセット値を決定し、第1の画像のオフセット値と第2の画像のオフセット値との間のオフセット差を取得する。
【００７１】
具体的な実施態様では、第1のレンズの第1のオフセットは、XY平面上の第1のレンズの現在の位置と第1の開始位置との間のベクトルオフセットとして理解することができ、ベクトルオフセットはL1としてマークされる。第2のレンズの第2のオフセットは、XY平面上の第2のレンズの現在の位置と第2の開始位置との間のベクトルオフセットとして理解することができ、ベクトルオフセットはL2としてマークされる。
【００７２】
また、図5を参照すると、図5は、本発明の一実施形態による、カメラがOISを実行するときにレンズが移動するシナリオの概略図である。図5に示すように、点線で示すレンズの位置がレンズの開始位置であり、実線で示すレンズの位置が、OISを実行している間にレンズが目標撮影対象物を有する画像を撮影するレンズ位置（すなわち、レンズの現在位置）である。図5で作成された3次元座標系では、XY平面上の開始位置の座標が、XY平面上のレンズの現在位置の座標から減算され、レンズと開始位置との間の相対オフセットLが得られ、このオフセットはベクトルである。開始位置のZ軸座標がレンズの現在位置のZ軸座標から減算され、レンズと開始位置との間の移動距離af_offsetが得られる。
【００７３】
例えば、第1のレンズを例にとる。図5に示す開始位置は、第1のレンズの第1の開始位置（座標を（L1x，L1y，L1z）とする）であり、図5に示す現在位置は、第1のレンズの現在位置（座標を（L'1x，L'1y，L'1z）とする）である。この場合、第1のレンズの現在位置と第1の開始位置との間のZ軸上の移動距離af_offset1は｜L'1z−L1z｜であり、これはスカラー距離である。第1のレンズの現在位置と第1の開始位置との間のXY平面上の第1のオフセットL1は、（L'1x−L1x，L'1y−L1y）であり、これはベクトル距離である。
【００７４】
同様に、第2のレンズの移動距離af_offset2、すなわち｜L'2z−L2z｜が得られ、第2のレンズの第2のオフセットL2、すなわち（L'2x−L2x，L'2y−L2y）が得られる。
【００７５】
なお、本明細書でいうレンズの移動距離およびオフセットは、レンズ（凸レンズ）の光学中心間の距離を指すことに留意されたい。本発明のこの実施形態では、詳細についてさらに説明しない。
【００７６】
奥行き情報取得装置は、主にホール効果センサやレーザを用いて、XY平面上の第1のレンズと第2のレンズのオフセットスケールを記録することに留意されたい。オフセットスケールを記録することに加えて、オフセット方向を記録することができる。レンズのオフセット方向およびスケールに対応する距離に従って、レンズのオフセットが得られる。
【００７７】
可能な実施態様では、第1のレンズおよび第2のレンズのオフセットを取得する前に、奥行き情報取得装置はさらにホールスケールを較正することができる。具体的な方法は以下の通りであり得る。
【００７８】
各カメラ（焦点距離が与えられ、fで示す）について、奥行き情報取得装置は、撮影奥行き（Sで示す）が与えられたテーブルを撮影するようにカメラのlensを制御し、lensをlensの主光軸に沿って移動させるように制御することができる。まず、lensを1つのホールスケールで移動させ、テーブルを撮影して、感光素子上のテーブルの幅（dで示す）が得られる。撮像公式
【数３】
2019510234.tif 000005
によれば、s＝f＋af_offsetであり、lensと感光素子との間の距離である。したがって、af_offsetの値、すなわち1つのホールスケールに対応する距離を得ることができる。
【００７９】
本発明のこの実施形態では、L1とL2を取得した後に、奥行き情報取得装置は、lensのオフセットと画像のオフセットとの関係に従って、第1の画像のオフセット値d1と第2の画像のオフセット値d2とを別々に算出することができる。計算方法は、具体的には
【数４】
2019510234.tif 000006
である。
【００８０】
本発明のこの実施形態では、まず、第1のレンズおよび第2のレンズのオフセットを求め、第1の画像のオフセット値と第2の画像のオフセット値とを上記計算公式に従って別々に算出し、次に2つの画像間のオフセット差が得られる。したがって、2つの画像における目標撮影対象物の間の距離の補正がより正確になり、奥行き情報の精度が向上する。
【００８１】
S404．奥行き情報取得装置は、オフセット差を用いて初期距離を補正する。
【００８２】
S405．奥行き情報取得装置は、補正された初期距離に従って、目標撮影対象物の奥行きを決定する。
【００８３】
任意選択的に、より正確な奥行き情報を得るために、奥行き情報取得装置は、前もって第1のレンズおよび第2のレンズの焦点距離をさらに較正してもよい。具体的な方法は以下の通りであり得る。
【００８４】
図6を参照すると、図6は、本発明の一実施形態によるレンズの焦点距離較正方法の概略図である。図6に示すように、奥行き情報取得装置は、カメラのlensを制御して、撮影奥行き（Sで示す）が与えられ、かつ幅（Dで示す）が与えられたテーブルを撮影して、lensの主光軸に沿って移動するようにlensを制御することができる。画像のコントラストが最も高い位置にlensが移動すると、テーブルが撮影され、感光素子上のテーブルの幅（dで示す）が得られる。さらに、奥行き情報取得装置は、lensの開始位置に対するZ軸上でのlensの移動距離af_offsetを取得することができる。この場合のlensと感光素子との間の距離をsとすると、s＝f＋af_offsetであり、図6の凸レンズの撮像公式とlensの撮像原理により、以下の関係式が得られる。
【数５】
2019510234.tif 000007
【００８５】
上記の関係式、すなわち
【数６】
2019510234.tif 000008
により、lensの焦点距離fを算出することができる。
【００８６】
したがって、奥行きの取得精度を向上させるために、奥行き情報取得装置は、このように各カメラの焦点距離をさらに算出してもよい。
【００８７】
さらに、生産ラインでは、2つのカメラの焦点距離の差を管理し、制御することができる。上記のようにして較正された、2つのカメラの焦点距離の差は、予め設定された焦点距離しきい値以下に設定される。予め設定された焦点距離のしきい値は、0．01であってもよい。その差が例えば
【数７】
2019510234.tif 000009
などの予め設定された焦点距離のしきい値よりも大きい場合には、このときは焦点距離較正が失敗したことを示し、カメラやlensは生産ラインで交換される。このように較正された2つのカメラの焦点距離の差が予め設定された焦点距離しきい値未満であれば、焦点距離の較正が成功したことを示し、奥行き情報取得装置は、較正された焦点距離を用いて画像内の目標撮影対象物の奥行きを算出することができる。
【００８８】
S406．奥行き情報取得装置は、目標撮影対象物に合焦するための命令を受信する。
【００８９】
本発明のこの実施形態では、奥行き情報取得装置は、上述した目標撮影対象物の奥行きを取得する方法で、各撮影対象物の奥行きを取得することができる。携帯電話機による撮影を例として用いる。ユーザが目標撮影対象物に合焦する必要がある場合、携帯電話機の画像プレビュー画面上でユーザが目標撮影対象物をタップした後に、奥行き情報取得装置が目標撮影対象物に合焦するための命令を受信する。すなわち、奥行き情報取得装置が受信する合焦命令は、ユーザによってトリガされてもよいし、画像解析によって取得されてもよい。これは、本発明のこの実施形態では限定されない。
【００９０】
例えば、携帯電話機が撮影用のポートレートモードを開始した場合には、現在のシナリオで各撮影対象物の奥行きを取得した後に、携帯電話機は、自動的に目標撮影対象物が人物であると識別し、現在のシナリオにおける人に合焦するための命令を生成することができる。ユーザが背景の植物に合焦したい場合には、ユーザが携帯電話機の画像プレビュー画面上で植物をタップし、奥行き情報取得装置が植物に合焦するための命令を受信する。
【００９１】
S407．奥行き情報取得装置は、合焦命令に応答して、第1のレンズの奥行きに対応する第1の移動距離を取得し、第2のレンズの奥行きに対応する第2の移動距離を取得する。
【００９２】
本発明のこの実施形態では、合焦命令を受信した後に、奥行き情報取得装置は、取得した目標撮影対象物の奥行きDepthに従って、第1の開始位置に対するZ軸上の第1のレンズの第1の移動距離af_offset1'を算出することができる。同様に、奥行き情報取得装置は、第2の開始位置に対するZ軸上の第2のレンズの第2の移動距離af_offset2'を取得することができる。
【００９３】
具体的には、図6に示す概略図を参照して、図6では目標撮影対象物の奥行きDepthはSであり、図6ではf1＋af_offset1'はsである。したがって、第1の移動距離af_offset1'の算出時には、撮像公式に奥行きDepthの式とsの式を代入し、第1の移動距離af_offset1'を具体的に以下のように算出することができる。
【数８】
2019510234.tif 000010
【００９４】
図6では、f2＋af_offset2'がsであるので、同様に、第2の移動距離af_offset2'は、以下のように得られる。
【数９】
2019510234.tif 000011
【００９５】
S408．奥行き情報取得装置は、第1の移動距離に従って第1のレンズの焦点位置を決定し、第2の移動距離に従って第2のレンズの焦点位置を決定し、それぞれの焦点位置に移動させるために、第1のレンズおよび第2のレンズを制御する。
【００９６】
本発明のこの実施形態では、目標撮影対象物に合焦する必要がある場合には、第1のレンズの第1の移動距離af_offset1'と第2のレンズの第2の移動距離af_offset2'とを決定した後に、奥行き情報取得装置は、第1の移動距離af_offset1'に従って、第1のレンズが目標撮影対象物に合焦する焦点位置を決定し、第2の移動距離af_offset2'に従って、第2のレンズが目標撮影対象物に合焦する焦点位置を決定し、第1レンズおよび第2レンズを制御してそれぞれの焦点位置に移動させ、目標撮影対象物に合焦させることができる。
【００９７】
さらに、第1のレンズおよび第2のレンズが目標撮影対象物に合焦すると、奥行き情報取得装置は、別の撮影対象物の奥行きと目標撮影対象物の奥行きとの差に従って別の撮影対象物をさらにぼかすことができる。具体的には、奥行き情報取得装置は、ぼかしアルゴリズムを用いて、目標撮影対象物（すなわち、注目点）とは異なる別の撮影対象物をぼかして、目標撮影対象物からより遠くにある撮影対象物はぼけの程度がより高くなり、目標撮影対象物により近い撮影対象物はぼけの程度がより低くなる。
【００９８】
図4に示す方法では、奥行き情報取得装置は、第1の開始位置に対するXY平面上の第1のレンズの第1のオフセットと、第2の開始位置に対するXY平面上の第2のレンズの第2のオフセットと、を検出して、第1の画像のオフセット値および第2の画像のオフセット値を決定することができる。このようにして、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離をより正確に補正することができ、最終的に算出される目標撮影対象物の奥行きをより正確にすることができる。さらに、本発明のこの実施形態で得られた奥行きによれば、目標撮影対象物に合焦する際に、目標撮影対象物の奥行きは比較的正確である。したがって、目標撮影対象物の合焦精度や合焦速度を向上させることができ、画像取得デバイスの撮像品質を向上させることができる。
【００９９】
本発明の一実施形態は、図1に示すカメラモジュールに基づいて、奥行き情報取得装置を開示する。図7を参照すると、図7は、本発明のこの実施形態による奥行き情報取得装置の概略構成図である。図7に示す奥行き情報取得装置700は、画像取得デバイスに適用することができる。画像取得デバイスは、第1のカメラと第2のカメラとを含む。図7に示すように、奥行き情報取得装置700は、
取得ユニット701であって、第1のカメラおよび第2のカメラが振れたことが検出された場合に、第1のカメラで撮影された目標撮影対象物の第1の画像と、第2のカメラで撮影された目標撮影対象物の第2の画像と、を取得するように構成され、第1のカメラおよび第2のカメラは同時に画像取得を行う、取得ユニット701と、
第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出するように構成された検出ユニット702と、
第1の画像と第2の画像との間のオフセット差を決定するように構成された第1の決定ユニット703と、
オフセット差を用いて初期距離を補正するように構成された補正ユニット704と、
補正された初期距離に従って目標撮影対象物の奥行きを決定するように構成された第2の決定ユニット705と、
を含むことができる。
【０１００】
任意選択的に、初期距離は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第1の画像のオフセット値と第2の画像のオフセット値との間の相対オフセット差である。あるいは、初期距離は、第2の画像における目標撮影対象物と第1の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第2の画像のオフセット値と第1の画像のオフセット値との間の相対オフセット差である。これは、本発明のこの実施形態では限定されない。
【０１０１】
第1のカメラと第2のカメラの両方がOIS機能を有している場合、またはいずれかのカメラがOIS機能を有している場合に、OISを行う際に、奥行き情報取得装置が、2つのカメラによってそれぞれ取得された2つの画像における同一の撮影対象物の間の距離を補正し、そのようにして、画像取得デバイスが対象物の比較的正確な奥行きを最終的に取得することが分かる。これにより、カメラの合焦精度が向上する。
【０１０２】
また、図8を参照すると、図8は、本発明の一実施形態による別の奥行き情報取得装置の概略構成図である。図8に示す奥行き情報取得装置700は、図7に示す奥行き情報取得装置700に基づいて実行される最適化により得られる。図8に示すように、奥行き情報取得装置700は、以下のユニットをさらに含むことができる。
【０１０３】
受信ユニット706は、目標撮影対象物に合焦するための命令を受信するように構成される。
【０１０４】
取得ユニット701は、合焦命令に応答して、第1のレンズの奥行きに対応する第1の移動距離を取得し、第2のレンズの奥行きに対応する第2の移動距離を取得するようにさらに構成される。
【０１０５】
第2の決定ユニット705は、第1の移動距離に従って第1のレンズの焦点位置を決定し、第2の移動距離に従って第2のレンズの焦点位置を決定するようにさらに構成される。
【０１０６】
制御ユニット707は、それぞれの焦点位置に移動させるために、第1のレンズおよび第2のレンズを制御するように構成される。
【０１０７】
本発明のこの実施形態では、奥行き情報取得装置700は、目標撮影対象物の奥行き情報を取得した後に、目標撮影対象物に合焦する必要がある場合には、レンズを移動させる必要があって奥行きに対応する距離を取得し、各移動距離に従ってレンズの焦点位置を決定し、それからレンズをそれぞれ距離に対応する焦点位置に移動させることができる。これにより、目標撮影対象物に正確かつ迅速に合焦することができる。
【０１０８】
可能な実施態様では、第1の決定ユニット703は、取得サブユニット7031および決定サブユニット7032を含むことができる。
【０１０９】
取得サブユニット7031は、奥行き情報取得装置700が第1のカメラおよび第2のカメラが振れたことを検出すると、第1のレンズの第1のオフセットおよび第2のレンズの第2のオフセットを取得するように構成される。
【０１１０】
決定サブユニット7032は、第1の画像のオフセット値と第2の画像のオフセット値との間のオフセット差を取得するために、第1のオフセットに従って第1の画像のオフセット値を決定し、第2のオフセットに従って第2の画像のオフセット値を決定するように構成される。
【０１１１】
図7および図8に示す奥行き情報取得装置では、奥行き情報取得装置は、カメラが振れたことを検出すると、第1のカメラと第2のカメラで撮影した画像を取得し、2つの画像における目標撮影対象物の間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を用いて初期距離を補正し、最終的に、補正された初期距離を奥行き算出公式に代入して、目標撮影対象物の奥行きを決定することができることが分かる。本発明のこの実施形態によれば、2つのカメラが共にOIS機能を有していてもよいし、いずれかのカメラがOIS機能を有していてもよく、奥行き情報取得装置は、2つのカメラによって取得された画像内の同一の撮影対象物の間の距離を補正して、補正された距離に従って最終的に得られる奥行き情報が比較的正確になるようにすることができる。これにより、撮影対象物に正確かつ迅速に合焦することができる。
【０１１２】
本発明の一実施形態は、図1に示すカメラモジュールに基づいて、画像取得デバイスを開示する。図9を参照すると、図9は、本発明のこの実施形態による画像取得デバイスの概略構成図である。図9に示す画像取得デバイス900は、第1のカメラ901、第2のカメラ902、CPUなどの少なくとも1つのプロセッサ903、受信器904、送信器905、表示画面906、および通信バス907を含むことができる。
【０１１３】
送信器905は、画像などの様々なデータ信号を外部デバイスに送信するように構成される。
【０１１４】
表示画面906は、第1のカメラ901および第2のカメラ902によって撮影された画像を表示するように構成される。表示画面は、タッチ表示画面であってもよい。
【０１１５】
通信バス907は、第1のカメラ901、第2のカメラ902、プロセッサ903、受信器904、送信器905、および表示画面906などのこれらの構成要素間の通信接続を実現するように構成される。
【０１１６】
第1のカメラ901は、第1のカメラおよび第2のカメラが振れたことを画像取得デバイス900が検出すると、目標撮影対象物の第1の画像を撮影するように構成される。
【０１１７】
第2のカメラ902は、第1のカメラと第2のカメラが振れたことを画像取得デバイス900が検出した場合に、目標撮影対象物の第2の画像を撮影するように構成され、第1のカメラと第2のカメラが同時に画像取得を行う。
【０１１８】
プロセッサ903は、第1の画像および第2の画像を取得し、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出するように構成される。
【０１１９】
プロセッサ903は、第1の画像と第2の画像との間のオフセット差を決定し、オフセット差を用いて初期距離を補正するようにさらに構成される。
【０１２０】
前記プロセッサ903は、前記補正された初期距離に従って前記目標撮影対象物の奥行きを決定するようにさらに構成される。
【０１２１】
任意選択的に、初期距離は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第1の画像のオフセット値と第2の画像のオフセット値との間の相対オフセット差である。あるいは、初期距離は、第2の画像における目標撮影対象物と第1の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第2の画像のオフセット値と第1の画像のオフセット値との間の相対オフセット差である。これは、本発明のこの実施形態では限定されない。
【０１２２】
第1のカメラと第2のカメラの両方がOIS機能を有している場合、またはいずれかのカメラがOIS機能を有している場合に、OISを行う際に、画像取得デバイス900が、2つのカメラによってそれぞれ取得された2つの画像における同一の撮影対象物の間の距離を補正し、そのようにして、画像取得デバイスが対象物の比較的正確な奥行きを最終的に取得することが分かる。これにより、カメラの合焦精度が向上する。
【０１２３】
可能な実施態様では、プロセッサ903による第1の画像と第2の画像との間のオフセット差を決定する特定の方法は、
第1のカメラおよび第2のカメラが振れたことが検出された場合に、第1のレンズの第1のオフセットおよび第2のレンズの第2のオフセットを取得するステップと、
第1の画像のオフセット値と第2の画像のオフセット値との間のオフセット差を取得するために、第1のオフセットに従って第1の画像のオフセット値を決定し、第2のオフセットに従って第2の画像のオフセット値を決定するステップと、
であってもよい。
【０１２４】
別の可能な実施態様では、受信器904は、目標撮影対象物に合焦するための命令を受信するように構成される。
【０１２５】
プロセッサ903は、合焦命令に応答して、第1のレンズの奥行きに対応する第1の移動距離を取得し、第2のレンズの奥行きに対応する第2の移動距離を取得するようにさらに構成される。
【０１２６】
プロセッサ903は、第1の移動距離に従って第1のレンズの焦点位置を決定し、第2の移動距離に従って第2のレンズの焦点位置を決定するようにさらに構成される。
【０１２７】
プロセッサ903は、それぞれの焦点位置に移動させるために、第1のレンズおよび第2のレンズを制御するようにさらに構成される。
【０１２８】
本発明のこの実施形態では、画像取得デバイス900は、目標撮影対象物の奥行き情報を取得した後に、目標撮影対象物に合焦する必要がある場合には、レンズを移動させる必要があって奥行きに対応する距離を取得し、各移動距離に従ってレンズの焦点位置を決定し、それからレンズをそれぞれの焦点位置に移動させることができる。これにより、目標撮影対象物に正確かつ迅速に合焦することができる。
【０１２９】
図9に示す画像取得デバイスでは、画像取得デバイスは、第1のカメラ、第2のカメラ、プロセッサ、および受信器を含むことができることが分かる。第1のカメラおよび第2のカメラが振れたことが検出されると、第1のカメラおよび第2のカメラは、目標撮影対象物の第1の画像および第2の画像をそれぞれ撮影することができる。プロセッサは、第1の画像と第2の画像とを取得し、2つの画像における目標撮影対象物の間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を用いて初期距離を補正し、最終的に、補正された初期距離を奥行き算出公式に代入して、目標撮影対象物の奥行きを決定することができる。本発明のこの実施形態によれば、2つのカメラが共にOIS機能を有していてもよいし、いずれかのカメラがOIS機能を有していてもよく、画像取得デバイスは、2つのカメラによって取得された画像内の同一の撮影対象物の間の距離を補正して、補正された距離に従って最終的に得られる奥行き情報が比較的正確になるようにすることができる。これにより、撮影対象物に正確かつ迅速に合焦することができる。
【０１３０】
上記の実施形態では、各実施形態の説明にそれぞれ重点を置いていることに留意されたい。一実施形態において詳細に記載されていない部分については、他の実施形態における関連する説明を参照することができる。加えて、当業者であれば、明細書に記載されたすべての実施形態は例示的な実施形態であり、関連する動作およびモジュールは必ずしも本発明に必須ではないことを理解されたい。
【０１３１】
本発明の実施形態における方法のステップのシーケンスは調整されてもよいし、実際の要件に従ってステップが組み合わせられてもよいし、除去されてもよい。
【０１３２】
本発明の実施形態における奥行き情報取得装置の各ユニットについては、実際の要求に従って、組み合わせ、分割、除去を行ってもよい。
【０１３３】
本発明の実施形態の各ユニットは、中央処理装置（Central Processing Unit、CPU）などの汎用集積回路、または特定用途向け集積回路（Application Specific Integrated Circuit、ASIC）を用いて実現することができる。
【０１３４】
当業者であれば、実施形態の方法のプロセスのすべてまたは一部を、関連するハードウェアに指示するコンピュータプログラムによって実施できることを理解することができる。プログラムは、コンピュータ可読記憶媒体に格納することができる。プログラムが実行されると、実施形態の方法の処理が実行される。前述の記憶媒体は、磁気ディスク、光ディスク、読み出し専用メモリ（Read-Only Memory、ROM）、またはランダムアクセスメモリ（Random Access Memory、RAM）であってもよい。
【０１３５】
以上、本発明の実施形態に開示されている奥行き情報取得方法および装置、ならびに画像取得デバイスについて詳細に説明した。本明細書では、特定の例を使用して、本発明の原理および実施態様を説明している。実施形態の上記の説明は、本発明および本発明の中心的な思想の理解を助けることを意図したものにすぎない。さらに、当業者であれば、本発明の思想に基づいて、特定の実施態様および応用範囲に関して変更を加えることができる。結論として、本明細書の内容は、本発明の限定として解釈されるべきではない。
【符号の説明】
【０１３６】
700  奥行き情報取得装置
701  取得ユニット
702  検出ユニット
703  第1の決定ユニット
704  補正ユニット
705  第2の決定ユニット
706  受信ユニット
707  制御ユニット
900  画像取得デバイス
901  第1のカメラ
902  第2のカメラ
903  プロセッサ
904  受信器
905  送信器
906  表示画面
907  通信バス
7031  取得サブユニット
7032  決定サブユニット
【図１】
2019510234.tif 000012
【図２】
2019510234.tif 000013
【図３】
2019510234.tif 000014
【図４】
2019510234.tif 000015
【図５】
2019510234.tif 000016
【図６】
2019510234.tif 000017
【図７】
2019510234.tif 000018
【図８】
2019510234.tif 000019
【図９】
2019510234.tif 000020
【手続補正書】
【提出日】平成30年8月21日(2018.8.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像取得デバイスに適用される、奥行き情報取得方法であって、前記画像取得デバイスは、第1のカメラと第2のカメラとを含み、前記方法は、
前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のカメラで撮影された目標撮影対象物の第1の画像および前記第2のカメラで撮影された前記目標撮影対象物の第2の画像を取得するステップであって、前記第1のカメラおよび前記第2のカメラは同時に画像取得を行う、ステップと、
前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の初期距離を検出し、前記第1の画像と前記第2の画像との間のオフセット差を決定するステップと、
前記オフセット差を用いて前記初期距離を補正するステップと、
補正された前記初期距離に従って、前記目標撮影対象物の奥行きを決定するステップと、
を含む、方法。
【請求項２】
前記第1のカメラは第1のレンズを含み、前記第2のカメラは第2のレンズを含み、前記第1の画像と前記第2の画像との間のオフセット差を決定する前記ステップは、
前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のレンズの第1のオフセットおよび前記第2のレンズの第2のオフセットを取得するステップと、
前記第1の画像のオフセット値と前記第2の画像のオフセット値との間のオフセット差を取得するために、前記第1のオフセットに従って前記第1の画像の前記オフセット値を決定し、前記第2のオフセットに従って前記第2の画像の前記オフセット値を決定するステップと、
を含む、請求項1に記載の方法。
【請求項３】
前記初期距離は、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の相対距離であり、前記オフセット差は、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間の相対差である、請求項1または2に記載の方法。
【請求項４】
補正された前記初期距離に従って、前記目標撮影対象物の奥行きを決定する前記ステップの後に、前記方法は、
前記目標撮影対象物に合焦するための合焦命令を受信するステップと、
前記合焦命令に応答して、前記第1のレンズの、前記奥行きに対応する第1の移動距離を取得し、前記第2のレンズの、前記奥行きに対応する第2の移動距離を取得するステップと、
前記第1の移動距離に従って前記第1のレンズの焦点位置を決定し、前記第2の移動距離に従って前記第2のレンズの焦点位置を決定するステップと、
それぞれの焦点位置に移動させるように前記第1のレンズおよび前記第2のレンズを制御するステップと、
をさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
画像取得デバイスに適用される、奥行き情報取得装置であって、前記画像取得デバイスは、第1のカメラと第2のカメラとを含み、前記装置は、
前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のカメラで撮影された目標撮影対象物の第1の画像および前記第2のカメラで撮影された前記目標撮影対象物の第2の画像を取得するように構成された取得ユニットであって、前記第1のカメラおよび前記第2のカメラは同時に画像取得を行う、取得ユニットと、
前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の初期距離を検出するように構成された検出ユニットと、
前記第1の画像と前記第2の画像との間のオフセット差を決定するように構成された第1の決定ユニットと、
前記オフセット差を用いて前記初期距離を補正するように構成された補正ユニットと、
補正された前記初期距離に従って前記目標撮影対象物の奥行きを決定するように構成された第2の決定ユニットと、
を含む、装置。
【請求項６】
前記第1のカメラは第1のレンズを含み、前記第2のカメラは第2のレンズを含み、前記第1の決定ユニットは、取得サブユニットと決定サブユニットとを含み、
前記取得サブユニットは、前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のレンズの第1のオフセットおよび前記第2のレンズの第2のオフセットを取得するように構成され、
前記決定サブユニットは、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間のオフセット差を取得するために、前記第1のオフセットに従って前記第1の画像の前記オフセット値を決定し、前記第2のオフセットに従って前記第2の画像の前記オフセット値を決定するように構成される、請求項5に記載の装置。
【請求項７】
前記初期距離は、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の相対距離であり、前記オフセット差は、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間の相対差である、請求項5または6に記載の装置。
【請求項８】
前記目標撮影対象物に合焦するための合焦命令を受信するように構成された受信ユニットであって、
前記取得ユニットは、前記合焦命令に応答して、前記第1のレンズの、前記奥行きに対応する第1の移動距離を取得し、前記第2のレンズの、前記奥行きに対応する第2の移動距離を取得するようにさらに構成され、
前記第2の決定ユニットは、前記第1の移動距離に従って前記第1のレンズの焦点位置を決定し、前記第2の移動距離に従って前記第2のレンズの焦点位置を決定するようにさらに構成される、
受信ユニットと、
それぞれの焦点位置に移動させるように前記第1のレンズおよび前記第2のレンズを制御するように構成された制御ユニットと、
をさらに含む、請求項5から7のいずれか一項に記載の装置。
【請求項９】
画像取得デバイスであって、
第1のカメラと、第2のカメラと、プロセッサと、を含み、
前記第1のカメラは、前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、目標撮影対象物の第1の画像を撮影するように構成され、
前記第2のカメラは、前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記目標撮影対象物の第2の画像を撮影するように構成され、
前記第1のカメラおよび前記第2のカメラは同時に画像取得を行い、
前記プロセッサは、前記第1の画像および前記第2の画像を取得し、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の初期距離を検出するように構成され、
前記プロセッサは、前記第1の画像と前記第2の画像との間のオフセット差を決定し、前記オフセット差を用いて前記初期距離を補正するようにさらに構成され、
前記プロセッサは、補正された前記初期距離に従って前記目標撮影対象物の奥行きを決定するようにさらに構成される、画像取得デバイス。
【請求項１０】
前記第1のカメラは第1のレンズを含み、前記第2のカメラは第2のレンズを含み、前記プロセッサによる前記第1の画像と前記第2の画像との間の前記オフセット差を決定する特定の方法は、
前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のレンズの第1のオフセットおよび前記第2のレンズの第2のオフセットを取得することと、
前記第1の画像のオフセット値と前記第2の画像のオフセット値との間のオフセット差を取得するために、前記第1のオフセットに従って前記第1の画像の前記オフセット値を決定し、前記第2のオフセットに従って前記第2の画像の前記オフセット値を決定することと、
を含む、請求項9に記載の画像取得デバイス。
【請求項１１】
前記初期距離は、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の相対距離であり、前記オフセット差は、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間の相対差である、請求項9または10に記載の画像取得デバイス。
【請求項１２】
前記目標撮影対象物に合焦するための合焦命令を受信するように構成された受信器
をさらに含み、
前記プロセッサは、前記合焦命令に応答して、前記第1のレンズの、前記奥行きに対応する第1の移動距離を取得し、前記第2のレンズの、前記奥行きに対応する第2の移動距離を取得するようにさらに構成され、
前記プロセッサは、前記第1の移動距離に従って前記第1のレンズの焦点位置を決定し、前記第2の移動距離に従って前記第2のレンズの焦点位置を決定するようにさらに構成され、
前記プロセッサは、それぞれの焦点位置に移動させるように前記第1のレンズおよび前記第2のレンズを制御するようにさらに構成される、請求項9から11のいずれか一項に記載の画像取得デバイス。
【国際調査報告】
2019510234.tif 000021
2019510234.tif 000022
2019510234.tif 000023
2019510234.tif 000024