(57)【要約】  オートフォーカスフィードバックを使用して立体視画像センサーペアのステレオヨーを補正するためのシステムおよび方法が開示される。画像センサーペアの各センサーによってキャプチャされた画像間の物体のディスパリティから画像中の物体のステレオ深度が推定される。オートフォーカスレンズ位置から、物体までのオートフォーカス深度が見つけられる。ステレオ深度とオートフォーカス深度との間の差が非０である場合、ステレオ深度と物体までのオートフォーカス深度とが実質的に同じになるまで、画像のうちの１つがワープされ、ディスパリティが再計算される。【選択図】      図３
2016533105.tif 000002
【特許請求の範囲】
【請求項１】
イメージングセンサーのペアの物理的不整合をデジタル的に補正するためのシステムであって、
第１のイメージングセンサーと第２のイメージングセンサーとを備えるイメージングデバイスと、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の第１の深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の第２の深度を推定することと、
前記第１の深度と前記第２の深度とを比較することと、
前記第１の深度と前記第２の深度との間の差に基づいて、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の前記不整合を推定し、補正することと
を行うように構成された制御モジュールと
を備える、システム。
【請求項２】
前記制御モジュールが、前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するようにさらに構成された、請求項１に記載のシステム。
【請求項３】
前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記第１の深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することによって立体視深度推定値を決定することを備える、請求項１に記載のシステム。
【請求項４】
前記制御モジュールは、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するようにさらに構成された、請求項１に記載のシステム。
【請求項５】
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記第２の深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置からオートフォーカス深度を推定することとを備える、請求項１に記載のシステム。
【請求項６】
前記制御モジュールは、前記第１の深度と前記第２の深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワープするようにさらに構成された、請求項１に記載のシステム。
【請求項７】
オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正するための方法であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することと
を備える、方法。
【請求項８】
前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、請求項７に記載の方法。
【請求項９】
前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、請求項７に記載の方法。
【請求項１０】
前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、請求項７に記載の方法。
【請求項１１】
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、請求項７に記載の方法。
【請求項１２】
前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、請求項７に記載の方法。
【請求項１３】
オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正するための方法であって、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記オートフォーカス深度と前記立体視深度との間の差を使用して前記イメージングデバイスのオートフォーカスレンズ位置を補正することと
を備える、方法。
【請求項１４】
前記物体の立体視深度を推定することが、前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することをさらに備える、請求項１３に記載の方法。
【請求項１５】
オートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することをさらに備える、請求項１３に記載の方法。
【請求項１６】
前記オートフォーカスレンズ位置を設定することが、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することをさらに備える、請求項１５に記載の方法。
【請求項１７】
前記イメージングデバイスのオートフォーカスレンズ位置を補正することは、前記オートフォーカス深度と前記立体視深度との間の前記差が０でない場合、前記オートフォーカスレンズ位置の距離推定値を補正することをさらに備える、請求項１３に記載の方法。
【請求項１８】
オートフォーカスフィードバックを使用して、イメージングデバイスのオートフォーカスレンズ位置を補正し、イメージングセンサーのペアの物理的不整合を補正するための装置であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャするための手段と、
前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することによって、前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定するための手段と、
高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することによって前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定するための手段と、
前記立体視深度と前記オートフォーカス深度とを比較するための手段と、
前記オートフォーカス深度と前記立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することによって、前記オートフォーカス深度と前記立体視深度との間の前記差を使用して前記イメージングデバイスの前記オートフォーカスレンズ位置を補正するための手段と
を備える、装置。
【請求項１９】
前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するための手段をさらに備える、請求項１８に記載の装置。
【請求項２０】
前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するための手段をさらに備える、請求項１８に記載の装置。
【請求項２１】
前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングするための手段をさらに備える、請求項１８に記載の装置。
【請求項２２】
前記立体視深度と前記オートフォーカス深度との間の前記差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正するための手段をさらに備える、請求項１８に記載の装置。
【請求項２３】
実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正する方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法が、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することと
を備える、非一時的コンピュータ可読媒体。
【請求項２４】
前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２５】
前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２６】
前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２８】
前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本実施形態は、イメージングデバイスに関し、詳細には、立体視（stereoscopic）画像センサーの不整合を補正するためのシステム、方法、および装置に関する。
【背景技術】
【０００２】
[0002]デジタルイメージング能力は、現在、デジタルカメラおよびモバイルフォンを含む、広範囲のデバイスに組み込まれている。そのようなデバイスは、立体視「３Ｄ」画像をキャプチャするための機能を含み得る。デバイス製造業者は、単一または複数のデジタルイメージングセンサーを利用して立体視画像をキャプチャすることをサポートするためにデジタル画像処理を組み込んだデバイスを導入することによって消費者に応えてきた。モバイルワイヤレス通信デバイス、携帯情報端末（ＰＤＡ）、パーソナル音楽システム、デジタルカメラ、デジタル記録デバイス、ビデオ会議システムなどを含む、広範囲の電子デバイスは、それらのユーザに様々な能力および特徴を提供するために立体視イメージング能力を利用し得る。これらは、３Ｄ写真およびビデオなどの立体視イメージングアプリケーションを含む。
【０００３】
[0003]立体視データ再生を閲覧者にとって快適にするために、イメージングセンサーが完全に整合されたまたはほぼ整合された、デジタルシステムを提供することが望ましい。これは、そのような画像を閲覧することに伴う眼精疲労および他の問題を低減する立体視画像を提供するために、各イメージングセンサーによってキャプチャされた個々の画像がより完全に整合されることを可能にする。しかしながら、立体視画像ペアのこの「完全な」画像整合は、重力、熱、機械的アセンブリ、および使用中の損傷により時間とともにドリフトし得る。これらのセンサー整合不完全は、存在するとき、特に補正されない限り、閲覧者に視覚不快感をもたらし得る非整合画像のキャプチャにつながり得る。ある場合には、ヨー（yaw）におけるドリフトが深度測定誤差を生じる。他の場合には、オートフォーカス精度が経年的にドリフトし始める。どちらの場合も、正確な深度測定値と改善された立体視画像品質とを与えるために不整合の補正が望まれる。
【発明の概要】
【０００４】
[0004]本開示のシステム、方法およびデバイスは、それぞれいくつかの発明的態様を有し、それらのうちの単一の態様が、本明細書で開示する望ましい属性を単独で担当するとは限らない。本明細書で説明する革新、態様および特徴の組合せは、システム、方法、およびデバイスの様々な実施形態に組み込まれ得、そのような組合せは、本明細書で説明する実施形態の例によって制限されない。
【０００５】
[0005]実施形態のいくつかは、立体視画像センサーのペアを備えるイメージングデバイスと制御モジュールとを含む、立体視画像センサーペアのヨー補正を実行するためのシステムを含み得る。制御モジュールは、センサーペアを用いて物体の１つまたは複数の画像をキャプチャすることと、１つまたは複数の画像から物体のディスパリティ（disparity）を決定することと、１つまたは複数の画像から物体の立体視深度を推定することと、立体視画像センサーペアのオートフォーカスレンズ位置を設定することと、高周波オートフォーカス位置を決定するために物体に関してオートフォーカス機能を実行することと、高周波オートフォーカス位置からオートフォーカス深度を推定することと、オートフォーカス深度と立体視深度との間の差を使用してヨー角補正を推定し、補正することとを行うように構成され得る。
【０００６】
[0006]いくつかの実施形態は、オートフォーカスフィードバックを使用する立体視画像センサーペアのヨー補正のための方法を含み得る。一態様では、本方法は、立体視画像センサーペアを与えるステップと、センサーペアを用いて物体の１つまたは複数の画像をキャプチャするステップとを含み得る。本方法は、１つまたは複数の画像から物体のディスパリティを決定することと、１つまたは複数の画像から物体の立体視深度を推定することと、立体視画像センサーペアのオートフォーカスレンズ位置を設定することと、高周波オートフォーカス位置を決定するために物体に関してオートフォーカス機能を実行することと、高周波オートフォーカス位置からオートフォーカス深度を推定することと、オートフォーカス深度と立体視深度との間の差を使用してヨー角補正を推定し、補正することとをさらに含む。
【０００７】
[0007]別の実施形態では、オートフォーカスフィードバックを使用する立体視画像センサーペアのオートフォーカスレンズ位置補正のための方法は、立体視画像センサーペアを与えるステップと、センサーペアを用いて物体の１つまたは複数の画像をキャプチャするステップと、１つまたは複数の画像から物体のディスパリティを決定するステップと、１つまたは複数の画像から物体の立体視深度を推定するステップと、立体視画像センサーペアのオートフォーカスレンズ位置を設定するステップと、高周波オートフォーカス位置を決定するために物体に関してオートフォーカス機能を実行するステップと、高周波オートフォーカス位置からオートフォーカス深度を推定するステップと、オートフォーカス深度と立体視深度との間の差を使用してオートフォーカスレンズ位置を補正するステップとを含み得る。
【０００８】
[0008]一態様は、第１のイメージングセンサーと第２のイメージングセンサーとを備えるイメージングデバイスと制御モジュールとを含む、イメージングセンサーのペアの物理的不整合をデジタル的に補正するためのシステムに関する。制御モジュールは、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャすることと、第１の画像データと第２の画像データとを使用して物体の第１の深度を推定することと、イメージングデバイスのオートフォーカスレンズ位置から物体の第２の深度を推定することと、第１の深度と第２の深度とを比較することと、第１の深度と第２の深度との間の差を使用して、第１のイメージングセンサーと第２のイメージングセンサーとの間の不整合を推定し、補正することとを行うように構成され得る。制御モジュールは、第１の画像データと第２の画像データとを比較することによって物体のディスパリティを決定するようにさらに構成され得る。いくつかの態様では、第１の画像データと第２の画像デートとを使用して物体の第１の深度を推定することは、第１の画像データと第２の画像データの両方中にある物体のキーポイントを比較することによって立体視深度推定値を決定することを含む。いくつかの態様では、制御モジュールは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、イメージングデバイスが物体に合焦している間にオートフォーカス機能を実行するようにさらに構成され得る。いくつかの態様では、イメージングデバイスのオートフォーカスレンズ位置から物体の第２の深度を推定することは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を設定するために、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することと、オートフォーカスレンズ位置からオートフォーカス深度を推定することとを含む。いくつかの態様では、制御モジュールは、第１の深度と第２の深度との間の差が０でない場合、物体のディスパリティを低減するために第１の画像データおよび第２の画像データのうちの１つをワープ（warp）するようにさらに構成され得る。
【０００９】
[0009]別の態様では、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正するための方法は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするステップと、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするステップと、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するステップと、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するステップと、立体視深度とオートフォーカス深度とを比較するステップと、立体視深度とオートフォーカス深度との間の差を使用して、第１のイメージングセンサーと第２のイメージングセンサーとの間の不整合を推定し、補正するステップとを含む。いくつかの態様では、本方法は、第１の画像データと第２の画像データとを比較することによって物体のディスパリティを決定することをさらに含む。いくつかの態様では、第１の画像データと第２の画像デートとを使用して物体の立体視深度を推定することは、第１の画像データと第２の画像データの両方中にある物体のキーポイントを比較することを含む。いくつかの態様では、本方法は、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、イメージングデバイスが物体に合焦している間にオートフォーカス機能を実行することをさらに含む。いくつかの態様では、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定することは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を設定するために、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することと、オートフォーカスレンズ位置からオートフォーカス深度を推定することとを含む。いくつかの態様では、本方法は、立体視深度とオートフォーカス深度との間の差が０でない場合、物体のディスパリティを低減するために第１の画像データおよび第２の画像データのうちの１つをワーピング（warping）することをさらに含む。
【００１０】
[0010]また別の態様では、オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正するための方法は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするステップと、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするステップと、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するステップと、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するステップと、立体視深度とオートフォーカス深度とを比較するステップと、オートフォーカス深度と立体視深度との間の差を使用してイメージングデバイスのオートフォーカスレンズ位置を補正するステップとを含む。いくつかの態様では、物体の立体視深度を推定することは、第１の画像データおよび第２の画像データから物体のディスパリティを決定することをさらに含む。いくつかの態様では、オートフォーカスレンズ位置から物体のオートフォーカス深度を推定することは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、物体に関してオートフォーカス機能を実行することをさらに含む。いくつかの態様では、オートフォーカスレンズ位置を設定することは、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することをさらに含む。いくつかの態様では、イメージングデバイスのオートフォーカスレンズ位置を補正することは、オートフォーカス深度と立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することをさらに含む。
【００１１】
[0011]いくつかの態様では、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正するための装置は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするための手段と、第１の画像データと第２の画像データの両方中にある物体のキーポイントを比較することによって、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するための手段と、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を設定するために、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することと、オートフォーカスレンズ位置からオートフォーカス深度を推定することとによって、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するための手段と、立体視深度とオートフォーカス深度とを比較するための手段と、立体視深度とオートフォーカス深度との間の差を使用して、第１のイメージングセンサーと第２のイメージングセンサーとの間の不整合を推定し、補正するための手段とを含む。
【００１２】
[0012]別の態様では、オートフォーカスフィードバックを使用して、イメージングデバイスのオートフォーカスレンズ位置を補正し、イメージングセンサーのペアの物理的不整合を補正するための装置は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするための手段と、第１の画像データおよび第２の画像データから物体のディスパリティを決定することによって、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するための手段と、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、物体に関してオートフォーカス機能を実行することによってイメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するための手段と、立体視深度とオートフォーカス深度とを比較するための手段と、オートフォーカス深度と立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することによって、オートフォーカス深度と立体視深度との間の差を使用してイメージングデバイスのオートフォーカスレンズ位置を補正するための手段とを含む。いくつかの態様では、本装置は、第１の画像データと第２の画像データとを比較することによって物体のディスパリティを決定するための手段をさらに含む。いくつかの態様では、本装置は、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、イメージングデバイスが物体に合焦している間にオートフォーカス機能を実行するための手段をさらに含む。いくつかの態様では、本装置は、立体視深度とオートフォーカス深度との間の差が０でない場合、物体のディスパリティを低減するために第１の画像データおよび第２の画像データのうちの１つをワーピングするための手段をさらに含む。いくつかの態様では、本装置は、立体視深度とオートフォーカス深度との間の差を使用して、第１のイメージングセンサーと第２のイメージングセンサーとの間の不整合を推定し、補正するための手段をさらに含む。
【００１３】
[0013]また別の態様では、非一時的コンピュータ可読媒体は、実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正する方法を実行させる命令を記憶する。本方法は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするステップと、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするステップと、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するステップと、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するステップと、立体視深度とオートフォーカス深度とを比較するステップと、立体視深度とオートフォーカス深度との間の差を使用して、第１のイメージングセンサーと第２のイメージングセンサーとの間の不整合を推定し、補正するステップとを含む。いくつかの態様では、本方法は、第１の画像データと第２の画像データとを比較することによって物体のディスパリティを決定することをさらに含む。いくつかの態様では、第１の画像データと第２の画像デートとを使用して物体の立体視深度を推定することは、第１の画像データと第２の画像データの両方中にある物体のキーポイントを比較することを含む。ある態様では、本方法は、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、イメージングデバイスが物体に合焦している間にオートフォーカス機能を実行することをさらに含む。いくつかの態様では、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定することは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を設定するために、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することと、オートフォーカスレンズ位置からオートフォーカス深度を推定することとを含む。いくつかの態様では、本方法は、立体視深度とオートフォーカス深度との間の差が０でない場合、物体のディスパリティを低減するために第１の画像データおよび第２の画像データのうちの１つをワーピングすることをさらに含む。
【００１４】
[0014]また別の態様では、非一時的コンピュータ可読媒体は、実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正する方法を実行させる命令を記憶する。本方法は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするステップと、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするステップと、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するステップと、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するステップと、立体視深度とオートフォーカス深度とを比較するステップと、オートフォーカス深度と立体視深度との間の差を使用してイメージングデバイスのオートフォーカスレンズ位置を補正するステップとを含む。いくつかの態様では、物体の立体視深度を推定することは、第１の画像データおよび第２の画像データから物体のディスパリティを決定することをさらに含む。いくつかの態様では、オートフォーカスレンズ位置から物体のオートフォーカス深度を推定することは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、物体に関してオートフォーカス機能を実行することをさらに含む。いくつかの態様では、オートフォーカスレンズ位置を設定することは、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することをさらに含む。いくつかの態様では、イメージングデバイスのオートフォーカスレンズ位置を補正することは、オートフォーカス深度と立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することをさらに含む。
【００１５】
[0015]開示する態様について、開示する態様を限定するためにではなく、例示するために与える、添付の図面とともに以下で説明し、同様の表示は同様の要素を示す。
【図面の簡単な説明】
【００１６】
【図１Ａ】[0016]立体視イメージングシステムおよび装置の概略図。
【図１Ｂ】[0017]イメージングデバイスの一部として取り付けられたイメージングセンサーペアの概略図。
【図１Ｃ】[0018]１つのイメージングセンサーがヨー軸の周りを角度Ａだけそのように回転した、イメージングセンサーペアの概略図。
【図２】[0019]イメージングセンサーのヨー不整合のデジタル補正のいくつかの動作可能な要素を実装するシステムを示すブロック図。
【図３】[0020]一実施形態による、イメージングセンサーのヨー不整合を補正するためのプロセスの高レベル概観を示すフローチャート。
【図４】[0021]固定深度において立体視イメージングセンサーによって閲覧された平面物体についてのヨーによるディスパリティドリフトのグラフ。
【図５】[0022]ヨー方向において不整合な立体視イメージングセンサーを用いて閲覧された矩形の水平および垂直方向ディスパリティを示す図。
【図６】[0023]ヨー不整合を有するイメージングセンサーについてのオートフォーカス深度位置と立体視深度位置との間の差をグラフによって示す図。
【図７】[0024]別の実施形態による、立体視イメージングセンサーのオートフォーカスレンズ位置を補正するためのプロセスの高レベル概観を示すフローチャート。
【発明を実施するための形態】
【００１７】
[0025]いくつかの視覚実験は、最小の不快感または負担とともに（本明細書では「ステレオ画像」、「立体視画像」または「立体視画像ペア」と呼ぶことがある）立体視像に基づく３次元（３Ｄ）プレゼンテーションを見るために、ステレオ画像をキャプチャするために使用される「左」デジタルセンサーと「右」デジタルセンサーとが互いと適切に整合されるべきであることを示している。たとえば、２つのデジタルセンサーの光（または検知）軸は、平行または実質的に平行であるように光学的に整合され得、たとえば、それらは、キャプチャされた画像のデジタル編集によってより容易に補正される、知られているまたは容易に決定される水平または垂直方向シフトだけ異なるにすぎない。画像の望ましい立体視効果および可溶性のために、立体視センサーペア中のイメージングセンサー間の水平距離は、いくつかの例では、約３．２５ｃｍである。さらに、好ましくは、ペア中のセンサー間に比較的小さい水平または垂直方向シフトのみがある。しかしながら、実際には、整合された平行イメージングセンサーを取得することは、機械的取付制限、整合測定デバイス、重力および／またはセンサーへの熱影響により、しばしば達成不可能である。したがって、本明細書で説明するいくつかの実施形態は、ヨー方向におけるセンサードリフトに主に起因する立体視イメージングセンサーの深度測定誤差を補正するためのシステムおよび方法を提供する。
【００１８】
[0026]デジタル画像処理を通した立体視画像の較正は、画像のペアがキャプチャされた後にそれらを整合させることを必要とし得る。いくつかの方法は、整合された画像を生成するために立体視画像ペアをデジタル的に処理し得る。立体視画像を整合させることは、たとえば、立体視画像ペアの画像間の水平（ｘ軸）または垂直（ｙ軸）方向シフトを補正するために一方または両方の画像をクロップすることを含み得る。立体視画像ペアの２つの画像は「ｚ」軸の周りで不整合されることもあり、これは、一方のイメージングセンサーが他方のイメージングセンサーよりも画像化されているシーンにわずかに近いときに起こる。クロッピングは、ｘ、ｙ、またはｚ軸の周りの画像の回転による不整合を補正するためにも必要とされ得る。最後に、クロッピングは、立体視画像ペア中の２つの画像の収束ポイントを調整するためにも必要とされ得る。
【００１９】
[0027]上記で説明した２次元ｘ、ｙおよびｚオフセットに加えて、イメージングセンサーのペアの相対位置はまた、角運動の３つの軸とシフトの３つの軸とを測定することによって表され得る。本開示では、ｘ、ｙ、およびｚ軸上の位置は相対シフトを表す。角回転は、「ピッチ」とも呼ばれる水平（ｘ）軸の周りの回転と、「ロール」として知られる垂直（ｙ）軸の周りの回転と、（ｚ）軸の周りの回転または「ヨー」とによって表され得る。
【００２０】
[0028]立体視カメラのいくつかの構成は、一方のセンサーが低解像度画像センサーであり、他方のセンサーが高解像度画像センサーである、非対称センサーを有し得る。製造中に、センサーは、センサー画像が平行になるように較正される。しかしながら、高品質オートフォーカスシステムをもつカメラなど、いくつかの構成では、カメラレンズ位置は、重力、熱、機械的アセンブリ問題、または損傷により緩やかにドリフトする。特にヨー位置におけるレンズ位置ドリフトは深度測定誤差を生じることがある。いくつかの構成では、２つのイメージングセンサー間のヨー角差の推定が、深度測定値を補正するために使用され得る。
【００２１】
[0029]低品質オートフォーカスシステムをもつカメラなど、他の構成では、オートフォーカス精度は、構成要素の損傷、または構成要素を形成するために使用された経年変化材料により、時間とともにドリフトすることがある。いくつかの構成では、ステレオイメージングセンサーを使用して推定されたシーン中の物体の距離または深度測定値は、デバイス中のオートフォーカスシステムを使用することによって決定されたオートフォーカス深度推定値よりも良好である。したがって、いくつかの構成では、ステレオイメージングセンサーを使用して推定された深度が、オートフォーカスレンズ位置を補正するために使用され得る。深度誤差測定値を補正し、イメージングセンサーのオートフォーカスレンズ位置を調整するために、特殊チャートまたはターゲットは必要とされないことがある。多くの場合、補正を実行するためにユーザ入力は必要とされない。さらに、いくつかの実施形態では、キーポイント検出およびマッチングなど、ステレオ画像の画像処理は必要とされないことがある。さらに、オートフォーカス探索空間は概して小さく、ヨードリフトは概して小さいので、以下で説明するプロセスは、高速であり、リアルタイムで動作する。
システム概観
[0030]図１Ａに、イメージングデバイス１５０によって実行される深度誤差測定値を補正するために使用され得るシステム１００の一実施形態の概略図を示す。図示されたシステム１００は、２つのイメージングセンサー１０５および１１０を含むイメージングデバイス１５０を含む。２つのイメージンセンサー１１０および１０５は、本明細書ではセンサーの「ペア」、または「左」および「右」センサーと呼ぶことがある。イメージングセンサー１０５および１１０は、光をキャプチャし、その光を電気信号に変換することができる任意のタイプのセンサーであり得る。いくつかの構成では、イメージングセンサー１０５および１１０は電荷結合デバイス（ＣＣＤ：charge-coupled device）またはＣＭＯＳセンサーであり得る。図示の実施形態では、イメージングセンサー１０５および１１０は、それらが物体（またはシーン）の立体視画像をキャプチャすることができるように、イメージングデバイス１５０上に互いに隣接して取り付けられている。イメージングセンサー１１０および１０５は、同じ解像度または異なる解像度の画像をキャプチャするように構成され得る。
【００２２】
[0031]図１Ａは、イメージングデバイス１５０に結合され、イメージングデバイス１５０とデータ通信している、画像解析システム１１５をも示している。画像解析システム１１５の一例について図２に関してさらに説明する。いくつかの実装形態では、画像解析システム１１５は、イメージングデバイス１５０とともに格納され得るが、他の実装形態では、イメージングデバイス１５０と画像解析システム１１５とは別々に格納される。たとえば、画像解析システム１１５は、イメージングデバイス１５０に組み込まれ得るか、または別個のシステムであり得る。画像解析システム１１５は、イメージングデバイス１５０上に取り付けられたイメージングセンサー１０５および１１０の相対位置を決定することと、画像補正情報、たとえば、深度測定誤差補正ならびにヨーによるイメージングセンサー１０５および１１０のディスパリティドリフトによって引き起こされた水平および垂直方向ディスパリティの補正を決定しおよび／または与えることとを行うように構成され、動作可能であり得る。いくつかの実施形態では、画像解析システムは、画像解析システムとイメージングデバイスとの間で情報を通信するためにイメージングデバイスに結合される。結合は、たとえば、ワイヤードまたはワイヤレス接続を介して行われ得る。
【００２３】
[0032]図１Ｂおよび図１Ｃに、イメージングデバイス１５０の一部として取り付けられたイメージングセンサー１０５および１１０を示す。図１Ｂは、ヨー軸の周りのセンサー１０５のヨー角回転を示している。図１Ｃは、（角度Ａによって示されるように）ヨー角ドリフトを受けており、したがってイメージングセンサー１１０とはわずかに異なる方向を向いた、イメージングセンサー１０５を示している。角度Ａは、イメージングセンサー１１０とイメージングセンサー１０５との間のヨー角ディスパリティを示している。図１Ｂおよび図１Ｃは、隣り合わせに配置されたイメージングセンサー１０５および１１０のセットを示している。しかしながら、イメージングセンサー１０５および１１０は、左右、上下、または斜めを含む、任意の向きにあり得る。さらに、一方のイメージングセンサー１０５は、角度Ａによって示されるようにイメージングセンサー１１０からのヨーディスパリティを有することが示されている。他の実施形態では、イメージングセンサー１１０がイメージングセンサー１０５からのヨーディスパリティを有し得る。
【００２４】
[0033]図２に、イメージングセンサー１０５および１１０と通信しているプロセッサ１２２を含む構成要素のセットを有する画像解析システム１１５の一実施形態のブロック図を示す。画像解析システム１１５は、たとえば、図示された構成要素の明快のために図２に示されていない追加の構成要素を含み得る。画像解析システム１１５はまた、プロセッサ１２２と同じく通信しているワーキングメモリ１３０と、ストレージ１３５と、電子ディスプレイ１２５と、メモリ１２０とを含む。
【００２５】
[0034]画像解析システム１１５は、デスクトップパーソナルコンピュータなどの固定デバイスであり得、またはそれはモバイルデバイスであり得る。画像解析システム１１５上で、複数のアプリケーションがユーザにとって利用可能であり得る。これらのアプリケーションは、旧来の写真アプリケーション、高ダイナミックレンジイメージング、パノラマビデオ、あるいは３Ｄ画像または３Ｄビデオなどの立体視イメージングを含み得る。
【００２６】
[0035]プロセッサ１２２は、汎用処理ユニット、またはイメージングアプリケーションのために特別に設計されたプロセッサであり得る。図示のように、プロセッサ１２２はメモリ１２０とワーキングメモリ１３０とに接続される。図示の実施形態では、メモリ１２０は、画像キャプチャ制御モジュール１４０と、ステレオ深度計算モジュール１４５と、オートフォーカス制御モジュール１５５と、オートフォーカス深度計算モジュール１６０と、ヨー角補正モジュール１６２と、オペレーティングシステム１６５と、ユーザインターフェースモジュール１７０とを含む、いくつかのモジュールを記憶する。これらのモジュールは、様々な画像処理タスクとデバイス管理タスクとを実行するようにプロセッサ１２２を構成する命令を含み得る。ワーキングメモリ１３０は、メモリ１２０のモジュール中に含まれているプロセッサ命令のワーキングセットを記憶するためにプロセッサ１２２によって使用され得る。代替的に、ワーキングメモリ１３０はまた、画像解析システム１１５の動作中に作成された動的データを記憶するためにプロセッサ１２２によって使用され得る。
【００２７】
[0036]まだ図２を参照すると、上述のように、プロセッサ１２２は、メモリ１２０に記憶されたいくつかのモジュールによって構成され得る。画像キャプチャ制御モジュール１４０は、シーンの画像をキャプチャするためにイメージングセンサー１０５および１１０を制御するようにプロセッサ１２２を構成する命令を含み得る。したがって、画像キャプチャ制御モジュール１４０、イメージングセンサー１０５または１１０、およびワーキングメモリ１３０とともに、プロセッサ１２２は、立体視画像センサーのペアを用いて物体の１つまたは複数の画像をキャプチャするための１つの手段を表す。ステレオ深度計算モジュール１４５は、物体のキャプチャされた画像のうちの２つまたはそれ以上内の物体のディスパリティを決定することと、画像センサー１０５、１１０のペアによって収集された画像データから幾何学的に決定されるセンサーからの物体の距離として定義される、物体のステレオまたは立体視深度を推定することとを行うようにプロセッサ１２２を構成する命令を与える。したがって、ステレオ深度計算モジュール１４５およびワーキングメモリ１３０とともに、プロセッサ１２２は、立体視画像センサーペア１０５および１１０によって収集された１つまたは複数の画像から物体の立体視深度を推定するための手段の実施形態の一例を表す。
【００２８】
[0037]オートフォーカス制御モジュール１５５は、たとえば、画像シーンの最良高周波マップを探索するために、画像センサー１０５、１１０を使用してオートフォーカス機能を実行するようにプロセッサ１２２を構成する命令を与える。オートフォーカス深度計算モジュール１６０は、オートフォーカスシステムの１つまたは複数の特性、たとえば、オートフォーカス機能を使用して物体に合焦していると決定されたときの画像センサー１０５、１１０の各々の位置に基づいてシーン中の物体の深度を計算するようにプロセス１２２を構成する命令を与える。たとえば、オートフォーカス機能中の画像センサー１０５、１１０のオートフォーカス位置に基づいて、シーン中の物体の等価な「真の（true）」深度または等価な推定深度が決定され得る。オートフォーカス特性は、たとえば、オートフォーカス動作中に測位された、イメージングセンサー１０５、１１０の各々の、またはそれらのうちの１つの、１つまたは複数の構成要素の物理的または光学的位置であり得る。オートフォーカス位置は、たとえば、物体またはシーンの高周波情報（たとえば、雑音）を使用して物体に合焦するようにイメージングセンサー１０５および１１０の位置を決定することに基づき得る。したがって、オートフォーカス制御モジュール１５５、オートフォーカス深度計算モジュール１６０、およびワーキングメモリ１３０とともにプロセッサ１２２は、オートフォーカス特性（たとえば、イメージングセンサーの位置）を決定するために物体に関してオートフォーカス機能を実行し、高周波オートフォーカス位置から物体のオートフォーカス深度を推定するための手段の実施形態の一例を表す。
【００２９】
[0038]ヨー角補正モジュール１６２は、オートフォーカス機能によって測定された深度と、立体視イメージングセンサー１０５および１１０によって収集された立体視画像によって示される物体のディスパリティに基づくシーン中の物体の「深度」との間の差を計算するようにプロセッサ１２２を構成する命令を与える。この差は、立体視イメージングセンサー１０５および１１０のヨー角を推定し、補正するためにヨー角補正モジュール１６２によって使用され得る。したがって、ヨー角補正モジュール１６２およびワーキングメモリ１３０とともに、プロセッサ１２２は、オートフォーカス深度と立体視深度との間の差を使用してヨー角補正を推定し、補正するための手段の実施形態の一例を表す。
【００３０】
[0039]ユーザインターフェースモジュール１７０は、画像解析システム１１５を実行しながらユーザにとってアクセス可能な電子ディスプレイ上に情報を表示するようにプロセッサ１２２を構成する命令を含むことができる。オペレーティングシステムモジュール１６５は、システム１１５のメモリと処理リソースとを管理するようにプロセッサ１２２を構成し得る。たとえば、オペレーティングシステムモジュール１６５は、電子ディスプレイ１２５またはイメージングセンサー１０５および１１０などのハードウェアリソースを管理するためのデバイスドライバを含み得る。いくつかの実施形態では、上記で説明した画像処理モジュール中に含まれている命令は、これらのハードウェアリソースと直接対話しないことがあるが、代わりに、オペレーティングシステム構成要素１６５中にある標準サブルーチンまたはＡＰＩを通して対話し得る。オペレーティングシステム１６５内の命令は、次いで、これらのハードウェア構成要素と直接対話し得る。
【００３１】
[0040]プロセッサ１２２はストレージモジュール１３０にデータを書き込み得る。ストレージモジュール１３０は旧来のディスクドライブとして図式的に表されているが、複数の実施形態は、ディスクベースストレージデバイス、またはメモリディスク、ＵＳＢドライブ、フラッシュドライブ、リモート接続された記憶媒体、仮想ディスクドライバなどを含むいくつかの他のタイプの記憶媒体のうちの１つのいずれかを含み得ることを、当業者は理解されよう。
【００３２】
[0041]図２は、プロセッサと、２つのイメージングセンサーと、電子ディスプレイと、メモリとを含むように別々の構成要素を有するデバイスの例示的な実施形態を示しているが、これらの別々の構成要素は、特定の設計目標を達成するために様々な方法で組み合わせられ得ることを、当業者は認識されよう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し性能を改善するために、プロセッサ構成要素と組み合わせられ得る。
【００３３】
[0042]さらに、図２は、いくつかのモジュールを備えるメモリ構成要素１２０と、ワーキングメモリを備える別個のメモリ１３０とを含む２つのメモリ構成要素を示しているが、異なるメモリアーキテクチャを利用するいくつかの実施形態が様々な実施形態において実装され得ることを、当業者は認識されよう。たとえば、メモリ１２０中に含まれているモジュールを実装するプロセッサ命令の記憶のための設計はＲＯＭまたは静的ＲＡＭメモリを利用し得る。いくつかの実施形態では、プロセッサ命令は、画像解析システム１１５に組み込まれたまたは外部デバイスポートを介して接続された、ディスクストレージデバイスからシステム起動時に読み取られ得る。プロセッサ命令は、次いで、プロセッサによる実行を可能にするためにＲＡＭにロードされ得る。たとえば、ワーキングメモリ１３０はＲＡＭメモリであり得、命令は、プロセッサ１２２による実行の前にワーキングメモリ１３０にロードされる。
方法概観
[0043]本発明の実施形態は、図１Ｂおよび図１Ｃに関して上記で説明したように、立体視イメージングセンサー、たとえば、イメージングセンサー１０５および１１０の不整合による深度測定ディスパリティを補正するための方法に関する。オートフォーカスフィードバックを組み込んだ方法の２つの実施形態について以下で説明する。方法の選択は、電子デバイスのオートフォーカスシステムの品質によって影響を及ぼされ得る。たとえば、高品質オートフォーカスシステムをもつデバイスの場合、イメージングデバイス１５０のレンズ位置は、重力および熱影響、ならびに機械的アセンブリ不正確さおよび使用中の損傷により緩やかにドリフトすることがある。したがって、高品質オートフォーカスシステムを使用してヨー角が推定され得る。別の例では、低品質オートフォーカスシステムをもつデバイスの場合、デバイスのオートフォーカス精度は経年的にドリフトし始めることがある。したがって、ステレオイメージングを使用して推定された深度はオートフォーカス深度推定値よりも良好である可能性があり、したがって、イメージングデバイス１５０のオートフォーカスレンズ位置を補正するためにステレオイメージング深度が使用され得る。
【００３４】
[0044]図３に、図２に示されたいくつかのモジュールにおいて実装され得る、ステレオヨーを補正するためのプロセス３００の一実施形態を示す。様々な実施形態は、図３に示されていない追加の行為、および／または図３に示された行為のうちのいくつかだけを含み得る。プロセス３００は、高品質オートフォーカスシステムを有するデバイスのための立体視画像ペアのヨー角整合を推定し、補正するために、いくつかの実施形態において使用され得る。いくつかの例では、プロセス３００は、プロセッサ、たとえば、プロセッサ１２２（図２）上で、およびメモリ１２０に記憶されたあるいは他のハードウェアまたはソフトウェアに組み込まれた、図２に示された他の構成要素上で実行され得る。プロセス３００は開始ブロック３０２から始まり、ブロック３０４に遷移し、ここにおいて立体視画像センサーペアが与えられる。画像センサーペアは、たとえば、ハンドヘルド通信デバイス、たとえば、セルラーフォンまたは「スマートフォン」、あるいはタブレットコンピュータを含むモバイル個人情報端末（ＰＤＡ）に組み込まれた、カメラ中に与えられ得る。
【００３５】
[0045]プロセス３００は次いでブロック３０６に遷移し、ここにおいて、（図２に示されたイメージングセンサー１０５などの）一方のイメージングセンサーの焦点は固定され、（図２に示されたイメージングセンサー１１０などの）他方のイメージングセンサー焦点は、必要に応じて変動することを可能にされる。しかしながら、他の実施形態では、イメージングセンサー１１０の焦点が固定され得、他方のイメージングセンサー１０５の焦点が必要に応じて変動し得る。イメージングセンサー１０５またはイメージングセンサー１１０のいずれかの焦点は固定または可動であり得る。プロセス３００は次いでブロック３０８に遷移し、ここにおいて、センターフォーカスが使用可能にされたイメージングセンサー１０５、１１０の視野の中心に物体が導入される。プロセス３００は次にブロック３１０に遷移し、ここにおいて、イメージングセンサー１０５、１１０によって収集された画像データから物体のディスパリティが見つけられる。いくつかの実施形態では、ディスパリティは、物体の１つまたは複数のキーポイントを決定することと、イメージングセンサーペアの各センサーによって収集された画像中のキーポイントロケーションをマッチさせることとによって見つけられ得る。キーポイントは、特に一意の特性を呈する、物体の特徴的な領域であり得る。たとえば、特定のパターンまたはエッジを呈する領域がキーポイントとして定義され得る。キーポイントマッチは、第１の画像中で識別された１つのポイントと、第２の画像中で識別された第２のポイントとをもつ、ポイントのペアを含み得る。
【００３６】
[0046]ヨーによるディスパリティドリフトの一例を図４にグラフによって示す。図４のｘ軸は画像センサー１０５および１１０の視野の一部分を示す。図４のｙ軸はヨーディスパリティ角Ａを示す。整合された画像センサー１０５および１１０を用いて平面物体を閲覧するとき、平面物体は、線４１０などの単一の直線のように見えるはずである。言い換えれば、平面物体がカメラに対してまっすぐであり、画像センサー１０５と画像センサー１１０とが整合されている場合、ディスパリティは一定であるはずである。画像センサー１０５と画像センサー１１０との間に何らかのディスパリティ角Ａがある場合、平面物体は、線４０５などの曲線のように見えるはずである。線４０５は、１１度に等しいヨー角による、固定深度における平面物体のディスパリティドリフトを表す。線４１０は、２つのイメージングセンサー間のヨー角差なしでの予想される一定のディスパリティを示す。画像センサー間のディスパリティドリフトは、画像を閲覧するユーザに不快感をもたらすことがある。
【００３７】
[0047]図５に、２つのイメージングセンサー間にヨーディスパリティが存在するときの得られた立体視画像を示す。ヨー角ディスパリティの存在下で、矩形は、水平方向ディスパリティを伸張または圧縮し、コーナーにおいて垂直方向ディスパリティを変更する、不等辺四辺形になる。
【００３８】
[0048]イメージングセンサー１０５、１１０などのイメージングセンサーペアの各センサーによって収集された画像間の物体のディスパリティを決定した後に、プロセス３００はブロック３１２に遷移し、ここにおいて、ディスパリティを使用して物体のステレオ深度が推定される。いくつかの実施形態では、ステレオ深度は以下のように計算され得る。
【００３９】
【数１】
2016533105.tif 000003
【００４０】
上式で、ベースラインは、立体視イメージングセンサーペアの２つのイメージングセンサー間の距離である。
【００４１】
[0049]再び図３を参照すると、物体のステレオ深度を決定した後に、プロセス３００はブロック３１４に遷移し、ここにおいて、プロセッサ１２２は、イメージングセンサー１０５、１１０のオートフォーカスレンズ位置を設定するために、イメージングデバイス１５０のオートフォーカス特徴に動作するように命令する。プロセス３００は次いでブロック３１６に遷移し、ここにおいて、プロセッサ１２２は、たとえば、最大高周波マップを生成する、イメージングセンサー１０５、１１０のうちの１つまたは複数の位置（または設定）を決定するために、オートフォーカス位置を通ってスイープするようにイメージングデバイス１５０に命令する。プロセス３００は次いでブロック３１８に遷移し、ここにおいて、オートフォーカス情報（たとえば、オートフォーカスプロセス中に計算された（１つまたは複数の）統計値）を使用して、オートフォーカス特徴によって計算された物体のオートフォーカス「深度」が見つけられ得る。
【００４２】
[0050]オートフォーカス統計値の一例を図６に示す。図６に示されたグラフのｙ軸によって示される、最高周波数オートフォーカススコアを有する焦点位置は、画像が最もシャープである位置を示す。最高周波数スコアを有するオートフォーカス深度位置を決定するために、オートフォーカス機能は、異なる焦点値にわたってスイープするように指示される。シャープネス検出器を使用して、画像のシャープネスが示され、オートフォーカス統計値は、どんなオートフォーカス位置において画像が最もシャープであるかを示す。高周波スコアの最大数によって示される最良オートフォーカス位置に基づいて、物体の等価な「真の」深度またはオートフォーカス深度（Ｄｅｐｔｈ＿ＡＦ）が見つけられる。
【００４３】
[0051]図３に示されたプロセス３００の次のブロック３２０において、物体のＤｅｐｔｈ＿ＡＦは物体のＤｅｐｔｈ＿ｓｔｅｒｅｏと比較される。２つの深度が等しくない場合、ヨー角ディスパリティが存在し、プロセス３００はブロック３２２に遷移し、ここにおいてヨー角補正が推定される。プロセス３００は次にブロック３２４に遷移し、ここにおいて、イメージングセンサー１０５、１１０のうちの一方のセンサーによって収集された画像が、ヨー角差を補正するために、２つのイメージングセンサー１０５、１１０間の推定ヨー角差に基づいて投影またはワーピングされる。プロセス３００は、オートフォーカス統計値によって計算された物体のＤｅｐｔｈ＿ＡＦと物体のＤｅｐｔｈ＿ｓｔｅｒｅｏとが等しくなるまで、ディスパリティを決定し、物体の深度を推定することによって、ブロック３１０から始めて繰り返す。物体のオートフォーカス深度とステレオ深度とが等しいとき、ヨーディスパリティは補正されており、プロセス３００は、ブロック３２６に遷移し、終了する。
【００４４】
[0052]不十分なまたは低品質オートフォーカスシステムを有するイメージングデバイスのために特に有用であり得る別の実施形態では、オートフォーカス精度は経年的にドリフトすることがある。いくつかの実施形態では、画像化されたシーン中の物体までの推定深度測定値は、オートフォーカス深度推定ではなくステレオ深度推定を使用したほうがより正確である。これらの実施形態では、イメージングデバイス１５０のオートフォーカスレンズ位置を補正するためにステレオ深度測定値が使用され得る。推定ステレオ深度測定値を使用してオートフォーカスレンズ位置を補正するためのプロセスの一実施形態を図７に示す。
【００４５】
[0053]図７は、図２に示されたいくつかのモジュールにおいて実装され得る、オートフォーカスレンズ位置を補正するためのプロセス７００の一実施形態を示している。プロセス７００は、立体視イメージングセンサーペアを有する低品質オートフォーカスシステムを用いてイメージングデバイスのオートフォーカス位置を推定し、補正するために、いくつかの実施形態において使用され得る。いくつかの例では、プロセス７００は、プロセッサ、たとえば、プロセッサ１２２（図２）上で、およびメモリ１２０に記憶されたあるいは他のハードウェアまたはソフトウェアに組み込まれた、図２に示された他の構成要素上で実行され得る。プロセス７００は、開始ブロック７０２から始まり、ブロック７０４に遷移し、ここにおいて、イメージングセンサーペア１０５、１１０を有するイメージングデバイス１５０などのイメージングデバイスが与えられる。プロセス７００は次いでブロック７０６に遷移し、ここにおいて、一方のイメージングセンサー１０５、１１０の焦点は固定され、他方のイメージングセンサー焦点は、変動することを可能にされる。イメージングセンサー１０５またはイメージングセンサー１１０のいずれかの焦点は固定または可動であり得る。プロセス７００は次いでブロック７０８に遷移し、ここにおいて、センターフォーカスが使用可能にされたイメージングセンサー１０５、１１０の視野の中心に物体が導入される。プロセス７００は次にブロック７１０に遷移し、ここにおいて、イメージングセンサーペアによって収集された画像データから物体のディスパリティが見つけられる。いくつかの実施形態では、ディスパリティは、物体の１つまたは複数のキーポイントを決定することと、イメージングセンサーペアの各センサーによって収集された画像データ中のキーポイントロケーションをマッチさせることとによって見つけられ得る。キーポイントは、特に一意の特性を呈する、物体の特徴的な領域であり得る。たとえば、特定のパターンまたはエッジを呈する領域がキーポイントとして定義され得る。キーポイントマッチは、第１の画像中で識別された１つのポイントと、第２の画像中で識別された第２のポイントとをもつ、ポイントのペアを含み得る。
【００４６】
[0054]イメージングセンサーペアの各センサーによって収集された画像データ間の物体のディスパリティを決定した後に、プロセス７００はブロック７１２に遷移し、ここにおいて、ディスパリティを使用して物体のステレオ深度が推定される。いくつかの実施形態では、ステレオ深度は以下のように計算され得る。
【００４７】
【数２】
2016533105.tif 000004
【００４８】
上式で、ベースラインは、立体視イメージングセンサーペアの２つのイメージングセンサー間の距離である。
【００４９】
[0055]物体のステレオ深度を決定した後に、プロセス７００はブロック７１４に遷移し、ここで、オートフォーカスレンズ位置を決定するためにイメージングデバイスのオートフォーカス特徴がアクティブにされ得る。プロセス７００は次いでブロック７１６に遷移し、ここにおいて、イメージングデバイスは、最良高周波マップを探索するために、イメージングセンサーの２つまたはそれ以上のオートフォーカス位置を通ってスイープし得る。プロセス７００は次いでブロック７１８に遷移し、ここにおいて、オートフォーカス統計値から、オートフォーカス特徴によって計算された物体のオートフォーカス深度が見つけられ得る。上記で説明したように、オートフォーカス統計値の一例が図６に示されている。高周波スコアの最大数によって示される最良オートフォーカス位置に基づいて、物体の等価な「真の」深度またはＤｅｐｔｈ＿ＡＦが見つけられる。
【００５０】
[0056]図７に示されたプロセス７００の次のブロック７２０において、Ｄｅｐｔｈ＿ＡＦはＤｅｐｔｈ＿ｓｔｅｒｅｏと比較される。２つの深度が等しくない場合、オートフォーカスレンズ位置は補正され得、プロセス７００はブロック７１４に遷移し、ここで、プロセス７００は、イメージングセンサーの新しいオートフォーカス位置を設定することによって続き、プロセス７００は、オートフォーカス統計値によって決定された最良オートフォーカス位置を使用して計算された物体のＤｅｐｔｈ＿ＡＦと、イメージングセンサーの画像データ間のディスパリティから計算された物体のＤｅｐｔｈ＿ｓｔｅｒｅｏとが等しくなるまで繰り返す。オートフォーカス深度とステレオ深度とが等しい（または実質的に等しい）とき、プロセス７００はブロック７２６に遷移し、終了する。
用語に関する明確化
[0057]それの文脈によって明確に限定されない限り、「信号」という用語は、本明細書では、ワイヤ、バス、または他の伝送媒体上に表されたメモリロケーション（またはメモリロケーションのセット）の状態を含む、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「生成（generating）」という用語は、本明細書では、計算（computing）または別様の生成（producing）など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「計算（calculating）」という用語は、本明細書では、複数の値からの計算（computing）、評価、平滑化、および／または選択など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「取得（obtaining）」という用語は、計算（calculating）、導出、（たとえば、外部デバイスからの）受信、および／または（たとえば、記憶要素のアレイからの）検索など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「選択（selecting）」という用語は、２つ以上のセットのうちの少なくとも１つ、およびすべてよりも少数を識別、指示、適用、および／または使用することなど、それの通常の意味のいずれをも示すのに使用される。「備える（comprising）」という用語は、本明細書および特許請求の範囲において使用される場合、他の要素または動作を除外しない。「に基づく」（「ＡはＢに基づく」など）という用語は、（ｉ）「から導出される」（たとえば、「ＢはＡのプリカーサー（precursor）である」）、（ｉｉ）「少なくとも〜に基づく」（たとえば、「Ａは少なくともＢに基づく」）、および特定の文脈で適当な場合に、（ｉｉｉ）「に等しい」（たとえば、「ＡはＢに等しい」）という場合を含む、それの通常の意味のいずれをも示すのに使用される。同様に、「に応答して」という用語は、「少なくとも〜に応答して」を含む、それの通常の意味のいずれをも示すのに使用される。
【００５１】
[0058]別段に規定されていない限り、特定の特徴を有する装置の動作のいかなる開示も、類似の特徴を有する方法を開示する（その逆も同様）ことをも明確に意図し、特定の構成による装置の動作のいかなる開示も、類似の構成による方法を開示する（その逆も同様）ことをも明確に意図する。「構成」という用語は、それの特定の文脈によって示されるように、方法、装置、および／またはシステムに関して使用され得る。「方法」、「プロセス」、「プロシージャ」、および「技法」という用語は、特定の文脈によって別段に規定されていない限り、一般的、互換的に使用される。「装置」および「デバイス」という用語も、特定の文脈によって別段に規定されていない限り、一般的、互換的に使用される。「要素」および「モジュール」という用語は、一般に、より大きい構成の一部分を示すのに使用される。それの文脈によって明確に限定されない限り、「システム」という用語は、本明細書では、「共通の目的を果たすために相互作用する要素のグループ」を含む、それの通常の意味のいずれをも示すのに使用される。また、文書の一部分の参照によるいかなる組込みも、その部分内で参照される用語または変数の定義が、その文書中の他の場所、ならびに組み込まれた部分中で参照される図に現れた場合、そのような定義を組み込んでいることを理解されたい。
【００５２】
[0059]さらに、本明細書で開示する実装形態に関連して説明した様々な例示的な論理ブロック、モジュール、回路、およびプロセスステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得ることを、当業者は諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。当業者は、ある一部分または一部が、全体よりも少ないかまたはそれに等しいものを備え得ることを認識されよう。たとえば、ピクセルの集合の一部分は、それらのピクセルの部分集合を指すことがある。
【００５３】
[0060]本明細書で開示する実装形態に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、計算デバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
【００５４】
[0061]本明細書で開示する実装形態に関して説明した方法またはプロセスのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で知られている任意の他の形態の非一時的記憶媒体中に常駐し得る。例示的なコンピュータ可読記憶媒体は、プロセッサがコンピュータ可読記憶媒体から情報を読み取り、コンピュータ可読記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替として、記憶媒体はプロセッサと一体であり得る。プロセッサおよび記憶媒体はＡＳＩＣ中に常駐し得る。ＡＳＩＣは、ユーザ端末、カメラ、または他のデバイス中に常駐し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイス中に個別構成要素として常駐し得る。
【００５５】
[0062]本明細書には、参照のための、および様々なセクションを見つけるのを助けるための見出しが含まれる。これらの見出しは、見出しに関連して説明した概念の範囲を限定するものではない。そのような概念は、本明細書全体にわたって適用性を有し得る。
【００５６】
[0063]開示した実装形態の以上の説明は、当業者が本発明を製作または使用することができるようにするために提供したものである。これらの実装形態への様々な修正は当業者には容易に明らかになり、本明細書で定義した一般原理は、本発明の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書で示した実装形態に限定されるものではなく、本明細書で開示した原理および新規の特徴に一致する最も広い範囲を与られるべきである。
【図１Ａ】
2016533105.tif 000005
【図１Ｂ】
2016533105.tif 000006
【図１Ｃ】
2016533105.tif 000007
【図２】
2016533105.tif 000008
【図３】
2016533105.tif 000009
【図４】
2016533105.tif 000010
【図５】
2016533105.tif 000011
【図６】
2016533105.tif 000012
【図７】
2016533105.tif 000013
【手続補正書】
【提出日】平成28年5月11日(2016.5.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
イメージングセンサーのペアの物理的不整合をデジタル的に補正するためのシステムであって、
第１のイメージングセンサーと第２のイメージングセンサーとを備えるイメージングデバイスと、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の第１の深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の第２の深度を推定することと、
前記第１の深度と前記第２の深度とを比較することと、
前記第１の深度と前記第２の深度との間の差に基づいて、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の前記不整合を推定し、補正することとを行うように構成された制御モジュールとを備える、システム。
【請求項２】
前記制御モジュールが、前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するようにさらに構成された、請求項１に記載のシステム。
【請求項３】
前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記第１の深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することによって立体視深度推定値を決定することを備える、請求項１に記載のシステム。
【請求項４】
前記制御モジュールは、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するようにさらに構成された、請求項１に記載のシステム。
【請求項５】
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記第２の深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置からオートフォーカス深度を推定することとを備える、請求項１に記載のシステム。
【請求項６】
前記制御モジュールは、前記第１の深度と前記第２の深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワープするようにさらに構成された、請求項１に記載のシステム。
【請求項７】
オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正するための方法であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することとを備える、方法。
【請求項８】
前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、請求項７に記載の方法。
【請求項９】
前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、請求項７に記載の方法。
【請求項１０】
前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、請求項７に記載の方法。
【請求項１１】
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、請求項７に記載の方法。
【請求項１２】
前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、請求項７に記載の方法。
【請求項１３】
オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正するための方法であって、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記オートフォーカス深度と前記立体視深度との間の差を使用して前記イメージングデバイスのオートフォーカスレンズ位置を補正することとを備える、方法。
【請求項１４】
前記物体の立体視深度を推定することが、前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することをさらに備える、請求項１３に記載の方法。
【請求項１５】
オートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することをさらに備える、請求項１３に記載の方法。
【請求項１６】
前記オートフォーカスレンズ位置を設定することが、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することをさらに備える、請求項１５に記載の方法。
【請求項１７】
前記イメージングデバイスのオートフォーカスレンズ位置を補正することは、前記オートフォーカス深度と前記立体視深度との間の前記差が０でない場合、前記オートフォーカスレンズ位置の距離推定値を補正することをさらに備える、請求項１３に記載の方法。
【請求項１８】
オートフォーカスフィードバックを使用して、イメージングデバイスのオートフォーカスレンズ位置を補正し、イメージングセンサーのペアの物理的不整合を補正するための装置であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャするための手段と、
前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することによって、前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定するための手段と、
高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することによって前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定するための手段と、
前記立体視深度と前記オートフォーカス深度とを比較するための手段と、
前記オートフォーカス深度と前記立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することによって、前記オートフォーカス深度と前記立体視深度との間の前記差を使用して前記イメージングデバイスの前記オートフォーカスレンズ位置を補正するための手段とを備える、装置。
【請求項１９】
前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するための手段をさらに備える、請求項１８に記載の装置。
【請求項２０】
前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するための手段をさらに備える、請求項１８に記載の装置。
【請求項２１】
前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングするための手段をさらに備える、請求項１８に記載の装置。
【請求項２２】
前記立体視深度と前記オートフォーカス深度との間の前記差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正するための手段をさらに備える、請求項１８に記載の装置。
【請求項２３】
実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正する方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法が、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することとを備える、非一時的コンピュータ可読媒体。
【請求項２４】
前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２５】
前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２６】
前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２８】
前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
[0063]開示した実装形態の以上の説明は、当業者が本発明を製作または使用することができるようにするために提供したものである。これらの実装形態への様々な修正は当業者には容易に明らかになり、本明細書で定義した一般原理は、本発明の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書で示した実装形態に限定されるものではなく、本明細書で開示した原理および新規の特徴に一致する最も広い範囲を与られるべきである。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]  イメージングセンサーのペアの物理的不整合をデジタル的に補正するためのシステムであって、
第１のイメージングセンサーと第２のイメージングセンサーとを備えるイメージングデバイスと、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の第１の深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の第２の深度を推定することと、
前記第１の深度と前記第２の深度とを比較することと、
前記第１の深度と前記第２の深度との間の差に基づいて、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の前記不整合を推定し、補正することとを行うように構成された制御モジュールとを備える、システム。
[Ｃ２]  前記制御モジュールが、前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するようにさらに構成された、Ｃ１に記載のシステム。
[Ｃ３]  前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記第１の深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することによって立体視深度推定値を決定することを備える、Ｃ１に記載のシステム。
[Ｃ４]  前記制御モジュールは、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するようにさらに構成された、Ｃ１に記載のシステム。
[Ｃ５]  前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記第２の深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置からオートフォーカス深度を推定することとを備える、Ｃ１に記載のシステム。
[Ｃ６]  前記制御モジュールは、前記第１の深度と前記第２の深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワープするようにさらに構成された、Ｃ１に記載のシステム。
[Ｃ７]  オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正するための方法であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することとを備える、方法。
[Ｃ８]  前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、Ｃ７に記載の方法。
[Ｃ９]  前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、Ｃ７に記載の方法。
[Ｃ１０]  前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、Ｃ７に記載の方法。
[Ｃ１１]  前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、Ｃ７に記載の方法。
[Ｃ１２]  前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、Ｃ７に記載の方法。
[Ｃ１３]  オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正するための方法であって、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記オートフォーカス深度と前記立体視深度との間の差を使用して前記イメージングデバイスのオートフォーカスレンズ位置を補正することとを備える、方法。
[Ｃ１４]  前記物体の立体視深度を推定することが、前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することをさらに備える、Ｃ１３に記載の方法。
[Ｃ１５]  オートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することをさらに備える、Ｃ１３に記載の方法。
[Ｃ１６]  前記オートフォーカスレンズ位置を設定することが、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することをさらに備える、Ｃ１５に記載の方法。
[Ｃ１７]  前記イメージングデバイスのオートフォーカスレンズ位置を補正することは、前記オートフォーカス深度と前記立体視深度との間の前記差が０でない場合、前記オートフォーカスレンズ位置の距離推定値を補正することをさらに備える、Ｃ１３に記載の方法。
[Ｃ１８]  オートフォーカスフィードバックを使用して、イメージングデバイスのオートフォーカスレンズ位置を補正し、イメージングセンサーのペアの物理的不整合を補正するための装置であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャするための手段と、
前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することによって、前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定するための手段と、
高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することによって前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定するための手段と、
前記立体視深度と前記オートフォーカス深度とを比較するための手段と、
前記オートフォーカス深度と前記立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することによって、前記オートフォーカス深度と前記立体視深度との間の前記差を使用して前記イメージングデバイスの前記オートフォーカスレンズ位置を補正するための手段とを備える、装置。
[Ｃ１９]  前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２０]  前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２１]  前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングするための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２２]  前記立体視深度と前記オートフォーカス深度との間の前記差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正するための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２３]  実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正する方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法が、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することとを備える、非一時的コンピュータ可読媒体。
[Ｃ２４]  前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２５]  前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２６]  前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２７]  前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２８]  前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
【手続補正書】
【提出日】平成28年5月12日(2016.5.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
イメージングセンサーのペアの間のヨー角ディスパリティをデジタル的に補正するためのシステムであって、
第１のイメージングセンサーと第２のイメージングセンサーとを備えるイメージングデバイスと、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の第１の深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の第２の深度を推定することと、
前記第１の深度と前記第２の深度とを比較することと、
前記第１の深度と前記第２の深度とが等しくなるまで複数の値からヨー角補正を選択することにより、前記ヨー角ディスパリティを繰り返し推定および調整することによって、前記第１の深度と前記第２の深度との間の差に基づいて、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の前記ヨー角ディスパリティを推定し、デジタルに補正することとを行うように構成された制御モジュールとを備える、システム。
【請求項２】
前記制御モジュールが、前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するようにさらに構成された、請求項１に記載のシステム。
【請求項３】
前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記第１の深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することによって立体視深度推定値を決定することを備える、請求項１に記載のシステム。
【請求項４】
前記制御モジュールは、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するようにさらに構成された、請求項１に記載のシステム。
【請求項５】
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記第２の深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置からオートフォーカス深度を推定することとを備える、請求項１に記載のシステム。
【請求項６】
前記制御モジュールは、前記第１の深度と前記第２の深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワープするようにさらに構成された、請求項１に記載のシステム。
【請求項７】
オートフォーカスフィードバックを使用してイメージングセンサーのペアのヨー角ディスパリティをデジタル的に補正するための方法であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度とが等しくなるまで複数の値からヨー角補正を選択することにより、前記ヨー角ディスパリティを繰り返し推定および調整することによって、前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の前記ヨー角ディスパリティを推定し、デジタルに補正することとを備える、方法。
【請求項８】
前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、請求項７に記載の方法。
【請求項９】
前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、請求項７に記載の方法。
【請求項１０】
前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、請求項７に記載の方法。
【請求項１１】
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、請求項７に記載の方法。
【請求項１２】
前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、請求項７に記載の方法。
【請求項１３】
オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正するための方法であって、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度とが等しくなるまで複数の値からオートフォーカスレンズ位置補正を選択することにより、前記オートフォーカスレンズ位置を繰り返し推定および調整することによって、前記オートフォーカス深度と前記立体視深度との間の差を使用して前記イメージングデバイスのオートフォーカスレンズ位置を補正することとを備える、方法。
【請求項１４】
前記物体の立体視深度を推定することが、前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することをさらに備える、請求項１３に記載の方法。
【請求項１５】
オートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することをさらに備える、請求項１３に記載の方法。
【請求項１６】
前記オートフォーカスレンズ位置を設定することが、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することをさらに備える、請求項１５に記載の方法。
【請求項１７】
前記イメージングデバイスのオートフォーカスレンズ位置を補正することは、前記オートフォーカス深度と前記立体視深度との間の前記差が０でない場合、前記オートフォーカスレンズ位置の距離推定値を補正することをさらに備える、請求項１３に記載の方法。
【請求項１８】
オートフォーカスフィードバックを使用して、イメージングデバイスのオートフォーカスレンズ位置を補正し、イメージングセンサーのペアの物理的不整合を補正するための装置であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャするための手段と、
前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することによって、前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定するための手段と、
高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することによって前記イメージングデバイスの前記オートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定するための手段と、
前記立体視深度と前記オートフォーカス深度とを比較するための手段と、
前記立体視深度と前記オートフォーカス深度とが等しくなるまで複数の値からオートフォーカスレンズ位置補正を選択することにより、前記オートフォーカスレンズ位置を繰り返し推定および調整することによって、前記オートフォーカス深度と前記立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することによって、前記オートフォーカス深度と前記立体視深度との間の前記差を使用して前記イメージングデバイスの前記オートフォーカスレンズ位置を補正するための手段とを備える、装置。
【請求項１９】
前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するための手段をさらに備える、請求項１８に記載の装置。
【請求項２０】
前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するための手段をさらに備える、請求項１８に記載の装置。
【請求項２１】
前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングするための手段をさらに備える、請求項１８に記載の装置。
【請求項２２】
前記立体視深度と前記オートフォーカス深度との間の前記差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正するための手段をさらに備える、請求項１８に記載の装置。
【請求項２３】
実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用してイメージングセンサーのペアの間のヨー角ディスパリティをデジタル的に補正する方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法が、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記第１の深度と前記第２の深度とが等しくなるまで複数の値からヨー角補正を選択することにより、前記ヨー角ディスパリティを繰り返し推定および調整することによって、前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の前記ヨー角ディスパリティを推定し、デジタルに補正することとを備える、非一時的コンピュータ可読媒体。
【請求項２４】
前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２５】
前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２６】
前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２８】
前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【国際調査報告】
2016533105.tif 000014
2016533105.tif 000015
2016533105.tif 000016