(57)【要約】      （修正有）【課題】シーン検出を深度推定手順に利用し、画像データを効率的に解析するシステム及び方法を提供する。【解決手段】システムは、写真ターゲットのブレ画像を取り込むためのセンサデバイスを含む。ブレ画像の各々は、典型的にはピルボックスブレシーンである第１のシーンタイプ、及び典型的にはガウスシーンタイプである第２のシーンタイプから検出されるシーンタイプに対応する。シーン検出器は、最初のシーン検出手順を遂行して、ブレ画像に関する候補シーンタイプを特定する。次に、シーン検出器は、改善されたシーン検出手順を遂行して、ブレ画像に関する最終的なシーンタイプを特定する。【選択図】図１
2014057303.tif 000002
【特許請求の範囲】
【請求項１】
改善されたシーン検出手順を遂行するためのシステムであって、
各々が第１のシーンタイプ及び第２のシーンタイプから検出されるシーンタイプに対応する、写真ターゲットのブレ画像を取り込むたのセンサデバイスと、  
最初のシーン検出手順を遂行して前記ブレ画像に関する候補シーンタイプを特定し、次に改善されたシーン検出手順を遂行して、前記ブレ画像に関する最終的なシーンタイプを特定するようになった、シーン検出器と、
を備える、システム。
【請求項２】
前記第１のシーンタイプはガウスシーンタイプであり、前記第２のシーンタイプはピルボックスシーンタイプである、請求項１に記載のシステム。
【請求項３】
前記センサデバイス及び前記シーン発生器は、電子カメラ装置に実装される、請求項２に記載のシステム。
【請求項４】
前記電子カメラ装置は、適切な深度推定アルゴリズムを選択するために前記改善されたシーン検出手順からのシーン検出結果を利用する、深度推定器を含む、請求項３に記載のシステム。
【請求項５】
前記電子カメラ装置は、自動フォーカス手順を遂行するために前記深度推定アルゴリズムが発生する１つ又はそれ以上の深度値を利用する、請求項４に記載のシステム。
【請求項６】
前記ブレ画像は、前記センサデバイスの飽和閾値レベルを超えることに起因して切り取られる、請求項１に記載のシステム。
【請求項７】
前記センサデバイスは、第１のレンズ位置を利用して前記写真ターゲットに対応する第１の画像１を取り込み、次に、前記カメラ装置は、前記第１のレンズ位置とは異なる第２のレンズ位置に調整され、前記センサデバイスは、前記第２のレンズ位置を利用して前記写真ターゲットに対応する画像２を取り込み、前記画像１及び前記画像２は前記ブレ画像を構成する、請求項６に記載のシステム。
【請求項８】
前記候補シーンタイプは、最初はピルボックス候補タイプである、請求項２に記載のシステム。
【請求項９】
前記シーン検出器は、前記ピルボックス候補タイプからの前記ブレ画像に対して半径分析手順を遂行する、請求項８に記載のシステム。
【請求項１０】
前記シーン検出器は、前記ブレ画像の各々における飽和したピクセル総数をカウントする、請求項９に記載のシステム。
【請求項１１】
前記シーン検出器は、前記飽和したピクセル総数を利用して、前記ブレ画像の各々に関する半径値を計算する、請求項１０に記載のシステム。
【請求項１２】
前記半径値は、前記ブレ画像の各々に関する前記飽和したピクセル総数の平方根に等しい、請求項１１に記載のシステム。
【請求項１３】
前記シーン検出器は、前記半径値を利用して、前記ブレ画像に関する最新の半径変化率を計算する、請求項１２に記載のシステム。
【請求項１４】
前記最新の半径変化率は、前記ブレ画像に関するフォーカス距離の深度の変化に対する前記半径値の変化に等しい、請求項１３に記載のシステム。
【請求項１５】
前記シーン検出器は、前記最新の半径変化率と所定の較正された半径変化率を比較して、照合結果が存在するか否かを判定し、前記シーン検出器は、照合結果が存在する場合、前記ブレ画像に関する前記ピルボックス候補タイプを保持し、前記シーン検出器は、照合結果が存在しない場合、ピルボックス候補タイプをガウスブレタイプとして再分類する、請求項１３に記載のシステム。
【請求項１６】
前記シーン検出器は、ブレ半径サイズと焦点深度距離値の線形依存性を示す、較正された半径変化曲線から前記所定の較正された半径変化率を取得する、請求項１９に記載のシステム。
【請求項１７】
前記シーン検出器は、前記ピルボックス候補タイプからの前記ブレ画像に対して位置合わせ分析手順を遂行し、前記位置合わせ分析手順は、半径分析手順とは独立して及びこれに関連して交互に遂行される、請求項８に記載のシステム。
【請求項１８】
前記シーン検出器は、良好な位置合わせ特性が存在する場合、前記ブレ画像に関するピルボックス候補タイプを保持し、前記シーン検出器は、不良な位置合わせ特性が存在する場合、前記ピルボックス候補タイプをガウスブレタイプとして再分類する、請求項１７に記載のシステム。
【請求項１９】
前記シーン検出器は、前記ブレ画像の一方からの飽和したピクセルの各々が、同じピクセル座標位置で前記ブレ画像の他方において同様に飽和している場合、前記良好な位置合わせ特性が存在すると判定し、前記シーン検出器は、前記ブレ画像の一方からの飽和したピクセルの各々が、同じピクセル座標位置で前記ブレ画像の他方において飽和していない場合、前記不良の位置合わせ特性が存在すると判定する、請求項１８に記載のシステム。
【請求項２０】
改善されたシーン検出手順を遂行する方法であって、
各々が第１のシーンタイプ及び第２のシーンタイプから検出されるシーンタイプに対応する、写真ターゲットのブレ画像を取り込むためにセンサデバイスを利用する段階と、
最初のシーン検出手順を遂行して前記ブレ画像に関する候補シーンタイプを特定し、次に改善されたシーン検出手順を遂行して、前記ブレ画像に関する最終的なシーンタイプを特定するようになったシーン検出器を準備する段階と、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には画像データを解析する技術に関し、詳細には深度推定手順において改善されたシーン検出をするためのシステム及び方法に関する。
【背景技術】
【０００２】
画像データを解析するための効率的な方法を実施することは、現代の電子装置の設計者及び製造者とって重要な検討課題である。しかしながら、電子装置を使用して画像データを効率的に解析することは、システム設計者にとっては多くの課題が生じる可能性がある。例えば、さらなる装置の機能及び性能を求める要求が高まることにより、より大きなシステム処理能力が必要となり、追加のソフトウェアリソースが必要となる可能性がある。処理要件又はハードウェア要件が高まることにより、生産コスト及び経営の非効率性の増加に起因して、対応する不利益な経済的影響がもたらされる可能性もある。
【０００３】
さらに、様々な高度な動作を行うように高められた装置の能力は、システムユーザに付加的な利点をもたらすこともあるが、様々な装置の構成要素の制御及び管理にさらなる負担を強いることもある。例えば、デジタル画像データを効果的に解析する高度な電子装置は、関連するデジタルデータの量の多さと複雑性により、効果的な実施から恩恵を受けることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第８，０４５，０４６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
システムリソースに対する需要の伸び及び大幅に増加しているデータの大きさにより、画像データを解析するための新しい技術を開発することが、関連する電子技術にとっての懸案事項であることは明らかである。従って、全ての上述の理由から、画像データを解析するための効果的なシステムを開発することは、現代の電子装置の設計者、製造者及びユーザにとって依然として重要な検討課題のままとなっている。
【課題を解決するための手段】
【０００６】
本発明によれば、改善されたシーン検出を深度推定手順に利用するシステム及び方法が提供される。１つの実施形態において、カメラ装置は、画像１を取り込む。次に、カメラのフォーカス設定値が変更される。次に、カメラは、先に取り込んだ画像１よりもぼやけた（ピントがはずれた）デフォーカス画像２を取り込む。
【０００７】
シーン検出器又は他の適切なエンティティは、最初のシーン検出手順を遂行して候補シーンタイプを生成する。例えば、シーン検出器は、取り込んだ画像１及び画像２を候補ピルボックスシーンの一部として特定することができる。対照的に、シーン検出器は、取り込んだ画像１及び画像２をガウスシーンの一部として特定することができる。本発明によれば、次に、シーン検出器は、ピルボックスブレ候補に対して改善されたシーン分析手順を遂行して、結果的にこれらの検出結果が正確であることを確認することができる。改善されたシーン分析手順は、半径分析手順及び／又は位置合わせ分析手順を含むことができる。
【０００８】
半径分析手順において、シーン検出器は、最初に２つのピルボックスブレ候補の各々における飽和したピクセル数をカウントし、次に、２つの飽和したピクセル総数を利用して、２つのそれぞれのピルボックスブレ候補に関する半径値を計算する。次に、シーン検出器は、２つの半径値を利用してピルボックスブレ候補に関する最新の半径変化率を計算する。シーン検出器は、最新の半径変化率を所定の較正された半径変化率と比較する。特定の実施形態において、所定の較正された半径変化率は、ブレ半径サイズと焦点距離値の線形依存性を示す、較正された半径変化曲線から得ることができる。
【０００９】
次に、シーン検出器は、最新の半径変化率が所定の較正された半径変化率に一致するか否かを判定する。一致しない場合、シーン検出器は、ピルボックスブレ候補をガウスブレとして再分類する。しかしながら、最新の半径変化率が所定の較正された半径変化率に一致する場合、シーン検出器は、２つのピルボックスブレ候補に関する元の検出結果を保持する。
【００１０】
位置合わせ分析手順において、シーン検出器又は他の適切なエンティティは、最初に２つのピルボックスブレ候補にアクセスする。次に、シーン検出器は、ピルボックスブレ候補に対して位置合わせ分析手順を遂行して、これらの検出結果が正確であるか否かを確認する。位置合わせ分析手順は、何らかの有効な技術を利用して遂行することができる。例えば、特定の実施形態において、シーン検出器は、ブレ画像の一方からの飽和したピクセルの各々が同じピクセル座標位置の他のブレ画像の他方において同様に飽和するか否かを判定することで、ピルボックスブレ候補に関する位置合わせ特性を評価することができる。
【００１１】
シーン検出器は、２つのブレ画像が位置合わせされているか否かを判定する。シーン検出器が、良好な位置合わせ特性に起因してピルボックスブレ候補が正確に分類された判定する場合、ピルボックス検出結果を保持する。しかしながら、シーン検出器が、不良の位置合わせ特性に起因してピルボックスブレ候補が不正確に分類されたと判定する場合、シーン検出器は、ピルボックスブレ候補をガウスブレ画像として再分類する。従って、深度推定器は、適切な深度推定手順を選択して遂行することができる。従って、本発明は、深度推定手順を遂行するために改善されたシーン検出を利用する改善されたシステム及び方法を提供する。
【図面の簡単な説明】
【００１２】
【図１】本発明によるカメラ装置の１つの実施形態を示すブロック図である。
【図２】本発明による、図１の取り込みサブシステムの１つの実施形態を示すブロック図である。
【図３】本発明による、図１の制御モジュールの１つの実施形態を示すブロック図である。
【図４】本発明による、図３のメモリの１つの実施形態を示すブロック図である。
【図５】本発明による、焦点ずれしたブレ画像を取り込むための１つの例示的な実施形態を示す。
【図６】本発明の１つの実施形態による、例示的な照合曲線のグラフである。
【図７】本発明の１つの実施形態による、例示的なブレ画像のガウスモデルのグラフである。
【図８】本発明の１つの実施形態による、例示的なブレ画像のピルボックスモデルのグラフである。
【図９】本発明の１つの実施形態による、２つの飽和したガウスブレ画像のグラフである。
【図１０】本発明の１つの実施形態による、２つの飽和したピルボックスブレ画像のグラフである。
【図１１Ａ】本発明の１つの実施形態による、改善された深度推定手順を遂行するための方法ステップのフローチャートである。
【図１１Ｂ】本発明の１つの実施形態による、改善された深度推定手順を遂行するための方法ステップのフローチャートである。
【図１１Ｃ】本発明の１つの実施形態による、改善された深度推定手順を遂行するための方法ステップのフローチャートである。
【図１２Ａ】本発明の１つの実施形態による、２つのピルボックスブレ画像に関する良好な位置合わせ特性を示す２つの図である。
【図１２Ｂ】本発明の１つの実施形態による、２つのガウスブレ画像に関する良好な位置合わせ特性を示す２つの図である。
【図１３】本発明の１つの実施形態による、例示的な較正された半径変化曲線のグラフである。
【図１４Ａ】本発明の１つの実施形態による、改善されたシーン検出手順を遂行するための方法ステップのフローチャートである。
【図１４Ｂ】本発明の１つの実施形態による、改善されたシーン検出手順を遂行するための方法ステップのフローチャートである。
【発明を実施するための形態】
【００１３】
本発明は、画像データ解析技術の改善に関する。以下の説明は、当業者が本発明を実施及び使用できるようにするために提供し、特許出願及びその要件との関連において行うものである。当業者には、開示する実施形態の様々な修正例が容易に明らかになるであろうし、本明細書における一般的な原理を他の実施形態に適用することもできる。従って、本発明は、図示の実施形態に限定されることは意図されておらず、本明細書で説明する原理及び特徴に従う最も広い範囲を許容すべきものである。
【００１４】
本発明は、改善されたシーン検出手順を実行するシステム及び方法を備え、写真ターゲットのブレ画像を取り込むセンサデバイスを含む。各ブレ画像は、一般的にピルボックスブレシーンである第１のシーンタイプ、及び一般的にガウスシーンタイプである第２のシーンタイプから検出されるシーンタイプに対応する。シーン検出器は、最初のシーン検出手順を遂行して、ブレ画像に関する候補シーンタイプを特定するようになっている。次に、シーン検出器は、改善されたシーン検出手順を遂行して、ブレ画像の最終的なシーンタイプを特定するようになっている。
【００１５】
ここで図１を参照すると、本発明によるカメラ装置１１０の１つの実施形態のブロック図を示している。図１の実施形態では、カメラ装置１１０が、以下に限定されるわけではないが、取り込みサブシステム１１４、システムバス１１６、及び制御モジュール１１８を含むことができる。図１の実施形態では、取り込みサブシステム１１４が、ターゲット１１２に光学的に結合することができ、またシステムバス１１６を介して制御モジュール１１８に電気的に結合することもできる。
【００１６】
別の実施形態では、カメラ装置１１０が、図１の実施形態に関連して説明する構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。また、いくつかの実施形態では、図１のカメラ装置１１０以外の任意の適当な種類の電子装置において本発明を別様に具体化することができる。例えば、カメラ装置１１０を、撮像装置、コンピュータ装置、又は消費者向け電子装置として別様に実装することができる。
【００１７】
図１の実施形態では、カメラ１１０の取り込みサブシステム１１４がターゲット１１２に自動的に合焦すると、カメラユーザは、このターゲット１１２に対応する画像データを取り込むようにカメラ装置１１０に要求することができる。この時、制御モジュール１１８が取り込みサブシステム１１４に、ターゲット１１２を表す画像データを取り込むようにシステムバス１１６を介して命令できることが好ましい。次に、この取り込んだ画像データを、システムバス１１６を介して制御モジュール１１８へ転送することができ、これに応答して、制御モジュール１１８は、この画像データを用いて様々な処理及び機能を実行することができる。システムバス１１６は、取り込みサブシステム１１４と制御モジュール１１８の間で、様々な状態信号及び制御信号を双方向に渡すことができる。
【００１８】
ここで図２を参照すると、本発明による図１の取り込みサブシステム１１４の１つの実施形態のブロック図を示している。図２の実施形態では、取り込みサブシステム１１４が、以下に限定されるわけではないが、シャッタ２１８、レンズ２２０、画像センサ２２４、赤色、緑色及び青色（Ｒ／Ｇ／Ｂ）増幅器２２８、アナログデジタル（Ａ／Ｄ）変換器２３０、及びインターフェイス２３２を含むことが好ましい。別の実施形態では、取り込みサブシステム１１４が、図２の実施形態に関連して説明する構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。
【００１９】
図２の実施形態では、取り込みサブシステム１１４が、光路２３６に沿って画像センサ２２４に衝突する反射光を介して、ターゲット１１２に対応する画像データを取り込むことができる。これに応答して、好ましくは電荷結合素子（ＣＣＤ）を含むことができる画像センサ２２４が、ターゲット１１２を表す画像データの組を生成することができる。次に、この画像データは、増幅器２２８、Ａ／Ｄ変換器２３０、及びインターフェイス２３２を経由することができる。この画像データは、インターフェイス２３２からシステムバス１１６を介して制御モジュール１１８に渡され、しかるべく処理されて記憶される。本発明に関連する画像データの取り込みには、ＣＭＯＳ又はリニアアレイなどの他の種類の画像取り込みセンサも想定される。以下、図３〜図１４に関連して、カメラ１１０の利用及び機能についてさらに説明する。
【００２０】
ここで図３を参照すると、本発明による図１の制御モジュール１１８の１つの実施形態のブロック図を示している。図３の実施形態では、制御モジュール１１８が、以下に限定されるわけではないが、ファインダ３０８、中央処理装置（ＣＰＵ）３４４、メモリ３４６、及び１又はそれ以上の入出力インターフェイス（Ｉ／Ｏ）３４８を含むことが好ましい。ファインダ３０８、ＣＰＵ３４４、メモリ３４６及びＩ／Ｏ３４８の各々は、取り込みサブシステム１１４とも通信する共通システムバス１１６に結合され、この共通システムバス１１６を介して通信することが好ましい。別の実施形態では、制御モジュール１１８が、図３の実施形態に関連して説明する構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。
【００２１】
図３の実施形態では、ＣＰＵ３４４を、あらゆる適当なマイクロプロセッサ装置を含むように実装することができる。もしくは、他のあらゆる適当な技術を使用してＣＰＵ３４４を実装することもできる。例えば、ＣＰＵ３４４を、いくつかの特定用途向け集積回路（ＡＳＩＣ）又はその他の適当な電子装置を含むように実装することができる。メモリ３４６は、以下に限定されるわけではないが、リードオンリメモリ、ランダムアクセスメモリ、及びフロッピー（登録商標）ディスク装置、ハードディスク装置又はフラッシュメモリなどの様々な種類の不揮発性メモリを含む１又はそれ以上の適当な記憶装置として実装することができる。Ｉ／Ｏ３４８は、カメラ装置１１０と、システムユーザ又は別の電子装置を含むあらゆる外部エンティティとの間の双方向通信を容易にするための１又はそれ以上の効果的なインターフェイスを提供することができる。Ｉ／Ｏ３４８は、あらゆる適当な入出力装置を使用して実装することができる。以下、図４〜図１４に関連して、制御モジュール１１８の動作及び利用についてさらに説明する。
【００２２】
ここで図４を参照すると、本発明による図３のメモリ３４６の１つの実施形態のブロック図を示している。図４の実施形態では、メモリ３４６が、以下に限定されるわけではないが、カメラアプリケーション４１２、オペレーティングシステム４１４、深度推定器４１６、画像データ４１８、推定データ４２０、オートフォーカスモジュール４２２、及びシーン検出器４２４を含むことができる。別の実施形態では、メモリ３４６が、図４の実施形態に関連して説明する構成要素に加え又はこれらの代わりに、他の様々な構成要素を含むことができる。
【００２３】
図４の実施形態では、カメラアプリケーション４１２は、カメラ装置１１０の様々な機能及び動作を実行するための、好ましくはＣＰＵ３４４（図３）により実行されるプログラム命令を含むことができる。カメラアプリケーション４１２の特定の性質及び機能は、対応するカメラ装置１１０の種類及び特定の用途などの要因に応じて異なることが好ましい。
【００２４】
図４の実施形態では、オペレーティングシステム４１４は、カメラ装置１１０の低水準機能を制御及び調整することが好ましい。本発明によれば、深度推定器４１６は、深度推定手順を制御及び調整して、カメラ１１０でオートフォーカス機能を助けるようになっている。図４の実施形態では、画像データ４１８が、カメラ装置１１０が取り込んだターゲット１１２の１つ又はそれ以上の画像を含むことができる。評価データ４２０は、深度推定手順を実行するためのあらゆる種類の情報又はデータを含むことができる。図４の実施形態において、オートフォーカスモジュール４２２は、深度推定手順の結果を利用して、カメラ装置１１０のオートフォーカス手順を遂行することができる。図４の実施形態において、シーン検出器４２４は、本発明に基づいて様々な改善されたシーン検出手順を遂行することができる。シーン検出器４２４の動作に関する追加的な詳細内容は、図１１から図１４に関連して以下に説明する。
【００２５】
ここで図５を参照すると、本発明による、焦点ずれしたブレ画像５１８を取り込むための１つの例示的な実施形態の図を示している。図５の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、他の様々な構成及び要素を利用して、焦点ずれしたブレ画像５１８を取り込むことができる。
【００２６】
図５の実施形態では、カメラ１１０のセンサ２２４（図２を参照）は、深度推定手順を実行するためのターゲット又はシーン１１２の焦点ずれしたブレ画像５１８を取り込むことができる。この焦点ずれしたブレ画像５１８は、ターゲット１１２、レンズ２２０及びセンサ２２４の相対位置に依存する正しく焦点が合ったレンズ位置以外の位置にレンズ２２０を調整することによって作成することができる。
【００２７】
１つの実施形態では、２つの異なる焦点ずれしたブレ画像５１８を比較して深度推定を得ることができる。互いに被写界深度が１つ離れた２つのブレ画像５１８のブレ差を計算することができる。既知の照合曲線の傾き及びブレ差を利用して、所与のターゲット１１２の深度を求めることができる。深度推定のための焦点ずれしたブレ画像の生成及び利用は、図６から図１４に関連にして以下に更に説明する。
【００２８】
ここで図６を参照すると、本発明の１つの実施形態による例示的な照合曲線７１４のグラフを示している。図６の実施形態は例示目的で示すものであり、別の実施形態では、図６の実施形態に関連して説明する構成及びパラメータの一部に加えて又はこれらの代わりに、様々な構成及びパラメータの照合曲線を利用するように本発明を実現することができる。
【００２９】
いくつかの実施形態では、ブレ画像１及びより焦点がずれたブレ画像２を取り込み、鮮明な方の画像１をガウスカーネル（例えば、分散の少ない３×３のガウス行列）で畳み込んで畳み込み画像１を生成することができる。この畳み込み画像１をブレ画像２と比較する。この処理を、２つのブレ画像が一致するまで繰り返す。次に、この反復回数を被写界深度（すなわち、１ＤＯＦきざみの画像番号）に対してグラフ化してブレ画像の照合曲線を生成し、これを使用していずれかの焦点が外れた位置から焦点が合った位置までの距離を推定することができる。上述した深度推定技術に関するさらなる詳細は、Ｌｉ他による米国特許第８，０４５，０４６号にさらに記載されており、この特許は引用により本明細書に組み入れられる。
【００３０】
ここで図７を参照すると、本発明の１つの実施形態による、ブレ画像５１８（図５）の例示的なガウスモデル７１８のグラフが示されている。図７の実施形態は例示目的であり、別の実施形態において、本発明は、ガウスモデルを図７の実施形態に関連して説明するもの以外の要素及び構成に利用することができる。
【００３１】
図７の実施形態において、縦軸は輝度、横軸はピクセルを示す。図７のグラフにおいて、ガウスモデル７１８は、典型的なベル曲線形状を示す。しかしながら、ガウスモデル７１８を利用して全てのブレ画像５１８を上手く示すことはできない。写真ターゲット又はシーンの画像特性に応じて、特定の非ガウスモデルがより効率的な場合がある。
【００３２】
ここで図８を参照すると、本発明の１つの実施形態による、ブレ画像５１８の例示的なピルボックスモデル８１８のグラフが示されている。図８の実施形態は例示目的であり、別の実施形態において、本発明は、ピルボックスモデルを図８の実施形態に関連して説明するもの以外の要素及び構成に利用することができる。
【００３３】
図８の実施形態において、縦軸は輝度、横軸はピクセルを示す。図８のグラフにおいて、ピルボックスモデル８１８は、典型的な縁の鋭い形状を示す。写真ターゲット又はシーンの画像特性に応じて、ピルボックスモデル８１８といった特定の非ガウスモデルがより効率的な場合がある。例えば、ピルボックスモデル８１８は、キャンドル等の明るい光源が含まれる闇夜シーンに良好な場合がある。
【００３４】
ここで図９を参照すると、本発明の１つの実施形態による、２つの飽和ガウス画像９１８及び９２２の図が示されている。図９の実施形態は例示目的であり、別の実施形態において、本発明は、ガウス画像を図９の実施形態に関連して説明するもの以外の要素及び構成に利用することができる。
【００３５】
図９の実施形態において、第１のガウスブレ画像９１８及び第２のガウスブレ画像９２２の波形は重ね合わせられている。画像９１８はより合焦されているので、その波形形状は、画像９２２の波形よりも狭くて高い。図９の実施形態において、両方のガウス画像は、飽和閾値レベル９２６を超えるので切り取られる／飽和している。
【００３６】
図９の実施形態において、グラフは、更に、第１のエッジ領域９３０（ａ）及び第２のエッジ領域９３０（ｂ）からなるエッジ領域９３０を含む。第１のエッジ領域９３０（ａ）は、飽和閾値９２６未満で波形９２２の左側と波形９１８の左側との間にある、図９のグラフの左側の区域である。第２のエッジ領域９３０（ｂ）は、飽和閾値９２６未満で波形９２２の右側と波形９１８の右側との間にある、図９のグラフの右側の区域である。ガウスブレ画像を含むガウスシーンを検出するための特定の技術を図１０から図１４に関連して以下に更に説明する。
【００３７】
ここで図１０を参照すると、本発明の１つの実施形態による、２つの飽和ピルボックス画像１０１８及び１０２２の図が示されている。図１０の実施形態は例示目的であり、別の実施形態において、本発明は、ピルボックス画像を図１０の実施形態に関連して説明するもの以外の要素及び構成に利用することができる。
【００３８】
図１０の実施形態において、第１のピルボックスブレ画像１０１８及び第２のピルボックスブレ画像１０２２の波形は重ね合わせられている。画像１０１８はより合焦されているので、その波形形状は、画像１０２２の波形よりも狭くて高い。図１０の実施形態において、両方のピルボックス画像は、飽和閾値レベル１０２６を超えるので切り取られる／飽和している。
【００３９】
図１０の実施形態において、グラフは、更に、第１のエッジ領域１０３０（ａ）及び第２のエッジ領域１０３０（ｂ）からなるエッジ領域１０３０を含む。第１のエッジ領域１０３０（ａ）は、飽和閾値１０２６未満で波形１０２２の左側と波形１０１８の左側との間にある、図１０のグラフの左側の網掛け区域である。第２のエッジ領域１０３０（ｂ）は、飽和閾値１０２６未満で波形１０２２の右側と波形１０１８の右側との間にある、図１０のグラフの右側の網掛け区域である。図１０は、ピルボックスブレの１次元図である。２次元画像に関して、エッジ領域は、１つのピルボックスの境界の間のリング状区域である。
【００４０】
本発明によれば、深度推定器４１６（図４）は、適切な深度推定手順を選択するために、特定のシーンがガウスシーンか又はピルボックスシーンかを判定を必要とする場合がある。例えば、前述の図６に関連して、Ｌｉ他の米国特許第８，０４５，０４６号に開示されるような基本深度推定手順が説明されている。
【００４１】
更に、ガウス化深度推定手順並びにフィルボックス手順は、２０１２年３月２２日出願のＬｉ他の米国特許出願番号１３／４２６，８２８号「ピルボックスデフォーカス画像を利用して深度推定を行うためのシステム及び方法」に開示されており、その開示内容は引用により本明細書に組み込まれている。ガウス化深度推定手順は、取り込まれた画像が切り取られない場合に、ガウスブレ及び非ガウスブレを処理することができる。
【００４２】
取り込まれた画像が切り取られる場合（露出過度又は露出不足）、深度推定器４１６は、これらをガウスブレとして扱うか又はピルボックスブレとして扱うかを判定する必要がある。切り取られたピルボックスブレの場合、深度推定器４１６は、前述のフィルボックス手順及びガウス化手順を利用することができる。ガウスブレの場合、深度推定器４１６は、クリップ−ピクセル（ｃｌｉｐｐｅｄ−ｐｉｘｅｌ）置換手順を利用することができ、この手順は、２０１２年３月９日出願のＬｉ他の米国特許出願番号１３／４１６，０４９号「極端な証明条件下でデフォーカス画像を用いて深度推定を行うためのシステム及び方法」に開示されており、その開示内容は引用により本明細書に組み込まれている。
【００４３】
図９から図１０の実施形態に関連して、飽和したピルボックス画像（図１０）は、一般に飽和したガウスブレ（図９）と比べるとより鋭いエッジを有する。エッジ領域の幾何学的形状により、エッジ領域１０３０の平均輝度差は、ガウスブレ（図９参照）に比べた場合にピルボックスブレで大きいことが分かる。本発明によれば、深度推定器４１６は、この特性を利用してガウスシーンか又はピルボックスシーンかを検出することができる。前述のフィルボックス手順及びガウス化手順は、ピルボックスシーンが検出された場合に利用することができる。対照的に、クリップ−ピクセル置換手順は、ガウスシーンが検出された場合に利用することができる。
【００４４】
ある状况では、ガウスブレは、ピルボックスブレとして間違って分類される可能性がある。従って、本発明によれば、シーン検出器４２４（図４）は、いくつかの技術を使用して、誤りのあるピルボックス候補を再評価して、場合によってはガウスブレとして再分類することができる。改善されたシーン検出手順の１つの実施形態を遂行するための追加的な詳細内容は、図１１から図１４に関連して以下に更に説明する。
【００４５】
ここで図１１Ａから１１Ｃを参照すると、本発明の１つの実施形態による、改善された深度推定手順を遂行するための方法ステップのフローチャートが示されている。図１１の実施形態は例示目的であり、別の実施形態において、本発明は、図１１の実施形態に関連して説明するもの以外の種々のステップ及びシーケンスを利用することができる。
【００４６】
図１１Ａの実施形態では、ステップ１１１４において、カメラ１１０は最初に画像１を取り込む。ステップ１１１８において、カメラ１１０のフォーカス設定値を変更する。例えば、図１１Ａの実施形態において、フォーカス設定値は、１つ又はそれ以上の被写界深度（ＤＯＦ）によってカメラ１１０のフォーカスを下げるように調整することができる。ステップ１１２２において、カメラ１１０は、先に取り込んだ画像１よりもぼやけた（ピントがはずれた）デフォーカス画像２を取り込む。
【００４７】
ステップ１１２６において、シーン検出器４２４又は他の適切なエンティティは、ガウスシーンとピルボックスシーンとから選択するための検知閾値を定める。ステップ１１３０において、シーン検出器４２４は、図１０に関連して前述したような、画像１と画像２との間のエッジ領域の平均輝度差を計算する。図１１Ａのプロセスは、次に接続文字「Ａ」を経て図１ｌＢのステップ１１３４に進む。
【００４８】
ステップ１１３４及び１１３８において、シーン検出器４２４は、計算したエッジ領域平均輝度差を規定の検知閾値と比較する。検知閾値を超えない場合、ステップ１１４６において、シーン検出器４２４は、取り込んだ画像１及び画像２をガウスシーンの一部と特定し、ステップ１１５０において、深度推定器４１６（図４）は、ガウスシーンに適する適切な深度推定手順を選択して遂行することができる。
【００４９】
しかしながら、ステップ１１３４及び１１３８において検知閾値を超える場合、ステップ１１４２において、シーン検出器４２４は、取り込んだ画像１及び画像２を候補として特定する。図１１Ｂのプロセスは、次に接続文字「Ｂ」を経て図１１Ｃのステップ１１５４に進む。図１１Ｃのステップ１１５４及び１１５８において、シーン検出器４２４は、前述のステップ１１４２で生じたピルボックスブレ候補に対して改善されたシーン分析手順を遂行して、それによってこれらの検出された結果が正確であることを確認する。
【００５０】
シーン検出器４２４が、ピルボックスブレ候補が正確に分類されていると判定する場合、ステップ１１６２において、シーン検出器４２４は、図１１Ｂのステップ１１４２からのピルボックス検出結果を保持する。しかしながら、シーン検出器４２４が、図１１Ｂのステップ１１４２においてピルボックスブレ候補が不正確に分類されていると判定する場合、ステップ１１６４において、シーン検出器４２４は、ピルボックスブレ候補をガウスブレ画像として再分類する。従って、深度推定器４１６は、適切な深度推定手順を選択して遂行することができる。前述のステップ１１５４の改善されたシーン検出手順を遂行するための追加的な詳細内容は、図１２Ａから図１４Ｂに関連して以下に更に説明する。
【００５１】
ここで図１２Ａを参照すると、本発明の１つの実施形態による、２つのピルボックスブレ画像に関する良好な位置合わせ特性を示す２つの図が示されている。図１２Ａの実施形態は例示目的で示されており、別の実施形態において、本発明は、図１２Ａの実施形態に関連して説明されるもの以外の好な位置合わせ特性を利用することができる。
【００５２】
図１２Ａの実施形態において、図１０に関連して図示して説明したピルボックス画像１０１８及び１０２２と同様の２つのピルボックス画像１２２６及び１２３０に関する側部輪郭１２１４が示されている。側部輪郭１２１４は、更に飽和レベル１２２２を含む。また、図１２Ａの実施形態は、ピルボックス画像１２２６及び１２３０の上部輪郭１２１８を含む。上部輪郭１２１８は、飽和レベル１２２２においてピルボックス画像１２２６がピルボックス画像１２３０の内部中心にある、良好な位置合わせ特性を示す。
【００５３】
本発明によれば、良好な位置合わせは、任意の適切な基準を利用することで定めることができる。例えば、本発明の１つの実施形態において、上部輪郭１２１８は、ブレ画像の一方からの飽和したピクセルの各々が同じピクセル座標位置のブレ画像の他方において同様に飽和する場合に、良好な位置合わせ特性を呈することができる。従って、本発明は、前述の改善されたシーン検出手順の間に位置合わせ分析手順を遂行して、結果的に候補ピルボックスブレ画像を再評価し、場合によっては再分類することができる。位置合わせ分析手順を遂行するための追加的な詳細内容は、図１２Ｂから図１４Ｂに関連して以下に更に説明する。
【００５４】
ここで図１２Ｂを参照すると、本発明の１つの実施形態による、２つのガウスブレ画像に関する良好な位置合わせ特性を示す２つの図が示されている。図１２Ｂの実施形態は例示目的で示されており、別の実施形態において、本発明は、図１２Ｂの実施形態に関連して説明されるもの以外の好な位置合わせ特性を利用することができる。
【００５５】
図１２Ｂの実施形態において、図９に関連して図示して説明したガウス画像９１８及び９５５と類似の２つのガウス画像１２５４及び１２５８に関する側部輪郭１２４２が示されている。側部輪郭１２４２は、更に飽和レベル１２５０を含む。また、図１２Ｂの実施形態は、ガウス画像１２５４及び１２５８の上部輪郭１２４６を含む。上部輪郭１２４６は、飽和レベル１２５０において画像１２５４又は画像１２５８のどちらも他方の画像の内部の中心にない、不良の位置合わせ特性を示す。
【００５６】
本発明によれば、不良の位置合わせは、任意の適切な基準を利用することで定めることができる。例えば、本発明の１つの実施形態において、上部輪郭１２４６は、ブレ画像の一方からの飽和したピクセルの各々が同じピクセル座標位置のブレ画像の他方において同様に飽和しない場合に、不良の位置合わせ特性を呈することができる。従って、本発明は、前述の改善されたシーン検出手順の間に位置合わせ分析手順を遂行して、結果的に候補ピルボックスブレ画像を再評価し、場合によってはガウスブレ画像として再分類することができる。位置合わせ分析手順を遂行するための追加的な詳細内容は、図１４Ｂに関連して以下に更に説明する。
【００５７】
ここで図１３を参照すると、本発明の１つの実施形態による、例示的な較正された半径変化曲線１３１４を示す。図１３の実施形態は例示目的で示されており、別の実施形態において、本発明は、半径比曲線を、図１３の実施形態に関連して説明する特定の構成及びパラメータに加えて又はそれに代えて、構成及びパラメータに利用するように実施することができる。
【００５８】
図１３のグラフは、縦軸にレンズ点広がり関数（ＰＳＦ）のブレ半径サイズを示し、横軸に焦点からの被写界深度（ＤＯＦ）距離を示す。図１３の実施形態において、曲線１３１４は、ＤＯＦ距離上のブレ半径サイズの線形依存性の例である。この線形依存性は、ピルボックスブレ画像の特徴であり、ガウスブレ画像を代表するものではない。この従来の知識を利用して、異なるブレレベルに基づいてブレ半径がどのように変化するかを分析することで、ターゲットシーンのブレタイプの分類を有効に利用できる。
【００５９】
例えば、円形形状のＰＳＦのレンズ系があると想定する。この場合、被写界深度（ＤＯＦ）の鮮明度から、ＰＳＦの半径はＤＯＦ距離に対して線形に変化する。ＰＳＦサイズ及びサポートされるＤＯＦ範囲といったレンズ特性は、特定のシステムに依存することに留意されたい。本発明は、この従来の知識を利用して、ターゲットのシーンがピルボックスブレである可能性が高いか否かを判定するようになっている。
【００６０】
特定の実施形態において、ピルボックスブレ画像の半径は、飽和したピクセルをカウントすることで決定できる。例えば、以下のシーンを考察する、ピルボックスブレの半径（レンズＰＳＦのインパルス応答）は、ターゲット領域内の飽和ピクセル数の平方根で規定することができる。図１３の半径変化曲線１３１４を利用して、レンズＰＳＦの従来の知識（半径の変化／ＤＯＦ距離の変化として表すことができる）を踏まえて、２つのシーンの間のＤＯＦ距離を評価することで、本発明では、ターゲットブレが、ピルボックスブレの可能性が高いか否かを判定することができる。
【００６１】
換言すると、ターゲットブレがピルボックスの場合、ブレサイズが所定のＤＯＦ距離に関して変化する、期待される特性比である必要がある。しかしながら、ガウスブレに関して、特性はランダムであるか又はシーンに依存し、レンズＰＳＦに殆ど無関係であろう。更に、同じシーンに関してブレレベルの異なる２つの画像を取り込んだ想定すると、ブレタイプはピルボックスブレであり、その結果、異なるブレレベルの２つのピルボックスブレは、ほぼ同じ位置に配置されたピルボックスの中心に上手く位置合わせする必要がある。また、この２つの飽和した区域を上手く位置合わせする方法に関する情報は、ブレタイプ分類に寄与するように利用できる。従って、提案したシーン分類は、ガウスブレをピルボックスブレに、又はその逆にするように設計された画像処理アルゴリズムによって引き起こされた、不正確な分類結果を低減する。
【００６２】
従って、本発明は、異なるブレレベルに基づいてブレ画像がどのように変化するかを分析することで、ターゲットシーンのブレタイプを特定するための改善された技術を提供する。これらのブレ画像の変化の分析において、本発明は、飽和したピクセルのカウントス数を利用してピルボックスブレの半径サイズの近似値を求めるようになっている。従って、発明は、飽和したピクセルのカウント数を利用して、ターゲットブレがピルボックスか否かを判定することができる。更に、発明は、異なるブレレベルの２つのピルボックスブレの位置合わせに基づいてピルボックスブレの典型性をチェックすることができる。改善されたシーン検出手順を遂行するための追加的な詳細内容は、図１４Ａ及び１４Ｂに関連して以下に更に説明する。
【００６３】
ここで図１４Ａ及び１４Ｂを参照すると、本発明の１つの実施形態による、改善されたシーン検出手順を遂行するための方法ステップのフローチャートが示されている。本発明の１つの実施形態によれば、図１４Ａは半径分析手順を示し、図１４Ｂは位置合わせ分析手順を示す。特定の実施形態において、図１４Ａ及び１４Ｂの実施形態は、前述の図１１Ｃのステップ１１５４に示した、改善されたシーン分析手順に対応することができる。
【００６４】
図１４の実施形態は例示目的で示されており、別の実施形態において、本発明は、図１４の実施形態に関連して説明したもの以外の種々のステップ及びシーケンスを直ちに利用できる。例えば、図１４Ａの手順又は図ｌ４Ｂの手順の一方を別個に遂行してピルボックスブレ候補の再評価を行うことができる。更に、特定の実施形態において、図１４Ｂの手順は図１４Ａの手順に先だって遂行することができる。
【００６５】
図１４Ａの実施形態のステップ１４１４において、シーン検出器４２４（図４）又は他の適切なエンティティは、最初に、前述の図１１Ｃのステップ１１４２からの２つのピルボックスブレ候補それぞれの、飽和したピクセルの数をカウントする。ステップ１４１８において、図１３に関連して説明したように、シーン検出器４２４は、２つの飽和したピクセルの総数を利用して、２つのピルボックスブレ候補それぞれの半径値を計算する。
【００６６】
ステップ１４２２において、シーン検出器４２４は、２つの半径値を利用してピルボックスブレ候補に関する最新の半径変化率を計算する。ステップ１４２６において、シーン検出器４２４は、最新の半径変化率を所定の較正された半径変化率と比較する。特定の実施形態において、所定の較正された半径変化率は、図１３に関連して説明した較正された半径変化曲線１３１４から得ることができる。
【００６７】
ステップ１４３０において、シーン検出器４２４は、最新の半径変化率が所定の較正された半径変化率に一致するか否かを判定する。一致しない場合、ステップ１４３４において、シーン検出器４２４は、ピルボックスブレ候補をガウスブレとして再分類する。しかしながら、最新の半径変化率が所定の較正された半径変化率と一致する場合、シーン検出器４２４は、２つのピルボックスブレ候補に関する元の検出結果を保持する。図１４Ａのプロセスは接続文字「Ａ」を経て図１４Ｂのステップ１４４２に進む。
【００６８】
図１４Ｂの実施形態のステップ１４４２において、シーン検出器４２４又は他の適切なエンティティは、前述の図１４Ａのステップ１４３８から２つのピルボックスブレ候補にアクセスする。ステップ１４４６において、シーン検出器４２４は、ピルボックスブレ候補に対して位置合わせ分析手順を遂行して、この検出結果が正確であることを再確認する。位置合わせ分析手順は効率的な技術を利用して遂行することができる。例えば、特定の実施形態において、シーン検出器４２４は、図１２Ａ及び１２Ｂに関連して前述したように、ブレ画像の一方からの飽和したピクセルの各々が同じピクセル座標位置の他のブレ画像の他方において同様に飽和するか否かを判定することで、ピルボックスブレ候補に関する位置合わせ特性を評価することができる。
【００６９】
ステップ１４５０において、シーン検出器４２４は、２つのブレ画像が位置合わせされているか否かを判定する。シーン検出器４２４が、ピルボックスブレ候補が正確に分類されたと判定する場合、ステップ１４５４において、シーン検出器４２４は、図１４Ａのステップ１４３８からのピルボックス検出結果を保持する。しかしながら、シーン検出器４２４が、ピルボックスブレ候補が不正確に分類されたと判定する場合、ステップ１４５８において、シーン検出器４２４は、ピルボックスブレ候補をガウスブレ画像として再分類する。従って、深度推定器４１６（図４）は、適切な深度推定手順を選択して遂行することができる。従って、本発明は、深度推定手順を遂行するために改善されたシーン検出を利用する改善されたシステム及び方法を提供する。
【００７０】
以上、いくつかの実施形態を参照しながら本発明について説明した。当業者には本開示に照らして他の実施形態も明らかであろう。例えば、上記の実施形態で説明したもの以外の構成及び技術を使用して本発明を容易に実施することができる。また、上述した以外のシステムとともに本発明を効果的に使用することもできる。従って、説明した実施形態に対するこれらの及びその他の変形も本発明の対象であることが意図され、本発明は添付の特許請求の範囲によってのみ限定される。
【符号の説明】
【００７１】
１１２  ターゲット
１１０  カメラ装置
１１４  取り込みサブシステム
１１８  制御モジュール
【図１】
2014057303.tif 000003
【図２】
2014057303.tif 000004
【図３】
2014057303.tif 000005
【図４】
2014057303.tif 000006
【図５】
2014057303.tif 000007
【図６】
2014057303.tif 000008
【図７】
2014057303.tif 000009
【図８】
2014057303.tif 000010
【図９】
2014057303.tif 000011
【図１０】
2014057303.tif 000012
【図１１Ａ】
2014057303.tif 000013
【図１１Ｂ】
2014057303.tif 000014
【図１１Ｃ】
2014057303.tif 000015
【図１２Ａ】
2014057303.tif 000016
【図１２Ｂ】
2014057303.tif 000017
【図１３】
2014057303.tif 000018
【図１４Ａ】
2014057303.tif 000019
【図１４Ｂ】
2014057303.tif 000020
【外国語明細書】
2014057303000001.pdf