(57)【特許請求の範囲】
【請求項１】
深度推定手順を支援するためのシステムであって、
写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む、前記写真ターゲットの画像を取り込むための取り込みサブシステムと、
前記絞りの対称特性に基づきカーネル設計手順で設計される適応的カーネルと、
前記適応的カーネルを用いて前記深度推定手順を実行する深度推定器と、
を備え、
前記カーネル設計手順は、絞りの形状及び絞りの寸法を含むカメラ絞りデータを取得するステップと、該カメラ絞りデータを解析して前記対称特性を判定するステップとを含み、
前記対称特性が、前記絞りが対称であることを示す場合、ローカル記憶装置に対称カーネル係数が記憶され、
前記カーネル設計手順において非対称カーネル係数が設計され、前記対称特性が、前記絞りが非対称であることを示す場合、前記ローカル記憶装置に前記非対称カーネル係数が記憶され、
前記非対称カーネル係数は、周波数領域カーネル設計手順で設計され、
前記周波数領域カーネル設計手順は、
前記絞りの点像分布関数に高速フーリエ変換を適用するステップと、
前記高速フーリエ変換の水平遮断周波数及び垂直遮断周波数に基づいて水平フィルタ及び垂直フィルタを設計するステップと、
を含み、その後、前記水平フィルタと前記垂直フィルタとを組み合わせて組み合わせフィルタが生成され、該組み合わせフィルタに逆高速フーリエ変換を行って前記適応的カーネルが生成される、
ることを特徴とするシステム。
【請求項２】
深度推定手順を支援するためのシステムであって、
写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む、前記写真ターゲットの画像を取り込むための取り込みサブシステムと、
前記絞りの対称特性に基づきカーネル設計手順で設計される適応的カーネルと、
前記適応的カーネルを用いて前記深度推定手順を実行する深度推定器と、
を備え、
前記カーネル設計手順は、絞りの形状及び絞りの寸法を含むカメラ絞りデータを取得するステップと、該カメラ絞りデータを解析して前記対称特性を判定するステップとを含み、
前記対称特性が、前記絞りが対称であることを示す場合、ローカル記憶装置に対称カーネル係数が記憶され、
前記カーネル設計手順において非対称カーネル係数が設計され、前記対称特性が、前記絞りが非対称であることを示す場合、前記ローカル記憶装置に前記非対称カーネル係数が記憶され、
前記非対称カーネル係数は、空間領域カーネル設計手順で設計され、
前記空間領域カーネル設計手順は、
前記絞りの水平点像分布関数及び垂直点像分布関数に対し空間領域解析を行って、前記絞りの垂直分散値と水平分散値の間の数学的関係を定めるステップと、
前記数学的関係に基づいて、水平フィルタカーネル及び垂直フィルタカーネルを生成するステップと、
を含み、前記水平フィルタカーネルと前記垂直フィルタカーネルをフィルタ組み合わせ処理で組み合わせて前記適応的カーネルが生成される、
ることを特徴とするシステム。
【請求項３】
前記深度推定器及び前記取り込みサブシステムは、デジタルカメラ装置に実装される、ことを特徴とする請求項１に記載のシステム。
【請求項４】
前記深度推定手順から得られる深度値は、前記デジタルカメラのオートフォーカス手順で利用される、
ことを特徴とする請求項３に記載のシステム。
【請求項５】
前記画像は、前記写真ターゲットの焦点ずれしたボケ画像を含む、
ことを特徴とする請求項１に記載のシステム。
【請求項６】
前記深度推定器は、前記深度推定手順の実行中に、前記適応的カーネルを利用して１又はそれ以上の畳み込み手順を実行する、
ことを特徴とする請求項５に記載のシステム。
【請求項７】
前記絞りの対称特性は絞りの形状を含む、
ことを特徴とする請求項１に記載のシステム。
【請求項８】
前記絞りの対称特性は絞りの寸法を含む、
ことを特徴とする請求項１に記載のシステム。
【請求項９】
前記絞りの対称特性は、前記絞りの水平特性を前記絞りの垂直特性と比較することにより解析される、
ことを特徴とする請求項１に記載のシステム。
【請求項１０】
前記深度推定器は、前記絞りの前記対称特性に応じて前記ローカル記憶装置から最適なカーネルを選択する、
ことを特徴とする請求項１に記載のシステム。
【請求項１１】
前記深度推定器は、前記最適なカーネルを利用して前記深度推定手順を実行する、
ことを特徴とする請求項１０に記載のシステム。
【請求項１２】
写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む、前記写真ターゲットの画像を取り込むための取り込みサブシステムを利用するステップと、
前記絞りの対称特性に基づきカーネル設計手順で適応的カーネルを設計するステップと、
前記適応的カーネルを利用して深度推定手順を実行するステップと、
を含み、
前記カーネル設計手順は、絞りの形状及び絞りの寸法を含むカメラ絞りデータを取得するステップと、該カメラ絞りデータを解析して前記対称特性を判定するステップとを含み、
前記対称特性が、前記絞りが対称であることを示す場合、ローカル記憶装置に対称カーネル係数が記憶され、
前記カーネル設計手順において非対称カーネル係数が設計され、前記対称特性が、前記絞りが非対称であることを示す場合、前記ローカル記憶装置に前記非対称カーネル係数が記憶され、
前記非対称カーネル係数は、周波数領域カーネル設計手順で設計され、
前記周波数領域カーネル設計手順は、
前記絞りの点像分布関数に高速フーリエ変換を適用するステップと、
前記高速フーリエ変換の水平遮断周波数及び垂直遮断周波数に基づいて水平フィルタ及び垂直フィルタを設計するステップと、
を含み、その後、前記水平フィルタと前記垂直フィルタとを組み合わせて組み合わせフィルタが生成され、該組み合わせフィルタに逆高速フーリエ変換を行って前記適応的カーネルが生成される、
方法。
【請求項１３】
写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む、前記写真ターゲットの画像を取り込むための取り込みサブシステムを利用するステップと、
前記絞りの対称特性に基づきカーネル設計手順で適応的カーネルを設計するステップと、
前記適応的カーネルを利用して深度推定手順を実行するステップと、
を含み、
前記カーネル設計手順は、絞りの形状及び絞りの寸法を含むカメラ絞りデータを取得するステップと、該カメラ絞りデータを解析して前記対称特性を判定するステップとを含み、
前記対称特性が、前記絞りが対称であることを示す場合、ローカル記憶装置に対称カーネル係数が記憶され、
前記カーネル設計手順において非対称カーネル係数が設計され、前記対称特性が、前記絞りが非対称であることを示す場合、前記ローカル記憶装置に前記非対称カーネル係数が記憶され、
前記非対称カーネル係数は、空間領域カーネル設計手順で設計され、
前記空間領域カーネル設計手順は、
前記絞りの水平点像分布関数及び垂直点像分布関数に対し空間領域解析を行って、前記絞りの垂直分散値と水平分散値の間の数学的関係を定めるステップと、
前記数学的関係に基づいて、水平フィルタカーネル及び垂直フィルタカーネルを生成するステップと、
を含み、前記水平フィルタカーネルと前記垂直フィルタカーネルをフィルタ組み合わせ処理で組み合わせて前記適応的カーネルが生成される、
方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に画像データを解析するための技術に関し、具体的には、適応的カーネルを利用することにより深度推定手順を実行するためのシステム及び方法に関する。
【背景技術】
【０００２】
画像データを解析するための効率的な方法を実装することは、現代の電子装置の設計者及び製造者にとって重要な検討課題である。しかしながら、電子装置を用いて画像データを効率的に解析することにより、システム設計者にとっては多くの課題が生じる可能性がある。例えば、装置の機能及び性能を高める要求が増えることにより、より高いシステム処理能力、及び追加のハードウェアリソースが必要になる可能性がある。処理要件又はハードウェア要件が高まることにより、生産コスト及び経営の非効率性の増加に起因して、対応する不利益な経済的影響がもたらされる可能性もある。
【０００３】
さらに、様々な高度な動作を行うように装置の能力を高めると、システムユーザにさらなる利点がもたらされることもあるが、様々な装置の構成要素の制御及び管理にかかる負担が増える可能性もある。例えば、デジタル画像データを効果的に解析する高度な電子装置は、関連するデジタルデータの量の多さと複雑性により、効果的な実装から恩恵を受けることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第８０４５０４６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
システムリソースに対する需要の伸び、及びデータの大きさの大幅な増加により、画像データを解析するための新たな技術を開発することが、関連する電子技術にとっての懸案事項であることは明らかである。従って、上述した全ての理由から、画像データを解析するための効果的なシステムを開発することは、現代の電子装置の設計者、製造者及びユーザにとって依然として重要な検討課題のままとなっている。
【課題を解決するための手段】
【０００６】
本発明では、適応的カーネルを利用することにより深度推定手順を実行するためのシステム及び方法を開示する。深度推定手順を利用して、対応する写真ターゲット又はシーンの深度マップを作成することができる。カメラの非対称的な絞り形状により、深度マップの非一様性を引き起こすことができる。１つの代表的な深度マップ生成技術に、畳み込みカーネルを用いて２つの画像の焦点ずれしたボケを整合させて深度の間接的推定値を求めるｄｅｐｔｈ−ｆｒｏｍ−ｄｅｆｏｃｕｓ技術がある。従って、畳み込みカーネルは、正確な深度値を得る上で重要な役割を果たす。
【０００７】
本発明の一実施形態では、いずれかの効果的な方法でカメラ絞りデータを取得する。カメラ絞りデータは、以下に限定されるわけではないが、絞りの形状、絞りの寸法、及び絞りの対称特性を含むいずれかの適切な情報を含むことができる。このカメラ絞りデータを、いずれかの効果的な技術を利用して解析することができる。例えば、絞り情報解析は、１又はそれ以上の設計者が手動で行うことも、或いは１又はそれ以上のコンピュータ装置が自動的に行うこともできる。
【０００８】
この結果、絞りが対称又は非対称のいずれであるかを判定する。絞りが対称である場合、カメラのローカルメモリに対称カーネル係数を記憶することができる。一方、絞りが非対称である場合、いずれかの効果的な方法で適切な非対称畳み込みカーネルを設計することができる。例えば、非対称畳み込みカーネルは、１又はそれ以上の設計者が手動で作成することも、或いは１又はそれ以上のコンピュータ装置が自動的に作成することもできる。いくつかの実施形態では、周波数領域カーネル設計法を利用して非対称畳み込みカーネルを設計することができる。他の実施形態では、空間領域カーネル設計法を利用して非対称畳み込みカーネルを設計することができる。結果として得られた非対称カーネル係数を、カメラのローカルメモリに記憶することができる。
【０００９】
カメラは、その後の動作時に、特定の現在のカメラ絞り特性に応じて、メモリから適切な畳み込みカーネルを選択することができる。最後に、カメラは、選択した畳み込みカーネルを利用して畳み込み手順を実行し、確実に深度推定手順を支援することができる。従って、本発明は、適応的畳み込みカーネルを利用することにより深度推定手順を実行するための改善されたシステム及び方法を提供する。
【図面の簡単な説明】
【００１０】
【図１】本発明による、カメラ装置の一実施形態のブロック図である。
【図２】本発明による、図１の取り込みサブシステムの一実施形態のブロック図である。
【図３】本発明による、図１の制御モジュールの一実施形態のブロック図である。
【図４】本発明による、図３のメモリの一実施形態のブロック図である。
【図５Ａ】本発明による、焦点ずれしたボケ画像を取り込むための１つの例示的な実施形態を示す図である。
【図５Ｂ】本発明の一実施形態による、カーネル畳み込み手順を示す図である。
【図５Ｃ】本発明の一実施形態による、例示的な整合曲線のグラフである。
【図６Ａ】本発明の一実施形態による、適応的カーネルを用いて深度推定手順を実行する方法ステップのフローチャートである。
【図６Ｂ】本発明の一実施形態による、適応的カーネルを用いて深度推定手順を実行する方法ステップのフローチャートである。
【図７Ａ】本発明の一実施形態による、周波数領域カーネル設計手順を示す図である。
【図７Ｂ】本発明の一実施形態による、周波数領域カーネル設計手順を示す図である。
【図８Ａ】本発明の一実施形態による、空間領域カーネル設計手順を示す図である。
【図８Ｂ】本発明の一実施形態による、空間領域カーネル設計手順を示す図である。
【図８Ｃ】本発明の一実施形態による、空間領域カーネル設計手順を示す図である。
【発明を実施するための形態】
【００１１】
本発明は、画像データ解析技術の改善に関する。以下の説明は、当業者が本発明を実施して使用できるようにするために提供し、特許出願及びその要件との関連で行うものである。当業者には、開示する実施形態の様々な修正例が容易に明らかになるであろうし、本明細書における一般的な原理を他の実施形態に適用することもできる。従って、本発明は、図示の実施形態に限定されることは意図されておらず、本明細書で説明する原理及び特徴に従う最も広い範囲を許容すべきものである。
【００１２】
本発明は、適応的カーネルを利用することにより深度推定手順を支援するためのシステム及び方法を含み、写真ターゲットの画像を取り込むための取り込みサブシステムを含む。この取り込みサブシステムは、写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む。適応的カーネルは、絞りの対称特性に基づきカーネル設計手順で設計される。適応的カーネルは、周波数領域カーネル設計手順又は空間領域カーネル設計手順のいずれかで設計することができる。この適応的カーネルを深度推定器が利用して深度推定手順を実行する。
【００１３】
ここで図１を参照すると、本発明によるカメラ装置１１０の一実施形態のブロック図を示している。図１の実施形態では、カメラ装置１１０が、以下に限定されるわけではないが、取り込みサブシステム１１４、システムバス１１６、及び制御モジュール１１８を含むことができる。図１の実施形態では、取り込みサブシステム１１４を写真ターゲット１１２に光学的に結合することができ、またシステムバス１１６を介して制御モジュール１１８に電気的に結合することもできる。
【００１４】
別の実施形態では、カメラ装置１１０が、図１の実施形態に関連して説明する構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。また、いくつかの実施形態では、図１のカメラ装置１１０以外のいずれかの適当なタイプの電子装置内で本発明を具体化することもできる。例えば、カメラ装置１１０を、イメージング装置、コンピュータ装置又は消費者電子装置として実装することもできる。
【００１５】
図１の実施形態では、カメラ装置１１０の取り込みサブシステム１１４がターゲット１１２に自動的に焦点を合わせると、カメラユーザは、ターゲット１１２に対応する画像データを取り込むようにカメラ装置１１０に要求することができる。この時、制御モジュール１１８が、システムバス１１６を介して取り込みサブシステム１１４に、ターゲット１１２を表す画像データを取り込むように指示できることが好ましい。その後、この取り込んだ画像データを、システムバス１１６を介して制御モジュール１１８に送信し、これに応答して、制御モジュール１１８は、この画像データを用いて様々な処理及び機能を実行することができる。システムバス１１６は、取り込みサブシステム１１４と制御モジュール１１８の間で様々な状態信号及び制御信号を双方向に受け渡すこともできる。
【００１６】
図２を参照すると、本発明による図１の取り込みサブシステム１１４の一実施形態のブロック図を示している。図２の実施形態では、取り込みサブシステム１１４が、以下に限定されるわけではないが、絞り２１８、レンズ２２０、画像センサ２２４、赤色、緑色及び青色（Ｒ／Ｇ／Ｂ）増幅器２２８、アナログ−デジタル（Ａ／Ｄ）変換器２３０、及びインターフェイス２３２を含むことが好ましい。別の実施形態では、取り込みサブシステム１１４が、図２の実施形態に関連して説明するこれらの構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。
【００１７】
図２の実施形態では、取り込みサブシステム１１４が、光路２３６に沿って画像センサ２２４に衝突する反射光を介して、ターゲット１１２に対応する画像データを取り込むことができる。いくつかの実施形態では、絞り２１８が、画像センサ２２４に到達する反射光の量を調整するように制御可能なシャッター機構を含む。画像センサ２２４は、電荷結合素子（ＣＣＤ）を含むことが好ましく、これに応答して、ターゲット１１２を表す画像データの組を生成することができる。
【００１８】
その後、この画像データは、増幅器２２８、Ａ／Ｄ変換器２３０及びインターフェイス２３２を経由することができる。画像データは、インターフェイス２３２からシステムバス１１６を介して制御モジュール１１８に受け渡され、適切に処理されて記憶される。本発明との関連では、画像データを取り込むために、ＣＭＯＳ又は線形アレイなどの他のタイプの画像取り込みセンサも企図される。カメラ１１０の利用及び機能については、図３〜図８Ｃに関連してさらに後述する。
【００１９】
ここで図３を参照すると、本発明による図１の制御モジュール１１８の一実施形態のブロック図を示している。図３の実施形態では、制御モジュール１１８が、以下に限定されるわけではないが、ファインダ３０８、中央処理装置（ＣＰＵ）３４４、メモリ３４６、及び１又はそれ以上の入力／出力インターフェイス（Ｉ／Ｏ）３４８を含むことが好ましい。ファインダ３０８、ＣＰＵ３４４、メモリ３４６及びＩ／Ｏ３４８の各々は、取り込みサブシステム１１４と通信する共通システムバス１１６を介してやはり取り込みサブシステム１１４に結合され、これと通信することが好ましい。別の実施形態では、制御モジュール１１８が、図３の実施形態に関連して説明するこれらの構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。
【００２０】
図３の実施形態では、ＣＰＵ３４４を、いずれかの適当なマイクロプロセッサ装置を含むように実装することができる。或いは、他の適当な技術を用いてＣＰＵ３４４を実装することもできる。例えば、特定用途向け集積回路（ＡＳＩＣ）又はその他の適当な電子装置を含むようにＣＰＵ３４４を実装することができる。メモリ３４６は、以下に限定されるわけではないが、リードオンリメモリ、ランダムアクセスメモリ、及びフロッピー(登録商標)ディスク装置、ハードディスク装置又はフラッシュメモリなどの様々なタイプの不揮発性メモリを含む１又はそれ以上の適当な記憶装置として実装することができる。Ｉ／Ｏ３４８は、カメラ装置１１０と、システムユーザ又は別の電子装置を含むいずれかの外部エンティティとの間の双方向通信を容易にするための１又はそれ以上の効果的なインターフェイスを提供することができる。Ｉ／Ｏ３４８は、いずれかの適当な入力装置及び／又は出力装置を用いて実装することもできる。制御モジュールの動作及び利用については、図４〜図８Ｃに関連してさらに後述する。
【００２１】
ここで図４を参照すると、本発明による図３のメモリ３４６の一実施形態のブロック図を示している。図４の実施形態では、メモリ３４６が、以下に限定されるわけではないが、カメラアプリケーション４１２、オペレーティングシステム４１４、深度推定器４１６、画像データ４１８、推定データ４２０、オートフォーカスモジュール４２２、及び雑情報４２４を含むことができる。別の実施形態では、メモリ３４６が、図４の実施形態に関連して説明するこれらの構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。
【００２２】
図４の実施形態では、カメラアプリケーション４１２が、好ましくはＣＰＵ３４４（図３）により実行されてカメラ装置１１０の様々な機能及び動作を実行するプログラム命令を含むことができる。カメラアプリケーション４１２の特定の性質及び機能は、対応するカメラ装置１１０のタイプ及び特定の使用法などの因子によって異なることが好ましい。
【００２３】
図４の実施形態では、オペレーティングシステム４１４がカメラ装置１１０の低レベル機能を制御し、調整することが好ましい。本発明によれば、深度推定器４１６は、深度推定手順を制御し、調整して、カメラ装置１１０のオートフォーカス機能を容易にすることができる。図４の実施形態では、画像データ４１８が、カメラ装置１１０が取り込んだ写真ターゲット１１２の１又はそれ以上の画像を含むことができる。推定データ４２０は、深度推定手順を実行するためのあらゆるタイプの情報又はデータを含むことができる。例えば、推定データ４２０は、後述する１又はそれ以上の対称又は非対称畳み込みカーネルを含むことができる。図４の実施形態では、オートフォーカスモジュール４２２が、深度推定手順の結果を利用してカメラ装置１１０のオートフォーカス手順を実行することができる。雑情報４２４は、カメラ装置１１０の動作に関する他のあらゆる適当な情報を含む。深度推定器４１６の動作に関するさらなる詳細については、図５Ａ〜図８Ｃに関連してさらに後述する。
【００２４】
ここで図５Ａを参照すると、本発明による、焦点ずれしたボケ画像５１８を取り込むための１つの例示的な実施形態の図を示している。図５Ａの実施形態は例示目的で示すものであり、別の実施形態では、本発明は、他の様々な構成及び要素を利用して、焦点ずれしたボケ画像５１８を取り込むことができる。
【００２５】
図５Ａの実施形態では、カメラ装置１１０のセンサ２２４（図２を参照）が、深度推定手順を実行するための写真ターゲット又はシーン１１２の焦点ずれしたボケ画像５１８を取り込むことができる。焦点ずれしたボケ画像５１８は、レンズ２２０を、ターゲット１１２、レンズ２２０及びセンサ２２４の相対的な位置に依存する焦点が合った正しいレンズ位置以外の位置に調整することによって生成することができる。
【００２６】
一実施形態では、２つの異なる焦点ずれしたボケ画像５１８を比較して深度推定を得ることができる。互いに１被写界深度だけ離れた２つのボケ画像５１８のボケ差を計算することができる。既知の整合曲線の傾き及びボケ差を利用して、所与のターゲット１１２の深度を求めることができる。深度推定のための焦点ずれしたボケ画像の生成及び利用については、図６〜図８Ｃに関連してさらに後述する。
【００２７】
ここで図５Ｂを参照すると、この図には、本発明の一実施形態によるカーネル畳み込み手順を示している。図５Ｂの実施形態は例示目的で示すものであり、別の実施形態では、本発明は、他の様々な構成及び技術を利用してカーネル畳み込み手順を実行することができる。
【００２８】
図５Ｂの実施形態では、いずれかの効果的な形で実装されるガウス畳み込みカーネル５２２でオリジナル画像５２０を畳み込んで、畳み込み画像５２６を作成することができる。いくつかの実施形態では、カーネル５２２を、オリジナル画像５２０の様々な対応するそれぞれの画素値に各々適用される個々のカーネル係数を有するフィルタ行列として実装することができる。次に、結果として得られた値を組み合わせて、畳み込み画像５２６の畳み込み中心画素値を生成することができる。その後、オリジナル画像５２０の画素毎に畳み込み手順を繰り返して、畳み込み画像５２６を完全に読み込むことができる。深度推定のための畳み込みカーネルの生成及び利用については、図５Ｃ〜図８Ｃに関連してさらに後述する。
【００２９】
ここで図５Ｃを参照すると、本発明の一実施形態による例示的な整合曲線７１４のグラフを示している。図５Ｃの実施形態は例示目的で示すものであり、別の実施形態では、図５Ｃの実施形態に関連して説明するこれらの構成及びパラメータの一部に加え又はこれらの代わりに、様々な構成及びパラメータの整合曲線を利用するように本発明を実装することができる。
【００３０】
いくつかの実施形態では、ボケ画像１と、より焦点ずれの大きなボケ画像２とを取り込み、鮮明な方の画像１をガウス畳み込みカーネル（例えば、分散の少ない３×３のガウス行列）で畳み込んで、畳み込み画像１を生成することができる。この畳み込み画像１をボケ画像２と比較する。この処理を、２つのボケ画像が一致するまで繰り返す。次に、この繰り返し回数を被写界深度（すなわち、１ＤＯＦきざみの画像番号）に対してグラフ化してボケの整合曲線を生成し、これを用いていずれかの焦点ずれした位置から焦点が合った位置までの距離を推定することができる。畳み込みカーネル及び上述した深度推定技術に関するさらなる詳細は、Ｌｉ他に付与された米国特許第８，０４５，０４６号にさらに記載されており、この特許は引用により本明細書に組み入れられる。
【００３１】
ここで図６Ａ〜図６Ｂを参照すると、本発明の一実施形態による、適応的カーネルを用いて深度推定手順を実行する方法ステップのフローチャートを示している。図６の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図６の実施形態に関連して説明するステップ及びシーケンス以外の様々なステップ及びシーケンスを容易に利用することができる。
【００３２】
深度推定手順を利用して、対応する写真ターゲット又はシーンの深度マップを作成することができる。カメラの非対称的な絞り形状により、深度マップの非一様性を頻繁に引き起こすことができる。ほとんどの場合、非対称的な絞り形状は、カメラの点像分布関数（ＰＳＦ）も非対称にする。この結果、これらのカメラを使用して得られる深度マップは、画像方向依存性を示す。本発明を有利に利用して、様々なカメラ絞りの非対称特性を適切に処理できる深度マップアルゴリズムを設計することができる。
【００３３】
実際には、様々な異なる技術を用いて単一の又は複数の画像から深度マップを生成することができる。例えば、ｄｅｐｔｈ  ｆｒｏｍ  ｄｅｆｏｃｕｓ、立体撮像、ｄｅｐｔｈ  ｆｒｏｍ  ｓｈａｄｉｎｇなどから深度情報を回復することができる。１つの代表的な受動的深度マップ生成技術に、ｄｅｐｔｈ  ｆｒｏｍ  ｄｅｆｏｃｕｓ技術（ＤＦＤ）がある。ＤＦＤでは、畳み込みカーネルを用いて２つの画像領域のボケを整合させ、深度の間接的推定値を求める。従って、畳み込みカーネルは、深度値を得る上で重要な役割を果たす。
【００３４】
従来は、カメラ設定に関わらず、対称的かつ一様な畳み込みカーネルが画像全体に適用されていた。カメラのＰＳＦは、例えば絞り設定などのカメラパラメータに依存するので、通常はこれにより問題が生じる。非対称的な絞り形状はＰＳＦを非対称にし、また対称的な畳み込みカーネルは正しい深度を取り込むことができない。本発明は、カメラ絞り情報などの因子に基づく適応的カーネルの設計及び利用を効果的に支援し、従って一様な、整合性のある、信頼性の高い深度マップが得られるようになる。
【００３５】
図６Ａの実施形態では、ステップ６１４において、いずれかの効果的な方法でカメラ絞りデータを取得する。カメラ絞りデータは、以下に限定されるわけではないが、絞りの形状、絞りの寸法、及び絞りの対称特性を含むいずれかの適切な情報を含むことができる。ステップ６１８において、いずれかの効果的な技術を用いてカメラ絞りデータを解析することができる。例えば、絞り情報の解析は、１又はそれ以上の設計者が手動で行うことも、或いは１又はそれ以上のコンピュータ装置が自動的に行うこともできる。
【００３６】
ステップ６２２において、絞りが対称又は非対称のいずれであるかを判定する。絞りが対称である場合、カメラ装置１１０のメモリ３４６（図３）に対称カーネル係数を記憶し、図６Ａの処理は、接続文字「Ｂ」を通じて図６Ｂのステップ６４２に進む。一方、絞りが非対称である場合、図６Ａの処理は、接続文字「Ａ」を通じて図６Ｂのステップ６３０に進む。
【００３７】
ステップ６３０において、いずれかの効果的な方法で適切な非対称畳み込みカーネルを設計することができる。例えば、非対称畳み込みカーネルは、１又はそれ以上の設計者が手動で作成することも、或いは１又はそれ以上のコンピュータ装置が自動的に作成することもできる。いくつかの実施形態では、周波数領域カーネル設計法を利用して非対称畳み込みカーネルを設計することができる。また、他の実施形態では、空間領域カーネル設計法を利用して非対称畳み込みカーネルを設計することもできる。ステップ６３４において、結果として得られた非対称カーネル係数をカメラ装置１１０のメモリ３４６（図３）に記憶することができる。
【００３８】
次に、ステップ６３８において、カメラ装置１１０は、特定の現在のカメラ絞り特性に応じて、メモリ３４６から適切な畳み込みカーネルを選択することができる。最後に、ステップ６４２において、カメラ装置１１０は、選択した畳み込みカーネルを利用して適切な畳み込み手順を実行し、深度推定手順を支援することができる。図６の処理は終了することができる。従って、本発明は、適応的畳み込みカーネルを利用することにより深度推定手順を実行するための改善されたシステム及び方法を提供する。
【００３９】
ここで図７Ａ〜図７Ｂを参照すると、これらの図には、本発明の一実施形態による周波数領域カーネル設計手順を示している。図７の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図７の実施形態に関連して説明する要素及び構成以外の要素及び構成を用いてカーネル設計手順を実行することができる。
【００４０】
図７Ａの実施形態では、非対称的な絞り７１２のグラフを空間領域で示している。図７Ａの実施形態では、垂直軸Ｙ上に第１の絞り寸法を示し、水平軸Ｘ上に第２の絞り寸法を示す。図７Ａの実施形態では、絞り７１２が、水平寸法「ａ」７１８及び垂直寸法「ｂ」７１４を含む。図７Ａに示すように、水平寸法「ａ」７１８と垂直寸法「ｂ」７１４は等しくなく、絞り７１２を非対称にしている。
【００４１】
図７Ｂの実施形態では、図７Ａの非対称絞り７１２の周波数領域における表現７２２を示している。いくつかの実施形態では、図７Ａの空間領域絞り７１２に適切な高速フーリエ変換（ＦＦＴ）を適用することにより、図７Ｂの表現７２２を生成することができる。図７Ａの実施形態では、垂直軸Ｆｖ上に垂直周波数を示し、水平軸Ｆｕ上に水平周波数を示す。図７Ｂの実施形態では、表現７２２が、水平帯域幅「Ｂｕ」７３０及び垂直帯域幅「Ｂｖ」７２６を含む。
【００４２】
図７Ｂの実施形態では、水平帯域幅「Ｂｕ」７３０が図７Ａの水平寸法「ａ」７１８に対応し、垂直帯域幅「Ｂｖ」７２６が図７Ａの垂直寸法「ｂ」７１４に対応する。図７Ｂの実施形態では、水平帯域幅「Ｂｕ」７３０が水平遮断周波数７３８により制限され、垂直帯域幅「Ｂｖ」７２６は垂直遮断周波数７３４により制限される。周波数変数「Ｂｕ」及び「Ｂｖ」は、帯域幅特性（絞りがどれほどの周波数をサポートできるか）を表す。これらの遮断周波数を利用して、これら２つの帯域幅に合わせたフィルタカーネルを設計することができる。あらゆる標準的な又は高度なフィルタ設計技術を利用することができる。次に、これらの情報を組み合わせて、非対称畳み込みカーネルを生成しなければならない。
【００４３】
実際には、最初に絞り７１２（図７Ａ）の点像分布関数（ＰＳＦ）にＦＦＴを適用する。次に、水平遮断周波数及び垂直遮断周波数に基づいて水平フィルタ及び垂直フィルタを設計することができる。その後、水平フィルタと垂直フィルタを組み合わせて組み合わせフィルタを生成する。組み合わせフィルタに逆ＦＦＴを実行して非対称畳み込みカーネルを生成する。いくつかの実施形態では、元々のカーネルが一定のカーネルサイズを超える場合、縮小サイズのカーネルを用いて畳み込みカーネルを近似させることが必要となり得る。
【００４４】
ここで図８Ａ〜図８Ｃを参照すると、これらの図には、本発明の一実施形態による空間領域カーネル設計手順を示している。図８の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図８の実施形態に関連して説明する要素及び技術以外の要素及び技術を利用してカーネル設計手順を実行することができる。
【００４５】
図８Ａの実施形態には、水平テストページ画像８１６を示している。また、画像８１６に対応する空間領域の非対称絞り８１２のグラフも示している。同様に、図８Ｂの実施形態には、垂直テストページ画像８２４を示している。また、画像８２６に対応する空間領域の非対称絞り８２０のグラフも示している。垂直テストページ画像８２４は、水平テストページ画像８１６を９０度回転させたものである。
【００４６】
水平テストページ画像８１６を使用する場合、焦点ずれしたボケは垂直方向（Ｙ）に存在し、繰り返し回数は垂直方向のＰＳＦ分散に比例する。垂直テストページ画像８２４を使用する場合、焦点ずれしたボケは水平方向（Ｘ）に存在し、繰り返し回数は水平方向のＰＳＦ分散に比例する。本発明によれば、図８Ｃに関連してさらに後述するように、図８Ａ及び図８Ｂの実施形態の空間解析を行って非対称畳み込みカーネルを生成することができる。
【００４７】
図８Ｃの実施形態は例示目的示すものであり、別の実施形態では、本発明は、図８の実施形態に関連して説明する要素及び技術以外の要素及び技術を利用してカーネル設計手順を実行することができる。例えば、図８Ｃの例に示す様々な特定の計算値又は実装値は、他のいずれかの効果的な又は適切な計算値又は実装値に置き換えることができる。
【００４８】
図８Ｃの例は、水平フィルタカーネル８２８、垂直フィルタカーネル８３２、水平−垂直フィルタ組み合わせ処理８３６、及び最終的非対称畳み込みカーネル８４０を含む。本発明の一実施形態によれば、上述した図８Ａ及び図８Ｂの実施形態に対して空間領域解析を行い、以下の変数に従って非対称畳み込みカーネル８４０を定義するための表現式（以下の式１を参照）を生成することができる。
0005988068.tif 000002
0005988068.tif 000003
式中、
0005988068.tif 000004
＝水平テストページ及び［１６１］カーネルを用いた繰り返し回数
0005988068.tif 000005
＝垂直テストページ及び［１６１］カーネルを用いた繰り返し回数
0005988068.tif 000006
＝［１６１］カーネルの分散
0005988068.tif 000007
＝水平（Ｘ）方向に沿ったボケのガウス近似
0005988068.tif 000008
＝垂直（Ｙ）方向に沿ったボケのガウス近似
0005988068.tif 000009
［式１］
【００４９】
従って、図８の例では、式１により、垂直分散値と水平分散値の間にほぼ２対１の関係が存在すべきであることが示される。従って、本発明の一実施形態によれば、図８Ｃの例では、水平−垂直フィルタ組み合わせ処理８３６において水平フィルタカーネル８２８と垂直フィルタカーネル８３２を組み合わせて、最終的非対称畳み込みカーネル８４０が生成される。
【００５０】
以上、いくつかの実施形態を参照しながら本発明を説明した。当業者には、本開示に照らして他の実施形態が明らかであろう。例えば、上記の実施形態で説明した構成及び技術以外の構成及び技術を用いて本発明を容易に実装することもできる。また、上記に説明したシステム以外のシステムと共に本発明を効果的に使用することもできる。従って、添付の特許請求の範囲によってのみ限定される本発明には、説明した実施形態に対するこれらの及びその他の変形形態も含まれることが意図されている。
【符号の説明】
【００５１】
１１０  カメラ装置
１１２  ターゲット
１１４  取り込みサブシステム
１１６  システムバス
１１８  制御モジュール
【図１】
0005988068.tif 000010
【図２】
0005988068.tif 000011
【図３】
0005988068.tif 000012
【図４】
0005988068.tif 000013
【図５Ａ】
0005988068.tif 000014
【図５Ｂ】
0005988068.tif 000015
【図５Ｃ】
0005988068.tif 000016
【図６Ａ】
0005988068.tif 000017
【図６Ｂ】
0005988068.tif 000018
【図７Ａ】
0005988068.tif 000019
【図７Ｂ】
0005988068.tif 000020
【図８Ａ】
0005988068.tif 000021
【図８Ｂ】
0005988068.tif 000022
【図８Ｃ】
0005988068.tif 000023