(57)【要約】【課題】デジタルイメージングにおいては、物体にフォーカスする種々の方法あるが、実装においてはいくつかの難点があり、これらの改善が望まれている。【解決手段】１又は複数の画像を含むコンテンツを取得する段階、前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、大きいぼやけ画像を除去する段階、そして、残りの小さいぼやけ画像の焦点の合った画像を決定する段階を含む。大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている。大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される。【選択図】  図１
2019508921.tif 000002
【特許請求の範囲】
【請求項１】
デバイスの非一時的記憶媒体にプログラムされた方法であって、
ａ．１又は複数の画像を含むコンテンツを取得する段階、
ｂ．前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、
ｃ．大きいぼやけ画像を除去する段階、
ｄ．残りの小さいぼやけ画像の焦点の合った画像を決定する段階、
を含む方法。
【請求項２】
前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、請求項１に記載の方法。
【請求項３】
前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、請求項１に記載の方法。
【請求項４】
前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、請求項１に記載の方法。
【請求項５】
前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、請求項４に記載の方法。
【請求項６】
前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、請求項１に記載の方法。
【請求項７】
前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、請求項１に記載の方法。
【請求項８】
残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する、請求項１に記載の方法。
【請求項９】
前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、携帯型コンピュータ、パーソナルデジタルアシスタンス、セルラー／携帯電話、スマートフォン、スマート家電、ゲーム用コンソール、デジタルカメラ、デジタルカムコーダ、カメラ電話、携帯音楽プレーヤ、タブレットコンピュータ、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、テレビ、ホームエンタテインメントシステムからなる群から選択されたものである、請求項１に記載の方法。
【請求項１０】
カメラデバイスの非一時的記憶媒体にプログラムされたシステムであって、
ａ．１又は複数の画像を含むコンテンツを光景から取得するよう構成されたセンサと、
ｂ．  i．前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、
ii．大きいぼやけ画像を除去する段階、
iii．残りの小さいぼやけ画像の焦点の合った画像を決定する段階、
を実行するコンピューティングモジュールと、
を含むシステム。
【請求項１１】
前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、請求項１０に記載のシステム。
【請求項１２】
前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、請求項１０に記載のシステム。
【請求項１３】
前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、請求項１０に記載のシステム。
【請求項１４】
前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、請求項１３に記載のシステム。
【請求項１５】
前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、請求項１０に記載のシステム。
【請求項１６】
前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、請求項１０に記載のシステム。
【請求項１７】
残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する、請求項１０に記載のシステム。
【請求項１８】
カメラデバイスであって、
ａ．１又は複数の画像を含むコンテンツを光景から取得するセンサと、
ｂ．  i．前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、
ii．大きいぼやけ画像を除去する段階、
iii．残りの小さいぼやけ画像の焦点の合った画像を決定する段階、
を実行するアプリケーションを記憶するためのメモリと、
ｃ．前記アプリケーションを処理するプロセッサと、
を含むカメラデバイス。
【請求項１９】
前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、請求項１８に記載のカメラデバイス。
【請求項２０】
前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、請求項１８に記載のカメラデバイス。
【請求項２１】
前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、請求項１８に記載のカメラデバイス。
【請求項２２】
前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、請求項２１に記載のカメラデバイス。
【請求項２３】
前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、請求項１８に記載のカメラデバイス。
【請求項２４】
前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、請求項１６に記載のカメラデバイス。
【請求項２５】
残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する、請求項１８に記載のカメラデバイス。
【請求項２６】
デバイスの非一時的記憶媒体にプログラムされた方法であって、
ａ．前記デバイスを用いて一連の画像を取得する段階と、
ｂ．チェビシェフ・モーメント比を用いて、前記一連の画像を使って深度マップを生成する段階と、
を含む方法。
【請求項２７】
前記一連の画像の各画像は、異なるレンズ設定で撮られたものである、請求項２６に記載の方法。
【請求項２８】
前記一連の画像の各画像は、小さい複数のブロックに分けられ、焦点が合ったレンズ位置によって各ブロックの深度を表す、請求項２６に記載の方法。
【請求項２９】
前記チェビシェフ・モーメント比は、前記一連の画像の中から最も鮮明な画像を見出すためのフォーカス測定として用いられる、請求項２６に記載の方法。
【請求項３０】
前記深度マップを生成する段階は、最初に低解像度の滑らかな深度マップを生成し、次に前記低解像度の滑らかな深度マップを順次高い解像度の深度マップにリファインすることを含み、ここで粗いレベルにおいては、チェビシェフ・モーメント比の妥当性を確実にするために、ブロックサイズはテクスチャを含むよう十分に大きく、大きい画像ブロックは、各ブロックにおけるオブジェクトが同じ深度となるまで、連続的により小さいブロックに分割される、請求項２９に記載の方法。
【請求項３１】
一連の画像のチェビシェフモーメント比の曲線形状を調べる段階と、チェビシェフモーメント比の曲線が複数の局所最大値を有し、それらの中に突出したものがないようにすべの局所最大値が大きい場合は、チェビシェフモーメント比を比較することによって見出された焦点合わせされた画像は信頼できないと決定され、ある画像の断片に対するチェビシェフモーメント比が妥当でないと決定された場合は、低いレベルからの結果が、信頼できないとされた結果に置き換えられて用いられる段階と、をさらに含む請求項３０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージング（imaging）の分野、より詳細には、フォーカス検出に関する。
【背景技術】
【０００２】
デジタルイメージングにおいては、物体にフォーカスする種々の方法がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、実装においてはいくつかの難点があり、これらの改善が望まれている。
【課題を解決するための手段】
【０００４】
フォーカス検出は、画像の焦点が合っているか否かを決定する。フォーカス検出は、カメラのオートフォーカス性能を改善するのに用いることが可能である。１つの特徴だけを使用するフォーカス検出では、焦点が合っている画像と僅かに焦点がずれた画像とを識別するための十分な信頼性を与えることはできない。ここでは、鮮明さを評価するために使用された複数の特徴を組み合わせたフォーカス検出アルゴリズムについて説明する。焦点がずれた画像から焦点があった画像を隔てるためのフォーカス検出器を開発するために、焦点が合った画像及び焦点がずれた画像を伴う大きい画像データセットが使用される。鮮明さを評価しそして大きいぼやけ画像（blur images）を決定するために、反復ぼやけ推定（iterative blur estimation）、ＦＦＴリニアリティ、エッジ・パーセンテージ（edge percentage）、ウェーブレット・エネルギ比（wavelet energy ratio）、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比（Chebyshev moment ratio）、色収差特徴（chromatic aberration features）といった多くの特徴を使用することが可能である。
【０００５】
一つの観点において、デバイスの非一時的記憶媒体にプログラムされた方法は、デバイスの非一時的記憶媒体にプログラムされた方法であって、１又は複数の画像を含むコンテンツを取得する段階、前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、大きいぼやけ画像を除去する段階、そして、残りの小さいぼやけ画像の焦点の合った画像を決定する段階、を含む。前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている。前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む。前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む。残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する。前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、携帯型コンピュータ、パーソナルデジタルアシスタンス、セルラー／携帯電話、スマートフォン、スマート家電、ゲーム用コンソール、デジタルカメラ、デジタルカムコーダ、カメラ電話、携帯音楽プレーヤ、タブレットコンピュータ、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、テレビ、ホームエンタテインメントシステムからなる群から選択されたものである。
【０００６】
別の観点では、カメラデバイスの非一時的記憶媒体にプログラムされたシステムは、１又は複数の画像を含むコンテンツを光景から取得するよう構成されたセンサと、前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、大きいぼやけ画像を除去する段階、残りの小さいぼやけ画像の焦点の合った画像を決定する段階、を実行するコンピューティングモジュールと、を含む。前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている。前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む。前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む。残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する。
【０００７】
別の観点では、カメラデバイスは、１又は複数の画像を含むコンテンツを光景から取得するセンサと、前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、大きいぼやけ画像を除去する段階、残りの小さいぼやけ画像の焦点の合った画像を決定する段階を実行するアプリケーションを記憶するためのメモリと、前記アプリケーションを処理するプロセッサと、を含む。前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている。前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む。前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む。残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する。
【０００８】
別の観点では、デバイスの非一時的記憶媒体にプログラムされた方法は、前記デバイスを用いて一連の画像を取得する段階と、チェビシェフ・モーメント比を用いて、前記一連の画像を使って深度マップを生成する段階と、を含む。前記一連の画像の各画像は、異なるレンズ設定で撮られたものである。前記一連の画像の各画像は、小さい複数のブロックに分けられ、焦点が合ったレンズ位置によって各ブロックの深度を表す。前記チェビシェフ・モーメント比は、前記一連の画像の中から最も鮮明な画像を見出すためのフォーカス測定として用いられる。前記深度マップを生成する段階は、最初に低解像度の滑らかな深度マップを生成し、次に前記低解像度の滑らかな深度マップを順次高い解像度の深度マップにリファインすることを含み、ここで粗いレベルにおいては、チェビシェフ・モーメント比の妥当性を確実にするために、ブロックサイズはテクスチャを含むよう十分に大きく、大きい画像ブロックは、各ブロックにおけるオブジェクトが同じ深度となるまで、連続的により小さいブロックに分割される。前記方法は、さらに、一連の画像のチェビシェフモーメント比の曲線形状を調べる段階と、チェビシェフモーメント比の曲線が複数の局所最大値を有し、それらの中に突出したものがないようにすべの局所最大値が大きい場合は、チェビシェフモーメント比を比較することによって見出された焦点合わせされた画像は信頼できないと決定され、ある画像の断片に対するチェビシェフモーメント比が妥当でないと決定された場合は、低いレベルからの結果が、信頼できないとされた結果に置き換えられて用いられる段階と、を含む。
【図面の簡単な説明】
【０００９】
【図１】いくつかの実施形態に従った、大きいぼやけ画像を決定するブロックズである。
【図２】いくつかの実施形態に従った、小さいぼやけ画像のチャートとＤＯＦに対する頻度を示した図である。
【図３】いくつかの実施形態に従った、反復畳み込みを使用するチャート及び色収差を示した図である。
【図４】いくつかの実施形態に従った、多変数ガウス分布を用いてモデル化した色収差を伴う多次元特徴からの焦点の合った画像サンプルのチャートである。
【図５】いくつかの実施形態に従った、ウェーブレット・エネルギ比に対する画像の頻度のチャートである。
【図６】いくつかの実施形態に従った、ウェーブレット変換計算のためのブロックの図である。
【図７】いくつかの実施形態に従った、ウェーブレット・エネルギ比の応用の一例を示す図である。
【図８】いくつかの実施形態に従った、色収差の一例を示す図である。
【図９】いくつかの実施形態に従った、別の色収差とぼかした例を示す図である。
【図１０】いくつかの実施形態に従った、フレームワーク内の赤チャネルでのウェーブレット・エネルギ比の応用の例を示した図である。
【図１１】いくつかの実施形態に従った、赤チャネルと緑チャネルの間の鮮明さの違いの例を示した図である。
【図１２】いくつかの実施形態に従った、単一画像のフォーカスを決定する方法のフローチャートである。
【図１３】いくつかの実施形態に従った、焦点が合った画像と焦点がずれた画像のグラフを示す。
【図１４】いくつかの実施形態に従った、スペクトルの線形性の例を示している。
【図１５】いくつかの実施形態に従った、線形回帰勾配及びスペクトル線形性と線形回帰勾配との組み合わせのグラフを示している。
【図１６】いくつかの実施形態に従った、典型的な深度を示している。
【図１７】いくつかの実施形態に従った、ぼやけのレベルが変化する画像の例を示している。
【図１８】いくつかの実施形態に従った、チャビシャフ・モーメント比の図を示している。
【図１９】いくつかの実施形態に従った、チャビシャフ・モーメント比を計算する図を示している。
【図２０】いくつかの実施形態に従った、ブロックをより小さいブロックに分割する図を示している。
【図２１】いくつかの実施形態に従った、複数の深度の例を示している。
【図２２】いくつかの実施形態に従った、チャビシャフ・モーメント比のグラフを示している。
【図２３】いくつかの実施形態に従った、異なるレベルの深度マップの図を示している。
【図２４】いくつかの実施形態に従った、フォーカス検出方法のフローチャートを示している。
【図２５】いくつかの実施形態に従った、フォーカス検出方法を実装するよう構成された典型的なコンピューティングデバイスのブロック図を示している。
【発明を実施するための形態】
【００１０】
フォーカス検出は、画像の焦点が合っているか否かを決定するものである。フォーカス検出は、カメラのオートフォーカス性能を改善するのに使用することができる。１つの特徴だけを使用するフォーカス検出では、焦点が合っている画像と僅かに焦点がずれた画像とを識別するための十分な信頼性を与えることはできない。ここでは、鮮明さを評価するために使用される複数の特徴を組み合わせたフォーカス検出アルゴリズムについて説明する。焦点がずれた画像から焦点があった画像を分けるためのフォーカス検出器を開発するために、焦点が合った画像及び焦点がずれた画像を伴う大きい画像データセットが使用される。
【００１１】
フォーカス検出のトレーニング方法には、焦点の合った画像及び焦点のずれた画像の画像サンプルを収集すること、各特徴出力に対し閾値を適用することによって「大きいぼやけ」画像を除去し、第２ステップで残りの「小さいぼやけ」画像から焦点の合った画像を検出する。
【００１２】
「大きいぼやけ」画像とは、焦点の合った画像からかけ離れた（例えば、１０被写界深度（ＤＯＦ）離れている）画像である。大きいぼやけを検出する目的は、残りの小さいぼやけ画像が統計モデルに従うように、大きいぼやけを除去することである。
【００１３】
図１は、いくつかの実施形態に従った、大きいぼやけ画像を決定するブロック図を示している。反復ぼやけ推定（iterative blur estimation）、ＦＦＴリニアリティ、エッジ・パーセンテージ（edge percentage）、ウェーブレット・エネルギ比（wavelet energy ratio）、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比（Chebyshev moment ratio）、色収差（chromatic aberration）といった多くの特徴を、鮮明さを評価するために、及び大きいぼやけ画像を決定するために用いることができる。ここで、反復ぼやけ推定については、２０１５年月２１日提出の「Defocus Estimation for Single Image Based on Laplacian of Gaussian Approximation」と題された米国特許出願番号１４／８３２，７８１において説明されており、参照によりその全体がここに組み込まれているものとする。
【００１４】
図２は、いくつかの実施形態に従った、小さいぼやけ画像のチャートとＤＯＦに対する頻度を示している。図３は、いくつかの実施形態に従った、反復畳み込みを使用するチャート及び色収差を示している。ＲとＧの間のほとんどの差の値は、０及び１である。
【００１５】
統計モデルにおいて、小さいぼやけ画像の組が、反復数の差の値（０及び１）のそれぞれに対して定義される。定義された画像の組のそれぞれに対して、５つの色収差特徴を伴うガウスモデルが形成される。この５つの色収差特徴は、スペクトルの線形性、スペクトルの勾配、ウェーブレット・エネルギ比、局所コントラスト、及び、ウェーブレットに基づく色収差である。
【００１６】
平均及び共分散マトリクス
【数１】
2019508921.tif 000003
【００１７】
５次元多変数ガウス分布
【数２】
2019508921.tif 000004
【００１８】
反復数の差＝０を伴う焦点の合った画像に対して
【数３】
2019508921.tif 000005
【００１９】
反復数の差＝１を伴う焦点の合った画像に対して
多変数ガウスモデル
ガウス分布：
【数４】
2019508921.tif 000006
ここで、
【数５】
2019508921.tif 000007
である。ｃ（Ｘ）は、ガウス分布の中央への距離を見積もり、組み合わされた色彩の特徴として使用することができる。同じ楕円において、ｃ（Ｘ）は定数値を有する。より小さい楕円では、ｃ（Ｘ）は小さくなる。図４は、いくつかの実施形態に従った、多変数ガウス分布を用いてモデル化した色収差を伴う多次元特徴からの焦点の合った画像のサンプルのグラフである。
【００２０】
非色彩特徴
以下の特徴、すなわち、スペクトルの線形性、スペクトルの勾配、エネルギパーセンテージ、及び、ウェーブレット・エネルギ比のそれぞれに対する焦点の合った画像は、ガウス分布を用いてモデル化することができる。スペクトルの線形性を除いて、より小さい値が焦点の合った状態に近くなるように、これらの特徴の符号は反転される。いくつかの実施形態に従った、ウェーブレット・エネルギ比に対する画像の頻度のチャートを示している。
【００２１】
非色彩特徴の線形結合
【数６】
2019508921.tif 000008
【数７】
2019508921.tif 000009
反復数の差＝０を伴う焦点の合った画像に対して
【数８】
2019508921.tif 000010
反復数の差＝１を伴う焦点の合った画像に対して
【００２２】
反復数の差、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴に対して閾値が設定される。
【００２３】
色収差を用いた単一写真カメラの焦点検出の方法
デジタルカメラでは、オートフォーカス時には、フォーカス窓における被写体に焦点があっているかどうかを評価することがしばしば重要である。典型的には、異なるレンズ位置において複数の画像が取られ、これら複数の画像の間で鮮明さ又はコントラストを比較して被写体に焦点が合っているかどうかを決定する。ここで説明されるように、焦点は、単一の画像によって決定される。任意のデジタルカメラのすべてのレンズに存在する色収差の大きさを用いて、被写体に焦点が合っているかを決定する。
【００２４】
画像の各ウェーブレットのサブバンドにおけるエネルギに基づく鮮明さの測定が決定される。３つの色チャネル（赤、緑、青）のそれぞれに対する鮮明さが計算される。色収差によって、赤、緑、青のチャネルの鮮明さは、焦点面のいずれかの側において異なる。例えば、赤チャネルは、焦点面の１つの側において常に緑チャネルよりも鮮明であるが、他方の側ではより不鮮明である。しかし焦点面において、異なるチャネルにおける鮮明さの差は最小である。色チャネルの間における鮮明さの差を計算することによって、焦点が合った画像と焦点が合っていない画像とを区別することが可能である。
【００２５】
ぼやけ／鮮明さの計量（metric）は、画像のコンテンツ及びエッジのタイプによって大きく変化する。しかし、２つ色チャネルの間の差の変化は、より小さい。このため、色チャネルの間において強い相関が存在する。例えば、赤チャネルが階段状のエッジだとしたらち、緑チャネルも階段状のエッジである可能性が高い。赤チャネルがテクスチャであるとると、緑チャネルもテクスチャである可能性が高い。階段状のエッジ及びテクスチャ画像の不鮮明さの計量は大きく異なる可能性があるが、階段状のエッジ及びテクスチャ画像の赤チャネルと緑チャネルの間の不鮮明さの計量の差は、大きく異ならない。
【００２６】
入力画像が取得され、そのＬレベルのウェーブレット変換Ｗが計算される。Ｗl,h（ｉ，ｊ）を用いて、レベルｌ、ピクセル位置における水平バンドウェーブレット係数を表す。同様に、Ｗl,v（ｉ，ｊ）を用いて、垂直バンドウェーブレット係数を表し、Ｗl,d（ｉ，ｊ）を用いて、対角バンドウェーブレット係数を表す。また、ｌ＝１は、最も精細なレベルを表し、ｌ＝Ｌは最も粗いレベルを表すのに用いる。以下のウェーブレット・エネルギ比が計算される。
【００２７】
【数９】
2019508921.tif 000011
ここで、ｓは、鮮明さ／ぼやけの目安である。ｓが小さいと画像が鮮明あるいは焦点位置に近いことを意味する。ウェーブレット・エネルギ比は、すべてのウェーブレットの詳細な係数のエネルギの合計と、最も精細なレベルのウェーブレットの詳細な係数のエネルギの合計との比である。焦点が合った位置では、高い周波数のバンド（最も精細なレベル）におけるエネルギが大きいパーセンテージを占める。しかし、焦点が合っていない位置では、高い周波数のバンドにおけるエネルギが占めるパーセンテージは小さい。図６は、いくつかの実施形態に従った、ウェーブレット変換の計算に対するブロックの図を示している。
【００２８】
図７は、いくつかの実施形態に従った、ウェーブレット・エネルギ比の応用の一例を示している。この図から分かるように、焦点が合った位置における鮮明さの値は、画像に対して非常に異なっている。
【００２９】
図８は、いくつかの実施形態に従った、色収差の一例を示している。レンズの色収差は、赤チャネルと緑チャネルの鮮明さに違いを生じさせる。左側の画像は、緑色を帯びたエッジを伴う焦点の後ろ側のオブジェクトを示している。右側の画像は、赤みを帯びたエッジを伴う焦点の前におけるオブジェクトを示している。中央の画像は焦点が合っている。図９は、いくつかの実施形態に従った、別の色収差とぼかした例を示している。
【００３０】
色収差を用いたフォーカス検出には、緑チャネル及び赤チャネルの鮮明さの間における絶対差を計算することが含まれる。この差は、焦点を決定するのに用いることができる。この差が小さければ（絶対値で）、焦点に近いことを示す。
【００３１】
図１０は、いくつかの実施形態に従った、フレームワーク内の赤チャネルでのウェーブレット・エネルギ比の応用の例を示した図である。１つの光景における焦点の合った状態で、別の光景における焦点のあっていない状態で、同じウェーブレット・エネルギ比が考慮される。この例は、画像のコンテンツによって鮮明さ／ぼやけの計量の大きい変化を示している。
【００３２】
図１１は、いくつかの実施形態に従った、赤チャネルと緑チャネルの間の鮮明さの違いの例を示している。鮮明さにおける違いを焦点の測定として用いることで、光景の変化を大きく低減する。
【００３３】
図１２は、いくつかの実施形態に従った、単一画像のフォーカスを決定する方法のフローチャートを示している。ステップ１２００において、画像を取得する。ステップ１２０２において、その画像の赤チャネルに対してウェーブレット・エネルギ比を計算する。ステップ１２０４において、その画像の緑チャネルに対してウェーブレット・エネルギ比を計算する。ステップ１２０６において、ウェーブレット・エネルギ比の差を計算する。ステップ１２０８において、この差を閾値と比較する。もしこの差が閾値よりも高ければ、画像は焦点が合っておらず、もし小沼さが閾値と等しいか低ければ、画像の焦点は合っている。この閾値は、経験的に決定された閾値や、異なるそれぞれのカメラ、レンズ、アパチャ、及びズーム設定に対してマ光景ラーニングを用いて訓練された閾値など、どのような閾値でもよい。
【００３４】
パワースペクトルを用いたフォーカス検出
自然な画像は、フラクタルから作られていると考えられる。画像のパワースペクトルは、１／ｆ2に従って減少する。図１３は、いくつかの実施形態に従った、焦点が合った画像と焦点がずれた画像のグラフを示している。
【００３５】
パワースペクトルを用いてフォーカス検出を実行するために、以下のステップが実行される。焦点領域の高速フーリエ変換（ＦＦＴ）を行う。周波数０の周囲のＦＦＴ係数の大きさの放射状（radial）平均をとる。画像の焦点が合った場合に曲線が線形となるように、大きさと周波数両方の対数をとる。線形回帰を計算する。線形性を測定するために線形回帰の結果とＦＦＴ係数の曲線の間の誤差を計算する。線形性誤差と、線形回帰の結果の勾配との線形結合を用いてフォーカス検出を行う。図１４は、いくつかの実施形態に従った、スペクトルの線形性の例を示している。
【００３６】
いくつかの実施形態において、線形性誤差だけではフォーカス検出には十分ではない。いくつかの焦点が合っていない画像に対し、焦点の合った画像よりもスペクトルがより線形となる。この原因は、ぼやけがガウス型ではなく画像内に強い周期性のパターンがあったためと考えられる。この問題を解決するために、修正したフォーカス検出機能が用いられる。
【００３７】
スペクトル値は、焦点が合っていない画像に対してはより早く低下するので、線形回帰の勾配を、スペクトルの線形性と組み合わせてフォーカス検出に用いることができる。スペクトル線形性と線形回帰の勾配の線形結合を、フォーカス検出機能として用いることができる。焦点が合った画像及び焦点の合っていない画像を含む大きい画像データセットを結合係数を最適化するのに用いて、焦点の合った画像と焦点の合っていない画像を最大限に分離することができる。図１５は、いくつかの実施形態に従った、線形回帰勾配及びスペクトル線形性と線形回帰勾配との組み合わせのグラフを示している。
【００３８】
チェビシェフモーメントを用いた粗−精細深度マップの構成方法
ここで説明する方法は、異なるレンズ設定を有するＤＳＣカメラで撮られた一連の画像から深度マップを構成することを目標とする。異なるレンズ位置においてはイメージセンサ上に投影される光景は程度の異なるぼやけを示し、１つだけのレンズ位置において焦点の合った光景を正確にキャプチャすることができる。したがって、レンズ位置を光景の深度の測定として用いることが可能である。複雑な光景の深度情報を説明するために、画像を小さい複数のブロックに分割することができ、各ブロックの深度をその焦点が合ったレンズ位置によって表すことができる。チェビシェフモーメント比を、シーケンスの中で最も鮮明な画像を見出すための焦点の測定として用いる。チェビシェフモーメント比の測定は主として、焦点の合った画像を見出すためのテクスチャの周波数情報を用いる。このため、画像の断片にテクスチャが乏しい場合はこの曲線はノイズが多くなる。解像度が高くしかも滑らかな深度マップを構成するために、粗−精細スキームを開発した。これはまず低解像度で滑らかな深度マップを構成し、そしてこれを順次高い解像度にリファインする。粗いレベルでは、チェビシェフモーメント比の妥当性を確実にするために、ブロックサイズはいくらかのテクスチャを十分に含むように大きく設定される。しかしながら、大きいブロックサイズでは、単一のブロックが異なる深度で複数のオブジェクトを含む場合は、結果とし優勢なオブジェクトの深度が選ばれるため、正確さが失われる。大きいブロックは、各ブロックにおけるオブジェクトが同じ深度となるまで、連続的により小さいブロックに分割される。精細なレベルでは、焦点の測定が多くのノイズを含むように小さい断片がほとんどテクスチャを含まない場合は、その結果は信頼できないと考えられ、粗いレベルの結果が用いられる。
【００３９】
画像処理及びコンピュータビジョンの基本的な問題は、複雑な光景の深度情報を引き出すことである。カメラのオートフォーカスは、このような実際的な応用の一つである。
【００４０】
伝統的なコントラストをベースとするオートフォーカス方法も、ぼやけの程度が異なる一連の画像から最も鮮明な画像を見出すことを試みる。バリアンス、一階グラディエント、２階グラディエント、及び、周波数を含む異なる焦点の測定が用いられてきた。しかし、これらの方法は、画像がテクスチャをほとんど含まない場合に結果が多くのノイズを含むことになるという信頼性の高い判断を通常行っていない。
【００４１】
ここで説明するように、最も鮮明な画像のブロックを見出した結果が正しいかどうかを決定するのに、信頼性の測定が用いられる。また、粗−精細スキームは、信頼できる結果が見出せない場合に滑らかさを保証するために用いられる。
【００４２】
新たな信頼性の測定の方法は、一連の画像のチェビシェフモーメント比の曲線形状を調べる。チェビシェフモーメント比の曲線が複数の局所最大値を有し、それらの中に１つ又は２つの突出したものがないようにすべての局所最大値が大きい場合は、チェビシェフモーメント比を比較することによって見出された焦点合わせされた画像は信頼できないと決定される。ある画像の断片に対するチェビシェフモーメント比が妥当でないと決定された場合は、低いレベルからの結果が、信頼できない結果に置き換えられて用いられる。粗−精細レベルアップ精細化スキームはまず、各ブロックがチェビシェフモーメント比が有効であるテクスチャを含むことを保証するために、画像を大きいブロックに分割し（又はまったく分割しない）、そして、結果が有効であれば深度値を更新するために、各ブロックがより小さいブロックに分割される。低い解像度深度マップにおける大きいブロックノは滑らかさを保証し、高い解像度における小さいブロックは正確性を高めるので、このスキームによればノイズの少ない高い解像度値マップをうまく生成することができる。
【００４３】
この方法は、１画像又は２画像オートフォーカス、３Ｄテレビ、又は任意の深度に関連したコンピュータビジョンのタスクといった種々の応用に対して、テストベンチ（test bench）の参照深度マップを構成するのに用いることができる。
【００４４】
深度マップは、光景の深度情報を表す方法であり、深度マップにおけるピクセルは３３Ｄ空間における物体の深度を表す。光景の深度を測定する一つの方法は、レンズ位置を用いることである。異なる複数のレンズ位置は、異なる深度において焦点が合う。深度マップは、異なる解像度となり得る。最も精細な解像度は、画像として同じ解像度である。粗い解像度は、小さい画像ブロックは同じ深度を有するとされ、深度マップにおけるそのブロック内のピクセルは同じ値を有することを意味する。
【００４５】
図１６は、いくつかの実施形態に従った典型的な深度を示している。図１７は、いくつかの実施形態に従った、ぼやけのレベルが変化する画像の例を示している。異なるカメラのレンズ設定で撮られた複数の画像はぼやけの程度が異なる。最も鮮明な画像（焦点が合った画像）は、ぼやけの程度を比較することによって決定することができ、このぼやけは深度を与える。図１８は、いくつかの実施形態に従った、チャビシャフ・モーメント比の図を示している。
【００４６】
チェビシェフモーメントは、画像とチェビシェフ多項式との間の相関性の測定である。チェビシェフモーメント比は、高次のモーメントを低次のモーメントで割ったものとして定義される。鮮明な画像は大きいチェビシェフモーメント比を有し、ぼやけた画像は小さいチェビシェフモーメント比を有する。ぼやけの程度が異なる一連の画像から、これらのチェビシェフモーメント比を比較することによって焦点があった画像を見出すことができる。ここで最も大きいチェビシェフモーメント比を有する画像は焦点があった画像である。
【００４７】
画像に異なる深度の複数のオブジェクトが含まれている場合には、特定のレンズ設定においては画像の一部のみに焦点を合わせることができる。画像全体に対し焦点の合ったレッズ設定を見出すために、画像を小さいブロックに分割し、各ブロックに対する適切なレッズ設定が見出される。小さいブロックそれぞれに対してチェビシェフモーメント比が計算され、最大のチェビシェフモーメント比を有するブロックが、焦点の合っているブロックであると判断される。図１９は、いくつかの実施形態に従った、チャビシャフ・モーメント比を計算する図を示している。
【００４８】
画像ブロックにテクスチャがほとんど含まれていない場合、チェビシェフモーメント比の曲線は滑らかでなく、複数の局所最大値を含んでいる可能性があり、この最大値は正しい焦点合わせを示していない可能性がある。そこで、すべてのブロックがテクスチャを含むことを保証するように画像をより大きいブロックに分割し、そしてより大きいブロックそれぞれをより小さいブロックに分割する。図２０は、いくつかの実施形態に従った、ブロックをより小さいブロックに分割する図を示している。
【００４９】
大きいブロックが異なる深度で複数のオブジェクトを含んでいるとき、最大のチェビシェフモーメント比だけが優勢な深度に対応し、深度マップの正確さを高めるために大きいブロックはより小さいブロックに分割される。図２１は、いくつかの実施形態に従った、複数の深度の例を示している。
【００５０】
図２２は、いくつかの実施形態に従った、チャビシャフ・モーメント比のグラフを示している。
【００５１】
場合によってはテクスチャの不足によって、最大チェビシェフモーメント比が正確な焦点のあったレンズ設定に対応していない場合がある。このような結果は無効と判断されるべきである。その判定基準には、チェビシェフモーメント比の曲線は、全体の最大値の４０％よりも大きい３つの局所最大値を含んではいけない、というのが含まれる。小さいブロックのチェビシェフモーメント比の曲線が無効と判断されたときは、より粗いレベルにおける局所最大値に置き換えられてこれが用いられる。複数の局所最大値が存在する場合は、現在のレベルにおける全体的な最大値に近いものが選ばれる。図２３は、いくつかの実施形態に従った、異なるレベルの深度マップの図を示している。
【００５２】
図２４は、いくつかの実施形態に従った、フォーカス検出方法のフローチャートを示している。ステップ２４００において、コンテンツが取得される。例えば１つ又は複数の画像がキャプチャされる。ステップ２４０２において、このコンテンツがここで説明された方法を用いて解析される。例えば、反復ぼやけ推定（iterative blur estimation）、ＦＦＴリニアリティ、エッジ・パーセンテージ（edge percentage）、ウェーブレット・エネルギ比（wavelet energy ratio）、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比（Chebyshev moment ratio）、色収差（chromatic aberration）といった特徴が、フォーカスの検出に用いられる。ある実施形態においては、より少ない又は追加のステップが実行され得る。ある実施形態においては、ステップの順序が変更され得る。
【００５３】
図２５は、いくつかの実施形態に従った、フォーカス検出方法を実装するよう構成された典型的なコンピューティングデバイスのブロック図を示している。コンピューティングデバイス２５００は、画像やビデオといった情報を取得し、記憶し、計算し、処理し、通信し、及び／又は、表示するのに使用することができる。一般に、コンピューティングデバイス２５００を実装するのに適したハードウェア構造には、ネットワークインタフェイス２５０２、メモリ２５０４、プロセッサ２５０６、Ｉ／Ｏデバイス２５０８、バス２５１０、そして記憶装置２５１２が含まれる。十分な速度を有する適切なプロセッサが選ばれる限りにおいて、プロセッサの選択は重要ではない。メモリ２５０４は、この分野で知られる一般的などのようなコンピュータ用のメモリとすることができる。記憶装置２５１２には、ハードディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−ＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカードその他任意の他の記憶手段が含まれ得る。コンピューティングデバイス２５００は、１つ又は複数のネットワークインタフェイス２５０２を含むことができる。ネットワークインタフェイスの例には、イーサネットに接続されたネットワークカード、又は、他のタイプのＬＡＮが含まれる。Ｉ／Ｏデバイス２５０８には、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス、及びその他の装置が含まれ得る。フォーカス検出方法を実行するフォーカス検出アプリケーション２５３０は、記憶装置２５１２及びメモリ２５０４に記憶されている場合が多く、アプリケーションが通常処理されるように処理される。図２５よりもより少ない又はより多くのコンポーネントをコンピューティングデバイス２５００に含めることができる。いくつかの実施形態では、フォーカス検出ハードウェア２５２０が含まれる。図２５におけるコンピューティングデバイス２５００にはフォーカス検出方法のためのアプリケーション２５３０及びハードウェア２５２０が含まれるが、フォーカス検出方法は、ハードウェア、ファームウェア、ソフトウェア又はこれらの任意の組み合わせにおいて実装することができる。例えばある実施形態では、フォーカス検出アプリケーション２５３０はメモリ内にプログラムされ、プロセッサを用いて実行される。別の例としていくつかの実施形態では、フォーカス検出ハードウェア２５２０は、フォーカス検出方法を実装するために特別に設計された複数のゲートを含むハードウェアロジックとしてプログラムされる。
【００５４】
いくつかの実施形態では、フォーカス検出方法のアプリケーション２５３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、同様にモジュールは、１つ又は複数のサブモジュールを含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。
【００５５】
適切なコンピューティングデバイスの例には、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、携帯型コンピュータ、パーソナルデジタルアシスタンス、セルラー／携帯電話、スマート家電、ゲーム用コンソール、デジタルカメラ、デジタルカムコーダ、カメラ電話、スマートフォン、携帯音楽プレーヤ、タブレットコンピュータ、携帯デバイス、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（例えば、ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、ウルトラ高精細ディスクライタ／プレーヤ）、テレビ、ホームエンタテインメントシステム、スマート装身具（例えば、スマートウォッチ）又は他の適切なコンピューティングデバイスが含まれる。
【００５６】
ここで説明したフォーカス検出方法を利用するのに、ビデオ／画像を取得するためにデジタルカメラなどのデバイスを用いることができる。このフォーカス検出方法は、オートフォーカスを実行するなどのために、取得されたデータを自動的に処理するために用いられる。このフォーカス検出方法は、ユーザを介さず自動的に実行させることができる。
【００５７】
動作において、ここで説明したフォーカス検出方法は、異なる光景に対して焦点合わせ測定の変動を大きく低減する。このフォーカス検出方法は、フォーカス測定と共に、そしてデジタルカメラ、カメラ電話、タブレット、スキャナー、及び任意の他のレンズを有する光学イメージングシステム上のオートフォーカスアプリケーションと共に用いることができる。
【００５８】
フォーカス検出のいくつかの実施形態
１．  デバイスの非一時的記憶媒体にプログラムされた方法であって、
ａ．１又は複数の画像を含むコンテンツを取得する段階、
ｂ．前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、
ｃ．大きいぼやけ画像を除去する段階、
ｄ．残りの小さいぼやけ画像の焦点の合った画像を決定する段階、
を含む方法。
【００５９】
２．  前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、請求項１に記載の方法。
【００６０】
３．  前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、項目１に記載の方法。
【００６１】
４．  前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、項目１に記載の方法。
【００６２】
５．  前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、項目４に記載の方法。
【００６３】
６．  前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、項目１に記載の方法。
【００６４】
７．  前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、項目１に記載の方法。
【００６５】
８．  残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する、項目１に記載の方法。
【００６６】
９．  前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、携帯型コンピュータ、パーソナルデジタルアシスタンス、セルラー／携帯電話、スマートフォン、スマート家電、ゲーム用コンソール、デジタルカメラ、デジタルカムコーダ、カメラ電話、携帯音楽プレーヤ、タブレットコンピュータ、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、テレビ、ホームエンタテインメントシステムからなる群から選択されたものである、項目１に記載の方法。
【００６７】
１０．  カメラデバイスの非一時的記憶媒体にプログラムされたシステムであって、
ａ．１又は複数の画像を含むコンテンツを光景から取得するよう構成されたセンサと、
ｂ．  i．前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、
ii．大きいぼやけ画像を除去する段階、
iii．残りの小さいぼやけ画像の焦点の合った画像を決定する段階、
を実行するコンピューティングモジュールと、
を含むシステム。
【００６８】
１１．  前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、項目１０に記載のシステム。
【００６９】
１２．  前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、項目１０に記載のシステム。
【００７０】
１３．  前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、項目１０に記載のシステム。
【００７１】
１４．  前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、項目１３に記載のシステム。
【００７２】
１５．  前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、項目１０に記載のシステム。
【００７３】
１６．  前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、項目１０に記載のシステム。
【００７４】
１７．  残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する、項目１０に記載のシステム。
【００７５】
１８．  カメラデバイスであって、
ａ．１又は複数の画像を含むコンテンツを光景から取得するセンサと、
ｂ．  i．前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、
ii．大きいぼやけ画像を除去する段階、
iii．残りの小さいぼやけ画像の焦点の合った画像を決定する段階、
を実行するアプリケーションを記憶するためのメモリと、
ｃ．前記アプリケーションを処理するプロセッサと、
を含むカメラデバイス。
【００７６】
１９．  前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、項目１９に記載のカメラデバイス。
【００７７】
２０．  前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、項目１８に記載のカメラデバイス。
【００７８】
２１．  前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、項目１８に記載のカメラデバイス。
【００７９】
２２．  前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、項目２１に記載のカメラデバイス。
【００８０】
２３．  前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、項目１８に記載のカメラデバイス。
【００８１】
２４．  前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、項目１６に記載のカメラデバイス。
【００８２】
２５．  残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する、項目１８に記載のカメラデバイス。
【００８３】
２６．  デバイスの非一時的記憶媒体にプログラムされた方法であって、
ａ．前記デバイスを用いて一連の画像を取得する段階と、
ｂ．チェビシェフ・モーメント比を用いて、前記一連の画像を使って深度マップを生成する段階と、
を含む方法。
【００８４】
２７．  前記一連の画像の各画像は、異なるレンズ設定で撮られたものである、項目２６に記載の方法。
【００８５】
２８．  前記一連の画像の各画像は、小さい複数のブロックに分けられ、焦点が合ったレンズ位置によって各ブロックの深度を表す、項目２６に記載の方法。
【００８６】
２９．  前記チェビシェフ・モーメント比は、前記一連の画像の中から最も鮮明な画像を見出すためのフォーカス測定として用いられる、項目２６に記載の方法。
【００８７】
３０．  前記深度マップを生成する段階は、最初に低解像度の滑らかな深度マップを生成し、次に前記低解像度の滑らかな深度マップを順次高い解像度の深度マップにリファインすることを含み、ここで粗いレベルにおいては、チェビシェフ・モーメント比の妥当性を確実にするために、ブロックサイズはテクスチャを含むよう十分に大きく、大きい画像ブロックは、各ブロックにおけるオブジェクトが同じ深度となるまで、連続的により小さいブロックに分割される、項目２９に記載の方法。
【００８８】
３１．  一連の画像のチェビシェフモーメント比の曲線形状を調べる段階と、チェビシェフモーメント比の曲線が複数の局所最大値を有し、それらの中に突出したものがないようにすべの局所最大値が大きい場合は、チェビシェフモーメント比を比較することによって見出された焦点合わせされた画像は信頼できないと決定され、ある画像の断片に対するチェビシェフモーメント比が妥当でないと決定された場合は、低いレベルからの結果が、信頼できないとされた結果に置き換えられて用いられる段階と、を含む項目３０に記載の方法。
【００８９】
発明の構成及び動作の原理の理解を促進するために、詳細な特定の実施形態によって本発明を説明してきた。このように特定の実施形態及び詳細について言及したことは、特許請求の範囲に記載した発明の範囲を限定することを意図するものではない。当業者であれば、説明のために選ばれた実施形態においても、特許請求の範囲によって定義される思想及び範囲から逸脱することなく、他の種々の変形及び修正があり得ることを理解するだろう。
【符号の説明】
【００９０】
２５００  コンピューティングデバイス
２５０２  ネットワークインタフェイス
２５０４  メモリ
２５０６  プロセッサ
２５０８  Ｉ／Ｏデバイス
２５１０  バス
２５１２  記憶装置
【図１】
2019508921.tif 000012
【図２】
2019508921.tif 000013
【図３】
2019508921.tif 000014
【図４】
2019508921.tif 000015
【図５】
2019508921.tif 000016
【図６】
2019508921.tif 000017
【図７】
2019508921.tif 000018
【図８】
2019508921.tif 000019
【図９】
2019508921.tif 000020
【図１０】
2019508921.tif 000021
【図１１】
2019508921.tif 000022
【図１２】
2019508921.tif 000023
【図１３】
2019508921.tif 000024
【図１４】
2019508921.tif 000025
【図１５】
2019508921.tif 000026
【図１６】
2019508921.tif 000027
【図１７】
2019508921.tif 000028
【図１８】
2019508921.tif 000029
【図１９】
2019508921.tif 000030
【図２０】
2019508921.tif 000031
【図２１】
2019508921.tif 000032
【図２２】
2019508921.tif 000033
【図２３】
2019508921.tif 000034
【図２４】
2019508921.tif 000035
【図２５】
2019508921.tif 000036
【国際調査報告】
2019508921.tif 000037
2019508921.tif 000038
2019508921.tif 000039