(57)【特許請求の範囲】
【請求項１】
装置の非一時的メモリにプログラムされた方法であって、
ａ．画像を取得するステップと、
ｂ．前記画像のガウシアン差分を計算することによって前記画像のガウシアンのラプラシアンを計算するステップと、
ｃ．前記画像の前記ガウシアン差分に基づいて、反復畳み込みを用いて前記画像の推定デフォーカス量を決定するステップと、
ｄ．反復数を所定の閾値と比較することを含む、前記画像の焦点を検出するステップと、
を含むことを特徴とする方法。
【請求項２】
前記推定デフォーカス量は、ルックアップテーブルを用いて決定される、
請求項１に記載の方法。
【請求項３】
前記反復数が前記閾値よりも小さい場合、前記画像の焦点が合っている、
請求項１に記載の方法。
【請求項４】
前記画像のノイズを除去するステップをさらに含む、
請求項１に記載の方法。
【請求項５】
前記装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラー／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤ、テレビ、家庭用エンターテイメントシステム、又はスマートウォッチを含む、
請求項１に記載の方法。
【請求項６】
装置のメモリにプログラムされたシステムであって、
ａ．画像を取得するように構成された取得モジュールと、
ｂ．前記画像のガウシアン差分を計算することによって前記画像のガウシアンのラプラシアンを計算するように構成された計算モジュールと、
ｃ．前記画像の前記ガウシアン差分に基づいて、反復畳み込みを用いて前記画像の推定デフォーカス量を決定するように構成された決定モジュールと、
ｄ．反復数を所定の閾値と比較し、前記画像の焦点を検出するよう構成された検出モジュールと、
を備えることを特徴とするシステム。
【請求項７】
前記推定デフォーカス量は、ルックアップテーブルを用いて決定される、
請求項６に記載のシステム。
【請求項８】
前記反復数が前記閾値よりも小さい場合、前記画像の焦点が合っている、
請求項６に記載のシステム。
【請求項９】
前記画像のノイズを除去することをさらに含む、
請求項６に記載のシステム。
【請求項１０】
装置であって、
ａ．アプリケーションを記憶する非一時的メモリと、
ｂ．前記メモリに結合されて、前記アプリケーションを処理するように構成された処理要素と、
を備え、前記アプリケーションは、
ｉ．画像を取得し、
ｉｉ．前記画像のガウシアン差分を計算することによって前記画像のガウシアンのラプラシアンを計算し、
ｉｉｉ．前記画像の前記ガウシアン差分に基づいて、反復畳み込みを用いて前記画像の推定デフォーカス量を決定し、
ｉｖ．反復数を所定の閾値と比較して、前記画像の焦点を検出する、ことを含む、
ことを特徴とする装置。
【請求項１１】
前記推定デフォーカス量は、ルックアップテーブルを用いて決定される、
請求項１０に記載の装置。
【請求項１２】
前記反復数が前記閾値よりも小さい場合、前記画像の焦点が合っている、
請求項１０に記載の装置。
【請求項１３】
前記画像のノイズを除去することをさらに含む、
請求項１０に記載の装置。
【請求項１４】
カメラ装置であって、
ａ．画像を取得するためのセンサと、
ｂ．アプリケーションを記憶する非一時的メモリと、
ｃ．前記メモリに結合されて、前記アプリケーションを処理するように構成された処理要素と、
を備え、前記アプリケーションは、
ｉ．前記画像のガウシアン差分を計算することによって前記画像のガウシアンのラプラシアンを計算し、
ｉｉ．前記画像の前記ガウシアン差分に基づいて、反復畳み込みを用いて前記画像の推定デフォーカス量を決定し、
ｉｉｉ．反復数を所定の閾値と比較して、前記画像の焦点を検出する、よう構成されている、
ことを特徴とするカメラ装置。
【請求項１５】
前記推定デフォーカス量は、ルックアップテーブルを用いて決定される、
請求項１４に記載のカメラ装置。
【請求項１６】
前記反復数が前記閾値よりも小さい場合、前記画像の焦点が合っている、
請求項１４に記載のカメラ装置。
【請求項１７】
前記アプリケーションは、前記画像のノイズを除去するように構成される、
請求項１４に記載のカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージングの分野に関する。具体的には、本発明は、デフォーカス量推定に関する。
【背景技術】
【０００２】
デジタルカメラなどの装置によって画像を取得すると、画像にブラー（ぼやけ）又はデフォーカス（ピンぼけ）などの欠陥が存在することがよくある。ブラーの補正を試みる方法は複数存在するが、これらはブラー及びデフォーカスを十分に補正するものではない。
【発明の概要】
【課題を解決するための手段】
【０００３】
本明細書では、デフォーカス量推定アルゴリズムについて説明する。このデフォーカス量推定アルゴリズムは、単一画像を利用する。ガウシアン差分を計算することによってガウス近似のラプラシアンを求める。ガウシアン差分を用いて２つの画像間のブラー差を計算することにより、デフォーカスブラーを推定することができる。
【０００４】
１つの態様では、装置の非一時的メモリにプログラムされた方法が、画像を取得するステップと、画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算するステップと、画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定するステップとを含む。推定デフォーカス量は、反復畳み込みを用いて決定される。推定デフォーカス量は、ルックアップテーブルを用いて決定される。方法は、画像の焦点を検出するステップをさらに含む。画像の焦点を検出するステップは、反復数を所定の閾値と比較するステップを含む。反復数が閾値よりも小さい場合、画像の焦点は合っている。方法は、画像のノイズを除去するステップをさらに含む。装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラー／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤ、テレビ、家庭用エンターテイメントシステム、又はスマートウォッチを含む。
【０００５】
別の態様では、装置のメモリにプログラムされたシステムが、画像を取得するように構成された取得モジュールと、画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算するように構成された計算モジュールと、画像のガウシアン差分に基づいて画像の推定デフォーカス量を決定するように構成された決定モジュールとを含む。推定デフォーカス量は、反復畳み込みを用いて決定される。推定デフォーカス量は、ルックアップテーブルを用いて決定される。システムは、画像の焦点を検出することをさらに含む。画像の焦点を検出することは、反復数を所定の閾値と比較することを含む。反復数が閾値よりも小さい場合、画像の焦点は合っている。システムは、画像のノイズを除去することをさらに含む。
【０００６】
別の態様では、装置が、アプリケーションを記憶する非一時的メモリと、メモリに結合されて、アプリケーションを処理するように構成された処理要素とを含み、アプリケーションは、画像を取得し、画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算し、画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定する。推定デフォーカス量は、反復畳み込みを用いて決定される。推定デフォーカス量は、ルックアップテーブルを用いて決定される。装置は、画像の焦点を検出することをさらに含む。画像の焦点を検出することは、反復数を所定の閾値と比較することを含む。反復数が閾値よりも小さい場合、画像の焦点は合っている。装置は、画像のノイズを除去することをさらに含む。
【０００７】
別の態様では、カメラ装置が、画像を取得するためのセンサと、アプリケーションを記憶する非一時的メモリと、メモリに結合されて、アプリケーションを処理するように構成された処理要素とを含み、アプリケーションは、画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算し、画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定する。推定デフォーカス量は、反復畳み込みを用いて決定される。推定デフォーカス量は、ルックアップテーブルを用いて決定される。アプリケーションは、画像のレンズの焦点を検出するように構成される。画像の焦点を検出することは、反復数を所定の閾値と比較することを含む。反復数が閾値よりも小さい場合、画像の焦点は合っている。アプリケーションは、画像のノイズを除去するように構成される。
【図面の簡単な説明】
【０００８】
【図１】いくつかの実施形態による、ガウス関数の負の２次導関数を示す図である。
【図２】いくつかの実施形態による、ステップエッジ（較正画像）から取得されたデフォーカスブラー半径と反復数との間の関係を示す図である。
【図３】いくつかの実施形態による、画像のデフォーカスマップを示す図である。
【図４】いくつかの実施形態による、様々な比率での性能グラフを示す図である。
【図５】いくつかの実施形態によるデフォーカス量推定方法のフローチャートである。
【図６】いくつかの実施形態による、デフォーカス量推定方法を実装するように構成された例示的なコンピュータ装置のブロック図である。
【発明を実施するための形態】
【０００９】
本明細書では、単一画像を用いてデフォーカスを推定するための、ガウシアンのラプラシアン（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ、ＬｏＧ）とガウシアン差分（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎ、ＤｏＧ）との間の近似について説明する。ガウス関数の２次導関数は、ガウシアンのラプラシアンである。図１に、ガウス関数の負の２次導関数を示す。
ガウス関数は以下の通りである。
0006579350.tif 000002
熱拡散方程式は以下の通りである。
0006579350.tif 000003
ｘ＝０の時には以下のようになる。
0006579350.tif 000004
0006579350.tif 000005
この式は、
0006579350.tif 000006
を選択することによってｘ＝０の時に完全な一致をもたらす。
さらなる近似では、ＤｏＧが以下の通りである。
0006579350.tif 000007
デフォーカスブラーのモデルは、以下によって与えられ、
0006579350.tif 000008
この場合、
ｂは、焦点外画像であり、
ｆは、焦点画像であり、
Ｇは、ガウス点広がり関数（ＰＳＦ）であり、
0006579350.tif 000009
は、畳み込みを意味する。
【００１０】
目的は、ｂからσを推定することである。
リブラーは以下の通りである。
0006579350.tif 000010
0006579350.tif 000011
0006579350.tif 000012
【００１１】
ブラー差近似は、
以下のようにブラー差を考慮することによって計算され、
0006579350.tif 000013
この場合、
ｆは、焦点画像であり、
減算は、ガウシアン差分である。
以下は、ガウス近似のラプラシアンである。
0006579350.tif 000014
以下も同様である。
0006579350.tif 000015
σb＞σaの時にはσdが存在し、従って以下のようになり、
0006579350.tif 000016
この場合、
0006579350.tif 000017
である。
σdが求められると、方程式からσを解くことができる。
【００１２】
実装
σdを求めることは、以下のようなガウス関数Ｇを見出すことに相当し、
0006579350.tif 000018
或いは、以下を最小化するσdが見出される。
0006579350.tif 000019
【００１３】
この計算は、以下のように反復畳み込み法を用いて行うことができ、
0006579350.tif 000020
この場合のｋは、変動の小さなガウシアンカーネルである。
【００１４】
図２に、ステップエッジ（較正画像）から取得されたデフォーカスブラー半径と反復数との間の関係を示す。この曲線をルックアップテーブルとして使用して、試験画像の反復数からブラー半径を求めることができる。
【００１５】
ノイズ除去
ノイズは、特にブラーの量が増加した時に、ブラーマッチング性能に影響を及ぼし得る。性能は、反復畳み込みの前に取り込み画像にブラーフィルタを適用することによって行われるノイズ除去によって改善することができる。較正画像及び試験画像には、同じ量のノイズ除去が適用される。
【００１６】
図３に、いくつかの実施形態による、画像のデフォーカスマップを示す。このデフォーカスマップは、本明細書で説明するデフォーカス量推定方法を用いて生成される。
【００１７】
焦点検出
焦点検出は、単一画像を用いて画像に焦点が合っているかどうかを判定するために使用される。この用途には、ブラー量は不要である。焦点検出は、反復数を所定の閾値と比較することによって行われる。反復数が閾値よりも小さい時には、画像に焦点が合っている。そうでなければ、焦点外である。焦点検出のみが必要な場合には、わずかなブラーと焦点が合った状態との区別が困難になるという理由でノイズ除去はオフにされる。焦点検出にとっては、σb／σaの比率が小さいことが好ましい。
【００１８】
図４は、様々なσb／σaの比率での焦点推定方法の性能グラフである。
【００１９】
図５は、いくつかの実施形態によるデフォーカス推定方法のフローチャートである。ステップ５００において、単一画像を取得する。ステップ５０２において、単一画像情報のＤｏＧを用いてＬｏＧを求める。ステップ５０４において、ＤｏＧを用いてブラー差（又はデフォーカス）の近似を求める。いくつかの実施形態では、ブラー差が反復畳み込み法を用いて求められる。いくつかの実施形態では、ブラー差が第１の画像と第２の画像との間で近似され、ＤｏＧを用いて求められる。いくつかの実施形態では、第２の画像が試験画像である。いくつかの実施形態では、第２の画像が、第１の画像のブラー画像である。この方法は、除算演算子及び最大演算子を使用せず、従ってノイズに強い。いくつかの実施形態では、さらなる又はこれよりも少ないステップが実装される。
【００２０】
図６は、いくつかの実施形態による、デフォーカス量推定方法を実装するように構成された例示的なコンピュータ装置のブロック図である。コンピュータ装置６００は、画像及びビデオなどの情報の取得、記憶、計算、処理、通信及び／又は表示を行うために使用することができる。一般に、コンピュータ装置６００を実装するのに適したハードウェア構造は、ネットワークインターフェイス６０２、メモリ６０４、プロセッサ６０６、Ｉ／Ｏ装置６０８、バス６１０及び記憶装置６１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサを選択する限り重要ではない。メモリ６０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置６１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置６００は、１又は２以上のネットワークインターフェイス６０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット（登録商標）又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置６０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。デフォーカス量推定方法を実行するために使用される（単複の）デフォーカス量推定アプリケーション６３０は、記憶装置６１２及びメモリ６０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置６００には、図６に示すものよりも多くの又は少ないコンポーネントを含めることができる。いくつかの実施形態では、デフォーカス量推定ハードウェア６２０が含まれる。図６のコンピュータ装置６００は、デフォーカス量推定方法のためのアプリケーション６３０及びハードウェア６２０を含むが、デフォーカス量推定方法は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのあらゆる組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、デフォーカス量推定アプリケーション６３０がメモリにプログラムされ、プロセッサを用いて実行される。別の例として、いくつかの実施形態では、デフォーカス量推定ハードウェア６２０が、デフォーカス量推定方法を実装するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。
【００２１】
いくつかの実施形態では、（単複の）デフォーカス量推定アプリケーション６３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが、１又は２以上のサブモジュールをさらに含む。いくつかの実施形態では、より少ない又はさらなるモジュールを含めることもできる。
【００２２】
好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラー／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、スマートジュエリ（例えば、スマートウォッチ）、又はその他のあらゆる好適なコンピュータ装置が挙げられる。
【００２３】
デフォーカス量推定方法を利用するには、デジタルカメラなどの装置を使用して画像を取得することができる。デフォーカス量推定方法は、画像処理の実行時に自動的に使用される。デフォーカス量推定方法は、ユーザの関与を伴わずに自動的に実施することができる。
【００２４】
デフォーカス量推定方法は、動作時に画像処理効率を高める。単一画像、並びにＬｏＧ及びＤｏＧを使用することによって効率が高くなる。
【００２５】
ガウス近似のラプラシアンに基づく単一画像からのデフォーカス量推定のいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
ａ．画像を取得するステップと、
ｂ．画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算するステップと、
ｃ．画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定するステップと、
を含む方法。
【００２６】
２．推定デフォーカス量は、反復畳み込みを用いて決定される、上記１に記載の方法。
【００２７】
３．推定デフォーカス量は、ルックアップテーブルを用いて決定される、上記２に記載の方法。
【００２８】
４．画像の焦点を検出するステップをさらに含む、上記２に記載の方法。
【００２９】
５．画像の焦点を検出するステップは、反復数を所定の閾値と比較するステップを含む、上記４に記載の方法。
【００３０】
６．反復数が閾値よりも小さい場合、画像の焦点が合っている、上記５に記載の方法。
【００３１】
７．画像のノイズを除去するステップをさらに含む、上記１に記載の方法。
【００３２】
８．装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラー／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤ、テレビ、家庭用エンターテイメントシステム、又はスマートウォッチを含む、上記１に記載の方法。
【００３３】
９．装置のメモリにプログラムされたシステムであって、
ａ．画像を取得するように構成された取得モジュールと、
ｂ．画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算するように構成された計算モジュールと、
ｃ．画像のガウシアン差分に基づいて画像の推定デフォーカス量を決定するように構成された決定モジュールと、
を含むシステム。
【００３４】
１０．推定デフォーカス量は、反復畳み込みを用いて決定される、上記９に記載のシステム。
【００３５】
１１．推定デフォーカス量は、ルックアップテーブルを用いて決定される、上記１０に記載のシステム。
【００３６】
１２．画像の焦点を検出することをさらに含む、上記１０に記載のシステム。
【００３７】
１３．画像の焦点を検出することは、反復数を所定の閾値と比較することを含む、上記１２に記載のシステム。
【００３８】
１４．反復数が閾値よりも小さい場合、画像の焦点が合っている、上記１３に記載のシステム。
【００３９】
１５．画像のノイズを除去することをさらに含む、上記９に記載のシステム。
【００４０】
１６．装置であって、
ａ．アプリケーションを記憶するための非一時的メモリと、
ｂ．メモリに結合されて、アプリケーションを処理するように構成された処理要素と、
を含み、アプリケーションは、
ｉ．画像を取得し、
ｉｉ．画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算し、
ｉｉｉ．画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定する、
装置。
【００４１】
１７．推定デフォーカス量は、反復畳み込みを用いて決定される、上記１６に記載の装置。
【００４２】
１８．推定デフォーカス量は、ルックアップテーブルを用いて決定される、上記１７に記載の装置。
【００４３】
１９．画像の焦点を検出することをさらに含む、上記１７に記載の装置。
【００４４】
２０．画像の焦点を検出することは、反復数を所定の閾値と比較するスことを含む、上記１９に記載の装置。
【００４５】
２１．反復数が閾値よりも小さい場合、画像の焦点が合っている、上記２０に記載の装置。
【００４６】
２２．画像のノイズを除去することをさらに含む、上記１６に記載の装置。
【００４７】
２３．カメラ装置であって、
ａ．画像を取得するためのセンサと、
ｂ．アプリケーションを記憶する非一時的メモリと、
ｃ．メモリに結合されて、アプリケーションを処理するように構成された処理要素と、
を含み、アプリケーションは、
ｉ．画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算し、
ｉｉ．画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定する、
カメラ装置。
【００４８】
２４．推定デフォーカス量は、反復畳み込みを用いて決定される、上記２３に記載のカメラ装置。
【００４９】
２５．推定デフォーカス量は、ルックアップテーブルを用いて決定される、上記２４に記載のカメラ装置。
【００５０】
２６．アプリケーションは、画像のレンズの焦点を検出するように構成される、上記２４に記載のカメラ装置。
【００５１】
２７．画像の焦点を検出することは、反復数を所定の閾値と比較するステップを含む、上記２６に記載のカメラ装置。
【００５２】
２８．反復数が閾値よりも小さい場合、画像の焦点が合っている、上記２７に記載のカメラ装置。
【００５３】
２９．アプリケーションは、画像のノイズを除去するように構成される、上記２３に記載のカメラ装置。
【００５４】
本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。
【符号の説明】
【００５５】
５００  画像を取得
５０２  画像のＤｏＧを用いてＬｏＧを決定
５０４  ＤｏＧを用いてブラー差を近似
【図１】
0006579350.tif 000021
【図２】
0006579350.tif 000022
【図３】
0006579350.tif 000023
【図４】
0006579350.tif 000024
【図５】
0006579350.tif 000025
【図６】
0006579350.tif 000026