(57)【要約】【課題】画像のブレ推定の精度を向上させる。【解決手段】ステップＳ３において、入力画像の注目領域において、被写体側から見た被写体と背景との境界線である内境界線、および、背景側から見た被写体と背景との境界線である外境界線が検出される。ステップＳ４において、注目領域内の内境界線と外境界線との空間上の相関値が算出される。ステップＳ５において、相関値が所定の閾値以下になる場合、注目領域がファジー領域であると判定される。本発明は、例えば、デジタルカメラに適用できる。【選択図】図１１
2011254233.tif 000002
【特許請求の範囲】
【請求項１】
画像内の各局所領域において、被写体側から見た前記被写体と背景との境界線である内境界線、および、前記背景側から見た前記被写体と前記背景との境界線である外境界線を検出する境界線検出手段と、
前記局所領域ごとに前記内境界線と前記外境界線との空間上の相関値を算出する相関値算出手段と、
前記相関値が所定の閾値以下になる前記局所領域を検出する領域検出手段と
を含む画像処理装置。
【請求項２】
前記領域検出手段により検出された前記局所領域を除いた領域である推定対象領域において、画像のブレを推定するブレ推定手段を
さらに含む請求項１に記載の画像処理装置。
【請求項３】
前記推定対象領域において、ブレ推定の処理対象とするサンプル点を設定するサンプル点設定手段と、
前記画像をｎ個のブロックに分割する分割手段と
をさらに含み、
前記ブレ推定手段は、
各前記ブロックにおける画像のブレを推定するｎ個のブロックブレ推定手段と、
各前記ブロックにおける画像のブレの推定結果に基づいて、画像全体のブレを推定する画像ブレ推定手段と
を含む請求項２に記載の画像処理装置。
【請求項４】
前記分割手段は、各前記ブロックに含まれる前記サンプル点の数がほぼ均一になるように前記画像をｎ個のブロックに分割する
請求項３に記載の画像処理装置。
【請求項５】
前記ブロック分割手段は、各前記ブロックブレ推定手段の処理能力、および、各前記ブロックに含まれる前記サンプル点の数に基づいて、各前記ブロックを各前記ブロックブレ推定手段に割り当てる
請求項３に記載の画像処理装置。
【請求項６】
前記画像は、元になる画像内の所定の大きさの単位領域毎に、前記被写体のみに含まれる前記単位領域に所定の第１の値を設定し、前記背景のみに含まれる前記単位領域に所定の第２の値を設定し、前記被写体と前記背景の両方に含まれる前記単位領域に、前記単位領域内に含まれる前記被写体と前記背景の比率に応じた前記第１の値と前記第２の値との間の中間値を設定したαマップである
請求項１に記載の画像処理装置。
【請求項７】
画像処理装置が、
画像内の各局所領域において、被写体側から見た前記被写体と背景との境界線である内境界線、および、前記背景側から見た前記被写体と前記背景との境界線である外境界線を検出し、
前記局所領域ごとに前記内境界線と前記外境界線との空間上の相関値を算出し、
前記相関値が所定の閾値以下になる前記局所領域を検出する
ステップを含む画像処理方法。
【請求項８】
画像内の各局所領域において、被写体側から見た前記被写体と背景との境界線である内境界線、および、前記背景側から見た前記被写体と前記背景との境界線である外境界線を検出し、
前記局所領域ごとに前記内境界線と前記外境界線との空間上の相関値を算出し、
前記相関値が所定の閾値以下になる前記局所領域を検出する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びに、プログラムに関し、特に、画像のブレ推定に用いて好適な画像処理装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
従来、αマップを利用して画像のブレを推定する技術が提案されている（例えば、非特許文献１参照）。
【０００３】
ここで、αマップとは、例えば被写体（前景）と背景が分かれる画像に対して、所定の大きさの単位領域毎（例えば、１画素毎あるいはｍ×ｎ画素のブロック毎）に、被写体と背景を分けるためのα値を設定した画像（マップ）である。例えば、α値は、被写体のみに含まれる単位領域で最大値（例えば、１）に設定され、背景のみに含まれる単位領域で最小値（例えば、０）に設定される。また、α値は、被写体と背景が混じる単位領域、すなわち、被写体と背景の両方に含まれる単位領域で、最小値と最大値との間の中間値（例えば、０＜α＜１）に設定される。なお、この中間値は、単位領域内に含まれる被写体と背景の比率に応じた値に設定される。
【０００４】
なお、以下、α値が中間値となる単位領域、および、α値が中間値となる単位領域からなる領域を中間領域と称する。
【０００５】
例えば、手ブレもしくは被写体ブレによりブレが発生した画像に対するαマップでは、被写体と背景の境界において、ブレ方向にブレの長さ分だけ中間領域が現れる。そこで、この中間領域におけるα値の勾配情報を利用して、画像のブレに関するパラメータを推定することが可能である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Shenyang Dai and Ying Wu, "Motion from blur", IEEE CVPR, 2008
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、従来のαマップを利用したブレ推定では、中間領域が全て画像のブレにより生じることを前提としているが、実際には、全ての中間領域が画像のブレのみにより生じるわけではない。これについて、図１および図２を参照して説明する。
【０００８】
図１および図２は、被写体１を撮影した画像に対するαマップを、モノクロームの画像で表した図である。なお、図１および図２のαマップでは、α値が最小値となる単位領域が黒で表され、α値が大きい単位領域ほど明るくなり、α値が最大値となる単位領域が白で表されている。また、図１は、元の画像にブレが発生していない場合のαマップの例を示し、図２は、元の画像にブレが発生している場合のαマップの例を示している。
【０００９】
図１のαマップでは、範囲１１および範囲１２内において、被写体１のエッジ付近に単位領域の幅より細い毛のような物体が存在する。その結果、範囲１１および範囲１２内の被写体１のエッジ付近において、画像のブレが発生していないのに、α値が中間値となり、中間領域が現れる。
【００１０】
なお、以下、被写体のエッジ付近の単位領域より細かい部分（例えば、頭髪、動物の毛並みなど）に対応する領域をファジー領域と称する。また、以下、α値の成分のうち、ファジー領域により生じる成分をファジー成分と称し、画像のブレにより生じる成分をブレ成分と称する。
【００１１】
従って、従来の方法により、図１のαマップを用いてブレ推定を行った場合、範囲１１および範囲１２内の中間領域におけるファジー成分がノイズとなり、ブレ推定の精度が低下する。すなわち、画像のブレが誤検出される恐れがある。
【００１２】
一方、図２のαマップでは、範囲１１および範囲１２に加えて、範囲２１乃至範囲２３内の被写体のエッジ付近において、画像のブレによりα値が中間値となり、中間領域が現れる。そして、範囲１１および範囲１２内の中間領域には、ファジー成分とブレ成分の両方が含まれ、範囲２１乃至範囲２３内の中間領域には、ブレ成分のみが含まれる。
【００１３】
従って、従来の方法により、図２のαマップを用いてブレ推定を行った場合、図１のαマップを用いてブレ推定を行った場合と同様に、範囲１１および範囲１２内の中間領域におけるファジー成分がノイズとなり、ブレ推定の精度が低下する。すなわち、推定された画像のブレの大きさや方向の誤差が大きくなる恐れがある。
【００１４】
本発明は、このような状況を鑑みてなされたものであり、画像のブレ推定の精度を向上させるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の一側面の画像処理装置は、画像内の各局所領域において、被写体側から見た前記被写体と背景との境界線である内境界線、および、前記背景側から見た前記被写体と前記背景との境界線である外境界線を検出する境界線検出手段と、前記局所領域ごとに前記内境界線と前記外境界線との空間上の相関値を算出する相関値算出手段と、前記相関値が所定の閾値以下になる前記局所領域を検出する領域検出手段とを含む。
【００１６】
前記領域検出手段により検出された前記局所領域を除いた領域である推定対象領域において、画像のブレを推定するブレ推定手段をさらに設けることができる。
【００１７】
前記推定対象領域において、ブレ推定の処理対象とするサンプル点を設定するサンプル点設定手段と、前記画像をｎ個のブロックに分割する分割手段とをさらに設け、前記ブレ推定手段には、各前記ブロックにおける画像のブレを推定するｎ個のブロックブレ推定手段と、各前記ブロックにおける画像のブレの推定結果に基づいて、画像全体のブレを推定する画像ブレ推定手段とを設けることができる。
【００１８】
前記分割手段には、各前記ブロックに含まれる前記サンプル点の数がほぼ均一になるように前記画像をｎ個のブロックに分割させることができる。
【００１９】
前記ブロック分割手段には、各前記ブロックブレ推定手段の処理能力、および、各前記ブロックに含まれる前記サンプル点の数に基づいて、各前記ブロックを各前記ブロックブレ推定手段に割り当てさせることができる。
【００２０】
前記画像は、元になる画像内の所定の大きさの単位領域毎に、前記被写体のみに含まれる前記単位領域に所定の第１の値を設定し、前記背景のみに含まれる前記単位領域に所定の第２の値を設定し、前記被写体と前記背景の両方に含まれる前記単位領域に、前記単位領域内に含まれる前記被写体と前記背景の比率に応じた前記第１の値と前記第２の値との間の中間値を設定したαマップとすることができる。
【００２１】
本発明の一側面の画像処理方法は、画像処理装置が、画像内の各局所領域において、被写体側から見た前記被写体と背景との境界線である内境界線、および、前記背景側から見た前記被写体と前記背景との境界線である外境界線を検出し、前記局所領域ごとに前記内境界線と前記外境界線との空間上の相関値を算出し、前記相関値が所定の閾値以下になる前記局所領域を検出するステップを含む。
【００２２】
本発明の一側面のプログラムは、画像内の各局所領域において、被写体側から見た前記被写体と背景との境界線である内境界線、および、前記背景側から見た前記被写体と前記背景との境界線である外境界線を検出し、前記局所領域ごとに前記内境界線と前記外境界線との空間上の相関値を算出し、前記相関値が所定の閾値以下になる前記局所領域を検出するステップを含む処理をコンピュータに実行させる。
【００２３】
本発明の一側面においては、画像内の各局所領域において、被写体側から見た前記被写体と背景との境界線である内境界線、および、前記背景側から見た前記被写体と前記背景との境界線である外境界線が検出され、前記局所領域ごとに前記内境界線と前記外境界線との空間上の相関値が算出され、前記相関値が所定の閾値以下になる前記局所領域が検出される。
【発明の効果】
【００２４】
本発明の一側面によれば、ファジー領域を検出することができる。その結果、本発明の一側面によれば、画像のブレ推定の精度を向上させることができる。
【図面の簡単な説明】
【００２５】
【図１】ブレが発生していない画像に対するαマップの例である。
【図２】ブレが発生している画像に対するαマップの例である。
【図３】本発明を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。
【図４】ファジー領域の検出方法の概要について説明するための図である。
【図５】ファジー領域の検出方法の概要について説明するための図である。
【図６】ファジー領域の検出方法の概要について説明するための図である。
【図７】ファジー領域の検出方法の概要について説明するための図である。
【図８】αマップの分割方法について説明するための図である。
【図９】αマップの分割方法について説明するための図である。
【図１０】αマップの分割方法について説明するための図である。
【図１１】ブレ推定処理を説明するためのフローチャートである。
【図１２】ファジー領域の検出方法の具体例について説明するための図である。
【図１３】ファジー領域の検出方法の具体例について説明するための図である。
【図１４】αマップの分割方法の具体例について説明するための図である。
【図１５】本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【図１６】ブレ推定処理を説明するためのフローチャートである。
【図１７】αマップの分割方法の具体例について説明するための図である。
【図１８】αマップの生成方法のコンピュータの構成例を示すブロック図である。
【図１９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ブレ推定を行う単位となるブロックを、サンプル点の数がほぼ均一になるように分割する例）
２．第２の実施の形態（ブロックブレ推定部の処理能力に応じて、ブレ推定を行う単位となるブロックを割り当てる例）
３．変形例
【００２７】
＜１．第１の実施の形態＞
まず、図３乃至図１４を参照して、本発明の第１の実施の形態について説明する。
【００２８】
［画像処理装置の構成例］
図３は、本発明の第１の実施の形態としての画像処理装置１０１の構成例を示すブロック図である。
【００２９】
画像処理装置１０１は、αマップ生成部１１１、ファジー領域検出部１１２、サンプル点設定部１１３、ブロック分割部１１４、および、ブレ推定部１１５を含むように構成される。
【００３０】
αマップ生成部１１１は、入力画像に対するαマップを生成し、ファジー領域検出部１１２の境界線検出部１２１およびサンプル点設定部１１３に供給する。
【００３１】
なお、以下、説明を簡単にするために、αマップを生成するときの単位領域の大きさを１×１画素とする。すなわち、入力画像の各画素に対して１つのα値が求められて、αマップが生成されるものとする。また、以下、入力画像の各画素に対応するαマップの単位領域を画素とも称する。さらに、以下、αマップのα値が０≦α≦１の範囲を取り、被写体に対するα値が１に設定され、背景に対するα値が０に設定されるものとする。
【００３２】
ファジー領域検出部１１２は、境界線検出部１２１、相関値算出部１２２、および、検出部１２３を含むように構成される。
【００３３】
境界線検出部１２１は、図１１などを参照して後述するように、αマップに基づいて、被写体側から見た被写体と背景の境界線（以下、内境界線と称する）、および、背景側から見た被写体と背景の境界線（以下、外境界線と称する）を検出する。境界線検出部１２１は、内境界線および外境界線の検出結果を相関値算出部１２２に供給する。
【００３４】
相関値算出部１２２は、図１１などを参照して後述するように、αマップの所定の大きさの局所領域毎に、内境界線と外境界線との空間上の相関値を算出する。相関値算出部１２２は、相関値の算出結果を検出部１２３に供給する。
【００３５】
検出部１２３は、図１１などを参照して後述するように、各局所領域の相関値に基づいて、ファジー領域を検出する。検出部１２３は、ファジー領域の検出結果をサンプル点設定部１１３に供給する。
【００３６】
［ファジー領域の検出方法の概要］
ここで、図４乃至図７を参照して、ファジー領域検出部１１２によるファジー領域の検出方法の概要に説明する。
【００３７】
図４は、画像１５１内の被写体１５２のエッジ付近の領域１５３に対するαマップ１５４を、図１および図２と同様に、モノクロームの画像で表した例を示している。領域１５３内の被写体１５２のエッジ付近にはファジー領域が存在しないため、αマップ１５４において、被写体１５２と背景との境界が明確になる。従って、αマップ１５４において、被写体１５２側から見た内境界線の形状と、背景側から見た外境界線の形状とが、ほぼ一致する。このように、ファジー領域でない領域では、内境界線と外境界線との空間上の相関が高くなる。
【００３８】
図５は、画像１６１内の被写体１６２のエッジ付近の領域１６３に対するαマップ１６４を、図１および図２と同様に、モノクロームの画像で表した例を示している。被写体１６２の周囲は細かい毛で覆われており、領域１６３内の被写体１６２のエッジ付近はファジー領域となり、被写体１６２と背景との境界が曖昧になる。従って、αマップ１６４において、点線で示される被写体１６２側から見た内境界線１７１の形状と、実線で示される背景側から見た外境界線１７２の形状とが、大きく異なる。このように、ファジー領域では、内境界線と外境界線との空間上の相関が低くなる。
【００３９】
従って、内境界線の形状と外境界線の形状との一致具合、すなわち、内境界線と外境界線との空間上の相関に着目することにより、ファジー領域を検出することが可能になる。
【００４０】
例えば、図６は、ブレが発生した画像に対するαマップのファジー領域ではない領域において、内境界線と外境界線を検出した結果の例を示している。なお、領域２０１乃至２０４において、内境界線は点線で示されており、外境界線は実線で示されている。例えば、領域２０１内の内境界線２１１と外境界線２１２とは、互いに形状が似ており、両者の間隔の変化が小さく、空間上の相関が高いことが分かる。これは、領域２０２内の内境界線２１３と外境界線２１４、領域２０３内の内境界線２１５と外境界線２１６、領域２０４内の内境界線２１７と外境界線２１８についても同様である。
【００４１】
一方、図７は、ブレが発生した画像に対するαマップのファジー領域において、内境界線と外境界線を検出した結果の例を示している。なお、領域２２１乃至２２４において、内境界線は点線で示されており、外境界線は実線で示されている。例えば、領域２２１内の内境界線２３１と外境界線２３２とは、形状が大きく異なり、両者の間隔が大きく変化し、空間上の相関が低いことが分かる。これは、領域２２２内の内境界線２３３と外境界線２３４、領域２２３内の内境界線２３５と外境界線２３６、領域２２４内の内境界線２３７と外境界線２３８についても同様である。
【００４２】
従って、αマップの各局所領域の内境界線と外境界線を検出し、検出した内境界線と外境界線の空間上の相関値を用いて、当該局所領域がファジー領域か否かを判定することが可能である。
【００４３】
［画像処理装置の構成例の続き］
図３に戻り、サンプル点設定部１１３は、αマップのファジー領域を除く領域（以下、推定対象領域と称する）において、ブレ推定の処理対象とするサンプル点を設定し、サンプル点の設定結果およびαマップをブロック分割部１１４に供給する。
【００４４】
例えば、図８のαマップ２５１においてサンプル点を設定する場合について考える。なお、以下、範囲２６２内の被写体２６１のエッジ付近にファジー領域が存在するものとする。また、αマップ２５１では、背景の部分が斜線で示されている。
【００４５】
この場合、サンプル点設定部１１３は、範囲２６２内のファジー領域を除く領域を推定対象領域に設定し、設定した推定対象領域においてサンプル点を設定する。
【００４６】
ブロック分割部１１４は、各ブロックに含まれるサンプル点の数がほぼ均一になるように、αマップをｎ個のブロックに分割する。なお、ブロックの個数（ｎ個）は、ブロックブレ推定部１３１−１乃至１３１−ｎの個数と一致する。ブロック分割部１１４は、各ブロックのαマップおよびサンプル点の位置を、ブレ推定部１１５のそれぞれ対応するブロックブレ推定部１３１−１乃至１３１−ｎに供給する。
【００４７】
ブレ推定部１１５は、ブロックブレ推定部１３１−１乃至１３１−ｎ、および、画像ブレ推定部１３２を含むように構成される。
【００４８】
ブロックブレ推定部１３１−１乃至１３１−ｎは、例えば、同じ処理能力のｎ個のプロセッサ、または、同じ処理能力のｎ個のコア（ホモジニアスマルチコア）を備えるプロセッサにより実現される。ブロックブレ推定部１３１−１乃至１３１−ｎは、それぞれ対応するブロック内のブレ推定を並列に実行し、推定結果を画像ブレ推定部１３２に供給する。
【００４９】
なお、以下、ブロックブレ推定部１３１−１乃至１３１−ｎを個々に区別する必要がない場合、単にブロックブレ推定部１３１と称する。
【００５０】
ここで、例えば、ブロックブレ推定部１３１の個数をブロックブレ推定部１３１−１乃至１３１−４の４個とし、図８のαマップ２５１を４つのブロックに分割する場合について考える。
【００５１】
図９は、αマップ２５１を格子状に４等分した例を示している。この場合、ファジー領域にはサンプル点が設定されないため、ファジー領域を含むブロック２７２内のサンプル点が、他のブロック２７１、ブロック２７３、ブロック２７４内のサンプル点に比べて少なくなる。すなわち、ブロック間でサンプル点の数にばらつきが生じる。従って、ブロック２７２内のブレを推定するブロックブレ推定部１３１−２の処理が早く終了し、待ち時間が発生し、ブロックブレ推定部１３１全体の処理能力を有効に利用することができない。
【００５２】
一方、図１０は、ブロック内のサンプル点の数がほぼ等しくなるようにαマップを４分割した例を示している。従って、ファジー領域を含むブロック２８２の面積がいちばん大きくなり、他のブロック２８１、ブロック２８３、ブロック２８４の面積がほぼ等しくなる。これにより、ブロックブレ推定部１３１−１乃至１３１−４のブレ推定処理がほぼ同時に終了し、ブロックブレ推定部１３１全体の処理能力を有効に利用することができるようになる。
【００５３】
図３に戻り、画像ブレ推定部１３２は、各ブロックにおけるブレ推定の結果に基づいて、入力画像全体のブレを推定する。画像ブレ推定部１３２は、推定結果を外部に出力する。
【００５４】
［ブレ推定処理］
次に、図１１のフローチャートを参照して、画像処理装置１０１により実行されるブレ推定処理について説明する。なお、この処理は、例えば、画像処理装置１０１のαマップ生成部１１１に入力画像が入力されたとき開始される。
【００５５】
ステップＳ１において、αマップ生成部１１１は、所定の手法を用いて、入力画像に対するαマップを生成する。ここで、αマップを生成する手法は、特定の手法に限定されるものではなく、任意の手法を採用することが可能である。αマップ生成部１１１は、生成したαマップを境界線検出部１２１およびサンプル点設定部１１３に供給する。
【００５６】
ステップＳ２において、境界線検出部１２１は、注目領域を設定する。例えば、境界線検出部１２１は、αマップの左上隅の所定の大きさ（例えば、３２×３２画素）の局所領域を注目領域に設定する。
【００５７】
ステップＳ３において、境界線検出部１２１は、注目領域内の内境界線、外境界線を検出する。具体的には、境界線検出部１２１は、注目領域内のα＝１となる領域（被写体）側からサーチすることにより検出される、α＜ＴＨ１となる画素の集合を内境界線として検出する。すなわち、境界線検出部１２１は、注目領域内のα＜ＴＨ１となる画素からなる領域の被写体側から見た境界線を、内境界線として検出する。なお、閾値ＴＨ１は、例えば、０．７５に設定される。
【００５８】
また、境界線検出部１２１は、注目領域内のα＝０となる領域（背景）側からサーチすることにより検出される、α＞ＴＨ２（ただし、ＴＨ２≦ＴＨ１）となる画素の集合を外境界線として検出する。すなわち、境界線検出部１２１は、注目領域内のα＞ＴＨ２となる画素からなる領域の背景側から見た境界線を、外境界線として検出する。なお、閾値ＴＨ２は、例えば、０．２５に設定される。
【００５９】
そして、境界線検出部１２１は、注目領域内の内境界線および外境界線の検出結果を相関値算出部１２２に供給する。
【００６０】
ステップＳ４において、相関値算出部１２２は、内境界線と外境界線との空間上の相関値を算出する。例えば、相関値算出部１２２は、注目領域内の内境界線と外境界線との間の水平方向の距離の分散の逆数（以下、水平相関値と称する）および垂直方向の距離の分散の逆数（以下、垂直相関値と称する）を、内境界線と外境界線との空間上の相関値として算出する。相関値算出部１２２は、相関値の算出結果を検出部１２３に供給する。
【００６１】
ステップＳ５において、検出部１２３は、ファジー領域の判定を行う。例えば、検出部１２３は、水平相関値および垂直相関値のうち少なくとも一方が所定の閾値以下である場合、注目領域がファジー領域であると判定する。検出部１２３は、注目領域がファジー領域であるか否かの判定結果をサンプル点設定部１１３に供給する。
【００６２】
なお、内境界線と外境界線との空間上の相関値を算出する手法、および、相関値に基づいてファジー領域の判定を行う手法は、上述した例に限定されるものではなく、任意の手法を採用することができる。例えば、内境界線と外境界線との空間上の相関値を算出する手法として、内境界線と外境界線の始点を一致させ、その相関係数を算出することが考えられる。
【００６３】
ステップＳ６において、境界線検出部１２１は、未処理の局所領域が残っているか否かを判定する。未処理の局所領域が残っていると判定された場合、処理はステップＳ２に戻る。その後、ステップＳ６において、未処理の局所領域が残っていないと判定されるまで、ステップＳ２乃至Ｓ６の処理が繰返し実行される。
【００６４】
ここで、例えば、図１２に示されるαマップ３０１について処理する場合について考える。なお、図１２のαマップ３０１は、人である被写体３１１を撮影する際にブレが生じた画像に対するαマップである。また、αマップ３０１は、α値が１の画素が青、α値が０の画素が赤となる色温度により表示したαマップを、さらにモノクロームの画像に変換したものである。
【００６５】
ステップＳ２乃至Ｓ６の処理を繰り返すことにより、例えば、矢印３１２に示されるように注目領域を移動させながら、αマップ３０１の各局所領域において、内境界線および外境界線が検出され、両者の空間上の相関値が算出され、ファジー領域であるか否かの判定が行われる。なお、各局所領域は、その一部を隣接する局所領域に重ねるように設定してもよいし、重ねないように設定してもよい。
【００６６】
図１３は、図１２の局所領域３１３ａ乃至３１３ｄの内境界線と外境界線の検出結果、および、ファジー領域の判定結果の例を示す図である。
【００６７】
局所領域３１３ａは、被写体３１１の画素より細かい部分である頭髪を含み、ブレ成分の他に、ファジー成分を多く含んでいる。従って、局所領域３１３ａ内の内境界線３３１と外境界線３３２とは、形状が大きく異なり、空間上の相関が低くなる。その結果、内境界線３３１と外境界線３３２との水平相関値および垂直相関値のうち少なくとも一方が所定の閾値以下となり、局所領域３１３ａは、ファジー領域であると判定される。
【００６８】
同様に、局所領域３１３ｂも、被写体３１１の頭髪を含み、ブレ成分の他に、ファジー成分を多く含んでいる。従って、局所領域３１３ｂ内の内境界線３３３と外境界線３３４との空間上の相関が低くなり、局所領域３１３ｂは、ファジー領域であると判定される。
【００６９】
一方、局所領域３１３ｃは、被写体３１１の服のエッジ付近を含む領域であり、被写体３１１の画素より細かい部分をほとんど含まない。すなわち、局所領域３１３ｃは、ブレ成分を含む一方、ファジー成分をほとんど含まない。従って、局所領域３１３ｃ内の内境界線３３５と外境界線３３６とは、形状が類似し、空間上の相関が高くなる。その結果、内境界線３３５と外境界線３３６との水平相関値および垂直相関値とも所定の閾値より大きくなり、局所領域３１３ｃは、ファジー領域でないと判定される。
【００７０】
局所領域３１３ｄは、被写体３１１の手のひらのエッジ付近を含む領域であり、局所領域３１３ｃと同様に、被写体３１１の画素より細かい部分をほとんど含まない。すなわち、局所領域３１３ｄは、ブレ成分を含む一方、ファジー成分をほとんど含まない。従って、局所領域３１３ｄ内の内境界線３３７と外境界線３３８とは、形状が類似し、空間上の相関が高くなる。その結果、局所領域３１３ｄは、ファジー領域でないと判定される。
【００７１】
図１１に戻り、一方、ステップＳ６において、未処理の局所領域が残っていないと判定された場合、処理はステップＳ７に進む。
【００７２】
ステップＳ７において、サンプル点設定部１１３は、ブレ推定の処理対象とするサンプル点を設定する。すなわち、サンプル点設定部１１３は、αマップのファジー領域を除く領域を推定対象領域に設定し、設定した推定対象領域において、サンプル点を設定する。
【００７３】
なお、このとき、推定対象領域内の全ての画素をサンプル点に設定するようにしてもよいし、処理を高速化するために、サンプル点に設定する画素を適度に間引くようにしてもよい。また、サンプル点に設定する画素を間引く場合、例えば、所定の間隔で間引くようにしてもよいし、重要度に応じて間引くようにしてもよい。なお、サンプル点に設定する画素を重要度に応じて間引く場合、例えば、画像のブレが現れやすい被写体のエッジ付近の重要度を高く設定し、間引く量を少なくし、それ以外の部分の重要度を低く設定し、間引く量を多くすることが考えられる。
【００７４】
そして、サンプル点設定部１１３は、サンプル点の設定結果およびαマップをブロック分割部１１４に供給する。
【００７５】
ステップＳ８において、ブロック分割部１１４は、サンプル点の数がほぼ均一になるようにαマップを分割する。すなわち、ブロック分割部１１４は、各ブロックに含まれるサンプル点の数がほぼ均一になるように、αマップをブロックブレ推定部１３１の個数であるｎ個のブロックに分割する。ブロック分割部１１４は、各ブロックのαマップおよびサンプル点の位置を、それぞれ対応するブロックブレ推定部１３１に供給する。
【００７６】
ここで、図１４を参照して、ステップＳ８の処理の具体例について説明する。なお、図１４のαマップ３５１内の小さい丸はサンプル点を示している。また、この例において、ブロックブレ推定部１３１の数が１６個であるものとする。
【００７７】
この場合、ブロック分割部１１４は、各ブロック内のサンプル点の数がほぼ均一になるように、αマップ３５１をブロック３５２ａ乃至３５２ｐの１６個のブロックに分割する。従って、各ブロックの大きさおよび形状は、サンプル点の位置や密度に応じて調整される。そして、ブロック分割部１１４は、各ブロックのαマップおよびサンプル点の位置を、それぞれ対応するブロックブレ推定部１３１に供給する。
【００７８】
ステップＳ９において、各ブロックブレ推定部１３１は、各ブロックにおける画像のブレを推定する。例えば、各ブロックブレ推定部１３１は、それぞれ対応するブロック内のサンプル点におけるα値の勾配を求め、各サンプル点におけるα値の勾配に基づいて、当該ブロックにおける画像のブレの方向と大きさを推定する処理を並列に実行する。各ブロックブレ推定部１３１は、各ブロックにおける画像のブレの推定結果を画像ブレ推定部１３２に供給する。
【００７９】
なお、上述したように、各ブロック内のサンプル点の数がほぼ均一に設定されているため、各ブロックブレ推定部１３１のブレ推定の処理は、ほぼ同時に開始され、ほぼ同時に終了する。
【００８０】
ステップＳ１０において、画像ブレ推定部１３２は、入力画像全体のブレを推定する。すなわち、画像ブレ推定部１３２は、各ブロックにおける画像のブレの推定結果に基づいて、入力画像全体のブレの方向と大きさを推定する。画像ブレ推定部１３２は、推定結果を外部に出力する。
【００８１】
なお、ブロックブレ推定部１３１およびブレ推定部１１５の処理の詳細は、例えば、上述した非特許文献１などに記載されている。
【００８２】
以上のように、ファジー領域を除いた推定対象領域のみを用いてブレ推定を行うので、ファジー成分の影響を除去し、入力画像のブレ推定の精度を向上することができる。また、ブレ推定の精度が向上するので、そのブレ推定の結果を用いてブレ補正を行った画像を高画質化することができる。
【００８３】
さらに、各ブロックブレ推定部１３１が処理するサンプル点がほぼ均一になるようにブロック分割が行われるので、ブロックブレ推定部１３１の並列度を最適化することができる。その結果、ブロックブレ推定部１３１全体の処理能力を有効に利用することができ、処理時間を短縮することができる。
【００８４】
＜２．第２の実施の形態＞
次に、図１５乃至図１７を参照して、本発明の第２の実施の形態について説明する。
【００８５】
［画像処理装置の構成例］
図１５は、本発明の第２の実施の形態としての画像処理装置４０１の構成例を示すブロック図である。なお、図中、図３と対応する部分には同じ符合を付してあり、処理が同じ部分については、その説明は繰返しになるので省略する。
【００８６】
画像処理装置４０１は、図３の画像処理装置１０１と比較して、αマップ生成部１１１、ファジー領域検出部１１２、および、サンプル点設定部１１３を含む点で一致し、ブロック分割部１１４およびブレ推定部１１５の代わりに、ブロック分割部４１１およびブレ推定部４１２を含む点で一致する。また、ブレ推定部４１２は、ブレ推定部１１５と比較して、画像ブレ推定部１３２を含む点で一致し、ブロックブレ推定部１３１−１乃至１３１−ｎの代わりに、ブロックブレ推定部４２１−１乃至４２１−ｎを含む点が異なる。
【００８７】
ブロック分割部４１１は、αマップを同じ大きさおよび形状のｎ個のブロックに等分する。なお、ブロックの個数（ｎ個）は、ブロックブレ推定部４２１−１乃至４２１−ｎの個数と一致する。また、ブロック分割部４１１は、ブロックブレ推定部４２１−１乃至４２１−ｎの処理能力、および、各ブロックに含まれるサンプル点の数に基づいて、各ブロックをブロックブレ推定部４２１−１乃至４２１−ｎに割り当てる。ブロック分割部４１１は、各ブロックのαマップおよびサンプル点の位置を、それぞれ対応するブロックブレ推定部４２１−１乃至４２１−ｎに供給する。
【００８８】
ブロックブレ推定部４２１−１乃至４２１−ｎは、例えば、処理能力が異なるｎ個のプロセッサ、または、処理能力が異なるｎ個のコア（ヘテロジニアスマルチコア）を備えるプロセッサにより実現される。なお、ブロックブレ推定部４２１−１乃至４２１−ｎの処理能力は、必ずしも全て異なっている必要はない。すなわち、ブロックブレ推定部４２１−１乃至４２１−ｎの処理能力は、少なくとも２以上に分かれればよく、同じ処理能力のものが複数あってもよい。ブロックブレ推定部４２１−１乃至４２１−ｎは、それぞれ対応するブロック内のブレ推定を並列に実行し、推定結果を画像ブレ推定部１３２に供給する。
【００８９】
なお、以下、ブロックブレ推定部４２１−１乃至４２１−ｎを個々に区別する必要がない場合、単にブロックブレ推定部４２１と称する。
【００９０】
［ブレ推定処理］
次に、図１６のフローチャートを参照して、画像処理装置４０１により実行されるブレ推定処理について説明する。なお、この処理は、例えば、画像処理装置４０１のαマップ生成部１１１に入力画像が入力されたとき開始される。
【００９１】
ステップＳ５１乃至Ｓ５７の処理は、図１１のステップＳ１乃至Ｓ７の処理と同様であり、その説明は繰返しになるので省略する。なお、これらの処理により、αマップ内のファジー領域が検出され、ファジー領域を除く推定対象領域において、サンプル点が設定される。
【００９２】
ステップＳ５８において、ブロック分割部４１１は、各ブロックブレ推定部４２１の処理能力に応じて、ブロックを割り当てる。
【００９３】
ここで、図１７を参照して、ステップＳ５８の処理の具体例について説明する。なお、図１７のαマップ３５１は、図１４のαマップ３５１と同じものであり、サンプル点の設定位置も同じである。また、この例において、ブロックブレ推定部４２１の数が１６個であり、そのうちブロックブレ推定部４２１−１乃至４２１−８が、ブロックブレ推定部４２１−９乃至４２１−１６より処理能力が高いものとする。
【００９４】
まず、ブロック分割部４１１は、αマップ３５１をブロック４５１ａ乃至４５１ｐに１６等分する。そして、ブロック分割部４１１は、よりサンプル点が多いブロックを、より処理能力が高いブロックブレ推定部４２１に割り当て、よりサンプル点が少ないブロックを、より処理能力が低いブロックブレ推定部４２１に割り当てる。例えば、ブロック分割部４１１は、サンプル点が多いブロック４５１ｂ，４５１ｃ，４５１ｆ，４５１ｇ，４５１ｊ，４５１ｋ，４５１ｎ、および、４５１ｏを、処理能力が高いブロックブレ推定部４２１−１乃至４２１−８にそれぞれ割り当てる。また、ブロック分割部４１１は、サンプル点が少ないブロック４５１ａ，４５１ｄ，４５１ｅ，４５１ｈ，４５１ｉ，４５１ｌ，４５１ｍ、および、４５１ｐを、処理能力が低いブロックブレ推定部４２１−９乃至４２１−１６にそれぞれ割り当てる。
【００９５】
そして、ブロック分割部４１１は、各ブロックのαマップおよびサンプル点の位置を、それぞれ対応するブロックブレ推定部４２１に供給する。
【００９６】
ステップＳ５９において、各ブロックブレ推定部４２１は、図１１のステップＳ９の処理と同様に、各ブロックにおける画像のブレを推定する。なお、上述したように、各ブロックブレ推定部４２１の処理能力に応じてブロックが割り当てられるので、各ブロックブレ推定部１３１のブレ推定の処理は、ほぼ同時に開始され、ほぼ同時に終了する。
【００９７】
ステップＳ６０において、画像ブレ推定部１３２は、図１１のステップＳ１０の処理と同様に、入力画像全体のブレを推定する。その後、ブレ推定処理は終了する。
【００９８】
以上のように、各ブロックブレ推定部４２１の処理能力、および、各ブロック内のサンプル点の個数に基づいて、各ブロックブレ推定部４２１にブロックが割り当てられるので、ブロックブレ推定部４２１の並列度を最適化することができる。その結果、ブロックブレ推定部４２１全体の処理能力を有効に利用することができ、処理時間を短縮することができる。
【００９９】
＜３.変形例＞
なお、以上の説明では、αマップを複数のブロックに分割して、ブロック毎にブレ推定を行う例を示したが、ブロック分割を行わずにブレ推定を行うようにしてもよい。
【０１００】
また、本発明は、αマップ以外の画像またはデータを用いて、ブレ推定を行う場合にも適用できる。すなわち、αマップ以外の画像またはデータを用いる場合にも、ファジー領域を検出し、ファジー領域を除いた領域でブレ推定を行うことにより、ブレ推定の精度を向上させることが可能である。
【０１０１】
さらに、被写体が複数の領域に分かれる場合には、例えば、領域分割の結果を用いて、各領域間の境界線をαマップでの前景と背景との境界線とみなして、ファジー領域を検出するようにしてもよい。例えば、図１８の画像５０１内の被写体である家５１１を、屋根５２１、窓５２２、戸５２３、および、壁５２４の４つの領域に分割し、屋根５２１と壁５２４の間、窓５２２と壁５２４の間、および、戸５２３と壁５２４の間の各境界線をαマップでの前景と背景の境界線とみなして、ファジー領域を検出するようにしてもよい。
【０１０２】
なお、本発明は、画像のブレを検出する装置やソフトウエア、および、画像のブレを補正する装置やソフトウエアなどに適用できる。例えば、デジタルカメラ、デジタルビデオカメラ、カメラ付きの情報処理端末（例えば、携帯電話機など）、画像表示装置、画像再生装置、画像記録装置、画像記録再生装置、画像の編集を行うソフトウエアなどに適用することができる。
【０１０３】
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１０４】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１０５】
コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
【０１０６】
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
【０１０７】
入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
【０１０８】
以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０９】
コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１１０】
コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
【０１１１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１２】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１１３】
１０１  画像処理装置，  １１１  αマップ生成部，  １１２  ファジー領域検出部，  １１３  サンプル点設定部，  １１４  ブロック分割部，  １１５  ブレ推定部，  １２１  境界線検出部，  １２２  相関値算出部，  １２３  検出部，  １３１−１乃至１３１−ｎ  ブロックブレ推定部，  １３２  画像ブレ推定部，  ４１１  ブロック分割部，  ４１２  ブレ推定部，  ４２１−１乃至４２１−ｎ  ブロックブレ推定部
【図１】
2011254233.tif 000003
【図２】
2011254233.tif 000004
【図３】
2011254233.tif 000005
【図４】
2011254233.tif 000006
【図５】
2011254233.tif 000007
【図６】
2011254233.tif 000008
【図７】
2011254233.tif 000009
【図８】
2011254233.tif 000010
【図９】
2011254233.tif 000011
【図１０】
2011254233.tif 000012
【図１１】
2011254233.tif 000013
【図１２】
2011254233.tif 000014
【図１３】
2011254233.tif 000015
【図１４】
2011254233.tif 000016
【図１５】
2011254233.tif 000017
【図１６】
2011254233.tif 000018
【図１７】
2011254233.tif 000019
【図１８】
2011254233.tif 000020
【図１９】
2011254233.tif 000021