(57)【特許請求の範囲】
【請求項１】
オリジナル画像に対して平均化処理を行うことで、当該オリジナル画像を１／ｎ（ｎは２のべき乗）に縮小する縮小手段と、
前記縮小手段による縮小で得られた縮小画像をｍ倍（ｍはｎより大きな２のべき乗）に拡大する第１の拡大手段と、
前記オリジナル画像をｍ／ｎ倍に拡大する第２の拡大手段と、
前記第１の拡大手段による拡大で得られた第１の拡大画像と、前記第２の拡大手段による拡大で得られた第２の拡大画像とを比較することにより、前記オリジナル画像を解析する解析手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記解析手段は、前記第１の拡大画像と、前記第２の拡大画像との相対位置を決定して、決定された当該相対位置に基づき、当該第１の拡大画像と当該第２の拡大画像とにおける比較対象の領域を特定し、特定された比較対象の領域同士を比較することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記解析手段は、前記相対位置に基づき、前記第１の拡大画像と、前記第２の拡大画像とに含まれる、比較対象の画素を特定し、特定された当該比較対象の画素のレベルを比較することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記解析手段は、前記縮小画像の大きさと前記第１の拡大画像の大きさとの比率に応じた相対位置を決定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記縮小手段は、前記オリジナル画像を１／２に縮小し、
前記第１の拡大手段は、前記縮小画像を４倍に拡大することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記縮小手段は、前記オリジナル画像を１／４に縮小し、
前記第１の拡大手段は、前記縮小画像を８倍に拡大することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
前記オリジナル画像は動画像に含まれるフレームであり、
前記解析手段による解析に従って、前記動画像から前記オリジナル画像を抽出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記解析手段は、前記オリジナル画像のブレまたはボケを解析することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
オリジナル画像に対して平均化処理を行うことで、当該オリジナル画像を１／ｎ（ｎは２のべき乗）に縮小し、
前記縮小で得られた縮小画像をｍ倍（ｍはｎより大きな２のべき乗）に拡大し、
前記オリジナル画像をｍ／ｎ倍に拡大し、
前記縮小画像の拡大で得られた第１の拡大画像と、前記オリジナル画像の拡大で得られた第２の拡大画像とを比較することにより、前記オリジナル画像を解析することを特徴とする画像処理方法。
【請求項１０】
請求項１乃至８のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を解析するための画像処理装置、画像処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
従来、品質の低いデジタル画像として、撮影時の「手ブレ」や被写体が動くことによる「被写体ブレ」が生じている画像がある。さらに、撮影時の主要被写体に焦点距離が合わないことに起因する「ピンボケ」が生じている画像などがある。
【０００３】
このような品質の低いデジタル画像を解析する技術として、特許文献１では、原画像にフィルタを用いることでボケ画像を生成し、原画像とボケ画像とを比較したときの差分量により、原画像においてピントが合致している度合いを測定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−９８４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の従来技術では、フィルタを用いてボケ画像を生成している。しかしながら、解析対象の画像に対してフィルタを用いてボカシ処理を行う場合、処理負荷が大きくなってしまう。
【０００６】
従って、本発明は上記の課題を鑑みて、画像を解析するときに、簡単な処理で、且つ適切に画像を解析することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、オリジナル画像に対して平均化処理を行うことで、当該オリジナル画像を１／ｎ（ｎは２のべき乗）に縮小する縮小手段と、前記縮小手段による縮小で得られた縮小画像をｍ倍（ｍはｎより大きな２のべき乗）に拡大する第１の拡大手段と、前記オリジナル画像をｍ／ｎ倍に拡大する第２の拡大手段と、前記第１の拡大手段による拡大で得られた第１の拡大画像と、前記第２の拡大手段による拡大で得られた第２の拡大画像とを比較することにより、前記オリジナル画像を解析する解析手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、オリジナル画像を縮小、拡大した画像と、オリジナル画像を拡大した画像とを比較することで、オリジナル画像を解析するため、簡単な処理で、且つ適切に画像を解析することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置のブロック図である。
【図２】本実施例のブレボケ推定方法を説明するための図である。
【図３】画像の縮小・拡大処理による、画素のずれを説明するための図である。
【図４】本発明のブレボケ推定の手順を示すフローチャートである。
【図５】解析領域を示す図である。
【図６】多段階の縮小率で縮小した縮小画像を拡大したときの、画素のずれを説明するための図である。
【発明を実施するための形態】
【００１０】
（実施例１）
以下、本発明の実施の形態について詳細に説明する。
図１は、本実施例における画像処理装置のブロック図である。
ＣＰＵ１０１は、中央演算ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）で、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ１０１と他の機能ブロックの間でデータのやり取りを制御する機能を提供している。
【００１１】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）  １０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。
【００１２】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０４は、高速の読み／書き可能な記憶領域を提供する。
【００１３】
２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。
【００１４】
なお、上記のＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＯＭ１０３または２次記憶装置１０５に格納される。また、本実施例の処理を実行する画像処理アプリケーションは、ＲＯＭ１０３または２次記憶装置１０５に格納され、ユーザの操作で起動するアプリケーションとして提供される。以下で説明する処理は、ＣＰＵ１０１が、ＲＯＭ１０３や２次記憶装置１０５に記憶されている、ＯＳ、画像処理アプリケーション等のプログラムを、ＲＡＭ１０４をワークメモリとして実行することで実現する。
【００１５】
表示制御部１０６は、ＯＳやアプリケーションに対して行われるユーザの操作の結果をＧＵＩの画像データとして生成し、表示装置１０７で表示するための制御を行う。表示装置１０７には液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイが使用できる。
【００１６】
Ｉ／Ｏ制御部１０８は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＰＳ／２（Ｐｅｒｓｏｎａｌ  Ｓｙｓｔｅｍ／２）がある。
【００１７】
入力装置１０９は、キーボード、マウスといった操作デバイスであり、Ｉ／Ｏ制御部１０８は、入力装置１０９を介してユーザの指示を画像処理装置に入力する。
【００１８】
Ｉ／Ｏ制御部１０８は、各種の出力装置１１０を接続して、接続されている出力装置１１０にデータを出力する。出力装置１１０は例えばプリンターであり、Ｉ／Ｏ制御部が印刷データを出力装置に出力することで、印刷データに対応する画像を印刷させることができる。
【００１９】
なお、画像処理装置には、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Ｃｏｍｐａｃｔ  Ｆｌａｓｈ）メモリ、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカードといった記憶装置などを接続することもできる。そして、Ｉ／Ｏ制御部は、そのデジタルカメラやメモリに画像データなどのデータを転送することや、逆にデジタルカメラやメモリからデータを取得することも可能である。
【００２０】
後述するが、本実施例では、動画像に含まれているフレーム（静止画像）における、ブレ、ボケを判定する。その動画像のデータは、上記の２次記憶装置１０５や、画像処理装置に接続されているＵＳＢメモリやＣＦメモリ、ＳＤメモリカード等から供給される。
【００２１】
また、本実施例では、動画像に含まれる静止画像を縮小して、その縮小した静止画像を拡大する。そして、そのように縮小・拡大された静止画像と、上記の縮小処理を実行していない静止画像とを比較することにより、当該静止画像のブレ、ボケの判定を行う。このブレ、ボケ判定を、図２を用いて説明する。
【００２２】
図２は本実施例のブレボケ推定方法を説明するための図である。
まず、オリジナル画像２０１の所定領域を縮小して縮小画像２０２を作成する。この縮小処理は、例えばオリジナル画像の画素を間引く、またはオリジナル画像の複数の画素値の平均を取って新たな画素とする、等の処理により行われる。このように縮小された縮小画像２０２は、オリジナル画像よりも情報量が減少した分だけオリジナル画像よりも画質が劣化する。縮小画像２０２を再拡大して再拡大画像２０３を生成する。この拡大処理は、縮小画像２０２に含まれる画素により、新たな画素を生成することで行われる。具体的には、縮小画像２０２に含まれる画素の画素値により、新たな画素の画素値を決定し、その画素値の画素が、縮小画像２０２の画素の間に配置されるように、再拡大画像２０３を生成する。
【００２３】
この場合、上記のように、縮小画像２０２はオリジナル画像の画素の間引き処理や平均化処理により実行されるため、その縮小画像２０２を再拡大して再拡大画像２０３を生成しても、オリジナル画像２０１に戻ることはない。よって、オリジナル画像２０１と再拡大画像２０３には少なからず差分が発生する。
【００２４】
ここで、画像におけるブレやボケとは、本来あるべき画素データに周辺の画素データが畳込まれることによって劣化したものと考えれば、上記のような画像の縮小、拡大処理により、ブレ、ボケが画像に生じる。従って、もともとオリジナル画像２０１のブレ量やボケ量が大きかった場合には、上記の縮小、拡大を行ったとしても、大きな変化はない。しかしながら、オリジナル画像にブレ量やボケ量が少なかった場合には、縮小、拡大により、初めてブレ、ボケが発生することになる。よって、もともとオリジナル画像２０１のブレ量やボケ量が大きかった場合と、ブレ量やボケ量が少なかった場合で、上記の差分量に違いが生じることになる。具体的には、オリジナル画像が元々ブレやボケを多く含む画像であるほど、差分量が小さくなると考えられる。
【００２５】
そこで、本実施例では、オリジナル画像を縮小・拡大した画像と、オリジナル画像との差分値により、オリジナル画像のブレ、ボケを判定する。
【００２６】
また、本実施例では、画像の縮小処理を行うときに、上記の平均化処理によって、縮小を行う。即ち、オリジナル画像に含まれる複数の画素の画素値の平均を取り、その平均値を有する画素を、縮小画像の画素とする。
【００２７】
なお、本実施例では、オリジナル画像２０１と、再拡大画像２０３との差分を取るときに、両方の画像に含まれる画素の画素値（画素レベル）を比較し、所定値以上の差分がある画素の数により、オリジナル画像２０１と再拡大画像２０３の差分を判定する。なお、この画素値は、輝度や濃度といった各種のデータでよい。
【００２８】
また、上記の縮小処理において、平均化を実行する複数の画素の数が多いほど、縮小画像の１つの画素に畳込まれるオリジナル画像の画素が多くなり、オリジナル画像との差分が広範囲で発生することになる。これにより、再拡大して比較したときにオリジナルとの差が発生しやすくなってしまう。つまり、エッジ部がなまることによって生まれた差と、より広い範囲の画素が畳込まれたことによる差が混在してしまうことになり、ブレボケ推定値において後者がノイズとして作用することになる。つまり、差分をブレボケ推定の評価量とする場合には、畳込む画素が多くなればなるほど評価量を求める際にノイズとして作用することになる。
【００２９】
この場合、オリジナル画像がブレ、ボケが多い画像であったとしても、その画像を縮小・拡大すればオリジナル画像との差分が大きくなるため、オリジナル画像がブレ、ボケの少ない画像と誤判定してしまう可能性がある。
【００３０】
従って、オリジナル画像において、平均化を実行する画素を、可能な限り微小な領域で特定することが望ましい。従って、本実施例では、オリジナル画像における２×２画素の領域を平均化する。詳細については図３を用いて説明する。
【００３１】
なお、本実施例では、上記のように、画像の縮小・拡大処理を行い、オリジナルの画像と比較することにより、画像のブレ、ボケを判定している。しかしながら、画像の先鋭度を判断することによって、画像のブレ、ボケを判定することもできる。この場合、ピクセル単位でエッジ判定できるのが理想ではあるが、実際のデジタル画像処理としては周辺画素との差分を利用することになる。一般的に、ラブラシアン・フィルタなどのように３×３のフィルタ処理でエッジを抽出する方法があるが、例えば背景から構造物への切り替わりを判定するために必要な最小ピクセル数は２画素である。つまり、３画素の幅で判定すると、その分だけ領域変動に対するノイズ成分が入ると考えることもできる。よって、この場合も、２×２画素のフィルタを用いることによって、演算コストの低減だけでなく、ブレ、ボケを正確に判定することが期待できる。
【００３２】
上記のように本実施例では、平均化処理を行って１／２の縮小画像を作成するが、これを２倍に拡大してオリジナル画像と比較すると、画素が本来の位置から１／２画素分ずれることになる。図３を用いて説明する。
【００３３】
図３は、画像の縮小・拡大処理による、画素のずれを説明するための図である。ここでは、上述したように、２×２画素の４画素の平均処理を行う。
【００３４】
図３（ａ）において点線で示した画素３０１は、その周辺の実線で示した４画素で平均化したときの画素である。そして、既に平均化処理を行った画素と重複しないように、平均化処理の対象となる４つの画素を２×２画素ずつずらして特定し、その４つの画素に平均化処理を実行して、画素３０２、画素３０３と、順次平均化処理を行う。これによってオリジナル画像から１／２に縮小された縮小画像を作成する。
【００３５】
この縮小画像を再拡大して、オリジナル画像との差分量を出すことで、ブレボケ推定量を算出する。例えば、再拡大画像とオリジナル画像とにおいて対応する画素ごとに差分を算出し、所定の差分以上となる画素の数を、そのオリジナル画像のブレボケ量として推定する評価量としてもよい。また、各画素に対して算出された差分を、全画素分加算したものを、プレボケの評価量として定義してもよい。また、解析領域の大きさが異なる場合には、解析領域の画素数で評価量を正規化してもよい。
【００３６】
ここで、図３（ａ）の１／２の縮小画像の画素３０１に着目すると、オリジナル画像における位置は、オリジナル画像に含まれる画素に対して０．５画素分のずれをもつことが分かる。そして、縮小画像を拡大したときに、２倍の大きさに拡大して、オリジナル画像と同じサイズにしたとする。このとき、画素３０１〜３０３は、図３（ａ）に示すように４つの画素の間の位置に配置することはできず、画素３０１〜３０３のそれぞれを平均化したときの４つの画素のいずれかに対応する位置に配置される。すると、図３（ａ）のように本来はオリジナル画像の画素から０．５画素分ずれた位置にあるはずの画素３０１〜３０３を、本来の位置から０．５画素分ずらして配置することになる。すると、縮小画像を２倍に拡大したときの拡大画像とオリジナル画像とを比較する場合、本来の位置から０．５画素分ずらして配置された画素３０１〜３０３と、オリジナル画像との差分を判定してしまう。これにより、拡大画像とオリジナル画像との差分を適切に判定できない場合がある。
【００３７】
そこで本実施例では、縮小画像を縦横に４倍した拡大画像を作成し、またオリジナル画像を縦横に２倍に拡大して、両者の比較を行う。図３（ｂ）は、１／２の縮小画像を、４倍した拡大画像を示す。また、図３（ｃ）は、オリジナル画像を２倍に拡大した画像であり、３０４〜３０９は、オリジナル画像の画素の本来の位置を示す。すると、この図３（ｂ）、図３（ｃ）に示すように、上記の２つ画像がともに、比較対象となる画素が本来の位置から０．５画素分ずれることがわかる。
【００３８】
この２つの画像において、水平および垂直方向それぞれ１ピクセルずらして差分値を構成することで、０．５画素のずれがちょうど０．５×２＝１画素のずれとなり、本来あるべき対応画素として調整することができる。例えば図３（ｂ）、図３（ｃ）に示す場合、図３（ｃ）の画像に対して、図３（ｂ）の画像を左に１画素分、上に１画素分調整することにより、２つの画像の適切な画素同士を比較することができる。これによって、ブレボケ推定における差分値をブレ、ボケを正確に判定することができる。
【００３９】
また、以上説明したように本実施例においては、画像の縮小および拡大処理を２のべき乗数単位で行っているため、シフト演算による処理負荷低減の効果がある。また、従来技術のようにぼかし画像を２×２フィルタで行ってもよいが、この場合でも上記位置ずれの問題は発生するため、推定精度を高めるためには本実施例によるピクセルずらしの構成が必要になる。
【００４０】
図４は本実施例のブレボケ推定方法の動作を示すフローチャートである。この図４に示すフローチャートの処理に対応するプログラムがＲＯＭ１０３に記録されており、ＣＰＵ１０１がこのプログラムをＲＡＭ１０４に読み出して実行することにより、図４に示す処理を実現することができる。
【００４１】
Ｓ４０１において、デジタル写真画像５０１の中で、ブレ、ボケの判定のために、解析すべき解析領域を決定する。図５は解析領域を示す図である。解析領域は画像の全領域でもよいし、顔検出による主要被写体領域など一部の領域でもよい。また、複数の解析領域を設定してもよい。
【００４２】
次に、Ｓ４０２において、設定した解析領域５０２に含まれる画素の輝度データを平均化することで、先に説明したように、水平および垂直方向それぞれ１／２に縮小した縮小画像を作成する。Ｓ４０３において、Ｓ４０２で作成した縮小画像を水平および垂直方向それぞれ４倍に拡大した拡大画像を作成する。さらに、Ｓ４０４において、オリジナル画像を水平および垂直方向それぞれ２倍に拡大した拡大画像を作成する。
【００４３】
上述したように、Ｓ４０３において縮小画像を４倍に拡大した拡大画像と、Ｓ４０４において、オリジナル画像を２倍に拡大した拡大画像で、１ピクセル分のずれがある。そこで、Ｓ４０５において、拡大画像間で１ピクセル分位置をスライドさせた状態で差分値を取得する。即ち、縮小画像を４倍に拡大した拡大画像と、オリジナル画像を２倍に拡大した拡大画像との相対位置を決定し、その決定された相対位置で比較する。つまり、上記２つの拡大画像において対応する、比較対象の領域同士を比較して、その２つの拡大画像における比較対象の領域の差分を取得する。
【００４４】
このとき、ブレボケ推定の評価量としては、各画素間での差分値を加算して解析領域の画素数で正規化したものなどが利用できる。また、差分値に関しても、所定の閾値を超えるものだけを加算するようにしてもよい。
【００４５】
以上のように、本実施例によれば、オリジナル画像を縮小・拡大した画像と、縮小を行っていないオリジナル画像とを比較して、差分を求めることで、オリジナル画像のブレ、ボケを判定することできる。また、オリジナル画像に１／２縮小、４倍拡大を行った画像に対して、オリジナル画像を２倍に拡大し、１ピクセル単位でずれを修正することで、上記２枚の画像における、適切な画素同士を比較することができる。
【００４６】
従って、本実施例によれば、画像におけるブレ、ボケを正確に判定することができる。よって、例えば複数の画像から、ブレ、ボケの少ない画像を抽出するときに、適切な画像を抽出することができる。例えば、動画像を構成する複数のフレームから、ブレ、ボケの少ないフレームを抽出するときに有効である。そのように動画像から抽出されたフレームを、表示装置に表示させる、または印刷装置に印刷させるなど、各種の出力処理を行うことができる。この場合でも、本実施例によれば、ブレ、ボケの少ない画像を抽出できるので、適切な画像を抽出して表示や印刷を行うことができる。なお、そのように動画像からフレームを抽出する場合に、動画像から抽出された複数フレームを並べて表示や印刷を実行してもよいし、複数フレームを合成して表示や印刷を実行してもよい。
【００４７】
なお、本実施例では処理の高速化を優先して、輝度データによるブレボケ推定方法を示したが、本発明はこれに限定されるものではなく、各カラーのチャンネルごとに行ってもよい。さらに、それぞれのブレボケ推定値を複合的に組み合わせて全体の推定値を構成してもよい。
【００４８】
さらに、本実施例によるブレ、ボケの判定対象の画像は、上述したように動画像に含まれるフレームに限らず、スチールカメラで撮影された静止画像など、各種の画像であってよい。
【００４９】
（実施例２）
実施例１では、縮小画像の縮小率を１段階とする方法を説明した。これに対して、本実施例では、多段階の縮小率で縮小した画像を利用したブレボケ推定方法について説明する。すなわち、実施例１で作成した水平および垂直方向それぞれ１／２縮小した縮小画像をレベル１として、さらに水平および垂直方向それぞれ１／２縮小したレベル２の縮小画像を作成する。同様に、レベルＮの劣化画像を水平および垂直方向それぞれ１／２縮小をすることでレベルＮ＋１の劣化化画像を作成することができる。
【００５０】
ここで、各レベルの縮小画像をオリジナル画像のサイズに拡大したときには、実施例１でも説明したレベル１の１／２縮小の縮小画像と同様に、０．５画素のずれを持つことが分かる。また、多段階の縮小率で縮小した縮小画像を拡大したときには、さらに大きなずれとなる。
【００５１】
図６は、多段階の縮小率で縮小した縮小画像を拡大したときの、画素のずれを説明するための図である。例えば、レベル２の縮小画像をオリジナル画像のサイズに拡大したときには、縮小画像では４×４画素の平均となるため、縮小画像の画素６０１は、本来の位置から１．５画素のずれを持つ。同様に、オリジナル画像のサイズに拡大したときには、縮小画像では８×８画素の平均となるため、縮小画像の画素６０２は、本来の位置から３．５画素のずれを持つ。
【００５２】
よって、レベル２の縮小画像を８倍して、オリジナル画像の２倍のサイズにしたときには、本来の位置から１．５×２＝３画素分ずれる。同様に、レベル３の縮小画像を１６倍して、オリジナル画像の２倍のサイズにしたときには、本来の位置から３．５×２＝７画素分ずれる。
【００５３】
よって、ブレボケ推定のための評価量は、オリジナル画像の２倍の拡大画像に対して、レベル２では３画素、レベル３では７画素を水平および垂直方向それぞれにスライドした状態で差分値を取得すればよい。
【００５４】
このように実施例２では、縮小画像を作成するときの縮小率に従って、上記２つの画像の比較の際に、相対位置を調整するときの調整量を決定する。なお、上記の縮小率に限らず、縮小画像を拡大率によって、調整量を決定してもよい。即ち、オリジナル画像の縮小時の縮小率と、縮小率の拡大時の拡大率に応じて、画素の本来の位置からのずれ量が決まる。よって、縮小画像２０２のサイズと再拡大画像２０３のサイズとの比率によって、２つの画像の相対位置を調整するときの調整量を決定する。
【００５５】
また、このように実施例２では、多段階のブレボケ推定値が算出されることになるが、最終的なブレボケ推定は、これらを組み合わせて行えばよい。例えば、オリジナル画像のブレボケが大きくなるにつれて、多レベルでも差分値が小さくなることが考えられるため、各レベルの差分値に重み付けするなどして最終評価量を決めることができる。
【００５６】
（実施例３）
実施例１において、解析領域５０２を設定することを説明した。実施例３では、顔検出技術を利用して画像における顔領域を検出し、検出された顔領域を、解析領域とする。そして、その解析領域にブレボケ推定を行えば、複数の画像から顔のブレボケの少ない画像を抽出することができる。
【００５７】
ここで、解析領域を顔領域とすると、画像ごとに領域の大きさが異なり、さらに同一画像に複数の顔が存在すると、それぞれ大きさが異なることが一般的である。
【００５８】
そこで、大きさの異なる複数の解析領域でブレボケ推定を行う場合には、事前に解析領域を所定の大きさに正規化してから本実施例のブレボケ推定方法を適用すればよい。このように、解析領域を予め正規化することによって、ブレボケ推定の精度を高めることができる。
【００５９】
以上のように、本実施例によれば、オリジナル画像を縮小・拡大した画像と、縮小を行っていないオリジナル画像とを比較して、差分を求めることで、オリジナル画像のブレ、ボケを判定することできる。また、オリジナル画像に縮小、拡大を行うとともに、オリジナル画像を拡大して、両者の画素数を合わせる。すると、オリジナル画像を縮小、拡大した画像において、０．５画素分のずれが生じてしまうが、オリジナル画像にも同様に０．５画素分のずれが生じる。そのため、上記２枚の画像をピクセル単位でずれを修正することで、２枚の画像における、適切な画素同士を比較して、差分を求めることができる。
【００６０】
また、以上の実施例では、オリジナル画像を２倍する例を示したが、４倍、８倍等の拡大率で拡大して、その画素数に合うように縮小画像を拡大すればよい。
【００６１】
さらに、以上の実施例で、ブレ、ボケの判定対象となる画像は、動画像から抽出されたフレームに限らず、任意の画像であってよい。
【００６２】
また、以上の実施例で説明した画像処理装置は、表示装置１０７や出力装置１１０を含むものであったが、画像処理装置に接続されている、外部の表示装置に画像を表示させる、また外部の出力装置１１０に画像を出力する場合であってもよい。また、この画像処理装置の例としては、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）や、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、印刷装置、携帯電話などのモバイル機器など、種々の装置であってよい。
【００６３】
（他の実施形態）
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記録媒体に記憶させ、該記録媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。
【００６４】
該記録媒体は、コンピュータ読み取り可能な記録媒体である。また、前述のプログラムが記憶された記録媒体はもちろんそのプログラム自体も上述の実施形態に含まれる。かかる記録媒体としてはたとえばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。
【００６５】
また前述の記録媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
【００６６】
また、上述した実施例を１つのプロセッサが実行する場合に限らず、複数のプロセッサが協働することでも、上記の実施例の処理を実現することができる。
【符号の説明】
【００６７】
１０１  ＣＰＵ
１０２  ブリッジ部
１０３  ＲＯＭ
１０４  ＲＡＭ
１０５  ２次記憶装置
【図１】
0005804818.tif 000002
【図２】
0005804818.tif 000003
【図３】
0005804818.tif 000004
【図４】
0005804818.tif 000005
【図５】
0005804818.tif 000006
【図６】
0005804818.tif 000007