(57)【要約】【課題】  画像の一部のみがぼけている画像に対して適切なボケ補正を行う。【解決手段】  エッジ検出手段は、縮小画像に対して８つの異なる方向毎にエッジを検出する。ブロック分割手段は、縮小画像を１６分割する。解析手段は、夫々のブロックの画像のエッジの特徴量に基づいて解析を行い、各ブロックの画像がボケ画像であるか否かの判別がなされると共に、ボケ画像であるブロック画像のボケ幅Ｌ、ぶれ度、ボケ方向がボケ情報Ｑとして得られる。パラメータ設定手段は、ボケ画像であるブロック画像に対して、そのボケ情報Ｑに基づいて補正パラメータＥを設定すると共に、ボケ情報Ｑに含まれるボケ幅Ｌに応じて、ボケ幅Ｌが大きいほど大きくなるようにそのブロックの画像に対する補正強度αを設定する。  【選択図】          図８
2005332381.tif 000002
【特許請求の範囲】
【請求項１】
デジタル写真画像におけるボケを補正する画像処理方法において、
前記デジタル写真画像を構成する各領域の画像を夫々用いて当該領域の画像のボケの度合いを含むボケ情報を取得し、
前記ボケ情報に基づいて、前記ボケの度合いが大きい領域ほど該領域の画像に対する前記補正の強度を強めるようにして前記各領域の画像に対するボケ補正を行うことを特徴とする画像処理方法。
【請求項２】
前記各領域の画像に対してエッジを検出し、
検出された前記エッジの特徴量を取得し、
該特徴量に基づいて該領域の前記ボケ情報を取得することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記ボケ情報が、ボケの方向を含むものであり、
前記各領域の画像に対して、複数の異なる方向毎にエッジを検出し、
各前記方向における前記エッジの特徴量を取得し、
各前記方向における前記特徴量に基づいて該領域の画像の前記ボケ情報を取得することを特徴とする請求項２記載の画像処理方法。
【請求項４】
前記各領域の画像に対するボケ補正が、各領域のボケ情報に応じて画像全体に亘って領域ごとに補正するものであることを特徴とする請求項１、２または３記載の画像処理方法。
【請求項５】
前記各領域の画像に対するボケ補正が、一つまたは複数の領域のボケ情報に応じて、画像全体を補正するものであることを特徴とする請求項１、２または３記載の画像処理方法。
【請求項６】
前記各領域の画像に対するボケ補正が、一つまたは少数の領域のボケ情報に応じて複数の領域について補正するものであることを特徴とする請求項１、２または３記載の画像処理方法。
【請求項７】
前記各領域の画像に対するボケ補正が、一つの領域がボケていなければ全体に亘って補正をしないものであることを特徴とする請求項１記載の画像処理方法。
【請求項８】
デジタル写真画像におけるボケを補正する画像処理装置であって、
前記デジタル写真画像を構成する各領域の画像を夫々用いて当該領域の画像のボケの度合いを含むボケ情報を取得するボケ情報取得手段と、
前記ボケ情報に基づいて、前記ボケの度合いが大きい領域ほど該領域の画像に対する前記補正の強度を強めるようにして前記各領域の画像に対するボケ補正を行う補正実行手段とを有してなるものであることを特徴とする画像処理装置。
【請求項９】
前記ボケ情報取得手段が、前記各領域の画像に対してエッジを検出し、
検出された前記エッジの特徴量を取得し、
該特徴量に基づいて該領域の前記ボケ情報を取得するものであることを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記ボケ情報が、ボケの方向を含むものであり、
前記ボケ情報取得手段が、前記各領域の画像に対して、複数の異なる方向毎にエッジを検出し、
各前記方向における前記エッジの特徴量を取得し、
各前記方向における前記特徴量に基づいて該領域の画像の前記ボケ情報を取得するものであることを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記領域が、前記画像全体を予め決められた所定の領域に分割されたものであることを特徴とする請求項８、９または１０記載の画像処理装置。
【請求項１２】
前記領域が、前記画像中のオブジェクトのサイズごとに領域分割されたものであることを特徴とする請求項８、９または１０記載の画像処理装置。
【請求項１３】
前記領域が、前記画像のサイズに応じた分割率で分割されたものであることを特徴とする請求項８、９または１記載の画像処理装置。
【請求項１４】
デジタル写真画像におけるボケを補正する画像処理をコンピュータに実行させるプログラムであって、
前記画像処理が、前記デジタル写真画像を構成する各領域の画像を夫々用いて当該領域の画像のボケの度合いを含むボケ情報を取得するボケ情報取得処理と、
前記ボケ情報に基づいて、前記ボケの度合いが大きい領域ほど該領域の画像に対する前記補正の強度を強めるようにして前記各領域の画像に対するボケ補正を行う処理とからなるものであることを特徴とするプログラム。
【請求項１５】
前記ボケ情報取得処理が、前記各領域の画像に対してエッジを検出し、
検出された前記エッジの特徴量を取得し、
該特徴量に基づいて該領域の前記ボケ情報を取得する処理であることを特徴とする請求項１４記載のプログラム。
【請求項１６】
前記ボケ情報が、ボケの方向を含むものであり、
前記ボケ情報取得処理が、前記各領域の画像に対して、複数の異なる方向毎にエッジを検出し、
前記各方向における前記エッジの特徴量を取得し、
前記各方向における前記特徴量に基づいて該領域の画像の前記ボケ情報を取得する処理であることを特徴とする請求項１５記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル写真画像に対してボケを補正する画像処理方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
ネガフィルムやリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナなどの読取装置で光電的に読み取って得たデジタル写真画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得たデジタル写真画像などに対して、種々の画像処理を施してプリントすることが行われている。これらの画像処理の一つとして、ぼけた画像（ボケ画像）からボケを取り除くボケ画像修復処理が挙げられる。
【０００３】
被写体を撮像して得た写真画像がぼけてしまう理由としては、焦点距離が合わないことに起因するピンボケと、被写体が動いたことや、撮像者の手のぶれに起因するぶれボケ（以下、ぶれという）が挙げられる。ピンボケの場合には、点像が２次元的に広がり、すなわち写真画像上における広がりが無方向性を呈することに対して、ぶれの場合には、点像がある軌跡を描き画像上に１次元的に広がり、すなわち写真画像上における広がりがある方向性を呈する。
【０００４】
デジタル写真画像の分野において、従来、ボケ画像を修復するために、様々な方法が提案されている。写真画像の撮像時にぶれの方向やぶれ幅などの情報が分かれば、Ｗｉｅｎｅｒフィルタや逆フィルタなどの復元フィルタを写真画像に適用することにより修復ができることから、撮像時にぶれの方向やぶれ幅などの情報を取得することができる装置（例えば加速度センサー）を撮像装置に設け、撮像と共にぶれの方向やぶれ幅などの情報を取得し、取得された情報に基づいて修復を図る方法が広く知られている（例えば、特許文献１参照）。
【０００５】
また、ボケ画像（ボケがある画像）に対して劣化関数を設定し、設定された劣化関数に対応する復元フィルタでボケ画像を修復し、修復後の画像を評価し、評価の結果に基づいて劣化関数を再設定するようにして、所望の画質になるまで、修復、評価、劣化関数の再設定を繰り返すことによって修復を図る方法も知られている。この方法は、劣化関数の設定、修復、評価、劣化関数の再設定・・・の処理を繰り返す必要があるため、処理時間がかかるという問題がある。特許文献２には、ユーザにボケ画像中の縁部を含む小さな領域を指定させ、ボケ画像全体の代わりに、指定されたこの小さな領域に対して、前述の劣化関数の設定、修復、評価、劣化関数の再設定・・・の処理を繰り返して最適な劣化関数を求め、この劣化関数に対応した復元フィルタをボケ画像全体に適用し、劣化関数を求めるのに使用する画像を前述の小領域の画像にすることによって演算量を減らし、効率向上を図る方法が提案されている。
【０００６】
一方、携帯電話の急激な普及に伴って、携帯電話機の機能が向上し、その中でも携帯電話付属のデジタルカメラ（以下、携帯電話カメラという）の機能の向上が注目を浴びている。近年、携帯電話カメラの画素数が１００万の桁に上がり、携帯電話カメラが通常のデジタルカメラと同様な使い方がされている。友達同士で旅行に行く時の記念写真などは勿論、好きなタレント、スポーツ選手を携帯電話カメラで撮像する光景が日常的になっている。このような背景において、携帯電話カメラにより撮像して得た写真画像は、携帯電話機のモニタで鑑賞することに留まらず、例えば、通常のデジタルカメラにより取得した写真画像と同じようにプリントすることも多くなっている。
【０００７】
他方、携帯電話カメラは、人間工学的に、本体（携帯電話機）が撮像専用に製造されていないため、撮像時のホールド性が悪いという問題がある。また、携帯電話カメラは、フラッシュがないため、通常のデジタルカメラよりシャッタースピードが遅い。このような理由から携帯電話カメラにより被写体を撮像するときには、通常のカメラより手ぶれが起きやすい。極端な手ぶれは、携帯電話カメラのモニタで確認することができるが、小さな手ぶれは、モニタで確認することができず、プリントして初めて画像のぶれに気付くことが多いため、携帯電話カメラにより撮像して得た写真画像に対してぶれの補正を施す必要性が高い。
【特許文献１】特開２００２−１１２０９９号公報
【特許文献２】特開平７−１２１７０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、携帯電話機の小型化は、その性能、コストに並び、各携帯電話機メーカの競争の焦点の１つであり、携帯電話機付属のカメラに、ぶれの方向やぶれ幅を取得する装置を設けることが現実的ではないため、特許文献１に提案されたような方法は、携帯電話カメラに適用することができない。
【０００９】
また、特許文献２に提案された方法は、ユーザにより小領域の指定を必要とするため、面倒である。さらに、写真画像には、顔などの主要被写体をアップにして撮像した被写界深度の浅い画像や、被写体または被写体の一部が動いたときに撮像された画像や、躍動感を得るために流し撮りされた画像などがあり、このような画像の場合、画像中の一部分のみがぼけている。ユーザにより指定された小領域がぼけた部分に位置すると、適切な劣化関数を求めることができず、補正した画像の画質は反って劣化してしまうという問題がある。
【００１０】
本発明は、上記事情に鑑み、特別な装置を撮像装置に設けることを必要とせずにデジタル写真画像におけるボケの補正を効率良く行うことを可能にすると共に、被写界深度の浅い画像のような一部分のみがぼけている画像に対しても適切な補正を行うことができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明の画像処理方法は、デジタル写真画像におけるボケを補正する画像処理方法において、
前記デジタル写真画像を構成する各領域の画像を夫々用いて当該領域の画像のボケの度合いを含むボケ情報を取得し、
前記ボケ情報に基づいて、前記ボケの度合いが大きい領域ほど該領域の画像に対する前記補正の強度を強めるようにして前記各領域の画像に対するボケ補正を行うことを特徴とするものである。
【００１２】
ここで、「ボケの度合い」とは、対象となる画像（以下、対象画像という。ここではデジタル写真画像を構成する各領域の画像となる）がボケ画像である場合にそのボケの程度を示す情報であり、例えば、ボケ幅とすることができる。なお、ぼけていない画像の場合は、そのボケの度合いをゼロとすることができる。また、前述したように、ボケには無方向のピンボケと有方向のぶれがあり、ぶれの場合においては、「ボケの度合い」がぶれの度合いに相当し、例えばぶれ幅とすることができる。
【００１３】
また、ボケの度合いが大きい領域の画像ほど、それに対する補正の強度を強めることは、ボケの度合いが小さい領域の画像ほど、それに対する補正の強度を弱めることと同じことを意味し、ボケの度合いが所定の閾値以下の領域の画像に対して補正を行わない、すなわち補正強度をゼロにすることも含む。
【００１４】
また、「前記各領域の画像に対するボケ補正を行う」とは、各領域のボケ情報に応じて画像全体に亘って各領域ごとに補正することに限らず、一つまたは複数の領域のボケ情報に応じて、画像全体を補正することも含み、さらに、一つまたは少数の領域のボケ情報に応じて二つ以上の領域について補正することも含むものとする。
【００１５】
本発明の画像処理方法は、対象画像におけるボケの度合いを求めるのに当たり、前記各領域の画像に対してエッジを検出し、検出された前記エッジの特徴量を取得し、取得された該特徴量に基づいて該領域の前記ボケ情報を求めるようにすることができる。
【００１６】
前述したように、ボケは画像中の点像の広がりを引き起こすため、ボケがある画像（以下ボケ画像という）には、点像の広がりに応じたエッジの広がりが生じる。すなわち、画像中におけるエッジの広がりの態様は画像中におけるボケと直接関係するものである。本発明は、この点に着目して、夫々の領域の画像におけるエッジの特徴量に基づいてこの領域のボケ情報を求めることができる。
【００１７】
ここで、「エッジの特徴量」は、対象画像におけるエッジの広がりの態様と関係する特徴量を意味し、例えば、エッジの鮮鋭度、前記エッジの鮮鋭度の分布を含むものとすることができる。
【００１８】
「エッジの鮮鋭度」は、エッジの鮮鋭さを現すことができるものであれば如何なるパラメータを用いてもよく、例えば、図３のエッジプロファイルにより示されるエッジの場合、エッジ幅が大きいほどエッジの鮮鋭度が低いように、エッジ幅をエッジの鮮鋭度として用いることは勿論、エッジの明度変化の鋭さ（図３におけるプロファイル曲線の勾配）が高いほどエッジの鮮鋭度が高いように、エッジのプロファイル曲線の勾配をエッジの鮮鋭度として用いるようにしてもよい。
【００１９】
また、前述したように、ボケには無方向性のボケとなるピンボケと有方向性のぼけとなるぶれがあり、画像中のボケを適切に補正するために、画像中のボケの方向（ピンボケの場合は、「無方向」のボケ方向となる）に応じて、無方向性のボケに対しては各方向に対して同じく作用する等方性のフィルタなどを適用して補正する一方、有方向性のボケに対してはボケの方向（すなわちぶれ方向）に作用する異方性のフィルタを適用して補正することが望ましい。本発明の画像処理方法は、各前記領域の画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいて該領域の画像の前記ボケの度合いのみならず、ボケの方向もボケ情報として取得することが好ましい。
【００２０】
ここで、前記「複数の異なる方向」とは、対象画像におけるボケの方向を特定するための方向を意味し、ボケの方向に近い方向を含むことが必要であるため、その数が多ければ多いほど特定の精度が高いが、処理速度との兼ね合いに応じた適宜な個数、例えば、図２に示すような８方向を用いることが好ましい。なお、本発明において、無方向性のボケすなわちピンボケの場合において、「無方向」をボケ方向とする。
【００２１】
また、ボケの度合いを表すことができるボケ幅は、ボケ方向におけるボケの幅を意味し、例えば、ボケ方向におけるエッジのエッジ幅の平均値とすることができる。また、ボケが無方向性のピンボケの場合において、任意の１つの方向におけるエッジのエッジ幅の平均値をボケ幅としてもよいが、前記複数の異なる方向に含まれる全ての方向におけるエッジのエッジ幅の平均値とすることが好ましい。
【００２２】
本発明の画像処理装置は、デジタル写真画像におけるボケを補正する画像処理装置であって、
前記デジタル写真画像を構成する各領域の画像を夫々用いて当該領域の画像のボケの度合いを含むボケ情報を取得するボケ情報取得手段と、
前記ボケ情報に基づいて、前記ボケの度合いが大きい領域ほど該領域の画像に対する前記補正の強度を強めるようにして前記各領域の画像に対するボケ補正を行う補正実行手段とを有してなるものであること特徴とするものである。
【００２３】
前記ボケ情報取得手段は、前記各領域の画像に対してエッジを検出し、検出された前記エッジの特徴量を取得し、該特徴量に基づいて該領域の前記ボケ情報を取得するものとすることができる。
【００２４】
また、前記ボケ情報として、ボケの方向も含むことが好ましく、前記ボケ情報取得手段は、前記各領域の画像に対して、複数の異なる方向毎にエッジを検出し、前記各方向における前記エッジの特徴量を取得し、該各方向における前記特徴量に基づいて該領域の画像の前記ボケ情報を取得するものであることが好ましい。
【００２５】
また、本発明の画像処理方法を、コンピュータに実行させるためのプログラムとして提供するようにしてもよい。
【００２６】
なお、前記領域は、前記画像全体を予め決められた所定の領域に分割されたものでもよいし、前記画像中のオブジェクト、例えば顔、目等のサイズごとに領域分割されたものでもおいし、前記画像のサイズに応じた分割率で分割されたものでもよい。
【発明の効果】
【００２７】
本発明の画像処理方法および装置並びにプログラムによれば、デジタル写真画像を構成する各領域の画像毎に、該領域の画像を用いてそのボケの度合いを含むボケ情報を求めて該領域の画像の補正を行うようにしているので、領域の指定をユーザにさせる必要がないと共に、撮像時にぶれに関する情報を取得するための装置を設ける必要がないため、撮像装置を大型化することを避けることができ、特に小型化を必須条件とする携帯電話機付属のデジタルカメラの場合には、メリットが大きい。
【００２８】
また、デジタル写真画像を構成する各領域の画像のボケの度合いに応じて、ボケの度合いが大きいほど、該領域の画像の補正強度を強めるようにして補正を行うようにしているので、被写界深度の浅いデジタル写真画像や、流し撮りにより得られたデジタル写真画像のような一部分のみがぼけている画像の場合においても、適切な補正を行うことができる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して、本発明の実施形態について説明する。
【００３０】
図１は、本発明の実施形態となる画像処理装置の構成を示すブロック図である。なお、本実施形態の画像処理装置は、入力されたデジタル画像（以下、画像という）に対して、画像中のボケを補正するボケ補正処理を行うものであり、補助記憶装置に読み込まれたボケ補正処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このボケ補正処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００３１】
また、画像データは画像を表すものであるため、以下、特に画像と画像データの区別をせずに説明を行う。
【００３２】
図１に示すように、本発明の実施形態の画像処理装置は、画像Ｄに対して縮小処理を行って画像Ｄの縮小画像Ｄ０を得る縮小手段５と、縮小画像Ｄ０を用いて、図２に示す８つの異なる方向毎にエッジを検出するエッジ検出手段１０と、縮小画像Ｄ０を１６分割すると共に、エッジ検出手段１０により検出されたエッジをブロック毎に後述するエッジプロファイル作成手段１３に出力するブロック分割手段１１と、ブロック分割手段１１から出力されてきたエッジのプロファイルをブロック毎に作成するエッジプロファイル作成手段１３と、各ブロックに対して無効なエッジを除去するエッジ絞込手段１４と、エッジ絞込手段１４により得られたエッジの特徴量Ｓをブロック毎に取得するエッジ特徴量取得手段１６と、ブロック毎のエッジ特徴量Ｓを用いて、各ブロックの画像におけるボケ方向およびボケ度Ｎを算出して夫々のブロックの画像がボケ画像か通常画像かを判別し、通常画像の場合には、該ブロックの画像が通常画像であることを示す情報Ｐを後述するパラメータ設定手段３０に送信する一方、ボケ画像の場合には、さらにこのブロックの画像のぶれ度Ｋ、ボケ幅Ｌを算出して、ボケ方向と共にボケ情報Ｑとしてパラメータ設定手段３０に送信する解析手段２０と、解析手段２０からの情報Ｐおよびボケ情報Ｑに基づいて画像Ｄの各ブロックの画像に対して補正を行うためのパラメータＥ、補正強度αを夫々設定するパラメータ設定手段３０と、パラメータＥおよび補正強度αを用いて画像Ｄの各領域の画像に対して補正を行って画像Ｄの補正済画像Ｄ’を得る補正実行手段４０と、解析手段２０およびパラメータ設定手段３０のための種々のデータベースを記憶した記憶手段５０とを有してなる。
【００３３】
エッジ検出手段１０は、縮小画像Ｄ０を用いて、図２に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得てブロック分割手段１１に出力する。
【００３４】
ブロック分割手段１１は、エッジ検出手段１０により検出された各々のエッジを、画像Ｄを１６分割して得た１６個のブロック毎に分けてエッジプロファイル作成手段１３に出力する。なお、エッジプロファイル作成手段１３、エッジ絞込手段１４、エッジ特徴量取得手段１６、および解析手段２０は、ブロック毎に夫々の処理を行うものであり、以下、１つのブロックの画像をブロック画像Ｄｂとし、このブロック画像Ｄｂを例にして上記各手段について説明する。
【００３５】
エッジプロファイル作成手段１３は、ブロック分割手段１１から出力されてきたブロック画像Ｄｂにおける各方向毎の各々のエッジの座標位置に基づいて、ブロック画像Ｄｂを用いてこれらのエッジに対して、図３に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力する。
【００３６】
エッジ絞込手段１４は、エッジ検出手段１０から出力されてきたブロック画像Ｄｂのエッジのプロファイルに基づいて、複雑なプロファイル形状を有するエッジや、光源を含むエッジ（例えば一定の明度以上のエッジ）などの無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力する。
【００３７】
エッジ特徴量取得手段１６は、エッジ絞込手段１４から出力されてきたブロック画像Ｄｂのエッジのプロファイルに基づいて、図３に示すようなエッジ幅を各エッジに対して求め、図４に示すようなエッジ幅のヒストグラムを図２に示された８つの方向毎に作成してエッジ幅と共にブロック画像Ｄｂのエッジ特徴量Ｓとして解析手段２０に出力する。
【００３８】
解析手段２０は、主として下記の２つの処理を行う。
【００３９】
１． ブロック画像Ｄｂにおけるボケ方向、画像Ｄのボケ度Ｎを求めて、ブロック画像Ｄｂがボケ画像か通常画像かを判別する。
【００４０】
２． ブロック画像Ｄｂがボケ画像と判別された場合、ボケ幅Ｌ、ぶれ度Ｋを算出する。
【００４１】
ここで、１つ目の処理から説明する。
【００４２】
解析手段２０は、ブロック画像Ｄｂにおけるボケ方向を求めるために、まず、図２に示す８つの方向のエッジ幅のヒストグラム（以下、ヒストグラムという）に対して、互いに直交する２つの方向を１方向組として各方向組（１−５、２−６、３−７、４−８）のヒストグラムの相関値を求める。なお、相関値は求め方によって様々な種類があり、相関値が大きければ相関が小さい種類と、相関値の大小と相関の大小とが一致する、すなわち相関値が小さければ相関が小さい種類との２種類に大きく分けることができる。本実施形態において、例として、相関値の大小と相関の大小とが一致する種類の相関値を用いる。図５に示すように、画像中にぶれがある場合には、ぶれ方向のヒストグラムと、ぶれ方向と直交する方向のヒストグラムとの相関が小さい（図５（ａ）参照）のに対して、ぶれと関係ない直交する方向組または画像中にぶれがない（ボケがないまたはピンボケ）場合の直交する方向組では、そのヒストグラムの相関が大きい（図５（ｂ）参照）。本実施形態の画像処理装置における解析手段２０は、このような傾向に着目し、４つの方向組に対して、各組のヒストグラムの相関値を求め、相関が最も小さい方向組の２つの方向を見付け出す。ブロック画像Ｄｂにぶれがあれば、この２つの方向のうちの１つは、図２に示す８つの方向のうち、最もぶれ方向に近い方向として考えることができる。
【００４３】
図５（ｃ）は、ぶれ、ピンボケ、ボケ（ピンボケおよびぶれ）なしの撮像条件で同じ被写体を撮像して得た夫々の画像に対して求められた、このぶれの方向におけるエッジ幅のヒストグラムを示している。図５（ｃ）からわかるように、ボケのない通常画像は、最も小さい平均エッジ幅を有し、すなわち、上記において見付け出された２つの方向のうち、平均エッジ幅が大きい方は、最もぶれに近い方向のはずである。
【００４４】
解析手段２０は、こうして、相関が最も小さい方向組を見付け、この方向組の２つの方向のうち、平均エッジ幅の大きい方をボケ方向とする。
【００４５】
次に、解析手段２０は、ブロック画像Ｄｂのボケ度Ｎを求める。画像のボケ度は、画像中のボケの程度の大小を示すものであり、例えば、画像中に最もぼけている方向（ここでは上記において求められたボケ方向）の平均エッジ幅を用いてもよいが、ここでは、ボケ方向における各々のエッジのエッジ幅を用いて図６に基づいたデータベースを利用してより精度良く求める。図６は、学習用の通常画像データベースとボケ（ピンボケおよびぶれ）画像データベースを元に、画像中の最もぼけている方向（通常画像の場合には、この方向に対応する方向が望ましいが、任意の方向であってもよい）のエッジ幅分布のヒストグラムを作成し、ボケ画像における頻度と通常画像における頻度（図示縦軸）の比率を評価値（図示スコア）としてエッジ幅毎に求めて得たものである。図６に基づいて、エッジ幅とスコアとを対応付けてなるデータベース（以下スコアデータベースという）が作成され、記憶手段５０に記憶されている。
【００４６】
解析手段２０は、図６に基づいて作成され、記憶手段５０に記憶されたスコアデータベースを参照し、ブロック画像Ｄｂのボケ方向の各エッジに対して、そのエッジ幅からスコアを取得し、ボケ方向の全てのエッジのスコアの平均値をブロック画像Ｄｂのボケ度Ｎとして求める。求められたブロック画像Ｄｂのボケ度Ｎが所定の閾値Ｔより小さければ、解析手段２０は、ブロック画像Ｄｂを通常画像として判別する、すなわちブロック画像Ｄｂにボケがないと判別すると共に、ブロック画像Ｄｂが通常画像であることを示す情報Ｐをパラメータ設定手段３０に出力する。
【００４７】
一方、ブロック画像Ｄｂのボケ度Ｎが閾値Ｔ以上であれば、解析手段２０は、ブロック画像Ｄｂがボケ画像である、すなわちブロック画像Ｄｂにボケがあると判別し、上記２つ目の処理に入る。
【００４８】
解析手段２０は、２つ目の処理として、まず、ブロック画像Ｄｂのぶれ度Ｋを求める。
【００４９】
ボケ画像のボケにおけるぶれの程度の大小を示すぶれ度Ｋは、下記のような要素に基づいて求めることができる。
【００５０】
１．相関が最も小さい方向組（以下相関最小組）の相関値：この相関値が小さいほどぶれの程度が大きい
解析手段２０は、この点に着目して、図７（ａ）に示す曲線に基づいて第１のぶれ度Ｋ１を求める。なお、図７（ａ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析手段２０は、相関最小組の相関値に対応する第１のぶれ度Ｋ１を、記憶手段５０から読み出すようにして第１のぶれ度Ｋ１を求める。
【００５１】
２．相関最小組の２つの方向のうち、平均エッジ幅が大きい方向の平均エッジ幅：この平均エッジ幅が大きいほどぶれの程度が大きい
解析手段２０は、この点に着目して、図７（ｂ）に示す曲線に基づいて第２のぶれ度Ｋ２を求める。なお、図７（ｂ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析手段２０は、相関最小組の平均エッジ幅が大きい方向の平均エッジ幅に対応する第２のぶれ度Ｋ２を、記憶手段５０から読み出すようにして第２のぶれ度Ｋ２を求める。
【００５２】
３．相関最小組の２つの方向における夫々の平均エッジ幅の差：この差が大きいほどぶれの程度が大きい
解析手段２０は、この点に着目して、図７（ｃ）に示す曲線に基づいて第３のぶれ度Ｋ３を求める。なお、図７（ｃ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析手段２０は、相関最小組の２つの方向における夫々の平均エッジ幅の差に対応する第３のぶれ度Ｋ３を、記憶手段５０から読み出すようにして第３のぶれ度Ｋ３を求める。
【００５３】
解析手段２０は、このようにして第１のぶれ度Ｋ１、第２のぶれ度Ｋ２、第３のぶれ度Ｋ３を求めると共に、下記の式（１）に従って、Ｋ１、Ｋ２、Ｋ３を用いてボケ画像となるブロック画像Ｄｂのぶれ度Ｋを求める。
【００５４】
Ｋ＝Ｋ１×Ｋ２×Ｋ３                            （１）
但し、Ｋ：ぶれ度
Ｋ１：第１のぶれ度
Ｋ２：第２のぶれ度
Ｋ３：第３のぶれ度
次に、解析手段２０は、ボケ画像となるブロック画像Ｄｂのボケ幅Ｌを求める。ここで、ぶれ度Ｋに関係なく、ボケ幅Ｌとしてボケ方向におけるエッジの平均幅を求めるようにしてもよいが、本実施形態においては図２に示す８つの方向のすべてにおけるエッジの平均エッジ幅を求めてボケ幅Ｌとする。
【００５５】
解析手段２０は、ボケ画像であるブロック画像Ｄｂに対して、ぶれ度Ｋ、ボケ幅Ｌを求めて、ボケ方向と共にボケ情報Ｑとしてパラメータ設定手段３０に出力する。
【００５６】
パラメータ設定手段３０は、まず、下記の式（２）に従って、方向性補正用の１次元補正パラメータＷ１および等方性補正用の２次元補正パラメータＷ２を設定する。
【００５７】
Ｗ１＝Ｋ×Ｍ１
Ｗ２＝（１−Ｋ）×Ｍ２                          （２）
但し、Ｗ１：１次元補正パラメータ
Ｗ２：２次元補正パラメータ
Ｋ：ぶれ度
Ｍ１：１次元補正マスク
Ｍ２：２次元補正マスク
即ち、ボケ画像となるブロック画像Ｄｂに対して、ぶれ度Ｋが大きいほど方向性補正の重みが大きくなるように補正パラメータＷ１とＷ２（合わせてパラメータＥとする）を設定する。
【００５８】
そして、パラメータ設定手段３０は、ブロック画像Ｄｂのボケ幅Ｌに応じて、ボケ幅Ｌが大きいほど大きくなるようにブロック画像Ｄｂの補正強度αを設定する。
【００５９】
パラメータ設定手段３０は、このようにして各ブロック（本実施形態においては、例として１６個のブロック）の画像に補正パラメータＥと補正強度αを設定して補正実行手段４０に出力する。なお、ボケ画像ではないと判別されたブロックの画像、すなわち解析手段２０から情報Ｐが出力されてきたブロック画像に対しては、補正しないように補正パラメータを設定しない。
【００６０】
補正実行手段４０は、各ブロックの画像に対して、その高周波数成分を強調することによって画像Ｄのボケを補正するものであり、具体的には、ブロック画像Ｄｂの高周波数成分（Ｄｈとする）を分離し、下記の式（３）に従って、パラメータ設定手段３０により得られた補正パラメータＥと補正強度αを用いて、高周波数成分Ｄｈを強調することによってブロック画像Ｄｂのボケを補正する。
【００６１】
Ｄｂ’＝Ｄｂ＋α×Ｅ×Ｄｈ                      （３）
但し，Ｄｂ’：補正済みブロック画像
Ｄｂ：補正前のブロック画像
Ｄｈ：ブロック画像Ｄｂの高周波数成分
Ｅ：補正パラメータ
α：補正強度
補正強度αが、ブロック画像におけるボケ幅Ｌに応じて、ボケ幅Ｌが大きいほど大きくなるように設定されているので、式（３）から分かるように、ボケ幅Ｌが大きいブロック画像（ボケ画像であるブロック画像）ほど強く補正される。なお、補正実行手段４０は、補正パラメータＥおよび補正強度αが設定されていないブロックの画像に対して、補正をしないように動作する。
【００６２】
次いで、補正実行手段４０は、ボケ画像であるブロック画像を補正して得た各々の補正済みブロック画像と、ボケ画像ではないブロック画像とを合成して画像Ｄの補正済み画像Ｄ’を得る。
【００６３】
図８は、図１に示す実施形態の画像処理装置において行われる処理を示すフローチャートである。図示のように、入力された画像Ｄに対して、まず縮小手段５は縮小処理を行って縮小画像Ｄ０を得る（Ｓ１０）。次いでエッジ検出手段１０は、縮小画像Ｄ０を用いて、図２に示す８つの異なる方向毎にエッジを検出し、検出された各エッジの座標位置を得る（Ｓ１５）。ブロック分割手段１１は、縮小画像Ｄ０を１６分割すると共に、エッジ検出手段１０により検出されたエッジを分割されたブロック毎に後述するエッジプロファイル作成手段１３に出力する（Ｓ２０）。エッジプロファイル作成手段１３、エッジ絞込手段１４、エッジ特徴量取得手段１６、解析手段２０は、１６つのブロックの画像に対して、夫々エッジプロファイルの作成、無効なエッジを排除するエッジ絞り込み、エッジ特徴量の取得、特徴量に基づいた解析を行うことによって、各ブロックの画像がボケ画像であるか否かの判別がなされると共に、ボケ画像であるブロック画像のボケ幅Ｌ、ぶれ度、ボケ方向がボケ情報Ｑとして得られる（Ｓ２５）。パラメータ設定手段３０は、ボケ画像であるブロック画像に対して、そのボケ情報Ｑに基づいて補正パラメータＥを設定すると共に、ボケ情報Ｑに含まれるボケ幅Ｌに応じて、ボケ幅Ｌが大きいほど大きくなるようにそのブロックの画像に対する補正強度αを設定する。なお、パラメータ設定手段３０は、ボケ画像ではないブロック画像に対しては、補正パラメータの設定をしない（Ｓ３０）。補正実行手段４０は、パラメータ設定手段３０により得られた補正パラメータＥおよび補正強度αで該当するブロック画像の補正を行って補正済みブロック画像を得ると共に、補正済みブロック画像と、パラメータ設定手段３０により補正パラメータの設定が行われていないブロック画像とを合成して画像Ｄの補正済み画像Ｄ’を得る（Ｓ３５）。
【００６４】
このように、本実施形態の画像処理装置によれば、デジタル写真画像からボケ情報を取得してボケを補正するようにしているので、撮影時に特別な装置を必要とせずに画像のボケを補正することができる。
【００６５】
また、取得したボケ情報に基づいて補正用のパラメータを設定して補正しているので、パラメータの設定、補正、評価、再設定、・・・の試行錯誤を繰り返す必要がなく、効率が良い。
【００６６】
また、画像Ｄを構成する各ブロックの画像のボケの度合い（ここではボケ幅Ｌ）に応じて、ボケの度合いが大きいほど、該ブロックの画像の補正強度を強めるようにして補正を行うようにしているので、被写界深度の浅い写真画像や、撮像時に被写体の一部が動いた写真画像や、写真流し撮りにより得られた写真画像のような一部分のみがぼけている画像の場合においても、適切な補正を行うことができる。
【００６７】
以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、上述した各実施形態の構成を組み合わせたり、増減、変化を加えたりすることができる。
【００６８】
例えば、上述の実施形態の画像処理装置は、画像Ｄを１６の領域にブロック分割しているが、他の分割率で分割を行ってもよい。また、この領域の分割は、このように画像全体を予め決められた所定の領域にブロック分割したものでなくても、例えば、画像中のオブジェクト、例えば顔、目等のサイズごとに領域分割したものでもよいし、さらに、１００万画素の画像を１６分割し、２００万画素の画像を３２分割するというように、画像Ｄのサイズに応じて異なる分割率で領域の分割を行うようにしてもよい。
【００６９】
また、上述の実施形態の画像処理装置は、相関最小組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向としているが、例えば、相関最小組（相関値が１番目に小さい方向組）と、相関値が２番目に小さい方向組について、夫々ぶれ度を算出し、方向組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向とするようにして２つの方向組からボケ候補方向を夫々取得し、取得された２つのボケ候補方向を、算出された２つのぶれ度に応じて、ぶれ度が大きい方向組ほど、該方向組に含まれるボケ候補方向の重みが大きくなるように重み付けしてボケ方向を得るようにしてもよい。この場合、ボケ幅も、２つのボケ候補方向における夫々の平均エッジ幅を、ぶれ度が大きい方向組ほど、該方向組に含まれるボケ候補方向の平均エッジ幅の重みが大きくなるように重み付けしてボケ幅を得ることができる。
【００７０】
また、上述の実施形態において、解析手段２０は、ボケ画像となるブロック画像に対して、そのボケがピンボケかぶれかの区別をせず、ボケ画像として判別されたブロック画像であれば、ぶれ度を求めてぶれ度に応じた重み付け係数（本実施形態の画像処理装置においては、ぶれ度そのものを重み付け係数にしている）で当方性補正パラメータと方向性補正パラメータを重み付け合算して補正パラメータを得て補正するようにしているが、例えば、ぶれ度が所定の閾値より小さいボケ画像をピンボケ画像とし、ピンボケ画像に対しては等方性補正パラメータのみを設定して補正を行うようにしてもよい。
【００７１】
また、図１に示す実施形態の画像処理装置は、画像に対してエッジ検出を行った後にブロック分割を行っているが、画像を分割してから、ブロック毎にエッジ検出を行うようにしてよい。
【００７２】
さらに、前記各領域の画像に対するボケ補正を行う態様としては、実施例に説明したように、各領域のボケ情報に応じて画像全体に亘って領域ごとに補正するものに限らず、一つまたは複数の領域のボケ情報に応じて、画像全体を補正することも含む。例えば、一つの領域のボケ情報により全体が同様にボケていると推定して、全体に同じ補正を施すようにしてもよいし、二つの隣接するあるいは離れた領域のボケ情報に応じて、それが同じであれば全体も同様であると推定して全体に同じ補正をかけるようにしてもよいし、異なっていればそれを参考にして、画像の全体に亘って補正の程度をそれに応じた案分したものとして補正をかけるようにしてもよい。また、一つの領域がボケていなければ、全体もボケていないピントの合った画像であると推定して、全体に亘って補正をしないようにすることもできる。
【００７３】
また、一つまたは少数の領域のボケ情報に応じて複数の領域について補正をすることも可能である。例えば、ボケの度合いの大きい領域に隣接する周辺画素に対してガウシアンフィルタ等を掛けて、隣接する領域間での補正量の変化を滑らかにして、領域の境界での画像のボケの補正の程度が滑らかになるようにすることもできる。
【００７４】
以上説明した本発明による補正処理は、携帯電話カメラのみならず、通常のデジタルカメラにも適用できるのはもちろんのこと、デジタル画像データをプリントするプリンタにも適用することができる。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施形態となる画像処理装置の構成を示すブロック図
【図２】エッジを検出する際に用いられる方向を示す図
【図３】エッジプロファイルを示す図
【図４】エッジ幅のヒストグラムを示す図
【図５】解析手段２０の動作を説明するための図
【図６】ボケ度の算出を説明するための図
【図７】ぶれ度の算出を説明するための図
【図８】図１に示す実施形態の画像処理装置の処理を示すフローチャート
【符号の説明】
【００７６】
５    縮小手段
１０    エッジ検出手段
１１    ブロック分割手段
１３    エッジプロファイル作成手段
１４    エッジ絞込手段
１６    エッジ特徴量取得手段
２０    解析手段
３０    パラメータ設定手段
４０    補正実行手段
５０    記憶手段
Ｄ    デジタル写真画像
Ｄ’    補正済み画像
Ｅ    補正パラメータ
Ｋ    ぶれ度
Ｌ    ボケ幅
Ｍ１    １次元補正マスク
Ｍ２    ２次元補正マスク
Ｎ    ボケ度
Ｐ    ボケ画像ではないことを示す情報
Ｑ    ボケ情報
Ｓ    エッジ特徴量
α    補正強度
【図１】
2005332381.tif 000003
【図２】
2005332381.tif 000004
【図３】
2005332381.tif 000005
【図４】
2005332381.tif 000006
【図５】
2005332381.tif 000007
【図６】
2005332381.tif 000008
【図７】
2005332381.tif 000009
【図８】
2005332381.tif 000010