(57)【要約】【課題】  デジタル写真画像のボケ状況の確認が効率良くできるようにする。【解決手段】  ボケ確認画像抽出手段３は、デジタルカメラの撮像手段１により取得された画像Ｄからエッジを抽出すると共に、画像Ｄを、モニタ７の解像度に合致した３２０画素×２４０画素の大きさの領域に分け、これらの領域毎に、抽出されたエッジの数を集計し、最もエッジの数が多い領域の画像をボケ確認画像として抽出する。モニタ７は、ボケ確認画像抽出手段３により得られたボケ確認画像を表示する。【選択図】          図１
2005309559.tif 000002
【特許請求の範囲】
【請求項１】
デジタル写真画像から、ボケが現れやすい領域の画像をボケ確認領域画像として抽出し、
抽出された前記ボケ確認領域画像を、表示装置の解像度に合致したサイズで表示させることを特徴とする画像処理方法。
【請求項２】
前記デジタル写真画像からエッジを抽出し、
抽出された前記エッジの数を、該デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に取得し、
前記エッジの数が最も多い前記領域画像を前記ボケ確認領域画像として抽出することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記デジタル写真画像からエッジを抽出し、
前記デジタル写真画像におけるボケの幅を算出し、
前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ボケの幅以上のエッジ幅を有するエッジの数を取得し、
前記エッジの数が最も多い前記領域画像を前記ボケ確認領域画像として抽出することを特徴とする請求項１記載の画像処理方法。
【請求項４】
前記領域画像の大きさが、前記表示装置の解像度に応じて決められたものであることを特徴とする請求項２または３記載の画像処理方法。
【請求項５】
デジタル写真画像から、ボケが現れやすい領域の画像をボケ確認領域画像として抽出するボケ確認領域画像抽出手段と、
抽出された前記ボケ確認領域画像を、表示装置の解像度に合致したサイズで表示させる表示手段とを備えたことを特徴とする画像処理装置。
【請求項６】
前記ボケ確認領域画像抽出手段が、前記デジタル写真画像からエッジを抽出するエッジ抽出手段と、
抽出された前記エッジの数を、該デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に取得するエッジ数集計手段と、
前記エッジの数が最も多い前記領域画像を前記ボケ確認領域画像として抽出する抽出実行手段とを備えてなることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記ボケ確認領域画像抽出手段が、前記デジタル写真画像からエッジを抽出するエッジ抽出手段と、
前記デジタル写真画像におけるボケの幅を算出するボケ幅算出手段と、
前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ボケの幅以上のエッジ幅を有するエッジの数を取得するエッジ数集計手段と、
前記エッジの数が最も多い前記領域画像を前記ボケ確認領域画像として抽出する抽出実行手段とを備えてなることを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記領域画像の大きさが、前記表示装置の解像度に応じて決められたものであることを特徴とする請求項６または７記載の画像処理装置。
【請求項９】
デジタル写真画像から、ボケが現れやすい領域の画像をボケ確認領域画像として抽出するボケ確認領域画像抽出処理と、
抽出された前記ボケ確認領域画像を、表示装置の解像度に合致したサイズで表示させる処理とをコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
前記ボケ確認領域画像抽出処理が、前記デジタル写真画像からエッジを抽出する処理と、
抽出された前記エッジの数を、該デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に取得する処理と、
前記エッジの数が最も多い前記領域画像を前記ボケ確認領域画像として抽出する処理とからなることを特徴とする請求項９記載のプログラム。
【請求項１１】
前記ボケ確認領域画像抽出処理が、前記デジタル写真画像からエッジを抽出する処理と、
前記デジタル写真画像におけるボケの幅を算出する処理と、
前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ボケの幅以上のエッジ幅を有するエッジの数を取得する処理と、
前記エッジの数が最も多い前記領域画像を前記ボケ確認領域画像として抽出する処理をからなることを特徴とする請求項９記載のプログラム。
【請求項１２】
前記領域画像の大きさが、前記表示装置の解像度に応じて決められたものであることを特徴とする請求項１０から１１のいずれか１項記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理、具体的にはデジタル写真画像におけるボケの状況を確認させるための画像処理方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
ネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナなどの読取装置で光電的に読み取って得たデジタル写真画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得たデジタル写真画像（以下、デジタル写真画像を略して単に写真画像または画像という）などには、ボケが存在することがある。画像がぼけてしまう理由としては、焦点距離が合わないことに起因するピンボケと、撮像者の手のぶれに起因するぶれボケ（以下略してぶれという）が挙げられる。ピンボケの場合には、点像が２次元的に広がり、すなわち写真画像上における広がりが無方向性を呈することに対して、ぶれの場合には、点像がある軌跡を描き画像上に１次元的に広がり、すなわち画像上における広がりがある方向性を呈する。
【０００３】
近年、携帯電話の急激な普及に伴って、携帯電話機の機能が向上し、その中でも携帯電話付属のデジタルカメラ（以下略した携帯カメラという）の機能の向上が注目を浴びている。最近、携帯カメラの画素数が１００万の桁に上がり、携帯カメラが通常のデジタルカメラと同様な使い方がされている。友達同士で旅行に行く時の記念写真などは勿論、好きなタレント、スポーツ選手を携帯カメラで撮像する光景が日常的になっている。このような背景において、携帯カメラにより撮像して得た写真画像は、携帯電話機のモニタで鑑賞することに留まらず、例えば、通常のデジタルカメラにより取得した写真画像と同じようにプリントすることも多くなっている。
【０００４】
他方、携帯カメラは、人間工学的に、本体（携帯電話機）が撮像専用に製造されていないため、撮像時のホールド性が悪いという問題がある。また、携帯カメラは、フラッシュがないため、通常のデジタルカメラよりシャッタースピードが遅い。このような理由から携帯カメラにより被写体を撮像するときに、通常のカメラより手ぶれが起きやすい。携帯カメラ付属のモニタが小さいため、携帯カメラで撮像して得た画像を携帯カメラで確認する際に、画像を縮小して表示するので、極端な手ぶれは確認することができるが、小さなピンぼけや、手ぶれは確認することができず、プリントして初めて画像のピンボケや、ぶれに気付くことが多い。このような失敗を防ぐため、携帯カメラのような小さなモニタで画像のボケ状況を確認する方法が種々提案されている。
【０００５】
例えば、市販のデジタルカメラのうち、撮像して得た画像に対して、操作者に表示領域を指定させ、指定された領域を等倍でまたは拡大して付属のモニタに表示させることによって画像のボケ状況を確認し易くするものがある。
【０００６】
また、特許文献１記載のように、画像の中央領域など予め決められ位置の画像を抽出して等倍表示したり、画像を複数の領域に分けて順次等倍表示したりする方法も提案されている。
【特許文献１】特開２００３−２８３８８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、操作者に表示領域を指定させる方法は、操作者が確認しようとする領域を指定する必要があり、面倒である。また、操作者が必ずしもボケを確認するための領域を正確に指定することができるとは限らないので、ぼけた画像をぼけていない画像として判断してしまうなどのミスを招く可能性がある。
【０００８】
また、特許文献１記載の方法のような、予め決められた位置の画像を抽出して表示する方法では、予め決められた位置の画像がぼけを確認するのに適した領域ではない場合において適切な判断を行うことができない結果になってしまうという問題があり、画像を複数の領域に分けて順次表示する方法では、時間がかかり、操作者へ負担をかけるという問題がある。
【０００９】
本発明は、上記事情に鑑み、デジタル写真画像のぼけ状況の確認を効率良くできる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の画像処理方法は、デジタル写真画像から、ボケが現れやすい領域の画像をボケ確認領域画像として抽出し、抽出された前記ボケ確認領域画像を、表示装置の解像度に合致したサイズで表示させることを特徴とするものである。
【００１１】
本発明において、「デジタル写真画像」とは、デジタルカメラなどで被写体を撮像して得たデジタル画像は勿論、スキャナなどの読取装置で銀塩写真フィルムや、印刷物（例えばプリント）などにある画像を読み取って得たデジタル画像も含むものである。以下、説明上の便宜のため、単に画像というものも、デジタル写真画像を意味するものとする。
【００１２】
画像におけるボケは画像全体に亘って均一に存在するが、画像の領域によって、ボケを確認し易い部位と確認しにくい、または確認できない部位がある。例えば、図３に示す画像の例のように、点線により区切られたブロックのうち、最も左上のブロックだけを見ても、画像がぼけているが否かが分からず、被写体（図３の例では人間）の髪部分や、耳などの輪郭部分のブロックは、画像がぼけているか否かを明顕に示すことができる。本発明において、このような、画像中のボケを表すことができる領域を「ボケが現れやすい領域」として抽出して、表示装置の解像度に合致したサイズで表示させるものである。
【００１３】
前述したように、ボケは画像中の点像の広がりを引き起こすため、ボケ画像には、点像の広がりに応じたエッジの広がりが生じ、すなわち、画像中におけるエッジの広がりの態様は画像中におけるボケと直接関係するものである。そのため、画像において、エッジが多い領域ほど、その領域の画像にはボケが現れやすいと考えられる。この点を利用して、本発明の画像処理方法は、ボケ確認領域画像を抽出する際に、デジタル写真画像からエッジを抽出すると共に、抽出された前記エッジの数を、該デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に取得し、前記エッジの数が最も多い前記領域画像を前記ボケ確認領域画像として抽出することが好ましい。
【００１４】
また、デジタル写真画像におけるボケ（ピンボケまたはぶれ）の程度を表すパラメータとして、ボケの幅、すなわちエッジの広がった程度を用いることができ、デジタル写真画像におけるボケの幅が分かれば、この幅以上のエッジ幅を有するエッジが多く存在する領域の画像にはボケが現れやすいと考えられる。この点に着目し、本発明の画像処理方法は、画像からエッジを抽出すると共に、画像におけるボケの幅を算出する。そして、画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ボケの幅以上のエッジ幅を有するエッジの数を取得し、該エッジの数が最も多い前記領域画像を前記ボケ確認領域画像として抽出することがさらに好ましい。
【００１５】
本発明の画像処理方法において、前記領域画像の大きさが、前記表示装置の解像度に応じて決められたものであることが好ましい。
【００１６】
本発明の画像処理装置は、デジタル写真画像から、ボケが現れやすい領域の画像をボケ確認領域画像として抽出するボケ確認領域画像抽出手段と、
抽出された前記ボケ確認領域画像を、表示装置の解像度に合致したサイズで表示させる表示手段とを備えたことを特徴とするものである。
【００１７】
本発明の画像処理装置における前記ボケ確認領域画像抽出手段は、前記デジタル写真画像からエッジを抽出するエッジ抽出手段と、
抽出された前記エッジの数を、該デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に取得するエッジ数集計手段と、
前記エッジの数が最も多い前記領域画像を前記ボケ確認領域画像として抽出する抽出実行手段とを備えてなるものであることが好ましい。
【００１８】
本発明の画像処理装置における前記ボケ確認領域画像抽出手段は、前記デジタル写真画像からエッジを抽出するエッジ抽出手段と、
前記デジタル写真画像におけるボケの幅を算出するボケ幅算出手段と、
前記デジタル写真画像をブロック分けすることによって得られた複数の同じ大きさの領域画像毎に、前記ボケの幅以上のエッジ幅を有するエッジの数を取得するエッジ数集計手段と、
前記エッジの数が最も多い前記領域画像を前記ボケ確認領域画像として抽出する抽出実行手段とを備えてなるものであることがさらに好ましい。
【００１９】
また、前記領域画像の大きさが、前記表示装置の解像度に応じて決められたものであることが好ましい。
【００２０】
本発明の画像処理方法を、コンピュータに実行させるプログラムとして提供するようにしてもよい。
【発明の効果】
【００２１】
本発明の画像処理方法および装置によれば、デジタル写真画像から、ボケが現れやすい領域の画像をボケ確認領域画像として抽出して、表示装置の解像度に合致したサイズで表示させるようにすることによって、操作者による領域の指定や、画像を複数の領域に分けて順次表示させることを必要とせずに、画像のボケ状況を確認させることができ、効率が良い。また、ボケが現れやすい領域の画像を抽出するようにしているので、ぼけた画像をぼけていない画像として誤判断してしまうなどのミスを防ぐことができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、本発明の実施形態について説明する。
【００２３】
図１は、本発明の第１の実施形態となるデジタルカメラの構成を示すブロック図である。
【００２４】
図１に示すように、本発明の第１の実施形態のデジタルカメラは、被写体を撮像して画像をＤを得る撮像手段１と、撮像手段１により得られた画像Ｄを記憶する記憶手段２と、記憶手段２に記憶された画像Ｄから画像Ｄのボケ状況を確認するためのボケ確認画像を抽出すると共に、後述するモニタ７に表示させるボケ確認画像抽出手段３と、ボケ確認画像抽出手段３により得られたボケ確認画像を表示するモニタ７と、操作者が、モニタ７に表示されたボケ確認画像の元画像Ｄを保存するか削除するかの入力を行うための入力手段９と、入力手段９を介した操作者の入力に応じて、画像Ｄの保存または削除を行う取捨手段８とを備えてなる。なお、本実施形態において、例として、モニタ７は、ＱＶＧＡ、すなわち３２０×２４０の解像度を有するものとする。
【００２５】
図２は、図１に示すデジタルカメラのボケ確認画像抽出手段３の構成を示すブロック図である。図示のように、ボケ確認画像抽出手段３は、画像Ｄからエッジを抽出するエッジ抽出手段４と、画像Ｄにおける、モニタ７の解像度に応じたサイズ（ここでは３２０×２４０画素）の領域毎に、エッジ抽出手段４により抽出されたエッジの数を集計するエッジ数集計手段５と、エッジ数集計手段５により得られた各領域のエッジ数に基づいて、最もエッジ数が多い領域の画像をボケ確認画像として抽出してモニタ７に出力する領域抽出実行手段６とを備えてなる。
【００２６】
モニタ７は、ボケ確認画像抽出手段３により得られたボケ確認画像を表示する。このようにモニタ７に表示されたボケ確認画像は、画像Ｄにおける、最もエッジ数の多い領域の画像であると共に、等倍、すなわち縮小されていないため、操作者は、ＱＶＧＡのような小さなモニタでも画像Ｄのボケ状況を正確に確認することができる。
【００２７】
操作者がモニタ７に表示されたボケ確認画像を見て入力手段９を介して、ボケの程度がひどい画像を削除する指示や、ボケが無い、またはボケの程度が許容できる範囲内にある画像Ｄを保存する指示ができ、取捨手段８は、入力手段９を介して操作者が入力した指示に従って、画像Ｄを記憶手段２から削除するまたは記憶手段２にそのまま保存させる処理を行う。
【００２８】
このように、本実施形態のデジタルカメラによれば、図３の画像を例にすると、端縁部のブロックや、顔の平坦部位のブロックなどエッジ数の少ない領域、すなわちボケがあるとしても現れ難い領域の画像は、ボケ確認画像として抽出されることがなく、髪部分の領域や、耳を含む領域などのエッジが集中する領域の画像はボケ確認画像として抽出されて等倍表示されるので、操作者に画像のボケ状況を効率良く確認させることができる。
【００２９】
図４は、本発明の第２の実施形態となる画像処理装置の構成を示すブロック図である。なお、本実施形態の画像処理装置は、画像中のボケを補正するためのものであり、デジタルカメラなどの撮像装置の一部であってもよく、撮像装置と関係なく、入力される画像に対してボケ補正を含む画像処理を行い装置の一部であってもよい。
【００３０】
図４に示すように、本実施形態の画像処理装置は、デジタル写真画像Ｄを記憶保存する記憶手段１０と、記憶手段１０に記憶保存された画像Ｄのボケ状況を解析するボケ解析手段５０と、ボケ解析手段５０による解析の結果に基づいて、ボケを確認するための、画像Ｄの一部となる領域画像を画像Ｄから抽出すると共に、後述するモニタ１４０の解像度に合致したサイズに拡大して確認画像を得る確認画像抽出手段１２０と、確認画像抽出手段１２０により得られた確認画像を表示するモニタ１４０と、モニタ１４０により表示された確認画像に対応する元画像Ｄをそのまま保存するか、削除するか、またはボケ補正処理を施すかの指示を操作者に入力させるための入力手段６０と、入力手段６０を介して操作者が入力した指示に従って、画像Ｄの保存、削除または補正を行う補正手段７０とを備えてなるものである。
【００３１】
図５は、図４に示す実施形態の画像処理装置におけるボケ解析手段５０の構成を示すブロック図である。図示のように、ボケ解析手段５０は、画像Ｄに対して縮小処理を行って画像Ｄの縮小画像Ｄ０を得る縮小手段１１と、縮小画像Ｄ０を用いて、図６に示す８つの異なる方向毎にエッジを検出するエッジ検出手段１２と、エッジ検出手段１２により検出されたエッジのプロファイルを作成するエッジプロファイル作成手段１３と、無効なエッジを除去するエッジ絞込手段１４と、エッジ絞込手段１４により得られたエッジの特徴量Ｓを取得するエッジ特徴量取得手段１６と、エッジ特徴量Ｓを用いて、画像Ｄにおけるボケ方向および画像Ｄのボケ度Ｎ、ぶれ度Ｋ、ボケ幅Ｌを算出して、ボケ情報Ｑとして補正手段７０および確認画像抽出手段１２０に出力する解析実行手段２０とを備えてなる。
【００３２】
縮小手段１１は、画像Ｄに対して、例えば１／８の縮小率で縮小して縮小画像Ｄ０を得て、エッジ検出手段１２に出力する。
【００３３】
エッジ検出手段１２は、縮小画像Ｄ０を用いて、図６に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得てエッジプロファイル作成手段１３に出力する。
【００３４】
エッジプロファイル作成手段１３は、エッジ検出手段１２により検出された各方向毎の各々のエッジの座標位置に基づいて、画像Ｄを用いてこれらのエッジに対して、図７に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力する。
【００３５】
エッジ絞込手段１４は、エッジ検出手段１２から出力されてきたエッジのプロファイルに基づいて、複雑なプロファイル形状を有するエッジや、光源を含むエッジ（例えば一定の明度以上のエッジ）などの無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力する。
【００３６】
エッジ特徴量取得手段１６は、エッジ絞込手段１４から出力されてきたエッジのプロファイルに基づいて、図７に示すようなエッジ幅を各エッジに対して求め、図８に示すようなエッジ幅のヒストグラムを図６に示された８つの方向毎に作成してエッジ幅と共にエッジ特徴量Ｓとして解析実行手段２０に出力する。
【００３７】
解析実行手段２０は、主として下記の２つの処理を行う。
【００３８】
１． 画像Ｄにおけるボケ方向、画像Ｄのボケ度Ｎを求める。
【００３９】
２． 画像Ｄのボケ幅Ｌ、ぶれ度Ｋを算出する。
【００４０】
ここで、１つ目の処理から説明する。
【００４１】
解析実行手段２０は、画像Ｄにおけるボケ方向を求めるために、まず、図６に示す８つの方向のエッジ幅のヒストグラム（以下略してヒストグラムという）に対して、互いに直交する２つの方向を１方向組として各方向組（１−５、２−６、３−７、４−８）のヒストグラムの相関値を求める。なお、相関値は求め方によって様々な種類があり、相関値が大きければ相関が小さい種類と、相関値の大小と相関の大小とが一致する、すなわち相関値が小さければ相関が小さい種類との２種類に大きく分けることができる。本実施形態において、例として、相関値の大小と相関の大小とが一致する種類の相関値を用いる。図９に示すように、画像中にぶれがある場合には、ぶれ方向のヒストグラムと、ぶれ方向と直交する方向のヒストグラムとの相関が小さい（図９（ａ）参照）のに対して、ぶれと関係ない直交する方向組または画像中にぶれがない（ボケがないまたはピンボケ）場合の直交する方向組では、そのヒストグラムの相関が大きい（図９（ｂ）参照）。本実施形態の画像処理装置における解析実行手段２０は、このような傾向に着目し、４つの方向組に対して、各組のヒストグラムの相関値を求め、相関が最も小さい方向組の２つの方向を見付け出す。画像Ｄにぶれがあれば、この２つの方向のうちの１つは、図６に示す８つの方向のうち、最もぶれ方向に近い方向として考えることができる。
【００４２】
図９（ｃ）は、ぶれ、ピンボケ、ボケ（ピンボケおよびぶれ）なしの撮像条件で同じ被写体を撮像して得た夫々の画像に対して求められた、このぶれの方向におけるエッジ幅のヒストグラムを示している。図９（ｃ）からわかるように、ボケのない通常画像は、最も小さい平均エッジ幅を有し、すなわち、上記において見付け出された２つの方向のうち、平均エッジ幅が大きい方は、最もぶれに近い方向のはずである。
【００４３】
解析実行手段２０は、こうして、相関が最も小さい方向組を見付け、この方向組の２つの方向のうち、平均エッジ幅の大きい方をボケ方向とする。
【００４４】
次に、解析実行手段２０は、画像Ｄのボケ度Ｎを求める。画像のボケ度は、画像中のボケの程度の大小を示すものであり、例えば、画像中に最もぼけている方向（ここでは上記において求められたボケ方向）の平均エッジ幅を用いてもよいが、ここでは、ボケ方向における各々のエッジのエッジ幅を用いて図１０に基づいたデータベースを利用してより精度良く求める。図１０は、学習用の通常画像データベースとボケ（ピンボケおよびぶれ）画像データベースを元に、画像中の最もぼけている方向（通常画像の場合には、この方向に対応する方向が望ましいが、任意の方向であってもよい）のエッジ幅分布のヒストグラムを作成し、ボケ画像における頻度と通常画像における頻度（図示縦軸）の比率を評価値（図示スコア）としてエッジ幅毎に求めて得たものである。図１０に基づいて、エッジ幅とスコアとを対応付けてなるデータベース（以下スコアデータベースという）が作成され、図示しない記憶手段に記憶されている。
【００４５】
解析実行手段２０は、図１０に基づいて作成され、図示しない記憶手段に記憶されたスコアデータベースを参照し、画像Ｄのボケ方向の各エッジに対して、そのエッジ幅からスコアを取得し、ボケ方向の全てのエッジのスコアの平均値を画像Ｄのボケ度Ｎとして求める。
【００４６】
解析実行手段２０は、２つ目の処理として、まず、画像Ｄのぶれ度Ｋを求める。
【００４７】
ボケ画像のボケにおけるぶれの程度の大小を示すぶれ度Ｋは、下記のような要素に基づいて求めることができる。
【００４８】
１．相関が最も小さい方向組（以下相関最小組）の相関値：この相関値が小さいほどぶれの程度が大きい
解析実行手段２０は、この点に着目して、図１１（ａ）に示す曲線に基づいて第１のぶれ度Ｋ１を求める。なお、図１１（ａ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、図示しない記憶手段に記憶されており、解析実行手段２０は、相関最小組の相関値に対応する第１のぶれ度Ｋ１を、図示しない記憶手段から読み出すようにして第１のぶれ度Ｋ１を求める。
【００４９】
２．相関最小組の２つの方向のうち、平均エッジ幅が大きい方向の平均エッジ幅：この平均エッジ幅が大きいほどぶれの程度が大きい
解析実行手段２０は、この点に着目して、図１１（ｂ）に示す曲線に基づいて第２のぶれ度Ｋ２を求める。なお、図１１（ｂ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、図示しない記憶手段に記憶されており、解析実行手段２０は、相関最小組の平均エッジ幅が大きい方向の平均エッジ幅に対応する第２のぶれ度Ｋ２を、図示しない記憶手段から読み出すようにして第２のぶれ度Ｋ２を求める。
【００５０】
３．相関最小組の２つの方向における夫々の平均エッジ幅の差：この差が大きいほどぶれの程度が大きい
解析実行手段２０は、この点に着目して、図１１（ｃ）に示す曲線に基づいて第３のぶれ度Ｋ３を求める。なお、図１１（ｃ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、図示しない記憶手段に記憶されており、解析実行手段２０は、相関最小組の２つの方向における夫々の平均エッジ幅の差に対応する第３のぶれ度Ｋ３を、図示しない記憶手段から読み出すようにして第３のぶれ度Ｋ３を求める。
【００５１】
解析実行手段２０は、このようにして第１のぶれ度Ｋ１、第２のぶれ度Ｋ２、第３のぶれ度Ｋ３を求めると共に、下記の式（１）に従って、Ｋ１、Ｋ２、Ｋ３を用いてボケ画像となるボケ画像Ｄのぶれ度Ｋを求める。
【００５２】
Ｋ＝Ｋ１×Ｋ２×Ｋ３                            （１）
但し、Ｋ：ぶれ度
Ｋ１：第１のぶれ度
Ｋ２：第２のぶれ度
Ｋ３：第３のぶれ度
次に、解析実行手段２０は、画像Ｄのボケ幅Ｌを求める。ここで、ぶれ度Ｋに関係なく、ボケ幅Ｌとしてボケ方向におけるエッジの平均幅を求めるようにしてもよいが、本実施形態においては、図６に示す８つの方向のすべてにおけるエッジの平均エッジ幅を求めてボケ幅Ｌとする。
【００５３】
解析実行手段２０は、画像Ｄに対して求められたボケ度Ｎ、ボケ方向、およびぶれ度Ｋ、ボケ幅Ｌをボケ情報Ｑとして補正手段７０および確認画像抽出手段１２０に出力する。なお、確認画像抽出手段１２０には、ボケ情報Ｑ以外に、エッジ絞込手段１４により除去された無効なエッジ以外のエッジの座標位置、およびエッジ特徴量取得手段１６により得られたエッジ特徴量Ｓも出力される。
【００５４】
図１２は、図４に示す実施形態の画像処理装置における確認画像抽出手段１２０の構成を示すブロック図である。図示のように、確認画像抽出手段１２０は、制御手段１２２と、第１のエッジ数集計手段１２４と、第２のエッジ数集計手段１２６と、領域抽出実行手段１２８とを備えてなる。
【００５５】
制御手段１２２は、ボケ解析手段５０から出力されてきたボケ情報Ｑに含まれるボケ度Ｎに基づいて、第１のエッジ数集計手段１２４と第２のエッジ数集計手段１２６とのいずれかにエッジ数集計処理を行わせる制御を行うものである。具体的には、画像Ｄのボケ度Ｎが所定の閾値以下であれば、第１のエッジ数集計手段１２４にエッジ数集計処理を行う一方、画像Ｄのボケ度Ｎが所定の閾値より大きければ第２のエッジ数集計手段１２６にエッジ数集計処理を行わせる。ここで、第１のエッジ数集計手段１２４および第２のエッジ数集計手段１２６の動作について説明する。
【００５６】
第１のエッジ数集計手段１２４は、ボケ解析手段５０から出力されてきた、エッジ絞込手段１４により除去された無効なエッジ以外のエッジの座標位置に基づいて、画像Ｄにおける、モニタ１４０の解像度（例えばＬ１×Ｌ２）の１／２に相当するサイズ、すなわち（Ｌ１／２）画素×（Ｌ２／２）画素の大きさの領域毎に、エッジの数を集計して領域抽出実行手段１２８に出力する。
【００５７】
一方、第２のエッジ数集計手段１２６は、ボケ解析手段５０から出力されてきた、エッジ絞込手段１４により除去された無効なエッジ以外のエッジの座標位置、およびエッジ特徴量Ｓに含まれる各エッジの幅、およびボケ情報Ｑに含まれるボケ幅Ｌに基づいて、画像Ｄにおける、モニタ１４０の解像度の１／２に相当するサイズの大きさの領域毎に、ボケ幅Ｌ以上のエッジ幅を有するエッジの数を集計して領域抽出実行手段１２８に出力する。
【００５８】
領域抽出実行手段１２８は、第１のエッジ数集計手段１２４および第２のエッジ数集計手段１２６から出力されてきた各領域のエッジ数に基づいて、最もエッジ数が多い領域の画像を抽出すると共に、縦横２倍のサイズ（すなわちＬ１画素×Ｌ２画素）に拡大して確認画像を得てモニタ１４０に出力する。
【００５９】
モニタ１４０は、確認画像抽出手段１２０により得られた確認画像を表示する。このようにモニタ１４０に表示された確認画像は、画像Ｄにおける、最もエッジ数の多い領域の画像（画像Ｄのボケ度Ｎが所定の閾値以下である場合）、または画像Ｄのボケ幅Ｌ以上のエッジ幅を有するエッジの数が最も多い領域の画像（画像Ｄのボケ度Ｎが所定の閾値より大きい場合）であると共に、縮小されていないため、操作者は、小さなモニタでも画像Ｄのボケ状況を正確に確認することができる。
【００６０】
操作者がモニタ１４０に表示された確認画像を見て入力手段６０を介して、ボケの程度がひどい画像を削除する指示や、ボケが無いまたは少ない画像を補正しないで保存する指示や、またはボケを補正する指示を入力することができ、補正手段７０は、入力手段６０を介して操作者が入力した指示に従って、画像Ｄを記憶手段１０から削除する処理、または記憶手段１０にそのまま保存させる処理、または画像Ｄに対してボケ補正を行ってから記憶手段１０に保存させる処理を行う。ここで、入力手段６０を介して操作者が補正するように指示がなされた場合の補正手段７０の動作について説明する。
【００６１】
補正手段７０は、画像Ｄにおけるボケを補正するのに当たって、まず、下記の式（２）に従って、方向性補正用の１次元補正パラメータＷ１および等方性補正用の２次元補正パラメータＷ２を設定する。
【００６２】
Ｗ１＝Ｎ×Ｋ×Ｍ１
Ｗ２＝Ｎ×（１−Ｋ）×Ｍ２                          （２）
但し、Ｗ１：１次元補正パラメータ
Ｗ２：２次元補正パラメータ
Ｎ：ボケ度
Ｋ：ぶれ度
Ｍ１：１次元補正マスク
Ｍ２：２次元補正マスク
即ち、補正手段７０は、ボケ度Ｎが大きいほど等方性補正の強度と方向性補正の強度が強く、ぶれ度Ｋが大きいほど方向性補正の重みが大きくなるように補正パラメータＷ１とＷ２（合わせてパラメータＥとする）を設定する。
【００６３】
次に、補正手段７０は、画像Ｄの高周波数成分を強調することによって画像Ｄのボケを補正する。具体的には、画像Ｄの高周波数成分（Ｄｈとする）を分離し、下記の式（３）に従って、補正パラメータＥを用いて、高周波数成分Ｄｈを強調することによって画像Ｄのボケを補正する。
【００６４】
Ｄ’＝Ｄ＋Ｅ×Ｄｈ                      （３）
但し，Ｄ’：補正済み画像
Ｄ：補正前の画像
Ｄｈ：画像Ｄの高周波数成分
Ｅ：補正パラメータ
補正手段７０は、入力手段６０を介して操作者が補正する指示がなされた場合に、このようにして画像Ｄに対して補正を行って補正済み画像Ｄ’を得、補正済み画像Ｄ’を記憶手段１０に保存させる。
【００６５】
このように本実施形態の画像処理装置によれば、図１に示す実施形態のデジタルカメラと同じ効果を得ることができると共に、画像Ｄのボケ度Ｎが小さいとき、すなわち画像Ｄのボケの程度が軽いときには、最もエッジの数が多い領域の画像を確認画像として抽出し、画像Ｄのボケ度Ｎが大きいとき、すなわち画像Ｄのボケの程度が強いときには、画像Ｄのボケ幅Ｌ以上のエッジ幅を有するエッジの数が最も多い領域の画像を確認画像として抽出し、画像Ｄのボケの程度に応じて、最もボケの状況を確認するのに適した確認画像を抽出しているので、より精確にボケの状況を操作者に確認させることができる。
【００６６】
また、ＶＧＡなどの解像度が大きい表示装置の場合において、表示装置の解像度と同じ大きさの画像を抽出して表示すると、確認画像のサイズが大きいので、確認画像内においてエッジが集中する領域と集中してない領域が存在する可能性があり、ボケ状況の確認を妨げかねない。そのため、本実施形態の画像処理装置は、表示装置となるモニタの解像度よりも小さいサイズの画像を抽出し、抽出した画像をモニタの解像度に合致するサイズに拡大して表示するようにすることによって、表示装置の解像度が大きい場合においても、ボケ状況を正確に確認することを可能とする。また、この場合、抽出した画像を表示装置の解像度と同じ大きさまでに拡大せず、そのままのサイズで、または表示装置の解像度より小さいサイズに拡大して表示装置の表示画面の一部のみに表示させるようにしてもよい。
【００６７】
このように、本発明の画像処理方法は、大きい画像のボケ状況を解像度の小さい表示装置で確認することに限らず、解像度の大きい表示装置で画像のボケ状況を確認することにも効果を発揮することができる。
【００６８】
以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。
【００６９】
例えば、図４に示す本発明の第２の実施形態となる画像処理装置において、画像Ｄを解析することによってボケ幅を得るようにしているが、例えば、特開２００２−１１２０９９号公報に記載のボケ補正の手法のように、画像を取得する撮像時にぶれの方向やぶれ幅などの情報を取得することができる装置（例えば加速度センサー）を撮像装置に設け、撮像と共に取得したボケ（ここではぶれ）の幅を用いるようにしてもよい。
【００７０】
また、ボケの補正を行う方法も、図４に示す実施形態の画像処理装置に用いられた方法に限らず、例えば、特開平７−１２１７０３号公報に記載の方法のように、ボケ画像に対して劣化関数を設定し、設定された劣化関数に対応する復元フィルタでボケ画像を修復し、修復後の画像を評価し、評価の結果に基づいて劣化関数を再設定するようにして、所望の画質になるまで、修復、評価、劣化関数の再設定を繰り返すことによってボケを補正するようにしてもよい。
【００７１】
また、エッジの抽出方法、抽出方法、画像中のぼけを解析する手法も、解析結果に基づいてボケを補正する手法も、上述実施形態の画像処理装置に用いられた手法に限られるものではない。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１の実施形態のデジタルカメラの構成を示すブロック図
【図２】図１に示すデジタルカメラにおけるボケ確認画像抽出手段３の構成を示すブロック図
【図３】画像中のエッジの分布を示す例
【図４】本発明の第２の実施形態の画像処理装置の構成を示すブロック図
【図５】図４に示す画像処理装置におけるボケ解析手段５０の構成を示すブロック図
【図６】エッジを検出する際に用いられる方向を示す図
【図７】エッジプロファイルを示す図
【図８】エッジ幅のヒストグラムを示す図
【図９】図５に示すボケ解析手段５０における解析実行手段２０の動作を説明するための図
【図１０】ボケ度の算出を説明するための図
【図１１】ぶれ度の算出を説明するための図
【図１２】図４に示す画像処理装置における確認画像抽出手段１２０の構成を示すブロック図
【符号の説明】
【００７３】
１    撮像手段
２    記憶手段
３    ボケ確認画像抽出手段
４    エッジ抽出手段
５    エッジ数集計手段
６    領域抽出実行手段
７    モニタ
８    取捨手段
９    入力手段
１０    記憶手段
１１    縮小手段
１２    エッジ検出手段
１３    エッジプロファイル作成手段
１４    エッジ絞込手段
１６    エッジ特徴量取得手段
２０    解析実行手段
５０    ボケ解析手段
６０    入力手段
７０    補正手段
１２０    確認画像抽出手段
１２２    制御手段
１２４    第１のエッジ数集計手段
１２６    第２のエッジ数集計手段
１２８    領域抽出実行手段
【図１】
2005309559.tif 000003
【図２】
2005309559.tif 000004
【図３】
2005309559.tif 000005
【図４】
2005309559.tif 000006
【図５】
2005309559.tif 000007
【図６】
2005309559.tif 000008
【図７】
2005309559.tif 000009
【図８】
2005309559.tif 000010
【図９】
2005309559.tif 000011
【図１０】
2005309559.tif 000012
【図１１】
2005309559.tif 000013
【図１２】
2005309559.tif 000014