(57)【要約】【課題】ぼかし画像及び元画像のコントラストを強調する画像処理を行う際に、ぼかし画像と元画像との間におけるコントラスト強調効果の差を縮小することを可能にする技術を提供する。【解決手段】第１の画像から、前記第１の画像の第１の周波数成分を除いた第２の画像を生成する生成手段と、前記第１の画像に、前記第１の画像の前記第１の周波数成分と前記第１の周波数成分より低い帯域に対応する第２の周波数成分とに基づく第１の補正成分を加算することにより第１の補正画像を生成し、前記第２の画像に、前記第２の周波数成分に基づく第２の補正成分を加算することにより第２の補正画像を生成する補正手段と、前記第１の補正画像及び前記第２の補正画像を合成する合成手段と、を備え、前記第１の補正成分は、前記第２の周波数成分に第１のゲインを適用した成分を含み、前記第２の補正成分は、前記第２の周波数成分に前記第１のゲインより大きい第２のゲインを適用した成分を含むことを特徴とする画像処理装置を提供する。【選択図】図３
2020149589.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像から、前記第１の画像の第１の周波数成分を除いた第２の画像を生成する生成手段と、
前記第１の画像に、前記第１の画像の前記第１の周波数成分と前記第１の周波数成分より低い帯域に対応する第２の周波数成分とに基づく第１の補正成分を加算することにより第１の補正画像を生成し、前記第２の画像に、前記第２の周波数成分に基づく第２の補正成分を加算することにより第２の補正画像を生成する補正手段と、
前記第１の補正画像及び前記第２の補正画像を合成する合成手段と、
を備え、
前記第１の補正成分は、前記第２の周波数成分に第１のゲインを適用した成分を含み、前記第２の補正成分は、前記第２の周波数成分に前記第１のゲインより大きい第２のゲインを適用した成分を含む
ことを特徴とする画像処理装置。
【請求項２】
前記第１の画像は第１のサイズを持ち、
前記生成手段は、前記第１の画像を前記第１のサイズより小さい第２のサイズに縮小して前記第１のサイズに拡大することにより、前記第１の画像の前記第１の周波数成分を除いた前記第２の画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記第１の画像を前記第２のサイズより小さい第３のサイズに縮小して前記第１のサイズに拡大することにより、前記第１の画像の前記第１の周波数成分及び前記第２の周波数成分を除いた第３の画像を生成し、
前記画像処理装置は、前記第１の画像から前記第２の画像を減算することにより前記第１の画像の前記第１の周波数成分を取得し、前記第２の画像から前記第３の画像を減算することにより前記第１の画像の前記第２の周波数成分を取得する取得手段を更に備え、
前記補正手段は、前記取得手段により取得された前記第１の画像の前記第１の周波数成分及び前記第２の周波数成分を用いて前記第１の補正画像及び前記第２の補正画像を生成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記取得手段により取得された前記第１の画像の前記第１の周波数成分又は前記第２の周波数成分の大きさが閾値以下の場合に、適切なコントラスト補正を行えないことをユーザに通知する通知手段を更に備える
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の画像処理装置と、
前記第１の画像を生成する撮像手段と、
を備えることを特徴とする撮像装置。
【請求項６】
撮影範囲において背景に合焦した第１の画像から、前記第１の画像の第１の周波数成分を除いた第２の画像を生成する生成手段と、
前記撮影範囲において主被写体に合焦した第４の画像に、前記第１の画像の前記第１の周波数成分と前記第１の周波数成分より低い帯域に対応する第２の周波数成分とに基づく第１の補正成分を加算することにより第１の補正画像を生成し、前記第２の画像に、前記第２の周波数成分に基づく第２の補正成分を加算することにより第２の補正画像を生成する補正手段と、
前記第１の補正画像及び前記第２の補正画像を合成する合成手段と、
を備え、
前記第１の補正成分は、前記第２の周波数成分に第１のゲインを適用した成分を含み、前記第２の補正成分は、前記第２の周波数成分に前記第１のゲインより小さい第２のゲインを適用した成分を含む
ことを特徴とする画像処理装置。
【請求項７】
前記第１の画像は第１のサイズを持ち、
前記生成手段は、前記第１の画像を前記第１のサイズより小さい第２のサイズに縮小して前記第１のサイズに拡大することにより、前記第１の画像の前記第１の周波数成分を除いた前記第２の画像を生成する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記生成手段は、前記第１の画像を前記第２のサイズより小さい第３のサイズに縮小して前記第１のサイズに拡大することにより、前記第１の画像の前記第１の周波数成分及び前記第２の周波数成分を除いた第３の画像を生成し、
前記画像処理装置は、前記第２の画像から前記第３の画像を減算することにより前記第１の画像の前記第２の周波数成分を取得する取得手段を更に備え、
前記補正手段は、前記取得手段により取得された前記第１の画像の前記第２の周波数成分を用いて前記第１の補正画像及び前記第２の補正画像を生成する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記取得手段により取得された前記第１の画像の前記第２の周波数成分の大きさが閾値以下の場合に、適切なコントラスト補正を行えないことをユーザに通知する通知手段を更に備える
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
請求項６乃至９のいずれか１項に記載の画像処理装置と、
前記第１の画像及び前記第４の画像を生成する撮像手段と、
を備えることを特徴とする撮像装置。
【請求項１１】
画像処理装置が実行する画像処理方法であって、
第１の画像から、前記第１の画像の第１の周波数成分を除いた第２の画像を生成する生成工程と、
前記第１の画像に、前記第１の画像の前記第１の周波数成分と前記第１の周波数成分より低い帯域に対応する第２の周波数成分とに基づく第１の補正成分を加算することにより第１の補正画像を生成し、前記第２の画像に、前記第２の周波数成分に基づく第２の補正成分を加算することにより第２の補正画像を生成する補正工程と、
前記第１の補正画像及び前記第２の補正画像を合成する合成工程と、
を備え、
前記第１の補正成分は、前記第２の周波数成分に第１のゲインを適用した成分を含み、前記第２の補正成分は、前記第２の周波数成分に前記第１のゲインより大きい第２のゲインを適用した成分を含む
ことを特徴とする画像処理方法。
【請求項１２】
画像処理装置が実行する画像処理方法であって、
撮影範囲において背景に合焦した第１の画像から、前記第１の画像の第１の周波数成分を除いた第２の画像を生成する生成工程と、
前記撮影範囲において主被写体に合焦した第４の画像に、前記第１の画像の前記第１の周波数成分と前記第１の周波数成分より低い帯域に対応する第２の周波数成分とに基づく第１の補正成分を加算することにより第１の補正画像を生成し、前記第２の画像に、前記第２の周波数成分に基づく第２の補正成分を加算することにより第２の補正画像を生成する補正工程と、
前記第１の補正画像及び前記第２の補正画像を合成する合成工程と、
を備え、
前記第１の補正成分は、前記第２の周波数成分に第１のゲインを適用した成分を含み、前記第２の補正成分は、前記第２の周波数成分に前記第１のゲインより小さい第２のゲインを適用した成分を含む
ことを特徴とする画像処理方法。
【請求項１３】
コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１４】
コンピュータを、請求項６乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
入力画像から低周波画像を生成し、低周波画像を用いた階調処理を行うことで、画像のコントラストを局所的に向上させる技術が知られている。例えば、特許文献１には、解像度が段階的に異なる複数の画像を生成し、画像間の画素値の差分に基づいて各解像度の高周波成分を生成して元画像に加算することで、画像を強調する技術が開示されている。
【０００３】
また、画像に対して部分的にぼかし効果を付与する画像処理を行うことで、ジオラマ風の画像を生成する技術が知られている。例えば、特許文献２には、画像の所定の帯状領域では解像感を残し、帯状領域から離れるにつれて段階的なぼかし処理を行うことで、ジオラマ風の画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１６３２２７号公報
【特許文献２】特開２０１１−１６６３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ぼかし処理が行われた画像（ぼかし画像）においては、元画像が持っていた高周波成分が失われている。そのため、特許文献１の技術をぼかし画像に適用した場合に得られるコントラスト強調効果は、特許文献１の技術を元画像に適用した場合に得られるコントラスト強調効果よりも小さい。従って、特許文献１及び特許文献２の技術を単純に組み合わせて使用した場合、ぼけた領域とぼけていない領域との間でコントラスト強調の程度に差が生まれ、不自然な画像になる場合があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、ぼかし画像及び元画像のコントラストを強調する画像処理を行う際に、ぼかし画像と元画像との間におけるコントラスト強調効果の差を縮小することを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、第１の画像から、前記第１の画像の第１の周波数成分を除いた第２の画像を生成する生成手段と、前記第１の画像に、前記第１の画像の前記第１の周波数成分と前記第１の周波数成分より低い帯域に対応する第２の周波数成分とに基づく第１の補正成分を加算することにより第１の補正画像を生成し、前記第２の画像に、前記第２の周波数成分に基づく第２の補正成分を加算することにより第２の補正画像を生成する補正手段と、前記第１の補正画像及び前記第２の補正画像を合成する合成手段と、を備え、前記第１の補正成分は、前記第２の周波数成分に第１のゲインを適用した成分を含み、前記第２の補正成分は、前記第２の周波数成分に前記第１のゲインより大きい第２のゲインを適用した成分を含むことを特徴とする画像処理装置を提供する。
【発明の効果】
【０００８】
本発明によれば、ぼかし画像及び元画像のコントラストを強調する画像処理を行う際に、ぼかし画像と元画像との間におけるコントラスト強調効果の差を縮小することが可能となる。
【０００９】
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【図面の簡単な説明】
【００１０】
【図１】撮像装置１００の基本構成を示すブロック図。
【図２】原画像からジオラマ風画像を生成する処理に関係する、画像処理部１０５の詳細な構成を示すブロック図。
【図３】ジオラマ風画像生成処理のフローチャート。
【図４】縮小拡大画像毎の各差分画像のゲインの例を示す図。
【図５】縮小拡大画像の合成処理の概念図。
【図６】背景ぼかし画像生成処理のフローチャート。
【図７】適切なコントラスト補正を行えないことをユーザに通知する画面の例を示す図。
【図８】第２の実施形態に係る、１／１６縮小拡大画像のための各差分画像のゲインの例を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１２】
［第１の実施形態］
図１は、画像処理装置の一例である撮像装置１００の基本構成を示すブロック図である。撮像装置１００は、デジタルカメラ又はデジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってもよい。
【００１３】
光学系１０１は、レンズ、シャッター、及び絞りを含み、ＣＰＵ１０３の制御によって被写体からの光を撮像素子１０２に結像させる。撮像素子１０２は、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどを含み、光学系１０１を通って結像した光を画像信号に変換する。
【００１４】
ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。一次記憶部１０４は、例えばＲＡＭのような揮発性メモリであり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶部１０４に記憶されている情報は、画像処理部１０５で利用されたり、記録媒体１０６へ記録されたりもする。
【００１５】
画像処理部１０５は、撮像素子１０２で取得した電気信号を処理することで撮影画像を作成する。画像処理部１０５は、電気信号に対してホワイトバランス調整や画素補間、ＹＵＶデータへの変換、フィルタ処理、画像合成等の各種処理を行う。
【００１６】
二次記憶部１０７は、例えばＥＥＰＲＯＭのような不揮発性メモリであり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶する。プログラム及び設定情報は、ＣＰＵ１０３によって利用される。
【００１７】
記録媒体１０６は、一次記憶部１０４に記憶されている、撮影により得られた画像データなどを記憶する。なお、記録媒体１０６は、例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、パーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。
【００１８】
表示部１０８は、撮影時のビューファインダ画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１０９は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等を含む。また、操作部１０９は、音声や視線などを用いた入力機器を含んでもよい。
【００１９】
なお、ユーザは操作部１０９を操作することにより、ユーザの好みに応じて撮影モードの設定を行うことが可能である。撮影モードとして、鮮やか目の画像、スタンダードな画像、発色を抑えたニュートラルな画像、人物の肌色に重点を置いた画像などの各種画像に対応するモードがある。例えば、人物をアップで写したい場合、撮影モードをポートレートモードに変更することで、より効果的な画像特性が得られる。
【００２０】
また、撮像装置１００は、撮影した静止画又は動画に画像処理部１０５が適用する画像処理パターンを複数有する。ユーザは操作部１０９を操作することにより、所望の画像処理パターンに関連付けられた撮影モードを選択可能である。画像処理部１０５は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整なども行う。なお、画像処理部１０５の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現してもよい。
【００２１】
また、ＣＰＵ１０３、一次記憶部１０４、画像処理部１０５、記録媒体１０６、及び二次記憶部１０７を備えた画像処理装置が、撮像装置１００が撮影した画像を取得して、現像処理をはじめ撮影モードに応じた色調の調整などを行ってもよい。
【００２２】
図２は、原画像からジオラマ風画像を生成する処理に関係する、画像処理部１０５の詳細な構成を示すブロック図である。画像処理部１０５は、ぼかし画像生成部２０１、差分画像生成部２０２、ゲイン決定部２０３、コントラスト補正部２０４、及び画像合成部２０５を含む。画像処理部１０５の各部の動作については、図３を参照して後述する。
【００２３】
図３は、ジオラマ風画像生成処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、ＣＰＵ１０３がプログラムに従って撮像装置１００の各部を制御することにより実現される。
【００２４】
Ｓ３０１で、ＣＰＵ１０３は、光学系１０１及び撮像素子１０２を制御することにより画像の撮影を行い、撮影画像を一次記憶部１０４に記憶する。
【００２５】
Ｓ３０２で、ぼかし画像生成部２０１は、一次記憶部１０４から撮影画像を取得し、取得した撮影画像に対して縮小処理と元の画像サイズに戻す拡大処理とを行う。これにより、画像サイズは同一でありながら、撮影画像よりもぼけた画像を生成することができる。以下の説明においては、撮影画像をＭ／Ｎ倍（Ｍ＜Ｎ）に縮小して元の画像サイズに拡大することにより得られるぼけた画像を、「Ｍ／Ｎ縮小拡大画像」と呼ぶ。本実施形態では、段階的なぼけを含むジオラマ風画像を生成する目的で、ぼかし画像生成部２０１は、１／２縮小拡大画像、１／４縮小拡大画像、１／８縮小拡大画像、１／１６縮小拡大画像、及び１／３２縮小拡大画像を生成する。なお、縮小方法としては、単純間引き、バイリニア方式、バイキュービック方式等の、任意の既存の方法を用いることができる。
【００２６】
以下の説明においては、便宜上、縮小処理及び拡大処理が行われていない撮影画像を「１／１縮小拡大画像」と呼ぶ場合がある。即ち、特に区別が必要な場合を除き、撮影画像も、１／２〜１／３２の縮小拡大画像も、倍率が異なること以外は同等の縮小拡大画像として扱うことができる。
【００２７】
Ｓ３０３で、差分画像生成部２０２は、一次記憶部１０４に記憶された撮影画像と、Ｓ３０２において生成された縮小拡大画像とを取得する。そして、差分画像生成部２０２は、互いに隣接する倍率の縮小拡大画像同士の差分を算出することにより、各々が撮影画像の異なる帯域に対応する周波数成分である複数の差分画像を生成する。即ち、差分画像生成部２０２は、（撮影画像）−（１／２縮小拡大画像）、（１／２縮小拡大画像）−（１／４縮小拡大画像）、・・・、（１／１６縮小拡大画像）−（１／３２縮小拡大画像）の演算を行うことにより、５つの差分画像を生成する。以下の説明においては、Ｍ／Ｎ縮小拡大画像から隣接するより小さい倍率の縮小拡大画像を減算することにより生成される差分画像を、「Ｍ／Ｎ差分画像」と呼ぶ。例えば、（撮影画像）−（１／２縮小拡大画像）及び（１／２縮小拡大画像）−（１／４縮小拡大画像）の演算により得られる差分画像は、それぞれ「１／１差分画像」、「１／２差分画像」と呼ばれる。１／２縮小拡大画像（第２の画像）は、撮影画像（第１の画像）の特定の周波数成分（第１の周波数成分）を除いた画像なので、撮影画像から１／２縮小拡大画像を減算することにより１／１差分画像（第１の周波数成分）を取得することができる。同様に、１／４縮小拡大画像（第３の画像）は、撮影画像（第１の画像）の特定の周波数成分（第１の周波数成分及び第２の周波数成分）を除いた画像である。そのため、１／２縮小拡大画像から１／４縮小拡大画像を減算することにより１／２差分画像（第２の周波数成分）を取得することができる。各差分画像は、後述するコントラスト補正のための補正成分として使用される。
【００２８】
Ｓ３０４で、ゲイン決定部２０３は、Ｓ３０３において生成された差分画像を取得し、後述するコントラスト補正の際に各差分画像に適用するゲインを決定する。ゲインの決定は、補正対象の縮小拡大画像毎に行われる。
【００２９】
図４（ａ）は、１／１縮小拡大画像のための各差分画像のゲインの例を示す図である。この例では、１／１〜１／１６の全ての差分画像について、ゲインがαに決定されている。また、図４（ｂ）は、１／２縮小拡大画像のための各差分画像のゲインの例を示す図である。１／２縮小拡大画像を生成するために撮像画像を縮小及び拡大することにより撮像画像の高周波成分が失われるため、１／２縮小拡大画像は撮像画像が持っている高周波成分を持たない。そのため、１／１差分画像を補正成分として１／２縮小拡大画像に加算してもコントラストに影響を与えることができない。従って、ゲイン決定部２０３は、１／１差分画像のゲインを０に決定する。一方、１／２〜１／１６の差分画像については、ゲイン決定部２０３は、ゲインをαより大きいβに決定する。これにより、１／１差分画像によるコントラスト補正を行えないことに伴う補正量の不足を補うことができる。同様に、図４（ｃ）〜（ｅ）は、それぞれ１／４〜１／１６の縮小拡大画像のための各差分画像のゲインの例を示す図である。１／２縮小拡大画像において撮像画像（１／１縮小拡大画像）が持っている高周波成分が失われているのと同様の理由により、１／４〜１／１６の各縮小拡大画像において、より大きい倍率に対応する縮小拡大画像が持っている高周波成分が失われている。従って、ゲイン決定部２０３は、１／４〜１／１６の各縮小拡大画像について、より大きい倍率に対応する差分画像のゲインを０に決定する。一方、同一又はより小さい倍率に対応する差分画像については、ゲイン決定部２０３は、対象の縮小拡大画像の倍率が小さいほどゲインが大きくなるように、各差分画像のゲインを決定する。即ち、図４（ａ）〜（ｅ）において、α＜β＜γ＜δ＜εである。
【００３０】
Ｓ３０５で、コントラスト補正部２０４は、一次記憶部１０４に記憶された撮影画像（１／１縮小拡大画像）と、Ｓ３０２において生成された縮小拡大画像と、Ｓ３０３において生成された差分画像と、Ｓ３０４において決定されたゲインとを取得する。そして、コントラスト補正部２０４は、１／１〜１／１６の各縮小拡大画像について、対応するゲインを１／１〜１／１６の各差分画像に適用して対象の縮小拡大画像に加算することにより、各縮小拡大画像のコントラストを補正する。即ち、コントラスト補正は、下記の式（１）〜（５）に従って行われる。
（補正された１／１縮小拡大画像）
＝（元の１／１縮小拡大画像）＋α×（（１／１差分画像）＋（１／２差分画像）＋（１／４差分画像）＋（１／８差分画像）＋（１／１６差分画像））  ・・・（１）
（補正された１／２縮小拡大画像）
＝（元の１／２縮小拡大画像）＋β×（（１／２差分画像）＋（１／４差分画像）＋（１／８差分画像）＋（１／１６差分画像））  ・・・（２）
（補正された１／４縮小拡大画像）
＝（元の１／４縮小拡大画像）＋γ×（（１／４差分画像）＋（１／８差分画像）＋（１／１６差分画像））  ・・・（３）
（補正された１／８縮小拡大画像）
＝（元の１／８縮小拡大画像）＋δ×（（１／８差分画像）＋（１／１６差分画像））  ・・・（４）
（補正された１／１６縮小拡大画像）
＝（元の１／１６縮小拡大画像）＋ε×（１／１６差分画像）  ・・・（５）
【００３１】
式（１）から理解できるように、１／１縮小拡大画像（第１の画像）に加算する補正成分は、１／２差分画像（第２の周波数成分）にゲインαを適用した成分を含んでいる。また、式（２）から理解できるように、１／２縮小拡大画像（第２の画像）に加算する補正成分は、１／２差分画像（第２の周波数成分）にゲインβを適用した成分を含んでいる。本実施形態では、ゲインα及びゲインβは、ゲインβがゲインαより大きくなるように決定されている。
【００３２】
Ｓ３０６で、画像合成部２０５は、Ｓ３０５において補正された各縮小拡大画像（補正画像）をトリミングし、一次記憶部１０４に記憶されている撮影画像を基準に位置合わせをして貼り合わせることにより、ジオラマ風画像を生成する。画像合成部２０５は、トリミングした各縮小拡大画像を貼り合わせる際に、境界部分をなだらかに混合することにより境界部分のぼけ量の変化を目立ちにくくする。例えば、図５に示すように、画像合成部２０５は、縮小拡大画像５０２と縮小拡大画像５０３との間の境界部分５０１において、縮小拡大画像５０２と縮小拡大画像５０３との合成比率を、下から上に向かって０：１００〜１００：０へとなだらかに変化させる。なお、図５においては、説明の簡略化のために２つの縮小拡大画像のみが図示されているが、実際にはＳ３０５において補正された全ての縮小拡大画像が合成される。
【００３３】
以上説明したように、第１の実施形態によれば、撮像装置１００は、１／１縮小拡大画像から１／２〜１／３２の縮小拡大画像を生成し、互いに隣接する倍率の縮小拡大画像同士の差分を算出することにより、１／１〜１／１６の差分画像を生成する。そして、撮像装置１００は、式（１）〜（５）に従って１／１〜１／１６の縮小拡大画像のコントラストを補正する。撮像装置１００は、式（１）〜（５）において１／１〜１／１６の差分画像に適用されるゲインを、α＜β＜γ＜δ＜εとなるように決定する。従って、補正後の１／１〜１／１６の縮小拡大画像の間におけるコントラスト強調効果の差を縮小することが可能となる。
【００３４】
なお、本実施形態では、互いに隣接する倍率の縮小拡大画像同士の差分を算出して差分画像を生成することにより、コントラスト補正のための補正成分として使用される各周波数成分を取得する場合を例に説明を行った。しかしながら、撮像装置１００は、差分画像を生成する以外の方法（例えば、撮影画像の各帯域を通過させるフィルタを用いる方法）により、撮影画像の各帯域に対応する周波数成分を取得してもよい。
【００３５】
また、本実施形態では、撮影画像から１／２〜１／３２の５つの縮小拡大画像を生成する場合を例に説明を行ったが、縮小拡大画像の倍率は上で説明した５つの倍率に限定されないし、生成する縮小拡大画像の数も５つに限定されない。本実施形態は、撮影画像から少なくとも１つの縮小拡大画像を生成する場合に適用可能である。
【００３６】
また、図３のＳ３０３において、ＣＰＵ１０３は、生成された差分画像（周波数成分）の大きさが閾値以下であるか否かを判定してもよい。いずれかの差分画像（周波数成分）の大きさが閾値以下である場合、Ｓ３０５において適切なコントラスト補正を行うことができない（十分な補正効果が得られない）。そこで、ＣＰＵ１０３は、例えば、図７（ａ）に示すようなダイアログを表示部１０８に表示したり、図７（ｂ）に示すように表示部１０８の設定メニュー項目をグレーアウトしたりすることで、適切なコントラスト補正を行えないことをユーザに通知する。
【００３７】
［第２の実施形態］
第１の実施形態では、画像間におけるコントラスト強調効果の差を縮小する構成について説明したが、第２の実施形態では、画像間におけるコントラスト強調効果の差を拡大する構成について説明する。第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。
【００３８】
なお、第１の実施形態においては、ジオラマ風画像を生成する撮影モードで撮影が行われる場合を例に説明を行った。一方、第２の実施形態においては、背景をぼかすことで主被写体を目立たせる撮影モード（背景ぼかしモード）で撮影が行われる場合を例に説明を行う。
【００３９】
図６は、背景ぼかし画像生成処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、ＣＰＵ１０３がプログラムに従って撮像装置１００の各部を制御することにより実現される。
【００４０】
Ｓ６０１で、ＣＰＵ１０３は、光学系１０１及び撮像素子１０２を制御することにより撮影範囲における主被写体に焦点を合わせて画像の撮影を行い、撮影画像（以下、「主被写体合焦画像」と呼ぶ）を一次記憶部１０４に記憶する。また、ＣＰＵ１０３は、光学系１０１及び撮像素子１０２を制御することにより撮影範囲における背景に焦点を合わせて画像の撮影を行い、撮影画像（以下、「背景合焦画像」と呼ぶ）を一次記憶部１０４に記憶する。
【００４１】
Ｓ６０２で、画像処理部１０５は、主被写体合焦画像及び背景合焦画像のエッジを検出する。エッジ検出方法の一例としては、対象画像に対してバンドパスフィルタリングを行って絶対値を取得することによってエッジを検出する方法が挙げられる。なお、エッジ検出方法はこれに限定されず、他の方法を用いてもよい。以下の説明において、主被写体合焦画像から検出されたエッジを示す画像を、主被写体エッジ画像と呼び、背景合焦画像から検出されたエッジを示す画像を、背景エッジ画像と呼ぶ。次に、画像処理部１０５は、主被写体エッジ画像及び背景エッジ画像のそれぞれについて、画像を複数の領域に分割し、各領域のエッジの絶対値を積分する。主被写体エッジ画像の各分割領域［ｉ，ｊ］におけるエッジ積分値（鮮鋭度）をＥＤＧ１［ｉ，ｊ］と表し、背景エッジ画像の各分割領域［ｉ，ｊ］におけるエッジ積分値をＥＤＧ２［ｉ，ｊ］と表す。
【００４２】
Ｓ６０３で、画像処理部１０５は、エッジ積分値ＥＤＧ１［ｉ，ｊ］、ＥＤＧ２［ｉ，ｊ］の大小比較を行う。そして、画像処理部１０５は、ＥＤＧ１［ｉ，ｊ］＞ＥＤＧ２［ｉ，ｊ］の関係が満たされる場合に、分割領域［ｉ，ｊ］が主被写体領域であると判定し、そうでない場合に、分割領域［ｉ，ｊ］が背景領域であると判定する。
【００４３】
Ｓ６０４で、画像処理部１０５は、一次記憶部１０４から背景合焦画像を取得し、取得した背景合焦画像に対して縮小処理と元の画像サイズに戻す拡大処理とを行う。これにより、画像サイズは同一でありながら、背景合焦画像よりもぼけた画像を生成することができる。以下の説明においては、背景合焦画像（第１の画像）をＭ／Ｎ倍（Ｍ＜Ｎ）に縮小して元の画像サイズに拡大することにより得られるぼけた画像を、「Ｍ／Ｎ縮小拡大画像」と呼ぶ。本実施形態では、画像処理部１０５は、１／２縮小拡大画像、１／４縮小拡大画像、１／８縮小拡大画像、１／１６縮小拡大画像（第２の画像）、及び１／３２縮小拡大画像（第３の画像）を生成する。
【００４４】
以下の説明においては、便宜上、縮小処理及び拡大処理が行われていない背景合焦画像を「１／１縮小拡大画像」と呼ぶ場合がある。即ち、特に区別が必要な場合を除き、背景合焦画像も、１／２〜１／３２の縮小拡大画像も、倍率が異なること以外は同等の縮小拡大画像として扱うことができる。
【００４５】
Ｓ６０５で、画像処理部１０５は、一次記憶部１０４に記憶された背景合焦画像と、Ｓ６０４において生成された縮小拡大画像とを取得する。そして、画像処理部１０５は、互いに隣接する倍率の縮小拡大画像同士の差分を算出することにより、各々が背景合焦画像の異なる帯域に対応する周波数成分である複数の差分画像を生成する。即ち、画像処理部１０５は、（背景合焦画像）−（１／２縮小拡大画像）、（１／２縮小拡大画像）−（１／４縮小拡大画像）、・・・、（１／１６縮小拡大画像）−（１／３２縮小拡大画像）の演算を行うことにより、５つの差分画像を生成する。以下の説明においては、Ｍ／Ｎ縮小拡大画像から隣接するより小さい倍率の縮小拡大画像を減算することにより生成される差分画像を、「Ｍ／Ｎ差分画像」と呼ぶ。例えば、（背景合焦画像）−（１／２縮小拡大画像）及び（１／２縮小拡大画像）−（１／４縮小拡大画像）の演算により得られる差分画像は、それぞれ「１／１差分画像」、「１／２差分画像」と呼ばれる。１／３２縮小拡大画像（第３の画像）は、１／１６縮小拡大画像（第２の画像）から特定の周波数成分（第２の周波数成分）を除いた画像である。そのため、１／１６縮小拡大画像から１／３２縮小拡大画像を減算することにより１／１６差分画像（第２の周波数成分）が得られる。各差分画像は、後述するコントラスト補正のための補正成分として使用される。
【００４６】
Ｓ６０６で、画像処理部１０５は、Ｓ６０５において生成された差分画像を取得し、後述するコントラスト補正の際に各差分画像に適用するゲインを決定する。ゲインの決定は、主被写体合焦画像（第４の画像）及び１／１６縮小拡大画像（第２の画像）それぞれについて行われる。
【００４７】
図４（ａ）は、主被写体合焦画像のための各差分画像のゲインの例を示す図である。この例では、１／１〜１／１６の全ての差分画像について、ゲインがαに決定されている。また、図８は、１／１６縮小拡大画像のための各差分画像のゲインの例を示す図である。１／１６縮小拡大画像を生成するために背景合焦画像を縮小及び拡大することにより背景合焦画像の高周波成分が失われるため、１／１６縮小拡大画像は１／１〜１／８の各縮小拡大画像が持っている高周波成分（第１の周波数成分）を持たない。そのため、１／１〜１／８の各差分画像（第１の周波数成分）を補正成分として１／１６縮小拡大画像に加算してもコントラストに影響を与えることができない。従って、画像処理部１０５は、１／１〜１／８の各差分画像（第１の周波数成分）のゲインを０に決定する。一方、１／１６差分画像（第２の周波数成分）については、画像処理部１０５は、ゲインをαより小さいζに決定する。これにより、主被写体合焦画像と１／１６縮小拡大画像との間におけるコントラスト強調効果の差を拡大することができる。
【００４８】
Ｓ６０７で、画像処理部１０５は、一次記憶部１０４に記憶された主被写体合焦画像と、Ｓ６０４において生成された１／１６縮小拡大画像と、Ｓ６０５において生成された差分画像と、Ｓ６０６において決定されたゲインとを取得する。そして、画像処理部１０５は、主被写体合焦画像及び１／１６縮小拡大画像それぞれについて、対応するゲインを１／１〜１／１６の各差分画像に適用して対象の画像に加算することにより、主被写体合焦画像及び１／１６縮小拡大画像のコントラストを補正する。即ち、コントラスト補正は、下記の式（６）〜（７）に従って行われる。
（補正された主被写体合焦画像）
＝（元の主被写体合焦画像）＋α×（（１／１差分画像）＋（１／２差分画像）＋（１／４差分画像）＋（１／８差分画像）＋（１／１６差分画像））  ・・・（６）
（補正された１／１６縮小拡大画像）
＝（元の１／１６縮小拡大画像）＋ζ×（１／１６差分画像）  ・・・（７）
【００４９】
式（６）から理解できるように、主被写体合焦画像（第４の画像）に加算する補正成分は、１／１６差分画像（第２の周波数成分）にゲインαを適用した成分を含んでいる。また、式（７）から理解できるように、１／１６縮小拡大画像（第２の画像）に加算する補正成分は、１／１６差分画像（第２の周波数成分）にゲインζを適用した成分を含んでいる。本実施形態では、ゲインα及びゲインζは、ゲインζがゲインαより小さくなるように決定されている。
【００５０】
Ｓ６０８で、画像処理部１０５は、Ｓ６０３における領域判定結果に基づいて、Ｓ６０７において補正された主被写体合焦画像（第１の補正画像）と１／１６縮小拡大画像（第２の補正画像）とを画素毎に合成する。なお、Ｓ６０３では２値切り替えで主被写体領域と背景領域とを判別している。しかしながら、Ｓ６０２で求めたエッジ積分値ＥＤＧ１［ｉ，ｊ］、ＥＤＧ２［ｉ，ｊ］を正規化して求められるｒ［ｉ，ｊ］（０≦ｒ≦１）に基づいて主被写体合焦画像ＩＭＧ１［ｉ，ｊ］と１／１６縮小拡大画像ＩＭＧ２［ｉ，ｊ］とを合成してもよい。即ち、画像処理部１０５は、合成画像Ｂ［ｉ，ｊ］を、以下の式（８）を用いて算出する。なお、［ｉ，ｊ］は各画素を示している。
Ｂ［ｉ，ｊ］＝ＩＭＧ１［ｉ，ｊ］＊ｒ［ｉ，ｊ］
＋ＩＭＧ２［ｉ，ｊ］＊（１−ｒ［ｉ，ｊ］）  ・・・（８）
【００５１】
以上説明したように、第２の実施形態によれば、撮像装置１００は、背景合焦画像（第１の画像）から１／２〜１／３２の縮小拡大画像を生成し、互いに隣接する倍率の縮小拡大画像同士の差分を算出することにより、１／１〜１／１６の差分画像を生成する。そして、撮像装置１００は、式（６）〜（７）に従って主被写体合焦画像（第４の画像）及び１／１６縮小拡大画像（第２の画像）のコントラストを補正する。撮像装置１００は、式（６）〜（７）において１／１〜１／１６の差分画像に適用されるゲインを、α＞ζとなるように決定する。従って、補正後の主被写体合焦画像と１／１６縮小拡大画像との間におけるコントラスト強調効果の差を縮小することが可能となる。
【００５２】
なお、本実施形態では、互いに隣接する倍率の縮小拡大画像同士の差分を算出して差分画像を生成することにより、コントラスト補正のための補正成分として使用される各周波数成分を取得する場合を例に説明を行った。しかしながら、撮像装置１００は、差分画像を生成する以外の方法（例えば、背景合焦画像の各帯域を通過させるフィルタを用いる方法）により、背景合焦画像の各帯域に対応する周波数成分を取得してもよい。
【００５３】
また、本実施形態では、背景合焦画像から１／２〜１／３２の５つの縮小拡大画像を生成する場合を例に説明を行ったが、縮小拡大画像の倍率は上で説明した５つの倍率に限定されないし、生成する縮小拡大画像の数も５つに限定されない。本実施形態は、背景合焦画像から少なくとも１つの縮小拡大画像を生成する場合に適用可能である。
【００５４】
また、図６のＳ６０５において、ＣＰＵ１０３は、１／１６差分画像（第２の周波数成分）の大きさが閾値以下であるか否かを判定してもよい。１／１６差分画像（第２の周波数成分）の大きさが閾値以下である場合、Ｓ６０７において適切なコントラスト補正を行うことができない（十分な補正効果が得られない）。そこで、ＣＰＵ１０３は、例えば、図７（ａ）に示すようなダイアログを表示部１０８に表示したり、図７（ｂ）に示すように表示部１０８の設定メニュー項目をグレーアウトしたりすることで、適切なコントラスト補正を行えないことをユーザに通知する。
【００５５】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５６】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００５７】
１００…撮像装置、１０１…光学系、１０２…撮像素子、１０３…ＣＰＵ、１０４…一次記憶部、１０５…画像処理部、１０６…記録媒体、１０７…二次記憶部、１０８…表示部、１０９…操作部
【図１】
2020149589.tif 000003
【図２】
2020149589.tif 000004
【図３】
2020149589.tif 000005
【図４】
2020149589.tif 000006
【図５】
2020149589.tif 000007
【図６】
2020149589.tif 000008
【図７】
2020149589.tif 000009
【図８】
2020149589.tif 000010