(57)【要約】【課題】  撮影シーンを検出して撮影画像に対してかける複数の画像効果の優先度を決定し、複数のフィルタを処理する画像処理装置および画像処理装置の制御方法を提供すること。【解決手段】  撮像手段で撮像される画像に対して画像処理を行う画像処理手段と、前記撮像手段で撮像される画像の撮影シーンを検出する検出手段と、前記検出手段による検出結果に基づいて、前記画像処理手段で行う異なる複数の画像処理方法の優先度を決定する決定手段と、前記優先度に従って異なる画像処理の施された複数の画像を生成するように前記画像処理手段を制御する制御手段と、を有し、前記制御手段は、前記複数の画像処理方法のうち優先度が相対的に低い一部の画像処理方法による画像処理を簡易的な処理で行わせることを特徴とする構成とした。【選択図】  図１
2015211233.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で撮像される画像に対して画像処理を行う画像処理手段と、
前記撮像手段で撮像される画像の撮影シーンを検出する検出手段と、
前記検出手段による検出結果に基づいて、前記画像処理手段で行う異なる複数の画像処理方法の優先度を決定する決定手段と、
前記優先度に従って異なる画像処理の施された複数の画像を生成するように前記画像処理手段を制御する制御手段と、を有し、
前記制御手段は、前記複数の画像処理方法のうち優先度が相対的に低い一部の画像処理方法による画像処理を簡易的な処理で行わせることを特徴とする画像処理装置。
【請求項２】
前記簡易的な処理で行う画像処理方法では、優先度が相対的に高い画像処理方法で処理される画像に比べて画素数を減らした画像を用いて画像処理が行われることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記簡易的な処理で行う画像処理方法では、当該画像処理の優先度が相対的に高い場合に行われる画像処理に比べて合成処理の回数が少ないことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記簡易的な処理で行う画像処理方法では、当該画像処理の優先度が相対的に高い場合に行われる画像処理に比べて、同じ処理を行う単位ブロックが大きいことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項５】
前記画像処理手段で処理した画像及び前記決定手段により決定された、前記画像に対して行われる異なる複数の画像処理方法を表示する表示手段と、
前記異なる複数の画像処理方法の一部が前記画像に対して行われるのを中止する指示を行う指示手段と、を備え、
前記制御手段は、前記画像に対して前記異なる複数の画像処理方法を順次かける際に前記指示手段による一部の画像処理方法の中止指示を受け付けることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項６】
前記制御手段は、前記画像に対して前記異なる複数の画像処理方法を順次かける際に、前記表示手段に処理済みの画像処理方法と未処理あるいは処理中の画像処理方法が分かる様に表示させることを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
【請求項７】
被写体を撮像し、画像信号を順次出力する撮像手段と、
請求項１乃至６のいずれか１つに記載の画像処理装置と、
前記画像信号に対応する画像を順次表示する表示手段と、を有することを特徴とする撮像装置。
【請求項８】
撮像手段で撮像される画像に対して画像処理を行う画像処理手段と、前記撮像手段で撮像される画像の撮影シーンを検出する検出手段と、を有する画像処理装置の制御方法であって、
前記検出手段による検出結果に基づいて、前記画像処理手段で行う異なる複数の画像処理方法の優先度を決定する決定ステップと、
前記優先度に従って異なる画像処理の施された複数の画像を生成するように前記画像処理手段を制御する制御ステップと、を有し、
前記制御ステップでは、前記複数の画像処理方法のうち優先度が相対的に低い一部の画像処理方法による画像処理を簡易的な処理で行わせることを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一枚の画像から異なる撮影条件あるいは画像効果のかかった複数の画像を取得するブラケット撮影を行わせることが可能な画像処理装置および画像処理装置の制御方法に関する。
【背景技術】
【０００２】
従来、一度の撮影で撮像された画像に対し、複数の異なる画像処理を行う事で複数の画像を取得することの可能な撮像装置がある。
【０００３】
また、撮影した被写体やシーンを検出し、それに応じて画像の階調特性を変更する画像処理もある。
【０００４】
例えば、特許文献１では注目画素に対して、被写体情報に基づいて選択される階調変換特性曲線を用いて一律な階調変換処理を行い、処理後の注目画素に対して近傍領域の情報をもとに局所的な階調変換処理を行う。これにより、シーンや主要被写体に応じた最適な階調特性の画像を得る画像信号処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０７１７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の撮像装置において撮影のたびに毎回画像効果を選択するのは手間がかかる。
【０００７】
そこで、本発明の目的は、撮影シーンを検出して当該検出された撮影シーンに応じた異なる複数の画像効果がそれぞれかかった画像を生成する画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置は、撮像手段で撮像される画像に対して画像処理を行う画像処理手段と、前記撮像手段で撮像される画像の撮影シーンを検出する検出手段と、前記検出手段による検出結果に基づいて、前記画像処理手段で行う異なる複数の画像処理方法の優先度を決定する決定手段と、前記優先度に従って異なる画像処理の施された複数の画像を生成するように前記画像処理手段を制御する制御手段と、を有し、前記制御手段は、前記複数の画像処理方法のうち優先度が相対的に低い一部の画像処理方法による画像処理を簡易的な処理で行わせることを特徴とする。
【発明の効果】
【０００９】
本発明によれば本発明の目的は、撮影シーンを検出して当該検出された撮影シーンに応じた異なる複数の画像効果がそれぞれかかった画像を生成すことができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。
【図２】本実施形態による全体の処理を示す処理フローである。
【図３】本実施形態において表示部２８になされる表示例を示す図である。
【図４】本実施形態においてシーン要素と画像効果の適合度を示す図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。
【００１２】
（実施形態１）
実施形態１において、撮影シーンを検出し、画像効果の優先度を検出されたシーンを基に決定し、優先度が相対的に高い画像効果を入力画像に対して処理した後、処理すると決定されたその他の優先度が相対的に低い画像効果は簡易的な処理を行う例を述べる。
【００１３】
図１において、１０３はフォーカスレンズを含む撮影レンズ、１０１は絞り機能を備えるシャッター、２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。１０２はバリアであり、デジタルカメラ１００の、撮影レンズ１０３を含む撮像部を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００１４】
２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ（画像信号）、又は、メモリ制御部１５からのデータ（画像信号）に対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。また、ＴＴＬ方式に限らず、別途専用のセンサを用いて、各評価値を取得してもよい。
【００１５】
また、画像処理部２４では、撮像した画像に対して輝度検出処理を行い、映像上のフレーム画像を複数の領域に分割し、各領域における平均輝度を求める。そして、これらの平均輝度を用いて、例えば、画像の中心部とその周辺部との輝度差や中心輝度値などの輝度情報を求める。検出された輝度情報は、メモリ３２で保持される。
【００１６】
さらに画像処理部２４では、撮像した画像に対して色検出処理を行い、平均彩度、高彩度領域の面積などの色情報を検出する。検出された色情報は、メモリ３２で保持される。
【００１７】
また、画像処理部２４では、Ａ／Ｄ変換器２３から出力されるデータに対して通常撮影の場合にも適用されるデモザイキング、ホワイトバランス、シェーディング補正、ひずみ補正、マトリクス演算、ガンマ補正、圧縮・符号化処理などの各種の画像処理を行う。
【００１８】
また、画像処理部２４では、上記の処理の一部がなされた画像データに対して画像効果を付与する画像処理方法を行う。本実施形態では例えば、ジオラマ風の画像処理、トイカメラ風の画像処理、魚眼レンズ風の画像処理。油彩風の画像処理、水彩風の画像処理を例に挙げる。ジオラマ風の画像処理は、例えば、所定領域を中心に周辺に向かって徐々にぼけていくような画像を生成することで、主被写体を引き立たせたり、画像全体がジオラマのように見える画像効果が得られる処理である。オリジナルの元画像に対してフィルタ処理や、縮小、拡大処理を伴うボケ画像の生成を行い、元画像と領域ごとに合成処理を行うことで最終画像を生成する。フィルタのタップ数を増やすとボケの程度が大きくなる。また縮小率を大きくして拡大により元の画像サイズに戻すとよりボケの程度が大きくなり、段階的に複数のボケの程度に対応するボケ画像を生成すると、合成したときにその分なめらかにボケが変化する最終画像が生成できる。
【００１９】
トイカメラ風の画像処理は、例えば、通常の画像処理としては、画像の周辺領域を減光する画像処理（像高が高い画素ほどゲインをかけて明るさを下げる）を行った後にノイズを付与する画像処理を行って最終画像を生成する。
【００２０】
魚眼レンズ風の画像処理は、周辺を大きくひずませる画像処理を行う。
【００２１】
油彩風の画像処理は、例えば、画像の輝度信号、色信号の階調を落とす画像処理を行う。
【００２２】
水彩風の画像処理は、例えば、画像の輝度信号の高周波成分を残し、色信号をぼかして最終画像を生成する画像処理を行う。
【００２３】
美肌処理は、例えば顔検出により検出された領域の肌色を検出し、顔領域および周辺の同様の色領域について肌を美肌に見えるような色に変換する処理を行ったり、該当する領域の輝度を上げたり、平滑化処理を行って滑らかにしたりして最終画像を生成する。
【００２４】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００２５】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。１３はＤ／Ａ変換器であり、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。本実施形態では、撮像部２２で撮像され、Ａ／Ｄ変換器２３から順次出力される画像データを順次表示部２８に表示するスルー画表示（ライブビュー表示）の機能を備えている。
【００２６】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述するフローチャートを実行するためのプログラムのことである。
【００２７】
５０はシステム制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
【００２８】
モード切替スイッチ６０、シャッターボタン６１、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００２９】
シャッターボタン６１は撮影指示を行うための操作部であり、第１シャッタースイッチ６２および第２シャッタースイッチ６４によって構成される。
【００３０】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。
【００３１】
第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００３２】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２５に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００３３】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００３４】
８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２５を含む各部へ供給する。
【００３５】
３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。１８はメモリカードやハードディスク等の記録媒体２５とのインターフェースである。記録媒体２５は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。７２は電源スイッチであり、電源オン、電源オフを切り替える。
【００３６】
１０４は被写体検出部であり、画像から全て被写体領域を検出する。被写体領域とは、画像の中で被写体を構成している領域である。被写体領域は、例えば人物やペットの顔の中心及び顔の縦横の大きさとして表され、顔枠として表示される。被写体検出部１０４は、例えば被写体の輪郭を基準としてテンプレートマッチングによって被写体領域を検出するように構成しても良い。
【００３７】
１０５はシーン検出部であり、画像が撮影されたシーンを検出する。撮影シーンは被写体検出部１０４で検出された画像中の被写体領域の大きさや画像内での位置座標や、画像の構図、画像中の輝度や色合いなどを基にして検出される。
【００３８】
シーン検出部１０５によるシーン検出動作について説明する。シーン検出部１０５は、メモリ３２で保持されている画像の輝度情報と色情報を用いて、撮影シーンの背景を判別する。さらに、被写体検出部１０４にて検出された被写体情報を用いて、撮影シーンにおける被写体を判別する。
【００３９】
シーン検出部１０５は、メモリ３２で保持されている画像の輝度情報と色情報を解析し、画像上の青空色の領域の面積が閾値以上かを判定し、青空色の領域の面積が閾値以上ならば、撮影シーンの背景は青空であると検出する。
【００４０】
また、シーン検出部１０５は、メモリ３２で保持されている画像の輝度情報と色情報を解析し、画像上の緑色の領域の面積が閾値以上かを判定し、緑色の領域の面積が閾値以上ならば、撮影シーンの背景は草原であると検出する。
【００４１】
また、シーン検出部１０５は、メモリ３２で保持されている画像の輝度情報と色情報を解析し、画像上の輝度が所定のヒストグラム分布や分散の条件を満たすと判定した場合に、撮影シーンの背景は夜景であると検出する。例えば、夜景のときの画像上の輝度は、低輝度部が大部分を占め、且つ輝度の分散値が高い、つまり高輝度部が単発的に発生している状態である。
【００４２】
また、シーン検出部１０５は、メモリ３２で保持されている画像の輝度情報と色情報を解析し、画像上の平均彩度、高彩度の領域の面積が共に閾値以上かを判定し、閾値以上であれば、撮影シーンが鮮やかなシーンであると検出する。
【００４３】
次に、撮影シーンにおける被写体を判別する場合について説明する。
【００４４】
シーン検出部１０５は、被写体検出部１０４で検出した被写体領域を解析し、人物の顔が検出されていた場合には、撮影シーンにおける被写体が人物であると検出する。
【００４５】
また、シーン検出部１０５は、被写体検出部１０４で検出した被写体領域を解析し、ペットの顔が検出されていた場合には、撮影シーンにおける被写体がペットであると検出する。
【００４６】
また、シーン検出部１０５は、被写体領域の画像中のサイズ情報、および位置情報を解析し、被写体のサイズが閾値よりも大きく、被写体の位置座標が画像中央から所定の距離以下である場合に、撮影シーンが、被写体の日の丸構図であると検出する。
【００４７】
このように、シーン検出部１０５は、シーンの背景と被写体の両方を検出し、これらを組み合わせて、一つのシーン検出結果とする。つまり、撮影シーンの背景が草原と検出し、被写体がペットであると検出した場合には、撮影シーンが草原＋ペットであると検出する。一方、撮影シーンの背景が青空と判定したが、被写体が人物でもペットでもないと判定した場合は、単に青空の撮影シーンであると検出する。
【００４８】
１０６は画像効果優先度決定部であり、シーン検出部１０５で検出したシーンから処理する画像効果の種類とその優先度を決定する。
【００４９】
画像効果とは、入力画像に対して施す元の印象を変えるような画像処理のことであり、トイカメラ風画像効果や魚眼風画像効果、ジオラマ風画像効果、水彩画風画像効果、油彩画風画像効果、美肌処理等の効果が挙げられる。撮影シーンによって適した画像効果が異なるため、画像効果優先度決定部１０６は撮影シーンからどの画像効果が適しているか優先度を算出し、優先度の高い順に閾値以上の優先度の画像効果を実際に画像処理する画像効果として選択する。
【００５０】
上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。
【００５１】
なお、図１に示した撮像装置の構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。
【００５２】
図１に示した撮像装置で１枚撮影を行い、システム制御部５０の制御下で撮影された入力画像からシーン検出部１０５によりシーンを検出する。入力画像にかける画像効果（画像処理方法）の種類と処理する優先度を優先度決定部１０６により決定した後、優先度の高い順に入力画像に対し順次、画像処理部２４で各画像効果の画像処理を行い表示部２８に表示する。上記の画像効果ブラケット撮影（撮像）の処理フローを、図２、図３を用いて説明する。各ステップの処理はシステム制御部５０あるいはシステム制御部５０からの指示によってメモリ３２を用いるなどして各部で行われる。
【００５３】
図３において、３０１は表示部２８内に表示される処理済みの画像効果名である。
【００５４】
３０２は表示部２８内に表示される処理中の画像効果名である。
【００５５】
３０３は表示部２８内に表示される未処理の画像効果名である。
【００５６】
３０４は表示部２８内に表示される画像効果の画像効果ブラケット終了コマンドである。操作部７０により中断コマンド３０４が選択され実行されると未処理の画像処理は処理されずに画像効果ブラケット撮影を終了する。
【００５７】
ステップＳ２０１において、撮像部２２により撮影を行う。
【００５８】
ステップＳ２０２において、ステップＳ２０１によって取得された入力画像の撮影シーンをシーン検出部１０５で検出する。
【００５９】
ステップＳ２０３において、シーン検出部１０５で検出されたシーンから画像効果優先度決定部１０６で画像効果ごとの優先度を決定し、優先度によって実際に処理する画像効果の種類を決定する。ステップＳ２０２において検出された撮影シーンから画像効果の優先度を決定する方法については後述する。
【００６０】
ステップＳ２０４において、入力画像に対して画像効果優先度決定部１０６で決定した優先度の最も高かった画像効果の画像処理を画像処理部２４で行う。次いで、優先度が所定番目までの画像効果の画像処理を画像処理部２４で行う。
【００６１】
ステップＳ２０５において、画像処理部２４で処理された画像効果のかかった画像を順次、表示部２８に表示する。その際、表示部２８には図３のように、直前に処理された画像効果のかかった画像と同時に処理済みの画像効果３０１と処理中の画像効果３０２、未処理の画像効果３０３が分かる様に表示する。
【００６２】
ステップＳ２０６において、ステップＳ２０３で選択された複数の画像効果全てで処理が完了したかどうかを判定する。全ての画像効果の処理が完了した場合は画像効果ブラケット撮影を終了する。未処理の画像効果がある場合はステップＳ２０７へ進む。
【００６３】
ステップＳ２０７において、未処理の画像効果の処理をキャンセルするかどうかを判定する。ユーザが表示部２８に表示されている画像効果の処理状況を見て、操作部７０より画像効果ブラケット終了コマンド３０４を選択し、未処理の画像効果の処理の中止指示をする操作を行った場合は画像効果ブラケット撮影を終了する。未処理の画像効果に対して続けて処理を行う場合はステップＳ２０８へ進む。
【００６４】
ステップＳ２０８において、入力画像を縮小する。この縮小処理は、優先度が所定番目以降の画像効果をかける画像の画像サイズ（画素数）を等しくなるように所定番目以降を所定画素数に縮小してもよいし、優先度に応じて画像サイズを段階的に変える縮小処理を行ってもよい。
【００６５】
また、ステップＳ２０８では、同じ種類の画像処理を優先度が相対的に低い所定番目以降の画像に対して行う画像処理はそれ以前の優先度が相対的に高い画像に対して行う場合に比べて簡易的な処理を施す。例えばトイカメラのテイストを出す画像処理で処理する場合、所定番目までの画像に対して行う通常の画像処理では、入力画像の周辺領域を減光する画像処理（像高が高い画素ほどゲインをかけて明るさを下げる）を行った後にノイズを加えて画像処理を完了する。しかし、ステップＳ２０８で行う簡易的な画像処理ではノイズは加えずに周辺減光処理のみを行う。また、ジオラマの処理をする場合、ステップＳ２０４ではぼかした画像を得るために複数回縮小処理、ローパスフィルタ処理、拡大処理を繰り返して複数段階のボケ画像を生成して合成する。この処理を繰り返す回数を、ステップＳ２０８では処理回数を少なくして例えば１回とし、２枚合成とする。また、水彩風、油彩風などの画像効果を得るための画像処理をする場合、所定番目までの画像に行う通常の画像処理よりも所定番目以降の画像に行う簡易的な画像処理の方が、処理を行う単位ブロックを大きくして、処理負荷、処理速度を早める。
【００６６】
処理が終わると処理済みの画像を表示するためにステップＳ５０５へ進む。
【００６７】
ステップＳ２０９において、入力画像を縮小した画像に対して未処理の画像効果の中で優先度の最も高い画像効果の処理を画像処理部２４で行う。処理が終わると処理済みの縮小したサイズの画像を表示するためにステップＳ２０５へ進む。
【００６８】
以上の処理フローに従って本発明を実施した際に、シーン検出部１０５で検出した撮影シーンから画像効果優先度決定部１０６で優先度を決定し、処理する画像効果を選択する例を、図２、図４を参照して説明する。
【００６９】
図４（ａ）は、シーン検出部１０５で検出されるシーン要素と画像効果の適合度を示した図である。
【００７０】
適合度は０〜１の値を取り、値が大きいほど対応する撮影シーンと画像効果の親和性が高いことを示す。ａｎ（ｎ＝１〜６）はジオラマ風画像効果と各シーン要素の適合度を、ｂｎ（ｎ＝１〜６）は魚眼風画像効果と各シーン要素の適合度を示す。ｃｎ（ｎ＝１〜６）はトイカメラ風画像効果と各シーン要素の適合度を、ｄｎ（ｎ＝１〜６）は油彩風画像効果と各シーン要素の適合度を示す。ｅｎ（ｎ＝１〜６）は水彩風と各シーン要素の適合度を、ｆｎ（ｎ＝１〜６）は美肌効果と各シーン要素の適合度を示す。各シーンに対する画像効果（画像処理方法）の適合度の例を図４（ｂ）に示す。
【００７１】
適合度を基にシーン検出部１０５で検出される一つのシーン検出結果における各画像効果の優先度を算出する。
【００７２】
例えば、シーン検出部１０５によって検出されたシーンが「ペット＋日の丸構図＋草原」であった場合、ジオラマの優先度ＳａはＳａ＝ａ１＋ａ３＋ａ５と算出される。また、魚眼の優先度ＳｂはＳｂ＝ｂ１＋ｂ３＋ｂ５と算出される。同様にトイカメラの優先度Ｓｃ、油彩風の優先度Ｓｄ、水彩風の優先度Ｓｅ、美肌の優先度Ｓｆはそれぞれ、Ｓｃ＝ｃ１＋ｃ３＋ｃ５、Ｓｄ＝ｄ１＋ｄ３＋ｄ５、Ｓｅ＝ｅ１＋ｅ３＋ｅ５、Ｓｆ＝ｆ１＋ｆ３＋ｆ５のように算出される。
【００７３】
Ｓａ、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅ、Ｓｆの値を比較し、値が大きいほど優先度が高い画像効果であると判定される。
【００７４】
ここで一番値の大きい画像効果が、優先度が最も高いと判定され、ステップＳ２０４で処理される。
【００７５】
また、優先度が二番目以降で優先度が閾値以上の画像効果をステップＳ２０８で処理される画像効果として決定する。優先度が閾値以下の画像効果は当該画像においては撮影シーンとの適合度が低いと判定され処理は行われない。
【００７６】
以上のように、本実施形態では、撮影シーンを検出して当該検出された撮影シーンに応じた異なる複数の画像効果がそれぞれかかった画像を生成することができる。
【００７７】
さらに本実施形態では、撮影したシーンに適した一部の画像効果を優先して処理し、その他の画像効果は画像を縮小、若しくは画像処理の簡略化をする。これにより、優先度の高い画像効果のかかった画像を早く取得するとともに、複数の画像効果の処理結果を確認しながら、全ての画像処理にかかる時間を短縮することが出来る。さらに、撮影シーンに適していて実際に効果をかける画像効果を、優先度を基に決定し、最も優先度の高い画像効果を入力画像に対して処理し、処理すると決定されたその他の画像効果は画像効果本来の特徴は分かるように簡略化した画像処理を行う。これにより、画像処理にかかる全体の時間を短縮することが出来る。
【００７８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本実施形態では、撮影シーンの一例としてペットや人物、日の丸構図、青空、草原、夜景を示した。また、画像効果の一例としてジオラマや魚眼、トイカメラ、油彩風、水彩風、美肌の場合の実施形態を述べた。しかし、上記の撮影シーンや画像処理方法に限定されず、他の撮影シーン、画像処理方法に対しても本発明は同様に適用可能である。
【符号の説明】
【００７９】
１３  Ｄ／Ａ変換器
１５  メモリ制御部
１８  Ｉ／Ｆ
２２  撮像部
２３  Ａ／Ｄ変換器
２４  画像処理部
２５  記録媒体
２８  表示部
３０  電源部
３２  メモリ
５０  システム制御部
５２  システムメモリ
５６  不揮発性メモリ
６０  モード切替スイッチ
６１  シャッターボタン
６２  第１シャッタースイッチ
６４  第２シャッタースイッチ
７０  操作部
７２  電源スイッチ
８０  電源制御部
１００  デジタルカメラ
１０１  シャッター
１０２  バリア
１０３  撮像レンズ
１０４  被写体検出部
１０５  シーン検出部
１０６  画像効果優先度決定部
【図１】
2015211233.tif 000003
【図２】
2015211233.tif 000004
【図３】
2015211233.tif 000005
【図４】
2015211233.tif 000006