(57)【要約】【課題】画像のぼけに関する情報に基づいて、容易にぼけた画像を取得することを可能とする画像処理装置、画像調整方法、画像調整プログラムおよび撮像装置を提供する。【解決手段】撮像装置により取得された画像中において、注目する被写体の領域である注目領域を決定する注目領域決定部と、画像中における注目領域以外の領域である注目外領域のぼけ情報を取得するぼけ情報取得部と、ぼけ情報に基づいて所定の処理を行うぼけ関連処理部とを備える画像処理装置である。【選択図】図１
2015022716.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により取得された画像中において、注目する被写体の領域である注目領域を決定する注目領域決定部と、
前記画像中における前記注目領域以外の領域である注目外領域のぼけ情報を取得するぼけ情報取得部と、
前記ぼけ情報に基づいて所定の処理を行うぼけ関連処理部と
を備える画像処理装置。
【請求項２】
前記ぼけ関連処理部は、前記画像中において前記注目領域と前記注目外領域とを含む領域を前記表示部に拡大して表示させる
請求項１に記載の画像処理装置。
【請求項３】
前記ぼけ関連処理部は、前記画像におけるぼけ具合を調整するためのぼけ調整用ユーザインターフェースを前記表示部に表示させる
請求項１に記載の画像処理装置。
【請求項４】
前記ぼけ関連処理部は、前記画像に対してぼかし処理を施し、現在の前記画像と、ぼかし処理が施された前記画像を前記表示部に表示させる
請求項１に記載の画像処理装置。
【請求項５】
前記ぼけ関連処理部は、前記画像の構図を判定し、前記構図における推奨ぼけ量を決定し、前記画像の構図における前記推奨ぼけ量と前記画像の注目外領域の前記ぼけ情報に基づいて、前記表示部に表示される画像の注目外領域における前記ぼけ具合を強調して表示させる
請求項１に記載の画像処理装置。
【請求項６】
前記ぼけ関連処理部は、前記ぼけ情報に基づいて前記画像の切り出し範囲を決定し、前記画像から前記切り出し範囲の切り出しを行う
請求項１に記載の画像処理装置。
【請求項７】
前記ぼけ関連処理部は、前記切り出し範囲内における前記注目領域と前記注目外領域の前記ぼけ情報の分離度に基づいて前記切り出し範囲を決定する
請求項６に記載の画像処理装置。
【請求項８】
前記ぼけ関連処理部は、前記切り出し範囲が複数存在する場合、該複数の切り出し範囲のそれぞれについて画像を切り出して複数の切り出し画像を生成する
請求項６に記載の画像処理装置。
【請求項９】
前記ぼけ関連処理部は、前記ぼけ情報に基づいて、前記撮像装置を１回の撮影動作で絞り開口径が異なる複数の画像を所得するブラケット撮影モードで動作させる撮像動作制御を行う
請求項１に記載の画像処理装置。
【請求項１０】
前記ぼけ関連処理部は、前記ぼけ量が所定量以下である場合、前記撮像装置を前記絞り開口径が大きくなる方向に変化する前記ブラケット撮影モードで動作させる
請求項９に記載の画像処理装置。
【請求項１１】
前記ぼけ関連処理部は、前記ぼけ量が所定量以上である場合、前記撮像装置を前記絞り開口径が小さくなる方向に変化する前記ブラケット撮影モードで動作させる
請求項９に記載の画像処理装置。
【請求項１２】
前記ぼけ関連処理部は、前記撮像装置により取得された撮影済み画像の前記ぼけ情報に応じて、前記撮影済み画像の前記注目外領域のぼけ具合を強調する画像処理を行う
請求項１に記載の画像処理装置。
【請求項１３】
前記ぼけ関連処理部は、前記ぼけ情報を示すグラフを前記表示部に表示させる
請求項１に記載の画像処理装置。
【請求項１４】
前記ぼけ関連処理部は、前記ぼけ情報を示すヒストグラムを前記表示部に表示させる
請求項１に記載の画像処理装置。
【請求項１５】
前記ぼけ情報は、前記画像の前記注目外領域における実際のぼけ量である
請求項１に記載の画像処理装置。
【請求項１６】
前記ぼけ情報は、前記撮像装置が前記注目領域にフォーカスを合わせたと仮定した場合における前記注目外領域のぼけ予測量である
請求項１に記載の画像処理装置。
【請求項１７】
撮像装置により取得された画像中において、注目する被写体の領域である注目領域を決定し、
前記画像中における前記注目領域以外の領域である注目外領域のぼけ情報を取得し、
前記ぼけ情報に基づいて所定の処理を行う
画像処理方法。
【請求項１８】
撮像装置により取得された画像中において、注目する被写体の領域である注目領域を決定し、
前記画像中における前記注目領域以外の領域である注目外領域のぼけ情報を取得し、
前記ぼけ情報に基づいて所定の処理を行う
画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１９】
光学系を介した光を受光して画像を生成する撮像部と、
前記画像中において、注目する被写体の領域である注目領域を決定する注目領域決定部と、
前記画像中における前記注目領域以外の領域である注目外領域のぼけ情報を取得するぼけ情報取得部と、
前記ぼけ情報に基づいて所定の処理を行うぼけ関連処理部と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラなどの撮像装置が広く普及しており、それら撮像装置には、撮影シーンに応じて自動でフォーカスや露光を最適に合わる機能を備えるものがある。しかし、撮影時の構図合わせや背景をぼかすような特殊な演出効果は、いまだユーザの技量に大きく依存してしまうため、特に、カメラの知識を有しない初心者は、特殊な演出効果で撮影することが難しい。このため近年、背景をぼかしたりする技術が多く提案されている(特許文献１)。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３３４７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術の多くは、被写体を検出して、その被写体の情報に応じて絞りを設定している。具体的には、人物の顔を検出して、その顔のサイズや位置、向きなどの情報である。このような絞り決定手法は、自動で制御してしまうためユーザの意志に合わない画を撮影する可能性がある。
【０００５】
本技術はこのような問題点に鑑みなされたものであり、画像のぼけに関する情報に基づいて処理を行うことにより、容易にぼけた画像を取得することを可能とする画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、第１の技術は、撮像装置により取得された画像中において、注目する被写体の領域である注目領域を決定する注目領域決定部と、画像中における注目領域以外の領域である注目外領域のぼけ情報を取得するぼけ情報取得部と、ぼけ情報に基づいて所定の処理を行うぼけ関連処理部とを備える画像処理装置である。
【０００７】
また、第２の技術は、撮像装置により取得された画像中において、注目する被写体の領域である注目領域を決定し、画像中における注目領域以外の領域である注目外領域のぼけ情報を取得し、ぼけ情報に基づいて所定の処理を行う画像処理方法である。
【０００８】
また、第３の技術は、撮像装置により取得された画像中において、注目する被写体の領域である注目領域を決定し、画像中における注目領域以外の領域である注目外領域のぼけ情報を取得し、ぼけ情報に基づいて所定の処理を行う画像処理方法をコンピュータに実行させる画像処理プログラムである。
【０００９】
さらに、第４の技術は、光学系を介した光を受光して画像を生成する撮像部と、画像中において、注目する被写体の領域である注目領域を決定する注目領域決定部と、画像中における注目領域以外の領域である注目外領域のぼけ情報を取得するぼけ情報取得部と、ぼけ情報に基づいて所定の処理を行うぼけ関連処理部とを備える撮像装置である。
【発明の効果】
【００１０】
本技術によれば、画像のぼけに関する情報に基づいて処理を行うことにより、ユーザが容易にぼけた画像を取得することを可能とすることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本技術に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、第１の実施の形態に係る画像処理装置の機能を備える撮像装置の構成を示すブロック図である。
【図３】図３は、ぼけ予測量の算出方法を説明するための図である。
【図４】図４Ａおよび図４Ｂは、第１の実施の形態における表示態様を示す図である。
【図５】図５は、第１の実施の形態における表示態様を示す図である。
【図６】図６は、第１の実施の形態における表示態様を示す図である。
【図７】図７は、第１の実施の形態における処理の流れを示すフローチャートである。
【図８】図８は、第２の実施の形態に係る画像処理装置の機能を備える撮像装置の構成を示すブロック図である。
【図９】図９Ａ、図９Ｂおよび図９Ｃは、第２の実施の形態における表示態様を示す図である。
【図１０】図１０は、第２の実施の形態における処理の流れを示すフローチャートである。
【図１１】図１１は、第３の実施の形態に係る画像処理装置の機能を備える撮像装置の構成を示すブロック図である。
【図１２】図１２Ａおよび図１２Ｂ、第３の実施の形態における表示態様を示す図である。
【図１３】図１３Ａおよび図１３Ｂ、第３の実施の形態における表示態様を示す図である。
【図１４】図１４は、第３の実施の形態における処理の流れを示すフローチャートである。
【図１５】図１５は、第４の実施の形態に係る画像処理装置の機能を備える撮像装置の構成を示すブロック図である。
【図１６】図１６Ａ、図１６Ｂおよび図１６Ｃは、第４の実施の形態における表示態様を示す図である。
【図１７】図１７は、第４の実施の形態における処理の流れを示すフローチャートである。
【図１８】図１８は、第５の実施の形態に係る画像処理装置の機能を備える撮像装置の構成を示すブロック図である。
【図１９】図１９Ａおよび図１８Ｂは、第５の実施の形態における表示態様を示す図である。
【図２０】図２０は、第５の実施の形態における処理の流れを示すフローチャートである。
【図２１】図２１は、第６の実施の形態に係る画像処理装置の機能を備える撮像装置の構成を示すブロック図である。
【図２２】図２２Ａおよび図２２Ｂは、第６の実施の形態における表示態様を示す図である。
【図２３】図２３は、第６の実施の形態における処理の流れを示すフローチャートである。
【図２４】図２４は、第７の実施の形態に係る画像処理装置の機能を備える撮像装置の構成を示すブロック図である。
【図２５】図２５Ａおよび図２５Ｂは、第７の実施の形態における表示態様を示す図である。
【図２６】図２６は、第７の実施の形態における処理の流れを示すフローチャートである。
【図２７】図２７は、第７の実施の形態に係る画像処理装置の機能を備える撮像装置の構成を示すブロック図である。
【図２８】図２８Ａおよび図２８Ｂは、第８の実施の形態における画像切り出しを説明する図であり、図２８Ｃは、構図決定に用いられるヒストグラムを示す図である。
【図２９】図２９Ａ、図２９Ｂおよび図２９Ｃは、第８の実施の形態における画像切り出しの第２の例について説明する図である。
【図３０】図３０は、第８の実施の形態における処理の流れを示すフローチャートである。
【図３１】図３１は、第９の実施の形態に係る画像処理装置の機能を備える撮像装置の構成を示すブロック図である。
【図３２】図３２Ａ乃至図３３Ｄは、第９の実施の形態において絞りブラケット撮影により取得された画像を示す図である。
【図３３】図３３Ａ乃至図３３Ｄは、第９の実施の形態において絞りブラケット撮影により取得された画像の第２の例を示す図である。
【図３４】図３４は、第９の実施の形態における処理の流れを示すフローチャートである。
【図３５】図３５は、第１０の実施の形態に係る画像処理装置の機能を備える撮像装置の構成を示すブロック図である。
【図３６】図３６Ａおよび図３６Ｂは、第１０の実施の形態において画像処理が施された画像の例を示す図である。
【図３７】図３７は、第１０の実施の形態における処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１．画像処理装置および画像処理装置を備える撮像装置の構成］
［１−２．画像処理装置および撮像装置における処理］
＜２．第２の実施の形態＞
［２−１．画像処理装置および画像処理装置を備える撮像装置の構成］
［２−２．画像処理装置および撮像装置における処理］
＜３．第３の実施の形態＞
［３−１．画像処理装置および画像処理装置を備える撮像装置の構成］
［３−２．画像処理装置および撮像装置における処理］
＜４．第４の実施の形態＞
［４−１．画像処理装置および画像処理装置を備える撮像装置の構成］
［４−２．画像処理装置および撮像装置における処理］
＜５．第５の実施の形態＞
［５−１．画像処理装置および画像処理装置を備える撮像装置の構成］
［５−２．画像処理装置および撮像装置における処理］
＜６．第６の実施の形態＞
［６−１．画像処理装置および画像処理装置を備える撮像装置の構成］
［６−２．画像処理装置および撮像装置における処理］
＜７．第７の実施の形態＞
［７−１．画像処理装置および画像処理装置を備える撮像装置の構成］
［７−２．画像処理装置および撮像装置における処理］
＜８．第１の実施の形態＞
［８−１．画像処理装置および画像処理装置を備える撮像装置の構成］
［８−２．画像処理装置および撮像装置における処理］
＜９．第１の実施の形態＞
［９−１．画像処理装置および画像処理装置を備える撮像装置の構成］
［９−２．画像処理装置および撮像装置における処理］
＜１０．第１０の実施の形態＞
［１０−１．画像処理装置および画像処理装置を備える撮像装置の構成］
［１０−２．画像処理装置および撮像装置における処理］
＜１１．変形例＞
【００１３】
＜１．第１の実施の形態＞
［１−１．画像処理装置および画像処理装置を備える撮像装置の構成］
まず、第１の実施の形態に係る画像処理装置１および画像処理装置１の機能を備える撮像装置１１００の構成について説明する。図１は画像処理装置１の構成を示すブロック図である。
【００１４】
画像処理装置１は、注目領域決定部１１、ぼけ情報取得部１２およびぼけ関連処理部１３とから構成されている。画像処理装置１は、例えば、撮像装置において動作するものである。
【００１５】
図２は、画像処理装置１の機能を備える撮像装置１１００の構成を示すブロック図である。撮像装置１１００は、光学撮像系１００１、レンズ制御部１００２、撮像素子１００３、前処理回路１００４、カメラ処理回路１００５、画像メモリ１００６、表示部１００７、入力部１００８、記憶部１００９、制御部１０１０とから構成されている。また、制御部１０１０は、被写体検出部１０１１、フォーカス判定部１０１２および画像処理装置１０を構成する注目領域決定部１１、ぼけ情報取得部１２およびぼけ関連処理部１３として機能する。第１の実施の形態においては、ぼけ関連処理部１３はグラフ作成部１４および表示制御部１５として機能する。
【００１６】
光学撮像系１００１は、被写体からの光を撮像素子１００３に集光するための撮影レンズ、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらはレンズ制御部１００２による制御により駆動される。光学撮像系１００１を介して得られた被写体の光画像は、撮像素子１００３上に結像される。
【００１７】
レンズ制御部１００２は、例えば、レンズ内マイコンであり、制御部１０１０および画像調整部１２からの制御に従い、光学撮像系１００１の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。
【００１８】
撮像素子１００３は、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子１００３から出力されるアナログ撮像信号は前処理回路１００４に出力される。撮像素子１００３としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
【００１９】
前処理回路１００４は、撮像素子１００３から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。これらの処理は、制御部１０１０からの制御に従い行われる。
【００２０】
カメラ処理回路１００５は、前処理回路１００４からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。
【００２１】
画像メモリ１００６は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリである。画像メモリ１００６は、前処理回路１００４およびカメラ処理回路１００５によって所定の処理が施された画像データを一時的に蓄えておくものである。
【００２２】
表示部１００７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部１００７には、撮像中のスルー画、記憶部１００９に記録された撮影済み画像などが表示される。
【００２３】
入力部１００８は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部１００７と一体に構成されたタッチスクリーンなどからなる。入力部１００８に対して入力がなされると、その入力に応じた制御信号が生成されて制御部１０１０に出力される。そして、制御部１０１０はその制御信号に対応した演算処理や制御を行う。
【００２４】
記憶部１００９は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。
【００２５】
制御部１０１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１１００全体の制御を行う。
【００２６】
さらに、制御部１０１０は所定のプログラムを実行することにより、被写体検出部１０１１、フォーカス判定部１０１２および画像処理装置１を構成する注目領域決定部１１、ぼけ情報取得部１２、ぼけ関連処理部１３として機能する。ただし、それらの構成は、プログラムによって実現されるのみでなく、それぞれの機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
【００２７】
なお、第１の実施の形態における画像処理装置１の処理対象はスルー画を構成するフレーム画像である。
【００２８】
被写体検出部１０１１は、処理対象である画像中から被写体を検出するものである。被写体としては例えば、人物の顔などがある。ただし、被写体検出部１０１１により検出されるものは必ずしも人物の顔である必要はなく、検出することができる物体であれば動物、建築物などでもよい。検出方法としては、被写体の形状に基づくテンプレートマッチング、顔の輝度分布に基づくテンプレートマッチング、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いることができる。また、これらの手法を組み合わせて検出の精度を高めるようにしてもよい。
【００２９】
フォーカス判定部１０１２は、画像中において検出された被写体にフォーカスが合っているか否かを判定するものである。被写体にフォーカスが合う要因には、ユーザによるシャッターの半押し、シャッターの全押し、オートフォーカス、コンティニュアスＡＦ（Auto Focus）、マニュアルフォーカスなどがある。フォーカス判定部１０１２による判定結果は注目領域決定部１１に供給される。
【００３０】
注目領域決定部１１は、処理対象となる画像において注目する領域（以下、注目領域と称する。）を決定するものである。注目領域とは、例えば、人物、動植物、建築物など、撮影するユーザがその画像における主たる被写体とするものが存在する領域である。
【００３１】
注目領域決定部１１は、例えば、被写体検出部１０１１により得られる被写体情報に基づいて注目領域を決定する。また、撮像装置１１００によりフォーカスが合っている被写体を注目領域として決定してもよい。また、ユーザからのスルー画上において領域を指定する入力（撮像装置１１００が備えるタッチパネル、各種ボタンなどに対する入力）に基づいて注目領域を決定するようにしてもよい。さらに、画像中において、より中心に近い被写体を注目領域として決定してもよい。さらに、画像中において、サイズが所定サイズ以上の被写体を注目領域として決定するようにしてもよい。
【００３２】
注目領域決定部１１により決定された画像中の注目領域を示す情報は、ぼけ情報取得部１２に供給される。ぼけ情報取得部１２は、画像中における注目領域外の領域（以下、注目外領域と称する。）におけるぼけ情報を取得するものである。
【００３３】
ぼけ情報としては、ぼけ量とぼけ予測量とがある。ぼけ量は、撮像装置１１００において注目領域にフォーカスが合っている状態における被写界深度、位相差測距情報に基づいて取得することができる。ぼけ量の値が大きいほど画像におけるぼけ具合が大きいということとなる。
【００３４】
ぼけ予測量は、注目領域に対してフォーカスを合わせたと仮定した際に、注目外領域がどれだけぼけているかを示すものである。ここで図３を参照してぼけ情報としてのぼけ予測量について説明する。注目領域の結像位置をＡとし、注目外領域の結像位置をＢとすると、焦点深度をｄとして、ぼけ予測量は、下記の式（１）で表すことができる。
ぼけ予測量＝（Ａ−Ｂ）／ｄ・・・・（１）
【００３５】
この式（１）では、注目領域と背景領域のデフォーカス量（Ａ−Ｂ）が求まっていれば良いため、実際に注目領域に結像している必要はなく、コントラスト検出方式や位相差方式といった各種のＡＦ方式、及びＡＦセンサなどから得ることができる。ぼけ予測量の値が大きいほど画像におけるぼけ具合が大きくなるであろうということとなる。
【００３６】
なお、注目領域と注目外領域は必ずしも一様な距離の領域でなくともよく、例えば一定のデフォーカス量毎に分類して扱ったり、ＸＹ平面上で近傍の領域毎に平均して扱ったり、最も広い同一距離のエリアを代表値として扱う、といった形で求めて扱ってもよい。
【００３７】
また、焦点深度は許容錯乱円δを元に定めるが、δは鑑賞サイズによって異なるものである。そのため、あらかじめユーザが選択しておく（Ａ３／Ａ４／Ｌ版印刷、もしくは画面サイズ何インチ相当など）、画像の記録画素数によって自動的に選択するといった方法で基準を定めてもよい。さらに、トリミングを行う場合にはそのトリミング量に応じて係数を掛けることで適切な単位で扱うことができる。
【００３８】
ぼけ情報取得部１２により得られたぼけ情報は、ぼけ関連処理部１３に供給される。ぼけ関連処理部１３は、ぼけ情報に応じた各種処理を行うものである。第１の実施の形態においては、ぼけ関連処理部１３はグラフ作成部１４および表示制御部１５として機能する。ぼけ関連処理部１３は、ぼけ情報を示すグラフを撮像装置１１００が備える表示部１００７に表示させることにより、ユーザに対してぼけ情報の提示を行う。
【００３９】
グラフ作成部１４は、ぼけ情報取得部１２から供給されたぼけ情報に基づいてぼけ情報を示すグラフを作成する。
【００４０】
表示制御部１５は、グラフ作成部１４により生成されたグラフを撮像装置１１００の表示部１００７において、画像上に重畳して表示させる表示制御を行うものである。
【００４１】
図４は、グラフ作成部１４により生成され、表示部１００７に表示されるグラフの態様の第１の例である。この例においては、表示部１００７に表示されるスルー画に重畳して表示される棒グラフによりぼけ情報としてのぼけ量が提示されている。
【００４２】
ぼけ量と棒グラフの高さを対応させており、ぼけ量が多い場合には棒グラフは高くなり、ぼけ量が少ない場合には棒グラフは低くなる。また、ユーザにわかりやすいように棒グラフの高さに応じて棒グラフの色が変化するようにしてもよい。なお、ぼけ量の提示は棒グラフに限られるものではなく、円グラフなどあってもよい。
【００４３】
図４Ａの例においては、人物が注目領域であり、人物以外の背景が注目外領域である。注目外領域はあまりぼけていない。よって、ぼけ量は少ないということであり、画面左に表示されている棒グラフは低くなっている。
【００４４】
一方、図４Ｂの例では、人物が注目領域であり、人物以外の背景が注目外領域であり、注目外領域はぼけている。よって、ぼけ量は多いということであり、棒グラフは高くなっている。
【００４５】
このようにぼけ情報を視覚的に提示することにより、ユーザは、現在、注目外領域がどのくらいぼけているのかを的確に把握することが可能となる。なお、ぼけ情報取得部１２は撮影中にぼけ量の取得を継続して行い、ぼけ関連処理部は、ぼけ情報取得部１２により常時取得されるぼけ量に基づいてリアルタイムでぼけ量のグラフ表示を変化させるようにするとよい。
【００４６】
図５は、ぼけ量のグラフ表示の第２の例を示す図である。図５においては、ぼけ量ではなく、ぼけ予測量に基づいてグラフ表示が行われる。図５の棒グラフでは、棒グラフの高さで、現在の注目領域、焦点距離、レンズの開放Ｆ値により実現可能なぼけ量の範囲を示す。また、棒グラフ状に重畳して表示するマークにより、現在のＦ値におけるぼけ予測量を示す。
【００４７】
図６は、グラフ作成部１４により生成され、表示部１００７に表示されるグラフの第３の例である。第３の例においては、グラフ作成部１４は、ぼけ情報取得部１２から供給されたぼけ予測量のヒストグラムを作成する。ヒストグラムは、横軸をぼけ量またはぼけ予測量の大きさとしている。左から右へいくにつれてぼけ量またはぼけ予測量は大きくなっていく。また、ヒストグラムの縦軸は、画像中のぼけている領域とぼけていない領域の面積比としている。ヒストグラムでぼけ情報を提示することにより、より詳細な情報をユーザに提示することができる。
【００４８】
以上のようにして第１の実施の形態に係る画像処理装置１０および画像処理装置１０の機能を有する撮像装置１１００が構成されている。
【００４９】
［１−２．画像処理装置および撮像装置における処理］
次に画像処理装置１０および撮像装置１１００において行われる処理の流れについて図７を参照して説明する。図７は処理の流れを示すフローチャートである。処理対象の画像データは制御部１０１０および画像処理装置１に供給されており、さらに、焦点距離およびＦ値は取得されているものとする。
【００５０】
まずステップＳ１０１で、撮像装置１１００においてＡＦ起動処理が行われる。ＡＦ起動処理は、入力部１００８の一つであるシャッター半押し操作、タッチパネルへのタッチ操作、被写体変化の検出による自動起動など種々の方法で実行されるものである。また、位相差センサのように常時距離情報を取得することができるものに関しては、具体的なユーザからの入力操作がなくても常時ＡＦ機能が動作しているようにしてもよい。ＡＦ起動処理がなされると、所定の制御信号が画像処理装置１に供給され、制御部１０１０および画像処理装置１による処理が開始される。
【００５１】
次にステップＳ１０２で、被写体検出部１０１１により画像中の被写体の検出が行われる。次にステップＳ１０３で、注目領域決定部１１により、画像中における注目領域と注目外領域とが決定される。上述したように注目領域とは例えば、人物であり、注目外領域は画像中において注目領域である人物以外の領域である背景などである。
【００５２】
次にステップＳ１０４で、フォーカス判定部１０１２により、注目領域にフォーカスが合っているか否かが判定される。フォーカス判定部１０１２による判定結果はぼけ情報取得部１２に供給される。次に、ステップＳ１０５においてぼけ情報取得部１２により画像におけるぼけ量またはぼけ予測量の取得が行われる。次にステップＳ１０６で、グラフ作成部１４により、ぼけ情報を示すグラフが生成される。そしてステップＳ１０６において、表示制御部１５により、グラフが表示部１００７においてスルー画上に重畳して表示される。
【００５３】
以上のようにして本技術の第１の実施の形態が構成されている。第１の実施の形態によれば、撮影により取得しようとする画像のぼけ度合いを種々の態様でわかりやすくユーザに提示することができる。これによりユーザは、撮像装置１１００の表示部１００７のサイズが小さいことなどによりスルー画では画像のぼけ具合がわかりにくい場合であっても、ぼけ具合を容易に把握することができる。
【００５４】
＜２．第２の実施の形態＞
［２−１．画像処理装置および画像処理装置を備える撮像装置の構成］
次に本技術の第２の実施の形態について説明する。第２の実施の形態においても、画像処理装置２は撮像装置１２００において動作する。図８は第２の実施の形態に係る画像処理装置２の機能を備える撮像装置１２００の構成を示すブロック図である。
【００５５】
第２の実施の形態に係る画像処理装置２は、ぼけ関連処理部２３が拡大処理部２４、表示制御部２５として機能する点で第１の実施の形態と異なる。それ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
【００５６】
第２の実施の形態における画像処理装置２の処理対象はスルー画を構成するフレーム画像である。第２の実施の形態は、画像の一部を拡大表示することにより画像のぼけ具合をわかりやすくユーザに提示するものである。
【００５７】
拡大処理部２４は、画像中における注目領域と注目外領域との両方が含まれる範囲を拡大した画像を生成するものである。例えば、スルー画が図９Ａに示される状態である場合、その画像の注目領域と注目外領域との両方が含まれる範囲を図９Ｂに示されるように拡大する。拡大範囲は、注目領域と注目外領域とのぼけ具合の差がわかりやすいように、例えば、拡大範囲内において注目領域と注目外領域の占める割合がほぼ同等となるように設定するとよい。ただし、拡大範囲の設定手法はこれに限られるものではない。
【００５８】
表示制御部２５は、図９Ｂに示されるように、拡大処理部により拡大された画像をスルー画上に重畳して表示する。また、切り出した拡大画像を図９Ｃに示されるように表示部１００７に全画面表示してもよい。さらに、図９Ｂに示されるようにスルー画上に拡大画像を重畳表示し、その拡大画像に対する入力（タッチパネルへの指の接触など）が合った場合に、図９Ｃに示されるように拡大画像を表示部１００７に全画面表示してもよい。
【００５９】
この拡大表示は、撮像装置１２００のＡＦ動作完了後に一定時間表示するようにするとよい。なお、このぼけ関連処理部２３は、ぼけ情報取得部１２により得られるぼけ予測量が所定量以上であるか否かを判定し、ぼけ予測量が所定量以上である場合に、拡大処理部２４と表示制御部２５に上述の拡大および表示処理を実行させる。
【００６０】
［２−２．画像処理装置および撮像装置における処理］
次に画像処理装置２および撮像装置１２００において行われる処理の流れについて図１０を参照して説明する。図１０は、処理の流れを示すフローチャートである。処理対象の画像データは供給されており、さらに、焦点距離およびＦ値が取得されているものとする。なお、第１の実施の形態と同様の処理について同一のステップ番号を付して説明を省略する。
【００６１】
ステップＳ１０１乃至ステップＳ１０５でＡＦ起動処理後に被写体検出、注目領域決定、フォーカス判定、ぼけ情報取得が行われた後、ステップＳ２０１で、拡大処理部２４により画像拡大処理が行われる。そしてステップＳ２０２で、表示制御部２５により、拡大画像がスルー画上に重畳表示される。
【００６２】
以上のようにして本技術の第２の実施の形態が構成されている。第２の実施の形態は、画像中における注目領域と注目外領域との両方が入るように画像の一部拡大表示するため、ユーザは画像のぼけ具合をより正確に把握することができる。
【００６３】
＜３．第３の実施の形態＞
［３−１．画像処理装置および画像処理装置を備える撮像装置の構成］
次に本技術の第３の実施の形態について説明する。第３の実施の形態においても、画像処理装置３は撮像装置１３００において動作する。図１１は第３の実施の形態に係る画像処理装置３の機能を備える撮像装置１３００の構成を示すブロック図である。
【００６４】
第１１の実施の形態に係る画像処理装置３はぼけ関連処理部３３がぼけ量調整部３４および表示制御部３５として機能する点で第１の実施の形態と異なる。それ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
【００６５】
第３の実施の形態における画像処理装置３の処理対象はスルー画を構成するフレーム画像である。第３の実施の形態は、ぼけ量調整部３４によるぼけ量調整機能を自動で起動させ、さらにぼけ調整用ユーザインターフェースを自動で表示させるものである。
【００６６】
ぼけ量調整部３４は、ユーザからの入力部１００８に対する入力に応じて撮像装置１３００のレンズ制御部１００２に所定の制御信号を送信することにより、レンズの絞りを調整して注目外領域のぼけ量を変化させるものである。
【００６７】
ユーザの入力に応じてぼけ量調整部３４により画像のぼけ量を調整する場合、ユーザが入力を行いやすいように表示制御部３５により表示部１００７においてぼけ調整用ユーザインターフェースが表示される。
【００６８】
焦点距離およびＦ値が得られ、さらにＦ値を変更することによりぼけ予測量の調整可能範囲が所定量以上である場合、ぼけ関連処理部は、ぼけ量調整部によるぼけ量調整機能を自動で起動させる。そして表示制御部３５は、ぼけ量調整機能のユーザインターフェースを表示部１００７に表示させる。
【００６９】
図１２は、ぼけ量調整機能のユーザインターフェースが表示部１００７に表示された状態を示す図である。図１２の例においては、ユーザの操作により縦方向に移動可能なポインター２００が表示されている。ポインター２００の位置は画像のぼけ量に連動するものである。
【００７０】
ポインター２００の位置によって画像のぼけ量が変化する。そのポインター２００の移動経路を示すバー２１０の上端には注目外領域をぼけさせずくっきりと写すように「くっきり」の文字とともにアイコンが表示されている。さらに、そのポインター２００の移動経路であるバー２１０の下端には注目外領域をぼけさせて写すように「ぼかす」の文字とともにアイコンが表示されている。ユーザがポインター２００を上に移動さると絞りが小さくなり、注目外領域はぼけ量が少ないくっきりとしたものになる。一方、ユーザがポインター２００を下に移動させると、絞りが大きくなり、注目外領域はぼけ量が多いぼけたものとなる。
【００７１】
図１２Ａにおいては、ポインター２００は上方向のくっきり側に位置しているため、画像はそれほどぼけてはいない。一方、図１２Ｂにおいては、ポインター２００が下方向のぼかす側に位置しているため、画像のぼけ量が多くなっている。
【００７２】
なお、図１３Ａに示されるようにお勧めのぼけ量を示すポジションを表示し、そのポジションにポインター２００を移動させるようにユーザを誘導するために、矢印の表示、ポジションの点滅、アニメーション表示などを行なってもよい。これにより、ぼけコントロールの機能を理解していないユーザでも容易に画像をぼけさせることができる。
【００７３】
また、図１３Ｂに示されるように、ぼけコントロールで調整可能な範囲以外を塗りつぶし、現在のぼけコントロールの調整度合いが限界に達した場合には、一定時間ポインター２００を点滅させつつ、ヒント（Tips）を表示するようにしてもよい。図１３Ｂの例においては、画像のぼけ具合を強調させるヒントが表示されている。
【００７４】
なお、ぼけコントロール機能のユーザインターフェースの態様は図１２、図１３に示されるものに限られるものではない。画像のぼけ量を調整することができるインターフェースであればどのようなものを採用してもよい。
【００７５】
［３−２．画像処理装置および撮像装置における処理］
次に画像処理装置３および撮像装置１３００において行われる処理の流れについて図１４を参照して説明する。図１４は、処理の流れを示すフローチャートである。処理対象の画像データは供給されており、さらに、焦点距離およびＦ値が取得されているものとする。なお、第１の実施の形態と同様の処理について同一のステップ番号を付して説明を省略する。
【００７６】
ステップＳ１０１乃至ステップＳ１０５でＡＦ起動処理後に被写体検出、注目領域決定、フォーカス判定、ぼけ情報取得が行われた後、ステップＳ３０１で、ぼけ関連処理部３３は、ぼけ量調整部３４によるぼけ量調整機能を自動で起動させる。なお、上述したように、ぼけ量調整機能は、Ｆ値を変更することによりぼけ予測量の調整可能範囲が所定量以上である場合に自動的に起動するようにするとよい。次にステップＳ３０２で、表示制御部３５は、ぼけ量調整機能のユーザインターフェースを表示部１００７に表示させる。
【００７７】
以上のようにして本技術の第３の実施の形態が構成されている。第３の実施の形態によれば、ぼけ量調整機能を自動で起動させることにより、ユーザ自身にユーザにぼけ具合の調整を容易に行わせることができる。また、ぼけ量調整機能の存在を知らないユーザ、ぼけ量調整機能を知っていても使用頻度が低いユーザなどにぼけ量調整機能の利用を促すことができる。
【００７８】
＜４．第４の実施の形態＞
［４−１．画像処理装置および画像処理装置を備える撮像装置の構成］
次に本技術の第４の実施の形態について説明する。第４の実施の形態においても、画像処理装置４は撮像装置１４００において動作する。図１５は第４の実施の形態に係る画像処理装置４の機能を備える撮像装置１４００の構成を示すブロック図である。
【００７９】
第４の実施の形態は、ぼけ関連処理部４３が画像処理部４４、表示制御部４５およびぼけ量調整部４６として機能する点で第１の実施の形態と異なる。それ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
【００８０】
第４の実施の形態における画像処理装置４の処理対象はスルー画を構成するフレーム画像である。第４の実施の形態は、ぼけ量を調整した画像を表示部１００７に表示させることにより、ぼけた画像がどのようなものであるかをユーザに提示するものである。
【００８１】
ぼけ情報取得部１２は、撮像装置１４００の現在の設定によるぼけ予測量と取得するとともに、開放Ｆ値におけるぼけ予測量を取得する。
【００８２】
画像処理部４４は、画像に対してぼかし処理を施すことにより、Ｆ値の開放にした状態のぼけ具合を再現した画像を生成する。画像処理部４４は、現在設定におけるぼけ予測量が所定量以下であり、かつ、開放Ｆ値におけるぼけ予測量が所定量以上である場合、Ｆ値の開放にした状態のぼけ具合を再現した画像を生成する。
【００８３】
ぼけ量調整部４６は、第３の実施の形態におけるものと同様である。
【００８４】
表示制御部４５は、表示部１００７におけるスルー画の表示を図１６Ａの状態から図１６Ｂの状態に遷移させる。図１６Ｂの状態においては、現在の撮像装置１４００の設定において取得される画像と、画像処理部４４によりＦ値の開放にした状態に画像処理が施された画像とを並べて表示されている。図１６Ｂでは左側の画像が現在の画像であり、右側の画像がＦ値の開放にした状態に画像処理が施された画像である。これにより、ユーザは現在の画像（スルー画）と、ぼけ具合が強調された画像とを容易に比較することができる。なお、画像の表示態様は図１６Ｂに示されるものに限られず、縦方向に画像を並べてもよい。また、現在の画像と、画像処理部４４によりぼけ具合に差が出るように処理が施された複数の画像とを表示するようにしてもよい。
【００８５】
そして、ユーザによりいずれかの画像が選択された場合、表示制御部４５は、図１６Ｃに示されるように選択された画像を表示部１００７に全画面表示する。選択方法としては、操作キーによる選択、入力部１００８がタッチパネルである場合にはいずれかの画像に指を接触させるなどの方法がある。
【００８６】
選択された画像を表示部１００７に全画面表示する際、表示制御部４５は、ぼけ量調整部４６によるぼけ量調整機能のユーザインターフェースを表示部１００７に表示するようにしてもよい。これにより、ユーザは容易に選択した画像を撮影により取得することができる。また、ぼけ量調整機能を自動で起動させることにより、ユーザは、選択した画像の状態からさらに自らの好みに合うようにぼけ量の調整を行うことができる。
【００８７】
なお、図１６Ｂに示されるように複数の画像が表示されている状態でユーザによりいずれかの画像が選択された場合、その画像を自動撮影により取得するようにしてもよい。これにより、ぼけコントロールの操作がわからないユーザでもぼけた画像を撮影することができる。
【００８８】
［４−２．画像処理装置および撮像装置における処理］
次に画像処理装置４および撮像装置１４００において行われる処理の流れについて図１７を参照して説明する。図１７は処理の流れを示すフローチャートである。処理対象の画像データは供給されており、さらに、焦点距離およびＦ値が取得されているものとする。なお、第１の実施の形態と同様の処理について同一のステップ番号を付して説明を省略する。
【００８９】
ステップＳ１０１乃至ステップＳ１０５でＡＦ起動処理後に被写体検出、注目領域決定、フォーカス判定、ぼけ情報取得が行われた後、ステップＳ４０１で、画像処理部４４により、Ｆ値の開放にした状態に画像処理が施された画像が生成される。
【００９０】
そしてステップＳ４０２で、現在の撮像装置１４００の設定において取得される画像と、画像処理部４４によりＦ値の開放にした状態に処理が施された画像とが表示制御部４５により表示部１００７に表示される。
【００９１】
以上のようにして本技術の第４の実施の形態が構成されている。第４の実施の形態によれば、ユーザは現在の画像と、ぼけ具合が強調された画像とを容易に比較することができる。これにより、ぼけさせた画像を撮影により取得したほうがよいかなどを容易に判断することができる。
【００９２】
＜５．第５の実施の形態＞
［５−１．画像処理装置および画像処理装置を備える撮像装置の構成］
次に本技術の第５の実施の形態について説明する。第５の実施の形態においても、画像処理装置５は撮像装置１５００において動作する。図１８は第５の実施の形態に係る画像処理装置５の機能を備える撮像装置１５００の構成を示すブロック図である。
【００９３】
第５の実施の形態に係る画像処理装置５は、ぼけ関連処理部５３が構図判定部５４、推奨ぼけ量決定部５５、表示制御部５６として機能する点で第１の実施の形態と異なる。それ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
【００９４】
第５の実施の形態における画像処理装置５の処理対象はスルー画を構成するフレーム画像である。第５の実施の形態は、画像における構図を判定し、その構図において推奨されるぼけ量に応じて画像にマスク（ゼブラ）表示処理を施すものである。
【００９５】
構図判定部５４は、画像が所定の構図に一致するものであるか否かを判定するものである。構図判定部５４は、予め、構図判定のためのアルゴリズムを複数有し、それら複数の構図判定アルゴリズムに基づいて構図判定処理を実行する。
【００９６】
構図判定部５４は例えば、人物などの被写体の位置、人物のサイズ、顔のサイズなどに基づいて画像が全身ショット、バストショット、顔のアップなどの構図を有するものであるかを判定する。また、所定の構図テンプレートに基づいて、画像が３分割構図、４分割構図、日の丸構図、対角構図などの構図に該当するか否かを判定する。構図判定部５４による判定結果は推奨ぼけ量決定部５５に供給される。
【００９７】
推奨ぼけ量決定部５５は、構図判定部５４により判定された画像の構図に対応した推奨ぼけ量を決定する。この推奨ぼけ量は、構図ごとに対応したその構図におけるおすすめのぼけ量である。推奨ぼけ量は、例えば、構図と推奨ぼけ量とが対応付けられたテーブルを参照することにより求められる。
【００９８】
例えば、図１９Ａに示されるように、構図判定部により画像が３分割構図であると判定された場合、奨ぼけ量決定部５５はその構図に対応した推奨ぼけ量を決定する。
【００９９】
そして、表示制御部５６は、推奨ぼけ量と、ぼけ予測量との差が所定の範囲内である場合、図１９Ｂに示されるように画像が推奨ぼけ量を有する状態となるように画像上にマスクを重畳表示する。これにより、ユーザは、画像が推奨ぼけ量を有する状態を容易に把握することができる。
【０１００】
［５−２．画像処理装置および撮像装置における処理］
次に画像処理装置５および撮像装置１５００において行われる処理の流れについて図２０を参照して説明する。図２０は処理の流れを示すフローチャートである。処理対象の画像データは供給されており、さらに、焦点距離およびＦ値が取得されているものとする。なお、第１の実施の形態と同様の処理について同一のステップ番号を付して説明を省略する。
【０１０１】
ステップＳ１０１乃至ステップＳ１０５でＡＦ起動処理後に被写体検出、注目領域決定、フォーカス判定、ぼけ情報取得が行われた後、ステップＳ５０１で、構図判定部５４により現在の画像の構図が判定される。次にステップＳ５０２で、推奨ぼけ量決定部５５により、判定された構図の推奨ぼけ量が決定される。
【０１０２】
そしてステップＳ５０３において、推奨ぼけ量と、ぼけ予測量との差が所定の範囲内である場合、表示制御部５６により画像が推奨ぼけ量を有する状態となるように画像上にマスクが重畳表示される。
【０１０３】
以上のようにして本技術の第５の実施の形態が構成されている。第５の実施の形態によれば、マスク表示により画像のぼけ量を強調することができるので、ユーザは容易にぼけ量が大きい画像がどのようなものかを把握することができる。
【０１０４】
＜６．第６の実施の形態＞
［６−１．画像処理装置および画像処理装置を備える撮像装置の構成］
次に本技術の第６の実施の形態について説明する。第６の実施の形態において、画像処理装置６は撮像装置１６００において動作する。図２１は第６の実施の形態に係る画像処理装置６の機能を備える撮像装置１６００の構成を示すブロック図である。
【０１０５】
第６の実施の形態に係る画像処理装置６は、ぼけ関連処理部６３が推奨構図決定部６４、グラフ作成部６５、表示制御部６６および画像切り出し部６７として機能する点で第１の実施の形態と異なる。それ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
【０１０６】
第６の実施の形態における画像処理装置６の処理対象はスルー画を構成するフレーム画像である。第６の実施の形態は、画像処理装置６が画像中において推奨する構図におけるぼけ情報をヒストグラムでユーザに提示するものである。
【０１０７】
推奨構図決定部６４は、画像中から構図を検出のためのアルゴリズムを複数有し、それら複数の構図検出アルゴリズムに基づいて構図検出処理を実行する。
【０１０８】
推奨構図決定部６４は例えば、人物などの被写体の位置、人物のサイズ、顔のサイズなどに基づいて画像が全身ショット、バストショット、顔のアップなどの構図が含まれているかを判定する。また、所定の構図テンプレートに基づいて、画像が３分割構図、４分割構図、日の丸構図、対角構図などの構図が含まれているか否かを判定する。そして、各構図における被写体の位置、大きさなどに基づいておすすめの構図（以下、推奨構図と称する。）を決定する。
【０１０９】
ぼけ情報取得部１２は、画像全体のぼけ予測量を取得するとともに、推奨構図決定部６４により決定された推奨構図中における注目外領域のぼけ予測量を算出する。算出されたぼけ予測量は、グラフ作成部６５に供給される。
【０１１０】
グラフ作成部６５は、第１の実施の形態におけるものと同様のものであり、供給されたぼけ情報を示すヒストグラムを作成する。表示制御部６６は、グラフ作成部により作成されたヒストグラムを表示に表示させる。
【０１１１】
表示制御部６６は、例えば、図２２Ａに示されるように、そのぼけ予測量を表示部１００７にヒストグラムとして画像上に重畳して表示させる。なお、ぼけ予測量をヒストグラムで表示する際に、図２２Ａに示されるようにヒストグラムと共に、推奨構図を示す枠を表示するとよい。これにより、ユーザは推奨構図の位置、サイズを容易に把握することができる。
【０１１２】
また、ヒストグラムを表示する際、図２２Ｂに示されるように推奨構図におけるぼけ予測量を示すヒストグラムと、画像全体におけるぼけ予測量を示すヒストグラムを共に表示するようにしてもよい。図２２Ｂにおいては、表示の一例として、実線が画像全体のぼけ予測量を示しており、破線が推奨構図におけるぼけ予測量を示している。このように表示することにより、ユーザは画像全体のぼけ予測量と推奨構図のぼけ予測量とを容易に比較することができる。
【０１１３】
画像切り出し部６７は、画像から推奨構図決定部６４により決定された推奨構図の範囲を切り出す処理（トリミング）を行うものである。画像切り出し部による切り出しにより、画像をよりよい構図のものにすることができる。
【０１１４】
［６−２．画像処理装置および撮像装置における処理］
次に画像処理装置６および撮像装置１６００において行われる処理の流れについて図２３を参照して説明する。図２３は、処理の流れを示すフローチャートである。処理対象の画像データは供給されており、さらに、焦点距離およびＦ値が取得されているものとする。なお、第１の実施の形態と同様の処理について同一のステップ番号を付して説明を省略する。
【０１１５】
ステップＳ１０１乃至ステップＳ１０４でＡＦ起動処理後に被写体検出、注目領域決定、フォーカス判定が行われた後、ステップＳ１０５でぼけ情報取得部１２により、画像全体における注目外領域のぼけ予測量が取得される。
【０１１６】
次にステップＳ６０１で、推奨構図決定部６４により推奨構図が決定される。次にステップＳ６０２で、ぼけ情報取得部１２により、推奨構図中における注目外領域のぼけ予測量が取得される。そしてステップ６０３において、グラフ作成部によりぼけ情報を示すヒストグラムが作成される。そしてステップＳ６０４で、表示制御部６６により、図２２に示されるように、表示部１００７におけるヒストグラムの表示が行われる。
【０１１７】
次にステップＳ６０５で、画像切り出し部６７により、画像から推奨構図の範囲が切り出され、トリミング画像が生成される。なお、画像切り出し部６７による画像の切り出しは、推奨構図決定部６４により推奨構図が決定された場合に自動で行われるようにしてもよいし、ユーザからの画像切り出しの指示入力があった場合にのみ行うようにしてもよい。
【０１１８】
以上のようにして本技術の第６の実施の形態が構成されている。第６の実施の形態は、ユーザに推奨構図を提示しながらその推奨構図におけるぼけ予測量をヒストグラムで提示するので、ユーザは、推奨構図において画像のぼけ具合がどのようになるかを容易に理解することができる。
【０１１９】
＜７．第７の実施の形態＞
［７−１．画像処理装置および画像処理装置を備える撮像装置の構成］
次に本技術の第７の実施の形態について説明する。第７の実施の形態において、画像処理装置７は撮像装置１７００において動作する。図２４は第７の実施の形態に係る画像処理装置７の機能を備える撮像装置１７００の構成を示すブロック図である。
【０１２０】
第７の実施の形態に係る画像処理装置７は、ぼけ関連処理部７３が推奨構図決定部７４、推奨ぼけ量決定部７５、グラフ作成部７６、表示制御部７７、画像切り出し部７８として機能する。
【０１２１】
第７の実施の形態における画像処理装置７の処理対象はスルー画を構成するフレーム画像である。第７の実施の形態は、推奨構図における推奨ぼけ量、推奨構図におけるぼけ予測量をグラフ表示によりユーザに提示するものである。
【０１２２】
推奨構図決定部７４は、第６の実施の形態におけるものと同様であり、画像中からおすすめの構図である推奨構図を決定する。推奨構図決定部７４の判定結果は推奨ぼけ量決定部７５に供給されるとともに、ぼけ情報取得部１２にも供給される。ぼけ情報取得部１２は、画像全体におけるぼけ予測量を取得するとともに、推奨構図におけるぼけ予測量も取得する。
【０１２３】
推奨ぼけ量決定部７５は、推奨構図決定部７４により決定された推奨構図に対応した推奨ぼけ量を決定する。この推奨ぼけ量は、構図ごとに対応した、その構図におけるおすすめのぼけ量である。推奨ぼけ量は、例えば、構図と推奨ぼけ量とが対応付けられたテーブルを参照することにより求められる。
【０１２４】
第７の実施の形態においては、まず、推奨構図決定部７４により、画像中における推奨構図が決定される。次に推奨ぼけ量決定部７５が、その推奨構図における推奨ぼけ量を決定する。例えば、決定された推奨構図が注目領域である人物の全身が写ったいわゆる全身ショットである場合、推奨ぼけ量決定部７５は、注目外領域のぼけ予測量は小さいほうがよい（ぼけ予測量＜第１ぼけ閾値）という推奨ぼけ量を決定する。
【０１２５】
また、決定された推奨構図が、注目領域である人物の顔のアップである場合、推奨ぼけ量決定部７５は、注目外領域のぼけ量は大きいほうがよい（第３ぼけ閾値＜ぼけ量）という推奨ぼけ量を決定する。
【０１２６】
さらに、決定された推奨構図が注目領域である人物のいわゆるバストショットである場合、推奨ぼけ量決定部は、注目外領域のぼけ量は全身ショットと顔のアップの間程度がよい（第２ぼけ量閾値＜ぼけ量＜第３ぼけ閾値）という推奨ぼけ量を決定する。なお、第１ぼけ閾値、第２ぼけ閾値、第３ぼけ閾値の関係は、下記の式１に示すようになっている。
【０１２７】
第１ぼけ閾値＜第２ぼけ閾値＜第３ぼけ閾値・・・・（１）
【０１２８】
決定された推奨構図および推奨ぼけ量はグラフ作成部７６に供給される。グラフ作成部７６は、図２５に示されるようなグラフを作成する。図２５のグラフの例においては、棒グラフの高さで、現在の注目領域、焦点距離、レンズの開放Ｆ値により実現可能なぼけ量の範囲が示されている。また、棒グラフ状に重畳して表示するマークにより、現在のＦ値におけるぼけ予測量が示されている。
【０１２９】
さらに、棒グラフ上において範囲を示す枠を表示することにより該当構図における推奨ぼけ量が示されている。この推奨ぼけ量は、枠で表示することにより、推奨するぼけ量の範囲を提示することができる。また、アイコンにより、画像を推奨構図でトリミングした場合におけるぼけ予測量を提示する。これにより、ユーザは、写真をどのような構図で撮影することにより、どのようなぼけ量を有する写真を取得することができるかを容易に把握することができる。さらに、アイコンで、画像全体におけるぼけ予測量を提示するようにしてもよい。
【０１３０】
また、図２５Ｂに示されるように、推奨ぼけ量が実現可能なぼけ量の範囲外である場合には、どのようにすればぼけ量が多くなるかのヒント（Tips）を文字列などにより表示してもよい。
【０１３１】
画像切り出し部７８は、画像から推奨構図決定部７４により決定された推奨構図の範囲を切り出す処理（トリミング）を行うものである。画像切り出し部７８による切り出しにより、画像をよりよい構図のものにすることができる。
【０１３２】
［７−２．画像処理装置および撮像装置における処理］
次に画像処理装置７および撮像装置１７００において行われる処理の流れについて図２６を参照して説明する。図２６は、処理の流れを示すフローチャートである。処理対象の画像データは供給されており、さらに、焦点距離およびＦ値が取得されているものとする。なお、第１の実施の形態と同様の処理について同一のステップ番号を付して説明を省略する。
【０１３３】
ステップＳ１０１乃至ステップＳ１０５でＡＦ起動処理後に被写体検出、注目領域決定、フォーカス判定、ぼけ情報取得が行われた後、ステップＳ７０１で、推奨構図決定部７４により推奨構図が決定される。次にステップＳ７０２で、ぼけ情報取得部１２により、推奨構図におけるぼけ予測量が取得される。
【０１３４】
次にステップＳ７０３で、推奨ぼけ量決定部７５により、推奨構図における推奨ぼけ量が決定される。次にステップＳ７０４で、グラフ作成部７６によりぼけ予測量、推奨ぼけ量、推奨構図におけるぼけ予測量を提示するためのグラフが作成される。次にステップＳ７０５で、表示制御部７７によりグラフが表示部１００７に表示される。
【０１３５】
そしてステップＳ７０６で、画像切り出し部７８により、画像から推奨構図の範囲が切り出され、トリミング画像が生成される。なお、画像切り出し部７８による画像の切り出しは、推奨構図決定部７４により推奨構図が決定された場合に自動で行われるようにしてもよいし、ユーザからの画像切り出しの指示入力があった場合にのみ行うようにしてもよい。
【０１３６】
以上のようにして本技術の第７の実施の形態が構成されている。第７の実施の形態によれば、グラフ表示により推奨構図における推奨ぼけ量、推奨構図におけるぼけ予測量も提示されるため、ユーザはそれらの情報を参考にして撮影を行うことができる。
【０１３７】
＜８．第８の実施の形態＞
［８−１．画像処理装置および画像処理装置を備える撮像装置の構成］
次に本技術の第８の実施の形態について説明する。第８の実施の形態においても、画像処理装置８は撮像装置１８００において動作する。図２７は第８の実施の形態に係る画像処理装置８の機能を備える撮像装置１８００の構成を示すブロック図である。
【０１３８】
第８の実施の形態に係る画像処理装置８は、ぼけ関連処理部８３が、切り出し範囲決定部８４、推奨ぼけ量決定部８５、画像切り出し部８６、表示制御部８７および拡大処理部８８として機能する点で第１の実施の形態と異なる。それ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
【０１３９】
第８の実施の形態における画像処理装置８の処理対象は撮像装置による撮影で取得された撮影済みの画像である。第８の実施の形態は、画像中のぼけ情報に応じて画像の切り出し処理（トリミング）を行うものである。
【０１４０】
撮影済みの画像をトリミングすることにより、画像をよりよい構図とすることができる。しかし、切り出し範囲には様々な形状、位置などが存在する。そこで、第８の実施の形態は、ぼけ情報に応じて、画像中のぼけ具合が際立つように切り出し範囲を決定するものである。
【０１４１】
図２８を参照して、３分割構図を例として画像の切り出しについて説明する。まず、切り出し範囲決定部８４は、３分割構図による切り出し範囲の複数の候補を設定する。例えば、画像中において注目外領域がある方向に所定の大きさの空間が形成されるように切り出し範囲の候補を決定することができる。
【０１４２】
図２８Ａに示されるように、例えば、３分割構図であってもそのサイズ、位置には複数な候補が存在する。図２８においてはその候補の例として３つの切り出し範囲が示されている。なお、構図は３分割構図に限られるものではなく、テンプレートとして黄金比構図などのその他の構図データを複数保持しておき、ユーザの選択、その他条件などに基づいて構図を選択するとよい。また、例えば、三分割構図では画像から切り出し範囲がはみ出る場合には、黄金比構図に変更するというように構図を選択するようにしてもよい。
【０１４３】
切り出し範囲決定部８４は切り出し範囲候補を決定すると、構図候補情報をぼけ情報取得部１２および推奨ぼけ量決定部８５に供給する。ぼけ情報取得部１２は、各切り出し範囲候補のぼけ予測量を取得し、切り出し範囲決定部８４に供給する。また、推奨ぼけ量決定部８５は、各切り出し範囲候補における推奨ぼけ量を決定する。推奨ぼけ量決定部８５は第７の実施の形態におけるものと同様のものである。各切り出し範囲候補の推奨ぼけ量は切り出し範囲決定部８４に供給される。
【０１４４】
切り出し範囲決定部８４は、複数の切り出し範囲候補の中から、ぼけ予測量が推奨ぼけ量に最も近くなる構図、切り出し範囲内のぼけ予測量が推奨ぼけ量に最も近くなる位置、注目領域と注目外領域とのぼけ予測量の分離度が最も高い構図、の３つを基準に切り出し範囲を決定する。なお、各基準の重み付けは構図ごとに変更してもよい。
【０１４５】
ぼけ量の分離度が高いか否かは、例えば、図２８Ｃに示されるように、各構図における注目領域と、注目外領域とのぼけ予測量をヒストグラムで表すことにより判断することができる。図２８Ｃの例においては、構図ａ、構図ｂ、構図ｃの中では構図ａが最も注目領域と注目外領域とが分離している。構図ａはトリミング領域が小さいため、拡大すると最もぼけ量が大きくなる。また、構図ａ内はぼけ量の小さい領域(顔の部分)とぼけ量の大きい領域(背景)がはっきりとわかれているので、図２８Ｃのヒストグラムのように急峻な山のような面積になる。構図ｂは、トリミング領域の大きさは構図ａとほぼ同等であるが、ぼけ量の大きい領域側が中〜大の広い範囲のぼけ量まで含まれている。よって、図２８Ｃのヒストグラムで示されるように、なだらかな山のような面積になる。構図ｃは、トリミング領域が大きいため強調されるぼけ量が構図ａ、構図ｂに比べて小さく、横軸の真中あたりに大きいほうのぼけ量の山が存在する。なお、構図ａ、構図ｂ、構図ｃはあくまで説明の便宜上設定した具体例としての構図である。
【０１４６】
よって、構図ａを切り出し範囲として選択し、画像の切り出しを実行すると画像は図２８Ｂに示されるようになる。このように撮影済みの画像の切り出し処理を行うことにより、画像をよりよい構図にし、さらに、より注目外領域のぼけ具合が強調されるようにすることができる。
【０１４７】
なお、絞りブラケット機能をオンしている場合には、各構図候補に適した絞りに変化させてブラケット撮影を行うことを可能にしてもよい。
【０１４８】
ここで、上記の３つの基準に基づいて複数の構図候補の中から一つの切り出し範囲を決定しようとし、複数の構図の推奨ぼけ量がほぼ同等である場合について説明する。複数の構図の推奨ぼけ量がほぼ同等である全ての切り出し範囲について画像の切り出しを行って、トリミング画像をユーザに提示するとよい。
【０１４９】
例えば、図２９Ａに示されるように、構図ｄ、構図ｅという２つの構図候補があり、各構図の推奨ぼけ量がほぼ同等である場合、構図ｄ、構図ｅそれぞれについてトリミングを行う。図２９Ｂは構図ｄに基づいてトリミングした画像であり、図２９Ｃは構図ｅに基づいてトリミングした画像である。
【０１５０】
そして、これら複数種類のトリミング画像をユーザに提示し、ユーザにいずれかのトリミング画像を選択させるようにしてもよい。これにより、ユーザは自信の好みに応じたぼけ具合の画像を取得することができる。
【０１５１】
なお、画像の切り出し範囲は原画像のアスペクトに対して可変であるとよい。例えば、原画のアスペクトが「４：３」であるとき、切り出し範囲は被写体の特徴に応じて「３：２」や「１６：９」に変更可能とするとよい。
【０１５２】
拡大処理部８８は、トリミング画像を記憶部１００９に保存する際に超解像技術を用いてトリミング画像を原画像サイズに拡大する処理を行う。これにより、画像はトリミング前よりもぼけ具合が強調されたものとなる。
【０１５３】
［８−２．画像処理装置および撮像装置における処理］
次に画像処理装置８および撮像装置１８００において行われる処理の流れについて図３０を参照して説明する。図３０は、処理の流れを示すフローチャートである。処理対象の画像データは供給されており、さらに、焦点距離およびＦ値が取得されているものとする。なお、第１の実施の形態と同様の処理について同一のステップ番号を付して説明を省略する。
【０１５４】
ステップＳ１０１乃至ステップＳ１０４でＡＦ起動処理後に被写体検出、注目領域決定、フォーカス判定が行われた後、ステップＳ８０１で、切り出し範囲決定部８４により切り出し範囲候補が決定される。次にステップＳ８０２で、ぼけ情報取得部１２により切り出し範囲候補のぼけ予測量が取得される。次にステップＳ８０３で、推奨ぼけ量決定部８５により切り出し範囲候補の推奨ぼけ量が決定される。
【０１５５】
そして、ステップＳ８０４で切り出し範囲決定部８４により画像の切り出し範囲が決定される。切り出し範囲情報は画像切り出し部８６に供給される。次にステップＳ８０５で、画像切り出し部８６により、画像から切り出し範囲が切り出される。
【０１５６】
次にステップＳ８０６で、拡大処理部８８により超解像技術を用いてトリミング画像が原画像サイズに拡大され、記憶部１００９に保存される。そして、表示制御部８７により、図２８または図２９に示されるように切り出し画像が表示部１００７に表示される。これによりユーザは切り出し画像を確認することができる。なお、切り出し画像を表示部１００７に表示する際は、拡大処理部８８により拡大処理が施された状態のものを表示するとよい。
【０１５７】
以上のようにして本技術の第８の実施の形態が構成されている。第８の実施の形態によれば、画像中のぼけ情報に基づき、画像の切り出しを行うことにより、よりぼけ具合が強調された画像を作成することができる。
【０１５８】
また、主たる被写体（注目領域）と背景（注目外領域）におけるぼけを考慮した範囲で画像を切り出すことが可能となり、被写体域全体を含めた構図とは異なる、印象的な切り出し画像を提供することが可能となる。
【０１５９】
＜９．第９の実施の形態＞
［９−１．画像処理装置および画像処理装置の機能を備える撮像装置の構成］
次に本技術の第９の実施の形態について説明する。第９の実施の形態において画像処理装置９は撮像装置１９００において動作する。図３１は第９の実施の形態に係る画像処理装置９の構成を示すブロック図である。
【０１６０】
第９の実施の形態に係る画像処理装置９は、ぼけ関連処理部９３が、撮像動作制御部９４および表示制御部９５として機能する点で第１の実施の形態と異なる。それ以外の構成は第１の実施の形態と同様であるため、その説明を省略する。
【０１６１】
第９の実施の形態における画像処理装置９の処理対象はスルー画を構成するフレーム画像である。撮像動作制御部９４は、レンズ制御部１００２に所定の制御信号を送信することにより絞りブラケット撮影モードを実行させる制御を行うものである。
【０１６２】
絞りブラケット撮影モードとは、１回の撮影動作で絞り開口径が異なる複数の画像を所得する撮影モードである。絞りの開口径を変化させて複数の画像を取得するため、一度の撮影でぼけ量が異なる画像を複数取得することができる。
【０１６３】
Ｆ値を現在の設定よりも大きくする方向で絞りブラケットを実行させると、図３２に示されるように、現在の画像よりも注目外領域におけるぼけ量が少ない画像を複数取得することができる。図３２において、図３２Ａは現在の設定における画像であり、図３２Ｂ、図３２Ｃ、図３２Ｄの順でＦ値が大きくなり、注目外領域におけるぼけ量が少ない画像となっている。
【０１６４】
また、Ｆ値を現在の設定よりも小さくする方向で絞りブラケットを実行させると、図３３に示されるように、現在の画像よりも注目外領域におけるぼけ量が多い画像を複数取得することができる。図３３において、図３３Ａは現在の設定における画像であり、図３３、図３３Ｃ、図３３Ｄの順でＦ値が小さくなり、注目外領域におけるぼけ量が多い画像となっている。
【０１６５】
さらに、現在のＦ値の設定を挟んで前後にＦ値を変化させて絞りブラケットを実行させることも可能である。これにより、現在の画像よりもぼけ量が多い画像と、ぼけ量が少ない画像とを一度の撮影で取得することができる。
【０１６６】
表示制御部９５は、絞りブラケット撮影により取得された画像を表示部１００７に表示させる。
【０１６７】
［９−２．画像処理装置および撮像装置における処理］
次に画像処理装置９および撮像装置１９００において行われる処理の流れについて図３４を参照して説明する。図３４は、処理の流れを示すフローチャートである。処理対象の画像データは供給されており、さらに、焦点距離およびＦ値が取得されているものとする。なお、第１の実施の形態と同様の処理について同一のステップ番号を付して説明を省略する。
【０１６８】
ステップＳ１０１乃至ステップＳ１０５でＡＦ起動処理後に被写体検出、注目領域決定、フォーカス判定、ぼけ情報取得が行われた後、ステップＳ９０１で、撮像動作制御部９４がぼけ量に応じて絞りブラケット撮影モードを発動させる。
【０１６９】
撮像動作制御部９４は、例えば、ぼけ量が所定量以上である場合、現在の設定よりもＦ値を大きくする方向で絞りブラケットを実行させる。これにより、図３２に示されるような現在の画像よりも注目外領域におけるぼけ量が少ない画像を複数取得することができる。また、撮像動作制御部９４は、例えば、ぼけ量が所定量以下である場合、現在の設定よりもＦ値を小さくする方向で絞りブラケットを実行させる。これにより、図３３に示されるように、現在の画像よりも注目外領域におけるぼけ量が多い画像を複数取得することができる。
【０１７０】
次にステップＳ９０２で、絞りブラケット撮影により取得された複数の画像の記録処理が制御部１０１０により行われる。撮影済み画像は例えば、ＪＰＥＧなどの規格に基づいて圧縮された状態で記憶部１００９に保存される。なお、絞りブラケット撮影により撮影された複数の画像は互いに関連する画像としてタグ付けなどで対応付けられて保存されるようにしてもよい。さらに、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦデータもその画像に対応付けられて保存されるようにしてもよい。
【０１７１】
そしてステップＳ９０３で、表示制御部９５により、絞りブラケットにより撮影された撮影済み画像がプレビュー画像として表示部１００７に表示される。これにより、ユーザは絞りブラケットで撮影された画像を即座に確認することができる。
【０１７２】
以上のようにして本技術の第９の実施の形態が構成されている。第９の実施の形態によれば、ぼけ情報に応じて絞りブラケット撮影を自動で実行させるため、絞りブラケット機能の存在を知らないユーザ、ぼけ量調整機能を知っていても使用頻度が低いユーザなどにも絞りブラケット撮影で取得した画像を提供することができる。
【０１７３】
＜１０．第１０の実施の形態＞
［１０−１．画像処理装置および画像処理装置の機能を備える撮像装置の構成］
次に本技術の第１０の実施の形態について説明する。第１０の実施の形態においても、画像処理装置１０は撮像装置２０００において動作する。図３５は第１０の実施の形態に係る画像処理装置１０の機能を備える撮像装置２０００の構成を示すブロック図である。
【０１７４】
第１０の実施の形態に係る画像処理装置１０は、ぼけ関連処理部１０３が、画像処理部１０４および表示制御部１０５として機能する点で第１の実施の形態と異なる。それ以外の構成は第１の実施の形態と同様であるため、その説明を省略する。
【０１７５】
第１０の実施の形態における画像処理装置１の処理対象はスルー画を構成するフレーム画像である。第１０の実施の形態は、撮像装置２０００により撮影された撮影済み画像に対してぼかし処理を施すものである。これにより、撮影時にはぼけ量が少なかった画像をぼけ量が多い画像にすることができる。
【０１７６】
画像処理部１０４は、公知の画像ぼかし処理アルゴリズムに基づいて撮影済み画像の注目外領域に対してぼかし処理を施すものである。画像の注目外領域に対してぼかし処理を施すことにより、画像は例えば、図３６Ａに示される状態から図３６Ｂに示される状態に変化する。図３６Ｂにおいては、図３６Ａに比べて注目領域である人物外の背景がぼけている。ぼけ関連処理部１０３は、注目外領域のぼけ量が所定量以下である場合、画像処理部１０４に背景ぼかし処理を実行させる。
【０１７７】
表示制御部１０５は、画像処理部１０４によりぼかし処理が施された画像を表示部１００７に表示させる。
【０１７８】
［１０−２．画像処理装置および撮像装置における処理］
次に画像処理装置１０および撮像装置２０００において行われる処理の流れについて図３７を参照して説明する。図３７は、処理の流れを示すフローチャートである。処理対象の画像データは供給されており、さらに、焦点距離およびＦ値が取得されているものとする。なお、第１の実施の形態と同様の処理について同一のステップ番号を付して説明を省略する。
【０１７９】
ステップＳ１０１乃至ステップＳ１０５でＡＦ起動処理後に被写体検出、注目領域決定、フォーカス判定、ぼけ情報取得が行われた後、ステップＳ１００１で、ユーザによりシャッター全押し操作がなされたか否かが判定される。シャッター全押し操作が行われるまでステップＳ１０５におけるぼけ情報の取得とおよびステップＳ１００１の判定が繰り返される（ステップＳ１００１のＮｏ）。
【０１８０】
ユーザによるシャッター全押し操作がなされた場合、処理はステップＳ１００２に進む（ステップＳ１００１のＹｅｓ）。次にステップＳ１００２で、撮像装置２０００において撮影処理がなされ画像が取得される。次にステップＳ１００３において、画像が撮影された際のぼけ量が所定値以下であるか否かが判定される。
【０１８１】
ぼけ量が所定量以下である場合、処理はステップＳ１００４に進む（ステップＳ１００３のＹｅｓ）。そして、ステップＳ１００４で、撮影済み画像の注目外領域に対して画像処理部１０４によりぼかし処理が施される。画像処理部１０４は、ぼけ量が所定量以下である場合に画像に対してぼかし処理を施すことにより、ぼけ具合が少ない画像の注目外領域のぼけ具合を大きくすることができる。これにより、ユーザは容易に背景がぼけた画像を得ることができる。
【０１８２】
次にステップＳ１００５で、ぼかし処理が施された画像の記録処理が行われる。撮影済み画像は例えば、制御部１０１０の制御のもとＪＰＥＧなどの規格に基づいて圧縮された状態で記憶部１００９に保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦデータもその画像に対応付けられて保存されるようにしてもよい。
【０１８３】
そしてステップＳ１００６で、表示制御部１０５により、ぼかし処理が施された撮影済み画像がプレビュー画像として表示部１００７に表示される。これにより、ユーザはぼかし処理が施された画像を即座に確認することができる。
【０１８４】
説明はステップＳ１００３に戻る。ステップＳ１００３で、ぼけ量が所定量以下ではないと判定された場合、処理はステップＳ１００６に進む（ステップＳ１００３のＮｏ）。
そして、ステップＳ１００６で、表示制御部１０５により、撮影済み画像がプレビュー画像として表示部１００７に表示される。ただし、この場合、ステップＳ１００４およびステップＳ１００５は行われていないため、表示部１００７に表示されるのはぼかし処理が施されていない画像である。
【０１８５】
以上のようにして第１０の実施の形態が構成されている。この第１０の実施の形態の構成によれば、例えば、カメラの操作に慣れておらずぼけ画像を撮影することができないユーザであっても、容易にぼけ画像を取得することができる。また、撮像装置の絞り制御では画像をぼけさせることができない場合でもぼけ画像を取得することができる。
【０１８６】
本技術により、例えば液晶パネルなどでは目視が厳しかった環境においても直感的で分かりやすい表示を提供することが可能になる。
【０１８７】
上述した第１乃至第１０の実施の形態において画像処理装置により行われる処理はハードウェア、またはソフトウェアにより実行可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、撮像装置の制御部のメモリにインストールして実行させる。
【０１８８】
例えば、プログラムはハードディスクやＲＯＭなどの記録媒体にあらかじめ記録しておくことができる。または、プログラムはＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＤＶＤ(Digital Versatile Disc)、半導体メモリなどの記録媒体に記録しておくことが可能である。このような記録媒体は、パッケージソフトウェアとして提供することができる。ユーザはそのパッケージソフトウェアを撮像装置にインストールする。
【０１８９】
なお、プログラムは、上述したような記録媒体から撮像装置にインストールするほかに、インターネットにおいてアプリケーションとして提供されるものを撮像装置に転送し、インストールすることも可能である。
【０１９０】
＜１１．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【０１９１】
上述の実施の形態では本技術を撮像装置で取得された画像に対して適用する場合を例にして説明を行ったが、本技術は、動画像にも適用可能である。
【０１９２】
また、上述の第１乃至第１０の実施の形態を組み合わせて実施してもよい。例えば、第１の実施の形態におけるぼけ情報のグラフ表示と、第２の実施の形態における拡大表示を組み合わせて、画像の一部を拡大して表示しつつグラフ表示を行うなどである。
【０１９３】
さらに、被写体は人物、人物の顔に限られず、犬猫顔検出機能や花検出機能、料理検出機能などを用いて犬猫、花、料理などを被写体として上述の処理を行なってもよい。
【０１９４】
また、本技術は以下のような構成も取ることができる。
（１）
撮像装置により取得された画像中において、注目する被写体の領域である注目領域を決定する注目領域決定部と、
前記画像中における前記注目領域以外の領域である注目外領域のぼけ情報を取得するぼけ情報取得部と、
前記ぼけ情報に基づいて所定の処理を行うぼけ関連処理部と
を備える画像処理装置。
（２）
前記ぼけ関連処理部は、前記画像中において前記注目領域と前記注目外領域とを含む領域を前記表示部に拡大して表示させる
前記（１）に記載の画像処理装置。
（３）
前記ぼけ関連処理部は、前記画像におけるぼけ具合を調整するためのぼけ調整用ユーザインターフェースを前記表示部に表示させる
前記（１）から（２）のいずれかに記載の画像処理装置。
（４）
前記ぼけ関連処理部は、前記画像に対してぼかし処理を施し、現在の前記画像と、ぼかし処理が施された前記画像を前記表示部に表示させる
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記ぼけ関連処理部は、前記画像の構図を判定し、前記構図における推奨ぼけ量を決定し、前記画像の構図における前記推奨ぼけ量と前記画像の注目外領域の前記ぼけ情報に基づいて、前記表示部に表示される画像の注目外領域における前記ぼけ具合を強調して表示させる
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記ぼけ関連処理部は、前記ぼけ情報に基づいて前記画像の切り出し範囲を決定し、前記画像から前記切り出し範囲の切り出しを行う
前記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記ぼけ関連処理部は、前記切り出し範囲内における前記注目領域と前記注目外領域の前記ぼけ情報の分離度に基づいて前記切り出し範囲を決定する
前記（６）に記載の画像処理装置。
（８）
前記ぼけ関連処理部は、前記切り出し範囲が複数存在する場合、該複数の切り出し範囲のそれぞれについて画像を切り出して複数の切り出し画像を生成する
前記（６）または（７）に記載の画像処理装置。
（９）
前記ぼけ関連処理部は、前記ぼけ情報に基づいて、前記撮像装置を１回の撮影動作で絞り開口径が異なる複数の画像を所得するブラケット撮影モードで動作させる撮像動作制御を行う
前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）
前記ぼけ関連処理部は、前記ぼけ量が所定量以下である場合、前記撮像装置を前記絞り開口径が大きくなる方向に変化する前記ブラケット撮影モードで動作させる
前記（９）に記載の画像処理装置。
（１１）
前記ぼけ関連処理部は、前記ぼけ量が所定量以上である場合、前記撮像装置を前記絞り開口径が小さくなる方向に変化する前記ブラケット撮影モードで動作させる
前記（９）に記載の画像処理装置。
（１２）
前記ぼけ関連処理部は、前記撮像装置により取得された撮影済み画像の前記ぼけ情報に応じて、前記撮影済み画像の前記注目外領域のぼけ具合を強調する画像処理を行う
前記（１）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記ぼけ関連処理部は、前記ぼけ情報を示すグラフを前記表示部に表示させる
前記（１）から（１２）のいずれかに記載の画像処理装置。
（１４）
前記ぼけ関連処理部は、前記ぼけ情報を示すヒストグラムを前記表示部に表示させる
前記（１）から（１３）のいずれかに記載の画像処理装置。
（１５）
前記ぼけ情報は、前記画像の前記注目外領域における実際のぼけ量である
前記（１）から（１４）のいずれかに請求項１に記載の画像処理装置。
（１６）
前記ぼけ情報は、前記撮像装置が前記注目領域にフォーカスを合わせたと仮定した場合における前記注目外領域のぼけ予測量である
前記（１）から（１４）のいずれかに記載の画像処理装置。
（１７）
撮像装置により取得された画像中において、注目する被写体の領域である注目領域を決定し、
前記画像中における前記注目領域以外の領域である注目外領域のぼけ情報を取得し、
前記ぼけ情報に基づいて所定の処理を行う
画像処理方法。
（１８）
撮像装置により取得された画像中において、注目する被写体の領域である注目領域を決定し、
前記画像中における前記注目領域以外の領域である注目外領域のぼけ情報を取得し、
前記ぼけ情報に基づいて所定の処理を行う
画像処理方法をコンピュータに実行させる画像処理プログラム。
（１９）
光学系を介した光を受光して画像を生成する撮像部と、
前記画像中において、注目する被写体の領域である注目領域を決定する注目領域決定部と、
前記画像中における前記注目領域以外の領域である注目外領域のぼけ情報を取得するぼけ情報取得部と、
前記ぼけ情報に基づいて所定の処理を行うぼけ関連処理部と
を備える撮像装置。
【符号の説明】
【０１９５】
１、２、３、４、５、６、７、８、９、１０・・・・・・・・・・・・画像処理装置
１１・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・注目領域決定部
１２・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ぼけ情報取得部
１３、２３、３３、４３、５３、６３、７３、８３、９３、１０３・・ぼけ関連処理部
１００７・・・・・・・・・・・・・・・・・・・・・・・・・・・・表示部
１００３・・・・・・・・・・・・・・・・・・・・・・・・・・・・撮像素子
１１００、１２００、１３００、１４００、１５００、１６００、１７００、１８０、１９００、２０００・・・・・・・・・・・・・・・・・・・・・・・・撮像装置
【図１】
2015022716.tif 000003
【図２】
2015022716.tif 000004
【図３】
2015022716.tif 000005
【図７】
2015022716.tif 000006
【図８】
2015022716.tif 000007
【図１０】
2015022716.tif 000008
【図１１】
2015022716.tif 000009
【図１４】
2015022716.tif 000010
【図１５】
2015022716.tif 000011
【図１７】
2015022716.tif 000012
【図１８】
2015022716.tif 000013
【図２０】
2015022716.tif 000014
【図２１】
2015022716.tif 000015
【図２３】
2015022716.tif 000016
【図２４】
2015022716.tif 000017
【図２６】
2015022716.tif 000018
【図２７】
2015022716.tif 000019
【図３０】
2015022716.tif 000020
【図３１】
2015022716.tif 000021
【図３４】
2015022716.tif 000022
【図３５】
2015022716.tif 000023
【図３７】
2015022716.tif 000024
【図４】
2015022716.tif 000025
【図５】
2015022716.tif 000026
【図６】
2015022716.tif 000027
【図９】
2015022716.tif 000028
【図１２】
2015022716.tif 000029
【図１３】
2015022716.tif 000030
【図１６】
2015022716.tif 000031
【図１９】
2015022716.tif 000032
【図２２】
2015022716.tif 000033
【図２５】
2015022716.tif 000034
【図２８】
2015022716.tif 000035
【図２９】
2015022716.tif 000036
【図３２】
2015022716.tif 000037
【図３３】
2015022716.tif 000038
【図３６】
2015022716.tif 000039