(57)【要約】【課題】  処理対象の画像に影の影響がある場合であっても、被写体領域の抽出を的確に行うこと。【解決手段】  処理対象の画像データを取得する取得部と、画像データにより示される画像の特徴量を算出し、特徴量に基づいて定まる被写体領域を検出する領域検出部と、画像における影の影響を示す評価値を算出する評価値算出部と、評価値算出部により算出した評価値に基づいて、領域検出部による被写体領域の検出方法を決定する制御部とを備える。【選択図】    図１
2014039100.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像データを取得する取得部と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、
前記画像における影の影響を示す評価値を算出する評価値算出部と、
前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記評価値算出部は、前記画像の明るさに関する情報と、コントラストに関する情報との少なくとも一方に基づいて、前記評価値を算出する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、
前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域の検出方法を変更する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記領域検出部は、前記輝度に関する特徴量と所定の閾値とを比較した結果が真となる画素の空間的連続領域に基づく被写体領域を検出し、
前記制御部は、前記影の影響が大きい場合には、前記閾値を、前記影の影響が大きくない場合より小さく設定して、前記領域検出部による前記空間的連続領域に基づく被写体領域の検出を行う
ことを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４の何れか１項に記載の画像処理装置において、
前記領域検出部は、前記特徴量として複数の特徴量を算出し、前記複数の特徴量に基づいて複数の被写体領域を検出し、
前記制御部は、前記評価値に基づいて、前記複数の被写体領域に関する優先度を決定し、決定した前記優先度に基づいて主要被写体領域を決定する
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、
前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域に関する前記優先度を、前記影の影響が大きくない場合より低く設定して、前記主要被写体領域を決定する
ことを特徴とする画像処理装置。
【請求項７】
請求項５に記載の画像処理装置において、
前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、
前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域がその他の被写体領域と近接しているか否かをさらに判定し、前記前記低輝度領域に基づく被写体領域がその他の被写体領域と近接している場合には、前記低輝度領域に基づく被写体領域に関する前記優先度を、前記影の影響が大きくない場合より低く設定して、前記主要被写体領域を決定する
ことを特徴とする画像処理装置。
【請求項８】
請求項１から請求項４の何れか１項に記載の画像処理装置において、
前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を含む複数の被写体領域を検出し、
前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域がその他の被写体領域と近接しているか否かをさらに判定し、前記前記低輝度領域に基づく被写体領域がその他の被写体領域と近接している場合には、前記領域検出部により検出した前記複数の被写体領域のうち、前記低輝度領域に基づく被写体領域を除く被写体領域の中から主要被写体領域を決定する
ことを特徴とする画像処理装置。
【請求項９】
請求項３から請求項８の何れか１項に記載の画像処理装置において、
前記制御部は、前記明るさが所定の基準より明るい場合か、前記明るさが所定の基準より明るく、かつ、前記コントラストが所定の基準より高い場合に、前記影の影響が大きいと判定する
ことを特徴とする画像処理装置。
【請求項１０】
光学系による像を撮像して画像データを生成する撮像部と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、
前記画像における影の影響を示す評価値を算出する評価値算出部と、
前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部と
を備えることを特徴とする撮像装置。
【請求項１１】
請求項１０に記載の撮像装置において、
前記評価値算出部は、前記撮像部により生成した前記画像の明るさに関する情報と、前記画像のコントラストに関する情報と、前記撮像部における露光条件に関する情報と、測光情報との少なくとも一つに基づいて、前記評価値を算出する
ことを特徴とする撮像装置。
【請求項１２】
コンピュータに、
処理対象の画像データを取得する取得手順と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出手順と、
前記画像における影の影響を示す評価値を算出する評価値算出手順と、
前記評価値算出手順において算出した前記評価値に基づいて、前記領域検出手順における前記被写体領域の検出方法を決定する制御手順と
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、被写体抽出に関する様々な技術が考えられている。例えば、特許文献１の発明では、被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０６９７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、被写体抽出に際しては、処理対象の画像の撮影時の環境に起因して、被写体抽出に誤検出が起こる場合がある。例えば、晴天時の屋外等の状況において撮影された処理対象の画像に関して、影の部分が被写体領域として抽出されてしまう場合がある。本来、影は物体に付随するものであり、影自体が被写体領域として抽出されるのは好ましくない。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、処理対象の画像に影の影響がある場合であっても、被写体領域の抽出を的確に行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、処理対象の画像データを取得する取得部と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、前記画像における影の影響を示す評価値を算出する評価値算出部と、前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部とを備える。
【０００７】
なお、前記評価値算出部は、前記画像の明るさに関する情報と、コントラストに関する情報との少なくとも一方に基づいて、前記評価値を算出しても良い。
【０００８】
また、前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域の検出方法を変更しても良い。
【０００９】
また、前記領域検出部は、前記輝度に関する特徴量と所定の閾値とを比較した結果が真となる画素の空間的連続領域に基づく被写体領域を検出し、前記制御部は、前記影の影響が大きい場合には、前記閾値を、前記影の影響が大きくない場合より小さく設定して、前記領域検出部による前記空間的連続領域に基づく被写体領域を検出し、前記制御部は、前記影の影響が大きい場合には、前記閾値を、前記影の影響が大きくない場合より小さく設定して、前記領域検出部による前記低輝度領域に基づく被写体領域の検出を行っても良い。
【００１０】
また、前記領域検出部は、前記特徴量として複数の特徴量を算出し、前記複数の特徴量に基づいて複数の被写体領域を検出し、前記制御部は、前記評価値に基づいて、前記複数の被写体領域に関する優先度を決定し、決定した前記優先度に基づいて主要被写体領域を決定しても良い。
【００１１】
また、前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域に関する前記優先度を、前記影の影響が大きくない場合より低く設定して、前記主要被写体領域を決定しても良い。
【００１２】
また、前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域がその他の被写体領域と近接しているか否かをさらに判定し、前記前記低輝度領域に基づく被写体領域がその他の被写体領域と近接している場合には、前記低輝度領域に基づく被写体領域に関する前記優先度を、前記影の影響が大きくない場合より低く設定して、前記主要被写体領域を決定しても良い。
【００１３】
また、前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を含む複数の被写体領域を検出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域がその他の被写体領域と近接しているか否かをさらに判定し、前記前記低輝度領域に基づく被写体領域がその他の被写体領域と近接している場合には、前記領域検出部により検出した前記複数の被写体領域のうち、前記低輝度領域に基づく被写体領域を除く被写体領域の中から主要被写体領域を決定しても良い。
【００１４】
また、前記制御部は、前記明るさが所定の基準より明るい場合か、前記明るさが所定の基準より明るく、かつ、前記コントラストが所定の基準より高い場合に、前記影の影響が大きいと判定しても良い。
【００１５】
本発明の撮像装置は、光学系による像を撮像して画像データを生成する撮像部と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、前記画像における影の影響を示す評価値を算出する評価値算出部と、前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部とを備える。
【００１６】
なお、前記評価値算出部は、前記撮像部により生成した前記画像の明るさに関する情報と、前記画像のコントラストに関する情報と、前記撮像部における露光条件に関する情報と、測光情報との少なくとも一つに基づいて、前記評価値を算出しても良い。
【００１７】
本発明の画像処理プログラムは、コンピュータに、処理対象の画像データを取得する取得手順と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出手順と、前記画像における影の影響を示す評価値を算出する評価値算出手順と、前記評価値算出手順において算出した前記評価値に基づいて、前記領域検出手順における前記被写体領域の検出方法を決定する制御手順とを実行させる。  
【発明の効果】
【００１８】
本発明によれば、処理対象の画像に影の影響がある場合であっても、被写体領域の抽出を的確に行うことができる。  
【図面の簡単な説明】
【００１９】
【図１】レンズ鏡筒１０と、撮像装置２０と、記憶媒体４０との構成を示すブロック図である。
【図２】自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。
【図３】自動検出モード実行時のＣＰＵ２６の動作を示す別のフローチャートである。
【図４】マスク抽出処理（I）について説明する図である。
【図５】マスク抽出処理（I）について説明する別の図である。
【図６】マスク抽出処理（I）について説明する別の図である。
【図７】マスク抽出処理（I）について説明する別の図である。
【図８】マスク抽出処理（II）について説明する図である。
【図９】マスク抽出処理（II）について説明する別の図である。
【発明を実施するための形態】
【００２０】
以下、実施形態について図面を参照して詳細に説明する。
【００２１】
本実施形態では、図１に示すようなレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。
【００２２】
撮像装置２０は、レンズ鏡筒１０から入射される光学像を撮像する。得られた画像は静止画又は動画の画像として、記憶媒体４０に記憶される。
【００２３】
レンズ鏡筒１０は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）レンズ」と称する）１１と、レンズ駆動部１２と、ＡＦエンコーダ１３と、鏡筒制御部１４とを備える。なお、レンズ鏡筒１０は、撮像装置２０に着脱可能に接続されてもよいし、撮像装置２０と一体であってもよい。
【００２４】
撮像装置２０は、撮像部２１と、画像処理装置２２と、表示部２３と、バッファメモリ部２４と、記憶部２５と、ＣＰＵ２６と、操作部２７と、通信部２８とを備える。撮像部２１は、撮像素子２９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０とを備える。撮像部２１は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ２６により制御される。
【００２５】
レンズ鏡筒１０において、ＡＦレンズ１１は、レンズ駆動部１２により駆動され、撮像装置２０の撮像素子２９の受光面（光電変換面）に、光学像を導く。ＡＦエンコーダ１３は、ＡＦレンズ１１の移動を検出し、ＡＦレンズ１１の移動量に応じた信号を、鏡筒制御部１４に出力する。ここで、ＡＦレンズ１１の移動量に応じた信号とは、例えば、ＡＦレンズ１１の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。
【００２６】
鏡筒制御部１４は、撮像装置２０のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部１２を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１を光軸方向に駆動させる制御信号である。鏡筒制御部１４は、駆動制御信号に応じて、例えば、レンズ駆動部１２に出力するパルス電圧のステップ数を変更する。また、鏡筒制御部１４は、ＡＦレンズ１１の移動量に応じた信号に基づいて、レンズ鏡筒１０におけるＡＦレンズ１１の位置（フォーカスポジション）を、撮像装置２０のＣＰＵ２６に出力する。ここで、鏡筒制御部１４は、例えば、ＡＦレンズ１１の移動量に応じた信号を、ＡＦレンズ１１の移動方向に応じて積算することで、レンズ鏡筒１０におけるＡＦレンズ１１の移動量（位置）を算出してもよい。レンズ駆動部１２は、鏡筒制御部１４の制御に応じてＡＦレンズ１１を駆動し、ＡＦレンズ１１をレンズ鏡筒１０内で光軸方向に移動させる。
【００２７】
撮像装置２０において、撮像素子２９は、光電変換面を備え、レンズ鏡筒１０（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部３０に出力する。撮像素子２９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。また、撮像素子２９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。また、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部３０および通信部２８を介して記憶媒体４０に出力する。一方、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付ける前の状態において、連続的に得られる画像をスルー画像として、バッファメモリ部２４及び表示部２３に、Ａ／Ｄ変換部３０を介して出力する。
【００２８】
Ａ／Ｄ変換部３０は、撮像素子２９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部２４等に出力する。
【００２９】
画像処理装置２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像に対する画像処理を行う。そして、画像処理後の画像は、通信部２８を介して記憶媒体４０に記憶される。また、画像処理装置２２は、バッファメモリ部２４に一時的に記憶されている画像に対して、マスク抽出処理を行う（詳細は後述する）。そして、抽出したマスクに関する情報は、ＣＰＵ２６に出力されるとともに、記憶部２５や記憶媒体４０等に記憶される。
【００３０】
表示部２３は、例えば液晶ディスプレイであって、撮像部２１によって生成された画像、及び操作画面等を表示する。バッファメモリ部２４は、撮像部２１によって生成された画像を一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。
【００３１】
ＣＰＵ２６は、画像処理部２２や記憶部２５などから適宜必要な情報を取得し、取得した情報に基づいて、撮像装置２０内の各部を統括的に制御する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。また、ＣＰＵ２６は、操作部２７の操作状態を監視するとともに、表示部２３への画像データの出力を行う。
【００３２】
操作部２７は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。
【００３３】
通信部２８は、カードメモリ等の取り外しが可能な記憶媒体４０と接続され、この記憶媒体４０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。
【００３４】
記憶媒体４０は、撮像装置２０に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体４０は、撮像装置２０と一体であってもよい。
【００３５】
撮像装置２０は、撮影時に、焦点調節情報に基づいて主要被写体領域を検出する通常モードの他に、自動で主要被写体領域を検出する自動検出モードを備える。自動検出モードは、構図確認用のスルー画像等に基づいて、主要被写体領域を自動で継続的に検出するモードである。この自動検出モードは操作部２７を介したユーザ操作により設定可能であっても良いし、ＣＰＵ２６により自動で設定可能であっても良い。
【００３６】
以下、自動検出モード実行時のＣＰＵ２６の動作について、図２のフローチャートを参照して説明する。
【００３７】
ステップＳ１０１において、ＣＰＵ２６は、被写界の測光を開始する。被写界の測光は公知技術と同様に行われる。例えば、ＣＰＵ２６は、撮像部２１により生成されるスルー画像に基づいて測光を行っても良いし、不図示の測光センサの出力に基づいて測光を行っても良い。ＣＰＵ２６は、所定の時間間隔で測光を行い、取得される輝度値であるＢＶ値を記憶部２５に随時記録する。
【００３８】
ステップＳ１０２において、ＣＰＵ２６は、コントラストの測定を開始する。コントラストの測定は公知技術と同様に行われる。例えば、ＣＰＵ２６は、撮像部２１により生成されるスルー画像に基づいてコントラストの測定を行っても良いし、その他のセンサなどの出力に基づいてコントラストの測定を行っても良い。ＣＰＵ２６は、所定の時間間隔でコントラストを測定し、取得されるコントラスト値を記憶部２５に随時記録する。
【００３９】
ステップＳ１０３において、ＣＰＵ２６は、撮像部２１を制御して、スルー画像の取得を開始する。取得されたスルー画像の画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像は、所定の時間間隔で連続して生成される。そして、ＣＰＵ２６によるスルー画像の取得は、時間的に連続して順次行われる。
【００４０】
ステップＳ１０４において、ＣＰＵ２６は、画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。画像処理装置２２は、バッファメモリ部２４から対象となる画像の画像データを取得し、画像処理を施した後に、再びバッファメモリ部２４に出力する。
【００４１】
ステップＳ１０５において、ＣＰＵ２６は、影の影響があるか否かを判定する。ＣＰＵ２６は、影の影響があると判定すると後述するステップＳ１０７に進む。一方、影の影響がないと判定すると、ＣＰＵ２６は、ステップＳ１０６に進む。
【００４２】
影の影響があるか否かの判定は、ステップＳ１０１で開始した測光の結果と、ステップＳ１０２で開始したコントラストの測定の結果との少なくとも一方に基づいて行われる。
【００４３】
影の影響がある場合とは、晴天時の屋外等の状況において撮影が行われる場合や、屋内のスタジオなどにおいて、特殊な照明が被写体に照射される場合などである。このような場合には、処理対象の画像に関して、影の部分が被写体領域として抽出されてしまう可能性がある。ＣＰＵ２６は、ステップＳ１０１で開始した測光の結果と、ステップＳ１０２で開始したコントラストの測定の結果との少なくとも一方に基づいて、被写界の明るさや、被写界のシーンなどを解析することにより、影の影響があるか否かの判定を行う。
【００４４】
具体的には、例えば、ＢＶ値が所定の閾値よりも大きい（つまり、明るい）場合に影の影響があると判定しても良いし、ＢＶ値が所定の閾値よりも大きく、かつ、コントラスト値が所定の閾値よりも大きい（つまり、コントラストが高い）場合に影の影響があると判定しても良い。また、ステップＳ１０１で開始した測光の結果と、ステップＳ１０２で開始したコントラストの測定の結果との少なくとも一方に基づいて、影の影響を示す評価値を算出し、その評価値と所定の閾値とを比較することにより、影の影響があるか否かの判定を行っても良い。
【００４５】
ステップＳ１０６において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理（Ｉ）を行う。マスク抽出処理とは、画像における特徴量を算出し、特徴量に基づいて被写体領域を検出するための一手法である。例えば、画像における特徴量を求め、同様の特徴量を有する連続領域を求めることによりマスク抽出を行う。また、マスク抽出処理（Ｉ）とは、影の影響がない、一般的な画像を対象とした通常のマスク抽出処理である。
【００４６】
マスク抽出処理（Ｉ）について図３〜図７の模式図を参照して説明する。
【００４７】
画像処理装置２２は、ステップＳ１０４で通常の画像処理を施した画像をバッファメモリ部２４から読み出し、適宜リサイズ処理および色空間変換処理を行い、ＹＵＶ（例えば、ＹＣｂＣｒ）画像を生成する。次に、画像処理装置２２は、生成したＹＵＶ画像のＹ画像、Ｃｂ画像およびＣｒ画像のそれぞれに基づいて、マスク画像を作成する。
【００４８】
画像処理装置２２は、図３に示すように、Ｙ画像、Ｃｂ画像およびＣｒ画像のそれぞれからＹマスクＭ[Ｙ]、ＣｂマスクＭ[Ｃｂ]およびＣｒマスクＭ[Ｃｒ]を作成する。画像処理装置２２は、Ｙ画像から、例えば、Ｙ画像の中心の４画素における平均画素値Ｙａｖｅに対して、所定の範囲（例えば、Ｙａｖｅ＋Ｋ・σ）の２値化画像を生成する。そして、生成したＹ２値化画像に対してラベリング処理を行い、不要なマスクを排除することによりＹマスクＭ[Ｙ]を作成する。なお、上述したＫは所定の係数（例えば、Ｋ＝０．６）であり、σはＹａｖｅからの偏差である。また、２値化処理およびラベリング処理は公知技術と同様であるため説明を省略する。画像処理装置２２は、同様の処理を行ってＣｂ画像からＣｂマスクＭ[Ｃｂ]を作成し、Ｃｒ画像からＣｒマスクＭ[Ｃｒ]を作成する。
【００４９】
また、画像処理装置２２は、図３に示すように、作成したＹマスクＭ[Ｙ]、ＣｂマスクＭ[Ｃｂ]およびＣｒマスクＭ[Ｃｒ]から中心マスクＭ[ａ]を作成する。中心マスクＭ[ａ]は、ＹマスクＭ[Ｙ]、ＣｂマスクＭ[Ｃｂ]およびＣｒマスクＭ[Ｃｒ]が重なる重複領域からなるマスクである。なお、中心マスクＭ[ａ]を作成する際には、領域を例えば中央領域に限定して重複領域を求めても良い。あるいは、中央を含むマスクに限定しても良い。以降の処理では、最終的に作成した中心マスクＭ[ａ]のみを使用する。
【００５０】
また、画像処理装置２２は、図４に示すように、Ｙ画像から３種類の輝度マスクを作成する（ただし、Ｙ画像から４種類以上のマスクを作成しても良い。）。画像処理装置２２は、Ｙ画像の各画素値を入力値とし、補正（例えばガンマ補正）後の各画素値を出力値とする。そして、出力値に応じて３つの区分の２値化画像を生成する。図４に示すように、Ｙ画像のハイライト部分からはＹハイライト２値化画像が生成され、Ｙ画像の中間以上の部分からはＹ中間以上２値化画像が生成され、Ｙ画像のシャドー部分からはＹシャドー２値化画像が生成される。そして、画像処理装置２２は、生成した３種類の２値化画像のそれぞれに対してラベリング処理を行い、不要なマスクを排除することにより、ＹハイライトマスクＭ[Ｙ１]、Ｙ中間以上マスクＭ[Ｙ２]およびＹシャドーマスクＭ[Ｙ３]の各輝度マスクを作成する。
【００５１】
また、画像処理装置２２は、図５に示すように、Ｃｂ画像およびＣｒ画像のそれぞれから、３種類ずつの色マスクを作成する。画像処理装置２２は、Ｃｂ画像に対して、上述した図４の例と同様に、出力値に応じて３つの所定区分の２値化画像を生成する。図５に示すように、Ｃｂ画像からは、青側を中心としたＣｂ青側２値化画像、中間成分を中心としたＣｂ中間２値化画像、黄側を中心としたＣｂ黄側２値化画像が生成される。同様に、Ｃｒ画像からは、赤側を中心としたＣｒ赤側２値化画像、中間成分を中心としたＣｒ中間２値化画像、緑側を中心としたＣｒ緑側２値化画像が生成される。そして、画像処理装置２２は、生成した６種類の２値化画像のそれぞれに対してラベリング処理を行い、不要なマスクを排除することにより、Ｃｂ青側マスクＭ[Ｃｂ１]、Ｃｂ中間マスクＭ[Ｃｂ２]、Ｃｂ黄側マスクＭ[Ｃｂ３]、Ｃｒ赤側マスクＭ[Ｃｒ１]、Ｃｒ中間マスクＭ[Ｃｒ２]、Ｃｒ緑側マスクＭ[Ｃｒ３]の６種類の色マスクを作成する。
【００５２】
また、画像処理装置２２は、図６に示すように、Ｃｂ画像およびＣｒ画像から３種類の純色マスクを作成する。純色マスクとは、任意の一定の領域を有する「絶対的に純度の高い被写体」を抽出したマスクである。純色マスクの作成は、公知技術と同様に行われるため説明を省略する。画像処理装置２２は、図６に示すように、Ｃｂ画像およびＣｒ画像から、純色赤マスクＭ[Ｒ]、純色黄マスクＭ[Ｙｅ]、純色紫マスクＭ[Ｐ]の各純色マスクを作成する。
【００５３】
以上説明した処理により、画像処理装置２２は、図３に示した１種類のマスク（中心マスクＭ[ａ]）と、図４に示した３種類の輝度マスクと、図５に示した６種類の色マスクと、図６に示した３種類の純色マスクの合計１３種類のマスクを作成する。
【００５４】
次に、画像処理装置２２は、作成した１３種類のマスクに対して、不要なマスクを排除し、残ったマスクについて、優先度を決定する。優先度とは、１３種類のマスクから、実際に被写体領域の抽出に用いるマスクを決定する際の優先度合を示す。
【００５５】
一般的な画像を対象とした通常のマスク抽出処理であるマスク抽出処理（Ｉ）においては、例えば、図７に示すように、３段階の優先度が予め定められる。優先度１位は、３種類の純色マスクであり、優先度２位は、色マスクのうちＣｂ青側マスクＭ[Ｃｂ１] およびＣｂ黄側マスクＭ[Ｃｂ３]であり、優先度３位はその他のマスクである。なお、図７に示す優先度は一例であり、複数段階であれば何段階であっても良い。また、図７における各マスクの各優先度への振り分けは一例である。図７に示すように、優先度は、色情報に関するマスクの優先度が相対的に高く決定されている。そして、画像処理装置２２は、これらの優先度に応じて、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとする。なお、被写体領域を抽出するためのマスクを選択する方法は、公知技術などどのような方法であっても良い。最後に、画像処理装置２２は、選択したマスクに基づいて被写体領域を抽出し、後述するステップＳ１０８に進む。
【００５６】
ステップＳ１０７において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理（II）を行う。マスク抽出処理（II）とは、影の影響がある画像を対象としたマスク抽出処理である。ＣＰＵ２６は、画像処理装置２２を制御して、マスク抽出処理（II）において、以下の（ａ）〜（ｃ）の少なくとも１つの処理を行う。以下では、ステップＳ１０６で説明したマスク抽出処理（Ｉ）との相違点についてのみ説明する。
【００５７】
（ａ）ＹシャドーマスクＭ[Ｙ３]の作成方法の変更。
【００５８】
画像処理装置２２は、ステップＳ１０６で説明した１３種類のマスクを作成する。ただし、画像処理装置２２は、図３で説明したＹシャドーマスクＭ[Ｙ３]を作成する際に、マスク抽出処理（Ｉ）とは条件を変える。マスク抽出処理（II）は、上述したように、影の影響がある画像を対象としたマスク抽出処理である。ＹシャドーマスクＭ[Ｙ３]は、低輝度領域（所定の閾値と比較した結果が真となる画素の空間的連続領域）に基づく被写体領域を検出するマスクであり、影の部分を被写体領域として検出してしまう可能性が高いマスクである。したがって、ＹシャドーマスクＭ[Ｙ３]が影を検出するのを防ぎ、色としての黒側を抽出するようにＹシャドーマスクＭ[Ｙ３]の作成方法を変更する。
【００５９】
マスク抽出処理（II）においては、図４に示したＹシャドー２値化画像を生成する際の閾値をマスク抽出処理（Ｉ）の場合よりも小さく設定する。すなわち、マスク抽出処理（Ｉ）の場合と比較して、閾値をシャドー側にシフトすることにより、薄い影の部分を拾い難くし、黒い物体のみを拾うことができるようにする。なお、閾値の設定を、影の影響の度合に応じて変更しても良い。すなわち、影の影響が大きくなるほど、上述した閾値が小さくなるように、段階的な設定を行っても良い。また、上述した閾値を小さく設定する代わりに、上述した閾値を、より小さい値である所定の第２の閾値に変更する構成としても良い。
【００６０】
（ｂ）ＹシャドーマスクＭ[Ｙ３]の優先度の変更。
【００６１】
画像処理装置２２は、ステップＳ１０６で説明した１３種類のマスクを作成する。ただし、画像処理装置２２は、ステップＳ１０６とは異なり、ＹシャドーマスクＭ[Ｙ３]の優先度を、マスク抽出処理（Ｉ）の場合よりも低くする（下げる）。例えば、図７で説明した優先度３位よりも下の優先度４位とする。このように優先度を決定するのは、対象画像が影の影響がある画像であることを鑑みたことによるものであり、ＹシャドーマスクＭ[Ｙ３]により、影の部分を被写体領域として検出してしまう可能性を抑えるためである。そして、画像処理装置２２は、ステップＳ１０６と同様に、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとして選択する。
【００６２】
（ｃ）ＹシャドーマスクＭ[Ｙ３]とその他のマスクとの相対位置に基づく変更。
【００６３】
画像処理装置２２は、ステップＳ１０６で説明した１３種類のマスクを作成する。その後、画像処理装置２２は、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとの相対位置を確認する。
【００６４】
対象画像が図８に示す画像である場合を例に挙げて説明する。図８の例では、主要被写体である猫Ｔ１と、猫の影Ｔ２とが含まれる。この画像に対して作成した１３種類のマスクの例を図９に示す。図９に示すように、ＹシャドーマスクＭ[Ｙ３]においては、影Ｔ２の部分が抽出されている。そこで、まず、画像処理装置２２は、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとの相対位置を確認する。図９の各マスク中の点線は、ＹシャドーマスクＭ[Ｙ３]により抽出された領域に対応する領域を示す。図９の例では、Ｃｂ黄側マスクＭ[Ｃｂ３]、Ｃｒ赤側マスクＭ[Ｃｒ１]、Ｃｒ中間マスクＭ[Ｃｒ２]の３種類のマスクが、ＹシャドーマスクＭ[Ｙ３]と近接している。なお、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとが近接しているか否かは、双方のマスクのエッジ間の最近接距離が所定の画素数内であるか（例えば、２画素以内であるか）否かによって判定される。このような場合に、画像処理装置２２は、ＹシャドーマスクＭ[Ｙ３]を以降の処理から除外する。すなわち、ステップＳ１０６で説明した１３種類のマスクのうち、ＹシャドーマスクＭ[Ｙ３]を除く１２種類のマスクから、上述した被写体領域を抽出するためのマスクを選択する。
【００６５】
なお、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとの相対位置に基づいて、さらにマスクを除外しても良い。図９の例において、例えば、ＹシャドーマスクＭ[Ｙ３]に内包されるか、あるいは、ＹシャドーマスクＭ[Ｙ３]とほぼ重複しているマスクであるＣｂ青側マスクＭ[Ｃｂ１]、Ｃｂ中間マスクＭ[Ｃｂ２]、Ｃｒ緑側マスクＭ[Ｃｒ３]、中心マスクＭ[ａ]の５種類のマスクを、上述したＹシャドーマスクＭ[Ｙ３]と同様に、以降の処理から除外しても良い。
【００６６】
このように一部のマスクを除外するのは、対象画像が影の影響がある画像であることを鑑みたことによるものであり、影の影響が大きく出ると考えられるマスクを除外することにより、影の部分を被写体領域として検出してしまうことを防ぐためである。そして、画像処理装置２２は、ステップＳ１０６と同様に、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとして選択する。
【００６７】
さらに、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとの相対位置に基づいて、優先度を変更しても良い。例えば、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとが近接している場合には、上述した（２）のケースと同様に、ＹシャドーマスクＭ[Ｙ３]の優先度を、マスク抽出処理（Ｉ）の場合よりも低くしても良い。また、ＹシャドーマスクＭ[Ｙ３]とほぼ重複しているマスクであるＣｂ青側マスクＭ[Ｃｂ１]、Ｃｂ中間マスクＭ[Ｃｂ２]、Ｃｒ緑側マスクＭ[Ｃｒ３]、中心マスクＭ[ａ]の５種類のマスクについても、優先度を、マスク抽出処理（Ｉ）の場合よりも相対的に低くしても良い。
【００６８】
なお、ステップＳ１０６およびステップＳ１０７で説明した各マスク抽出処理において、画像処理装置２２は、１つの被写体領域のみ抽出しても良いし、複数の被写体領域を抽出しても良い。また、ステップＳ１０７で説明したマスク抽出処理（II）における変更点は一例である。いずれにせよ、対象画像が影の影響がある画像であるか否かに応じて、マスクの作成方法や、被写体領域を抽出するためのマスクの選択方法を変更すれば良い。さらに、例えば、上述した影の影響の度合に応じて、より細かく上記の点を変更しても良い。
【００６９】
ステップＳ１０８において、ＣＰＵ２６は、ステップＳＳ１０６またはステップＳ１０７のマスク抽出処理の結果を、被写体情報としてバッファメモリ部２４や記憶部２５等に記録する。被写体情報には、マスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状、抽出した被写体領域の位置、被写体領域の大きさや形状などの情報が含まれる。
【００７０】
ステップＳ１０９において、ＣＰＵ２６は、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ１１０に進む。一方、撮影指示が行われないと判定すると、ＣＰＵ２６は、ステップＳ１０４に戻り、次のフレームの画像に対してステップＳ１０４以降の処理を行う。撮影指示は、操作部２７のシャッタボタンを介したユーザ操作により行われる。
【００７１】
ステップＳ１１０において、ＣＰＵ２６は、各部を制御して撮影を実行する。このとき、ＣＰＵ２６は、ステップＳ１０８で記録した被写体情報に基づいて撮影を行う。ＣＰＵ２６は、ステップＳ１０８で記録した被写体情報に基づいて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行うとともに、画像処理装置２２における各種画像処理の条件等を決定する。
【００７２】
なお、焦点調整（ＡＦ）の設定処理において、ＣＰＵ２６は、抽出した被写体領域を整形し、コントラストスキャンを実行する。そして、ＣＰＵ２６は、コントラストスキャンの結果に基づいて、ＡＦレンズ１１により合焦させる（合焦駆動）。
【００７３】
また、マスク抽出処理および被写体情報の記録が完了していない状態で撮影指示が行われてしまった場合には、ＣＰＵ２６は、通常の３Ａ処理を行い、この３Ａ処理の結果に基づいて撮影を実行すればよい。または、マスク抽出処理および被写体情報の記録が完了するまで、撮影指示に関するユーザ操作の受付を禁止しても良い。
【００７４】
ステップＳ１１１において、ＣＰＵ２６は、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。
【００７５】
以上説明したように、本実施形態によれば、処理対象の画像データを取得し、画像データにより示される画像の特徴量を算出し、特徴量に基づいて定まる被写体領域を検出する。さらに、取得した画像における影の影響を示す評価値を算出し、算出した評価値に基づいて、被写体領域の検出方法を決定する。したがって、処理対象の画像に影の影響がある場合であっても、影の領域を誤認識することなく、被写体領域の抽出を的確に行うことができる。
【００７６】
特に、構図確認用のスルー画像については、一般に表示時間が長くなるため、このような工夫が大きな効果を発揮することとなる。
【００７７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００７８】
上記実施形態では、処理対象の画像に影の影響があるか否かに応じて、被写体領域の検出方法を決定する例を示したが、本発明はこの例に限定されない。例えば、操作部２７を介したユーザ操作に基づいて、影の影響がある場合の処理（マスク抽出処理（II））を実行しても良い。また、風景モードや夜景モードなど、シーンに応じて撮影条件等が予め設定されるいわゆるシーンモードの種類に応じて、影の影響がある場合の処理（マスク抽出処理（II））を実行しても良い。
【００７９】
また、上記の実施形態において、図２のステップＳ１０１において測光を開始した時に、ＢＶ値の変化が大きく、不安定である場合には、ステップＳ１０４以降の処理のうち、特にステップＳ１０５における判定処理が正しく行えない場合がある。そこで、ステップＳ１０１において測光を開始した後にＢＶ値を監視し、ＢＶ値がある程度安定したことを確認してからステップＳ１０４以降の処理を行う構成としても良い。
【００８０】
また、上記の実施形態においては、構図確認用のスルー画像に基づいて、一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、一眼レフカメラなどにおいて生成される構図確認用のライブビュー画像を対象とする場合にも、本発明を同様に適用することができる。また、記録媒体４０等に記録された動画像を対象とする場合にも、本発明を同様に適用することができる。
【００８１】
また、上記の実施形態においては、すべてのフレームを対象として一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、時間的に間欠して生成された複数の画像を対象としても良い。具体的には、適宜フレーム間引きを行った複数の画像を対象としても良い。このような処理を行うことにより、処理負荷を軽減することができる。
【００８２】
また、コンピュータと画像処理プログラムとからなる「コンピュータシステム」により、上述した実施形態で説明した画像処理をソフトウェア的に実現しても良い。この場合、実施形態で説明したフローチャートの処理の一部または全部をコンピュータシステムで実行する構成とすれば良い。例えば、図２のステップＳ１０４からステップＳ１０８の処理の一部または全部をコンピュータで実行しても良い。このような構成とすることにより、上述した実施形態と同様の処理を実施することが可能になる。この場合、コンピュータにより、処理対象の画像とともに、実施形態で用いたＢＶ値やコントラスト値などを取得する構成としても良い。
【００８３】
また、「コンピュータシステム」は、ｗｗｗシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８４】
さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
【００８５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００８６】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００８７】
２０…撮像装置、２１…撮像部、２２…画像処理装置、２３‥表示部、２６…ＣＰＵ
【図１】
2014039100.tif 000003
【図２】
2014039100.tif 000004
【図３】
2014039100.tif 000005
【図４】
2014039100.tif 000006
【図５】
2014039100.tif 000007
【図６】
2014039100.tif 000008
【図７】
2014039100.tif 000009
【図８】
2014039100.tif 000010
【図９】
2014039100.tif 000011