(57)【要約】【課題】予め定められた被写体による被写体領域を、撮像された画像から適切に検出することができる画像処理装置、撮像装置、及び画像処理プログラムを提供する。【解決手段】画像処理装置１４０は、予め定められた露光量で被写体が撮像された画像から、画像特徴量に基づいて第１被写体領域を抽出する領域抽出部１４２と、抽出された前記第１被写体領域のうち、予め定められた被写体による第２被写体領域を、予め定められた色情報、及び前記画像における前記第１被写体領域の位置に基づいて検出する領域検出部１４３と、を備える。【選択図】図１
2014021825.tif 000002
【特許請求の範囲】
【請求項１】
予め定められた露光量で被写体が撮像された画像から、画像特徴量に基づいて第１被写体領域を抽出する領域抽出部と、
抽出された前記第１被写体領域のうち、予め定められた被写体による第２被写体領域を、予め定められた色情報、及び前記画像における前記第１被写体領域の位置に基づいて検出する領域検出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記領域検出部は、前記第１被写体領域の輝度に基づいて、前記第２被写体領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域検出部は、前記第２被写体領域として、撮像された空による被写体領域を検出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記領域検出部は、画像を撮像するための撮像用情報、及び撮像された画像を画像処理するための画像処理用情報を、前記第２被写体領域の色情報、及び前記画像における前記第２被写体領域の位置に基づいて、画像毎に定めることを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記領域検出部は、前記第２被写体領域の色情報のパターンに基づいて、前記撮像用情報及び前記画像処理用情報として、画像のホワイトバランスを定めることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記領域検出部は、前記第２被写体領域の色情報のパターンに基づいて、前記撮像用情報及び前記画像処理用情報として、画像のシーンを定めることを特徴とする請求項４又は請求項５に記載の画像処理装置。
【請求項７】
前記領域検出部は、前記第２被写体領域の色情報のパターンに基づいて、前記撮像用情報及び前記画像処理用情報として、画像の種別を定めることを特徴とする請求項４から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記領域検出部は、前記画像における前記第２被写体領域の位置に基づいて、撮像された画像の向きとしての縦横を示す情報を定めることを特徴とする請求項４から請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
被写体を撮像する撮像部と、
請求項１から請求項８のいずれか一項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項１０】
コンピュータに、
予め定められた露光量で被写体が撮像された画像から、画像特徴量に基づいて第１被写体領域を抽出する手順と、
抽出された前記第１被写体領域のうち、予め定められた被写体による第２被写体領域を、予め定められた色情報、及び前記画像における前記第１被写体領域の位置に基づいて検出する手順と、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像特徴量のヒストグラムに基づいて、撮像された画像から領域を抽出し、抽出した領域を識別する画像処理装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−１００７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された画像処理装置は、予め定められた被写体による被写体領域を、撮像された画像から適切に検出することができないという問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、予め定められた被写体による被写体領域を、撮像された画像から適切に検出することができる画像処理装置、撮像装置、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、予め定められた露光量で被写体が撮像された画像から、画像特徴量に基づいて第１被写体領域を抽出する領域抽出部と、抽出された前記第１被写体領域のうち、予め定められた被写体による第２被写体領域を、予め定められた色情報、及び前記画像における前記第１被写体領域の位置に基づいて検出する領域検出部と、を備えることを特徴とする画像処理装置である。
【０００７】
また、本発明は、被写体を撮像する撮像部と、画像処理装置と、を備えることを特徴とする撮像装置である。
【０００８】
また、本発明は、コンピュータに、予め定められた露光量で被写体が撮像された画像から、画像特徴量に基づいて第１被写体領域を抽出する手順と、抽出された前記第１被写体領域のうち、予め定められた被写体による第２被写体領域を、予め定められた色情報、及び前記画像における前記第１被写体領域の位置に基づいて検出する手順と、を実行させるための画像処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、画像処理装置は、予め定められた被写体による被写体領域を、撮像された画像から適切に検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態における、レンズ鏡筒と、撮像装置と、記憶媒体との構成を示すブロック図である。
【図２】本発明の一実施形態における、撮像された空による被写体領域の例を示す図である。
【図３】本発明の一実施形態における、横向きに撮像された画像と、縦向きに撮像された画像とを示す図である。
【図４】本発明の一実施形態における、空による被写体領域を検出するためのプロファイルの例を示す表である。
【図５】本発明の一実施形態における、撮像された空による被写体領域の色情報に基づいて、ホワイトバランス調整を実行する動作手順を示すフローチャートである。
【図６】本発明の一実施形態における、撮像された空による被写体領域の色情報に基づいて、シーン判定を実行する動作手順を示すフローチャートである。
【図７】本発明の一実施形態における、空による被写体領域の色情報に基づいて撮像する動作手順を示すフローチャート（前半）である。
【図８】本発明の一実施形態における、空による被写体領域の色情報に基づいて撮像する動作手順を示すフローチャート（後半）である。
【発明を実施するための形態】
【００１１】
本発明の一実施形態について図面を参照して詳細に説明する。図１には、レンズ鏡筒と、撮像装置と、記憶媒体との構成が、ブロック図により表されている。撮像装置１００は、レンズ鏡筒１１１から入射される光学像を撮像し、静止画形式の画像、又は動画形式の画像列を、記憶媒体２００に記憶させる。
【００１２】
まず、レンズ鏡筒１１１の構成を説明する。
レンズ鏡筒１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、鏡筒制御部１１８を備える。なお、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。
【００１３】
ＡＦレンズ１１２は、レンズ駆動部１１６により駆動され、撮像部１１０（後述）の撮像素子１１９の受光面（光電変換面）に、光学像を導く。
【００１４】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１８に出力する。ここで、ＡＦレンズ１１２の移動量に応じた信号とは、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。
【００１５】
鏡筒制御部１１８は、撮像装置１００のＣＰＵ１９０（後述）から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させるための制御信号である。鏡筒制御部１１８は、駆動制御信号に応じて、例えば、レンズ駆動部１１６に出力するパルス電圧のステップ数を変更する。
【００１６】
また、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、撮像装置１００のＣＰＵ１９０に出力する。ここで、鏡筒制御部１１８は、例えば、ＡＦレンズ１１２の移動量に応じた信号を、ＡＦレンズ１１２の移動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出してもよい。
【００１７】
レンズ駆動部１１６は、鏡筒制御部１１８による制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。
【００１８】
次に、撮像装置１００の構成を説明する。
撮像装置１００は、撮像部１１０と、画像処理部１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ１９０と、通信部１７０と、センサ５００とを備える。
【００１９】
撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備える。撮像部１１０は、設定された撮像用情報に基づいて、ＣＰＵ１９０により制御される。
【００２０】
撮像素子１１９は、光電変換面を備え、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。撮像素子１１９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）で構成されていてもよい。また、撮像素子１１９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。
【００２１】
また、撮像素子１１９は、操作部１８０を介してユーザからの撮像指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介してユーザからの撮像指示を受け付けていない状態において、連続的に得られる画像をスルー画像として、バッファメモリ部１３０及び表示部１５０に、Ａ／Ｄ変換部１２０を介して出力する。
【００２２】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部１３０に記憶させる。
【００２３】
操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、受け付けた操作入力に応じた信号をＣＰＵ１９０に出力する。
【００２４】
画像処理装置１４０は、記憶部１６０に記憶されている画像処理用情報に基づいて、バッファメモリ部１３０に一時的に記憶されている画像を画像処理する。ここで、画像処理装置１４０は、予め定められた露光量で被写体が撮像された画像から、画像特徴量に基づいて被写体領域を抽出する。画像処理された画像は、通信部１７０を介して記憶媒体２００に記憶される。
【００２５】
また、画像処理装置１４０は、画像を撮像するための撮像用情報、及び撮像された画像を画像処理するための画像処理用情報の少なくとも一方を、被写体領域のタグ情報及びブラウズ用情報として記憶部１６０に記憶させる。
【００２６】
ここで、撮像用情報及び画像処理用情報とは、例えば、被写体領域の位置（例えば、画像において空が撮像されている位置）を示す情報、被写体領域の画像特徴量（例えば、色情報）を示す情報、絞り値（Ａｐｅｒｔｕｒｅ Ｖａｌｕｅ：Ａｖ）、露光量（露出値）（ＥＶ）、画像のホワイトバランス（カラーバランス）、画像のシーン（例えば、ポートレート、風景シーン、夜景シーン、夕景シーン、朝焼けシーン）、画像の種別（タイプ）（例えば、晴天、曇天、雨天、夕景、朝焼け、夜景）、撮像された画像の向きとしての縦横を示す情報、及び、被写体領域の優先度である。
【００２７】
また、画像処理装置１４０は、抽出された被写体領域のうち、予め定められた被写体（例えば、空、土、レンガ）による被写体領域を、予め定められた色情報（プロファイルデータ）、及び画像における被写体領域の位置に基づいて検出する。画像処理装置１４０の詳細については後述する。
【００２８】
表示部１５０は、撮像部１１０によって得られた画像、及び操作画面等を表示する。表示部１５０は、例えば、液晶ディスプレイである。
【００２９】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像を、一時的に記憶する。
【００３０】
記憶部１６０は、各種データ（例えば、撮像用情報、画像処理用情報）を、被写体領域のタグ情報及びブラウズ用情報として記憶する。また、記憶部１６０は、被写体領域を検出するために予め定められたプロファイルデータを記憶する。このプロファイルデータの詳細については、図４を用いて後述する。
【００３１】
ＣＰＵ１９０は、撮像用情報に基づいて、撮像部１１０を制御する。また、ＣＰＵ１９０は、撮像用情報に基づく撮像処理（プレ処理）として、例えば、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、被写体像（オブジェクト）の追尾の設定、画像の種別判定の設定、色補正処理の設定、被写体像の拡大表示の設定、パンニング表示の設定、ズーム倍率に連動した明るさの最適化の設定を制御する。ここで、ＣＰＵ１９０（焦点調節部）は、撮像用情報に基づいてレンズ鏡筒１１１の鏡筒制御部１１８に駆動制御信号を出力することで、被写体領域に合焦させるよう焦点を調節する。
【００３２】
また、ＣＰＵ１９０は、撮像用情報に基づく撮像処理（プレ処理）として、例えば、連写するか否かの設定、合焦させる被写体像の切り替えの設定、焦点距離の連続変更の設定、撮像装置１００の発光部（不図示）が発光する閃光の発光量の変更の設定、露光量ＥＶの変更の設定、及び、シャッタ速度Ｔｖの変更を実行するか否かの設定を制御する。
【００３３】
また、ＣＰＵ１９０は、画像処理用情報に基づくポスト処理として、例えば、トーンカーブ（階調カーブ）の設定を制御する。また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、静止画形式又は動画形式の画像を、画像処理部１４０に画像処理させる。
【００３４】
通信部１７０は、取り外し可能な記憶媒体２００（カードメモリ等）と接続され、記憶媒体２００に対する各種データ（例えば、画像データ、タグ情報、ブラウズ用情報）の書込み、読み出し又は消去を実行する。
【００３５】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、各種データ（例えば、タグ情報、ブラウズ用情報）と、画像データとを対応付けて記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。
【００３６】
センサ５００（水準器）は、撮像装置１００が撮像している画像の向きとしての縦横（水平又は鉛直）を測定し、その測定結果を示す情報を画像処理装置１４０に出力する。また、センサ５００（角度センサ）は、撮像装置１００のチルト角を測定し、その測定結果を示す情報を画像処理装置１４０に出力する。
【００３７】
次に、画像処理装置１４０の詳細について説明する。
画像処理装置１４０は、特徴量算出部１４１と、領域抽出部１４２と、領域検出部１４３と、優先度設定部１４４とを備える。
【００３８】
特徴量算出部１４１は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得する。また、特徴量算出部１４１は、バッファメモリ部１３０から取得した画像における複数の特徴毎に、その画像特徴量（例えば、色情報（カラーバランス、色温度））を算出し、算出した画像特徴量を領域抽出部１４２に出力する。
【００３９】
領域抽出部１４２は、特徴量算出部１４１が算出した画像特徴量を取得する。また、領域抽出部１４３は、予め定められた露光量で被写体が撮像された画像をバッファメモリ部１３０から取得し、取得した画像から画像特徴量に基づいて被写体領域（第１被写体領域）を抽出する。
【００４０】
ここで、領域抽出部１４３は、画像特徴量の種別毎と、その画像特徴量のレベル毎とに応じて画像から生成された複数の分割画像から、第１被写体領域を抽出する。例えば、領域抽出部１４３は、「輝度信号Ｙ、色差信号Ｕ及びＶ」毎と、その画像特徴量のレベル毎とに応じて画像から生成された、ＹＵＶの３種類×３レベル（＝９枚）の２値化画像から、被写体領域を抽出する。また、領域抽出部１４３は、被写体領域にラベルを割り当てる（ラベリング）。
【００４１】
領域検出部１４３は、領域抽出部１４２により抽出された被写体領域のうち、背景による被写体領域（第１被写体領域）を検出する。また、領域検出部１４３は、背景による被写体領域のうち、予め定められた被写体による被写体領域（第２被写体領域）を、予め定められた色情報（プロファイルデータ）、及び画像における被写体領域の位置（座標）に基づいて検出（選択）する。ここで、予め定められた被写体とは、例えば、空である。
【００４２】
なお、予め定められた被写体は、一般的な記憶色、例えば、土又はレンガでもよい。以下では、予め定められた被写体が空であるものとして説明を続ける。
【００４３】
領域検出部１４３は、空による被写体領域（空マスク）を、画像における被写体領域の位置（分布）に基づいて検出（選択）する。
空による被写体領域を検出するための判定要素には、
１）撮像された画像の向きとしての縦横（撮像装置の姿勢に応じた加速度）をセンサ測定により判定する際、画像の上側領域に位置している被写体領域であること、
２）予め定められた露光量で撮像された空（曇天〜晴天）による被写体領域として、輝度が所定レベルの被写体領域であること、
３）予め定められた露光量で撮像された空による被写体領域として、色情報が固有範囲（既知範囲）の被写体領域であること、
がある。
【００４４】
図２には、撮像された空による被写体領域の例が示されている。また、図２（Ａ）には、抽出された被写体領域の例が示されている。図２（Ａ）では、被写体領域３００〜３０４が画像に抽出されたとする。ここで、画像フレームの長辺の長さをａとする。また、画像フレームの短辺の長さをｂとする。
【００４５】
領域検出部１４３は、被写体領域３００が画像フレームの２辺に接しているため、被写体領域３００を背景による被写体領域として検出する。また、領域検出部１４３は、画像フレームの短辺（鉛直方向）の長さｂに対する、被写体領域３０１が画像フレームの辺に接している長さｄの比（＝ｄ／ｂ）が、閾値Ｋ１以上であるため、被写体領域３０１を背景による被写体領域として検出する。
【００４６】
図２（Ｂ）には、抽出された被写体領域のうち、背景以外による被写体領域の例が示されている。領域検出部１４３は、被写体領域３０２が画像フレームの１辺のみに接しているが、その長さｃが閾値Ｋ２未満であるため、被写体領域３０２を背景以外による被写体領域として検出する。被写体領域３０３及び３０４についても同様である。図２（Ｂ）では、背景以外による被写体領域である被写体領域３０２〜３０４が、画像に抽出されたとする。
【００４７】
図２（Ｃ）には、抽出された被写体領域のうち、背景による被写体領域（背景マスク）の例が示されている。また、領域検出部１４３は、背景による被写体領域のうちから、空による被写体領域（空マスク）を検出する場合、画像フレームに定められた上側領域に全体が分布している被写体領域を、空による被写体領域として検出する。図２（Ｃ）では、画像フレームに定められた上側領域に、被写体領域３００の全体が分布しているため、領域検出部１４３は、空による被写体領域３００（空マスク）を検出する。図２（Ｄ）には、このようにして検出された、空による被写体領域３００が示されている。
【００４８】
図３には、横向きに撮像された画像と、縦向きに撮像された画像とが示されている。図３（Ａ）では、横向きに撮像された画像の上側領域に、背景による被写体領域３０５が撮像されているとする。また、図３（Ｂ）では、縦向きに撮像された画像の上側領域に、背景による被写体領域３０５が撮像されているとする。
【００４９】
領域検出部１４３は、センサ５００による測定結果（撮像装置１００の姿勢）が得られない場合、背景よる被写体領域（背景マスク）のうち、空よる被写体領域（空マスク）の候補が、画像フレームの上側領域に位置しているか否か（図２を参照）に基づいて、撮像された画像の向きとしての縦横を検出する。
【００５０】
ここで、領域検出部１４３は、空よる被写体領域（空マスク）の候補が画像に無い（図２（Ｂ）を参照）場合、空よる被写体領域を検出するための処理を終了する。一方、領域検出部１４３は、空よる被写体領域（空マスク）の候補が画像に在る（図２（Ｄ）を参照）場合、その位置を含む領域を上側領域と定める。このようにして、領域検出部１４３は、撮像用情報及び画像処理用情報として、撮像された画像の向きとしての縦横を示す情報（縦横情報）を定める。
【００５１】
一方、領域検出部１４３は、センサ５００による測定結果（撮像装置１００の姿勢）が得られた場合、センサ５００（水準器）が測定した撮像装置１００の姿勢を表す縦横（水平又は鉛直）の向きと、画像における被写体領域の位置（上側領域に分布しているか否か）とに基づいて、空による被写体領域（空マスク）の候補を検出する。
【００５２】
ここで、領域検出部１４３は、センサ５００による測定結果により撮像装置１００の姿勢が判ることで、撮像された画像の向きとしての縦横を判定することができる。これらの判定結果は、タグ情報として記憶されてもよい。
【００５３】
領域検出部１４３は、被写体領域を撮像するための撮像用情報、及び被写体領域を画像処理するための画像処理用情報を、予め定められた色情報（プロファイル）に基づいて画像毎に定める。ここで、領域検出部１４３は、空による被写体領域の画像データ、被写体領域を撮像した際の露光量（撮像環境の明るさ）、被写体領域を撮像した際の日時、画像における被写体領域の大きさ、被写体領域が撮像された緯度及び経度、撮像装置に対する被写体の方位、及び、センサ５００（角度センサ）により測定された撮像装置１００のチルト角の少なくとも一つに基づいて、空による被写体領域（空マスク）を検出する。
【００５４】
図４には、空による被写体領域を検出するためのプロファイル（以下、「空用プロファイル」という）の例が示されている（ＩＳＯ感度１００）。空用プロファイルの項目には、一例として、画像の種別と、露光量ＥＶと、検知用カラーバランスＣＢと、設定用カラーバランスと、カラーマトリクスとがある。
【００５５】
画像の種別（タイプ）には、例えば、晴天と、曇天と、雨天と、夕景と、朝焼けと、夜景とがある。さらに、画像の各種別には、被写体領域が撮像された緯度及び経度と、撮像装置に対する被写体の方位、被写体領域を撮像した際の日時と、センサにより測定された撮像装置のチルト角とが定められていてもよい。
【００５６】
露光量ＥＶは、被写体領域が撮像された際（撮像時）の画像の種別毎の露光量である。露光量ＥＶと、輝度 (Ｂｒｉｇｈｔｎｅｓｓ Ｖａｌｕｅ：Ｂｖ)と、感度Ｓｖ (Ｓｐｅｅｄ Ｖａｌｕｅ：Ｓｖ)と、絞り値Ａｖと、シャッタ速度(Ｔｉｍｅ Ｖａｌｕｅ：Ｔｖ）とには、露光量ＥＶ＝輝度Ｂｖ＋感度Ｓｖ＝絞り値Ａｖ＋シャッタ速度Ｔｖという関係がある。
【００５７】
検知用カラーバランスＣＢ（Ｒ：Ｇ：Ｂ）は、画像の種別毎に予め測定された、空による被写体領域として固有の色情報である。季節、緯度、撮像時刻、及び、空の状態に応じて、空のカラーバランス（分光、色温度）は変化するものの、例えば、晴天の場合であれば、空のカラーバランスは、固有のカラーバランス範囲に概ね収まる。
【００５８】
設定用カラーバランスは、画像の種別毎に予め定められたホワイトバランス係数（基準ホワイトバランス）である。空による被写体領域を撮像する際、ＣＰＵ１９０は、撮像部１１０に基準ホワイトバランス係数を定める。これにより、撮像部１１０は、基準ホワイトバランス係数に基づいて、空による被写体領域を撮像することができる。
【００５９】
カラーマトリクスは、画像の種別毎の画像処理用情報として予め定められたカラーマトリクスである。カラーマトリクスは、例えば、ルックアップテーブル（３Ｄ−ＬＵＴ等）に基づいて適切に定められてもよい。
【００６０】
領域検出部１４３は、撮像用情報及び画像処理用情報として、画像の種別（例えば、晴天、曇天、雨天、夕景、朝焼け、夜景）を定める。ここで、領域検出部１４３は、空用プロファイルの各項目と、撮像された被写体領域の各項目とをパターン照合する。例えば、領域検出部１４３は、空用プロファイルの検知用カラーバランスと、撮像された被写体領域のカラーバランスとをパターン照合する。パターン照合により一致する項目が閾値以上である画像の種別が在る場合、領域検出部１４３は、一致する項目が閾値以上である画像の種別を、撮像された画像の種別と定める。
【００６１】
また、領域検出部１４３は、撮像された画像の種別に基づいて、撮像用情報及び画像処理用情報として、画像のホワイトバランス（カラーバランス）を定める。例えば、領域検出部１４３は、空用プロファイルにおいて、撮像された空の種別に対応するホワイトバランス（カラーバランス）を、撮像用情報及び画像処理用情報として定める。
【００６２】
また、領域検出部１４３は、特定の被写体（例えば、顔）が撮像されているか否かに基づいて、撮像用情報及び画像処理用情報として、画像のシーン（例えば、ポートレート）を定める。また、領域検出部１４３は、空用プロファイルにおいて、撮像された画像のシーンに対応するホワイトバランス（カラーバランス）を、撮像用情報及び画像処理用情報として定める。
【００６３】
ここで、領域検出部１４３は、顔による被写体領域が画像に無く、且つ、空による被写体領域が画像に在る場合、風景が撮像されている画像であるか否かを、空による被写体領域の面積に基づいて判定し、判定結果を表示部１５０に表示させる。領域検出部１４３は、例えば、空による被写体領域の面積が閾値以上である場合、風景が撮像されている画像（シーン）であると判定する。
【００６４】
図１に戻り、画像処理装置１４０の説明を続ける。優先度設定部１４４は、予め定められた条件（例えば、面積が閾値以上であること）を満たす被写体領域に、画像における「領域の優先度」を定める。この「領域の優先度」とは、人がより注目しているであろう領域の優先度である。優先度設定部１４４は、設定した「領域の優先度」を、撮像用情報及び画像処理用情報として、被写体領域毎に記憶部１６０に記憶させる。
【００６５】
領域の優先度は、次のように定められてもよい。以下では、優先度を示す数字が小さいほど、領域の優先度が高いものとする。また、以下に示す優先度は、一例である。
【００６６】
優先度１．
動いている領域（動いている領域が画像に複数ある場合、画角からはみ出していない領域、又は画角の中央に分布する領域）。また、パンニングしたことにより、動いている領域が画像に広く分布している場合は、動いていない領域。
これらの領域は、優先度「１」に設定される。
人は、動いている領域及びパンニングした際に変化量の少ない領域に注目するためである。
【００６７】
優先度２．
画角（構図）、奥行（パースペクト）、被写体距離（デプス、深度）に関する領域。画角の中央付近に分布する領域。画像に奥行がある場合、至近側に分布する領域のうち、画角からはみ出していない領域であって、面積が所定の範囲内である（極端に大きくない）領域。
これらの領域は、優先度「２」に設定される。
主要な被写体像の領域が、至近から無限までの広い範囲に存在する可能性があるためである。
【００６８】
優先度３．
人の顔検出、動物（ペット）の顔検出、顔が検出された領域における肌色検出、動物の毛並みのテクスチャ（模様）、又は植物のテクスチャに基づいて抽出された領域。
これらの領域は、優先度「３」に設定される。
人または動物が撮像されている場合、人は、その顔に注目するためである。
【００６９】
優先度４．
特異である特徴量（例えば、色相環において不連続である色相）がある領域。背景の領域とそれ以外の領域とに分割された領域。彩度が高い領域。周囲と比較して明度が著しく異なる領域。周囲と比較して色相（色合い）が著しく異なる領域。テクスチャ（模様）が周囲と異なる領域。周囲と比較して空間周波数（画像周波数）が高い領域。ある特徴量において不連続な分布が一定量あり、その特徴量に基づいてラベリングされた結果、領域が形成された場合に、画像において違和感がある領域。
これらの領域は、優先度「４」に設定される。
【００７０】
優先度５．
特定の色相又は彩度に基づいて抽出された領域。
これらの領域は、優先度「５」に設定される。
人は、赤色、黄色、肌色の領域に注目するためである。
【００７１】
優先度６．
明度（明暗）に基づいて抽出された領域。
これらの領域は、優先度「６」に設定される。
【００７２】
優先度７．
テクスチャ（模様）に基づいて抽出された領域。
これらの領域は、優先度「７」に設定される。
【００７３】
優先度８．
空間周波数（画像周波数）に基づいて抽出された領域。
これらの領域は、優先度「８」に設定される。
【００７４】
優先度９．
縦又は横に延びたエッジで囲まれた領域であって、一定以上の太さがある領域。
これらの領域は、優先度「９」に設定される。
【００７５】
次に、画像処理装置１４０の動作手順を説明する。
図５は、撮像された空による被写体領域の色情報に基づいて、ホワイトバランス調整を実行する動作手順を示すフローチャートである。特徴量算出部１４１は、撮像された画像（スルー画像、又はスルー画像列）を、バッファメモリ部１３０から取り込み（ステップＳ１）、取り込んだ画像に対して、基本的な画像処理を実行する（ステップＳ２）。
【００７６】
領域抽出部１４２は、リサイズした画像を、バッファメモリ部１３０を介して画像特徴量（例えば、Ｙ，Ｕ，Ｖ）毎に読み込む（ステップＳ３）。領域抽出部１４２は、読み込んだ画像における複数の画像特徴量に基づいて、２値化画像を作成する（ステップＳ４）。また、領域抽出部１４２は、２値化画像から領域を抽出し、抽出した領域にラベルを割り当てる（ステップＳ５）。
【００７７】
領域抽出部１４２は、ノイズと推定される領域が画像にある場合、それらの領域を画像から除去する。また、領域抽出部１４２は、背景と推定される領域が画像にある場合、その領域を画像から除去する（ステップＳ６）。
【００７８】
領域検出部１４３は、背景による被写体領域を検出する（ステップＳ７）。領域検出部１４３は、予め定められた露光量（例えば、絞り値、減光値（ＮＤ）が考慮されてもよい）で撮像された被写体領域の輝度（明るさ）、及び画像における被写体領域の位置に基づいて、背景による被写体領域のうちから、空による被写体領域の候補を検出する（ステップＳ８）。そして、領域検出部１４３は、空による被写体領域の候補から、被写体領域の色情報（空用プロファイルデータ）に基づいて空による被写体領域を検出し、検出した空による被写体領域の種別（例えば、晴天、曇天）に基づいてホワイトバランス係数を定める（ステップＳ９）。
【００７９】
撮像部１１０は、定められたホワイトバランス係数に基づいて露光し、撮像処理を実行する（ステップＳ１０）。領域検出部１４３は、定められたホワイトバランス係数に応じたカラーマトリクスに基づいて画像処理を実行する（ステップＳ１１）。
【００８０】
図６は、撮像された空による被写体領域の色情報に基づいて、シーン判定を実行する動作手順を示すフローチャートである。ステップＳａ１〜ステップＳａ９は、図５に示したステップＳ１〜ステップＳ９と同様である。
【００８１】
領域検出部１４３は、顔による被写体領域が画像に無く、且つ、空による被写体領域が画像に在る場合、風景が撮像されている画像であるか否かを、空による被写体領域の面積に基づいて判定し、判定結果を表示部１５０に表示させる（ステップＳａ１０）。領域検出部１４３は、定められたホワイトバランス係数に応じたカラーマトリクス（例えば、３Ｄ−ＬＵＴ）に基づいて画像処理を実行する（ステップＳａ１１）。
【００８２】
図７は、空による被写体領域の色情報に基づいて撮像する動作手順を示すフローチャート（前半）である。また、図８は、空による被写体領域の色情報に基づいて撮像する動作手順を示すフローチャート（後半）である。ＣＰＵ１９０は、予め定められた基準露光量、及び基準ホワイトバランス（検知用カラーバランス）を撮像部１１０に設定し、撮像部１１０に撮像させる（ステップＳｂ１）。撮像部１１０は、基準露光量及び基準ホワイトバランスで露光する（撮像処理）（ステップＳｂ２）。
【００８３】
領域検出部１４３は、背景による被写体領域の露光量のヒストグラムにおいて、ピーク波形がクリップされているか否かを判定する（ステップＳｂ３）。ピーク波形がクリップされていない場合（ステップＳｂ３−Ｎｏ）、領域検出部１４３は、撮像装置１００の姿勢データがセンサ５００から得られたか否かを判定する（ステップＳｂ４）。
【００８４】
撮像装置１００の姿勢データがセンサ５００から得られた場合（ステップＳｂ４−Ｙｅｓ）、領域検出部１４３は、背景による被写体領域が画像の上側領域に分布しているか否かを判定する（ステップＳｂ５）。背景による被写体領域が画像の上側領域に分布している場合（ステップＳｂ５−Ｙｅｓ）、領域検出部１４３は、撮像時の露光量が、予め定められた範囲内か否かを判定する（ステップＳｂ６）。
【００８５】
撮像時の露光量が、予め定められた範囲内である場合（ステップＳｂ６−Ｙｅｓ）、領域検出部１４３は、背景による被写体領域の色情報が、空に固有の色情報の範囲内か否かを判定する（ステップＳｂ７）。背景による被写体領域の色情報が、空に固有の色情報の範囲内である場合（ステップＳｂ７−Ｙｅｓ）、領域検出部１４３は、撮像された被写体領域の色情報に対応する、空に固有の色情報（カラーバランスを含む空用プロファイルデータ）に基づいて、ホワイトバランスを定める（ステップＳｂ８）。ＣＰＵ１９０は、撮像用情報に基づいて撮像部１１０に露光させ、撮像処理を実行させる（ステップＳｂ９）。
【００８６】
領域検出部１４３は、ユーザから操作入力された動作モードがシーン判定モードか否かを判定する（ステップＳｂ１０）。動作モードがシーン判定モードでない場合（ステップＳｂ１０−Ｎｏ）、領域検出部１４３は、空用プロファイル（図４を参照）に予め定められたカラーマトリクスに基づいて、色処理を実行する（ステップＳｂ１１）。また、領域検出部１４３は、色処理以外の画像処理を実行する（ステップＳｂ１２）。
【００８７】
領域検出部１４３は、撮像用情報及び画像処理用情報として、画像に縦横情報が定められているか否かを判定する（ステップＳｂ１３）。画像に縦横情報が定められていない場合（ステップＳｂ１３−Ｎｏ）、領域検出部１４３は、画像処理した画像データと、各種データ（例えば、タグ情報、ブラウズ用情報）とを対応付け、画像データ及び各種データを記憶媒体２００に記憶させる（ステップＳｂ１４）。
【００８８】
一方、ステップＳｂ３において、ピーク波形がクリップされている場合（ステップＳｂ３−Ｙｅｓ）、色情報が正しく検出されるよう、ＣＰＵ１９０は、露光量を下げるように撮像部１１０に再露光させる（ステップＳｂ１５）。そして、領域検出部１４３は、ステップＳｂ３を繰り返す。
【００８９】
また、ステップＳｂ４において、撮像装置１００の姿勢データがセンサ５００から得られない場合（ステップＳｂ４−Ｎｏ）、領域検出部１４３は、背景による被写体領域が画像の上側領域に分布しているか否かを判定する（ステップＳｂ１６）。背景による被写体領域が画像の上側領域に分布している場合（ステップＳｂ１６−Ｙｅｓ）、領域検出部１４３は、撮像用情報及び画像処理用情報として、画像に縦横情報を定める（ステップＳｂ１７）。そして、領域検出部１４３は、ステップＳｂ６に処理を進める。
【００９０】
また、ステップＳｂ１０において、動作モードがシーン判定モードである場合（ステップＳｂ１０−Ｙｅｓ）、領域検出部１４３は、画像に顔を検出したか否かを判定する（ステップＳｂ１８）。画像に顔を検出した場合（ステップＳｂ１８−Ｙｅｓ）、領域検出部１４３は、ポートレート（人物撮像）用に予め定められた画像処理パラメータに基づいて、色処理を実行する（ステップＳｂ１９）。そして、領域検出部１４３は、ステップＳｂ１２に処理を進める。
【００９１】
また、ステップＳｂ１８において、画像に顔を検出していない場合（ステップＳｂ１８−Ｎｏ）、領域検出部１４３は、空による被写体領域の面積が、予め定められた閾値以上であるか否かを判定する（ステップＳｂ２０）。空による被写体領域の面積が、予め定められた閾値以上である場合（ステップＳｂ２０−Ｙｅｓ）、領域検出部１４３は、風景用などに予め定められた画像処理パラメータに基づいて、色処理を実行する。また、領域検出部１４３は、シーン情報（例えば、ポートレート、風景シーン、夜景シーン、夕景シーン、朝焼けシーン）を、タグ情報の記憶領域に書き込む（ステップＳｂ２１）。そして、領域検出部１４３は、ステップＳｂ１２に処理を進める。
【００９２】
また、ステップＳｂ１３において、画像に縦横情報が定められている場合（ステップＳｂ１３−Ｙｅｓ）、シーン情報をタグ情報の記憶領域に書き込む（ステップＳｂ２２）。そして、領域検出部１４３は、ステップＳｂ１４に処理を進める。
【００９３】
また、ステップＳｂ５において、背景による被写体領域が画像の上側領域に分布していない場合（ステップＳｂ５−Ｎｏ）、ＣＰＵ１９０は、撮像用情報に基づいて撮像部１１０に露光させ、撮像処理を実行させる（ステップＳｂ２３）。そして、領域検出部１４３は、ステップＳｂ１４に処理を進める。
【００９４】
また、ステップＳｂ６において、撮像時の露光量が、予め定められた範囲内でない場合（ステップＳｂ６−Ｎｏ）、ＣＰＵ１９０は、ステップＳｂ２３に処理を進める。また、ステップＳｂ７において、背景による被写体領域の色情報が、空に固有の色情報の範囲内でない場合（ステップＳｂ７−Ｎｏ）、ＣＰＵ１９０は、ステップＳｂ２３に処理を進める。
【００９５】
また、ステップＳｂ１６において、背景による被写体領域が画像の上側領域に分布していない場合（ステップＳｂ１６−Ｎｏ）、領域検出部１４３は、処理を終了する。また、ステップＳｂ２０において、空による被写体領域の面積が、予め定められた閾値以上でない場合（ステップＳｂ２０−Ｎｏ）、領域検出部１４３は、ステップＳｂ１１に処理を進める。
【００９６】
以上のように、画像処理装置１４０は、予め定められた被写体明るさＢｖを測光し、適正露光量ＥＶに、絞り値Ａｖ＋シャッタ速度Ｔｖ、又は感度Ｓｖで調整露光され、（屋外の晴天で空が写っているような場合、高いＢｖ値が観測される）、スルー画等として撮影された画像から、画像特徴量（例えば、色情報、輝度情報）に基づいて第１被写体領域（例えば、空などの背景による被写体領域、背景以外の主要被写体領域）を抽出（ラベリング等）する領域抽出部１４２と、抽出された前記第１被写体領域のうち、予め定められた被写体による第２被写体領域（例えば、空による被写体領域）を、予め定められた色調情報（例えば、輝度値、カラーバランス等を含む空用プロファイルデータ、カメラ付随の測位センサ（ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報）及び方位センサ（方位情報）、並びに、３軸加速度センサによる加速度情報も参照すれば、より正確な空エリアの色調情報が利用できる）、及び前記画像における前記第１被写体領域の位置（例えば、画像フレームの上側領域に全体が分布している被写体領域であるか否か）に基づいて検出（選択）する領域検出部１４３と、を備える。
この構成により、予め定められた被写体明るさが測光され、撮像された画像から、予め定められた被写体による前記第２被写体領域を、予め定められた色情報、及び前記画像における前記第１被写体領域の位置に基づいて検出する。これにより、画像処理装置は、予め定められた被写体による被写体領域を、撮像された画像から適切に検出することができる。
【００９７】
また、領域検出部１４３は、前記第１被写体領域の輝度に基づいて、前記第２被写体領域を検出する。
これにより、画像処理装置は、前記第１被写体領域の輝度に基づいて、前記第２被写体領域を適切に検出することができる。
【００９８】
また、領域検出部１４３は、前記第２被写体領域として、撮像された空による被写体領域を検出する。
これにより、画像処理装置は、撮像された空による被写体領域を検出することができる。
【００９９】
また、領域検出部１４３は、画像を撮像するための撮像用情報、及び撮像された画像を画像処理するための画像処理用情報を、前記第２被写体領域（例えば、撮像された空による被写体領域）の色情報、及び前記画像における前記第２被写体領域の位置（例えば、画像フレームの上側領域に全体が分布している被写体領域であるか否か）に基づいて、画像毎に定める。
この構成により、領域検出部１４３は、撮像用情報及び画像処理用情報を、画像毎に定める。これにより、画像処理装置は、撮像用情報に基づいて適切に撮像させることができる。また、画像処理装置は、画像処理用情報に基づいて適切に画像処理することができる。
【０１００】
また、領域検出部１４３は、前記第２被写体領域（例えば、撮像された空による被写体領域）の色情報のパターン（例えば、カラーバランス（色温度））に基づいて、前記撮像用情報及び前記画像処理用情報として、画像のホワイトバランスを定める。
これにより、画像処理装置は、画像のホワイトバランスに基づいて適切にホワイトバランス調整された画像を、撮像させることができる。また、画像処理装置は、画像のホワイトバランスに基づいて適切にホワイトバランス調整することができる。
【０１０１】
また、領域検出部１４３は、前記第２被写体領域（例えば、撮像された空による被写体領域）の色情報のパターン（例えば、カラーバランス）に基づいて、前記撮像用情報及び前記画像処理用情報として、画像のシーン（例えば、ポートレート、風景モード）を定める。
これにより、画像処理装置は、画像のシーンに基づいて適切に調整された撮像処理パラメータで、画像を撮像させることができる。また、画像処理装置は、画像のシーンに基づいて適切に調整された画像処理パラメータで、画像処理することができる。
【０１０２】
また、領域検出部１４３は、前記第２被写体領域の色情報のパターン（例えば、カラーバランス）に基づいて、前記撮像用情報及び前記画像処理用情報として、画像の種別（タイプ）（例えば、晴天、曇天、雨天、夕景、朝焼け、夜景）を定める。
これにより、画像処理装置は、画像の種別に基づいて適切に調整された撮像処理パラメータで、画像を撮像させることができる。また、画像処理装置は、画像の種別に基づいて適切に調整された画像処理パラメータで、画像処理することができる。
【０１０３】
また、領域検出部１４３は、前記画像における前記第２被写体領域の位置（例えば、画像フレームの上側領域に、前記第２被写体領域の全体が分布しているか否か）に基づいて、撮像された画像の向きとしての縦横を示す情報を定める。
これにより、画像処理装置は、撮像された画像の向きとしての縦横を示す情報に基づいて適切に向きが調整されるパラメータで、画像を記録させることができる。また、画像処理装置は、撮像された画像の向きとしての縦横を示す情報を画像タグとして、画像に付加することができる。
【０１０４】
また、撮像装置１００は、被写体（例えば、空、土、レンガ）を撮像する撮像部１１０と、画像処理装置１４０と、を備える。
これにより、撮像装置１００は、撮像用情報に基づいて画像を適切に撮像することができる。また、撮像装置１００は、画像処理用情報に基づいて画像を適切に画像処理することができる。また、撮像装置１００は、撮像された空による被写体領域の色情報などに基づいて、画像を適切に撮像することができる。また、撮像装置１００は、撮像された空による被写体領域の色情報などに基づいて、画像を適切に画像処理することができる。
【０１０５】
例えば、撮像装置１００は、画像のホワイトバランスに基づいて適切にホワイトバランス調整された画像を、撮像することができる。また、撮像装置１００は、画像のシーンに基づいて適切に調整された撮像処理パラメータで、画像を撮像することができる。また、撮像装置１００は、画像の種別に基づいて適切に調整された撮像処理パラメータで、画像を撮像することができる。また、撮像装置１００は、撮像された画像の向きとしての縦横を示す情報に基づいて適切に縦横指定された状態で、画像を記録することができる。
【０１０６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１０７】
また、上記に説明した画像処理装置、撮像装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【０１０８】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１０９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１１０】
１００…撮像装置、１１０…撮像部、１１１…レンズ鏡筒、１４０…画像処理装置、１４１…特徴量算出部、１４２…領域抽出部、１４３…領域検出部、１４４…優先度設定部、１６０…記憶部、１９０…ＣＰＵ、５００…センサ
【図１】
2014021825.tif 000003
【図２】
2014021825.tif 000004
【図３】
2014021825.tif 000005
【図４】
2014021825.tif 000006
【図５】
2014021825.tif 000007
【図６】
2014021825.tif 000008
【図７】
2014021825.tif 000009
【図８】
2014021825.tif 000010