(57)【特許請求の範囲】
【請求項１】
色情報により画像に含まれる複数の被写体領域を抽出する抽出部と、
前記被写体領域の評価値をそれぞれ算出して、前記評価値の最も高い前記被写体領域を特定被写体領域として設定する設定部と、を備え、
前記設定部は、前記抽出部で特定色成分の色情報により前記被写体領域が抽出されたときは、前記評価値が最も高い場合でなくても前記特定色成分の色情報により抽出された前記被写体領域を前記特定被写体領域として設定する領域抽出装置。
【請求項２】
前記設定部は、前記抽出部で抽出された前記被写体領域の面積により前記評価値を算出
する請求項１に記載の領域抽出装置。
【請求項３】
前記抽出部は、輝度情報により画像に含まれる前記被写体領域を抽出する請求項１又は請求項２に記載の領域抽出装置。
【請求項４】
前記設定部は、赤色成分の色情報による前記被写体領域が抽出されたときは、前記評価値が最も高い場合でなくても前記赤色成分の色情報による前記被写体領域を前記特定被写体領域として設定する請求項１から請求項３のいずれか一項に記載の領域抽出装置。
【請求項５】
前記設定部は、青色成分の色情報による前記被写体領域と、赤色成分の色情報による前記被写体領域と、が抽出されたときは、前記赤色成分の色情報による前記被写体領域の前記評価値より前記青色成分の色情報による前記被写体領域の前記評価値が高い場合であっても前記赤色成分の色情報による前記被写体領域を前記特定被写体領域として設定する請求項１から請求項３のいずれか一項に記載の領域抽出装置。
【請求項６】
前記設定部は、黄色成分の色情報による前記被写体領域と、赤色成分の色情報による前記被写体領域と、が抽出されたときは、前記赤色成分の色情報による前記被写体領域の前記評価値より前記黄色成分の色情報による前記被写体領域の前記評価値が高い場合であっても前記赤色成分の色情報による前記被写体領域を前記特定被写体領域として設定する請求項１から請求項３のいずれか一項に記載の領域抽出装置。
【請求項７】
前記設定部は、青色成分の色情報による前記被写体領域と、黄色成分の色情報による前記被写体領域と、が抽出されたときは、前記黄色成分の色情報による前記被写体領域の前記評価値より前記青色成分の色情報による前記被写体領域の前記評価値が高い場合であっても前記黄色成分の色情報による前記被写体領域を前記特定被写体領域として設定する請求項１から請求項３のいずれか一項に記載の領域抽出装置。
【請求項８】
前記設定部は、前記抽出部で赤色成分の色情報による前記被写体領域と、輝度情報による前記被写体領域と、が抽出されたときは、前記赤色成分の色情報による前記被写体領域の前記評価値より前記輝度情報による前記被写体領域の前記評価値が高い場合であっても前記赤色成分の色情報による前記被写体領域を前記特定被写体領域として設定する請求項３に記載の領域抽出装置。
【請求項９】
前記設定部は、前記抽出部で黄色成分の色情報による前記被写体領域と、輝度情報による前記被写体領域と、が抽出されたときは、前記黄色成分の色情報による前記被写体領域の前記評価値より前記輝度情報による前記被写体領域の前記評価値が高い場合であっても前記黄色成分の色情報による前記被写体領域を前記特定被写体領域として設定する請求項３に記載の領域抽出装置。
【請求項１０】
前記設定部は、前記抽出部で青色成分の色情報による前記被写体領域と、輝度情報による前記被写体領域と、が抽出されたときは、前記輝度情報による前記被写体領域の前記評価値より前記青色成分の色情報による前記被写体領域の前記評価値が高い場合であっても前記輝度情報による前記被写体領域を前記特定被写体領域として設定する請求項３に記載の領域抽出装置。
【請求項１１】
請求項１から請求項１０のいずれか一項に記載の領域抽出装置を備える撮像装置。
【請求項１２】
コンピュータに、
色情報により画像に含まれる複数の被写体領域を抽出する第１手順と、
前記被写体領域の評価値をそれぞれ算出して、前記評価値の最も高い前記被写体領域を特定被写体領域として設定する第２手順とを実行させるとともに、
前記第２手順は、前記第１手順で特定色成分の色情報により前記被写体領域が抽出されたときは、前記評価値が最も高い場合でなくても前記特定色成分の色情報により抽出された前記被写体領域を前記特定被写体領域として設定する、
を実行させるための領域抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から領域を抽出する領域抽出装置、撮像装置、及び領域抽出プログラムに関する。
【背景技術】
【０００２】
画像の特徴量のヒストグラムに基づいて、撮像された画像から領域を抽出し、抽出した領域を識別する画像処理装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−１００７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された画像処理装置は、入力された画像から、人が注目する領域を抽出すること、すなわち、主要被写体の領域を適切に抽出することができないという問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、入力された画像から主要被写体の領域を適切に抽出することができる領域抽出装置、撮像装置、及び領域抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、色情報により画像に含まれる複数の被写体領域を抽出する抽出部と、前記被写体領域の評価値をそれぞれ算出して、前記評価値の最も高い前記被写体領域を特定被写体領域として設定する設定部と、を備え、前記設定部は、前記抽出部で特定色成分の色情報により前記被写体領域が抽出されたときは、前記評価値が最も高い場合でなくても前記特定色成分の色情報により抽出された前記被写体領域を前記特定被写体領域として設定する領域抽出装置である。
【００１０】
また、本発明は、領域抽出装置を備える撮像装置である。
【００１１】
また、本発明は、コンピュータに、色情報により画像に含まれる複数の被写体領域を抽出する第１手順と、前記被写体領域の評価値をそれぞれ算出して、前記評価値の最も高い前記被写体領域を特定被写体領域として設定する第２手順とを実行させるとともに、前記第２手順は、前記第１手順で特定色成分の色情報により前記被写体領域が抽出されたときは、前記評価値が最も高い場合でなくても前記特定色成分の色情報により抽出された前記被写体領域を前記特定被写体領域として設定する、を実行させるための領域抽出プログラムである。
【発明の効果】
【００１５】
本発明によれば、領域抽出装置は、入力された画像から主要被写体の領域を適切に抽出することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態における、レンズ鏡筒と、領域抽出装置を備える撮像装置と、記憶媒体との構成を表すブロック図である。
【図２】本発明の一実施形態における、画像から抽出された領域の例を表す図である。
【図３】本発明の一実施形態における、変更された閾値に基づいて画像から抽出された領域の例を表す図である。
【図４】均等色空間の座標系を表す図である。
【図５】本発明の一実施形態における、領域に合焦させるまでの処理の手順を表すフローチャートである。
【図６】本発明の一実施形態における、赤色系領域に高い優先度を定める処理の手順を表すフローチャートである。
【図７】本発明の一実施形態における、赤色系領域、黄色系領域及び青色系領域に、高い優先度を定める処理の手順を表すフローチャートである。
【図８】本発明の一実施形態における、赤色系領域、黄色系領域、青色系領域の順に高い優先度を定める処理の手順を表すフローチャートである。
【図９】本発明の一実施形態における、赤色系領域、黄色系領域、青色系領域及び高輝度領域に、高い優先度を定める処理の手順を表すフローチャートである。
【図１０】本発明の一実施形態における、他の抽出された領域と比較して低い優先度を、低輝度領域に定める処理の手順を表すフローチャートである。
【発明を実施するための形態】
【００１７】
本発明の一実施形態について図面を参照して詳細に説明する。図１には、レンズ鏡筒１１１と、領域抽出装置１４０を備える撮像装置１００と、記憶媒体２００との構成が、ブロック図により表されている。撮像装置１００は、レンズ鏡筒１１１から入射される光学像を撮像し、得られた画像を静止画又は動画の画像として、記憶媒体２００に記憶させる。
【００１８】
まず、レンズ鏡筒１１１の構成を説明する。
レンズ鏡筒１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、鏡筒制御部１１８を備える。なお、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。
【００１９】
ＡＦレンズ１１２は、レンズ駆動部１１６により駆動され、後述する撮像部１１０の撮像素子１１９の受光面（光電変換面）に、光学像を導く。
【００２０】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１８に出力する。ここで、ＡＦレンズ１１２の移動量に応じた信号とは、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。
【００２１】
鏡筒制御部１１８は、撮像装置１００のＣＰＵ１９０から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させる制御信号である。鏡筒制御部１１８は、駆動制御信号に応じて、例えば、レンズ駆動部１１６に出力するパルス電圧のステップ数を変更する。
【００２２】
また、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、ＣＰＵ１９０に出力する。ここで、鏡筒制御部１１８は、例えば、ＡＦレンズ１１２の移動量に応じた信号を、ＡＦレンズ１１２の移動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出してもよい。
【００２３】
レンズ駆動部１１６は、鏡筒制御部１１８の制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。
【００２４】
次に、撮像装置１００の構成を説明する。
撮像装置１００は、撮像部１１０と、領域抽出装置１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ１９０と、通信部１７０とを備える。
【００２５】
撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備える。撮像部１１０は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。
【００２６】
撮像素子１１９は、光電変換面を備え、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。撮像素子１１９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）で構成されていてもよい。また、撮像素子１１９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。
【００２７】
また、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けていない状態において、連続的に得られる画像をスルー画像として、バッファメモリ部１３０及び表示部１５０に、Ａ／Ｄ変換部１２０を介して出力する。
【００２８】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部１３０に出力する。
【００２９】
操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、受け付けた操作入力に応じた信号をＣＰＵ１９０に出力する。
【００３０】
領域抽出装置１４０は、記憶部１６０に記憶されている画像処理条件に基づいて、バッファメモリ部１３０に記憶されている画像を画像処理する。画像処理された画像は、通信部１７０を介して記憶媒体２００に記憶される。
【００３１】
また、領域抽出装置１４０は、画像特徴量に基づいて、バッファメモリ部１３０に記憶されている画像から領域を抽出し、抽出した領域に優先度を定める。また、領域抽出装置１４０は、抽出した領域を示す情報を記憶部１６０に記憶させる。ここで、領域を示す情報とは、例えば、領域の分布を表す情報、領域の画像特徴量を表す情報、及び領域に定められた優先度を表す情報である。
【００３２】
表示部１５０は、撮像部１１０によって得られた画像、及び操作画面等を表示する。表示部１５０は、例えば、液晶ディスプレイである。
【００３３】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像を記憶する。
【００３４】
記憶部１６０は、シーン判定の際にＣＰＵ１９０によって参照される判定条件と、シーン判定によって判断されたシーン毎に対応付けられた撮像条件と、領域を示す情報等とを記憶する。
【００３５】
ＣＰＵ１９０は、設定された撮像条件（例えば、絞り値、露出値）に従って、撮像部１１０を制御する。また、ＣＰＵ１９０は、領域を示す情報を、領域抽出装置１４０から取得する。また、ＣＰＵ１９０は、領域を示す情報に基づいてレンズ鏡筒１１１の鏡筒制御部１１８に駆動制御信号を出力することで、画像から抽出された領域のうち、領域抽出装置１４０が設定した優先度が高い領域に合焦させるよう焦点を調節する。これにより、優先度が高い領域を含む画像は、優先度が高い領域に光学系により合焦した状態で、撮像部１１０により撮像される。
【００３６】
また、ＣＰＵ１９０は、領域を示す情報に基づいて、画像処理のプレ処理又はポスト処理として、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、被写体像（オブジェクト）の追尾の設定、夜景か否かの判定の設定、色補正処理の設定、被写体像の拡大表示の設定、パンニング表示の設定、ズーム倍率に連動した明るさの最適化の設定、などを制御する。
【００３７】
また、ＣＰＵ１９０は、領域を示す情報に基づいて、トーンカーブ（階調カーブ）の設定、静止画及び動画の同時撮影を実行するか否かの設定などを制御する。
【００３８】
また、ＣＰＵ１９０は、領域を示す情報に基づいて、プレ処理又はポスト処理として、連写するか否かの設定、及び、連写において、合焦させる被写体像の切り替えの設定、焦点距離の連続変更の設定、撮像装置１００の発光部（不図示）が発光する閃光の発光量の変更の設定、露光量の変更の設定、又はシャッタスピードの変更を実行するか否かの設定などを制御する。
【００３９】
また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、静止画形式又は動画形式の画像を、領域抽出装置１４０に画像処理させる。
【００４０】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データ、領域を示す情報など）の書込み、読み出し、あるいは消去を行う。
【００４１】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、情報（画像データ、領域を示す情報など）を記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。
【００４２】
次に、領域抽出装置１４０の詳細について説明する。
領域抽出装置１４０は、特徴量算出部１４１と、領域抽出部１４２と、優先度設定部１４３とを備える。
【００４３】
特徴量算出部１４１は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得する。また、特徴量算出部１４１は、バッファメモリ部１３０から取得した画像における複数の特徴（例えば、色情報、彩度情報、輝度（明度）情報、テクスチャ、エッジ）毎に、その画像特徴量を算出し、算出した画像特徴量を領域抽出部１４２に出力する。
【００４４】
領域抽出部１４２は、特徴量算出部１４１が算出した画像特徴量を取得する。また、領域抽出部１４２は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得する。領域抽出部１４２は、撮像部１１０により撮像された画像から、画像特徴量（例えば、色情報、彩度情報、輝度情報）に基づいて領域を抽出する。ここで、領域抽出部１４２が抽出する領域とは、バッファメモリ部１３０から取得した画像に含まれる、被写体の領域である。
【００４５】
また、領域抽出部１４２は、画像特徴量に定められた一定範囲と、その範囲外とに２値化された画像（以下、「２値画像」という）から領域を抽出し、抽出した領域にラベルを割り当てる（ラベリング）。ここで、一定範囲は、予め定められた閾値の上限及び下限により、画像特徴量が区分されることで定められる。また、閾値は、画像における画像特徴量の平均値（Ａｖｅ）及び標準偏差（σ）に基づいて、例えば、「平均値＋係数×標準偏差」と定められてもよい。
【００４６】
図２には、画像から抽出された領域の例が表されている。領域抽出部１４２は、撮像部１１０が撮像した画像から、輝度に基づく画像（以下、「Ｙ画像」という）を抽出する。領域抽出部１４２は、撮像部１１０が撮像した画像の輝度（入力値）を補正（例えば、ガンマ補正）し、補正した輝度（出力値）を算出する。
【００４７】
領域抽出部１４２は、補正した輝度（出力値）を、複数の範囲に区分する。図２では、一例として、補正した輝度は、区分１〜４に区分されたとする。領域抽出部１４２は、区分毎に２値画像を生成する。これにより、区分１の範囲上限が「平均値＋Ｋ１×標準偏差」であり、区分１の範囲下限が「平均値＋Ｋ２×標準偏差」である場合、区分１の２値画像には、高輝度領域が含まれる。
【００４８】
領域抽出部１４２は、区分１の２値画像に含まれている高輝度領域の分布を探索することにより、探索結果を表す２値画像（領域画像）に、高輝度領域３００を抽出する。同様に、領域抽出部１４２は、区分２の２値画像に含まれている中輝度領域を探索することにより、領域画像に中輝度領域３１０を抽出する。また、領域抽出部１４２は、区分４の２値画像に含まれている低輝度領域を探索することにより、領域画像に低輝度領域３２０を抽出する。
【００４９】
同様に、領域抽出部１４２は、補正した色情報Ｃｒを、複数の範囲に区分する。図２では、一例として、補正した色情報Ｃｒは、区分５〜８に区分されたとする。領域抽出部１４２は、区分毎に２値画像を生成する。これにより、区分５の範囲上限が「平均値＋Ｋ３×標準偏差」であり、区分５の範囲下限が「平均値＋Ｋ４×標準偏差」である場合、区分５の２値画像には、赤色系領域が含まれる。
【００５０】
領域抽出部１４２は、区分５の２値画像に含まれる赤色系領域の分布を探索することにより、領域画像に、赤色系領域４００を抽出する。同様に、領域抽出部１４２は、区分６の２値画像に含まれる桃色系領域を探索することにより、領域画像に桃色系領域４１０を抽出する。また、領域抽出部１４２は、区分８の２値画像に含まれる緑色系領域を探索することにより、領域画像に緑色系領域４２０を抽出する。
【００５１】
同様に、領域抽出部１４２は、補正した色情報Ｃｂを、複数の範囲に区分する。図２では、一例として、補正した色情報Ｃｂは、区分９〜１２に区分されたとする。領域抽出部１４２は、区分毎に２値画像を生成する。これにより、区分９の範囲上限が「平均値＋Ｋ５×標準偏差」であり、区分９の範囲下限が「平均値＋Ｋ６×標準偏差」である場合、区分９の２値画像には、青色系領域が含まれる。
【００５２】
領域抽出部１４２は、区分９の２値画像に含まれる青色系領域の分布を探索することにより、領域画像に青色系領域５００を抽出する。同様に、領域抽出部１４２は、区分１０の２値画像に含まれる水色系領域を探索することにより、領域画像に水色系領域５１０を抽出する。また、領域抽出部１４２は、区分１２の２値画像に含まれる黄色系領域を探索することにより、領域画像に黄色系領域５２０を抽出する。
【００５３】
また、輝度領域については、輝度がより低い最低輝度領域を抽出するようにしてもよい。ここで、領域抽出部１４２は、閾値をより低い値に変更し、変更した閾値よりも低い輝度の領域を抽出する。このようにすれば、領域抽出部１４２は、例えば、影が撮像されている領域が含まれている低輝度領域３２０では無く、黒色の被写体が撮像されている最低輝度領域を抽出することができる。
【００５４】
図３には、変更された閾値に基づいて画像から抽出された領域の例が表されている。図３では、区分３と区分４との境界を定める閾値が、より低い値に変更されたとする。これにより、影が撮像されている領域が低輝度領域３２０から除外され、黒色の被写体のみが撮像されている最低輝度領域３２１が、領域画像に抽出される。
【００５５】
図１に戻り、領域抽出装置１４０の構成の説明を続ける。優先度設定部１４３は、領域抽出部１４２により抽出された領域に、人がより注目しているであろう領域を示す優先度を定める。優先度設定部１４３は、領域毎に算出される評価値に応じて、領域に優先度を定める。
【００５６】
例えば、優先度設定部１４３は、画角中心から領域の重心までの距離に応じて、領域毎に評価値を定める。ここで、評点算出部１４３は、画角中心の近くに分布する領域ほど、その領域に高い評価値を定める。また、例えば、優先度設定部１４３は、領域の慣性モーメントに応じて、その領域に評価値を定める。優先度設定部１４３は、慣性モーメントが小さい（重心に集中している）領域には、高い評価値を定める。また、例えば、優先度設定部１４３は、領域の面積（画素数）に応じて、領域に評価値を定める。評点算出部１４３は、予め定められた面積に近い領域ほど、その領域に高い評価値を定める。
【００５７】
また、優先度設定部１４３は、領域抽出部１４２により抽出された領域に、予め定められた色相に応じて優先度を定める。ここで、優先度設定部１４３は、領域抽出部１４２により抽出された領域に、均等色空間（Ｌ＊ａ＊ｂ＊表色系）における色相角に応じて優先度を定める。
【００５８】
図４には、均等色空間の座標系が表されている。Ｌ＊は、明度指数である。また、ａ＊及びｂ＊は、色度指数（クロマティクネス指数）である。ここで、ａ＊の正方向は赤色を表し、ａ＊の負方向は緑色を表す。一方、ｂ＊の正方向は黄色を表し、ｂ＊の負方向は青色を表す。また、ｈ（＝ｔａｎ−１（ｂ＊／ａ＊））は、色相角（メトリック色相角）である。また、Ｃ＊（＝√（（ａ＊）２＋（ｂ＊）２））は、彩度である。また、Ｒ（＝√（（Ｌ＊）２＋（ａ＊）２＋（ｂ＊）２）））は、原点からの距離（色差）である。
【００５９】
優先度設定部１４３は、赤色（図２では、赤色系領域４００）、黄色（図２では、黄色系領域５２０）及び青色（図２では、青色系領域５００）の抽出された領域に、他の色の抽出された領域と比較して高い優先度を定める。ここで、優先度設定部１４３は、赤色の抽出された領域、黄色の抽出された領域、青色の抽出された領域の順に高い優先度を、抽出された各領域に定めてもよい。
【００６０】
また、優先度設定部１４３は、領域抽出部１４２により抽出された領域に、彩度（Ｃ＊）に応じて優先度を定める。例えば、優先度設定部１４３は、彩度の高い抽出された領域に、高い優先度を定める。
【００６１】
また、優先度設定部１４３は、領域抽出部１４２により輝度（Ｙ）に基づいて抽出された領域に、輝度に応じた明度（Ｌ＊）に応じて優先度を定める。例えば、優先度設定部１４３は、明度の高い抽出された領域に、高い優先度を定める。
【００６２】
また、優先度設定部１４３は、予め定められた第１閾値（図２では、区分１と区分２との境界となる閾値）よりも高い輝度の抽出された領域に、他の抽出された領域と比較して高い優先度を定める。また、優先度設定部１４３は、赤色の抽出された領域（図２では、赤色系領域４００）、黄色の抽出された領域（図２では、黄色系領域５２０）、第１閾値よりも高い輝度の抽出された領域（図２では、高輝度領域３００）、青色の抽出された領域（図２では、青色系領域５００）の順に高い優先度を、抽出された各領域に定める。
【００６３】
また、優先度設定部１４３は、予め定められた第２閾値（図２では、区分３と区分４との境界となる閾値）よりも低い輝度の抽出された領域（図２では、最低輝度領域３２０）に、他の抽出された領域と比較して低い優先度を定める。
【００６４】
また、優先度設定部１４３は、領域抽出部１４２により変更された第２閾値よりも低い輝度の抽出された領域（図３では、低輝度領域３２０）に、他の抽出された領域と比較して低い優先度を定める。
【００６５】
また、優先度設定部１４３は、均等色空間の座標系における原点からの距離Ｒ（図４を参照）に応じて、抽出された領域に優先度を定める。例えば、優先度設定部１４３は、均等色空間の座標系において、原点からの距離（色差）が長い位置に在る抽出された領域に、高い優先度を定める。
【００６６】
優先度設定部１４３は、領域毎に定めた優先度を、領域を示す情報として記憶部１６０に記憶させる。
【００６７】
次に、領域抽出装置の処理の手順を説明する。
図５は、領域に合焦させるまでの処理の手順を表すフローチャートである。特徴量算出部１４１は、撮像された画像（スルー画像、又はスルー画像列）を、バッファメモリ部１３０から取り込み（ステップＳ１）、取り込んだ画像に対して、基本的な画像処理を実行する（ステップＳ２）。
【００６８】
領域抽出部１４２は、撮像された画像を、バッファメモリ部１３０を介して画像特徴量（例えば、ＹＣｒＣｂ）毎に読み込む（ステップＳ３）。領域抽出部１４２は、読み込んだ画像における複数の画像特徴量に基づいて、２値化画像を作成する（ステップＳ４）。また、領域抽出部１４２は、２値化画像から領域を抽出し、抽出した領域にラベルを割り当てる（ステップＳ５）。
【００６９】
領域抽出部１４２は、ノイズと推定される領域が画像にある場合、それらの領域を画像から除去する。また、領域抽出部１４２は、背景と推定される領域が画像にある場合、その領域を画像から除去する（ステップＳ６）。
【００７０】
優先度設定部１４３は、領域抽出部１４２により抽出された領域に、優先度を定める（ステップＳ７）。また、領域抽出部１４２は、優先度設定部１４３が優先度を定めた領域を、ＡＦ評価領域に合うよう矩形に整形する（ステップＳ８）。ＣＰＵ１９０は、ＡＦ評価領域のコントラスト値に基づいて、コントラスト・スキャン（焦点調整処理）を実行する（ステップＳ９）。また、ＣＰＵ１９０は、コントラスト・スキャンの結果に基づいて、至近に在る被写体が撮像されている領域を優先し、その領域に合焦させる（ステップＳ１０）。
【００７１】
次に、領域抽出装置が優先度を定める処理（図５のステップＳ７を参照）の手順を説明する。
＜赤色系領域に高い優先度を定める場合について＞
図６は、赤色系領域に高い優先度を定める処理の手順を表すフローチャートである。ここで、領域は、一例として予め定められた最大３個まで選択されるものとする。優先度設定部１４３は、２値画像に基づいて抽出された領域（図２を参照）に、赤色系領域が在るか否かを判定する（ステップＳａ１）。
【００７２】
赤色系領域が無い場合（ステップＳａ１−ＮＯ）、優先度設定部１４３は、赤色系領域以外の領域を、評価値の高い順に選択する（ステップＳａ２）。そして、優先度設定部１４３は、赤色系領域（在る場合）と、選択した領域とを、被写体の領域として記憶部１６０（図１を参照）に登録する（ステップＳａ３）。一方、ステップＳａ１において、赤色系領域が在る場合（ステップＳａ１−ＹＥＳ）、優先度設定部１４３は、赤色系領域の優先度を優先度１に定め、ステップＳａ２に処理を進める。
【００７３】
これにより、図２に示された例では、赤色系領域４００は、優先度１の主要被写体の領域と定められる。また、赤色系領域４００以外の領域のうち、評価値が第１位である領域は、優先度２の主要被写体の領域と定められる。また、赤色系領域４００以外の領域のうち、評価値が第２位である領域は、優先度３の主要被写体の領域と定められる。
【００７４】
＜赤色系領域、黄色系領域及び青色系領域に、高い優先度を定める場合について＞
図７は、赤色系領域、黄色系領域及び青色系領域に、高い優先度を定める処理の手順を表すフローチャートである。ここで、領域は、一例として予め定められた最大３個まで選択されるものとする。優先度設定部１４３は、２値画像に基づいて抽出された領域（図２を参照）に、赤色系領域、黄色系領域又は青色系領域が在るか否かを判定する（ステップＳｂ１）。
【００７５】
赤色系領域、黄色系領域及び青色系領域がいずれも無い場合（ステップＳｂ１−ＮＯ）、且つ、赤色系領域、黄色系領域、及び青色系領域の総数が３個未満である場合、優先度設定部１４３は、残りの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定める（ステップＳｂ２）。そして、優先度設定部１４３は、選択した全ての領域を、被写体の領域として記憶部１６０（図１を参照）に登録する（ステップＳｂ３）。
【００７６】
一方、ステップＳｂ１において、赤色系領域、黄色系領域又は青色系領域が在る場合（ステップＳｂ１−ＹＥＳ）、優先度設定部１４３は、これらの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定め、ステップＳｂ２に処理を進める（ステップＳｂ４）。なお、赤色系領域、黄色系領域及び青色系領域には、同じ優先度が定められてもよい。
【００７７】
これにより、図２に示された例では、赤色系領域４００、黄色系領域５２０及び青色系領域５００のうち最も評価値が高い領域、例えば、黄色系領域５２０は、優先度１の主要被写体の領域と定められる。また、赤色系領域４００、黄色系領域５２０及び青色系領域５００のうち評価値が２番目に高い領域、例えば、赤色系領域４００は、優先度２の主要被写体の領域と定められる。また、赤色系領域４００、黄色系領域５２０及び青色系領域５００のうち評価値が３番目に高い領域、例えば、青色系領域５００は、優先度３の主要被写体の領域と定められる。なお、例えば、青色系領域５００が無い場合、最も評価値が高い領域が、優先度３の主要被写体の領域と定められてもよい。
【００７８】
＜赤色系領域、黄色系領域、青色系領域の順に、高い優先度を定める場合について＞
図８は、赤色系領域、黄色系領域、青色系領域の順に高い優先度を定める処理の手順を表すフローチャートである。ここで、領域は、一例として予め定められた最大３個まで選択されるものとする。優先度設定部１４３は、２値画像に基づいて抽出された領域（図２を参照）に、赤色系領域が在るか否かを判定する（ステップＳｃ１）。
【００７９】
赤色系領域が無い場合（ステップＳｃ１−ＮＯ）、優先度設定部１４３は、２値画像に基づいて抽出された領域に、黄色系領域が在るか否かを判定する（ステップＳｃ２）。黄色系領域が無い場合（ステップＳｃ２−ＮＯ）、優先度設定部１４３は、２値画像に基づいて抽出された領域に、青色系領域が在るか否かを判定する（ステップＳｃ３）。
【００８０】
青色系領域が無い場合（ステップＳｃ３−ＮＯ）、且つ、赤色系領域、黄色系領域、及び青色系領域の総数が３個未満である場合、優先度設定部１４３は、残りの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定める（ステップＳｃ４）。そして、優先度設定部１４３は、選択した全ての領域を、被写体の領域として記憶部１６０（図１を参照）に登録する（ステップＳｃ５）。
【００８１】
一方、ステップＳｃ１において、赤色系領域が在る場合（ステップＳｃ１−ＹＥＳ）、優先度設定部１４３は、赤色系領域に優先度１を定め、ステップＳｃ２に処理を進める（ステップＳｂ６）。また、ステップＳｃ２において、赤色系領域が在る場合（ステップＳｃ１−ＹＥＳ）、優先度設定部１４３は、赤色系領域に優先度１を定め、ステップＳｃ２に処理を進める（ステップＳｂ６）。
【００８２】
また、ステップＳｃ２において、黄色系領域が在る場合（ステップＳｃ２−ＹＥＳ）、優先度設定部１４３は、黄色系領域に優先度１又は２を定め、ステップＳｃ３に処理を進める（ステップＳｂ７）。また、ステップＳｃ３において、青色系領域が在る場合（ステップＳｃ３−ＹＥＳ）、優先度設定部１４３は、青色系領域に優先度１、２又は３を定め、ステップＳｃ４に処理を進める（ステップＳｂ８）。
【００８３】
これにより、図２に示された例では、赤色系領域４００は、優先度１の主要被写体の領域と定められる。また、黄色系領域５２０は、優先度２の主要被写体の領域と定められる。また、青色系領域５００は、優先度３の主要被写体の領域と定められる。
【００８４】
＜赤色系領域、黄色系領域、青色系領域及び高輝度領域に、高い優先度を定める場合について＞
図９は、赤色系領域、黄色系領域、青色系領域及び高輝度領域に、高い優先度を定める処理の手順を表すフローチャートである。ここで、領域は、一例として予め定められた最大３個まで選択されるものとする。優先度設定部１４３は、２値画像に基づいて抽出された領域（図２を参照）に、赤色系領域、黄色系領域又は青色系領域が在るか否かを判定する（ステップＳｄ１）。
【００８５】
赤色系領域、黄色系領域、青色系領域及び高輝度領域がいずれも無い場合（ステップＳｄ１−ＮＯ）、且つ、赤色系領域、黄色系領域、青色系領域及び高輝度領域の総数が３個未満である場合、優先度設定部１４３は、残りの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定める（ステップＳｄ２）。そして、優先度設定部１４３は、選択した全ての領域を、被写体の領域として記憶部１６０（図１を参照）に登録する（ステップＳｄ３）。
【００８６】
一方、ステップＳｄ１において、赤色系領域、黄色系領域、青色系領域又は高輝度領域が在る場合（ステップＳｄ１−ＹＥＳ）、優先度設定部１４３は、これらの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定め、ステップＳｄ２に処理を進める（ステップＳｄ４）。なお、赤色系領域、黄色系領域、青色系領域及び高輝度領域には、同じ優先度が定められてもよい。
【００８７】
これにより、図２に示された例では、赤色系領域４００、黄色系領域５２０、青色系領域５００及び高輝度領域３００のうち最も評価値が高い領域、例えば、赤色系領域４００は、優先度１の主要被写体の領域と定められる。また、赤色系領域４００、黄色系領域５２０、青色系領域５００及び高輝度領域３００のうち評価値が２番目に高い領域、例えば、黄色系領域５２０は、優先度２の主要被写体の領域と定められる。また、赤色系領域４００、黄色系領域５２０、青色系領域５００及び高輝度領域３００のうち評価値が３番目に高い領域、例えば、高輝度領域３００は、優先度３の主要被写体の領域と定められる。
【００８８】
＜他の抽出された領域と比較して低い優先度を、低輝度領域に定める場合について＞
図１０は、他の抽出された領域と比較して低い優先度を、低輝度領域に定める処理の手順を表すフローチャートである。ここで、領域は、一例として予め定められた最大３個まで選択されるものとする。優先度設定部１４３は、低輝度領域以外の領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定める（ステップＳｅ１）。
【００８９】
また、優先度設定部１４３は、低輝度領域以外の領域の総数が３個未満である場合、残りの領域を評価値の高い順に選択し、選択した領域に評価値順に高い優先度を定める（ステップＳｅ２）。また、優先度設定部１４３は、選択した全ての領域を、被写体の領域として記憶部１６０（図１を参照）に登録する（ステップＳｅ３）。
【００９０】
これにより、図２に示された例では、区分３に含まれる低輝度領域では無い、黒色の被写体が撮像されている最低輝度領域３２０は、他の領域が画像から抽出されない場合、被写体の領域として記憶部１６０に登録される。
【００９１】
以上のように、領域抽出装置１４０は、入力された画像の画像データに含まれる色情報に基づいて、前記画像から所定領域を抽出する領域抽出部１４２と、領域抽出部１４２により抽出された前記領域に、予め定められた色情報に応じて優先度を定める優先度設定部１４３と、を備える。
この構成により、領域抽出装置１４０は、画像から抽出された領域に、予め定められた色情報に応じて優先度を定める。これにより、領域抽出装置は、入力された画像から主要被写体の領域を適切に抽出することができる。
【００９２】
また、優先度設定部１４３は、領域抽出部１４２により抽出された領域に、均等色空間（Ｌ＊ａ＊ｂ＊表色系、ＣＩＥＬａｂ色空間）における色相角（ｈ）に応じて、優先度を定める。これにより、領域抽出装置は、入力された画像から、色相角に応じて主要被写体の領域を適切に抽出することができる。
【００９３】
また、優先度設定部１４３は、領域抽出部１４２が、前記画像データに含まれる赤色成分、黄色成分及び青色成分の色情報に基づいて、前記画像から所定領域を抽出した場合、前記抽出された領域に、前記画像データに含まれる赤色成分、黄色成分及び青色成分以外の色情報に基づいて抽出された領域と比較して高い優先度を定める。これにより、領域抽出装置は、入力された画像から、赤色、黄色及び青色の主要被写体の領域を適切に抽出することができる。
【００９４】
また、優先度設定部１４３は、前記画像データに含まれる、赤色成分の色情報基づいて抽出された領域、黄色成分の色情報基づいて抽出された領域、青色成分の色情報基づいて抽出された領域の順に、高い優先度を定める。これにより、領域抽出装置は、入力された画像から、赤色成分、黄色成分、青色成分の順に高い優先度の主要被写体の領域を、適切に抽出することができる。
【００９５】
また、優先度設定部１４３は、領域抽出部１４２により抽出された領域の彩度（Ｃ＊）に応じて、優先度を定める。これにより、領域抽出装置は、入力された画像から、彩度が高い主要被写体の領域を適切に抽出することができる。
【００９６】
また、領域抽出部１４２は、前記画像データに含まれる輝度情報に基づいて、前記画像から所定領域を抽出し、優先度設定部１４３は、領域抽出部１４２により抽出された領域の輝度に応じて、優先度を定める。これにより、領域抽出装置は、入力された画像から、輝度が高い主要被写体の領域を適切に抽出することができる。
【００９７】
また、領域抽出部１４２は、予め定められた第１閾値よりも高い輝度の領域を抽出し、優先度設定部１４３は、前記第１閾値よりも高い輝度の前記抽出された領域に、他の抽出された領域と比較して高い優先度を定める。これにより、領域抽出装置は、入力された画像から、輝度が高い主要被写体の領域を適切に抽出することができる。
【００９８】
また、優先度設定部１４３は、前記赤色成分の色情報基づいて抽出された領域、前記黄色成分の色情報基づいて抽出された領域、前記第１閾値よりも高い輝度の領域、前記青色成分の色情報基づいて抽出された領域の順に、高い優先度を定める。これにより、領域抽出装置は、入力された画像から、赤色成分、黄色成分、高輝度、青色成分の順に高い主要被写体の領域を、適切に抽出することができる。
【００９９】
また、領域抽出部１４２は、予め定められた第２閾値よりも低い輝度の領域を抽出し、優先度設定部１４３は、前記第２閾値よりも低い輝度の前記抽出された領域に、他の抽出された領域と比較して低い優先度を定める。これにより、領域抽出装置は、入力された画像から、低い輝度の領域（例えば、影が撮像された領域）でない主要被写体の領域を適切に抽出することができる。
【０１００】
また、領域抽出部１４２は、前記第２閾値をより低い値に変更し、変更した前記第２閾値よりも低い輝度の領域を抽出し、優先度設定部１４３は、前記変更した第２閾値よりも低い輝度の前記抽出された領域に、他の抽出された領域と比較して低い優先度を定める。これにより、領域抽出装置は、入力された画像から主要被写体の領域を適切に抽出することができる。
【０１０１】
また、優先度設定部１４３は、均等色空間の座標系における原点からの距離（色差）に応じて、優先度を定める。これにより、領域抽出装置は、入力された画像から、影が撮像された領域でない黒色の主要被写体の領域を、適切に抽出することができる。
【０１０２】
また、領域抽出装置１４０は、入力された画像の画像データに含まれる彩度情報に基づいて、前記画像から所定領域を抽出する領域抽出部１４２と、領域抽出部１４２により抽出された領域に、予め定められた彩度に応じて優先度を定める優先度設定部１４３と、を備える。これにより、領域抽出装置は、入力された画像から主要被写体の領域を適切に抽出することができる。
【０１０３】
また、領域抽出装置１４０は、入力された画像の画像データに含まれる輝度情報に基づいて、前記画像から所定領域を抽出する領域抽出部１４２と、領域抽出部１４２により抽出された領域に、予め定められた輝度に応じて優先度を定める優先度設定部１４３と、を備える。これにより、領域抽出装置は、入力された画像から主要被写体の領域を適切に抽出することができる。
【０１０４】
また、領域抽出装置１４０は、入力された画像の画像データに含まれる色情報を表す均等色空間（Ｌ＊ａ＊ｂ＊表色系）の座標系における、原点からの距離（色差）に基づいて、前記画像から所定領域を抽出する領域抽出部１４２と、領域抽出部１４２により抽出された前記領域に、前記距離に応じて優先度を定める優先度設定部１４３と、を備える。
これにより、領域抽出装置は、撮像された画像から、色相、彩度及び明度のうち少なくとも１つに応じて、主要被写体の領域を適切に抽出することができる。
【０１０５】
また、撮像装置１００は、領域抽出装置１４０と、領域抽出装置１４０が抽出した領域のうち、優先度が高い領域に合焦するよう光学系（例えば、ＡＦレンズ１１２）により焦点を調節するＣＰＵ１９０と、前記優先度が高い領域に合焦した状態で、前記優先度が高い領域を含む画像を撮像する撮像部１１０とを備える。
この構成により、領域抽出装置１４０は、入力された画像から主要被写体の領域を適切に抽出する。これにより、撮像装置１００は、主要被写体の領域に合焦した状態で、主要被写体の領域を含む画像を撮像することができる。
【０１０６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１０７】
また、上記に説明した領域抽出装置、撮像装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【０１０８】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１０９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１１０】
１００…撮像装置、１１０…撮像部、１１１…レンズ鏡筒、１４０…領域抽出装置、１４１…特徴量算出部、１４２…領域抽出部、１４３…優先度設定部
【図１】
0005899693.tif 000002
【図２】
0005899693.tif 000003
【図３】
0005899693.tif 000004
【図４】
0005899693.tif 000005
【図５】
0005899693.tif 000006
【図６】
0005899693.tif 000007
【図７】
0005899693.tif 000008
【図８】
0005899693.tif 000009
【図９】
0005899693.tif 000010
【図１０】
0005899693.tif 000011