(57)【要約】【課題】人物の顔が正面を向いている状態から横を向いた場合であっても、ＣＣＤイメージセンサーから順次生成される画像データに対して、顔領域を高い精度で継続設定することを目的とする。【解決手段】デジタルカメラ１は、ＣＣＤイメージセンサー１２と、顔情報を記憶したフラッシュメモリ１６と、ＣＣＤイメージセンサー１２から生成される画像データ内において、顔情報が存在するか否かを判別するコントローラ１７と、顔情報が存在すると判別された場合、画像データ内において顔情報が存在すると判別された位置に、顔領域を設定するとともに、顔領域内の画像データの色情報をバッファメモリ１５に記憶するコントローラ１７と、顔情報が存在しないと判別された場合であって、バッファメモリ１５に色情報が記憶されている場合、色情報に基づいて画像データ内に顔領域を設定するコントローラ１７と、を備える。【選択図】図２
2010028418.tif 000002
【特許請求の範囲】
【請求項１】
光学系で形成された被写体像を撮像して、画像データを順次生成する撮像手段と、
被写体の特徴を示す第１特徴情報を記憶した記憶媒体と、
前記撮像手段から生成される画像データ内において、前記記憶された第１特徴情報が存在するか否かを判別する判別手段と、
前記判別手段によって前記第１特徴情報が存在すると判別された場合、前記画像データ内において前記第１特徴情報が存在すると判別された位置に、特徴領域を設定するとともに、当該設定された特徴領域内の画像データの特徴を示す第２特徴情報を前記記憶媒体に記憶する第１設定手段と、
前記判別手段によって前記第１特徴情報が存在しないと判別された場合であって、前記記憶媒体に第２特徴情報が記憶されている場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する第２設定手段と、
を備える撮像装置。
【請求項２】
前記第２設定手段は、
さらに前記記憶された第２特徴情報の内容に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する、
請求項１に記載の撮像装置。
【請求項３】
前記撮像手段から順次生成される画像データに対して、前記第１設定手段が特徴領域を継続して設定した回数を第１設定回数として計数する第１計数手段をさらに備え、
前記第２設定手段は、
さらに前記第１計数手段で計数した設定回数に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する、
請求項１に記載の撮像装置。
【請求項４】
前記撮像手段から順次生成される画像データに対して、前記第１設定手段が特徴領域を設定してから、特徴領域を設定しなくなるまでの時間を第１設定時間として計時する第１計時手段をさらに備え、
前記第２設定手段は、
さらに前記第１計時手段で計時される第１設定時間に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する、
請求項１に記載の撮像装置。
【請求項５】
撮影環境の明るさに関する情報を取得する輝度取得手段をさらに備え、
前記第２設定手段は、
さらに前記輝度取得手段が取得した明るさに関する情報に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する、
請求項１に記載の撮像装置。
【請求項６】
前記第１設定手段は、
前記判別手段によって前記第１特徴情報が存在すると判別された場合、さらに、前記画像データ内において前記第１特徴情報が存在すると判別された位置によって指定される特定領域内の画像データの特徴を示す第３特徴情報を前記記憶媒体に記憶し、
前記第２設定手段は、
前記記憶された第３特徴情報の内容に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する、
請求項１に記載の撮像装置。
【請求項７】
前記撮像手段から順次生成される画像データに対して、前記第２設定手段が特徴領域を継続して設定した回数を第２設定回数として計数する第２計数手段をさらに備え、
前記第２設定手段は、
さらに前記第２計数手段で計数される第２設定回数に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する、
請求項１に記載の撮像装置。
【請求項８】
前記撮像手段から順次生成される画像データに対して、前記第２設定手段が特徴領域を設定してから、特徴領域を設定しなくなるまでの時間を第２設定時間として計時する第２計時手段をさらに備え、
前記第２設定手段は、
さらに前記第２計時手段で計時される第２設定時間に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する、
請求項１に記載の撮像装置。
【請求項９】
前記第２設定手段は、
さらに第２特徴情報に基づく特徴領域を設定させる位置に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する、
請求項１に記載の撮像装置。
【請求項１０】
自装置の移動に関する情報を取得する移動情報取得手段をさらに備え、
前記第２設定手段は、
さらに前記移動量取得手段が取得した移動に関する情報に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する、
請求項１に記載の撮像装置。
【請求項１１】
前記第１特徴情報は、顔に関する情報であり、
前記第２特徴情報は、色に関する情報である、
請求項１に記載の撮像装置。
【請求項１２】
前記特徴領域は、顔領域である、請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置には、特許文献１に記載されるものが存在する。特許文献１の撮像装置は、「動画像において追尾対象の顔の検出ができない状況が生じた場合であっても、被写体の追跡を継続可能とする」ものである。
【０００３】
特許文献１の撮像装置は、「過去に検出された顔の位置に基づいて現在の顔のおおまかな位置を推定し、このおおまかな位置に対応する複数の周囲情報を取得し、過去に取得された周囲情報に最も類似する周囲情報が取得された位置に基づいて現在の顔の位置を推定する」ものである。
【特許文献１】特開２００７−４２０７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のように、一般的な撮像装置では、顔に関する情報（以下、顔情報と称す）を用いて、人物の顔をパターンマッチングで検出することが可能になっている。
【０００５】
しかしながら、撮像装置は、カメラに対して正面を向いている人物が横を向いてしまうと、撮像素子で生成される画像データから顔を検出できなくなる。すなわち、撮像装置は、正面に向きの人物に対しては、高い精度で顔を検出できるが、横を向いた人物に対しては、高い精度で顔を検出することができない。これは、顔情報に、顔の形、顔の色、目や鼻の位置などのテンプレート情報を利用しているからである。
【０００６】
要するに、パターンマッチングでは、被写体が所定の方向を向いている場合、精度高く被写体を検出できる。しかし、被写体が所定の方向以外を向いた場合は、被写体の検出精度が極端に低くなる。
【０００７】
そこで本発明は、上記課題を解決するため、被写体が所定の方向を向いている状態から所定の方向以外を向いた場合であっても、撮像手段から順次生成される画像データに対して、被写体に関する領域を高い精度で継続設定できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
すなわち、本発明の撮像装置は、光学系で形成された被写体像を撮像して、画像データを順次生成する撮像手段と、被写体の特徴を示す第１特徴情報を記憶した記憶媒体と、
前記撮像手段から生成される画像データ内において、前記記憶された第１特徴情報が存在するか否かを判別する判別手段と、前記判別手段によって前記第１特徴情報が存在すると判別された場合、前記画像データ内において前記第１特徴情報が存在すると判別された位置に、特徴領域を設定するとともに、当該設定された特徴領域内の画像データの特徴を示す第２特徴情報を前記記憶媒体に記憶する第１設定手段と、前記判別手段によって前記第１特徴情報が存在しないと判別された場合であって、前記記憶媒体に第２特徴情報が記憶されている場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する第２設定手段と、を備える。
【０００９】
このようにすれば、画像データ内に第１特徴情報が存在しない場合であっても、第２特徴情報に基づいて特徴領域を設定することができる。
【００１０】
また、好ましくは、前記第２設定手段は、前記記憶された第２特徴情報の内容に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する。
【００１１】
また、好ましくは、前記撮像手段から順次生成される画像データに対して、前記第１設定手段が特徴領域を継続して設定した回数を第１設定回数として計数する第１計数手段をさらに備える。そして、前記第２設定手段は、前記第１計数手段で計数した設定回数に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する。
【００１２】
また、好ましくは、前記撮像手段から順次生成される画像データに対して、前記第１設定手段が特徴領域を設定してから、特徴領域を設定しなくなるまでの時間を第１設定時間として計時する第１計時手段をさらに備える。そして前記第２設定手段は、前記第１計時手段で計時される第１設定時間に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する。
【００１３】
また、好ましくは、撮影環境の明るさに関する情報を取得する輝度取得手段をさらに備える。そして前記第２設定手段は、前記輝度取得手段が取得した明るさに関する情報に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する。
【００１４】
また、好ましくは、前記第１設定手段は、前記判別手段によって前記第１特徴情報が存在すると判別された場合、さらに、前記画像データ内において前記第１特徴情報が存在すると判別された位置によって指定される特定領域内の画像データの特徴を示す第３特徴情報を前記記憶媒体に記憶する。そして、前記第２設定手段は、前記記憶された第３特徴情報の内容に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する。
【００１５】
また、好ましくは、前記撮像手段から順次生成される画像データに対して、前記第２設定手段が特徴領域を継続して設定した回数を第２設定回数として計数する第２計数手段をさらに備える。そして、前記第２設定手段は、前記第２計数手段で計数される第２設定回数に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する。
【００１６】
また、好ましくは、前記撮像手段から順次生成される画像データに対して、前記第２設定手段が特徴領域を設定してから、特徴領域を設定しなくなるまでの時間を第２設定時間として計時する第２計時手段をさらに備える。そして前記第２設定手段は、前記第２計時手段で計時される第２設定時間に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する。
【００１７】
また、好ましくは、前記第２設定手段は、さらに第２特徴情報に基づく特徴領域を設定させる位置に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する。
【００１８】
また、好ましくは、自装置の移動に関する情報を取得する移動情報取得手段をさらに備える。そして前記第２設定手段は、前記移動量取得手段が取得した移動に関する情報に応じて、前記第２特徴情報に基づいて特徴領域を設定するか否かを判断し、当該特徴領域を設定すると判断した場合、当該記憶された第２特徴情報に基づいて前記画像データ内に前記特徴領域を設定する。
【００１９】
また、好ましくは、前記第１特徴情報は、顔に関する情報であり、前記第２特徴情報は、色に関する情報である。
【００２０】
また、好ましくは、前記特徴領域は、顔領域である。
【発明の効果】
【００２１】
すなわち、本発明の撮像装置によれば、画像データ内に第１特徴情報が存在しない場合、第２特徴情報に基づいて特徴領域を設定することにより、被写体が所定の方向を向いている状態から所定の方向以外を向いた場合であっても、撮像手段から順次生成される画像データに対して、被写体に関する領域を高い精度で継続設定できる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の一実施の形態を、図面を参照して説明する。本発明をデジタルカメラに適用した例を説明する。
（実施の形態１）
１．デジタルカメラの概要
デジタルカメラ１は、ＣＣＤイメージセンサー１２から生成された画像データ内に、フラッシュメモリ１６に予め記憶された顔情報が存在するか否かを判別する（画像データ内から、顔を検出する）。デジタルカメラ１は、画像データに、１個の顔情報が存在すると判別した場合（１個の顔が検出できた場合）、顔領域を設定するとともに、第１顔領域内の画像データの特徴を示す色情報をバッファメモリ１５に記憶する。一方、デジタルカメラ１は、画像データに、顔情報が存在しないと判別した場合であって、バッファメモリ１５に色情報が記憶されている場合、色情報に基づいて画像データ内に顔領域を設定する。
【００２３】
なお、デジタルカメラ１が、画像データに複数個の顔情報が存在すると判別した場合、画像データに複数個の顔領域を設定する。デジタルカメラ１は、設定された顔領域の内、主要被写体を選択する。デジタルカメラ１は、主要被写体として選択された顔領域内の画像データの特徴を示す色情報をバッファメモリ１５に記憶する。
【００２４】
２．構成
図１は、本実施の形態に係るデジタルカメラ１の斜視図である。図２は、本実施の形態に係るデジタルカメラ１の構成を示すブロック図である。以下、具体的に構成を説明する。
【００２５】
光学系１１は、被写体からの光学信号を集光してＣＣＤイメージセンサー１２上に被写体像を形成する。光学系１１は、対物レンズ１１１とズームレンズ１１２とフォーカスレンズ１１３と絞り／シャッタ１１４とを含む。
【００２６】
ズームレンズ１１２は、ズーム駆動部１１５によって駆動され、被写体像の写る範囲（画角）を調整する。すなわち、ズームレンズ１１２は、焦点距離を調整可能である。フォーカスレンズ１１３は、フォーカス駆動部１１６によって駆動され、ピントの調節を行なう。ズーム駆動部１１５は、ズームレンズ１１２を移動するためのカム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ１７からの制御に応じて、ズームレンズ１１２を駆動させる。フォーカス駆動部１１６は、フォーカスレンズ１１３を移動するためのカム機構やカム機構を駆動するためのアクチュエータなどを備えて構成される。フォーカス駆動部１１６は、コントローラ１７からの制御に応じて、フォーカスレンズ１１３を駆動させる。
【００２７】
また、絞り／シャッタ１１４は、絞りとシャッタを兼用した部材である。絞り／シャッタ１１４は、絞り／シャッタ駆動部１１７によって駆動される。絞りは、５枚の羽根によって構成され、光学系１１を通る光の量を調整するものである。また、シャッタは、開けたり閉じられたりして、ＣＣＤイメージセンサー１２に当たる光の量を時間的に調整するものである。絞り／シャッタ駆動部１１７は、カム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ１７からの制御に応じて、絞り／シャッタを駆動する。
【００２８】
なお、本実施の形態では、絞りとシャッタを兼用した絞り／シャッタ１１４を備えるようにしたが、これに限られず、絞りとシャッタとを別々に設けるようにしても良い。この場合、例えば、シャッタは光学系内に設けず、絞りだけを光学系に設けるとよい。この際、シャッタは、光学系とＣＣＤイメージセンサーの間に設けるとよい。このようにすれば、シャッタを光学系と別の部材で設けたので、レンズ交換タイプのデジタルカメラにも適用できるようになる。
【００２９】
ＣＣＤイメージセンサー１２は、光学系１１によって形成された被写体像を撮像して画像データを生成する。ＣＣＤイメージセンサー１２は、タイミングジェネレータ１２１から供給されるパルス信号に基づいて、被写体像を撮像し、画像データを生成する。タイミングジェネレータ１２１は、ＬＳＩなどの集積回路によって構成され、ＣＣＤイメージセンサー１２にパルス信号を供給する。ここでタイミングジェネレータ１２１がＣＣＤイメージセンサー１２に供給するパルス信号は、例えば、1秒間に３０回のフレーム読み出しパルス信号を供給する。これによって、ＣＣＤイメージセンサー１２では、３０分の１秒ごとのフレームの画像データを取得できるようになる。
【００３０】
ＡＤコンバータ１３は、ＣＣＤイメージセンサー１２で生成された画像データをデジタルデータに変換する。
【００３１】
画像処理部１４は、デジタルデータに変換された画像データに対して所定の処理を施す。所定の処理としては、ガンマ変換、ＹＣ変換、電子ズーム処理、圧縮処理、伸張処理などが考えられるが、これに限定されるものではない。
【００３２】
バッファメモリ１５は、画像処理部１４で画像処理を行う際、および、コントローラ１７で制御処理を行う際に、ワークメモリとして作用する。バッファメモリ１５は、例えば、ＤＲＡＭなどで実現可能である。
【００３３】
フラッシュメモリ１６は、内蔵メモリとして用いられる。フラッシュメモリ１６は、画像処理された画像データの他に、コントローラ１７の制御のためのプログラムや設定値などを記憶可能である。本実施の形態では、顔情報が記憶されている。顔情報は、画像データ内から人物の顔を検出するために用いられるものである。つまり、顔情報は、画像データ内に、顔情報が存在するか否かを判別する際に用いられるものである。顔情報には、例えば、顔全体の輪郭や顔の構成要素（目、鼻、耳など）に対応したテンプレート情報が考えられる。
【００３４】
コントローラ１７は、デジタルカメラ１の各部を制御する。コントローラ１７は、マイクロコンピュータで実現してもよく、ハードワイヤードな回路で実現しても良い。なお、コントローラ１７の各種制御は、３．コントローラの各種制御で詳細に説明する。
【００３５】
ぶれ検出器３０は、ジャイロセンサーなどで構成されるものであり、自装置の振動を検出する。ぶれ検出器３０は、デジタルカメラ１の水平軸を中心とした上下方向の回転振動を検知する第１のジャイロセンサーと、デジタルカメラ１の鉛直軸を中心とした左右方向の回転振動を検知する第２のジャイロセンサーとを備える。つまり、ぶれ検出器３０は、デジタルカメラ１の動き角速度を検出する。なお、コントローラ１７は、ぶれ検出器３０から動き角速度を取得して、この角速度を積分して、デジタルカメラ１の角速度を算出する。この角速度が、デジタルカメラ１のぶれ量である。ぶれ量は、例えば、−３００〜３００ｄｅｇ／ｓｅｃのような値で算出される。
【００３６】
カードスロット１８は、メモリカード１９を着脱するためのスロットである。カードスロット１８は、メモリカード１９を制御する機能を有するようにしてもよい。メモリカード１９は、フラッシュメモリなどを内蔵する。メモリカード１９は、画像処理部１４によって画像処理された画像データを格納可能である。
【００３７】
液晶モニタ２０は、画像データおよびデジタルカメラ１の各種設定等を表示する。なお、液晶モニタ２０に替えて、有機ＥＬディスプレイなどを用いることもできる。
【００３８】
操作部２１は、デジタルカメラ１の外装に取り付けられた操作部材の総称である。操作部２１としては、十字キーや押下釦等が考えられる。
【００３９】
本実施の形態では、操作部の一つの押下釦として、シャッタスイッチ２１１がある。シャッタスイッチ２１１は、デジタルカメラ１の上面に設けられるものであり、使用者からの半押しおよび全押しを検知できるようにしたものである。使用者によって半押し又は全押し操作が行なわれると、シャッタスイッチ２１１は操作に応じた操作信号をコントローラ１７に出力する。
【００４０】
また本実施の形態では、操作部２１の一つの部材としてズームレバー２１２が備えられている。ズームレバー２１２は、使用者からの操作に応じて、デジタルカメラ１の焦点距離を変更するものである。ズームレバー２１２は、使用者に操作されると、操作信号をコントローラ１７に出力する。これによって、コントローラ１７は、ズームレンズ１１２に対して焦点距離を変更するための制御信号を送ることができる。
【００４１】
３．コントローラの各種制御
コントローラ１７は、フラッシュメモリ１６に記憶された顔情報に基づいて、ＣＣＤイメージセンサー１２で生成された画像データ内に顔情報が存在するか否かを判別する。
【００４２】
コントローラ１７は、画像データ内に１個又は複数個の顔情報が存在すると判別した場合、画像データに顔領域を設定する。この後、コントローラ１７は、顔領域内の画像データに対応する色情報をバッファメモリ１５に記憶する。一方、コントローラ１７は、画像データ内に顔情報が存在しないと判別した場合であって、バッファメモリ１５に色情報が記憶されている場合、色情報に基づいて画像データに顔領域を設定する。
【００４３】
なお、コントローラ１７は、画像データに顔領域を設定した場合、顔領域を設定した画像データを液晶モニタ２０に表示させる。
【００４４】
３−１  画像データ内に顔情報が存在するか否かの判別
コントローラ１７は、画像データ内に、フラッシュメモリ１６に記憶された顔情報が存在するか否かを判別する。具体的に、コントローラ１７は、フラッシュメモリ１６から顔情報を読み出す。コントローラ１７は、テンプレートマッチングによって、画像データ内に顔情報が存在するか否かを判別する。テンプレートマッチングは、従来技術であるので説明を割愛する。
【００４５】
３−２  ３−１で１個の顔情報が存在すると判別された場合の制御
コントローラ１７は、３−１で画像データ内に１個の顔情報が存在すると判別された場合、画像データ内において顔情報が存在すると判別された位置に、顔領域を設定する（図３Ａ）。この後、コントローラ１７は、顔領域内の画像データに対応する色情報をバッファメモリ１５に記憶する（図３Ａ）。この際、コントローラ１７は、画像データ内において顔領域が設定された位置を設定位置としてバッファメモリ１５に記憶する。色情報と設定位置は関連付けて記憶しておくと、コントローラ１７はこれらの情報を使用する際、簡単によみだせるようになる。設定位置は、顔領域の左上端の位置情報を用いるとよい。
【００４６】
本実施の形態で、顔領域内の画像データにおける色情報は、画像データの各画素を色相の色空間に変換したものを用いている。ここで色相は、０〜３６０度の位相角として角度により表すことができる。すなわち、色空間がＨＳＶ色空間である場合、図４のように、Ｒ＝０／Ｇ＝１２０／Ｂ＝２４０の位置関係で表現できる。したがって、例えば、図４において、該当色の角度は、θとなる。これによって、画像データにおける色情報を、ヒストグラムで表現できるようにしている。なお、本実施の形態では、０〜３５９度を４０分割して、各領域内に存在する画素の数を計算するようにしている。図５のヒストグラムの横軸は、分割した領域（「１」〜「４０」、例えば「１」は、０〜８度に対応）を表しており、縦軸は、第１顔領域内に存在する各領域の画素の数を表している。
【００４７】
３−３  ３−１で複数個の顔情報が存在すると判別された場合の制御
コントローラ１７は、３−１で複数個の顔情報が存在すると判別された場合、画像データに複数個の顔領域を設定し、顔領域の中から主要被写体を決定する。主要被写体の決定方法は、従来技術と同様であるが、例えば、顔領域内の画像データで最も画像の中心位置に近い領域を、主要被写体の領域として選択すると良い。なお、サイズの大きい領域を、主要被写体の領域として設定してもよい。
【００４８】
コントローラ１７は、主要被写体の顔領域を選択すると、この主要被写体の顔領域内の画像データの特徴を示す色情報をバッファメモリ１５に記憶する。この際、画像データ内において顔領域が設定された位置を設定位置としてバッファメモリ１５に記憶する。
【００４９】
なお、複数個の全て又はいくつかの顔領域について、色情報と設定位置を記憶するようにしてもよい。
【００５０】
３−４  ３−１で顔情報が存在しないと判別された場合の制御
コントローラ１７は、３−１で顔情報が存在しないと判別された場合であって、バッファメモリ１５に色情報が記憶されている場合、色情報に基づいて顔領域を設定する。
【００５１】
具体的に、コントローラ１７は、バッファメモリ１５から色情報及び設定位置を読み出す。次にコントローラ１７は、図３Ｂのように、設定位置から所定領域（以下、探索領域と称す）内に含まれる画像データにおいて、色情報に最も近似する領域を探索する。色情報に最も近似する領域の探索方法は、従来技術であるため、詳細は割愛する。この後、コントローラ１７は、探索領域内の画像データにおいて色情報が最も近似する領域に、顔領域を設定する。
【００５２】
なお、コントローラ１７は、３−１で顔領域が存在しないと判別された場合であって、バッファメモリ１５に色情報が記憶されていない場合、第２顔領域を設定しない。また、コントローラ１７は、画像データの探索領域内に所定レベル以上で近似した色情報が存在しない場合、第２顔領域を設定しないようにするとよい。
【００５３】
４．実施の形態と本発明の対比
デジタルカメラ１は、本発明の撮像装置の一例である。ＣＣＤイメージセンサー１２は、本発明の撮像手段の一例である。バッファメモリ１５及びフラッシュメモリ１６は、本発明の記憶媒体の一例である。コントローラ１７は、本発明の判別手段の一例である。コントローラ１７は、本発明の第１設定手段の一例である。コントローラ１７は、本発明の第１設定手段の一例である。顔情報は、本発明の第１特徴情報の一例である。色情報は、本発明の第２特徴情報の一例である。顔領域は、本発明の特徴領域の一例である。
【００５４】
５．動作
上記のように構成したデジタルカメラ１の動作を説明する。この動作例は、デジタルカメラ１の電源がＯＦＦからＯＮに変更された後、デジタルカメラ１がポートレートモードのような被写体撮影モードに設定された場合に行なわれる。
【００５５】
５−１．基本的な動作（図６）
まず、コントローラ１７は、ＣＣＤイメージセンサー１２１を制御して、ＣＣＤイメージセンサー１２を駆動させる。ＣＣＤイメージセンサー１２は、画像データを生成する（Ａ１）。次に、コントローラ１７は、フラッシュメモリ１６から顔情報を読み出す。コントローラ１７は、ＣＣＤイメージセンサー１２で生成された画像データ内おいて、顔情報が存在するか否かを判別する（Ａ２）。
【００５６】
コントローラ１７は、画像データ内に顔情報を存在すると判別した場合、画像データに顔領域を設定する（Ａ３）。コントローラ１７は、画像データ内に複数の顔情報が存在するか否かを判断する（Ａ４）。コントローラ１７は、画像データ内に複数の顔領域が存在すると判断した場合、複数の顔領域の中から、主要被写体となる顔領域を選択する（Ａ５）。
【００５７】
コントローラ１７は、１個の顔情報が存在する場合、その顔領域、又は、複数の顔情報が存在する場合、主要被写体として選択された顔領域に関して、顔領域内の画像データの色情報及び設定位置をバッファメモリ１５に記憶する。すなわち、コントローラ１７は、顔領域内の画像データの特徴を示す色情報、及び、画像データにおける顔領域の設定位置を、バッファメモリ１５に記憶する（Ａ６）。次に、ステップＡ９に移行する。
【００５８】
一方、コントローラ１７は、ステップＡ２において、画像データ内に顔情報が存在しないと判別した場合、色情報がバッファメモリ１５に記憶されているか否かを判断する（Ａ７）。コントローラ１７は、色情報がバッファメモリ１５に記憶されていない場合、ステップＡ１に処理を移行する。一方、コントローラ１７は、色情報がバッファメモリ１５に記憶されている場合、この色情報及び設定位置をバッファメモリ１５から読み出す。そしてコントローラ１７は、色情報及び設定位置に基づいて、画像データ内に顔領域を設定する（Ａ８）。
【００５９】
この後、コントローラ１７は、顔領域が設定された画像データを、液晶モニタ２０に表示させる（Ａ９）。そしてコントローラ１７は、ステップＡ１に戻り、ＣＣＤイメージセンサー１２に次の画像データを生成させる。
【００６０】
図７を用いて動作例を説明する。まず、コントローラ１７は、図７Ａに示すように、画像データに顔情報が存在する場合、顔情報によって、画像データに顔領域を設定する。この際、コントローラ１７は、顔領域内の画像データに対応する色情報をバッファメモリ１５に記憶する。次にＣＣＤイメージセンサー１２から生成される画像データでも同様に、図７Ｂに示すように、顔情報によって、画像データに顔領域を設定する。この際、コントローラ１７は、顔領域内の画像データに対応する色情報をバッファメモリ１５に記憶する。図７Ｃも、図７ＡやＢと同様である。そして、ＣＣＤイメージセンサー１２から生成された画像データにおいて、図７Ｄのように、コントローラ１７が、画像データ内に顔領域が存在しないと判断した場合、コントローラ１７は、バッファメモリ１５に記憶された色情報に基づいて、顔領域を設定する。これによって、デジタルカメラ１は、画像データ内に顔領域が存在しないと判断された場合であっても、色情報に基づいて、画像データに顔領域を設定できる。
【００６１】
ここで、上記動作では、顔情報で顔領域を設定できるか否かを判別し、顔領域を設定できない場合、色情報で顔領域を設定するようにした。このようにすれば、色情報の追跡よりも顔情報の追跡を優先できるので、色情報の追跡のように、追跡したい被写体と異なる被写体をいつの間にか追跡してしまうといったことをより軽減できる。すなわち、画像データに顔領域が検出できた場合、色情報が再設定（記憶）されるため、色情報に基づいた顔領域の設定の際、所望の被写体に顔領域を継続して設定しやすくなる。つまり、追跡精度の向上が図れる。
【００６２】
なお、「５−１．基本的な動作（図６）」で基本的な動作を説明したが、以下の場合に、画像データ内に顔情報が存在しない場合（画像データから顔が検出できない場合）に、色情報に基づいて顔領域を設定するようにしてもかまわない。
【００６３】
５−２．色情報の内容を考慮した動作（図８）
上記の構成において、デジタルカメラ１は、画像データ内に顔情報が存在するか否かを判別するようにしている。しかし、画像データ内に顔情報が存在するか否かの判別（以下、顔検出）は、顔でないものを誤検出する可能性がある。そこでデジタルカメラ１は、画像データから顔が検出できない場合、バッファメモリ１５に記憶された色情報の内容に応じて、色情報に基づく顔領域の設定を行なうか否かを判断するようにする。デジタルカメラ１は、色情報に基づいて顔領域を設定すると判断した場合、色情報に基づいて画像データに顔領域を設定する。
【００６４】
コントローラ１７は、画像データ内に顔情報が存在しないと判断した場合であって、バッファメモリ１５に記憶された色情報が、肌色に関する情報を所定の割合以上（例えば、４０パーセント以上）含む場合、色情報に基づいて顔領域を設定すると判断する。肌色に関する情報とは、図５のヒストグラムの場合、例えば、分割した領域「２〜４」（色相角９度〜３５度）を用いることができる。このため分割した領域「２〜４」の画素が、ヒストグラムの全画素の内、４０パーセント以上か存在すれば、色情報に基づいて顔領域を設定すると判断する。
【００６５】
この場合の動作例は、図８のようになる。すなわち、ステップＡ７の判断条件が、ステップＢ７になる。ステップＢ７において、コントローラ１７は、バッファメモリ１５に色情報が記憶されており、かつ、色情報の内容が、肌色に関する情報を４０パーセント以上含むか否かを判別する。ステップＢ７以外のステップＢ１〜Ｂ９は、ステップＡ１〜Ａ９と同様の処理である。
【００６６】
５−３．顔情報に基づいて顔領域を継続して設定した回数を考慮した動作（図９）
上記の構成において、デジタルカメラ１は、ＣＣＤイメージセンサー１２が順次生成する画像データに対して、顔検出を行なうようにしている。しかし、顔検出は、瞬間的（例えば、３フレーム間のみ）に顔を検出する場合がある。このような場合、顔でないものを顔として検出していることが多い。そこでデジタルカメラ１は、画像データから顔が検出できない場合であって、安定して顔が検出されていた場合に、色情報に基づいて顔領域を設定するようにする。つまり、デジタルカメラ１は、ＣＣＤイメージセンサー１２から順次生成される画像データに対して、顔情報に基づいて顔領域を継続して設定した回数を顔設定回数として計数するコントローラ１７（本発明の第１計数手段の一例）を備える。また、デジタルカメラ１は、画像データから顔が検出できない場合、顔設定回数に応じて、色情報に基づく顔領域の設定を行なうか否かを判断するようにする。デジタルカメラ１は、色情報に基づいて顔領域を設定すると判断した場合、色情報に基づいて画像データに顔領域を設定する。
【００６７】
コントローラ１７は、画像データ内に顔情報が存在しないと判断した場合であって、顔設定回数が所定回数以上（３０回以上）である場合、色情報に基づいて顔領域を設定すると判断する。顔設定回数は、バッファメモリ１５に記憶されている。また、顔領域が継続して設定されたか否かを判別するためのフラグ情報が、バッファメモリ１５に記憶されている。フラグ情報は、直前の画像データにおいて顔情報に基づいて顔領域を設定したか否かを判別できるようにしたものである。フラグ情報は、「１」と「０」を情報として持っており、「１」の場合、直前の画像データに対して顔情報に基づいて顔領域を設定したことを示し、「０」の場合、直前の画像データに対して色情報に基づいて顔領域を設定したことを示す。
【００６８】
この場合の動作例を、図９を用いて説明する。図６と同様の動作については説明を割愛する。この動作を開始する際、バッファメモリ１５に記憶された顔設定回数は、「０」に設定されている。また、バッファメモリ１５に記憶されたフラグ情報は、「０」に設定されている。
【００６９】
まず、コントローラ１７は、ステップＡ１〜Ａ６の動作と同様のステップＣ１〜Ｃ６の動作を行う。コントローラ１７は、ステップＣ６の後、顔情報に基づいた顔領域の設定が継続的か否かを判別する（Ｃ７）。つまり、コントローラ１７は、バッファメモリ１５に記憶されたフラグ情報に基づいて、直前の画像データに対して顔情報に基づいた顔領域を設定したか否かを判別する。したがって、コントローラ１７は、フラグ情報が「１」である場合、顔領域の設定が継続的であるとして、顔設定回数に「１」を加算する（Ｃ８）。一方、コントローラ１７は、フラグ情報が「０」である場合、顔領域の設定が継続的でないとして、バッファメモリ１５に記憶された顔設定回数に「１」を設定する（Ｃ９）。ステップＣ８又はＣ９の後、コントローラ１７は、バッファメモリ１５に記憶されたフラグ情報に「１」を設定する（Ｃ１０）。そしてコントローラ１７は、ステップＡ９と同様の動作を行う（Ｃ１４）。
【００７０】
一方、コントローラ１７は、ステップＣ２において、画像データに顔情報が存在しないと判別された場合、バッファメモリ１５に記憶されたフラグ情報に「０」を設定する（Ｃ１１）。この後コントローラ１７は、
バッファメモリ１５に色情報が記憶されており、バッファメモリ１５に記憶された顔設定回数が「３０」以上であるか否かを判別する（Ｃ１２）。コントローラ１７は、ステップＣ１１において、バッファメモリ１５に色情報が記憶されていない、又は、バッファメモリ１５に記憶された顔設定回数が「３０」未満である場合、ステップＣ１に移行する。一方、コントローラ１７は、ステップＣ１１において、バッファメモリ１５に色情報が記憶されており、かつ、バッファメモリ１５に記憶された顔設定回数が「３０」以上である場合、ステップＡ８と同様の動作を行なう（Ｃ１３）。この後、コントローラ１７は、ステップＡ９と同様の動作を行う（Ｃ１４）。
【００７１】
なお、この動作例では、顔設定回数に応じて、色情報に基づいた顔領域を設定するか否かを判断した。これに限られず、顔設定時間（顔情報を継続して検出できた時間）に応じて、色情報に基づいた顔領域を設定するか否かを判断してもかまわない。この場合デジタルカメラ１は、ＣＣＤイメージセンサー１２から順次生成される画像データに対して、顔情報に基づいて顔領域を継続して設定した時間を顔設定時間として計時するコントローラ１７（本発明の第１計時手段の一例）を備える。この動作の場合、顔設定回数の１回を、例えば１／３０秒（１フレームの読み出し時間）に換算して、計算を行なえばよい。したがって、この動作例では、バッファメモリ１５に顔設定時間を記憶しておき、ステップＣ８において、『顔設定時間に、「１／３０」を加算する。』、ステップＣ９において、『顔設定時間に、「１／３０」を設定する。』、ステップＣ１２において、『色情報が記憶されており、顔設定時間が「１」以上であるか？』、のようにするとよい。
【００７２】
５−４．顔情報に基づいて顔領域が設定された位置の周囲の情報を考慮した動作（図１０）
一般的に、人物の顔の周囲には、肌色を有する露出した腕や肩が存在する可能性がある。このような場合、デジタルカメラは、色情報で顔領域の追跡を行なうと、顔でない部分（露出した腕や肩など）を顔と判断して、顔領域を設定してしまう可能性がある。そこでデジタルカメラ１は、直前の画像データに対して顔情報に基づいて設定された顔領域の周囲（特定領域）から色に関する情報（特定情報）を取得するようにする。また、デジタルカメラ１は、画像データから顔が検出できない場合、この特定領域から取得した特定情報に応じて、色情報に基づく顔領域の設定を行なうか否かを判断するようにする。デジタルカメラ１は、色情報に基づいて顔領域を設定すると判断した場合、色情報に基づいて画像データに顔領域を設定する。
【００７３】
コントローラ１７は、顔情報に基づいて顔領域を設定した場合、顔領域の周囲である特定領域内の画像データの特定情報を取得する。本実施の形態の特定領域は、顔領域に隣接する部分を除いた周囲の領域である。例えば、図１１Ａの場合、顔領域５０Ａと、特定領域６０Ａとなる。また、図１１Ｂの場合、顔領域５０Ｂと、特定領域６０Ｂとなる。なお、顔領域に隣接する部分を特定領域から除いている理由は、顔の下には首があり、例えば、この首の情報を取得すると、顔の周囲に露出した腕や胸元があるか判断できないためである。デジタルカメラ１は、取得した特定情報をバッファメモリ１５に記憶する。
【００７４】
コントローラ１７は、画像データ内に顔情報が存在しないと判断した場合であって、バッファメモリ１５に記憶した特定情報が、肌色に関する情報を所定割合（５パーセント）以上含む場合、色情報に基づいて顔領域を設定しないと判断する。例えば、特定領域の特定情報として、図１１Ａのような、特定領域内の画像データから色に関する情報が取得されたとすると、コントローラ１７は、色情報に基づいて顔領域を設定すると判断する。一方、図１１Ｂのような、特定領域内の画像データから色に関する情報が取得されたとすると、コントローラ１７は、色情報に基づいて顔領域を設定しないと判断する。図１１Ｂの場合、特定領域内に被写体の手が入っているため、特定領域内の特定情報に肌色が含まれ、色情報に基づいて顔領域を設定しないと判断される。
【００７５】
この場合の動作例を、図１０を用いて説明する。図６と同様の動作については説明を割愛する。
【００７６】
まず、コントローラ１７は、ステップＡ１〜Ａ６の動作と同様の動作を行う（Ｄ１〜Ｄ６）コントローラ１７は、ステップＤ６の後、顔領域によって指定される特定領域内の画像データの色に関する情報を特定情報として取得する（Ｄ７）。そしてコントローラ１７は、ステップＡ９と同様の動作を行う（Ｄ１０）。
【００７７】
一方、コントローラ１７は、ステップＤ２において、画像データに顔情報が存在しないと判別された場合、バッファメモリ１５に色情報が記憶されており、バッファメモリ１５に記憶された特定情報において、肌色に関する情報が所定割合未満であるか否かを判別する（Ｄ８）。コントローラ１７は、ステップＤ８において、バッファメモリ１５に色情報が記憶されていない、又は、バッファメモリ１５に記憶された特定情報において肌色に関する情報が所定割合以上である場合、ステップＤ１に移行する。一方、コントローラ１７は、ステップＤ８において、バッファメモリ１５に色情報が記憶されており、かつ、バッファメモリ１５に記憶された特定情報において肌色に関する情報が所定割合未満である場合、ステップＡ８と同様の動作を行なう（Ｄ９）。この後、コントローラ１７は、ステップＡ９と同様の動作を行う（Ｄ１０）。
【００７８】
なお、特定領域は、顔領域の大きさに応じて、大きくなったり、小さくなったりするようにするとよい。これは、顔領域が大きい場合、被写体の体も大きく画像データに移されているからである。
【００７９】
５−５．撮影環境の明るさに関する情報を考慮した動作（図１２）
撮影環境が暗くなった場合、色に関する情報の信頼度が下がる。すなわち、このような場合に、色情報に基づいて顔領域を設定すると、顔領域を設定する際の精度が下がる。そこでデジタルカメラ１は、撮影環境の明るさに関する情報を取得するようにする。つまり、デジタルカメラ１は、ＣＣＤイメージセンサー１２で生成された画像データから、撮影環境の明るさに関する情報を取得するコントローラ１７（本発明の輝度取得手段の一例）を備える。また、デジタルカメラ１は、画像データから顔が検出できない場合、この取得した明るさに関する情報に応じて、色情報に基づいた顔領域を設定するか否かを判断するようにする。デジタルカメラ１は、色情報に基づいた顔領域を設定すると判断した場合、色情報に基づいて画像データに顔領域を設定する。
【００８０】
コントローラ１７は、画像データから明るさに関する情報を取得する。この明るさに関する情報は、輝度の情報である。コントローラ１７は、画像処理部１４でＹＣ変換された画像データを受け取り、この画像データから、画像の輝度の平均値を算出する。この輝度の平均値の算出方法は、従来技術であるため、説明は割愛する。これによってコントローラ１７は、輝度の情報を取得する。例えば、輝度の情報が、８ビットで表現された場合、輝度情報を「０」〜「２５５」で表現することができる。
【００８１】
コントローラ１７は、画像データ内に顔情報が存在しないと判別した場合であって、輝度情報が所定値（例えば、「３０」）未満である場合、色情報に基づく顔領域の設定を行なわないようにする。つまり、コントローラ１７は、輝度情報が所定値以上である場合、色情報に基づく顔領域の設定を行なうようにする。
【００８２】
図１２を用いて動作を説明する。図６と同様の動作については説明を割愛する。
【００８３】
まず、コントローラ１７は、ステップＡ１〜Ａ６の動作と同様の動作を行う（Ｅ１〜Ｅ６）。コントローラ１７は、ステップＥ６の後、ステップＡ９と同様の動作を行う（Ｅ１０）
一方、コントローラ１７は、ステップＥ２において、画像データに顔情報が存在しないと判別された場合、生成された画像データから輝度情報を取得する（Ｅ７）。この後コントローラ１７は、バッファメモリ１５に色情報が記憶されており、取得した輝度情報が所定値（例えば「３０」）以上であるか否かを判別する（Ｅ８）。コントローラ１７は、ステップＥ８において、バッファメモリ１５に色情報が記憶されていない、又は、取得した輝度情報が「３０」未満である場合、ステップＥ１に移行する。一方、コントローラ１７は、ステップＥ８において、バッファメモリ１５に色情報が記憶されており、かつ、取得した輝度情報が「３０」以上である場合、ステップＡ８と同様の動作を行なう（Ｅ９）。この後、コントローラ１７は、ステップＡ９と同様の動作を行う（Ｅ１０）。
【００８４】
５−６．色情報に基づいて顔領域を継続して設定した回数を考慮した動作（図１３）
画像データから顔が検出できない場合において、色情報に基づいた顔領域の設定を継続して複数回行なった場合、顔とは異なる被写体を追跡していってしまう可能性がある。そこでデジタルカメラ１は、画像データから顔が検出できない場合において、色情報に基づいた顔領域の設定を継続して複数回行なった場合、色情報に基づく顔領域の設定を行なわないようにする。つまり、デジタルカメラ１は、ＣＣＤイメージセンサー１２から順次生成される画像データに対して、色情報に基づいて顔領域を継続して設定した回数を色設定回数として計数するコントローラ１７（本発明の第２計数手段の一例）を備える。また、デジタルカメラ１は、画像データから顔が検出できない場合、色設定回数に応じて、色情報に基づく顔領域の設定を行なうか否かを判断するようにする。デジタルカメラ１は、色情報に基づいて顔領域を設定すると判断した場合、色情報に基づいて画像データに顔領域を設定する。
【００８５】
コントローラ１７は、画像データ内に顔情報が存在しないと判断した場合であって、色設定回数が所定回数以上（９０回未満）である場合、色情報に基づいて顔領域を設定すると判断する。色設定回数は、バッファメモリ１５に記憶されている。
【００８６】
この場合の動作例を、図１３を用いて説明する。図６と同様の動作については説明を割愛する。この動作を開始する際、バッファメモリ１５に記憶された色設定回数は、「０」に設定されている。
【００８７】
まず、コントローラ１７は、ステップＡ１〜Ａ６の動作と同様の動作を行う（Ｆ１〜Ｆ６）。コントローラ１７は、そしてコントローラ１７は、ステップＡ９と同様の動作を行う（Ｆ１１）。
【００８８】
一方、コントローラ１７は、ステップＦ２において、画像データに顔情報が存在しないと判別された場合、バッファメモリ１５に色情報が記憶されており、かつ、バッファメモリ１５に記憶された色設定回数が「９０」未満であるか否かを判別する（Ｆ７）。コントローラ１７は、ステップＦ７において、バッファメモリ１５に色情報が記憶されていない、又は、バッファメモリ１５に記憶された色設定回数が「９０」以上である場合、バッファメモリ１５に記憶された色設定回数に「０」を設定する（Ｆ１０）。一方、コントローラ１７は、ステップＦ７において、バッファメモリ１５に色情報が記憶されており、かつ、バッファメモリ１５に記憶された色設定回数が「９０」未満である場合、ステップＡ８と同様の動作を行なう（Ｆ８）。そしてコントローラ１７は、バッファメモリ１５に記憶された色設定回数に「１」を加算する（Ｆ９）。この後、コントローラ１７は、ステップＡ９と同様の動作を行う（Ｆ１１）。
【００８９】
なお、この動作例では、色設定回数に応じて、色情報に基づいた顔領域を設定するか否かを判断した。これに限られず、色設定時間（色情報に基づいて顔領域を継続して設定した時間）に応じて、色情報に基づいた顔領域を設定するか否かを判断してもかまわない。この場合デジタルカメラ１は、ＣＣＤイメージセンサー１２から順次生成される画像データに対して、色情報に基づいて顔領域を継続して設定した時間を色設定時間として計時するコントローラ１７（本発明の第２計時手段の一例）を備える。この動作の場合、上記の色設定回数の１回を、例えば１／３０秒（１フレームの読み出し時間）に換算して、計算を行なえばよい。したがって、この動作例では、バッファメモリ１５に色設定時間を記憶しておき、ステップＦ９において、『色設定時間に、「１／３０」を加算する。』、ステップＦ１０において、『色設定時間に、「０」を設定する。』、ステップＦ７において、『色情報が記憶されており、色設定時間が「３」未満であるか？』、のようにするとよい。
【００９０】
５−７．第２顔領域を設定する範囲を考慮した動作（図１４）
撮影者は、ポートレートモードなどのように人物撮影を行う場合、なるべく被写体の顔が中心に来るように、デジタルカメラを移動させることが多い。したがって、デジタルカメラ１は、色情報に基づく顔領域の設定する位置が一部でも設定範囲から外れた場合、色情報に基づく顔領域を設定しないようにする。つまり、デジタルカメラ１は、画像データから顔が検出できない場合、色情報に基づく顔領域の設定位置に応じて、色情報に基づいて顔領域を設定するか否かを判断する。デジタルカメラ１は、色情報に基づいて顔領域を設定すると判断した場合、色情報に基づいて画像データに顔領域を設定する。
【００９１】
ここで本実施の形態のコントローラ１７は、画像データ内に顔情報が存在すると判別した場合、顔領域の設定された位置が画像データ内の設定範囲外に移動した場合、色情報に基づく顔領域を設定しないようにする。つまり、顔領域の設定された位置が画像データ内の設定範囲内にある場合、色情報に基づく顔領域の設定を行なうようにする。
【００９２】
実施の形態の設定範囲は、例えば、図１５のようにするとよい。すなわち、顔情報に基づいて設定した顔領域の大きさに応じて、設定範囲の大きさを変更するとよい。これは、画像データ内に検出された顔が大きい場合、顔領域が移動する範囲は画面全体で移動すると考えられるからである。一方、画像データ内に検出された顔が小さい場合、顔領域が移動する範囲は画面中心付近で移動すると考えられるからである。図１５Ａが、顔領域が大きい場合の例である。図１５Ｃが、顔領域が小さい場合の例である。
【００９３】
また、実施の形態は、色情報に基づく顔領域の設定位置が、設定範囲から一部でも外れると、色情報に基づいて顔領域を設定しないようにする。例えば、図１６では、（Ａ）の場合、色情報に基づいて顔領域を設定するようにし、（Ｂ）の場合、色情報に基づいて顔領域を設定しないようにする。
【００９４】
この場合の動作例を、図１４を用いて説明する。ステップＧ１〜Ｇ７は、ステップＡ１〜Ａ７と同じである。コントローラ１７は、ステップＧ７で色情報が記憶されていると判断した場合、色情報に基づく顔領域の設定位置が、設定範囲か否かを判別する（Ｇ８）。コントローラ１７は、設定位置が設定範囲に含まれる場合、色情報に基づいて顔領域を設定する（Ｇ９）。この後、コントローラ１７は、ステップＡ９と同様の処理を行う（Ｇ１０）。一方で、設定位置が設定範囲に含まれない場合、ステップＧ１に処理を移行する。
【００９５】
５−８．ぶれ量を考慮した動作（図１７）
デジタルカメラが大きく移動されると、次の画像データから顔が検出できないと考えられる。このような場合、色情報に基づいて顔領域を設定すると、被写体の顔が実際に存在しないのにも関わらず、顔領域を設定してしまうことになる。そこでデジタルカメラ１は、コントローラ１７（本発明の移動量取得手段の一例）が算出したぶれ量に応じて、色情報に基づいて顔領域を設定するか否かを判断するようにする。デジタルカメラ１は、色情報に基づいて顔領域を設定すると判断した場合、色情報に基づいて画像データに顔領域を設定する。
【００９６】
コントローラ１７は、ぶれ量が所定範囲（−２００〜２００ｄｅｇ／ｓｅｃ）に含まれる場合、色情報に基づく顔領域の設定を行なうようにする。
【００９７】
図１７を用いて動作を説明する。図６と同様の動作については説明を割愛する。
【００９８】
まず、コントローラ１７は、ステップＡ１〜Ａ６の動作と同様の動作を行う（Ｈ１〜Ｈ６）。コントローラ１７は、ステップＨ６の後、ステップＡ９と同様の動作を行う（Ｈ１０）
一方、コントローラ１７は、ステップＥ２において、画像データに顔情報が存在しないと判別された場合、デジタルカメラ１のぶれ量を算出する（Ｈ７）。この後コントローラ１７は、バッファメモリ１５に色情報が記憶されており、算出したぶれ量が所定範囲に含まれるか否かを判別する（Ｈ８）。コントローラ１７は、ステップＨ８において、バッファメモリ１５に色情報が記憶されていない、又は、算出したぶれ量が−２００〜２００ｄｅｇ／ｓｅｃに含まれない場合、ステップＨ１に移行する。一方、コントローラ１７は、ステップＨ８において、バッファメモリ１５に色情報が記憶されており、かつ、算出したぶれ量が−２００〜２００ｄｅｇ／ｓｅｃに含まれる場合、ステップＡ８と同様の動作を行なう（Ｈ９）。この後、コントローラ１７は、ステップＡ９と同様の動作を行う（Ｈ１０）。
【００９９】
６．まとめ
デジタルカメラ１は、光学系１１で形成された被写体像を撮像して、画像データを順次生成するＣＣＤイメージセンサー１２と、顔情報を記憶したフラッシュメモリ１６と、ＣＣＤイメージセンサー１２から生成される画像データ内において、記憶された顔情報が存在するか否かを判別するコントローラ１７と、コントローラ１７によって顔情報が存在すると判別された場合、画像データ内において顔情報が存在すると判別された位置に、顔領域を設定するとともに、設定された顔領域内の画像データの色情報をバッファメモリ１５に記憶するコントローラ１７と、コントローラ１７によって顔情報が存在しないと判別された場合であって、バッファメモリ１５に色情報が記憶されている場合、記憶された色情報に基づいて画像データ内に顔領域を設定するコントローラ１７と、を備える。
【０１００】
このようにすれば、画像データ内に顔情報が存在しない場合、色情報に基づいて顔領域を設定することにより、被写体の顔が正面方向を向いている状態から正面方向以外を向いた場合であっても、ＣＣＤイメージセンサーから順次生成される画像データに対して、顔領域を高い精度で継続設定できる。
（他の実施の形態）
本発明の実施の形態として、実施の形態１を例示した。しかし、本発明は、実施の形態１に限定されず、他の実施の形態においても実現可能である。そこで、本発明の他の実施の形態を以下まとめて説明する。
【０１０１】
実施の形態１では、第１特徴情報として、顔情報を用いた例を説明した。しかし、これに限られず、例えば、固体認証に用いられる認証用の画像情報を用いることができる。この認証用の画像情報には、人物、すなわち、人間と異なる被写体（犬、猫など）を用いてもかまわない。さらに、画像情報に限られず、被写体の特徴情報であればどのような情報であってもかまわない。
【０１０２】
このようにすれば、例えば、固体認証から自動で色情報に基づいた特徴領域の設定に変更されるため、固体認証用の画像情報を複数個保存してなくてもある精度以上の追跡を行なうことができるようになる。例えば、犬を撮影した画像情報を記憶する。この画像情報に基づいて固体認証で犬を検知する。この際、検知した犬の色に関する情報を記憶する。この後、固体認証で犬が検出できなくなった場合、色情報で追跡する。
【０１０３】
また、本実施の形態では、バッファメモリ１５に予め記憶しておいた顔情報を用いて、顔領域の設定を行なうようにした。しかし、これに限られず、撮影の直前に外部から取得した情報であってもかまわない。
【０１０４】
また、本実施の形態では、色に関する情報として、色相を用いて特徴情報を分類した。しかし、これに限られず、彩度や明度であってもかまわないし、これらを組み合わせた情報を用いてもかまわない。
【０１０５】
また、本実施の形態では、第２特徴情報として、色に関する情報を用いた例を説明した。しかし、これに限られず、例えば、コントラストに関する情報、又は／及び、輝度に関する情報等を用いることができる。
【０１０６】
すなわち、本発明は、上記実施の形態に限られず、種々の態様で実施可能である。
【産業上の利用可能性】
【０１０７】
本発明は、撮像装置に適用可能である。例えば、デジタルカメラ、ビデオカメラ、カメラ付き携帯端末等に利用できる。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施の形態１にかかるデジタルカメラの斜視図
【図２】本発明の実施の形態１にかかるデジタルカメラのブロック構成図
【図３】本発明の実施の形態１にかかる画像データに顔情報が存在した場合としない場合との動作の違いを説明するための図
【図４】本発明の実施の形態１にかかる色情報を説明するための図
【図５】本発明の実施の形態１にかかる色情報を説明するための図
【図６】本発明の実施の形態１にかかるデジタルカメラの基本的な動作を説明するためのフローチャート
【図７】本発明の実施の形態１にかかるデジタルカメラの動作を説明するための図
【図８】本発明の実施の形態１にかかるデジタルカメラの動作例５−２を説明するためのフローチャート
【図９】本発明の実施の形態１にかかるデジタルカメラの動作例５−３を説明するためのフローチャート
【図１０】本発明の実施の形態１にかかるデジタルカメラの動作例５−４を説明するためのフローチャート
【図１１】本発明の実施の形態１にかかるデジタルカメラの動作例５−４の特定領域を説明するための図
【図１２】本発明の実施の形態１にかかるデジタルカメラの動作例５−５を説明するためのフローチャート
【図１３】本発明の実施の形態１にかかるデジタルカメラの動作例５−６を説明するためのフローチャート
【図１４】本発明の実施の形態１にかかるデジタルカメラの動作例５−７を説明するためのフローチャート
【図１５】本発明の実施の形態１にかかるデジタルカメラの動作例５−７の設定範囲を説明するための図
【図１６】本発明の実施の形態１にかかるデジタルカメラの動作例５−７における設定範囲に応じた動作を説明するための図
【図１７】本発明の実施の形態１にかかるデジタルカメラの動作例５−８を説明するためのフローチャート
【符号の説明】
【０１０９】
１    デジタルカメラ
１１    光学系
１２    ＣＣＤイメージセンサー
１２１    タイミングジェネレータ
１３    ＡＤコンバータ
１４    画像処理部
１５    バッファメモリ
１６    フラッシュメモリ
１７    コントローラ
２０    液晶モニタ
２１    操作部
５０    顔領域
６０    特定領域
７０    設定範囲
【図１】
2010028418.tif 000003
【図２】
2010028418.tif 000004
【図３】
2010028418.tif 000005
【図４】
2010028418.tif 000006
【図５】
2010028418.tif 000007
【図６】
2010028418.tif 000008
【図７】
2010028418.tif 000009
【図８】
2010028418.tif 000010
【図９】
2010028418.tif 000011
【図１０】
2010028418.tif 000012
【図１１】
2010028418.tif 000013
【図１２】
2010028418.tif 000014
【図１３】
2010028418.tif 000015
【図１４】
2010028418.tif 000016
【図１５】
2010028418.tif 000017
【図１６】
2010028418.tif 000018
【図１７】
2010028418.tif 000019