(57)【要約】【課題】動画像において追尾している特徴情報の検索が精度良くできない状況が生じた場合であっても、より高い精度で、特徴領域の追尾を継続できる撮像装置を提供する。【解決手段】撮像装置１は、被写体像を撮像して画像データを生成するＣＣＤイメージセンサー１２と、ＣＣＤイメージセンサー１２で生成される画像データ内で顔の特徴情報を検索し、顔の特徴情報の検索結果に基づいて顔領域を順次移動させるコントローラ１７（顔検出処理）とを備える。追尾領域移動処理を実行するコントローラ１７は、ＣＣＤイメージセンサー１２で生成される画像データ内で色の特徴情報を検索し、色の特徴情報の検索結果および／または顔領域の画像データ内における位置に基づいて、追尾領域を順次移動させる。【選択図】図１９
2009268086.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して画像データを生成することにより動画像を出力する撮像部と、
前記画像データ内で第１の特徴を示す第１特徴情報を検索し、前記第１特徴情報の検索結果に基づいて、前記画像データ内の前記第１特徴情報と関連する第１領域を移動させる第１領域移動部と、
前記画像データ内で第２の特徴を示す第２特徴情報を検索し、前記第２特徴情報の検索結果に基づいて、前記画像データ内の前記第２特徴情報と関連する第２領域を、前記第１領域と独立して移動可能な第２領域移動部と、
を備え、
前記第２領域移動部は、前記第２特徴情報の検索結果に応じて、前記第２特徴情報の検索結果および前記第１領域の前記画像データ内における位置のいずれかまたは両方を選択し、前記選択結果に基づいて前記第２領域を移動させる、撮像装置。
【請求項２】
前記第２領域移動部は、
前記第１領域の前記画像データ内における位置に基づいて前記第２領域を移動させる場合、
以前の画像データにおいて特定した前記第１領域と前記第２領域との位置関係を用いて、前記第２領域を移動させる位置を決定する、請求項１に記載の撮像装置。
【請求項３】
前記第１領域と前記第２領域との前記位置関係は、以前の複数の画像データにおいて、前記第１領域と前記第２領域とが対応付けられていると判断した場合に特定された位置関係である、請求項１または２に記載の撮像装置。
【請求項４】
前記第１特徴情報は、被写体像の顔の特徴情報であり、
前記第２特徴情報は、被写体像の一部の色の特徴情報である、請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記第１特徴情報は、被写体像の一部の色の特徴情報であり、
前記第２特徴情報は、被写体像の顔の特徴情報である、請求項１から３のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像中の特徴情報を追尾可能な撮像装置に関する。本発明は、例えば、顔検出機能や色情報に基づく追尾機能を備えるデジタルカメラ、ビデオカメラ、携帯端末機器などに適用可能である。
【背景技術】
【０００２】
顔検出機能を備える撮像装置の一例として、特許文献１では、動画像において追尾対象の顔の検出ができない状況が生じた場合であっても、顔の位置を推定して追尾を継続する撮像装置が提案されている。
【０００３】
特許文献１の撮像装置では、顔の検出と同時に、その顔の周囲の情報を予め記憶しておく。周囲情報は、顔との相対的位置関係により定まる領域から取得される。そして、現在の動画像においては、過去に検出された顔の位置に基づいて現在の顔のおおまかな位置を推定し、その推定した位置の近辺において、記憶しておいた周囲情報と最も類似する位置を探索する。最も類似すると判定した位置と、周囲情報と顔との相対的位置関係とに基づいて、現在の動画像において顔が存在する位置を推定することができる。
【特許文献１】特開２００７−４２０７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１の撮像装置は、過去に検出された顔の位置に基づいて現在の顔のおおまかな位置を推定し、その推定した位置の近辺において、周囲情報と最も類似する位置を探索する。つまり、周囲情報と最も類似する位置を探索する範囲は、現在の顔のおおまかな位置を推定する精度に依存して設定される。このことは、現在の顔の位置を推定する精度は、上記の現在の顔のおおまかな位置を推定する精度に依存していることを意味している。この現在の顔のおおまかな位置の推定の精度が悪い場合、周囲情報と類似する位置が見付からないか、または誤った位置を検出してしまうことになる。その結果、現在の顔の位置を推定できないか、または誤った位置を推定してしまうという問題がある。
【０００５】
本発明は、動画像において追尾している特徴部分の検索が精度良くできない状況が生じた場合であっても、特徴部分の追尾を高い精度で継続できる撮像装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、被写体像を撮像して画像データを生成することにより動画像を出力する撮像部と、前記画像データ内で第１の特徴を示す第１特徴情報を検索し、前記第１特徴情報の検索結果に基づいて、前記画像データ内の前記第１特徴情報と関連する第１領域を移動させる第１領域移動部と、前記画像データ内で第２の特徴を示す第２特徴情報を検索し、前記第２特徴情報の検索結果に基づいて、前記画像データ内の前記第２特徴情報と関連する第２領域を、前記第１領域と独立して移動可能な第２領域移動部とを備え、前記第２領域移動部は、前記第２特徴情報の検索結果に応じて、前記第２特徴情報の検索結果および前記第１領域の前記画像データ内における位置のいずれかまたは両方を選択し、前記選択結果に基づいて前記第２領域を移動させることを特徴とする。
【０００７】
ある実施形態によれば、前記第２領域移動部は、前記第１領域の前記画像データ内における位置に基づいて前記第２領域を移動させる場合、以前の画像データにおいて特定した前記第１領域と前記第２領域との位置関係を用いて、前記第２領域を移動させる位置を決定する。
【０００８】
ある実施形態によれば、前記第１領域と前記第２領域との前記位置関係は、以前の複数の画像データにおいて、前記第１領域と前記第２領域とが対応付けられていると判断した場合に特定された位置関係である。
【０００９】
ある実施形態によれば、前記第１特徴情報は、被写体像の顔の特徴情報であり、前記第２特徴情報は、被写体像の一部の色の特徴情報である。
【００１０】
ある実施形態によれば、前記第１特徴情報は、被写体像の一部の色の特徴情報であり、前記第２特徴情報は、被写体像の顔の特徴情報である。
【発明の効果】
【００１１】
本発明によれば、複数種類の特徴領域を互いに独立して移動させることができ、また、第１特徴情報に関連する第１領域の位置、および第２特徴情報の検索結果の少なくとも一方に基づいて、第２領域を移動させる。独立して移動させている第１領域の位置に基づいて、第２領域を移動させることができるので、より高い精度で、第２領域の移動を継続できる。
【００１２】
また、本発明のある実施形態によれば、複数の画像データに基づいて第１領域と第２領域とが対応付けられていると判断した場合に特定した第１領域と第２領域との位置関係を用いて、第２領域を移動させる位置を決定する。互いに独立して移動している第１領域と第２領域の対応付けを、複数の画像データを用いて行うので、得られた位置関係の信頼性は高く、第２領域の位置の推定の精度を向上させることができる。
【００１３】
本発明によれば、動画像において追尾している特徴情報の検索が精度良くできない状況を生じた場合であっても、高い精度で特徴領域の移動を継続できる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施形態を説明する。
【００１５】
１．構成
１−１  全体構成
図１は、本発明の実施形態に係る撮像装置１の斜視図である。撮像装置１は例えばデジタルカメラであるが、ビデオカメラであってもよい。図２は、本実施形態に係る撮像装置１が備える構成要素を示すブロック図である。以下、撮像装置１の構成および動作を説明する。
【００１６】
光学系１１は、被写体からの入射光を集光してＣＣＤイメージセンサー１２上に被写体像を形成する。光学系１１は、対物レンズ１１１と、ズームレンズ１１２と、フォーカスレンズ１１３と、絞り／シャッタ１１４とを含む。
【００１７】
ズームレンズ１１２は、ズーム駆動部１１５によって駆動され、被写体像の写る範囲（画角）を調整する。すなわち、ズームレンズ１１２は、焦点距離を調整する。フォーカスレンズ１１３は、フォーカス駆動部１１６によって駆動され、ピントの調節を行なう。ズーム駆動部１１５は、ズームレンズ１１２を移動するためのカム機構や、カム機構を駆動するためのアクチュエータなどを備えており、コントローラ１７からの制御信号に応じて、ズームレンズ１１２を駆動させる。フォーカス駆動部１１６は、フォーカスレンズ１１３を移動するためのカム機構や、カム機構を駆動するためのアクチュエータなどを備えており、コントローラ１７からの制御信号に応じて、フォーカスレンズ１１３を駆動させる。
【００１８】
また、絞り／シャッタ１１４は、絞りとシャッタを兼用した部材である。絞り／シャッタ１１４は、絞り／シャッタ駆動部１１７によって駆動される。絞りは、例えば５枚の羽根によって構成され、光学系１１を通る光の量を調整する。また、シャッタは、開けたり閉じられたりして、ＣＣＤイメージセンサー１２に当たる光の量を時間的に調整する。絞り／シャッタ駆動部１１７は、カム機構や、カム機構を駆動するためのアクチュエータなどを備えており、コントローラ１７からの制御に応じて、絞り／シャッタを駆動する。
【００１９】
なお、本実施形態では、絞りとシャッタを兼用した絞り／シャッタ１１４を備えるようにしたが、これに限られず、絞りとシャッタとを別々に設けるようにしても良い。この場合、例えば、シャッタは光学系内に設けず、絞りだけを光学系に設けるとよい。この際、シャッタは、光学系とＣＣＤイメージセンサーの間に設けるとよい。シャッタを光学系と別の部材で設けることで、レンズ交換タイプのデジタルカメラにも適用できるようになる。
【００２０】
ＣＣＤイメージセンサー１２は、光学系１１によって形成された被写体像を撮像して画像データを生成する撮像部である。画像データは動画像または静止画像を示す。ＣＣＤイメージセンサー１２は、タイミングジェネレータ１２１から供給されるパルス信号に基づいて、被写体像を撮像し、画像データを生成する。タイミングジェネレータ１２１は、ＬＳＩなどの集積回路によって構成され、ＣＣＤイメージセンサー１２にパルス信号を供給する。ここでタイミングジェネレータ１２１は、例えば、１秒間に３０回のフレーム読み出しを指示するパルス信号をＣＣＤイメージセンサー１２に供給する。これによって、ＣＣＤイメージセンサー１２では、３０分の１秒ごとにフレームの画像データを取得できるようになる。
【００２１】
ＡＤコンバータ１３は、ＣＣＤイメージセンサー１２で生成された画像データをデジタルデータに変換する。
【００２２】
画像処理部１４は、デジタルデータに変換された画像データに対して所定の処理を施す。所定の処理としては、ガンマ変換、ＹＣ変換、電子ズーム処理、圧縮処理、伸張処理などが考えられるが、これに限定されるものではない。なお、後述するような画像データ中から顔や色の特徴を検出する処理は、コントローラ１７が行うが、画像処理部１４が行ってもよい。
【００２３】
バッファメモリ１５は、画像処理部１４で画像処理を行う際、および、コントローラ１７で制御処理を行う際に、ワークメモリとして作用する。バッファメモリ１５は、例えば、ＤＲＡＭなどである。
【００２４】
フラッシュメモリ１６は、内蔵メモリとして用いられる。フラッシュメモリ１６は、画像処理された画像データの他に、コントローラ１７の制御のためのプログラムや設定値などを記憶する。
【００２５】
コントローラ１７は、撮像装置１全体を制御するための制御部である。コントローラ１７は、マイクロコンピュータで実現してもよく、ハードワイヤードな回路で実現しても良い。要するに、制御部は、自装置を制御できるものであればよい。なお、コントローラ１７が実行する各種制御については後述する。
【００２６】
ぶれ検出器３０は、自装置の振動を検出する振動検出部であり、ジャイロセンサーなどを備える。ぶれ検出器３０は、撮像装置１の水平軸を中心とした上下方向の回転振動を検知する第１のジャイロセンサーと、撮像装置１の鉛直軸を中心とした左右方向の回転振動を検知する第２のジャイロセンサーとを備える。そして、ぶれ検出器３０は、自装置の振動を検知して、振動量に対応するアナログ信号をコントローラ１７に出力する。この際、ぶれ検出器３０から出力されたアナログ信号（電圧値）は、ＡＤ変換によってデジタル信号に変換され、コントローラ１７に入力されることが望ましい。本実施形態では、振動量とは、撮像装置１が振動しているときの、振幅の大きさに対応する。そのため、電圧値の大きさは、振幅の大きさに対応するように設定されている。
【００２７】
カードスロット１８は、メモリカード１９などの記録媒体を着脱するためのスロットである。カードスロット１８は、メモリカード１９を制御する機能を有するようにしてもよい。メモリカード１９は、フラッシュメモリなどを内蔵する。メモリカード１９は、画像処理部１４によって画像処理された画像データを格納する。
【００２８】
タッチパネル２０は、液晶モニタと、マトリクススイッチとを組み合わせて構成される。この液晶モニタは、画像データおよび撮像装置１の各種設定等を表示する表示部である。本実施形態の表示部としては、液晶モニタに替えて、有機ＥＬディスプレイなどを用いることもできる。また、このマトリクススイッチは、表示部に表示された表示画像に、使用者がタッチ操作を行なった場合、タッチ操作に対応する位置の情報（操作信号）をコントローラ１７に出力するタッチセンサである。なおタッチセンサは、マトリクススイッチに替わる方式として、抵抗膜を設ける抵抗膜方式や圧電素子を取り付けたガラス板を設ける表面弾性波方式を取ることができる。なお、本実施形態の撮像装置１では、タッチパネル２０を備えるようにしたが、これに限られず、タッチセンサを有さずに液晶モニタだけであってもよい。この場合、使用者が操作部を操作することによって、デジタルカメラに対する各種操作を受け付ける。
【００２９】
操作部２１は、撮像装置１の外装に取り付けられた操作部材の総称である。操作部２１としては、十字キーや押下釦等がある。
【００３０】
本実施形態では、操作部の一つの押下釦として、シャッタスイッチ２１１（図１）がある。シャッタスイッチ２１１は、撮像装置１の上面に設けられるものであり、使用者からの半押しおよび全押しを検知できるようにしたものである。使用者によって半押し又は全押し操作が行なわれると、シャッタスイッチ２１１は操作に応じた操作信号をコントローラ１７に出力する。
【００３１】
また本実施形態では、操作部２１の一つの部材としてズームリング２１２が備えられている。ズームリング２１２は、使用者からの操作に応じて、光学系１１のズーム倍率を変更する。ズームリング２１２は、使用者に操作されると、操作信号をコントローラ１７に出力する。これによって、コントローラ１７は、ズームレンズ１１２に対してズーム倍率を変更するための制御信号を送ることができる。すなわち、本発明のズーム倍率変更部は、ズームリング２１２で実現できる。なお、ズーム倍率変更部は、光学系のズーム倍率を変更できるものであれば、どのような構成であってもかまわない。例えば、交換レンズを備える撮像装置であれば、交換レンズに設けられるズームリングであってもよいし、タッチパネル２０へのタッチ操作によってズーム倍率を入力してズーム倍率を変更するものであってもよい。
【００３２】
１−２  コントローラ１７の制御動作
本実施形態におけるコントローラ１７は、顔検出処理と、追尾領域設定処理と、画像処理部１４における電子ズーム処理の制御処理と、追尾領域移動処理と、合焦処理と、対応付け処理とを行なう。すなわち、実施形態においてコントローラ１７は、第１領域移動部であり、設定部であり、電子ズーム処理部の制御部であり、第２領域移動部であり、合焦部であり、対応付け部である。本実施形態では、これらの各処理部はコントローラ１７により実現されるが、本発明はこのような構成に限定されず、少なくとも一部の処理部がコントローラ１７とは別の回路として設けられていてもよい。
【００３３】
第１領域移動部を実現するコントローラ１７は、ＣＣＤイメージセンサー１２で生成される画像データ内で、顔の特徴を示す特徴情報（顔の特徴情報）を検索する。そしてコントローラ１７は、顔の特徴情報の検索結果と、画像データ内における追尾領域の位置とに基づいて、顔領域を順次移動させる。顔領域とは、画像データ内で顔が存在していると判断する領域である。本実施形態では、顔の特徴領域が画像データの部分的特徴を示す第１の特徴情報であり、顔領域が第１領域である。
【００３４】
設定部を実現するコントローラ１７は、ＣＣＤイメージセンサー１２によって生成された画像データの一部を追尾領域５０（図４）として設定する。
【００３５】
電子ズーム処理の制御を行うコントローラ１７は、画像処理部１４を制御する。この制御に基づいて、画像処理部１４は、ＣＣＤイメージセンサー１２で生成された画像データを電子的に縮小または拡大して、縮小または拡大された画像データを生成する。コントローラ１７は、追尾領域５０を設定した後、ズームリング２１２で光学系１１のズーム倍率が変更された場合、追尾領域５０の設定時のズーム倍率からの変化量に応じて、縮小または拡大された画像データを生成するように画像処理部１４を制御する。
【００３６】
第２領域移動部を実現するコントローラ１７は、追尾領域５０内の色の特徴を示す特徴情報（色の特徴情報）を検索する。そして、コントローラ１７は、追尾領域５０内の色の特徴情報の検索結果に基づいて、追尾領域を順次移動させる。すなわち、本実施形態では、追尾領域５０内の色の特徴情報が、画像データの部分的特徴を示す第２の特徴情報であり、追尾領域５０が第２領域である。
【００３７】
合焦部を実現するコントローラ１７は、ＣＣＤイメージセンサー１２によって生成された画像データが示す画像内の追尾領域５０内の画像データに基づいて、ＣＣＤイメージセンサー１２で撮像している被写体像の合焦状態を継続的に維持するように光学系１１を制御する。
【００３８】
対応付け部を実現するコントローラ１７は、第１領域と第２領域が関連していると判断した場合、第１領域と第２領域を対応付ける。本実施形態では、顔領域と追尾領域が関連していると判断した場合、追尾領域と顔領域の相対的な位置情報を位置関係としてバッファメモリ１５に記憶する。
【００３９】
以下、各々の処理をより具体的に説明する。
【００４０】
１−２−１  顔検出処理
顔検出処理について説明する。顔検出処理は、コントローラ１７が、画像データ（デジタル信号）から特徴抽出を行い、あらかじめ用意した顔領域を表す特徴情報と比較し、類似度が高いものを検出することで行う。これによって、コントローラ１７は、画像データ上で顔領域を移動させることができる。顔領域の検出は、あらかじめ用意した顔領域のテンプレートと輝度の相関が高い領域を画像中から探索したり、画像中からＨＳＶ色空間における色相があらかじめ指定した肌色の色相と近い領域を検出する肌色領域検出をおこなったり、人の顔を楕円でモデル化し、ハフ変換（Ｈｕａｇｈ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）によって楕円検出を行ったり、統計的パターン識別手法を用いて、あらかじめ学習させた顔の特徴空間との相関の近い領域を検出したりすることで行うことができる。
【００４１】
また顔検出処理においては、色の判断が必要な場合がある。この場合のデジタル信号は、Ｒ，Ｇ、Ｂのカラーフィルターを用いた光センサによって受光された光学的信号から取得される必要がある。したがって色を利用した顔検出処理を行う場合、カラーフィルターを用いた光センサによってＣＣＤイメージセンサー１２を構成する必要がある。
【００４２】
なお、顔検出処理では、顔領域の類似度が所定値よりも高いものを検出するようにした。そのため、取得された画像データによっては、顔領域が一つも検出できない可能性もある。
【００４３】
ここで、画像データ内に複数の顔領域が検出された場合について説明する。複数の顔領域が検出された場合、顔領域の大きさや位置に応じて、主要な被写体と、それ以外の被写体とを判断できるようにしている。なお、主要な被写体と、それ以外の被写体との判断は、顔領域の大きさや位置に限られず、顔領域内の画像データのコントラストに基づいて行なうようにしてもよい。このようにすれば、顔領域内の画像データのコントラストを検出して、現在のレンズ位置から最も近い位置で合焦できる被写体を主要な被写体とすることができる。これによって、一旦主要な被写体として設定された被写体から、他の被写体に対して、主要であるという情報が変化してしまうことを減らすことができる。これは、主要な被写体として設定されている被写体が、一つ前の画像データから、次の画像データまでに、それほど大きな動きをしていないだろうとの予測に基づいている。
【００４４】
本実施形態では、顔検出処理によって画像データ内に複数の顔が検出された場合、複数の顔の内、主要な被写体として決定された顔領域を利用して、顔領域と追尾領域の対応付け、及び、追尾領域の位置の推定を行なうようにしている。
【００４５】
１−２−２  追尾領域設定処理
コントローラ１７は、画像処理部１４から受け取った画像データを表示画面８０（図３）として液晶モニタに表示させる。そしてコントローラ１７は、使用者から表示画面８０がタッチ操作された場合、タッチ操作された位置に対応する画像データ内の被写体像２に追尾領域５０を設定する。ここで表示画面８０がタッチ操作された場合、マトリクススイッチはタッチ操作された位置をコントローラ１７に出力する。そしてコントローラ１７は、タッチ操作された位置に対応する画像データ内の被写体像２に追尾領域５０を設定する。コントローラ１７は、追尾領域が設定された画像データを表示画面８１（図４）として、液晶モニタに表示させる。
【００４６】
１−２−３  電子ズーム処理の制御処理
コントローラ１７は、例えば、ズーム倍率が拡大（望遠）側へ変更され、ＣＣＤイメージセンサーによって図５（ａ）のような画像データが取得された場合、次の処理を行なう。コントローラ１７は、画像処理部１４を制御する。画像処理部１４は、図５（ａ）の画像データを、この追尾領域５０の設定時のズーム倍率からの変化量に応じて電子的に縮小する。縮小された画像データは、例えば、図５（ｂ）の画像データである。
【００４７】
ここで、図５（ａ）の画像データの電子的な縮小は、例えば、追尾領域５０の設定時のズーム倍率が２倍である場合（例えば、光学系１１の焦点距離５０ｍｍに設定されている場合）であって、ズーム倍率が４倍に変更された場合（光学系１１の焦点距離１００ｍｍに設定されている場合）、追尾領域５０の設定時のズーム倍率からの変化量は２倍であるため、ズーム倍率変更後の画像データの画角が変化量分の１（例えば、２分の１）に縮小されるように画角を変更する（図５（ｂ）の画像データ）。これによって画像処理部１４は、追尾領域５０の設定時のズーム倍率からの変化量に応じて、縮小した画像データを生成できる。なお、追尾領域５０の設定時のズーム倍率からの変化量に応じて、拡大した画像データを生成する方法については、縮小の方法と同様の方法で実現できる。
【００４８】
１−２−４  追尾領域移動処理
コントローラ１７は、画像データにおいて追尾領域５０が設定された被写体に対し、追尾動作を行なう。そしてコントローラ１７は、追尾動作を可能にするため、下記の処理を行う。すなわち、コントローラ１７は、色記憶と、検索領域取得と、色情報検索と、移動判別と、追尾領域移動の処理を行う。以下、具体的に説明する。
【００４９】
色記憶処理は、追尾領域５０内の画像データの色情報を記憶媒体に記憶する。ここで記憶媒体としては、バッファメモリ１５、フラッシュメモリ１６、メモリカード１９などが考えられるが、これに限らない。色記憶処理を実現するコントローラ１７は、追尾領域５０内の画像データを取得する（図６（ａ））。そしてコントローラ１７は、追尾領域５０内の画像データの色情報を取得する。ここで色情報は、色相の色空間で表現する。すなわち、色相は、０〜３６０度の位相角として角度により表すことができる。ここで色空間がＨＳＶ色空間の場合、図７のように、Ｒ＝０／Ｇ＝１２０／Ｂ＝２４０の位置関係で表現できる。例えば、該当色が図７のように位置する場合、該当色の角度は、θとなる。これによって、例えば、図６（ａ）の追尾領域５０内の画像データでは、図６（ｂ）のヒストグラムで表現できる。ここでヒストグラムの横軸は、角度（度）を表しており、縦軸は、追尾領域内に存在する各色相の画素の数を表している。横軸は、Ｍｉｎが０度であり、Ｍａｘが３５９度である。このようにして取得された追尾領域５０の色情報をコントローラ１７は、バッファメモリ１５フラッシュメモリ１６、またはメモリカード１９などの記憶媒体に記憶する。好ましくは、追尾領域の色情報を撮像装置１に内蔵された記憶媒体に記憶する。このようにすれば、追尾領域の色情報の読み出し時間を短くすることができる。なお、色相はスペクトル上での色の位置で表すことも可能である。この場合、光の波長を３００ｎｍ〜７８０ｎｍで表現することが可能となる。
【００５０】
検索領域取得処理は、追尾領域５０および追尾領域５０周辺の画像データを含む検索領域６０（図８）内の画像データを取得する。すなわち、コントローラ１７は、検索領域６０内の画像データを取得する。例えば、検索領域６０は、追尾領域５０の約９倍（縦３倍・横３倍）の大きさで構成されている。なお、コントローラ１７で追尾領域５０を設定した後、ズームリング２１２で光学系１１のズーム倍率が変更されている場合、画像処理部１４で縮小または拡大された画像データ（図９（ａ）の画像データ）の中から、追尾領域５０および追尾領域５０周辺の画像データを含む検索領域６０を設定する。そして、検索領域６０内の画像データを取得する（図９（ｂ））。これによって、追尾領域５０を設定した後、ズームリング２１２で光学系１１のズーム倍率が変更されている場合であっても、検索領域内の画素数を、追尾領域設定時の検索領域の画素数と同程度にすることができる。また、追尾領域５０を設定した後、ズームリング２１２で光学系１１のズーム倍率が拡大側へ変更された場合であっても、検索領域内の画素数が増加し、検索処理の処理量が増えることを防止できる。
【００５１】
色情報検索処理は、検索領域６０内において、追尾領域５０と同じ形状、同じ大きさで、かつ、記憶媒体に記憶された追尾領域５０の色情報と最も近似する領域７０（図１２（ａ））を検索する。したがって、コントローラ１７は、記憶媒体に記憶された追尾領域５０の色情報を読み出す。そしてコントローラ１７は、読み出した追尾領域５０の色情報と最も近似する領域７０を、検索領域６０内から検索する。
【００５２】
ここで最も近似する領域７０の検索方法は、検索するための領域（判別領域）を利用して、以下の方法で実現可能である。
【００５３】
まずコントローラ１７は、検索領域６０の左端上端の判別領域１０ａ（図１０）における画像データを取得する。そしてコントローラ１７は、取得した画像データの色情報を解析する。ここで判別領域１０ａは、追尾領域５０と同じ形状で、同じ大きさである。判別領域１０ａ内の画像データの色情報を解析したコントローラ１７は、判別領域１０ａ内の色情報を、現在最も近似する領域の色情報として記憶媒体に記憶する。
【００５４】
次に、コントローラ１７は、判別領域を１画素右にずらし、判別領域１０ｂ内の色情報を取得する。そしてコントローラ１７は、判別領域１０ｂ内の色情報と、記憶された現在最も近似する領域の色情報（判別領域１０ａ内の色情報）と、を比較し、どちらが追尾領域５０内の色情報に近似するかを判別する。
【００５５】
ここで追尾領域５０内の色情報に近似すると判別された色情報が、判別領域１０ｂ内の色情報である場合、コントローラ１７は、判別領域１０ｂ内の色情報を、記憶媒体に記憶する。一方、追尾領域５０内の色情報に近似すると判別された色情報が、記憶された現在最も近似する領域（判別領域１０ａ内の色情報）である場合、判別領域を１画素右にずらし、次の領域の判別を行なう。これらの処理を繰り返すことによって、検索領域６０内の検索を行なう。なお、図１１に示すように、コントローラ１７は、判別領域が検索領域６０の右端上端に到達した場合、１画素下げて、左端からまた検索を行なう。
【００５６】
これらの処理を繰り返すことによって、コントローラ１７は、検索領域６０全体を検索できる。したがって、コントローラ１７は、追尾領域５０の色情報に、最も近似する領域を検索できる。すなわち、検索終了時に、記憶媒体に記憶されている判別領域が、最も近似する領域７０となる。これによってコントローラ１７は、最も近似する領域７０を検索できる。
【００５７】
次に、コントローラ１７が、記憶された現在最も近似する色情報（例えば、判別領域１０ａ内の色情報）と、判別領域１０ｂ内の色情報とを比較し、どちらが追尾領域５０内の色情報に近似するかを判別する際の判別方法を説明する。判別方法は、色情報のヒストグラムに基づいて、抽出される曲線の近似度を求めることで、判別できる。すなわち、ある曲線と、他の曲線とのユークリッド距離（近似度）を測ることによって可能である。なお、ユークリッド距離ｄ（ｆ，ｇ）は、距離尺度であり、ベクトル量ｆとｇに対して、下記の数式１で算出できる。
【数１】
2009268086.tif 000003
【００５８】
したがって、コントローラ１７は、追尾領域５０内の色情報と判別領域１０ａ内の色情報とのユークリッド距離と、追尾領域５０内の色情報と判別領域１０ｂ内の色情報とのユークリッド距離と、を比較して、ユークリッド距離が小さい方を、現在最も近似する色情報として判別する。
【００５９】
なお、本実施形態では、現在最も近似する領域として判別された判別領域内の色情報を記憶媒体に記憶するようにしているが、これに限らない。例えば、ユークリッド距離のような近似度を記憶媒体に記憶するようにしてもよい。このようにすれば、記憶された現在最も近似する領域の色情報と追尾領域の色情報とのユークリッド距離の算出をしなくてすむ。
【００６０】
また、判別領域内の色情報を現在最も近似する領域の色情報として記憶する際に、判別領域の位置情報を最も近似する領域の位置情報として記憶媒体に記憶するとよい。このようにすれば、コントローラ１７が検索領域内の検索を終了した時に、記憶媒体から情報を読み出すだけで、最も近似する領域の位置情報を取得できるようになる。ここで最も近似する領域の位置情報として記憶する判別領域の位置情報は、判別領域の左端上端の位置情報７０ａ（図１２（ａ））を記憶しておくとよい。例えば図１２（ｂ）に示す情報の形で記憶する。これによって、検索終了時に、記憶された現在最も近似する領域の位置が、追尾領域５０を移動させるべき位置となる。すなわち、図１２（ｂ）の現在最も近似する領域が、検索領域内の最も近似する領域となる。
【００６１】
移動判別処理では、追尾領域５０を移動させるか否かを判別する。本実施形態では、検索領域内の最も近似する領域７０の色情報と、記憶媒体に記憶された色情報が、ユークリッド距離換算で所定値未満か否かで判別する。所定値未満の場合、コントローラ１７は、追尾領域５０を移動させると判断する。一方、所定値以上の場合、追尾領域を移動させないと判断する。なお、所定値は、特に限定されない。すなわち、移動判別処理は、追尾領域５０を移動させるか否かを、判別できるものであれば、どのような処理であってもかまわない。このように構成すれば、たとえば、色情報検索処理での検索結果の精度が低い場合、追尾領域５０の移動を取りやめることができる。これによって、撮像装置１は、全体として精度の高い追尾動作を行なうことができる。
【００６２】
追尾領域移動処理では、画像データにおいて、色情報検索処理によって検索された最も近似する領域７０に追尾領域５０を移動させる。または、画像データで顔領域が検出された位置と、バッファメモリ１５に記憶された追尾領域と顔領域との位置関係と、に応じて追尾領域５０を移動させる。すなわち、コントローラ１７は、移動判別処理で追尾領域を移動すると判別した場合、最も近似する領域７０の位置情報に応じて、追尾領域５０を移動する（図１３の表示画面８２）。また、コントローラ１７は、移動判別処理で追尾領域を移動しないと判別した場合であって、前記バッファメモリ１５に位置関係が記憶されている場合は、画像データ内で顔領域が検出された位置と、追尾領域と顔領域との位置関係と、に応じて追尾領域を移動させる。追尾領域と顔領域との位置関係の設定の詳細は後述する。
【００６３】
ここで、顔領域が検出された位置と、追尾領域と顔領域との位置関係とに応じて、追尾領域を移動させる方法を説明する。図２０のように、ある画像データにおいて、顔検出処理によって、顔領域９０が検出された場合であって、追尾領域５０を移動しないと判別した場合、コントローラ１７は、顔領域９０の中心位置３ｃを決定する。そして、コントローラ１７は、追尾領域と顔領域との位置関係２３ａ（図２１）を用いて、顔領域９０の中心位置３ｃから、追尾領域５０の中心位置２ｃを決定する。その後、コントローラ１７は、追尾領域５０の中心位置２ｃに対して、追尾領域５０を設定する。これによって、近似領域７０を特定できないこと等に起因して移動判別処理で追尾領域５０を移動しないと判断した場合であっても、追尾領域５０を移動させるべき位置を推定して移動させることができる。なお、この方法で用いられる追尾領域と顔領域との位置関係は、顔領域の大きさに応じて調整するようにすると好ましい。
【００６４】
上述の動作によって、追尾領域移動処理が行われる。なお、追尾領域移動処理のより詳細な動作は、後述する。
【００６５】
１−２−５  合焦処理
コントローラ１７は、ＣＣＤイメージセンサー１２で撮像している追尾領域内の被写体像の合焦状態を調整するために、光学系１１を制御する。本実施形態におけるコントローラ１７は、合焦状態を制御するため、以下の処理を行う。なお、コントローラ１７は、山登り方式（コントラスト方式）のオートフォーカス手段によって合焦状態を調整する。
【００６６】
コントローラ１７は、予め設定されたフォーカスレンズ１１３の稼動範囲で、フォーカスレンズ１１３を稼動させる。これに伴って、コントローラ１７は、画像処理部１４から画像データを連続的に取得する。そして、コントローラ１７は、画像処理部１４から連続的に入力された画像データの追尾領域内を解析する。この際、コントローラ１７は、入力された画像に対して、画像の境界の明瞭さや微細な部分の描写能力を表す度合いである鮮鋭度を算出する。そしてコントローラ１７は、連続的に入力される画像の中から、鮮鋭度が最大となる画像を選択する。次に、コントローラ１７は、選択された画像が取得できるフォーカスレンズ１１３の位置を検出し、フォーカスレンズ１１３の現在位置に基づいて、フォーカスレンズ１１３の移動量を決定する。フォーカスレンズ１１３の移動量が決定されると、フォーカスレンズ１１３を移動するため、フォーカスレンズ駆動部１１６に移動量を含む信号を出力する。なお、フォーカスレンズ１１３の現在位置の検出方法は、どのような方法であってもよいが、好ましくは、フォーカスレンズ１１３に位置センサを設け、光学系１１におけるフォーカスレンズ１１３の現在位置を検出し、この現在位置の情報をコントローラ１７に出力するようにするとよい。
【００６７】
ここでコントローラ１７は、合焦状態を継続的に維持するように光学系１１を制御するため、ＣＣＤイメージセンサー１２によって取得される画像データに対して、追尾制御を行なっている間、合焦状態を調整し続ける。これはデジタルカメラで一般的に用いられているコンティニュアスＡＦと呼ばれる。コンティニュアスＡＦを、コントラスト方式のＡＦで実現する場合、例えば、特開２００３−１４００３５号公報に記載された技術を用いることができる。具体的には、例えば、段落「００１２」〜「００１６」等に記載されたメインのＡＦ処理によって可能である。
【００６８】
上記の動作によって、撮像装置１は、被写体に対して合焦状態を継続的に維持できる。
【００６９】
１−２−６  対応付け処理
対応付け処理は、追尾領域移動処理による追尾領域５０の順次移動と、顔検出処理による顔領域９０の順次移動が関連していると判断した場合に、追尾領域５０と顔領域９０を対応付ける。
【００７０】
具体的に対応付けの方法について説明する。図１６の画像データにおいて顔３が位置する顔領域９０が検出されるとともに、追尾領域５０が設定されたとする。この場合、コントローラ１７は、顔領域９０の中心位置３ｃと、追尾領域５０の中心位置２ｃとの相対的位置２３（例えば、顔領域を中心とした座標Ｘ、Ｙ）を取得する。そして、コントローラ１７は、取得された相対的位置２３をバッファメモリ１５に記憶する。
【００７１】
また、ＣＣＤイメージセンサー１２によって次に取得された画像データにおいて、顔検出処理によって顔領域９０が検出され、追尾領域移動処理によって追尾領域５０が移動されたとする（図１７（ａ））。この際コントローラ１７は、検出した顔領域９０の中心位置３ｃと、バッファメモリ１５に記憶された相対的位置２３に基づいて、関連領域１００を画像データに設ける。そしてコントローラ１７は、関連領域１００に、追尾領域５０が含まれているか否かを判別する。ここで関連領域１００は、追尾領域５０のサイズよりも大きい。そして関連領域１００は、顔領域９０の中心位置３ｃおよび記憶された相対的位置２３によって求められる設定位置２ｓに、領域の中心が来るように設けられる。なお、関連領域のサイズや設定方法については、これに限られない。
【００７２】
この追尾領域移動処理で移動された追尾領域５０が関連領域１００に含まれるか否かを判別する処理を複数の画像データ（例えば、１０フレーム）で行う。図１７（ｂ）は追尾領域５０が関連領域１００に含まれる状態を示し、図１７（ｃ）は追尾領域５０が関連領域１００に含まれない状態を示している。複数の画像データ（例えば、１０フレーム）を取得した結果、特定以上の画像データ（例えば、８フレーム以上）で追尾領域５０が関連領域１００に含まれた場合、追尾領域５０と顔領域９０とを対応付ける。対応付けは、バッファメモリ１５に記憶されている相対的位置を、追尾領域５０と顔領域９０の位置関係として記憶することである。すなわち、撮像装置１において、相対的位置は信頼性が低い情報であり、位置関係は信頼性の高い情報である。
【００７３】
なお、本実施形態では、バッファメモリ１５に記憶された一定の相対的位置を利用するようにしたが、これに限られない。すなわち、顔領域の大きさに基づいて、相対的位置および／または関連領域を調整するようにしてもよい。例えば、図１８（ａ）および（ｂ）のように、顔領域が大きくなると、それに併せて、相対的位置および関連領域を大きくする一方、図１８（ａ）および（ｃ）のように、顔領域が小さくなると、それに併せて、相対的位置および関連領域を小さくするようにしてもよい。このようにすれば、顔領域の大きさに応じた相対的位置および関連領域に設定することができる。そのため、画像データ内における被写体の大きさに応じた対応付けを行なうことができる。これによって、精度の高い対応付け処理を行うことができる。
【００７４】
また、本実施形態では、位置関係をバッファメモリ１５に記憶するようにしたが、これに限られない。例えば、フラッシュメモリやメモリカードのような記憶媒体に記憶するようにしてもよい。
【００７５】
対応付け処理のより詳細な動作については、後述する。
【００７６】
２．動作
２−１  追尾動作
次に、図１４および図１５のフローチャートを用いて撮像装置１の動作について説明する。撮像装置１は、図示しない電源スイッチがＯＦＦからＯＮに変更され、追尾撮影モードに設定されると、撮像装置１は、以下の動作を行なう。
【００７７】
図１４を参照して、まず、ＣＣＤイメージセンサー１２が、被写体像を撮像して画像データを生成する（ステップＳ１）。撮像された画像データは、ＡＤコンバータ１３や画像処理部１４を介してコントローラ１７に入力される。この際、ステップＳ２の処理が行われるまで、ＣＣＤイメージセンサー１２で繰り返し画像データが取得される。
【００７８】
コントローラ１７は、タッチパネル２０に、画像データを表示画面８０（図３）として表示させる。そしてコントローラ１７は、タッチパネル２０を介した使用者からのタッチ操作を受け付ける。使用者からタッチ操作を受け付けた場合、コントローラ１７は、タッチパネル２０がタッチ操作された位置に応じて、画像データに追尾領域５０を設定する（ステップＳ２）。この際、コントローラ１７は、追尾領域５０が設定された画像データをタッチパネル２０に表示画面８１（図４）として表示させる。
【００７９】
次に、コントローラ１７は、追尾領域５０内の画像データを取得する。そしてコントローラ１７は、追尾領域５０内の画像データを解析した色情報を記憶媒体に記憶する（ステップＳ３）。この際、コントローラ１７は、追尾領域５０が設定された被写体像２に対して、合焦状態の調整を行う（ステップＳ４）。そして、コントローラ１７は、追尾処理を行なう（ステップＳ５）。なお、図示はしないが、追尾処理と並行して、合焦制御（コンティニュアスＡＦ）の処理を行う。
【００８０】
次に、追尾処理の動作を図１５のフローチャートを用いて説明する。まず、ＣＣＤイメージセンサー１２は、被写体像を画像データとして撮像する（ステップＴ１）。撮像された画像データは、ＡＤコンバータ１３や画像処理部１４を介してコントローラ１７に入力される。
【００８１】
次に、コントローラ１７は、追尾領域５０を設定した後に、ズームリング２１２によって光学系１１のズーム倍率が変更されたか否かを判別する（ステップＴ２）。
【００８２】
追尾領域５０を設定した後にズームリング２１２で光学系１１のズーム倍率が変更されていた場合、コントローラ１７は、画像処理部１４を制御する。コントローラ１７によって制御された画像処理部１４は、この追尾領域５０の設定時のズーム倍率からの変化量に応じて縮小または拡大された画像データを生成する（ステップＴ３）。一方、追尾領域５０を設定した後にズームリング２１２で光学系１１のズーム倍率が変更されていない場合、ステップＴ４の処理に移行する。
【００８３】
次に、コントローラ１７は、縮小または拡大されている画像データ、若しくは、縮小または拡大されていない画像データに、検索領域６０（図８）を設定する。そして、コントローラ１７は、検索領域６０内の画像データを取得する（ステップＴ４）。コントローラ１７は、取得された検索領域６０内の画像データにおいて、追尾領域５０の色情報と最も近似する領域７０（図１２（ａ））を検索する（ステップＴ５）。
【００８４】
そしてコントローラ１７は、図１９に示す追尾領域を移動させる領域移動処理を行う（ステップＴ６）。そして再度ステップＴ１に移行し、新たな画像データ（フレーム）をＣＣＤイメージセンサー１２から取得する。
【００８５】
図１９の領域移動処理について説明する。まず、コントローラ１７は、ステップＴ５の検索結果に応じて、追尾領域５０を移動させるか否かを判別する（ステップＵ１）。追尾領域５０を移動させると判別した場合、コントローラ１７は、最も近似する領域に追尾領域５０を移動する（ステップＵ２）。この際、コントローラ１７は、追尾領域５０が移動された画像データを表示画面８２（図１３）として、タッチパネル２０に表示させる。そして、ステップＵ６の処理に移行する。
【００８６】
一方、コントローラ１７が追尾領域５０を移動させないと判別した場合、コントローラ１７は、画像データ内に、顔領域を検出できおり、かつ、追尾領域と顔領域とが対応付けられているか否かを判別する（ステップＵ３）。
【００８７】
コントローラ１７は、顔領域を検出できており、かつ、位置関係がバッファメモリに記憶されている場合（対応付けられている場合）、画像データ内における顔領域９０の位置と、バッファメモリ１５に記憶された位置関係に応じて、図２１のように、追尾領域５０を移動させる（ステップＵ４）。この際、コントローラ１７は、追尾領域５０が移動された画像データをタッチパネル２０に表示させる（図２１）。そしてステップＵ６の処理に移行する。
【００８８】
なお、ステップＵ４の処理において、画像データ内に顔領域が複数検出されていた場合、例えば、複数の顔領域の内、主要な被写体の顔領域に基づいて、追尾領域の位置を推定する。なお、主要な被写体の顔領域に限られず、複数の顔領域の内、直前の画像データで検出された顔領域に最も位置が近い顔領域に基づいて、追尾領域の位置を推定するようにしてもよい。
【００８９】
また、コントローラ１７は、顔領域が検出できない、又は、位置関係がバッファメモリ１５に記憶されていない場合、追尾領域５０を移動しないように制御する（ステップＵ５）。すなわち、コントローラ１７は、何もせず、追尾領域移動処理を終了する。
【００９０】
なお、ステップＵ６の処理では、ステップＵ２から移行された場合、コントローラ１７が、最も近似する領域７０内の画像データを解析し、この解析した色情報を記憶媒体に記憶する。ステップＵ４から移行された場合、コントローラ１７が、移動された追尾領域５０内の画像データを解析し、この解析した色情報を記憶媒体に記憶する。
【００９１】
ステップＵ６の処理を終了すると、領域移動処理を終了する。
【００９２】
上記のように撮像装置１の被写体に対する追尾領域移動処理が行われる。
【００９３】
２−２  対応付け動作
次に、顔領域９０と追尾領域５０との対応付けの動作について図２２のフローチャートを用いて説明する。顔検出処理および追尾処理が開始されると、以下の処理を開始する。なお、この動作において、画像データ内に複数の顔領域が検出された場合、主要な被写体の顔領域を、追尾領域との対応付けに利用する。
【００９４】
まず、コントローラ１７は、ＣＣＤイメージセンサー１２によって生成された画像データを取得する（ステップＶ１）。そして、コントローラ１７は、この取得された画像データに、顔領域９０が検出されて、かつ、追尾領域５０が設定されたか判別する（ステップＶ２）。追尾領域５０が設定されたとは、図４のように、使用者によって追尾領域５０が設定されたことである。
【００９５】
コントローラ１７は、ステップＶ２の処理において、顔領域９０が検出され、追尾領域５０が設定された場合、対応付けを判別するための情報である関連数とフレーム数を０に設定する（ステップＶ３）。一方、コントローラ１７は、顔領域９０が検出できない場合、又は、追尾領域５０が設定されない場合、ステップＶ１に処理を移行する。
【００９６】
ステップＶ３の処理が終了すると、コントローラ１７は、顔領域９０と追尾領域５０の相対的位置を抽出する（ステップＶ４）。この際、コントローラ１７は、この相対的位置をバッファメモリ１５に記憶する。
【００９７】
そして、コントローラ１７は、ＣＣＤイメージセンサー１２で生成された新たな画像データを取得する（ステップＶ５）。この新たな画像データに対して、コントローラ１７は、顔検出処理および追尾領域移動処理を行う。そして、コントローラ１７は、顔領域９０が検出され、かつ、移動判別処理にて追尾領域５０を移動させると判別したことによって追尾領域５０が移動されたか判別する（ステップＶ６）。
【００９８】
コントローラ１７は、ステップＶ６において、顔領域９０が検出され、追尾領域５０が移動された場合、ステップＶ７の処理に移行する。一方、コントローラ１７は、顔領域９０が検出できない場合、又は、追尾領域５０が設定されない場合、ステップＶ１の処理に移行する。
【００９９】
ステップＶ７の処理では、コントローラ１７が、顔領域９０の位置に基づく関連領域１００に、移動させた追尾領域５０が含まれるか否かを判別する。コントローラ１７は、関連領域１００が追尾領域５０に含まれる場合、関連数とフレーム数に、１を加算する（ステップＶ８）。一方、コントローラ１７は、関連領域１００が追尾領域５０に含まれない場合、フレーム数に、１を加算する（ステップＶ９）。
【０１００】
ステップＶ８、ステップＶ９の処理が終了すると、コントローラ１７は、フレーム数が１０以上であるか否かを判別する（ステップＶ１０）。フレーム数が１０以上になった場合、ステップＶ１１の処理に移行する。一方、フレーム数が１０未満である場合、ステップＶ５の処理に移行する。
【０１０１】
ステップＶ１１の処理では、コントローラ１７が、関連数が８以上であるか否かを判別する。コントローラ１７は、関連数が８以上である場合、顔領域９０と追尾領域５０が関連していると判断して、相対的位置を位置関係としてバッファメモリ１５に記憶する（ステップＶ１２）。一方、関連数が８未満である場合、位置関係は記憶せずに、対応付け処理を終了する。
【０１０２】
これによって、顔領域９０と追尾領域５０の対応付けを可能にしている。なお、本実施形態では、追尾領域５０の設定時をトリガとして、追尾領域５０と顔領域９０の相対的位置を記憶するようにしたが、これに限られない。例えば、ステップＶ１１で、追尾領域５０と顔領域９０を対応付けできないと判別した時をトリガとして、この判別した時点の画像データで検出されている顔領域９０と、設定されている追尾領域５０の相対的位置を記憶するようにしてもよい。この場合、撮像装置１は、追尾領域５０と顔領域９０が対応付けできるまで、繰り返し対応付け処理が行われることになる。
【０１０３】
ここで、本実施形態では、顔領域９０の中心位置に基づいて、追尾領域５０が対応付けされるか否かを判別するようにした。このように構成した理由は、顔領域９０の中心位置が、追尾領域５０と比べて、容易に判断できるためである。すなわち、顔領域９０は、顔の形や目の位置などの特徴情報に基づくものであるため、中心位置を決定しやすい。一方、追尾領域５０は、色の特徴情報（ヒストグラム）を用いているので、中心位置を決定し難い。
【０１０４】
上述のように、本実施形態の撮像装置１は、被写体像を撮像して静止画である複数枚の画像データを順次生成することにより動画像を出力するＣＣＤイメージセンサー１２と、ＣＣＤイメージセンサー１２で生成される画像データ内で顔の特徴情報を検索し、顔の特徴情報の検索結果に基づいて顔領域９０を順次移動させるコントローラ１７（顔検出処理）と、ＣＣＤイメージセンサー１２で生成される画像データ内で色の特徴情報を検索し、色の特徴情報の検索結果および／または顔領域９０の画像データ内における位置に基づいて追尾領域５０を順次移動させるコントローラ１７（追尾領域移動処理）と、を備える。
【０１０５】
本実施形態の撮像装置１は、顔検出処理と追尾領域移動処理とを互いに独立して実行し、追尾領域移動処理での色の特徴情報の検索結果と、顔領域９０の画像データ内の位置との少なくとも一方に基づき、追尾領域５０を移動させる。追尾領域５０を移動させるべき位置を色情報から特定できない場合でも、追尾領域５０と独立して移動させている顔領域９０の位置に基づいて、追尾領域５０を移動させることができるので、より高い精度で、追尾領域５０の移動を継続できる。
【０１０６】
なお、上述した実施形態は一例であり、本発明はそれに限定されない。以下、本発明の撮像装置１の改変例を説明する。
【０１０７】
上述した本発明の実施形態では、撮像部としてＣＣＤイメージセンサー１２を例示した。しかし、ＣＣＤイメージセンサー１２に代えて、他の撮像素子を用いてもよい。他の撮像素子としては、例えば、ＣＭＯＳイメージセンサーなどを用いてもよい。ＣＭＯＳイメージセンサーを用いることにより、消費電力を低減できる。すなわち、撮像部としては、被写体像を撮像して画像データを生成する素子であればよい。
【０１０８】
また、上述した本発明の実施形態では、タイミングジェネレータ１２１がＣＣＤイメージセンサー１２に供給するパルス信号として、例えば、１秒間に３０回のフレーム読み出しを実行させるパルス信号を供給したが、これに限られない。例えば、１秒間に５０回や６０回のパルス信号を供給するようにしてもよい。要するに、タイミングジェネレータ１２１は、フレーム読み出しのためのパルス信号を供給できるものであればよい。
【０１０９】
また、上述した本発明の実施形態では、振動検出部として、二つのジャイロセンサーによって構成される、２軸のぶれ検出器３０を例示したが、これに限られず、自装置の振動を検出できるものであればどのような構成であってもよい。例えば、振動検出部は、１軸の振動を検出できるものであってもよい。また、ジャイロセンサーは、振動式、機械式、光学式など様々な構成で実現できる。また、振動の大きさについては、振動量で実現したが、これに限られず、どのような値で表現してもかまわない。
【０１１０】
また、上述した本発明の実施形態では、タッチパネル２０を備えた装置を例示したが、これに限られず、タッチセンサを備えずに、液晶モニタなどの表示部と、十字キーや押下釦などの入力手段を備える装置であってもよい。
【０１１１】
また、上述した本発明の実施形態では、合焦部として、山登り方式のオートフォーカスを用いるコントローラ１７を例示したが、これに限られず、他のＡＦ処理によって合焦状態を調整できるものであってもよい。例えば、他のＡＦ処理として、一眼レフのカメラなどで一般的に用いられる位相差検出方式が考えられる。
【０１１２】
さらに、上述した本発明の実施形態では、合焦部として、コンティニュアスＡＦを行なうコントローラ１７を例示したが、これに限られず、所定のタイミングで合焦状態を調整するものであってもよい。所定のタイミングとは、例えば、使用者が操作部に含まれるシャッタスイッチを全押することで、デジタルカメラに対して撮影の動作を指示した時などが考えられる。すなわち、合焦部は、合焦状態を調整できるものであればどのような手段であってもよい。
【０１１３】
また、上述した本発明の実施形態では、使用者がタッチパネルを操作することによって、追尾領域を画像データに設定するようにしたが、これに限られない。例えば、十字キーなどの操作部をデジタルカメラに設け、この操作部を操作することによって、追尾領域を設定するようにしてもよい。
【０１１４】
また、上述した本発明の実施形態では、色（色相）情報を利用して、追尾を行なっているが、これに限られず、輝度信号情報、形状、温度または被写体中の特徴あるコントラスト等、その他の情報を利用して追尾処理を行なうことができる。
【０１１５】
また、上述した本発明の実施形態では、取得された画像データの各フレームで、追尾動作を行なうようにしたが、これに限られない。
【０１１６】
また、本発明の実施形態では、説明をシンプルにするために、追尾領域を移動させた後に、新たな画像データを取得するように記載しているが、これに限られず、追尾動作（図１５のステップＴ１〜Ｔ６）を並列に処理するようにしてもよい。この場合、コンピュータのパイプライン処理のように実現するとよい。このようにすれば、処理の高速化を図れる。
【０１１７】
また、上述した本発明の実施形態では、一つのコントローラで様々な処理手段を実現するようにしているが、これに限られず、二つ以上のコントローラで実現するようにしてもよい。
【０１１８】
また、上述した本発明の実施形態では、追尾領域５０の設定時のズーム倍率からの変化量に応じて、画像データを電子的に縮小して、縮小した画像データを生成するようにしたが、これに限られず、ズーム倍率が拡大（望遠）側へ変更された場合に、画像データを電子的に縮小して、縮小した画像データを生成するものであれば、どのような構成であってもかまわない。また、ズーム倍率が縮小（広角）側に変更された場合に、画像データを拡大して、拡大した画像データを生成するものであれば、どのような構成であってもかまわない。
【０１１９】
また、上述した本発明の実施形態では、色情報の近似判断の方法として、二つのヒストグラムのユークリッド距離を用いて判断を行なうようにしているが、これに限られない。例えば、二つのヒストグラムにおいて、色相ごとに画素数をＡＮＤ（論理積）処理して、残ったヒストグラムの数（要するに、色相ごとに何画素一致しているか）で判断するようにしてもよい。この場合、残ったヒストグラムの数が多い方が、近似する領域となる。このようにすれば、ヒストグラムの対比処理が、主に色相ごとの画素数のＡＮＤ処理によって完了できるので、簡単な処理でヒストグラムの対比が可能となる。
【０１２０】
また、上述した本発明の実施形態では、顔領域の中心位置と追尾領域の中心位置とに基づいて、相対的位置を求めるようにしたが、これに限られない。例えば、図２３のように、顔領域９０の左上端部と、追尾領域５０の左上端部の相対的位置２３ｂを求めるようにしてもよい。要するに、相対的位置は、顔領域９０と追尾領域５０の位置関係を判断できるものであればよい。
【０１２１】
また、上述した本発明の実施形態では、第１の特徴情報として顔の特徴情報を、第２の特徴情報として色の特徴情報を用いるようにしたが、これに限られない。例えば、第１の特徴情報および第２の特徴情報の少なくとも一方として、輝度信号情報、形状、温度または被写体中の特徴あるコントラスト等、その他の情報を利用することができる。
【０１２２】
また、上述した本発明の実施形態では、顔検出処理によって画像データ内に複数の顔が検出された場合、複数の顔領域の内、主要な被写体として決定された顔領域を利用して、顔領域と追尾領域の対応付け、及び、追尾領域の位置の推定を行なうようにしたが、これに限られない。
【０１２３】
また、追尾領域との対応付けの判定対象となっている顔領域が、主要な被写体であるとしている場合、顔領域と追尾領域の相対的位置の記憶を、追尾領域の設定動作をトリガとするのではなく、顔領域に対する主要な被写体の設定が変更された時をトリガとしてもよい。このようにすれば、主要な被写体の顔領域と、追尾領域との対応付け処理を容易にできるようになる。
【０１２４】
また、上述した本発明の実施形態では、使用者からの設定動作によって追尾領域を画像データ内に設定するようにしているが、これに限られない。例えば、デジタルカメラ自体が、顔領域に対応付けられるであろう追尾領域の位置を推定して、追尾領域を設定するようにしてもよい。なお、この場合も、顔検出処理と追尾領域移動処理とは互いに独立して実行する。このようにして設定された追尾領域と、顔領域の相対的位置に基づいて、追尾領域と顔領域の対応付けができる。これによって、使用者による追尾領域の設定動作が不必要になる。
【０１２５】
さらに、上述した本発明の実施形態では、移動判別処理において追尾領域を移動できない状態の場合、画像データ内における顔領域の位置、および、顔領域と追尾領域との位置関係に基づいて、追尾領域を移動させるべき位置を推定するようにしたが、これに限られない。例えば、ある画像データにおいて、顔領域が検出できなかった場合、画像データ内における追尾領域の位置、および、顔領域と追尾領域との位置関係に基づいて、顔領域の位置を推定するようにしてもよい。
【０１２６】
図２４のフローチャートを用いて、この顔領域が検出できなかった場合の動作を説明する。図２４のフローチャートは顔領域設定処理を示している。
【０１２７】
まず、コントローラ１７は、ＣＣＤイメージセンサー１２から生成された画像データを取得し、顔領域９０が検出されたか否かを判別する（ステップＷ１）。画像データにおいて顔領域９０を検出できている場合、コントローラ１７は、検出された顔領域９０を画像データに設定する（ステップＷ２）。この際、コントローラ１７は、顔領域９０が設定された画像データをタッチパネル２０に表示させる。
【０１２８】
一方、図２５のように、コントローラ１７が顔領域９０を検出できない場合、コントローラ１７は、移動判別処理で追尾領域５０を移動させると判別したことによって追尾領域５０が移動されており、かつ、追尾領域５０と顔領域９０とが対応付けられているか否かを判別する（ステップＷ３）。
【０１２９】
コントローラ１７は、追尾領域５０を移動できており、かつ、位置関係がバッファメモリ１５に記憶されている場合（対応付けられている場合）、画像データ内における追尾領域５０の位置と、バッファメモリ１５に記憶された位置関係２３ａとに応じて、図２６のように、顔領域９０の位置を推定し、設定させる（ステップＷ４）。この際、コントローラ１７は、顔領域９０が設定された画像データをタッチパネル２０に表示させる。
【０１３０】
一方、コントローラ１７は、追尾領域５０が移動できない、又は、位置関係がバッファメモリ１５に記憶されていない場合、顔領域９０を設定しないように制御する（ステップＷ５）。すなわち、コントローラ１７は、何もせず、顔領域設定処理を終了する。
【０１３１】
このようにすれば、画像データにおいて顔領域が検出できないような場合であっても、顔領域の位置を推定して、画像データ内に顔領域を設定することができる。
【０１３２】
本実施形態の撮像装置１は、顔検出処理と追尾領域移動処理とを互いに独立して実行し、顔領域９０の検出結果と、追尾領域５０の画像データ内の位置との少なくとも一方に基づき、顔領域９０の位置を推定して設定する。顔領域９０が直接検出できなくなった場合でも、顔領域９０と独立して移動させている追尾領域５０の位置に基づいて、顔領域９０の位置を推定して設定することができる。
【０１３３】
このように、本実施形態の撮像装置１では、顔領域９０および追尾領域５０の一方の位置を特定することができれば、他方の位置を設定することができる。顔領域９０の検出と追尾領域５０の移動とは互いに独立して処理するので、一方の領域の検出精度が悪い状態に依存して、他方の領域の検出精度が低下することはない。このため、高い精度で、顔領域９０および追尾領域５０を設定することができる。
【０１３４】
なお、図２４の実施形態のように、追尾領域５０の位置に基づいて、顔領域９０の位置を推定する場合、次のように構成すると好ましい。すなわち、ステップＷ４の処理の前に、追尾領域５０が顔領域９０の面積と同じか又は小さいかを判断し、同じ又は小さいと判断した場合に、追尾領域５０の位置に基づいて、顔領域９０の位置を推定するとよい。このようにすれば、顔領域９０の推定の精度を向上することができる。この理由は、図２７（ａ）のように、追尾領域５０が顔領域９０よりも大きいと、追尾領域５０は、被写体の服の色などの特徴情報を追尾するため、追尾領域５０の中心と顔の中心との位置関係のずれが容易に発生する。したがって、このような追尾領域５０に基づいて、顔領域９０の位置を推定すると、顔領域９０を推定する精度が低くなるからである。よって、図２７（ｂ）のように、追尾領域５０の面積が顔領域９０の面積と同じか小さい場合に、顔領域９０の位置を推定するようにすると、中心同士の位置関係がずれにくく、顔領域９０の位置を高い精度で推定できるようになる。
【０１３５】
また、上述した本発明の実施形態では、撮像装置１が、図１９のような動作をしたが、これに限られない。すなわち、図１９のステップＵ１の処理では、コントローラ１７が、ステップＴ５（図１５）の処理での検索結果に応じて、追尾領域５０を移動させないと判断した場合において、ステップＵ３の条件を満たした場合、顔領域９０の位置と、顔領域・追尾領域の位置関係とに応じて、追尾領域５０の位置を推定する（ステップＵ４）ようにしたが、これに限られない。例えば、図２８のように、ステップＵ１の処理で、コントローラ１７が、ステップＴ５の処理での検索結果に応じて、追尾領域５０を移動させると判断した場合において、所定の条件（ステップＸ１の条件）を満たした場合には、ステップＵ４の処理を行なうようにしてもよい。ここで所定の条件とは、例えば、追尾領域５０と顔領域９０が対応付けられており、且つ、顔領域９０の位置に基づいて求められる関連領域１００に、移動される追尾領域５０が含まれないことを条件としている。すなわち、コントローラ１７は、追尾領域５０と顔領域９０が対応付けられ、追尾領域５０が顔領域９０に対応付けられる範囲（関連領域１００）に含まれないと判断した場合、ステップＵ４の処理に移行する。このようにすれば、追尾領域５０が追尾できる場合であっても、追尾領域５０が関連領域１００に含まれないと判断した場合は、顔領域９０の位置に基づいて、追尾領域５０の位置を推定できるようになる。これによって、顔領域９０の検出精度が高い環境では、より精度の高い追尾動作を行なうことができる。
【０１３６】
なお、図２４のような、追尾領域５０の位置に基づいて、顔領域９０の位置を推定する場合も同様の方法で処理を行うことができる。この場合における所定の条件も、ステップＸ１と同様の条件で実現可能である。すなわち、この例では、追尾領域５０と顔領域９０が対応付けられている場合において、一方の領域に基づいて設定された関連領域に、他方の領域が含まれない場合には、一方の領域の位置から他の領域の位置を推定する。
【０１３７】
本発明は、上記実施形態に限られず、種々の態様で実施可能である。
【産業上の利用可能性】
【０１３８】
本発明は、追尾機能を備える撮像装置に適用可能である。具体的には、例えば、追尾機能を備えるデジタルカメラ、ビデオカメラ、カメラ付き携帯端末等に利用できる。
【図面の簡単な説明】
【０１３９】
【図１】本発明の実施形態に係る撮像装置の斜視図である。
【図２】本発明の実施形態に係る撮像装置のブロック図である。
【図３】本発明の実施形態に係る撮像装置の表示画面例を示す図である。
【図４】本発明の実施形態に係る撮像装置の追尾領域の設定操作を説明する図である。
【図５】（ａ）および（ｂ）は、本発明の実施形態に係る電子ズーム処理による画像データの電子的な縮小について説明する図である。
【図６】（ａ）および（ｂ）は、本発明の実施形態に係る追尾領域内の画像データの色情報を説明する図である。
【図７】本発明の実施形態に係る色相空間を説明する図である。
【図８】本発明の実施形態に係る検索領域を説明する図である。
【図９】（ａ）および（ｂ）は、本発明の実施形態に係る縮小された画像データの検索領域について説明する図である。
【図１０】本発明の実施形態に係る最も近似する領域の検索方法を説明する図である。
【図１１】本発明の実施形態に係る最も近似する領域の検索方法を説明する図である。
【図１２】（ａ）および（ｂ）は、本発明の実施形態に係る現在最も近似する領域の情報として記憶される情報を説明する図である。
【図１３】本発明の実施形態に係る追尾領域を移動させる際の表示画面例を示す図である。
【図１４】本発明の実施形態に係る撮像装置の動作を説明するフローチャートである。
【図１５】本発明の実施形態に係る撮像装置の動作を説明するフローチャートである。
【図１６】本発明の実施形態に係る顔領域と追尾領域の相対的位置関係を説明する図である。
【図１７】（ａ）から（ｃ）は、本発明の実施形態に係る顔領域と追尾領域の対応付けを説明する図である。
【図１８】（ａ）から（ｃ）は、本発明の実施形態に係る顔領域の大きさに基づいて、相対的位置および関連領域の大きさが変化することを説明する図である。
【図１９】本発明の実施形態に係る撮像装置の領域移動処理の動作を説明する図である。
【図２０】本発明の実施形態に係る追尾動作ができなかった場合の画像データの一例を示す図である。
【図２１】本発明の実施形態に係る画像データ内の顔領域の位置、および顔領域・追尾領域の位置関係に基づいて、追尾領域の位置を推定することを説明する図である。
【図２２】本発明の実施形態に係る撮像装置の対応付け処理の動作を説明するフローチャートである。
【図２３】本発明の実施形態に係る顔領域と追尾領域との相対的位置関係を説明する図である。
【図２４】本発明の実施形態に係る撮像装置の動作を説明するフローチャートである。
【図２５】本発明の実施形態に係る顔領域が検出できなかった場合の画像データの一例を示す図である。
【図２６】本発明の実施形態に係る画像データ内の追尾領域の位置、および顔領域・追尾領域の位置関係に基づいて、顔領域の位置を推定することを説明する図である。
【図２７】（ａ）および（ｂ）は、本発明の実施形態に係る追尾領域の位置に基づいて顔領域の位置を推定する動作の一例を示す図である。
【図２８】本発明の実施形態に係る撮像装置の動作を説明するフローチャートである。
【符号の説明】
【０１４０】
１  撮像装置
１１  光学系
１１２  ズームレンズ
１１３  フォーカスレンズ
１２  ＣＣＤイメージセンサー
１３  ＡＤコンバータ
１４  画像処理部
１５  バッファメモリ
１７  コントローラ
１９  メモリカード
２０  タッチパネル
２１  操作部
２１２  ズームリング
５０  追尾領域
６０  検索領域
７０  最も近似する領域
８０  表示画面
９０  顔領域
１００  関連領域
【図１】
2009268086.tif 000004
【図２】
2009268086.tif 000005
【図３】
2009268086.tif 000006
【図４】
2009268086.tif 000007
【図５】
2009268086.tif 000008
【図６】
2009268086.tif 000009
【図７】
2009268086.tif 000010
【図８】
2009268086.tif 000011
【図９】
2009268086.tif 000012
【図１０】
2009268086.tif 000013
【図１１】
2009268086.tif 000014
【図１２】
2009268086.tif 000015
【図１３】
2009268086.tif 000016
【図１４】
2009268086.tif 000017
【図１５】
2009268086.tif 000018
【図１６】
2009268086.tif 000019
【図１７】
2009268086.tif 000020
【図１８】
2009268086.tif 000021
【図１９】
2009268086.tif 000022
【図２０】
2009268086.tif 000023
【図２１】
2009268086.tif 000024
【図２２】
2009268086.tif 000025
【図２３】
2009268086.tif 000026
【図２４】
2009268086.tif 000027
【図２５】
2009268086.tif 000028
【図２６】
2009268086.tif 000029
【図２７】
2009268086.tif 000030
【図２８】
2009268086.tif 000031