(57)【要約】  物体の見え方が変化する場合でも、精度の高い追跡処理ができる電子カメラおよび画像処理方法を提供する。  追跡対象物の色特徴量を用いてフレーム内を探索し、探索結果の画像に対して対象物との一致度を示す第一評価値を算出し、第一評価値に基づいて対象物の画像が存在すると推定されるターゲット領域を特定する追跡処理部（１３７）と、追跡対象物の形状特徴量を用いてフレーム内を探索し、探索結果の画像に対して対象物の画像との一致度を示す第二評価値を算出し、第二評価値に基づいて第一特徴量を更新するための更新領域を特定する更新領域検知回路（１３９）と、第一評価値または第二評価値が所定条件を満足するか否かにより第一特徴量を更新するか否かを判定する更新判定回路（１４０）と、更新しないと判定された場合、ターゲット領域の外枠を描画し、更新すると判定された場合、更新領域の外枠を描画する追跡結果描画回路（１４４）とを備える。
2009098894.tif 000002
【特許請求の範囲】
【請求項１】
連続して撮影する画像の各フレーム内において追尾の対象となる対象物が写っている対象領域を特定して表示する機能を持つ電子カメラであって、
前記対象物の特徴を定量的に示すあらかじめ登録された第一の特徴量を用いて、フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第一の評価値を算出し、算出した前記第一の評価値に基づいて、前記対象物の画像が存在すると推定されるターゲット領域を特定する追跡処理部と、
前記第一の特徴量とは異なる特徴量であり、かつ、前記対象物の特徴を定量的に示す第二の特徴量を用いて、前記フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第二の評価値を算出し、算出した前記第二の評価値に基づいて、前記第一の特徴量を更新するための更新領域を前記フレーム内において特定する更新領域算出部と、
前記追跡処理部において算出された前記第一の評価値と、前記更新領域算出部において算出された前記第二の評価値とのうち少なくとも一つが、あらかじめ定められた条件を満足するか否かを調べることにより、前記第一の特徴量を更新するか否かを判定する更新判定部と、
前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域内において抽出された新たな第一の特徴量により、前記第一の特徴量を更新する登録特徴量更新部と、
前記更新判定部によって前記第一の特徴量を更新しないと判定された場合、前記追跡処理部において特定された前記ターゲット領域を前記対象領域と特定して前記ターゲット領域に関する情報を描画し、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域算出部において特定された前記更新領域を前記対象領域と特定して前記更新領域に関する情報を描画する追跡結果描画部とを備え、
前記追跡処理部は、あらかじめ登録された前記第一の特徴量が更新された場合、更新後の第一の特徴量を用いて、新たなフレーム内の新たなターゲット領域を特定する
電子カメラ。
【請求項２】
前記追跡処理部は、前記第一の特徴量として、対象物の色情報を用いて、前記対象物の画像が存在すると推定されるターゲット領域を特定し、
前記更新領域算出部は、前記第二の特徴量として、対象物の形状情報を用いて前記更新領域を特定する
請求項１記載の電子カメラ。
【請求項３】
前記更新判定部は、前記更新領域算出部において算出された前記第二の評価値が、前記追跡処理部において算出された前記第一の評価値よりも大きいとき、または、前記更新領域算出部において算出された前記第二の評価値があらかじめ定められた第一の閾値より大きいときに前記第一の特徴量を更新すると判定する
請求項１記載の電子カメラ。
【請求項４】
前記更新判定部は、前記対象物の画像の画素ごとの平均彩度が高いほど前記第一の閾値に大きな値を設定し、前記対象の平均彩度が低いほど前記第一の閾値に小さな値を設定する
請求項３記載の電子カメラ。
【請求項５】
前記更新判定部は、さらに、前記追跡処理部において特定された前記ターゲット領域と前記更新領域算出部において特定された前記更新領域との距離があらかじめ定められた第二の閾値以上になったときに更新すると判定する
請求項１記載の電子カメラ。
【請求項６】
前記電子カメラは、さらに、
前記対象物の追跡が継続不可能か否かを判定する終了判定部を備え、
前記終了判定部は、前記第一の評価値と前記第二の評価値との両方が、あらかじめ定められた第三の閾値より小さいときに前記対象の追跡が継続不可能と判定する
請求項１記載の電子カメラ。
【請求項７】
前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、ターゲット領域および更新領域の描画を終了する
請求項６記載の電子カメラ。
【請求項８】
前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、追跡不能となったことをユーザに提示する画像を描画する
請求項６記載の電子カメラ。
【請求項９】
前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、ユーザに対して再度初期位置設定を促す画像を描画する
請求項６記載の電子カメラ。
【請求項１０】
前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、新たな顔検出により初期位置設定を行う
請求項６記載の電子カメラ。
【請求項１１】
前記電子カメラは、さらに、
各フレーム内の画像内において顔を検出する顔検出回路と、
前記顔検出回路によって検出された顔の向きを認識する顔向き認識回路とを備え、
前記更新領域算出部は、前記顔向き認識回路によって前記対象物である顔が横を向いていると認識されたとき、真横を向いている顔の領域である更新基準領域を前記更新領域算出部において算出した後、顔部分と髪の毛部分とのあらかじめ指定された位置関係に基づき、前記更新基準領域内における前記更新領域を算出する
請求項１記載の電子カメラ。
【請求項１２】
前記電子カメラは、さらに、前記追跡処理部において特定されたターゲット領域、および、前記更新領域算出部において特定された前記更新領域のいずれかに基づいて、前記電子カメラの動作を調整するためのカメラパラメータを変更するカメラ制御部を有する
請求項１記載の電子カメラ。
【請求項１３】
前記カメラ制御部は、前記カメラパラメータに基づいて、前記電子カメラの筐体および雲台の少なくとも一方の動作を制御し、特定された前記対象物の全体、または一部をフレーム内の所定の位置、およびサイズに合わせるように制御を行う
請求項１２記載の電子カメラ。
【請求項１４】
前記電子カメラは、さらに、前記ターゲット領域の初期位置を、ユーザからの入力に基づいて、または、あらかじめ定められた方法を用いて決定するターゲット領域初期設定部を有する
請求項１記載の電子カメラ。
【請求項１５】
前記ターゲット領域初期設定部は、人物、もしくは、顔のいずれか一方の検出位置を初期位置と決定する
請求項１４記載の電子カメラ。
【請求項１６】
前記ターゲット領域初期設定部は、ＡＦ（オートフォーカス）機能により焦点を合わせた場所を初期位置と決定する
請求項１４記載の電子カメラ。
【請求項１７】
連続して撮影する画像の各フレーム内において追尾の対象となる対象物が写っている対象領域を特定して表示する機能を持つ電子カメラにおける画像処理方法であって、
追跡処理部が、前記対象物の特徴を定量的に示すあらかじめ登録された第一の特徴量を用いて、フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第一の評価値を算出し、算出した前記第一の評価値に基づいて、前記対象物の画像が存在すると推定されるターゲット領域を特定し、
更新領域算出部が、前記第一の特徴量とは異なる特徴量であり、かつ、前記対象物の特徴を定量的に示す第二の特徴量を用いて、前記フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第二の評価値を算出し、算出した前記第二の評価値に基づいて、前記第一の特徴量を更新するための更新領域を前記フレーム内において特定し、
更新判定部が、前記追跡処理部において算出された前記第一の評価値と、前記更新領域算出部において算出された前記第二の評価値とのうち少なくとも一つが、あらかじめ定められた条件を満足するか否かを調べることにより、前記第一の特徴量を更新するか否かを判定し、
登録特徴量更新部が、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域内において抽出された新たな第一の特徴量により、前記第一の特徴量を更新し、
追跡結果描画部が、前記更新判定部によって前記第一の特徴量を更新しないと判定された場合、前記追跡処理部において特定された前記ターゲット領域を前記対象領域と特定して前記ターゲット領域に関する情報を描画し、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域算出部において特定された前記更新領域を前記対象領域と特定して前記更新領域に関する情報を描画し、
前記追跡処理部は、あらかじめ登録された前記第一の特徴量が更新された場合、更新後の第一の特徴量を用いて、新たなフレーム内の新たなターゲット領域を特定する
画像処理方法。
【請求項１８】
連続して撮影する画像の各フレーム内において追尾の対象となる対象物が写っている対象領域を特定して表示する機能を持つ集積回路であって、
前記対象物の特徴を定量的に示すあらかじめ登録された第一の特徴量を用いて、フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第一の評価値を算出し、算出した前記第一の評価値に基づいて、前記対象物の画像が存在すると推定されるターゲット領域を特定する追跡処理部と、
前記第一の特徴量とは異なる特徴量であり、かつ、前記対象物の特徴を定量的に示す第二の特徴量を用いて、前記フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第二の評価値を算出し、算出した前記第二の評価値に基づいて、前記第一の特徴量を更新するための更新領域を前記フレーム内において特定する更新領域算出部と、
前記追跡処理部において算出された前記第一の評価値と、前記更新領域算出部において算出された前記第二の評価値とのうち少なくとも一つが、あらかじめ定められた条件を満足するか否かを調べることにより、前記第一の特徴量を更新するか否かを判定する更新判定部と、
前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域内において抽出された新たな第一の特徴量により、前記第一の特徴量を更新する登録特徴量更新部と、
前記更新判定部によって前記第一の特徴量を更新しないと判定された場合、前記追跡処理部において特定された前記ターゲット領域を前記対象領域と特定して前記ターゲット領域に関する情報を描画し、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域算出部において特定された前記更新領域を前記対象領域と特定して前記更新領域に関する情報を描画する追跡結果描画部とを備え、
前記追跡処理部は、あらかじめ登録された前記第一の特徴量が更新された場合、更新後の第一の特徴量を用いて、新たなフレーム内の新たなターゲット領域を特定する
集積回路。
【請求項１９】
連続して撮影する画像の各フレーム内において追尾の対象となる対象物が写っている対象領域を特定して表示する機能を持つ画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
追跡処理部が、前記対象物の特徴を定量的に示すあらかじめ登録された第一の特徴量を用いて、フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第一の評価値を算出し、算出した前記第一の評価値に基づいて、前記対象物の画像が存在すると推定されるターゲット領域を特定し、
更新領域算出部が、前記第一の特徴量とは異なる特徴量であり、かつ、前記対象物の特徴を定量的に示す第二の特徴量を用いて、前記フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第二の評価値を算出し、算出した前記第二の評価値に基づいて、前記第一の特徴量を更新するための更新領域を前記フレーム内において特定し、
更新判定部が、前記追跡処理部において算出された前記第一の評価値と、前記更新領域算出部において算出された前記第二の評価値とのうち少なくとも一つが、あらかじめ定められた条件を満足するか否かを調べることにより、前記第一の特徴量を更新するか否かを判定し、
登録特徴量更新部が、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域内において抽出された新たな第一の特徴量により、前記第一の特徴量を更新し、
追跡結果描画部が、前記更新判定部によって前記第一の特徴量を更新しないと判定された場合、前記追跡処理部において特定された前記ターゲット領域を前記対象領域と特定して前記ターゲット領域に関する情報を描画し、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域算出部において特定された前記更新領域を前記対象領域と特定して前記更新領域に関する情報を描画し、
前記追跡処理部は、あらかじめ登録された前記第一の特徴量が更新された場合、更新後の第一の特徴量を用いて、新たなフレーム内の新たなターゲット領域を特定する
プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の物体を追跡し、追跡結果をディスプレイ上に提示する電子カメラおよびその方法に関するものである。
【背景技術】
【０００２】
近年、ＡＦ(オートフォーカス；Auto-Focus)・ＡＥ(自動露出；Auto Exposure)・逆光補正機能の位置合わせ手段として、電子カメラに顔検出機能が搭載されている。顔検出機能を用いることにより、被写体に自動的に焦点を合わせることができるため、ユーザの撮影補助として有効な手段になっている。【０００３】
顔を検出する画像処理装置および方法としては、顔と顔以外（以下、非顔）のパターンを学習し、その学習したパラメータを入力した識別器を用いて、顔と非顔を識別する方法が提案されている（例えば、特許文献１参照）。【０００４】
図１は、特許文献１の画像処理装置を示すものである。図２は、部分画像の切り出しの一例を示す図である。部分画像切り出し部９００は、入力された画像１００１から、部分画像１０００を切り出す。部分画像１０００は、複数サイズのウィンドウを画像の左上を起点として、順次画像の右下まで、適当な画素（例えば１画素）分を右側または下側にずらしながら走査することによって、切り出される（図２）。なお、「切り出し」とは、該当する部分の画像データだけを読み出すことをいう。【０００５】
特徴量評価部１（９０１）は複数の識別器の組み合わせによって構成される。識別器は、ブースティング手法を用いて学習したパラメータを用いて指定する位置において、後述するレクタンギュラーフィーチャー（以下、隣接差分フィルタと呼ぶ）に基づき特徴量を算出する。そして、特徴量評価部１（９０１）は、前記識別器の出力値の重みつき線形和が学習に基づいて算出した閾値より低ければ非顔に識別し、前記部分画像の識別処理を終了する。一方、閾値以上であれば顔に識別し、次の特徴量評価部２（９０２）に処理が移る。特徴量評価部２（９０２）は、特徴量評価部１（９０１）に使用した学習パラメータとは異なるパラメータを用いて評価を行う。このように、複数の特徴量評価部を用いて、評価値を算出し、算出した評価値の値に基づいて、顔と非顔とを弁別している。【０００６】
図３（ａ）、（ｂ）、（ｃ）、（ｄ）は、隣接差分フィルタを図示したものであり、図３（ｅ）は、隣接差分フィルタ（ｂ）を画像に適用したときの例である。隣接差分フィルタは、隣接した白色矩形と黒色矩形で示され、白色矩形内の画素平均値と黒色矩形内の画素平均値の差を出力する。隣接差分フィルタから出力される画素平均値の差が大きいことによって特定されるのが顔の部品の特徴であり、これは、目および口のように隣接間の領域の画素値の差が大きい領域において高い特徴量を出力することを意味する。例えば、図３（ｅ）は、額の位置にある黒色矩形の画素の総和と眉の位置にある白色矩形の画素の総和との差に基づき特徴量を算出する。この特徴量は、隣接した領域間の差であるため、画像内の局所的な特徴（例えば線成分）に強く反応し、目、眉、口等の顔部品において特徴的な値を出力する。なお、隣接差分フィルタは、一般にはハーライクフィーチャー（Ｈａａｒ−ｌｉｋｅ  ｆｅａｔｕｒｅ）と呼ぶ。【０００７】
しかし、顔検出だけでは、顔（目、鼻、口）が見えている範囲でなければ検出できないし、ペットなどの顔以外の物体を追跡できない。そのため、あらかじめユーザが物体の情報をオンラインによって登録し、その物体を追跡することによって顔以外の物体でも、自動的に焦点を合わせる方法がある。【０００８】
従来から用いられる物体追跡手法として、顔検出結果位置の近傍領域のみを再度顔検出することによる顔追跡方法、相関演算に基づく前フレーム近傍探索を用いたテンプレートマッチング、高速化を目指したアクティブ探索に基づく方法、確率分布による統計的情報を用いて動き予測を入れて探索を行うパーティクルフィルタやコンデンセーションに基づく方法などがある。【０００９】
これらは、あらかじめ、なんらかの方法を用いて追跡を行いたい物体の、初期特徴量（色あるいは輝度の色ヒストグラムあるいはテンプレート画像そのもの、形状・輪郭情報など）を登録する。その登録特徴量を用いて、画像中において登録特徴量に類似する箇所を探索することによって、物体追跡が行われる。これらの手法では、初期特徴量をあらかじめ作成しておき、この特徴量と画像の各位置に基づいて抽出した特徴量とのマッチングをとる。【００１０】
しかし、一般的なムービーを用いて撮影する対象は、顔などが長時間見えていることは少なく、画像上における見え方が大きく変化することが多い。従来の手法では、画像上において見え方が大きく変化するような対象に対しては、目標をすぐに見失ってしまうという問題がある。【００１１】
この問題を解決するために、例えば特許文献２では、テンプレートを逐次更新する方法を用いている。この方法によると、追跡対象の見え方が変化する場合でも、この変化に応じてテンプレートが更新される。このため、見え方が変化する物体を追跡することが可能になる。
【特許文献１】米国特許出願公開第２００２／０１０２０２４号公報
【特許文献２】特開２００２−１５７５９９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献２の方法では、フレーム毎にテンプレートを更新するが、常に対象物体のみを含む領域を用いてテンプレートを更新できるというわけではない。更新する領域に非追跡対象領域が混入することにより、それ以降の追跡を失敗するという問題点がある。【００１３】
図５を用いて、具体的に説明する。例えば、図５（ａ）の正解領域が２００に定められているとする。このとき、次のフレームである図５（ｂ）では、帽子の色の境界が類似するため、２０１の位置においてマッチングする。この位置では、２０１の左側に背景を含むため、次フレーム以降の追跡では、背景の特徴も加わり、頭部追跡に悪影響を及ぼす。しかし、２０２にマッチングできれば、頭部全体に基づいて特徴を得ることができ、次フレーム以降も安定して頭部を追跡することができる。【００１４】
本発明は、上記従来の課題に鑑み、対象物の位置を安定に検出できる特徴を用いて更新領域を決定することによって対象物が存在する領域の追跡間違いをなくすものである。また、追跡の結果、正解位置からのずれが大きくなった場合には、正しい位置に補正することによって、安定した追跡処理を実現するものである。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本願発明の電子カメラは、連続して撮影する画像の各フレーム内において追尾の対象となる対象物が写っている対象領域を特定して表示する機能を持つ電子カメラであって、前記対象物の特徴を定量的に示すあらかじめ登録された第一の特徴量を用いて、フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第一の評価値を算出し、算出した前記第一の評価値に基づいて、前記対象物の画像が存在すると推定されるターゲット領域を特定する追跡処理部と、前記第一の特徴量とは異なる特徴量であり、かつ、前記対象物の特徴を定量的に示す第二の特徴量を用いて、前記フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第二の評価値を算出し、算出した前記第二の評価値に基づいて、前記第一の特徴量を更新するための更新領域を前記フレーム内において特定する更新領域算出部と、前記追跡処理部において算出された前記第一の評価値と、前記更新領域算出部において算出された前記第二の評価値とのうち少なくとも一つが、あらかじめ定められた条件を満足するか否かを調べることにより、前記第一の特徴量を更新するか否かを判定する更新判定部と、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域内において抽出された新たな第一の特徴量により、前記第一の特徴量を更新する登録特徴量更新部と、前記更新判定部によって前記第一の特徴量を更新しないと判定された場合、前記追跡処理部において特定された前記ターゲット領域を前記対象領域と特定して前記ターゲット領域に関する情報を描画し、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域算出部において特定された前記更新領域を前記対象領域と特定して前記更新領域に関する情報を描画する追跡結果描画部とを備え、前記追跡処理部は、あらかじめ登録された前記第一の特徴量が更新された場合、更新後の第一の特徴量を用いて、新たなフレーム内の新たなターゲット領域を特定する。【００１６】
これにより、電子カメラにおいて、物体を追尾する際に、物体を追跡する特徴と別の特徴、もしくは、位置を利用した物体の位置決めをすることが可能になる。そして、更新を常に行うか、それとも、一定の条件下で行うかなどといった判定を行うことが可能になり、誤った場所を用いた更新を軽減させる効果がある。【００１７】
また、前記追跡処理部は、前記第一の特徴量として、対象物の色情報を用いて、前記対象物の画像が存在すると推定されるターゲット領域を特定し、前記更新領域算出部は、前記第二の特徴量として、対象物の形状情報を用いて前記更新領域を特定するとしてもよい。【００１８】
これにより、対象物体の見え方の変化が生じるような場合でも安定した追尾が可能になる。【００１９】
さらに、前記更新判定部は、前記更新領域算出部において算出された前記第二の評価値が、前記追跡処理部において算出された前記第一の評価値よりも大きいとき、または、前記更新領域算出部において算出された前記第二の評価値があらかじめ定められた第一の閾値より大きいときに前記第一の特徴量を更新すると判定するとしてもよい。【００２０】
これにより、更新領域検知結果の評価値が追跡結果の評価値を上回るとき、または、更新領域検知結果が第一の閾値より大きい場合に第一の特徴量を更新するため、毎回更新する必要がなく、処理量が削減できる。【００２１】
また、前記更新判定部は、前記対象物の画像の画素ごとの平均彩度が高いほど前記第一の閾値に大きな値を設定し、前記対象の平均彩度が低いほど前記第一の閾値に小さな値を設定する前記更新判定部は、前記更新領域算出部において算出された前記第二の評価値が、前記追跡処理部において算出された前記第一の評価値よりも大きいとき、または、前記更新領域算出部において算出された前記第二の評価値があらかじめ定められた第一の閾値より大きいときに前記第一の特徴量を更新すると判定する前記追跡処理部は、前記第一の特徴量として、対象物の色情報を用いて、前記対象物の画像が存在すると推定されるターゲット領域を特定し、前記更新領域算出部は、前記第二の特徴量として、対象物の形状情報を用いて前記更新領域を特定するとしてもよい。【００２２】
これにより、追跡対象物の彩度値により追跡のしやすさが変わる。すなわち、彩度が高いということは、色がはっきりしているということであり、第一の特徴量による追跡がより正確に行われることを示している。このため、彩度が高いときには第一の閾値を大きくし、彩度が低いときには第一の閾値を小さく設定することによって、第一の特徴量を頻繁に更新すべきか、そうでないかを決めることができる。従って、対象物によって閾値を柔軟に設定することが可能となり、追跡精度を向上させることができる。【００２３】
また、前記更新判定部は、さらに、前記追跡処理部において特定された前記ターゲット領域と前記更新領域算出部において特定された前記更新領域との距離があらかじめ定められた第二の閾値以上になったときに更新すると判定するとしてもよい。【００２４】
これにより、追跡処理部による追跡処理結果と、更新領域算出部による更新領域検知結果の位置が大きくずれた場合に第一の特徴量を更新することができるため、追跡が失敗した場合にも、更新された第一の特徴量を用いて追跡処理の復帰が可能となり、追跡性能が安定化する。【００２５】
また、前記電子カメラは、さらに、前記対象物の追跡が継続不可能か否かを判定する終了判定部を備え、前記終了判定部は、前記第一の評価値と前記第二の評価値との両方が、あらかじめ定められた第三の閾値より小さいときに前記対象の追跡が継続不可能と判定するとしてもよい。【００２６】
これにより、対象物の追跡が継続不能となった場合には自動的に追跡処理を終了することができるため、ユーザの手間をかけることなく処理を終えることができる。【００２７】
また、前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、ターゲット領域および更新領域の描画を終了するとしてもよい。【００２８】
これにより、余計な追尾処理結果を表示しないため、ユーザに違和感を与えない。【００２９】
さらに、前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、追跡不能となったことをユーザに提示する画像を描画するとしてもよい。【００３０】
これにより、ユーザに追尾が終了したことを知らせることができるため、ユーザが再度追尾を行うかといった行動に移ることができる。【００３１】
また、前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、ユーザに対して再度初期位置設定を促す画像を描画するとしてもよい。【００３２】
これにより、ユーザに初期設定を行うことを促すことができるため、不慣れな使用者であっても、再度設定すべきことが容易に理解できる。【００３３】
さらに、前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、新たな顔検出により初期位置設定を行うとしてもよい。【００３４】
これにより、人物を対象とする場合には、顔の部分に自動的に初期位置を再設定できる。【００３５】
また、前記電子カメラは、さらに、各フレーム内の画像内において顔を検出する顔検出回路と、前記顔検出回路によって検出された顔の向きを認識する顔向き認識回路とを備え、前記更新領域算出部は、前記顔向き認識回路によって前記対象物である顔が横を向いていると認識されたとき、真横を向いている顔の領域である更新基準領域を前記更新領域算出部において算出した後、顔部分と髪の毛部分とのあらかじめ指定された位置関係に基づき、前記更新基準領域内における前記更新領域を算出するとしてもよい。【００３６】
これにより、あらかじめ、更新領域検知結果に応じて更新すべき場所が変わったり、例えば、顔検出した結果の顔向きに応じて、更新すべき場所が変わったり、顔検出のサイズに応じて、より大きいサイズを用いて更新を行ったり、服を含むような形による更新を行うなど、様々な位置関係における更新が可能となり、追跡精度が向上する。【００３７】
これにより、顔を追尾することが可能になるため、顔認証などとの結合が可能になる。【００３８】
また、これにより、例えば、円形状のように回転しても見た目が変わらない場合に、追尾物体を安定に追尾できる。【００３９】
また、前記電子カメラは、さらに、前記追跡処理部において特定されたターゲット領域、および、前記更新領域算出部において特定された前記更新領域のいずれかに基づいて、前記電子カメラの動作を調整するためのカメラパラメータを変更するカメラ制御部を有するとしてもよい。【００４０】
これにより、カメラパラメータを制御することが可能になるため、対象に応じたカメラパラメータ設定を行うことができる。【００４１】
前記カメラ制御部は、前記カメラパラメータに基づいて、前記電子カメラの筐体および雲台の少なくとも一方の動作を制御し、特定された前記対象物の全体、または一部をフレーム内の所定の位置、およびサイズに合わせるように制御を行うとしてもよい。【００４２】
これにより、カメラを制御することにより、対象物の適した位置にカメラ制御することが可能になる。【００４３】
前記電子カメラは、さらに、前記ターゲット領域の初期位置を、ユーザからの入力に基づいて、または、あらかじめ定められた方法を用いて決定するターゲット領域初期設定部を有するとしてもよい。【００４４】
これにより、ターゲット領域の初期位置を設定することが可能になり、追尾の初期位置を決めることができる。【００４５】
前記ターゲット領域初期設定部は、人物、もしくは、顔のいずれか一方の検出位置を初期位置と決定するとしてもよい。【００４６】
これにより、人物、もしくは顔位置を初期位置とすることができ、人物追尾の初期設定を自動的に行うことができる。【００４７】
前記ターゲット領域初期設定部は、ＡＦ（オートフォーカス）機能により焦点を合わせた場所を初期位置と決定するとしてもよい。【００４８】
これにより、ＡＦ機能により焦点を合わせた領域を初期設定として追尾を行うことが可能となり、ＡＦ機能との連携が容易になる。【００４９】
なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、インターネット等の通信ネットワークを介して配信してもよい。
【発明の効果】
【００５０】
本発明によれば、対象物体の見え方が変化した場合でも対象追跡を行うことが可能になるため、物体が後ろを向くような場合でも追跡し、枠を表示し続け、ＡＥ、ＡＦ、カメラ制御によるフレーミング機能、自動撮影を行うことができる。
【図面の簡単な説明】
【００５１】
【図１】図１は、従来の顔検出処理のフローチャートである。
【図２】図２は、従来の画像からの顔検出処理の説明図である。
【図３】図３（ａ）〜（ｅ）は、従来の隣接差分フィルタの説明図である。
【図４】図４は、本発明の実施の形態１、２における画像処理装置のブロック図である。
【図５】図５（ａ）（ｂ）は、従来手法における追尾を失敗する例の説明図である。
【図６】図６（ａ）（ｂ）は、色ヒストグラム探索の説明図である。
【図７】図７（ａ）（ｂ）は、色ヒストグラムの類似度算出の説明図である。
【図８】図８（ａ）（ｂ）は、横顔のリファレンス画像領域の説明図である。
【図９】図９は、実施の形態１のフローチャートである。
【図１０】図１０（ａ）〜（ｃ）は、追尾特徴量と更新領域検知結果の関係図である。
【図１１】図１１は、実施の形態２のフローチャートである。
【符号の説明】
【００５２】
１００    画像処理装置（電子カメラ）
１０１    レンズ
１０２    シャッター
１０３    撮像素子
１０４    ＡＤ変換器
１０５    タイミング発生回路
１０６    ＤＡ変換器
１０７    メモリ制御回路
１０８    システム制御回路
１０９    画像処理回路
１１０    画像表示メモリ
１１１    メモリ
１１２    リサイズ回路
１１３    フラッシュ
１１４    測距制御部
１１５    ズーム制御部
１１６    バリア制御部
１１７    保護部
１１８    メモリ
１１９    表示部
１２０    不揮発性メモリ
１２１    モードダイアル
１２３    シャッタースイッチ
１２４    記録部
１２５    電源制御部
１２６    電源部
１２７    コネクタ
１２８    電源部
１２９    インタフェース
１３０    インタフェース
１３１    コネクタ
１３２    コネクタ
１３３    光学ファインダ
１３４    通信部
１３５    アンテナ
１３６    初期特徴量抽出部
１３７    追跡処理部
１３８    追跡先頭フレーム指定回路
１３９    更新領域検知回路
１４０    更新判定回路
１４１    終了判定回路
１４２    位置補正回路
１４３    登録特徴量更新回路
１４４    追跡結果描画回路
１４５    カメラ制御回路
１４６    顔検出回路
１４７    顔向き認識回路
１４８    画像表示部
１４９    露光制御部
２００    フレーム（ａ）での追尾結果
２０１    フレーム（ｂ）での追尾結果
２０２    フレーム（ｂ）での正解位置
３０１    探索領域
３０２    追跡ウィンドウ
３０３    追跡ウィンドウ領域の色ヒストグラム
４０１    リファレンス画像の色ヒストグラム
４０２    入力画像の色ヒストグラム
５０１    顔検出領域
５０２    リファレンス領域
Ｓ６０１    入力画像ステップ
Ｓ６０２    顔検出ステップ
Ｓ６０３    顔向き認識ステップ
Ｓ６０４    初期登録特徴抽出ステップ
Ｓ６０５    追跡処理ステップ
Ｓ６０６    顔検出ステップ
Ｓ６０７    顔検出判定ステップ
Ｓ６０８    初期登録特徴更新ステップ
Ｓ６０９    追尾枠表示部・カメラ制御ステップ
Ｓ６１０    追跡評価値比較ステップ
Ｓ６１１    追跡終了ステップ
Ｓ６１２    初期登録特徴量更新ステップ
Ｓ８０１    入力画ステップ
Ｓ８０２    顔検出ステップ
Ｓ８０３    初期登録特徴抽出ステップ
Ｓ８０４    追跡処理ステップ
Ｓ８０５    円検出ステップ
Ｓ８０６    追跡終了判定ステップ
Ｓ８０７    特徴量更新判定ステップ
Ｓ８０８    特徴量更新ステップ
Ｓ８０９    追尾枠表示部・カメラ制御ステップ
Ｓ８１０    追跡終了ステップ
９００    部分画像切り出し部
９０１    特徴量評価部１
９０２    特徴量評価部２
９０３    特徴量評価部３
１０００    部分画像
１００１    入力画像
【発明を実施するための最良の形態】
【００５３】
（実施の形態１）
本実施の形態１では、顔検出と色情報を利用した追跡を併用することによって、顔検出だけでは不可能な、後ろを向いた頭部の追跡も可能とする画像処理装置について述べる。すなわち、実施の形態１の画像処理装置（電子カメラ）は、従来の顔検出および顔向き認識を用いて、追尾撮影の対象となる対象物が存在するであろうターゲット領域を特定する。そして、毎フレーム、ターゲット領域が特定される都度、対象物の色の特徴量を抽出して更新する。顔検出ができなくなった場合には、更新された対象物の色特徴を用いてターゲット領域を特定し、色の登録特徴量を更新する。【００５４】
図４は、本発明の実施の形態１の電子カメラの構成を示す図である。図４において、１００は、電子カメラである。１０１はレンズ、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をディジタル信号に変換するＡＤ変換器(Analog Digital Converter)である。【００５５】
タイミング発生回路１０５は撮像素子１０３、ＡＤ変換器１０４、ＤＡ変換器(Digital Analog Converter)１０６にクロック信号および制御信号を供給する。タイミング発生回路１０５は、メモリ制御回路１０７およびシステム制御回路１０８により制御される。【００５６】
画像処理回路１０９は、ＡＤ変換器１０４からのデータあるいはメモリ制御回路１０７からのデータに対して所定の画像補間処理や色変換処理を行う。【００５７】
また、画像処理回路１０９においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路１０８が露光制御部１４９、測距制御部１１４に対して制御を行う。【００５８】
メモリ制御回路１０７は、ＡＤ変換器１０４、タイミング発生回路１０５、画像処理回路１０９、画像表示メモリ１１０、ＤＡ変換器１０６、メモリ１１１、およびリサイズ回路１１２を制御する。【００５９】
ＡＤ変換器１０４のデータが画像処理回路１０９、メモリ制御回路１０７を介して、あるいはＡＤ変換器１０４のデータが直接メモリ制御回路１０７を介して、画像表示メモリ１１０あるいは、メモリ１１１に書き込まれる。【００６０】
１１０は画像表示メモリ、１０６はＤＡ変換器、１４８はＴＦＴ(Thin Film Transistor)-ＬＣＤ(Liquid Crystal Display)等からなる画像表示部であり、画像表示メモリ１１０に書き込まれた表示用の画像データは、ＤＡ変換器１０６を介して画像表示部１４８により表示される。【００６１】
リサイズ回路１１２は、撮影した動画像のフレーム画像に基づいて低解像度画像であるリサイズ画像を生成する。リサイズ回路１１２は、撮像素子１０３の画素数と異なる画素数（サイズ）を用いて記録媒体に画像データを記録したい場合に利用される。【００６２】
また、画像表示部１４８は、撮像素子１０３よりも画素数はかなり小さいので、画像表示部１４８に表示を行う場合の表示用画像を生成するためにも用いられる。リサイズ画像の解像度は用途に基づき所定の複数の解像度から選択されるように構成される。リサイズ回路１１２は、メモリ１１１に格納された画像を読み込んでリサイズ処理を行い、処理を終えたデータをメモリ１１１に書き込む。【００６３】
露光制御部１４９は絞り機能を備えるシャッター１０２を制御し、フラッシュ１１３と連携することによりフラッシュ調光機能も有するものである。【００６４】
測距制御部１１４はレンズ１０１のフォーカシングを制御する。ズーム制御部１１５はレンズ１０１のズーミングを制御する。バリア制御部１１６はバリアである保護部１１７の動作を制御する。【００６５】
フラッシュ１１３は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。【００６６】
システム制御回路１０８は画像処理装置（電子カメラ）１００全体を制御し、メモリ１１８はシステム制御回路１０８の動作用の定数、変数、プログラム等を記録する。【００６７】
表示部１１９は、システム制御回路１０８でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態あるいはメッセージ等を表示する液晶表示装置、スピーカー等の表示部などである。表示部１１９は、画像処理装置１００の操作部近辺の視認しやすい装置に単数あるいは複数箇所設置され、例えばＬＣＤあるいはＬＥＤ(Light Emitting Diode)、発音素子等の組み合わせにより構成されている。【００６８】
不揮発性メモリ１２０は、電気的に証拠・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。【００６９】
モードダイアル１２１は、自動撮影モード、撮影モード、パノラマ撮影モード、生モード等の各機能モードを切り替え設定することができる。【００７０】
シャッタースイッチ１２３はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなりＡＦ処理、ＡＥ処理、ＡＷＢ(Auto White Balance)処理等の動作開始を指示する。【００７１】
シャッタースイッチ１２３はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１０３から読み出した信号をＡＤ変換器１０４、メモリ制御回路１０７を介してメモリ１１１に画像データを書き込む露光処理、画像処理回路１０９やメモリ制御回路１０７での演算を用いた現像処理、メモリ１１１から画像データを読み出し、記録部１２４に画像データを書き込む記録処理という一連の処理の動作開始を指示する。【００７２】
電源制御部１２５は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果およびシステム制御回路１０８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。【００７３】
電源部１２８は、コネクタ１２７、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、およびＡＣアダプター等１２６からなる電源である。【００７４】
インタフェース１２９および１３０は、メモリカードやハードディスク等の記録媒体とのインタフェースであり、コネクタ１３１および１３２はメモリカードやハードディスク等の記録媒体と本体との接続を行う。保護部１１７は、画像処理装置（電子カメラ）１００のレンズ１０１を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである。【００７５】
光学ファインダ１３３は、画像表示部１４８による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。【００７６】
通信部１３４は、ＲＳ２３２ＣやＵＳＢ(Universal Serial Bus)、ＩＥＥＥ１３９４、モデム、ＬＡＮ、および無線通信等の各種通信機能を有する。【００７７】
アンテナ１３５は、通信部１３４により画像処理装置（電子カメラ）１００を他の機器と接続するコネクタあるいは無線通信の場合はアンテナである。【００７８】
初期特徴量抽出部１３６は、メモリ１１１に格納された画像データから初期特徴量を抽出し、メモリ１１１に書き込む。初期特徴量を抽出する座標は、タッチパネルによるユーザ指定、あるいは、顔検出位置やシャッタースイッチＳＷ１を押すことによって設定されるＡＦ領域等による自動設定が可能である。【００７９】
追跡処理部１３７は、メモリ１１１から登録特徴量を読み込み、追跡処理を行い、メモリ１１１に追跡結果（座標データ、評価値）を書き込む。なお、評価値は登録特徴量とターゲット領域の特徴量との類似度を示す値であり、以下では、評価値が大きいほど確からしい、すなわち、一致度が高い場合を例として説明する。【００８０】
追跡先頭フレーム指定回路１３８は、画像データのうち、追跡で行う先頭フレームであるか否かを判定し、メモリ１１１に判定結果を書き込む。【００８１】
更新領域検知回路１３９は、更新領域の検知を行い、メモリ１１１に更新領域検知結果（座標データ、評価値）を書き込む。なお、更新領域についても、評価値は登録特徴量と更新領域の特徴量との類似度を示す値であり、以下では、評価値が大きいほど確からしい、すなわち、一致度が高い場合を例として説明する。【００８２】
更新判定回路１４０は、メモリ１１１に保存されている登録特徴量を更新するか否かを判定し、判定結果をメモリ１１１に書き込む。【００８３】
終了判定回路１４１は、追跡を終了するか否かの判定結果をメモリ１１１に書き込む。【００８４】
位置補正回路１４２は、メモリ１１１に格納されている追跡結果を、あらかじめメモリ１１１に保持されている更新領域検知結果と追跡結果との位置関係情報ＤＢに基づき、補正する。【００８５】
登録特徴量更新回路１４３は、追跡結果と更新領域検知結果が後述する関係にあるとき、メモリ１１１に記録されている登録特徴量を、更新領域検知結果の位置の特徴を用いて更新する。【００８６】
追跡結果描画回路１４４は、メモリ１１１に書き込まれた追跡結果をＬＣＤに表示させるために、画像表示メモリ１１０に書き込まれた表示用の画像データに対し、追跡結果の位置に追跡されたことがわかる情報、例えば、追跡枠、モザイク化、文字、表示色の変更、ぼかすなどの処理を施す。【００８７】
追跡結果描画回路１４４は、メモリ１１１に書き込まれた追跡結果をＬＣＤに表示させるために、画像表示メモリ１１０に書き込まれた表示用の画像データに対し、追跡結果の位置、もしくは、更新領域検知結果の位置に追跡されたことがわかる情報、例えば、追跡枠、モザイク化、文字、表示色の変更、ぼかすなどの処理を施す。【００８８】
カメラ制御回路１４５は、メモリ１１１に書き込まれた追跡結果の位置とサイズに基づき、対象物体が、画像の一定の位置・サイズ（例えば、顔が中央になる、あるいは、全身が表示されるようにズームするなど）になるようにカメラを制御する。【００８９】
顔検出回路１４６は、画像から顔検出を行いメモリ１１１に顔検出結果（位置、サイズ、評価値）を書き込む。【００９０】
顔向き認識回路１４７は、顔検出回路１４６によって検出された顔が、上下左右どちらの向きを向いているのかを認識し、認識結果をメモリ１１１に書き込む。【００９１】
これら１３６、１３７、１３８、１３９、１４０、１４１、１４２、１４３、１４４のいずれかの回路を備えない場合は、システム制御回路１０８において、ソフトウェア処理によって後述するフローを用いて追跡および更新処理を行ってもよい。【００９２】
以下、図６および図７を用いて、画像処理装置１００の動作を説明する。【００９３】
システム制御回路１０８が、撮像素子１０３、ＡＤ変換器１０４、画像処理回路１０９、メモリ制御回路１０７を介して、メモリ１１１に撮影した画像データを書き込む露光処理、および、メモリ制御回路１０７そして必要に応じて画像処理回路１０９を用いて、メモリ１１１に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する。【００９４】
撮影処理を終えたなら、システム制御回路１０８は、メモリ１１１に書き込まれた画像データに対し、リサイズ回路１１２を用いて撮影画像を画像表示部１４８に表示するための表示用画像を生成する。システム制御回路１０８は、同様に、リサイズ回路１１２にて顔検出回路に入力すべき画像サイズ（ＱＶＧＡ(Quarter Video Graphics Array)など）に画像をリサイズし、顔検出用画像をメモリ１１１に保存する。【００９５】
システム制御回路１０８は、メモリ１１１に保存されている顔検出用画像データに対して、顔検出回路１４６によって従来技術を用いて顔検出処理を実行し、処理結果をメモリ１１１に保存する。【００９６】
また、システム制御回路１０８は、顔向き認識回路１４７によって従来技術を用いて顔向き認識処理を実行し、処理結果をメモリ１１１に保存する。【００９７】
顔検出回路１４６により、顔が検出された場合、初期特徴量抽出部１３６は、メモリ１１１に格納されている顔検出、顔向き認識処理結果を参照して、登録特徴量の抽出を行い、メモリ１１１に登録特徴量を書き込む。例えば、初期特徴量抽出部１３６は、メモリ１１１に格納されている顔検出結果および顔向き情報に基づいて、色の特徴量として顔の色ヒストグラムを抽出し、メモリ１１１に登録する。そして、初期特徴量抽出部１３６によってメモリ１１１に登録された特徴量を用いて、追跡処理部１３７は、追跡処理を行う。【００９８】
ここでは、色ヒストグラムを用いた登録特徴量の抽出、および、追跡処理について図６を用いて説明する。【００９９】
正面顔が図６（ａ）のように画像から検出されたと仮定する。このとき、この領域（リファレンス領域）の色ヒストグラムが作成される。具体的には、ヒストグラムの横軸には、リファレンス領域から得られる各画素のＨＳＶ(Hue Saturation Value)色空間のＨの値（最大３６０）が、２０個に区分される領域に割り当てられる。そして、それぞれの区分に割り当てられる個数が、度数となる。どの領域に入るかは、各画素のHiとするとHi＊１８／３６０によって計算することができる。そして、度数の総和が１になるように、各区分の度数が、リファレンス領域の画素数で割られることによって正規化される。そして、図６（ｂ）のように、検出領域より一定の範囲で広げた領域３０１が探索領域となり、追跡ウィンドウ３０２のサイズ・位置を変えながら探索が行なわれる。追跡処理部１３７は、探索しながら追跡ウィンドウ領域の色ヒストグラム３０３が作成される。【０１００】
次に、リファレンス領域の色ヒストグラムと追跡ウィンドウ領域の色ヒストグラムに基づいて類似値が算出される。類似度の算出方法を図７を用いて説明する。図７（ａ）はリファレンス画像であり、ここから算出した色ヒストグラムが４０１である。また、図７（ｂ）は、インプット画像であり、探索ウィンドウの色ヒストグラムを４０２に示す。このように、類似度、すなわち、評価値が、それぞれの色ヒストグラムの重なり度合いによって算出される。類似度算出は、（数１）によって行われる。【０１０１】
【数１】
2009098894.tif 000003
【０１０２】
ここでＲｉはリファレンス領域の色ヒストグラムにおけるｉ番目の区分の度数であり、ここでＩｉは追跡ウィンドウ領域の色ヒストグラムにおけるｉ番目の区分の度数である。【０１０３】
ここでは、ｉは０から２０までの値をとる。本例では、２０という値を用いて説明したが、１以上の値であればどのような値でも構わない。なお、この値は対象の複雑さによって変更する。複数色を含む場合はこの値を大きくし、細かい区分で違いをみることにより、精度を向上することができる。一方で、色数が少ない物体に対しては、この値を小さくして、大まかな区分で違いをみることによって、少ないメモリを用いて追跡を行うことができる。【０１０４】
なお、リファレンス領域の指定方法として、顔検出位置としたが、これは、ユーザがタッチパネルあるいはポインタ等を用いて指定してもよいし、音声情報などを用いて指定してもよい。また、色ヒストグラムによるマッチングについて説明したが、切り出した画像間のテンプレートの差異を求めてもよい。また、これらのテンプレートに前処理として色ヒストグラム補正を行うことによって、輝度の影響を受け難くすることができる。差異を求める方法としては、最小二乗距離を最小にする方法あるいは正規化相関による方法など、一般的に距離を求める方法であればどのような方法でも構わない。また、探索方法として、単純に領域を走査する方法について述べたが、パーティクルフィルタなど確率分布に基づいた探索方法でもよい。【０１０５】
次に、顔向きに応じた登録特徴量の抽出方法について説明する。正面顔の場合は、顔全体を登録することによって、安定した追跡が可能である。しかし、顔が正面から横を向いた場合においては、以降のフレームにおいて後ろを向く可能性があるため、特徴量の登録位置に工夫を施す。図８（ａ）に示すように、横顔の場合は、顔検出領域５０１内に、肌の色情報と、髪の色情報の両方を含む。ここで、図８（ｂ）に示すように、顔検出処理により、顔検出領域内の後頭部領域２０％程度をリファレンス領域５０２とすることによって、髪の色情報を取得すれば、対象が後ろを向いた場合でも髪の色情報により色を用いての追跡が可能になる。なお、正面を向きやすい場合や後ろを向きやすい場合などに応じて、この割合を変更することによって、追跡を安定することができる。【０１０６】
なお、本例では、髪の毛として説明したが、帽子や服など色変動の少ないものを被っている場合においても、本手法は有効に機能する。【０１０７】
また、顔が検出されており、追跡結果と一定の距離にある場合は、更新領域検知回路１３９が、更新の判定を行うフラグを立て、メモリ１１１に書き込む。そして、位置補正回路１４２によって、顔検出位置が補正される。【０１０８】
この顔検出位置に基づいて登録特徴量が抽出され、登録特徴量更新回路１４３によって登録特徴量が更新され、メモリ１１１に書き込む。登録特徴量の抽出は、前述の方法と同様に行う。【０１０９】
このように、向きに応じて登録特徴量の抽出領域を変更することによって、横顔から後ろを向いた場合でも、髪の毛や帽子を用いることによって、向きの変化に応じて適切な色特徴を登録できるため、対象が後ろを向いた場合でも、安定な追跡が可能になる。また、追跡処理に失敗した場合でも顔検出結果に基づき、位置補正回路１４２において、位置を補正し、メモリ１１１の追跡結果を更新することによって、安定した顔の追跡が可能になる。【０１１０】
また、顔検出は顔内部のみを検出する場合がある。そこで、検出結果座標を、頭部を含むように定数倍することによって、安定した追跡が可能になる。【０１１１】
また、後ろを向いたという情報を保持しておき、後ろ向きから前向きに復帰する際は特徴量の抽出領域を変更することによって、より安定した追跡が可能になる。以下、具体的に説明する。後ろを向いたときに次に横を向いた場合は正面を向く可能性が高い。そこで、リファレンス領域５０２ではなく、顔検出領域５０１の顔側の領域を特徴量抽出領域とすることによって、次に顔が現れたときにでも対応できるようにする。これにより、後ろ向きから横、正面と遷移する際に、肌色情報を利用することができるため、後ろから正面への復帰が安定する。【０１１２】
後ろを向いた場合でも追跡できているので、後ろ向き状態の場合でも追跡結果描画回路にて、追跡枠の表示や追跡結果位置をぼかす等のＵＩ(User Interface)制御はもちろんのこと、ＡＥ・ＡＦなどの制御や、カメラ制御回路１４５でカメラの制御を行うことによって、自動フレーミング・自動撮影が可能になる。【０１１３】
以上の処理をプログラムにて実行した場合は、図９に示すステップになる。入力画像を撮影し、撮影された入力データ（Ｓ６０１）に対して、顔検出処理（Ｓ６０２）が行われる。なお、顔検出は、従来の方法を使用する。次いで、顔検出した結果に対して顔向き認識処理（Ｓ６０３）が行われる。この顔向き認識も、従来の方法を使用する。そして、顔検出位置から色の初期登録特徴が抽出される（Ｓ６０４）。さらに、次のフレームにおいて色特徴を用いてターゲット領域を特定する追跡処理（Ｓ６０５）が行われ、その後、顔検出処理（Ｓ６０６）が行われる。もし、顔検出ができれば（Ｓ６０７）、顔向き認識結果に基づいて、追跡結果であるターゲット領域が顔検出位置に置き換えられる。顔検出ができない場合は、色の特徴量を用いて追跡処理を行い、色の特徴量に関する追跡評価値が算出される。追跡結果の評価値も閾値以下であれば追跡処理が終了する（Ｓ６１１）。また、色特徴量による追跡結果の評価値が閾値より高ければ、ターゲット領域内の初期位置から色ヒストグラムを用いて表される色特徴が抽出され、初期登録特徴量を更新した後（Ｓ６１２）、追尾枠の表示、およびカメラ制御へと制御が移る（Ｓ６０９）。そして、顔検出ができた場合は、顔向き検出の結果に基づいて初期登録特徴量が更新される箇所を選択し、初期登録特徴量が更新される（Ｓ６０８）。そして、更新された追跡結果位置、すなわち、ターゲット領域のＬＣＤ表示、およびカメラ制御が行われる。（Ｓ６０９）その後、追跡処理（Ｓ６０５）に戻り、処理が繰り返される。【０１１４】
（実施の形態２）
実施の形態２では、円形状情報のように回転に不変な情報と色情報とを利用した追跡、頭部（正面向きの顔だけでなく顔が見えない後ろ向きの場合も含む）の追跡も可能とする電子カメラについて述べる。すなわち、実施の形態２では、顔向き情報の代わりに円形状の情報を用いて、色特徴を更新するための更新領域の位置を決定する。【０１１５】
実施の形態２の構成は、図４の構成と同じであるので、動作が同一の構成要素に対しては説明を省略する。【０１１６】
実施の形態２でも追跡処理は、実施の形態１と同様に色ヒストグラムマッチングを用いて類似度、すなわち、評価値を算出し、追跡を行うものとして説明する。【０１１７】
実施の形態２でも実施の形態１と同様の方法を用いて、顔検出情報やユーザからの指示（タッチパネルやポインタなど）によって対象物の初期位置を決定し、初期特徴量を登録する。【０１１８】
頭部の見え方の不変的な情報の一つに、「頭部は円である」ということがある。そこで、本実施の形態２では、更新領域検知回路１３９によって、形状情報を利用して更新領域の検知を行う例を示す。これ以外にも、物体の見え方に対する不変的な特徴であれば、どのようなものを用いても構わない。【０１１９】
頭部円形状の検出方法について述べる。メモリ１１１に格納されている追跡結果の近傍においてエッジ検出が行われる。エッジ検出はソーベルオペレータなどが用いられる。もしくは、フレーム間差分により、差分点を利用する方法がある。ここで得られる点群（特徴点群）に対して、ハフ変換を実施し、円の半径と中心が求められる。円の半径と中心の求め方は、例えば、文献「ＨｅａｄＦｉｎｄｅｒ：フレーム間差分をベースにした人物追跡、馬場ら」（非特許文献：１）に記載されている手法によって求めることができる。上記文献で述べられている手法について簡単に説明する。【０１２０】
円は（数２）を用いて中心座標ａ、ｂおよび半径ｒの定数によって決定できる。【０１２１】
【数２】
2009098894.tif 000004
【０１２２】
これをハフ変換に当てはめると、求める未知数が３個となるので投票空間が３次元となる。この計算量は膨大となるため、実時間動作は難しい。そこで、サイズがある一定のの半径ｒの範囲に限定される。その後、幅を持たせた複数の半径内に含まれる特徴点群を用いて投票を行うことによって半径パラメータａ、ｂが求められる。これにより、頭部の円形状が推定される。このとき、円上に特徴点群が何個含まれるかが、円形状のフィッティング度合いを表す評価値となる。この円形状の位置、半径情報と評価値がメモリ１１１に書き込まれる。【０１２３】
ここでは、頭部は評価値が低いが向き変化に対して安定して検出でき、色情報は、向きが変わると評価値が下がるという点に着目する。見え方が変わることにより色情報にて評価値が下がる場合に、頭部円形状の検出位置にて位置補正を行い、登録特徴量を補正することによって、見え方の変化に対して安定した追跡方法について述べる。【０１２４】
更新判定回路１４０が、メモリ１１１から色による追跡結果の評価値と更新領域検知結果の評価値とを読み込み、追跡結果の評価値が下回ったときや、閾値ｔｈ１を下回ったときに、更新の判定を行いメモリ１１１に判定結果を書き込む。このときの評価値と時間軸の関係を図１０に示す。【０１２５】
図１０（ａ）は、更新領域検知結果の評価値が追跡結果の評価値を上回ったときに更新を行う。図１０（ａ）、（ｂ）および（ｃ）において、実線は、追跡結果の評価値を表し、点線は更新領域検知結果の評価値を表す。【０１２６】
【数３】
2009098894.tif 000005
【０１２７】
この場合は、対象物体の見え方が変化し、評価値が下がることによって、生じる現象であり追跡の失敗が起こったときに、復帰できるように更新をすることができる。【０１２８】
図１０（ｂ）は、更新領域検知結果の評価値が閾値ｔｈ１より大きくなった場合に、更新を行うものである。【０１２９】
【数４】
2009098894.tif 000006
【０１３０】
この場合は、更新領域検知結果での安定性が保証されるときである。この場合は、更新領域検知結果の位置に、追跡結果の位置を補正する。これにより、更新領域検知結果を用いて十分に追跡できる場合は図１０（ｂ）の方式を利用し、そうでない物体においてはどちらかをうまく選択できるため、安定したシステムの構築が可能になる。【０１３１】
さらに更新のタイミングについて説明する。色評価値の変化は、登録の色や対象物の色の複雑さによって異なる。例えば、平均彩度が高い場合には、色による追跡の評価値が高く、評価値が見え方の変化とともに、ゆっくりと下がる傾向にある。【０１３２】
このため、平均彩度が高い物体では、円検出の頻度を下げることが可能になり、全体的な処理量の削減につながる。また、平均彩度が低い場合には、色ヒストグラムによる追跡は難しく、急激に評価値が下がる傾向にある。このため、平均彩度が低い場合には、頻繁に円検出を行うことによって、安定した追跡が可能になる。なお、平均彩度が低い場合には、円検出により特定された更新領域を、ターゲット領域と定めてもよい。【０１３３】
また、上記では、評価値の関係により更新する方法について述べたが、色による追跡結果位置すなわち、ターゲット領域と、円検出の結果位置すなわち、更新領域との距離関係を用いて、更新を行う方法もある。例えば、検出した円半径の２倍の範囲内を許容範囲としたときに、これよりも色の追跡結果位置（追跡枠の重心）が離れている場合は、円検出の位置に更新を行うことによって、安定した追跡が可能になる。なお、円の倍数に限らず、ユークリッド距離などどのような距離を用いても構わない。この場合、色特徴による追跡の評価値も高く、円検出による評価値も高いとしても、色特徴による追跡が対象物でなく、誤追跡である可能性が高いからである。【０１３４】
位置補正回路１４２が、追跡結果のターゲット領域の座標とサイズとを、更新領域検知結果の座標とサイズとに置き換え、メモリ１１１に格納する。このとき、更新領域検知結果は円の中心と半径が格納されているので、矩形枠の左上座標、高さと幅が得られるように中心から半径を引いた値を左上座標とし、半径の２倍を矩形枠の高さと幅とする。【０１３５】
また、図１０（ｃ）に示すように、追跡終了判定回路１４１において、追跡結果の評価値と、更新領域検知結果の評価値が閾値ｔｈ２を下回ったときに、追跡を終了する判定結果をメモリ１１１に格納する。【０１３６】
その後、顔検出を実施し初期特徴量抽出部１３６により自動復帰、または、ユーザに追跡処理が終了したことを通知し、再度、追跡物体位置を指定させるという方法をとることによって、再追跡が可能になる。【０１３７】
以上により、後ろを向いた場合でも追跡でき、このような状態でも追跡結果描画回路にて、追跡枠の表示や追跡結果位置をぼかす等のＵＩ制御はもちろんのこと、ＡＥ・ＡＦなどの制御や、カメラ制御回路１４５でカメラの制御を行うことで、自動フレーミング・自動撮影が可能になる。【０１３８】
以上の処理をプログラムにて実行した場合は、図１１に示すようなステップになる。撮影された入力画像（Ｓ８０１）に対して、顔検出（Ｓ８０２）が行われる。顔検出した結果に対して初期登録特徴が抽出される（Ｓ８０３）。次のフレームにおいて、ステップＳ８０３で登録された色特徴を用いて追跡処理（Ｓ８０４）を行い、ターゲット領域が特定される。その後、形状特徴である円を用いて円検出が行われ、更新領域の特定を行う（Ｓ８０５）。【０１３９】
色特徴による追跡処理の評価値と、形状特徴である円を用いた円検出の評価値をもとに、追跡処理を終了するか否かが判定される（Ｓ８０６）。ステップ８０６では、色特徴量による追跡処理の評価値と円検出による評価値とが、ともに、閾値ｔｈ２を下回ったときに、追跡を終了すると判定する。追跡処理を終了すると判定された場合は、追跡処理を終了し、追跡枠の表示が終了する、もしくは、アラーム等によってユーザに処理終了が提示される。その後、ユーザには、再度初期位置設定を行うように促す表示がディスプレイに記載されるか、顔検出により初期位置設定が行われ自動復帰するとしてもよい（Ｓ８１０）。終了しない場合は、図１０（ｂ）に示したように閾値ｔｈ１が用いられるか、すなわち、色特徴による追跡処理の評価値にかかわらず、円検出による評価値が閾値ｔｈ１を上回るときは色特徴を更新するとするか、または、図１０（ａ）に示したように円検出による更新領域検知結果の評価値が色特徴を用いた追跡特徴の評価値を上回ったとき、色特徴の特徴量の更新を行うと判定する（Ｓ８０７）。特徴量の更新を行うと判定された場合、更新領域検知結果の位置・特徴量を用いて追尾結果の位置・特徴量が更新される（Ｓ８０８）。そして、更新された追跡結果位置のＬＣＤ表示、およびカメラ制御が行われる（Ｓ８０９）。その後、ステップＳ８０４の追跡処理に戻り、ステップＳ８０４〜Ｓ８１０で繰り返し処理が行われる。【０１４０】
この追跡処理方法や類似度算出方法については、色ヒストグラムマッチング方法に限ったものではなく、最小二乗距離に基づく方法や正規化相関に基づく方法などでも構わない。また、探索方法として単純な走査でなくパーティクルフィルタに基づく方法などであったとしても構わない。【０１４１】
また、本実施の形態では、色特徴を追尾特徴とし、形状特徴を更新領域検知特徴としたが、非剛体であって色変化が少ない物体のように、色の変化に対して安定にとれ、形状が不安定な場合においては、色特徴を、更新領域検知結果特徴とし、形状特徴を追尾特徴としても構わない。なお、本実施の形態では、初期位置として顔検出位置を利用したが、ＡＦの位置を初期位置として利用しても構わない。【０１４２】
なお、ブロック図（図４など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。例えばメモリ以外の機能ブロックが１チップ化されていてもよい。【０１４３】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【０１４４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサを用いて実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。【０１４５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。【０１４６】
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としてもよい。
【産業上の利用可能性】
【０１４７】
本発明にかかる電子カメラおよび画像処理方法は、物体の見え方が変化するような対象の追跡機能を有し、追跡機能によって実現されるベストショット撮影機能やＡＥ・ＡＦなどのカメラ制御、画像のフレーミングに有用である。また、人物などの対象物を追跡撮影する監視カメラに有用である。
【図１】
2009098894.tif 000007
【図２】
2009098894.tif 000008
【図３】
2009098894.tif 000009
【図４】
2009098894.tif 000010
【図５】
2009098894.tif 000011
【図６】
2009098894.tif 000012
【図７】
2009098894.tif 000013
【図８】
2009098894.tif 000014
【図９】
2009098894.tif 000015
【図１０】
2009098894.tif 000016
【図１１】
2009098894.tif 000017
【手続補正書】
【提出日】平成22年7月26日(2010.7.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の物体を追跡し、追跡結果をディスプレイ上に提示する電子カメラおよびその方法に関するものである。
【背景技術】
【０００２】
近年、ＡＦ(オートフォーカス；Auto-Focus)・ＡＥ(自動露出；Auto Exposure)・逆光補正機能の位置合わせ手段として、電子カメラに顔検出機能が搭載されている。顔検出機能を用いることにより、被写体に自動的に焦点を合わせることができるため、ユーザの撮影補助として有効な手段になっている。
【０００３】
顔を検出する画像処理装置および方法としては、顔と顔以外（以下、非顔）のパターンを学習し、その学習したパラメータを入力した識別器を用いて、顔と非顔を識別する方法が提案されている（例えば、特許文献１参照）。
【０００４】
図１は、特許文献１の画像処理装置を示すものである。図２は、部分画像の切り出しの一例を示す図である。部分画像切り出し部９００は、入力された画像１００１から、部分画像１０００を切り出す。部分画像１０００は、複数サイズのウィンドウを画像の左上を起点として、順次画像の右下まで、適当な画素（例えば１画素）分を右側または下側にずらしながら走査することによって、切り出される（図２）。なお、「切り出し」とは、該当する部分の画像データだけを読み出すことをいう。
【０００５】
特徴量評価部１（９０１）は複数の識別器の組み合わせによって構成される。識別器は、ブースティング手法を用いて学習したパラメータを用いて指定する位置において、後述するレクタンギュラーフィーチャー（以下、隣接差分フィルタと呼ぶ）に基づき特徴量を算出する。そして、特徴量評価部１（９０１）は、前記識別器の出力値の重みつき線形和が学習に基づいて算出した閾値より低ければ非顔に識別し、前記部分画像の識別処理を終了する。一方、閾値以上であれば顔に識別し、次の特徴量評価部２（９０２）に処理が移る。特徴量評価部２（９０２）は、特徴量評価部１（９０１）に使用した学習パラメータとは異なるパラメータを用いて評価を行う。このように、複数の特徴量評価部を用いて、評価値を算出し、算出した評価値の値に基づいて、顔と非顔とを弁別している。
【０００６】
図３（ａ）、（ｂ）、（ｃ）、（ｄ）は、隣接差分フィルタを図示したものであり、図３（ｅ）は、隣接差分フィルタ（ｂ）を画像に適用したときの例である。隣接差分フィルタは、隣接した白色矩形と黒色矩形で示され、白色矩形内の画素平均値と黒色矩形内の画素平均値の差を出力する。
【０００７】
隣接差分フィルタから出力される画素平均値の差が大きいことによって特定されるのが顔の部品の特徴であり、これは、目および口のように隣接間の領域の画素値の差が大きい領域において高い特徴量を出力することを意味する。例えば、図３（ｅ）は、額の位置にある黒色矩形の画素の総和と眉の位置にある白色矩形の画素の総和との差に基づき特徴量を算出する。この特徴量は、隣接した領域間の差であるため、画像内の局所的な特徴（例えば線成分）に強く反応し、目、眉、口等の顔部品において特徴的な値を出力する。なお、隣接差分フィルタは、一般にはハーライクフィーチャー（Ｈａａｒ−ｌｉｋｅ  ｆｅａｔｕｒｅ）と呼ぶ。
【０００８】
しかし、顔検出だけでは、顔（目、鼻、口）が見えている範囲でなければ検出できないし、ペットなどの顔以外の物体を追跡できない。そのため、あらかじめユーザが物体の情報をオンラインによって登録し、その物体を追跡することによって顔以外の物体でも、自動的に焦点を合わせる方法がある。
【０００９】
従来から用いられる物体追跡手法として、顔検出結果位置の近傍領域のみを再度顔検出することによる顔追跡方法、相関演算に基づく前フレーム近傍探索を用いたテンプレートマッチング、高速化を目指したアクティブ探索に基づく方法、確率分布による統計的情報を用いて動き予測を入れて探索を行うパーティクルフィルタやコンデンセーションに基づく方法などがある。
【００１０】
これらは、あらかじめ、なんらかの方法を用いて追跡を行いたい物体の、初期特徴量（色あるいは輝度の色ヒストグラムあるいはテンプレート画像そのもの、形状・輪郭情報など）を登録する。その登録特徴量を用いて、画像中において登録特徴量に類似する箇所を探索することによって、物体追跡が行われる。これらの手法では、初期特徴量をあらかじめ作成しておき、この特徴量と画像の各位置に基づいて抽出した特徴量とのマッチングをとる。
【００１１】
しかし、一般的なムービーを用いて撮影する対象は、顔などが長時間見えていることは少なく、画像上における見え方が大きく変化することが多い。従来の手法では、画像上において見え方が大きく変化するような対象に対しては、目標をすぐに見失ってしまうという問題がある。
【００１２】
この問題を解決するために、例えば特許文献２では、テンプレートを逐次更新する方法を用いている。この方法によると、追跡対象の見え方が変化する場合でも、この変化に応じてテンプレートが更新される。このため、見え方が変化する物体を追跡することが可能になる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許出願公開第２００２／０１０２０２４号公報
【特許文献２】特開２００２−１５７５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献２の方法では、フレーム毎にテンプレートを更新するが、常に対象物体のみを含む領域を用いてテンプレートを更新できるというわけではない。更新する領域に非追跡対象領域が混入することにより、それ以降の追跡を失敗するという問題点がある。
【００１５】
図５を用いて、具体的に説明する。例えば、図５（ａ）の正解領域が２００に定められているとする。このとき、次のフレームである図５（ｂ）では、帽子の色の境界が類似するため、２０１の位置においてマッチングする。この位置では、２０１の左側に背景を含むため、次フレーム以降の追跡では、背景の特徴も加わり、頭部追跡に悪影響を及ぼす。しかし、２０２にマッチングできれば、頭部全体に基づいて特徴を得ることができ、次フレーム以降も安定して頭部を追跡することができる。
【００１６】
本発明は、上記従来の課題に鑑み、対象物の位置を安定に検出できる特徴を用いて更新領域を決定することによって対象物が存在する領域の追跡間違いをなくすものである。また、追跡の結果、正解位置からのずれが大きくなった場合には、正しい位置に補正することによって、安定した追跡処理を実現するものである。
【課題を解決するための手段】
【００１７】
上記課題を解決するために、本願発明の電子カメラは、連続して撮影する画像の各フレーム内において追尾の対象となる対象物が写っている対象領域を特定して表示する機能を持つ電子カメラであって、前記対象物の特徴を定量的に示すあらかじめ登録された第一の特徴量を用いて、フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第一の評価値を算出し、算出した前記第一の評価値に基づいて、前記対象物の画像が存在すると推定されるターゲット領域を特定する追跡処理部と、前記第一の特徴量とは異なる特徴量であり、かつ、前記対象物の特徴を定量的に示す第二の特徴量を用いて、前記フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第二の評価値を算出し、算出した前記第二の評価値に基づいて、前記第一の特徴量を更新するための更新領域を前記フレーム内において特定する更新領域算出部と、前記追跡処理部において算出された前記第一の評価値と、前記更新領域算出部において算出された前記第二の評価値とのうち少なくとも一つが、あらかじめ定められた条件を満足するか否かを調べることにより、前記第一の特徴量を更新するか否かを判定する更新判定部と、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域内において抽出された新たな第一の特徴量により、前記第一の特徴量を更新する登録特徴量更新部と、前記更新判定部によって前記第一の特徴量を更新しないと判定された場合、前記追跡処理部において特定された前記ターゲット領域を前記対象領域と特定して前記ターゲット領域に関する情報を描画し、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域算出部において特定された前記更新領域を前記対象領域と特定して前記更新領域に関する情報を描画する追跡結果描画部とを備え、前記追跡処理部は、あらかじめ登録された前記第一の特徴量が更新された場合、更新後の第一の特徴量を用いて、新たなフレーム内の新たなターゲット領域を特定する。
【００１８】
これにより、電子カメラにおいて、物体を追尾する際に、物体を追跡する特徴と別の特徴、もしくは、物体を追跡する特徴とは別の特徴である形状を利用して物体の位置決めをすることが可能になる。そして、更新を常に行うか、それとも、一定の条件下で行うかなどといった判定を行うことが可能になり、誤った場所を用いた更新を軽減させる効果がある。
【００１９】
また、前記追跡処理部は、前記第一の特徴量として、対象物の色情報を用いて、前記対象物の画像が存在すると推定されるターゲット領域を特定し、前記更新領域算出部は、前記第二の特徴量として、対象物の形状情報を用いて前記更新領域を特定するとしてもよい。
【００２０】
これにより、対象物体の見え方の変化が生じるような場合でも安定した追尾が可能になる。
【００２１】
さらに、前記更新判定部は、前記更新領域算出部において算出された前記第二の評価値が、前記追跡処理部において算出された前記第一の評価値よりも大きいとき、または、前記更新領域算出部において算出された前記第二の評価値があらかじめ定められた第一の閾値より大きいときに前記第一の特徴量を更新すると判定するとしてもよい。
【００２２】
これにより、更新領域検知結果の評価値が追跡結果の評価値を上回るとき、または、更新領域検知結果が第一の閾値より大きい場合に第一の特徴量を更新するため、毎回更新する必要がなく、処理量が削減できる。
【００２３】
また、前記更新判定部は、前記対象物の画像の画素ごとの平均彩度が高いほど前記第一の閾値に大きな値を設定し、前記対象の平均彩度が低いほど前記第一の閾値に小さな値を設定する前記更新判定部は、前記更新領域算出部において算出された前記第二の評価値が、前記追跡処理部において算出された前記第一の評価値よりも大きいとき、または、前記更新領域算出部において算出された前記第二の評価値があらかじめ定められた第一の閾値より大きいときに前記第一の特徴量を更新すると判定する前記追跡処理部は、前記第一の特徴量として、対象物の色情報を用いて、前記対象物の画像が存在すると推定されるターゲット領域を特定し、前記更新領域算出部は、前記第二の特徴量として、対象物の形状情報を用いて前記更新領域を特定するとしてもよい。
【００２４】
これにより、追跡対象物の彩度値により追跡のしやすさが変わる。すなわち、彩度が高いということは、色がはっきりしているということであり、第一の特徴量による追跡がより正確に行われることを示している。このため、彩度が高いときには第一の閾値を大きくし、彩度が低いときには第一の閾値を小さく設定することによって、第一の特徴量を頻繁に更新すべきか、そうでないかを決めることができる。従って、対象物によって閾値を柔軟に設定することが可能となり、追跡精度を向上させることができる。
【００２５】
また、前記更新判定部は、さらに、前記追跡処理部において特定された前記ターゲット領域と前記更新領域算出部において特定された前記更新領域との距離があらかじめ定められた第二の閾値以上になったときに更新すると判定するとしてもよい。
【００２６】
これにより、追跡処理部による追跡処理結果と、更新領域算出部による更新領域検知結果の位置が大きくずれた場合に第一の特徴量を更新することができるため、追跡が失敗した場合にも、更新された第一の特徴量を用いて追跡処理の復帰が可能となり、追跡性能が安定化する。
【００２７】
また、前記電子カメラは、さらに、前記対象物の追跡が継続不可能か否かを判定する終了判定部を備え、前記終了判定部は、前記第一の評価値と前記第二の評価値との両方が、あらかじめ定められた第三の閾値より小さいときに前記対象の追跡が継続不可能と判定するとしてもよい。
【００２８】
これにより、対象物の追跡が継続不能となった場合には自動的に追跡処理を終了することができるため、ユーザの手間をかけることなく処理を終えることができる。
【００２９】
また、前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、ターゲット領域および更新領域の描画を終了するとしてもよい。
【００３０】
これにより、余計な追尾処理結果を表示しないため、ユーザに違和感を与えない。
【００３１】
さらに、前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、追跡不能となったことをユーザに提示する画像を描画するとしてもよい。
【００３２】
これにより、ユーザに追尾が終了したことを知らせることができるため、ユーザが再度追尾を行うかといった行動に移ることができる。
【００３３】
また、前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、ユーザに対して再度初期位置設定を促す画像を描画するとしてもよい。
【００３４】
これにより、ユーザに初期設定を行うことを促すことができるため、不慣れな使用者であっても、再度設定すべきことが容易に理解できる。
【００３５】
さらに、前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、新たな顔検出により初期位置設定を行うとしてもよい。
【００３６】
これにより、人物を対象とする場合には、顔の部分に自動的に初期位置を再設定できる。
【００３７】
また、前記電子カメラは、さらに、各フレーム内の画像内において顔を検出する顔検出回路と、前記顔検出回路によって検出された顔の向きを認識する顔向き認識回路とを備え、前記更新領域算出部は、前記顔向き認識回路によって前記対象物である顔が横を向いていると認識されたとき、真横を向いている顔の領域である更新基準領域を前記更新領域算出部において算出した後、顔部分と髪の毛部分とのあらかじめ指定された位置関係に基づき、前記更新基準領域内における前記更新領域を算出するとしてもよい。
【００３８】
これにより、あらかじめ、更新領域検知結果に応じて更新すべき場所が変わったり、例えば、顔検出した結果の顔向きに応じて、更新すべき場所が変わったり、顔検出のサイズに応じて、より大きいサイズを用いて更新を行ったり、服を含むような形による更新を行うなど、様々な位置関係における更新が可能となり、追跡精度が向上する。
【００３９】
これにより、顔を追尾することが可能になるため、顔認証などとの結合が可能になる。
【００４０】
また、これにより、例えば、円形状のように回転しても見た目が変わらない場合に、追尾物体を安定に追尾できる。
【００４１】
また、前記電子カメラは、さらに、前記追跡処理部において特定されたターゲット領域、および、前記更新領域算出部において特定された前記更新領域のいずれかに基づいて、前記電子カメラの動作を調整するためのカメラパラメータを変更するカメラ制御部を有するとしてもよい。
【００４２】
これにより、カメラパラメータを制御することが可能になるため、対象に応じたカメラパラメータ設定を行うことができる。
【００４３】
前記カメラ制御部は、前記カメラパラメータに基づいて、前記電子カメラの筐体および雲台の少なくとも一方の動作を制御し、特定された前記対象物の全体、または一部をフレーム内の所定の位置、およびサイズに合わせるように制御を行うとしてもよい。
【００４４】
これにより、カメラを制御することにより、対象物の適した位置にカメラ制御することが可能になる。
【００４５】
前記電子カメラは、さらに、前記ターゲット領域の初期位置を、ユーザからの入力に基づいて、または、あらかじめ定められた方法を用いて決定するターゲット領域初期設定部を有するとしてもよい。
【００４６】
これにより、ターゲット領域の初期位置を設定することが可能になり、追尾の初期位置を決めることができる。
【００４７】
前記ターゲット領域初期設定部は、人物、もしくは、顔のいずれか一方の検出位置を初期位置と決定するとしてもよい。
【００４８】
これにより、人物、もしくは顔位置を初期位置とすることができ、人物追尾の初期設定を自動的に行うことができる。
【００４９】
前記ターゲット領域初期設定部は、ＡＦ（オートフォーカス）機能により焦点を合わせた場所を初期位置と決定するとしてもよい。
【００５０】
これにより、ＡＦ機能により焦点を合わせた領域を初期設定として追尾を行うことが可能となり、ＡＦ機能との連携が容易になる。
【００５１】
なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、インターネット等の通信ネットワークを介して配信してもよい。
【発明の効果】
【００５２】
本発明によれば、対象物体の見え方が変化した場合でも対象追跡を行うことが可能になるため、物体が後ろを向くような場合でも追跡し、枠を表示し続け、ＡＥ、ＡＦ、カメラ制御によるフレーミング機能、自動撮影を行うことができる。
【図面の簡単な説明】
【００５３】
【図１】図１は、従来の顔検出処理のフローチャートである。
【図２】図２は、従来の画像からの顔検出処理の説明図である。
【図３】図３（ａ）〜（ｅ）は、従来の隣接差分フィルタの説明図である。
【図４】図４は、本発明の実施の形態１、２における画像処理装置のブロック図である。
【図５】図５（ａ）（ｂ）は、従来手法における追尾を失敗する例の説明図である。
【図６】図６（ａ）（ｂ）は、色ヒストグラム探索の説明図である。
【図７】図７（ａ）（ｂ）は、色ヒストグラムの類似度算出の説明図である。
【図８】図８（ａ）（ｂ）は、横顔のリファレンス画像領域の説明図である。
【図９】図９は、実施の形態１のフローチャートである。
【図１０】図１０（ａ）〜（ｃ）は、追尾特徴量と更新領域検知結果の関係図である。
【図１１】図１１は、実施の形態２のフローチャートである。
【発明を実施するための形態】
【００５４】
（実施の形態１）
本実施の形態１では、顔検出と色情報を利用した追跡を併用することによって、顔検出だけでは不可能な、後ろを向いた頭部の追跡も可能とする画像処理装置について述べる。すなわち、実施の形態１の画像処理装置（電子カメラ）は、従来の顔検出および顔向き認識を用いて、追尾撮影の対象となる対象物が存在するであろうターゲット領域を特定する。そして、毎フレーム、ターゲット領域が特定される都度、対象物の色の特徴量を抽出して更新する。顔検出ができなくなった場合には、更新された対象物の色特徴を用いてターゲット領域を特定し、色の登録特徴量を更新する。
【００５５】
図４は、本発明の実施の形態１の電子カメラの構成を示す図である。図４において、１００は、電子カメラである。１０１はレンズ、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をディジタル信号に変換するＡＤ変換器(Analog Digital Converter)である。
【００５６】
タイミング発生回路１０５は撮像素子１０３、ＡＤ変換器１０４、ＤＡ変換器(Digital Analog Converter)１０６にクロック信号および制御信号を供給する。タイミング発生回路１０５は、メモリ制御回路１０７およびシステム制御回路１０８により制御される。
【００５７】
画像処理回路１０９は、ＡＤ変換器１０４からのデータあるいはメモリ制御回路１０７からのデータに対して所定の画像補間処理や色変換処理を行う。
【００５８】
また、画像処理回路１０９においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路１０８が露光制御部１４９、測距制御部１１４に対して制御を行う。
【００５９】
メモリ制御回路１０７は、ＡＤ変換器１０４、タイミング発生回路１０５、画像処理回路１０９、画像表示メモリ１１０、ＤＡ変換器１０６、メモリ１１１、およびリサイズ回路１１２を制御する。
【００６０】
ＡＤ変換器１０４のデータが画像処理回路１０９、メモリ制御回路１０７を介して、あるいはＡＤ変換器１０４のデータが直接メモリ制御回路１０７を介して、画像表示メモリ１１０あるいは、メモリ１１１に書き込まれる。
【００６１】
１１０は画像表示メモリ、１０６はＤＡ変換器、１４８はＴＦＴ(Thin Film Transistor)-ＬＣＤ(Liquid Crystal Display)等からなる画像表示部であり、画像表示メモリ１１０に書き込まれた表示用の画像データは、ＤＡ変換器１０６を介して画像表示部１４８により表示される。
【００６２】
リサイズ回路１１２は、撮影した動画像のフレーム画像に基づいて低解像度画像であるリサイズ画像を生成する。リサイズ回路１１２は、撮像素子１０３の画素数と異なる画素数（サイズ）を用いて記録媒体に画像データを記録したい場合に利用される。
【００６３】
また、画像表示部１４８は、撮像素子１０３よりも画素数はかなり小さいので、画像表示部１４８に表示を行う場合の表示用画像を生成するためにも用いられる。リサイズ画像の解像度は用途に基づき所定の複数の解像度から選択されるように構成される。リサイズ回路１１２は、メモリ１１１に格納された画像を読み込んでリサイズ処理を行い、処理を終えたデータをメモリ１１１に書き込む。
【００６４】
露光制御部１４９は絞り機能を備えるシャッター１０２を制御し、フラッシュ１１３と連携することによりフラッシュ調光機能も有するものである。
【００６５】
測距制御部１１４はレンズ１０１のフォーカシングを制御する。ズーム制御部１１５はレンズ１０１のズーミングを制御する。バリア制御部１１６はバリアである保護部１１７の動作を制御する。
【００６６】
フラッシュ１１３は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
【００６７】
システム制御回路１０８は画像処理装置（電子カメラ）１００全体を制御し、メモリ１１８はシステム制御回路１０８の動作用の定数、変数、プログラム等を記録する。
【００６８】
表示部１１９は、システム制御回路１０８でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態あるいはメッセージ等を表示する液晶表示装置、スピーカー等の表示部などである。表示部１１９は、画像処理装置１００の操作部近辺の視認しやすい装置に単数あるいは複数箇所設置され、例えばＬＣＤあるいはＬＥＤ(Light Emitting Diode)、発音素子等の組み合わせにより構成されている。
【００６９】
不揮発性メモリ１２０は、電気的に証拠・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００７０】
モードダイアル１２１は、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード等の各機能モードを切り替え設定することができる。
【００７１】
シャッタースイッチ１２３はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなりＡＦ処理、ＡＥ処理、ＡＷＢ(Auto White Balance)処理等の動作開始を指示する。
【００７２】
シャッタースイッチ１２３はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１０３から読み出した信号をＡＤ変換器１０４、メモリ制御回路１０７を介してメモリ１１１に画像データを書き込む露光処理、画像処理回路１０９やメモリ制御回路１０７での演算を用いた現像処理、メモリ１１１から画像データを読み出し、記録部１２４に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００７３】
電源制御部１２５は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果およびシステム制御回路１０８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００７４】
電源１２６は、コネクタ１２７、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池で実現される電源部１２８、およびＡＣアダプター等からなる。
【００７５】
インタフェース１２９および１３０は、メモリカードやハードディスク等の記録媒体とのインタフェースであり、コネクタ１３１および１３２はメモリカードやハードディスク等の記録媒体と本体との接続を行う。保護部１１７は、画像処理装置（電子カメラ）１００のレンズ１０１を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである。
【００７６】
光学ファインダ１３３は、画像表示部１４８による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。
【００７７】
通信部１３４は、ＲＳ２３２ＣやＵＳＢ(Universal Serial Bus)、ＩＥＥＥ１３９４、モデム、ＬＡＮ、および無線通信等の各種通信機能を有する。
【００７８】
アンテナ１３５は、通信部１３４により画像処理装置（電子カメラ）１００を他の機器と接続するコネクタあるいは無線通信の場合はアンテナである。
【００７９】
初期特徴量抽出部１３６は、メモリ１１１に格納された画像データから初期特徴量を抽出し、メモリ１１１に書き込む。初期特徴量を抽出する座標は、タッチパネルによるユーザ指定、あるいは、顔検出位置やシャッタースイッチＳＷ１を押すことによって設定されるＡＦ領域等による自動設定が可能である。
【００８０】
追跡処理部１３７は、メモリ１１１から登録特徴量を読み込み、追跡処理を行い、メモリ１１１に追跡結果（座標データ、評価値）を書き込む。なお、評価値は登録特徴量とターゲット領域の特徴量との類似度を示す値であり、以下では、評価値が大きいほど確からしい、すなわち、一致度が高い場合を例として説明する。
【００８１】
追跡先頭フレーム指定回路１３８は、画像データのうち、追跡で行う先頭フレームであるか否かを判定し、メモリ１１１に判定結果を書き込む。
【００８２】
更新領域検知回路１３９は、更新領域の検知を行い、メモリ１１１に更新領域検知結果（座標データ、評価値）を書き込む。なお、更新領域についても、評価値は登録特徴量と更新領域の特徴量との類似度を示す値であり、以下では、評価値が大きいほど確からしい、すなわち、一致度が高い場合を例として説明する。
【００８３】
更新判定回路１４０は、メモリ１１１に保存されている登録特徴量を更新するか否かを判定し、判定結果をメモリ１１１に書き込む。
【００８４】
終了判定回路１４１は、追跡を終了するか否かの判定結果をメモリ１１１に書き込む。
【００８５】
位置補正回路１４２は、メモリ１１１に格納されている追跡結果を、あらかじめメモリ１１１に保持されている更新領域検知結果と追跡結果との位置関係情報を含む位置関係情報ＤＢに基づき、補正する。
【００８６】
登録特徴量更新回路１４３は、追跡結果と更新領域検知結果が後述する関係にあるとき、メモリ１１１に記録されている登録特徴量を、更新領域検知結果の位置の特徴を用いて更新する。
【００８７】
追跡結果描画回路１４４は、メモリ１１１に書き込まれた追跡結果をＬＣＤに表示させるために、画像表示メモリ１１０に書き込まれた表示用の画像データに対し、追跡結果の位置に追跡されたことがわかる情報、例えば、追跡枠、モザイク化、文字、表示色の変更、ぼかすなどの処理を施す。
【００８８】
追跡結果描画回路１４４は、メモリ１１１に書き込まれた追跡結果をＬＣＤに表示させるために、画像表示メモリ１１０に書き込まれた表示用の画像データに対し、追跡結果の位置、もしくは、更新領域検知結果の位置に追跡されたことがわかる情報、例えば、追跡枠、モザイク化、文字、表示色の変更、ぼかすなどの処理を施す。
【００８９】
カメラ制御回路１４５は、メモリ１１１に書き込まれた追跡結果の位置とサイズに基づき、対象物体が、画像の一定の位置・サイズ（例えば、顔が中央になる、あるいは、全身が表示されるようにズームするなど）になるようにカメラを制御する。
【００９０】
顔検出回路１４６は、画像から顔検出を行いメモリ１１１に顔検出結果（位置、サイズ、評価値）を書き込む。
【００９１】
顔向き認識回路１４７は、顔検出回路１４６によって検出された顔が、上下左右どちらの向きを向いているのかを認識し、認識結果をメモリ１１１に書き込む。
【００９２】
これら１３６、１３７、１３８、１３９、１４０、１４１、１４２、１４３、１４４のいずれかの回路を備えない場合は、システム制御回路１０８において、ソフトウェア処理によって後述するフローを用いて追跡および更新処理を行ってもよい。
【００９３】
以下、図６および図７を用いて、画像処理装置１００の動作を説明する。
【００９４】
システム制御回路１０８が、撮像素子１０３、ＡＤ変換器１０４、画像処理回路１０９、メモリ制御回路１０７を介して、メモリ１１１に撮影した画像データを書き込む露光処理、および、メモリ制御回路１０７そして必要に応じて画像処理回路１０９を用いて、メモリ１１１に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する。
【００９５】
撮影処理を終えたなら、システム制御回路１０８は、メモリ１１１に書き込まれた画像データに対し、リサイズ回路１１２を用いて撮影画像を画像表示部１４８に表示するための表示用画像を生成する。システム制御回路１０８は、同様に、リサイズ回路１１２にて顔検出回路に入力すべき画像サイズ（ＱＶＧＡ(Quarter Video Graphics Array)など）に画像をリサイズし、顔検出用画像をメモリ１１１に保存する。
【００９６】
システム制御回路１０８は、メモリ１１１に保存されている顔検出用画像データに対して、顔検出回路１４６によって従来技術を用いて顔検出処理を実行し、処理結果をメモリ１１１に保存する。
【００９７】
また、システム制御回路１０８は、顔向き認識回路１４７によって従来技術を用いて顔向き認識処理を実行し、処理結果をメモリ１１１に保存する。
【００９８】
顔検出回路１４６により、顔が検出された場合、初期特徴量抽出部１３６は、メモリ１１１に格納されている顔検出、顔向き認識処理結果を参照して、登録特徴量の抽出を行い、メモリ１１１に登録特徴量を書き込む。例えば、初期特徴量抽出部１３６は、メモリ１１１に格納されている顔検出結果および顔向き情報に基づいて、色の特徴量として顔の色ヒストグラムを抽出し、メモリ１１１に登録する。そして、初期特徴量抽出部１３６によってメモリ１１１に登録された特徴量を用いて、追跡処理部１３７は、追跡処理を行う。
【００９９】
ここでは、色ヒストグラムを用いた登録特徴量の抽出、および、追跡処理について図６を用いて説明する。
【０１００】
正面顔が図６（ａ）のように画像から検出されたと仮定する。このとき、この領域（リファレンス領域）の色ヒストグラムが作成される。具体的には、ヒストグラムの横軸には、リファレンス領域から得られる各画素のＨＳＶ(Hue Saturation Value)色空間のＨの値（０〜３６０の実数）が、２０個に区分される領域に割り当てられる。そして、それぞれの区分に割り当てられる個数が、度数となる。リファレンス領域内の各画素のＨの値が、どの領域に入るかは、ｉ番目の画素のＨをHiとするとHi＊１９／３６０によって計算することができる。そして、度数の総和が１になるように、各区分の度数が、リファレンス領域の画素数で割られることによって正規化される。そして、図６（ｂ）のように、検出領域より一定の範囲で広げた領域３０１が探索領域となり、追跡ウィンドウ３０２のサイズ・位置を変えながら探索が行なわれる。追跡処理部１３７は、探索しながら追跡ウィンドウ領域の色ヒストグラム３０３が作成される。
【０１０１】
次に、リファレンス領域の色ヒストグラムと追跡ウィンドウ領域の色ヒストグラムに基づいて類似値が算出される。類似度の算出方法を図７を用いて説明する。図７（ａ）はリファレンス画像であり、ここから算出した色ヒストグラムが４０１である。また、図７（ｂ）は、インプット画像であり、探索ウィンドウの色ヒストグラムを４０２に示す。このように、類似度、すなわち、評価値が、それぞれの色ヒストグラムの重なり度合いによって算出される。類似度算出は、（数１）によって行われる。
【０１０２】
【数１】
2009098894.tif 000018
【０１０３】
ここでＲｉはリファレンス領域の色ヒストグラムにおけるｉ番目の区分の度数であり、ここでＩｉは追跡ウィンドウ領域の色ヒストグラムにおけるｉ番目の区分の度数である。
【０１０４】
ここでは、ｉは０から１９までの値をとる。本例では、２０という値で区分けされたヒストグラムを用いて説明したが、１以上の値であればどのような値でも構わない。なお、この値は対象の複雑さによって変更する。複数色を含む場合はこの値を大きくし、細かい区分で違いをみることにより、精度を向上することができる。一方で、色数が少ない物体に対しては、この値を小さくして、大まかな区分で違いをみることによって、少ないメモリを用いて追跡を行うことができる。
【０１０５】
なお、リファレンス領域の指定方法として、顔検出位置としたが、これは、ユーザがタッチパネルあるいはポインタ等を用いて指定してもよいし、音声情報などを用いて指定してもよい。また、色ヒストグラムによるマッチングについて説明したが、切り出した画像間のテンプレートの差異を求めてもよい。また、これらのテンプレートに前処理として色ヒストグラム補正を行うことによって、輝度の影響を受け難くすることができる。差異を求める方法としては、最小二乗距離を最小にする方法あるいは正規化相関による方法など、一般的に距離を求める方法であればどのような方法でも構わない。また、探索方法として、単純に領域を走査する方法について述べたが、パーティクルフィルタなど確率分布に基づいた探索方法でもよい。
【０１０６】
次に、顔向きに応じた登録特徴量の抽出方法について説明する。正面顔の場合は、顔全体を登録することによって、安定した追跡が可能である。しかし、顔が正面から横を向いた場合においては、以降のフレームにおいて後ろを向く可能性があるため、特徴量の登録位置に工夫を施す。図８（ａ）に示すように、横顔の場合は、顔検出領域５０１内に、肌の色情報と、髪の色情報の両方を含む。ここで、図８（ｂ）に示すように、顔検出処理により、顔検出領域内の後頭部領域２０％程度をリファレンス領域５０２とすることによって、髪の色情報を取得すれば、対象が後ろを向いた場合でも髪の色情報により色を用いての追跡が可能になる。なお、正面を向きやすい場合や後ろを向きやすい場合などに応じて、この割合を変更することによって、追跡を安定することができる。
【０１０７】
なお、本例では、髪の毛として説明したが、帽子や服など色変動の少ないものを被っている場合においても、本手法は有効に機能する。
【０１０８】
また、顔が検出されており、追跡結果と一定の距離にある場合は、更新領域検知回路１３９が、更新するかしないかの判定結果を示すフラグを立て、メモリ１１１にフラグを書き込む。そして、位置補正回路１４２によって、顔検出位置が補正される。
【０１０９】
この顔検出位置に基づいて登録特徴量が抽出され、登録特徴量更新回路１４３によって登録特徴量が更新され、メモリ１１１に書き込む。登録特徴量の抽出は、前述の方法と同様に行う。
【０１１０】
このように、向きに応じて登録特徴量の抽出領域を変更することによって、横顔から後ろを向いた場合でも、髪の毛や帽子を用いることによって、向きの変化に応じて適切な色特徴を登録できるため、対象が後ろを向いた場合でも、安定な追跡が可能になる。また、追跡処理に失敗した場合でも顔検出結果に基づき、位置補正回路１４２において、位置を補正し、メモリ１１１の追跡結果を更新することによって、安定した顔の追跡が可能になる。
【０１１１】
また、顔検出は顔内部のみを検出する場合がある。そこで、検出結果座標を、頭部を含むように定数倍することによって、安定した追跡が可能になる。
【０１１２】
また、後ろを向いたという情報を保持しておき、後ろ向きから前向きに復帰する際は特徴量の抽出領域を変更することによって、より安定した追跡が可能になる。以下、具体的に説明する。後ろを向いたときに次に横を向いた場合は正面を向く可能性が高い。そこで、リファレンス領域５０２ではなく、顔検出領域５０１の顔側の領域を特徴量抽出領域とすることによって、次に顔が現れたときにでも対応できるようにする。これにより、後ろ向きから横、正面と遷移する際に、肌色情報を利用することができるため、後ろから正面への復帰が安定する。
【０１１３】
後ろを向いた場合でも追跡できているので、後ろ向き状態の場合でも追跡結果描画回路にて、追跡枠の表示や追跡結果位置をぼかす等のＵＩ(User Interface)制御はもちろんのこと、ＡＥ・ＡＦなどの制御や、カメラ制御回路１４５でカメラの制御を行うことによって、自動フレーミング・自動撮影が可能になる。
【０１１４】
以上の処理をプログラムにて実行した場合は、図９に示すステップになる。入力画像を撮影し、撮影された入力データ（Ｓ６０１）に対して、顔検出処理（Ｓ６０２）が行われる。なお、顔検出は、従来の方法を使用する。次いで、顔検出した結果に対して顔向き認識処理（Ｓ６０３）が行われる。この顔向き認識も、従来の方法を使用する。そして、顔検出位置から色の初期登録特徴が抽出される（Ｓ６０４）。さらに、次のフレームにおいて色特徴を用いてターゲット領域を特定する追跡処理（Ｓ６０５）が行われ、その後、顔検出処理（Ｓ６０６）が行われる。もし、顔検出ができれば（Ｓ６０７）、顔向き認識結果に基づいて、追跡結果であるターゲット領域が顔検出位置に置き換えられる。顔検出ができない場合は、色の特徴量を用いて追跡処理を行い、色の特徴量に関する追跡評価値が算出される。追跡結果の評価値も閾値以下であれば追跡処理が終了する（Ｓ６１１）。また、色特徴量による追跡結果の評価値が閾値より高ければ、ターゲット領域内の初期位置から色ヒストグラムを用いて表される色特徴が抽出され、初期登録特徴量を更新した後（Ｓ６１２）、追尾枠の表示、およびカメラ制御へと制御が移る（Ｓ６０９）。そして、顔検出ができた場合は、顔向き検出の結果に基づいて初期登録特徴量が更新される箇所を選択し、初期登録特徴量が更新される（Ｓ６０８）。そして、更新された追跡結果位置、すなわち、ターゲット領域のＬＣＤ表示、およびカメラ制御が行われる（Ｓ６０９）。その後、追跡処理（Ｓ６０５）に戻り、処理が繰り返される。
【０１１５】
（実施の形態２）
実施の形態２では、円形状情報のように回転に不変な情報と色情報とを利用した追跡、頭部（正面向きの顔だけでなく顔が見えない後ろ向きの場合も含む）の追跡も可能とする電子カメラについて述べる。すなわち、実施の形態２では、顔向き情報の代わりに円形状の情報を用いて、色特徴を更新するための更新領域の位置を決定する。
【０１１６】
実施の形態２の構成は、図４の構成と同じであるので、動作が同一の構成要素に対しては説明を省略する。
【０１１７】
実施の形態２でも追跡処理は、実施の形態１と同様に色ヒストグラムマッチングを用いて類似度、すなわち、評価値を算出し、追跡を行うものとして説明する。
【０１１８】
実施の形態２でも実施の形態１と同様の方法を用いて、顔検出情報やユーザからの指示（タッチパネルやポインタなど）によって対象物の初期位置を決定し、初期特徴量を登録する。
【０１１９】
頭部の見え方に対して不変な情報の一つに、「頭部は円である」ということがある。そこで、本実施の形態２では、更新領域検知回路１３９によって、形状情報を利用して更新領域の検知を行う例を示す。これ以外にも、物体の見え方に対する不変な特徴であれば、どのようなものを用いても構わない。
【０１２０】
頭部円形状の検出方法について述べる。メモリ１１１に格納されている追跡結果の近傍においてエッジ検出が行われる。エッジ検出はソーベルオペレータなどが用いられる。もしくは、フレーム間差分により、差分点を利用する方法がある。ここで得られる点群（特徴点群）に対して、ハフ変換を実施し、円の半径と中心が求められる。円の半径と中心の求め方は、例えば、文献「ＨｅａｄＦｉｎｄｅｒ：フレーム間差分をベースにした人物追跡、馬場ら」（非特許文献：１）に記載されている手法によって求めることができる。上記文献で述べられている手法について簡単に説明する。
【０１２１】
円は（数２）を用いて中心座標ａ、ｂおよび半径ｒの定数によって決定できる。
【０１２２】
【数２】
2009098894.tif 000019
【０１２３】
これをハフ変換に当てはめると、求める未知数が３個となるので投票空間が３次元となる。この計算量は膨大となるため、実時間動作は難しい。そこで、サイズがある一定の半径ｒの範囲に限定される。その後、幅を持たせた複数の半径内に含まれる特徴点群を用いて投票を行うことによって半径パラメータａ、ｂが求められる。これにより、頭部の円形状が推定される。このとき、円上に特徴点群が何個含まれるかが、円形状のフィッティング度合いを表す評価値となる。この円形状の位置、半径情報と評価値がメモリ１１１に書き込まれる。
【０１２４】
ここでは、頭部は評価値が低いが向き変化に対して安定して検出でき、色情報は、向きが変わると評価値が下がるという点に着目する。見え方が変わることにより色情報にて評価値が下がる場合に、頭部円形状の検出位置にて位置補正を行い、登録特徴量を補正することによって、見え方の変化に対して安定した追跡を行う追跡方法について述べる。
【０１２５】
更新判定回路１４０が、メモリ１１１から色による追跡結果の評価値と更新領域検知結果の評価値とを読み込み、追跡結果の評価値が、更新領域検知結果の評価値を下回ったときや、閾値ｔｈ１を下回ったときに、更新の判定を行いメモリ１１１に判定結果を書き込む。このときの評価値と時間軸の関係を図１０に示す。
【０１２６】
図１０（ａ）は、更新領域検知結果の評価値が追跡結果の評価値を上回ったときに更新を行う。図１０（ａ）、（ｂ）および（ｃ）において、実線は、追跡結果の評価値を表し、点線は更新領域検知結果の評価値を表す。
【０１２７】
【数３】
2009098894.tif 000020
【０１２８】
この場合は、対象物体の見え方が変化し、評価値が下がることによって生じる現象であり、追跡の失敗が起こったときに、復帰できるように更新をすることができる。
【０１２９】
図１０（ｂ）は、更新領域検知結果の評価値が閾値ｔｈ１より大きくなった場合に、更新を行うものである。
【０１３０】
【数４】
2009098894.tif 000021
【０１３１】
この場合は、更新領域検知結果での安定性が保証されるときである。この場合は、更新領域検知結果の位置に、追跡結果の位置を補正する。これにより、更新領域検知結果を用いて十分に追跡できる場合は図１０（ｂ）の方式を利用し、そうでない物体においてはどちらかをうまく選択できるため、安定したシステムの構築が可能になる。
【０１３２】
さらに更新のタイミングについて説明する。色評価値の変化は、登録の色や対象物の色の複雑さによって異なる。例えば、平均彩度が高い場合には、色による追跡の評価値が高く、評価値が見え方の変化とともに、ゆっくりと下がる傾向にある。
【０１３３】
このため、平均彩度が高い物体では、円検出の頻度を下げることが可能になり、全体的な処理量の削減につながる。また、平均彩度が低い場合には、色ヒストグラムによる追跡は難しく、急激に評価値が下がる傾向にある。このため、平均彩度が低い場合には、頻繁に円検出を行うことによって、安定した追跡が可能になる。なお、平均彩度が低い場合には、円検出により特定された更新領域を、ターゲット領域と定めてもよい。
【０１３４】
また、上記では、評価値の関係により更新する方法について述べたが、色による追跡結果位置すなわち、ターゲット領域と、円検出の結果位置すなわち、更新領域との距離関係を用いて、更新を行う方法もある。例えば、検出した円半径の２倍の範囲内を許容範囲としたときに、これよりも色の追跡結果位置（追跡枠の重心）が離れている場合は、円検出の位置に更新を行うことによって、安定した追跡が可能になる。なお、円の倍数に限らず、ユークリッド距離などどのような距離を用いても構わない。この場合、色特徴による追跡の評価値も高く、円検出による評価値も高いとしても、色特徴による追跡が対象物でなく、誤追跡である可能性が高いからである。
【０１３５】
位置補正回路１４２が、追跡結果のターゲット領域の座標とサイズとを、更新領域検知結果の座標とサイズとに置き換え、メモリ１１１に格納する。このとき、更新領域検知結果は円の中心と半径が格納されているので、矩形枠の左上座標、高さと幅が得られるように中心から半径を引いた値を左上座標とし、半径の２倍を矩形枠の高さと幅とする。
【０１３６】
また、図１０（ｃ）に示すように、追跡終了判定回路１４１において、追跡結果の評価値と、更新領域検知結果の評価値が閾値ｔｈ２を下回ったときに、追跡を終了する判定結果をメモリ１１１に格納する。
【０１３７】
その後、顔検出を実施し初期特徴量抽出部１３６により自動復帰、または、ユーザに追跡処理が終了したことを通知し、再度、追跡物体位置を指定させるという方法をとることによって、再追跡が可能になる。
【０１３８】
以上により、後ろを向いた場合でも追跡でき、このような状態でも追跡結果描画回路にて、追跡枠の表示や追跡結果位置をぼかす等のＵＩ制御はもちろんのこと、ＡＥ・ＡＦなどの制御や、カメラ制御回路１４５でカメラの制御を行うことで、自動フレーミング・自動撮影が可能になる。
【０１３９】
以上の処理をプログラムにて実行した場合は、図１１に示すようなステップになる。撮影された入力画像（Ｓ８０１）に対して、顔検出（Ｓ８０２）が行われる。顔検出した結果に対して初期登録特徴が抽出される（Ｓ８０３）。次のフレームにおいて、ステップＳ８０３で登録された色特徴を用いて追跡処理（Ｓ８０４）を行い、ターゲット領域が特定される。その後、形状特徴である円を用いて円検出が行われ、更新領域の特定を行う（Ｓ８０５）。
【０１４０】
色特徴による追跡処理の評価値と、形状特徴である円を用いた円検出の評価値をもとに、追跡処理を終了するか否かが判定される（Ｓ８０６）。ステップ８０６では、色特徴量による追跡処理の評価値と円検出による評価値とが、ともに、閾値ｔｈ２を下回ったときに、追跡を終了すると判定する。追跡処理を終了すると判定された場合は、追跡処理を終了し、追跡枠の表示が終了する、もしくは、アラーム等によってユーザに処理終了が提示される。その後、ユーザには、再度初期位置設定を行うように促す表示がディスプレイに記載されるか、顔検出により初期位置設定が行われ自動復帰するとしてもよい（Ｓ８１０）。終了しない場合は、図１０（ｂ）に示したように閾値ｔｈ１が用いられるか、すなわち、色特徴による追跡処理の評価値にかかわらず、円検出による評価値が閾値ｔｈ１を上回るときは色特徴を更新するとするか、または、図１０（ａ）に示したように円検出による更新領域検知結果の評価値が色特徴を用いた追跡の評価値を上回ったとき、色特徴の特徴量の更新を行うと判定する（Ｓ８０７）。特徴量の更新を行うと判定された場合、更新領域検知結果の位置・特徴量を用いて追尾結果の位置・特徴量が更新される（Ｓ８０８）。そして、更新された追跡結果位置のＬＣＤ表示、およびカメラ制御が行われる（Ｓ８０９）。その後、ステップＳ８０４の追跡処理に戻り、ステップＳ８０４〜Ｓ８１０で繰り返し処理が行われる。
【０１４１】
この追跡処理方法や類似度算出方法については、色ヒストグラムマッチング方法に限ったものではなく、最小二乗距離に基づく方法や正規化相関に基づく方法などでも構わない。また、探索方法として単純な走査でなくパーティクルフィルタに基づく方法などであったとしても構わない。
【０１４２】
また、本実施の形態では、色特徴を追尾特徴とし、形状特徴を更新領域検知特徴としたが、非剛体であって色変化が少ない物体のように、色の変化に対して安定にとれ、形状が不安定な場合においては、色特徴を、更新領域検知結果特徴とし、形状特徴を追尾特徴としても構わない。なお、本実施の形態では、初期位置として顔検出位置を利用したが、ＡＦの位置を初期位置として利用しても構わない。
【０１４３】
なお、ブロック図（図４など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。例えばメモリ以外の機能ブロックが１チップ化されていてもよい。
【０１４４】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１４５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサを用いて実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１４６】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１４７】
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としてもよい。
【産業上の利用可能性】
【０１４８】
本発明にかかる電子カメラおよび画像処理方法は、物体の見え方が変化するような対象の追跡機能を有し、追跡機能によって実現されるベストショット撮影機能やＡＥ・ＡＦなどのカメラ制御、画像のフレーミングに有用である。また、人物などの対象物を追跡撮影する監視カメラに有用である。
【符号の説明】
【０１４９】
１００    画像処理装置（電子カメラ）
１０１    レンズ
１０２    シャッター
１０３    撮像素子
１０４    ＡＤ変換器
１０５    タイミング発生回路
１０６    ＤＡ変換器
１０７    メモリ制御回路
１０８    システム制御回路
１０９    画像処理回路
１１０    画像表示メモリ
１１１    メモリ
１１２    リサイズ回路
１１３    フラッシュ
１１４    測距制御部
１１５    ズーム制御部
１１６    バリア制御部
１１７    保護部
１１８    メモリ
１１９    表示部
１２０    不揮発性メモリ
１２１    モードダイアル
１２３    シャッタースイッチ
１２４    記録部
１２５    電源制御部
１２６    電源部
１２７    コネクタ
１２８    電源部
１２９    インタフェース
１３０    インタフェース
１３１    コネクタ
１３２    コネクタ
１３３    光学ファインダ
１３４    通信部
１３５    アンテナ
１３６    初期特徴量抽出部
１３７    追跡処理部
１３８    追跡先頭フレーム指定回路
１３９    更新領域検知回路
１４０    更新判定回路
１４１    終了判定回路
１４２    位置補正回路
１４３    登録特徴量更新回路
１４４    追跡結果描画回路
１４５    カメラ制御回路
１４６    顔検出回路
１４７    顔向き認識回路
１４８    画像表示部
１４９    露光制御部
２００    フレーム（ａ）での追尾結果
２０１    フレーム（ｂ）での追尾結果
２０２    フレーム（ｂ）での正解位置
３０１    探索領域
３０２    追跡ウィンドウ
３０３    追跡ウィンドウ領域の色ヒストグラム
４０１    リファレンス画像の色ヒストグラム
４０２    入力画像の色ヒストグラム
５０１    顔検出領域
５０２    リファレンス領域
Ｓ６０１    入力画像ステップ
Ｓ６０２    顔検出ステップ
Ｓ６０３    顔向き認識ステップ
Ｓ６０４    初期登録特徴抽出ステップ
Ｓ６０５    追跡処理ステップ
Ｓ６０６    顔検出ステップ
Ｓ６０７    顔検出判定ステップ
Ｓ６０８    初期登録特徴更新ステップ
Ｓ６０９    追尾枠表示部・カメラ制御ステップ
Ｓ６１０    追跡評価値比較ステップ
Ｓ６１１    追跡終了ステップ
Ｓ６１２    初期登録特徴量更新ステップ
Ｓ８０１    入力画ステップ
Ｓ８０２    顔検出ステップ
Ｓ８０３    初期登録特徴抽出ステップ
Ｓ８０４    追跡処理ステップ
Ｓ８０５    円検出ステップ
Ｓ８０６    追跡終了判定ステップ
Ｓ８０７    特徴量更新判定ステップ
Ｓ８０８    特徴量更新ステップ
Ｓ８０９    追尾枠表示部・カメラ制御ステップ
Ｓ８１０    追跡終了ステップ
９００    部分画像切り出し部
９０１    特徴量評価部１
９０２    特徴量評価部２
９０３    特徴量評価部３
１０００    部分画像
１００１    入力画像
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
連続して撮影する画像の各フレーム内において追尾の対象となる対象物が写っている対象領域を特定して表示する機能を持つ電子カメラであって、
前記対象物の特徴を定量的に示すあらかじめ登録された第一の特徴量を用いて、フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第一の評価値を算出し、算出した前記第一の評価値に基づいて、前記対象物の画像が存在すると推定されるターゲット領域を特定する追跡処理部と、
前記第一の特徴量とは異なる特徴量であり、かつ、前記対象物の特徴を定量的に示す第二の特徴量を用いて、前記フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第二の評価値を算出し、算出した前記第二の評価値に基づいて、前記第一の特徴量を更新するための更新領域を前記フレーム内において特定する更新領域算出部と、
前記追跡処理部において算出された前記第一の評価値と、前記更新領域算出部において算出された前記第二の評価値とのうち少なくとも一つが、あらかじめ定められた条件を満足するか否かを調べることにより、前記第一の特徴量を更新するか否かを判定する更新判定部と、
前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域内において抽出された新たな第一の特徴量により、前記第一の特徴量を更新する登録特徴量更新部と、
前記更新判定部によって前記第一の特徴量を更新しないと判定された場合、前記追跡処理部において特定された前記ターゲット領域を前記対象領域と特定して前記ターゲット領域に関する情報を描画し、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域算出部において特定された前記更新領域を前記対象領域と特定して前記更新領域に関する情報を描画する追跡結果描画部とを備え、
前記追跡処理部は、あらかじめ登録された前記第一の特徴量が更新された場合、更新後の第一の特徴量を用いて、新たなフレーム内の新たなターゲット領域を特定する
電子カメラ。
【請求項２】
前記追跡処理部は、前記第一の特徴量として、対象物の色情報を用いて、前記対象物の画像が存在すると推定されるターゲット領域を特定し、
前記更新領域算出部は、前記第二の特徴量として、対象物の形状情報を用いて前記更新領域を特定する
請求項１記載の電子カメラ。
【請求項３】
前記更新判定部は、前記更新領域算出部において算出された前記第二の評価値が、前記追跡処理部において算出された前記第一の評価値よりも大きいとき、または、前記更新領域算出部において算出された前記第二の評価値があらかじめ定められた第一の閾値より大きいときに前記第一の特徴量を更新すると判定する
請求項１記載の電子カメラ。
【請求項４】
前記更新判定部は、前記対象物の画像の画素ごとの平均彩度が高いほど前記第一の閾値に大きな値を設定し、前記対象の平均彩度が低いほど前記第一の閾値に小さな値を設定する
請求項３記載の電子カメラ。
【請求項５】
前記更新判定部は、さらに、前記追跡処理部において特定された前記ターゲット領域と前記更新領域算出部において特定された前記更新領域との距離があらかじめ定められた第二の閾値以上になったときに更新すると判定する
請求項１記載の電子カメラ。
【請求項６】
前記電子カメラは、さらに、
前記対象物の追跡が継続不可能か否かを判定する終了判定部を備え、
前記終了判定部は、前記第一の評価値と前記第二の評価値との両方が、あらかじめ定められた第三の閾値より小さいときに前記対象の追跡が継続不可能と判定する
請求項１記載の電子カメラ。
【請求項７】
前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、ターゲット領域および更新領域の描画を終了する
請求項６記載の電子カメラ。
【請求項８】
前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、追跡不能となったことをユーザに提示する画像を描画する
請求項６記載の電子カメラ。
【請求項９】
前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、ユーザに対して再度初期位置設定を促す画像を描画する
請求項６記載の電子カメラ。
【請求項１０】
前記追跡結果描画部は、前記対象の追跡が継続不可能と判定されたときに、新たな顔検出により初期位置設定を行う
請求項６記載の電子カメラ。
【請求項１１】
前記電子カメラは、さらに、
各フレーム内の画像内において顔を検出する顔検出回路と、
前記顔検出回路によって検出された顔の向きを認識する顔向き認識回路とを備え、
前記更新領域算出部は、前記顔向き認識回路によって前記対象物である顔が横を向いていると認識されたとき、真横を向いている顔の領域である更新基準領域を前記更新領域算出部において算出した後、顔部分と髪の毛部分とのあらかじめ指定された位置関係に基づき、前記更新基準領域内における前記更新領域を算出する
請求項１記載の電子カメラ。
【請求項１２】
前記電子カメラは、さらに、前記追跡処理部において特定されたターゲット領域、および、前記更新領域算出部において特定された前記更新領域のいずれかに基づいて、前記電子カメラの動作を調整するためのカメラパラメータを変更するカメラ制御部を有する
請求項１記載の電子カメラ。
【請求項１３】
前記カメラ制御部は、前記カメラパラメータに基づいて、前記電子カメラの筐体および雲台の少なくとも一方の動作を制御し、特定された前記対象物の全体、または一部をフレーム内の所定の位置、およびサイズに合わせるように制御を行う
請求項１２記載の電子カメラ。
【請求項１４】
前記電子カメラは、さらに、前記ターゲット領域の初期位置を、ユーザからの入力に基づいて、または、あらかじめ定められた方法を用いて決定するターゲット領域初期設定部を有する
請求項１記載の電子カメラ。
【請求項１５】
前記ターゲット領域初期設定部は、人物、もしくは、顔のいずれか一方の検出位置を初期位置と決定する
請求項１４記載の電子カメラ。
【請求項１６】
前記ターゲット領域初期設定部は、ＡＦ（オートフォーカス）機能により焦点を合わせた場所を初期位置と決定する
請求項１４記載の電子カメラ。
【請求項１７】
連続して撮影する画像の各フレーム内において追尾の対象となる対象物が写っている対象領域を特定して表示する機能を持つ電子カメラにおける画像処理方法であって、
追跡処理部が、前記対象物の特徴を定量的に示すあらかじめ登録された第一の特徴量を用いて、フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第一の評価値を算出し、算出した前記第一の評価値に基づいて、前記対象物の画像が存在すると推定されるターゲット領域を特定し、
更新領域算出部が、前記第一の特徴量とは異なる特徴量であり、かつ、前記対象物の特徴を定量的に示す第二の特徴量を用いて、前記フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第二の評価値を算出し、算出した前記第二の評価値に基づいて、前記第一の特徴量を更新するための更新領域を前記フレーム内において特定し、
更新判定部が、前記追跡処理部において算出された前記第一の評価値と、前記更新領域算出部において算出された前記第二の評価値とのうち少なくとも一つが、あらかじめ定められた条件を満足するか否かを調べることにより、前記第一の特徴量を更新するか否かを判定し、
登録特徴量更新部が、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域内において抽出された新たな第一の特徴量により、前記第一の特徴量を更新し、
追跡結果描画部が、前記更新判定部によって前記第一の特徴量を更新しないと判定された場合、前記追跡処理部において特定された前記ターゲット領域を前記対象領域と特定して前記ターゲット領域に関する情報を描画し、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域算出部において特定された前記更新領域を前記対象領域と特定して前記更新領域に関する情報を描画し、
前記追跡処理部は、あらかじめ登録された前記第一の特徴量が更新された場合、更新後の第一の特徴量を用いて、新たなフレーム内の新たなターゲット領域を特定する
画像処理方法。
【請求項１８】
連続して撮影する画像の各フレーム内において追尾の対象となる対象物が写っている対象領域を特定して表示する機能を持つ集積回路であって、
前記対象物の特徴を定量的に示すあらかじめ登録された第一の特徴量を用いて、フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第一の評価値を算出し、算出した前記第一の評価値に基づいて、前記対象物の画像が存在すると推定されるターゲット領域を特定する追跡処理部と、
前記第一の特徴量とは異なる特徴量であり、かつ、前記対象物の特徴を定量的に示す第二の特徴量を用いて、前記フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第二の評価値を算出し、算出した前記第二の評価値に基づいて、前記第一の特徴量を更新するための更新領域を前記フレーム内において特定する更新領域算出部と、
前記追跡処理部において算出された前記第一の評価値と、前記更新領域算出部において算出された前記第二の評価値とのうち少なくとも一つが、あらかじめ定められた条件を満足するか否かを調べることにより、前記第一の特徴量を更新するか否かを判定する更新判定部と、
前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域内において抽出された新たな第一の特徴量により、前記第一の特徴量を更新する登録特徴量更新部と、
前記更新判定部によって前記第一の特徴量を更新しないと判定された場合、前記追跡処理部において特定された前記ターゲット領域を前記対象領域と特定して前記ターゲット領域に関する情報を描画し、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域算出部において特定された前記更新領域を前記対象領域と特定して前記更新領域に関する情報を描画する追跡結果描画部とを備え、
前記追跡処理部は、あらかじめ登録された前記第一の特徴量が更新された場合、更新後の第一の特徴量を用いて、新たなフレーム内の新たなターゲット領域を特定する
集積回路。
【請求項１９】
連続して撮影する画像の各フレーム内において追尾の対象となる対象物が写っている対象領域を特定して表示する機能を持つ画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
追跡処理部が、前記対象物の特徴を定量的に示すあらかじめ登録された第一の特徴量を用いて、フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第一の評価値を算出し、算出した前記第一の評価値に基づいて、前記対象物の画像が存在すると推定されるターゲット領域を特定し、
更新領域算出部が、前記第一の特徴量とは異なる特徴量であり、かつ、前記対象物の特徴を定量的に示す第二の特徴量を用いて、前記フレーム内のあらかじめ定められた範囲内を探索し、前記探索結果として得られた領域内の画像に対して前記対象物の画像との一致度を示す第二の評価値を算出し、算出した前記第二の評価値に基づいて、前記第一の特徴量を更新するための更新領域を前記フレーム内において特定し、
更新判定部が、前記追跡処理部において算出された前記第一の評価値と、前記更新領域算出部において算出された前記第二の評価値とのうち少なくとも一つが、あらかじめ定められた条件を満足するか否かを調べることにより、前記第一の特徴量を更新するか否かを判定し、
登録特徴量更新部が、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域内において抽出された新たな第一の特徴量により、前記第一の特徴量を更新し、
追跡結果描画部が、前記更新判定部によって前記第一の特徴量を更新しないと判定された場合、前記追跡処理部において特定された前記ターゲット領域を前記対象領域と特定して前記ターゲット領域に関する情報を描画し、前記更新判定部によって前記第一の特徴量を更新すると判定された場合、前記更新領域算出部において特定された前記更新領域を前記対象領域と特定して前記更新領域に関する情報を描画し、
前記追跡処理部は、あらかじめ登録された前記第一の特徴量が更新された場合、更新後の第一の特徴量を用いて、新たなフレーム内の新たなターゲット領域を特定する
プログラムを記録した記録媒体。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009098894.tif 000022
【図２】
2009098894.tif 000023
【図３】
2009098894.tif 000024
【図４】
2009098894.tif 000025
【図５】
2009098894.tif 000026
【図６】
2009098894.tif 000027
【図７】
2009098894.tif 000028
【図８】
2009098894.tif 000029
【図９】
2009098894.tif 000030
【図１０】
2009098894.tif 000031
【図１１】
2009098894.tif 000032
【国際調査報告】
2009098894.tif 000033
2009098894.tif 000034