(57)【要約】      （修正有）【課題】変形等に適応してテンプレートの追加が可能な画像領域追跡装置を提供。【解決手段】画像領域追跡システム１は、最適テンプレート選択部５とテンプレート追加部７とテンプレート削除部９を持つことが特徴であり、画像入力部２と、テンプレート追跡部３と、前回パラメタ記録部６と、テンプレート追加部７と、テンプレート記録部８と、テンプレート削除部９から構成され、（１）テンプレート、（２）そのテンプレートのパラメタ、（３）そのテンプレートの世代数の情報、を組にした情報を記録し、時系列の画像中における今回の画像に前記記録されたテンプレートを交換しながら、かつ、複数のパラメタを変化させながら当てはめ、今回の画像と各テンプレートとの類似度を計算し、閾値と各テンプレートの類似度をそれぞれ比較し、類似度により最適パラメータを抽出したり、テンプレートを生成して追加する。【選択図】      図１
2007334810.tif 000002
【特許請求の範囲】
【請求項１】
画像中からの対象物体に対応する対象領域を検出するために使用されるテンプレートの追加を行う画像領域追跡装置であって、
時系列の画像が入力する画像入力手段と、
（１）テンプレート、（２）そのテンプレートの位置の情報を含むパラメタ、及び、（３）そのテンプレートの世代数の情報、を組にした情報が複数のテンプレートに関してそれぞれ記録されているテンプレート記録手段と、
前記時系列の画像中における今回の画像に前記テンプレート記録手段に記録されたテンプレートを交換しながら、かつ、複数のパラメタを変化させながら当てはめ、前記今回の画像と前記各テンプレートとの類似度を計算する類似度計算手段と、
少なくとも一つの閾値と前記各テンプレートの類似度をそれぞれ比較する比較手段と、
前記類似度が前記閾値より高い場合には、前記類似度が所定の閾値より高いテンプレートを最適テンプレートとして抽出し、かつ、その対応するパラメタを最適パラメタとして抽出するテンプレート追跡手段と、
前記類似度が前記閾値より低い場合で、かつ、前記今回の画像より一つ前の前回の画像において類似度が前記閾値より高い場合には、前記前回の画像と前記前回の画像に対応する最適テンプレートと最適パラメタに基づいてテンプレートを生成するテンプレート生成手段と、
前記生成されたテンプレートの世代数を前記最適テンプレートの世代数よりも後の世代の値に設定して、前記生成されたテンプレートを前記テンプレート記録手段に追加して記録するテンプレート追加手段と、
を備えた
ことを特徴とする画像領域追跡装置。
【請求項２】
画像中からの対象物体に対応する対象領域を検出するために使用されるテンプレートの追加を行う画像領域追跡装置であって、
時系列の画像が入力する画像入力手段と、
（１）テンプレート、（２）そのテンプレートの位置の情報を含むパラメタ、及び、（３）そのテンプレートの世代数の情報、を組にした情報が複数のテンプレートに関してそれぞれ記録されているテンプレート記録手段と、
前記時系列の画像中における今回の画像に前記テンプレート記録手段に記録されたテンプレートを交換しながら、かつ、複数のパラメタを変化させながら当てはめ、前記今回の画像と前記各テンプレートとの類似度を計算する類似度計算手段と、
第１の閾値Ｔ１と第２の閾値Ｔ２（Ｔ１＞Ｔ２）の２種類の閾値と前記各テンプレートの類似度とを比較する比較手段と、
前記類似度が前記第２の閾値より高い場合には、前記第２の閾値より高いテンプレートを最適テンプレートとして抽出し、かつ、その対応するパラメタを最適パラメタとして抽出するテンプレート追跡手段と、
前記類似度が前記第１の閾値と前記第２の閾値の間にある場合には、前記今回の画像と前記今回の画像に対応する最適テンプレートと最適パラメタに基づいてテンプレートを生成するテンプレート生成手段と、
前記生成されたテンプレートの世代数を前記最適テンプレートの世代数よりも後の世代の値に設定して、前記生成されたテンプレートを前記テンプレート記録手段に追加して記録するテンプレート追加手段と、
を備えた
ことを特徴とする画像領域追跡装置。
【請求項３】
前記テンプレート記録手段に記録されたテンプレートについて、少なくとも前記世代数が増加するほど低くなる評価値を求め、前記評価値が低いテンプレートを前記テンプレート記録手段から削除するテンプレート削除手段を備えた
ことを特徴とする請求項１または２記載の画像領域追跡装置。
【請求項４】
前記評価値は、前記世代数に加えて、前記テンプレートが最適テンプレートして抽出された抽出回数、前記テンプレートが最適テンプレートして抽出された最終抽出時刻に基づいて計算する
ことを特徴とする請求項３記載の画像領域追跡装置。
【請求項５】
予め用意された辞書を用いて、前記今回の画像から対象領域を検出する対象検出手段と、
前記検出された対象領域からテンプレートを生成し、生成されたテンプレートの世代数を初期値に設定して前記テンプレート記録手段に記録する初代テンプレート生成手段を備えた
ことを特徴とする請求項１または２記載の画像領域追跡装置。
【請求項６】
前記対象物体が、人間の顔であり、
前記テンプレート記録手段は、前記テンプレートして、前記人間の顔領域の検出に用いる複数の顔テンプレートと、目、鼻孔、口などの顔特徴点の検出に用いる特徴点テンプレートとを対応させて記録し、
前記今回の画像における予め設定された探索領域内で前記複数の顔テンプレートを交換しながら、かつ、複数のパラメタを変化させながら顔領域を探索し、前記顔テンプレートとの類似度が所定の閾値より大きい位置を顔領域の候補とし、前記顔領域の候補が存在する複数の顔テンプレートを顔テンプレート候補とする顔領域候補探索手段と、
前記複数の顔テンプレート候補に対応する特徴点テンプレートを用いて前記顔領域候補における顔特徴点を探索し、前記特徴点テンプレートとの類似度が所定の閾値より大きい複数の位置を顔特徴点の候補とする顔特徴点候補探索手段と、
前記複数の顔特徴点の候補に対応する複数の特徴点テンプレートの中で世代数が最も小さい特徴点テンプレートにおける特徴点を顔特徴点とする顔特徴点決定手段と、
を備えた
ことを特徴とする請求項１または２記載の画像領域追跡装置。
【請求項７】
画像中からの対象物体に対応する対象領域を検出するために使用されるテンプレートの追加を行う画像領域追跡方法であって、
時系列の画像が入力し、
（１）テンプレート、（２）そのテンプレートの位置の情報を含むパラメタ、及び、（３）そのテンプレートの世代数の情報、を組にした情報が複数のテンプレートに関してそれぞれ記録し、
前記時系列の画像中における今回の画像に前記テンプレート記録手段に記録されたテンプレートを交換しながら、かつ、複数のパラメタを変化させながら当てはめ、前記今回の画像と前記各テンプレートとの類似度を計算し、
少なくとも一つの閾値と前記各テンプレートの類似度をそれぞれ比較し、
前記類似度が前記閾値より高い場合には、前記類似度が所定の閾値より高いテンプレートを最適テンプレートとして抽出し、かつ、その対応するパラメタを最適パラメタとして抽出し、
前記類似度が前記閾値より低い場合で、かつ、前記今回の画像より一つ前の前回の画像において類似度が前記閾値より高い場合には、前記前回の画像と前記前回の画像に対応する最適テンプレートと最適パラメタに基づいてテンプレートを生成し、
前記生成されたテンプレートの世代数を前記最適テンプレートの世代数よりも後の世代の値に設定して、前記生成されたテンプレートを追加して記録する
ことを特徴とする画像領域追跡方法。
【請求項８】
画像中からの対象物体に対応する対象領域を検出するために使用されるテンプレートの追加を行う画像領域追跡方法であって、
時系列の画像が入力し、
（１）テンプレート、（２）そのテンプレートの位置の情報を含むパラメタ、及び、（３）そのテンプレートの世代数の情報、を組にした情報が複数のテンプレートに関してそれぞれ記録し、
前記時系列の画像中における今回の画像に前記テンプレート記録手段に記録されたテンプレートを交換しながら、かつ、複数のパラメタを変化させながら当てはめ、前記今回の画像と前記各テンプレートとの類似度を計算し、
第１の閾値Ｔ１と第２の閾値Ｔ２（Ｔ１＞Ｔ２）の２種類の閾値と前記各テンプレートの類似度とを比較し、
前記類似度が前記第２の閾値より高い場合には、前記第２の閾値より高いテンプレートを最適テンプレートとして抽出し、かつ、その対応するパラメタを最適パラメタとして抽出し、
前記類似度が前記第１の閾値と前記第２の閾値の間にある場合には、前記今回の画像と前記今回の画像に対応する最適テンプレートと最適パラメタに基づいてテンプレートを生成し、
前記生成されたテンプレートの世代数を前記最適テンプレートの世代数よりも後の世代の値に設定して、前記生成されたテンプレートを前記テンプレート記録手段に追加して記録する
ことを特徴とする画像領域追跡方法。
【請求項９】
前記記録されたテンプレートについて、少なくとも前記世代数が増加するほど低くなる評価値を求め、前記評価値が低いテンプレートを記録から削除する
ことを特徴とする請求項７または８記載の画像領域追跡方法。
【請求項１０】
前記評価値は、前記世代数に加えて、前記テンプレートが最適テンプレートして抽出された抽出回数、前記テンプレートが最適テンプレートして抽出された最終抽出時刻に基づいて計算する
ことを特徴とする請求項９記載の画像領域追跡方法。
【請求項１１】
予め用意された辞書を用いて、前記今回の画像から対象領域を検出し、
前記検出された対象領域からテンプレートを生成し、生成されたテンプレートの世代数を初期値に設定して初代テンプレートとして記録する
ことを特徴とする請求項７または８記載の画像領域追跡方法。
【請求項１２】
前記対象物体が、人間の顔であり、
前記記録されたテンプレートして、前記人間の顔領域の検出に用いる複数の顔テンプレートと、目、鼻孔、口などの顔特徴点の検出に用いる特徴点テンプレートとを対応させて記録し、
前記今回の画像における予め設定された探索領域内で前記複数の顔テンプレートを交換しながら、かつ、複数のパラメタを変化させながら顔領域を探索し、前記顔テンプレートとの類似度が所定の閾値より大きい位置を顔領域の候補とし、前記顔領域の候補が存在する複数の顔テンプレートを顔テンプレート候補とし、
前記複数の顔テンプレート候補に対応する特徴点テンプレートを用いて前記顔領域候補における顔特徴点を探索し、前記特徴点テンプレートとの類似度が所定の閾値より大きい複数の位置を顔特徴点の候補とし、
前記複数の顔特徴点の候補に対応する複数の特徴点テンプレートの中で世代数が最も小さい特徴点テンプレートにおける特徴点を顔特徴点とする
ことを特徴とする請求項７または８記載の画像領域追跡方法。
【請求項１３】
画像中からの対象物体に対応する対象領域を検出するために使用されるテンプレートの追加をコンピュータによって行う画像領域追跡プログラムであって、
時系列の画像が入力する画像入力機能と、
（１）テンプレート、（２）そのテンプレートの位置の情報を含むパラメタ、及び、（３）そのテンプレートの世代数の情報、を組にした情報が複数のテンプレートに関してそれぞれ記録されているテンプレート記録機能と、
前記時系列の画像中における今回の画像に前記テンプレート記録機能に記録されたテンプレートを交換しながら、かつ、複数のパラメタを変化させながら当てはめ、前記今回の画像と前記各テンプレートとの類似度を計算する類似度計算機能と、
少なくとも一つの閾値と前記各テンプレートの類似度をそれぞれ比較する比較機能と、
前記類似度が前記閾値より高い場合には、前記類似度が所定の閾値より高いテンプレートを最適テンプレートとして抽出し、かつ、その対応するパラメタを最適パラメタとして抽出するテンプレート追跡機能と、
前記類似度が前記閾値より低い場合で、かつ、前記今回の画像より一つ前の前回の画像において類似度が前記閾値より高い場合には、前記前回の画像と前記前回の画像に対応する最適テンプレートと最適パラメタに基づいてテンプレートを生成するテンプレート生成機能と、
前記生成されたテンプレートの世代数を前記最適テンプレートの世代数よりも後の世代の値に設定して、前記生成されたテンプレートを前記テンプレート記録機能に追加して記録するテンプレート追加機能と、
を実現する
ことを特徴とする画像領域追跡プログラム。
【請求項１４】
画像中からの対象物体に対応する対象領域を検出するために使用されるテンプレートの追加をコンピュータによって行う画像領域追跡プログラムであって、
時系列の画像が入力する画像入力機能と、
（１）テンプレート、（２）そのテンプレートの位置の情報を含むパラメタ、及び、（３）そのテンプレートの世代数の情報、を組にした情報が複数のテンプレートに関してそれぞれ記録されているテンプレート記録機能と、
前記時系列の画像中における今回の画像に前記テンプレート記録機能に記録されたテンプレートを交換しながら、かつ、複数のパラメタを変化させながら当てはめ、前記今回の画像と前記各テンプレートとの類似度を計算する類似度計算機能と、
第１の閾値Ｔ１と第２の閾値Ｔ２（Ｔ１＞Ｔ２）の２種類の閾値と前記各テンプレートの類似度とを比較する比較機能と、
前記類似度が前記第２の閾値より高い場合には、前記第２の閾値より高いテンプレートを最適テンプレートとして抽出し、かつ、その対応するパラメタを最適パラメタとして抽出するテンプレート追跡機能と、
前記類似度が前記第１の閾値と前記第２の閾値の間にある場合には、前記今回の画像と前記今回の画像に対応する最適テンプレートと最適パラメタに基づいてテンプレートを生成するテンプレート生成機能と、
前記生成されたテンプレートの世代数を前記最適テンプレートの世代数よりも後の世代の値に設定して、前記生成されたテンプレートを前記テンプレート記録機能に追加して記録するテンプレート追加機能と、
を実現する
ことを特徴とする画像領域追跡プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラから入力された対象物体の画像を処理して、対象領域を追跡し、対象物体の姿勢や運動状況を認識する画像領域追跡装置及びその方法に関する。
【背景技術】
【０００２】
画像中の特定対象領域を追跡する技術には、以下のようなものがある。
【０００３】
特許文献１は、複数のテンプレートを用いて対象物体を追跡する際に、類似度が大きく、近傍にテンプレートがない場合にテンプレートを生成し、また、同一方向に移動するテンプレートがある場合に消滅フラグを立ててテンプレートを削除するという手法で画像中の対象物体を追跡している。
【０００４】
特許文献２は、上下左右などの顔向き分類に対応させて顔のテンプレートを生成し蓄積する処理を行っている。したがって、顔領域の追跡の際にも、顔がいったん横を向いた後に正面向きに戻ってきたときにはいつも再現性のある追跡結果を得ることができる。
【特許文献１】特許第３５７６７３４号公報
【特許文献２】特開２００３−３４６１５８公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、同一方向に動く複数のテンプレートの一方を消滅させる処理を行わせるため、時間が経つと最初からあった古いテンプレートが全て消滅してしまうことがあった。これでは、人物の顔を正面向きから出発して追跡した際に、顔が横を向いてまた正面向きに戻ってきたときに、最初の正面向きの顔のテンプレートが全て消滅してしまい、追跡精度が低下してしまうおそれがあった。
【０００６】
また、特許文献２の技術では、同じ顔向き分類内の表情変化や照明変化にも適応して顔領域を追跡するようにはテンプレートを生成することができなかった。
【０００７】
そこで本発明は、上記事情を考慮してなされたもので、その目的は、画像中の対象物体が元の状態に戻ってきた場合に、再現性のある追跡結果を得ることができ、かつ、限られた個数の使用可能テンプレートの分類方法を予め設定せずに、姿勢変化、変形、照明変化に適応してテンプレートを追加することの可能な、頑健で高精度の画像領域追跡装置及びその方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、画像中からの対象物体に対応する対象領域を検出するために使用されるテンプレートの追加を行う画像領域追跡装置であって、時系列の画像が入力する画像入力手段と、（１）テンプレート、（２）そのテンプレートの位置の情報を含むパラメタ、及び、（３）そのテンプレートの世代数の情報、を組にした情報が複数のテンプレートに関してそれぞれ記録されているテンプレート記録手段と、前記時系列の画像中における今回の画像に前記テンプレート記録手段に記録されたテンプレートを交換しながら、かつ、複数のパラメタを変化させながら当てはめ、前記今回の画像と前記各テンプレートとの類似度を計算する類似度計算手段と、少なくとも一つの閾値と前記各テンプレートの類似度をそれぞれ比較する比較手段と、前記類似度が前記閾値より高い場合には、前記類似度が所定の閾値より高いテンプレートを最適テンプレートとして抽出し、かつ、その対応するパラメタを最適パラメタとして抽出するテンプレート追跡手段と、前記類似度が前記閾値より低い場合で、かつ、前記今回の画像より一つ前の前回の画像において類似度が前記閾値より高い場合には、前記前回の画像と前記前回の画像に対応する最適テンプレートと最適パラメタに基づいてテンプレートを生成するテンプレート生成手段と、前記生成されたテンプレートの世代数を前記最適テンプレートの世代数よりも後の世代の値に設定して、前記生成されたテンプレートを前記テンプレート記録手段に追加して記録するテンプレート追加手段と、を備えたことを特徴とする画像領域追跡装置である。
【０００９】
また、本発明は、画像中からの対象物体に対応する対象領域を検出するために使用されるテンプレートの追加を行う画像領域追跡装置であって、時系列の画像が入力する画像入力手段と、（１）テンプレート、（２）そのテンプレートの位置の情報を含むパラメタ、及び、（３）そのテンプレートの世代数の情報、を組にした情報が複数のテンプレートに関してそれぞれ記録されているテンプレート記録手段と、前記時系列の画像中における今回の画像に前記テンプレート記録手段に記録されたテンプレートを交換しながら、かつ、複数のパラメタを変化させながら当てはめ、前記今回の画像と前記各テンプレートとの類似度を計算する類似度計算手段と、第１の閾値Ｔ１と第２の閾値Ｔ２（Ｔ１＞Ｔ２）の２種類の閾値と前記各テンプレートの類似度とを比較する比較手段と、前記類似度が前記第２の閾値より高い場合には、前記第２の閾値より高いテンプレートを最適テンプレートとして抽出し、かつ、その対応するパラメタを最適パラメタとして抽出するテンプレート追跡手段と、前記類似度が前記第１の閾値と前記第２の閾値の間にある場合には、前記今回の画像と前記今回の画像に対応する最適テンプレートと最適パラメタに基づいてテンプレートを生成するテンプレート生成手段と、前記生成されたテンプレートの世代数を前記最適テンプレートの世代数よりも後の世代の値に設定して、前記生成されたテンプレートを前記テンプレート記録手段に追加して記録するテンプレート追加手段と、を備えたことを特徴とする画像領域追跡装置である。
【発明の効果】
【００１０】
本発明によれば、対象物体の姿勢変化、変形、照明変化に適応してテンプレートを追加することが可能である。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら本発明の実施形態を説明する。
【００１２】
（第１の実施形態）
以下、第１の実施形態の画像領域追跡システム１について図１から図３に基づいて説明する。
【００１３】
（１）画像領域追跡システム１の目的
画像領域追跡システム１は対象物体を写した画像の時系列データ（動画像、映像）を入力すると、テンプレートを用いて画像中の対象物体を検出して追跡し、追跡しながら適切にテンプレートを生成し追加し削除することで、対象物体の見かけの見え方を表現する複数のテンプレートを取得する。
【００１４】
「テンプレート」とは、対象物体を検出するための画像情報である。
【００１５】
「パラメタ」とは、画像中の位置などの情報である。
【００１６】
「世代数」とは、そのテンプレートの生成の原因となったテンプレートとの親子関係を示す世代数であり、後の世代ほど世代数が増加する。一番上の世代、すなわち、初代を例えば０とする。
【００１７】
「今回の画像」とは、時系列画像中における現在処理中の画像という。
【００１８】
「前回の画像」とは、時系列画像中における現在処理中の画像より一つ前の時点の画像という。
【００１９】
（２）画像領域追跡システム１の構成
図１は、本実施形態に係る画像領域追跡システム１の一例を示す構成図である。図２は同じく画像領域追跡システム１の構成要素であるテンプレート記録部８の一例を示す構成図である。
【００２０】
画像領域追跡システム１は、システム内部に、最適テンプレート選択部５とテンプレート追加部７とテンプレート削除部９を持つことが特徴であり、画像入力部２と、テンプレート追跡部３と、前回パラメタ記録部６と、テンプレート追加部７と、テンプレート記録部８と、テンプレート削除部９から構成されている。
【００２１】
画像領域追跡システム１の各部２〜９の機能は、コンピュータに記憶されたプログラムが実行されることによって実現されるものであっても構わない。
【００２２】
画像入力部２は、対象物体を写した画像の時系列データ（動画像、映像）を受け取り、テンプレート追跡部３に画像を送る。
【００２３】
テンプレート追跡部３は、パラメタ最適化部４と最適テンプレート選択部５から成る。画像入力部２から画像を受け取り、前回パラメタ記録部６から前回の最適テンプレート情報を受け取り、テンプレート記録部８からテンプレート情報を受け取り、今回の画像に対する追跡処理を行い、処理結果を前回パラメタ記録部６とテンプレート追加部７とシステム外部に出力する。
【００２４】
パラメタ最適化部４は、画像入力部２から画像を受け取り、前回パラメタ記録部６から前回の最適テンプレート情報を受け取り、テンプレート記録部８からテンプレート情報を受け取り、今回の画像に対する追跡処理を行い、追跡処理に関するパラメタを最適化し、処理結果を出力する。
【００２５】
最適テンプレート選択部５は、パラメタ最適化部４から情報を受け取り、複数のテンプレートの中から最適テンプレートを選択し、選択結果を前回パラメタ記録部６とテンプレート追加部７へ送る。
【００２６】
前回パラメタ記録部６は、テンプレート追跡部３から追跡処理結果を受け取り記録し、要請に応じてテンプレート追加部７へ、前回追跡処理結果を送る。
【００２７】
テンプレート追加部７は、テンプレート追跡部３から最新の追跡処理結果を受け取り、前回パラメタ記録部６から前回の最適テンプレートに関する情報を受け取り、テンプレート記録部８から記録済みのテンプレート情報を受け取り、適切なタイミングで新たなテンプレートを生成し、生成されたテンプレートをテンプレート記録部８に追加記録する。
【００２８】
テンプレート記録部８は、テンプレート追加部７から新規生成されたテンプレートとテンプレート情報を受け取ってそれを追加記録し、テンプレート削除部９からの要請に応じて記録されている特定のテンプレートを削除し、テンプレート追跡部３に対して記録されているテンプレートとテンプレート情報を送る。テンプレート記録部８の構成要素は図２で示されるように、複数のテンプレート１７とそれらに対応する複数のテンプレート情報１８である。テンプレート情報１８は、各テンプレートの世代数、抽出回数、最終抽出時刻を含む。
【００２９】
テンプレート削除部９は、テンプレート記録部８に記録されたテンプレートを監視し、テンプレート個数が所定の上限を超えたら、テンプレートの世代数に基づく評価値を計算し、最も評価値が小さいテンプレートを削除する。このときこれに加えて、評価値が評価閾値より小さいテンプレートを全て削除してもよい。この評価値としては、世代数、そのテンプレートの抽出回数または抽出頻度、そのテンプレートの最終抽出時刻によって求める。すなわち、世代数が増えれば増えるほど対象物体との類似度が低くなるため、世代数の増加と共に評価値が反比例して低下するようにする。また、抽出回数と抽出頻度が高い程、そのテンプレートは最適テンプレートとしての価値があるため、抽出回数と抽出頻度が高い程評価値は高くなるようにする。また、そのテンプレートの最終抽出時刻が新しいほど評価値を大きくなるようにする。なお、世代数のみから評価値を計算してもよい。
【００３０】
（３）画像領域追跡手順
図３は、画像領域追跡手順の一例を示す流れ図である。処理手順は以下のようになる。
【００３１】
最初に、ステップ（ＳＴ）１では、入力された画像時系列データの１フレームを画像入力部２に入力する。既に入力したデータがある場合はその次の１フレーム分のデータを入力する。
【００３２】
次に、ステップ２では、テンプレート追跡部３が、記録されているテンプレートを用いて画像中にテンプレートと類似度の大きい領域がないかどうか、テンプレートを交換しながら、かつ、パラメタを変化させながら探索する。探索はテンプレートを画像中に当てはめ、すなわちテンプレートマッチングをとりながら行う。探索の結果、類似度が所定の閾値を満たすか、または、最大類似度を与える最適テンプレートと最適パラメタを抽出し、抽出結果を出力するとともに、前回パラメタ記録部６とテンプレート追加部７へ送る。
【００３３】
次に、ステップ３では、テンプレート追加部７が、前回パラメタ記録部６から受け取った情報とテンプレート追跡部３から受け取った情報を元に、今回類似度＜閾値、かつ、前回類似度＞＝閾値であるかどうかを判定し、成立するならばステップ４に進み、成立しないならばステップ７に進む。
【００３４】
なお、この判定基準は、前回の最適パラメタを用いる方法であるが、２つの閾値を用いて、今回類似度が２つの閾値の間になるという条件で判定することも可能である。
【００３５】
次に、ステップ４では、テンプレート追加部７が、前回の最適テンプレートと最適パラメタに基づいて画像から対象領域を切り出して新たにテンプレートを生成し、世代数などのテンプレート情報を設定してテンプレート記録部８にテンプレートを追加し、テンプレート個数を加算する。
【００３６】
次に、ステップ５では、テンプレート削除部９が、テンプレート記録部８から情報を受け取り、テンプレート個数が上限を超えていないかどうか確認する。ステップ６において、超えていた場合は世代数に基づいて評価値を計算し評価値の最も小さいテンプレートをテンプレート記録部８から削除する。
【００３７】
次に、ステップ７では、処理を終了するかどうか判断し、終了しない場合はステップ１に戻り、終了する場合は画像領域追跡処理を終了する。
【００３８】
（第２の実施形態）
以下、第２の実施形態の画像領域追跡システム１０１について図４と図５に基づいて説明する。
【００３９】
（１）画像領域追跡システム１０１の目的
画像領域追跡システム１０１は対象物体を写した画像の時系列データ（動画像、映像）を入力すると、テンプレート記録部１０８にテンプレートが記録されている場合はテンプレートを用いて画像中の顔領域を検出して追跡し、追跡しながら適切にテンプレートを生成し追加し削除することで、対象物体の見かけの見え方を表現する複数のテンプレートを取得する。
【００４０】
テンプレートがまだ生成されておらずテンプレート記録部１０８にまだテンプレートが記録されていない場合は、辞書を用いて対象物体の検出を行い、検出された画像中の対象物体領域からテンプレートを生成してその後の検出または追跡処理に利用する。
【００４１】
（２）画像領域追跡システム１０１の構成
図４は、本実施形態に係る画像領域追跡システム１０１の一例を示す構成図である。
【００４２】
画像領域追跡システム１０１は、システム内部に、最適テンプレート選択部１０５とテンプレート追加部１０７とテンプレート削除部１０９と初代テンプレート生成部１１１を持つことが特徴であり、画像入力部１０２と、テンプレート追跡部１０３と、前回パラメタ記録部１０６と、テンプレート追加部１０７と、テンプレート記録部１０８と、テンプレート削除部１０９と、対象検出部１１０と、初代テンプレート生成部１１１と、出力部１１２から構成されている。
【００４３】
画像領域追跡システム１０１の動作のうち、上述した画像領域追跡システム１と同様な処理については説明を省略する。
【００４４】
画像入力部１０２は、対象物体を写した画像の時系列データ（動画像、映像）を受け取り、テンプレート追跡部１０３と対象検出部１１０に画像を送る。
【００４５】
テンプレート追跡部１０３は、パラメタ最適化部１０４と最適テンプレート選択部１０５から成り、画像入力部１０２から画像を受け取り、前回パラメタ記録部１０６から前回の最適テンプレート情報を受け取り、テンプレート記録部１０８からテンプレート情報を受け取り、今回の画像に対する追跡処理を行い、処理結果を前回パラメタ記録部１０６とテンプレート追加部１０７へ送るとともに、出力部１１２へ出力する。但し、テンプレート記録部１０８にテンプレートが１つも記録されていないときは、追跡処理を行わない。
【００４６】
テンプレート記録部１０８は、テンプレート追加部１０７から新規生成されたテンプレートとテンプレート情報を受け取ってそれを追加記録し、テンプレート削除部１０９からの要請に応じて記録されている特定のテンプレートを削除し、テンプレート追跡部１０３に対して記録されているテンプレートとテンプレート情報を送る。さらに、初代テンプレート生成部１１１からもテンプレートとテンプレート情報を受け取り記録する。
【００４７】
対象検出部１１０は、画像入力部１０２から画像を受け取り、予め設定された辞書を用いて画像中の対象物体領域を検出し、検出結果を初代テンプレート生成部１１１と出力部１１２へ送る。
【００４８】
初代テンプレート生成部１１１は、対象物体検出の結果を対象検出部１１０から受け取り、類似度が検出閾値を満たしているかどうか判定し、満たしている場合には画像中の検出位置からテンプレートを生成し、テンプレート記録部１０８に記録し、追跡モードに設定し、テンプレート個数を加算する。
【００４９】
出力部１１２は、テンプレート追跡部１０３追跡結果を受け取り、対象検出部１１０から検出結果を受け取り、システム外部へ出力する。
【００５０】
（３）画像領域追跡手順
図５は、画像領域追跡手順の一例を示す流れ図である。処理手順は以下のようになる。図３で説明した画像領域追跡手順と同様な処理に関しては説明を省略する。
【００５１】
最初に、ステップ１０８では、モードを検出モードに、テンプレート個数を０に設定する。
【００５２】
次に、入力された画像時系列データの１フレームを画像入力部１０２に入力し（ステップ１０１）、検出モードならばステップ１１０へ進み、追跡モードならばステップ１０２へ進む（ステップ１０９）。
【００５３】
ステップ１１０では、対象検出部１１０が辞書を用いた対象物体検出を行い、検出結果を初代テンプレート生成部１１１と出力部１１２へ送る。
【００５４】
次に、初代テンプレート生成部１１１が、検出された対象物体領域の類似度が検出閾値を満たしているかどうかを確認し（ステップ１１１）、満たしている場合はテンプレートを生成し、追跡モードに設定し、テンプレート個数を加算して、処理結果の情報をテンプレート記録部１０８へ送り（ステップ１１２）、ステップ１１３へ進む。満たしていない場合は何もせずにステップ１１３へ進む。
【００５５】
ステップ１０２では、テンプレート追跡部１０３が、記録されているテンプレートを用いて画像中にテンプレートと類似度の大きい領域がないかどうか、テンプレートを交換しながら、かつ、パラメタを変化させながら探索する。探索の結果、類似度が所定の閾値を満たすか、または、最大類似度を与える最適テンプレートと最適パラメタを抽出し、抽出結果を出力部１１２と前回パラメタ記録部１０６とテンプレート追加部１０７へ送る。
【００５６】
次に、テンプレート追加部１０７が、前回パラメタ記録部１０６から受け取った情報とテンプレート追跡部１０３から受け取った情報を元に、今回類似度＜閾値、かつ、前回類似度＞＝閾値であるかどうかを判定し、成立するならばステップ１０４に進み、成立しないならばステップ１１３に進む（ステップ１０３）。
【００５７】
ステップ１０４では、テンプレート追加部１０７が、前回の最適テンプレートと最適パラメタに基づいて画像から対象領域を切り出して新たにテンプレートを生成し、世代数などのテンプレート情報を設定してテンプレート記録部１０８にテンプレートを追加し、テンプレート個数を加算する。
【００５８】
次に、テンプレート削除部１０９が、テンプレート記録部１０８から情報を受け取り、テンプレート個数が上限を超えていないかどうか確認し（ステップ１０５）、超えていた場合は世代数に基づいて評価値を計算し評価値の最も小さいテンプレートをテンプレート記録部１０８から削除する（ステップ１０６）。
【００５９】
ステップ１１３では、出力部１１２が、対象検出部１１０とテンプレート追跡部１０３から受け取った情報をシステム外部に出力する。
【００６０】
次に、ステップ１０７では、処理を終了するかどうか判断し、終了しない場合はステップ１０１に戻り、終了する場合は画像領域追跡処理を終了する。
【００６１】
（第３の実施形態）
以下、本発明の第３の実施形態の顔向き推定システム２１３について図６から図１０に基づいて説明する。
【００６２】
（１）顔向き推定システム２１３の目的
顔向き推定システム２１３は顔を写した画像の時系列データ（動画像、映像）を入力すると、顔テンプレートと特徴点テンプレートがある場合はそれらのテンプレートを用いて画像中の顔領域と特徴点を検出して追跡し、特徴点の検出位置を用いて顔向き角度を計算して出力する。また、追跡しながら適切にテンプレートを生成し追加し削除することで、顔画像と特徴点の見かけの見え方を表現する複数のテンプレートを取得する。
【００６３】
顔テンプレートと特徴点テンプレートがまだ生成されていない場合は、辞書を用いて顔検出と特徴点検出を行い、検出された画像中の顔領域から顔テンプレートと特徴点テンプレートを生成してその後の検出または追跡処理に利用する。
【００６４】
（２）顔向き推定システム２１３の構成
図６は、本実施形態に係る顔向き推定システム２１３の一例を示す構成図である。
【００６５】
顔向き推定システム２１３は、画像入力部２０２と、テンプレート追跡部２０３と、前回パラメタ記録部２０６と、テンプレート追加部２０７と、テンプレート記録部２０８と、テンプレート削除部２０９と、対象検出部２１０と、初代テンプレート生成部２１１と、出力部２１２と、顔向き計算部２１６とから構成されている。
【００６６】
顔向き推定システム２１３の処理のうち、上述した画像領域追跡システム１０１と同様な処理については説明を省略する。
【００６７】
（２−１）テンプレート追跡部２０３
テンプレート追跡部２０３は、パラメタ最適化部２０４と最適テンプレート選択部２０５から成り、画像入力部２０２から画像を受け取り、前回パラメタ記録部２０６から前回の最適テンプレート情報を受け取り、テンプレート記録部２０８からテンプレート情報を受け取り、今回の画像に対する追跡処理を行い、処理結果を顔向き計算部２１６と前回パラメタ記録部２０６とテンプレート追加部２０３へ送る。但し、テンプレート記録部２０８にテンプレートが１つも記録されていないときは、追跡処理を行わない。
【００６８】
追跡処理は以下の手順で行う。
【００６９】
まず、テンプレート記録部２０８に記録された１つまたは複数の顔テンプレートを用いて、過去の顔検出の結果と検出位置に基づいて設定された探索領域内を探索する。
【００７０】
次に、顔テンプレートとの類似度が大きくなるように、顔テンプレートを交換しながら、かつ、少なくともテンプレートの位置を含む複数のパラメタを変化させながら計算し、類似度が所定の閾値を満たすかまたは最大となる顔テンプレートとパラメタを抽出する。
【００７１】
次に、顔テンプレートとの類似度が所定の閾値より大きい位置が発見されれば、それを顔領域の候補とし、顔領域の候補が存在する顔テンプレートを顔テンプレート候補とし、顔テンプレート候補に対応する特徴点テンプレートを用いて、パラメタを変化させながら顔特徴点を探索する。なお、ここで「顔テンプレート」とは、顔全体のテンプレートであり、特徴点テンプレートとは目、鼻孔、左口端部、右口端部などの顔特徴点毎に設けられたテンプレートをいう。そして、顔テンプレートと、各種の特徴点テンプレートとは一対一の関係にある。すなわち、顔テンプレートが決まれば特徴点テンプレートが決まる。
【００７２】
目、鼻孔、左口端部、右口端部などの顔特徴点の探索は、対応する顔領域の候補の位置に基づいて設定された探索領域内で行われる。探索の結果、特徴点テンプレートとの類似度が所定の閾値より大きい位置を顔特徴点の候補とし、顔特徴点の候補のうち、対応する特徴点テンプレートの世代数が最も少ない候補を、目、鼻孔、左口端部、右口端部などの検出特徴点として採用する。
【００７３】
次に、検出特徴点に対応する顔テンプレートを最適顔テンプレートとし、検出特徴点に対応する特徴点テンプレートを最適特徴点テンプレートとし、最適特徴点テンプレートと最適顔テンプレートの抽出回数または抽出頻度を増加させ、最終抽出時刻を現在時刻にする。
【００７４】
（２−２）テンプレート記録部２０８
テンプレート記録部２０８は、顔テンプレートと、それに対応する各種の特徴点テンプレートとを記録している。なお、顔テンプレートと特徴点テンプレートとをまとめて単にテンプレートという。テンプレート追加部２０７から新規生成されたテンプレートとテンプレート情報を受け取ってそれを追加記録し、テンプレート削除部２０９からの要請に応じて記録されている特定のテンプレートを削除し、テンプレート追跡部２０３に対して記録されているテンプレートとテンプレート情報を送る。
【００７５】
また、初代テンプレート生成部２１１からもテンプレートとテンプレート情報を受け取り記録する。テンプレート記録部２０８の構成要素は図７で示されるように、複数の顔テンプレート２２２とそれらに対応する複数の特徴点テンプレート２２３とそれらに対応する複数のテンプレート情報２１８である。
【００７６】
テンプレート情報２１８は、各テンプレートの世代数、抽出回数、最終抽出時刻を含む。
【００７７】
（２−３）テンプレート削除部２０９
テンプレート削除部２０９は、テンプレート記録部２０８に記録されたテンプレートを監視し、テンプレート個数が所定の上限を超えたら、テンプレートの世代数に基づく評価値を計算し、評価値の小さいテンプレートを削除する。ここで、例えば、テンプレート２を削除するとは、顔テンプレート２と特徴点テンプレート２とテンプレート情報２を削除することを意味する。
【００７８】
（２−４）対象検出部２１０
対象検出部２１０は、画像入力部２０２から画像を受け取り、予め設定された辞書を用いて画像中の顔領域と特徴点領域を検出し、検出結果を初代テンプレート生成部２１１と顔向き計算部２１６へ送る。
【００７９】
（２−５）顔検出部２１４
顔検出部２１４は、画像入力部２０２から画像を受け取り、予め設定された辞書を用いて画像中の顔領域を検出し、検出結果を特徴点検出部２１５へ送る。
【００８０】
（２−６）特徴点検出部２１５
特徴点検出部２１５は、顔検出部２１４から顔検出結果を受け取り、予め設定された辞書を用いて画像中の目、鼻孔、左口端部、右口端部などの特徴点を検出し、検出結果を顔向き計算部２１６と初代テンプレート生成部２１１へ送る。
【００８１】
（２−７）初代テンプレート生成部２１１
初代テンプレート生成部２１１は、顔検出と特徴点検出の結果を対象検出部２１０から受け取り、顔類似度と特徴点類似度が検出閾値を満たしているかどうか判定し、満たしている場合には画像中の検出位置から顔テンプレートと特徴点テンプレートを生成し、テンプレート記録部２０８に記録し、追跡モードに設定し、テンプレート個数を加算する。
【００８２】
（２−８）顔向き計算部２１６
顔向き計算部２１６は、対象検出部２１０とテンプレート追跡部２０３から特徴点座標の情報を受け取り、顔向き角度を計算し、計算結果を出力部２１２へ送る。
【００８３】
（２−９）出力部２１２
出力部２１２は、顔向き計算部２１６から計算結果情報を受け取り、システム外部へ出力する。
【００８４】
（３）顔向き推定手順
図８は、顔向き推定手順の一例を示す流れ図である。処理手順は以下のようになる。図５で説明した画像領域追跡手順と同様な処理に関しては説明を省略する。
【００８５】
最初に、ステップ２０８では、モードを検出モードに、テンプレート個数を０に設定する。
【００８６】
次に、入力された画像時系列データの１フレームを画像入力部２０２に入力し（ステップ２０１）、検出モードならばステップ２１０へ進み、追跡モードならばステップ２１６へ進む（ステップ２０９）。
【００８７】
ステップ２１０では、顔検出部２１４が辞書を用いた顔検出を行い、検出結果を特徴点検出部２１５へ送る。
【００８８】
次に、特徴点検出部２１５が、検出された顔領域の顔類似度が検出閾値を満たしているかどうかを確認し（ステップ２１１）、満たしている場合は辞書を用いた特徴点検出を行い（ステップ２１４）、検出結果を初代テンプレート生成部２１１と顔向き計算部２１６へ送り、ステップ２１５へ進み、満たしていない場合は何もせずにステップ２１３へ進む。
【００８９】
ステップ２１５では、初代テンプレート生成部２１１が、検出された特徴点の類似度が検出閾値を満たしているかどうかを確認し、満たしている場合は顔テンプレートと特徴点テンプレートを生成し、追跡モードに設定し、テンプレート個数を加算して、処理結果の情報をテンプレート記録部２０８へ送り（ステップ２１２）、ステップ２１８へ進む。満たしていない場合は何もせずにステップ２１３へ進む。
【００９０】
ステップ２１６では、テンプレート追跡部２０３が、記録されている顔テンプレートを用いて画像中に顔テンプレートと類似度の大きい領域がないかどうか、顔テンプレートの選択を変更して、かつ、パラメタを変化させて探索する。探索の結果、類似度が所定の閾値を満たすか、または、最大類似度を与える最適顔テンプレートと最適パラメタを抽出する。
【００９１】
次に、テンプレート追跡部２０３は、記録されている特徴点テンプレートによる特徴点検出を行い（ステップ２１７）、類似度が所定の閾値を満たすか、または、最大類似度を与える最適特徴点テンプレートと最適パラメタを抽出し、抽出結果を顔向き計算部２１６に送るとともに、前回パラメタ記録部２０６とテンプレート追加部２０７へ送る。（ステップ２０２）。
【００９２】
次に、テンプレート追加部２０７が、前回パラメタ記録部２０６から受け取った情報とテンプレート追跡部２０３から受け取った情報を元に、特徴点検出処理に関して今回類似度＜閾値、かつ、前回類似度＞＝閾値であるかどうかを判定し、成立するならばステップ２０４に進み、成立しないならばステップ２１８に進む（ステップ２０３）。
【００９３】
ステップ２０４では、テンプレート追加部２０７が、前回の最適テンプレートと最適パラメタに基づいて画像から対象領域を切り出して新たに顔テンプレートと特徴点テンプレートを生成し、世代数などのテンプレート情報を設定してテンプレート記録部２０８にテンプレートを追加し、テンプレート個数を加算する。
【００９４】
次に、テンプレート削除部２０９が、テンプレート記録部２０８から情報を受け取り、テンプレート個数が上限を超えていないかどうか確認し（ステップ２０５）、超えていた場合は世代数に基づいて評価値を計算し評価値の最も小さいテンプレートをテンプレート記録部２０８から削除し（ステップ２０６）、超えていない場合はステップ２１８へ進む。
【００９５】
ステップ２１８では、顔向き計算部２１６が、対象検出部２１０とテンプレート追跡部２０３から受け取った情報を元に顔向き角度を計算し、計算結果を出力部２１２へ送る。
【００９６】
次に、出力部２１２が処理結果の情報をシステム外部に出力し（ステップ２１３）、画像入力へ戻るか（ステップ２０１）、または、処理を終了する（エンド）。
【００９７】
（４）生成されたテンプレートの特徴
以下では、図８で表される顔向き推定を行わせた際に、テンプレートがどのように生成されどのように削除されるかを、生成テンプレートを表す概念図である図９と図１０を参照しながら説明する。
【００９８】
図９と図１０は、横軸と縦軸は変形や頭部姿勢の変化や照明条件変化を表す。すなわち、近いところにある２つのテンプレートは互いに変形のしかたや姿勢や照明条件が近いことを表し、離れたところに位置する２つのテンプレートは姿勢や照明条件がかなり異なることを表す。この変形や姿勢変化や照明条件変化を表す空間を「対象変化空間」と呼ぶことにする。テンプレートは顔テンプレート１９と特徴点テンプレート２０から成る。
【００９９】
（４−１）守備範囲
顔向き推定処理の開始直後はテンプレート個数が０であるが、画像中から顔領域と特徴点が検出されることにより、ステップ２１２にて世代数＝０のテンプレートが生成される。辞書に予め登録された顔の情報が正面向きの顔である場合には、図９の中心付近に描かれた世代数＝０のテンプレートのようなテンプレートが記録される。
【０１００】
画像中の顔画像が変化しなければ記録されたテンプレートによる顔と特徴点の追跡は成功し続ける。しかし、時間と共に次第に顔画像が変形したり、顔向きが変化したり、照明条件が変化することにより、記録されているテンプレートとの類似度が次第に小さくなり、ついには顔や特徴点の追跡が失敗することになる。このことは、図１０において各テンプレートを中心とする楕円の内部領域として描いた「テンプレートの守備範囲」を用いて説明できる。
【０１０１】
すなわち、顔画像の変形や向き変化や照明変化が守備範囲内であれば、そのテンプレートによる顔追跡が成功し、守備範囲を超えてしまうと顔追跡が失敗するというような、守備範囲が存在すると想定できる。従って、各テンプレート守備範囲を複数集めることによって全空間を覆うように複数のテンプレートを生成することができれば、どんな顔画像が入力されてもどれかのテンプレートを用いることにより顔領域と特徴点を検出し顔向き角度を計算できる。
【０１０２】
（４−２）追跡モード
テンプレート個数が１以上になるとテンプレートを用いて追跡を行う追跡モードになる。追跡モードでは、ステップ２０３とステップ２０４にてテンプレートの生成が行われる。生成の条件は、「今回類似度＜閾値、かつ、前回類似度＞＝閾値」であるが、この条件は、図１０において守備範囲の中心から境界に向かって移動していき、境界を横切るときに生じる。なぜならば、類似度が閾値を満たすかどうかで追跡処理の成否を判定することができ、類似度が大きいときは守備範囲内であると考えられるからである。
【０１０３】
また、２つの閾値を用いて、今回類似度が２つの閾値の間になるという条件が満たされるときにテンプレートを生成するように構成することもできる。これは、図１０において、守備範囲の内側にドーナツ形の領域を設けて、そのドーナツ形領域の内部に入ったときにテンプレートを生成することになり、第１の実施形態のテンプレート生成の条件と類似の効果が期待できる。
【０１０４】
守備範囲の境界近辺で新たなテンプレートを生成したとき、新しいテンプレートの世代数は前回成功時の最適テンプレートの世代数に１加算したものにする。そうすると、図９において世代数＝０のところから出発して、対象変化空間を左下に移動して世代数＝１のテンプレートが生成され、さらに左上に移動して世代数＝２のテンプレートが生成され、さらに右上に移動して世代数＝３のテンプレートが生成され、‥‥‥という具合に守備範囲の境界を超えようとするたびに新たなテンプレートが生成されていく。
【０１０５】
第２の実施形態では、特定対象領域を追跡する際には、最適テンプレートを選択して行い、削除するテンプレートを選択するための評価値を、世代数が小さいほど、抽出回数または抽出頻度が大きいほど、最終抽出時刻が新しいほど、大きくなるように設定している。
【０１０６】
従って、生成された時期が古いテンプレートであっても最適テンプレートとして抽出される限り、抽出頻度が大きく最終抽出時刻が新しくなるために、保持され、使用され続ける。世代数の小さいものが残るため、初期に生成されたテンプレートが残り、時間が経って正面向きの顔に戻ってくれば最初に記録された世代数の小さいテンプレートが再度用いられて特徴点が検出されるため、再現性のある位置ずれの少ない検出結果が得られる。さらに、対象変化空間上で実際に実現した領域のみ対応するテンプレートを生成することになるため、効率的に記録領域を利用できる。
【０１０７】
例えば、図９と図１０において、「→削除」と記されているテンプレートは世代数＝３であり、それと重なり合うような近い位置に世代数＝１のテンプレートが配置されている。最適テンプレートの選択及び評価値の計算において世代数の少ないテンプレートが優先されるため、このような対象変化空間上で互いに近く位置する複数のテンプレートは、世代数の大きいものから削除される。
【０１０８】
（５）特許文献１との比較
特許文献１においても、本実施形態と同様に、複数のテンプレートを用いて対象領域を追跡し、抽出位置の画像からテンプレートを生成して更新回数＝０とし、更新回数が多いテンプレートに消滅フラグを立ててテンプレートを削除している。しかしながら、特許文献１では同一の特徴点に対しては１個のテンプレートのみを割り当てており、近傍にテンプレートのあるテンプレートは削除対象としている。すなわち、本実施形態のように同一特徴点に対して複数のテンプレートを割り当てて、その特徴点に対して対象変化空間内で再現性のある追跡が行えるようには構成されていない。
【０１０９】
また、更新回数が多いテンプレートを削除するということに関しては、特許文献１は、３つの判定基準を用いている。すなわち、同一方向に動くテンプレート、更新回数が少ないテンプレート、そして、更新回数が多いテンプレートである。このため、更新回数が０のテンプレートはいち早く消滅することになる。本実施形態における世代数が特許文献１における更新回数に相当するのだが、本発明では世代数が大きいものを優先的に削除し、世代数が小さいものを保持するため、世代数＝０のものは評価値が極めて高く、削除されることはない。この点で特許文献１とは、手法も効果も全く異なる。
【産業上の利用可能性】
【０１１０】
本発明は、画像中の特定の対象物体（特に人物頭部など）を頑健かつ高精度に追跡することができるので様々な応用分野に適用可能である。検出された不審人物の追尾、スポーツ選手の運動解析、運転中の運転者のわき見検知などの応用分野が想定される。
【図面の簡単な説明】
【０１１１】
【図１】本発明の第１の実施形態に係る画像領域追跡システムの一例を示す構成図である。
【図２】テンプレート記録部の一例を示す構成図である。
【図３】画像領域追跡手順の一例を示す流れ図である。
【図４】第２の実施形態に係る画像領域追跡システムの一例を示す構成図である。
【図５】画像領域追跡手順の一例を示す流れ図である。
【図６】第３の実施形態に係る顔向き推定システムの一例を示す構成図である。
【図７】テンプレート記録部の一例を示す構成図である。
【図８】顔向き推定手順の一例を示す流れ図である。
【図９】生成されたテンプレートと照明環境、変形、向きの空間上における世代数を説明する概念図である。
【図１０】照明環境、変形、向きの空間上における生成されたテンプレートの守備範囲を説明する概念図である。
【符号の説明】
【０１１２】
１…画像領域追跡システム
２…画像入力部
３…テンプレート追跡部
４…パラメタ最適化部
５…最適テンプレート選択部
６…前回パラメタ記録部
７…テンプレート追加部
８…テンプレート記録部
９…テンプレート削除部
【図１】
2007334810.tif 000003
【図２】
2007334810.tif 000004
【図３】
2007334810.tif 000005
【図４】
2007334810.tif 000006
【図５】
2007334810.tif 000007
【図６】
2007334810.tif 000008
【図７】
2007334810.tif 000009
【図８】
2007334810.tif 000010
【図９】
2007334810.tif 000011
【図１０】
2007334810.tif 000012