(57)【要約】【課題】対象物体の見え方を代表する基準画像を取得し、基準画像を用いて対象物体を追跡する追跡画像処理を行う際に、最適な基準画像を獲得するまでに要する時間を短くし、かつ、基準画像を３次元的に考慮して評価できる追跡画像処理装置を提供する。【解決手段】検出モードと追跡モードの間に準追跡モードを追加することで、計算時間が短くなり、多くのフレームを処理できるため最適な基準画像を獲得する確率が上昇し、それにより追跡成功率が向上する。また顔の向きを3次元的に考慮して基準画像の評価を行うことで、より広い顔向き範囲に対応可能な顔画像を基準顔画像とすることで、追跡成功率が向上する。【選択図】      図１
2008085491.tif 000002
【特許請求の範囲】
【請求項１】
時系列の画像を入力する画像入力部と、
検出対象である対象物体に関する辞書情報を記憶する辞書記憶部と、
基準画像及び基準類似度を記憶する基準記憶部と、
前記入力画像から前記辞書情報を用いて前記対象物体の第１対応領域を検出し、前記辞書情報と前記第１対応領域の画像との第１類似度を求め、前記第１対応領域の画像及び前記第１類似度で前記基準画像及び前記基準類似度を更新する検出モードを実行する検出モード実行部と、
前記入力画像から前記基準画像を用いて第２対象領域を検出し、前記辞書情報と前記第２対応領域の画像との第２類似度を求め、前記求めた前記第２類似度が前記基準画像の類似度より高いときに、前記第２対応領域及び前記第２類似度で前記基準画像及び前記基準類似度を更新する準追跡モードを実行する準追跡モード実行部と、
前記入力画像から前記基準画像を用いて前記対象領域を検出する追跡モードを実行する追跡モード実行部と、
（１）最初は前記検出モードに切り替え、（２）前記検出モードの実行中に前記第１類似度が第１閾値よりも高くなったときには前記準追跡モードに切り替え、（３）前記準追跡モードの実行中に前記第２類似度が前記第１閾値より高い第２閾値よりも高くなったときには、前記追跡モードに切り替え、（４）前記準追跡モードの実行中に前記第２類似度が前記第１の閾値と前記第２の閾値との間であるときには、前記準追跡モードを継続する切り替え部と、
を備えた画像処理装置。
【請求項２】
前記切り替え部は、前記第１類似度が前記第１閾値より低いときには、前記次の入力画像については前記検出モードを継続し、
前記検出モード実行部は、前記次の入力画像から前記辞書情報を用いて前記対象物体の次の第１対応領域を検出し、前記基準画像と前記次の第１対応領域とから次の第１類似度を求め、かつ、前記次の第１類似度が、前記基準画像の第１類似度より高いときに、前記次の第１対応領域を新たな基準画像とする
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記検出モード実行部は、前記第１類似度に加えて前記対象領域中の対象物体が特定の方向を向いている程に値が高くなる方向評価値を、前記辞書情報と前記第１対応領域とを用いて求め、
前記準追跡モード実行部は、前記第２類似度に加えて前記方向評価値を、前記基準画像と前記第２対応領域とを用いて求め、
前記切り替え部は、前記第１類似度、または、前記第２類似度に前記方向評価値を加算した値と、前記第１の閾値、または、前記第２の閾値とを比較する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記検出モードと前記準追跡モードにおいて、
前記基準画像を前記時系列の画像毎に有し、
前記複数枚の基準画像の中で最も評価値の低い基準画像と、新たに求めた基準画像の評価値を比較し、
前記新たな基準画像の評価値の方が、前記最も評価値の低い基準画像の評価値より高いときに、前記新たな基準画像と前記最も評価値の低い基準画像を入れ替える
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記検出モードと前記準追跡モードにおいて、前記第１類似度または前記第２類似度が高くなるほどに前記類似度の計算コストを減少させる
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記対象物体が人間の顔であり、
前記各入力画像において前記対象領域から顔部品位置情報をそれぞれ求め、
前記各入力画像の顔部品位置情報から３次元の顔向き情報を求め、
前記顔向き情報が正面を向くほどに前記方向評価値を高くする
ことを特徴とする請求項３記載の画像処理装置。
【請求項７】
時系列の画像を入力し、
検出対象である対象物体に関する辞書情報を記憶し、
基準画像及び基準類似度を記憶し、
前記入力画像から前記辞書情報を用いて前記対象物体の第１対応領域を検出し、前記辞書情報と前記第１対応領域の画像との第１類似度を求め、前記第１対応領域の画像及び前記第１類似度で前記基準画像及び前記基準類似度を更新する検出モードを実行し、
前記入力画像から前記基準画像を用いて第２対象領域を検出し、前記辞書情報と前記第２対応領域の画像との第２類似度を求め、前記求めた前記第２類似度が前記基準画像の類似度より高いときに、前記第２対応領域及び前記第２類似度で前記基準画像及び前記基準類似度を更新する準追跡モードを実行し、
前記入力画像から前記基準画像を用いて前記対象領域を検出する追跡モードを実行し、
（１）最初は前記検出モードに切り替え、（２）前記検出モードの実行中に前記第１類似度が第１閾値よりも高くなったときには前記準追跡モードに切り替え、（３）前記準追跡モードの実行中に前記第２類似度が前記第１閾値より高い第２閾値よりも高くなったときには、前記追跡モードに切り替え、（４）前記準追跡モードの実行中に前記第２類似度が前記第１の閾値と前記第２の閾値との間であるときには、前記準追跡モードを継続する、
画像処理方法。
【請求項８】
時系列の画像を入力する画像入力機能と、
検出対象である対象物体に関する辞書情報を記憶する辞書記憶機能と、
基準画像及び基準類似度を記憶する基準記憶機能と、
前記入力画像から前記辞書情報を用いて前記対象物体の第１対応領域を検出し、前記辞書情報と前記第１対応領域の画像との第１類似度を求め、前記第１対応領域の画像及び前記第１類似度で前記基準画像及び前記基準類似度を更新する検出モードを実行する検出モード実行機能と、
前記入力画像から前記基準画像を用いて第２対象領域を検出し、前記辞書情報と前記第２対応領域の画像との第２類似度を求め、前記求めた前記第２類似度が前記基準画像の類似度より高いときに、前記第２対応領域及び前記第２類似度で前記基準画像及び前記基準類似度を更新する準追跡モードを実行する準追跡モード実行機能と、
前記入力画像から前記基準画像を用いて前記対象領域を検出する追跡モードを実行する追跡モード実行機能と、
（１）最初は前記検出モードに切り替え、（２）前記検出モードの実行中に前記第１類似度が第１閾値よりも高くなったときには前記準追跡モードに切り替え、（３）前記準追跡モードの実行中に前記第２類似度が前記第１閾値より高い第２閾値よりも高くなったときには、前記追跡モードに切り替え、（４）前記準追跡モードの実行中に前記第２類似度が前記第１の閾値と前記第２の閾値との間であるときには、前記準追跡モードを継続する切り替え機能と、
を実現する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラから入力された画像を処理して、対象物体の画像領域を検出し、効率的に追跡処理へ移行する画像処理装置及びその方法に関する。
【背景技術】
【０００２】
特許文献１に開示されているような映像中から特定領域を検出し、以後のフレームで特定領域を追跡する方法は、一般的に検出処理部の処理時間が長く入力される全てのフレームを処理できず，追跡処理部の初期値として用いられるべき最適画像を見逃すことがあった。
【０００３】
また、特許文献２及び特許文献３に開示されているような追跡処理や認識処理に用いるための最適画像を評価する方法は、顔部品の２次元的な配置や顔と顔部品の見えから評価していたが、それらの情報だけから評価した画像では真に最適な画像が得られず、その画像を用いて追跡処理を行うことで成功率の低下につながっていた。
【特許文献１】特許第３５７６７３４号公報
【特許文献２】特開２００２−４９９１２公報
【特許文献３】特開２００５−２２７９５公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように、従来技術には事前知識として与える情報を辞書とし、その辞書により検出処理を行う検出モードにおいて初期値となる基準画像を獲得し、基準画像を用いて追跡処理を行う追跡モードへ移行する処理を行う方法がある。
【０００５】
しかし、検出モードの処理時間が長く全てのフレームを処理できないため、最適な基準画像を有するフレームを見逃すことがあった。
【０００６】
また、顔画像を扱う場合、検出モードにおいて初期値となる基準顔画像は、顔部品の２次元的な配置や顔と顔部品の見えからカメラに対して正面を向いている顔画像を評価していた。しかし、この評価方法では最適ではない顔向きの基準顔画像を獲得することがあり、それにより追跡成功率が低下していた。
【０００７】
そこで本発明は、より多くのフレームを処理することを可能とし、また、それにより追跡成功率が向上する画像処理装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、時系列の画像を入力する画像入力部と、検出対象である対象物体に関する辞書情報を記憶する辞書記憶部と、基準画像及び基準類似度を記憶する基準記憶部と、前記入力画像から前記辞書情報を用いて前記対象物体の第１対応領域を検出し、前記辞書情報と前記第１対応領域の画像との第１類似度を求め、前記第１対応領域の画像及び前記第１類似度で前記基準画像及び前記基準類似度を更新する検出モードを実行する検出モード実行部と、前記入力画像から前記基準画像を用いて第２対象領域を検出し、前記辞書情報と前記第２対応領域の画像との第２類似度を求め、前記求めた前記第２類似度が前記基準画像の類似度より高いときに、前記第２対応領域及び前記第２類似度で前記基準画像及び前記基準類似度を更新する準追跡モードを実行する準追跡モード実行部と、前記入力画像から前記基準画像を用いて前記対象領域を検出する追跡モードを実行する追跡モード実行部と、（１）最初は前記検出モードに切り替え、（２）前記検出モードの実行中に前記第１類似度が第１閾値よりも高くなったときには前記準追跡モードに切り替え、（３）前記準追跡モードの実行中に前記第２類似度が前記第１閾値より高い第２閾値よりも高くなったときには、前記追跡モードに切り替え、（４）前記準追跡モードの実行中に前記第２類似度が前記第１の閾値と前記第２の閾値との間であるときには、前記準追跡モードを継続する切り替え部と、を備えた画像処理装置である。
【発明の効果】
【０００９】
従来法と比べ計算時間が短くなり、より多くのフレームを処理できるため最適な基準画像を獲得する確率が上昇し、それにより追跡成功率が向上する。
【００１０】
また、対象物体を顔とする際、基準顔画像の評価を顔の向きを３次元的に考慮することで、より正確な最適な顔向きの画像を獲得でき、それにより追跡成功率が向上する。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら本発明の各実施形態について説明する。
【００１２】
（第１の実施形態）
本発明の第１の実施形態に係わる追跡画像処理装置１について図１、図２、図８、図９に基づいて説明する。
【００１３】
本実施形態の追跡画像処理装置１は、対象物体を写した時系列の画像（動画像、映像）を入力すると、選択されたモードにおける処理方法により画像中の対象物体を検出する。また、検出した対象領域の画像が基準画像に適しているか評価し、その評価値をもとに次のフレームにおけるモードを選択する。すなわち、追跡画像処理装置１は、評価値をもとに、検出モード、準追跡モード、追跡モードの３つのモードの切り替えを行う切り替え部５を持つことが特徴である。
【００１４】
（１）追跡画像処理装置１の構成
図１は、本実施形態に係わる追跡画像処理装置１を示すブロック図である。
【００１５】
追跡画像処理装置１は、画像入力部２、検出部３、基準画像評価部４、切り替え部５、辞書記憶部６、基準画像記憶部７、出力部８から構成されている。
【００１６】
各部２〜７の下記で説明する各機能は、コンピュータに格納されたプログラムによっても実現できる。
【００１７】
（１−２）画像入力部２
画像入力部２は、対象物体を撮像した時系列の画像を受け取り、検出部３に入力画像を送る。
【００１８】
（１−３）辞書記憶部６
辞書記憶部６は、事前に学習された最も一般的な状態である対象物体を検出するための辞書情報を記録しておき、モードに応じて検出部３と基準画像評価部４に辞書情報を送る。
【００１９】
（１−４）検出部３
検出部３は、画像入力部２からの入力画像中から対象物体の対象領域を検出し、その対象領域の画像を検出画像として得る。このとき、切り替え部５により切り替えられるモードにより対象領域を検出する処理が異なる。このモードとしては、検出モード、準追跡モード、追跡モードがある。
【００２０】
検出モードでは、辞書記憶部６の辞書情報を用いて検出画像を検出する。この検出画像と辞書情報との類似度を基準画像評価部４に送る。また、出力部８へ検出画像と位置情報を出力する。ここでは、辞書情報を用いて画像中の対象物体の領域を検出する方法としては、部分空間法（福井、山口、「形状抽出とパターン照合の組合わせによる顔特徴点抽出」、電子情報通信学会論文誌、1997年8月、第J80-D-II巻、第8号、p.2170-2177参照）を用いる。しかし、検出方法は辞書情報を用いて画像中の対象領域を特定できる方法であればよい。
【００２１】
準追跡モードと追跡モードでは、基準画像記憶部７の基準画像を用いて対象領域を検出する。この検出画像と基準画像情報との類似度を基準画像評価部４に送る。また、出力部８へ検出画像と位置情報を出力する。基準画像を用いて対象物体の領域を検出する方法としては、ＱＴＲ法（山口修, 福井和広. 定性的３値表現に基づく画像マッチング. 電子情報通信学会技術研究報告, PRMU2002-34, pp. 23-30, June 2002.参照）を用いる。しかし、画像中で基準画像と最も似ている領域を特定できる方法であればよい。
【００２２】
また、検出モードで得られる類似度と、準追跡モードと追跡モードで得られる類似度は異なる方法で獲得しているため、スケールが異なる。そこで後の処理を容易に行うため、スケールが同じになるように各類似度を正規化する。
【００２３】
（１−５）基準画像評価部４
基準画像評価部４は、検出部３で検出した検出画像と位置情報により、評価値を求め、また、この評価値から基準画像を新たに更新するか否かの判断を行う。
【００２４】
この評価値は、次のように求める。まず、辞書記憶部６の辞書情報と検出画像との類似度を第１の評価値とする。また、対象物体のカメラに対する向きを対象物体の特定部位の幾何学的配置により評価した第２の評価値を求める。そして、第１の評価値と第２の評価値を合成して最終的な評価値を求める。なお、第２の評価値は、対象物体が特定の方向に向いている場合に高くなるようにする。例えば、対象物体が顔の場合には、正面を向いているほど第２の評価値を高くする。
【００２５】
この第１の評価値を求める方法は、２枚の画像がどれだけ似ているかを数値化できる方法であればよい。しかし、検出部３と同様に、切り替え部５により切り替えられるモードにより異なる処理を行う。
【００２６】
検出モードと準追跡モードでは、辞書記憶部６の辞書情報を用いて基準画像としての評価値を求める。追跡モードでは、評価値は求めない。
【００２７】
求めた評価値は切り替え部５に送る。また、この求めた評価値が、現在の基準画像の評価値より高い場合には、その検出画像とその位置情報を新たな基準画像として、基準画像記憶部７に送る。
【００２８】
（１−６）切り替え部５
切り替え部５は、基準画像評価部４からの評価値によりモードを切り替える。まず、初期値は検出モードである。そして、評価値が第１のモード切替え閾値Ｓ１を超えると準追跡モードに切り替え、評価値が第２のモード切替え閾値Ｓ２（但し、Ｓ１＜Ｓ２である）を超えると追跡モードに切り替える。なお、全てのモードで対象物体について、検出を一定期間失敗した場合は、検出モードに移行する。
【００２９】
（１−７）基準画像記憶部７
基準画像記憶部７は、基準画像評価部４から送られた検出画像とその位置情報を基準画像情報として記録し、モードに応じて検出部３と基準画像評価部４に基準画像情報として送る。
【００３０】
（１−８）出力部８
出力部８は、検出部３から送られた検出画像とその位置情報を装置外部に出力する。
【００３１】
（２）モードの内容
検出モードは、検出部３において、辞書記憶部６の辞書情報を用いて画像中の対象領域の画像（＝検出画像）を検出する。次に、基準画像評価部４において、辞書記憶部６の辞書情報を用いて、検出画像に対して基準画像としての最適性の評価を行う。
【００３２】
準追跡モードは、検出部３において、基準画像記憶部７の基準画像情報を用いて対象領域（＝検出画像）を検出する。次に、基準画像評価部４において、辞書記憶部６の辞書情報を用いて、検出画像に対して基準画像としての最適性の評価を行う。
【００３３】
追跡モードは、検出部３において、基準画像記憶部７の基準画像情報を用いて対象領域を検出する。なお、基準画像評価部４において評価は行わない。
【００３４】
（３）追跡画像処理手順
図２は、本実施形態に係る追跡画像処理手順の一例を示すフローチャートである。処理手順は以下のようになる。
【００３５】
最初に、ステップ１では、入力された時系列の画像の１フレームを画像入力部２に入力する。既に入力した画像がある場合は、その次の１フレーム分の画像を入力する。
【００３６】
次に、ステップ２において、検出モード、または、準追跡モードと追跡モードであるかを判断する。初期値は検出モードとして判断される。
【００３７】
次に、ステップ２で検出モードであると判断されたときは、ステップ３において、検出部３は、辞書記憶部６の辞書情報を用いて、対象領域を検出し、この検出画像と辞書情報との類似度（＝第１の評価値）を基準画像評価部４に送る。
【００３８】
次に、ステップ２で準追跡モードと追跡モードと判断されたときは、ステップ４において、検出部３は、基準画像記録部７の基準画像を用いて対象領域を検出し、この検出画像と基準画像との類似度（＝第１の評価値）を基準画像評価部４に送る。
【００３９】
次に、ステップ５において、ステップ３もしくはステップ４から受け取った類似度（＝第１の評価値）をもとに、類似度（＝第１の評価値）＞＝閾値１であるかどうかを判定し、成立するならステップ６に進み、成立しないならステップ１１に進む。
【００４０】
次に、ステップ６において、検出モードと準追跡モード、または、追跡モードであるかを判断する。検出モードと準追跡モードと判断されたときはステップ７に進み、追跡モードが選択されたときはステップ１０に進む。
【００４１】
次に、ステップ７において、検出モードと準追跡モードと判断されているので、基準画像評価部４は、辞書情報を用いて検出画像の評価値（＝第１の評価値＋第２の評価値）を求め、ステップ８に進む。
【００４２】
次に、ステップ８において、評価値＞＝閾値２であるかどうかを判定し、成立するならステップ９に進み、成立しないならステップ１０に進む。
【００４３】
次に、ステップ９において、切り替え部５は、前記評価値をもとにモードを切り替える。また、評価値が現在の基準画像の評価値より高い場合は、検出画像を基準画像として基準画像記憶部７に記録し、ステップ１０に進む。
【００４４】
次に、ステップ１０では、検出画像と位置情報を出力部８で装置外部に出力し、ステップ１１に進む。
【００４５】
次に、ステップ１１では、処理を終了するかどうか判断し、終了しない場合はステップ１に戻り、終了する場合は追跡画像処理を終了する。
【００４６】
（４）効果
以下では、準追跡モードを導入することによる効果を説明する。
【００４７】
図８に、本実施形態と従来技術の計算処理量の変化を示す。
【００４８】
時刻ｔ１で本実施形態は準追跡モードに移行し、時刻ｔ２で追跡モードに移行するのに対し、従来技術は時刻ｔ３で追跡モードに移行する。
【００４９】
一般的に、検出モードは追跡モードと比べ計算処理量が多く計算時間が遅い。しかし、追跡モードでは基準画像の獲得を行わないため追跡成功率が向上することはないため、基準画像の評価を行う検出モードは重要である。
【００５０】
そこで、追跡モードと同様の検出方法を用いることで、追跡モードと比べ評価部分の計算時間だけが遅い準追跡モードを導入することにより、時刻ｔ１から時刻ｔ２までの間は従来技術より本実施形態の方がフレームレートが高くなり、より多くの画像を処理できる。
【００５１】
次に、図９に最適な基準画像を獲得するまでの本実施形態と従来技術の動作内容を示す。なお、図中の矢印の長さは計算時間である。
【００５２】
本実施形態では、時刻ｔ１で最適に近い基準画像を獲得し、計算時間の速い準追跡モードに移行し、時刻ｔ２で最適な基準画像を獲得し、追跡モードに移行する。
【００５３】
一方、従来技術は、検出モードの計算時間が遅いために時刻ｔ３まで基準画像が獲得できず、追跡モードに移行できない。また、より多くのフレームで顔向きを出力することが望まれているが、従来技術の場合には時刻ｔ３までで出力できたのは３回だけなのに対して、本実施形態は１３回と出力できるため有効である。
【００５４】
検出モードと準追跡モードの違いは、検出モードは検出処理に辞書情報を用いるため汎用的に検出が行うことができる。しかし、準追跡モードは検出処理に基準画像を用いるため特定の対象物体しか検出を行うことができない点にある。
【００５５】
追跡モードが必要な理由は、検出モードと準追跡モードで評価しているのは追跡処理における初期値なので、最適な初期値を獲得した時点で基準画像の更新は必要ないためである。追跡モードでは、基準画像は一定であるが、例えば追跡処理に用いるテンプレートの更新などを行うことで、追跡成功率は向上する。
【００５６】
（５）変更例
上記実施形態では、評価値として、第１の評価値＋第２の評価値で求めたが、これに代えて、第１の評価値（類似度）だけを用いてもよい。
【００５７】
（第２の実施形態）
本発明の第２の実施形態に係わる追跡画像処理装置１０１について図３と図４に基づいて説明する。
【００５８】
追跡画像処理装置１０１は、準追跡モードにおいて、パラメタ記憶部１０９に記録してあるパラメタをもとに、基準画像評価部１０４の処理量を調節する。
【００５９】
（１）追跡画像処理装置１０１の構成
図３は、本実施形態に係る追跡画像処理装置１０１を示す構成図である。
【００６０】
追跡画像処理装置１０１は、画像入力部１０２、検出部１０３、基準画像評価部１０４、切り替え部１０５、辞書記憶部１０６、基準画像記憶部１０７、出力部１０８、パラメタ記憶部１０９から構成されている。
【００６１】
なお、追跡画像処理装置１０１の動作のうち、上記実施形態の追跡画像処理装置１と同様な処理については説明を省略する。
【００６２】
基準画像評価部１０４は、検出部１０３からの検出画像と位置情報の評価値と、この検出画像の基準画像としての最適性の評価を行う。
【００６３】
この評価値は、次のように求める。まず、辞書記憶部１０６の辞書画像と検出画像との類似度を第１の評価値とする。また、対象物体のカメラに対する向きを対象物体の特定部位の幾何学的配置により評価した第２の評価値を求める。そして、第１の評価値と第２の評価値とを合成して最終的な評価値を求める。
【００６４】
この第１の評価値（＝類似度）を求める方法は、２枚の画像がどれだけ似ているかを数値化でき、かつ、計算コストを調整できる方法であればよい。ここで計算コストは、計算の処理量と頻度を示す。例えば評価の計算の処理量を調整するには、部分空間法の場合、用いる空間の次元数を変化させればよい。また評価を行う頻度を調整するには、毎フレーム処理を行うのではなく一定間隔で処理を行えばよい。切り替え部１０５により切り替えられるモードにより異なる処理を行う。
【００６５】
検出モードでは、辞書記憶部１０６の辞書情報を用いて基準画像としての最適性の評価を行う。
【００６６】
準追跡モードでは、パラメタ記憶部１０９のパラメタをもとにパラメタが閾値に近づくにつれ部分空間の次元数を減らし計算量を削減した処理を行うか、また、同様にパラメタ記憶部１０９のパラメタが閾値に近づくにつれ評価を行う頻度を減らすことで計算量を削減した処理を行い、基準画像としての最適性の評価を行う。また、この時に獲得した評価値を次回のパラメタとし、パラメタ記憶部１０９に記録する。
【００６７】
追跡モードでは、評価を行わない。
【００６８】
評価値が高くなるにつれ準追跡モードの処理は、追跡モードの処理と同様の処理となる。
【００６９】
求めた評価値は切り替え部１０５に送る。また、この求めた評価値が、現在の基準画像の評価値より高い場合には、その検出画像とその位置情報を新たな基準画像として、基準画像記憶部１０７に送る。
【００７０】
パラメタ記憶部１０９は、前回処理で基準画像評価部から得られた評価値をパラメタとして記憶する。すなわち、パラメタ記憶部１０９は、基準画像評価部１０４からパラメタを受け取り記録し、要請に応じて基準画像評価部１０４に前回のパラメタを送る。
【００７１】
（２）追跡画像処理手順
図４は、本実施形態に係る追跡画像処理手順の一例を示すフローチャートである。処理手順は以下のようになる。図２で説明した追跡画像処理手順と同様な処理に関しては説明を省略する。
【００７２】
ステップ１０６において、検出モード、準追跡モード、追跡モードかを判断する。検出モードのときはステップ７に進み、準追跡モードのときはステップ１１２に進み、追跡モードのときはステップ１１０に進む。
【００７３】
次に、ステップ１０７において、検出モードと判断されているので、辞書記憶部１０６の辞書情報を用いて検出画像と位置情報により評価値を求め、ステップ１０８に進む。
【００７４】
次に、ステップ１１２において、パラメタ記憶部１０９のパラメタを受け取る。
【００７５】
次に、ステップ１１３において、辞書記憶部１０６の辞書情報を用いて検出画像と位置情報により評価値を求める。このときに受け取ったパラメタをもとに計算量を変化させる。
【００７６】
次に、ステップ１１４において、その評価値を次回のパラメタとし、パラメタ記憶部１０９に記録し、ステップ１０８に進む。
【００７７】
（第３の実施形態）
本発明の第３の実施形態に係わる顔向き推定装置２０１について図５から図７に基づいて説明する。本実施形態に係る顔向き推定装置２０１は、上記実施形態の追跡画像処理装置１において対象物体を人間の顔としたものである。そのため、顔向き推定装置２０１の動作のうち、上述した追跡画像処理装置１と同様な処理については説明を省略する。
【００７８】
（１）顔向き推定装置２０１の構成
図５は、本実施形態に係る顔向き推定装置２０１を示す構成図である。
【００７９】
顔向き推定装置２０１は、画像入力部２０２、検出部２０３、基準画像評価部２０４、切り替え部２０５、辞書記憶部２０６、基準画像記憶部２０７、出力部２０８、顔検出部２１０、特徴点検出部２１１、類似度評価部２１２、顔向き評価部２１３、顔向き推定部１４、一般顔形状記憶部２１５から構成されている。
【００８０】
（１−１）検出部２０３
検出部２０３は、顔検出部２１０と特徴点検出部２１１とを有する。
【００８１】
顔検出部２１０は、画像入力部２０２からの入力画像中から顔領域を検出する。
【００８２】
特徴点検出部２１１は、前記顔領域における顔特徴点の座標を検出する。
【００８３】
そして、検出部２０３は、顔領域の画像と特徴点の座標の近傍画像を獲得する。しかし、切り替え部２０５により切り替えられるモードにより検出する処理が異なる。
【００８４】
検出モードでは、辞書記憶部２０６の辞書情報を用いて、画像中の顔領域と顔特徴点の座標を検出する。
【００８５】
準追跡モードと追跡モードでは、基準画像記憶部２０７の基準顔画像情報を用いて、顔領域と顔特徴点の座標を検出する。検出した顔画像とその位置情報と、特徴点の座標とその近傍画像を基準画像評価部２０４に送り、顔向き推定部２１４に顔の位置情報と特徴点の座標を送る。
【００８６】
（１−１−１）顔検出部２１０
顔検出部２１０は、入力画像中から顔領域を検出し、その顔画像を得る。このとき、切り替え部２０５により切り替えられるモードにより領域を検出する処理が異なる。
【００８７】
検出モードでは、辞書記憶部２０６の辞書情報を用いて入力画像中の顔領域を検出する。
【００８８】
準追跡モードと追跡モードでは、基準画像記憶部２０７の基準顔画像情報を用いて顔領域を検出する。
【００８９】
（１−１−２）特徴点検出部２１１
特徴点検出部２１１は、入力画像を用いて特徴点の座標を検出し、その座標の近傍画像を得る。このとき、切り替え部２０５により切り替えられるモードにより検出する処理が異なる。
【００９０】
検出モードでは、辞書記憶部２０６の辞書情報を用いて入力画像中の特徴点の座標を検出する。
【００９１】
準追跡モードと追跡モードでは、基準画像記憶部２０７の基準顔画像情報を用いて特徴点の座標を検出する。
【００９２】
（１−２）基準画像評価部２０４
基準画像評価部２０４は、類似度評価部２１２と３次元的な顔向き評価部２１３と有している。
【００９３】
基準画像評価部２０４は、検出部２０３からの検出した顔画像と特徴点の画像と位置情報を用いて、類似度評価部２１２から得た第１の評価値と、３次元的な顔向き評価部２１３から得た第２の評価値を合成することにより、基準顔画像としての最適性の評価を行う。
【００９４】
この評価の方法は、切り替え部２０５により切り替えられるモードにより異なる処理を行う。
【００９５】
検出モードと準追跡モードでは、辞書記憶部２０６の辞書情報を用いて、類似度評価部２１２から得た第１の評価値と、３次元的な顔向き評価部２１３から得た第２の評価値を合成することにより基準顔画像としての最適性の評価を行う。
【００９６】
なお、追跡モードでは評価を行わない。
【００９７】
求めた評価値は切り替え部２０５に送る。また、この求めた評価値が、現在の基準画像の評価値より高い場合には、その検出画像とその位置情報を新たな基準画像として、基準画像記憶部２０７に送る。
【００９８】
すなわち、基準画像評価部２０４は、類似度評価部２１２から得た第１の評価値ｆ（ｘ）と、３次元的な顔向き評価部２１３からの第２の評価値ｇ（ｘ）を、αｆ（ｘ）＋βｇ（ｘ）などの式で合成することにより基準顔画像を評価する。但し、ｘは、フレーム番号である。
【００９９】
（１−２−１）類似度評価部２１２
類似度評価部２１２は、一般的で、かつ、オクルージョンの無い画像を基準画像とするために、検出部２０３から受け取った顔と特徴点の画像と辞書記憶部２０６の辞書情報との類似度を個々に獲得する。
【０１００】
辞書情報には、複数の正解の情報を有する辞書情報（正解辞書情報）と、複数の誤りの情報を有する辞書情報（誤り辞書情報）とがある。そして、各画像で２つの辞書情報との類似度を求める。
【０１０１】
まず。複数の顔の正解辞書情報の中で、顔正解閾値から各類似度を差し引いた中で最も高い値を第１の顔正類似度とする。
【０１０２】
次に、複数の顔の誤り辞書情報の中で、顔誤り閾値から各類似度を差し引いた中で最も高い値を第２の顔正類似度とする。
【０１０３】
次に、第１の顔正類似度から第２の顔正類似度を差し引いた値を、顔正誤類似度とする。
【０１０４】
また、全ての特徴点に関して、複数の特徴点の正解辞書情報の中で、特徴点正解閾値から各類似度を差し引いた中で最も高い値を第１の特徴点正類似度とする。
【０１０５】
次に、複数の特徴点の誤り辞書の中で、特徴点誤り閾値から各類似度を差し引いた中で最も高い値を第２の特徴点正類似度とする。
【０１０６】
次に、第１の特徴点正類似度から第２の特徴点正類似度を差し引いた値を特徴点正誤類似度とする。
【０１０７】
各特徴点に関して特徴点正類似度と特徴点正誤類似度のより値の大きい方を特徴点類似度とする。
【０１０８】
また、各特徴点の中で最も値の低い特徴点類似度の特徴点が有する特徴点正類似度と特徴点正誤類似度と顔正解辞書と顔正誤類似度の４つを加算した値を第１の評価値ｆ（ｘ）とする。
【０１０９】
（１−２−２）３次元的な顔向き評価部２１３
３次元的な顔向き評価部２１３は、検出部２０３から受け取った顔と特徴点の位置情報を受け取る。
【０１１０】
ここで、図７は正面顔に対しての追跡可能な顔向き範囲を示す概念図であり、中央の正面方向を向いている顔画像が、顔向きを変化させた際に追跡が可能な範囲を点線で示している。
【０１１１】
図７の実線で示す追跡可能な顔向き範囲より、基準顔画像ができるだけ正面方向を向いている画像であれば追跡できる範囲が最も広い。すなわち、正面方向を向いている画像ほど第２の評価値を高くする。
【０１１２】
よって正面方向を向いている顔を評価するため、顔と特徴点の位置情報を顔向き推定部２１４に送り、カメラに対する顔向きの横向き角と縦向き角と首かしげ角を受け取り評価する。
【０１１３】
また、各特徴点の画像座標に関する外れ値を評価するため、顔向き推定部２１４より形状当てはめ誤差と、顔に対する各特徴点の事前に学習した平均位置からの誤差を受け取り評価する。形状当てはめ誤差は、特徴点の検出誤差等により生じ、観測特徴点を一般顔形状に当てはめる際の誤差値である。角度の評価と特徴点の位置ずれ評価をもとに３次元的な顔向き評価値である第２の評価値ｇ（ｘ）とする。
【０１１４】
（１−３）一般顔形状記憶部２１５
一般顔形状記憶部２１５は、事前に学習した一般顔形状と、顔に対する各特徴点の平均位置を記録しておき、要請があれば顔向き推定部２１４に送る。
【０１１５】
（１−４）顔向き推定部２１４
顔向き推定部２１４は、検出部２０３から受け取った顔と特徴点の画像座標情報を、一般顔形状記憶部２１５に記録してある一般顔形状を用いて、横向き角、縦向き角、首かしげ角、形状当てはめ誤差を求め、出力部２０８に送る。
【０１１６】
また、３次元的な顔向き評価部２１３から受け取った顔と特徴点の位置情報を、一般顔形状記憶部２１５の一般顔形状を用いて、横向き角、縦向き角、首かしげ角、形状当てはめ誤差と、顔に対する各特徴点の平均位置からの誤差を求め、３次元的な顔向き評価部２１３にそれらを返す。なお、各特徴点の平均位置は、一般顔形状記憶部２１５に記録してある。
【０１１７】
上記一般的な顔の形状モデルは、因子分解法などで事前に定義する。また、この一般的な顔の形状モデルが、現在の顔の向きが初期値となる。前記因子分解法は、非特許文献（金出，Poelman，森田，「因子分解法による物体形状とカメラ運動の復元」  電子情報通信学会論文誌 D-II No.8， pp-1947-1505，Aug.1993）の方法を用いる。
【０１１８】
（２）顔向き推定手順
図６は、本実施形態に係る顔向き推定手順の一例を示すフローチャートである。処理手順は以下のようになる。図２で説明した追跡画像処理手順と同様な処理に関しては説明を省略する。
【０１１９】
ステップ２０３について説明する。ステップ２０３は、ステップ２１５とステップ２１６から構成される。
【０１２０】
ステップ２１５において、辞書記憶部２０６の辞書情報を用いて画像中の顔領域を検出し、検出画像と位置情報と用いた辞書情報との類似度を基準画像評価部２０４に送る。次に、ステップ２１６において、辞書情報を用いて画像中の特徴点の画像座標を検出し、検出した画像座標とその近傍画像と用いた辞書情報との類似度を基準画像評価部２０４に送る。
【０１２１】
ステップ２０４について説明する。ステップ２０４は、ステップ２１７とステップ２１８から構成される。
【０１２２】
ステップ２１７において、基準画像記憶部２０７の基準顔画像情報を用いて画像中の顔領域を検出し、検出画像と位置情報と用いた辞書情報との類似度を切り替え部２０５に送る。次に、ステップ２１８において、基準顔画像情報を用いて画像中の特徴点の画像座標を検出し、検出した画像座標とその近傍画像と用いた辞書情報との類似度を切り替え部２０５に送る。
【０１２３】
ステップ２０７について説明する。ステップ２０７は、ステップ２１９とステップ２２０から構成される。
【０１２４】
ステップ２１９において、最初に辞書記憶部２０６の辞書情報を用いて検出部２０３から受け取った顔と特徴点の位置情報から３次元的な顔向きを評価し正面方向を向いている画像の値が高くなるように第１の評価値を求める。次に、ステップ２２０において、検出部２０３から受け取った顔と特徴点の画像の辞書との類似度をもとに第２の評価値を求める。次に獲得した第１の評価値と第２の評価値を合成して、ステップ２０８に進む。
【０１２５】
ステップ２２１では、受け取った顔と特徴点の位置情報より顔向きを推定し、ステップ２１０に進む。
【０１２６】
（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【０１２７】
（１）変更例１
上記実施形態では、基準画像を一枚としたが、これに代えて複数枚でもよい。例えば、次のような場合である。
【０１２８】
まず、時系列画像として１〜５フレーム目の画像が入力したときに、各フレームで基準画像を求める。
【０１２９】
次に、６フレーム目の画像が入力したときに、６フレーム目の基準画像を求める。
【０１３０】
次に、前記５枚の基準画像の中で最も評価値の低い基準画像（例えば、１フレーム目の基準画像とする）と、６フレーム目の基準画像の評価値を比較する。
【０１３１】
次に、６フレーム目の基準画像の評価値の方が、１フレーム目の基準画像の評価値より高いときに、６フレーム目の基準画像と１フレーム目の基準画像を入れ替える。
【０１３２】
これにより、常に５枚の基準画像を記録してることになる。
【０１３３】
（２）変更例２
上記実施形態では、対象物体の検出領域を入力画像から一枚だけ検出したが、これに限らず、複数の領域を検出してもよい。例えば、第３の実施形態では、一枚の入力画像に複数の顔が写っている場合である。
【０１３４】
（３）変更例３
第３の実施形態で対象物体として人間の顔を用いたが、これに限らず、人間（人体全体）、自動車などの乗り物などの他の対象物体でもよい。
【図面の簡単な説明】
【０１３５】
【図１】本発明の第１の実施形態に係わる追跡画像処理装置の構成を示す構成図である。
【図２】第１の実施形態の動作を示すフローチャートである。
【図３】本発明の第２の実施形態に係わる追跡画像処理装置の構成を示す構成図である。
【図４】第２の実施形態の動作を示すフローチャートである。
【図５】本発明の第３の実施形態に係わる顔向き推定装置の構成を示す構成図である。
【図６】第３の実施形態の動作を示すフローチャートである。
【図７】正面顔に対しての追跡可能な顔向き範囲を示す概念図である。
【図８】従来法と本実施形態のフレームレートの変化を示す概念図である。
【図９】最適画像を獲得するまでの本発明と従来法の挙動を示す概念図である。
【符号の説明】
【０１３６】
１、１０１・・・追跡画像処理装置
２、１０２、２０２・・・画像入力部
３、１０３、２０３・・・検出部
４、１０４、２０４・・・基準画像評価部
５、１０５、２０５・・・切り替え部
６、１０６、２０６・・・辞書記憶部
７、１０７、２０７・・・基準画像記憶部
８、１０８、２０８・・・出力部
１０９・・・パラメタ記憶部
２０１・・・顔向き推定装置
２１０・・・顔検出部
２１１・・・特徴点検出部
２１２・・・類似度評価部
２１３・・・３次元的な顔向き評価部
２１４・・・顔向き推定部
２１５・・・一般顔形状記憶部
【図１】
2008085491.tif 000003
【図２】
2008085491.tif 000004
【図３】
2008085491.tif 000005
【図４】
2008085491.tif 000006
【図５】
2008085491.tif 000007
【図６】
2008085491.tif 000008
【図７】
2008085491.tif 000009
【図８】
2008085491.tif 000010
【図９】
2008085491.tif 000011