(57)【要約】【課題】  高精度な初期運動を推定できるような基準画像を設定することができる画像処理装置及び画像処理方法を提供することを課題とする。【解決手段】  対象物体を撮像した撮像画像と対象物体の特徴点の参照画像の比較により対象物体の運動を推定する際に用いる基準画像を設定する画像処理装置１であって、撮像手段２，３と、撮像手段２，３で撮像した撮像画像から参照画像の特徴点と類似する複数の特徴点を検出する特徴点検出手段１０，１１と、特徴点検出手段１０，１１で検出した複数の特徴点の位置関係と参照画像の複数の特徴点の位置関係とが所定の関係を満たした場合に当該複数の特徴点が検出された撮像画像を基準画像と判定する判定手段１２とを備えることを特徴とする。【選択図】  図１
2006227736.tif 000002
【特許請求の範囲】
【請求項１】
対象物体を撮像した撮像画像と対象物体の特徴点の参照画像の比較により対象物体の運動を推定する際に用いる基準画像を設定する画像処理装置であって、
撮像手段と、
前記撮像手段で撮像した撮像画像から参照画像の特徴点と類似する複数の特徴点を検出する特徴点検出手段と、
前記特徴点検出手段で検出した複数の特徴点の位置関係と参照画像の複数の特徴点の位置関係とが所定の関係を満たした場合に当該複数の特徴点が検出された撮像画像を基準画像と判定する判定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記判定手段は、前記特徴点検出手段で検出した複数の特徴点の類似度が所定値以上の場合に当該複数の特徴点が検出された撮像画像を基準画像と判定することを特徴とする請求項１に記載する画像処理装置。
【請求項３】
対象物体を撮像した撮像画像と対象物体の特徴点の参照画像の比較により対象物体の運動を推定する際に用いる基準画像を設定する画像処理装置であって、
位置関係が分っている複数の撮像手段と、
前記複数の撮像手段で各々撮像した各撮像画像から参照画像の特徴点と類似する特徴点を検出する特徴点検出手段と、
前記特徴点検出手段で検出した各撮像画像における特徴点から求められる特徴点の三次元位置を用いて、前回の撮像画像における特徴点の三次元位置から今回の撮像画像における特徴点の三次元位置への運動を推定する第１運動推定手段と、
前記複数の撮像手段で各々撮像した各撮像画像から追跡可能な画素を検出する画素検出手段と、
前記画素検出手段で検出した各撮像画像における追跡可能な画素から求められる追跡可能な画素の三次元位置を用いて、前回の撮像画像における追跡可能な画素の三次元位置から今回の撮像画像における追跡可能な画素の三次元位置への運動を推定する第２運動推定手段と、
前記第１運動推定手段で推定した運動と前記第２運動推定手段で推定した運動との差が所定値以下の場合に当該特徴点及び追跡可能な画素が検出された撮像画像を基準画像と判定する判定手段と
を備えることを特徴とする画像処理装置。
【請求項４】
対象物体を撮像した撮像画像と対象物体の特徴点の参照画像の比較により対象物体の運動を推定する際に用いる基準画像を設定する画像処理方法であって、
撮像ステップと、
前記撮像ステップで撮像した撮像画像から参照画像の特徴点と類似する複数の特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップで検出した複数の特徴点の位置関係と参照画像の複数の特徴点の位置関係とが所定の関係を満たした場合に当該複数の特徴点が検出された撮像画像を基準画像と判定する判定ステップと
を含むことを特徴とする画像処理方法。
【請求項５】
前記判定ステップでは、前記特徴点検出ステップで検出した複数の特徴点の類似度が所定値以上の場合に前記撮像ステップで撮像した撮像画像を基準画像と判定することを特徴とする請求項４に記載する画像処理方法。
【請求項６】
対象物体を撮像した撮像画像と対象物体の特徴点の参照画像の比較により対象物体の運動を推定する際に用いる基準画像を設定する画像処理方法であって、
位置関係が分っている複数の撮像手段により撮像する撮像ステップと、
前記撮像ステップで各々撮像した各撮像画像から参照画像の特徴点と類似する特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップで検出した各撮像画像における特徴点から求められる特徴点の三次元位置を用いて、前回の撮像画像における特徴点の三次元位置から今回の撮像画像における特徴点の三次元位置への運動を推定する第１運動推定ステップと、
前記撮像ステップで各々撮像した各撮像画像から追跡可能な画素を検出する画素検出ステップと、
前記画素検出ステップで検出した各撮像画像における追跡可能な画素から求められる追跡可能な画素の三次元位置を用いて、前回の撮像画像における追跡可能な画素の三次元位置から今回の撮像画像における追跡可能な画素の三次元位置への運動を推定する第２運動推定ステップと、
前記第１運動推定ステップで推定した運動と前記第２運動推定ステップで推定した運動との差が所定値以下の場合に当該特徴点及び追跡可能な画素が検出された撮像画像を基準画像と判定する判定ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から対象物体の運動を推定する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像処理には、カメラで顔を撮像し、その撮像画像から顔の向きや並進運動などを推定するものがある。このように顔の運動を推定する手法としては、例えば、目、口の各端部などの顔における複数の特徴点を設定し、撮像画像においてそれらの特徴点を追跡していくことにより顔の運動を推定している（特許文献１参照）。具体的には、例えば、特徴点の参照画像（テンプレート）を予め用意し、この参照画像を用いてある時刻に撮像した撮像画像とのテンプレートマッチングを行い、参照画像と類似度の高い領域を特徴点の位置として検出する。参照画像は、通常、顔が正面を向いているときに撮像した撮像画像から特徴点周辺の画像を切り出すことによって作成される。そして、参照画像における特徴点の位置とある時刻における特徴点の位置の変化から、顔の向きなどの運動を推定する。
【０００３】
しかし、この顔の運動の推定手法では、参照画像と時間的に不連続のある時刻に撮像した撮像画像との間の特徴点の位置の変化に基づいて推定を行うので、その間が長いほど誤差が含まれる可能性が高く、推定精度も低下する。そこで、時間的に連続して撮像した画像シーケンスにおいて最初に顔が検出したフレームを基準画像に設定し、参照画像を用いて基準画像とのテンプレートマッチングを行い、参照画像と類似度の高い領域を特徴点の位置として検出する。そして、参照画像における特徴点の位置と基準画像における特徴点の位置の変化から顔の向きなどの運動を推定し、この運動を初期運動とする。さらに、画像シーケンスにおける基準画像以降の各時刻のフレームにおいて、時間的に連続するフレーム間で特徴点の位置の変化を求め、その位置の変化から顔の向きなどの運動を推定し、この運動をシーケンス内運動とする。そして、初期運動と任意の時刻までの全てのシーケンス内運動とを合成することにより、その任意の時刻のフレームにおける顔の運動を推定する。
【特許文献１】特開２００４−２５２５１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
初期運動とシーケンス内運動との合成により顔の運動を推定する場合、その推定精度は、推定する際の基準となる初期運動の精度に大きく左右される。また、この初期運動の精度は、基準画像に大きな影響を受ける。例えば、基準画像として顔が真横を向いている撮像画像のフレームが設定された場合、正面を向いている顔の撮像画像から生成した参照画像とは向きが大きく異なっている。この場合、参照画像と基準画像との間の特徴点の位置の変化に基づいて初期運動を推定するので、その間に誤差が含まれる可能性が高く、推定精度も低下する。しかし、従来、基準画像を設定する際には、参照画像との関係を考慮して設定していなかった。
【０００５】
そこで、本発明は、高精度な初期運動を推定できるような基準画像を設定することができる画像処理装置及び画像処理方法を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、対象物体を撮像した撮像画像と対象物体の特徴点の参照画像の比較により対象物体の運動を推定する際に用いる基準画像を設定する画像処理装置であって、撮像手段と、撮像手段で撮像した撮像画像から参照画像の特徴点と類似する複数の特徴点を検出する特徴点検出手段と、特徴点検出手段で検出した複数の特徴点の位置関係と参照画像の複数の特徴点の位置関係とが所定の関係を満たした場合に当該複数の特徴点が検出された撮像画像を基準画像と判定する判定手段とを備えることを特徴とする。
【０００７】
この画像処理装置は、対象物体の複数の特徴点についての参照画像を備えており、この参照画像の特徴点を利用して対象物体の向きや並進運動などの運動を推定する。画像処理装置では、撮像手段により対象物体を撮像し、特徴点検出手段により撮像画像から参照画像の特徴点と類似する複数の特徴点を検出する。そして、画像処理装置では、判定手段により、検出した複数の特徴点の位置関係と対応する参照画像の複数の特徴点の位置関係とが所定の関係を満たしているときに、その複数の特徴点が検出された撮像画像を基準画像と判定する。所定の関係を満たしているときとは、参照画像を生成したときの対象物体の運動状態と複数の特徴点が検出された撮像画像における対象物体の運動状態とが初期運動の精度を十分に確保できる関係になるときであり、例えば、対象物体の向きが同じかあるいは近い向きのときである。画像処理装置では、参照画像と基準画像とから初期運動を推定し、この初期運動を基準として任意の時刻のフレームの撮像画像における対象物体の運動を推定する。このように、画像処理装置では、参照画像の複数の特徴点の位置関係に対する撮像画像における複数の特徴点の位置関係を考慮して基準画像を選んでいるので、初期運動の精度を十分に確保できるような基準画像を設定することができる。その結果、高精度な初期運動に基づいて、任意の時刻における対象物体の運動を高精度に推定することができる。
【０００８】
本発明の上記画像処理装置では、判定手段は、特徴点検出手段で検出した複数の特徴点の類似度が所定値以上の場合に当該複数の特徴点が検出された撮像画像を基準画像と判定する構成としてもよい。
【０００９】
この画像処理装置の判定手段では、位置関係の条件に加えて、検出した複数の特徴点についての参照画像との類似度が所定値以上の場合に、その複数の特徴点が検出された撮像画像を基準画像と判定する。このように、各特徴点の参照画像との類似度も考慮することにより、初期運動の精度をより高めるような基準画像を設定することができる。
【００１０】
本発明に係る画像処理装置は、対象物体を撮像した撮像画像と対象物体の特徴点の参照画像の比較により対象物体の運動を推定する際に用いる基準画像を設定する画像処理装置であって、位置関係が分っている複数の撮像手段と、複数の撮像手段で各々撮像した各撮像画像から参照画像の特徴点と類似する特徴点を検出する特徴点検出手段と、特徴点検出手段で検出した各撮像画像における特徴点から求められる特徴点の三次元位置を用いて、前回の撮像画像における特徴点の三次元位置から今回の撮像画像における特徴点の三次元位置への運動を推定する第１運動推定手段と、複数の撮像手段で各々撮像した各撮像画像から追跡可能な画素を検出する画素検出手段と、画素検出手段で検出した各撮像画像における追跡可能な画素から求められる追跡可能な画素の三次元位置を用いて、前回の撮像画像における追跡可能な画素の三次元位置から今回の撮像画像における追跡可能な画素の三次元位置への運動を推定する第２運動推定手段と、第１運動推定手段で推定した運動と第２運動推定手段で推定した運動との差が所定値以下の場合に当該特徴点及び追跡可能な画素が検出された撮像画像を基準画像と判定する判定手段とを備えることを特徴とする。
【００１１】
この画像処理装置は、対象物体の複数の特徴点についての参照画像を備えており、この参照画像の特徴点を利用して対象物体の向きや並進運動などの運動を推定する。画像処理装置では、位置関係の分っている複数の撮像手段を備えており、この各撮像手段により対象物体を異なる位置から各々撮像する。そして、画像処理装置では、特徴点検出手段により異なる視点の各撮像画像から参照画像の特徴点と類似する特徴点を各々検出し、この視点の異なる各撮像画像から検出された各特徴点の二次元位置からその特徴点の三次元位置を求める。さらに、画像処理装置では、第１運動推定手段により、前回の撮像画像における特徴点の三次元位置から今回の撮像画像における特徴点の三次元位置への運動を推定する。また、画像処理装置では、画素検出手段により異なる視点の各撮像画像から追跡可能な画素を検出し、この視点の異なる各撮像画像から検出された各画素の二次元位置からその画素の三次元位置を求める。さらに、画像処理装置では、第２運動推定手段により、前回の撮像画像における追跡可能な画素の三次元位置から今回の撮像画像における追跡可能な画素の三次元位置への運動を推定する。そして、画像処理装置では、判定手段により、特徴点に基づく運動と追跡可能な画素に基づく運動との差が所定値以下の場合に、その特徴点及び追跡可能な画素を検出した撮像画像を基準画像と判定する。所定値以下のときとは、対象物体における特徴点と追跡可能な画素とが同様の運動をしているとみなせる場合であり、参照画像を生成したときの対象物体の運動状態と特徴点及び追跡可能な画素が検出された撮像画像における対象物体の運動状態とが初期運動の精度を十分に確保できる関係になるときである。画像処理装置では、参照画像と基準画像とから初期運動を推定し、この初期運動を基準として任意の時刻のフレームの撮像画像における対象物体の運動を推定する。このように、画像処理装置では、特徴点と追跡可能な画素とのそれぞれ独立して推定された各運動を考慮して基準画像を選んでいるので、初期運動の精度を十分に確保できるような基準画像を設定することができる。その結果、高精度な初期運動に基づいて、任意の時刻における対象物体の運動を高精度に推定することができる。
【００１２】
なお、追跡可能な画素は、輝度や色などの画像情報が周辺の画素に比べて際立っている画素であり、撮像画像において追跡が容易な画素である。ちなみに、追跡可能な画素は、特徴点と同じ画素の場合もある。
【００１３】
本発明に係る画像処理方法は、対象物体を撮像した撮像画像と対象物体の特徴点の参照画像の比較により対象物体の運動を推定する際に用いる基準画像を設定する画像処理方法であって、撮像ステップと、撮像ステップで撮像した撮像画像から参照画像の特徴点と類似する複数の特徴点を検出する特徴点検出ステップと、特徴点検出ステップで検出した複数の特徴点の位置関係と参照画像の複数の特徴点の位置関係とが所定の関係を満たした場合に当該複数の特徴点が検出された撮像画像を基準画像と判定する判定ステップとを含むことを特徴とする。
【００１４】
本発明の上記画像処理方法の判定ステップでは、特徴点検出ステップで検出した複数の特徴点の類似度が所定値以上の場合に撮像ステップで撮像した撮像画像を基準画像と判定する構成としてもよい。
【００１５】
本発明に係る画像処理方法は、対象物体を撮像した撮像画像と対象物体の特徴点の参照画像の比較により対象物体の運動を推定する際に用いる基準画像を設定する画像処理方法であって、位置関係が分っている複数の撮像手段により撮像する撮像ステップと、撮像ステップで各々撮像した各撮像画像から参照画像の特徴点と類似する特徴点を検出する特徴点検出ステップと、特徴点検出ステップで検出した各撮像画像における特徴点から求められる特徴点の三次元位置を用いて、前回の撮像画像における特徴点の三次元位置から今回の撮像画像における特徴点の三次元位置への運動を推定する第１運動推定ステップと、撮像ステップで各々撮像した各撮像画像から追跡可能な画素を検出する画素検出ステップと、画素検出ステップで検出した各撮像画像における追跡可能な画素から求められる追跡可能な画素の三次元位置を用いて、前回の撮像画像における追跡可能な画素の三次元位置から今回の撮像画像における追跡可能な画素の三次元位置への運動を推定する第２運動推定ステップと、第１運動推定ステップで推定した運動と第２運動推定ステップで推定した運動との差が所定値以下の場合に当該特徴点及び追跡可能な画素が検出された撮像画像を基準画像と判定する判定ステップとを含むことを特徴とする。
【００１６】
なお、上記の各画像処理方法は、上記の各画像処理装置と同様の作用効果を有している。
【発明の効果】
【００１７】
本発明によれば、高精度な初期運動を推定できるような基準画像を設定でき、その高精度な初期運動に基づいて対象物体の運動を高精度に推定することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。
【００１９】
本実施の形態では、本発明を、対象物体を人物の顔とし、顔の運動（向きや並進運動）を推定する画像処理装置に適用する。本実施の形態に係る画像処理装置では、顔の正面向きの画像から作成した複数の特徴点の参照画像を予め保持している。そして、本実施の形態に係る画像処理装置では、参照画像と連続するフレーム（撮像画像）の中から選択された初期運動推定可能フレーム（基準画像）との間の初期運動及び連続するフレーム間のシーケンス内運動とを合成することにより、各フレームにおける顔の運動を推定する。本実施の形態には、初期運動推定対象フレームの選択手法の違いにより２つの形態があり、第１の実施の形態が顔特徴点のみを用いる手法であり、第２の実施の形態が顔特徴点と追跡用特徴点を用いる手法である。
【００２０】
顔特徴点としては、左右の目の各目尻、各目頭、口の左右の端部などの肌との境界となる箇所であり、顔の器官として意味のある箇所である。追跡用特徴点としては、周辺の画素に対して目立つ画素で、追跡が容易な画素であり（例えば、輝度が高い箇所や低い画素）、画像において意味のある箇所である。なお、顔特徴点と追跡用特徴点とは、同じ画素の場合もある。
【００２１】
画像処理装置１について具体的に説明する前に、図２を参照して、初期運動とシーケンス内運動及び初期運動推定対象フレームについて説明しておく。図２は、初期運動及びシーケンス内運動の説明図である。顔の正面を向いている画像（輝度画像）を用意し、その正面顔画像から各顔特徴点ＣＰ１〜ＣＰ６付近の矩形領域画像を切り出し、その矩形領域画像を参照画像として用意する。本実施の形態ではステレオカメラを用いて左右の画像に基づいて顔の運動を推定するので、左右の正面顔画像ＬＦＰ，ＲＦＰからそれぞれ切り出された各顔特徴点の左右の参照画像が用意される。
【００２２】
そして、顔推定処理の開始後、ステレオカメラにより人物の顔を時間的に連続して撮像し、時間的に連続した左右の撮像画像を取得する。この連続した左右のフレームＬＰＰ０，ＬＰＰ１，・・・ＬＰＰｎ、ＲＰＰ０，ＲＰＰ１，・・・ＲＰＰｎが画像シーケンスであり、この画像シーケンスから初期運動を規定するための基準フレームを選択する。
【００２３】
初期運動は、正面顔画像における顔の姿勢が基準フレームにおける顔の姿勢になるまでの間の運動であり、正面顔画像（参照画像）と基準フレームとの間の各特徴点ＣＰ１〜ＣＰ６の位置の変化からその運動が推定される。シーケンス内運動は、ある時刻でのフレームｉにおける顔の姿勢が次の時刻でのフレームｉ＋１における顔の姿勢になるまでの間の運動であり、フレームｉとフレームｉ＋１との間の各特徴点ＣＰ１〜ＣＰ６の位置の変化からその運動が推定される。任意の時刻のフレームにおける顔の運動は、この初期運動と基準フレーム以降の任意の時刻のフレームまでの各連続するフレーム間の全てのシーケンス内運動とを合成することによって推定される。
【００２４】
本実施の形態では、基準フレームを初期運動推定対象フレームと呼び、画像シーケンスの中から高精度な初期運動を推定可能なフレームを初期運動推定対象フレームとして選択する。この初期運動推定対象フレームを選択するために、各実施の形態では選択条件がそれぞれ設定されている。なお、選択条件を満たすまでは初期運動推定対象フレームが正式に決まらないが、正式に決まるまでは選択条件に最も近いフレームを基準フレームとして初期運動を推定し、顔の運動を推定する。
【００２５】
図１及び図３〜図７を参照して、第１の実施の形態に係る画像処理装置１について説明する。図１は、第１の実施の形態に係る画像処理装置の構成図である。図３は、撮像画像の一例であり、（ａ）が図１の左カメラによる左撮像画像であり、（ｂ）が図１の右カメラによる右撮像画像である。図４は、撮像画像から抽出した顔領域を示す画像の一例であり、（ａ）が左撮像画像から抽出した左顔領域であり、（ｂ）が右撮像画像から抽出した右顔領域である。図５は、顔領域から設定した各顔特徴点の候補領域を示す画像の一例であり、（ａ）が左顔領域から設定した左候補領域であり、（ｂ）が右顔領域から設定した右候補領域である。図６は、各候補領域から探索した各顔特徴点を示す画像の一例であり、（ａ）が左候補領域から探索した左顔特徴点であり、（ｂ）が右候補領域から探索した右顔特徴点である。図７は、探索した各顔特徴点間の相対位置関係と参照画像の各顔特徴点間の相対位置関係の対応関係の一例であり、（ａ）が左顔特徴点の対応関係であり、（ｂ）が右顔特徴点の対応関係である。
【００２６】
画像処理装置１は、任意の時刻におけるフレームの顔の運動（向きと並進運動）を高精度に推定するために、初期運動推定対象フレームとして参照画像を作成した際の正面顔画像における顔の向きに近いかあるいは同じ向きをした顔が撮像されたフレームを選択する。そのために、画像処理装置１では、推定対象の人物の正面顔画像を用意し、その正面顔画像における各顔特徴点の参照画像及び二次元画像上の相対的な位置関係を保持しておく。そして、画像処理装置１では、ステレオカメラから各フレームの撮像画像を取得する毎に、そのフレームの撮像画像から各顔特徴点を検出し、その検出した各顔特徴点の相対的な位置関係と正面顔画像における相対的な位置関係との比較及びその各顔特徴点を検出したときの参照画像との類似度に基づいて初期運動推定対象フレームを選択する。画像処理装置１は、カメラ２，３及び画像ＥＣＵ[Electronic Control Unit]４を備えており、画像ＥＣＵ４内に顔特徴点検出部１０，１１、初期運動推定可否判定部１２、顔運動推定部１３が構成される。
【００２７】
なお、第１実施の形態では、カメラ２，３が請求項１に記載する撮像手段に相当し、顔特徴点検出部１０，１１が請求項１に記載する特徴点検出手段に相当し、初期運動推定可否判定部１２が請求項１に記載する判定手段に相当する。
【００２８】
画像処理装置における顔の運動の推定結果の出力は、その顔の運動を示す画像をモニタに表示したりあるいは顔の運動状態を音声出力するなどしてもよい。また、このような画像処理装置１を車両に搭載した場合、運転者の顔の運動を推定し、その推定結果を信号として走行制御装置や警報装置などに提供するようにしてもよい。例えば、前車との車間距離などに応じて自動的にブレーキを作動させる装置の場合、運転者の顔の運動の推定結果から前方から視線を外していると推測できるときには通常よりもブレーキを早く作動させるなどの制御を行う。また、警報装置の場合、運転者がよそ見していると推測できるときには警報を出力するなどしてもよい。あるいは、車両以外にも人とコミュニケーションをとるロボットなどに組み込まれる構成としてもよい。
【００２９】
カメラ２，３は、水平に所定の間隔をあけて撮像対象の人物の左右に配置され、人物の顔を撮像するステレオカメラである。カメラ２で撮像された画像は左撮像画像ＬＰＰであり（図３（ａ）参照）、カメラ３で撮像された画像は右撮像画像ＲＰＰである（図３（ｂ）参照）。カメラ２，３は、ＣＣＤ［Charge coupled device］などの撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号として画像ＥＣＵ４に送信する。この際、カメラ２，３では、撮像対象を時間的に連続して撮像し、時間的に連続した画像（動画像）データを出力する。画像ＥＣＵ４では少なくとも輝度情報が有れば処理を行うことができるので、カメラ２，３はカラーカメラでもあるいは白黒カメラでもよい。なお、カメラ間隔などのカメラ２，３の位置関係についての情報やカメラ２，３の内部パラメータ、外部パラメータは、画像ＥＣＵ４に予め保持されている。
【００３０】
画像ＥＣＵ４は、ステレオ画像処理用のＥＣＵであり、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read OnlyMemory]、ＲＡＭ[Random Access Memory]などからなる。画像ＥＣＵ４では、画像処理装置１が起動されると、ＲＯＭに記憶されている専用のアプリケーションプログラムをＲＡＭにロードし、ＣＰＵによってそのプログラムに記述された各処理を実行することによって各処理部１０〜１３が構成される。画像ＥＣＵ４では、カメラ２，３から左右の撮像画像（ステレオ画像）を連続的に（例えば、１／３０秒毎）取り入れ、各フレームにおける顔の運動を推定する。その際、画像ＥＣＵ４では、初期運動推定対象フレームが確定するまで、各フレームの撮像画像を取り入れる毎にそのフレームが初期運動推定対象フレームに適しているか否かの判定を行う。
【００３１】
画像ＥＣＵ４では、正面の顔領域の参照画像、各顔特徴点の参照画像及び正面顔画像における各顔特徴点の相対的な位置関係を保持している。相対的な位置関係は、６つの顔特徴点の重心を求め、その重心に対する各顔特徴点の相対的な位置の情報ＬＲＰ，ＲＲＰである（図７参照）。正面顔画像は、任意の人物の顔でもよいが、顔の運動を推定する対象の人物の顔が望ましい。というのは、初期運動推定対象フレームを選択するために顔特徴点の相対的な位置関係の比較を行うが、目や口などの相対的な位置関係は個人によって異なるので、本人の位置関係を使って比較をしたほうが精度が向上するからである。なお、画像ＥＣＵ４では、参照画像及び相対的な位置関係を予め保持しておいてもよいが、処理開始時に推定対象の人物の正面を向いている顔を撮像し、その正面顔画像から各参照画像を切り出すとともに各顔特徴点の相対的な位置を算出し、保持するようにしてもよい。また、ステレオカメラによる左右の画像について各種処理を行うので、参照画像及び相対的な位置関係については左右の画像に対するものがそれぞれ用意される。
【００３２】
画像ＥＣＵ４では、各フレームの撮像画像を入力する毎に、前処理として左右の撮像画像に対してカメラキャリブレーションを行い、さらに、左右の撮像画像の平行化を行う。そして、画像ＥＣＵ４では、その左右の撮像画像をＲＡＭの所定の領域に保存するとともに、カラー画像の場合には輝度画像に変換する。
【００３３】
顔特徴点検出部１０，１１では、各フレームの左撮像画像ＬＰＰ又は右撮像画像ＲＰＰに対して同様の処理を行い、各フレームの撮像画像から全ての顔特徴点を検出する。具体的には、顔特徴点検出部１０，１１では、顔領域の左右の各参照画像を用いて、テンプレートマッチングによって撮像画像ＬＰＰ，ＲＰＰから顔領域ＬＦＡ，ＲＦＡを探索する（図４参照）。そして、顔特徴点検出部１０，１１では、左右の顔領域ＬＦＡ，ＲＦＡにおいて、各顔特徴点が存在する可能性のある候補領域ＬＣＡ１〜ＬＣＡ６，ＲＣＡ１〜ＲＣＡ６をそれぞれ設定する（図５参照）。さらに、顔特徴点検出部１０，１１では、顔特徴点用の左右の参照画像を用いて、テンプレートマッチングによって各候補領域ＬＣＡ１〜ＬＣＡ６，ＲＣＡ１〜ＲＣＡ６から顔特徴点ＬＣＰ１〜ＬＣＰ６，ＲＣＰ１〜ＲＣＰ６を探索する（図６参照）。
【００３４】
顔領域や顔特徴点の探索方法としては、顔領域の参照画像または顔特徴点用の参照画像毎に、撮像画像（輝度画像）または候補領域の輝度画像から各参照画像と対応する大きさの領域を順次切り出し、その切り出した領域の輝度画像と各参照画像との類似度を順次算出し、類似度が最も大きくなる位置を探索するかあるいは類似度が予め設定した閾値以上となる位置を探索する。また、候補領域の設定方法としては、顔領域の参照画像及び顔特徴点の参照画像を作成する際に用いた正面顔画像における各顔特徴点の相対的な位置関係から想定可能な最大範囲で領域を設定する。
【００３５】
初期運動推定可否判定部１２では、左撮像画像ＬＰＰから検出した顔特徴点ＬＣＰ１〜ＬＣＰ６及び右撮像画像ＲＰＰから検出した顔特徴点ＲＣＰ１〜ＲＣＰ６について、その重心ＬＣＧ，ＲＣＧをそれぞれ算出し、その重心に対する各顔特徴点の相対的な位置をそれぞれ算出する（図７参照）。そして、初期運動推定可否判定部１２では、算出した左右の相対的な位置関係と保持している左右の相対的な位置関係との差をそれぞれ算出する（図７参照）。ここでは、重心に対する各顔特徴点との相対的な位置について実際に算出した値と保持している値との差を求めるが、６つの顔特徴点について全て求めてもよいし、６つの顔特徴点うちの複数の顔特徴点（例えば、左右の各目、口から各一点づつ）でもよい。さらに、初期運動推定可否判定部１２では、全ての顔特徴点ＬＣＰ１〜ＬＣＰ６，ＲＣＰ１〜ＲＣＰ６の類似度が閾値以上かつ左右の相対的な位置関係の差が一定値以内か否かを判定する。この一定値は、２つの相対的な位置関係が近いと見なせる値が予め設定される。そして、初期運動推定可否判定部１２では、この条件を満たす場合にはその顔特徴点ＬＣＰ１〜ＬＣＰ６，ＲＣＰ１〜ＲＣＰ６を検出したフレームを初期運動推定対象フレームとして選択する。また、初期運動推定可否判定部１２では、この条件を満たさない場合にはこれまで判定した全てのフレームの中から条件に最も近いフレームの基準フレームとして選択する。
【００３６】
なお、初期運動推定可否判定部１２では初期運動推定対象フレームを選択すると以降のフレームに対して判定処理を行わないが、顔の運動を推定している間は常に判定処理を行い、以前のフレームよりも左右の相対的な位置関係の差が小さいフレームが現れる毎に初期運動推定対象フレームを更新するようにしてもよい。つまり、常に、参照画像を作成した際の正面顔画像における顔の向きに近い撮像画像のフレームを選択し続ける。また、初期運動推定可否判定部１２では左右の顔特徴点について二次元位置（二次元座標）の相対的な位置関係を用いて判定したが、左右の顔特徴点の二次元位置から三次元位置（三次元座標）を求め、顔特徴点の三次元位置の相対的な位置関係を用いて判定してもよい。
【００３７】
顔運動推定部１３では、初期運動推定可否判定部１２で初期運動推定対象フレームが選択されている場合、参照画像の各顔特徴点の位置とその初期運動推定対象フレームから検出した各顔特徴点の位置との変化から初期運動（回転運動、並進運動）を算出し、この初期運動を記憶する。初期運動推定対象フレームが更新されない場合、以降のフレームについては初期運動を算出しない。また、顔運動推定部１３では、初期運動推定可否判定部１２で初期運動推定対象フレームが選択されていない場合、基準フレームが更新される毎に、参照画像の各顔特徴点の位置と基準フレームから検出した各顔特徴点の位置との変化から初期運動を算出し、この初期運動を記憶する。
【００３８】
さらに、顔運動推定部１３では、各フレームの撮像画像を取り入れる毎に、前フレームから検出した各顔特徴点の位置と現フレームから検出した各顔特徴点の位置との変化からシーケンス内運動（回転運動、並進運動）を算出し、このシーケンス内運動を記憶する。そして、顔運動推定部１３では、初期運動に初期運動推定対象フレームまたは基準フレームから現フレームまでの全てのシーケンス内運動を合成し、現フレームの顔の運動（回転運動、並進運動）を推定する。
【００３９】
なお、各運動を算出する際に、左右の各顔特徴点の二次元位置（二次元座標）から各顔特徴点の三次元位置（三次元座標）を算出し、各顔特徴点の三次元位置から運動を算出してもよいし、あるいは、左右の各顔特徴点の二次元位置の一方または左右両方の二次元位置から運動を算出してもよい。顔運動の推定手法としては、例えば、文献「Error analysis of head pose and gaze direction from stereo vision、Alexander Zelinsky」に記載されている手法を用いる。
【００４０】
図１を参照して、画像処理装置１の動作について説明する。特に、画像ＥＣＵ４における初期運動推定対象フレーム選択処理については図８のフローチャートに沿って説明する。図８は、図１の画像ＥＣＵにおける初期運動推定対象フレーム選択処理の流れを示すフローチャートである。
【００４１】
カメラ２，３では、人物の顔を連続的に撮像し、その撮像画像のデータを画像ＥＣＵ４に順次送信する。画像ＥＣＵ４では、その左右の撮像画像を順次取り入れ、前処理を行った各撮像画像をＲＡＭに保持する（Ｓ１，Ｓ２）。
【００４２】
画像ＥＣＵ４では、各フレームの左右の撮像画像を取得する毎に、保持している正面顔の左用の参照画像を用いて左撮像画像から顔領域を抽出するとともに、保持している正面顔の右用の参照画像を用いて右撮像画像から顔領域を抽出する（Ｓ３，Ｓ４）。そして、画像ＥＣＵ４では、左撮像画像の顔領域内において各顔特徴点の候補領域をそれぞれ設定するとともに、右撮像画像の顔領域内において各顔特徴点の候補領域をそれぞれ設定する（Ｓ５，Ｓ６）。さらに、画像ＥＣＵ４では、保持している各顔特徴点の左用の参照画像を用いて左撮像画像の各候補領域内で各顔特徴点を探索するとともに、保持している各顔特徴点の右用の参照画像を用いて右撮像画像の各候補領域内で各顔特徴点を探索する（Ｓ７，Ｓ８）。
【００４３】
画像ＥＣＵ４では、左撮像画像から検出した各顔特徴点及び右撮像画像から検出した各顔特徴点から、全ての顔特徴点の各類似度が閾値以上かつ検出した各顔特徴点の類似位置の二次元画像上での相対的な位置関係と参照画像における各顔特徴点の相対的な位置関係との差が一定値以内か否かを判定する（Ｓ９）。そして、画像ＥＣＵ４では、その判定条件を満たす場合には現フレームを初期運動推定対象フレームとして選択し、その判定条件を満たさない場合には現フレームまでの判定結果から最も判定条件に近いフレームを基準フレームとして選択する（Ｓ９）。
【００４４】
画像ＥＣＵ４では、現フレームを初期運動推定対象フレームとして選択した場合、現フレームから検出した各顔特徴点の位置に基づいて初期運動を推定し、その推定した初期運動を記憶する。また、画像ＥＣＵ４では、現フレームで基準フレームを更新した場合、現フレームから検出した各顔特徴点の位置に基づいて初期運動を推定し、その推定した初期運動を記憶する。さらに、画像ＥＣＵ４では、各フレームの左右の撮像画像を取得する毎に、前フレームから検出した各顔特徴点の位置と現フレームから検出した各顔特徴点の位置に基づいてシーケンス内運動を推定し、このシーケンス内運動を記憶する。そして、画像ＥＣＵ４では、各フレームの左右の撮像画像を取得する毎に、初期運動に初期運動推定対象フレームまたは基準フレームから現フレームまでの全てのシーケンス内運動を合成し、現フレームの顔の運動を推定する。
【００４５】
この画像処理装置１によれば、参照画像の複数の顔特徴点と各フレームの複数の顔特徴点と相対的な位置関係を考慮して初期運動推定対象フレームを選択しているので、参照画像を作成したときの正面顔画像と近いかあるいは一致する顔の向きの撮像画像を初期運動推定対象フレームとして設定することができる。その結果、この設定した初期運動推定対象フレームにより精度の高い初期運動を推定でき、この高精度な初期運動に基づいて顔の運動を高精度に推定することができる。
【００４６】
さらに、画像処理装置１では、各顔特徴点の参照画像との類似度も加味して初期運動推定対象フレームを選択しているので、初期運動の精度をより高めるような初期運動推定対象フレームを設定することができる。
【００４７】
次に、図９〜図１６を参照して、第２の実施の形態に係る画像処理装置２１について説明する。図９は、第２の実施の形態に係る画像処理装置の構成図である。図１０は、二次元の左右の顔特徴点から求められた三次元の顔特徴点を示す図である。図１１は、前フレームにおける三次元の顔特徴点と現フレームにおける三次元の顔特徴点とを示す図である。図１２は、顔領域から検出した各追跡用特徴点を示す画像の一例であり、（ａ）が左顔領域から検出した左追跡用特徴点であり、（ｂ）が右顔領域から検出した右追跡用特徴点である。図１３は、各候補領域で追跡した各追跡用特徴点を示す画像の一例であり、（ａ）が左候補領域で追跡した左追跡用特徴点であり、（ｂ）が右候補領域で追跡した右追跡用特徴点である。図１４は、二次元の左右の追跡用特徴点から求められた三次元の追跡用特徴点を示す図である。図１５は、前フレームで検出された三次元の追跡用特徴点と現フレームで追跡された三次元の追跡用特徴点とを示す図である。図１６は、顔特徴点運動と追跡用特徴点運動との対応を示す図である。なお、画像処理装置２１では、第１の実施の形態に係る画像処理装置１と同様の構成については同一の符号を付し、その説明を省略する。
【００４８】
画像処理装置２１は、任意の時刻におけるフレームの顔の運動を高精度に推定するために、初期運動推定対象フレームとして顔特徴点に基づいて求めたフレーム間の顔運動と追跡用特徴点に基づいて求めたフレーム間の顔運動が近いかあるいは同じ運動のときのフレームを選択する。そのために、画像処理装置２１では、推定対象の人物の正面顔画像を用意し、その正面顔画像における各顔特徴点の参照画像を保持しておく。そして、画像処理装置２１では、ステレオカメラから各フレームの撮像画像を取得する毎に、そのフレームの左右の撮像画像から各顔特徴点（二次元位置）をそれぞれし、その左右の二次元位置から各顔特徴点の三次元位置を求める。また、画像処理装置２１では、ステレオカメラから各フレームの撮像画像を取得する毎に、そのフレームの左右の撮像画像から各追跡用特徴点（二次元位置）をそれぞれ検出及び追跡し、その左右の二次元位置から各追跡用特徴点の三次元位置を求める。そして、画像処理装置２１では、連続する３つのフレームにまたがる顔特徴点の各運動と追跡用特徴点の各運動との比較に基づいて初期運動推定対象フレームを選択する。画像処理装置２１は、カメラ２，３及び画像ＥＣＵ２４を備えており、画像ＥＣＵ２４内に顔特徴点検出部１０，１１、第１顔運動推定部３０、追跡用特徴点検出・追跡部３１，３２、第２顔運動推定部３３、初期運動推定可否判定部３４、顔運動推定部３５が構成される。
【００４９】
なお、第２の実施の形態では、カメラ２，３が請求項３に記載する複数の撮像手段に相当し、顔特徴点検出部１０，１１が請求項３に記載する特徴点検出手段に相当し、第１顔運動推定部３０が請求項３に記載する第１運動推定手段に相当し、追跡用特徴点検出・追跡部３１，３２が請求項３に記載する画素検出手段に相当し、第２顔運動推定部３３が請求項３に記載する第２運動推定手段に相当し、初期運動推定可否判定部３４が請求項３に記載する判定手段に相当する。
【００５０】
画像ＥＣＵ２４は、第１の実施の形態に係る画像ＥＣＵ４と同様のステレオ画像処理用のＥＣＵであり、顔の運動を推定するために各処理部１０，１１，３０〜３５が構成される。画像ＥＣＵ２４では、画像ＥＣＵ４とは異なる方法により、初期運動推定対象フレームを選択する。また、画像ＥＣＵ２４では、正面の顔領域の参照画像、各顔特徴点の参照画像は保持しているが、正面顔画像における各顔特徴点の相対的な位置関係は保持していない。
【００５１】
第１顔運動推定部３０では、左撮像画像ＬＰＰから検出した顔特徴点ＬＣＰ１〜ＬＣＰ６の二次元座標及び右撮像画像ＲＰＰから検出した顔特徴点ＲＣＰ１〜ＲＣＰ６の二次元座標を用いて（図６参照）、カメラ２，３の各パラメータを使って、三角測量の原理から各顔特徴点ＣＰ１〜ＣＰ６の三次元座標をそれぞれ算出し、その各顔特徴点ＣＰ１〜ＣＰ６の三次元座標を記憶する（図１０参照）。そして、第１顔運動推定部３０では、その算出した現フレームにおける各顔特徴点ＣＰ１〜ＣＰ６の三次元座標と記憶している前フレームにおける各顔特徴点ＰＣＰ１〜ＰＣＰ６の三次元座標を用いて、フレーム間の各顔特徴点の位置の変化からフレーム間の顔運動（回転運動、並進運動）を算出し（図１１参照）、このフレーム間の顔運動（すなわち、シーケンス内運動）を記憶する。つまり、このフレーム間の顔運動は、前フレームで検出された各顔特徴点ＰＣＰ１〜ＰＣＰ６の位置が現フレームで検出された各顔特徴点ＣＰ１〜ＣＰ６の位置まで移動するための運動である。
【００５２】
追跡用特徴点検出・追跡部３１，３２では、各フレームの左撮像画像ＬＰＰ又は右撮像画像ＲＰＰに対して同様の処理を行い、各フレームの撮像画像から追跡用特徴点を検出するとともに前フレームで検出されている追跡用特徴点を追跡する。具体的には、追跡用特徴点検出・追跡部３１，３２では、正面の顔の左右の各参照画像を用いて、テンプレートマッチングによって現フレームの撮像画像ＬＰＰ，ＲＰＰから顔領域ＬＦＡ，ＲＦＡを探索する（図４参照）。そして、追跡用特徴点検出・追跡部３１，３２では、現フレームの左右の顔領域ＬＦＡ，ＲＦＡから周辺に対して目立つ画素を追跡用特徴点ＬＴＰ１’〜ＬＴＰ４’，ＲＴＰ１’〜ＲＴＰ４’としてそれぞれ検出し、その検出した各追跡用特徴点ＬＴＰ１’〜ＬＴＰ４’，ＲＴＰ１’〜ＲＴＰ４’の二次元座標を記憶する（図１２参照）。この目立つ画素の抽出手法としては、輝度値が予め設定した閾値以上（あるいは、閾値以下）の画素を抽出したり、あるいは、エッジ処理によって抽出する。さらに、追跡用特徴点検出・追跡部３１，３２では、追跡用特徴点ＬＴＰ１’〜ＬＴＰ４’，ＲＴＰ１’〜ＲＴＰ４’を中心とする矩形領域を切り出し、この切り出し領域の画像を各追跡用特徴点の参照画像として記憶する。
【００５３】
さらに、追跡用特徴点検出・追跡部３１，３２では、前フレームで検出した追跡用特徴点ＬＴＰ１’〜ＬＴＰ４’，ＲＴＰ１’〜ＲＴＰ４’の二次元座標を用いて、現フレームの左右の顔領域ＬＦＡ，ＲＦＡから前フレームの追跡用特徴点ＬＴＰ１’〜ＬＴＰ４’，ＲＴＰ１’〜ＲＴＰ４’を中心とする矩形領域を切り出し、追跡用特徴点の候補領域ＬＴＡ１〜ＬＴＡ４，ＲＴＡ１〜ＲＴＡ４としてそれぞれ設定する（図１３参照）。そして、追跡用特徴点検出部・追跡部３１，３２では、前フレームで検出した各追跡用特徴点ＬＴＰ１’〜ＬＴＰ４’，ＲＴＰ１’〜ＲＴＰ４’の左右の参照画像を用いて、テンプレートマッチングによって各候補領域ＬＴＡ１〜ＬＴＡ４，ＲＴＡ１〜ＲＴＡ４から追跡用特徴点ＬＴＰ１”〜ＬＴＰ４”，ＲＴＰ１”〜ＲＴＰ４”を探索する（図１３参照）。
【００５４】
このように、現フレームにおいては、顔領域から新たな追跡用特徴点が検出されるとともに、前フレームで検出された追跡用特徴点に対する各候補領域から前フレームの追跡用特徴点が探索（追跡）される。そのため、現フレームにおいては、検出された追跡用特徴点と探索された追跡用特徴点とは一致する場合もあれば、一致しない場合もある。また、前フレームで検出された追跡用特徴点の中には、現フレームにおいては探索される追跡用特徴点もあれば、探索されたい追跡用特徴点もある。
【００５５】
なお、フレーム間での顔の動きは小さいと考えられるので、検出した追跡用特徴点を中心にして前フレームから現フレームへのフレーム間で動き得る最大領域分を加算した画素を候補領域とする。フレーム間で動き得る最大領域は、例えば、カメラ２，３で撮像される顔が行う動作の中で最速の場合に移動する画素数の２倍＋１を一辺とする矩形領域である。
【００５６】
第２顔運動推定部３３では、左顔領域ＬＦＡから検出した追跡用特徴点ＬＴＰ１’〜ＬＴＰ４’の二次元座標及び右顔領域ＲＦＡから検出した追跡用特徴点ＲＴＰ１’〜ＲＴＰ４’の二次元座標を用いて（図１２参照）、カメラ２，３の各パラメータを使って、三角測量の原理から各追跡用特徴点ＴＰ１’〜ＴＰ４’の三次元座標をそれぞれ算出し、その各追跡用特徴点ＴＰ１’〜ＴＰ４’の三次元座標を記憶する。また、第２顔運動推定部３３では、各左候補領域ＬＴＡ１〜ＬＴＡ４から探索した追跡用特徴点ＬＴＰ１”〜ＬＴＰ４”の二次元座標及び右候補領域ＲＴＡ１〜ＲＴＡ４から探索した追跡用特徴点ＲＴＰ１”〜ＲＴＰ４”の二次元座標を用いて（図１３参照）、カメラ２，３の各パラメータを使って、三角測量の原理から各追跡用特徴点ＴＰ１”〜ＴＰ４”の三次元座標をそれぞれ算出する（図１４参照）。
【００５７】
そして、第２顔運動推定部３３では、その算出した現フレームで探索した各追跡用特徴点ＴＰ１”〜ＴＰ４”の三次元座標と記憶している前フレームで検出した各追跡用特徴点ＴＰ１’〜ＴＰ４’の三次元座標を用いて、フレーム間の各追跡用特徴点の位置の変化からフレーム間の顔運動（回転運動、並進運動）を算出し（図１５参照）、このフレーム間の顔運動（すなわち、シーケンス内運動）を記憶する。つまり、このフレーム間の顔運動は、前フレームで検出された各追跡用特徴点ＴＰ１’〜ＴＰ４’の位置が現フレームで探索された各追跡用特徴点ＴＰ１”〜ＴＰ”の位置まで移動するための運動である。
【００５８】
ここまでの処理によって、目尻、目頭や口の端部などの顔として意味を持つ顔特徴点を各フレームから検出し、そのフレーム間の顔運動を推定するとともに、目立つ画素として画像として意味を持つ追跡用特徴点を前フレームで検出し、その検出した前フレームの追跡用特徴点を現フレームで追跡し、そのフレーム間の顔運動を推定する。このように独立に推定された２つの処理でのフレーム間の運動が近いかあるいは一致していれば、確からしい推定が両方の処理で行われたと判断できる。つまり、正面顔画像から作成された各顔特徴点の参照画像として、それらに対応する位置を各フレームから探索する処理も高精度に行われたと判断できる。そこで、このような２つの処理でのフレーム間の運動が近いかあるいは一致している状態が連続して続いた場合（つまり、２つの処理での現フレームと前フレームとの間の運動及び前フレームと前々フレームとの間の運動が共に近いかあるいは一致している場合）、その真中のフレーム（すなわち、前フレーム）を初期運動推定対象フレームとする。
【００５９】
初期運動推定可否判定部３４では、顔特徴点に基づいて求められた現フレームと前フレーム間の運動と追跡用特徴点に基づいて求められた現フレームと前フレーム間の運動との各運動要素の差の絶対値の累積値、顔特徴点に基づいて求められた前フレームと前々フレーム間の運動と追跡用特徴点に基づいて求められた前フレームと前々フレーム間の運動との各運動要素の差の絶対値の累積値をそれぞれ算出する。２つの運動間の運動要素の差の絶対値の累積値は、回転運動におけるｘ軸、ｙ軸、ｚ軸の各軸周りの回転量の差の各絶対値及び並進運動におけるｘ軸、ｙ軸、ｚ軸の各軸方向の移動量の差の各絶対値を全て累積した値である。初期運動推定可否判定部３４では、算出した２つの累積値が共に閾値以下か否かを判定する。この閾値は、２つの処理による各運動が近いと見なせる値が予め設定される。そして、初期運動推定可否判定部３４では、共に閾値以下の場合には前フレームを初期運動推定対象フレームとして選択する。また、初期運動推定可否判定部３４では、いずれか一方でも閾値より大きい場合にはこれまで判定した中から累積値が最も小さい３フレーム間の各運動の真中のフレームを基準フレームとして選択する。
【００６０】
なお、初期運動推定可否判定部３４では初期運動推定対象フレームを選択すると以降のフレームに対して判定処理を行わないが、顔の運動を推定している間は常に判定処理を行い、以前の３フレーム間の各運動よりも累積値が小さい３フレーム間の各運動が現れる毎に初期運動推定対象フレームを更新するようにしてもよい。つまり、常に、独立した処理による各運動のより確からしい推定を選択し続ける。
【００６１】
図１６に示すように、各フレーム（ｎ，ｎ＋１，・・・）において検出した顔特徴点の位置をＰ（ｎ）＿ｉ，Ｐ（ｎ＋１）＿ｉ，・・・とし、その各フレーム間の運動をｍｏｖｅ＿ｆ（ｎ→ｎ＋１），ｍｏｖｅ＿ｆ（ｎ＋１→ｎ＋２），・・・とする。また、各フレーム（ｎ，ｎ＋１，・・・）において検出した追跡用特徴点の位置をＰ’（ｎ）＿ｉ，Ｐ’（ｎ＋１）＿ｉ，・・・とし、この検出した追跡用特徴点Ｐ’（ｎ）＿ｉ，Ｐ’（ｎ＋１）＿ｉ，・・・についてその次の各フレーム（ｎ＋１，・・・）で追跡した追跡用特徴点の位置をＰ”（ｎ＋１）＿１，・・・とし、その各フレーム間の運動をｍｏｖｅ＿ｐ（ｎ→ｎ＋１），ｍｏｖｅ＿ｐ（ｎ＋１→ｎ＋２），・・・とする。例えば、フレームｎ＋４が現フレームであり、ｍｏｖｅ＿ｆ（ｎ＋３→ｎ＋４）とｍｏｖｅ＿ｐ（ｎ＋３，ｎ＋４）との各運動要素の差の絶対値の累積値及びｍｏｖｅ＿ｆ（ｎ＋２→ｎ＋３）とｍｏｖｅ＿ｐ（ｎ＋２，ｎ＋３）との各運動要素の差の絶対値の累積値が共に閾値以下の場合、フレームｎ＋３を初期運動推定対象フレームとして選択する。
【００６２】
顔運動推定部３５では、第１の実施の形態に係る顔運動推定部１３と同様の処理により、初期運動を算出し、この初期運動を記憶する。そして、顔運動推定部３５では、第１顔運動推定部３０で算出したフレーム間の運動をシーケンス内運動（回転運動、並進運動）として、このシーケンス内運動を記憶する。そして、顔運動推定部３５では、第１の実施の形態に係る顔運動推定部１３と同様の処理により、現フレームの顔の運動（回転運動、並進運動）を推定する。なお、顔運動推定部３５では、各運動を算出する際に、左右の各顔特徴点の三次元位置から運動を算出する。
【００６３】
図９を参照して、画像処理装置２１の動作について説明する。特に、画像ＥＣＵ２４における顔特徴点運動推定処置については図１７のフローチャートに沿って説明し、追跡用特徴点運動推定処理については図１８のフローチャートに沿って説明し、初期運動推定対象フレーム決定処理については図１９のフローチャートに沿って説明する。図１７は、図９の画像ＥＣＵにおける顔特徴点運動推定処理の流れを示すフローチャートである。図１８は、図９の画像ＥＣＵにおける追跡用特徴点運動推定処理の流れを示すフローチャートである。図１９は、図９の画像ＥＣＵにおける初期運動推定対象フレーム決定処理の流れを示すフローチャートである。
【００６４】
カメラ２，３では、人物の顔を連続的に撮像し、その撮像画像のデータを画像ＥＣＵ２４に順次送信する。
【００６５】
そして、画像ＥＣＵ２４では、第１の実施の形態に係る画像ＥＣＵ４におけるＳ１〜Ｓ８（図８参照）の処理と同様の処理であるＳ１１〜Ｓ１８の処理を行い、左右の撮像画像から左右の各顔特徴点（二次元座標）をそれぞれ探索する。
【００６６】
画像ＥＣＵ２４では、左右の各顔特徴点の二次元座標を用いて各顔特徴点の三次元座標を算出し、各フレームにおける各顔特徴点の三次元座標を記憶する（Ｓ１９）。そして、画像ＥＣＵ２４では、前フレームと現フレームで探索した対応する各顔特徴点について、その前フレームにおける各三次元座標から現フレームにおける各三次元座標に変換するための運動（回転運動、並進運動）を推定し、そのフレーム間の運動（シーケンス内運動）を記憶する（Ｓ２０）。
【００６７】
また、画像ＥＣＵ２４では、上記のＳ１１〜Ｓ１４の処理に相当するＳ３１〜Ｓ３４の処理により顔領域を抽出すると、左撮像画像の顔領域内から目立つ画像である追跡用特徴点をそれぞれ検出するとともに右撮像画像の顔領域内から追跡用特徴点をそれぞれ検出する（Ｓ３５，Ｓ３６）。そして、画像ＥＣＵ２４では、左撮像画像から検出した左用の各追跡用特徴点の二次元座標を中心とする領域をそれぞれ切り出すとともに右撮像画像から検出した右用の各追跡用特徴点の二次元座標を中心とする領域をそれぞれ切り出し、各フレームにおける左右の各追跡用特徴点の二次元座標及びその切り出した画像を各追跡用特徴点の参照画像として記憶する。
【００６８】
さらに、画像ＥＣＵ２４では、現フレームにおいて、左撮像画像の顔領域内に前フレームで検出した左用の各追跡用特徴点の二次元座標を中心とする各追跡用特徴点の候補領域をそれぞれ設定するとともに、右撮像画像の顔領域内に前フレームで検出した右用の各追跡用特徴点の二次元座標を中心とする各追跡用特徴点の候補領域をそれぞれ設定する。そして、画像ＥＣＵ２４では、現フレームにおいて、前フレームから切り出した各追跡用特徴点の左用の参照画像を用いて左撮像画像の各候補領域内で各追跡用特徴点をそれぞれ追跡するとともに、前フレームから切り出した各追跡用特徴点の右用の参照画像を用いて右撮像画像の各候補領域内で各追跡用特徴点をそれぞれ追跡する（Ｓ３７，Ｓ３８）。
【００６９】
画像ＥＣＵ２４では、現フレームで検出した左右の各追跡用特徴点の二次元座標を用いて各追跡用特徴点の三次元座標を算出し、その算出した各追跡用特徴点の三次元座標を記憶する（Ｓ３９）。また、画像ＥＣＵ２４では、現フレームで追跡した左右の各追跡用特徴点の二次元座標を用いて各追跡用特徴点の三次元座標を算出し、その算出した各追跡用特徴点の三次元座標を記憶する（Ｓ３９）。そして、画像ＥＣＵ２４では、前フレームで検出されかつ現フレームで追跡された各追跡用特徴点について、その前フレームで検出した各三次元座標から現フレームで追跡した各三次元座標に変換するための運動（回転運動、並進運動）を推定し、そのフレーム間の運動を記憶する（Ｓ４０）。
【００７０】
画像ＥＣＵ２４では、現フレームと前フレーム間の顔特徴点によって推定された運動と追跡用特徴点によって推定された運動との各運動要素の差の絶対値の累積値を算出し、その累積値を記憶する（Ｓ５１）。そして、画像ＥＣＵ２４では、現フレームと前フレーム間の運動における累積値及び前フレームと前々フレーム間の運動における累積値が共に閾値以下か否かを判定する（Ｓ５２）。そして、画像ＥＣＵ２４では、共に閾値以下の場合には前フレームを初期運動推定対象フレームとして選択し、いずれか一方でも閾値より大きい場合には現フレームまでの判定結果から最も累積値が小さい３フレーム間の真中のフレームを基準フレームとして選択する（Ｓ５２）。
【００７１】
画像ＥＣＵ２４では、現フレームで初期運動推定対象フレームを選択した場合、前フレームから検出した各顔特徴点の三次元位置に基づいて初期運動を推定し、その推定した初期運動を記憶する。また、画像ＥＣＵ２４では、現フレームで基準フレームを更新した場合、前フレームから検出した各顔特徴点の三次元位置に基づいて初期運動を推定し、その推定した初期運動を記憶する。そして、画像ＥＣＵ２４では、各フレームの左右の撮像画像を取得する毎に、初期運動に初期運動推定対象フレームまたは基準フレームから現フレームまでの全てのシーケンス内を合成し、現フレームの顔の運動を推定する。
【００７２】
この画像処理装置２１によれば、顔特徴点に基づくフレーム間の運動と追跡用特徴点に基づくフレーム間の運動を考慮して初期運動推定対象フレームを選択しているので、高精度な初期運動推定対象フレームを設定することができる。その結果、この設定した初期運動推定対象フレームにより精度の高い初期運動を推定でき、この高精度な初期運動に基づいて顔の運動を高精度に推定することができる。
【００７３】
さらに、画像処理装置２１では、３つのフレーム間にまたがる２つの運動が共に確からしい場合にその真中のフレームを初期運動推定対象フレームとして選択しているので、初期運動の精度をより高めるような初期運動推定対象フレームを設定することができる。
【００７４】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００７５】
例えば、本実施の形態では対象物体として顔を適用したが、人の体や車両など他の物体に適用可能である。
【００７６】
また、本実施の形態では画像ＥＣＵでアプリケーションプログラム（ソフトウエア）を実行することによって各処理部を構成したが、パーソナルコンピュータなどのコンピュータ上に各処理部を構成してもよいし、あるいは、ハードウエアによって各処理部を構成してもよい。
【００７７】
また、本実施の形態では輝度情報を用いて特徴点検出などを行う構成としたが、彩度、ＲＧＢの色情報などの他の画像情報を用いて行ってもよい。
【００７８】
また、本実施の形態では正面を向いている顔の画像から参照画像を作成したが、正面以外の方向を向いている顔の画像から参照画像を作成してもよい。
【００７９】
また、第１の実施の形態では初期運動推定対象フレームを選択するための判定において各特徴点の類似度の条件も判定条件としたが、特徴点の相対的な位置関係の条件のみを判定条件としてもよい。
【００８０】
また、第１の実施の形態ではステレオカメラによる２台のカメラでそれぞれ撮像した左右の撮像画像を用いて初期運動推定対象フレームを設定する構成としたが、１台のカメラで撮像した撮像画像だけを用いて初期運動推定対象フレームを設定する構成としてもよい。
【００８１】
また、第２の実施の形態では追跡用特徴点として輝度が周辺の画素に対して際立っている画素としたが、輝度以外にも彩度、ＲＧＢなどの他の画像情報が周辺の画素に対して際立っている画素としてもよい。
【００８２】
また、第２の実施の形態では３つのフレーム間にまたがる２つに運動にそれぞれ確からしさを判定し、共に確からしい運動の場合にその真中のフレームを初期運動推定対象フレームとして選択する構成としたが、２つのフレーム間の運動について確からしさを判定する構成としてもよいし、４つ以上のフレーム間にまたがる運動についてそれぞれ確からしさを判定する構成としてもよい。
【図面の簡単な説明】
【００８３】
【図１】第１の実施の形態に係る画像処理装置の構成図である。
【図２】初期運動及びシーケンス内運動の説明図である。
【図３】撮像画像の一例であり、（ａ）が図１の左カメラによる左撮像画像であり、（ｂ）が図１の右カメラによる右撮像画像である。
【図４】撮像画像から抽出した顔領域を示す画像の一例であり、（ａ）が左撮像画像から抽出した左顔領域であり、（ｂ）が右撮像画像から抽出した右顔領域である。
【図５】顔領域から設定した各顔特徴点の候補領域を示す画像の一例であり、（ａ）が左顔領域から設定した左候補領域であり、（ｂ）が右顔領域から設定した右候補領域である。
【図６】各候補領域から探索した各顔特徴点を示す画像の一例であり、（ａ）が左候補領域から探索した左顔特徴点であり、（ｂ）が右候補領域から探索した右顔特徴点である。
【図７】探索した各顔特徴点間の相対位置関係と参照画像の各顔特徴点間の相対位置関係の対応関係の一例であり、（ａ）が左顔特徴点の対応関係であり、（ｂ）が右顔特徴点の対応関係である。
【図８】図１の画像ＥＣＵにおける初期運動推定対象フレーム選択処理の流れを示すフローチャートである。
【図９】第２の実施の形態に係る画像処理装置の構成図である。
【図１０】二次元の左右の顔特徴点から求められた三次元の顔特徴点を示す図である。
【図１１】前フレームにおける三次元の顔特徴点と現フレームにおける三次元の顔特徴点とを示す図である。
【図１２】顔領域から検出した各追跡用特徴点を示す画像の一例であり、（ａ）が左顔領域から検出した左追跡用特徴点であり、（ｂ）が右顔領域から検出した右追跡用特徴点である。
【図１３】各候補領域で追跡した各追跡用特徴点を示す画像の一例であり、（ａ）が左候補領域で追跡した左追跡用特徴点であり、（ｂ）が右候補領域で追跡した右追跡用特徴点である。
【図１４】二次元の左右の追跡用特徴点から求められた三次元の追跡用特徴点を示す図である。
【図１５】前フレームで検出された三次元の追跡用特徴点と現フレームで追跡された三次元の追跡用特徴点とを示す図である。
【図１６】顔特徴点運動と追跡用特徴点運動との対応を示す図である。
【図１７】図９の画像ＥＣＵにおける顔特徴点運動推定処理の流れを示すフローチャートである。
【図１８】図９の画像ＥＣＵにおける追跡用特徴点運動推定処理の流れを示すフローチャートである。
【図１９】図９の画像ＥＣＵにおける初期運動推定対象フレーム決定処理の流れを示すフローチャートである。
【符号の説明】
【００８４】
１，２１…画像処理装置、２…左カメラ、３…右カメラ、４，２４…画像ＥＣＵ、１０，１１…顔特徴点検出部、１２，３４…初期運動推定可否判定部、１３，３５…顔運動推定部、３０…第１顔運動推定部、３１，３２…追跡用特徴点検出・追跡部、３３…第２顔運動推定部
【図１】
2006227736.tif 000003
【図２】
2006227736.tif 000004
【図３】
2006227736.tif 000005
【図４】
2006227736.tif 000006
【図５】
2006227736.tif 000007
【図６】
2006227736.tif 000008
【図７】
2006227736.tif 000009
【図８】
2006227736.tif 000010
【図９】
2006227736.tif 000011
【図１０】
2006227736.tif 000012
【図１１】
2006227736.tif 000013
【図１２】
2006227736.tif 000014
【図１３】
2006227736.tif 000015
【図１４】
2006227736.tif 000016
【図１５】
2006227736.tif 000017
【図１６】
2006227736.tif 000018
【図１７】
2006227736.tif 000019
【図１８】
2006227736.tif 000020
【図１９】
2006227736.tif 000021