(57)【要約】【課題】  対象物体の運動状態を高精度に推定可能な画像処理装置及び画像処理方法を提供することを課題とする。【解決手段】  三次元形状が特定可能な対象物体の運動を求める画像処理装置１であって、撮像手段２と、対象物体の三次元モデルと、撮像手段２で基準の運動状態の対象物体を撮像した基準画像から対象物体の特徴点を検出する特徴点検出手段１１と、検出した特徴点を用いて基準画像と三次元モデルとの位置の対応をとり、当該位置の対応がとられた基準画像と三次元モデルを用いて、対象物体の運動に対応する基準の運動状態の対象物体を撮像したときの撮像手段２とは異なる視点からの対象物体の画像を生成する画像生成手段１２と、撮像手段２で任意の運動状態の対象物体を撮像した任意画像と画像生成手段１２で生成した画像との差が小さくなるような対象物体の運動を推定する推定手段１３，１４とを備えることを特徴とする。【選択図】  図１
2006227739.tif 000002
【特許請求の範囲】
【請求項１】
三次元形状が特定可能な対象物体の運動を求める画像処理装置であって、
撮像手段と、
対象物体の三次元モデルと、
前記撮像手段で基準の運動状態の対象物体を撮像した基準画像から対象物体の特徴点を検出する特徴点検出手段と、
前記特徴点検出手段で検出した特徴点を用いて前記基準画像と前記三次元モデルとの位置の対応をとり、当該位置の対応がとられた基準画像と三次元モデルを用いて、対象物体の運動に対応する前記基準の運動状態の対象物体を撮像したときの撮像手段とは異なる視点からの対象物体の画像を生成する画像生成手段と、
前記撮像手段で任意の運動状態の対象物体を撮像した任意画像と前記画像生成手段で生成した画像との差が小さくなるような対象物体の運動を推定する推定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
三次元形状が特定可能な対象物体の運動を求める画像処理方法であって、
基準の運動状態の対象物体を撮像する基準撮像ステップと、
前記基準撮像ステップで撮像した基準画像から対象物体の特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップで検出した特徴点を用いて前記基準撮像ステップで撮像した基準画像と対象物体の三次元モデルとの位置の対応をとり、当該位置の対応がとられた基準画像と三次元モデルを用いて、対象物体の運動に対応する前記基準撮像ステップで撮像したときとは異なる視点からの対象物体の画像を生成する画像生成ステップと、
任意の運動状態の対象物体を撮像する任意撮像ステップと、
前記任意撮像ステップで撮像した任意画像と前記画像生成ステップで生成した画像との差が小さくなるような対象物体の運動を推定する推定ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から対象物体の運動を推定する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像処理には、カメラで顔を撮像し、その撮像画像から顔の向きなどの運動を推定するものがある。このように顔の運動を推定する手法としては、例えば、目、口などの各端部あるいは輝度の高い箇所などの顔における複数の特徴点を設定し、初期時刻での撮像画像とそれ以降の時刻での撮像画像とにおいて各特徴点を追跡していくことにより顔の運動を推定している（特許文献１参照）。具体的には、初期時刻には、カメラに対して正面を向いた顔の撮像画像から複数の特徴点を検出し、特徴点の位置を推定する。この初期時刻で検出した各特徴点周辺の画像を参照画像として保持しておく。そして、それ以降の時刻には、任意の運動後の顔の撮像画像から各特徴点の参照画像と類似する画像領域を探索し、特徴点の位置を推定する。そして、その各特徴点の位置の時間的な変化（各特徴点の追跡）から、顔の向きや並進運動を推定する。
【特許文献１】特開２００４−２５２５１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の顔の運動の推定手法では、初期時刻での特徴点の位置とそれ以降の特徴点の位置を高精度に検出しないと、顔の運動を高精度に推定することはできない。例えば、初期時刻におけるカメラと顔の位置関係とそれ以降の時刻におけるカメラと顔の位置関係とが異なる場合、撮像画像上では特徴点周辺の見え方が大きく異なる。そのため、初期時刻で取得した参照画像を基準にして、それ以降の時刻の撮像画像からその参照画像に類似する画像領域を探索しとうとしても、正確な位置を探索できなくなる。その結果、顔の運動も正確に推定することができなくなる。このように、各時刻における撮像画像から個々の特徴点を追跡していく手法では、各時刻において探索した特徴点の位置に誤差が含まれる可能性があり、顔の運動の推定精度が低下する。
【０００４】
そこで、本発明は、対象物体の運動状態を高精度に推定可能な画像処理装置及び画像処理方法を提供することを課題とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、三次元形状が特定可能な対象物体の運動を求める画像処理装置であって、撮像手段と、対象物体の三次元モデルと、撮像手段で基準の運動状態の対象物体を撮像した基準画像から対象物体の特徴点を検出する特徴点検出手段と、特徴点検出手段で検出した特徴点を用いて基準画像と三次元モデルとの位置の対応をとり、当該位置の対応がとられた基準画像と三次元モデルを用いて、対象物体の運動に対応する基準の運動状態の対象物体を撮像したときの撮像手段とは異なる視点からの対象物体の画像を生成する画像生成手段と、撮像手段で任意の運動状態の対象物体を撮像した任意画像と画像生成手段で生成した画像との差が小さくなるような対象物体の運動を推定する推定手段とを備えることを特徴とする。
【０００６】
この画像処理装置では、撮像手段により、対象物体が撮像手段に対して正面を向いているときなどの基準の運動状態における対象物体を撮像する。そして、画像処理装置では、特徴点検出手段により、その基準の運動状態の対象物体を撮像した基準画像から対象物体の特徴点を検出する。さらに、画像処理装置では、画像生成手段により、その検出した特徴点の位置に基づいて、基準画像（二次元）と対象物体の三次元モデルとの各部の位置の対応をとる。これによって、三次元モデルの各部に対して基準画像の画像情報を割り当てることができる。そして、画像処理装置では、画像生成手段により、その三次元モデルの各部に割り当てられた画像情報を用いて、対象物体の所定の運動（基準の運動状態と異なる運動状態）に対応する基準の運動状態の対象物体を撮像したときの撮像手段とは異なる視点からの対象物体の画像を生成する。つまり、対象物体が基準の運動状態から所定の運動を行った場合、対象物体を基準に考えると、撮像手段としては、基準の運動状態の対象物体を撮像したときの視点から所定の運動分変化した視点から撮像することになる。このように、三次元モデルを反映した基準画像を用いて運動状態の異なる対象物体の画像を生成する。この生成した画像を用いて、画像処理装置では、推定手段により、任意の運動状態の対象物体を撮像した任意画像と生成した画像とを比較し、その画像間の類似度が高くなるように対象の運動を推定していく。つまり、所定の運動に応じて生成した画像と実際に撮像した画像との対象物体についての類似度が高くなるような所定の運動を求める。この画像処理装置では、画像における対象物体の個々の特徴点を追跡するのではなく、対象物体全体の類似性をみているので、対象物体の運動を高精度に推定することができる。特に、対象物体の三次元形状を反映して所定の運動後の画像を生成しているので、生成した画像は精度が高く、高精度な画像により類似性を判定することができる。
【０００７】
なお、三次元形状が特定可能な対象物体は、三次元形状を推定や入手できる物体であり、例えば、ステレオ画像などを用いて三次元形状を推定できたり、あるいは、寸法入力やレンジスキャナによって三次元形状を入手できる物体である。対象物体の運動は、対象物体の向き（回転運動）や並進運動である。
【０００８】
本発明に係る画像処理方法は、三次元形状が特定可能な対象物体の運動を求める画像処理方法であって、基準の運動状態の対象物体を撮像する基準撮像ステップと、基準撮像ステップで撮像した基準画像から対象物体の特徴点を検出する特徴点検出ステップと、特徴点検出ステップで検出した特徴点を用いて基準撮像ステップで撮像した基準画像と対象物体の三次元モデルとの位置の対応をとり、当該位置の対応がとられた基準画像と三次元モデルを用いて、対象物体の運動に対応する基準撮像ステップで撮像したときとは異なる視点からの対象物体の画像を生成する画像生成ステップと、任意の運動状態の対象物体を撮像する任意撮像ステップと、任意撮像ステップで撮像した任意画像と画像生成ステップで生成した画像との差が小さくなるような対象物体の運動を推定する推定ステップとを含むことを特徴とする。なお、この画像処理方法は、上記の各画像処理装置と同様の作用効果を有している。
【発明の効果】
【０００９】
本発明によれば、対象物体の運動状態を高精度に推定することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。
【００１１】
本実施の形態では、本発明を、対象物体を人物の顔とし、顔の運動（向きや並進運動）を推定する画像処理装置に適用する。本実施の形態に係る画像処理装置は、カメラで撮像した正面向き（基準の運動状態）の顔の撮像画像（基準画像）に基づいてその基準の運動状態のときのカメラの視点とは異なる視点からの顔の画像を生成し、その生成した顔の画像と時々刻々と入力される撮像画像とを比較することによって顔の運動を推定する。
【００１２】
図１〜図１３を参照して、画像処理装置１について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。図２は、図１のカメラで撮像した正面向きの顔の撮像画像の一例である。図３は、図１の顔特徴点検出部で用いる参照画像の一例であり、（ａ）が部品用の参照画像であり、（ｂ）が顔特徴点用の参照画像である。図４は、図１の顔特徴点検出部で検出した顔特徴点を示す画像の一例である。図５は、顔三次元モデルと顔画像との位置合わせ処理の説明図である。図６は、顔モデルの全頂点の任意の姿勢のときの二次元画像への投影処理の説明図である。図７は、任意の姿勢のときの投影画像における全頂点に対する三角形形成処理の説明図であり、（ａ）が正常な３頂点の組み合せの一例であり、（ｂ）が異常な３頂点の組み合せの一例である。図８は、任意の姿勢のときの投影画像における三角形内の輝度値を決定するために選択した３頂点の一例である。図９は、任意の姿勢のときの投影画像における３頂点と標準姿勢のときの顔画像における３頂点との対応付けの一例である。図１０は、任意の姿勢のときの投影画像における３頂点で形成する三角形内の輝度値決定処理の説明図である。図１１は、図１の視点変換画像生成部で生成する各姿勢の視点変換画像の一例である。図１２は、標準姿勢のときの顔画像から生成した任意の姿勢の視点変換画像の一例である。図１３は、視点変換画像と撮像画像との誤差評価処理の説明図である。
【００１３】
画像処理装置１は、顔の運動（向きと並進運動）を推定するために、撮像画像における顔の全体的な誤差（類似度）を評価する。そのために、画像処理装置１では、処理開始時に推定対象の人物の正面向き（標準姿勢）の顔の撮像画像を取得し、その撮像画像から顔の三次元形状を反映した顔モデルを生成する。そして、画像処理装置１では、顔の撮像画像を取得する毎に、顔モデルを利用して標準姿勢から姿勢を変えた視点変換画像を生成し、撮像画像と視点変換画像とにおける顔領域の類似度を評価することによって顔の運動を推定する。画像処理装置１は、カメラ２及び画像ＥＣＵ[Electronic Control Unit]３を備えており、画像ＥＣＵ３内に顔三次元モデル保持部１０、顔特徴点検出部１１、視点変換画像生成部１２、類似度評価部１３、顔運動推定部１４が構成される。
【００１４】
なお、本実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、顔特徴点検出部１１が特許請求の範囲に記載する特徴点検出手段に相当し、視点変換画像生成部１２が特許請求の範囲に記載する画像生成手段に相当し、類似度評価部１３及び顔運動推定部１４が特許請求の範囲に記載する推定手段に相当する。
【００１５】
画像処理装置１における顔の運動の推定結果の出力は、その顔の運動を示す画像をモニタに表示したりあるいは顔の運動状態を音声出力するなどしてもよい。また、このような画像処理装置１を車両に搭載した場合、運転者の顔の運動を推定し、その推定結果を信号として走行制御装置や警報装置などに提供するようにしてもよい。例えば、前車との車間距離などに応じて自動的にブレーキを作動させる装置の場合、運転者の顔の運動の推定結果から前方から視線を外していると推測できるときには通常よりもブレーキを早く作動させるなどの制御を行う。また、警報装置の場合、運転者がよそ見していると推測できるときには警報を出力するなどしてもよい。あるいは、車両以外にも人とコミュニケーションをとるロボットなどに組み込まれる構成としてもよい。
【００１６】
カメラ２は、ＣＣＤ［Charge coupled device］などの撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号として画像ＥＣＵ３に送信する。この際、カメラ２では、撮像対象を時間的に連続して撮像し、時間的に連続した画像（動画像）データを出力する。画像ＥＣＵ３では少なくとも輝度情報が有れば処理を行うことができるので、カメラ２はカラーカメラでもあるいは白黒カメラでもよい。ちなみに、画像処理装置１が車両に搭載される場合、カメラ２は、車室内において、運転席に座っている運転者の顔を真正面から撮像できる位置に配置される。
【００１７】
画像ＥＣＵ３は、画像処理用のＥＣＵであり、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる。画像ＥＣＵ３では、画像処理装置１が起動されると、ＲＯＭに記憶されている専用のアプリケーションプログラムをＲＡＭにロードし、ＣＰＵによってそのプログラムに記述された各処理を実行することによって保持部１０及び各処理部１１〜１４が構成される。画像ＥＣＵ３は、顔の三次元モデルを予め保持している。画像ＥＣＵ３では、処理開始時に、カメラ２から正面向きの顔の撮像画像を取り入れ、顔モデル生成処理によって顔モデルを生成する。そして、画像ＥＣＵ３では、カメラ２から撮像画像を取り入れる毎に、視点変換画像生成処理によって姿勢の異なる視点変換画像を生成するとともに、顔運動推定処理によって撮像画像と視点変換画像とにおける顔領域の誤差が小さくなるように顔の運動を推定する。
【００１８】
顔三次元モデル保持部１０は、ＲＡＭの所定の領域に構築され、顔の三次元モデルを保持している。顔の三次元モデルは、正面を向いている顔の三次元形状を示す数百個程度の頂点からなるモデルであり、各頂点が三次元座標を有している（図５の三次元モデル３ＤＭ参照）。三次元モデルの生成方法としては、レンジスキャナやステレオカメラなどを用いて、ある人物の正面を向いているときの顔の三次元形状（三次元形状を示す点の集まり）を取得する。この三次元モデルを生成する対象の人物の顔は画像処理装置１で顔の向きを推定する対象の人物の顔でなくてもよく、任意の人物でよい。
【００１９】
処理開始時に、顔特徴点検出部１１では、画像ＥＣＵ３にカメラ２から推定対象の人の正面を向いた顔を撮像した撮像画像（二次元画像）ＰＰが取り入れられると（図２参照）、その撮像画像ＰＰを輝度画像に変換する。ちなみに、カメラ２が白黒カメラの場合にはこの輝度画像への変換は行わない。そして、顔特徴点検出部１１では、顔部品用の参照画像を用いて、テンプレートマッチングによって輝度画像から目などの顔部品の領域を検出する（図３（ａ）参照）。さらに、顔特徴点検出部１１では、顔特徴点用の参照画像を用いて、テンプレートマッチングによって各顔部品の領域画像から目尻などの顔特徴点を検出する（図３（ｂ）参照）。図４には、正面を向いた顔の輝度画像ＦＰから検出した顔特徴点ＣＰ１〜ＣＰ６の一例を示している。
【００２０】
顔特徴点としては、例えば、両目の各目尻、各目頭、鼻の左右の孔、口の左右端などの肌との境界となる箇所であり、輝度や色などの画像情報に明らかな差がある箇所とする。この顔特徴点に応じて、顔部品は、左右の目、鼻、口である。顔部品用の参照画像は、図３（ａ）に示すような、各顔部品の平均的な輝度画像である。顔特徴点用の参照画像は、図３（ｂ）に示すような、各顔特徴点の平均的な輝度画像である。なお、顔部品用の参照画像による顔部品の検出処理を無くして、顔全体の輝度画像から顔特徴点を直接検出するようにしてもよい。
【００２１】
顔部品や顔特徴点の位置の検出方法としては、顔部品用の参照画像毎または顔特徴点用の参照画像毎に、顔の輝度画像または顔部品領域の輝度画像から各参照画像と対応する大きさの領域を順次切り出し、その切り出した領域の輝度画像と各参照画像との類似度を式（１）により順次算出し、類似度が最も大きくなる位置（すなわち、式（１）のｃｏｒｒの値が最も小さくなる（ｘ，ｙ））を探索する。
【００２２】
【数１】
2006227739.tif 000003
式（１）において、Ｉ（ｕ，ｖ）は正面を向いた顔の輝度画像または各顔部品領域画像上の位置（ｕ，ｖ）での輝度値であり、Ｔ（ｕ，ｖ）は参照画像上の位置（ｕ，ｖ）での輝度値であり、Ｕがｕの定義域（参照画像の横方向幅）であり、Ｖがｖの定義域（参照画像の縦方向幅）であり、ｘは顔の輝度画像または各顔部品領域画像から領域を切り出す際の横方向の基準位置であり、ｙは顔の輝度画像または各顔部品領域画像から領域を切り出す際の縦方向の基準位置である。
【００２３】
顔特徴点を検出すると、視点変換画像生成部１２では、検出した顔特徴点の位置ＣＰ１〜ＣＰ６を基準にして、顔三次元モデル保持部１０に保持している顔三次元モデル３ＤＭと正面を向いた顔の輝度画像ＦＰとの位置合わせを行う（図５参照）。位置合わせ手法としては、例えば、ＰＯＳＩＴ(D.DeMenthon and L.S.Davis,"Model-Based Object Pose in 25 Lines of Code",International Journal of Computer Vision,15,pp.123-141,june 1995.)と呼ばれる手法を用いる。ＰＯＳＩＴは、顔画像上の各画素の二次元座標とそれらに対応する顔三次元モデル上の頂点の三次元座標の対応関係を満足するのはカメラと顔三次元モデルがどのような位置関係になるときなのかという観点で最適化問題としてとらえて推定を行う手法である。顔画像ＦＰ上の各画素の二次元座標とそれらに対応する顔三次元モデル３ＤＭ上の各頂点の三次元座標が既知なので、ＰＯＳＩＴによって推定が可能となる。このときの顔の位置や向きを標準姿勢（基準の運動状態）とする。
【００２４】
この位置合わせによって、顔画像ＦＰの各画素の輝度値により、顔三次元モデル３ＤＭ上の表面のどの部分がどのような輝度値を持つのかが決まる。これによって、個人毎のテクスチャ付き顔三次元モデルが生成され、このテクスチャ付き顔三次元モデルを顔モデルとする。この顔モデルでは、全ての頂点の三次元座標と輝度値が既知である。図５には、顔モデルＦＭの一例を示している。なお、図５に示す顔モデルＦＭでは、三次元モデルの全ての頂点によって他の三角形の辺と交差しないような三角形が形成されている。この各三角形は平面として取り扱うことができ、各三角形は顔画像ＦＰにおける対応する領域内の各画素の輝度値からなる輝度パターンを有することになる。
【００２５】
また、視点変換画像生成部１２では、標準姿勢の顔モデルが所定の顔運動によって任意の姿勢になったときのカメラ座標系での画像（視点変換画像）を仮想的に生成する。具体的には、視点変換画像生成部１２では、所定の顔運動（Ｒ，ｔ）が与えられると、式（２）により、顔モデルＦＭ上の全ての頂点の三次元座標（Ｘ，Ｙ，Ｚ）について、顔運動（Ｒ、ｔ）後の二次元画像上に投影した場合の二次元座標（ｕ，ｖ）をそれぞれ算出する（図６参照）。この際、視点変換画像生成部１２では、その投影した各二次元座標（ｕ，ｖ）の位置の輝度値として顔モデルＦＭの各頂点の輝度値を設定する。これによって、所定の顔運動（Ｒ，ｔ）後の任意の姿勢のときの投影画像ＴＰが生成される（図６参照）。
【００２６】
【数２】
2006227739.tif 000004
式（２）において、ｓはスカラーであり、Ａは固定値からなる内部行列であり、Ｒは顔の回転運動を示す回転行列であり、ｔは顔の並進運動を示す並進ベクトルである。内部行列Ａは、カメラ２の内部パラメータをキャリブレーション処理により予め求められる。回転行列Ｒは、顔がカメラに対して正対しているときを基準としてカメラに対する顔の向きによって決まり、顔が正面を向いている場合には単位行列である。並進ベクトルｔは、顔とカメラとの位置関係によって決まる。
【００２７】
ここまでの処理によって、標準姿勢のときの視点とは異なる任意の視点（所定の顔運動後）の画像が生成されるが、この画像では、顔モデルの各頂点に対応する位置にそれぞれ頂点が存在し、その各頂点の輝度値が決まっているだけである。したがって、その画像では、頂点と頂点との間の点がどのような位置に投影され、その各点がどのような輝度値をもつのかが判らない。そこで、任意の姿勢のときの顔領域の画像を表す視点変換画像を生成するためには、頂点間の各点とその各点の輝度値を求める必要がある。
【００２８】
そこで、視点変換画像生成部１２では、任意の姿勢のときの投影画像における全ての頂点について、他の３頂点で形成される三角形の辺に交差しないような三角形を形成できるような３頂点の組み合せを決定する。このような三角形を形成する手法としては、例えば、ドロネー分割手法が用いられる。図７には、投影画像の全頂点のうちの６つの頂点によって三角形を形成した場合を示している。（ａ）図では、３頂点の組み合せが成功した場合を示しており、５つの三角形が形成され、全ての三角形の各辺は他の三角形の各辺と交差していない。（ｂ）図では、３頂点の組み合せが失敗した場合を示しており、３つの三角形が形成され、三角形の各辺が他の三角形の各辺と交差している。このように全ての頂点によって三角形を形成し、二次元平面として取り扱うことができる小さな三角形を１つの単位として、三角形内の各点の輝度値を順次決定していく。
【００２９】
全ての頂点によって三角形を形成すると、視点変換画像生成部１２では、各三角形の輝度値を決定するために、その全ての三角形から１つの三角形（つまり、３頂点Ｐ１’，Ｐ２’，Ｐ３’の組み合せ）を順次選択していく（図８参照）。この３頂点Ｐ１’〜Ｐ３’については、顔モデル上でも対応する３つの頂点の三次元座標が既知ある。そこで、視点変換画像生成部１２では、選択した各頂点Ｐ１’，Ｐ２’，Ｐ３’について、各頂点の三次元座標を用いて式（２）により標準姿勢のときの顔画像上の３頂点Ｐ１，Ｐ２，Ｐ３の二次元座標をそれぞれ算出する。この際、標準姿勢なので、回転行列Ｒは単位行列であり、並進ベクトルｔは標準姿勢のときの人物の顔とカメラ２との位置関係から判る。
【００３０】
ここで、二次元上において任意の姿勢での３頂点Ｐ１’〜Ｐ３’と標準姿勢での３頂点Ｐ１〜Ｐ３とが対応付けられる（図９参照）。この３頂点間は、式（３）に示すような二次元画像上において射影関係にある。そこで、視点変換画像生成部１２では、その射影関係を表すパラメータ行列Ｂとパラメータベクトルｓを推定する。
【００３１】
【数３】
2006227739.tif 000005
式（３）において、ｐ’は任意の運動後（任意の姿勢）の頂点の座標（ｕ’，ｖ’）であり、ｐは標準姿勢の頂点の座標（ｕ，ｖ）である。視点変換画像生成部１２では、既知である任意の姿勢での３頂点Ｐ１’〜Ｐ３’と標準姿勢での３頂点Ｐ１〜Ｐ３を用いて、ｂ１１，ｂ１２，ｂ２１，ｂ２２，ｓ１，ｓ２の６つの未知値を最小二乗法により推定する。
【００３２】
視点変換画像生成部１２では、標準姿勢での顔画像（輝度画像）から得られる３頂点Ｐ１〜Ｐ３で形成される三角形内の各点の輝度値を用いて、任意の姿勢での３頂点Ｐ１’〜Ｐ３’で形成される三角形内の各点の輝度値を決定する（図１０参照）。具体的には、視点変換画像生成部１２では、推定したパラメータ行列Ｂとパラメータベクトルｓを用いて、式（３）を式（４）のように変形する。そして、視点変換画像生成部１２では、式（４）により、任意の姿勢での３頂点Ｐ１’〜Ｐ３’によって形成される三角形内に存在する全ての点（整数値で与えられる座標）について、標準姿勢のときの顔画像上の位置をそれぞれ算出する。この算出される各位置は、整数値で与えられる座標とは限らず、少数値で与えられる座標の場合もある。しかし、標準姿勢のときの顔画像においては、整数値で与えられる座標の各位置（各画素）にそれぞれ輝度値が設定されている。そこで、視点変換画像生成部１２では、標準姿勢のときの顔画像から算出した各位置に近い画素の輝度値を抽出し、その抽出した輝度値を用いて任意の姿勢での３頂点Ｐ１’〜Ｐ３’によって形成される三角形内の各点に輝度値を与える。ここでは、算出した位置に最も近い画素の輝度値をそのまま与えてもよいし、あるいは、算出した位置の周りに存在する複数の画素の各輝度値を用いて位置関係を考慮して輝度値を求めてもよい。任意の姿勢での３頂点Ｐ１’〜Ｐ３’によって形成される三角形内の全ての点（３頂点以外の点）について輝度値を求めることにより、その三角形内の全ての画素の輝度値が設定されたことになる。
【００３３】
視点変換画像生成部１２では、任意の姿勢の投影画像における全ての三角形について、上記の方法により輝度値を決定する。これによって、任意の姿勢の顔領域の輝度画像（視点変換画像）が生成される。図１１には、標準姿勢の顔画像ＳＰを中心として、顔を上方向、下方向、左方向、右方向にそれぞれ向ける運動をした後の各姿勢の視点変換画像の一例を示している。
【００３４】
視点変換画像生成部１２では、顔の運動（回転行列Ｒ、並進ベクトルｔ）の初期値としては、前回推定した顔運動（Ｒ，ｔ）が与えられ、前回推定値がない場合には標準姿勢のときの顔運動（Ｒ，ｔ）が与えられる。また、視点変換画像生成部１２では、誤差評価を行う毎に、類似度評価部１３から顔運動（Ｒ，ｔ）が与えられる。そして、視点変換画像生成部１２では、与えられた顔運動（Ｒ，ｔ）に応じて、標準姿勢のときの顔画像ＳＰから視点変換画像ＶＰを生成する（図１２参照）。なお、視点変換画像ＶＰは、顔領域ＦＡだけの画像であるが、カメラ２から入力される撮像画像における顔領域以外の頭髪や背景などを利用し、その頭髪や背景などの画像に顔領域ＦＡの画像を嵌め込んだ画像としてもよい。
【００３５】
類似度評価部１３では、カメラ２から顔の撮像画像ＩＰが入力される毎に、その撮像画像ＩＰとの誤差が最小となる視点変換画像ＶＰを探索する。具体的には、類似度評価部１３では、視点変換画像生成部１２で視点変換画像ＶＰを生成する毎に、視点変換画像ＶＰと撮像画像ＩＰの輝度画像との誤差（類似度）を算出する。誤差の算出方法は、視点変換画像ＶＰと撮像画像ＩＰとの顔領域ＦＡの対応する画素の輝度値の差をそれぞれ算出し、全画素分の差の絶対値の累積値を算出する（図１３参照）。この誤差が小さくなるほど類似度が高くなり、誤差が大きくなるほど類似度が低くなる。
【００３６】
そして、類似度評価部１３では、誤差を算出する毎に、その誤差と前回算出した誤差との減少率を算出し、その誤差減少率が最低誤差減少率（閾値）より小さくなったか否かを判定する。誤差減少率が最低誤差減少率より小さくなった場合、類似度評価部１３では、誤差が十分に小さくなったと判断し、顔運動推定部１４での処理に移行する。誤差減少率が最低誤差減少率以上の場合、類似度評価部１３では、誤差が小さくなっていないと判断し、１枚の撮像画像ＩＰに対して誤差を算出した回数が最大回数（閾値）より多いか否かを判定する。算出回数が最大回数（閾値）より多い場合、類似度評価部１３では、十分な回数分の評価を行ったと判断し（また、処理負荷や処理時間などを考慮し）、顔運動推定部１４での処理に移行する。算出回数が最大回数以下の場合、類似度評価部１３では、誤差が小さくなるよな顔の運動（回転行列Ｒ、並進ベクトルｔ）を設定し、視点変換画像生成部１２での処理に移行する。
【００３７】
この誤差最小化の手法としては、ｓｉｍｐｌｅｘ  ｄｏｗｍ  ｈｉｌｌ法を用いるとよい。この最小化手法は、目的関数が解析的に解けない場合に有効とされている手法である（詳細については、(minimization and maximization of functions:numerical recipes in c)を参照）。類似度評価部１３では、この誤差最小化問題の解として回転行列Ｒと並進ベクトルｔを推定する。
【００３８】
顔運動推定部１４では、誤差減少率が最低誤差減少率より小さくなった場合または誤差の算出回数が最大回数より多くなった場合、そのときの視点変換画像ＶＰを生成した回転行列Ｒと並進ベクトルｔを顔の運動とする。
【００３９】
図１を参照して、画像処理装置１における動作について説明する。特に、画像ＥＣＵ３における顔モデル生成処理については図１４のフローチャートに沿って説明し、顔運動推定処理については図１５のフローチャートに沿って説明し、視点変換画像生成処理については図１６のフローチャートに沿って説明する。図１４は、図１の画像ＥＣＵにおける顔モデル生成処理の流れを示すフローチャートである。図１５は、図１の画像ＥＣＵにおける顔運動推定処理の流れを示すフローチャートである。図１６は、図１の画像ＥＣＵにおける視点変換画像生成処理の流れを示すフローチャートである。
【００４０】
処理が開始すると、まず、カメラ２では、カメラ２に対して正面を向いていている人（例えば、真正面を向いて運転席に座っている運転者）の顔を撮像し、その撮像画像のデータを画像ＥＣＵ３に送信する。画像ＥＣＵ３では、その撮像画像を取得すると、撮像画像をＲＡＭに保持する（図１４のＳ１０）。
【００４１】
画像ＥＣＵ３では、撮像画像を輝度画像に変換する。画像ＥＣＵ３では、輝度画像から各顔部品の領域をそれぞれ検出し、さらに、各顔部品領域画像から各顔特徴点をそれぞれ検出する（Ｓ１１）。そして、画像ＥＣＵ３では、検出した各顔特徴点を基準にして、保持している顔三次元モデルと正面を向いた顔の輝度画像（二次元画像）との位置合わせを行い、顔モデルを生成する（Ｓ１２）。
【００４２】
顔モデルを生成すると、カメラ２では、任意の姿勢の人物の顔を撮像し、その撮像画像のデータを画像ＥＣＵ３に送信する。画像ＥＣＵ３では、その撮像画像が入力される毎に、撮像画像をＲＡＭに保持するとともに撮像画像を輝度画像に変換する。
【００４３】
撮像画像が入力されると、画像ＥＣＵ３では、まず、顔運動（回転行列Ｒ、並進ベクトルｔ）の初期値として前回推定した顔の運動（あるいは、標準姿勢の運動）を設定する（図１５のＳ２０）。そして、画像ＥＣＵ３では、その顔運動（Ｒ，ｔ）に対応する視点変換画像を生成する（図１５のＳ２１）。
【００４４】
まず、画像ＥＣＵ３では、式（２）により、顔モデル上の全ての頂点に対して顔運動（Ｒ，ｔ）後の二次元画像上に投影される各頂点の二次元座標をそれぞれ算出し、顔運動（Ｒ，ｔ）のときの投影画像を生成する（図１６のＳ３０）。そして、画像ＥＣＵ３では、その生成した投影画像上の全ての頂点に対して、他の３頂点で形成される三角形の内部を横切る辺を有さない三角形を形成できるような３頂点の組み合せを決定する（図１６のＳ３１）。
【００４５】
画像ＥＣＵ３では、各三角形を形成する３頂点の組み合せの中から、順次、三角形内の各点の輝度値を決定する三角形の３頂点Ｐ１’〜Ｐ３’の組み合せを選択する（図１６のＳ３２）。そして、画像ＥＣＵ３では、式（２）により、選択した各頂点Ｐ１’〜Ｐ３’に対して、この各頂点の三次元座標を用いて標準姿勢のときの顔画像上の３頂点Ｐ１〜Ｐ３の二次元座標をそれぞれ算出し、顔運動（Ｒ，ｔ）後の３頂点Ｐ１’〜Ｐ３’と標準姿勢のときの３頂点Ｐ１〜Ｐ３とを対応付ける（図１６のＳ３３）。さらに、画像ＥＣＵ３では、式（３）を用いて、３頂点Ｐ１’〜Ｐ３’と３頂点Ｐ１〜Ｐ３との間の顔運動（Ｒ，ｔ）による射影関係を表すパラメータ行列Ｂとパラメータベクトルｓを推定する（図１６のＳ３４）。
【００４６】
画像ＥＣＵ３では、式（４）により、顔運動（Ｒ，ｔ）後の３頂点Ｐ１’〜Ｐ３’で形成される三角形内の全ての座標（整数値で与えられる座標）について、標準姿勢のときの顔画像上での位置をそれぞれ算出し、その各位置の輝度値を求める（図１６のＳ３５）。そして、画像ＥＣＵ３では、その各位置の輝度値を用いて、３頂点Ｐ１’〜Ｐ３’で形成される三角形内の各点の輝度値を決定する（図１６のＳ３５）。これによって、顔運動（Ｒ，ｔ）後の３頂点Ｐ１’〜Ｐ３’によって形成される三角形内の輝度パターンが設定されたことになる。
【００４７】
画像ＥＣＵ３では、顔運動（Ｒ，ｔ）後の投影画像における全ての三角形について輝度値を決定したか否かを判定する（図１６のＳ３６）。Ｓ３６にて全ての三角形について輝度値を決定していないと判定した場合、画像ＥＣＵ３では、Ｓ３２に処理に戻って、次の３頂点Ｐ１’〜Ｐ３’の三角形内の輝度値を決定する。一方、Ｓ３６にて全ての三角形について輝度値を決定したと判定した場合、顔運動（Ｒ，ｔ）後のある顔の姿勢での視点変換画像が生成され、視点変換画像生成処理を終了する。
【００４８】
視点変換画像を生成すると、画像ＥＣＵ３では、入力された撮像画像の輝度画像と視点変換画像との顔領域についての誤差を算出し、前回の誤差からの誤差減少率を算出する（図１５のＳ２２）。そして、画像ＥＣＵ３では、誤差減少率が最低誤差減少率より小さいか否かを判定する（図１５のＳ２３）。Ｓ２３にて誤差減少率が最低誤差減少率以上と判定した場合、画像ＥＣＵ３では、誤差の繰り返し算出回数が最大回数より多いか否かを判定する（図１５のＳ２４）。
【００４９】
Ｓ２４にて繰り返し算出回数が最大回数以下と判定した場合、画像ＥＣＵ３では、誤差が小さくなるように、誤差最小化問題の解として顔運動（Ｒ，ｔ）を推定する（Ｓ２０）。そして、画像ＥＣＵ３では、この推定した顔運動（Ｒ，ｔ）に応じて、視点変換画像を生成する（図１５のＳ２１）。再度、画像ＥＣＵ３では、この推定した顔運動（Ｒ，ｔ）について上記したＳ３０〜Ｓ３６の処理を実行し、この推定した顔運動（Ｒ，ｔ）後の顔姿勢の視点変換画像を生成する。視点変換画像を生成後、画像ＥＣＵ３では、再度、この生成した視点変換画像について上記したＳ２２〜Ｓ２４またはＳ２２〜２３の処理を実行する。
【００５０】
一方、Ｓ２４にて繰り返し算出回数が最大回数より多いと判定した場合、画像ＥＣＵ３では、そのときの回転行列Ｒと並進ベクトルｔを入力された撮像画像の顔の運動と推定し、その顔運動（Ｒ，ｔ）を出力する（図１５のＳ２５）。
【００５１】
この画像処理装置１によれば、顔運動後のある姿勢での顔領域について視点変換画像を生成することができるので、その視点変換画像と入力画像とを比較することによって顔の全体的な類似度に基づいて入力画像における顔運動を推定することができる。その結果、個々の特徴点を追跡する必要がなく、顔の運動の推定精度も向上する。
【００５２】
特に、画像処理装置１では、視点変換画像を生成する際に三次元モデルを利用しているので、運動による顔の凹凸の変化を二次元画像上でも正確に変換できる。その結果、顔の三次元形状を反映した視点変換画像を生成でき、各顔運動について高精度な視点変換画像を生成できる。
【００５３】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００５４】
例えば、本実施の形態では対象物体として顔を適用したが、人の体や車両などの同じような三次元形状を有しており、その三次元形状を特定可能な物体に適用可能である。
【００５５】
また、本実施の形態では画像ＥＣＵでアプリケーションプログラム（ソフトウエア）を実行することによって各処理部を構成したが、パーソナルコンピュータなどのコンピュータ上に各処理部を構成してもよいし、あるいは、ハードウエアによって各処理部を構成してもよい。
【００５６】
また、本実施の形態では輝度情報を用いて視点変換画像生成や誤差評価などを行う構成としたが、彩度、ＲＧＢの色情報などの他の画像情報を用いて行ってもよい。
【００５７】
また、本実施の形態では標準姿勢をカメラに対して顔が真正面を向いているときとしたが、カメラに対して顔が所定の方向を向いているときを標準姿勢としてもよい。
【図面の簡単な説明】
【００５８】
【図１】本実施の形態に係る画像処理装置の構成図である。
【図２】図１のカメラで撮像した正面向きの顔の撮像画像の一例である。
【図３】図１の顔特徴点検出部で用いる参照画像の一例であり、（ａ）が顔部品用の参照画像であり、（ｂ）が顔特徴点用の参照画像である。
【図４】図１の顔特徴点検出部で検出した顔特徴点を示す画像の一例である。
【図５】顔三次元モデルと顔画像との位置合わせ処理の説明図である。
【図６】顔モデルの全頂点の任意の姿勢のときの二次元画像への投影処理の説明図である。
【図７】任意の姿勢のときの投影画像における全頂点に対する三角形形成処理の説明図であり、（ａ）が正常な３頂点の組み合せの一例であり、（ｂ）が異常な３頂点の組み合せの一例である。
【図８】任意の姿勢のときの投影画像における三角形内の輝度値を決定するために選択した３頂点の一例である。
【図９】任意の姿勢のときの投影画像における３頂点と標準姿勢のときの顔画像における３頂点との対応付けの一例である。
【図１０】任意の姿勢のときの投影画像における３頂点で形成する三角形内の輝度値決定処理の説明図である。
【図１１】図１の視点変換画像生成部で生成する各姿勢の視点変換画像の一例である。
【図１２】標準姿勢のときの顔画像から生成した任意の姿勢の視点変換画像の一例である。
【図１３】視点変換画像と撮像画像との誤差評価処理の説明図である。
【図１４】図１の画像ＥＣＵにおける顔モデル生成処理の流れを示すフローチャートである。
【図１５】図１の画像ＥＣＵにおける顔運動推定処理の流れを示すフローチャートである。
【図１６】図１の画像ＥＣＵにおける視点変換画像生成処理の流れを示すフローチャートである。
【符号の説明】
【００５９】
１…画像処理装置、２…カメラ、３…画像ＥＣＵ、１０…顔三次元モデル保持部、１１…顔特徴点検出部、１２…視点変換画像生成部、１３…類似度評価部、１４…顔運動推定部
【図１】
2006227739.tif 000006
【図２】
2006227739.tif 000007
【図３】
2006227739.tif 000008
【図４】
2006227739.tif 000009
【図５】
2006227739.tif 000010
【図６】
2006227739.tif 000011
【図７】
2006227739.tif 000012
【図８】
2006227739.tif 000013
【図９】
2006227739.tif 000014
【図１０】
2006227739.tif 000015
【図１１】
2006227739.tif 000016
【図１２】
2006227739.tif 000017
【図１３】
2006227739.tif 000018
【図１４】
2006227739.tif 000019
【図１５】
2006227739.tif 000020
【図１６】
2006227739.tif 000021