"人物の顔を含む領域を撮像した動画像から得られる顔特徴量の時系列データに基づいて、前記人物の顔の表情カテゴリを認識する表情認識装置であって、複数の表情カテゴリの各々について、予め求められた所定の表情カテゴリから前記表情カテゴリへ変化したときの参照用の前記時系列データに基づいて、前記表情カテゴリであるか否かを早期に識別するための早期識別器を学習する表情学習手段と、前記動画像から得られる、前記所定の表情カテゴリからの変化を示す前記顔特徴量の時系列データを取得するデータ取得手段と、前記複数の表情カテゴリの各々について、前記データ取得手段によって取得された前記時系列データを、前記表情カテゴリへ変化するときの前記参照用の前記時系列データに対して前記顔特徴量の変化が対応するように時間方向に伸縮させた時間伸縮時系列データを各々生成する時間伸縮手段と、前記複数の表情カテゴリの各々について生成された前記時間伸縮時系列データと、前記複数の表情カテゴリの各々に対する前記早期識別器とに基づいて、前記人物の顔の表情カテゴリを認識する表情認識手段と、を含む表情認識装置。前記複数の表情カテゴリの各々について予め用意した、前記所定の表情カテゴリから前記表情カテゴリへ変化したときの学習用の前記時系列データを、前記表情カテゴリへ変化したときの前記参照用の前記時系列データに対して前記顔特徴量の変化が対応するように時間方向に伸縮させた学習用の時間伸縮時系列データを各々生成する学習用時間伸縮手段を更に含み、前記表情学習手段は、複数の表情カテゴリの各々について、前記表情カテゴリに対する前記参照用の前記時系列データ及び前記学習用の時間伸縮時系列データに基づいて、前記早期識別器を学習する請求項1記載の表情認識装置。前記表情認識手段は、前記複数の表情カテゴリの各々について生成された前記時間伸縮時系列データと、前記複数の表情カテゴリの各々に対する前記早期識別器とに基づいて、前記複数の表情カテゴリの各々について前記表情カテゴリである度合いを示すスコアを算出し、前記スコアに基づいて、前記人物の顔の表情カテゴリを認識する請求項1又は2記載の表情認識装置。前記顔特徴量を、前記人物の顔の注目点集合の各座標と、前記所定の表情カテゴリであるときの顔の注目点集合の各座標との差分を示すベクトルとした請求項1~請求項3の何れか1項記載の表情認識装置。前記データ取得手段は、1つ前の時刻において前記所定の表情カテゴリである認識されたときの現時刻の顔特徴量からなる前記時系列データを取得する請求項1~請求項4の何れか1項記載の表情認識装置。前記所定の表情カテゴリを、無表情とした請求項1~請求項5の何れか1項記載の表情認識装置。人物の顔を含む領域を撮像した動画像から得られる顔特徴量の時系列データに基づいて、前記人物の顔の表情カテゴリを認識する表情認識方法であって、表情学習手段によって、複数の表情カテゴリの各々について、予め求められた所定の表情カテゴリから前記表情カテゴリへ変化したときの参照用の前記時系列データに基づいて、前記表情カテゴリであるか否かを早期に識別するための早期識別器を学習するステップと、データ取得手段によって、前記動画像から得られる、前記所定の表情カテゴリからの変化を示す前記顔特徴量の時系列データを取得するステップと、時間伸縮手段によって、前記複数の表情カテゴリの各々について、前記データ取得手段によって取得された前記時系列データを、前記表情カテゴリへ変化するときの前記参照用の前記時系列データに対して前記顔特徴量の変化が対応するように時間方向に伸縮させた時間伸縮時系列データを各々生成するステップと、表情認識手段によって、前記複数の表情カテゴリの各々について生成された前記時間伸縮時系列データと、前記複数の表情カテゴリの各々に対する前記早期識別器とに基づいて、前記人物の顔の表情カテゴリを認識するステップと、を含むことを特徴とする表情認識方法。コンピュータを、請求項1~請求項6の何れか1項記載の表情認識装置の各手段として機能させるためのプログラム。上記の非特許文献1に記載の技術では、入力データが増幅される方向を決定する際に、そのデータがどのような表情カテゴリであるのかを考慮していない。しかし、表情による顔の時間的空間的な変形は複雑であるため、その表情のカテゴリを考慮することなく動き情報のみから単純に表情情報を線形に増幅したのでは、結果として誤ったカテゴリの表情に類似したデータが生成される恐れがある。さらに、上記の非特許文献1の手法では、決定した増幅の方向に対して、どれだけ増幅すればよいのかについても、経験的に決定した一意の値が使用されている。このため、様々な強度で表出された表情のカテゴリを正しく認識できるとは言い難い。また、上記の非特許文献2に記載の方法では、入力されるデータが、ある行動の表出開始時点から始まっており、さらに、その行動があらかじめ決められた速度で行われることを前提としているため、表情表出のように、行動の速度が表出の度に変化するような行動を正しく認識することが困難である。本発明は、上記の事情を鑑みてなされたもので、表情カテゴリの変化が様々な速度で行われても、表情カテゴリを精度良く、かつ早期に認識することができる表情認識装置、表情認識方法、及びプログラムを提供することを目的とする。上記の目的を達成するために本発明に係る表情認識装置は、人物の顔を含む領域を撮像した動画像から得られる顔特徴量の時系列データに基づいて、前記人物の顔の表情カテゴリを認識する表情認識装置であって、複数の表情カテゴリの各々について、予め求められた所定の表情カテゴリから前記表情カテゴリへ変化したときの参照用の前記時系列データに基づいて、前記表情カテゴリであるか否かを早期に識別するための早期識別器を学習する表情学習手段と、前記動画像から得られる、前記所定の表情カテゴリからの変化を示す前記顔特徴量の時系列データを取得するデータ取得手段と、前記複数の表情カテゴリの各々について、前記データ取得手段によって取得された前記時系列データを、前記表情カテゴリへ変化するときの前記参照用の前記時系列データに対して前記顔特徴量の変化が対応するように時間方向に伸縮させた時間伸縮時系列データを各々生成する時間伸縮手段と、前記複数の表情カテゴリの各々について生成された前記時間伸縮時系列データと、前記複数の表情カテゴリの各々に対する前記早期識別器とに基づいて、前記人物の顔の表情カテゴリを認識する表情認識手段と、を含んで構成されている。本発明に係る表情認識方法は、人物の顔を含む領域を撮像した動画像から得られる顔特徴量の時系列データに基づいて、前記人物の顔の表情カテゴリを認識する表情認識方法であって、表情学習手段によって、複数の表情カテゴリの各々について、予め求められた所定の表情カテゴリから前記表情カテゴリへ変化したときの参照用の前記時系列データに基づいて、前記表情カテゴリであるか否かを早期に識別するための早期識別器を学習するステップと、データ取得手段によって、前記動画像から得られる、前記所定の表情カテゴリからの変化を示す前記顔特徴量の時系列データを取得するステップと、時間伸縮手段によって、前記複数の表情カテゴリの各々について、前記データ取得手段によって取得された前記時系列データを、前記表情カテゴリへ変化するときの前記参照用の前記時系列データに対して前記顔特徴量の変化が対応するように時間方向に伸縮させた時間伸縮時系列データを各々生成するステップと、表情認識手段によって、前記複数の表情カテゴリの各々について生成された前記時間伸縮時系列データと、前記複数の表情カテゴリの各々に対する前記早期識別器とに基づいて、前記人物の顔の表情カテゴリを認識するステップと、を含むことを特徴としている。本発明によれば、表情学習手段によって、複数の表情カテゴリの各々について、予め求められた所定の表情カテゴリから前記表情カテゴリへ変化したときの参照用の前記時系列データに基づいて、前記表情カテゴリであるか否かを早期に識別するための早期識別器を学習する。データ取得手段によって、前記動画像から得られる、前記所定の表情カテゴリからの変化を示す前記顔特徴量の時系列データを取得する。そして、時間伸縮手段によって、前記複数の表情カテゴリの各々について、前記データ取得手段によって取得された前記時系列データを、前記表情カテゴリへ変化するときの前記参照用の前記時系列データに対して前記顔特徴量の変化が対応するように時間方向に伸縮させた時間伸縮時系列データを各々生成する。そして、表情認識手段によって、前記複数の表情カテゴリの各々について生成された前記時間伸縮時系列データと、前記複数の表情カテゴリの各々に対する前記早期識別器とに基づいて、前記人物の顔の表情カテゴリを認識する。このように、表情カテゴリ毎に早期識別器を学習するときに用いた顔特徴量の時系列データに対して、顔特徴量の変化が対応するように、所定の表情カテゴリからの変化を示す顔特徴量の時系列データを時間方向に伸縮させてから、複数の表情カテゴリの各々に対する早期識別器に基づいて、人物の顔の表情カテゴリを認識することにより、表情カテゴリの変化が様々な速度で行われても、表情カテゴリを精度良く、かつ早期に認識することができる。本発明に係る表情認識装置は、前記複数の表情カテゴリの各々について予め用意した、前記所定の表情カテゴリから前記表情カテゴリへ変化したときの学習用の前記時系列データを、前記表情カテゴリへ変化したときの前記参照用の前記時系列データに対して前記顔特徴量の変化が対応するように時間方向に伸縮させた学習用の時間伸縮時系列データを各々生成する学習用時間伸縮手段を更に含み、前記表情学習手段は、複数の表情カテゴリの各々について、前記表情カテゴリに対する前記参照用の前記時系列データ及び前記学習用の時間伸縮時系列データに基づいて、前記早期識別器を学習するようにすることができる。本発明に係る前記表情認識手段は、前記複数の表情カテゴリの各々について生成された前記時間伸縮時系列データと、前記複数の表情カテゴリの各々に対する前記早期識別器とに基づいて、前記複数の表情カテゴリの各々について前記表情カテゴリである度合いを示すスコアを算出し、前記スコアに基づいて、前記人物の顔の表情カテゴリを認識するようにすることができる。上記の顔特徴量を、前記人物の顔の注目点集合の各座標と、前記所定の表情カテゴリであるときの顔の注目点集合の各座標との差分を示すベクトルとすることができる。上記のデータ取得手段は、1つ前の時刻において前記所定の表情カテゴリである認識されたときの現時刻の顔特徴量からなる前記時系列データを取得するようにすることができる。上記の所定の表情カテゴリを、無表情とすることができる。本発明に係るプログラムは、コンピュータを、上記の表情認識装置の各手段として機能させるためのプログラムである。以上説明したように、本発明の表情認識装置、表情認識方法、及びプログラムによれば、表情カテゴリ毎に早期識別器を学習するときに用いた顔特徴量の時系列データに対して、顔特徴量の変化が対応するように、所定の表情カテゴリからの変化を示す顔特徴量の時系列データを時間方向に伸縮させてから、複数の表情カテゴリの各々に対する早期識別器に基づいて、人物の顔の表情カテゴリを認識することにより、表情カテゴリの変化が様々な速度で行われても、表情カテゴリを精度良く、かつ早期に認識することができる、という効果が得られる。以下、図面を参照して本発明の実施の形態を詳細に説明する。<概要>まず、本発明の概要について説明する。本発明では、earlyBoostと呼ばれる、一定速度で行われることを仮定した行動の種類をその発生からなるべく早くに認識する手法に、データの時間方向の伸縮を組み合わせることで、これまで正しく認識することが困難であった様々な速度で表情が表出された場合においても、その表情カテゴリを正しく認識する。早期識別器の学習処理では、まず、表情カテゴリ毎に複数用意された表情のデータについて、各表情カテゴリについて1つずつ決められた参照データに対して時間方向の位置合わせを行う。これにより、表出速度の異なる各表情のデータが、その表情カテゴリの参照データと同じ表出速度のデータに変換される。続いて、その時間伸縮されたデータセットを入力として、表情の早期認識に適した早期識別器を学習する。認識対象データテストデータに対する表情の認識処理では、まずは学習処理と同様に、参照データに対して時間方向の位置合わせを行う。ただし、テストデータについては正しい表情カテゴリが分かっていないため、全ての表情カテゴリのそれぞれを正解のカテゴリとみなして時間伸縮を行う。続いて、カテゴリ数だけ作成されたその時間伸縮されたデータを早期識別器に入力し、スコアが最も高くなった表情カテゴリを認識結果として出力する。本実施の形態では、表情のカテゴリとして、6つの基本表情、すなわち、幸福、怒り、驚き、恐れ、嫌悪、及び、悲しみに、無表情を加えた7つの表情、すなわち、c∈{01...6}を対象とする場合を例に説明する。c=0は無表情を表す。カテゴリ数はNc=7である。ただし、どのようなカテゴリを認識の対象としても構わない。<システム構成>次に、顔画像データの時系列である動画像データを入力として、表情カテゴリを認識する表情認識装置に、本発明を適用した場合を例にして、本発明の実施の形態を説明する。本実施の形態に係る表情認識装置は、CPUCentralProcessingUnitと、RAMRandomAccessMemoryと、後述する学習処理ルーチン及び表情認識処理ルーチンを実行するためのプログラムを記憶したROMReadOnlyMemoryとを備えたコンピュータで構成され、機能的には次に示すように構成されている。表情認識装置は、図1に示すように、入力部10、学習データセット記憶部12、参照時系列データ決定部14、表情学習部16、時間伸縮後学習データセット記憶部18、早期識別器記憶部20、表情認識部22、第2動的時間伸縮部24、及び早期認識部26を備えている。なお、入力部10は、データ取得手段の一例であり、第2動的時間伸縮部24は、時間伸縮手段の一例である。入力部10は、対象人物の顔を含む領域を撮影した動画像データから得られる、図2に示すような対象人物の顔面上に配置された複数の特徴点の3次元の座標値位置情報を高速に計測する手段に接続されており、複数の特徴点の3次元の座標値を、高い時間分解能で時系列に出力する。また、入力部10は、キーボードやマウスにも接続されており、キーボードやマウスを操作することにより入力された情報を受け付ける。入力部10は、目や口といった顔部品周辺に配置されたK個の特徴点のD次元の座標値を並べたベクトル特徴ベクトルと呼ぶx=[x1,1,...,x1,D,x2,1,...,x2,D,xK,1,...,xK,D]T∈RDKを高い時間分解能で時系列に出力する。ここで、xk,dはk番目の特徴点のd番目の次元の成分を表す。高い時間分解能であることは表出し始めの表情からその特徴を得るために重要である。図2に、K=26点の場合の特徴点の配置の一例を示す。本実施の形態では、特徴点の3次元の座標値を高速に計測する手段として、例えば、100flame/secで動作するモーションキャプチャシステムを用いる。モーションキャプチャシステムは、対象物表面に小さなマーカーを貼り付けた状態で、その人物を複数台のカメラにて撮影し、その画像中でのマーカーの位置からそれらマーカーの3次元座標を算出する。このマーカーの位置の検出方法としては、緑色の塗料を顔面上に小さく塗ったものをマーカーとして、カラー映像から検出する方法がある。あるいは、赤外光をよく反射する素材をマーカーとし、赤外光を照射しながら赤外以外の波長の光をフィルタでカットしながら撮影した画像から検出する方法もある。または、そのようなマーカーを使用せずに、顔のテクスチャ情報のみから特徴点を検出するようにしてもよい。あるいは、特徴点の位置情報として単に単眼カメラ画像中の特徴点の画像座標D=2を用いても構わない。なお、各人物に対する顔面上での特徴点の数及び配置は同一であるものとする。上述した特徴ベクトルxは、入力部10において、人物毎に無表情時を基準として正規化される、すなわち、任意の人物の無表情時の特徴ベクトルxが等しくなるよう変換される。そのような正規化は以下に説明するように行われる。まず、後述する学習データセット中からある一人の人物の無表情時の特徴ベクトルxBASEを選択する。その人物の任意の表情の特徴ベクトルについてはそのまま出力する。一方、他の人物については、全ての特徴ベクトルxに対して射影gを施したベクトルgxを出力する。この射影gについては、その人物の無表情時の特徴ベクトルがなるべくxBASEに近くなるように求められたパラメータを用いる。この射影gとしては、例えば、最も簡単なものの1つとして、特徴点座標空間の各座標軸に対してスケーリングを施す方法がある。D=3であれば、パラメータは3つであり、射影gを施したベクトルgxは、対角行列を用いて、以下の式で表わされる。この3つのパラメータs1,s2,s3については、基準とした人物の無表情時の特徴ベクトルxBASEに対する、それぞれの人物の無表情時の特徴ベクトルの射影後のベクトルgxの誤差の二乗の和が最小になるときの値を用いればよく、すなわち、最小二乗誤差基準に従って算出された値を用いる。なお、この他にも、AAMのように、個人毎の特徴ベクトルのばらつきについての基底を求め、その上位主要ないくつかの基底の線形和がなるべくxBASEに近くなるようなパラメータを算出するという方法でも構わない。また、入力部10は、現在の時刻tにおける特徴ベクトルxtが、無表情のときの特徴ベクトルx0からどれだけ変化したのか、すなわち、zt=gxt-gx0を出力する。データが入力され始めた時刻t=1における表情が無表情であればx0=xtであるため、zt=0が出力される。なお、データztが、顔特徴量の一例である。<学習データ>入力部10は、学習データとして、対象とするそれぞれの表情カテゴリcについて、ztの時系列データをMc≧1個ずつ用意する。それぞれの時系列データでは、表情が無表情である状態から開始され、そこから対象の表情が表出され始め、その表情が最大限に表出された時点で終了するものとする。無表情のデータについては、開始から終了まで無表情であるものとする。時系列データの総数Mを、以下の式で表わす。また、m∈{1,...,M}番目の時系列データを以下の式で表わす。ここで、Tmはm番目の時系列データのフレーム長を表す。それぞれの表情カテゴリについてのデータは、1人あるいは複数の人物により表出された表情について得られたデータである。m番目の時系列データにおいて表出されている表情のカテゴリをcmとする。これら学習データのセットをまとめてD={Zm,cm}m=1,...,Mと表す。学習データに付与される表情カテゴリは、ユーザの手入力により与えられる。入力部10は、上記の学習データのセットを、学習データセット記憶部12に格納する。ここでは、無表情の状態からそれ以外の表情を表出したものを学習データとするため、早期に認識できる表情の変化も無表情からそれ以外の表情への変化となる。ただし、本発明の枠組みは、無表情以外の表情からそれ以外の表情への変化例えば、驚きから幸福、悲しみから無表情などについての早期認識へも適用可能である。<表情認識対象データ>入力部10は、表情を認識する対象のデータ以下、テストデータとも称するとして、1人の人物について、データが入力され始めた時刻t=1から現在の時刻tまでの時系列データz1:tを出力する。ここでは、無表情からそれ以外の表情を表出し、そこから、一旦無表情に戻り、また異なる表情を表出する、ということを仮定している。ただし、前述したとおり、本発明の枠組みは、任意の表情の変化の早期認識に適用可能である。<表情学習>表情の学習では、入力部10から出力される各カテゴリについて1つあるいは複数の学習データのセットを受け、各表情カテゴリについて1つずつ参照用の時系列データを決め、他の時系列データがその参照用の時系列データに対して、データzの変化がなるべく一致するよう時間伸縮を行うとともに、それらの全ての時系列データを用いて各表情カテゴリに対してその表情カテゴリをなるべく早い表出の段階で識別するための早期識別器を学習する。本実施の形態では、参照時系列データ決定部14によって、学習データとして入力された各表情カテゴリについて、後述する第1動的時間伸縮部160及び第2動的時間伸縮部24で時間伸縮を行う際の参照となる時系列データ参照時系列データと呼ぶを決定する。ここでは、各表情カテゴリcについて、学習データとしてMc個ある時系列データからランダムに1つを抽出したものを参照時系列データとする。なお、予め人手で参照時系列データを決定しておいても構わない。決定された各表情カテゴリcの参照時系列データデータ長をTcの集合Zcを、以下の式で表わす。ここで、Rは実数全体の集合を表し、RDK×Tcは、DK×Tc次元の実数ベクトル全体の集合を表す。参照時系列データ決定部14は、参照時系列データとして決定した結果を、学習データセット記憶部12に格納する。表情学習部16は、第1動的時間伸縮部160及び早期識別器学習部162を備えている。なお、第1動的時間伸縮部160は、学習用時間伸縮手段の一例である。第1動的時間伸縮部160は、参照時系列データZc、及び、以下の式で表わされる被時間伸縮時系列データの集合Zを入力として、被時間伸縮時系列データのztの変化が参照時系列データのztの変化になるべく一致するように、被時間伸縮時系列データに対して時間方向の伸縮を施し、その伸縮された時系列データを出力する。図3にその時間伸縮の模式図を示す。時間伸縮は、2つの時系列データのどの時刻のデータ同士が対応しているのかを表す対応行列Q∈R2×Lを求めることで行われる。この行列Qのi番目の行qiqi ́は、被時間伸縮時系列データのqi番目の時刻のデータzqiと参照時系列データZcのqi ́番目の時刻のデータzqi ́cとが対応していることを表している。2つの時系列データが最も類似する場合を、以下の1式のように定義して、最適な対応行列Qを求める。ここで、distはデータzとz ́の間の距離を表す。ここでは、距離尺度としてユークリッド距離を使用することとする。ただし、どのような距離尺度を用いても構わない。Lは1つの時系列データを合わせるために必要なステップ数を表す。上記1式は動的計画法を用いて解くことが可能である。上記図3に、2つの時系列データと求められるそれらの対応を模式的に示している。求めたQに従って、参照時系列データのそれぞれの時刻に対応する被時間伸縮時系列データを位置合わせしたデータの集合Zを以下の式で表わす。もしも、参照時系列データの対象時刻に対して被時間伸縮時系列データの複数の時刻が対応する場合には、位置合わせ後の時系列データにおいて、それらの平均をとった値を用いればよい。一方、参照時系列データの対象時刻に対応する被時間伸縮時系列データの時刻が存在しなければ、その前後の時刻の位置合わせされた被時間伸縮時系列データを用いて内挿あるいは外挿した値を、位置合わせ後の時系列データの値とすればよい。第1動的時間伸縮部160は、参照時系列データ以外の全ての時系列データをそれぞれ被時間伸縮時系列データとし、被時間伸縮時系列データそれぞれを、その時系列データが属するカテゴリcに対する参照時系列データZcを用いて、位置合わせを行う。よって、各表情カテゴリcに対して、参照時系列データを含めてMc個の位置合わせ後の時系列データZmが出力される。この位置合わせ後の時系列データと表情カテゴリを組み合わせたものの集合Dを、時間伸縮後学習データセットとして、以下の式で表わす。第1動的時間伸縮部160は、上記の式で表わされる時間伸縮後学習データセットを、時間伸縮後学習データセット記憶部18に格納する。早期識別器学習部162は、表情カテゴリ毎に早期識別器を学習する。ここで、早期識別器は、決められた速度で行われることを仮定した動作のデータからその動作の種類をできるだけ早く識別することができる識別器である。表情カテゴリ毎の早期識別器を用いた表情の認識は、以下の式に従ったものであり、入力データZに対する認識結果~ctを出力する。早期識別器は、各カテゴリcに対して用意される。すなわち、この早期識別器は、各時刻に対応するデータを入力としてフレーム毎にカテゴリcに対するスコアを返すフレームベースの弱識別器hctの出力を重み付けした和を、最終的なそのカテゴリcに対するスコアHcZとして出力する。スコアHcZを最大化するカテゴリが、表情カテゴリの認識結果となる。早期識別器学習部162では、この弱識別器とその識別重みの組み合わせを時間伸縮後の学習データセット~Dを用いて学習し、認識対象の時系列データZが、対象とする表情カテゴリcであるか否かを出力するNc個の2クラス強識別器Hcを生成する。フレームベースの弱識別器hctRDK→11は、以下の式で表わすように、識別スコアrc,tを最大化することによって決定される。ここで、gcは、gc1...Nc→11であり、カテゴリc ́を入力として受け取り、c=c ́ならば1を、そうでなければ-1を出力する関数である。また、Dtm,c∈Rは、m番目の時系列データのカテゴリcに対する誤差重みである。弱識別器hctとしては任意の識別器を使用することが可能である。ここでは簡単な線形識別器としてsignwTzとする識別器を使用する。ここでw∈RDKは最適化すべきパラメータである。このパラメータwの最適化方法としては、任意の方法を用いて構わない。例えば、パラメータ値を逐次的に更新していくシンプレックス法などを用いればよい。この誤差重みは、それぞれのカテゴリcに対して、以下の式に従い時刻t=1よりtを1ずつ増加させながらt=Tcまで逐次的に計算される。ここで、αtは弱識別器hctの出力に対する識別重みであり、以下の式で表わされる。<表情認識処理>表情の認識処理は、入力部10から出力される表情カテゴリが未知の時系列データzを受け、まず、それぞれのカテゴリを仮定して、参照時系列データに対して時間伸縮を行い、続いて、カテゴリ数だけある、時間伸縮された時系列データをそれぞれのカテゴリ用の早期識別器に与えてスコアを計算し、そのスコアが最も高くなるカテゴリを、表情のカテゴリ推定値cとして出力する。本実施の形態では、現在の時刻tまでに得られた時系列データz1tを入力として、以下に説明するように、現時刻tの表情の認識結果ctを出力する。まず、表情認識部22は、現在の時刻をtとして、直前の時刻t-1における認識結果が無表情、すなわち、ct1=0であれば、位置合わせを行う時系列データZに、現在のデータ特徴量ベクトルの差分データztを追加する。こうして得られた時系列データZを第2動的時間伸縮部24へ入力する。一方、表情認識部22は、直前の時刻t-1における認識結果が無表情以外、すなわち、ct1≠0であれば、まず位置合わせを行う時系列データZを空にする。そして、表情認識部22は、そのときの表情が無表情か否かを判定する。ここでは、時刻tにおけるデータztが、無表情時のときのデータに近いかどうかで判定することとする。この判定方法の1つとして、ここでは、以下の式が成立するのであれば無表情であると判定し、そうでなければ、無表情でないと判定する。ここで、xkd及びσkdはk番目の特徴点のd番目の次元の成分、及び、その成分の無表情時における標準偏差を表す。この標準偏差σkdについては、学習データセット中の各時系列データにおいて、無表情であることを仮定している最初のフレームのデータを集めて、その標準偏差を計算したものとする。この方法で、無表情でないと判定されれば、現在の表情は、直前の時刻での認識結果と同じであると認識する。第2動的時間伸縮部24は、入力された時系列データZを被時間伸縮時系列データとし、全表情カテゴリのそれぞれにおける参照時系列データZcに対して位置合わせを行い、各表情カテゴリcに対する時間伸縮結果Zcを得る。位置合わせの方法は、表情学習部16の第1動的時間伸縮部160と同様である。ただし、この場合、出力するのは、入力された時系列データの最終の時刻現時刻tに対応する参照時系列データの時刻tcまででよい。よって、結果として、Nc個の位置合わせ後の時系列データ時間伸縮後のテストデータの集合が出力される。第2動的時間伸縮部24は、そのそれぞれのZcを早期認識部26へ入力して認識結果ctを得る。早期認識部26は、以下に説明するように、位置合わせ後の時系列データの集合Zに対して表情カテゴリを認識し、認識結果ctを出力する。まず、以下の式に従い無表情以外の認識結果の候補ctを求める。上記の式では、各表情カテゴリcの早期識別器に対して、当該表情カテゴリcの参照時系列データZcに対して位置合わせを行って得られた時系列データ時間伸縮後のテストデータZcを入力して、スコアを求め、最大スコアとなる表情カテゴリcを、認識結果の候補ctとしている。上記の式に従って求められた認識結果の候補ctに対するスコアが事前に決定しておく閾値α以上であれば、最終的な認識結果^ctを^ct=~ctとして出力し、そうでなければ、^ctを無表情として出力する^ct=0。この閾値αについては、事前に表情を無表情のまま変化させないデータを用意しておき、それを各カテゴリの早期識別器に入力したときのスコアHcZの平均値を、閾値αとして設定すればよい。最終的な認識結果^ctが、出力部図示省略よりユーザに出力される。<表情認識装置の作用>次に、本実施の形態に係る表情認識装置の作用について説明する。まず、表情認識装置は、各表情カテゴリが予め分かっている複数の時系列データが入力され、各時系列データに対して、教師信号として表情カテゴリが入力されると、図4に示す学習処理ルーチンを実行する。まず、ステップ100において、各表情カテゴリが教師信号として与えられた複数の時系列データの入力を受け付けて、学習データセットとして学習データセット記憶部12に格納する。次のステップ102では、学習データセット記憶部12に記憶された学習データセットから、各表情カテゴリについて、参照時系列データを決定して、決定した結果を、学習データセット記憶部12に格納する。そして、ステップ104において、教師信号として与えられた複数の表情カテゴリのうち、学習対象の表情カテゴリとして1つの表情カテゴリを設定する。ステップ106では、学習対象の表情カテゴリが教師信号として与えられた時系列データのうち、参照時系列データ以外の時系列データの各々を、学習対象の表情カテゴリの参照時系列データに対して位置合わせを行うように時間伸縮し、時間伸縮後の時系列データを時間伸縮後学習データセット記憶部18に格納する。そして、ステップ108において、上記ステップ106で得られ、かつ、学習対象の表情カテゴリが教師信号として与えられた、時間伸縮後の時系列データおよび参照時系列データを用いて、学習対象の表情カテゴリに対する早期識別器を学習して、学習結果を早期識別器記憶部20に格納する。そして、ステップ110では、全ての表情カテゴリについて、上記ステップ104~108の処理を実行したか否かを判定し、上記ステップ104~108の処理を実行していない表情カテゴリが存在する場合には、上記ステップ104へ戻り、当該表情カテゴリを、学習対象の表情カテゴリとして設定する。一方、全ての表情カテゴリについて、上記ステップ104~108の処理を実行した場合には、学習処理ルーチンを終了する。そして、モーションキャプチャシステムから、対象人物の顔面上に配置された複数の特徴点の座標値位置情報の時系列データが得られているときに、表情認識装置は、図5に示す表情認識処理ルーチンを実行する。ステップ120において、c0=0Z=位置合わせを行う時系列データZは空と初期化する。次のステップ122では、現時刻を示す変数tを1に設定し、ステップ124において、時刻tのデータzt特徴ベクトルxの差分データを取得する。そして、ステップ126において、一時刻前の時刻t-1における表情カテゴリの認識結果が無表情であるか否か、すなわちct1=0であるか否かを判定する。ct1=0である場合には、ステップ128において、位置合わせを行う時系列データZに現時刻のデータztを追加する。この処理を、Z←Zztと表す。そして、ステップ130において、各表情カテゴリについて、時系列データZ例えば、Z={zt}を被時間伸縮時系列データとし、当該表情カテゴリの参照時系列データZcに対して位置合わせを行うように時間伸縮処理を行い、各表情カテゴリcに対する時間伸縮後の時系列データZcを得る。次のステップ132において、各表情カテゴリについて、上記ステップ130で得られた当該表情カテゴリcに対する時間伸縮後の時系列データZcと、当該表情カテゴリcに対する早期識別器とに基づいて、スコアを算出する。そして、ステップ134では、上記ステップ132で算出されたスコアに基づいて、現時刻tの表情カテゴリ^ctを認識して出力し、ステップ144へ移行する。一方、上記ステップ126において、一時刻前の時刻t-1における表情カテゴリの認識結果が無表情でないと判定された場合には、ステップ136において、位置合わせを行う時期列データZを空にする。この処理を、Z←と表す。次のステップ138では、現時刻tのデータztに基づいて、現時刻tの表情カテゴリが無表情であるか否かを判定する。現時刻tの表情カテゴリが無表情であると判定された場合には、ステップ140において、現時刻tの表情カテゴリ^ctが無表情である^ct=0と認識して出力し、ステップ144へ移行する。一方、上記ステップ138において、現時刻tの表情カテゴリが無表情でないと判定された場合には、ステップ142において、現時刻tの表情カテゴリ^ctが、一時刻前の時刻t-1で認識された表情カテゴリと同じ表情カテゴリである^ct=^ct1と認識して出力し、ステップ144へ移行する。ステップ144では、時刻tを1インクリメントして、ステップ124へ戻る。以上のように、表情認識処理ルーチンにより、各時刻tの表情カテゴリの認識結果^ctが出力される。以上説明したように、本実施の形態に係る表情認識装置によれば、表情カテゴリ毎に早期識別器を学習するときに用いた参照用の時系列データに対して、データztの変化が対応するように、無表情の状態から変化するときの時系列データztを時間方向に伸縮させてから、複数の表情カテゴリの各々に対する早期識別器に基づいて、人物の顔の表情カテゴリを認識することにより、表情カテゴリの変化が様々な速度で行われても、表情カテゴリを精度良く、かつ早期に認識することができる。また、顔の表情が表出され始めた直後、すなわち、表情が無表情からまだそれほど大きく変化していない段階であっても、その表情カテゴリを正しく認識できる。例えば、ある表情が一瞬表出された後、直ちに別の表情によって隠蔽された場合であっても、隠蔽された表情を認識することが可能となる。この表情の隠蔽が生じるのは、怒りや嫌悪といった感情を起因として不随意的、瞬間的かつ微細に表出される、社会的な場面においてはあまり望ましくない否定的な表情が、直ちに笑顔など他の肯定的あるいは中立的な表情によって隠されるといった場合である。このような隠蔽された表情を認識することは、対象人物の感情を正確に推定する上で重要であると考えられる。なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述の表情認識装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、WWWシステムを利用している場合であれば、ホームページ提供環境あるいは表示環境も含むものとする。また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。"