(57)【特許請求の範囲】
【請求項１】
特徴パターンにより表現できる対象物を参照物との比較により認識する認識装置において、
それぞれが異なる自由度を基準として、予め与えられた学習物の分布を近似するよう学習された部分空間で前記対象物を表現する特徴パターンを近似することで前記対象物の変形度を推定する複数の変形度推定手段と、
前記変形度推定手段に１対１で対応し、該対応する変形度推定手段が基準とする自由度を基準として該対応する変形度推定手段が推定した変形度に応じて前記対象物を変形する複数の変形手段と、
前記変形度推定手段に１対１で対応し、該対応する変形度推定手段により推定された変形度の推定誤差を算出する複数の推定誤差評価手段と、
前記変形手段のうち、前記推定誤差評価手段のそれぞれが算出した推定誤差が最小となる変形度を推定した変形度推定手段に対応する変形手段を優先して動作させる調停手段と、
前記調停手段により優先して動作させられた変形手段によって変形された対象物を表現する特徴パターンと前記参照物を表現する特徴パターンとを比較することで、該変形された対象物と該参照物の類似度を算出する類似度算出手段と、
前記類似度算出手段が算出した類似度に基づいて、前記対象物が前記参照物と同一であるか否かを判定する判定手段と
を具備することを特徴とする認識装置。
【請求項２】
前記変形手段は、前記判定手段により前記対象物が前記参照物と同一でないと判断された場合は、該対象物に対する変形を繰り返し行うことを特徴とする請求項１記載の認識装置。
【請求項３】
前記変形度推定手段は、
予め与えられた学習物の分布を近似するよう学習された部分空間を有し、前記対象物に対し該対象物と最も近い前記部分空間上の点を求め、該求めた点を表す前記部分空間上の座標によって前記変形度を表し、
前記推定誤差評価手段は、前記対象物と前記部分空間との距離によって前記推定誤差を表す
ことを特徴とする請求項１または２記載の認識装置。
【請求項４】
前記部分空間上での座標の値が前記変形度と１対１に対応することを特徴とする請求項３記載の認識装置。
【請求項５】
前記部分空間上での特定の座標軸が前記変形度の特定の値と１対１に対応し、
前記変形度推定手段は、
前記特定の値を対応する座標の値で重み付けすることにより前記変形度を求めることを特徴とする請求項３記載の認識装置。
【請求項６】
前記変形度推定手段は、
前記部分空間を恒等写像ニューラルネットワークにより学習し、前記対象物に対する前記ニューラルネットワークの中間層の出力値によって該対象物と最も近い前記部分空間上の点の座標を表し、前記ニューラルネットワークの入力と出力の差によって前記対象物を表す点と前記部分空間との距離を表すことを特徴とする請求項３乃至５のいずいれかに記載の認識装置。
【請求項７】
前記変形度推定手段は、
前記学習物を非線形演算によって該学習物より高次元の空間に写像し、前記部分空間を前記高次元空間の線形の部分空間として表すこと特徴とする請求項３乃至５のいずれかに記載の認識装置。
【請求項８】
前記非線形演算は特定のカーネル関数によって定められ、前記部分空間の基底ベクトルは、特定の対象物の非線形演算となるように制約され、前記部分空間上の座標および前記対象物と部分空間との距離は前記カーネル関数を用いて表されることを特徴とする請求項７の認識装置。
【請求項９】
前記変形度推定手段は、
前記参照物を少なくとも一つの前記変形手段によって変形して生成された複数の学習物を用いて学習を行うことを特徴とする請求項１乃至８のいずれかに記載の認識装置。
【請求項１０】
前記変形度推定手段は、
それぞれが独立して学習を行うことを特徴とする請求項１乃至８のいずれかに記載の認識装置。
【請求項１１】
前記変形度推定手段は、
それぞれが競合して同時に学習を行うことを特徴とする請求項１乃至８のいずれかに記載の認識装置。
【請求項１２】
前記対象物および前記参照物は、画像であることを特徴とする請求項１乃至１１のいずれかに記載の認識装置。
【請求項１３】
前記対象物および前記参照物は、音声であることを特徴とする請求項１乃至１１のいずれかに記載の認識装置。
【請求項１４】
特徴パターンにより表現できる対象物を参照物との比較により認識する認識方法において、
複数の変形度推定手段が、それぞれが異なる自由度を基準として、予め与えられた学習物の分布を近似するよう学習された部分空間で前記対象物を表現する特徴パターンを近似することで前記対象物の変形度を推定し、前記変形度推定手段に１対１で対応する複数の推定誤差評価手段が、それぞれ対応する変形度推定手段により推定された変形度の推定誤差を算出し、前記変形度推定手段に１対１で対応する複数の変形手段のうち前記推定誤差が最小となる変形度を推定した変形度推定手段に対応する変形手段が、該変形手段に対応する変形度推定手段が基準とする自由度を基準として該対応する変形度推定手段が推定した変形度に応じて前記対象物を変形し、類似度算出手段が変形手段によって変形された対象物を表現する特徴パターンと前記参照物を表現する特徴パターンとを比較することで、該変形された対象物と該参照物の類似度を算出し、判定手段が前記類似度に基づいて、前記対象物が前記参照物と同一であるか否かを判定することを特徴とする認識方法。
【請求項１５】
前記対象物が前記参照物と同一でないと判定した場合は、前記対象物に対する変形を繰り返して行うことを特徴とする請求項１４記載の認識方法。
【請求項１６】
前記変形度は、予め与えられた学習物の分布を近似するよう学習された部分空間を用い、前記対象物に対し該対象物と最も近い前記部分空間上の点を求め、該求めた点を表す前記部分空間上の座標によって表され、前記推定誤差は、前記対象物と前記部分空間との距離によって評価されることを特徴とする請求項１４または１５記載の認識方法。
【請求項１７】
前記類似度が予め定められた値以上の場合、前記対象物と前記参照物とを同一と判定し、前記画像変形度の累積値から前記対象物の状態を認識することを特徴とする請求項１４記載の認識方法。
【請求項１８】
前記対象物および前記参照物は、画像であることを特徴とする請求項１４至１７のいずれかに記載の認識方法。
【請求項１９】
前記対象物および前記参照物は、音声であることを特徴とする請求項１４乃至１７のいずれかに記載の認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、認識装置および方法に関し、特に、画像や音声等の対象物を演算処理することにより、予め用意された参照物と同一かどうかを認識する認識装置および方法に関するものである。
【０００２】
【従来の技術】
物体や人物の顔などの認識対象をその画像を用いて認識する場合、原理的には物体から入力された画像を予め保存された参照物のテンプレート画像との類似度を演算することによって認識することができる。
【０００３】
しかしながら現実の認識対象の画像は、認識対象の置かれた向き、距離、照明などの環境条件で大きく変化するため、これらの画像の変化に応じた膨大な数のテンプレートを用意しなければならない。また入力画像とテンプレートの類似度演算に要する演算量も膨大なものとなる。
【０００４】
そこで、入力画像を幾何学変換などによりあらかじめ定められた位置、傾き、大きさ等に正規化する方法が有効である。正規化により、比較すべきテンプレート画像は少なくてすみ、現実的な演算時間で認識処理を行うことができる。
【０００５】
正規化の方法としては、入力画像から特徴点を抽出し、予め用意した正規化画像の形状モデルに特徴点を当てはめることにより入力画像を正規化する方法が知られている。代表的な特徴点抽出方法はエッジオペレーターを用いる方法が知られているが、特に顔のような表面形状が滑らかな物体では明瞭なエッジが得られるとは限らず、またエッジは照明条件の影響を大きく受けやすい。
【０００６】
これに対し、学術論文「Rotation Invariant Neural Network-Based Face Detection」(H. A. Rowley, S. Baluja and T. Kanade, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,1998, pp.38-44)では、入力画像の濃淡パターンから直接正規化画像からのずれを検出し、その値をもちいて入力画像を正規化する技術について述べられている。この論文では、傾いた顔画像について、ニューラルネットを用いて顔の傾き角を検出し、検出された傾き角を用いて顔画像を正立させた後、入力画像が顔画像か否かの認識を行っている。この方法では、ニューラルネットの汎化能力により入力画像の変動に強い角度推定ができるため、正規化画像を安定して得ることができる。
【０００７】
【発明が解決しようとする課題】
しかしながら上記学術論文に述べられた技術では、傾き角をすべての角度に対して正確に推定する必要がある。そのためにはすべての角度の学習サンプルに対する学習が必要となり、多数の学習サンプルを用意する必要や、学習に非常に時間がかかるといった問題点がある。
【０００８】
さらに上記学術論文では、入力画像の変形の自由度として画像面内での回転しか扱っていないが、現実の画像の変形自由度にはさらに深さ方向の回転、大きさ、位置、照明などの多数の自由度が存在するため、さらに深刻な問題となる。
【０００９】
つまり、これらの多数の自由度を同時に正確に推定するためには各自由度に対して独立に変化させた学習サンプルが必要となり、各自由度に必要なサンプル数の積の数という膨大な学習サンプルが必要となる。それに伴い、現実的な時間で学習が完了することは不可能である。
【００１０】
そこで、この発明は、画像や音声等の対象物が大きく変動しても対象物を正規化でき、かつ学習が容易な認識装置および方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した目的を達成するため、請求項１の発明は、特徴パターンにより表現できる対象物を参照物との比較により認識する認識装置において、それぞれが異なる自由度を基準として、予め与えられた学習物の分布を近似するよう学習された部分空間で前記対象物を表現する特徴パターンを近似することで前記対象物の変形度を推定する複数の変形度推定手段と、前記変形度推定手段に１対１で対応し、該対応する変形度推定手段が基準とする自由度を基準として該対応する変形度推定手段が推定した変形度に応じて前記対象物を変形する複数の変形手段と、前記変形度推定手段に１対１で対応し、該対応する変形度推定手段により推定された変形度の推定誤差を算出する複数の推定誤差評価手段と、前記変形手段のうち、前記推定誤差評価手段のそれぞれが算出した推定誤差が最小となる変形度を推定した変形度推定手段に対応する変形手段を優先して動作させる調停手段と、前記調停手段により優先して動作させられた変形手段によって変形された対象物を表現する特徴パターンと前記参照物を表現する特徴パターンとを比較することで、該変形された対象物と該参照物の類似度を算出する類似度算出手段と、前記類似度算出手段が算出した類似度に基づいて、前記対象物が前記参照物と同一であるか否かを判定する判定手段とを具備することを特徴とする。
【００１２】
また、請求項２の発明は、前記変形手段は、前記判定手段により前記対象物が前記参照物と同一でないと判断された場合は、該対象物に対する変形を繰り返し行うことを特徴とする。
【００１３】
また、請求項３の発明は、請求項１または２の発明において、前記変形度推定手段は、予め与えられた学習物の分布を近似するよう学習された部分空間を有し、前記対象物に対し該対象物と最も近い前記部分空間上の点を求め、該求めた点を表す前記部分空間上の座標によって前記変形度を表し、前記推定誤差評価手段は、前記対象物と前記部分空間との距離によって前記推定誤差を表すことを特徴とする。
【００１４】
また、請求項４の発明は、請求項３の発明において、前記部分空間上での座標の値が前記変形度と１対１に対応することを特徴とする。
【００１５】
また、請求項５の発明は、請求項３の発明において、前記部分空間上での特定の座標軸が前記変形度の特定の値と１対１に対応し、前記変形度推定手段は、前記特定の値を対応する座標の値で重み付けすることにより前記変形度を求めることを特徴とする。
【００１６】
また、請求項６の発明は、請求項３乃至５のいずれかの発明において、前記変形度推定手段は、前記部分空間を恒等写像ニューラルネットワークにより学習し、前記対象物に対する前記ニューラルネットワークの中間層の出力値によって該対象物と最も近い前記部分空間上の点の座標を表し、前記ニューラルネットワークの入力と出力の差によって前記対象物を表す点と前記部分空間との距離を表すことを特徴とする。
【００１７】
また、請求項７の発明は、請求項３乃至５のいずれかの発明において、前記変形度推定手段は、前記学習物を非線形演算によって該学習物より高次元の空間に写像し、前記部分空間を前記高次元空間の線形の部分空間として表すこと特徴とする。
【００１８】
また、請求項８の発明は、請求項７の発明において、前記非線形演算は特定のカーネル関数によって定められ、前記部分空間の基底ベクトルは、特定の対象物の非線形演算となるように制約され、前記部分空間上の座標および前記対象物と部分空間との距離は前記カーネル関数を用いて表されることを特徴とする。
【００１９】
また、請求項９の発明は、請求項１乃至８のいずれかの発明において、前記変形度推定手段は、前記参照物を少なくとも一つの前記変形手段によって変形して生成された複数の学習物を用いて学習を行うことを特徴とする。
【００２０】
また、請求項１０の発明は、請求項１乃至８のいずれかの発明において、前記変形度推定手段は、それぞれが独立して学習を行うことを特徴とする。
【００２１】
また、請求項９の発明は、請求項１乃至８のいずれかの発明において、前記変形度推定手段は、それぞれが競合して同時に学習を行うことを特徴とする。
【００２２】
また、請求項１２の発明は、請求項１乃至１１の発明において、前記対象物および前記参照物は、画像であることを特徴とする。
【００２３】
また、請求項１３の発明は、請求項１乃至１１の発明において、前記対象物および前記参照物は、音声であることを特徴とする。
【００２４】
また、請求項１４の発明は、特徴パターンにより表現できる対象物を参照物との比較により認識する認識方法において、複数の変形度推定手段が、それぞれが異なる自由度を基準として、予め与えられた学習物の分布を近似するよう学習された部分空間で前記対象物を表現する特徴パターンを近似することで前記対象物の変形度を推定し、前記変形度推定手段に１対１で対応する複数の推定誤差評価手段が、それぞれ対応する変形度推定手段により推定された変形度の推定誤差を算出し、前記変形度推定手段に１対１で対応する複数の変形手段のうち前記推定誤差が最小となる変形度を推定した変形度推定手段に対応する変形手段が、該変形手段に対応する変形度推定手段が基準とする自由度を基準として該対応する変形度推定手段が推定した変形度に応じて前記対象物を変形し、類似度算出手段が変形手段によって変形された対象物を表現する特徴パターンと前記参照物を表現する特徴パターンとを比較することで、該変形された対象物と該参照物の類似度を算出し、判定手段が前記類似度に基づいて、前記対象物が前記参照物と同一であるか否かを判定することを特徴とする。
【００２５】
また、請求項１５の発明は、請求項１４の発明において、前記対象物が前記参照物と同一でないと判定した場合は、前記対象物に対する変形を繰り返して行うことを特徴とする。
【００２６】
また、請求項１６の発明は、請求項１４または１５の発明において、前記変形度は、予め与えられた学習物の分布を近似するよう学習された部分空間を用い、前記対象物に対し該対象物と最も近い前記部分空間上の点を求め、該求めた点を表す前記部分空間上の座標によって表され、前記推定誤差は、前記対象物と前記部分空間との距離によって評価されることを特徴とする。
【００２７】
また、請求項１７の発明は、請求項１４の発明において、前記類似度が予め定められた値以上の場合、前記対象物と前記参照物とを同一と判定し、前記画像変形度の累積値から前記対象物の状態を認識することを特徴とする。
【００２８】
また、請求項１８の発明は、請求項１４乃至１７のいずれか発明において、前記対象物および前記参照物は、画像であることを特徴とする。
【００２９】
また、請求項１９の発明は、請求項１４乃至１７のいずれか発明において、前記対象物および前記参照物は、音声であることを特徴とする。
【００３０】
【発明の実施の形態】
以下、この発明に係る認識装置および方法の一実施の形態について、添付図面を参照して詳細に説明する。
【００３１】
［実施例１］
図１は、この発明を適用した認識装置の機能的な構成を示すブロック図である。同図に示すように、認識装置は、画像入力部１と画像保持部２、類似度計算部３、判定部４、複数の画像変形度推定部５（５−１〜５−ｎ）、複数の画像変形部６（６−１〜６−ｎ）、画像変形調停部７を具備して構成される。
【００３２】
画像入力部１は、認識対象物の画像を入力を行うもので、例えば、ＣＣＤカメラにより構成される。
【００３３】
画像保持部２は、画像入力部１から入力された認識対象物の画像を保持する。画像は、例えば画像の各画素の輝度を成分とし、画素数の次元を持つベクトルパターンとして保持される。保持された画像は画像変形部６により適宜変形され、変形された画像は再び画像保持部２に保持される。
【００３４】
類似度計算部３は、画像保持部２に保持された画像と予め指定された参照物のテンプレート画像との類似度を計算する。類似度は、画像保持部２に保持された画像とテンプレート画像の間のユークリッド距離すなわち対応する画素の輝度の差の２乗和の平方根や、画像保持部２に保持された画像と、複数のテンプレート画像の分布を近似した部分空間との距離などを用いて表せる。例えば、これらの距離の逆数を類似度とすれば、これらの距離が小さいほど類似度が大きいことになる。また、類似度計算部３は、後述する推定誤差評価部１４と兼ねることもできる。
【００３５】
判定部４は、類似度計算部３によって計算された類似度を予め定められた閾値と比較し、類似度が閾値より大きい場合に対象物が参照物と同一であると判定する。
【００３６】
画像変形度推定部５（５−１〜５−ｎ）は、それぞれ、画像保持部２に保持された画像がテンプレート画像からどれくらい変形しているかを各々が異なる画像変形の自由度に関して推定する。画像変形の自由度としては、例えば、位置の移動、回転、拡大縮小などが上げられる。また画像変形度推定部５は、推定された画像変形の精度も評価して出力する。
【００３７】
画像変形部６（６−１〜６−ｎ）は、それぞれ、画像変形度推定部５（５−１〜５−ｎ）と１対１に対応し、画像保持部２に保持された画像を変形してテンプレート画像に近づける。画像変形部６の画像変形操作の自由度は、それぞれ対応した画像変形度推定部５の画像変形自由度と同じであり、変形操作量は対応した画像変形度推定部５からの画像変形度推定値とその精度に応じて決められる。変形操作量は画像変形度推定値に減速因子を乗じた値とする。減速因子は推定値誤差が０の時１で、推定値誤差が大きくなるにつれ０に近づくようにする。画像変形操作の方向は画像保持部２に保持された画像がテンプレートに近づく方向とする。すなわち推定誤差が小さいほど少ない画像操作で画像保持部２に保持された画像がテンプレート画像に近づくことになる。
【００３８】
画像変形調停部７は、画像変形部６のそれぞれによる画像操作を調停する。調停は各画像変形度推定部５から送られる画像変形度推定値の推定値誤差によってなされ、この値が一番小さな画像変形部６を優先的に動作させる。ただし、画像変形度推定値が一定値以下の画像変形部６は動作させない。
【００３９】
次に、画像変形度推定部５の構成について詳しく説明する。図２は、画像変形度推定部５の構成を示した図である。同図に示すように、画像変形度推定部５は、それぞれ、特徴パターン生成部１１と部分空間射影計算部１２、変形度推定部１３、推定誤差評価部１４を具備して構成される。
【００４０】
特徴パターン生成部１１は、画像保持部２から入力された画像を表すベクトルパターンから予め定められた変換により特徴パターンを生成する。この変換の方法は、例えば、ベクトルパターンを予め多数の任意の画像に対して主成分解析して得られた固有値の大きな有限個の基底ベクトルに射影する方法、ベクトルパターンに対しフーリエ変換を施す方法、ベクトルパターンに対しウェーブレット変換を行う方法などが可能である。
【００４１】
部分空間射影計算部１２は、参照物画像の特徴パターンの分布を近似する部分空間を予め学習してあり、対象物画像の特徴パターンが入力されたとき、この特徴パターンを部分空間に射影し、その射影の部分空間上の座標系における座標値を出力する。ここで特徴パターンの部分空間への射影ベクトルとは、特徴パターンともっとも距離が近くなる部分空間上の点と定義する。実世界での特徴パターンの変動は非常に複雑なため、その変動を近似するためには、非線形の部分空間が好ましい。
【００４２】
非線形の部分空間は、例えば、図３に示すようなオートエンコーダと呼ばれるニューラルネットによって表現することが可能である。オートエンコーダは多層パーセプトロンの一種であり、図３のように入力層２１のニューロン数ｎと出力層２２のニューロン数ｎが同じで、中間層２３のニューロン数が入力層２１のニューロン数より少なくなっている。そして入力層２１に入力された値に対して同じ値を教師信号として出力層２２のニューロンに与え、恒等写像を実現するように各シナプス結合の重みを学習させる。学習は通常のバックプロパゲーション法で行うことができる。
【００４３】
学習されたオートエンコーダの出力層２２の出力は、図４に示すように、入力を表すｎ次元空間内で学習サンプル３１の分布を近似する非線形部分空間３２を構成し、オートエンコーダの中間層２３のニューロンの出力は非線形部分空間３２上の座標系３４での座標成分に対応する。従って、学習されたオートエンコーダに特徴パターン３３を入力した時の出力層２２の出力が特徴パターン３３の非線形部分空間３２への射影３５となり、中間層２３のニューロンの出力３４がその射影ベクトルを非線形部分空間３２上の座標系で表したものとなる。
【００４４】
変形度推定部１３は、部分空間射影計算部１２から出力された特徴パターンの部分空間への射影と画像変形度の関係を予め学習しており、これを用いて部分空間への射影値から画像変形度を求めて出力する。部分空間への射影と画像変形度の関係は、例えば、部分空間が中間層２３のニューロン数が２のオートエンコーダで表され、自由度が回転の場合、図５に示すような関係となる。
【００４５】
図５では、中間層２３の２つのニューロンの出力を２次元にプロットしたものであり、その軌跡は画像の回転角に応じて閉曲線を描いている。この閉曲線上の点と画像の回転角は１対１に対応しているため、中間層２３の２つのニューロンの出力から画像の回転角を推定することができる。このような中間層２３のニューロンの出力と画像変形度の関係は、変形度推定部１３中に近似関数として保存したり、ルックアップテーブルとしてメモリ（不図示）に保存される。
【００４６】
推定誤差評価部１４は、図４のように特徴パターン３３と非線形部分空間３２との距離ｄを計算し、この距離ｄを変形度推定部１３において推定された画像変形度の精度として出力する。ここで特徴パターン３３と非線形部分空間３２との距離とは特徴パターン３３とその非線形部分空間３２上への射影ベクトル３５のユークリッド距離であり、例えば、非線形部分空間３２がオートエンコーダで表現されている場合、オートエンコーダの入力と出力の間のユークリッド距離で表せる。特徴ベクトル３３と非線形部分空間３２との距離が小さいほど特徴ベクトル３３が非線形部分空間３２によって良く近似できているとみなせるため、画像変形度の精度としてｄを用いることは妥当である。もちろん、ｄに関する任意の単調増加関数を用いても構わない。
【００４７】
次に、図１に示した認識装置を学習させるための学習サンプルについて説明する。以下では簡単のため、認識対象物は傾きと観測者の視野内の位置は変化するが、観測者からの距離は変化しないとする。すなわち、認識対象物の画像の変形の自由度は例えば画像面内の回転と画像面内の移動のみが許されるとする。もちろん、この他の自由度を許すことも可能である。
【００４８】
画像の変形の自由度に対応して、２つの画像変形度推定部５を用意し、第１の画像変形度推定部５−１は画像面内の回転を、第２の画像変形度推定部５−２は画像面内の移動を担当させる。第１の画像変形度推定部５−１のための学習サンプルは、観測者の視野の中央に位置する対象物の正立画像を複数用意し、これらに対し回転およびシフトを同時に施した複数の画像であり、回転角は図６のように例えば−１８０度から１８０度までの一様乱数で変化させ、シフト量は図６のように縦方向および横方向に例えば幅６ピクセルのガウス分布の乱数で変化させる。サンプル数は例えば１０００画像用意する。
【００４９】
同様に、第２の画像変形度推定部５−２のための学習サンプルは、観測者の視野の中央に位置する対象物の正立画像を複数用意し、これらに対し回転およびシフトを同時に施した複数の画像であり、回転角は図６のように例えば幅１０度のガウス分布の乱数で変化させ、シフト量は図６のように縦方向および横方向に例えば−６ピクセルから６ピクセルまでの一様乱数で変化させる。サンプル数は、例えば１０００画像用意する。
【００５０】
このように、この発明を適用した場合には、認識したい画像変形の自由度につき、ほぼ同数の学習サンプルを用意すればよく、図７に示すように、学習サンプル数は画像変形の自由度と比例関係にある。
【００５１】
一方、従来技術では、認識したい画像変形の自由度すべての組み合わせに対して学習サンプルを用意する必要があるため、学習サンプル数は画像変形の自由度に対して級数的に増大する。従って、この発明によれば、特に画像変形の自由度が多くなった場合に、学習サンプルが従来技術に比べて少なくすみ、学習時間も短時間となる。
【００５２】
また、学習サンプルが多いほど学習サンプルの分布を近似する部分空間を表現するリソースも増大する。例えば、オートエンコーダの場合では、中間層のニューロン数やシナプスの数である。それにつれて認識時の演算時間も増大する。従って、この発明はリソースの削減や認識時間の短縮の効果もある。
【００５３】
次に、図１に示した認識装置の学習時の動作を説明する。図８は、認識装置の学習時の動作の流れを示すフローチャートである。
【００５４】
学習は、第１の画像変形度推定部５−１と第２の画像変形度推定部５−２に対して独立に行うことが可能であるため、ここでは第１の画像変形度推定部５−１の学習について説明する。なお、第２の画像変形度推定部５−２についても同様の手順で学習が行われる。
【００５５】
まず、第１の画像変形度推定部５−１のオートエンコーダの初期設定をする（ステップ１０１）。初期設定は、入力層および出力層のニューロン数を特徴パターンの次元数に設定し、第３層のニューロン数を画像回転の自由度である２に設定する。第２層および第４層のニューロン数は、特徴パターンの次元数以上に設定する。さらに各シナプスの重みを乱数によって初期化する。
【００５６】
次に、例えば、２７×２７画素の学習サンプルを画像入力部１に入力し、これを各画素の輝度値を成分とする７２９次元のベクトルの形で画像保持部２に保持する（ステップ１０２）。続いて、画像保持部２に保持された画像が特徴パターン生成部１１−１に送られ、予め定められた、例えば、５０次元の線形部分空間に射影され、５０次元の特徴パターンに変換される（ステップ１０３）。ここで、予め定められた線形部分空間は、例えば、多数の任意の２７×２７画素の画像を主成分解析して得られた上位５０個の固有ベクトルを基底とする部分空間であり、この部分空間への射影はベクトルの大きさをほぼ保ったまま情報量を圧縮する効果がある。
【００５７】
次に、特徴パターンをオートエンコーダに入力し、同時にオートエンコーダの教師信号として与える。そして既知の技術であるバックプロパゲーション法によってオートエンコーダの出力と教師信号の２乗誤差が少なくなるように各シナプスの重みを更新することで、部分空間の学習を行う（ステップ１０４）。バックプロパゲーション法の詳細については既知であるのでここでは詳しく説明しない。そして、オートエンコーダの出力と教師信号の２乗誤差を全学習サンプルにわたって平均しこの値が規定値より小さくなるまで学習を継続する（ステップ１０５でＮＯ）。２乗誤差が規定値より小さくなった場合、つまり、部分空間の学習が収束した場合には（ステップ１０５でＹＥＳ）、変形度推定部１３−１の学習を行う。
【００５８】
変形度推定部１３−１の学習では、再び学習サンプルを入力し（ステップ１０６）、学習サンプルを特徴パターンに変換し（ステップ１０７）、特徴パターンをオートエンコーダに入力して射影値の計算を行う（ステップ１０８）。そして、オートエンコーダの中間層の２つのニューロンの出力を変形度推定部１３−１に入力するとともに、学習サンプルを生成する際に施した回転の角度も同時に入力し（ステップ１０９）、変形度推定部１３−１の学習として中間層の２つのニューロンの出力に対する回転の角度のルックアップテーブルを作成する（ステップ１１０）。以上の処理を全学習サンプルに対して行い（ステップ１１１でＮＯ）、全学習サンプルに対して処理が終了すると（ステップ１１１でＹＥＳ）、学習を完了する。
【００５９】
なお、ここでは、画像変形度推定部５をそれぞれ独立に学習させる場合を説明したが、各画像変形度推定部５を関連させて学習を行わせることができる。学習方法としては、例えば、学習サンプルを全ての画像変形度推定部５に入力し、最良の結果（距離が最小）を得た画像変形度推定部５にのみ学習を行わせ、これを繰り返すようにする。
【００６０】
次に、図１に示した認識装置の認識時の動作を説明する。図９および図１０は、認識装置の認識時の動作の流れを示すフローチャートである。
【００６１】
認識処理では、まず、画像入力部１に対象物画像、例えば、２７×２７画素の画像を入力し、各画素の輝度値を成分とする７２９次元のベクトルの形で画像保持部２に保持する（ステップ２０１）。続いて、画像操作数を数えるカウンタの値ｊを０に初期化し（ステップ２０２）、カウンタの値ｊを一つ増やす（ステップ２０３）。
【００６２】
次に、画像保持部２に保持された画像が第１の特徴パターン生成部１１−１に送られ、ここで予め定められた例えば５０次元の線形部分空間に射影され、５０次元の特徴パターンに変換される（ステップ２０４Ａ）。そして、この特徴パターンを第１の部分空間射影計算部１２−１に入力して、特徴パターンの部分空間への射影値および特徴パターンと部分空間との距離の計算を行い（ステップ２０５Ａ）、第１の変形度推定部１３−１において特徴パターンの部分空間への射影値から画像の回転角を推定する（ステップ２０６Ａ）。また、第１の推定誤差評価部１４−１において特徴パターンと部分空間との距離から回転角の推定誤差を計算する（ステップ２０７Ａ）。
【００６３】
一方、このステップ２０４Ａ乃至２０７Ａの処理と並行して、画像保持部２に保持された画像が第２の特徴パターン生成部１１−２に送られ、ここで予め定められた例えば５０次元の線形部分空間に射影され、５０次元の特徴パターンに変換される（ステップ２０４Ｂ）。そして、この特徴パターンを第２の部分空間射影計算部１２−２に入力して、特徴パターンの部分空間への射影値および特徴パターンと部分空間との距離の計算を行い（ステップ２０５Ｂ）、第２の変形度推定部１３−２において特徴パターンの部分空間への射影値から画像のシフト量を推定する（ステップ２０６Ｂ）。また、第２の推定誤差評価部１４−２において特徴パターンと部分空間との距離からシフト量の推定誤差を計算する（ステップ２０７Ｂ）。
【００６４】
次に、画像変形調停部７が、第１の推定誤差評価部１４−１において計算された回転角の推定誤差と第２の推定誤差評価部１４−２において計算されたシフト量の推定誤差とを比較する。比較の結果、回転角の推定誤差の方が小さかった場合には（ステップ２０８でＮＯ）、画像変形調停部７の調停により、第１の画像変形部６−１が画像保持部２の画像を当該画像が正立する方向に回転させる（ステップ２０９）。一方、シフト量の推定誤差の方が小さかった場合には（ステップ２０８でＹＥＳ）、画像変形調停部７の調停により、第２の画像変形部６−２が画像保持部２の画像を当該画像が中央に位置する方向にシフトさせる（ステップ２１０）。またこの時、回転角またはシフト量の推定値が既定値以下の場合（正規化画像に近い場合）、その自由度に関する変形は行わず、他方の変形を優先させる。
【００６５】
次に、類似度計算部３が画像保持部２の画像と参照物の画像の類似度を計算する（ステップ２１１）。そして、類似度が予め設定した閾値を越えた場合（ステップ２１２でＹＥＳ）、入力画像が参照物と同一であると判定し（ステップ２１３）、認識処理を終了する。
【００６６】
一方、類似度が閾値以下の場合には（ステップ２１２でＮＯ）、画像操作回数が規定回数以下、つまり、カウンタの値ｊが規定回数以下であれば（ステップ２１４でＮＯ）、ステップ２０３に移行して画像保持部２の画像（回転若しくはシフト済み）に対して再び同様の処理を行う。画像操作回数が規定回数を超えた場合には（ステップ２１４でＹＥＳ）、入力画像が参照物と異なるものであると判定し（ステップ２１５）、認識処理を終了する。
【００６７】
図１１は、図９および図１０を参照して説明した処理を角度−１８０度、縦横にそれぞれ６ビットシフトした目の画像２種類に対して行った場合に、画像保持部２に保持された画像の変形の様子を示したものである。また、図１２は、同様の認識処理を８サンプルに対して行ったときの画像の角度および中央からのずれの推移をグラフ化したものである。いずれの図からも入力に対し、画像の回転およびシフトを繰り返し、数回の操作で正立して中央に位置する画像が得られていることがわかる。
【００６８】
以上の説明では、画像変形部５が２つの場合について説明したが、３つ以上でも同様の手順で認識処理を行うことができる。画像の変形の自由度としては、深さ方向の回転、証明の変化による変形の他、顔の表情、個人差を表すような任意の変形が可能である。
【００６９】
また、変形度の累積値を用いて対象物の正規化状態からのずれを表現でき、対象物の置かれた状態の認識も可能である。
【００７０】
以上に説明した実施例により、対象物の環境が大きく変化しても対象物を認識可能な画像認識装置を現実的なリソースで実現でき、かつ少ない学習サンプルで用意に学習可能となる。
【００７１】
［実施例２］
実施例２における認識装置の構成は、図１に示した実施例１の場合の構成と同様であり、部分空間射影計算部１２、変形度推定部１３、および推定誤差評価部１４における処理のみが異なる。したがって、ここでは部分空間射影計算部１２、変形度推定部１３、および推定誤差評価部１４での処理についてのみ説明を行い、他の構成の説明は省略する。
【００７２】
部分空間射影計算部１２は、参照物画像の特徴パターンの分布を近似する部分空間が予め学習してある。実世界での特徴ベクトルの変動は非常に複雑なため、その変動を近似するためには、非線形の部分空間が好ましい。しかしながら実施例２では、特徴パターンの表される空間における非線形の部分空間を学習する代わりに、特徴パターンを予め定められた非線形写像により特徴パターン空間より高次元の空間に写像し、写像された高次元の空間における線形な部分空間によって特徴パターン空間における非線形部分空間を近似的に表現する。
【００７３】
そして、部分空間射影計算部１２は、対象物画像の特徴パターンが入力されたとき、特徴パターンを非線形写像によって高次元空間に写像し、高次元空間での線形部分空間へ射影し、その射影の線形部分空間上の座標系における座標値を出力する。ここで射影ベクトルとは、特徴パターンの非線形写像ともっとも距離が近くなる線形部分空間上の点と定義する。同時に特徴パターンの非線形写像と線形部分空間との距離を計算して出力する。
【００７４】
以下では、上述の射影値および部分空間との距離を求める方法について詳しく説明する。特徴パターンをｄ次元ベクトルｘ、ｘをｄΦ次元の高次元空間Ｆに写像する非線形写像をΦとすると式１が成り立つ。
【００７５】
【式１】
0003979136.tif 000002
【００７６】
高次元空間のｍ次元の線形部分空間は予め学習によって求められており、その基底ベクトルをΦ１,...,Φｍとすると、特徴パターンの非線形写像の線形部分空間への射影値α１,...,αｍは、式２に示すように特徴パターンの非線形写像と線形部分空間上の点との距離Ｌを最小にするα１,...,αｍとして求められる。また、その時のＬの値の平方根が特徴パターンの非線形写像と線形部分空間との距離となる。
【００７７】
【式２】
0003979136.tif 000003
【００７８】
しかしながら、一般的に特徴パターン空間における強い非線形性を表現するためには、高次元空間の次元数は非常に高いものとなり、式２を計算することは不可能に近い。そこで、本実施例では、非線形写像Φとして特殊な写像を選ぶことにより、カーネル法と呼ばれる手法を用いることを可能とし、現実的な計算量で式２を計算できるようにする。具体的には、非線形写像Φを予め定められたカーネル関数と関連するように選択する。ここでカーネル関数とは、式３のように表される特徴パターン空間で定義された関数であり、φ１(ｘ),...,φｄΦ(ｘ)をカーネル関数の固有関数、λ１,...,λｄΦをその固有値と呼ぶ。
【００７９】
【式３】
0003979136.tif 000004
【００８０】
カーネル関数としては、式４に示すガウシアンカーネルや式５に示す多項式カーネルなどが可能である。
【００８１】
【式４】
0003979136.tif 000005
【式５】
0003979136.tif 000006
【００８２】
選択された非線形写像Φは固有関数と固有値を用いて、式６と表される。さらに、高次元空間の線形部分空間のｍ個の基底ベクトルがｄ次元の特徴パターン空間の任意のｍ個のベクトルｘ１,...,ｘｍ(以後プレイメージと呼ぶ)の非線形写像Φ(ｘ１),...,Φ(ｘｎ)のベクトルとなるように線形部分空間に制約を与える。
【００８３】
【式６】
0003979136.tif 000007
【００８４】
式３の関係を用いると式２は、カーネル関数を用いて式７となる。式７は、高次元空間のベクトル演算を陽に含まないため、容易に計算可能である。式７を最小とするα１,...,αｍは、Ｌの微分を０とするα１,...,αｍとして求められ、式８に示すようになる。ここで行列Ｋは、Ｋ(ｘｉ,ｘｊ)をｉ行ｊ列成分とする行列である。またＬの最小値は、このα１,...,αｍを式７に代入することにって求められる。
【００８５】
【式７】
0003979136.tif 000008
【式８】
0003979136.tif 000009
【００８６】
次に、線形部分空間の基底ベクトルの学習則について説明する。線形部分空間の基底ベクトルは必ずプレイメージを持つと仮定しているため、学習則は基底ベクトル自体でなくプレイメージの学習則となる。プレイメージの学習則は射影値α１,...,αｍを求めた後、式７を最も減少させる方向Δｘｉにプレイメージｘｉを動かすことになる。Δｘｉは、所謂最急降下法で得られ、式９に示すようになる。
【００８７】
【式９】
0003979136.tif 000010
【００８８】
ここで、ηは学習係数であり、正の定数である。Ｇ(ｘ)は、非線形写像によって高次元空間に埋め込まれる多様体の計量テンソルであり、式９中の計量テンソルは、高次元空間での最急勾配の方向を特徴パターン空間での最急勾配の方向へと修正する意味を持っている。Ｇ(ｘ)もカーネル関数を用いて式１０のように表すことができる。式１０は、基本的には高次元空間での線形最適化問題なので、非線形の最適化と異なり収束性が良く、短時間で学習することができる。
【００８９】
【式１０】
0003979136.tif 000011
【００９０】
次に、変形度推定部１３について説明する。変形度推定部１３は、部分空間射影計算部１２から出力された特徴ベクトルの部分空間への射影と画像変形度の関係が予め学習されており、これを用いて部分空間への射影値から画像変形度を求めて出力する。部分空間への射影と画像変形度の関係は、例えば、自由度が回転の場合、図１３に示すような関係となる。図１３では、任意の射影成分を対象物の角度に対してプロットしたものであるが、各成分は、特定の角度にもっとも強く反応し、角度が変化するにつれて反応が弱くなっている。基底の番号ｉとその基底への射影成分が最大となる画像変形度θ(ｉ)の組はルックアップテーブルとして変形度推定部１３に保存される。そして画像変形度はθ(ｉ)の値を部分空間射影計算部１２からの入力α１,...,αｍを用いて、例えば、加重平均することにより、式１１と求められる。
【００９１】
【式１１】
0003979136.tif 000012
【００９２】
推定誤差評価部１４は式７によって特徴パターンの非線形写像と線形部分空間との距離の２乗であるＬを計算し、変形度推定部１３において推定された画像変形度の精度として出力する。Ｌが小さいほど特徴パターンが良く近似できているとみなせるため、画像変形度の精度としてＬを用いることは妥当である。もちろんＬに関する任意の単調増加関数を用いても構わない。
【００９３】
なお、実施例２における学習に要するサンプル、認識装置の学習手順および認識手順は実施例１と同様であるため、説明は省略する。
【００９４】
［実施例３］
実施例３では、画像の代わりに、例えば、「あ」と言うような特定の音声を認識する。実施例３における認識装置の構成は、図１に示した実施例１の認識装置の構成における「画像」を「音声」と読み替えたものとなる。
【００９５】
したがって、実施例３の構成は、ここでは説明しない。実施例１と異なるのは入力パターンの表現方法と入力パターンの変形方法であるので、これを図１４を用いて説明する。入力された音声は、一定の時間間隔でサンプリングされ、時間に関して離散化された表現と、フーリエ窓で指定された時間領域でフーリエ変換された二つの周波数表現として保持される。保持された入力に対して、実施例３では二つのパターン変形部とそれらに対応したパターン変形度推定部を有する。第１のパターン変形部は周波数表現に対して変形を行い、周波数をシフトさせる。一方、第２のパターン変形部は時間表現に対して変形を行い、パターンを時間軸方向に伸長させる。以上の二つのパターン変形部を有することにより、発生時の声の高さの変動と発生のスピードの変動に対応することができる。
【００９６】
なお、学習や認識手順については第1の実施例と同じであるのでここでは説明しない。
【００９７】
以上の各実施例では、入力として画像および音声の場合について説明したが、入力としてはこれらに限らず、味覚、嗅覚、触覚など、特徴パターンとして表現できるあらゆる情報に関して適用可能である。また、画像に対しても色の判定を行う場合に適用したり、音声に対しても単語を対象としたり、楽器等から発せられる音を対象としたりする場合に適用することができる。
【００９８】
【発明の効果】
以上説明したように、この発明によれば、対象物の参照物からの変形度を複数の変形自由度に対応して推定するとともに、該推定した変形度の推定誤差を評価し、該評価した推定誤差が最小の変形自由度で前記対象物を変形し、該変形した対象物と前記参照物との類似度を算出し、該算出した類似度に基づいて前記対象物が前記参照物と同一であるか否かを判定するように構成したので、対象物の環境が大きく変化しても対象物を認識可能な画像認識装置を現実的なリソースで実現でき、かつ少ない学習サンプルで容易に学習可能となる。
【図面の簡単な説明】
【図１】この発明を適用した認識装置の機能的な構成を示すブロック図である。
【図２】画像変形度推定部５の構成を示した図である。
【図３】オートエンコーダを説明するための図である。
【図４】非線形部分空間を説明するための図である。
【図５】部分空間への射影値と画像の回転角の関係を示した図である。
【図６】学習サンプルの分布を示した図である。
【図７】実施例１における学習サンプル数を従来例と比較した図である。
【図８】認識装置の学習時の動作の流れを示すフローチャートである。
【図９】認識装置の認識時の動作の流れを示すフローチャート（１）である。
【図１０】認識装置の認識時の動作の流れを示すフローチャート（２）である。
【図１１】画像保持部２に保持された画像の変形の様子を示した図である。
【図１２】認識処理を８サンプルに対して行ったときの画像の角度および中央からのずれの推移をグラフ化した図である。
【図１３】実施例２における特定の射影値と画像の回転角の関係を示した図である。
【図１４】実施例３における入力音声の変形方法を示した図である。
【符号の説明】
１    画像入力部
２    画像保持部
３    類似度計算部
４    判定部
５、５−１〜５−ｎ    画像変形度推定部
６、６−１〜６−ｎ    画像変形部
７    画像変形調停部
１１    特徴パターン生成部
１２    部分空間射影計算部
１３    変形度推定部
１４    推定誤差評価部
２１    入力層
２２    出力層
２３    中間層
３１    学習サンプル
３２    非線形部分空間
３３    特徴パターン
３４    中間層のニューロンの出力
３５    射影ベクトル
【図１】
0003979136.tif 000013
【図２】
0003979136.tif 000014
【図３】
0003979136.tif 000015
【図４】
0003979136.tif 000016
【図５】
0003979136.tif 000017
【図６】
0003979136.tif 000018
【図７】
0003979136.tif 000019
【図８】
0003979136.tif 000020
【図９】
0003979136.tif 000021
【図１０】
0003979136.tif 000022
【図１１】
0003979136.tif 000023
【図１２】
0003979136.tif 000024
【図１３】
0003979136.tif 000025
【図１４】
0003979136.tif 000026