(57)【特許請求の範囲】
【請求項１】
参照パターンと入力された特徴ベクトルとの適合度の計算に基づいてパターン認識を行なうパターン認識方法であって、
適合度の計算工程において、特徴ベクトルの各次元をスカラー量子化するスカラー量子化工程と、
前記スカラー量子化工程の結果に基づいて適合度を近似的に計算する計算工程と、
前記計算工程の結果に基づいて選択された参照パターンの適合度を、入力された特徴ベクトルからスカラー量子化せずに計算して、前記選択された参照パターンの適合度とする処理工程とを備えたことを特徴とするパターン認識方法。
【請求項２】
前記処理工程では、前記計算工程で計算された適合度が高いものから順に所定の個数選択し、該選択された参照パターンの適合度を、入力された特徴ベクトルからスカラー量子化せずに計算して、前記選択された参照パターンの適合度とすることを特徴とする請求項１記載のパターン認識方法。
【請求項３】
参照パターンの時系列に対して、前記計算工程を行なうことを特徴とする請求項１に記載のパターン認識方法。
【請求項４】
参照パターンと入力された特徴ベクトルとの適合度の計算に基づいてパターン認識を行なうパターン認識装置であって、
適合度の計算において、特徴ベクトルの各次元をスカラー量子化するスカラー量子化手段と、
前記スカラー量子化手段の結果に基づいて適合度を近似的に計算する計算手段と、
前記計算手段の結果に基づいて選択された参照パターンの適合度を、入力された特徴ベクトルからスカラー量子化せずに計算して、前記選択された参照パターンの適合度とする処理手段とを備えたことを特徴とするパターン認識装置。
【請求項５】
前記処理手段は、前記計算手段により計算された適合度が高いものから順に所定の個数選択し、該選択された参照パターンの適合度を、入力された特徴ベクトルからスカラー量子化せずに計算して、前記選択された参照パターンの適合度とすることを特徴とする請求項４記載のパターン認識装置。
【請求項６】
参照パターンの時系列に対して、前記計算手段による計算を行なうことを特徴とする請求項４に記載のパターン認識装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、パターン認識を行なうパターン認識方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来より、パターン認識の手法として、参照パターンを予め用意し、用意されたパターンのうち入力されたパターンに最も良く適合するものを認識結果とする方法がある。通常、入力されるパターンは、複数の特徴量を組み合わせた特徴ベクトルである。一方、参照パターンは、認識結果を代表する特徴ベクトル、あるいは特徴ベクトルを入力とする関数として表現される。
【０００３】
参照パターンが認識結果を代表する特徴ベクトルの場合は、参照パターンと入力されたパターンとの適合度は、参照パターンの特徴ベクトルと入力パターンの特徴ベクトルとの間の距離として表現される。参照パターンが特徴ベクトルを入力とする関数の場合は、参照パターンと入力されたパターンとの適合度は、参照パターンである関数に入力パターンの特徴ベクトルを入力して得られる値として表現される。
【０００４】
参照パターン関数としては、多次元確率密度関数が用いられることが多い。即ち、入力された特徴ベクトルをｘ，ｉ番目の参照パターンである確率密度関数をＰi(・)，ｉ番目の参照パターンと入力されたパターンとの適合度をＹi とすれば、
【０００５】
【数１】
0003703164.tif 000002
となる。
前記の確率密度関数としては、ガウス分布関数などの関数が用いられる。また、複数の確率密度関数の重み付け和である混合密度関数が用いられることもある。混合密度関数を用いた場合、前記適合度は、ｉ番目の参照パターンのｍ番目の確率密度関数をＰim(・) 、ｉ番目の参照パターンのｍ番目の確率度関数の重みをｗimとして、
【０００６】
【数２】
0003703164.tif 000003
となる。
また、式（１）において、特徴ベクトルの各次元間の無相関を仮定して、
【０００７】
【数３】
0003703164.tif 000004
を参照パターン関数とすることもある。ここで、ｘj は入力ベクトルｘのｊ次元目の特徴量、Ｐij(・) は、ｉ番目の参照パターンのｊ次元目に対応する確率密度関数である。
【０００８】
また、音声認識などにおいては、ＨＭＭ（隠れマルコフモデル）がよく用いられる。この場合には、参照パターンはＨＭＭの各状態に対応し、前記適合度は、ＨＭＭの各状態が入力されたパターンを出力する出力確率となる。
また、実際のパターン認識において、Ｐi(・)は入力ベクトルと参照パターンとの適合度でしかないため、Ｐi(・)は厳密な意味での確率密度関数である必要はない。特に、Ｐi(・)を、入力ベクトルと参照パターンベクトルとの距離と解釈することも出来る。さらに、Ｐi(・)は距離関数以外の一般の関数でもよい。従って、以降の説明では、確率密度関数という用語を用いる代わりに、参照パターン関数、あるいは適合度関数と呼ぶことにする。
【０００９】
【発明が解決しようとする課題】
しかし、上記従来例では、次のような問題点があった。すなわち、パターン認識を行なうためには、全ての参照パターン関数に関して式（１）の値を計算しなくてはならない。従って、参照パターンの数が多い場合には、適合度の計算量が非常に大きくなる。
【００１０】
本発明は、従来の欠点を除去し、パターン認識を行なうために必要な全ての参照パターン関数に対する適合度の計算量を削減して、高速なパターン認識を行うパターン認識方法及びその装置を提供する。又、参照パターンの数が多い場合にも、適合度の計算量が増加せずに高速なパターン認識を行うパターン認識方法及びその装置を提供する。更に、適合度の計算量を極力抑えて正確なパターン認識を行うパターン認識方法及びその装置を提供する。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明のパターン認識方法は、参照パターンと入力された特徴ベクトルとの適合度の計算に基づいてパターン認識を行なうパターン認識方法であって、適合度の計算工程において、特徴ベクトルの各次元をスカラー量子化するスカラー量子化工程と、前記スカラー量子化工程の結果に基づいて適合度を近似的に計算する計算工程と、前記計算工程の結果に基づいて選択された参照パターンの適合度を、入力された特徴ベクトルからスカラー量子化せずに計算して、前記選択された参照パターンの適合度とすることを特徴とする。
【００１５】
又、本発明のパターン認識装置は、参照パターンと入力された特徴ベクトルとの適合度の計算に基づいてパターン認識を行なうパターン認識装置であって、前記適合度の計算に用いる関数を各次元独立に計算可能な形式に近似した関数を用いて、特徴ベクトルとの適合度を計算することを特徴とする。
【００１６】
又、本発明のパターン認識装置は、参照パターンと入力された特徴ベクトルとの適合度の計算に基づいてパターン認識を行なうパターン認識装置であって、適合度の計算において、特徴ベクトルの各次元をスカラー量子化するスカラー量子化手段と、前記スカラー量子化手段の結果に基づいて、適合度の計算に用いる関数を各次元独立に計算可能な形式に近似した関数に対する適合度を近似的に計算する第２の近似計算手段とを備えることを特徴とする。
【００１７】
【実施例】
以下、図面を参照しながら本発明の一実施例を説明する。
図１は本実施例のパターン認識装置のハードウェア構成例を示す図である。
図中、１は、パターン認識の結果あるいはパターン認識の結果得られた応答を出力する出力装置、２は、音声や画像といった認識すべき対象を入力する入力装置、３は、数値演算・制御等の処理を行う中央処理装置であり、記憶装置４に記憶された本実施例の手順に従って演算・制御を行う。４は、ディスク装置等の外部メモリ装置やＲＡＭ／ＲＯＭ等の内部メモリを含む記憶装置であり、各種変数や中間値を記憶すると共に、入力パターンの特徴ベクトル４ａ，スカラー量子化用の符号値集合４ｂ，参照パターン関数４ｃ，参照パターン関数の出力値集合４ｄ，図２に示すフローチャートを含むパターン認識プログラム４ｅを格納する。
【００１８】
以上のハードウェア構成を踏まえて本実施例の動作を説明する。
図２は本実施例の動作手順例を示すフローチャートである。
該フローチャートにおいて、参照パターンの個数をＳとし、特徴ベクトル空間の次元数をＮとする。また、入力された特徴ベクトルをｘとし、そのｊ次元目の要素をｘj とする。また、ｉ番目の参照パターンに対応する関数をＹi ＝Ｐi(・)とする。本実施例においては、特徴ベクトル空間の各次元を独立と仮定して、
【００１９】
【数４】
0003703164.tif 000005
あるいは、
【００２０】
【数５】
0003703164.tif 000006
とする。前者と後者の違いは、対数表現を用いるか否かの違いである。本実施例の以降の説明では、対数をとった場合の表現である後者を用いる。ここで、Ｐij(・) はｉ番目の参照パターン関数のｊ次元目の関数である。
【００２１】
ステップＳ１〜ステップＳ３の初期化後、先ず、スカラー量子化ステップＳ４で、入力ベクトルｘのｊ次元目の値ｘj をスカラー量子化する。スカラー量子化とは、予め用意されたＫj 個の符号値集合｛ｘ1j，ｘ2j，…，ｘKjj ｝の中から入力ｘj に最も近い値ｘKjj を求める操作である。
次にテーブル参照ステップＳ５で、前記スカラー量子化の結果得られたｘKjj を入力とした場合の参照パターン関数のｊ次元目の出力値Ｐij(xKjj)を求める。この操作は、予め入力値集合｛ｘ1j，ｘ2j，…，ｘKjj ｝が分かっているため、出力値集合｛Ｐij(x1j) ，Ｐij(x2j) ，…，Ｐij(xKjj)｝のテーブルを用意し、Ｋj 番目の要素を参照するだけの操作である。
【００２２】
次に累積適合度計算ステップＳ６で、前記テーブル参照ステップＳ５での結果を、以前のテーブル参照ステップＳ５の結果の累積値ｙi に加える。
上記ステップＳ４からステップＳ６をＮ次元分繰り返すことにより、ｉ番目の参照パターンに対する入力ベクトルの適合度Ｙi を近似的にｙi として求めることができる。ステップＳ３、ステップＳ７、ステップＳ８がＮ回の繰り返し制御のためのステップである。
【００２３】
また、上記ステップＳ２〜ステップＳ１０をＳ個分繰り返すことにより、全ての参照パターンについて、入力ベクトルの適合度を高速に求めることができる。ステップＳ１、ステップＳ９、ステップＳ１０がＳ回の繰り返し制御のためのステップである。
尚、前記スカラー量子化ステップＳ４において、２分探索法を用いることによりスカラー量子化を高速に行なうことができる。２分探索法は、符号値集合を昇順もしくは降順に並べた時に、入力のｊ次元目の値が、集合の前半に属するか集合の後半に属するかを調べ、前半に属するならば前半を後半に属するならば後半を新たな符号値集合として、再帰的な探索を行なう手法である（図３）。
【００２４】
図３において、３０１には、符号値集合とスカラー量子化すべき入力値との例が示されている。３０２には２分探索法の手順例が示されている。
まず、入力値“５”が、符号値集合｛１，３，４，７，１１，１２，１５，１９｝を２分した場合に、各部分集合｛１，３，４，７｝と｛１１，１２，１５，１９｝とのどちらに入るかを判断する(step1) 。次に、部分集合｛１，３，４，７｝と２つの部分集合｛１，３｝と｛４，７｝とのどちらに入るかを判断する(step2) 。最後に、部分集合｛４，７｝内のどちらの値がスカラー量子化値として適当かを判断する(step3) 。この２分探索の結果、“４”が量子化値として出力される。
【００２５】
又、前記実施例によって適合度ｙi を高速に求めた後、いくつかのｙi については、スカラー量子化をせずに入力ベクトルｘを用いて本来の適合度の計算式Ｙi ＝Ｐi(x)によって厳密に計算して、置き代えても良い。ｙi のうちのどれを再計算すべきかを判断するために、ｙi の値を利用することが出来る。
一例として、高速に求められたｙi のうち適合度の良かったものから順に予め定められた個数分だけ再計算することができる。
【００２６】
また別の例として次の手法が可能である。パターン認識においては１つの特徴ベクトルｘだけでなく、複数の特徴ベクトルの集合｛ｘ0 ，…，ｘT ｝を用いることがある。この場合、適合度の集合｛Ｙi0，…，ＹiT｝がパターン認識の結果を求めるのに用いられる。このようなパターン認識方法において、全体として良い値を示す適合度の集合｛ｙi0，…，ｙiT｝について再計算を行なって｛Ｙi0，…，ＹiT｝を求め、他の適合度の集合については高速に求められた値を用いることができる。
例えば、音声認識において、参照パターンとして｛ａ，ｏ，oo，ｇ，ｋ，ｎ，ｓ，ｔ，ｙ｝があった場合に、［ｔooｋｙoo］という参照パターンの時系列の組合わせを考える。まず本実施例の簡易計算によって適合度の集合｛ｙi0，…，ｙiT｝を求めた時に、［ｔ］の適合度がいくら良くても［ooｋｙoo］の適合度があまりに悪ければ再計算を行なう必要はない。一方、［ｔ］の適合度がいくら悪くても［ooｋｙoo］の適合度が良ければ厳密に再計算を行なう価値がある。
以上のように、選ばれた参照パターンについて適合度を厳密に再計算することによって、スカラー量子化による誤差の低減と共に以下の式（１５）のような近似計算による誤差（各次元に分けて計算できないものを近似的に分けて計算することによる）をも低減できる。
【００２７】
［具体例１］
参照パターンを示す関数としてガウス分布（多次元正規分布）を用いた場合について、その具体例を示す。
ｉ番目の参照パターンと入力ｘの適合度Ｙi は、平均値をμi 、共分散行列をΣi とするガウス分布Ｎ(・) を用いて、
【００２８】
【数６】
0003703164.tif 000007
と表される。ここで、Ｎは特徴ベクトルの次元数であり、ｔは転置を意味する。
ここで、本実施例の手法を用いて、このＹi を高速に計算する。
先ず、Ｎ次元特徴ベクトル空間の各次元を独立として、式（６）を
【００２９】
【数７】
0003703164.tif 000008
と分解する。ここで、μijはｉ番目の参照パターンであるガウス分布のｊ次元目の平均値を、σijはｉ番目の参照パターンのガウス分布のｊ次元目の分散である。尚、通常は分散をσ2 と表記するが、本明細書では簡単のためσと書く。
【００３０】
また、入力ベクトルｘのｊ次元目の値ｘj をスカラー量子化するための符号値の集合を｛ｘj,k ｝とする。全てのｉ，ｊ，ｋに対して、
【００３１】
【数８】
0003703164.tif 000009
を求め、記憶装置４にテーブルとして格納しておく。
以上の前処理の後、パターン認識時には以下の適合度計算を行なう。
先ず、入力された特徴ベクトルｘの各次元をスカラー量しかステップＳ４でスカラー量子化する。即ち、各次元ｊについて最適なＫj を求めて
【００３２】
【数９】
0003703164.tif 000010
とする。
次にテーブル参照ステップＳ５で、ｘj,Kjに対応するｙij,Kj をテーブル参照によって求める。
【００３３】
次に累積適合度計算ステップＳ６で、前記テーブル参照ステップＳ５の結果を累積し、Ｙi の近似値を得る。
【００３４】
【数１０】
0003703164.tif 000011
以上により、各参照パターンｉについて入力特徴ベクトルｘの適合度Ｙi の高速計算が行なわれる。
また、実施例で述べたように、いくつかの参照パターン｛ｉ｝について、式（６）もしくは式（７）を用いて厳密な｛Ｙi ｝を求め、上記の高速計算で求められた値｛ｙi ｝と置き換えても良い。
【００３５】
［具体例２］
参照パターンを示す関数として混合密度ガウス分布関数を用いた場合について具体例を示す。混合密度ガウス分布関数は、Ｍ個のガウス分布の重み付け和であり、ｍ番目のガウス分布の重みをｗm とすると次の様に定義される。
【００３６】
【数１１】
0003703164.tif 000012
ガウス分布の共分散成分を“０”と仮定した場合には、
【００３７】
【数１２】
0003703164.tif 000013
となる。
以下、本実施例の手法を用いて、この混合密度ガウス分布関数による適合度を計算する方法を示す。
【００３８】
先ず、第１の方法は、混合密度ガウス分布関数を構成する各ガウス分布関数について、本実施例の手法を適用して累積するものである。
先ず、上記具体例１に基づいて、入力ベクトルｘの各次元の値ｘj,Kjを求めた後、テーブル参照により、
【００３９】
【数１３】
0003703164.tif 000014
を求める。
次に、累積適合度計算ステップＳ６では、
【００４０】
【数１４】
0003703164.tif 000015
の累積計算を行ない、ｙi を得る。
第２の方法は、式（１２）を次の様に近似する方法である。
【００４１】
【数１５】
0003703164.tif 000016
上記の式を用いて、上記具体例１と同様の計算を行なう。
先ず、入力された特徴ベクトルｘの各次元の値ｘj をスカラー量子化ステップＳ４でスカラー量子化してｘj,Kjを求めた後、テーブル参照により、
【００４２】
【数１６】
0003703164.tif 000017
を求める。
次に、累積適合度計算ステップＳ６では、
【００４３】
【数１７】
0003703164.tif 000018
の累積計算を行ない、ｙi を得る。
第３の方法は、学習データを用いてＰi(x)を出力する関数を学習する方法である。
【００４４】
先ず、スカラー量子化の符号値の集合｛ｘj,k ｝に対応する値の集合｛ｙij,k｝を全てのｉについて用意する。｛ｙij,k｝は後述の基準によって学習しておく。
入力された特徴ベクトルｘの各次元の値ｘj をスカラー量子化ステップＳ４でスカラー量子化してｘj,Kjを求めた後、
【００４５】
【数１８】
0003703164.tif 000019
により、適合度を求める。
上記の計算において、各ｉ，｛ｘj,k ｝に対応する｛ｙij,k｝は、学習データを用いて求める。
【００４６】
先ず、ｎ番目の学習データξn ＝（ξn1，…，ξnN）の各次元をスカラー量子化して得られるベクトルξn'＝（ｘ1,Kn1 ，…，ｘN,KnN ）およびξn'に対応する（ｙ1,Kn1 ，…，ｙj,KnN ）について、２乗誤差値( ε2)inを次のように定義する。
【００４７】
【数１９】
0003703164.tif 000020
これは、ある集合｛ｙij,k｝を使ってｎ番目の学習データとｉ番目の参照パターンとの適合度を近似計算したときの、真の適合度と近似計算によって得られた適合度と２乗誤差を示している。
ここで、２乗誤差( ε2)inを予め容易された全学習データに関して最小になるように、集合｛ｙij,k｝を定めれば、この集合｛ｙij,k｝は精度の良い適合度の近似計算を行うのに適した集合となることが期待できる。即ち、ｎ個の学習データに対して、
【００４８】
【数２０】
0003703164.tif 000021
が最小となるような集合｛ｙij,k｝を求める。これには誤差最小化問題の手法を用いることが出来る。
また、上記式（１９）において、スカラー量子化する前の入力ベクトルξn を用いて
【００４９】
【数２１】
0003703164.tif 000022
と( ε2)inを定義しても良い。
以上のように、学習により集合｛ｙij,k｝を再設定することによって、スカラー量子化による誤差の低減と共に式（１５）のような近似計算による誤差をも低減できる。
［具体例３］
前記具体例１および具体例２では、確率密度関数値をそのまま用いる例について説明したが、確率密度関数値の対数をとった値、即ち対数尤度を用いて計算を行なっても良い。
【００５０】
対数尤度を用いると、各次元を独立とした場合の多次元確率密度関数は、各次元の確率密度関数の値の積ではなく、和として表現される。例えば、式（７）は、
【００５１】
【数２２】
0003703164.tif 000023
となる。
また、式（１５）は、
【００５２】
【数２３】
0003703164.tif 000024
と変形される。
また、式（１９）は、
【００５３】
【数２４】
0003703164.tif 000025
となる。この場合には、誤差Σε2inを最小化する手法として多変量統計解析の１つである「数量化Ｉ類」などの統計的手法を用いることができる。
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、パターン認識を行なうために必要な全ての参照パターン関数に対する適合度の計算量を削減して、高速なパターン認識を行うパターン認識方法及びその装置を提供できる。又、参照パターンの数が多い場合にも、適合度の計算量が増加せずに高速なパターン認識を行うパターン認識方法及びその装置を提供できる。更に、適合度の計算量を極力抑えて正確なパターン認識を行うパターン認識方法及びその装置を提供できる。
【図面の簡単な説明】
【図１】本実施例のパターン認識装置のハードウェア構成を示したブロック図である。
【図２】本実施例のパターン認識手順を示したフローチャートである。
【図３】２分探索法の例を説明する図である。
【符号の説明】
１ 出力装置
２ 入力装置
３ 中央処理装置
４ 記憶装置
【図１】
0003703164.tif 000026
【図２】
0003703164.tif 000027
【図３】
0003703164.tif 000028