(57)【要約】      （修正有）【課題】多重線形写像に基づいてベクトルデータを高次元化し、そのパターン特徴を抽出、分類するためのパターン分類装置、パターン分類方法およびパターン分類プログラムを提供する。【解決手段】予め学習入力パターンを主成分分析することにより素性クラス共通の固有ベクトルセットを生成すると共に、入力パターンと固有ベクトルセットから直交化ベクトルを再構成する前処理部と、直交化ベクトルを多重線形写像(テンソル積)により高次元ベクトルに変換する高次元ベクトル変換部と，高次元ベクトルからクラスk別に高次元の固有ベクトルセットを生成出力し、高次元ベクトルと高次元の固有ベクトルセットΨ(k,m)との間でクラス別の類似度を計算して生成する高次部分空間類似度計算部と、クラス別類似度から個別素性を分類する素性分類部と、を備える。【選択図】図１
2016162437.tif 000002
【特許請求の範囲】
【請求項１】
パターン素性類似度ベクトルを抽出することにより入力パターンを認識することができるパターン分類装置であって、
前記入力パターンに対する前処理を行う前処理部と、
前記前処理後のベクトルを多重線形写像(テンソル積)により高次元ベクトルに変換する高次元ベクトル変換部と、
前記高次元ベクトルから高次元の固有ベクトルセットを生成出力し、前記高次元ベクトルと前記高次元の固有ベクトルセットΨとの間でクラス別類似度を計算して生成する高次部分空間類似度計算部と、
前記クラス別類似度から個別素性を分類する素性分類部と、を備えるパターン分類装置。
【請求項２】
前記前処理部は、前記入力パターンと、予め学習パターンに対する主成分分析により生成された素性クラス共通の固有ベクトルセットとの内積をとることによって、前記入力パターンをクラス共通双対空間に写像し、前記内積演算から得られたスカラー値を固有ベクトルの軸数並べることでクラス共通の直交化ベクトルを再構成する処理を含むことを特徴とする請求項１記載のパターン分類装置。
【請求項３】
前記高次部分空間類似度計算部は鏡像を用いた競合学習を部分空間法に適応することによってクラス分類の誤りを修正する競合学習部を有し、
前記競合学習部において高次元特徴の学習データを用いてクラス毎の(自己)相関行列間で鏡像学習を含む競合学習を行った後に得られるクラス別固有ベクトルΨ(k,m)を、前記高次元の固有ベクトルセットとして高次部分空間類似度計算に使用することを特徴とする請求項１記載のパターン分類装置。
【請求項４】
類似度事後確率処理部をさらに備える請求項１記載の分類装置であって、前記類似度事後確率処理部は、前記類似度を入力として、前記入力されたベクトルデータが属するクラスの事前確率を算出する構成としたことを特徴とするパターン分類装置。
【請求項５】
パターン素性類似度ベクトルを抽出することにより入力パターンを認識することができるパターン分類方法であって、
前記入力パターンに対する前処理を行う前処理ステップと、
前記前処理後のベクトルを多重線形写像(テンソル積)により高次元ベクトルに変換する高次元ベクトル変換ステップと、
前記高次元ベクトルから高次元の固有ベクトルセットを生成出力し、前記高次元ベクトルと前記高次元の固有ベクトルセットΨとの間でクラス別類似度を計算して生成する高次部分空間類似度計算ステップと、
前記クラス別類似度から個別素性を分類する素性分類ステップと、をからなるパターン分類方法。
【請求項６】
前記前処理ステップは、前記入力パターンと、予め学習パターンに対する主成分分析により生成された素性クラス共通の固有ベクトルセットとの内積をとることによって、前記入力パターンをクラス共通双対空間に写像し、前記内積演算から得られたスカラー値を固有ベクトルの軸数並べることでクラス共通の直交化ベクトルを再構成する処理を含む請求項５記載のパターン分類方法。
【請求項７】
前記高次部分空間類似度計算ステップは、鏡像を用いた競合学習を部分空間法に適応することによってクラス分類の誤りを修正する競合学習ステップを有し、
前記競合学習ステップにおいて高次元特徴の学習データを用いてクラス毎の(自己)相関行列間で鏡像学習を含む競合学習を行った後に得られるクラス別固有ベクトルΨ(k,m)を、前記高次元の固有ベクトルセットとして高次部分空間類似度計算に使用することを特徴とする請求項５記載のパターン分類方法。
【請求項８】
類似度事後確率処理ステップをさらに備える請求項５記載の分類方法であって、前記類似度事後確率処理ステップは、前記類似度を入力として、前記入力されたベクトルデータが属するクラスの事前確率を算出することを特徴とするパターン分類方法。
【請求項９】
請求項５〜８のいずれか一項記載のパターン分類方法をコンピュータに実行させるためのパターン分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン分類装置、パターン分類方法およびパターン分類プログラムに関する。さらに詳しくは、入力パターンを表す特徴ベクトルの各特徴要素に基づくテンソル特徴量の抽出を行うことによりパターン認識性能を格段に向上させたパターン分類装置、パターン分類方法およびパターン分類プログラムに関する。
【背景技術】
【０００２】
ネットワークの高速化と高性能なクラウド型計算環境の整備に伴い、様々なメディア(テキスト、音声、画像)に対する処理は、これまでの符号化主体から、コンテンツに直接アクセスする検索主体へ、即ち各メディアに対するパターン認識・理解へと深化が始まっている。人間は日常生活において、音・音声、文字・画像・映像を通じて入力される膨大なマルチモーダル情報データからなるパターンを処理している。処理にはパターンを認識し、パターンを分類し、パターンを理解する機能が含まれる。例えば、本や新聞等を読むとき、人間は視覚を通じて入力された文字パターンと、学習しているパターンとを照合して、文字や単語の意味を理解する。また音声を聴くときは、聴覚を通じて入力された音声パターンと、学習しているパターンとを照合して、発話の意味を理解する。さらに人間が人の顔を観るときは、視覚を通じて入力された画像パターンと、学習しているパターンとを照合して他人を識別したり、情動を理解したりすることができる。
【０００３】
ここで音声を例にとると、近年、人間にとって最も自然なコミュニケーション手段である音声を利用した多くのシステムが登場し、音声認識技術はスマートフォンやＷＥＢブラウザなどにも導入されている。一方、音声認識システムの普及に伴い、基盤技術として音声認識エンジンの一層の性能向上が求められている。
【０００４】
現在の音声認識システムは、音響分析から求められるメル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficients; 以下、ＭＦＣＣと略する）を特徴パラメータとし、ＭＦＣＣ時系列を隠れマルコフモデル(Hidden Markov Model；以下、ＨＭＭと略する）の確率過程として扱う手法が主流になっている。
【０００５】
一方、多層パーセプトロン(Multi- Layer- Perceptron; 以下、ＭＬＰと略する)を5段以上重ねるディープ・ニューラルネットワーク（Deep Neural Network；以下、ＤＮＮと略する）を用いて、音素や調音の素性に対して前後の文脈を含むトライフォン（Triphone）を抽出し、これらの系列をＨＭＭ確率モデルとして扱う音声認識システムの研究が盛んになっている（例えば、非特許文献１及び図１２）。
【０００６】
図１２に一例として、従来のこのような音声認識システムを示した。図１２に示すように、この音声認識システムは、多段からなるＭＬＰすなわちＤＤＮを備えており(５〜７段連ねたものが利用される)、かつ、音素素性や調音素性を抽出するに際しては、ＭＬＰ毎に重み係数を設定しなければならないものとなっている。
【０００７】
一方、現在のＤＮＮによる音素素性抽出は、ＭＬＰを数段重ねて抽出するため、ＭＬＰにおける抽出精度向上と共に、高い計算コストが課題になっている（例えば、非特許文献２）。またＭＬＰ（ＤＮＮを含む）は、アルゴリズムの収束性は保障されているものの、最適性は保障されていないという本質的な問題を持つ。さらにＭＬＰの内部構造とその意味が明確でないことから、技術進展は停滞しつつあり、内部構造が明確な数理モデルへの移行が望まれている。
【０００８】
次に、音声、文字、画像、映像信号等のデータからなるパターンを認識するシステムとしては、部分空間法（Subspace Method；以下ＳＭと略す）に基づくシステムがある。このシステムは、パターン（音声、文字、画像、映像信号等のデータ）を構成するベクトルから、予め学習時に離散的なクラス（音素、調音素性、ストローク、顔部品等）に特有な固有ベクトルを部分空間として抽出する。この特有な固有ベクトルは、学習データから主成分分析（Primal Component Analysis；以下ＰＣＡと略す）により抽出することができる。SMでは、クラスが未知の入力パターン（ベクトルx）と、クラスkのM個の固有ベクトルφ(k、m), m=1,2,..M, k=1, 2,…, Kとの内積を計算し、クラスkの類似度 s(k)を次式から計算する。ここで、‖  ‖ はノルム（二乗和の平方根）である。
【数１】
2016162437.tif 000003
【０００９】
すなわち未知クラスの入力は、学習データのM個の固有ベクトルとの内積を累積して、クラスkの類似度を得る。ここで内積の二乗を計算するのは、固有ベクトルの符号に依らない値として類似度を定義していることによる。クラスの帰属を決定する場合は、s(k)の最大値を与えるkを認識結果とすることになる。ＳＭは、ＭＬＰあるいはＤＮＮと異なり、凸最適化が保障されているという利点を持つが、固有ベクトルφ(k、m)がクラス内情報のみを対象とし、パターン素性のクラス間の関連性を扱っていないこと、またベクトルを構成する要素間の関連性も利用していないことから、認識性能に限界があった。
【００１０】
一方、パターン素性のクラス間の情報を対象とする特徴抽出として、線形判別分析法（Linear Discriminant Analysis；以下、ＬＤＡと略する）がある。ＬＤＡは、クラス間の違いを考慮して識別を行う方法で、クラス内およびクラス外の共分散の双方を評価することでクラスを判別する。しかしＬＤＡは、クラス毎の平均ベクトルを中心に、周辺のクラス内共分散およびクラス外共分散から固有ベクトルを計算するため、クラス間を分離する能力は増すものの、学習データに依存し過ぎるという欠点があり、データ収集時(学習時)と認識時の環境の違いによる性能劣化が大きいという欠点を持つ。
【００１１】
さらに、音声データを認識するシステムとしては、音素の弁別特徴ベクトルをＭＬＰとＰＣＡにより抽出し、音素認識をする方法が提案されている（例えば、非特許文献３）。また、音素ベクトルをＰＣＡから抽出し、認識性能を向上させる方法が提案されている（例えば、非特許文献４）。
【００１２】
しかしながら、上記いずれの方法を採用した特徴抽出器を用いても、膨大な情報量を持つパターン（音声、文字、画像、映像信号等のデータ）からその特徴を精確に抽出し、かつ性能よくパターンを認識することができないという問題点があった。
【００１３】
特に、近年においては、ブログ、動画サイト、フェイスブック（登録商標）、Twitter（登録商標）といったＳＮＳ（Social Networking Service）の利用者が増加すると共に、パソコン、スマートフォン等の端末から文字のみならず、音声、写真、動画等の膨大なデジタルデータがインターネット上の様々なサーバーコンピューターに蓄積されており、これらの所謂ビッグデータは数百兆バイト以上と云われている。このような状況の中、ビッグデータ中の音声データ、文字データ、画像データから、個々のパターンを高い精度で識別し得るパターン認識装置が必要不可欠となっている。
【００１４】
しかしながらこれまでのテキスト・音声・画像処理技術は、ベクトルデータを対象としてきたため、パターン認識の精度を飛躍的に向上させることが困難であった。またネットワークの高速化と高性能なクラウド型計算環境の整備に伴い、様々なメディア（テキスト、音声、画像）に対する処理は、これまでの符号化主体から、コンテンツに直接アクセスする検索主体へと深化が始まっている。
【００１５】
このような処理主体の変化により、パターン認識からパターン分類に注目が集まってきている。パターン分類としては、例えば、膨大な言語パターンを認識するシステムが挙げられ、ニューラルネットワークにテンソル解析の手法を組み込むことで、言語の認識性能を向上された大規模な言語認識装置が提案されている（例えば、非特許文献５）。
【００１６】
こうした要請に応えるには、これまでのベクトル対象の処理から、ベクトル要素間の関連性を含む処理、すなわちテンソル解析に基づく特徴抽出やクラス分類が必要になる。なお、本件特許出願人は、上記文献公知発明が記載された刊行物として、以下の刊行物を提示する。
【先行技術文献】
【非特許文献】
【００１７】
【非特許文献１】Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath, and Brian Kingsbury, “Deep Neural Networks for Acoustic Modeling in Speech Recognition”, IEEE SIGNAL PROCESSING MAGAZINE [2] , pp.82-97, november 2012.
【非特許文献２】Mohammad Nurul Huda, Hiroaki Kawashima, and Tsuneo Nitta, “Distinctive Phonetic Feature (DPF) extraction based on MLPs and Inhibition/ Enhancement Network, ” IEICE Trans. Inf. & Syst., Vol.E92-D, No. 4, pp.671-680 (2009).
【非特許文献３】福田、新田「頑健な音声認識のための音素特徴ベクトル直行化方式の検討」情報処理学会研究報告、２００３年−ＳＬＰ−４９，２００３．
【非特許文献４】朴、溝口、有木「ＰＣＡを用いた音素ベクトルによる音声特徴量の抽出の検討」日本音響学会秋季研究発表会１−ｐ−２６，２００７
【非特許文献５】B. Hutchinson, L. Deng, and D. Yu, “A deep architecture with bilinear modeling of hidden representations: applications to phonetic recognition", Proc. ICASSP2012, pp.4805-4808, March 2012.
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明はこうした要請に応えるため、これまでのメディアをベクトルとして扱う処理から、ベクトル要素間の関連性を含む処理、すなわちテンソル解析に基づく特徴抽出やクラス分類に基づき、高い精度でパターンを識別し得る分類装置、分類方法および分類プログラムを提供する。更に、詳しくは双対空間とテンソル空間を組み合わせた直交ベクトル系列生成の手法を用いて、高い精度にてパターンを認識し得る分類装置を提供する。更に、詳しくはベクトルデータをテンソル空間において多重線形写像して高次元化ベクトルデータを生成する方法を用いて、高速かつ精度良くパターンを分類し得るパターン分類装置、パターン分類方法およびパターン分類プログラムに関する。
【課題を解決するための手段】
【００１９】
本発明は、以下の技術的事項から構成される。
（１）  パターン素性類似度ベクトルを抽出することにより入力パターンを認識することができるパターン分類装置であって、
前記入力パターンに対して前処理を行う前処理部と、
前記前処理を施した直交化ベクトルを多重線形写像(テンソル積)により高次元ベクトルに変換する高次元ベクトル変換部と、
前記高次元ベクトルからクラス別の高次元固有ベクトルセットを生成出力し、前記高次元ベクトルと前記高次元の固有ベクトルセットΨ(k,m)との間でクラス別に類似度を計算して生成する高次部分空間類似度計算部と、
前記クラス別類似度から個別素性を分類する素性分類部と、を備えるパターン分類装置。
（２）  前記前処理部は、前記入力パターンと、予め学習パターンに対する主成分分析により生成された素性クラス共通の固有ベクトルセットとの内積をとることによって、前記入力パターンをクラス共通双対空間に写像し、前記内積演算から得られたスカラー値を固有ベクトルの軸数並べることでクラス共通の直交化ベクトルを再構成する処理を含むことを特徴とする（１）記載のパターン分類装置。
（３）  前記高次部分空間類似度計算部は鏡像を用いた競合学習を高次部分空間法に適応することによってクラス分類の誤りを修正する競合学習部を有し、
前記競合学習部において高次元特徴の学習データを用いてクラス毎の(自己)相関行列間で鏡像学習を含む競合学習を行った後に得られるクラス別固有ベクトルΨ(k,m)を、前記高次元の固有ベクトルセットとして高次部分空間類似度計算に使用することを特徴とする（１）記載のパターン分類装置。
（４）  類似度事後確率処理部をさらに備える（１）記載の分類装置であって、前記類似度事後確率処理部は、前記類似度を入力として、前記入力されたベクトルデータが属するクラスの事後確率を算出する構成としたことを特徴とするパターン分類装置。
【００２０】
また本発明は、上述した技術的事項を特徴とするパターン分類方法やパターン分類プログラムにも適用される。
【発明の効果】
【００２１】
本発明は、入力されたベクトルを構成する要素間の関係（テンソル構造）を多重線形写像に基づいて解析することで、入力データのパターン特徴を精度よく抽出、分類することができる。
【００２２】
また、高次部分空間類似度計算部において、鏡像を用いた競合学習を部分空間法に適応させることによって部分空間法における超平面の境界が正しく修正され、より正確な入力パターンの分類を行なうことができる。
【００２３】
また、入力されたベクトルデータの主成分分析からベクトル表現の次元圧縮処理をすることによって、分類装置における計算効率と認識性能の両方が向上する。
【００２４】
また、テンソル積より生成される高次部分空間の主成分を抽出することによって、各ベクトル要素間の相関を反映した特徴量を効果的に抽出させることができる。
【００２５】
また、前記高次部分空間抽出部は、鏡像を用いた競合学習を部分空間法に適応することによって、部分空間法における超平面の境界が正しく修正され、より正確な入力パターンの分類を行うことができる。
【００２６】
また、高次部分空間においてある入力が与えられたとき、この入力がどのクラスに属するかを確率的に計算することができる。つまり、類似度事後確率処理部によって事後確率化の処理が可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明の分類装置の構成を示したモデル図である。
【図２】本発明のハードウェア構成図である
【図３】多重線形写像部５の処理を説明した説明図である。
【図４】音素の２４次元のフィルタバンク係数とその対数パワーを３フレーム連結した特徴量の平均パターンである。
【図５】図４に図示した平均パターンのテンソル積により得られた特徴量の平均パターンの説明図である
【図６】音素の２４次元のフィルタバンク係数とその対数パワーを３フレーム連結した特徴量の平均パターンの説明図である。
【図７】鏡像を用いた競合学習の説明図である。
【図８Ａ】学習データから観測された音素素性毎の類似度分布P(s|p(k))と全ての音素素性の類似度が示す分布を示す
【図８Ｂ】事前に観測できる分布から近似した事前分布のモデル図である。
【図９】本発明の分類装置を用いて処理される多重線形写像に基づく特徴抽出（図中ｖｎ）と高次部分空間法（尤度ｓｋ）のブロック図である。
【図１０】本発明の処理手順を示すフローチャート図である。
【図１１】本発明に係わる音素認識の実験結果を示すグラフである。
【図１２】従来手法の音素素性のDDN変換によるパターン認識装置である。
【発明を実施するための形態】
【００２８】
以下、本発明におけるパターン分類装置、パターン分類方法およびパターン分類プログラムの実施形態について、添付図面を参照して説明する。なお、添付図面は本発明の技術的特徴を説明するのに用いられており、記載されている装置の構成、各種処理の手順などは、特に特定的な記載がない限り、それのみに限定する趣旨ではない。
【００２９】
図１は、パターン（音素）分類装置１の構成を示したモデル図である。図１を参照して、パターン分類装置１の電気的構成を説明する。本実施形態では、パターンの認識例として音声を用いて、本パターン分類装置１を音声認識装置１として以下に説明する。
【００３０】
音声認識装置１は、図示しないマイク等の音声入力装置から入力されるパターン（音声）に、前処理としてＢＰＦ（Band Path Filter）を適用して音声をスペクトル系列からなる音響特徴ベクトル系列を生成する前処理部２と、予め学習した（例えば、音素素性）クラスに共通のクラス共通固有ベクトルセット３を用いて音響特徴ベクトル系列を直交化する直交化ベクトル再構成部４と、直交化ベクトル系列をテンソル積の基底に基づく多重線形写像により高次元ベクトル系列を生成する多重線形写像部５と、予め学習データから音素素性クラス別に求めたクラス別固有ベクトルセット６を用いて高次元ベクトル系列の高次部分空間における類似度を計算する高次部分空間類似度計算部７と、音素素性クラス毎の類似度系列から事後確率化した類似度（尤度）系列へ変換する事後確率処理部８と、音素素性の事後確率化された類似度系列から学習により求めたＨＭＭの音響モデルと予め言語資源を用いて学習したＨＭＭの言語モデル（N-gram）を利用して音素を認識するＨＭＭ音素分類部１０により構成される。
【００３１】
前処理部２は、コーパス等の外部に設置された入力部１４を通じてパターン入力されたベクトルデータからパターンの特徴を抽出し、パターン特徴ベクトル系列を生成する。ここでパターン入力とは、様々なメディア（テキスト、音声、画像）から成るベクトルデータの事である。音声ではフーリエ変換によりスペクトルを得た後、帯域フィルタ（ＢＰＦ）を通した時系列のベクトルが代表である。テキストでは、形態素解析により単語列を得た後、単語毎の生起確率を並べたベクトルが代表である。画像では画像中の多様なオブジェクトに対して、画素に対する画像特徴抽出を適用したデータを時空間に配置したベクトル、もしくは抽出した各オブジェクトの生起確率を並べたベクトルなどがある。
【００３２】
前処理部２は、例えば、２４チャンネル程度の帯域フィルタ（ＢＰＦ）群を有し、中心周波数がメル尺度間隔で設定されている。音声信号は、帯域フィルタ（ＢＰＦ）群に入力され、音響特徴ベクトル系列としてスペクトルパターンが出力される。
【００３３】
この音響特徴ベクトル系列は、音声では中心周波数を聴覚特性のメル尺度に設定したBPF24チャンネルの対数出力に対数パワーを含めた25チャンネルの主に対数スペクトルの出力、あるいは対数スペクトルに離散コサイン変換（Discrete cosine Transform；ＤＣＴ）を施したメル周波数ケプストラム係数（Mel-frequency Cepstrum Coefficient；以下、ＭＦＣＣと略す）が用いられる。なお、スペクトル系列からＤＣＴによりＭＦＣＣを抽出する以外に、スペクトル系列、すなわち周波数と時間の二次元パターンに対して、畳み込み演算を施したり、局所特徴（Local Feature）の抽出を行ったりしてもよい。
【００３４】
なお、前処理部は、これらの特徴ベクトルに対して、主成分分析（ＰＣＡ）を用いてまず全ての音素素性クラスの音響特徴ベクトルから自己相関行列Ｒ（ｊ），ｊ＝１，２，…Ｊ（＝Ｉ×Ｉ）を求めた後、該相関行列の固有値問題を解くことによって、主成分となるクラス別固有ベクトルセット６を求め、その後クラス別固有ベクトルセット６から以下の数式を用いてクラス共通の相関行列を作成し、該クラス共通の相関行列の固有値問題を解くことでクラス共通の固有ベクトルセット３を生成する。なお、これら音響特徴ベクトル系列などに代表されるベクトル系列データは、一般には相互に直交化されていない。そのため、次に説明する直交化ベクトル再構成部４でベクトル系列データを直交化し、ベクトルを再構成する必要がある。
【００３５】
直交化ベクトル再構成部４では、前処理で生成したクラス共通の固有ベクトルセット３と、特徴ベクトルｘ（ｉ）との内積から得られるスカラー値ｃ（ｍ）を任意Ｍ個並べて直交化ベクトルｙ（ｍ）を再構成する。
【数２】
2016162437.tif 000004
【００３６】
この処理は、ＫＬ変換と呼ばれるが線形代数では双対変換と呼ばれ、関数ｆ（φ（ｍ））により、特徴ベクトルｘ（ｉ）を、スカラー値ｃ（ｍ）を並べた同値のベクトルに変換するものである。関数ｆ（φ（ｍ））は固有関数による射影関数と見做せ、関数の関数であることから汎関数（functional）と呼ばれる。
【００３７】
以上の処理により、特徴ベクトル系列は成分が直交したベクトル系列に変換される。なお、元の特徴ベクトル系列は、１音声サンプル等のパターンにおいて、１フレームにつき２５次元程度のベクトルであるが、直交化では１１フレーム程度をまとめて特徴ベクトルｘ（ｉ），ｉ＝１，…，Ｉ（＝２５×１１）とし、これに対して主成分分析を行った結果の固有ベクトルセットφ（ｍ，ｉ）から双対変換によりｃ（ｍ）を得、このスカラー値を並べて直交化ベクトルｙ（ｍ）として用いる。
【００３８】
なお、このとき大きい固有値に対応する固有ベクトルとの内積を積極的にとり、一方、小さな固有値に対応する固有ベクトルとの内積を無視することによって、予め相関の低い冗長な成分を除去することができる。これによって識別的な情報を保持したまま、この後の計算量を削減することができる。
【００３９】
多重線形写像（Multiple- Linear Map）部５は、直交化ベクトルy(m)からその内部構造をテンソル表現することで高次元ベクトルを得る。簡単のため、以下では双線形写像(Bi-linear Map)の場合を説明する。多重線形写像はベクトル空間Ｖに対する双対空間V*上の以下の式で示す多重線形関数とｎ階テンソル積として定義される。
【数３】
2016162437.tif 000005
【００４０】
また、双線形写像では以下の式と、２階のテンソル積が作るベクトルとして表現される。
【数４】
2016162437.tif 000006
ベクトル成分としては、φ（ｉ）φ（ｊ）を新たな基底として双対空間が出力する要素間の関連性をｚｎ＝｛ｙ１ｙ１，ｙ１ｙ２，…，ｙ１ｙＭ，ｙ２ｙ１，ｙ２ｙ２，…，ｙ２ｙＭ，…ｙＭｙ１，ｙＭｙ２，…，ｙＭｙＭ｝とＭ×（Ｍ＋１）／２個の２次の形式で表される。
【００４１】
図３は、この多重線形写像部５の処理を説明した説明図である。多重線形写像部５は、直交化ベクトル再構成部４から出力された４次元の正規直交ベクトル系列データ、即ち４つの要素（ｘ１、ｘ２、ｘ３、ｘ４）を有する正規直交化ベクトルｘ同士で２階テンソル積（４×４のテーブル）を作成できる。このテンソル積は、列ベクトルｘとその転置ベクトルである行ベクトルｘｔとの行列積を計算して求めることができる。ここで、テンソル積の成分を詳しく見ると、例えば、ｘ２ｘ１とｘ１ｘ２、ｘ３ｘ２とｘ２ｘ３など、同テーブルの対角成分を境にして、同じ値となるものが複数存在（互いに対称性を有している）しており、図において白抜きに示してある。このような同じ成分を省いた独立した成分（濃い部分）の数は、Ｍ（Ｍ＋１）／２においてＭ＝４として計算することで１０である。これらの独立した１０個の成分をテンソル積の左列から１列に並べることで、ベクトルｘから高次元化された高次元ベクトルｇ(ｘ)が生成できる。
【００４２】
図４は、ある音素の２４次元のフィルタバンク係数とその対数パワーを３フレーム連結した特徴量の平均パターン、図５はそれらのテンソル積により得られた特徴量の平均パターンである。図５において、３×３のブロックはそれぞれ前後３つの時間フレームをクラス分けしてしたものを表し、ブロックの中身は時間・周波数にまたがるスペクトル間の相関を表現したものになっている。なお、同図において、時間を表した３×３のブロックは、ブロックを単位として対角成分を挟んで対称となるが、３×３ブロックの非対角成分は、ブロックの内部で対称性を有さない。これは、異なるフレーム同士の相関を表現していることによる。一方、３×３ブロックの対角成分は、ブロックの内部において対称性を有している。これは同じフレーム同士の相関を表現していることによる。このように、周波数スペクトルに基づく特徴を複数フレーム分連結したベクトルから計算したテンソル特徴量は、各時刻・各周波数の成分の相関を陽に表現したものとなり、より精密な時間・周波数上のスペクトル構造を抽出できる。
【００４３】
図６にスペクトル系列を３フレームとした際の音素／ｂ／，／ｄ／，／ｇ／を示した（図の左側）。各フレームは２４個のＢＰＦチャンネルで表示されている。また、図の右側には、スペクトル系列をテンソル表現したテンソル系列／ｂ／，／ｄ／，／ｇ／を示す。テンソル系列における三角部分はフレーム内のチャンネル間関連性を表現している（同一フレームでのテンソル表現は対称になるため、三角領域で表示されている）。また矩形領域は、異なるフレーム（１−２，１−３，２−３）の間の関連性を表現している（データは非対称のため矩形領域で表示されている）。以上は分かりやすい例として、スペクトルから直接二次の関係を表示した。本実施形態において、ここに示したスペクトルデータである音響特徴ベクトル系列は直交化ベクトル再構成部４でクラス共通固有ベクトルセット３により直交化され、双線形写像はこの直交化ベクトル系列に対して行われる。多重線形写像により音響特徴ベクトルの内部構造が陽に表現されることにより次元が大幅に拡張された結果、音素素性クラス間の違いも拡大されており、直交化ベクトル系列が高次元ベクトル系列に変換されていることが分かる。
【００４４】
図１の説明に戻ると、高次部分空間類似度計算部７は、高次元ベクトル系列に対して、（高次）部分空間法による音素素性毎の類似度を計算する。具体的には、予め音素素性クラス毎の高次元ベクトル学習データから主成分分析（ＰＣＡ）によりクラス毎の固有ベクトルセットを抽出しておく。そして、クラスが未知の入力パターン（高次元ベクトルｘ）と、クラスｋのＭ個の固有ベクトルΨ（ｋ，ｍ），ｍ＝１，２，．．Ｍ，ｋ＝１，２，…，Ｋとの内積を計算し、クラスｋの類似度ｓ（ｋ）を次式から計算する。
【数５】
2016162437.tif 000007
【００４５】
すなわち未知クラスの入力に対して、Ｍ個の固有ベクトルとの内積を累積して、Ｋ個の類似度（尤度）の時系列を得る。本発明で用いる高次部分空間法は、通常の部分空間法と異なり、元のベクトル系列を構成する要素間の関連性を利用していることころに特徴がある。
【００４６】
本発明で用いる高次部分空間法(HSM)は、部分空間法が持つ凸最適化が保障されているという利点を持つと同時に、ベクトル系列を構成する要素間の関連性を利用していないという従来の部分空間法の欠点も解消する。
【００４７】
なお、高次元部分空間類似度計算部７は、図示しない競合学習部を備えており、競合学習部による鏡像学習（P. Perner (Ed.): MLDM 2001, LNAI 2123, pp. 239-248, 2001. c Springer-Verlag; Meng Shi, Tetsushi Wakabayashi, Wataru Ohyama, and Fumitaka Kimura; Faculty of Engineering, Mie University, 1515 Kamihama, Tsu, 514-8507, Japan.等を参照）の動作によって、部分空間法における超平面の境界が正しく修正され、より正確な入力パターンの分類を行うことができる。
【００４８】
鏡像学習の動作を図７に示す。クラスｋ’に属するパターンｘがクラスｋに誤認識された時、ｋの代表パターンｙに対するｘの鏡像は、ｙ-（ｘ−ｙ）＝２ｙ-ｘとなる。そこで、このｙを使用してＲ（ｋ）＋βｙｙＴ（Ｒ（ｋ）と自己相関行列を修正し、クラスｋの部分空間をクラスｋ’から遠ざける（βは小さい定数）。この時、クラスｋ’の自己相関行列はＲ（ｋ’）に対してＲ（ｋ’）＋αｘｘＴ（Ｒ（ｋ’））と学習パターンｘを取り込む方向に修正する。鏡像学習の後、Ｒ（ｋ）から競合学習済みのクラス別固有ベクトルセットを再計算して高次元部分空間法に使用する。なお、上で鏡像を求める際にピボットとなるクラスｋの代表パターンｙは、自己相関行列Ｒ（ｋ）にｘを射影してＲ（ｋ）ｘ（ｙと求める（連想に相当）と求める、もしくはクラスｋの固有ベクトルΨ（ｋ，ｍ）から以下の式と合成する。
【数６】
2016162437.tif 000008
【００４９】
高次部分空間類似度計算部７は、多重線形写像部５から出力された高次元ベクトルデータが有する特徴部を主成分分析によって抽出する。すなわち、高次部分空間類似度計算部７は、高次元ベクトルデータを主成分分析し、そこに表現された主成分を固有ベクトルの形で生成する。それと同時に、高次部分空間類似度計算部７は、生成された固有ベクトルから部分空間法を用いて尤度ｓｋを生成する。なお高次部分空間類似度計算部７は、鏡像を用いた競合学習により誤った分類を訂正するための競合学習部を有し、ここで鏡像を用いた競合学習を行うことによって誤った分類を訂正し、本発明の分類装置の性能を向上させることができる。つまり、高次部分空間類似度計算部７は、鏡像を用いた競合学習を部分空間法に応用させることで音声、文字、画像などの認識率を、よりいっそう向上させることができる。
【００５０】
なお、本発明の分類装置はさらに類似度事後確率化処理部８を備えることが可能である。類似度事後確率化処理部８は高次部分空間類似度計算部７で生成された尤度ｓｋを用い事後確率化の処理を行う。類似度事後確率化処理部８は、高次部分空間類似度計算部７の出力である音素素性毎の類似度系列に対して事後確率化の処理を行う。事後確率化は通常、ソフトマックス処理により行われる。ソフトマックスは、
【数７】
2016162437.tif 000009
と、正規化指数関数を使用して処理される。ここでは、より実用的な式を図８Ａに示す類似度事前分布からベイズの式に従い導出した事後確率化処理方法を説明する。ベイズの式
【数８】
2016162437.tif 000010
は、類似度値ｓが与えられた時、音素素性がｐ（ｋ）である確率Ｐ（ｐ（ｋ））は、事前分布である音素素性の尤度Ｐ（ｓ｜ｐ（ｋ））および音素素性の生起確率Ｐ（ｐ（ｋ））から計算できることを示している。Ｐ（ｐ（ｋ））は言語モデルの確率なので、後段のＨＭＭ音素分類部で評価される。図８Ａは学習データから観測された音素素性毎の類似度分布Ｐ（ｓ｜ｐ（ｋ））と全ての音素素性の類似度が示す分布を示す。これらの事前に観測できる分布から近似した事前分布のモデルを図８Ｂに示した。これから事前分布を以下に示すように近似して計算することができる。
【００５１】
状態事後確率Ｐ（ｋ｜ｘ）の関数をｙ（ｓｋ）＝ｅｘｐ（ａｓｋ＋ｂ）−１とするとして近似する。ただし「ｅｘｐ」の記号は自然対数の底である。ｓｋは尤度、ａとｂは後述の条件式より求める係数である。類似度の最大値をｓｍａｘ、最小値をｓｍｉｎと記述すれば、０＝ｙ（ｓｋ＝ｓｍｉｎ）、１＝ｙ（ｓｋ＝ｓｍａｘ）となるので、係数ａとｂを決定するための以下の条件式が決まる。
【数９】
2016162437.tif 000011
上式から求まるａ、ｂをもとの関数ｙ（ｓｋ）＝ｅｘｐ（ａｓｋ＋ｂ）−１に戻せば、状態事後確率Ｐ（ｋ｜ｘ）が以下の通り導出される。ただし、導出の最後でｓｍａｘ＝１と仮定した。
【００５２】
【数１０】
2016162437.tif 000012
このようにして、ある入力ｘが与えられたとき、この入力ｘがどのクラスｋに属するかを確率的に計算することができる。
【００５３】
なお、前記したソフトマックス、Ｓｍａｘを使用した近似式、およびＳｍａｘ＝１．０とした場合について、事前に比較実験を行ったところ、Ｓｍａｘ＝１．０とした場合がわずかであるが良い結果を示したため、後述の音素認識評価実験ではＳｍａｘ＝１．０とした時の事後確率化処理を採用している。
【００５４】
素性分類部１０は、高次部分空間類似度計算部７で生成された尤度ベクトルＳ（ｋ）のデータと、素性分類部１０に記憶、格納されている音響モデル及び言語モデル等のパターンモデルを比較する。素性分類部１０は、尤度ベクトル系列に対する比較結果を、出力装置に認識結果として送出するものである。出力結果は、図示しないディスプレイ等に表示され、本発明の分類装置の使用者に分類結果が認識される構成になっている。例えば、素性分類部１０として、通信ネットワークを介して入手可能な各種の音声認識ソフトウェアを用いてもよい。
【００５５】
HMM音素分類部１０は、従来から用いられているHMM音素分類部と同様に、音響モデルと言語モデルから音素単位に用意される3〜5状態の確率遷移ネットワークが使用される。ただし、HMM音響モデルが持つ出力確率と遷移確率のうち、出力確率は事後確率化処理後の音素尤度ベクトルが用いられる。HMM分類部では、未知入力に対する音素尤度ベクトルに対して音素モデル(音素毎にモノフォンモデルを使用する場合と、音素文脈の違いを考慮しトライフォンモデルを使用する場合がある)。HMMの音素モデルの中では状態遷移に従って、出力モデルと遷移モデルを使用した確率計算が行われ、音声の始端からの累積値の大小によってパスを選択し、音素モデルの終端では次に接続される音素モデルをN-gram言語モデル(2-gram, 3-gram,…)の確率値から選択した後、続けて探索が進められ終端で最大尤度(対数尤度)が最大となる音素列が正解とされる。
【００５６】
図２に本装置のハードウェア構成を示した。中央演算装置１１には入力部１４と入力部１５が備えられている。なお、パターン分類装置１において、特徴部抽出部２、直交化ベクトル再構成部４、多重線形写像部５、高次部分空間類似度計算部７、類似度事後確率化処理部８、および素性分類部１０は、コンピュータの中央演算処理装置１１が、以下に説明する処理手順に従い、数値演算や制御などの処理を実行することで構成される。
【００５７】
なおパターン分類装置において、ＢＰＦ（帯域通過フィルタ）分析を含む前処理部２、直交化ベクトル再構成部４、多重線形写像部５、高次部分空間類似度計算部７、類似度事後確率化部８及びＨＭＭ音素分類部１０は、コンピュータの中央演算処理装置１１が、以下に説明する処理手順に従い、数値演算や制御などの処理を実行することで構成される。また、（クラス共通）固有ベクトルセット３、（高次元ベクトル系列に対する）クラス別固有ベクトルセット６及びＨＭＭ音響モデル、言語モデル９は、何れも前記中央演算処理装置１１と電気的に接続するコンピュータの記憶装置１２に設けられる。記憶装置１２はその他に、中央演算処理装置１１によって実行される処理手順に対応した音素分類プログラムを格納している。
【００５８】
中央演算処理装置１１は、例えば入出力インターフェースを備えたＣＰＵなどが使用可能である。また記憶装置１２は、例えばＲＯＭ（リード・オンリー・メモリ）や、ＲＡＭ（ランダム・アクセス・メモリ１６）や、ＨＤＤ（ハードディスクドライブ）などが使用可能である。ここには図示しないが、話者音声の入力を可能にするにマイクロホンなどの入力装置や、例えばＨＭＭ音素分類部１０で得られた認識結果などの出力を可能にするディスプレイやスピーカなどの出力装置を、中央演算処理装置１１の入出力インターフェースと電気的に接続してもよい。
【００５９】
なお、本発明における分類装置１のハードウェア構成は、図１に示すものに限定されない。従って、インターネットなどの通信ネットワークを介して、分類装置１の一部の構成を電気的に接続しても構わない。
【００６０】
また、本実施形態の分類装置１とは、他のシステムから独立して設けられているが、本発明はこの構成に限定されない。従って、他の装置の一部として組込まれた構成とすることも可能である。また、その場合における入出力は、上述の他の装置を介して間接的に行われることになる。
【００６１】
入力装置を利用する場合、多数のパターン（音声、文字、画像、映像信号、顔等）を入力装置に入力する毎に、そのパターンが入力装置でアナログ電気信号に変換され、コンピュータに備えたＡ／Ｄ変換部（図示せず）に出力される。これを受けて、Ａ／Ｄ変換部で変換されたデジタル電気信号を中央演算処理装置１１に取り込むことで、中央演算処理装置１１が取り込まれたパターンを処理し得るように構成されている。
【００６２】
図９は、本発明の分類装置を用いて処理される多重線形写像に基づく特徴抽出（図中ｖｎ）と高次部分空間法（尤度ｓｋ）のブロック図である。図１０は本発明の分類装置を用いた処理の手順を示したフローチャートである。以下、図９および９を参照しながら、そのアルゴリズムを説明する。該アルゴリズムは概ね以下のようなフローをとる：
【００６３】
ステップＳ１〜Ｓ３：入力データ（ベクトル）に主成分分析を行い、固有ベクトルを求める。
ステップＳ４：固有ベクトルと入力したベクトルとの内積を求め、スカラー値の集合（＝再構成したベクトル）を求める。
ステップＳ５：求めたベクトルをテンソル空間に写像し、テンソル空間で高次化を行い、高次元化したベクトル（元のベクトル成分間の関連性を陽に表現している）を求める。
ステップＳ６〜Ｓ７：得られた高次元化ベクトルに主成分分析を行い、固有ベクトルを求める。クラス（例えば子音）ごとにデータの分布する部分空間（固有ベクトルに基づく部分空間）の違いを学習し分類する。
ステップＳ８：事前確率化による後処理。
ステップＳ９：素性分類部によるパターンデータの分類。
【００６４】
以下、上記のアルゴリズムを、順を追って詳しく説明する。
・ステップＳ１（パターン特徴ベクトル系列の生成）
コーパス等の外部に設置された入力部１４を通じてパターン入力されたベクトルデータからパターンの特徴を抽出し、パターン特徴ベクトル系列を生成する。例えば、本発明を音声認識に用いる場合には、特徴抽出部２にてフィルタバンク出力ｘ１、ｘ２、・・・ｘＴ，ｘｔを抽出し、その後、例えばフィルタバンク出力を前後１１フレーム連結して、以下のような音素素性クラスの音響特徴ベクトルを得る。
【数１１】
2016162437.tif 000013
【００６５】
・ステップＳ２（特徴ベクトルの主成分分析）
前処理部２において、特徴ベクトルに対して主成分分析(PCA)を用い、パターン素性クラス別固有ベクトルΦ（ｋ，ｍ）を算出する。
・ステップＳ３（パターン共通固有ベクトルΦ（ｍ）の生成）
パターン素性クラス別固有ベクトルΦからパターン素性クラス共通の自己相関行列R(j),j=1,2,…J(=I×I)を求め、該自己相関行列Rの固有値問題を解くことでパターン共通固有ベクトルΦ（ｍ）を算出する。
・ステップＳ４（直交化ベクトルｙ（ｍ）の再構成）
ステップＳ３で生成されたパターン共通固有ベクトルΦ（ｍ）と入力の特徴ベクトルｘ（ｉ）との内積から得られるスカラー値ｃ（ｍ）を並べて直交化ベクトルｙ（ｍ）を再構成する。この処理によってクラス全体を冗長性のない（正規）直交空間で形成する。
・ステップＳ５（多重線形写像による特徴ベクトルの高次元化）
再構築された直交化ベクトルを以下の数式に従って多重線形写像する。
【数１２】
2016162437.tif 000014
【００６６】
ただしｘは任意ｄ次元の入力ベクトルであり、実の値を取るものとする。また、ｘとｘとの間にある丸の中にバツがついた記号は、直積記号を表す。よって、上式によって定義される関数は、引数を入力ベクトルｘとそれ自身とのテンソル積に持ち、その結果は今の場合、対称行列となる。最後に、ｖｅｃｔｒｉ（・）は対称行列の下三角部分の各列を並べてベクトル化する関数である。ただし、行列が対象とならない場合、例えば互いに異なる入力ベクトルのテンソル積を用いてベクトルを高次元化する場合は、関数ｖｅｃｔｒｉ（・）は、テンソル積の全ての要素の積を並べる操作をする。つまり、関数ｖｅｃｔｒｉ（・）は与えられたテンソル積の独立な要素を並べる関数である。
・ステップＳ６（高次元固有ベクトルセット抽出）
音素素性クラス毎の高次元ベクトル学習データから主成分分析（ＰＣＡ）によりクラス毎の固有ベクトルセットΨ（ｋ，ｍ）を抽出する。
・ステップＳ７（類似度の計算）
ステップＳ５で得られる高次元ベクトルとステップＳ６で得られるクラス毎の固有ベクトルセットΨ（ｋ，ｍ）との内積を利用して類似度ｓ（ｋ）を抽出する。このとき、競合学習部でクラス毎の固有ベクトルセットの再計算も行う。
・ステップＳ８（事後確率化処理）
ステップＳ７で得られた類似度ｓ（ｋ）を以下の数式に当てはめ、事後確率を計算する。ただしｓｍｉｎは部分空間法による全クラス最小の類似度の値を表す。
【数１３】
2016162437.tif 000015
つまり入力ｘがクラスｋに属する確率を類似度事後確率化処理部にて算出する。
・ステップＳ９（素性分類部によってパターンデータを分類）
最後に事後確率処理化されたパターンデータを素性分類部１０によって分類する。素性分類部１０には、図示しない記憶装置に、隠れマルコフモデルを用いた音響モデルや言語モデルなどを実行するためのプログラムが備えられている。
【００６７】
本発明は、以上のステップＳ１〜Ｓ９を経て、入力パターンを認識し、分類することができる。なお、本発明の分類装置は、パターン（音声、文字、顔等のベクトルデータ）、例えば音声である場合には、音素や調音素性などの素性抽出精度を高め、かつ演算量を低減することができ、高い音声認識率を有する。本発明の分類装置は、音声のみを対象とするものではなく、文字、画像、顔等のベクトルデータをパターンとする認識にも有効である。このため、本発明の分類装置は、音声データ、文字データ、画像データ等から構成される膨大なデータから構成されるビックデータに含まれるパターンの特徴を高い精度で認識（recognition）、分類（classification）及び識別（discrimination）することができる。
【００６８】
図１１に本発明に係わる音素認識の実験結果を示す。図１１のＤＮＮ／ＨＭＭはＤＮＮで音素（triphone）を識別し、得られた音素ベクトル列（音素尤度）をＨＭＭに入力するものである。言語モデルはｂｉ−ｇｒａｍを使用した時とｔｒｉ−ｇｒａｍを使用した時を示す。これに対して、ＳＭ／ＨＭＭは従来の部分空間法（ＳＭ）とＨＭＭを組み合わせたもの、ＨＳＭ／ＨＭＭは本発明に掛かる高次部分空間法（ＨＳＭ）とＨＭＭを組み合わせた際の結果である。以上の実験は、音声認識で汎用的に利用される英語の音声コーパス（ＴＩＭＩＴ）を使用したもので、その中でも多くの研究機関がテストに使用している、ＴＩＭＩＴコアテストの結果を示した。図１１から、ＳＭをＨＳＭにすることで性能が大きく改善できることが分かる。また、鏡像学習を使用してクラス間で競合学習を行うことで、言語モデルなしでも従来方式のＤＮＮ／ＨＭＭ；ｂｉ−ｇｒａｍを上回る性能が得られている。さらに、言語モデルを付加することで、ｂｉ−ｇｒａｍ、Ｔｒｉ−ｇｒａｍと性能を向上できることが分かる。
【００６９】
以上、本発明の実施形態について説明したが、当該実施形態はあくまでも例として提示したに過ぎず、発明の範囲を限定することを意図していない。ここに提示したれ実施形態は、その他の様々な形態で実施可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置換、変更が可能である。
【産業上の利用可能性】
【００７０】
本発明のパターン分類装置、パターン分類方法およびパターン分類プログラムは、多くのパターン（音声、文字、顔等のベクトルデータ）の中から、例えば音素、調音素性を精度良く抽出することができ、しかもパターンを構成するデータを処理する演算量を格段に減少させることができる。このため、本発明のパターン分類装置、パターン分類方法およびパターン分類プログラムは、多くのパターン（音声、文字、顔等のベクトルデータ）を処理することが不可欠な情報処理産業の発展に寄与することができる。また、本発明のパターン分類装置、パターン分類方法およびパターン分類プログラムは、多くのパターン（音声、文字、顔等のベクトルデータ）を精度良く認識（recognition）、分類（classification）及び識別（discrimination）することができるので、これを適用することによりロボット関連技術産業の発展に大きく寄与するものと考えらえる。
【符号の説明】
【００７１】
１    分類装置
２    前処理部
３    固有ベクトルセット
４    直交化ベクトル再構成部
５    多重線形写像部
６    クラス別固有ベクトルセット
７    高次部分空間類似度計算部
８    類似度事後確率処理部
１０    素性分類部（HMM音素分類部）
【図１】
2016162437.tif 000016
【図２】
2016162437.tif 000017
【図８Ａ】
2016162437.tif 000018
【図８Ｂ】
2016162437.tif 000019
【図９】
2016162437.tif 000020
【図１０】
2016162437.tif 000021
【図１１】
2016162437.tif 000022
【図１２】
2016162437.tif 000023
【図３】
2016162437.tif 000024
【図４】
2016162437.tif 000025
【図５】
2016162437.tif 000026
【図６】
2016162437.tif 000027
【図７】
2016162437.tif 000028