(57)【要約】【課題】  分類精度を向上させるパターン認識装置、方法及び媒体を提供する。【解決手段】  本発明の一態様に係るパターン認識装置１００は、雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する特徴変換部１１０と、前記雑音除去特徴ベクトルをそれらが対応するクラスに分類してクラスを推定する分類部１２０と、前記雑音除去特徴ベクトルと、クリーン特徴ベクトルと、推定された前記クラスと、特徴ベクトルラベルと、を用いてコストを計算する目的関数計算部１３０と、前記コストに従い前記特徴変換手段のパラメーターを更新するパラメーター更新部１４０と、を含む。【選択図】  図１
2019532439.tif 000002
【特許請求の範囲】
【請求項１】
雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する特徴変換手段と、
前記雑音除去特徴ベクトルをそれらが対応するクラスに分類してクラスを推定する分類手段と、
前記雑音除去特徴ベクトルと、クリーン特徴ベクトルと、推定された前記クラスと、特徴ベクトルラベルと、を用いてコストを計算する目的関数計算手段と、
前記コストに従い前記特徴変換手段のパラメーターを更新するパラメーター更新手段と、を備えるパターン認識装置。
【請求項２】
前記特徴変換手段が、前記特徴変換手段の更新された前記パラメーターを用いて、テスト特徴ベクトルを前記雑音除去特徴ベクトルに変換する、請求項１に記載のパターン認識装置。
【請求項３】
前記パラメーター更新手段が、前記分類手段のパラメーターを更新し、前記分類手段が、前記分類手段の更新された前記パラメーターを用いて分類を行う、請求項２に記載のパターン認識装置。
【請求項４】
前記目的関数計算手段が、前記雑音除去特徴ベクトルと前記クリーン特徴ベクトルとの間の変換誤差、及び、前記雑音重畳特徴ベクトルの推定された前記クラスと当該クラスの特徴ベクトルラベルとの間の分類誤差を用いて前記コストを計算する、請求項１から３の何れか１項に記載の装置。
【請求項５】
前記特徴変換手段がデノイジングオートエンコーダである、請求項１から４の何れか１項に記載の装置。
【請求項６】
前記分類手段がサポートベクターマシン或いはニューラルネットワークである、請求項１から５の何れか１項に記載の装置。
【請求項７】
前記変換誤差が平均２乗誤差或いはコサイン距離である、請求項４に記載の装置。
【請求項８】
前記分類誤差が交差エントロピー或いはマージン誤差である、請求項４に記載の装置。
【請求項９】
雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換し、
前記雑音除去特徴ベクトルをそれらが対応するクラスに分類してクラスを推定し、
前記雑音除去特徴ベクトルと、クリーン特徴ベクトルと、推定された前記クラスと、特徴ベクトルラベルと、を用いてコストを計算し、
前記コストに従い前記特徴変換手段のパラメーターを更新する
パターン認識方法。
【請求項１０】
パターン認識装置に方法を実行させるプログラムを含む、コンピューター読み取り可能な媒体であって、前記方法は、
雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換し、
前記雑音除去特徴ベクトルをそれらが対応するクラスに分類してクラスを推定し、
前記雑音除去特徴ベクトルと、クリーン特徴ベクトルと、推定された前記クラスと、特徴ベクトルラベルと、を用いてコストを計算し、
前記コストに従い前記特徴変換手段のパラメーターを更新する
コンピューター読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識の為の装置、方法、及び媒体に関する。
【背景技術】
【０００２】
パターン認識は、安全、監視、電子商取引等の日々の応用を含む、生活の様々な分野で広く用いられてきている。更に、パターン認識は、農業、工学、科学、及び、軍事や国家安全保障の様な重要課題などの、技術的応用に用いられてきている。
【０００３】
パターン認識システムの過程は、大まかに２つのステップに分類することが出来る。第１のステップは、入力信号の特徴を抽出する特徴抽出である。第２のステップは、抽出された特徴を入力信号に対応する（複数の）クラスに分類する分類である。
【０００４】
パターン認識システムは、クラスに対応する特徴を学習し、学習した特徴を用いてその分類器を訓練する。頑強なパターン認識の為には、１つのクラスに対応する特徴は、互いに類似しているべきであり、異なるクラスに対応する特徴は、可能な限り異なっているべきである。技術用語では、同じクラスに対応する特徴は、クラス内共分散と呼ばれる分散の低い値を持つべきであり、異なるパターンに属する特徴は、クラス間分散と呼ばれる分散の高い値を持つべきであると言うことが出来る。
【０００５】
現実世界に生じうる雑音（例えば、背景雑音、短期間及びチャンネル歪）は、特徴抽出及び分類の過程の性能にしばしば影響を与える。様々な雑音が原因で、特徴は改変されることがあり、クラス間分散と比較して小さいクラス内分散という期待される特性はかなえることが出来ない。
【０００６】
上述の期待される特性を保持する１つの方法は、以下の通りである。その方法とは、多次元の場合のクラス内分散または共分散を、特徴を別の特徴空間へ変換することによって、クラス間共分散と比較して出来るだけ小さくすることである。
【０００７】
特徴変換は、雑音によって引き起こされる入力信号の歪に起因する、特徴空間に於いて増大するクラス内分散、及び／又は減少するクラス間分散の問題に対処する。特徴変換は、抽出された特徴に分類の前に適用されてきているが、この分類に於いては、望まれる変換後の特徴空間が、クラス間分散と比較して小さな特徴のクラス内分散を持つ。
【０００８】
線形判別分析は、特徴変換によってクラス内分散をより小さくする為のよく知られた古典的な方法である。ニューラルネットワークを用いて、クラス内共分散の最小化かクラス間共分散の最大化の何れかに重点を置く、特徴変換の新たな方法もある。
【０００９】
この方法の為の従来技術のパターン認識装置７００が、図７に示す様に非特許文献２に開示されている。パターン認識装置７００は、特徴変換器７１０、目的関数計算機７３０、パラメーター更新器７４０、及び記憶装置７５０を含む。
【００１０】
訓練段階に於いては、特徴変換器７１０は、雑音重畳特徴ベクトルを入力として取り込み、それらを雑音除去特徴ベクトルに変換するデノイジングオートエンコーダの機能を実行する。目的関数計算機７３０は、クリーン特徴ベクトルと雑音除去特徴ベクトルとを読み込む。目的関数計算機７３０は、雑音除去特徴ベクトルとクリーン特徴ベクトルとの間の平均２乗誤差から、変換コストを計算する。パラメーター更新器７４０は、コストの最小化に従い特徴変換器７１０（デノイジングオートエンコーダ）のパラメーターを更新する。パターン認識装置７００のこの過程は、収束まで続けられる。アルゴリズムの収束後、パラメーター更新器７４０は、特徴変換器７１０（デノイジングオートエンコーダ）のパラメーターと構造とを、記憶装置７５０に記憶する。
【００１１】
試験段階に於いては、特徴変換器７１０は、記憶装置７５０から構造とパラメーターとを読み込み、テスト特徴ベクトルを読み込み、それらを処理して雑音除去特徴ベクトルを出力する。
【００１２】
特徴変換を扱う従来技術のもう一つのパターン認識装置８００が、図８に示す様に非特許文献１に開示されている。パターン認識装置８００は、分類器８２０、目的関数計算機８３０、パラメーター更新器８４０、記憶装置８５０、及び特徴抽出器８６０を含む。
【００１３】
訓練段階に於いては、分類器８２０は、訓練特徴ベクトルを受け取り、そのクラスラベルを推定する。目的関数計算機８３０は、元の特徴ベクトルラベルと推定されたクラスラベルとを読み込む。目的関数計算機８３０は、元のラベルと推定されたクラスラベルとの間の分類誤差から、分類コストを計算する。パラメーター更新器８４０は、コストの最小化に従い分類器８２０のパラメーターを更新する。パターン認識装置８００のこの過程は、収束まで続けられる。収束後、パラメーター更新器８４０は、分類器８２０のパラメーターを記憶装置８５０に記憶する。
【００１４】
試験段階に於いては、特徴抽出器８６０は、分類器８２０の隠れ層の構造とパラメーターとを読み込み、テスト特徴ベクトルを読み込み、最終隠れ層の出力を取り出すことによってボトルネック特徴ベクトルを生成する。
【００１５】
第１の方法（非特許文献２）は、特徴のクラス内共分散を最小化するデノイジングオートエンコーダを用いた、特徴ベクトルの雑音除去に重点を置く。第２の方法（非特許文献１）は、基本的にクラス間共分散の最大化を狙う、変換された特徴ベクトルの多層パーセプトロンからのボトルネック特徴ベクトルを用いることによって、弁別性基準を繰り返し教えることを強調する。パーセプトロンは、Rosenblattによって１９５８年に開発されたパターン認識機械の１つである。
【００１６】
上述の方法は、クラス内共分散の最小化か、クラス間共分散の最大化かのいずれかを狙うものである。
【００１７】
上述の方法以外に、（特許文献１、特許文献２、及び非特許文献３を参照すると）パターン認識の為のいくつかの方法がある。特許文献１には、散乱度を用いることによりパターン認識を行う為の学習装置が開示されている。特許文献２には、特徴を強調するパラメーターが用いられるパターン認識方法が開示されている。非特許文献３には、話者認識の方法が開示されている。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００７−０１８１７６号公報
【特許文献２】特開１９９６−１０６２９５号公報
【非特許文献】
【００１９】
【非特許文献１】Is,(s cedilla)ik, Yusuf Ziya, Hakan Erdogan, and Ruhi Sarikaya. "S-vector: A discriminative representation derived from i-vector for speaker verification." Signal Processing Conference (EUSIPCO), 2015 23rd European. IEEE, 2015.
【非特許文献２】H. Novoselov, Sergey, et al. "Non-linear PLDA for i-Vector Speaker Verification." ISCA Interspeech (2015).
【非特許文献３】Dehak, Najim, et al. "Front-end factor analysis for speaker verification." IEEE Transactions on Audio, Speech, and Language Processing, Volume 19, Issue4 (May 2011), pp. 788-798
【発明の概要】
【発明が解決しようとする課題】
【００２０】
非特許文献１及び非特許文献２は、クラス内共分散とクラス間共分散とに同時には対処しない。デノイジングオートエンコーダは、クラス間共分散基準を明確には維持しない。多層パーセプトロンは、クラス内共分散の最小化は強調しない。従って、雑音試験特徴の場合、変換された特徴空間に於いて、クラス内共分散がクラス間共分散と比較して小さくなるかどうかは不確かである。特に、デノイジングオートエンコーダか多層パーセプトロンのボトルネック特徴かの何れかを適用した後では、上記は不確かである。これが、低い分類精度に繋がる。
【００２１】
非特許文献１と非特許文献２には、分類精度が低下するという問題がある。
【００２２】
特許文献１、特許文献２、及び非特許文献３は、非特許文献１或いは非特許文献２に開示されたコストを考慮していない。特許文献１、特許文献２、及び非特許文献３は、特許文献１及び特許文献２の上記の問題を解決しない。
【００２３】
本発明の目的は、上述の問題を解決して分類精度を向上させるパターン認識装置、方法及び媒体を提供することである。
【課題を解決するための手段】
【００２４】
本発明の一態様に係るパターン認識装置は、雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する特徴変換手段と、前記雑音除去特徴ベクトルをそれらが対応するクラスに分類してクラスを推定する分類手段と、雑音除去特徴ベクトルと、前記クリーン特徴ベクトルと、推定された前記クラスと、特徴ベクトルラベルと、を用いてコストを計算する目的関数計算手段と、前記コストに従い前記特徴変換手段のパラメーターを更新するパラメーター更新手段と、を含む。
【００２５】
本発明の一態様に係るパターン認識方法は、雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換し、前記雑音除去特徴ベクトルをそれらが対応するクラスに分類してクラスを推定し、前記雑音除去特徴ベクトルと、クリーン特徴ベクトルと、推定された前記クラスと、特徴ベクトルラベルと、を用いてコストを計算し、前記コストに従い前記特徴変換手段のパラメーターを更新する。
【００２６】
本発明の一態様に係るコンピューター読み取り可能な媒体は、プログラムを含む。前記プログラムは、パターン認識装置に方法を実行させる。前記方法は、雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換し、雑音除去特徴ベクトルをそれらが対応するクラスに分類してクラスを推定し、前記雑音除去特徴ベクトルと、前記クリーン特徴ベクトルと、推定された前記クラスと、特徴ベクトルラベルと、を用いてコストを計算し、前記コストに従い前記特徴変換手段のパラメーターを更新する。
【発明の効果】
【００２７】
本発明により、分類精度を向上させる効果を提供することができる。
【図面の簡単な説明】
【００２８】
図面は、詳細な説明とともに、本発明の原理を説明する為に役立つ。図面は、説明の為のものであり、技術の適用を限定するものではない。
【図１】図１は、本発明の第１の実施形態によるパターン認識装置を説明するブロック図である。
【図２】図２は、本発明の第２の実施形態のパターン認識装置を説明するブロック図である。
【図３】図３は、訓練段階に於ける本発明の第１の実施形態によるパターン認識装置の動作の一例を説明するフローチャートである。
【図４】図４は、訓練段階に於ける本発明の第２の実施形態の動作の一例を説明するフローチャートである。
【図５】図５は、試験段階に於ける本発明の第１の実施形態によるパターン認識装置の動作の一例を説明するフローチャートである。
【図６】図６は、試験段階に於ける本発明の第２の実施形態の動作の一例を説明するフローチャートである。
【図７】図７は、従来技術１の構成のブロック図である。
【図８】図８は、従来技術２の構成のブロック図である。
【図９】図９は、本発明の第１から第２迄の実施形態によるパターン認識装置のハードウェア構成を説明するブロック図である。
【図１０】図１０は、本発明の第１から第２迄の実施形態によるパターン認識装置の概略構成を説明するブロック図である。
【発明を実施するための形態】
【００２９】
以下、本発明の実施形態を詳細に説明する。本発明の実施を完全に詳細に説明する。説明図と共に、ここで提供される説明は、当業者が本発明を実施する為の確かな案内を提供する為のものである。
【００３０】
＜第１の実施形態＞
図１は、本発明の第１の実施形態によるパターン認識装置１００を説明するブロック図である。図１は、２つの段階、即ち、訓練段階と試験段階とを説明する。それぞれの段階を後に詳細に説明する。
【００３１】
図１を参照すると、パターン認識装置１００は、特徴変換器１１０、分類器１２０、目的関数計算機１３０、パラメーター更新器１４０、及び記憶装置１５０を含む。
【００３２】
訓練段階に於いては、特徴変換器１１０、分類器１２０、目的関数計算機１３０、パラメーター更新器１４０、及び記憶装置１５０が、それらの過程を実行する。目的関数計算機１３０は、変換誤差と分類誤差との結合関数としてコストを計算する。記憶装置１５０は、特徴変換器１１０のパラメーターを記憶する。
【００３３】
試験段階に於いては、特徴変換器１１０、及び記憶装置１５０が、それらの過程を実行する。
【００３４】
訓練段階に於いては、特徴変換器１１０は、雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する。
【００３５】
分類器１２０は、雑音除去特徴ベクトルを特徴変換器１１０から受け取り、対応するクラスにそれらを分類する。分類器１３０は、サポートベクターマシンやニューラルネットワーク等のどの様な分類器であってもよい。
【００３６】
目的関数計算機１３０は、変換誤差と分類誤差との重み付け平均としてコストを計算する。変換誤差は、雑音除去特徴ベクトルをクリーン特徴ベクトルと共に用いて計算される。分類誤差は、雑音重畳特徴ベクトルの推定されたクラスをクラスの特徴ベクトルラベルと共に用いて計算される。例えば、目的関数計算機１３０は、変換誤差と分類誤差とを加算することでコストを計算する加算器を含んでもよい。
【００３７】
目的関数計算機１３０は、コストの様々な等式を用いてもよい。１つの例は次の数式１である。
数式１
【００３８】
2019532439.tif 000003
ここで、xはクリーン特徴ベクトルである。zは雑音除去特徴ベクトルである。wsは総数Nクラスのうちの出力クラスsに対応する重みである。Dはxとzの次元である。Cはスカラー定数である。αは変換誤差の定数重みである。Nはクラスの数である。Tは訓練データサンプルの数である。||・||22は２−ノルムの二乗である。最大化（max i≠sj (wi≠sj)）に於いて：
ａ．sjはj番目の訓練サンプルが属するクラスであり、システムへの与えられた入力として既知のデータである。
ｂ．iは(wizj)の最大値を与えるsを除く全ての可能なNクラスの中のクラスを意味する。(wizj)はwiとzjとの間の演算である。wiとzjとの間の演算は内積である。
ｃ．パラメーター更新器(d)はiを決定する。
【００３９】
上記の数式１に於いて、第１項は変換誤差である。変換誤差は、提案する実施形態の図の特徴変換器要素から来る。更に、変換誤差は２−ノルムの和である。即ち、変換誤差は平均２乗誤差である。平均２乗誤差は、期待値と推定値との間の誤差の２乗の平均値である。例えば、以下のコサイン距離の様な何れの種類の距離尺度であっても変換誤差として適用することが出来る。
コサイン距離
【００４０】
2019532439.tif 000004
ここで、演算子'(xz)'は雑音除去特徴ベクトルzと、対応するクリーン特徴ベクトルxとの間の内積を表し、演算子(||x||)はベクトルxの大きさを表す。
【００４１】
分類誤差はマージン誤差であるが、以下の交差エントロピーの様な何れの分類誤差であってもよい。
2019532439.tif 000005
ここで、lは入力特徴ベクトルが対応する特定のクラスを示す。oは分類器１２０によって推定された、推定されたラベルのクラスを示す。oは理想的には入力特徴ベクトルのlと等しくあるべきである。注目すべきは、それぞれのラベルはスカラー値であり、それぞれのクラスに指定されていることである。即ち、lとoとはスカラー値である。更に、対数の底は何れの値も取り得る。例えば、対数は自然対数であってもよい。
【００４２】
特徴変換器１１０はデノイジングオートエンコーダとすることが出来る。特徴変換器１１０のパラメーターは、zに含まれている。
【００４３】
パラメーター更新器１４０は、バックプロパゲーション等の一般的な数値的手法を用いて最小化されるコストに従い、特徴変換器１１０及び分類器１２０のパラメーターを更新する。パターン認識装置１００のこの過程は、コストがそれ以上低減出来ない収束まで続けられる。収束後、パラメーター更新器１４０は、訓練された特徴変換器１１０のパラメーターを記憶装置１５０に記憶する。パラメーター更新器１４０或いは特徴変換器１１０は、特徴変換器１１０の構造を記憶してもよい。
【００４４】
試験段階に於いては、特徴変換器１１０は、記憶装置１５０からパラメーターを読み込む。次に、そのパラメーターを用いて、特徴変換器１１０は、テスト特徴ベクトルを入力として読み込み、雑音除去特徴ベクトルを出力として生成する。特徴変換器１１０の構造が記憶されているときは、特徴変換器１１０は、パラメーターを読み込むのと同時にその構造を読み込んでもよい。
【００４５】
例えば顔認識の場合には、クラスは個人の識別子（ＩＤ）であり、特徴ベクトルは、目、鼻、等の座標である。認識システムが無雑音画像で訓練されたものの、認識されるべき画像が不鮮明であると、これらの画像は適切に認識されない。これらの不鮮明な画像は、パターン認識システムの訓練に用いられた無雑音画像から抽出された特徴と比較して、特徴空間に於いて雑音特徴を生成する。
【００４６】
特徴変換器１１０は、不鮮明な画像に対応する雑音重畳特徴ベクトルを読み込み、雑音除去特徴ベクトルを生成する。
【００４７】
例えば話者認識の場合には、非特許文献３に示される様に、クラスはやはり話者のＩＤであり、特徴ベクトルは、音声信号に含まれる音素から抽出されたi-ベクトルである。システムが雑音環境で録音された音声信号に適用されるときは、システムは、雑音の無い音声信号から抽出された雑音の無いi-ベクトルで訓練されたものの、雑音が含まれたi-ベクトルを話者の特徴として読み込む。
【００４８】
特徴変換器１１０は、雑音が含まれたi-ベクトルを雑音の無いi-ベクトルに変換するが、それは話者を認識する標準的なパターン認識システムに於いてさらに用いられる。
【００４９】
図３は、訓練段階に於ける本発明の第１の実施形態によるパターン認識装置１００の動作の一例を説明するフローチャートである。
【００５０】
最初に、特徴変換器１１０は、雑音重畳特徴ベクトルを読み込み、雑音除去特徴ベクトルを推定する（Ａ０１）。即ち、特徴変換器１１０は、雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する。
【００５１】
分類器１２０は、雑音除去特徴ベクトルを受け取る。分類器１２０は、雑音除去特徴ベクトルのクラスラベルを推定する（Ａ０２）。即ち、分類器１２０は、雑音除去特徴ベクトルを対応するクラスに分類する。
【００５２】
目的関数計算機１３０は、雑音除去特徴ベクトルとクリーン特徴ベクトルとの間の変換誤差を計算する（Ａ０３）。
【００５３】
次に、目的関数計算機１３０は、推定されたクラスラベルと特徴ベクトルラベル（元のラベル）との間の分類誤差を計算する（Ａ０４）。
【００５４】
目的関数計算機１３０は、変換誤差と分類誤差とを用いてコストを計算する（Ａ０５）。
【００５５】
パラメーター更新器１４０は、コストに従い特徴変換器１１０及び分類器１２０のパラメーターを更新する（Ａ０６）。
【００５６】
この過程は、コストがそれ以上低減出来ない収束まで続けられる（Ａ０７）。
【００５７】
収束後、パラメーター更新器１４０は、特徴変換器１１０のパラメーターを記憶装置１５０に記憶する（Ａ０８）。この時点で、特徴変換器１１０のパラメーターが訓練される。その結果、特徴変換器１１０が訓練される。
【００５８】
パターン認識装置１００は、ステップＡ０３をＡ０２の前に行うことが出来る。なぜなら、ステップＡ０１からステップＡ０２までの動作は、ステップＡ０３からステップＡ０４までの動作とは独立に実行することが出来るからである。
【００５９】
図５は、試験段階に於ける本発明の第１の実施形態によるパターン認識装置１００の動作の一例を説明するフローチャートである。
【００６０】
最初に、特徴変換器１１０は、記憶装置１５０からパラメーターを読み込む（Ｃ０１）。
【００６１】
次に、特徴変換器１１０は、テスト特徴ベクトルを入力として読み込み、それらを、パラメーターを用いて、雑音除去特徴ベクトルに出力として変換する（Ｃ０２）。雑音除去特徴ベクトルは、適切なクラスに分類される為に、次に分類器に与えられてもよい。
【００６２】
パターン認識装置１００は、分類精度を向上させる効果を有する。
【００６３】
これは以下の理由による。特徴変換器１１０は、雑音除去特徴ベクトルを推定する。分類器１２０は、雑音除去特徴ベクトルのクラスラベルを推定する。目的関数計算機１３０は、変換誤差と分類誤差とを計算し、変換誤差と分類誤差とを用いてコストを計算する。次に、パラメーター更新器１４０は、コストに従い特徴変換器１１０のパラメーターを更新する。分類誤差はクラス共分散と関係する。即ち、パターン認識装置１００は、クラス共分散を維持する。
【００６４】
入力信号の歪に対処する為には、雑音に対して頑強なパターン認識システムが非常に重要である。雑音やその他の要因による入力信号の歪は、特徴空間に於いてクラス間共分散と比較して大きなクラス内共分散の原因となることがあり、それがパターン認識精度の悪化をもたらす。よいパターン認識の為の特徴の重要な特性の１つは、クラス間共分散と比較して小さなクラス内共分散を持つことである。
【００６５】
非特許文献１及び非特許文献２には、特徴変換の取り組みが存在する。非特許文献１及び非特許文献２は、問題を解決しようとしているが、以下の様ないくつかの欠点を負っている。それらは、クラス内共分散とクラス間共分散とを同時には最適化しない。パターン認識システムの多くの現実の適用に於いては、入力信号は雑音を有する。結果として、入力信号を含むパターン認識システムは、大きなクラス内共分散と大きなクラス間共分散とを有しうる。それ故に、何れか１つの共分散の最適化に専心するのみでは、問題を解決することは出来ない。
【００６６】
雑音が含まれた入力信号について、クラス間共分散と比較してクラス内共分散を小さく維持するという課題に取り組むのは重要である。本実施形態は、抽出された雑音重畳特徴ベクトルを別の空間（クラス）に変換することが出来る。この動作は、特徴からの雑音除去誤差と特徴分類誤差との合同最小化によって実行され、それは、クラス内共分散の最小化とクラス間共分散の最大化とを同時に強調するものである。それで、本実施形態は、変換誤差と分類誤差とによるコストを最小化する。
【００６７】
この様に、パラメーター更新器１４０が特徴変換器１１０のパラメーターを更新するので、パターン認識装置１００は分類精度を向上させる。更に、パターン認識装置１００は、変換誤差と分類誤差とによるコストを用いることによって、上述の動作を実行する。
【００６８】
＜第２の実施形態＞
図２は、本発明の第２の実施形態によるパターン認識装置２００を説明するブロック図である。
【００６９】
図２を参照すると、パターン認識装置２００は、特徴変換器２１０、分類器２２０、目的関数計算機２３０、パラメーター更新器２４０、記憶装置２５０、及び記憶装置２６０を含む。
【００７０】
訓練段階に於いては、特徴変換器２１０、分類器２２０、目的関数計算機２３０、パラメーター更新器２４０、記憶装置２５０、及び記憶装置２６０が、それらの過程を実行する。目的関数計算機２３０は、変換誤差と分類誤差との結合関数としてコストを計算する。
【００７１】
試験段階に於いては、特徴変換器２１０、分類器２２０、記憶装置２５０、及び記憶装置２６０が、それらの過程を実行する。
【００７２】
訓練段階に於いては、特徴変換器２１０は、入力された雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する。
【００７３】
分類器２２０は、雑音除去特徴ベクトルを受け取り、対応するクラスにそれらを分類する。
【００７４】
目的関数計算機２３０は、変換誤差と分類誤差とを用いてコストを計算する。変換誤差は、雑音除去特徴ベクトルをクリーン特徴ベクトルと共に用いて計算される。分類誤差は、雑音重畳特徴ベクトルの推定されたクラスを特徴ベクトルラベル（クラスの元のラベル）と共に用いて計算される。
【００７５】
パラメーター更新器２４０は、コストが最小化される様に、コストに従い特徴変換器２１０及び分類器２２０のパラメーターを更新する。この過程は、コストがそれ以上低減出来ない収束まで続けられる。
【００７６】
収束後、記憶装置２５０は、訓練された特徴変換器２１０のパラメーターを記憶する。記憶装置２６０は、分類器２２０のパラメーターを記憶する。パラメーター更新器２４０或いは特徴変換器２１０は、特徴変換器２１０の構造を記憶装置２５０に記憶してもよい。パラメーター更新器２４０或いは分類器２２０は、分類器２２０の構造を記憶装置２６０に記憶してもよい。記憶装置２５０及び記憶装置２６０は、同じ記憶装置を用いて実現されてもよい。
【００７７】
試験段階に於いては、特徴変換器２１０は、記憶装置２５０からパラメーターを読み込む。次に、そのパラメーターを用いて、特徴変換器２１０は、テスト特徴ベクトルを入力として読み込み、雑音除去特徴ベクトルを出力として生成する。特徴変換器２１０の構造が記憶されているときは、特徴変換器２１０は、パラメーターを読み込むのと同時にその構造を読み込んでもよい。
【００７８】
次に、分類器２２０は、記憶装置２６０からパラメーターを読み込む。そのパラメーターを用いて、分類器２２０は、雑音除去特徴ベクトルを入力として読み込み、特徴ベクトルのクラスを出力として推定する。分類器２２０の構造が記憶されているときは、分類器２２０は、パラメーターを読み込むのと同時にその構造を読み込んでもよい。
【００７９】
図４は、訓練段階に於ける本発明の第２の実施形態によるパターン認識装置２００の動作の一例を説明するフローチャートである。
【００８０】
最初に、特徴変換器２１０は、雑音重畳特徴ベクトルを読み込み、雑音除去特徴ベクトルを推定する（Ｂ０１）。即ち、特徴変換器２１０は、雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する。
【００８１】
分類器２２０は、雑音除去特徴ベクトルを受け取る。分類器２２０は、雑音除去特徴ベクトルのクラスラベルを推定する（Ｂ０２）。即ち、分類器２２０は、雑音除去特徴ベクトルを対応するクラスに分類する。
【００８２】
目的関数計算機２３０は、雑音除去特徴ベクトルとクリーン特徴ベクトルとの間の変換誤差を計算する（Ｂ０３）。
【００８３】
次に、目的関数計算機２３０は、推定されたクラスラベルと特徴ベクトルラベル（元のラベル）との間の分類誤差を計算する（Ｂ０４）。
【００８４】
目的関数計算機２３０は、変換誤差と分類誤差とを用いてコストを計算する（Ｂ０５）。
【００８５】
パラメーター更新器２４０は、コストに従い特徴変換器２１０及び分類器２２０のパラメーターを更新する（Ｂ０６）。
【００８６】
この過程は、コストがそれ以上低減出来ない収束まで続けられる（Ｂ０７）。
【００８７】
収束後、パラメーター更新器２４０は、特徴変換器２１０及び分類器２２０のパラメーターを記憶装置２５０及び記憶装置２６０にそれぞれ記憶する（Ｂ０８）。この時点で、特徴変換器２１０及び分類器２２０のパラメーターが訓練される。その結果、特徴変換器２１０及び分類器２２０が訓練される。
【００８８】
図６は、試験段階に於ける本発明の第２の実施形態によるパターン認識装置２００の動作の一例を説明するフローチャートである。
【００８９】
最初に、特徴変換器２１０は、記憶装置２５０からパラメーターを読み込む（Ｄ０１）。
【００９０】
次に、特徴変換器２１０は、テスト特徴ベクトルを入力として読み込み、それらを、雑音除去特徴ベクトルに出力として変換する（Ｄ０２）。
【００９１】
分類器２２０は、記憶装置２６０からパラメーターを読み込む（Ｄ０３）。
【００９２】
次に、分類器２２０は、雑音除去特徴ベクトルを入力として読み込み、特徴ベクトルのクラスを出力として推定する（Ｄ０４）。
【００９３】
パターン認識装置２００は、分類精度を向上させる効果を有する。
【００９４】
これは以下の理由による。特徴変換器２１０は、雑音除去特徴ベクトルを推定する。分類器２２０は、雑音が除去された特徴ベクトルのクラスラベルを推定する。目的関数計算機２３０は、変換誤差と分類誤差とを計算し、変換誤差と分類誤差とを用いてコストを計算する。次に、パラメーター更新器２４０は、コストに従い特徴変換器２１０のパラメーターを更新する。分類誤差はクラス共分散と関係する。即ち、パターン認識装置２００は、クラス共分散を維持する。
【００９５】
＜ハードウェア＞
第１から第２までの実施形態によるパターン認識装置１００及びパターン認識装置２００は、以下に示す様に構成される。
【００９６】
例えば、パターン認識装置１００及びパターン認識装置２００のそれぞれの構成要素は、ハードウェア回路で構成されてもよい。
【００９７】
或いは、パターン認識装置１００及び２００に於いて、それぞれの構成要素は、ネットワークを通じて接続された複数の装置を用いて構成されてもよい。
【００９８】
或いは、パターン認識装置１００及び２００に於いて、複数の構成要素が１つのハードウェアによって構成されてもよい。
【００９９】
或いは、パターン認識装置１００及び２００は、中央処理装置（ＣＰＵ）、読み出し専用メモリー（ＲＯＭ）、及びランダムアクセスメモリー（ＲＡＭ）を含む計算機装置として実現されてもよい。更に、パターン認識装置１００及び２００は、上述の構成要素に加えて、入出力回路（ＩＯＣ）及びネットワークインタフェース回路（ＮＩＣ）を含む計算機装置として実現されてもよい。
【０１００】
図９は、パターン認識装置１００及び２００としての情報処理装置６００のハードウェア構成の一例を示すブロック図である。
【０１０１】
情報処理装置６００は、計算機装置を構成する、ＣＰＵ６１０、ＲＯＭ６２０、ＲＡＭ６３０、内部記憶装置６４０、ＩＯＣ６５０、及びＮＩＣ６８０を含む。
【０１０２】
ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み出す。次に、ＣＰＵ６１０は、読まれたプログラムに基づいて、ＲＡＭ６３０、内部記憶装置６４０、ＩＯＣ６５０、及びＮＩＣ６８０を制御する。次に、ＣＰＵ６１０を含む計算機装置は構成要素を制御し、図１から図２迄に示されるそれぞれの構成要素としてのそれぞれの機能を実現する。
【０１０３】
それぞれの機能を実現するときに、ＣＰＵ６１０は、プログラムの一時的な記憶装置として、ＲＡＭ６３０或いは内部記憶装置６４０を用いてもよい。
【０１０４】
或いは、ＣＰＵ６１０は、図に示されない記憶媒体読み取り装置を用いて、計算機読み取り可能な様にプログラムを記憶する記憶媒体６９０に含まれるプログラムを読み出してもよい。或いは、ＣＰＵ６１０は、ＮＩＣ６８０を通じて、図に示されない外部装置からプログラムを受け取り、ＲＡＭ６３０にプログラムを記憶し、記憶されたプログラムに基づいて動作する。
【０１０５】
ＲＯＭ６２０は、ＣＰＵ６１０で実行されるプログラム、及び固定データを記憶する。ＲＯＭ６２０は、例えば、プログラマブルＲＯＭ（Ｐ−ＲＯＭ）、或いはフラッシュＲＯＭである。
【０１０６】
ＲＡＭ６３０は、ＣＰＵ６１０で実行されるプログラム、及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、ダイナミックＲＡＭ（Ｄ−ＲＡＭ）である。
【０１０７】
内部記憶装置６４０は、情報処理装置６００が長期間記憶するデータとプログラムとを記憶する。更に、内部記憶装置６４０は、ＣＰＵ６１０の一時的な記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（半導体ドライブ）、或いはディスクアレイ装置である。
【０１０８】
ここで、ＲＯＭ６２０及び内部記憶装置６４０は、不揮発性記憶媒体である。一方、ＲＡＭ６３０は揮発性記憶媒体である。ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、或いはＲＡＭ６３０が記憶するプログラムに基づいて実行可能である。即ち、ＣＰＵ６１０は、不揮発性記憶媒体或いは揮発性記憶媒体を用いて実行可能である。
【０１０９】
ＩＯＣ６５０は、ＣＰＵ６１０と入力装置６６０との間で、及びＣＰＵ６１０と表示装置６７０との間で、データを取り次ぐ。ＩＯＣ６５０は、例えば、入出力インタフェースカード、或いはＵＳＢ（ユニバーサル・シリアル・バス）カードである。
【０１１０】
入力装置６６０は、情報処理装置６００の操作者から入力指示を受け取る装置である。入力装置６６０は、例えば、キーボード、マウス、或いはタッチパネルである。
【０１１１】
表示装置６７０は、情報処理装置６００の操作者の為の情報を表示する装置である。表示装置６７０は、例えば、液晶表示装置である。
【０１１２】
ＮＩＣ６８０は、ネットワークを通じて、図に表示されない外部装置とのデータ通信を中継する。ＮＩＣ６８０は、例えば、ローカルエリア・ネットワーク（ＬＡＮ）カードである。
【０１１３】
この様に構成された情報処理装置６００は、パターン認識装置１００及び２００と同じ効果を上げることが出来る。
【０１１４】
その理由は、情報処理装置６００のＣＰＵ６１０は、プログラムに基づきパターン認識装置１００及び２００と同じ機能を実現出来るからである。
【０１１５】
＜実施形態の概略＞
以下、本発明の実施形態の概略を説明する。図１０は、本発明の第１及び第２の実施形態のパターン認識装置３００の概略を説明するブロック図である。
【０１１６】
図１０を参照すると、パターン認識装置３００は、特徴変換器３１０、分類器３２０、目的関数計算機３３０、及びパラメーター更新器３４０を含む。
【０１１７】
特徴変換器３１０は、雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する。
【０１１８】
分類器３２０は、雑音除去特徴ベクトルを対応するクラスに分類し、クラスを推定する。
【０１１９】
目的関数計算機３３０は、雑音除去特徴ベクトルと、クリーン特徴ベクトルと、推定されたクラスと、特徴ベクトルラベルと、を用いてコストを計算する。
【０１２０】
パラメーター更新器３４０は、コストに従い、特徴変換器３１０のパラメーターを更新する。
【０１２１】
パターン認識装置３００は、パターン認識装置１００及びパターン認識装置２００の様に、分類精度を向上させる効果を有する。これは、パターン認識装置３００の構成要素が、パターン認識装置１００及びパターン認識装置２００の構成要素と同じ動作を実行する為である。
【０１２２】
本発明は、それについての実施形態を参照して特に示され説明されたが、本発明はこれらの実施形態に限定されるものではない。特許請求の範囲に定義された本発明の精神や範囲から離れることなく、そこに様々な外形や詳細の変更をしてもよいことは当業者には理解されよう。
【符号の説明】
【０１２３】
１００  パターン認識装置
１１０  特徴変換器
１２０  分類器
１３０  目的関数計算機
１３１  変換誤差
１３２  分類誤差
１３３  コスト
１３４  加算器
１４０  パラメーター更新器
１５０  記憶装置
２００  パターン認識装置
２１０  特徴変換器
２２０  分類器
２３０  目的関数計算機
２４０  パラメーター更新器
２５０  記憶装置
２６０  記憶装置
３００  パターン認識装置
３１０  特徴変換器
３２０  分類器
３３０  目的関数計算機
３４０  パラメーター更新器
６００  情報処理装置
６１０  ＣＰＵ
６２０  ＲＯＭ
６３０  ＲＡＭ
６４０  内部記憶装置
６５０  ＩＯＣ
６６０  入力装置
６７０  表示装置
６８０  ＮＩＣ
６９０  媒体
７００  パターン認識装置
７１０  特徴変換器
７３０  目的関数計算機
７４０  パラメーター更新器
７５０  記憶装置
８００  パターン認識装置
８２０  分類器
８３０  目的関数計算機
８４０  パラメーター更新器
８５０  記憶装置
８６０  特徴抽出器
【図１】
2019532439.tif 000006
【図２】
2019532439.tif 000007
【図３】
2019532439.tif 000008
【図４】
2019532439.tif 000009
【図５】
2019532439.tif 000010
【図６】
2019532439.tif 000011
【図７】
2019532439.tif 000012
【図８】
2019532439.tif 000013
【図９】
2019532439.tif 000014
【図１０】
2019532439.tif 000015
【手続補正書】
【提出日】平成31年4月19日(2019.4.19)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する特徴変換手段と、
前記雑音除去特徴ベクトルをそれらが対応するクラスに分類してクラスを推定する分類手段と、
前記雑音除去特徴ベクトルと、クリーン特徴ベクトルと、推定された前記クラスと、特徴ベクトルラベルと、を用いてコストを計算する目的関数計算手段と、
前記コストに従い前記特徴変換手段のパラメーターを更新するパラメーター更新手段と、を備えるパターン認識装置。
【請求項２】
前記特徴変換手段が、前記特徴変換手段の更新された前記パラメーターを用いて、テスト特徴ベクトルを前記雑音除去特徴ベクトルに変換する、請求項１に記載のパターン認識装置。
【請求項３】
前記パラメーター更新手段が、前記分類手段のパラメーターを更新し、前記分類手段が、前記分類手段の更新された前記パラメーターを用いて分類を行う、請求項２に記載のパターン認識装置。
【請求項４】
前記目的関数計算手段が、前記雑音除去特徴ベクトルと前記クリーン特徴ベクトルとの間の変換誤差、及び、前記雑音重畳特徴ベクトルの推定された前記クラスと当該クラスの特徴ベクトルラベルとの間の分類誤差を用いて前記コストを計算する、請求項１から３の何れか１項に記載の装置。
【請求項５】
前記特徴変換手段がデノイジングオートエンコーダである、請求項１から４の何れか１項に記載の装置。
【請求項６】
前記分類手段がサポートベクターマシン或いはニューラルネットワークである、請求項１から５の何れか１項に記載の装置。
【請求項７】
前記変換誤差が平均２乗誤差或いはコサイン距離である、請求項４に記載の装置。
【請求項８】
前記分類誤差が交差エントロピー或いはマージン誤差である、請求項４に記載の装置。
【請求項９】
雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する特徴変換を行い、
前記雑音除去特徴ベクトルをそれらが対応するクラスに分類してクラスを推定し、
前記雑音除去特徴ベクトルと、クリーン特徴ベクトルと、推定された前記クラスと、特徴ベクトルラベルと、を用いてコストを計算し、
前記コストに従い前記特徴変換のパラメーターを更新する
パターン認識方法。
【請求項１０】
雑音重畳特徴ベクトルを雑音除去特徴ベクトルに変換する特徴変換処理と、
前記雑音除去特徴ベクトルをそれらが対応するクラスに分類してクラスを推定する分類処理と、
前記雑音除去特徴ベクトルと、クリーン特徴ベクトルと、推定された前記クラスと、特徴ベクトルラベルと、を用いてコストを計算する目的関数計算処理と、
前記コストに従い前記特徴変換処理のパラメーターを更新するパラメーター更新処理と、
をコンピュータに実行させるプログラム。
【国際調査報告】
2019532439.tif 000016