(57)【特許請求の範囲】
【請求項１】
音声特徴ベクトル変換方法において、
（ａ）音声信号中で音声認識に必要な特徴ベクトルをフレーム毎に抽出するステップと、
（ｂ）前記抽出された特徴ベクトルを自動連想神経網を利用して変換を行うステップと、
を含み、前記自動連想神経網は、Ｍ次元のデータが入力される入力層と、Ｍ次元のデータをＦ次元のデータに変換する隠匿層と（Ｆ＜Ｍ）、Ｍ次元のデータを出力する出力層とを含み、前記入力層及び前記出力層に同じ値を設定することで学習が行われたものであり、
前記変換を行うステップにおいて、少なくとも隣接する複数のフレームの情報を含むＭ次元のデータとして前記自動連想神経網に入力し、前記隠匿層からＦ次元のデータを抽出することで、前記変換後の特徴ベクトルを生成する、音声特徴ベクトル変換方法。
【請求項２】
前記変換するステップは、
前記隠匿層のニューロンが少なくとも二つ以上ある場合、
前記抽出された隠匿層の出力値の平均値または最大値を計算するステップをさらに含むことを特徴とする請求項１に記載の音声特徴ベクトル変換方法。
【請求項３】
前記Ｍ次元のデータを、複数の自動連想神経網に周波数バンド別に入力することを特徴とする請求項１に記載の音声特徴ベクトル変換方法。
【請求項４】
前記Ｍ次元のデータを、１つの自動連想神経網に入力することを特徴とする請求項１に記載の音声特徴ベクトル変換方法。
【請求項５】
前記自動連想神経網の隠匿層のニューロンは少なくとも一つ以上あることを特徴とする請求項１に記載の音声特徴ベクトル変換方法。
【請求項６】
前記変換するステップの後に、
（ｃ）前記自動連想神経網から出力された特徴ベクトルのデルタ特徴を抽出するステップをさらに含むことを特徴とする請求項１に記載の音声特徴ベクトル変換方法。
【請求項７】
前記変換するステップの後に、
（ｃ）前記自動連想神経網から出力された特徴ベクトルの加速特徴を抽出するステップをさらに含むことを特徴とする請求項１に記載の音声特徴ベクトル変換方法。
【請求項８】
請求項１ないし７のうちいずれか一項に記載の音声特徴ベクトル変換方法をシステムに実行させるコンピュータプログラム。
【請求項９】
請求項８に記載のコンピュータプログラムを記録した記録媒体。
【請求項１０】
音声特徴ベクトルを変換する装置において、
音声信号中で音声認識に必要な特徴ベクトルをフレーム毎に抽出する特徴抽出部と、
前記抽出された特徴ベクトルを自動連想神経網を利用して変換を行う特徴変換部であって、前記自動連想神経網は、Ｍ次元のデータが入力される入力層と、Ｍ次元のデータをＦ次元のデータに変換する隠匿層と（Ｆ＜Ｍ）、Ｍ次元のデータを出力する出力層とを含み、前記入力層及び前記出力層に同じ値を設定することで学習が行われたものであり、
前記特徴変換部は、少なくとも隣接する複数のフレームの情報を含むＭ次元のデータとして前記自動連想神経網に入力し、前記隠匿層からＦ次元のデータを抽出することで、前記変換後の特徴ベクトルを生成する、音声特徴ベクトル変換装置。
【請求項１１】
前記自動連想神経網の隠匿層は、少なくとも一つ以上のニューロンを含むことを特徴とする請求項１０に記載の音声特徴ベクトル変換装置。
【請求項１２】
前記ニューロンが少なくとも二つ以上あり、
前記抽出された隠匿層の出力値の平均値または最大値を計算する後処理部をさらに備えることを特徴とする請求項１１に記載の音声特徴ベクトル変換装置。
【請求項１３】
前記特徴変換部から出力された特徴ベクトルのデルタ特徴を抽出するデルタ特徴抽出部をさらに備えることを特徴とする請求項１０に記載の音声特徴ベクトル変換装置。
【請求項１４】
前記特徴変換部から出力された特徴ベクトルの加速特徴を抽出する加速特徴抽出部をさらに備えることを特徴とする請求項１０に記載の音声特徴ベクトル変換装置。
【請求項１５】
前記特徴変換部が、前記Ｍ次元のデータを、複数の自動連想神経網に周波数バンド別に入力することを特徴とする請求項１０に記載の音声特徴ベクトル変換装置。
【請求項１６】
前記特徴変換部が、前記Ｍ次元のデータを、１つの自動連想神経網に入力することを特徴とする請求項１０に記載の音声特徴ベクトル変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声特徴ベクトル変換方法及び装置に係り、より詳細には自動連想神経網（Ａｕｔｏ−Ａｓｓｏｃｉａｔｉｖｅ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、以下、‘ＡＡＮＮ’と称する）を利用して音声特徴ベクトルを変換する方法及び装置に関する。
【背景技術】
【０００２】
現在、音声認識技術は個人用携帯端末から情報家電、コンピュータ、大容量テレフォニーサーバなどに至るまで応用範囲を順次広げているが、周辺環境によって変わる認識性能の不安定性は、音声認識技術をさらに多様な実生活製品に拡張することを妨害する最も大きい障害物である。
【０００３】
一方、周辺環境で発生するノイズなどの要因による音声認識性能の不安定性を改善するために、音声認識技術の最初のステップである音声特徴ベクトル抽出過程で既存のメル−周波数ケプストラム係数（ｍｅｌ−ｆｒｅｑｕｅｎｃｙ  ｃｅｐｓｔｒａｌ  ｃｏｅｆｆｉｃｉｅｎｔ、以下、‘ＭＦＣＣ’と称する）特徴ベクトルを、時間的な特性を考慮して線形的にまたは非線形的に変換する技術が多様に研究されている。
【０００４】
まず、特徴ベクトルの時間的な特性を考慮した既存の変換アルゴリズムには、ケプストラム平均削除法（ｃｅｐｓｔｒａｌ  ｍｅａｎ  ｓｕｂｔｒａｃｔｉｏｎ）、平均−分散正規化（ｍｅａｎ−ｖａｒｉａｎｃｅ  ｎｏｒｍａｌｉｚａｔｉｏｎ，Ｏｎ  ｒｅａｌ−ｔｉｍｅ  ｍｅａｎ−ｖａｒｉａｎｃｅ  ｎｏｒｍａｌｉｚａｔｉｏｎ  ｏｆ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｅａｔｕｒｅｓ，Ｐ．Ｐｕｊｏｌ，Ｄ．Ｍａｃｈｏ  ａｎｄ  Ｃ．Ｎａｄｅｕ，ＩＣＡＳＳＰ，２００６，ｐｐ．７７３−７７６）、ＲＡＳＴＡアルゴリズム（Ｒｅｌａｔｉｖｅ  Ｓｐｅｃｔｒａｌ  ａｌｇｏｒｉｔｈｍ，Ｄａｔａ−ｄｒｉｖｅｎ  ＲＡＳＴＡ  ｆｉｌｔｅｒｓ  ｉｎ  ｒｅｖｅｒｂｅｒａｔｉｏｎ，Ｍ．Ｌ．Ｓｈｉｒｅ  ｅｔ  ａｌ，ＩＣＡＳＳＰ，２０００，ｐｐ．１６２７−１６３０）、ヒストグラム正規化（ｈｉｓｔｏｇｒａｍ  ｎｏｒｍａｌｉｚａｔｉｏｎ，Ｑｕａｎｔｉｌｅ  ｂａｓｅｄ  ｈｉｓｔｏｇｒａｍ  ｅｑｕａｌｉｚａｔｉｏｎ  ｆｏｒ  ｎｏｉｓｅ  ｒｏｂｕｓｔ  ｌａｒｇｅ  ｖｏｃａｂｕｌａｒｙ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ，Ｆ．Ｈｉｌｇｅｒ  ａｎｄ  Ｈ．Ｎｅｙ，ＩＥＥＥ  Ｔｒａｎｓ．Ａｕｄｉｏ，Ｓｐｅｅｃｈ，Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１４，ｎｏ．３，ｐｐ．８４５−８５４）、デルタ特徴増強アルゴリズム（ａｕｇｍｅｎｔｉｎｇ  ｄｅｌｔａ  ｆｅａｔｕｒｅ，Ｏｎ  ｔｈｅ  ｕｓｅ  ｏｆ  ｈｉｇｈ  ｏｒｄｅｒ  ｄｅｒｉｖａｔｉｖｅｓ  ｆｏｒ  ｈｉｇｈ  ｐｅｒｆｏｒｍａｎｃｅ  ａｌｐｈａｂｅｔ  ｒｅｃｏｇｎｉｔｉｏｎ，Ｊ．ｄｉ  Ｍａｒｔｉｎｏ，ＩＣＡＳＳＰ，２００２，ｐｐ．９５３−９５６）などがある。
【０００５】
そして、特徴ベクトルを線形的に変換する技術にはＬＤＡ（ｌｉｎｅａｒ  ｄｉｓｃｒｉｍｉｎａｎｔ  ａｎａｌｙｓｉｓ）及びＰＣＡ（ｐｒｉｎｃｉｐａｌ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ，Ｏｐｔｉｍｉｚａｔｉｏｎ  ｏｆ  ｔｅｍｐｏｒａｌ  ｆｉｌｔｅｒｓ  ｆｏｒ  ｃｏｎｓｔｒｕｃｔｉｎｇ  ｒｏｂｕｓｔ  ｆｅａｔｕｒｅｓ  ｉｎ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ，Ｊｅｉｈ−Ｗｅｉｈ  Ｈｕｎｇ  ｅｔ．ａｌ，ＩＥＥＥ  Ｔｒａｎｓ．Ａｕｄｉｏ，Ｓｐｅｅｃｈ，ａｎｄ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１４，Ｎｏ．３，２００６，ｐｐ．８０８−８３２）を利用して時間−フレーム上の特徴データを変換する方法がある。
【０００６】
一方、非線型神経網を使用する方法としては、時間的なパターンアルゴリズム（ＴｅｍｐｏＲＡｌ  Ｐａｔｔｅｒｎｓ、以下‘ＴＲＡＰ’と称する、Ｔｅｍｐｏｒａｌ  ｐａｔｔｅｒｎｓ  ｉｎ  ＡＳＲ  ｏｆ  ｎｏｉｓｙ  ｓｐｅｅｃｈ，Ｈ．Ｈｅｒｍａｎｓｋｙ  ａｎｄ  Ｓ．Ｓｈａｒｍａ，ＩＣＡＳＳＰ，１９９９，ｐｐ．２８９−２９２）、自動音声属性転写アルゴリズム（ａｕｔｏｍａｔｉｃ  ｓｐｅｅｃｈ  ａｔｔｒｉｂｕｔｅ  ｔｒａｎｓｃｒｉｐｔｉｏｎ，以下、ＡＳＡＴ、Ａ  ｓｔｕｄｙ  ｏｎ  ｋｎｏｗｌｅｄｇｅ  ｓｏｕｒｃｅ  ｉｎｔｅｇｒａｔｉｏｎ  ｆｏｒ  ｃａｎｄｉｄａｔｅ  ｒｅｓｃｏｒｉｎｇ  ｉｎ  ａｕｔｏｍａｔｉｃ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ，Ｊｉｎｙｕ  Ｌｉ，Ｙｕ  Ｔｓａｏ  ａｎｄ  Ｃｈｉｎ−Ｈｕｉ  Ｌｅｅ，ＩＣＡＳＳＰ，２００５，ｐｐ．８３７−８４０）などが公示されている。
【０００７】
図１は、従来技術による時間的なパターン、いわゆるＴＲＡＰアルゴリズムを利用した特徴ベクトル変換の概略的なブロック図である。図１を参照するに、音声信号で抽出されたログ臨界バンド（ｃｒｉｔｉｃａｌ−ｂａｎｄ）エネルギー特徴ベクトル１００は、それぞれのバンド別に前処理部１０５及び１１５を経て、複数層構造パーセプトロン（ｍｕｌｔｉ−ｌａｙｅｒ  ｐｅｒｃｅｐｔｒｏｎ、以下、‘ＭＬＰ’と称する）１１０及び１２０の非線型ネットワークを通過して、統合ＭＬＰ  １３０を経て認識器に使われる特徴ベクトルに変換される。この時、バンド別ＭＬＰ  １１０、１２０の目標値は該当フレームの音素クラスとして与えられる。例えば、３９個の音素を認識するとすれば、バンド別ＭＬＰの出力ニューロンの目標値として、３９個の音素のうち変換しようとするフレームに該当する音素クラスのみ持つ出力ニューロンは１、残りの出力ニューロンは−１に設定する。すなわち、フレーム別音素クラス情報が目標値として与えられる。バンド別ＭＬＰ  １０、１２０はそれぞれ３９個の出力値を持ち、統合ＭＬＰ  １３０の入力に入る。統合ＭＬＰ
１３０の目標値も、バンド別ＭＬＰの目標値と同一に該当フレームの音素クラス情報を利用して設定される。このように得られたＴＲＡＰ音声特徴変換は、既存のＭＦＣＣ特徴ベクトルに比べて、比較的長時間−フレーム間の連関性がよく反映されるという特徴があるが、フレーム別に音素クラス情報があらかじめあって初めて適用可能であるという問題点がある。
【０００８】
一般的に、音声ＤＢにはフレーム別音素クラス情報のない場合が多くて、実際ＴＲＡＰを適用するためには、既存のＭＦＣＣ特徴ベクトルで認識モデルを作り、強制整列方式で音素をフレーム別に転写する方式を利用する。しかし、認識モデル自体のエラー可能性のためにフレーム別音素転写にはエラーがある可能性が大きくて、ＴＲＡＰの神経網が誤った目標値を学習する危険がある。
【０００９】
図２は、従来技術による自動音声属性転写、いわゆるＡＳＡＴアルゴリズムを利用した特徴ベクトル変換の概略的なブロック図である。
【００１０】
ＡＳＡＴは、ＭＦＣＣ特徴ベクトルで図１のＴＲＡＰ同様に二つのステップの非線型神経網を経て特徴ベクトルを生成するアルゴリズムである。図１のＴＲＡＰとは異なって、バンド別にＭＬＰを適用するものではなく、隣接したフレームベクトル２００を神経網の入力として与え、最初のステップのＭＬＰ  ２１０及び２１５目標値は該当フレーム音素のクラス情報を持つ。すなわち、音素を母音（ｖｏｗｅｌ）、停止音（ｓｔｏｐ）、摩擦音（ｆｒｉｃａｔｉｖｅ）、接近音（ａｐｐｒｏｘｉｍａｎｔ）、鼻音（ｎａｓａｌ）、低音（ｌｏｗ）、中音（ｍｉｄ）、高音（ｈｉｇｈ）、歯音（ｄｅｎｔａｌ）、唇音（ｌａｂｉａｌ）、舌端音（ｃｏｒｏｎａｌ）、口蓋音（ｐａｌａｔａｌ）、軟口蓋音（ｖｅｌａｒ）、声門音（ｇｌｏｔｔａｌ）、黙音（ｓｉｌｅｎｃｅ）の１５つの細部クラスに分けてこれに該当する目標値に設定する。最初のステップのＭＬＰ  ２１０及び２１５を通過した結果は、二番目の統合ＭＬＰ２２０の入力として与えられ、統合ＭＬＰ２２０の目標値は該当フレームの音素値に設定する。
【００１１】
したがって、ＡＳＡＴの特徴ベクトルは、図１のＴＲＡＰと類似してフレーム別音素目標値を出力として与え、神経網を学習するためにはフレーム別音素情報が必ず必要であるというＴＲＡＰのような問題点がある。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は、前述した従来技術の問題点に鑑みてなされたものであり、音声認識過程でノイズに汚染された音声特徴ベクトルが入るとしても、強い特徴出力値を得ることができる音声特徴ベクトル変換方法及び装置を提供するところに目的がある。
【課題を解決するための手段】
【００１３】
本発明の技術的課題を達成するための音声特徴ベクトルを変換する方法は、音声信号中で音声認識に必要な特徴ベクトルを抽出するステップと、前記抽出された特徴ベクトルをＡＡＮＮを利用して変換するステップと、を含む。
【００１４】
本発明の他の技術的課題を達成するための音声特徴ベクトルを変換する方法は、音声信号中で音声認識に必要な特徴ベクトルを抽出するステップと、前記抽出された特徴ベクトル及び前記特徴ベクトルの隣接したフレームの特徴ベクトルをＡＡＮＮに入力するステップと、前記ＡＡＮＮの隠匿層の出力値を抽出するステップとを含む。
【００１５】
本発明のさらに他の技術的課題を達成するための音声特徴ベクトルを変換する装置は、音声信号中で音声認識に必要な特徴ベクトルを抽出する特徴抽出部と、前記抽出された特徴ベクトルをＡＡＮＮを利用して変換する特徴変換部とを備える。
【００１６】
本発明のさらに他の技術的課題を達成するための前述した方法をコンピュータで実行させるためのプログラムを記録した記録媒体を含む。
【００１７】
本発明の細部及び改善事項は従属項に開示される。
【発明の効果】
【００１８】
本発明による音声信号中で音声認識に必要な特徴ベクトルを抽出し、抽出された特徴ベクトルをＡＡＮＮを利用して変換することによって、音声認識過程でノイズが含まれた音声特徴ベクトルが入っても、強い特徴出力値を得ることができる。
【００１９】
また、フレーム別特徴ベクトル値をそのまま出力目標値として使用することによって、きれいな音声特徴ベクトル自体の特性が内部の隠匿層ニューロンに含まれて学習することによって、認識モデル自らのエラー可能性を低減できる。
【００２０】
また、特徴ベクトルのフレーム別音素クラス情報がなくても、時間−フレーム特性が非線形的に圧縮された特徴ベクトルを得ることができ、線形変換アルゴリズムに比べて非線形跡の特性を反映でき、正確なフレーム別音素情報を必要とするアルゴリズムに比べて入出力データが同一であるために自体的に学習できる。
【発明を実施するための最良の形態】
【００２１】
以下、添付した図面を参照して本発明の望ましい実施形態を詳細に説明する。
【００２２】
図３は、本発明の一実施形態によるＡＡＮＮを利用した音声特徴ベクトル変換装置の概略的なブロック図である。図３を参照するに、音声特徴ベクトル変換装置は、特徴抽出部３００及び特徴変換部３１０を備える。
【００２３】
一般的に音声認識器は、音声信号を入力として認識結果を出力し、この時、音声認識器の内部で各認識要素を区分させる特徴（ｆｅａｔｕｒｅ）を特徴ベクトルといい、音声信号全体が特徴ベクトルと使われることもある。しかし、大部分の音声信号自体は認識に使われるには不要な情報を多く含んでいるので、このうち認識に必ず必要であると判断される成分のみを選んで特徴ベクトルとして抽出する。
【００２４】
特徴抽出部３００は、音声信号を入力されて音声信号中で特徴ベクトルを抽出するが、ここで抽出された特徴ベクトルは、音声信号中で認識に必要な成分のみを圧縮して持っている形態であって、普通時間による周波数情報を持つようになる。
【００２５】
このような特徴ベクトルは、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒａｌ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）、ＬＰＣＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｅｐｓｔｒａｌ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）、ＥＩＨ（Ｅｎｓｅｎｂｌｅ  Ｉｎｔｅｒａｖａｌ  Ｈｉｓｔｏｇｒａｍ）などを含み、本発明の望ましい実施形態では、ＭＦＣＣを特徴ベクトルとして使用する。
【００２６】
特徴抽出部３００は、音声信号から特徴ベクトルを抽出するために色々な前処理過程を含むことができ、例えば、フレーム単位構成、ハミングウィンドウ、フーリエ変換、フィルターバンク、ケプストラム変換などの処理を行うことができ、図４を参照して後述する。
【００２７】
特徴変換部３１０は抽出された特徴ベクトルを、神経網基盤非線型変換アルゴリズムを利用して変換する。本発明の望ましい実施形態では、抽出された特徴ベクトルをＡＡＮＮを利用して変換した後、これを音声認識器に入力される特徴ベクトルとして使用する。ＡＡＮＮを利用した特徴ベクトルの変換方法は図４を参照して後述する。
【００２８】
また、選択的にＡＡＮＮを利用して変換された特徴ベクトルからデルタ特徴を抽出するか、または加速特徴を抽出して使用してもよい。
【００２９】
図４は、本発明の他の実施形態によるＡＡＮＮを利用した音声特徴ベクトル変換方法を説明するフローチャートである。
【００３０】
音声信号は、アンチエイリアシングフィルターを経た後、Ａ／Ｄ変換を経たデジタル信号に変換されて、デジタル音声信号は高帯域通過特性を持つデジタルプリ・エンファシスフィルターを経るなどの前処理過程を伴う。
【００３１】
ステップ４００で、音声信号を特定サイズのフレームに分ける。ここで、プリ・エンファシスされた信号にハミングウィンドウをかぶせてブロック単位のフレームに分ける。該当ウィンドウは、音声信号をフレーム単位で切り出した時に現れうる不連続性を補完する。ここでフレームのサイズは普通２０〜３０ｍｓであり、望ましくは３０ｍｓフレームに分ける。
【００３２】
ステップ４０２で、１フレームの音声信号を、高速フーリエ変換を利用して周波数領域に変換してスペクトル・サイズ情報を得る。
【００３３】
ステップ４０４で、聴覚モデルを摸倣したメル−周波数フィルターバンク２３０を通過して、バンド別特徴ベクトルを得る。ここで、フィルターバンクの形態及び中心周波数の設定方法は、耳の聴覚的特性、すなわち、蝸牛殻での周波数特性を考慮して決定する。ステップ４０６でバンド別特徴ベクトルをログ関数を利用して圧縮する。
【００３４】
ステップ４０８で、バンド別特徴ベクトルの相関性を低減するためのＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）変換過程を行う。
【００３５】
次いで、ステップ４１０で、各バンド別に平均−分散変換を通じてノイズ及びチャンネル変化に強いＭＦＣＣ特徴ベクトルを生成する。望ましくは、ＭＦＣＣ特徴ベクトルの係数はｃ１〜ｃ１２までの１２個を使用し、これとは別途に求めたフレームログエネルギーが追加で使われて、音声認識の入力として使われる特徴ベクトルは１３次ベクトルを使用する。
【００３６】
ステップ４１２で、前述したステップ４００ないし４１０を通じて生成されたＭＦＣＣ特徴ベクトルにＡＡＮＮを適用して、さらに強くて、隣接した時間−フレームベクトル情報を内在している特徴ベクトルを出力する。
【００３７】
以下、ＡＡＮＮについて詳細に説明する。
【００３８】
ＡＡＮＮは、入力変数の間に存在する相関関係を除去することによって、高次の多変数データを情報の損失を最小化しつつ最小次元のデータに変換する技法である。これは、重畳されたイメージ歪曲、非線型データ次元の縮少に使用されており、既存の線形変換のＰＣＡとは異なって、非線型隠匿ニューロン層を利用することによって、非線形跡のデータ縮少に効果的である。
【００３９】
このようなＡＡＮＮは５個の層構造で形成される。すなわち、入力層、マッピング層、隠匿層、デマッピング層、出力層で構成される。入力層はＭ次元のデータを入力として受け、入力されたデータは相互連関性を持つ。マッピング層は、Ｍ次元の入力データをそれよりは少ないＦ次元の特徴データに縮約する機能を行うＬ次元のニューロンで構成され、その入出力特性は次の式（１）の通りである。
【００４０】
Ｆ＝Ｇ（Ｘ）        （１）
ここで、Ｇは、マッピング層のＬ次元のニューロン活性関数を要素として持つベクトルであり、Ｘは、１×Ｍ次元の測定変数を意味し、Ｆは１×Ｆ次元の縮約されたデータを意味する。このような特性を通じてＭ次元の入力データからＦ次元のデータへの圧縮が可能であり、隠匿層の出力を通じて圧縮されたデータを得ることができる。
【００４１】
デマッピング層は、縮約された１×Ｆ次元のデータを元来の次元１×Ｍに復旧する機能を行うＬ個のニューロンで構成され、その特性は次の式（２）の通りである。
【００４２】
Ｙ＝Ｈ（Ｆ）        （２）
ここで、Ｈは、デマッピング層のＬ次元のニューロン活性関数を要素として持つベクトルであり、Ｙは、ＡＡＮＮの入力として使われたものと同じ１×Ｍ次元出力データである。前述した式（１）及び（２）のニューロン活性関数Ｇ、Ｈには、学習時に調整されるべき結合強度が含まれ、これらは一般的な指図学習（ｓｕｐｅｒｖｉｓｅｄ  ｌｅｒａｎｉｎｇ）方法により次の式（３）の残差が最小になるように学習する。
【００４３】
Ｒ＝Ｘ−Ｙ        （３）
前述したＡＡＮＮを利用した音声特徴ベクトル変換方法を要約すれば、ＭＦＣＣ特徴ベクトル抽出過程、ステップ４００ないしステップ４１２を経た後に、ステップ４１２のＡＡＮＮ変換を行った後特徴ベクトルを生成することである。
【００４４】
また、選択的にステップ４１２を行った後、変換された特徴ベクトルからデルタ特徴または加速特徴を抽出して、最終的に認識器に入る特徴ベクトルを生成してもよい。
【００４５】
図５は、本発明のさらに他の実施形態によるＡＡＮＮを利用してＭＦＣＣの特徴ベクトルを変換する構成を説明する図である。図５を参照するに、ＭＦＣＣ特徴ベクトル５００、ＡＡＮＮ  ５１０及び５２０、ＡＡＮＮ特徴ベクトル５３０が図示されている。
【００４６】
ＭＦＣＣ特徴ベクトル５００で横は時間フレーム軸であり、縦はそれぞれのフレームのベクトル次数である。ここで、それぞれ周波数バンド別に該当フレームの隣接したフレーム値をＡＡＮＮ  ５１０及び５２０の入力値として使用する。また、ＡＡＮＮの出力として同じ値を与えて学習させる。
【００４７】
一般的にＡＡＮＮは３個の隠匿ニューロン層を持つが、中間隠匿ニューロン層には入力ニューロンの数より小さな隠匿ニューロンがある構造になって、入力ベクトルの次元が縮少される。
【００４８】
図５には、中間隠匿ニューロン層には１個の隠匿ニューロンがある場合である。すなわち、ＭＦＣＣ特徴ベクトル５００の隣接したフレーム５個を、ＡＡＮＮ  ５１０及び５２０にそれぞれバンド別に入力する。それにより、バンド別ＡＡＮＮは５−５−１−５−５の構造を持つようになる。バンド別ＡＡＮＮの中間隠匿ニューロン層の結果値を抽出して、該当フレームのＡＡＮＮ変換された特徴ベクトル５３０としてそれぞれ利用する。
【００４９】
図６は、本発明のさらに他の実施形態による多重隠匿ニューロンを持つＡＡＮＮを利用して特徴ベクトルを変換する構成を説明する図である。図６を参照するに、ＭＦＣＣ特徴ベクトル６００、ＡＡＮＮ  ６１０及び６２０、後処理部６３０及び６４０及びＡＡＮＮ特徴ベクトル６５０が図示されている。
【００５０】
図５のＡＡＮＮ  ５１０及び５２０とは異なって、多重隠匿ニューロンを持つＡＡＮＮ  ６１０及び６２０を利用することである。すなわち、ＭＦＣＣフレーム別入力特徴ベクトル６００は、中間隠匿ニューロン層のニューロンが１個ではなく３個である構造のＡＡＮＮ  ６１０及び６２０を通過した場合である。入力ニューロンの値はＡＡＮＮ学習を通じて３個の隠匿ニューロンの出力値に変換される。
【００５１】
後処理部６３０及び６４０は、抽出した３個の隠匿ニューロン層の出力値をこのような値の平均値や最大値に変換する。後処理部６３０及び６４０から出力された値をＡＡＮＮ特徴ベクトル６５０として使用する。
【００５２】
図６のＡＡＮＮ  ６１０及び６２０の構造は、図５と同じくＭＦＣＣ特徴ベクトル６００の隣接したフレーム５個を考慮すれば、バンド別ＡＡＮＮは５−５−３−５−５の構造を持つようになる。
【００５３】
図７は、本発明のさらに他の実施形態による特徴ベクトルを多重フレーム別にＡＡＮＮ変換する構成を説明する図である。図７を参照するに、ＭＦＣＣ特徴ベクトル７００、ＡＡＮＮ  ７１０及びＡＡＮＮ特徴ベクトル７２０が図示されている。
【００５４】
図５及び６は、バンド別ＭＦＣＣ特徴ベクトルをＡＡＮＮ  ７１０の入力値として使用したが、図７に図示された実施形態は、多重フレーム別にＡＡＮＮを適用して変換したことを表したものである。
【００５５】
図７は、バンド別にＡＡＮＮを適用せず、隣接フレームのＭＦＣＣベクトル７００をいずれもＡＡＮＮ  ７１０の入力ニューロンとして使用する。この時、ＡＡＮＮの構造は、５個フレームを使用した場合に６５−６５−１３−６５−６５のニューロン数を持つようになる。すなわち、中間隠匿層のニューロン数は１３個である。
【００５６】
ここで、１３個の中間隠匿ニューロン層の出力値をそのままＡＡＮＮ特徴ベクトル７２０として使用する。
【００５７】
図８は、本発明のさらに他の実施形態によるＡＡＮＮのパラメータを学習させる構成を説明する図である。図８を参照するに、音声認識訓練過程でＡＡＮＮの学習が行われる。
【００５８】
まず、学習用音声信号が入れば、ＭＦＣＣ特徴抽出部８００はＭＦＣＣ特徴ベクトルを抽出し、ＡＡＮＮのパラメータの学習８１０が行われる。ここで、パラメータの学習は、誤差逆伝播（ｅｒｒｏｒ  ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）方法、または弾力逆伝播（ｒｅｓｉｌｉｅｎｔ  ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）などを使用できる。
【００５９】
誤差逆伝播方法は複数層であり、ｆｅｅｄｆｏｒｗａｒｄ神経網で使われる学習アルゴリズムであり、学習の方法は指図学習である。すなわち、学習をするためには入力データと所望の出力データとがなければならない。
【００６０】
簡単に学習の概念を説明すれば、入力が神経網の加重値（ｗｅｉｇｈｔｓ）と乗算して加算する過程を複数回反復すれば、入力の結果値である出力が出る。この時、出力は学習データで与えられた所望の出力と異なる。結局、神経網では誤差が発生し、誤差に比例して出力層の加重値を更新し、次いで隠匿層の加重値を更新する。加重値を更新する方向が神経網の処理方向とは逆方向である。こういう理由で逆伝播アルゴリズムという。換言すれば、神経網の処理は入力層、隠匿層、出力層の方向に進み、加重値更新の学習方向は出力層、隠匿層に進む。
【００６１】
弾力逆伝播方法は、ＡＡＮＮのようなエンコーダ−デコーダ問題を解決するのに有効であり、収束性及び学習速度が速い。
【００６２】
弾力逆伝播方法の学習式は次の式（４）の通りである。
【００６３】
【数１】
0005554893.tif 000002
ここで、誤差関数を出力層ニューロンの平均自乗誤差として定義し、加重値学習アルゴリズムを定義する。
【００６４】
加重値更新は次の式（５）及び（６）のように行われる。
【００６５】
【数２】
0005554893.tif 000003
ここで、加重値更新が、誤差に対する加重値の偏微分値と学習率とがいずれも乗算されて行われる形態のエラー逆伝播方法とは異なって、弾力逆伝播方法は、現在の偏微分値と以前に反復した偏微分値とにより考慮された一定の値で更新される。
【００６６】
そして、式（６）で０＜η−＜１＜η＋を満たす。
【００６７】
図９は、本発明のさらに他の実施形態による音響モデルのパラメータを学習させる構成を説明する図である。図９を参照するに、音声認識訓練過程で音響モデル学習過程を示すブロック図である。学習用音声信号が入ればＭＦＣＣ特徴抽出が先ず行われ、学習完了したＡＡＮＮパラメータを利用してＡＡＮＮ変換９１０を行い、デルタ特徴ベクトルを増強して９２０新たなＡＡＮＮ特徴ベクトルを生成する。このように生成されたＡＡＮＮ特徴ベクトルを利用してＨＭＭのような既存の音声認識に主に使われる音響モデルのパラメータを学習する。
【００６８】
ここで、音響モデルは音声信号をいかなる形態に表現できるかに関する情報を保存している。このような情報の基本単位は音素または類似音素単位である。例えば、ＨＭＭ（ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌ）は、音声認識のために最も広く使われるモデルであり、音声信号はマルコフモデルによって発生したと仮定し、学習ステップでモデルのパラメータを推定した後、認識器では推定されたパラメータを利用して未知の入力音声に最も適したモデルを捜し出すことである。
【００６９】
図１０は、本発明のさらに他の実施形態による音声認識装置の概略的な構成を示すブロック図である。図１０を参照するに、音声認識装置は特徴抽出部１０００、ＡＡＮＮ変換部１０１０、デルタ特徴抽出部１０２０、整合部１０３０及び音響モデル１０４０を備える。
【００７０】
要約すれば、図８を通じて学習が完了したＡＡＮＮパラメータを持つＡＡＮＮ変換部１０１０と、図９を通じて学習が完了したパラメータを持つ音響モデル１０４０とを利用して、新たな音声信号が入った時に認識結果が出力する構成である。
【００７１】
ここで、整合部１０３０は、変換されたＡＡＮＮ特徴ベクトルから抽出されたデルタ特徴ベクトルと音響モデル１０４０とをマッチングさせて音声認識の結果を出力する。
【００７２】
図１１は、本発明のさらに他の実施形態によるＡＡＮＮ変換の適用によるケプストラム軌跡の変化を例示的に示す図である。
【００７３】
具体的に、学習されたバンド別ＡＡＮＮを適用する前と適用した後のケプストラム軌跡を時間フレームによって図示したものである。
【００７４】
まず、ＡＡＮＮ適用前のケプストラム軌跡はノイズが激しくなるにつれて、すなわち、ノイズのないきれいな信号からＳＮＲ  １０ｄＢノイズ信号、ＳＮＲ  ０ｄＢノイズ信号のケプストラム軌跡の変動性が変わって、結局には認識性能にもよくない影響を及ぼすようになる。
【００７５】
一方、本発明の望ましい実施形態によるＡＡＮＮ適用後のケプストラム軌跡は、きれいな音声特徴ベクトルとノイズが付加された特性ベクトルとの差が比較的少ないことが分かる。
【００７６】
図１２及び図１３は、本発明のさらに他の実施形態による信号対ノイズ比（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ：ＳＮＲ）の変化による認識率とノイズ種類による認識率とを比較して例示的に示す図である。
【００７７】
図１２は、特徴ベクトルの変換が実際認識率におよぶ影響を説明するための実施形態である。具体的に、ＳＮＲを−５ｄＢから２０ｄＢまで変動させつつ得た認識率を示したものであり、実験に使われたＤＢは、ノイズ認識環境のベンチマークとして多く使われるＡｕｒｏｒａ２  Ｐｒｏｊｅｃｔ  Ｄａｔａｂａｓｅである。
【００７８】
Ａｕｒｏｒａ２  ＤＢは、連結単語、英語、数字、音声を多様な種類のノイズ環境（ｓｕｂｗａｙ、ｂａｂｂｌｅ、ｃａｒ、ｅｘｈｉｂｉｔｉｏｎ、ｒｅｓｔａｕｒａｎｔ、ｓｔｒｅｅｔ、ａｉｒｐｏｒｔ、ｔｒａｉｎ−ｓｔａｔｉｏｎ）と−５ｄＢから２０ｄＢまで多様な大きさを持つノイズとを混合し作ったＤＢであり、使われた認識器は、認識語彙当り１６個の状態を持つ単語−基盤ＨＭＭモデルを使用する。
【００７９】
図１２を参照するに、本発明の望ましい実施形態によるＡＡＮＮを適用した特徴ベクトルを使用した認識結果は、ノイズの激しい環境での認識性能が既存のＭＶＮ方式に比べて最大２０％以上上昇することが分かる。
【００８０】
図１３は、多様な種類のノイズに対する認識実験結果である。本発明の望ましい実施形態によるＡＡＮＮを適用した後に一貫的に認識率が上昇することが分かり、入力ニューロンの数が増えた７−７−１−７−７構造のＡＡＮＮは、３−３−１−３−３構造のＡＡＮＮより各ノイズに対する変動性が増加することが分かる。
【００８１】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。
【００８２】
以上、本発明の望ましい実施形態に基づいて説明されたが、当業者ならば本発明が属する技術分野の技術的思想や必須特徴を変更せずに他の具体的な形態で実施できるということが理解できるであろう。したがって、以上で記述した実施形態はあらゆる面で例示的なものであり、限定的なものでないものとして理解されねばならない。本発明の範囲は、前記詳細な説明よりは特許請求の範囲によって限定され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出されるあらゆる変更または変形された形態が本発明の範囲に含まれていると解釈されねばならない。
【産業上の利用可能性】
【００８３】
本発明は、個人用携帯端末から情報家電、コンピュータ、大容量テレフォニーサーバなどに好適に用いられる。
【図面の簡単な説明】
【００８４】
【図１】従来技術による時間的なパターンアルゴリズムを利用した特徴ベクトル変換の概略的なブロック図である。
【図２】従来技術による自動音声属性転写アルゴリズムを利用した特徴ベクトル変換の概略的なブロック図である。
【図３】本発明の一実施形態によるＡＡＮＮを利用した音声特徴ベクトル変換装置の概略的なブロック図である。
【図４】本発明の他の実施形態によるＡＡＮＮを利用した音声特徴ベクトル変換方法を説明するフローチャートである。
【図５】本発明のさらに他の実施形態によるＡＡＮＮを利用してメル−周波数ケプストラム（ＭＦＣＣ）特徴ベクトルを変換する構成を説明する図である。
【図６】本発明のさらに他の実施形態による多重隠匿ニューロンを持つＡＡＮＮを利用して特徴ベクトルを変換する構成を説明する図である。
【図７】本発明のさらに他の実施形態による特徴ベクトルを多重フレーム別にＡＡＮＮ変換する構成を説明する図である。
【図８】本発明のさらに他の実施形態によるＡＡＮＮのパラメータを学習させる構成を説明する図である。
【図９】本発明のさらに他の実施形態による音響モデルのパラメータを学習させる構成を説明する図である。
【図１０】本発明のさらに他の実施形態による音声認識装置の概略的な構成を示すブロック図である。
【図１１】本発明のさらに他の実施形態によるＡＡＮＮ変換の適用によるケプストラム軌跡の変化を例示的に示す図である。
【図１２】本発明のさらに他の実施形態による信号対ノイズ比（ＳＮＲ）の変化による認識率を比較して例示的に示す図である。
【図１３】本発明のさらに他の実施形態によるノイズ種類による認識率を比較して例示的に示す図である。
【符号の説明】
【００８５】
３００、８００、９００、１０００  特徴抽出部
３１０  特徴変換部
５００、６００、７００  ＭＦＣＣ特徴ベクトル
５１０、５２０、６１０、６２０、７１０  自動連想神経網（ＡＡＮＮ）
５３０、６５０、７２０  ＡＡＮＮ特徴ベクトル
６３０、６４０  後処理部
８１０  ＡＡＮＮパラメータ学習
９１０、１０１０  ＡＡＮＮ変換部
９２０  デルタ特徴抽出部
１０２０  デルタ特徴抽出部
１０３０  整合部
１０４０  音響モデル
【図１】
0005554893.tif 000004
【図２】
0005554893.tif 000005
【図３】
0005554893.tif 000006
【図４】
0005554893.tif 000007
【図５】
0005554893.tif 000008
【図６】
0005554893.tif 000009
【図７】
0005554893.tif 000010
【図８】
0005554893.tif 000011
【図９】
0005554893.tif 000012
【図１０】
0005554893.tif 000013
【図１１】
0005554893.tif 000014
【図１２】
0005554893.tif 000015
【図１３】
0005554893.tif 000016