(57)【要約】【課題】従来に比して音声認識精度が一段と向上し得る音声処理装置及び音声認識装置を提供することを目的とする。【解決手段】音声認識装置１では、瞬時位相特徴量たる０次予測残差Φｂ（ｎ）と、包絡線特徴量たる対数包絡線ｍｂ（ｎ）とを音声信号から算出し、これら瞬時位相特徴量及び包絡線特徴量を、学習済みのサブバンドニューラルネットワーク32a〜32n及び統合ニューラルネットワーク31を用いて識別的に分析し、その分析結果を特徴変換部52により別空間に写像することで音声特徴量を得るようにした。このようにして生成した音声特徴量を用いれば、従来に比して音声認識精度が一段と向上し得る。【選択図】図１
2008216488.tif 000002
【特許請求の範囲】
【請求項１】
ＦIＲフィルタ(Finite Impulse Response Filter)により所定数の周波数帯域に音声信号を分割することにより得た各分割帯域信号から、瞬時位相特徴量を抽出する瞬時位相特徴抽出部と、
各前記分割帯域信号から包絡線特徴量を抽出する包絡線特徴抽出部と、
各前記瞬時位相特徴量及び各前記包絡線特徴量を所定時間ずつ切り出して多層パーセプトロン型ニューラルネットワークによって解析することにより音声特徴量を生成する識別分析部と
を備えることを特徴とする音声処理装置。
【請求項２】
各前記分割帯域信号をヒルベルト変換することにより虚部解析信号を生成するヒルベルト変換フィルタと、
各前記分割帯域信号と、該分割帯域信号に対応した前記虚部解析信号とを加算して前記瞬時位相特徴抽出部及び前記包絡線特徴抽出部に供給する加算回路と
を備えることを特徴とする請求項１記載の音声処理装置。
【請求項３】
前記識別分析部の前記多層パーセプトロン型ニューラルネットワークは、各前記分割帯域信号毎に独立した音素推定を行う多層パーセプトロン型サブバンドニューラルネットワークと、各前記分割帯域信号毎の前記音素推定の結果を取りまとめて前記音声特徴量を生成する多層パーセプトロン型統合ニューラルネットワークとからなる
ことを特徴とする請求項１又は２記載の音声処理装置。
【請求項４】
請求項１〜３のうちいずれかに記載の音声処理装置により得られた前記音声特徴量の結果を用いて音声認識を行う
ことを特徴とする音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声処理装置及び音声認識装置に関し、例えばユーザ自身の音声で各種操作を行うナビゲーションシステムや電話自動応答システム等の各種システムに用いられる音声認識装置に適用して好適なものである。
【背景技術】
【０００２】
近年、ヒューマンインタフェースとしては音声対話が適切なアプリケーションが数多く存在するが、話し言葉音声認識の精度はディクテーション音声認識の精度と比べて大きく劣るため、対話アプリケーションの普及は未だ難しい課題となっている。
【０００３】
話し言葉音声認識タスクにおける昨今の大きな進歩としては、日本語の自発音声を大量に集めて多くの研究用情報を付加した話し言葉研究用のデータベース（すなわち「日本語話し言葉コーパス」（ＣＳＪ））が完成したことが挙げられる。これによって、話し言葉音声認識のために充分な量の学習データが入手し得るようになった。しかしながら、現状の音響モデルの枠組みに対し、学習データ量を増やすというアプローチでは、今後画期的な改善が望めない。
【０００４】
従って、異なったアプローチから音響モデルを構築する必要がある。例えばこのような音声認識装置としては、特徴量抽出に長時間の分析窓を利用したマルチバンド音声認識装置が考えられている。
【０００５】
実際上、このようなマルチバンド音声認識装置としては、いわゆるＴＲＡＰｓ（Temporal Patterns）特徴量を用いて音声認識処理が行われるものが知られている（例えば、非特許文献１参照）。ここでＴＲＡＰｓ特徴量は、単一の臨界帯域信号の時間包絡線を５００ｍｓ程度切り出したもので、多層パーセプトロン（ＭＬＰ（Multi-Layered Perceptron））を用いた識別回路と組み合わせることで、スペクトル包絡に依らない音声認識を実現できるようになされている。
【０００６】
近年、このようなＴＲＡＰｓ特徴量を用いた音声認識装置の中では、ＴＲＡＰｓ特徴量を帯域毎に別々に識別し、その結果をマージすることで音素（言語学的な音声の最小単位）毎のスコアを得て、当該スコアを別の空間に写像したものを特徴量としたＨＭＭ（Hidden Markov Model）を用いて音声認識を行う方法（ＨＡＴｓ（Hidden-Activation-TRAPs）―ｔａｎｄｅｍ）が、最も音声認識精度が高いものとして知られている（例えば、非特許文献２参照）。
【０００７】
そして、このような音声認識装置は、ＰＬＰ(Perceptual Linear Prediction)ベースのシステムと組み合わせることで、既存の音声認識装置を上回る音声認識精度が得られることが知られている（例えば、非特許文献３参照）。
【０００８】
一方、瞬時周波数を用いた音声認識装置としては、ＡＩＦ(Average Instantaneous Frequency)があり、雑音重畳環境下での音声認識精度向上に有効であることが報告されている（例えば、非特許文献４参照）。
【非特許文献１】H. Hermensky, S. Sharma “TRAPs - Classifiers of temporal patterns,” Proc. ICSLP ’98, Sydney, Australia, November 1998
【非特許文献２】B. Chen et. al. “Learning long term temporal features in LVCSR using neural networks,”Proc. ICSLP ’2004, pp 612-615
【非特許文献３】B. Chen et. al. “Learning long term temporal features in LVCSR using neural networks,”Proc. ICSLP ’2004, pp 612-615
【非特許文献４】Y. Wang et. al. “Average Instantaneous Frequency(AIF) and Average Log-Envelopes(ALE) for ASR with the Aurora 2 Database”Proc. of the Eurospeech, 2003
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、瞬時周波数を用いた音声認識装置では、雑音重畳環境下での音声認識精度向上に有効であることが報告されているものの、雑音のない環境下での精度が劣ることになる。
【００１０】
また、上述した従来における他の音声認識装置では、未だ自然な対話の音声を認識することが難しく、よりストレスの少ない音声認識装置を実現するにあたり、自然発話の音声認識の精度を向上させることが望まれている。
【００１１】
本発明は以上の点を考慮してなされたもので、従来に比して音声認識精度が一段と向上し得る音声処理装置及び音声認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の請求項１記載の音声処理装置は、ＦIＲフィルタ(Finite Impulse Response Filter)により所定数の周波数帯域に音声信号を分割することにより得た各分割帯域信号から、瞬時位相特徴量を抽出する瞬時位相特徴抽出部と、各前記分割帯域信号から包絡線特徴量を抽出する包絡線特徴抽出部と、各前記瞬時位相特徴量及び各前記包絡線特徴量を所定時間ずつ切り出して多層パーセプトロン型ニューラルネットワークによって解析することにより音声特徴量を生成する識別分析部とを備えることを特徴とするものである。
【００１３】
本発明の請求項２記載の音声処理装置は、各前記分割帯域信号をヒルベルト変換することにより虚部解析信号を生成するヒルベルト変換フィルタと、各前記分割帯域信号と、該分割帯域信号に対応した前記虚部解析信号とを加算して前記瞬時位相特徴抽出部及び前記包絡線特徴抽出部に供給する加算回路とを備えることを特徴とするものである。
【００１４】
本発明の請求項３記載の音声処理装置は、前記識別分析部の前記多層パーセプトロン型ニューラルネットワークは、各前記分割帯域信号毎に独立した音素推定を行う多層パーセプトロン型サブバンドニューラルネットワークと、各前記分割帯域信号毎の前記音素推定の結果を取りまとめて前記音声特徴量を生成する多層パーセプトロン型統合ニューラルネットワークとからなることを特徴とするものである。
【００１５】
本発明の請求項４記載の音声認識装置は、請求項１〜３のうちいずれかに記載の音声処理装置により得られた前記音声特徴量の結果を用いて音声認識を行うことを特徴とするものである。
【発明の効果】
【００１６】
本発明の請求項１記載の音声処理装置及び請求項４記載の音声認識装置によれば、従来に比して音声認識精度が一段と向上し得る。
【発明を実施するための最良の形態】
【００１７】
以下図面に基づいて本発明の実施の形態を詳述する。
【００１８】
図１において、１は全体として本発明による音声認識装置を示し、この音声認識装置１は、マイクロフォン２により音声を集音して得られた音声信号をハードディスク等に録音する録音装置３と、当該音声信号に瞬間位相特徴抽出処理や包絡線特徴抽出処理等の各種処理を施す音声処理部４と、当該音声処理部４において生成した音声特徴量を用いて音声認識を行う音声認識部５とから構成されている。
【００１９】
録音装置３から供給された音声信号は、フィルタバンク６内に設けられた複数のＦIＲ(Finite Impulse Response Filter)フィルタ（ＢＰＦ（Band Pass Filter））7a〜7nにそれぞれ送出され、例えば臨界周波数の特性をシミュレートした１６０次のＦIＲフィルタ7a〜7nを用いて特定の周波数帯域に分割され得る。
【００２０】
なお、ここでは１６０次のＦＩＲフィルタ7a〜7nを用いるようにしたが、本発明はこれに限らず、１６０次よりも低次や高次のＦＩＲフィルタ等の各種ＦＩＲフィルタを用いるようにしても良い。
【００２１】
ここで図２はフィルタバンク６のフィルタ形状の一例を示すもので、フィルタバンク６は、図２に示すように音声信号を複数通りの異なる周波数帯域に分割し得るようになされている。図１に示したように、各ＦIＲフィルタ7a〜7nは、分割した周波数帯域を分割帯域信号として解析部10内のヒルベルト変換フィルタ11a〜11nと加算回路12とにそれぞれ供給する。
【００２２】
ここで説明の便宜上、解析部10内の１つのヒルベルト変換フィルタ11bについて着目して以下説明する。図３に示すように、ヒルベルト変換フィルタ11bは、分割帯域信号のうち、対応するＦIＲフィルタ7bから供給された第ｂの分割帯域信号ｘｂ（ｎ）にヒルベルト変換処理を施すことにより、分割帯域信号ｘｂ（ｎ）の周波数成分を９０度ずらした虚部解析信号ｘｂ´（ｎ）を生成し、この虚部解析信号ｘｂ´（ｎ）を加算回路12に供給する。
【００２３】
加算回路12は、下記の数１示すように、分割帯域信号ｘｂ（ｎ）（すなわち実部解析成分）と虚部解析信号ｘｂ´（ｎ）とを加算し、これにより得られた分割帯域信号ｘｂ＋（ｎ）を瞬時位相特徴抽出部15及び包絡線特徴抽出部16に供給する。
【００２４】
【数１】
2008216488.tif 000003
瞬時位相特徴抽出部15は、加算回路12からの分割帯域信号ｘｂ＋（ｎ）が偏角演算回路17に供給され、当該偏角演算回路17によって、下記の数２に基づいて信号ｘｂ＋（ｎ）を偏角演算処理することにより瞬時位相φｂ（ｎ）を得、これを位相伸長回路18に供給する。
【００２５】
【数２】
2008216488.tif 000004
ここで図４に示すように、偏角演算回路17では、偏角演算処理することによって、位相の絶対量が-π〜+πの範囲に折り畳まれた瞬時位相φｂ（ｎ）を得る。
【００２６】
位相伸長回路18は、絶対量が-π〜+πの範囲に折り畳まれている瞬時位相φｂ（ｎ）を元に戻す処理（unwrap処理）を施し、これにより得られた図４に示すような瞬時位相φｂ´（ｎ）（位相伸長回路18の枠内に図示）を線形位相生成回路19と減算回路20とに供給する（図３）。
【００２７】
線形位相生成回路19は、下記の数３に基づいて演算処理を行うことにより図４のような線形位相Ａｂ（ｎ）（線形位相生成回路19の枠内に図示）を得、これを減算回路20に供給する。
【００２８】
【数３】
2008216488.tif 000005
減算回路20は、下記の数４に示すように、瞬時位相φｂ´（ｎ）から線形位相Ａｂ（ｎ）を減算することにより図４に示すような０次予測残差Φｂ（ｎ）（バッファ21aの枠内に図示）を算出し、これをバッファ21aに供給する。
【００２９】
【数４】
2008216488.tif 000006
一方、これと同時に包絡線特徴抽出部16は、図３に示すように、加算回路12からの分割帯域信号ｘｂ＋（ｎ）が絶対値演算回路25に供給され、当該絶対値演算回路25によって分割帯域信号ｘｂ＋（ｎ）の絶対値｜ｘｂ＋（ｎ）｜を算出し、これを対数演算回路26に供給する。
【００３０】
対数演算回路26は、絶対値｜ｘｂ＋（ｎ）｜に対数演算処理を施すことにより、下記の数５に示す対数包絡線ｍｂ（ｎ）を算出し、これをバッファ21bに供給する。
【００３１】
【数５】
2008216488.tif 000007
このようにして解析部10では、図５（Ａ）に示すように、各周波数帯域毎に瞬時位相特徴量として０次予測残差Φｂ（ｎ）を算出すると共に、図５（Ｂ）に示すように、各周波数大域毎に包絡線特徴量として対数包絡線ｍｂ（ｎ）を算出し、これらを各バッファ21a，21bに供給し得るようになされている。
【００３２】
バッファ21aは、各分割帯域信号に対応して算出した瞬時位相特徴量を１フレームとして記憶し、図６に示すように、当該１フレームＦを所定長さに切り出して所定数の切り出し区間Ｃ１〜Ｃ５を得、これら切り出し区間Ｃ１〜Ｃ５を入力ベクトルとして識別分析部27にそれぞれ供給し得るようになされている。
【００３３】
ここで各切り出し区間Ｃ１〜Ｃ５の切り出し長は、所定時間として長時間である約２５０ｍｓ〜１０００ｍｓ間に選定されており、特に５００ｍｓ程度が好ましい。すなわち、切り出し区間Ｃ１〜Ｃ５は、例えば１０ｍｓのような短時間ではなく、瞬時位相特徴量を長時間切り出し得るようになされている。なお、フレームＦのシフト幅は約１０ｍｓに選定されている。
【００３４】
因みに、この実施の形態の場合では、１フレームＦを５つの切り出し区間Ｃ１〜Ｃ５に切り出す例を示しているが、この例に限らずフレームＦを種々の個数に切り出すようにしても良い。ここで図７（Ａ）は瞬時位相特徴量を切り出した入力ベクトルであり、例えば第５帯域における瞬時位相特徴量の入力ベクトルの例を示すものである。
【００３５】
また、バッファ21bは、各分割帯域信号に対応して算出した包絡線特徴量も１フレームとして記憶し、当該１フレームを上述と同様に所定長さに切り出して所定数の切り出し区間を得、これら切り出し区間を入力ベクトルとして識別分析部27にそれぞれ供給し得るようになされている。ここで図７（Ｂ）は包絡線特徴量を切り出した入力ベクトルであり、同じく第５帯域における包絡線特徴量の入力ベクトルの例を示すものである。
【００３６】
識別分析部27は、図１に示したように、サブニューラルネットワーク群30と、統合ニューラルネットワーク31とから構成され、サブニューラルネットワーク群30及び統合ニューラルネットワーク31により２段階の学習を行うようになされている。
【００３７】
サブニューラルネットワーク群30は、いわゆる多層パーセプトロン（ＭＬＰ）からなるサブバンドニューラルネットワーク32a〜32nがＦIＲフィルタ7a〜7nに対応させて複数設けられている。
【００３８】
ここで１段階目のサブバンドニューラルネットワーク32a〜32nは、全て同一構成からなり、入力ベクトルに対する処理内容が同じであることから、以下サブバンドニューラルネットワーク32bに着目して説明する。
【００３９】
図８に示すように、この多層パーセプトロン型サブバンドニューラルネットワークとしてのサブバンドニューラルネットワーク32bは、各入力ベクトルを個別に受ける複数の入力ユニット35からなる入力層36と、当該入力ユニット35からの出力ベクトルを受けて所定の処理を行う複数の中間ユニット37からなる隠れ層38と、当該中間ユニット37からの出力ベクトルを受けて所定の処理を行い最終的な出力ベクトルを生成する複数の出力ユニット39からなる出力層40とで構成されている。
【００４０】
サブバンドニューラルネットワーク32bは、入力層36と隠れ層38と出力層40との間の結合の重み（結合係数）が予め学習によって定義されている。ここで識別分析部27の事前学習について以下、簡単に説明する。
【００４１】
サブバンドニューラルネットワーク32bは、事前学習モード時、学習用瞬時位相特徴量及び学習用包絡線特徴量を所定長さに切り出した切り出し区間からなる学習信号が、データベース42からバッファ21a，21bを介して入力層36に入力され、当該学習信号と一致した教師信号がデータベース42から出力層40に入力される。
【００４２】
因みに、学習用瞬時位相特徴量及び学習用包絡線特徴量は、上述した瞬時位相特徴量及び包絡線特徴量と同様に各周波数帯域毎に分割された１フレームからなり、当該１フレームを所定長さに切り出して所定数（５つ）の切り出し区間を得、これら切り出し区間を入力ベクトルとしてサブバンドニューラルネットワーク32bの各入力ユニット35にそれぞれ供給され得る。
【００４３】
これによりサブバンドニューラルネットワーク32bは、学習用瞬時位相特徴量及び学習用包絡線特徴量に対応する正解を出力層40で得るため、これら学習用瞬時位相特徴量及び学習用包絡線特徴量を与えたときの最終的な出力ベクトルが教師信号と一致するように、各結合係数を変化させる学習処理がなされる。なお、教師信号の正解音素に相当するユニットでは「１．０」となるように設定し、それ以外のユニットでは「０」となるように設定されている。
【００４４】
因みに、この実施の形態の場合、学習処理としては、出力層40における最終的な出力ベクトルと教師信号との誤差を求め、出力層40から隠れ層38を介して入力層36へ逆方向に誤差を伝播させ、この誤差に応じた量だけ結合係数を調整し、再度、学習用瞬時位相特徴量及び学習用包絡線特徴量の切り出し区間を入力層36に入力して最終的な出力ベクトルと教師信号の誤差を求めるといういわゆる逆誤差伝播法で行なわれている。
【００４５】
このようにして各サブバンドニューラルネットワーク32a〜32nでは、ＦIＲフィルタ7a〜7nにより分割した各周波数帯域毎にそれぞれ定義され、各周波数帯域毎に独立して音素推定を行うようになされている。
【００４６】
かかる構成に加えて識別分析部27には、これら各サブバンドニューラルネットワーク32a〜32nに統合ニューラルネットワーク31が接続されており、当該統合ニューラルネットワーク31がサブバンドニューラルネットワーク32a〜32n毎に得られた各周波数帯域毎の音素推定結果を取りまとめるようになされている。
【００４７】
２段階目の統合ニューラルネットワーク31は、サブバンドニューラルネットワーク32a〜32nと同様に多層パーセプトロン（ＭＬＰ）からなり、入力層45と隠れ層46と出力層47との間の結合の重み（結合係数）が、上述した逆誤差伝播法により予め学習によって定義されている。
【００４８】
実際上、この多層パーセプトロン型統合ニューラルネットワークとしての統合ニューラルネットワーク31は、各サブバンドニューラルネットワーク32a〜32nの隠れ層38からの出力ベクトルを入力ベクトルとして個別に受ける複数の入力ユニット48からなる入力層45と、当該入力ユニット48から出力ベクトルを受けて所定の処理を行う複数の中間ユニット49からなる隠れ層46と、当該中間ユニット46からの出力ベクトルを受けて所定の処理を行い最終的な出力ベクトルを生成する複数の出力ユニット50からなる出力層47とで構成されている。
【００４９】
ここで事前学習モード時に統合ニューラルネットワーク31の入力層45へ入力される入力ベクトルは、学習用瞬時位相特徴量及び学習用包絡線特徴量からなる学習信号がサブバンドニューラルネットワーク32a〜32n内の隠れ層38で学習処理された出力ベクトルであり、全周波数帯域に亘って連結したものが利用される。また、教師信号は、サブバンドニューラルネットワーク32a〜32nで使用した同じものが出力層47に入力される。
【００５０】
すなわち、統合ニューラルネットワーク31は、これら学習用瞬時位相特徴量及び学習用包絡線特徴量を学習済みのサブバンドニューラルネットワーク32a〜32nの入力層36に与えたときの出力層47での最終的な出力ベクトルが、教師信号と一致するように各結合係数を変化させる学習処理がなされる。
【００５１】
ここで図９は切り出し位置と教師信号との関係を示すものである。図９に示すように、教師信号は、例えば「ａ」、「ｒ」、「ａ」及び「ｙ」の各音素が続いた発話内容であるとすると、１フレームＦの中心部分で対応した音素が「ｒ」となり、１フレームＦ部分が「ｒ」の音素を推定するように結合係数を変化させ得る。
【００５２】
このようにして識別分析部27では、サブバンドニューラルネットワーク32a〜32n及び統合ニューラルネットワーク31において予め学習処理が実行されることにより、サブバンドニューラルネットワーク32a〜32n及び統合ニューラルネットワーク31の各結合係数がそれぞれ定義され、特徴変換部52においても学習が完了すると、事前学習モードから音声認識モードへと移行する。
【００５３】
以下、このような学習処理を図１０に示すフローチャートを用いて、簡単にまとめる。音声処理部４は、開始ステップから次のステップＳＰ１に移り、ステップＳＰ１においてサブバンドニューラルネットワーク32a〜32nでの学習を行い始めて次のステップＳＰ２に移る。ステップＳＰ２において音声処理部４は、サブバンドニューラルネットワーク32a〜32nの学習が完了したか否かを判断する。
【００５４】
ここで否定結果が得られると、このことはサブバンドニューラルネットワーク32a〜32nでの学習が未だ完了していないことを表しており、音声処理部４は再びステップＳＰ１に戻りステップＳＰ２で肯定結果が得られるまで上述した処理を繰り返す。
【００５５】
これに対してステップＳＰ２において肯定結果が得られると、このことはサブバンドニューラルネットワーク32a〜32nでの学習が完了したことを表しており、音声処理部４は次のステップＳＰ３に移る。
【００５６】
ステップＳＰ３において音声処理部４は、統合ニューラルネットワーク31での学習を行い始めて次のステップＳＰ４に移る。
【００５７】
ステップＳＰ４において音声処理部４は、統合ニューラルネットワーク31での学習が完了したか否かを判断する。ここで否定結果が得られると、このことは統合ニューラルネットワーク31での学習が未だ完了していないことを表しており、音声処理部４は再びステップＳＰ３へ戻りステップＳＰ４で肯定結果が得られるまで上述した処理を繰り返す。
【００５８】
これに対してステップＳＰ４で肯定結果が得られると、このことは統合ニューラルネットワーク31での学習が完了したことを表しており、音声処理部４は次のステップＳＰ５に移る。ステップＳＰ５において音声処理部４は、特徴変換部52の学習を行って次のステップＳＰ６に移り上述した学習処理を終了する。
【００５９】
かくして、音声認識処理を実際に行う場合、学習済みのサブバンドニューラルネットワーク32a〜32nには、１フレームＦの瞬時位相特徴量及び包絡線特徴量を切り出した切り出し区間が入力ベクトルとして各入力ユニット35にそれぞれ個別に供給される。
【００６０】
これにより、サブバンドニューラルネットワーク32a〜32nは、学習により得られた結合係数に基づいて隠れ層38において各周波数帯域毎に最適な音素推定結果を得、これを学習済みの統合ニューラルネットワーク31に与えるようになされている。
【００６１】
統合ニューラルネットワーク31は、各ユニットの結合係数を基に各周波数帯域毎の音素推定結果を取りまとめ、音声特徴量を生成するようになされている。
【００６２】
ところで、このように１フレームＦから当該フレームＦに対応する音素を識別分析部27によって推定することが可能になったが、最終的に音声認識装置１の一部として利用するためには、１フレームＦ内の認識のみではなく、複数フレームＦに渡って時系列識別を行う必要がある。
【００６３】
このため本発明の音声処理部４では、時系列識別のために統合ニューラルネットワーク31からの出力スコアを別空間に写像したものを音声特徴量としたＧＭ−ＨＭＭ(Gaussian mixture hidden Markov model)を用いるようになされている。
【００６４】
ここで特徴変換部52は、統合ニューラルネットワーク31の出力スコアたる音声特徴量を、対数関数を用いて別空間に写像した後、カルーネンレーベ変換（ＫＬＴ）を利用して直交化を行うようになされている。
【００６５】
これにより特徴変換部52は、特徴変換前に図１１（Ａ）に示すような波形を有する音声特徴量を、図１１（Ｂ）に示すような波形を有する音声特徴量に変換し、これを音声認識部に供給する。かくして音声認識部においては、特徴変換後の音声特徴量を基に音声認識を行え得るようになされている。
【００６６】
以上の構成によれば、音声認識装置１では、瞬時位相特徴量たる０次予測残差Φｂ（ｎ）と、包絡線特徴量たる対数包絡線ｍｂ（ｎ）とを音声信号から算出し、これら瞬時位相特徴量及び包絡線特徴量を、学習済みのサブバンドニューラルネットワーク32a〜32n及び統合ニューラルネットワーク31を用いて識別的に分析し、その分析結果を特徴変換部52により別空間に写像することで音声特徴量を得るようにした。このようにして生成した音声特徴量を用いれば、従来に比して音声認識精度が一段と向上し得る。
【００６７】
なお、ここで識別分析部27のサブバンドニューラルネットワーク32a〜32n及び統合ニューラルネットワーク31の入力として瞬時周波数ではなく瞬時位相を用いたのは、結合重みが識別に有利な任意の変換行列を学習可能であることによる。
【００６８】
次に、本願発明の提案手法が話し言葉音声認識の精度向上に対して有効であることを確認するため、音素バイグラムを用いた連続音素認識タスクを利用し、複数種類の音声認識装置との間で音素正解精度を比較する検証試験を行った。
【００６９】
なお、検証試験において、ＬＴＨＰ（Long-Term Hilbert Pair）とは、上述した０次予測残差Φｂ（ｎ）及び対数包絡線ｍｂ（ｎ）を１０Ｈｚで再サンプリングしたものを示し、ＬＴＨＰ―ｔａｎｄｅｍとは、０次元予測残差Φｂ（ｎ）及び対数包絡線ｍｂ（ｎ）を１０Ｈｚで再サンプリングしたものを識別分析部27で分析したものであって、本願発明の音声処理を示すものである。
【００７０】
そして、この検証試験では、ＭＦＣＣ（Mel Frequency Cepstral Coefficients）と、ＭＦＣＣ´と、ＭＦＣＣ´´と、Ｅ´と、Ｅ´´とを合わせた特徴量（３８次元）を用いた音声認識装置（ｂａｓｅｌｉｎ）を使用した。なお、ここで「´」は時間に関する１次微分を示し、「´´」は時間に関する２次微分を示し、「Ｅ」はエネルギーを示すものである。
【００７１】
また、この検証試験では、ＨＡＴｓ(４０次元)を用いた音声認識装置と、ＨＡＴｓ(２６次元)及びＭＦＣＣ(１２次元)を用いた音声認識装置と、ＬＴＨＰ―ｔａｎｄｅｍ(４０次元)を用いた音声認識装置と、ＬＴＨＰ―ｔａｎｄｅｍ（２６次元）及びＭＦＣＣ(１２次元)を用いた音声認識装置とを使用した。
【００７２】
ＨＭＭ、ＭＬＰ（多層パーセプトロン）及び音素バイグラムを学習させるために利用したデータは、ＡＴＲ音素バランス文７時間と、ＣＳＪ２時間分との合計９時間とした。
【００７３】
因みに、比較のため、ＨＡＴｓを用いた音声認識装置とＬＴＨＰを用いた音声認識装置で利用するＭＬＰのパラメータ数は合計で約１０万個となるように一致させた。また、テストセットとして、ＣＳＪから発表音声と再朗読音声を各０．５時間分利用した。再朗読音声は発表音声と同一の話者が同一の発話内容を朗読した。この場合、音素正解精度（１００％―置換誤り率―挿入誤り率―削除誤り率)を以下の表１（Ｔａｂｌｅ１）に示す。
【００７４】
【表１】
2008216488.tif 000008
ｂａｓｅｌｉｎの音素認識精度は、再朗読音声が５５．４％となり、発表音声が４７．７％となった。これに対して本願発明のＬＴＨＰ―ｔａｎｄｅｍを用いた音声認識装置は、シングルストリームではＭＦＣＣと同程度の認識精度であったが、ＭＦＣＣと組み合わることにより発表音声及び再朗読音声ともに音素認識精度が向上することが確認できた。このことから同次元数の比較では、ＭＦＣＣの微分値より本願発明の音声認識装置から導出される音声特徴量を用いたほうが精度向上に寄与できることが分かった。
【００７５】
なお、再朗読音声より発声が崩れていると考えられる発表音声においても、本願発明のＬＴＨＰ―ｔａｎｄｅｍとＭＦＣＣのマルチストリームとを用いることで、ｂａｓｅｌｉｎを超える音声認識精度を達成することが可能であった。これは、本願発明の音声認識装置が話し言葉音声に対しても適用可能であることを示している。
【００７６】
このように、瞬時位相特徴量と包絡線特徴量とをＭＬＰを用いて識別的に分析し、この分析結果を別空間に写像することで音声特徴量を得るようにした場合、ＭＦＣＣとの組み合わせにおいて、音声認識装置の高精度化に効果的な特徴量となることを連続音素認識タスクの音素認識精度を用いて示すことができた。
【００７７】
以上、本発明の実施の形態について説明したが、本発明は、実施の形態に限定されるものではなく、種々の変形実施が可能である。
【図面の簡単な説明】
【００７８】
【図１】本発明による音声認識装置の回路構成を示すブロック図である。
【図２】フィルタバンクのフィルタ形状を示す概略図である。
【図３】解析部の詳細回路構成を示すブロック図である。
【図４】瞬時位相特徴抽出部における瞬時位相処理の様子を示す概略図である。
【図５】瞬時位相特徴量と包絡線特徴量との信号波形を示す概略図である。
【図６】瞬時位相特徴量の１フレームから切り出す切り出し区間の説明に供する概略図である。
【図７】サブバンドニューラルネットワークの入力層に入力される瞬時位相特徴量及び包絡線特徴量の入力ベクトルを示す概略図である。
【図８】識別分析部の詳細回路構成を示すブロック図である。
【図９】切り出し位置と教師信号との関係を示す概略図である。
【図１０】学習処理手順を示すフローチャートである。
【図１１】特徴変換部における変換前後の音声特徴量の様子を示すグラフである。
【符号の説明】
【００７９】
１  音声認識装置
４  音声処理部（音声処理装置）
7a〜7n  ＦIＲフィルタ
15  瞬時位相特徴抽出部
16  包絡線特徴抽出部
27  識別分析部
32a〜32n  サブバンドニューラルネットワーク（多層パーセプトロン型ニューラルネットワーク、多層パーセプトロン型サブバンドニューラルネットワーク）
31  統合ニューラルネットワーク（多層パーセプトロン型ニューラルネットワーク、多層パーセプトロン型統合ニューラルネットワーク）
【図２】
2008216488.tif 000009
【図４】
2008216488.tif 000010
【図６】
2008216488.tif 000011
【図７】
2008216488.tif 000012
【図８】
2008216488.tif 000013
【図９】
2008216488.tif 000014
【図１０】
2008216488.tif 000015
【図１】
2008216488.tif 000016
【図３】
2008216488.tif 000017
【図５】
2008216488.tif 000018
【図１１】
2008216488.tif 000019