(57)【要約】【課題】残響パターンを初期反射成分と拡散残響成分とに良好に分割する。【解決手段】本発明に係る処理装置は、インパルス応答から残響パターンを測定し、測定した残響パターンを、該残響パターンの前半部である初期反射成分と、該残響パターンの後半部である拡散残響成分とに分割して、入力音声の音声認識を行うための処理装置であって、残響パターンの減衰曲線を計算し、該減衰曲線に基づいて初期反射成分と拡散残響成分との時間的な境界を示す減衰時間境界を計算する減衰時間境界計算部６と、計算した減衰時間境界に基づいて、音響モデルで用いる分析フレーム長と、フレームシフトと、動的特徴量の数と、を決定する音響モデル用パラメタ決定部７と、を備える。【選択図】図１
2009276365.tif 000002
【特許請求の範囲】
【請求項１】
インパルス応答から残響パターンを測定し、前記測定した残響パターンを、該残響パターンの前半部である初期反射成分と、該残響パターンの後半部である拡散残響成分とに分割して、入力音声の音声認識を行うための処理装置であって、
前記残響パターンの減衰曲線を計算し、該減衰曲線に基づいて前記初期反射成分と前記拡散残響成分との時間的な境界を示す減衰時間境界を計算する減衰時間境界計算部と、
前記計算した減衰時間境界に基づいて、音響モデルで用いる分析フレーム長と、フレームシフトと、動的特徴量の数と、を決定する音響モデル用パラメタ決定部と、
を備える処理装置。
【請求項２】
前記減衰時間境界計算部は、
前記残響パターンが所定量減少した際の時間を前記減衰時間境界とする
ことを特徴とする請求項１記載の処理装置。
【請求項３】
前記減衰時間境界計算部は、
前記残響パターンの減衰曲線の変化量が所定の閾値を下回った際の時間を前記減衰時間境界とする
ことを特徴とする請求項１又は２記載の処理装置。
【請求項４】
前記音響モデルで用いる分析フレーム長Ｔｆと、フレームシフトＴｓと、動的特徴量の数Ｎと、の値の組合せを予め記憶した記憶部を更に備え、
前記音響モデル用パラメタ決定部は、
前記減衰時間境界計算部で計算した減衰時間境界Ｔａに対して、次の式を満足する前記分析フレーム長Ｔｆと、前記フレームシフトＴｓと、前記動的特徴量の数Ｎと、の値の組合せを選択する
Ｔａ≒Ｔｆ＋Ｎ×（２×Ｔｓ）
ことを特徴とする請求項１乃至３いずれか１項記載の処理装置。
【請求項５】
インパルス応答から残響パターンを測定し、前記測定した残響パターンを、該残響パターンの前半部である初期反射成分と、該残響パターンの後半部である拡散残響成分とに分割して、入力音声を認識する音声認識装置であって、
前記残響パターンの減衰曲線を計算し、該減衰曲線に基づいて、前記初期反射成分と前記拡散残響成分との時間的な境界を示す減衰時間境界を計算する減衰時間境界計算部と、
前記計算した減衰時間境界に基づいて、音響モデルで用いる分析フレーム長と、フレームシフトと、動的特徴量の数と、を決定する音響モデル用パラメタ決定部と、
前記測定した残響パターンを前記減衰時間境界で分割して、前記初期反射成分と、前記拡散残響成分とを抽出する残響成分抽出部と、
前記抽出した初期反射成分を学習用音声データに反映させて、前記決定した分析フレーム長と、フレームシフトと、動的特徴量の数と、に基づいて音響モデルを学習する学習部と、
前記入力音声から前記抽出した拡散残響成分を除去するとともに、前記学習した音響モデルを参照して前記入力音声を認識する認識部と、
を備える音声認識装置。
【請求項６】
請求項５記載の音声認識装置と、
環境中で発生した音を受音して、前記音声認識装置に音声信号を出力するマイクロフォンと、
を有する音声認識システム。
【請求項７】
インパルス応答から残響パターンを測定し、前記測定した残響パターンを、該残響パターンの前半部である初期反射成分と、該残響パターンの後半部である拡散残響成分とに分割して、入力音声を認識する音声認識方法であって、
前記残響パターンの減衰曲線を計算し、該減衰曲線に基づいて、前記初期反射成分と前記拡散残響成分との時間的な境界を示す減衰時間境界を計算するステップと、
前記計算した減衰時間境界に基づいて、音響モデルで用いる分析フレーム長と、フレームシフトと、動的特徴量の数と、を決定するステップと、
前記測定した残響パターンを前記減衰時間境界で分割して、前記初期反射成分と、前記拡散残響成分とを抽出するステップと、
前記抽出した初期反射成分を学習用音声データに反映させて、前記決定した分析フレーム長と、フレームシフトと、動的特徴量の数と、に基づいて音響モデルを学習するステップと、
前記入力音声から前記抽出した拡散残響成分を除去するとともに、前記学習した音響モデルを参照して前記入力音声を認識するステップと、
を備える音声認識方法。
【請求項８】
前記残響パターンの減衰曲線を計算し、該計算した減衰曲線が所定量減少した際の時間を前記減衰時間境界とする
ことを特徴とする請求項７記載の音声認識方法。
【請求項９】
前記残響パターンの減衰曲線を計算し、該計算した減衰曲線の変化量が所定の閾値を下回った際の時間を前記減衰時間境界とする
ことを特徴とする請求項７又は８記載の音声認識方法。
【請求項１０】
前記計算した減衰時間境界Ｔａに対して、次の式を満足する前記分析フレーム長Ｔｆと、前記フレームシフトＴｓと、前記動的特徴量の数Ｎと、の値の組合せを、予め記憶した分析フレーム長Ｔｆと、フレームシフトＴｓと、動的特徴量の数Ｎと、の値の組合せから選択することで決定する
Ｔａ≒Ｔｆ＋Ｎ×（２×Ｔｓ）
ことを特徴とする請求項７乃至９いずれか１項記載の音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者が発生する音声の音声認識技術に関して、特に、残響パターンを初期反射成分と拡散残響成分とに良好に分割して処理が可能な処理装置、音声認識装置、音声認識システム、音声認識方法に関する。
【背景技術】
【０００２】
実環境における音声認識では、話者の発生した音声がその残響に起因して不明瞭となり、認識性能が低下するという問題がある。特に、ハンズフリーマイクなどの非接触型のマイクロフォンによる集音では、部屋やマイク周辺の形状による残響に強く影響を受ける。従来、残響パターンを考慮して音声認識処理を行う技術が知られている（例えば、特許文献１）。
【特許文献１】特開２００７−６５２０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の音声認識技術では、残響パターンの全部分を考慮して音響モデルを学習するため、十分な認識性能を得ることができないものであった。残響成分を、一次反射成分である初期反射成分と、それ以降の成分である二次反射成分、三次反射成分等を含む拡散残響成分とに分解する。分解したこれら残響パターンは、パワーやスペクトル形状等の特徴に関してそれぞれ大きく異なる性質を有する。話者の発生した音声の初期反射成分が混入した初期反射成分においては、認識対象である音声の音響特性は依然として強く残存しているのに対して、拡散残響成分が混入した音響成分においては、認識対象である音声の音響特性は既に性質が異なったものとなっている。従って、拡散残響成分が混入した音響成分に関しては、認識対象である音声の音響特性は消失しているものと考えられる。このため、音響モデルで残響を学習する際に、音響モデルのフレーム長を超えて影響するこのような拡散残響成分が、正確な音韻学習の妨げとなっていた。
【０００４】
ところで、本出願人の特許出願（特願２００８−１２２２８８号）によれば、インパルス応答から予め残響パターンを測定し、測定した残響パターンを、音響モデルの学習に用いるフレーム長を基準として、残響パターンの前半部である初期反射成分と、初期反射成分以降の拡散残響成分とに分割して扱う音声認識方法が開示されている。残響パターンをこのように分割した後、音響モデルを予め学習する際には、初期反射成分を音響モデル学習により吸収する。そして、入力音声を認識する際には、入力音声から拡散残響成分をスペクトル減算によって除去するとともに、初期反射成分を考慮した音響モデルを参照して入力音声を認識する。即ち、残響パターンを分割して、初期反射成分を音響モデルに反映させると共に、拡散残響成分を入力音声から除去する。音声認識処理をこのように行うことで、より正確な音声認識を実現することが可能となる。
【０００５】
しかし、残響パターンは部屋やマイク周辺の形状によってもその特徴が異なるため、残響パターンを初期反射成分と拡散残響成分とに分割する境界を、音響モデルの学習に用いるフレーム長を基準として決定するものとしては、環境に対して必ずしも良好な境界であるとは限らない。即ち、予め定めた音響モデル学習用のフレーム長に基づいて、残響パターンを初期反射成分と拡散残響成分とに分割するものとしては、残響パターンを環境に対して良好に分割することができないという問題があった。また、残響パターン測定結果を観察したユーザが残響パターンの境界を決定するものとしては、残響測定後、その都度、決定処理が発生し、手間が掛かるという問題があった。このように、残響パターンを初期反射成分と拡散残響成分とに分割する境界を、環境に対して良好に決定して、残響パターンを分割した初期反射成分を良好に学習することが可能な汎用的な方法が求められている。
【０００６】
本発明は、かかる課題を解決するためになされたものであり、残響パターンを初期反射成分と拡散残響成分とに良好に分割して処理可能な処理装置、音声認識装置、音声認識システム、音声認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る処理装置は、インパルス応答から残響パターンを測定し、前記測定した残響パターンを、該残響パターンの前半部である初期反射成分と、該残響パターンの後半部である拡散残響成分とに分割して、入力音声の音声認識を行うための処理装置であって、前記残響パターンの減衰曲線を計算し、該減衰曲線に基づいて前記初期反射成分と前記拡散残響成分との時間的な境界を示す減衰時間境界を計算する減衰時間境界計算部と、前記計算した減衰時間境界に基づいて、音響モデルで用いる分析フレーム長と、フレームシフトと、動的特徴量の数と、を決定する音響モデル用パラメタ決定部と、を備えるものである。
【０００８】
これにより、測定した残響パターンの減衰状況に応じて、残響パターンを分割するための減衰境界時間を計算し、計算した減衰境界時間に基づいて音響モデル用パラメタ（分析フレーム長と、フレームシフトと、動的特徴量の数。）を決定することで、残響パターンを初期反射成分と拡散残響成分とに良好に分割することができる。
【０００９】
また、前記減衰時間境界計算部による減衰時間境界の計算方法としては、前記残響パターンが所定量減少した際の時間を前記減衰時間境界としてもよいし、前記残響パターンの減衰曲線の変化量が所定の閾値を下回った際の時間を前記減衰時間境界とするようにしてもよい。
【００１０】
さらに、前記音響モデルで用いる分析フレーム長Ｔｆと、フレームシフトＴｓと、動的特徴量の数Ｎと、の値の組合せを予め記憶した記憶部を更に備え、前記音響モデル用パラメタ決定部は、前記減衰時間境界計算部で計算した減衰時間境界Ｔａに対して、次の式を満足する前記分析フレーム長Ｔｆと、前記フレームシフトＴｓと、前記動的特徴量の数Ｎと、の値の組合せを選択するようにしてもよい。
Ｔａ≒Ｔｆ＋Ｎ×（２×Ｔｓ）
【００１１】
本発明に係る音声認識装置は、インパルス応答から残響パターンを測定し、前記測定した残響パターンを、該残響パターンの前半部である初期反射成分と、該残響パターンの後半部である拡散残響成分とに分割して、入力音声を認識する音声認識装置であって、前記残響パターンの減衰曲線を計算し、該減衰曲線に基づいて、前記初期反射成分と前記拡散残響成分との時間的な境界を示す減衰時間境界を計算する減衰時間境界計算部と、前記計算した減衰時間境界に基づいて、音響モデルで用いる分析フレーム長と、フレームシフトと、動的特徴量の数と、を決定する音響モデル用パラメタ決定部と、前記測定した残響パターンを前記減衰時間境界で分割して、前記初期反射成分と、前記拡散残響成分とを抽出する残響成分抽出部と、前記抽出した初期反射成分を学習用音声データに反映させて、前記決定した分析フレーム長と、フレームシフトと、動的特徴量の数と、に基づいて音響モデルを学習する学習部と、前記入力音声から前記抽出した拡散残響成分を除去するとともに、前記学習した音響モデルを参照して前記入力音声を認識する認識部と、を備えるものである。
【００１２】
これにより、測定した残響パターンの減衰状況に応じて、残響パターンを分割するための減衰境界時間を計算し、計算した減衰境界時間に基づいて音響モデル用パラメタ（分析フレーム長と、フレームシフトと、動的特徴量の数。）を決定することで、残響パターンを初期反射成分と拡散残響成分とに良好に分割することができる。分割した初期反射成分を学習用音声データに反映させることでより優れた音響モデルを構築することができ、また、入力音声から拡散残響成分を除去することで、入力音声の認識率を向上させることができる。
【００１３】
本発明に係る音声認識装置は、上記の音声認識装置と、環境中で発生した音を受音して、前記音声認識装置に音声信号を出力するマイクロフォンと、を有するものである。
【００１４】
本発明に係る音声認識方法は、インパルス応答から残響パターンを測定し、前記測定した残響パターンを、該残響パターンの前半部である初期反射成分と、該残響パターンの後半部である拡散残響成分とに分割して、入力音声を認識する音声認識方法であって、前記残響パターンの減衰曲線を計算し、該減衰曲線に基づいて、前記初期反射成分と前記拡散残響成分との時間的な境界を示す減衰時間境界を計算するステップと、前記計算した減衰時間境界に基づいて、音響モデルで用いる分析フレーム長と、フレームシフトと、動的特徴量の数と、を決定するステップと、前記測定した残響パターンを前記減衰時間境界で分割して、前記初期反射成分と、前記拡散残響成分とを抽出するステップと、前記抽出した初期反射成分を学習用音声データに反映させて、前記決定した分析フレーム長と、フレームシフトと、動的特徴量の数と、に基づいて音響モデルを学習するステップと、前記入力音声から前記抽出した拡散残響成分を除去するとともに、前記学習した音響モデルを参照して前記入力音声を認識するステップと、を備えるものである。
【００１５】
これにより、測定した残響パターンの減衰状況に応じて、残響パターンを良好に分割することができる。そして、計算した減衰境界時間に基づいて音響モデル用パラメタ（分析フレーム長と、フレームシフトと、動的特徴量の数。）を決定することで、分割した初期反射成分を学習用音声データに反映させる際に、より適した音響モデル用パラメタを決定することができる。これによって、より優れた音響モデルを構築することができ、さらに、入力音声から拡散残響成分を除去することで、入力音声の認識率を向上させることができる。
【発明の効果】
【００１６】
本発明によれば、残響パターンを初期反射成分と拡散残響成分とに良好に分割して処理が可能な処理装置、音声認識装置、音声認識システム、音声認識方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡潔化がなされている。各図面において同一の構成又は機能を有する構成要素及び相当部分には、同一の符号を付し、その説明を省略する。
【００１８】
発明の実施の形態１．
本実施の形態１に係る音声認識システムは、インパルス応答から残響パターンを測定し、測定した残響パターンの減衰曲線に基づいて、測定した残響パターンの前半部である初期反射成分と、その後半部である拡散残響成分との時間的な境界を示す減衰時間境界を計算する機能を有する。そして、音声認識システムは、計算した減衰時間境界に基づいて、音響モデルで用いる分析フレーム長と、フレームシフトと、動的特徴量の数と、を決定する機能を有する。
【００１９】
まず、図１を参照して、本実施の形態１に係る音声認識システムの特徴的な構成部分について説明する。図１は本実施の形態１に係る音声認識システムの構成を示すブロック図である。本実施の形態１に係る音声認識システムは、マイクロフォン１（以下、マイク１）と、音声認識装置２とを備えている。音声認識装置２は、残響パターンを処理する残響処理部３と、音響モデルを学習する学習部４と、入力音声を認識する認識部５と、を備える。尚、残響成分抽出部８と、学習部４と、認識部５の詳細については後述する。
【００２０】
マイク１は、環境中に設けられ、環境中で発生した音を受音する。従って、マイク１は、発話者が話した音声を集音して、受音した音声に応じた音声信号を音声認識装置２に出力する。マイク１は、例えば、建物の部屋内に設置されている。マイク１は、環境内の予め定められた場所に設置されている。
【００２１】
音声認識装置２は、マイク１からの音声信号に対してデータ処理を行って音声認識を行う。音声認識装置２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、通信用のインターフェースなどを有する処理装置であり、音声認識に必要なデータ処理を行う。さらに、音声認識装置２は、着脱可能なＨＤＤ、光ディスク、光磁気ディスク等を有し、各種プログラムや制御パラメタなどを記憶し、そのプログラムやデータを必要に応じてメモリ（不図示）等に供給する。例えば、音声認識装置２は、マイク１からの信号をデジタル信号に変換して、演算処理を行う。さらに、音声認識装置２は、ＲＯＭやＨＤＤに格納されたプログラムに従って音声認識処理を実行する。すなわち、音声認識装置２は、音声認識するためのプログラムが格納されており、そのプログラムにより音声認識装置２がデジタル信号に対して各種処理を行う。
【００２２】
残響処理部３は、減衰時間境界計算部６と、音響モデル用パラメタ決定部７と、残響成分抽出部８と、を備える。残響処理部３に対して、インパルス応答が入力される。残響処理部３は、音響モデルで用いる音響モデル用パラメタ（分析フレーム長と、フレームシフトと、動的特徴量の数。）を学習部４に出力する。また、残響処理部３は、残響パターンから初期反射成分と拡散残響成分とを抽出して、抽出した初期反射成分と拡散残響成分とを出力する。残響処理部３から、抽出された初期反射成分が学習部４に出力される。残響処理部３から、抽出された拡散残響成分が認識部５に出力される。
【００２３】
減衰時間境界計算部６は、入力されたインパルス応答から残響パターンを測定する。そして、残響パターンの減衰曲線を計算し、計算した減衰曲線に基づいて、初期反射成分と拡散残響成分との時間的な境界を示す減衰時間境界を計算する。
【００２４】
ここで、残響パターンに含まれる初期反射成分及び拡散残響成分について、図２及び３を用いて説明する。図２は、室内で発生した音が反射する様子を模式的に示す図である。図３は、環境中に設置されたマイク１で検出された信号の一例を示す図である。図３において、横軸は時間、縦軸は信号のパワーを示している。図３では、環境中においてインパルス応答を測定した場合の、測定信号の波形が離散的に示されている。
【００２５】
図２では、図１で示した音声認識システムをロボット４４に搭載した例を示している。図２に示すように、室内で発話者４５が発話した音は、ロボット４４に搭載されたマイク１に到達して、測音される。測音される発話音は、直接マイク１に伝播する場合と、壁面４３で反射してマイク１まで伝播する場合がある。もちろん、壁面４３だけではなく、天井や床や机などで反射することもある。壁面４３などで反射した音は、マイク１に直接、到達した音に比べて遅れる。すなわち、マイク１に直接、到達した直接音と、壁面４３で反射してからマイク１に到達した反射音とは、マイク１で測音されるタイミングが異なっている。さらに、壁面４３で反射した音のうち、繰り返し反射した音には、さらに時間遅れが生じる。このように音の伝播距離等に応じて、測音タイミングが異なっている。尚、室内では、壁面４３だけでなく、天井や床面や机などでも音が反射される。
【００２６】
図２に示すような室内で、非常に幅の狭い単一パルスからなるインパルスを発生させた場合、測定信号は、図３に示す波形となる。インパルスの時間応答では、壁面４３で反射されずに直接マイク１に到達した直接音が最も早い時間（ｔ＝０）に測音される。そして、壁面４３で反射された反射音が、直接音の後に測音されていく。反射音は、壁面４３などでの吸収があるため、直接音よりもパワーが低くなっている。そして、繰り返し反射した反射音が時間とともに測音されていく。
【００２７】
ここで、インパルス応答の残響パターンを、初期反射成分と拡散残響成分とに分割する。そのため、インパルス応答から残響成分を測定し、測定した残響成分を初期反射成分と、拡散残響成分とに分割する。残響パターンのうち、前半部分を初期反射成分とし、後半部分を拡散残響成分とする。従って、初期反射成分の後が拡散残響成分となる。初期反射成分は、１次反射や２次反射などの低次反射成分が含まれている。また、拡散残響成分には高次反射成分が含まれている。
【００２８】
ここで、初期反射成分と拡散残響成分を区切る時間的な境界を減衰時間境界とする。従って、直接音がマイク１で測音された時間から減衰時間境界までの成分が初期反射成分となり、減衰時間境界以降の成分が拡散残響成分となる。例えば、減衰時間境界を６５ｍｓｅｃとすると、ｔ＝０のデータが直接音となり、０〜６５ｍｓｅｃの範囲（ｔ＝０、ｔ＝６５は含まず）のデータが初期反射成分となり、６５ｍｓｅｃ以降のデータが拡散残響成分となる。
【００２９】
減衰時間境界計算部６は、図４に示すように、例えば残響パターンの振幅レベル（パワーＰ）が所定量ｘ減少した際の時間ｔを減衰時間境界Ｔａとして計算することができる。図においては、時間０におけるパワーＰ（０）が、ｘ[ｄｂ]減衰した際のパワーＰ（ｔ）の時間ｔをＴａとする（即ち、Ｐ（０）−Ｐ（ｔ）＞ｘを満足する時間ｔをＴａとして扱う）。ここでは、所定量ｘを、例えば２０ｄｂとする。尚、減衰時間境界計算部６は、上述したように残響パターンの振幅レベル（パワーＰ）の減少量に応じて減衰時間境界を計算してもよいし、残響パターンの減衰曲線の変化量が所定の閾値を下回った際の時間を減衰時間境界として計算するようにしてもよい。
【００３０】
音響モデル用パラメタ決定部７は、減衰時間境界計算部６で計算した減衰時間境界Ｔａに基づいて、音響モデルで用いる分析フレーム長Ｔｆと、フレームシフトＴｓと、動的特徴量Δの数Ｎと、を決定する。より具体的には、音響モデル用パラメタ決定部７は、減衰時間境界計算部６で計算した減衰時間境界Ｔａに対して、次の式を満足する分析フレーム長Ｔｆと、フレームシフトＴｓと、動的特徴量の数Ｎと、の値の組合せを計算することで決定することができる。
Ｔａ≒Ｔｆ＋Ｎ×（２×Ｔｓ）
【００３１】
尚、音響モデル用パラメタ決定部７は、上式を満足するような分析フレーム長Ｔｆと、フレームシフトＴｓと、動的特徴量の数Ｎと、の値の組合せを上述したようにして計算してもよいし、分析フレーム長Ｔｆと、フレームシフトＴｓと、動的特徴量の数Ｎと、の値の組合せを予め記憶しておき、記憶されたこれら値の組合せのなかから、上式を満足する分析フレーム長Ｔｆと、フレームシフトＴｓと、動的特徴量の数Ｎと、の値の組合せを選択することで決定するようにしてもよい。これら予め記憶しておく値の組合せ｛Ｔｆ，Ｎ，Ｔｓ｝としては、例えば、｛２５，２，１０｝、｛３２，３，１６｝、｛２０，２，５｝などを利用することができる。
【００３２】
このように、測定した残響パターンの減衰状況に応じて、残響パターンを分割するための減衰境界時間を計算し、計算した減衰境界時間に基づいて音響モデル用パラメタ（分析フレーム長と、フレームシフトと、動的特徴量の数。）を決定することで、残響パターンを初期反射成分と拡散残響成分とに良好に分割することができる。
【００３３】
残響成分抽出部８では、このようにして計算した減衰時間Ｔａを境界として、残響パターンを初期反射成分と拡散残響成分とに分割して抽出する。そして、後述する学習部４において、分割した初期反射成分を学習用音声データに畳み込む。学習部４は、畳み込んだデータを、音響モデル用パラメタ決定部７で決定した音響モデル用パラメタ（分析フレーム長Ｔｆと、フレームシフトＴｓと、動的特徴量の数Ｎ）に従って学習する。これによって、初期反射成分を反映させて音響モデルの学習を実行する。さらに、認識部５は、入力音声から抽出した拡散残響成分を除去すると共に、初期反射成分を反映させて学習させた音響モデルを参照して、入力音声の認識を行う。
【００３４】
続いて、残響成分抽出部８と、学習部４と、認識部５とによる処理の詳細について説明する。音声認識装置２が入力音声を認識する際には、認識部５において、話者が発話した入力音声から残響処理部３で分割した拡散残響成分を除去するとともに、学習部５で予め学習させておいた音響モデルを参照して、入力音声を認識する。
【００３５】
図５は、音声認識システムの詳細な構成を示すブロック図である。音声認識システムはマイク１と、音声認識装置２とを備えている。音声認識装置２は、残響成分抽出部８と、学習部４と、認識部５とを備えている。尚、図５においては、残響処理部３と、減衰時間境界計算部６と、音響モデル用パラメタ決定部７の図示は省略している。
【００３６】
残響成分抽出部８は、初期反射成分抽出処理部１１と、拡散残響成分抽出処理部２１と、を備えている。学習部４は、畳み込み処理部１２と、学習用音声データベース１３と、音響モデル学習処理部１４と、音響モデル１５と、を備えている。認識部５は、スペクトル変換処理部２２と、フィルタ作成部２３と、スペクトル変換処理部３１と、スペクトル減算処理部３２と、音声認識特徴量変換部３３と、パターンマッチング処理部３４と、を備えている。
【００３７】
初期反射成分抽出処理部１１と、畳み込み処理部１２と、学習用音声データベース１３と、音響モデル学習処理部１４とは、音声認識に必要な音響モデル１５を作成するための処理を行う。これにより、音声信号の残響パターンの初期反射成分を反映した音響モデル１５が作成される。ここでは音響モデル１５として、隠れマルコフモデル（ＨＭＭ）が用いられている。ここでの処理は、予めオフラインで行われている。すなわち、音声認識する音声信号を検出する前に、音響モデル１５を予め作成しておく。
【００３８】
拡散残響成分抽出処理部２１と、スペクトル変換処理部２２と、フィルタ作成部２３とは、拡散残響成分を除去するための処理を行う。これにより、拡散残響成分を減算するための減算フィルタが作成される。ここでの処理は、予めオフラインで行われている。すなわち、音声認識する音声信号を検出する前に、減算フィルタを予め作成しておく。
【００３９】
スペクトル変換処理部３１と、スペクトル減算処理部３２、音声認識特徴量変換部３３と、パターンマッチング処理部３４とは、入力音声に対して音声認識処理を行う。音声認識処理は、上記の減算フィルタ、及び音響モデル１５を用いて行われる。そして、これらの処理が、入力音声に対してオンラインで行われることで、随時、音声を認識していく。
【００４０】
次に、初期反射成分を用いた音響モデル１５の学習について図５及び６を用いて説明する。図６は、音響モデルの学習フローを示す図である。尚、図６で示した処理はオフラインで行われる。すなわち、音声認識対象の音声信号を取得するより前に、図６に示す処理フローにより音響モデル１５を作成する。
【００４１】
図５に示したように、初期反射成分抽出処理部１１は、インパルス応答入力から、拡散残響成分を取り除いた初期反射成分を抽出する。すなわち、上記のように、マイク１でインパルス応答を測定し、測定されたインパルス応答の残響成分のうち、減衰時間境界よりも前のデータを初期反射成分として抽出する。図６に示すように、初期反射成分をｈＥとする。畳み込み処理部１２は、初期反射成分ｈＥを用いて畳み込み処理を行う。
【００４２】
学習用音声データベース１３には、クリーンな学習用の音声データが記憶されている。例えば、学習用音声データベース１３には、音素単位の音声データがデータベースとして記憶されている。この音声データは、雑音や残響がない場所で測定されたものであり、例えば、１時間分の会話をコーパスとしている。そして、コーパスに含まれるそれぞれの音素に対して、「あ」、「い」などのラベルが付けられている。このように、学習用音声データベース１３には、音素に対するクリーンな音声データが記憶されている。そして、畳み込み処理部１２は、学習用音声データベース１３に記憶されているクリーンな音声データｓに対して、初期反射成分ｈＥを畳み込む。これにより、初期反射成分ｈＥが反映された畳み込みデータｘＥが生成される。音素単位のそれぞれの音声データｓに対して初期反射成分ｈＥを畳み込むことで、それぞれの音素に対する畳み込みデータｘＥが算出される。
【００４３】
音響モデル学習処理部１４は、初期反射成分が反映された畳み込みデータｘＥに基づいて、音響モデル学習処理を行う。音響モデル１５がＨＭＭである場合、音響モデル学習処理部１４は、ＨＭＭ学習を行う。ＨＭＭ学習を行う際には、上述した分析フレーム長Ｔｆと、フレームシフトＴｓと、動的特徴量Δの数Ｎと、に基づいて学習を行う。より具体的には、畳み込みデータｘＥから特徴量を抽出する。そして、音素単位の特徴量をデータベースとして記憶させる。すなわち、各音素に対する特徴量ベクトルがテンプレートモデルとなる。特徴量ベクトルは、例えば、分析長毎に抽出される。
【００４４】
具体的には、畳み込みデータｘＥをＦＦＴ（高速フーリエ変換）等によってスペクトルデータに変換する。そして、人間の聴覚特性に合わせたフィルタを用いて、スペクトルデータを対数変換し、さらにＩＦＦＴ（逆高速フーリエ変換）によって、時間データに変換する。このようにすることで、メルケプストラムが求められる。メルケプストラム空間では、スペクトルの包絡が低次に表れ、微細な振動が高次に表れる。そして、低次の部分を取り出して、ＭＦＣＣを算出する。ここでは、１２次元のＭＦＣＣを算出している。さらには、その１次差分と、パワーの１次差分を特徴量として抽出している。この場合、特徴量ベクトルは２５次元（１２＋１２＋１）となる。もちろん、特徴量を抽出するための処理がこれに限られるものではない。
【００４５】
そして、ＭＦＣＣのデータ群によって学習を行う。尚、大量のコーパスに含まれる音声データｓに対して処理を行うことで、１つの音素に対する特徴量が平均と分散を持っている。音響モデル１５は、平均と分散の値を保持する。そして、音響モデル学習処理部１４は、特徴量の平均と分散に応じてＨＭＭの状態遷移確率や出力確率などを決定する。音響モデル学習処理部１４は、例えば、ＥＭアルゴリズムによってＨＭＭを学習する。もちろん、ＥＭアルゴリズム以外の公知のアルゴリズムを用いてもよい。このようにして、音響モデル１５が学習される。
【００４６】
音響モデル学習処理部１４で学習された音響モデル１５がデータベースとして記憶される。この音響モデル１５は、残響パターンの初期反射成分を考慮したものとなる。すなわち、初期反射成分をＨＭＭでモデル化推定する。これにより、初期反射成分を学習済みの音響モデル１５が構築される。この音響モデル１５を用いることで、音声信号に含まれる初期反射成分の影響を低減することができ、認識率を向上することができる。
【００４７】
次に、拡散残響成分を用いたフィルタ作成処理について、図５、７、８を用いて説明する。図７は、フィルタを作成するための近似計算を説明するための概念図である。図８は、フィルタ作成の処理フローを示す図である。
【００４８】
図５に示すように、拡散残響成分抽出処理部２１は、インパルス応答入力に対して、拡散残響成分抽出処理を行う。これにより、インパルス応答の残響パターンの中から初期反射成分が取り除かれた拡散残響成分が抽出される。すなわち、マイク１で計測されたインパルス応答の残響成分のうち、減衰時間境界よりも後のデータを拡散残響成分が抽出される。スペクトル変換処理部２２は、インパルス応答の時間データをスペクトルデータに変換する。すなわち、時間領域の拡散残響成分のデータを周波数領域のデータに変換する。ここでは、フーリエ変換などを用いて、拡散残響成分のデータを変換している。すなわち、ＦＦＴ（高速フーリエ変換）などによって、周波数領域のデータに変換する。尚、スペクトル変換処理部２２は、スペクトルデータに変換する前に、上記の分析フレーム長、及びフレームシフトに応じてフレーム化処理を行っている。
【００４９】
フィルタ作成部２３は、拡散残響成分のデータを用いて、拡散残響を除去するための減算フィルタを作成する。まず、図７を用いてフィルタを作成するための近似計算について説明する。図７は、音声認識を行うためのオンライン処理が示されている。
【００５０】
図７に示すように、発話者が話した音声による音声信号を入力ｘとし、インパルス応答での拡散残響成分を後部インパルス応答ｈＬとする。入力ｘに対する後部拡散残響ｘＬを入力ｘから除去するためにスペクトル減算処理を行う。スペクトル減算をした後、特徴量に変換し、パターンマッチングにより音声認識を行う。
【００５１】
しかしながら、入力ｘに対する後部拡散残響ｘＬを直接観測することができない。すなわち、後部拡散残響ｘＬのみを観察することは不可能である。そこで、事前に観測した後部インパルス応答ｈＬを用いて後部拡散残響ｘＬを近似する。すなわち、ｘ'Ｌ（＝ｘ＊ｈＬ）をｘＬに近似することができれば、拡散残響成分のスペクトル成分を減算することが可能になる。従って、入力ｘに後部インパルス応答を畳み込んだものを後部拡散残響ｘＬと近似することができるようなフィルタを作成する。
【００５２】
このように近似するためのオフライン処理について図８を用いて説明する。ここでは、インパルス応答を計測して、クリーンな学習用の音声データｓからフィルタδを作成している。学習用音声データベース１３に記憶されている音声データｓに後部インパルス応答ｈＬ（ｔ）を畳み込む。これにより、後部拡散残響ｘＬが作成される。また、学習用音声データベース１３に記憶されている音声データｓに対してインパルス応答ｈを畳み込む。すなわち、インパルス応答ｈの全部を音声データｓに対して畳み込む。これにより、クリーンな音声を発した場合における入力ｘが生成される。さらに、入力ｘに対して、後部インパルス応答ｈＬ（ｔ）を畳み込む。すなわち、音声データｓに対してインパルス応答ｈを畳み込んだ後、そのデータに後部インパルス応答ｈＬ（ｔ）をさらに畳み込む。この後部インパルス応答ｈＬ（ｔ）は、クリーンな音声データに畳み込まれた後部インパルス応答ｈＬ（ｔ）と同一のものである。
【００５３】
上記の処理を学習用音声データベース１３に含まれる音声データｓに対してそれぞれ行う。そして、算出された後部拡散残響ｘＬとｘ'Ｌが近くなるようなフィルタδを推定する。すなわち、ｘＬ≒δｘ'Ｌとなる係数を算出する。ここでは、最小２乗誤差計算によって、フィルタδを推定している。すなわち、ｘＬがδｘ'Ｌとの誤差関数を最小にするように処理を行う。これにより、δｘ'ＬがｘＬに最も近くなるようなδを算出することができる。ここで、周波数帯で最適な係数が異なる。従って、フィルタδを、周波数帯別に推定する。図８の右上に示すように、周波数帯毎に最適な係数を算出する。具体的には、１２次元のフィルタδ（δ１、δ２、δ３、δ４、・・・・δ１２）を推定する。このフィルタδを用いて、スペクトル減算することで、音声信号から拡散残響成分を除去することができる。すなわち、フィルタδは、拡散残響成分を減算することができる減算フィルタとなる。
【００５４】
次に、オンラインの音声認識処理について図５及び９を用いて説明する。図９は、音声認識の処理フローを示す図である。まず、マイク１で検出された入力音声が音声認識装置２に入力される。図９では、入力音声を入力ｘとしている。スペクトル変換処理部３１は、入力ｘをスペクトルデータに変換する。すなわち、ＦＦＴなどによって、時間領域のデータを周波数領域のデータに変換する。スペクトル変換処理部３１は、スペクトルデータに変換する前に、上記の分析フレーム長、及びフレームシフトに応じてフレーム化処理を行っている。
【００５５】
スペクトル減算処理部３２は、フィルタδを用いてスペクトルデータから拡散残響成分を減算する。このようにフィルタδを用いたスペクトル減算処理を行うことで、音声信号から拡散残響成分の影響が除去される。拡散残響成分のスペクトルが減算された減算データに基づいて、以下のように音声が認識される。
【００５６】
音声認識特徴量変換部３３は、スペクトルデータを音声認識の特徴量に変換する。音声認識特徴量変換部３３は、拡散残響成分が減算された減算データに基づいて特徴量を抽出する。特徴量としては、例えば、１２次元のメル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）を用いることができる。そのため、メルフィルタによるフィルタバンク分析を行う。そして、対数変換（Ｌｏｇ変換）を行い、離散コサイン変換（ＤＣＴ）を行うことでＭＦＣＣが算出される。ここでは、上記のように、ＭＦＣＣの１次差分と、パワーの１次差分を含む２５次元の特徴量ベクトルが算出される。
【００５７】
音声認識の特徴量にＭＦＣＣを用いる場合、認識率をより向上することができる。すなわち、スペクトル減算のような非線形処理は、音声信号に戻す場合には、ひずみの原因となるが、ＭＦＣＣに変換する場合は全く問題とならない。すなわち、音声信号に戻さずに、拡散残響成分が除去されたスペクトルデータをＭＦＣＣに直接変換するので、ひずみの発生を防ぐことができる。
【００５８】
そして、パターンマッチング処理部３４は、音響モデル１５の特徴量ベクトルを用いてパターンマッチング処理を行う。これにより、検出した音声信号に対する特徴量ベクトルに最も近いパターンの音素が認識される。すなわち、パターンマッチング処理部３４は、音響モデル１５を参照して、音声認識処理を行う認識処理部となる。
【００５９】
以上説明したように、音声認識処理の実行に際して、初期反射成分が反映された音響モデル１５が用いられているため、より優れた音響モデル１５を構築することができる。学習する分析長を超えて影響する拡散残響成分（高次反射成分）を除去した初期反射成分を学習に用いているため、正確な音韻学習を行うことができる。初期反射成分による影響をＨＭＭ学習によって吸収することができるため、音声の認識率を向上することができる。
【００６０】
さらに、拡散残響成分はスペクトル減算のフィルタδに利用されている。このため、入力音声の拡散残響成分を除去することができる。これにより、拡散残響成分の影響を低減することができ、音声の認識率を向上することができる。
【００６１】
本実施形態では、実際に音声認識される音声信号が取得される環境と同一環境でインパルス応答を測定し、測定したインパルス応答の残響パターンから初期反射成分と拡散残響成分とを抽出する。ここでは、マイク１が設置された部屋でインパルス応答計測を行っている。部屋の残響やマイク周辺の形状は部屋を移るなどの大きな変化がない限り、ほぼ同一とすることができる。したがって、環境が同じであれば、拡散残響成分は、直接音によらず、ほぼ一定とみなすことができる。すなわち、拡散残響成分は、発話した音声によらず、ほぼ一定となる。マイクを設置する方法を定めた後、部屋のインパルス応答に対する残響を１回だけ測定することで、初期反射成分と拡散残響成分を分割推定することが可能になる。
【００６２】
すなわち、環境中でインパルス応答を予め計測して、初期反射成分と拡散反射成分を抽出する。そして、初期反射成分が反映された音響モデル１５と、拡散反射成分に基づいて作成されたフィルタδとを、その環境における音声認識に繰り返し使用する。すなわち、同じ環境中で検出された音声信号に対して同じフィルタδ、及び音響モデル１５を用いる。予めインパルス応答を一度計測するだけでよいため、音響モデル１５の学習、及びフィルタδの作成を簡便に行うことができる。また、予め作成された音響モデル１５とフィルタδを用いているため、オンラインでの処理量を低減することができる。よって、簡便な処理で、認識率の高い音声認識を行うことができる。
【００６３】
発話者５が部屋を移るなどして環境が変わった場合は、その環境でインパルス応答計測を一度行う。そして、同様の処理によって音響モデル１５の学習、及びフィルタδの作成を行う。環境に応じてモデル学習、及びフィルタ作成を行うことで、認識率を向上することができる。あるいは、マイク１を交換した場合も、交換したマイク１でインパルス応答計測を行い、同様に処理する。もちろん、環境は室内に限らず、車内や屋外であってもよい。例えば、音声認識システムをカーナビゲーションシステムなどに搭載してもよい。
【００６４】
尚、音響モデル１５はＨＭＭ以外の音響モデルであってもよい。すなわち、ＨＭＭ以外の音響モデル１５の学習に、初期反射成分を用いてもよい。また、１つのマイク１で残響を除去することができるため、システムの構成を簡素化することができる。
【００６５】
さらに、各処理が異なるコンピュータによって行われていてもよい。例えば、音響モデル学習、及びフィルタ作成の処理を行うコンピュータと、音声認識を行うコンピュータを物理的に異なるものとしてもよい。この場合、オンライン処理とオフライン処理が異なる装置によって行われる。
【００６６】
具体的には、初期反射成分抽出処理部１１と畳み込み処理部１２と学習用音声データベース１３と音響モデル学習処理部１４と、拡散残響成分抽出処理部２１とスペクトル変換処理部２２とフィルタ作成部２３とを有する処理装置で、音響モデル１５とフィルタδを予め作成する。そして、スペクトル変換処理部３１とスペクトル減算処理部３２と音声認識特徴量変換部３３とパターンマッチング処理部３４と有する音声認識装置に、作成された音響モデル１５とフィルタδを予め記憶させておく。そして、音声認識装置２に接続されたマイク１で音声信号を検出して、その音声信号に上記の処理を行う。このようにしても、認識率の高い音声認識処理を簡便に行うことができる。あるいは、処理装置などの他のコンピュータに格納されている音響モデル１５、及びフィルタδを参照して、音声認識を行うコンピュータが処理を行ってもよい。
【００６７】
さらには、音響モデル学習を行うコンピュータと、フィルタ作成を行うコンピュータを物理的に異なるものとしてもよい。また、フィルタ作成と音響モデル学習との間で異なるインパルス応答の計測結果を用いてもよい。すなわち、異なるインパルス応答測定から、初期反射成分と、拡散残響成分を抽出してもよい。例えば、インパルス応答計測を２回行い、一方のインパルス応答計測に基づき初期反射成分を抽出し、他方のインパルス応答計測に基づき拡散残響成分を抽出してもよい。上記の音声認識システムを音声応答型のロボットに搭載することで、的確な音声応答を行うことができる。尚、連続音声による音声信号が入力される場合は、さらに、言語モデルを用いて音声を認識してもよい。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施の形態にかかる音声認識システムの構成を示す図である。
【図２】環境内で発生した音が反射する様子を示す図である。
【図３】本発明の実施の形態にかかる音声認識システムで検出された音声信号を模式的に示す図である。
【図４】本発明の実施の形態にかかる音声認識システムで検出された音声信号を模式的に示す図である。
【図５】本発明の実施の形態にかかる音声認識システムの詳細な構成を示す図である。
【図６】本発明の実施の形態にかかる音声認識システムにおける学習処理フローを示す図である。
【図７】本発明の実施の形態にかかる音声認識システムにおけるフィルタ作成処理の近似計算を示す図である。
【図８】本発明の実施の形態にかかる音声認識システムにおけるフィルタ作成の処理フローを示す図である。
【図９】本発明の実施の形態にかかる音声認識システムにおける処理フローを示す図である。
【符号の説明】
【００６９】
１  マイク、  ２  音声認識装置、
３  残響処理部、  ４  学習部、  ５  認識部、
６  減衰時間境界計算部、  ７  音響モデル用パラメタ決定部、
８  残響成分抽出部、  １１  初期反射成分抽出処理部、
１２  畳み込み処理部、  １３  学習用音声データベース、
１４  音響モデル学習処理部、  １５  音響モデルデータベース、
２１  拡散残響成分抽出処理部、  ２２  スペクトル変換処理部、
２３  フィルタ作成部、  ３１  スペクトル変換処理部、
３２  スペクトル減算処理部、  ３３  音声認識特徴量変換部、
３４  パターンマッチング処理部
【図１】
2009276365.tif 000003
【図２】
2009276365.tif 000004
【図３】
2009276365.tif 000005
【図４】
2009276365.tif 000006
【図５】
2009276365.tif 000007
【図６】
2009276365.tif 000008
【図７】
2009276365.tif 000009
【図８】
2009276365.tif 000010
【図９】
2009276365.tif 000011