(57)【要約】【課題】雑音条件にかかわらず、一定の性能を示すことが可能な発話区間検出装置を提供する。【解決手段】発話区間検出装置８０は、音声データの各フレームに対し、複数種類の特徴量を算出する特徴量算出部１０２と、算出された複数種類の特徴量にそれぞれ所定の重み付けをして統合し、統合スコアを算出する特徴量統合部１０６と、統合スコアに基づいて、音声データのフレームごとに発話区間と非発話区間との識別を行なう発話区間識別部１０８と、各フレームに対し、発話区間と非発話区間とを示すラベルが付されたラベル付データ１２４を準備する基準データ記憶部１２６及びラベルファイル作成部１２２と、ラベル付データ１２４を学習データとし、発話区間識別部１０８における識別誤りを最適化するように、特徴量統合部１０６における複数種類の特徴量に対する重み付けを学習するための初期化制御部１３０及び重み更新部１２８とを含む。【選択図】      図２
2007017620.tif 000002
【特許請求の範囲】
【請求項１】
音声データ内の発話区間を検出するための発話区間検出装置であって、
前記音声データの各フレームに対し、予め定める複数種類の特徴量を算出するための特徴量算出手段と、
音声データの各フレームに対し、前記特徴量算出手段により算出された前記複数種類の特徴量にそれぞれ所定の重み付けをして、これら複数種類の特徴量を統合し、統合スコアを算出するための特徴量統合手段と、
前記特徴量統合手段により算出される統合スコアに基づいて、前記音声データのフレームごとに発話区間と非発話区間との識別を行なうための発話区間識別手段とを含み、
さらに、各フレームに対し、発話区間と非発話区間とを示すラベルが付されたラベル付データを準備するためのラベル付データ準備手段と、
前記ラベル付データ準備手段により準備された前記ラベル付データを学習データとし、前記発話区間識別手段における識別誤りが所定の基準を満たすように、前記特徴量統合手段における前記複数種類の特徴量に対する重み付けを学習するための重み学習手段とを含む、発話区間検出装置。
【請求項２】
前記複数種類の特徴量は、各フレームにおける音声信号の振幅レベルと、各フレームにおける音声信号のゼロ交差数と、各フレームにおける音声信号のスペクトル情報と、各フレームにおけるＧＭＭ対数尤度とからなる群から選ばれる、請求項１に記載の発話区間検出装置。
【請求項３】
前記ラベル付データ準備手段は、
前記発話区間検出装置の動作時に、所与の基準発話に対応する音声データを取得するための音声データ取得手段と、
前記所与の基準発話に対する音響モデルを予め準備するための手段と、
前記音声データ取得手段により取得された音声データに対し、前記所与の基準発話に対する音響モデルとの強制アライメントを行なうことにより、前記音声データ取得手段の取得した音声データの各フレームに対し、発話区間と非発話区間とのラベル付を行なうための手段とを含む、請求項１又は請求項２に記載の発話区間検出装置。
【請求項４】
前記特徴量統合手段は、前記音声データの各フレームに対し、前記特徴量算出手段により算出された前記複数種類の特徴量にそれぞれ所定の重み付けをして加算することにより、これら複数種類の特徴量を統合し、前記統合スコアを算出するための手段と、
前記所定の重み付けのための重みを記憶するための重み記憶手段とを含み、
前記重み学習手段は、前記ラベル付データ準備手段により準備された前記ラベル付データを学習データとし、前記特徴量統合手段における識別誤りが小さくなるように所定の修正基準にしたがって前記重み記憶手段に記憶された重みを更新するための重み更新手段を含む、請求項１〜請求項３のいずれかに記載の発話区間検出装置。
【請求項５】
前記重み更新手段は、前記ラベル付データ準備手段により準備された前記ラベル付データを学習データとし、前記発話区間識別手段における識別誤りに関する最小分類誤り学習により前記重み記憶手段に記憶された重みを更新するための手段を含む、請求項４に記載の発話区間検出装置。
【請求項６】
コンピュータにより実行されると、当該コンピュータを請求項１〜請求項５のいずれかに記載の発話区間検出装置として動作させる、コンピュータプログラム。
【請求項７】
請求項６に記載のコンピュータプログラムを記録した、コンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音声認識技術に関し、特に、音声認識に先立って音声信号中から発話区間を精度よく検出するための発話区間検出装置に関する。
【背景技術】
【０００２】
現在の音声認識技術における最も重要な課題の一つに、雑音環境下での頑健な認識の実現が挙げられる。この問題を解決するための手法として、スペクトルサブトラクションやＷｉｅｎｅｒフィルターなどの雑音抑圧手法、ＭＬＬＲ（ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ  ｌｉｎｅａｒ  ｒｅｇｒｅｓｓｉｏｎ）やＰＭＣ（ｐａｒａｌｌｅｌ  ｍｏｄｅｌ  ｃｏｍｂｉｎａｔｉｏｎ）による雑音へのモデル適応などのアプローチが知られている。
【０００３】
これらに加えて、発話区間検出は雑音環境下での音声認識において非常に重要な要素技術である。
【０００４】
図１に、発話区間検出の概念及び位置付けについて示す。図１の左側を参照して、音声認識の処理では、音声入力６０に対して発話区間検出処理６２を行なう。そして、発話区間と判定された区間に含まれる音声データに対して音声認識処理６４を行なう。
【０００５】
図１の右側を参照して、例えば、音声データ３０が、発話区間４２及び４６と、それ以外の区間４０、４４及び４８とを含むものとする。発話区間４２及び４６には大きな波形の動きが見られる。これらは話者の発話により生じたものでである。一方、区間４０、４４及び４８にも若干の波形が見られるが、これらは主として雑音データである。音声データ３０から発話区間４２及び４６のみに含まれる音声波形５０及び５２を切り出すのが発話区間検出処理６２である。より具体的には、発話区間検出処理６２では、発話区間の開始時と、発話区間の終了時とを決定する。そして発話区間の開始時と終了時との間に存在する音声データに対して音声認識をすることにより、音声認識結果５４及び５６が得られる。
【０００６】
図１から明らかなように、発話区間が正しく検出されなければ、それに続く認識処理が成功する可能性はきわめて低くなる。雑音部分まで含めて音声認識が行われるためである。したがって、発話区間をできるだけ正しく決定する技術が必要である。近年、発話区間検出に関する研究も盛んに行われ、これまでに様々な処理方法が提案されている。
【０００７】
特許文献１には、音声データのエネルギを測定することにより発話区間検出を行なう発話区間検出装置が開示されている。特許文献１に開示された技術では、音声データに含まれる環境雑音データの変化に追随して、発話区間検出のための音声エネルギのしきい値を変化させる。
【特許文献１】特開２００５−３１６３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記したように、発話区間検出のための方法は種々提案されている。特に、特許文献１に記載の技術は、雑音環境の変化にも頑健な発話区間検出が可能になると期待される。しかし、特許文献１に記載の技術にせよ、その他の技術にせよ、発話区間検出の精度にはさらに改良の余地があるというのが現状である。特に、それらの処理方法の多くは、性能が雑音条件（例えば雑音の種類）に大きく依存してしまうという問題がある。将来の音声認識技術は、種々の環境で使用されることが予想される。したがって、どのような雑音条件の下でも一定の性能を示す発話区間検出のための技術が求められている。
【０００９】
したがって本発明の一つの目的は、雑音条件にかかわらず、一定の性能を示すことが可能な発話区間検出装置を提供することである。
【００１０】
本発明の他の目的は、雑音条件に関わらず、従来の技術よりも高い性能を示すことが可能な発話区間検出装置を提供することである。
【００１１】
本発明のさらに他の目的は、雑音条件に関わらず、従来の技術よりも高精度で発話区間を検出することが可能な発話区間検出装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明の第１の局面に係る発話区間検出装置は、音声データ内の発話区間を検出するための発話区間検出装置であって、音声データの各フレームに対し、予め定める複数種類の特徴量を算出するための特徴量算出手段と、音声データの各フレームに対し、特徴量算出手段により算出された複数種類の特徴量にそれぞれ所定の重み付けをしてこれら複数種類の特徴量を統合し、統合スコアを算出するための特徴量統合手段と、特徴量統合手段により算出される統合スコアに基づいて、音声データのフレームごとに発話区間と非発話区間との識別を行なうための発話区間識別手段とを含み、さらに、各フレームに対し、発話区間と非発話区間とを示すラベルが付されたラベル付データを準備するためのラベル付データ準備手段と、ラベル付データ準備手段により準備されたラベル付データを学習データとし、発話区間識別手段における識別誤りが所定の基準を満たすように、特徴量統合手段における複数種類の特徴量に対する重み付けを学習するための重み学習手段とを含む。
【００１３】
複数種類の特徴量に対し、学習データに基づいて識別誤りが所定の基準を満たすように重み付けをし、それらを統合して統合スコアを得る。この統合スコアを用いて音声データの発話区間・非発話区間を識別する。複数種類の特徴量に、学習による重み付けを行なうため、雑音環境に応じて各特徴量に対する重みが適切に算出され、雑音環境にかかわりなく一定の精度で発話区間・非発話区間の識別を行なうことができる。
【００１４】
好ましくは、複数種類の特徴量は、各フレームにおける音声信号の振幅レベルと、各フレームにおける音声信号のゼロ交差数と、各フレームにおける音声信号のスペクトル情報と、各フレームにおけるＧＭＭ対数尤度とからなる群から選ばれる。
【００１５】
これら既存の特徴量のうちから選ばれる複数種類の特徴量に対し、学習による適切な重み付けを行なう。その結果、本発明に係る発話区間検出装置によれば、これら既存の特徴量を単独で用いた場合と比較して、大部分の場合により高い精度で発話区間の検出を行なうことができる。この結果は、実験によっても裏付けられた。
【００１６】
より好ましくは、ラベル付データ準備手段は、発話区間検出装置の動作時に、所与の基準発話に対応する音声データを取得するための音声データ取得手段と、所与の基準発話に対する音響モデルを予め準備するための手段と、音声データ取得手段により取得された音声データに対し、所与の基準発話に対する音響モデルとの強制アライメントを行なうことにより、音声データ取得手段の取得した音声データの各フレームに対し、発話区間と非発話区間とのラベル付を行なうための手段とを含む。
【００１７】
発話区間検出装置の動作時に、基準発話に対応する音声データが取得される。また、基準発話に対する音響モデルを用いた強制アライメントによってラベル付データが準備される。予め内容がわかっている基準発話に対する強制アライメントは比較的正確に行なえる。その結果、実際の発話区間検出装置の動作時に、正確な学習用データのラベル付を行なうことができるので、実際の雑音環境に応じた、正確な重み付けの算出が可能になる。
【００１８】
さらに好ましくは、特徴量統合手段は、音声データの各フレームに対し、特徴量算出手段により算出された複数種類の特徴量にそれぞれ所定の重み付けをして加算することにより、これら複数種類の特徴量を統合し、統合スコアを算出するための手段と、所定の重み付けのための重みを記憶するための重み記憶手段とを含み、重み学習手段は、ラベル付データ準備手段により準備されたラベル付データを学習データとし、特徴量統合手段における識別誤りが小さくなるように所定の修正基準にしたがって重み記憶手段に記憶された重みを更新するための重み更新手段を含む。
【００１９】
重み更新手段は、ラベル付データ準備手段により準備されたラベル付データを学習データとし、発話区間識別手段における識別誤りに関する最小分類誤り学習により重み記憶手段に記憶された重みを更新するための手段を含んでもよい。
【００２０】
最小分類誤り学習により重みを学習することにより、基準発話の数が少なくてもよい精度が得られることが実験から判明した。
【００２１】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを上記したいずれかの発話区間検出装置として動作させる。
【００２２】
本発明の第３の局面に係る記録媒体は、このコンピュータプログラムを記録した、コンピュータ読取可能な記録媒体である。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の一実施の形態に係る発話区間検出装置について、その構成と動作、並びにコンピュータによる実現について説明する。本実施の形態に係る発話区間検出装置は、４種類の特徴量に対してそれぞれ重みを割当て、それら重み付けられた特徴量を統合した値によって発話区間の検出を行なう点、及び特徴量に割当てる重みを、動作開始直後に最適化する点に特徴がある。
【００２４】
以下の説明及び図面においては、同じ部品には同じ参照番号を付してある。それらの機能及び名称も同じである。したがってそれらについての詳細な説明は繰返さない。また以下の説明では、発話区間検出装置がデスクトップの音声応答システムの一部をなすものとして説明するが、本発明に係る発話区間検出装置がそのような用途に限定されず、一般の音声認識処理など、発話区間の検出を行なうことが必要な全てのシステムに適用可能なことはいうまでもない。なお、本明細書において最適化とは、必ずしも最も好ましい条件に装置を設定することに限らず、初期状態から多少とも好ましい状態に装置を設定する場合も含むものとする。
【００２５】
さらに、以下の実施の形態では、特徴量として４種類を用いる。しかし本発明はそのような実施の形態には限定されず、複数種類の特徴量を用いるものであればどのようなものでもよい。また、以下の実施の形態では、これら特徴量に割当てられる重みの初期値を全て同じ値としている。しかし本発明はそのような実施の形態には限定されず、予め実験により定めた特定の値を初期値としてもよいし、ランダムに初期値を定めるようにしてもよい。
【００２６】
また、以下の説明では、音声を処理する際の単位となるフレームの長さは、１００ｍｓｅｃと２５ｍｓｅｃとの２種類を使用し、特徴量の種類により使い分ける。これは、この程度の長さであれば、各特徴量算出の際に音声データに変化がなく一定であるとみなすことができるためである。したがってフレームの長さはこれらに限定されず、処理に支障が生じない範囲で適宜選択できる。フレームのシフト時間は１０ｍｓｅｃとするが、このシフト時間についても処理に支障が生じない範囲で適宜選択できる。
【００２７】
＜構成＞
図２に、本発明の一実施の形態に係る発話区間検出装置８０の構成を、ブロック図形式で示す。本実施の形態に係る発話区間検出装置８０は、例えば音声認識装置及び音声合成機能を持つ音声応答システムの一部をなすものとし、音声応答システムの他の機能部分と共通の部品を持つ。
【００２８】
図２を参照して、この発話区間検出装置８０は、マイクロホン８２の出力するアナログ信号をサンプリングし、量子化し、デジタル化してデジタルの音声信号として出力するためのＡ／Ｄ変換処理部８６の出力を受けて発話区間検出を行なうための発話区間検出処理部９０と、発話区間検出装置８０の電源投入時に発話区間検出処理部９０で使用する重みを最適化する処理を行なうための重み最適化部９２とを含む。重み最適化部９２は、重み最適化処理のために、所定の基準発話を発話するようにユーザに促すメッセージを発生させるための音声データを出力し、音声合成装置９４及びスピーカ８４を介してメッセージを出力する。
【００２９】
発話区間検出処理部９０は、Ａ／Ｄ変換処理部８６の出力するデジタルの音声信号を、１００ｍｓｅｃの長さで１０ｍｓｅｃずつのシフト量でフレーム化するための第１のフレーム化処理部８７と、Ａ／Ｄ変換処理部８６の出力する音声信号を、２５ｍｓｅｃの長さで１０ｍｓｅｃずつのシフト量でフレーム化するための第２のフレーム化処理部８８とを含む。
【００３０】
発話区間検出処理部９０は、第１のフレーム化処理部８７の出力するフレームデータから２種類の特徴量を、第２のフレーム化処理部８８の出力するフレームデータからさらに２種類の特徴量を、それぞれ算出し出力するための特徴量算出部１０２と、重み最適化部９２から与えられるサンプルデータの特徴量を受ける第１の入力１３２及び特徴量算出部１０２の出力する特徴量を受ける第２の入力１３４を有し、重み最適化部９２から与えられる制御信号によって第１の入力１３２及び第２の入力１３４のいずれかを選択して出力するための選択部１００と、上記した４種類の特徴量に対してそれぞれ割当てられる重みを記憶するための重み記憶部１０４と、重み記憶部１０４に記憶された重みを用いて、選択部１００から与えられる４種類の特徴量を統合して統合スコアを算出するための特徴量統合部１０６と、特徴量統合部１０６から得られた統合スコアを予め学習済のしきい値と比較することにより各フレームについて発話区間か非発話区間かを識別し、各フレームにラベルを付して出力するための発話区間識別部１０８とを含む。
【００３１】
特徴量算出部１０２は、第１のフレーム化処理部８７の出力するフレームデータの振幅レベルに基づいて音声波形の振幅レベルの特徴量ｆ(1)を算出するための振幅レベル特徴量算出部１４０と、第１のフレーム化処理部８７の出力するフレームデータのゼロ交差数に基づいて、ゼロ交差数の特徴量ｆ(2)を算出するためのゼロ交差数特徴量算出部１４２と、第２のフレーム化処理部８８の出力するフレームデータのスペクトル情報に基づき、スペクトル情報特徴量ｆ(3)を算出するためのスペクトル情報特徴量算出部１４４と、第２のフレーム化処理部８８の出力するフレームデータのＧＭＭ対数尤度に基づいて、ＧＭＭ対数尤度特徴量ｆ(4)を算出するためのＧＭＭ対数尤度特徴量算出部１４６とを含む。以下、特徴量算出部１０２の各部で算出される特徴量について説明する。
【００３２】
（１）音声波形の振幅レベル
音声波形の振幅レベルは、発話区間検出に用いられる最も基本的な特徴であり、様々な音声認識システムに実装されている。ｔ番目のフレームに対する振幅レベルＥtは、以下の式で求められる。
【００３３】
【数１】
2007017620.tif 000003
ここで、ｓnはフレーム内のサンプル信号に長さＮのハミング窓をかけた値である。
【００３４】
本実施の形態では、雑音区間における特徴量が既知であるものとし、振幅レベルについては雑音レベルとの比を用いる。すなわち、振幅レベル特徴量算出部１４０が算出する特徴量ｆt(1)は、は以下のようになる。
【００３５】
【数２】
2007017620.tif 000004
ただし、Ｅnは雑音区間での振幅レベル値である。なお、この特徴量の算出にあたっては、フレーム長１００ｍｓｅｃのデータを用いる。
【００３６】
（２）ゼロ交差数（ＺＣＲ）
ゼロ交差数は、一定時間内に信号レベルがゼロと交わる回数である。音声区間ではこの値が大きくなる。したがってこの現象を利用して発話区間検出を行なうことができる。ただし実際にはゼロの代わりに一定のバイアス値を設定し、バイアスの範囲内での交差はカウントしないのが一般的である。この特徴量をｆt(2)とすると、ゼロ交差数特徴量算出部１４２が算出する特徴量ｆt(2)も振幅レベルと同様に雑音区間との比を用い、以下のように表される。
【００３７】
【数３】
2007017620.tif 000005
ここでＺtは入力フレームのゼロ交差数、Ｚnは雑音区間でのゼロ交差数である。この特徴量の算出にあたっても、フレーム長１００ｍｓｅｃのものを用いる。
【００３８】
（３）スペクトル情報
スペクトルから特徴を抽出して発話区間検出に利用する技術は近年盛んに行われている。音声と雑音とのスペクトル例を図３に示す。図３に示す例では、音声１５０は雑音１５２よりも低周波数領域に分布している成分が多い。高周波数領域では両者はほぼ同じである。もちろん、スペクトルは音声の場合も雑音の場合も種類により季節により異なってくる。本実施の形態では、周波数領域をいくつかのチャネルに分割し、各チャネルごとにＳ／Ｎ比を計算する。こうして算出したＳ／Ｎ比の平均値をスペクトル情報による特徴量とする。
【００３９】
スペクトル情報特徴量算出部１４４が算出する特徴量ｆt(3)は以下の式で表される。
【００４０】
【数４】
2007017620.tif 000006
ここで、Ｂはチャネルの数を、Ｓbtは入力フレームにおけるチャネルｂの平均パワーを、Ｎbは雑音区間におけるチャネルｂの平均パワーを、それぞれ表す。この特徴量の算出にはフレーム長２５ｍｓｅｃのデータを用いる。
【００４１】
（４）ＧＭＭ対数尤度
ガウス混合分布（ＧＭＭ）は、統計的学習が容易なことから近年発話区間検出によく用いられている。ここでは音声のＧＭＭと雑音のＧＭＭとの対数尤度比を特徴量として用いる。ＧＭＭ対数尤度特徴量算出部１４６が算出する特徴量ｆt(4)は以下の式で示される。
【００４２】
【数５】
2007017620.tif 000007
ここでΘs及びΘnはそれぞれ音声ＧＭＭ及び雑音ＧＭＭのモデルパラメータセットである。このデータの算出にもフレーム長２５ｍｓｅｃのデータを用いる。
【００４３】
再び図２を参照して、重み最適化部９２は、重み記憶部１０４に記憶される重みを最適化する際に、発話者に対して所定の基準発話を行なうように促すメッセージと、当該基準発話に対する音声モデルとを予め記憶し、当該メッセージを音声合成装置９４に与えるための基準データ記憶部１２６と、前述したメッセージにしたがってユーザが発話したことにより得られるサンプルの音声データから得られた特徴量を、特徴量算出部１０２から受け取って記憶するためのサンプルデータ記憶部１２０と、サンプルデータ記憶部１２０に記憶されたサンプルの音声データから得た特徴量に対し、基準データ記憶部１２６に記憶された基準発話の音声モデルとの間の強制アライメント処理を行なうことにより、サンプルデータの各フレームに対して発話区間／非発話区間の識別を行ない、発話区間／非発話区間のラベルを記憶したラベルファイルを作成するためのラベルファイル作成部１２２と、ラベルファイル作成部１２２により作成されたラベルファイルを記憶するためのラベルファイル記憶部１２４とを含む。
【００４４】
重み最適化部９２はさらに、ラベルファイル記憶部１２４に記憶されたラベルファイルと、サンプルデータの特徴量を特徴量統合部１０６で統合して得られたスコアに基づき発話区間識別部１０８が識別して得られた各フレームに対するラベルとに基づき、両者の間の相違（発話区間識別部１０８の識別誤り）を最小化するように統合重みを再計算するための処理を行ない、重み記憶部１０４に記憶された重みを更新するための重み更新部１２８と、発話区間検出装置８０に電源が投入されリセット信号が与えられたことに応答して、重み最適化部９２内の各部、及び発話区間検出処理部９０内の選択部１００と重み記憶部１０４とを制御して、最小誤り分類（ＭＣＥ）学習により重み記憶部１０４に記憶された重みを最適化するための処理を行なうための初期化制御部１３０とを含む。
【００４５】
−ＭＣＥ学習を用いた重み最適化−
上記した４つの特徴量ｆt(1)，ｆt(2)，ｆt(3)，ｆt(4)に対し、それぞれ重みｗ1，ｗ2，ｗ3，ｗ4を付けて統合する。ある時刻ｔにおける入力フレームｘtに対する統合スコアＦ（ｘt）は以下の式で表される。
【００４６】
【数６】
2007017620.tif 000008
また、重みｗkは以下の制約条件を満たすものとする。
【００４７】
【数７】
2007017620.tif 000009
なお、本実施の形態では重みの初期値は全て同じ値で０．２５とする。
【００４８】
この発話区間検出装置８０を雑音環境に適応させるため、重み最適化部９２はＭＣＥ学習を用いて統合のための重みｗkを最適化する。識別学習には、一般化確率的降下法（ＧＰＤ）を用いる。
【００４９】
・損失関数の定義
学習データｘtに対する誤分類測度は以下のように表される。
【００５０】
【数８】
2007017620.tif 000010
ここでｋは正解クラスであり、音声（ｓ）又は非音声（ｎ）に相当する。ｍは非正解クラスである。ｄk（ｘk）の値が負のときにはｘtが正しく分類されたことを示す。
【００５１】
次に、誤分類測度に０、１のステップ関数を近似するシグモイド関数を適用して、次の式により損失を定義する。
【００５２】
【数９】
2007017620.tif 000011
ここで、γはシグモイド関数の傾きを表す。確率的降下法に基づいて損失関数を最小にすることが識別学習の目標となる。
【００５３】
・重みの最適化
重みの更新は以下の通りに行なう。振幅レベル、ゼロ交差数、スペクトル情報、及びＧＭＭ対数尤度から得た特徴量に対する重みを前述のとおりそれぞれｗ1、ｗ2、ｗ3及びｗ4とする。本実施の形態では、これら重みが常に０より大きくなければならないという制約条件を設けている。ＭＣＥ学習による更新の過程において常にこの制約条件が満たされることを保証するために、重みｗ＝｛ｗ1，ｗ2，ｗ3，ｗ4｝を以下の新しいセット〜ｗに変換する。なお、本明細書のテキスト中において使用される「〜」は、式中では直後の文字の直上に記載してあるものである。
【００５４】
【数１０】
2007017620.tif 000012
〜ｗは、学習データが入力されるごとに以下のように更新される。ここで、εｔは学習のステップを表し、データが入力されるたびに単調に減少していくものとする。
【００５５】
【数１１】
2007017620.tif 000013
式（１１）の右辺最終項は、以下のように展開される。
【００５６】
【数１２】
2007017620.tif 000014
ここで、
【００５７】
【数１３】
2007017620.tif 000015
であり、さらに式（１２）の最終因数の要素は次のように表される。
【００５８】
【数１４】
2007017620.tif 000016
このようにして、〜ｗの学習が行なわれる。
【００５９】
〜ｗの学習が終了したら、〜ｗをｗに以下の式で逆変換する。
【００６０】
【数１５】
2007017620.tif 000017
ここで、式（１６）は制約条件（２）を満たすための正規化処理も含んでいる。
【００６１】
・発話区間の識別
こうして、重みｗ1，ｗ2，ｗ3，ｗ4を最適化した後、統合スコアＦ（ｘt）を求め、以下の二つの識別関数を利用して音声（発話区間）か非音声（非発話区間）かの識別を行なう。ＭＣＥ学習では、識別する各クラスごとに識別関数を用意する必要があるため、このように二つの識別関数を用いている。
【００６２】
【数１６】
2007017620.tif 000018
ここで、θは統合スコアのしきい値であり、予め定められている。ｇs（ｘt）がｇn（ｘt）より大きい場合にはｘtは音声フレームと判定され、そうでない場合は非音声フレームと判定される。この判定はフレームごとに行なう。
【００６３】
図４に、本実施の形態に係る重み最適化部９２をコンピュータプログラムで実現する際の、プログラムの制御構造をフローチャート形式で示す。図４を参照して、電源が投入されると、ステップ１６０で発話区間検出装置８０の各部を初期化（クリア）する処理を行なう。続いてステップ１６２において、発話区間検出装置８０の状態を初期状態に設定する。すなわち、初期化制御部１３０は選択部１００に指示してサンプルデータ記憶部１２０からの出力を受けるように接続を設定する。
【００６４】
ステップ１６４において、参照データの音声合成を行なう。すなわち、初期化制御部１３０は音声合成装置９４に指令を出し、基準データ記憶部１２６から基準発話の発生を促すメッセージのテキストを読出させる。音声合成装置９４は、このメッセージのテキストに対する音声合成を行ない、音声信号をスピーカ８４に与える。スピーカ８４はこの音声信号を音声に変換する。このメッセージは、例えば「『こんにちは』」を３回繰返してください。」というようなメッセージである。
【００６５】
ステップ１６６において、メッセージに応答してユーザが発話する基準発話の入力をマイクロホン８２及びＡ／Ｄ変換処理部８６から受け、ステップ１６８において４種類の特徴量を算出する。この特徴量はサンプルデータ記憶部１２０に記憶される。
【００６６】
ステップ１７０において、サンプルデータ記憶部１２０に記憶されたサンプルデータの特徴量に対し、基準データ記憶部１２６に記憶された音響モデルとの間の強制アライメントを行ない、サンプルデータのうちの発話区間と非発話区間とをフレームごとに識別する。ただしこのとき、発話区間と非発話区間とをそれぞれ大きくまとめるためにスムージング処理を行なう。この識別結果に応じ、フレームごとに発話区間／非発話区間を特定するラベルからなるラベルファイルを作成し、ラベルファイル記憶部１２４に記憶する。
【００６７】
ステップ１７２では、強制アライメントの結果が、妥当なものか否かをアライメントの尤度により判定する。強制アライメントの結果が妥当でないときには再度ステップ１６０に戻り、以上の処理を繰返す。強制アライメントの結果が妥当なときにはステップ１７４に進む。
【００６８】
ステップ１７４では、ＭＣＥ学習による重みの算出を行なう。具体的には、初期化制御部１３０は、第１の入力１３２に与えられる特徴量を算出するように選択部１００を制御し、かつ前述したＭＣＥ学習にしたがってラベルファイル記憶部１２４に記憶されたラベルファイルのラベルと、選択部１００から与えられる特徴量から求められた統合スコアによってフレームごとに識別された発話区間／非発話区間の識別結果（ラベル）とを比較し、相互の誤りが最小になるように重み記憶部１０４、特徴量統合部１０６、発話区間識別部１０８、及び重み更新部１２８を制御する。
【００６９】
重みの算出が終わったら、最終的に得られた重みをステップ１７６において重み記憶部１０４に再度記憶する。ステップ１７８で、発話区間検出装置８０の状態を通常状態に設定する。すなわち、第２の入力１３４からの特徴量を選択するように、選択部１００を設定する。したがって以後、発話区間検出処理部９０は、マイクロホン８２、Ａ／Ｄ変換処理部８６、第１のフレーム化処理部８７、第２のフレーム化処理部８８、及び特徴量算出部１０２によって算出された特徴量に基づき、リアルタイムで発話区間の検出を行なうようになる。また同時に初期化制御部１３０は、サンプルデータ記憶部１２０、ラベルファイル作成部１２２、及び重み更新部１２８の動作を停止させる。すなわち、以後の処理では重み記憶部１０４に記憶された重みは更新されなくなる。
【００７０】
＜動作＞
以上に構成を説明した発話区間検出装置８０の動作について以下に説明する。予め、基準データ記憶部１２６には基準発話の発話を促すためのメッセージのテキストデータと、基準発話に対する強制アライメントを行なうための音声モデルとが記憶されているものとする。実際の動作時、発話区間検出装置８０の電源が投入されると、図２に示す初期化制御部１３０は、発話区間検出装置８０の各部を初期化する。さらに初期化制御部１３０は、発話区間検出処理部９０の選択部１００を初期状態に設定する。すなわち、第１の入力１３２への入力を選択するように設定する。
【００７１】
初期化制御部１３０は続いて、音声合成装置９４に対し指示を与え、基準データ記憶部１２６に記憶されている基準発話を発話することをユーザに促すためのメッセージの音声合成を行わせるようにする。これに応答して、音声合成装置９４は基準データ記憶部１２６からメッセージのテキストを読出し、音声合成を行なって音声信号を生成しスピーカ８４に与える。スピーカ８４はこの音声信号を音声に変換する。ユーザは、この音声に促され、所定の発話を行なう。
【００７２】
この音声は、マイクロホン８２によりアナログ音声信号に変換され、Ａ／Ｄ変換処理部８６に与えられる。Ａ／Ｄ変換処理部８６は、音声信号をサンプリングし、量子化し、さらにデジタル化して第１のフレーム化処理部８７及び第２のフレーム化処理部８８に与える。
【００７３】
第１のフレーム化処理部８７は、入力される音声データを１００ｍｓｅｃ単位でフレーム化し、振幅レベル特徴量算出部１４０及びゼロ交差数特徴量算出部１４２に与える。第２のフレーム化処理部８８は入力される音声を２５ｍｓｅｃ単位でフレーム化し、スペクトル情報特徴量算出部１４４及びＧＭＭ対数尤度特徴量算出部１４６に与える。フレームのシフト時間は１０ｍｓｅｃである。
【００７４】
振幅レベル特徴量算出部１４０、ゼロ交差数特徴量算出部１４２、スペクトル情報特徴量算出部１４４、及びＧＭＭ対数尤度特徴量算出部１４６はそれぞれ、与えられるフレームデータに対して振幅レベル特徴量（パワー）、ゼロ交差数、スペクトル情報、及びＧＭＭ対数尤度比を算出し、サンプルデータ記憶部１２０に与える。サンプルデータ記憶部１２０は、これら特徴量をフレームごとに記憶する。
【００７５】
続いて初期化制御部１３０は、ラベルファイル作成部１２２を制御してラベルファイルの作成を行なう。すなわち、ラベルファイル作成部１２２は、基準データ記憶部１２６に記憶されている、初期化のための音響モデルに対し、サンプルデータ記憶部１２０に記憶されている特徴量を用いて強制的なアライメントを行ない、サンプルデータ中の発話開始点と発話終了点とを特定する。このとき、発話区間と非発話区間との境界で両者ができるだけ混在しないよう、スムージング処理を行なう。このような強制アライメント処理は、音声認識の一形態ということができるが、この実施の形態での初期化時のように発話内容が予め判っている場合、この処理は容易に実現できる。
【００７６】
ラベルファイル作成部１２２は、このようにしてサンプルデータの各フレームごとに発話区間／非発話区間のラベルを付ける。このラベルをフレームの順番に並べてラベルファイルが作成される。このラベルファイルは、図２に示すラベルファイル記憶部１２４に記憶される。
【００７７】
初期化制御部１３０は、ラベルファイルの作成が完了すると、重み記憶部１０４、特徴量統合部１０６、発話区間識別部１０８、及び重み更新部１２８を制御して、重みを最適化するためのＭＣＥ学習処理を実行させる。ＭＣＥ学習処理が終了すると、得られた重みを改めて重み記憶部１０４に記憶させる。さらに初期化制御部１３０は、第２の入力１３４の入力を選択するように選択部１００を設定し、サンプルデータ記憶部１２０、ラベルファイル作成部１２２、及び重み更新部１２８の動作を停止させる。
【００７８】
この後は、マイクロホン８２及びＡ／Ｄ変換処理部８６によりデジタル化された音声信号は、第１のフレーム化処理部８７及び第２のフレーム化処理部８８でフレーム化され、特徴量算出部１０２に与えられる。特徴量算出部１０２は前述した４種類の特徴量を算出する。この特徴量は、今度はサンプルデータ記憶部１２０ではなく選択部１００を介して特徴量統合部１０６に与えられる。特徴量統合部１０６は、与えられた４種類の特徴量を重み記憶部１０４に記憶された重みを用いて統合し、得られた統合スコアを発話区間識別部１０８に与える。発話区間識別部１０８は、この統合スコアをしきい値と比較し、しきい値以上の統合スコアを示すフレームを発話区間、それ以外を非発話区間と判定し、フレームに発話区間／非発話区間を示すラベルを付して図示しない音声認識装置に与える。この際、発話区間の判定結果に対してスムージングを行なう。
【００７９】
以上のように本実施の形態に係る発話区間検出装置８０では、４種類の特徴量を用い、それらを統合して得られる統合スコアに基づいて発話区間／非発話区間の識別を行なう。統合の際の重みは、発話区間検出装置８０の電源投入時に、基準データを用いて最適化される。この最適化により、雑音環境に応じた重みの値が決定される。したがって、雑音環境の種類に応じて、発話区間／非発話区間の識別が正確に行なえるよう、４種類の特徴量に対する重みが適宜調整される。その結果、雑音の種類にかかわらず、常に一定の効果を得ることができるようになる。しかも、後に示す実験結果から分かるように、４種類の特徴量を単独で用いる装置と比較すると、ほとんど全ての条件で最も優れた精度を得ることができる。したがって、雑音の種類にかかわらず、従来の技術よりも高い性能を示すことが可能になる。
【００８０】
＜実験と評価＞
−タスク及び実験条件−
本実施の形態に係る発話区間検出装置８０の有効性を評価するために、雑音環境下における発話検出実験を行なった。音声データは、１０人の話者の発話を防音室で収録したもの（１６ｋＨｚ，１６ビット）を用いた。１人あたりの発話は１０回で、各発話は１秒から３秒程度である。各発話の間には３秒程度のポーズが挿入されている。雑音として、センサールーム、工作機械、話し声の３種類を用意し、これを音声データに重畳することでテストデータを作成する。センサールームの雑音は比較的静かで、エアコンの音が聞こえる程度のものである。工作機械の雑音は、ものを切断するような比較的高周波の成分が多いものである。話し声の雑音は、背景で話す人の声を含み、発話区間検出の対象となる発話と重なる周波数帯域の成分が多いものである。
【００８１】
各雑音に対して重畳時のＳ／Ｎ比を１０ｄｂ及び１５ｄｂとした３種類のデータを作成した。したがって、テストデータのサンプルは計６００（３雑音×２Ｓ／Ｎ比×１０人×１０発話）発話となる。重みの学習に用いるデータは、テストデータと同じ話者による別の１０発話とする。
【００８２】
本実施の形態では、式（２）、（３）及び（４）において、雑音の特徴量を計算する必要がある。今回の実験では、テストデータのうち、音声が含まれていない最初の１秒間を用いてそれらを計算した。また、学習のためのラベルファイルは、強制アライメントでなく人手で作成した。
【００８３】
次に、発話区間検出に用いた特徴について述べる。フレーム長は振幅レベル及びゼロ交差数においては１００ｍｓｅｃ、ＧＭＭ対数尤度及びスペクトル情報については２５ｍｓｅｃとした。フレーム周期は各特徴とも１０ｍｓｅｃである。スペクトル情報の分割チャネル数は２０とする。ＧＭＭには３２混合で対角共分散行列のガウス分布を用い、その入力は１２次元のメルケプストラム及びその一次差分（Δ）と、Δ-パワーとからなる２５次元とする。音声ＧＭＭの学習には既存の新聞記事読上げコーパスの３０４人による約３２０００発話、雑音ＧＭＭの学習にはセンサールーム、オフィス、廊下の３種類の雑音(各２０分程度)をそれぞれ用いた。ここで、センサールームのみが発話区間検出の評価用データにも用いられている雑音である。ゼロ交差数のバイアス値は３００である。
【００８４】
発話区間検出の評価尺度には、フレームベースでのｆａｌｓｅ  ａｌａｒｍ  ｒａｔｅ （ＦＡＲ)及びｆａｌｓｅ  ｒｅｊｅｃｔｉｏｎ  ｒａｔｅ(ＦＲＲ)を用いる。ＦＡＲは全非音声フレームにおいて誤って音声と認識されたフレームの割合、ＦＲＲは全音声フレームにおいて誤って非音声と認識されたフレームの割合をそれぞれ示す。
【００８５】
−実験結果−
６パターンの雑音条件に対する実験結果を図５から図１０に示す。図５はセンサールーム（１０ｄｂ）、図６はセンサールーム（１５ｄｂ）、図７は工作機械（１０ｄｂ）、図８は工作機械（１５ｄｂ）、図９は話し声（１０ｄｂ）、及び図１０は話し声（１５ｄｂ）の結果を示す。
【００８６】
それぞれの図は各特徴を単独で用いて発話区間検出を行なった結果と、本実施の形態での結果とを重ねて表している。図中の「■」をプロットした線２００、２１０、２２０、２３０、２４０及び２５０はいずれも、本実施の形態に係る発話区間検出の結果を示す。「振幅」、「スペクトル」、「ゼロ交差数」、及び「ＧＭＭ」はそれぞれ、振幅レベル、スペクトル情報、ゼロ交差数、及びＧＭＭ対数尤度を単独で用いたときの発話区間検出の結果を示す。いずれの図においても、横軸はＦＡＲ、縦軸はＦＲＲに対応する。なお図７および図８において、ゼロ交差数を用いた結果は図の範囲外にあり表れていない。図中のプロットは識別関数（発話区間識別部１０８における発話区間検出）のしきい値に対応しており、しきい値を変えながら実験を行なうことによって図のようなオペレーション曲線を得た。
【００８７】
まず、単独の特徴について考察する。センサールーム雑音は雑音ＧＭＭの作成に用いられたためＧＭＭ対数尤度の結果が最もよくなることが期待されたが、実際にはゼロ交差数が最も高い性能を示した。また、工作機械ではスペクトル情報、話し声ではＧＭＭ対数尤度が最も高い発話区間検出性能を示した。
【００８８】
これらの結果から、雑音環境に応じて最適な特徴量が異なることが分かる。それに対して、本実施の形態に係る発話区間検出装置８０は、全ての雑音環境において単独特徴を上回る結果を示した。これより、提案手法の有効性が示された。
【００８９】
次に、重み学習のために用いた音声データを評価する、いわゆるクローズド実験を行なった。センサールーム（Ｓ／Ｎ比：１０ｄｂ）での実験結果を図５の「クローズド」で示されたオペレーション線に示す。図より、「クローズド」、「本実施の形態」の結果がほとんど同じであることが分かる。他の雑音条件についても同様の結果が得られた。これは、本実施の形態による発話区間検出が発話の変動に対して頑健であることを表している。
【００９０】
また、重み適応の有効性を確かめるために、本実施の形態に係る発話区間検出装置８０において重みを最適化する前の状態(すなわち全重みが等しい場合)で実験を行なった結果と最適化後の結果とを比較した。同時に、適応に用いる発話数を１、５、及び１０と変化させて実験を行ない、それに伴う性能の変化を調べた。
【００９１】
各雑音を１０ｄｂで重畳したテストデータに対する実験結果をＥＥＲ（Ｅｑｕａｌ  Ｅｒｒｏｒ  Ｒａｔｅ）でテーブル１に示す。ＥＥＲはＦＡＲとＦＲＲとが等しくなる点の値である。
【００９２】
【表１】
2007017620.tif 000019
表１から分かるように、センサールームでは重み適応の前後で性能の変化がほとんど見られなかった。一方、工作機械と話し言葉とでは検出能力が改善された。全体としても雑音環境への適応の効果が見られる。適応に用いた発話数において比較すると、１発話より１０発話の方が若干性能が向上したが、大きな違いは見られなかった。これより、１回の発話でも重みの学習が十分に有効であることが判った。
【００９３】
＜コンピュータによる実現＞
本実施の形態に係る発話区間検出装置８０のうち、特に重み最適化部９２及び発話区間検出処理部９０は、コンピュータハードウェア及び当該コンピュータハードウェア上で実行されるコンピュータプログラムにより実現可能である。図１１は重み最適化部９２及び発話区間検出処理部９０を実現するための一例として、コンピュータシステム３３０の外観を示し、図１２はコンピュータシステム３３０の内部構成を示す。
【００９４】
図１１を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２と、マイクロホン３７０（図２に示すマイクロホン８２に相当）と、スピーカ３７２（図２に示すスピーカ８４に相当）とを含む。
【００９５】
図１２を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０と、マイクロホン３７０及びスピーカ３７２とバス３６６とに接続されるサウンドボード３６８とを含む。コンピュータシステム３３０はさらに、図示しないプリンタを含んでもよい。
【００９６】
ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００９７】
コンピュータシステム３３０に発話区間検出装置８０としての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【００９８】
このプログラムは、コンピュータ３４０にこの実施の形態に係る発話区間検出装置８０として動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）もしくはサードパーティのプログラム、またはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。従って、このプログラムはこの実施の形態のシステムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記した発話区間検出装置８０としての動作を実行する命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰返さない。
【００９９】
なお、例えば図２に示すラベルファイル記憶部１２４及び基準データ記憶部１２６はハードディスク３５４を用いて実現され、サンプルデータ記憶部１２０及び重み記憶部１０４はＲＡＭ３６０により実現される。また、図２に示すＡ／Ｄ変換処理部８６の機能は、サウンドボード３６８により提供される。
【０１００】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１０１】
【図１】発話区間検出の概念を示す図である。
【図２】本発明の一実施の形態に係る発話区間検出装置８０の構成を示すブロック図である。
【図３】雑音と音声とのスペクトルの例を示すグラフである。
【図４】本発明の一実施の形態に係る発話区間検出装置８０における、重みの最適化処理を実現するためのコンピュータプログラムの制御構造を示すフローチャートである。
【図５】センサールームの雑音をＳ／Ｎ比１０ｄｂで音声に重畳したときの実験結果を示す図である。
【図６】センサールームの雑音をＳ／Ｎ比１５ｄｂで音声に重畳したときの実験結果を示す図である。
【図７】工作機械の雑音をＳ／Ｎ比１０ｄｂで音声に重畳したときの実験結果を示す図である。
【図８】工作機械の雑音をＳ／Ｎ比１５ｄｂで音声に重畳したときの実験結果を示す図である。
【図９】話し声の雑音をＳ／Ｎ比１０ｄｂで音声に重畳したときの実験結果を示す図である。
【図１０】話し声の雑音をＳ／Ｎ比１５ｄｂで音声に重畳したときの実験結果を示す図である。
【図１１】本発明の一実施の形態に係る発話区間検出装置８０を実現するコンピュータシステムの外観図である。
【図１２】図１１に示すコンピュータのブロック図である。
【符号の説明】
【０１０２】
８０  発話区間検出装置
８２  マイクロホン
８４  スピーカ
８６  Ａ／Ｄ変換処理部
８７  第１のフレーム化処理部
８８  第２のフレーム化処理部
９０  発話区間検出処理部
９２  重み最適化部
９４  音声合成装置
１００  選択部
１０２  特徴量算出部
１０４  重み記憶部
１０６  特徴量統合部
１０８  発話区間識別部
１２０  サンプルデータ記憶部
１２２  ラベルファイル作成部
１２４  ラベルファイル記憶部
１２６  基準データ記憶部
１２８  重み更新部
１３０  初期化制御部
１４０  振幅レベル特徴量算出部
１４２  ゼロ交差数特徴量算出部
１４４  スペクトル情報特徴量算出部
１４６  ＧＭＭ対数尤度特徴量算出部
【図１】
2007017620.tif 000020
【図２】
2007017620.tif 000021
【図３】
2007017620.tif 000022
【図４】
2007017620.tif 000023
【図５】
2007017620.tif 000024
【図６】
2007017620.tif 000025
【図７】
2007017620.tif 000026
【図８】
2007017620.tif 000027
【図９】
2007017620.tif 000028
【図１０】
2007017620.tif 000029
【図１１】
2007017620.tif 000030
【図１２】
2007017620.tif 000031