(57)【要約】【課題】  音声部分と非音声（雑音）部分を含む入力信号の音声端点を検出する方法を提供する。【解決手段】  音声部分と非音声部分を含むデジタル入力信号の信号フレームを処理して信号フレームから特徴を抽出することと、処理後の前記信号フレームの特性のうち少なくとも１つを雑音モデル及び音声モデルと比較して、処理後の信号フレームが音声を含むか又は雑音を含むかを判定することと、音声又は雑音の判定を示す信号を生成することと、処理後の信号フレームが音声を含むと判定されたか又は雑音を含むと判定されたかに応じて、それぞれ音声モデル又は雑音モデルを更新することとを備えている。一部の態様では、この方法は、求められたフレーム間相関におけるゼロ交差の数が閾値よりも大きいか否かに応じて音声モデル及び雑音モデルをリセットすることをさらに備えている。【選択図】  図１
2004272201.tif 000002
【特許請求の範囲】
【請求項１】
音声部分と非音声（雑音）部分を含む入力信号の音声端点を検出する方法であって、
音声部分と非音声部分を含むデジタル入力信号の信号フレームを処理して信号フレームから特徴を抽出することと、
処理後の前記信号フレームの特性のうち少なくとも１つを雑音モデル及び音声モデルと比較して、処理後の信号フレームが音声を含むか又は雑音を含むかを判定することと、
音声又は雑音の判定を示す信号を生成することと、
処理後の信号フレームが音声を含むと判定されたか又は雑音を含むと判定されたかに応じて、それぞれ前記音声モデル又は前記雑音モデルを更新することを備えた方法。
【請求項２】
請求項１の方法において、
音声を含むフレームが選択した数だけ連続して発生したことを前記比較が示す時刻を求めることと、
連続して発生することが示された前記音声を含むフレームのうちの現フレームと、現フレームより前に入力したフレームとの間のフレーム間相関を求めることと、
求められた前記フレーム間相関におけるゼロ交差の数が閾値よりも大きいか否かに応じて前記音声モデル及び前記雑音モデルをリセットすることをさらに備えた方法。
【請求項３】
請求項１の方法において、
現フレームが、直前のフレームが雑音を含むという判定の直後のフレームである場合に、
現フレームの信号レベルを１つ以上の音響レベル閾値と比較することと、
前記信号レベルと音響レベル閾値との比較の後に、前記音声又は雑音の判定を示す信号をゲート制御することをさらに備えた方法。
【請求項４】
請求項１の方法において、
前記雑音モデルは雑音エントロピーモデルであり、前記音声モデルは音声エントロピーモデルである方法。
【請求項５】
請求項４の方法において、
信号フレームを分析して前記雑音エントロピーモデルと前記音声エントロピーモデルを更新することをさらに備えた方法。
【請求項６】
請求項１の方法において、
処理後の前記信号フレームの特性のうち少なくとも１つは、処理後の前記信号フレームのエントロピーであり、音声モデルが使用可能であれば、該音声モデルを処理後の前記信号フレームの特性のうち少なくとも１つと雑音モデル及び音声モデルとの前記比較に適用し、音声モデルが使用可能でなければ、現フレームのエントロピーと固定閾値との比較に応じて処理後の信号フレームが音声を含んでいるか又は雑音を含んでいるかを判定することをさらに備えた方法。
【請求項７】
請求項１の方法において、
処理後の前記信号フレームの特性のうち少なくとも１つを雑音モデル及び音声モデルと比較するより前に、現フレームのスペクトルを雑音スペクトルモデルにしたがって白色化することをさらに備えた方法。
【請求項８】
請求項７の方法において、
前記信号フレームを分析して前記雑音スペクトルモデルを更新することをさらに備えた方法。
【請求項９】
請求項１の方法において、
前記信号フレームの処理は、高速フーリエ分解を実行することを備えた方法。
【請求項１０】
請求項１の方法において、
前記信号フレームの処理は、ウェーブレット分解を実行することを備えた方法。
【請求項１１】
請求項１の方法において、
前記音声又は雑音の判定を示す信号を音声認識システムに利用して、無視すべき発話音声と音声認識システムによって文字に変換すべき発話音声とを識別することをさらに備えた方法。
【請求項１２】
音声部分と非音声（雑音）部分を含む入力信号の音声端点を検出する方法であって、
雑音モデルが存在しないときは、前記入力信号の信号フレームを分析して雑音モデルを生成することと、
雑音モデルが存在するときは、フレームが音声を含むか又は雑音を含むかをフレーム毎に判定し、前記フレームが音声を含むか又は雑音を含むかを示す信号を生成することと、
音声フレームであるという判定が連続して特定の回数行われた場合は、フレーム間相関特性と選択した少なくとも１つの基準との比較に応じて、音声モデルと前記雑音モデルをリセットすることを備えた方法。
【請求項１３】
請求項１２の方法において、
前記選択した少なくとも１つの基準は、前記フレーム間相関のゼロ交差を含む方法。
【請求項１４】
請求項１２の方法において、
雑音モデルが存在するときは、フレームが音声を含むと判定されたか又は雑音を含むと判定されたかに応じて、それぞれ前記音声モデル又は前記雑音モデルをフレーム毎に更新することをさらに備えた方法。
【請求項１５】
請求項１４の方法において、
前記音声モデルは音声エントロピーモデルを含み、前記雑音モデルは雑音エントロピーモデルを含む方法。
【請求項１６】
請求項１５の方法において、
前記雑音モデルは、雑音スペクトルモデルをさらに含む方法。
【請求項１７】
請求項１６の方法において、
前記選択した少なくとも１つの基準は、前記フレーム間相関のゼロ交差を含む方法。
【請求項１８】
請求項１２の方法において、
前記フレームが音声又は雑音を含むかどうかをフレーム毎に判定することは、
音響レベルを超過したか否かをフレーム毎に判定することと、
前記音響レベルを超過したか否かの判定に応じて、話者トラッキング基準にしたがって話者をトラッキングするか、又は、エネルギー活性化基準を適用することと、
前記トラッキング又は前記エネルギー活性化基準の適用を利用することによって第一のゲート制御の決定を行うことをさらに備えた方法。
【請求項１９】
請求項１８の方法において、
音声モデルの使用可能性をフレーム毎に判定することと、
前記音声モデルの使用可能性の判定に応じて、雑音エントロピーモデル及び音声エントロピーモデルを利用したベイズの規則による判定か、又は、固定閾値による判定を適用することによって、前記ベイズの規則による判定又は前記固定閾値による判定を用いて第二のゲート制御を決定することをさらに備えた方法。
【請求項２０】
請求項１９の方法において、
前記フレームが音声を含むか又は雑音を含むかをフレーム毎に判定することは、
前記第一のゲート制御の決定と前記第二のゲート制御の決定のいずれもが音声の存在を示していると判定することをさらに備えた方法。
【請求項２１】
請求項１２の方法において、
音声モデルの使用可能性をフレーム毎に判定することと、
前記音声モデルの使用可能性の判定に応じて、雑音エントロピーモデル及び音声エントロピーモデルを用いたベイズの規則による判定か、又は、固定閾値による判定を適用することによって、前記ベイズの規則による判定又は前記固定閾値による判定を用いてゲート制御を決定することをさらに備えた方法。
【請求項２２】
請求項１２の方法において、
フレームが音声を含むか又は雑音を含むかを示す前記信号を音声認識システムに利用して、無視すべき発話音声と音声認識システムによって文字に変換すべき発話音声とを識別することをさらに備えた方法。
【請求項２３】
音声部分と非音声（雑音）部分を含む入力信号の音声端点を検出する装置であって、
音声部分と非音声部分を含むデジタル入力信号の信号フレームを処理して信号フレームから特徴を抽出し、
処理後の前記信号フレームの特性のうち少なくとも１つを雑音モデル及び音声モデルと比較して、処理後の信号フレームが音声を含むか又は雑音を含むかを判定し、
音声又は雑音の判定を示す信号を生成し、
処理後の信号フレームが音声を含むと判定されたか又は雑音を含むと判定されたかに応じて、それぞれ前記音声モデル又は前記雑音モデルを更新するよう態様された装置。
【請求項２４】
請求項２３の装置において、
音声を含むフレームが選択した数だけ連続して発生したことを前記比較が示す時刻を求め、
連続して発生することが示された前記音声を含むフレームのうちの現フレームと、現フレームより前に入力したフレームとの間のフレーム間相関を求め、
求められた前記フレーム間相関におけるゼロ交差の数が閾値よりも大きいか否かに応じて前記音声モデル及び前記雑音モデルをリセットするようさらに態様された装置。
【請求項２５】
請求項２３の装置において、
現フレームが、直前のフレームが雑音を含むという判定の直後のフレームである場合に、
現フレームの信号レベルを１つ以上の音響レベル閾値と比較し、前記信号レベルと音響レベル閾値との比較の後に、前記音声又は雑音の判定を示す信号をゲート制御するようさらに態様された装置。
【請求項２６】
請求項２３の装置において、
前記雑音モデルは雑音エントロピーモデルであり、前記音声モデルは音声エントロピーモデルである装置。
【請求項２７】
請求項２６の装置において、
信号フレームを分析して前記雑音エントロピーモデルと前記音声エントロピーモデルを更新するようさらに態様された装置。
【請求項２８】
請求項２３の装置において、
処理後の前記信号フレームの特性のうち少なくとも１つは、処理後の前記信号フレームのエントロピーであり、
前記装置は、
音声モデルが使用可能であれば、該音声モデルを処理後の前記信号フレームの特性のうち少なくとも１つと雑音モデル及び音声モデルとの前記比較に適用し、音声モデルが使用可能でなければ、現フレームのエントロピーと固定閾値との比較に応じて処理後の信号フレームが音声を含んでいるか又は雑音を含んでいるかを判定するようさらに態様された装置。
【請求項２９】
請求項２３の装置において、
処理後の前記信号フレームの特性のうち少なくとも１つを雑音モデル及び音声モデルと比較するより前に、現フレームのスペクトルを雑音スペクトルモデルにしたがって白色化するようさらに態様された装置。
【請求項３０】
請求項２９の装置において、
前記信号フレームを分析して前記雑音スペクトルモデルを更新するようさらに態様された装置。
【請求項３１】
請求項２３の装置において、
前記信号フレームを処理するために、高速フーリエ変換を行うよう態様された装置。
【請求項３２】
請求項２３の装置において、
前記信号フレームを処理するために、はウェーブレット分解を行うよう態様された装置。
【請求項３３】
請求項２３の装置において、
音声認識システムをさらに備え、
前記装置は、
前記音声又は雑音の判定を示す信号を利用して、無視すべき発話音声と音声認識システムによって文字に変換すべき発話音声とを識別するよう態様された装置。
【請求項３４】
音声部分と非音声（雑音）部分を含む入力信号の音声端点を検出する装置であって、
雑音モデルが存在しないときは、前記入力信号の信号フレームを分析して雑音モデルを生成し、
雑音モデルが存在するときは、フレームが音声を含むか又は雑音を含むかをフレーム毎に判定し、前記フレームが音声を含むか又は雑音を含むかを示す信号を生成し、
音声フレームであるという判定が連続して特定の回数行われた場合は、フレーム間相関特性と選択した少なくとも１つの基準との比較に応じて、音声モデルと前記雑音モデルをリセットするよう態様された装置。
【請求項３５】
請求項３４の装置において、
前記選択した少なくとも１つの基準は、前記フレーム間相関のゼロ交差を含む装置。
【請求項３６】
請求項３４の装置において、
雑音モデルが存在するときは、フレームが音声を含むと判定されたか又は雑音を含むと判定されたかに応じて、それぞれ前記音声モデル又は前記雑音モデルをフレーム毎に更新するようさらに態様された装置。
【請求項３７】
請求項３６の装置において、
前記音声モデルは音声エントロピーモデルを含み、前記雑音モデルは雑音エントロピーモデルを含む装置。
【請求項３８】
請求項３７の装置において、
前記雑音モデルは、雑音スペクトルモデルをさらに含む装置。
【請求項３９】
請求項３８の装置において、
前記選択した少なくとも１つの基準は、前記フレーム間相関のゼロ交差を含む装置。
【請求項４０】
請求項３４の装置において、
フレームが音声を含むか又は雑音を含むかをフレーム毎に判定するために、前記装置は、音響レベルを超過したか否かをフレーム毎に判定し、前記音響レベルを超過したか否かの判定に応じて、話者トラッキング基準にしたがって話者をトラッキングするか、又は、エネルギー活性化基準を適用し、前記トラッキング又は前記エネルギー活性化基準の適用を利用することによって第一のゲート制御を決定するようさらに態様された装置。
【請求項４１】
請求項４０の装置において、
音声モデルの使用可能性をフレーム毎に判定し、前記音声モデルの使用可能性の判定に応じて、雑音エントロピーモデル及び音声エントロピーモデルを利用したベイズの規則による判定か、又は、固定閾値による判定を適用することによって、前記ベイズの規則による判定又は前記固定閾値による判定を用いて第二のゲート制御を決定するようさらに態様された装置。
【請求項４２】
請求項４１の装置において、
前記装置は、
前記第一のゲート制御の決定と前記第二のゲート制御の決定のいずれもが音声の存在を示している場合のみ、フレームが音声を含むか又は雑音を含むかをフレーム毎に判定するよう態様された装置。
【請求項４３】
請求項３４の装置において、
音声モデルの使用可能性をフレーム毎に判定するために、前記装置は、前記音声モデルの使用可能性の判定に応じて、雑音エントロピーモデル及び音声エントロピーモデルを用いたベイズの規則による判定か、又は、固定閾値による判定を適用することによって、前記ベイズの規則による判定又は前記固定閾値による判定を用いてゲート制御を決定するようさらに態様された装置。
【請求項４４】
請求項３４の装置において、
音声認識システムをさらに備え、
前記装置は、
フレームが音声を含んでいるか又は雑音を含んでいるかを示す前記信号を利用して、無視すべき発話音声と音声認識システムによって文字に変換すべき発話音声とを識別するようさらに態様された装置。
【請求項４５】
音声部分と非音声（雑音）部分を含む入力信号の音声端点をプロセッサに検出させる命令を記録した機械可読媒体であって、
前記命令は、前記プロセッサに、
音声部分と非音声部分を含むデジタル入力信号の信号フレームを処理して信号フレームから特徴を抽出させ、
処理後の前記信号フレームの特性のうち少なくとも１つを雑音モデル及び音声モデルと比較して、処理後の信号フレームが音声を含むか又は雑音を含むかを判定させ、
音声又は雑音の判定を示す信号を生成させ、
処理後の信号フレームが音声を含むと判定されたか又は雑音を含むと判定されたかに応じて、それぞれ前記音声モデル又は前記雑音モデルを更新させるよう態様された媒体。
【請求項４６】
請求項４５の媒体において、
前記機械可読命令は、プロセッサに、
音声を含むフレームが選択した数だけ連続して発生したことを前記比較が示す時刻を求めさせ、
連続して発生することが示された前記音声を含むフレームのうちの現フレームと、現フレームより前に入力したフレームとの間のフレーム間相関を求めさせ、
求められた前記フレーム間相関におけるゼロ交差の数が閾値よりも大きいか否かに応じて前記音声モデル及び前記雑音モデルをリセットさせるようさらに態様された媒体。
【請求項４７】
請求項４５の媒体において、
前記機械可読命令は、前記プロセッサに、
現フレームが直前のフレームが雑音を含むという判定の直後のフレームである場合に、
現フレームの信号レベルを１つ以上の音響レベル閾値と比較させ、
前記信号レベルと音響レベル閾値との比較の後に、前記音声又は雑音の判定を示す信号をゲート制御させるようさらに態様された媒体。
【請求項４８】
請求項４５の媒体において、
前記雑音モデルは雑音エントロピーモデルであり、前記音声モデルは音声エントロピーモデルである媒体。
【請求項４９】
請求項４８の媒体であって、
前記命令は、前記プロセッサに、
信号フレームを分析して前記雑音エントロピーモデルと前記音声エントロピーモデルを更新させるようさらに態様された媒体。
【請求項５０】
請求項４５の媒体において、
処理後の前記信号フレームの特性のうち少なくとも１つは、処理後の前記信号フレームのエントロピーであり、前記命令は、前記プロセッサに、音声モデルが使用可能であれば、該音声モデルを処理後の前記信号フレームの特性のうち少なくとも１つと雑音モデル及び音声モデルとの前記比較に適用させ、音声モデルが使用可能でなければ、現フレームのエントロピーと固定閾値との比較に応じて処理後の信号フレームが音声を含んでいるか又は雑音を含んでいるかを判定させるようさらに態様された媒体。
【請求項５１】
請求項４５の媒体において、
前記命令は、前記プロセッサに、処理後の前記信号フレームの特性のうち少なくとも１つを雑音モデル及び音声モデルと比較するより前に、現フレームのスペクトルを雑音スペクトルモデルにしたがって白色化させるようさらに態様された媒体。
【請求項５２】
請求項５１の媒体において、
前記命令は、前記プロセッサに前記信号フレームを分析して前記雑音スペクトルモデルを更新させるようさらに態様された媒体。
【請求項５３】
請求項４５の媒体において、
前記プロセッサに前記信号フレームを処理させるために、前記命令は、前記プロセッサに高速フーリエ変換を行わせるよう態様された媒体。
【請求項５４】
請求項４５の媒体において、
前記プロセッサに前記信号フレームを処理させるために、前記命令は、前記プロセッサにウェーブレット分解を行わせるよう態様された媒体。
【請求項５５】
請求項４５の媒体において、
前記命令は、音声認識システムに、前記音声又は雑音の判定を示す信号を利用させ、無視すべき発話音声と音声認識システムによって文字に変換すべき発話音声とを識別させるよう態様された媒体。
【請求項５６】
音声部分と非音声（雑音）部分を含む入力信号の音声端点をプロセッサに検出させる命令を記録した機械可読媒体であって、
前記命令は、前記プロセッサに、
雑音モデルが存在しないときは、前記入力信号の信号フレームを分析して雑音モデルを生成させ、
雑音モデルが存在するときは、フレームが音声を含むか又は雑音を含むかをフレーム毎に判定させ、前記フレームが音声を含むか又は雑音を含むかを示す信号を生成させ、
音声フレームであるという判定が連続して特定の回数行われた場合は、フレーム間相関特性と選択した少なくとも１つの基準との比較に応じて、音声モデルと前記雑音モデルをリセットさせるよう態様された媒体。
【請求項５７】
請求項５６の媒体において、
前記選択した少なくとも１つの基準は、前記フレーム間相関のゼロ交差を含む媒体。
【請求項５８】
請求項５６の媒体であって、
前記命令は、前記プロセッサに、
雑音モデルが存在するときは、フレームが音声を含むと判定されたか又は雑音を含むと判定されたかに応じて、それぞれ前記音声モデル又は前記雑音モデルをフレーム毎に更新させるようさらに態様された媒体。
【請求項５９】
請求項５８の媒体において、
前記音声モデルは音声エントロピーモデルを含み、前記雑音モデルは雑音エントロピーモデルを含む媒体。
【請求項６０】
請求項５９の媒体において、
前記雑音モデルは、雑音スペクトルモデルをさらに含む媒体。
【請求項６１】
請求項６０の媒体であって、
前記選択した少なくとも１つの基準は、前記フレーム間相関のゼロ交差を含む媒体。
【請求項６２】
請求項５６の媒体において、
前記プロセッサにフレームが音声を含むか又は雑音を含むかをフレーム毎に判定させるために、前記命令は、前記プロセッサに、音響レベルを超過したか否かをフレーム毎に判定させ、前記音響レベルを超過したか否かの判定に応じて、話者トラッキング基準にしたがって話者をトラッキングさせるか、又は、エネルギー活性化基準を適用させて、前記トラッキング又は前記エネルギー活性化基準の適用を利用することによって第一のゲート制御を決定させるようさらに態様された媒体。
【請求項６３】
請求項６２の媒体において、
前記命令は、前記プロセッサに、音声モデルの使用可能性をフレーム毎に判定させ、前記音声モデルの使用可能性の判定に応じて、雑音エントロピーモデル及び音声エントロピーモデルを利用したベイズの規則による判定か、又は、固定閾値による判定を適用させて、前記ベイズの規則による判定又は前記固定閾値による判定を用いて第二のゲート制御を決定させるようさらに態様された媒体。
【請求項６４】
請求項６３の媒体において、
前記命令は、前記第一のゲート制御の決定と前記第二のゲート制御の決定のいずれもが音声の存在を示している場合のみ、前記プロセッサに、フレームが音声を含むか又は雑音を含むかをフレーム毎に判定させるよう態様された媒体。
【請求項６５】
請求項５６の媒体において、
音声モデルの使用可能性をフレーム毎に判定するために、前記命令は、前記プロセッサに、前記音声モデルの使用可能性の判定に応じて、雑音エントロピーモデル及び音声エントロピーモデルを用いたベイズの規則による判定か、又は、固定閾値による判定を適用させて、前記ベイズの規則による判定又は前記固定閾値による判定を用いてゲート制御を決定させるようさらに態様された媒体。
【請求項６６】
請求項５６の媒体において、
前記命令は、前記プロセッサに、フレームが音声を含んでいるか又は雑音を含んでいるかを示す前記信号を利用して、無視すべき発話音声と音声認識システムによって文字に変換すべき発話音声とを識別させるようさらに態様された媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、自動音声認識システムおよび音声処理システムに関する。特に、本発明は、自動音声認識システムおよび音声処理システムに使用する端点検出システムに関する。
【背景技術】
【０００２】
音声端点の検出は、音声認識システムの初期処理にとって重要である。発話認識システムおよびその他の音声処理システムに使用する公知の端点検出器には、エネルギー測定に基づき、かつ、異なった環境条件に対して異なった閾値設定を必要とするものが少なくとも幾つかある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
これらの端点検出器が使用する雑音の推定値が音声ストリームの始端から取る小さいセグメントから作成されるので、うまく動作させるためには、これら端点検出器が処理する雑音は、該端点検出器を使用している間に、レベルおよび／または質すなわち特性が大きい変化をしてはならない。その話声または音声の信号対雑音比が大きく変化したり、ゼロに近づいたりする際、または、多数の音声源がある際、これらの端点検出器はうまく動作しない。
【課題を解決するための手段】
【０００４】
本発明の様々な態様では、様々な手法を採ることによって前記課題を処理する。本発明の端点検出システムの態様には、閾値設定を必要としないで、スペクトル領域で非類似性測度を用いて音声パターンと雑音パターンとを正確に識別するものが幾つかある。本発明の態様には、音声および雑音のガウスモデルを利用するものも幾つかある。ガウスモデルは、環境変化を考慮に入れるよう実行中に適応され、前記端点検出態様が、信号対雑音比に関係なく正しく作動するようにする。本発明の態様には、音声および雑音の動的レベルに対する高いロバスト性を実現するために、並行して動作する複数の装置に基づいているものが幾つかある。
【０００５】
同時に複数の音声源がある場合、本発明の態様には、エネルギーレベル検出器と音声トラッキングシステムとを利用するものが幾つかあり、該検出器および該システムによって、一定のパワーレンジ内の音声の一部等、特定の人に関連する音声部分のみをトラッキングすることができる。
【０００６】
音声モデルと雑音モデルとを別々に用いることに加えて、本発明の態様には、誤った初期推定の後に音声モデルおよび雑音モデルが偶然にも不正確になってしまう度に、または、突然の環境変化の際に、自己補正をするモジュールが含まれるものも幾つかある。本発明の態様には、自動的に推定量をリセットし、破損した音声モデルおよび雑音モデルを破棄する一方、新しい適応を開始するフレーム間相関に基づいてブラインドアルゴリズムを用いて、端点検出器が新しいモデルを構築できるようにするものが幾つかある。したがって、本発明の態様には、発生するいかなるデッドロックにも反応してそれを補正し、かつ、不良初期化期間から回復することが可能なものが少なくとも幾つかある。
【０００７】
そのため、本発明の様々な態様では、音声部分と非音声（雑音）部分を含む入力信号の音声端点を検出する方法が提供される。前記方法には、音声部分と非音声部分を含むデジタル入力信号の信号フレームを処理して信号フレームから特徴を抽出することと、処理後の前記信号フレームの特性のうち少なくとも１つを雑音モデル及び音声モデルと比較して、処理後の信号フレームが音声を含むか又は雑音を含むかを判定することと、音声又は雑音の判定を示す信号を生成することと、処理後の信号フレームが音声を含むと判定されたか又は雑音を含むと判定されたかに応じて、それぞれ前記音声モデル又は前記雑音モデルを更新することが含まれている。
【０００８】
別の側面では、本発明の様々な態様により、音声部分と非音声（雑音）部分を含む入力信号の音声端点を検出する方法が提供される。この方法には、雑音モデルが存在しないときは、前記入力信号の信号フレームを分析して雑音モデルを生成することが含まれている。雑音モデルが存在するときは、この方法には、フレームが音声を含むか又は雑音を含むかをフレーム毎に判定し、前記フレームが音声を含むか又は雑音を含むかを示す信号を生成することが含まれ、音声フレームであるという判定が連続して特定の回数行われた場合は、フレーム間相関特性と選択した少なくとも１つの基準との比較に応じて、音声モデルと前記雑音モデルをリセットすることが含まれている。
【０００９】
さらに別の側面では、本発明の様々な態様により、音声部分と非音声（雑音）部分を含む入力信号の音声端点を検出する装置が提供される。前記装置は、音声部分と非音声部分を含むデジタル入力信号の信号フレームを処理して信号フレームから特徴を抽出し、処理後の前記信号フレームの特性のうち少なくとも１つを雑音モデル及び音声モデルと比較して、処理後の信号フレームが音声を含むか又は雑音を含むかを判定し、音声又は雑音の判定を示す信号を生成し、処理後の信号フレームが音声を含むと判定されたか又は雑音を含むと判定されたかに応じて、それぞれ前記音声モデル又は前記雑音モデルを更新するよう構成されている。
【００１０】
またさらに別の側面では、本発明の様々な態様により、音声部分と非音声（雑音）部分を含む入力信号の音声端点を検出する装置が提供される。前記装置は、雑音モデルが存在しないときは、前記入力信号の信号フレームを分析して雑音モデルを生成するよう構成されている。前記装置は、雑音モデルが存在するときは、フレームが音声を含むか又は雑音を含むかをフレーム毎に判定し、フレームが音声を含むか又は雑音を含むかを示す信号を生成し、音声フレームであるという判定が連続して特定の回数行われた場合は、フレーム間相関特性と選択した少なくとも１つの基準との比較に応じて、音声モデルと前記雑音モデルをリセットするよう構成されている。
【００１１】
別の側面では、本発明の様々な態様により、音声部分と非音声（雑音）部分を含む入力信号の音声端点検出をプロセッサに行わせる命令を記録した機械可読媒体が提供される。前記命令は、前記プロセッサに、音声部分と非音声部分を含むデジタル入力信号の信号フレームを処理して信号フレームから特徴を抽出させ、処理後の前記信号フレームの特性のうち少なくとも１つを雑音モデル及び音声モデルと比較して、処理後の信号フレームが音声を含むか又は雑音を含むかを判定させ、音声又は雑音の判定を示す信号を生成させ、処理後の信号フレームが音声を含むと判定されたか又は雑音を含むと判定されたかに応じて、それぞれ前記音声モデル又は前記雑音モデルを更新させるよう構成されている。
【００１２】
さらに別の側面では、本発明の様々な態様により、音声部分と非音声（雑音）部分を含む入力信号の音声端点検出をプロセッサに行わせる命令を記録した機械可読媒体が提供される。前記命令は、前記プロセッサに、雑音モデルが存在しないときは、前記入力信号の信号フレームを分析して雑音モデルを生成させるよう構成されている。前記命令は、雑音モデルが存在するときは、フレームが音声を含むか又は雑音を含むかをフレーム毎に判定させ、前記フレームが音声を含むか又は雑音を含むかを示す信号を生成させ、音声フレームであるという判定が連続して特定の回数行なわれた場合は、フレーム間相関特性と選択した少なくとも１つの基準との比較に応じて、音声モデルと前記雑音モデルをリセットさせるよう構成されている。
【発明の効果】
【００１３】
したがって、本発明の様々な態様により、音声および雑音の動的レベルに対する高いロバスト性と、信号対雑音比のような環境条件の変化に対する耐性とがもたらされることが分かる。本発明の様々な態様により、悪い初期化条件に対する耐性がもたらされるとともに、音声源が複数存在する際に１つの音声源をより正確にトラッキングできることが分かる。
【００１４】
本発明の更に別の利用可能な分野は、以下の詳細な説明から明らかになるであろう。以下の詳細な説明と具体例は、発明の好適な実施形態を示しているが、例示を目的とするものであって、発明の範囲を限定するものではない。
【発明を実施するための最良の形態】
【００１５】
本発明は、詳細な説明および添付の図面からより詳細に理解されるであろう。
【００１６】
本好適な実施形態の以下の記述は例示であるに過ぎず、本発明、その応用例、またはその用法を限定するものではない。
【００１７】
図１および図２は、２つの異なる詳細レベルで目下の好適な端点検出システムを示している。図１は端点検出器の高レベルのブロック図であり、図２は前記検出器のより詳細なブロック図である。
【００１８】
本発明の幾つかの態様によれば、図１および図２において、入力音声信号が１１で印加される。図１または図２に示されていないが、幾つかの態様での入力音声信号は、適切なアナログ・デジタル変換器を利用して既にデジタル化されている。前記入力信号は信号処理ブロック１２に入力され、該ブロック１２は、図示の態様では、デジタル入力信号を適切なサイズ（例えば、幾つかの構成では、隣接するフレーム間に重複部分ができるように１０ｍｓのチョッピング間隔がある２０ｍｓ）のフレームにチョッピング５０する。少なくとも一態様では、これらフレームが前記入力信号に連続的に発生する間に、そのそれぞれのフレームについて処理される。前記入力信号はさらに、スペクトル特徴を抽出５２するよう処理される。この処理は、高速フーリエ変換５４および／またはウェーブレット分解５６の処理を前記デジタルデータに対して行うことによって、図２により詳細に示すように実行されてもよい。
【００１９】
処理後、前記入力信号の連続フレームは、必要であれば、システム初期化を行う初期化モジュール１４に入力される。すなわち、本発明の様々な態様では、雑音エントロピーモデル１６および音声エントロピーモデル１８の２つの統計的モデルが採用される。初期化モジュール１４は、初期雑音モデルがまだ存在していない場合、初期雑音モデルを作成して雑音エントロピーモデル１６に初期雑音モデルデータを埋める。このようにして、モジュール１４は、初期雑音エントロピーモデル１６を作成した後、端点検出システム１０の動作を監視し、雑音モデルがその時点で存在しているかどうかを記憶している。図１に示す態様では、モジュール１４を用いて雑音のスペクトルモデルのみを作成するが、実際には、雑音スペクトルモデル７４（エントロピー決定のためにフレームを白色化するのに用いられる）、雑音エントロピーモデル１６、および音声エントロピーモデル１８（すべてガウス形であると仮定される）の３つの統計的モデルが用いられる。エントロピー測度を算出する前に、「白色化用スペクトルモデル」の優れた推定値が得られる。このタスクは図２のモジュール１４によって実行される。
【００２０】
（幾つかの態様では、エントロピーは白色化せずに求められる。これらの態様では、モジュール１４を用いて雑音のパワーを算出し、信号対雑音比を推定したり、雑音パワーが特定の閾値、例えば、話者が背景推定の間に話している場合の「早過ぎる」閾値や、適切な動作をするには雑音が大きすぎる場合の「大き過ぎる」閾値を確実に超えないようにする。）
【００２１】
図１に示す態様の場合、音声モデルを作成する前に雑音モデルを作成する必要がないので、エントロピー測度が即座に求められ、音声モデルと雑音モデルとが並行して求められる。初期の閾値設定は固定した基準で行われ、ガウスモデルにデータを埋めるときに尤度比が用いられる。入力スペクトル特徴ベクトルをＳ、雑音スペクトルモデルベクトルをＮとすると、本発明の様々な態様で、以下に記述した関係を用いて正規化逆エントロピーＥが求められる。
【００２２】
【数１】
2004272201.tif 000003
この場合、
【数２】
2004272201.tif 000004
ここで、ｎはスペクトル特徴空間の次元である。
【００２３】
前記入力信号の入力フレームは、２つの並列した処理分枝に入力される。第１の分枝は判定モジュール２０を備え、第２の分枝は、話者トラッキングゲートモジュール２２を備えている。判定モジュール２０の出力および話者トラッキングゲートモジュール２２の出力は、結合されて１つのブール出力を効率的に発生させる。この結合は、様々な態様では、ＡＮＤゲート２４または論理的に同等の結果をもたらす回路への出力によって達成される。話者トラッキングゲートモジュール２２は、エネルギー活性化モジュールと組み合わせて話者トラッキングモジュール８８を用いて、端点検出システム１０によって音声が始まっていると判断されるかどうかに応じて、判定モジュール２０の結果をゲート制御でオンおよびオフにする。このようにして、このゲート機能によって、音声が始まったと判断された場合に、判定モジュール２０の結果が有効になる。図２についてより詳細に説明すると、このゲート決定は、話者トラッキングアルゴリズムを用いた実際の話者トラッキング、または、信号フレーム内のエネルギーが所定のエネルギー活性化基準を満たすことのいずれかに基づいて行われる。
【００２４】
判定モジュール２０にはベイズの処理関数が用いられ、この関数によって、雑音エントロピーモデル１６および音声エントロピーモデル１８がそれぞれ入力フレームと比較されることが好ましい。幾つかの態様では、この比較はエントロピー領域で行われる。よって、モジュール１２によって作成されるスペクトル特徴を用いて、フレームエントロピーを算出した後、この算出したエントロピー値が、エントロピーモデル１６および１８にそれぞれ格納された雑音エントロピーデータおよび音声エントロピーデータと比較される。すなわち、モデル１６は、雑音信号のエントロピーについての事前の確率分布ｐn（θ）であり、モデル１８は、音声信号のエントロピーについての事前の確率分布ｐs（θ）である。現フレームからのエントロピーデータを各モデル１６，１８とマージして事後分布を作成するために、ベイズの定理を適用する。その結果としての各モデル１６，１８の事後分布は、現フレームが雑音フレームである可能性が高いのか、音声フレームである可能性が高いのかを判定するために分析される。前記ベイズの定理を用いて、
ｐ（音声｜観測フレーム）／ｐ（雑音｜観測フレーム）
と記述される事後確率比を、
ｌｏｇ（ｐ（観測フレーム｜音声））／ｌｏｇ（ｐ（観測フレーム｜雑音））
と記述される尤度比と関連させ、簡単にするために、事前分布に起因する項および正規化因子を切り捨てる。ガウス確率を用いて、
ｌｏｇ（Ｐ（観測フレーム｜音声））＞ｌｏｇ（Ｐ（観測フレーム｜雑音））
と記述される関係は、次のように簡略化される。
【００２５】
【数３】
2004272201.tif 000005
ここで、
Ｅは現フレームのエントロピーであり、
Ｍ（ｎ）は雑音の平均であり、
Ｍ（ｓ）は音声の平均であり、
Ｖ（ｎ）は雑音の分散（エントロピー）であり、
Ｖ（ｓ）は音声の分散（エントロピー）である。
【００２６】
ＡＮＤゲート２４の出力は端点決定論理回路２６に入力され、論理回路２６は、現フレームが音声を含んでいるのか、無音を含んでいるのかを判定する。（本明細書中で用いられる場合、「無音」は音声のないことを言う。「無音」は、音声がない場合でも、残留している背景雑音を含むことがあり、一般的にはそれを含んでいるものである。）モジュール２６によって現フレームが無音であるという判定がされる場合、再推定モジュール２８が、雑音エントロピーモデル１６と関連する数値パラメータを再推定し、再推定したパラメータは、雑音エントロピーモデル１６に格納される。よって、雑音エントロピーモデル１６は、現在の雑音レベルパラメータによって更新される。それに加えて、雑音スペクトルモデル７４も再推定される。背景雑音がフレーム間で比較的変化のない場合、再推定モジュール２８は、雑音エントロピーモデル１６をほとんど変更しない。一方、雑音レベルが（例えば、平坦でない路面を走行する移動中の自動車で起こるように）時間の経過につれて変化する場合、再推定モジュール２８が、雑音エントロピーモデル１６をより頻繁に変更する可能性が高い。
【００２７】
端点検出論理回路２６によって入力フレームが音声であると判定される場合、検査モジュール３０によって検査作業が実行される。モジュール３０は、フレーム間を相関させる。フレーム間の相関特性を少なくとも１つの選択された基準で比較すれば、現フレームのスペクトル特徴データが、先行フレームのスペクトル特徴データとうまく相関しているかどうかをどう判定すべきかが分かる。フレーム間の相関性が十分に高い（すなわち、スペクトル特徴がフレーム間で大きく変化しない）場合、モジュール３０は、現フレームが音声であることを推測し、この場合、音声エントロピーモデル１８が、再推定モジュール３２によって更新される。
【００２８】
検査モジュール３０が、現フレームと先行フレームとの間に高い相関性がないとみなす場合、モジュール３０は、現フレームが音声であると考えられていたが、実際は雑音であると推測する。このような推測は、例えば、端点検出システム１０が起動してすぐに音声をトラッキングし始め、その音声を雑音として誤って推測した場合に起こり得る。この場合、端点検出システム１０は、音声データを用いて雑音モデルを更新し、また、雑音データを用いて音声モデルを更新することになる。このような誤った更新が起こらないように、リセットモジュール３４が設けられている。幾つかの態様では、リセットモジュール３４は、それぞれに保存されたモデルデータを破棄することによって雑音モデルおよび音声モデルをリセットし、端点検出システム１０を、初期化モジュール１４が次のフレーム処理の間に新しい雑音モデルを作成する状態にする。
【００２９】
こうして、端点検出システム１０は、雑音および音声の両方の連続して更新されたモデルを別々に保持する。フレーム間の相関に基づくリセット関数は、音声がシステム起動時に最初のフレームにある場合にともすれば起こり得る、雑音モデルと音声モデルとの取り違えを補正する。
【００３０】
図２は、図１よりも詳細に本発明の様々な態様を表すブロック図を示している。該当する場合には、図１と同じ構成要素の参照番号を用いて図２の対応する構成要素を示す。図２において、入力信号１１は、フレームチョッパー５０によってフレームに細分される。そして、細分されたフレームは、スペクトル特徴抽出モジュール５２によって処理される。様々な態様では、モジュール５２によって、高速フーリエ変換（ＦＦＴ）モジュール５４および／またはウェーブレット分解モジュール５６を用いてスペクトル特徴抽出処理が行われる。さらに他の態様では、他の種類の特徴抽出モジュールが用いられる。そして、抽出された特徴は、５８でダウンサンプリングされた後、端点検出システム１０の残りの部分に配送される。６０の論理機能によって、既存の雑音モデルが既に入手可能かどうかが判定される。入手可能であれば、ダウンサンプリングされたフレームは、以下に詳述するように、ゲートモジュール２２と、判定モジュール２０とによって処理される。
【００３１】
雑音モデルがまだ存在しない場合、論理機能６０は、ダウンサンプリングされたフレームを初期化モジュール１４に転送する。初期化モジュール１４は、ダウンサンプリングされたフレームに基づいて、スペクトル平均データおよびスペクトル分散データをモジュール６２に蓄積してから、背景（雑音）モデル生成に十分なデータがあるかどうかを６４で判定する。例えば、幾つかの態様では、５個のフレームの予め設定した閾値がこの判定に用いられ、他の幾つかの態様では、１０個のフレームの予め設定した閾値が用いられる。データが不十分な場合、端点検出システム１０は、予め設定した端点検出初期化雑音モデル６６を用いる。不十分でなければ、端点検出システム１０は推定値を算出し、６８でそれをコミットする。
【００３２】
ある場合には、スペクトル平均データおよびスペクトル分散データは、例えば、雑音レベルが意味のある背景データモデルを作成するには高過ぎる場合のように、雑音モデルを算出するには不適切な可能性がある。７０で高い雑音レベルについて検査が行われ、雑音レベルが高過ぎて有効なモデルが構築できない場合、雑音レベルが高過ぎて音声と雑音とが正確に識別できないことを示す状態７２に分岐される。そして、一部の態様では、雑音が過剰にある状況であることと、端点検出システム１０が正常に作動していないかもしれないこととがユーザに通知される。その判定を行うためにモジュール７０によって利用される閾値レベルは、経験的に決定することが可能であり、音響レベルおよび外的条件（すなわち、音声信号が生成または記録されている環境における雑音）に左右される。幾つかの態様では、前記閾値レベルは、ユーザによって調整可能である。
【００３３】
初期の背景雑音モデルは、判定モジュール２０で続いて使用するために、雑音エントロピーモデル１６（より正確に言えば、雑音モデル１６のデータ記憶装置）にロードされる。一部の態様では、雑音エントロピーモデル１６だけでなく、雑音スペクトルモデル７４として図２に示す第２の雑音モデルも保持する。幾つかの態様では、雑音エントロピーモデル１６が、雑音エントロピーガウス分布を特定することができる平均パラメータおよび分散パラメータを格納するが、雑音スペクトルモデル７４は、音声のない背景雑音のみを含むと判定される区間中に、ダウンサンプリングされたフレームデータから（ダウンサンプリングモジュール５８から）抽出した実際の雑音スペクトルデータを格納する。これらの雑音スペクトルデータは、スペクトル白色化モジュール７６に入力され、該スペクトル白色化モジュール７６は、データ経路７８を介して入来するダウンサンプリングされたフレームデータを処理する。前記フレームスペクトル白色化モジュール７６は、モデル７４から出力された雑音スペクトルデータを用い、このデータの逆数を、ダウンサンプリングした入力フレームデータに加算して、雑音スペクトルの山と谷とを効率的に平滑にして背景雑音を白色雑音（すなわち、スペクトルのすべての周波数で一定のエネルギーを有する雑音）により近似させる。スペクトルを白色化すれば、安定したスペクトルベースラインを設定することによって端点検出システム１０の信頼性が向上し、ダウンサンプリングされた入力フレームデータは、前記スペクトルベースラインまで抑制される。
【００３４】
白色化の後で、前記入力フレームデータは、エントロピー算出モジュール８０に入力される。モジュール８０は、前記フレームデータに含まれるスペクトル特徴に基づいて、フレームのエントロピー値を算出する。音声モデルが入手可能である場合（８１）、この算出したエントロピー値は、ベイズの規則判定モジュール８２を用いて処理され、該モジュール８２は、現フレームが音声であるか、雑音であるかについて、処理済信号フレームの少なくとも１つの特性の比較に基づいて判定を行う。例えば、処理済信号フレームのエントロピーは、以下のように、雑音エントロピーモデル１６および音声エントロピーモデル１８と比較される。音声モデルが入手できない場合、その代わりに、固定閾値判定モジュール８４が用いられる。モジュール８２および８４は２値出力をし、それらは音声または無音である。
【００３５】
端点検出システム１０が最初に初期化される場合、このシステムの使用中に音声エントロピーモデルデータが蓄積されるため、このデータが全く存在しないことがある。このような場合、固定閾値判定モジュール８４を用いて、入力フレームが音声であるのか、雑音であるのかが決定される。固定閾値判定モジュール８４は、入力フレームのエントロピーを所定の閾値と比較することによって動作する。
【００３６】
一般的に、音声信号および雑音信号のそれぞれのエントロピーは、全く異なっている。音声信号は、より秩序のあるものであるため、エントロピー値が低いが、雑音信号は、より無秩序なものであるため、エントロピー値が高い。固定閾値判定モジュール８４は、入力フレームのエントロピーを、典型的な雑音エントロピーと典型的な音声エントロピーとを表す固定閾値と比較することによって、入力信号が音声であるのか、雑音であるのかを判定する。
【００３７】
フレームが、判定モジュール２０によって（ベイズの規則判定モジュール８２か固定閾値判定モジュール８４かのいずれかによって）処理されてゆくにつれて、判定の結果が、最小最大平滑フィルター８６に蓄積され、フィルターにかけられる。このフィルターは、音声雑音決定信号のいかなる急速なゆらぎでも平滑にし、端点検出が基礎とすることが可能な音声雑音論理信号を生成する。この点に関して、端点検出を用いて、音声信号が始まるときの雑音から音声への移行だけでなく、音声信号が終わるときの音声から雑音への移行も識別できることがわかる。したがって、端点検出を用いて、データストリーム内の音声コンテンツを切り離すことができる。
【００３８】
幾つかの態様では、モジュール８６とモジュール９７とによって行われるフィルタリングは同一のものである。モジュールに入力される二値の決定が、まず、（例えば）５個のタップからなる最小フィルターを通過するので、時刻ｔにおけるフィルターのｍ（ｔ）の出力は、過去のブール決定ｄ（ｔ）（＝０または１）の単純な関数として次のように示すことができる。
ｍ（ｔ）＝ｄ（ｔ）＆ｄ（ｔ−１）＆．．．＆ｄ（ｔ−ｋ）  この場合、ｋ＝５
すなわち、ｋは最小フィルターのタップ数と等しく、この例では５であるが、他の態様では異なってもよい。その後、このフィルターの出力は、（例えば）１５個のタップからなる最大最小フィルターに入力されるため、時刻ｔのこのフィルターの出力ｒ（ｔ）は、過去のブール入力ｍ（ｔ）（＝０または１）の単純な関数として次のように示すことができる。
ｒ（ｔ）＝ｍ（ｔ）｜ｍ（ｔ−１）｜．．．｜ｍ（ｔ−Ｌ）  この場合、Ｌ＝１５
すなわち、Ｌは最大最小フィルターのタップ数と等しく、この例では１５であるが、他の態様では異なってもよい。２段階フィルタリングの全体の遅延は（ｋ+Ｌ）／２であり、この例では２０である。
【００３９】
すべての実施形態には要求されないが、目下の好適な実施形態では、話者トラッキングゲートシステム２２が用いられ、該システム２２は、異質な音声が入力信号に存在している可能性がある場合、判定モジュール２０の動作をオフにするか、または、無効にする。例えば、端点検出システムが動作対象とする主要な話者が、他人の会話が存在する部屋で話している場合、異質な音声が存在する可能性がある。会議の場で、主要な話者がプレゼンテーションをしている際に聴衆の態様員同士が話をしている場合に、このようなことがあり得る。このような場合、前記異質な音声は、背景雑音として処理されることが望ましい。しかしながら、音声とランダムな雑音とは、大きく異なったエントロピー値を有しているため、異質な音声は、誤って決定に用いられる可能性がある。
【００４０】
この潜在的に望ましくない効果を取り除くために、話者トラッキングゲートモジュール２２では、８８で話者トラッキングアルゴリズム、９０でエネルギー活性化アルゴリズムが用いられる。話者トラッキングゲートシステム２２は、音声が開始したところであることを（正しくまたは誤って）検出した区間中ずっと動作するよう構成されている。このことは、まず、（９２におけるように）前の決定が無音すなわち背景雑音の状態であったのか否かを判定するために検査することによって実現される。前記システムが、９４で音声が始まったところであると検出する場合、話者トラッキングアルゴリズム８８が使用される。音声が開始していない（すなわち、前記システムが、信号がまだ背景雑音しか表していないと決定した）場合、エネルギー活性化アルゴリズムが使用される。（モジュール９４の目的上、音声が開始しているかどうかを判定することは、モジュール２６でＥＰＤ（端点検出）の決定を行うことと同じではない。例えば、幾つかの態様では、端点検出システム１０のユーザによって経験的に調整可能な音響レベル閾値との比較によって、モジュール９４で判定が行われる。幾つかの態様では、様々な音響レベル閾値が、様々な周波数に対して与えられてもよい。）
【００４１】
すなわち、本発明の態様には、話者トラッキングゲートモジュール２２を利用して、モジュール２０が検出した無音から音声への移行のみを確認するものが幾つかある。これらの態様では、それ以外で話者トラッキングゲートモジュール２２を利用しない。前の決定が、音声が存在するというものであったならば、ＡＮＤゲート２４のこのサイドの入力は、何ら影響を受けずに維持され、すなわち、それはＴＲＵＥ９５に設定される。したがって、ブロック９４は、音声範囲推定値が入手可能であるかどうかを判定するブロックと考えることができる。発話が最初にあった後、パワーレンジなどの統計値が、次回の無音から音声への移行を調整するために抽出される。これらの統計値が（例えば、システムが起動した直後のように）入手可能ではない場合、固定の閾値設定が用いられる。
【００４２】
話者トラッキングアルゴリズム８８は、複数の話者を識別するよう設計された様々な異なる話者トラッキング基準を利用して実現されてもよい。話者トラッキングアルゴリズムによって、例えば、相対的音量レベルやスペクトル周波数成分のような基準に基づいて話者が識別されてもよい。音量レベル基準であれば、最も声が大きい、または、マイクに最も近い話者を優先して話者が識別される。スペクトル特徴基準であれば、個々の話者の音質に基づいて話者が識別される。したがって、男性話者と女性話者とは、ピッチに基づいて識別可能である。他の識別技術が用いられてもよい。例えば、異なった発話速度で話す話者が、所定の時間間隔にわたって観察した時に、異なったスペクトル特徴またはスペクトルエネルギーを示すことがある。幾つかの態様では、モジュール８８は、フレームのエネルギーをユーザが調整可能な特定の音響レベルと比較する話者トラッキングアルゴリズムを使用する。
【００４３】
音声がまだ開始していない場合、エネルギー活性化モジュール９０が、エネルギー活性化基準に基づいて論理信号を生成する。例えば、エネルギー活性化モジュールは、現フレームのエネルギーが所定値より上か下かを示す論理信号を生成する。
【００４４】
判定モジュール２０と同様に、話者トラッキングゲートモジュール２２は、話者トラッキングモジュール８８またはエネルギー活性化モジュール９０の出力に応じてフレームごとに変動する論理信号を生成する。したがって、フィルター８６と実質的に同様に機能する最大最小平滑フィルター９７が用いられる。フィルター９７の出力は、ＡＮＤゲート２４に印加される論理信号である。こうして、フィルター９７から出力される論理信号によって、フィルター８６から出力される論理信号がゲート制御でオンおよびオフにされるため、話者トラッキングゲートモジュール２２によって判定されるような適切な状態にある間でのみ、雑音・音声の決定が保証されているに過ぎない。
【００４５】
フィルター８６の出力によって入力信号が無音（非音声）であると示される場合、決定モジュール２６は再推定モジュール２８を起動させ、該モジュール２８は、無音の端点決定、すなわち、無音を示す信号を９６で出力し、また、雑音エントロピーモデル１６および雑音スペクトルモデル７４を更新する。一方、決定モジュール２６によって音声が入力信号に存在すると判定される場合、処理フローは分岐してフレーム間相関検査を行う。
【００４６】
検査モジュール３０は、フレーム間の相関を比較することによってその機能を果たし、そのためには、所定のフレーム数が必要である。したがって、本発明の様々な態様では、前記フレーム間の相関検査で、蓄積したデータが、所定数（Ｎ）より多い連続した音声フレームであるかどうかをまず判定する。音声フレームの数が十分である場合（１１０）、モジュール９８でフレーム間の相関検査が行われる。幾つかの態様では、フレーム間の相関検査９８は、現フレームの時間領域をＮ個の連続した音声フレームのうち少なくとも１つの先行フレームと比較し、相関値を作成することによって行われる。本発明の態様には、現フレームと現フレームの直前フレームとの比較ではなく、現フレームと、２、３個前のフレームとの比較を行うものが幾つかある。相関値は従前の値とともに蓄積され、モジュール１００で平均が推定される。この平均は、相関値が比較されるベースラインの役割を果たす。幾つかの態様では、モジュール１１０が十分であるとする音声フレームの数Ｎは、最高の性能を発揮するために、ユーザが経験的に調整可能な変数である。
【００４７】
幾つかの態様では、フレーム間の相関は、時刻ｔにスペクトル特徴ベクトルＳ（ｔ）のみを出す過程と、２フレーム分だけ時間遅延したスペクトル特徴の現在の放出に対応する過程との相関の一次遅れとして求められる。よって、例えば、Ｓ（ｔ）が時刻ｔで入来するスペクトル特徴ベクトル（スペクトルフレーム）である場合、前記２つの関係する過程は、それぞれ、任意の時刻ｎのとき、Ｘ（ｎ）＝Ｓ（ｔ）およびＹ（ｎ）＝Ｓ（ｎ−２）である。この相関は、他３個のフレームについて、
【数４】
2004272201.tif 000006
となるように求められる。
【００４８】
ベクトル
【数５】
2004272201.tif 000007
を導入し、コーシー・シュワルツ不等式を用いて０と１との相関を正規化することによって、次に記述された「相関係数」が求められる。
Ｃ＝｜Ｓ・Ｐ｜2／｜Ｓ・Ｓ｜＊｜Ｐ・Ｐ｜
本発明の態様には、例えば、次に記述された関係を用いて、減衰係数を用いる相関係数の移動平均を算出するものが幾つかある。
ｍｅａｎ（ｔ＋１）＝α＊ｍｅａｎ（ｔ）＋（１−α）＊Ｃ（ｔ）
α〜０．９７の場合
推定された平均は前記相関係数から減算され、正規化された値が得られる。その値は、ばらつきに関して検査される。（様々な態様では、分散および平均は既に正規化されている。）この検査は、標準的なゼロ交差技術を用いて行われる。
【００４９】
モジュール１０２では、フレーム間相関特性が、少なくとも１つの選択基準と比較され、音声モデル１８と、雑音モデル１６および７４とをリセットすべきかどうかが判定される。すなわち、幾つかの態様では、フレーム間相関データが、ベースライン平均と比較され、相関データの波形が平均ベースラインと交差しているかどうか、すなわち、「ゼロ交差」が発生しているかどうかが判定される。一般的に、音声信号のフレーム間相関値が平均ベースラインと交差するのは比較的まれであり、この場合、たいてい、音声信号は、母音から子音へ移行している。それに対して、一般的に、背景雑音はランダムに変動し、同じ時間量の間に何回も平均ベースラインと交差する。音声および雑音の相互相関の波形の比較が図３および図４に示され、図３は、音声と関連する一般的なフレーム間相関信号のグラフであり、図４は、雑音と関連する一般的なフレーム間相関信号のグラフである。幾つかの態様では、「正規化」フレーム間相関を利用してゼロ交差が求められる。その場合、相関の移動平均が求められ、それが現在の値から除去されてゼロ平均の過程が得られる。よって、ゼロ交差の分析を容易にして、相関機能の速度を推定する。
【００５０】
モジュール１０４では、ある区間の範囲内で発生するゼロ交差の数が推定される。ゼロ交差の数が雑音信号を示すパターンに対応する場合、フレーム間相関検査モジュール３０は、処理中の前記「音声」信号が実際は雑音（非音声）であると判断する。この判定が行われると、雑音モデルおよび音声モデルは３４でリセットされ、端点検出システム１０が初期化状態にあることを示すためにフラグが１０６で設定される。この初期化状態では、初期化モジュール１４を用いて初期雑音モデルを作成する。
【００５１】
１０４で入力信号が音声であると判断される場合、音声エントロピーモデルの平均および分散が、モジュール３２によって更新される。その場合、音声モデルが入手可能かどうかを判定するために検査１１２が行われる。音声モデルがまだ作成されていない場合、音声モデルを作成するのに十分な量が蓄積されるまで、モジュール１０８が平均音声エントロピーデータおよび分散エントロピーデータを蓄積する。十分なデータがない場合、モジュール１１４が、現フレームが音声フレームであることを示す決定１１６をする、すなわち、モジュール１１４は、音声の判定を示す信号を生成する。それ以外の場合、十分なデータがあり、モジュール１１８によってそのモデルが音声エントロピーモデル１８としてコミットされ、現フレームが音声フレームであることを示す決定１１６がなされる。
【００５２】
幾つかの態様では、モジュール１０４は、曲線の頂点における離散的過程までに費やした時間を測定するよう設計された適応閾値設定技術を用いる。Ｚ（ｔ）を時間に応じたゼロ交差の数の発展とし、Ｚtrigger，Ｚmargin，Ｚmaxcountを３つの固定閾値（例えば、それぞれ３５，３，１０）とし、αを移動平均（例えば、０．９７）を算出する平滑係数とする。Ｚ（ｔ）の閾値Ｚthresholdが、Ｚtrigger−Ｚmarginにより初期化され、次に記述された式に従って更新される。
Ｚthreshold＝ｍａｘ（Ｚtrigger−Ｚmargin，ｍａｘ（Ｚ（ｔ）−Ｚmargin，Ｚthreshold＊α））
Ｚ（ｔ）が連続してＺmaxcount回より多く（ｔ，ｔ＋１，．．．，ｔ＋Ｚmaxcount）この閾値を超える場合、対象となる条件が満たされる。
【００５３】
閾値設定を利用する従来の端点検出システムとは異なり、本発明の様々な態様の端点検出システム１０は、図５に示すような、音声モデルと個々のガウスモデルとを識別する。ガウス曲線２００は音声と関連しており、ガウス曲線２０４は雑音と関連している。２０４の交点Ｅthresholdは、端点検出システム１０によって入力フレームが音声である可能性と雑音である可能性とが等しいとみなされる点である。すなわち、Ｅthreshold２０４より小さいエントロピーは、雑音より音声である可能性が高いフレームを示し、Ｅthreshold２０４より大きいエントロピーは、音声より雑音である可能性が高いフレームを示す。閾値Ｅthresholdは、固定されず、ガウス音声モデルおよびガウス雑音モデルが連続して更新される際にシフトする。
【００５４】
幾つかの態様では、図６において、端点検出システム１０は、１つ以上の汎用プロセッサまたはマイクロプロセッサ２００を利用して構築されており、該プロセッサまたはマイクロプロセッサ２００は、メモリ２０２（プロセッサ２００に装備されたランダムアクセスメモリ、ＲＯＭ等）に格納された機械可読命令を処理するよう構成され、この命令は、図１および図２に示す上述の命令を実行するようプロセッサ２００に指示する。一部の態様では、１枚以上のフロッピー（Ｒ）ディスク、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ、またはその組み合わせのような、着脱可能なまたは固定した媒体２０４を介して、あるいは、適切なネットワーク２０８を介して遠隔地２０６にある媒体上で、このような機械可読の命令にアクセスする。図示していない他の態様では、プログラム可能であるか、事前にプログラム済か、または、その目的で構成されている１つ以上のデジタル信号処理部品が、汎用プロセッサ２００の代わりに、または、それと組み合わせて利用される。端点検出システム１０は、音声認識システム２１０と組み合わせて使用される際に特に有用である。幾つかの態様では、音声認識システム２１０は、端点検出システム１０が用いる同じハードウェアの一部または全体を共有するか、または、メモリ２０２にある付加的な命令、および／または媒体２０４上またはネットワーク２０８を介してアクセス可能な付加的な機械可読の命令を備えてもよい。特に、端点検出システムの態様１０は、情報（例えば、音声／雑音の決定を表す信号２１２）を音声認識システム２１０に提供して、テキストに変換されるべき発話と、変換ではなく無視されるべき雑音とを識別する際に有用である。様々な態様の端点検出システム１０は、多数の話者がいる際、および／または、雑音レベルまたは特徴が時間の関数として変動する際に特に有用である。
【００５５】
特に指示しない限り、何かを行うよう「プロセッサに指示するよう構成された命令を記録している媒体」は、例えば、１枚のフロッピー（Ｒ）ディスク、磁気テープ、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭメモリカートリッジ、他の形式のＲＯＭまたはＲＡＭ等の単一の対象物に限定されるものではなく、例えば、前記命令が複数のフロッピー（Ｒ）ディスク、ＣＤ−ＲＯＭまたはその組み合わせ等の１つ以上の対象物に記録されている実施形態を含むことが意図されている。また、命令が記録されている媒体は、着脱可能な媒体に限定されるものではなく、例えば、ハードドライブまたはプロセッサのメモリに固定されたＲＯＭ等の着脱可能ではない媒体を含むことが意図されている。媒体へのアクセスの位置または手段も限定されるものではなく、すなわち、媒体は、プロセッサに対してローカルであっても、配線ネットワークまたはワイヤレスネットワークを介してアクセス可能であってもよいと考えられている。また、上記の「プロセッサ」という用語は、別々の態様要素からなっていても、単一の半導体チップまたはウエハー上で集積されていても、汎用コンピュータ、マイクロプロセッサ、信号処理部品など、信号を処理できるいかなるプログラム可能な電子装置も包括するよう意図されている。
【００５６】
本発明の記載は単なる例示であるに過ぎず、発明の要旨から逸脱しない変形が発明の範囲内に属するよう意図されている。このような変形は、発明の精神および範囲からの逸脱と考えられるべきではない。
【図面の簡単な説明】
【００５７】
【図１】図１は、本発明の端点検出システムの様々な態様を表す高レベルのブロック図である。
【図２】図２は、図１と一致する端点検出システムの態様の詳細なブロック図である。
【図３】図３は、音声と関連する一般的なフレーム間相関信号のグラフである。
【図４】図４は、雑音と関連する一般的なフレーム間相関信号のグラフである。
【図５】図５は、音声モデルおよび雑音モデルのガウス分布を示すグラフであり、音声と雑音とが非類似性測度を用いていかにして識別されるかを示している。
【図６】図６は、本発明の端点検出装置の一部の態様を示すブロック図である。
【図１】
2004272201.tif 000008
【図２】
2004272201.tif 000009
【図３】
2004272201.tif 000010
【図４】
2004272201.tif 000011
【図５】
2004272201.tif 000012
【図６】
2004272201.tif 000013
【外国語明細書】
2004272201000001.pdf