(57)【要約】【課題】確実に発話の内容を検出できる音声検出装置を提供する。【解決手段】気導音マイクロホン１と骨伝導マイクロホン３の出力が共に単位時間毎に予め設定したレベルを超えた場合に、相関値を計算し、相関が高いと判定された場合に、その時刻情報を音声区間検出部７に送ることで、確実に音声区間と想定される区間を音声検出の際に利用できる。【選択図】      図１
2007264132.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ特性の異なる複数のマイクロホンと、
前記各マイクロホンからそれぞれ入力された入力信号の間の相関値を求める相関値計算手段と、
前記相関値により前記各入力信号の間に相関があるか否かを判定し、相関があると判定された時の時刻情報を出力する判定手段と、
前記時刻情報に基づいて相関があるとされた区間における前記各入力信号の中の一つの入力信号を音声信号として出力する音声区間検出手段と、
を有する
ことを特徴とする音声検出装置。
【請求項２】
前記複数のマイクロホンのうち、少なくとも２つは気導音マイクロホンと骨伝導マイクロホンである
ことを特徴とする請求項１記載の音声検出装置。
【請求項３】
前記音声区間手段において音声信号として出力される入力信号は、前記気導音マイクロホンの入力信号である
ことを特徴とする請求項２記載の音声検出装置。
【請求項４】
前記気導音マイクロホンの入力信号の雑音を除去し、この除去した入力信号を前記音声区間検出手段に出力する雑音キャンセル手段を有する
ことを特徴とする請求項３記載の音声検出装置。
【請求項５】
前記判定手段において相関がないと判定された区間における前記気導音マイクロホンの入力信号から雑音特徴信号を推定する雑音特徴推定手段を有し、
前記雑音キャンセル手段は、前記雑音特徴信号に基づいて前記気導音マイクロホンの入力信号の雑音を除去する
ことを特徴とする請求項４記載の音声検出装置。
【請求項６】
それぞれ特性の異なる複数のマイクロホンからそれぞれ入力された入力信号の間の相関値を求め、
前記相関値により前記各入力信号の間に相関があるか否かを判定し、相関があると判定された時の時刻情報を出力し、
前記時刻情報に基づいて相関があるとされた区間における前記各入力信号の中の一つの入力信号を音声信号として出力する
ことを特徴とする音声検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロホンを利用した音声検出装置及びその方法に関する。
【背景技術】
【０００２】
骨伝導マイクロホンと通常の気導音マイクロホンを併用して、音声認識のための区間検出精度を向上させる方法として、特許文献１の技術が提案されている。この方法は各マイクロホン出力に対し、別個の音声区間検出処理を行い、ノイズレベルに応じてどちらの検出結果を優先するかを決め、その優先度に基き、どちらか一方の音声区間検出結果を最終結果とするという方法である。
【０００３】
また、特許文献２には、単一指向性マイクロホンで受けた音信号と無指向性マイクロホンで受けた音信号との相関度を得て、その相関結果に基づいて検出対象音を検出する技術も提案されている。
【特許文献１】特開平４−２７６７９９号公報
【特許文献２】特開２００５−２２７５１１公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、背景雑音レベルが低い場合、気導音マイクロホンの音声区間検出結果が優先されることになる。しかし、背景雑音レベルが低い場合でも、例えば隣の人の話し声など非定常雑音がターゲット音声の前後に付加した場合には、その付加した区間も含めた区間が音声区間として検出されるという誤った音声区間検出がなされる場合がある。その場合、誤りの修正ができず、誤った音声区間の音声信号が音声認識装置に入力され、ひいては認識誤りを生じさせるといった問題点がある。
【０００５】
また、骨伝導マイクロホン及び気導音マイクロホンから得られる音声信号に対する両方の音声区間検出処理が、全て終了して、初めてどの時刻の音声区間を音声認識装置に供するかが確定する。そのため、音声認識の実時間処理が出来ないという問題点もある。
【０００６】
さらに、特許文献２の技術では、無指向性マイクロホンによって発話を受音するため、例えば隣の人の話し声なども検出対象音として検出され、音声認識処理に入力されることになり、正確な認識を行えないという問題点がある。
【０００７】
そこで、本発明は、確実に検出すべき対象音のみを検出できる音声検出装置及びその方法を提供する。
【課題を解決するための手段】
【０００８】
本発明は、それぞれ特性の異なる複数のマイクロホンと、前記各マイクロホンからそれぞれ入力された入力信号の間の相関値を求める相関値計算手段と、前記相関値により前記各入力信号の間に相関があるか否かを判定し、相関があると判定された時の時刻情報を出力する判定手段と、前記時刻情報に基づいて相関があるとされた区間における前記各入力信号の中の一つの入力信号を音声信号として出力する音声区間検出手段と、を有することを特徴とする音声検出装置である。
【発明の効果】
【０００９】
本発明であると、確実に発話の内容を検出できる。
【発明を実施するための最良の形態】
【００１０】
本発明の一実施形態である音声検出装置１００について図１から図５に基づいて説明する。
【００１１】
（１）音声検出装置１００の構成
図１は、本実施形態の音声検出装置１００の構成を示すブロック図である。
【００１２】
音声検出装置１００は、気導音マイクロホン１と骨伝導マイクロホン２の２本のマイクロホンを利用する場合について示す。そして、音声を認識したい者（以下、マイクロホン装着者という）が、骨伝導マイクロホン２を身体、特に顔付近に装着し、かつ、気導音マイクロホン１によってマイクロホン装着者の声が受音できる状態になっているとする。
【００１３】
音声検出装置１００は、気導音マイクロホン１、レベル判定部２、骨伝導マイクロホン３、レベル判定部４、相関値計算部５、判定部６、音声区間検出部７、雑音特徴推定部８、雑音キャンセル部９とを備えている。なお、本実施例では、音声検出装置１００に音声認識装置が接続されている状況を想定し、音声検出装置１００の出力が音声認識処理に供されることを踏まえて説明する。
【００１４】
（２）気導音マイクロホン１とレベル判定部２
気導音マイクロホン１には空気中を伝わる音響信号が入力され、この音響信号が電気信号に変換され、さらにＡＤ変換後、ディジタル信号（以下、入力音響信号という）に変換され、レベル判定部２に送られる。
【００１５】
レベル判定部２では、例えば、１０ｍ秒毎に、入力音響信号の波形の振幅の２乗和によりパワーが計算される。入力音響信号のパワーと、予め設定されたパワーの閾値と比較され、閾値を超えている場合には、１０ｍ秒分の入力音響信号は相関値計算部５へ入力される。
【００１６】
（３）骨伝導マイクロホン３とレベル判定部４
一方、時間的に同期して、骨伝導マイクロホン３へも身体を伝わる振動音が入力され、この振動音が電気信号に変換され、さらにＡＤ変換後、ディジタル信号（以下、入力振動信号という）に変換され、レベル判定部４に送られる。
【００１７】
レベル判定部４では、例えば、入力振動信号の１０ｍ秒の長さを１フレームと定義して、フレーム毎に入力振動信号の波形の振幅の２乗和によりパワーが計算される。入力振動信号のパワーと、予め設定されたパワーの閾値と比較され、閾値を超えている場合には、１０ｍ秒分の入力振動信号は相関値計算部５へ入力される。
【００１８】
なお、各レベル判定部２，４での閾値は入力音響信号と入力振動信号のレベルが異なることから別々の値に設定される。
【００１９】
（４）相関値計算部５と判定部６
相関値計算部５では、レベル判定処理を通過した気導音マイクロホン１からの入力音響信号及び骨伝導マイクロホン３からの入力振動信号が入力される。双方の信号が入力された場合に相関値が計算される。
【００２０】
相関には、例えば各信号を周波数分解し得られた周波数パターン間のユークリッド距離を利用しても良いし、相関係数を求めてもよい。
【００２１】
ここで、実際にマイクロホン装着者が発声した音声の場合、レベル判定部２から得られる入力音響信号は空気中を伝わる当該音声となり、レベル判定部４から得られる入力振動信号は発声された音声により骨が振動した信号となる。双方とも信号源は同じであるので、それぞれの相関値は高い値を示すと考えられる。
【００２２】
図２に示すように、マイクロホン装着者でない人の発声がなされた場合を考える。レベル判定部２から得られる入力音響信号は空気中を伝わる当該音声となり、一方、骨伝導マイクロホンへの入力はないため、レベル判定部４から出力されない。
【００２３】
図３に示すように、マイクロホン装着者が発声せず、身体の摩擦などにより骨伝導マイクロホン３３にのみ入力振動信号が入力された場合を考える。気導音マイクロホン１への入力はないか、あるいはあっても非常にレベルの低い信号となり、レベル判定部２からの出力はない。
【００２４】
図４に示すように、マイクロホン装着者ではない人の発声と、マイクロホン装着者の身体から発生された振動の両方が時間的に重なってしまった場合を考える。レベル判定部２，４からはそれぞれ人の声の入力音響信号と、入力振動信号が出力される。それらの信号源は異なるので相関値は非常に小さな値になると考えられる。
【００２５】
相関値計算部５で計算された相関値が、判定部６で予め設定された閾値を超えた場合に両者のマイクロホン１，３に入力された信号には相関があると判定され、その時の時刻情報が音声区間検出部７及び雑音特徴推定部８に出力される。
【００２６】
以上の処理は、背景雑音のない場合に考えられる現象について説明したものである。いずれの場合にも、マイクロホン装着者の発声以外の信号が音声区間検出部７へ入力されるのを妨げることができ、確実にマイクロホン装着者が発声したと考えられる区間の時刻情報を音声区間検出部７へ知らせることができる。逆にいうと、当該時刻の時点ではマイクロホン装着者が発声していると考えてよいということになる。
【００２７】
但し、マイクロホン装着者により発声された音声のうち、特に語頭の子音などは骨等がほとんど振動せず、骨伝導マイクロホン３では拾うことが難しいため、実際には相関値が高いという結果が得られた時刻より以前の時刻で音声が開始されている場合がある。また、これらの現象は語頭だけでなく、語中や語尾などでも発生する場合がある。これらの問題は、音声区間検出部７及び本音声検出装置１００に接続される音声認識装置で対処することになる。
【００２８】
一方、背景雑音がある場合を考えると、マイクロホン装着者の発声がない場合でも、気導音マイクロホン１を通過した入力音響信号は雑音の影響で高いレベルの信号となっていると想定されるので、レベル判定部２を通過して相関値計算部５へ送付される。しかし、骨伝導マイクロホン３は背景雑音の影響は受けないので、マイクロホン装着者の発声がない背景雑音のみの区間ではレベル判定部４からの出力はない。したがって、背景雑音の影響は排除することができる。このように、背景雑音がある場合でも、ない場合でも、雑音に影響されることなく、レベル判定処理及び相関値による判定処理を行うことにより、マイクロホン装着者が確実に発声した時刻の情報を音声区間検出部７に出力することができる。
【００２９】
（５）音声区間検出部７
音声区間検出部７での処理は特に限定するものではないが、図５に基づいてその一例を示す。
【００３０】
音声区間検出部７には、上記した音声区間と想定される時刻情報の他に、気導音マイクロホン１から出力される入力音響信号が雑音特徴推定部８を経て入力される。
【００３１】
また、雑音特徴推定部８を経由して雑音キャンセル部１で雑音キャンセル処理された後の信号も入力される。
【００３２】
音声区間検出部７では、これら３種類の情報及び信号を用いて、マイクロホン装着者の正しい音声区間を検出する。
【００３３】
上記したように、判定部６から出力される音声区間の時刻情報は、語頭の子音などの区間を含まない可能性があることから、当該時刻よりも例えば３０フレーム（＝３００ｍ秒）前の時点から音声区間検出処理を開始するなどの制御を行う。したがって、音声区間検出部７内に、入力音響信号を例えば３０フレーム分格納する記憶領域を内蔵している。音声区間検出部７では、開始フレーム毎に雑音キャンセル前の入力音響信号と雑音キャンセル後の入力音響信号の両方を用い、例えばフレーム毎のパワー、周波数パターンに基づき、当該フレームがマイクロホン装着者の発声した音声に該当するかどうかを判定する。
【００３４】
音声に該当すると判定されたフレームは、音声開始フレームから逐次、音声終了フレームまで音声認識装置に送られ、音声認識のための特徴抽出及び音声認識処理が実行される。
【００３５】
（６）雑音特徴推定部８
雑音特徴推定部８では、判定部６で当該フレームが音声区間と判定されるまで、雑音区間であるという判断のもとに、当該フレームの信号を雑音特徴推定に利用する。
【００３６】
具体的には、連続する雑音フレームが複数連続する続く場合、当該フレームより前の雑音特徴信号Ｎ（ｎ−１）を、当該フレームの周波数特徴信号Ｆ（ｎ）を用いてある更新係数αで更新することにより、当該フレームまでの雑音特徴信号Ｎ（ｎ）とする。次のフレームが雑音フレームと判定された場合には、同様に更新する。つまり更新式は以下のようになる。
【００３７】
Ｎ（ｎ）＝（１−α）・Ｎ（ｎ−１）＋α・Ｆ（ｎ）
この雑音特徴信号は雑音キャンセル部９で利用される。
【００３８】
（７）雑音キャンセル部９
雑音キャンセル部９では、雑音特徴推定部８から送られる推定された雑音特徴信号と、当該フレームが雑音なのか音声なのかの判定情報に基づき、音声フレームである場合には、気導音マイクロホン１から出力される入力信号から音声成分だけを抽出する処理を行う。
【００３９】
例えば、スペクトルサブトラクション法などを用い、当該フレームの周波数特徴信号から、雑音特徴信号を引き算するなどの処理を行い、雑音成分をキャンセルし、音声成分だけを抽出する処理を行う。
【００４０】
この音声成分信号は音声区間検出で利用されると共に、音声区間検出部７を経由して、音声認識装置にも送られ、音声認識処理に利用される。
【００４１】
（８）効果
本実施形態の音声検出装置１００であると、周囲の背景雑音などの定常雑音や、人の話し声、電話音やクラクションなどの非定常雑音の影響を受けず、正確な音声区間検出が可能となり、ひいては音声認識性能を高めることが可能となる。
【００４２】
（９）変更例
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【００４３】
例えば、上記実施形態では、気導音マイクロホン１と骨伝導マイクロホン２の２本のマイクロホンを利用する場合について説明したが、これに代えて、無指向性の気導音マイクロホンと指向性の気導音マイクロホンと骨伝導マイクロホンの３本のマイクロホンを使用してもよい。この場合に音声か雑音かの判定は、複数の入力信号間の組み合わせの内、少なくとも過半数の組み合わせで相関があるとしたときに音声であると判定する。また、過半数の組み合わせで相関がないとしたときに雑音であると判定する。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態の音声検出装置のブロック図である。
【図２】気導音マイクロホンにマイクロホン装着者の発声以外の音声が入力された場合の例を示す図である。
【図３】骨伝導マイクロホンにマイクロホン装着者の発声以外の振動が入力された場合の例を示す図である。
【図４】気導音マイクロホンと骨伝導マイクロホンの両方にマイクロホン装着者の発声以外の音及び振動が同時に入力された場合の例を示す図である。
【図５】音声区間検出処理の一例を示す図である。
【符号の説明】
【００４５】
１  気導音マイクロホン
２  レベル判定部
３  骨伝導マイクロホン
４  レベル判定部
５  相関値計算部
６  判定部
７  音声区間検出部
８  雑音特徴推定部
９  雑音キャンセル部
【図１】
2007264132.tif 000003
【図２】
2007264132.tif 000004
【図３】
2007264132.tif 000005
【図４】
2007264132.tif 000006
【図５】
2007264132.tif 000007