(57)【要約】【課題】周囲雑音に応じて閾値を変更し、誤検出を低減する判定装置等を提供する。【解決手段】判定装置は入力音響信号にユーザから発せられた音声信号を含むかを判定する。判定装置は、参照情報に基づき閾値を決定する閾値決定部と、閾値に基づき、入力音響信号に音声信号を含むかを判定する判定部と、を有する。参照情報は、入力音響信号を収音したマイクロホンに到来する、ユーザから発せられた音声を除く音響信号である周囲雑音の大きさに関連する情報である。閾値決定部は、参照情報が示す周囲雑音の大きさが大きくなるほど、入力音響信号に音声信号を含むと判定しづらくなるように閾値を決定し、閾値決定部は、参照情報が示す周囲雑音の大きさが小さくなるほど、入力音響信号に音声信号を含むと判定しやすくなるように、かつ、入力音響信号に音声信号を含むと所定の基準よりも判定しやすくならないように閾値を決定する。【選択図】図３
2020118838.tif 000002
【特許請求の範囲】
【請求項１】
入力音響信号にユーザから発せられた音声信号を含むかを判定する判定装置であって、
参照情報に基づき閾値を決定する閾値決定部と、
前記閾値に基づき、前記入力音響信号に前記音声信号を含むかを判定する判定部と、を有し、
前記参照情報は、前記入力音響信号を収音したマイクロホンに到来する、前記ユーザから発せられた音声を除く音響信号である周囲雑音の大きさに関連する情報であり、
前記閾値決定部は、前記参照情報が示す周囲雑音の大きさが大きくなるほど、前記入力音響信号に前記音声信号を含むと判定しづらくなるように前記閾値を決定し、
前記閾値決定部は、前記参照情報が示す周囲雑音の大きさが小さくなるほど、前記入力音響信号に前記音声信号を含むと判定しやすくなるように、かつ、前記入力音響信号に前記音声信号を含むと所定の基準よりも判定しやすくならないように前記閾値を決定する、
判定装置。
【請求項２】
入力音響信号にユーザから発せられた音声信号を含むかを判定する判定方法であって、
参照情報に基づき閾値を決定する閾値決定ステップと、
前記閾値に基づき、前記入力音響信号に前記音声信号を含むかを判定する判定ステップと、を有し、
前記参照情報は、前記入力音響信号を収音したマイクロホンに到来する、前記ユーザから発せられた音声を除く音響信号である周囲雑音の大きさに関連する情報であり、
前記閾値決定ステップにおいて、前記参照情報が示す周囲雑音の大きさが大きくなるほど、前記入力音響信号に前記音声信号を含むと判定しづらくなるように前記閾値を決定し、
前記閾値決定ステップにおいて、前記参照情報が示す周囲雑音の大きさが小さくなるほど、前記入力音響信号に前記音声信号を含むと判定しやすくなるように、かつ、前記入力音響信号に前記音声信号を含むと所定の基準よりも判定しやすくならないように前記閾値を決定する、
判定方法。
【請求項３】
請求項１の判定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力音響信号にユーザから発せられた音声信号を含むかを判定する技術に関する。
【背景技術】
【０００２】
入力音響信号にユーザから発せられた音声信号を含むかを判定する技術として、発話区間検出（Voice Activity Detection : VAD）技術が知られており、VADでは観測信号から何らかの方法で音声または非音声を判定する。例えば、決定論的な方法として非特許文献１が、統計的な方法として非特許文献２が知られている。決定論的な方法では、観測信号が予め設定された閾値を超えた場合音声と判定する。統計的な方法では、音声らしさ、非音声らしさの識別モデルを学習し、識別モデルによって観測信号が音声か否かを判定する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ITU-T Recommendation G.729 Annex B
【非特許文献２】M. Fujimoto, K. Ishizuka, T. Nakatani, "A voice activity detection based on the adaptive integration of multiple speech features and a signal decision scheme", in Proc. ICASSP 2008 pp.4441-4444
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、マイクとスピーカを具備する端末（スマートスピーカー、ロボット、車載端末等）に従来のVAD技術を適用すると、端末のスピーカ再生音などの周囲雑音が増大した際に、雑音を音声として誤検出してしまう場合がある（図１参照）。
【０００５】
本発明は、周囲雑音に応じて閾値を変更し、誤検出を低減する判定装置、その方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様によれば、判定装置は入力音響信号にユーザから発せられた音声信号を含むかを判定する。判定装置は、参照情報に基づき閾値を決定する閾値決定部と、閾値に基づき、入力音響信号に音声信号を含むかを判定する判定部と、を有する。参照情報は、入力音響信号を収音したマイクロホンに到来する、ユーザから発せられた音声を除く音響信号である周囲雑音の大きさに関連する情報である。閾値決定部は、参照情報が示す周囲雑音の大きさが大きくなるほど、入力音響信号に音声信号を含むと判定しづらくなるように閾値を決定し、閾値決定部は、参照情報が示す周囲雑音の大きさが小さくなるほど、入力音響信号に音声信号を含むと判定しやすくなるように、かつ、入力音響信号に音声信号を含むと所定の基準よりも判定しやすくならないように閾値を決定する。
【発明の効果】
【０００７】
本発明によれば、周囲雑音に応じて閾値を変更し、誤検出を低減することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】従来のVADを説明するための図。
【図２】第一実施形態に係る判定装置を説明するための図。
【図３】第一実施形態に係る判定装置の機能ブロック図。
【図４】第一実施形態に係る判定装置の処理フローの例を示す図。
【図５】周囲雑音の大きさに関連する情報が連続値の場合の閾値Thの決定方法を説明するための図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１０】
＜第一実施形態のポイント＞
本実施形態では、VADの閾値を動的に変化させる(図２参照)。このとき、動的変化のタイミングや変化量を参照情報から特定する。参照情報は、周囲雑音の大きさに関連する情報である。
【００１１】
＜第一実施形態＞
図３は第一実施形態に係る判定装置の機能ブロック図を、図４はその処理フローを示す。
【００１２】
判定装置は、閾値決定部１１０とVAD処理部１２０とを含む。
【００１３】
判定装置は、参照情報と観測信号（入力音響信号）を入力とし、観測信号にユーザから発せられた音声信号を含むかを判定し、判定結果を出力する。なお、ユーザから発せられた音声信号を含む区間を音声区間といい、判定装置は、音声区間を判定すると言ってもよい。例えば、判定結果は音声区間であることを示す情報、または、音声区間でないことを示す情報である。また、VADの対象となるユーザから発せられた音声のみを音声信号とし、他の人物やスピーカから発せられた音声は雑音として扱う。入力音響信号は、リアルタイムに収音した観測信号であってもよいし、事前に収音した信号を何らかの記憶媒体に記憶した信号であってもよい。
【００１４】
判定装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。判定装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。判定装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。判定装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。判定装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも判定装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、判定装置の外部に備える構成としてもよい。
【００１５】
以下、各部について説明する。
＜閾値決定部１１０＞
閾値決定部１１０は、参照情報を入力とし、参照情報に基づき閾値を決定し（Ｓ１１０）、決定した閾値を出力する。なお、閾値を出力するタイミングは、(i)参照情報の入力や閾値の変化に関わらず、所定の周期で出力してもよいし、(ii)参照情報を入力として受け取り閾値を決定する度に出力してもよいし、(iii)決定の結果、閾値が変化したときにのみ出力する構成としてもよい。
【００１６】
参照情報は、観測信号を収音したマイクロホンに到来する、ユーザから発せられた音声を除く音響信号である周囲雑音の大きさに関連する情報である。
【００１７】
閾値決定部１１０は、参照情報が示す周囲雑音の大きさが大きくなるほど観測信号に音声信号を含むと判定しづらくなるように閾値を決定する。
【００１８】
また、閾値決定部１１０は、参照情報が示す周囲雑音の大きさが小さくなるほど観測信号に音声信号を含むと判定しやすくなるように、かつ、観測信号に音声信号を含むと所定の基準よりも判定しやすくならないように閾値を決定する。
【００１９】
例えば、参照情報として、スピーカ再生信号の有無（2値）、車のエンジンON・OFF（2値）、発話者接近の有無（2値）、周囲雑音レベルの測定結果（連続値）などが考えられる。スピーカ再生信号がある場合、車のエンジンがONの場合、発話者の接近がある場合等に周囲雑音が大きくなると判断する。このような参照情報は、周囲雑音の増減の起因に関する情報とも言える。周囲雑音が大きくなるほど、音声信号と誤検出されやすくなるため、本実施形態では、周囲雑音の大きさが大きくなるほど音声信号を含むと判定しづらくなるように閾値を変化させる。例えば、図１のように観測信号のパワーに基づき音声信号か否かを判断する場合（閾値よりも観測信号のパワーが大きい場合に音声信号であると判断する場合）には、周囲雑音が大きいと判断したときに閾値が大きくなるように変化させる。例えば、決定論的なルールとして、スピーカ再生信号の有無（2値）、車のエンジンON・OFF（2値）、発話者接近の有無（2値）等の2値の入力（0 or 1）に対し、2値（0.3 or 1.0）の閾値を決定してもよい。この場合、0.3が前述の所定の基準に相当する。所定の基準を設けることで、必要以上に閾値の値を下げて無音に近い状態などのときに誤って音声信号を含むと判定されることを防ぐ。
【００２０】
また、M個の2値を組合せて、閾値Thを以下のように決定してもよい。
Th=b1a1+b2a2+…+bMaM+c
amは、0または1の2値であり、周囲雑音を大きくする場合(周囲雑音の増大の原因となる場合)には1、周囲雑音を小さくする場合(周囲雑音の増大の原因とならない場合)には0となる値である。m=1,2,…,Mであり、Mは正の整数の何れかである。bmは、m番目の周囲雑音の増大の原因に対する重みであり、正の実数である。cは前述の所定の基準である。
【００２１】
なお、周囲雑音の大きさに関連する情報として、周囲雑音の大きさそのもの（例えば周囲雑音レベル）を計測し、用いてもよい。周囲雑音の大きさに関連する情報が連続値の場合、閾値Thを以下のように決定してもよい。
Th=aL+d
ただし、Th<cのとき
Th=c
とする(図５参照)。a,dは実験やシミュレーション等により予め求めておくパラメータである。
【００２２】
＜VAD処理部１２０＞
VAD処理部１２０は、閾値と観測信号とを入力とし、閾値に基づき、観測信号にユーザから発せられた音声信号を含むかを判定し（Ｓ１２０）、判定結果を出力する。より詳しく言うと、VAD処理部１２０は、閾値と観測信号との大小関係に基づき、観測信号にユーザから発せられた音声信号を含むかを判定する。なお、前述の通り、なお、閾値決定部１１０が閾値を出力するタイミングは様々であるが、VAD処理部１２０では、直前に受け取った閾値に基づき判定を行えばよい。
【００２３】
この例では、観測信号のパワーが閾値より大きい、または、観測信号のパワーが閾値以上の場合に、観測信号にユーザから発せられた音声信号を含む音声区間と判定し、観測信号のパワーが閾値以下、または、観測信号のパワーが閾値より小さい場合に、観測信号にユーザから発せられた音声信号を含まない非音声区間と判定する。
【００２４】
＜効果＞
以上の構成により、観測信号に含まれる雑音レベルが変化しても、VADの誤検出を抑制することができる。
【００２５】
＜変形例＞
本実施形態では、VAD処理部１２０において、観測信号のパワー（周囲雑音が大きくなると合わせて大きくなる値）と閾値の大小関係に基づき音声信号か否かを判断しているが、周囲雑音が大きくなると合わせて小さくなる値(例えば観測信号のパワーの逆数)と閾値の大小関係に基づき音声信号か否かを判断してもよい。その場合、周囲雑音が大きくなると合わせて小さくなる値が閾値より小さい場合に音声信号であると判断するため、周囲雑音の大きさが大きくなるほど、観測信号に音声信号を含むと判定しづらくなるように閾値が小さくなるように変化させる。例えば、M個の2値を組合せて、閾値Thを以下のように決定してもよい。
Th=c-b1a1-b2a2-…-bMaM
また、周囲雑音の大きさに関連する情報が連続値の場合、閾値ThをTh=-aL+dにより決定してもよい。ただし、Th≧cのときTh=cとする。
【００２６】
本実施形態では、決定論的なルールについて説明したが、統計的な方法であっても同様に適用できる。例えば、音声らしさ、非音声らしさの識別モデルを用いる場合、観測信号に基づく値を入力とする識別モデルの出力値が、音声らしさを示す値(例えば、尤度)であり、音声信号らしいほど大きくなる値の場合、周囲雑音が大きいと判断したときに閾値が大きくなるように変化させ、音声らしさを示す値と閾値の大小関係に基づき音声信号か否かを判断する。
【００２７】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００２８】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００２９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００３０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００３１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００３２】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2020118838.tif 000003
【図２】
2020118838.tif 000004
【図３】
2020118838.tif 000005
【図４】
2020118838.tif 000006
【図５】
2020118838.tif 000007