(57)【要約】【課題】  良好ではないＳＮＲでも、発話を頑強に検出することができる発話検出装置を提供することを目的とする。【解決手段】  発話衝突検出装置Ｌ１は、複数の音源から得た音声信号の音声レベルを比較する比較部４３１と、音声レベルが最も高い音源で発話がなされていると推定し、他の音源では無音レベルであると推定し、音源における発話を検出する認識部４３２とを備える。認識部４３２は、発話がなされていると推定された部分および無音レベルであると推定された部分の音声信号に対してラベルを付与して記録部４３３に記録する。これにより、必ずしも良好ではないＳＮＲでも、衝突や、サイトごとの発話を、全自動で頑強に検出することができる。【選択図】          図１
2006276296.tif 000002
【特許請求の範囲】
【請求項１】
複数の音源から得た音声信号の音声レベルを比較する比較手段と、
前記複数の音源のうち前記音声レベルが最も高い音源で発話がなされていると推定し、他の音源では無音レベルであると推定し、前記音源毎における発話を検出する検出手段と
を備えることを特徴とする発話検出装置。
【請求項２】
前記発話がなされていると推定された部分および前記無音レベルであると推定された部分の音声信号に対してラベルを付与する付与手段をさらに備えることを特徴とする請求項１に記載の発話検出装置。
【請求項３】
前記音声信号の一部ないし全部は、遠隔地に置かれた音声入力手段から入力された音声信号であることを特徴とする請求項１または請求項２に記載の発話検出装置。
【請求項４】
前記音声信号は、同一空間内に置かれた音声入力手段から入力された音声信号であることを特徴とする請求項１に記載の発話検出装置。
【請求項５】
前記音声信号は、短時間の音声レベルの平均値であることを特徴とする請求項１に記載の発話検出装置。
【請求項６】
音源ごとに、発話検出の所定数を推定する推定手段をさらに備えることを特徴とする請求項１に記載の発話検出装置。
【請求項７】
音源ごとに、発話検出の所定数を推定し、これを更新する推定手段をさらに備えることを特徴とする請求項１に記載の発話検出装置。
【請求項８】
前記発話検出の所定数は、無音レベルの分布、無音レベルの平均値、無音レベルの閾値、クロストローク、発話時間の分布、発話時間の閾値、ショートポーズの分布及びショートポーズの閾値のうち少なくとも１つを含む請求項６または請求項７に記載の発話検出装置。
【請求項９】
複数の音源から得た音声信号の音声レベルを比較するステップと、
前記複数の音源のうち前記音声レベルが最も高い音源で発話がなされていると推定し、他の音源では無音レベルであると推定し、前記音源における発話を検出するステップと
を有することを特徴とする発話検出方法。
【請求項１０】
前記発話がなされていると推定された部分および前記無音レベルであると推定された部分の音声信号に対してラベルを付与するステップをさらに有することを特徴とする請求項９に記載の発話検出方法。
【請求項１１】
音源ごとに、発話検出の所定数を推定するステップをさらに有することを特徴とする請求項９に記載の発話検出方法。
【請求項１２】
音源ごとに、発話検出の所定数を推定し、これを更新するステップをさらに有することを特徴とする請求項９に記載の発話検出方法。
【請求項１３】
前記発話検出の所定数は、無音レベルの分布、無音レベルの平均値、無音レベルの閾値、クロストローク、発話時間の分布、発話時間の閾値、ショートポーズの分布及びショートポーズの閾値のうち少なくとも１つを含む請求項１１または請求項１２に記載の発話検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話検出装置および発話検出方法に関する。
【背景技術】
【０００２】
従来、多地点間の接続形態で複数の会議端末が接続され、相互に音声、画像情報や文書情報等の会議情報をやり取りを行うテレビ会議システムが提案されている。
【０００３】
たとえば複数の会議端末を接続し、複数の表示入力装置をチェーン状に接続するとともに、各表示入力装置に対して、入力権利を与えるトークンを一定時間間隔で巡回的に割り当てることにより、ユーザインターフェース等の実際の使い勝手を向上させることができるテレビ会議システムが提案されている（特許文献１）。
【特許文献１】特開平９−１７２４９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、テレビ会議では、画像圧縮や伸張による遅れ、伝送のための遅れにより、発話の衝突が頻繁に起こるという問題がある。会話が衝突すると、会議の質が低下し、想いが伝わらないなどの問題も生じる。また、特許文献１記載のテレビ会議システムでは、発言権を制限する方法などが提案されているが、制限が強いため、不自然で副作用が大きいという問題があった。また、全く設定なしに衝突を検出する方法は、頑強ではなかった。
【０００５】
また、発話を検出するためには、無音レベル、クロストローク、最短発話時間、ショートポーズの分布などの幾つかの定数を定めることが必要となる。ここで、無音レベルとは、当該話者が発話していないときの雑音レベルをいう。クロストークとは、他の話者の声が当該話者の音声レベルに入り込む割合をいう。ショートポーズの分布は、撥音など、発話中の短時間の無音区間の長さの分布をいう。これらの定数は、必ずしも一意に定まらない。発話検出精度を上げるためには、音声中の発話、非発話区間を手動でラベル付けして学習するなどの方法が必要であった。
【０００６】
そこで、本発明は、上記問題点に鑑みてなされたもので、良好ではないＳＮＲでも、発話を頑強に検出することができる発話検出装置および発話検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、複数の音源から得た音声信号の音声レベルを比較する比較手段と、前記複数の音源のうち前記音声レベルが最も高い音源で発話がなされていると推定し、他の音源では無音レベルであると推定し、前記音源毎における発話を検出する検出手段とを備える発話検出装置である。本発明によれば、複数の人が話をしている場合、複数の人が連続して話し続けることは稀であり、最大１人が話し続けることが多いという現象があることから、音声レベルを比較し、一番大きい音が発話中の場合、他のサイトは無音である可能性が高いと想定できる。このことから、全く操作なしに、サイトごとの無音レベルを推定し、音源毎における発話を検出する。これにより、必ずしも良好ではないＳＮＲでも、衝突や、サイトごとの発話を、全自動で頑強に検出することができる。
【０００８】
本発明の発話検出装置は、前記発話がなされていると推定された部分および前記無音レベルであると推定された部分の音声信号に対してラベルを付与する付与手段をさらに備える。
【０００９】
前記音声信号の一部ないし全部は、遠隔地に置かれた音声入力手段から入力された音声信号であることを特徴とする。本発明によれば、テレビ会議ではなくても、話者ごとの音声レベルが検出することにより、話者ごとの無音レベルを推定できる。前記音声信号は、同一空間内に置かれた音声入力手段から入力された音声信号であることを特徴とする。前記音声信号は、短時間の音声レベルの平均値であることを特徴とする。音源ごとに、発話検出の所定数を推定する推定手段をさらに備える。音源ごとに、発話検出の所定数を推定し、これを更新する推定手段をさらに備える。また、無音レベルをはじめとした所定数を動的に更新し、随時、適切な値とすることも、全自動であるため、容易に実現できる。
【００１０】
前記発話検出の所定数は、無音レベルの分布、無音レベルの平均値、無音レベルの閾値、クロストローク、発話時間の分布、発話時間の閾値、ショートポーズの分布及びショートポーズの閾値のうち少なくとも１つを含む。なお、ここで、クロストロークは、外部から入ってきた音声が、マイクに再度入力されて音声が上がるレベルの分布を含む。
【００１１】
本発明は、複数の音源から得た音声信号の音声レベルを比較するステップと、前記複数の音源のうち前記音声レベルが最も高い音源で発話がなされていると推定し、他の音源では無音レベルであると推定し、前記音源における発話を検出するステップとを有する発話検出方法である。本発明によれば、複数の人が話をしている場合、複数の人が連続して話し続けることは稀であり、最大１人が話し続けることが多いという現象があることから、音声レベルを比較し、一番大きい音が発話中の場合、他のサイトは無音である可能性が高いと想定できる。このことから、全く操作なしに、サイトごとの無音レベルを推定し、音源毎における発話を検出する。これにより、必ずしも良好ではないＳＮＲでも、衝突や、サイトごとの発話を、全自動で頑強に検出することができる。
【００１２】
本発明の発話検出方法は、前記発話がなされていると推定された部分および前記無音レベルであると推定された部分の音声信号に対してラベルを付与するステップをさらに有する。本発明の発話検出方法は、音源ごとに、発話検出の所定数を推定するステップをさらに有する。本発明の発話検出方法は、音源ごとに、発話検出の所定数を推定し、これを更新するステップをさらに有する。前記発話検出の所定数は、無音レベルの分布、無音レベルの平均値、無音レベルの閾値、クロストローク、発話時間の分布、発話時間の閾値、ショートポーズの分布及びショートポーズの閾値のうち少なくとも１つを含む。
【発明の効果】
【００１３】
本発明によれば、良好ではないＳＮＲでも、発話を頑強に検出することができる発話検出装置および発話検出方法を提供することを目的とする。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について説明する。
【実施例１】
【００１５】
図１および図２は、第１実施例に係るテレビ会議システム１の構成を示す図である。図１および図２に示すように、テレビ会議システム１は、複数の遠隔地Ｌ１〜Ｌｎ間を接続する接続部２、テレビ会議システム全体を制御するテレビ会議制御部３を備える。遠隔地Ｌ１は、音声信号取得部４１ｂ〜４１ｎ、音声信号入力部４２、諸定数推定部４３を備える。音声信号取得部４１ｂ〜４１ｎ、音声信号入力部４２および諸定数推定部４３が発話検出装置を構成する。他の遠隔地Ｌ２〜Ｌｎも同様の構成であるためここでは説明を省略する。本実施例では、音声信号の一部ないし全部が遠隔地に置かれたマイクロホン（音声入力手段）から入力された音声信号である場合について説明する。
【００１６】
音声信号取得部４１ｂ〜４１ｎは、遠隔地Ｌ１とは異なる遠隔地から得た音声信号を取得するものである。音声信号入力部４２は、マイクロホンによって構成され、当地の音声信号が入力される。諸定数推定部４３は、比較部４３１、認識部４３２、記録部４３３を備える。比較部４３１は、複数の音源から得た音声信号の音声レベルを比較するものである。より詳細には、比較部４３１は遠隔地Ｌ２〜Ｌｎの音声レベルと音声信号入力部４２から入力された音声レベルを比較する。認識部４３２は、比較部４３１による比較結果に基づいて、音声レベルが最も高い音源で発話がなされていると推定し、他の音源では無音レベルであると推定し、音源における発話を検出するものである。また認識部４３２は、発話がなされていると推定された部分および無音レベルであると推定された部分の音声信号に対してラベルを付与して記録部４３３に格納する。また、諸定数推定部４３は、音源ごとに、発話検出の所定数を推定し、これを更新する機能を備える。ここで、発話検出の所定数は、無音レベルの分布、無音レベルの平均値、無音レベルの閾値、クロストローク、発話時間の分布、発話時間の閾値、ショートポーズの分布及びショートポーズの閾値を含む。
【００１７】
図３は、時間軸上に、発話者の発話区間を並べたタイムラインを示す図である。同図（ａ）は遠隔地Ｌ１、（ｂ）は遠隔地Ｌ２、（ｃ）は遠隔地Ｌ３の音声レベルをそれぞれ示す図である。縦軸は各地点からの音声レベルを示しており、横軸は、時間軸を示している。Ｐ１１〜Ｐ１３は遠隔地Ｌ１の発話区間、Ｐ２１〜Ｐ２３は遠隔地Ｌ２の発話区間、Ｐ３１及びＰ３２は遠隔地Ｌ３の発話区間を示す。発話すると、音声レベルの波が大きく、変動するという特徴があり、一方、発話していないと、音声レベルは「無音レベル」以下で、変動も小さいという特徴がある。通常の使用状況では、同時に複数の人が話し続けることが殆ど無く、誰かの発話があると、比較的短時間で、誰か一人を除いて発話を止めるいということに着眼して、無音レベルなどの所定数を推定するというものである。複数の人が同時に話し続けることが少ない、発話中は音声レベルがノイズレベルよりも大きいなどのことが分かる。
【００１８】
図３に示すように、複数の人が話をしている場合、複数の人が連続して話し続けることは稀であり、最大１人が話し続けることが多いという現象があることから、音声レベルを比較し、一番大きい音が発話中の場合、他のサイトは無音である可能性が高いと想定できる。このことから、全く操作なしに、サイトごとの無音レベルを推定し、音源毎における発話を検出する。これにより、必ずしも良好ではないＳＮＲでも、衝突や、サイトごとの発話を、全自動で頑強に検出することができる。
【００１９】
次に、処理手順について説明する。図４は、処理フローチャートを示す図である。ステップＳ１１で、認識部４３２は、初期値を諸定数に設定する。ステップＳ１２で、認識部４３２は、音源ごとに発話尤度（最も発話している可能性）を算出する。発話尤度を算出する最も単純な方法は、音声レベルを使う方法が想定される。発話中の音声レベルから音源の音量を調整することや、音源が音声レベルよりも十分に小さければ、その音声レベルを無音レベルとすることができる。また、音声認識などで用いられている発話区間検出、終端検出などによる指標を発話尤度として用いても良い。
【００２０】
ステップＳ１３で、認識部４３２は、発話尤度が最も高く、所定の閾値よりも大きい音源を発話中と判断する。認識部４３２は、発話中以外の音源で、発話尤度が十分に低いものは、発話中ではないと判断する。ステップＳ１４で、上述の「発話中と判断した部分」、「発話中ではないと判断した部分」を正解としてラベル付けを行う。ステップＳ１５で、認識部４３２は、発話尤度が合致するように諸定数を更新する。認識部４３２は、上述の諸定数の更新を、必要な区間、または、随時繰り返し、正確な値を推定する。
【００２１】
さらに、認識部４３２は、最短発話時間や、ショートポーズの区間の分布などの詳細な定数を用いて、より正確に発話区間を推定することも可能である。その諸定数は、同様の方法で更新・推定することが出来る。
【００２２】
発話中にも促音（小さい「っ」）や、分の区切りの短時間の無音区間がある。これをショートポーズという。ショートポーズは名前から分かるように時間的には短いが、どこからどこまでという明確な長さは場面や話者によって異なり、分布が、都度変化するために、必要に応じて調整する必要がある。一般に、音声認識では予め設定した値とすることが一般的である。目的は、閾値を算出するために分布を求めるので、閾値が求まれば、厳密に分布を観測する必要はない。
【００２３】
また、最短発話時間とは、最も短い発話の長さで、例えば、「はい」を短く話したときの時間に相当し（人や状況によって２００〜５００ｍＳぐらいのひらきがある）、やはり分布が都度変化する。同様に閾値を求めるために使う。これ以下の時間の音は、例えば、物のぶつかる音（会議テーブルに物を置くときの音など）や、マイクに衝撃が伝わって音声レベルが上がる現象（マイクロホンノイズ）などが想定される。これらは発話ではないので、音声レベルが上がったとしても、単に時間的な長さからノイズとして判断することができる。ここでは、発話時間との閾値を「最短発話時間」と読んでいる。また、「最短発話時間」ともいう。もちろん、ノイズレベルにも、音声レベルにも分布があり、「複数の人が同時に話し続けることが少ない」という観点から、会議中に情報を取得することが可能で、この情報に基づいて適応的に更新してゆくことが可能である。
【００２４】
また、遠隔地からの音声を、スピーカーを使って聞いている場合など、外部からの音声が自分のマイクに入力される場合、外部の音声レベルを差し引く必要がある場合がある。これは、クロストークのレベルであるが、クロストークもマイクからの信号とスピーカーへ出力される音声レベルの信号から推定することができる。このレベルは、スピーカー、顔、マイクの位置関係が少し変わっただけで大きく変わることが知られている。クロストークによる影響が大きい場合には、随時修正する必要がある。
【００２５】
また、テレビ会議の場合など、画像が取得できる場合には口の動きなどから、より正確は発話中、非発話の情報を得て、ラベル付けに寄与させることができる。音声信号は、音声全部でも良いし、たとえば短時間の音声レベルの平均値などの情報量の少ないものでもよい。たとえば、外部からの音声信号を合算した１つと、当地の音声信号とを用いる２チャンネルのケースがある。当地の音声信号は、テレビ会議制御部３から取得する代わりに、より音源に近い場所（マイクから分岐など）から取得する。これにより、当地の音声信号は、テレビ会議制御部３による遅れの影響を受けないで当地の音声信号を得ることができる。時間軸上に、発話者の発話区間を並べたタイムラインを出力することができる。
【００２６】
本実施例によれば、手動のラベル付けが不要となるため、自動で処理することができる。無音区間や発話区間の情報をより正確に得ることができる。また、実時間で精度良く発話を検出できることができるので、画像圧縮、伸長の時間を経ずに、相手に発話開始・終了を伝えることができる。また、動的に諸定数を更新できる。タイムラインを自動記録できる。音声認識に役立てることが出来る。雑音を伝送しないなどにより、帯域を節約できる。
【実施例２】
【００２７】
次に本発明の第２実施例について説明する。第１実施例では、テレビ会議システムでの発話の衝突を検出例について説明したが、発話の衝突は、遠隔会議でない場合も想定できる。第２実施例では、同一の会議室で、複数の人が話をする場合に適用する例である。第２実施例では、音声信号が同一空間内に置かれたマイクロホンから入力された音声信号である場合の例である。
【００２８】
図５および図６は、第２実施例に係る発話検出装置１０１の構成を示す図である。図５および図６に示すように、発話検出装置１０１は、複数の音声入力部１０２ａ〜１０２ｎおよび諸定数推定部４３を備える。音声入力部１０２ａ〜１０２ｎは、接話型マイクロホンを用いても良いし、複数のマイクを用いても良いし、マイクロホンアレーを用いても良い。図５では、音声入力部１０２に、マイクロホン付ヘッドセットを用いた例を示している。
【００２９】
諸定数推定部４３は、話者（音源）ごとに音声レベルを認識することにより、発話検出のための諸定数を推定するものであり、比較部４３１、認識部４３２および記録部４３３を備える。比較部４３１は、音源毎の音声レベルを比較する。認識部４３２は、比較部４３１の比較結果から発話者を推定するものであり、音声信号の中で音声レベルが一番大きな音声信号が入力された音声入力部１０２で発話がなされていると推定し、他の音声入力部では発話がなされていないと推定する。認識部４３２は、発話がなされていない音声入力部から入力された音声信号に基づいて、他の音声入力部の雑音レベルを検出する。記録部４３３は、発話がなされていないときの雑音レベルを記録する。認識部４３２で、発話者を推定することにより、発話者にカメラを自動的に向けるなどの操作も可能になる。
【００３０】
上記各実施例によれば、以下のよう効果を有する。通常のテレビ会議では、常時、発話が衝突し続けることは想定されない。また、複数の人が会話をする場合、２人以上が同時に話しつづけることは想定しにくい。誰かが話している最中に他の人が話しても、短時間で何れかが終了すると考えられる。発信側音声と、受信側音声（マルチキャストの場合は、サイトごと）に、音声レベルを比較し、一番大きい音が発話中の場合、他のサイトは無音であると想定できる。このことから、全く操作なしに、サイトごとの無音レベルを推定し、発話を検出する。これにより、必ずしも良好ではないＳＮＲでも、衝突や、サイトごとの発話を、全自動で頑強に検出することができる。
【００３１】
なお、本発明による発話検出方法は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。プログラムは、複数の音源から得た音声信号の音声レベルを比較するステップと、前記音声レベルが最も高い音源で発話がなされていると推定し、他の音源では無音レベルであると推定し、前記音源における発話を検出するステップをＣＰＵ（コンピュータ）に実行させる。
【００３２】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００３３】
【図１】第１実施例に係るテレビ会議システム１の構成を示す図である。
【図２】第１実施例に係るテレビ会議システム１の構成を示す図である。
【図３】時間軸上に、発話者の発話区間を並べたタイムラインを示す図である。
【図４】処理フローチャートを示す図である。
【図５】第２実施例に係る発話検出装置１０１の構成を示す図である。
【図６】第２実施例に係る発話検出装置１０１の構成を示す図である。
【符号の説明】
【００３４】
１  テレビ会議システム
２  接続部
Ｌ１〜Ｌｎ  遠隔地
４１ｂ〜４１ｎ  音声取得部
４２  音声入力部
４３  諸定数推定部
４３１  比較部
４３２  認識部
４３３  記録部
１０１  衝突検出装置
１０２ａ〜１０２ｎ  音声入力部
【図１】
2006276296.tif 000003
【図２】
2006276296.tif 000004
【図３】
2006276296.tif 000005
【図４】
2006276296.tif 000006
【図５】
2006276296.tif 000007
【図６】
2006276296.tif 000008