(57)【特許請求の範囲】
【請求項１】
電話機からの受話信号x1と送話信号を入力として、側音信号を抑圧した側音抑圧済み受話信号x2を出力する側音抑圧処理部と、
上記側音抑圧済み受話信号x2を入力として、当該側音抑圧済み受話信号x2の音声区間を検出して受話音声区間情報を出力する受話音声区間検出部と、
上記受話信号x1と上記送話信号を入力として、原音付加率の大きい低抑圧量の側音低抑圧済み受話信号x4を出力する側音低抑圧処理部と、
上記受話音声区間情報と上記側音低抑圧済み受話信号x4を入力として、クロストーク状態か否かに関わらず、上記受話音声区間情報に対応する側音低抑圧済み受話信号x4を、側音除去受話信号x3として出力する受話信号抽出部と、
上記側音除去受話信号x3と上記送話信号を記録する送受話信号記録部と、
を具備する音声聴取装置。
【請求項２】
電話機からの受話信号x1と送話信号を入力として、側音信号を抑圧した側音抑圧済み受話信号x2を出力する側音抑圧処理部と、
上記側音抑圧済み受話信号x2を入力として、当該側音抑圧済み受話信号x2の音声区間を検出して受話音声区間情報を出力する受話音声区間検出部と、
上記受話音声区間情報と上記受話信号x1を入力として、クロストーク状態か否かに関わらず、上記受話音声区間情報に対応する受話信号x1を、側音除去受話信号x3として出力すると共に、上記受話音声区間情報に対応しない区間の側音除去受話信号x3を音量レベルの小さい雑音として出力する受話信号抽出部と、
上記側音除去受話信号x3と上記送話信号を記録する送受話信号記録部と、
を具備する音声聴取装置。
【請求項３】
電話機からの受話信号x1と送話信号を入力として、側音信号を抑圧した側音抑圧済み受話信号x2を出力する側音抑圧処理部と、
上記側音抑圧済み受話信号x2を入力として、当該側音抑圧済み受話信号x2の音声区間を検出して受話音声区間情報を出力する受話音声区間検出部と、
上記送話信号の音声区間検出を行い送話音声区間を検出すると共に、当該送話音声区間内の音量レベルを検出して上記送話音声区間と当該送話音声区間の音量レベルとを出力する送話音声区間検出部と、
上記受話音声区間情報と上記受話信号x1を入力として、クロストーク状態か否かに関わらず、上記受話音声区間情報に対応する受話信号x1を、側音除去受話信号x3として出力し、上記送話音声区間検出部が出力する音量レベルを参照して当該音量レベルが所定値以上の場合、その区間に対応する受話信号x1の振幅を低下させるように制御する受話信号抽出部と、
上記側音除去受話信号x3と上記送話信号を記録する送受話信号記録部と、
を具備する音声聴取装置。
【請求項４】
電話機からの受話信号x1と送話信号を入力として、側音信号を抑圧した側音抑圧済み受話信号x2を出力する側音抑圧処理部と、
上記側音抑圧済み受話信号x2と上記送話信号を記録する受話送話信号記録部と、
上記受話送話信号記録部から上記側音抑圧済み受話信号x2と上記送話信号とを読み出して、上記側音抑圧済み受話信号x2の複数の音声区間の開始時刻Ｒｕ１〜Ｒｕｎと終了時刻Ｒｄ１〜Ｒｄｎ、及び上記送話信号の複数の音声区間の開始時刻Ｓｕ１〜Ｓｕｎと終了時刻Ｓｄ１〜Ｓｄｎを検出して音声区間情報として出力する音声区間検出部と、
上記音声区間情報と上記受話信号x1とを入力として、クロストーク状態か否かに関わらず、上記側音抑圧済み受話信号x2の音声区間情報の前後にマージン時間を付与した受話音声区間に対応する受話信号x1を、側音除去受話信号x3として出力する受話信号抽出部と、
上記側音除去受話信号x3を記録する側音除去受話信号記録部と、
を具備する音声聴取装置。
【請求項５】
電話機からの受話信号x1と送話信号を入力として、側音信号を抑圧した側音抑圧済み受話信号x2を出力する側音抑圧処理過程と、
上記側音抑圧済み受話信号x2を入力として、当該側音抑圧済み受話信号x2の音声区間を検出して受話音声区間情報を出力する受話音声区間検出過程と、
上記受話信号x1と上記送話信号を入力として、原音付加率の大きい低抑圧量の側音低抑圧済み受話信号x4を出力する側音低抑圧処理過程と、
上記受話音声区間情報と上記側音低抑圧済み受話信号x4を入力として、クロストーク状態か否かに関わらず、上記受話音声区間情報に対応する側音低抑圧済み受話信号x4を、側音除去受話信号x3として出力する受話信号抽出過程と、
上記側音除去受話信号x3と上記送話信号を記録する送受話信号記録過程と、
を具備する音声聴取方法。
【請求項６】
電話機からの受話信号x1と送話信号を入力として、側音信号を抑圧した側音抑圧済み受話信号x2を出力する側音抑圧処理過程と、
上記側音抑圧済み受話信号x2を入力として、当該側音抑圧済み受話信号x2の音声区間を検出して受話音声区間情報を出力する受話音声区間検出過程と、
上記受話音声区間情報と上記受話信号x1を入力として、クロストーク状態か否かに関わらず、上記受話音声区間情報に対応する受話信号x1を、側音除去受話信号x3として出力すると共に、上記受話音声区間情報に対応しない区間の側音除去受話信号x3を音量レベルの小さい雑音として出力する受話信号抽出過程と、
上記側音除去受話信号x3と上記送話信号を記録する送受話信号記録過程と、
を具備する音声聴取方法。
【請求項７】
電話機からの受話信号x1と送話信号を入力として、側音信号を抑圧した側音抑圧済み受話信号x2を出力する側音抑圧処理過程と、
上記側音抑圧済み受話信号x2を入力として、当該側音抑圧済み受話信号x2の音声区間を検出して受話音声区間情報を出力する受話音声区間検出過程と、
上記送話信号の音声区間検出を行い送話音声区間を検出すると共に、当該送話音声区間内の音量レベルを検出して上記送話音声区間と当該送話音声区間の音量レベルとを出力する送話音声区間検出過程と、
上記受話音声区間情報と上記受話信号x1を入力として、クロストーク状態か否かに関わらず、上記受話音声区間情報に対応する受話信号x1を、側音除去受話信号x3として出力し、上記送話音声区間検出過程が出力する音量レベルを参照して当該音量レベルが所定値以上の場合、その区間に対応する受話信号x1の振幅を低下させるように制御する受話信号抽出過程と、
上記側音除去受話信号x3と上記送話信号を記録する送受話信号記録過程と、
を具備する音声聴取方法。
【請求項８】
電話機からの受話信号x1と送話信号を入力として、側音信号を抑圧した側音抑圧済み受話信号x2を出力する側音抑圧処理過程と、
上記側音抑圧済み受話信号x2と上記送話信号を記録する受話送話信号記録過程と、
上記受話送話信号記録過程から上記側音抑圧済み受話信号x2と上記送話信号とを読み出して、上記側音抑圧済み受話信号x2の複数の音声区間の開始時刻Ｒｕ１〜Ｒｕｎと終了時刻Ｒｄ１〜Ｒｄｎ、及び上記送話信号の複数の音声区間の開始時刻Ｓｕ１〜Ｓｕｎと終了時刻Ｓｄ１〜Ｓｄｎを検出して音声区間情報として出力する音声区間検出過程と、
上記音声区間情報と上記受話信号x1とを入力として、クロストーク状態か否かに関わらず、上記側音抑圧済み受話信号x2の音声区間情報の前後にマージン時間を付与した受話音声区間に対応する受話信号x1を、側音除去受話信号x3として出力する受話信号抽出過程と、
上記側音除去受話信号x3を記録する側音除去受話信号記録過程と、
を具備する音声聴取方法。
【請求項９】
請求項１乃至４の何れかに記載した音声聴取装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電話機から送話信号と受話信号を取得する音声聴取装置とその方法とプログラムに関する。
【背景技術】
【０００２】
従来から、電話機の送話信号と受話信号とを取得する音声聴取装置が存在する。その音声聴取装置の一つとして、送話信号と受話信号を音声認識するとともに聴取データを音声ファイルとして出力して再生できるようにする音声認識装置が知られている。その音声認識装置においては、送話信号と受話信号とを別々に音声認識する際に、送話側の話者と受話側の話者が同時に発言するクロストーク状態が問題になっていた。クロストーク状態の場合、それぞれの発話は通常と異なり乱れた信号となる。その乱れた送話信号と受話信号は音声認識の誤認識の原因になる。
【０００３】
クロストーク状態における音声認識の誤認識を防ぐ目的で、送話信号と受話信号のそれぞれについて音声区間検出を行い、片方のみの話者が発話状態の区間を検出してその区間のみを音声認識する音声認識装置１１０が特許文献１に開示されている。
【０００４】
図１２に示す従来の音声認識装置１１０の機能構成を参照してその動作を簡単に説明する。音声認識装置１１０は、側音抑圧処理部２１、送話音声区間検出部２２、受話音声区間検出部２３、音声区間情報管理部２４、送話信号抽出部２５、受話信号抽出部２６、送話信号録音部１６、受話信号録音部１７、音声認識処理部１１１、を具備する。
【０００５】
側音抑圧処理部２１は、受話信号に回り込む側音信号を除去する。側音とは、会話をし易くする目的で、自端末側のスピーカに少量出力される自端末側の送話信号のことである。側音信号は、電話機１９内の側音回路１５において受話信号に付加される。
【０００６】
送話音声区間検出部２２は、送話信号の音声区間と非音声区間を検出する。受話音声区間検出部２３は、受話信号の音声区間と非音声区間を検出する。音声区間情報管理部２４は、送話信号と受話信号の音声区間と非音声区間を入力としてクロストーク状態ではない送話音声抽出区間と受話音声区間とを特定する。
【０００７】
音声認識処理部１１１は、送話音声抽出区間の送話信号と、受話音声抽出区間の受話信号と、を音声認識処理して、聴取データとするとともに音声ファイルを出力して再生できるようにする。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−３４３６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の音声を聴取する目的で送受話信号を音声認識する音声認識装置１１０では、クロストーク状態の受話信号を取り出すことが出来ない課題がある。
【００１０】
この発明は、このような課題に鑑みてなされたものであり、クロストーク状態の受話信号も、抽出できるようにした音声聴取装置とその方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の音声聴取装置は、側音抑圧処理部と、受話音声区間検出部と、受話信号抽出部と、送受話信号記録部と、を具備する。側音抑圧処理部は、電話機からの受話信号と送話信号を入力として側音信号を抑圧した側音抑圧済み受話信号を出力する。受話音声区間検出部は、側音抑圧済み受話信号を入力として、当該側音抑圧済み受話信号の音声区間を検出して受話音声区間情報を出力する。受話信号抽出部は、受話音声区間情報と受話信号を入力として、受話音声区間情報に対応する受話信号を、側音除去受話信号として出力する。送受話信号記録部は、側音除去受話信号と送話信号を記録する。
【発明の効果】
【００１２】
この発明の音声聴取装置によれば、側音信号を抑圧した側音抑圧済み受話信号から受話音声区間を検出し、当該受話音声区間内の受話信号を受話信号として記録するので、クロストーク状態の場合でも全ての受話信号を漏れなく聴取することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の音声聴取装置１００の機能構成例を示す図。
【図２】音声聴取装置１００の動作フローを示す図。
【図３】本発明の音声聴取装置２００の機能構成例を示す図。
【図４】本発明の音声聴取装置３００の機能構成例を示す図。
【図５】受話信号抽出部３０１の機能構成例を示す図。
【図６】受話信号抽出部３０１が出力する側音除去受話信号の例を示す図。
【図７】本発明の音声聴取装置４００の機能構成例を示す図。
【図８】本発明の音声聴取装置５００の機能構成例を示す図。
【図９】受話区間抽出部５０３の機能構成例を示す図。
【図１０】受話信号抽出部５０３の動作フローを示す図。
【図１１】受話信号抽出部５０３が出力する側音除去受話信号の例を示す図。
【図１２】従来の音声認識装置１１０の機能構成例を示す図。
【発明を実施するための形態】
【００１４】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１５】
図１に、この発明の音声聴取装置１００の機能構成例を示す。その動作フローを図２に示す。音声聴取装置１００は、側音抑圧処理部１０と、受話音声区間検出部２０と、受話信号抽出部３０と、送受話信号記録部４０と、を具備する。音声聴取装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。以降で説明する他の実施例に示す音声聴取装置も同様である。
【００１６】
側音抑圧処理部１０は、電話機１９からの受話信号と送話信号を入力として、側音信号を抑圧した側音抑圧済み受話信号を出力する（ステップＳ１０）。マイクロホン１１とスピーカ１２と送信部１３と受信部１４と側音回路１５とで構成される電話機１９は、従来技術で示したものと同じである。なお、電話機１９の参照符号は作図の都合により省略している。電話機１９は一般的なものであり、受話信号が相手方の発話者音声、送話信号が着信を受けている側の送話者音声である。
【００１７】
側音抑圧処理部１０は、受話信号と送話信号とを入力とし、受話信号に重畳する送話信号を抑圧して側音抑圧済み受話信号を出力する。側音抑圧処理部１０は、一般的なエコーキャンセラで構成できる。この例の側音抑圧済み受話信号は、相手方の発話音声に重畳した送話者の発話音声を抑圧した信号である。
【００１８】
受話音声区間検出部２０は、側音抑圧済み受話信号を入力として、当該側音抑圧済み受話信号の音声区間を検出して受話音声区間情報を出力する（ステップＳ２０）。受話音声区間情報とは、受話音声区間を現す区間情報である。音声区間検出の方法としては、一般的な音量（パワー）に基づく手法を用いると良い。又は、混合正規分布（GMM:Gaussian Mixture Model）に基づく音声モデルと非音声モデルを用いた音声区間検出を行っても良い。混合正規分布を用いた音声区間検出の場合は、ＧＭＭの学習に上記した側音抑圧済み受話信号を用いることで、音声／非音声の識別性能の向上を図ることが出来る。
【００１９】
受話信号抽出部３０は、受話音声区間検出部２０が出力する受話音声区間情報と受話信号を入力として、当該受話音声区間情報に対応する受話信号を、側音除去受話信号として出力する（ステップＳ３０）。また、受話信号抽出部３０は、上記受話音声区間情報以外の側音除去受話信号の振幅を０（無音）にして出力する。側音除去受話信号は、受話音声区間検出部２０において受話音声区間として検出された受話区間に対応する区間の受話信号のみの信号となる。
【００２０】
側音除去受話信号は、送話者の音声を抑圧した受話者の音声信号から検出した受話音声区間情報に対応した受話信号であるので、クロストーク状態の受話者の音声信号（受話信号）も漏れなく抽出することが出来る。つまり、受話信号と送話信号が重なるクロストーク状態でも、受話信号を聴取することが可能である。
【００２１】
送受話信号記録部４０は、受話信号抽出部３０が出力する側音除去受話信号と送話信号を記録する（ステップＳ４０）。送受話信号記録部４０は、送話信号のファイルと、送話信号と時間的に同期のとれた側音除去受話信号の音声ファイルを生成する。音声ファイルは２つ別々、又はステレオの１つのファイルであっても良い。
【００２２】
以上説明したように音声聴取装置１００によれば、側音信号を抑圧した側音抑圧済み受話信号から受話音声区間情報を検出し、当該受話音声区間情報に対応する受話信号を側音除去受話信号として記録するので、クロストーク状態の場合でも全ての受話信号を漏れなく聴取することが可能になる。側音抑圧処理部１０は、受話音声区間を検出する目的のみで側音を抑圧するので抑圧量を大きくすることが出来る。つまり、波形に歪みが発生しても構わないので、正確な受話音声区間を検出することが可能である。その正確な受話音声区間情報に対応して抽出される受話信号は、歪みの少ない信号にすることが出来るため、聴き取り易く、また、音声認識等に利用し易い信号となる。
【００２３】
なお、図１に、破線で音声認識処理部５０を示すように、送受話信号記録部４０に記録された側音除去受話信号と送話信号を、音声認識処理部５０で音声認識処理してテキストデータに変換しても良い。また、音声視聴部６０において、音声認識結果のテキストデータと側音除去受話信号と送話信号の音声ファイルとを対応付けて音声ファイルを効率良く視聴できるようにしても良い。音声視聴部６０は、例えば、テキストデータをディスプレ装置で表示すると共に、音声ファイルを再生できるようにするアプリケーションソフトを含む機能部である。
【００２４】
次に、側音抑圧受話信号から受話信号を抽出するようにした音声聴取装置２００を説明する。
【実施例２】
【００２５】
図３に、この発明の音声聴取装置２００の機能構成例を示す。音声聴取装置２００は、音声聴取装置１００に対して側音低抑圧処理部２０１を、更に備える点で異なる。側音低抑圧処理部２０１は、受話信号と送話信号を入力として、原音付加率の大きい低抑圧量の側音低抑圧済み受話信号を、受音信号抽出部３０に出力する。
【００２６】
受音信号抽出部３０は、受話音声区間検出部２０が出力する受話音声区間情報と側音低抑圧済み受話信号を入力として、当該受話音声区間情報に対応する側音低抑圧済み受話信号を、側音除去受話信号として出力する。
【００２７】
側音低抑圧処理部２０１のエコー抑圧量は、側音抑圧処理部１０よりも低めに設定される。そのエコー抑圧量に対して側音抑圧処理部１０は、原音付加率Ａの高いエコー抑圧量（例えば、Ａ＝０．１）に設定する。エコー抑圧量を高く設定すると受話信号が歪むが、受話音声区間情報は正確に検出することが可能である。
【００２８】
例えば原音付加率Ａ＝０．６程度の低いエコー抑圧量に設定される側音低抑圧処理部２０１の出力する側音低抑圧済み受話信号の歪みは、送話信号が抑圧された歪みの少ない受話信号である。受話信号抽出部３０は、受話音声区間情報とその歪みの少ない側音低抑圧済み受話信号とから、側音除去受話信号を抽出するので、当該側音除去受話信号を例えば音声認識処理しても誤認識が少ない音声信号にすることが出来る。
【００２９】
このように、音声聴取装置２００によれば、受話音声区間検出部２０において受話音声区間情報を検出するための音声信号のエコー抑圧量を高くして正確な受話音声区間情報を検出可能にし、その正確な受話音声区間情報に対応する歪みの少ない側音低抑圧済み受話信号から、歪みの少ない側音除去受話信号を抽出することが出来る。
【００３０】
次に、受話音声区間以外の側音除去受話信号の振幅を０にするところに、雑音を重畳さるようにした音声聴取装置３００を説明する。
【実施例３】
【００３１】
図４に、この発明の音声聴取装置３００の機能構成例を示す。音声聴取装置３００は、音声聴取装置１００に対して受話信号抽出部３０１の動作が異なる。受話信号抽出部３０１は、上記した側音除去受話信号の振幅が０（無音）のところに、振幅の小さな雑音（例えば白色雑音）を重畳するように動作する。
【００３２】
受話信号抽出部３０１は、受話音声区間情報に対応する受話信号又は側音低抑圧済み受話信号を側音除去受話信号として出力すると共に、受話音声区間情報に対応しない区間の側音除去受話信号を、音量レベルの小さい雑音として出力する。
【００３３】
音声聴取装置３００は、上記した音声聴取装置１００，２００に対して、側音除去受話信号の振幅が急激に変化しないので、聴覚の連続聴効果（例えば、http://www.brl.ntt.co.jp/IllusionForum/a/continuityIllusion/ja/index.html参照）として報告されている補完が働き易くなり、聴取者の聞き誤りを防ぐ効果を奏することが出来る。音声聴取装置３００は、聴取者の聞き誤りを防止するばかりでなく、音声認識精度の安定性を向上させる効果も奏する。
【００３４】
図５に、受話信号抽出部３０１の機能構成例を示す。受話信号抽出部３０１は、雑音生成手段３０１０と、雑音重畳手段３０１１と、を備える。雑音生成手段３０１０は、例えば、−８０ｄＢ程度の音量レベルが非常に小さな白色雑音を生成する。白色雑音は、例えば、正規乱数を用いた従来手法によって容易に生成することが出来る。
【００３５】
雑音重畳手段３０１１は、受話音声区間情報と、受話信号又は側音低抑圧済み受話信号を入力として、受話音声区間情報に対応する区間を、受話信号又は側音低抑圧済み受話信号とし、それ以外の区間を白色雑音とした側音除去受話信号を出力する。
【００３６】
図６に、受話信号抽出部３０１が出力する側音除去受話信号の例を示す。１行目は受話信号、２行目はその受話信号を入力として受話音声区間検出部２０が出力する受話音声区間情報である。３行目は、雑音生成手段３０１０が出力する白色雑音である。４行目は、上記した受話音声区間情報と受話信号と白色雑音とを入力とした場合の、雑音重畳手段３０１１が出力する側音除去受話信号を示す。受話音声区間情報に対応する区間には受話信号が出力され、それ以外の区間には白色雑音が出力されている様子が分かる。
【００３７】
なお、受話信号の音量レベルが小さい場合には、雑音重畳による音声認識率の低下が問題になることがある。そこで、受話信号の音量レベル又は、受話信号のＳ／Ｎ比に応じて重畳する雑音のレベルを変えるようにしても良い。その場合は、受話信号抽出部３０１内に受話信号又は側音低抑圧済み受話信号のＳ／Ｎ比を検出するＳ／Ｎ比検出手段３０１２を設け、Ｓ／Ｎ比検出手段３０１２で検出したＳ／Ｎ比に応じて白色雑音生成手段３０１０が生成する白色雑音の振幅を、例えばＳ／Ｎ比が３０ｄＢ以上になるように自動的に制御するようにしても良い。Ｓ／Ｎ比検出手段３０１２は、受話信号又は側音低抑圧済み受話信号のパワーを検出するパワー検出手段に代えても良い。なお、実施例３は白色雑音を、側音除去受話信号に重畳させる例を説明したが、雑音は白色雑音に限定する必要はない。例えば、パワースペクトル密度が周波数に反比例する関係のピンクノイズを用いても良い。白色雑音、ピンクノイズ以外の雑音であっても同様の効果を奏する雑音を用いても良い。
【００３８】
また、上記では、受話音声区間情報に対応しない区間の側音除去受話信号を、音量レベルの小さい雑音として出力する例について説明したが、重畳する雑音が小さい場合、重畳される音声に与える影響は少なくなるため、受話音声区間情報に対応する区間を含む受話音声全体に音量レベルの小さい雑音を重畳しても良い。同様に聴覚の連続聴効果を得ることができる。
【００３９】
次に、受話信号抽出部が、送話側の音量レベルが過度に大きい区間の側音除去受話信号の振幅を下げるように動作する音声聴取装置４００を説明する。
【実施例４】
【００４０】
図７に、音声聴取装置４００の機能構成例を示す。音声聴取装置４００は、音声聴取装置１００に対して、送話音声区間検出部４０１を備える点と受話信号抽出部４０２の動作とが異なる。
【００４１】
送話音声区間検出部４０１は、送話信号を入力として当該送話信号の音声区間検出を行い送話音声区間を検出すると共に、その送話音声区間内の音量レベルを検出してその音量レベルと送話音声区間とを出力する。音声区間の検出方法は、上記した受話音声区間検出部２０と同じである。
【００４２】
受話信号抽出部４０２は、送話音声区間検出部が出力する音量レベルを参照してその音量レベルが所定値以上の場合、その区間に対応する受話信号の振幅を低下させるように制御する。所定値とは、例えば送話信号の音量レベルが−２０ｄＢ以上の場合、送話信号の音量レベル／最大音量レベル（音声聴取装置４００で扱える音量レベルの最大値）の比をαとした時に、その送話音声区間を含む側音除去受話信号の振幅を例えば（１−α）倍に低下させる。
【００４３】
このようにすることで、送話側の音量レベルが過度に大きい区間の側音除去受話信号の音量レベルを下げることができ、送話信号の回り込み音声が大音量で聞こえることを抑制することが出来る。なお、この音声聴取装置４００の考えは、音声聴取装置２００と３００と、組み合わせても良く、その場合でも同様の効果を奏することが可能である。
【００４４】
次に、受話音声区間情報の前後にマージン時間を付与した受話音声区間に対応する受話信号を、側音除去受話信号として出力するようにした音声聴取装置５００を説明する。
【実施例５】
【００４５】
図８に、音声聴取装置５００の機能構成例を示す。音声聴取装置５００は、側音抑圧処理部１０と、受話送話信号記録部５０１と、音声区間検出部５０２と、受話信号抽出部５０３と、側音除去受話信号記録部５０４と、を具備する。側音抑圧処理部１０は、参照符号から明らかなように音声聴取装置１００と同じものである。
【００４６】
側音抑圧処理部１０は、図示しない電話機から受話信号と送話信号を入力として、側音信号を抑圧した側音抑圧済み受話信号を出力する。
【００４７】
受話送話信号記録部５０１は、側音抑圧処理部１０が出力する側音抑圧済み受話信号と、送話信号とを記録する。音声聴取装置５００は、実時間処理するものではなく、例えば受話者と送話者の会話を記録した音声ファイルの音声を再生させて、一度記録した側音抑圧済み受話信号と送話信号を用いて処理を行うものである。
【００４８】
音声区間検出部５０２は、受話送話信号記録部５０１から側音抑圧済み受話信号と送話信号とを読み出して、側音抑圧済み受話信号の複数の音声区間の開始時刻Ｒｕ１〜Ｒｕｎと終了時刻Ｒｄ１〜Ｒｄｎ、及び上記送話信号の複数の音声区間の開始時刻Ｓｕ１〜Ｓｕｎと終了時刻Ｓｄ１〜Ｓｄｎを検出して音声区間情報として出力する。
【００４９】
受話信号抽出部５０３は、音声区間情報Ｒｕ１〜Ｒｕｎ，Ｒｄ１〜Ｒｄｎ，Ｓｕ１〜Ｓｕｎ，Ｓｄ１〜Ｓｄｎと受話信号とを入力として、側音抑圧済み受話信号の音声区間情報の前後にマージン時間を付与した受話音声区間に対応する受話信号を、側音除去受話信号として出力する。
【００５０】
側音除去受話信号記録部５０４は、受話信号抽出部５０３が出力する側音除去受話信号を記録する。
【００５１】
音声聴取装置５００によれば、側音除去受話信号の前後にマージン時間を付与することが出来るので、例えば、側音除去受話信号が子音で始まる時に音声区間が欠落してしまう場合などの音声区間検出の誤検出を防止することが可能である。
【００５２】
図９に、受話信号抽出部５０３のより具体的な機能構成例を示す。受話信号抽出部５０３は、マージン時間付与手段５１２と側音除去受話信号抽出手段５２２とを備える。マージン時間付与手段５１２は、音声区間情報Ｒｕ１〜Ｒｕｎ，Ｒｄ１〜Ｒｄｎ，Ｓｕ１〜Ｓｕｎ，Ｓｄ１〜Ｓｄｎを入力として、側音抑圧済み受話信号の音声区間の開始時刻Ｒｕ１〜Ｒｕｎより所定の時間Ｒｍｓ過去の時間内に、送話信号の音声区間の終了時刻Ｓｄ１〜Ｓｄｎが存在するか否かを判定する。そして、側音抑圧済み受話信号の音声区間の終了時刻Ｒｄ１〜Ｒｄｎより所定の時間Ｒｍｅ未来の時間内に、送話信号の音声区間の開始時刻Ｓｕ１〜Ｓｕｎが存在するか否かを判定する。所定時間内に開示時刻と終了時刻が存在しない場合は、所定時間のマージン時間を受話音声区間情報の前後に付与する。
【００５３】
図１０に示す音声区間検出部５０２と受話信号抽出部５０３の動作フローを参照して更に説明する。音声区間検出部５０２は、受話送話信号記録部５０１から側音抑圧済み受話信号と送話信号とを読み出して、側音抑圧済み受話信号の開始時刻Ｒｕ１〜Ｒｕｎと終了時刻Ｒｄ１〜Ｒｄｎを検出する（ステップＳ５０２０）。開始時刻とは受話音声区間の立上りの時刻、終了時刻とは受話音声区間の立下り時刻のことである。同様に、送話音声区間の開始時刻Ｓｕ１〜Ｓｕｎと終了時刻Ｓｄ１〜Ｓｄｎを検出する（ステップＳ５０２１）。図１１に、２個の受話音声区間情報Ｒｕ１とＲｕ２，Ｒｄ１とＲｄ２と、２個の送話音声区間情報Ｓｕ１とＳｕ２，Ｓｄ１とＳｄ２とを例示する。経過時間順に開始時刻と終了時刻にそれぞれ番号が付されている。
【００５４】
受話信号抽出部５０３は、音声区間の番号を表す変数ｉを初期化（ｉ＝１）する（ステップＳ５１２１）。そして、側音抑圧済み受話信号の最初の音声区間の開始時刻Ｒｕ１よりＲｍｓ（例えば０．５秒）過去の時間内に、送話信号の終了時刻Ｓｄ１が存在するか否かを判定する（ステップＳ５１２２）。Ｒｍｓ秒過去の時間内に、送話信号の終了時刻Ｓｄ１が存在しない場合（ステップＳ５１２２のＮｏ）、側音抑圧済み受話信号の最初の音声区間の開始時刻Ｒｕ１をＲｕ１＝Ｒｕ１−Ｒｍｓ秒に決定する（ステップＳ５１２３）。Ｒｍｓ秒過去の時間内に、送話信号の終了時刻Ｓｄ１が存在する場合（ステップＳ５１２２のＹｅｓ）、側音抑圧済み受話信号の最初の音声区間の開始時刻Ｒｕ１を、送話信号の最初の終了時刻Ｓｄ１＝Ｓｄ１秒に決定する（ステップＳ５１２４）。ここで例えば、Ｒｍｓ＝０．５秒とＲｍｅ＝０．１秒とするが、他の所定時間であっても良い。なお、ＲｍｓとＲｍｅの時間幅を変えている理由は、発話開始時において音量が小さく音声区間として検出し難い子音で始まる場合に対処する目的で、長めのマージン時間を確保した方が好都合であることによる。一方、語尾が母音で終わる日本語の場合、受話信号の終了時刻のマージン時間は短くても不都合が少ないためである。
【００５５】
次に、側音抑圧済み受話信号の最初の音声区間の終了時刻Ｒｄ１よりＲｍｅ秒未来の時間内に、送話信号の開始時刻Ｓｕ２が存在するか否かを判定する（ステップＳ５１２５）。Ｒｍｅ秒未来の時間内に、送話信号の開始時刻Ｓｕ２が存在しない場合（ステップＳ５１２５のＮｏ）、側音抑圧済み受話信号の最初の音声区間の終了時刻Ｒｄ１をＲｄ１＝Ｒｄ１＋Ｒｍｅ秒に決定する（ステップＳ５１２６）。Ｒｍｅ秒未来の時間内に、送話信号の開始時刻Ｓｕ２が存在する場合（ステップＳ５１２５のＹｅｓ）、側音抑圧済み受話信号の最初の音声区間の終了時刻Ｒｄ１を、送話信号の開始時刻Ｓｕ２（Ｒｄ１＝Ｓｕ２）秒に決定する（ステップＳ５１２７）。
【００５６】
以上の処理は、音声区間が終了するまで音声区間の番号を表す変数ｉをインクリメントしながら続けられる（ステップＳ５１２９のＮｏのループ）。つまり、側音抑圧済み受話信号の音声区間の前後に所定の時間幅のマージン時間が付与される。
【００５７】
図１１に、音声聴取装置５００で聴取した側音除去受話信号の例を示す。１行目は側音抑圧済み受話信号の受話音声区間情報、２行目は送話信号、３行目は送話信号の送話音声区間情報、４行目はマージン時間付与手段５１２の出力するマージン時間付与済み受話音声区間情報、５行目は受話信号抽出部５０３が出力する側音除去受話信号である。マージン時間付与手段５１２の出力信号に、破線で示すように所定時間のマージン時間が受話音声区間情報の前後に付与されている。そのマージン時間付与済み受話音声区間情報に対応した側音除去受話信号の音声波形は、図６に示したものよりも時間の前後方向に拡大されている。
【００５８】
以上説明したように音声聴取装置５００は、所定の時間のマージン時間が付与された受話音声区間情報に対応する受話信号を、側音除去受話信号として抽出して記録することが出来る。なお、音声聴取装置５００の機能構成は図８に示した例に限定されない。例えば、送話信号と受話信号の音声区間の検出を音声区間検出部５０２で行う例で説明したが、受話信号の音声区間は受話音声区間検出部２０で行い、送話信号の音声区間は実施例４で説明したように送話音声区間検出部４０１で行って、それぞれから音声区間情報を取得するようにしても良い。また、受話送話信号記録部５０１を備える例で説明を行ったが、実施例１〜４に示した送話受話信号記録部４０に、音声取得処理をする前の音声データを記録するようにしても良い。このように、実施例５の機能構成は、図８に示す機能構成に限定されない。
【００５９】
なお、この側音抑圧済み受話信号の音声区間の前後に所定の時間幅のマージン時間を付与する考えは、実施例２〜４と組み合わせることも可能である。
【００６０】
以上実施例で説明した音声聴取装置によれば、側音信号を抑圧した側音抑圧済み受話信号から受話音声区間情報を検出し、当該受話音声区間情報に対応する受話信号を側音除去受話信号として記録するので、クロストーク状態の場合でも全ての受話信号を漏れなく聴取することが可能になる。
【００６１】
なお、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００６２】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００６３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD（Digital Versatile Disc）、DVD-RAM（Random Access Memory）、CD-ROM（Compact Disc Read Only Memory）、CD-R（Recordable）/RW（ReWritable）等を、光磁気記録媒体として、MO（Magneto Optical disc）等を、半導体メモリとしてEEP-ROM（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００６４】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６５】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005812932.tif 000002
【図２】
0005812932.tif 000003
【図３】
0005812932.tif 000004
【図４】
0005812932.tif 000005
【図５】
0005812932.tif 000006
【図６】
0005812932.tif 000007
【図７】
0005812932.tif 000008
【図８】
0005812932.tif 000009
【図９】
0005812932.tif 000010
【図１０】
0005812932.tif 000011
【図１１】
0005812932.tif 000012
【図１２】
0005812932.tif 000013