(57)【特許請求の範囲】
【請求項１】
ユーザ側のマイクから入力された送信信号をＴ秒毎に一つのセグメントとして保持する送信信号保持手段と、
Ｄを遅延時間推定値とし、αを前記送信信号の前記セグメントが無音声であるか否かを判定する際に要する時間とし、ｎを１≦ｎ＜（Ｄ−α）／Ｔを満たす整数とし、前記送信信号の保持されたセグメントのうちの直近の一つのセグメントが無音声である場合、そのセグメントのｎセグメント前から１セグメント前までの前記送信信号を前記送信信号保持手段から読み出し、（Ｄ−ｎ×Ｔ−α）秒だけ遅延させて、通信相手側からユーザ側に送信される被送信信号に重畳する送信信号重畳手段とを含む、
遅延音声付加装置。
【請求項２】
請求項１記載の遅延音声付加装置であって、
前記被送信信号をＵ秒毎に一つのセグメントとして保持する被送信信号保持手段をさらに含み、
前記送信信号重畳手段は、前記被送信信号の保持されたセグメントのうちの直近の一つのセグメントが無音声ではない場合、前記送信信号を前記被送信信号に重畳しない、
遅延音声付加装置。
【請求項３】
請求項１または請求項２記載の遅延音声付加装置であって、
ｍをｍ×Ｔ＞Ｄを満たす最小の整数とし、ｍ×Ｔ秒分の前記送信信号と、ｍ×Ｔ秒分の前記被送信信号との相互相関関数を計算し、その相互相関関数に基づいて前記送信信号と前記被送信信号との相関の有無を判定し、相関があると判定した場合のみ、その相互相関関数の極大値のうち最も大きな値を与える時間を前記遅延時間推定値として求める遅延時間推定手段をさらに含む、
遅延音声付加装置。
【請求項４】
ユーザ側のマイクから入力された送信信号をＴ秒毎に一つのセグメントとして保持する送信信号保持ステップと、
Ｄを遅延時間推定値とし、αを前記送信信号の前記セグメントが無音声であるか否かを判定する際に要する時間とし、ｎを１≦ｎ＜（Ｄ−α）／Ｔを満たす整数とし、前記送信信号の保持されたセグメントのうちの直近の一つのセグメントが無音声である場合、そのセグメントのｎセグメント前から１セグメント前までの前記送信信号を読み出し、（Ｄ−ｎ×Ｔ−α）秒だけ遅延させて、通信相手側からユーザ側に送信される被送信信号に重畳する送信信号重畳ステップとを含む、
遅延音声付加方法。
【請求項５】
請求項４記載の遅延音声付加方法であって、
前記被送信信号をＵ秒毎に一つのセグメントとして保持する被送信信号保持ステップをさらに含み、
前記送信信号重畳ステップは、前記被送信信号の保持されたセグメントのうちの直近の一つのセグメントが無音声ではない場合、前記送信信号を前記被送信信号に重畳しない、
遅延音声付加方法。
【請求項６】
請求項４または請求項５記載の遅延音声付加方法であって、
ｍをｍ×Ｔ＞Ｄを満たす最小の整数とし、ｍ×Ｔ秒分の前記送信信号と、ｍ×Ｔ秒分の前記被送信信号との相互相関関数を計算し、その相互相関関数に基づいて前記送信信号と前記被送信信号との相関の有無を判定し、相関があると判定した場合のみ、その相互相関関数の極大値のうち最も大きな値を与える時間を前記遅延時間推定値として求める遅延時間推定ステップをさらに含む、
遅延音声付加方法。
【請求項７】
請求項１から請求項３の何れかに記載の遅延音声付加装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遅延が存在する音声通信系において、遅延に起因する会話の不自然さを軽減するための技術に関する。
【背景技術】
【０００２】
１秒オーダーの遅延が存在する音声通信系において、話者同士がスムーズに会話を行うことは一般に難しい。なぜなら、遅延に起因して、一方の話者が発言し始めたことは、他方の話者には遅れて伝わることとなり、相手が発言していないと思って発言すると、実は相手が発言し始めていた、という発話の衝突がしばしば起こるからである。
【０００３】
会話の不自然さを軽減するための技術として特許文献１が知られている。特許文献１では、入力された音声から発話を検出する。さらに、映像と音声から予備動作（相槌、手の上下方向の動き、頷き、身体動作）を検出して、動作毎に所定のポイントを付与して保持する。さらに、発話の有無と当該ポイントを他の端末に送信することで共有する。その上で、（１）各端末において発話があるユーザを選択し、当該ユーザの表示領域に枠を重畳表示する。また、（２）所定の有効時間内の予備動作のポイントを合計した値を発話可能性ポイントとし、最も高い発話可能性ポイントのユーザを選択して、当該ユーザの表示領域に枠を点滅させて重畳表示する。このような構成により、発言する直前の予備動作を早めに他の参加者に知らせることで発話の衝突を減らすことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１１８６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術は、映像を取得するためのビデオカメラやユーザや枠を表示するためのディスプレイ等を必要とし、コストが大きく、そのような構成を持たないスピーカとマイクとからなる電話機等で利用することができなかった。また、発話の有無とポイントを他の端末に送信するため、通信量が大きくなる。さらに、予備動作により、発話の可能性の高いユーザを知らせるだけであり、必ずしもそのユーザが発話するとは限らない。
【０００６】
ビデオカメラやディスプレイ等の構成を用いずに、通信量を大きくせずに、会話をできるだけ上手く成立させるためには、各ユーザは通信系の遅延時間を見込んだタイミングで発話しなければならない。具体的には、発言の後、通信相手が自分の発言を聴いたであろう時間を予測し、自分の発言に対する相手の応答の有無を判断するため、しばらくの間をおき、相手の応答がなければ次の発言を開始する、といった使い方がユーザに求められる。このような状況での会話はユーザにとって非常に煩わしく、余計な精神的負荷を生じさせる。
【０００７】
自分の発話音声の切れ目（ポーズ）を通信相手がいつ受聴したかを知ることができれば、ユーザは相手の応答発話が届く可能性のあるタイミングの予測が容易になり、応答の有無を確認するために必要な待ち時間がわかりやすくなる。
【０００８】
本発明は、遅延が存在する音声通信系において、ポーズを通信相手が受聴したタイミングをユーザに呈示することで、ユーザの負担を軽減することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の第一の態様によれば、遅延音声付加装置は、ユーザ側のマイクから入力された送信信号をＴ秒毎に一つのセグメントとして保持する送信信号保持手段と、Ｄを遅延時間推定値とし、αを送信信号のセグメントが無音声であるか否かを判定する際に要する時間とし、ｎを１≦ｎ＜（Ｄ−α）／Ｔを満たす整数とし、送信信号のセグメントが無音声である場合、そのセグメントのｎセグメント前から１セグメント前までの送信信号を送信信号保持手段から読み出し、（Ｄ−ｎ×Ｔ−α）秒だけ遅延させて、通信相手側からユーザ側に送信される被送信信号に重畳する送信信号重畳手段とを含む。
【００１０】
上記の課題を解決するために、本発明の第二の態様によれば、遅延音声付加方法は、ユーザ側のマイクから入力された送信信号をＴ秒毎に一つのセグメントとして保持する送信信号保持ステップと、Ｄを遅延時間推定値とし、αを送信信号のセグメントが無音声であるか否かを判定する際に要する時間とし、ｎを１≦ｎ＜（Ｄ−α）／Ｔを満たす整数とし、送信信号のセグメントが無音声である場合、そのセグメントのｎセグメント前から１セグメント前までの送信信号を読み出し、（Ｄ−ｎ×Ｔ−α）秒だけ遅延させて、通信相手側からユーザ側に送信される被送信信号に重畳する送信信号重畳ステップとを含む。
【発明の効果】
【００１１】
本発明によれば、通信ネットワーク内の処理に変更を施すことなく、ユーザ端末側の装置に機能追加するだけで、ユーザは自分が発話した音声の切れ目が、いつ通信相手に受聴されたかを直観的に知ることができ、通信相手の応答音声が届く可能性のあるタイミングを自然に予測できるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】遅延音声付加装置の音声通信系における配置例を示す図。
【図２】第一実施形態に係る遅延音声付加装置の機能ブロック図。
【図３】第一実施形態に係る遅延音声付加装置の処理フローを示す図。
【図４】送信信号重畳手段の処理フローを示す図。
【図５】第二実施形態に係る遅延音声付加装置の機能ブロック図。
【図６】第二実施形態に係る遅延音声付加装置の処理フローを示す図。
【発明を実施するための形態】
【００１３】
ユーザに最も自然にタイミングを予測させることができる手段として、ユーザ自身が発言した音声のポーズ直前の部分をユーザ側のスピーカから再生する方法が考えられる。しかし、人間は発話中に自分が発した音声を１００-２００ミリ程度の遅延を伴って聴覚呈示されると、言い誤り（音節の反復、欠落、置換）や言い淀み等を起こしやすくなることが経験的にも実験的にも知られている（参考文献１及び参考文献２）。
（参考文献１）BERNARD S. LEE, "Effects of delayed speech feedback", Journal of the Acoustical Society of America, 1950, VOLUME22, NUMBER6, p.824-826
（参考文献２）Andrew Stuart, Joseph Kalinowski, Michael P. Rastatter, and Kerry Lynch, "Effect of delayed auditory feedback on normal speakers at two speech rates", Journal of the Acoustical Society of America, 2002, 111(5), p.2237-2241.
従って、単にユーザ自身が発言した音声のポーズ直前の部分をユーザ側のスピーカから再生すると、ユーザの言い誤りや言い淀みを誘発する原因となり得る。
【００１４】
本実施形態では、音声の再生時間を、ユーザにポーズのタイミングを知覚させることができる最短の時間に留め、言い誤りや言い淀みを防ぐ。
【００１５】
また、通信相手は必ずしも、ユーザの発話音声のポーズを受聴するまで発話を開始しないとは限らず、ユーザ自身の発話音声がユーザ側のスピーカから遅延再生されている最中に、通信相手の発話音声が重畳して再生され始める可能性がある。本実施形態では、通信相手の発話音声を聴き取りやすくするため、通信相手の発話音声がユーザ側で再生され始めた時点で、ユーザ自身の発話音声の再生は即座に停止する。
【００１６】
本実施形態では、このような手段を、ユーザ端末側の装置に簡便な処理機能を追加することにより提供する。
【００１７】
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。
【００１８】
＜第一実施形態＞
＜遅延音声付加装置１００＞
図１は、本実施形態に係る遅延音声付加装置１００の音声通信系における配置例を示す。本実施形態における「遅延時間」の定義は、ユーザ側のマイク９１から入力された送信信号ｘ（ｋ）が通信網９６を介して通信相手側のスピーカ９２から出力され、それが直接、通信相手側のマイク９３へ入力され被送信信号（詳細は後述する）となり、再び通信網９６を介してユーザ側のスピーカ９４から出力されるのにかかる所要時間とする。ただし、ｋは信号のサンプル番号を表す。なお、通信網９６として各種電話網（例えば、固定電話網、携帯電話網、インターネット電話で用いるインターネット等）を利用できる。
【００１９】
本実施形態の遅延音声付加装置１００は、マイク９１の出力値である送信信号ｘ（ｋ）と音響エコー抑圧装置９５の出力値であるエコー抑圧信号ｓ（ｋ）と遅延時間推定値Ｄとを入力され、エコー抑圧信号ｓ（ｋ）に遅延音声信号（詳細は後述する）を付加した遅延音声付加信号ｕ（ｋ）を出力する。なお、音響エコー抑圧装置９５は、送信信号ｘ（ｋ）と通信相手側のマイク９３の出力値である収音信号ｙ（ｋ）とを入力とし、収音信号ｙ（ｋ）から（スピーカ９２で再生された音がマイク９３に回り込むことにより生ずる）音響エコー成分を抑圧したエコー抑圧信号ｓ（ｋ）を出力する。音響エコー抑圧装置９５として、従来技術を用いることができる（例えば参考文献３参照）。
（参考文献３）特開２００２−８４２１２号公報
なお、収音信号ｙ（ｋ）、エコー抑圧信号ｓ（ｋ）及び遅延音声付加信号ｕ（ｋ）を併せて、通信相手側からユーザ側に送信される信号という意味で被送信信号とも呼ぶ。
【００２０】
本実施形態の遅延音声付加装置１００は、送信信号ｘ（ｋ）からユーザの発話の切れ目（ポーズ）を検出し、ポーズ直前の短時間の送信信号を、遅延時間に相当する時間だけ遅延させ（なお、この遅延させた送信信号を「遅延音声信号」という）、通信相手から送られてくる被送信信号に重畳して、ユーザ側のスピーカ９４から出力する。さらに、通信相手から送られてくる被送信信号に音声成分が検出された場合には、ユーザの発話音声の重畳処理を停止する。
【００２１】
遅延時間は、通信網９６の状態に応じて変動する可能性があるため、通信中に推定する必要がある。既存の音響エコー抑圧装置９５や通信網９６中に設置されている種々の装置の中には、この遅延時間を推定する機能を有しているものもある（参考文献３参照）。本実施形態では、こうした装置から遅延時間推定値Ｄを取得可能な場合の構成である。
【００２２】
図２は第一実施形態に係る遅延音声付加装置１００の機能ブロック図を、図３はその処理フローを示す。
【００２３】
遅延音声付加装置１００は、送信信号保持手段１１０、無音区間検出手段１２０、被送信信号保持手段１３０、無音区間検出手段１４０、ゲイン設定手段１５０及び送信信号重畳手段１６０を含む。以下、各部の詳細を説明する。
【００２４】
＜送信信号保持手段１１０＞
送信信号保持手段１１０は、ユーザ側のマイクから入力された送信信号を入力とし、一定時間長（Ｔ秒）毎のセグメントに分割して、図示しないメモリに記憶し、保持する（ｓ１）。Ｔの値の下限は、後述する無音区間検出手段１２０において適切に音声の有無を判定する際に最低限必要となる時系列のサンプルの個数に対応する時間Ｔｍｉｎ（例えば０．１秒程度）とする。Ｔの値の上限は、遅延時間推定値がＤ秒のとき、Ｄ−αとする。ここでαは、後述の無音区間検出手段１２０が、あるセグメントの送信信号に音声成分が含まれているかを判定する処理に要する時間（秒）である。よって、送信信号の無音声区間をリアルタイム検出するために、Ｔｍｉｎ≦Ｔ≦Ｄ−αとする。なお、Ｔが小さいほうが無音声区間を素早く検出できるが、計算回数が多くなり計算量が大きくなるので、遅延音声付加装置１００自体の処理性能等に応じて適宜設定すればよい。
【００２５】
なお、Ｔ秒分の信号に含まれるサンプルの個数をＴｓとする。例えば、送信信号ｘ（ｋ）を取得したときに、セグメントに分割する場合、セグメントには送信信号ｘ（ｋ），ｘ（ｋ−１），…，ｘ（ｋ−Ｔｓ＋１）が含まれる。
【００２６】
＜無音区間検出手段１２０＞
無音区間検出手段１２０は、Ｔ秒毎にメモリに蓄えられる送信信号ｘ（ｋ），ｘ（ｋ−１），…，ｘ（ｋ−Ｔｓ＋１）を即座に読み出し、その送信信号ｘ（ｋ），ｘ（ｋ−１），…，ｘ（ｋ−Ｔｓ＋１）に音声成分が含まれているかを判定し（ｓ２）、判定結果を送信信号重畳手段１６０に出力する。判定手法としては、信号波形の極性（正負）が入れ替わる回数（零交差回数）やエネルギーを計算し、閾値よりも小さければ無音声区間と判定する等の簡易な方法でもよい。あるいは、音声区間、無音声区間それぞれのスペクトルの特徴を統計モデル化した情報をあらかじめ保持しておき、送信信号に対する各モデルの尤度に基づいて音声の有無を判定する等、より複雑な処理を含んだ方法でもよい。ただし、判定処理に要する時間α秒は、α≦Ｄ−Ｔを満たしていなければならない。なお、あるセグメントの送信信号について、それが音声成分を含まない（無音声区間）と判定された場合、その後Ｄ−α秒間は、音声の有無の判定処理は行わない。
【００２７】
＜被送信信号保持手段１３０＞
被送信信号保持手段１３０は、音響エコー抑圧装置９５の出力値であるエコー抑圧信号ｓ（ｋ）（被送信信号）を入力とし、一定時間長（Ｕ秒）毎のセグメントに分割して、図示しないメモリに記憶し、保持する（ｓ３）。Ｕの値の下限は、後述する無音区間検出手段１４０において適切に音声の有無を判定する際に最低限必要となる時系列のサンプルの個数に対応する時間Ｕｍｉｎ（例えば０．１秒程度）とする。Ｕの値の上限は、遅延時間推定値がＤ秒のとき、Ｄ−αとする。ここでαは、後述の無音区間検出手段１４０が、あるセグメントのエコー抑圧信号に音声成分が含まれているかを判定する処理に要する時間（秒）である。よって、エコー抑圧信号の無音声区間をリアルタイム検出するために、Ｕｍｉｎ≦Ｕ≦Ｄ−αとする。なお、Ｕが小さいほうが無音声を素早く検出できるが、計算回数が多くなり計算量が大きくなるので、遅延音声付加装置１００自体の処理性能等に応じて適宜設定すればよい。
【００２８】
なお、Ｕ秒分の信号に含まれるサンプルの個数をＵｓとする。本実施形態では、Ｕ＝Ｔ、Ｔｓ＝Ｕｓとする。例えば、エコー抑圧信号ｓ（ｋ）を取得したときに、セグメントに分割する場合、セグメントにはエコー抑圧信号ｓ（ｋ），ｓ（ｋ−１），…，ｓ（ｋ−Ｔｓ＋１）が含まれる。
【００２９】
＜無音区間検出手段１４０＞
無音区間検出手段１４０は、Ｔ秒毎にメモリに蓄えられるエコー抑圧信号ｓ（ｋ），ｓ（ｋ−１），…，ｓ（ｋ−Ｔｓ＋１）を即座に読み出し、そのエコー抑圧信号ｓ（ｋ），ｓ（ｋ−１），…，ｓ（ｋ−Ｔｓ＋１）に音声成分が含まれているかを判定し（ｓ４）、判定結果を送信信号重畳手段１６０に出力する。判定手法としては、無音区間検出手段１２０において説明した手法等を用いることができる。
【００３０】
＜ゲイン設定手段１５０＞
ゲイン設定手段１５０は、後述する送信信号重畳手段１６０においてエコー抑圧信号ｓ（ｋ）（被送信信号）に送信信号ｘ（ｋ）を加算する際に、送信信号ｘ（ｋ）に乗ずる値Ｇ（＞０）を設定する。なお、この値Ｇはユーザ操作により調節可能なものとする。
【００３１】
＜送信信号重畳手段１６０＞
送信信号重畳手段１６０は、その送信信号のｎセグメント前から１セグメント前までの送信信号を送信信号保持手段から読み出し、（Ｄ−ｎ×Ｔ−α）秒だけ遅延させて、通信相手から送られてくる被送信信号に重畳する（ｓ６）。ただし、ｎを１≦ｎ＜（Ｄ−α）／Ｔを満たす整数とする。また、送信信号重畳手段１６０は、エコー抑圧信号ｓ（ｋ），ｓ（ｋ−１），…，ｓ（ｋ−Ｔｓ＋１）が無音声ではない場合（つまり、音声である場合）、送信信号をエコー抑圧信号に重畳しない。
【００３２】
図４は、送信信号重畳手段１６０の処理フローを示す。
【００３３】
送信信号重畳手段１６０は、無音区間検出手段１２０から判定結果を、無音区間検出手段１４０から判定結果を、遅延時間を推定する機能を有している装置（例えば、音響エコー抑圧装置９５や通信網９６内に設けられた装置）から遅延時間推定値Ｄを、ゲイン設定手段１５０から値Ｇを、音響エコー抑圧装置９５からエコー抑圧信号ｓ（ｋ）を受け取る。なお、値Ｇについては変更された場合にのみ、変更後の値Ｇを受け取る構成としてもよい。
【００３４】
送信信号ｘ（ｋ），ｘ（ｋ−１），…，ｘ（ｋ−Ｔｓ＋１）が無音声であることを無音区間検出手段１２０からの判定結果が示す場合（ｓ６１）、かつ、エコー抑圧信号ｓ（ｋ），ｓ（ｋ−１），…，ｓ（ｋ−Ｔｓ＋１）が無音声であることを無音区間検出手段１４０からの判定結果が示す場合（ｓ６２）、そのセグメントの送信信号ｘ（ｋ），ｘ（ｋ−１），…，ｘ（ｋ−Ｔｓ＋１）のｎセグメント前から１セグメント前までの送信信号ｘ（ｋ−Ｔｓ×（ｎ＋１）＋１），ｘ（ｋ−Ｔｓ×（ｎ＋１）＋２），…，ｘ（ｋ−Ｔｓ）を送信信号保持手段１１０のメモリから順次から読み出し（ｓ６３）、それぞれ（Ｄ−ｎ×Ｔ−α）秒に対応するサンプル分（Ｄｓ−ｎ×Ｔｓ−αｓ）（ただし、Ｄ秒分の信号に含まれるサンプルの個数をＤｓ、α秒分の信号に含まれるサンプルの個数をαｓとする）だけ遅延させて（ｓ６４）、値Ｇを乗じ（ｓ６５、なお、被送信信号であるエコー抑圧信号を、または、これに値Ｇを乗じた信号を、（Ｄｓ−ｎ×Ｔｓ−αｓ）だけ遅延させた信号を「遅延音声信号」という））、エコー抑圧信号ｓ（ｋ＋Ｄｓ−ｎ×Ｔｓ−αｓ），ｓ（ｋ＋Ｄｓ−ｎ×Ｔｓ−αｓ＋１），…，ｓ（ｋ＋Ｄｓ−αｓ−１）に重畳し（ｓ６、ｓ６６）、遅延音声付加装置１００の出力値である遅延音声付加信号ｕ（ｋ＋Ｄｓ−ｎ×Ｔｓ−αｓ），ｕ（ｋ＋Ｄｓ−ｎ×Ｔｓ−αｓ＋１），…，ｕ（ｋ＋Ｄｓ−αｓ−１）として出力する。よって、
u(k+Ds-n×Ts-αs)=s(k+Ds-n×Ts-αs)+x(k-Ts×(n+1)+1)×G
u(k+Ds-n×Ts-αs+1)=s(k+Ds-n×Ts-αs+1)+x(k-Ts×(n+1)+2)×G
…
u(k+Ds-αs-1)=s(k+Ds-αs-1)+x(k-Ts)×G
として表すことができる。
【００３５】
送信信号ｘ（ｋ），ｘ（ｋ−１），…，ｘ（ｋ−Ｔｓ＋１）が音声であることを無音区間検出手段１２０からの判定結果が示す場合（ｓ６１）、または、エコー抑圧信号ｓ（ｋ），ｓ（ｋ−１），…，ｓ（ｋ−Ｔｓ＋１）が音声であることを無音区間検出手段１４０からの判定結果が示す場合（ｓ６２）、送信信号重畳手段１６０は、受け取ったエコー抑圧信号ｓ（ｋ）をそのまま遅延音声付加装置１００の出力値ｕ（ｋ）として出力する。
【００３６】
なお、送信信号重畳手段１６０は、遅延させているとき、または、遅延音声信号を重畳しているときに、無音区間検出手段１４０からエコー抑圧信号が音声であることを示す判定結果を受け取った場合、重畳処理を直ちに停止する。
【００３７】
また、送信信号重畳手段１６０は、遅延音声信号を重畳させているときに、無音区間検出手段１２０から送信信号が音声であることを示す判定結果を受け取った場合、重畳処理を直ちに停止する。なお、無音区間検出手段１２０は、あるセグメントの送信信号について、それが音声成分を含まない（無音声区間）と判定した場合、その後Ｄ−α秒間は、音声の有無の判定処理は行わないため、（Ｄ−ｎ×Ｔ−α）秒だけ遅延させているときに、判定結果を受け取ることはない。
【００３８】
なお、最初に送信信号保持手段１１０のメモリから読み出す送信信号のセグメント（無音声と判定されたセグメント）のｎセグメント前の送信信号ｘ（ｋ−Ｔｓ×（ｎ＋１）＋１），ｘ（ｋ−Ｔｓ×（ｎ＋１）＋２），…，ｘ（ｋ−Ｔｓ×ｎ））を重畳する際には、その送信信号ｘ（ｋ−Ｔｓ×（ｎ＋１）＋１），ｘ（ｋ−Ｔｓ×（ｎ＋１）＋２），…，ｘ（ｋ−Ｔｓ×ｎ）に乗ずる値について、Ｔ秒間にゼロからＧまで緩やかに増加するよう傾斜をつけてもよい。つまり、０＝Ｇ（０）≦Ｇ（１）≦…≦Ｇ（Ｔｓ−１）＝ＧとなるようにＴｓ個の値Ｇ（０），Ｇ（１），…，Ｇ（Ｔｓ−１）を用意し、それぞれ送信信号ｘ（ｋ−Ｔｓ×（ｎ＋１）＋１），ｘ（ｋ−Ｔｓ×（ｎ＋１）＋２），…，ｘ（ｋ−Ｔｓ×ｎ）に乗じ、（ｎ−１）セグメント前から１セグメント前の送信信号にはＧを乗じる。このように、値Ｇ及びＧ（０），Ｇ（１），…，Ｇ（Ｔｓ−１）を乗じることで、ユーザ側のスピーカ９４から突然大きな音声が再生することを防ぐことができる。このような構成とすることで、ユーザはより自然に遅延時間を感知することができる。
【００３９】
＜効果＞
このような構成とすることで、ユーザの発話音声の無音声区間をリアルタイム検出し、無音声区間の開始直前の短時間のユーザ発話音声を、通信遅延に相当する時間だけ遅延させてユーザ自身に呈示することができ、さらに、通信相手の発話音声がユーザ側で検出された時点で、呈示をやめることができる。よって、通信ネットワーク内の処理に変更を施すことなく、ユーザ端末側の装置に機能追加するだけで、ユーザは自分が発話した音声の切れ目が、いつ通信相手に受聴されたかを直観的に知ることができ、通信相手の応答音声が届く可能性のあるタイミングを自然に予測できる。
【００４０】
＜変形例＞
本実施形態では、ユーザと通信相手との一対一の音声通信について説明したが、複数人の参加者によるｗｅｂ会議等に本発明を利用してもよい。この場合も、ユーザ端末側の装置に機能追加するだけでよい。
【００４１】
本実施形態では、音響エコー抑圧装置９５の出力値であるエコー抑圧信号ｓ（ｋ）を入力としているが、通信相手側のマイク９３の出力値である収音信号ｙ（ｋ）を直接入力としてもよい。この場合、音響エコー抑圧装置９５はなくともよい。
【００４２】
ゲイン設定手段１５０は必ずしも含まなくともよく、送信信号を遅延させて、値Ｇを乗じずに、そのままエコー抑圧信号に重畳すればよい。
【００４３】
本実施形態では、ディジタル信号の送信信号、エコー抑圧信号を入力としているが、アナログ信号を入力されてもよい。その場合には、図示しないＡ／Ｄ変換機でディジタル信号に変換して上述の処理を行えばよい。また、図示しないＤ／Ａ変換機でディジタル信号の遅延音声付加信号をアナログ信号に変換して出力してもよい。
【００４４】
被送信信号保持手段１３０と無音区間検出手段１４０とを備えず、それらの構成における処理（ｓ３、ｓ４）を行わない構成としてもよい。この場合、送信信号重畳手段１６０において、被送信信号が無音声か否かを判定する処理（ｓ６２）を行わずともよい。このような構成としても、ユーザの発話音声の無音声区間をリアルタイム検出し、無音声区間の開始直前の短時間のユーザ発話音声を、通信遅延に相当する時間だけ遅延させてユーザ自身に呈示することはできる。
【００４５】
本実施形態では、送信信号が無音声であることを無音区間検出手段１２０からの判定結果が示す場合、かつ、エコー抑圧信号が無音声であることを無音区間検出手段１４０からの判定結果が示す場合が続くと、無音声のエコー抑圧信号に無音声の送信信号を重畳することとなる。その間も重畳処理を行うため計算量が多くなるという問題がある。また、無音声の送信信号に含まれるノイズ等を無音声のエコー抑圧信号に重畳することとなり音質が低下する可能性がある。このような問題を解消するために、一定時間以上、重畳処理を行った後は、重畳処理を停止する構成としてもよい。なお、送信信号が音声であることを示す判定結果を受け取った後に、送信信号が無音声であることを無音区間検出手段１２０からの判定結果が示す場合、かつ、エコー抑圧信号が無音声であることを無音区間検出手段１４０からの判定結果が示す場合、送信信号重畳手段１６０は、重畳処理を再開する。このような構成とすることで上記問題を解決できる。
【００４６】
＜第二実施形態＞
第一実施形態と異なる部分についてのみ説明する。
【００４７】
本実施形態の遅延音声付加装置１００は、マイク９１の出力値である送信信号ｘ（ｋ）と音響エコー抑圧装置９５の出力値であるエコー抑圧信号ｓ（ｋ）（被送信信号）とを入力され、エコー抑圧信号ｓ（ｋ）に遅延音声信号を付加した遅延音声付加信号ｕ（ｋ）を出力する（図１参照）。遅延時間推定値Ｄが入力されない点が第一実施形態とは異なる。
【００４８】
図５は第二実施形態に係る遅延音声付加装置１００の機能ブロック図を、図６はその処理フローを示す。
【００４９】
遅延音声付加装置１００は、送信信号保持手段１１０、無音区間検出手段１２０、被送信信号保持手段１３０、無音区間検出手段１４０、ゲイン設定手段１５０、送信信号重畳手段１６０及び遅延時間推定手段１７０を含む。遅延時間推定手段１７０を含む点が第一実施形態とは異なる。ネットワーク上の他の装置から遅延時間の推定値を取得できない場合には、このような構成が有効である。以下、遅延時間推定手段１７０の詳細を説明する。
＜遅延時間推定手段１７０＞
遅延時間推定手段１７０は、既存の技術（例えば参考文献３参照）に基づき、送信信号と被送信信号とを用いて、遅延時間推定値Ｄとして求め（ｓ５）、送信信号重畳手段１６０に出力する。
【００５０】
遅延時間推定手段１７０は、ｍ×Ｔ秒毎に、送信信号保持手段１１０から、即座に連続してｍセグメント分の送信信号ｘ（ｋ），ｘ（ｋ−１），…，ｘ（ｋ−ｍ×Ｔｓ＋１）を読み出す。ここでｍは、ｍ×Ｔ＞Ｄを満たす最小の整数である。また、そのｍセグメント分の送信信号ｘ（ｋ），ｘ（ｋ−１），…，ｘ（ｋ−ｍ×Ｔｓ＋１）を読み出している間に、遅延時間推定手段１７０は、被送信信号保持手段１３０から、ｍセグメント分のエコー抑圧信号ｓ（ｋ），ｓ（ｋ−１），…，ｓ（ｋ−ｍ×Ｔｓ＋１）を読み出す。これらの信号を用いて正規化相互相関関数Ｃｘｓ（ｒ）を以下のように計算する。
【００５１】
【数１】
0005822786.tif 000002
【００５２】
後述するように、通信網内の音響エコー抑圧装置が効果を発揮すればするほど、エコー抑圧信号に含まれるエコー成分は小さくなり、正規化相互相関関数Ｃｘｓ（ｒ）から推定される遅延時間の信頼性が低くなることから、遅延時間推定手段１７０は、相互相関関数Ｃｘｓ（ｒ）に基づいて、送信信号とエコー抑圧信号の相関の有無を判定し、相関があると判定した場合のみ、Ｃｘｓ（ｒ）の極大値のうち最も大きな値を与える時間（ラグ）ｒを遅延時間推定値Ｄとする。相関がないと判定した場合は、Ｄの推定は行なわない。ここで相関の有無の判定方法としては、Ｃｘｓ（ｒ）の極大値のうち最も大きな値がある適切な閾値より大きければ相関あり、閾値以下であれば相関なし、とする方法が最も簡便であるが、他の方法として例えば、Ｃｘｓ（ｒ）の極大値のうち最も大きな値を、２番目に大きな極大値で除して比を求め、それがある適切な閾値より大きければ相関あり、閾値以下であれば相関なし、とする方法などを用いてもよい。なお、相互相関関数Ｃｘｓ（ｒ）の計算は、上記のように信号そのものに対して時間領域で行う代わりに、信号から抽出される種々のスペクトル特徴量に対して行ってもよい。
【００５３】
また遅延時間推定値Ｄの更新に伴いｍの値（ｍ×Ｔ＞Ｄを満たす最小の整数）も更新する。通信セッション開始時に遅延時間推定値Ｄの初期値を与える方法としては、想定される通信網９６での最大遅延時間を保持しておく方法や、過去の通信セッションにおける遅延時間推定値Ｄの最大値を記憶する手段を追加する方法等が有効である。
【００５４】
＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。第一実施形態では、既存の音響エコー抑圧装置９５や通信網９６中に設置されている種々の装置から遅延時間推定値Ｄを受け取っているが、本実施形態では、よりユーザ側に近い地点において遅延時間推定値Ｄを推定しているため、推定値の信頼性が同じであれば、本実施形態のほうがより正確に遅延時間を推定することができる。例えば、音響エコー抑圧装置９５において推定した遅延時間推定値Ｄには、音響エコー抑圧装置９５と遅延音声付加装置１００との間に生じる遅延が含まれていないため、音響エコー抑圧装置９５及び遅延音声付加装置１００において推定した遅延時間推定値Ｄを比較すると、推定値の信頼性が同程度であれば、遅延音声付加装置１００において推定した遅延時間推定値Ｄのほうが、より実際の遅延時間に近い値となる。
【００５５】
＜変形例＞
本実施形態では、送信信号とエコー抑圧信号との相互相関関数に基づいて遅延時間Ｄを推定している。そのため、エコー抑圧信号に含まれるエコー成分が小さければ小さいほど、遅延時間を適切に推定できないという問題がある。ただし、エコー抑圧処理の開始直後やエコー経路に変動があった場合には、エコー抑圧信号に含まれるエコー成分が大きくなるため、相互相関関数の極大値も十分に大きな値となり、適切に遅延時間を推定できる。例えば、遅延時間推定値Ｄをｍ×Ｔ秒毎に逐次更新するのではなく、エコー抑圧処理の開始直後やエコー経路に変動があった場合に推定した遅延時間推定値Ｄを利用し続けてもよい。また、遅延音声付加装置１００は、音響エコー抑圧装置９５に入力される前の収音信号を取得可能であれば、収音信号をそのまま入力とし、相互相関関数を計算するために用いる構成としてもよい。
【００５６】
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００５７】
＜プログラム及び記録媒体＞
上述した遅延音声付加装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置（各種実施形態で図に示した機能構成をもつ装置）として機能させるためのプログラム、またはその処理手順（各実施形態で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
【符号の説明】
【００５８】
１００  遅延音声付加装置
１１０  送信信号保持手段
１２０  無音区間検出手段
１３０  被送信信号保持手段
１４０  無音区間検出手段
１５０  ゲイン設定手段
１６０  送信信号重畳手段
１７０  遅延時間推定手段
【図１】
0005822786.tif 000003
【図２】
0005822786.tif 000004
【図３】
0005822786.tif 000005
【図４】
0005822786.tif 000006
【図５】
0005822786.tif 000007
【図６】
0005822786.tif 000008