(57)【要約】【課題】息詰まり感がない自然な臨場感を再現しつつ、マイクロフォンで検出された音声信号からエコー信号を除去することが可能な音声処理装置を提供する。【解決手段】スピーカ１１に出力する音声信号に基づいて、スピーカ１１により放音された音を検出しうる環境に設置された２チャンネルのマイクロフォン１２で検出された音声信号から、スピーカ１１により放音されてエコー信号として重畳された信号成分を除去するステレオ適応フィルタ１５１と、ステレオ適応フィルタ１５１によりエコー信号が除去された音声信号に対して平滑化処理を施す平滑化処理部１５２と、平滑化処理部１５２により平滑化処理が施された音声信号に、定位感のある雑音信号を付加して出力する定位感雑音信号付加部１５３とを備える。【選択図】  図２
2010166147.tif 000002
【特許請求の範囲】
【請求項１】
スピーカに出力する音声信号に基づいて、このスピーカにより放音された音を検出しうる環境に設置された多チャンネルのマイクロフォンで検出された音声信号から、このスピーカにより放音されてエコー信号として重畳された信号成分を除去するエコー除去部と、
上記エコー除去部によりエコー信号が除去された音声信号に対して平滑化処理を施す平滑化処理部と、
上記平滑化処理部により平滑化処理が施された音声信号に、定位感のある雑音信号を付加して出力する定位感雑音信号付加部とを備える音声処理装置。
【請求項２】
定位感のない１チャンネルの雑音音声に対して、定位感のあるインパルス応答を畳み込んで生成された定位感のある雑音信号を記憶した記憶部を更に備え、
上記定位感雑音信号付加部は、上記平滑化処理部により平滑化処理が施された音声信号に、上記記憶部に記憶された定位感のある雑音信号を付加して出力する請求項１記載の音声処理装置。
【請求項３】
上記記憶部は、雑音音源を複数配置して、雑音音源毎に、定位感のない１チャンネルの雑音音声に対して、定位感のあるインパルス応答を畳み込んで生成された定位感のある雑音信号を記憶しており、
上記定位感雑音信号付加部は、上記記憶部に記憶された複数の雑音信号のうち、上記多チャンネルのマイクロフォンの設置環境に応じて選択した雑音信号を、上記平滑化処理部により平滑化処理が施された音声信号に付加して出力する請求項２記載の音声処理装置。
【請求項４】
上記多チャンネルのマイクロフォンにより検出された音声信号を、上記定位感のあるノイズとして記憶した記憶部を更に備え、
上記定位感ノイズ付加部は、上記ノイズ除去部によりノイズ除去処理が施された音声信号に、上記記憶部に記憶されている定位感のあるノイズを付加して出力する請求項１記載の音声処理装置。
【請求項５】
スピーカに出力する音声信号に基づいて、このスピーカにより放音された音を検出しうる環境に設置された多チャンネルのマイクロフォンで検出された音声信号から、このスピーカにより放音されてエコー信号として重畳された信号成分を除去するエコー除去ステップと、
上記エコー除去ステップによりエコー信号が除去された音声信号に対して平滑化処理を施す平滑化処理ステップと、
上記平滑化処理ステップにより平滑化処理が施された音声信号に、定位感のある雑音信号を付加して出力する定位感雑音信号付加ステップとを有する音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スピーカにより放音された音を検出しうる環境に設置された多チャンネルのマイクロフォンから検出された音声信号に対して音声処理を行う音声処理装置、及び、音声処理方法に関するものである。
【背景技術】
【０００２】
テレビ会議システムなどの拡声通話系では、遠端装置のマイクロフォンで収音された音声が、近端装置に送られ、近端装置のスピーカから放音される。近端装置もマイクロフォンが装備されており、近端装置側の話者の音声を遠端装置へ送るように構成されている。このため、遠端装置と近端装置とのそれぞれでスピーカから放音される音声がマイクロフォンに印加される。このようにしてスピーカから放音される音声がマイクロフォンに印加され、再び相手装置へ送られるため、自分の発声がこだまのように少し遅れてスピーカから聞こえる「エコー」という現象を引き起こす。エコーが大きくなると、再びマイクロフォンに印加されて、音声処理系をループしハウリングを引き起こしてしまう。
【０００３】
上述したようなエコーやハウリングを防止するための装置としてエコーキャンセラが知られている（特許文献１）。一般的に適応フィルタを用いてスピーカからマイクロフォンへのインパルスレスポンスを学習している。そして、スピーカから放音されるリファレンス信号に前述のインパルスレスポンスを畳み込んだ擬似エコーを生成し、マイクロフォンで収音された音声から擬似エコーを差し引くことで除去している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６―７４６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来のエコーキャンセラでは、通常、エコーキャンセル処理後に消え残ったエコー成分や、定常ノイズ成分をエコーサプレッサやノイズキャンセラによりさらに取り除いている。このため、近端装置側の話者の音声以外の音声区間は殆んど無音になり、息詰まり感を感じさせることがある。
【０００６】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、息詰まり感がない自然な臨場感を再現しつつ、マイクロフォンで検出された音声信号から、スピーカにより放音されてエコー信号として重畳された信号成分を除去することが可能な音声処理装置、音声処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するための手段として、本発明に係る音声処理装置は、スピーカに出力する音声信号に基づいて、このスピーカにより放音された音を検出しうる環境に設置された多チャンネルのマイクロフォンで検出された音声信号から、このスピーカにより放音されてエコー信号として重畳された信号成分を除去するエコー除去部と、エコー除去部によりエコー信号が除去された音声信号に対して平滑化処理を施す平滑化処理部と、平滑化処理部により平滑化処理が施された音声信号に、定位感のある雑音信号を付加して出力する定位感雑音信号付加部とを備える。
【０００８】
また、本発明に係る音声処理方法は、スピーカに出力する音声信号に基づいて、このスピーカにより放音された音を検出しうる環境に設置された多チャンネルのマイクロフォンで検出された音声信号から、このスピーカにより放音されてエコー信号として重畳された信号成分を除去するエコー除去ステップと、エコー除去ステップによりエコー信号が除去された音声信号に対して平滑化処理を施す平滑化処理ステップと、平滑化処理ステップにより平滑化処理が施された音声信号に、定位感のある雑音信号を付加して出力する定位感雑音信号付加ステップとを有する。
【発明の効果】
【０００９】
本発明は、エコー除去処理と平滑化処理とが施された音声信号に対して、定位感のある雑音信号を付加して出力する。このようにして、本発明は、息詰まり感がない自然な臨場感を再現しつつ、マイクロフォンで検出された音声信号から、スピーカにより放音されてエコー信号として重畳された信号成分を除去することができる。
【図面の簡単な説明】
【００１０】
【図１】テレビジョン会議システムに係る構成を示す図である。
【図２】音声信号処理部に係る構成を示す図である。
【図３】テレビジョン会議システムに係る動作の説明に供するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
【００１２】
本発明が適用された音声処理装置は、スピーカにより放音された音を検出しうる環境に設置された多チャンネルのマイクロフォンから検出された音声信号に対して音声処理を行う装置である。このような音声処理装置は、例えば図１に示すようなテレビジョン会議システム１００の近端装置１に組み込まれて使用される。なお、説明は以下の順序で行う。
１．全体構成
２．音声信号処理系
＜１．全体構成＞
テレビジョン会議システム１００は、近端装置１と遠端装置２との間で、それぞれの装置側の会議出席者の画像及び発音音声に係る情報を双方向に送受信するものである。近端装置１と遠端装置２とは、画像信号及び音声信号を送受信するため、インターネットなどの電気通信回線３を介して接続されている。
【００１３】
近端装置１は、遠端装置２側の会議出席者の発音音声を放音するスピーカ１１Ｌ、１１Ｒと、スピーカ１１Ｌ、１１Ｒにより放音された音を検出しうる環境に設置され、近端装置１側の会議出席者の発音音声を収音する２チャンネルのマイクロフォン１２Ｌ、１２Ｒと接続されている。以下では、スピーカ１１Ｌ、１１Ｒを総称したとき、スピーカ１１と呼ぶ。同様に、マイクロフォン１２Ｌ、１２Ｒを総称したとき、マイクロフォン１２と呼ぶ。
【００１４】
このような装置と接続された近端装置１は、遠端装置２から受信した音声信号をスピーカ１１により放音するとともに、マイクロフォン１２により収音された音声信号を遠端装置２に送信する。
【００１５】
遠端装置２は、近端装置１側の会議出席者の発音音声を放音するスピーカ２１Ｌ、２１Ｒと、スピーカ２１Ｌ、２１Ｒにより放音された音を検出しうる環境に設置され、遠端装置２側の会議出席者の発音音声を集音する２チャンネルのマイクロフォン２２Ｌ、２２Ｒと接続されている。以下では、スピーカ２１Ｌ、２１Ｒを総称したとき、スピーカ２１と呼ぶ。同様に、マイクロフォン２２Ｌ、２２Ｒを総称したとき、マイクロフォン２２と呼ぶ。
【００１６】
このような装置と接続された遠端装置２は、近端装置１から受信した音声信号をスピーカ２１により放音するとともに、マイクロフォン２２により収音された音声信号を近端装置１に送信する。
【００１７】
＜２．音声信号処理系＞
以上のような構成からなるテレビジョン会議システム１００において、近端装置１に接続されたマイクロフォン１２は、上述したように近端装置１側の会議出席者の発音音声を収音するとともに、スピーカ１１から放音される音声も空間を介して収音してしまう。このようにして、マイクロフォン１２により収音される音声信号には、スピーカ１１から放音された音声信号がエコー信号として重畳されてしまう。このような音声信号に含まれるエコー信号やノイズ成分を単に除去した場合には、２チャンネル以上のスピーカで放音されたときの音の立体感、すなわち臨場感も失われてしまう。結果として、このような音声を聴いたテレビ会議出席者に、息詰まり感を与えてしまうことになる。
【００１８】
そこで、本発明が適用された音声処理装置が組み込まれた近端装置１は、息詰まり感がない自然な臨場感を再現しつつ、マイクロフォン１２で検出された音声信号から、上述したエコー信号の信号成分を除去するため、次のような構成を有している。
【００１９】
すなわち、近端装置１は、遠端装置２との間で音声信号の送受信を行う通信部１３と、音声信号に係る符号処理を行う音声符号処理部１４と、音声信号に対して信号処理を行う音声信号処理部１５とを備える。また、近端装置１は、音声信号をアナログ変換するＤ／Ａ変換器１６と、音声信号をデジタル変換するＡ／Ｄ変換器１７とを備える。
【００２０】
通信部１３は、電気通信回線３を介して遠端装置２との間で符号化された音声信号の送受信を行う。通信部１３は、遠端装置２から受信した音声信号を音声符号処理部１４に供給し、音声符号処理部１４から供給された音声信号を遠端装置２に送信する。
【００２１】
音声符号処理部１４は、次のような、音声信号に係る符号処理を行う。すなわち、音声符号処理部１４は、通信部１３から供給された音声信号を復号して音声信号処理部１５に供給する。例えば、音声符号処理部１４は、４８ｋＨｚサンプリングで１６ビットのＰＣＭの音声信号に復号して音声信号処理部１５に供給する。また、音声符号処理部１４は、音声信号処理部１５から供給された音声信号を符号化して通信部１３に供給する。
【００２２】
音声信号処理部１５は、例えば、デジタルシグナルプロセッサにより構成される。また、音声信号処理部１５には、音声符号処理部１４から供給される音声信号とマイクロフォン入力信号とが、常に１サンプルずつ同じタイミングで与えられる。また、音声信号処理部１５は、音声符号処理部１４から供給された音声信号をＤ／Ａ変換器１６に供給する。また、音声信号処理部１５は、Ａ／Ｄ変換器１７から供給される音声信号を、音声符号処理部１４に供給する処理を行う。
【００２３】
Ｄ／Ａ変換器１６は、音声信号処理部１５から供給された音声信号をアナログ変換して、変換した音声信号をスピーカ１１に供給する。例えば、Ｄ／Ａ変換器１６は、４８ｋＨｚサンプリングで１６ビットのＰＣＭの音声信号をアナログ変換してスピーカ１１に供給する。
【００２４】
Ａ／Ｄ変換器１７は、それぞれマイクロフォン１２により収音した音声信号をデジタル変換して、変換した音声信号を音声信号処理部１５に供給する。Ａ／Ｄ変換器１７は、音声符号処理部１４で処理される音声信号と同様に、４８ｋＨｚサンプリングで１６ビットのＰＣＭの音声信号にデジタル変換する。
【００２５】
以上のような構成からなる近端装置１では、息詰まり感がない自然な臨場感を再現しつつ、マイクロフォン１２で検出された音声信号からエコー信号の信号成分を除去するため、音声信号処理部１５が図２に示すように構成されている。
【００２６】
音声信号処理部１５は、音声信号からエコー信号として重畳された信号成分を除去するステレオ適応フィルタ１５１と、音声信号に対して平滑化処理を施す平滑化処理部１５２と、音声信号に定位感のある雑音信号を付加する定位ノイズ付加部１５３とを備える。
【００２７】
ステレオ適応フィルタ１５１は、音声符号処理部１４から供給されてＤ／Ａ変換器１６に出力する音声信号ｘ（ｔ）にフィルタ処理を施して、スピーカ１１の音像位置情報に基づき、マイクロフォン１２により検出される音声信号ｙ（ｔ）に重畳される擬似エコー信号ｅ（ｔ）を推定する。そして、ステレオ適応フィルタ１５１は、Ａ／Ｄ変換器１７から供給される音声信号ｙ（ｔ）から、当該フィルタの内部に設けられた減算器１５１Ｒ、１５１Ｌにより擬似エコー信号ｅ（ｔ）を減算して、後段の平滑化処理部１５２に出力する。ここで、ステレオ適応フィルタ１５１は、音声符号処理部１４から供給される音声信号ｘ（ｔ）、Ａ／Ｄ変換器１７から供給される音声信号ｙ（ｔ）、及び、音声信号処理部１５から音声符号処理部１４へ送出する音声信号を基に、フィルタ係数を逐次決定する。
【００２８】
このようにして、ステレオ適応フィルタ１５１は、音声信号ｘ（ｔ）に基づいて、マイクロフォン１２で検出された音声信号ｙ（ｔ）から、このスピーカ１１により放音されてエコー信号として重畳された信号成分を除去する。
【００２９】
平滑化処理部１５２は、ステレオ適応フィルタ１５１によりエコー信号が除去された音声信号に対して平滑化処理を施す。具体的に、平滑化処理部１５２は、ステレオ適応フィルタ１５１によりエコー信号が除去された音声信号に対してエコーサプレッサ処理とノイズキャンセリング処理とを施して、後段の定位ノイズ付加部１５３に出力する。このようにして、平滑化処理部１５２は、ステレオ適応フィルタ１５１による信号処理後に消え残ったエコー成分と、定常ノイズ成分とを除去する。
【００３０】
定位ノイズ付加部１５３は、平滑化処理部１５２により出力された音声信号に対して、定位感のある雑音信号を付加して、音声符号処理部１４に出力する。
【００３１】
具体的に、定位ノイズ付加部１５３は、定位感のある雑音信号を予め記憶したノイズ情報記憶部１５３ａを有し、このノイズ情報記憶部１５３ａに記憶されている雑音信号を音声信号に付加する。このようにして、定位感のある雑音信号を付加するのは、平滑化処理部１５２により出力される音声信号において、近端話者の音声以外の音声区間が殆んど無音になり、息詰まり感を感じる事があり、この息詰まり感を低減させるためである。
【００３２】
ノイズ情報記憶部１５３ａは、例えば次のようにして得られた音声信号を、定位感のあるノイズ情報として記憶している。
【００３３】
第１の具体例として、ノイズ情報記憶部１５３ａは、スピーカ１１から音を放音しない状況下でマイクロフォン１２により実際に検出された音声信号を、定位感のあるノイズとして記憶している。すなわち、ノイズ情報記憶部１５３ａは、スピーカ１１から放音されるエコー成分を含まないで、マイクロフォン１２が設置された環境下で自然に発生するノイズを、定位感のあるノイズとして記憶している。この具体例において、定位ノイズ付加部１５３では、マイクロフォン１２の検出特性に適合した定位感のある雑音信号を音声信号に付加することによって、自然な臨場感を再現することができる。
【００３４】
第２の具体例として、ノイズ情報記憶部１５３ａは、定位感のない１チャンネルの雑音音声に対して、定位感のあるインパルス応答を畳み込んで生成された定位感のある雑音信号を記憶している。この具体例において、定位ノイズ付加部１５３では、インパルス応答を畳み込んで得られた雑音信号を音声信号に付加することで、マイクロフォン１２の検出特性に依存することなく所望とする臨場感を再現するための雑音信号を音声信号に付加することができる。
【００３５】
第２の具体例の変形例として、ノイズ情報記憶部１５３ａは、雑音音源を複数配置して、雑音音源毎に、定位感のない１チャンネルの雑音音声に対して、定位感のあるインパルス応答を畳み込んで生成された定位感のある雑音信号を記憶している。この場合、定位ノイズ付加部１５３では、ノイズ情報記憶部１５３ａに記憶された複数の定位ノイズ情報のうち、マイクロフォン１２の設置環境に応じて選択した雑音信号を、平滑化処理部１５２により平滑化処理が施された音声信号に付加する。このようにして、定位ノイズ付加部１５３では、例えば発話者の音像を推定して、推定した発話者の音像と重ならないように、複数のノイズ音源を定位させることで、発話者の音声が不明瞭になることなく、かつ息詰まり感がない自然な臨場感を再現することができる。
【００３６】
上述した第１から第２の具体例により付加される定位感のある雑音信号は、定常的なノイズであるが、このような定常的なノイズだけではなく、交差点や駅のコンコース、喫茶店、空港ロビーなどの環境音をノイズ情報記憶部１５３ａが記憶するようにしてもよい。
【００３７】
以上のような構成からなる音声信号処理部１５は、エコー信号成分が除去されているが息詰まり感がある音声信号に定位感のある雑音信号を付加する。このようにして、音声信号処理部１５は、息詰まり感がない自然な臨場感を再現しつつ、マイクロフォン１２で検出された音声信号から、スピーカ１１により放音されてエコー信号として重畳された信号成分を除去することができる。
【００３８】
以上のような音声信号処理部１５に係る処理は、図３に示すようなテレビジョン会議システム１００全体の処理フローの中で、次のようにして行われる。
【００３９】
ステップＳ１において、テレビジョン会議システム１００では、近端装置１と遠端装置２との間で通信を開始する。ここで、遠端装置２側で発話されたときにはステップＳ２に進み、近端装置１側で発話されたときにはステップＳ２０に進む。
【００４０】
ステップＳ２において、近端装置１は、電気通信回線３を介して遠端装置２からの符号化された音声信号を通信部１３で受信する。
【００４１】
ステップＳ３において、近端装置１では、ステップＳ２で受信した音声信号が音声符号処理部１４でデコードされ、例えば３２ＫＨｚサンプリング１６ビットストレートＰＣＭのディジタル音声データとして音声信号処理部１５に供給される。音声信号処理部１５内部では、音声符号処理部１４から受け取った音声信号をＤ／Ａ変換器１６およびステレオ適応フィルタ１５１に供給する。
【００４２】
ステップＳ４において、音声信号処理部１５では、音声符号処理部１４から供給された音声信号とＡ／Ｄ変換器１７から供給される信号を用いてステレオ適応フィルタ１５１のフィルタ係数を更新する。ステレオ適応フィルタ１５１は、音声符号処理部１４から供給された音声信号に対してフィルタ処理を施して、スピーカ１１の音像位置情報に基づく擬似エコー信号をＡ／Ｄ変換器１７からの音声信号から差し引くことで、エコーキャンセルされた音声信号を出力する。
【００４３】
ステップＳ５において、平滑化処理部１５２は、ステップＳ４により出力されたエコーキャンセルされた音声信号を分析して、この音声信号に含まれるエコー成分とノイズ成分とを除去するように平滑化処理を施す。
【００４４】
ステップＳ６において、定位ノイズ付加部１５３では、平滑化処理部１５２により平滑化処理が施された音声信号に対して定位ノイズを付加し、音声符号処理部１４へ出力する。
【００４５】
ステップＳ７において、音声符号処理部１４は、音声信号処理部１５からのＰＣＭディジタル音声データを符号化し、通信部１３に供給する。
【００４６】
ステップＳ８において、通信部１３は、音声符号処理部１４からの符号化された音声データを、電気通信回線３を介して遠端装置２へ送出して、本処理工程を終了する。
【００４７】
また、ステップＳ４からステップＳ８に係る処理と並列して、近端装置１は、ステップＳ１０、Ｓ１１の処理を行う。
【００４８】
ステップＳ１０において、近端装置１では、ステップＳ３によってＤ／Ａ変換器１６に送られたディジタル音声データをアナログ信号に変換する。
【００４９】
ステップＳ１１において、近端装置１は、ステップＳ１０でアナログ変換された音声信号を、図示しないアンプを介してスピーカ１１に供給して放音させる。
【００５０】
一方、ステップＳ２０において、近端装置１では、マイクロフォン１２から音声を検出する。
【００５１】
ステップＳ２１において、近端装置１では、Ａ／Ｄ変換器１７によってステップＳ２０により検出した音声信号をデジタル変換して音声信号処理部１５へマイクロフォン入力信号として供給して、その後、ステップＳ４に進む。
【００５２】
テレビジョン会議システム１００では、以上のような処理工程にしたがって、息詰まり感がない自然な臨場感を再現しつつエコーキャンセリング処理を施した音声信号を近端装置１から遠端装置２に送信することができる。
【００５３】
なお、定位感のある雑音信号を音声信号に付加して自然な臨場感を再現するためには、最低限２チャンネルのマイクロフォンとスピーカと接続されていればよいが、このような接続数に限定されない。すなわち、近端装置１及び遠端装置２は、より多チャンネルのマイクロフォンとスピーカと接続されることによって、より自然な臨場感を再現させることができる。このような場合、近端装置１では、定位ノイズ付加部１５３により、チャンネル数に応じて定位ノイズ情報を設定して、設定した定位ノイズ情報を音声信号に付加するようにすればよい。
【００５４】
なお、本実施形態に係るテレビジョン会議システム１００では、近端装置１の具体的な構成について説明したが、近端装置１が備える音声処理系に係る機能を、遠端装置２が備えるようにしてもよい。このように同様の機能を遠端装置２も備えることで、テレビジョン会議システム１００では、会議出席者が発話した音声の息詰まり感が低減され、かつ、自然な臨場感を持たせるようにすることができ、会議出席者にとって聞き取りやすい音響環境を提供することができる。
【符号の説明】
【００５５】
１  近端装置、２  遠端装置、３  電気通信回線、１１、１１Ｌ、１１Ｒ  スピーカ、１２、１２Ｌ、１２Ｒ  マイクロフォン、１３  通信部、１４  音声符号処理部、１５  音声信号処理部、１６  Ｄ／Ａ変換器、１７  Ａ／Ｄ変換器、２１、２１Ｌ、２１Ｒ  スピーカ、２２、２２Ｌ、２２Ｒ  マイクロフォン、１００  テレビジョン会議システム、１５１  ステレオ適応フィルタ、１５１Ｌ、１５１Ｒ  減算器、１５２  平滑化処理部、１５３  定位ノイズ付加部、１５３ａ  ノイズ情報記憶部
【図１】
2010166147.tif 000003
【図２】
2010166147.tif 000004
【図３】
2010166147.tif 000005