(57)【要約】【課題】エコーを少ない計算量で効果的に除去する。【解決手段】帯域選択手段３は、放音信号分割手段１が帯域分割した放音信号ついて、選択された周波数帯域の信号成分を保持し、選択されなかった周波数帯域の信号成分を除去する。一方、収音信号分割手段２が帯域分割した収音信号について、放音信号が選択された周波数帯域の信号成分を除去し、選択されなかった信号成分を保持する。放音信号合成手段４により、所定の周波数帯域の信号成分が除去された放音信号が合成され、収音信号合成手段５により、放音信号が除去された周波数帯域の信号成分が保持され、放音信号が保持された周波数帯域の信号成分が除去された収音信号が合成される。これにより、放音信号と収音信号の周波数成分が重ならなくなる。【選択図】図１
2007151038.tif 000002
【特許請求の範囲】
【請求項１】
スピーカとマイクロフォンを備える拡声通話系で全二重通話を行う場合の音声処理を実行する音声処理装置において、
他装置から取得し、前記スピーカから出力する放音信号を複数の周波数帯域に帯域分割する放音信号分割手段と、
前記マイクロフォンから入力される収音信号を前記複数の周波数帯域に帯域分割する収音信号分割手段と、
前記複数の周波数帯域の全範囲を含む所定の周波数帯域範囲を、前記放音信号を選択する前記周波数帯域と前記収音信号を選択する前記周波数帯域とに分け、前記周波数帯域ごとに、選択されなかった前記周波数帯域の前記放音信号または前記収音信号の信号成分を除去する帯域選択手段と、
帯域分割され、前記帯域選択手段によって前記選択されなかった周波数帯域の信号成分が除去された前記放音信号を合成する放音信号合成手段と、
帯域分割され、前記帯域選択手段によって前記選択されなかった周波数帯域の信号成分が除去された前記収音信号を合成する収音信号合成手段と、
を具備することを特徴とする音声処理装置。
【請求項２】
前記放音信号分割手段および前記収音信号分割手段は、前記放音信号および前記収音信号を、フーリエ変換処理を含む時間領域から周波数領域への変換処理を行って前記複数の周波数帯域に分離する、
ことを特徴とする請求項１記載の音声処理装置。
【請求項３】
前記放音信号分割手段および前記収音信号分割手段は、前記放音信号および前記収音信号を、所定のフィルタバンクを用いてマルチレート信号処理を行って前記複数の周波数帯域に分離する、
ことを特徴とする請求項１記載の音声処理装置。
【請求項４】
前記帯域選択手段は、前記所定の周波数帯域範囲に含まれる前記周波数帯域に順次番号を付し、帯域分割された前記放音信号について偶数番目または奇数番目の一方の前記周波数帯域の信号成分を除去して他方を除去しないとともに、帯域分割された前記収音信号について前記放音信号の信号成分を除去した偶数番目または奇数番目の前記周波数帯域の信号成分を除去せず他方を除去することによって、前記放音信号と前記収音信号が含まれる前記周波数帯域が重ならないようにする、
ことを特徴とする請求項１記載の音声処理装置。
【請求項５】
前記帯域選択手段が、帯域分割された前記放音信号および前記収音信号について信号成分を除去する前記周波数帯域として奇数番目または偶数番目のどちらを選択するかは、前記全二重通話の相手である他装置の信号成分を除去する前記周波数帯域の選択と重ならない組み合わせに応じて決定する、
ことを特徴とする請求項４記載の音声処理装置。
【請求項６】
前記帯域選択手段は、前記他装置から取得し、前記放音信号分割手段によって帯域分割された前記放音信号の前記周波数帯域における信号成分のレベルに応じて、前記他装置が所定の周波数帯域について信号成分を除去したかどうかを判定し、信号成分が除去された周波数帯域が検出された場合は、検出された前記周波数帯域を前記放音信号の信号成分を除去する前記周波数帯域として選択する、
ことを特徴とする請求項１記載の音声処理装置。
【請求項７】
前記帯域選択手段は、前記他装置から入力される前記放音信号が有する音声の特徴に応じて、前記音声の特徴を有する前記周波数帯域の前記放音信号の信号成分を除去しないように前記放音信号を選択する前記周波数帯域を決定する、
ことを特徴とする請求項１記載の音声処理装置。
【請求項８】
前記帯域選択手段は、前記放音信号を選択する前記周波数帯域の選択を前記音声の特徴に応じて動的に行う、
ことを特徴とする請求項７記載の音声処理装置。
【請求項９】
前記帯域選択手段は、帯域分割された前記周波数帯域の一部の周波数帯域範囲については適応フィルタを用いた音声処理を行い、残りの周波数帯域範囲について所定の前記周波数帯域の前記放音信号および前記収音信号の信号成分を除去する音声処理を行う、
ことを特徴とする請求項１記載の音声処理装置。
【請求項１０】
前記帯域選択手段は、前記適応フィルタを用いて処理する前記周波数帯域を、前記他装置から入力される前記放音信号が有する音声の特徴に応じて選択する、
ことを特徴とする請求項６記載の音声処理装置。
【請求項１１】
前記帯域選択手段は、帯域分割し、所定の前記周波数帯域の信号成分を除去した前記収音信号について、信号成分を除去しなかった前記周波数帯域の収音信号の信号成分を用いて、信号成分を除去した前記周波数帯域の前記収音信号の信号成分を補間する、
ことを特徴とする請求項１記載の音声処理装置。
【請求項１２】
前記帯域選択手段は、前記他装置から取得し、前記放音信号分割手段によって帯域分割された前記放音信号の前記周波数帯域における信号成分のレベルに応じて、前記他装置が所定の周波数帯域について信号成分を除去したかどうかを判定し、信号成分が除去された周波数帯域が検出された場合は、信号成分が除去されていない前記周波数帯域の放音信号の信号成分を用いて、前記信号成分が除去された周波数帯域の前記放音信号の信号成分を補間する、
ことを特徴とする請求項１記載の音声処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声処理装置に関し、特にスピーカとマイクロフォン（以下、マイクとする）を備える拡声通話系で全二重通話を行う場合の音声処理を実行する音声処理装置に関する。
【背景技術】
【０００２】
ハンズフリー電話やテレビ会議システムなど、各装置がスピーカとマイクを備えた拡声通話系では、遠端装置のマイクで収音された音声が近端装置に送られ、近端装置のスピーカから放音される。一方、近端装置が装備するマイクから収音される近端話者の音声も遠端装置へ送られ、遠端装置のスピーカから放音されるように構成されている。このため、遠端、近端それぞれでスピーカから放音される相手の音声がマイクに印加される。何も処理を行わない場合は、この音声が再び相手装置へ送られるため、自分の発声がこだまのように少し遅れてスピーカから聞こえる「エコー」という現象を引き起こす。エコーが大きくなると、再びマイクに印加されて系をループし、ハウリングを引き起こす。
【０００３】
従来、このような拡声通信系では、エコーやハウリングを防止するための音声処理装置としてエコーキャンセラが組み込まれている。一般的なエコーキャンセラは、適応フィルタを用いてスピーカとマイク間のインパルスレスポンスを測定し、スピーカから放音されるリファレンス信号にこのインパルスレスポンスを畳み込んだ擬似エコーを生成し、マイクに印加されるスピーカの音声から擬似エコーを差し引くことでエコー成分を除去している。
【０００４】
しかし、スピーカとマイクの間のインパルスレスポンスは、室内の温度変化や人などの動きによって変化するため、全帯域用エコーキャンセラを係数固定型で構成するのでは、エコーを十分消去することが難しかった。そこで、音声信号を複数の帯域に分割し、帯域ごとにエコーキャンセル処理を行う帯域分割型のエコー消去装置が提案されている（たとえば、特許文献１参照）。
【特許文献１】特開昭５９−６４９３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来の適応フィルタを用いてエコーを除去する音声処理装置では、正確な擬似エコーを生成することが難しく、したがって、エコーを十分消去するためには演算量が膨大となるという問題点があった。
【０００６】
上述のようにスピーカとマイクの間のインパルスレスポンスは、室内の人物が体を動かすなど、音声の反射の関係が変わるだけで変化するが、適応フィルタが変化に追従して収束するにはある程度の時間がかかる。また、適応フィルタの原理上、スピーカから放音された音声に含まれない周波数成分に対しては適応が行えないため、ホワイトノイズのような全ての周波数を含む音声の場合には収束が速いが、テレビ会議のように人の声がスピーカから放音されるような場合は、収束までにある程度の時間がかかることが知られている。このように、系が変化してから適応フィルタが収束するまでの時間は正確な擬似エコーを生成することができないため、エコーが残留したり、ハウリングが引き起こされたりするという問題点がある。帯域分割型の場合も適応フィルタを利用していることから、同様の問題点がある。
【０００７】
また、一般的に適応フィルタの演算量はファーストフーリエ変換（ＦＦＴ）や、フィルタバンクに比べて大きいものであり、ローコストなシステムに用いる場合に負担となるという問題点もある。特に、体育館など広い場所での音声信号処理に適用される場合には、スピーカからマイクまでの距離が大きくなったり、残留時間が長くなったりすることから、適応フィルタに長いタップ長が必要となることが知られている。この場合、さらに計算量が増加し、負担が重くなる。
【０００８】
本発明はこのような点に鑑みてなされたものであり、エコー除去処理に要する計算量を減少させ、効果的なエコー処理を可能にするとともに、系の変動から収束までの時間エコーを除去できる音声処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明では上記課題を解決するために、スピーカとマイクを備える拡声通話系で全二重通話を行う場合の音声処理を実行する音声処理装置において、放音信号分割手段、収音信号分割手段、帯域選択手段、放音信号合成手段および収音信号合成手段を具備する音声処理装置が提供される。放音信号分割手段は、他装置から取得し、スピーカから出力する放音信号を複数の周波数帯域に帯域分割する。一方、収音信号分割手段は、マイクから入力される収音信号を同様の周波数帯域に帯域分割する。帯域選択手段は、複数の周波数帯域の全範囲を含む所定の周波数帯域範囲を、放音信号を選択する周波数帯域と収音信号を選択する周波数帯域とに分け、周波数帯域ごとに、選択されなかった周波数帯域の放音信号または収音信号の信号成分を除去する。放音信号合成手段は、帯域分割され、帯域選択手段によって選択されなかった周波数帯域の信号成分が除去された放音信号を合成する。収音信号合成手段は、同様に、帯域分割され、帯域選択手段によって選択されなかった周波数帯域の信号成分が除去された収音信号を合成する。
【００１０】
このような音声処理装置によれば、帯域選択手段は、複数の周波数帯域の全領域を含む所定の周波数帯域範囲を、放音信号を選択する周波数帯域と収音信号を選択する周波数帯域とに分け、所定の周波数帯域範囲に属する周波数帯域では、それぞれ、放音信号または収音信号のいずれか一方が選択される。この周波数帯域では、選択された放音信号または収音信号の一方の信号成分が保持され、他方が除去される。放音信号分割手段は、他装置から取得し、スピーカから出力する放音信号を複数の周波数帯域に分割し、帯域選択手段に出力する。帯域選択手段は、複数の周波数帯域に分割された放音信号ついて、選択された周波数帯域の信号成分を保持し、選択されなかった周波数帯域の信号成分を除去して放音信号合成手段へ出力する。そして、放音信号合成手段は、選択されなかった周波数帯域の信号成分が除去された放音信号を合成し、スピーカへ出力する。これにより、スピーカからは、選択されなかった周波数帯域の信号成分が除去された音声信号（放音信号）が放音される。一方、収音信号分割手段は、マイクから入力する収音信号を放音信号と同じ複数の周波数帯域に分割し、帯域選択手段に出力する。帯域選択手段は、複数の周波数帯域に分割された収音信号ついて、収音信号が選択され、放音信号が選択されなかった周波数帯域の信号成分を保持し、放音信号が選択され収音信号が選択されなかった周波数帯域の信号成分を除去して収音信号合成手段へ出力する。そして、放音信号合成手段は、選択されなかった周波数帯域の信号成分が除去された収音信号を合成する。これにより、マイクより入力されるスピーカの放音が重畳される周波数帯域の信号成分が除去された収音信号が合成され、他装置へ送られる。
【発明の効果】
【００１１】
本発明の音声処理装置では、スピーカから放音する音声と、マイクで収音する音声を複数の周波数領域に分割し、一方の信号成分を有効とする領域は他方の信号成分を除去することによって、放音する音声信号と収音する音声信号の周波数成分が重ならないようにすることができる。したがって、マイクに収音する音声には、スピーカから放音される音声が重畳されているが、重畳成分が含まれるのは、収音信号の周波数領域のうち信号成分を除去する領域のみである。この結果、エコーやハウリングが起こらずに、拡声通話系における双方向同時通話を実現することができる。
【００１２】
また、系変動時の収束にある程度の時間がかかり、計算量も少なくない適応フィルタと比較し、収束時間も必要とせず、計算量も少なくて済む。これにより、マイクやスピーカを動かしたり、発言者が動いたりしたような場合にも、効果を発揮することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面を参照して説明する。まず、実施の形態に適用される発明の概念について説明し、その後、実施の形態の具体的な内容を説明する。
図１は、実施の形態に適用される発明の概念図である。
【００１４】
本発明にかかる音声処理装置は、放音信号を複数の周波数帯域に分割する放音信号分割手段１、収音信号を複数の周波数帯域に分割する収音信号分割手段２、複数の周波数帯域に分割された放音信号と収音信号の信号成分が含まれる周波数帯域が重ならないようそれぞれが利用する帯域を選択する帯域選択手段３、帯域選択処理された放音信号を合成する放音信号合成手段４および帯域選択処理された収音信号を合成する収音信号合成手段５を具備する。
【００１５】
放音信号分割手段１は、他装置から取得し、スピーカから出力される放音信号、すなわち、他装置がマイクによって収音した音声信号を入力すると、フーリエ変換などの時間領域から周波数領域への変換手法や、フィルタバンクを用いたマルチレート信号処理によって、音声信号（放音信号）を複数の周波数帯域に帯域分割する。帯域分割した放音信号は、帯域選択手段３へ出力する。
【００１６】
収音信号分割手段２は、マイクから入力された収音信号、すなわち、スピーカから出力された放音信号が重畳された音声信号を入力すると、放音信号分割手段１と同じ方法によって、音声信号（収音信号）を複数の周波数帯域に帯域分割する。帯域分割した収音信号は、帯域選択手段３へ出力する。
【００１７】
帯域選択手段３は、複数の周波数帯域に帯域分割された放音信号と収音信号を入力し、所定の周波数帯域範囲について、放音信号を選択する周波数帯域と、収音信号を選択する周波数帯域とを決定する。所定の周波数帯域範囲は、全周波数帯域の範囲とすることもできるし、全範囲の一部としてもよい。放音信号を選択する周波数帯域では、その周波数帯域の放音信号の信号成分は除去せず、その周波数帯域の収音信号の信号成分は除去する。一方、収音信号を選択する周波数帯域では、その周波数帯域の放音信号の信号成分は除去し、その周波数帯域の収音信号の信号成分は保持する。これにより、スピーカへ出力する音声信号（放音信号）と、マイクから入力する音声信号（収音信号）の信号成分が含まれる周波数帯域が重ならなくなる。このため、マイクから入力する収音信号に放音信号が重畳されていても、これを除去することができる。また、除去した周波数帯域の音声信号の信号成分を、除去しなかった周波数帯域の信号成分で補間してもよい。なお、周波数帯域範囲や周波数帯域の選択の詳細については、実施の形態で詳細に説明する。
【００１８】
放音信号合成手段４は、放音信号分割手段１によって帯域分割され、帯域選択手段３によって所定の周波数帯域の信号成分が除去された放音信号を合成し、スピーカへ出力する。
【００１９】
収音信号合成手段５は、収音信号分割手段２によって帯域分割され、帯域選択手段３によって放音信号が除去された周波数帯域の信号成分を保持し、放音信号が保持される周波数帯域の信号成分が除去された収音信号を合成する。合成された収音信号は、他装置のスピーカから出力される放音信号として、他装置へ送られる。
【００２０】
このような構成の音声処理装置では、全二重通信を行う相手先の装置が収音した音声信号が入力されると、これをスピーカに放音する音声処理を行う。相手先装置から取得した相手先の収音信号を放音信号とし、放音信号分割手段１によって複数の周波数帯域に帯域分割する。帯域分割された放音信号は、帯域選択手段３によって所定の周波数帯域の信号成分が除去された後、放音信号合成手段４で合成され、スピーカから放音される。したがって、スピーカから放音される音声信号は、所定の周波数帯域の信号成分が除去されている。
【００２１】
このスピーカから放音された音声信号は、発言者の音声とともにマイクを介して音声処理装置に入力される。このマイクから入力された収音信号には、発言者の音声信号にスピーカから放音された音声信号が重畳されている。収音信号分割手段２は、この収音信号を放音信号分割手段１と同様にして、複数の周波数帯域に分割し、帯域選択手段３へ出力する。帯域選択手段３の音声処理では、放音信号を選択した周波数帯域の収音信号の信号成分を除去し、放音信号が選択されなかった、すなわち、収音信号が選択された周波数帯域の収音信号成分を除去しない。これにより、帯域分割された収音信号からは、放音信号が重畳される周波数帯域の信号成分が除去される。収音信号合成手段５によって、この収音信号を合成し、相手先装置へ送信する。合成された収音信号からは、スピーカからの放音信号の信号成分、すなわち、エコー成分は除去されており、エコー成分が除去された収音信号を他装置へ出力することによって、ハウリングも防止することができる。
【００２２】
このように、本発明にかかる音声処理装置によれば、エコーやハウリングを抑制して、双方向同時通話を実現することができる。また、スピーカから出力する音声信号（放音信号）と、マイクから入力する音声信号（収音信号）の周波数成分が重ならないようにすることによって、エコーやハウリングを抑制するので、適応フィルタに比べ計算量も少なく、系が変動した場合でも対応することができ、収束までの時間を必要としないという利点もある。
【００２３】
以下、実施の形態を、テレビ会議システムの音声処理部に適用した場合を例に図面を参照して詳細に説明する。
図２は、本発明の実施の形態のテレビ会議システムの構成を示した図である。図では、本発明の説明と関係のない画像に関する処理部を省略している。
【００２４】
本実施の形態のテレビ会議システムは、スピーカ２１ａとマイク２２ａを接続する会議端末１０ａと、スピーカ２１ｂとマイク２２ｂを接続する会議端末１０ｂが通信回線２３によって接続されている。以下、任意の話者の近くに配置される会議端末１０ａを近端装置、近端装置１０ａと通信回線２３を介して接続し、この話者からは遠方に位置する会議端末１０ｂを遠端装置１０ｂとする。近端装置１０ａと遠端装置１０ｂは、同様の構成をしており、図では遠端装置１０ｂの内部ブロック図を省略している。なお、通信回線２３は、イーサネット（登録商標）などの一般的なディジタル通信回線である。
【００２５】
近端装置１０ａに接続されたスピーカ２１ａは、遠端装置１０ｂに接続されたマイク２２ｂで収音された音声を近端装置１０ａで処理して放音する。近端装置１０ａに接続されたマイク２２ａは、近端装置１０ａのテレビ会議出席者の発言音声を収音する。このとき、空間を介して入力されるスピーカ２１ａから放音される音声が重畳して収音される。遠端装置１０ｂの場合も同様である。
【００２６】
以下、近端装置１０ａおよび遠端装置１０ｂの内部構成を近端装置１０ａの場合で説明する。近端装置１０ａは、スピーカに接続するＤ／Ａ変換器１１、マイク２２ｂに接続するＡ／Ｄ変換器１２、音声信号を処理する信号処理部１３、音声信号の符号化／復号処理を行う音声コーデック１４および通信回線２３に接続する通信部１５を具備する。
【００２７】
Ｄ／Ａ変換器１１は、信号処理部１３で処理されたディジタル音声データをアナログへ変換する。アナログ音声信号は、図示しない増幅器で増幅された後、スピーカ２１ａから放音される。Ａ／Ｄ変換器１２は、マイク２２ａで収音された音声が、図示しない増幅器で増幅されたアナログ音声信号をディジタル音声データに変換する。信号処理部１３は、ディジタルシグナルプロセッサー（ＤＳＰ）で構成され、入力および出力の音声データを所望のデータへ変換する処理を行うとともに、収音された音声と放音される音声の周波数成分が重ならないように音声処理を実行する。この音声処理の詳細は後述する。音声コーデック１４は、信号処理部１３から送られてくるマイク２２ａの入力に基づく音声データをテレビ会議システムの通信で標準的に定められている符号へ変換するとともに、通信部１５から送られてくる遠端装置１０ｂによって符号化された音声データをデコードし、信号処理部１３へ送る。通信部１５は、遠端装置１０ｂとの間で、符号化された音声データを含む入出力データを、所定のディジタルデータ通信プロトコルに基づき、通信回線２３を介して送受信する。
【００２８】
次に、信号処理部１３による音声処理について詳細に説明する。
まず、第１の実施の形態として、音声信号の全周波数範囲を放音の信号成分を選択する周波数帯域と、収音の信号成分を選択する周波数帯域とに分けて音声処理する信号処理部について説明する。
【００２９】
図３は、本発明の第１の実施の形態の信号処理部の構成を示した図である。なお、信号処理部３０は、図２に示した会議端末の信号処理部１３に組み込まれる。
本発明の第１の実施の形態である信号処理部３０は、放音信号を複数の周波数帯域に帯域分割する分析フィルタバンク３１、帯域分割された放音信号を合成する合成フィルタバンク３２、収音信号を複数の周波数帯域に帯域分割する分析フィルタバンク３３および帯域分割された収音信号を合成する合成フィルタバンク３４を具備する。
【００３０】
分析フィルタバンク３１は、放音信号分割手段であり、音声コーデック１４から入力した音声信号データを低域から高域までの１２８チャンネルの周波数帯域に帯域分割する。以下、説明のため、最も低域のチャンネルを第１チャンネルとして順番に番号を付し、最も高域のチャンネルを第１２８チャンネルとする。この帯域分割処理は、たとえば、渡口和信らによる「完全再構成ＤＦＴフィルタバンクを用いたサブバンド適応フィルタ」（電子情報通信学会、１９９６年８月、Ｖｏｌ．Ｊ７９−Ａ  Ｎｏ．８  ｐｐ．１３８５−１３９３）に記載されているＤＦＴフィルタバンクを用いて構成する。帯域を分割してダウンサンプリングの後に信号処理を行い、再び再合成する処理はマルチレート信号処理と呼ばれる。帯域分割の手法は、ＤＦＴフィルタバンクのほかにもＱＭＦフィルタバンクなど、用途に応じて様々な手法が知られている。実施の形態では、ＤＦＴフィルタバンクを用いた場合について説明するが、他の手法で帯域分割を行ってもかまわない。また、フィルタバンク以外の方法として、フーリエ変換などの時間領域から周波数領域への変換、逆変換が定義されている手法を用いることもできる。ＤＦＴフィルタバンクは分析と合成に機能が分けられる。分析で帯域別に分割された音声データは、合成フィルタバンクで元の音声データに再合成することができることが知られている。なお、手法によっては元の信号と再合成された信号が多少異なる場合もあるが、本発明に関しては本質的な影響がないように構成することができる。
【００３１】
合成フィルタバンク３２は、放音信号合成手段であり、分析フィルタバンク３１が帯域分割した１２８チャンネルの音声信号のうち、図示しない帯域選択手段によって、偶数番目のチャンネルの信号成分が除去された音声データを入力し、全帯域の成分を合成して１つの音声信号を生成する。音声信号は、Ｄ／Ａ変換器１１を介してスピーカ２１ａへ出力される。
【００３２】
分析フィルタバンク３３は、収音信号分割手段であり、Ａ／Ｄ変換器１２から入力した音声信号データを、分析フィルタバンク３１と同様に、低域から高域までの１２８チャンネルの周波数帯域に帯域分割する。なお、分析フィルタバンク３３は、分析フィルタバンク３１と同じに構成される。
【００３３】
合成フィルタバンク３４は、収音信号合成手段であり、分析フィルタバンク３３が帯域分割した１２８チャンネルの音声信号のうち、図示しない帯域選択手段によって、奇数番目のチャンネルの信号成分が除去された音声データを入力し、全帯域の成分を合成して１つの音声信号を生成する。音声信号は、音声コーデック１４を介して他装置へ送信される。
【００３４】
なお、帯域選択手段では、スピーカ２１ａから放音される音声信号と、マイク２２ａで収音する音声信号の周波数成分が重ならないように、それぞれの音声信号が含まれる周波数帯域（チャンネル）を選択する。ここでは、低域から順に１から１２８まで割り振った番号の奇数番目のチャンネル（１、３、・・・、１２７）を放音される音声信号用として選択し、偶数番目のチャンネル（２、４、・・・、１２８）をマイクから収音される音声信号用として選択する。すなわち、放音される音声信号は、奇数番目のチャンネルに該当する周波数帯域の信号成分を利用し、偶数番目のチャンネルに該当する周波数帯域の信号成分は除去される。また、収音される音声信号は、奇数番目のチャンネルに該当する周波数帯域の信号成分を除去し、偶数番目のチャンネルに該当する周波数帯域の信号成分を利用される。このように、チャンネルを分離することによって、放音された音声信号が収音された音声信号に重畳されることを防止することができる。
【００３５】
このような信号処理部３０によって実行される音声処理について、フローチャートを用いて説明する。
まず、スピーカから放音する音声信号の処理（以下、スピーカ音声処理とする）について説明する。図４は、第１の実施の形態の信号処理部を含む近端装置のスピーカ音声処理手順を示したフローチャートである。なお、遠端装置１０ｂにおいても同様の手順で音声処理が行われる。
【００３６】
［ステップＳ０１］  通信回線２３を介して遠端装置１０ｂからの符号化された音声データを通信部１５で受信する。
［ステップＳ０２］  ステップＳ０１で受信した音声データを音声コーデック１４によってデコードし、たとえば、３２ＫＨｚサンプリング１６ビットストレートＰＣＭのディジタル音声データが生成される。このディジタル音声データは、ＤＳＰによって構成される信号処理部３０へ送られる。
【００３７】
［ステップＳ０３］  信号処理部３０では、入力された音声データに対し、分析フィルタバンク３１による帯域分割処理を行う。ここでは、ＤＦＴフィルタバンクを用いて、他装置から入力された放音される音声データを低域から高域までの１２８チャンネルの周波数帯域に分割する。
【００３８】
［ステップＳ０４］  １２８チャンネルのうち、放音される音声信号に割り当てられたチャンネル（ここでは、奇数番目のチャンネル）の信号成分をそのまま合成フィルタバンク３２に送り、放音される音声信号に割り当てられなかったチャンネル（ここでは、偶数番目のチャンネル）の信号成分を合成フィルタバンク３２へ出力しない。すなわち、分析フィルタバンク３１の１２８チャンネルの周波数帯域のうち、偶数番目の出力を０として合成フィルタバンク３２へ出力する。これにより、放音される音声信号の偶数番目の周波数帯域の信号成分が除去される。
【００３９】
［ステップＳ０５］  合成フィルタバンク３２は、放音される音声信号が割り当てられなかった周波数帯域（ここでは、偶数番目のチャンネル）の信号成分が除去された音声データを受け取り、全帯域の信号成分を合成して１つの音声信号とし、Ｄ／Ａ変換器１１へ送る。
【００４０】
［ステップＳ０６］  Ｄ／Ａ変換器１１は、合成フィルタバンク３２が合成した放音用の音声信号をアナログ音声信号へ変換し、スピーカ２１ａへ出力する。
［ステップＳ０７］  Ｄ／Ａ変換器１１から取得したアナログ音声信号を増幅器で増幅し、スピーカ２１ａから放音する。
【００４１】
以上のスピーカ音声処理手順が実行されることにより、他装置から入力され、スピーカ２１ａから放音する音声信号について、１２８チャンネルに帯域分割された偶数番目の周波数帯域の信号成分が除去され、１つの音声信号に合成された後、スピーカ２１ａから出力される。
【００４２】
次に、マイクから収音する音声信号の音声処理（以下、マイク音声処理とする）について説明する。図５は、第１の実施の形態の信号処理部を含む近端装置のマイク音声処理手順を示したフローチャートである。なお、遠端装置１０ｂにおいても同様の手順で音声処理が行われる。
【００４３】
［ステップＳ１１］  近端装置側のテレビ会議出席者の発言や、スピーカ２１ａから放音される音声は、マイク２２ａによって収音される。この収音された音声は、Ａ／Ｄ変換器１２で３２ＫＨｚサンプリング１６ビットストレートＰＣＭのディジタル音声データに変換される。変換された音声データは、分析フィルタバンク３３へ出力される。
【００４４】
［ステップＳ１２］  分析フィルタバンク３３は、ステップＳ１１で生成された音声データを入力し、放音信号用の分析フィルタバンク３１と同様に、１２８チャンネルの音声データに分割する。
【００４５】
［ステップＳ１３］  １２８チャンネルのうち、放音信号とは逆の収音信号に割り当てられたチャンネル（ここでは、偶数番目のチャンネル）の信号成分をそのまま合成フィルタバンク３４に送り、放音される音声信号に割り当てられたチャンネル（ここでは、奇数番目のチャンネル）の信号成分を合成フィルタバンク３４へ出力しない。すなわち、分析フィルタバンク３３の１２８チャンネルの周波数帯域のうち、放音される音声信号とは逆の奇数番目の出力を０として合成フィルタバンク３４へ出力する。これにより、収音された音声信号の奇数番目の周波数帯域の信号成分が除去される。
【００４６】
［ステップＳ１４］  合成フィルタバンク３４は、収音された音声信号が割り当てられなかった周波数帯域（ここでは、放音信号と逆の奇数番目のチャンネル）の信号成分が除去された音声データを受け取り、全帯域の信号成分を合成して１つの音声信号とし、音声コーデック１４へ送る。
【００４７】
［ステップＳ１５］  音声コーデック１４は、合成フィルタバンク３４より入力された音声信号を予め定められている符号へエンコードし、通信部１５へ送る。
［ステップＳ１６］  通信部１５は、この符号化された音声データを、通信回線２３を介して遠端装置１０ｂへ送信する。
【００４８】
以上の処理手順が実行されることにより、マイク２２ａで収音され、遠端装置１０ｂに送信される音声信号について、１２８チャンネルに帯域分割された奇数番目の周波数帯域の信号成分が除去され、１つの音声信号に合成され、エンコードされた後、通信部１５送信される。
【００４９】
上述のように、スピーカ２１ａから放音され、マイク２２ａから収音される音声信号は、奇数番目のチャンネルに相当する周波数帯域の信号成分のみが保持されている。したがって、収音された音声信号から奇数番目のチャンネルの信号成分を除去することによって、スピーカ２１ａから放音された音声信号に由来する信号成分は、収音された音声信号から除去されたことになる。すなわち、収音された音声信号からエコー成分が除去されたことになる。
【００５０】
以上のように、第１の実施の形態では、スピーカから放音される音声とマイクで収音する音声の周波数成分を周波数帯域の偶数番目と奇数番目で分けて重ならないように構成することにより、エコーおよびハウリングを抑制して双方向同時通話を実現することが可能となる。
【００５１】
なお、上記の説明では、チャンネルを偶数番目と奇数番目とに分けるとしたが、マイクとスピーカそれぞれの周波数成分が重ならないように構成されていれば実現できるので、偶数、奇数という分け方の他にも、様々な分け方が可能である。
【００５２】
マイク音声処理用のチャンネルとスピーカ音声処理用のチャンネルを偶数、奇数と交互に分けるのではなく、２以上の周波数帯域ごとに分けてもよい。たとえば、
マイク音声処理で選択するチャンネル：  １、２、５、６、・・・、１２５、１２６
スピーカ音声処理で選択するチャンネル：３、４、７、８、・・・、１２７、１２８
というように、２つずつ交互に分けてもよい。
【００５３】
また、単純に選択するチャンネルをあらかじめ選択する方法のほかに、音声の特徴に応じて動的に選択する方法がある。
本実施の形態の音声処理では、音声の一部の成分を除去するので、音質に影響を与える可能性がある。たとえば、音声圧縮のために一部の成分を除去する場合に、聴感上の影響を軽減する手法として、聴覚マスキング効果を利用した方法が知られている。
【００５４】
図６は、音声信号の特性を示した図である。図は、ある時間のスピーカへ出力すべき音声を分析フィルタバンク３１で処理した出力を、横軸にフィルタバンクの１２８チャンネルを低域から高域に並べ、縦軸にパワーをプロットしたグラフである。
【００５５】
この図では、第１５、６０、７８チャンネルにピークがある特性となっている。この場合、聴覚マスキング効果を利用したスピーカ音声処理とマイク音声処理の周波数成分が重ならないようにするチャンネル選択は、たとえば、次のように行う。
【００５６】
スピーカ音声処理で選択するチャンネル：３、６、９、１２、１５、１８、２１、２４、２７、３０、３３、３６、３９、４２、４５、４８、５１、５４、５７、６０、６３、６６、５９、７２、７５、７８、８１、８４、８７、９０、９３、９６、９９、１０２、１０５、１０８、１１１、１１４、１１７、１２０、１２３、１２６
マイク音声処理で選択するチャンネル：上記を除く１から１２８までのチャンネル
すなわち、スピーカ音声処理では、ピークがある第１５、６０、７８を含めて２チャンネルごとに選択し、マイク音声処理では、それ以外のチャンネルを選択する。聴覚マスキング効果を利用した選択方法は、前述の２チャンネルごとに限らず、任意の値に調整可能である。また、音声の周波数成分のピークの検出は、ある一時点のピークを使う方法のほかに、時間平均したもののピークを検出する方法も可能である。
【００５７】
以上の説明では、フィルタバンクを利用して周波数成分に分割し、マイク音声処理およびスピーカ音声処理それぞれの周波数成分が重ならないようにする構成を示したが、フィルタバンクのほかに同様な時間周波数変換を行うフーリエ変換を用いる方法も可能である。この場合、分析フィルタバンク３１、３３を１２８ポイントのフーリエ変換とし、合成フィルタバンク３２、３４をこのフーリエ変換に対応する逆変換とすればよい。また、時間周波数変換は、フィルタバンク、フーリエ変換のほかにもディスクリートコサイン変換（ＤＣＴ）やウエーブレット変換を用いても可能である。
【００５８】
また、第１の実施の形態では、周波数成分を除去して０とするとしたが、０以外にも環境騒音に準じる小さな値を選択することも可能である。
次に、第２の実施の形態について説明する。第１の実施の形態では、音声信号の全周波数範囲を放音の信号成分を選択する周波数帯域と、収音の信号成分を選択する周波数帯域とに分けるとしたが、第２の実施の形態では、このような音声処理を一部の周波数帯域範囲とし、他の周波数帯域には適応フィルタを用いた音声処理を行うとする。
【００５９】
図７は、第２の実施の形態の信号処理部の構成を示した図である。なお、第２の実施の形態における信号処理部が有する処理機能の構成要素は、図３に示した第１の実施の形態の構成要素と同様である。そこで、図３に示した構成要素の符号を用いて、第２の実施の形態における機能を説明する。
【００６０】
第２の実施の形態では、分析フィルタバンク３１、３３による帯域分割を２５６チャンネルとし、第１チャンネルを最も低い周波数の成分を出力するとし、順番に番号を付し、最も高い周波数成分のフィルタを第２５６チャンネルとする。そして、第１チャンネルから第１２８チャンネルについては、適応フィルタ４１、４２、４３、・・・、４４を用いた音声処理を行い、第１２９チャンネルから第２５６チャンネルについては、第１の実施の形態で示したのと同様の処理を行う。なお、第１チャンネルから第１２８チャンネルについて適応フィルタを用いた音声処理を行うのは、一般的に、低域側の周波数帯域に音声信号が多く含まれることによる。
【００６１】
第１２９チャンネルから第２５６チャンネルについては、スピーカ音声処理として、分析フィルタバンク３１によって帯域分割されたチャンネルの信号成分のうち、偶数番目のチャンネルの信号成分を除去して合成フィルタバンク３２へ送る。また、マイク音声処理として、分析フィルタバンク３３によって帯域分割されたチャンネルの信号成分のうち、奇数番目のチャンネルの信号成分を除去して合成フィルタバンク３４へ送る。以上の処理が行われることにより、第１２９チャンネルから第２５６チャンネルが属する周波数帯域については、第１の実施の形態と同様の効果が得られる。
【００６２】
次に、第２の実施の形態の音声処理手順について説明する。図８は、第２の実施の形態の信号処理部の音声処理手順を示したフローチャートである。なお、第１の実施の形態と同じ処理手順については、説明を省略する。
【００６３】
スピーカ音声処理について説明する。
［ステップＳ２１］  分析フィルタバンク３１によって、第１チャンネルを最も低い周波数成分として第２５６チャンネルまでの２５６チャンネルに、放音される音声信号が帯域分割される。
【００６４】
［ステップＳ２２］  この２５６チャンネルのうち、第１２９チャンネルから第２５６チャンネルについて、偶数番目の出力を０とし、合成フィルタバンク３２へ出力する。
［ステップＳ２３］  この２５６チャンネルのうち、第１から第１２８チャンネルに対しては、全てのチャンネルの信号成分を合成フィルタバンク３２へ送るとともに、それぞれのチャンネルに対応して設けられた適応フィルタ（処理部）４１、４２、４３、・・・、４４へ適応フィルタ処理のリファレンス音声として信号成分を送る。
【００６５】
［ステップＳ２４］  全帯域の信号成分を合成して、１つの音声信号とする。この音声信号は、Ｄ／Ａ変換器１１を経て、スピーカ２１ａより出力される。
マイク音声処理について説明する。
【００６６】
［ステップＳ２５］  スピーカ音声処理と同時に、マイク２２ａを介して入力された音声信号は、分析フィルタバンク３１と同じ構成の分析フィルタバンク３３によって２５６チャンネルに帯域分割される。
【００６７】
［ステップＳ２６］  ２５６チャンネルのうち、第１２９チャンネルから第２５６チャンネルについて、スピーカ音声処理とは逆に奇数番目の出力を０とし、合成フィルタバンク３４へ出力する。すなわち、第１２９チャンネルから第２５６チャンネルの成分は、第１の実施の形態と同様に、スピーカ２１ａへの出力音声と、マイク２２ａからの入力音声が、それぞれ奇数チャンネル、偶数チャンネルの音声成分しか含まず、同じ周波数成分が重ならないように構成される。
【００６８】
［ステップＳ２７］  この２５６チャンネルのうち、第１から第１２８チャンネルについては、それぞれのチャンネルに対応して設けられた適応フィルタ（処理部）４１、４２、４３、・・・、４４へ信号成分を送る。
【００６９】
［ステップＳ２８］  適応フィルタ（処理部）４１、４２、４３、・・・、４４は、第１から第１２８チャンネルについて、ステップＳ２３によって入力されたスピーカへ放音する音声信号をリファレンス信号とし、ステップＳ２７によって入力されたマイクが収音した音声信号を目的信号として、ＬＭＳ（Least Mean Square）アルゴリズムを用いた適応フィルタにより処理される。適応フィルタ処理については、本願発明と直接には関連しないので説明は省略する。適応フィルタ処理により、擬似エコーが生成される。
【００７０】
［ステップＳ２９］  適応フィルタ（処理部）４１、４２、４３、・・・、４４は、第１から第１２８チャンネルについて、ステップＳ２７によって入力されたマイクが収音した音声信号からステップＳ２８によって算出された擬似エコーを差し引き、合成フィルタバンク３４へ送る。
【００７１】
［ステップＳ３０］  合成フィルタバンク３４では、ステップＳ２６によって入力された第１２９チャンネルから第２５６チャンネルの信号成分と、ステップＳ２９によって入力された第１から第１２８チャンネルの信号成分の全帯域の成分を合成して１つの音声信号とする。この音声信号は、音声コーデック１４を経て、他装置へ送信される。
【００７２】
以上の説明の第２の実施の形態では、第１の実施の形態の構成に適応フィルタによるエコーキャンセルを組み合わせることにより、音質に強い影響を与える信号成分は適応フィルタによって音声処理し、音質に影響が少ない信号成分は第１の実施の形態の構成により音声処理を行う。これにより、第１の実施の形態が適用される周波数帯域では、第１の実施の形態と同様に計算量を削減することができるので、音質と計算量を考慮した最適なシステムを設計することができる。
【００７３】
なお、第２の実施の形態の第１２９チャンネルから第２５６チャンネルの処理は、第１の実施の形態の処理と同様であり、第１の実施の形態と同様の変形が可能である。
また、適応フィルタの手法は、ＬＭＳアルゴリズムのほかに様々な手法が知られており、他の手法を用いることもできる。また、適応フィルタの性能向上のための制御方法も様々な手法が知られており、適応処理（ステップＳ２８）に適用することで、性能が向上する。
【００７４】
ＤＦＴフィルタバンクなどを用いるマルチレート信号処理では、周波数変換が行われることから、フィルタ出力をダウンサンプリングして計算量を低減する手法が知られている。本実施の形態に対しても特に、適応フィルタ処理で、この手法により計算量を削減することができる。
【００７５】
以上の説明の第１の実施の形態および第２の実施の形態では、マイクとスピーカの音声の周波数成分が重ならないように構成するために、一部の成分を除去する方法について詳細に説明した。この構成ではマイクの音声から除去する周波数成分は、スピーカから放音される音声に含まれる成分であり、スピーカから放音される音声から除去される周波数成分はマイクで収音される音声のうち除去されない周波数成分となっており、背反な関係になっている。近端装置と遠端装置がこのような全く同じ構成で接続されると、遠端装置のマイクから除去された周波数成分が、近端装置のスピーカから放音される音声の除去されない周波数成分となり、近端で出力される音声は既に遠端で除去されており、何も聞こえない状況が起こる。以下にこのような問題を解決する方法をいくつか説明する。
【００７６】
第１の音声処理として、マイク音声は除去された成分を除去されなかった成分で補間して遠端装置へ送ることができる。以下に、補間の方法の詳細を説明する。
第１の実施の形態では分析フィルタバンク３３から、１２８チャンネルの出力のうち奇数番目のチャンネルが０として合成フィルタバンク３４へ送られることが詳述されている。図５に示した第１の実施の形態のマイク音声処理のステップＳ１３で、除去される奇数チャンネルを除去されない隣の偶数チャンネルのデータで置き換える。例えば除去される第１チャンネルは第２チャンネルと同じデータとする。同様に第３チャンネルは第４チャンネルのデータを、第５は第６を、というように第１２８チャンネルまで構成する。この補間操作以外については第１の実施の形態と同じ構成で実現可能である。
【００７７】
第２の音声処理として、遠端装置から送られてくる音声に除去された成分がある場合、その成分を補完してスピーカから出力する。
以下に、補間の方法の詳細を説明する。第１の実施の形態では分析フィルタバンク３１から１２８チャンネルの出力のうち偶数チャンネルを０として合成フィルタバンク３２へ送られることが詳述されている。図４に示した第１の実施の形態のスピーカ音声処理におけるステップＳ０３の処理後に、除去された周波数成分があるかを判定する。この方法は一定時間のフィルタ出力のパワーを積算し閾値以下の場合、この周波数成分が除去されていると判断する。除去されていると判断された場合は隣の奇数チャンネルのデータで置き換える。例えば、第２チャンネルの成分が除去されていると判断した場合には第１チャンネルのデータと同じデータとする。この判断及び操作の後にステップＳ０４へ処理を進める。前述の判断と操作以外については、第１の実施の形態と同じ構成で実現可能である。
【００７８】
また、遠端装置のマイク音声から除去された周波数成分以外を、近端装置のマイク音声の除去する周波数成分とする。前述のように、スピーカから放音される音声の周波数成分とマイクで収音される音声の周波数成分は背反の関係で構成されている。ゆえに、近端装置と遠端装置でこの関係を逆転して用いれば、遠端装置のマイク音声から除去された成分を近端装置のスピーカから放音しようとして何も音声が出力されないという状態が起こらない。図４に示した第１の実施の形態のスピーカ音声処理におけるステップ０４では偶数チャンネルの出力を０とすることを説明したが、次のように構成する。ステップ０３からの出力に対して、一定時間の偶数チャンネルのパワーの和と、奇数チャンネルのパワーの和を積算する。前記の値を比較し、値の小さな偶数あるいは奇数のチャンネル群を０とする。また、図５に示したマイク音声処理におけるステップＳ１３では、前記で偶数チャンネルが０とされた場合は奇数チャンネルを０とし、奇数チャンネルが０とされた場合は偶数チャンネルを０とする。前述の判断と操作以外については第１の実施の形態と同じ構成で実現可能である。前述の説明では除去された成分のある、なしをフィルタバンク出力のパワーから判断したが、遠端装置と近端装置でどの成分を除去したかをコントロール信号として相手装置へ送り、そのコントロール信号によって制御する構成も可能である。
【００７９】
以上のいずれかの処理が行われることにより、たとえば、近端装置のマイクで除去した周波数成分が遠端装置のスピーカから出力する成分として選択された場合に起こる、出力される音声信号成分が既に除去されていて、信号成分が何もないという問題を回避することができる。
【図面の簡単な説明】
【００８０】
【図１】実施の形態に適用される発明の概念図である。
【図２】本発明の実施の形態のテレビ会議システムの構成を示した図である。
【図３】本発明の第１の実施の形態の信号処理部の構成を示した図である。
【図４】第１の実施の形態の信号処理部を含む近端装置のスピーカ音声処理手順を示したフローチャートである。
【図５】第１の実施の形態の信号処理部を含む近端装置のマイク音声処理手順を示したフローチャートである。
【図６】音声信号の特性を示した図である。
【図７】第２の実施の形態の信号処理部の構成を示した図である。
【図８】第２の実施の形態の信号処理部の音声処理手順を示したフローチャートである。
【符号の説明】
【００８１】
１……放音信号分割手段、２……収音信号分割手段、３……帯域選択手段、４……放音信号合成手段、５……収音信号合成手段
【図１】
2007151038.tif 000003
【図２】
2007151038.tif 000004
【図３】
2007151038.tif 000005
【図４】
2007151038.tif 000006
【図５】
2007151038.tif 000007
【図６】
2007151038.tif 000008
【図７】
2007151038.tif 000009
【図８】
2007151038.tif 000010