(57)【要約】【課題】エコーキャンセルを有する音声通信において、どの位置で話している話者の音声であっても、マイクに向かって話している話者と同等な音質にして送ることができるようにすること。【解決手段】本発明は、マイクで取り込んだ音声を入力して相手方に送るための処理および相手方から送られてきた音声を入力してスピーカから出力するための処理を行う信号処理部１３と、信号処理部１３において、マイクで取り込んだ音声の成分から前記相手方から送られてきた音声の成分を除去する処理を行う適応処理部１３１と、適応処理部１３１で処理した後の音声の周波数特性を変更するエコーキャンセル出力信号周波数特性変更部１３２とを有する音声通信装置である。【選択図】図２
2009302984.tif 000002
【特許請求の範囲】
【請求項１】
マイクで取り込んだ音声を入力して相手方に送るための処理および相手方から送られてきた音声を入力してスピーカから出力するための処理を行う信号処理部と、
前記信号処理部において、前記マイクで取り込んだ音声の成分から前記相手方から送られてきた音声の成分を除去する処理を行う適応処理部と、
前記適応処理部で処理した後の音声の周波数特性を変更する送信音声特性変更部と
を有する音声通信装置。
【請求項２】
マイクで取り込んだ音声を入力して相手方に送るための処理および相手方から送られてきた音声を入力してスピーカから出力するための処理を行う信号処理部と、
前記信号処理部において、前記マイクで取り込んだ音声の成分から前記相手方から送られてきた音声の成分を除去する処理を行う適応処理部と、
前記相手方から送られてきた音声の周波数特性を前記適応処理部に入力するよりも前で変更する受信音声特性変更部と
を有する音声通信装置。
【請求項３】
前記送信音声特性変更部は、前記適応処理部で処理した後の音声の周波数特性における所定期間での平均値に応じて特性変更のパターンを切り換える
請求項１記載の音声通信装置。
【請求項４】
前記受信音声特性変更部は、前記相手方から送られてきた音声の周波数特性における所定期間での平均値に応じて特性変更のパターンを切り換える
請求項２記載の音声通信装置。
【請求項５】
マイクによって取り込んだ音声を相手方に送るにあたり、送信対象となる音声の成分から相手方から送られてきた音声の成分を差し引く適応処理を行う工程と、
前記適応処理を施した後の音声の周波数特性を変更する工程と
を有する音声通信方法。
【請求項６】
相手方から送られてきた音声の周波数特性を変更する工程と、
マイクによって取り込んだ音声の成分から前記周波数特性の変更を施した後の音声の成分を差し引く適応処理を行う工程と
を有する音声通信方法。
【請求項７】
前記周波数特性の特性変更のパターンを、前記適応処理を施した後の音声の周波数特性における所定期間での平均置に応じて切り換える
請求項５記載の音声通信方法。
【請求項８】
前記周波数特性の特性変更のパターンを、前記相手方から送られてきた音声の周波数特性における所定期間での平均値に応じて切り換える
請求項６記載の音声通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクによって取り込んだ音声を相手方に送信するとともに、相手方から送られてきた音声をスピーカで出力する音声通信装置および音声通信方法に関する。
【背景技術】
【０００２】
近年、ネットワークを介したテレビ会議システムが多く用いられてきている（例えば、特許文献１、２参照。）。このようなテレビ会議システムなどに用いられる拡声通話系では、遠端装置のマイクで収音された音声が、近端装置に送られ、近端装置のスピーカから放音される。一方、近端装置もマイクが装備されており、近端話者の音声を遠端装置へ送るように構成されている。このため、遠端、近端それぞれでスピーカから放音される音声がマイクに印加されることになる。
【０００３】
このような拡声通話系のシステムにおいて、スピーカから放音される音声およびマイクから取り込んだ音声に対して何の処理も行わなければ、このスピーカから放音された音声が再びマイクを介して相手装置へ送られることになる。これにより、自分の発声がこだまのように少し遅れてスピーカから聞こえる、「エコー」と呼ばれる現象を引き起こす。エコーが大きくなると、再びマイクに印加され、系をループしハウリングを引き起こす。
【０００４】
前記のようなエコーやハウリングを防止するための装置として、エコーキャンセラが知られている。一般的に適応フィルタを用いてスピーカとマイクとの間のインパルスレスポンスを学習し、マイクに印加されるスピーカからの音声を、スピーカから放音されるリファレンス信号に前述のインパルスレスポンスを畳み込んだ擬似エコーを生成している。そして、マイクで取り込んだ音声からこの疑似エコーを差し引くことで除去を行っている。
【０００５】
【特許文献１】特開２００４−２０８０５１号公報
【特許文献２】特開２００７−２８１６６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
テレビ会議システム等の拡声通話系を有するシステムでは、通常、マイクで収音した音声をエコーキャンセルした後、そのまま相手側に送出する、または固定的なイコライズを行い送出している。このため、マイクに向かって話していない話者の音声や、マイクから離れた位置で発話した音声など、高域の落ちたこもった音になることが多い。
【０００７】
本発明は、エコーキャンセルを有する音声通信において、どの位置で話している話者の音声であっても、マイクに向かって話している話者と同等な音質にして送ることができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、マイクで取り込んだ音声を入力して相手方に送るための処理および相手方から送られてきた音声を入力してスピーカから出力するための処理を行う信号処理部と、信号処理部において、マイクで取り込んだ音声の成分から前記相手方から送られてきた音声の成分を除去する処理を行う適応処理部と、適応処理部で処理した後の音声の周波数特性を変更する送信音声特性変更部とを有する音声通信装置である。
【０００９】
このような本発明では、マイクで取り込んだ音声の成分と相手方から送られてきた音声の成分との適応処理を施した後の音声について周波数特性を変更していることから、適応処理に影響を与えることなく相手方に最適な周波数特性の音声を送ることができるようになる。
【００１０】
また、本発明は、マイクで取り込んだ音声を入力して相手方に送るための処理および相手方から送られてきた音声を入力してスピーカから出力するための処理を行う信号処理部と、信号処理部において、マイクで取り込んだ音声の成分から前記相手方から送られてきた音声の成分を除去する処理を行う適応処理部と、相手方から送られてきた音声の周波数特性を適応処理部に入力するよりも前で変更する受信音声特性変更部とを有する音声通信装置である。
【００１１】
このような本発明では、マイクで取り込んだ音声の成分と相手方から送られてきた音声の成分との適応処理を行うにあたり、適応処理を行う前で相手方から送られてきた音声の周波数特性を変更することから、適応処理部とスピーカとに同じ特性変更後の音声を送ることができるようになる。
【００１２】
また、本発明は、マイクによって取り込んだ音声を相手方に送るにあたり、送信対象となる音声の成分から相手方から送られてきた音声の成分を差し引く適応処理を行う工程と、適応処理を施した後の音声の周波数特性を変更する工程とを有する音声通信方法である。
【００１３】
このような本発明では、マイクで取り込んだ音声の成分と相手方から送られてきた音声の成分との適応処理を施した後の音声について周波数特性を変更していることから、適応処理に影響を与えることなく相手方に最適な周波数特性の音声を送ることができるようになる。
【００１４】
また、本発明は、相手方から送られてきた音声の周波数特性を変更する工程と、マイクによって取り込んだ音声の成分から前記周波数特性の変更を施した後の音声の成分を差し引く適応処理を行う工程とを有する音声通信方法である。
【００１５】
このような本発明では、マイクで取り込んだ音声の成分と相手方から送られてきた音声の成分との適応処理を行うにあたり、適応処理を行う前で相手方から送られてきた音声の周波数特性を変更することから、適応処理に用いるのと同じ特性変更後の音声をスピーカから出力できるようになる。
【発明の効果】
【００１６】
本発明によれば、マイクから離れた位置や、マイクの方向を向いていない場合などで、マイク入力の特性が悪い場合や、相手側からの受信信号の特性が悪い場合でも、再生音質を向上させることが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を図に基づき説明する。
【００１８】
＜システム構成＞
図１は、本実施形態に係る音声通信装置を実現するテレビ会議システムの構成を説明するブロック図である。図１に示すテレビ会議システムでは、本実施形態の説明と関係する主要部を中心としてブロック構成を示している。また、本実施形態の音声通信装置は、テレビ会議システムにおける一方側の端末である近端装置１０もしくは他方側の端末である遠端装置２０として実現されている。近端装置１０と遠端装置２０とは同一の装置であり、遠端装置２０の内部ブロック図は省略されている。
【００１９】
近端装置１０は、Ａ／Ｄ変換器１１、Ｄ／Ａ変換器１２、信号処理部１３、音声コーデック部１４、通信部１５を備えている。
【００２０】
Ａ／Ｄ変換器１１は、マイク１１０で取り込んだ音声をデジタル信号に変換する処理を行う。Ｄ／Ａ変換器１２は、相手方から送られてきた音声をスピーカ１２０で出力するためアナログ信号に変換する処理を行う。
【００２１】
信号処理部１３は、マイク１１０で取り込んだ音声を入力して相手方に送るための処理および相手方から送られてきた音声を入力してスピーカ１２０から出力するための処理を行う。
【００２２】
音声コーデック部１４は、相手方に送る音声のデジタル信号を符号化する処理および相手方から送られてきた音声のデジタル信号を復号化する処理を行う。通信部１５は、通信回線Ｎを介して遠端装置２０との間で信号入出力を行う部分であり、符号化された音声のデジタル信号の送受信を行う。
【００２３】
ここで、各部の詳細は次のようになる。近端装置１０に接続されたスピーカ１２０は、遠端装置２０に接続されたマイク２１０で収音・信号処理・符号化され、通信回線Ｎを介して送られてきた音声データを近端装置１０で処理して放音する。
【００２４】
近端装置１０に接続されたマイク１１０では、近端側のテレビ会議出席者の発言音声を収音するとともに、スピーカ１２０から放音される音声も空間を介して重畳されて収音される。
【００２５】
Ａ／Ｄ変換器１１は、マイク１１０で収音された音声をアンプ（図示せず）で増幅し、アナログ音声データをデジタル信号に変換する。
【００２６】
Ｄ／Ａ変換器１２は、信号処理部１３から送られるデジタル音声データをアナログへ変換する。アナログとなった音声データはアンプ（図示せず）で増幅され、スピーカ１２０から放音される。
【００２７】
信号処理部１３は、主にデジタルシグナルプロセッサ（ＤＳＰ）で構成され、入力および出力の音声データを所望のデータへ変換する処理を行う。この信号処理部の詳細については後述する。
【００２８】
音声コーデック１４は、信号処理部１３から送られてくるマイク入力に基づく音声データをテレビ会議システムの通信で標準的に定められている符号へ変換(エンコード)する処理を行う。さらに、音声コーデック部１４は、通信部１５から送られてくる、遠端装置２０からの符号化された音声データを復号化(デコード)し、信号処理部１３へ送る処理を行う。
【００２９】
通信部１５は、遠端装置２０との間で通信回線Ｎを介した信号入出力を行う。取り扱う信号は、主として符号化された音声のデジタルデータである。通信回線ＮはインターネットやＬＡＮ（Local Area Network）などの一般的なデジタル通信回線である。
【００３０】
次に、信号処理部１３の詳細について説明する。図２は、信号処理部の内部構造を説明するブロック図である。信号処理部１３は、ステレオ適応フィルタ１３１Ｆを備える適応処理部１３１、エコーキャンセル出力信号周波数特性変更部１３２、参照信号周波数特性変更部１３３を備えている。
【００３１】
適応処理部１３１で用いられるステレオ適応フィルタ１３１Ｆは、マイクで取り込んだ音声の成分から相手方から送られてきた音声の成分を除去するためのフィルタである。エコーキャンセル出力信号周波数特性変更部１３２は、ステレオ適応フィルタ１３１Ｆによる処理後の音声の周波数特性を変更する部分である。参照信号周波数特性変更部１３３は、相手方から送られてきた音声の周波数特性を適応処理部１３１のステレオ適応フィルタ１３１Ｆに入力するよりも前で変更する処理を行う。
【００３２】
本実施形態では、エコーキャンセル出力信号周波数特性変更部１３２および参照信号周波数特性変更部１３３を両方備える構成を例とするが、いずれか一方を備える構成であってもよい。
【００３３】
このようなブロック構成の信号処理部１３では、音声コーデック部から受け取った遠端装置からの音声信号を、参照信号周波数特性変更部１３３で特性変更し、Ｄ／Ａ変換器からスピーカに出力する。
【００３４】
また、その参照信号周波数特性変更部１３３で特性変更した音声を元に、ステレオ適応フィルタ１３１Ｆの学習を行う。つまり、ステレオ適応フィルタ１３１Ｆには参照信号周波数特性変更部１３３で特性変更した音声信号が送られることになる。
【００３５】
一方、マイクで取り込み、Ａ／Ｄ変換器でデジタル信号に変換した音声信号は、適応フィルタ１３１Ｆにて生成される推定エコーによる減算処理が成される。すなわち、マイクで取り込んだ音声の成分から推定エコーの成分を差し引く処理を行う。これにより、エコーキャンセル出力を生成し、エコーキャンセル出力信号周波数特性変更部１３２にて特性変更した後、音声コーデックへ送出する。
【００３６】
ここで、ステレオ適応フィルタ１３１Ｆの係数の更新量は、参照信号周波数特性変更部１３３で特性変更した後の音声信号、およびＡ／Ｄ変換器からの音声信号、音声コーデック部へ送出するエコーキャンセル出力音声信号を元に決定する。
【００３７】
参照信号周波数特性変更部１３３では、音声コーデック部からの音声信号を分析し、周波数特性を変更した参照信号音声をＤ／Ａ変換器およびステレオ適応フィルタ１３１Ｆへ出力する。一方、エコーキャンセル出力信号周波数特性変更部１３２では、ステレオ適応フィルタ１３１Ｆによるエコーキャンセル後の出力信号を分析し、周波数特性を変更した音声を音声コーデック部へ送出する。
【００３８】
参照信号周波数特性変更部１３３やエコーキャンセル出力信号周波数特性変更部１３２で行う周波数特性の変更は、例えば所定の周波数以上のレベルを高める高周波レベル強調が用いられる。これにより、どの位置で話している話者の音声であっても、マイクに向かって話している話者と同等な音質を得ることができる。
【００３９】
このような周波数特性の変更を行うにあたり、送信対象の音声では、適応処理部１３１でエコーキャンセルを施した音声信号に対して周波数特性を変更しているため、適応処理に影響を与えることなく相手方に最適な周波数特性の音声を送ることができるようになる。
【００４０】
また、相手方から送られてきた音声については、適応処理部１３１のステレオ適応フィルタ１３１Ｆに入力する前の音声について周波数特性の変更を行っているため、ステレオ適応フィルタ１３１Ｆとスピーカとに同じ特性変更後の音声を送ることができるようになる。
【００４１】
本実施形態では、所定の周波数以上のレベルを高めるような周波数特性の変更を行っているが、種々の特性変更を行うことができ、また、定量的な特性変更や動的な特性変更を行うこともできる。例えば、エコーキャンセル出力信号周波数特性変更部１３２では、エコーキャンセルを施した音声の周波数特性における所定期間での平均値に応じて特性変更のパターンを切り換えるようにしてもよい。また、参照信号周波数特性変更部１３３では、相手方から送られてきた音声の周波数特性における所定期間での平均値に応じて特性変更のパターンを切り換えるようにしてもよい。なお、この統計処理は、単純な平均値に限定されず、重み付き平均値や、他の統計計算を用いてもよい。
【００４２】
＜音声通信方法の処理の流れ＞
図３は、本実施形態に係る音声通信方法の流れを説明するフローチャートである。なお、以下の説明で図３に示されない符号は、図１、図２を参照するものとする。
【００４３】
先ず、ステップ（Ｓ−１）において音声通信の処理を開始する。次に、ステップ（Ｓ−２）では、遠端装置２０から通信回線Ｎを介して送られてきた音声データを、近端装置１０の通信部１５で受信する。遠端装置２０から送られる音声データは符号化されている。
【００４４】
ステップ（Ｓ−３）では、この受信した音声データを、音声コーデック部１４でデコードし、例えば３２ｋＨｚサンプリング１６ビットストレートＰＣＭのデジタル音声データとする。そして、デコードした音声データを、ＤＳＰによって構成されている信号処理部１３へ参照信号として送る。
【００４５】
信号処理部１３の内部では、音声コーデック部１４から送られた参照信号を分析し、ステップ（Ｓ−４）において、参照信号の周波数特性を変更する。周波数特性変更後の参照信号は、Ｄ／Ａ変換器１２および信号処理部１３のステレオ適応フィルタ１３１Ｆへ送られる。
【００４６】
ステップ（Ｓ−５）では、周波数特性の変更を施した参照信号を用いて、ステレオ適応フィルタ１３１Ｆの学習を行う。そして、ステレオ適応フィルタ１３１Ｆで生成した推定エコーを、Ａ／Ｄ変換器１１より出力された信号（マイク入力の音声成分）から差し引くことで、エコーキャンセル出力を求める。また、そのエコーキャンセル出力信号を分析し、ステップ（Ｓ−６）で周波数特性の変更を施した音声信号を音声コーデック部１４へ出力する。
【００４７】
ステップ（Ｓ−７）では、信号処理部１３からのＰＣＭデジタル音声データを符号化し、通信部１５に送る。ステップ（Ｓ−８）では、音声コーデック部１４から出力される符号化された音声データを、通信回線Ｎを介して遠端装置２０へ送出する。そして、ステップ（Ｓ−９）で処理を終了する。
【００４８】
一方、ステップ（Ｓ−２０）では、マイク１１０にて音声を受信し、ステップ（Ｓ−２１）にてＡ／Ｄ変換器１１によってそれをデジタル音声データに変換する。そして、変換したデジタル音声データを信号処理部１３へマイク入力信号として送る。この参照信号とマイク入力信号とは常に１サンプルずつ同じタイミングで信号処理部１３に与えられるものとする。
【００４９】
さらに、ステップ（Ｓ−１０）では、ステップ（Ｓ−４）によってＤ／Ａ変換器１２に送られたデジタル音声データをアナログ信号に変換し、ステップ（Ｓ−１１）では、このアナログ信号をアンプを介してスピーカ１２０から放音する。
【００５０】
次に、参照信号周波数特性変更処理とエコーキャンセル出力信号周波数特性変更処理の概念を説明する。図４は、本実施形態で用いる周波数特性変更の概念を説明する模式図である。
【００５１】
先ず、音声コーデック部から受け取った相手方からの音声信号である参照信号の周波数特性（４−２）を分析し、必要に応じて特性補正を行う（４−１）。参照信号の周波数特性（４−２）の分析では、例えば、高周波帯域の特性などのこもり感を解析し、エキサイターなどを用いて特性の変更を行う。そして、特性補正後の参照信号をＤ／Ａ変換器１２からスピーカ１２０へ送るとともに、適応処理部１３１にも送る。
【００５２】
一方、マイク１１０にて収音された入力信号は、適応処理部１３１にてエコーキャンセルされ、エコーキャンセル出力信号となる。この適応処理部１３１から出力されたエコーキャンセル出力信号の周波数特性（４−４）を分析し、必要に応じて特性補正を行う（４−５）。
【００５３】
エコーキャンセル出力信号の周波数特性（４−４）の分析では、高周波帯域の特性などのこもり感を解析し、エキサイターなどを用いて特性の変更を行う。そして、特性補正後のエコキャン出力信号を音声コーデック部へ送出する。
【００５４】
＜実施形態の効果＞
本実施形態に係る音声通信装置もしくは音声通信方法を適用することにより、次のような効果がある。すなわち、スピーカとマイクとを具備する拡声通話系にてエコーやハウリングを防ぐエコーキャンセラにおいて、マイク入力信号および相手側からの受信入力信号とを分析し、それぞれの入力信号のこもり感をリアルタイムに補正することが可能となる。本実施形態に係る音声通信装置もしくは音声通信方法は、テレビ会議システム以外でも、例えばハンズフリー電話といったマイクおよびスピーカを備えた拡声通話系において、マイク入力信号や相手側からの受信信号の音質が悪い場合にそれを改善することが可能となる。
【図面の簡単な説明】
【００５５】
【図１】本実施形態に係る音声通信装置を実現するテレビ会議システムの構成を説明するブロック図である。
【図２】信号処理部の内部構造を説明するブロック図である。
【図３】本実施形態に係る音声通信方法の流れを説明するフローチャートである。
【図４】本実施形態で用いる周波数特性変更の概念を説明する模式図である。
【符号の説明】
【００５６】
１０…近端装置、１１…Ａ／Ｄ変換器、１２…Ｄ／Ａ変換器、１３…信号処理部、１４…音声コーデック部、１５…通信部、２０…遠端装置、１１０…マイク、１２０…スピーカ、１３１…適応処理部、１３１Ｆ…ステレオ適応フィルタ、１３２…エコーキャンセル出力周波数特性変更部、１３３…参照信号周波数特性変更部、２１０…マイク、２２０…スピーカ、Ｎ…通信回線
【図１】
2009302984.tif 000003
【図２】
2009302984.tif 000004
【図３】
2009302984.tif 000005
【図４】
2009302984.tif 000006