(57)【要約】マイクロホンによって集音された音声を、第１のサンプリング周波数でサンプリングした集音音声信号を取得し、再生用の音声を、第１のサンプリング周波数とは異なる第２のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生音声信号のサンプリング周波数を第１のサンプリング周波数に変換し、サンプリング周波数が変換された再生音声信号を用いて、集音音声信号から音響エコーを除去する音声信号処理装置である。
2019044664.tif 000002
【特許請求の範囲】
【請求項１】
マイクロホンによって集音された音声を、第１のサンプリング周波数でサンプリングした集音音声信号を取得する取得部と、
再生用の音声を、第１のサンプリング周波数とは異なる第２のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生音声信号のサンプリング周波数を第１のサンプリング周波数に変換する周波数変換部と、
前記周波数変換部によってサンプリング周波数が変換された再生音声信号を用いて、前記取得部が取得した集音音声信号から音響エコーを除去するエコー除去部と、
を含むことを特徴とする音声信号処理装置。
【請求項２】
請求項１に記載の音声信号処理装置において、
複数チャンネルの再生音声信号を入力として受け付ける受付部をさらに含み、
前記周波数変換部は、前記複数チャンネルの再生音声信号のうち、スピーカーでの再生に用いられるいずれか一つの再生音声信号のみを受け入れて、サンプリング周波数の変換を行う
ことを特徴とする音声信号処理装置。
【請求項３】
請求項１又は２に記載の音声信号処理装置において、
前記エコー除去部によって音響エコーを除去した集音音声信号を、外部のホスト装置に対して送信する出力部をさらに含む
ことを特徴とする音声信号処理装置。
【請求項４】
マイクロホンによって集音された音声を、第１のサンプリング周波数でサンプリングした集音音声信号を取得するステップと、
再生用の音声を、第１のサンプリング周波数とは異なる第２のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生音声信号のサンプリング周波数を第１のサンプリング周波数に変換するステップと、
前記サンプリング周波数が変換された再生音声信号を用いて、前記取得した集音音声信号から音響エコーを除去するステップと、
を含むことを特徴とする音声信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホンによって集音された音声信号を処理する音声信号処理装置に関する。
【背景技術】
【０００２】
音声を再生するスピーカー、及び音声を集音するマイクロホンの双方を備える電子機器が知られている。このような電子機器においては、スピーカーから再生される音声をマイクロホンが集音してしまうことによって音響エコーが生じることがある。そのため、マイクロホンによって得られる音声信号に対してエコー除去処理を行う場合がある。エコー除去処理は、スピーカーに入力する音声信号データを用いて、マイクロホンが出力する音声信号からエコーによる音声信号を除去する処理である。
【発明の概要】
【０００３】
以上説明したようなエコー除去処理を行う場合、スピーカーに入力する音声信号、及びマイクロホンから得られる音声信号が同じサンプリング周波数の信号である必要がある。そのため、従来の電子機器は、双方の音声信号のサンプリング周波数が一致するように設計されている。しかしながら、特にマイクロホンによって集音された音声信号を無線通信によって他の機器に送信する場合などにおいては、音声信号のサンプリング周波数を高くすることが望ましくない場合がある。
【０００４】
本発明は上記実情を考慮してなされたものであって、その目的の一つは、マイクロホンによって得られる音声信号のサンプリング周波数を比較的低く抑えながら、エコー除去処理を行うことのできる音声信号処理装置を提供することにある。
【０００５】
本発明に係る音声信号処理装置は、マイクロホンによって集音された音声を、第１のサンプリング周波数でサンプリングした集音音声信号を取得する取得部と、再生用の音声を、第１のサンプリング周波数とは異なる第２のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生音声信号のサンプリング周波数を第１のサンプリング周波数に変換する周波数変換部と、前記周波数変換部によってサンプリング周波数が変換された再生音声信号を用いて、前記取得部が取得した集音音声信号から音響エコーを除去するエコー除去部と、を含むことを特徴とする。
【０００６】
本発明に係る音声信号処理方法は、マイクロホンによって集音された音声を、第１のサンプリング周波数でサンプリングした集音音声信号を取得するステップと、再生用の音声を、第１のサンプリング周波数とは異なる第２のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生音声信号のサンプリング周波数を第１のサンプリング周波数に変換するステップと、前記サンプリング周波数が変換された再生音声信号を用いて、前記取得した集音音声信号から音響エコーを除去するステップと、を含むことを特徴とする。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態に係る音声信号処理装置を含むシステムの全体構成図である。
【図２】本発明の実施の形態に係る音声信号処理装置の回路構成図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施の形態について、図面に基づき詳細に説明する。
【０００９】
図１は、本発明の一実施形態に係る音声信号処理装置１を含む情報処理システムの全体構成図である。本実施形態では、音声信号処理装置１は家庭用ゲーム機のコントローラであることとし、ホスト装置２（ここでは家庭用ゲーム機本体）と無線により通信接続されている。具体的に、音声信号処理装置１とホスト装置２とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格の無線通信によってデータを送受信することとする。
【００１０】
音声信号処理装置１は、信号処理回路１１、スピーカー１２、ヘッドホン端子１３、及びマイクロホン１４を含んで構成されている。信号処理回路１１は、ホスト装置２から受信した音声信号に基づいて、ヘッドホン端子１３に接続されたヘッドホン、及びスピーカー１２のいずれかから音声を鳴動させる。また、音声信号処理装置1は、マイクロホン１４が集音して得られる音声信号を、ホスト装置２に送信する。本実施形態では、スピーカー１２は音声をモノラルで再生することとし、ヘッドホン端子１３にはモノラル再生対応のヘッドホン、及びステレオ再生対応のヘッドホンの双方が接続可能であることとする。また、マイクロホン１４は２個のマイクロホン素子１４ａ及び１４ｂから構成されるマイクロホンアレイであることとする。
【００１１】
以下では、スピーカー１２、又はヘッドホンから再生させるためにホスト装置２から音声信号処理装置１に送信される音声信号を、再生音声信号という。これに対して、マイクロホン１４が集音して得られる音声信号を、集音音声信号という。また、再生音声信号のサンプリング周波数をｆｓ、集音音声信号のサンプリング周波数をｆｍと表記する。本実施形態ではｆｓとｆｍは互いに異なる値であって、ｆｓ＞ｆｍであるものとする。例えば再生音声信号のサンプリング周波数ｆｓは４８ｋＨｚ、集音音声信号のサンプリング周波数ｆｍは２４ｋＨｚであってよい。集音音声信号のサンプリング周波数ｆｍを小さな値にしているのは、再生用の音声信号と比較してそれほど高い音質が要求されず、ホスト装置２に送信する際に必要な通信帯域を低く抑えることができるからである。
【００１２】
本実施形態において、信号処理回路１１は、エコー除去処理を含む各種の音声信号処理を実行する。以下、音声信号処理装置１の回路構成について、図２を用いて説明する。図２では、サンプリング周波数ｆｓのデジタル音声信号が送信される伝送路を二重線（２本の実線）で、サンプリング周波数ｆｍのデジタル音声信号が送信される伝送路を１本の実線で、それぞれ示している。また、アナログの音声信号が送信される伝送路は破線で示されている。
【００１３】
図２に示すように、信号処理回路１１は、２個の信号入力部２１ａ及び２１ｂ、スピーカー音質調整部２２、セレクター２３、２個のＤ／Ａコンバータ２４ａ及び２４ｂ、３個のアンプ（増幅器）２５ａ、２５ｂ、及び２５ｃ、２個のＡ／Ｄコンバータ２６ａ及び２６ｂ、ビームフォーミング処理部２７、エコー除去部２８、サンプリング周波数変換部２９、ノイズ除去部３０、並びに信号出力部３１を含んで構成されている。スピーカー音質調整部２２、ビームフォーミング処理部２７、エコー除去部２８、サンプリング周波数変換部２９、及びノイズ除去部３０の機能は、デジタルシグナルプロセッサ等の単一のプロセッサによって全て実現されてもよいし、複数のプロセッサによって実現されてもよい。
【００１４】
まず、音声信号処理装置１がヘッドホン、又はスピーカー１２から音声を再生するための信号処理の内容について、説明する。ホスト装置２は、再生音声信号として、ステレオ（２チャンネル）のデジタルデータを音声信号処理装置１に対して送信する。これらのうち、Ｌ（左）チャンネルのデータは信号入力部２１ａに、Ｒ（右）チャンネルのデータは信号入力部２１ｂに、それぞれ入力される。
【００１５】
信号入力部２１ａに入力されたＬチャンネルの再生音声信号は、そのままＤ／Ａコンバータ２４ａに入力される。一方、信号入力部２１ｂに入力されたＲチャンネルの再生音声信号は、セレクター２３、及びスピーカー音質調整部２２に入力される。スピーカー音質調整部２２は、ヘッドホン端子１３にヘッドホンが接続されていない場合（すなわち、音声をスピーカー１２から再生する場合）に、スピーカー１２から再生される音声の音質を向上させるための処理を実行する。具体的にスピーカー音質調整部２２は、再生音声信号に対して所定のイコライザー処理やコンプレッサー処理等を実行する。スピーカー音質調整部２２によって調整された再生音声信号は、セレクター２３、及び後述するサンプリング周波数変換部２９のそれぞれに入力される。
【００１６】
セレクター２３は、Ｄ／Ａコンバータ２４ｂに供給する再生音声信号を選択する。具体的に、ヘッドホン端子１３にヘッドホンが接続されている場合、セレクター２３は信号入力部２１ｂに入力されたＲチャンネルの再生音声信号を、そのままＤ／Ａコンバータ２４ｂに入力する。一方、ヘッドホン端子１３にヘッドホンが接続されていない場合、セレクター２３はスピーカー音質調整部２２によってスピーカー１２による再生用に調整された再生音声信号を、Ｄ／Ａコンバータ２４ｂに入力する。
【００１７】
Ｄ／Ａコンバータ２４ａ及び２４ｂは、それぞれ入力されたデジタルの再生音声信号をアナログ信号に変換し、対応するアンプに供給する。具体的に、Ｄ／Ａコンバータ２４ａから出力されるアナログ音声信号は、アンプ２５ａによって増幅されてヘッドホン端子１３に接続されたヘッドホンから再生される。また、Ｄ／Ａコンバータ２４ｂから出力されるアナログ音声信号は、ヘッドホン端子１３にヘッドホンが接続されている場合、アンプ２５ｂによって増幅されてヘッドホンから再生される。ヘッドホン端子１３にヘッドホンが接続されていない場合には、Ｄ／Ａコンバータ２４ｂから出力されるアナログ音声信号は、アンプ２５ｃによって増幅されてスピーカー１２から再生される。
【００１８】
なお、ヘッドホン端子１３に接続されているのがモノラル再生対応のヘッドホンの場合、Ｌチャンネルの再生音声信号をこのヘッドホンから再生し、同時にＲチャンネルの再生音声信号をスピーカー１２から再生してもよい。この場合、ヘッドホン端子１３にヘッドホンが接続されていても、セレクター２３はスピーカー音質調整部２２によって調整された再生音声信号を入力として選択する。
【００１９】
まとめると、信号入力部２１ａに入力された再生音声信号は、常にＤ／Ａコンバータ２４ａ、アンプ２５ａを経由してヘッドホン端子１３に接続されたヘッドホンから再生される。一方、信号入力部２１ｂに入力された再生音声信号は、以下の２通りの経路のいずれかに沿って処理される。すなわち、ヘッドホン端子１３にステレオ再生対応のヘッドホンが接続されている場合、信号入力部２１ｂに入力された再生音声信号は、セレクター２３、Ｄ／Ａコンバータ２４ｂ、及びアンプ２５ｂを経由してヘッドホンから再生される。これに対して、スピーカー１２から音声を再生する場合、信号入力部２１ｂに入力された再生音声信号は、スピーカー音質調整部２２、セレクター２３、Ｄ／Ａコンバータ２４ｂ、及びアンプ２５ｃを経由してスピーカーから再生される。
【００２０】
以上説明した信号入力部２１ａ、及び２１ｂからＤ／Ａコンバータ２４ａ、及び２４ｂまでの経路において処理される再生音声信号は、前述したように、サンプリング周波数ｆｓのデジタル音声データである。サンプリング周波数変換部２９に対しても、サンプリング周波数ｆｓのデジタル音声データが入力される。
【００２１】
次に、マイクロホン１４によって集音された集音音声信号の処理について、説明する。マイクロホン素子１４ａ及び１４ｂのそれぞれが出力するアナログの集音音声信号は、Ａ／Ｄコンバータ２６ａ及び２６ｂによってデジタルデータに変換される。ここで前述したように、Ａ／Ｄコンバータ２６ａ及び２６ｂは、集音音声信号をサンプリング周波数ｆｍのデジタル音声データに変換する。ビームフォーミング処理部２７は、Ａ／Ｄコンバータ２６ａ及び２６ｂのそれぞれが出力する集音音声信号のデータに基づいて、指向性を持った集音音声信号のデータを生成する。以降の処理では、このビームフォーミング処理部２７によって生成された集音音声信号のデータが、マイクロホン１４によって集音された音声のデータとして使用される。つまり、Ａ／Ｄコンバータ２６ａ及び２６ｂ、並びにビームフォーミング処理部２７が、マイクロホン１４によって集音された音声をサンプリング周波数ｆｍでサンプリングした集音音声信号を取得する取得部として機能する。
【００２２】
さらに、ビームフォーミング処理部２７によって生成された集音音声信号のデータに対して、エコー除去部２８がエコー除去処理を実行する。これは、スピーカー１２から再生される音声をマイクロホン１４が集音することによって生じる音響エコーを、集音音声信号から除去する処理である。このエコー除去処理を行うためには、スピーカー１２から再生される音声の内容を示す再生音声信号を、集音音声信号と同じサンプリング周波数で取得する必要がある。そこで本実施形態では、サンプリング周波数変換部２９が、スピーカー音質調整部２２が出力するサンプリング周波数ｆｓの再生音声信号を、サンプリング周波数ｆｍのデジタル音声信号に変換して、エコー除去部２８に供給する。具体的にサンプリング周波数変換部２９は、再生音声信号のデジタルデータに対して、ダウンサンプリング処理を実行する。これにより、サンプリング周波数ｆｍの再生音声信号が得られる。エコー除去部２８は、このサンプリング周波数ｆｍの再生音声信号を利用して、サンプリング周波数ｆｍの集音音声信号に対するエコー除去処理を実行する。
【００２３】
なお、エコー除去部２８がエコー除去処理を実行するのは、スピーカー１２から音声が再生されている場合だけでよく、Ｄ／Ａコンバータ２４ｂから出力される再生音声信号がヘッドホンから再生されている場合には、エコー除去処理を実行する必要はない。スピーカー１２から音声が再生される場合、その音声は必ずスピーカー音質調整部２２による調整がされたものになる。そのため、サンプリング周波数変換部２９は、スピーカー音質調整部２２が調整処理を実行している間だけ、その調整後の音声信号を入力としてサンプリング周波数の変換処理を実行すればよい。
【００２４】
ノイズ除去部３０は、エコー除去部２８が出力するエコー除去後の集音音声信号に対して、雑音等を除去するノイズ除去処理を実行する。そして、ノイズ除去処理の結果として得られる集音音声信号のデータを、信号出力部３１に出力する。信号出力部３１は、ノイズ除去部３０が出力する集音音声信号のデータを、ホスト装置２に送信する。送信される集音音声信号のデータのサンプリング周波数はｆｍなので、サンプリング周波数ｆｓの音声信号データと比較して、送信時に必要な通信帯域を低く抑えることができる。
【００２５】
以上説明した本発明の実施の形態に係る音声信号処理装置１によれば、再生音声信号と集音音声信号を互いに異なるサンプリング周波数で処理しつつ、再生音声信号を用いた集音音声信号に対するエコー除去処理を実現できる。そのため、集音音声信号のサンプリング周波数を再生音声信号のサンプリング周波数よりも低く抑えることができる。集音音声信号のサンプリング周波数を低くすることで、ホスト装置２への送信時に必要な通信帯域を抑えたり、エコー除去部２８やノイズ除去部３０などが実行する処理の対象となる集音音声信号のデータ量を減らしたりすることができる。
【００２６】
なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では音声信号処理装置１は家庭用ゲーム機のコントローラであることとしたが、これに限らず、スピーカー、及びマイクロホンを同一筐体内に有する電子機器や、スピーカー及びマイクロホンを互いに近い位置で接続可能な電子機器など、各種の機器であってよい。また、音声信号処理装置１は、ゲーム機本体に限らず、各種のホスト装置２との間で音声信号を送受信してもよい。
【００２７】
また、以上説明した回路構成図は一例に過ぎず、信号処理の流れは以上説明したものとは異なってもよい。例えばエコー除去部２８は、単一のマイクロホン素子によって集音された集音音声信号に対して、エコー除去処理を実行してもよい。また、複数のマイクロホン素子によって得られる複数の集音音声信号のそれぞれに対して、エコー除去処理を実行してもよい。また、スピーカー音質調整部２２が存在しない場合、サンプリング周波数変換部２９は、外部の通信機器から受信される再生音声信号をそのままダウンサンプリング処理の処理対象としてもよい。
【００２８】
また、以上の説明ではスピーカーはモノラル音声を再生することとし、サンプリング周波数変換部２９はスピーカーでの再生に用いられる一方のチャンネルの再生音声信号のみを周波数変換処理の対象とすることとした。しかしながら、スピーカー１２は、ステレオ再生などに対応し、複数チャンネルの音声を同時に再生する場合もある。このような場合には、サンプリング周波数変換部２９は、スピーカー１２から再生される複数チャンネルの再生音声信号を合成してから、そのサンプリング周波数をｆｍに変換することとすればよい。こうすれば、エコー除去部２８は、１チャンネルの場合と同様にして、サンプリング周波数変換部２９が出力する再生音声信号を用いたエコー除去処理を実行できる。
【符号の説明】
【００２９】
１  音声信号処理装置、２  ホスト装置、１１  制御回路、１２  スピーカー、１３  ヘッドホン端子、１４  マイクロホン、１４ａ，１４ｂ  マイクロホン素子、２１ａ，２１ｂ  信号入力部、２２  スピーカー音質調整部、２３  セレクター、２４ａ，２４ｂ  Ｄ／Ａコンバータ、２５ａ，２５ｂ，２５ｃ  アンプ、２６ａ，２６ｂ  Ａ／Ｄコンバータ、２７  ビームフォーミング処理部、２８  エコー除去部、２９  サンプリング周波数変換部、３０  ノイズ除去部、３１  信号出力部。
【図１】
2019044664.tif 000003
【図２】
2019044664.tif 000004
【手続補正書】
【提出日】令和2年2月26日(2020.2.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
スピーカー、及びヘッドホンと接続される音声信号処理装置であって、
マイクロホンによって集音された音声を、第１のサンプリング周波数でサンプリングした集音音声信号を取得する取得部と、
前記スピーカー、又は前記ヘッドホンによる再生用の音声を、第１のサンプリング周波数とは異なる第２のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生音声信号のサンプリング周波数を第１のサンプリング周波数に変換する周波数変換部と、
前記周波数変換部によってサンプリング周波数が変換された再生音声信号を用いて、前記取得部が取得した集音音声信号から音響エコーを除去するエコー除去部と、
を含み、
前記周波数変換部は、前記スピーカーから音声を再生する場合に、前記再生音声信号のサンプリング周波数を変換し、
前記エコー除去部は、前記周波数変換部がサンプリング周波数の変換を行っている場合に、前記音響エコーの除去を行う
ことを特徴とする音声信号処理装置。
【請求項２】
請求項１に記載の音声信号処理装置であって、
前記スピーカーから音声を再生する場合に、前記再生音声信号を前記スピーカーによる再生用に調整する音質調整部をさらに含み、
前記周波数変換部は、前記音質調整部が調整を行った後の前記再生音声信号を受け入れて、サンプリング周波数の変換を行う
ことを特徴とする音声信号処理装置。
【請求項３】
請求項１又は２に記載の音声信号処理装置において、
複数チャンネルの再生音声信号を入力として受け付ける受付部をさらに含み、
前記周波数変換部は、前記複数チャンネルの再生音声信号のうち、前記スピーカーでの再生に用いられるいずれか一つの再生音声信号のみを受け入れて、サンプリング周波数の変換を行う
ことを特徴とする音声信号処理装置。
【請求項４】
請求項１から３のいずれか一項に記載の音声信号処理装置において、
前記エコー除去部によって音響エコーを除去した集音音声信号を、外部のホスト装置に対して送信する出力部をさらに含む
ことを特徴とする音声信号処理装置。
【請求項５】
マイクロホンによって集音された音声を、第１のサンプリング周波数でサンプリングした集音音声信号を取得するステップと、
再生用の音声を、第１のサンプリング周波数とは異なる第２のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生用の音声をスピーカーから再生する場合に、当該再生音声信号のサンプリング周波数を第１のサンプリング周波数に変換するステップと、
前記再生用の音声を前記スピーカーから再生する場合に、前記サンプリング周波数が変換された再生音声信号を用いて、前記取得した集音音声信号から音響エコーを除去するステップと、
を含むことを特徴とする音声信号処理方法。
【国際調査報告】
2019044664.tif 000005
2019044664.tif 000006