(57)【要約】音声信号処理装置が、マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行し、非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を情報処理装置に送信し、情報処理装置が、当該実行前音声信号、及び実行後音声信号を音声信号処理装置から受信し、実行前音声信号に対して第１の処理を実行し、実行後音声信号に対して第１の処理とは異なる第２の処理を実行する音声信号処理システムである。
2020017517.tif 000002
【特許請求の範囲】
【請求項１】
互いに通信接続される音声信号処理装置と情報処理装置とを含む音声信号処理システムであって、
前記音声信号処理装置は、
マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、
前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、
を含み、
前記情報処理装置は、
前記実行前音声信号、及び前記実行後音声信号を前記音声信号処理装置から受信する受信部と、
前記実行前音声信号に対して第１の処理を実行し、前記実行後音声信号に対して前記第１の処理とは異なる第２の処理を実行する処理部と、
を含むことを特徴とする音声信号処理システム。
【請求項２】
請求項１に記載の音声信号処理システムにおいて、
前記非線形な信号処理は、前記集音音声信号に含まれるノイズを除去するノイズ除去処理である
ことを特徴とする音声信号処理システム。
【請求項３】
請求項１又は２に記載の音声信号処理システムにおいて、
前記信号処理部は、前記非線形な信号処理に先立って前記集音音声信号に対して線形な信号処理を実行し、
前記送信部は、前記線形な信号処理を実行した後の音声信号を前記実行前音声信号として送信し、前記線形な信号処理を実行した後の音声信号に対してさらに前記非線形な信号処理を実行した後の音声信号を前記実行後音声信号として送信する
ことを特徴とする音声信号処理システム。
【請求項４】
請求項１から３のいずれか一項に記載の音声信号処理システムにおいて、
前記信号処理部は、前記非線形な信号処理を実行する前の実行前音声信号を、前記非線形な信号処理の所要時間に対応する所定時間だけ経過してから前記送信部に対して出力し、
前記送信部は、前記所定時間の経過後に出力された前記実行前音声信号と、前記実行後音声信号とを、並行して前記情報処理装置に送信する
ことを特徴とする音声信号処理システム。
【請求項５】
情報処理装置と通信接続される音声信号処理装置であって、
マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、
前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、
を含むことを特徴とする音声信号処理装置。
【請求項６】
音声信号処理装置と通信接続される情報処理装置であって、
マイクロホンにより集音された集音音声信号に対して非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を、前記音声信号処理装置から受信する受信部と、
前記実行前音声信号に対して第１の処理を実行し、前記実行後音声信号に対して前記第１の処理とは異なる第２の処理を実行する処理部と、
を含むことを特徴とする情報処理装置。
【請求項７】
マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行するステップと、
前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を情報処理装置に送信するステップと、
を含むことを特徴とする音声信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホンによって集音された音声信号を処理する音声信号処理システム、音声信号処理装置、情報処理装置、及び音声信号処理方法に関する。
【背景技術】
【０００２】
音声を集音するマイクロホンを備える音声信号処理システムが知られている。このような音声信号処理システムは、マイクロホンによって集音された音声信号に対して音声認識処理を実行したり、外部での再生用に他の通信機器に送信したりする。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
マイクロホンによって得られる音声信号に対して、エコー除去処理などの音声信号処理を適用したい場合がある。しかしながら、適用する音声信号処理の種類によっては、音声認識処理の精度に悪影響を及ぼすことがある。【０００４】
本発明は上記実情を考慮してなされたものであって、その目的の一つは、必要な音声信号処理を適用しつつ、音声認識処理への悪影響を回避することのできる音声信号処理システム、音声信号処理装置、情報処理装置、及び音声信号処理方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る音声信号処理システムは、互いに通信接続される音声信号処理装置と情報処理装置とを含む音声信号処理システムであって、前記音声信号処理装置は、マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、を含み、前記情報処理装置は、前記実行前音声信号、及び前記実行後音声信号を前記音声信号処理装置から受信する受信部と、前記実行前音声信号に対して第１の処理を実行し、前記実行後音声信号に対して前記第１の処理とは異なる第２の処理を実行する処理部と、を含むことを特徴とする。【０００６】
本発明に係る音声信号処理装置は、情報処理装置と通信接続される音声信号処理装置であって、マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、を含むことを特徴とする。【０００７】
本発明に係る情報処理装置は、音声信号処理装置と通信接続される情報処理装置であって、マイクロホンにより集音された集音音声信号に対して非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を、前記音声信号処理装置から受信する受信部と、前記実行前音声信号に対して第１の処理を実行し、前記実行後音声信号に対して前記第１の処理とは異なる第２の処理を実行する処理部と、を含むことを特徴とする。【０００８】
本発明に係る音声信号処理方法は、マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行するステップと、前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を情報処理装置に送信するステップと、を含むことを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る音声信号処理装置を含む音声信号処理システムの全体構成図である。
【図２】本発明の実施の形態に係る音声信号処理装置の構成ブロック図である。
【図３】本発明の実施の形態に係る音声信号処理装置の機能ブロック図である。
【図４】本発明の実施の形態に係る音声信号処理装置が実行するノイズ除去処理について説明する図である。
【図５】本発明の実施の形態に係る音声信号処理装置が２種の音声信号を送信する処理について説明する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、図面に基づき詳細に説明する。
【００１１】
図１は、本発明の一実施形態に係る音声信号処理装置１０を含む音声信号処理システム１の全体構成図である。同図に示されるように、音声信号処理システム１は、音声信号処理装置１０と情報処理装置５０とを含んで構成されている。本実施形態において音声信号処理装置１０と情報処理装置５０とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの無線通信によってデータを送受信することとする。なお、ここでは無線通信によってデータの送受信を行うこととしているが、これに限らず音声信号処理装置１０と情報処理装置５０とは例えばＵＳＢ等の規格により有線で通信接続されることとしてもよい。
【００１２】
図２は、音声信号処理装置１０の概略のハードウェア構成を示す構成ブロック図である。音声信号処理装置１０は、例えば家庭用ゲーム機用のコントローラ等であって、図２に示すように、音声入出力回路１１、マイクロコントローラ１２、スピーカー１３、ヘッドホン端子１４、マイクロホン１５、及び複数の操作ボタン１６を含んで構成されている。
【００１３】
音声入出力回路１１は、音声の入出力を制御するための集積回路であって、音声信号処理を実行するデジタルシグナルプロセッサ（ＤＳＰ）１１ａを内蔵している。音声入出力回路１１は、情報処理装置５０からマイクロコントローラ１２が受信した音声信号に基づいて、ヘッドホン端子１４に接続されたヘッドホン、及びスピーカー１３のいずれかから音声を鳴動させる。また、音声入出力回路１１は、マイクロホン１５が集音して得られる音声信号に対して必要な音声信号処理を実行したうえで、マイクロコントローラ１２に対して出力する。また、音声入出力回路１１は、各操作ボタン１６がユーザーによって操作された場合に、その操作内容を示す操作信号を後述するノイズ除去処理のためにマイクロコントローラ１２から受け付ける。音声入出力回路１１が実現する音声信号処理の詳細については、後述する。
【００１４】
マイクロコントローラ１２は、音声信号処理装置１０の各部を制御するための集積回路である。マイクロコントローラ１２は、通信回路１２ａを内蔵している。通信回路１２ａはアンテナ１２ｂに接続されており、このアンテナ１２ｂを介して情報処理装置５０との間で情報を授受するための無線通信を制御する。具体的に通信回路１２ａは、後述するスピーカー１３またはヘッドホンから再生するための音声信号を、情報処理装置５０から受信する。また、マイクロホン１５によって集音された音声信号に対して後述する音声信号処理を適用して得られる音声信号や、操作ボタン１６に対するユーザーの操作内容を示す操作信号などを、情報処理装置５０に対して送信する。なお、マイクロコントローラ１２は、音声入出力回路１１との間で音声信号を送受信するためのインタフェースとして、Ｉ２Ｓ（Inter-IC Sound）などの規格に基づく通信インタフェースを備えてよい。
【００１５】
スピーカー１３は、情報処理装置５０から受信した音声信号に基づく音声をモノラルで再生する。ヘッドホン端子１４には、モノラル再生対応のヘッドホン、及びステレオ再生対応のヘッドホンの双方が接続可能であって、ヘッドホン端子１４にヘッドホンが接続された場合、音声入出力回路１１は情報処理装置５０から受信した音声信号に基づく音声をスピーカー１３の代わりにそのヘッドホンから再生させることもできる。マイクロホン１５は、２個のマイクロホン素子１５ａ及び１５ｂから構成されるマイクロホンアレイであることとし、音声信号処理装置１０を使用するユーザーが発話した音声を集音する。以下では、スピーカー１３、又はヘッドホンから再生させるために情報処理装置５０から音声信号処理装置１０に送信される音声信号を、再生音声信号という。これに対して、マイクロホン１５が集音して得られる音声信号を、集音音声信号という。
【００１６】
情報処理装置５０は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、制御部５１と、記憶部５２と、通信部５３と、を含んで構成されている。
【００１７】
制御部５１は、少なくとも一つのプロセッサを含み、記憶部５２に格納されているプログラムに従って各種の情報処理を実行する。記憶部５２は、少なくとも一つの記憶素子を含み、制御部５１が実行するプログラム、及びそのプログラムによる処理の対象となるデータを記憶する。通信部５３は、音声信号処理装置１０との間で情報を授受するための通信インタフェースを含んでいる。また、通信部５３は、インターネット等の通信回線を介して他の情報処理装置との間でデータを送受信するための通信インタフェースを含んでよい。
【００１８】
本実施形態において情報処理装置５０は、音声信号処理装置１０から受信した集音音声信号に対して、音声認識処理を実行する。また、音声信号処理装置１０から受信した集音音声信号を他の場所で再生させるために他の情報処理装置に対して送信する。これにより情報処理装置５０は、ユーザーが音声信号処理装置１０のマイクロホン１５に向かって発話した言語内容を特定したり、その音声を離れた場所にいる他のユーザーに聞かせたりすることができる。
【００１９】
以下、特に音声信号処理の観点で音声信号処理装置１０が実現する機能について、図３の機能ブロック図を用いて説明する。図３では、デジタル音声信号の伝送路を実線で、アナログの音声信号の伝送路を破線で、それぞれ示している。
【００２０】
図３に示すように、音声入出力回路１１は、２個の信号入力部２１ａ及び２１ｂ、スピーカー音質調整部２２、セレクター２３、２個のＤ／Ａコンバータ２４ａ及び２４ｂ、２個のＡ／Ｄコンバータ２６ａ及び２６ｂ、ビームフォーミング処理部２７、エコー除去部２８、ノイズ除去部２９、操作入力受付部３０、遅延処理部３１、並びに２個の信号出力部３２ａ及び３２ｂを含んで構成されている。また、音声入出力回路１１には３個のアンプ（増幅器）２５ａ、２５ｂ、及び２５ｃが接続される。スピーカー音質調整部２２、セレクター２３、ビームフォーミング処理部２７、エコー除去部２８、ノイズ除去部２９、操作入力受付部３０、及び遅延処理部３１の機能は、音声信号処理回路であるＤＳＰ１１ａによって実現される。
【００２１】
まず、音声信号処理装置１０がヘッドホン、又はスピーカー１３から音声を再生するための信号処理の内容について、説明する。情報処理装置５０は、再生音声信号として、ステレオ（２チャンネル）のデジタルデータを音声信号処理装置１に対して送信する。これらのデジタルデータは通信回路１２ａによって受信され、Ｌ（左）チャンネルのデータは信号入力部２１ａに、Ｒ（右）チャンネルのデータは信号入力部２１ｂに、それぞれ入力される。
【００２２】
信号入力部２１ａに入力されたＬチャンネルの再生音声信号は、そのままＤ／Ａコンバータ２４ａに入力される。一方、信号入力部２１ｂに入力されたＲチャンネルの再生音声信号は、セレクター２３、及びスピーカー音質調整部２２に入力される。スピーカー音質調整部２２は、ヘッドホン端子１４にヘッドホンが接続されていない場合（すなわち、音声をスピーカー１３から再生する場合）に、スピーカー１３から再生される音声の音質を向上させるための処理を実行する。具体的にスピーカー音質調整部２２は、再生音声信号に対して所定のイコライザー処理やコンプレッサー処理等を実行する。スピーカー音質調整部２２によって調整された再生音声信号は、セレクター２３、及び後述するエコー除去部２８のそれぞれに入力される。
【００２３】
セレクター２３は、Ｄ／Ａコンバータ２４ｂに供給する再生音声信号を選択する。具体的に、ヘッドホン端子１４にヘッドホンが接続されている場合、セレクター２３は信号入力部２１ｂに入力されたＲチャンネルの再生音声信号を、そのままＤ／Ａコンバータ２４ｂに入力する。一方、ヘッドホン端子１４にヘッドホンが接続されていない場合、セレクター２３はスピーカー音質調整部２２によってスピーカー１３による再生用に調整された再生音声信号を、Ｄ／Ａコンバータ２４ｂに入力する。
【００２４】
Ｄ／Ａコンバータ２４ａ及び２４ｂは、それぞれ入力されたデジタルの再生音声信号をアナログ信号に変換し、対応するアンプに供給する。具体的に、Ｄ／Ａコンバータ２４ａから出力されるアナログ音声信号は、アンプ２５ａによって増幅されてヘッドホン端子１４に接続されたヘッドホンから再生される。また、Ｄ／Ａコンバータ２４ｂから出力されるアナログ音声信号は、ヘッドホン端子１４にヘッドホンが接続されている場合、アンプ２５ｂによって増幅されてヘッドホンから再生される。ヘッドホン端子１４にヘッドホンが接続されていない場合には、Ｄ／Ａコンバータ２４ｂから出力されるアナログ音声信号は、アンプ２５ｃによって増幅されてスピーカー１３から再生される。
【００２５】
なお、ヘッドホン端子１４に接続されているのがモノラル再生対応のヘッドホンの場合、Ｌチャンネルの再生音声信号をこのヘッドホンから再生し、同時にＲチャンネルの再生音声信号をスピーカー１３から再生してもよい。この場合、ヘッドホン端子１４にヘッドホンが接続されていても、セレクター２３はスピーカー音質調整部２２によって調整された再生音声信号を入力として選択する。
【００２６】
まとめると、信号入力部２１ａに入力された再生音声信号は、常にＤ／Ａコンバータ２４ａ、アンプ２５ａを経由してヘッドホン端子１４に接続されたヘッドホンから再生される。一方、信号入力部２１ｂに入力された再生音声信号は、以下の２通りの経路のいずれかに沿って処理される。すなわち、ヘッドホン端子１４にステレオ再生対応のヘッドホンが接続されている場合、信号入力部２１ｂに入力された再生音声信号は、セレクター２３、Ｄ／Ａコンバータ２４ｂ、及びアンプ２５ｂを経由してヘッドホンから再生される。これに対して、スピーカー１３から音声を再生する場合、信号入力部２１ｂに入力された再生音声信号は、スピーカー音質調整部２２、セレクター２３、Ｄ／Ａコンバータ２４ｂ、及びアンプ２５ｃを経由してスピーカー１３から再生される。
【００２７】
次に、マイクロホン１５によって集音された集音音声信号の処理について、説明する。マイクロホン素子１５ａ及び１５ｂのそれぞれが出力するアナログの集音音声信号は、Ａ／Ｄコンバータ２６ａ及び２６ｂによってデジタルデータに変換される。ビームフォーミング処理部２７は、Ａ／Ｄコンバータ２６ａ及び２６ｂのそれぞれが出力する集音音声信号のデータに基づいて、指向性を持った集音音声信号のデータを生成する。以降の処理では、このビームフォーミング処理部２７によって生成された集音音声信号のデータが、マイクロホン１５によって集音された音声のデータとして使用される。
【００２８】
さらに、ビームフォーミング処理部２７によって生成された集音音声信号のデータに対して、エコー除去部２８がエコー除去処理を実行する。これは、スピーカー１３から再生される音声をマイクロホン１５が集音することによって生じる音響エコーを、集音音声信号から除去する処理である。エコー除去部２８は、スピーカー音質調整部２２が出力するスピーカー再生用の再生音声信号を入力として、集音音声信号に対するエコー除去処理を実行する。エコー除去部２８によってエコー除去処理がなされた集音音声信号は、ノイズ除去部２９、及び遅延処理部３１のそれぞれに入力される。
【００２９】
なお、エコー除去部２８がエコー除去処理を実行するのは、スピーカー１３から音声が再生されている場合だけでよく、Ｄ／Ａコンバータ２４ｂから出力される再生音声信号がヘッドホンから再生されている場合には、エコー除去処理を実行する必要はない。スピーカー１３から音声が再生される場合、その音声は必ずスピーカー音質調整部２２による調整がされたものになる。そのため、エコー除去部２８は、スピーカー音質調整部２２が調整処理を実行している間だけ、その調整後の音声信号を入力としてエコー除去処理を実行し、それ以外の場合には入力された集音音声信号をそのまま出力してもよい。
【００３０】
これまでに説明した集音音声信号に対する音声信号処理（すなわち、ビームフォーミング処理部２７及びエコー除去部２８が実行する音声信号処理）は、いずれも線形な信号処理となっている。これに対して、以下に説明するノイズ除去処理は、非線形な信号処理である。
【００３１】
ノイズ除去部２９は、エコー除去部２８が出力するエコー除去後の集音音声信号に対して、ノイズを除去するノイズ除去処理を実行する。特に本実施形態において、ノイズ除去部２９は、操作ボタン１６に対するユーザーの操作入力の有無を入力として、ノイズ除去処理を行う。操作ボタン１６に対する操作入力が行われると、ボタンの操作音が発生し、その操作音が集音音声信号にノイズとして含まれてしまうおそれがある。そこで本実施形態では、操作ボタン１６に対してユーザーが操作入力を行った場合、マイクロコントローラ１２が、その操作入力があったことを示す操作信号を音声入出力回路１１に入力する。操作入力受付部３０は、その操作信号を受け付けて、ノイズ除去部２９に操作入力が受け付けられたことを通知する。ノイズ除去部２９は、操作入力受付部３０からの通知が受け付けられた際には、そのタイミングで集音された音声信号にノイズが含まれているという想定で、そのノイズを除去する処理を実行する。
【００３２】
これに対して操作入力が受け付けられていないタイミングでは、操作ボタンの操作に起因するノイズは生じていないと想定される。そのためノイズ除去部２９は、このようなタイミングで集音された音声信号に対しては、ノイズ除去処理を適用しないこととしてもよい。ただし、集音音声信号には、操作ボタン１６に対する操作音以外のノイズが含まれる可能性もある。そのためノイズ除去部２９は、操作入力が受け付けられていない場合の集音音声信号に対しても、操作入力が受け付けられた場合とは異なる内容のノイズ除去処理を適用することが望ましい。すなわち、ノイズ除去部２９は、操作ボタン１６に対する操作入力が受け付けられた場合と受け付けられていない場合とで、ノイズ除去処理の内容を変化させることとする。
【００３３】
図４は、ノイズ除去部２９が実行するノイズ除去処理の種類について説明する図である。この図に示すように、ノイズ除去部２９は、集音音声信号を単位時間（フレーム）に分割し、分割された各単位時間の音声信号に対してノイズ除去処理を実行する。このとき、対応する単位時間内に操作入力が受け付けられたか否かに応じて、ノイズ除去処理の内容が変化する。この図の例では、操作ボタン１６に対する操作入力が受け付けられたタイミングが星印で示されている。このタイミングに対応するフレーム１，３，４，７の集音音声信号に対しては、操作入力を前提としたノイズ除去処理（ここでは処理Ａと表記している）が行われる。これに対してフレーム２，５，６の集音音声信号に対しては、操作入力がない場合のノイズ除去処理（ここでは処理Ｂと表記している）が行われる。
【００３４】
具体例として、ノイズ除去部２９は、操作入力の有無に応じて、互いに異なる入力データに基づいて最適化されたフィルタアルゴリズムを用いてノイズ除去処理を行ってもよい。この例では、操作入力が受け付けられたタイミングに取得された集音音声信号を入力として用いて、前述した処理Ａの処理内容を決定づける１又は複数のパラメータの値を調整する。一方、操作入力が受け付けられていないタイミングに取得された集音音声信号を入力として用いて、処理Ｂの処理内容を決定づける１又は複数のパラメータの値を調整する。入力が異なるため、処理Ａに用いられるパラメータと処理Ｂに用いられるパラメータとは、互いに異なる値に調整されることになる。ノイズ除去部２９はこのようにして各処理用に調整されたパラメータを用いて、ノイズ除去処理を行うこととする。このように、操作入力の有無に応じて互いに独立に、過去の集音音声信号に基づいて最適化を行った結果を用いて、ノイズ除去処理を行うことにより、それぞれの状況に適したノイズの除去が実現できる。
【００３５】
なお、ここでは複数の操作ボタン１６のうち、どの操作ボタンが操作されたかは特定せずに、単にいずれかの操作ボタン１６に対する操作入力の有無だけに基づいて、処理の内容を変化させることとした。しかしながらこれに限らず、ノイズ除去部２９は、操作入力の内容に応じてノイズ除去処理の内容を変化させてもよい。一例として、ノイズ除去部２９は、複数の操作ボタン１６のうちどの操作ボタンが操作されたかを特定する情報を受け付けて、操作ボタンごとに異なる内容のノイズ除去処理を実行してもよい。
【００３６】
また、ノイズ除去部２９は、複数の操作ボタン１６を複数のグループに分類し、グループごとにノイズ除去処理の内容を変化させてもよい。例えば操作ボタンの種類や構造によって、発生する操作音が異なる場合がある。また、操作ボタンの配置位置がマイクロホン１５に近い位置か離れた位置かに応じて、マイクロホン１５に集音される操作音の音量などが異なることが想定される。そこで、配置位置や構造が近い操作ボタンについては同じグループに属することとし、そのグループに属するいずれかの操作ボタンが操作された場合には、そのグループに対応する内容のノイズ除去処理を適用することとする。これに対して、互いに異なるグループに属する操作ボタンが操作された場合には、異なる内容のノイズ除去処理を実行することとする。具体的に、例えばノイズ除去部２９は、グループごとに異なる入力データに基づいて最適化された１又は複数のパラメータを用いてノイズ除去処理を行う。このように操作ボタンを配置位置や形状等によって複数のグループに分類し、グループごとに互いに異なる内容のノイズ除去処理を実行することで、ノイズ除去処理の精度を高めることができる。
【００３７】
また、ここでは操作入力受付部３０は操作ボタン１６に対する操作入力だけを受け付けることとしたが、音声信号処理装置１０には操作ボタンとは別の種類（例えばレバーなど）の操作部材が配置され、操作入力受付部３０はこのような他の種類の操作部材に対する操作入力も受け付けることとしてもよい。さらにこの場合、ノイズ除去部２９は、操作部材の種類に応じてノイズ除去処理の内容を変化させてもよい。これにより、操作部材の種類ごとに、その操作部材に対する操作によって発生するノイズに適したノイズ除去処理を実行することができる。
【００３８】
さらに、操作入力受付部３０は、操作部材に対するユーザーの操作態様に関する情報を受け付けることとし、ノイズ除去部２９はこの操作態様に関する情報に基づいてノイズ除去処理の内容を変化させてもよい。操作態様に関する情報としては、操作量や操作の強さ、操作速度などが挙げられる。例えば操作ボタン１６が押し込み量を検出可能なボタンである場合、操作入力受付部３０は、検出された押し込み量を操作態様に関する情報として受け付ける。ユーザーが行った操作態様によって、操作音の発生の仕方にも変化があることが想定される。そのため、操作態様に関する情報を用いてノイズ除去処理の内容を変化させることにより、ノイズ除去処理の精度を高めることができる。
【００３９】
さらに、操作入力受付部３０は、音声信号処理装置１０の筐体表面に配置された操作部材に対する操作入力に限らず、その他の種類の操作入力に関する情報を受け付けてもよい。具体的に操作入力受付部３０は、音声信号処理装置１０に内蔵される各種のセンサーによって検出される検出値を、操作入力の内容として受け付けてもよい。一例として、音声信号処理装置１０に加速度センサー等のモーションセンサーが内蔵されている場合、ユーザーが音声信号処理装置１０自体を動かしたりする操作を行うと、その操作内容がモーションセンサーによって検出されることになる。特にユーザーが音声信号処理装置１０を何らかの物体に接触させたりした際には、その接触によって生じる衝撃がモーションセンサーによって検出されるとともに、衝撃音がマイクロホン１５によって集音される。そこで操作入力受付部３０は、モーションセンサーによって所定の強さの衝撃が検出された場合に、その内容を操作入力に関する情報として受け付ける。ノイズ除去部２９は、その入力に応じて、ノイズ除去処理の内容を変化させる。これにより、操作部材に対する操作以外の操作によって生じるノイズを効果的に除去することができる。
【００４０】
また、ノイズ除去部２９は、操作入力受付部３０が受け付けた操作入力の内容に関する情報だけでなく、情報処理装置５０から受信した音声信号処理装置１０の利用状況に関する情報に基づいて、ノイズ除去処理の内容を変化させてもよい。例えば情報処理装置５０は、ユーザーが音声信号処理装置１０の利用を開始する際に、そのユーザーが誰なのかを特定する認証処理を実行する場合がある。情報処理装置５０はこの認証処理の結果得られるユーザー識別情報を音声信号処理装置１０に送信する。その後、音声信号処理装置１０は、ユーザー識別情報に関連づけて記憶されている１又は複数のパラメータを用いてノイズ除去処理を行うとともに、その結果に基づいて記憶されている各パラメータの値を調整する。これにより、ユーザーごとにそのユーザーの操作の傾向を反映したノイズ除去処理を実行することができる。
【００４１】
また、ノイズ除去部２９は、音声信号処理装置１０の利用状況に関する情報として、情報処理装置５０が実行中のアプリケーションプログラムの種類を特定する情報を受け付けて、その内容に応じてノイズ除去処理の内容を変化させてもよい。例えば情報処理装置５０がゲームなどのアプリケーションプログラムを実行する場合、ユーザーは音声信号処理装置１０に配置された操作ボタン１６に対する操作によってそのゲームをプレイすることになる。このとき、ユーザーによる操作入力の傾向は、ゲームの種類（例えばアクションゲームかアドベンチャーゲームか）などによって変化することとなる。そこで、実行中のアプリケーションプログラムの種類に応じてノイズ除去処理の内容を変化させることで、そのアプリケーションプログラムの操作傾向に合わせたノイズ除去処理を実現できる。
【００４２】
以上説明したように、ノイズ除去部２９が操作音を始めとした各種のノイズを集音音声信号から除去することで、人が聞き取りやすい音声信号が得られる。しかしながら、本実施形態におけるノイズ除去処理は前述したように非線形な信号処理に該当し、信号波形に不連続な変化を生じさせる場合がある。このような非線形な信号処理が適用された音声信号は、音声歪みが生じたりして、音声認識処理の精度に悪影響を及ぼすおそれがある。
【００４３】
そこで本実施形態では、音声信号処理装置１０は、非線形な信号処理（ここではノイズ除去部２９によるノイズ除去処理）が適用される前の集音音声信号と適用された後の集音音声信号の双方を情報処理装置５０に対して送信することとする。こうすれば、情報処理装置５０は、非線形な信号処理を適用済みの音声信号をボイスチャットなどの人が聴取する用途に利用する一方で、非線形な信号処理が適用されていない音声信号を、音声認識処理などの機械的処理に利用することができる。以下では説明の便宜のために、非線形な信号処理を実行した後の集音音声信号（実行後音声信号）を聴取用音声信号といい、非線形な信号処理を実行する前の集音音声信号（実行前音声信号）を認識用音声信号という。ただし、情報処理装置５０はこれらの音声信号をここで説明した用途以外の用途に利用してもよい。また、ここで聴取用音声信号のみに適用されることとした非線形な信号処理は、ノイズ除去処理に限らず、その他の信号処理を含んでもよい。
【００４４】
聴取用音声信号と認識用音声信号は、互いに独立に別のタイミングで情報処理装置５０に送信されてもよい。しかしながら本実施形態では、音声信号処理装置１０はこれら２種の音声信号をまとめて情報処理装置５０に対して送信することとする。具体的に、音声入出力回路１１は二つの信号出力部３２ａ及び３２ｂを備え、信号出力部３２ａが聴取用音声信号を、信号出力部３２ｂが認識用音声信号を、互いに並列に出力可能に構成されている。これにより音声入出力回路１１は、同時期に２種の音声信号を出力することができる。これら２種の音声信号は、マイクロコントローラ１２の通信回路１２ａによって、まとめて一つの音声信号として情報処理装置５０に送信される。すなわち、通信回路１２ａは、２種の音声信号を、一方がＬチャンネル、他方がＲチャンネルに格納されたマルチチャンネルの音声信号データとして、情報処理装置５０に対して送信する。こうすれば、マイクロコントローラ１２は、Ｉ２Ｓなどの規格に対応した公知のモジュールを利用して実現でき、通常のステレオ音声信号を送信する場合と同様の手法で２種の音声信号を並行して送信することができる。
【００４５】
さらに本実施形態において音声信号処理装置１０は、２種の音声信号を並行して送信する場合に、同時に送信する音声信号が近いタイミングで集音された音声信号となるような調整を行うこととする。具体的に、認識用音声信号は、エコー除去部２８が実行するエコー除去処理が適用された後、ノイズ除去部２９が実行するノイズ除去処理が提供される前の音声信号である。そのため、ノイズ除去処理が開始されるタイミングで認識用音声信号は既に送信が可能な状態となっている。しかし、ノイズ除去処理にはある程度の時間が必要であって、このノイズ除去処理が完了するまで聴取用音声信号は生成されないことになる。そこで本実施形態では、遅延処理部３１が、ノイズ除去処理に要すると想定される時間が経過するまでの間、認識用音声信号を一時的にバッファリングし、その送信開始を遅延させることとする。
【００４６】
このような制御によれば、同時期に送信される２種の音声信号が、ほぼ同じ時間に集音された音声信号となるようにすることができる。図５はこの制御内容を説明する図であって、ある時間区間Ｔ１に集音された音声信号に対して実行される処理のタイムチャートを示している。この図の例では、ノイズ除去処理に要する時間ΔＴだけ遅延処理部３１が認識用音声信号の送信開始を遅延させることによって、同じ時間区間に対応する２種の音声信号がまとめて送信されることが示されている。
【００４７】
このように同じ時間区間に対応する聴取用音声信号と認識用音声信号を同時期に送信することによって、音声信号処理装置１０から情報処理装置５０に音声信号を送信する際の伝送効率を高めることができる。具体的に、無線で音声信号を送信する際に、マイクロコントローラ１２は、所定の音声コーデックに基づいて音声信号の圧縮や符号化を行う。ここで、前述したように聴取用音声信号と認識用音声信号の２種の音声信号をステレオ音声信号として送信する場合、マイクロコントローラ１２はステレオ音声用のコーデックによって符号化を行うことになる。このとき、Ｌチャンネルの音声信号とＲチャンネルの音声信号の相関が高いほど（つまり、両者が似ているほど）、符号化の際の圧縮効率を高めることができる。また、一般的に、ステレオ音声用のコーデックは、Ｌチャンネルの音声信号とＲチャンネルの音声信号が近いデータである想定の元で動作する。そのため、同じ時間区間に対応する聴取用音声信号と認識用音声信号をステレオ音声信号とすることで、両者の相関を高め、効率的に符号化を行うことができるようになる。
【００４８】
情報処理装置５０の通信部５３は、以上説明した手順で音声信号処理装置１０から送信された音声信号を受信する。制御部５１は、受信した２種の音声信号のそれぞれに対して、互いに異なる処理を実行する。具体的に制御部５１は、受信したステレオ音声信号の一方のチャンネルから認識用音声信号を取り出して、音声認識エンジンに入力することによって、ユーザーが発話した言葉の内容を解析する音声認識処理を実行する。このとき認識用音声信号は非線形な信号処理が適用されていない信号なので、適用後の信号と比較して、音声認識の精度を高めることができる。
【００４９】
また、情報処理装置５０は、同じステレオ音声信号の他方のチャンネルから聴取用音声信号を取り出して、通信ネットワークを介して別の情報処理装置に送信する送信処理を実行する。この聴取用音声信号を受信した別の情報処理装置は、その音声をスピーカー等から再生させる。これにより、音声信号処理装置１０のユーザーが話した内容を、離れた場所にいる別のユーザーにリアルタイムで伝達することができ、ボイスチャット等の音声通話を実現することができる。このとき、別のユーザーが聴取する音声はノイズ除去処理が適用された音声なので、操作音等のノイズが除去され人が聞き取りやすい音声になっている。
【００５０】
なお、ここまでの説明では音声信号処理装置１０は常に２種の音声信号を情報処理装置５０に対して送信することとしたが、これに限らず、音声信号処理装置１０は情報処理装置５０からの要求に応じて送信する音声信号の種類を切り替えてもよい。具体的に、情報処理装置５０は、音声認識処理を実行しようとしている場合には、認識用音声信号のみを要求し、音声認識処理の必要がなくボイスチャットだけを実行する場合には、聴取用音声信号のみを要求してもよい。このような要求に応じて、音声信号処理装置１０は、２種の音声信号を並行して送信するモード、認識用音声信号だけを送信するモード、及び聴取用音声信号だけを送信するモードを切り替えることとする。特に一種類の音声信号だけを送信する場合、２種の音声信号を並行して送信する場合と比較して、伝送効率を向上させることができる。
【００５１】
以上説明した本発明の実施の形態に係る音声信号処理装置１０によれば、操作入力の有無に応じてノイズ除去処理の内容を変化させることにより、ノイズ除去処理の精度を高めることができる。
【００５２】
また、本発明の実施の形態に係る音声信号処理装置１０によれば、同じ集音音声信号に基づく認識用音声信号と聴取用音声信号の双方を情報処理装置５０に送信することにより、情報処理装置５０はそれぞれ適切な信号処理がなされた音声信号を用いて、人に聴取させるための外部への送信処理や音声認識処理などを行うことができる。
【００５３】
なお、本実施形態では操作入力受付部３０が受け付けた操作入力の有無を示す情報がノイズ除去処理に利用される。そのため、ノイズ除去処理は情報処理装置５０ではなく音声信号処理装置１０で実施することが望ましい。実際にユーザーが操作入力を行って操作音が生じるタイミングと情報処理装置５０が操作入力を受け付けるタイミングとの間にずれが生じると、操作音によるノイズを除去する処理を精度よく行うことが難しくなるためである。
【００５４】
なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では音声信号処理装置１０は家庭用ゲーム機のコントローラであることとしたが、これに限らず、マイクロホン、及びスピーカーや操作ボタンを同一筐体内に有する電子機器など、各種の機器であってよい。また、以上の説明において情報処理装置５０が実行することとした処理は、複数のコンピュータに分散されて実行されることとしてもよい。一例として、情報処理装置５０は、互いに通信ネットワークを介して接続されたクライアント装置とサーバ装置とを含んで構成されてもよい。この例では、クライアント装置が音声信号処理装置１０と直接接続されて２種の音声信号を音声信号処理装置１０から受信し、サーバ装置はこれら２種の音声信号のいずれか一方、又は双方をクライアント装置から受信して、受信した音声信号に対して所定の処理を実行する。また、ここでサーバ装置が実行することとした処理は、さらに複数のコンピュータによって分散されて実行されてもよい。
【００５５】
また、以上説明した音声信号処理装置１０のハードウェア構成や回路構成は一例に過ぎず、信号処理の流れは以上説明したものとは異なってもよい。例えばエコー除去部２８は、単一のマイクロホン素子によって集音された集音音声信号に対して、エコー除去処理を実行してもよい。また、複数のマイクロホン素子によって得られる複数の集音音声信号のそれぞれに対して、エコー除去処理を実行してから、ビームフォーミング処理を実行してもよい。また、必要に応じて音声信号に対してダウンサンプリング等の音声信号処理を実施してもよい。さらに、本実施形態では認識用音声信号に対して追加的にノイズ除去処理を実行して聴取用音声信号を生成し、認識用音声信号にはノイズ除去処理を実行しないこととしたが、認識用音声信号に対しても音声認識処理に影響を及ぼすおそれが比較的少ない信号処理を適用してから、情報処理装置５０に対して送信してもよい。
【００５６】
また、以上の説明において音声入出力回路１１が実現することとした機能の一部は、音声入出力回路１１の外部で実現されてもよい。例えば以上の説明において音声入出力回路１１によって実現されることとしたＤ／Ａコンバータ２４ａ，２４ｂやＡ／Ｄコンバータ２６ａ，２６ｂなどの機能は、音声入出力回路１１の外部に設けられた別の回路素子によって実現されてもよい。また、音声入出力回路１１のＤＳＰ１１ａが実行することとした音声信号処理の一部は、マイクロコントローラ１２内で実行されてもよい。逆に、音声信号の符号化処理など、以上の説明においてマイクロコントローラ１２が実行することとした処理の少なくとも一部は、音声入出力回路１１で実行されてもよい。また、以上の説明において音声入出力回路１１、及びマイクロコントローラ１２はそれぞれ単一の集積回路であることとしたが、いずれも複数の集積回路によって実現されてもよい。また、音声入出力回路１１、及びマイクロコントローラ１２の機能は一つの集積回路によって実現されてもよい。
【符号の説明】
【００５７】
１  音声信号処理システム、１０  音声信号処理装置、１１  音声入出力回路、１１ａ  ＤＳＰ、１２  マイクロコントローラ、１２ａ  通信回路、１２ｂ  アンテナ、１３  スピーカー、１４  ヘッドホン端子、１５  マイクロホン、１５ａ，１５ｂ  マイクロホン素子、１６  操作ボタン、２１ａ，２１ｂ  信号入力部、２２  スピーカー音質調整部、２３  セレクター、２４ａ，２４ｂ  Ｄ／Ａコンバータ、２５ａ，２５ｂ，２５ｃ  アンプ、２６ａ，２６ｂ  Ａ／Ｄコンバータ、２７  ビームフォーミング処理部、２８  エコー除去部、２９  ノイズ除去部、３０  操作入力受付部、３１  遅延処理部、３２ａ，３２ｂ  信号出力部、５０  情報処理装置、５１  制御部、５２  記憶部、５３  通信部。
【図１】
2020017517.tif 000003
【図２】
2020017517.tif 000004
【図３】
2020017517.tif 000005
【図４】
2020017517.tif 000006
【図５】
2020017517.tif 000007
【手続補正書】
【提出日】令和3年1月12日(2021.1.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
互いに通信接続される音声信号処理装置と情報処理装置とを含む音声信号処理システムであって、
前記音声信号処理装置は、
マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、
前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、
を含み、
前記情報処理装置は、
前記実行前音声信号、及び前記実行後音声信号を前記音声信号処理装置から受信する受信部と、
前記実行前音声信号に対して第１の処理を実行し、前記実行後音声信号に対して前記第１の処理とは異なる第２の処理を実行する処理部と、
を含み、
前記信号処理部は、前記非線形な信号処理を実行する前の実行前音声信号を、前記非線形な信号処理の所要時間に対応する所定時間だけ経過してから前記送信部に対して出力し、
前記送信部は、前記所定時間の経過後に出力された前記実行前音声信号と、前記実行後音声信号とを、並行して前記情報処理装置に送信する
ことを特徴とする音声信号処理システム。
【請求項２】
請求項１に記載の音声信号処理システムにおいて、
前記送信部は、前記情報処理装置からの要求に応じて、前記実行前音声信号と前記実行後音声信号の双方を送信するモード、前記実行前音声信号だけを送信するモード、及び前記実行後音声信号だけを送信するモードを切り替える
ことを特徴とする音声信号処理システム。
【請求項３】
請求項１又は２に記載の音声信号処理システムにおいて、
前記送信部は、前記実行前音声信号、及び前記実行後音声信号を、それぞれ別チャンネルの音声信号として含むステレオ音声信号としてまとめて送信する
ことを特徴とする音声信号処理システム。
【請求項４】
互いに通信接続される音声信号処理装置と情報処理装置とを含む音声信号処理システムであって、
前記音声信号処理装置は、
マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、
前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、
を含み、
前記情報処理装置は、
前記実行前音声信号、及び前記実行後音声信号を前記音声信号処理装置から受信する受信部と、
前記実行前音声信号に対して第１の処理を実行し、前記実行後音声信号に対して前記第１の処理とは異なる第２の処理を実行する処理部と、
を含み、
前記信号処理部は、前記非線形な信号処理に先立って前記集音音声信号に対して線形な信号処理を実行し、
前記送信部は、前記線形な信号処理を実行した後の音声信号を前記実行前音声信号として送信し、前記線形な信号処理を実行した後の音声信号に対してさらに前記非線形な信号処理を実行した後の音声信号を前記実行後音声信号として送信する
ことを特徴とする音声信号処理システム。
【請求項５】
請求項１から４のいずれか一項に記載の音声信号処理システムにおいて、
前記非線形な信号処理は、前記集音音声信号に含まれるノイズを除去するノイズ除去処理である
ことを特徴とする音声信号処理システム。
【請求項６】
情報処理装置と通信接続される音声信号処理装置であって、
マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、
前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、
を含み、
前記信号処理部は、前記非線形な信号処理を実行する前の実行前音声信号を、前記非線形な信号処理の所要時間に対応する所定時間だけ経過してから前記送信部に対して出力し、
前記送信部は、前記所定時間の経過後に出力された前記実行前音声信号と、前記実行後音声信号とを、並行して前記情報処理装置に送信する
ことを特徴とする音声信号処理装置。
【請求項７】
情報処理装置と通信接続される音声信号処理装置であって、
マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、
前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、
を含み、
前記信号処理部は、前記非線形な信号処理に先立って前記集音音声信号に対して線形な信号処理を実行し、
前記送信部は、前記線形な信号処理を実行した後の音声信号を前記実行前音声信号として送信し、前記線形な信号処理を実行した後の音声信号に対してさらに前記非線形な信号処理を実行した後の音声信号を前記実行後音声信号として送信する
ことを特徴とする音声信号処理装置。
【請求項８】
マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行するステップと、
前記非線形な信号処理を実行する前の実行前音声信号を、前記非線形な信号処理の所要時間に対応する所定時間だけ経過してから送信部に対して出力するステップと、
前記送信部が、前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を情報処理装置に送信する送信ステップと、
を含み、
前記送信ステップでは、前記所定時間の経過後に出力された前記実行前音声信号と、前記実行後音声信号とを、並行して前記情報処理装置に送信する
ことを特徴とする音声信号処理方法。
【請求項９】
マイクロホンにより集音された集音音声信号に対して、線形な信号処理を実行するステップと、
前記線形な信号処理を実行した後の実行前音声信号に対して、非線形な信号処理を実行するステップと、
前記実行前音声信号、及び前記非線形な信号処理を実行した後の実行後音声信号の双方を情報処理装置に送信するステップと、
を含むことを特徴とする音声信号処理方法。
【国際調査報告】
2020017517.tif 000008
2020017517.tif 000009