(57)【要約】  音処理装置は、複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出する第１算出部と、音響エコーの抑圧ゲインとノイズの抑圧ゲインとを用いて統合ゲインを求める統合部と、複数の入力信号のうちの一の入力信号に対し、統合ゲインを適用する適用部と、統合ゲインが適用された信号と、再生装置に出力される出力信号と、一の入力信号とを用いて、音響エコーの抑圧ゲインを算出する第２算出部と、を備える。
2013054448.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出する第１算出部と、
音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求める統合部と、
複数の入力信号のうちの一の入力信号に対し、前記統合ゲインを適用する適用部と、
前記統合ゲインが適用された信号と、再生装置に出力される出力信号と、前記一の入力信号とを用いて、前記音響エコーの抑圧ゲインを算出する第２算出部と、
を備える音処理装置。
【請求項２】
照度センサの出力値、又は前記各入力信号の音量に基づいて、前記複数の入力信号の中から前記一の入力信号を選択する選択部をさらに備える請求項１記載の音処理装置。
【請求項３】
前記統合部は、
前記音響エコーの抑圧ゲインと、前記ノイズの抑圧ゲインのうち、小さい方を前記統合ゲインにする請求項１又は２記載の音処理装置。
【請求項４】
前記統合部は、
前記音響エコーの抑圧ゲインと、前記ノイズの抑圧ゲインのうち、大きい方を前記統合ゲインにする請求項１又は２記載の音処理装置。
【請求項５】
前記統合部は、
前記音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとの平均値を前記統合ゲインにする請求項１又は２記載の音処理装置。
【請求項６】
前記統合部は、
前記音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとの加重平均値を前記統合ゲインにする請求項１又は２記載の音処理装置。
【請求項７】
複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出し、
音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求め、
複数の入力信号のうちの一の入力信号に対し、前記統合ゲインを適用し、
前記統合ゲインが適用された信号と、再生装置に出力される出力信号と、前記一の入力信号とを用いて、前記音響エコーの抑圧ゲインを算出する処理をコンピュータが実行する音処理方法。
【請求項８】
複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出し、
音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求め、
複数の入力信号のうちの一の入力信号に対し、前記統合ゲインを適用し、
前記統合ゲインが適用された信号と、再生装置に出力される出力信号と、前記一の入力信号とを用いて、前記音響エコーの抑圧ゲインを算出する処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロホンからの入力信号を処理する音処理装置、音処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、複数のマイクロホンの入力信号を用いて騒音抑圧を行う技術と、音響エコー抑圧とを行う技術がある。例えば、適応型マイクロホンアレーとエコーキャンセラを単純に接続した場合、マイクロホンアレーによるエコー経路変動に対し、エコーキャンセラの学習が間に合わず、一時的にエコー消去性能が低下する。【０００３】
そこで、マイクロホンアレーの学習と、エコーキャンセラの学習を一つの計算式で行うエコーキャンセラ一体型マイクロホンアレーが提案されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】小林  和則他，「エコーキャンセラ一体型マイクロホンアレー」，電子情報通信学会論文誌，Ａ  Ｖｏｌ．Ｊ８７−Ａ，Ｎｏ．２，ｐｐ．１４３−１５２，２００４年２月
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、音声成分、エコー成分、雑音成分の共分散を求めたり、フィルタ係数を計算する際の条件が増えたりして計算量が増加し、処理量が多くなってしまうという問題点があった。また、エコーキャンセラを行って、騒音を抑圧する場合でも、マイクの数だけエコーキャンセラを行わなければならないため、計算量が多い。【０００６】
そこで、開示の技術は、上記問題点に鑑みてなされたものであり、計算量を抑えつつ、良好な音を提供することができる音処理装置、音処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
開示の一態様の音処理装置は、複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出する第１算出部と、音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求める統合部と、複数の入力信号のうちの一の入力信号に対し、前記統合ゲインを適用する適用部と、前記統合ゲインが適用された信号と、再生装置に出力される出力信号と、前記一の入力信号とを用いて、前記音響エコーの抑圧ゲインを算出する第２算出部と、を備える。
【発明の効果】
【０００８】
開示の技術によれば、計算量を抑えつつ、良好な音を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１における音処理装置の構成の一例を示すブロック図。
【図２】実施例１におけるノイズ抑圧ゲイン算出部の構成の一例を示すブロック図。
【図３】実施例１における音響エコー抑圧ゲイン算出部の構成の一例を示すブロック図。
【図４】音処理装置の処理概要を説明するための概念図。
【図５】実施例１における音処理の一例を示すフローチャート。
【図６】実施例２における音処理装置の構成の一例を示すブロック図。
【図７】実施例２におけるノイズ抑圧ゲイン算出部の構成の一例を示すブロック図。
【図８】実施例２における音処理の一例を示すフローチャート。
【図９】実施例３における携帯端末装置のハードウェアの一例を示すブロック図。
【図１０Ａ】携帯端末装置の斜視図（その１）。
【図１０Ｂ】携帯端末装置の斜視図（その２）。
【図１０Ｃ】携帯端末装置の斜視図（その３）。
【図１０Ｄ】携帯端末装置の斜視図（その４）。
【符号の説明】
【００１０】
１、２  音処理装置
１０１  再生装置
１０２  第１マイクロホン
１０３  第２マイクロホン
１０４、５０２  ノイズ抑圧ゲイン算出部
１０５、５０３  音響エコー抑圧ゲイン算出部
１０６、５０４  ゲイン統合部
１０７、５０５  ゲイン適用部
２０１、２０２、３０１、３０２  時間周波数変換部
２０３  ノイズ推定部
２０４  比較部
３０３  エコー推定部
３０４  比較部
５０１  選択部
７０４  制御部
７０６  主記憶部
７０７  補助記憶部
【発明を実施するための形態】
【００１１】
以下、図面に基づいて各実施例を説明する。
【００１２】
［実施例１］
＜構成＞
まず、実施例１における音処理装置１の構成について説明する。図１は、実施例１における音処理装置１の構成の一例を示すブロック図である。図１に示すように、音処理装置１は、ノイズ抑圧ゲイン算出部１０４、音響エコー抑圧ゲイン算出部１０５、ゲイン統合部１０６、ゲイン適用部１０７を有する。音処理装置１は、再生装置１０１、第１マイクロホン１０２、第２マイクロホン１０３に接続される。
【００１３】
なお、音処理装置１は、再生装置１０１、第１マイクロホン１０２、第２マイクロホン１０３を含めて構成してもよい。また、図１に示す例では、マイクロホンは２つあるが、３つ以上あってもよい。
【００１４】
再生装置１０１は、スピーカやレシーバなどであり、出力信号を再生する。再生装置１０１により再生された音は、音響エコーとなって、第１マイクロホン１０２及び第２マイクロホン１０３に入力されてしまう。再生される音は、音声や楽音などである。
【００１５】
第１マイクロホン１０２及び第２マイクロホン１０３は、入力信号を入力し、それぞれの入力信号をノイズ抑圧ゲイン算出部１０４に出力する。入力信号には、音響エコーが含まれる場合がある。ここで、第１マイクロホン１０２に入力される入力信号を第１入力信号と呼び、第２マイクロホン１０３に入力される入力信号を第２入力信号と呼ぶ。
【００１６】
ノイズ抑圧ゲイン算出部１０４は、第１マイクロホン１０２から第１入力信号を取得し、第２マイクロホン１０３から第２入力信号を取得する。ノイズ抑圧ゲイン算出部１０４は、取得した第１入力信号及び第２入力信号に対して時間周波数変換を行い、ノイズ成分を推定する。ノイズ成分を推定する技術は、公知の技術を用いればよい。ノイズは、騒音や雑音とも呼ばれる。
【００１７】
例えば、非特許文献１には、複数のマクロホロンにそれぞれ接続されたフィルタを用いて、フィルタ通過後の出力が０となる条件式により、雑音成分を求めることが記載されている。また、複数のマイクロホンの入力信号のスペクトルから騒音成分を推定する他の技術、例えば特開２０１１−１３９３７８号公報などの技術を用いてもよい。
【００１８】
ノイズ抑圧ゲイン算出部１０４は、推定したノイズ成分のスペクトルと、第１入力信号のスペクトルとに基づき、周波数毎のノイズの抑圧ゲインを算出する。ここで、実施例１では、例えば、第１入力信号を基準にして、ノイズの抑圧ゲインなどを算出する。例えば、ノイズの抑圧ゲインは、第１入力信号のスペクトルと、推定したノイズ成分のスペクトルとの差分で算出される。ノイズの抑圧ゲインは、この差分に所定値を乗算して算出されてもよい。
【００１９】
音響エコー抑圧ゲイン算出部１０５は、再生装置１０１に出力される出力信号と、後述するゲイン適用部１０７から出力された信号と、第１マイクロホン１０２からの第１入力信号とを取得する。
【００２０】
音響エコー抑圧ゲイン算出部１０５は、出力信号と第１入力信号とに時間周波数変換を行い、ゲイン適用部１０７から出力された信号を用いて音響エコーを推定する。音響エコーを推定する技術は、公知の技術を用いればよい。
【００２１】
例えば、音響エコー抑圧ゲイン算出部１０５は、一般的な適用フィルタと減算器とを含む公知の構成を用いて、音響エコー成分のスペクトルを算出し、周波数毎の音響エコーの抑圧ゲインを算出する。
【００２２】
ゲイン統合部１０６は、ノイズ抑圧ゲイン算出部１０４から周波数毎のノイズの抑圧ゲインと、音響エコー抑圧ゲイン算出部１０５から周波数毎の音響エコーの抑圧ゲインを取得する。
【００２３】
ゲイン統合部１０６は、予め決められた方法にしたがって、２つのゲインから１つのゲインを求める。以下、この１つのゲインを統合ゲインと呼ぶ。ゲイン統合部１０６は、統合ゲインをゲイン適用部１０７に出力する。予め定められた方法は、例えば以下の４つが考えられる。
【００２４】
（方法１）
ゲイン統合部１０６は、各フレーム、周波数毎に、ノイズの抑圧ゲインと、音響エコーの抑圧ゲインとのうち、式（１）を用いて小さい方を選択する。ゲイン統合部１０６は、選択したゲインを統合ゲインとする。
【００２５】
【数１】
2013054448.tif 000003
方法１によれば、振幅スペクトルに乗算する１以下の係数を示すゲインが小さい方を選択するので、抑圧が大きくなり、音響エコーとノイズの抑圧効果が高い。
【００２６】
（方法２）
ゲイン統合部１０６は、各フレーム、周波数毎に、ノイズの抑圧ゲインと、音響エコーの抑圧ゲインとのうち、式（２）を用いて大きい方を選択する。ゲイン統合部１０６は、選択したゲインを統合ゲインとする。
【００２７】
【数２】
2013054448.tif 000004
方法２によれば、振幅スペクトルに乗算する１以下の係数を示すゲインが大きい方を選択するので、抑圧が小さくなり、音声の歪が小さい。
【００２８】
（方法３）
ゲイン統合部１０６は、各フレーム、周波数毎に、ノイズの抑圧ゲインと、音響エコーの抑圧ゲインとを用いて、式（３）により平均値を算出する。ゲイン統合部１０６は、算出した平均値を統合ゲインとする。
【００２９】
【数３】
2013054448.tif 000005
方法３によれば、平均値を統合ゲインとするので、音響エコーとノイズとの抑圧効果と、音声の歪のバランスをとることができる。
【００３０】
（方法４）
ゲイン統合部１０６は、各フレーム、周波数毎に、ノイズの抑圧ゲインと、音響エコーの抑圧ゲインとを用いて、式（４）により加重平均値を算出する。ゲイン統合部１０６は、算出した加重平均値を統合ゲインとする。
【００３１】
【数４】
2013054448.tif 000006
方法４によれば、加重平均値を統合ゲインとするため、音響エコーとノイズとの抑圧効果と、音声の歪のバランスをとり、そのバランスを調整することができる。
【００３２】
ゲイン統合部１０６は、前述した方法１〜４のいずれかを用いて統合ゲインを求める。また、ゲイン統合部１０６は、方法１〜４を選択可能にしておき、選択された方法を用いて統合ゲインを求めるようにしてもよい。
【００３３】
ゲイン適用部１０７は、ゲイン統合部１０６から取得した統合ゲインを、第１マイクロホン１０２から取得した第１入力信号に適用する。ゲイン適用部１０７は、例えば、第１入力信号を周波数成分に変換し、統合ゲインを示す係数を第１入力信号のスペクトルに乗算する。
【００３４】
これにより、統合ゲインが適用された第１入力信号は、音響エコー成分と、ノイズ成分とが抑圧された信号になる。この信号は、後段の処理部と、音響エコー抑圧ゲイン算出部１０５とに出力される。
【００３５】
（ノイズ抑圧ゲイン算出部の構成）
次に、ノイズ抑圧ゲイン算出部１０４の構成について説明する。図２は、実施例１におけるノイズ抑圧ゲイン算出部１０４の構成の一例を示すブロック図である。図２に示すノイズ抑圧ゲイン算出部１０４は、時間周波数変換部２０１、時間周波数変換部２０２、ノイズ推定部２０３、比較部２０４を有する。
【００３６】
時間周波数変換部２０１は、第１入力信号に対して、時間周波数変換を行い、スペクトルを求める。時間周波数変換部２０２は、第２入力信号に対して、時間周波数変換を行い、スペクトルを求める。時間周波数変換は、例えば、高速フーリエ変換（ＦＦＴ）である。
【００３７】
時間周波数変換部２０１は、求めた第１入力信号のスペクトルをノイズ推定部２０３及び比較部２０４に出力する。時間周波数変換部２０２は、求めた第２入力信号のスペクトルをノイズ推定部２０３に出力する。
【００３８】
ノイズ推定部２０３は、第１入力信号のスペクトル、第２入力信号のスペクトルを取得し、ノイズ推定を行う。ノイズ推定部２０３は、公知の技術を用いて、ノイズ成分のスペクトルを推定する。推定されたノイズ成分のスペクトルは、比較部２０４に出力される。
【００３９】
比較部２０４は、第１入力信号のスペクトルと、ノイズ成分のスペクトルとを比較し、周波数毎のノイズを抑圧するゲインを算出する。以下、このゲインをノイズの抑圧ゲインとも呼ぶ。比較部２０４は、第1入力信号に含まれるノイズ成分の割合をノイズの抑圧ゲインとする。また、第１入力信号とノイズ成分の割合に応じて予め定めた関係式によってノイズの抑圧ゲインを算出しても良い。
【００４０】
これにより、複数のマイクロホンの入力信号を用いて、ノイズを抑圧することが可能となる。
【００４１】
（音響エコー抑圧ゲイン算出部の構成）
次に、音響エコー抑圧ゲイン算出部１０５の構成について説明する。図３は、実施例１における音響エコー抑圧ゲイン算出部１０５の構成の一例を示すブロック図である。図３に示す音響エコー抑圧ゲイン算出部１０５は、時間周波数変換部３０１、時間周波数変換部３０２、エコー推定部３０３、比較部３０４を有する。
【００４２】
時間周波数変換部３０１は、再生装置１０１に出力される出力信号に対して、時間周波数変換を行い、スペクトルを求める。時間周波数変換部３０２は、第１入力信号に対して、時間周波数変換を行い、スペクトルを求める。時間周波数変換は、例えば、高速フーリエ変換（ＦＦＴ）である。
【００４３】
時間周波数変換部３０１は、求めた出力信号のスペクトルをエコー推定部３０３に出力する。時間周波数変換部３０２は、求めた第１入力信号のスペクトルをエコー推定部３０３及び比較部３０４に出力する。
【００４４】
エコー推定部３０３は、第１入力信号のスペクトル、出力信号のスペクトル、及びゲイン適用部１０７からの出力信号を取得し、音響エコーの推定を行う。エコー推定部３０３は、公知の技術を用いて、音響エコー成分のスペクトルを推定する。推定された音響エコー成分のスペクトルは、比較部３０４に出力される。
【００４５】
比較部３０４は、第１入力信号のスペクトルと、音響エコー成分のスペクトルとを比較し、周波数毎の音響エコーを抑圧するゲインを算出する。以下、このゲインを音響エコーの抑圧ゲインとも呼ぶ。比較部２０４は、第1入力信号に含まれる音響エコー成分の割合を音響エコーの抑圧ゲインとする。また、第１入力信号と音響エコー成分の割合に応じて予め定めた関係式によって音響エコーの抑圧ゲインを算出しても良い。
【００４６】
これにより、複数のマイクロホンの入力信号のうち、基準となる１つの入力信号に対して、音響エコーを抑圧することが可能となる。
【００４７】
＜処理概要＞
次に、音処理装置１の各処理の概要について説明する。図４は、音処理装置１の処理概要を説明するための概念図である。
【００４８】
図４に示す周波数特性４０１は、入力信号の周波数特性（スペクトル）を示す。入力信号には、例えば音声、音響エコー、騒音が含まれている。図４に示す周波数特性４０２は、騒音の周波数特性を示す。この周波数特性４０２は、ノイズ抑圧ゲイン算出部１０４により推定される。図４に示す周波数特性４０３は、音響エコーの周波数特性を示す。この周波数特性４０３は、音響エコー抑圧ゲイン算出部１０５により推定される。
【００４９】
ここで、ノイズ抑圧ゲイン算出部１０４は、騒音の周波数特性４０２を推定すると、ノイズの抑圧ゲインを算出する。また、音響エコー抑圧ゲイン算出部１０５は、音響エコーの周波数特性４０３を推定すると、音響エコーの抑圧ゲインを算出する。
【００５０】
次に、求められたノイズの抑圧ゲインと、音響エコーの抑圧ゲインとから、ゲイン統合部１０６により、所定の方法を用いて１つのゲインが求められる。所定の方法は前述した４つの方法のいずれかを用いればよい。
【００５１】
次に、ゲイン適用部１０７は、基準となる一の入力信号に対して、求められた適用ゲインを適用することで、音響エコーとノイズとを考慮して抑圧した出力信号が生成される。図４に示す周波数特性４０４は、ゲイン適用部１０７から出力される出力信号の周波数特性を示す。
【００５２】
＜動作＞
次に、実施例１における音処理装置１の動作について説明する。図５は、実施例１における音処理の一例を示すフローチャートである。図５に示すステップＳ１０１で、音処理装置１は、複数のマイクロホンから入力信号を取得する。
【００５３】
ステップＳ１０２で、ノイズ抑圧ゲイン算出部１０４は、複数の入力信号を用いて、ノイズの抑圧ゲインを算出する。ノイズの抑圧ゲインの算出については、公知技術を用いればよい。
【００５４】
ステップＳ１０３で、音響エコー抑圧ゲイン算出部１０５は、複数の入力信号のうちの一の入力信号に対して、音響エコーの抑圧ゲインを算出する。音響エコーの抑圧ゲインの算出については、公知の技術を用いればよい。
【００５５】
ステップＳ１０４で、ゲイン統合部１０６は、ノイズの抑圧ゲインと音響エコーの抑圧ゲインとから１つのゲインを求める。この求め方は前述した方法１〜４のいずれかを用いればよい。
【００５６】
ステップＳ１０５で、ゲイン適用部１０７は、複数の入力信号のうちの一の入力信号に対して、統合ゲインを適用する。
【００５７】
以上、実施例１によれば、統合ゲインを適用された出力信号は、ノイズと音響エコーとを考慮して抑圧がなされるので、良好な音を提供することができる。また、エコーキャンセラの処理は一回であり、従来技術のような条件式も多くはないので、計算量を削減することができる。
【００５８】
［実施例２］
次に、実施例２における音処理装置２について説明する。実施例２では、複数の入力信号の中から、基準となる入力信号を選択する。これにより、ユーザの音声などが多く含まれている入力信号を基準にして、実施例の処理を行うことができる。
【００５９】
＜構成＞
図６は、実施例２における音処理装置２の構成の一例を示すブロック図である。なお、再生装置１０１、第１マイクロホン１０２、第２マイクロホン１０３は、実施例１と同様であるため、同じ符号を付す。
【００６０】
図６に示す音処理装置２は、選択部５０１、ノイズ抑圧ゲイン算出部５０２、音響エコー抑圧ゲイン算出部５０３、ゲイン統合部５０４、ゲイン適用部５０５を有する。
【００６１】
なお、音処理装置２は、再生装置１０１、第１マイクロホン１０２、第２マイクロホン１０３を含めて構成してもよい。また、図６に示す例では、マイクロホンは２つあるが、３つ以上あってもよい。
【００６２】
選択部５０１は、複数のマイクロホンから入力される入力信号の中から、基準となる一の入力信号を選択する。例えば、選択部５０１は、複数の入力信号のうち、音量が一番大きい入力信号を選択するようにすればよい。
【００６３】
また、選択部５０１は、音処理装置２と同じ筐体内に照度センサが設けられている場合は、その照度センサの出力値によって、一の入力信号を選択してもよい。例えば、照度センサが第１マイクロホン１０２と同じ面に設けられ、この面に対抗する面に第２マイクロホン１０３が設けられる場合、選択部５０１は、照度センサの出力値が閾値以上であれば、第１マイクロホン１０２の入力信号を選択する。
【００６４】
これは、例えば音処理装置２を含む筐体を机などにおいて用いる場合、照度センサの出力値が閾値より大きいとき、第１マイクロホン１０２側の面が机とは接していないと判断できる。よって、この第１マイクロホン１０２に対して、ユーザが音声を入力していると判断できる。
【００６５】
また、選択部５０１は、照度センサの出力値が閾値未満であれば、第２マイクロホン１０３の入力信号を選択する。これは、照度センサの出力値が閾値より小さいとき、第１マイクロホン１０２側の面が机に接していると判断できる。よって、第２マイクロホン１０３に対して、ユーザが音声を入力していると判断できる。
【００６６】
選択部５０１は、選択した入力信号を、音響エコー抑圧ゲイン算出部５０３及びゲイン適用部５０５に出力する。また、選択部５０１は、選択した入力信号を示す情報を、ノイズ抑圧ゲイン算出部５０２に出力する。
【００６７】
ノイズ抑圧ゲイン算出部５０２は、基本的な処理は、実施例１と同様である。異なるところは、基準となる一の入力信号を、選択部５０１から取得した情報に基づいて選択することである。
【００６８】
ノイズ抑圧ゲイン算出部５０２は、選択した入力信号を基準にして、ノイズの抑圧ゲインを算出する。
【００６９】
音響エコー抑圧ゲイン算出部５０３は、選択部５０１から取得した入力信号に対して、音響エコーの抑圧ゲインを算出する。音響エコーの抑圧ゲインを算出する処理は、実施例１と同様である。
【００７０】
ゲイン統合部５０４は、実施例１のゲイン適用部１０６と同様の処理を行う。つまり、ゲイン統合部５０４は、ノイズの抑圧ゲインと、音響エコーの抑圧ゲインとから１つのゲインを求め、このゲインをゲイン適用部５０５に出力する。
【００７１】
ゲイン適用部５０５は、選択部５０１から取得した入力信号に対して、統合ゲインを適用する。ゲイン適用部５０５は、例えば、選択部５０１から取得した入力信号を周波数成分に変換し、統合ゲインをスペクトルに乗算する。
【００７２】
これにより、音声が多く含まれると推定される入力信号を基準にして、実施例で説明した処理を行うことができる。
【００７３】
（ノイズ抑圧ゲイン算出部の構成）
次に、ノイズ抑圧ゲイン算出部５０２の構成について説明する。図７は、実施例２におけるノイズ抑圧ゲイン算出部５０２の構成の一例を示すブロック図である。図７に示すノイズ抑圧ゲイン算出部５０２は、時間周波数変換部２０１、時間周波数変換部２０２、ノイズ推定部２０３、周波数選択部６０１、比較部６０２を有する。
【００７４】
なお、図７に示す構成で、図２に示す構成と同様のものは同じ符号を付し、その説明を省略する。
【００７５】
周波数選択部６０１は、時間周波数変換部２０１から、第１入力信号のスペクトルを取得する。また、周波数選択部６０１は、時間周波数変換部２０２から、第２入力信号のスペクトルを取得する。
【００７６】
周波数選択部６０１は、選択部５０１から、選択した入力信号を示す情報を取得し、この情報が示す入力信号のスペクトルを選択する。周波数選択部６０１は、選択したスペクトルを比較部６０２に出力する。
【００７７】
比較部６０２は、周波数選択部６０１から取得したスペクトルと、ノイズ成分のスペクトルとを比較し、周波数毎のノイズの抑圧ゲインを算出する。比較部６０２は、算出したノイズの抑圧ゲインをゲイン統合部５０４に出力する。
【００７８】
これにより、選択部５０１により選択された入力信号に対して、ノイズの抑圧ゲインを算出することができる。
【００７９】
実施例２における音響エコー抑圧ゲイン算出部５０３の構成は、実施例１と同様であるため、その説明を省略する。
【００８０】
＜動作＞
次に、実施例２における音処理装置２の動作について説明する。図８は、実施例２における音処理の一例を示すフローチャートである。図８に示すステップＳ２０１で、音処理装置２は、複数のマイクロホンから入力信号を取得する。
【００８１】
ステップＳ２０２で、選択部５０１は、照度センサの出力値、又は各入力信号の音量に基づいて、複数の入力信号の中から１つの入力信号を選択する。選択された入力信号を基準として、以降の処理が行われる。
【００８２】
ステップＳ２０３〜Ｓ２０６の処理は、図５に示すステップＳ１０２〜Ｓ１０５の処理と同様であるため、その説明を省略する。
【００８３】
以上、実施例２によれば、複数の入力信号の中から、例えば音声が一番多く含まれている入力信号を選択し、選択された入力信号を基準にすることができる。よって、計算量を抑えつつ、より良好な音を提供することが可能となる。
【００８４】
［実施例３］
図９は、実施例３における携帯端末装置３のハードウェアの一例を示すブロック図である。携帯端末装置３は、アンテナ７０１、無線部７０２、ベースバンド処理部７０３、制御部７０４、端末インタフェース部７０５、主記憶部７０６、補助記憶部７０７、第１マイクロホン７０８、第２マイクロホン７０９、スピーカ７１０、レシーバ７１１を有する。
【００８５】
アンテナ７０１は、送信アンプで増幅された無線信号を送信し、また、基地局から無線信号を受信する。無線部７０２は、ベースバンド処理部７０３で拡散された送信信号をＤ／Ａ変換し、直交変調により高周波信号に変換し、その信号を電力増幅器により増幅する。無線部７０２は、受信した無線信号を増幅し、その信号をＡ／Ｄ変換してベースバンド処理部７０３に伝送する。
【００８６】
ベースバンド部７０３は、送信データの誤り訂正符号の追加、データ変調、拡散変調、受信信号の逆拡散、受信環境の判定、各チャネル信号の閾値判定、誤り訂正復号などのベースバンド処理などを行う。
【００８７】
制御部７０４は、制御信号の送受信などの無線制御を行う。また、制御部７０４は、補助記憶部７０７などに記憶されている音処理プログラムを実行し、各実施例で説明した音処理を行う。
【００８８】
端末インタフェース部７０５は、データ用アダプタ処理、ハンドセットおよび外部データ端末とのインタフェース処理を行う。
【００８９】
主記憶部７０６は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部７０４が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００９０】
補助記憶部７０７は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。補助記憶部７０７は、前述した音処理プログラムを記憶する。
【００９１】
第１マイクロホン７０８、第２マイクロホン７０９は、それぞれ、第１マイクロホン１０２、第２マイクロホン１０３に対応する。スピーカ７１０、レシーバ７１１は、再生装置１０１に対応する。
【００９２】
また、音処理装置１、２の各部は、例えば制御部７０４、及びワークメモリとしての主記憶部７０６により実現されうる。
【００９３】
次に、第１マイクロホン７０８、第２マイクロホン７０９、スピーカ７１０、レシーバ７１１のそれぞれの位置関係の一例について説明する。
【００９４】
図１０Aは、携帯端末装置３の斜視図（その１）である。図１０Ａに示す例では、携帯端末装置３の前面を左方向から見ており、第１マイクロホン７０８がフロントマイクを表す。
【００９５】
図１０Ｂは、携帯端末装置３の斜視図（その２）である。図１０Ｂに示す例では、携帯端末装置３の前面を右方向から見ており、第１マイクロホン７０８と、レシーバ７１１との間の距離を表す。
【００９６】
図１０Ｃは、携帯端末装置３の斜視図（その３）である。図１０Ｃに示す例では、携帯端末装置３の後面を右方向から見ており、第２マイクロホン７０９がリアマイクを表す。
【００９７】
図１０Ｄは、携帯端末装置３の斜視図（その４）である。図１０Ｄに示す例では、携帯端末装置３の後面を左方向から見ており、第２マイクロホン７０９と、スピーカ７１０との間の距離を表す。
【００９８】
よって、図１０に示すように、それぞれのマイクロホンが異なる面に設けられている場合、ユーザがどちらのマイクロホンに話しかけているかを判別するために、実施例２の選択部５０１は効果的に用いられる。
【００９９】
なお、図１０Ａ〜Ｄに示す例は、あくまでも一例であり、複数のマイクロホンと再生装置との位置関係は、これに限られない。
【０１００】
以上、実施例３によれば、携帯端末装置３において、計算量を抑えつつ、良好な音を提供することができる。
【０１０１】
また、開示の技術は、携帯端末装置３に限らず、他の機器にも実装することができる。例えば、前述した音処理装置１、２は、テレビ電話会議装置や電話機能を有する情報処理装置、固定電話、ＶｏＩＰ（Voice over Internet Protocol）システムなどにも適用可能である。
【０１０２】
また、前述した各実施例で説明した音処理を実現するためのプログラムを記録媒体に記録することで、各実施例での音処理をコンピュータに実施させることができる。
【０１０３】
また、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末装置に読み取らせて、前述した音処理を実現させることも可能である。なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。記録媒体は、搬送波を含まない。
【０１０４】
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【図１】
2013054448.tif 000007
【図２】
2013054448.tif 000008
【図３】
2013054448.tif 000009
【図４】
2013054448.tif 000010
【図５】
2013054448.tif 000011
【図６】
2013054448.tif 000012
【図７】
2013054448.tif 000013
【図８】
2013054448.tif 000014
【図９】
2013054448.tif 000015
【図１０Ａ】
2013054448.tif 000016
【図１０Ｂ】
2013054448.tif 000017
【図１０Ｃ】
2013054448.tif 000018
【図１０Ｄ】
2013054448.tif 000019
【手続補正書】
【提出日】平成26年2月28日(2014.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出する第１算出部と、
音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求める統合部と、
複数の入力信号のうちの一の入力信号に対し、前記統合ゲインを適用する適用部と、
前記統合ゲインが適用された信号と、再生装置に出力される出力信号と、前記一の入力信号とを用いて、前記音響エコーの抑圧ゲインを算出する第２算出部と、
を備える音処理装置。
【請求項２】
照度センサの出力値、又は前記各入力信号の音量に基づいて、前記複数の入力信号の中から前記一の入力信号を選択する選択部をさらに備える請求項１記載の音処理装置。
【請求項３】
前記統合部は、
前記音響エコーの抑圧ゲインと、前記ノイズの抑圧ゲインのうち、小さい方を前記統合ゲインにする請求項１又は２記載の音処理装置。
【請求項４】
前記統合部は、
前記音響エコーの抑圧ゲインと、前記ノイズの抑圧ゲインのうち、大きい方を前記統合ゲインにする請求項１又は２記載の音処理装置。
【請求項５】
前記統合部は、
前記音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとの平均値を前記統合ゲインにする請求項１又は２記載の音処理装置。
【請求項６】
複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出し、
音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求め、
複数の入力信号のうちの一の入力信号に対し、前記統合ゲインを適用し、
前記統合ゲインが適用された信号と、再生装置に出力される出力信号と、前記一の入力信号とを用いて、前記音響エコーの抑圧ゲインを算出する処理をコンピュータが実行する音処理方法。
【請求項７】
複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出し、
音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求め、
複数の入力信号のうちの一の入力信号に対し、前記統合ゲインを適用し、
前記統合ゲインが適用された信号と、再生装置に出力される出力信号と、前記一の入力信号とを用いて、前記音響エコーの抑圧ゲインを算出する処理をコンピュータに実行させるためのプログラム。
【手続補正書】
【提出日】平成26年10月30日(2014.10.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出する第１算出部と、
再生装置から再生された出力信号を前記複数のマイクロホンに入力することで生じる音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求める統合部と、
前記再生装置からの出力信号を、前記複数のマイクロホンで入力した各入力信号のうちの一の入力信号に対し、前記統合ゲインを適用する適用部と、
前記統合ゲインが適用された信号と、前記再生装置に出力される出力信号に対する時間周波数変換により得られるスペクトルと、前記再生装置から出力された前記一の入力信号に対する時間周波数変換により得られるスペクトルとを用いて、音響エコー成分のスペクトルを推定し、推定された前記音響エコー成分のスペクトルと、前記一の入力信号に対する時間周波数変換により得られるスペクトルとを比較して前記音響エコーの抑圧ゲインを算出する第２算出部と、
を備える音処理装置。
【請求項２】
照度センサの出力値、又は前記各入力信号の音量に基づいて、前記複数の入力信号の中から前記一の入力信号を選択する選択部をさらに備える請求項１記載の音処理装置。
【請求項３】
前記統合部は、
前記音響エコーの抑圧ゲインと、前記ノイズの抑圧ゲインのうち、小さい方を前記統合ゲインにする請求項１又は２記載の音処理装置。
【請求項４】
前記統合部は、
前記音響エコーの抑圧ゲインと、前記ノイズの抑圧ゲインのうち、大きい方を前記統合ゲインにする請求項１又は２記載の音処理装置。
【請求項５】
前記統合部は、
前記音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとの平均値を前記統合ゲインにする請求項１又は２記載の音処理装置。
【請求項６】
複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出し、
再生装置から再生された出力信号を前記複数のマイクロホンに入力することで生じる音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求め、
前記再生装置からの出力信号を、前記複数のマイクロホンで入力した各入力信号のうちの一の入力信号に対し、前記統合ゲインを適用し、
前記統合ゲインが適用された信号と、前記再生装置に出力される出力信号に対する時間周波数変換により得られるスペクトルと、前記再生装置から出力された前記一の入力信号に対する時間周波数変換により得られるスペクトルとを用いて、音響エコー成分のスペクトルを推定し、推定された前記音響エコー成分のスペクトルと、前記一の入力信号に対する時間周波数変換により得られるスペクトルとを比較して前記音響エコーの抑圧ゲインを算出する処理をコンピュータが実行する音処理方法。
【請求項７】
複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出し、
再生装置から再生された出力信号を前記複数のマイクロホンに入力することで生じる音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求め、
前記再生装置からの出力信号を、前記複数のマイクロホンで入力した各入力信号のうちの一の入力信号に対し、前記統合ゲインを適用し、
前記統合ゲインが適用された信号と、前記再生装置に出力される出力信号に対する時間周波数変換により得られるスペクトルと、前記再生装置から出力された前記一の入力信号に対する時間周波数変換により得られるスペクトルとを用いて、音響エコー成分のスペクトルを推定し、推定された前記音響エコー成分のスペクトルと、前記一の入力信号に対する時間周波数変換により得られるスペクトルとを比較して前記音響エコーの抑圧ゲインを算出する処理をコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
開示の一態様の音処理装置は、複数のマイクロホンから入力される各入力信号を用いてノイズの抑圧ゲインを算出する第１算出部と、再生装置から再生された出力信号を前記複数のマイクロホンに入力することで生じる音響エコーの抑圧ゲインと前記ノイズの抑圧ゲインとを用いて統合ゲインを求める統合部と、前記再生装置からの出力信号を、前記複数のマイクロホンで入力した各入力信号のうちの一の入力信号に対し、前記統合ゲインを適用する適用部と、前記統合ゲインが適用された信号と、前記再生装置に出力される出力信号に対する時間周波数変換により得られるスペクトルと、前記再生装置から出力された前記一の入力信号に対する時間周波数変換により得られるスペクトルとを用いて、音響エコー成分のスペクトルを推定し、推定された前記音響エコー成分のスペクトルと、前記一の入力信号に対する時間周波数変換により得られるスペクトルとを比較して前記音響エコーの抑圧ゲインを算出する第２算出部と、を備える。
【国際調査報告】
2013054448.tif 000020
2013054448.tif 000021