(57)【要約】      （修正有）【課題】妨害音があっても正確に感度校正ゲインが計算でき、かつ、閾値をより容易に設定できる感度校正ゲイン計算方法を提供する。【解決手段】音響信号処理装置１０は、複数のマイクｍ＿１、ｍ＿２のそれぞれから得られた複数の入力信号ｓ１（ｎ）、ｓ２（ｎ）を時間領域から周波数領域に変換した複数の周波数領域信号の差に基づいて、正面に死角を有する正面抑圧信号を生成する正面抑圧信号生成部１２と、複数の入力信号から得た信号に基づいてコヒーレンスを算出するコヒーレンス算出部１３と、正面抑圧信号とコヒーレンスとの関係性を表す特徴量を算出する特徴量算出部１４と、特徴量に基づいて、妨害音の影響を受けない目的音区間を検出し、その目的音区間の各入力信号に対する校正ゲインを算出する校正ゲイン算出部１５と、各校正ゲインで、対応する各入力信号を校正する校正ゲイン乗算部１６、１７とを備える。【選択図】図１
2018032931.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクのそれぞれから得られた複数の入力信号を時間領域から周波数領域に変換した複数の周波数領域信号の差に基づいて、正面に死角を有する正面抑圧信号を生成する正面抑圧信号生成部と、
上記複数の入力信号から得た信号に基づいてコヒーレンスを算出するコヒーレンス算出部と、
上記正面抑圧信号と上記コヒーレンスとの関係性を表す特徴量を算出する特徴量算出部と、
上記特徴量に基づいて、妨害音の影響を受けない目的音区間を検出し、その目的音区間の上記各入力信号に対する校正ゲインを算出する校正ゲイン算出部と、
上記各校正ゲインで、対応する上記各入力信号を校正する校正部と
を備えることを特徴とする音響信号処理装置。
【請求項２】
上記特徴量算出部が、上記正面抑圧信号と上記コヒーレンスとの相関値を上記特徴量として算出することを特徴とする請求項１に記載の音響信号処理装置。
【請求項３】
上記校正ゲイン算出部が、上記正面抑圧信号と上記コヒーレンスとの相関値の正負に応じて、上記目的音区間を検出することを特徴とする請求項２に記載の音響信号処理装置。
【請求項４】
上記校正ゲイン算出部が、
上記正面抑圧信号と上記コヒーレンスとの相関値が正の場合、上記目的音区間と判定して上記各入力信号に対する校正ゲインを算出し、
上記正面抑圧信号と上記コヒーレンスとの相関値が負の場合、妨害音を含む音区間と判定して上記校正ゲインの算出を実行しない
ことを特徴とする請求項２又は３に記載の音響信号処理装置。
【請求項５】
コンピュータを、
複数のマイクのそれぞれから得られた複数の入力信号を時間領域から周波数領域に変換した複数の周波数領域信号の差に基づいて、正面に死角を有する正面抑圧信号を生成する正面抑圧信号生成部と、
上記複数の入力信号から得た信号に基づいてコヒーレンスを算出するコヒーレンス算出部と、
上記正面抑圧信号と上記コヒーレンスとの関係性を表す特徴量を算出する特徴量算出部と、
上記特徴量に基づいて、妨害音の影響を受けない目的音区間を検出し、その目的音区間の上記各入力信号に対する校正ゲインを算出する校正ゲイン算出部と、
上記各校正ゲインで、対応する上記各入力信号を校正する校正部と
して機能させることを特徴とする音響信号処理プログラム。
【請求項６】
正面抑圧信号生成部が、複数のマイクのそれぞれから得られた複数の入力信号を時間領域から周波数領域に変換した複数の周波数領域信号の差に基づいて、正面に死角を有する正面抑圧信号を生成し、
コヒーレンス算出部が、上記複数の入力信号から得た信号に基づいてコヒーレンスを算出し、
特徴量算出部が、上記正面抑圧信号と上記コヒーレンスとの関係性を表す特徴量を算出し、
校正ゲイン算出部が、上記特徴量に基づいて、妨害音の影響を受けない目的音区間を検出し、その目的音区間の上記各入力信号に対する校正ゲインを算出し、
校正部が、上記各校正ゲインで、対応する上記各入力信号を校正する
ことを特徴とする音響信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号処理装置、プログラム及び方法に関し、例えば、電話やテレビ電話等に用いられる通信機又は通信ソフトウェア、あるいは、音声認識処理の前処理で用いる、音響信号処理に適用し得るものである。
【背景技術】
【０００２】
近年、スマートフォンやカーナビゲーションなどのように、音声通話機能や音声認識機能等の様々な音声処理機能が搭載された機器が普及している。しかし、これらの機器が普及したことで、混雑した街中や走行中の車内など、以前よりも過酷な雑音環境下で音声処理機能が用いられるようになってきている。そのため、雑音環境下でも通話音質や音声認識性能を維持できるような、信号処理技術の需要が高まっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６８０５２号公報
【非特許文献】
【０００４】
【非特許文献１】平岡  和幸、堀  玄，“プログラミングのための確率統計”，株式会社オーム社発行，平成２１年１０月２３日，ｐ．１７８−ｐ．１７９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、多チャンネルのマイクを用いた音響信号処理技術が実現されているが、同じ型番のマイクであっても感度差があり、感度差を校正しなければ正確な音響特徴量の計算ができない。これまでは事前にマイクの感度を測定し、感度差に応じた補正ゲインを設定したり、チャンネルごとに入力レベルを比較して、平均値に一致させるような補正ゲインを自動設定するなどの手法で対処している。しかし、前者は手間がかかり、後者はマイクの感度差だけでなく取得した入力信号の差も埋めてしまうため、後段で計算する音響特徴量の精度が保障されない、という課題がある。
【０００６】
この課題の改善方法の１つが、入力信号のうち、マイク正面から到来する信号成分の区間でのみ入力レベルの比較を行って校正ゲインを計算する、というものである。これは正面から到来する信号ならば各マイクと音源との距離が等しいため、マイクに到達する信号成分の音響的な特性差は微小であり、両者に発生する特性差はマイク感度のみであると期待できることを前提としている。これを前提とした解決法の１つが特許文献１に記載される手法である。これは、正面から目的話者の音声が到来するか否かによってコヒーレンスという特徴量の大小が変動することに注目し、正面から音声が到来する信号区間でマイク感度差校正ゲインを算出する、という技術である。なお、コヒーレンスはマイクの感度差があっても、音声が正面から到来するか否かで大小が変動するという挙動は維持されるので、この手法で感度差を校正することができる。（補：コヒーレンスの計算方法は特許文献１の式７を参照のこと）
【０００７】
しかし、特許文献１の方法は、マイクアレイの正面から到来する目的音声と同時に左右から別の話者の話し声（妨害音）が到来する場合にもコヒーレンスが大きい値をとるため、正面から到来していない音声成分も校正ゲインに反映されてしまう。また、マイクの感度差はマイクアレイごとにランダムなので、正面から到来する信号区間を検出する閾値の最適化が難しく、目的音声区間を誤判定してしまう可能性がある。
【０００８】
そのため、上記のような２つの課題を改善するため、妨害音が存在していても正確に感度校正ゲインが計算でき、かつ、閾値をより容易に設定できる感度校正ゲイン計算方法が求められている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、第１の本発明に係る音響信号処理装置は、（１）複数のマイクのそれぞれから得られた複数の入力信号を時間領域から周波数領域に変換した複数の周波数領域信号の差に基づいて、正面に死角を有する正面抑圧信号を生成する正面抑圧信号生成部と、（２）複数の入力信号から得た信号に基づいてコヒーレンスを算出するコヒーレンス算出部と、（３）正面抑圧信号と上記コヒーレンスとの関係性を表す特徴量を算出する特徴量算出部と、（４）特徴量に基づいて、妨害音の影響を受けない目的音区間を検出し、その目的音区間の各入力信号に対する校正ゲインを算出する校正ゲイン算出部と、（５）各校正ゲインで、対応する各入力信号を校正する校正部とを備えることを特徴とする。
【００１０】
第２の本発明に係る音響信号処理プログラムは、コンピュータを、（１）複数のマイクのそれぞれから得られた複数の入力信号を時間領域から周波数領域に変換した複数の周波数領域信号の差に基づいて、正面に死角を有する正面抑圧信号を生成する正面抑圧信号生成部と、（２）複数の入力信号から得た信号に基づいてコヒーレンスを算出するコヒーレンス算出部と、（３）正面抑圧信号とコヒーレンスとの関係性を表す特徴量を算出する特徴量算出部と、（４）特徴量に基づいて、妨害音の影響を受けない目的音区間を検出し、その目的音区間の各入力信号に対する校正ゲインを算出する校正ゲイン算出部と、（５）各校正ゲインで、対応する各入力信号を校正する校正部として機能させることを特徴とする。
【００１１】
第３の本発明に係る音響信号処理方法は、（１）正面抑圧信号生成部が、複数のマイクのそれぞれから得られた複数の入力信号を時間領域から周波数領域に変換した複数の周波数領域信号の差に基づいて、正面に死角を有する正面抑圧信号を生成し、（２）コヒーレンス算出部が、複数の入力信号から得た信号に基づいてコヒーレンスを算出し、（３）特徴量算出部が、正面抑圧信号とコヒーレンスとの関係性を表す特徴量を算出し、（４）校正ゲイン算出部が、特徴量に基づいて、妨害音の影響を受けない目的音区間を検出し、その目的音区間の各入力信号に対する校正ゲインを算出し、（５）校正部が、各校正ゲインで、対応する各入力信号を校正することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、妨害音があっても正確に感度校正ゲインが計算でき、かつ、閾値をより容易に設定できる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る音響信号処理装置の全体構成を示すブロック図である。
【図２】実施形態に係る正面抑圧信号生成部で形成される指向性の特性を示す説明図である。
【図３】実施形態に係る相関計算部の構成を示すブロック図である。
【図４】実施形態に係る校正ゲイン計算部の構成を示すブロック図である。
【図５】実施形態に係る校正ゲイン計算部における処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
（Ａ）主たる実施形態
以下では、本発明に係る音響信号処理装置、プログラム及び方法の実施形態を、図面を参照しながら詳細に説明する。
【００１５】
（Ａ−１）実施形態の構成
図１は、この実施形態に係る音響信号処理装置１０の全体構成を示すブロック図である。
【００１６】
図１において、音響信号処理装置１０は、複数（図１では２個の場合を例示している）のマイクｍ＿１及びｍ＿２、ＦＦＴ部１１、正面抑圧信号生成部１２、コヒーレンス計算部１３、相関計算部１４、校正ゲイン計算部１５、第１校正ゲイン乗算部１６及び第２校正ゲイン乗算部１７を有する。
【００１７】
なお、特許請求の範囲に記載の「特徴量算出部」は相関計算部１４を含むものである。また、「校正ゲイン算出部」は校正ゲイン計算部１５を含むものである。さらに、「校正部」は第１校正ゲイン乗算部１６及び第２校正ゲイン乗算部１７を含むものである。
【００１８】
図１に例示する音響信号処理装置１０において、マイクｍ＿１及びｍ＿２以外の構成要素は、ＣＰＵが実行するソフトウェア（音響信号処理プログラム）として実現することができ、音響信号処理プログラムの機能は、図１で表すことができる。
【００１９】
マイクｍ＿１及びマイクｍ＿２は、所定距離（若しくは任意の距離）だけ離れて配置され、マイクｍ＿１及びマイクｍ＿２のそれぞれは、周囲の音響を捕捉するものである。各マイクｍ＿１及びマイクｍ＿２で捕捉された各音響信号（入力信号）は、図示しないアナログ／デジタル（Ａ／Ｄ）変換器に変換されて、入力信号ｓ１（ｎ）及びｓ２（ｎ）のそれぞれが、ＦＦＴ部１１と、校正ゲイン計算部１５と、第１校正ゲイン乗算部１６及び第２校正ゲイン乗算部１７とに与えられる。なお、ｎは、サンプルの入力順を表すインデックスであり、正の整数で表現される。本文中では、ｎの値が小さいほど古い入力サンプルであり、大きいほど新しい入力サンプルであるとする。
【００２０】
ＦＦＴ部１１は、マイクｍ＿１及びｍ＿２から入力信号ｓ１（ｎ）及びｓ２（ｎ）を受け取り、その入力信号ｓ１（ｎ）及びｓ２（ｎ）に高速フーリエ変換（あるいは離散フーリエ変換）を行なうものである。これにより、入力信号ｓ１（ｎ）及びｓ２（ｎ）を時間領域から周波数領域に変換することができる。なお、ＦＦＴ部１１は、高速フーリエ変換を実施するにあたり、入力信号ｓ１（ｎ）及びｓ２（ｎ）から所定のＮ個（Ｎは任意の整数）のサンプルから成る、分析フレームＦＲＡＭＥ１（Ｋ）及びＦＲＡＭＥ２（Ｋ）を構成するものとする。
【００２１】
入力信号ｓ１からＦＲＡＭＥ１を構成する例を（１）式に例示する。なお、以下の（１）式において、Ｋは、フレームの順番を表すインデックスであり、正の整数で表現される。以下では、Ｋの値が小さいほど古い分析フレームであり、Ｋの値が大きいほど新しい分析フレームであるものとする。また、以降の動作説明において、特に但し書きが無い限りは、分析対象となる最新の分析フレームを表すインデックスＫであるとする。
【数１】
2018032931.tif 000003
【００２２】
ＦＦＴ部１１は、分析フレームごとに、高速フーリエ変換処理を施すことで、入力信号ｓ１から構成した分析フレームＦＲＡＭＥ１（Ｋ）にフーリエ変換して得た周波数領域信号Ｘ１（ｆ，Ｋ）と、入力信号ｓ２から構成した分析フレームＦＲＡＭＥ２（Ｋ）にフーリエ変換して得た周波数領域信号Ｘ２（ｆ，Ｘ）とを取得する。ＦＦＴ部１１は、周波数領域信号Ｘ１（ｆ，Ｋ）及び周波数領域信号Ｘ２（ｆ，Ｘ）を、正面抑圧信号生成部１２を供給すると共に、コヒーレンス計算部１３に与える。
【００２３】
ここで、ｆは周波数を表すインデックスである。また、周波数領域信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ,Ｋ）は単一の値ではなく、以下の(２)式のように、複数の周波数ｆ１〜ｆｍのｍ個（ｍは任意の整数）の成分（スペクトル成分）から構成されるものであるとする。
【数２】
2018032931.tif 000004
【００２４】
上記（２）式において、Ｘ１（ｆ，Ｋ）は複素数であり、実部と虚部からなる。以降、Ｘ２（ｆ，Ｋ）、及び後述する正面抑圧信号生成部１２で現れる正面抑圧信号Ｎ（ｆ，Ｋ）についても同様である。
【００２５】
正面抑圧信号生成部１２は、ＦＦＴ部からの信号について、周波数成分ごとに、正面方向から到来する信号成分を抑圧する処理を行なう。言い換えると、正面抑圧信号生成部１２は、正面方向の成分を抑圧する指向性フィルタとして機能する。
【００２６】
例えば、正面抑圧信号生成部１２は、図２に示すように、８の字型の正面方向に死角を有する双指向性のフィルタを用いて、ＦＦＴ部１１からの信号から正面方向の成分を抑圧する指向性フィルタを形成する。
【００２７】
具体的には、正面抑圧信号生成部１２は、ＦＦＴ部１１からの信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）に基づいて、（３）式のような計算を行なって、周波数成分毎の正面抑圧信号Ｎ（ｆ，Ｎ）を生成する。以下の（３）式の計算は、図２のような、正面方向に死角を有する８の字型の双指向性のフィルタを形成する処理に相当する。
Ｎ（ｆ，Ｋ）＝Ｘ１（ｆ，Ｋ）−Ｘ２（ｆ，Ｋ）    …（３）
【００２８】
以上のように、正面抑圧信号生成部１２は、周波数ｆ１〜ｆｍの各周波数成分（各周波数帯の１フレーム分のパワー）を取得する。
【００２９】
また、正面抑圧信号生成部１２は、（４）式に従って、周波数ｆ１〜ｆｍの全周波数に亘って、正面抑圧信号Ｎ（ｆ，Ｋ）を平均した、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）を算出する。
【数３】
2018032931.tif 000005
【００３０】
コヒーレンス計算部１４は、ＦＦＴ部１１からの周波数領域信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）に含まれる特定方向に指向性が強い信号を形成してコヒーレンスＣＯＨ（Ｋ）を算出する。
【００３１】
ここで、コヒーレンス計算部１４におけるコヒーレンスＣＯＨ（Ｋ）の算出処理を説明する。
【００３２】
コヒーレンス計算部１４は、周波数領域信号Ｘ１（ｆ，Ｋ）及びＸ２（ｆ，Ｋ）から第１の方向（例えば、左方向）に指向性が強いフィルタで処理した信号Ｂ１（ｆ，Ｋ）を形成し、またコヒーレンス計算部１４は、周波数領域信号Ｘ１（ｆ，Ｋ）及びＸ２（ｆ，Ｋ）から第２の方向（例えば、右方向）に指向性が強いフィルタで処理した信号Ｂ２（ｆ，Ｋ）を形成する。特定方向に指向性の強い信号Ｂ１（ｆ）、Ｂ２（ｆ）の形成方法は、既存の方法を適用することができ、ここでは、以下の（５）式を適用して第１の方向に指向性が強い信号Ｂ１を形成し、以下の（６）式を適用して第２の方向に指向性が強い信号Ｂ２を形成する場合を例示する。
【数４】
2018032931.tif 000006
【００３３】
上記の（５）式、（６）式において、Ｓはサンプリング周波数、ＮはＦＦＴ分析フレーム長、τはマイクｍ＿１とマイクｍ＿２との間の音波到達時間差、ｉは虚数単位、ｆは周波数を示す。
【００３４】
次に、コヒーレンス計算部１３は、上記のようにして得られた信号Ｂ１（ｆ）、Ｂ２（ｆ）に対し、以下のような（７）式、（８）式に示す演算を施すことでコヒーレンスＣＯＨ（Ｋ）を得る。ここで、（７）式におけるＢ２（ｆ、Ｋ）＊はＢ２（ｆ、Ｋ）の共役複素数である。
【数５】
2018032931.tif 000007
【００３５】
ｃｏｅｆ（ｆ、Ｋ）は、インデックスが任意のインデックスＫのフレーム（分析フレームＦＲＡＭＥ１（Ｋ）及びＦＲＡＭＥ２（Ｋ）を構成する任意の周波数ｆ（周波数ｆ１〜ｆｍのいずれかの周波数）の成分におけるコヒーレンスを表しているものとする。
【００３６】
なお、ｃｏｅｆ（ｆ，Ｋ）を求める際に、信号Ｂ１（ｆ）の指向性の方向と信号Ｂ（ｆ）の指向性の方向が異なるものであれば、信号Ｂ１（ｆ）及び信号Ｂ２（ｆ）に係る指向性方向はそれぞれ、正面方向以外の任意の方向とするようにしてもよい。また、ｃｏｅｆ（ｆ，Ｋ）を算出する方法は、上記の算出方法に限定されるものではなく、例えば、特許文献１に記載される算出方法を適用することができる。
【００３７】
相関計算部１４は、正面抑圧信号生成部１２から平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）を取得し、コヒーレンス計算部１３からコヒーレンスＣＯＨ（Ｋ）を取得し、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）との相関係数ｃｏｒ（Ｋ）を算出する。
【００３８】
相関計算部１４が、正面方向以外に指向性を有する正面抑圧信号（平均正面抑圧信号）と、コヒーレンスとの相関係数を算出する意義を説明する。
【００３９】
ここでは、マイクｍ＿１及びマイクｍ＿２の正面方向に、目的音を発する音源が存在し、正面方向以外の方向（例えば、マイクｍ＿１及びマイクｍ＿２の左右方向の方向）から妨害音が到来するものとする。
【００４０】
例えば、「妨害音声が存在せず」、かつ、「目的音が存在する」場合、正面抑圧信号は、目的音成分の大きさに比例した信号値となる。ただし、図２のように、正面方向のゲインは、横方向のゲインと比較して小さいため、妨害音が存在する場合よりも小さい値となる。
【００４１】
また、コヒーレンスＣＯＨ（Ｋ）は、入力信号の到来方向と深い関係を持つ特徴量であり、２つの信号成分の相関と言い換えられる。これは、（６）式は、ある周波数成分についての相関を算出する式であり、（７）式は全ての周波数成分の相関値の平均を計算する式であるためである。そのため、コヒーレンスＣＯＨ（Ｋ）が小さい場合は、２つの信号成分の相関が小さい場合であり、反対に、コヒーレンスＣＯＨ（Ｋ）が大きい場合とは、２つの信号成分の相関が大きい場合と言い換えることができる。そして、コヒーレンスＣＯＨ（Ｋ）が小さい場合の入力信号は、到来方向が右又は左のいずれかに大きく偏っており、正面方向以外の方向から到来している信号といえる。一方、コヒーレンスＣＯＨ（Ｋ）が大きい場合の入力信号は、到来方向の偏りが少なく、正面方向から到来している信号であるといえる。
【００４２】
そうすると、「妨害音が存在せず」、かつ、「目的音が存在する」場合、コヒーレンスＣＯＨ（Ｋ）は大きい値となり、「妨害音が存在し」、かつ、「目的音が存在する」場合、コヒーレンスＣＯＨ（Ｋ）は小さい値となる。
【００４３】
以上の挙動を妨害音の有無に着目して整理すると、以下のような関係となる。
・「妨害音が存在せず」、かつ、「目的音が存在する」場合、コヒーレンスＣＯＨ（Ｋ）は大きな値となり、正面抑圧信号は目的音成分の大きさに比例した値となる
・「妨害音が存在する」場合、コヒーレンスＣＯＨ（Ｋ）が小さい値となり、正面抑圧信号は大きい値となる。
【００４４】
ところで、上記のような挙動の場合、正面抑圧信号とコヒーレンスＣＯＨ（Ｋ）との相関係数を導入すると、以下のようなことがいえる。
・「妨害音が存在しない」場合、相関係数は正の値となる
・「妨害音が存在する」場合、相関係数は負の値となる。
従って、正面抑圧信号とコヒーレンスとの相関係数の正負を観測するだけで、妨害音の有無を判断することができる。そして、この挙動を用いると、正面抑圧信号とコヒーレンスとの相関係数の値が「正」の場合、正面方向からの目的音のみの区間と判断できるので、妨害音の影響を受けることなく、マイクｍ＿１及びｍ＿２の感度差の校正ゲインを計算することができる。また、相関係数の値の正負を観測するだけで、目的音声区間を検出できるため、従来技術とは異なり閾値設定が容易になる。
【００４５】
以下では、相関計算部１４における、正面抑圧信号とコヒーレンスとの相関係数の算出処理を、図面を参照しながら詳細に説明する。
【００４６】
図３は、実施形態に係る相関計算部１４の構成を示すブロック図である。
【００４７】
図３において、相関計算部１４は、正面抑圧信号・コヒーレンス取得部３１、相関係数計算部３２、相関係数出力部３３を有する。
【００４８】
正面抑圧信号・コヒーレンス取得部３１は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）とを取得し、相関係数計算部３２が、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）とに基づいて、相関係数ｃｏｒ（Ｋ）を算出する。そして、相関係数出力部３３は、算出した相関係数ｃｏｒ（Ｋ）を校正ゲイン計算部１５に出力する。
【００４９】
ここで、相関係数ｃｏｒ（Ｋ）の算出方法は限定されるものではないが、例えば、非特許文献１に記載された計算方法を適用することができる。例えば、以下の式（９）を用いて、フレームごとに相関係数ｃｏｒ（Ｋ）を求める。なお、以下の（９）式において、Ｃｏｖ［ＡＶＥ＿Ｎ（Ｋ），ＣＯＨ（Ｋ）］は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）の共分散を示している。また、以下の（９）式において、σＡＶＥ＿Ｎ（Ｋ）は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）の標準偏差を示し、σＣＯＨ（Ｋ）は、コヒーレンスＣＯＨ（Ｋ）の標準偏差を示している。このようにして得られる相関係数ｃｏｒ（Ｋ）は、−１．０〜１．０の値をとる。
【数６】
2018032931.tif 000008
【００５０】
校正ゲイン計算部１５は、相関計算部１４から相関係数ｃｏｒ（Ｋ）を取得し、相関係数ｃｏｒ（Ｋ）の正負を観測し、相関係数ｃｏｒ（Ｋ）が「正」の区間の入力信号のみを用いて、マイクｍ＿１とマイクｍ＿２との校正ゲインを算出する。
【００５１】
図４は、実施形態に係る校正ゲイン計算部１５の構成を示すブロック図である。
【００５２】
図４において、校正ゲイン計算部１５は、相関係数及び入力信号受信部４１、校正ゲイン計算実行判定部４２、校正ゲイン計算部４３、校正ゲイン記憶部４４、校正ゲイン出力部４５を有する。
【００５３】
相関係数及び入力信号取得部４１は、相関計算部１４から相関係数ｃｏｒ（Ｋ）と、入力信号の分析フレームであるＦＲＡＭＥ１（Ｋ）、ＦＲＡＭＥ２（Ｋ）とを取得するものである。
【００５４】
校正ゲイン計算実行判定部４２は、校正ゲインの計算を実行するか否かを判定するため、相関係数ｃｏｒ（Ｋ）の値が「正」であるか又は「負」であるかを判定する。すなわち、相関係数ｃｏｒ（Ｋ）の値が「正」の場合、校正ゲイン計算実行判定部４２は、入力信号には妨害音が含まれていない目的音区間と判断し、校正ゲインの計算を実行する区間であることを判定する。一方、相関係数ｃｏｒ（Ｋ）の値が「負」の場合、校正ゲイン計算実行判定部４２は、入力信号には妨害音が含まれている区間と判断し、校正ゲインの計算を実行しない区間であると判定する。
【００５５】
校正ゲイン計算部４３は、校正ゲイン計算実行判定部４２による判定結果に応じて、マイクｍ＿１及びｍ＿２の感度差に対する校正ゲインＬＥＶＥＬ＿ＧＡＩＮ＿１ＣＨ及びＬＥＶＥＬ＿ＧＡＩＮ＿２ＣＨを計算するものである。
【００５６】
校正ゲイン計算部４３は、校正ゲイン計算実行判定部４２により相関係数ｃｏｒ（Ｋ）が「正」であると判定されると、校正ゲインＬＥＶＥＬ＿ＧＡＩＮ＿１ＣＨ及びＬＥＶＥＬ＿ＧＡＩＮ＿２ＣＨを計算する。一方、校正ゲイン計算部４３は、校正ゲイン計算実行判定部４２により相関係数ｃｏｒ（Ｋ）が「負」であると判定されると、校正ゲインを計算せず、校正ゲイン記憶部４４に記憶されている値を校正ゲインとして設定する。
【００５７】
ここで、校正ゲイン計算部４３による校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨ及びＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨの計算方法を説明する。
【００５８】
校正ゲイン計算部４３は、以下の（１０，１）式、（１０，２）式、(１１)式、（１２，１）式及び（１２，２）式を用いて、入力信号ｓ１に対する校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨ、及び、入力信号ｓ２に対する校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨを計算する。
【数７】
2018032931.tif 000009
【００５９】
（１０，１）式は、マイクｍ＿１が捕捉した入力信号ｓ１（ｎ）の現フレーム（Ｋ番目のフレーム）の全ての構成要素の絶対値の平均ＬＥＶＥＬ＿１ＣＨを算出しているものであり、この算出した値ＬＥＶＥＬ＿１ＣＨはマイクｍ＿１の感度を反映した値とみなすことができる。（１０，２）式は、マイクｍ＿２が捕捉した入力信号ｓ２（ｎ）の現フレーム（Ｋ番目のフレーム）の全ての構成要素の絶対値の平均ＬＥＶＥＬ＿２ＣＨを算出しているものであり、この算出した値ＬＥＶＥＬ＿２ＣＨはマイクｍ＿２の感度を反映した値とみなすことができる。
【００６０】
なお、例えば、所定フレーム数での各フレームの構成要素の絶対値の総和値を、マイク感度を反映した値ＬＥＶＥＬ＿１ＣＨ、ＬＥＶＥＬ＿２ＣＨとして用いるようにしても良い。また例えば、相関係数ｃｏｒ（Ｋ）が「正」である最新のＰ（Ｐ≦Ｋ）個のフレームを構成する全ての要素（信号成分）の絶対値の平均を、マイク感度を反映した値ＬＥＶＥＬ＿１ＣＨ、ＬＥＶＥＬ＿２ＣＨとして用いるようにしても良い。後者の場合、相関係数ｃｏｒ（Ｋ）が「正」であった最新のＰ−１個のフレームの構成要素の絶対値の総和値を保存しておくことにより、現フレーム（Ｋ番目のフレーム）ＦＲＡＭＥ１（Ｋ）、ＦＲＡＭＥ２（Ｋ）の情報が与えられたときに容易にマイク感度を反映した値ＬＥＶＥＬ＿１ＣＨ、ＬＥＶＥＬ＿２ＣＨを計算することができる。上述したように長期間の信号成分の絶対値の平均や総和値を算出することにより、瞬間的な入力信号の変動の影響を抑制してマイク感度を反映した値を算出することができる。
【００６１】
（１０，１）式及び（１０，２）式は、マイク感度を反映した値の算出式の一例であり、上述したように、その他、種々の算出式が適用できる。但し、マイクｍ＿１のマイク感度を反映した値ＬＥＶＥＬ＿１ＣＨの算出式と、マイクｍ＿２のマイク感度を反映した値ＬＥＶＥＬ＿２ＣＨの算出式とが同じ算出式であることを要する。
【００６２】
（１１）式は、２つのマイクｍ＿１及びｍ＿２の感度ＬＥＶＥＬ＿１ＣＨ及びＬＥＶＥＬ＿２ＣＨの平均ＡＶＥ＿ＬＥＶＥＬを、校正後のマイクｍ＿１及びｍ＿２の目標感度として算出している。なお、２つのマイクｍ＿１及びｍ＿２の感度ＬＥＶＥＬ＿１ＣＨ及びＬＥＶＥＬ＿２ＣＨの大きい方の値若しくは小さい方の値を目標感度とするようにしても良い。
【００６３】
（１２，１）式は、その右辺の分母ＬＥＶＥＬ＿１ＣＨを左辺に移項した式を考えると理解できるように、マイクｍ＿１の感度ＬＥＶＥＬ＿１ＣＨに校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨを乗算した値が目標感度ＡＶＥ＿ＬＥＶＥＬになるように、校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨを定める式になっている。同様に、（１２，２）式は、その右辺の分母ＬＥＶＥＬ＿２ＣＨを左辺に移項した式を考えると理解できるように、マイクｍ＿２の感度ＬＥＶＥＬ＿２ＣＨに校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨを乗算した値が目標感度ＡＶＥ＿ＬＥＶＥＬになるように、校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨを定める式になっている。
【００６４】
校正ゲイン記憶部４４は、校正ゲイン計算部４３が校正ゲインを計算しない場合に適用する校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨ（＝ＩＮＩＴ＿ＧＡＩＮ＿１ＣＨ）及びＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨ（＝ＩＮＩＴ＿ＧＡＩＮ＿２ＣＨ）を記憶しているものである。このような校正ゲインＩＮＩＴ＿ＧＡＩＮ＿１ＣＨ、ＩＮＩＴ＿ＧＡＩＮ＿２ＣＨとして、校正させない値１．０を適用しても良く、また、校正ゲイン計算部４３が計算した直近の値を適用するようにしても良い。
【００６５】
校正ゲイン出力部４５は、校正ゲイン計算部４３が計算で得た校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨ及びＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨ、若しくは、記憶部２４から読み出された校正ゲインＩＮＩＴ＿ＧＡＩＮ＿１ＣＨ及びＩＮＩＴ＿ＧＡＩＮ＿２ＣＨをそれぞれ、対応する校正ゲイン乗算部１６、１７に与えるものである。
【００６６】
第１校正ゲイン乗算部１６は、マイクｍ＿１からの入力信号ｓ１（ｎ）に、校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨを乗算して得た、校正後信号ｙ１（ｎ）を出力するものである。
【００６７】
第２校正ゲイン乗算部１７は、マイクｍ＿２からの入力信号ｓ２（ｎ）に、校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨを乗算して得た、校正後信号ｙ２（ｎ）を出力するものである。
【００６８】
（Ａ−２）実施形態の動作
次に、実施形態に係る音響信号処理装置１０における全体処理及び校正ゲインの計算処理の動作を、図面を参照しながら詳細に説明する。
【００６９】
マイクｍ＿１及びｍ＿２のそれぞれから図示しないＡＤ変換器を介して、１フレーム分の入力信号ｓ１（ｎ）及びｓ２（ｎ）がＦＦＴ部１１に入力される。
【００７０】
ＦＦＴ部１１は、１フレーム分の入力信号ｓ１（ｎ）及びｓ２（ｎ）に基づく分析フレームＦＲＡＭＥ１（Ｋ）及びＦＲＡＭＥ２（Ｋ）についてフーリエ変換し、周波数領域で示される信号Ｘ１（ｆ，Ｋ）及びＸ２（ｆ，Ｋ）を取得する。ＦＦＴ部１１により生成された信号Ｘ１（ｆ，Ｋ）及びＸ２（ｆ，Ｋ）が、正面抑圧信号生成部１２及びコヒーレンス計算部１３に与えられる。
【００７１】
正面抑圧信号生成部１２は、信号Ｘ１（ｆ，Ｋ）及びＸ２（ｆ，Ｋ）に基づいて、正面方向以外の方向に指向性を有する正面抑圧信号Ｎ（ｆ、Ｋ）を算出する。そして、正面抑圧信号生成部１２は、全周波数に亘って正面抑圧信号Ｎ（ｆ，Ｋ）を平均した、平均正面抑圧信号ＡＶＥ＿Ｎ（ｆ，Ｋ）を生成し、この平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）を相関計算部１４に与える。
【００７２】
一方、コヒーレンス計算部１３は、信号Ｘ１（ｆ，Ｋ）及びＸ２（ｆ，Ｋ）に基づいて、コヒーレンスＣＯＨを算出し、コヒーレンスＣＯＨを相関計算部１４に与える。
【００７３】
相関計算部１４は、平均正面抑圧信号ＡＶＥ＿Ｎ（ｆ，Ｋ）とコヒーレンスＣＯＨとを取得し、平均正面抑圧信号ＡＶＥ＿Ｎ（ｆ，Ｋ）とコヒーレンスＣＯＨとの相関係数ｃｏｒ（Ｋ）を算出し、この相関係数ｃｏｒ（Ｋ）を校正ゲイン計算部１５に与える。
【００７４】
校正ゲイン計算部１５は、相関係数ｃｏｒ（Ｋ）を取得し、この相関係数ｃｏｒ（Ｋ）の正負を観測し、その判断結果に応じて、各信号ｓ１（ｎ）及びｓ２（ｎ）に対する校正ゲインを算出する。また、校正ゲイン計算部１５は、信号ｓ１（ｎ）に対する校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨを第１校正ゲイン乗算部１６に出力し、信号ｓ２（ｎ）に対する校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨを第２校正ゲイン乗算部１７に出力する。
【００７５】
図５は、校正ゲイン計算部１５における処理動作を示すフローチャートである。
【００７６】
相関係数及び入力信号取得部４１は、相関係数部１４から相関係数ｃｏｒ（Ｋ）を取得し、入力信号ｓ１（ｎ）及びｓ２（ｎ）のＦＲＡＭＥ１（Ｋ）及びＦＲＡＭＥ２（Ｋ）を取得する（Ｓ５１）。
【００７７】
そして、校正ゲイン計算実行判定部４２が、相関係数ｃｏｒ（Ｋ）の値が正であるか又は負であるかを判定する（Ｓ５２）。
【００７８】
相関係数ｃｏｒ（Ｋ）が正の場合、正面方向以外の方向から到来した妨害音は存在せず、正面方向からの目的音区間とみなし、校正ゲイン計算部４３は、相関係数ｃｏｒ（Ｋ）、ＦＲＡＭＥ１（Ｋ）及びＦＲＡＭＥ２（Ｋ）を用いて、（１０，１）式、（１０，２）式、（１１）式、（１２，１）式、（１２，２）式に従って、信号ｓ１（ｎ）及び信号ｓ２（ｎ）に対する校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨ及びＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨを算出する（Ｓ５３）。このとき、校正ゲイン計算部４３は、算出した校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨ及びＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨをそれぞれ、校正ゲイン記憶部４４に記憶して、校正ゲイン記憶部４４に記憶される校正ゲインを更新する。
【００７９】
相関係数ｃｏｒ（Ｋ）が負の場合、正面方向以外の方向から到来した妨害音は存在するとみなし、校正ゲイン計算部４３は、校正ゲイン記憶部４４に記憶されている値を校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨ及びＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨとする（Ｓ５４）。
【００８０】
つまり、校正ゲイン記憶部４４に、校正ゲインの初期値ＩＮＩＴ＿ＧＡＩＮ＿１ＣＨ、ＩＮＩＴ＿ＧＡＩＮ＿２ＣＨが格納されている場合、ＩＮＩＴ＿ＧＡＩＮ＿１ＣＨをＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨとし、ＩＮＩＴ＿ＧＡＩＮ＿２ＣＨをＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨとする。若しくは、校正ゲイン記憶部４４に、最新の校正ゲインが記憶されている場合は、校正ゲイン記憶部４４に記憶されている最新の校正ゲインを、今回の校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨ及びＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨとする。
【００８１】
そして、校正ゲイン出力部４５は、校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨを第１校正ゲイン乗算部１６に出力し、校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨを第２校正ゲイン乗算部１７に出力する（Ｓ５５）。そして、校正ゲイン計算部１５は、インデックスＫを更新して（Ｓ５６）、Ｓ５１に移行して次のインデックスの校正ゲインの算出処理を行なう。
【００８２】
ここで、校正ゲイン計算部１５は、校正ゲインを一度計算した後は校正ゲインが変動することは無いので、定常的に校正ゲインを更新し続けることは演算量の無駄となるので、途中から更新を停止してもよい。つまり、マイクｍ＿１及びｍ＿２を有する音響信号処理装置１０が使用される環境で、初期段階に、マイクｍ＿１及びｍ＿２に対する校正ゲインを取得した後は、定常的な校正ゲインの更新を行なう必要はなく、適宜校正ゲインの算出が必要な場合に行なうようにしてもよい。
【００８３】
そして、第１校正ゲイン乗算部１６は、信号ｓ１（ｎ）に校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿１ＣＨを乗算し、校正後信号ｙ１（ｎ）を出力し、第２校正ゲイン乗算部１７は、信号ｓ２（ｎ）に校正ゲインＣＡＬＩＢ＿ＧＡＩＮ＿２ＣＨを乗算し、校正後信号ｙ２（ｎ）を出力する。
【００８４】
（Ａ−３）実施形態の効果
以上のように、この実施形態によれば、正面方向以外の方向から到達する妨害音が存在する場合、正面抑圧信号とＣＯＨとの相関係数が負であり、妨害音が存在しない場合、正面抑圧信号とＣＯＨとの相関係数が正となる、という特徴的な挙動を用いることで、妨害音声の影響を受けることなく、かつ、設計者にとって閾値設定が容易なマイク感度校正方法を実現することができる。
【００８５】
これにより、マイクアレイを用いた各種信号処理方法の前処理に、マイクｍ＿１及びｍ＿２に対する校正ゲインを算出する処理を適用することで、その後の音声処理性能の向上が期待できる。
【００８６】
（Ｂ）他の実施形態
上述した実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
【００８７】
（Ｂ−１）上述した実施形態において、相関計算部が、正面抑圧信号とコヒーレンスとの特徴量として相関係数を算出する場合を例示したが、正面抑圧信号とコヒーレンスとの特徴量として共分散の値を算出しても、上述した実施形態と同様な効果が得られる。
【００８８】
（Ｂ−２）上述した実施形態では、本発明に係る音響信号処理装置は、複数のマイクを備えた音声処理機能（例えば、音声認識処理など）を有する装置であれば、様々な装置に適用することができ、例えば、スマートフォン、タブレット端末、テレビ会議端末、カーナビゲーションシステム、コールセンタ端末、ロボット、音信号をセンサ信号として使用する装置等に広く適用できる。
【００８９】
また、例えば、本発明の音響信号処理装置が通信機能を備える装置に搭載され、当該装置が、ネットワークを通じて、所定の音声処理機能を有するサーバに、校正後信号を送信するようにしてもよい。
【００９０】
さらに、例えば、複数のマイクを備えた通信機能を有する装置が、ネットワークを通じて、本発明の音響信号処理装置を搭載したサーバに、各マイクの入力信号を送信するようにしてもよい。この場合、音響信号処理装置を搭載したサーバが、上述した実施形態と同様に、正面抑圧信号とコヒーレンスとの相関係数に応じて、各入力信号に対する校正ゲインを算出することができる。
【００９１】
（Ｂ−３）上述した実施形態では、マイクが２個である場合を例示したが、３個以上のマイクのそれぞれから入力信号を取得する装置にも本発明を適用することができる。
【符号の説明】
【００９２】
１０…音響信号処理装置、ｍ＿１及びｍ＿２…マイク、１１・・ＦＴＴ部、１２…正面抑圧信号生成部、１３…コヒーレンス計算部、
１４…相関計算部、３１…正面抑圧信号、コヒーレンス取得部、３２…相関係数計算部、３３…相関係数出力部、
１５…校正ゲイン計算部、４１…相関係数及び入力信号取得部、４２…校正ゲイン計算実行判定部、４３…校正ゲイン計算部、４４…校正ゲイン記憶部、４５…校正ゲイン出力部、
１６…第１校正ゲイン乗算部、１７…第２校正ゲイン乗算部。
【図１】
2018032931.tif 000010
【図２】
2018032931.tif 000011
【図３】
2018032931.tif 000012
【図４】
2018032931.tif 000013
【図５】
2018032931.tif 000014