(57)【要約】【課題】高精度に目的音信号を強調する。【解決手段】音信号処理装置は、係数導出部２０Ｇを備える。係数導出部２０Ｇは、目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる目的音信号を強調するための空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。【選択図】図２
2020003751.tif 000002
【特許請求の範囲】
【請求項１】
目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出部、
を備える音信号処理装置。
【請求項２】
前記係数導出部は、
複数のマイクから取得した前記第１音信号に含まれる前記目的音信号を強調した前記強調音信号に基づいて、前記空間フィルタ係数を導出する、
請求項１に記載の音信号処理装置。
【請求項３】
前記強調音信号に基づいて、目的音区間を検出する検出部と、
前記目的音区間と前記第１音信号とに基づいて、前記第１音信号における前記目的音区間の第１空間相関行列と、前記第１音信号における前記目的音区間以外の非目的音区間の第２空間相関行列と、を導出する相関導出部と、
を備え、
前記係数導出部は、前記第１空間相関行列および前記第２空間相関行列に基づいて、前記空間フィルタ係数を導出する、
請求項１または請求項２に記載の音信号処理装置。
【請求項４】
前記検出部は、
前記目的音信号に対する非目的音信号のパワーの比が前記第１音信号より大きい第２音信号と、前記強調音信号と、に基づいて、前記目的音区間を検出する、
請求項３に記載の音信号処理装置。
【請求項５】
前記検出部は、
前記強調音信号に基づいて、前記目的音区間と、前記目的音と前記非目的音が重複する重複区間と、を検出し、
前記相関導出部は、
前記目的音区間と前記重複区間と前記第１音信号とに基づいて、前記第１空間相関行列と、前記第２空間相関行列と、を導出する、
請求項３または請求項４に記載の音信号処理装置。
【請求項６】
前記相関導出部は、
前記目的音区間の前記第１音信号について、過去に導出した前記第１空間相関行列を、該第１音信号と該第１音信号をエルミート転置した転置信号との乗算値によって表される最新の前記第１空間相関行列で補正することによって、新たな前記第１空間相関行列を導出し、
前記非目的音区間の前記第１音信号について、過去に導出した前記第２空間相関行列を、該第１音信号と該第１音信号をエルミート転置した転置信号との乗算値によって表される最新の前記第２空間相関行列で補正することによって、新たな前記第２空間相関行列を導出する、
請求項３〜請求項５の何れか１項に記載の音信号処理装置。
【請求項７】
前記係数導出部は、
前記第１空間相関行列と前記第２空間相関行列の逆行列との積の最大固有値に対応する固有ベクトルを、前記空間フィルタ係数として導出する、
請求項５または請求項６に記載の音信号処理装置。
【請求項８】
前記強調音信号に基づいて、目的音区間を検出する検出部と、
前記第１音信号を目的音成分と非目的音成分に分離する分離部と、
前記目的音区間と、前記目的音成分と、前記非目的音成分と、に基づいて、前記第１音信号における前記目的音成分の第３空間相関行列と、前記第１音信号における前記非目的音成分の第４空間相関行列と、を導出する相関導出部と、
を備え、
前記係数導出部は、前記第３空間相関行列および前記第４空間相関行列に基づいて、前記空間フィルタ係数を導出する、
請求項１または請求項２に記載の音信号処理装置。
【請求項９】
前記相関導出部は、
過去に導出した前記第３空間相関行列を、前記目的音成分と前記目的音成分をエルミート転置した転置成分との乗算値によって表される最新の前記第３空間相関行列で補正することによって、新たな前記第３空間相関行列を導出し、
過去に導出した前記第４空間相関行列を、前記非目的音成分と前記非目的音成分をエルミート転置した転置成との乗算値によって表される最新の前記第４空間相関行列で補正することによって、新たな前記第４空間相関行列を導出する、
請求項８に記載の音信号処理装置。
【請求項１０】
前記係数導出部は、
前記第３空間相関行列と前記第４空間相関行列の逆行列との積の最大固有値に対応する固有ベクトルを、前記空間フィルタ係数として導出する、
請求項９に記載の音信号処理装置。
【請求項１１】
目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出するステップを含む、
音信号処理方法。
【請求項１２】
目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出するステップを、
コンピュータに実行させるためのプログラム。
【請求項１３】
目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出部と、
前記空間フィルタ係数を用いて、前記第１音信号に含まれる目的音を強調した前記強調音信号を生成する生成部と、
前記強調音信号を認識する認識部と、
を備える音信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音信号処理装置、音信号処理方法、およびプログラムに関する。
【背景技術】
【０００２】
複数の音源から発せられた音の音信号に含まれる目的音信号を強調する技術が知られている。例えば、マイクで観測した音信号の特徴量に基づいて算出したＳＮ比最大化ビームフォーマを、音信号に含まれる目的音信号を強調するためのフィルタとして用いる技術が開示されている。特徴量として、話者方向やマイク間の音声到達時間差を表すベクトルを用いている。
【０００３】
従来では、観測した音信号から特徴量を抽出し、特徴量から目的音信号を強調するためのフィルタを算出しており、高精度に目的音信号を強調することが困難な場合があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４８９１８０１号公報
【特許文献２】特許第５０４４５８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、高精度に目的音信号を強調することができる、音信号処理装置、音信号処理方法、およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の音信号処理装置は、目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出部を備える。
【図面の簡単な説明】
【０００７】
【図１】音信号処理システムの模式図。
【図２】音信号処理部の機能的構成の模式図。
【図３】音信号処理のフローチャート。
【図４】音信号処理システムの模式図。
【図５】音信号処理部の機能的構成の模式図。
【図６】音信号処理のフローチャート。
【図７】音信号処理システムの模式図。
【図８】ハードウェア構成の説明図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、本実施の形態の詳細を説明する。
【０００９】
（第１の実施の形態）
図１は、本実施の形態の音信号処理システム１の一例を示す模式図である。
【００１０】
音信号処理システム１は、音信号処理装置１０と、第１マイク１４と、第２マイク１６と、を備える。音信号処理装置１０と、第１マイク１４および第２マイク１６とは、データや信号を授受可能に接続されている。
【００１１】
音信号処理装置１０は、１または複数の音源１２から発せられた音の音信号を処理する。
【００１２】
音源１２は、音の発生源である。音源１２は、例えば、人および人以外の動物などの生物や、楽器などの非生物であるが、これらに限定されない。本実施の形態では、音源１２が人である場合を一例として説明する。このため、本実施の形態では、音が、音声である場合を一例として説明する。なお、音の種類は限定されない。また、以下では、人を、話者と称する場合がある。
【００１３】
本実施の形態では、音信号処理装置１０は、複数の音源１２から発せられた音を含む音信号を処理し、音信号に含まれる目的音信号を強調する。複数の音源１２は、目的音源１２Ａと、非目的音源１２Ｂと、に分類される。目的音源１２Ａは、目的音を発する音源１２である。目的音とは、強調対象の音である。目的音信号とは、目的音を示す信号である。目的音信号は、例えば、スペクトルによって表される。非目的音源１２Ｂは、非目的音を発する音源１２である。非目的音は、目的音以外の音である。
【００１４】
本実施の形態では、二人の話者である目的音源１２Ａと非目的音源１２Ｂが、テーブルＴを挟んで会話する環境を想定する。本実施の形態は、例えば、非目的音源１２Ｂが店員、目的音源１２Ａが顧客であって、これらの話者の会話を示す音信号から、一方の話者である目的音源１２Ａの目的音信号を強調する用途を想定して説明する。なお、音源１２の数や音源１２の配置は、これらに限定されない。また、想定環境は、この環境に限定されない。
【００１５】
第１マイク１４および第２マイク１６は、音を集音する。本実施の形態では、第１マイク１４および第２マイク１６は、音源１２から発せられた音を集音し、音信号を音信号処理装置１０へ出力する。
【００１６】
第１マイク１４は、少なくとも目的音を含む音を集音するためのマイクである。言い換えると、第１マイク１４は、目的音源１２Ａから発せられた目的音を少なくとも集音するためのマイクである。
【００１７】
第１マイク１４は、集音した音を示す音信号として、第３音信号を音信号処理装置１０へ出力する。第３音信号は、非目的音信号と目的音信号とを含む音信号である。非目的音信号とは、非目的音を示す信号である。非目的音信号は、例えば、スペクトルによって表される。第１マイク１４は、音源１２（目的音源１２Ａ、非目的音源１２Ｂ）から発せられた音を集音し、第３音信号を音信号処理装置１０へ出力可能な位置に予め配置されている。本実施の形態では、第１マイク１４は、テーブルＴ上に配置されている場合を想定する。
【００１８】
本実施の形態では、音信号処理システム１は、複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）を備える。このため、音信号処理装置１０には、複数の第１マイク１４から、複数の第３音信号が出力される。なお、複数の第３音信号を一つにまとめた音信号を、第１音信号と称して説明する。
【００１９】
第１マイク１４の数は、集音対象の音源１２の数以上であればよい。上述したように、本実施の形態では、音信号処理システム１は、１つの目的音源１２Ａと、１つの非目的音源１２Ｂと、の合計２つの音源１２を想定している。この場合、第１マイク１４の数は、２以上であればよい。本実施の形態では、音信号処理システム１は、４つの第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）を備える場合を一例として説明する。
【００２０】
複数の第１マイク１４は、複数の音源１２の各々からの音到達時間差が互いに異なる。すなわち、複数の第１マイク１４は、上記音到達時間差が互いに異なるように、配置位置を予め調整されている。
【００２１】
第２マイク１６は、少なくとも非目的音を集音するためのマイクである。言い換えると、第２マイク１６は、非目的音源１２Ｂから発せられた非目的音を少なくとも集音するためのマイクである。
【００２２】
第２マイク１６は、集音した音を示す音信号として、第２音信号を音信号処理装置１０へ出力する。第２音信号は、目的音信号に対する非目的音信号のパワーの比が、第１音信号（第３音信号）より大きい音信号である。第２音信号は、目的音信号に対する非目的音信号のパワーの比が、第１音信号（第３音信号）より大きく、且つ、目的音信号のパワーに比べて非目的音信号のパワーの大きい音信号であることが好ましい。
【００２３】
本実施の形態では、第２マイク１６は、第１マイク１４に比べて非目的音源１２Ｂに近い位置に配置されている。例えば、第２マイク１６は、ヘッドセットマイクや、ピンマイクである。本実施の形態では、第２マイク１６は、非目的音源１２Ｂである話者の口元で音声を集音可能となるように、非目的音源１２Ｂに装着されている。
【００２４】
音信号処理装置１０は、ＡＤ変換部１８と、音信号処理部２０と、出力部２２と、を備える。なお、音信号処理装置１０は、少なくとも音信号処理部２０を備えた構成であればよく、ＡＤ変換部１８および出力部２２の少なくとも一方を別体として構成してもよい。
【００２５】
ＡＤ変換部１８は、複数の第１マイク１４から複数の第３音信号を受付ける。また、ＡＤ変換部１８は、第２マイク１６から第２音信号を受付ける。ＡＤ変換部１８は、複数の第３音信号および第２音信号の各々をデジタル信号に変換し、音信号処理部２０へ出力する。
【００２６】
音信号処理部２０は、ＡＤ変換部１８から受付けた複数の第３音信号および第２音信号を用いて、複数の第３音信号を１つにまとめた第１音信号に含まれる目的音信号を強調し、強調音信号を出力部２２へ出力する。
【００２７】
出力部２２は、音信号処理部２０から受付けた強調音信号を出力する装置である。出力部２２は、例えば、スピーカ、通信装置、表示装置、録音装置、記録装置、などである。スピーカは、強調音信号によって表される音を出力する。通信装置は、強調音信号を、ネットワーク等を介して外部装置等へ送信する。表示装置は、強調音信号を示す情報を表示する。録音装置は、強調音信号を記憶する。録音装置は、例えば、ＩＣレコーダやパーソナルコンピュータ等である。記録装置は、強調音信号によって示される音を公知の方法でテキストに変換して記録する装置である。なお、出力部２２は、音信号処理部２０から受付けた強調音信号をアナログ信号に変換した後に出力、送信、記憶、または記録してもよい。
【００２８】
次に、音信号処理部２０について詳細を説明する。
【００２９】
図２は、音信号処理部２０の機能的構成の一例を示す模式図である。
【００３０】
音信号処理部２０は、変換部２０Ａと、変換部２０Ｂと、検出部２０Ｃと、相関導出部２０Ｄと、第１相関記憶部２０Ｅと、第２相関記憶部２０Ｆと、係数導出部２０Ｇと、生成部２０Ｈと、逆変換部２０Ｉと、を備える。
【００３１】
変換部２０Ａ、変換部２０Ｂ、検出部２０Ｃ、相関導出部２０Ｄ、係数導出部２０Ｇ、生成部２０Ｈ、および逆変換部２０Ｉは、例えば、１または複数のプロセッサにより実現される。例えば上述の各部は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上述の各部は、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのプロセッサ、すなわちハードウェアにより実現してもよい。上述の各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
【００３２】
第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆは、各種情報を記憶する。第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆは、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、光ディスク、メモリカード、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの一般的に利用されているあらゆる記憶媒体により構成することができる。また、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆは、物理的に異なる記憶媒体としてもよいし、物理的に同一の記憶媒体の異なる記憶領域として実現してもよい。さらに、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆの各々は、物理的に異なる複数の記憶媒体により実現してもよい。
【００３３】
変換部２０Ａは、ＡＤ変換部１８を介して第２マイク１６から受付けた第２音信号を短時間フーリエ変換（ＳＴＦＴ：Ｓｈｏｒｔ−Ｔｉｍｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）し、周波数スペクトルＸ１（ｆ，ｎ）によって表される第２音信号を検出部２０Ｃへ出力する。なお、ｆは、周波数ビンの番号を示し、ｎは、フレームの番号を表す。
【００３４】
例えば、サンプリング周波数を１６ｋＨｚ、フレーム長を２５６サンプル、フレームシフトを１２８サンプルに設定する。この場合、変換部２０Ａは、第２音信号に２５６サンプルのハニング窓をかけた後に、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を行うことで、第２音信号を周波数スペクトルに変換する。そして、この周波数スペクトルの低域と高域の対称性を考慮して、該周波数スペクトルにおける、ｆが０以上１２８以下の範囲の１２９点の複素数値を、第２音信号における、第ｎフレームの周波数スペクトルＸ１（ｆ，ｎ）として算出する。そして、変換部２０Ａは、周波数スペクトルＸ１（ｆ，ｎ）によって表される第２音信号を検出部２０Ｃへ出力する。
【００３５】
変換部２０Ｂは、ＡＤ変換部１８を介して複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）から受付けた複数の第３音信号の各々を、短時間フーリエ変換（ＳＴＦＴ）し、周波数スペクトルＸ２，１（ｆ，ｎ）、周波数スペクトルＸ２，２（ｆ，ｎ）、周波数スペクトルＸ２，３（ｆ，ｎ）、周波数スペクトルＸ２，４（ｆ，ｎ）の各々によって表される複数の第３音信号を生成する。
【００３６】
周波数スペクトルＸ２，１（ｆ，ｎ）は、第１マイク１４Ａから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ２，２（ｆ，ｎ）は、第１マイク１４Ｂから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ２，３（ｆ，ｎ）は、第１マイク１４Ｃから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ２，４（ｆ，ｎ）は、第１マイク１４Ｄから受付けた第３音信号を短時間フーリエ変換したものである。
【００３７】
なお、複数の第３音信号の各々を示す上記複数の周波数スペクトルをまとめた多次元ベクトル（本実施の形態では４次元ベクトル）を、以下では、第１音信号を示す周波数スペクトルＸ２（ｆ，ｎ）と称して説明する。言い換えると、第１音信号は、周波数スペクトルＸ２（ｆ，ｎ）によって表される。第１音信号を示す周波数スペクトルＸ２（ｆ，ｎ）は、下記式（１）で表される。
【００３８】
【数１】
2020003751.tif 000003
【００３９】
変換部２０Ｂは、第１音信号を示す周波数スペクトルＸ２（ｆ，ｎ）を、相関導出部２０Ｄおよび生成部２０Ｈへ出力する。
【００４０】
第１相関記憶部２０Ｅは、第１空間相関行列φｘｘ（ｆ，ｎ）を記憶する。第１空間相関行列φｘｘは、第１音信号における目的音区間の空間相関行列を示す。目的音区間とは、第１音信号における、目的音を含む区間を示す。区間は、時系列方向における、特定の期間を示す。
【００４１】
上述したように、本実施の形態では、第１音信号は、４次元ベクトルを示す周波数スペクトルＸ２（ｆ，ｎ）によって表される。このため、第１空間相関行列φｘｘ（ｆ，ｎ）は、周波数ビン毎の４×４の複素数の行列によって表される。
【００４２】
初期状態では、第１相関記憶部２０Ｅは、ゼロ行列（φｘｘ（ｆ，０）＝０）で初期化された第１空間相関行列φｘｘ（ｆ，ｎ）を記憶する。第１空間相関行列φｘｘ（ｆ，ｎ）は、後述する相関導出部２０Ｄによって更新される。
【００４３】
第２相関記憶部２０Ｆは、第２空間相関行列φＮＮ（ｆ，ｎ）を記憶する。第２空間相関行列φＮＮは、第１音信号における非目的音区間の空間相関行列を示す。非目的音区間とは、第１音信号における、目的音区間以外の区間を示す。
【００４４】
第１空間相関行列φｘｘ（ｆ，ｎ）と同様に、本実施の形態では、第２空間相関行列φＮＮ（ｆ，ｎ）は、周波数ビン毎の４×４の複素数の行列によって表される。
【００４５】
初期状態では、第２相関記憶部２０Ｆは、ゼロ行列（φＮＮ（ｆ，０）＝０）で初期化された第２空間相関行列φＮＮ（ｆ，ｎ）を記憶する。第２空間相関行列φＮＮ（ｆ，ｎ）は、後述する相関導出部２０Ｄの処理によって更新される。
【００４６】
次に、検出部２０Ｃ、相関導出部２０Ｄ、係数導出部２０Ｇ、生成部２０Ｈ、および逆変換部２０Ｉについて説明する。本実施の形態では、音信号処理部２０は、音信号処理開始時に初期処理を行った後に、定常処理を実行する。相関導出部２０Ｄ、係数導出部２０Ｇ、および生成部２０Ｈは、初期処理時と定常処理時で、異なる処理を実行する。
【００４７】
まず、初期処理における、相関導出部２０Ｄ、係数導出部２０Ｇ、および生成部２０Ｈの機能について説明する。
【００４８】
初期処理とは、音信号処理部２０が、音信号処理の開始時に実行する処理である。初期処理では、音信号処理部２０は、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆに記憶されている、ゼロ行列で初期化されている第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）を更新することで、これらの空間相関行列に初期値を設定する。
【００４９】
係数導出部２０Ｇは、第１音信号に含まれる目的音信号を強調するための、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。係数導出部２０Ｇは、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。
【００５０】
上述したように、本実施の形態では、第１音信号は、４次元ベクトルを示す周波数スペクトルＸ２（ｆ，ｎ）によって表される。このため、係数導出部２０Ｇは、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）に基づいて、複素数の４次元ベクトルである空間フィルタ係数Ｆ（ｆ，ｎ）を算出する。空間フィルタ係数Ｆ（Ｆ、ｎ）は、下記式（２）で表される。
【００５１】
【数２】
2020003751.tif 000004
【００５２】
但し、初期処理においては、係数導出部２０Ｇは、空間フィルタ係数Ｆ（ｆ，ｎ）＝［０，０，０，１］を、空間フィルタ係数Ｆ（ｆ，ｎ）として導出するものとする。
【００５３】
生成部２０Ｈは、係数導出部２０Ｇで導出された空間フィルタ係数Ｆ（ｆ，ｎ）を用いて、周波数スペクトルＸ２（ｆ，ｎ）によって表される第１音信号に含まれる目的音信号を強調した、強調音信号を生成する。
【００５４】
詳細には、生成部２０Ｈは、下記式（３）を用いて、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号を生成する。
【００５５】
【数３】
2020003751.tif 000005
【００５６】
すなわち、生成部２０Ｈは、周波数スペクトルＸ２（ｆ，ｎ）と、空間フィルタ係数Ｆ（ｆ，ｎ）をエルミート転置した転置行列と、の積を、強調音信号を示す出力スペクトルＹ（ｆ，ｎ）として生成する。なお、初期処理では、生成部２０Ｈは、Ｙ（ｆ，ｎ）＝Ｘ２，４（ｆ，ｎ）となる強調音信号を出力する。すなわち、初期処理では、生成部２０Ｈは、第１マイク１４Ｄで集音された第３音信号の周波数スペクトルを、強調音信号として出力する。なお、初期処理で強調音信号として用いる第１マイク１４は、複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）の内の１つの第１マイク１４であればよく、第１マイク１４Ｄに限定されない。
【００５７】
生成部２０Ｈは、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号を、逆変換部２０Ｉおよび検出部２０Ｃへ出力する。
【００５８】
検出部２０Ｃは、強調音信号に基づいて、目的音区間を検出する。本実施の形態では、検出部２０Ｃは、第２音信号と強調音信号に基づいて、目的音区間を検出する。
【００５９】
詳細には、検出部２０Ｃは、周波数スペクトルＸ１（ｆ，ｎ）によって表される第２音信号と、生成部２０Ｈから受付けた出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号と、に基づいて、目的音区間を検出する。
【００６０】
目的音区間は、目的音源１２Ａが音を発しているか否かをフレーム番号毎に示す関数ｕ２（ｎ）によって表される。
【００６１】
ｕ２（ｎ）＝１は、第ｎフレームで目的音源１２Ａが音を発している事を示す。第ｎフレームとは、ｎ番目のフレームを示す。ｕ２（ｎ）＝０は、第ｎフレームで目的音源１２Ａが音を発していない事を示す。
【００６２】
具体的には、関数ｕ２は、下記式（４）によって表される。
【００６３】
【数４】
2020003751.tif 000006
【００６４】
式（４）中、ｐＹ（ｎ）およびｐＸ（ｎ）は、下記式（５）および式（６）によって表される。すなわち、ｐＹ（ｎ）およびｐＸ（ｎ）は、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号と、周波数スペクトルＸ１（ｆ，ｎ）によって表される第２音信号と、の各々のパワーに依存する。
【００６５】
【数５】
2020003751.tif 000007
【００６６】
ここで、初期処理の段階では、ｐＹ（ｎ）には、目的音源１２Ａと非目的音源１２Ｂの双方の音に応じたスペクトルが含まれる。このため、式（４）中、閾値ｔ１は、目的音源１２Ａまたは非目的音源１２Ｂから音が発せられている場合に、ｔ１＜ＰＹ（ｎ）の関係を満たすように、予め設定する。
【００６７】
また、目的音源１２Ａと非目的音源１２Ｂの内、非目的音源１２Ｂが音を発している場合には、ｐＸ（ｎ）は、ｐｙ（ｎ）に比べて相対的に大きくなる。このため、式（４）中、閾値ｔ２は、非目的音源１２Ｂが音を発している場合に、ｐＸ（ｎ）−ｐｙ（ｎ）≧ｔ２の関係を満たすように、予め設定する。
【００６８】
これらの設定により、関数ｕ２（ｎ）は、目的音源１２Ａのみが音を発している第ｎフレームでは値“１”を示す。そして、関数ｕ２は、目的音源１２Ａが音を発していない第ｎフレームでは値“０”を示す。
【００６９】
このため、検出部２０Ｃは、ｕ２（ｎ）＝１で表される区間を目的音区間として検出し、ｕ２（ｎ）＝０で表される区間を非目的音区間として検出する。
【００７０】
相関導出部２０Ｄは、検出部２０Ｃで検出された目的音区間と、変換部２０ＢおよびＡＤ変換部１８を介して第１マイク１４から受付けた第１音信号と、に基づいて、第１空間相関行列φｘｘ（ｆ，ｎ）と、第２空間相関行列φＮＮ（ｆ，ｎ）と、を導出する。そして、相関導出部２０Ｄは、導出した第１空間相関行列φｘｘ（ｆ，ｎ）を第１相関記憶部２０Ｅへ記憶することで、第１空間相関行列φｘｘ（ｆ，ｎ）を更新する。同様に、相関導出部２０Ｄは、導出した第２空間相関行列φＮＮ（ｆ，ｎ）を第２相関記憶部２０Ｆへ記憶することで、第２空間相関行列φＮＮ（ｆ，ｎ）を更新する。
【００７１】
詳細には、相関導出部２０Ｄは、ｕ２（ｎ）＝１で表される区間（第ｎフレーム）については、下記式（７）により、第１空間相関行列φｘｘ（ｆ，ｎ）を導出および更新し、第２空間相関行列φＮＮ（ｆ，ｎ）は更新しない。
【００７２】
一方、相関導出部２０Ｄは、ｕ２（ｎ）＝０で表される区間（第ｎフレーム）については、下記式（８）により、第２空間相関行列φＮＮ（ｆ，ｎ）を導出および更新し、第１空間相関行列φｘｘ（ｆ，ｎ）は更新しない。
【００７３】
【数６】
2020003751.tif 000008
【００７４】
式（７）および式（８）中、αは、０以上１未満の値である。αの値が１に近い値であるほど、過去に導出した第１空間相関行列φｘｘ（ｆ，ｎ）の重みが、最新の第１空間相関行列φｘｘ（ｆ，ｎ）に比べて大きい事を意味する。αの値は、予め設定すればよい。αは、例えば、０．９５などとすればよい。
【００７５】
すなわち、相関導出部２０Ｄは、目的音区間の第１音信号について、過去に導出した第１空間相関行列φｘｘ（ｆ，ｎ）を、該第１音信号と該第１音信号をエルミート転置した転置信号との乗算値によって表される最新の第１空間相関行列φｘｘ（ｆ，ｎ）で補正することによって、新たな第１空間相関行列φｘｘ（ｆ，ｎ）を導出する。なお、目的区間の第１音信号とは、第１音信号における、目的区間の音信号を意味する。
【００７６】
相関導出部２０Ｄは、第１相関記憶部２０Ｅに記憶済の第１空間相関行列φｘｘ（ｆ，ｎ）を、過去に導出した第１空間相関行列φｘｘ（ｆ，ｎ）として用いればよい。第１相関記憶部２０Ｅには、１つの第１空間相関行列φｘｘ（ｆ，ｎ）のみが記憶され、順次、相関導出部２０Ｄによって更新される。
【００７７】
また、相関導出部２０Ｄは、非目的音区間の第１音信号について、過去に導出した第２空間相関行列φＮＮ（ｆ，ｎ）を、該第１音信号と該第１音信号をエルミート転置した転置信号との乗算値によって表される最新の第２空間相関行列φＮＮ（ｆ，ｎ）で補正することによって、新たな第２空間相関行列φＮＮ（ｆ，ｎ）を導出する。なお、非目的区間の第１音信号とは、第１音信号における、非目的区間の音信号を意味する。
【００７８】
相関導出部２０Ｄは、第２相関記憶部２０Ｆに記憶済の第２空間相関行列φＮＮ（ｆ，ｎ）を、過去に導出した第２空間相関行列φＮＮ（ｆ，ｎ）として用いればよい。第２相関記憶部２０Ｆには、１つの第２空間相関行列φＮＮ（ｆ，ｎ）のみが記憶されるものとし、順次、相関導出部２０Ｄによって更新される。
【００７９】
次に、定常処理における、相関導出部２０Ｄ、係数導出部２０Ｇ、および生成部２０Ｈの機能について説明する。定常処理とは、上記初期処理の後に実行される処理である。
【００８０】
なお、音信号処理部２０は、初期処理を所定時間実行した後に定常処理へ移行してもよいし、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）が所定回数更新されたときに定常処理へ移行してもよい。
【００８１】
まず、定常処理における係数導出部２０Ｇの機能を説明する。初期処理では、係数導出部２０Ｇは、空間フィルタ係数Ｆ（ｆ，ｎ）として、空間フィルタ係数Ｆ（ｆ，ｎ）＝［０，０，０，１］を導出した。
【００８２】
定常処理では、係数導出部２０Ｇは、目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる目的音信号を強調するための空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。
【００８３】
上述したように、第１音信号は、複数の第１マイク１４から取得した複数の第３音信号からなる。このため、係数導出部２０Ｇは、複数の第１マイク１４から出力された複数の第３信号からなる第１音信号に含まれる目的音信号を強調した強調音信号に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。
【００８４】
詳細には、係数導出部２０Ｇは、相関導出部２０Ｄによって更新された第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。
【００８５】
係数導出部２０Ｇは、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆから第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）を読取り、空間フィルタ係数Ｆ（ｆ，ｎ）の導出に用いればよい。
【００８６】
ここで、定常処理の段階で、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆに記憶されている第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）は、相関導出部２０Ｄによって更新済の空間相関行列である。すなわち、これらの空間相関行列は、強調音信号に基づいて検出された目的音区間を用いて、相関導出部２０Ｄによって更新された空間相関行列である。このため、係数導出部２０Ｇは、強調音信号に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出することとなる。
【００８７】
詳細には、係数導出部２０Ｇは、第１空間相関行列φｘｘ（ｆ，ｎ）と第２空間相関行列φＮＮ（ｆ，ｎ）の逆行列との積によって表される行列の、最大固有値に対応する固有ベクトルＦＳＮＲ（ｆ，ｎ）を導出する。そして、係数導出部２０Ｇは、固有ベクトルＦＳＮＲ（ｆ，ｎ）を、空間フィルタ係数Ｆ（ｆ，ｎ）として導出する（Ｆ（ｆ，ｎ）＝ＦＳＮＲ（ｆ，ｎ））。
【００８８】
固有ベクトルＦＳＮＲ（ｆ，ｎ）は、目的音と非目的音とのパワー比を最大化するＭＡＸ−ＳＮＲ（Ｍａｘｉｍｕｍ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ）ビームフォーマを構成する。
【００８９】
なお、係数導出部２０Ｇは、各周波数ビンのパワーを調整することで音質を改善するポストフィルタｗ（ｆ，ｎ）を追加し、下記式（９）を用いて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出してもよい。
【００９０】
【数７】
2020003751.tif 000009
【００９１】
ポストフィルタｗ（ｆ，ｎ）は、下記式（１０）で表される。
【００９２】
【数８】
2020003751.tif 000010
【００９３】
次に、生成部２０Ｈについて説明する。定常処理では、生成部２０Ｈは、初期処理時と同様に、係数導出部２０Ｇで導出された空間フィルタ係数Ｆ（ｆ，ｎ）を用いて、周波数スペクトルＸ２（ｆ，ｎ）によって表される第１音信号に含まれる目的音信号を強調した、強調音信号を生成する。すなわち、生成部２０Ｈは、上記式（３）を用いて、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号を生成する。
【００９４】
生成部２０Ｈは、生成した強調音信号を、逆変換部２０Ｉおよび検出部２０Ｃへ出力する。
【００９５】
逆変換部２０Ｉは、生成部２０Ｈから受付けた強調音信号を逆短時間フーリエ変換（ＩＳＴＦＴ：Ｉｎｖｅｒｓｅ  Ｓｈｏｒｔ−Ｔｉｍｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）し、出力部２２へ出力する。
【００９６】
すなわち、逆変換部２０Ｉは、目的音源１２Ａから発せられた目的音の目的音信号が強調され非目的音信号が抑圧された強調信号を、時間領域の音波形に変換する。
【００９７】
具体的には、逆変換部２０Ｉは、強調信号を示す出力スペクトルＹ（ｆ，ｎ）の対称性を用いて、出力スペクトルＹ（ｆ，ｎ）から２５６点のスペクトルを生成し、逆フーリエ変換を行う。次に、逆変換部２０Ｉは、合成窓関数を適用し、前フレームの出力波形とフレームシフト分ずらして重畳することにより、音波形を生成すればよい。
【００９８】
次に、検出部２０Ｃについて説明する。初期処理時には、検出部２０Ｃは、目的音区間を検出した。
【００９９】
定常処理時には、検出部２０Ｃは、強調音信号と第２音信号に基づいて、目的音区間と、重複区間と、を検出する。重複区間とは、目的音源１２Ａおよび非目的音源１２Ｂの双方から音が発せられている区間を示す。例えば、重複区間とは、複数の話者が発話している区間を示す。
【０１００】
詳細には、検出部２０Ｃは、関数ｕ２（ｎ）に加えて、関数ｕ１（ｎ）を検出する。
【０１０１】
関数ｕ１（ｎ）は、第２非目的音区間を示す関数である。詳細には、関数ｕ１（ｎ）は、非目的音源１２Ｂが音を発しているか否かをフレーム番号毎に示す関数である。第２非目的音区間は、非目的音源１２Ｂが音を発している区間である。
【０１０２】
ここで、定常処理の段階では、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号に含まれる、非目的音源１２Ｂから発せられた非目的音によるパワーは、抑圧されている。このため、上記式（５）によって表されるｐＹ（ｎ）は、近似的に、目的音源１２Ａから発せられた目的音によるパワーとみなすことができる。このため、定常処理の段階では、ｕ１（ｎ）によって表される第２非目的音区間と、ｕ２（ｎ）によって表される目的音区間は、下記式（１１）および式（１２）によって表される。
【０１０３】
【数９】
2020003751.tif 000011
【０１０４】
なお、ｕ２（ｎ）＝１は、第ｎフレームで目的音源１２Ａが音を発している事を示す。ｕ２（ｎ）＝０は、第ｎフレームで目的音源１２Ａが音を発していない事を示す。また、ｕ１（ｎ）＝１は、第ｎフレームで非目的音源１２Ｂが音を発している事を示す。ｕ１（ｎ）＝０は、第ｎフレームで非目的音源１２Ｂが音を発していない事を示す。
【０１０５】
このため、式（１１）および式（１２）中における閾値ｔ３および閾値ｔ４は、ｕ１（ｎ）およびｕ２（ｎ）が上記条件を示す式となるように、予め設定すればよい。
【０１０６】
検出部２０Ｃは、ｕ２（ｎ）＝１であり、且つ、ｕ１（ｎ）＝０である区間を、目的音区間として検出する。また、検出部２０Ｃは、ｕ２（ｎ）＝０である区間を、非目的音区間として検出する。また、検出部２０Ｃは、ｕ２（ｎ）＝１であり且つｕ１（ｎ）＝１である区間を、目的音源１２Ａおよび非目的音源１２Ｂの双方から音が発せられている重複区間として検出する。そして、検出部２０Ｃは、検出結果を、相関導出部２０Ｄへ出力する。本実施の形態では、検出部２０Ｃは、検出結果として、ｕ１（ｎ）および、ｕ２（ｎ）を相関導出部２０Ｄへ出力する。
【０１０７】
相関導出部２０Ｄは、検出部２０Ｃで検出された目的音区間と、重複区間と、第１音信号と、に基づいて、第１空間相関行列φｘｘ（ｆ，ｎ）と第２空間相関行列φＮＮ（ｆ，ｎ）を導出する。
【０１０８】
相関導出部２０Ｄは、ｕ２（ｎ）＝１であり且つｕ１（ｎ）＝０である区間を目的音区間とし、該区間については、下記式（１３）を用いて第１空間相関行列φｘｘ（ｆ，ｎ）を導出し更新する。なお、ｕ２（ｎ）＝１であり且つｕ１（ｎ）＝０である目的音区間について、相関導出部２０Ｄは、第２空間相関行列φＮＮ（ｆ，ｎ）の導出および更新を行わない。
【０１０９】
【数１０】
2020003751.tif 000012
【０１１０】
一方、相関導出部２０Ｄは、ｕ２（ｎ）＝０である区間を非目的音区間とし、該区間については、下記式（１４）を用いて、第２空間相関行列φＮＮ（ｆ，ｎ）を導出し更新する。なお、ｕ２（ｎ）＝０である区間について、相関導出部２０Ｄは、第１空間相関行列φｘｘ（ｆ，ｎ）の導出および更新を行わない。
【０１１１】
【数１１】
2020003751.tif 000013
【０１１２】
また、相関導出部２０Ｄは、ｕ２（ｎ）＝１であり且つｕ１（ｎ）＝１である区間については、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）の双方の導出および更新を行わない。上述したように、ｕ２（ｎ）＝１であり且つｕ１（ｎ）＝１である区間は、目的音源１２Ａおよび非目的音源１２Ｂの双方から音が発せられている重複区間である。
【０１１３】
すなわち、定常処理において、相関導出部２０Ｄは、目的音源１２Ａおよび非目的音源１２Ｂの双方から音が発せられている重複区間については、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）の双方の導出および更新を行わない。
【０１１４】
このように、目的音源１２Ａおよび非目的音源１２Ｂの双方が同時に音を発している重複区間については、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）の双方を更新しない構成とする。この構成により、目的音源１２Ａおよび非目的音源１２Ｂの双方が同時に音を発した重複区間を用いることによる、目的音信号の強調精度の低下を抑制することができる。
【０１１５】
次に、本実施の形態の音信号処理装置１０が実行する音信号処理の手順を説明する。
【０１１６】
図３は、本実施の形態の音信号処理装置１０が実行する音信号処理の手順の一例を示す、フローチャートである。
【０１１７】
変換部２０Ｂが、複数の第１マイク１４から受付けた第３信号を短時間フーリエ変換し、周波数スペクトルＸ２（ｆ，ｎ）によって表される第１音信号を取得する（ステップＳ１００）。変換部２０Ｂは、取得した第１音信号を、相関導出部２０Ｄおよび生成部２０Ｈへ出力する（ステップＳ１０２）。
【０１１８】
次に、変換部２０Ａが、第２マイク１６から受付けた第２音信号を短時間フーリエ変換し、周波数スペクトルＸ１（ｆ，ｎ）によって表される第２音信号を取得する（ステップＳ１０４）。変換部２０Ａは、取得した第２音信号を検出部２０Ｃへ出力する（ステップＳ１０６）。
【０１１９】
なお、ステップＳ１００〜ステップＳ１０６の処理は、変換部２０Ａおよび変換部２０Ｂが並列で実行すればよく、図３に示す順に限定されない。また、ステップＳ１００〜ステップＳ１０６の処理は、音信号処理を終了するまで継続して繰返し実行されるものとする。
【０１２０】
そして、音信号処理装置１０は、初期処理を実行する（ステップＳ１０８〜ステップＳ１２０）。
【０１２１】
詳細には、まず、係数導出部２０Ｇが、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆから、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）を読取る（ステップＳ１０８）。上述したように、初期状態では、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）は、ゼロ行列で初期化されている。
【０１２２】
次に、係数導出部２０Ｇは、ステップＳ１０８で読取った第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）を用いて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する（ステップＳＳ１１０）。上述したように、初期状態では、係数導出部２０Ｇは、空間フィルタ係数Ｆ（ｆ，ｎ）として空間フィルタ係数Ｆ（ｆ，ｎ）＝［０，０，０，１］を導出する。
【０１２３】
次に、生成部２０Ｈが、ステップＳ１１０で導出された空間フィルタ係数Ｆ（ｆ，ｎ）を用いて、ステップＳ１１０で取得した、周波数スペクトルＸ２（ｆ，ｎ）によって表される第１音信号に含まれる目的音信号を強調した強調音信号を生成する（ステップＳ１１２）。
【０１２４】
次に、逆変換部２０Ｉが、ステップＳ１１２で生成された、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号を逆短時間フーリエ変換し、出力部２２へ出力する（ステップＳ１１４）。
【０１２５】
次に、検出部２０Ｃが、ステップＳ１１２で生成された強調音信号と第２音信号を用いて、関数ｕ２（ｎ）によって表される目的音区間を検出する（ステップＳ１１６）。
【０１２６】
次に、相関導出部２０Ｄは、ステップＳ１１６で検出された目的音区間と第１音信号を用いて、第１空間相関行列φｘｘ（ｆ，ｎ）と第２空間相関行列φＮＮ（ｆ，ｎ）を導出する（ステップＳ１１８）。
【０１２７】
次に、相関導出部２０Ｄは、ステップＳ１１８で導出した第１空間相関行列φｘｘ（ｆ，ｎ）と第２空間相関行列φＮＮ（ｆ，ｎ）を、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆの各々へ記憶することで、これらの空間相関行列を更新する（ステップＳ１２０）。
【０１２８】
次に、音信号処理部２０が、初期処理から定常処理へ移行するか否かを判断する（ステップＳ１２２）。例えば、音信号処理部２０は、初期処理を所定時間実行した否かを判別することで、定常処理へ移行するか否かを判断する。また、音信号処理部２０は、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）が所定回数更新されたか否かを判別することで、定常処理へ移行するか否かを判別してもよい。
【０１２９】
ステップＳ１２２で否定判断すると（ステップＳ１２２：Ｎｏ）、上記ステップＳ１０８へ戻る。一方、ステップＳ１２２で肯定判断すると（ステップＳ１２２：Ｙｅｓ）、音信号処理部２０は、定常処理を実行する（ステップＳ１２４〜ステップＳ１３８）。
【０１３０】
定常処理では、係数導出部２０Ｇが、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆから、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）を読取る（ステップＳ１２４）。すなわち、係数導出部２０Ｇは、相関導出部２０Ｄによって更新された最新の第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）を読取る。
【０１３１】
次に、係数導出部２０Ｇは、ステップＳ１２４で読取った第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する（ステップＳ１２６）。
【０１３２】
次に、生成部２０Ｈが、ステップＳ１２６で導出された空間フィルタ係数Ｆ（ｆ，ｎ）を用いて、変換部２０Ｂから受付けた第１音信号に含まれる目的音信号を強調し、強調音信号を生成する（ステップＳ１２８）。
【０１３３】
次に、逆変換部２０Ｉが、ステップＳ１２８で生成された強調音信号を逆短時間フーリエ変換し、出力部２２へ出力する（ステップＳ１３０）。
【０１３４】
次に、検出部２０Ｃが、第２音信号と、ステップＳ１２８で生成された強調音信号と、を用いて、目的音区間と重複区間を検出する（ステップＳ１３２）。
【０１３５】
次に、相関導出部２０Ｄが、ステップＳ１３２で検出された目的音区間と、重複区間と、変換部２０ＢおよびＡＤ変換部１８を介して第１マイク１４から受付けた第１音信号と、に基づいて、第１空間相関行列φｘｘ（ｆ，ｎ）と第２空間相関行列φＮＮ（ｆ，ｎ）を導出する（ステップＳ１３４）。そして、相関導出部２０Ｄは、導出した第１空間相関行列φｘｘ（ｆ，ｎ）と第２空間相関行列φＮＮ（ｆ，ｎ）を第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆの各々へ記憶することで、これらの空間相関行列を更新する（ステップＳ１３６）。
【０１３６】
次に、音信号処理部２０が、音信号処理を終了するか否かを判断する（ステップＳ１３８）。ステップＳ１３８で否定判断すると（ステップＳ１３８：Ｎｏ）、上記ステップＳ１２４へ戻る。ステップＳ１３８で肯定判断すると（ステップＳ１３８：Ｙｅｓ）、本ルーチンを終了する。
【０１３７】
以上説明したように、本実施の形態の音信号処理装置１０は、係数導出部２０Ｇを備える。係数導出部２０Ｇは、目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる目的音信号を強調するための空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。このため、導出した空間フィルタ係数Ｆ（ｆ，ｎ）を用いて目的音信号を強調した強調音信号を生成することで、高精度に目的音信号を強調することができる。
【０１３８】
ここで、従来では、複数の話者が同時に発話すると、目的音の強調精度が低下する場合があった。例えば、話者方向やマイク間の到来時間差を表すベクトルを音信号の特徴量として用い、該特徴量に基づいて、音信号に含まれる目的音信号を強調するためのフィルタを生成する従来方式が知られている。
【０１３９】
しかし、このような従来方式では、複数の話者が同時に発話すると、話者の各々の特徴量とは異なる特徴量の分布が得られるため、目的音信号を強調するためのフィルタの精度が低下する場合があった。また、複数の話者が順番に発話する状況の場合についても、相槌などによる同時に発話する区間が発生することから、目的音信号を強調するためのフィルタの精度が低下する場合があった。
【０１４０】
一方、本実施の形態の音信号処理装置１０では、目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる目的音信号を強調するための空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。このため、導出した空間フィルタ係数Ｆ（ｆ，ｎ）を第１音信号に適用することで、目的音信号を強調した強調音信号を生成することによって、高精度に目的音信号を強調することができる。
【０１４１】
従って、音信号処理装置１０は、高精度に目的音信号を強調することができる。
【０１４２】
また、本実施の形態の音信号処理装置１０では、検出部２０Ｃは、目的音信号に対する非目的音信号のパワーの比が第１音信号より大きい第２音信号と、強調音信号と、に基づいて、目的音区間を検出する。このため、検出部２０Ｃは、高精度に目的音区間を検出することができる。そして、係数導出部２０Ｇは、高精度に検出された目的音区間と第１音信号に基づいて導出された、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。
【０１４３】
このため、音信号処理装置１０は、更に高精度に目的音信号を強調することができる。
【０１４４】
また、本実施の形態では、検出部２０Ｃが、第２音信号と強調音信号に基づいて、目的音区間を検出する。このため、本実施の形態の音信号処理装置１０は、目的音源１２Ａおよび非目的音源１２Ｂの位置に拘らず、非目的音源１２Ｂの非目的音を抑圧して目的音源１２Ａの目的音信号を強調するように、空間フィルタ係数Ｆ（ｆ，ｎ）を導出することができる。このため、音信号処理装置１０は、第１音信号に含まれる目的音信号を、より高精度に強調するための空間フィルタ係数（ｆ，ｎ）を導出することができる。
【０１４５】
また、本実施の形態では、検出部２０Ｃは、強調音信号に基づいて、目的音と非目的音とが重複する重複区間と、目的音区間と、を検出する。そして、相関導出部２０Ｄは、目的音区間と重複区間と第１音信号とに基づいて、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）を導出する。
【０１４６】
そして、相関導出部２０Ｄは、重複区間については、第１空間相関行列φｘｘ（ｆ，ｎ）および第２空間相関行列φＮＮ（ｆ，ｎ）を導出および更新しない。このため、係数導出部２０Ｇは、重複区間については、空間フィルタ係数Ｆ（ｆ，ｎ）を導出しない。よって、第１音信号における、複数の音源１２から同時に音が発せられる区間についても、本実施の形態の音信号処理装置１０では、高精度に目的音信号を強調することができる。
【０１４７】
＜変形例１＞
なお、上記では、検出部２０Ｃは、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号と、周波数スペクトルＸ１（ｆ，ｎ）によって表される第２音信号と、のパワーに基づいて、目的音区間および重複区間を検出した。
【０１４８】
しかし、検出部２０Ｃは、出力スペクトルＹ（ｆ，ｎ）および周波数スペクトルＸ１（ｆ，ｎ）を用いて、他の方法により、目的音区間および重複区間を検出してもよい。
【０１４９】
例えば、出力スペクトルＹ（ｆ，ｎ）および周波数スペクトルＸ１（ｆ，ｎ）を入力とし、関数ｕ１（ｎ）および関数ｕ２（ｎ）を推定するためのモデルを、決定木やk近傍法、サポートベクターマシン、ニューラルネットワークなどにより学習してもよい。
【０１５０】
一例として、ニューラルネットワークを用いたモデルの学習について説明する。
【０１５１】
この場合、検出部２０Ｃは、モデルを学習するための学習データを収集する。例えば、本実施の形態の音信号処理部２０を学習装置に実装し、音信号処理部２０を用いて上記処理を実行することで、周波数スペクトルＸ１（ｆ，ｎ）と該周波数スペクトルＸ１（ｆ，ｎ）から導出した出力スペクトルＹ（ｆ，ｎ）とを含む学習データを、複数記録する。同次に、第１マイク１４Ｄで目的音源１２Ａの目的音を集音して記録する。そして、ユーザによる該目的音の視聴やユーザによる該目的音の波形の目視などにより、各フレームで音を発している音源１２を判定することで、関数ｕ１（ｎ）および関数ｕ２（ｎ）の正解データｃ１（ｎ）およびｃ２（ｎ）を作成する。
【０１５２】
また、検出部２０Ｃは、入力特徴量として、下記式（１５）で表されるベクトルｖ（ｎ）を用いる。
【０１５３】
【数１２】
2020003751.tif 000014
【０１５４】
式（１５）で表されるベクトルｖ（ｎ）は、当該フレームと直前のフレームとのスペクトルの絶対値の対数を連結した、５１６次元ベクトルである。このため、目的音区間および重複区間の検出は、ベクトルｖ（ｎ）から正解データを表す二次元ベクトルｃ（ｎ）＝［ｃ１（ｎ），ｃ２（ｎ）］の推定に、定式化することができる。
【０１５５】
ここで、ニューラルネットワークのモデルの構成を、下記式（１６）〜式（２０）で定義する。
【０１５６】
【数１３】
2020003751.tif 000015
【０１５７】
中間層のノード数を１００とすると、行列Ｗｉおよび行列Ｗ０のサイズは、各々、１００×５１６、２×１００となる。このため、行列Ｗ１、行列Ｗ２、行列Ｗ３のサイズは、何れも、１００×１００となる。
【０１５８】
また、式（１６）〜式（２０）における関数ｓｉｇｍｏｉｄ（）は、下記式（２１）で表されるｓｉｇｍｏｉｄ関数を、ベクトルの各要素に適用する演算を表す。
【０１５９】
【数１４】
2020003751.tif 000016
【０１６０】
そして、目的関数Ｌを、下記式（２２）で表されるクロスエントロピーで定義する。
【０１６１】
【数１５】
2020003751.tif 000017
【０１６２】
そして、検出部２０Ｃは、目的関数Ｌを最大化するパラメータ列Ｗｉ，Ｗｏ，Ｗ１，Ｗ２，Ｗ３を、学習によって求める。
【０１６３】
学習の手法には、確率的勾配降下法など、既存の手法を用いればよい。このモデルを用いて導出した関数ｕ１（ｎ）および関数ｕ２（ｎ）は、０から１の間の連続値となる。このため、例えば０．５を閾値として、それ以上であれば１（目的音区間）、それ未満であれば０（非目的音区間）に二値化すればよい。
【０１６４】
このように、検出部２０Ｃは、出力スペクトルＹ（ｆ，ｎ）および周波数スペクトルＸ１（ｆ，ｎ）を用いて、第１の実施の形態とは異なる方法により、目的音区間および重複区間を検出してもよい。
【０１６５】
（第２の実施の形態）
本実施の形態では、第２マイク１６から取得した第２音声信号を用いずに、第１マイク１４から取得した第１音声信号を用いて、音信号処理を行う形態を説明する。
【０１６６】
図４は、本実施の形態の音信号処理システム２の一例を示す模式図である。
【０１６７】
音信号処理システム２は、音信号処理装置１１と、複数の第１マイク１４と、を備える。音信号処理装置１１と、複数の第１マイク１４とは、データや信号を授受可能に接続されている。
【０１６８】
すなわち、音信号処理システム２は、音信号処理装置１０に代えて音信号処理装置１１を備え、且つ、第２マイク１６を備えない点以外は、第１の実施の形態の音信号処理システム１と同様である。
【０１６９】
本実施の形態では、音信号処理システム２は、音源１２として、複数の目的音源１２Ａを想定する。図４には、複数の目的音源１２Ａとして、三人の話者である目的音源１２Ａ１〜目的音源１２Ａ３を一例として示した。目的音源１２Ａは、例えば、人（話者）である。本実施の形態では、矩形形状のテーブルＴの３辺に、各々１人の話者（目的音源１２Ａ１、目的音源１２Ａ２、目的音源１２Ａ３）が座って会話する環境を想定している。なお、本実施の形態では、音信号処理装置１１による音信号処理中、これらの複数の目的音源１２Ａの位置は、大きく移動しない場合を想定している。なお、目的音源１２Ａの数は、３に限定されず、２または４以上であってもよい。
【０１７０】
第１の実施の形態と同様に、音信号処理システム２は、複数の第１マイク１４を備える。本実施の形態では、一例として、第１マイク１４Ａ〜第１マイク１４Ｄの４つの第１マイク１４を示した。
【０１７１】
第１の実施の形態と同様に、複数の第１マイク１４は、複数の目的音源１２Ａの各々からの音到達時間差が互いに異なる。すなわち、複数の第１マイク１４は、上記音到達時間差が互いに異なるように、配置位置が予め調整されている。
【０１７２】
また、音信号処理システム２に設けられる複数の第１マイク１４の数は、本実施の形態の音源１２の数以上であればよい。このため、本実施の形態では、第１マイク１４の数は、３以上であればよい。第１マイク１４の数が多いほど、目的音の強調精度の向上を図ることができる。
【０１７３】
一例として、音信号処理システム２は、４つの第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）を備える形態を説明する。
【０１７４】
第１の実施の形態と同様に、複数の第１マイク１４の各々から第３信号が出力されることで、音信号処理装置１１には、複数の第３信号が出力される。第１の実施の形態と同様に、複数の第３音信号を一つにまとめた音信号を、第１音信号と称して説明する。
【０１７５】
音信号処理装置１１は、ＡＤ変換部１８と、音信号処理部３０と、出力部２２と、を備える。ＡＤ変換部１８および出力部２２は、第１の実施の形態と同様である。音信号処理装置１１は、音信号処理部２０に代えて音信号処理部３０を備える点以外は、第１の実施の形態と同様である。なお、音信号処理装置１１は、少なくとも音信号処理部３０を備えた構成であればよく、ＡＤ変換部１８および出力部２２の少なくとも一方を別体として構成してもよい。
【０１７６】
音信号処理部３０は、ＡＤ変換部１８を介して複数の第３音信号を受付ける。音信号処理部３０は、受付けた複数の第３音信号を１つにまとめた第１音信号に含まれる目的音信号を強調し、強調音信号を出力部２２へ出力する。
【０１７７】
音信号処理部３０について詳細を説明する。
【０１７８】
図５は、音信号処理部３０の機能的構成の一例を示す模式図である。
【０１７９】
音信号処理部３０は、変換部３０Ｂと、分離部３０Ｊと、検出部３０Ｃと、相関導出部３０Ｄと、複数の第３相関記憶部３０Ｅと、第４相関記憶部３０Ｆと、複数の加算部３０Ｋと、複数の係数導出部３０Ｇと、複数の生成部３０Ｈと、複数の逆変換部３０Ｉと、を備える。
【０１８０】
変換部３０Ｂ、分離部３０Ｊ、検出部３０Ｃ、相関導出部３０Ｄ、複数の係数導出部３０Ｇ、複数の加算部３０Ｋ、複数の生成部３０Ｈ、および複数の逆変換部３０Ｉは、例えば、１または複数のプロセッサにより実現される。例えば上述の各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上述の各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上述の各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
【０１８１】
第３相関記憶部３０Ｅおよび第４相関記憶部３０Ｆは、各種情報を記憶する。第３相関記憶部３０Ｅおよび第４相関記憶部３０Ｆは、ＨＤＤ、光ディスク、メモリカード、ＲＡＭなどの一般的に利用されているあらゆる記憶媒体により構成することができる。また、第３相関記憶部３０Ｅおよび第４相関記憶部３０Ｆは、物理的に異なる記憶媒体としてもよいし、物理的に同一の記憶媒体の異なる記憶領域として実現してもよい。さらに、第３相関記憶部３０Ｅおよび第４相関記憶部３０Ｆの各々は、物理的に異なる複数の記憶媒体により実現してもよい。
【０１８２】
なお、音信号処理部３０には、複数の目的音源１２Ａの各々に対応する、第３相関記憶部３０Ｅ、係数導出部３０Ｇ、加算部３０Ｋ、生成部３０Ｈ、および逆変換部３０Ｉが設けられている。上述したように、本実施の形態では、３つの目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）を想定している。
【０１８３】
このため、本実施の形態では、音信号処理部３０には、３つの第３相関記憶部３０Ｅ（第３相関記憶部３０Ｅ１〜第３相関記憶部３０Ｅ３）、３つの係数導出部３０Ｇ（係数導出部３０Ｇ１〜係数導出部３０Ｇ２）、３つの加算部３０Ｋ（加算部３０Ｋ１〜加算部３０Ｋ３）、３つの生成部３０Ｈ（生成部３０Ｈ１〜生成部３０Ｈ３）、および３つの逆変換部３０Ｉ（逆変換部３０Ｉ１〜逆変換部３０Ｉ３）が設けられている。
【０１８４】
なお、音信号処理システム２で想定する目的音源１２Ａの数は、３つに限定されない。例えば、音信号処理システム２で想定する目的音源１２Ａの数は、１、２、または４以上であってもよい。そして、音信号処理部３０では、第３相関記憶部３０Ｅ、係数導出部３０Ｇ、３つの加算部３０Ｋ、生成部３０Ｈ、および逆変換部３０Ｉの各々を、複数の目的音源１２Ａと同じ数、備えた構成とすればよい。
【０１８５】
変換部３０Ｂは、第１の実施の形態の変換部２０Ｂと同様に、ＡＤ変換部１８を介して複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）から受付けた複数の第３音信号の各々を短時間フーリエ変換（ＳＴＦＴ）し、周波数スペクトルＸ１（ｆ，ｎ）、周波数スペクトルＸ２（ｆ，ｎ）、周波数スペクトルＸ３（ｆ，ｎ）、周波数スペクトルＸ４（ｆ，ｎ）の各々によって表される複数の第３音信号を生成する。
【０１８６】
周波数スペクトルＸ１（ｆ，ｎ）は、第１マイク１４Ａから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ２（ｆ，ｎ）は、第１マイク１４Ｂから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ３（ｆ，ｎ）は、第１マイク１４Ｃから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ４（ｆ，ｎ）は、第１マイク１４Ｄから受付けた第３音信号を短時間フーリエ変換したものである。
【０１８７】
なお、本実施の形態では、複数の第３音信号の各々を示す上記複数の周波数スペクトルをまとめた多次元ベクトル（本実施の形態では４次元ベクトル）を、第１音信号を示す周波数スペクトルＸ（ｆ，ｎ）と称して説明する。言い換えると、本実施の形態では、第１音信号は、周波数スペクトルＸ（ｆ，ｎ）によって表される。第１音信号を示す周波数スペクトルＸ（ｆ，ｎ）は、下記式（２３）で表される。
【０１８８】
【数１６】
2020003751.tif 000018
【０１８９】
変換部３０Ｂは、第１音信号を示す周波数スペクトルＸ（ｆ，ｎ）を、分離部３０Ｊおよび複数の生成部３０Ｈ（生成部３０Ｈ１〜生成部３０Ｈ３）の各々へ出力する。
【０１９０】
第３相関記憶部３０Ｅは、第３空間相関行列を記憶する。第３空間相関行列は、第１音信号における目的音成分の空間相関行列を示す。
【０１９１】
上述したように、音信号処理部３０は、複数の目的音源１２Ａの各々に対応する、３つの第３相関記憶部３０Ｅ（第３相関記憶部３０Ｅ１〜第３相関記憶部３０Ｅ３）を備える。
【０１９２】
第３相関記憶部３０Ｅ１は、目的音源１２Ａ１に対応する第３相関記憶部３０Ｅである。第３相関記憶部３０Ｅ１は、第３空間相関行列φｘｘａ（ｆ，ｎ）を記憶する。第３空間相関行列φｘｘａ（ｆ，ｎ）は、第１音信号における目的音源１２Ａ１の目的音成分の空間相関行列を示す。目的音源１２Ａ１の目的音成分とは、第１音信号に含まれる、目的音源１２Ａ１から発せられた目的音の成分（すなわちスペクトル）を示す。目的音成分は、後述する分離部３０Ｊによって第１音信号から分離される（詳細後述）。
【０１９３】
上述したように、本実施の形態では、第１音信号は、４次元ベクトルを示す周波数スペクトルＸ（ｆ，ｎ）によって表される。このため、第３空間相関行列φｘｘａ（ｆ，ｎ）は、周波数ビン毎の４×４の複素数の行列によって表される。
【０１９４】
同様に、第３相関記憶部３０Ｅ２は、目的音源１２Ａ２に対応する第３相関記憶部３０Ｅである。第３相関記憶部３０Ｅ２は、第３空間相関行列φｘｘｂ（ｆ，ｎ）を記憶する。第３空間相関行列φｘｘｂ（ｆ，ｎ）は、第１音信号における目的音源１２Ａ２の目的音成分の空間相関行列を示す。目的音源１２Ａ２の目的音成分とは、第１音信号に含まれる、目的音源１２Ａ２から発せられた目的音の成分を示す。第３空間相関行列φｘｘａ（ｆ，ｎ）と同様に、第３空間相関行列φｘｘｂ（ｆ，ｎ）は、周波数ビン毎の４×４の複素数の行列によって表される。
【０１９５】
第３相関記憶部３０Ｅ３は、目的音源１２Ａ３に対応する第３相関記憶部３０Ｅである。第３相関記憶部３０Ｅ３は、第３空間相関行列φｘｘｃ（ｆ，ｎ）を記憶する。第３空間相関行列φｘｘｃ（ｆ，ｎ）は、第１音信号における目的音源１２Ａ３の目的音成分の空間相関行列を示す。目的音源１２Ａ３の目的音成分とは、第１音信号に含まれる、目的音源１２Ａ３から発せられた目的音の成分を示す。第３空間相関行列φｘｘｃ（ｆ，ｎ）は、周波数ビン毎の４×４の複素数の行列によって表される。
【０１９６】
第４相関記憶部３０Ｆは、第４空間相関行列φＮＮ（ｆ，ｎ）を記憶する。第４空間相関行列φＮＮ（ｆ，ｎ）は、第１音信号における、非目的音成分の空間相関行列を示す。非目的音成分とは、第１音信号に含まれる、目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）の各々から発せられた目的音の成分以外の成分を示す。非目的音成分は、後述する分離部３０Ｊによって第１音信号から分離される（詳細後述）。
【０１９７】
初期状態では、第４相関記憶部３０Ｆには、ゼロ行列で初期化（φＮＮ（ｆ，０）＝０）された第４空間相関行列φＮＮ（ｆ，ｎ）が、初期値として予め記憶されている。
【０１９８】
一方、初期状態において、第３相関記憶部３０Ｅ１、第３相関記憶部３０Ｅ２、および第３相関記憶部３０Ｅ３には、それぞれ、目的音源１２Ａ１、目的音源１２Ａ２、および目的音源１２Ａ３の各々の位置で発せられた目的音の空間相関行列を示す第３空間相関行列φｘｘａ（ｆ，ｎ）、第３空間相関行列φｘｘｂ（ｆ，ｎ）、第３空間相関行列φｘｘｃ（ｆ，ｎ）が、初期値として予め記憶されている。
【０１９９】
このような、第３空間相関行列φｘｘａ（ｆ，ｎ）、第３空間相関行列φｘｘｂ（ｆ，ｎ）、および第３空間相関行列φｘｘｃ（ｆ，ｎ）の各々の初期値は、複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）の各々の配置と、複数の目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）と、の位置から、シミュレーションによって予め求めればよい。また、第３空間相関行列φｘｘａ（ｆ，ｎ）、第３空間相関行列φｘｘｂ（ｆ，ｎ）、第３空間相関行列φｘｘｃ（ｆ，ｎ）の初期値は、複数の目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）の各々が各音源１２の位置で発した目的音を、予め複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）で集音し、集音により得られた目的音信号から予め導出してもよい。
【０２００】
具体的には、音信号処理部３０は、目的音源１２Ａ１〜目的音源１２Ａ３の各々の位置から発せられた目的音を、テーブルＴ上の複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）で集音することで得られた目的音信号から、各々の第３空間相関行列の初期値を予め導出してもよい。
【０２０１】
例えば、目的音源１２Ａ１〜目的音源１２Ａ３の各々の位置にスピーカを配置して白色雑音を再生し、複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）で集音した音のスペクトルを表す４次元ベクトルを、Ｎａ（ｆ，ｎ），Ｎｂ（ｆ，ｎ），Ｎｃ（ｆ，ｎ）で表すと想定する。この場合、音信号処理部３０は、下記式（２４）〜式（２６）を用いて、各々の第３空間相関行列の初期値を予め導出し、第３相関記憶部３０Ｅ１〜第３相関記憶部３０Ｅ３に、それぞれ予め記憶すればよい。
【０２０２】
【数１７】
2020003751.tif 000019
【０２０３】
次に、目的音源１２Ａ１に対応する、加算部３０Ｋ１、係数導出部３０Ｇ１、生成部３０Ｈ１、および逆変換部３０Ｉ１について説明する。
【０２０４】
加算部３０Ｋ１は、目的音源１２Ａ１に対応する加算部３０Ｋである。加算部３０Ｋ１は、対応する目的音源１２Ａ１以外の目的音源１２Ａ（目的音源１２Ａ２、目的音源１２Ａ３）の第３空間相関行列（第３空間相関行列φｘｘｂ（ｆ，ｎ）、第３空間相関行列φｘｘｃ（ｆ，ｎ））と、第４空間相関行列φＮＮ（ｆ，ｎ）と、を加算し、係数導出部３０Ｇへ出力する。具体的には、加算部３０Ｋ１は、下記式（２７）により、空間相関行列の和を導出し、係数導出部３０Ｇ１へ出力する。
【０２０５】
【数１８】
2020003751.tif 000020
【０２０６】
係数導出部３０Ｇ１は、目的音源１２Ａ１に対応する係数導出部３０Ｇである。係数導出部３０Ｇ１は、第１音信号に含まれる、対応する目的音源１２Ａ１の目的音信号を強調するための空間フィルタ係数Ｆａ（ｆ，ｎ）を導出する。詳細には、係数導出部３０Ｇ１は、第３空間相関行列φｘｘａ（ｆ，ｎ）および第４空間相関行列φＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数Ｆａ（ｆ，ｎ）を導出する。
【０２０７】
具体的には、係数導出部３０Ｇ１は、第３空間相関行列φｘｘａ（ｆ，ｎ）と空間相関行列の和φＳＳ（ｆ，ｎ）の逆行列との積によって表される行列の、最大固有値に対応する固有ベクトルＦＳＮＲ（ｆ，ｎ）を導出する。
【０２０８】
そして、係数導出部３０Ｇ１は、この固有ベクトルＦＳＮＲ（ｆ，ｎ）を、目的音源１２Ａに対応する空間フィルタ係数Ｆａ（ｆ，ｎ）として導出する（Ｆａ（ｆ，ｎ）＝ＦＳＮＲ（ｆ，ｎ））。なお、係数導出部３０Ｇ１は、第１の実施の形態と同様に、ポストフィルタｗ（ｆ，ｎ）を追加し、空間フィルタ係数Ｆａ（ｆ，ｎ）を導出してもよい。
【０２０９】
生成部３０Ｈ１は、目的音源１２Ａ１に対応する生成部３０Ｈである。生成部３０Ｈ１は、係数導出部３０Ｇ１で導出された空間フィルタ係数Ｆａ（ｆ，ｎ）を用いて、周波数スペクトルＸ（ｆ，ｎ）によって表される第１音信号に含まれる、目的音源１２Ａ１の目的音信号を強調した強調音信号を生成する。
【０２１０】
詳細には、生成部３０Ｈ１は、下記式（２８）を用いて、出力スペクトルＹａ（ｆ，ｎ）によって表される強調音信号を生成する。出力スペクトルＹａ（ｆ，ｎ）によって表される強調音信号は、第１音信号における、目的音源１２Ａの目的音信号を強調した音信号である。
【０２１１】
【数１９】
2020003751.tif 000021
【０２１２】
すなわち、生成部３０Ｈ１は、周波数スペクトルＸ（ｆ，ｎ）と、空間フィルタ係数Ｆａ（ｆ，ｎ）をエルミート転置した転置行列と、の積を、強調音信号を示す出力スペクトルＹａ（ｆ，ｎ）として生成する。
【０２１３】
生成部３０Ｈ１は、出力スペクトルＹａ（ｆ，ｎ）によって表される強調音信号を、逆変換部３０Ｉ１および検出部３０Ｃへ出力する。すなわち、生成部３０Ｈ１は、目的音源１２Ａの目的音信号の強調された強調音信号を、逆変換部３０Ｉ１および検出部３０Ｃへ出力する。
【０２１４】
逆変換部３０Ｉ１は、目的音源１２Ａ１に対応する逆変換部３０Ｉである。逆変換部３０Ｉは、第１の実施の形態の逆変換部２０Ｉと同様に、強調信号を示す出力スペクトルＹａ（ｆ，ｎ）の対称性を用いて、出力スペクトルＹａ（ｆ，ｎ）から２５６点のスペクトルを生成し、逆フーリエ変換を行う。次に、逆変換部３０Ｉ１は、合成窓関数を適用し、前フレームの出力波形とフレームシフト分ずらして重畳することにより、音波形を生成すればよい。そして、逆変換部３０Ｉ１は、生成した音波形によって表される、目的音源１２Ａの強調音信号を、出力部２２へ出力する。
【０２１５】
次に、目的音源１２Ａ２に対応する、加算部３０Ｋ２、係数導出部３０Ｇ２、生成部３０Ｈ２、および逆変換部３０Ｉ２について説明する。また、目的音源１２Ａ３に対応する、加算部３０Ｋ３、係数導出部３０Ｇ３、生成部３０Ｈ３、および逆変換部３０Ｉ３について説明する。
【０２１６】
加算部３０Ｋ２、加算部３０Ｋ３、係数導出部３０Ｇ２、係数導出部３０Ｇ３、生成部３０Ｈ２、生成部３０Ｈ３、逆変換部３０Ｉ２、および逆変換部３０Ｉ３は、対応する目的音源１２Ａに応じた情報が異なる点以外は、加算部３０Ｋ１、係数導出部３０Ｇ１、生成部３０Ｈ１、および逆変換部３０Ｉ１と同様の処理を行う。
【０２１７】
詳細には、加算部３０Ｋ２は、第３空間相関行列φｘｘａ（ｆ，ｎ）と、第３空間相関行列φｘｘｃ（ｆ，ｎ）と、第４空間相関行列φＮＮ（ｆ，ｎ）と、の空間相関行列の和φＳＳ（ｆ，ｎ）を導出し、係数導出部３０Ｇ２へ出力する。この和φＳＳ（ｆ，ｎ）は、下記式（２９）で表される。
【０２１８】
【数２０】
2020003751.tif 000022
【０２１９】
そして、係数導出部３０Ｇ２は、φＸＸｂ（ｆ，ｎ）と、式（２９）によって表されるφＳＳ（ｆ，ｎ）と、に基づいて、空間フィルタ係数Ｆｂ（ｆ，ｎ）を導出する。このため、生成部３０Ｈ２は、目的音源１２Ａ２の目的音信号の強調された強調音信号（出力スペクトルＹｂ（ｆ，ｎ））を、逆変換部３０Ｉ１および検出部３０Ｃへ出力する。
【０２２０】
加算部３０Ｋ３は、第３空間相関行列φｘｘａ（ｆ，ｎ）と、第３空間相関行列φｘｘｂ（ｆ，ｎ）と、第４空間相関行列φＮＮ（ｆ，ｎ）と、の空間相関行列の和φＳＳ（ｆ，ｎ）を導出し、係数導出部３０Ｇ３へ出力する。この和φＳＳ（ｆ，ｎ）は、下記式（３０）で表される。
【０２２１】
【数２１】
2020003751.tif 000023
【０２２２】
そして、係数導出部３０Ｇ３は、φＸＸｃ（ｆ，ｎ）と、式（２９）によって表されるφＳＳ（ｆ，ｎ）と、に基づいて、空間フィルタ係数Ｆｃ（ｆ，ｎ）を導出する。このため、生成部３０Ｈ３は、目的音源１２Ａ３の目的音信号の強調された強調音信号（出力スペクトルＹｃ（ｆ，ｎ））を、逆変換部３０Ｉ２および検出部３０Ｃへ出力する。
【０２２３】
次に、検出部３０Ｃについて説明する。検出部３０Ｃは、強調音信号に基づいて、目的音区間を検出する。本実施の形態では、検出部３０Ｃは、複数の目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）にそれぞれ対応する複数の強調音信号を用いて、複数の目的音源１２Ａの各々から発せられた目的音の、目的音区間を検出する。
【０２２４】
詳細には、検出部３０Ｃは、生成部３０Ｈ１から、出力スペクトルＹａ（ｆ，ｎ）によって表される、目的音源１２Ａ１の目的音信号を強調した強調音信号を受付ける。また、検出部３０Ｃは、生成部３０Ｈ２から、出力スペクトルＹｂ（ｆ，ｎ）によって表される、目的音源１２Ａ２の目的音信号を強調した強調音信号を受付ける。また、検出部３０Ｃは、生成部３０Ｈ３から、出力スペクトルＹｃ（ｆ，ｎ）によって表される、目的音源１２Ａ３の目的音信号を強調した強調音信号を受付ける。
【０２２５】
そして、検出部３０Ｃは、これらの強調音信号（出力スペクトルＹａ（ｆ，ｎ），出力スペクトルＹｂ（ｆ，ｎ），出力スペクトルＹｃ（ｆ，ｎ））に基づいて、目的音源１２Ａ１〜目的音源１２Ａ３の各々の目的音区間を検出する。
【０２２６】
第１の実施の形態と同様に、目的音区間は、目的音源１２Ａが音を発しているか否かをフレーム番号毎に示す関数ｕ（ｎ）によって表される。本実施の形態では、目的音源１２Ａ１〜目的音源１２Ａ３の各々の目的音の目的音区間を、関数ｕａ（ｎ）、関数ｕｂ（ｎ）、関数ｕｃ（ｎ）で表す。なお、これらの関数は、値“１”を示す場合、第ｎフレームで目的音源１２Ａが音を発している事を示す。また、値“０”を示す場合、第ｎフレームで目的音源１２Ａが音を発していない事を示す。
【０２２７】
検出部３０Ｃは、これらの関数ｕａ（ｎ）、関数ｕｂ（ｎ）、関数ｕｃ（ｎ）を用いて、下記式（３１）〜式（３３）によって表される閾値処理を行うことで、各々の目的音源１２Ａの目的音の目的音区間を検出する。
【０２２８】
【数２２】
2020003751.tif 000024
【０２２９】
上記式（３１）〜式（３３）中、ｔは、目的音と非目的音との境界のパワーを表す閾値である。また、式（３１）〜式（３３）中、Ｐａ、Ｐｂ、Ｐｃは、各々、下記式（３４）〜式（３６）で表される。
【０２３０】
【数２３】
2020003751.tif 000025
【０２３１】
検出部３０Ｃは、複数の目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）の各々の目的音の目的音区間の検出結果を、相関導出部３０Ｄへ出力する。
【０２３２】
次に、分離部３０Ｊについて説明する。分離部３０Ｊは、第１音信号を、目的音成分と非目的音成分に分離する。
【０２３３】
分離部３０Ｊは、第１音信号を示す周波数スペクトルＸ（ｆ，ｎ）を、変換部３０Ｂから受付ける。上述したように、本実施の形態では、第１音信号を示す周波数スペクトルＸ（ｆ，ｎ）は、上記式（２３）で表される。また、本実施の形態では、周波数スペクトルＸ（ｆ，ｎ）は、４つの第１マイク１４Ａ（第１マイク１４Ａ１〜第１マイク１４Ｄ）の各々から受付けた４つの第３音信号の各々を示す周波数スペクトルをまとめた、４次元ベクトルによって表される。
【０２３４】
分離部３０Ｊは、周波数スペクトルＸ（ｆ，ｎ）によって表される第１音信号を、目的音成分Ｓ（ｆ，ｎ）と非目的音成分Ｎ（ｆ，ｎ）に分離する。目的音成分Ｓ（ｆ，ｎ）は、下記式（３７）によって表される。非目的音成分Ｎｉ（ｆ，ｎ）は、下記式（３８）によって表される。
【０２３５】
【数２４】
2020003751.tif 000026
【０２３６】
そして、分離部３０Ｊは、公知の音区間検出技術を用いて、全ての周波数ｆに対して、第ｎフレームが目的音区間である場合、Ｓ（ｆ，ｎ）＝Ｘ（ｆ，ｎ），Ｎ（ｆ，ｎ）＝［０，０，０，０］を算出する。また、分離部３０Ｊは、全ての周波数ｆに対して、第ｎフレームが非目的音区間である場合、Ｓ（ｆ，ｎ）＝［０，０，０，０］，Ｎ（ｆ，ｎ）＝Ｘ（ｆ，ｎ）とすればよい。
【０２３７】
そして、分離部３０Ｊは、第１音信号から分離した、目的音成分Ｓ（ｆ，ｎ）と非目的音成分Ｎ（ｆ，ｎ）を、相関導出部３０Ｄへ出力する。
【０２３８】
相関導出部３０Ｄは、目的音区間と、目的音成分と、非目的音成分と、に基づいて、第１音信号における目的音成分の第３空間相関行列と、第１音信号における非目的音成分の第４空間相関行列と、を導出する。
【０２３９】
詳細には、相関導出部３０Ｄは、目的音成分Ｓ（ｆ，ｎ）および非目的音成分Ｎ（ｆ，ｎ）を分離部３０Ｊから受付ける。また、相関導出部３０Ｄは、検出部３０Ｃから、目的音区間を示す関数として、関数ｕａ（ｎ）、関数ｕｂ（ｎ）、関数ｕｃ（ｎ）を受付ける。
【０２４０】
そして、相関導出部３０Ｄは、目的音成分Ｓ（ｆ，ｎ）、非目的音成分Ｎ（ｆ，ｎ）、関数ｕａ（ｎ）、関数ｕｂ（ｎ）、関数ｕｃ（ｎ）に基づいて、第３空間相関行列φｘｘａ（ｆ，ｎ）、第３空間相関行列φｘｘｂ（ｆ，ｎ）、第３空間相関行列φｘｘｃ（ｆ，ｎ）、および第４空間相関行列φＮＮ（ｆ，ｎ）を導出する。そして、相関導出部３０Ｄは、導出した第３空間相関行列φｘｘａ（ｆ，ｎ）、第３空間相関行列φｘｘｂ（ｆ，ｎ）、第３空間相関行列φｘｘｃ（ｆ，ｎ）、および第４空間相関行列φＮＮ（ｆ，ｎ）を、各々、第３相関記憶部３０Ｅ１、第３相関記憶部３０Ｅ２、第３相関記憶部３０Ｅ３、および第４相関記憶部３０Ｆへ記憶することで、これらの空間相関行列を更新する。
【０２４１】
相関導出部３０Ｄは、ｕａ（ｎ）＝１、且つｕｂ（ｎ）＝０、且つｕｃ（ｎ）＝０の区間（第ｎフレーム）については、下記式（３９）により第３空間相関行列φｘｘａ（ｆ，ｎ）を導出して更新し、第３空間相関行列φｘｘｂ（ｆ，ｎ）および第３空間相関行列φｘｘｃ（ｆ，ｎ）を更新しない。
【０２４２】
また、相関導出部３０Ｄは、ｕａ（ｎ）＝０、且つｕｂ（ｎ）＝１、且つｕｃ（ｎ）＝０の区間（第ｎフレーム）については、下記式（４０）により第３空間相関行列φｘｘｂ（ｆ，ｎ）を導出および更新し、第３空間相関行列φｘｘａ（ｆ，ｎ）および第３空間相関行列φｘｘｃ（ｆ，ｎ）を更新しない。
【０２４３】
また、相関導出部３０Ｄは、ｕａ（ｎ）＝０、且つｕｂ（ｎ）＝０、且つｕｃ（ｎ）＝１の区間（第ｎフレーム）については、下記式（４１）により第３空間相関行列φｘｘｃ（ｆ，ｎ）を導出および更新し、第３空間相関行列φｘｘａ（ｆ，ｎ）および第３空間相関行列φｘｘｂ（ｆ，ｎ）を更新しない。
【０２４４】
また、相関導出部３０Ｄは、第４空間相関行列φＮＮ（ｆ，ｎ）を下記式（４２）により導出および更新する。
【０２４５】
【数２５】
2020003751.tif 000027
【０２４６】
式（３９）〜式（４２）中、αは、０以上１未満の値である。αの値が１に近い値であるほど、過去に導出した空間相関行列の重みが、最新の空間相関行列に比べて大きい事を意味する。αの値は、予め設定すればよい。αは、例えば、０．９５などとすればよい。
【０２４７】
すなわち、相関導出部３０Ｄは、過去に導出した第３空間相関行列を、目的音成分Ｓ（ｆ，ｎ）をエルミート転置した転置成分との乗算値によって表される最新の第３空間相関行列で補正することによって、新たな第３空間相関行列を導出する。
【０２４８】
なお、相関導出部３０Ｄは、第３相関記憶部３０Ｅ（第３相関記憶部３０Ｅ１〜第３相関記憶部３０Ｅ３）に記憶済の第３空間相関行列φｘｘａ（ｆ，ｎ）、第３空間相関行列φｘｘｂ（ｆ，ｎ）、第３空間相関行列φｘｘｃ（ｆ，ｎ）を、過去に導出した第３空間相関行列として用いればよい。また、これらの第３相関記憶部３０Ｅには、各々、１つの第３空間相関行列のみが記憶され、順次、相関導出部３０Ｄによって更新される。
【０２４９】
また、相関導出部３０Ｄは、過去に導出した第４空間相関行列φＮＮ（ｆ，ｎ）を、非目的音成分Ｎ（ｆ，ｎ）と非目的音成分Ｎ（ｆ，ｎ）をエルミート転置した転置成分との乗算値によって表される最新の第４空間相関行列φＮＮ（ｆ，ｎ）で補正することによって、新たな第４空間相関行列φＮＮ（ｆ，ｎ）を導出する。
【０２５０】
なお、相関導出部３０Ｄは、第４相関記憶部３０Ｆに記憶済の第４空間相関行列φＮＮ（ｆ，ｎ）を、過去に導出した第４空間相関行列φＮＮ（ｆ，ｎ）として用いればよい。また、第４相関記憶部３０Ｆには、１つの第４空間相関行列φＮＮ（ｆ，ｎ）のみが記憶され、順次、相関導出部３０Ｄによって更新される。
【０２５１】
次に、本実施の形態の音信号処理装置１１が実行する音信号処理の手順を説明する。
【０２５２】
図６は、本実施の形態の音信号処理装置１１が実行する音信号処理の手順の一例を示す、フローチャートである。
【０２５３】
変換部３０Ｂが、ＡＤ変換部１８を介して複数の第１マイク１４から受付けた第３信号を短時間フーリエ変換し、周波数スペクトルＸ（ｆ，ｎ）によって表される第１音信号を取得する（ステップＳ２００）。変換部３０Ｂは、取得した第１音信号を、分離部３０Ｊおよび生成部３０Ｈ（生成部３０Ｈ１〜生成部３０Ｈ３）の各々へ出力する（ステップＳ２０２）。
【０２５４】
次に、分離部３０Ｊが、第１音信号を、目的音成分Ｓｉ（ｆ，ｎ）と非目的音成分Ｎｉ（ｆ，ｎ）に分離する（ステップＳ２０４）。そして、分離部３０Ｊは、目的音成分Ｓｉ（ｆ，ｎ）と非目的音成分Ｎｉ（ｆ，ｎ）を、相関導出部３０Ｄへ出力する。
【０２５５】
次に、音信号処理部３０では、目的音源１２Ａ１〜目的音源１２Ａ３の各々に対応する、加算部３０Ｋ、係数導出部３０Ｇ、生成部３０Ｈ、および逆変換部３０Ｉ１が、ステップＳ２０６〜ステップＳ２１２の処理を実行する。なお、ステップＳ２０６〜ステップＳ２１２の処理は、複数の目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）の各々に対応する機能間で、並列して実行される。
【０２５６】
まず、加算部３０Ｋが、対応する目的音源１２Ａ以外の目的音源１２Ａの第３空間相関行列と、第４空間相関行列φＮＮ（ｆ，ｎ）と、を加算し、対応する目的音源１２Ａの係数導出部３０Ｇへ出力する（ステップＳ２２０６）。
【０２５７】
係数導出部３０Ｇは、対応する目的音源１２Ａの第３空間相関行列と、第４空間相関行列φＮＮ（ｆ，ｎ）と、を第３相関記憶部３０Ｅおよび第４相関記憶部３０Ｆから読取る（ステップＳ２０８）。
【０２５８】
そして、係数導出部３０Ｇは、ステップＳ２０８で読取った第３空間相関行列および第４空間相関行列φＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数を導出する（ステップＳ２１０）。
【０２５９】
次に、生成部３０Ｈが、ステップＳ２１０で導出した空間フィルタ係数を用いて、第１音信号に含まれる、対応する目的音源１２Ａの目的音信号を強調した強調音信号を生成する（ステップＳ２１２）。
【０２６０】
そして、逆変換部３０Ｉ１は、ステップＳ２１２で生成された強調音信号を出力部２２へ出力する（ステップＳ２１４）。
【０２６１】
目的音源１２Ａ１〜目的音源１２Ａ３の各々に対応する、加算部３０Ｋ、係数導出部３０Ｇ、生成部３０Ｈ、および逆変換部３０Ｉ１が、ステップＳ２０６〜ステップＳ２１２の処理を実行することによって、目的音源１２Ａ１から発せられた目的音信号を強調した強調音信号と、目的音源１２Ａ２から発せられた目的音信号を強調した強調音信号と、目的音源１２Ａ３から発せられた目的音信号を強調した強調音信号と、が検出部３０Ｃおよび逆変換部３０Ｉへ出力される。
【０２６２】
このため、逆変換部３０Ｉ１〜逆変換部３０Ｉ３の各々から受付けた強調音信号を出力する出力部２２は、複数の目的音源１２Ａの各々の目的音をそれぞれ強調した、複数の強調音信号を出力することができる。
【０２６３】
次に、検出部３０Ｃは、生成部３０Ｈ（生成部３０Ｈ１〜生成部３０Ｈ３）から受付けた複数の強調音信号を用いて、複数の目的音源１２Ａの各々の目的音の、目的音区間を検出する（ステップＳ２１６）。
【０２６４】
次に、相関導出部３０Ｄは、ステップＳ２０４で分離された目的音成分Ｓ（ｆ，ｎ）および非目的音成分Ｎ（ｆ，ｎ）と、複数の目的音源１２Ａの各々の目的音の目的音区間を示す関数（ｕａ（ｎ），ｕｂ（ｎ），ｕｃ（ｎ））に基づいて、複数の目的音源１２Ａの各々に対応する第３空間相関行列（第３空間相関行列φｘｘａ（ｆ，ｎ）、第３空間相関行列φｘｘｂ（ｆ，ｎ）、第３空間相関行列φｘｘｃ（ｆ，ｎ））、および第４空間相関行列φＮＮ（ｆ，ｎ）を導出する（ステップＰＳ２１８）。
【０２６５】
そして、相関導出部３０Ｄは、導出した第３空間相関行列φｘｘａ（ｆ，ｎ）、第３空間相関行列φｘｘｂ（ｆ，ｎ）、第３空間相関行列φｘｘｃ（ｆ，ｎ）、および第４空間相関行列φＮＮ（ｆ，ｎ）を、各々、第３相関記憶部３０Ｅ１、第３相関記憶部３０Ｅ２、第３相関記憶部３０Ｅ３、および第４相関記憶部３０Ｆへ記憶することで、これらの空間相関行列を更新する（ステップＳ２２０）。
【０２６６】
次に、音信号処理部３０が、音信号処理を終了するか否かを判断する（ステップＳ２２２）。ステップＳ２２２で否定判断すると（ステップＳ２２２：Ｎｏ）、上記ステップＳ２００へ戻る。一方、ステップＳ２２２で肯定判断すると（ステップＳ２２２：Ｙｅｓ）、本ルーチンを終了する。
【０２６７】
以上説明したように、本実施の形態の音信号処理装置１１は、分離部３０Ｊが、第１音信号を目的音成分と非目的音成分に分離する。検出部３０Ｃは、強調音信号に基づいて、目的音区間を検出する。相関導出部３０Ｄは、目的音区間と、目的音成分と、非目的音成分と、に基づいて、第１音信号における目的音成分の第３空間相関行列と、第１音信号における非目的音成分の第４空間相関行列と、を導出する。そして、係数導出部３０Ｇは、第３空間相関行列および第４空間相関行列に基づいて、空間フィルタ係数を導出する。
【０２６８】
このように、本実施の形態の音信号処理装置１１では、第２マイク１６から取得した第２音声信号を用いずに、第１マイク１４から取得した第１音声信号を用いて、空間フィルタ係数を導出する。このため、本実施の形態では、目的音源１２Ａ以外の非目的音源１２Ｂの音を集音するための第２マイク１６を用意することなく、目的音源１２Ａから発せられた目的音信号を高精度に強調することができる。
【０２６９】
また、本実施の形態の音信号処理装置１１では、複数の目的音源１２Ａの各々の目的音の目的音信号を、分離して強調することができる。
【０２７０】
また、本実施の形態の音信号処理装置１１では、相関導出部３０Ｄが、順次、第３空間相関行列および第４空間相関行列を更新する。このため、第３相関記憶部３０Ｅに初期値として記憶されていた第３空間相関行列が想定する、目的音源１２Ａと第１マイク１４との位置関係にずれが生じた場合であっても、実際の位置関係に応じた空間相関行列に次第に収束するように更新されていくこととなる。
【０２７１】
このため、本実施の形態の音信号処理装置１１は、効果的に目的音源１２Ａから発せられた目的音信号を強調し、非目的音信号を抑圧することができる。
【０２７２】
また、本実施の形態の音信号処理装置１１は、第１音信号を目的音成分と非目的音成分に分離し、空間相関行列の導出に用いる。このため、音信号処理装置１１は、雑音などの非目的音を効果的に抑圧した強調音信号を生成することができる。よって、音信号処理装置１１は、高精度な強調音信号を提供することができる。
【０２７３】
＜変形例２＞
なお、分離部３０Ｊは、上記第２の実施の形態に示した方法とは異なる方法を用いて、第１音信号を目的音成分と非目的音成分に分離してもよい。
【０２７４】
例えば、分離部３０Ｊは、周波数ビン毎に目的音か非目的音かの判定を行い、判定結果を用いて、第１音信号を目的音成分と非目的音成分に分離してもよい。
【０２７５】
例えば、分離部３０Ｊは、ニューラルネットワークを用いて、第１音信号を目的音成分と非目的音成分に分離する。
【０２７６】
この場合、分離部３０Ｊは、ニューラルネットワークを用いて、フレーム毎および周波数ビンごとに、値“０”または値“１”を示す音声マスクＭＳ（ｆ，ｎ）および非音声マスクＭＮ（ｆ，ｎ）を推定する。そして、分離部３０Ｊは、下記式（４３）および式（４４）を用いて、目的音成分Ｓｉ（ｆ，ｎ）および非目的音成分Ｎｉ（ｆ，ｎ）を導出する。
【０２７７】
【数２６】
2020003751.tif 000028
【０２７８】
分離部３０Ｊは、ニューラルネットワークの入力として、１チャンネルの周波数スペクトルＸｉ（ｆ，ｎ）を用いる。そして、分離部３０Ｊは、各チャンネルの入力に対して、音声マスクＭＳ（ｆ，ｎ）および非音声マスクＭＮ（ｆ，ｎ）を推定する。
【０２７９】
そして、分離部３０Ｊは、全てのチャンネルの推定結果の多数決等を用いて、チャンネル共通の音声マスクＭＳ（ｆ，ｎ）および非音声マスクＭＮ（ｆ，ｎ）を推定すればよい。
【０２８０】
分離部３０Ｊは、雑音を含まないクリーンな目的音信号と、目的音を含まない非目的音信号と、を用いたシミュレーションによって、ニューラルネットワークの学習データを予め生成すればよい。
【０２８１】
クリーンな目的音信号のスペクトルをＳｔ（ｆ，ｎ）、目的音を含まない非目的音信号のスペクトルをＮｔ（ｆ，ｎ）で表す。すると、雑音などの非目的音を重畳した音のスペクトルＸｔ（ｆ，ｎ）と、音声マスクの正解データＭｔＳ（ｆ，ｎ）および非音声マスクの正解データＭｔＮ（ｆ，ｎ）は、下記式（４５）〜式（４７）により導出される。
【０２８２】
【数２７】
2020003751.tif 000029
【０２８３】
式（４６）および式（４７）中、ｔＳおよびｔＮは、目的音と非目的音とのパワー比の閾値を示す。
【０２８４】
入力特徴量には、下記式（４８）で表されるベクトルｖ（ｎ）を用いる。
【０２８５】
【数２８】
2020003751.tif 000030
【０２８６】
式（４８）によって表されるベクトルｖ（ｎ）は、当該フレームと直前のフレームのスペクトルの絶対値の対数を連結した、５１６次元ベクトルである。そして、音声マスクＭＳ（ｆ，ｎ）および非音声マスクＭＮ（ｆ，ｎ）の推定は、入力特徴量を示すベクトルｖ（ｎ）から、正解データを表す２５８次元ベクトルｃ（ｎ）を推定する問題として、下記式（４９）に定式化することができる。
【０２８７】
【数２９】
2020003751.tif 000031
【０２８８】
このため、ニューラルネットワークのモデルの構成は、下記式（５０）〜式（５４）で定義することができる。
【０２８９】
【数３０】
2020003751.tif 000032
【０２９０】
ここで、中間層のノード数を２００と想定する。すると、行列Ｗｉのサイズは２００×５１６となり、行列Ｗｏのサイズは２５８×２００となる。このため、行列Ｗ１、行列Ｗ２、および行列Ｗ３のサイズは、いずれも２００×２００となる。
【０２９１】
ここで、目的関数Ｌを、下記式（５５）で表されるクロスエントロピーで定義する。
【０２９２】
【数３１】
2020003751.tif 000033
【０２９３】
そして、分離部３０Ｊは、目的関数Ｌを最大化するパラメータ列Ｗｉ，Ｗｏ，Ｗ１，Ｗ２，Ｗ３を学習により導出する。学習の手法には、確率的勾配降下法など、公知の方法を用いればよい。
【０２９４】
そして、分離部３０Ｊは、上記方法により生成したモデルを用いて推定した、上記式（５５）におけるｍｉ（ｎ），（ｉ＝１，・・・・，２５８）は、０から１の間の連続値となる。このため、例えば、分離部３０Ｊは、例えば“０．５”を閾値とし、該閾値以上であれば値“１”、該閾値未満であれば“０”に二値化することで、フレーム毎および周波数ビンごと音声マスクＭＳ（ｆ，ｎ）および非音声マスクＭＮ（ｆ，ｎ）を推定する。そして、分離部３０Ｊは、上記式（４３）および上記式（４４）を用いて、目的音成分Ｓｉ（ｆ，ｎ）および非目的音成分Ｎｉ（ｆ，ｎ）を導出すればよい。
【０２９５】
なお、上記変形例１および上記変形例２では、ニューラルネットワークの構成要素が、３層の中間層を持つ全結合ネットワークである場合を一例として説明した。しかし、ニューラルネットワークの構成要素は、これに限定されない。
【０２９６】
例えば、学習データが十分に用意できる場合には、中間層の層数やノード数をさらに増やすことにより、精度向上を図ってもよい。また、バイアス項を用いてもよい。また、活性化関数としては、ｓｉｇｍｏｉｄの他に、ｒｅｌｕやｔａｎｈなどの種々の関数を用いることができる。また、全結合層以外にも、畳み込みニューラルネットワークやリカレントニューラルネットワークなど、種々の構成を利用することが可能である。また、ニューラルネットワークに入力する特徴量として、ＦＦＴパワースペクトルを用いるものとして説明したが、このほかにもメルフィルタバンクやメルケプストラムなど、種々の特徴量やそれらの組み合わせを用いることが可能である。
【０２９７】
（第３の実施の形態）
なお、音信号処理装置１０および音信号処理装置１１は、音信号処理システム２に代えて、認識部を備えた構成であってもよい。
【０２９８】
図７は、本実施の形態の音信号処理システム３の一例を示す模式図である。
【０２９９】
音信号処理システム３は、音信号処理装置１３と、複数の第１マイク１４と、を備える。音信号処理装置１３と、複数の第１マイク１４とは、データや信号を授受可能に接続されている。すなわち、音信号処理システム３は、音信号処理装置１０に代えて音信号処理装置１３を備える。
【０３００】
音信号処理装置１３は、ＡＤ変換部１８と、音信号処理部２０と、認識部２４と、を備える。ＡＤ変換部１８および音信号処理部２０は、第１の実施の形態と同様である。すなわち、音信号処理装置１３は、出力部２２に代えて認識部２４を備えた点以外は、音信号処理装置１０と同様である。
【０３０１】
認識部２４は、音信号処理部２０から受付けた強調音信号を認識する。
【０３０２】
具体的には、認識部２４は、強調音信号を解析する装置である。認識部２４は、例えば、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号を公知の解析方法で認識し、認識結果を出力する。この出力は、テキストデータでもよいし、認識された単語ＩＤのような記号化された情報であってもよい。認識部２４には、公知の認識装置を用いればよい。
【０３０３】
（適用範囲）
上記実施の形態および変形例で説明した音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３は、目的音信号を強調する様々な装置やシステムに適用することができる。
【０３０４】
詳細には、音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３は、１または複数の話者が音声を出力する環境において音を集音して処理する各種のシステムや装置に適用することができる。
【０３０５】
例えば、音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３は、会議システム、講義システム、接客対応システム、スマートスピーカ、車載システム、等に適用することができる。
【０３０６】
会議システムは、１または複数の話者が発話するスペース内に配置されたマイクで集音された音を処理するシステムである。講義システムは、講義者および受講者の少なくとも一方が発話するスペース内に配置されたマイクで集音された音を処理するシステムである。接客対応システムは、店員と顧客が対話形式で発話するスペース内に配置されたマイクで集音された音を処理するシステムである。スマートスピーカは、対話型の音声操作に対応したＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）アシスタントを利用可能なスピーカである。車載システムは、車両内で乗員の発話した音を集音して処理し、処理結果を車両の駆動制御などに用いるシステムである。
【０３０７】
次に、上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３のハードウェア構成を説明する。
【０３０８】
図８は、上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３のハードウェア構成例を示す説明図である。
【０３０９】
上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５１などの制御装置と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５２やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。
【０３１０】
上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。
【０３１１】
上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
【０３１２】
さらに、上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０３１３】
上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３で実行されるプログラムは、コンピュータを、上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
【０３１４】
本発明のいくつかの実施の形態および変形例を説明したが、これらの実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０３１５】
１０、１１、１３  音信号処理装置
１２  音源
１２Ａ、１２Ａ１、１２Ａ２、１２Ａ３  目的音源
１２Ｂ  非目的音源
１４、１４Ａ、１４Ｂ、１４Ｃ、１４Ｄ  第１マイク
１６  第２マイク
２０、３０  音信号処理部
２０Ｃ  検出部
２０Ｄ  相関導出部
２０Ｇ  係数導出部
２０Ｈ  生成部
２４  認識部
３０Ｃ  検出部
３０Ｄ  相関導出部
３０Ｇ、３０Ｇ１、３０Ｇ２、３０Ｇ３  係数導出部
３０Ｈ、３０Ｈ１、３０Ｈ２、３０Ｈ３  生成部
３０Ｊ  分離部
【図１】
2020003751.tif 000034
【図２】
2020003751.tif 000035
【図３】
2020003751.tif 000036
【図４】
2020003751.tif 000037
【図５】
2020003751.tif 000038
【図６】
2020003751.tif 000039
【図７】
2020003751.tif 000040
【図８】
2020003751.tif 000041