(57)【特許請求の範囲】
【請求項１】
複数のマイクロホンによって音響信号を収音する収音部と、
前記収音部によって収音された音響信号に基づいて、音源定位を行い、音源毎の発話区間の検出を行う音源定位部と、
前記収音部によって収音された音響信号を、前記音源定位部によって音源定位された結果を用いずに、固定されている音源数および固定されている音源方向の音源に分離する音源分離部と、
前記音源定位部によって音源定位された結果および検出された前記発話区間と、前記音源分離部によって分離された結果とに基づいて、予め固定されている音源が発話されている期間の音声信号を抽出する音声抽出部と、
を備え、
前記音源分離部は、
分離行列を用いて前記音源数に分離し、発話が検出されたときに前記分離行列をリセットしない、音源分離装置。
【請求項２】
前記音源分離部は、
分離行列を用いて前記音源数に分離し、非発話期間においても前記分離行列を所定時間毎に更新する請求項１に記載の音源分離装置。
【請求項３】
前記予め固定されている音源は、
車両の運転席の運転者と、助手席の乗員である請求項１または請求項２に記載の音源分離装置。
【請求項４】
前記運転者および前記乗員以外の音源が、前記予め固定されている音源に、さらに割り当てられる請求項３に記載の音源分離装置。
【請求項５】
前記収音部は、
車両の運転席と助手席との間に配置される請求項１から請求項４のいずれか１項に記載の音源分離装置。
【請求項６】
前記収音部は、
マップランプとインストルメントパネルとの間に配置される請求項１から請求項５のいずれか１項に記載の音源分離装置。
【請求項７】
前記固定されている音源に関する情報が記憶されている音源情報記憶部、
を備え、
前記音源分離部は、
前記音源情報記憶部に記憶されている情報を用いて、前記音響信号を固定されている音源数に分離する請求項１から請求項６のいずれか１項に記載の音源分離装置。
【請求項８】
収音部が、複数のマイクロホンによって音響信号を収音する収音手順と、
音源定位部が、前記収音手順によって収音された音響信号に基づいて、音源定位を行い、音源毎の発話区間の検出を行う音源定位手順と、
音源分離部が、前記収音手順によって収音された音響信号を固定されている音源数に分離する音源分離手順と、
音声抽出部が、前記音源定位手順によって音源定位された結果および検出された前記発話区間と、前記音源分離手順によって分離された結果とに基づいて、予め固定されている音源が発話されている期間の音声信号を抽出する音声抽出手順と、
前記音源分離部が、分離行列を用いて前記音源数に分離し、発話が検出されたときに前記分離行列をリセットしない手順と、
を含む音源分離方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源分離装置、および音源分離方法に関する。
【背景技術】
【０００２】
車両において、ナビゲーションシステム等を音声によるコマンドで操作する音声認識システムが提案されている。このような音声認識システムでは、例えば車両が高速道路を走行しているとき、または車両内で音楽が再生されているとき、周囲から大きな騒音が混入することで、音声認識率が低下しやすい。
【０００３】
このため、音声認識システムでは、座席シートの位置毎に、座席シートに着席している話者の音声の音源位置を予めプリセット情報として記憶させておく。そして、音声認識システムでは、センサによって検出した座席シートの位置に基づいてプリセット情報を検索し、検索されたプリセット情報を参照して、話者の音声を分離して音声認識を行うことが提案されている（例えば、特許文献１参照）。
【０００４】
ここで、このような音源を分離する従来技術の音源分離装置の概略を説明する。
図１４は、従来技術に係る音源分離装置９００の概略構成を示すブロック図である。図１４に示すように、従来技術の音源分離装置９００は、収音部９１１、音響信号取得部９１２、音源定位部９１３、および音源分離部９１４を備えている。
【０００５】
収音部９１１は、Ｎ個（ただしＮは２以上の整数）のマイクロホンによって形成されるマイクロホンアレイである。収音部９１１は、音響信号を収音して、収音したＮ個の音響信号を音響信号取得部９１２に出力する。
音響信号取得部９１２は、収音部９１１のＮ個のマイクロホンそれぞれが出力したＮ個の音響信号を取得し、取得したＮ個の音響信号を音源定位部９１３と音源分離部９１４に出力する。
【０００６】
音源定位部９１３は、音響信号取得部９１２が出力したＮ個の音響信号に対して、例えばＭＵＳＩＣ（ＭＵｌｔｉｐｌｅ  ＳＩｇｎａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法によって、音源の方向を推定（音源定位ともいう）し、推定した音源の方向を示す情報を音源分離部９１４に出力する。なお、音源定位部９１３によって音源定位される音源数は、音源分離装置９００が使用される環境に応じて動的に変化する。
【０００７】
音源分離部９１４は、音響信号取得部９１２が出力した音響信号に対して、音源定位部９１３が出力した音源の方向を示す情報を用いて、例えばブラインド分離とビームフォーミングのハイブリッドであるＧＨＤＳＳ―ＡＳ（Ｇｅｏｍｅｔｒｉｃａｌｌｙ  ｃｏｎｓｔｒａｉｎｅｄ  Ｈｉｇｈ−ｏｒｄｅｒ  Ｄｅｃｏｒｒｅｌａｔｉｏｎ  ｂａｓｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  ｗｉｔｈ  Ａｄａｐｔｉｖｅ  Ｓｔｅｐ−ｓｉｚｅ  ｃｏｎｔｒｏｌ）法によって音源を分離する。ＧＨＤＳＳ―ＡＳ法では、分離行列を用いて、収音された音響信号から分離信号を推定する。このように分離行列Ｗを用いて音源を分離する場合には、分離行列の安定性が音源分離の性能に影響を与えることが知られている。なお、音源分離部９１４は、音源定位部９１３によって音源の方向が検出されたときのみ、分離行列を更新する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】再公表ＷＯ２００６／０２５１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来技術では、発話が検出されたとき、分離行列がリセットされる場合もある。分離行列がリセットされた場合に、分離行列が収束するまでに時間がかかるので、従来技術では、収束するまで分離行列の安定性が悪くなり、音源の分離性能が低下する場合があった。
【００１０】
本発明は上記の点に鑑みてなされたものであり、音源の分離性能を向上することができる音源分離装置、および音源分離方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
（１）上記目的を達成するため、本発明の一態様に係る音源分離装置は、複数のマイクロホンによって音響信号を収音する収音部と、前記収音部によって収音された音響信号に基づいて、音源定位を行い、音源毎の発話区間の検出を行う音源定位部と、前記収音部によって収音された音響信号を、前記音源定位部によって音源定位された結果を用いずに、固定されている音源数および固定されている音源方向の音源に分離する音源分離部と、前記音源定位部によって音源定位された結果および検出された前記発話区間と、前記音源分離部によって分離された結果とに基づいて、予め固定されている音源が発話されている期間の音声信号を抽出する音声抽出部と、を備え、前記音源分離部は、分離行列を用いて前記音源数に分離し、発話が検出されたときに前記分離行列をリセットしない。
【００１３】
（２）また、本発明の一態様に係る音源分離装置において、前記音源分離部は、分離行列を用いて前記音源数に分離し、非発話期間においても前記分離行列を所定時間毎に更新するようにしてもよい。
【００１４】
（３）また、本発明の一態様に係る音源分離装置において、前記予め固定されている音源は、車両の運転席の運転者と、助手席の乗員であるようにしてもよい。
（４）また、本発明の一態様に係る音源分離装置において、前記運転者および前記乗員以外の音源が、前記予め固定されている音源に、さらに割り当てられるようにしてもよい。
【００１５】
（５）また、本発明の一態様に係る音源分離装置において、前記収音部は、車両の運転席と助手席との間に配置されるようにしてもよい。
（６）また、本発明の一態様に係る音源分離装置において、前記収音部は、マップランプとインストルメントパネルとの間に配置されるようにしてもよい。
【００１６】
（７）また、本発明の一態様に係る音源分離装置において、前記固定されている音源に関する情報が記憶されている音源情報記憶部、を備え、前記音源分離部は、前記音源情報記憶部に記憶されている情報を用いて、前記音響信号を固定されている音源数に分離するようにしてもよい。
【００１７】
（８）上記目的を達成するため、本発明の一態様に係る音源分離方法は、収音部が、複数のマイクロホンによって音響信号を収音する収音手順と、音源定位部が、前記収音手順によって収音された音響信号に基づいて、音源定位を行い、音源毎の発話区間の検出を行う音源定位手順と、音源分離部が、前記収音手順によって収音された音響信号を固定されている音源数に分離する音源分離手順と、音声抽出部が、前記音源定位手順によって音源定位された結果および検出された前記発話区間と、前記音源分離手順によって分離された結果とに基づいて、予め固定されている音源が発話されている期間の音声信号を抽出する音声抽出手順と、前記音源分離部が、分離行列を用いて前記音源数に分離し、発話が検出されたときに前記分離行列をリセットしない手順と、を含む。
【発明の効果】
【００１８】
上述した（１）、（８）の構成によれば、マイクロホン、音源数と音源方向とが固定されているため、音源分離に用いる分離行列Ｗの行と列が変化しない。これにより、上述した（１）、（８）の構成によれば、分離行列Ｗが安定しているため、音源定位された音源の方向を用いて音源分離する場合と比較して、分離行列Ｗが安定しているため音源分離の性能が安定する。
【００１９】
上述した（１）の構成によれば、音源毎に発話されている期間の音声信号を抽出することができる。
上述した（２）の構成によれば、収束した分離行列Ｗを用いて音源分離を行うことができるので、音源分離の性能を安定させることができる。
【００２０】
上述した（１）の構成によれば、分離行列Ｗは、発話が検出された場合であってもリセットされずに更新が継続されるため、収束した状態であり、常に安定している。この結果、（１）の構成によれば、音源分離の性能を安定させることができる。
上述した（３）の構成によれば、運転席に着席している運転者の音声信号と、助手席に着席している乗員の音声信号を精度良く分離することができる。
【００２１】
上述した（４）の構成によれば、ロードノイズ、エアコンのノイズ、カーステレオの音響信号等の音源分離装置にとってのノイズを所定方向の仮想音源に吸収させることができるので、分離される固定されている音源数と音源方向の音響信号の分離特性が、さらに向上する。
【００２２】
上述した（５）または（６）の構成によれば、運転席に着席している運転者の音声信号と、助手席に着席している乗員の音声信号を収音することができる。
上述した（７）の構成によれば、音源情報記憶部に記憶されている音源数、音源の方向の情報を用いて行数と列数とが固定され安定した分離行列Ｗを用いて音源分離を行うことができる。
【図面の簡単な説明】
【００２３】
【図１】第１実施形態に係る車両の車室内における収音部の配置例、話者の位置、及び固定された音源方向を示す図である。
【図２】第１実施形態に係る音源分離装置の構成を表すブロック図である。
【図３】第１実施形態に係る音源情報記憶部に記憶されている情報の例を示す図である。
【図４】第１実施形態に係る音源情報記憶部に記憶されている音源数と音源方向が経過時間に対して固定されていることを示す図である。
【図５】第１実施形態に係る音源定位部によって定位された音源方向と経過時間の例を示す図である。
【図６】第１実施形態に係る音源定位部が出力する音源定位情報の一例を示す図である。
【図７】第１実施形態に係る音源分離装置が行う処理の一例を示すフローチャートである。
【図８】図１における車両のＡ−Ｂ間の断面図である。
【図９】第２実施形態に係る音源分離装置の構成を示すブロック図である。
【図１０】第２実施形態に係る音源情報記憶部に記憶されている情報の例を示す図である。
【図１１】第２実施形態に係る音源情報記憶部に記憶されている音源数と音源方向が経過時間に対して固定されていることを示す図である。
【図１２】第２実施形態に係る音源定位部が出力する音源定位情報の一例を示す図である。
【図１３】第２実施形態に係る音源分離装置が行う処理の一例を示すフローチャートである。
【図１４】従来技術に係る音源分離装置の概略構成を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本発明の実施形態について説明する。また、以下の説明では、音源分離装置を車両に設置する例について説明を行う。
［第１実施形態］
＜収音部の配置、話者の位置、固定された音源＞
まず、音響信号を収音する収音部１１の車両２内における配置例、話者の位置、及び固定された音源方向について説明する。
図１は、本実施形態に係る車両２の車室内における収音部１１の配置例、話者の位置、及び固定された音源方向を示す図である。
図１に示す車両２は、運転席２１が車室内の右側に配置され、助手席２２が車室内の左側に配置されている所謂右ハンドル車である。ステアリングホイール２３は車室内の右側に配置されている。運転席２１と助手席２２の間には、シフトレバー２４が突設されるシフトパネル２５が配置されている。シフトパネル２５は、運転席２１と助手席２２のフロアから上方に隆起した位置に設けられている。また、シフトパネル２５の前部は、インストルメントパネル２６の車幅方向中央に連設されたセンターパネル２７に連続するように配置されている。センターパネル２７には、音源分離装置１、オーディオ装置、およびエアコン等が配置されている。また、収音部１１は、運転席２１と助手席２２の間、例えば車両２の天井に設置されている。なお、収音部１１の配置は、これに限られず、運転席２１と助手席２２の間、マップランプ２９（図８参照）とインストルメントパネル２６との間に配置されていればよい。
【００２５】
また、図１に示す例では、運転席２１に運転者ｈｕ１が着席し、助手席２２に乗員ｈｕ２が着席している。また、運転席ｈｕ１は、シートベルト２８を装着して運転席２１に着席しているため、運転席２１から移動しない。同様に、乗員ｈｕ２は、シートベルト２８を装着して助手席２２に着席しているため、助手席２２から移動しない。本実施形態の音源は、運転者ｈｕ１と、乗員ｈｕ２であり、収音部１１に対するこの２つの音源の位置と方向は、固定されていると見なすことができる。
このように、本実施形態では、音源数が、運転者ｈｕ１と乗員ｈｕ２の２つ、音源方向が、運転席方向と助手席方向の２つに固定されている。
【００２６】
また、図１に示す例では、収音部１１は、４つのマイクロホン１０１−１〜１０１−４を備えている。マイクロホン１０１−１と１０１−２は、運転席２１に向けて配置され、マイクロホン１０１−３と１０１−４は、助手席２２に向けて配置されている。なお、マイクロホン１０１の数は、これに限られず音源数以上であればよい。
【００２７】
＜音源分離装置の構成＞
次に、音源分離装置について説明する。
図２は、本実施形態に係る音源分離装置１の構成を示すブロック図である。
図２に示すように、音源分離装置１は、収音部１１、音響信号取得部１２、音源情報記憶部１３、音源定位部１４、音源分離部１５、音声抽出部１６を備える。
【００２８】
収音部１１は、マイクロホンであり、マイクロホン１０１−１〜１０１−Ｎ（Ｎは２以上の整数）を備える。なお、収音部１１は、マイクロホンアレイである。なお、マイクロホン１０１−１〜１０１−Ｎのうちいずれか１つを特定しない場合は、マイクロホン１０１という。収音部１１は、収音した音響信号を電気信号に変換して、変換した音響信号を音響信号取得部１２に出力する。なお、収音部１１は、収録したＮチャネルの音響信号を音響信号取得部１２に無線で送信してもよいし、有線で送信してもよい。送信の際にチャネル間で音響信号が同期していればよい。
【００２９】
音響信号取得部１２は、収音部１１のＮ個のマイクロホン１０１によって収録されたＮチャネルの音響信号を取得する。音響信号取得部１２は、取得したＮチャネルの音響信号をチャネルｉ毎の音声信号ｘｉ（ｋ）（ｋは、サンプル時刻を表す整数、ｉは、１≦ｉ≦Ｎとなる整数）に対して、例えば離散フーリエ変換（ＤＦＴ；Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を行って、周波数領域信号ｘｉ（ω）（ωは、周波数）を生成し、生成した周波数領域信号ｘｉ（ω）を音源定位部１４および音源分離部１５に出力する。
【００３０】
音源情報記憶部１３には、図３に示すように、音源数、音源方向、音源定位用の伝達関数、および音源分離用の伝達関数が記憶されている。図３は、本実施形態に係る音源情報記憶部１３に記憶されている情報の例を示す図である。
図３に示すように、音源情報記憶部１３には、音源数として２、音源方向として運転席方向と助手席方向が対応付けられて記憶されている。なお、本実施形態では、運転者ｈｕ１を第１音源、乗員ｈｕ２を第２音源ともいう。また、音源情報記憶部１３には、マイクロホン１０１毎かつ所定の角度毎の方向かつ所定の位置毎に、マイクロホン１０１から所定の角度かつ所定の位置までの音源定位用の伝達関数ａφｉ（ω）が記憶されている。所定の角度とは、例えば５度である。また、所定の位置は、二次元空間内における位置、または三次元空間内における位置である。また、音源情報記憶部１３には、マイクロホン１０１毎に、各音源（第１音源、第２音源）までの音源分離用の伝達関数ａφｉ（ω）が記憶されている。なお、伝達関数ａφｉ（ω）を要素とするＮ次元のベクトル［ａφ１（ω），ａφ２（ω），…，ａφＮ（ω）］を伝達関数ベクトルｖａφ（ω）と呼ぶ。
【００３１】
なお、図３に示した例では、音源情報記憶部１３に所定の方向毎かつ所定の位置毎に音源定位用の伝達関数が記憶されている例を説明したが、これに限られない。音源情報記憶部１３には、マイクロホン１０１毎に、所定の方位毎の音源定位用の伝達関数が記憶されていてもよい。
また、図３に示した例では、音源情報記憶部１３に音源定位用の伝達関数と、音源分離用の伝達関数が記憶されている例を説明したが、これに限られない。音源情報記憶部１３には、例えば、図３に示した伝達関数のうち、音源定位用の伝達関数として示した伝達関数のみが記憶されていてもよい。この場合、音源情報記憶部１３には、音源方向を示す情報として、マイクロホン１０１毎に、マイクロホン１０１に対する第１音源への方向と、第１音源の位置、マイクロホン１０１に対する第２音源への方向と、第２音源の位置が記憶されていてもよい。この場合、音源分離部１５は、マイクロホン１０１に対する音源への方向と、音源の位置を示す情報に基づいて、音源方向と音源位置に対応する伝達関数を音源情報記憶部１３から読み出して用いるようにしてもよい。
【００３２】
また、音源数と音源方向は、図４に示すように、経過時間によって変化せず、固定されている。図４は、本実施形態に係る音源情報記憶部１３に記憶されている音源数と音源方向が経過時間に対して固定されていることを示す図である。図４において、横軸は経過時間、縦軸は音源方向を表している。図４に示すように、音源数は、経過時間によらず運転席方向と助手席方向の２つの音源に固定されている。また、音源方向は、経過時間によらず運転席方向と助手席方向の２つの方向に固定されている。
【００３３】
図２に戻って、音源分離装置１の説明を続ける。
音源定位部１４は、音響信号取得部１２から入力された周波数領域信号ｘｉ（ω）に対して、音源情報記憶部１３に記憶されている伝達関数を用いて、音源の音源方向の推定を行う。音源定位部１４は、推定した結果である音源定位情報を音声抽出部１６に出力する。音源定位部１４は、例えば、ＭＵＳＩＣ（ＭＵｌｔｉｐｌｅ  ＳＩｇｎａｌ  Ｃｌａｓｓｉｃａｔｉｏｎ）法を用いて音源の方向を推定する。これにより、音源定位部１４は、ＭＵＳＩＣスペクトルから、予め定められている閾値を用いて、閾値より大きな値が得られた場合に、音源定位と音声区間とを同時に推定する。このため、音源定位情報Ｓには、音源毎に音源方向を示す情報と、音声区間を示す情報とが含まれている。なお、音源定位の方法については後述する。
なお、音源定位部１４は、ＭＵＳＩＣ法に代えて、その他の手法を用いて音源方向と音声区間とを算出してもよい。音源定位部１４は、例えば、一般化固有値分解（ＧＥＶＤ：Ｇｅｎｅｒａｌｉｚｅｄ  ＥｉｇｅｎＶａｌｕｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）−ＭＵＳＩＣ法等を用いてもよい。または、音源定位部１４は、ビームフォーミング（Ｂｅａｍｆｏｒｍｉｎｇ）法によって音源定位を行った後に、音声区間を検出するようにしてもよい。
【００３４】
図５は、本実施形態に係る音源定位部１４によって定位された音源方向と経過時間の例を示す図である。図５において、横軸は経過時間、縦軸は音源方向を表している。また、図５に示す例では、図１に示した例のように、運転席２１と助手席２２それぞれに人が着席して発話している例である。例えば、運転席方向に定位された第１音源が、運転者ｈｕ１の音声に対応し、助手席方向に定位された第２音源が、乗員ｈｕ２の音声に対応する。音源定位部１４によって定位された音源方向の数は、図５のように経過時間と共に変化する。図５に示す例では、第１音源が、時刻ｔ１〜ｔ３、ｔ５〜ｔ７の期間に発話を行い、第２音源が、時刻ｔ２〜ｔ４、ｔ６〜ｔ８の期間に発話を行ったことを示している。
【００３５】
図６は、本実施形態に係る音源定位部１４が出力する音源定位情報Ｓの一例を示す図である。また、図６は、図５に示した音源定位の結果に基づく音源定位情報Ｓである。
図６に示すように、音源定位情報Ｓは、音源の方向毎に発話の有り無しが、期間毎に関連付けられている。図６において、“１”は、発話がある状態を示し、“０”は、発話がない状態を示している。時刻ｔ１〜ｔ２の期間および時刻ｔ５〜ｔ６の期間、運転席方向（第１音源）は発話があったため“１”であり、助手席方向（第２音源）は発話がなかったため“０”である。時刻ｔ２〜ｔ３の期間および時刻ｔ６〜ｔ７の期間、運転席方向は発話があったため“１”であり、助手席方向は発話があったため“１”である。時刻ｔ３〜ｔ４の期間および時刻ｔ７〜ｔ８の期間、運転席方向は発話がなかったため“０”であり、助手席方向は発話があったため“１”である。時刻ｔ４〜ｔ５の期間、運転席方向は発話がなかったため“０”であり、助手席方向は発話がなかったため“０”である。
【００３６】
図２に戻って、音源分離装置１の説明を続ける。
音源分離部１５は、音響信号取得部１２が出力したＮチャネルの周波数領域信号ｘｉ（ω）に対して、音源情報記憶部１３に記憶されている音源数と音源方向と音源分離用の伝達関数を用いて、音源毎の音響信号に分離する。すなわち、音源分離部１５は、Ｎチャネルの周波数領域信号ｘｉ（ω）に対して、音源情報記憶部１３に記憶されている運転席方向の第１音源と助手席方向の第２音源の２つの音源、第１音源に対応する伝達関数、第２音源に対応する伝達関数を用いて、第１音源と第２音源とに分離する。音源分離部１５は、分離した運転席方向の音響信号と、助手席方向の音響信号を音声抽出部１６に出力する。なお、運転者ｈｕ１（図１）のみが着席している場合であっても、音源分離部１５は、取得した音響信号を、運転席方向の第１音源と助手席方向の第２音源との２つの音響信号に分離する。音源分離部１５は、例えばブラインド分離とビームフォーミングのハイブリッドであるＧＨＤＳＳ―ＡＳ（Ｇｅｏｍｅｔｒｉｃａｌｌｙ  ｃｏｎｓｔｒａｉｎｅｄ  Ｈｉｇｈ−ｏｒｄｅｒ  Ｄｅｃｏｒｒｅｌａｔｉｏｎ  ｂａｓｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  ｗｉｔｈ  Ａｄａｐｔｉｖｅ  Ｓｔｅｐ−ｓｉｚｅ  ｃｏｎｔｒｏｌ）法よって、音源数と音源方向に応じた分離行列Ｗを生成し、生成した分離行列Ｗを用いて音源毎の音響信号に分離する。なお、分離行列Ｗの初期値は、音源情報記憶部１３に記憶されていてもよい。また、音源分離部１５は、ＧＨＤＳＳ―ＡＳ法によって、Ｎ×２の行列式である分離行列Ｗを更新し、更新した分離行列Ｗを用いて音源毎の音響信号に分離する。なお、音源分離の方法については後述する。
【００３７】
なお、音源分離部１５は、従来技術とは異なり、発話の検出や音源方位の検出に関わらず、フレーム毎に分離行列Ｗを更新する。ここで、フレームとは、解析されるデータの単位であり、例えばフレーム長が２５（ｍｓｅｃ）、フレームの間隔が１０（ｍｓｅｃ）である。さらに、音源分離部１５は、従来技術とは異なり、発話が検出されたときであっても分離行列Ｗをリセットしない。このため、本実施形態では、音源分離部１５が用いる分離行列Ｗは、発話が検出された場合であってもリセットされずに更新が継続される。このため、分離行列Ｗは、収束した状態であるため、常に安定している。この結果、本実施形態によれば、音源分離の性能を安定させることができる。
【００３８】
音声抽出部１６は、音源定位部１４が出力した音源定位情報Ｓを用いて、音源分離部１５が出力した音源毎の音響信号から、発話された話者の音声信号を抽出する。または、音声抽出部１６は、音源定位部１４が出力した音源定位情報Ｓ基づいて、発話区間の音声信号を話者毎に抽出する。なお、話者とは、上述したように、運転者ｈｕ１または乗員ｈｕ２のいずれかである。なお、音声の抽出方法については後述する。音声抽出部１６は、抽出した話者毎の音声信号に対して、逆フーリエ変換を周波数毎に行って時間領域の信号に変換する。音声抽出部１６は、変換した話者毎の音声信号を認識結果として、ナビゲーションシステム（不図示）等の外部装置に出力する。
【００３９】
＜音源分離装置１の処理＞
次に、音源分離装置１が行う処理手順の一例を説明する。
図７は、本実施形態に係る音源分離装置１が行う処理の一例を示すフローチャートである。
（ステップＳ１）音源分離部１５は、音源情報記憶部１３に記憶されている音源分離方向数と各分離対象の方向と位置に対応する音源分離用の伝達関数を読み出す。
【００４０】
（ステップＳ２）音響信号取得部１２は、収音部１１のＮ個のマイクロホン１０１によって収録されたＮ個の音響信号を取得する。
（ステップＳ３）音源定位部１４は、音源情報記憶部１３に記憶されている音源定位用の複数の伝達関数を読み出す。続けて、音源定位部１４は、音響信号取得部１２が出力したＮ個の音響信号に対して、音源情報記憶部１３から読み出した音源定位用の複数の伝達関数を用いて、例えばＭＵＳＩＣ法によって音源の音源方向の推定と推定された音源方向毎に音声区間の推定を行う。続けて、音源定位部１４は、推定した音源の音源方向と推定された音源方向毎の音声区間を含む音源定位情報Ｓを生成する。
【００４１】
（ステップＳ４）音源分離部１５は、音響信号取得部１２が出力したＮ個の音響信号に対して、音源情報記憶部１３から読み出した音源分離方向数と各分離対象の方向と位置に対応する音源分離用の伝達関数を用いて、例えばＧＨＤＳＳ―ＡＳ法によって、音源毎の音響信号に分離する。
なお、ステップＳ３の処理と、ステップＳ４の処理は、並行して行われる。
【００４２】
（ステップＳ５）音声抽出部１６は、音源定位部１４が出力した音源定位情報Ｓに基づいて、音源分離部１５が分離した音響信号から、発話された話者の音声信号を抽出する。
音源分離装置１は、ステップＳ２〜Ｓ５の処理を、例えばフレーム毎に行う。
【００４３】
＜音源定位＞
ここで、ＭＵＳＩＣ法（例えば、参考文献１参照）による音源定位の推定の概略を説明する。
音源定位部１４は、周波数ω毎にチャネル間の周波数領域信号ｘｉ（ω）の相互相関（ｃｒｏｓｓ  ｃｏｒｒｅｌａｔｉｏｎ）を要素とするＮ行Ｎ列の相関行列（ｃｏｒｒｅｌａｔｉｏｎ  ｍａｔｒｉｘ）Ｒ（ω）を、例えば次式（１）によって算出する。
【００４４】
【数１】
0006543843.tif 000002
【００４５】
式（１）において、Ｅ［…］は、…の期待値を表す。ｖｘ（ω）は、周波数領域信号ｘｉ（ω）を要素とするＮ次元のベクトル［ｘ１（ω），ｘ２（ω），…，ｘＮ（ω）］である。Ｈは、ベクトル又は行列の共役転置（ｃｏｎｊｕｇａｔｅ  ｔｒａｎｓｐｏｓｅ）を表す。
音源定位部１４は、相関行列Ｒ（ω）を固有値展開して、Ｎ個の固有値λｉ（ω）及び固有ベクトルｅｉ（ω）を算出する。なお、相関行列Ｒ（ω）と固有値λｉ（ω）ならびに固有ベクトルｅｉ（ω）は、次式（２）に示される関係を満たす。
【００４６】
【数２】
0006543843.tif 000003
【００４７】
式（２）において、Ｅ（ω）は、固有ベクトルｅｉ（ω）を要素とするＮ行Ｎ列の行列［ｅ１（ω），ｅ２（ω），…，ｅＮ（ω）］である。Λ（ω）は、対角要素としてＮ個の固有値λ１（ω），λ２（ω），…，λＮ（ω）を含むＮ行Ｎ列の対角行列である。ここで、インデックスｉは、行列Ｅ（ω）における固有ベクトルｅｉ（ω）の順序、行列Λ（ω）における固有値λｉ（ω）の順序を表す。音源定位部１４は、インデックスｉを、最大の固有値λｉ（ω）に対して１であり、最小の固有値λｉ（ω）に対してＮとなるように、固有値λｉ（ω）の降順に定める。
【００４８】
音源定位部１４は、音源情報記憶部１３から音源方向φ毎の音源定位用の伝達関数ベクトルｖａφ（ω）を読み出し、読み出した伝達関数ベクトルｖａφ（ω）と算出した固有ベクトルｅｉ（ω）に基づいて、周波数毎に指標値としてＭＵＳＩＣ評価値（ＭＵＳＩＣ  ｅｓｔｉｍａｔｏｒ）Ｐ（ω，φ）を、例えば次式（３）によって算出する。
【００４９】
【数３】
0006543843.tif 000004
【００５０】
式（３）において、Ｌは、予め定めた音源の数であって、１又は１よりも大きく、Ｎよりも小さい整数である。また、ｅｉ（ω）は、固有ベクトルである。
音源定位部１４は、ＭＵＳＩＣ評価値Ｐ（ω，φ）と最大固有値λ１（ω）を用いて、検出した音源方向φ毎に、予め定めた音声の周波数帯域における空間スペクトルＰ（φ）を、例えば次式（４）によって算出する。
【００５１】
【数４】
0006543843.tif 000005
【００５２】
式（４）において、ωｍｉｎは、当該周波数帯域の最低周波数を表し、ωｍａｘは、最高周波数を表す。即ち、式（４）は、ＭＵＳＩＣ評価値Ｐ（ω，φ）と最大固有値λ１（ω）の平方根の乗算値を、当該周波数成分にわたって加算して空間スペクトルＰ（φ）を算出することを表す。
【００５３】
音源定位部１４は、空間スペクトルＰ（φ）のうち、所定の閾値以上の値を抽出する。音源定位部１４は、抽出した値それぞれ対応する音源方向φを表す音源方向情報Ｓを生成する。このように、音源定位を行うことで、運転席または助手席に着席している人の位置がずれた場合であっても、運転者ｈｕ１または乗員ｈｕ２が発話していること、発話している区間を検出することができる。
【００５４】
参考文献１：Schmidt, 1986; Dan`es et al., 2010
【００５５】
＜音源分離＞
次に、ＧＨＤＳＳ−ＡＳ法による音源分離の概略を説明する。
本実施形態において、音源がＭ（＝２）個あり、マイクロホン１０１がＮ（≧Ｍ）個である。また、周波数ωにおけるＭ個の音源に対するスペクトルのベクトルをｕ（ω）＝［ｓ１（ω）ｓ２（ω）・・・ｓＭ（ω）］Ｔとし、周波数ωにおけるＮ個のマイクロホン１０１で収音した音響信号のスペクトルのベクトルをω，ｘ（ω）＝［ｘ１（ω）ｘ２（ω）・・・ｘＮ（ω）］Ｔとする。なお、上付きＴは、転置行列を表す。ｘ（ω）は、次式（５）のように表される。
【００５６】
【数５】
0006543843.tif 000006
【００５７】
式（５）において、Ｄ（ω）は音源とマイクロホン１０１との間の伝達関数行列であり、伝達関数行列の各要素Ｈｎｍは、ｍ番目の音源からｍ番目のマイクロホン１０１への伝達関数ａφ（ω）を表す。このとき、音源分離は、次式（６）で表される。
【００５８】
【数６】
0006543843.tif 000007
【００５９】
式（６）において、Ｗ（ω）は分離行列である。
音源分離部１５は、分離行列Ｗ（ω）を算出するために、例えば次式（７）、（８）に示すブラインド分離に対応する分離尖鋭度（Ｓｅｐａｒａｔｉｏｎ  Ｓｈａｒｐｎｅｓｓ）Ｊｓｓと、ビームフォーマに対応する幾何制約度（Ｇｅｏｍｅｔｒｉｃ  Ｃｏｎｓｔｒａｉｎｔ）ＪＧＣとの２つのコスト関数を用いる。
【００６０】
【数７】
0006543843.tif 000008
【００６１】
【数８】
0006543843.tif 000009
【００６２】
なお、式（７）および（８）において、｜｜…｜｜２は、行列…のフロベニウスノルム（Ｆｒｏｂｅｎｉｕｓ  ｎｏｒｍ）である。フロベニウスノルムとは、行列を構成する各要素値の二乗和（スカラー値）である。ｄｉａｇ［…］は、行列…の対角成分の総和を示す。また、φ（ｙ）は、非線形関数であり、次式（９）のように定義される。
【００６３】
【数９】
0006543843.tif 000010
【００６４】
なお、式（９）において、φ（ｙi）は、例えば次式（１０）のように定義される。
【００６５】
【数１０】
0006543843.tif 000011
【００６６】
式（１０）においてηはスケールパラメータである。
最終的なコスト関数Ｊ（Ｗ）は、次式（１１）のように表される。
【００６７】
【数１１】
0006543843.tif 000012
【００６８】
式（１１）においてαは、２つのコスト関数間の重みパラメータである。
なお、音源分離部１５は、分離行列Ｗ（ω）を、例えばフレーム毎に、次式（１２）を用いて更新する。
【００６９】
【数１２】
0006543843.tif 000013
【００７０】
式（１２）において、Ｗｔは、時刻ｔにおける分離行列Ｗ、Ｊ’ＳＳ（Ｗ）およびＪ’ＧＣ（Ｗ）は、ＪＳＳ（Ｗ）およびＪＧＣ（Ｗ）の複素勾配を表す。また、μＳＳおよびμＧＣは、ステップサイズパラメータである。
【００７１】
＜音声抽出＞
次に、音声抽出部１６が行う処理の例を説明する。
音声抽出部１６は、発話があったとき、分離された音響信号に１を乗算することで音声信号を抽出する。一方、音声抽出部１６は、発話がなかったとき、分離された音響信号に０を乗算することで音声信号を抽出しない。この結果、発話があったときには、音声信号が抽出され、発話がなかったときには、音声信号が抽出されない。例えば、図６において、時刻ｔ１〜ｔ２の期間、音声抽出部１６は、運転席方向の音源として分離された音響信号に、音源方向情報Ｓに含まれる運転席方向の“１”を乗算し、助手席方向の音源として分離された音響信号に、音源方向情報Ｓに含まれる助手席方向の“０”を乗算する。
また、助手席２２に乗員ｈｕ２が着席していない場合、運転者ｈｕ１の音源のみが定位される。この場合、音源定位部１４によって、運転者ｈｕ１の音源が定位され、かつ運転者ｈｕ１の発話区間が検出される。この結果、音声抽出部１６は、運転者ｈｕ１の音声信号のみを抽出する。
なお、音声抽出部１６は、発話があった場合、発話区間のみではなく、常に、または無音期間が所定期間継続されるまで、発話のあった音源に対応する音声信号を抽出するようにしてもよい。例えば、乗員ｈｕ２のみが発話を行っている場合、音声抽出部１６は、助手席方向における音源方向情報Ｓが“０”から“１”に変化した後、乗員ｈｕ２の音声信号のみを抽出するようにしてもよい。
【００７２】
以上のように、本実施形態の音源分離装置１は、複数のマイクロホン１０１によって音響信号を収音する収音部１１と、収音部によって収音された音響信号に基づいて、音源定位を行う音源定位部１４と、収音部によって収音された音響信号を、音源定位部によって音源定位された結果を用いずに、固定されている音源数および固定されている音源方向の音源に分離する音源分離部１５と、音源定位部によって音源定位された結果と、音源分離部によってされた結果とに基づいて、予め固定されている音源の音声信号を抽出する音声抽出部１６と、を備える。
【００７３】
この構成によって、本実施形態の音源分離装置１では、マイクロホン１０１数、音源数と音源方向とが固定されているため、音源分離に用いる分離行列Ｗの行と列が変化しない。これにより、本実施形態によれば、分離行列Ｗが安定している。この結果、本実施形態によれば、音源定位された音源の方向を用いて音源分離する場合と比較して、分離行列Ｗが安定しているため音源分離の性能が安定する。
【００７４】
また、本実施形態の音源分離装置１において、音源定位部１４は、音源（運転者ｈｕ１、乗員ｈｕ２）毎の発話区間の検出を行い、音声抽出部１６は、音源定位部によって音源定位された結果および検出された発話区間と、音源分離部１５によってされた結果とに基づいて、予め固定されている音源（運転者ｈｕ１、乗員ｈｕ２）が発話されている期間の音声信号を抽出する。
【００７５】
この構成によって、本実施形態の音源分離装置１では、音源毎に発話されている期間の音声信号を抽出することができる。なお、発話されている期間とは、例えば、運転者ｈｕ１または乗員ｈｕ２のうちの少なくとも１人が発話を開始した後の無音期間が所定時間以上継続するまでの期間、または１つの発話とみなせる有音期間である。
【００７６】
また、本実施形態の音源分離装置１において、音源分離部１５は、分離行列Ｗを用いて音源数に分離し、非発話期間においても分離行列を所定時間毎に更新する。
この構成によって、本実施形態の音源分離装置１では、収束した分離行列Ｗを用いて音源分離を行うことができる。この結果、本実施形態によれば、音源分離の性能を安定させることができる。
【００７７】
また、本実施形態の音源分離装置１において、音源分離部１５は、分離行列Ｗを用いて音源数に分離し、発話が検出されたときに分離行列をリセットしない。
この構成によって、分離行列Ｗは、発話が検出された場合であってもリセットされずに更新が継続されるため、収束した状態であり、常に安定している。この結果、本実施形態によれば、音源分離の性能を安定させることができる。
【００７８】
また、本実施形態の音源分離装置１において、予め固定されている音源は、車両の運転席の運転者ｈｕ１と、助手席の乗員ｈｕ２である。
この構成によって、本実施形態の音源分離装置１では、運転席２１に着席している運転者ｈｕ１の音声信号と、助手席２２に着席している乗員ｈｕ２の音声信号を精度良く分離することができる。
【００７９】
また、本実施形態の音源分離装置１において、収音部１１は、車両の運転席と助手席との間に配置される。
また、本実施形態の音源分離装置１において、収音部１１は、マップランプとインストルメントパネルとの間に配置される。
この構成によって、本実施形態の音源分離装置１では、運転席２１に着席している運転者ｈｕ１の音声信号と、助手席２２に着席している乗員ｈｕ２の音声信号を収音することができる。
【００８０】
また、本実施形態の音源分離装置１において、固定されている音源に関する情報（例えば音源数、音源の方向）が記憶されている音源情報記憶部１３、を備え、音源分離部１５は、音源情報記憶部に記憶されている情報を用いて、音響信号を固定されている音源数に分離する。
この構成によって、本実施形態の音源分離装置１では、音源情報記憶部に記憶されている音源数、音源の方向の情報を用いて行数と列数とが固定され安定した分離行列Ｗを用いて音源分離を行うことができる。
【００８１】
［第２実施形態］
第１実施形態では、固定された音源数が２つ、固定された音源方向が２つの例を説明したが、本実施形態では、固定された音源数が３つ、固定された音源方向が３つの例を説明する。
【００８２】
＜固定された音源の説明＞
図８は、図１における車両２のＡ−Ｂ間の断面図である。
図８に示すように、車両２の天井には、マップランプ２９と収音部１１が配置されている。また、固定された音源として、運転者ｈｕ１と乗員ｈｕ２に加えて、仮想音源ｓｐが設定されている。ここで、仮想音源ｓｐとは、ロードノイズ、エアコンのノイズ（動作音等）、カーステレオの音響信号等を仮想的にまとめた１つの仮想音源である。
また、固定された音源方向として、図１を用いて説明した第１音源と第２音源それぞれに対応する音源方向３１および音源方向３２とは異なる方向であり、所定方向（例えば収音部１１の下方向）３３が設定されている。なお、所定方向３３は、仮想音源ｓｐがある方向である。
【００８３】
＜音源分離装置の構成＞
次に、音源分離装置１Ａについて説明する。
図９は、本実施形態に係る音源分離装置１Ａの構成を示すブロック図である。
図９に示すように、音源分離装置１Ａは、収音部１１、音響信号取得部１２、音源情報記憶部１３Ａ、音源定位部１４、音源分離部１５Ａ、音声抽出部１６を備える。なお、第１実施形態で説明した音源分離装置１と同様の動作をする機能部には同じ符号を用いて説明を省略する。
【００８４】
音源情報記憶部１３Ａには、図１０に示すように、音源数、音源方向、音源定位用の伝達関数、および音源分離用の伝達関数が記憶されている。図１０は、本実施形態に係る音源情報記憶部１３Ａに記憶されている情報の例を示す図である。
【００８５】
図１０に示すように、音源情報記憶部１３Ａには、音源数として３、音源方向として運転席方向、助手席方向、および所定方向が対応付けられて記憶されている。また、音源情報記憶部１３Ａには、マイクロホン１０１毎かつ所定の角度毎の方向かつ所定の位置毎に、マイクロホン１０１から所定の角度かつ所定の位置までの音源定位用の伝達関数が記憶されている。また、音源情報記憶部１３Ａには、マイクロホン１０１毎に、各音源（第１音源、第２音源、仮想音源ｓｐ）までの音源分離用の伝達関数が記憶されている。
なお、第１実施形態と同様に、音源情報記憶部１３Ａには、マイクロホン１０１毎に、所定の方位毎の音源定位用の伝達関数が記憶されていてもよい。また、音源情報記憶部１３Ａには、例えば、図１０に示した伝達関数のうち、音源定位用の伝達関数として示した伝達関数のみが記憶されていてもよい。そして、音源分離部１５Ａは、マイクロホン１０１に対する音源への方向と、音源の位置を示す情報に基づいて、音源方向と音源位置に対応する伝達関数を音源情報記憶部１３Ａから読み出して用いるようにしてもよい。
【００８６】
また、音源数と音源方向は、図１１に示すように、経過時間によって変化せず、固定されている。図１１は、本実施形態に係る音源情報記憶部１３Ａに記憶されている音源数と音源方向が経過時間に対して固定されていることを示す図である。図１１において、横軸は経過時間、縦軸は音源方向を表している。図１１に示すように、音源数は、経過時間によらず運転席方向と助手席方向と所定方向の３つの音源に固定されている。また、音源方向は、経過時間によらず運転席方向と助手席方向と所定方向の３つの方向に固定されている。
【００８７】
すなわち、本実施形態では、所定方向の仮想音源ｓｐに、ロードノイズ、エアコンのノイズ等の音源分離装置１Ａにとってのノイズを仮想音源ｓｐに吸収させる。これにより、音源分離部１５Ａによって分離される運転席方向の音響信号と、助手席方向の音響信号との分離特性が第１実施形態と比較し、さらに向上する。
【００８８】
図９に戻って、音源分離装置１Ａの説明を続ける。
音源定位部１４Ａは、音響信号取得部１２から入力された周波数領域信号ｘｉ（ω）に対して、音源情報記憶部１３Ａに記憶されている音源定位用の伝達関数を用いて、運転席方向と助手席方向と所定方向それぞれの音源方向の推定を行う。音源定位部１４Ａは、例えば、ＭＵＳＩＣ法を用いて推定された音源方向毎に音声区間を推定する。音源定位部１４Ａは、推定した音源の音源方向と推定された音源方向毎の音声区間を含む音源定位情報Ｓを生成する。音源定位部１４Ａは、音源定位部１４Ａは、推定した結果である音源定位情報を音声抽出部１６に出力する。
【００８９】
図１２は、本実施形態に係る音源定位部１４Ａが出力する音源定位情報Ｓの一例を示す図である。図１２に示すように、音源定位情報Ｓは、音源の方向毎に発話の有り無しが、期間毎に関連付けられている。時刻ｔ１〜ｔ２の期間、運転席方向（第１音源）は発話があったため“１”であり、助手席方向（第２音源）は発話がなかったため“０”であり、所定方向（仮想音源ｓｐ）は発話がなかったため“０”である。時刻ｔ２〜ｔ３の期間、運転席方向は発話があったため“１”であり、助手席方向は発話があったため“１”であり、所定方向は発話がなかったため“０”である。時刻ｔ３〜ｔ４の期間、運転席方向は発話がなかったため“０”であり、助手席方向は発話があったため“１”であり、所定方向は発話がなかったため“０”である。時刻ｔ４〜ｔ５の期間、運転席方向は発話がなかったため“０”であり、助手席方向は発話がなかったため“０”であり、所定方向は発話がなかったため“０”である。
【００９０】
図９に戻って、音源分離装置１Ａの説明を続ける。
音源分離部１５Ａは、音響信号取得部１２が出力したＮチャネルの周波数領域信号ｘｉ（ω）に対して、音源情報記憶部１３Ａに記憶されている音源数と音源方向と音源分離用の伝達関数を用いて、音源毎の音響信号に分離する。具体的には、音源分離部１５Ａは、音源を運転席方向の音響信号と、助手席方向の音響信号と、所定方向の音響信号とに分離する。すなわち、音源分離部１５Ａは、Ｎチャネルの周波数領域信号ｘｉ（ω）に対して、音源情報記憶部１３Ａに記憶されている運転席方向の第１音源と助手席方向の第２音源と所定方向の仮想音源の３つの音源、第１音源に対応する伝達関数、第２音源に対応する伝達関数、仮想音源に対応する伝達関数を用いて、第１音源と第２音源とに分離する。音源分離部１５Ａは、分離した音響信号のうち、運転席方向の音響信号と、助手席方向の音響信号を音声抽出部１６に出力する。なお、運転者ｈｕ１（図１）のみが着席している場合であっても、音源分離部１５Ａは、取得した音響信号を、運転席方向と助手席方向と所定方向の３つの音響信号に分離し、運転席方向の音響信号を音声抽出部１６に出力する。
音源分離部１５Ａは、例えばＧＨＤＳＳ―ＡＳ法によって、音源数と音源方向に応じた分離行列Ｗを生成し、生成した分離行列Ｗを用いて音源毎の音響信号に分離する。なお、分離行列Ｗの初期値は、音源情報記憶部１３Ａに記憶されていてもよい。また、音源分離部１５Ａは、ＧＨＤＳＳ―ＡＳ法によって、Ｎ×３の行列式である分離行列Ｗを更新し、更新した分離行列Ｗを用いて音源毎の音響信号に分離する。
【００９１】
本実施形態においても、音源分離部１５Ａは、従来技術とは異なり、発話の検出や音源方位の検出に関わらず、常に分離行列Ｗを更新する。さらに、音源分離部１５Ａは、従来技術とは異なり、発話が検出されたときであっても分離行列Ｗをリセットしない。このため、本実施形態では、音源分離部１５Ａが用いる分離行列Ｗは、発話が検出された場合であってもリセットされずに更新が継続される。このため、分離行列Ｗは、収束した状態であるため、常に安定している。この結果、本実施形態によれば、音源分離の性能を安定させることができる。
【００９２】
なお、音源分離部１５Ａは、音源を運転席方向の音響信号と、助手席方向の音響信号と、所定方向の音響信号とに分離し、分離した運転席方向の音響信号と、助手席方向の音響信号と、所定方向の音響信号を音声抽出部１６に出力するようにしてもよい。この場合であっても、音声抽出部１６が、音源定位部１４Ａが図１２に示した出力した音源定位情報Ｓが入力される。このため、音声抽出部１６は、所定方向の音響信号に、０を乗算することで、仮想音源ｓｐの音声信号を抽出しないようにしてもよい。
【００９３】
＜仮想音源ｓｐによるノイズの吸収＞
ここで、収音部１１（マイクロホンアレイ）の略下方向である所定方向３３に仮想音源ｓｐを設定することで、ロードノイズ、エアコンのノイズ、カーステレオの音響信号等の音源分離装置１Ａにとってのノイズを所定方向の仮想音源ｓｐに吸収できる理由を説明する。
【００９４】
仮想音源ｓｐの音源方向を変化させ、音源分離を行った結果、上述したように収音部１１（マイクロホンアレイ）の略下方向である所定方向３３に仮想音源ｓｐを設定した場合が、音源分離の性能向上が顕著であった。
この理由は、図８を用いて説明したように、収音部１１（マイクロホンアレイ）の略下方向である所定方向３３に仮想音源ｓｐを設定することで、マイクロホン１０１間の時間差が生じにくい。ロードノイズ、エアコンのノイズ、カーステレオの音響信号等の背景雑音は、音響信号に方向性がないまたは少ないため、マイクロホン１０１間の時間差の少ない音源方向の仮想音源ｓｐの方向にあると想定することができる。この結果、本実施形態によれば、収音部１１（マイクロホンアレイ）の略下方向である所定方向３３に仮想音源ｓｐを設定することで、ロードノイズ、エアコンのノイズ、カーステレオの音響信号等の音源分離装置１Ａにとってのノイズを所定方向の仮想音源ｓｐに吸収できる。これにより、本実施形態によれば、第１実施形態と比較して、さらに音源分離の分離性能を向上させることができる。
【００９５】
＜音源分離装置１Ａの処理＞
次に、音源分離装置１Ａが行う処理手順の一例を説明する。
図１３は、本実施形態に係る音源分離装置１Ａが行う処理の一例を示すフローチャートである。なお、図７と同じ処理については同じ符号を用いる。
（ステップＳ１０１）音源分離部１５Ａは、音源情報記憶部１３Ａに記憶されている音源分離方向数と各分離対象の方向と位置に対応する音源分離用の伝達関数を読み出す。
【００９６】
（ステップＳ１０２）音響信号取得部１２は、ステップＳ２の処理を行う。
（ステップＳ１０３）音源定位部１４Ａは、音源情報記憶部１３Ａに記憶されている音源定位用の複数の伝達関数を読み出す。続けて、音源定位部１４Ａは、音響信号取得部１２が出力したＮ個の音響信号に対して、音源情報記憶部１３Ａから読み出した音源定位用の複数の伝達関数を用いて、例えばＭＵＳＩＣ法によって音源の音源方向の推定と各音源の発話区間の推定を行う。続けて、音源定位部１４Ａは、推定した音源の音源方向と各音源の発話区間を含む音源定位情報Ｓを生成する。
【００９７】
（ステップＳ１０４）音源分離部１５Ａは、音響信号取得部１２が出力したＮ個の音響信号に対して、音源情報記憶部１３Ａから読み出した音源分離方向数と各分離対象の方向と位置に対応する音源分離用の伝達関数を用いて、例えばＧＨＤＳＳ―ＡＳ法によって、音源毎の音響信号に分離する。
なお、ステップＳ１０３の処理と、ステップＳ１０４の処理は、並行して行われる。
【００９８】
（ステップＳ５）音声抽出部１６は、ステップＳ５の処理を行う。
音源分離装置１Ａは、ステップＳ２、Ｓ１０３、Ｓ１０４、およびＳ５の処理を、例えばフレーム毎に行う。
【００９９】
以上のように、本実施形態の音源分離装置１Ａにおいて、運転者および前記乗員以外の音源が、前記予め固定されている音源に、さらに割り当てられる。
この構成によって、本実施形態の音源分離装置１Ａでは、ロードノイズ、エアコンのノイズ、カーステレオの音響信号等の音源分離装置１Ａにとってのノイズを所定方向の仮想音源ｓｐに吸収させる。これにより、本実施形態では、音源分離部１５Ａによって分離される運転席方向の音響信号と、助手席方向の音響信号の分離特性が、第１実施形態と比較し、さらに向上する。
【０１００】
なお、第１、第２実施形態では、音源定位部１４または１４Ａが、固定されている運転席方向と助手席方向の２つの方向に対してのみ音源定位を行う例を説明したが、これに限られない。音源定位部１４または１４Ａは、他の方向の音源についても音源定位を行うようにしてもよい。この場合、例えば、音声抽出部１６は、音源定位できた音源のうち、運転席方向と助手席方向の２つの方向の音源について、音源定位情報Ｓに含まれる発話区間を示す情報を用いるようにしてもよい。
【０１０１】
なお、第１、第２実施形態では、音源分離装置１（または１Ａ）が車両に取り付けられている例を説明したが、これに限られない。音源分離装置１（または１Ａ）は、船舶、飛行機等であってもよい。または、会議において複数の参加者でマイクロホン１０１を共有するような会議室であってもよい。すなわち、話者の位置と人数、話者が存在する方向（音源方向）を固定できるものに適用することも可能である。
【０１０２】
また、音源分離装置１（または１Ａ）の一部または全てを、スマートホン、タブレット端末、携帯ゲーム機器等によって実現してもよい。この場合、スマートホン、タブレット端末、携帯ゲーム機器等が複数のマイクロホン１０１を備えていてもよく、または、収音部１１からの音響信号を、有線または無線でスマートホン、タブレット端末、携帯ゲーム機器等が取得するようにしてもよい。
また、音源情報記憶部１３または１３Ａに記憶される情報の一部または全ては、ネットワークを介して接続されるサーバ（不図示）に格納されていてもよい。この場合、音源分離装置１（または１Ａ）は、通信部（不図示）を備え、ネットワークを介して音源情報（音源数、音源方向、伝達関数等）を取得するようにしてもよい。
【０１０３】
また、第１、第２実施形態では、抽出した音声信号をカーナビゲーションに出力する例を説明したが、これに限られない。音声を用いて処理を行う装置、例えば車両２のパワーウィンドの開閉制御等に用いてもよい。
【０１０４】
なお、本発明における音源分離装置１（または１Ａ）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音源定位、音声分離、音声信号の抽出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１０５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【０１０６】
１、１Ａ…音源分離装置、１１…収音部、１２…音響信号取得部、１３、１３Ａ…音源情報記憶部、１４、１４Ａ…音源定位部、１５、１５Ａ…音源分離部、１６…音声抽出部、２１…運転席、２２…助手席、１０１…マイクロホン、２９…マップランプ、ｈｕ１…運転者、ｈｕ２…乗員、Ｗ…分離行列
【図１】
0006543843.tif 000014
【図２】
0006543843.tif 000015
【図３】
0006543843.tif 000016
【図４】
0006543843.tif 000017
【図５】
0006543843.tif 000018
【図６】
0006543843.tif 000019
【図７】
0006543843.tif 000020
【図８】
0006543843.tif 000021
【図９】
0006543843.tif 000022
【図１０】
0006543843.tif 000023
【図１１】
0006543843.tif 000024
【図１２】
0006543843.tif 000025
【図１３】
0006543843.tif 000026
【図１４】
0006543843.tif 000027