(57)【特許請求の範囲】
【請求項１】
音源の種類の尤度を音響特徴量に対応づけて記憶する音源モデル記憶部と、
音響信号を入力する音響信号入力部と、
前記音源モデル記憶部を参照して、前記音響信号入力部が入力した音響信号の音響特徴量に基づき、前記音響信号の音源の種類を同定する音源同定部と、
前記音源同定部が同定した種類の音源の音響信号について音源方向を推定する第１の音源定位部と、
前記音響信号入力部が入力した音響信号に対して音源方向を推定する第２の音源定位部と、
前記第２の音源定位部が推定した音源方向に基づき前記音響信号入力部が入力した音響信号を前記音源毎の音響信号に分離する音源分離部を備え、
前記第１の音源定位部は、前記音源分離部が分離した音響信号の音源方向を推定することを特徴とする音源方向推定装置。
【請求項２】
前記音源分離部が分離した音響信号の相関行列を算出する相関行列算出部を備え、
前記第１の音源定位部は、前記相関行列算出部が算出した相関行列と前記音響信号入力部が入力した音響信号の相関行列に基づき、前記音源分離部が分離した音響信号の音源方向を推定することを特徴とする請求項１に記載の音源方向推定装置。
【請求項３】
相関行列情報を離散音源方向毎に記憶する相関行列情報記憶部を備え、
前記相関行列算出部は、前記第２の音源定位部が推定した音源方向に隣接する離散音源方向に対応する相関行列情報を用いて、前記第２の音源定位部が推定した音源方向に対応する相関行列を算出することを特徴とする請求項２に記載の音源方向推定装置。
【請求項４】
前記相関行列情報は、音源からの各受音手段までの伝達関数を要素とする伝達関数ベクトルに基づく正方行列と、当該正方行列と隣接する離散音源方向の正方行列との比を表す比率行列を含み、
前記相関行列算出部は、前記離散音源方向に対応する相関行列情報が表す正方行列を周波数領域で補間した正方行列を固有値展開して正則行列を算出し、前記離散音源方向に対応する相関行列情報が表す比率行列をべき乗して補間した正方行列を固有値展開して対角行列を算出し、
前記相関行列算出部は、前記正則行列と前記対角行列を用いて前記第２の音源定位部が推定した音源方向に対応する相関行列を算出することを特徴とする請求項３に記載の音源方向推定装置。
【請求項５】
前記第１の音源定位部は、前記音響信号入力部が入力した音響信号の相関行列を単位行列として、前記相関行列算出部が算出した相関行列を固有値展開して算出した固有ベクトルに基づき空間スペクトルを算出し、算出した空間スペクトルのピークを最小とする音源方向情報を推定することを特徴とする請求項２に記載の音源方向推定装置。
【請求項６】
前記音源分離部は、前記第１の音源定位部が推定した音源方向に基づき音源毎の音響信号に分離することを特徴とする請求項１に記載の音源方向推定装置。
【請求項７】
方向情報を入力する方向入力部と、
前記第２の音源定位部が推定した音源方向に対応する相関行列を、前記方向入力部が入力した方向情報に基づく相関行列情報を用いて変換する相関行列変換部と、を備え、
前記第１の音源定位部は、前記相関行列変換部が変換した相関行列に基づき、前記音源分離部が分離した音響信号の音源方向を推定することを特徴とする請求項３ないし５のいずれか１項に記載の音源方向推定装置。
【請求項８】
音源の種類の尤度を音響特徴量に対応づけて記憶する音源モデル記憶部を備える音源方向推定装置における音源方向推定方法であって、
前記音源方向推定装置が、音響信号を入力する音響信号入力過程と、
前記音源方向推定装置が、前記音源モデル記憶部を参照して、前記入力した音響信号の音源の種類を同定する音源同定過程と、
前記音源方向推定装置が、前記同定した種類の音源の音響信号について音源方向を推定する第１の音源定位過程と、
前記音源方向推定装置が、前記音響信号入力過程で入力された音響信号に対して音源方向を推定する第２の音源定位過程と、
前記第２の音源定位過程で推定された音源方向に基づき前記音響信号入力過程で入力された音響信号を前記音源毎の音響信号に分離する音源分離過程を有し、
前記第１の音源定位過程で、前記音源分離過程で分離された音響信号の音源方向を推定すること、を特徴とする音源方向推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源方向推定装置及び音源方向推定方法に関する。
【背景技術】
【０００２】
ロボット技術の進展により、人工知能を備えたロボットが開発されている。このようなロボットには、人間が与えた命令を認識する機能や、周囲環境を把握する機能を備えることが期待されている。周囲環境の一態様として音源方向がある。人型ロボットに採用されている音源方向推定技術として、例えば特許文献１に記載されている音源方向推定装置がある。
【０００３】
特許文献１に記載の音源方向推定装置は、音響信号を入力する音響信号入力手段と、入力された音響信号の相関行列を算出する相関行列算出手段と、算出された相関行列を用いて相関行列の固有ベクトルを求める固有ベクトル算出手段とを備え、固有ベクトル算出手段は、入力信号の相関行列と、１以上の相関行列を用いて固有ベクトルの算出を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２８１８１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の音源方向推定装置は、音の種類を区別することなく処理を行うため、特定の種類の音源について、その方向を推定できないことがあった。
【０００６】
本発明は上記の点に鑑みてなされたものであり、特定の種類の音源の方向を推定することができる音源方向推定装置又は音源方向推定方法を提供する。
【課題を解決するための手段】
【０００７】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、音源の種類の尤度を音響特徴量に対応づけて記憶する音源モデル記憶部と、音響信号を入力する音響信号入力部と、前記音源モデル記憶部を参照して、前記音響信号入力部が入力した音響信号の音響特徴量に基づき、前記音響信号の音源の種類を同定する音源同定部と、前記音源同定部が同定した種類の音源の音響信号について音源方向を推定する第１の音源定位部音源の種類の尤度を音響特徴量に対応づけて記憶する音源モデル記憶部と、
音響信号を入力する音響信号入力部と、
前記音源モデル記憶部を参照して、前記音響信号入力部が入力した音響信号の音響特徴量に基づき、前記音響信号の音源の種類を同定する音源同定部と、
前記音源同定部が同定した種類の音源の音響信号について音源方向を推定する第１の音源定位部（音源定位部１１１、２１１、３１１、４１１）と、前記音響信号入力部が入力した音響信号に対して音源方向を推定する第２の音源定位部と、前記第２の音源定位部（音源定位部１０４）が推定した音源方向に基づき前記音響信号入力部が入力した音響信号を前記音源毎の音響信号に分離する音源分離部を備え、前記第１の音源定位部は、前記音源分離部が分離した音響信号の音源方向を推定することを特徴とする音源方向推定装置である。
【０００９】
（２）本発明のその他の態様は、前記音源分離部が分離した音響信号の相関行列を算出する相関行列算出部を更に備え、前記第１の音源定位部は、前記相関行列算出部が算出した相関行列と前記音響信号入力部が入力した音響信号の相関行列に基づき、前記音源分離部が分離した音響信号の音源方向を推定することを特徴とする（１）の音源方向推定装置である。
【００１０】
（３）本発明のその他の態様は、相関行列情報を離散音源方向毎に記憶する相関行列情報記憶部を更に備え、前記相関行列算出部は、前記第２の音源定位部が推定した音源方向に隣接する離散音源方向に対応する相関行列情報を用いて、前記第２の音源定位部が推定した音源方向に対応する相関行列を算出することを特徴とする（２）の音源方向推定装置である。
【００１１】
（４）本発明のその他の態様は、前記相関行列情報は、音源からの各受音手段までの伝達関数を要素とする伝達関数ベクトルに基づく正方行列と、当該正方行列と隣接する離散音源方向の正方行列との比を表す比率行列を含み、前記相関行列算出部は、前記離散音源方向に対応する相関行列情報が表す正方行列を周波数領域で補間した正方行列を固有値展開して正則行列を算出し、前記離散音源方向に対応する相関行列情報が表す比率行列をべき乗して補間した正方行列を固有値展開して対角行列を算出し、前記相関行列情報は、前記正則行列と前記対角行列を用いて前記第２の音源定位部が推定した音源方向に対応する相関行列を算出することを特徴とする（３）の音源方向推定装置である。
【００１２】
（５）本発明のその他の態様は、前記第１の音源定位部は、前記音響信号入力部が入力した音響信号の相関行列を単位行列として、前記相関行列算出部が算出した相関行列を固有値展開して算出した固有ベクトルに基づき空間スペクトルを算出し、算出した空間スペクトルのピークを最小とする音源方向情報を推定することを特徴とする（２）の音源方向推定装置である。
【００１３】
（６）本発明のその他の態様は、前記音源分離部は、前記第１の音源定位部が推定した音源方向に基づき前記音響信号入力部が音源毎の音響信号に分離することを特徴とする（１）の音源方向推定装置である。
【００１４】
（７）本発明のその他の態様は、方向情報を入力する方向入力部と、前記第２の音源定位部が推定した音源方向に対応する相関行列を、前記方向入力部が入力した方向情報に基づく相関行列情報を用いて変換する相関行列変換部とを更に備え、前記第１の音源定位部は、前記相関行列変換部が変換した相関行列に基づき、前記音源分離部が分離した音響信号の音源方向を推定することを特徴とする（３）ないし（５）のいずれかの音源方向推定装置である。
【００１５】
（８）本発明のその他の態様は、音源の種類の尤度を音響特徴量に対応づけて記憶する音源モデル記憶部を備える音源方向推定装置における音源方向推定方法であって、前記音源方向推定装置が、音響信号を入力する音響信号入力過程と、前記音源方向推定装置が、前記音源モデル記憶部を参照して、前記入力した音響信号の音源の種類を同定する音源同定過程と、前記音源方向推定装置が、前記同定した種類の音源の音響信号について音源方向を推定する第１の音源定位過程と、前記音源方向推定装置が、前記音響信号入力過程で入力された音響信号に対して音源方向を推定する第２の音源定位過程と、前記第２の音源定位過程で推定された音源方向に基づき前記音響信号入力過程で入力された音響信号を前記音源毎の音響信号に分離する音源分離過程を有し、前記第１の音源定位過程で、前記音源分離過程で分離された音響信号の音源方向を推定すること、を特徴とする音源方向推定方法である。
【発明の効果】
【００１６】
本発明の一態様によれば、入力した音響信号の音源の種類と音源方向を同時に推定することができる。
本発明の他の態様（２）によれば、一次的に推定した音源方向からの音響信号を抽出し、抽出した音響信号に対して最終的な音源方向を推定するため、音源毎の音源方向を高精度で推定できる。
本発明の他の態様（３）によれば、対象音源毎の成分に注目して音源毎の音源方向を高精度で推定できる。
本発明の他の態様（４）によれば、推定した音源方向に対応する相関行列を補間できるため、任意の音源方向に対応する相関行列を算出することができる。
本発明の他の態様（５）によれば、振幅及び位相情報両者に対して滑らかに相関行列を補間できる。
本発明の他の態様（６）によれば、逐次に伝達関数又は正方行列を補間することなく任意の音源方向情報を推定することができる。
本発明の他の態様（７）によれば、方向の異なる音源毎の音響信号を良好に分離し、高精度に各音源の音源方向を推定できる。
本発明の他の態様（８）によれば、入力した方向情報の変化に応じて音源方向を推定することができる。
本発明の他の態様（９）によれば、入力した音響信号の音源の種類と音源方向を同時に推定することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る音源方向推定装置１の構成を示す概略図である。
【図２】本実施形態に係るＧＭＭ階層関係情報の一例を示す概念図である。
【図３】本実施形態に係るクラス情報を決定する処理のフローチャートである。
【図４】本実施形態に係る音源方向推定処理を表すフローチャートである。
【図５】本実施形態に係る音源同定結果の一例を示す図である。
【図６】本実施形態に係る音源同定結果のその他の例を示す図である。
【図７】本実施形態に係る推定された音源方向の一例を示す図である。
【図８】本発明の第２の実施形態に係る音源方向推定装置の構成を示す概略図である。
【図９】本実施形態に係る相関行列情報算出処理の一例を表すフローチャートである。
【図１０】本実施形態に係る正方行列を補間する処理の一例を示すフローチャートである。
【図１１】本実施形態に係る正方行列を補間する処理のその他の例を示すフローチャートである。
【図１２】本発明の第３の実施形態に係る音源方向推定装置の構成を示す概略図である。
【図１３】本実施形態に係る音源方向推定処理の一形態を表すフローチャートである。
【図１４】本実施形態に係るマッピング係数を算出する処理を表すフローチャートである。
【図１５】本発明の第４の実施形態に係る音源方向推定装置の構成を示す概略図である。
【図１６】本実施形態に係る音源分離処理を示すフローチャートである。
【図１７】本実施形態に係る推定された音源方向の一例を示す図である。
【図１８】本発明の第５の実施形態に係る音源方向推定装置の構成を示す概略図である。
【図１９】本実施形態に係る音源相関行列変換処理を表すフローチャートである。
【発明を実施するための形態】
【００１８】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る音源方向推定装置１の構成を示す概略図である。
音源方向推定装置１は、音声入力部１０１、第１相関行列算出部１０２、伝達関数記憶部１０３、音源定位部１０４、音源分離部１０５、音源モデル記憶部１０６、音源同定部１０７、第２相関行列算出部１０８、目的音選択部１１０、音源定位部１１１を含んで構成される。
【００１９】
この構成では、音源定位（ｓｏｕｎｄ  ｓｏｕｒｃｅ  ｌｏｃａｌｉｚａｔｉｏｎ）部１０４がＭＵＳＩＣ（ｍｕｌｔｉｐｌｅ  ｓｉｇｎａｌ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ；多信号分類）法を用い第１の音源方向（ｓｏｕｎｄ  ｄｉｒｅｃｔｉｏｎ）情報を一次候補として推定する。なお、一般的なＭＵＳＩＣ法を、標準固有値展開（ｓｔａｎｄａｒｄ  ｅｉｇｅｎｖａｌｕｅ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ；ＳＥＶＤ−）ＭＵＳＩＣ法と呼ぶことがある。音源分離部１０５は、推定された音源方向情報に基づいて入力された音響信号を音源毎に分離する。音源同定部１０７は、分離した音源毎に、階層ＧＭＭ（Ｇａｕｓｓｉａｎ  ｍｉｘｔｕｒｅ  ｍｏｄｅｌ；ガウシアン混合モデル）に基づいて音源の種類（クラス）を定める。音源定位部１１１は、音源の種類が定められた音源毎にＧＥＶＤ（ｇｅｎｅｒａｌｉｚｅｄ  ｅｉｇｅｎｖａｌｕｅ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ；一般化固有値展開）−ＭＵＳＩＣ法を用いて第２の音源方向情報（二次候補）を推定する。このように、音源方向推定装置１は、第１の音源方向情報を推定し、音源毎に音源の種類を定め、音源の種類が定められた音源毎に第２の音源方向情報を推定する。これにより、複数の種類の音響信号が混合する混合音に対しても音源毎にその種類と第２の音源方向情報を推定することができる。
【００２０】
音声入力（ｓｏｕｎｄ  ｉｎｐｕｔ）部１０１は、収音手段（例えば、マイクロホン）をＭ個備え（Ｍは２以上の整数）、各収音手段は異なる位置に配置されている。音声入力部１０１は、例えば、Ｍ個のマイクロホンを備えるマイクロホンアレーである。各収音手段が受信した音波を各１チャネルの音響信号に変換する。
音声入力部１０１は、変換した音響信号をチャネル毎に並列して多チャネル（Ｍチャネル）音響信号として第１相関行列（ｃｏｒｒｅｌａｔｉｏｎ  ｍａｔｒｉｘ）算出部１０２、音源定位部１０４及び音源分離（ｓｏｕｎｄ  ｓｅｐａｒａｔｉｏｎ）部１０５に出力する。
【００２１】
第１相関行列算出部１０２は、音声入力部１０１から入力された各チャネルの時間領域の音響信号に対して離散フーリエ変換（ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒ；ＤＦＴ）を行う。これにより第１相関行列算出部１０２は、時間領域の音響信号を周波数領域の入力スペクトルｘに変換する。入力スペクトルｘは、チャネル毎の周波数領域における値を要素とするＭ列のベクトルである。
第１相関行列算出部１０２は、算出した入力スペクトルｘに基づいて周波数毎に入力相関行列Ｒｘｘを算出する。ここで、第１相関行列算出部１０２は、例えば式（１）を用いて算出する。
【００２２】
【数１】
0005702685.tif 000002
【００２３】
式（１）において、ｘ＊は、入力スペクトルｘ（ベクトル）の複素共役転置演算子を示す。Ｅ［ｘｘ＊］は、行列ｘｘ＊の期待値（例えば、現在までの予め設定した時間にわたる時間平均）である。
第１相関行列算出部１０２は、算出した入力相関行列Ｒｘｘを音源定位部１０４及び第２音源定位部１１１に出力する。
【００２４】
伝達関数記憶部１０３は、予め定めた数（例えば、音源方向φが５°間隔の場合、７２個［３６０°／５°］）の伝達関数ベクトルＤ（φ）が音源方向φと対応付けて記憶されている。伝達関数ベクトルＤ（φ）の要素値は、音源から音声入力部１０１が備える各マイクロホンまでの周波数毎の伝達関数である。
【００２５】
音源定位部１０４は、第１相関行列算出部１０２から入力された入力相関行列Ｒｘｘに基づいて、音源毎の第１の音源方向情報（一次候補）を推定する。
具体的には、音源定位部１０４は、例えば、一般的なＭＵＳＩＣ法を用いて音源毎の第１の音源方向情報を推定する。
一般的なＭＵＳＩＣ法を用いる場合、音源定位部１０４は、式（２）を満たすように入力相関行列Ｒｘｘの固有値δｉと固有ベクトルｅｉを算出する。
【００２６】
【数２】
0005702685.tif 000003
【００２７】
音源定位部１０４は、式（２）を満たす固有値δｉと固有ベクトルｅｉとの組を保持する。ｉは、１以上Ｍ以下の整数であるインデックスである。インデックスｉの順序、１、２．．．Ｍは、固有値δｉが大きい順序の降順である。
音源定位部１０４は、伝達関数記憶部１０３から選択した伝達関数ベクトルＤ(φ)と、算出した固有ベクトルｅｉに基づいて、式（３）を用いて空間スペクトル（ｓｐａｔｉａｌ  ｓｐｅｃｔｒｕｍ）Ｐ（φ）を算出する。
【００２８】
【数３】
0005702685.tif 000004
【００２９】
式（３）において、｜Ｄ＊（φ）Ｄ（φ）｜は、スカラー値（Ｄ＊（φ）Ｄ（φ））の絶対値を示す。Ｌは、認識可能な最大音源個数であって、予め設定した値（例えば３）である。本実施形態では、Ｌ＜Ｍである。Ｋは、音源定位部１０４が保持した固有ベクトルｅｉの数である。Ｋは、予め設定した整数であり、Ｋ≦Ｍである。即ち、固有ベクトルｅｉ（Ｌ＋１≦ｉ≦Ｋ）は、音源以外とみなされた成分（例えば、雑音）の特性を示すベクトル値である。従って、空間スペクトルＰ（φ）は、音源から伝搬した成分の割合であって、音源以外の成分の割合を表す。
【００３０】
音源定位部１０４は、式（３）を用いて、予め設定した周波数帯域の空間スペクトルＰ（φ)を取得する。予め設定した周波数帯域とは、具体的には、音源として可能性がある音響信号による音圧が大きい周波数帯域であり、かつ雑音の音圧が小さい周波数帯域である。その周波数帯域は、人間が発声する音声を音源とする場合、例えば、０．５〜２．８ｋＨｚである。
【００３１】
音源定位部１０４は、算出した周波数帯域の空間スペクトルＰ(φ)を、その周波数帯域よりも広帯域に拡張することで拡張（ｅｘｔｅｎｄｅｄ）空間スペクトルＰｅｘｔ（φ）を算出する。
具体的には、音源定位部１０４は、入力された多チャネル音響信号に基づきＳ／Ｎ比（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ  ｒａｔｉｏ；信号対雑音比）を算出し、算出したＳ／Ｎ比が予め設定した閾値よりも高い（即ち、ノイズが少ない）周波数帯域ωを選択する。
音源定位部１０４は、選択した周波数帯域ωにおいて式（２）を用いて固有値δｉを算出する。音源定位部１０４が算出した固有値δｉのうち、最大となる最大固有値δmaxの平方根に空間スペクトルＰ(φ)を乗算し、乗算した値を加算することで拡張空間スペクトルＰｅｘｔ(φ)を算出する（式（４）参照）。
【００３２】
【数４】
0005702685.tif 000005
【００３３】
式（４）において、Ωは周波数帯域の集合を示し、｜Ω｜は集合Ωの要素数、ｋは周波数帯域を示すインデックスを示す。これにより拡張空間スペクトルＰext(φ)には、空間スペクトルＰ(φ)の値が大きい周波数帯域ωの特性が強く反映される。
【００３４】
音源定位部１０４は、拡張空間スペクトルＰｅｘｔ(φ)のピーク値（極大値）と、対応する角度φを選択する。この選択されたφが音源方向として推定される。
ピーク値とは、角度φの拡張空間スペクトルの値Ｐｅｘｔ(φ)が、角度φから微小量Δφだけ負方向にずれた角度φ−Δφにおける値Ｐｅｘｔ(φ−Δφ)、及び角度φから微小量Δφだけ正方向にずれた角度φ＋Δφにおける値Ｐｅｘｔ (φ＋Δφ)よりも大きな値である。Δφは、音源方向φの量子化幅（ｑｕａｎｔｉｚａｔｉｏｎ  ｗｉｄｔｈ）、例えば１°である。
【００３５】
音源定位部１０４は、拡張空間スペクトルＰｅｘｔ(φ)のピーク値のうち、最も大きい値（１番目）からＬ番目に大きい値までを抽出し、抽出したピーク値に各々対応する音源方向φｌ（１≦ｌ≦Ｌ）を選択する。音源定位部１０４は、選択した音源方向φｌを表す音源方向情報を生成する。
なお、音源定位部１０４は、音源毎の方向情報を推定するために、上述のＭＵＳＩＣ法の代わりに、例えば、ＷＤＳ−ＢＦ（ｗｅｉｇｈｔｅｄ  ｄｅｌａｙ  ａｎｄ  ｓｕｍ  ｂｅａｍ  ｆｏｒｍｉｎｇ）法を用いてもよい。
音源定位部１０４は、生成した音源方向情報を音源分離部１０５に出力する。
【００３６】
音源分離（ｓｏｕｎｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ）部１０５は、入力された音源方向情報に基づいて音源ｌ毎の音響信号ｓｌを、音声入力部１０１から入力された多チャネル音響信号から分離する。音源分離部１０５は、音響信号ｓｌを抽出するために、例えば、音声入力部１１が備える各収音手段の配置に応じて音源ｌ毎の音源方向φｌへの指向性が最も高くなる空間フィルタ係数を算出し、算出した空間フィルタ係数を多チャネル音響信号に畳み込み演算してもよい。
音源分離部１０５は、分離した音源ｌ毎の音響信号ｓｌを音源同定部１０７及び第２相関行列算出部１０８に出力する。音源分離部１０５は、入力された音源方向情報を第２相関行列算出部１０８に出力する。
【００３７】
音源同定（ｓｏｕｎｄ  ｓｏｕｒｃｅ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）部１０７は、音源分離部１０５から入力された音響信号ｓｌに基づき音源ｌ毎の種別を示すクラス（ｃｌａｓｓ）情報λｌを決定する。例えば、音源同定部１０７は、例えば、階層的ガウシアン混合モデル（ｈｉｅｒａｒｃｈｉｃａｌ  Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ；ｈ−ＧＭＭ）に基づく音源同定法を用いてクラス情報λｌを決定する。音源同定部１０７は、決定したクラス情報λｌを目的音選択部１１０に出力する。
【００３８】
ここで、音源同定部１０７は、ｈ−ＧＭＭに基づく音源同定法において、階層情報を１個又は複数個含むＧＭＭ階層関係情報と、音響特徴量ｘに対応するクラス情報λの尤度、を含む階層的ガウシアン混合モデル情報を用いる。階層情報とは、あるクラス情報をルート情報とし、そのルート情報に属する1個又は複数個のサブクラス情報の関係を表す情報である。本実施形態では、クラス情報が表す音源種別が、サブクラス情報が表す音源種別の上位概念に相当するように、音源種別が各クラス情報及びサブクラス情報に割り当てられている。また、ＧＭＭ階層関係情報は、ある階層情報に含まれるサブクラス情報が、他の階層情報に含まれるルート情報と一致するように、階層情報間の関係を表す。
そこで、音源モデル記憶部１０６は、階層的ガウシアン混合モデル情報を予め記憶しておく。
【００３９】
次に、本実施形態に係るＧＭＭ階層関係情報について例を挙げて説明する。
図２は、本実施形態に係るＧＭＭ階層関係情報の一例を示す概念図である。
図２に示すＧＭＭ階層関係情報において、最上位の階層（階層情報）Λ１は、音響を示すクラス情報λ１をルート情報とし、サブクラス情報として音声を示すクラス情報λ１１、音楽を示すクラス情報λ１２、環境音を示すクラス情報λ１３及び無音の状態を示すクラス情報λ１４を含む。
【００４０】
最上位から２番目の階層は、クラス情報λ１１をルート情報とする階層Λ１１、クラス情報λ１２をルート情報とする階層Λ１２及びクラス情報λ１３をルート情報とする階層Λ１３を含む。
階層Λ１１は、男声を示すクラス情報λ１１１と女声を示すクラス情報λ１１２をサブクラス情報として含む。階層Λ１２は、クラシック音楽を示すクラス情報λ１２１とジャズ音楽を示すクラス情報λ１２２をサブクラス情報として含む。階層Λ１３は、ドア音を示すクラス情報λ１３１と電子音を示すクラス情報λ１３２をサブクラス情報として含む。
【００４１】
音源同定部１０７は次の処理を行ってクラス情報λｌを決定する。
図３は、本実施形態に係るクラス情報を決定する処理のフローチャートである。
（ステップＳ１０１）音源同定部１０７は、注目する階層Λｉを、最上位の階層Λ１と初期設定する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）音源同定部１０７は、音源分離部１０５から入力された音響信号ｓｌに基づき音響特徴量ｘｔを算出する。ここで、ｔはフレーム時刻を示す。音響特徴量ｘｔは、例えば２４次元のメル尺度ケプストラム（Ｍｅｌ−ｆｒｅｑｕｅｎｃｙ  ｃｅｐｓｔｒｕｍ  ｃｏｅｆｆｉｃｉｅｎｔ；ＭＦＣＣ）である。その場合には、音源同定部１０７は、予め記憶された複数の候補ベクトルの中から、音響特徴量ｘｔに最も近似する１つを選択することで、音響特徴量ｘｔをベクトル量子化する。その後、ステップＳ１０３に進む。
【００４２】
（ステップＳ１０３）音源同定部１０７は、算出した音響特徴量ｘｔの階層Λｉに含まれるクラス情報λに対する尤度ｆ（ｘｔ｜λ）を音源モデル記憶部１０６から読み出す。
音源同定部１０７は、読み出した尤度ｆ（ｘｔ｜λ）に基づき結合尤度を算出し、結合尤度を最大とするクラス情報λ’を決定する。決定されたクラス情報λ’は、式（５）で表される。
【００４３】
【数５】
0005702685.tif 000006
【００４４】
式（５）において、ｍａｘ．．．は、変数．．．の最大値を示す。ａｒｇλ［．．．］は、変数λの関数．．．を最大とする変数λを示す。ｋは、フレーム時刻ｔからのフレーム時刻を示す。Ｎは、予め定められたフレーム数、即ち結合尤度を算出する時間を示す。従って、ｔはその時間の先頭フレームを示す。その後、ステップＳ１０４に進む。
【００４５】
（ステップＳ１０４）音源同定部１０７は、クラス情報λ’が注目する階層Λｉに含まれるサブクラス情報λであるか否か判断する。音源同定部１０７は、クラス情報λ’が階層Λｉに含まれるサブクラス情報λであると判断したとき（ステップＳ１０４  Ｙ）、ステップＳ１０５に進む。
音源同定部１０７は、クラス情報λ’が階層Λｉに含まれるサブクラス情報λでない、つまりルート情報と判断したとき（ステップＳ１０４  Ｎ）、ステップＳ１０６に進む。
【００４６】
（ステップＳ１０５）音源同定部１０７は、クラス情報λ’がルート情報である階層Λ’が存在するか否か判断する。音源同定部１０７は、クラス情報λ’がルート情報である階層Λ’が存在すると判断したとき（ステップＳ１０５  Ｙ）、階層Λ’を注目する階層Λｉと設定し、ステップＳ１０３に進む。
音源同定部１０７は、クラス情報λ’がルート情報である階層Λ’が存在しないと判断したとき（ステップＳ１０５  Ｎ）、ステップＳ１０６に進む。
（ステップＳ１０６）音源同定部１０７は、クラス情報λ’をフレーム時刻ｔにおける音源ｌのクラス情報λｌと決定する。
【００４７】
第２相関行列算出部１０８は、音源分離部１０５から入力された音響信号ｓｌ及び音源方向情報に基づいて、音源ｌ毎の相関行列Ｖｌ（音源相関行列）を算出し、算出した音源相関行列Ｖｌを目的音選択部１１０に出力する。
【００４８】
ここで、第２相関行列算出部１０８は、音源分離部１０５から入力された音源方向情報が示す音源方向φｌに対応する伝達関数ベクトルＤ（φｌ）又は音源方向φｌに最も近似する方向φ〜ｌに対応する伝達関数ベクトルＤ（φ〜ｌ）を伝達関数記憶部１０３から読み出す。本実施形態では、説明を簡単にするために、読み出した伝達関数ベクトルＤ（φｌ）及びＤ（φ〜ｌ）を、いずれもＤ（φｌ）と記載する。
【００４９】
第２相関行列算出部１０８は、音源分離部１０５から入力された音響信号ｓｌに対して離散フーリエ変換を行って周波数領域のスペクトルＳｌに変換する。
第２相関行列算出部１０８は、読み出した伝達関数ベクトルＤ（φｌ）にスペクトルＳｌを乗じて音源別伝達関数ベクトル｛Ｄ（φｌ）Ｓｌ｝を生成する。第２相関行列算出部１０８は、式（６）に示すように音源別伝達関数ベクトルの要素値間の積を要素とする行列を音源相関行列Ｖｌとして算出する。音源相関行列Ｖｌは、音源ｌから受信したチャネル間のスペクトルの相関を示す。
【００５０】
【数６】
0005702685.tif 000007
【００５１】
目的音選択部１１０は、第２相関行列算出部１０８から入力された音源ｌ毎の相関行列Ｖｌに基づき、音源同定部１０７から入力された音源ｌ毎のクラス情報λ（音源の種類）に基づき、目的とする音源の種類（目的音）を示すクラス情報λに対応する相関行列Ｋλを算出する。目的音選択部１１０は、算出した相関行列Ｋλを音源定位部１１１に出力する。
【００５２】
目的音選択部１１０は、相関行列Ｋλを算出するために、例えば式（７）を用いる。ここで、目的音選択部１１０は、乗算して得られた行列に目的音を示すクラス情報λに対応する音源ｉの相関行列Ｖｉの逆行列Ｖｉ−１を全て乗算して、目的音毎の相関行列Ｋλを算出する。この相関行列Ｋλは、音源定位部１１１において音源方向情報を算出する際、目的音の成分を抽出する作用をもたらす。
【００５３】
【数７】
0005702685.tif 000008
【００５４】
目的音選択部１１０は、式（７）の代わりに式（８）を用いて相関行列Ｋλを算出してもよい。目的音選択部１１０は、目的としない音源の種類（非目的音）を示すクラス情報λに対応する音源ｊの相関行列Ｖｊを全て乗算する。目的音選択部１１０は、乗算して得られた行列に目的とする音源の種類（目的音）を示すクラス情報λに対応する音源ｉの相関行列Ｖｉの逆行列Ｖｉ−１を全て乗算して、目的音毎の相関行列Ｋλを算出する。つまり、相関行列Ｋλは、非目的音に対する相関行列Ｖｊの目的音に対する相関行列Ｖｉとの比を表す。この相関行列Ｋλは、音源定位部１１１において音源方向情報を算出する際、目的音の成分を抽出し、非目的音の成分を除去する作用をもたらす。
【００５５】
【数８】
0005702685.tif 000009
【００５６】
もしくは、目的音選択部１１０は、以下の処理を行ってクラスλ毎の相関行列Ｋλを算出してもよい。ここで、第２相関行列算出部１０８は、音源１からｌ（エル）までのl（エル）個の音源信号ｓ１、．．．ｓｌを全て加算して加算音源信号ｚｌを算出する。
第２相関行列算出部１０８は、加算音源信号ｚｌに離散フーリエ変換を行って加算音源スペクトルＺｌを算出し、算出した加算音源スペクトルＺｌを式（１）に代入して、第ｌ（エル）の入力相関行列Ｒｌを算出する。
第２相関行列算出部１０８は、音源ｌ（エル）に対応した音源相関行列Ｃｌを式（９）に示すように、第ｌ（エル）の入力相関行列Ｒｌに音源１からｌ（エル）−１までの音源相関行列の逆行列Ｃ１−１，．．．Ｃｌ−１−１を乗算して反復的に算出する。
【００５７】
【数９】
0005702685.tif 000010
【００５８】
第２相関行列算出部１０８は、算出した音源ｌ（エル）毎の音源相関行列Ｃｌを目的音選択部１１０に出力する。
目的音選択部１１０は、第２相関行列算出部１０８から入力された音源相関行列Ｃｌのうち、式（１０）に示すように非目的音ｊに係る音源相関行列を全て乗算してクラス情報λに対する相関行列Ｋλを算出する。
【００５９】
【数１０】
0005702685.tif 000011
【００６０】
その他、目的音選択部１１０は、興味指数（ｉｎｔｅｒｅｓｔ  ｉｎｄｅｘ）Ｄｌに応じて音源相関行列をスケーリングした傾聴（ｌｉｓｔｅｎｉｎｇ）行列を用いて相関行列Ｋを算出してもよい。目的音選択部１１０は、算出した相関行列Ｋを音源定位部１１１に出力し、音源定位部１１１において相関行列Ｋλとして用いる。これにより、本実施形態では利用者が関心の高い種類の音源について音源方向情報を算出することができる。
興味指数Ｄｌとは、利用者による音源ｌ（エル）毎の関心の程度を示すパラメータであり、−１以上１以下の値をとる実数である。興味指数Ｄｌが小さいほど、音源ｌへの関心が高いことを示す。Ｄｌ＝−１のとき、音源ｌを完全に（ｆｕｌｌｙ）傾聴（ｌｉｓｔｅｎ）し、Ｄｌ＝１のとき、音源ｌを無視することを示す。
【００６１】
そこで、目的音選択部１１０は、上述の音源相関行列Ｃｌを、式（１１）を満足するように固有値展開を行ってＭ個の固有値δｌ，１，．．．δｌ，Ｍと、各固有値に対応する固有ベクトルｅｌ，１，．．．ｅｌ，Ｍを算出する。
【００６２】
【数１１】
0005702685.tif 000012
【００６３】
式（１１）において、ｉは、各固有値、各固有ベクトルを表すインデックスであり、ｉは固有値の降順である。
目的音選択部１１０は、固有ベクトルｅｌ，１，．．．ｅｌ，Ｍを順に統合してＭ行Ｍ列の正則行列（ｒｅｇｕｌａｒ  ｍａｔｒｉｘ）Ｅｌを生成し、固有値δｌ，１，．．．δｌ，Ｍを順に対角要素として配置したＭ行Ｍ列の対角行列（ｄｉａｇｏｎａｌ  ｍａｔｒｉｘ）Δｌを生成する。
【００６４】
目的音選択部１１０は、音源相関行列Ｃｌに対して予め設定した音源ｌ（エル）毎の興味指数Ｄｌを用いてべき乗演算（ｅｘｐｏｎｅｎｔｉａｔｉｏｎ）を行うことでスケーリング（ｓｃａｌｉｎｇ）することで傾聴行列ＣｌＤｌを算出する。目的音選択部１１０は、傾聴行列ＣｌＤｌを算出するために式（１２）に示すように、対角行列Δｌを興味指数Ｄｌでべき乗した行列の左側に正則行列Ｅｌを乗算し、右側に正則行列の逆行列Ｅｌ−１を乗算する。
【００６５】
【数１２】
0005702685.tif 000013
【００６６】
目的音選択部１１０は、式（１３）に示すように音源ｌ（エル）毎の傾聴行列ＣｌＤｌを全て乗算して、相関行列Ｋを算出する。
【００６７】
【数１３】
0005702685.tif 000014
【００６８】
ここで、目的音選択部１１０は、音源同定部１０７から入力された音源ｌ（エル）毎のクラス情報λに基づき、興味指数Ｄｌを定めてもよい。その後、目的音選択部１１０は、定めた興味指数Ｄｌを用いて相関行列Ｋλを算出する。
興味指数Ｄｌを定める方法の一例について、音源ｌ（エル）が音楽と人間が発声した音声の何れかである場合を例にとって説明する。
【００６９】
目的音選択部１１０は、音源１のクラス情報λ１が音楽である場合、フレーム時刻ｔにおける識別値（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ；ＩＤ）をＩＤ（ｔ）＝１、クラス情報λ２が音声である場合、識別値をＩＤ（ｔ）＝−１と予め設定しておく。
目的音選択部１１０は、音源１の興味指数Ｄ１を式（１４）に示すように、１から識別値ＩＤ（ｔ）の時間平均値を差し引いた値を更に２で除算した値とする。これにより、識別値ＩＤ（ｔ）が−１から1に増加するほど興味指数Ｄ１が１から０に減少する。例えば、音源１が音楽、つまり識別値ＩＤ（ｔ）が−１のとき、Ｄ１は１となり、音源１が音声、つまり識別値ＩＤ（ｔ）が１のとき、Ｄ１は−１となる。これにより、目的音選択部１１０は、音源１が音声であることを同定し、音源定位部１１１は音声に対する音源方向情報を算出できるようになる。
【００７０】
【数１４】
0005702685.tif 000015
【００７１】
式（１４）において、Ｗは予め設定したフレーム数である。
他方、目的音選択部１１０は、音源２の興味指数Ｄ２を式（１５）に示すように、１から識別値ＩＤ（ｔ）の時間平均値の和を２で除した値とする。これにより、識別値ＩＤ（ｔ）が−１から1に増加するほど興味指数Ｄ２が０から１に増加する。例えば、音源２が音楽、つまり識別値ＩＤ（ｔ）が−１のとき、Ｄ２は０となり、音源２が音声、つまり識別値ＩＤ（ｔ）が１のとき、Ｄ２は１となる。これにより、目的音選択部１１０は、音源２が音楽であることを同定し、音源定位部１１１は音楽に対する音源方向情報を算出できるようになる。
【００７２】
【数１５】
0005702685.tif 000016
【００７３】
その他、音源数が１個である場合には、音源定位部１１１は、相関行列Ｋλとして雑音信号に基づいて算出した雑音相関行列Ｖｎを用いてもよい。これにより、雑音信号とは無相関（ｕｎｃｏｒｒｅｌａｔｅｄ）又は低相関（ｌｏｗ  ｃｏｒｒｅｌａｔｅｄ）の音源信号について音源方向情報を算出することができる。
そのために、目的音選択部１１０は、予め収録した多チャネル（Ｍチャネル）の雑音信号に離散フーリエ変換を行って周波数領域に変換して雑音スペクトルｎを算出する。目的音選択部１１０は、入力スペクトルｘの代わりに雑音スペクトルｎを式（１）に代入して周波数毎に雑音相関行列Ｖｎを算出し、自部が備える記憶部に算出した雑音相関行列Ｖｎを予め記憶させておく。そして、音源定位部１１１は、目的音選択部１１０の記憶部から雑音相関行列Ｖｎを読み出す。
【００７４】
音源定位部１１１は、目的音選択部１１０から入力された目的音毎の相関行列Ｋλを用い、第１相関行列算出部１０２から入力された入力相関行列Ｒｘｘに基づいて目的音毎の第２の音源方向情報（二次候補）を生成する。
【００７５】
具体的には、音源定位部１１１は、例えばＧＥＶＤ−ＭＵＳＩＣ法を用いて位置情報を生成する。ここで、音源定位部１１１は、入力相関行列Ｒｘｘと相関行列Ｋλに基づいて目的音毎に一般化固有値展開を行って、固有値δｍ（１≦ｍ≦Ｍ）と固有ベクトルｅｍを算出する。入力相関行列Ｒｘｘ、相関行列Ｋλ、固有値δｍ、固有ベクトルｅｍは、式（１６）に示される関係がある。
【００７６】
【数１６】
0005702685.tif 000017
【００７７】
式（１６）において、ｍの順序は、固有値δｍの大きい順序の降順である。つまり、ｍが小さい固有ベクトルｅｍほど、入力された音響信号に寄与する度合いが高いことを示す。
音源定位部１１１は、算出した固有ベクトルｅｍ及び伝達関数記憶部１０３から読み出した伝達関数ベクトルＤ（φ）に基づき、例えば式（３）を用いて空間スペクトルＰ（φ）を指標値として算出する。但し、音源定位部１１１は、固有ベクトルｅｉの代わりに、算出した固有ベクトルｅｍを式（３）に代入する。
音源定位部１１１は、空間スペクトルＰ（φ）が最も大きい音源方向φを選択し、選択した音源方向φを目的音毎の第２の音源方向情報と定める。
音源定位部１１１は、定めた目的音毎の第２の音源方向情報を音源方向推定装置１の外部に出力する。
【００７８】
音源定位部１１１は、第２の音源方向情報を生成するために、ＧＥＶＤ−ＭＵＳＩＣ法の代わりに一般化特異値分解（ｇｅｎｅｒａｌｉｚｅｄ  ｓｉｎｇｕｌａｒ  ｖａｌｕｅ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ；ＧＳＶＤ−）ＭＵＳＩＣ法を用いてもよい。
ここで、音源定位部１１１は、式（１７）を満足するように入力相関行列Ｒｘｘに相関行列Ｋλの逆行列Ｋλ−１を乗じた行列を特異値分解して左ユニタリ（ｕｎｉｔａｒｙ）行列Ｅｌｅｆｔ、特異値（ｓｉｎｇｕｌａｒ  ｖａｌｕｅ）行列Σ、及び右ユニタリ行列Ｅｒｉｇｈｔを算出する。
【００７９】
【数１７】
0005702685.tif 000018
【００８０】
特異値行列Σは、非対角要素の値がすべて零であって、対角要素である特異値σｓ，ｉｉとして非負（ｎｏｎ−ｎｅｇａｔｉｖｅ）の値を要素として含む行列である。特異値行列Σにおいて、各特異値σｓ，ｉｉの行又は列番号ｉの順序は、その値σｓ，ｉｉの大きい順の降順である。左ユニタリ行列Ｅｌｅｆｔは、各行ｉに特異値σｓ，ｉｉに対応する特異ベクトルｅｓｌ，ｉを要素として含む。右ユニタリ行列Ｅｒｉｇｈｔは、各列ｉに特異値σｓ，ｉｉに対応する特異ベクトルｅｓｒ，ｉを要素として含む。特異ベクトルｅｓｌ，ｉ、ｅｓｒ，ｉは互いに直交する。
【００８１】
音源定位部１１１は、算出した特異ベクトルｅｓ，ｉ及び伝達関数記憶部１０３から読み出した各音源方向φに対応する伝達関数ベクトルＤ（φ）に基づき、例えば式（３）を用いて空間スペクトルＰ（φ）を指標値として算出する。ここで、音源定位部１１１は、式（３）に固有ベクトルｅｉの代わりに、算出した特異ベクトルｅｓｌ，ｉを代入する。
音源定位部１１１は、空間スペクトルＰ（φ）が最も大きい音源方向φを選択し、選択した音源方向φを第２の音源方向情報と定める。
音源定位部１１１は、定めた第２の音源方向情報を音源方向推定装置１の外部に出力する
【００８２】
上述では、音源定位部１１１が、左ユニタリ行列Ｅｌｅｆｔの要素である特異ベクトルｅｓｌ，ｉを用いて空間スペクトルＰ（φ）を算出する例について説明したが、本実施形態では、右ユニタリ行列Ｅｒｉｇｈｔの要素である特異ベクトルｅｓｒ，ｉを用いて空間スペクトルＰ（φ）を算出してもよい。
【００８３】
特異ベクトルは相互に直交するため、必ずしも直交性が保証されない固有ベクトルｅｍを用いる場合よりも、空間スペクトルＰ（φ）を指標値として、異なる方向から到来した音源毎の成分を方向φ毎に確実に分離することができる。従って、音源定位部１１１は、ＧＳＶＤ−ＭＵＳＩＣ法を用いて音源方向の推定精度を向上させることができる。
【００８４】
音源定位部１１１は、第２の音源方向情報を生成するために、上述のＧＥＶＤ−ＭＵＳＩＣ法やＧＳＶＤ−ＭＵＳＩＣ法で算出した空間スペクトルの代わりに、聴感補正を行った空間スペクトルを用いてもよい。音源定位部１１１は、補正した空間スペクトルＰＷ（φ）が最大となる音源方向φを選択し、選択した音源方向φを目的音毎の第２の音源方向情報と定める。
【００８５】
聴感補正を行うために、音源定位部１１１は、空間スペクトルＰ（φ）に更にＡ特性を付与した（Ａ−ｗｅｉｇｈｔｅｄ）空間スペクトルＰＷ（φ）を、例えば式（１８）を用いて算出する。Ａ特性（Ａ−ｗｅｉｇｈｔｉｎｇ）とは、人間の聴覚における雑音に対する感度の周波数特性値であって、国際電気標準会議（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ；ＩＥＣ）において標準化された特性値（ＩＥＣ  ６１６７２：２００３）である。但し、標準化された特性値は、離散的に定義されているため、音源定位部１１１は、標準化された特性値をスプライン補間してＡ特性重み係数Ｗ（ω）を算出しておく。
【００８６】
【数１８】
0005702685.tif 000019
【００８７】
式（１８）において、Ｗ（ω）の単位はデシベル（ｄＢ）で表示されているのに対し、Ｐ（φ）は線形値で表示されている。
これにより、音源定位部１１１は、人間の聴覚において鋭敏な周波数帯域成分を重視して音源方向を推定する。例えば、２００Ｈｚ以下の低周波数帯域成分が抑圧される。そのため、主に低周波数帯域成分で残留する拡散性雑音が抑圧される。従って、音源定位部１１１は、例えば拡散性雑音による影響を回避して、高い精度で音源方向を推定することができる。
同様に、音源定位部１０４は、式（３）を用いて算出した空間スペクトルＰ（φ）に対して聴感補正を行った空間スペクトルＰ（φ）を用いて音源毎の第１の音源方向情報を推定してもよい。
【００８８】
次に、本実施形態に係る音源方向推定装置１が行う音源方向推定処理について説明する。
図４は、本実施形態に係る音源方向推定処理を表すフローチャートである。
（ステップＳ２０１）第１相関行列算出部１０２は、入力された多チャネル音響信号を構成する各チャネルの時間領域の音響信号を周波数領域に変換し、周波数毎に入力スペクトルｘを算出する。
第１相関行列算出部１０２は、算出した入力スペクトルｘに基づき入力相関行列Ｒｘｘを、例えば式（１）を用いて周波数毎に算出する。
第１相関行列算出部１０２は、算出した入力相関行列Ｒｘｘを音源定位部１０４及び音源定位部１１１に出力する。その後、ステップＳ２０２に進む。
【００８９】
（ステップＳ２０２）音源定位部１０４は、第１相関行列算出部１０２から入力された入力相関行列Ｒｘｘに基づいて、例えば、ＭＵＳＩＣ法を用いて音源毎の第１の音源方向情報を推定する。
音源定位部１０４は、推定した音源方向情報を音源分離部１０５に出力する。その後、ステップＳ２０３に進む。
【００９０】
（ステップＳ２０３）音源分離部１０５は、入力された音源方向情報に基づいて音源ｌ毎の音響信号ｓｌを、音声入力部１０１から入力された多チャネル音響信号から分離する。
音源分離部１０５は、分離した音源ｌ毎の音響信号ｓｌを音源同定部１０７及び第２相関行列算出部１０８に出力する。音源分離部１０５は、入力された音源方向情報を第２相関行列算出部１０８に出力する。その後、ステップＳ２０３に進む。
【００９１】
（ステップＳ２０４）音源同定部１０７は、音源分離部１０５から入力された音響信号ｓｌに基づき、例えば、音源モデル記憶部１０６に予め記憶した階層的ガウシアン混合モデル情報を用いて、音源ｌ毎の種別を示すクラス情報λｌを決定する。
音源同定部１０７は、決定したクラス情報λｌを目的音選択部１１０に出力する。その後、ステップＳ２０５に進む。
【００９２】
（ステップＳ２０５）第２相関行列算出部１０８は、音源分離部１０５から入力された音響信号ｓｌ及び音源方向情報に基づいて、音源ｌ毎の音源相関行列Ｖｌを算出し、算出した音源相関行列Ｖｌを目的音選択部１１０に出力する。その後、ステップＳ２０６に進む。
【００９３】
（ステップＳ２０６）目的音選択部１１０は、第２相関行列算出部１０８から入力された音源ｌ毎の相関行列Ｖｌに基づき、音源同定部１０７から入力された音源ｌ毎のクラス情報λ（音源の種類）に基づき、例えば式（７）を用いて目的音毎の相関行列Ｋλを算出する。目的音選択部１１０は、算出した相関行列Ｋλを音源定位部１１１に出力する。その後、ステップＳ２０７に進む。
【００９４】
（ステップＳ２０７）音源定位部１１１は、目的音選択部１１０から目的音毎の相関行列Ｋλを入力され、第１相関行列算出部１０２から入力相関行列Ｒｘｘを入力される。音源定位部１１１は、目的音毎の相関行列Ｋλと入力相関行列Ｒｘｘに基づき、例えばＧＥＶＤ−ＭＵＳＩＣ法を用いて目的音毎の第２の音源方向情報（二次候補）を生成する。
音源定位部１１１は、生成した第２の音源方向情報を音源方向推定装置１の外部に出力する。その後、処理を終了する。
【００９５】
次に本実施形態に係る音源方向推定装置１の動作検証結果について説明する。
第１の検証では、音声入力部１０１であるマイクロホンを人型ロボットの頭部に設置した。ロボットの正面前方（０°）に静止したスピーカ（音源）を設置し、複数の種類の音源信号のうち一つを２〜７秒毎に順次切り換えて再生させた。複数の種類の音源信号とは、女声、ジャズ音楽、ドア音、クラシック音楽、掃除機の動作音、及び男声である。
音源モデル記憶部１０６には、最上位の階層（階層情報）Λ１は、音響を示すクラス情報λ１をルート情報とし、サブクラス情報として音声を示すクラス情報λ１１及び音楽を示すクラス情報λ１２を含む階層情報を有するＧＭＭ階層関係情報を記憶させた。
【００９６】
次に、本実施形態に係る音源同定結果の一例について説明する。
図５は、本実施形態に係る音源同定結果の一例を示す図である。
図５の上段及び下段において、横軸は時刻（秒）である。図５の上段において縦軸は、入力された音響信号の振幅を示す。図５の下段において縦軸は、同定された音源の種類を示す値である。値１は、人間が発声した音声（ｖｏｉｃｅ）を示し、値−１が音楽（ｍｕｓｉｃ）を示し、値０がその他（ｏｔｈｅｒｓ）を示す。
【００９７】
図５は、時刻２．８秒から６．３秒まで女声が入力され、その間、音源同定部１０７は、ほぼ音声と判断していることを示す。図５は、時刻７．８秒から１４．４秒までジャズ音楽が入力され、その間、音源同定部１０７は、主に音楽と判断していることを示す。図５は、時刻１５．７秒から１９．８秒までドア音が入力され、その間音源同定部１０７は、その他と判断していることを示す。図５は、時刻２３．０秒から２８．１秒までクラシック音楽が入力され、その間、音源同定部１０７は、音楽と判断していることを示す。図５は、時刻３０．４秒から３７．５秒まで掃除機の動作音が入力され、その間、音源同定部１０７が、その他と判断していることを示す。図５は、時刻、３９．９秒から４２．４秒まで男声が入力され、その間、音源同定部１０７が音声と判断していることを示す。この結果から、本実施形態では入力音響信号に対して音源の種類を確実に同定できることを示す。
【００９８】
第２の検証では、第１の検証と同様に音声入力部１０１を人型ロボットの頭部に設置し、ロボットの左前方６０°に女声を、正面前方（０°）にジャズ音楽を、右前方−６０°に男声を再生した。各音源は静止させた。
次に、本実施形態に係る音源同定結果の一例について説明する。
図６は、本実施形態に係る音源同定結果のその他の例を示す図である。
図６では、最上段から順に（ａ）女声を抽出した音響信号、（ｂ）ジャズ音楽を抽出した音響信号、（ｃ）男声を抽出した音響信号、（ｄ）入力信号、（ｅ）（ａ）の信号に対する同定結果、（ｆ）（ｂ）の信号に対する同定結果、（ｇ）（ｃ）の信号に対する同定結果、を示す。
図６では（ａ）−（ｇ）のいずれも、横軸は時刻（秒）を示す。図６の（ａ）−（ｄ）において、縦軸は音響信号の振幅を示し、図６の（ｅ）−（ｆ）において、縦軸は同定された音源の種別を示す。値１は、音声（ｖｏｉｃｅ）を示し、値−１が音楽（ｍｕｓｉｃ）を示し、値０がその他（ｏｔｈｅｒｓ）を示す。
【００９９】
図６（ｅ）及び（ｇ）は、（ａ）及び（ｃ）に示される音響信号に基づき、値１又は０、つまり音楽かその他と同定され、音声と誤認識されることがないことを示す。但し、図６（ｆ）は、（ｂ）に示される音響信号に基づき値−1又は０の他、値１、つまり音楽と誤認識される場合があることを示す。
【０１００】
次に、本実施形態に係る推定された音源方向の一例について説明する。
図７は、本実施形態に係る推定された音源方向の一例を示す図である。
図７において、縦軸は音源方向（度）を示し、横軸は時刻（秒）を示す。図７の濃淡は、各音源に対する音響信号のパワーを示し、濃い部分ほどパワーが小さく、明るい部分ほどパワーが大きいことを示す。
図７では、周囲より明るい部分が、主に音源方向６０°または−６０°に分布していることを示す。この結果から、音源分離部１０５が男声及び女声を良好に分離し、音源同定部１０７が音源の種類を同定でき、ひいては音源定位部１１１が高精度に音源方向を推定できることを示す。
但し、図７では、音源方向０°付近には、暗い部分しか分布しておらず、周囲より明るい部分がほとんど分布していない。この結果から、ジャズ音楽に対する音響信号の分離が不十分であり、ジャズ音楽に対する音源の種類の同定が不十分になる一因になりうることを示す。
【０１０１】
このように、本実施形態の一態様によれば、音源の種類の尤度を音響特徴量に対応づけて記憶し、入力した音響信号の音源の種類を同定し、同定した種別の音源の音響信号について音源方向を推定する。これにより、入力した音響信号の音源の種類と音源方向を同時に推定することができる。
【０１０２】
また、本実施形態のその他の態様によれば、前記音響信号入力部が入力した音響信号に対して音源方向を推定し、推定した音源方向に基づき前記音響信号入力部が入力した音源毎の音響信号に分離し、分離した音響信号の音源方向を推定する。これにより、一次的に推定した音源方向からの音響信号を抽出し、抽出した音響信号に対して最終的な音源方向を推定するため、音源毎の音源方向を高精度で推定できる。
【０１０３】
また、本実施形態のその他の態様によれば、分離した音響信号の相関関数を算出し、算出した相関行列と入力した音響信号の相関行列に基づき、分離した音響信号の音源方向を推定する。対象音源毎の成分に注目して音源毎の音源方向を高精度で推定できる。
【０１０４】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について説明する。
図８は、本実施形態に係る音源方向推定装置２の構成を示す概略図である。
音源方向推定装置２は、音声入力部１０１、第１相関行列算出部１０２、伝達関数記憶部１０３、音源定位部１０４、音源分離部１０５、音源モデル記憶部１０６、音源同定部１０７、第２相関行列算出部２０８、相関行列情報記憶部２０９、目的音選択部１１０、音源定位部２１１及び伝達関数記憶部２１２を含んで構成される。
即ち、音源方向推定装置２は、第２相関行列算出部１０８、及び音源定位部１１１の代わりに、第２相関行列算出部２０８及び音源定位部２１１を備え、さらに相関行列情報記憶部２０９及び伝達関数記憶部２１２を備える点が、図１に示す音源方向推定装置１と異なる。以下、音源方向推定装置１との差異点を主に説明し、音源方向推定装置１との共通点について説明を省略する。
【０１０５】
この構成では、第２相関行列算出部２０８は、音源分離部１０５から入力された音源方向情報が示す音源方向φｌを挟む２つの離散化された音源方向φ１ｌ、φ２ｌの間で、各々対応する音源ｌ毎の音源相関行列Ｖｌを補間する。目的音選択部２１０は、補間した音源相関行列Ｖｌを用いてクラス毎の相関行列Ｋλを算出する。音源定位部２１１は、算出した相関行列Ｋλに基づき算出した固有ベクトルを用いて音源方向情報を算出する。これにより、本実施形態では、連続的な音源方向を表す音源方向情報を算出できるようになる。以下、各部の構成及び処理について説明する。
【０１０６】
第２相関行列算出部２０８は、音源分離部１０５から入力された音響信号ｓｌ及び音源方向情報に基づいて、音源ｌ毎に音源相関行列Ｖｌを算出し、算出した音源相関行列Ｖｌを目的音選択部１１０に出力する。第２相関行列算出部２０８は、音源分離部１０５から入力された音響信号ｓｌに対して離散フーリエ変換を行って周波数領域に変換し、スペクトルＳｌを算出する。この点において、第１の実施形態における第２相関行列算出部１０８と同様である。
【０１０７】
第２相関行列算出部２０８は、正方行列Ａ（φ１）等に対して補間処理を行い、補完された行列に基づいて音源相関行列Ｖｌを算出する点で第２相関行列算出部１０８と異なる。  
第２相関行列算出部２０８は、例えば、積に基づく固有値スケーリング補間法（ｍｕｌｔｉｐｌｉｃａｔｉｏｎ−ｂａｓｅｄ  ｅｉｇｅｎｖａｌｕｅ  ｓｃａｌｉｎｇ  ｉｎｔｅｒｐｏｌａｔｉｏｎ；Ｍ−ＥＶＳＩ）を行って、正方行列Ａ（φ１）等を補間する。
Ｍ−ＥＶＳＩ法を用いて補間を行う前提として、第２相関行列算出部２０８は、伝達関数ベクトルＤ（φ１）に対して次の処理を行って音源方向φ１毎に相関行列情報、即ち正方行列Ａ（φ１）、正則行列ＥM（φ１，φ２）及び対角行列ΔM（φ１，φ２）を算出する。第２相関行列算出部２０８は、算出した相関行列情報を相関行列記憶部２０９に予め記憶しておく。ここで、φ２は、伝達関数記憶部１０３に記憶された音源方向であって、φ１に隣接する音源方向である。次に相関行列情報を算出する処理について説明する。
【０１０８】
図９は、本実施形態に係る相関行列情報算出処理の一例を表すフローチャートである。
（ステップＳ３０１）第２相関行列算出部２０８は、伝達関数記憶部１０３から音源方向φ１毎に伝達関数ベクトルＤ（φ１）を読み出し、読み出した伝達関数ベクトルＤ（φ１）にその複素共役転置ベクトルＤ＊（φ１）を乗じて正方行列Ｄ（φ１）Ｄ＊（φ１）（正方行列Ａ（φ１）とも表す）を算出する。その後、ステップＳ３０２に進む。
【０１０９】
（ステップＳ３０２）第２相関行列算出部２０８は、各音源方向φ１の正方行列Ａ１（φ１）に、音源方向φ１に隣接する他の音源方向φ２の正方行列Ａ２（φ２）の逆行列Ａ２−１（φ２）を乗算して、音源方向φ１の正方行列Ａ１（φ１）の、隣接音源方向φ２の正方行列Ａ２（φ２）に対する比率行列ＡM（φ１，φ２）を算出する。その後、ステップＳ３０３に進む。
（ステップＳ３０３）第２相関行列算出部２０８は、比率行列ＡM（φ１，φ２）に対して固有値展開を行い、式（１９）を満足する正則行列ＥM（φ１，φ２）及び対角行列ΔM（φ１，φ２）を算出する。その後、ステップＳ３０３に進む。
【０１１０】
【数１９】
0005702685.tif 000020
【０１１１】
（ステップＳ３０４）第２相関行列算出部２０８は、算出した音源方向φ１の正方行列Ａ１（φ１）、音源方向φ１並びにこれに隣接する音源方向φ２毎に正則行列ＥM（φ１，φ２）及び対角行列ΔM（φ１，φ２）を相関行列情報記憶部２０９に記憶する。その後、処理を終了する。
【０１１２】
次に、第２相関行列算出部２０８が、相関行列情報記憶部２０９に記憶された正方行列Ａ１（φ１）、正則行列ＥM（φ１，φ２）及び対角行列ΔM（φ１，φ２）を用いて、正方行列をＭ−ＥＶＳＩ法を用いて補間する処理について説明する。
図１０は、本実施形態に係る正方行列を補間する処理の一例を示すフローチャートである。
（ステップＳ４０１）第２相関行列算出部２０８は、音源方向情報が示す入力音源方向φｌを挟む離散値である第１の音源方向φ１ｌ及び第２の音源方向φ２ｌを定める。第１の音源方向φ１ｌ及び第２の音源方向φ２ｌは、各々伝達関数記憶部１０３及び相関行列情報記憶部２０９に記憶されている音源方向のうちの一つである。第１の音源方向φ１ｌは、入力音源方向φｌよりも小さい音源方向のうち、入力音源方向φｌに最も近似する音源方向である。第２の音源方向φ２ｌは、入力音源方向φｌよりも大きい音源方向のうち、入力音源方向φｌに最も近似する音源方向である。その後、ステップＳ４０２に進む。
【０１１３】
（ステップＳ４０２）第２相関行列算出部２０８は、入力音源方向φｌの第１の音源方向φ１ｌからの距離に対する、第１の音源方向φ１ｌからの第２の音源方向φ２ｌまでの距離に対する割合を表す方向係数（ｄｉｒｅｃｔｉｏｎ  ｆａｃｔｏｒ）ＤＡを算出する。ＤＡは、０から1までの間の実数値であり、ＤＡが大きくなるほど入力音源方向φｌが第１の音源方向φ１ｌよりも第２の音源方向φ２ｌに近いことを示す値である。例えば、ＤＡ＝０の場合、入力音源方向φｌは第１の音源方向φ１ｌであり、ＤＡ＝１の場合、入力音源方向φｌは第２の音源方向φ２ｌである。その後、ステップＳ４０３に進む。
【０１１４】
（ステップＳ４０３）第２相関行列算出部２０８は、第２の音源方向φ２ｌに対応する正方行列Ａ（φ２ｌ）と、第１の音源方向φ１ｌとこれに隣接する第２の音源方向φ２ｌに対応する正則行列ＥM（φ１ｌ，φ２ｌ）及び対角行列ΔM（φ１ｌ，φ２ｌ）を相関行列記憶部２０９から読み出す。
第２相関行列算出部２０８は、式（２０）に示すように、対角行列ΔM（φ１ｌ，φ２ｌ）を方向係数ＤＡでべき乗してスケーリングした行列ΔMＤＡ（φ１ｌ，φ２ｌ）の左側に、正則行列ＥM（φ１ｌ，φ２ｌ）と正方行列Ａ（φ２ｌ）を乗算し、さらに乗算された行列の右側に正則行列ＥM（φ１ｌ，φ２ｌ）の逆行列ＥM−１（φ１ｌ，φ２ｌ）を乗じて入力音源方向φｌに対する正方行列Ａ（φｌ）を算出する。その後処理を終了する。
【０１１５】
【数２０】
0005702685.tif 000021
【０１１６】
式（２０）によれば、ＤＡ＝０の場合、正方行列Ａ（φｌ）は音源方向φｌ1に対する正方行列Ａ（φｌ1）となり、ＤＡ＝１の場合、正方行列Ａ（φｌ）は音源方向φｌ２に対する正方行列Ａ（φｌ２）となるように、正方行列Ａ（φｌ）の位相が滑らかに補間される。
【０１１７】
その他、第２相関行列算出部２０８は、Ｍ−ＥＶＳＩ法の代わりに差に基づく固有値スケーリング補間法（Ｓｕｂｔｒａｃｔｉｏｎ−ｂａｓｅｄ  ｅｉｇｅｎｖａｌｕｅ  ｓｃａｌｉｎｇ  ｉｎｔｅｒｐｏｌａｔｉｏｎ；Ｓ−ＥＶＳＩ）を用いて、正方行列の補間処理を行ってもよい。
Ｓ−ＥＶＳＩ法を用いる場合、第２相関行列算出部２０８は、正方行列Ａ（φ）を固有値展開して正則行列Ｅφ（φ）と対角行列Δφ（φ）を音源方向φ毎に予め算出しておく。
第２相関行列算出部２０８は、相関行列情報記憶部２０９に、算出した正則行列Ｅφ（φ）と対角行列Δφ（φ）を相関行列情報として記憶させておく。
第２相関行列算出部２０８は、上述のステップＳ４０１とステップＳ４０２を行った後、相関行列情報記憶部２０９から、音源方向φｌ1に対する正則行列Ｅφ（φｌ1）と対角行列Δφ（φｌ1）と音源方向φｌ２に対する正則行列Ｅφ（φｌ２）と対角行列Δφ（φｌ２）を読み出す。
第２相関行列算出部２０８は、式（２１）に示すように、正則行列Ｅφ（φｌ1）、Ｅφ（φｌ２）、対角行列Δφ（φｌ1）、Δφ（φｌ２）に基づいて正方行列Ａ（φｌ）を算出する。
【０１１８】
【数２１】
0005702685.tif 000022
【０１１９】
式（２１）において、第１項は、対角行列Δφ（φｌ1）を方向係数ＤＡでべき乗してスケーリングした行列の左側に正則行列Ｅφ（φｌ1）を乗算し、それらの行列の右側に正則行列Ｅφ（φｌ1）の逆行列Ｅφ−１（φｌ1）を乗算して得られる行列である。第２項は、対角行列Δφ（φｌ２）を１からＤＡの差分値１−ＤＡでべき乗してスケーリングした行列の左側に正則行列Ｅφ（φｌ２）を乗算し、それらの行列の右側に正則行列Ｅφ（φｌ２）の逆行列Ｅφ−１（φｌ２）を乗算して得られる行列である。ＩはＭ行Ｍ列の単位行列である。この方法によって、音源方向φｌに対する正方行列Ａ（φｌ）は、正方行列Ａ（φｌ1）及び正方行列Ａ（φｌ２）の間で振幅が滑らかに補間される。
【０１２０】
その他、第２相関行列算出部２０８は、上述の補間法の代わりに差に基づく周波数領域線形補間法（ｆｒｅｑｕｅｎｃｙ  ｄｏｍａｉｎ  ｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ；ＦＤＬＩ）を用いて、正方行列の補間処理を行ってもよい。
ＦＤＬＩ法を用いる場合、相関行列情報記憶部２０９には、予め相関行列情報を記憶させておく必要はない。
第２相関行列算出部２０８は、上述のステップＳ４０１とステップＳ４０２を行った後、伝達関数記憶部１０３から、音源方向φｌ1に対する伝達関数Ｄ（φｌ1）と、音源方向φｌ２に対する伝達関数Ｄ（φｌ２）を読み出す。
第２相関行列算出部２０８は、式（２２）に示すように、伝達関数ベクトルＤ（φｌ1）と伝達関数ベクトルＤ（φｌ２）を各々方向係数ＤＡと１−ＤＡで重み付けして、音源方向φｌに対する伝達関数ベクトルＤ（φｌ）を算出する。
【０１２１】
【数２２】
0005702685.tif 000023
【０１２２】
第２相関行列算出部２０８は、算出した伝達関数ベクトルＤ（φｌ）にその複素共役転置ベクトルＤ＊（φｌ）を乗じて正方行列Ａ（φｌ）を算出する。
この方法によって、音源方向φｌに対する正方行列Ａ（φｌ）は、正方行列Ａ（φｌ1）及び正方行列Ａ（φｌ２）の間で周波数領域の振幅が滑らかに補間される。
【０１２３】
その他、第２相関行列算出部２０８は、上述の補間法の代わりに時間領域線形補間法（ｔｉｍｅ  ｄｏｍａｉｎ  ｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ；ＴＤＬＩ）法を用いて、正方行列の補間処理を行ってもよい。
ＴＤＬＩ法を用いる場合、相関行列情報記憶部２０９には、予め相関行列情報を記憶させておく必要はない。但し、伝達関数記憶部１０３には、音源方向φ毎に、時間領域の伝達関数ａ（ｔ、φ）、幾何重み係数（ｇｅｏｍｅｔｒｉｃａｌ  ｗｅｉｇｈｔ）ｋφ（φ）及び幾何遅延時間（ｇｅｏｍｅｔｒｉｃａｌｌｙ  ｄｅｔｅｒｍｉｎｅｄ  ｗｅｉｇｈｔ）ｄφ（φ）を予め記憶させておく。ｔはサンプル時刻である。時間領域の伝達関数ベクトルａ（ｔ、φ）とは、伝達関数ベクトルＤ（φ）を逆離散フーリエ変換（ｉｎｖｅｒｓｅ  ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ；ＩＤＦＴ）して得られた時間領域の伝達関数を要素値とするベクトルである。幾何重み係数ｋφ（φ）とは、方向φにある音源から各受音手段まで伝搬に伴って減衰する振幅であって、予め定めた値で規格化された値である。幾何地点時間ｄφ（φ）とは、方向φにある音源から各受音手段までの伝搬に伴って遅延する時間である。
【０１２４】
第２相関行列算出部２０８は、上述のステップＳ４０１とステップＳ４０２を行った後、相関行列情報記憶部２０９から、音源方向φｌ1に対する時間領域の伝達関数ベクトルａ（ｔ、φｌ1）、幾何重み係数ｋφ（φｌ1）及び幾何遅延時間ｄφ（φｌ1）と音源方向φｌ２に対する時間領域の伝達関数ベクトルａ（ｔ、φｌ２）、幾何重み係数ｋφ（φｌ２）及び幾何遅延時間ｄφ（φｌ２）を読み出す。
第２相関行列算出部２０８は、時間領域の伝達関数ベクトルａ（ｔ、φｌ1）及びａ（ｔ、φｌ２）を、各々幾何重み係数ｋφ（φｌ１）及びｋφ（φｌ２）で重み付け加算して音源方向φに対する時間領域の伝達関数ベクトルａ（ｔ＋ｄφ（φｌ）、φｌ）を算出する（式（２３）参照）。ここで、幾何遅延時間ｄφ（φｌ）は、幾何遅延時間ｄφ（φｌ1）及びｄφ（φｌ２）を幾何重み係数ｋφ（φｌ１）及びｋφ（φｌ２）で重み付け加算した値である（式（２４）参照）。
【０１２５】
【数２３】
0005702685.tif 000024
【０１２６】
【数２４】
0005702685.tif 000025
【０１２７】
第２相関行列算出部２０８は、算出した時間領域の伝達関数ベクトルａ（ｔ＋ｄφ（φｌ）、φｌ）を離散フーリエ変換して周波数領域の伝達関数ベクトルＤ（φｌ）を算出する。し
第２相関行列算出部２０８は、算出した伝達関数ベクトルＤ（φｌ）にその複素共役転置ベクトルＤ＊（φｌ）を乗じて正方行列Ａ（φｌ）を算出する。
この方法によって、音源方向φｌに対する正方行列Ａ（φｌ）は、正方行列Ａ（φｌ1）及び正方行列Ａ（φｌ２）の間で時間領域の振幅が滑らかに補間される。
【０１２８】
その他、第２相関行列算出部２０８は、上述の補間法の代わりにＦＤＬＩ法とＭ−ＥＶＳＩ法を統合した統合法［Ｉｎｔｅｇｒａｔｉｏｎ  Ｍｅｔｈｏｄｌｏｇｙ］と呼ぶ）を用いて音源方向φｌに対応する正方行列Ａ（φｌ）を算出してもよい。
相関行列情報記憶部２０９には、予め音源方向φ１毎に正方行列Ａ１（φ１）を、音源方向φ１とこれに隣接する音源方向φ２の組毎に対角行列ΔM（φ１，φ２）と対角行列ΔM（φ１，φ２）を相関行列情報として記憶させておく。
【０１２９】
次に正方行列を補間する処理のその他の例として、統合法を用いる例について説明する。
図１１は、本実施形態に係る正方行列を補間する処理のその他の例を示すフローチャートである。
（ステップＳ５０１）第２相関行列算出部２０８は、上述のＦＤＬＩ法を行って音源方向φｌに対応する正方行列ＡＦ（φｌ）を算出する。その後、ステップＳ５０２に進む。
（ステップＳ５０２）第２相関行列算出部２０８は、ＦＤＬＩ法により算出したＡＦ（φｌ）を固有値展開して式（２５）を満足する正則行列ＥＦ（φｌ）及び対角行列ΔＦ（φｌ）を算出する。その後、ステップＳ５０３に進む。
【０１３０】
【数２５】
0005702685.tif 000026
【０１３１】
（ステップＳ５０３）第２相関行列算出部２０８は、上述のＭ−ＥＶＳＩ法を行って音源方向φｌに対応する正方行列ＡＭ（φｌ）を算出する。その後、ステップＳ５０４に進む。
（ステップＳ５０４）第２相関行列算出部２０８は、Ｍ−ＥＶＳＩ法により算出したＡＦ（φｌ）を固有値展開して式（２６）を満足する正則行列ＥＭ（φｌ）及び対角行列ΔＭ（φｌ）を算出する。その後、ステップＳ５０５に進む。
【０１３２】
【数２６】
0005702685.tif 000027
【０１３３】
（ステップＳ５０５）第２相関行列算出部２０８は、式（２７）に示すように、ＦＤＬＩ法による正則行列ＥＦ（φｌ）をＭ−ＥＶＳＩ法による対角行列ΔＭ（φｌ）の左側に乗算し、さらに正則行列ＥＦ（φｌ）の逆行列ＥＦ−１（φｌ）を右側に乗算して正方行列Ａ（φｌ）を算出する。その後、処理を終了する。
【０１３４】
【数２７】
0005702685.tif 000028
【０１３５】
これにより、第２相関行列算出部２０８は、ＦＤＬＩ法に基づく正則行列ＥＦ（φｌ）を用いることにより振幅特性を滑らかに補間し、同時にＭ−ＥＶＳＩ法に基づく対角行列ΔＭ（φｌ）を用いることにより位相特性を滑らかに補間して、任意の音源方向φｌに対する正方行列Ａ（φｌ）を算出することができる。
【０１３６】
第２相関行列算出部２０８は、算出した正方行列Ａ（φｌ）に音源ｌのスペクトルＳｌのパワー値ＳｌＳｌ＊を乗じて補間された音源相関行列Ｖｌを算出する。第２相関行列算出部２０８は、補間した相関行列Ｖｌを目的音選択部１１０に出力する。
【０１３７】
伝達関数記憶部２１２は、伝達関数記憶部１０３と同様に、伝達関数ベクトルＤ（φ）が音源方向φと対応付けて記憶されている。但し、伝達関数記憶部１０３よりも、各音源方向φの間隔が狭く（例えば、１°）、音源方向の数、即ち記憶されている伝達関数ベクトルＤ（φ）の数は伝達関数記憶部１０３よりも多い（例えば、３６０個［３６０°／１°］）。
音源定位部２１１は、音源定位部１１１と同様の構成を備え、同様の処理を行うが、伝達関数ベクトルＤ（φ）を伝達関数記憶部１０３ではなく伝達関数記憶部２１２から読み出す点が異なる。伝達関数記憶部２１２は、より狭い間隔の音源方向φ毎に伝達関数ベクトルＤ（φ）が記憶されているため、より高い精度で音源方向φを算出することができるからである。
【０１３８】
このように、本実施形態の一態様によれば、相関行列情報を離散音源方向毎に記憶し、分離した音響信号に対して推定した音源方向に隣接する離散音源方向に対応する相関行列情報を用いて、推定した音源方向に対応する相関行列を算出する。これにより、推定した音源方向に対応する相関行列を補間できるため、任意の音源方向に対応する相関行列を算出することができる。
【０１３９】
また、本実施形態の他の態様によれば、離散音源方向に対応する相関行列情報が表す正方行列を周波数領域で補間した正方行列を固有値展開して正則行列を算出し、離散音源方向に対応する相関行列情報が表す比率行列をべき乗して補間した正方行列を固有値展開して対角行列を算出し、前記相関行列情報は、前記正則行列と前記対角行列を用いて推定した音源方向に対応する相関行列を算出する。これにより、振幅及び位相、両者に対して滑らかに相関行列を補間できる。
【０１４０】
（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について説明する。
図１２は、本実施形態に係る音源方向推定装置３の構成を示す概略図である。
音源方向推定装置３は、音声入力部１０１、第１相関行列算出部１０２、伝達関数記憶部１０３、音源定位部１０４、音源分離部１０５、音源モデル記憶部１０６、音源同定部１０７、第２相関行列算出部３０８、相関行列情報記憶部２０９、目的音選択部３１０、音源定位部３１１及び伝達関数記憶部２１２を含んで構成される。
即ち、音源方向推定装置３は、第２相関行列算出部１０８、及び音源定位部１１１の代わりに、第２相関行列算出部３０８及び音源定位部３１１を備え、図８に示す音源方向推定装置２が備える相関行列情報記憶部２０９を更に備える点が、図１に示す音源方向推定装置１と異なる。以下、音源方向推定装置１、２との差異点を主に説明し、音源方向推定装置１、２との共通点について説明を省略する。
【０１４１】
本実施形態では、第２相関行列算出部３０８は、音源定位部３１１から入力された離散音源方向情報が表す離散音源方向φ１ｌと隣接する離散音源方向φ２ｌの間で方向係数情報ＤＡに基づき、クラス情報λに対応する音源ｌの音源相関行列Ｖｌを補間する。音源定位部３１１は、補間した音源相関行列Ｖｌを用いて算出されたクラス情報λの相関行列Ｋλに基づいて方向係数ＤＡを決定し、決定した方向係数ＤＡに基づいてクラス情報λに対応する音源ｌの音源方向を決定する。これにより、本実施形態では、連続的な音源方向を表す音源方向情報を決定できるようになる。また、音源定位部３１１は、音源定位部１１１、２１１とは異なり、その都度、空間スペクトルＰ（θ）を算出する構成を備える必要はない。以下、各部の構成及び処理について説明する。
【０１４２】
第２相関行列算出部３０８は、音源定位部３１１から離散音源方向情報φ１ｌ及び方向係数情報ＤＡを入力される。
第２相関行列算出部３０８は、入力された離散音源方向情報φ１ｌ、その音源方向に隣接する音源方向を表す離散音源方向情報φ２ｌに各々対応する相関行列情報を相関行列情報記憶部２０９から読み出す。または、第２相関行列算出部３０８は、入力された離散音源方向情報φ１ｌ、と隣接する音源方向を表す離散音源方向情報φ２ｌに各々対応する伝達関数を伝達関数記憶部１０３から読み出す。
【０１４３】
第２相関行列算出部３０８は、入力された方向係数情報ＤＡに基づき、相関行列情報又は伝達関数を用いて正方行列Ａ（ＤＡ）を算出する。ここで、第２相関行列算出部３０８は、第２の実施形態で説明した、Ｍ−ＥＶＳＩ法、Ｓ−ＥＶＳＩ法、ＦＤＬＩ法、又はＴＤＬＩ法の何れかの補間方法を用いて方向係数情報ＤＡに基づき正方行列Ａ（ＤＡ）を算出する。第２相関行列算出部３０８は、方向情報φｌの代わりに方向係数情報ＤＡに基づき正方行列Ａ（ＤＡ）を算出する。また、正方行列Ａ（ＤＡ）を算出する際に、第２相関行列算出部３０８が相関行列情報又は伝達関数を用いるかは、第２の実施形態で説明したように補間方法に依存する。
【０１４４】
第２相関行列算出部３０８が、統合法を用いて正方行列Ａ（ＤＡ）を算出するには、上述のようにＭ−ＥＶＳＩ法を用いて算出した正方行列Ａ（ＤＡ）とＦＤＬＩ法を用いて算出した正方行列Ａ（ＤＡ）に対して図１１に示した補間方法を用いる。
第２相関行列算出部３０８は、算出した正方行列Ａ（ＤＡ）に音源ｌのスペクトルＳｌのパワー値ＳｌＳｌ＊を乗じて補間された音源相関行列Ｖｌを算出する。第２相関行列算出部３０８は、補間した音源相関行列Ｖｌを目的音選択部１１０に出力する。
【０１４５】
音源定位部３１１は、目的音選択部１１０から音源相関行列Ｖｌに基づいて算出されたクラス情報λ毎の相関行列Ｋλに基づき、クラス情報λに対応する音源方向情報を算出する。ここで、音源定位部３１１は、例えば、ＧＥＶＤ−ＭＵＳＩＣ法に基づくオフライン処理を行って音源方向情報を算出する。
【０１４６】
まず、音源定位部３１１は、伝達関数記憶部１０３に記憶された離散化された音源方向φ１ｌを表す離散音源方向情報毎に各周波数について空間スペクトルＰ（φ１ｌ）を算出する。音源定位部３１１は、算出した空間スペクトルＰ（φ１ｌ）のうち周波数間の最大値（ピーク値）を選択する。音源定位部３１１は、空間スペクトルＰ（φ１ｌ）のピーク値が最小となる離散音源方向情報φ１ｌを選択する。音源定位部３１１は、このようにして音源方向情報を一次的に推定する。ピーク値が最小であることは、空間スペクトルが平坦であること、即ち、相関行列Ｋλが単位行列Ｉに近似し、固有値展開における相関行列Ｋλによる影響を低減することを意味する。
【０１４７】
次に、その離散音源方向情報φ１ｌについて、方向係数ＤＡ毎に各周波数について空間スペクトルＰ（ＤＡ）を算出する。音源定位部３１１は、算出した空間スペクトルＰ（ＤＡ）のうち周波数間のピーク値を選択する。音源定位部３１１は、空間スペクトルＰ（ＤＡ）のピーク値が最小となる方向係数ＤＡを選択する。音源定位部３１１は、このように選択された音源方向情報に基づいて後述する処理を行って最終的に決定する。
【０１４８】
次に、上述の方向毎に空間スペクトルＰ（ＤＡ）を算出して、方向係数ＤＡを選択する処理について、より具体的に説明する。離散音源方向情報φ１ｌ毎に空間スペクトルＰ（ＤＡ）を算出して、方向係数ＤＡを選択する処理も、この処理と同様である。但し、ステップＳ６０６において、離散音源方向情報φ１ｌ毎に伝達関数Ｄ（φ１ｌ）を読み出し、読み出した伝達関数Ｄ（φ１ｌ）を用いて空間スペクトルＰ（φ１ｌ）を算出する。
【０１４９】
図１３は、本実施形態に係る音源方向推定処理の一形態を表すフローチャートである。
（ステップＳ６０１）音源定位部３１１は、方向係数ＤＡの初期値として０を設定する。その後、ステップＳ６０２に進む。
（ステップＳ６０２）音源定位部３１１は、方向係数ＤＡに予め設定された増分値（ｉｎｃｒｅｍｅｎｔ、例えば０．０１）を加算して、方向係数ＤＡを更新する。その後、ステップＳ６０３に進む。
（ステップＳ６０３）音源定位部３１１は、方向係数ＤＡが０以上１以下の値の範囲内であるか否かを判断する。音源定位部３１１は、方向係数ＤＡが０以上１以下の値であると判断した場合（ステップＳ６０３  Ｙ）、ステップＳ６０４に進む。音源定位部３１１は、方向係数ＤＡが０よりも小さい値、又は１よりも大きい値と判断した場合（ステップＳ６０３  Ｎ）、ステップＳ６０９に進む。
【０１５０】
（ステップＳ６０４）音源定位部３１１は、目的音選択部１１０からクラス情報λ毎の相関行列Ｋλが入力される。その後、ステップＳ６０５に進む。
（ステップＳ６０５）音源定位部３１１は、入力相関行列Ｒｘｘの代わりに単位行列Ｉと、入力された相関行列Ｋλに対して一般化固有値展開を行い、式（１６）の関係を満たす固有値δｍと固有ベクトルｅｍを算出する。その後、ステップＳ６０６に進む。
（ステップＳ６０６）音源定位部３１１は、離散化音源方向情報φ１ｌに対応する伝達関数Ｄ（ＤＡ）と、固有ベクトルｅｉの代わりに算出した固有ベクトルｅｍを式（３）に代入して周波数毎の空間スペクトルＰ（ＤＡ）を算出する。その後、ステップＳ６０７に進む。
（ステップＳ６０７）音源定位部３１１は、空間スペクトルＰ（ＤＡ）の周波数間
ピーク値を選択する。その後、ステップＳ６０２に進む。
【０１５１】
（ステップＳ６０８）音源定位部３１１は、空間スペクトルＰ（ＤＡ）の周波数間
のピーク値が最小となる方向係数ＤＡを選択する。これにより、空間スペクトルＰ（ＤＡ）の周波数依存性が最も平坦、つまり、単位行列Ｉとおいた入力相関行列Ｒｘｘに相関行列Ｋλが最も近似する方向係数ＤＡが選択される。
、実際の音源の到来方向を表す入力相関行列Ｒｘｘに基づく方向係数ＤＡに対応する。その後、処理を終了する。
【０１５２】
音源定位部３１１は、選択した離散音源方向情報φ１ｌ及び方向係数ＤＡに対応する音源方向情報φｌを、例えば、式（２８）に基づいて算出する。
【０１５３】
【数２８】
0005702685.tif 000029
【０１５４】
式（２８）において、φｌ（ＤＡ、φ１ｌ）は、ＤＡが＋∞に漸近するとａ＋ｄに漸近し、ＤＡが−∞に漸近するとｄに漸近するシグモイド関数である。マッピング係数ａ、ｂ、ｃ及びｄは、離散音源方向情報φ１ｌ毎に異なる実数値である。音源定位部３１１は、後述する処理を行って、これらのマッピング係数を音源方向マッピング記憶部３１５に記憶しておく。音源定位部３１１は、音源方向情報φｌを算出する際に読み出す。また、ａ、ｂ、ｃ及びｄは、ＤＡが０のとき、φｌ（０、φ１ｌ）＝φ１ｌであり、ＤＡが１のとき、φｌ（１、φ１ｌ）＝φ２ｌとなる関係がある。
音源定位部３１１は、定めた音源方向情報φｌを音源方向推定装置３の外部に出力する。
【０１５５】
なお、上述の説明では、音源定位部３１１は、式（２８）に示すシグモイド関数を用いて音源方向情報φｌに当てはめていたが、本実施形態ではこれには限られない。音源定位部３１１は、シグモイド関数の代わりに方向係数ＤＡの多項式（ｐｏｌｙｎｏｍｉａｌ）に当てはめてもよい。この場合、マッピング係数は、各項（ｔｅｒｍ）の係数（ｃｏｅｆｆｉｃｉｅｎｔ）である。
その他、音源定位部３１１は、音源方向情報φｌを逐次に算出せずに、選択した離散音源方向情報φ１ｌ並びに方向係数情報ＤＡに対応する音源方向情報φｌを記憶部から読み出してもよい。
【０１５６】
次に、離散音源方向情報φ１ｌ及び方向係数ＤＡと、音源方向情報φｌの間の関係を規定するマッピング係数ａ、ｂ、ｃ及びｄを算出する方法について説明する。以下に説明する処理は、離散音源方向情報φ１ｌ毎に行う。
図１４は、本実施形態に係るマッピング係数を算出する処理を表すフローチャートである。
（ステップＳ７０１）音源定位部３１１は、方向係数ＤＡの初期値として０を設定する。その後、ステップＳ７０２に進む。
（ステップＳ７０２）音源定位部３１１は、方向係数ＤＡに予め設定された増分値（ｉｎｃｒｅｍｅｎｔ、例えば０．０１）を加算して、方向係数ＤＡを更新する。その後、ステップＳ７０３に進む。
（ステップＳ７０３）音源定位部３１１は、方向係数ＤＡが０以上１以下の値の範囲内であるか否かを判断する。音源定位部３１１は、方向係数ＤＡが０以上１以下の値であると判断した場合（ステップＳ７０３  Ｙ）、ステップＳ７０４に進む。音源定位部３１１は、方向係数ＤＡが０よりも小さい値、又は１よりも大きい値と判断した場合（ステップＳ７０３  Ｎ）、ステップ７０９に進む。
【０１５７】
（ステップＳ７０４）音源定位部３１１は、第２相関行列算出部２０８と同様に、音源方向φｌ毎に基づき、相関行列情報記憶部２０９から読み出した相関行列情報又は伝達関数記憶部１０３から読み出した伝達関数を用いて（補間した）正方行列Ａ（φｌ）を算出する。その後、ステップ７０５に進む。
（ステップＳ７０５）音源定位部３１１は、算出した正方行列Ａ（φｌ）に対し、任意の音源ｌの音響信号に基づくスペクトルＳｌのパワーＳｌＳｌ＊を乗算して、音源相関関数Ｖｌを算出する。その後、ステップ７０６に進む。
（ステップＳ７０６）音源定位部３１１は、クラス情報λに対応する相関行列Ｋλの代わりに単位行列Ｉと、入力相関行列Ｒｘｘの代わりに算出した音源相関関数Ｖｌに対して一般化固有値展開を行い、式（１６）の関係を満たす固有値δｍと固有ベクトルｅｍを算出する。その後、ステップＳ７０７に進む。
（ステップＳ７０７）音源定位部３１１は、離散化音源方向情報φ１ｌに対応する伝達関数Ｄ（ＤＡ）と、固有ベクトルｅｉの代わりに算出した固有ベクトルｅｍを式（３）に代入して周波数毎の空間スペクトルＰ（φｌ）を算出する。その後、ステップＳ７０８に進む。
（ステップＳ７０８）音源定位部３１１は、空間スペクトルＰ（φｌ）の周波数間のピーク値に対応する音源方向φｌを選択し、方向係数情報ＤＡと対応付けて自部が備える記憶部に記憶する。その後、ステップＳ７０２に進む。
【０１５８】
（ステップＳ７０９）音源定位部３１１は、記憶部に記憶した音源方向φｌに、方向係数情報ＤＡに基づいて算出した音源方向情報φｌを、誤差が最小になるように当てはめ（ｆｉｔｔｉｎｇ）、マッピング係数ａ、ｂ、ｃ及びｄを算出する。音源定位部３１１は、例えば、式（２８）を用いてマッピング係数ａ、ｂ、ｃ及びｄを算出する。音源定位部３１１は、当てはめに係る処理において、例えば最小二乗法（ｌｅａｓｔ  ｓｑｕａｒｅｓ  ｍｅｔｈｏｄ）を用いる。音源定位部３１１は、音源方向マッピング記憶部３１５に算出したマッピング係数を記憶する。その後、処理を終了する。
【０１５９】
このように、本実施形態では入力した音響信号の相関行列を単位行列として、前記相関行列算出部が算出した相関行列を固有値展開して算出した固有ベクトルに基づき空間スペクトルを算出し、算出した空間スペクトルのピークを最小とする音源方向情報を推定する。  
これにより、方向係数情報を算出する際に逐次に伝達関数又は正方行列を補間することなく任意の音源方向情報を推定することができる。
【０１６０】
（第４の実施形態）
以下、図面を参照しながら本発明の第４の実施形態について説明する。
図１５は、本実施形態に係る音源方向推定装置４の構成を示す概略図である。
音源方向推定装置４は、音声入力部１０１、第１相関行列算出部１０２、伝達関数記憶部１０３、音源定位部１０４、音源分離部４０５、音源モデル記憶部１０６、音源同定部１０７、第２相関行列算出部２０８、相関行列情報記憶部２０９、目的音選択部１１０、音源定位部４１１及び伝達関数記憶部２１２を含んで構成される。
即ち、音源方向推定装置４は、音源分離部１０５及び音源定位部２１１の代わりに、音源分離部４０５及び音源定位部４１１を備える点が、図８に示す音源方向推定装置２と異なる。以下、音源方向推定装置２との差異点を主に説明し、音源方向推定装置２との共通点について説明を省略する。
【０１６１】
音源定位部４１１は、音源定位部２１１と同様な機能を備え、同様な処理を行う。但し、音源定位部４１１は、定めた目的音（クラス情報λ）に対応する音源ｌ毎の音源方向情報を音源方向推定装置４の外部に出力する他、音源分離部４０５に出力する。
【０１６２】
次に、音源分離部４０５が行う音源分離処理について説明する。
図１６は、本実施形態に係る音源分離処理を示すフローチャートである。
（ステップＳ８０１）音源分離部４０５は、音源定位部１０４から音源ｌ毎の音源方向情報が入力され、音源定位部４１１からクラス情報λに対応する音源ｌ毎の音源方向情報が入力される。その後、ステップＳ８０２に進む。
（ステップＳ８０２）音源分離部４０５は、入力された音源方向に基づいて音源方向が急激に変化したか否か判断する。ここで、音源分離部４０５は、例えば、音源定位部１０４及び音源定位部４１１から各々入力された音源方向情報が示す現在のフレーム時刻における音源方向と、過去（例えば直前）のフレーム時刻における音源方向の差分の絶対値が、予め設定された角度よりも大きいか否か判断する。
音源分離部４０５は、音源方向が急激に変化したと判断した場合（ステップＳ８０２  Ｙ）、ステップＳ８０３に進む。音源分離部４０５は、入力された音源方向に基づいて音源方向が急激に変化していないと判断した場合、（ステップＳ８０２  Ｎ）、ステップＳ８０４に進む。
【０１６３】
（ステップＳ８０３）音源分離部１０５と同様に、音源定位部１０４から入力された音源方向情報（第1音源方向情報）に基づいて音源ｌ毎の音響信号ｓｌを、音声入力部１０１から入力された多チャネル音響信号から分離する。その後、ステップＳ８０５に進む。
（ステップＳ８０４）音源定位部４１１から入力された音源方向情報（第２音源方向情報）に基づいて音源ｌ毎の音響信号ｓｌを、音声入力部１０１から入力された多チャネル音響信号から分離する。その後、ステップＳ８０５に進む。
（ステップＳ８０５）ここで、音源分離部４０５は、分離した音源ｌ毎の音響信号ｓｌを音源同定部１０７及び第２相関行列算出部１０８に出力する。その後、処理を終了する。
【０１６４】
従って、音源分離部４０５は、音源方向が急激に変化しない場合には、音源定位部４１１により高精度で推定された音源方向から到来した音源を分離することができる。これにより、分離された音源に対するクラス情報（音源の種類）や音源の方向をより高精度に算出することができる。
また、音源方向が急激に変化する場合には、音源定位部１０４により一次的に推定された音源方向を用いて音源を分離する。これにより、急激に音源方向が変化する場合でも、分離した音源を用いて高精度に音源方向を算出する手がかりを与えることができる。
その他の点については、音源分離部４０５は、音源分離部１０５と同様の構成を備え、同様の処理を行う。
【０１６５】
なお、本実施形態において、目的音選択部１１０が音源l毎の関心の度合いを表す情報の一例である興味指数Ｄｌを音源分離部４０５に出力し、音源分離部４０５は、目的音選択部１１０から興味指数Ｄｌを入力されるようにしてもよい。音源分離部４０５は、興味指数Ｄｌに基づいて生成した音源ｌ毎の音響信号ｓｌを音源同定部１０７又は第２相関行列算出部２０８へ出力するか否か決定する。音源分離部４０５は、例えば、予め定めた閾値よりも興味指数Ｄｌが大きい（即ち、関心が低い）音源ｌの音響信号ｓｌを音源同定部１０７又は第２相関行列算出部２０８へ出力しない。これにより、本実施形態では、利用者の関心が低いクラス（種類）の音源ｌについて、相関行列Ｖｌの算出、クラス情報λｌの決定、音源方向算出といった処理を省略し、処理を効率化することができる。
【０１６６】
なお、本実施形態は、図１５に示す構成に限られない。例えば、図１２に示す音源方向推定装置３において、音源分離部１０５の代わりに音源分離部４０５を備え、音源分離部４０５は音源定位部３１１から音源ｌ毎の音源方向情報を入力するようにしてもよい。
【０１６７】
次に本実施形態に係る音源方向推定装置４の検証結果について説明する。
本検証では、第１の検証と同様に音声入力部１０１を人型ロボットの頭部に設置し、ロボットの左前方６０°に女声を、正面前方（０°）にジャズ音楽を、右前方−６０°に男声を再生した。各音源は静止させた。
また、音源分離部４０５は、目的音選択部１１０から興味指数Ｄｌを入力し、入力した興味指数Ｄｌに基づき、対応する音源ｌについて分離した音響信号を出力するか否か制御するようにした。
【０１６８】
次に、本実施形態に係る推定された音源方向の一例について説明する。
図１７は、本実施形態に係る推定された音源方向の一例を示す図である。
図１７において、縦軸は音源方向（度）を示し、横軸は時刻（秒）を示す。図１７の濃淡は、各音源に対する音響信号のパワーを示し、濃い部分ほどパワーが小さく、明るい部分ほどパワーが大きいことを示す。
図１７では、周囲より明るい部分が、主に音源方向６０°、０°、−６０°に分布していることを示す。この結果から、音源分離部４０５が男声、女声及びジャズ音楽を良好に分離し、音源定位部４１１が高精度に音源方向を推定できることを示す。
また、図１６の結果と比較すると、図１７の結果は、音源方向０°において再生したジャズ音楽に対する音源の分離及び音源方向の推定精度が向上したことを示す。
従って、本実施形態により、推定した音源方向情報に基づいて音源ごとの音響信号を良好に分離し、音源方向の推定精度が向上する。
【０１６９】
このように、本実施形態の一態様によれば、音源定位部４１１が推定した音源方向に基づき前記音響信号入力部が音源毎の音響信号に分離する。これにより、方向の異なる音源毎の音響信号を良好に分離し、高精度に各音源の音源方向を推定できる。
【０１７０】
（第５の実施形態）
以下、図面を参照しながら本発明の第５の実施形態について説明する。
図１８は、本実施形態に係る音源方向推定装置５の構成を示す概略図である。
音源方向推定装置５は、音声入力部１０１、第１相関行列算出部１０２、伝達関数記憶部１０３、音源定位部１０４、音源分離部５０５、音源モデル記憶部１０６、音源同定部１０７、第２相関行列算出部２０８、相関行列情報記憶部２０９、目的音選択部１１０、音源定位部４１１、伝達関数記憶部２１２、方向入力部５１３及び相関行列変換部５１４を含んで構成される。
即ち、音源方向推定装置５は、音源方向推定装置４にはない方向入力部５１３及び相関行列変換部５１４を備える点が、図１５に示す音源方向推定装置４と異なる。以下、音源方向推定装置４との差異点を主に説明し、音源方向推定装置４との共通点について説明を省略する。
【０１７１】
この構成では、方向入力部５１３から入力された入力方向情報θに応じて、相関行列変換部５１４が、音源方向情報φｌの音源ｌ毎の音源相関行列Ｖｌを補正する。補正した音源相関行列Ｖｌを用いて音源定位部４１１が音源方向を推定する。
【０１７２】
方向入力部５１３は、入力方向情報θをフレーム時刻毎に入力される。方向入力部５１３は、例えば、ロボットの動作を制御するためのロボット自身の方向を表す入力方向情報θを生成する制御ユニット、自部の入力方向情報θを検知する位置センサ、その制御ユニット又は位置センサから入力方向情報θが入力される入力インタフェース、のいずれであってもよい。
方向入力部５１３は、入力された入力方向情報θを相関行列変換部５１４に出力する。
【０１７３】
相関行列変換部５１４は、前回のフレーム時刻において、方向入力部５１３から入力された方向情報θに基づき、第２相関行列算出部２０８から入力された音源ｌ（音源方向情報φｌ）毎の音源相関行列Ｖｌを変換する。
。
ここで、音源方向φｌ及び入力方向情報θが空間全体の絶対的な方向を表すグローバル座標系（ｇｌｏｂａｌ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ、ワールド座標系［ｗｏｒｌｄ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ］ともいう）で示されているとき、方向情報θを基準とした相対的な音源方向は、φｌ−θ（ψｌと表す）となる。
【０１７４】
以下、相関行列変換部５１４が音源相関行列Ｖｌを変換する処理について説明する。
図１９は、本実施形態に係る音源相関行列変換処理を表すフローチャートである。
（ステップＳ９０１）相関行列変換部５１４は、前回のフレーム時刻において、方向入力部５１３から入力された方向情報θを基準とした相対的な音源方向ψｌを算出する。その後、ステップＳ９０２に進む。
（ステップＳ９０２）相関行列変換部５１４は、相対的な音源方向ψｌの両隣の離散化された方向ψ１ｌ、ψ２ｌを表す方向情報に対応する相関行列情報を各々相関行列情報記憶部２０９から読み出す。その後、ステップＳ９０３に進む。
（ステップＳ９０３）相関行列変換部５１４は、読み出した相関行列情報を用いて、前回の音源方向ψｌに対応する（補間された）正方行列Ａ（ψｌ）を算出する。ここで、相関行列変換部５１４は、第２相関行列算出部２０８と同様な方法を用いて正方行列Ａ（ψｌ）を算出する。その後、ステップＳ９０４に進む。
【０１７５】
（ステップＳ９０４）相関行列変換部５１４は、現在のフレーム時刻において、方向入力部５１３から入力された方向情報θ’を基準とした相対的な音源方向ψｌ’を算出する。その後、ステップＳ９０５に進む。
（ステップＳ９０５）相関行列変換部５１４は、相対的な音源方向ψｌ’の両隣の離散化した方向ψ１ｌ’、ψ２ｌ’を表す方向情報に対応する相関行列情報を各々相関行列情報記憶部２０９から読み出す。その後、ステップＳ９０６に進む。
（ステップＳ９０６）相関行列変換部５１４は、読み出した相関行列情報を用いて、現在の音源方向ψｌ’に対応する（補間された）正方行列Ａ（ψｌ’）を算出する。ここで、相関行列変換部５１４は、第２相関行列算出部２０８と同様な方法を用いて正方行列Ａ（ψｌ’）を算出する。その後、ステップＳ９０７に進む。
【０１７６】
（ステップＳ９０７）相関行列変換部５１４は、音源方向ψｌをψｌ’に変換する変換行列Ｔ（ψｌ，ψｌ’）を、前回の正方行列Ａ（ψｌ）及び現在の正方行列Ａ（ψｌ’）に基づいて算出する。ここで、相関行列変換部５１４は、例えば式（２９）を用いる。
【０１７７】
【数２９】
0005702685.tif 000030
【０１７８】
式（２９）において、Ａ（ψｌ’｜Ａ（ψｌ））は、前回の正方行列Ａ（ψｌ’）の各行列要素の値を、正方行列Ａ（ψｌ）の対応する行列要素の値で除算することを表す。
なお、相関行列変換部５１４は、式（２９）を用いる代わりに、正方行列Ａ（ψｌ’）に正方行列Ａ（ψｌ）の逆行列Ａ（ψｌ）−１を乗算して変換行列Ｔ（ψｌ，ψｌ’）を算出してもよい。その後、ステップＳ９０８に進む。
【０１７９】
（ステップＳ９０８）相関行列変換部５１４は、音源相関行列Ｖｌに変換行列Ｔ（ψｌ，ψｌ’）を演算し、変換した音源相関行列Ｖｌ’を算出する。ここで、相関行列変換部５１４は、例えば式（３０）を用いる。
【０１８０】
【数３０】
0005702685.tif 000031
【０１８１】
式（３０）において、○印の中に×印を含む記号は、その左側の変換行列Ｔ（ψｌ，ψｌ’）の各行列要素の値を、その右側の行列Ｖｌの対応する行列要素の値を乗算することを意味する。
なお、相関行列変換部５１４は、式（３０）を用いる代わりに、音源相関行列Ｖｌに変換行列Ｔ（ψｌ，ψｌ’）を乗算して変換した音源相関行列Ｖｌ’を算出してもよい。
その後、処理を終了する。
【０１８２】
図１９に示す処理において相関行列変換部５１４が正方行列Ａの成分を変換するのは、音源相関行列Ｖｌのうち音源方向に依存する成分は正方行列Ａの部分であり、スペクトルＳｌの成分は音源方向に依存しないからである。
相関行列変換部５１４は、補正した音源相関行列Ｖｌ’を目的音選択部１１０に出力する。これにより、目的音選択部１１０は、相関行列変換部５１４から入力された音源相関行列Ｖｌ’を、Ｖｌの代わりに用いて上述の目的音毎の相関行列Ｋλを算出する。
【０１８３】
これにより、入力方向情報θが変化して自装置（音源方向推定装置５）を基準とした相対的な音源方向ψｌが変化しても、本実施形態によれば正しく音源の方向情報を推定することができる。
【０１８４】
このように、本実施形態の一態様によれば、推定した音源方向に対応する相関行列を、入力した方向情報に基づく相関行列情報を用いて変換し、変換した相関行列に基づき、分離した音響信号の音源方向を推定する。これにより、入力した方向情報の変化に応じて音源方向を推定することができる。
【０１８５】
なお、上述した実施形態における音源方向推定装置１−５の一部、例えば、第１相関行列算出部１０２、音源定位部１０４、音源分離部１０５、４０５、音源同定部１０７、第２相関行列算出部１０８、２０８、３０８、目的音選択部１１０、音源定位部１１１、２１１、３１１、４１１、伝達関数記憶部２１２、方向入力部５１３及び相関行列変換部５１４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、音源方向推定装置１−５のいずれかに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における音源方向推定装置１−５の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。音源方向推定装置１−４の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【０１８６】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【０１８７】
１−５…音源方向推定装置、
１０１…音声入力部、１０２…第１相関行列算出部、１０３…伝達関数記憶部、
１０４…音源定位部（第２の音源定位部）、１０５、４０５…音源分離部、
１０７…音源同定部、１０８、２０８、３０８…第２相関行列算出部、
１１０…目的音選択部、
１１１、２１１、３１１、４１１…音源定位部（第１の音源定位部）、
２１２…伝達関数記憶部、３１５…音源方向マッピング記憶部、５１３…方向入力部、
５１４…相関行列変換部
【図１】
0005702685.tif 000032
【図２】
0005702685.tif 000033
【図３】
0005702685.tif 000034
【図４】
0005702685.tif 000035
【図５】
0005702685.tif 000036
【図６】
0005702685.tif 000037
【図８】
0005702685.tif 000038
【図９】
0005702685.tif 000039
【図１０】
0005702685.tif 000040
【図１１】
0005702685.tif 000041
【図１２】
0005702685.tif 000042
【図１３】
0005702685.tif 000043
【図１４】
0005702685.tif 000044
【図１５】
0005702685.tif 000045
【図１６】
0005702685.tif 000046
【図１８】
0005702685.tif 000047
【図１９】
0005702685.tif 000048
【図７】
0005702685.tif 000049
【図１７】
0005702685.tif 000050