(57)【要約】【課題】  音源と収音装置の相対的な位置関係が変わった場合でも安定して音源を分離する。【解決手段】  複数チャネルの音響信号を収音する収音部と、音源と収音部の相対的な位置関係の変化を検出する検出部と、この検出部で検出した相対位置の変化量に応じて音響信号の位相を調整する位相調整部と、位相調整された音響信号に対して音源分離パラメータである音源信号の分散と音源信号の空間相関行列の推定を行うパラメータ推定部と、推定したパラメータから分離フィルタを生成し音源分離を行う音源分離部とを備える。【選択図】  図１
2015226104.tif 000002
【特許請求の範囲】
【請求項１】
複数チャネルの音響信号を収音する収音手段と、
音源と収音手段の相対的な位置関係の変化を検出する検出手段と、 
前記検出手段で検出した相対位置の変化量に応じて音響信号の位相を調整する位相調整手段と、
位相調整された音響信号に対して音源分離パラメータを推定するパラメータ推定手段と、 
前記パラメータ推定手段で推定されたパラメータから分離フィルタを生成し音源分離を行う音源分離手段と
を備えることを特徴とする音源分離装置。
【請求項２】
前記音源分離手段から出力された信号に対して前記位相調整手段によって調整された位相を元の位相に戻す逆位相調整手段を更に備えることを特徴とする請求項１に記載の音源分離装置。
【請求項３】
前記音源分離手段は、前記パラメータ推定手段により推定されたパラメータである空間相関行列と前記位相調整手段によって調整された位相調整量から音源分離パラメータを補正するパラメータ調整手段を有し、
前記音源分離手段は、補正されたパラメータから分離フィルタを生成し音源分離を行うことを特徴とする請求項１に記載の音源分離装置。
【請求項４】
前記位相調整手段は音源ごとに異なる量の位相調整を行い、 
前記パラメータ推定手段は音源ごとに位相調整された音響信号からパラメータ推定することを特徴とする請求項１乃至３のいずれか１項に記載の音源分離装置。
【請求項５】
前記位相調整手段は音響信号の遅延を調整することを特徴とする請求項１乃至４のいずれか１項に記載の音源分離装置。
【請求項６】
前記位相調整手段は時間周波数変換された音響信号の位相を調整することを特徴とする請求項１乃至４のいずれか１項に記載の音源分離装置。
【請求項７】
複数チャネルの音響信号を収音する収音手段と、
音響信号に対して音源分離パラメータである音源信号の分散と音源信号の空間相関行列の推定を行うパラメータ推定手段と、 
推定したパラメータから分離フィルタを生成し音源分離を行う音源分離手段を備える音源分離装置であって 、
音源分離装置はさらに音源と収音手段の相対的な位置関係の変化を検出する検出手段を備え、
前記パラメータ推定手段は、
時間周波数ごとの空間相関行列を算出する空間相関行列算出手段と、
算出した時間周波数ごとの空間相関行列を固有値分解する固有値分解手段と、
算出した固有値のうち最も大きな固有値に対応する固有ベクトルから音源方向を算出する音源方向算出手段と、
算出した音源方向および前記検出手段で検出した相対位置の変化量と空間相関行列の固有値から空間相関行列を更新する手段と
を有することを特徴とする音源分離装置。
【請求項８】
分離フィルタは多チャネルウィーナーフィルタであることを特徴とする請求項１乃至７のいずれか１項に記載の音源分離装置。
【請求項９】
前記検出手段は、前記収音手段の回転、前記収音手段の移動、音源の移動のうち少なくとも１つを検出することを特徴とする請求項１乃至８のいずれか１項に記載の音源分離装置。
【請求項１０】
複数チャネルの音響信号を収音する収音手段を有し、当該収音手段で得られた音響信号から音源分離を行う音源分離装置の制御方法であって、
検出手段が、音源と前記収音手段の相対的な位置関係の変化を検出する検出工程と、 
位相調整手段が、前記検出工程で検出した相対位置の変化量に応じて音響信号の位相を調整する位相調整工程と、
パラメータ推定手段が、位相調整された音響信号に対して音源分離パラメータを推定するパラメータ推定工程と、 
音源分離手段が、推定したパラメータから分離フィルタを生成し音源分離を行う音源分離工程と
を有することを特徴とする音源分離装置の制御方法。
【請求項１１】
複数チャネルの音響信号を収音する収音手段を有し、当該収音手段で得られた音響信号から音源分離を行う音源分離装置の制御方法であって、
パラメータ推定手段が、音響信号に対して音源分離パラメータである音源信号の分散と音源信号の空間相関行列の推定を行うパラメータ推定工程と、 
音源分離手段が、推定したパラメータから分離フィルタを生成し音源分離を行う音源分離工程と、
検出手段が、音源と収音手段の相対的な位置関係の変化を検出する検出工程を備え、
前記パラメータ推定工程は、
時間周波数ごとの空間相関行列を算出する空間相関行列算出工程と、
算出した時間周波数ごとの空間相関行列を固有値分解する固有値分解工程と、
算出した固有値のうち最も大きな固有値に対応する固有ベクトルから音源方向を算出する音源方向算出工程と、
算出した音源方向および前記検出工程で検出した相対位置の変化量と空間相関行列の固有値から空間相関行列を更新する更新工程と
を含むことを特徴とする音源分離装置の制御方法。
【請求項１２】
複数チャネルの音響信号を収音する収音手段を有するコンピュータに、読み込ませ実行させることで、前記コンピュータに、請求項１０又は１１の方法の各工程を実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源分離技術に関するものである。
【背景技術】
【０００２】
ビデオカメラや最近ではデジタルカメラにおいても動画撮影ができるようになり、同時に音声が収音（録音）される機会が増えてきている。音声収音時に撮影対象以外の音声が混入してしまうという問題がある。そこで複数の音源からの音声が混合した音響信号から所望の信号だけを抽出する研究、例えばビームフォーマや独立成分分析（ＩＣＡ）などの複数のマイクロフォン信号を使ったアレイ信号処理による音源分離技術の研究が広く行われている。
【０００３】
しかし、従来のアレイ信号処理による音源分離技術にはマイクロフォンの数よりも多くの音源を同時に分離できないという問題（劣決定問題）がある。その問題を解決した手法として多チャネルウィーナーフィルタ（Multi-Channel Wiener Filter）を用いた音源分離方法が知られている（非特許文献１）。
【０００４】
この非特許文献１について簡単に説明する。Ｊ個の音源から発せられる音源信号ｓｊ（ｊ＝１，２,…,Ｊ）をＭ（≧２）個のマイクロフォンで収音する状況を考える。ここでは説明の簡単のためマイクロフォンの数を２とする。２個のマイクロフォンで観測された観測信号Ｘは、次のように書ける。
【数１】
2015226104.tif 000003
ここで、[]Tは行列の転置を表し、ｔは時間を表す。
観測信号を時間周波数変換すると、
【数２】
2015226104.tif 000004
となる（ｆは周波数ビンを表し、ｎはフレーム数を表す(ｎ＝１,２,…,Ｎ)）。
【０００５】
音源からマイクロフォンまでの伝達特性をｈｊ（ｆ）、マイクロフォンで観測される音源ごとの信号(以下、ソースイメージと呼ぶ)をｃｊ（ｎ,ｆ）とすると、観測信号は以下のように各音源の信号の重ね合わせとして書ける。
【数３】
2015226104.tif 000005
ここで音源位置は収音時間中は移動せず、音源からマイクロフォンまでの伝達特性ｈｊ（ｆ）は時間で変化しないことを仮定している。
【０００６】
さらにソースイメージの相関行列をＲcj（ｎ,ｆ）、音源信号の時間周波数ビンごとの分散をｖｊ（ｎ,ｆ）、また音源ごとの時間によらない空間相関行列をＲj（ｆ）として、以下の関係が成り立つものと仮定する。
【数４】
2015226104.tif 000006
ただし、
【数５】
2015226104.tif 000007
ここで()Ｈはエルミート転置を表す。
【０００７】
以上の関係を用いて、観測信号が全ての音像の重ね合わせとして観測される確率が与えられ、そこからＥＭアルゴリズムを用いてパラメータ推定が行われる。
【数６】
2015226104.tif 000008
【０００８】
上記計算を反復して行う事により、音源分離を行うための多チャネルウィーナーフィルタを生成するためのパラメータＲｃｊ（ｎ,ｆ）（＝ｖｊ（ｎ,ｆ）＊Ｒｊ（ｆ））、Ｒｘ（ｎ,ｆ）を求めることができる。算出されたパラメータを用いて音源ごとの観測信号であるソースイメージｃｊ（ｎ，ｆ）の推定値は以下のように出力される。
【数７】
2015226104.tif 000009
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】N.Q.K.Duong, E.Vincent, R.Gribonval, “Under-Determied Reverberant Audio Source Separation Using a Full-rank Spatial Covariance Model”, IEEE transactions on Audio, Speech and Language Processing, vol.18, No.7, pp.1830-1840, September 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記従来の手法は空間相関行列を安定して求めるために収音時間中は音源位置が移動しないと仮定している。そのため例えば音源と収音装置の相対的な位置が変化する場合（例えば音源自体が移動している場合、あるいはマイクロフォンアレイなどの収音装置が回転や移動する場合）には安定した音源分離ができないという問題がある。
【００１１】
本発明は上述した問題を解決するためになされたものであり、音源と収音装置の相対的な位置が変化する場合においても安定して音源分離を可能ならしめる技術を提供しようとするものである。
【課題を解決するための手段】
【００１２】
この課題を解決するため、例えば本発明の音源分離装置は以下の構成を備える。すなわち、
複数チャネルの音響信号を収音する収音手段と、
音源と収音手段の相対的な位置関係の変化を検出する検出手段と、 
前記検出手段で検出した相対位置の変化量に応じて音響信号の位相を調整する位相調整手段と、
位相調整された音響信号に対して音源分離パラメータを推定するパラメータ推定手段と、 
前記パラメータ推定手段で推定されたパラメータから分離フィルタを生成し音源分離を行う音源分離手段とを備える。
【発明の効果】
【００１３】
本発明によれば、音源と収音装置の相対的な位置関係が変わった場合でも安定して音源分離ができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態における音源分離装置のブロック構成図。
【図２】位相調整の説明するための図。
【図３】第１の実施形態における処理手順を示すフローチャート。
【図４】第２の実施形態における音源分離装置のブロック構成図。
【図５】収音部の回転の説明するための図。
【図６】第２の実施形態における処理手順を示すフローチャート。
【図７】第３の実施形態における音源分離装置のブロック構成図。
【図８】第３の実施形態における処理手順を示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、添付の図面を参照して、本発明に係る実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１６】
［第１の実施形態］
図１は第１の実施形態に係る音源分離装置１０００のブロック構成図である。この音源分離装置１０００は、収音部１０１０と撮像部１０２０、フレーム分割部１０３０、ＦＦＴ部１０４０、相対位置変化検出部１０５０、位相調整部１０６０を有する。また、この装置１０００は、パラメータ推定部１０７０、分離フィルタ生成部１０８０、音源分離部１０９０、逆位相調整部１１００、逆ＦＦＴ部１１１０、フレーム結合部１１２０、出力部１１３０を備える。
【００１７】
収音部１０１０は、複数のマイクロフォンで構成されるマイクロフォンアレイであり、複数の音源から発される音源信号を収音する。収音した複数チャネルの音響信号をＡ／Ｄ変換してフレーム分割部１０３０へ出力する。
【００１８】
撮像部１０２０は、動画像あるいは静止画像を撮影するカメラであって、撮像した画像信号を相対位置変化検出部１０５０へ出力する。ここでは、撮像部１０２０は例えば３６０度旋回可能なカメラであり、常に音源位置を監視できるものとする。また撮像部１０２０と収音部１０１０は位置関係が固定されているものとする。すなわち、撮像部１０２０の撮像方向の変更（パンチルト値の変更）にともなって収音部１０１０の方向も変更する。
【００１９】
フレーム分割部１０３０は、入力された信号に対して、少しずつ時間区間をずらしながら窓関数をかけ、所定の時間区間ごとに信号を切り出し、フレーム信号としてＦＦＴ部１０４０へ出力する。ＦＦＴ部１０４０は、入力されたフレーム信号ごとにＦＦＴ（Fast Fourier Transform）を行う。つまり入力信号をチャネルごとに時間周波数変換したスペクトログラムが位相調整部１０６０へ出力される。
【００２０】
相対位置変化検出部１０５０は、入力された画像信号から例えば画像認識技術を用いて時間ごとに変化する音源と収音部１０１０との相対的な位置関係を検出する。例えば、撮像部１０２０によって撮像された画像のフレーム内における、顔認識技術により音源となる被写体の顔の位置を検出する。また、例えば、時間ごとに変化する撮像部１０２０の撮像方向の変化量（パン・チルト値の変化量）を取得することにより、音源と収音部１０１０との変化量を検出してもよい。ここで音源位置を検出する頻度はフレーム分割部１０３０における切り出し区間のずらし量と同じであることが望ましい。しかし、音源位置を検出する頻度と切り出し区間のずらし量が異なる場合、例えば音源位置の検出信号を切り出し区間のずらし量と合うように相対的な位置関係を補間あるいはリサンプリングすればよい。検出された収音部１０１０と音源の相対的な位置関係は位相調整部１０６０へ出力される。ここで相対的な位置関係とは例えば収音部１０１０に対する音源の方向（角度）を指す。
【００２１】
位相調整部１０６０は、入力された周波数スペクトルに対して、位相調整を行う。位相調整の一例を図２を用いて説明する。マイクロフォンはＬ0とＲ0の２チャネルとし、図２（ａ）に示すように音源Ａと収音部１０１０の相対位置がθ(ｔ)で時間ともに変化するものとする。音源位置がマイクロフォンＬ0およびＲ0の間隔に比べて十分に離れているとすると、マイクロフォンＬ0とマイクロフォンＲ0に届く信号の位相差Ｐdiff（ｎ）は、下記のように表すことができる。
【数８】
2015226104.tif 000010
ここでfは周波数を表し、ｄはマイクロフォン間の距離、ｃは音速、ｔnはｎ番目のフレームに相当する時刻をそれぞれ表す。
【００２２】
位相調整部１０６０ではマイクロフォンＲ0の信号に対し、Ｌ0とＲ0の位相差がなくなるようにＰdiffをキャンセルする補正を行う。
【数９】
2015226104.tif 000011
ここでＸRはマイクロフォンＲ0での観測信号を表し、ＸRcompは位相を調整された信号を表す。つまりフレームごとに位相調整を施すことで、時間ごとのチャネル間位相差は変化しなくなるため、図２（ｂ）に示すように移動する音源をあたかも正面方向に固定された音源ＡFIXとして扱う事ができる。
【００２３】
音源が複数の場合には音源ごとに位相調整が行われる。つまり音源Ａと音源Ｂがあった場合、音源Ａの相対位置変化を補正した信号と音源Ｂの相対位置変化を補正した信号がそれぞれ生成される。位相調整された信号はパラメータ推定部１０７０および音源分離部１０９０へ出力し、また補正した位相調整量を逆位相調整部１１００へ出力する。
【００２４】
パラメータ推定部１０７０は、入力された位相調整された信号に対してＥＭアルゴリズムを用いて、音源ごとに空間相関行列Ｒｊ（ｆ）および分散ｖｊ（ｎ,ｆ）、相関行列Ｒｘｊ（ｎ,ｆ）を推定する。
【００２５】
ここでパラメータ推定について簡単に説明する。収音部１０１０は自由空間におかれた２つのマイクロフォンＬ0とＲ0とし、２音源（ＡとＢ）の場合を考える。音源Ａは収音部１０１０に対して時刻ｔnにおいてθ(ｔn)の位置関係にあるとし、音源ＢはΦ(ｔn)の位置関係にあるものとする。位相調整部１０６０から入力された音源ごとに位相調整された信号をそれぞれＸA、ＸBとする。音源Ａおよび音源Ｂはそれぞれ位相調整により正面方向（０度）に音源が固定化されたものとする。
【００２６】
まず、位相調整された信号ＸＡを用いてパラメータ推定を行う。音源Ａは０度方向に固定化されているため空間相関行列ＲAは以下のように初期化される。
【数１０】
2015226104.tif 000012
ここで、ｈAは正面方向へのアレイ・マニホールドベクトルを表す。アレイ・マニホールドベクトルは１番目のマイクロフォンを基準点とし、音源方向をΘとすると、
【数１１】
2015226104.tif 000013
となる。ここで音源Ａは０度方向であるため、ｈA=［1  1］T となる。一方、音源Ｂは以下のように初期化される。
【数１２】
2015226104.tif 000014
ｈ'Bは、音源Ａは０度方向に固定化した状態における音源Ｂのアレイ・マニホールドベクトルであり、次のように書ける。
【数１３】
2015226104.tif 000015
δ（ｆ）は例えば以下のような値を用いる。
【数１４】
2015226104.tif 000016
【００２７】
また音源Ａの分散ｖAおよび音源Ｂの分散ｖBは例えばｖA＞０、ｖB＞０となるようなランダムな値で初期化する。
【００２８】
音源Ａに関するパラメータを以下のように推定する。ＥＭアルゴリズムを用いた推定が行われる。
【数１５】
2015226104.tif 000017
ここでｔｒ（）行列の対角成分の和を表す。
【００２９】
続いて算出した空間相関行列ＲA(ｆ)を固有値分解する。ここで固有値を大きい順にＤA1、ＤA2とする。
【００３０】
続いて位相調整された信号ＸBを用いてパラメータ推定を行う。音源Ｂは０度方向に固定化されているため以下のように初期化される。
【数１６】
2015226104.tif 000018
ｈBは正面方向へのアレイ・マニホールドベクトルを表し、ｈB=［1  1］T となる。音源Ａは以下のように初期化される。
【数１７】
2015226104.tif 000019
ここで、音源Ａのアレイ・マニホールドベクトルｈ'Aは、次のように書ける。
【数１８】
2015226104.tif 000020
またｈ'A⊥はｈ'Aと直交するベクトルを表す。
【００３１】
後は、音源Ａの時と同様にＥＭアルゴリズムを用いてｖB（n,f），ＲB(f)を算出する。
【００３２】
このように音源ごとに異なる位相調整を施した信号（ＸA、ＸB）を用いて反復計算することによりパラメータを推定する。ここで反復回数は所定の回数または尤度の変化が十分に小さくなるまで行う。
【００３３】
推定した分散ｖｊ（ｎ,ｆ）および空間相関行列Ｒｊ（ｆ）、相関行列Ｒｘｊ（ｎ,ｆ）は分離フィルタ生成部１０８０へ出力される。ｊは音源番号を表し、本実施形態においてはｊ＝Ａ、Ｂとなる。
【００３４】
分離フィルタ生成部１０８０は、入力されたパラメータを用いて入力信号を分離すための分離フィルタを生成する。例えば音源ごとの空間相関行列Ｒｊ（ｆ）および分散ｖｊ（ｎ,ｆ）、相関行列Ｒｘｊ（ｎ,ｆ）から下記の多チャネルウィーナーフィルタＷＦｊを生成する。
【数１９】
2015226104.tif 000021
【００３５】
音源分離部１０９０は、分離フィルタ生成部１０８０で生成された分離フィルタをＦＦＴ部１０４０から出力された信号に適応する。
【数２０】
2015226104.tif 000022
フィルタリングによって得られた信号Ｙｊ（ｎ,ｆ）は逆位相調整部１１００へ出力される。
【００３６】
逆位相調整部１１００は、入力された分離音信号にたいして、位相調整部１０６０で調整した位相をキャンセルするように位相調整を行う。つまり固定化された音源を再度移動しているように信号の位相を調整する。例えば位相調整部１０６０においてＲ0側の信号の位相がγだけ調整されたとすると、逆位相調整部１１００ではＲ0側の信号の位相が-γ調整される。位相調整を行った信号は逆ＦＦＴ部１１１０へ出力される。
【００３７】
逆ＦＦＴ部１１１０は、入力された位相調整された周波数スペクトルをＩＦＦＴ（Inverse Fast Fourier Transform）を行い時間波形信号に変換する。変換した時間波形信号はフレーム結合部１１２０へ出力される。フレーム結合部１１２０は、入力されたフレームごとの時間波形信号を重複させながら結合し、出力部１１３０へ出力する。出力部１１３０は、入力された分離音信号を例えば記録装置などに出力する。
【００３８】
次に信号処理のフローを図３を用いて説明する。はじめに収音部１０１０および撮像部１０２０は収音および撮像処理を行う（Ｓ１０１０）。収音部１０１０は収音した音響信号をフレーム分割部１０３０へ出力し、撮像部１０２０は撮像した、収音部１０１０周辺の画像信号を相対位置変化検出部１０５０へ出力する。
【００３９】
続いて、フレーム分割部１０３０は音響信号のフレーム分割処理を行い、フレーム分割された音響信号をＦＦＴ部１０４０へ出力する（Ｓ１０２０）。ＦＦＴ部１０４０は、フレーム分割された信号に対してＦＦＴ処理を行う、ＦＦＴ処理の施された信号を位相調整部１０６０へ出力する（Ｓ１０３０）。
【００４０】
相対位置変化検出部１０５０は、収音部１０１０と音源の時間ごとの相対的な位置関係を検出し、検出された収音部１０１０と音源の時間ごとの相対的な位置関係を示す譲歩ｙを、位相調整部１０６０へ出力する（Ｓ１０４０）。位相調整部１０６０は、信号の位相調整を行う（Ｓ１０５０）。音源ごとに位相調整された信号はパラメータ推定部１０７０および音源分離部１０９０へ出力され、位相調整量は逆位相調整部１１００へ出力される。
【００４１】
パラメータ推定部１０７０は、音源分離フィルタを生成するためのパラメータを推定する(Ｓ１０６０)。Ｓ１０６０のパラメータ推定は、Ｓ１０７０の反復終了判定で反復が終了するまで繰り返し行われ、反復が終了すると、パラメータ推定部１０７０は推定したパラメータを分離フィルタ生成部１０８０へ出力する。分離フィルタ生成部１０８０は、入力したパラメータに従い、分離フィルタを生成し、生成した多チャネルウィーナーフィルタを音源分離部１０９０へ出力する（Ｓ１０８０）。
【００４２】
続いて、音源分離部１０９０は音源分離処理を行う（Ｓ１０９０）。すなわち、音源分離部１０９０は、入力された位相調整された信号に多チャネルウィーナーフィルタをかけ、信号を分離する。分離された信号は逆位相調整部１１００へ出力される。
【００４３】
続いて、逆位相調整部１１００は、入力された分離音信号に対し、位相調整部１０６０において調整した位相を元に戻す逆位相調整処理を行い、逆位相調整された信号を逆ＦＦＴ部１１１０へ出力する（Ｓ１１００）。逆ＦＦＴ部１１１０は、逆ＦＦＴ処理（ＩＦＦＴ処理）を行う、その処理結果をフレーム結合部１１２０へ出力する（Ｓ１１１０）。
【００４４】
フレーム結合部１１２０は、逆ＦＦＴ部１１１０から入力されたフレームごとの時間波形信号を結合するフレーム結合処理を行い、結合された分離音の時間波形信号を出力部１１３０へ出力する（Ｓ１１２０）。出力部１１３０は入力した、分離音の時間波形信号を出力する（Ｓ１１３０）。
【００４５】
以上のようにして、音源と収音部の相対的な位置が変化する場合においても音源と収音部の相対位置を検出し、入力信号の位相を音源ごとに調整することで安定して音源分離することが可能となる。
【００４６】
本実施形態において収音部１０１０は２チャネルとしたが、これは説明を簡便にするためであり、マイクロフォン数は２チャネル以上であればよい。また、本実施形態において撮像部１０２０は全方位を撮影できる全方位カメラとしたが、音源である被写体を常に監視できる状況であればよく、通常のカメラであってもよい。撮影場所が例えば屋内のように壁面などで区切られた空間である場合、撮像部が部屋の隅に設置されればカメラは室内全体を撮影できる画角があればよく、全方位カメラである必要はない。
【００４７】
また本実施形態において収音部と撮像部は固定されているものとしたが、独立に動くようになっていてもよい。その場合はさらに収音部および撮像部の位置関係を検出する手段を備え、検出された位置関係によってその位置関係を補正するようにする。例えば撮像部が回転雲台に設置され収音部は回転雲台の台座部分(回転しない)に固定されているような場合、音源位置を回転雲台の回転量を用いて補正するようにすればよい。
【００４８】
本実施形態において相対位置変化検出部１０５０では人物の発話を音源と仮定し、顔認識技術によって音源と収音部との位置関係を検出した。しかし、音源は例えばスピーカや自動車など人物以外のものでもよく、そのような場合、相対位置変化検出部１０５０は入力された画像に対してオブジェクト認識を行い、音源と収音部との位置関係を検出するようにすればよい。
【００４９】
本実施形態において音響信号は収音部から入力され、撮像部から入力された画像から相対位置変化を検出した。しかし音響信号と信号を収音した収音装置と音源との相対的な位置関係が両方ともハードディスクなどの記録媒体に記録されている場合、記録媒体からデータを読みこむようにしてもよい。つまり本実施形態の収音部の代わりに音響信号入力部を備え、撮像部の代わりに相対位置関係入力部を備え、音響信号と相対位置関係を記憶装置から読み込むような構成であってもよい。
【００５０】
本実施形態において相対位置変化検出部１０５０は撮像部１０２０を備え、撮像部１０２０から取得した画像から収音部１０１０と音源の位置関係を検出した。しかし収音部１０１０と音源の相対的な位置関係を検出できるような手段であれば手段は問わない。例えば音源と収音部それぞれにＧＰＳ（Ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）を装備し、相対位置変化検出をしてもよい。
【００５１】
本実施形態において位相調整部はＦＦＴ部の後で処理を行ったが、位相調整部はＦＦＴ部の前であってもよく、その場合、位相調整部は信号の遅延を調整するようにすればよい。また逆位相調整部および逆ＦＦＴ部にも同様に順番は逆であってもよい。
【００５２】
本実施形態において位相調整部ではＲ0側の信号に対してのみ位相調整を施したが、Ｌ0側の信号に対して位相調整を施してもよいし、両方の信号に対して位相調整を施してもよい。また位相調整部では音源の位置固定化において音源位置を０度方向に固定したが、他の角度に音源位置が固定するように位相調整してもよい。
【００５３】
本実施形態において収音部は自由空間におかれたマイクロフォンを仮定したが、筐体の影響を含む環境におかれていてもよい。その場合、方向ごとの筐体の影響を含む伝達特性をあらかじめ測定し、その伝達特性をアレイ・マニホールドベクトルとして用いて計算をするとよい。その場合、位相調整部や逆位相調整部では位相だけでなく振幅も調整される。
【００５４】
本実施形態においてアレイ・マニホールドベクトルは１番目のマイクロフォンを基準点として作成したが、基準点はどこでもよく、例えば１番目と２番目のマイクロフォンの中間点を基準点としてもよい。
【００５５】
［第２の実施形態］
図４は第２の実施形態に係る音源分離装置２０００のブロック構成図である。本装置２０００は、収音部１０１０、フレーム分割部１０３０、ＦＦＴ部１０４０、位相調整部１０６０、パラメータ推定部１０７０、分離フィルタ生成部１０８０、音源分離部１０９０、逆ＦＦＴ部１１１０、フレーム結合部１１２０、出力部１１３０をゆする。また、この装置２０００は、回転検出部２０５０、パラメータ調整部２１４０を有する。
【００５６】
収音部１０１０、フレーム分割部１０３０、ＦＦＴ部１０４０、音源分離部１０９０、逆ＦＦＴ部１１１０、フレーム結合部１１２０、出力部１１３０は、先に説明した第１の実施形態とほぼ同様のため、それらの説明は省略する。
【００５７】
本第２の実施形態においては、収音時間中に音源は移動しないものとし、収音部１０１０がユーザのハンドリングなどにより回転し、収音部１０１０と音源の相対位置が時間変化する状況を考える。ここで収音部１０１０の回転とは収音部１０１０のパンやチルト、ロール動作によるマイクロフォンアレイの回転を指す。例えば図５（ａ）に示すように収音部であるマイクロフォンアレイが位置固定の音源Ｃ1に対して（Ｌ0、Ｒ0）の状態から（Ｌ1、Ｒ1）の状態に回転すると、図５（ｂ）のように、マイクロフォンアレイからは音源がＣ2からＣ3へ移動したように見える。
【００５８】
回転検出部２０５０は、例えば加速度センサからなり、収音時間中の収音部１０１０の回転を検出する。回転検出部２０５０は、検出した回転量を例えば角度情報として位相調整部１０６０へ出力する。
【００５９】
位相調整部１０６０は入力された収音部１０１０の回転量とパラメータ推定部１０７０から入力された音源方向から位相調整を行う。音源方向は一番初めのみ音源ごとに任意の方向を初期値として与えるようにする。例えば音源方向がαで収音部１０１０の回転量がβ(ｎ)とすると、チャネル間の位相差は以下のようになる。
【数２１】
2015226104.tif 000023
位相調整部１０６０は、上記のチャネル間位相差の位相調整を行い、位相調整した信号をパラメータ推定部１０７０に出力し、位相調整量をパラメータ調整部２１４０へ出力する。パラメータ推定部１０７０は位相調整された信号に対してパラメータ推定を行う。
【００６０】
パラメータ推定方法は第１の実施形態とほぼ同様である。ただし、本第２の実施形態ではさらに推定された空間相関行列Ｒｊ（ｆ）の主成分分析を行い、音源方向γ’を推定する。ここで位相調整部１０６０において音源を固定化した方向をγとすると、α＋γ’−γを音源方向として位相調整部１０６０へ出力する。推定した分散ｖｊ（ｆ,ｎ）および空間相関行列Ｒｊ（ｆ）はパラメータ調整部２１４０へ出力される。
【００６１】
パラメータ調整部２１４０は、入力した空間相関行列Ｒｊ（ｆ）および位相調整量を用いて、時間変化する空間相関行列Ｒｊnew（ｎ，ｆ）を算出する。例えばＲチャネルの位相調整量をη(ｎ,ｆ)とすると、
【数２２】
2015226104.tif 000024
とすることでフィルタ生成に使用するパラメータを調整する。
【００６２】
パラメータ調整部２１４０は調整した空間相関行列Ｒｊnew（ｎ,ｆ）および分散ｖｊ（ｎ,ｆ）を分離フィルタ生成部１０８０へ出力する。分離フィルタ生成部１０８０は、これを受けて、以下のように分離フィルタを生成する。
【数２３】
2015226104.tif 000025
【００６３】
そして、分離フィルタ生成部１０８０は、生成したフィルタを音源分離部１０９０へ出力することになる。
【００６４】
続いて本第２の実施形態における信号処理フローを図６を用いて説明する。はじめに、収音部１０１０が収音処理、回転検出部２０５０が収音部１０１０の回転量の検出処理を行う（Ｓ２０１０）。収音部１０１０は、収音された音響信号をフレーム分割部１０３０へ出力する。回転検出部２０５０は、検出した収音部１０１０の回転量を示す情報を位相調整部１０６０へ出力する。続くフレーム分割（Ｓ２０２０）およびＦＦＴ処理（Ｓ２０３０）は第１の実施形態とほぼ同様のため説明を省略する。
【００６５】
位相調整部１０６０は、位相調整処理を行う（Ｓ２０４０）。すなわち、位相調整部１０６０は、入力された信号に対する、パラメータ推定部１０７０から入力された音源位置および収音部１０１０の回転量から位相調整量を算出し、ＦＦＴ部１０４０から入力された信号に対して位相調整処理を行う。そして、位相調整部１０６０は、位相調整後の信号をパラメータ推定部１０７０へ出力する。
【００６６】
続いてパラメータ推定部１０７０は、音源分離パラメータの推定を行う（Ｓ２０５０）。そいて、パラメータ推定部１０７０は、続く反復終了か否かの判断する（Ｓ２０６０）。反復終了しない場合は、パラメータ推定部１０７０は、推定された音源位置は位相調整部１０６０に出力し、位相調整（Ｓ２０４０）とパラメータ推定（Ｓ２０５０）を再度行う。反復終了と判断した場合、位相調整部１０６０は位相調整量をパラメータ調整部２１４０へ出力する。またパラメータ推定部１０７０は推定したパラメータをパラメータ調整部２１４０へ出力する。
【００６７】
続いてパラメータ調整部２１４０はパラメータの調整を行う（Ｓ２０７０）。すなわち、パラメータ調整部２１４０は、入力した位相調整量を用いて推定した音源分離パラメータである空間相関行列Ｒｊ（ｆ）の調整を行う。調整された空間相関行列Ｒｊnew(ｎ,ｆ)および分散ｖｊ（ｎ,ｆ）は分離フィルタ生成部１０８０へ出力される。
【００６８】
後続する音源分離フィルタ生成（Ｓ２０８０）および音源分離処理（Ｓ２０９０）、逆ＦＦＴ処理（Ｓ２１００）、フレーム結合処理（Ｓ２１１０）、出力（Ｓ２１２０）については第１の実施形態とほぼ同様のため説明を省略する。
【００６９】
以上のようにして、音源と収音部の相対的な位置が変化する場合においても音源と収音部の相対位置を検出することで安定して音源分離することが可能となる。つまり、位相を調整した信号からパラメータを推定し、推定したパラメータをさらに調整した位相の量を鑑みて補正することで安定して音源分離フィルタを生成することができる。
【００７０】
本第２の実施形態では回転検出部２０５０を加速度センサとしたが、回転量を検出できる装置であればよく、ジャイロセンサや角速度センサあるいは方位を検出する磁気センサであってもよい。また第１の実施形態と同様に撮像部を備え、画像から回転角を検出するようにしてもよい。また収音部が回転雲台等に固定されている場合、回転雲台の回転角を検出するようになっていてもよい。
【００７１】
［第３の実施形態］
図７は第３の実施形態における音源分離装置３０００のブロック構成図である。この装置３０００は収音部１０１０とフレーム分割部１０３０、ＦＦＴ部１０４０、回転検出部２０５０、パラメータ推定部３０７０、分離フィルタ生成部１０８０、音源分離部１０９０、逆ＦＦＴ部１１１０、フレーム結合部１１２０、出力部１１３０を備える。
【００７２】
パラメータ推定部３０７０以外のブロックは先に説明した第１の実施形態とほぼ同じため説明を省略する。本第３の実施形態においても第２の実施形態と同様に収音時間中に音源は移動しないものとする。
【００７３】
パラメータ推定部３０７０は、回転検出部２０５０からの収音部１０１０の回転量を示す情報、および、ＦＦＴ部１０４０から入力された信号を用いて、パラメータ推定を行う。推定のＥＭアルゴリズムにおいてＥステップおよびＭステップの（３）〜（６）については従来通り算出する。
【００７４】
空間相関行列算出の方法を以下に示す。時間変化する空間相関行列Ｒｊ（ｎ，ｆ）を次式に従って算出する。
【数２４】
2015226104.tif 000026
算出されたＲｊ（ｎ，ｆ）を固有値分解（主成分分析）することにより、時間ごとの音源方向θｊ（ｎ,f）が算出可能である。音源方向算出の方法は、固有値分解により算出された固有値のうち最も大きい固有値に対応する固有ベクトルの要素間の位相差から音源方向を算出する。続いて算出された音源方向θｊ（ｎ,ｆ）について回転検出部２０５０から入力された収音部１０１０の回転の影響を取り除く。例えば収音部１０１０の回転量をω（ｎ）とすると、相対的な音源位置の変化量は−ω（ｎ）となる。つまり音源位置θｊcomp（ｎ,ｆ）＝θｊ（ｎ,ｆ）＋ω（ｎ）が回転がなかった場合の音源方向となる。続いて算出したθｊcomp（ｎ,ｆ）について以下のように時間方向に重み付き平均をとる。
【数２５】
2015226104.tif 000027
ここでは算出される音源方向θｊcomp（ｎ,ｆ）は分散ｖｊ（ｎ,ｆ）が小さくなると（信号振幅が小さくなると）誤った方向を算出する可能性が大きくなるため、ｖｊ（ｎ,ｆ）の重み付き平均をとっている。
【００７５】
算出した方向θｊave(f)に対して回転による音源の見かけ上の移動を再度加味し、音源方向：
【数２６】
2015226104.tif 000028
を以下のように算出する。
【数２７】
2015226104.tif 000029
【００７６】
続いてＲｊ（ｎ,ｆ）の固有値分解で算出した固有値を大きい順にそれぞれＤ1（ｎ,ｆ）、Ｄ2（ｎ,ｆ）とし、その比率ｇj(ｆ)を以下のように算出する。
【数２８】
2015226104.tif 000030
そして、
【数２９】
2015226104.tif 000031
及び、ｇj(ｆ)から空間相関行列Ｒｊ（ｎ,ｆ）を以下のように更新する。
【数３０】
2015226104.tif 000032
ここで
【数３１】
2015226104.tif 000033
は更新された空間相関行列を表し、
【数３２】
2015226104.tif 000034
は、
【数３３】
2015226104.tif 000035
方向に対するアレイ・マニホールドベクトルを表す。
【００７７】
また空間相関行列はエルミート行列であるため固有ベクトル同士は直交する。そのため、
【数３４】
2015226104.tif 000036
は、
【数３５】
2015226104.tif 000037
と直交するベクトルであり、以下のような関係にある。
【数３６】
2015226104.tif 000038
【００７８】
以上のようにパラメータ推定部３０７０は空間相関行列を時間変化するパラメータとして算出する。そして、パラメータ推定部３０７０は、算出された空間相関行列：
【数３７】
2015226104.tif 000039
および分散ｖｊ（ｎ,ｆ）を分離フィルタ生成部１０８０へ出力する。
【００７９】
続いて本第３の実施形態における信号処理フローを図８に従って説明する。収音および回転量の検出（Ｓ３０１０）からＦＦＴ処理（Ｓ３０３０）および分離フィルタ生成（Ｓ３０６０）から出力（Ｓ３１００）は前記した第２の実施形態とほぼ同様のため説明を省略する。
【００８０】
パラメータ推定部３０７０は、パラメータ推定処理を行い（Ｓ３０４０）、続く反復終了の判定（Ｓ３０５０）において反復が終了したと判定するまで、パラメータ推定処理を反復処理する。反復が終了したと判定された場合、パラメータ推定部３０７０は、その段階で推定されたパラメータを分離フィルタ生成部１０８０へ出力する。
【００８１】
続いて分離フィルタ生成部１０８０は、分離フィルタの生成処理を行い、生成された分離フィルタを音源分離部１０９０へ出力する（Ｓ３０６０）。
【００８２】
以上のようにして、音源と収音部の相対的な位置が変化する場合においても音源と収音部の相対位置を検出し、音源位置まで考慮したパラメータ推定方法を用いることで安定して音源分離することが可能となる。
【００８３】
本第３の実施形態においてパラメータ推定部では空間相関行列：
【数３８】
2015226104.tif 000040
の推定のために音源方向θｊ（ｎ）を算出した。しかし、音源方向を算出せず、第１主成分について収音部１０１０の回転をキャンセルするように位相調整を施し、その平均値を求めるようにしてもよい。
【００８４】
また収音開始時における音源の位置の算出時に分散ｖｊ（ｎ,ｆ）の重み付き平均を行ったが、単純に平均値をとるようにしてもよい。本実施形態において音源方向:
【数３９】
2015226104.tif 000041
は周波数について独立に算出した。しかし同じ音源で方向が異なることは考えにくいため、周波数方向について平均などをとることによって周波数依存性のないパラメータ：
【数４０】
2015226104.tif 000042
としてもよい。
【００８５】
［その他の実施形態］
以上、実施形態例を詳述したが、本発明は例えば、複数チャネルの音響信号を収音する収音手段を有するものであれば、システム、装置、方法、制御プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００８６】
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【符号の説明】
【００８７】
１０００…音源分離装置、１０１０…収音部、１０２０…撮像部、１０３０…フレーム分割部、１０４０…ＦＦＴ部、１０５０…相対位置変化検出部、１０６０…位相調整部、１０７０…パラメータ推定部、１０８０…分離フィルタ生成部、１０９０…音源分離部、１１００…逆位相調整部、１１１０…逆ＦＦＴ部、１１２０…フレーム結合部、１１３０…出力部
【図１】
2015226104.tif 000043
【図２】
2015226104.tif 000044
【図３】
2015226104.tif 000045
【図４】
2015226104.tif 000046
【図５】
2015226104.tif 000047
【図６】
2015226104.tif 000048
【図７】
2015226104.tif 000049
【図８】
2015226104.tif 000050