(57)【要約】【課題】携帯電話などのように筐体上で音が回折するような場合であっても、短時間に高精度な音の分離を実現することができる音源分離装置を提供する。【解決手段】音の回折の影響を考慮してマイク配置の情報を使わずに音を分離する独立成分分析と、音の回折に弱いが、目的の方向を指定して音を抽出することが可能なフィルタリング処理とを並列実行させ、フィルタリング処理音のパワースペクトルをリファレンス信号として、リファレンス信号との時間相関が高いものを雑音抑圧性能が高い音とみなし、そのような音を音源分離信号として選択する。【選択図】図3
2011199474.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンからなるマイクアレイから入力される信号を処理して特定の音源の音のみを抽出する音源分離装置であって、
予め得られるマイク配置の情報から算出した音の伝達モデルを用いて雑音抑圧フィルタを適応するフィルタ適応部と、
マイク配置の情報を使わずに目的音と雑音との統計的性質を用いて音を分離する独立成分分析部と、
前記フィルタ適応部の出力信号と独立成分分析部の出力信号のうち、最も前記フィルタ適応部の複数の周波数帯域のパワーの和と時間相関が高い信号を選択する分離音選択部と、
を備える音源分離装置。
【請求項２】
請求項１に記載の音源分離装置において、更に、
前記独立成分分析部の複数の分離信号から出力信号を選択するために、各分離信号と前記フィルタ適応部の複数の周波数帯域のパワーの和との時間相関をとる相関分析部を備えることを特徴とする音源分離装置。
【請求項３】
請求項１に記載の音源分離装置において、更に、
前記独立成分分析部で算出する分離フィルタを用いて、前記フィルタ適応部で用いる音の伝達モデルを書き換える伝達モデル置換部を備えることを特徴とする音源分離装置。
【請求項４】
請求項１に記載の音源分離装置において、
前記独立成分分析部に代えて、入力信号にクラスタリングを施すクラスタリング部を備えることを特徴とする音源分離装置。
【請求項５】
請求項１に記載の音源分離装置において、
パワー最小フィルタリング部を備え、
前記フィルタ適応部は、フィルタモデルに基づいて雑音方向に対応する分離フィルタを作成し、
前記パワー最小フィルタリング部は、入力信号に対して前記分離フィルタを作用させた後の出力信号のうち、最もパワーが最小となるものを選択するものであることを特徴とする音源分離装置。
【請求項６】
請求項５に記載の音源分離装置において、
前記独立成分分析部は、前記フィルタモデルに含まれるフィルタ候補の中からフィルタを選択することを特徴とする音源分離装置。
【請求項７】
請求項１乃至６の何れか一つに記載の音源分離装置を組み込んだビデオカメラ装置。
【請求項８】
請求項１乃至６の何れか一つに記載の音源分離装置を組み込んだカメラ付き携帯電話装置。
【請求項９】
複数のマイクロホンからなるマイクアレイから入力される信号を処理して特定の音源の音のみを抽出する音源分離方法であって、
予め得られるマイク配置の情報から算出した音の伝達モデルを用いて雑音抑圧フィルタを適応して出力信号を得るステップと、
マイク配置の情報を使わずに目的音と雑音との統計的性質を用いて音を分離し出力信号を得るステップと、
前記音の伝達モデルを用いて雑音抑圧フィルタを適応した出力信号と統計的性質を用いて音を分離した出力信号のうち、前記音の伝達モデルを用いて雑音抑圧フィルタを適応した複数の周波数帯域のパワーの和と最も時間相関が高い信号を選択するステップと、を備える音源分離方法。
【請求項１０】
複数のマイクロホンからなるマイクアレイから入力される信号を処理して特定の音源の音のみを抽出する音源分離方法を、コンピュータに実行させるためのプログラムであって、
予め得られるマイク配置の情報から算出した音の伝達モデルを用いて雑音抑圧フィルタを適応して出力信号を得るステップと、
マイク配置の情報を使わずに目的音と雑音との統計的性質を用いて音を分離し出力信号を得るステップと、
前記音の伝達モデルを用いて雑音抑圧フィルタを適応した出力信号と統計的性質を用いて音を分離した出力信号のうち、前記音の伝達モデルを用いて雑音抑圧フィルタを適応した複数の周波数帯域のパワーの和と最も時間相関が高い信号を選択するステップと、をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホンで収録した音の中から、特定方向の音源の音のみを抽出する音源分離装置に関し、特に、携帯電話などのように音が筐体上で回折するような機器に適する音源分離装置に関する。
【背景技術】
【０００２】
複数のマイクロホンを用いて、特定方向の音源（目的音）のみを抽出する音源分離技術が広く検討されている。特に、最小分散ビームフォーマに基づく方法（例えば、非特許文献１参照）は、マイク間位相差から、時間毎・周波数成分毎に、目的音の到来方向を算出し、その位相差が、所定の範囲内であれば、その時間・周波数成分を目的音と判定し、範囲外であれば雑音と判定する。そして、その判定結果に基づき、雑音を抑圧するためのフィルタを学習する。マイク素子を２つ用いる場合、最小分散ビームフォーマに基づく方法では、所望の目的音が存在する音源方向の情報から目的音・雑音判定に用いる位相差の範囲を決定する。無響環境では、位相差の実測値と理論値の乖離が少ないため、理論値から求めた位相差の範囲に基づき、目的音と雑音の判定を行うことが可能となる。
【０００３】
また、他の音源分離技術として、音源方向の情報を使わず、目的音と雑音とが統計的に独立であることを利用した独立成分分析に基づく音源分離方式（例えば、特許文献１参照）がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１７９６１号公報
【非特許文献】
【０００５】
【非特許文献１】戸上真人、天野明雄「人間共生ロボットEMIEWの騒音下音声認識技術」、計測と制御、Vol.46、No.6、2007.6
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のように、最小分散ビームフォーマに基づく方法によれば、無響環境では、目的音と雑音の判定を行うことが可能となるが、携帯電話などのように音が筐体上で回折するような場合は、位相差の実測値と理論値の乖離が大きいため、理論値から求めた位相差の範囲に基づいた判定は望ましくない。独立成分分析に基づく方法では、目的音と雑音の統計的性質を用いるため、比較的長い観測データが必要となり、また、出力される複数の信号のうち、どちらが聞きたい音かを判別することができない。
【０００７】
本発明は、携帯電話などのように筐体上で音が回折するような場合であっても、短時間に高精度な音の分離を実現することができる音源分離装置および音源分離方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の音源分離装置は、複数のマイクロホンからなるマイクアレイから入力される信号を処理して特定の音源の音のみを抽出する音源分離装置であって、予め得られるマイク配置の情報から算出した音の伝達モデルを用いて雑音抑圧フィルタを適応するフィルタ適応部と、マイク配置の情報を使わずに目的音と雑音との統計的性質を用いて音を分離する独立成分分析部と、前記フィルタ適応部の出力信号と独立成分分析部の出力信号のうち、最も前記フィルタ適応部の複数の周波数帯域のパワーの和と時間相関が高い信号を選択する分離音選択部と、を備えるものである。
【０００９】
本発明の音源分離装置において、更に、前記独立成分分析部の複数の分離信号から出力信号を選択するために、各分離信号と前記フィルタ適応部の複数の周波数帯域のパワーの和との時間相関をとる相関分析部を備えるものでよい。
【００１０】
また、本発明の音源分離装置において、更に、前記独立成分分析部で算出する分離フィルタを用いて、前記フィルタ適応部で用いる音の伝達モデルを書き換える伝達モデル置換部を備えるものでよい。
【００１１】
また、本発明の音源分離装置において、前記独立成分分析部に代えて、入力信号にクラスタリングを施すクラスタリング部を備えるものでよい。
【００１２】
また、本発明の音源分離装置において、パワー最小フィルタリング部を備え、前記フィルタ適応部は、フィルタモデルに基づいて雑音方向に対応する分離フィルタを作成し、前記パワー最小フィルタリング部は、入力信号に対して前記分離フィルタを作用させた後の出力信号のうち、最もパワーが最小となるものを選択するものでよい。
【００１３】
また、本発明の音源分離装置において、前記独立成分分析部は、前記フィルタモデルに含まれるフィルタ候補の中からフィルタを選択するものでよい。
【００１４】
更に、本発明は、上記の音源分離装置を組み込んだビデオカメラ装置またはカメラ付き携帯電話装置である。
【００１５】
本発明の音源分離方法は、複数のマイクロホンからなるマイクアレイから入力される信号を処理して特定の音源の音のみを抽出する音源分離方法であって、予め得られるマイク配置の情報から算出した音の伝達モデルを用いて雑音抑圧フィルタを適応して出力信号を得るステップと、マイク配置の情報を使わずに目的音と雑音との統計的性質を用いて音を分離し出力信号を得るステップと、前記音の伝達モデルを用いて雑音抑圧フィルタを適応した出力信号と統計的性質を用いて音を分離した出力信号のうち、前記音の伝達モデルを用いて雑音抑圧フィルタを適応した複数の周波数帯域のパワーの和と最も時間相関が高い信号を選択するステップと、を備えるものである。
【００１６】
本発明のプログラムは、複数のマイクロホンからなるマイクアレイから入力される信号を処理して特定の音源の音のみを抽出する音源分離方法を、コンピュータに実行させるためのプログラムであって、予め得られるマイク配置の情報から算出した音の伝達モデルを用いて雑音抑圧フィルタを適応して出力信号を得るステップと、マイク配置の情報を使わずに目的音と雑音との統計的性質を用いて音を分離し出力信号を得るステップと、前記音の伝達モデルを用いて雑音抑圧フィルタを適応した出力信号と統計的性質を用いて音を分離した出力信号のうち、前記音の伝達モデルを用いて雑音抑圧フィルタを適応した複数の周波数帯域のパワーの和と最も時間相関が高い信号を選択するステップと、をコンピュータに実行させるものである。
【発明の効果】
【００１７】
本発明により、携帯電話などの筐体上で音がイレギュラーに回折するような環境であっても、短時間に高精度に音を分離することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明のハードウェアの構成を示す図。
【図２】本発明を携帯電話に適用した場合のマイクロホンと携帯電話の位置関係の一例を示す図。
【図３】本発明の第一実施例のブロック構成を示す図。
【図４】本発明の第二実施例のブロック構成を示す図。
【図５】本発明の独立成分分析による音源分離の処理フローを示す図。
【図６】本発明の相関分析部の処理フローを示す図。
【図７】本発明のフィルタ適応部の詳細なブロック構成を示す図。
【図８】本発明の第三実施例のブロック構成を示す図。
【図９】本発明の分離音選択部の処理フローを示す図。
【図１０】本発明の第四実施例のブロック構成を示す図。
【図１１】本発明の第五実施例のブロック構成を示す図。
【図１２】本発明のパワー最小フィルタリング部の処理フローを示す図。
【図１３】本発明のパワー最小フィルタリング部を用いた場合の処理フローを示す図。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態を図面を用いて説明する。本発明の音源分離装置は、コンピュータに接続された複数のマイクロホンからなるマイクアレイと、マイクアレイにより収録した音波形情報をデジタル変換するAD変換装置と、コンピュータ上で、デジタル変換された音波形情報を解析し、ユーザー所望の音声を抽出するソフトウェアからなり、ユーザーが指定した任意の方向の音声を抽出することが可能である。本発明は、例えばビデオカメラ機能を備えた機器、例えば、カメラ付き携帯電話において、ビデオカメラ機能を利用して音声を録音する際に、用いられる。
【００２０】
本発明のハードウェア構成を、図１に示す。  
少なくとも２つ以上のマイクロホン素子からなるマイクアレイ101、マイクアレイから入力されるアナログの音圧値をデジタルデータに変換するA/D変換装置102、A/D変換装置の出力を処理する中央演算装置103、中央演算装置で実行するプログラムが使用するワーク領域を蓄える揮発性メモリ104、プログラム本体の格納及びプログラム実行時に必要な情報を記憶しておく不揮発性の記憶媒体105からなる。
【００２１】
図２は、本発明の音源分離装置を携帯電話に取り付けた際のイメージ図である。携帯電話201の筐体外部または表面に複数のマイクロホン（マイクアレイ202）を設置する。設置した複数のマイクロホンの出力は、携帯電話内部に設けた音響信号処理装置で処理される。
【実施例１】
【００２２】
図３は、本発明の第一実施例の音源分離処理の具体的なソフトウェアブロック構成を示した図である。多チャンネルA/D変換器102では、マイクロホンで取り込んだアナログの音圧データが波形取り込み部301で、デジタルデータに変換される。A/D変換は、マイクロホンアレイを構成する各マイクロホン毎に行う。また、A/D変換のサンプリングレートは、任意のレートを設置することが可能であるが、音響信号処理装置と結びついたアプリケーション毎に変えることが望ましい。例えば、音声通話装置と結びつける場合は、通話8kHzサンプリングに設定する。また、携帯電話上でビデオカメラ機能などを利用し、ビデオカメラのオーディオ機能として本発明の音源分離装置を用いる場合は、44.1kHzなど高サンプリングレートに設定しても良い。
【００２３】
波形取り込み部301で取り込んだ各マイクロホン毎の信号は、中央演算装置103に送られて処理される。ここで、mはマイク素子インデックスとし、tはサンプリングタイムとする。Xm(t)はマイク素子mのtサンプル目のデジタル音圧データである。中央演算装置103では、Xm(t)を遅延バッファ部３０２でバッファリングする。バッファ長は数秒程度として、数秒程度データが溜まる度に、データを塊で出力する。Xm(t)は通常複数の音源が混ざった信号としてモデル化される。
【００２４】
独立成分分析部３０３では、音源毎の統計的独立性に基づき、複数チャンネルの複数の音源が混合したデジタル音圧データを音源毎に分離する。数秒程度のデータの処理開始ポイントを数＋ｍｓ（Lshift）ずつずらしながら、数＋ｍｓ程度（Lframe）の信号に対して、短時間フーリエ変換を施すことにより、時間周波数領域信号Xm(f、τ)を得る。ここで、τは処理単位を表すインデックスとする。各マイク素子に短時間フーリエ変換を施すたびに、１加算される。ｆは周波数とする。音源分離は、時間周波数領域の信号Xm(f、τ)に対して、分離処理を施す。短時間フーリエ変換に先立って、直流成分カット、窓関数重畳などの処理を波形に施しても良い。窓関数としてはハミング窓やハニング窓、ブラックマン窓などが適用可能である。独立成分分析部による分離処理の具体的な処理フローは後述する。独立成分分析を適用した結果、周波数毎に分離に用いるフィルタWica(f)を得る。独立成分分析部は、周波数毎に適応したフィルタWica(f)を使って、y(f、τ)=Wica(f)X(f、τ)という式で分離信号y(f、τ)を得る。ここで、X(f、τ)は（式1）で定義されるベクトルであり、各マイクロホンの同一フレーム、同一周波数の信号を要素に持つベクトルである。
【００２５】
【数１】
2011199474.tif 000003
【００２６】
また、y(f、τ)は各音源のフレームτ、周波数ｆの分離信号を要素に持つベクトルとする。独立成分分析部の出力信号は、マイク数と同じ数だけの分離信号を要素に持つ。通常、これらのどれか一つがユーザーが必要とする所望音に相当し、それ以外は雑音に相当する。独立成分分析自身はどれが所望音か、またはどれが雑音かの情報を出力しない。本発明では、別の音源分離方式により所望音らしい信号を別途推定し、独立成分分析部の出力信号のうち、その信号と最も相関が高い信号を所望音として出力する。
【００２７】
以降の説明のために、ステアリングベクトルの定義を行う。音源方向θに存在する周波数fの音が各マイクロホンに到達するまでの位相の遅延量を要素に持つベクトルAf（θ)を（式２）で定義する。ここで、jは虚数単位を表すものとする。また、Mはマイクロホン数とする。本発明においては、Af(θ)のマイクロホン間で共通の遅延量は特に意味をもたないため、Af(θ)は必ずしも、音源位置からの遅延量として定義する必要はなく、基準のマイクロホンからの遅延量として定義しても良い。本発明の構成では１番目のマイクロホンを基準のマイクロホンとして遅延量Tm、f（θ）を（式３）で定義する。tm(θ)は音源方向θの音がm番目のマイクロホンまで届くまでの時間とする。
【００２８】
【数２】
2011199474.tif 000004
【００２９】
【数３】
2011199474.tif 000005
【００３０】
マイクロホンが直線上に並んでいると仮定し、音源がマイクロホン間隔に対して十分遠い距離に存在すると仮定すると、Tm、f(θ)は（式４）で近似することができる。ここで、dmはm番目のマイクロホンと1番目のマイクロホンの間の距離とする。cは音速として常温で340m/s程度となるため、このような値に設定する。マイクロホンアレイが直線配置以外の場合は、Tm、f(θ)はより複雑な形となるが、いずれにせよマイクロホンアレイの幾何学配置が既知であれば、単純な幾何学計算により求めることができる。
【００３１】
【数４】
2011199474.tif 000006
【００３２】
本発明においてはマイクロホンアレイの幾何学配置は予め不揮発性メモリに記憶されているとし、その情報を利用してステアリングベクトルを生成するものとする。
【００３３】
伝達モデル309は、例えば方位角360度を5度刻みに分解するなど物理空間を離散化し、離散化した各音源方向毎に前記ステアリングベクトルAf(θ)を保持する。
【００３４】
図７は、フィルタ適応部305の詳細なブロック構成を示した図である。フィルタ適応部701は、フィルタ適応部305と等しい。離散フーリエ変換部702は、時間領域のデジタルデータを周波数領域のデジタルデータに変換するためのブロックである。フィルタ適応部305では、伝達モデル309内の各音源方向毎のステアリングベクトルAf(θ)と、各入力信号X(f、τ)から、時間周波数毎の音源方向を（式５）で得る。ここで、*は、行列またはベクトルの共役転置を表す演算子とする。Ωallは、離散化した音源方向の集合とする。θ(f、τ)は、時間周波数毎の音源方向の推定値となる。
【００３５】
【数５】
2011199474.tif 000007
【００３６】
音源方向推定部703は、音源方向を算出するブロックであり、周波数毎に行う。音源方向推定部703では、次にθ(f、τ)がΩdesiredの中に含まれるかどうかを判定する。Ωdesiredは、Ωallの部分集合とし、予め定める所望音の音源方向とする。例えば方位角正面付近の音を分離して抽出したい場合は、Ωdesiredを-30度から+30度といったように指定する。含まれている場合は、目的音適応部704で、（式６）で所望方向のステアリングベクトルa(f)を更新する。含まれていない場合は、雑音適応部705で、（式７）で雑音の共分散行列R(f)を更新する。ここで、β及びαは過去の所望音及び雑音の影響をどの程度考慮するかを制御するためのパラメータとし、0から1までの値を設定する。例えば、0.99などの値を事前に設定しておく。
【００３７】
【数６】
2011199474.tif 000008
【００３８】
【数７】
2011199474.tif 000009
【００３９】
次に、フィルタ適応部706は、周波数毎に、適応した共分散行列R(f)とa(f)から（式８）で雑音消去用の多チャンネルフィルタw(f)を作成する。ここで、a^(f)は、a(f)から（式９）で求める。フィルタ適応部305は、周波数毎のフィルタw(f)を出力して処理を終了する。
【００４０】
【数８】
2011199474.tif 000010
【００４１】
【数９】
2011199474.tif 000011
【００４２】
フィルタリング部306は、時間周波数毎に、入力信号X(f、τ)から雑音信号のみを除去する。雑音信号のみの除去は、フィルタ適応部305が出力するフィルタw(f)を使って（式１０）で行う。そして、各時間周波数毎の雑音抑圧信号y(f、τ)を出力して処理を終了する。
【００４３】
【数１０】
2011199474.tif 000012
【００４４】
リファレンス信号生成部307は、フィルタリング部306が出力する雑音抑圧信号ymvbf(f、τ)からリファレンスのパワースペクトルを（式１１）で求める。
【００４５】
【数１１】
2011199474.tif 000013
【００４６】
ここで、Fsはリファレンスのパワースペクトルに含める周波数の最小値とする。例えば、電源ノイズなどの影響で低域成分に雑音が混入する場合においては、Fsを100Hz程度に設定するなどする。また、Feはリファレンスのパワースペクトルに含める周波数の最大値とする。人間の音声は8000Hz以下の周波数に大部分が存在し、無声摩擦音などの一部の音素を除いては10000Hz以上の高域成分にパワーを持たない。このことを考慮し、Feを8000Hz以下の周波数に設定することが望ましい。リファレンス信号生成部307は、時間毎のリファレンスパワースペクトルr(τ)を出力して処理を終了する。
【００４７】
相関分析部304では、独立成分分析部が出力する分離信号y(f、τ)のうち、リファレンスパワースペクトルr(τ)との相関が最も高い信号を所望音とみなす。相関分析部304はまず（式１２）で分離信号とリファレンスパワースペクトルとの相関Cor、i(f)を求める。
【００４８】
【数１２】
2011199474.tif 000014
【００４９】
ここで、Eτは、τについての期待値計算を行う演算子とする。Pi(f、τ)は、独立成分分析部が出力する分離信号y(f、τ)のi番目の要素のパワー|yi(f、τ)|^2とする。期待値計算は通常無限に長い時間の信号のサンプル平均で置き換えても良い。しかし、本発明は、各時間毎の信号が逐次的に送られてくることを想定しているため、Cor、i(f)の計算は、各時間毎に（式１３）で行い、時間毎の相関係数Cor、i(f、τ)を得る。さらにPRi(f、τ)は（式１４）で得る。μpi(f、τ)は（式１５）、μr(τ)は（式１６）でそれぞれ得る。γは、過去の信号の忘却度合いを制御するパラメータであり、0から1までの値に設定する。相関分析部304は、Cor、i(f、τ)を出力して処理を終了する。
【００５０】
【数１３】
2011199474.tif 000015
【００５１】
【数１４】
2011199474.tif 000016
【００５２】
【数１５】
2011199474.tif 000017
【００５３】
【数１６】
2011199474.tif 000018
【００５４】
分離音選択部308は、まず、（式１７）で最もリファレンス信号に近い独立成分分析部の出力信号のインデックスimax(f、τ)を選択する。さらに、（式１８）でフィルタリング部306が出力する音源分離音ymvbf(f、τ)とリファレンス信号とのパワースペクトルの相関係数Cor、mvbf(f、τ)を算出する。ここでPRmvbf(ｆ、τ)は、（式１９）で算出する。またμmvbf(f、τ)は（式２０）で算出する。
【００５５】
【数１７】
2011199474.tif 000019
【００５６】
【数１８】
2011199474.tif 000020
【００５７】
【数１９】
2011199474.tif 000021
【００５８】
【数２０】
2011199474.tif 000022
【００５９】
図９は、フィルタリング音を選択するか分離音を選択するかの処理フローの詳細を示した図である。「独立成分分析分離音抽出」901はimax(f、τ)及びCor、imax(r、τ)を選択する。「フィルタリング音抽出」902はymvbf(f、τ)を抽出する。「リファレンス信号との相関比較」903ではCor、mvbf(f、τ)を算出する。「フィルタリング音の方が相関が高いか？」９０４では、Cor、imax(r、τ)がCor、mvbf(f、τ)を上回っている場合、「独立成分分析分離音を選択」906に進み、imaxに相当する独立成分分析の分離信号yimax(f、τ)を該当する時間周波数の雑音抑圧信号とみなす。それ以外の場合、「フィルタリング音を選択」905に進み、ymvbf(f、τ)を該当する時間周波数の雑音抑圧信号とみなして出力する。
【００６０】
図１3は、フィルタリング音選択と独立成分分析音の選択のどちらを行うかの代替案を示した図である。「独立成分分析分離音抽出」1301はyimax(f、τ)を選択する。「フィルタリング音抽出」1302はymvbf(f、τ)を抽出する。「フィルタリング音の方がパワーが小さいか？」1304では、ymvbf(f、τ)のほうがyimax(f、τ)よりパワーが小さい場合、「フィルタリング音を選択」1305に進み、yimax(f、τ)を選択して、処理を終了する。それ以外の場合、「独立成分分析分離音を選択」1306に進み、ymvbf(f、τ)を選択して処理を終了する。
【００６１】
図６は独立成分分析から分離音選択までの処理フローを示した図である。図６は周波数毎に独立に行っても良いし、「初期化」602以降を周波数毎に行い、「独立成分分析」601を全周波数に対して一括で行うような構成をとっても良い。また「独立成分分析601」のみを例えば３秒程度の音声データに対して一度行い、それ以降の処理は毎フレーム行うような構成をとっても良い。「独立成分分析」601では、独立成分分析を施され、周波数毎にマイク数と等しい数の分離音を得る。「初期化」602では、分離音選択のために用いる変数max、imax、iをゼロクリアする。「判定」603では、iがlengthより大きいかどうかを判定する。lengthはマイク数と等しい数に設定する。つまり本判定は全ての分離音に対して調査をしたかどうかを判定していることに相当する。全ての分離音に対して調査し終わっていたら、処理を終了する。それ以外の場合は、「相関計算」604に移る。ここでは、  Cor、i(f、τ)を算出する。次にCor、i(f、τ)がmaxより大きいかどうかを「判定」605し、大きければ、「最大値更新」606に移り、max=Cor、i(f、τ)とし、imax=iとする。その後iに1を足して、「判定」603に戻る。それ以外の場合は、iに1を足して「判定」603に戻る。
【実施例２】
【００６２】
図４は、本発明の第二の実施例のソフトウェアブロック構成を示した図である。波形取り込み部401、遅延バッファ部402、相関分析部404、フィルタ適応部405、フィルタリング部406、リファレンス信号生成部407、分離音選択部408の処理はそれぞれ波形取り込み部301、遅延バッファ部302、相関分析部304、フィルタ適応部305、フィルタリング部306、リファレンス信号生成部307、分離音選択部308と等しい。また伝達モデル409も伝達モデル309と等しい構成とする。独立成分分析部403は、独立成分分析部303の処理に加えて、分離フィルタWica(f)から算出される独立成分分析の分離信号のステアリングベクトルに相当するWica(f)i-1を出力する。Wica(f)i-1は分離フィルタWica(f)の逆行列の第i列とする。伝達モデル置換部410は、（式２１）で各分離信号毎のWica、(f)i-1の音源方向θ^i(f)を求める。
【００６３】
【数２１】
2011199474.tif 000023
【００６４】
次にθ^i(f)のf方向へのヒストグラムを算出し、ヒストグラムのピークを与える音源方向をΘiとして求める。次に（式２２）でこの音源方向のステアリングベクトルを更新する。ηは過去のステアリングベクトルの忘却係数とする。
【００６５】
【数２２】
2011199474.tif 000024
【００６６】
このような構成をとることにより、回折などの影響でステアリングベクトルが異なる値を取るような場合であっても自動的にアジャストすることが可能となる。
【００６７】
図５は、本発明における独立成分分析部403の詳細な処理フローを示した図である。独立成分分析部403では短時間周波数領域信号に対して処理を行う。図５はある１つの周波数に対する処理であり、独立成分分析部では図５の処理を全周波数に対して施す。「収束判定」501では音源分離フィルタWの値が十分収束したかどうかを判定する。フィルタ更新回数が所定回数に達した場合収束したと判定しても良いし、後述する非線形共分散行列の非対角項のパワーが対角項のパワーに対して予め定める値以下になった場合に収束したと判定しても良い。収束したと判定されれば処理を終了し、音源分離フィルタWを出力する。
【００６８】
「初期化」502では処理開始位置をバッファリングが取り込んだ波形の先頭にセットする。また後述するRica(f)を０クリアする。「判定」503では処理開始位置がバッファリングが取り込んだ波形の終了位置以下かどうかを判定する。処理開始位置が波形の終了位置以下である場合、フレーム毎、周波数毎のX(f、τ)をフィルタリング処理して、音源分離音ｙica（ｆ、τ）を得る（フィルタリング504）。得た分離音は、適応中の分離フィルタにより分離した波形であるため、分離が不十分であると考えられる。「共分散更新」505では、Rica(f)を（式２３）で更新する。ここでφ（ｘ）は音源の確率分布の微分関数に相当する関数であり、（式２４）で定義する。
【００６９】
【数２３】
2011199474.tif 000025
【００７０】
【数２４】
2011199474.tif 000026
【００７１】
Rica(f)は非線形共分散行列と呼び、この非対角項が０に近づくほど、分離した各音源が独立になっていることを意味する。対角項は各音源の大きさに相当する。したがって、非対角項と対角項の比が重要になる。分離フィルタの収束判定ではこの比をチェックし、収束判定しても良い。「変数加算」507では波形の処理開始位置をフレームシフトLshift分加算する。波形処理開始地点がバッファリングで取り込んだ波形の終了地点に達している場合は、「フィルタ更新」506に処理を移す。「フィルタ更新」506では、（式２５）で分離フィルタを更新する。
【００７２】
【数２５】
2011199474.tif 000027
【００７３】
ηはフィルタ更新速度を制御するための変数であり、大きいほどフィルタ収束速度は上がるが、フィルタが発散する可能性が大きくなる。小さいほどフィルタ収束速度は遅いが、フィルタが発散する可能性は低くなる。
【実施例３】
【００７４】
図８は、本発明の第三の実施例のソフトウェアブロック構成を示した図である。波形取り込み部801、遅延バッファ部802、相関分析部804、フィルタ適応部805、フィルタリング部806、リファレンス信号生成部807、分離音選択部808の処理は、それぞれ波形取り込み部301、遅延バッファ部302、相関分析部304、フィルタ適応部305、フィルタリング部306、リファレンス信号生成部307、分離音選択部308と等しい。クラスタリング部803は時々刻々得られる入力信号X(f、τ)を（式２６）で変形したQ(f、τ)にK-meansクラスタリングを施し予め定めるR個のセントロイドを行要素に持つ行列C(f)を得る。
【００７５】
【数２６】
2011199474.tif 000028
【００７６】
r番目の音源を得るための分離フィルタWr(f)をWr(f)=C+(f)cと定める。C+(f)はC(f)のムーア・ペンローズ一般化逆行列とする。cはr番目の要素のみ1でその他の要素が全て0となるベクトルとする。r番目の分離音はyr(f、τ)= Wr(f)*X(f、τ)で得ることができる。クラスタリング部803は、yr(f、τ)を出力して終了する。
【実施例４】
【００７７】
図１０は、本発明の第三の実施例のソフトウェアブロック構成を示した図である。波形取り込み部1001、遅延バッファ部1002、独立成分分析部1003、相関分析部1004、リファレンス信号生成部1007、分離音選択部1008の処理は、それぞれ波形取り込み部301、遅延バッファ部302、 独立成分分析部303、相関分析部304、フィルタ適応部305、フィルタリング部306、リファレンス信号生成部307、分離音選択部308と等しい。フィルタ適応部1005では、フィルタリングモデル1009に予め保持する雑音方向j毎の共分散行列Rj(f、τ)と予め定める目的音ステアリングベクトルを使って雑音方向jに対応する分離フィルタwj(f、τ)を（式８）と同様に算出する。ここで、Rj(f、τ)は予め収録した雑音毎に求めるような構成をとる。パワー最小フィルタリング部1006では、wj(f、τ)を入力信号に対して作用させた後の出力信号のうち、最もパワーが最小となるものを時間周波数毎に選択し、それをymvbf(f、τ)とする。
【００７８】
図１２にパワー最小フィルタリング部の具体的な処理フローを示す。「初期化」1201では、処理に必要な変数i、imin、minを全てゼロクリアする。「判定」1202では、iがlengthより小さいかどうかを判定する。lengthは最小化フィルタリング対象のフィルタ数とする。lengthを上回っている場合処理を終了する。下回っている場合、「フィルタリング」1203に進む。「フィルタリング」1203は、i番目のフィルタでフィルタリング後の信号ymvbf、i(f、τ)を算出する。「フィルタ後のパワーがmin以下か？」1204では、minよりも| ymvbf、i(f、τ)|^2が小さいかどうかを判定する。小さい場合、「パワー置換」1205に進み、minを| ymvbf、i(f、τ)|^2に設定し、imin=iとし、i=i+1として、「初期化」1201に戻る。それ以外の場合、i=i+1として、「初期化」1201に戻る。
【実施例５】
【００７９】
図１１は本発明の第五の実施例を示した図である。波形取り込み部1101、遅延バッファ部1102、相関分析部1104、フィルタ適応部1105、パワー最小フィルタリング部1106、リファレンス信号生成部1107、分離音選択部1108の処理は、それぞれ波形取り込み部1001、遅延バッファ部1002、相関分析部1004、フィルタ適応部1005、パワー最小フィルタリング部1006、リファレンス信号生成部1007、分離音選択部1008と等しい。独立成分分析部1103は、独立成分分析部の各雑音抑圧フィルタの候補をフィルタモデル1109の中から選択する。つまりフィルタモデル1109に含まれるフィルタ候補の中から最も入力信号を独立に分解するフィルタを選択する。
【産業上の利用可能性】
【００８０】
以上、本発明の実施の形態を携帯電話装置で説明したが、本発明は、ビデオカメラやビデオカメラ機能を備えたデジタルカメラなどの、特定方向の音源の音のみを抽出して用いる機器に用いることができる。
【符号の説明】
【００８１】
101…マイクアレイ、102…ＡＤ変換装置、103…中央演算装置、104…揮発性メモリ、105…記憶媒体、
201…携帯電話、202…マイクアレイ、
301…波形取り込み部、302…遅延バッファ部、303…独立成分分析部、304…相関分析部、305…フィルタ適応部、306…フィルタリング部、307…リファレンス信号生成部、308…分離音選択部、309…伝達モデル、
401…波形取り込み部、402…遅延バッファ部、403…独立成分分析部、404…相関分析部、405…フィルタ適応部、406…フィルタリング部、407…リファレンス信号生成部、408…分離音選択部、409…伝達モデル、410…伝達モデル置換部、
701…フィルタ適応部、702…離散フーリエ変換部、703…音源方向推定部、704…目的音適応部、705…雑音適応部、706…フィルタ適応部、
801…波形取り込み部、802…遅延バッファ部、803…クラスタリング部、804…相関分析部、805…フィルタ適応部、806…フィルタリング部、807…リファレンス信号生成部、808…分離音選択部、809…伝達モデル、
1001…波形取り込み部、1002…遅延バッファ部、1003…独立成分分析部、1004…相関分析部、1005…フィルタ適応部、1006…フィルタリング部、1007…リファレンス信号生成部、1008…分離音選択部、1009…フィルタモデル、
1101…波形取り込み部、1102…遅延バッファ部、1103…独立成分分析部、1104…相関分析部、1105…フィルタ適応部、1106…フィルタリング部、1107…リファレンス信号生成部、1108…分離音選択部、1109…フィルタモデル。
【図１】
2011199474.tif 000029
【図２】
2011199474.tif 000030
【図３】
2011199474.tif 000031
【図４】
2011199474.tif 000032
【図５】
2011199474.tif 000033
【図６】
2011199474.tif 000034
【図７】
2011199474.tif 000035
【図８】
2011199474.tif 000036
【図９】
2011199474.tif 000037
【図１０】
2011199474.tif 000038
【図１１】
2011199474.tif 000039
【図１２】
2011199474.tif 000040
【図１３】
2011199474.tif 000041