(57)【要約】【課題】目的音区間であっても、適応することができ、出力音の歪みが少ない妨害音抑圧フィルタの実現【解決手段】音声のスパース性に基づき、入力信号の帯域成分毎に妨害音であるか目的音であるかを判定し、妨害音であると判定された帯域だけを抽出し、妨害音信号を生成する妨害音生成部を持つ。そして生成した妨害音信号を用いて空間相関逆行列を更新することを特徴とする適応処理部を持つ。【選択図】図２
2007047427.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つ以上のマイクロホン素子を保持するマイクロホンアレイと、
前記マイクロホンアレーが出力する信号をチャネル毎に複数の周波数帯域に分割した帯域分割信号を出力する帯域分割部と、
前記帯域分割部が出力する各帯域分割信号ごとに、音源方向を推定し、該音源方向から該帯域分割信号が妨害音であるか目的音であるかのラベルを出力するラベル生成部と、
前記ラベル生成部が出力するラベルから帯域分割された妨害音信号を出力する妨害音生成部と、前記妨害音生成部が出力する帯域分割された妨害音信号から、空間相関逆行列を計算する適応処理部と、
上記計算された空間相関逆行列を用いて妨害音抑圧フィルタを生成するフィルタ生成部と、
上記フィルタを上記マイクロホンアレーが出力する信号に適応して音源分離を行うフィルタリング部とを有することを特徴とする音声処理装置
【請求項２】
上記ラベル生成部が計算した上記音源方向の推定情報を使いて音源方向を推定する目的音方向推定部を更に有し、
上記フィルタ生成部は上記推定された音源方向の情報も用いることを特徴とする請求項１記載の音声処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば複数のマイクロホン素子で観測した音声や音楽や各種雑音が混合した信号から、目的とする音のみを復元する音源分離技術に属する。
【背景技術】
【０００２】
従来より、マイクロホンを複数使い、妨害音方向に死角を作ることで妨害音を抑圧し、目的音方向にビームを作ることで目的音だけを強調して抽出する音源分離技術として、最小分散ビームフォーマ法が知られている。（例えば、非特許文献１参照）。最小分散ビームフォーマ法では、空間相関逆行列と呼ばれるマイク間の相関行列を、入力信号から更新し、空間相関逆行列を使って、妨害音方向に死角を作り目的音方向にビームを作る線形フィルタを生成する。最小分散ビームフォーマでは、目的音が存在する音声区間で空間相関逆行列の更新を行うと、妨害音と共に、目的音をも誤って抑圧してしまうため、空間相関逆行列の更新は、目的音が存在しない区間だけで行わなければならなかった。そのため、予め何らかの方法で、目的音が存在しない音声区間を抽出する必要があった。しかし予め何らかの方法で、目的音が存在しない音声区間を抽出することは、困難であり、また目的音が存在しない区間だけで空間相関逆行列を更新すると、目的音が存在する区間に突発的に発生する妨害音を抑圧できない。
【０００３】
また適応フィルタを用いるのではなく、帯域別チャネル間パラメータ値差にもとづき、その帯域の上記帯域分割された各出力チャネル信号の何れがいずれの音源から入力された信号であるかを判定する音源信号判定過程を有し、発音していない音源からの検出信号を抑圧する妨害音抑圧技術がある。（例えば、特許文献１）
この妨害音抑圧技術は、音声のスパース性という音声の性質に基づく技術である。音声のスパース性とは、音声が40ms程度の短い時間に存在する周波数成分は限られており、異なる音源が短い時間に同じ周波数成分を保持する確率は低いという性質である。そのため、時間・周波数ごとに周波数成分をどれか一つの音源に割り振ることで、音源分離が可能となる。しかしこの妨害音抑圧技術では、音源同士が短い時間に同じ周波数成分を保持する場合、妨害音抑圧性能が劣化し、音声が歪みやすい。
【０００４】
【特許文献１】特開平１０−３１３４９７号公報
【０００５】
【非特許文献１】大賀寿郎, 山崎芳男, 金田豊, ”音響システムとディジタル処理,”  電子情報通信学会,1995.
【非特許文献２】戸上真人, 天野明雄, ”音源重複度判定に基づく音源定位を用いた音源分離手法,” 日本音響学会講演論文集Vol.1,pp.441-442,2005 年3 月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
最小分散ビームフォーマ法では、目的音が存在する区間で空間相関逆行列を更新できず、目的音が存在する区間に突発的に発生する妨害音を抑圧できない。
さらに、上記特許文献１記載の技術では音源同士が短い時間に同じ周波数成分を保持する場合、妨害音抑圧性能が劣化し、音声が歪みやすいという課題がある。
【課題を解決するための手段】
【０００７】
本願で開示する代表的な発明は以下のとおりである。
入力信号の帯域成分毎に妨害音であるか目的音であるかを判定し、妨害音であると判定された帯域を抽出し、妨害音信号を生成する妨害音生成部を持つ。そして生成した妨害音信号を用いて空間相関逆行列を更新することを特徴とする適応処理部を有し、生成された空間相関逆行列を用いて性セ氏した妨害音抑圧フィルタをマイクロホンアレー出力信号に適応して音源分離を行う音声処理装置。
【発明の効果】
【０００８】
本発明の構成によれば、目的音が存在する区間であっても、音声のスパース性に基づき妨害音であると判定された帯域だけで空間相関逆行列を更新することが可能となり、目的音が存在する区間を予め抽出することが必要となくなる。また本発明の構成では適応フィルタを使って出力信号を生成しており音声の歪みを防止することができる。
【発明を実施するための最良の形態】
【０００９】
本発明の実施の形態について図面を用いて説明する。図１は、本発明の音声処理装置の基本構成図である。マイクロホンアレイ１で複数チャンネルの音信号を取得する。取得した複数チャンネルの音信号は、メモリ2に送られ、CPU3にて各種信号処理を施される。CPU3は、目的音方向からの音の伝達モデルなどを必要に応じて記憶媒体４から取り出し、利用する。
【００１０】
図2は、本発明の実施の形態についてのブロック図である。マイクロホンアレイ１で複数チャンネルの音信号を取得する。マイクロホンアレイ１で取得した複数チャンネルの音信号をA/D変換部2でデジタルデータに変換し、メモリ2上に取り込む。取り込んだデジタルデータに変換した音信号を、X(t)と表す。音信号は、帯域分割部6に送れ、短時間フーリエ変換を施され、周波数帯域毎に分割される。帯域分割された信号はXt(f)と表すことができる。帯域分割された信号はラベル生成部7に送られる。ラベル生成部７では、まず、各帯域毎に
【００１１】
【数１】
2007047427.tif 000003
で、音源方向jt(f)を決定する。ここで,Λは方向の推定範囲である。またaj(f)は位置ベクトルと呼ばれるベクトルで、マイクロホンアレイの配置より決定する音の伝達特性である（例えば、非特許文献１参照）。決定した各帯域毎の音源方向が予め定める目的音方向の範囲内にあれば、その帯域を目的音成分であると判定する。そうでなければ、その帯域を妨害音成分であると判定する。音声信号を40ms程度の短い時間で眺めた場合、その短い時間の中で、複数の音源が同じ周波数成分を持つことは確率的に低いという、スパース性という性質が成り立つ。そのため、ラベル生成部７で行う周波数振り分け処理を行うことで、妨害音が優位である信号と、目的音が優位である信号を精度良く分離することが可能となる。背景で述べたように、音声のスパース性に基づき、周波数成分を振り分ける妨害音抑圧技術では、音声が歪んでしまうという問題がある。複数の音源が同じ周波数成分を持つことは確率的に低いとは言っても、複数の音源が同じ周波数成分が持つことはあり得る。そして複数の音源が同じ周波数成分を持つ場合、その周波数成分が妨害音か目的音の一方にしか割り振られず、目的音に割り振られなかった場合、目的音のその周波数成分は失われてしまい、歪みの原因となってしまう。
【００１２】
本願では周波数振り分け処理の結果を適応処理部及び目的方向推定部だけに用いている。そして、出力結果は、目的音方向の信号を全て通過させる線形フィルタを用いて生成している。そのため、スパース性が成立しない場合であっても、適応後のフィルタの死角形成性能が若干する程度の影響で済み、音声が歪んでしまうという状況を回避することが可能となる。
【００１３】
妨害音生成部8では、ラベル生成部7が妨害音成分であると判定した帯域成分を使い妨害音を出力する。妨害音生成部8が出力する妨害音は
【００１４】
【数２】
2007047427.tif 000004
と表される。適応処理部9では、妨害音生成部8が出力する妨害音を用いて空間相関逆行列を
【００１５】
【数３】
2007047427.tif 000005
で更新する。ここで、βは、忘却係数と呼ばれ、0〜1までの範囲で設定する。βが小さいほど、現在の妨害音の重みを大きくし、空間相関逆行列を更新する。空間相関逆行列の計算は、
【００１６】
【数４】
2007047427.tif 000006
の逆行列としても良い。
【００１７】
ここで妨害音として出力される信号を用いて空間相関逆行列を更新するために、妨害音方向の情報を多く含むように空間相関逆行列が作られる。
目的音方向推定部10では、ラベル生成部7が計算した各帯域毎の音源方向の情報を使い、目的音方向の範囲内で、修正遅延和アレイ法（例えば、非特許文献２）に基づき、音源方向を推定し、推定された音源方向を目的音方向とする。
【００１８】
本願では、ラベル生成部７で目的音成分であると判定する目的音方向の範囲外の音源を妨害音と判定し、死角を形成し抑圧する。逆に目的音方向の範囲内に存在する音源であれば、死角を形成しないため、目的音方向の範囲内であれば、抑圧せずに取り出すことが可能となる。目的音方向を１方向に限定する場合、実際の目的音方向と設定する目的音方向とが、少しでもずれると、目的音成分を抑圧してしまう可能性がある。この点、目的音方向に幅を持たせることで、実際の目的音方向と設定する目的音方向とがずれる場合で、あっても目的音成分を抑圧することが無いという効果がある。
【００１９】
フィルタ生成部11では、適応処理部9で更新した空間相関逆行列と目的音方向推定部10で推定した目的音方向を使い、
【００２０】
【数５】
2007047427.tif 000007
の妨害音抑圧フィルタを生成する。asub(f)は目的音方向の伝達特性である。生成されたフィルタは、目的音方向にビームを当て、空間相関逆行列から計算される妨害音方向に死角を向け、抑圧することで、目的音だけを抽出するための線形フィルタである。この線形フィルタは、入力信号そのものに適用する。
【００２１】
従来の最小分散ビームフォーマ法の適応法は、なるべく音の大きさが大きい音源を抑圧するように、適応するため、入力信号中に目的音が優位な周波数成分が含まれていて、かつ目的音の方向が想定する方向とずれた場合などに、目的音を抑圧するように適応しまう。
【００２２】
本願では、入力信号中に目的音が含まれていても、ラベル生成部７及び妨害音生成部８が入力信号中から、妨害音が優勢な信号（目的音がほとんど含まれていない）を抽出し、その抽出した妨害音が優勢な信号で適応した空間相関行列を使うため、目的音方向を抑圧せず、妨害音のみを抑圧するフィルタを生成することが可能となる。
【００２３】
フィルタリング部12ではフィルタ生成部11が出力する線形フィルタを使い、帯域分割部6で得られた帯域分割信号を使い、
【００２４】
【数６】
2007047427.tif 000008
でフィルタリング後の信号を生成し出力する。波形生成部13ではフィルタリング部12が出力したフィルタリング後の信号を逆短時間フーリエ変換し、時間領域の信号を生成し、出力する。
上記実施例は装置構成を説明したが、本願はプログラムとしてコンピュータに読み込むことで実行されるようにしても良い。
【図面の簡単な説明】
【００２５】
【図１】本発明の音声処理装置の基本構成図。
【図２】本発明の実施の形態についてのブロック図。
【符号の説明】
【００２６】
１・・・マイクロホンアレイ、２・・・メモリ、３・・・ＣＰＵ、４・・・記憶媒体、５・・・Ａ／Ｄ変換部、６・・・帯域分割部、７・・・ラベル生成部、８・・・妨害音生成部、９・・・適応処理部、１０・・・目的音方向推定部、１１・・・フィルタ生成部、１２・・・フィルタリング部、１３・・・波形生成部。
【図１】
2007047427.tif 000009
【図２】
2007047427.tif 000010