(57)【特許請求の範囲】
【請求項１】
Ｍ（Ｍ≧２）個の音源信号が相互に混在してディジタル信号の形式でＮ（Ｎ≧Ｍ≧２）個のチャンネル信号として入力されたとの仮定のもとで、前記Ｎ個のチャンネル信号に基づき前記音源信号として推定されたＭ個の推定信号を２信号間で演算してチャンネル信号から混在信号を分離するための分離係数ベクトルを逐次修正しながら求め、その分離係数ベクトルと前記混在信号としての前記推定信号ベクトルとを内積演算して得られた結果を前記チャンネル信号から減じて、前記音源信号を推定する音源信号推定装置において、該装置は、前記混在信号としての推定信号と前記音源信号として推定された推定信号とが入力され、前記分離係数ベクトルを逐次修正するためのベクトルを線形演算により生成して出力する修正ベクトル生成手段と、
該修正ベクトル生成手段の出力ベクトルを前記分離係数ベクトルに加算して次の時点における分離係数ベクトルとして出力することにより前記分離係数ベクトルの逐次修正を行う逐次修正手段と、
該逐次修正手段によって逐次修正された分離係数ベクトルと前記混在信号としての推定信号ベクトルとを内積演算して得られた結果を前記チャンネル信号から減じて、前記音源信号として推定された推定信号を出力する減算手段と
を含む音源信号推定手段を少なくとも１組具えるとともに、
前記修正ベクトル生成手段は、前記混在信号としての推定信号ベクトルのノルムの自乗で正規化演算して、前記音源信号として推定された推定信号の大きさを有するとともに前記混在信号としての推定信号ベクトルの方向を有するベクトルを修正ベクトルとして生成し、該修正ベクトルを所定倍して出力する修正ベクトル生成手段である
ことを特徴とする音源信号推定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の音源信号が相互に混在して複数のチャンネルを介して入力されたときに、その複数の音源信号を音源毎に推定する技術に関する。
【０００２】
【従来の技術】
複数の音源信号が相互に混在して複数のチャンネルを介して入力されたときに、その音源信号を音源毎に推定することは一般にはできない。その理由は、音源信号が未知である場合、いったん混合されて入力した信号であるチャンネル信号のみから混合過程を一意に決定することが不可能であるからである。そこで、音源信号が互いに統計的に独立であると仮定したうえで音源信号の混合過程をモデル化し、音源信号の推定、分離を行うことが試みられている。従来のこの種推定、分離手法として、文献 C.Jutten et al.“Blind separation of sources, Part １：An adaptive algorithm based on neuromimetic architecture, ”Signal Process. 24, 1-10 (1991) に記載されたＩＣＡ（Independent Component Analysis) の手法がある。
【０００３】
ＩＣＡの手法は、複数の音源信号の混合過程をモデル化し、かつ原音源信号が統計的に独立であることを利用する音源信号の推定、分離手法である。その複数の音源の混合、分離過程の原理を音源信号、チャンネル信号および推定信号がそれぞれ２つある場合を例に図４に示す。入力信号としての２つのチャンネル信号（第１チャンネル信号、第２チャンネル信号）はそれぞれ、ある時刻における複数の連続するサンプル値の集合としてのベクトルで与えられる。図４においては、連続するサンプル値の数はｍ（ｍ＞１）である。そのｍ個のサンプル値からなる２つのチャンネル信号ベクトル
【外１】
0003927701.tif 000002
が音源分離過程の入力端に入力されたとき、それを音源分離処理して同じくｍ個のサンプル値からなる混合過程モデルにおける２つの音源信号ベクトル
【外２】
0003927701.tif 000003
を２つの推定信号ベクトル
【外３】
0003927701.tif 000004
として推定している。図４の場合、いずれの信号（チャンネル信号、推定信号）もその数は２であるが、チャンネル信号、推定信号の数をそれぞれＮ，Ｍ（Ｎ＞２，Ｎ≧Ｍ＞２）に拡張しても一般性は失われない。ただし、音源数がチャンネル数より多い場合であってもチャンネル数を超える数の音源推定をすることはできない。
【０００４】
図４に示す混合過程モデルは、それぞれｍ個のサンプル値からなる次の２つの音源信号ベクトル
【数１】
0003927701.tif 000005
がそれぞれ個別の混合係数ベクトル
【外４】
0003927701.tif 000006
と内積演算されて、他方の音源信号に加算される混合過程モデルを示している。その混合された２つの信号がチャンネル信号ベクトル
【数２】
0003927701.tif 000007
として図４に示す音源分離過程に入力される。ここで、同図に示す混合係数ベクトル
【外５】
0003927701.tif 000008
はｋ番目の音源信号がｎ番目の音源信号に混入される際の混合係数ベクトルを示している。
【０００５】
すなわち、このＩＣＡの手法は、図４に示す混合過程モデルに基づいてｎ番目の入力チャンネル信号が次式で表現できることを前提に、音源信号ベクトルの推定、分離を行う手法である。
【数３】
0003927701.tif 000009
ここで、
【外６】
0003927701.tif 000010
の内積、すなわち
【数４】
0003927701.tif 000011
を表わしている。（１）式に基づき他の音源信号が混在したチャンネル信号から所定の音源信号を推定信号ベクトル
【外７】
0003927701.tif 000012
として分離するには、以下に説明する分離係数ベクトル
【外８】
0003927701.tif 000013
を定義し、他の音源信号に相当するこの推定信号ベクトルをそれぞれの分離係数ベクトルで内積演算した結果を、音源信号を分離しようとしているチャンネル信号から減算するようにすればよい。
【０００６】
いま、ｎ番目の入力チャンネル信号からｋ番目の入力チャンネルに対応した音源信号を除去してｎ番目の入力チャンネルに対応した音源信号を推定する場合の分離係数ベクトルを〔外８〕とすれば、ｎ番目の推定信号
【外９】
0003927701.tif 000014
は
【数５】
0003927701.tif 000015
で表されるから、この（２）式に（１）式を代入し、推定信号が音源信号にかなり近いとの仮定のもとに
【外１０】
0003927701.tif 000016
として、さらに式を整理すると
【数６】
0003927701.tif 000017
となる。推定信号と音源信号とが完全に一致する場合には、混合係数ベクトル〔外５〕と分離係数ベクトル〔外８〕は理論上一致する筈である。このため、
【外１１】
0003927701.tif 000018
であれば完全に音源信号が推定できたことになるが、実際には、混合係数ベクトル〔外５〕は混合過程モデルで定義した混合係数ベクトルであり、その値は未知なので次のような期待値
【外１２】
0003927701.tif 000019
を分離の指標として考える。
【０００７】
つまり、各音源信号間が無相関と仮定すればいわゆるクロス項が０となり
【数７】
0003927701.tif 000020
で表わされる。ここで、
【外１３】
0003927701.tif 000021
はベクトルのノルムであり
【数８】
0003927701.tif 000022
である。この（４）式より
【外１４】
0003927701.tif 000023
がゼロベクトルのとき、すなわち、
【外１５】
0003927701.tif 000024
のとき、期待値〔外１２〕が最小になる。そこで、〔外１２〕を分離の指標と見なし、これを最小化する分離係数ベクトル〔外８〕を１つ前の時刻における〔外８〕を用いて逐次修正しながら推定していく。
【０００８】
ここで、ｋ番目の入力チャンネルに対応した音源信号はｋ番目以外の入力チャンネルに対応した音源信号にとっては雑音である。従って、この雑音としてのｋ番目の入力チャンネルに対応した音源信号にのみ注目し、ｋ番目以外には音源信号がないと仮定する。例えば、図４に示した例において、ｋ番目の入力チャンネルに対応した音源信号以外の音源信号はないと仮定すれば、図４は、図５のように書き替えることができる。
図５において、ある時刻ｊにおける分離係数ベクトル〔外８〕を
【外１６】
0003927701.tif 000025
と表記した。混合係数ベクトル〔外５〕も同様に
【外１７】
0003927701.tif 000026
と表記した。同様に、ｋ番目の音源信号ベクトル
【外１８】
0003927701.tif 000027
、ｎ番目のチャンネル信号ベクトル
【外１９】
0003927701.tif 000028
、ｋ番目の推定信号ベクトル
【外２０】
0003927701.tif 000029
についても時刻ｊにおけるものであることを明確にするために、それぞれ
【外２１】
0003927701.tif 000030
と表記した。
【０００９】
いま、図５において分離係数ベクトル〔外１６〕が混合係数ベクトル〔外１７〕に等しくなるように〔外１６〕を修正するには、同図に示す残差
【外２２】
0003927701.tif 000031
がなるべく小さくなるようにすればよい。ｋ番目の音源信号ベクトル
【外２３】
0003927701.tif 000032
を雑音として除去するために分離係数ベクトル〔外１６〕を逐次修正して残差〔外２２〕を最小化する過程は次のように記述することができる。
１．初期設定として分離係数ベクトル
【外２４】
0003927701.tif 000033
は任意の初期値とする。ただし、一般的にはゼロベクトルとすることが多い。
２．図５では、ｎ番目の音源信号ベクトルはゼロベクトルの場合を仮定しているので
【外２５】
0003927701.tif 000034
となり、
【数９】
0003927701.tif 000035
であるから残差ｅj は
【数１０】
0003927701.tif 000036
として求まる。次に修正ベクトル
【外２６】
0003927701.tif 000037
を
【数１１】
0003927701.tif 000038
とおいて、これ（〔外２６〕）を
【数１２】
0003927701.tif 000039
のようにμ倍したうえで、その時刻の分離係数ベクトル〔外１６〕に加算することで逐次修正を行って、次の時刻における分離係数ベクトル
【外２７】
0003927701.tif 000040
を生成する。
【００１０】
図５に示す
【外２８】
0003927701.tif 000041
は時刻ｊと時刻（ｊ＋１）との差の時間に相当する遅延回路を意味し、図５全体としてはこの逐次修正過程を実現する回路構成を示している。図中、μは収束係数であらかじめ定められた値（０＜μ≦１）である。そして逐次修正された分離係数ベクトル〔外２７〕を用いて、上述の（２）式により次の時刻（ｊ＋１）における音源信号の推定を行う。現実には上記仮定と異なり、ｋ番目以外の音源信号が存在し、しかもそれはｋ番目のチャンネル信号にも混在しているので、上記のような逐次処理によっては完全な音源信号の推定はできないが、図５中の残差〔外２２〕に相当する第ｎ推定信号を最も小さくする場合の修正ベクトル〔外２６〕が〔外１６〕を〔外１７〕に最も近づける〔外２６〕になることから、従来よりこのような逐次修正による考え方を用いて音源信号の推定を行っている。
【００１１】
【発明が解決しようとする課題】
上述したように、従来のＩＣＡの手法においては、ある時刻ｊにおける分離係数ベクトルの修正ベクトル〔外２６〕の修正方向は（７）式によって時刻ｊにおける推定信号ベクトル
【外２９】
0003927701.tif 000042
に基づいて決められる。しかし、修正ベクトル〔外２６〕の大きさは推定信号ベクトル〔外２９〕の大きさにも依存するため、分離係数ベクトル〔外１６〕を最適な値に向けて逐次修正していく際に、推定信号ベクトル〔外２９〕のパワー変動によって修正ベクトル〔外２６〕の大きさが大きく変動し、結果的に逐次修正が不安定になってしまう。従来、それを避けるために収束係数μを必要以上に小さな値としていたことから逐次修正の収束が遅くなるという問題があった。さらに、収束速度が入力信号の大きさに依存するため、収束係数μを必要以上に小さくしても動作が不安定となる現象が残るという問題もあった。
【００１２】
本発明の目的は、複数（例えば、Ｍ個）の音源信号が相互に混在してディジタル信号の形式で複数（例えば、Ｎ個）のチャンネル信号として入力されたとの仮定のもとで、前記チャンネル信号に基づき前記音源信号として推定されたＭ個の推定信号を２信号間で演算してチャンネル信号から混在信号を分離するための分離係数ベクトルを逐次修正しながら求め、その分離係数ベクトルと前記混在信号としての前記推定信号ベクトルとを内積演算して得られた結果を前記チャンネル信号から減じて、前記音源信号を推定する音源信号推定装置において、従来のように、逐次修正が不安定になったり、逐次修正の収束が遅くなることのない音源信号推定装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明においては、時刻ｊにおける推定信号ベクトルを、時刻ｊにおける分離係数ベクトルの修正ベクトルの修正方向の決定にのみ用いるように、分離係数ベクトルの修正ベクトル〔外２６〕を推定信号ベクトル〔外２９〕のノルムの自乗で正規化する正規化処理手段を設けたことを特徴としている。
【００１４】
すなわち、本発明による音源信号推定装置は、Ｍ（Ｍ≧２）個の音源信号が相互に混在してディジタル信号の形式でＮ（Ｎ≧Ｍ≧２）個のチャンネル信号として入力されたとの仮定のもとで、前記Ｎ個のチャンネル信号に基づき前記音源信号として推定されたＭ個の推定信号を２信号間で演算してチャンネル信号から混在信号を分離するための分離係数ベクトルを逐次修正しながら求め、その分離係数ベクトルと前記混在信号としての前記推定信号ベクトルとを内積演算して得られた結果を前記チャンネル信号から減じて、前記音源信号を推定する音源信号推定装置において、該装置は、前記混在信号としての推定信号と前記音源信号として推定された推定信号とが入力され、前記分離係数ベクトルを逐次修正するためのベクトルを線形演算により生成して出力する修正ベクトル生成手段と、該修正ベクトル生成手段の出力ベクトルを前記分離係数ベクトルに加算して次の時点における分離係数ベクトルとして出力することにより前記分離係数ベクトルの逐次修正を行う逐次修正手段と、該逐次修正手段によって逐次修正された分離係数ベクトルと前記混在信号としての推定信号ベクトルとを内積演算して得られた結果を前記チャンネル信号から減じて、前記音源信号として推定された推定信号を出力する減算手段とを含む音源信号推定手段を少なくとも１組具えるとともに、前記修正ベクトル生成手段は、前記混在信号としての推定信号ベクトルのノルムの自乗で正規化演算して、前記音源信号として推定された推定信号の大きさを有するとともに前記混在信号としての推定信号ベクトルの方向を有するベクトルを修正ベクトルとして生成し、該修正ベクトルを所定倍して出力する修正ベクトル生成手段であることを特徴とするものである。
【００１５】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
上述したように、本発明は、上記ＩＣＡの手法において、分離係数ベクトル〔外１６〕の修正ベクトル〔外２６〕を推定信号ベクトル〔外２９〕で正規化するようにしたものであり、そのための正規化回路を含んでいる本発明装置の一実施形態の回路構成を図１に示す。
ここに、図示の正規化回路における正規化の処理は次式
【数１３】
0003927701.tif 000043
で表わされる。
【００１６】
また、図１においては、２つの入力チャンネルおよび２つの音源信号が存在する場合を想定していて、２つの音源信号に対する各残差として他の推定信号そのものが入力されている。また、図１では、雑音としての推定信号ベクトル〔外２９〕をそのノルムの自乗で正規化して残差ｅj との乗算を行い分離係数ベクトル〔外１６〕の修正ベクトル〔外２６〕を算出する回路構成例を示しているが、図１の正規化回路に代わり、各推定信号ベクトルと残差とを乗算して求めた、従来技術における（７）式の修正ベクトルに
【外３０】
0003927701.tif 000044
を乗算する乗算回路を収束係数乗算器の直前に配置することにより修正ベクトルの正規化の処理を実現してもよく、また収束係数乗算後に正規化の処理を施してもよい。さらに、正規化の処理は、上記正規化の処理を行うハードウエアと同様の動作をソフトウェアで実現することも可能である。
【００１７】
図１に示す実施形態の動作を説明する。
まず、２つの入力チャンネル信号（第１チャンネル信号ベクトル
【外３１】
0003927701.tif 000045
、第２チャンネル信号ベクトル
【外３２】
0003927701.tif 000046
）は、ある時刻ｊにおけるｍ個の連続するサンプル値の集合として装置に並列に入力される。いま、第１チャンネル信号に注目すれば、第１チャンネル信号から、混在信号としての推定信号と位置付けられる第２推定信号ベクトルと以下に説明するようにして求めた分離係数ベクトル
【外３３】
0003927701.tif 000047
との間で内積演算した結果が減算器（図１中、記号
【外３４】
0003927701.tif 000048
で示す）で減じられて音源信号としての第１推定信号ベクトル
【外３５】
0003927701.tif 000049
として出力される。図１中、記号
【外３６】
0003927701.tif 000050
は内積演算回路を示している。
【００１８】
上記において、内積演算すべき一方のベクトルとしての分離係数ベクトル〔外３３〕は、次のように逐次修正して求める。
すなわち、雑音としての第２推定信号をベクトル表現したときの方向成分のみを抽出するために正規化回路で第２推定信号ベクトル
【外３７】
0003927701.tif 000051
をそのノルムの自乗で正規化し、その結果と第１推定信号とを乗算器（図１中、記号
【外３８】
0003927701.tif 000052
で示す）で乗算して修正ベクトル
【外３９】
0003927701.tif 000053
を求め、さらに収束係数μ（０＜μ≦１）を乗算したうえで時刻ｊにおける分離係数ベクトル〔外３３〕（図１中、逐次修正手段を構成し、記号〔外２８〕で示される時刻ｊと時刻（ｊ＋１）との差の時間に相当する遅延回路の出力）と加算して、図１中、記号
【外４０】
0003927701.tif 000054
で示される加算器の出力を時刻（ｊ＋１）における分離係数ベクトルとしている。
【００１９】
本発明は、上述したC. Jutten 他の文献に見られる手法において、最適な逐次修正を行うにはどうしたらよいかを理論的に検討した結果生まれたものであるため、次に、その理論的根拠を簡単に説明する。
図２は、分離係数ベクトル〔外１６〕の修正方向と修正量をμ＝１（μは収束係数）として幾何学的に示し、とくに、図５の場合におけるある時刻ｊの音源ベクトル
【外４１】
0003927701.tif 000055
と、それを除外するために用いる分離係数ベクトル〔外１６〕の集合と、〔外１６〕を修正ベクトル〔外２６〕により修正して得られる次の時刻ｊ＋１における分離係数ベクトル
【外４２】
0003927701.tif 000056
の集合を示している。
【００２０】
図２において、ある時刻ｊにおける音源ベクトル〔外４１〕を除去するために用いた分離係数ベクトル〔外１６〕がベクトル空間上で図示の位置に存在したとすると、次の時刻（ｊ＋１）において用いる分離係数ベクトル〔外４２〕は分離係数ベクトル〔外１６〕を修正ベクトル〔外２６〕により修正したものとなる。ここで、修正ベクトル〔外２６〕は時刻ｊにおける推定信号ベクトル〔外２９〕に基づきその方向が決まるが、
【外４３】
0003927701.tif 000057
を仮定しているので、修正ベクトル〔外２６〕の方向は〔外４１〕の方向と一致するものと考えてよい。
【００２１】
従って、いま、混合過程モデルにおける混合係数ベクトル〔外１７〕がベクトル空間上で図２中の図示の位置にあるとすれば、同図において、
【外４４】
0003927701.tif 000058
ベクトル（混合係数ベクトル−分離係数ベクトル）と修正ベクトル〔外２６〕ベクトルとを含む面は図３に示され、理論的に最適な修正ベクトル〔外２６〕は、〔外４４〕ベクトルを〔外４１〕ベクトル上に射影したものとなる。ここで面πj を、図５の第ｋ音源信号ベクトル
【外４５】
0003927701.tif 000059
に対し（５）式で求めたｚj が第ｎチャンネル信号ベクトルｙn,j に等しくなるような分離係数ベクトル〔外１６〕の集合とすると、面πj は、次式のようにｍ次元ユークリッド空間内の平面をなす。
【数１４】
0003927701.tif 000060
【００２２】
また、面πj+1 は面πj 上の分離係数ベクトル〔外１６〕を修正ベクトル〔外２６〕により修正して得られた時刻（ｊ＋１）における分離係数ベクトル〔外４２〕の集合であるから、理論的には、逐次修正された分離係数ベクトル〔外４２〕のベクトル空間上の位置は、ベクトル空間上に占める分離係数ベクトル〔外１６〕の位置より面πj+1 に下ろした垂線の足となる。すなわち、図３より、最適な修正ベクトル〔外２６〕は
【数１５】
0003927701.tif 000061
と求まる。
ここで、残差ｅj は（６）式を変形すると
【数１６】
0003927701.tif 000062
となるから、これを用いて（１０）式を変形すると次式を得る。
【数１７】
0003927701.tif 000063
（１１）式は、まさしく従来手法における修正ベクトル〔外２６〕を表す（７）式を推定信号ベクトル〔外２９〕のノルムの自乗で正規化したものに他ならない。
【００２３】
すなわち、図３から明らかなように、（１１）式の修正ベクトル〔外２６〕は、分離係数ベクトル〔外１６〕を推定信号ベクトル〔外２９〕のベクトル方向に修正する修正量として最適な修正量である。従って、分離係数ベクトル〔外１６〕を推定信号ベクトル〔外２９〕のベクトル方向に修正する場合、（１１）式の修正ベクトル〔外２６〕は、修正後の分離係数ベクトル〔外４２〕と目標とする混合係数ベクトル〔外１７〕との差が最小となる修正量であるため、逐次修正したときに推定信号ベクトル〔外２９〕の大きさによらずに単調に収束することが保証される。
【００２４】
なお、本実施形態では、チャンネル信号、推定信号の数がそれぞれ２の場合を例に説明したが、分離係数ベクトルは２信号間の演算により求められるため、チャンネル信号、推定信号の数が２を超える場合であっても本発明を同様に適用できることは言うまでもない。
【００２５】
【発明の効果】
本発明によれば、ある音声信号にそれ以外の複数の楽音や音声信号または雑音が混入し、それらが相互に混在している信号からそれぞれの信号を推定、分離するに際し、それぞれの信号パワー変動による推定、分離への影響を軽減することができ、さらに、収束係数を大きくすることができることから安定かつ高速の信号分離が可能となる。
【図面の簡単な説明】
【図１】本発明による音源信号推定装置の一実施形態を示している。
【図２】分離係数ベクトル〔外１６〕を逐次修正して求めるにあたり、分離係数ベクトルの修正方向と修正量を幾何学的に示している。
【図３】図２における〔外４４〕ベクトル（混合係数ベクトル−分離係数ベクトル）と修正ベクトル〔外２６〕ベクトルとを含む面を示している。
【図４】ＩＣＡの手法によって混合している音源信号を推定、分離するにあたって、その複数の音源信号の混合、分離過程の原理を示している。
【図５】ｋ番目の入力チャンネルに対応する音源信号以外の音源信号はないと仮定して、図１を書き替えたものである。
【図１】
0003927701.tif 000064
【図２】
0003927701.tif 000065
【図３】
0003927701.tif 000066
【図４】
0003927701.tif 000067
【図５】
0003927701.tif 000068