1(57)【特許請求の範囲】【請求項１】 第１の信号成分が支配的に含まれ、第２の信号成分が副次的に含まれている入力信号から各信号成分を分離する信号分離装置であって、前記入力信号の周波数分析を行なう周波数分析手段、
前記周波数分析手段によって周波数分析された入力信号に含まれる信号のうち、前記支配的な第１の信号成分の基本周波数を求める基本周波数抽出手段、
前記基本周波数抽出手段によって抽出された基本周波数の数倍の長さを持つバートレット窓とスペクトルとの畳 10み込み演算を行なう畳み込み演算手段、
前記周波数分析された入力信号の前記副次的な信号のスペクトルエンベロープを決定する振幅決定手段、および前記振幅決定手段によって求められたスペクトルエンベロープにより信号を再合成する合成手段を備えた、信号2分離装置。
【請求項２】 第１の信号成分が支配的に含まれ、第２の信号成分が副次的に含まれている入力信号から各信号成分を分離する信号分離装置であって、前記入力信号の周波数分析を行なう周波数分析手段、
前記周波数分析手段によって周波数分析された入力信号に含まれる信号のうち、支配的な第１の信号成分の基本周波数を求める基本周波数抽出手段、
前記基本周波数抽出手段によって抽出された基本周波数の数倍の長さを持つバートレット窓とスペクトルとの畳み込み演算を行なう畳み込み演算手段、
前記畳み込み演算手段によって畳み込み演算された結果をｎ回（ｎは１以上の整数）差分して前記副次的な信号のスペクトルエンベロープを決定する振幅決定手段、および前記振幅決定手段によって決定されたスペクトルエ

(2)3ンベロープにより信号を再合成する合成手段を備えた、信号分離装置。
【請求項３】 さらに、前記合成手段によって再合成された信号を音響信号に変換して出力する出力手段を備えた、請求項１または２の信号分離装置。
【請求項４】 前記畳み込み演算手段は、
前記基本周波数の数倍の長さを持つ窓関数とスペクトルの実部の畳み込みを行なう第１の畳み込み演算手段と、前記基本周波数の数倍の長さを持つ窓関数とスペクトルの虚部の畳み込みを行なう第２の畳み込み演算手段とを含み、
前記振幅決定手段は、前記第１の畳み込み演算手段によって畳み込みされたスペクトルのピークを滑らかに繋いだエンベロープとスペクトルのディップを滑らかに繋いだエンベロープとの差を各周波数に基づいて求める第１の振幅決定手段と、前記第２の畳み込み演算手段によって畳み込みされたスペクトルのピークを滑らかに繋いだエンベロープとスペクトルのディップとを滑らかに繋いだエンベロープの差を各周波数について求める第２の振幅決定手段とを含む、請求項１の信号分離装置。
【発明の詳細な説明】【０００１】【発明の属する技術分野】この発明は信号分離装置に関し、特に、音声などの音響信号が複数混在するとき、その中の１つの信号の基本周波数を持つ信号の基本周波数を用いてその信号のスペクトルを平坦化することにより、競合している他方の信号のスペクトルを抽出することにより信号を分離するような信号分離装置に関する。
【０００２】【従来の技術】異なるスペクトル特性を持つ２つの信号が混合した信号のうちで、１つの基本周波数が既知、もしくは抽出可能であるとき、２つの信号を分離する手段
として、従来ではたとえばEnhancement of Speech by A
daptive Filtering, R.H. franzier他 Proc. IEEE. In
t. Conf. on Acoust. Speech and signal processing A
pr. 12‑14 pp. 251‑253（1976）に記載されているような櫛形フィルタが広く用いられてきた。
【０００３】図１３は、従来の櫛形フィルタを用いた信号分離装置の概略ブロック図である。図１３において、入力部１から入力信号が入力されて基本周波数抽出部２に与えられ、入力された信号に混在している信号のうちの１つの信号の基本周波数が抽出される。この抽出された基本周波数は櫛形フィルタ設計部３に与えられ、抽出された基本周波数の整数倍にあたる周波数帯域のみが通過帯域となるような櫛形フィルタが作成される。そして、設計されたフィルタリング部４によってフィルタリングが施され、出力部５から出力される。
【０００４】【発明が解決しようとする課題】しかしながら、実際の1020304050

特許３４７２０４６4
音環境では、調波構造を持ちエネルギーの大きい有声音が目的信号をマスキングすることが多いので、目的信号抽出のためには、アンチドミナント信号を求める機会が多い。しかし、上述の従来の構造では、このような場合でも、基本周波数などといったアンチドミナント信号の性質を直接得る必要があり、これは実際には難しい。
【０００５】それゆえに、この発明の主たる目的は、抽出しやすいドミナント信号の基本周波数を用いることにより、アンチドミナント信号を抽出できるような信号分離装置を提供することである。
【０００６】【課題を解決するための手段】請求項１に係る発明は、第１の信号成分が支配的に含まれ、第２の信号成分が副次的に含まれている入力信号から各信号成分を分離する信号分離装置であって、入力信号の周波数分析を行なう周波数分析手段と、周波数分析された入力信号に含まれる信号のうち支配的な第１の信号成分の基本周波数を求める基本周波数抽出手段と、抽出された基本周波数の数倍の長さを持つバートレット窓とスペクトルとの畳み込み演算を行なう畳み込み演算手段と、周波数分析された入力信号の副次的な信号のスペクトルエンベロープを算出する振幅決定手段と、求められたスペクトルエンベロープにより信号を再合成する合成手段とを備えて構成される。
【０００７】請求項２に係る発明は、第１の信号成分が支配的に含まれ、第２の信号成分が副次的に含まれている入力信号から各信号成分を分離する信号分離装置であって、入力信号の周波数分析を行なう周波数分析手段と、周波数分析された入力信号に含まれる信号のうち支配的な第１の信号成分の基本周波数を求める基本周波数抽出手段と、抽出された基本周波数の数倍の長さを持つバートレット窓とスペクトルとの畳み込み演算を行なう畳み込み演算手段と、畳み込み演算された結果を数回差分して副次的な信号のスペクトルエンベロープを決定する振幅決定手段と、決定されたスペクトルエンベロープより信号を再合成する合成手段とを備えて構成される。
【０００８】請求項３に係る発明では、さらに再合成された信号を音響信号に変換して出力する出力手段を含む。
【０００９】請求項４に係る発明では、請求項１の畳み込み演算手段は、基本周波数の数倍の長さを持つ窓関数とスペクトルの実部の畳み込みを行なう第１の畳み込み演算手段と、基本周波数の数倍の長さを持つ窓関数とスペクトルの虚部の畳み込みを行なう第２の畳み込み演算手段とを含み、振幅決定手段は、第１の畳み込み演算手段によって畳み込みされたスペクトルのピークを滑らかに繋いだエンベロープとスペクトルのディップを滑らかに繋いだエンベロープの差を各周波数について求める第１の振幅決定手段と、第２の畳み込み演算手段によって畳み込みされたスペクトルのピークを滑らかに繋いだエ(3)特許３４７２０４６

56
ンベロープとスペクトルのディップを滑らかに繋いだエ＊ が含まれている入力信号のスペクトルを示し、図３は信ンベロープの差を各周波数について求める第２の振幅決号ｆ１（ｔ）のスペクトルを示し、図４は信号ｆ２定手段とを含む。
（ｔ）のスペクトルを示し、図５は図２の入力信号のス【００１０】
ペクトルと入力信号に含まれるドミナントな信号の基本【発明の実施の形態】図１はこの発明の一実施形態を示
周波数の２倍の長さの窓長を持つバートレット関数の畳すブロック図である。図１において、入力部１１から入み込みの結果を示す。
力され入力信号は周波数分析部１２に与えられ、入力信【００１２】図６は他の２つの基本周波数の異なる信号号の周波数分析が行なわれる。周波数分析された入力信をフーリエ変換したスペクトルを示し、図７は図６を構号は基本周波数抽出部１３と畳み込み演算部１４とに与成する一方の信号のスペクトルを示し、図８は図６の信えられる。基本周波数抽出部１３は周波数分析された入 10 号を構成する他方の信号のスペクトルを示し、図９は図力信号に含まれる周波数のうちドミナントな信号の基本６の入力信号のスペクトルと入力信号に含まれる１つの周波数を求める。畳み込み演算部１４は抽出された基本信号の基本周波数の２倍の長さの窓長を持つバートレッ
周波数の数倍の長さを持つバートレット窓とスペクトルト関数の畳み込みの結果を示す図である。の畳み込み演算を行なう。振幅決定部１５は周波数分析【００１３】次に、図１〜図９を参照して、この発明のされた入力信号のアンチドミナントな信号のスペクトル一実施形態の動作について説明する。入力部１１は図２エンベロープを算出し、合成部１６に与える。合成部１に示すような入力信号を周波数分析部１２に与える。こ６は求められたスペクトルエンベロープにより信号を再の入力信号ｆ（ｔ）は２つの信号ｆ１（ｔ）とｆ２合成し、出力部１７に与える。出力部１７は再合成され（ｔ）が含まれており、次の第（１）式で表わされる。
信号を音響信号に変換して出力する。
【００１４】【００１１】図２は２つの信号ｆ１（ｔ）とｆ２（ｔ）＊20 【数１】【００１５】周波数分析部１２はフーリエ変換を用いて※ 号ｆ１（ｔ），ｆ２（ｔ）のスペクトルは図３および図入力信号の周波数分析を行なう。その分析結果は、次の４に示しように、それぞれの信号の基本周波数の整数倍第（２）式で表わされ、その振幅値は第（３）式で表わ間隔でスペクトルがたっている。
される。異なる２つの信号が混合した信号をフーリエ変【００１６】
換すると図２に示すようなスペクトルとなり、２つの信※【数２】【００１７】基本周波数抽出部１３は入力信号のうちい★ 表わされる。
ずれか一方の信号の基本周波数を抽出し、畳み込み演算【００１８】
部１４は基本周波数の２倍の長さを持つ窓関数とスペク【数３】
トルの畳み込みを行なう。その結果は次の第（４）式で★

【００１９】いま、図３のスペクトル間隔の２倍の長さの窓長を持つバートレット窓関数を図２のスペクトルに 40対して畳み込み演算を行なうと、Ｆ１（ω）のエンベロープが十分に滑らかなとき、Ｆ１（ω）による線スペクトルは補間されてそのエンベロープだけが表われる。しかし、Ｆ２（ω）による線スペクトルはスペクトル間隔と補間関数であるバートレット窓関数の窓長の長さの関係が適当でないため、図５に示すように、線スペクトルの影響が補間後のエンベロープに表われる。このときのエンベロープのピークとディップの間隔Δｄは、Ｆ１（ω）の線スペクトルの振幅が一定であれば一定値である。
50【００２０】同様にして、図７のスペクトル間隔の２倍の長さの窓長を持つバートレット関数を畳み込みをすると、図９に示すような関数が得られる。図９および上述の第（４）式から図５で見られたピークとディップの間隔ΔｄはＢｎ倍されてＢ（ω）・Δｄとなっていることがわかる。さらに、第（４）式より、信号ｆ１（ｔ）のスペクトルＡｎの影響は、バイアスとしてピークとディップに均等に付加されていることになる。このことにより、畳み込み演算後のスペクトル関数のピークとディップの差Ｂ（ω）・Δｄが信号ｆ２（ｔ）のスペクトル包絡の相似形となっており、またそのエンベロープのピークの位置がＦ２（ω）の線スペクトルの位置に相当する

(4)特許３４７２０４６

78
ことがわかる。
＊ ４１に与えられ、虚部は第２の畳み込み演算部１４２に【００２１】振幅決定部１５は畳み込みの結果得られた与えられる。第１および第２の畳み込み演算部１４１，
スペクトルのピークを滑らかに繋いだエンベロープのス
１４２はそれぞれ基本周波数の２倍の長さを持つ窓関数
ペクトルのディップを滑らかに繋いだエンベロープの差とスペクトルの虚部および実部の畳み込みを行ない、第を各周波数について求める。そして、合成部１６は求め１の振幅決定部１５１と第２の振幅決定部１５２に与えられたエンベロープの差を振幅エンベロープとするスペる。第１および第２の振幅決定部１５１，１５２は畳みクトルをフーリエ逆変換して時間信号とし、出力部１７込みをされたスペクトルのピークを滑らかに繋いだエンはその信号を音響信号に変換して出力する。
ベロープとスペクトルのディップを滑らかに繋いだエン【００２２】なお、上述の実施形態において、周波数分ベロープの差を各周波数について求める。第１および第析部１２はフーリエ変換を用いるようにしたが、これに 10 ２の振幅決定部１５１，１５１で求められた実部と虚部限ることなく、たとえばＬＰＣ，ケプストラム，狭帯域を持つスペクトルは合成部１６に与えられ、フーリエ逆フィルタなどを用いて周波数分析を行なうようにしても変換が行なわれる。それ以外の入力部１１と基本周波数よい。また、検出されるスペクトルは振幅スペクトルで抽出部１３と出力部１７は前述の図１と同様にして構成はなく、パワースペクトルであってもよい。さらに、求される。
められたドミナントな信号が調波構造を持つならば、そ【００２４】次に、動作について説明する。入力部１１の基本周波数を求めて同様の処理を行ない、アンチドミからは前述の第（１）を式で示した入力信号が入力さナントな信号を抽出するようにしてもよい。
れ、周波数分析部１２はフーリエ変換を用いて入力信号【００２３】図１０はこの発明の他の実施形態を示すブの周波数分析を行ない、その結果は前述の第（２）式でロック図である。この実施形態は周波数特性の実部と虚表わされる。第（２）式において、Ａ＝ａｒ＋ｉａｉ，部を別々に処理することにより、複素信号を分離するよ 20 ｂ＝ｂｒ＋ｉｂｉとすると、実部と虚部はそれぞれ第うにしたものである。このために、周波数分析部１２は（５），第（６）式で表わされる。
フーリエ変換を用いて入力信号の周波数分析を行ない、【００２５】実部と虚部を出力する。実部は第１の畳み込み演算部１＊【数４】【００２６】第１の畳み込み演算部１４１は次の第※ 【００２７】（７）式に従って、基本周波数の２倍の長さを持つ窓関【数５】数とスペクトルの実部の畳み込みを行なう。
※【００２８】一方、第２の畳み込み演算部１４２は次の★ 【００２９】
第（８）式に従って、基本周波数の２倍の長さを持つ窓【数６】関数とスペクトルの虚部の畳み込みを行なう。
★

【００３０】第１の振幅決定部１５１は第１の畳み込み演算部１４１によって畳み込みをされたスペクトルのピークを滑らかに繋いだエンベロープとスペクトルのディ 40ップを滑らかに繋いだエンベロープの差を各周波数について求め、第２の振幅決定部１５２は第２の畳み込み演
算部１４２で畳み込みの結果得られたスペクトルのピークを滑らかに繋いだエンベロープとスペクトルのディップを滑らかに繋いだエンベロープの差を各周波数について求める。そして、合成部１６は第１および第２の振幅
決定部１５１，１５２で求められた実部と虚部を持つス
ペクトルのフーリエ逆変換を行なって時間信号を求め、出力部１７は構成部１６の出力信号を音響信号に変換して出力する。
【００３１】次に、図１に示した実施形態の他の例について説明する。ドミナントな信号ｆ１（ｔ）のスペクト
ル包絡をＦ１（ω）、最高倍音の次数をＮ１，アンチド
ミナントな信号ｆ２（ｔ）のスペクトル包絡をＦ２（ω）、最高倍音の次数をＮ２、それぞれの基本周波数をω1 ，ω2 とする。またそれぞれのスペクトルは調波構造を持ち、線スペクトルで記述できるものとする。このとき、信号ｆ１（ｔ）、ｆ２（ｔ）が合成された信号のスペクトルＦ（ω）は次の第（９）式で表わされる。
【００３２】【数７】

(5)特許３４７２０４６910【００３３】ここで、ｆ１（ｔ），ｆ２（ｔ）が共通の＊ 【００３４】周波数の倍音成分を持たなければ、次の第（１０）式で【数８】示される。
＊【００３５】一方、信号ｆ１（ｔ），ｆ２（ｔ）が共通※ 本周波数ω1 の２倍の窓長を持つバートレット窓関数をの周波数の倍音成分を持つときは、その位相関係によっ周波数領域で畳み込む。ｆ１（ｔ）のスペクトルが十分てその倍音のスペクトルの振幅値が干渉を受けることにに滑らかなとき、なる。ひとまずここでは、共通の倍音成分がない場合を【００３７】仮定する。
【数９】【００３６】上述の第（１０）式に信号ｆ１（ｔ）の基※【００３８】となり、ここで、【００３９】★ 【数１０】★

【００４０】であるので、第１項は近似的に｜Ｓ1 （ω）｜となる。次に、第２項の☆ 【００４１】☆30 【数１１】【００４２】について、その性質を詳しく観察する。第◆ とき第（１４）式は図１２に示すようなスペクトルにな（１３）式の真中の項はω2 の間隔で線スペクトルが並る。
んでいる。ω1 ＜ω2 のとき、次の第（１４）式は図１【００４３】
１に示すようなスペクトルになり、また、ω1 ＞ω2 の◆【数１２】【００４４】図１２（ａ）は基本周波数１５３Ｈｚの調 40波複合音のスペクトルであり、（ｂ）はそのスペクトルを窓長２００Ｈｚのバートレット窓で平滑化したスペクトルである。また図１２（ａ）は基本周波数１００Ｈｚの調波複合音のスペクトルであり、図１２（ｂ）はそのスペクトルを窓長２５６Ｈｚのバートレット窓で平滑化したスペクトルを示す。
【００４５】これらのどちらもω2 の間隔で極大値を持つ関数であることがわかる。またさらにｆ２（ｔ）が調波構造を持つ周期信号であれば、極小値と極大値を結ぶ線分の傾きは周波数に依らず一定となる。特に、ω1 ＞ 50

ω2 のときは、極大点間の中点に極小点が存在する。極
大値をＭx ，極小値をＭn ，基本周波数をω1 とすると、ω1 ＞ω2 のとき、第（１４）式の極小値と極大値を結ぶ線分の傾きは、次の第（１５）式で与えられる。
【００４６】２（Ｍx −Ｍn ）／ω2 …（１５）
今、｜Ｆ２（ω）｜＝Ｃ1 ω＋Ｃ2 …（１６）とすると、第（１３）の極小値と極大値を結ぶ線分の傾きは第（１７）式となり、極小値と極大値を結ぶ線分の傾きは一定のバイアスＣ1 Ｍn を伴うが、｜Ｆ２（ω）｜の振幅がその傾きに反映されていることがわかる。

(6)

特許３４７２０４６

11【００４７】

12＊ ＊ 【数１３】【００４８】ω1 ＜ω2 のときは、極小点が極大点の中※ 【００４９】上述の演算は図１に示した畳み込み演算部
点を中心としたある範囲に分布するので、極小値と極大１４によって行なわれる。次に、振幅決定部１５の動作値を結ぶ線分の傾きはω1 ＞ω2 のときよりも大きくなについて説明する。第（１１）式をωについて２回微分るが、その傾きは周波数によらず一定であるので、第する。ここで、（１７）式と同様に｜Ｆ２（ω）｜の振幅がその傾きに 10 【００５０】反映されていることがわかる。
※【数１４】【００５１】とおくと、【００５２】★ 【数１５】★

【００５３】となる。ここで、｜Ｆ１（ω）｜，｜Ｆ２☆ 【００５４】（ω）｜がＧ（ω）に対して十分滑らかに変化すると【数１６】き、近似的に第（２１）式となる。
☆

2【００５５】ここで、Ｇ（ω）はＦ２（ω）の線スペク◆ 差分を用いると、Δ （Ｇ（ω））は有限の値となり、トルの存在する周波数に極大値を持つ関数であるので、その大きさは極大値と極小値を結ぶ線分の傾きを反映しその周波数ではＧ（ω）の１回微分ｄＧ（ω）／ｄω＝ている。結局、求めるｆ２（ｔ）のスペクトルは次の第22０，Ｇ（ω）の２回微分ｄ Ｇ（ω）／ｄω ＝−∞と（２２）式となる。
なる。
【００５７】【００５６】実際に計算を行なうときは、微分ではなく◆【数１７】【００５８】ところで、図１２より、ω1 ＞ω2 の場合
は、畳み込み関数の窓長に対し、非畳み込み関数のスペクトルの間隔が小さいため、最小の周波数と最大の周波数のピークが明確でないことがわかる。このように、スペクトルの振幅値が０である帯域に隣接するスペクトル成分は、第（２２）式の条件では、抽出することができなくなる。特に、基本周波数に相当する成分の欠落は大 50

きな音色の変化を引起こすおそれがある。そこで基本周波数が欠落しないように、低域のスペクトル振幅に等しい直流の成分を加えてからスペクトル平滑化を行なった。
【００５９】【発明の効果】以上のように、この発明によれば、入力信号の周波数分析を行ない、入力信号に含まれる周波数

(7)特許３４７２０４６1314のうちのドミナントな信号の基本周波数を求め、求めた＊ に含まれる１つの信号の基本周波数の２倍の長さの窓長基本周波数の数倍の長さを持つバートレット窓とスペクを持つバートレット関数の畳み込みの結果を示す図であトルの畳み込み演算を行ない、入力信号のアンチドミナる。
ントな信号のスペクトルエンベロープを算出し、求めた【図１０】この発明の他の実施形態を示すブロック図でスペクトルエンベロープ信号を再合成するようにしたのある。
で、混合信号のうちのドミナントな信号のスペクトルを【図１１】基本周波数１５３Ｈｚの調波複合音のスペク
平坦化してアンチドミナントな信号のスペクトルの特徴
トルとバートレット窓で平滑化したスペクトルを示す図を引出すことができ、２つの信号を分離可能な優れた信である。
号分離装置を実現できる。
【図１２】基本周波数１００Ｈｚの調波複合音のスペク【図面の簡単な説明】
10 トルとバートレット窓で平滑化したスペクトルを示す図【図１】この発明の一実施形態のブロック図である。
である。
【図２】２つの信号ｆ１（ｔ）とｆ２（ｔ）が含まれて【図１３】従来の信号分離装置の構成を示すブロック図
いる入力信号のスペクトルを示す図である。
である。
【図３】信号ｆ１（ｔ）のスペクトルを示す図である。
【符号の説明】【図４】信号ｆ２（ｔ）のスペクトルを示す図である。
１１ 入力部【図５】図２の入力信号のスペクトルと入力信号に含ま
１２ 周波数分析部
れる１つの信号の基本周波数の２倍の長さの窓長を持つ
１３ 基本周波数抽出部
バートレット関数の畳み込みの結果を示す図である。
１４ 畳み込み演算部【図６】他の２つの基本周波数の異なる信号をフーリエ
１５ 振幅決定部変換したスペクトルを示す図である。
20 １６ 合成部
【図７】図６の信号を構成する一方の信号のスペクトル
１７ 出力部を示す図である。
１４１ 第１の畳み込み演算部【図８】図６の信号を構成する他方の信号のスペクトル
１４２ 第２の畳み込み演算部を示す図である。
１５１ 第１の振幅決定部【図９】図６に示した入力信号のスペクトルと入力信号＊
１５２ 第２の振幅決定部
【図２】

【図５】

【図３】

【図６】

【図４】

【図７】

(8)

【図１】

特許３４７２０４６

【図８】

【図９】

【図１２】

【図１０】

【図１１】

(9)

特許３４７２０４６【図１３】─────────────────────────────────────────────────────
フロントページの続き(72)発明者

河原 英紀
京都府相楽郡精華町大字乾谷小字三平谷
５番地 株式会社エイ・ティ・アール人間情報通信研究所内(56)参考文献

増田郁代，Ｈａｎｉ Ｙｅｈｉａ，河原英紀，バートレット窓特性を用いたス
ペクトル補間による信号分離方法の一考察，電子情報通信学会研究報告［応用音響］，1996年 ８月29日，ＥＡ96−29,
ｐ．17−24
河原英紀，増田郁代，時間周波数領域での補間を用いた音声の変換について,
電子情報通信学会研究報告［応用音響］，1996年 ８月29日，ＥＡ96−28,
ｐ．９−16
7(58)調査した分野(Int.Cl. ，ＤＢ名)
G10L 11/00
G10L 15/20
G10L 21/02
G01R 23/16
ＪＩＣＳＴファイル（ＪＯＩＳ)