(57)【要約】【課題】適用範囲の広い音源分離技術を提供する。【解決手段】複数の音源から出力される音響信号の各々を予め定められた音量比率で加算して混合信号を生成する一方、互いに異なる複数の周波数帯域の各々における各音響信号のエンベロープを示すエンベロープ信号を生成し、そのエンベロープ信号と上記混合信号を出力するエンコーダと、この混合信号とエンベロープ信号とを上記エンコーダから受け取り、その混合信号の上記各周波数帯域成分をその周波数帯域における搬送信号とし、各搬送信号の振幅を分離対象として指定された音源とその周波数帯域とに対応するエンベロープ信号の信号値に応じて調整した後に各搬送信号を加算し出力するデコーダと、を提供する。【選択図】図１
2007264431.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる複数の音源の各々から出力される音響信号を予め定められた音量比率で混合して得られる混合信号を出力するエンコーダと、前記複数の音源の各々に対応する音響信号を前記混合信号から分離して出力するデコーダと、を含む音源分離システムにおいて、
前記エンコーダは、
前記複数の音源から出力される音響信号の各々について、互いに異なる複数の周波数帯域の各々におけるエンベロープを特定し、そのエンベロープを示すエンベロープ信号を生成するエンベロープ信号生成手段と、
前記エンベロープ信号を出力する第１の出力手段と、を有し、
前記デコーダは、
前記エンコーダから出力された前記混合信号の前記複数の周波数帯域での各サブバンド信号をその周波数帯域における搬送信号として生成する搬送信号生成手段と、
前記複数の音源の各々に対応する音響信号を、その音源に対応する前記エンベロープ信号の前記各周波数帯域における信号値に応じた振幅調整をその周波数帯域に対応する前記搬送信号に施した後に前記振幅調整が施された各搬送信号を加算して生成し、出力する第２の出力手段と、を有する
ことを特徴とする音源分離システム。
【請求項２】
前記第１の出力手段は、
前記エンベロープ信号生成手段により生成されたエンベロープ信号の周波数を可聴帯域外の周波数へシフトさせる変調を施した後に、前記混合信号と加算して出力する一方、
前記デコーダは、
通過帯域の上限が可聴帯域の上限に一致する第１のフィルタと、
阻止域の上限が可聴帯域の上限に一致する第２のフィルタと、
前記エンコーダから出力される信号を２分流し、その一方を前記第１のフィルタを通過させるとともに他方を前記第２のフィルタを通過させることによって、前記混合信号と前記エンベロープ信号とを前記エンコーダから出力される信号から分離する分離手段と、有する
ことを特徴とする請求項１に記載の音源分離システム。
【請求項３】
前記エンベロープ信号生成手段は、
各々の通過帯域が前記複数の周波数帯域の何れかに一致する複数のバンドパスフィルタ、からなる第１のフィルタ群を有し、
前記複数の音源から出力される音響信号の各々を前記複数のバンドパスフィルタの各々を通過させて得られる信号の実効値を算出することによって、その音響信号の前記各周波数帯域におけるエンベロープを特定する一方、
前記搬送信号生成手段は、
前記第１のフィルタ群と同一の構成を有する第２のフィルタ群を有し、
前記エンコーダから出力される混合信号を前記第２のフィルタ群を構成する各バンドパスフィルタを通過させることによって、前記各周波数帯域の搬送信号を生成する
ことを特徴とする請求項１に記載の音源分離システム。
【請求項４】
前記エンベロープ信号生成手段は、
前記複数の音源から出力される音響信号の各々にウェーブレット変換を施すことによって、前記複数の周波数帯域の各々における前記各音響信号のエンベロープを特定する
ことを特徴とする請求項１に記載の音源分離システム。
【請求項５】
前記搬送信号生成手段は、
前記複数の周波数帯域の各々に属するバンドノイズまたはその周波数帯域に属する周波数の正弦波を示す信号を生成する発信器を有し、
前記複数の音源の各々について、その音源に対応する前記エンベロープ信号の信号値が予め定められた閾値よりも小さいか否かを前記周波数帯域毎に判定し、前記閾値よりも小さいと判定された周波数帯域については、前記発信器により生成される信号をその周波数帯域の搬送信号とする一方、前記閾値以上である周波数帯域については、前記混合信号のその周波数帯域成分をその周波数帯域における搬送信号とする
ことを特徴とする請求項１に記載の音源分離システム。
【請求項６】
複数の音源から出力される音響信号の各々を予め定められた音量比率で加算し混合信号を生成する混合信号生成手段と、
前記複数の音源から出力される音響信号の各々について、互いに異なる複数の周波数帯域の各々におけるエンベロープを特定し、そのエンベロープを示すエンベロープ信号を生成するエンベロープ信号生成手段と、
前記混合信号と前記エンベロープ信号とを出力する出力手段と
を有することを特徴とするエンコーダ。
【請求項７】
互いに異なる複数の音源の各々から出力される音響信号を予め定められた音量比率で混合することにより得られる混合信号を受け取り、互いに異なる複数の周波数帯域の各々における前記混合信号のサブバンド信号をその周波数帯域における搬送信号として生成する搬送信号生成手段と、
前記各音響信号の前記複数の周波数帯域におけるエンベロープを示すエンベロープ信号を受け取り、前記複数の音源の各々に対応する音響信号を、その音源に対応する前記エンベロープ信号の前記各周波数帯域における信号値に応じた振幅調整をその周波数帯域に対応する前記搬送信号に施した後に前記振幅調整が施された各搬送信号を加算して生成し、出力する出力手段と
を有することを特徴とするデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音源から出力された音が混在している音響信号から各音源の音を分離する音源分離技術に関する。
【背景技術】
【０００２】
楽曲の音響信号からその楽曲の楽譜を作り出す自動採譜や、音声認識や音声認証の事前処理として雑音・残響音が混ざった音声信号からそれら雑音や残響音を除去して音声のみを抽出する際、カラオケやＭＭＯ、自動議事録作成を実用化する際の中核となる技術として音源分離技術が挙げられる。
【０００３】
一般に、音源分離技術は、分離対象である音源に関する情報（例えば、音源の位置や音源の種類等、以下、音源情報）を全く必要としない手法と、音源情報を参照して音源分離を行う手法とに分類される。
【０００４】
前者の一例としては、調波構造分析により、目的音声の基本周波数の抽出（ステップ１）→目的音声に窓関数をかけ短時間フーリエ変換によるスペクトログラムの抽出（ステップ２）→基本周波数の整数倍の調波成分だけを強調（または抽出）（ステップ３）→強調（または抽出）された調波成分から音を再合成（ステップ４）、という手順で音源分離を行う技術などがある。
一方、非特許文献１や特許文献１に開示された技術では、音源情報や音源の駆動状況の時間変化を示すイベント情報を参照することによって、上記ステップ３の処理を行うことなく音源分離を行う技術が開示されている。
【非特許文献１】後藤真孝  村岡洋一、                      “打楽器を対象とした音源分離システム”、［online］、                      独立行政法人  産業技術研究所  情報技術部門                      インターネット<URL:http://www.staff_aist.go.jp/                                                      am-goto/PROJ/sss-j.html
【特許文献１】特開２００４−２５８４４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記調波構造分析を用いた音源分離技術には、処理が複雑で大規模になる割に適用範囲が限られてしまう、といった問題点がある。この問題点は、分離対象の音源が略同一のスペクトルを有している場合には分離が困難であることなどに起因している。一方、非特許文献１や特許文献１に開示された技術においても、音源情報やイベント情報が必須であるため、やはり、普遍性に欠け適用範囲が限られてしまうといった問題点がある。
本発明は、上記課題を鑑みて為されたものであり、適用範囲の広い音源分離技術を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、互いに異なる複数の音源の各々から出力される音響信号を予め定められた音量比率で混合して得られる混合信号を出力するエンコーダと、前記複数の音源の各々に対応する音響信号を前記混合信号から分離して出力するデコーダと、を含む音源分離システムにおいて、前記エンコーダは、前記複数の音源から出力される音響信号の各々について、互いに異なる複数の周波数帯域の各々におけるエンベロープを特定し、そのエンベロープを示すエンベロープ信号を生成するエンベロープ信号生成手段と、前記エンベロープ信号を出力する第１の出力手段とを有し、前記デコーダは、前記エンコーダから出力された前記混合信号の前記複数の周波数帯域での各サブバンド信号をその周波数帯域における搬送信号として生成する搬送信号生成手段と、前記複数の音源の各々に対応する音響信号を、その音源に対応する前記エンベロープ信号の前記各周波数帯域における信号値に応じた振幅調整をその周波数帯域に対応する前記搬送信号に施した後に前記振幅調整が施された各搬送信号を加算して生成し、出力する第２の出力手段とを有することを特徴とする音源分離システムを提供する。
【０００７】
より好ましい態様においては、前記第１の出力手段は、前記エンベロープ信号生成手段により生成されたエンベロープ信号の周波数を可聴帯域外の周波数へシフトさせる変調を施した後に、前記混合信号と加算して出力する一方、前記デコーダは、通過帯域の上限が可聴帯域の上限に一致する第１のフィルタと、阻止域の上限が可聴帯域の上限に一致する第２のフィルタと、前記エンコーダから出力される信号を２分流し、その一方を前記第１のフィルタを通過させるとともに他方を前記第２のフィルタを通過させることによって、前記混合信号と前記エンベロープ信号とを前記エンコーダから出力される信号から分離する分離手段と有することを特徴としている。
なお、前記可聴帯域外の周波数へシフトさせる変調処理に代えて、聴覚的に重要でない周波数帯域へのシフトとしても良い。
【０００８】
また、別の好ましい態様においては、前記エンベロープ信号生成手段は、各々の通過帯域が前記複数の周波数帯域の何れかに一致する複数のバンドパスフィルタ、からなる第１のフィルタ群を有し、前記複数の音源から出力される音響信号の各々を前記複数のバンドパスフィルタの各々を通過させて得られる信号の実効値を算出することによって、その音響信号の前記各周波数帯域におけるエンベロープを特定する一方、前記搬送信号生成手段は、前記第１のフィルタ群と同一の構成を有する第２のフィルタ群を有し、前記エンコーダから出力される混合信号を前記第２のフィルタ群を構成する各バンドパスフィルタを通過させることによって、前記各周波数帯域の搬送信号を生成することを特徴としている。
【０００９】
また、別の好ましい態様においては、前記エンベロープ信号生成手段は、前記複数の音源から出力される音響信号の各々にウェーブレット変換を施すことによって、前記複数の周波数帯域の各々における前記各音響信号のエンベロープを特定することを特徴としている。
【００１０】
また、別の好ましい態様においては、前記搬送信号生成手段は、前記複数の周波数帯域の各々に属するバンドノイズまたはその周波数帯域に属する周波数の正弦波を示す信号を生成する発信器を有し、前記複数の音源の各々について、その音源に対応する前記エンベロープ信号の信号値が予め定められた閾値よりも小さいか否かを前記周波数帯域毎に判定し、前記閾値よりも小さいと判定された周波数帯域については、前記発信器により生成される信号をその周波数帯域の搬送信号とする一方、前記閾値以上である周波数帯域については、前記混合信号のその周波数帯域成分をその周波数帯域における搬送信号とすることを特徴としている。
【００１１】
また、上記課題を解決するために、本発明は、複数の音源から出力される音響信号の各々を予め定められた音量比率で加算し混合信号を生成する混合信号生成手段と、前記複数の音源から出力される音響信号の各々について、互いに異なる複数の周波数帯域の各々におけるエンベロープを特定し、そのエンベロープを示すエンベロープ信号を生成するエンベロープ信号生成手段と、前記混合信号と前記エンベロープ信号とを出力する出力手段とを有することを特徴とするエンコーダを提供する。
なお、本発明の別の態様においては、コンピュータ装置を、複数の音源から出力される音響信号の各々を予め定められた音量比率で加算し混合信号を生成する混合信号生成手段と、前記複数の音源から出力される音響信号の各々について、互いに異なる複数の周波数帯域の各々におけるエンベロープを特定し、そのエンベロープを示すエンベロープ信号を生成するエンベロープ信号生成手段と、前記混合信号と前記エンベロープ信号とを出力する出力手段として機能させることを特徴とするプログラムを提供するとしても良い。
【００１２】
また、上記課題を解決するために、本発明は、互いに異なる複数の音源の各々から出力される音響信号を予め定められた音量比率で混合することにより得られる混合信号を受け取り、互いに異なる複数の周波数帯域の各々における前記混合信号のサブバンド信号をその周波数帯域における搬送信号として生成する搬送信号生成手段と、前記各音響信号の前記複数の周波数帯域におけるエンベロープを示すエンベロープ信号を受け取り、前記複数の音源の各々に対応する音響信号を、その音源に対応する前記エンベロープ信号の前記各周波数帯域における信号値に応じた振幅調整をその周波数帯域に対応する前記搬送信号に施した後に前記振幅調整が施された各搬送信号を加算して生成し、出力する出力手段とを有することを特徴とするデコーダを提供する。
なお、本発明の別の態様においては、コンピュータ装置を、互いに異なる複数の音源の各々から出力される音響信号を予め定められた音量比率で混合することにより得られる混合信号を受け取り、互いに異なる複数の周波数帯域の各々における前記混合信号のサブバンド信号をその周波数帯域における搬送信号として生成する搬送信号生成手段と、前記各音響信号の前記複数の周波数帯域におけるエンベロープを示すエンベロープ信号を受け取り、前記複数の音源の各々に対応する音響信号を、その音源に対応する前記エンベロープ信号の前記各周波数帯域における信号値に応じた振幅調整をその周波数帯域に対応する前記搬送信号に施した後に前記振幅調整が施された各搬送信号を加算して生成し、出力する出力手段として機能させることを特徴とするプログラムを提供するとしても良い。
【発明の効果】
【００１３】
本発明によれば、適用範囲の広い音源分離技術を提供することが可能になる、といった効果を奏する。
【発明を実施するための最良の形態】
【００１４】
本発明は、「人間の聴覚は、音源信号の波形そのものよりもアーティキュレーションに左右される」、したがって、「イベント情報や周波数スペクトルの変化だけを忠実に再現してやれば、効果的に信号の復元が可能になる」という着想に基づくものである。
以下、本発明の実施の最良の形態について図面を参照しつつ説明する。
（Ａ：構成）
（Ａ−１：音源分離システム１０の構成）
図１は、本発明の１実施形態に係る音源分離システム１０の構成例を示すブロック図である。図１に示すように、この音源分離システム１０は、例えばインターネットなどの通信網３００に接続されているエンコーダ１００と、同じく通信網３００に接続されているデコーダ２００とを含んでいる。エンコーダ１００とデコーダ２００は、通信網３００を介して通信することができるように構成されている。なお、本実施形態では、通信網３００がインターネットである場合について説明するが、エンコーダ１００とデコーダ２００との通信を仲介することが可能な通信網であればどのような通信網であっても良い。
【００１５】
図１に示す音源分離システム１０においては、エンコーダ１００には、互いに異なる２種類の音源ＡおよびＢの各々から音響信号が供給される。なお、以下では、音源Ａからは音響信号Ａ（ｔ）が供給され、音源Ｂからは音響信号Ｂ（ｔ）が供給されるものとする。図１のエンコーダ１００は、この両者を予め定められた音量比率で混合して混合信号Ｘ（ｔ）を生成することができるように構成されている。このため、例えば、上記音響信号Ａ（ｔ）が、ある楽曲の伴奏音であり、上記音響信号Ｂ（ｔ）がその楽曲の歌唱音である場合には、エンコーダ１００から出力される混合信号Ｘ（ｔ）は、その楽曲の伴奏付きの歌唱音を表すことになる。加えて、エンコーダ１００は、混合信号Ｘ（ｔ）の他に、本発明に特徴的な制御信号を生成し、この制御信号を混合信号Ｘ（ｔ）に加算して得られる統合信号Ｙ（ｔ）を通信網３００を介してデコーダ２００へ送信するように構成されている。
【００１６】
一方、図１のデコーダ２００は、通信網３００を介してエンコーダ１００から送られてくる統合信号Ｙ（ｔ）を受信し、この統合信号Ｙ（ｔ）から混合信号Ｘ（ｔ）と上記制御信号とを分離し、この制御信号を用いて上記２種類の音源に対応する各音響信号を混合信号Ｘ（ｔ）から分離し出力するように構成されている。
以下、エンコーダ１００およびデコーダ２００の構成を中心に説明する。
【００１７】
（Ａ−２：エンコーダ１００の構成）
図２は、エンコーダ１００の構成例を示すブロック図である。
図２に示すように、エンコーダ１００は、ボリューム１１０Ａおよび１１０Ｂと、エンベロープ信号生成手段１２０Ａおよび１２０Ｂと、圧縮・変換回路１３０Ａおよび１３０Ｂと、加算器１４０および１５０と、変調処理回路１６０と、を含んでいる。
図２のボリューム１１０Ａには音響信号Ａ（ｔ）が入力され、ボリューム１１０Ｂには、音響信号Ｂ（ｔ）が入力される。このボリューム１１０Ａと１１０Ｂとは、図示せぬ操作部を操作することによって音響信号Ａ（ｔ）およびＢ（ｔ）に対してユーザが指定した音量比率を満たすように、音響信号Ａ（ｔ）およびＢ（ｔ）の音量を調整して出力する。なお、本実施形態では、音響信号Ａ（ｔ）およびＢ（ｔ）をユーザの指定した音量比率で混合して混合信号Ｘ（ｔ）を生成する際に、両者の音量をボリューム１１０Ａおよび１１０Ｂにより適宜調整する場合について説明するが、係る音量の調整を行わずに混合信号Ｘ（ｔ）を生成する態様においては、これらボリューム１１０Ａおよび１１０Ｂを設けておく必要がないことは言うまでもない。
【００１８】
図２に示すように、ボリューム１１０Ａから出力される音響信号Ａ（ｔ）は２つに分流され、その一方はエンベロープ信号生成手段１２０Ａへ入力され、他方は加算器１４０へ入力される。同様に、ボリューム１１０Ｂから出力される音響信号Ｂ（ｔ）も２つに分流され、その一方はエンベロープ信号生成手段１２０Ｂへ入力され、他方は加算器１４０へ入力される。そして、加算器１４０へ入力される音響信号Ａ（ｔ）とＢ（ｔ）とは、この加算器１４０により加算され、両者の和信号である混合信号Ｘ（ｔ）が加算器１４０から出力される。
【００１９】
エンベロープ信号生成手段１２０Ａと１２０Ｂとは、図２に示すように同一の構成を有している。以下、この両者を区別する必要がない場合には、「エンベロープ信号生成手段１２０」と表記する。図２に示すように、エンベロープ信号生成手段１２０は、各々通過帯域が異なるＪ（Ｊは２以上の自然数）個のバンドパスフィルタ１２１−ｊ（ｊ＝１〜Ｊ：以下、同じ）を有しており、バンドパスフィルタ１２１−ｊの出力側には実効値検出回路（図２では、「ｒｍｓ」と表記）１２２−ｊが接続されている。なお、周波数帯域分割数Ｊについては、人間の聴覚の臨界帯域幅を参考にして、各通過帯域の帯域幅が数オクターブ分の１程度（例えば、１／５オクターブ〜１／２オクターブ)になるような値であれば良い。
【００２０】
エンベロープ信号生成手段１２０へ入力された音響信号は、図２に示すように、バンドパスフィルタ１２１−ｊの数分だけ分流され、バンドパスフィルタ１２１−ｊの各々へ入力される。バンドパスフィルタ１２１−ｊの各々から出力されるサブバンド信号（上記音響信号の通過帯域成分を示す信号）は、図２に示すように、実効値検出回路１２２−ｊへ入力される。なお、この実効値検出回路１２２−ｊは、図３に示す回路構成を有しており、入力された信号の実効値（エンベロープ）を算出して出力する。つまり、エンベロープ信号生成手段１２０は、そのエンベロープ信号生成手段１２０へ入力された音響信号の上記複数の通過帯域の各々におけるエンベロープを示すエンベロープ信号を出力する。なお、図３に示す実効値検出回路１２２−ｊの時定数については、実験により好適な値を適宜定めるようにすれば良いが、人間の聴覚の時間分解能の検知限に沿い数１０ミリ秒程度の値であることが望ましい。その理由は、実効値検出回路１２２−ｊの時定数を数１０ミリ秒程度の定めると、実効値検出回路１２２−ｊから出力されるエンベロープ信号の周波数は非常に低くなり、ほぼ直流に近くなる。このように、エンベロープ信号がほぼ直流に近くなると、オリジナルの音響信号に比較して情報量を大幅に削減することができるからである。
【００２１】
本実施形態においては、図２に示すように、エンベロープ信号生成手段１２０Ａにおいては、音響信号Ａ（ｔ）を上記複数のバンドパスフィルタ１２１−ｊの各々を通過させることによって、サブバンド信号Ａｊ（ｔ）（ｊ＝１〜Ｊ）が得られ、これらサブバンド信号Ａｊ（ｔ）を実効値検出回路１２２へ入力することによって、音響信号Ａ（ｔ）についてのエンベロープ信号（ａ1, ａ２…ａＪ）が出力される。同様に、エンベロープ信号生成手段１２０Ｂからは、音響信号Ｂ（ｔ）についてエンベロープ信号（ｂ1, ｂ２…ｂＪ）が出力される。ここで、Ａｊ（ｔ）とａjとの間、Ｂｊ（ｔ）とｂjとの間には、下記の数１に示す関係が成り立っている。
【数１】
2007264431.tif 000003
【００２２】
図２に示すように、エンベロープ信号生成手段１２０Ａから出力されるエンベロープ信号（ａ1, ａ２…ａＪ）は圧縮・変換回路１３０Ａへ入力され、エンベロープ信号生成手段１２０Ｂから出力されるエンベロープ信号（ｂ1, ｂ２…ｂＪ）は圧縮・変換回路１３０Ｂへ入力される。この圧縮・変換回路１３０Ａおよび１３０Ｂは、入力された信号に対して、例えば対数圧縮アルゴリズムなどの所定の圧縮アルゴリズムにしたがった圧縮処理を施して変調処理回路１６０へ出力する。ここで、上記圧縮処理を上記各エンベロープ信号に施す理由は、これらエンベロープ信号を通信網３００経由で伝送する伝送系（図示省略）の雑音の抑圧およびこれらエンベロープ信号の情報量を削減するためである。しかしながら、上記の如き圧縮処理は必ずしも必須ではなく、係る圧縮処理を行わないようにしても勿論良い。このような場合には、圧縮・変換回路１３０Ａおよび１３０Ｂを省略可能であることは言うまでもない。
【００２３】
次いで、図２の変調処理回路１６０について図４を参照しつつ詳細に説明する。図４に示すように、変調処理回路１６０は、分離対象である音源の数（本実施形態では、２）に周波数帯域分割数Ｊを乗算して得られる数分の発信器１６１−ｎ（ｎ＝１〜２Ｊ）と、各発信器１６１−ｎに１つずつ接続されている電圧制御型増幅器（図４では、“ＶＣＡ”と表記）１６２−ｎと、各電圧制御型増幅器１６２−ｎに接続されている加算器１６３と、を有している。
【００２４】
発信器１６１−ｎは、可聴域よりも高い所定の周波数ｆｎの正弦波信号を生成し、電圧制御型増幅器１６２−ｎへ出力する。なお、本実施形態では、発信器１６１−ｎにより上記正弦波信号を出力する場合について説明するが、周波数ｆｎが中心周波数である狭帯域バンドノイズ信号を出力するようにしても良い。
【００２５】
電圧制御型増幅器１６２―ｎには、周波数がｆｎである正弦波信号が入力されるとともに、前述したエンベロープ信号のうちの予め定められた成分の信号値に応じた制御電圧が印加され、その制御電圧に応じた増幅率で上記正弦波信号を増幅して加算器１６３へ出力する。より詳細に説明すると、図４に示すように、電圧制御型増幅器１６２―ｊ（ｊ＝１〜Ｊ）の各々には、上記エンベロープ信号のうちのａｊの値に応じた制御電圧が印加される。一方、電圧制御型増幅器１６２−Ｊ＋ｊ（ｊ＝１〜Ｊ）には、上記エンベロープ信号のうちのｂｊの値に応じた制御電圧が印加される。
【００２６】
加算器１６３は、上記各電圧制御型増幅器１６２−ｎ（ｎ＝１〜２Ｊ）から出力される信号を加算して制御信号Ｆ（ｔ）を生成し、この制御信号Ｆ（ｔ）を加算器１５０へ出力する。
【００２７】
図２に戻って、加算器１５０は、加算器１４０から供給された混合信号Ｘ（ｔ）と変調処理回路１６０から供給された制御信号Ｆ（ｔ）とを加算して統合信号Ｙ（ｔ）を生成し、この統合信号Ｙ（ｔ）を図示せぬ伝送系によって通信網３００を介してデコーダ２００へ送信する。
以上がエンコーダ１００の構成である。
【００２８】
（Ａ−３：デコーダ２００の構成）
次いで、図５および図６を参照しつつ、デコーダ２００の構成について説明する。
図５に示すように、デコーダ２００は、分離手段２１０と、搬送信号生成手段２２０Ａおよび２２０Ｂと、復元信号出力手段２３０Ａおよび２３０Ｂと、を有している。
【００２９】
分離手段２１０は、統合信号Ｙ（ｔ）から混合信号Ｘ（ｔ）と各エンベロープ信号を分離して出力するものであり、図６に示す構成を有している。図６に示すように、分離手段２１０は、上記統合信号Ｙ（ｔ）を２分流して一方をローパスフィルタ２１１へ入力し、他方をハイパスフィルタ２１２へ入力する。
【００３０】
ここで、本実施形態では、ローパスフィルタ２１１の通過帯域の上限は可聴域の上限周波数に一致している。このため、ローパスフィルタ２１１からは、統合信号Ｙ（ｔ）の周波数成分のうち可聴域の周波数成分のみが出力される。前述したように、統合信号Ｙ（ｔ）に含まれている可聴域の周波数成分は、混合信号Ｘ（ｔ）の周波数成分のみであるから、統合信号Ｙ（ｔ）をローパスフィルタ２１１を通過させることによって、混合信号Ｘ（ｔ）のみが出力される。一方、本実施形態では、ハイパスフィルタ２１２の阻止域の上限は可聴域の上限周波数に一致している。このため、ハイパスフィルタ２１２からは、統合信号Ｙ（ｔ）の周波数成分のうち可聴域よりも高い周波数帯域（すなわち、超可聴域）の周波数成分のみが出力される。このため、統合信号Ｙ（ｔ）をハイパスフィルタ２１２を通過させることによって、制御信号Ｆ（ｔ）のみが出力される。ハイパスフィルタ２１２から出力される制御信号Ｆ（ｔ）は２分流され、その一方はエンベロープ信号復調部２１３Ａへ入力され、他方はエンベロープ信号復調部２１３Ｂへ入力される。
【００３１】
図６のエンベロープ信号復調部２１３Ａは、制御信号Ｆ（ｔ）から音響信号Ａ（ｔ）についてのエンベロープ信号を復調して復元信号出力手段２３０Ａへ供給するものであり、エンベロープ信号復調部２１３Ｂは、制御信号Ｆ（ｔ）から音響信号Ｂ（ｔ）についてのエンベロープ信号を復調して復元信号出力手段２３０Ｂへ供給するものである。
図６に示すように、エンベロープ信号復調部２１３Ａと２１３Ｂは、ともに、Ｊ個の狭帯域バンドパスフィルタと、これらＪ個のフィルタの各々に１つずつ接続されている実効値検出回路と、伸長・変換回路とにより構成されている。なお、伸長・変換回路とは、前述した圧縮・変換回路が行う演算処理に対する逆演算を行う回路である。
【００３２】
ここで、注目すべき点は、エンベロープ信号復調部２１３Ａの狭帯域フィルタ群とエンベロープ信号復調部２１３Ｂの狭帯域フィルタ群とでは、通過帯域が異なっている点である。具体的には、エンベロープ信号復調部２１３ＡのＪ個の狭帯域フィルタの通過帯域の中心周波数は、周波数が低いものから順に、超可聴域の周波数ｆ1、ｆ2、…ｆJであることに対し、エンベロープ信号復調部２１３ＢのＪ個の狭帯域フィルタの通過帯域の中心周波数は、周波数が低いものから順に、超可聴域の周波数ｆJ+1、ｆJ+2、…ｆ2Jである。前述したように、制御信号Ｆ（ｔ）は、超可聴域の周波数ｆ1、ｆ2、…ｆJの正弦波の振幅を、それぞれ、エンベロープ信号数ａ1、ａ2、…ａJ、の値に応じて調整するとともに、超可聴域の周波数ｆJ+1、ｆJ+2、…ｆ2Jの正弦波の振幅を、それぞれ、エンベロープ信号数ｂ1、ｂ2、…ｂJ、の値に応じて調整した後に、それら各正弦波を加算することによって生成されるのであるから、エンベロープ信号復調部２１３Ａにおいては、エンベロープ信号数ａ1、ａ2、…ａJのみが抽出され、エンベロープ信号復調部２１３Ｂにおいては、エンベロープ信号数ｂ1、ｂ2、…ｂJのみが抽出されることになる。
【００３３】
図５に戻って、分離手段２１０から出力された混合信号Ｘ（ｔ）は２分流される。そして、一方は、搬送信号生成手段２２０Ａへ入力され、他方は、搬送信号生成手段２２０Ｂへ入力される。図５に示すように、搬送信号生成手段２２０Ａと２２０Ｂは、同一の構成を有しているため、この両者を区別する必要がない場合には「搬送信号生成手段２２０」と表記する。図５に示すように、搬送信号生成手段２２０は、エンベロープ信号生成手段１２０が有するフィルタ群と同一の構成を有するフィルタ群（バンドパスフィルタ２２１−ｊ（ｊ＝１〜Ｊ））で構成されている。分離手段２１０から搬送信号生成手段２２０へ入力された混合信号Ｘ（ｔ）は、図５に示すように、搬送信号生成手段２２０の内部でバンドパスフィルタ２２１−ｊの数分だけ分流され、バンドパスフィルタ２２１−ｊの各々へ入力される。その結果、バンドパスフィルタ２２１−ｊからはサブバンド信号Ｘj（ｔ）が出力される。そして、搬送信号生成手段２２０Ａは、バンドパスフィルタ２２１−ｊから出力されるサブバンド信号Ｘj（ｔ）をそのバンドパスフィルタ２２１−ｊの通過帯域における搬送信号として復元信号出力手段２３０Ａへ入力し、搬送信号生成手段２２０Ｂは、バンドパスフィルタ２２１−ｊから出力されるサブバンド信号Ｘj（ｔ）をそのバンドパスフィルタ２２１−ｊの通過帯域における搬送信号として復元信号出力手段２３０Ｂへ入力する。
【００３４】
復元信号出力手段２３０Ａと２３０Ｂは、図５を参照すれば明らかなように、同一の構成を有しているため、この両者を区別する必要がない場合には「復元信号出力手段２３０」と表記する。図５に示すように、復元信号出力手段２３０は、Ｊ個の電圧制御型増幅器２３１−ｊ（ｊ＝１〜Ｊ）と、加算器２３２とを有している。
より詳細に説明すると、復元信号出力手段２３０Ａの電圧制御型増幅器２３１−ｊは、搬送信号生成手段２２０Ａのバンドパスフィルタ２２１−ｊに接続されている。また、復元信号出力手段２３０Ａの電圧制御型増幅器２３１−ｊには、分離手段２１０から出力されるエンベロープ信号ａjの値に応じた制御電圧が印加される。このため、復元信号出力手段２３０Ａの電圧制御型増幅器２３１−ｊへ入力される搬送信号Ｘj（ｔ）の振幅は、エンベロープ信号ａjの値に応じて増幅されることになる。その結果、復元信号出力手段２３０Ａの電圧制御型増幅器２３１−ｊからは、オリジナルの音響信号Ａ（ｔ）のｊ番目の周波数帯域におけるスペクトルに順ずる信号Ａj´（ｔ）が出力されることになる。このようにして電圧制御型増幅器２３１−ｊから出力される信号Ａj´（ｔ）は加算器２３２によって加算され、加算器２３２からは、オリジナルの音響信号Ａ（ｔ）に順ずる復元信号Ａ´（ｔ）が出力される。
【００３５】
一方、復元信号出力手段２３０Ｂにおいても、復元信号出力手段２３０Ａと同様に、電圧制御型増幅器２３１−ｊには、搬送信号Ｘj（ｔ）が入力されるとともに、分離手段２１０から出力されるエンベロープ信号ｂjの値に応じた制御電圧が印加され、電圧制御型増幅器２３１−ｊからは、オリジナルの音響信号Ｂ（ｔ）のｊ番目の周波数帯域におけるスペクトルに順ずる信号Ｂj´（ｔ）が出力される。そして、これらＢj´（ｔ）が復元信号出力手段２３０Ｂの加算器２３２によって加算され、オリジナルの音響信号Ｂ（ｔ）のスペクトルに順ずる復元信号Ｂ´（ｔ）が出力される。
以上がデコーダ２００の構成である。
【００３６】
以上に説明したように、デコーダ２００によれば、混合信号Ｘ（ｔ）から、オリジナルの音響信号Ａ（ｔ）に順ずる復元信号Ａ´（ｔ）と、オリジナルの音響信号Ｂ（ｔ）のスペクトルに順ずる復元信号Ｂ´（ｔ）とが出力されるのであるが、ここで検討しなければならない点は、例えば、音源Ａについての音源分離を行う場合、上記のようして得られる復元信号Ａ´（ｔ）の各周波数帯域では、音響信号Ｂ（ｔ）がマスキングノイズとして重畳されていると考えられる点である。
しかしながら、
（１）ａjがｂjに比較して充分に大きい場合
この場合、分離対象である音響信号Ａ（ｔ）が優勢であるため、音響信号Ｂ（ｔ）がマスキングノイズとなることはない。
（２）ａjとｂjが略等しい場合
この場合、音響信号Ａ（ｔ）と音響信号Ｂ（ｔ）とが混じったままであるが、両者は、同じ狭帯域の、略等しいスペクトルの信号であるため、一方が他方に対する大きな雑音源、または、マスカーとはなりにくい。しかも、両者は、時間変化しており完全に振幅が等しくなる時間確率は一般に大きくはない。
（３）ａjがｂjに比較して充分に小さい場合
この場合、本発明の効果が最も顕著に表れる。すなわち、本発明に係る音源分離を行わないとすると、例えば、ある時刻ｔにおいて音響信号Ａ（ｔ）の振幅が略ゼロであっても（すなわち、音源Ａの音が鳴っていない場合）、マスキング音として音源Ｂの音が聞こえてしまい分離感を大きく阻害するが、本発明によれば、復元信号Ａ´（ｔ）の振幅は所定のレベル（この場合、無音）まで引き下げられ、「鳴っていないもの、または、鳴っていないときは聞こえない」という本来の状態が確保される。
【００３７】
ところで、デコーダ２００から出力される復元信号と、その復元信号に対応するオリジナルの音響信号とは必ずしも同一ではない。しかしながら、バンドパスフィルタ１２１−ｊの通過帯域幅を人間の聴覚の臨界帯域幅に応じて適宜設定しておくとともに、実効値検出回路１２２−ｊの時定数を人間の聴覚の検知限に沿って適宜設定しておけば、人間の聴覚の範囲内では、上記復元信号においては、オリジナル信号のスペクトルと周波数帯域毎の成分の時間変化が略確実に再現され、聴感的にオリジナル信号に略近いものとなる。
加えて、本実施形態に係る音源分離システム１０における音源分離は、音源情報やイベント情報を必要としない音源分離であるとともに、複数の受音点の観測信号を必要とすることはなく、分離対象の音源数についての制限もない。
このように、本実施形態によれば、混合対象である複数の音響信号の各々について、互いに異なる周波数帯域におけるエンベロープを示すエンベロープ信号を生成するといった事前処理を予め行っておくことによって、従来よりも適用範囲の広い音源分離技術を提供することが可能になる。
【００３８】
（Ｂ：変形）
以上、本発明の１実施形態について説明したが、係る実施形態に以下に述べるような変形を加えても良いことは勿論である。
【００３９】
（１）上述した実施形態では、２つの音響信号を予め定められた音量比率で混合することにより得られる混合信号Ｘ（ｔ）と制御信号Ｆ（ｔ）とを加算してなる統合信号Ｙ（ｔ）を通信網３００経由でエンコーダ１００からデコーダ２００へ伝送する場合について説明した。しかしながら、ＣＤやＤＶＤなどの記録媒体に統合信号Ｙ（ｔ）を書き込む処理をエンコーダに実行させ、上記記録媒体に書き込まれた統合信号Ｙ（ｔ）をデコーダに読み取らせることによって、統合信号Ｙ（ｔ）をエンコーダからデコーダへ伝達させるようにしても勿論良い。
【００４０】
（２）上述した実施形態では、２種類の音響信号の混合および分離を行う場合について説明したが、３種類以上の音響信号の混合および分離に本発明を適用することが可能であることはいうまでもない。具体的には、音響信号の数分だけエンベロープ信号生成手段をエンコーダ側に設けておけば良い。また、上述した実施形態では、エンコーダへ入力される音響信号の各々に対応したエンベロープ信号生成手段をそのエンコーダに設けておく場合について説明した。しかしながら、１つのエンベロープ信号生成手段を順次使用して各音響信号に対応するエンベロープ信号を生成するようにしても勿論良い。
【００４１】
（３）上述した実施形態では、混合信号Ｘ（ｔ）を、各々通過帯域が異なる複数のバンドパスフィルタによりサブバンド分割し、各サブバンド信号を各通過帯域における搬送信号とする場合について説明した。しかしながら、図７に示すように、搬送信号生成手段２２０に、バンドパスフィルタ２２１−ｊから電圧制御型増幅器２３１−ｊに至る経路上に切り替えスイッチＳＷｊを設けるとともに、バンドパスフィルタ２２１−ｊの通過帯域に属するバンドノイズ（例えば、ピンクノイズ）またはその周波数帯域に属する周波数の正弦波を示す信号を生成する発信器Ｇｊ（ｊ＝１〜Ｊ）を設け、切り替えスイッチＳＷｊの切り替え（すなわち、電圧制御型増幅器２３１−ｊにバンドパスフィルタ２２１−ｊを接続するのか、それとも、発信器Ｇｊを接続するのかの切り替え）をその周波数帯域（すなわち、バンドパスフィルタ２２１−ｊの通過帯域）に対応するエンベロープ信号の信号値に応じて行うようにしても良い。
具体的には、上記信号値が予め定められた閾値よりも小さいか否かを周波数帯域毎に判定し、閾値よりも小さいと判定された周波数帯域については、発信器Ｇｊに接続を切り替え、閾値以上である周波数帯域については、バンドパスフィルタ２２１−ｊに接続を切り替えるようにしても良い。但し、上記搬送信号としてバンドノイズや正弦波を用いる場合には、エンベロープ信号を生成する際に用いるフィルタの通過帯域幅を充分に狭くしておくことが望ましい。なお、搬送信号として正弦波を使用する場合には、各周波数帯域の搬送信号を互いに無相関にするため、上記正弦波に適宜周波数変調を施すようにしても良い。
【００４２】
（４）上述した実施形態では、制御信号Ｆ（ｔ）と混合信号Ｘ（ｔ）とを加算して得られる統合信号Ｙ（ｔ）をエンコーダ１００からデコーダ２００へ伝送する場合について説明した。しかしながら、制御信号Ｆ（ｔ）と混合信号Ｘ（ｔ）とを夫々個別にエンコーダからデコーダへ伝送するとしても良く、また、デコーダ側が混合信号Ｘ（ｔ）を既に有している場合には、制御信号Ｆ（ｔ）のみをエンコーダからデコーダへ伝送するようにしても良い。
また、本変形例で説明した制御信号（またはエンベロープ信号）のみを伝送する態様と、上記変形例（３）にて説明した搬送信号としてバンドノイズまたは正弦波を用いる態様とを組み合わせると、音響信号を伝送する際の伝送情報量を著しく低減させたり、雑音を効果的に除去したりすることが可能になると期待される。具体的には、音響信号の送信側では、その音響信号について、互いに異なる複数の周波数帯域におけるエンベロープを特定し、そのエンベロープを示すエンベロープ信号を上記音響信号の受信側へ伝送し、このエンベロープ信号を受信した受信側においては、上記各周波数帯域の搬送信号として変形例（３）で説明したバンドノイズまたは正弦波を用い、各搬送信号の振幅をその搬送信号の周波数帯域に対応するエンベロープ信号の信号値に応じて調整した後に、それら搬送信号を加算することによって、上記音響信号に対応する復元信号を生成するようにすれば良い。
【００４３】
（５）上述した実施形態では、複数個のバンドパスフィルタと、それらバンドパスフィルタの各々に接続された実効値算出回路とによってエンベロープ信号生成手段を構成する場合について説明した。しかしながら、入力信号に対してウェーブレット変換を施す回路によって上記エンベロープ信号生成手段を構成するようにしても勿論良い。このようにすると、混合および分離対象である各音響信号の特性に応じて、エンベロープ信号を抽出する際の周波数帯域幅および時間分解能を合理的に設定することが可能になるといった効果を奏する。
【００４４】
（６）上述した実施形態では、音源分離システム１０において混合および分離される音響信号の信号形式については特に言及しなかったが、ＭＰＥＧ１／ＬａｙｅｒIII（以下、「ＭＰ３」）などの楽音符号化方式と組み合わせて音源分離を行うことも可能である。ここで、ＭＰ３とは、楽音符号化の一方式であり、音響信号のフィルタバンク分析→直交変換（ＭＰ３においては、ＭＤＣＴ：Modified Discrete Cosine Transformが適用されることが多い）…といった手順で実現される（例えば、図８に示すエンコーダおよびデコーダの構成例参照）。このＭＰ３にしたがって符号化された音響信号に本発明に係る音源分離を適用する場合には、上記直交変換にて得られたＤＣＴ係数（ＭＤＣＴ係数）に、前述した制御信号を埋め込むようにすれば良い。なお、ほとんどの楽音符号化方式では、図３の非線形量子化処理のためのビット割り当てを動的に行うことが可能であるから、上記制御信号のデコードに最低限必要なビットをエンコーダに割り当てさせ、このようにして割り当てられるビットに上記制御信号を埋め込むようにすれば、より効率的に制御信号をエンコードすることが可能になる。なお、どの帯域に制御信号を埋め込むのか、また、制御信号にどの程度のビットを割り当てるべきかについては、実験により適宜定めるようにすれば良い。
もっとも、デコーダ側が上記制御信号の埋め込みに対応していない場合（例えば、図８に示す構成を有するデコーダである場合）には、埋め込まれている制御信号に応じて再生音に歪みが生じる虞がある。しかしながら、この種の歪みはビットレートが低いときに生ずるものと同様なもので、ＭＰ３端末のユーザにとっては比較的馴染みのあるものである。このため、上記の如き再生音の歪みが生じたとしても、ユーザに極端な不快感を抱かせることはない。
【００４５】
（７）上述した実施形態では、各々固有の機能を担っているハードウェアモジュールを組み合わせることによって本発明に係るエンコーダ１００やデコーダ２００を構成する場合について説明した。しかしながら、エンコーダ１００を構成する各ハードウェアモジュールと同一の機能をＣＰＵ（Central Processing Unit）に実現させるプログラムを一般的なコンピュータ装置へインストールし、そのプログラムにしたがってそのコンピュータ装置のＣＰＵを作動させることによって、そのコンピュータ装置に本発明に係るエンコーダと同一の機能を付与するとしても勿論良い。同様に、デコーダ２００を構成する各ハードウェアモジュールと同一の機能をＣＰＵに実現させるプログラムを一般的なコンピュータ装置へインストールし、そのプログラムにしたがってそのコンピュータ装置のＣＰＵを作動させることによって、そのコンピュータ装置に本発明に係るデコーダと同一の機能を付与するとしても勿論良い。また、上記各プログラムを配布する際には、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）に上記各プログラムを書き込んで配布するとしても良く、また、インターネットなどの電気通信回線を介したダウンロードにより配布するようにしても良い。
【図面の簡単な説明】
【００４６】
【図１】本発明の１実施形態に係る音源分離システム１０の構成例を示す図である。
【図２】エンコーダ１００の構成例を示す図である。
【図３】実効値検出回路１２２の構成例を示す図である。
【図４】変調処理回路１６０の構成例を示す図である。
【図５】デコーダ２００の構成例を示す図である。
【図６】分離手段２１０の構成例を示す図である。
【図７】変形例（３）に係るデコーダの構成例を示す図である。
【図８】変形例（６）に関連し、ＭＰ３におけるエンコーダおよびデコーダの構成例を示す図である。
【符号の説明】
【００４７】
１００…エンコーダ、２００…デコーダ、３００…通信網。
【図１】
2007264431.tif 000004
【図２】
2007264431.tif 000005
【図３】
2007264431.tif 000006
【図４】
2007264431.tif 000007
【図５】
2007264431.tif 000008
【図６】
2007264431.tif 000009
【図７】
2007264431.tif 000010
【図８】
2007264431.tif 000011