(57)【特許請求の範囲】
【請求項１】
各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて前記第１信号のスペクトル信号と推定される推定第１スペクトル信号を抽出し、周波数領域の信号である前記推定第１スペクトル信号を時間領域の信号に変換して前記第１信号と推定される時間領域の推定第１信号を抽出する抽出手段と、
前記抽出手段で抽出された前記時間領域の推定第１信号の分散値、前記観測信号の分散値から前記推定第１信号の分散値を差し引いて得られる前記第２信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する推定手段と、
を含む多チャネル信号処理装置。
【請求項２】
前記推定手段により推定された前記第１信号または前記第２信号を含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第２信号と推定される時間領域の推定第２信号を抽出する後段抽出手段と、
前記後段抽出手段で抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第１信号または前記第２信号を推定する後段推定手段と、
を含む請求項１記載の多チャネル信号処理装置。
【請求項３】
前記推定手段により推定された前記第１信号または前記第２信号を含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、スペクトル信号から各々得られるスペクトルエントロピーに基づいて前記第２信号のスペクトル信号と推定される推定第２スペクトル信号を抽出し、周波数領域の信号である前記推定第２スペクトル信号を時間領域の信号に変換して前記第２信号と推定される時間領域の推定第２信号を抽出する後段抽出手段と、
前記後段抽出手段で抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第１信号または前記第２信号を推定する後段推定手段と、
を含む請求項１記載の多チャネル信号処理装置。
【請求項４】
各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第２信号と推定される時間領域の推定第２信号を抽出する抽出手段と、
前記抽出手段で抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する推定手段と、
を含む多チャネル信号処理装置。
【請求項５】
各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換して各々のパワースペクトル密度を演算し、該パワースペクトル密度から各々得られるスペクトルエントロピーに基づいて前記第２信号のスペクトル信号と推定される推定第２スペクトル信号を抽出し、周波数領域の信号である前記推定第２スペクトル信号を時間領域の信号に変換して前記第２信号と推定される時間領域の推定第２信号を抽出する抽出手段と、
前記抽出手段で抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する推定手段と、
を含む多チャネル信号処理装置。
【請求項６】
前記抽出手段は、前記観測信号を所定フレーム長のフレーム毎に前記周波数領域のスペクトル信号に変換し、フレーム毎に前記スペクトルエントロピーを求め、第１所定フレーム数分のスペクトルエントロピーの平均σ’が、現フレームのスペクトルエントロピーより小さい場合にはσ’、大きい場合にはσ’に所定の係数αを乗算したασ’となる値σ”を得、前記第１信号が過去第２所定フレーム数連続している場合はσ”、前記第１信号が過去第２所定フレーム数連続しておらず、かつ前記第２信号が過去第２所定フレーム数連続している場合はσ’、前記第１信号が過去第２所定フレーム数連続しておらず、かつ前記第２信号が過去第２所定フレーム数連続していない場合はσ”を閾値σとし、現フレームのスペクトルエントロピーが閾値σより小さい場合には、現フレームを第１信号と判定し、現フレームのスペクトルエントロピーが閾値σ以上の場合には、現フレームを第２信号と判定する請求項５記載の多チャネル信号処理装置。
【請求項７】
各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて前記第１信号のスペクトル信号と推定される推定第１スペクトル信号を抽出し、周波数領域の信号である前記推定第１スペクトル信号を時間領域の信号に変換して前記第１信号と推定される時間領域の推定第１信号を抽出する抽出手段と、
前記抽出手段で抽出された前記時間領域の推定第１信号の分散値、前記観測信号の分散値から前記推定第１信号の分散値を差し引いて得られる前記第２信号の分散値、並びに前記複数チャネルの観測信号を用いて、演算量軽減型有色駆動源付カルマンフィルタにより、前記第１信号または前記第２信号を推定する推定手段と、を含み、
前記演算量軽減型有色駆動源付カルマンフィルタは、時刻ｎまでの観測信号を用いて時刻ｎ＋１における前記第１信号または前記第２信号を推定する有色駆動源付カルマンフィルタの要素のうち、時刻ｎ＋１に関する要素のみを取り出したカルマンフィルタである
多チャネル信号処理装置。
【請求項８】
各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて前記第１信号のスペクトル信号と推定される推定第１スペクトル信号を抽出し、周波数領域の信号である前記推定第１スペクトル信号を時間領域の信号に変換して前記第１信号と推定される時間領域の推定第１信号を抽出し、
抽出された前記時間領域の推定第１信号の分散値、前記観測信号の分散値から前記推定第１信号の分散値を差し引いて得られる前記第２信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する
多チャネル信号処理方法。
【請求項９】
各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第２信号と推定される時間領域の推定第２信号を抽出し、
抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する
を含む多チャネル信号処理方法。
【請求項１０】
各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換して各々のパワースペクトル密度を演算し、該パワースペクトル密度から各々得られるスペクトルエントロピーに基づいて前記第２信号のスペクトル信号と推定される推定第２スペクトル信号を抽出し、周波数領域の信号である前記推定第２スペクトル信号を時間領域の信号に変換して前記第２信号と推定される時間領域の推定第２信号を抽出し、
抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する
多チャネル信号処理方法。
【請求項１１】
コンピュータを、請求項１〜請求項７のいずれか１項記載の多チャネル信号処理装置を構成する各手段として機能させるための多チャネル信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多チャネル信号処理装置、方法、及びプログラムに係り、特に、多チャネル信号に含まれる特定の信号を抽出または抑圧する多チャネル信号処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ステレオ信号をチャネル毎に複数の周波数帯域に分割し、周波数帯域毎のチャネル間の類似度を計算し、類似度から中央付近に定位する音源信号を抑圧、もしくは強調するための減衰係数を計算し、その減衰係数を各周波数帯域信号に乗算し、チャネル毎の各周波数帯域信号を再合成して出力するステレオ音響信号処理装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に記載のステレオ音響信号処理装置は、ステレオ信号入力部に入力される音響信号が、強調、もしくは抑圧したい目的音源信号が中央付近に定位するように収音されているステレオ信号である場合に有効である。詳細には、ステレオ信号入力部に入力されたステレオ信号（左チャネルの信号ｓＬ、右チャネルの信号ｓＲ）の各々を帯域分割数Ｎの周波数領域の信号（ｆＬ(ｋ)及びｆＲ(ｋ)、ｋ＝０，・・・，Ｎ−１）に変換し、同じ周波数帯域毎にｆＬ(ｋ)とｆＲ(ｋ)との類似度ａ(ｋ)を計算する。周波数帯域毎に計算された類似度ａ(ｋ)に基づき周波数帯域毎に減衰係数ｇ(ｋ)を算出し、同一周波数帯域において、左右チャネル間で同一の減衰係数ｇ(ｋ)が各周波数帯域信号ｆＬ(ｋ)に乗算し再合成することで、チャネル間の類似度の大きな成分だけの成分集合ｓＬ'、ｓＲ'が出力され、その結果、中央付近に定位する音源信号だけが残る。
【０００４】
このように、特許文献１に記載のステレオ音響信号処理装置では、全ての帯域に対して処理を行って、目的音源信号が中央付近に定位する音源信号を得ている。
【０００５】
また、２チャネルの入力音響信号各々のスペクトルデータを生成し、そのスペクトルデータにおける特定の音響信号（ボーカル信号の音声）に対応する設定周波数帯域に属する複数の周波数ビン各々のデータが、２チャネル相互間で所定の近似条件を満たす場合に、その周波数ビンのデータのパワーを縮減補正し、補正後のスペクトルデータに基づく時間領域の補正後音響信号と、２チャネル各々における他チャネルに対する差信号とを合成することによりステレオ音響信号を構成する２チャネルの出力音響信号を生成する音響信号処理装置が提案されている（例えば、特許文献２参照）。
【０００６】
特許文献２に記載の音響信号処理装置では、Ｌ及びＲの２チャンネル各々について、他方のチャンネルに対する入力音響信号の差分を計算した結果である差信号（ΔＸＬ(t)＝ＸＬ(t)−ＸＲ(t)とΔＸＲ(t)＝ＸＲ(t)−ＸＬ(t)）を生成する。そして、Ｌ及びＲの２チャンネル各々について、時間領域の補正後音響信号ＸＬ'(t)及びＸＲ'(t)と、差信号ΔＸＬ(t)及びΔＸＲ(t)とを、例えば重み付け加算により合成することにより、ステレオ音響信号を構成する２チャンネルの出力音響信号ＹＬ(t)、ＹＲ(t)を生成する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−７８１００号公報
【特許文献２】特開２００８−７２６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の技術では、特定の周波数成分を抑圧することにより、周波数スペクトルが孤立する箇所が発生し、時間領域の信号に変換した際にトーン性のミュージカルノイズとして聞こえてしまう、という問題がある。
【０００９】
また、特許文献２に記載の技術では、差信号を合成して失われた周波数帯域の信号を補完することで、ミュージカルノイズの発生を防止している。特許文献１に記載の技術に比べ演算量が軽減されているものの、左右の信号に同一の差信号を合成して補正するため、生成される音響信号のステレオ感が減少し、音源信号の臨場感が損なわれる。また、抽出する信号がボーカル信号のような中央付近に定位する音源信号の場合には、その信号がモノラル信号となるため、その信号を補正するための差信号を生成することができない。
【００１０】
このように、特許文献１及び２に記載の技術では、ステレオ感が無くなり、再現性が悪くなる、という問題がある。
【００１１】
本発明は、上記問題点に鑑みてなされたものであり、ステレオ及び２チャネルを含む多チャネルの入力信号に含まれる特定の信号を抽出または抑圧する場合において、ステレオ感を損なわず再現性の良い多チャネル信号を出力することができる多チャネル信号処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、第１の発明に係る多チャネル信号処理装置は、各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて前記第１信号のスペクトル信号と推定される推定第１スペクトル信号を抽出し、周波数領域の信号である前記推定第１スペクトル信号を時間領域の信号に変換して前記第１信号と推定される時間領域の推定第１信号を抽出する抽出手段と、前記抽出手段で抽出された前記時間領域の推定第１信号の分散値、前記観測信号の分散値から前記推定第１信号の分散値を差し引いて得られる前記第２信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する推定手段と、を含んで構成されている。
【００１３】
第１の発明に係る多チャネル信号処理装置によれば、抽出手段が、各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて第１信号のスペクトル信号と推定される推定第１スペクトル信号を抽出し、周波数領域の信号である推定第１スペクトル信号を時間領域の信号に変換して第１信号と推定される時間領域の推定第１信号を抽出する。そして、抽出手段で抽出された時間領域の推定第１信号の分散値、観測信号の分散値から推定第１信号の分散値を差し引いて得られる第２信号の分散値、並びに複数チャネルの観測信号を用いて、複数チャネルに対応した要素を含む第２信号のみから構成される状態方程式、及び複数チャネルに対応した要素を含む第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、第１信号または第２信号を推定する。
【００１４】
有色駆動源付カルマンフィルタとは、駆動源が有色信号の場合にも適用可能なカルマンフィルタであり、観測信号から目的の状態量（ここでは、第１信号または第２信号）を推定するためのカルマンフィルタである。
【００１５】
これにより、多チャネル信号に含まれる特定の信号を抽出または抑圧する場合において、各チャネルに対して同一の差信号で補完するような場合に比べて、ステレオ感を損なわず再現性の良いステレオ信号を出力することができる。また、時間領域から周波数領域への変換、または周波数領域から時間領域への逆変換処理が１回軽減される。
【００１６】
また、第１の発明の多チャネル信号処理装置は、前記推定手段により推定された前記第１信号または前記第２信号を含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第２信号と推定される時間領域の推定第２信号を抽出する後段抽出手段と、前記後段抽出手段で抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第１信号または前記第２信号を推定する後段推定手段と、をさらに含んで構成することができる。
【００１７】
また、第１の発明の多チャネル信号処理装置は、前記推定手段により推定された前記第１信号または前記第２信号を含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、スペクトル信号から各々得られるスペクトルエントロピーに基づいて前記第２信号のスペクトル信号と推定される推定第２スペクトル信号を抽出し、周波数領域の信号である前記推定第２スペクトル信号を時間領域の信号に変換して前記第２信号と推定される時間領域の推定第２信号を抽出する後段抽出手段と、前記後段抽出手段で抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第１信号または前記第２信号を推定する後段推定手段と、をさらに含んで構成することができる。
【００１８】
また、第２の発明に係る多チャネル信号処理装置は、各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第２信号と推定される時間領域の推定第２信号を抽出する抽出手段と、前記抽出手段で抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する推定手段と、を含んで構成されている。
【００１９】
第２の発明に係る多チャネル信号処理装置によれば、抽出手段が、各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、第２信号と推定される時間領域の推定第２信号を抽出する。推定第１信号を抽出した第１の発明の抽出手段と異なり、第２の発明の抽出手段は推定第２信号を抽出する。そして、抽出手段で抽出された時間領域の推定第２信号の分散値、観測信号の分散値から推定第２信号の分散値を差し引いて得られる第１信号の分散値、並びに複数チャネルの観測信号を用いて、複数チャネルに対応した要素を含む第２信号のみから構成される状態方程式、及び複数チャネルに対応した要素を含む第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、第１信号または第２信号を推定する。
【００２０】
これにより、多チャネル信号に含まれる特定の信号を抽出または抑圧する場合において、ステレオ感を損なわず再現性の良いステレオ信号を出力することができる。また、時間領域のみの信号処理となるため、第１の発明に比べて演算量が軽減される。
【００２１】
また、第３の発明に係る多チャネル信号処理装置は、各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換して各々のパワースペクトル密度を演算し、該パワースペクトル密度から各々得られるスペクトルエントロピーに基づいて前記第２信号のスペクトル信号と推定される推定第２スペクトル信号を抽出し、周波数領域の信号である前記推定第２スペクトル信号を時間領域の信号に変換して前記第２信号と推定される時間領域の推定第２信号を抽出する抽出手段と、前記抽出手段で抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する推定手段と、を含んで構成されている。
【００２２】
第３の発明に係る多チャネル信号処理装置によれば、抽出手段が、各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換して各々のパワースペクトル密度を演算し、パワースペクトル密度から各々得られるスペクトルエントロピーに基づいて第２信号のスペクトル信号と推定される推定第２スペクトル信号を抽出し、周波数領域の信号である推定第２スペクトル信号を時間領域の信号に変換して第２信号と推定される時間領域の推定第２信号を抽出する。推定第１信号を抽出した第１の発明の抽出手段と異なり、第２の発明の抽出手段は推定第２信号を抽出する。そして、抽出手段で抽出された時間領域の推定第２信号の分散値、観測信号の分散値から推定第２信号の分散値を差し引いて得られる第１信号の分散値、並びに複数チャネルの観測信号を用いて、複数チャネルに対応した要素を含む第２信号のみから構成される状態方程式、及び複数チャネルに対応した要素を含む第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、第１信号または第２信号を推定する。
【００２３】
これにより、多チャネル信号に含まれる特定の信号を抽出または抑圧する場合において、ステレオ感を損なわず再現性の良いステレオ信号を出力することができる。
【００２４】
また、第４の発明に係る多チャネル信号処理方法は、各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて前記第１信号のスペクトル信号と推定される推定第１スペクトル信号を抽出し、周波数領域の信号である前記推定第１スペクトル信号を時間領域の信号に変換して前記第１信号と推定される時間領域の推定第１信号を抽出し、抽出された前記時間領域の推定第１信号の分散値、前記観測信号の分散値から前記推定第１信号の分散値を差し引いて得られる前記第２信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する方法である。
【００２５】
また、第５の発明に係る多チャネル信号処理方法は、各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第２信号と推定される時間領域の推定第２信号を抽出し、抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する方法である。
【００２６】
また、第６の発明に係る多チャネル信号処理方法は、各チャネル間で共通に含まれる第１信号と、チャネル毎に異なる第２信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換して各々のパワースペクトル密度を演算し、該パワースペクトル密度から各々得られるスペクトルエントロピーに基づいて前記第２信号のスペクトル信号と推定される推定第２スペクトル信号を抽出し、周波数領域の信号である前記推定第２スペクトル信号を時間領域の信号に変換して前記第２信号と推定される時間領域の推定第２信号を抽出し、抽出された前記時間領域の推定第２信号の分散値、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、並びに前記複数チャネルの観測信号を用いて、前記複数チャネルに対応した要素を含む前記第２信号のみから構成される状態方程式、及び前記複数チャネルに対応した要素を含む前記第１信号と第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号または前記第２信号を推定する方法である。
【００２７】
また、第７の発明に係る多チャネル信号処理プログラムは、コンピュータを、上記の多チャネル信号処理装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００２８】
以上説明したように、本発明の多チャネル信号処理装置、方法、及びプログラムによれば、ステレオ及び２チャネルを含む多チャネルの入力信号に含まれる特定の信号を抽出または抑圧する場合において、ステレオ感を損なわず再現性の良い多チャネル信号を出力することができる、という効果が得られる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施の形態に係るステレオ信号処理装置の概略構成を示すブロック図である。
【図２】観測信号の観測状況を説明するための概略図である。
【図３】周波数領域変換部の処理を説明するための図である。
【図４】ボーカル信号抽出部の処理を説明するための図である。
【図５】時間領域変換部の処理を説明するための図である。
【図６】状態空間モデルを表すブロック図である。
【図７】第１の実施の形態におけるステレオ信号処理の内容を示すフローチャートである。
【図８】有色駆動原付カルマンアルゴリズムの内容を示すフローチャートである。
【図９】第２の実施の形態に係るステレオ信号処理装置の概略構成を示すブロック図である。
【図１０】第２の実施の形態におけるステレオ信号処理の内容を示すフローチャートである。
【図１１】第３の実施の形態に係るステレオ信号処理装置の概略構成を示すブロック図である。
【図１２】自己相関処理部の処理を説明するための図である。
【図１３】ピーク値検出部の処理を説明するための図である。
【図１４】第３の実施の形態におけるステレオ信号処理の内容を示すフローチャートである。
【図１５】第４の実施の形態に係るステレオ信号処理装置の概略構成を示すブロック図である。
【図１６】第４の実施の形態におけるステレオ信号処理の内容を示すフローチャートである。
【図１７】演算量軽減型有色駆動原付カルマンフィルタを説明するための図である。
【図１８】演算量軽減型有色駆動原付カルマンフィルタを説明するための図である。
【図１９】演算量軽減型有色駆動原付カルマンフィルタを説明するための図である。
【図２０】演算軽減型有色駆動原付カルマンアルゴリズムの内容を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜第１の実施の形態＞
第１の実施の形態では、本発明の第１信号の一例を、例えばＬチャネルマイクとＲチャネルマイクとの中央付近を音源位置とするボーカル信号とし、本発明の第２信号の一例を、例えば楽器等を音源とする楽曲信号とする場合について説明する。
【００３１】
図１に示すように、第１の実施の形態に係るステレオ信号処理装置１０は、Ａ／Ｄ変換部１２Ｌ，１２Ｒと、周波数領域変換部１４Ｌ，１４Ｒと、スペクトル比演算部１６と、ボーカル信号抽出部１８と、時間領域変換部２０と、楽曲信号推定部２２と、Ｄ／Ａ変換部２４Ｌ，２４Ｒとを含んで構成されている。ステレオ信号処理装置１０は、ＡＳＩＣ（Application Specific Integrated Circuit）等の半導体集積回路により構成することができる。
【００３２】
Ａ／Ｄ変換部１２Ｌ，１２Ｒは、外部から入力されたアナログ信号である観測信号ｘＬ(ｎ)，ｘＲ(ｎ)（図１中では観測信号Ｌ，観測信号Ｒと表記。以下、図９、１１、１５においても同様）を各々ディジタル信号に変換し、ディジタル信号に変換した観測信号ｘＬ(ｎ)，ｘＲ(ｎ)を各々周波数領域変換部１４Ｌ，１４Ｒへ出力する。
【００３３】
ここで、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)は、図２に示すように、楽曲信号（Ｌチャネル信号ｉＬ(ｎ)，Ｒチャネル信号ｉＲ(ｎ)）と、ボーカル信号ｄ(ｎ)とを観測した信号である。時刻ｎにおいて、Ｌチャネルマイクで観測されたＬチャネルの観測信号がｘＬ(ｎ)、Ｒチャネルマイクで観測されたＲチャネルの観測信号がｘＲ(ｎ)である。観測信号ｘＬ(ｎ)，ｘＲ(ｎ)は、下記（１）式及び（２）式で表される。
【００３４】
ｘＬ(ｎ)＝ ｄ(ｎ)＋ｉＬ(ｎ)        （１）
ｘＲ(ｎ)＝ ｄ(ｎ)＋ｉＲ(ｎ)        （２）
周波数領域変換部１４Ｌ，１４Ｒは、Ａ／Ｄ変換部１２Ｌ，１２Ｒから入力された時間領域の信号である観測信号ｘＬ(ｎ)，ｘＲ(ｎ)を各々周波数領域の観測信号ＸＬ(ｌ，ｋ)，ＸＲ(ｌ，ｋ)に変換し、スペクトル比演算部１６及びボーカル信号抽出部１８へ出力する。具体的には、周波数領域変換部１４Ｌ，１４Ｒは、図３に示すように、所定フレーム長のフレーム内の観測信号ｘＬ(ｌ，ｎ)，ｘＲ(ｌ，ｎ)各々を、下記（３）式及び（４）式によりフーリエ変換して、各周波数ビンのスペクトルに変換する。ここで、２Ｍは１フレーム当たりのサンプル数、ｌはフレーム番号、ｋは周波数ビン番号である。また、以下では、周波数領域の信号に変換された観測信号を「観測スペクトル」ともいう。
【００３５】
【数１】
0005971646.tif 000002
スペクトル比演算部１６は、周波数領域変換部１４Ｌ，１４Ｒから入力された観測スペクトル｜ＸＬ(ｌ，ｋ)｜と｜ＸＲ(ｌ，ｋ)｜とのスペクトル比を演算し、ボーカル信号抽出部１８に出力する。ボーカル信号は、（１）式及び（２）式に示すようにＬチャネルの観測信号ｘＬ(ｎ)とＲチャネルの観測信号ｘＲ(ｎ)とに同等に含まれる。そのため、観測スペクトルにおいても、下記（５）式及び（６）式に示すように、Ｌチャネルの観測スペクトル｜ＸＬ(ｌ，ｋ)｜とＲチャネルの観測スペクトル｜ＸＲ(ｌ，ｋ)｜とに、ボーカル信号のスペクトル｜Ｄ(ｌ，ｋ)｜が同等に含まれる。なお、｜ＩＬ(ｌ，ｋ)｜及び｜ＩＲ(ｌ，ｋ)｜はＬチャネルの楽曲信号のスペクトル及びＲチャネルの楽曲信号のスペクトルである。
【００３６】
｜ＸＬ(ｌ，ｋ)｜＝ ｜Ｄ(ｌ，ｋ)｜＋｜ＩＬ(ｌ，ｋ)｜  （５）
｜ＸＲ(ｌ，ｋ)｜＝ ｜Ｄ(ｌ，ｋ)｜＋｜ＩＲ(ｌ，ｋ)｜  （６）
このことから、Ｌチャネル観測スペクトルとＲチャネル観測スペクトルとのスペクトル比が小さい場合には、その信号をボーカル信号と判定し、スペクトル比が大きい場合には、その信号を楽曲信号と判定することができる。そこで、スペクトル比演算部１６は、Ｌチャネル観測スペクトルとＲチャネル観測スペクトルとのスペクトル比を演算する。特許文献１及び２では、同じ周波数帯域毎に周波数領域の信号に変換された左チャネル信号と右チャネル信号との類似度を計算するが、本実施の形態では、下記（７）式により、Ｌチャネル観測スペクトルとＲチャネル観測スペクトルとのスペクトル比Ａｅ(ｌ，ｋ)を演算する。
【００３７】
【数２】
0005971646.tif 000003
ボーカル信号抽出部１８は、スペクトル比演算部１６から入力されたスペクトル比Ａｅ(ｌ，ｋ)に基づいて、周波数領域変換部１４Ｌ，１４Ｒから入力された観測スペクトル｜ＸＬ(ｌ，ｋ)｜，｜ＸＲ(ｌ，ｋ)｜からボーカル信号と推定される信号（以下、「推定ボーカル信号」という）のスペクトル（以下、「推定ボーカルスペクトル」という）を抽出し、時間領域変換部２０へ出力する。具体的には、スペクトル比Ａｅ(ｌ，ｋ)に基づいて、各フレームの観測スペクトルの周波数ビン毎にボーカル信号か楽曲信号かを判定する。そして、下記（８）式に示すように、ボーカル信号と判定された場合には観測スペクトルをそのまま抽出し、楽曲信号と判定された場合にはその観測スペクトルを抑圧することで、推定ボーカルスペクトル｜Ｄ^(ｌ，ｋ)｜を抽出する。なお、特許文献２では、目的音源信号である楽曲信号を抽出しているが、ここでは、最終的な抽出対象である楽曲信号ではなく推定ボーカルスペクトルを抽出する。
【００３８】
【数３】
0005971646.tif 000004
ここで、αはＬチャネルマイクとＲチャネルマイクとの中央付近に定位している音源信号（ここではボーカル信号）以外の音源信号（ここでは楽曲信号）をどの程度許容するかを決定する閾値であり、０≦α≦１である。またｋ０は楽曲信号の抑圧度を調節するための係数で、０≦ｋ０≦１である。図４に示すように、ｋ０＝０の場合、楽曲信号は完全に抑圧される。なお、（８）式では観測スペクトル｜ＸＬ(ｌ，ｋ)｜から推定ボーカルスペクトル｜Ｄ^(ｌ，ｋ)｜を抽出する場合を示しているが、観測スペクトル｜ＸＲ(ｌ，ｋ)｜を用いてもよい。
【００３９】
なお、上記処理を図４に示すように、ボーカル帯域Ｗ０に対してのみ行うようにしてもよい。Ｗ０は観測信号に含まれるボーカル信号の帯域を指定する係数である。男性ボーカルの場合ボーカル信号は低い帯域に集中し、女性ボーカルの場合ボーカル信号は高い帯域に集中する。そのことより、Ｗ０のような処理帯域を設けることで、特許文献１の手法のように観測信号の全帯域に渡って処理をするような場合と比較して、演算量を軽減することができる。また、本実施の形態では、第１信号をボーカル信号としているため、ボーカル信号の特性に応じた処理帯域Ｗ０を設定しているが、第１信号をどのような信号とするかに応じて、その信号の特性に応じた処理帯域Ｗ０を設定すればよい。
【００４０】
時間領域変換部２０は、ボーカル信号抽出部１８から入力された推定ボーカルスペクトル｜Ｄ^(ｌ，ｋ)｜を、下記（９）式により逆フーリエ変換して、時間領域の推定ボーカル信号ｄ^(ｌ，ｎ)に変換する（図５も参照）。なお、特許文献１及び２の手法と比較して、逆フーリエ変換の回数が１回でよい。
【００４１】
【数４】
0005971646.tif 000005
次いで、オーバーラップアド法により１フレーム前の後半Ｍサンプルを用いた時間領域推定ボーカル信号ｄ^(ｌ−１，ｎ＋Ｍ)と現フレームの前半Ｍサンプルを用いた時間領域推定ボーカル信号ｄ^(ｌ，ｎ)とを足し合わせて、現フレームのＭサンプル時間領域推定ボーカル信号ｄ^(ｎ)（１≦ｎ≦Ｍ）を得る。オーバーラップアド法を数式で表現すると下記のように表わすことができる。
【００４２】
【数５】
0005971646.tif 000006
楽曲信号推定部２２は、時間領域変換部２０から入力された推定ボーカル信号ｄ^(ｎ)と、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)とに基づいて、楽曲信号と推定される信号（以下、「推定楽曲信号」という）を抽出する。本実施の形態では、ＡＲ係数の推定を用いない有色駆動源付カルマンフィルタにより、観測信号に含まれる特定の信号（ここでは楽曲信号）を抽出する。
【００４３】
具体的には、観測信号を、下記（１０）式に示す楽曲信号のみから構成される状態方程式、及びボーカル信号と楽曲信号とから構成される観測方程式で表される状態空間モデルに置き換える。
【００４４】
【数６】
0005971646.tif 000007
ただし、（１０）式中のベクトルｘｐ２、δｐ２、ｙｐ２、εｐ２、Φｐ２及びＭｐ２は、下記（１１）式でそれぞれ定義される。ベクトルｘｐ２は所望の楽曲信号からなる２Ｌｐ２×１次の状態ベクトル、ベクトルδｐ２は２Ｌｐ２×１次の駆動源ベクトル、ベクトルｙｐ２は２×１次の観測信号ベクトル、ベクトルεｐ２は２×１次のボーカル信号ベクトルである。行列Φｐ２は０及び１のみで構成される状態遷移行列、行列Ｍｐ２は２×２Ｌｐ２次の観測遷移行列である。また、図６は、この状態空間モデルを表すブロック図である。なお、２Ｌｐ２は、状態遷移行列のサイズである。また、ｐ２は有色駆動原付カルマンフィルタが適用される状態方程式及び観測方程式の変数であることを表す添え字である。
【００４５】
【数７】
0005971646.tif 000008
（１０）式における状態方程式は、推定対象（ここでは楽曲信号）のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数（ここでは、状態ベクトルｘｐ２）の時間変化を表している。また、（１０）式における観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果（ここでは、観測信号ベクトルｙｐ２）が、被観測量つまり入力（ここでは、状態ベクトルｘｐ２）に依存して時間発展する様子を示している。なお、「時刻ｎにおける状態ベクトルｘｐ２(ｎ)」とは、時刻ｎまでの楽曲信号からなる状態ベクトルを意味する。
【００４６】
（１０）式に示す状態方程式及び観測方程式により、下記に示すＬ・Ｒチャネル結合型カルマンアルゴリズムを導出する。
【００４７】
【数８】
0005971646.tif 000009
上記のアルゴリズムは、初期設定の過程［Initialization］と反復の過程［Iteration］とに大別され、反復の過程では、１〜５の手順を逐次繰り返す。なお、各過程及び手順の詳細な処理フローは後述し、ここでは、各過程及び手順の概略について説明する。
【００４８】
初期設定の過程では、推定する楽曲信号を示す状態ベクトルの最適推定値（以下、「最適推定値ベクトル」という）の初期値ｘ^ｐ２(０｜０)、状態ベクトルを推定した場合の誤差である共分散行列の初期値Ｐｐ２(０｜０)、ボーカル信号の分散値Ｒεｐ２(ｎ)[ｉ，ｊ]、及び楽曲信号の分散値Ｒδｐ２(ｎ)[ｉ，ｊ]の値を、上記のようにそれぞれ設定する。なお、楽曲信号の分散値は、観測信号の分散値からボーカル信号の分散値を差し引いたものである。また、＊[ｉ，ｊ]は、変数名＊のｉ行ｊ列の要素、Ｉは単位行列を示す。
【００４９】
また、反復の過程では、手順１において、時刻ｎまでの情報により時刻ｎ＋１の状態ベクトルを推定した場合の誤差である共分散行列Ｐｐ２(ｎ＋１｜ｎ)を計算する。次に、手順２において、観測信号ベクトルの推定誤差にカルマンゲイン行列をかけて、時刻ｎまでの情報による時刻ｎ＋１での最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ)を加えたものが、時刻ｎ＋１までの情報によるその時刻での最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ＋１)になるようなカルマンゲイン行列Ｋｐ２(ｎ＋１)を計算する。
【００５０】
次に、手順３において、時刻ｎまでの情報による時刻ｎ＋１での最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ)を計算する。次に、手順４において、時刻ｎ＋１までの情報によるその時刻での最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ＋１)を計算する。手順３及び４で、状態量の更新が行われる。次に、手順５において、時刻ｎ＋１までの情報によりその時刻の共分散行列を更新する。
【００５１】
楽曲信号推定部２２は、上記の反復過程を所定回数繰り返して、手順４により得られた最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ＋１)の１行１列目をＬチャネルの推定楽曲信号ｉ^Ｌ(ｎ)として、（Ｌｐ２＋１）行１列目をＲチャネルの推定楽曲信号ｉ^Ｒ(ｎ)として、各々をＤ／Ａ変換部２４Ｌ，２４Ｒへ出力する。
【００５２】
Ｄ／Ａ変換部２４Ｌ，２４Ｒは、楽曲信号推定部２２から入力されたディジタル信号である推定楽曲信号ｉ^Ｌ(ｎ)及びｉ^Ｒ(ｎ)を各々アナログ信号に変換して、最終的な出力信号Ｌ，Ｒとして出力する。
【００５３】
次に、図７を参照して、第１の実施の形態に係るステレオ信号処理装置１０の作用について説明する。
【００５４】
ステップ１００で、Ａ／Ｄ変換部１２Ｌ，１２Ｒが、外部から入力されたアナログ信号である観測信号ｘＬ(ｎ)，ｘＲ(ｎ)を各々ディジタル信号に変換する。次に、ステップ１０２で、周波数領域変換部１４Ｌ，１４Ｒが、上記ステップ１００でディジタル信号に変換された時間領域の信号である観測信号ｘＬ(ｎ)，ｘＲ(ｎ)を各々周波数領域の信号である観測スペクトル｜ＸＬ(ｌ，ｋ)｜，｜ＸＲ(ｌ，ｋ)｜に変換する。
【００５５】
次に、ステップ１０４で、スペクトル比演算部１６が、上記ステップ１０２で変換された観測スペクトル｜ＸＬ(ｌ，ｋ)｜と｜ＸＲ(ｌ，ｋ)｜とのスペクトル比Ａｅ(ｌ，ｋ)を演算する。次に、ステップ１０６で、ボーカル信号抽出部１８が、上記ステップ１０４で演算されたスペクトル比Ａｅ(ｌ，ｋ)が予め定めた閾値αより大きいか否かを判定する。Ａｅ(ｌ，ｋ)＞αの場合には、ステップ１０８へ移行し、その信号を楽曲信号とみなして、楽曲信号の抑圧度を調節するための係数ｋ０（０≦ｋ０≦１）を例えばｋ０＝０として観測スペクトル｜ＸＬ(ｌ，ｋ)｜または｜ＸＲ(ｌ，ｋ)｜に乗算することにより楽曲信号を抑圧する。一方、Ａｅ(ｌ，ｋ)≦αの場合には、ステップ１１０へ移行し、その信号をボーカル信号とみなして、例えばｋ０＝１として、観測スペクトル｜ＸＬ(ｌ，ｋ)｜または｜ＸＲ(ｌ，ｋ)｜を推定ボーカルスペクトル｜Ｄ^(ｌ，ｋ)｜として抽出する。
【００５６】
次に、ステップ１１２で、時間領域変換部２０は、上記ステップ１０８及び１１０の処理を経て抽出された推定ボーカルスペクトル｜Ｄ^(ｌ，ｋ)｜を、（９）式により逆フーリエ変換して、時間領域の推定ボーカル信号ｄ^(ｌ，ｎ)に変換する。次いで、オーバーラップアド法により１フレーム前の後半Ｍサンプルを用いた時間領域推定ボーカル信号ｄ^(ｌ−１，ｎ＋Ｍ)と現フレームの前半Ｍサンプルを用いた時間領域推定ボーカル信号ｄ^(ｌ，ｎ)とを足し合わせて、現フレームのＭサンプル時間領域推定ボーカル信号ｄ^(ｎ)（１≦ｎ≦Ｍ）を得る。
【００５７】
次に、ステップ１１４で、楽曲信号推定部２２が、推定ボーカル信号ｄ^(ｎ)と、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)とに基づいて、楽曲信号推定処理を実行することにより、推定楽曲信号を抽出する。楽曲信号推定処理は、図８に示す有色駆動原付カルマンアルゴリズムに相当する。ここで、図８を参照して、有色駆動原付カルマンアルゴリズムのフローについて説明する。
【００５８】
ステップ１１４０で、（１０）式に示す状態方程式及び観測方程式により状態空間モデルを定義し、最適推定値ベクトルの初期値ｘ^ｐ２(０｜０)、状態ベクトルを推定した場合の誤差である共分散行列の初期値Ｐｐ２(０｜０)、ボーカル信号の分散値Ｒεｐ２(ｎ) [ｉ，ｊ]、及び楽曲信号の分散値Ｒδｐ２(ｎ)[ｉ，ｊ]を、上述の初期設定の過程［Initialization］に示した初期状態に設定する。また、時刻を示す変数ｎを０に設定する。
【００５９】
次に、ステップ１１４２で、上記ステップ１１４０で定義した状態空間モデルにおける状態遷移行列Φｐ２、設定した状態ベクトルの共分散行列の初期値Ｐｐ２(０｜０)（ｎ＝０の場合）、または１時刻前に後述するステップ１１５０で更新された共分散行列Ｐｐ２(ｎ｜ｎ) （ｎ≧１の場合）、及び楽曲信号の分散値Ｒδｐ２(ｎ＋１)[ｉ，ｊ]の値を用いて、時刻ｎまでの情報により時刻ｎ＋１の状態ベクトルを推定した場合の誤差である共分散行列Ｐｐ２(ｎ＋１｜ｎ)を計算する（上述の反復の過程［Iteration］の手順１）。
【００６０】
次に、ステップ１１４４で、上記ステップ１１４２で計算した共分散行列Ｐｐ２(ｎ＋１｜ｎ)、上記ステップ１１４０で定義した状態空間モデルにおける観測遷移行列Ｍｐ２、及びボーカル信号の分散値Ｒεｐ２(ｎ) [ｉ，ｊ]を用いて、カルマンゲイン行列Ｋｐ２(ｎ＋１)を計算する（同手順２）。
【００６１】
次に、ステップ１１４６で、状態遷移行列Φｐ２、及び上記ステップ１１４０で設定した最適推定値ベクトルの初期値ｘ^ｐ２(０｜０) （ｎ＝０の場合）、または１時刻前に本ステップで得られた最適推定値ベクトルｘ^ｐ２(ｎ｜ｎ) （ｎ≧１の場合）を用いて、時刻ｎまでの情報による時刻ｎ＋１での最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ)を計算する（同手順３）。そして、計算した最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ)、上記ステップ１１４４で計算したカルマンゲイン行列Ｋｐ２(ｎ＋１)、観測ベクトルｙｐ２(ｎ＋１)、及び観測遷移行列Ｍｐ２を用いて、時刻ｎ＋１までの情報によるその時刻での最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ＋１)を計算する（同手順４）。
【００６２】
次に、ステップ１１４８で、処理を終了するか否かを判定する。この判定は、時刻ｎが所定のサンプル数Ｎに達した場合を処理終了と判定してもよいし、サンプルがなくなった時点で処理終了と判定してもよい。処理を終了しない場合には、ステップ１１５０へ移行し、処理を終了する場合には、ステップ１１５４へ移行する。
【００６３】
ステップ１１５０では、単位行列Ｉ、カルマンゲイン行列Ｋｐ２(ｎ＋１)、観測遷移行列Ｍｐ２、及び上記ステップ１１４２で計算された共分散行列Ｐｐ２(ｎ＋１｜ｎ)を用いて、時刻ｎ＋１までの情報によるその時刻での共分散行列Ｐｐ２(ｎ＋１｜ｎ＋１)を更新する。次に、ステップ１１５２で、ｎを１インクリメントして、ステップ１１４２へ戻る。
【００６４】
一方、ステップ１１５４では、上記ステップ１１４６で計算された最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ＋１) の１行１列目をＬチャネルの推定楽曲信号ｉ^Ｌ(ｎ)として、（Ｌｐ２＋１）行１列目をＲチャネルの推定楽曲信号ｉ^Ｒ(ｎ)として出力し、図７の処理へリターンする。
【００６５】
次に、ステップ１１６で、Ｄ／Ａ変換部２４Ｌ，２４Ｒが、上記ステップ１１４の処理により出力されたディジタル信号である推定楽曲信号ｉ^Ｌ(ｎ)及びｉ^Ｒ(ｎ)を各々アナログ信号に変換して、最終的な出力信号Ｌ，Ｒとして出力し、処理を終了する。
【００６６】
以上説明したように、第１の実施の形態のステレオ信号処理装置によれば、Ｌチャネル及びＲチャネルの観測スペクトルの比に基づいて抽出した推定ボーカル信号と観測信号とに、有色駆動源付カルマンフィルタを適用して推定楽曲信号を抽出するため、ステレオ感を損なわず再現性の良いステレオ信号を出力することができる。
【００６７】
また、抽出したボーカルスペクトルを時間領域の信号に変換するための逆フーリエ変換が１回でよい。
＜第２の実施の形態＞
第２の実施の形態では、本発明の第１信号の一例を、例えばＬチャネルマイクとＲチャネルマイクとの中央付近を音源位置とするボーカル信号とし、本発明の第２信号の一例を、例えば楽器等を音源とする楽曲信号とする場合について説明する。
【００６８】
第２の実施の形態では、ボーカル信号または楽曲信号を選択的に抽出する場合について説明する。なお、第２の実施の形態のステレオ信号処理装置について、第１の実施の形態のステレオ信号処理装置１０と同一の部分については、同一符号を付して詳細な説明を省略する。
【００６９】
図９に示すように、第２の実施の形態に係るステレオ信号処理装置２１０は、Ａ／Ｄ変換部１２Ｌ，１２Ｒと、周波数領域変換部１４Ｌ，１４Ｒと、スペクトル比演算部１６と、ボーカル信号抽出部１８と、時間領域変換部２０と、特定信号推定部２２２と、Ｄ／Ａ変換部２４Ｌ，２４Ｒとを含んで構成されている。
【００７０】
特定信号推定部２２２は、楽曲信号またはボーカル信号のいずれを抽出するかを選択するための選択信号に従って、時間領域変換部２０から入力された推定ボーカル信号ｄ^(ｎ)と、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)とに基づいて、推定楽曲信号または推定ボーカル信号を抽出する。選択信号が楽曲信号を抽出することを示すものである場合には、特定信号推定部２２２は、第１の実施の形態の楽曲信号推定部２２と同様の処理により、推定楽曲信号を抽出する。
【００７１】
一方、選択信号がボーカル信号を抽出することを示すものである場合には、下記に示すＬ・Ｒチャネル結合型有色駆動原付カルマンアルゴリズムにより、推定ボーカル信号を抽出する。なお、初期設定の過程［Initialization］については、第１の実施の形態と同様であるため記載を省略する。
【００７２】
【数９】
0005971646.tif 000010
推定ボーカル信号を抽出する場合には、第１の実施の形態における反復の過程［Iteration］の手順１の楽曲信号の分散値Ｒδｐ２(ｎ＋１) [ｉ，ｊ]と、手順２のボーカル信号の分散値Ｒεｐ２(ｎ＋１) [ｉ，ｊ]とを入れ替える。これにより、手順４において計算される最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ＋１)の１行１列目または（Ｌｐ２＋１）行１列目を、推定ボーカル信号ｄ'^ｐ２(ｎ)として得ることができる。ここで得られる推定ボーカル信号は、ミュージカルノイズのない信号となる。
【００７３】
次に、図１０を参照して、第２の実施の形態に係るステレオ信号処理装置１０の作用について説明する。なお、第１の実施の形態における処理と同一の処理については、同一符号を付して詳細な説明を省略する。
【００７４】
ステップ１００〜１１２を経て、スペクトル比に基づいて抽出された推定ボーカルスペクトル｜Ｄ^(ｌ，ｋ)｜を、時間領域の推定ボーカル信号ｄ^(ｎ)に変換する。
【００７５】
次に、ステップ２００で、特定信号推定部２２２が、選択信号に基づいて楽曲信号またはボーカル信号のいずれを抽出するかを判定する。楽曲信号を抽出すると判定された場合には、ステップ１１４へ移行して、楽曲信号推定部２２が、推定ボーカル信号ｄ^(ｎ)と、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)とに基づいて、楽曲信号推定処理を実行することにより、推定楽曲信号を抽出する。
【００７６】
一方、ボーカル信号を抽出すると判定された場合には、ステップ２０２へ移行し、楽曲信号推定部２２が、推定ボーカル信号ｄ^(ｎ)と、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)とに基づいて、ボーカル信号推定処理を実行することにより、推定ボーカル信号を抽出する。
【００７７】
ボーカル信号推定処理は、第１の実施の形態と同様に、図８に示す有色駆動原付カルマンアルゴリズムに相当する。ここでは、楽曲信号推定処理として実行される有色駆動原付カルマンアルゴリズムのフローと異なる処理について説明する。
【００７８】
ボーカル信号推定処理として実行されるカルマンアルゴリズムでは、ステップ１１４２で、楽曲信号の分散値Ｒδｐ２(ｎ＋１) [ｉ，ｊ]を、ボーカル信号の分散値Ｒεｐ２(ｎ) [ｉ，ｊ]に入れ替えて、時刻ｎまでの情報により時刻ｎ＋１の状態ベクトルを推定した場合の誤差である共分散行列Ｐｐ２(ｎ＋１｜ｎ)を計算する（上述の反復の過程［Iteration］の手順１）。
【００７９】
また、ステップ１１４４で、ボーカル信号の分散値Ｒεｐ２(ｎ) [ｉ，ｊ]を、楽曲信号の分散値Ｒδｐ２(ｎ＋１)に入れ替えて、カルマンゲイン行列Ｋｐ２(ｎ＋１)を計算する（同手順２）。
【００８０】
また、ステップ１１５４では、上記ステップ１１４６で計算された最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ＋１) の１行１列目または（Ｌｐ２＋１）行１列目を推定ボーカル信号ｄ'^ｐ２(ｎ)として出力し、図１０の処理へリターンする。ここで得られる推定ボーカル信号は、ミュージカルノイズのない信号となる。
【００８１】
以上説明したように、第２の実施の形態のステレオ信号処理装置によれば、第１の実施の形態の効果に加え、所望の信号（ボーカル信号または楽曲信号）を選択的に抽出することができる。
＜第３の実施の形態＞
第３の実施の形態では、本発明の第１信号の一例を、例えばＬチャネルマイクとＲチャネルマイクとの中央付近を音源位置とするボーカル信号（音声信号）とし、本発明の第２信号の一例を、例えば白色雑音に近い雑音信号とする場合について説明する。
【００８２】
第３の実施の形態では、図２に示すような状況において観測された観測信号から、雑音信号を抑圧する場合について説明する。なお、第３の実施の形態のステレオ信号処理装置について、第１の実施の形態のステレオ信号処理装置１０と同一の部分については、同一符号を付して詳細な説明を省略する。
【００８３】
図１１に示すように、第３の実施の形態に係るステレオ信号処理装置３１０は、Ａ／Ｄ変換部１２Ｌ，１２Ｒと、自己相関処理部２６Ｌ，２６Ｒと、ピーク値検出部２８Ｌ，２８Ｒと、雑音判定部３０Ｌ，３０Ｒと、雑音抑圧部３２２と、Ｄ／Ａ変換部２４Ｌ，２４Ｒとを含んで構成されている。
【００８４】
自己相関処理部２６Ｌ，２６Ｒは、Ａ／Ｄ変換部１２Ｌ，１２Ｒから入力された時間領域の信号である観測信号ｘＬ(ｎ)，ｘＲ(ｎ)各々の自己相関関数を計算し、ピーク値検出部２８Ｌ，２８Ｒへ各々出力する。具体的には、自己相関処理部２６Ｌ，２６Ｒは、図１２に示すように、観測信号をＬサンプルでフレーム分割する。ｌフレーム目のｉ番目のサンプルに関する観測信号ｘＬ(ｌ，ｉ)，ｘＲ(ｌ，ｉ)は、下記（１２）式及び（１３）式で表される。
【００８５】
ｘＬ(ｌ，ｉ)＝ ｄ(ｌ，ｉ)＋ｉＬ(ｌ，ｉ)        （１２）
ｘＲ(ｌ，ｉ)＝ ｄ(ｌ，ｉ)＋ｉＲ(ｌ，ｉ)        （１３）
自己相関処理部２６Ｌ，２６Ｒは、遅れ時間をτとして、下記（１４）式及び（１５）式により、Ｌチャネル及びＲチャネル観測信号各々の自己相関関数ＲｘＬ(ｌ，τ)， ＲｘＲ(ｌ，τ)（τ＝０，・・・，Ｌ−１）を計算する。
【００８６】
【数１０】
0005971646.tif 000011
ピーク値検出部２８Ｌ，２８Ｒは、自己相関処理部２６Ｌ，２６Ｒから各々入力された自己相関関数ＲｘＬ(ｌ，τ)，ＲｘＲ(ｌ，τ)におけるピーク値を検出し、各々雑音判定部３０Ｌ，３０Ｒへ出力する。具体的には、自己相関関数ＲｘＬ(ｌ，τ)，ＲｘＲ(ｌ，τ)において、τ＝０以外におけるピーク値を、下記（１６）式及び（１７）式により検出する（図１３も参照）。なお、ｍａｘ{＊}は、関数＊の最大値を見つける処理である。
【００８７】
【数１１】
0005971646.tif 000012
雑音判定部３０Ｌ，３０Ｒは、ピーク値検出部２８Ｌ，２８Ｒから入力されたピーク値ｐＬ(ｌ)，ｐＲ(ｌ)各々に基づいて、フレーム毎に雑音信号と推定される信号（以下、「推定雑音信号」という）を各々判定して、雑音抑圧部３２２へ出力する。具体的には、下記（１８）式及び（１９）式に従って、ピーク値ｐＬ(ｌ)，ｐＲ(ｌ)各々と閾値σ１とを比較し、ピーク値が閾値σ１より大きい場合には、フレームｌをボーカル信号（音声信号）と判定し、１フレーム前の推定雑音信号をコピーして、フレームｌの推定雑音信号ｉ^Ｌ(ｌ，ｉ)， ｉ^Ｒ(ｌ，ｉ)とする。一方、ピーク値が閾値σ１より小さい場合には、フレームｌを雑音信号と判定し、そのまま推定雑音信号ｉ^Ｌ(ｌ，ｉ) ， ｉ^Ｒ(ｌ，ｉ)とする。なお、閾値σ１は観測信号のＳＮＲによって決まる値である。
【００８８】
【数１２】
0005971646.tif 000013
雑音抑圧部３２２は、雑音判定部３０Ｌ，３０Ｒから入力された推定雑音信号ｉ^Ｌ(ｌ，ｉ)， ｉ^Ｒ(ｌ，ｉ)と、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)とに基づいて、雑音信号を抑圧する。具体的には、下記に示すＬ・Ｒチャネル結合型有色駆動原付カルマンアルゴリズムにより、雑音信号を抑圧する。なお、反復の過程［Iteration］については、第１の実施の形態と同様であるため記載を省略する。
【００８９】
【数１３】
0005971646.tif 000014
初期設定の過程では、最適推定値ベクトルの初期値ｘ^ｐ２(０｜０)、状態ベクトルを推定した場合の誤差である共分散行列の初期値Ｐｐ２(０｜０)、雑音信号の分散値行列Ｒδｐ２(ｎ)のｉ行ｊ列の要素Ｒδｐ２(ｎ)[ｉ，ｊ]、及びボーカル信号の分散値行列Ｒεｐ２(ｎ)の値を、上記のようにそれぞれ設定する。なお、ボーカル信号の分散値は、観測信号の分散値から雑音信号の分散値を差し引いたものである。以下、第１の実施の形態と同様に、反復の過程を実行し、反復の過程の手順４において計算される最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ＋１)の１行１列目または（Ｌｐ２＋１）行１列目を、推定ボーカル信号ｄ^(ｎ)として得ることができる。すなわち、観測信号において雑音信号が抑圧された信号が得られる。
【００９０】
次に、図１４を参照して、第３の実施の形態に係るステレオ信号処理装置３１０の作用について説明する。なお、第１の実施の形態における処理と同一の処理については、同一符号を付して詳細な説明を省略する。
【００９１】
ステップ１００で、Ａ／Ｄ変換部１２Ｌ，１２Ｒが、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)を各々ディジタル信号に変換する。次に、ステップ３００で、自己相関処理部２６Ｌ，２６Ｒが、遅れ時間をτとして、（１４）式及び（１５）式により、Ｌチャネル及びＲチャネル各々の自己相関関数ＲｘＬ(ｌ，τ)， ＲｘＲ(ｌ，τ)（τ＝０，・・・，Ｌ−１）を計算する。
【００９２】
次に、ステップ３０２で、ピーク値検出部２８Ｌ，２８Ｒが、上記ステップ３００で計算された自己相関関数ＲｘＬ(ｌ，τ)，ＲｘＲ(ｌ，τ)各々のτ＝０以外におけるピーク値ｐＬ(ｌ)，ｐＲ(ｌ)を検出する。
【００９３】
次に、ステップ３０４で、雑音判定部３０Ｌが、ピーク値ｐＬ(ｌ)が閾値σ１より大きいか否かを判定する。ｐＬ(ｌ)＞σ１の場合には、ステップ３０６へ移行し、フレームｌをボーカル信号と判定し、１フレーム前の推定雑音信号をコピーして、フレームｌの推定雑音信号ｉ^Ｌ(ｌ，ｉ)とする。一方、ｐＬ(ｌ)≦σ１の場合には、ステップ３０８へ移行し、フレームｌを雑音信号と判定し、そのまま推定雑音信号ｉ^Ｌ(ｌ，ｉ)とする。
【００９４】
Ｒチャネルについても同様に、雑音判定部３０Ｒが、ステップ３０４〜３０８を実行して、フレームｌの推定雑音信号ｉ^Ｒ(ｌ，ｉ)を判定する。
【００９５】
次に、ステップ３１０で、雑音抑圧部３２２が、推定雑音信号ｉ^Ｌ(ｌ，ｉ)， ｉ^Ｒ(ｌ，ｉ)と、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)とに基づいて、雑音抑圧処理を実行することにより、雑音信号を抑圧する。
【００９６】
雑音抑圧処理は、第１の実施の形態と同様に、図８に示す有色駆動原付カルマンアルゴリズムに相当する。ここでは、第１の実施の形態の楽曲信号推定処理として実行される有色駆動原付カルマンアルゴリズムのフローと異なる処理について説明する。
【００９７】
雑音抑圧処理として実行される有色駆動原付カルマンアルゴリズムでは、ステップ１１４０で、最適推定値ベクトルの初期値ｘ^ｐ２(０｜０)、状態ベクトルを推定した場合の誤差である共分散行列の初期値Ｐｐ２(０｜０)、雑音信号の分散値行列Ｒδｐ２(ｎ)のｉ行ｊ列の要素Ｒδｐ２(ｎ)[ｉ，ｊ]、及びボーカル信号の分散値行列Ｒεｐ２(ｎ)の値を、上記のようにそれぞれ設定する。
【００９８】
また、ステップ１１５４では、上記ステップ１１４６で計算された最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ＋１) の１行１列目または（Ｌｐ２＋１）行１列目を推定ボーカル信号ｄ^(ｎ)、すなわち、観測信号において雑音信号が抑圧された推定音声信号として出力し、図１４の処理へリターンする。
【００９９】
以上説明したように、第３の実施の形態のステレオ信号処理装置によれば、第１の実施の形態の効果に加え、自己相関を用いて推定された推定雑音信号を用いて有色駆動源型のカルマンフィルタを適用することにより、白色性の雑音に対して抑圧効果を高めることができる。また、時間領域の信号処理のみであるため、演算量を削減できる。
＜第４の実施の形態＞
第４の実施の形態では、本発明の第１信号の一例を、例えばＬチャネルマイクとＲチャネルマイクとの中央付近を音源位置とするボーカル信号（音声信号）とし、本発明の第２信号の一例を、例えば雑音信号とする場合について説明する。
【０１００】
第４の実施の形態について説明する。第４の実施の形態では、図２に示すような状況において観測された観測信号から、雑音信号を抑圧する場合について説明する。なお、第４の実施の形態のステレオ信号処理装置について、第１の実施の形態のステレオ信号処理装置１０及び第３の実施の形態のステレオ信号処理装置３１０と同一の部分については、同一符号を付して詳細な説明を省略する。
【０１０１】
図１５に示すように、第４の実施の形態に係るステレオ信号処理装置４１０は、Ａ／Ｄ変換部１２Ｌ，１２Ｒと、周波数領域変換部１４Ｌ，１４Ｒと、スペクトル密度演算部３２Ｌ，３２Ｒと、スペクトルエントロピー演算部３４Ｌ，３４Ｒと、雑音判定部４３０Ｌ，４３０Ｒと、時間領域変換部２０Ｌ，２０Ｒと、雑音抑圧部３２２と、Ｄ／Ａ変換部２４Ｌ，２４Ｒとを含んで構成されている。
【０１０２】
スペクトル密度演算部３２Ｌ，３２Ｒは、周波数領域変換部１４Ｌ，１４Ｒから入力された観測スペクトル｜ＸＬ(ｌ，ｋ)｜，｜ＸＲ(ｌ，ｋ)｜に基づいて、下記（２０）式及び（２１）式により、Ｌチャネル及びＲチャネル観測信号各々のパワースペクトル密度ＰＬ(ｌ，ｋ)， ＰＲ(ｌ，ｋ)を演算し、スペクトルエントロピー演算部３４Ｌ，３４Ｒへ入力する。ｌはフレーム番号、ｋは周波数ビン番号である。
【０１０３】
【数１４】
0005971646.tif 000015
ここで、ボーカル信号（音声信号）のスペクトルは、２５０〜４０００Ｈｚの周波数帯域内に存在することを考慮し、ｋ≦２５０Ｈｚまたはｋ≧４０００Ｈｚの場合には、｜ＸＬ(ｌ，ｋ)｜＝｜ＸＲ(ｌ，ｋ)｜＝０とする。
【０１０４】
スペクトルエントロピー演算部３４Ｌ，３４Ｒは、スペクトル密度演算部３２Ｌ，３２Ｒから入力されたスペクトル密度ＰＬ(ｌ，ｋ)，ＰＲ(ｌ，ｋ)に基づいて、下記（２２）式及び（２３）式により、Ｌチャネル及びＲチャネル観測信号各々のスペクトルエントロピーＨＬ(ｌ)， ＨＲ(ｌ)を演算し、雑音判定部４３０Ｌ，４３０Ｒへ入力する。
【０１０５】
【数１５】
0005971646.tif 000016
雑音判定部４３０Ｌ，４３０Ｒは、スペクトルエントロピー演算部３４Ｌ，３４Ｒから入力されたスペクトルエントロピーＨＬ(ｌ)， ＨＲ(ｌ)各々に基づいて、フレーム毎に推定雑音信号のスペクトル（以下、「推定雑音スペクトル」という）を各々判定して、時間領域変換部２０Ｌ，２０Ｒへ出力する。具体的には、下記（２４）式及び（２５）式に従って、スペクトルエントロピーＨＬ(ｌ)， ＨＲ(ｌ)各々と閾値σ２とを比較し、スペクトルエントロピーが閾値σ２より小さい場合には、フレームｌをボーカル信号（音声信号）と判定し、１フレーム前の推定雑音スペクトルをコピーして、フレームｌの推定雑音スペクトル｜Ｉ^Ｌ(ｌ，ｋ)｜，｜Ｉ^Ｒ(ｌ，ｋ)｜とする。一方、スペクトルエントロピーが閾値σ２より大きい場合には、フレームｌを雑音信号と判定し、そのまま推定雑音スペクトル｜Ｉ^Ｌ(ｌ，ｋ)｜，｜Ｉ^Ｒ(ｌ，ｋ)｜とする。
【０１０６】
【数１６】
0005971646.tif 000017
ここで、閾値σ２は以下のようにして決定する。まずＮフレーム分のスペクトルエントロピーの平均値を用いて閾値σ’２(ｌ)を下式のように導出する。
【０１０７】
【数１７】
0005971646.tif 000018
次に閾値σ’２(ｌ)と現フレームのスペクトルエントロピーとを比較し、閾値σ’２(ｌ)よりも現フレームのスペクトルエントロピーの方が小さい場合は閾値σ’２(ｌ)をα倍する。
【０１０８】
【数１８】
0005971646.tif 000019
そして過去３フレームが連続して音声信号か否かを判定した後に最終的な閾値σ２(ｌ)を得る。
【０１０９】
【数１９】
0005971646.tif 000020
もし音声信号が連続していない場合は、過去３フレーム雑音信号が連続したか否かを判定した後に最終的な閾値σ２（ｌ）を得る。
【０１１０】
【数２０】
0005971646.tif 000021
時間領域変換部２０Ｌ，２０Ｒは、雑音判定部４３０Ｌ，４３０Ｒから入力された周波数領域の信号である推定雑音スペクトル｜Ｉ^Ｌ(ｌ，ｋ)｜，｜Ｉ^Ｒ(ｌ，ｋ)｜を逆フーリエ変換して、時間領域の信号である推定雑音信号ｉ^Ｌ(ｌ，ｎ)，ｉ^Ｒ(ｌ，ｎ)に変換する。次いで、オーバーラップアド法を用いて１フレーム前の後半Ｍサンプルを用いた時間領域推定楽曲信号ｉ^Ｌ(ｌ−１，ｎ＋Ｍ)，ｉ^Ｒ(ｌ−１，ｎ＋Ｍ)と現フレームの前半Ｍサンプルを用いた時間領域推定楽曲信号ｉ^Ｌ(ｌ，ｎ)，ｉ^Ｒ(ｌ，ｎ)とを足し合わせて、現フレームのＭサンプル時間領域推定楽曲信号ｉ^Ｌ(ｎ)，ｉ^Ｒ(ｎ)（１≦ｎ≦Ｍ ）を得る。
【０１１１】
次に、図１６を参照して、第４の実施の形態に係るステレオ信号処理装置４１０の作用について説明する。なお、第１の実施の形態における処理と同一の処理については、同一符号を付して詳細な説明を省略する。
【０１１２】
ステップ１００で、Ａ／Ｄ変換部１２Ｌ，１２Ｒが、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)を各々ディジタル信号に変換し、次に、ステップ１０２で、周波数領域変換部１４Ｌ，１４Ｒが、周波数領域の信号である観測スペクトル｜ＸＬ(ｌ，ｋ)｜，｜ＸＲ(ｌ，ｋ)｜に変換する。
【０１１３】
次に、ステップ４００で、スペクトル密度演算部３２Ｌ，３２Ｒ、観測スペクトル｜ＸＬ(ｌ，ｋ)｜，｜ＸＲ(ｌ，ｋ)｜に基づいて、Ｌチャネル及びＲチャネル観測信号各々のパワースペクトル密度ＰＬ(ｌ，ｋ)， ＰＲ(ｌ，ｋ)を演算する。
【０１１４】
次に、ステップ４０２で、スペクトルエントロピー演算部３４Ｌ，３４Ｒが、上記ステップ４００で演算されたパワースペクトル密度ＰＬ(ｌ，ｋ)， ＰＲ(ｌ，ｋ)に基づいて、Ｌチャネル及びＲチャネル観測信号各々のスペクトルエントロピーＨＬ(ｌ)， ＨＲ(ｌ)を演算する。
【０１１５】
次に、ステップ４０４で、雑音判定部４３０Ｌが、上述のように閾値σ２を決定し、決定した閾値σ２を用いて、スペクトルエントロピーＨＬ(ｌ)が閾値σ２より小さいか否かを判定する。ＨＬ(ｌ)＜σ２の場合には、ステップ４０６へ移行し、フレームｌをボーカル信号と判定し、１フレーム前の推定雑音スペクトルをコピーして、フレームｌの推定雑音スペクトル｜Ｉ^Ｌ(ｌ，ｋ)｜とする。一方、ＨＬ(ｌ)≧σ２の場合には、ステップ４０８へ移行し、フレームｌを雑音信号と判定し、そのまま推定雑音スペクトル｜Ｉ^Ｌ(ｌ，ｋ)｜とする。
【０１１６】
Ｒチャネルについても同様に、雑音判定部４３０Ｒが、ステップ４０４〜４０８を実行して、フレームｌの推定雑音スペクトル｜Ｉ^Ｒ(ｌ，ｋ)｜を判定する。
【０１１７】
次に、ステップ１１２で、時間領域変換部２０Ｌ，２０Ｒが、推定雑音スペクトル｜Ｉ^Ｌ(ｌ，ｋ)｜，｜Ｉ^Ｒ(ｌ，ｋ)｜を、フーリエ逆変換を用いて時間領域の信号である推定雑音信号ｉ^Ｌ(ｌ，ｎ)，ｉ^Ｒ(ｌ，ｎ)に変換する。次いで、オーバーラップアド法を用いて１フレーム前の後半Ｍサンプルを用いた時間領域推定楽曲信号ｉ^Ｌ(ｌ−１，ｎ＋Ｍ)，ｉ^Ｒ(ｌ−１，ｎ＋Ｍ)と現フレームの前半Ｍサンプルを用いた時間領域推定楽曲信号ｉ^Ｌ(ｌ，ｎ)，ｉ^Ｒ(ｌ，ｎ)とを足し合わせて、現フレームのＭサンプル時間領域推定楽曲信号ｉ^Ｌ(ｎ)，ｉ^Ｒ(ｎ)（１≦ｎ≦Ｍ ）を得る。
【０１１８】
次に、ステップ４１０で、雑音抑圧部３２２が、推定雑音信号ｉ^Ｌ(ｎ)， ｉ^Ｒ(ｎ)と、観測信号ｘＬ(ｎ)，ｘＲ(ｎ)とに基づいて、雑音抑圧処理を実行することにより、雑音信号を抑圧する。雑音抑圧処理は、第３の実施の形態と同様である。
【０１１９】
以上説明したように、第４の実施の形態のステレオ信号処理装置によれば、第１の実施の形態の効果に加え、スペクトルエントロピーを用いて推定された推定雑音信号を用いて有色駆動源型のカルマンフィルタを適用することにより、白色性及び有色性の様々な雑音に対して抑圧効果を高めることができる。
【０１２０】
なお、上記第１〜第４の実施の形態で用いた有色駆動源付カルマンフィルタの演算量を軽減した演算量軽減型有色駆動源付カルマンフィルタを用いてもよい。演算量軽減型有色駆動源付カルマンフィルタでは、所望の信号の推定に必要な処理だけを取り出す。
【０１２１】
詳細には、図１７に示すように、手順４の状態量の更新において、Ｌチャネル及びＲチャネルの推定楽曲信号を示す部分のみ取り出すと、手順２におけるカルマンゲイン行列の４つの要素が必要であることがわかる。そこで、図１８に示すように、この必要な４つの要素の部分のみを取り出すと、手順１における共分散行列の４つの要素が必要であることがわかる。そこで、図１９に示すように、この必要な４つの要素の部分のみを取り出すと、楽曲信号の分散値が必要であることがわかる。
【０１２２】
以上をまとめると、演算量軽減型有色駆動源付カルマンアルゴリズムは、下記に示すとおりとなり、ステップが減ったことにより演算量が軽減できる。なお、ｐ３は演算量軽減型有色駆動原付カルマンフィルタが適用される状態方程式及び観測方程式の変数であることを表す添え字である。
【０１２３】
【数２１】
0005971646.tif 000022
ここで、第１の実施の形態における楽曲信号推定処理（図７のステップ１１４）に、上記の演算量軽減型有色駆動原付カルマンフィルタを適用した場合に実行される演算量軽減型有色駆動原付カルマンアルゴリズムのフローについて、図２０を参照して説明する。
【０１２４】
ステップ２１４０で、（１０）式に示す状態方程式及び観測方程式により状態空間モデルを定義し、最適推定値ベクトルの初期値ｘ^ｐ３(０｜０)、状態ベクトルを推定した場合の誤差である共分散行列の初期値Ｐｐ３(０｜０)、ボーカル信号の分散値Ｒεｐ３(ｎ) [ｉ，ｊ]、及び楽曲信号の分散値Ｒδｐ３(ｎ)[ｉ，ｊ]を、上述の初期設定の過程［Initialization］に示した初期状態に設定する。また、時刻を示す変数ｎを０に設定する。
【０１２５】
次に、ステップ２１４２で、楽曲信号の分散値Ｒδｐ３(ｎ＋１)[ｉ，ｊ]の値を用いて、時刻ｎまでの情報により時刻ｎ＋１の状態ベクトルを推定した場合の誤差である共分散行列Ｐｐ３(ｎ＋１｜ｎ)を計算する（上述の反復の過程［Iteration］の手順１）。
【０１２６】
次に、ステップ２１４４で、上記ステップ２１４２で計算した共分散行列Ｐｐ３(ｎ＋１｜ｎ)、及びボーカル信号の分散値Ｒεｐ３(ｎ) [ｉ，ｊ]を用いて、カルマンゲイン行列Ｋｐ３(ｎ＋１)を計算する（同手順２）。
【０１２７】
次に、ステップ２１４６で、上記ステップ２１４４で計算したカルマンゲイン行列Ｋｐ３(ｎ＋１)、及び観測ベクトルｙｐ３(ｎ＋１)を用いて、時刻ｎ＋１までの情報によるその時刻での最適推定値ベクトルｘ^ｐ３(ｎ＋１｜ｎ＋１)を計算する（同手順３）。
【０１２８】
次に、ステップ２１４８で、処理を終了するか否かを判定する。この判定は、時刻ｎが所定のサンプル数Ｎに達した場合を処理終了と判定してもよいし、サンプルがなくなった時点で処理終了と判定してもよい。処理を終了しない場合には、ステップ２１５２へ移行し、ｎを１インクリメントして、ステップ１１４２へ戻る。処理を終了する場合には、ステップ２１５４へ移行し、上記ステップ２１４６で計算された最適推定値ベクトルｘ^ｐ３(ｎ＋１｜ｎ＋１) の１行１列目をＬチャネルの推定楽曲信号ｉ^Ｌ(ｎ)として、（Ｌｐ３＋１）行１列目をＲチャネルの推定楽曲信号ｉ^Ｒ(ｎ)として出力し、図７の処理へリターンする。
【０１２９】
また、第３及び第４の実施の形態では、雑音信号を抑圧する場合について説明したが、第２の実施の形態と同様に、有色駆動原付カルマンアルゴリズムにおいて、雑音信号の分散値とボーカル信号の分散値とを入れ替えることにより、ボーカル信号を抑圧した信号、すなわち推定雑音信号を抽出するようにしてもよい。具体的には、有色駆動原付カルマンアルゴリズムの反復の過程［Iteration］の手順１において、雑音信号の分散値Ｒδｐ２(ｎ＋１) [ｉ，ｊ]を、ボーカル信号の分散値Ｒεｐ２(ｎ) [ｉ，ｊ]とを入れ替えて、時刻ｎまでの情報により時刻ｎ＋１の状態ベクトルを推定した場合の誤差である共分散行列Ｐｐ２(ｎ＋１｜ｎ)を計算する。また、同手順２において、ボーカル信号の分散値Ｒεｐ２(ｎ) [ｉ，ｊ]を、雑音信号の分散値Ｒδｐ２(ｎ＋１) [ｉ，ｊ]に入れ替えて、カルマンゲイン行列Ｋｐ２(ｎ＋１)を計算する。そして、同手順４において計算される最適推定値ベクトルｘ^ｐ２(ｎ＋１｜ｎ＋１)の１行１列目及び（Ｌｐ２＋１）行１列目を、推定雑音信号ｉ'^Ｌ(ｌ，ｉ)， ｉ'^Ｒ(ｌ，ｉ)として得ることができる。
【０１３０】
また、上記の演算量軽減型カルマンアルゴリズムを第１の実施の形態に適用した場合（または第３及び第４の実施の形態に適用した場合）においても、第２の実施の形態と同様に、楽曲信号（または雑音信号）の分散値とボーカル信号の分散値とを入れ替えることにより、ボーカル信号を抑圧した信号、すなわち推定楽曲信号（または推定雑音信号）を抽出することができる。具体的には、演算量軽減型有色駆動原付カルマンアルゴリズムの反復の過程［Iteration］の手順１において、楽曲信号（または雑音信号）の分散値Ｒδｐ３(ｎ＋１) [ｉ，ｊ]を、ボーカル信号の分散値Ｒεｐ３(ｎ) [ｉ，ｊ]と入れ替えて、時刻ｎまでの情報により時刻ｎ＋１の状態ベクトルを推定した場合の誤差である共分散行列Ｐｐ３(ｎ＋１｜ｎ)を計算する。また、同手順２において、ボーカル信号の分散値Ｒεｐ３(ｎ) [ｉ，ｊ]を、楽曲信号（または雑音信号）の分散値Ｒδｐ３(ｎ＋１) [ｉ，ｊ]に入れ替えて、カルマンゲイン行列Ｋｐ３(ｎ＋１)を計算する。そして、同手順３において計算される最適推定値ベクトルｘ^ｐ３(ｎ＋１｜ｎ＋１)の１行１列目及び（Ｌｐ３＋１）行１列目を、推定雑音信号ｉ'^Ｌ(ｌ，ｉ)， ｉ'^Ｒ(ｌ，ｉ)として得ることができる。
【０１３１】
また、上記各実施の形態は、適宜組み合わせて適用可能である。例えば、第１または第２の実施の形態により所望の信号を抽出した上で、第３または第４の実施の形態により雑音を抑圧するようにすることができる。
【０１３２】
また、第１及び第２の実施の形態では、第１信号をボーカル信号、第２信号を楽曲信号とする場合について、第３及び第４の実施の形態では、第１信号をボーカル信号（音声信号）、第２信号を雑音信号とする場合について説明したが、これに限定されない。複数チャネルの入力信号において、第１信号各はチャネル間で共通に含まれる信号であり、第２信号はチャネル毎に異なる信号であればよい。
【０１３３】
また、上記実施の形態では、各部をハードウエアにより構成する場合について説明したが、コンピュータに各部の処理を実行させるためのプログラムとすることもできる。プログラムは、予め装置にインストールされていてもよいし、コンピュータ読み取り可能な記録媒体に格納して提供してもよいし、ネットワークを介して提供してもよい。
【符号の説明】
【０１３４】
１０、２１０、３１０、４１０       ステレオ信号処理装置
１２Ｌ，１２Ｒ       Ａ／Ｄ変換部
１４Ｌ，１４Ｒ       周波数領域変換部
１６   スペクトル比演算部
１８   ボーカル信号抽出部
２０、 ２０Ｌ，２０Ｒ  時間領域変換部
２２   楽曲信号推定部
２４Ｌ，２４Ｒ       Ｄ／Ａ変換部
２６Ｌ，２６Ｒ       自己相関処理部
２８Ｌ，２８Ｒ       ピーク値検出部
３０Ｌ，３０Ｒ、４３０Ｌ，４３０Ｒ 雑音判定部
３２Ｌ，３２Ｒ       スペクトル密度演算部
３４Ｌ，３４Ｒ       スペクトルエントロピー演算部
２２２ 特定信号推定部
３２２ 雑音抑圧部
【図１】
0005971646.tif 000023
【図２】
0005971646.tif 000024
【図６】
0005971646.tif 000025
【図７】
0005971646.tif 000026
【図８】
0005971646.tif 000027
【図９】
0005971646.tif 000028
【図１０】
0005971646.tif 000029
【図１１】
0005971646.tif 000030
【図１２】
0005971646.tif 000031
【図１３】
0005971646.tif 000032
【図１４】
0005971646.tif 000033
【図１５】
0005971646.tif 000034
【図１６】
0005971646.tif 000035
【図３】
0005971646.tif 000036
【図４】
0005971646.tif 000037
【図５】
0005971646.tif 000038
【図１７】
0005971646.tif 000039
【図１８】
0005971646.tif 000040
【図１９】
0005971646.tif 000041
【図２０】
0005971646.tif 000042