(57)【特許請求の範囲】
【請求項１】
複数のマイクロホンの検出信号に基づく複数のチャンネル信号を受ける信号入力部と、
各チャンネル信号のパラメータを抽出して前記複数のチャンネル信号間で前記パラメータを比較する比較部と、
前記複数のチャンネル信号に含まれるチャンネル信号に対してデジタルフィルタ処理を行うデジタルフィルタと、
前記パラメータの比較結果に基づいて前記デジタルフィルタにおけるフィルタ係数を更新する係数更新部と、を有する音響信号処理装置であって、
前記比較部において、前記複数のチャンネル信号の夫々は周波数スペクトルにて表現され、
前記比較部は、前記周波数スペクトルに含まれる帯域を複数の細分化帯域に分割して前記細分化帯域ごとに前記パラメータを抽出し、同一細分化帯域における前記パラメータを前記複数のチャンネル信号間で比較することによって各細分化帯域を複数の種別の何れかに分類し、
当該音響信号処理装置は、その分類結果列を時系列データに変換する周波数／時間変換部を更に備え、
前記係数更新部は、前記時系列データに基づいて前記フィルタ係数を更新する
ことを特徴とする音響信号処理装置。
【請求項２】
複数のマイクロホンの検出信号に基づく複数のチャンネル信号を受ける信号入力部と、
各チャンネル信号のパラメータを抽出して前記複数のチャンネル信号間で前記パラメータを比較する比較部と、
前記複数のチャンネル信号に含まれるチャンネル信号に対してデジタルフィルタ処理を行うデジタルフィルタと、
前記パラメータの比較結果に基づいて前記デジタルフィルタにおけるフィルタ係数を更新する係数更新部と、を有する音響信号処理装置であって、
前記比較部において、前記複数のチャンネル信号の夫々は周波数スペクトルにて表現され、
前記比較部は、前記周波数スペクトルに含まれる帯域を複数の細分化帯域に分割して前記細分化帯域ごとに前記パラメータを抽出し、同一細分化帯域における前記パラメータを前記複数のチャンネル信号間で比較することによって各細分化帯域を複数の種別の何れかに分類し、
当該音響信号処理装置は、
前記複数のチャンネル信号に含まれるチャンネル信号の各細分化帯域の信号レベルを前記分類の結果に基づき周波数領域上で制御して、周波数領域上における信号レベル制御後のチャンネル信号を出力する信号レベル制御部と、
前記信号レベル制御部の出力信号を時系列データに変換する周波数／時間変換部と、を更に備え、
前記係数更新部は、前記時系列データと前記デジタルフィルタの出力データとの差に基づいて、前記フィルタ係数を更新する
ことを特徴とする音響信号処理装置。
【請求項３】
前記周波数スペクトルは、時間領域上で表現されたチャンネル信号の時系列データを複数の区間で区切り、区切られた区間内の時系列データを周波数領域上のデータに変換することによって得られ、
前記係数更新部による前記フィルタ係数の更新周期は、前記区間の時間長さよりも短い
ことを特徴とする請求項１または請求項２に記載の音響信号処理装置。
【請求項４】
前記デジタルフィルタには、時間領域上で表現されたチャンネル信号の時系列データが順次入力され、
前記係数更新部による前記フィルタ係数の更新周期は、前記デジタルフィルタへのデータ入力周期に等しい
ことを特徴とする請求項３に記載の音響信号処理装置。
【請求項５】
前記比較部は、前記細分化帯域ごとに、当該細分化帯域における信号の位相、パワー又はそれらの双方を前記パラメータとして抽出する
ことを特徴とする請求項１〜請求項４の何れかに記載の音響信号処理装置。
【請求項６】
複数のマイクロホンと、
前記複数のマイクロホンの検出信号を受ける、請求項１〜請求項５の何れかに記載の音響信号処理装置と、を備えた
ことを特徴とする録音装置。
【請求項７】
請求項１〜請求項５の何れかに記載の音響信号処理装置を備えた音響信号再生装置であって、
前記音響信号処理装置における前記信号入力部は、前記複数のマイクロホンの検出信号に基づくデータを記録した記録媒体から前記複数のチャンネル信号を受ける
ことを特徴とする音響信号再生装置。
【請求項８】
複数のマイクロホンと、
前記複数のマイクロホンの検出信号を受ける、請求項１〜請求項５の何れかに記載の音響信号処理装置と、
撮像手段と、を備えた
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号処理装置に関し、特に、特定の音源からの音の信号成分を分離抽出する技術に関する。
【背景技術】
【０００２】
複数のマイクロホンを用いて、特定の音源からの音の信号成分を分離して抽出する方法が提案されている。図１３に、代表的な従来方法を採用した音響信号処理装置の内部ブロックを示す（例えば、下記特許文献１及び２参照）。この方法では、信号の周波数帯域が複数の帯域に細分化される。この際、細分化された各帯域の信号が１つの音源の信号成分しか含まない程度に、細かな帯域分割がなされる。
【０００３】
図１３に対応する従来方法では、複数のマイクロホンから出力される時間領域上の検出信号を離散フーリエ変換を用いて周波数領域上の信号（周波数スペクトル）に変換する。そして、信号の周波数帯域を複数の帯域に細分化し、周波数スペクトルにおけるパラメータ（位相情報又はパワー情報）に基づいて細分化した各帯域を必要な帯域又は不要な帯域に分類判定する。そして、その判定結果を基づいて各周波数帯域の信号のパワーを制御し（例えば、不要な帯域成分を除去し）、その結果を時系列データに変換して出力する。尚、図１３の音響信号処理装置では、複数のマイクロホンの左側に位置する音源からの音響信号と複数のマイクロホンの右側に位置する音源からの音響信号とを分離抽出してステレオ信号を出力する。
【０００４】
但し、この従来方法では、複数のマイクロホンの検出信号を所定の区間長にて区切って区間毎に周波数スペクトルを生成し、その周波数スペクトルのパラメータ（位相情報など）に基づいて区間毎に周波数領域上で信号のパワー制御を行うため、信号の不連続性が顕著に発生して所謂ミュージカルノイズが発生する。
【０００５】
【特許文献１】特開２０００−８１９００号公報
【特許文献２】特開平１０−３１３４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで本発明は、ミュージカルノイズの抑制に寄与する音響信号処理装置を提供することを目的とする。また、その音響信号処理装置を利用した録音装置、音響信号再生装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る音響信号処理装置は、複数のマイクロホンの検出信号に基づく複数のチャンネル信号を受ける信号入力部と、各チャンネル信号のパラメータを抽出して前記複数のチャンネル信号間で前記パラメータを比較する比較部と、前記複数のチャンネル信号に含まれるチャンネル信号に対してデジタルフィルタ処理を行うデジタルフィルタと、前記パラメータの比較結果に基づいて前記デジタルフィルタにおけるフィルタ係数を更新する係数更新部と、を有することを特徴とする。
【０００８】
これにより、ミュージカルノイズの抑制が期待される。また、ミュージカルノイズを抑制するために必要となる処理量を少なく抑えることが可能であり、実用性が極めて高い。
【０００９】
具体的には例えば、前記比較部において、前記複数のチャンネル信号の夫々は周波数スペクトルにて表現され、前記比較部は、前記周波数スペクトルに含まれる帯域を複数の細分化帯域に分割して前記細分化帯域ごとに前記パラメータを抽出し、同一細分化帯域における前記パラメータを前記複数のチャンネル信号間で比較することによって各細分化帯域を複数の種別の何れかに分類し、当該音響信号処理装置は、その分類結果列を時系列データに変換する周波数／時間変換部を更に備え、前記係数更新部は、前記時系列データに基づいて前記フィルタ係数を更新する。
【００１０】
或いは具体的には例えば、前記比較部において、前記複数のチャンネル信号の夫々は周波数スペクトルにて表現され、前記比較部は、前記周波数スペクトルに含まれる帯域を複数の細分化帯域に分割して前記細分化帯域ごとに前記パラメータを抽出し、同一細分化帯域における前記パラメータを前記複数のチャンネル信号間で比較することによって各細分化帯域を複数の種別の何れかに分類し、当該音響信号処理装置は、前記複数のチャンネル信号に含まれるチャンネル信号の各細分化帯域の信号レベルを前記分類の結果に基づき周波数領域上で制御して、周波数領域上における信号レベル制御後のチャンネル信号を出力する信号レベル制御部と、前記信号レベル制御部の出力信号を時系列データに変換する周波数／時間変換部と、を更に備え、前記係数更新部は、前記時系列データと前記デジタルフィルタの出力データとの差に基づいて、前記フィルタ係数を更新する。
【００１１】
そして例えば、前記周波数スペクトルは、時間領域上で表現されたチャンネル信号の時系列データを複数の区間で区切り、区切られた区間内の時系列データを周波数領域上のデータに変換することによって得られ、前記係数更新部による前記フィルタ係数の更新周期は、前記区間の時間長さよりも短い。
【００１２】
より具体的には例えば、前記デジタルフィルタには、時間領域上で表現されたチャンネル信号の時系列データが順次入力され、前記係数更新部による前記フィルタ係数の更新周期は、前記デジタルフィルタへのデータ入力周期に等しい。
【００１３】
また例えば、前記比較部は、前記細分化帯域ごとに、当該細分化帯域における信号の位相、パワー又はそれらの双方を前記パラメータとして抽出する。
【００１４】
本発明に係る録音装置は、複数のマイクロホンと、前記複数のマイクロホンの検出信号を受ける前記音響信号処理装置と、を備えたことを特徴とする。
【００１５】
本発明に係る音響信号再生装置は、前記音響信号処理装置を備えた音響信号再生装置であって、前記音響信号処理装置における前記信号入力部は、前記複数のマイクロホンの検出信号に基づくデータを記録した記録媒体から前記複数のチャンネル信号を受けることを特徴とする。
【００１６】
本発明に係る撮像装置は、複数のマイクロホンと、前記複数のマイクロホンの検出信号を受ける、前記音響信号処理装置と、撮像手段と、を備えたことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、ミュージカルノイズの抑制に寄与する音響信号処理装置、録音装置、音響信号再生装置及び撮像装置を提供することが可能となる。
【００１８】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２０】
後述の音響信号処理装置及び音響信号処理装置を有する各装置は、２つのマイクロホン１Ｌ及び１Ｒの検出信号を利用する。図１を参照して、マイクロホン１Ｌ及び１Ｒ並びに音源２Ｌ及び２Ｒの位置関係を説明する。今、互いに直交するＸ軸及びＹ軸を座標軸として有する二次元の座標面を想定する。Ｘ軸とＹ軸は原点Ｏにて直交する。原点Ｏを基準として、Ｘ軸の正の方向側を右側、Ｘ軸の負の方向側を左側、Ｙ軸の正の方向側を前方側、Ｙ軸の負の方向側を後方側とする。
【００２１】
マイクロホン１Ｌ及び１ＲはＸ軸上の互いに異なる位置に配置されている。マイクロホン１Ｌは原点Ｏから左側に距離ｌだけ離れた位置に配置され、マイクロホン１Ｒは原点Ｏから右側に距離ｌだけ離れた位置に配置されている。また、原点Ｏを通り且つＹ軸に対して３０°だけ傾いた、上記座標面上の２つの直線を直線３Ｌ及び３Ｒとする。上記座標面上において、直線３Ｌは負の傾きを有し、直線３Ｒは正の傾きを有する。そして、直線３Ｌ上における音源を音源２Ｌと呼び、直線３Ｒ上における音源を音源２Ｒと呼ぶ。Ｙ軸に対して、音源２Ｌは左側に配置され且つ音源２Ｒは右側に配置されることになる。以下、特に断りなき限り、距離ｌは１ｃｍ（センチメートル）であるとする。また、音速は３４０ｍ／秒であるとする。
【００２２】
マイクロホン１Ｌは、自身が集音した音を検出して該音を表す検出信号を出力する。マイクロホン１Ｒは、自身が集音した音を検出して該音を表す検出信号を出力する。これらの検出信号は、アナログ音響信号である。マイクロホン１Ｌ及び１Ｒの検出信号であるアナログ音響信号は、夫々、図示されないＡ／Ｄ変換器によってデジタル音響信号に変換される。このＡ／Ｄ変換器における、アナログ音響信号からデジタル音響信号に変換する際のサンプリング周波数は４８ｋＨｚ（キロヘルツ）であるとする。
【００２３】
マイクロホン１Ｌを左チャンネルに対応させ、マイクロホン１Ｒを右チャンネルに対応させて考える。マイクロホン１Ｌ及び１Ｒの検出信号をデジタル変換することによって得たデジタル音響信号を、夫々、原信号Ｌ及び原信号Ｒと呼ぶ。原信号Ｌ及びＲは、時間領域上の信号である。
【００２４】
以下、第１〜第４実施例を個別に説明するが、或る実施例に記載した事項は、矛盾なく且つ特に記述なき限り、他の実施例にも適用される。
【００２５】
＜＜第１実施例＞＞
まず、本発明の第１実施例を説明する。図２に、第１実施例に係る音響信号処理装置１０の内部ブロック図を示す。音響信号処理装置１０は、原信号Ｌ及びＲを入力音響信号として受け、その入力音響信号に含まれる音源２Ｌからの音響信号及び音源２Ｒからの音響信号を独立して抽出し、この抽出によって得た信号をステレオ信号として出力する。
【００２６】
音響信号処理装置１０は、符号１１Ｌ〜１３Ｌ及び１６Ｌ〜１８Ｌ、符号１１Ｒ〜１３Ｒ及び１６Ｒ〜１８Ｒ並びに符号１４及び１５によって参照される各部位を備える。
【００２７】
原信号Ｌ及びＲは、夫々、ローパスフィルタ（以下、ＬＰＦという）１１Ｌ及び１１Ｒに入力される。ＬＰＦ１１Ｌは原信号Ｌから所定の高域周波数成分を除去した信号を出力し、ＬＰＦ１１Ｒは原信号Ｒから所定の高域周波数成分を除去した信号を出力する。ダウンサンプリング部１２Ｌ及び１２Ｒは、夫々、ＬＰＦ１１Ｌ及び１１Ｒの出力信号を４８ｋＨｚ未満のサンプリング周波数で再サンプリングし、その再サンプリングによって得たデジタル信号を出力する。ＦＦＴ部１３Ｌ及び１３Ｒは、夫々、高速フーリエ変換（Fast Fourier Transform）の一形態である離散フーリエ変換を用いてダウンサンプリング部１２Ｌ及び１２Ｒの出力信号を周波数領域上の信号に変換して出力する。
【００２８】
比較部１４は、ＦＦＴ部１３Ｌ及び１３Ｒから得られる周波数スペクトルの位相情報に基づいて、左チャンネルと右チャンネルの信号の内、どちらの位相が進んでいるのか（或いは遅れているのか）を判断する。この判断結果に基づいてステレオ化に対する信号制御がなされる。この判断が可能となる信号は、マイクロホン間隔（即ち、マイクロホン１Ｌと１Ｒとの間の間隔）が半波長に相当する周波数以下の信号である。今の例の場合、音速が３４０ｍ／秒であって且つマイクロホン間隔が２ｃｍであるため、８．５ｋＨｚ以下の帯域の信号に対してのみ上記判断は可能である。
【００２９】
そこで、第１実施例では、ステレオ化に対する信号制御の帯域を６ｋＨｚ以下の帯域に限定する。この限定に対応するように、ＬＰＦ１１Ｌ及び１１Ｒは夫々原信号Ｌ及びＲの高域周波数成分を除去し、ダウンサンプリング部１２Ｌ及び１２Ｒは、１／４のダウンサンプリングを行う。即ち、ダウンサンプリング部１２Ｌ及び１２Ｒは、夫々、ＬＰＦ１１Ｌ及び１１Ｒの出力信号を１２ｋＨｚのサンプリング周波数で再サンプリングする。
【００３０】
ダウンサンプリング部１２Ｌ及び１２Ｒの出力信号は時系列データである。時系列データとは、時間領域上で表現された時系列で並ぶデータ列を意味する。第１実施例において、この時系列データの標本間隔（サンプリング間隔）ΔｔSは１／１２ｋＨｚである。ダウンサンプリング部１２Ｌ及び１２Ｒの出力信号（時系列データ）を、夫々、時間ｔの関数であるＬ［ｔ］及びＲ［ｔ］にて表す。
【００３１】
ＦＦＴ部１３Ｌ及び１３Ｒに入力される信号Ｌ［ｔ］及びＲ［ｔ］は、図３に示す如く、夫々、時間軸上で連続的に連なる複数のフレームで区切られ、フレームを単位にして離散フーリエ変換が行われる。複数のフレームを、時刻の早い方から順番に、第１、第２、第３番目・・・のフレームと呼ぶ。各フレームは２５６個のデータから成る。信号Ｌ［ｔ］の内、第ｉ番目のフレームに属する信号を特にＬi［ｔ］と表現し、信号Ｒ［ｔ］の内、第ｉ番目のフレームに属する信号を特にＲi［ｔ］と表現する（ｉは自然数）。
【００３２】
ＦＦＴ部１３Ｌは、信号Ｌi［ｔ］に対して離散フーリエ変換を行うことにより、左チャンネルの第ｉ番目のフレームにおける周波数スペクトルを算出する。この周波数スペクトルを表す信号をＬi［ｍ・Δｆ］にて表記する。ＦＦＴ部１３Ｒは、信号Ｒi［ｔ］に対して離散フーリエ変換を行うことにより、右チャンネルの第ｉ番目のフレームにおける周波数スペクトルを算出する。この周波数スペクトルを表す信号をＲi［ｍ・Δｆ］で表す。ＦＦＴ部１３Ｌ及び１３Ｒによる離散フーリエ変換の結果を表すデータは、比較部１４に出力される。
【００３３】
ここで、Δｆは、離散フーリエ変換における周波数の標本間隔であり、ｍは０以上の整数値をとる。信号Ｌi［ｔ］に対して離散フーリエ変換を行うことにより、Δｆ間隔でＭ個の信号が算出されるものとする（Ｍは２以上の整数であり、例えば１２８）。そうすると、ｍは０≦ｍ≦（Ｍ−１）の範囲内の各整数値をとる。即ち、左チャンネルの第ｉ番目のフレームにおける周波数スペクトルは、周波数領域上の信号Ｌi［０・Δｆ］〜［２５５・Δｆ］を含んで形成される。右チャンネルに対しても同様である。
【００３４】
Ｌ［ｔ］及びＲ［ｔ］にて表される音響信号の周波数帯域が離散フーリエ変換によってＭ個の周波数帯域に細分化されることとなるが、細分化によって得られた帯域の夫々が１つの音源からの音響信号成分しか含まない程度に、この細分化はなされる。即ち、そうなるようにΔｆは設定される。このような設定を行うことで、複数音源の音響信号を含む信号より各音源の音響信号成分を分離抽出することが可能となる。細分化された各周波数帯域を、以下、細分化帯域と呼ぶ。
【００３５】
説明の明確化のため、便宜的に記号ｍOを導入する。ｍOは０以上（Ｍ−１）以下の一定整数値であるとする。Ｌi［ｍO・Δｆ］は、信号Ｌi［ｔ］に含まれる、ｍ＝ｍOの細分化帯域の信号成分を表しており、その信号成分の位相及びパワー（パワーレベル）はＬi［ｍO・Δｆ］によって定まる。Ｒi［ｍO・Δｆ］は、信号Ｒi［ｔ］に含まれる、ｍ＝ｍOの細分化帯域の信号成分を表しており、その信号成分の位相及びパワー（パワーレベル）はＲi［ｍO・Δｆ］によって定まる。ｍ＝ｍOの細分化帯域とは、ｍO・Δｆを中心とする、Δｆの帯域幅を持った帯域である。
【００３６】
比較部１４は、ＦＦＴ部１３Ｌの出力データに基づき、細分化帯域ごとに、当該細分化帯域における左チャンネルの信号成分の位相を算出する（換言すれば、Δｆで離散化された、信号Ｌi［ｔ］の位相スペクトルを算出する）。同様に、比較部１４は、ＦＦＴ部１３Ｒの出力データに基づき、細分化帯域ごとに、当該細分化帯域における右チャンネルの信号成分の位相を算出する（換言すれば、Δｆで離散化された、信号Ｒi［ｔ］の位相スペクトルを算出する）。そして、各細分化帯域を個別に着目し、着目した細分化帯域における位相を左右チャンネル間で比較することにより、その細分化帯域における信号の主成分が何れの方向から到来したものであるのかを判定する。この判定方法を、より具体的に説明する。
【００３７】
音源２Ｌから到来する音を想定した場合、マイクロホン１Ｌ及び１Ｒと音源２Ｌとの距離がマイクロホン間隔に対して十分大きいとすれば、音源２Ｌよりマイクロホン１Ｌに到来する音の信号の位相から、音源２Ｌよりマイクロホン１Ｒに到来する音の信号の位相を差し引くことによって得た位相差Δφは、「Δφ＝２π×（Ｆｒｅｑ×（２０×ｓｉｎ３０°）／３４００００）」にて表される。ここで、Ｆｒｅｑは、着目した周波数であり、πは円周率である。Δφによって表される位相差を、以下、基準位相差と呼ぶ。
【００３８】
比較部１４は、基準位相差Δφと対比するべく、信号成分Ｌi［ｍ・Δｆ］の位相から信号成分Ｒi［ｍ・Δｆ］の位相を差し引いた位相差Δφmを、ｍ＝０、１、２、・・・、（Ｍ−１）の夫々に対して求める。これにより、各細分化帯域に対する位相差（Δφ0〜ΔφM-1）が求まる。Δφmによって表される位相差を、以下、実位相差と呼ぶ。
【００３９】
比較部１４は、着目した細分化帯域の実位相差が（Δφ−Ｒ・Δφ）以上（Δφ＋Ｒ・Δφ）以下の範囲内に収まる場合、着目した細分化帯域における信号の主成分が音源２Ｌからの音響信号であると判断し、着目した細分化帯域を第１必要帯域に分類する。
着目した細分化帯域の実位相差が（−Δφ−Ｒ・Δφ）以上（−Δφ＋Ｒ・Δφ）以下の範囲内に収まる場合、着目した細分化帯域における信号の主成分が音源２Ｒからの音響信号であると判断し、着目した細分化帯域を第２必要帯域に分類する。
着目した細分化帯域の実位相差が（Δφ−Ｒ・Δφ）以上（Δφ＋Ｒ・Δφ）以下の範囲内にも（−Δφ−Ｒ・Δφ）以上（−Δφ＋Ｒ・Δφ）以下の範囲内にも収まらない場合、着目した細分化帯域における信号の主成分が音源２Ｌ及び２Ｒ以外の音源からの音響信号であると判断し、着目した細分化帯域を不要帯域に分類する。
ここで、Ｒは、事前に設定された係数であり、例えば０．１である。
【００４０】
マスク作成部１５は、比較部１４による分類結果に基づいて、第１必要帯域の信号成分を抽出するためのマスクデータ列及び第２必要帯域の信号成分を抽出するためのマスクデータ列を生成する。第ｉ番目のフレームに対する前者のマスクデータ列はマスクデータＭＳ１i［０］〜ＭＳ１i［Ｍ−１］から形成され、第ｉ番目のフレームに対する後者のマスクデータ列はマスクデータＭＳ２i［０］〜ＭＳ２i［Ｍ−１］から形成される。
【００４１】
第ｉ番目のフレームに関して、ｍ＝ｍOの細分化帯域が第１必要帯域に分類された場合、マスクデータＭＳ１i［ｍO］は１とされる共にマスクデータＭＳ２i［ｍO］は０以上１未満の規定値ＭＳREFとされ、且つ、ｍ＝ｍOの細分化帯域が第２必要帯域に分類された場合、マスクデータＭＳ１i［ｍO］は規定値ＭＳREFとされる共にマスクデータＭＳ２i［ｍO］は１とされ、且つ、ｍ＝ｍOの細分化帯域が不要帯域に分類された場合、マスクデータＭＳ１i［ｍO］及びＭＳ２i［ｍO］は共に規定値ＭＳREFとされる。
【００４２】
規定値ＭＳREFを０に設定した場合、音源２Ｌ以外の音源に由来すると判断された帯域成分が完全に除去された音響信号と、音源２Ｒ以外の音源に由来すると判断された帯域成分が完全に除去された音響信号と、から成るステレオ信号が音響信号処理装置１０より出力されることになる。それらの完全なる除去を行わない場合は、規定値ＭＳREFを０より大きく且つ１より小さな値とすればよい。図４（ａ）及び（ｂ）に、夫々、規定値ＭＳREFを０に設定した場合におけるマスクデータ列ＭＳ１i［ｍ］及びＭＳ２i［ｍ］の例を示す。
【００４３】
ｍ＝２の場合に着目して具体例を挙げる。比較部１４は、信号成分Ｌi［２・Δｆ］の位相から信号成分Ｒi［２・Δｆ］の位相を差し引いた実位相差Δφ2を求め、第１不等式「（Δφ−Ｒ・Δφ）≦Δφ2≦（Δφ＋Ｒ・Δφ）」と第２不等式「（−Δφ−Ｒ・Δφ）≦Δφ2≦（−Δφ＋Ｒ・Δφ）」の成立／不成立を判断する。第１及び第２不等式におけるΔφは、「Ｆｒｅｑ＝２×Δｆ」とした場合におけるΔφである。
第１不等式が成立する場合は、信号成分Ｌi［２・Δｆ］及びＲi［２・Δｆ］の主成分が音源２Ｌからの音響信号であると判断されて、ｍ＝２の細分化帯域が第１必要帯域に分類され、この結果、ＭＳ１i［２］＝１且つＭＳ２i［２］＝ＭＳREFとされる。
第２不等式が成立する場合は、信号成分Ｌi［２・Δｆ］及びＲi［２・Δｆ］の主成分が音源２Ｒからの音響信号であると判断されて、ｍ＝２の細分化帯域が第２必要帯域に分類され、この結果、ＭＳ１i［２］＝ＭＳREF且つＭＳ２i［２］＝１とされる。
第１及び第２不等式の双方が不成立の場合は、信号成分Ｌi［２・Δｆ］及びＲi［２・Δｆ］の主成分が音源２Ｌ及び２Ｒ以外の音源からの音響信号であると判断されて、ｍ＝２の細分化帯域が不要帯域に分類され、この結果、ＭＳ１i［２］＝ＭＳREF且つＭＳ２i［２］＝ＭＳREFとされる。
ｍ＝２の場合に着目して具体例を挙げたが、ｍ≠２の場合も同様である。
【００４４】
ＩＦＦＴ部１６Ｌ及び１６Ｒは、夫々、逆高速フーリエ変換（Inverse Fast Fourier Transform）の一形態である逆離散フーリエ変換を用いて、周波数領域上のマスクデータ列ＭＳ１i［ｍ］及びＭＳ２i［ｍ］を、時間領域上の時系列データである信号ＦＩＬ１i［ｎ］及びＦＩＬ２i［ｎ］に変換する。信号ＦＩＬ１i［ｎ］及びＦＩＬ２i［ｎ］における標本間隔は、ダウンサンプリング部１２Ｌ及び１２Ｒにおける標本間隔ΔｔS（＝１／１２ｋＨｚ）と同じである。故に、ｎは０以上２５５以下の各整数値をとる。即ち、第ｉ番目のフレームに対してＩＦＦＴ部１６Ｌから出力される信号は、時間間隔ΔｔSで離散化された計２５６個のデータ列ＦＩＬ１i［０］〜ＦＩＬ１i［２５５］から成り、第ｉ番目のフレームに対してＩＦＦＴ部１６Ｒから出力される信号は、時間間隔ΔｔSで離散化された計２５６個のデータ列ＦＩＬ２i［０］〜ＦＩＬ２i［２５５］から成る。
【００４５】
ＦＩＲフィルタ１８Ｌ及び１８Ｒの夫々は、２５６個のタップを有する、２５５次のＦＩＲ（Finite Impulse Response）型のデジタルフィルタである。
【００４６】
図５に、１つのＦＩＲフィルタ１８の内部構成図を示す。ＦＩＲフィルタ１８は、データ入力端子１０１及びデータ出力端子１０２と、直列接続された２５５個のフリップフロップから成るシフトレジスタと、第１〜第２５６番目のタップにおけるデータに夫々フィルタ係数ＦＩＲ［０］〜ＦＩＲ［２５５］を乗算する２５６個の乗算器と、各乗算器の出力値を合算して合算値をデータ出力端子１０２から出力する合算器と、を備える。シフトレジスタは、与えられるクロックパルスに従って、各フリップフロップにセットされている値を次段のフリップフロップに送るが、このクロックパルスの周期はΔｔS（＝１／１２ｋＨｚ）である。データ入力端子１０１に、ΔｔSの間隔で、順次、入力データが入力される。或る時刻ｔにおいて、データ入力端子１０１に入力データＤIN［ｔ］が入力され且つデータ出力端子１０２から下記式（１）に従う出力データＤOUT［ｔ］が出力される。ここで、ｔは、ΔｔSが経過する毎に１だけ増加する。尚、全フィルタ係数ＦＩＲ［０］〜ＦＩＲ［２５５］の初期値はゼロである。
【００４７】
【数１】
0005153389.tif 000002
【００４８】
図２のＦＩＲフィルタ１８Ｌ及び１８Ｒの夫々は、図５のＦＩＲフィルタ１８と同様の構成を有する。但し、フィルタ係数ＦＩＲ［０］〜ＦＩＲ［２５５］に対応する、ＦＩＲフィルタ１８Ｌのフィルタ係数はＦＩＲ１［０］〜ＦＩＲ１［２５５］であり、且つ、フィルタ係数ＦＩＲ［０］〜ＦＩＲ［２５５］に対応する、ＦＩＲフィルタ１８Ｒのフィルタ係数はＦＩＲ２［０］〜ＦＩＲ２［２５５］であるとする。全フィルタ係数ＦＩＲ１［０］〜ＦＩＲ１［２５５］及びＦＩＲ２［０］〜ＦＩＲ２［２５５］の初期値はゼロである。
【００４９】
図２の係数更新部１７Ｌ及び１７Ｒは、夫々、ＩＦＦＴ部１６Ｌからの信号ＦＩＬ１i［ｎ］及びＩＦＦＴ部１６Ｒからの信号ＦＩＬ２i［ｎ］に基づいてＦＩＲフィルタ１８Ｌのフィルタ係数ＦＩＲ１［ｎ］及びＦＩＲフィルタ１８Ｒのフィルタ係数ＦＩＲ２［ｎ］を更新する。この更新はΔｔSが経過する毎に１回行われる。
【００５０】
信号ＦＩＬ１i［ｎ］に基づくフィルタ係数ＦＩＲ１［ｎ］の更新方法と、信号ＦＩＬ２i［ｎ］に基づくフィルタ係数ＦＩＲ２［ｎ］の更新方法は同じであるため、主として前者の更新方法を詳細に説明する。
【００５１】
係数更新部１７Ｌは、ｎ＝０、１、２・・・２５５の夫々に対して、下記式（２ａ）に基づき更新量ΔＷ１［ｎ］を算出する。式（２ａ）におけるＦＩＲ１［ｎ］の値として、前回のフィルタ係数の値が用いられる。前回のフィルタ係数を用いて求めた更新量を前回のフィルタ係数に加算することによって更新を行い、この更新後の値を、今回のフィルタ係数の値とする。即ち、下記式（２ｂ）に従って更新がなされる。更新量ΔＷ１［ｎ］を用いたフィルタ係数の更新を開始してから、離散フーリエ変換の解析長である２５６サンプル分の時間経過後（即ち、ΔｔS×２５６に相当する時間経過後）に、ＦＩＬ１i［ｎ］とＦＩＲ１［ｎ］は等価となる。
ΔＷ１［ｎ］＝（ＦＩＬ１i［ｎ］−ＦＩＲ１［ｎ］）／２５６    ・・・（２ａ）
ＦＩＲ１［ｎ＋１］＝ΔＷ１［ｎ］＋ＦＩＲ１［ｎ］            ・・・（２ｂ）
【００５２】
ＦＩＲフィルタ１８Ｌにおけるデータ入力端子１０１には、ダウンサンプリング部１２Ｌからの信号Ｌi［ｔ］が入力される。上述したように、信号Ｌi［ｔ］はΔｔSの間隔で並ぶ時系列データであり、ＦＩＲフィルタ１８Ｌにおけるデータ入力端子１０１に、ΔｔSの間隔で順次、信号Ｌi［ｔ］を形成するデータ列が入力される。信号Ｌi［ｔ］に含まれる１番目のデータがＦＩＲフィルタ１８Ｌのデータ入力端子１０１に入力される直前に、信号ＦＩＬ１i［ｎ］に基づく１回目のフィルタ係数ＦＩＲ１［ｎ］の更新が実行され、信号Ｌi［ｔ］に含まれる２５６番目のデータがＦＩＲフィルタ１８Ｌのデータ入力端子１０１に入力される直前に、信号ＦＩＬ１i［ｎ］に基づく２５６回目のフィルタ係数ＦＩＲ１［ｎ］の更新が実行される。この後、信号ＦＩＬ１i［ｎ］に基づく２５６回目の更新がなされたフィルタ係数ＦＩＲ１［ｎ］を基準として、信号Ｌi+1［ｎ］に対するフィルタ係数ＦＩＲ１［ｎ］が上述と同様の更新を介して求められる。
【００５３】
ＦＩＲフィルタ１８Ｒにおけるデータ入力端子１０１にも、ΔｔSの間隔で順次、信号Ｌi［ｔ］を形成するデータ列が入力される。信号Ｌi［ｔ］に含まれる１番目のデータがＦＩＲフィルタ１８Ｒのデータ入力端子１０１に入力される直前に、信号ＦＩＬ２i［ｎ］に基づく１回目のフィルタ係数ＦＩＲ２［ｎ］の更新が実行され、信号Ｌi［ｔ］に含まれる２５６番目のデータがＦＩＲフィルタ１８Ｒのデータ入力端子１０１に入力される直前に、信号ＦＩＬ２i［ｎ］に基づく２５６回目のフィルタ係数ＦＩＲ２［ｎ］の更新が実行される。この後、信号ＦＩＬ２i［ｎ］に基づく２５６回目の更新がなされたフィルタ係数ＦＩＲ２［ｎ］を基準として、信号Ｌi+1［ｎ］に対するフィルタ係数ＦＩＲ２［ｎ］が上述と同様の更新を介して求められる。
【００５４】
ＦＩＲフィルタ１８Ｌ及び１８Ｒにおける各データ出力端子１０２から夫々第１及び第２の抽出信号が出力される。第１の抽出信号は、信号Ｌi［ｔ］の中より、音源２Ｌからの音の成分を抽出した信号であり、第２の抽出信号は、信号Ｌi［ｔ］の中より、音源２Ｒからの音の成分を抽出した信号である。尚、抽出を、強調と読み替えることもできる。
【００５５】
本実施例では、時間領域上の信号にデジタルフィルタ処理を行うことで、特定の音源からの音を強調、抽出、低減又は除去する。この際、デジタルフィルタにおけるフィルタ係数をフレームの時間長さよりも短い周期でステップ的に更新する。上述の例では、フィルタ係数がΔｔSの間隔で更新される。これにより、図１３に対応する従来方法では顕著に発生していたミュージカルノイズが大幅に低減される。
【００５６】
ところで、ミュージカルノイズを低減するべく、図１３に対応する従来方法を以下のように改良することも考えられる。即ち、図１４に示す如く、時間−周波数変換時に用いる窓関数を時系列上でオーバラップさせて各窓関数に対応する周波数スペクトルを生成し、図１３に対応する従来方法の処理を経て各周波数スペクトルを合成する。このようにすれば、信号の不連続性が緩和され、ミュージカルノイズの低減も期待できる。但し、この場合、多くの処理量を必要とする時間−周波数変換を短時間周期で多数回行う必要があるため、リアルタイム動作を実現するためには、動作クロックの速い高価なハードウェアが必要となる（或いは実現そのものが困難である）。
【００５７】
一方、本実施例では、１サンプリング時間当たりに１回、更新量をフィルタ係数に加算するだけでミュージカルノイズを大幅に抑制することが可能である。つまり、ミュージカルノイズを抑制するために必要となる処理は軽微であり、実用性が極めて高い。
【００５８】
尚、図２の音響信号処理装置１０では、ＦＩＲフィルタ１８Ｌ及び１８Ｒへの入力信号が共に左チャンネルの信号Ｌi［ｔ］となっているが、左右チャンネルの信号の内の、どちらの信号をＦＩＲフィルタに与えるかは任意である（これは、後述の他の実施例でも同様）。例えば、図６に示すように、ＦＩＲフィルタ１８Ｒへの入力信号を信号Ｒi［ｔ］に変更しても構わない。マイクロホン１Ｌ及び１Ｒと抽出すべき音源との距離がマイクロホン間隔に対して十分大きければ、この変更を行っても、第２の抽出信号は殆ど変化しない。
【００５９】
＜＜第２実施例＞＞
次に、本発明の第２実施例を説明する。図７に、第２実施例に係る音響信号処理装置２０の内部ブロック図を示す。音響信号処理装置２０は、原信号Ｌ及びＲを入力音響信号として受け、正面方向から到来した音の信号成分を入力音響信号より抽出して、抽出によって得た信号をモノラル信号として出力する。
【００６０】
音響信号処理装置２０は、符号１１Ｌ〜１３Ｌ及び１１Ｒ〜１３Ｒ並びに符号２４〜２８によって参照される各部位を備える。
【００６１】
ＬＰＦ１１Ｌ及び１１Ｒ、ダウンサンプリング部１２Ｌ及び１２Ｒ並びにＦＦＴ部１３Ｌ及び１３Ｒは、図２に示すそれらと同じものである。但し、第２実施例において、ＦＦＴ部１３Ｌ及び１３Ｒの出力データは比較部２４に与えられる。
【００６２】
比較部２４は、ＦＦＴ部１３Ｌの出力データに基づき、細分化帯域ごとに、当該細分化帯域における左チャンネルの信号成分の位相を算出する（換言すれば、Δｆで離散化された、信号Ｌi［ｔ］の位相スペクトルを算出する）と共に、ＦＦＴ部１３Ｒの出力データに基づき、細分化帯域ごとに、当該細分化帯域における右チャンネルの信号成分の位相を算出する（換言すれば、Δｆで離散化された、信号Ｒi［ｔ］の位相スペクトルを算出する）。そして、図２の比較部１４と同様、各細分化帯域を個別に着目し、着目した細分化帯域における位相を左右チャンネル間で比較することにより、その細分化帯域における信号の主成分が何れの方向から到来したものであるのかを判定する。
【００６３】
但し、比較部２４は、比較部１４と異なり、正面方向から到来した音の信号成分が主成分となっている帯域を必要と判断する。図８において、符号５が付された矢印群は「正面方向から到来した音」の伝播方向を表している。第２実施例及び後述の第３実施例において、「正面方向から到来した音」とは、マイクロホン１Ｌ及び１Ｒの前方側に位置し且つ音源２Ｌと２Ｒとの間に位置する音源（音源２Ｌ及び２Ｒを含む）から音を指す。
【００６４】
具体的には、比較部２４は、着目した細分化帯域の実位相差が（−Δφ）以上Δφ以下の範囲内に収まる場合、着目した細分化帯域における信号の主成分が正面方向から到来した音の信号成分であると判断し、着目した細分化帯域を必要帯域に分類する。一方、着目した細分化帯域の実位相差が（−Δφ）以上Δφ以下の範囲内に収まらない場合、着目した細分化帯域における信号の主成分が正面方向以外から到来した音の信号成分であると判断し、着目した細分化帯域を不要帯域に分類する。
【００６５】
マスク作成部２５は、比較部２４による分類結果に基づいて、必要帯域の信号成分を抽出するためのマスクデータ列を生成する。第ｉ番目のフレームに対するマスクデータ列はマスクデータＭＳi［０］〜ＭＳi［Ｍ−１］から形成される。
【００６６】
第ｉ番目のフレームに関して、ｍ＝ｍOの細分化帯域が必要帯域に分類された場合、マスクデータＭＳi［ｍO］は１とされ、ｍ＝ｍOの細分化帯域が不要帯域に分類された場合、マスクデータＭＳi［ｍO］は規定値ＭＳREFとされる。規定値ＭＳREFは、上述したように、０以上１未満の値とされる。規定値ＭＳREFを０に設定した場合、正面方向以外から到来した音に由来すると判断された帯域成分が完全に除去された音響信号が音響信号処理装置２０から出力されることになる。それの完全なる除去を行わない場合は、規定値ＭＳREFを０より大きく且つ１より小さな値とすればよい。
【００６７】
ｍ＝２の場合に着目して具体例を挙げる。比較部２４は、信号成分Ｌi［２・Δｆ］の位相から信号成分Ｒi［２・Δｆ］の位相を差し引いた実位相差Δφ2を求め、不等式「−Δφ≦Δφ2≦Δφ」の成立／不成立を判断する。この不等式におけるΔφは、「Ｆｒｅｑ＝２×Δｆ」とした場合におけるΔφである。この不等式が成立する場合は、ｍ＝２の細分化帯域が必要帯域に分類され、この結果、ＭＳi［２］＝１とされる。この不等式が不成立の場合は、ｍ＝２の細分化帯域が不要帯域に分類され、この結果、ＭＳi［２］＝ＭＳREFとされる。ｍ＝２の場合に着目して具体例を挙げたが、ｍ≠２の場合も同様である。
【００６８】
ＩＦＦＴ部２６は、逆離散フーリエ変換を用いて、周波数領域上のマスクデータ列ＭＳi［ｍ］を、時間領域上の時系列データである信号ＦＩＬi［ｎ］に変換する。信号ＦＩＬi［ｎ］における標本間隔は、ダウンサンプリング部１２Ｌ及び１２Ｒにおける標本間隔ΔｔS（＝１／１２ｋＨｚ）と同じである。故に、ｎは０以上２５５以下の各整数値をとる。即ち、第ｉ番目のフレームに対してＩＦＦＴ部２６から出力される信号は計２５５個のデータ列ＦＩＬi［０］〜ＦＩＬi［２５５］から成る。
【００６９】
ＦＩＲフィルタ２８は、図５のＦＩＲフィルタ１８と同じものであり、ＦＩＲフィルタ２８の計２５６個のフィルタ係数を、ＦＩＲフィルタ１８と同じく、ＦＩＲ［０］〜ＦＩＲ［２５５］と表記する。全フィルタ係数ＦＩＲ［０］〜ＦＩＲ［２５５］の初期値はゼロである。
【００７０】
係数更新部２７は、ＩＦＦＴ部２６からの信号ＦＩＬi［ｎ］に基づいてＦＩＲフィルタ２８のフィルタ係数ＦＩＲ［ｎ］を更新する。この更新はΔｔSが経過する毎に１回行われる。信号ＦＩＬi［ｎ］に基づくフィルタ係数ＦＩＲ［ｎ］の更新方法は、第１実施例で述べた信号ＦＩＬ１i［ｎ］に基づくフィルタ係数ＦＩＲ１［ｎ］の更新方法と同じである。
【００７１】
即ち、係数更新部２７は、ｎ＝０、１、２・・・２５５の夫々に対して、下記式（３ａ）に基づき更新量ΔＷ［ｎ］を算出する。式（３ａ）におけるＦＩＲ［ｎ］の値として、前回のフィルタ係数の値が用いられる。前回のフィルタ係数を用いて求めた更新量を前回のフィルタ係数に加算することによって更新を行い、この更新後の値を、今回のフィルタ係数の値とする。即ち、下記式（３ｂ）に従って更新がなされる。更新量ΔＷ［ｎ］を用いたフィルタ係数の更新を開始してから、離散フーリエ変換の解析長である２５６サンプル分の時間経過後（即ち、ΔｔS×２５６に相当する時間経過後）に、ＦＩＬi［ｎ］とＦＩＲ［ｎ］は等価となる。
ΔＷ［ｎ］＝（ＦＩＬi［ｎ］−ＦＩＲ［ｎ］）／２５６    ・・・（３ａ）
ＦＩＲ［ｎ＋１］＝ΔＷ［ｎ］＋ＦＩＲ［ｎ］              ・・・（３ｂ）
【００７２】
ＦＩＲフィルタ２８におけるデータ入力端子１０１に、ΔｔSの間隔で順次、信号Ｌi［ｔ］を形成するデータ列が入力される。信号Ｌi［ｔ］に含まれる１番目のデータがＦＩＲフィルタ２８のデータ入力端子１０１に入力される直前に、信号ＦＩＬi［ｎ］に基づく１回目のフィルタ係数ＦＩＲ［ｎ］の更新が実行され、信号Ｌi［ｔ］に含まれる２５６番目のデータがＦＩＲフィルタ２８のデータ入力端子１０１に入力される直前に、信号ＦＩＬi［ｎ］に基づく２５６回目のフィルタ係数ＦＩＲ［ｎ］の更新が実行される。この後、信号ＦＩＬi［ｎ］に基づく２５６回目の更新がなされたフィルタ係数ＦＩＲ［ｎ］を基準として、信号Ｌi+1［ｎ］に対するフィルタ係数ＦＩＲ［ｎ］が上述と同様の更新を介して求められる。
【００７３】
ＦＩＲフィルタ２８におけるデータ出力端子１０２から、モノラル信号としての第１の抽出信号が出力される。ＦＩＲフィルタ２８からの第１の抽出信号は、信号Ｌi［ｔ］の中より、正面方向から到来した音の成分を抽出した信号である。
【００７４】
本実施例のように音響信号処理装置を形成しても、特定音源からの音の抽出等を行う際においてミュージカルノイズの発生が抑制される。また、ミュージカルノイズを抑制するために必要となる処理は軽微であり、実用性が極めて高い。
【００７５】
正面方向から到来した音の信号成分を位相情報に基づいて抽出する方法を説明したが、パワー情報によってこの抽出を実現してもよい。音は伝播距離に応じて減衰するため、正面方向から到来した音の成分が信号の主成分となっている場合、左右チャンネルからの信号のパワー（パワーレベル）は同程度となる一方で、横方向から到来した音の成分が信号の主成分となっている場合、左右チャンネル間で信号のパワーに差が生じる。この原理を利用する。
【００７６】
パワー比較によって正面方向から到来した音の信号成分を抽出する場合、以下のように処理すればよい。比較部２４は、ＦＦＴ部１３Ｌの出力データに基づき、細分化帯域ごとに、当該細分化帯域における左チャンネルの信号成分のパワー（パワーレベル）を算出する（換言すれば、Δｆで離散化された、信号Ｌi［ｔ］のパワースペクトルを算出する）と共に、ＦＦＴ部１３Ｒの出力データに基づき、細分化帯域ごとに、当該細分化帯域における右チャンネルの信号成分のパワー（パワーレベル）を算出する（換言すれば、Δｆで離散化された、信号Ｒi［ｔ］のパワースペクトルを算出する）。そして、各細分化帯域を個別に着目し、着目した細分化帯域におけるパワー（パワーレベル）を左右チャンネル間で比較することにより、その細分化帯域における信号の主成分が何れの方向から到来したものであるのかを判定する。
【００７７】
実際には、比較部２４において、信号成分Ｌi［ｍ・Δｆ］のパワー（パワーレベル）と信号成分Ｒi［ｍ・Δｆ］のパワー（パワーレベル）との間におけるパワー差ΔＰmを、ｍ＝０、１、２、・・・、（Ｍ−１）の夫々に対して求め、各パワー差ΔＰmを予め設定された基準パワー差ΔＰREFと比較する。そして、着目した細分化帯域のパワー差ΔＰmが基準パワー差ΔＰREFよりも小さい場合、着目した細分化帯域における信号の主成分が正面方向から到来した音の成分であると判断し、着目した細分化帯域を必要帯域に分類する。一方、着目した細分化帯域のパワー差ΔＰmが基準パワー差ΔＰREF以上である場合、着目した細分化帯域における信号の主成分が正面方向以外から到来した音の成分であると判断し、着目した細分化帯域を不要帯域に分類する。この分類後の動作は、上述したとおりである。
【００７８】
パワー比較を用いる方法は、マイクロホン間隔が十分に広く（例えば、数１０ｃｍ）、音の距離減衰の差が判別可能な場合に有効である。パワー情報は、マイクロホンの感度ばらつきの影響を受けやすく、また、パワー情報のみの利用では厳密な音源方向の推定が比較的難しい。しかしながら、位相情報を用いる場合と異なり上限周波数の制約を受けない利点がある。
【００７９】
これを考慮し、位相情報及びパワー情報の双方を用いるようにしてもよい。即ち、各細分化帯域が必要帯域及び不要帯域の何れに分類されるべきかの判断を、所定の上限周波数未満の各細分化帯域に対しては位相情報に基づいて行い、上限周波数以上の各細分化帯域に対してはパワー情報に基づいて行うようにしてもよい。位相情報（実位相差Δφm）に基づく分類方法及びパワー情報（パワー差ΔＰm）に基づく分類方法は、上述した通りである。
【００８０】
＜＜第３実施例＞＞
本発明の第３実施例を説明する。図９に、第３実施例に係る音響信号処理装置３０の内部ブロック図を示す。音響信号処理装置３０は、原信号Ｌ及びＲを入力音響信号として受け、正面方向から到来した音の信号成分を入力音響信号より抽出して、抽出によって得た信号をモノラル信号として出力する。
【００８１】
音響信号処理装置３０は、符号１１Ｌ〜１３Ｌ及び１１Ｒ〜１３Ｒ並びに符号３４〜３９によって参照される各部位を備える。
【００８２】
ＬＰＦ１１Ｌ及び１１Ｒ、ダウンサンプリング部１２Ｌ及び１２Ｒ並びにＦＦＴ部１３Ｌ及び１３Ｒは、図２に示すそれらと同じものである。但し、第３実施例において、ＦＦＴ部１３Ｌ及び１３Ｒの出力データは比較部３４に与えられる。
【００８３】
比較部３４は、ＦＦＴ部１３Ｌ及び１３Ｒの出力データに基づき、第２実施例で述べた方法と同じ方法を用いて、ｍ＝０、１、２、・・・、Ｍ−１の夫々の細分化帯域を必要帯域又は不要帯域に分類する。この分類の際、第２実施例で述べたように、位相情報（実位相差Δφm）、パワー情報（パワー差ΔＰm）又はそれらの双方を用いる。
【００８４】
ＦＦＴ部１３Ｌによって時間領域上の信号Ｌi［ｔ］は周波数領域上の信号Ｌi［ｍ・Δｆ］に変換される。不要帯域除去部３５は、比較部３４による必要帯域及び不要帯域についての分類結果に基づいて、信号Ｌi［ｍ・Δｆ］より、不要帯域に分類された細分化帯域の信号成分を除去し、この除去後の信号Ｌi’［ｍ・Δｆ］を出力する。この除去は、完全なる除去でも一部の除去であっても構わない。
【００８５】
例えば、ｍ＝２の細分化帯域のみが不要帯域に分類され、その他の細分化帯域が必要帯域に分類された場合を考える。この場合、０≦ｍ≦１又は３≦ｍ≦Ｍ−１の範囲内ではＬi’［ｍ・Δｆ］＝Ｌi［ｍ・Δｆ］となる。一方で、Ｌi’［２・Δｆ］≠Ｌi［２・Δｆ］となる。不要帯域に分類された細分化帯域の信号成分の信号レベル（信号強度）は低減される。即ち、信号成分Ｌi’［２・Δｆ］の信号レベルは、ゼロとされる又は信号成分Ｌi［２・Δｆ］の信号レベルよりも小さくされる。
【００８６】
不要帯域に分類された細分化帯域の信号成分の信号レベルを低減するのではなく、必要帯域に分類された細分化帯域の信号成分の信号レベルを増大させることによって信号Ｌi’［ｍ・Δｆ］を生成しても良い。つまり、不要帯域除去部３５は、比較部３４による必要帯域及び不要帯域についての分類結果に基づいて不要帯域又は必要帯域の信号成分の信号レベルを制御し、これによって信号Ｌi’［ｍ・Δｆ］を出力する。信号Ｌi’［ｍ・Δｆ］は、不要帯域の信号成分が除去された信号と考えることもできるし、必要帯域の信号成分が強調された信号とも考えることができる。
【００８７】
ＩＦＦＴ部３６は、逆離散フーリエ変換を用いて、周波数領域上の信号Ｌi’［ｍ・Δｆ］を時間領域上の時系列データである信号Ｓi［ｔ］に変換する。この逆離散フーリエ変換の標本間隔は、ダウンサンプリング部１２Ｌ及び１２Ｒにおける標本間隔ΔｔS（＝１／１２ｋＨｚ）と同じであるとする。従って、第ｉ番目のフレームに対してＩＦＦＴ部３６から出力される信号は、時間間隔ΔｔSにて離散化された計２５６個のデータから成る。
【００８８】
ＩＦＦＴ部３６から出力される信号そのものは、図１３に対応する従来方法と同様、ミュージカルノイズを含むが、第３実施例では、この信号をそのまま出力するのではなく、この信号を教師信号として用いる。即ち、この教師信号とＦＩＲフィルタ３８の出力信号と差がゼロに収束するように、ＦＩＲフィルタ３８における各フィルタ係数を短時間周期でステップ更新する。より具体的に説明する。
【００８９】
ＦＩＲフィルタ３８は、図５に示すＦＩＲフィルタ１８と同じものである。ＦＩＲフィルタ３８のデータ入力端子１０１には、ダウンサンプリング部１２Ｌの出力信号Ｌ［ｔ］が入力される。
【００９０】
今、或る時刻ｔを基準として考え、ΔｔSの間隔で、順次、ダウンサンプリング部１２ＬからデータＬ［ｔ］、Ｌ［ｔ＋１］、Ｌ［ｔ＋２］、・・・、Ｌ［ｔ＋２５５］がＦＩＲフィルタ３８のデータ入力端子１０１に入力されると考える。そうすると、時刻ｔにおける、ＦＩＲフィルタ３８のデータ出力端子１０２からの出力データＤOUT［ｔ］は、下記式（４）に従って算出される。時刻ｔにおける出力データＤOUT［ｔ］の算出の際には、時刻ｔにおけるフィルタ係数ＦＩＲ［ｊ］が用いられる（ｊは整数であって、０≦ｊ≦２５５）。
【００９１】
【数２】
0005153389.tif 000003
【００９２】
また、データＬ［ｔ］〜Ｌ［ｔ＋２５５］に対して、ＦＦＴ部１３Ｌによる離散フーリエ変換、不要帯域除去部３５による信号レベル制御及びＩＦＦＴ部３６による逆離散フーリエ変換を施すことによって得たＩＦＦＴ部３６の出力データを、Ｓ［ｔ］〜Ｓ［ｔ＋２５５］にて表す。減算器３９は、時刻ｔにおけるＦＩＲフィルタ３８の出力データＤOUT［ｔ］から、対応する時刻のＩＦＦＴ部３６の出力データＳ［ｔ］を減算し、その減算結果（ＤOUT［ｔ］−Ｓ［ｔ］）を係数更新部３７に与える。係数更新部３７は、下記式（５）に従って時刻ｔのフィルタ係数に対する更新量ΔＦＩＲ［ｊ］を算出する。そして、時刻ｔのフィルタ係数に対する更新量ΔＦＩＲ［ｊ］を時刻ｔにおけるフィルタ係数ＦＩＲ［ｊ］に加えた係数が時刻（ｔ＋１）におけるフィルタ係数ＦＩＲ［ｊ］となるように、ＦＩＲフィルタ３８のフィルタ係数ＦＩＲ［ｊ］を更新する。時刻（ｔ＋１）における出力データＤOUT［ｔ＋１］の算出の際には、時刻（ｔ＋１）におけるフィルタ係数ＦＩＲ［ｊ］が用いられる。このようなフィルタ係数ＦＩＲ［ｊ］の更新は、ΔｔSが経過する毎に１回実行される。
ΔＦＩＲ［ｊ］＝α×（ＤOUT［ｔ］−Ｓ［ｔ］）×Ｌ［ｔ−ｊ］    ・・・（５）
【００９３】
これにより、ＩＦＦＴ部３６の出力データとＦＩＲフィルタ３８の出力データとの差がゼロに収束するように、適応的にＦＩＲフィルタ３８のフィルタ係数が更新されていく。式（５）におけるαは、この適応の速度を調整するための所定の係数である。
【００９４】
ＦＩＲフィルタ３８におけるデータ出力端子１０２から、モノラル信号としての第１の抽出信号が出力される。ＦＩＲフィルタ３８からの第１の抽出信号は、信号Ｌi［ｔ］の中より、正面方向から到来した音の成分を抽出した信号である。
【００９５】
本実施例のように音響信号処理装置を形成しても、特定音源からの音の抽出等を行う際においてミュージカルノイズの発生が抑制される。但し、第２実施例と比べると、ミュージカルノイズを抑制するために必要となる処理量が多くなる。
【００９６】
尚、第１実施例に記載の方法を第３実施例に適用することで、ステレオ信号を生成するようにしてもよい。この場合、不要帯域除去部３５、ＩＦＦＴ部３６、係数更新部３７、ＦＩＲフィルタ３８及び減算器３９を含む部位を２系統設け、一方の系統における必要帯域及び他方の系統における必要帯域を、夫々、第１実施例で述べた、音源２Ｌに対応する第１必要帯域及び音源２Ｒに対応する第２必要帯域として取り扱えばよい。前者の系統からは、音源２Ｌからの音の成分を抽出した音響信号が出力され、後者の系統からは、音源２Ｒからの音の成分を抽出した音響信号が出力される。
【００９７】
＜＜第４実施例＞＞
次に、本発明の第４実施例を説明する。第１〜第３実施例で説明した音響信号処理装置（１０、２０又は３０）は、複数のマイクロホンの検出信号を利用する任意の装置に搭載される。複数のマイクロホンの検出信号を利用する任意の装置には、録音装置（ＩＣレコーダなど）、撮像装置（デジタルビデオカメラなど）、携帯端末（携帯電話機など）及び音響信号再生装置が含まれる。尚、撮像装置及び携帯端末の夫々において、録音装置としての機能若しくは音響信号再生装置としての機能又はそれらの双方の機能を実現することも可能である。
【００９８】
例として、図１０に、録音装置２００の概略構成図を示す。録音装置２００は、音響信号処理装置２０１と、磁気ディスクやメモリカード等の記録媒体２０２と、撮像装置２００の筐体上の互いに異なる位置に設置されたマイクロホン１Ｌ及び１Ｒと、を備える。音響信号処理装置２０１は、音響信号処理装置１０によって実現される機能と音響信号処理装置２０（又は３０）によって実現される機能を択一的に実現可能であり、ユーザが録音装置２００に所定操作を施すことによって、一方の機能を択一的に有効とする。前者の機能を第１機能と呼び、後者の機能を第２機能と呼ぶ。
【００９９】
第１機能が有効とされた場合、音響信号処理装置２０１は、マイクロホン１Ｌ及び１Ｒの検出信号から第１実施例で述べたステレオ信号（第１実施例における第１及び第２の抽出信号）を生成し、そのステレオ信号を記録媒体２０２に記録する。第２機能が有効とされた場合、音響信号処理装置２０２は、マイクロホン１Ｌ及び１Ｒの検出信号から第２実施例（又は第３）で述べたモノラル信号を生成し、そのモノラル信号を記録媒体２０２に記録する。
【０１００】
また、図１１に、音響信号再生装置２２０の概略構成図を示す。音響信号再生装置２２０は、音響信号処理装置２２１と、磁気ディスクやメモリカード等の記録媒体２２２と、を備える。記録媒体２２２には、マイクロホン１Ｌ及び１Ｒの検出信号が記録されているものとする。音響信号処理装置２２１は、上記第１及び第２機能を実現可能に形成されており、ユーザが音響信号処理装置２２１に所定操作を施すことによって、一方の機能を択一的に有効とする。
【０１０１】
第１機能が有効とされた場合、音響信号処理装置２２１は、記録媒体２２２より読み出したマイクロホン１Ｌ及び１Ｒの検出信号から第１実施例で述べたステレオ信号を生成する。このステレオ信号は、例えば、音としてスピーカ（不図示）から出力される、或いは、記録媒体２２２に記録される、或いは、他の装置（不図示）に対して送信される。第２機能が有効とされた場合、音響信号処理装置２２１は、記録媒体２２２より読み出したマイクロホン１Ｌ及び１Ｒの検出信号から第２実施例（又は第３）で述べたモノラル信号を生成する。このモノラル信号は、例えば、音としてスピーカ（不図示）から出力される、或いは、記録媒体２２２に記録される、或いは、他の装置（不図示）に対して送信される。
【０１０２】
また、図１２に、撮像装置２４０の概略構成図を示す。撮像装置２４０は、図１０の録音装置２００の構成要素に、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子２４３、画像処理部及び表示部（不図示）を付加することによって形成される。撮像装置２４０に内在する、音響信号処理装置２０１、記録媒体２０２並びにマイクロホン１Ｌ及び１Ｒの機能は、上述した通りである。撮像装置２４０は、撮像素子２４３を用いて被写体に応じた動画像又は静止画像を撮影し、その動画像又は静止画像の画像データを記録媒体２０２に記録する。
【０１０３】
注目すべき話者の音声を録音する場合、通常、その話者は装置の正面に位置する。このため、第２機能を、撮像装置、録音装置又は携帯電話機などにおける話者音声強調に利用可能である。携帯電話機における話者音声強調は、所謂ハンズフリー通話時において特に有益である。
【０１０４】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１０５】
［注釈１］
２つのマイクロホンを用いて特定音源からの音を抽出したステレオ信号又はモノラル信号を生成する方法を例示したが、本発明において、マイクロホンの本数は３以上であってもよい。例えば、上述の各実施例に記載した技術を３以上のマイクロホンの検出信号に対して適用し、３以上のマイクロホンの検出信号から３以上のチャンネル信号を有するマルチチャンネル信号を生成することも可能である。
【０１０６】
［注釈２］
音響信号処理装置（１０、２０又は３０）によって実現される機能の全部又は一部は、ハードウェア、ソフトウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて音響信号処理装置（１０、２０又は３０）を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。音響信号処理装置（１０、２０又は３０）にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【図面の簡単な説明】
【０１０７】
【図１】本発明の実施形態に係り、２つのマイクロホンと２つの音源との位置関係を表す図である。
【図２】本発明の第１実施例に係る音響信号処理装置の内部ブロック図である。
【図３】時系列データがフレーム単位で区切られる様子を示す図である。
【図４】図２のマスク作成部から出力されるマスクデータ列を例示する図である。
【図５】ＦＩＲフィルタの内部構成図である。
【図６】図２の音響信号処理装置の変形例を示す図である。
【図７】本発明の第２実施例に係る音響信号処理装置の内部ブロック図である。
【図８】正面方向から到来する音の伝播方向を説明するための図である。
【図９】本発明の第３実施例に係る音響信号処理装置の内部ブロック図である。
【図１０】本発明の第４実施例に係る録音装置の概略構成図である。
【図１１】本発明の第４実施例に係る音響信号再生装置の概略構成図である。
【図１２】本発明の第４実施例に係る撮像装置の概略構成図である。
【図１３】従来の特定音源分離方法が適用された音響信号処理装置の内部ブロック図である。
【図１４】時間−周波数変換時に用いる窓関数を時系列上でオーバラップさせた様子を示す図である。
【符号の説明】
【０１０８】
１Ｌ、１Ｒ  マイクロホン
２Ｌ、２Ｒ  音源
１０、２０、３０、２０１、２２１  音響信号処理装置
１４、２４、３４  比較部
１５、２５  マスク作成部
１６Ｌ、１６Ｒ、２６、３６  ＩＦＦＴ部
１７Ｌ、１７Ｒ、２７、３７  係数更新部
１８、１８Ｌ、１８Ｒ、２８、３８  ＦＩＲフィルタ
【図１】
0005153389.tif 000004
【図２】
0005153389.tif 000005
【図３】
0005153389.tif 000006
【図４】
0005153389.tif 000007
【図５】
0005153389.tif 000008
【図６】
0005153389.tif 000009
【図７】
0005153389.tif 000010
【図８】
0005153389.tif 000011
【図９】
0005153389.tif 000012
【図１０】
0005153389.tif 000013
【図１１】
0005153389.tif 000014
【図１２】
0005153389.tif 000015
【図１３】
0005153389.tif 000016
【図１４】
0005153389.tif 000017