(57)【要約】【課題】出力の不連続やドップラー効果による周波数変化や振幅変動を生じさせることなく、移動音源からの音を正確に抽出する方法を提供する。【解決手段】本方法は、音源の位置を求め、前記音源の位置の関数として、音源信号ベクトル（ｓ）を複数の観測点のそれぞれの観測点における観測信号ベクトル（ｘ（ｎ））に変換する、前記音源から前記それぞれの観測点までの時変畳み込み行列（Ｈ(p(ｋ), ｎ)）を求める。さらに、前記音源から前記それぞれの観測点までの時変畳み込み行列を使用して、前記それぞれの観測点における観測信号ベクトルを前記目的音源の音源信号ベクトルに変換するビームフォーミング係数行列（Ｇ（ｎ））を求め、前記それぞれの観測点における観測信号ベクトルおよび前記ビームフォーミング係数行列から前記目的音源の音源信号ベクトル（ｙ）を求める。【選択図】図２
2008219884.tif 000002
【特許請求の範囲】
【請求項１】
音源の位置を求め、
前記音源の位置の関数として、前記音源の音源信号ベクトルを複数の観測点のそれぞれの観測点における観測信号ベクトルに変換する、前記音源から前記それぞれの観測点までの時変畳み込み行列を求め、
前記音源から前記それぞれの観測点までの時変畳み込み行列を使用して、前記それぞれの観測点における観測信号ベクトルを目的音源の音源信号ベクトルに変換するビームフォーミング係数行列を求め、 
前記それぞれの観測点における観測信号ベクトルおよび前記ビームフォーミング係数行列から前記目的音源の音源信号ベクトルを求める、移動音源からの音の抽出方法。
【請求項２】
前記目的音源の位置を求め、
前記目的音源の位置の関数として、前記目的音源の音源信号ベクトルを複数の観測点のそれぞれの観測点における観測信号ベクトルに変換する、前記目的音源から前記それぞれの観測点までの時変畳み込み行列を求め、
前記ビームフォーミング係数行列を、前記目的音源から前記それぞれの観測点までの時変畳み込み行列の擬似逆行列として求める、請求項１に記載の移動音源からの音の抽出方法。
【請求項３】
非目的音源の位置をさらに求め、
前記非目的音源の位置の関数として、前記非目的音源の音源信号ベクトルを前記それぞれの観測点における観測信号ベクトルに変換する、前記非目的音源から前記それぞれの観測点までの時変畳み込み行列をさらに求め、
前記ビームフォーミング係数行列を、前記非目的音源から前記それぞれの観測点までの時変畳み込み行列と前記ビームフォーミング係数行列との積が０となるように調整する、請求項３に記載の移動音源からの音の抽出方法。
【請求項４】
複数の観測点における音の観測信号ベクトルを取得する音データ取得部と、
音源の位置を検出する位置検出部と、
前記音源の位置の関数として、前記音源の音源信号ベクトルを複数の観測点のそれぞれの観測点における観測信号ベクトルに変換する、前記音源から前記それぞれの観測点までの時変畳み込み行列を格納する時変畳み込み行列格納部と、
前記複数の観測点における音の観測信号ベクトルおよび前記音源から前記それぞれの観測点までの時変畳み込み行列から目的音源の音源信号ベクトルを求める演算処理部と、を備える移動音源からの音の抽出装置。
【請求項５】
前記位置検出部が、前記目的音源の位置を検出し、
前記時変畳み込み行列格納部が、前記目的音源の位置の関数として、前記目的音源の音源信号ベクトルを前記それぞれの観測点における観測信号ベクトルに変換する、前記目的音源から前記それぞれの観測点までの時変畳み込み行列を格納し、
前記演算処理部が、前記それぞれの観測点における観測信号ベクトルを前記目的音源の音源信号ベクトルに変換するビームフォーミング係数行列を、前記目的音源から前記それぞれの観測点までの時変畳み込み行列の擬似逆行列として求め、前記それぞれの観測点における観測信号ベクトルおよび前記ビームフォーミング係数行列から前記目的音源の音源信号ベクトルを求める、請求項４に記載の移動音源からの音の抽出装置。
【請求項６】
前記位置検出部が、非目的音源の位置をさらに検出し、
前記時変畳み込み行列格納部が、前記非目的音源の位置の関数として、前記非目的音源の音源信号ベクトルを前記それぞれの観測点における観測信号ベクトルに変換する、前記非目的音源から前記それぞれの観測点までの時変畳み込み行列をさらに格納し、
前記演算処理部が、前記ビームフォーミング係数行列を、前記非目的音源から前記それぞれの観測点までの時変畳み込み行列と前記ビームフォーミング係数行列との積が０となるように調整する、請求項５に記載の移動音源からの音の抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動音源からの音の抽出方法および装置に関する。
【背景技術】
【０００２】
目的とする音源（以下、目的音源と呼称する）の音源信号を正確に抽出するために、ビームフォーミングが行われる。ビームフォーミングは、複数のマイクロフォンで観測した観測信号を適当なフィルタで処理して、目的音源の音源信号を強調して抽出する方法である。ビームフォーミングの具体的な方法としては、所定の方向からの音を同相化して強調する、遅延和アレイによる処理などが広く知られている。また、より高精度のビームフォーミング方法も提案されている（たとえば、特許文献１）。
【０００３】
一方、移動音源に対するビームフォーミング方法は、従来、静止音源に対するビームフォーミング方法をそのまま適用したものであった。具体的には、たとえば、移動音源の移動領域を分割し、分割領域ごとにビームフォーミングのためのフィルタ係数を求め、それぞれの分割領域のフィルタ係数によって移動音源からの音の出力値を求め、出力値の内最大のものを移動音源からの音とする。しかし、このような従来の方法には、分割領域ごとに係数を切り替えることによる出力の不連続やドップラー効果による周波数変化や振幅変動が生じるという欠点があった。
【特許文献１】特開平２００６−２７０９０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって、出力の不連続やドップラー効果による周波数変化や振幅変動を生じさせることなく、移動音源からの音を正確に抽出する方法および装置に対するニーズがある。
【課題を解決するための手段】
【０００５】
本発明による移動音源からの音の抽出方法は、音源の位置を求め、前記音源の位置の関数として、前記音源の音源信号ベクトルを複数の観測点のそれぞれの観測点における観測信号ベクトルに変換する、前記音源から前記それぞれの観測点までの時変畳み込み行列を求める。さらに、前記音源から前記それぞれの観測点までの時変畳み込み行列を使用して、前記それぞれの観測点における観測信号ベクトルを目的音源の音源信号ベクトルに変換するビームフォーミング係数行列を求め、前記それぞれの観測点における観測信号ベクトルおよび前記ビームフォーミング係数行列から前記目的音源の音源信号ベクトルを求める。
【０００６】
本発明による移動音源からの音の抽出装置は、複数の観測点における音の観測信号ベクトルを取得する音データ取得部と、音源の位置を検出する位置検出部と、を備える。本装置は、前記音源の位置の関数として、前記音源の音源信号ベクトルを複数の観測点のそれぞれの観測点における観測信号ベクトルに変換する、前記音源から前記それぞれの観測点までの時変畳み込み行列を格納する時変畳み込み行列格納部と、前記複数の観測点における音の観測信号ベクトルおよび前記音源から前記それぞれの観測点までの時変畳み込み行列から目的音源の音源信号ベクトルを求める演算処理部と、をさらに備える。
【０００７】
本発明によれば、移動する音源の位置によりビームフォーミング係数を切り替えて使用することがなく、それぞれの時刻において最適なビームフォーミング係数を使用するので、出力の不連続やドップラー効果による周波数変化や振幅変動を生じさせることなく、移動する目的音源による音を正確に抽出することができる。
【発明を実施するための最良の形態】
【０００８】
移動音源の位置をp（ｔ）、その信号（体積速度）をｓ（ｔ）とすれば、位置qにおける観測信号（音圧）ｘ（ｔ）は、次式の解である［P. M. Morse and K. U. Ingard,
”Theoretical Acoustics”, Princeton, USA, pp. 717-732, 1968］。なお、以下の式において、ｐおよびｑは、位置を表すベクトルを示す。
【数１】
2008219884.tif 000003
【０００９】
式（１）は、静止音源の波動方程式と比較すると、右辺のデルタ関数が時間の関数でもある点で異なり、移動速度などにより観測点での音圧は変化する。式（１）は、時変ではあるが、線形の方程式である。このため、ｓ（ｔ）を時刻ｔｓでのインパルス入力
【数２】
2008219884.tif 000004
の積分として分解すれば
【数３】
2008219884.tif 000005
となり、観測信号ｘ（ｔ）は、時刻ｔｓでのインパルス入力
【数４】
2008219884.tif 000006
に対する応答
【数５】
2008219884.tif 000007
の積分
【数６】
2008219884.tif 000008
として計算できる。応答
【数７】
2008219884.tif 000009
は、
【数８】
2008219884.tif 000010
としたときの式（１）の解であり、式（４）を式（１）に代入し、
【数９】
2008219884.tif 000011
とおいて整理すれば、
【数１０】
2008219884.tif 000012
となる。式（５）は音源位置がp（ｔｓ）である場合の静止音源に対するインパルス応答を与える式と一致する。したがって、
【数１１】
2008219884.tif 000013
である。ここで、ｈ（ｔ，ｐ）は、音源位置がｐのときのインパルス応答である。したがって、式（３）は、
【数１２】
2008219884.tif 000014
と変形できる。ここでｈ（ｔ，p）は、位置pにある静止音源から観測位置qまでのインパルス応答である。この式は移動音源であっても、音源が取りうる各位置からの静止のインパルス応答が既知であれば、その応答と音源信号から出力が求められることを示す。本明細書では 式（７）を時変畳み込み演算と定義する。この演算は離散システムにおいても、式（７）と同様に近似的に次式で計算できることが 実験的に示されている［奥山智尚、松久寛、宇津野秀夫、“伝達関数を用いた仮想空間移動時の音圧計算”、騒音振動研究会報告 N-2006-46, 2006］。
【００１０】
【数１３】
2008219884.tif 000015
ここで、ｋおよびｋＳは離散時間を表す。サンプリング周波数は、移動によるドップラー効果を加味した音源の上限周波数の２倍より大きく定める必要がある。式（８）はベクトルと行列を用いて次式で表現できる。
【００１１】
【数１４】
2008219884.tif 000016
【００１２】
ここで、ｓは音源信号ベクトル、ｘは観測信号ベクトル，Ｈは時変畳み込み行列［M. Mastumoto, M. Tohyama and H. Yanagawa, “A method of interpolating binaural impulse responses for moving sound images,” Acoust. Sci. & Tech. 24,5, pp284-292,2003］である。時変畳み込み行列Ｈの各行および音源信号ベクトルｓの列は、音源信号の時刻に対応し、時変畳み込み行列Ｈの各列および観測信号ベクトルｘの列は、観測信号の時刻に対応する。音源の移動パターンを離散時間ベクトルkの位置ベクトル関数  p（k）として定義すれば、Ｈは、移動パターンp（k）と観測点ｑにより定まる。なお離散時間の原点はｌ、音源信号長はＬｓインパルス応答長はＬｈとした。
【００１３】
図１は、本発明の一実施形態による移動音源からの音の抽出装置の構成を示す図である。
【００１４】
移動音源からの音の抽出装置は、音データ取得部１０１、移動音源の位置を検出する位置検出部１０３、ビームフォーミングなどの演算により移動音源を抽出する演算処理部１０５および時変畳み込み行列を格納する時変畳み込み行列格納部１０７を備える。
【００１５】
位置検出部１０３は、レーザ距離計や電波の位相差を利用した距離計などにより、音データ取得部１０１に対する移動音源の位置を検出する。時変畳み込み行列格納部１０７は、任意の音源の位置における時変畳み込み行列を格納しておき、検出された移動音源の位置に対応する時変畳み込み行列を取り出すようにしてもよい。あるいは、移動音源の移動経路が固定されている場合には、時変畳み込み行列格納部１０７は、該移動経路上の位置における時変畳み込み行列を格納しておき、検出された移動音源の位置に対応する時変畳み込み行列を取り出すようにしてもよい。
【００１６】
本明細書において、移動音源は、音データ取得部１０１に対して相対的に移動する音源を含む。換言すれば、移動音源の位置は観測点に対する相対的な位置である。したがって、音源が所定の位置に固定され、たとえば、ロボットなどに固定された音データ取得部１０１が、ロボットとともに移動する場合に、該所定の位置に固定された音源は移動音源とみなすことができる。
【００１７】
図２は、上記の移動音源からの音の抽出装置の機能を示す図である。音データ取得部１０１は、Ｎ個のマイクロフォンを備える。ｘ（ｎ）は、移動音源２０１の音ｓを、ｎ番目のマイクロフォンによって観測した観測信号ベクトルを示す。Ｇ（ｎ）は、ｎ番目のマイクロフォンの観測信号ベクトルに対するビームフォーミング係数である。ｙは、抽出された移動音源信号ベクトルである。演算処理部１０５は、ビームフォーミング係数Ｇ（ｎ）を求め、観測信号ベクトルｘ（ｎ）およびビームフォーミング係数Ｇ（ｎ）から移動音源信号ベクトルｙを求める。ビームフォーミング係数Ｇ（ｎ）の求め方については後で説明する。
【００１８】
図３は、本発明の一実施形態による移動音源の抽出方法を示す流れ図である。以下の各ステップは、観測信号ベクトルｘ（ｎ）のサンプリングごと、または所定のサンプリング回数ごとに行う。
【００１９】
図３のステップＳ０１０において、演算処理部１０５は、位置検出部１０３からの情報により、その時点における移動音源の位置を求め、該位置に対する移動音源からｎ番目のマイクロフォンまでの時変畳み込み行列Ｈ（ｐ（ｋ），ｎ）を、時変畳み込み行列格納部１０７から取り出す。該行列の行数は、Ｌｓ＋Ｌｈ−１であり、列数は、Ｌｓである。
【００２０】
図３のステップＳ０２０において、演算処理部１０５は、それぞれのマイクロフォンの観測信号ベクトルｘ（ｎ）および移動音源から該マイクロフォンまでの時変畳み込み行列Ｈ（ｐ（ｋ），ｎ）から、それぞれのマイクロフォンの観測信号ベクトルに対するビームフォーミング係数Ｇ（１）、Ｇ（２）・・・Ｇ（Ｎ）および移動音源信号ベクトルｙを求める。移動音源信号ベクトルｙは
【数１５】
2008219884.tif 000017
である。ここで、ｙの列およびＧＴの各列は、音源信号の時刻に対応する。ＧＴの各行およびｘの列は、Ｎ個のマイクロフォンの観測信号の時刻に対応する。
【００２１】
他方、観測信号群ｘは、
【数１６】
2008219884.tif 000018
と表せる。ここで、ｘの列およびＨＴ(p(ｋ))の各列は、Ｎ個のマイクロフォンの観測信号の時刻に対応する。ＨＴ(p(ｋ))の各行およびｓの列は、音源信号の時刻に対応する。
【００２２】
ｙ＝ｓである必要から、Ｇは、
【数１７】
2008219884.tif 000019
の解であり、式（１２）を擬似逆行列として求めれば、移動音源に対応した最小ノルム重み付き遅延和ビームフォーミングの係数が得られる。
【００２３】
また、非目的音源の移動パターンｐＵ（k）と非目的音源からそれぞれの観測点（Ｎ個のマイクロフォン）への時変畳み込み行列Ｈ（ｐＵ（k））が既知であれば、
【数１８】
2008219884.tif 000020
を順次追加した解を求めることで、非目的音源からの音のゲインを小さくし、目的音源による音をより正確に抽出することができる[中島弘史、“不定項を利用した平均サイドローブ最小ビームフォーミングの実現”、日本音響学会誌62巻10号、pp.726-737,2006］。
【００２４】
図４は、本実施形態による移動音源からの音の抽出方法の機能を確認するための数値実験を説明するための図である。音源は、移動音源Ｓ１と静止音源Ｓ２の２個とした。Ｓ１は、図５に示すように１２５Ｈｚの正弦波、 Ｓ２は４００Ｈｚの正弦波とした。サンプリング周波数は１ｋＨｚ、Ｓ１の速度は２０ｍ／ｓ、信号長は０．５ｓとした。３素子のマイクロフォン・アレイ（Ｍ１、Ｍ２、Ｍ３）を使用したビームフォーミングにより、Ｓ１の信号を抽出することを目的とした。
【００２５】
図５乃至図７において、横軸は時間（単位は秒）を示し、縦軸は音圧（単位はパスカル）を示す。
【００２６】
図６は、マイクロフォンＭ１における観測信号を示す図である。観測信号には、Ｓ２の信号（高周波）と、振幅と周波数が変化するＳ１の信号が見られる。
【００２７】
本実施形態による方法において、式（１２）および式（１３）の連立方程式の解としてビームフォーミング係数行列を求めた。
【００２８】
本実施形態と比較するための方法（以下、比較方法と呼称する）において、１０度間隔の音源方向に対して、それぞれビームフォーミング係数行列を求め、それぞれのビームフォーミング係数行列にしたがって出力値を求め、最大の出力値をＳ１の信号とした。
【００２９】
図７（ａ）は、比較方法により抽出されたＳ１の信号を示す図である。図７（ａ）に示すように、Ｓ２の高周波成分は除去されるものの、Ｓ１の信号において移動による振幅変化や切り替えによる不連続が残る。なお、図７（ａ）において、０．３ｓ付近の振幅が低い原因は焦点と死角の方向が近いためである。
【００３０】
図７（ｂ）は、本実施形態による方法により抽出されたＳ１の信号を示す図である。図７（ｂ）に示すように、Ｓ１の信号において移動による振幅変化や切り替えによる不連続はなく、正確にＳ１の信号が再現されている。
【００３１】
本発明の実施形態の特徴を以下に説明する。
【００３２】
本発明の実施形態によれば、目的音源の位置を求め、前記目的音源の位置の関数として、前記目的音源の音源信号ベクトルを複数の観測点のそれぞれの観測点における観測信号ベクトルに変換する、前記目的音源から前記それぞれの観測点までの時変畳み込み行列を求める。さらに、前記ビームフォーミング係数行列を、前記目的音源から前記それぞれの観測点までの時変畳み込み行列の擬似逆行列として求める。
【００３３】
本実施形態によれば、移動する目的音源に対応した最小ノルム重み付き遅延和ビームフォーミングの係数が得られ、移動する目的音源による音を正確に抽出することができる。
【００３４】
本発明の他の実施形態によれば、非目的音源の位置をさらに求め、前記非目的音源の位置の関数として、前記非目的音源の音源信号ベクトルを前記それぞれの観測点における観測信号ベクトルに変換する、前記非目的音源から前記それぞれの観測点までの時変畳み込み行列をさらに求め、前記ビームフォーミング係数行列を、前記非目的音源から前記それぞれの観測点までの時変畳み込み行列と前記ビームフォーミング係数行列との積が０となるように調整する。
【００３５】
本実施形態によれば、非目的音源からの音のゲインを小さくし、目的音源による音をより正確に抽出することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態による移動音源からの音の抽出装置の構成を示す図である。
【図２】移動音源からの音の抽出装置の機能を示す図である。
【図３】本発明の一実施形態による移動音源の抽出方法を示す流れ図である。
【図４】本実施形態による移動音源からの音の抽出方法の機能を確認するための数値実験を説明するための図である。
【図５】移動音源信号を示す図である。
【図６】マイクロフォンＭ１における観測信号を示す図である。
【図７】比較方法および本実施形態による方法により抽出されたＳ１の信号を示す図である。
【符号の説明】
【００３７】
１０１…音データ取得部、１０３…位置検出部、１０５…演算処理部、１０９…時変畳み込み行列格納部
【図１】
2008219884.tif 000021
【図２】
2008219884.tif 000022
【図３】
2008219884.tif 000023
【図４】
2008219884.tif 000024
【図５】
2008219884.tif 000025
【図６】
2008219884.tif 000026
【図７】
2008219884.tif 000027