(57)【要約】【課題】現場において、測定データの任意の部分を抽出して音源位置の推定を行う方法とその装置を提供する。【解決手段】複数のマイクロフォンＭ１〜Ｍ５とカメラ１２とを一体化した音・映像採取ユニット１０を用いて音の情報と映像の情報とを同時に採取し、音の情報である音声波形データと映像の情報である画像データとを記憶手段２４に保存するとともに、音圧波形データのみを記憶手段２４から抽出して表示手段２５の表示画面２５Ｍに音圧レベルの時系列波形のグラフを表示し、このグラフ上で音源方向の解析を行う時刻ｔzを指定した後、この指定された時刻ｔzを中心とした解析時間長Ｔwの音圧波形データを用いて、複数のマイクロフォンＭ１〜Ｍ５で採取した音の音圧信号間の位相差を算出して音源の方向を推定するようにした。【選択図】図２
2010206419.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取して、この採取した音の音圧信号のデータである音圧波形データと映像の画像データとをそれぞれ記憶手段に保存するとともに、前記音圧波形データのみを記憶手段から抽出して音圧レベルの時系列波形のグラフを表示し、このグラフ上で音源方向の解析を行う時間位置を指定した後、この指定された時間位置を含む所定の解析時間長の音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出して音源方向を推定し、前記推定された音源方向と前記解析時間内に撮影された画像データとを合成して、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成し、この音源位置推定画像を用いて前記音源を推定することを特徴とする音源の推定方法。
【請求項２】
複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取する第１のステップと、
前記採取した音の音圧信号をＡ／Ｄ変換して音圧波形データとして記憶手段に保存し、前記映像の信号をＡ／Ｄ変換して画像データとして記憶手段に保存する第２のステップと、
前記音圧波形データを記憶手段から抽出して音圧レベルの時系列波形のグラフを作成して表示手段の表示画面に表示する第３のステップと、
前記表示画面上においてグラフ上の特定の点を指定することで、音源方向の解析を行う時間位置を指定する第４のステップと、
前記記憶手段から、前記指定された時間位置を含む予め設定された解析時間長の音圧波形データを抽出する第５のステップと、
前記抽出された音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出し、音源方向を推定する第６のステップと、
前記記憶手段から、前記解析時間の開始時刻と終了時刻との間の時刻における画像データを抽出する第７のステップと、
前記第６のステップで推定された音源方向のデータと、前記第７のステップで抽出された画像データとを合成して、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成して表示する第８のステップと、
前記音源位置推定画像を用いて、前記音源を推定する第９のステップとを備えたことを特徴とする請求項１に記載の音源の推定方法。
【請求項３】
前記第３のステップにおいて、前記記憶手段から抽出する音圧レベルの時系列波形が採取音の大きさの時系列波形であることを特徴とする請求項２に記載の音源の推定方法。
【請求項４】
前記第３のステップに、推定する音圧信号の周波数帯域を指定するステップと、前記記憶手段から抽出した音圧レベルの時系列波形を周波数分析して、前記指定された周波数帯域における音圧レベルの時系列波形を求めるステップとを設け、前記求められた指定周波数帯域の音圧レベルの時系列波形のグラフを表示手段の表示画面に表示することを特徴とする請求項２に記載の音源の推定方法。
【請求項５】
互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を有するマイクロフォン群と音源方向の映像を撮影する撮影手段と表示手段とを備え、前記マイクロフォン群で採取した音源から伝播する音の音圧信号と音源方向を撮影した映像信号とから、音源位置のデータが表示された画像を作成して表示手段に表示し音源を推定する音源の推定装置であって、
前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換された音圧信号を時系列的に並べた音圧波形データを音ファイルとして保存し、前記Ａ／Ｄ変換された映像信号を時系列的に並べた動画データを、動画ファイルとして保存する記憶手段と、
前記音ファイルから予め設定した解析時間長の音圧波形データを抽出して、音圧レベルの時系列波形のグラフを作成する音圧波形作成手段と、
前記時系列波形のグラフの特定の点を指定することで、音源方向の解析を行う時間位置を指定する解析位置指定手段と、
前記音ファイルから、指定された時間位置を含む予め設定された解析時間長の音圧波形データを抽出し、この抽出された音圧波形データを周波数解析して前記２組のマイクロフォン対を構成するマイクロフォン間のそれぞれの位相差を求め、この求められた２組のマイクロフォン対の位相差の比から音源方向を推定する音源方向推定手段と、
前記動画ファイルから、前記解析時間の開始時刻と終了時刻との間の時刻における画像データを抽出する画像データ抽出手段と、
前記推定された音源方向のデータと前記抽出された画像データとを合成して、前記推定された音源方向を示す図形が描画された音源方向推定画像を作成する音源位置推定画像作成手段とを備え、
前記複数のマイクロフォンと前記撮影手段とは一体に組み込まれて、音の情報と映像の情報とを同時に採取し、
前記表示手段は、前記音圧波形作成手段で作成された音圧波形のグラフと、前記音源位置推定画像作成手段で作成された音源方向推定画像とを表示することを特徴とする音源の推定装置。
【請求項６】
前記マイクロフォン群に、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンを追加するとともに、前記音源方向推定手段では、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて音源方向を推定することを特徴とする請求項５に記載の音源の推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロフォンで採取した音の情報と、撮影手段で撮影した映像の情報とを用いて、音源を推定する方法とその装置に関するものである。
【背景技術】
【０００２】
従来、音の到来方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。
【０００３】
具体的には、図５に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差との比から、計測点と音源位置との成す水平角θを推定するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に配置して、更に４組のマイクロフォン対（Ｍ５, Ｍ１），（Ｍ５, Ｍ２），（Ｍ５, Ｍ３），（Ｍ５, Ｍ４）を構成し、前記各マイクロフォン対を構成するマイクロフォン間の到達時間差から、計測点と音源位置との成す仰角φを推定する。
【０００４】
これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源方向を正確に推定することができる。
また、このとき、ＣＣＤカメラ等の映像採取手段を設けて前記推定された音源方向の映像を撮影した後、この映像のデータと音源方向のデータとを合成して、映像中に前記推定した音源方向と音圧レベルとを図形で表示するようにすれば、音源を視覚的に把握することができる。
また、音の採取と同時に映像採取手段にて映像を連続的に撮影し、音の情報とともに、映像の情報を動画としてコンピュータに保存しておき、その後音源方向の計算を行って映像中に推定した音源方向と音圧レベルとを図形を表示して音源を推定する方法も行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１８１９１３号公報
【特許文献２】特開２００６−３２４８９５号公報
【特許文献３】特開２００８−２２４２５９号公報
【非特許文献】
【０００６】
【非特許文献１】大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、前記従来の方法では、音の情報と映像の情報とをコンピュータに取り込んだ後に、取り込んだ情報をすべて用いて音源方向の計算を行っていた。そのため、音源位置の解析に時間がかかってしまい、現場ですぐに音源位置の推定結果を知ることができなかった。また、測定の妥当性についても検証できないといった問題点があった。
【０００８】
本発明は、従来の問題点に鑑みてなされたもので、現場において、測定データの任意の部分を抽出して音源位置の推定を行う方法とその装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の請求項１に記載の発明は、複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取して、この採取した音の音圧信号のデータである音圧波形データと映像の画像データとを用いて音源を推定する音源の推定方法であって、前記採取した音と映像のデータをそれぞれ記憶手段に保存するとともに、前記音圧波形データのみを記憶手段から抽出して音圧レベルの時系列波形のグラフを表示し、このグラフ上で音源方向の解析を行う時間位置を指定した後、この指定された時間位置を含む所定の解析時間長の音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出して音源方向を推定し、前記推定された音源方向と前記解析時間内に撮影された画像データとを合成して、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成し、この音源位置推定画像を用いて前記音源を推定することを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の音源の推定方法であって、複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取する第１のステップと、前記採取した音の音圧信号をＡ／Ｄ変換して音圧波形データとして記憶手段に保存し、前記映像の信号をＡ／Ｄ変換して画像データとして記憶手段に保存する第２のステップと、前記音圧波形データを記憶手段から抽出して音圧レベルの時系列波形のグラフを作成して表示手段の表示画面に表示する第３のステップと、前記表示画面上においてグラフ上の特定の点を指定することで、音源方向の解析を行う時間位置を指定する第４のステップと、前記記憶手段から、前記指定された時間位置を含む予め設定された解析時間長の音圧波形データを抽出する第５のステップと、前記抽出された音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出し、音源方向を推定する第６のステップと、前記記憶手段から、前記解析時間の開始時刻と終了時刻との間の時刻における画像データを抽出する第７のステップと、前記第６のステップで推定された音源方向のデータと、前記第７のステップで抽出された画像データとを合成して、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成して表示する第８のステップと、前記音源位置推定画像を用いて、前記音源を推定する第９のステップとを備えたことを特徴とする。
【００１１】
請求項３に記載の発明は、請求項２に記載の音源の推定方法において、前記第３のステップで抽出して表示する音圧レベルの時系列波形を、採取音の大きさの時系列波形としたことを特徴とする。
また、請求項４に記載の発明は、請求項２に記載の音源の推定方法において、前記第３のステップに、推定する音圧信号の周波数帯域を指定するステップと、前記記憶手段から抽出した音圧レベルの時系列波形を周波数分析して、前記指定された周波数帯域における音圧レベルの時系列波形を求めるステップとを設け、前記求められた指定周波数帯域の音圧レベルの時系列波形のグラフを表示手段の表示画面に表示することを特徴とする。
【００１２】
請求項５に記載の発明は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を有するマイクロフォン群と音源方向の映像を撮影する撮影手段と表示手段とを備え、前記マイクロフォン群で採取した音源から伝播する音の音圧信号と音源方向を撮影した映像信号とから、音源位置のデータが表示された画像を作成して表示手段に表示し音源を推定する音源の推定装置であって、前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換された音圧信号を時系列的に並べた音圧波形データを音ファイルとして保存し、前記Ａ／Ｄ変換された映像信号を時系列的に並べた動画データを、動画ファイルとして保存する記憶手段と、前記音ファイルから予め設定した解析時間長の音圧波形データを抽出して、音圧レベルの時系列波形のグラフを作成する音圧波形作成手段と、前記時系列波形のグラフの特定の点を指定することで、音源方向の解析を行う時間位置を指定する解析位置指定手段と、前記音ファイルから、指定された時間位置を含む予め設定された解析時間長の音圧波形データを抽出し、この抽出された音圧波形データを周波数解析して前記２組のマイクロフォン対を構成するマイクロフォン間のそれぞれの位相差を求め、この求められた２組のマイクロフォン対の位相差の比から音源方向を推定する音源方向推定手段と、前記動画ファイルから、前記解析時間の開始時刻と終了時刻との間の時刻における画像データを抽出する画像データ抽出手段と、前記推定された音源方向のデータと前記抽出された画像データとを合成して、前記推定された音源方向を示す図形が描画された音源方向推定画像を作成する音源位置推定画像作成手段とを備え、前記複数のマイクロフォンと前記撮影手段とは一体に組み込まれて、音の情報と映像の情報とを同時に採取し、前記表示手段は、前記音圧波形作成手段で作成された音圧波形のグラフと、前記音源位置推定画像作成手段で作成された音源方向推定画像とを表示することを特徴とする。
【００１３】
請求項６に記載の発明は、請求項５に記載の音源の推定装置において、前記マイクロフォン群に、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンを追加するとともに、前記音源方向推定手段では、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて音源方向を推定することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取して、この採取した音の音圧信号のデータである音圧波形データと映像の画像データとをそれぞれ記憶手段に保存するとともに、前記音圧波形データのみを記憶手段から呼び出して表示した音圧レベルの時系列波形のグラフを用いて音源方向の解析を行う時間位置を指定し、この指定された時間位置を含む所定解析時間長分の音圧波形データを用いて音源方向を推定するようにしたので、現場において、測定データの任意の部分を抽出して音源位置の推定を行うことができる。したがって、音源位置の推定時間を大幅に短縮することができる。
また、音源を推定する際には、推定された音源方向と前記解析時間内に撮影された画像データとを合成して、推定された音源方向を示す図形が描画された音源位置推定画像を作成し、この音源位置推定画像を用いて、前記音源を推定するようにしたので、音源を確実に推定できる。
また、計測点の位置が適当でないなど、測定の妥当性についても、早期に判断できるので、音源位置の推定を効率良く行うことができる。しかも、任意の時間のデータを取り出すことができるので、音源位置の変化についても把握することができるとともに、伝播した音の履歴についても、現場にて検証できる。
【００１５】
また、請求項２に記載のステップに従って音源を推定するようにすれば、現場において、測定データの任意の部分を確実に抽出して音源位置の推定を行うことができる。
また、表示する音圧レベルの時系列波形を採取音の大きさの時系列波形とすれば、伝播音の大きさに応じた音源位置の推定を行うことができる。
また、表示する音圧レベルの時系列波形を所定の周波数帯域の音圧レベルの時系列波形とすれば、例えば、電源ボックスのトランスからの音や空調機の振動音などの特定の機器からの伝播音を対象とした音源位置の推定を行うことができる。
【００１６】
また、請求項５に記載の音源の推定装置を用いることにより、測定データの任意の部分を確実に抽出することができるので、音源位置の推定を効率良く行うことができる。
このとき、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとから成る音採取手段を構成し、２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第１〜第５のマイクロフォン間の位相差とを用いて音源方向を推定するようにすれば、少ないマイクロフォン数で、効率よくかつ正確に水平角θと仰角φとを推定することができる。
【００１７】
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【図面の簡単な説明】
【００１８】
【図１】本実施の形態に係る音源推定システムの構成を示す機能ブロック図である。
【図２】本発明による音源の推定方法を示すフローチャートである。
【図３】音圧レベルの時系列波形の一例を示す図である。
【図４】音源位置推定画像が表示された表示画面の一例を示す図である。
【図５】従来のマイクロフォン対を用いた音源の推定方法におけるマイクロフォンの配列を示す図である。
【発明を実施するための形態】
【００１９】
以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２０】
図１は音源推定システムの構成を示す機能ブロック図である。
音源推定システムは、音・映像採取ユニット１０と音源位置推定装置２０とを備える。
音・映像採取ユニット１０は、音採取手段１１と、映像採取手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォン固定部１３と、カメラ支持台１４と、支柱１５と、回転台１６と、基台１７とを備える。音採取手段１１は複数のマイクロフォンＭ１〜Ｍ５を備える。
マイクロフォン固定部１３にはマイクロフォンＭ１〜Ｍ５が設置され、カメラ支持台１４にはカメラ１２が設置され、マイクロフォン固定部１３とカメラ支持台１４とは、３本の支柱１５によって連結されている。つまり、音採取手段１１とカメラ１２とは一体化されている。なお、マイクロフォンＭ１〜Ｍ５は、カメラ１２の上部に配置される。
基台１７は３脚から成る支持部材で、この基台１７上に回転台１６が設置されている。カメラ支持台１４は回転台１６の回転部材１６ｒに搭載されている。
したがって、回転部材１６ｒを回転させることにより、音採取手段１１とカメラ１２とを一体に回転させることができる。
マイクロフォンＭ１〜Ｍ５は、図示しない音源から伝播される音の音圧レベルをそれぞれ測定する。  
【００２１】
マイクロフォンＭ１〜Ｍ５の配置は、前記図５に示したものと同様で、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置、詳細には、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）が構成される。
本例では、カメラ１２の撮影方向を、前記直交する２直線の交点を通り前記２直線とほぼ４５°をなす方向に設定している。したがって、音・映像採取ユニット１０の向きは、図１の白抜きの矢印Ｄの方向となる。カメラ１２は、音・映像採取ユニット１０の向きに応じた映像を採取する。
【００２２】
音源位置推定装置２０は、増幅器２１と、Ａ／Ｄ変換器２２と、映像入出力手段２３と、記憶手段２４と、表示手段２５と、解析時間長設定手段２６と、解析周波数指定手段２７と、音圧波形作成手段２８と、解析位置指定手段２９と、音圧波形データ取出手段３０と、音源方向推定手段３１と、画像データ取出手段３２と、データ合成手段３３とを備える。
増幅器２１はローパスフィルタを備え、マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、前記音圧信号を増幅してＡ／Ｄ変換器２２に出力する。Ａ／Ｄ変換器２２は、前記音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを、記憶手段２４に出力する。
映像入出力手段２３は、カメラ１２で連続的に撮影された映像信号を入力し、所定時間（例えば、１／３０秒）毎に撮影方向の画像データを記憶手段２４に出力する。
記憶手段２４は、音圧波形データと画像データとを時系列に配列して保存する。
音圧波形データと画像データとを時系列に配列して記憶する方法としては、音圧波形データと画像データとを同期させて記憶するか、あるいは、音圧波形データと画像データとにそれぞれ時刻データを付けて記憶するなど、周知の方法を用いることができる。
以下、音圧波形データを保存したファイルを音ファイルと呼び、画像データを保存したファイルを動画ファイルと呼ぶ。
【００２３】
表示手段２５は、後述する音圧波形データのグラフを表示する音圧レベル表示部２５ａと音源位置を推定するための音源位置推定画像を表示する画像表示部２５ｂとを備えた表示画面２５Ｍを備える。音圧波形データのグラフは音圧波形作成手段２８で作成され、音源位置推定画像はデータ合成手段３３で作成される。
解析時間長設定手段２６は、音源方向の推定に使用する音圧波形データの大きさである解析時間長を設定する。
解析周波数指定手段２７は、音圧波形作成手段２８で作成する音圧レベルの時系列波形の周波数帯域を指定する。
音圧波形作成手段２８は、記憶手段２４の音ファイルから音圧波形データを抽出し、音圧レベルの時系列波形のグラフを表示するためのデータを作成する。この音圧波形作成手段２８は周波数分析手段２８Ｆを備えており、解析周波数指定手段２７にて周波数帯域が指定された場合には、記憶手段２４の音ファイルから呼び出された音圧レベルの時系列波形を周波数分析して、所定の周波数帯域の音圧レベルの時系列波形のグラフを表示するためのデータを作成する。
解析位置指定手段２９は、表示画面２５Ｍの音圧レベル表示部２５ａに表示されたグラフの特定の点を指定することで、音源方向の解析を行う時間位置を指定する。
音圧波形データ取出手段３０は、音源方向の解析を行う音圧波形データ、すなわち、前記指定された時間位置を中心とした時間幅が解析時間長の音圧波形データを記憶手段２４の音ファイルから抽出して音源方向推定手段３１に出力する。
音源方向推定手段３１は、取出された音圧波形データから各マイクロフォンＭ１〜Ｍ５間の位相差を求め、この求められた位相差から音源方向を推定し、その推定結果をデータ合成手段３３に出力する。なお、音源方向の推定の詳細については後述する。
【００２４】
画像データ取出手段３２は、記憶手段２４から、前記解析時間の開始時刻と終了時刻との真中の時刻における画像データを抽出してこれをデータ合成手段３３に出力する。
データ合成手段３３は、音源方向推定手段３１で推定された音源方向のデータと画像データ取出手段３２から出力される画像データとを合成し、画像中に音源方向を示す図形が描画された画像である音源位置推定画像を作成して表示手段２５に出力する。
【００２５】
次に、音源推定システムを用いて音源方向を推定する方法について、図２のフローチャートを参照して説明する。
まず、音・映像採取ユニット１０と音源位置推定装置２０とを接続した後、音・映像採取ユニット１０を計測点にセットする。そして、カメラ１２の撮影方向を測定予定場所に向け、マイクロフォンＭ１〜Ｍ５にて音を採取し、カメラ１２にて測定予定場所の映像を採取する（ステップＳ１１）。このとき、回転台１６を、例えば、３°/sec.程度のゆっくりした速度で、測定予定場所を中心に往復させながら、音と映像とを採取する。回転範囲としては±６０°程度が適当である。
次に、マイクロフォンＭ１〜Ｍ５の出力信号とカメラ１２の映像信号とをそれぞれＡ／Ｄ変換し、音圧波形データを記憶手段２４の音ファイルに保存し、画像データを動画ファイルに保存する（ステップＳ１２）。
【００２６】
次に、音ファイルから音圧波形データを呼び出して音圧レベルの時系列波形のグラフを作成し、このグラフを表示手段２５の表示画面２５Ｍに設けられた音圧レベル表示部２５ａに表示する（ステップＳ１３）。
図３はその一例を示す図で、グラフの横軸は時間（秒）、縦軸は音圧レベル（ｄＢ）、実線で示すグラフＰ（ｔ）が採取音の大きさ、すなわち、全周波数の音圧レベルの時間変化を示すグラフである。
なお、画像表示部２５ｂには必ずしも画像を表示する必要はないが、図３では、現在撮影している画像を動画として表示している。
測定者は、音源方向の推定を最初から行うか、測定タイミングを指定して行うかを入力する（ステップＳ１４）。但し、音と映像とを採取する時間が短い場合には、測定タイミングを指定して行うのは作業上難しいので、音と映像とを採取した後に、測定タイミングを指定して行う場合と同様の方法で、音源の推定を行うことが好ましい。
【００２７】
音源方向の推定を最初から行う場合には、音ファイルの先頭から、予め設定しておいた解析時間長Ｔwの音圧波形データを抽出して、音源方向の推定を行う（ステップＳ１５）。
音源方向の推定は、音圧波形データをＦＦＴにて周波数解析し、各周波数毎にマイクロフォンＭ１〜Ｍ５間のそれぞれの位相差を求め、この求められた位相差から各周波数毎に音源方向を推定する。なお、本例では、位相差に代えて、位相差に比例する物理量である到達時間差を用いて水平角θ及び仰角φを求めている。
このステップＳ１５の水平角θ及び仰角φの計算方法については後述する。
【００２８】
次に、解析時間の中心時刻ｔm、すなわち、測定開始時刻ｔ0から解析時間長Ｔwの半分の長さだけ過ぎた時刻ｔm＝ｔ0＋（Ｔw/２）に位置する画像データＧmを動画ファイルから抽出する（ステップＳ１６）。
そして、前記計算された周波数毎の音源方向のデータ（θf，φf）と前記画像データＧmとを合成し（ステップＳ１７）、この合成された画像である音源位置推定画像を表示手段２５の表示画面２５Ｍに設けられた画像表示部２５ｂに表示するとともに、音圧レベル表示部２５ａに音源位置推定画像のデータである画像データＧmの採取時間を表示する（ステップＳ１８）。
図４はその一例を示す図で、画像表示部２５ｂには、前記画像データＧmの上に、音源方向を表す図形（網目模様の丸印）３４が描画された音源位置推定画面３５が表示される。音源位置推定画面３５の横軸は水平角θfで、縦軸は仰角φfである。また、丸の大きさは音圧レベルを表す。
なお、推定された音源方向を、予め設定した周波数帯域毎に表示することも可能である。この場合には、周波数帯域毎に網目模様の丸印３４の色を設定すればよい。
また、音圧レベルの時系列波形のグラフに代えて、音圧レベル表示部２５ａに、横軸を水平角θとしたときの音圧レベル（ｄＢ）を表示した音圧レベル表示画面３６を表示することも可能である。
最後に、音源位置推定画面３５から音源を推定する（ステップＳ１９）。音源位置推定画面３５において、音源方向を表す図形３４が描画されている箇所に映っている映像が推定される音源の映像である。
【００２９】
音源方向の推定を、測定タイミングを指定して行う場合には、ステップＳ２１に進む。ステップＳ２１では、前記音圧レベルの時系列波形のグラフ上の特定の点を指定することで、音源方向の解析を行う時間位置を指定する。
例えば、音源位置推定装置２０の記憶手段２４〜データ合成手段３３までをコンピュータにより構成した場合、ディスプレイ（表示手段２５）の画面上に表示された音圧レベルの時系列波形のグラフ上に、マウスのクリック位置をもっていって、グラフ上の時間位置を取得することで、音源方向の解析を行う時間位置を指定する。
指定された時間位置を時刻ｔzとすると、この時刻ｔzが解析時間の中心時刻となるので、音ファイルから、時刻ｔzよりも解析時間長Ｔwの半分の長さだけ前の時刻から時刻ｔzよりも解析時間長Ｔwの半分の長さだけ過ぎた時刻までの音圧波形データを抽出して、音源方向の推定を行う（ステップＳ２２）。
音源方向の推定については、前記ステップＳ１５と同様である。
【００３０】
音源方向の推定が完了した後には、解析時間の中心時刻である時刻ｔzにおいて撮影した画像データＧzを動画ファイルから抽出し（ステップＳ２３）、前記計算された周波数毎の音源方向のデータ（θf，φf）と前記画像データＧzとを合成し（ステップＳ２４）、前記合成された画像である音源位置推定画面３５を表示画面２５Ｍの画像表示部２５ｂに表示するとともに、音圧レベル表示部２５ａに前記画像データＧzの採取時間を表示する（ステップＳ２５）。前記音源位置推定画面３５は、図４に示したものと、同様の画面である。
最後に、音源位置推定画面３５から音源を推定する（ステップＳ２６）。
また、前記ステップＳ２１からステップＳ２６までの作業を繰り返すことで、複数の時刻での音源方向を効率良く推定することができるので、音源の推定を効率的にかつ確実に行うことができる。なお、ステップＳ２６で得られた音源位置推定画面３５に描画された音源方向のバラつきが大きい場合には、音・映像採取ユニット１０の設置位置を変更して、再測定することが好ましい。
【００３１】
ステップＳ１５における水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対（Ｍｉ, Ｍｊ）のマイクロフォンＭｉとマイクロフォンＭｊとの間の到達時間差をＤijとすると、音の入射方向である水平角θと仰角φとは以下の式（１），（２）で表わせるので、各マイクロフォンＭ１〜Ｍ５の出力信号をＦＦＴを用いて周波数解析し、対象となる周波数ｆにおける各マイクロフォンＭｉ，Ｍｊ間の到達時間差Ｄijを算出することにより、前記水平角θ及び仰角φを求めることができる。
【数１】
2010206419.tif 000003
すなわち、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24との比から、計測点と音源位置との水平角θを推定し、前記到達時間差Ｄ13，Ｄ24と、前記第５のマイクロフォンＭ５と他のマイクロフォンＭ１〜Ｍ４との到達時間差Ｄ5j（ｊ＝１〜４）とから計測点と音源位置との成す仰角φを推定する。
【００３２】
なお、前記到達時間差Ｄijは、２つのマイクロフォン対（Ｍｉ，Ｍｊ）に入力される信号のクロススペクトルＰij（ｆ）を求め、更に、対象とする前記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）により算出される。
【数２】
2010206419.tif 000004
音源方向の推定結果は、所定時間毎に記憶された撮影方向の画像データ毎に行う。
【００３３】
このように、本実施の形態では、複数のマイクロフォンＭ１〜Ｍ５とカメラ１２とを一体化した音・映像採取ユニット１０を用いて音と映像とを同時に採取した後Ａ／Ｄ変換して、音圧波形データを記憶手段２４の音ファイルに保存し、画像データを動画ファイルに保存するとともに、前記音圧波形データのみを記憶手段２４から呼び出して表示手段２５の表示画面２５Ｍに音圧レベルの時系列波形のグラフを表示し、このグラフ上で音源方向の解析を行う時刻ｔzを指定した後、この指定された時刻ｔzを中心とした解析時間長Ｔwの音圧波形データを用いて、前記複数のマイクロフォンＭ１〜Ｍ５で採取した音の音圧信号間の位相差を算出して音源方向を推定し、この推定された音源方向と前記時刻ｔzにおいて撮影された画像データＧzとを合成して、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成し、前記音源を推定するようにしたので、音源位置の推定時間を大幅に短縮することができる。
また、計測点の位置が適当でないなど、測定の妥当性に問題がある場合には、早期に判断できるので、音源位置の推定を効率良く行うことができる。
【００３４】
なお、前記実施の形態では、音と映像とを採取しながら、測定タイミングを指定して音源方向の推定を行ったが、音と映像を採取後に、測定タイミングを指定して音源方向の推定を行ってもよい。本発明の測定タイミングを指定して音源方向を推定する方法を用いれば、任意の時間のデータを取り出して音源位置推定画像を作成することができるので、従来に比較して音源位置推定画像の作成枚数が大幅に少なくて済む。したがって、音源位置の推定時間を大幅に短縮することができる。また、音源位置の変化についても把握することができるとともに、伝播した音の履歴についても、現場にて検証することができる。
【００３５】
また、前記例では、音圧レベルの時系列波形のグラフＰ（ｔ）を採取音の大きさとしたが、予め設定した周波数帯域毎の音圧レベルのグラフに切換えることも可能である。
具体的には、解析周波数指定手段２７により、音圧波形作成手段２８で作成する音圧波形の周波数帯域を指定し、音圧波形作成手段２８に設けられた周波数分析手段２８Ｆを用いて、記憶手段２４の音ファイルから呼び出した音圧波形データを周波数解析して、前記指定された周波数帯域の音圧レベルの時系列波形のグラフを表示するためのデータを作成すればよい。
周波数ｆを中心とした所定の帯域幅を有する周波数帯域の音圧波形のグラフとしては、例えば、図３の破線で示すグラフｐf（ｔ）のように、全周波数の音圧波形のグラフよりも鋭いピークを有するものが多い。
このように、周波数帯域を制限した音圧波形のグラフを用いることにより、電源ボックスのトランスからの音や空調機の振動音などの特定の機器からの伝播音を対象とした音源位置の推定を精度良く行うことができる。
また、車室内で音源の推定を行う場合のように、低い周波数の音は車外の騒音で解析する必要がない場合には、周波数帯域を制限した音圧波形のグラフを用いて、中域音のみの音源推定を行うことが好ましい。
【００３６】
また、前記例では、音・映像採取ユニット１０を回転させながら音と映像とを採取したが、音が間欠的に発生したり、時間的に変化する音源の存在が予想される場合には、音・映像採取ユニット１０を固定して測定する方が好ましい。
また、前記例では、５本のマイクロフォンＭ１〜Ｍ５を用いて、計測点と音源位置とのなす水平角θと仰角φとを推定したが、音源位置が水平角θだけで十分な場合には、マイクロフォンＭ５を省略して、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３），（Ｍ２，Ｍ４）のみを用いればよい。
【００３７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
【産業上の利用可能性】
【００３８】
以上説明したように、本発明によれば、現場において、測定データの任意の部分を抽出して音源位置の推定を行うことができるので、音源位置の推定時間を大幅に短縮することができ、音源の推定を効率よく行うことができる。
また、計測点の位置が適当でないなど、測定の妥当性についても、早期に判断できるので、音源位置の推定を効率良く行うことができる。
【符号の説明】
【００３９】
１０  音・映像採取ユニット、１１  音採取手段、Ｍ１〜Ｍ５  マイクロフォン、
１２  ＣＣＤカメラ、１３  マイクロフォン固定部、１４  カメラ支持台、
１５  支柱、１６  回転台、１６ｒ  回転部材、１７  基台、
２０  音源位置推定装置、２１  増幅器、２２  Ａ／Ｄ変換器、２３  映像入出力手段、２４  記憶手段、２５  表示手段、２５Ｍ  表示画面、２５ａ  音圧レベル表示部、
２５ｂ  画像表示部、２６  解析時間長設定手段、２７  解析周波数指定手段、
２８  音圧波形作成手段、２９  解析位置指定手段、３０  音圧波形データ取出手段、
３１  音源方向推定手段、３２  画像データ取出手段、３３  データ合成手段、
３４  音源方向を表す図形、３５  音源位置推定画面。
【図１】
2010206419.tif 000005
【図２】
2010206419.tif 000006
【図３】
2010206419.tif 000007
【図４】
2010206419.tif 000008
【図５】
2010206419.tif 000009