(57)【要約】【課題】狭い空間であっても、音源の方向を精度よく推定できる音源方向推定装置と、音・映像採取手段を小型化した音源推定用画像の表示装置とを提供する。【解決手段】音源から伝播される音の音圧信号を採取するマイクロフォンＭ１，Ｍ２，Ｍ３を平面板１３に三角形状に設置して、平面板１３の前方であるカメラ１２の撮影方向から伝播される音の音圧信号のみを採取するとともに、音源方向推定手段２４にて、マイクロフォンに入力する音圧信号の到達時間差とマイクロフォンの位置座標と音速とから前音源の方向を推定し、音源推定用画像作成手段２５にて、推定された音源の方向のデータとカメラ１２で撮影された音源の方向の映像信号である画像データとを合成して、推定された音源の方向を示す図形が描画された画像である音源推定用画像を作成するようにした。【選択図】図１
2015161659.tif 000002
【特許請求の範囲】
【請求項１】
音源から伝播される音の音圧信号を採取する複数のマイクロフォンと、前記各マイクロフォンで採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置であって、
前記複数のマイクロフォンは、平面板に設置されて前記平面板を含む平面の一方の側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない少なくとも３個のマイクロフォンを備え、
前記音源方向推定手段は、前記各マイクロフォンに入力する音圧信号の到達時間差と前記マイクロフォンの位置座標と音速とから前記音源の方向を推定することを特徴とする音源方向推定装置。
【請求項２】
前記複数のマイクロフォンは、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対を備え、
前記音源方向推定手段は、前記第１のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記第２のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と音速とから音源の方向を推定することを特徴とする請求項１に記載の音源方向推定装置。
【請求項３】
音源を推定するための音源推定用画像を作成する音源推定用画像の表示装置であって、
平面板に設置されて前記平面板を含む平面の一方の側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない少なくとも３個のマイクロフォンを備えた音採取手段と、
前記音源の方向である前記平面板の前方の映像を撮影する撮影手段と、
前記各マイクロフォンに入力する音圧信号の到達時間差と前記マイクロフォンの位置座標と音速とから前記音源の方向を推定する音源方向推定手段と、
前記音源方向推定手段で推定された音源の方向のデータと前記撮影手段で撮影された音源の方向の映像信号である画像データとを合成して、前記推定された音源の方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段と、
前記音源推定用画像を表示する表示手段と、
を備えたことを特徴とする音源推定用画像の表示装置。
【請求項４】
前記撮影手段が、前記複数のマイクロフォンが配置された平面板に、撮影方向が前記平面板に対して垂直でかつ前記平面板の前方を向くように取付けられていることを特徴とする請求項３に記載の音源推定用画像の表示装置。
【請求項５】
前記音採取手段は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対を備え、
前記音源方向推定手段は、前記第１のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記第２のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と音速とから音源の方向を推定することを特徴とする請求項３または請求項４に記載の音源推定用画像の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロフォンで採取した音の情報から音源の方向を推定する装置と、マイクロフォンで採取した音の情報と撮影手段で撮影した映像の情報とを用いて、音源を推定するための画像を作成して表示する装置とに関する。
【背景技術】
【０００２】
従来、図１５に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置し、第５のマイクロフォンＭ５をマイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置して成る音採取手段１１Ｚにより、音源から伝播する音の音圧信号を検出し、対となる２つのマイクロフォン（Ｍi, Ｍj）間の位相差に相当する到達時間差Ｄijから音源の方向である水平角θと仰角φとを推定するとともに、ＣＣＤカメラ等の映像採取手段を設けて推定された音源方向の画像を撮影し、この画像データと音源方向のデータとを合成して、画像中に推定した音源方向（θ，φ）と音圧レベルとを図形で表示した音源推定用画像を作成する装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２３８９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記従来の方法では音源方向と到来した音の大きさを周波数毎に計測できるので、音源の情報を確実に把握することができるが、室内などの狭い空間では壁などからの反射音の影響が大きいので、直接音と反射音とを区別するための演算処理が必要であった。
また、音源推定用画像を作成する装置では、マイクロフォンとカメラとを一体化した音・映像採取手段を用いているが、マイクロフォンとカメラとを一体化するためには、カメラを立体配置されたマイクロフォンの外部に配置しなければならないため、音・映像採取手段が大型化してしまうと行った問題点があった。
【０００５】
本発明は、従来の問題点に鑑みてなされたもので、狭い空間であっても、音源の方向を精度よく推定できる音源方向推定装置と、音・映像採取手段を小型化した音源推定用画像の表示装置とを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明者らは、鋭意検討の結果、マイクロフォンに入力する音圧信号をカメラの撮影方向である前方の１８０°のみに限定することで、後方あるいは側方の壁などからの反射音の影響を大幅に低減できるとともに、マイクロフォンとカメラとを同一平面内に配置することで音・映像採取手段を小型化できることを見出し、本発明に到ったものである。
すなわち、本発明は、音源から伝播される音の音圧信号を採取する複数のマイクロフォンと、前記各マイクロフォンで採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置であって、前記複数のマイクロフォンは、平面板に設置されて前記平面板を含む平面の一方の側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない少なくとも３個のマイクロフォン（Ｍ１，Ｍ２，Ｍ３）を備え、前記音源方向推定手段は、前記各マイクロフォンに入力する音圧信号の到達時間差Ｄijと、前記マイクロフォンの位置座標と音速ｃとから前記音源の方向を推定することを特徴とする。
このように、互いに一直線上にない少なくとも３個のマイクロフォンＭ１，Ｍ２，Ｍ３を含む複数のマイクロフォンを平面板に設置して、平面板の前方から伝播される音の音圧信号のみを採取するようにしたので、少なくとも３個のマイクロフォンにて３次元の音源方向を推定できるとともに、反射音の影響を少なくできるので、音源方向の推定精度を向上させることができる。
【０００７】
また、本発明は、第４のマイクロフォンＭ４を追加し、例えば、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対（Ｍ１，Ｍ３）及び（Ｍ２，Ｍ４）を構成するとともに、前記音源方向推定手段が、前記第１のマイクロフォン対を構成する各マイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、前記第２のマイクロフォン対を構成する各マイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24と、前記マイクロフォンの位置座標と音速ｃとから音源の方向を推定することを特徴とする。
このように、マイクロフォンを４個とすれば、同じマイクロフォン（例えば、マイクロフォンＭ２）の音圧信号を、到達時間差の計算に重複して用いる必要がないので、音源方向の推定精度を更に向上させることができる。
【０００８】
また、本発明は、音源を推定するための音源推定用画像を作成する音源推定用画像の表示装置であって、平面板に設置されて前記平面板を含む平面の一方の側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない少なくとも３個のマイクロフォンを備えた音採取手段と、前記音源の方向である前記平面板の前方の映像を撮影する撮影手段と、前記各マイクロフォンに入力する音圧信号の到達時間差と前記マイクロフォンの位置座標と音速とから前記音源の方向を推定する音源方向推定手段と、前記音源方向推定手段で推定された音源の方向のデータと前記撮影手段で撮影された音源の方向の映像信号である画像データとを合成して、前記推定された音源の方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段と、前記音源推定用画像を表示する表示手段とを備えたことを特徴とする。
このような構成を採ることにより、反射音の影響が少ない音源推定用画像を作成することができるので、音源の推定精度を向上させることができる。
【０００９】
また、本発明は、前記撮影手段が、前記複数のマイクロフォンが配置された平面板に、撮影方向が前記平面板に対して垂直でかつ前記平面板の前方を向くように取付けられていることを特徴とする。
これにより、音圧信号を採取する音採取手段と音源方向の映像を撮影する撮影手段とを一つの平面板に配置できる。したがって、音圧信号を採取する音採取手段と音源方向の映像を撮影する撮影手段とを一体化した小型の音・映像採取手段を備えた音源推定用画像の表示装置を得ることができる。
また、本発明は、前記音採取手段が、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対を備え、前記音源方向推定手段は、前記第１のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記第２のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と音速とから音源の方向を推定することを特徴とする。
これにより、音源の方向を精度よく推定できるので、音源の推定精度を更に向上させることができる。
【００１０】
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態に係る音源推定用画像の表示装置の構成を示す図である。
【図２】本実施の形態に係る音・映像採取ユニットの構成を示す図である。
【図３】音源推定用画像の一例を示す図である。
【図４】音源推定用画像の表示方法を示すフローチャートである。
【図５】音・映像採取ユニットとスピーカーとの位置関係を示す図である。
【図６】３個のマイクロフォンの配置の一例を示す図である。
【図７】音源推定用画像の具体例を示す図である。
【図８】音源推定用画像の具体例を示す図である。
【図９】音源推定用画像の具体例を示す図である。
【図１０】音源推定用画像の具体例を示す図である。
【図１１】音響座標系ＸＹＺと光学座標系ｘｙｚとの関係を示す図である。
【図１２】３個のマイクロフォンの他の配置例を示す図である。
【図１３】４個のマイクロフォンの配置例を示す図である。
【図１４】本発明による音・映像採取ユニットの他の構成を示す図である。
【図１５】従来の音採取手段を構成するマイクロフォンの配置例を示す図である。
【発明を実施するための形態】
【００１２】
図１は、音源方向推定用画像表示装置１の構成を示す図で、音源方向推定用画像表示装置１は、音・映像採取ユニット１０と、音データ入出力手段２１と、映像入出力手段２２と、記憶手段２３と、音源方向推定手段２４と、音源推定用画像作成手段２５と、表示手段２６とを備える。
記憶手段２３〜音源推定用画像作成手段２５の各手段は、例えば、パーソナルコンピュータのソフトウェアとメモリーとにより構成され、表示手段２６は、例えば、液晶ディスプレイなどの表示装置により構成される。
音・映像採取ユニット１０は、音採取手段１１と、撮影手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とが装着される平面板１３と、平面板１３を支持する支持台１４と、支持台１４を支持する支持脚（三脚）１５と、温度センサー１６とを備える。
音採取手段１１は、３個のマイクロフォンＭ１，Ｍ２，Ｍ３を備える。
マイクロフォンＭ１，Ｍ２，Ｍ３と、平面板１３と、温度センサー１６と、音データ入出力手段２１と、記憶手段２３と、音源方向推定手段２４とにより、本発明の音源方向推定装置を構成する。
【００１３】
本例では、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とを平面板１３に設置するとともに、温度センサー１６を、平面板１３を支持する支持台１４に取付けて、音源から伝播される音の音圧信号と、音・映像採取ユニット１０の設置されている箇所の温度を測定する。
図２（ａ），（ｂ）は音・映像採取ユニット１０の構成を示す図で、（ａ）図は正面図、（ｂ）図は（ａ）図のＡ−Ａ断面図である。マイクロフォンＭ１，Ｍ２，Ｍ３は、平面板１３に形成されたマイク取付孔１３１，１３２，１３３に、振動膜面が平面板１３の一方の面（以下、前面という）１３ａとほぼ同じ位置になるように装着される。マイク取付孔１３１，１３２，１３３は、（ａ）図に示すように、各孔の中心が、１辺の長さがＬの正三角形状に形成されている。以下、平面板１３の他方の面を後面１３ｂ、（ｂ）図の矢印で示す、平面板１３の後面１３ｂから前面１３ａに向かう方向を前方向という。
マイクロフォンＭ１，Ｍ２，Ｍ３としては、無指向性、単一指向性のいずれでもよい。また、マイクロフォンＭ１，Ｍ２，Ｍ３は、一般に使用されている小型のマイクロフォンでもよいし、サーフェイスマイクロフォンのような薄型のマイクロフォンでもよい。
カメラ１２は、平面板１３に、中心がマイク取付孔１３１と１３３との中点になるように形成されたカメラ取付孔１３４に、撮影方向が前方向となるように装着される。
なお、平面板１３としては、剛性が高く、音を全反射する材料を用いることが好ましい。また、前面１３ａを、凹凸をなくした平坦な面とすることが好ましい。
【００１４】
このように、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とを同一平面上に配置することで、音響中心（音源方向を計算するときの原点）と映像中心とを容易に一致させることができる。また、従来はカメラ１２からの反射音の影響をなくすため、マイクロフォンとカメラとを離して設置していたが、本発明のように、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とを同一平面上に配置すれば、カメラ１２からの反射音や、他のマイクロフォンからの反射音を大幅に低減することができるので、音源方向の推定精度を向上させることができる。
【００１５】
音データ入出力手段２１は、増幅器２１ａと、Ａ／Ｄ変換器２１ｂとを備える。
増幅器２１ａは、ローパスフィルタを備え、マイクロフォンＭ１〜Ｍ３で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号を増幅してＡ／Ｄ変換器２１ｂに出力する。
Ａ／Ｄ変換器２１ｂは、音圧信号をＡ／Ｄ変換するとともに、Ａ／Ｄ変換された音圧信号を音圧波形データとして記憶手段２３に送る。
映像入出力手段２２は、カメラ１２で連続的に撮影された映像信号を入力してＡ／Ｄ変換するとともに、Ａ／Ｄ変換された映像信号を画像データとして記憶手段２３に送る。
記憶手段２３は、音圧波形データと画像データとを保存する。
音源方向推定手段２４は、記憶手段２３に保存された音圧信号を用いて、平面板１３から見た時の音源方向、すなわち、平面板１３の前面１３ａを水平面とし、カメラ１２の映像中心でもあるマイクロフォンＭ１とマイクロフォンＭ３との中点を音響中心Ｏとしたときの水平角θpと仰角φpとを周波数毎に算出するとともに、音源から伝播される音の音圧レベルを計測する。
なお、水平角θpと仰角φpの算出方法については後述する。
【００１６】
音源推定用画像作成手段２５は、音源方向推定手段２４で算出された周波数毎の音源データである音源方向のデータ（水平角θpと仰角φp）及び音圧レベルと、記憶手段２３に記憶された画像データとを合成し、図３に示すような、画像中に音源の方向を示す複数の図形（ここでは、丸とした）Ｃ1，Ｃ2，Ｃ3，……，Ｃk，……が描画された音源推定用画像Ｇを作成して表示手段２６に出力する。音源推定用画像Ｇは表示手段２６の表示画面２６Ｍに表示させる。図３において、丸Ｃkの中心座標は、（θpk，φpk）で、丸Ｃkの大きさが音圧レベル、模様が周波数を表す。
表示手段２６は、表示画面２６Ｍを備え、音源推定用画像作成手段２５で作成された音源推定用画像Ｇを表示する。
【００１７】
次に、音源方向推定用画像の表示方法について、図４のフローチャートを参照して説明する。
まず、図５に示すように、周囲が壁３で囲まれた居室２内に音源としてのスピーカー４を設置するとともに、音・映像採取ユニット１０をスピーカー４の正面の計測点にセットし（ステップＳ１０）、マイクロフォンＭ１〜Ｍ３にてスピーカー４の発生する音の音圧信号を採取すると同時に、カメラ１２にてスピーカー４を中心とした居室２内の画像を採取する（ステップＳ１１）。
次に、マイクロフォンＭ１，Ｍ２，Ｍ３の出力信号である音圧信号を増幅してＡ／Ｄ変換して得られた音圧波形データと、カメラ１２の映像信号をＡ／Ｄ変換して得られた画像データとを記憶手段２３に保存する（ステップＳ１２）。
そして、音源方向推定手段２４にて、音圧波形データを用いて音源データである音源方向と音圧レベルとを算出する（ステップＳ１３）。
【００１８】
図６は、マイクロフォンＭ１とマイクロフォンＭ３との中点である音響中心Ｏを原点、マイクロフォンＭ３からマイクロフォンＭ１に向かう方向をＸ軸方向、原点からマイクロフォンＭ２に向かう方向をＹ軸方向、カメラ１２の撮影方向をＺ軸とした座標系におけるマイクロフォンＭ１，Ｍ２，Ｍ３の位置と、音の入射方向とを示す図で、マイクロフォンＭ１，Ｍ２，Ｍ３は、１辺がＬの正三角形の各頂点に配置される。このようなマイクロフォンＭ１，Ｍ２，Ｍ３の作る平面をＸＹ平面とし、カメラ１２の撮影方向をＺ軸としたＸＹＺ座標系を、以下、音響座標系という。
音源方向の計算は、マイクロフォンＭ１，Ｍ２，Ｍ３には、ＸＹ平面の前方（＋Ｚ方向）から伝播される音の音圧信号のみが入力されるものとし、マイクロフォンＭ１，Ｍ２，Ｍ３の音圧波形データをＦＦＴにて周波数解析し、周波数毎にマイクロフォンＭ１〜Ｍ３間の位相差を求め、この求められた位相差と、温度センサー１６により計測された温度を用いて算出した音速ｃとから音源の方向を周波数毎に算出する。
水平角θp及び仰角φpは以下の式［数１］で表わせる。
【数１】
2015161659.tif 000003
ここで、到達時間差Ｄijは、マイクロフォンＭiに到達する音圧信号とマイクロフォンＭjに到達する音圧信号との時間差で、対となる２つのマイクロフォンＭi及びマイクロフォンＭjに入力される信号のクロススペクトルＰij（ｆ）を求め、更に、対象とする周波数ｆの位相角情報Ψ（rad）を用いて、以下の式［数２］により算出される。
【数２】
2015161659.tif 000004
音源方向と音圧レベルとは周波数毎に計測する。
なお、音圧信号の大きさとしては、マイクロフォンＭ１，Ｍ２，Ｍ３のうちのいずれかに入力される信号の大きさとしてもよいし、マイクロフォンＭ１，Ｍ２，Ｍ３に入力される信号の大きさの平均値を用いてもよい。
【００１９】
次に、音源方向のデータと音圧レベルと、カメラ１２で撮影して得られた画像データとを合成し、図３に示すような、音源方向（θpk，φpk）と音圧信号の大きさａf（θpk，φpk）と周波数とを表示した円Ｃkが表示された音源推定用画像Ｇを作成し（ステップＳ１４）、作成された音源推定用画像Ｇを、表示手段２６の表示画面２６Ｍに表示する（ステップＳ１５）。
円Ｃkの位置が音源方向（θpk，φpk）を表し、円Ｃkの径が音圧レベルａf（θpk，φpk）を表し、円Ｃkの模様もしくは色が音圧信号の周波数を表す。
図７（ａ），（ｂ）は、音源推定用画像の具体例を示す図で、（ａ）図は、スピーカー４から出力されるピンクノイズを、本発明による３個のマイクロフォンを平面板に配置した構成の音・映像採取ユニット１０を用いて作成した音源推定用画像Ｇ0で、（ｂ）図は従来のマイクロフォンを５個立体配置した構成の音・映像採取ユニット１０Ｚを用いた場合の音源推定用画像Ｇz0である。なお、ピンクノイズは、スピーカーの音響特性測定に使用される、パワーが周波数に反比例する雑音である。スピーカー４は、四方が壁３に囲まれた居室２内に設置されている。
各図において、楕円で囲った箇所が音源であるスピーカー４の位置である。
（ａ）図と（ｂ）図とを比較して分かるように、従来法による音源推定用画像Ｇz0に比較して、本発明による音源推定用画像Ｇ0の方が、スピーカー４の位置のバラつきが少ないことが分かる。
また、図８（ａ），（ｂ）は、スピーカー４と音・映像採取ユニット１０，１０Ｚの側面に反射板５を設置して計測したときの音源推定用画像Ｇ1，Ｇz1を示す図で、図９（ａ），（ｂ）は、音・映像採取ユニット１０，１０Ｚの後方４５°の位置に反射板５を設置して計測したときの音源推定用画像Ｇ2，Ｇz2を示す図である。また、図１０（ａ），（ｂ）は、音・映像採取ユニット１０，１０Ｚの背面に反射板５を設置して計測したときの音源推定用画像Ｇ3，Ｇz3 を示す図である。
いずれの場合も、本発明による音源推定用画像Ｇkの方が、スピーカー４の位置のバラつきが少ないことが分かる。
このように、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とを平面板１３に配置して、マイクロフォンＭ１，Ｍ２，Ｍ３に入力する音圧信号をカメラ１２の撮影方向である前方の１８０°のみに限定すれば、後方あるいは側方の壁などからの反射音の影響を大幅に低減できることが分かる。
【００２０】
ところで、音響座標系（ＸＹＺ座標系）は、従来の５本のマイクロフォンを四角錐状に配置したときの座標系とは異なるので、水平角θpと仰角φpとは、画像上、すなわち、カメラ１２が水平面上にあるとしたときの水平角θと仰角φとは異なる。具体的には、図１１（ａ）に示すように、水平角θpと仰角φpとを画像上に表示すると、水平角θpは同図の一点鎖線で示す円上にあり、仰角φpは前記円の半径に相当する。音源を推定するには、画像上に前記の音源方向と周波数と音の大きさを表示した円Ｃが表示されていればよいので、図１１（ｂ）に示すように、音源方向（θp，φp）をカメラ１２が水平面（ｘｙ平面）上にあるとしたときの座標系である光学座標系における音源方向（θ，φ）に座標変換する必要はない。
しかし、水平角θに対する音圧レベルの分布を調べるときなどは、音源方向（θp，φp）を音源方向（θ，φ）に座標変換した方が、視覚的に分かりやすい。そこで、本例では、前記の図７〜図１０に示した音源推定用画像Ｇ，Ｇzについても、横軸を水平角θ、縦軸を仰角φとした画像として表示した。
【００２１】
図１１（ｂ）に示すように、光学座標系を、カメラ１２がｘｙ平面上にあり、かつ、ｘ軸をカメラ１２の撮影方向（白い矢印）とすると、光学座標系のｘ軸は音響座標系のＺ軸、光学座標系のｙ軸は音響座標系の−Ｘ軸、光学座標系ｚ軸は音響座標系のＹ軸となる。
したがって、光学座標系における水平角θ及び仰角φは、音響座標系の水平角θp及び仰角φpを用いて、以下の式［数３］のように表せる。
【数３】
2015161659.tif 000005
したがって、音響座標系から光学座標系への座標変換を行うことにより、例えば、図７（ａ）の音源推定用画像Ｇ0の下の段に示すように、水平角θを横軸に音圧レベルを縦軸にした音圧レベルの分布図を作成して表示することができる。
なお、音響座標系の音源方向（θp，φp）を光学座標系の音源方向（θ，φ）に座標変換した音源推定用画像Ｇを作成し、これを表示画面２６Ｍに表示してもよい。
【００２２】
このように、本実施の形態では、音源から伝播される音の音圧信号を採取するマイクロフォンＭ１，Ｍ２，Ｍ３を平面板１３に三角形状に設置して、平面板１３の前方であるカメラ１２の撮影方向から伝播される音の音圧信号のみを採取するとともに、音源方向推定手段２４にて、マイクロフォンに入力する音圧信号の到達時間差とマイクロフォンの位置座標と音速とから音源の方向を推定し、音源推定用画像作成手段２５にて、推定された音源の方向のデータとカメラ１２で撮影された音源の方向の映像信号である画像データとを合成して、推定された音源方向を示す図形が描画された画像である音源推定用画像Ｇを作成するようにしたので、反射音の影響を大幅に低減することができる。したがって、狭い空間であっても、音源の方向を精度よく推定することのできる音源推定用画像Ｇを作成することができる。
【００２３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
【００２４】
例えば、前記実施の形態では、マイクロフォンＭ１，Ｍ２，Ｍ３を、１辺の長さがＬの正三角形の各頂点に配置したが、本発明はこれに限るものではなく、互いに一直線上にない３点、すなわち、三角形の各頂点に配置してもよい。
図１２は、３個のマイクロフォンＭ０，Ｍ１，Ｍ２を二等辺三角形の各頂点に配置した例で、マイクロフォンＭ０の座標を（０，０，０）、マイクロフォンＭ１の座標を（Ｌ/２，０，０）、マイクロフォンＭ２の座標を（０，Ｌ/２，０）とし、音響中心をマイクロフォンＭ０の位置とし、映像中心を（Ｌ/３，Ｌ/３，０）とした。なお、Ｌは、音源と音・映像採取ユニット１０との距離に比べて十分小さいので、映像中心と音響中心とが一致しているとして音源推定用画像Ｇを作成しても問題はない。すなわち、映像中心は音響中心の近くに設定することが好ましく、例えば、（Ｌ/４，Ｌ/４，０）などのように、三角形の内部もしくは辺上にあれば更に好ましい。
マイクロフォンＭ０，Ｍ１，Ｍ２を、図１２のように配置したときの水平角θp及び仰角φpは以下の式［数４］で表わせる。
【数４】
2015161659.tif 000006
【００２５】
また、前記実施の形態では、マイクロフォンを３個としたが、平面板１３に第４のマイクロフォンＭ４を追加するとともに、図１３に示すように、４個のマイクロフォンＭ１〜Ｍ４から、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対（Ｍ１，Ｍ３）及び（Ｍ２，Ｍ４）を構成し、第１のマイクロフォン対を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、第２のマイクロフォン対を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24と、マイクロフォンＭ１〜Ｍ４の位置座標と、音速ｃとから音源方向を推定するようにしてもよい。
マイクロフォンＭ１〜Ｍ４を、図１３のように配置したときの水平角θp及び仰角φpは以下の式［数５］で表わせる。
【数５】
2015161659.tif 000007
このように、平面板１３に装着するマイクロフォンを４個とすれば、同じマイクロフォンの音圧信号を、到達時間差の計算に重複して用いる必要がないので、音源方向の推定精度を更に向上させることができる。
【００２６】
また、前記実施の形態では、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とを同一平面上に配置することで、計算対象となる音源を前方１８０°の方向のみとしたが、図１４に示すように、後方用の平面板１３’を設け、この平面板１３’にマイクロフォンＭ’１，Ｍ’２，Ｍ’３とカメラ１２’とを装着して、後方の音と映像とを採取する構成とすれば、後方１８０°にある音源についても計測対象とすることができる。
【符号の説明】
【００２７】
１  音源方向推定用画像表示装置、２  居室、３  壁、４  スピーカー、５  反射板、
１０  音・映像採取ユニット、１１  音採取手段、１２  撮影手段（カメラ）、
１３  平面板、１３ａ  平面板の前面、１３ｂ  平面板の後面、
１３１，１３２，１３３  マイク取付孔、１３４  カメラ取付孔、１４  支持台、
１５  支持脚、１６  温度センサー、
２１  音データ入出力手段、２１ａ  増幅器、２１ｂ  Ａ／Ｄ変換器、
２２  映像入出力手段、２３  記憶手段、２４  音源方向推定手段、
２５  音源推定用画像作成手段、２６  表示手段、２６Ｍ  表示画面、
Ｍ１，Ｍ２，Ｍ３  マイクロフォン。
【図１】
2015161659.tif 000008
【図２】
2015161659.tif 000009
【図３】
2015161659.tif 000010
【図４】
2015161659.tif 000011
【図５】
2015161659.tif 000012
【図６】
2015161659.tif 000013
【図７】
2015161659.tif 000014
【図８】
2015161659.tif 000015
【図９】
2015161659.tif 000016
【図１０】
2015161659.tif 000017
【図１１】
2015161659.tif 000018
【図１２】
2015161659.tif 000019
【図１３】
2015161659.tif 000020
【図１４】
2015161659.tif 000021
【図１５】
2015161659.tif 000022