(57)【要約】【課題】空間的に配置されるカメラやマイクのグローバル座標上の位置や向きを作業の煩雑さや手作業による誤りを回避して求めるようにする。【解決手段】本発明は、グローバル座標系において基準点とする音源の位置情報と、音源から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段と、グローバル座標系での音源の位置情報と、各マイクロホンにおける到来方向情報とに基づいて、各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するパラメータ推定手段とを備えることを特徴とするパラメータ推定装置である。【選択図】      図１
2014175996.tif 000002
【特許請求の範囲】
【請求項１】
グローバル座標系において基準点とする音源の位置情報と、上記音源から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段と、
上記グローバル座標系での音源の位置情報と、上記各マイクロホンにおける上記到来方向情報とに基づいて、上記各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するパラメータ推定手段と
を備えることを特徴とするパラメータ推定装置。
【請求項２】
上記パラメータ推定手段が、
上記グローバル座標系の音源の位置情報と、上記各マイクロホンにおける上記到来方向情報とに基づいて、各マイクロホンのマイク座標系での音源の位置情報を任意の投影面に投影した対応点の位置情報を求め、複数のマイクロホンにおける上記対応点の位置情報を用いて、上記各マイクロホンの位置情報及び向きに関するパラメータを推定するものである
ことを特徴とする請求項１に記載のパラメータ推定装置。
【請求項３】
上記１又は複数のマイクのそれぞれの情報収集範囲を求める情報収集範囲取得手段を備えることを特徴とする請求項１又は２に記載のパラメータ推定装置。
【請求項４】
コンピュータを、
グローバル座標系において基準点とする音源の位置情報と、上記音源から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段、
上記グローバル座標系での音源の位置情報と、上記各マイクロホンにおける上記到来方向情報とに基づいて、上記各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するパラメータ推定手段
として機能させることを特徴とするパラメータ推定プログラム。
【請求項５】
グローバル座標系での音源の位置情報と、１又は複数のマイクロホンのそれぞれにおいて上記音源から発せられた音響の到来方向を示す到来方向情報とに基づいて、上記各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するマイクパラメータ推定手段と、
少なくとも、上記マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置及び向きに関するパラメータを保持するマイクパラメータ保持手段と、
グローバル座標系で指定された位置情報を、上記各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段と
を備えることを特徴とする機器決定システム。
【請求項６】
１又は複数のカメラに関するカメラパラメータを上記カメラ毎に保持するカメラパラメータ保持手段と、
グローバル座標系で指定された位置情報を、上記各カメラのカメラ座標系における位置情報に変換して、指定された位置の情報を収集するカメラを選択するカメラ選択手段と
を備えることを特徴とする請求項５に記載の機器決定システム。
【請求項７】
上記マイクパラメータ保持手段が、１又は複数のマイクロホンの情報収集範囲を保持するものであり、
上記マイクロホン選択手段が、上記各マイクロホンの情報収集範囲とする角度内に上記マイク座標系における指定位置が含まれており、上記各マイクロホンの情報収集範囲とする収音可能距離内に上記マイク座標系における指定位置があるか否かを判断して、情報収集可能なマイクロホンを選択するものである
ことを特徴とする請求項５又は６に記載の機器決定システム。
【請求項８】
上記カメラパラメータ保持手段が、１又は複数のカメラの情報収集範囲を保持するものであり、
上記カメラ選択手段が、上記各カメラの情報収集範囲とする画角内に、上記カメラ座標系における指定位置が含まれており、上記各カメラの情報収集範囲とする撮影可能距離内に上記カメラ座標系における指定位置があるか否かを判断して、情報収集可能なカメラを選択するものである
ことを特徴とする請求項５〜７のいずれかに記載の機器決定システム。
【請求項９】
コンピュータを、
グローバル座標系での音源の位置情報と、１又は複数のマイクロホンのそれぞれにおいて上記音源から発せられた音響の到来方向を示す到来方向情報とに基づいて、上記各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するマイクパラメータ推定手段と、
少なくとも、上記マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置及び向きに関するパラメータを保持するマイクパラメータ保持手段、
グローバル座標系で指定された位置情報を、上記各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段
として機能させることを特徴とする機器決定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パラメータ推定装置、パラメータ推定プログラム、機器決定システム及び機器決定プログラムに関し、例えば、空間的に配置された撮像機器や収音機器のパラメータをキャブレーションするシステム及び方法に適用し得るものである。
【背景技術】
【０００２】
例えば、空間的に複数のカメラや複数のマイク等が任意に配置され、カメラが撮像した映像（以下、静止画像、動画像等を含むものを映像と呼ぶ）の情報や、マイクが収音した音響（以下、音、音声、音響を含むものを音響と呼ぶ）等の情報を用いて、その空間状況を認識する技術がある。
【０００３】
空間内における任意の場所（位置座標）の状況を知るためには、その場所を撮像するカメラやその場所の音響を収音するマイクを指定することが必要となる。しかし、任意に配置されているカメラやマイク等の機器の位置（位置座標）や向きを認識することは極めて難しい。従来、空間内の指定した位置（位置座標）の状況を認識するために、特許文献１〜特許文献３、非特許文献１等のような技術がある。
【０００４】
特許文献１では、例えば、遠隔地において、所定の画像を表示するディスプレイをカメラで撮影し、そのカメラで撮影した画像において被制御装置の表示領域を同定するなど技術が記載されており、同定された位置を指定することで、指定した位置の装置を指示できるというものである。
【０００５】
特許文献２の記載技術は、あらかじめ設置位置や向き等のカメラパラメータが設定された複数のカメラを遠隔地に配置しておき、その遠隔地の様子を表示する地図上の１点を指定すると、その指定点を撮影しているカメラが選択され、そのカメラが写し出す映像を見ることができるというものである。
【０００６】
特許文献３では、カメラの相互の位置や向きの相対関係を自動的に決定する技術が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２７７２８３号公報
【特許文献２】特開２００１−０９４８６０号公報
【特許文献３】特開２００９−１２４２０４号公報
【非特許文献】
【０００８】
【非特許文献１】マルチカメラシステムによる全方位動画像からのカメラ外部パラメータの復元、情報処理学会研究報告、ＣＶＩＭ、［コンピュータビジョンとイメージメディア］２００３（１０９）、９５−１０２、２００３−１１−０６
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来技術は、以下のような問題が生じ得る。
【００１０】
特許文献１の記載技術により位置が指定できるのは、キャリブレーションされた限定的な対象物である。それら限定的な対象物は、特許文献１では被制御装置と呼ばれている。被制御装置は、再帰性反射素材を用いて外部からの光を反射するもの、所定の光や音や電磁波のうちの少なくともいずれかを発するもの、あらかじめ形状がわかっているもの、所定の画像を表示するもの等のように、その性質があらかじめ判っている必要がある。
【００１１】
しかし、特許文献１に記載の方法で指定可能な場所は、上述の被制御装置の同定された場所に限られ、遠隔地の任意の場所（位置座標）を指定して、その場所に関する情報を取得することができないという問題がある。
【００１２】
特許文献２の記載技術は、複数のカメラ毎にカメラの位置座標及びカメラの向きをテーブルにあらかじめ設定しておく必要がある。また、特許文献２の記載技術は、遠隔地の映像情報を取得することはできるが、音響情報を取得することはできない。音響情報も取得するためには、遠隔地にカメラだけでなく、複数のマイクを配置し、そのマイクの配置位置や収音範囲などの情報をあらかじめ設定し、カメラやマイクの配置情報を事前に用意することで、地図上の座標指定に基づき、必要なカメラやマイクを選択し、カメラやマイクからの情報に基づいて指定した場所に関する情報を取得するシステムを考えられる。このような方法によれば、遠隔地の任意の場所の座標を指定し、その場所を撮影しているカメラや、その場所の音響を収音しているマイクを選択することが可能となり得る。
【００１３】
しかし、特許文献２の記載技術を適用するために、カメラやマイクが遠隔地のどの場所に設置されているか、またどの向きに設置されているかといった設置の位置座標と向きに関する情報が予め判っている必要がある。これらカメラやマイクの設置に係る位置座標及び向きの情報は、例えば、カメラやマイクを遠隔地に設置する際に、全部の機器の設置場所の座標を物差しで計り、またその方向を分度器などで測定することで取得するという方法が考えられる。このような作業は非常に煩雑であり、また、手作業で行うため、作業に誤りが生じ得るという問題がある。特に、遠隔地の複数の場所から情報を取得するために、それぞれの場所に多数の機器を配置する場合には、手作業による誤りの入る可能性が高くなり、実用的では無い。
【００１４】
また、特許文献２の記載技術は、遠隔地におけるカメラの配置に関して、あらかじめ定めた情報を用いるか、又は位置のわかっているカメラの撮影している映像を見ながらひとつずつ遠隔操作で向きだけを変えて、適切な向きになった時点でその向きの情報を設定情報として記憶させるということを述べている。この場合、カメラの個数が非常に多くなると操作が非常に煩雑になる。
【００１５】
特許文献３の記載技術によれば、例えば２個のカメラのうち、一方のカメラの位置座標や向きがわかっていれば、他方のカメラの位置座標や向きを自動的に求めることができる。多数のカメラが配置されている場合でも、上記の操作を他のカメラについて繰り返し行うことで、すべてのカメラの位置座標や向きを求めることができる。そのため、カメラの位置座標や向きを収集するための煩雑さが低減し、誤りも少なくなると考えられる。
【００１６】
しかし、特許文献３の記載技術は、マイクの絶対的な位置座標や向きの収集する手段若しくはカメラとマイクとの間の相対関係を決定する手段については言及されていないため、マイクの位置や方向の情報を取得するのは人手に頼る必要があり、非常に煩雑かつ誤りが生じ得る。
【００１７】
そのため、空間的に配置されるカメラやマイクのグローバル座標上の位置や向きを調べる際に、その作業の煩雑さや手作業による誤りを回避することができるパラメータ推定装置、パラメータ推定プログラム、機器決定システム及び機器決定プログラムが求められている。
【課題を解決するための手段】
【００１８】
かかる課題を解決するために、第１の本発明は、（１）グローバル座標系において基準点とする音源の位置情報と、音源から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段と、（２）グローバル座標系での音源の位置情報と、各マイクロホンにおける到来方向情報とに基づいて、各マイクロホンの相対的な位置情報及び向きに関するパラメータを推定するパラメータ推定手段とを備えることを特徴とするパラメータ推定装置である。
【００１９】
第２の本発明は、コンピュータを、（１）グローバル座標系において基準点とする音源の位置情報と、音源から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段、（２）グローバル座標系での音源の位置情報と、各マイクロホンにおける到来方向情報とに基づいて、各マイクロホンの相対的な位置情報及び向きに関するパラメータを推定するパラメータ推定手段として機能させることを特徴とするパラメータ推定プログラムである。
【００２０】
第３の本発明は、（１）グローバル座標系での音源の位置情報と、１又は複数のマイクロホンのそれぞれにおいて音源から発せられた音響の到来方向を示す到来方向情報とに基づいて、各マイクロホンの相対的な位置情報及び向きに関するパラメータを推定するマイクパラメータ推定手段と、（２）少なくとも、マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置及び向きに関するパラメータを保持するマイクパラメータ保持手段と、（３）グローバル座標系で指定された位置情報を、各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段とを備えることを特徴とする機器決定システムである。
【００２１】
第４の本発明は、コンピュータを、（１）グローバル座標系での音源の位置情報と、１又は複数のマイクロホンのそれぞれにおいて音源から発せられた音響の到来方向を示す到来方向情報とに基づいて、各マイクロホンの相対的な位置情報及び向きに関するパラメータを推定するマイクパラメータ推定手段と、（２）少なくとも、マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置及び向きに関するパラメータを保持するマイクパラメータ保持手段、（３）グローバル座標系で指定された位置情報を、各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段として機能させることを特徴とする機器決定プログラムである。
【発明の効果】
【００２２】
本発明によれば、空間的に配置されるカメラやマイクのグローバル座標上の位置や向きを調べる際に、その作業の煩雑さや手作業による誤りを回避することができる。
【図面の簡単な説明】
【００２３】
【図１】実施形態に係るキャリブレーションシステムの全体構成を示す構成図である。
【図２】実施形態に係るパラメータ推定器の内部構成を示す内部構成図である。
【図３】実施形態に係る視聴点指示器の内部構成を示す内部構成図である。
【図４】実施形態に係る音・映像位置較正器の外観構成を示す外観図である。
【図５】実施形態に係るパラメータ推定器によるカメラ及びマイクの位置座標及び向きの推定処理を示すフローチャートである。
【図６】実施形態に係るパラメータ推定器によるカメラの位置座標及び向きの推定処理を説明するフローチャートである。
【図７】実施形態に係るパラメータ推定器によるマイクの位置座標及び向きの推定処理を説明するフローチャートである。
【図８】実施形態に係る光線交差法を用いて音・映像位置較正器のグローバル座標系での位置座標を測定する方法を説明する説明図である。
【図９】実施形態に係るマイクのパラメータのＰｎＰ問題を説明する説明図である（その１）。
【図１０】実施形態に係るマイクのパラメータのＰｎＰ問題を説明する説明図である（その２）。
【図１１】実施形態に係るパラメータ保持器に保存されるカメラの各種パラメータを説明する説明図である。
【図１２】実施形態に係るパラメータ保持器に保存されるマイクの各種パラメータを説明する説明図である。
【図１３】実施形態に係るカメラ及びマイクの情報収集範囲を説明する説明図である（その１）。
【図１４】実施形態に係るカメラ及びマイクの情報収集範囲を説明する説明図である（その２）。
【図１５】実施形態に係るカメラ及びマイクの情報収集範囲を説明する説明図である（その３）。
【図１６】実施形態に係るパン・チルトの機能を説明する説明図である（その１）。
【図１７】実施形態に係るパン・チルトの機能を説明する説明図である（その２）。
【図１８】実施形態に係るパン・チルトの機能を説明する説明図である（その３）。
【図１９】実施形態に係る視聴点指示器による指定位置の情報を収集可能なカメラ及びマイクの選択処理の全体的な手順を示すフローチャートである。
【図２０】実施形態に係る視聴点指示器によるカメラの選択処理を説明するフローチャートである。
【図２１】実施形態に係る視聴点指示器によるマイクの選択処理を説明するフローチャートである。
【発明を実施するための形態】
【００２４】
（Ａ）主たる実施形態
以下では、本発明のパラメータ推定装置、パラメータ推定プログラム、機器決定システム及び機器決定プログラムの主たる実施形態を、図面を参照しながら詳細に説明する。
【００２５】
（Ａ−１）実施形態の構成
図１は、実施形態に係るキャリブレーションシステム１００の全体構成を示す構成図である。
【００２６】
図１において、実施形態に係るキャリブレーションシステム１００は、複数のカメラ１０１−１〜１０１−ｎ（ｎは整数）、複数のマイクロホン（以下、マイクと呼ぶ）１０２−１〜１０２−ｍ（ｍは整数）、パラメータ推定器１０３、パラメータ保持器１０４、視聴点指示器１０５を有する。
【００２７】
キャリブレーションシステム１００は、音・映像位置較正器２００を利用して、空間上の座標系（以下、グローバル座標系と呼ぶ）でのカメラ１０１−ｉ（１≦ｉ≦ｎ）及びマイク１０２−ｊ（１≦ｊ≦ｍ）の位置座標及び向きに関する情報（パラメータ）を推定して保持しておき、空間内の任意の場所を指定し、その指定された場所を撮像するカメラ１０１−ｉ及びその指定された場所の音響を収音するマイク１０２−ｊを決定して、その指定された場所の画像及び音響を取得するものである。
【００２８】
カメラ１０１−ｉは、空間内において任意の位置に配置されるものであり、撮像した撮像した撮像画像情報を、接続しているパラメータ推定器１０３に与えるものである。後述するパラメータ推定部１０３が、グローバル座標系におけるカメラ１０１−ｉの位置座標及び向きに関する情報を推定する際、カメラ１０１−ｉは、カメラ座標系で撮像した音・映像位置推定器２００を含む撮像画像情報をパラメータ推定器１０３に与える。
【００２９】
マイク１０２−ｊは、空間内において任意の位置に配置されるものであり、収音した音響情報を、接続しているパラメータ推定部１０３に与えるものである。
【００３０】
また、マイク１０２−ｊは、例えばマイクロホンアレーなどのように、音源の到来方向を特定する機能を有するものである。なお、後述するパラメータ推定部１０３が、グローバル座標系におけるマイク１０２−ｉの位置座標及び向きに関する情報を推定する際、マイク１０２−ｉは、後述する音・映像位置推定器２００が発した音響を収音し、マイク座標系での音源の座標を含む音響情報をパラメータ推定器１０３に与える。
【００３１】
パラメータ推定器１０３は、グローバル座標系におけるカメラ１０１−ｉの位置座標及び向きに関する情報を、他のカメラ１０１−ｉとの相対的な位置関係に基づいて推定するものである。また、パラメータ推定器１０３は、グローバル座標系におけるマイク１０２−ｊの位置座標及び向きに関する情報を、他のマイク１０２−ｊとの相対的な位置関係に基づいて推定するものである。パラメータ推定器１０３は、推定したグローバル座標系でのカメラ１０１−ｉ及びマイク１０２−ｊの位置座標及び向きに関する情報をパラメータ保持器１０４に保存するものである。
【００３２】
図２は、パラメータ推定器１０３の内部構成を示す内部構成図である。パラメータ推定器１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インタフェース等を有するものであり、ＣＰＵがＲＯＭに格納される処理プログラムを実行することにより、所定の処理を実現することができる。
【００３３】
図２において、パラメータ推定器１０３は、大別して、カメラパラメータ推定部３１０と、マイクパラメータ推定部３２０とを有する。
【００３４】
カメラパラメータ推定部３１０は、カメラ１０１−ｉからカメラ座標系での音・映像位置較正器２００を含む撮像画像情報を取得し、各カメラ１０１−ｉの撮像画像情報に基づいて、複数のカメラ１０１−ｉの相対的な関係から各カメラ１０１−ｉの位置座標及び向きに関する情報を推定するものである。カメラパラメータ推定部３１０は、その機能部として、カメラ位置座標・向き情報推定部３１１、カメラ撮影範囲情報取得部３１２、カメラパラメータ保存部３１３を有する。なお、カメラパラメータ推定部３１０によるカメラ１０１−ｉの位置座標及び向きの推定処理の詳細な説明は動作の項で説明する。
【００３５】
マイクパラメータ推定部３２０は、マイク１０２−ｊからマイク座標系での音・映像位置較正器２００の位置座標を含む音響情報を取得し、各カメラ１０１−ｉの撮像画像情報とパラメータ保持器１０４に保存されているカメラパラメータからグローバル座標系での音・映像位置較正器２００の位置座標を取得し、取得したマイク座標系での音・映像位置較正器２００の位置座標を含む音響情報と取得したグローバル座標系での音・映像位置較正器２００の位置座標から、グローバル座標系での各マイク１０２−ｊの位置座標及び向きに関する情報を推定するものである。マイクパラメータ推定部３２０は、その機能部として、マイク位置座標・向き情報推定部３２１、マイク収音範囲情報取得部３２２、マイクパラメータ保存部３２３を有する。なお、マイクパラメータ推定部３２０によるマイク１０２−ｊの位置座標及ぶ向きの推定処理の詳細な説明は動作の項で説明する。
【００３６】
パラメータ保持器１０４は、パラメータ推定器１０３により推定されたカメラ１０１−ｉのカメラパラメータ及びマイク１０２−ｊのマイクパラメータを保持するものである。
【００３７】
視聴点指示器１０５は、カメラ１０１−ｉ及びマイク１０２−ｊが配置されている空間において指定された場所（位置座標）の映像を撮像するカメラ１０１−ｉ及び音響を収音するマイク１０２−ｊを選定するものである。
【００３８】
図３は、視聴点指示器１０５の内部構成を示す内部構成図である。視聴点指示器１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インタフェース等を有するものであり、ＣＰＵがＲＯＭに格納される処理プログラムを実行することにより、所定の処理を実現することができる。
【００３９】
図３において、視聴点指示器１０５は、視聴点指定取得部４０１、カメラ選定部４０２、マイク選定部４０３を有する。なお、視聴点指示器１０５によるカメラ１０１−ｉ及びマイク１０２−ｊの選定方法の詳細な説明は動作の項で詳細に説明する。
【００４０】
音・映像位置較正器２００は、カメラ１０１−ｉ及びマイク１０２−ｊのグローバル座標系での位置座標及び向きに関する情報を推定する際に、その基準マーク又は音源とするものである。
【００４１】
図４は、音・映像位置較正器２００の外観構成を示す外観図である。図４に示すように、音・映像位置較正器２００は、映像提示部２０１と、音響発生部２０２とを有する。
【００４２】
映像提示部２０１は、例えば、予め決められた映像を表示したり、又は光の点灯又は光の点滅をしたりするものである。映像提示部２０１が提示した映像や光の明滅等をカメラ１０１−ｉが撮像し、その撮像画像情報がパラメータ推定器１０３に与えられる。
【００４３】
音響発生部２０２は、例えば、予め決められた周波数の音の出力、予め決められた音階パターンの出力等を行うものである。音響発生部２０２が発した音響をマイク１０２−ｊが収音する。
【００４４】
（Ａ−２）実施形態の動作
次に、実施形態に係るキャリブレーションシステム１００における処理の動作を、図面を参照しながら詳細に説明する。
【００４５】
（Ａ−２−１）カメラ位置座標及び向きに関する情報の説明
まず、パラメータ推定器１０３のカメラパラメータ推定部３１０によるカメラの位置座標及び向きに関する情報について説明する。なおカメラパラメータ推定部３１０においてカメラパラメータをパラメータ保持器１０４に保持する動作はカメラパラメータ保存部３１３によって行われる。
【００４６】
ここでは、グローバル座標系の基準点Ｖが、カメラ１０１−ｉに撮像素子上の画素位置に映っている状況を考える。
【００４７】
基準点Ｖのグローバル座標系での位置座標が（ｇＸ，ｇＹ，ｇＺ）Ｔであるとし、カメラ１０１−ｉの撮像素子上の画素位置が（ＣＰ＿ｉｕ，ＣＰ＿ｉν）であるとする。
【００４８】
グローバル座標系の基準点Ｖの位置座標とカメラ座標系の基準点Ｖの位置座標との関係は、一般に射影変換で表すことができ、式（１）のような関係にある。
【数１】
2014175996.tif 000003
【００４９】
ここで、ｗは媒介変数である。Ｃ＿ｉＲｇはカメラ１０１−ｉについて空間での回転を表す３×３行列である。なお、表記上の制限のため、Ｒ、Ａの表記は式（１）の表記と異なる点に留意されたい。
【００５０】
Ｃ＿ｉＴは、カメラ１０１−ｉについての空間内での平行移動を表す３次元ベクトルである。（Ｃ＿ｉＲｇ｜Ｃ＿ｉＴ）は、３行×４列の行列となる。
【００５１】
ここで、ＣＰ＿ｉＡＣ＿ｉ（Ｃ＿ｉＲｇ｜Ｃ＿ｉＴ）は、カメラ１０１−ｉのカメラパラメータと呼ばれるものである。ＣＰ＿ｉＡＣ＿ｉは、カメラ１０１−ｉの内部パラメータと呼ばれ、カメラ１０１−ｉ自体の光学系の特性を表すものである。（Ｃ＿ｉＲｇ｜Ｃ＿ｉＴ）は、カメラ１０１−ｉの外部パラメータと呼ばれるものである。特に、Ｃ＿ｉＲｇはグローバル座標系でのカメラ１０１−ｉの向きを表し、Ｃ＿ｉＴはカメラ１０１−ｉの位置座標を表すものである。
【００５２】
グローバル座標系の基準点Ｖとそれに対応する撮像素子上の画素位置との組が複数個ある場合、カメラパラメータＣＰ＿ｉＡＣ＿ｉ，Ｃ＿ｉＲｇ，Ｃ＿ｉＴ，を推定する問題は、ＰｎＰ（Perspective  n−Point  Problem）問題と呼ばれている。一般的にＰｎＰ問題は、６点以上の基準点とそれに対応する画素位置が分かれば、最小二乗法によってカメラパラメータを推定することができる（非特許文献１参照）。
【００５３】
なお、カメラ１０１−ｉのレンズが無歪であれば、カメラパラメータＣＰ＿ｉＡＣ＿ｉは、式（２）と表すことができる。
【数２】
2014175996.tif 000004
【００５４】
ここで、（Ｃｘ，Ｃｙ）Ｔは、撮影画像の画像中心座標である。ｆｘはｘ軸方向のスケール変換を表し、ｆｙはｙ軸方向のスケール変換を表す。
【００５５】
（Ａ−２−２）カメラ及びマイクの位置座標及び向きの推定手順
図５は、パラメータ推定器１０３によるカメラ１０１−ｉ及びマイク１０２−ｊの位置座標及び向きの推定処理を示すフローチャートである。
【００５６】
図５において、パラメータ推定器１０３は、グローバル座標系におけるカメラ１０１−ｉの位置座標及び向きを推定し（Ｓ１００）、次に、グローバル座標系におけるマイク１０２−ｊの位置座標及び向きを推定する（Ｓ２００）。
【００５７】
（Ａ−２−３）カメラの位置座標及び向きの推定手順
図６は、パラメータ推定器１０３のカメラパラメータ推定部３１０によるカメラ１０１−ｉの位置座標及び向きの推定処理を説明するフローチャートである。
【００５８】
カメラパラメータ推定部３１０は、カメラ位置座標・向き情報推定部３１１によって、空間におけるカメラ１０１−ｉの位置座標及び向きを推定する。この推定方法は、種々の方法を広く適用することができるが、例えば、複数のカメラ１０１−ｉの間の相対的な関係に基づいてそれぞれの位置情報及び向きを推定する方法を適用することができる。例えば、この相対的な関係に基づいてカメラ１０１−ｉの位置情報及び向きを推定する方法の一例としては、特許文献３に記載される技術を適用することができる。
【００５９】
図６を用いて、カメラ位置座標・向き情報推定部３１１によるカメラ１０１−ｉの位置座標及び向きを推定する詳細な手順を説明する。
【００６０】
まず、空間に配置されるカメラ１０１−１〜１０１−ｎのうち、少なくとも１台のカメラ１０１−ｉのグローバル座標系での位置座標及び向きを測定しておく。すなわち、少なくとも１台のカメラ１０１−ｉの位置座標及び向きに関する情報として、当該カメラ１０１−ｉの外部パラメータＣ＿ｉＲｇおよびＣ＿ｉＴを測定しておく。
【００６１】
なお、ここでは、ここでは、カメラ１０１−ｉの内部パラメータＣＰ＿ｉＡＣ＿ｉは、予め分かっているものとし、例えばパラメータ保持器１０４に保存されているものとする。
【００６２】
カメラ位置座標・向き情報推定部３１１は、グローバル座標系で既に位置座標及び向きが推定されているカメラ（ここでは、カメラＡと呼ぶ）を選択する（Ｓ１０１）。
【００６３】
次に、カメラ位置情報・向き情報推定部３１１は、位置座標及び向きが推定されていないカメラ（ここでは、カメラＢと呼ぶ）を選択する（Ｓ１０２）。つまり、カメラ位置情報・向き情報推定部３１１は、既に位置座標及び向きが推定されているカメラＡと、未推定のカメラＢとを選択する。
【００６４】
カメラ位置情報・向き情報推定部３１１は、カメラＡとカメラＢとの相対的な関係に基づいて、カメラＢの位置座標及び向きを推定する（Ｓ１０３）。
【００６５】
つまり、カメラ位置情報・向き情報推定部３１１は、例えば特許文献３に記載される技術を利用する。詳細な技術的な内容は省略するが、パラメータ推定器３は、カメラＡの撮像画面における基準点（特徴的な画像）の位置座標及び向きと、カメラＢの撮像画面における基準点（カメラＡが撮影した基準点と同一又は類似する特徴的な画像）の位置座標及び向きとを抽出する。例えば、カメラＡ及びカメラＢの撮像画面における基準点は、音・映像位置較正器２００の映像とすることができる。
【００６６】
次に、カメラ位置情報・向き情報推定部３１１は、カメラＡの撮像画像における基準点の位置座標及び向きを逆投影変換して、当該基準点のグローバル座標系の位置座標及び向きを求める。そして、カメラ位置情報・向き情報推定部３１１は、当該基準点のグローバル座標系の位置座標と、カメラＢの撮像画面における基準点の位置座標とを用いて、式（１）よりカメラＢの外部パラメータＣ＿ｉＲｇおよびＣ＿ｉＴを推定する。すなわち、これにより、カメラＡとカメラＢとの間の相対的な位置関係を推定できる。
【００６７】
カメラＡの位置と向きがグローバル座標系で既知であるため、相対的な位置関係のわかったカメラＢのグローバル座標系での位置も一意に定まる。相対的な位置関係がわかったというのは、カメラＡとカメラＢとの間の位置ベクトルＰＡＢが求まったことになる。カメラＡのグローバル座標系での位置ベクトルをＰＯＳＡとし、カメラＢのカメラＡに対する位置ベクトルをＰＯＳＡＢとすると、カメラＢのグローバル座標系での位置ベクトルＰＯＳＢは、ＰｏｓＡ＋ＰＯＳＡＢになる。
【００６８】
同様に、カメラＡのグローバル座標系での向きを表すベクトルをＤｉｒＡとし、カメラＢのカメラＡに対する相対的な向きを表すベクトルをＤｉｒＡＢとすると、グローバル座標系でのカメラＢの向きＤｉｒＢはＤｉｒＡ＋ＤｉｒＡＢとなる。
【００６９】
カメラ位置情報・向き情報推定部３１１は、全てのカメラ１０１−１〜１０１−ｎについて位置座標及び向きを推定したか否かを判断し、全てのカメラ１０１−１〜１０１−ｎの位置座標及び向きを推定するまで、Ｓ１０１〜Ｓ１０３の処理を繰り返し行う。そして、全てカメラ１０１−１〜１０１−ｊの位置座標及び向きが推定されると、パラメータ推定部１０３は処理を終了する。
【００７０】
（Ａ−２−４）マイクの位置座標及び向きの推定手順
図７は、パラメータ推定器１０３のマイクパラメータ推定部３２０によるマイク１０２−ｉの位置座標及び向きの推定処理を説明するフローチャートである。なおマイクパラメータ推定部３２０においてマイクパラメータをパラメータ保持器１０４に保持する動作はマイクパラメータ保存部３２３によって行われる。
【００７１】
マイクパラメータ推定部のマイク位置座標・向き情報推定部３２１は、空間におけるマイク１０２−ｉの位置座標及び向きを推定する。
【００７２】
まず、マイク位置座標・向き情報推定部３２１では、空間において音・映像較正器２００を適切な位置に固定した状態で（Ｓ２０１）、音・映像較正器２００のグローバル座標系での位置座標を測定する（Ｓ２０２）。
【００７３】
音・映像位置較正器２００のグローバル座標系での位置座標の測定方法は、種々の方法を適用できるが、例えば以下のような方法を適用することができる。
【００７４】
例えば、カメラ１０１−１〜１０１−ｎのうち少なくとも２台のカメラが音・映像位置較正器２００を撮影できる位置に動かし、音・映像位置較正器２００を固定する。このとき、音・映像位置較正器２００は、映像提示部２０１が所定の映像情報を提示するようにしておく。
【００７５】
そして、マイク位置座標・向き情報推定部３２１は、少なくとも２台のカメラが音・映像位置較正器２００を撮像した撮像映像情報を取得し、少なくとも２台のカメラの撮像映像情報と、少なくとも２台のカメラのグローバル座標系での位置座標及び向きとに基づいて、光線交差法を用いて、音・映像位置較正器２００の位置座標を測定する。
【００７６】
マイク位置座標・向き情報推定部３２１が、光線交差法を用いて、音・映像位置較正器２００のグローバル座標系での位置座標を測定する方法を図８を用いて説明する。
【００７７】
図８において、２個のカメラをカメラＣＸ６０１、カメラＣＸ６０２とする。図８において、カメラＣＸ６０１、カメラＣＹ６０２はグローバル座標系での位置座標及び向きが分かっている。そのため、カメラＣＸ６０１及びカメラＣＹ６０２の撮像画像に写っている物体（音・映像位置較正器２００）が、それぞれのカメラＣＸ６０１及びカメラＣＹ６０２から見てどの方向にあるかがわかる。これは、グローバル座標系でカメラＣＸ６０１、カメラＣＹ６０２と、その物体（音・映像位置較正器２００）とを通る直線が決定できるということである。光線交差法は、それぞれのカメラＣＸ６０１、カメラＣＹ６０２から、その写っている物体（音・映像位置較正器２００）に伸ばした直線が交差する点に物体（音・映像位置較正器２００）があると判断するものである。
【００７８】
従って、マイク位置座標・向き情報推定部３２１は、カメラＣＸ６０１及びカメラＣＹ６０２のグローバル座標系での位置座標と、カメラＣＸ６０１及びカメラＣＹ６０２のグローバル座標系での向きとに基づき、それぞれのカメラＣＸ６０１及びカメラＣＹ６０２からの直線が交差する点を、音・映像位置較正器２００のグローバル座標系での位置座標とする。
【００７９】
次に、手順Ｓ２０２で、グローバル座標上の位置座標を測定した音・映像位置較正器２００を音源とする。このとき、音・映像位置較正器２００は、音響発生器２０２が所定の音響を発する。
【００８０】
マイク１０２−１〜１０２−ｍは、マイクに対して相対的にどの方向から音響が到来しているかを推定できる機能を有しており、この音響の到来方向を含む音響情報をマイク位置座標・向き情報推定部３２１に与える。
【００８１】
マイク位置座標・向き情報推定部３２１は、マイク１０２−１〜１０２−ｍからの音響情報を取得し、マイク１０２−ｉのグローバル座標系での位置座標及び向きを推定する（Ｓ２０３）。
【００８２】
ここで、マイク１０２−ｊの向きと位置座標が、カメラ１０１−ｉのＰｎＰ問題と同等に取り扱えることに関して説明する。
【００８３】
音源の位置座標をグローバル座標系で（ｇＸ，ｇＹ，ｇＺ）Ｔとする。また、マイク１０２−ｊのマイク座標系での同じ音源の座標を（Ｍ＿ｊｘ，Ｍ＿ｊｙ，Ｍ＿ｊｚ）とする。
【００８４】
マイク１０２−ｊは音源の方向が分かっている。つまり、これは、図９に示すように、平面状のマイク１０２−ｊを考えたときに、マイク１０２−ｊの平面の水平方向にＸｍ軸、Ｙｍ軸をとり、マイク１０２−ｊの平面の垂直方向にｚｍ軸をとる。このとき、Ｚｍ軸と原点Ｏとベクトル（Ｍ＿ｊｘ，０，Ｍ＿ｊｚ）のなす角角度θと、Ｚｍ軸と原点Ｏとベクトル（０，Ｍ＿ｊｙ，Ｍ＿ｊｚ）のなす角度δが判る。従って、角度θは式（３）の関係にあり、角度δは式（４）の関係にある。
【数３】
2014175996.tif 000005
【００８５】
一方、音源のグローバル座標系の位置座標（ｇＸ，ｇＹ，ｇＺ）Ｔと、マイク１０２−ｊのマイク座標系での位置座標（Ｍ＿ｊｘ，Ｍ＿ｊｙ，Ｍ＿ｊｚ）との間には、空間の回転行列Ｍ＿ｊＲｇと平行移動を表すベクトルＭ＿ｊＴとを用いると、式（５）と表す関係がある。
【数４】
2014175996.tif 000006
【００８６】
ここで、図１０に示すように、マイク座標系のＸｍ−Ｙｍ平面に平行な平面Ｆを考える（図８）。平面Ｆはマイク座標系のＺｍ軸とＺｍ＝ｆで交わるものとする。ｆの値は任意とする。この平面Ｆと、マイク座標系の原点と音源とを結ぶ直線の交わる点を点Ｑとし、点Ｑの平面Ｆ上の座標を（ｘｑ，ｙｑ）とする。
【００８７】
そうすると、平面Ｆ上の座標（ｘｑ，ｙｑ）と、音源のグローバル座標系の位置座標（ｇＸ，ｇＹ，ｇＺ）Ｔとの間には、式（６）及び式（７）の関係にある
【数５】
2014175996.tif 000007
【００８８】
一方、図１０において、マイク１０２−ｊの代わりに仮想的にカメラｓを置いたと仮定する。そして、音源位置を基準点とする。カメラｓの光軸をＺｍ軸とした場合に、撮影された画像上の位置（ＣＰ＿Ｓｕ，ＣＰ＿Ｓν）Ｔに基準点が写るものとする。
【００８９】
そのとき、（ＣＰ＿Ｓｕ，ＣＰ＿Ｓν）Ｔと、音源のグローバル座標系の位置座標（ｇＸ，ｇＹ，ｇＺ）Ｔとの関係は、ＣＰ＿ＳＡＣ＿Ｓを仮想的なカメラｓの内部パラメータとすると、式（１）と式（２）より、式（８）及び式（９）と表すことができる。
【数６】
2014175996.tif 000008
【００９０】
式（９）のＣＰ＿ＳＡＣ＿Ｓは、式（１０）としたものが、式（６）のＭＰ＿ｊＡｍＭ＿ｊである。
【数７】
2014175996.tif 000009
【００９１】
つまり、マイク１０２−ｊは内部パラメータがＭＰ＿ｊＡｍＭ＿ｊであるカメラであるとみなすことができる。カメラであれば、ＰｎＰ問題としてそのカメラパラ
メータを求めることができる。すなわち、グローバル座標系で位置のわかっている基準点として音源を用い、それに対応する（ｘｑ，ｙｑ）が取得でき、前述したように、これらが６組以上収集できれば、ＰｎＰ問題を解くことで、変換行列Ｍ＿ｊＲｇ、Ｍ＿ｊＴを求めることができる。
【００９２】
ところで、図１０において、明らかに、角度θ及び角度δは、式（１１）及び式（１２）の関係にある。ここで、ｆは任意でよいため、ｆ＝１とすると、角度θ及び角度δは式（１３）及び式（１４）の関係にある。
【数８】
2014175996.tif 000010
【００９３】
従って、マイク上で音源からの音響の到来方向（θ，δ）が判っていれば、（ｘｑ，ｙｑ）が判ることになる。すなわち、変換行列Ｍ＿ｊＲｇ、Ｍ＿ｊＴを求めるためには、基準点となる音源のグローバル座標系の位置座標（ｇＸ，ｇＹ，ｇＺ）Ｔとその音源のマイク上での到来方向（θ，δ）の組が６組以上あればよい。
【００９４】
つまり、各マイク１０２−ｊは、音・映像位置較正器２００を音源として、その音響の到来方向を測定する（Ｓ２０３）。そして、各マイク１０２−ｊは、音響の到来方向（θ、δ）とそのときの音源の位置（Ｘ，Ｙ，Ｚ）とを含む音響情報をマイク位置座標・向き情報推定部３２１に与える。マイク位置座標・向き情報推定部３２１は、各マイク１０２−ｊから取得した音響の到来方向（θ、δ）とそのときの音源の位置座標（Ｘ，Ｙ，Ｚ）との組をマイク１０２−ｊ毎にパラメータ保持器１０４に保存する。
【００９５】
次に、マイク位置座標・向き情報推定部３２１は、それぞれのマイク１０２−ｊについて、音響の到来方向と音源の位置座標との組が６個以上あるか否かを判断し、マイク位置座標と向きを推定することができるマイクがあるか否かを判断する（Ｓ２０４）。
【００９６】
そして、音響の到来方向と音源の位置座標との組が６個以上ある場合、マイク位置座標・向き情報推定部３２１は、処理をＳ２０５に移行させ、マイク１０２−ｊの位置座標及び向きを推定する（Ｓ２０５）。そして、マイク位置座標・向き情報推定部３２１は、６個以上の音響の到来方向と音源の位置座標との組で求めた変換行列Ｍ＿ｊＲｇ、Ｍ＿ｊＴをマイク１０２−ｊ毎にパラメータ保持器１０４に保存する。
【００９７】
次に、マイク位置座標・向き情報推定部３２１は、全てのマイク１０２−１〜１０２−ｍについて位置座標及び向きを推定したか否かを判断する（Ｓ２０６）。そして、全てのマイク１０２−１〜１０２−ｍの位置座標及び向きが推定済みであれば、マイク位置座標・向き情報推定部３２１は処理を終了する。
【００９８】
なお、マイク位置座標・向き情報推定部３２１が、全てのマイク１０２−１〜１０２−ｍについて位置座標及び向きの推定ができていない場合には、音・映像位置較正器２００の位置を移動させて（Ｓ２０７）、マイク位置座標・向き情報推定部３２１は、全てのマイク１０２−１〜１０２−ｍの位置座標及び向きを推定するまで、Ｓ２０１〜Ｓ２０６の処理を繰り返し行う。
【００９９】
なお、Ｓ１００で求めたグローバル座標系でのカメラ１０１−ｉの位置座標及び向きについても、マイク１０２−ｊの位置情報及び向きを表す変換行列Ｍ＿ｊＲｇ、Ｍ＿ｊＴと同じ形式（すなわち、変換行列Ｃ＿ｊＲｇ、Ｃ＿ｊＴ）でパラメータ保持器１０４に保存する。
【０１００】
（Ａ−２−５）パラメータ保持器１０４に保存される各種パラメータの説明
図１１は、パラメータ保持器１０４に保存されるカメラ１０１−ｉの各種パラメータを説明する説明図である。
【０１０１】
パラメータ保持器１０４には、全てのカメラ１０１−１〜１０１−ｎの各種パラメータがカメラ１０１−ｉ毎に保存される。なお、図１１では、カメラ１０１−ｉの各種パラメータを保存する要素を示す。
【０１０２】
図１１に示すように、変換行列ＡはＣＰ＿ｉＡＣ＿ｉ、外部パラメータＲ及びＴは、Ｃ＿ｉＲｇ及びＣ＿ｉＴとして保存される。
【０１０３】
また、図１１に示すように、角度範囲はα及びβはＣ＿ｉα及びＣ＿ｉβとして保存される。パン・チルト有無は、「有」若しくは「無」として保存される。また、パン角度及びチルト角度（図１１ではパンチルト角度と表記）ζ及びηはＣ＿ｉζ及びＣ＿ｉηとして保存され、距離範囲ＬはＣ＿ｉＬとして保存される。
【０１０４】
図１２は、パラメータ保持器１０４に保存されるマイク１０２−ｉの各種パラメータを説明する説明図である。
【０１０５】
パラメータ保持器１０４には、全てのマイク１０２−１〜１０２−ｎの各種パラメータがマイク１０２−ｉ毎に保存される。なお、図１２では、マイク１０２−ｉの各種パラメータを保存する要素を示す。
【０１０６】
図１２に示すように、パラメータＲ及びＴは、Ｍ＿ｊＲｇ及びＭ＿ｊＴｇとして保存される。角度範囲はα及びβはＭ＿ｊα及びＭ＿ｊβとして保存される。距離範囲ＬはＭ＿ｊＬとして保存される。
【０１０７】
（Ａ−２−６）撮影範囲、収音範囲の保存方法
次に、カメラ１０１−ｉの撮影範囲や、マイク１０２−ｊの収音範囲について、パラメータ推定器１０３がどのような情報を求めて、パラメータ保持器１０４に保存するかを図１３〜図１５、図１６〜図１８を用いて説明する。
【０１０８】
ここでは、カメラ１０１−ｉの撮影範囲や、マイク１０２−ｊの収音範囲を、情報収集範囲と呼ぶ。
【０１０９】
なお、カメラ１０１−ｉの情報収集範囲は、角度範囲α及びβ、パン角度ζ及びチルト角度η、距離範囲Ｌを含むものである。また、マイク１０２−ｊの情報収集範囲は、角度範囲α及びβ、距離範囲Ｌを含むものとする。
【０１１０】
図１３〜図１５は、カメラ１０１−ｉ及びマイク１０２−ｊの情報収集範囲を説明する説明図である。
【０１１１】
図１３では、情報収集範囲が四角錐形で表している。なお、カメラ１０１−ｉの撮影範囲の場合、図１３のＸｍ−Ｙｍ−Ｚｍ座標の原点にカメラ１０１−ｉが位置しており、カメラ１０１−ｉがＺｍ軸方向を撮影画面の中心として撮影する場合とする。また、マイク１０２−ｊの収音範囲は、Ｘｍ−Ｙｍ−Ｚｍ座標の原点にマイク１０２−ｉが位置しており、マイク１０２−ｊがＺｍ軸方向を正面方向として収音する場合とする
図１３〜図１５において、情報収集範囲は、Ｚｍ軸を中心に角度±α及び角度±βの範囲、かつ、原点からＺｍ軸上の距離Ｌまでの範囲としてモデル化する。Ｚｍ軸は、カメラ１０１−ｉの撮像画面の中心を通る。
【０１１２】
この情報収集範囲は、カメラ１０１−ｉ毎やマイク１０２−ｊ毎に異なっていても良い。カメラパラメータ推定部３１０では、カメラ撮影範囲情報取得部３２１が、すべてのカメラ１０１−ｉの情報収集範囲を取得し、カメラパラメータ保存部３１３によって、カメラ１０１−ｉ毎にパラメータ保持器１０４に保持する。マイクパラメータ推定部３２０では、マイク収音範囲情報取得部３２２がマイク１０２−ｊの情報収集範囲を取得し、マイクパラメータ保存部３２３によって、マイク１０２−ｊ毎にパラメータ保持部１０４に保持する。α、βについては、カメラ１０１−ｉの情報収集範囲をＣ＿ｉα、Ｃ＿ｉβと表記し、マイク１０２−ｊの情報収集範囲をＭ＿ｊα、Ｍ＿ｊβと表記することにする。
【０１１３】
パン・チルトの機能に関する情報をどのような形式で保存するかを図１６〜図１８を用いて説明する。
【０１１４】
Ｙｍ−Ｚｍ平面内でのカメラ１０１−ｉ（若しくはマイク１０２−ｊ）の傾きをパンとし、パン可能な最大角を±ζとする（図１７参照）。
【０１１５】
Ｘｍ−Ｚｍ平面内でのカメラ１０１−ｉ（若しくはマイク１０２−ｊ）の傾きをチルトとし、チルト可能な最大角を±ηとする（図１８参照）。
【０１１６】
パンやチルトが可能なカメラ１０１−ｉおよびマイク１０２−ｊについて、パラメータ推定器１０３が、それが可能であるというフラグと共に、パン角度最大値ζおよびチルト角度の最大値ηを、カメラ１０１−ｉ及びマイク１０２−ｊ毎にパラメータ保持器１０４に保存する。なお、以降の説明ではカメラのみパン・チルト機能を備えるとして説明をするが、マイクにパン・チルト機能を備える場合も同様に扱える。パン角度ζ及びチルト角度ηは、カメラ１０１−ｉのパン可能な角度をＣ＿ｉζ及びＣ＿ｉηと表記する。
【０１１７】
（Ａ−２−７）指定位置の情報を収集可能なカメラとマイクの選択方法
次に、視聴点指示器１０５による指定位置の情報を収集可能なカメラ１０１−ｉ及びマイク１０２−ｊの選択処理の動作を、図面を参照しながら詳細に説明する。
【０１１８】
図１９は、視聴点指示器１０５による指定位置の情報を収集可能なカメラ１０１−ｉ及びマイク１０２−ｊの選択処理の全体的な手順を示すフローチャートである。
【０１１９】
まず、視聴点指示器１０５がカメラ１０１−ｉ及びマイク１０２−ｊの処理を開始すると（Ｓ３００）、視聴点指示器１０５は、視聴点指定取得部４０１よりグローバル座標系における指定座標位置の入力を受け受け、指定座標位置を取得する（Ｓ３０１）。
【０１２０】
視聴点指示器１０５が指定座標位置を取得すると、視聴点指示器１０５は、後述するように、パラメータ保持器１０４に保存される各カメラ１０１−ｉのパラメータを参照して、指定された位置の映像を撮像するカメラ１０１−ｉを選択する（Ｓ４００）。
【０１２１】
次に、視聴点指示器１０５は、後述するように、パラメータ保持器１０４に保存される各マイク１０２−ｉのパラメータを参照して、指定された位置の音響を収音するマイク１０２−ｊを選択する（Ｓ５００）。
【０１２２】
（Ａ−２−８）カメラの選択処理
図２０は、視聴点指示器１０５によるカメラ１０１−ｉの選択処理を説明するフローチャートである。
【０１２３】
視聴点指示器１０５のカメラ選択部４０２は、パラメータ保持器１０４に保存される複数のカメラ１０１−１〜１０１−ｎのうち１台を選択し、その選択したカメラ１０１−ｉに関するパラメータをパラメータ保持器１０４から取得する（Ｓ４０１）。
【０１２４】
カメラ選択部４０２は、グローバル座標系の指定位置座標を、選択したカメラ１０１−ｉのカメラ座標系に変換する（Ｓ４０２）。
【０１２５】
このとき、カメラ選択部４０２は、選択されたカメラ１０１−ｉのパラメータＣ＿ｉＲｇ、Ｃ＿ｉＴを用いて、式（１５）に従って、グローバル座標系を当該カメラ１０１−ｉのカメラ座標系に変換する変換行列Ｃ＿ｉＭｇを求める。そして、カメラ選択部４０２は、式（１６）に従って、指定位置Ｖのグローバル座標系の位置座標（ｇｘｖ，ｇｙｖ，ｇｚｖ）Ｔに基づいて、当該カメラ１０１−ｉのカメラ座標系での対応点（Ｃ＿ｉｘｖ，Ｃ＿ｉｙｖ，Ｃ＿ｉｚｖ）Ｔを求める。
【数９】
2014175996.tif 000011
【０１２６】
次に、カメラ選択部４０２は、カメラ１０１−ｉの撮影範囲に指定した位置座標（当該カメラ１０１−ｉのカメラ座標系の位置座標）が含まれているか否かを判断する。つまり、カメラ選択部４０２は、カメラ１０１−ｉのカメラ座標系での指定位置座標（Ｃ＿ｉｘｖ，Ｃ＿ｉｙｖ，Ｃ＿ｉｚｖ）Ｔがカメラ１０１−ｉで撮影可能範囲にあるか否かを判断する。
【０１２７】
まず、カメラ選択部４０２は、指定位置座標がカメラ１０１−ｉの画角内にあるか否かを判断する（Ｓ４０３）。そして、指定位置座標が画角内にある場合、カメラ選択部４０２は処理をＳ４０５に移行させ、指定位置座標が画角内にない場合、カメラ選択部４０２は処理をＳ４０４に移行させる。
【０１２８】
カメラ選択部４０２は、パラメータ保持器１０４からカメラ１０１−ｉのパラメータを取得し、カメラ１０１−ｉの撮影可能な範囲として、左右角を±Ｃ＿ｉαとし、上下角を±Ｃ＿ｉβとする。また、カメラ１０１−ｉから指定位置Ｖを見たときの角度は左右角をＣ＿ｉδｖ、上下角をＣ＿ｉθｖとする。
【０１２９】
このとき、カメラ選択部４０２は、式（１７）及び式（１８）の条件に従って、カメラ１０１−ｉの画角内に指定した位置座標が含まれるか否かを判断する。
【数１０】
2014175996.tif 000012
【０１３０】
ここで、カメラ１０１−ｉから指定位置Ｖを見たときの左右角Ｃ＿ｉδｖ、上下角Ｃ＿ｉθｖは、式（１９）及び式（２０）の関係がある。従って、カメラ選択部４０２は、式（２１）及び式（２２）の条件が成立するか否かを判断し、式（２１）及び式（２２）の条件が成立する場合、当該カメラ１０１−ｉは撮影可能な画角内にあると判断する。
【数１１】
2014175996.tif 000013
【０１３１】
次に、カメラ選択部４０２は、当該カメラ１０１−ｉがパン・チルト可能なカメラであるか否かを判断する。そして、当該カメラ１０１−ｉがパン・チルト可能である場合、パン・チルトした場合に指定位置Ｖを撮影可能か否か判断する（Ｓ４０４）。そして、撮影可能な場合、カメラ選択部４０２は処理をＳ４０５に移行させ、撮影不可能な場合、カメラ選択部４０２は処理をＳ４０７に移行させる。
【０１３２】
ここで、撮影可能とは、当該カメラ１０１−ｉがパン・チルトをすることで指定された位置Ｖを画面の中央部分に映すことができる場合とする。図１６〜図１８に示すように、カメラ１０１−ｉのパン・チルトの角度範囲を示す。パンは水平方向に±ζ、チルトは垂直方向に±ηの範囲で撮影可能とする。
【０１３３】
視聴指示器１０５は、カメラ１０１−ｉのパン角度Ｃ＿ｉζ、チルト角度Ｃ＿ｉηをパラメータ保持器１０４から取得し、パン・チルトした位置Ｖが撮影可能か否かの条件である式（２３）及び式（２４）を満たすか否かを判断する。
【数１２】
2014175996.tif 000014
【０１３４】
ここで、式（１９）、式（２０）、式（２３）、式（２４）から、カメラ選択部４０２は、式（２５）及び式（２６）の条件を満たすか否かを判断して、式（２５）及び式（２６）の条件を満たす場合、撮影可能であると判断する。
【数１３】
2014175996.tif 000015
【０１３５】
Ｓ４０５では、カメラ選択部４０２が、指定された位置Ｖがカメラ１０１−ｉで撮影可能な距離にあるか否かを判断する（Ｓ４０５）。
【０１３６】
指定された位置Ｖのカメラ１０１−ｉからの距離は、｛（Ｃ＿ｉｘｖ）２＋（Ｃ＿ｉｙｖ）２＋（Ｃ＿ｉｚｖ）２｝１／２で表され、カメラ１０１−ｉの撮影可能範囲は、カメラ１０１−ｉの原点からＣ＿ｉＬである。従って、撮影可能か否かの条件は式（２７）となる。
【数１４】
2014175996.tif 000016
【０１３７】
カメラ選択部４０２は、式（２７）の条件を満たすか否かを判断し、この条件を満たす場合に、当該カメラ１０１−ｉは撮影可能なものであると判断し、カメラ選択部４０２は、当該カメラ１０１−ｉを撮影可能なもののリストに追加する（Ｓ４０６）。
【０１３８】
一方、この条件を満たさない場合に、カメラ選択部４０２は、当該カメラ１０１−ｉは撮影可能なものでないと判断して、処理をＳ４０７に移行させる。
【０１３９】
カメラ選択部４０２は、全てのカメラ１０１−ｉについて撮影可能か否かの判断をしたか否かを確認し、全てのカメラ１０１−ｉについての判断を行っていない場合には、処理をＳ４０１に移行し、次のカメラ１０１−ｉを選択して処理を繰り返し行う（Ｓ４０７）。
【０１４０】
このようにして、指定の位置Ｖの映像を撮影可能なカメラ１０１−ｉは、リストに登録されるため、そのリストから任意に選択又はどのカメラ１０１−ｉを選択するかの指示をさせることができる。
【０１４１】
（Ａ−２−９）マイクの選択処理
図２１は、視聴点指示器１０５のマイク選択部４０３によるマイク１０２−ｉの選択処理を説明するフローチャートである。
【０１４２】
マイク選択部４０３は、パラメータ保持器１０４に保存される複数のマイク１０２−１〜１０２−ｍのうち１台を選択し、その選択したマイク１０２−ｊに関するパラメータをパラメータ保持器１０４から取得する（Ｓ５０１）。
【０１４３】
マイク選択部４０３は、グローバル座標系で指定された位置座標を、当該マイク１０２−ｊのマイク座標系に変換する（Ｓ５０２）。
【０１４４】
ここで、マイク選択部４０３による指定位置座標のグローバル座標系からマイク座標系への変換方法を説明する。
【０１４５】
選択されたマイク１０２−ｊのパラメータＭ＿ｊＲｇ、Ｍ＿ｊＴｇが、パラメータ保持器１０４に保存されているため、視聴点指示器１０５は、当該マイク１０２−ｊのパラメータを読み出す。
【０１４６】
このとき、視聴点指示器１０５は、選択されたマイク１０２−ｊのパラメータＭ＿ｊＲｇ、Ｍ＿ｊＴｇを用いて、式（２８）に従って、グローバル座標系を当該マイク１０２−ｊのマイク座標系に変換する変換行列Ｍ＿ｉＭｇを求める。
【０１４７】
そして、マイク選択部４０３は、式（２９）に従って、指定位置Ｖのグローバル座標系の位置座標（ｇｘｖ，ｇｙｖ，ｇｚｖ）Ｔに基づいて、当該マイク１０２−ｊのマイク座標系での対応点（Ｍ＿ｊｘｖ，Ｍ＿ｊｙｖ，Ｍ＿ｊｚｖ）Ｔを求める。
【数１５】
2014175996.tif 000017
【０１４８】
次に、マイク選択部４０３は、指定された位置Ｖの音源がマイク１０２−ｊの収音可能な角度の範囲にあるか否かを判断する（Ｓ５０３）。そして、位置座標Ｖの音源がマイク１０２−ｊが収音可能は角度の範囲にある場合、マイク選択部４０３は処理をＳ５０４に移行させ、そうでない場合、マイク選択部４０３は処理をＳ５０６に移行させる。
【０１４９】
ここで、マイク１０２−ｊの収音可能な範囲の左右角をＭ＿ｊα、上下角をＭ＿ｊβとすると、指定位置のマイク１０２−ｊから見たときの角度について左右角をＭ＿ｊδＶ、上下角をＭ＿ｊθＶとする。指定位置座標Ｖの音源がマイク１０２−ｊの収音可能な角度内にあるか否かは、マイク１０２−ｊの収音可能範囲内に指定した座標Ｖが含まれているかどうかを判断すればよい。
【０１５０】
つまり、マイク１０２−ｊの収音可能な範囲は、左右方向について式（３０）の関係にあり、上下方向について式（３１）の関係にある。また、指定位置座標Ｖの音源の位置座標は、式（３２）及び式(３３)の関係にあるため、マイク１０２−ｊの収音可能な左右方向の関係式（３０）は式（３４）となり、上下方向の関係式（３１）は式（３５）となる。
【０１５１】
従って、マイク選択部４０３は、式（３４）及び式（３５）の条件が成立するか否かを判断し、式（３４）及び式（３５）の条件が成立する場合、当該マイク１０２−ｊは収音可能な画角内にあると判断する。
【数１６】
2014175996.tif 000018
【０１５２】
次に、マイク選択部４０３は、指定された位置座標Ｖがマイク１０２−ｊからの収音可能な距離にあるか否かを判断する（Ｓ５０４）。
【０１５３】
指定された位置座標Ｖのマイク１０２−ｊからの距離は、｛（Ｍ＿ｊｘｖ）２＋（Ｍ＿ｊｙｖ）２＋（Ｍ＿ｊｚｖ）２｝１／２で表され、マイク１０２−ｊの収音可能範囲は、マイク１０２−ｊの原点からＭ＿ｊＬである。従って、収音可能か否かの条件は式（３６）となる。
【数１７】
2014175996.tif 000019
【０１５４】
マイク選択部４０３は、式（３６）の条件を満たすか否かを判断し、この条件を満たす場合に、当該マイク１０２−ｊは収音可能なものとしてリストに追加する（Ｓ５０４）。
【０１５５】
一方、この条件を満たさない場合に、マイク選択部４０３は、当該マイク１０２−ｊは撮影可能なものでないと判断して、処理をＳ５０６に移行させる。
【０１５６】
マイク選択部４０３は、全てのマイク１０２−ｊについて撮影可能か否かの判断をしたか否かを確認し、全てのマイク１０２−ｊについての判断を行っていない場合には、処理をＳ５０１に移行し、次のマイク１０２−ｊを選択して処理を繰り返し行う（Ｓ５０６）。
【０１５７】
このようにして、指定の位置Ｖの映像を撮影可能なマイク１０２−ｊは、リストに登録されるため、そのリストから任意に選択又は指定を受けることができる。
【０１５８】
（Ａ−３）実施形態の効果
以上のように、実施形態によれば、カメラやマイクのグローバル座標系の位置座標や向きを、従来よりも簡単かつ間違いなく推定することができる。
【０１５９】
（Ｂ）他の実施形態
上述した実施形態においても本発明の種々の変形実施形態を説明したが、本発明は、以下の変形実施形態にも広く適用することができる。
【０１６０】
（Ｂ−１）上述した実施形態では、図５のＳ１００でカメラ１０１−ｉのグローバル座標系での位置座標及び向きを推定する場合を例示した。しかし、カメラ１０１−ｉの取り付け位置や向きが予め定まっている場合には、カメラ１０１−ｉのグローバル座標系での位置座標及び向きの推定処理を省略するようにしても良い。この場合、予めカメラ１０１−ｉのグローバル座標系での位置座標及び向きが判っているから、各カメラ１０１−ｉのグローバル座標系での位置座標及び向きをパラメータ保持器１０４に保存しておくことで、上述した実施形態の動作と同様の効果を得ることができる。
【０１６１】
（Ｂ−２）上述した実施形態では、カメラやマイクが複数台ある場合を例示したが、カメラやマイクはそれぞれ１台の場合であっても適用できる。本発明は、相対的な位置関係に基づいて、カメラやマイクのグローバル座標系での位置座標や向きを推定するものであるが、カメラやマイクが１台の場合、予め位置や向きが明らかなものを基準とすることで実現することができる。
【０１６２】
（Ｂ−３）音・映像位置較正器２００が提示する映像情報は、あらかじめ決められた映像や、光の明滅パターンなどカメラから見てその場所が明らかに識別できるものであればなんでもよい。また、音・映像位置較正器２００が発する音響情報は、あらかじめ決められた周波数の音や、決められた音階パターンの再生など、などマイクから見て他の音と明らかに識別できるものであればなんでもよい。
【符号の説明】
【０１６３】
１００…キャリブレーションシステム、１０１−１〜１０１−ｎ…カメラ、１０２−１〜１０２−ｍ…マイク、１０３…パラメータ推定器、１０４…パラメータ保持器、１０５…視聴点指示器、２００…音・映像位置較正器。
【図１】
2014175996.tif 000020
【図２】
2014175996.tif 000021
【図３】
2014175996.tif 000022
【図４】
2014175996.tif 000023
【図５】
2014175996.tif 000024
【図６】
2014175996.tif 000025
【図７】
2014175996.tif 000026
【図８】
2014175996.tif 000027
【図９】
2014175996.tif 000028
【図１０】
2014175996.tif 000029
【図１１】
2014175996.tif 000030
【図１２】
2014175996.tif 000031
【図１３】
2014175996.tif 000032
【図１４】
2014175996.tif 000033
【図１５】
2014175996.tif 000034
【図１６】
2014175996.tif 000035
【図１７】
2014175996.tif 000036
【図１８】
2014175996.tif 000037
【図１９】
2014175996.tif 000038
【図２０】
2014175996.tif 000039
【図２１】
2014175996.tif 000040
【手続補正書】
【提出日】平成26年7月25日(2014.7.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラによって撮像された、空間配置された位置較正器を含む映像情報を用いて、グローバル座標系における１又は複数のマイクロホンの位置情報及び向きに関するパラメータを推定するパラメータ推定装置であって、
グローバル座標系における複数のカメラの位置情報及び向きと、上記複数のカメラによって撮像された上記位置較正器を含む映像情報とに基づいて、グローバル座標系における上記位置較正器の位置情報を測定する基準点測定手段と、
グローバル座標系において基準点とする上記位置較正器の位置情報と、音源とする上記位置較正器から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段と、
上記グローバル座標系での音源としての上記位置較正器の位置情報と、上記各マイクロホンにおける上記到来方向情報とに基づいて、上記各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するパラメータ推定手段と
を備えること特徴とするパラメータ推定装置。
【請求項２】
上記パラメータ推定手段が、
上記グローバル座標系の音源の位置情報と、上記各マイクロホンにおける上記到来方向情報とに基づいて、各マイクロホンのマイク座標系での音源の位置情報を任意の投影面に投影した対応点の位置情報を求め、複数のマイクロホンにおける上記対応点の位置情報を用いて、上記各マイクロホンの位置情報及び向きに関するパラメータを推定するものである
ことを特徴とする請求項１に記載のパラメータ推定装置。
【請求項３】
上記１又は複数のマイクのそれぞれの情報収集範囲を求める情報収集範囲取得手段を備えることを特徴とする請求項１又は２に記載のパラメータ推定装置。
【請求項４】
複数のカメラによって撮像された、空間配置された位置較正器を含む映像情報を用いて、グローバル座標系における１又は複数のマイクロホンの位置情報及び向きに関するパラメータを推定するパラメータ推定プログラムであって、
コンピュータを、
グローバル座標系における複数のカメラの位置情報及び向きと、上記複数のカメラによって撮像された上記位置較正器を含む映像情報とに基づいて、グローバル座標系における上記位置較正器の位置情報を測定する基準点測定手段、
グローバル座標系において基準点とする上記位置較正器の位置情報と、音源とする上記位置較正器から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段、
上記グローバル座標系での音源としての上記位置較正器の位置情報と、上記各マイクロホンにおける上記到来方向情報とに基づいて、上記各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するパラメータ推定手段
として機能させることを特徴とするパラメータ推定プログラム。
【請求項５】
請求項１〜３のいずれかに記載のパラメータ推定装置としてのマイクパラメータ推定手段と、
少なくとも、上記マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置情報及び向きに関するパラメータを保持するマイクパラメータ保持手段と、
グローバル座標系で指定された位置情報を、上記各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段と
を備えることを特徴とする機器決定システム。
【請求項６】
１又は複数のカメラに関するカメラパラメータを上記カメラ毎に保持するカメラパラメータ保持手段と、
グローバル座標系で指定された位置情報を、上記各カメラのカメラ座標系における位置情報に変換して、指定された位置の情報を収集するカメラを選択するカメラ選択手段と
を備えることを特徴とする請求項５に記載の機器決定システム。
【請求項７】
上記マイクパラメータ保持手段が、１又は複数のマイクロホンの情報収集範囲を保持するものであり、
上記マイクロホン選択手段が、上記各マイクロホンの情報収集範囲とする角度内に上記マイク座標系における指定位置が含まれており、上記各マイクロホンの情報収集範囲とする収音可能距離内に上記マイク座標系における指定位置があるか否かを判断して、情報収集可能なマイクロホンを選択するものである
ことを特徴とする請求項５又は６に記載の機器決定システム。
【請求項８】
上記カメラパラメータ保持手段が、１又は複数のカメラの情報収集範囲を保持するものであり、
上記カメラ選択手段が、上記各カメラの情報収集範囲とする画角内に、上記カメラ座標系における指定位置が含まれており、上記各カメラの情報収集範囲とする撮影可能距離内に上記カメラ座標系における指定位置があるか否かを判断して、情報収集可能なカメラを選択するものである
ことを特徴とする請求項５〜７のいずれかに記載の機器決定システム。
【請求項９】
コンピュータを、
請求項４に記載のパラメータ推定プログラムとして機能させるマイクパラメータ推定手段、
少なくとも、上記マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置情報及び向きに関するパラメータを保持するマイクパラメータ保持手段、
グローバル座標系で指定された位置情報を、上記各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段
として機能させることを特徴とする機器決定プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、パラメータ推定装置、パラメータ推定プログラム、機器決定システム及び機器決定プログラムに関し、例えば、空間的に配置された撮像機器や収音機器のパラメータをキャリブレーションするシステム及び方法に適用し得るものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
かかる課題を解決するために、第１の本発明は、複数のカメラによって撮像された、空間配置された位置較正器を含む映像情報を用いて、グローバル座標系における１又は複数のマイクロホンの位置情報及び向きに関するパラメータを推定するパラメータ推定装置であって、（１）グローバル座標系における複数のカメラの位置情報及び向きと、複数のカメラによって撮像された位置較正器を含む映像情報とに基づいて、グローバル座標系における位置較正器の位置情報を測定する基準点測定手段と、（２）グローバル座標系において基準点とする位置較正器の位置情報と、音源とする位置較正器から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段と、（３）グローバル座標系での音源としての位置較正器の位置情報と、各マイクロホンにおける到来方向情報とに基づいて、各マイクロホンの相対的な位置情報及び向きに関するパラメータを推定するパラメータ推定手段とを備えることを特徴とするパラメータ推定装置である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
第２の本発明は、複数のカメラによって撮像された、空間配置された位置較正器を含む映像情報を用いて、グローバル座標系における１又は複数のマイクロホンの位置情報及び向きに関するパラメータを推定するパラメータ推定プログラムであって、コンピュータを、（１）グローバル座標系における複数のカメラの位置情報及び向きと、複数のカメラによって撮像された位置較正器を含む映像情報とに基づいて、グローバル座標系における位置較正器の位置情報を測定する基準点測定手段、（２）グローバル座標系において基準点とする位置較正器の位置情報と、音源とする位置較正器から発せられた音響の１又は複数のマイクロホンのそれぞれにおける相対的な到来方向を示す到来方向情報とを取得する情報取得手段、（３）グローバル座標系での音源としての位置較正器の位置情報と、各マイクロホンにおける到来方向情報とに基づいて、各マイクロホンのグローバル座標系での位置情報及び向きに関するパラメータを推定するパラメータ推定手段として機能させることを特徴とするパラメータ推定プログラムである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
第３の本発明は、（１）第１の本発明に係るパラメータ推定装置としてのマイクパラメータ推定手段と、（２）少なくとも、マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置情報及び向きに関するパラメータを保持するマイクパラメータ保持手段と、（３）グローバル座標系で指定された位置情報を、各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段とを備えることを特徴とする機器決定システムである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
第４の本発明は、コンピュータを、（１）第２の本発明に係るパラメータ推定プログラムとして機能させるマイクパラメータ推定手段、（２）少なくとも、マイクパラメータ推定手段により推定された１又は複数のマイクロホンの位置及び向きに関するパラメータを保持するマイクパラメータ保持手段、（３）グローバル座標系で指定された位置情報を、各マイクロホンのマイク座標系における位置情報に変換して、指定された位置の情報を収集するマイクロホンを選択するマイクロホン選択手段として機能させることを特徴とする機器決定プログラムである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
なお、ここでは、カメラ１０１−ｉの内部パラメータＣＰ＿ｉＡＣ＿ｉは、予め分かっているものとし、例えばパラメータ保持器１０４に保存されているものとする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
まず、マイク位置座標・向き情報推定部３２１では、空間において音・映像位置較正器２００を適切な位置に固定した状態で（Ｓ２０１）、音・映像位置較正器２００のグローバル座標系での位置座標を測定する（Ｓ２０２）。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
図８において、２個のカメラをカメラＣＸ６０１、カメラＣＹ６０２とする。図８において、カメラＣＸ６０１、カメラＣＹ６０２はグローバル座標系での位置座標及び向きが分かっている。そのため、カメラＣＸ６０１及びカメラＣＹ６０２の撮像画像に写っている物体（音・映像位置較正器２００）が、それぞれのカメラＣＸ６０１及びカメラＣＹ６０２から見てどの方向にあるかがわかる。これは、グローバル座標系でカメラＣＸ６０１、カメラＣＹ６０２と、その物体（音・映像位置較正器２００）とを通る直線が決定できるということである。光線交差法は、それぞれのカメラＣＸ６０１、カメラＣＹ６０２から、その写っている物体（音・映像位置較正器２００）に伸ばした直線が交差する点に物体（音・映像位置較正器２００）があると判断するものである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
マイク１０２−ｊは音源の方向が分かっている。つまり、これは、図９に示すように、平面状のマイク１０２−ｊを考えたときに、マイク１０２−ｊの平面の水平方向にＸｍ軸、Ｙｍ軸をとり、マイク１０２−ｊの平面の垂直方向にＺｍ軸をとる。このとき、Ｚｍ軸と原点Ｏとベクトル（Ｍ＿ｊｘ，０，Ｍ＿ｊｚ）のなす角角度θと、Ｚｍ軸と原点Ｏとベクトル（０，Ｍ＿ｊｙ，Ｍ＿ｊｚ）のなす角度δが判る。従って、角度θは式（３）の関係にあり、角度δは式（４）の関係にある。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
図１２に示すように、パラメータＲ及びＴは、Ｍ＿ｊＲｇ及びＭ＿ｊＴｇとして保存される。角度範囲α及びβはＭ＿ｊα及びＭ＿ｊβとして保存される。距離範囲ＬはＭ＿ｊＬとして保存される。