(57)【要約】      （修正有）【課題】マイクアレイ装置を基準として、カメラ装置が撮像する所定範囲の映像から指定された位置に対応する場所に向けて音声の収音指向性を形成し、音声データを高精度に収音する指向性制御システム及び指向性制御方法を提供する。【解決手段】指向性制御システム１０では、信号処理部３３は、ディスプレイ装置３６の画面に表示された映像データの中からユーザの任意の位置の指定に応じて、マイクアレイ装置２の設置位置から画面内にて指定された映像データの位置に対応する音声位置に向かう収音方向（θＭＡｈ，θＭＡｖ）を導出する。信号処理部３３は、導出された収音方向（θＭＡｈ，θＭＡｖ）に音声データの収音指向性を形成する。【選択図】図１
2018057023.tif 000002
【特許請求の範囲】
【請求項１】
映像を撮像する撮像部と、
前記撮像部と別体で設けられ音声を収音する収音部と、
前記撮像部により撮像された映像データを表示する表示部と、
表示された前記映像データの任意の位置の指定に応じて、前記収音部から、指定された前記映像データの位置に対応する音声位置に向かう収音方向を算出する収音方向算出部と、を備え、
前記収音方向算出部は、
前記撮像部の基準面からの第１の高さと、前記収音部の前記基準面からの第２の高さと、前記音声位置とは異なる位置に配置される前記収音方向の算出基準点の前記基準面からの高さと、を少なくとも含む収音方向算出パラメータと、前記撮像部から前記映像データの指定位置に対応する音声位置に向かう方向と、前記映像データの指定位置に対応する音声位置の前記基準面からの第４の高さと、を用いて、前記収音部から、前記映像データの指定位置に対応する音声位置に向かう収音方向を算出する、
指向性制御システム。
【請求項２】
前記収音方向算出部により算出された前記収音方向に、前記収音部により収音された音声の収音指向性を形成する出力制御部、を更に備える、
請求項１に記載の指向性制御システム。
【請求項３】
前記算出基準点は、前記撮像部の光軸上に配置され、
前記収音方向算出パラメータは、前記撮像部と前記収音部のとの間の水平成分の距離と、前記撮像部から前記算出基準点までの距離及び俯角と、前記収音部から前記算出基準点までの距離及び俯角と、をさらに含む、
請求項１に記載の指向性制御システム。
【請求項４】
前記算出基準点は、前記撮像部の光軸上に配置され、
前記収音方向算出パラメータは、前記撮像部と前記収音部のとの間の水平成分の距離と、前記撮像部から前記算出基準点までの距離と、前記収音部から前記算出基準点までの水平角及び垂直角と、をさらに含む、
請求項１に記載の指向性制御システム。
【請求項５】
前記収音方向算出部は、予め設定された複数の既定値の中から選択された値を前記第４の高さとする、
請求項１〜４のうちいずれか一項に記載の指向性制御システム。
【請求項６】
前記収音方向算出部は、前記音声位置に対応する前記映像データの第１指定位置と、前記音声位置の鉛直下方向の前記基準面上における位置に対応する前記映像データの第２指定位置と、が前記映像データ上において指定されることにより、前記第４の高さを算出する、
請求項１〜４のうちいずれか一項に記載の指向性制御システム。
【請求項７】
映像を撮像する撮像部と前記撮像部と別体で設けられ音声を収音する収音部とを含む指向性制御システムにおける指向性制御方法であって、
前記撮像部により撮像された映像データを画面に表示するステップと、
前記画面に表示された前記映像データの任意の位置の指定を受け付けるステップと、
前記撮像部の基準面からの第１の高さと、前記収音部の前記基準面からの第２の高さと、前記映像データの指定位置に対応する音声位置とは異なる位置に配置される前記収音部から前記音声位置に向かう収音方向の算出基準点の前記基準面からの高さと、を少なくとも含む収音方向算出パラメータの入力を受け付けるステップと、
前記音声位置の前記基準面からの第４の高さを設定するステップと、
前記収音方向算出パラメータと、前記撮像部から前記映像データの指定位置に対応する音声位置に向かう方向と、前記第４の高さとを用いて、前記収音部から、前記映像データの指定位置に対応する音声位置に向かう方向を算出するステップと、を備える、
指向性制御方法。
【請求項８】
算出された前記収音方向に、前記収音部により収音された音声の収音指向性を形成するステップ、を更に有する、
請求項７に記載の指向性制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データの収音指向性を制御する指向性制御システム及び指向性制御方法に関する。
【背景技術】
【０００２】
従来、工場、店舗（例えば小売店、銀行）或いは公共の場（例えば図書館）の所定位置（例えば天井）に設置される監視システムでは、ネットワークを介して複数のカメラ（例えばパンチルトカメラ又は全方位カメラ）を接続することで、監視対象の所定範囲の映像データ（静止画像及び動画像を含む。以下同様）の広画角化が図られている。
【０００３】
また、映像だけの監視では得られる情報量がどうしても限界があるため、カメラだけでなくマイクアレイも配置することで、カメラが撮像している方向の音声データを得る監視システムの要請が高い。
【０００４】
ここで、カメラとマイクアレイとを用いてカメラが撮像する方向の音声データを得る先行技術として、例えば特許文献１に示す制御システムが知られている。特許文献１に示す制御システムは、カメラと、マイクアレイと、カメラ及びマイクアレイの動作を制御する会議端末とを含む。
【０００５】
特許文献１に示す制御システムは、例えばＴＶ会議システムが利用可能な会議室に設置され、カメラとカメラが撮像する被写体との間の距離と、カメラのパン方向と、カメラとマイクアレイとの間の距離と、カメラからマイクアレイに向かう方向とを基に、マイクアレイの収音範囲を変更する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】日本国特開２０１２−１８６５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、カメラとマイクアレイと被写体（例えば発話者）とが同一平面上に存在することが想定されている。
【０００８】
しかし、上述した監視システムでは、カメラ、マイクアレイ、被写体（例えば小売店の店員）は、同一平面上、即ち２次元の座標上に存在することは少なく、立体的な３次元の座標上に存在することが多い。
【０００９】
このため、マイクアレイの収音範囲をカメラのパン方向、即ち水平方向の角度だけを用いる特許文献１の制御システムを上述した監視システムに適用すると、マイクアレイは、カメラが撮像している監視対象の映像に対する特定方向の音声を高精度に収音することが困難になる。
【００１０】
また、上述した監視システムでは、カメラとマイクアレイとが一体的に組み込まれて同軸上に配置されている場合、カメラの光軸とマイクアレイの物理的な中心軸とが共通する。これにより、カメラが撮像している映像中の被写体の会話をマイクアレイが収音する場合、マイクアレイが収音する方向を示す座標（水平角，垂直角）は、カメラが撮像している方向を示す座標（水平角，垂直角）をそのまま用いることができる。
【００１１】
ところが、カメラとマイクアレイとが別体として異なる位置に配置されている場合、カメラの光軸とマイクアレイの物理的な中心軸とが異なる。このため、カメラが撮像している映像中の被写体の会話をマイクアレイが収音する場合、マイクアレイが収音する方向を示す座標（水平角，垂直角）は、カメラが撮像している方向を示す座標（水平角，垂直角）をそのまま用いることができないという課題がある。
【００１２】
本発明は、上述した従来の課題を解決するために、マイクアレイ装置を基準として、カメラ装置が撮像する所定範囲の映像から指定された位置に対応する場所又は方向に向けて音声の収音指向性を形成し、該当方向の音声データを高精度に収音する指向性制御システム及び指向性制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、映像を撮像する撮像部と、前記撮像部と別体で設けられ音声を収音する収音部と、前記撮像部により撮像された映像データを表示する表示部と、表示された前記映像データの任意の位置の指定に応じて、前記収音部から、指定された前記映像データの位置に対応する音声位置に向かう収音方向を算出する収音方向算出部と、を備え、前記収音方向算出部は、前記撮像部の基準面からの第１の高さと、前記収音部の前記基準面からの第２の高さと、前記音声位置とは異なる位置に配置される前記収音方向の算出基準点の前記基準面からの高さと、を少なくとも含む収音方向算出パラメータと、前記撮像部から前記映像データの指定位置に対応する音声位置に向かう方向と、前記映像データの指定位置に対応する音声位置の前記基準面からの第４の高さと、を用いて、前記収音部から、前記映像データの指定位置に対応する音声位置に向かう収音方向を算出する、指向性制御システムである。
【００１４】
また、本発明は、映像を撮像する撮像部と前記撮像部と別体で設けられ音声を収音する収音部とを含む指向性制御システムにおける指向性制御方法であって、前記撮像部により撮像された映像データを画面に表示するステップと、前記画面に表示された前記映像データの任意の位置の指定を受け付けるステップと、前記撮像部の基準面からの第１の高さと、前記収音部の前記基準面からの第２の高さと、前記音声位置とは異なる位置に配置される前記収音方向の算出基準点の前記基準面からの高さと、を少なくとも含む収音方向算出パラメータの入力を受け付けるステップと、前記映像データの指定位置に対応する音声位置の前記基準面からの第４の高さを設定するステップと、前記収音方向算出パラメータと、前記撮像部から前記映像データの指定位置に対応する音声位置に向かう方向と、前記第４の高さとを用いて、前記収音部から、前記映像データの指定位置に対応する音声位置に向かう方向を算出するステップと、を備える、指向性制御方法である。
【発明の効果】
【００１５】
本発明によれば、マイクアレイ装置を基準として、カメラ装置が撮像する所定範囲の映像から指定された位置に対応する場所又は方向に向けて音声の収音指向性を形成し、該当方向の音声データを高精度に収音できる。
【００１６】
本発明によれば、カメラ装置とマイクアレイ装置とを一体的に用いる場合に、カメラ装置の撮像方向を示す座標の水平角とマイクアレイ装置の収音方向を示す座標の水平角との各基準方向を一致させることができる。
本発明によれば、カメラ装置の撮像方向座標とマイクアレイ装置の収音方向座標との各水平角における０°方向と両者を結ぶ互いの基準方向との間の角度を示す水平偏差角を算出し、マイクアレイ装置に、カメラ装置の撮像方向に存在している被写体の会話音声を適正に収音させることができる。
【００１７】
本発明によれば、収音空間内に存在する対象音源位置の基準面からの高さを判定し、対象音源位置の基準面からの高さを基に、マイクアレイ装置から対象音源位置に向かう収音指向方向に音声の収音指向性を形成することができる。
【図面の簡単な説明】
【００１８】
【図１】（Ａ）、（Ｂ）本実施形態の指向性制御システムのシステム構成を示すブロック図
【図２】（Ａ）〜（Ｅ）マイクアレイ装置の外観図
【図３】マイクアレイ装置が音声の収音方向として所定方向θに収音指向性を形成する内容を説明する原理図
【図４】本実施形態の指向性制御システムの動作概要を示す図、（Ａ）１つのカメラ装置が画角の範囲内に映る被写体を撮像する様子と、マイクアレイ装置が収音方向に存在する被写体の人物の会話と収音方向に存在しないスピーカ装置が出力する音楽とを収音する様子とを示す図、（Ｂ）マイクアレイ装置から、ディスプレイ装置に表示された映像の中からユーザの指が指定した位置Ａ’に対応する収音範囲中心位置Ａに向かう方向を収音方向として収音された音声データがスピーカ装置から出力される様子を示す図
【図５】本実施形態の指向性制御システムの初期設定（キャリブレーション）の動作手順を説明するフローチャート
【図６】本実施形態の指向性制御システムの指向性制御装置がマイクアレイ装置の収音方向を算出する動作手順を説明するフローチャート
【図７】第１の算出方法におけるマイクアレイ装置の収音方向を算出するための基準点Ｏと指定された位置Ａ’とのディスプレイ装置の画面上における位置関係を示す説明図
【図８】第１の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図９】第１の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＱ−Ｑ’線における垂直方向断面図
【図１０】第１の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＲ−Ｒ’線における垂直方向断面図
【図１１】第２の算出方法におけるマイクアレイ装置の収音方向を算出するための基準点Ｏと指定された位置Ａ’とのディスプレイ装置の画面上における位置関係を示す説明図
【図１２】第２の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、マーカ位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図１３】第２の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、マーカ位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＲ−Ｒ’線における垂直方向断面図
【図１４】第３の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図１５】第３の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＱ−Ｑ’線における垂直方向断面図
【図１６】第３の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＲ−Ｒ’線における垂直方向断面図
【図１７】第４の算出方法のマイクアレイ装置とカメラ装置とが専用冶具を用いて連結して設置された場合のマイクアレイ装置とカメラ装置と収音範囲中心位置Ａとの位置関係を示す説明図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図１８】第４の算出方法のマイクアレイ装置とカメラ装置とが専用冶具を用いて連結して設置された場合のマイクアレイ装置とカメラ装置と収音範囲中心位置Ａとの位置関係を示す説明図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＱ−Ｑ’線における垂直方向断面図
【図１９】（Ａ）、（Ｂ）マイクアレイ装置とカメラ装置とが設置された天井が水平面に対してαＭｖの方向に傾いている場合の収音方向の垂直角の説明図、（Ｃ）マイクアレイ装置の収音方向θＭＡｖの説明図
【図２０】（Ａ）第２の実施形態の収音システムにおけるキャリブレーション方法を表す模式図、（Ｂ）全方位カメラ装置を鉛直方向の下側から見た平面図、（Ｃ）全方位マイクアレイ装置を鉛直方向の下側から見た平面図
【図２１】（Ａ）第３の実施形態の収音システムにおけるキャリブレーション方法を表す模式図、（Ｂ）全方位カメラ装置を鉛直方向の下側から見た平面図、（Ｃ）全方位マイクアレイ装置を鉛直方向の下側から見た平面図
【図２２】第４の実施形態の収音システムにおけるキャリブレーション方法を表す模式図
【図２３】（Ａ）取付部材に全方位カメラ装置と全方位マイクアレイ装置とが取り付けられた状態を示す平面図、（Ｂ）図２３（Ａ）のＥ−Ｅ断面図
【図２４】（Ａ）固定ピンが係合孔に係合する様子を表す側面図、（Ｂ）係合孔に挿通された固定ピンが移動する様子を表す平面図及び側面図、（Ｃ）固定ピンが係合孔において係止された様子を表す平面図及び側面図
【図２５】（Ａ）第５の実施形態のキャリブレーション方法において冶具を全方位マイクアレイ装置に取り付ける様子を示す側面図、（Ｂ）冶具の全方位マイクアレイ装置への取り付けが完了した様子を示す側面図、（Ｃ）冶具の全方位マイクアレイ装置への取り付けが完了した収音システムの外観斜視図
【図２６】全方位カメラ装置の撮像画像に冶具が映った様子を示す図
【図２７】（Ａ）キャリブレーション用全方位カメラ装置と全方位マイクアレイ装置とが一体的に取り付けられる場合の第６の実施形態の収音システムのシステム概要図、（Ｂ）全方位マイクアレイ装置の収音方向の水平角の基準方向とキャリブレーション用全方位カメラ装置の撮像方向の水平角の基準方向とが一致するように全方位マイクアレイ装置が取り付けられる場合の第６の実施形態の収音システムのシステム概要図
【図２８】（Ａ）図２７（Ａ）に示す収音システムのシステム構成の一例を示すブロック図、（Ｂ）図２７（Ｂ）に示す収音システムのシステム構成の一例を示すブロック図
【図２９】全方位マイクアレイ装置から、ディスプレイ装置に表示された画像の中からユーザの指が指定した指定位置Ａ’に対応する音声収音位置Ａに向かう方向を収音方向として収音された音声データがスピーカ装置から出力される様子を示す図
【図３０】（Ａ）第６の実施形態の収音システムにおける第１水平偏差角εＣｈ、第２水平偏差角εＫｈの算出及び収音指向性の形成に関する動作手順を説明するフローチャート、（Ｂ）図３０（Ａ）に示すステップＳＴ２０のキャリブレーションの動作手順を詳細に説明するフローチャート
【図３１】第６の実施形態における全方位カメラ装置、キャリブレーション用全方位カメラ装置、及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）図３１（Ａ）中の上側から鉛直下方向を見た場合の平面図、（Ｃ）図３１（Ｂ）のＰ−Ｐ’線における垂直方向断面図
【図３２】第６の実施形態における全方位カメラ装置、キャリブレーション用全方位カメラ装置、及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）図３２（Ａ）中の上側から鉛直下方向を見た場合の平面図、（Ｃ）図３１（Ｂ）のＱ−Ｑ’線における垂直方向断面図
【図３３】第７の実施形態の収音システムのシステム構成を示すブロック図
【図３４】（Ａ）収音システムが設置された収音空間Ｋ内において、カメラ装置が対象物を撮像する様子と、全方位マイクアレイ装置が収音指向方向に存在する対象物の会話と収音指向方向に存在しないスピーカ装置からの出力音楽とを収音する様子とを示す図、（Ｂ）全方位マイクアレイ装置から、ディスプレイ装置に表示された映像データからユーザの指ＦＧにより指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向の収音音声（例えば「Ｈｅｌｌｏ」）の音量レベルがスピーカ装置からの出力音楽（例えば「♪」）の音量レベルよりも大きく音声出力される様子を示す図
【図３５】（Ａ）第７の実施形態の収音システムの初期設定の動作手順を説明するフローチャート、（Ｂ）第７の実施形態の収音システムの初期設定後の動作手順を説明するフローチャート
【図３６】（Ａ）カメラ装置、全方位マイクアレイ装置、基準点Ｏ及び対象音源位置Ａの各位置を示す斜視図、（Ｂ）図３６（Ａ）の鉛直上方向から鉛直下方向を見た水平方向平面図、（Ｃ）図３６（Ｂ）のＫ−Ｋ’線による垂直方向断面図
【図３７】（Ａ）カメラ装置、全方位マイクアレイ装置、基準点Ｏ及び対象音源位置Ａの各位置を示す斜視図、（Ｂ）図３７（Ａ）の鉛直上方向から鉛直下方向を見た水平方向平面図、（Ｃ）図３７（Ｂ）のＱ−Ｑ’線による垂直方向断面図
【図３８】（Ａ）第８の実施形態の収音システムのシステム構成を示すブロック図、（Ｂ）ディスプレイ装置に表示された、映像データの表示画面ＷＤ１と対象音源位置の床面からの高さを選択させるための選択画面ＷＤ２とを示す図
【図３９】（Ａ）第８の実施形態の収音システムの初期設定の動作手順を説明するフローチャート、（Ｂ）第８の実施形態の収音システムの初期設定後の動作手順を説明するフローチャート
【図４０】（Ａ）第９の実施形態の収音システムのシステム構成を示すブロック図、（Ｂ）ディスプレイ装置に表示された、映像データの表示画面ＷＤ１と対象音源位置の床面からの高さを入力させるための入力フォーム画面ＷＤ３とを示す図
【図４１】（Ａ）第９の実施形態の収音システムの初期設定の動作手順を説明するフローチャート、（Ｂ）第９の実施形態の収音システムの初期設定後の動作手順を説明するフローチャート
【図４２】（Ａ）第１０の実施形態の収音システムのシステム構成を示すブロック図、（Ｂ）ディスプレイ装置に表示された映像データの表示画面ＷＤ４において第１指定位置Ａ１’と第２指定位置Ａ２’とが指定される様子を示す図
【図４３】（Ａ）第１０の実施形態の収音システムの初期設定の動作手順を説明するフローチャート、（Ｂ）第１０の実施形態の収音システムの初期設定後の動作手順を説明するフローチャート
【図４４】（Ａ）カメラ装置から、床面ＢＬ上に存在している対象物（人物）の対象音源位置Ａ１及び対象音源位置Ａ１から鉛直下方向の床面ＢＬ上の位置Ａ２への距離及び方向の説明図、（Ｂ）カメラ装置と対象音源位置Ａ１及び床面ＢＬ上の位置Ａ２とを鉛直上方向から鉛直下方向に見た平面図、（Ｃ）図４４（Ｂ）のＡ−Ａ’断面図
【図４５】（Ａ）カメラ装置１１から、床面ＢＬ上に設置された台ＲＣ上に存在している対象物（人物）の対象音源位置Ａ１及び対象音源位置Ａ１から鉛直下方向の台ＲＣ上の位置Ａ２への距離及び方向の説明図、（Ｂ）カメラ装置１１と対象音源位置Ａ１及び台ＲＣ上の位置Ａ２とを鉛直上方向から鉛直下方向に見た平面図、（Ｃ）図４５（Ｂ）のＡ−Ａ’断面図
【図４６】従来の監視システムにおける課題の説明図
【図４７】第１１の実施形態の収音システムのシステム構成を示すブロック図
【図４８】（Ａ）第１１の実施形態の収音システムの動作概要を示す図、（Ｂ）全方位マイクアレイ装置から、ディスプレイ装置に表示された撮像画像データの中で指定された指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向に存在する人物の音声の音量レベルが、収音方向に存在していないスピーカ装置の音声の音量レベルより大きく出力される様子を示す図
【図４９】（Ａ）第１１の実施形態の収音システムの動作手順の全体を説明するフローチャート、（Ｂ）第１１の実施形態の収音システムのキャリブレーションの動作手順を詳細に説明するフローチャート
【図５０】第１１の実施形態における第１のキャリブレーション方法の説明図
【図５１】（Ａ）第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図、（Ｂ）図５１（Ａ）の水平方向上面図、（Ｃ）図５１（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図５２】（Ａ）第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図５２（Ａ）の水平方向上面図、（Ｃ）図５２（Ｂ）のＱ−Ｑ’線における垂直方向断面図
【図５３】（Ａ）第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図５３（Ａ）の水平方向上面図、（Ｃ）図５３（Ｂ）のＲ−Ｒ’線における垂直方向断面図
【図５４】第１１の実施形態における第２のキャリブレーション方法の説明図
【図５５】（Ａ）第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図、（Ｂ）図５５（Ａ）の水平方向上面図、（Ｃ）図５５（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図５６】（Ａ）第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図５６（Ａ）の水平方向上面図、（Ｃ）図５６（Ｂ）のＱ−Ｑ’線における垂直方向断面図
【図５７】（Ａ）第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図５７（Ａ）の水平方向上面図、（Ｃ）図５７（Ｂ）のＲ−Ｒ’線における垂直方向断面図
【図５８】第１１の実施形態における第３のキャリブレーション方法の説明図
【図５９】（Ａ）第３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図、（Ｂ）図５９（Ａ）の水平方向上面図、（Ｃ）図５９（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図６０】第１１の実施形態における第４のキャリブレーション方法の説明図
【図６１】（Ａ）第４のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図、（Ｂ）図６１（Ａ）の水平方向上面図、（Ｃ）図６１（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図６２】第１１の実施形態における第５のキャリブレーション方法の説明図
【図６３】（Ａ）第５のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫ３の位置関係を示す図、（Ｂ）図６３（Ａ）の水平方向上面図、（Ｃ）図６３（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図６４】第１１の実施形態における第６のキャリブレーション方法の説明図
【図６５】（Ａ）第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図、（Ｂ）図６５（Ａ）の水平方向上面図、（Ｃ）図６５（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図６６】（Ａ）第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図６６（Ａ）の水平方向上面図、（Ｃ）図６６（Ｂ）のＱ−Ｑ’線における垂直方向断面図
【図６７】（Ａ）第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図６７（Ａ）の水平方向上面図、（Ｃ）図６７（Ｂ）のＲ−Ｒ’線における垂直方向断面図
【図６８】第１１の実施形態における第７のキャリブレーション方法の説明図
【図６９】（Ａ）第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図、（Ｂ）図６９（Ａ）の水平方向上面図、（Ｃ）図６９（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図７０】（Ａ）第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図７０（Ａ）の水平方向上面図、（Ｃ）図７０（Ｂ）のＱ−Ｑ’線における垂直方向断面図
【図７１】（Ａ）第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図７１（Ａ）の水平方向上面図、（Ｃ）図７１（Ｂ）のＲ−Ｒ’線における垂直方向断面図
【図７２】第１１の実施形態における第８のキャリブレーション方法の説明図
【図７３】（Ａ）第８のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２、キャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図、（Ｂ）図７３（Ａ）の水平方向上面図、（Ｃ）図７３（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図７４】第１１の実施形態における第９のキャリブレーション方法の説明図
【図７５】（Ａ）第９のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図、（Ｂ）図７５（Ａ）の水平方向上面図、（Ｃ）図７５（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図７６】第１１の実施形態における第１０のキャリブレーション方法の説明図
【図７７】（Ａ）第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図、（Ｂ）図７７（Ａ）の水平方向上面図、（Ｃ）図７７（Ｂ）のＫ−Ｋ’線における垂直方向断面図
【図７８】（Ａ）第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図７８（Ａ）の水平方向上面図、（Ｃ）図７８（Ｂ）のＱ−Ｑ’線における垂直方向断面図
【図７９】（Ａ）第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図７９（Ａ）の水平方向上面図、（Ｃ）図７９（Ｂ）のＲ−Ｒ’線における垂直方向断面図
【図８０】部屋の壁面に取り付けられたカメラと、部屋の天井面に取り付けられた全方位マイクアレイ装置と、音源位置との位置関係を示す説明図
【図８１】ＰＴＺカメラのカメラ座標系から変換した全方位マイクアレイ装置のマイク座標系を用いて算出される、全方位マイクアレイ装置から音源の位置に向かう水平角及び垂直角の説明図
【図８２】（Ａ）第１１のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図、（Ｂ）ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｘの拡大画面
【図８３】（Ａ）第１１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図８３（Ａ）の水平方向上面図、（Ｃ）図８３（Ｂ）のＫ−Ｋ’断面図
【図８４】（Ａ）第１１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図８４（Ａ）の水平方向上面図、（Ｃ）図８４（Ｂ）のＬ−Ｌ’断面図
【図８５】（Ａ）第１２のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図、（Ｂ）ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｘの拡大画面
【図８６】（Ａ）第１２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図８６（Ａ）の水平方向上面図、（Ｃ）図８６（Ｂ）のＫ−Ｋ’断面図
【図８７】（Ａ）第１２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図８７（Ａ）の水平方向上面図、（Ｃ）図８７（Ｂ）のＬ−Ｌ’断面図
【図８８】（Ａ）第１３のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図、（Ｂ）ＰＴＺカメラ装置１のフォーカス機能による点Ｏ、点Ｏ’及び点Ｘの拡大画面
【図８９】（Ａ）第１３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図８９（Ａ）の水平方向上面図、（Ｃ）図８９（Ｂ）のＫ−Ｋ’断面図
【図９０】（Ａ）第１３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図９０（Ａ）の水平方向上面図、（Ｃ）図９０（Ｂ）のＬ−Ｌ’断面図
【図９１】（Ａ）角度メモリ付きのキャリブレーション用床置きマーカＭＡＫ５の平面図、（Ｂ）ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｏ’の拡大画面
【発明を実施するための形態】
【００１９】
以下、本発明に係る指向性制御システム及び指向性制御方法の実施形態について、図面を参照して説明する。本実施形態の指向性制御システムは、例えば工場、公共施設（例えば図書館、イベント会場）、又は店舗（例えば小売店、銀行）に設置される監視システム（有人監視システム及び無人監視システムを含む）として用いられる。
【００２０】
なお、本発明は、指向性制御システムを構成する各装置（例えば後述する指向性制御装置）、又は指向性制御システムを構成する各装置が行う各動作（ステップ）を有する指向性制御方法として表現することも可能である。
【００２１】
（第１の実施形態）
（指向性制御システムのシステム構成）
図１（Ａ）及び図１（Ｂ）は、本実施形態の指向性制御システム１０，１０Ａのシステム構成を示すブロック図である。図１（Ａ）に示す指向性制御システム１０は、少なくとも１つのカメラ装置１１，…，１ｎと、マイクアレイ装置（又は全方位マイクアレイ装置）２と、指向性制御装置３とを含む構成である。以下、ｎはカメラ装置の台数を表し、１以上の整数である。カメラ装置１１〜１ｎと、マイクアレイ装置２と、指向性制御装置３とは、ネットワークＮＷ１を介して相互に接続されている。
【００２２】
また、図１（Ｂ）に示す指向性制御システム１０Ａは、少なくとも１つのカメラ装置１１，…，１ｎと、マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とを含む構成である。カメラ装置１１〜１ｎと、マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とは、ネットワークＮＷ２を介して相互に接続されている。
【００２３】
以下、指向性制御システム１０の各部の動作を主に説明し、指向性制御システム１０Ａの各部の動作については指向性制御システム１０の各部の動作と異なる内容について説明する。
【００２４】
少なくとも１つの撮像部としてのカメラ装置１１〜１ｎは、ネットワークＮＷ１に接続され、例えばイベント会場の室内の天井面や壁面（図８１参照）又はスタンド（図４（Ａ）参照）に固定して設置される監視カメラであり、ネットワークＮＷ１を介して接続された監視システム制御室（不図示）からの遠隔操作によってパン動作、チルト動作、ズーム動作（例えばズームイン、ズームアウト）、撮像映像において指定された特定位置との測距動作及び測角動作を行う。
【００２５】
カメラ装置１１〜１ｎは、光軸ＣＸを中心とした既定の画角ＣＡＲの範囲内に存在する監視対象の位置の映像（静止画及び動画を含む。以下同様）を撮像する。カメラ装置１１〜１ｎは、撮像した映像データと後述する収音方向（θＭＡｈ，θＭＡｖ）を算出するための入力パラメータを、ネットワークＮＷ１を介して、指向性制御装置３又はレコーダ装置４に送信する。
【００２６】
収音部としてのマイクアレイ装置２は、ネットワークＮＷ１に接続され、例えばイベント会場の室内の天井や壁面又はスタンド（図４（Ａ）参照）に固定して設置され、複数のマイクロホン２２，２３（図２参照）が一様に設けられたマイクロホンと各マイクロホンの動作を制御するための制御部（不図示）とを少なくとも含む構成である。
【００２７】
マイクアレイ装置２は、各々のマイクロホン（又はマイクロホンユニット）２２，２３を用いて、監視対象となる収音方向の音声を収音し、各々のマイクロホン２２，２３が収音した音声データを、ネットワークＮＷ１又はネットワークＮＷ２を介して、指向性制御装置３又はレコーダ装置４に送信する。
【００２８】
マイクアレイ装置２は、後述する信号処理部３３からの指向性形成指示に応じて、信号処理部３３が導出（以下、「算出」という）した収音方向（θＭＡｈ，θＭＡｖ）に、各々のマイクロホン２２，２３の収音指向性を形成する。
【００２９】
これにより、マイクアレイ装置２は、収音指向性が形成された収音方向（θＭＡｈ，θＭＡｖ）から収音した音声データの音量レベルを増大でき、収音指向性が形成されない方向から収音した音声データの音量レベルを低減できる。なお、収音方向（θＭＡｈ，θＭＡｖ）の算出方法については後述する。
【００３０】
マイクアレイ装置２の外観については、図２を参照して後述する。なお、マイクアレイ装置２の各マイクロホン２２，２３は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせが用いられても良い。
【００３１】
ネットワークＮＷ１，ＮＷ２は、有線通信ネットワーク（例えばイントラネット、インターネット）、又は無線通信ネットワーク（例えば無線ＬＡＮ（Local Area Network））である。
【００３２】
指向性制御装置３は、ネットワークＮＷ１又はネットワークＮＷ２に接続され、例えば監視システム制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォンでも良い。
【００３３】
指向性制御装置３は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。信号処理部３３は、座標変換処理部３４ｚと、出力制御部３５とを少なくとも含む。
【００３４】
通信部３１は、ネットワークＮＷ１又はネットワークＮＷ２を介して、カメラ装置１１〜１ｎ又はマイクアレイ装置２が送信した映像データ又は音声データを受信して信号処理部３３に出力する。
【００３５】
操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
【００３６】
操作部３２は、ユーザの入力操作に応じて、ユーザが音量レベルの増大又は低減を所望する範囲、即ち図４（Ｂ）に示す位置Ａ’又は範囲Ｂを表す座標データを信号処理部３３に出力する。
【００３７】
信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。
【００３８】
座標変換処理部３４ｚは、操作部３２が出力した位置Ａ’又は範囲Ｂを表す座標データを用いて、マイクアレイ装置２の設置位置から後述する収音範囲中心位置（又は音声位置）Ａに向かう方向を表す座標（θＭＡｈ，θＭＡｖ）を収音方向として算出する。収音方向（θＭＡｈ，θＭＡｖ）のうち、θＭＡｈはマイクアレイ装置２から収音範囲中心位置Ａに向かう俯角θＭＡの水平角を表し、θＭＡｖはマイクアレイ装置２から収音範囲中心位置Ａに向かう俯角θＭＡの垂直角を表す。なお、収音方向（θＭＡｈ，θＭＡｖ）の算出処理については図面を参照して詳しく後述する。
【００３９】
なお、収音範囲中心位置Ａは、操作部３２がディスプレイ装置３６の画面においてユーザの指ＦＧ又はスタイラスペンによって指定された位置Ａ’に対応する実際の監視対象となる現場の位置である。
【００４０】
出力制御部３５は、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、カメラ装置１１〜１ｎから送信された映像データをディスプレイ装置３６に再生出力させ、マイクアレイ装置２から送信された音声データをスピーカ装置３７に音声出力させる。
【００４１】
表示部としてのディスプレイ装置３６は、カメラ装置１１〜１ｎが撮像した映像データを画面に表示する。
【００４２】
音声出力部としてのスピーカ装置３７は、マイクアレイ装置２が収音した音声データ、又は座標変換処理部３４ｚが算出した収音方向（θＭＡｈ，θＭＡｖ）に収音指向性が形成された後にマイクアレイ装置２が収音した音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置２７は、指向性制御装置３とは別々の構成としても良い。
【００４３】
メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のワークメモリとして機能する。
【００４４】
レコーダ装置４は、カメラ装置１１〜１ｎが撮像した映像データと、マイクアレイ装置２が収音した音声データとを記録する。レコーダ装置４は、カメラ装置１１〜１ｎが撮像した映像データと、マイクアレイ装置２が収音した音声データとを対応付けて記録する。なお、ネットワークＮＷ１，ＮＷ２が相互に接続され、指向性制御システム１０−１０Ａ間において、各種データが転送されても良い。
【００４５】
図２（Ａ）〜図２（Ｅ）は、マイクアレイ装置２の外観図である。図２（Ａ）〜図２（Ｅ）に示すマイクアレイ装置２は、外観及び複数のマイクロホンの配置位置が異なり、マイクアレイ装置２自身の機能とは同等である。
【００４６】
図２（Ａ）に示すマイクアレイ装置２は、円盤状の筐体２１に配置された複数のマイクロホン２２，２３を含む構成である。複数のマイクロホン２２，２３は筐体２１の面上に沿って配置されている。具体的には、筐体２１と同一の中心を有する大きい円状に沿って複数のマイクロホン２２が、筐体２１と同一の中心を有する小さい円状に沿って複数のマイクロホン２３が、同心円状に配置されている。
【００４７】
大きい円状に沿って配置された複数のマイクロホン２２は、互いの間隔が広く、直径が大きく、低い音域に適した特性を有する。一方、小さい円状に沿って配置された複数のマイクロホン２３は、互いの間隔が狭く、直径が小さく、高い音域に適した特性を有する。
【００４８】
図２（Ｂ）に示すマイクアレイ装置２Ａは、円盤状の筐体２１の面上に、複数のマイクロホン２２が縦横に一様に配列された構成である。マイクアレイ装置２Ａは、複数のマイクロホン２２が縦横の直線状に配置されているので、音声データの収音指向性の形成処理の演算量を低減できる。なお、縦方向又は横方向の１列だけに、複数のマイクロホン２２が配置されても良い。
【００４９】
図２（Ｃ）に示すマイクアレイ装置２Ｂは、図２（Ａ）に示すマイクアレイ装置２に比べ、円盤状の筐体２１Ｂの径が小さいが、円盤状の筐体２１Ｂの面上に複数のマイクロホン２２が円状に沿って一様に配置された構成である。各々のマイクロホン２２の間隔が短いので、マイクアレイ装置２Ｂは、高い音域に適した特性を有する。
【００５０】
図２（Ｄ）に示すマイクアレイ装置２Ｃは、内側に開口部２１ａが形成されたドーナツ型形状の筐体２１Ｃと、同筐体２１Ｃに一様に設けられた複数のマイクロホン２２とを含む構成である。複数のマイクロホン２２は、筐体２１Ｃに対して同心円状に沿って配置されている。なお、開口部２１ａの内側には、例えばカメラ装置（例えば全方位カメラ装置）が挿通した状態にて取り付けられても良い。
【００５１】
図２（Ｅ）に示すマイクアレイ装置２Ｄは、矩形を有する筐体２１Ｄの面上に、複数のマイクロホン２２が矩形に沿って一様に配置されている。筐体２１Ｄが矩形に形成されているので、コーナー等の場所であってもマイクアレイ装置２Ｄの設置を簡易化できる。
【００５２】
図３は、マイクアレイ装置２が音声の収音方向として所定方向θに収音指向性を形成する内容を説明する原理図である。図３では、遅延和方式を用いた指向性制御処理の原理について簡単に説明する。音源８０から発した音波は、マイクアレイ装置２の各マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎに対し、ある一定の角度（入射角＝（９０−θ）［度］）で入射する。図３に示す入射角θは、マイクアレイ装置２から収音範囲中心位置Ａに向かう俯角θＭＡの水平角θＭＡｈでも垂直角θＭＡｖでも良い。
【００５３】
音源８０は、例えばマイクアレイ装置２が収音する収音方向に存在するカメラ装置１１の被写体の会話であり、マイクアレイ装置２の筐体２１の面上に対し、所定角度θの方向に存在する。また、マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ間の間隔ｄは一定とする。
【００５４】
音源８０から発した音波は、最初にマイクロホン２２１に到達して収音され、次にマイクロホン２２２に到達して収音され、同様に次々に収音され、最後にマイクロホン２２ｎに到達して収音される。
【００５５】
なお、マイクアレイ装置２の各マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎの位置から音源８０に向かう方向は、例えば音源８０が人物の会話時の音声である場合に、各マイクロホンからユーザがディスプレイ装置３６の画面上に指定した位置に対応する収音範囲中心位置に向かう方向と同じである。
【００５６】
ここで、音波がマイクロホン２２１，２２２，２２３，…，２２（ｎ−１）に到達した時刻から最後に収音されたマイクロホン２２ｎに到達した時刻までには、到達時間差τ１，τ２，τ３，…，τｎ−１が生じる。このため、各々のマイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎが収音した音声データがそのまま加算された場合には、位相がずれたまま加算されるため、音波の音量レベルが全体的に弱め合うことになってしまう。
【００５７】
なお、τ１は音波がマイクロホン２２１に到達した時刻と音波がマイクロホン２２ｎに到達した時刻との差分の時間であり、τ２は音波がマイクロホン２２２に到達した時刻と音波がマイクロホン２２ｎに到達した時刻との差分の時間であり、同様に、τｎ−１は音波がマイクロホン２２（ｎ−１）に到達した時刻と音波がマイクロホン２２ｎに到達した時刻との差分の時間である。
【００５８】
本実施形態では、マイクアレイ装置２は、マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ毎に対応して設けられたＡ／Ｄ変換器２４１，２４２，２４３，…，２４（ｎ−１），２４ｎと、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎと、加算器２６と、を有する構成である（図３参照）。
【００５９】
即ち、マイクアレイ装置２は、各マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎが収音したアナログの音声データを、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４（ｎ−１），２４ｎにおいてデジタルの音声データにＡＤ変換する。
【００６０】
更に、マイクアレイ装置２は、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎにおいて、各々のマイクロホン２２１，２２２，２２２，…，２２（ｎ−１），２２ｎにおける到達時間差に対応する遅延時間を与えて位相を揃えた後、加算器２６において遅延処理後の音声データを加算する。これにより、マイクアレイ装置２は、各マイクロホン２２１，２２２，２２３,…，２２（ｎ−１）,２２ｎに、所定角度θの方向に音声データの収音指向性を形成できる。
【００６１】
例えば図３では、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎに設定された各遅延時間Ｄ１，Ｄ２，Ｄ３，…，Ｄ（ｎ−１），Ｄｎは、それぞれ到達時間差τ１，τ２，τ３，…，τ（ｎ−１）に相当し、数式（１）により示される。
【００６２】
【数１】
2018057023.tif 000003
【００６３】
Ｌ１は、マイクロホン２２１とマイクロホン２２ｎとにおける音波到達距離の差である。Ｌ２は、マイクロホン２２２とマイクロホン２２ｎとにおける音波到達距離の差である。Ｌ３は、マイクロホン２２３とマイクロホン２２ｎとにおける音波到達距離の差であり、同様に、Ｌ（ｎ−１）は、マイクロホン２２（ｎ−１）とマイクロホン２２ｎとにおける音波到達距離の差である。Ｖｓは音波の速度（音速）である。Ｌ１,Ｌ２，Ｌ３，…，Ｌ（ｎ−１），Ｖｓは既知の値である。図３では、遅延器２５ｎに設定される遅延時間Ｄｎは０（ゼロ）である。
【００６４】
このように、マイクアレイ装置２は、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎに設定される遅延時間Ｄ１，Ｄ２，Ｄ３，…，Ｄｎ−１，Ｄｎを変更することで、各々のマイクロホン２２，２３が収音した音声データの収音指向性を簡易に形成することができる。
【００６５】
なお、図３に示す説明の処理は、マイクアレイ装置２が行うことを前提として説明したが、信号処理部３３が同様にマイクロホンの数と同数のＡＤ変換器及び遅延器と１つの加算器とを有する構成であれば、信号処理部３３が上述した処理を行っても良い。
【００６６】
次に、本実施形態の指向性制御システム１０の動作概要について、図４（Ａ）及び図４（Ｂ）を参照して説明する。図４は、本実施形態の指向性制御システム１０の動作概要を示す図である。図４（Ａ）は、１つのカメラ装置１１が画角ＣＡＲの範囲内に映る被写体を撮像する様子と、マイクアレイ装置２が収音方向に存在する被写体の人物の会話と収音方向に存在しないスピーカ装置ＳＰが出力する音楽とを収音する様子とを示す図である。図４（Ｂ）は、マイクアレイ装置２から、ディスプレイ装置３６に表示された映像の中からユーザの指ＦＧが指定した位置Ａ’に対応する収音範囲中心位置Ａに向かう方向を収音方向として収音された音声データがスピーカ装置３７から出力される様子を示す図である。
【００６７】
指向性制御システム１０では、カメラ装置１１は、既定された画角ＣＡＲの範囲内に映る被写体（例えば２人の人物）及びスピーカ装置ＳＰを撮像する。マイクアレイ装置２は、周囲の音声を収音する。図４（Ａ）では、被写体の２人の人物は会話しており、スピーカ装置ＳＰは音楽（♪〜）を音声出力している。カメラ装置１１が撮像した映像データは、指向性制御装置３のディスプレイ装置３６に表示される（図４（Ｂ）参照）。
【００６８】
ここで、ユーザの指ＦＧがディスプレイ装置３６の位置Ａ’、即ち会話している２人の人物の略中心位置又は範囲Ｂを指定すると、指向性制御装置３は、位置Ａ’又は範囲Ｂを表す座標データを用いて、マイクアレイ装置２の設置位置から収音範囲中心位置Ａに向かう方向を示す座標（θＭＡｈ，θＭＡｖ）を、マイクアレイ装置２の収音方向として算出する。マイクアレイ装置２は、指向性制御装置３が算出した（θＭＡｈ，θＭＡｖ）の座標データを用いて、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向に、収音指向性ＭＩＸを形成する。
【００６９】
従って、マイクアレイ装置２は、収音指向性ＭＩＸが形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性ＭＩＸが形成された方向に存在しないスピーカ装置ＳＰの音楽（♪〜）の音量レベルより増大できる。
【００７０】
これにより、指向性制御装置３は、スピーカ装置３７に、収音指向性ＭＩＸが形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性ＭＩＸが形成された方向に存在しないスピーカ装置ＳＰの音楽（♪〜）の音量レベルより大きく音声出力させることができる（図４（Ｂ）参照）。
【００７１】
次に、本実施形態の指向性制御システム１０，１０Ａの初期設定（キャリブレーション）について、図５を参照して説明する。図５は、本実施形態の指向性制御システム１０，１０Ａの初期設定（キャリブレーション）の動作手順を説明するフローチャートである。初期設定（キャリブレーション）は、マイクアレイ装置２が形成する収音指向性の方向を指向性制御装置３の信号処理部３３が算出するために必要となる入力パラメータを取得する動作を含む。
【００７２】
以下、説明を簡単にするために、指向性制御システム１０，１０Ａのうち指向性制御システム１０を例示し、更に、指向性制御システム１０は１つのカメラ装置１１を含む構成であるとして説明する。
【００７３】
図５において、指向性制御システム１０を構成するカメラ装置１１及びマイクアレイ装置２が所定の位置（例えばイベント会場の室内の天井面や壁面又はスタンド）に固定するように初期設置される（ＳＴ１）。本実施形態では、カメラ装置１１及びマイクアレイ装置２はそれぞれ異なる位置に設置される。
【００７４】
カメラ装置１１及びマイクアレイ装置２が初期設置された後、信号処理部３３がマイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）を算出するために必要となる各入力パラメータの測定が行われる（ＳＴ２）。ステップＳＴ２では、ユーザが測定器（例えばレーザ距離計）を用いて測定する場合、又はカメラ装置１１がカメラ装置１１自身の公知技術の機能を用いて測定して取得する場合、或いは設置空間（例えば建物）の設計図（レイアウト）を用いて取得する場合が含まれる。ステップＳＴ２における各入力パラメータは後述する実施形態毎に異なるので、各入力パラメータの詳細な内容は後述する。
【００７５】
ステップＳＴ２の後、ステップＳＴ２において測定された各入力パラメータが指向性制御装置３の信号処理部３３に入力される（ＳＴ３）。例えばカメラ装置１１は、カメラ装置１１自身の公知技術の機能によって取得した入力パラメータを指向性制御装置３の通信部３１に送信する。通信部３１は、カメラ装置１１が送信した入力パラメータを信号処理部３３に出力する。
【００７６】
また、マイクアレイ装置２は、マイクアレイ装置２自身の公知技術の機能によって取得した入力パラメータを指向性制御装置３の通信部３１に送信する。通信部３１は、マイクアレイ装置２が送信した入力パラメータを信号処理部３３に出力する。
【００７７】
また、指向性制御装置３を操作するユーザの入力操作に応じて、操作部３２が入力パラメータを信号処理部３３に出力する。
【００７８】
信号処理部３３は、ステップＳＴ３において取得した各入力パラメータをメモリ３８に一時的に保存する（ＳＴ４）。以上により、指向性制御システム１０の初期設定（キャリブレーション）の動作は終了する。
【００７９】
次に、本実施形態の指向性制御システム１０の指向性制御装置３がマイクアレイ装置２の収音方向を算出する動作手順について、図６，８０，８１を参照して説明する。図６は、本実施形態の指向性制御システム１０の指向性制御装置３がマイクアレイ装置２の収音方向を算出する動作手順を説明するフローチャートである。図６では、本実施形態の指向性制御システム１０の指向性制御装置３がマイクアレイ装置２の収音方向を算出する全体的な動作手順が示され、図８０，８１では基本的な算出の考え方を示す。詳細な算出過程については図７以降を参照して後述する。
【００８０】
図６において、指向性制御装置３は、ディスプレイ装置３６の画面に表示されている映像データの中から任意の位置Ａ’又は範囲Ｂの指定を、操作部３２を介して受け付ける（ＳＴ１１）。指向性制御装置３は、ディスプレイ装置３６の画面に表示されている映像データの任意の位置Ａ’又は範囲Ｂの指定を受け付けたことをカメラ装置１１に送信する。
【００８１】
ステップＳＴ１１の後、カメラ装置１１は、位置Ａ’又は範囲Ｂの指定を受け付けたことを指向性制御装置３から受信した場合、カメラ装置１１の設置位置を起点として、ステップＳＴ１１において指定された画面の位置Ａ’又は範囲Ｂに対応する収音範囲中心位置Ａまでの距離、水平角及び垂直角（ＬＣＡ，θＣＡｈ，θＣＡｖ）の全部又は一部の座標を取得する（ＳＴ１２）。
【００８２】
カメラ装置１１は、カメラ装置１１の設置位置を起点として、ステップＳＴ１１において指定された画面の位置Ａ’又は範囲Ｂに対応する収音範囲中心位置Ａまでの距離、水平角及び垂直角（ＬＣＡ，θＣＡｈ，θＣＡｖ）の全部又は一部の座標を指向性制御装置３に送信する。
【００８３】
指向性制御装置３の信号処理部３３は、ステップＳＴ１２において取得したカメラ装置１１の設置位置を起点として、ステップＳＴ１１において指定された画面の位置Ａ’又は範囲Ｂに対応する収音範囲中心位置Ａまでの距離、水平角及び垂直角（ＬＣＡ，θＣＡｈ，θＣＡｖ）の全部又は一部の座標と、図５に示すステップＳＴ４においてメモリ３８に一時的に保存している各入力パラメータとを用いて、マイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する（ＳＴ１３）。
【００８４】
指向性制御装置３は、ステップＳＴ１３において算出した座標（θＭＡｈ，θＭＡｖ）のデータを含む指向性形成指示をマイクアレイ装置２に送信する。マイクアレイ装置２は、指向性制御装置３からの指向性形成指示に応じて、指向性制御装置３が算出した座標（θＭＡｈ，θＭＡｖ）の収音方向に、各々のマイクロホン２２，２３の収音指向性を形成する（ＳＴ１４）。
【００８５】
これにより、マイクアレイ装置２は、収音指向性が形成された収音方向（θＭＡｈ，θＭＡｖ）から収音した音声データの音量レベルを増大でき、収音指向性が形成されない方向から収音した音声データの音量レベルを低減できる。以上により、指向性制御システム１０の指向性制御装置３がマイクアレイ装置２の収音方向を算出する動作は終了する。
【００８６】
（カメラ装置はパン・チルト・ズーム情報を送るだけの場合）
またこれまでの説明では、図６に示すステップＳＴ１２の動作がカメラ装置１１で行われているが、カメラ装置１１は、パン方向の角度情報とチルト方向の角度とズーム情報とを指向性制御装置３へ送り、指向性制御装置３が、カメラ装置１１から収音範囲中心位置Ａまでの距離、水平角及び垂直角（ＬＣＡ，θＣＡｈ，θＣＡｖ）を算出しても良く、以下の各実施形態においても同様である。
【００８７】
なお、本実施形態の指向性制御システム１０において、マイクアレイ装置２が音声を収音するタイミングは、ステップＳＴ１４の直後に限定されず、例えばマイクアレイ装置２の電源がＯＮされた後でも良い。
【００８８】
（カメラ座標系からマイク座標系への座標変換処理の一般化に関する説明）
図８０は、部屋の壁面に取り付けられたカメラＣＸと、部屋の天井面に取り付けられた全方位マイクアレイ装置ＭＸと、音源位置Ｐとの位置関係を示す説明図である。図８１は、ＰＴＺカメラ装置１のカメラ座標系から変換した全方位マイクアレイ装置２のマイク座標系を用いて算出される、全方位マイクアレイ装置２から音源Ｐの位置に向かう水平角及び垂直角の説明図である。
【００８９】
図８０に示すように、例えばカメラＣＸ（例えばＰＴＺカメラ装置１）が部屋の壁面に取り付けられ、全方位マイクアレイ装置ＭＸ（例えば全方位マイクアレイ装置２）が部屋の天井面に取り付けられている場合を想定する。この場合、空間全体を一つの座標系で考察すると、カメラＣＸから全方位マイクアレイ装置ＭＸまでの位置（即ち、ベクトルＶＣＸＭＸ）が既知であれば、カメラＣＸから見た音源Ｐの位置（即ち、ベクトルＶＣＸＰ）を用いて、全方位マイクアレイ装置ＭＸから見た音源Ｐの位置（即ち、ベクトルＶＭＸＰ）が分かる。即ち、数式（２）が成り立つ（図８０参照）。
【００９０】
【数２】
2018057023.tif 000004
【００９１】
しかし、カメラＣＸにより撮像された画像における音源Ｐの位置はカメラＣＸ独自の座標系（以下、「カメラ座標系」という）に対応する座標により示され、更に、全方位マイクアレイ装置ＭＸの収音対象となる音源Ｐの位置は全方位マイクアレイ装置ＭＸ独自の座標系（以下、「マイク座標系」という）に対応する座標により示される。このため、カメラＣＸから見たカメラ座標系による音源Ｐの位置を用いて、全方位マイクアレイ装置ＭＸから見た音源Ｐの位置を算出するためには、カメラ座標系からマイク座標系への座標変換処理が必要となる。
【００９２】
マイク座標系に対応する座標（Ｘ，Ｙ，Ｚ）は、カメラ座標系に対応する座標（ｘ，ｙ，ｚ）と所定の座標変換行列Ｕとを用いて、数式（３）により示される。
【００９３】
【数３】
2018057023.tif 000005
【００９４】
具体的な一例として、カメラ座標系のｘ軸、ｙ軸、ｚ軸において、ｚ軸を中心にγ度回転させ、ｘ軸を中心にα度回転させ、ｙ軸を中心にβ度回転させ、カメラＣＸの座標を（ｘ０，ｙ０，ｚ０）ほど平行移動させる場合には、座標変換行列Ｕは、数式（４）により示される。なお、数式（４）において、平行移動や座標軸の回転行列の積算順序や回転軸の選択はこれに限定されるものではない。
【００９５】
【数４】
2018057023.tif 000006
【００９６】
座標変換行列Ｕを算出するためには、カメラＣＸ及び全方位マイクアレイ装置ＭＸが取り付けられる空間（例えば部屋）の設計図（レイアウト）を用いる方法が考えられる（例えば図８１参照）、設計図が無い場合には実測結果を用いる方法も考えられる。また、座標変換行列Ｕは、１台のカメラＣＸに対して１台の全方位マイクアレイ装置２が取り付けられた場合に算出される。但し、複数のカメラＣＸと１台の全方位マイクアレイ装置ＭＸとが取り付けられた場合や、複数のカメラＣＸと複数の全方位マイクアレイ装置ＭＸとが取り付けられた場合にも、それぞれのカメラＣＸ−全方位マイクアレイ装置ＭＸ間において座標変換行列Ｕを算出する必要がある。
【００９７】
ここで、例えばカメラＣＸとしてのＰＴＺカメラ装置１と全方位マイクアレイ装置ＭＸとしての全方位マイクアレイ装置２との間の距離を示すカメラ座標系における座標（ｘ０，ｙ０，ｚ０）のデータとカメラ座標系及びマイク座標系が予め規定されていて、カメラの水平基準軸のなす角ξがわかっているとする。ユーザはＰＴＺカメラ装置１の直交座標系における座標のデータと角度ξを、レイアウト図から求め、操作部３２から入力する。
【００９８】
以下、指向性制御装置３の信号処理部３３の座標変換処理部３４ｚにおける座標変換行列Ｕと座標変換行列Ｕを用いたマイク座標系における収音方向座標（Θ，Φ）の算出例について、図８１を参照して説明する。
【００９９】
図８１に示すように、収音空間（例えば部屋）の壁面にＰＴＺカメラ装置１が取り付けられ、更に、収音空間（例えば部屋）の天井面に全方位マイクアレイ装置２が取り付けられている。壁面は水平な床面に対して鉛直（垂直）であり、更に、天井面は水平な床面に対して平行（水平）とする。
【０１００】
ＰＴＺカメラ装置１におけるカメラ座標系は、原点ＯＣがＰＴＺカメラ装置１のパン方向及びチルト方向それぞれへの回転中心であり、ＰＴＺカメラ装置１の台座と平行にｘ−ｙ平面が規定され、このｘ−ｙ平面は壁面と平行である。また、ｘ軸は鉛直上方向を向いている。
【０１０１】
先ず、ＰＴＺカメラ装置１は、数式（５）に従って、カメラ座標系の球座標系における座標（ｒ，θ，φ）を直交座標系における座標（ｘ，ｙ，ｚ）に変換し、変換処理後の座標（ｘ，ｙ，ｚ）のデータを指向性制御装置３に送信する。
【０１０２】
【数５】
2018057023.tif 000007
【０１０３】
ＰＴＺカメラ装置１から見た全方位マイクアレイ装置２の原点ＯＭは、ＰＴＺカメラ装置１の直交座標系から見ると、（ｘ０，ｙ０，ｚ０）の位置に設置されている。全方位マイクアレイ装置２におけるマイク座標系は、原点ＯＭが全方位マイクアレイ装置２の中心であり、全方位マイクアレイ装置２のアレイ形成面がＸ−Ｙ平面となり、このＸ−Ｙ平面は天井面と平行である。また、Ｚ軸はアレイ形成面（Ｘ−Ｙ平面）に垂直であり、鉛直下方向を向いている。
【０１０４】
指向性制御装置３の信号処理部３３の座標変換処理部３４ｚは、ＰＴＺカメラ装置１から受信したＰＴＺカメラ装置１の直交座標系における座標（ｘ，ｙ，ｚ）のデータを用いて、ＰＴＺカメラ装置１の原点ＯＣを（ｘ０，ｙ０，ｚ０）ほど平行移動させ、その後ｙ軸を中心に９０度回転させ、更に、ｚ軸を中心にξ度回転させることにより、全方位マイクアレイ装置２の直交座標系における座標（Ｘ，Ｙ，Ｚ）のデータを算出する（数式（６）参照）。なお、数式（６）において、平行移動や座標軸の回転行列の積算順序は特に限定されるものではなく、数学における座標変換の考え方にしたがって、回転軸周りの回転と平行移動の順によって、各ベクトルの内容は変化する。
【０１０５】
【数６】
2018057023.tif 000008
【０１０６】
指向性制御装置３の信号処理部３３の座標変換処理部３４ｚは、数式（６）の算出結果を用いて、数式（７）に従って、全方位マイクアレイ装置２の直交座標系における座標（Ｘ，Ｙ，Ｚ）から全方位マイクアレイ装置２の球座標系における座標（Ｒ，Θ，Φ）に変換する。これにより、指向性制御装置３は、全方位マイクアレイ装置２の球座標系における座標（Θ，Φ）を収音方向座標（Θ，Φ）として算出できる。更に、指向性制御装置３の信号処理部３３の出力制御部３５は、収音方向座標（Θ，Φ）に指向性を形成する。
【０１０７】
【数７】
2018057023.tif 000009
【０１０８】
なお、上述した収音方向座標（Θ，Φ）の算出例は、図８１に示すように、ＰＴＺカメラ装置１の位置を基準として説明したが、ＰＴＺカメラ装置１の位置を基準とする場合に限定されず、例えば音源Ｐの位置を基準としても良い。
また、ＰＴＺカメラ装置１が直交座標に変換後のデータを送るように説明したが、カメラ座標系のデータを指向性制御装置３に送信して、指向性制御装置３で座標変換しても良い。
【０１０９】
以下、カメラ装置１１及び全方位マイクアレイ装置２が取り付けられる空間（例えば部屋）の設計図（レイアウト図）が無く、カメラ装置１１からの音声位置までの実測値を基にして、カメラ装置１１から見た音声位置に対する全方位マイクアレイ装置２の収音方向を具体的に算出する方法の例を説明する。
【０１１０】
（マイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）の算出方法）
次に、指向性制御装置３の信号処理部３３がマイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する方法について、図７〜図１８を参照して詳細に説明する。ここでは合計４種類の算出方法を説明する。
【０１１１】
（第１の算出方法）
第１の算出方法では、カメラ装置１１の光軸ＣＸの方向に基準点Ｏを設ける。
【０１１２】
信号処理部３３は、
（１）カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭの水平成分（方向）の距離ＬＣＭｈと、
（２）カメラ装置１１から基準点Ｏまでの距離ＬＣＯ及び俯角θＣＯと、
（３）マイクアレイ装置２から基準点Ｏとの距離ＬＭＯ及び俯角θＭＯと、
（４）カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨＣ，ＨＭ，ＨＯと、
（５）カメラ装置１１から収音範囲中心位置Ａまでの水平角θＣＡｈ及び垂直角θＣＡｖと、
（６）収音範囲中心位置Ａの水平面からの高さＨＡと、を基に、
マイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。
【０１１３】
第１の算出方法では、図５に示すステップＳＴ２における入力パラメータは、
（１）カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭの水平成分（方向）の距離ＬＣＭｈと、
（２）カメラ装置１１から基準点Ｏまでの距離ＬＣＯ及び俯角θＣＯと、
（３）マイクアレイ装置２から基準点Ｏとの距離ＬＭＯ及び俯角θＭＯと、
（４）カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨＣ，ＨＭ，ＨＯである。
【０１１４】
（１）カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭの水平成分（方向）の距離ＬＣＭｈは、カメラ装置１１とマイクアレイ装置２とが初期設置された場合に決まる固定値である。
（２）カメラ装置１１から基準点Ｏまでの距離ＬＣＯ及び俯角θＣＯは、例えばユーザが基準点Ｏの位置においてレーザ距離計をカメラ装置１１に向けることで、簡易に測定できる。
（３）マイクアレイ装置２から基準点Ｏとの距離ＬＭＯ及び俯角θＭＯは、例えばユーザが基準点Ｏの位置においてレーザ距離計をマイクアレイ装置２に向けることで、簡易に測定できる。
（４）カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨＣ，ＨＭ，ＨＯは、カメラ装置１１、マイクアレイ装置２の各初期設定時に決まる固定値であり、更に、基準点Ｏの位置が決められた時に定まる固定値である。
【０１１５】
また、第１の算出方法では、図６に示すステップＳＴ１２における座標（ＬＣＡ，θＣＡｈ，θＣＡｖ）のうち、
（５）カメラ装置１１から収音範囲中心位置Ａまでの水平角θＣＡｈ及び垂直角θＣＡｖ、が用いられ、これらはカメラ装置１１における公知技術の機能によって取得される。
【０１１６】
更に、第１の算出方法では、
（６）収音範囲中心位置Ａの水平面からの高さＨＡは、予め決められた固定値であり、例えばユーザの指ＦＧが位置Ａ’を指定する時に、収音範囲中心位置Ａの周囲に人物がいる場合には人物の大きさをＨＡとして選択された値又は入力された値である。又は、ユーザの指ＦＧが位置Ａ’を指定した時に、指向性制御装置３が指定された位置に人物（例えば大人又は子供）がいることを判定した場合に、既定の値（例えば１．５ｍ又は０．８ｍ）が用いられても良い。
【０１１７】
図７は、第１の算出方法におけるマイクアレイ装置２の収音方向を算出するための基準点Ｏと指定された位置Ａ’とのディスプレイ装置３６の画面上における位置関係を示す説明図である。第１の算出方法における基準点Ｏは、カメラ装置１１の光軸ＣＸの方向に存在するので、ディスプレイ装置３６の画面の中心点に位置する。
【０１１８】
また、以下の第１の算出方法の説明において、ユーザの指ＦＧが指定した位置Ａ’は基準点Ｏと異なる位置であり、基準点Ｏの右下方向の位置であるとする（図７参照）。
【０１１９】
図８は、第１の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図である。図８（Ａ）は、斜視図である。図８（Ｂ）は、水平方向上面図である。図８（Ｃ）は、図８（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０１２０】
図９は、第１の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図である。図９（Ａ）は、斜視図である。図９（Ｂ）は、水平方向上面図である。図９（Ｃ）は、図９（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。
【０１２１】
図１０は、第１の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図である。図１０（Ａ）は、斜視図である。図１０（Ｂ）は、水平方向上面図である。図１０（Ｃ）は、図１０（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。
【０１２２】
以下、信号処理部３３におけるマイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）の第１の算出方法について、具体的に説明する。第１の算出方法では、マイクアレイ装置２の水平角の０度方向基準線はカメラ装置１１に向かう方向である。また、以下の各算出方法における説明の算出動作は信号処理部３３により行われるものとして説明するが、信号処理部３３を座標変換処理部３４ｚに読み替えても良い。
【０１２３】
信号処理部３３は、カメラ装置１１から基準点Ｏまでの距離ＬＣＯ及び俯角θＣＯを用いて、カメラ装置１１から基準点Ｏまでの距離ＬＣＯの水平成分の距離ＬＣＯｈを数式（８）に従って算出する。
【０１２４】
【数８】
2018057023.tif 000010
【０１２５】
信号処理部３３は、マイクアレイ装置２から基準点Ｏまでの距離ＬＭＯ及び俯角θＭＯを用いて、マイクアレイ装置２から基準点Ｏまでの距離ＬＭＯの水平成分の距離ＬＭＯｈを数式（９）に従って算出する。
【０１２６】
【数９】
2018057023.tif 000011
【０１２７】
信号処理部３３は、数式（８），（９）の各算出結果を用いて、図８（Ｂ）に示す△ＣＯＭに対する余弦定理により、数式（１０）に従って、カメラ装置１１から基準点Ｏまでの俯角θＣＯの水平角θＣＯｈの余弦値ｃｏｓθＣＯｈを算出する。
【０１２８】
【数１０】
2018057023.tif 000012
【０１２９】
信号処理部３３は、数式（８），（９）の各算出結果を用いて、図８（Ｂ）に示す△ＣＯＭに対する余弦定理により、数式（１１）に従って、カメラ装置１１から基準点Ｏまでの俯角θＭＯの水平角θＭＯｈの余弦値ｃｏｓθＭＯｈを算出する。
【０１３０】
【数１１】
2018057023.tif 000013
【０１３１】
信号処理部３３は、カメラ装置１１及び基準点Ｏの水平面からの各高さＨＣ，ＨＯと、数式（８）及び（１０）の各算出結果とを用いて、数式（１２）に従って、カメラ装置１１から基準点Ｏまでの距離ＬＣＯの垂直成分の距離ＬＣＯｖを算出する。
【０１３２】
【数１２】
2018057023.tif 000014
【０１３３】
信号処理部３３は、マイクアレイ装置２及び基準点Ｏの水平面からの各高さＨＭ，ＨＯと、数式（９）及び（１１）の各算出結果とを用いて、数式（１３）に従って、マイクアレイ装置２から基準点Ｏまでの距離ＬＭＯの垂直成分の距離ＬＭＯｖを算出する。
【０１３４】
【数１３】
2018057023.tif 000015
【０１３５】
信号処理部３３は、カメラ装置１１及びマイクアレイ装置２の水平面からの各高さＨＣ，ＨＭと、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭの水平成分の距離ＬＣＭｈとを用いて、数式（１４）に従って、カメラ装置１１とマイクアレイ装置２との距離ＬＣＭの垂直成分の距離ＬＣＭｖ（＝ＬＣＭ）を算出する。
【０１３６】
【数１４】
2018057023.tif 000016
【０１３７】
信号処理部３３は、数式（１２）〜（１４）の各算出結果を用いて、図８（Ｃ）に示す△ＣＯＭに対する余弦定理により、数式（１５）に従って、カメラ装置１１から基準点Ｏまでの俯角θＣＯの垂直角θＣＯｖの余弦値ｃｏｓθＣＯｖを算出する。
【０１３８】
【数１５】
2018057023.tif 000017
【０１３９】
信号処理部３３は、数式（１４）の算出結果と、カメラ装置１１及びマイクアレイ装置２の水平面からの各高さＨＣ，ＨＭとを用いて、数式（１６）に従って、図８（Ｃ）に示すカメラ装置１１からマイクアレイ装置２に向かう方向と水平面との間の角度θδの正弦値ｓｉｎθδを算出する。
【０１４０】
【数１６】
2018057023.tif 000018
【０１４１】
次に、信号処理部３３は、数式（１５），（１６）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの垂直角θＣＡｖと、収音範囲中心位置Ａの水平面からの高さＨＡと、カメラ装置１１の水平面からの高さＨＣとを用いて、数式（１７）に従って、カメラ装置１１と収音範囲中心位置Ａまでの距離ＬＣＡを算出する。
【０１４２】
【数１７】
2018057023.tif 000019
【０１４３】
信号処理部３３は、数式（１５）〜（１７）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの垂直角θＣＡｖとを用いて、数式（１８）に従って、カメラ装置１１と収音範囲中心位置Ａまでの距離ＬＣＡの水平成分の距離ＬＣＡｈを算出する。
【０１４４】
【数１８】
2018057023.tif 000020
【０１４５】
信号処理部３３は、数式（１０），（１８）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの水平角θＣＡｈと、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭの水平成分の距離ＬＣＭｈとを用いて、図８（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（１９）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離の水平成分の距離ＬＭＡｈを算出する。
【０１４６】
【数１９】
2018057023.tif 000021
【０１４７】
信号処理部３３は、数式（１８），（１９）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の水平方向の距離ＬＣＭｈとを用いて、図８（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（２０）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θＭＡの水平角θＭＡｈの余弦値ｃｏｓθＭＡｈを算出する。
【０１４８】
これにより、信号処理部３３は、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θＭＡの水平角θＭＡｈを、数式（２１）に従って、算出できる。
【０１４９】
【数２０】
2018057023.tif 000022
【０１５０】
【数２１】
2018057023.tif 000023
【０１５１】
更に、信号処理部３３は、数式（２１）の算出結果と、マイクアレイ装置２の水平面からの高さＨＭと、収音範囲中心位置Ａの水平面からの高さＨＡとを用いて、図１０（Ｃ）に示す△ＭＡＰに対する正接により、数式（２２）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θＭＡの垂直角θＭＡｖの正接値ｔａｎθＭＡｖを算出する。
【０１５２】
これにより、信号処理部３３は、数式（２３）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θＭＡの垂直角θＭＡｖを算出できる。
【０１５３】
【数２２】
2018057023.tif 000024
【０１５４】
【数２３】
2018057023.tif 000025
【０１５５】
以上により、第１の算出方法では、指向性制御装置３は、カメラ装置１１の光軸ＣＸの方向に基準点Ｏを設け、カメラ装置１１と基準点Ｏとの距離ＬＣＯ及び俯角θＣＯと、マイクアレイ装置２と基準点Ｏとの距離ＬＭＯ及び俯角θＭＯと、カメラ装置１１とマイクアレイ装置２との距離ＬＣＭの水平成分の距離ＬＣＭｈと、カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨＣ，ＨＭ，ＨＯとを各入力パラメータとして用いる。
【０１５６】
更に、指向性制御装置３は、これらの各入力パラメータを用いて、マイクアレイ装置２の位置を基準として、カメラ装置１１が監視対象として撮像する所定範囲の映像のうちユーザの指ＦＧによって指定された位置Ａ’に対応する収音範囲中心位置Ａに向かう方向、即ち、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向を示す座標（θＭＡｈ，θＭＡｖ）を収音方向として算出する。
【０１５７】
これにより、本実施形態の指向性制御システム１０は、第１の算出方法によれば、マイクアレイ装置２の位置を基準として、指定された収音範囲中心位置Ａの方向に音声の収音指向性を高精度に形成でき、該当方向の音声データを高精度に収音することができる。
【０１５８】
（第２の算出方法）
第２の算出方法では、カメラ装置１１の光軸ＣＸの方向ではなく、マイクアレイ装置２から鉛直下方向に糸ＳＴＲによってつり下げられたマーカＭＡＫの位置を基準点Ｏとして設ける。
【０１５９】
なお、糸ＳＴＲの長さは、マイクアレイ装置２の水平面からの高さＨＭ未満とする。更に、マーカＭＡＫは、例えばカメラ装置１１が撮像した場合にユーザが視覚的に認識し易い色のボール等である。
【０１６０】
信号処理部３３は、
（１）カメラ装置１１からマイクアレイ装置２の鉛直下方向につり下げられたマーカＭＡＫまでの距離ＬＣＯと、
（２）マイクアレイ装置２からマーカＭＡＫまでの距離ＬＭＯと、
（３）カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の水平角θＣＭｈ（＝θＣＯｈ）及び垂直角θＣＯｖと、
（４）カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡ、水平角θＣＡｈ及び垂直角θＣＡｖと、を基に、マイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。
【０１６１】
第２の算出方法では、図５にステップＳＴ２における入力パラメータは、
（１）カメラ装置１１からマイクアレイ装置２の鉛直下方向につり下げられたマーカＭＡＫまでの距離ＬＣＯと、
（２）マイクアレイ装置２からマーカＭＡＫまでの距離ＬＭＯと、
（３）カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の水平角θＣＭｈ及び垂直角θＣＯｖである。
【０１６２】
（１）カメラ装置１１からマイクアレイ装置２の鉛直下方向につり下げられたマーカＭＡＫまでの距離ＬＣＯは、カメラ装置１１の公知技術の機能によって取得される。例えば、カメラ装置１１がマーカＭＡＫにピントを合わせて撮像した場合の焦点距離をＬＣＯとして用いることができる。
（２）マイクアレイ装置２からマーカＭＡＫまでの距離ＬＭＯは、糸ＳＴＲの長さに等しい。
（３）カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の水平角θＣＭｈ及び垂直角θＣＯｖは、カメラ装置１１の公知技術の機能によって取得される。
【０１６３】
また、第２の算出方法では、
（４）カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡ、水平角θＣＡｈ及び垂直角θＣＡｖは、図６に示すステップＳＴ１２においてカメラ装置１１の公知技術の機能によって取得される。
【０１６４】
図１１は、第２の算出方法におけるマイクアレイ装置２の収音方向を算出するための基準点Ｏと指定された位置Ａ’とのディスプレイ装置３６の画面上における位置関係を示す説明図である。第２の算出方法における基準点Ｏは、カメラ装置１１の光軸ＣＸの方向には存在しないので、ディスプレイ装置３６の画面の中心点には位置せず、例えばディスプレイ装置３６の画面の中心点より左上方向に位置する。
【０１６５】
また、以下の第２の算出方法の説明において、ユーザの指ＦＧが指定した位置Ａ’は基準点Ｏ及び光軸方向を示す画面の中心点の位置と異なる位置であり、基準点Ｏの右下方向の位置であるとする（図１１参照）。
【０１６６】
図１２は、第２の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、マーカＭＡＫの位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図である。図１２（Ａ）は、斜視図である。図１２（Ｂ）は、水平方向上面図である。図１２（Ｃ）は、図１２（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０１６７】
図１３は、第２の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、マーカＭＡＫの位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図である。図１３（Ａ）は、斜視図である。図１３（Ｂ）は、水平方向上面図である。図１３（Ｃ）は、図１３（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。
【０１６８】
以下、信号処理部３３におけるマイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）の第２の算出方法について、具体的に説明する。第２の算出方法では、マイクアレイ装置２の水平角の０度方向基準線はカメラ装置１１に向かう方向であり、カメラ装置１１とマイクアレイ装置２の水平面からの各高さＨＣ，ＨＭは同じとする。
【０１６９】
信号処理部３３は、カメラ装置１１からマイクアレイ装置２の鉛直下方向につり下げられたマーカＭＡＫまでの距離ＬＣＯと、マイクアレイ装置２からマーカＭＡＫまでの距離ＬＭＯとを用いて、数式（２４）に従って、カメラ装置１１からマーカＭＡＫに向かう方向とカメラ装置１１からマイクアレイ装置２に向かう方向との間の角度θ’ＣＯｖの正弦値ｓｉｎθ’ＣＯｖを算出する。
【０１７０】
【数２４】
2018057023.tif 000026
【０１７１】
信号処理部３３は、数式（２４）の算出結果と、カメラ装置１１からマイクアレイ装置２の鉛直下方向につり下げられたマーカＭＡＫまでの距離ＬＣＯとを用いて、数式（２５）に従って、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭを算出する。
【０１７２】
【数２５】
2018057023.tif 000027
【０１７３】
信号処理部３３は、数式（２４），（２５）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡ及び垂直角θＣＡｖと、カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の垂直角θＣＯｖとを用いて、数式（２６）に従って、カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡの水平成分の距離ＬＣＡｈを算出する。
【０１７４】
【数２６】
2018057023.tif 000028
【０１７５】
信号処理部３３は、数式（２５），（２６）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの水平角θＣＡｈと、カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の水平角θＣＭｈとを用いて、図１２（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（２７）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離の水平成分の距離ＬＭＡｈを算出する。
【０１７６】
【数２７】
2018057023.tif 000029
【０１７７】
信号処理部３３は、数式（２５），（２６），（２７）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の水平方向の距離ＬＣＭｈとを用いて、図１２（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（２８）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θＭＡの水平角θＭＡｈの余弦値ｃｏｓθＭＡｈを算出する。
【０１７８】
これにより、信号処理部３３は、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θＭＡの水平角θＭＡｈを、数式（２９）に従って、算出できる。
【０１７９】
【数２８】
2018057023.tif 000030
【０１８０】
【数２９】
2018057023.tif 000031
【０１８１】
更に、信号処理部３３は、カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡ及び水平角θＣＡｈと、カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の水平角θＣＭｈとを用いて、数式（３０）に従って、カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡの垂直成分の距離ＬＣＡｖを算出する。
【０１８２】
【数３０】
2018057023.tif 000032
【０１８３】
信号処理部３３は、数式（２５），（２６），（３０）の各算出結果を用いて、図１２（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（３１）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離の垂直成分の距離ＬＭＡｖを算出する。
【０１８４】
【数３１】
2018057023.tif 000033
【０１８５】
信号処理部３３は、数式（２５），（３０），（３１）の各算出結果を用いて、図１２（Ｃ）に示す△ＭＡＰに対する余弦定理により、数式（３２）に従って、マイクアレイ装置２からカメラ装置１１に向かう方向とマイクアレイ装置２から収音範囲中心位置Ａに向かう方向との間の角度θ’ＭＡｖの余弦値ｃｏｓθ’ＭＡｖを算出する。
【０１８６】
【数３２】
2018057023.tif 000034
【０１８７】
信号処理部３３は、図１３（Ｃ）に示す△ＭＡＳに対する正弦により、数式（３３）に従って、マイクアレイ装置２からカメラ装置１１に向かう方向とマイクアレイ装置２から収音範囲中心位置Ａに向かう方向との間の角度θ’ＭＡｖの正弦値ｓｉｎθ’ＭＡｖを算出する。
【０１８８】
信号処理部３３は、数式（２７），（３３）の各算出結果を用いて、式（３４）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θＭＡの垂直角θＭＡｖの正接値ｔａｎθＭＡｖを算出できる。
【０１８９】
これにより、信号処理部３３は、数式（３５）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θＭＡの垂直角θＭＡｖを算出できる。
【０１９０】
【数３３】
2018057023.tif 000035
【０１９１】
【数３４】
2018057023.tif 000036
【０１９２】
【数３５】
2018057023.tif 000037
【０１９３】
以上により、第２の算出方法では、指向性制御装置３は、マイクアレイ装置２の鉛直下方向に糸でつり下げられたマーカＭＡＫを基準点Ｏとして設け、カメラ装置１１とマーカＭＡＫとの距離ＬＣＯ及び俯角θＣＯの垂直角θＣＯｖと、カメラ装置１１の光軸ＣＸの方向からカメラ装置１１からマイクアレイ装置２に向かう方向との間の角度θＣＭｈと、マイクアレイ装置２からマーカＭＡＫまでの距離ＬＭＯとを各入力パラメータとして用いる。
【０１９４】
更に、指向性制御装置３は、これらの各入力パラメータを用いて、マイクアレイ装置２の位置を基準として、カメラ装置１１が監視対象として撮像する所定範囲の映像のうちユーザの指ＦＧによって指定された位置Ａ’に対応する収音範囲中心位置Ａに向かう方向、即ち、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向を示す座標（θＭＡｈ，θＭＡｖ）を収音方向として算出する。
【０１９５】
これにより、本実施形態の指向性制御システム１０は、第２の算出方法によれば、第１の算出方法に比べて、各入力パラメータの数が少ないので、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向を示す座標（θＭＡｈ，θＭＡｖ）をより簡易に算出できる。更に、指向性制御システム１０は、マイクアレイ装置２の位置を基準として、指定された収音範囲中心位置Ａの方向に音声の収音指向性を高精度に形成でき、該当方向の音声データを高精度に収音することができる。
【０１９６】
なお、第２の算出方法において、マーカＭＡＫの位置はカメラ装置１１の光軸ＣＸの方向とマイクアレイ装置２の鉛直下方向との交点の位置でも良い。この場合には、光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の角度θＣＯｖが０（ゼロ）となるので、信号処理部３３におけるマイクアレイ装置２から収音範囲中心位置Ａに向かう方向の座標（θＭＡｈ，θＭＡｖ）の算出量が低減する。
【０１９７】
また、第２の算出方法において、マイクアレイ装置２がレーザ光を照射する機能を有する場合には、マーカＭＡＫを用いずに、マイクアレイ装置２が鉛直下方向にレーザ光を照射し、カメラ装置１１がレーザ光の照射地点（例えば、マイクアレイ装置２の鉛直下方向のある高さの地点）の撮像画像を画像解析する。これにより、信号処理部３３は、上述した第２の算出方法と同様に、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向の座標（θＭＡｈ，θＭＡｖ）を算出できる。
【０１９８】
（第３の算出方法）
第３の算出方法では、カメラ装置１１の光軸ＣＸの方向に基準点Ｏとしての音源を設ける。
【０１９９】
信号処理部３３は、
（１）カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭと、
（２）カメラ装置１１から光軸方向の所定の音源位置（基準点Ｏ）までの距離ＬＣＯと、
（３）マイクアレイ装置２から音源位置（基準点Ｏ）までの水平角θＭＯｈ及び垂直角θＭＯｖと、
（４）カメラ装置１１、マイクアレイ装置２及び音源位置（基準点Ｏ）の水平面からの各高さＨＣ，ＨＭ，ＨＯと、
（５）カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡ、水平角θＣＡｈ及び垂直角θＣＡｖと、を基に、マイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。
【０２００】
第３の算出方法では、図５に示すステップＳＴ２における入力パラメータは、
（１）カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭと、
（２）カメラ装置１１から光軸方向の所定の音源位置（基準点Ｏ）までの距離ＬＣＯと、
（３）マイクアレイ装置２から音源位置（基準点Ｏ）までの水平角θＭＯｈ及び垂直角θＭＯｖと、
（４）カメラ装置１１、マイクアレイ装置２及び音源位置（基準点Ｏ）の水平面からの各高さＨＣ，ＨＭ，ＨＯである。
【０２０１】
（１）カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭは、カメラ装置１１とマイクアレイ装置２とが初期設置された場合に決まる固定値である。
（２）カメラ装置１１から光軸方向の所定の音源位置（基準点Ｏ）までの距離ＬＣＯは、例えばユーザが基準点Ｏの位置においてレーザ距離計をカメラ装置１１に向けることで、簡易に測定できる。
（３）マイクアレイ装置２から音源位置（基準点Ｏ）までの水平角θＭＯｈ及び垂直角θＭＯｖは、マイクアレイ装置２の公知技術の機能（例えば音源検出機能）を用いて測定できる。
（４）カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨＣ，ＨＭ，ＨＯは、カメラ装置１１、マイクアレイ装置２の各初期設定時に決まる固定値であり、更に、基準点Ｏの位置が決められた時に定まる固定値である。
【０２０２】
また、第３の算出方法では、
（５）カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡ、水平角θＣＡｈ及び垂直角θＣＡｖは、図６に示すステップＳＴ１２においてカメラ装置１１の公知技術の機能によって取得される。
【０２０３】
また、第３の算出方法では、基準点Ｏとなる音源がカメラ装置１１の光軸ＣＸの方向に存在しているので、マイクアレイ装置２の収音方向を算出するための基準点Ｏと指定された位置Ａ’とのディスプレイ装置３６の画面上における位置関係は図７に示す位置関係となるので、説明を省略する。
【０２０４】
図１４は、第３の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図である。図１４（Ａ）は、斜視図である。図１４（Ｂ）は、水平方向上面図である。図１４（Ｃ）は、図１４（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０２０５】
図１５は、第３の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図である。図１５（Ａ）は、斜視図である。図１５（Ｂ）は、水平方向上面図である。図１５（Ｃ）は、図１５（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。
【０２０６】
図１６は、第３の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図である。図１６（Ａ）は、斜視図である。図１６（Ｂ）は、水平方向上面図である。図１６（Ｃ）は、図１６（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。
【０２０７】
以下、信号処理部３３におけるマイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）の第３の算出方法について、具体的に説明する。第３の算出方法では、マイクアレイ装置２の水平角の０度の基準線はカメラ装置１１に向かう方向ではない方向であり、カメラ装置１１とマイクアレイ装置２の水平面からの各高さＨＣ，ＨＭは同じとする。
【０２０８】
先ず、信号処理部３３は、カメラ装置１１から光軸方向の所定の音源位置（基準点Ｏ）までの距離ＬＣＯと、カメラ装置１１及び音源位置（基準点Ｏ）の水平面からの各高さＨＣ，ＨＯとを用いて、数式（３６）に従って、カメラ装置１１から光軸方向の所定の音源位置（基準点Ｏ）までの距離ＬＣＯの水平成分の距離ＬＣＯｈを算出する。
【０２０９】
【数３６】
2018057023.tif 000038
【０２１０】
信号処理部３３は、マイクアレイ装置２から音源位置（基準点Ｏ）までの垂直角θＭＯｖと、マイクアレイ装置２及び音源位置（基準点Ｏ）の水平面からの各高さＨＭ，ＨＯとを用いて、数式（３７）に従って、マイクアレイ装置２から光軸方向の音源位置（基準点Ｏ）までの距離ＬＭＯの水平成分の距離ＬＭＯｈを算出する。
【０２１１】
【数３７】
2018057023.tif 000039
【０２１２】
信号処理部３３は、数式（３６），（３７）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭとを用いて、図１４（Ｂ）に示す△ＣＯＭに対する余弦定理により、数式（３８）に従って、カメラ装置１１から音源（基準点Ｏ）に向かう方向の俯角θＣＯの水平角θＣＯｈの余弦値ｃｏｓθＣＯｈを算出し、更に同様にして、数式（３９）に従って、マイクアレイ装置２の０度方向基準線から音源（基準点Ｏ）に向かう方向の俯角（θＭＯ−θＭＣ）の水平角（θＭＯｈ−θＭＣｈ）の余弦値ｃｏｓ（θＭＯｈ−θＭＣｈ）を算出する。
【０２１３】
これにより、信号処理部３３は、マイクアレイ装置２の０度方向基準線とマイクアレイ装置２からカメラ装置１１に向かう方向との間の角度θＭＣｈを、数式（４０）に従って、算出できる。
【０２１４】
【数３８】
2018057023.tif 000040
【０２１５】
【数３９】
2018057023.tif 000041
【０２１６】
【数４０】
2018057023.tif 000042
【０２１７】
次に、信号処理部３３は、数式（３６），（３８）の各算出結果と、カメラ装置１１及び音源位置（基準点Ｏ）の水平面からの各高さＨＣ，ＨＯとを用いて、数式（４１）に従って、カメラ装置１１から音源（基準点Ｏ）までの距離ＬＣＯの垂直成分の距離ＬＣＯｖを算出する。
【０２１８】
【数４１】
2018057023.tif 000043
【０２１９】
信号処理部３３は、数式（３７），（３９）の各算出結果と、マイクアレイ装置２及び音源位置（基準点Ｏ）の水平面からの各高さＨＭ，ＨＯとを用いて、数式（４２）に従って、マイクアレイ装置２から音源（基準点Ｏ）までの距離ＬＭＯの垂直成分の距離ＬＭＯｖを算出する。
【０２２０】
【数４２】
2018057023.tif 000044
【０２２１】
信号処理部３３は、数式（４１），（４２）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭ（＝ＬＣＭｖ）とを用いて、図１４（Ｃ）に示す△ＣＯＭに対する余弦定理により、数式（４３）に従って、カメラ装置１１から音源（基準点Ｏ）に向かう方向とカメラ装置１１からマイクアレイ装置２に向かう方向との間の角度θＣＯｖの余弦値ｃｏｓθＣＯｖを算出する。
【０２２２】
【数４３】
2018057023.tif 000045
【０２２３】
次に、信号処理部３３は、数式（４３）の算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡ及び垂直角θＣＡｖとを用いて、数式（４４）に従って、カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡの水平成分の距離ＬＣＡｈを算出する。
【０２２４】
【数４４】
2018057023.tif 000046
【０２２５】
信号処理部３３は、数式（３９），（４４）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭとを用いて、図１４（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（４５）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離ＬＭＡの水平成分の距離ＬＭＡｈを算出する。
【０２２６】
【数４５】
2018057023.tif 000047
【０２２７】
信号処理部３３は、数式（４４），（４５）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭとを用いて、図１４（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（４６）に従って、マイクアレイ装置２の０度方向基準線から収音範囲中心位置Ａに向かう方向の俯角（θＭＡ−θＭＣ）の水平角（θＭＡｈ−θＭＣｈ）の余弦値ｃｏｓ（θＭＡｈ−θＭＣｈ）を算出する。
【０２２８】
これにより、信号処理部３３は、マイクアレイ装置２の０度方向基準線から収音範囲中心位置Ａに向かう方向の俯角θＭＡの水平角θＭＡｈを、数式（４７）に従って、算出する。
【０２２９】
【数４６】
2018057023.tif 000048
【０２３０】
【数４７】
2018057023.tif 000049
【０２３１】
更に、信号処理部３３は、数式（４０）の算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡ及び水平角θＣＡｈとを用いて、数式（４８）に従って、カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡの垂直成分の距離ＬＣＡｈを算出する。
【０２３２】
【数４８】
2018057023.tif 000050
【０２３３】
信号処理部３３は、数式（４１），（４８）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの水平角θＣＡｈと、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭとを用いて、図１４（Ｃ）に示す△ＣＡＭに対する余弦定理により、数式（４９）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離ＬＭＡの垂直成分の距離ＬＭＡｖを算出する。
【０２３４】
【数４９】
2018057023.tif 000051
【０２３５】
信号処理部３３は、数式（４８），（４９）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭとを用いて、図１４（Ｃ）に示す△ＣＡＭに対する余弦定理により、数式（５０）に従って、図１４（Ｂ）に示すＫ−Ｋ’断面におけるマイクアレイ装置２から収音範囲中心位置Ａに向かう方向とマイクアレイ装置２からカメラ装置１１に向かう方向との間の角度θ’ＭＡｖの余弦値ｃｏｓθ’ＭＡｖを算出する。
【０２３６】
【数５０】
2018057023.tif 000052
【０２３７】
信号処理部３３は、数式（４９），（５０）の各算出結果を用いて、数式（５１）に従って、マイクアレイ装置２，収音範囲中心位置Ａの水平面からの各高さＨＭ，ＨＡの差分（ＨＭ−ＨＡ）を算出する。
【０２３８】
【数５１】
2018057023.tif 000053
【０２３９】
信号処理部３３は、数式（４５），（５１）の各算出結果を用いて、図１６（Ｃ）に示す△ＭＳＡに対する正接により、数式（５２）に従って、マイクアレイ装置２の０度方向基準線から収音範囲中心位置Ａに向かう俯角θＭＡの垂直角θＭＡｖの正接値ｔａｎθＭＡｖを算出する。
【０２４０】
これにより、信号処理部３３は、数式（５３）に従って、マイクアレイ装置２の０度方向基準線から収音範囲中心位置Ａまでの俯角θＭＡの垂直角θＭＡｖを算出できる。
【０２４１】
【数５２】
2018057023.tif 000054
【０２４２】
【数５３】
2018057023.tif 000055
【０２４３】
以上により、第３の算出方法では、指向性制御装置３は、カメラ装置１１の光軸ＣＸの方向に基準点Ｏとしての音源を設け、カメラ装置１１と音源（基準点Ｏ）との距離ＬＣＯと、マイクアレイ装置２から音源（基準点Ｏ）に向かう俯角θＭＯの水平角θＭＯｈ及び垂直角θＭＯｖと、カメラ装置１１とマイクアレイ装置２との距離ＬＣＭと、カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨＣ，ＨＭ，ＨＯとを各入力パラメータとして用いる。
【０２４４】
更に、指向性制御装置３は、これらの各入力パラメータを用いて、マイクアレイ装置２の位置を基準として、カメラ装置１１が監視対象として撮像する所定範囲の映像のうちユーザの指ＦＧによって指定された位置Ａ’に対応する収音範囲中心位置Ａに向かう方向、即ち、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向を示す座標（θＭＡｈ，θＭＡｖ）を収音方向として算出する。
【０２４５】
これにより、本実施形態の指向性制御システム１０は、第３の算出方法によれば、マイクアレイ装置２の０度方向基準線がカメラ装置１１を向く方向に予め設定されていない場合であっても、マイクアレイ装置２の位置を基準として、指定された収音範囲中心位置Ａの方向に音声の収音指向性を高精度に形成でき、該当方向の音声データを高精度に収音することができる。
【０２４６】
なお、第１〜第３の各算出方法では、マイクアレイ装置２の収音方向を示す座標の計算を簡易にするために、当該座標を示す垂直角及び水平角を近似的に算出している箇所があるが、例えば幾何学的な位置関係を用いて、より厳密に算出しても良い。
【０２４７】
（第４の算出方法）
第４の算出方法では、カメラ装置１１とマイクアレイ装置２とが専用冶具５０を用いて連結して固定され、例えば室内の天井面に設置される（図１７又は図１８参照）。
【０２４８】
専用冶具５０は、マイクアレイ装置２の例えば０度方向基準線とカメラ装置１１の例えば０度方向基準線とを対向させ、カメラ装置１１とマイクアレイ装置２とが水平面からの各高さが同一となるように連結して固定する。なお、専用冶具５０の形状は、カメラ装置１１とマイクアレイ装置２とを所定の水平角及び垂直角にて連結して固定する形状であれば特に問わない。
【０２４９】
専用冶具５０を用いてカメラ装置１１とマイクアレイ装置２とを連結して固定することで、第４の算出方法では、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭは、専用冶具のパラメータに応じた固定値となる。
【０２５０】
信号処理部３３は、
（１）専用冶具５０の長さと、
（２）カメラ装置１１から収音範囲中心位置（点Ａ）までの距離ＬＣＡ、水平角θＣＡｈ及び垂直角θＣＡｖと、を基に、マイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。
【０２５１】
第４の算出方法では、図５に示すステップＳＴ２における入力パラメータは、
（１）専用冶具５０の長さ、
即ち、どの種類の専用冶具５０が用いられるかという情報である。例えば専用冶具５０の長さが５ｍであれば、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭも５ｍとなり、専用冶具５０の長さが１０ｍであれば、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭも１０ｍとなる。
【０２５２】
また、第４の算出方法では、
（２）カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡ、水平角θＣＡｈ及び垂直角θＣＡｖは、図６に示すステップＳＴ１２においてカメラ装置１１の公知技術の機能によって取得される。
【０２５３】
図１７は、第４の算出方法のマイクアレイ装置２とカメラ装置１１とが専用冶具５０を用いて連結して設置された場合のマイクアレイ装置２とカメラ装置１１と収音範囲中心位置Ａとの位置関係を示す説明図である。図１７（Ａ）は、斜視図である。図１７（Ｂ）は、水平方向上面図である。図１７（Ｃ）は、図１７（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０２５４】
図１８は、第４の算出方法のマイクアレイ装置２とカメラ装置１１とが専用冶具５０を用いて連結して設置された場合のマイクアレイ装置２とカメラ装置１１と収音範囲中心位置Ａとの位置関係を示す説明図である。図１８（Ａ）は、斜視図である。図１８（Ｂ）は、水平方向上面図である。図１８（Ｃ）は、図１８（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。
【０２５５】
以下、信号処理部３３におけるマイクアレイ装置２の収音方向を定める座標（θＭＡｈ，θＭＡｖ）の第４の算出方法について、具体的に説明する。
【０２５６】
信号処理部３３は、カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡ及び垂直角θＣＡｖを用いて、数式（５４）に従って、カメラ装置１１から収音範囲中心位置Ａまでの距離ＬＣＡの水平成分の距離ＬＣＡｈを算出する。
【０２５７】
【数５４】
2018057023.tif 000056
【０２５８】
信号処理部３３は、数式（５４）の算出結果と、カメラ装置１１から収音範囲中心位置（点Ａ）までの水平角θＣＡｈと、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭとを用いて、図１７（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（５５）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離の水平成分の距離ＬＭＡｈを算出する。
【０２５９】
【数５５】
2018057023.tif 000057
【０２６０】
信号処理部３３は、数式（５４），（５５）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離ＬＣＭとを用いて、図１７（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（５６）に従って、マイクアレイ装置２から収音範囲中心位置Ａに向かう俯角θＭＡの水平角θＭＡｈの余弦値ｃｏｓθＭＡｈを算出する。
【０２６１】
これにより、信号処理部３３は、数式（５７）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θＭＡの水平角θＭＡｈを算出できる。
【０２６２】
【数５６】
2018057023.tif 000058
【０２６３】
【数５７】
2018057023.tif 000059
【０２６４】
信号処理部３３は、図１７（Ｃ）に示す△ＣＡＰに対する正弦により、マイクアレイ装置２と収音範囲中心位置Ａとの水平面からの各高さの差分（ＨＭ−ＨＡ）を、数式（５８）に従って、算出する。
【０２６５】
【数５８】
2018057023.tif 000060
【０２６６】
更に、信号処理部３３は、図１８（Ｃ）に示す△ＭＡＳに対する正接により、数式（５９）に従って、マイクアレイ装置２から収音範囲中心位置Ａに向かう俯角θＭＡの垂直角θＭＡｖの正接値ｔａｎθＭＡｖを算出する。
【０２６７】
これにより、信号処理部３３は、数式（６０）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θＭＡの垂直角θＭＡｖを算出できる。
【０２６８】
【数５９】
2018057023.tif 000061
【０２６９】
【数６０】
2018057023.tif 000062
【０２７０】
以上により、第４の算出方法では、指向性制御装置３は、専用冶具５０を用いてマイクアレイ装置２とカメラ装置１１とが連結して固定され、例えば室内の天井面に設置された状態において、専用冶具５０の長さ、即ち、マイクアレイ装置２とカメラ装置１１との間の距離ＬＣＭを入力パラメータとして用いる。
【０２７１】
更に、指向性制御装置３は、この入力パラメータを用いて、マイクアレイ装置２の位置を基準として、カメラ装置１１が監視対象として撮像する所定範囲の映像のうちユーザの指ＦＧによって指定された位置Ａ’に対応する収音範囲中心位置Ａに向かう方向、即ち、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向を示す座標（θＭＡｈ，θＭＡｖ）を収音方向として算出する。
【０２７２】
これにより、本実施形態の指向性制御システム１０は、第４の算出方法によれば、第１〜第３の各算出方法に比べて、各入力パラメータの数が少なく、カメラ装置１１とマイクアレイ装置２との各０度方向基準線とが対向するので、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向の座標（θＭＡｈ，θＭＡｖ）をより簡易に算出できる。更に、指向性制御システム１０は、マイクアレイ装置２の位置を基準として、指定された収音範囲中心位置Ａの方向に音声の収音指向性を高精度に形成でき、該当方向の音声データを高精度に収音することができる。
【０２７３】
なお、上述した各実施形態では、指向性制御装置３がマイクアレイ装置２の収音方向の座標（θＭＡｈ，θＭＡｖ）の算出を開始するタイミングは、ユーザの指ＦＧがディスプレイ装置３６の画面の任意の位置Ａ’又は範囲Ｂが指定された時として説明したが、これに限定されない。
【０２７４】
例えば、カメラ装置１１〜１ｎが既定された所定間隔毎にパン方向、チルト方向又はパン方向及びチルト方向に回転したことでカメラ装置１１〜１ｎの画角ＣＡＲの範囲が異なった時でも良い。これにより、指向性制御システム１０は、予め収音方向を決めておくことで、マイクアレイ装置２の収音方向をユーザが指定することなく、既定の収音方向に音声の収音指向性を形成できる。
【０２７５】
なお、上述した各算出方法では、マイクアレイ装置２は水平面に対して平行な面に沿って設置されていることを前提として説明した。しかし、マイクアレイ装置２が設置される天井面が斜めに傾いている場合がある。
【０２７６】
この場合、マイクアレイ装置２の収音方向の水平角θＭＡｈ又は垂直角θＭＡｖは、上述した第１〜第４の算出方法によって信号処理部３３が算出した値をそのまま用いることができず、天井面が傾いている角度の分を補正する必要がある。
【０２７７】
以下、マイクアレイ装置２が設置される室内の天井面が水平面に対して平行な方向ではなく斜めに傾いている場合に、信号処理部３３におけるマイクアレイ装置２の収音方向（θＭＡｈ，θＭＡｖ）のうち例えば垂直角θＭＡｖの補正について、図１９を参照して説明する。図１９（Ａ）、（Ｂ）は、マイクアレイ装置２とカメラ装置１１とが設置された天井が水平面に対してαＭｖの方向に傾いている場合の収音方向の垂直角の説明図である。図１９（Ｃ）は、マイクアレイ装置２の収音方向θＭＡｖの説明図である。
【０２７８】
上述した第１〜第４の各算出方法によって信号処理部３３が算出したマイクアレイ装置２の収音方向の例えば垂直角は、水平面に平行な面ＨＲを基準とした収音方向の垂直角θ’ＭＡｖとなる。図１９（Ｂ）において、垂直角θ’ＭＡｖの方向は、マイクアレイ装置２の筐体の長手方向ＮＴの方向を基準とした角度ではない。
【０２７９】
このため、信号処理部３３は、垂直角θ’ＭＡｖを算出し、更に、室内の天井面の傾き角度αＭｖを算出する。具体的には、信号処理部３３は、カメラ装置１１とマイクアレイ装置２との距離ＬＣＭの水平成分の距離ＬＣＭｈと、カメラ装置１１，マイクアレイ装置２の水平面からの各高さＨＣ，ＨＭとを用いて、数式（６１）に従って、室内の天井面の傾き角度αＭｖの余弦値ｃｏｓαＭｖを算出する。
【０２８０】
これにより、信号処理部３３は、数式（６１）の算出結果を用いて、室内の天井面の傾き角度αＭｖを算出する（数式（６２）参照）。
【０２８１】
【数６１】
2018057023.tif 000063
【０２８２】
【数６２】
2018057023.tif 000064
【０２８３】
信号処理部３３は、数式（６２）の算出結果と、上述した第１〜第４の各算出方法に従って算出した垂直角θ’ＭＡｖとを用いて、マイクアレイ装置２の収音方向の垂直角θＭＡｖを、数式（６３）に従って、算出する。
【０２８４】
【数６３】
2018057023.tif 000065
【０２８５】
これにより、指向性制御装置３は、マイクアレイ装置２が設置される室内の天井面が水平面に対して平行でなく所定の角度に傾いている場合でも、マイクアレイ装置２の収音方向を適正に算出でき、マイクアレイ装置２の位置を基準として、指定された収音範囲中心位置Ａの方向に音声の収音指向性を高精度に形成でき、該当方向の音声データを高精度に収音することができる。
【０２８６】
以下に後述する第２〜第５の各実施形態は、カメラ装置からの撮像方向の水平角と、マイクアレイ装置からの収音方向の水平角との各基準方向を一致させるキャリブレーション方法に関する。
【０２８７】
ここで、カメラ装置及びマイクアレイ装置の各動作を制御して、カメラ装置が撮像する方向の音声データを得る制御装置が知られている（例えば参考特許文献１参照）。特許文献１に示す制御装置は、例えばＴＶ会議システムが利用可能な会議室に設置され、全方位の画像を取得出来るカメラ装置と、集音範囲を変更可能なマイクアレイ装置との各動作を制御する。
【０２８８】
参考特許文献１に示す制御装置は、音声により話者方向を検出して、全方位の画像から話者を中心とした領域だけの映像を切り出してデータ量を圧縮し、マイクアレイ装置のビーム方向を話者に向け、話者の会話以外の雑音を低減させる。
【０２８９】
（参考特許文献１）      日本国特許第４２５２３７７号公報
【０２９０】
例えば、カメラ装置とマイクアレイ装置とが一体的に組み込まれて同軸上に配置された場合には、カメラ装置の光軸とマイクアレイ装置の物理的な中心軸とが共通する。従って、カメラ装置が撮像している映像中の被写体の会話音声をマイクアレイ装置が収音する場合、マイクアレイ装置の収音方向を示す座標（水平角，垂直角）の垂直角と、カメラ装置の撮像方向を示す座標（水平角，垂直角）の垂直角とは同一となる。
【０２９１】
しかし、カメラ装置とマイクアレイ装置とが一体的に組み込まれて同軸上に配置され、カメラ装置とマイクアレイ装置との各々が単独に動作するものを組み合わせて使用する場合、マイクアレイ装置の収音方向を示す座標（水平角，垂直角）の水平角と、カメラ装置の撮像方向を示す座標（水平角，垂直角）の水平角とは、マイクアレイ装置及びカメラ装置の各水平角の基準方向（例えば０°方向）が一致していなければ、同一とならない。
【０２９２】
上述した参考特許文献１では、カメラ装置とマイク装置とが音響的に透明なシリンダを介して一体的に接続された構成ではあるが、カメラ装置及びマイク装置の各水平角の基準方向を一致させることは言及されていない。また、カメラ装置とマイク装置とはそれぞれ単独で使用出来る構造になっていない。
【０２９３】
従って、各々が単独に動作するカメラ装置とマイク装置とを一体的に用いる際、カメラ装置及びマイク装置の各水平角の基準方向が一致しないと、パン方向におけるカメラ装置の撮影範囲とマイク装置の収音範囲とが合わなくなる。このため、カメラ装置が撮像している映像中の被写体の会話音声がマイク装置により適正に収音されないことがあるという課題があった。
【０２９４】
そこで、本発明に係る第２〜第５の各実施形態では、上述した従来の課題を解決するために、カメラ装置とマイクアレイ装置とを一体的に用いる場合に、カメラ装置の撮像方向を示す座標の水平角とマイクアレイ装置の収音方向を示す座標の水平角との各基準方向を一致させるキャリブレーション方法の例を説明する。
【０２９５】
以下、本発明に係るキャリブレーション方法の第２〜第５の各実施形態について、図面を参照して説明する。以下の各実施形態のキャリブレーション方法は、例えば全方位カメラ装置と全方位マイクアレイ装置とが同軸上に一体的に配置された収音システムにおいて、全方位カメラ装置の撮像方向を示す座標の水平角と全方位マイクアレイ装置の収音方向を示す座標の水平角とを一致させる方法である。各実施形態の収音システムは、例えば所定の収音空間内の所定の設置面（例えばイベント会場の天井面）に設置される。
【０２９６】
（第２の実施形態）
第２の実施形態のキャリブレーション方法について、図２０（Ａ）、図２０（Ｂ）及び図２０（Ｃ）を参照して説明する。図２０（Ａ）は、第２の実施形態の収音システム１Ｚにおけるキャリブレーション方法を表す模式図である。図２０（Ｂ）は、全方位カメラ装置３ｚを鉛直方向の下側から見た平面図である。図２０（Ｃ）は、全方位マイクアレイ装置５を鉛直方向の下側から見た平面図である。
【０２９７】
全方位カメラ装置３ｚは、不図示の光学系（例えば魚眼レンズ）及び撮像部（例えばイメージセンサ）が内蔵された筐体がドーム状の透明なカバー３ａにより覆われ、全方位マイクアレイ装置５の筐体中心に形成された開口部１３の内側の内周空間に嵌め込まれる。全方位カメラ装置３ｚは、例えば監視カメラとしての機能を有し、不図示のネットワークを介して、中央制御室のホストコンピュータ（不図示）に接続され、全方位の映像をモニター（不図示）に表示する。また、全方位カメラ装置３ｚは、ホストコンピュータからの遠隔操作に応じて、指定方向の映像を切り出してモニター（不図示）に表示することも可能である。
【０２９８】
全方位マイクアレイ装置５は、開口部１３の内側の内周空間に全方位カメラ装置３ｚの筐体が嵌め込まれるリング状の筐体１７を有し、開口部１３の周囲であって筐体１７の円周方向に沿って複数のマイクロホンユニット１８が同心円状に配置される。マイクロホンユニット１８は、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられ、以下の各実施形態においても同様である。全方位マイクアレイ装置５は、所定の収音方向に指向性を形成し、指向性が形成された収音方向の音声を強調して収音する。
【０２９９】
なお、本実施形態を含む各実施形態において、全方位カメラ装置及び全方位マイクアレイ装置の構成及び動作は上述した説明の内容と同一であるが、各実施形態において異なる内容については必要に応じて説明する。
【０３００】
ここで、全方位マイクアレイ装置５と全方位カメラ装置３ｚとを同軸ｉ方向に取り付けることで一体化された収音システム１Ｚを設置する場合、全方位カメラ装置３ｚの撮像方向と全方位マイクアレイ装置５の収音方向とを揃えるために、全方位カメラ装置３ｚと全方位マイクアレイ装置５の各水平角の基準方向（例えば０°方向）を一致させる必要がある。
【０３０１】
本実施形態では、同軸ｉ方向に対して直交する平面における、全方位カメラ装置３ｚ及び全方位マイクアレイ装置５の各水平角の基準方向を一致させるために、全方位カメラ装置３ｚのカバー３ａの外周には、図２０（Ｂ）中の上方向に沿って突起した係止部材の一例としてのキー１１ｙが形成されている。キー１１ｙは、全方位カメラ装置３ｚの撮像方向を示す座標（水平角，垂直角）の水平角の基準方向ｇ、つまり水平角０°の方向に形成されている。
【０３０２】
また、全方位マイクアレイ装置５の開口部１３の周縁部には、全方位カメラ装置３ｚのカバー３ａが開口部１３に挿通される際、キー１１ｙが嵌合する係止溝の一例としてのキー溝１５が形成されている。キー溝１５は、全方位マイクアレイ装置５の収音方向を示す座標（水平角，垂直角）の水平角の基準方向ｈ、つまり水平角０°の方向に形成されている。なお、本実施形態では、キー１１ｙ及びキー溝１５の断面形状が四角形であるが、四角形の他に、多角形や半円形でも良い。
【０３０３】
全方位カメラ装置３ｚと全方位マイクアレイ装置５とを同軸ｉ方向に取り付ける場合、キー１１ｙをキー溝１５に嵌合するように、全方位カメラ装置３ｚを全方位マイクアレイ装置５の開口部１３の内側の内周空間に嵌めこむことで、全方位カメラ装置３ｚと全方位マイクアレイ装置５が一体として合体する。
【０３０４】
以上により、本実施形態のキャリブレーション方法では、例えばキー１１ｙとキー溝１５に嵌合するように、全方位カメラ装置３ｚを全方位マイクアレイ装置５の開口部１３の内側の内周空間に嵌め込むことで、全方位カメラ装置３ｚの水平角の基準方向ｇと、全方位マイクアレイ装置５の水平角の基準方向ｈとを簡易に一致させることができ、全方位カメラ装置３ｚ及び全方位マイクアレイ装置５の設置時の制約を緩和できる。従って、本実施形態の収音システム１Ｚでは、全方位マイクアレイ装置５は、全方位カメラ装置３ｚの撮像方向を示す座標（水平角，垂直角）の水平角と同じ水平角を用いて、収音方向の音声を高精度に収音することができる。
【０３０５】
なお、本実施形態では、全方位カメラ装置３ｚを全方位マイクアレイ装置５の開口部１３の内側の内周空間に嵌めこむことで、全方位カメラ装置３ｚと全方位マイクアレイ装置５とが一体化されるケースである。
【０３０６】
なお、本実施形態で図示している全方位カメラ装置３ｚは、魚眼レンズを備えて全方向を撮影出来るカメラ装置であるが、パン方向の回転、チルト方向の回転及びズーム機能を有する半球状の透明なドーム形状を有するカメラ装置でも良い。
【０３０７】
（第３の実施形態）
次に、第３の実施形態のキャリブレーション方法について、図２１（Ａ）、図２１（Ｂ）及び図２１（Ｃ）を参照して説明する。図２１（Ａ）は、第３の実施形態の収音システム１Ａにおけるキャリブレーション方法を表す模式図である。図２１（Ｂ）は、全方位カメラ装置３ＡＺを鉛直方向の下側から見た平面図である。図２１（Ｃ）は、全方位マイクアレイ装置５Ａを鉛直方向の下側から見た平面図である。
【０３０８】
なお、本実施形態を含む以下の各実施形態では、上述した第２の実施形態と同一の構成要素については同一の符号を用いることで説明を省略又は簡略化し、異なる内容について説明する。
【０３０９】
本実施形態では、全方位カメラ装置３ＡＺのカバー３ａの外周には、例えば図２１（Ａ）に示す三角形のマーカ２１ｚが付加されている。なお、マーカ２１ｚの形状は三角形に限定されず、例えば四角形でも良い。マーカ２１ｚは、全方位カメラ装置３ＡＺの撮像方向を示す座標（水平角，垂直角）の水平角の基準方向ｇ、つまり水平角０°の方向に付加されている。
【０３１０】
また、全方位マイクアレイ装置５Ａの開口部１３の周縁部には、全方位カメラ装置３ＡＺのカバー３ａが開口部１３に挿通される際、マーカ２１ｚと対向する位置に同様の三角形のマーカ２３ｚが付加されている。なお、マーカ２３ｚの形状は三角形に限定されず、例えば四角形でも良い。マーカ２３ｚは、全方位マイクアレイ装置５Ａの水平角の基準方向ｈ、つまり水平角０°の方向に付加されている。
【０３１１】
全方位カメラ装置３ＡＺと全方位マイクアレイ装置５Ａとを同軸ｉ方向に取り付ける場合、マーカ２１ｚの尖端とマーカ２３ｚの尖端とが対向するように、全方位カメラ装置３ＡＺを全方位マイクアレイ装置５Ａの開口部１３の内側の内周空間に嵌め込むことで、全方位カメラ装置３ＡＺと全方位マイクアレイ装置５Ａとが一体として合体する。
【０３１２】
以上により、本実施形態のキャリブレーション方法では、例えば三角形のマーカ２１ｚ，２３の各尖端が対向するように、全方位カメラ装置３ＡＺを全方位マイクアレイ装置５Ａの開口部１３の内側の内周空間に嵌め込むことで、全方位カメラ装置３ＡＺの水平角の基準方向ｇと、全方位マイクアレイ装置５Ａの水平角の基準方向ｈとを簡易に一致させることができる。更に、本実施形態のキャリブレーション方法では、全方位カメラ装置３ＡＺ及び全方位マイクアレイ装置５Ａの設置時の制約を緩和できる。従って、本実施形態の収音システム１Ａでは、全方位マイクアレイ装置５Ａは、全方位カメラ装置３ＡＺの撮像方向を示す座標（水平角，垂直角）の水平角と同じ水平角を用いて、収音方向の音声を高精度に収音することができる。
【０３１３】
なお、上述した第２の実施形態と同様に、本実施形態では、全方位カメラ装置３ＡＺを全方位マイクアレイ装置５Ａの開口部１３の内側の内周空間に嵌め込まずに、例えば全方位マイクアレイ装置５Ａの開口部１３の内側に予め刻まれた雌ねじ部に、全方位カメラ装置３ＡＺのカバー３ａの外周に刻まれた雄ねじ部を螺合させることで、全方位カメラ装置３ＡＺと全方位マイクアレイ装置５Ａを一体化して合体させても良い。
【０３１４】
（第４の実施形態）
次に、第４の実施形態のキャリブレーション方法について、図２２、図２３（Ａ）及び図２３（Ｂ）を参照して説明する。図２２は、第４の実施形態の収音システム１Ｂにおけるキャリブレーション方法を表す模式図である。図２３（Ａ）は、取付部材７に全方位カメラ装置と全方位マイクアレイ装置とが取り付けられた状態を示す平面図である。図２３（Ｂ）は、図２３（Ａ）のＥ−Ｅ断面図である。
【０３１５】
上述した第２、第３の各実施形態の収音システムでは、全方位マイクアレイ装置と全方位カメラ装置とが、それぞれ所定の設置面に直接に取り付けられた。
【０３１６】
本実施形態の収音システム１Ｂでは、先ず所定の設置面（例えば天井面８）に取付部材７（取付具）が取り付けられて固定され、全方位マイクアレイ装置５Ｂ及び全方位カメラ装置３ＢＺの両方が取付部材７に取り付けられる（図２２参照）。これにより、本実施形態の収音システム１Ｂでは、全方位マイクアレイ装置５Ｂと全方位カメラ装置３ＢＺとが一体化して合体する。
【０３１７】
図２３（Ａ）には、取付部材７の表面から見た場合、つまり所定の設置面の一例としての天井面８から図２３（Ｂ）に示す下方向を見た場合の全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂの取付状態が示されている。取付部材７は、表面に凹凸を有する略円盤状に形成された金属製の部材である。なお、取付部材７は、セラミックス製又は合成樹脂（例えばプラスチック又はエラストマ）製の部材でも良い。
【０３１８】
取付部材７の表面、即ち天井面８に対向する取付部材７の表面には、同軸ｉ方向に突出し、全方位カメラ装置３ＢＺを取り付けて固定するための係止片７ａが同心円上の３箇所に形成されている。更に、取付部材７の表面には、同軸ｉ方向に突出し、全方位マイクアレイ装置５Ｂを取り付けて固定するための係止片７ｂが、係止片７ａが形成された同心円よりも大きな直径の同心円上の３箇所に形成されている。
【０３１９】
図２４（Ａ）は、固定ピン３３ｚ，３５ｚが係合孔７１，７３に係合する様子を表す側面図である。図２４（Ｂ）は、係合孔７１，７３に挿通された固定ピン３３ｚ，３５ｚが移動する様子を表す平面図及び側面図である。図２４（Ｃ）は、固定ピン３３ｚ，３５が係合孔７１，７３において係止された様子を表す平面図及び側面図である。
【０３２０】
係止片７ａには、全方位カメラ装置３ＢＺの底面に設けられた固定ピン３３ｚと係合する係合孔７１が、一端部の径が他端部の径に比べて大きい略ひょうたん状に形成されている。同様に、係止片７ｂには、全方位マイクアレイ装置５Ｂの底面に設けられた固定ピン３５ｚと係合する係合孔７３が、一端部の径が他端部の径に比べて大きい略ひょうたん状に形成されている。
【０３２１】
固定ピン３３ｚ，３５ｚは、それぞれ係合孔７１，７３の一端部と他端部との間の太さ（直径）を有する頭部と頭部より細い胴部とからなる。
【０３２２】
取付部材７の表面には、係止片７ａ及び係止片７ｂの外側に広がるように、扇形の孔部７ｃ，７ｄがそれぞれ３箇所に形成されている。これらの扇形の孔部７ｃ，７ｄの形状及び位置は、取付部材７に全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂが取り付けられた際、全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂの各水平角の基準方向ｇ，ｈが一致するように設計されている。
【０３２３】
取付部材７の表面の中央部には、ビス３１ｚが挿通されるビス孔７ｅが３箇所に形成されている。取付部材７は、ビス孔７ｅを介して、天井面８にビス３１ｚを螺合させることで、天井面８に固定される。
【０３２４】
全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂが取付部材７に取り付けられる場合、先ず、全方位カメラ装置３ＢＺが取付部材７に取り付けられる。この場合、固定ピン３３ｚを係止片７ａに形成された係合孔７１に係合させる（図２４（Ａ）参照）。
【０３２５】
即ち、図２４（Ａ）に示すように、全方位カメラ装置３ＢＺの底面に突出する固定ピン３３ｚを、係合孔７１の径の大きい一端部側に挿し込む。そして、図２４（Ｂ）に示すように、固定ピン３３ｚの頭部が係合孔７１から突出した状態で、全方位カメラ装置３ＢＺを回転させることで固定ピン３３ｚを係合孔７１において移動させる。そして、図２４（Ｃ）に示すように、固定ピン３３ｚの頭部が係合孔７１の他端部側に移動した状態で、固定ピン３３ｚと係合孔７１とは係合したことになり、全方位カメラ装置３ＢＺは同軸ｉ方向に固定される。
【０３２６】
全方位カメラ装置３ＢＺを取付部材７に取り付けた後、全方位マイクアレイ装置５Ｂを、全方位マイクアレイ装置５Ｂの開口部１３の内側から全方位カメラ装置３ＢＺが露出するように、取付部材７に取り付ける。この場合、固定ピン３５ｚを係止片７ｂに形成された係合孔７３に係合させる。なお、固定ピン３５ｚを係合孔７３に固定する手順は、固定ピン３３ｚを係合孔７１に固定する手順と同様である。
【０３２７】
以上により、本実施形態のキャリブレーション方法では、天井面８に取り付けて固定された取付部材７に、全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂが一体として取り付けられる。これにより、本実施形態のキャリブレーション方法では、全方位カメラ装置３ＢＺと全方位マイクアレイ装置５Ｂとの各水平角の基準方向を一致させた状態で、全方位カメラ装置３ＢＺと全方位マイクアレイ装置５Ｂとを簡易に設置することができる。従って、本実施形態の収音システム１Ｂでは、全方位マイクアレイ装置５Ｂは、全方位カメラ装置３ＢＺの撮像方向を示す座標（水平角，垂直角）の水平角と同じ水平角を用いて、収音方向の音声を高精度に収音することができる。
【０３２８】
（第５の実施形態）
次に、第５の実施形態のキャリブレーション方法について、図２５（Ａ）、図２５（Ｂ）、図２５（Ｃ）及び図２６を参照して説明する。図２５（Ａ）は、第５の実施形態のキャリブレーション方法において冶具６１を全方位マイクアレイ装置５Ｃに取り付ける様子を示す側面図である。図２５（Ｂ）は、冶具６１の全方位マイクアレイ装置５Ｃへの取り付けが完了した様子を示す側面図である。図２５（Ｃ）は、冶具６１の全方位マイクアレイ装置５Ｃへの取り付けが完了した収音システム１Ｃの外観斜視図である。図２６は、全方位カメラ装置３ＣＺの撮像画像８０ｚに冶具６１が映った様子を示す図である。
【０３２９】
本実施形態のキャリブレーション方法では、収音システム１Ｃにおける全方位カメラ装置３ＣＺ及び全方位マイクアレイ装置５Ｃの構成及び設置面への取り付け手順は、上述した第３の実施形態における全方位カメラ装置３ＡＺ及び全方位マイクアレイ装置５Ａの取り付け手順と同様であるため、説明を省略する。
【０３３０】
全方位マイクアレイ装置５Ｃの筐体１７における対向する両端部には、全方位マイクアレイ装置５Ｃの水平角の基準方向ｈを表す冶具６１が取り付けられる。本実施形態では、冶具６１として、全方位カメラ装置３ＣＺの筐体を跨ぐようにワイヤが架けられている。ワイヤの両方の先端が全方位マイクアレイ装置５Ｃの筐体１７に予め形成された穴に装着されることで、冶具６１は全方位マイクアレイ装置５Ｃに取り付けられる。
【０３３１】
また、冶具６１の一部には、水平角の基準方向（例えば０°方向）であることを表す目印６３が付加されている。目印６３は、例えば冶具６１の他部と異なる色に着色しても良いし、冶具６１の材質は、セラミックス、合成樹脂（例えばプラスチック又はエラストマ）、金属など特に限定されるもので無く、形状も球体に限らず、円柱やその他の形状でも良い。
【０３３２】
本実施形態では、図２５（Ａ）及び図２５（Ｂ）に示すように、全方位カメラ装置３ＣＺが全方位マイクアレイ装置５Ｃの開口部１３の内側の内周空間に嵌め込まれた後に、冶具６１が全方位マイクアレイ装置５Ｃの筐体１７における対向する両端部に取り付けられる。
【０３３３】
また、本実施形態では、図２５（Ｃ）に示すように、冶具６１が全方位カメラ装置３ＣＺの筐体を跨ぐように取り付けられた状態で、全方位カメラ装置３ＣＺは、例えば全方位方向（３６０°）の所定の撮像範囲の被写体を撮像する。この場合、冶具６１以外の物があまり撮像画像の中に写り込まないように、全方位カメラ装置３ＣＺは、撮像画像の背景部分を特定の色で覆っても良い。
【０３３４】
また、冶具６１は一本のワイヤに限定されるものではなく、水平角の基準を示す目印６３が所定の位置に固定されてカメラ映像で認識されれば、その形状には拘らず、例えば板金で作られていても、三本足形状でもよい。
【０３３５】
更には、冶具６１は全方位カメラ装置３の筐体全体を覆う不透明なドーム状形状で、全方位マイクアレイ装置５Ｃの水平角の基準方向に目印となる開口を有した形状でも良い。
【０３３６】
図２６に示す全方位カメラ装置３ＣＺによる円形の撮像画像８０ｚには、撮像画像８０ｚの中心を通り基準方向ｈを表す治具画像６１Ａが映っている。治具画像６１Ａの上には、全方位マイクアレイ装置５Ｃの水平角の基準方向ｈ（例えば０°方向）を表す目印６３の目印画像６３Ａが重なって映っている。目印画像６３Ａは、全方位カメラ装置３ＣＺにおける画像処理により認識されても良いし、収音システム１Ｃのオペレータが目視で認識しても良い。
【０３３７】
撮像画像８０ｚでは、全方位カメラ装置３ＣＺの水平角の基準方向ｇは図２６中の上下方向を表す。従って、撮像画像８０ｚから、全方位カメラ装置３ＣＺは、治具画像６１Ａとして現れる全方位マイクアレイ装置５Ｃの水平角の基準方向ｈと、全方位カメラ装置３ＣＺの水平角の基準方向ｇとの角度差を、水平角のズレ量εとして算出できる。
【０３３８】
従って、全方位カメラ装置３ＣＺと全方位マイクアレイ装置５Ｃとはネットワーク（不図示）を介して接続されている場合には、全方位マイクアレイ装置５Ｃは、全方位マイクアレイ装置５の水平角の基準方向ｈを、全方位カメラ装置３ＣＺの水平角の基準方向ｇに対し、水平角のズレ量εだけずれた値として設定することができる。つまり、全方位マイクアレイ装置５Ｃは、実際の収音方向を示す座標（水平角，垂直角）の水平角として、水平角のズレ量εだけ逆方向に戻した角度を用いて、収音方向の座標を適正に演算できる。
【０３３９】
以上により、本実施形態のキャリブレーション方法では、全方位マイクアレイ装置５Ｃは、例えば全方位カメラ装置３ＣＺが演算した水平角のズレ量εを用いて、全方位カメラ装置３ＣＺの撮像方向を示す水平角と全方位マイクアレイ装置５Ｃの収音方向を示す水平角とを一致させ、全方位マイクアレイ装置５Ｃにおける収音方向の座標（水平角，垂直角）を調整することができる。
【０３４０】
以下、上述したキャリブレーション方法の構成、作用及び効果を説明する。
【０３４１】
本発明の一実施形態は、所定の撮像範囲の映像を撮像するカメラ装置と、前記カメラ装置の撮像範囲の音声を収音するマイクアレイ装置とを同軸上に位置合わせする工程と、前記マイクアレイ装置の筐体中心に形成された開口部の周縁部に、前記カメラ装置を取り付ける工程と、前記開口部の内側への前記カメラ装置の取り付けにより、前記同軸に対して直交する平面における、前記カメラ装置及び前記マイクアレイ装置の各水平角の基準方向を一致させる工程と、を有するキャリブレーション方法である。
【０３４２】
上述した方法では、全方位カメラ装置３ｚの水平角の基準方向ｇと、全方位マイクアレイ装置５の水平角の基準方向ｈとを簡易に一致させることができ、全方位カメラ装置３ｚ及び全方位マイクアレイ装置５の設置時の制約を緩和できる。従って、本実施形態の収音システム１Ｚでは、全方位マイクアレイ装置５は、全方位カメラ装置３ｚの撮像方向を示す座標（水平角，垂直角）の水平角と同じ水平角を用いて、収音方向の音声を高精度に収音することができる。
【０３４３】
また、本発明の一実施形態は、前記一致させる工程では、前記開口部の周縁部に形成された係止溝に前記カメラ装置の筐体外周に形成された係止部材を嵌合させることで、前記マイクアレイ装置の水平角の基準方向と前記カメラ装置の水平角の基準方向とを一致させる、キャリブレーション方法である。
【０３４４】
上述した方法では、例えばキー１１ｙとキー溝１５に嵌合するように、全方位カメラ装置３ｚを全方位マイクアレイ装置５の開口部１３の内側の内周空間に嵌め込むことで、全方位カメラ装置３ｚと全方位マイクアレイ装置５との各水平角の基準方向を簡易に一致させることができる。
【０３４５】
また、本発明の一実施形態は、前記一致させる工程では、前記開口部の周縁部に付加された第１マーカ部と前記カメラ装置の筐体外周に付加された第２マーカ部とを対向させることで、前記マイクアレイ装置の水平角の基準方向と前記カメラ装置の水平角の基準方向とを一致させる、キャリブレーション方法である。
【０３４６】
上述した方法では、例えば三角形のマーカ２１，２３の各尖端が対向するように、全方位カメラ装置３ＡＺを全方位マイクアレイ装置５Ａの開口部１３の内側の内周空間に嵌め込むことで、全方位カメラ装置３ＡＺの水平角の基準方向ｇと、全方位マイクアレイ装置５Ａの水平角の基準方向ｈとを簡易に一致させることができる。
【０３４７】
また、本発明の一実施形態は、前記取り付ける工程では、前記カメラ装置の筐体が、所定の取付具に取り付けられ、前記マイクアレイ装置の筐体が、前記所定の取付具に取り付けられた前記カメラ装置の筐体を前記開口部の内側に嵌め入れるように挿通して前記所定の取付具に取り付けられる、キャリブレーション方法である。
【０３４８】
上述した方法では、天井面８に取り付けて固定された取付部材７に、全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂが一体として取り付けられるので、全方位カメラ装置３ＢＺと全方位マイクアレイ装置５Ｂとの各水平角の基準方向を一致させることができる。
【０３４９】
また、本発明の一実施形態は、所定の撮像範囲の映像を撮像するカメラ装置と、前記カメラ装置の撮像範囲の音声を収音するマイクアレイ装置とを同軸上に位置合わせする工程と、前記マイクアレイ装置の筐体中心に形成された開口部の周縁部に、前記カメラ装置を取り付ける工程と、前記マイクアレイ装置の水平角の基準方向を表す冶具を、前記マイクアレイ装置の筐体の対向する両端部に取り付ける工程と、前記カメラ装置により、前記冶具を撮像する工程と、前記冶具の撮影画像を基に、前記カメラ装置の水平角の基準方向と前記マイクアレイ装置の水平角の基準方向とのズレ量を算出する工程と、算出された前記ズレ量を用いて、前記マイクアレイ装置の収音方向の水平角を調整することで、前記同軸に対して直交する平面における、前記カメラ装置及び前記マイクアレイ装置の各水平角の基準方向を一致させる工程と、を有するキャリブレーション方法である。
【０３５０】
上述した方法では、全方位マイクアレイ装置５Ｃは、例えば全方位カメラ装置３ＣＺが演算した水平角のズレ量εを用いて、全方位カメラ装置３ＣＺの撮像方向を示す水平角と全方位マイクアレイ装置５Ｃの収音方向を示す水平角とを一致させ、全方位マイクアレイ装置５Ｃにおける収音方向の座標（水平角，垂直角）を調整することができる。
【０３５１】
また、上述した各実施形態では、水平角の基準方向は、水平角が０°である方向として説明したが、任意の角度を基準方向として設定されても良い。
【０３５２】
また、上述した各実施形態における全方位マイクアレイ装置の筐体の内部に配置される各マイクロホンは、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせが用いられても良い。
【０３５３】
以下に後述する第６の実施形態は、カメラ装置とマイクアレイ装置とを結ぶ方向を各々の基準方向とし、カメラ装置の正面方向（０°方向）とカメラ装置の基準方向との偏差角と、マイクアレイ装置の正面方向（０°方向）とマイクアレイ装置の基準方向との偏差角とを算出して、水平角のキャリブレーションを行う指向性制御システム及び水平偏差角算出方法に関する。
【０３５４】
上述した監視システムにおいて、カメラ装置とマイクアレイ装置とが別体として異なる位置に配置された場合、カメラ装置の光軸とマイクアレイ装置の物理的な中心軸とが異なる。このため、カメラ装置の撮像方向に存在している被写体の会話音声をマイクアレイ装置が収音する場合、マイクアレイ装置が会話音声を収音する方向（以下、単に「収音方向」という）を示す座標（水平角，垂直角）と、カメラ装置の撮像方向を示す座標（水平角，垂直角）とを適正値に調整する必要がある。
【０３５５】
この調整のためには、例えばカメラ装置においてカメラ装置の撮像方向を示す座標（以下、「撮像方向座標」という）の水平角の正面方向（例えば０°方向）が既知であり、更に、マイクアレイ装置においてマイクアレイ装置の収音方向を示す座標（以下、「収音方向座標」という）の水平角の正面方向（例えば０°方向）が既知である必要がある。
【０３５６】
また、カメラ装置とマイクアレイ装置との位置関係を適切に把握する必要があり、カメラ装置を基準としたマイクアレイ装置の方向と、マイクアレイ装置を基準としたカメラ装置の方向とが既知となるためにも、例えばマイクアレイ装置の設置時にはマイクアレイ装置における水平角の正面方向（例えば０°方向）がカメラ装置に向いていることが望ましい。
【０３５７】
しかし、特許文献１では、カメラ装置の水平角の正面方向（例えば０°方向）と、マイクアレイ装置の水平角の正面方向（例えば０°方向）とが既知でない場合に、カメラ装置を基準としたマイクアレイ装置の方向と、マイクアレイ装置を基準としたカメラ装置の方向とを算出することは言及されていないので、各水平角がどの方向からの角度であるかが不明となってしまい、カメラ装置とマイクアレイ装置との位置関係を適切に把握できない。
【０３５８】
従って、例えばマイクアレイ装置が被写体の音声を収音する間、マイクアレイ装置の収音方向が被写体の存在する方向を向かないことがあり得るので、マイクアレイ装置は、カメラ装置の撮像方向に存在している被写体の会話音声を適正に収音することが困難となるという課題がある。
【０３５９】
また、マイクアレイ装置が設置されている場所に、後からカメラ装置を設置する場合は、マイクアレイ装置の水平角の正面方向（例えば０°方向）をカメラ装置に向けて設置することが困難な場合が多い。更に、複数のカメラ装置が設置された場所に、マイクアレイ装置を後から追加的に設置する場合には、マイクアレイ装置の水平角の正面方向（例えば０°方向）を複数のカメラ装置の方向に合わせることが出来ないという課題もある。
【０３６０】
そこで、本発明に係る第６の実施形態では、上述した従来の課題を解決するために、カメラ装置の撮像方向座標とマイクアレイ装置の収音方向座標との各水平角における０°方向と両者を結ぶ互いの基準方向との間の角度を示す水平偏差角を算出し、マイクアレイ装置に、カメラ装置の撮像方向に存在している被写体の会話音声を適正に収音させる指向性制御システム及び水平偏差角算出方法の例を説明する。
【０３６１】
以下、本発明に係る指向性制御システム及び水平偏差角算出方法の第６の実施形態について、図面を参照して説明する。本実施形態の指向性制御システムは、例えば工場、公共施設（例えば図書館、イベント会場）、又は店舗（例えば小売店、銀行）に設置される監視システム（有人監視システム及び無人監視システムを含む）として用いられる。
【０３６２】
なお、本発明は、指向性制御システムを構成する各装置（例えば後述する指向性制御装置）、又は指向性制御システムを構成する各装置（例えば後述する指向性制御装置）が行う各動作（ステップ）を有する水平偏差角算出方法として表現することも可能である。
【０３６３】
（第６の実施形態）
（指向性制御システムのシステム構成）
図２７（Ａ）は、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とが一体的に取り付けられる場合の本実施形態の指向性制御システム１０のシステム概要図である。図２７（Ｂ）は、全方位マイクアレイ装置２の収音方向の水平角の基準方向とキャリブレーション用全方位カメラ装置Ｃ１の撮像方向の水平角の基準方向とが一致するように全方位マイクアレイ装置２が取り付けられる場合の本実施形態の指向性制御システム１０Ａのシステム概要図である。
【０３６４】
図２７（Ａ）に示す指向性制御システム１０は、被写体（例えば図２７（Ａ）中の２人の人物。以下同様。）を撮像する第１撮像部としての全方位カメラ装置１１ｚと、同一の被写体を撮像する第２撮像部としてのキャリブレーション用全方位カメラ装置Ｃ１と、同一の被写体の音声（例えば２人の人物の会話音声）を収音する収音部としての全方位マイクアレイ装置２とを含む。図２７（Ａ）に示す指向性制御システム１０では、例えば全方位マイクアレイ装置２の筐体中心に円柱状の開口部２１ａ（図２（Ｄ）参照）が形成され、全方位マイクアレイ装置２とキャリブレーション用全方位カメラ装置Ｃ１とは、キャリブレーション用全方位カメラ装置Ｃ１が開口部２１ａの内側の内周空間に嵌め入れられることで一体として形成される。
【０３６５】
全方位カメラ装置１１ｚは、例えば監視カメラとしての機能を有し、不図示の光学系（例えば魚眼レンズ又は広角レンズ）及び撮像系（例えばイメージセンサ）が内蔵された筐体を有し、所定の設置面（例えばイベント会場の室内の天井面又はスタンド）に設置される。全方位カメラ装置１１ｚは、不図示のネットワークを介して、中央制御室のホストコンピュータ（不図示）に接続され、ホストコンピュータからの遠隔操作に応じて、パン方向動作、チルト方向動作、ズーム動作、撮像動作、撮像画像において指定された位置（例えば後述する指定位置Ａ’）に対応する実際の位置までの測距動作及び測角動作等を行う。全方位カメラ装置１１ｚは、例えば全方位カメラ装置１１ｚから後述する音声収音位置（又は音声位置）Ａに向かう第１撮像方向ＣＡＸ１に存在する被写体を撮像する（図２７（Ａ）参照）。
【０３６６】
キャリブレーション用全方位カメラ装置Ｃ１は、例えば全方位カメラ装置１１ｚの撮像方向座標及び全方位マイクアレイ装置２の収音方向座標の各水平角の正面方向（例えば０°方向）と、全方位カメラ装置１１ｚと全方位マイクアレイ装置２とを結ぶ互いの基準方向からの水平偏差角を算出するためのキャリブレーション用カメラとしての機能を有する。キャリブレーション用全方位カメラ装置Ｃ１は、不図示の光学系（例えば魚眼レンズ又は広角レンズ）及び撮像系（例えばイメージセンサ）が内蔵された筐体を有し、所定の設置面（例えば天井面又はスタンド）に設置される。キャリブレーション用全方位カメラ装置Ｃ１は、不図示のネットワークを介して、中央制御室のホストコンピュータ（不図示）に接続され、ホストコンピュータからの遠隔操作に応じて、パン方向動作、チルト方向動作、ズーム動作、撮像動作、撮像画像において指定された位置（例えば後述する指定位置Ａ’）に対応する実際の位置までの測距動作及び測角動作等を行う。キャリブレーション用全方位カメラ装置Ｃ１は、例えばキャリブレーション用全方位カメラ装置Ｃ１から後述する音声収音位置Ａに向かう第２撮像方向ＣＡＸ２に存在する被写体を撮像する（図２７（Ａ）参照）。
【０３６７】
図２７（Ａ）に示す指向性制御システム１０の全方位マイクアレイ装置２は、例えば開口部２１ａの内側の内周空間にキャリブレーション用全方位カメラ装置Ｃ１の筐体が嵌め込まれるドーナツ状型又はリング状型の筐体２１（図２（Ｄ）参照）を有する。全方位マイクアレイ装置２では、開口部２１ａの周囲であって、更に筐体２１の円周方向に沿って、複数のマイクロホンユニット２２が同心円状に配置される。マイクロホンユニット１８は、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられ、以下同様である。全方位マイクアレイ装置２は、例えば全方位マイクアレイ装置２から音声収音位置Ａに向かう収音方向ＭＩＸに音声の収音指向性を形成し、収音方向ＭＩＸに存在する被写体の音声を収音する。
【０３６８】
一方、図２７（Ｂ）に示す指向性制御システム１０Ａでは、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とは一体として形成されず、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とは別体として動作する。このため、図２７（Ｂ）に示す指向性制御システム１０Ａでは、後述する指向性制御装置３が水平偏差角を算出した後、キャリブレーション用全方位カメラ装置Ｃ１が取り外され、キャリブレーション用全方位カメラ装置Ｃ１の撮像方向ＣＡＸ２の水平角０°方向（第２正面方向、図３１（Ｂ）又は図３２（Ｂ）参照）と全方位マイクアレイ装置２の水平角０°方向とが一致するように全方位マイクアレイ装置２が取り付けられる。
【０３６９】
これにより、図２７（Ａ）に示す指向性制御システム１０と同様に、全方位マイクアレイ装置２は、キャリブレーション用全方位カメラ装置Ｃ１の水平角０°方向（第２正面方向）を共通に用いることができるので、音声収音位置Ａに向かう収音方向ＭＩＸに音声の収音指向性を適正に形成でき、収音方向ＭＩＸに存在する被写体の音声を適正に収音できる。以下、本実施形態の指向性制御システムのシステム構成として、図２７（Ａ）に示す指向性制御システム１０を想定して説明するが、図２７（Ｂ）に示す指向性制御システム１０Ａに置き換えても同様な効果が得られる。
【０３７０】
なお、本実施形態では、魚眼レンズ又は広角レンズを含む全方位カメラ装置１１ｚを用いているが、標準的なレンズ或いは望遠レンズを含み、機械的にパン方向、チルト方向への動作及びズーム動作を行うＰＴＺ（Pan Tilt Zoom）カメラ装置でも良い。
【０３７１】
図２８（Ａ）は、図２７（Ａ）に示す指向性制御システム１０のシステム構成の一例を示すブロック図である。図２８（Ｂ）は、図２７（Ｂ）に示す指向性制御システム１０Ａのシステム構成の一例を示すブロック図である。図２８（Ａ）に示す指向性制御システム１０は、全方位カメラ装置１１ｚと、全方位マイクアレイ装置２と、キャリブレーション用全方位カメラ装置Ｃ１と、指向性制御装置３と、レコーダ装置４とを含む構成である。全方位カメラ装置１１ｚと、全方位マイクアレイ装置２と、キャリブレーション用全方位カメラ装置Ｃ１と、指向性制御装置３と、レコーダ装置４とは、ネットワークＮＷを介して相互に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良く、以下も同様である。
【０３７２】
また、図２８（Ｂ）に示す指向性制御システム１０Ａでは、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とが別体として形成されていることを除けば、図２８（Ａ）に示す指向性制御システム１０と同様の構成である。
【０３７３】
全方位カメラ装置１１ｚは、ネットワークＮＷに接続され、後述する全方位マイクアレイ装置２の収音方向（θＭＡｈ，θＭＡｖ）を算出するための入力パラメータ（例えば全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１との間の距離ＬＣＫ）を測定して取得し、測定された入力パラメータと撮像された画像データとを、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。
【０３７４】
キャリブレーション用全方位カメラ装置Ｃ１は、ネットワークＮＷに接続され、同様に後述する全方位マイクアレイ装置２の収音方向（θＭＡｈ，θＭＡｖ）を算出するための入力パラメータ（例えば全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１との間の距離ＬＣＫ）を測定して取得し、測定された入力パラメータと撮像された画像データとを、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。
【０３７５】
全方位マイクアレイ装置２は、ネットワークＮＷに接続され、マイクロホンを含み、等間隔毎に設けられたマイクロホンユニット２２，２３（図２（Ａ）〜図２（Ｅ）参照）と、各マイクロホンユニット２２，２３の各動作を制御するための制御部（不図示）とを少なくとも含む構成である。
【０３７６】
全方位マイクアレイ装置２は、各々のマイクロホンユニット２２，２３を用いて、音声収音対象となる被写体が存在する収音方向の音声を収音し、各々のマイクロホンユニット２２，２３が収音した音声データを、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。
【０３７７】
全方位マイクアレイ装置２は、後述する指向性制御装置３からの指向性形成指示に応じて、指向性制御装置３の信号処理部３３の座標算出部３４ｘが算出した収音方向（θＭＡｈ，θＭＡｖ）に、各々のマイクロホンユニット２２，２３の収音指向性を形成する。
【０３７８】
これにより、全方位マイクアレイ装置２は、収音指向性が形成された収音方向（θＭＡｈ，θＭＡｖ）から収音した音声データの音量レベルを相対的に増大でき、収音指向性が形成されない方向から収音した音声データの音量レベルを相対的に低減できる。なお、収音方向（θＭＡｈ，θＭＡｖ）の算出方法については後述する。
【０３７９】
全方位マイクアレイ装置２の外観については、図２を参照して上述したので説明を省略する。なお、全方位マイクアレイ装置２の各マイクロホンユニット２２，２３は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせが用いられても良い。
【０３８０】
指向性制御装置３は、ネットワークＮＷに接続され、例えば監視システム制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末でも良い。
【０３８１】
指向性制御装置３は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。信号処理部３３は、水平偏差角算出部３４ｗと、座標算出部３４ｘと、出力制御部３４ｃとを含む。
【０３８２】
通信部３１は、ネットワークＮＷを介して、全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１又は全方位マイクアレイ装置２が送信した画像データ又は音声データを受信して信号処理部３３に出力する。
【０３８３】
操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
【０３８４】
操作部３２は、ユーザの入力操作に応じて、ユーザが音量レベルの増大又は低減を所望する範囲、即ち図２９に示す指定位置Ａ’を表す座標データを取得して信号処理部３３に出力する。
【０３８５】
信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。
【０３８６】
偏差量算出部としての水平偏差角算出部３４ｗは、ディスプレイ装置３６に表示された画像データのユーザによる任意の位置（＝指定位置Ａ’）の指定に応じて、全方位カメラ装置１１ｚから指定位置Ａ’に対応する音声収音位置Ａに向かう第１撮像方向ＣＡＸ１の方向角度情報と、キャリブレーション用全方位カメラ装置Ｃ１から音声収音位置Ａに向かう第２撮像方向ＣＡＸ２の方向角度情報と、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１の距離とを基に、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とを結ぶ基準位置（図３１（Ｂ）に示すＫ−Ｋ’線）から、全方位カメラ装置１１ｚの第１正面方向（水平角０°方向）までの第１水平偏差角εＣｈと、キャリブレーション用全方位カメラ装置Ｃ１の第２正面方向（水平角０°方向）までの第２水平偏差角εＫｈとを算出する。水平偏差角算出部３４ｗの具体的な算出方法は、図３１及び図３２を参照して後述する。
【０３８７】
座標算出部３４ｘは、水平偏差角算出部３４ｗにより算出された第１水平偏差角εＣｈ及び第２水平偏差角εＫｈを基に、全方位マイクアレイ装置２から音声収音位置Ａに向かう収音方向ＭＩＸの水平角θＭＡｈ及び垂直角θＭＡｖを、被写体の音声を全方位マイクアレイ装置２に収音させる収音方向を示す座標（収音方向座標）として算出する。
【０３８８】
収音方向（θＭＡｈ，θＭＡｖ）のうち、θＭＡｈは全方位マイクアレイ装置２から音声収音位置Ａに向かう収音方向ＭＩＸの水平角を表し、θＭＡｖは全方位マイクアレイ装置２から音声収音位置Ａに向かう収音方向ＭＩＸの垂直角を表す。
【０３８９】
全方位カメラ装置１１ｚの座標軸と全方位マイクアレイ装置２の座標軸との関係は、第１水平偏差角εＣｈと第２水平偏差角εＫｈ及び相互の距離Ｌｃｋからわかっているので、指向性制御装置３は、ディスプレイ装置３６に表示された画像データから音声集音位置の指定に応じて、収音方向（θＭＡｈ，θＭＡｖ）を算出する。
【０３９０】
なお、音声収音位置Ａは、操作部３２がディスプレイ装置３６の画面においてユーザの指ＦＧ又はスタイラスペンによって指定された指定位置Ａ’に対応する実際の監視対象となる現場の位置である（図２７（Ａ）及び図２９参照）。
【０３９１】
出力制御部３４ｃは、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、全方位カメラ装置１１ｚから送信された映像データをディスプレイ装置３６に再生出力させ、全方位マイクアレイ装置２から送信された音声データをスピーカ装置３７に音声出力させる。また、出力制御部３４ｃは、全方位マイクアレイ装置２の動作を制御し、例えば座標算出部３４ｘにより算出された収音方向座標（θＭＡｈ，θＭＡｖ）に対応する収音方向ＭＩＸに、音声データの収音指向性を全方位マイクアレイ装置２に形成させる。
【０３９２】
表示部としてのディスプレイ装置３６は、全方位カメラ装置１１ｚ又はキャリブレーション用全方位カメラ装置Ｃ１が撮像した画像データを画面に表示する。
【０３９３】
音声出力部としてのスピーカ装置３７は、全方位マイクアレイ装置２が収音した音声データ、又は座標算出部３４ｘが算出した収音方向（θＭＡｈ，θＭＡｖ）に収音指向性が形成された後に全方位マイクアレイ装置２が収音した音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置３７は、指向性制御装置３とは別々の構成としても良い。
【０３９４】
メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のワークメモリとして機能する。
【０３９５】
レコーダ装置４は、全方位カメラ装置１１ｚ又はキャリブレーション用全方位カメラ装置Ｃ１が撮像した画像データと、全方位マイクアレイ装置２が収音した音声データとを記録する。レコーダ装置４は、全方位カメラ装置１１ｚが撮像した画像データと、全方位マイクアレイ装置２が収音した音声データとを対応付けて記録する。
【０３９６】
次に、本実施形態の指向性制御システム１０の動作概要について、図２７（Ａ）及び図２９を参照して説明する。図２９は、全方位マイクアレイ装置２から、ディスプレイ装置３６に表示された画像の中からユーザの指が指定した指定位置Ａ’に対応する音声収音位置Ａに向かう方向を収音方向として収音された音声データがスピーカ装置３７から出力される様子を示す図である。
【０３９７】
指向性制御システム１０では、全方位カメラ装置１１ｚは図２７（Ａ）に示す被写体（例えば２人の人物）を撮像する。全方位マイクアレイ装置２は、被写体の会話音声を含む周囲の音声を収音する。図２７（Ａ）では、被写体の２人の人物は会話している。例えば全方位カメラ装置１１ｚが撮像した画像データは、指向性制御装置３のディスプレイ装置３６に表示される（図２９参照）。
【０３９８】
ここで、ユーザの指ＦＧによって、ディスプレイ装置３６の指定位置Ａ’、即ち会話している２人の人物の中心位置又は略中心位置が指定された場合には、指向性制御装置３は、指定位置Ａ’を表す第１撮像方向ＣＡＸ１の座標データ（θＣＡｈ，θＣＡｖ）を取得する。
【０３９９】
指向性制御装置３は、キャリブレーションによって算出されている、全方位カメラ装置１１ｚの座標系と全方位マイクアレイ装置２の座標系との関係から、全方位マイクアレイ装置２の設置位置から音声収音位置Ａに向かう方向、即ち収音方向を示す収音方向座標（θＭＡｈ，θＭＡｖ）を、全方位マイクアレイ装置２の収音方向として算出する。全方位マイクアレイ装置２は、指向性制御装置３が算出した（θＭＡｈ，θＭＡｖ）の座標データを用いて、全方位マイクアレイ装置２から音声収音位置Ａに向かう方向に、収音指向性を形成する。
【０４００】
従って、全方位マイクアレイ装置２は、収音指向性が形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性が形成された方向に存在しない他の物体から発せられる音量レベルより増大できる。
【０４０１】
これにより、指向性制御装置３は、スピーカ装置３７に、収音指向性が形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性が形成された方向に存在しない他の物体の音量レベルより大きく音声出力させることができる（図２９参照）。
【０４０２】
次に、本実施形態の指向性制御システム１０又は指向性制御システム１０Ａの詳細な動作手順について、図３０（Ａ）及び図３０（Ｂ）を参照して説明する。図３０（Ａ）は、本実施形態の指向性制御システム１０，１０Ａにおける第１水平偏差角εＣｈ、第２水平偏差角εＫｈの算出及び収音指向性の形成に関する動作手順を説明するフローチャートである。図３０（Ｂ）は、図３０（Ａ）に示すステップＳ２０のキャリブレーションの動作手順を詳細に説明するフローチャートである。
【０４０３】
図３０（Ｂ）に示すキャリブレーションの説明において、初期設置には、指向性制御システム１０又は指向性制御システム１０Ａを構成する全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１及び全方位マイクアレイ装置２が所定の設置面に設置又は取り付けられる動作が含まれる。図３０（Ｂ）に示すキャリブレーションの説明を簡単にするために、例えば図２７（Ａ）に示す指向性制御システム１０の動作手順について説明し、図２７（Ａ）に示す指向性制御システム１０の動作手順と異なる内容がある場合に必要に応じて、指向性制御システム１０Ａの動作手順について説明する。
【０４０４】
図３０（Ａ）において、全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１及び全方位マイクアレイ装置２が設置され、全方位カメラ装置１１ｚと全方位マイクアレイ装置２との各座標軸の関係を定めるためのキャリブレーションが行われる（ＳＴ２０）。なお、ステップＳ２０の動作の詳細は図３０（Ｂ）を参照して後述する。
【０４０５】
ステップＳＴ２０でキャリブレーションが終わった後、例えばユーザの入力操作により、全方位カメラ装置１１ｚが撮影した映像（又は画像）から収音したい位置がディスプレイ装置３６の画面上において指定される（ＳＴ２１）。
【０４０６】
指向性制御装置３の座標算出部３４ｘは、ステップＳＴ１２（後述）により測定された入力パラメータＬＣＫとステップＳＴ１５により算出された第１水平変位角εＣｈ及び第２水平変位角εＫｈとを用いて、ステップＳＴ２１により指定された第１撮像方向ＣＡＸ１の水平角及び垂直角（θＣＡｈ，θＣＡｖ）から、被写体の音声を全方位マイクアレイ装置２に収音させる収音方向を示す座標（収音方向座標、即ち（θＭＡｈ，θＭＡｖ））として算出する（ＳＴ２２）。
【０４０７】
指向性制御装置３の出力制御部３４ｃは、ステップＳＴ２２により算出された収音方向座標（θＭＡｈ，θＭＡｖ）の収音方向に、各々のマイクロホンユニット２２，２３の収音指向性を形成する（ＳＴ２３）。
【０４０８】
これにより、全方位マイクアレイ装置２は、収音指向性が形成された収音方向座標（θＭＡｈ，θＭＡｖ）により定められる収音方向から収音した音声データの音量レベルを相対的に増大でき、収音指向性が形成されない方向から収音した音声データの音量レベルを想定的に低減できる。
【０４０９】
なお、本実施形態の指向性制御システム１０において、全方位マイクアレイ装置２が音声を収音するタイミングは、ステップＳＴ２０の直後に限定されず、例えば全方位マイクアレイ装置２の電源がＯＮされた後でも良い。
【０４１０】
ステップＳＴ２０のキャリブレーションに関して詳細に説明を行う。図３０（Ｂ）において、指向性制御システム１０を構成する全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１及び全方位マイクアレイ装置２が所定の設置面（例えばイベント会場の室内の天井面又はスタンド）に固定されるように初期設置される（ＳＴ１１、図３１（Ａ）参照）。
【０４１１】
ステップＳＴ１１では、例えば次のようにして、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とが一体として取り付けられる。
【０４１２】
具体的には、先ず所定の設置面（例えばスタンド）に取付具（不図示、例えば金属製の取付金具、セラミックス製の取付具、又は合成樹脂（例えばプラスチック又はエラストマ）製の取付具）が取り付けられて固定される。
【０４１３】
取付具が所定の設置面に取り付けられた後、キャリブレーション用全方位カメラ装置Ｃ１及び全方位マイクアレイ装置２の両方が取付具に取り付けられる。上述したように、取付具に取り付けられたキャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とは、キャリブレーション用全方位カメラ装置Ｃ１が全方位マイクアレイ装置２の筐体中心に形成された開口部２１ａの内周空間に嵌め入れられることで一体として形成される。また、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とは、各水平角の正面方向（０°方向）が共通するように一体として形成される。
【０４１４】
従って、キャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向ＣＡＸ２の水平角及び垂直角と、全方位マイクアレイ装置２の収音方向の水平角及び垂直角とは同一となるので、少なくとも第２水平偏差角εＫｈが算出されたことで第２正面方向が判明すれば、全方位マイクアレイ装置２における収音方向座標が適正に算出可能となる。
【０４１５】
全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１及び全方位マイクアレイ装置２が初期設置された後、水平偏差角算出部３４ｗが第１水平偏差角εＣｈ及び第２水平偏差角εＫｈを算出するために必要となる入力パラメータ（例えば距離ＬＣＫ）の測定が行われる（ＳＴ１２）。距離ＬＣＫは、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１との間の距離を表す。
【０４１６】
ステップＳＴ１２では、ユーザが測定器（例えばレーザ測距計）を用いて距離ＬＣＫを測定する場合、又は全方位カメラ装置１１ｚが全方位カメラ装置１１ｚ自身の公知技術の機能を用いて距離ＬＣＫを測定して取得する場合が含まれる。以下、説明を簡単にするために、ステップＳ１２では、ユーザが測定器（例えばレーザ測距計）を用いて距離ＬＣＫを測定したとする。信号処理部３３は、ユーザの入力操作に応じて操作部３２から出力された入力パラメータとしての距離ＬＣＫのデータを取得する。
【０４１７】
ステップＳＴ１２の後、指向性制御装置３は、ディスプレイ装置３６の画面に表示されている画像データの中から任意の指定位置Ａ’の指定を、操作部３２を介して受け付ける（ＳＴ１３）。指向性制御装置３は、ディスプレイ装置３６の画面に表示されている画像データの指定位置Ａ’の指定を受け付けたことを全方位カメラ装置１１ｚ及びキャリブレーション用全方位カメラ装置Ｃ１に送信する。
【０４１８】
ステップＳＴ１３の後、全方位カメラ装置１１ｚは、指定位置Ａ’の指定を受け付けたことを指向性制御装置３から受信した場合、全方位カメラ装置１１ｚの設置位置を起点として、ステップＳＴ１３において指定された画像データ上の指定位置Ａ’に対応する音声収音位置Ａに向かう第１撮像方向ＣＡＸ１の水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標データを測定して取得する（ＳＴ１４）。但し、ステップＳＴ１４で得られた水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標データのうち、水平角θＣＡｈは、第１正面方向がどの方向であるかが未だ判明していない状態のデータである。
【０４１９】
更に、キャリブレーション用全方位カメラ装置Ｃ１は、指定位置Ａ’の指定を受け付けたことを指向性制御装置３から受信した場合、キャリブレーション用全方位カメラ装置Ｃ１の設置位置を起点として、ステップＳＴ１３において指定された画像データ上の指定位置Ａ’に対応する音声収音位置Ａに向かう第２撮像方向ＣＡＸ２の水平角及び垂直角（θＫＡｈ，θＫＡｖ）の座標データを測定して取得する（ＳＴ１４）。同様に、ステップＳＴ１４で得られた水平角及び垂直角（θＫＡｈ，θＫＡｖ）の座標データのうち、水平角θＫＡｈは、第２正面方向がどの方向であるかが未だ判明していない状態のデータである。
【０４２０】
全方位カメラ装置１１ｚは、第１撮像方向ＣＡＸ１の水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標データを指向性制御装置３に送信する。キャリブレーション用全方位カメラ装置Ｃ１は、第２撮像方向ＣＡＸ２の水平角及び垂直角（θＫＡｈ，θＫＡｖ）の座標データを指向性制御装置３に送信する。
【０４２１】
指向性制御装置３の水平偏差角算出部３４ｗは、ステップＳ１２により測定された入力パラメータＬＣＫと、ステップＳ１４により測定された第１撮像方向ＣＡＸ１の水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標データ及び第２撮像方向ＣＡＸ２の水平角及び垂直角（θＫＡｈ，θＫＡｖ）の座標データとを基に、第１水平偏差角εＣｈ及び第２水平偏差角εＫｈを算出する（ＳＴ１５）。ステップＳ１５の動作の詳細については、図３１及び図３２を参照して後述する。
【０４２２】
これにより、指向性制御装置３は、全方位マイクアレイ装置２の収音方向座標を算出する前に、全方位カメラ装置１１ｚの水平角の第１正面方向（水平角０°）がどの方向であるかを判明でき、更に、キャリブレーション用全方位カメラ装置Ｃ１の第２正面方向（水平角０°）がどの方向であるかを判明できる。
【０４２３】
ここで、ステップＳＴ１１の初期設置において、全方位マイクアレイ装置２の収音方向の水平角の正面方向（例えば０°方向）とキャリブレーション用全方位カメラ装置Ｃ１の水平角の正面方向（０°方向）とが一致するように全方位マイクアレイ装置２が設置されている場合には（ＳＴ１６、ＹＥＳ）、キャリブレーションを終了してステップＳＴ２１に進む。
【０４２４】
一方、ステップＳＴ１１の初期設置において、全方位マイクアレイ装置２の収音方向の水平角の基準方向（例えば０°方向）とキャリブレーション用全方位カメラ装置Ｃ１の水平角の正面方向（０°方向）とが一致するように全方位マイクアレイ装置２が設置されていない場合には（ＳＴ１６、ＮＯ）、指向性制御システム１０の動作手順は、ステップＳＴ２１に進む。
【０４２５】
即ち、ステップＳＴ１７では、全方位マイクアレイ装置２の収音方向の水平角の正面方向（例えば０°方向）とキャリブレーション用全方位カメラ装置Ｃ１の水平角の正面方向（０°方向）とが一致するように全方位マイクアレイ装置２が設置される（ＳＴ１７）。
【０４２６】
ステップＳＴ１７では、例えば次のようにして、全方位マイクアレイ装置２の収音方向の水平角の基準方向（例えば０°方向）とキャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向ＣＡＸ２の水平角の基準方向とが一致するように全方位マイクアレイ装置２が設置される。
【０４２７】
具体的には、キャリブレーション用全方位カメラ装置Ｃ１の筐体の外周には、例えば三角形又は四角形のマーカ（不図示）が付加される。マーカは、キャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向の水平角の正面方向（０°方向）を表す方向に付加されている。また、全方位マイクアレイ装置２の筐体中心に形成された開口部２１ａの周縁部には、キャリブレーション用全方位カメラ装置Ｃ１のマーカと対向する位置に、例えば同様な形状のマーカ（不図示）が付加される。
【０４２８】
従って、キャリブレーション用全方位カメラ装置Ｃ１のマーカと全方位マイクアレイ装置２のマーカとが対向するように、全方位マイクアレイ装置２が設置されることで、全方位マイクアレイ装置２の収音方向の水平角の正面方向（０°方向）とキャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向ＣＡＸ２の水平角の正面方向とが一致するように全方位マイクアレイ装置２が設置され、キャリブレーションが終了する。
【０４２９】
（全方位マイクアレイ装置２の収音方向を示す座標（θＭＡｈ，θＭＡｖ）の算出方法）
次に、指向性制御装置３の水平偏差角算出部３４ｗが第１水平偏差角εＣｈ及び第２水平偏差角εＫｈを算出する方法について、図３１及び図３２を参照して詳細に説明する。
【０４３０】
図３１は、本実施形態における全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１、及び音声収音位置Ａの各位置関係を示す図である。図３１（Ａ）は、斜視図である。図３１（Ｂ）は、図７（Ａ）中の上側から鉛直下方向を見た場合の平面図である。図３１（Ｃ）は、図７（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０４３１】
図３２は、本実施形態における全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１、及び音声収音位置Ａの各位置関係を示す図である。図３２（Ａ）は、斜視図である。図３２（Ｂ）は、図３２（Ａ）中の上側から鉛直下方向を見た場合の平面図である。図３２（Ｃ）は、図３２（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０４３２】
水平偏差角算出部３４ｗは、ディスプレイ装置３６に表示された画像データのユーザによる任意の指定位置Ａ’の指定に応じて、
（１）ステップＳＴ１２により測定された全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１との間の距離ＬＣＫと、
（２）ステップＳＴ１４により測定された第１撮像方向ＣＡＸ１の水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標と、
（３）ステップＳＴ１４により測定された第２撮像方向ＣＡＸ２の水平角及び垂直角（θＫＡｈ，θＫＡｖ）の座標と、
（４）ステップＳＴ１１の初期設置時において測定された全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１の水平面からの各高さＨＣ，ＨＫと、
（５）音声収音位置Ａの水平面からの高さＨＡと、を基に、
第１水平偏差角εＣｈ及び第２水平偏差角εＫｈを算出する。
【０４３３】
（４）全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１、更に全方位マイクアレイ装置２の水平面からの各高さＨＣ，ＨＫ，ＨＭは、全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１、全方位マイクアレイ装置２の各初期設置時に決まる固定値である。例えば、全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１、更に全方位マイクアレイ装置２の水平面からの各高さＨＣ，ＨＫ，ＨＭは、同一である。
【０４３４】
（５）音声収音位置Ａの水平面からの高さＨＡは、予め決められた固定値であり、例えばユーザの指ＦＧが指定位置Ａ’を指定する時に、音声収音位置Ａの周囲に人物がいる場合には人物の大きさをＨＡとして選択された値又は入力された値である。又は、ユーザの指ＦＧが指定位置Ａ’を指定した時に、指向性制御装置３が指定された位置に人物（例えば大人又は子供）がいることを判定した場合に、既定の値（例えば１．５ｍ又は０．８ｍ）が用いられても良い。
【０４３５】
以下、水平偏差角算出部３４ｗにおける第１水平偏差角εＣｈ及び第２水平偏差角εＫｈの算出方法について、具体的に説明する。先ず、本算出方法を説明する前提として、全方位カメラ装置１１ｚの第１撮像方向ＣＡＸ１の水平角を定める場合に必要となる水平角の正面方向（０°方向）を示す第１正面方向は既知でない、即ち未知であるとする（図３１（Ｂ）又は図３２（Ｂ）参照）。同様に、キャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向ＣＡＸ２の水平角を定める場合に必要となる水平角の正面方向（０°方向）を示す第２正面方向は既知でない、即ち未知であるとする（図３１（Ｂ）又は図３２（Ｂ）参照）。
【０４３６】
水平偏差角算出部３４ｗは、図３１（Ｃ）に示す△ＣＡＳにおいて、全方位カメラ装置１１ｚの水平面からの高さＨＣと、音声収音位置Ａの水平面からの高さＨＡと、第１撮像方向ＣＡＸ１の垂直角θＣＡｖとを基に、全方位カメラ装置１１ｚから音声収音位置Ａまでの距離の水平成分の距離ＬＣＡｈを数式（６４）に従って算出する。
【０４３７】
【数６４】
2018057023.tif 000066
【０４３８】
水平偏差角算出部３４ｗは、図３２（Ｃ）に示す△ＫＡＳにおいて、キャリブレーション用全方位カメラ装置Ｃ１の水平面からの高さＨＫと、音声収音位置Ａの水平面からの高さＨＡと、第２撮像方向ＣＡＸ２の垂直角θＫＡｖとを基に、キャリブレーション用全方位カメラ装置Ｃ１から音声収音位置Ａまでの距離の水平成分の距離ＬＫＡｈを数式（６５）に従って算出する。
【０４３９】
【数６５】
2018057023.tif 000067
【０４４０】
水平偏差角算出部３４ｗは、距離ＬＣＫと数式（６４）及び数式（６５）により算出された距離ＬＣＡｈ及びＬＫＡｈとを用いて、図３１（Ｂ）に示す△ＫＣＡにおける余弦定理により、数式（６６）に従って、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とが対向する直線と、全方位カメラ装置１１ｚから音声収音位置Ａまでの直線Ｋ−Ｋ ‘とがなす水平角ψＫＣＡｈの余弦値ｃｏｓψＫＣＡｈを算出する。
【０４４１】
【数６６】
2018057023.tif 000068
【０４４２】
水平偏差角算出部３４ｗは、数式（６６）の算出結果により、数式（６７）に従って、水平角ψＫＣＡｈを算出する。
【０４４３】
【数６７】
2018057023.tif 000069
【０４４４】
水平偏差角算出部３４ｗは、距離ＬＣＫと数式（６４）及び数式（６５）により算出された距離ＬＣＡｈ及びＬＫＡｈとを用いて、図３１（Ｂ）に示す△ＫＣＡにおける余弦定理により、数式（６８）に従って、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とが対向する直線と、キャリブレーション用全方位カメラ装置Ｃ１から音声収音位置Ａまでの直線Ｋ−Ｋ‘とがなす水平角ψＣＫＡｈの余弦値ｃｏｓψＣＫＡｈを算出する。
【０４４５】
【数６８】
2018057023.tif 000070
【０４４６】
水平偏差角算出部３４ｗは、数式（６８）の算出結果により、数式（６９）に従って、水平角ψＫＣＡｈを算出する。
【０４４７】
【数６９】
2018057023.tif 000071
【０４４８】
水平偏差角算出部３４ｗは、第１撮像方向ＣＡＸ１の水平角θＣＡｈと数式（６７）により算出された水平角ψＫＣＡｈとを用いて、数式（７０）に従って、第１水平偏差角εＣｈを算出する。
【０４４９】
【数７０】
2018057023.tif 000072
【０４５０】
水平偏差角算出部３４ｗは、第２撮像方向ＣＡＸ２の水平角θＫＡｈと数式（６８）により算出された水平角ψＣＫＡｈとを用いて、数式（７１）に従って、第２水平偏差角εＫｈを算出する。
【０４５１】
【数７１】
2018057023.tif 000073
【０４５２】
以上により、本実施形態の指向性制御システム１０又は指向性制御システム１０Ａでは、全方位カメラ装置１１ｚ及びキャリブレーション用全方位カメラ装置Ｃ１は、同一の被写体の画像を撮像し、全方位マイクアレイ装置２は、撮像される被写体の音声を収音する。指向性制御装置３の水平偏差角算出部３４ｗは、ディスプレイ装置３６に表示された全方位カメラ装置１１ｚの画像データにおいて任意の指定位置Ａ’が指定されると、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とを結ぶ互いの基準方向に対して全方位カメラ装置１１ｚの水平角の正面方向がなす偏差の角度である第１水平偏差角εＣｈと、キャリブレーション用全方位カメラ装置Ｃ１の水平角の第２正面方向とキャリブレーション用全方位カメラ装置Ｃ１の基準方向とがなす偏差の角度である第２水平偏差角εＫｈとを算出する。
【０４５３】
これにより、指向性制御システム１０では、指向性制御装置３は、全方位カメラ装置１１ｚから音声収音位置Ａに向かう撮像方向座標から、キャリブレーション用全方位カメラ装置Ｃ１の筐体周囲を囲むように取り付けられた全方位マイクアレイ装置２、又はキャリブレーション用全方位カメラ装置Ｃ１の水平角の基準方向と一致するようにキャリブレーション用全方位カメラ装置Ｃ１の位置に取り付けられた全方位マイクアレイ装置２の収音方向座標を算出できる。
【０４５４】
即ち、指向性制御装置３は、全方位マイクアレイ装置２の収音方向座標を算出する前に、全方位カメラ装置１１ｚの水平角の第１正面方向が全方位カメラ装置１１ｚの基準方向からどのくらいの偏差が生じているかを判明でき、更に、キャリブレーション用全方位カメラ装置Ｃ１の第２正面方向がキャリブレーション用全方位カメラ装置Ｃ１の基準方向からどのくらいの偏差が生じているかを判明できる。従って、指向性制御システム１０では、キャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向ＣＡＸ２の水平角及び垂直角と、全方位マイクアレイ装置２の収音方向の水平角及び垂直角とは同一となるので、第１水平偏差角εＣｈと第２水平偏差角εＫｈが算出されたことで、距離Ｌｃｋから、全方位マイクアレイ装置２における収音方向座標が適正に算出可能となる。
【０４５５】
即ち、指向性制御装置３は全方位カメラ装置１１ｚにより撮像された画像データの任意の音声収音位置に向かう全方位マイクアレイ装置２からの収音方向座標を適正に算出することができる。
【０４５６】
以下、上述した本発明に係る指向性制御システム及び水平偏差角算出方法の構成、作用及び効果を説明する。
【０４５７】
本発明の一実施形態は、被写体の画像を撮像する第１撮像部と、前記被写体の画像を撮像する第２撮像部と、前記被写体の音声を収音する収音部と、前記第１撮像部により撮像された画像データを表示する表示部と、表示された前記画像データの任意の位置の指定に応じて、前記第１撮像部から前記画像データの指定位置に対応する音声収音位置に向かう第１撮像方向の水平角の第１基準水平角からの第１水平偏差角と、前記第２撮像部から前記音声収音位置に向かう第２撮像方向の水平角の第２基準方向からの第２水平偏差角とを算出する偏差量算出部と、を備える、指向性制御システムである。
【０４５８】
上述した構成では、全方位カメラ装置１１ｚ及びキャリブレーション用全方位カメラ装置Ｃ１は、同一の被写体の画像を撮像し、全方位マイクアレイ装置２は、撮像される被写体の音声を収音する。指向性制御装置３の水平偏差角算出部３４ｗは、ディスプレイ装置３６に表示された全方位カメラ装置１１ｚの画像データにおいて任意の指定位置Ａ’が指定されると、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とを結ぶ互いの基準方向に対して全方位カメラ装置１１ｚの水平角の第１正面方向（例えば０°方向）がなす偏差の角度である第１水平偏差角εＣｈと、キャリブレーション用全方位カメラ装置Ｃ１の水平角の第２正面方向とキャリブレーション用全方位カメラ装置Ｃ１の基準方向とがなす偏差の角度である第２水平偏差角εＫｈとを算出する。
【０４５９】
これにより、指向性制御システム１０では、指向性制御装置３は、全方位カメラ装置１１ｚから音声収音位置Ａに向かう撮像方向座標から、キャリブレーション用全方位カメラ装置Ｃ１の筐体周囲を囲むように取り付けられた全方位マイクアレイ装置２、又はキャリブレーション用全方位カメラ装置Ｃ１の水平角の基準方向と一致するようにキャリブレーション用全方位カメラ装置Ｃ１の位置に取り付けられた全方位マイクアレイ装置２の収音方向座標の各水平角の正面方向（例えば０°方向）と互いの基準方向とがなす各偏差量を算出できる。従って、指向性制御システム１０では、指向性制御装置３は、全方位カメラ装置１１ｚにより撮像された画像データの任意の音声収音位置に向かう全方位マイクアレイ装置２からの収音方向座標を適正に算出することができる。
【０４６０】
また、本発明の一実施形態は、前記偏差量算出部が、前記第１撮像部から前記第２撮像部までの距離と、前記第１撮像部から前記音声収音位置に向かう水平角及び垂直角と、前記第２撮像部から前記音声収音位置に向かう水平角及び垂直角と、前記第１撮像部の水平面からの高さと、前記第２撮像部の前記水平面からの高さと、前記音声収音位置の前記水平面からの高さと、を基に、前記第１水平偏差角及び前記第２水平偏差角を算出する、指向性制御システムである。
【０４６１】
上述した構成では、指向性制御装置３の水平偏差角算出部３４ｗは、全方位カメラ装置１１ｚからキャリブレーション用全方位カメラ装置Ｃ１までの距離ＬＣＫと、全方位カメラ装置１１ｚから音声収音位置Ａに向かう水平角θＣＡｈ及び垂直角θＣＡｖと、キャリブレーション用全方位カメラ装置Ｃ１から音声収音位置Ａに向かう水平角θＫＡｈ及び垂直角θＫＡｖと、全方位カメラ装置１１ｚの水平面からの高さＨＣと、キャリブレーション用全方位カメラ装置Ｃ１の水平面からの高さＨＫと、音声収音位置Ａの水平面からの高さＨＡと、を基に、第１水平偏差角εＣｈ及び第２水平偏差角εＫｈを算出する。これにより、指向性制御装置３は、第１水平偏差角εＣｈ及び第２水平偏差角εＫｈを簡易に算出することができる。
【０４６２】
また、本発明の一実施形態は、前記第１水平偏差角及び前記第２水平偏差角を基に、前記収音部から前記音声収音位置に向かう方向の水平角及び垂直角を、前記被写体の音声を前記収音部に収音させる収音方向を示す座標として算出する座標算出部を更に備える、指向性制御システムである。
【０４６３】
上述した構成では、指向性制御装置３の座標算出部３４ｘは、水平偏差角算出部３４ｗにより算出された第１水平偏差角εＣｈ及び第２水平偏差角εＫｈを基に、キャリブレーション用全方位カメラ装置Ｃ１の筐体周囲を囲むように取り付けられた全方位マイクアレイ装置２、又はキャリブレーション用全方位カメラ装置Ｃ１の水平角の基準方向と一致するようにキャリブレーション用全方位カメラ装置Ｃ１の位置に取り付けられた全方位マイクアレイ装置２の収音方向座標の水平角及び垂直角を算出することができる。
【０４６４】
また、本発明の一実施形態は、算出された前記収音方向を示す座標に対応する前記収音方向に、音声データの収音指向性を前記収音部に形成させる出力制御部を更に備える、指向性制御システムである。
【０４６５】
上述した構成では、指向性制御装置３の出力制御部３４ｃは、座標算出部３４ｘにより算出された全方位マイクアレイ装置２の収音方向座標に対応する収音方向ＭＩＸに、音声データの収音指向性を全方位マイクアレイ装置２に形成させる。これにより、指向性制御装置３は、全方位マイクアレイ装置２に、全方位カメラ装置１１ｚの撮像方向に存在している被写体の会話音声を適正に収音させることができる。
【０４６６】
また、本発明の一実施形態は、前記収音部の筐体中心に円柱状の開口部が形成され、前記収音部と前記第２撮像部とは、前記第２撮像部が前記開口部の内周空間に嵌め入れられることで一体として形成される、指向性制御システムである。
【０４６７】
上述した構成では、全方位マイクアレイ装置２の筐体中心に円柱状の開口部が形成され、全方位マイクアレイ装置２とキャリブレーション用全方位カメラ装置Ｃ１とは、キャリブレーション用全方位カメラ装置Ｃ１が開口部２１ａの内周空間に嵌め入れられたことで一体として形成される。これにより、全方位マイクアレイ装置２は、キャリブレーション用全方位カメラ装置Ｃ１から音声収音位置Ａに向かう第２撮像方向ＣＡＸ２の水平角及び垂直角を、全方位マイクアレイ装置２における収音方向ＭＩＸの水平角及び垂直角として共通に用いることができる。
【０４６８】
また、本発明の一実施形態は、第１撮像部と、第２撮像部と、収音部とを含む指向性制御システムにおける水平偏差角算出方法であって、前記第１撮像部において、被写体の画像を撮像するステップと、前記第２撮像部において、前記被写体の画像を撮像するステップと、前記収音部において、前記被写体の音声を収音するステップと、前記第１撮像部により撮像された画像データを表示部に表示するステップと、前記表示部に表示された前記画像データの任意の位置の指定に応じて、前記第１撮像部から前記画像データの指定位置に対応する音声収音位置に向かう第１撮像方向の水平角の第１基準方向からの第１水平偏差角と、前記第２撮像部から前記音声収音位置に向かう第２撮像方向の水平角の第２基準方向からの第２水平偏差角とを算出するステップと、を有する、水平偏差角算出方法である。
【０４６９】
上述した方法では、全方位カメラ装置１１ｚ及びキャリブレーション用全方位カメラ装置Ｃ１は、同一の被写体の画像を撮像し、全方位マイクアレイ装置２は、撮像される被写体の音声を収音する。指向性制御装置３の水平偏差角算出部３４ｗは、ディスプレイ装置３６に表示された全方位カメラ装置１１ｚの画像データにおいて任意の指定位置Ａ’が指定されると、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とを結ぶ互いの基準方向に対して全方位カメラ装置１１ｚの水平角の第１正面方向（例えば０°方向）がなす偏差の角度である第１水平偏差角εＣｈと、キャリブレーション用全方位カメラ装置Ｃ１の水平角の第２正面方向とキャリブレーション用全方位カメラ装置Ｃ１の基準方向とがなす偏差の角度である第２水平偏差角εＫｈとを算出する。
【０４７０】
これにより、指向性制御システム１０では、指向性制御装置３は、全方位カメラ装置１１ｚから音声収音位置に向かう撮像方向座標から、キャリブレーション用全方位カメラ装置Ｃ１の筐体周囲を囲むように取り付けられた全方位マイクアレイ装置２、又はキャリブレーション用全方位カメラ装置Ｃ１の水平角の基準方向と一致するようにキャリブレーション用全方位カメラ装置Ｃ１の位置に取り付けられた全方位マイクアレイ装置２の収音方向座標の各水平角の正面方向（例えば０°方向）と互いの基準方向とがなす各偏差量を算出できる。従って、指向性制御システム１０では、指向性制御装置３は、全方位カメラ装置１１ｚにより撮像された画像データの任意の音声収音位置に向かう全方位マイクアレイ装置２からの収音方向座標を適正に算出することができる。
【０４７１】
以下に後述する第７〜第１０の各実施形態は、音源として収音空間内に存在する対象物の基準面からの高さを判定し、対象物の基準面からの高さを用いて、マイクアレイ装置により収音される音声の収音指向性を形成する指向性制御システム及び指向性制御方法に関する。
【０４７２】
特許文献１では、例えばテレビ会議システムにおける使用形態が想定され、カメラ装置とマイクアレイ装置と対象物（例えば人物）とが同一平面上に存在することが前提とされている。しかし、上述した監視システムでは、カメラ装置、マイクアレイ装置、対象物（例えば人物）が実際に同一平面上に存在することは少ない。
【０４７３】
例えば図４６に示すように、カメラ装置ＣＡ及びマイクアレイ装置Ｍｉｃ−Ａは、音声の収音対象としての対象物（２人の人物）から上方（例えば店舗の天井面）に設置されることが多いので、カメラ装置ＣＡ、マイクアレイ装置Ｍｉｃ−Ａ及び対象物（２人の人物）は、立体的な３次元の座標上に存在する。図４６は、従来の監視システムにおける課題の説明図である。
【０４７４】
従って、図４６に示す監視システムにおいて、カメラ装置ＣＡが撮像している対象物（２人の人物）の会話をマイクアレイ装置Ｍｉｃ−Ａが収音する場合、特許文献１の方法を用いると、マイクアレイ装置Ｍｉｃ−Ａが収音する方向を示す座標（水平角，垂直角）が適切に算出することができないという課題がある。
【０４７５】
また、図４６に示す監視システムにおいて、カメラ装置ＣＡが撮像している対象物（２人の人物）の会話をマイクアレイ装置Ｍｉｃ−Ａが収音する場合、カメラ装置ＣＡから対象物に向かう方向を示す水平角及び垂直角が同一でも、対象物の音源位置（以下、単に「対象音源位置」又は「音声位置」という）の基準面（例えば床面）からの高さが異なると、マイクアレイ装置Ｍｉｃ―Ａから対象音源位置に向かう収音指向方向が一意に定まらないという課題が生じる。
【０４７６】
例えば図４６において、点Ａ，点Ａ’，点Ａ’’はカメラ装置ＣＡからの水平角及び垂直角が同一となる位置であるが、点Ａ，点Ａ’，点Ａ’’の基準面（例えば床面）からの高さＨＡ，ＨＡ’，ＨＡ’’のいずれかが定まらないと、マイクアレイ装置Ｍｉｃ−Ａから点Ａ，点Ａ’，点Ａ’’に向かう収音指向方向が全て異なってしまう。即ち、マイクアレイ装置Ｍｉｃ−Ａは、カメラ装置ＣＡの被写体である対象物（２人の人物）の会話を高精度に収音することが困難となる。
【０４７７】
そこで、本発明の第７〜第１０の各実施形態では、上述した従来の課題を解決するために、収音空間内に存在する対象音源位置の基準面からの高さを判定し、対象音源位置の基準面からの高さを基に、マイクアレイ装置から対象音源位置に向かう収音指向方向に音声の収音指向性を形成する指向性制御システム及び指向性制御方法の例を説明する。
【０４７８】
以下、本発明に係る指向性制御システム及び指向性制御方法の第７〜第１０の各実施形態について、図面を参照して説明する。各実施形態の指向性制御システムは、例えば工場、企業、公共施設（例えばイベント会場）、又は店舗（例えば小売店）に設置される監視システム（有人監視システム及び無人監視システムを含む）として用いられるが、設置場所は特に限定されない。以下の各実施形態では、各実施形態の指向性制御システムは、例えば店舗内に設置されるとして説明する。
【０４７９】
なお、本発明は、指向性制御システムを構成する各装置（例えば後述する指向性制御装置）、又は指向性制御システムを構成する各装置が行う各動作（ステップ）を有する指向性制御方法として表現することも可能である。
【０４８０】
（第７の実施形態）
（指向性制御システムのシステム構成）
図３３は、第７の実施形態の指向性制御システム１０のシステム構成を示すブロック図である。図３３に示す指向性制御システム１０は、少なくとも１つのカメラ装置１１〜１ｎと、全方位マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とを含む。ｎはカメラ装置の台数を表し、１以上の整数である。カメラ装置１１〜１ｎと、全方位マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とは、ネットワークＮＷを介して互いに接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良く、以下の各実施形態においても同様である。
【０４８１】
少なくとも１つの撮像部としてのカメラ装置１１〜１ｎは、不図示の光学系（例えば広角レンズ）及び撮像系（例えばイメージセンサ）が内蔵された筐体を有し、例えば店舗内の天井面又は所定のスタンド（図３４（Ａ）参照）に固定して設置され、監視カメラとしての機能を有する。カメラ装置１１〜１ｎは、ネットワークＮＷを介して接続された中央制御室（不図示）の指向性制御装置３に接続され、指向性制御装置３からの遠隔操作に応じて、パン方向動作、チルト方向動作、ズーム動作、撮像動作、撮像映像において指定された位置（例えば後述する図３４（Ｂ）に示す指定位置Ａ’）に対応する実際の対象音源位置Ａまでの測距動作及び測角動作等を行う。
【０４８２】
また、カメラ装置１１〜１ｎは、光軸を中心とした既定の画角内に存在する対象物の映像（静止画及び動画を含む。以下同様。）を撮像する。カメラ装置１１〜１ｎは、撮像した映像データと後述する収音指向方向の水平角θＭＡｈ及び垂直角θＭＡｖを算出するための入力パラメータを取得して、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。
【０４８３】
収音部としての全方位マイクアレイ装置２は、例えば筐体中心に開口部２１ａが形成されたドーナツ型又はリング型（環状型）の形状の筐体２１Ｃ（図２（Ｄ）参照）を有し、例えば店舗内の天井面又は所定のスタンド（図３４（Ａ）参照）に固定して設置される。全方位マイクアレイ装置２は、全方位マイクアレイ装置２の設置位置Ｍから後述する対象音源位置Ａに向かう収音指向方向に、音声を高精度に収音するための収音指向性を形成し、収音指向方向に存在する対象物（２人の人物）の会話音声（例えば「Ｈｅｌｌｏ」）を高精度に収音する。なお、全方位マイクアレイ装置２の筐体形状については、ドーナツ型又はリング型（環状型）形状に限定されず、図２を参照して上述したので説明を省略する。
【０４８４】
全方位マイクアレイ装置２では、開口部２１ａの周囲であって、更に筐体２１Ｃの円周方向に沿って、複数のマイクロホンユニット２２が同心円状に配置される。マイクロホンユニット２２は、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられ、以下の各実施形態においても同様である。
【０４８５】
全方位マイクアレイ装置２は、ネットワークＮＷに接続され、等間隔毎に設けられたマイクロホンを含むマイクロホンユニット２２，２３（図２（Ａ）〜図２（Ｅ）参照）と、各マイクロホンユニット２２，２３の各動作を制御するための制御部（不図示）とを少なくとも含む構成である。
【０４８６】
全方位マイクアレイ装置２は、各々のマイクロホンユニット２２，２３を用いて、音声収音対象となる対象物（音源）が存在する収音指向方向の音声を収音し、各々のマイクロホンユニット２２，２３が収音した音声データに所定の音声処理を施して、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。
【０４８７】
全方位マイクアレイ装置２は、後述する指向性制御装置３からの指向性形成指示に応じて、指向性制御装置３の信号処理部３３の収音指向方向算出部３４ｂが算出した収音指向座標（θＭＡｈ，θＭＡｖ）に、各々のマイクロホンユニット２２，２３の収音指向性を形成する。
【０４８８】
これにより、全方位マイクアレイ装置２は、収音指向性が形成された収音指向座標（θＭＡｈ，θＭＡｖ）から収音した音声の音量レベルを相対的に増大でき、収音指向性が形成されない方向から収音した音声の音量レベルを相対的に低減できる。なお、収音指向座標（θＭＡｈ，θＭＡｖ）の算出方法については後述する。
【０４８９】
指向性制御装置３は、ネットワークＮＷに接続され、例えば企業内の中央制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末機でも良い。
【０４９０】
指向性制御装置３は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。信号処理部３３は、音源高さ判定部３４ａと、収音指向方向算出部３４ｂと、出力制御部３４ｃとを少なくとも含む。
【０４９１】
通信部３１は、ネットワークＮＷを介して、カメラ装置１１〜１ｎ又は全方位マイクアレイ装置２が送信した映像データ又は音声データを受信して信号処理部３３に出力する。
【０４９２】
操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
【０４９３】
操作部３２は、ユーザの入力操作に応じて、ユーザが音声の音量レベルの増大又は低減を所望する場所、即ち図３４（Ｂ）に示す指定位置Ａ’を表す座標データを取得して信号処理部３３に出力する。
【０４９４】
信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。
【０４９５】
高さ判定部としての音源高さ判定部３４ａは、ディスプレイ装置３６に表示された映像データとして、例えばカメラ装置１１により撮像された映像データにおいて指定位置Ａ’がユーザの指ＦＧ又はスタイラスペンにより指定されると、指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを判定する。以下の各実施形態において、特段の説明が無い限り、例えば基準面は店舗内の床面ＢＬとする。
【０４９６】
具体的には、音源高さ判定部３４ａは、ディスプレイ装置３６に表示された映像データの指定位置Ａ’がユーザの指ＦＧにより指定されると、指定位置Ａ’の座標データに対応する対象音源位置Ａの床面ＢＬからの高さデータを設定ファイルＣＦ１から読み出す。音源高さ判定部３４ａは、読み出した指定位置Ａ’の座標データに対応する対象音源位置Ａの床面ＢＬからの高さデータを、指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡであると判定する。
【０４９７】
収音指向方向算出部３４ｂは、ディスプレイ装置３６に表示された映像データにおける指定位置Ａ’の指定に応じて、全方位マイクアレイ装置２の設置位置Ｍから、指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向を示す座標（θＭＡｈ，θＭＡｖ）（以下、「収音指向座標」と略記する）を算出する。
【０４９８】
収音指向座標（θＭＡｈ，θＭＡｖ）のうち、θＭＡｈは全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向の水平角を表し、θＭＡｖは全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向の垂直角を表す。なお、対象音源位置Ａは、操作部３２がディスプレイ装置３６に表示された映像データにおいてユーザの指ＦＧ又はスタイラスペンによって指定された指定位置Ａ’に対応する実際の監視対象となる現場の位置である。
【０４９９】
制御部としての出力制御部３４ｃは、カメラ装置１１〜１ｎ、全方位マイクアレイ装置２、ディスプレイ装置３６及びスピーカ装置３７の各動作を制御し、カメラ装置１１〜１ｎから送信された映像データをディスプレイ装置３６に再生出力させ、全方位マイクアレイ装置２から送信された音声データをスピーカ装置３７に音声出力させる。出力制御部３４ｃは、収音指向方向算出部３４ｂにより算出された収音方向座標（θＭＡｈ，θＭＡｖ）に対応する収音指向方向に、音声データの収音指向性を全方位マイクアレイ装置２に形成させる。
【０５００】
表示部としてのディスプレイ装置３６は、カメラ装置１１〜１ｎが撮像した映像データを画面に表示する。
【０５０１】
音声出力部としてのスピーカ装置３７は、全方位マイクアレイ装置２が収音した音声データ、又は収音指向方向算出部３４ｂが算出した収音指向座標（θＭＡｈ，θＭＡｖ）の収音指向方向に収音指向性が形成された後に全方位マイクアレイ装置２が収音した音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置２７は、指向性制御装置３とは別々の構成としても良い。
【０５０２】
記憶部としてのメモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のプログラムメモリ、データメモリ、ワークメモリとして機能する。また、メモリ３８は、図３３に示す設定ファイルＣＦ１を記憶する。設定ファイルＣＦ１には、例えばカメラ装置１１の床面ＢＬからの高さＨＣのデータと、全方位マイクアレイ装置２の床面ＢＬからの高さＨＭのデータと、例えばカメラ装置１１が撮像している映像データの所定の指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡのデータ（第１設定データ）とが少なくとも含まれる。
【０５０３】
レコーダ装置４は、カメラ装置１１〜１ｎが撮像した映像データと、全方位マイクアレイ装置２が収音した音声データとを対応付けて記録する。
【０５０４】
次に、本実施形態の指向性制御システム１０の動作概要について、図３４（Ａ）及び図３４（Ｂ）を参照して説明する。図３４（Ａ）は、指向性制御システム１０が設置された収音空間Ｋ内において、カメラ装置１１が対象物（２人の人物）を撮像する様子と、全方位マイクアレイ装置２が収音指向方向に存在する対象物（２人の人物）の会話と収音指向方向に存在しないスピーカ装置ＳＰからの出力音楽とを収音する様子とを示す図である。
【０５０５】
図３４（Ｂ）は、全方位マイクアレイ装置２から、ディスプレイ装置３６に表示された映像データからユーザの指ＦＧにより指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向の収音音声（例えば「Ｈｅｌｌｏ」）の音量レベルがスピーカ装置ＳＰからの出力音楽（例えば「♪」）の音量レベルよりも大きく音声出力される様子を示す図である。
【０５０６】
図３４（Ａ）に示す指向性制御システム１０では、カメラ装置１１は、カメラ装置１１に固有の画角の範囲内に映る被写体（例えば図３４（Ａ）に示す２人の人物）を撮像する。全方位マイクアレイ装置２は、収音空間Ｋ内において、全方位マイクアレイ装置２の設置位置Ｍの周囲の音声を収音する。図３４（Ａ）では、対象物としての２人の人物は会話を行っており、「Ｈｅｌｌｏ」は会話内容の一例である。カメラ装置１１が撮像した映像データは、指向性制御装置３のディスプレイ装置３６に表示され（図３４（Ｂ）参照）、例えば対象物としての２人の人物とスピーカ装置ＳＰとが表示されている。
【０５０７】
図３４（Ｂ）において、ユーザの指ＦＧにより、ディスプレイ装置３６の指定位置Ａ’が指定されると、指向性制御装置３は、指定位置Ａ’を表す座標データに対応する対象音源位置Ａの床面ＢＬからの高さＨＡのデータを設定ファイルＣＦ１から読み出し、読み出した高さＨＡのデータを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう収音指向座標（θＭＡｈ，θＭＡｖ）を算出する。全方位マイクアレイ装置２は、指向性制御装置３が算出した収音指向座標（θＭＡｈ，θＭＡｖ）の座標データを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう方向に、収音指向性を形成する。
【０５０８】
次に、本実施形態の指向性制御システム１０の初期設定の動作手順について、図３５（Ａ）を参照して説明する。図３５（Ａ）は、第７の実施形態の指向性制御システム１０の初期設定の動作手順を説明するフローチャートである。初期設定には、例えばカメラ装置１１〜１ｎ又は全方位マイクアレイ装置２が初期設置される動作、収音指向方向算出部３４ｂが収音指向方向を算出するために必要となる入力パラメータが取得される動作が含まれ、以下の各実施形態においても同様である。
【０５０９】
図３５（Ａ）において、指向性制御システム１０を構成するカメラ装置１１及び全方位マイクアレイ装置２が所定の位置（例えば店舗内の天井面又はスタンド）に固定するように初期設置される（ＳＴ１）。カメラ装置１１及び全方位マイクアレイ装置２は、それぞれ異なる位置に設置される（図３４（Ａ）参照）。
【０５１０】
カメラ装置１１及び全方位マイクアレイ装置２が初期設置された後、収音指向方向算出部３４ｂが収音指向座標（θＭＡｈ，θＭＡｖ）を算出するために必要となる各入力パラメータの測定が行われる（ＳＴ２）。ステップＳＴ２では、ユーザが測定器（例えばレーザ距離計）を用いて測定する場合、又はカメラ装置１１がカメラ装置１１自身の公知技術の機能を用いて測定して取得する場合が含まれる。ステップＳＴ２における各入力パラメータは収音指向座標の算出方法毎に異なり、詳しくは図３６〜図３８を参照して説明する。
【０５１１】
ステップＳＴ２の後、ステップＳＴ２において測定された各入力パラメータが、カメラ装置１１から指向性制御装置３の信号処理部３３に入力され、又は操作部３２から信号処理部３３に入力される（ＳＴ３）。例えばカメラ装置１１は、カメラ装置１１自身の公知技術の機能によって取得した入力パラメータを指向性制御装置３の通信部３１に送信する。通信部３１は、カメラ装置１１が送信した入力パラメータを信号処理部３３に出力する。また、操作部３２は、ユーザの入力操作に応じて、入力パラメータの一例としての対象音源位置Ａの床面ＢＬからの高さＨＡのデータを信号処理部３３に出力する。
【０５１２】
信号処理部３３は、ステップＳＴ３において取得した各入力パラメータを含む設定ファイルＣＦ１を生成してメモリ３８に保存する（ＳＴ４）。以上により、指向性制御システム１０の初期設定の動作は終了する。
【０５１３】
次に、本実施形態の指向性制御システム１０の初期設定後の動作手順について、図３５（Ｂ）を参照して説明する。図３５（Ｂ）は、第７の実施形態の指向性制御システム１０の初期設定後の動作手順を説明するフローチャートである。
【０５１４】
図３５（Ｂ）において、指向性制御装置３は、図３４（Ｂ）に示すディスプレイ装置３６に表示されている映像データの中から指定位置Ａ’の指定を、操作部３２を介して受け付ける（ＳＴ１１）。指向性制御装置３は、ディスプレイ装置３６に表示されている映像データの中で指定位置Ａ’の指定を受け付けた旨をカメラ装置１１に送信する。
【０５１５】
ステップＳＴ１１の後、カメラ装置１１は、指定位置Ａ’の指定を受け付けた旨を指向性制御装置３から受信した場合、カメラ装置１１の設置位置Ｃを起点として、ステップＳＴ１１において指定された指定位置Ａ’に対応する対象音源位置Ａまでの水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標データを取得する（ＳＴ１２）。
【０５１６】
カメラ装置１１は、カメラ装置１１の設置位置Ｃを起点として、ステップＳＴ１１において指定された指定位置Ａ’に対応する対象音源位置Ａまでの水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標データを指向性制御装置３に送信する。
【０５１７】
指向性制御装置３の信号処理部３３の音源高さ判定部３４ａは、指定位置Ａ’の座標データに対応する対象音源位置Ａの床面ＢＬからの高さデータを、ステップＳＴ４においてメモリ３８に記憶された設定ファイルＣＦ１から読み出す。音源高さ判定部３４ａは、読み出した指定位置Ａ’の座標データに対応する対象音源位置Ａの床面ＢＬからの高さデータを、指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡであると判定する。
【０５１８】
更に、指向性制御装置３の信号処理部３３の収音指向方向算出部３４ｂは、カメラ装置１１から対象音源位置Ａまでの水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標データと、設定ファイルＣＦ１から読み出された各入力パラメータ（指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを含む）とを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう収音指向座標（θＭＡｈ，θＭＡｖ）を算出する（ＳＴ１３）。収音指向座標（θＭＡｈ，θＭＡｖ）の算出処理については、図３６及び図３７を参照して詳述する。
【０５１９】
指向性制御装置３は、ステップＳＴ１３において算出した収音指向座標（θＭＡｈ，θＭＡｖ）の座標データを含む指向性形成指示を全方位マイクアレイ装置２に送信する。全方位マイクアレイ装置２は、指向性制御装置３からの指向性形成指示に応じて、指向性制御装置３が算出した収音指向座標（θＭＡｈ，θＭＡｖ）により示される収音指向方向に、各々のマイクロホンユニット２２，２３の収音指向性を形成する（ＳＴ１４）。
【０５２０】
これにより、全方位マイクアレイ装置２は、収音指向性が形成された収音指向座標（θＭＡｈ，θＭＡｖ）により示される収音指向方向から収音した音声データの音量レベルを増大でき、収音指向性が形成されない方向から収音した音声データの音量レベルを低減できる。以上により、指向性制御システム１０の初期設定後の動作が終了する。
【０５２１】
なお、本実施形態の指向性制御システム１０において、全方位マイクアレイ装置２が音声を収音するタイミングは、ステップＳＴ１４の直後に限定されず、例えば全方位マイクアレイ装置２の電源がＯＮされた後でも良い。
【０５２２】
（全方位マイクアレイ装置２の収音指向方向を示す座標（θＭＡｈ，θＭＡｖ）の算出方法）
ここで、指向性制御装置３の信号処理部３３の収音指向方向算出部３４ｂが全方位マイクアレイ装置２の収音指向座標（θＭＡｈ，θＭＡｖ）を算出する方法について、図３６及び図３７を参照して詳細に説明する。
【０５２３】
図３６（Ａ）は、カメラ装置１１、全方位マイクアレイ装置２、基準点Ｏ及び対象音源位置Ａの各位置を示す斜視図である。図３６（Ｂ）は、図３６（Ａ）の鉛直上方向から鉛直下方向を見た水平方向平面図である。図３６（Ｃ）は、図３６（Ｂ）のＫ−Ｋ’線による垂直方向断面図である。
【０５２４】
図３７（Ａ）は、カメラ装置１１、全方位マイクアレイ装置２、基準点Ｏ及び対象音源位置Ａの各位置を示す斜視図である。図３７（Ｂ）は、図３７（Ａ）の鉛直上方向から鉛直下方向を見た水平方向平面図である。図３７（Ｃ）は、図３７（Ｂ）のＱ−Ｑ’線による垂直方向断面図である。
【０５２５】
収音指向方向算出部３４ｂは、
（１）カメラ装置１１と全方位マイクアレイ装置２との間の距離ＬＣＭと、
（２）カメラ装置１１から対象音源位置Ａまでの水平角θＣＡｈ及び垂直角θＣＡｖと、
（３）カメラ装置１１，全方位マイクアレイ装置２の床面ＢＬからの各高さＨＣ，ＨＭ（ＨＣ＝ＨＭ）と、
（４）対象音源位置Ａの床面ＢＬからの高さＨＡと、を基に、
全方位マイクアレイ装置２の収音指向座標（θＭＡｈ，θＭＡｖ）を算出する。
【０５２６】
本算出方法では、図３５（Ａ）に示すステップＳＴ２における入力パラメータは、
（１）カメラ装置１１と全方位マイクアレイ装置２との間の距離ＬＣＭと、
（３）カメラ装置１１、全方位マイクアレイ装置２の床面ＢＬからの各高さＨＣ，ＨＭ（ＨＣ＝ＨＭ）である。
【０５２７】
また、本算出方法における各入力パラメータのうち、
（１）カメラ装置１１と全方位マイクアレイ装置２との間の距離ＬＣＭは、例えば図３５（Ａ）に示すステップＳＴ１の初期設置時に測定された固定値である。
（３）カメラ装置１１、全方位マイクアレイ装置２の床面ＢＬからの各高さＨＣ，ＨＭ（ＨＣ＝ＨＭ）は、例えば図３５（Ａ）に示すステップＳＴ１の初期設置時に測定された固定値である。また、説明を簡単にするために、カメラ装置１１、全方位マイクアレイ装置２の床面ＢＬからの各高さＨＣ，ＨＭは等しいとして説明するが、異なっても良い。
【０５２８】
また、本算出方法における各入力パラメータのうち、
（２）カメラ装置１１から対象音源位置Ａまでの水平角θＣＡｈ及び垂直角θＣＡｖは、図３５（Ｂ）に示すステップＳＴ１２においてカメラ装置１１の公知技術の機能によって取得される。
【０５２９】
更に、本算出方法では、
（４）対象音源位置Ａの床面ＢＬからの高さＨＡは、指向性制御装置３の信号処理部３３の音源高さ判定部３４ａにより判定された固定値、即ち、図３５（Ａ）に示すステップＳＴ４において設定ファイルＣＦ１に書き込まれた固定値（所定値）である。
【０５３０】
以下、収音指向方向算出部３４ｂにおける全方位マイクアレイ装置２の収音指向座標（θＭＡｈ，θＭＡｖ）の算出方法について、具体的に説明する。
【０５３１】
収音指向方向算出部３４ｂは、図３６（Ｃ）に示す△ＣＡＰにおいて、カメラ装置１１，全方位マイクアレイ装置２の床面ＢＬからの各高さＨＣ，ＨＭと、カメラ装置１１から対象音源位置Ａまでの垂直角θＣＡｖとを用いて、数式（５８）に従って、カメラ装置１１から対象音源位置Ａまでの距離ＬＣＡの水平成分の距離ＬＣＡｈを算出する。
【０５３２】
収音指向方向算出部３４ｂは、数式（６４）の算出結果と、カメラ装置１１から対象音源位置Ａまでの水平角θＣＡｈと、カメラ装置１１と全方位マイクアレイ装置２との間の距離ＬＣＭとを用いて、図３６（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（７２）に従って、全方位マイクアレイ装置２から対象音源位置Ａまでの距離の水平成分の距離ＬＭＡｈを算出する。
【０５３３】
【数７２】
2018057023.tif 000074
【０５３４】
収音指向方向算出部３４ｂは、数式（６４），（７２）の各算出結果と、カメラ装置１１と全方位マイクアレイ装置２との間の距離ＬＣＭとを用いて、図３６（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（７３）に従って、全方位マイクアレイ装置２から対象音源位置Ａに向かう俯角θＭＡの水平角θＭＡｈの余弦値ｃｏｓθＭＡｈを算出する。
【０５３５】
これにより、収音指向方向算出部３４ｂは、数式（７４）に従って、全方位マイクアレイ装置２から対象音源位置Ａまでの俯角θＭＡの水平角θＭＡｈを算出できる。
【０５３６】
【数７３】
2018057023.tif 000075
【０５３７】
【数７４】
2018057023.tif 000076
【０５３８】
更に、収音指向方向算出部３４ｂは、図３７（Ｃ）に示す△ＭＡＳに対する正接により、数式（７５）に従って、全方位マイクアレイ装置２から対象音源位置Ａに向かう俯角θＭＡの垂直角θＭＡｖの正接値ｔａｎθＭＡｖを算出する。
【０５３９】
これにより、収音指向方向算出部３４ｂは、数式（７６）に従って、全方位マイクアレイ装置２から対象音源位置Ａまでの俯角θＭＡの垂直角θＭＡｖを算出できる。
【０５４０】
【数７５】
2018057023.tif 000077
【０５４１】
【数７６】
2018057023.tif 000078
【０５４２】
以上により、本実施形態の指向性制御システム１０では、指向性制御装置３の音源高さ判定部３４ａは、ディスプレイ装置３６に表示された映像データの表示画面においてユーザによる指定位置Ａ’の指定に応じて、指定された映像データの指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを判定する。指向性制御装置３の収音指向方向算出部３４ｂは、対象音源位置Ａの床面ＢＬからの高さＨＡを基に、全方位マイクアレイ装置２から、指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向を示す収音指向座標を算出する。指向性制御装置３の出力制御部３４ｃは、算出された収音指向座標により示される収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させる。
【０５４３】
これにより、指向性制御システム１０では、指向性制御装置３は、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａの床面ＢＬからの高さＨＡを一意に判定でき、対象音源位置Ａの床面ＢＬからの高さＨＡを基に、全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３は、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。
【０５４４】
また、本実施形態の指向性制御システム１０では、指向性制御装置３のメモリ３８には、例えばユーザの入力操作に応じて指定される映像データの指定位置Ａ’に対応する対象音源位置Ａと、対象音源位置Ａの床面ＢＬからの高さ（固定値）とが予め対応付けられた第１設定データを含む設定ファイルＣＦ１が記憶されている。
【０５４５】
従って、音源高さ判定部３４ａは、設定ファイルＣＦ１の第１設定データを基に、例えばユーザの入力操作に応じて指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを簡易に判定できる。
【０５４６】
（第８の実施形態）
第８の実施形態では、指向性制御装置３Ａは、対象音源位置Ａの床面ＢＬからの高さの選択肢をディスプレイ装置３６に表示させ、例えばユーザにいずれかの選択肢を選択させるように促す。指向性制御装置３Ａは、いずれかの選択肢の選択に応じて、対象音源位置Ａの床面ＢＬからの高さを判定する。
【０５４７】
図３８（Ａ）は、第８の実施形態の指向性制御システム１０Ａのシステム構成を示すブロック図である。図３８（Ｂ）は、ディスプレイ装置３６に表示された、映像データの表示画面ＷＤ１と対象音源位置Ａの床面ＢＬからの高さＨＡを選択させるための選択画面ＷＤ２とを示す図である。図３８（Ａ）に示す指向性制御システム１０Ａは、少なくとも１つのカメラ装置１１〜１ｎと、全方位マイクアレイ装置２と、指向性制御装置３Ａと、レコーダ装置４とを含む。
【０５４８】
指向性制御装置３Ａは、通信部３１と、操作部３２と、信号処理部３３Ａと、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８Ａとを含む。信号処理部３３Ａは、音源高さ判定部３４ａＡと、収音指向方向算出部３４ｂと、出力制御部３４ｃＡとを少なくとも含む。図３８（Ａ）に示す指向性制御システム１０Ａを構成する各部の動作が図３３に示す指向性制御システム１０を構成する各部の動作と同一であるものには、同一の符号を付して説明を省略又は簡略化し、異なる内容について説明する。
【０５４９】
本実施形態では、メモリ３８Ａは、図３８（Ａ）に示す設定ファイルＣＦ２を記憶する。設定ファイルＣＦ２には、例えばカメラ装置１１の床面ＢＬからの高さＨＣのデータと、全方位マイクアレイ装置２の床面ＢＬからの高さＨＭのデータと、例えばカメラ装置１１が撮像している映像データの所定の指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡの選択肢としての複数種類の高さデータ（第２設定データ）とが少なくとも含まれる。
【０５５０】
例えば図３８（Ａ）及び図３８（Ｂ）に示すように、第２設定データでは、対象音源高さＨＡ−Ａは成人男性が想定された平均身長である１７０ｃｍであり、対象音源高さＨＡ−Ｂは成人女性が想定された平均身長である１５０ｃｍであり、対象音源高さＨＡ−Ａは子どもが想定された身長である１２０ｃｍである。信号処理部３３Ａの出力制御部３４ｃＡは、メモリ３８Ａの設定ファイルＣＦ２を読み出して、ユーザの指ＦＧにより指定される指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを選択させるための選択肢を含む選択画面ＷＤ２をディスプレイ装置３６に表示させる。
【０５５１】
信号処理部３３Ａの音源高さ判定部３４ａＡは、選択画面ＷＤ２においてユーザの指ＦＧにより選択された選択肢に対応する対象音源高さ（例えば対象音源高さＨＡ−Ａ）を、図３８（Ｂ）に示す映像データの表示画面ＷＤ１において、ユーザの指ＦＧにより指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡとして判定する。
【０５５２】
次に、本実施形態の指向性制御システム１０Ａの初期設定の動作手順について、図３９（Ａ）を参照して説明する。図３９（Ａ）は、第８の実施形態の指向性制御システム１０Ａの初期設定の動作手順を説明するフローチャートである。図３９（Ａ）に示すフローチャートでは、図３５（Ａ）に示すフローチャートと同一内容のステップには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。
【０５５３】
図３９（Ａ）において、ステップＳＴ２の後、ステップＳＴ２において測定された各入力パラメータが、カメラ装置１１から指向性制御装置３Ａの信号処理部３３Ａに入力され、又は操作部３２から信号処理部３３Ａに入力される（ＳＴ３Ａ）。例えば、操作部３２は、ユーザの入力操作に応じて、入力パラメータの一例としての対象音源位置Ａの床面ＢＬからの高さＨＡの選択肢としての複数種類の高さデータ（第２設定データ）を信号処理部３３Ａに出力する。
【０５５４】
信号処理部３３Ａは、ステップＳＴ３において取得した各入力パラメータを含む設定ファイルＣＦ２を生成してメモリ３８Ａに保存する（ＳＴ４）。以上により、指向性制御システム１０Ａの初期設定の動作は終了する。
【０５５５】
次に、本実施形態の指向性制御システム１０Ａの初期設定後の動作手順について、図３９（Ｂ）を参照して説明する。図３９（Ｂ）は、第８の実施形態の指向性制御システム１０Ａの初期設定後の動作手順を説明するフローチャートである。図３９（Ｂ）に示すフローチャートでは、図３５（Ｂ）に示すフローチャートと同一内容のステップには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。
【０５５６】
図３９（Ｂ）において、ステップＳＴ１２の後、出力制御部３４ｃＡは、メモリ３８Ａの設定ファイルＣＦ２を読み出して、ユーザの指ＦＧにより指定される指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを選択させるための選択肢を含む選択画面ＷＤ２をディスプレイ装置３６に表示させる（図３８（Ｂ）参照）。
【０５５７】
ここで、選択画面ＷＤ２において、ユーザの指ＦＧにより、対象音源位置Ａの床面ＢＬからの高さＨＡを選択させるための複数の選択肢のうち、いずれかの選択肢が選択されたとする（ＳＴ１５）。音源高さ判定部３４ａＡは、ユーザの指ＦＧにより選択された選択肢に対応する対象音源高さ（例えば対象音源高さＨＡ−Ａ）を、図３８（Ｂ）に示す映像データの表示画面ＷＤ１において、ユーザの指ＦＧにより指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡとして判定する。
【０５５８】
指向性制御装置３Ａの信号処理部３３Ａの収音指向方向算出部３４ｂは、カメラ装置１１から対象音源位置Ａまでの水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標データと、ステップＳＴ１５において選択された選択肢に応じて判定された対象音源位置Ａの床面ＢＬからの高さＨＡとを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう収音指向座標（θＭＡｈ，θＭＡｖ）を算出する（ＳＴ１３Ａ）。ステップＳＴ１３Ａの算出内容及びステップＳＴ１４の動作内容は、上述した第７の実施形態における算出内容及び動作内容と同一であるため、説明を省略する。以上により、指向性制御システム１０Ａの初期設定後の動作が終了する。
【０５５９】
以上により、本実施形態の指向性制御システム１０Ａでは、指向性制御装置３Ａのメモリ３８Ａには、対象音源位置Ａの床面ＢＬからの高さとして、複数種類の高さＨＡ−Ａ，ＨＡ−Ｂ，ＨＡ−Ｄ，…の高さデータ（第２設定データ）を含む設定ファイルＣＦ２が記憶されている。指向性制御装置３Ａの出力制御部３４ｃＡは、対象音源位置Ａの床面ＢＬからの高さとして、設定ファイルＣＦ２の第２設定データの複数種類の高さデータの選択肢をディスプレイ装置３６に表示させる。
【０５６０】
従って、指向性制御装置３Ａの音源高さ判定部３４ａＡは、表示された複数種類の高さデータの選択肢のうちいずれかの選択に応じて、例えばユーザの入力操作に応じて指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを簡易に判定できる。
【０５６１】
また、本実施形態の指向性制御システム１０Ａでも、第７の実施形態の指向性制御システム１０と同様に、指向性制御装置３Ａは、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａの床面ＢＬからの高さＨＡを一意に判定でき、対象音源位置Ａの床面ＢＬからの高さＨＡを基に、全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３は、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。
【０５６２】
（第９の実施形態）
第９の実施形態では、指向性制御装置３Ｂは、対象音源位置Ａの床面ＢＬからの高さを直接に入力させるための入力フォーム画面ＷＤ３をディスプレイ装置３６に表示させ、例えばユーザに入力を促す。指向性制御装置３Ｂは、入力フォーム画面ＷＤ３に入力されたデータを、対象音源位置Ａの床面ＢＬからの高さＨＡとして判定する。
【０５６３】
図４０（Ａ）は、第９の実施形態の指向性制御システム１０Ｂのシステム構成を示すブロック図である。図４０（Ｂ）は、ディスプレイ装置３６に表示された、映像データの表示画面ＷＤ１と対象音源位置Ａの床面ＢＬからの高さを入力させるための入力フォーム画面ＷＤ３とを示す図である。図４０（Ａ）に示す指向性制御システム１０Ｂは、少なくとも１つのカメラ装置１１〜１ｎと、全方位マイクアレイ装置２と、指向性制御装置３Ｂと、レコーダ装置４とを含む。
【０５６４】
指向性制御装置３Ｂは、通信部３１と、操作部３２と、信号処理部３３Ｂと、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８Ｂとを含む。信号処理部３３Ｂは、音源高さ判定部３４ａＢと、収音指向方向算出部３４ｂと、出力制御部３４ｃＢとを少なくとも含む。図４０（Ａ）に示す指向性制御システム１０Ｂを構成する各部の動作が図３３に示す指向性制御システム１０を構成する各部の動作と同一であるものには、同一の符号を付して説明を省略又は簡略化し、異なる内容について説明する。
【０５６５】
本実施形態では、メモリ３８Ｂは、図４０（Ａ）に示す設定ファイルＣＦ３を記憶する。設定ファイルＣＦ２には、例えばカメラ装置１１の床面ＢＬからの高さＨＣのデータと、全方位マイクアレイ装置２の床面ＢＬからの高さＨＭのデータとが少なくとも含まれ、以下の第１０の実施形態においても同様である。
【０５６６】
信号処理部３３Ｂの出力制御部３４ｃＢは、ユーザの指ＦＧにより指定される指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さをユーザに直接に入力させるための入力フォーム画面ＷＤ３をディスプレイ装置３６に表示させる。
【０５６７】
信号処理部３３Ｂの音源高さ判定部３４ａＢは、入力フォーム画面ＷＤ３に入力された対象音源位置Ａの床面ＢＬからの高さの数値を、ユーザが所望する対象音源位置Ａの床面ＢＬからの高さＨＡとして判定する。
【０５６８】
次に、本実施形態の指向性制御システム１０Ｂの初期設定の動作手順について、図４１（Ａ）を参照して説明する。図４１（Ａ）は、第９の実施形態の指向性制御システム１０Ｂの初期設定の動作手順を説明するフローチャートである。図４１（Ａ）に示すフローチャートでは、図３５（Ａ）に示すフローチャートと同一内容のステップには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。
【０５６９】
図４１（Ａ）において、ステップＳＴ２の後、ステップＳＴ２において測定された各入力パラメータが、カメラ装置１１から指向性制御装置３Ｂの信号処理部３３Ｂに入力され、又は操作部３２から信号処理部３３Ｂに入力される（ＳＴ３Ｂ）。なお、ステップＳＴ３Ｂでは、図３５（Ａ）に示すステップＳＴ３又は図４０（Ａ）に示すステップＳＴ３Ａと異なり、入力パラメータには対象音源位置Ａの床面ＢＬからの高さＨＡは含まれない。
【０５７０】
信号処理部３３Ｂは、ステップＳＴ３Ｂにおいて取得した各入力パラメータを含む設定ファイルＣＦ３を生成してメモリ３８Ａに保存する（ＳＴ４）。以上により、指向性制御システム１０Ｂの初期設定の動作は終了する。
【０５７１】
次に、本実施形態の指向性制御システム１０Ｂの初期設定後の動作手順について、図４１（Ｂ）を参照して説明する。図４１（Ｂ）は、第９の実施形態の指向性制御システム１０Ｂの初期設定後の動作手順を説明するフローチャートである。図４１（Ｂ）に示すフローチャートでは、図３５（Ｂ）に示すフローチャートと同一内容のステップには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。
【０５７２】
図４１（Ｂ）において、ステップＳＴ１２の後、出力制御部３４ｃＢは、ユーザの指ＦＧにより指定される指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さをユーザに直接に入力させるための入力フォーム画面ＷＤ３をディスプレイ装置３６に表示させる（図４０（Ｂ）参照）。
【０５７３】
ここで、入力フォーム画面ＷＤ３において、ユーザの入力操作（例えば指ＦＧによる入力、又はキーボード（不図示）からの入力）により、対象音源位置Ａの床面ＢＬからの高さとなる数値が直接に入力されたとする（ＳＴ１６）。音源高さ判定部３４ａＢは、入力フォーム画面ＷＤ３に入力された対象音源位置Ａの床面ＢＬからの高さの数値を、ユーザが所望する対象音源位置Ａの床面ＢＬからの高さＨＡとして判定する。
【０５７４】
指向性制御装置３Ｂの信号処理部３３Ｂの収音指向方向算出部３４ｂは、カメラ装置１１から対象音源位置Ａまでの水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標データと、ステップＳＴ１６における入力フォーム画面ＷＤ３への入力に応じて判定された対象音源位置Ａの床面ＢＬからの高さＨＡとを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう収音指向座標（θＭＡｈ，θＭＡｖ）を算出する（ＳＴ１３Ｂ）。ステップＳＴ１３Ｂの算出内容及びステップＳＴ１４の動作内容は、上述した第７の実施形態における算出内容及び動作内容と同一であるため、説明を省略する。以上により、指向性制御システム１０Ｂの初期設定後の動作が終了する。
【０５７５】
以上により、本実施形態の指向性制御システム１０Ｂでは、指向性制御装置３Ｂの出力制御部３４ｃＢは、対象音源位置Ａの床面ＢＬからの高さを直接に入力させるための入力フォーム画面ＷＤ３をディスプレイ装置３６に表示させる。
【０５７６】
従って、指向性制御装置３Ｂの音源高さ判定部３４ａＢは、表示された入力フォーム画面ＷＤ３への対象音源位置Ａの床面ＢＬからの高さの入力に応じて、ユーザが所望する対象音源位置Ａの床面ＢＬからの高さを正確に判定することができる。これにより、指向性制御装置３Ｂの収音指向方向算出部３４ｂは、全方位マイクアレイ装置２から、指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向の収音指向座標を正確に算出することができる。
【０５７７】
また、本実施形態の指向性制御システム１０Ｂでも、第７の実施形態の指向性制御システム１０と同様に、指向性制御装置３Ｂは、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａの床面ＢＬからの高さＨＡを一意に判定でき、対象音源位置Ａの床面ＢＬからの高さＨＡを基に、全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３Ｂは、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。
【０５７８】
（第１０の実施形態）
第１０の実施形態では、指向性制御装置３Ｃは、ディスプレイ装置３６に表示された映像データの表示画面ＷＤ４において、例えばユーザの指ＦＧにより、対象物（例えば人物）の周囲の第１指定位置Ａ１’と第２指定位置Ａ１’の鉛直下方向（真下）の床面ＢＬ上の第２指定位置Ａ２’とが指定されると、第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さを算出する。指向性制御装置３Ｃは、算出された高さを、対象音源位置Ａ１の床面ＢＬからの高さＨＡ１として判定する。
【０５７９】
図４２（Ａ）は、第１０の実施形態の指向性制御システム１０Ｃのシステム構成を示すブロック図である。図４２（Ｂ）は、ディスプレイ装置３６に表示された映像データの表示画面ＷＤ４において第１指定位置Ａ１’と第２指定位置Ａ２’とが指定される様子を示す図である。図４２（Ａ）に示す指向性制御システム１０Ｃは、少なくとも１つのカメラ装置１１〜１ｎと、全方位マイクアレイ装置２と、指向性制御装置３Ｂと、レコーダ装置４とを含む。
【０５８０】
指向性制御装置３Ｃは、通信部３１と、操作部３２と、信号処理部３３Ｃと、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８Ｂとを含む。信号処理部３３Ｃは、音源高さ判定部３４ａＣと、収音指向方向算出部３４ｂと、出力制御部３４ｃとを少なくとも含む。図４２（Ａ）に示す指向性制御システム１０Ｃを構成する各部の動作が図３３に示す指向性制御システム１０を構成する各部の動作と同一であるものには、同一の符号を付して説明を省略又は簡略化し、異なる内容について説明する。
【０５８１】
信号処理部３３Ｃの高さ判定部３４ａＣは、ディスプレイ装置３６に表示された映像データの表示画面ＷＤ４において、例えばユーザの指ＦＧにより、第１指定位置Ａ１’と第１指定位置Ａ１’に対応する床面ＢＬ上の第２指定位置Ａ２’とが指定されると、指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さを算出する。
【０５８２】
なお、本実施形態の指向性制御システム１０Ｃの初期設定の動作手順（図４３（Ａ）参照）は、図４１（Ａ）に示す第１０の実施形態の指向性制御システム１０Ｂの初期設定の動作手順と同一であるため、説明を省略する。図４３（Ａ）は、第１０の実施形態の指向性制御システム１０Ｃの初期設定の動作手順を説明するフローチャートである。
【０５８３】
次に、本実施形態の指向性制御システム１０Ｃの初期設定後の動作手順について、図４３（Ｂ）を参照して説明する。図４３（Ｂ）は、第１０の実施形態の指向性制御システム１０Ｃの初期設定後の動作手順を説明するフローチャートである。図４３（Ｂ）に示すフローチャートでは、図３５（Ｂ）に示すフローチャートと同一内容のステップには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。
【０５８４】
図４３（Ｂ）において、指向性制御装置３Ｃは、図４２（Ｂ）に示すディスプレイ装置３６に表示されている映像データの表示画面ＷＤ４から第１指定位置Ａ１’及び第２指定位置Ａ２’の指定を、操作部３２を介して受け付ける（ＳＴ１１Ｃ）。指向性制御装置３Ｃは、ディスプレイ装置３６に表示されている映像データの表示画面ＷＤ４中において第１指定位置Ａ１’及び第２指定位置Ａ２’の指定を受け付けた旨をカメラ装置１１に送信する。
【０５８５】
ステップＳＴ１１Ｃの後、カメラ装置１１は、第１指定位置Ａ１’及び第２指定位置Ａ２’の指定を受け付けた旨を指向性制御装置３Ｃから受信した場合、カメラ装置１１の設置位置Ｃを起点として、ステップＳＴ１１Ｃにおいて指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１までの水平角及び垂直角（θＣＡ１ｈ，θＣＡ１ｖ）の座標データと、ステップＳＴ１１Ｃにおいて指定された第２指定位置Ａ２’に対応する位置Ａ２までの水平角及び垂直角（θＣＡ２ｈ，θＣＡ２ｖ）の座標データとを取得する（ＳＴ１２Ｃ）。
【０５８６】
カメラ装置１１は、カメラ装置１１の設置位置Ｃを起点として、ステップＳＴ１１Ｃにおいて指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１までの水平角及び垂直角（θＣＡ１ｈ，θＣＡ１ｖ）の座標データと、第２指定位置Ａ２’に対応する位置Ａ２までの水平角及び垂直角（θＣＡ２ｈ，θＣＡ２ｖ）の座標データとを指向性制御装置３Ｃに送信する。
【０５８７】
指向性制御装置３Ｃの信号処理部３３Ｃの高さ判定部３４ａＣは、カメラ装置１１から送信された（θＣＡ１ｈ，θＣＡ１ｖ）の座標データ及び（θＣＡ２ｈ，θＣＡ２ｖ）の座標データを用いて、ユーザの指ＦＧにより指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さＨＡ１を算出する（ＳＴ１７）。ステップＳＴ１７の詳細については、図４４及び図４５を参照して後述する。
【０５８８】
指向性制御装置３Ｃの信号処理部３３Ｃの収音指向方向算出部３４ｂは、カメラ装置１１から対象音源位置Ａ１までの水平角及び垂直角（θＣＡｈ，θＣＡｖ）の座標データと、ステップＳＴ１７において算出された対象音源位置Ａ１の床面ＢＬからの高さＨＡ１とを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう収音指向座標（θＭＡｈ，θＭＡｖ）を算出する（ＳＴ１３Ｃ）。ステップＳＴ１３Ｃの算出内容及びステップＳＴ１４の動作内容は、上述した第７の実施形態における算出内容及び動作内容と同一であるため、説明を省略する。以上により、指向性制御システム１０Ｃの初期設定後の動作が終了する。
【０５８９】
（対象音源位置Ａ１の床面ＢＬからの高さＨＡ１の算出方法）
ここで、指向性制御装置３Ｃの信号処理部３３Ｃの音源高さ判定部３４ａＣが対象音源位置Ａ１の床面ＢＬからの高さＨＡ１を算出する方法（以下、「本高さ算出方法」という）について、図４４及び図４５を参照して詳細に説明する。
【０５９０】
図４４（Ａ）は、カメラ装置１１から、床面ＢＬ上に存在している対象物（人物）の対象音源位置Ａ１及び対象音源位置Ａ１から鉛直下方向の床面ＢＬ上の位置Ａ２への距離及び方向の説明図である。図４４（Ｂ）は、カメラ装置１１と対象音源位置Ａ１及び床面ＢＬ上の位置Ａ２とを鉛直上方向から鉛直下方向に見た平面図である。図４４（Ｃ）は、図４４（Ｂ）のＡ−Ａ’断面図である。
【０５９１】
図４５（Ａ）は、カメラ装置１１から、床面ＢＬ上に設置された台ＲＣ上に存在している対象物（人物）の対象音源位置Ａ１及び対象音源位置Ａ１から鉛直下方向の台ＲＣ上の位置Ａ２への距離及び方向の説明図である。図４５（Ｂ）は、カメラ装置１１と対象音源位置Ａ１及び台ＲＣ上の位置Ａ２とを鉛直上方向から鉛直下方向に見た平面図である。図４５（Ｃ）は、図４５（Ｂ）のＡ−Ａ’断面図である。
【０５９２】
音源高さ判定部３４ａＣは、
（１）カメラ装置１１の床面ＢＬからの高さＨＣと、
（２）カメラ装置１１から対象音源位置Ａ１までの距離（水平成分）ＬＣＡ１ｈ及び角度（垂直角）θＣＡ１ｖと、
（３）カメラ装置１１から床面ＢＬ上の位置Ａ２までの距離（水平成分）ＬＣＡ２ｈ及び角度（垂直角）θＣＡ２ｖと、を基に、
指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さＨＡ１を算出する。
【０５９３】
本高さ算出方法では、図４３（Ａ）に示すステップＳＴ２における入力パラメータは、カメラ装置１１の床面ＢＬからの高さＨＣである。また、カメラ装置１１から対象音源位置Ａ１までの角度（垂直角）θＣＡ１ｖと、カメラ装置１１から床面ＢＬ上の位置Ａ２までの角度（垂直角）θＣＡ２ｖとは、ステップＳＴ１２Ｃにおいてカメラ装置１１から得られる。
【０５９４】
以下、音源高さ判定部３４ａＣが対象音源位置Ａ１の床面ＢＬからの高さＨＡ１の算出方法（本高さ算出方法）について、具体的に説明する。
【０５９５】
音源高さ判定部３４ａＣは、図４４（Ｃ）に示す△ＣＡ１Ｑに対する正接により、数式（７７）に従って、カメラ装置１１から対象音源位置Ａ１に向かう撮像方向の垂直角θＣＡ１ｖの正接値ｔａｎθＣＡ１ｖを算出する。数式（７７）において、ＬＣＡ１ｈは、カメラ装置１１から対象音源位置Ａ１までの距離の水平成分である。
【０５９６】
【数７７】
2018057023.tif 000079
【０５９７】
同様に、音源高さ判定部３４ａＣは、図４４（Ｃ）に示す△ＣＡ２Ｑに対する正接により、数式（７８）に従って、カメラ装置１１から床面ＢＬ上の位置Ａ２に向かう撮像方向の垂直角θＣＡ２ｖの正接値ｔａｎθＣＡ２ｖを算出する。数式（７８）において、ＬＣＡ２ｈは、カメラ装置１１から床面ＢＬ上の位置Ａ２までの距離の水平成分である。
【０５９８】
【数７８】
2018057023.tif 000080
【０５９９】
ここで、対象音源位置Ａ１と床面ＢＬ上の位置Ａ２とは、図４４（Ａ）に示す鉛直上方向又は鉛直下方向において座標が異なるが、水平成分の座標は同一である。従って、図４４（Ｂ）に示すように、カメラ装置１１から対象音源位置Ａ１までの距離ＬＣＡ１の水平成分ＬＣＡ１ｈと、カメラ装置１１から床面ＢＬ上の位置Ａ２までの距離ＬＣＡ２の水平成分ＬＣＡ２ｈとは等しい（数式（７９）参照）。
【０６００】
【数７９】
2018057023.tif 000081
【０６０１】
従って、音源高さ判定部３４ａＣは、数式（７７）〜（７９）の各算出結果を用いて、対象音源位置Ａ１の床面ＢＬからの高さＨＡ１を、数式（８０）に従って算出する。
【０６０２】
【数８０】
2018057023.tif 000082
【０６０３】
また、対象物（人物）が床面ＢＬ上に存在せずに、床面ＢＬ上に設置された所定の高さＨＤの台ＲＣ上に存在する場合に（図４５（Ａ）参照）、対象音源位置Ａ１の床面ＢＬからの高さＨＡ１の算出方法についても説明する。
【０６０４】
音源高さ判定部３４ａＣは、図４５（Ｃ）に示す△ＣＡ１Ｑに対する正接により、数式（８１）に従って、カメラ装置１１から対象音源位置Ａ１に向かう撮像方向の垂直角θＣＡ１ｖの正接値ｔａｎθＣＡ１ｖを算出する。数式（８１）において、ＬＣＡ１ｈは、カメラ装置１１から対象音源位置Ａ１までの距離の水平成分である。
【０６０５】
【数８１】
2018057023.tif 000083
【０６０６】
同様に、音源高さ判定部３４ａＣは、図４５（Ｃ）に示す△ＣＡ２Ｑに対する正接により、数式（８２）に従って、カメラ装置１１から台ＲＣ上の位置Ａ２に向かう撮像方向の垂直角θＣＡ２ｖの正接値ｔａｎθＣＡ２ｖを算出する。数式（８２）において、ＬＣＡ２ｈは、カメラ装置１１から台ＲＣ上の位置Ａ２までの距離の水平成分である。
【０６０７】
【数８２】
2018057023.tif 000084
【０６０８】
ここで、対象音源位置Ａ１と台ＲＣ上の位置Ａ２とは、図４５（Ａ）に示す鉛直上方向又は鉛直下方向において座標が異なるが、水平成分の座標は同一である。従って、図４５（Ｂ）に示すように、カメラ装置１１から対象音源位置Ａ１までの距離ＬＣＡ１の水平成分ＬＣＡ１ｈと、カメラ装置１１から台ＲＣ上の位置Ａ２までの距離ＬＣＡ２の水平成分ＬＣＡ２ｈとは等しい（数式（７９）参照）。
【０６０９】
従って、音源高さ判定部３４ａＣは、数式（７９）、（８１）及び（８２）の各算出結果を用いて、対象音源位置Ａ１の床面ＢＬからの高さＨＡ１を、数式（８３）に従って算出する。
【０６１０】
【数８３】
2018057023.tif 000085
【０６１１】
以上により、本実施形態の指向性制御システム１０Ｃでは、指向性制御装置３Ｃの音源高さ判定部３４ａＣは、ディスプレイ装置３６に表示された映像データの第１指定位置Ａ１’と、第１指定位置Ａ１’に対応する床面ＢＬ上の第２指定位置Ａ２’との指定に応じて、指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さを正確に算出することができる。
【０６１２】
従って、指向性制御装置３Ｃは、映像データの指定位置に対応する対象音源位置と対象音源位置の床面ＢＬからの高さとを予め対応付けした設定ファイルの作成を不要とし、対象音源位置の床面ＢＬからの高さの選択肢又は入力フォームをディスプレイ装置３６に表示することなく、２つの指定位置の指定という簡易な指定操作に応じて、ユーザが所望する対象音源位置Ａ１の床面ＢＬからの高さを正確に算出することができる。
【０６１３】
また、本実施形態の指向性制御システム１０Ｃでも、第７の実施形態の指向性制御システム１０と同様に、指向性制御装置３Ｃは、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａ１の床面ＢＬからの高さＨＡを一意に判定でき、対象音源位置Ａ１の床面ＢＬからの高さＨＡ１を基に、全方位マイクアレイ装置２から対象音源位置Ａ１に向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３Ｃは、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。
【０６１４】
以下、上述した本発明に係る指向性制御システム及び指向性制御方法の構成、作用及び効果を説明する。
【０６１５】
本発明の一実施形態は、映像を撮像する少なくとも１つの撮像部と、音声を収音する収音部と、前記少なくとも１つの撮像部により撮像された映像データを表示する表示部と、前記映像データの位置指定に応じて、指定された前記映像データの指定位置に対応する対象音源位置の基準面からの高さを判定する高さ判定部と、前記対象音源位置の基準面からの高さを基に、前記収音部から前記対象音源位置に向かう収音指向方向を算出する収音指向方向算出部と、算出された前記収音指向方向に、前記音声の収音指向性を前記収音部に形成させる制御部と、を備える、指向性制御システムである。
【０６１６】
上述した構成では、指向性制御装置３の音源高さ判定部３４ａは、ディスプレイ装置３６に表示された映像データ中のユーザによる指定位置Ａ’の指定に応じて、指定された映像データの指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを判定する。指向性制御装置３の収音指向方向算出部３４ｂは、対象音源位置Ａの床面ＢＬからの高さＨＡを基に、全方位マイクアレイ装置２から、指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向を算出する。指向性制御装置３の出力制御部３４ｃは、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させる。
【０６１７】
これにより、指向性制御システム１０では、指向性制御装置３は、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａの床面ＢＬからの高さＨＡを一意に判定でき、対象音源位置Ａの床面ＢＬからの高さＨＡを基に、全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３は、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。
【０６１８】
また、本発明の一実施形態は、前記映像データの指定位置に対応する対象音源位置と、前記対象音源位置の基準面からの高さとが予め対応付けられた第１設定データを記憶する記憶部を更に備え、前記高さ判定部は、前記第１設定データを基に、指定された前記指定位置に対応する対象音源位置の基準面からの高さを判定する、指向性制御システムである。
【０６１９】
上述した構成では、指向性制御装置３のメモリ３８には、例えばユーザの入力操作に応じて指定される映像データの指定位置Ａ’に対応する対象音源位置Ａと、対象音源位置Ａの床面ＢＬからの高さとが予め対応付けられた第１設定データを含む設定ファイルＣＦ１が記憶されている。
【０６２０】
従って、音源高さ判定部３４ａは、設定ファイルＣＦ１の第１設定データを基に、例えばユーザの入力操作に応じて指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを簡易に判定できる。
【０６２１】
また、本発明の一実施形態は、前記対象音源位置の基準面からの高さとして、複数種類の高さデータを含む第２設定データを記憶する記憶部を更に備え、前記制御部は、前記対象音源位置の基準面からの高さとして、前記第２設定データの前記複数種類の高さデータの選択肢を前記表示部に表示させ、前記高さ判定部は、表示された前記複数種類の高さデータの選択肢のうちいずれかの選択に応じて、指定された前記指定位置に対応する対象音源位置の基準面からの高さを判定する、指向性制御システムである。
【０６２２】
上述した構成では、指向性制御装置３Ａのメモリ３８Ａには、対象音源位置Ａの床面ＢＬからの高さとして、複数種類の高さＨＡ−Ａ，ＨＡ−Ｂ，ＨＡ−Ｄ，…の高さデータ（第２設定データ）を含む設定ファイルＣＦ２が記憶されている。指向性制御装置３Ａの出力制御部３４ｃＡは、対象音源位置Ａの床面ＢＬからの高さとして、設定ファイルＣＦ２の第２設定データの複数種類の高さデータの選択肢をディスプレイ装置３６に表示させる。
【０６２３】
従って、指向性制御装置３Ａの音源高さ判定部３４ａＡは、表示された複数種類の高さデータの選択肢のうちいずれかの選択に応じて、例えばユーザの入力操作に応じて指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを簡易に判定できる。
【０６２４】
また、本発明の一実施形態は、前記制御部は、前記対象音源位置の基準面からの高さの入力フォームを前記表示部に表示させ、前記高さ判定部は、表示された前記入力フォームへの前記対象音源位置の基準面からの高さの入力に応じて、指定された前記指定位置に対応する対象音源位置の基準面からの高さを判定する、指向性制御システムである。
【０６２５】
上述した構成では、指向性制御装置３Ｂの出力制御部３４ｃＢは、対象音源位置Ａの床面ＢＬからの高さを直接に入力させるための入力フォーム画面ＷＤ３をディスプレイ装置３６に表示させる。
【０６２６】
従って、指向性制御装置３Ｂの音源高さ判定部３４ａＢは、表示された入力フォーム画面ＷＤ３への対象音源位置Ａの床面ＢＬからの高さの入力に応じて、ユーザが所望する対象音源位置Ａの床面ＢＬからの高さを正確に判定することができる。これにより、指向性制御装置３Ｂの収音指向方向算出部３４ｂは、全方位マイクアレイ装置２から、指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向を正確に算出することができる。
【０６２７】
また、本発明の一実施形態は、前記高さ判定部は、表示された前記映像データの第１指定位置と前記第１指定位置に対応する前記基準面上の第２指定位置との指定に応じて、指定された前記第１指定位置に対応する前記対象音源位置の基準面からの高さを算出する、指向性制御システムである。
【０６２８】
上述した構成では、指向性制御装置３Ｃの高さ判定部３４ａＣは、ディスプレイ装置３６に表示された映像データの第１指定位置Ａ１’と、第１指定位置Ａ１’に対応する床面ＢＬ上の第２指定位置Ａ２’との指定に応じて、指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さを正確に算出することができる。
【０６２９】
従って、指向性制御装置３Ｃは、映像データの指定位置に対応する対象音源位置と対象音源位置の床面ＢＬからの高さとを予め対応付けした設定ファイルの作成を不要とし、対象音源位置の床面ＢＬからの高さの選択肢又は入力フォームをディスプレイ装置３６に表示することなく、２つの指定位置の指定という簡易な指定操作に応じて、ユーザが所望する対象音源位置Ａ１の床面ＢＬからの高さを正確に算出することができる。
【０６３０】
また、本発明の一実施形態は、前記高さ判定部は、前記少なくとも１つの撮像部の前記基準面からの高さと、前記少なくとも１つの撮像部から前記第１指定位置に対応する前記対象音源位置までの距離及び角度と、前記少なくとも１つの撮像部から前記第２指定位置に対応する前記基準面の位置までの距離及び角度と、を基に、指定された前記第１指定位置に対応する前記対象音源位置の基準面からの高さを算出する、指向性制御システムである。
【０６３１】
上述した構成では、指向性制御装置３Ｃの音源高さ判定部３４ａＣは、カメラ装置１１の床面ＢＬからの高さＨＣと、カメラ装置１１から第１指定位置Ａ１’に対応する対象音源位置Ａ１までの距離ＬＣＡ１ｈ及び角度θＣＡ１ｖと、カメラ装置１１から第２指定位置Ａ２’に対応する床面ＢＬの位置Ａ２までの距離ＬＣＡ２ｈ及び角度θＣＡ２ｖと、を基に、指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さを正確に算出することができる。
【０６３２】
また、本発明の一実施形態は、映像を撮像する少なくとも１つの撮像部と、音声を収音する収音部とを含む指向性制御システムにおける指向性制御方法であって、前記少なくとも１つの撮像部により撮像された映像データを表示するステップと、前記映像データの位置指定に応じて、指定された前記映像データの指定位置に対応する対象音源位置の基準面からの高さを判定するステップと、前記対象音源位置の基準面からの高さを基に、前記収音部から前記対象音源位置に向かう収音指向方向を算出するステップと、算出された前記収音指向方向に、前記音声の収音指向性を前記収音部に形成させるステップと、を有する、指向性制御方法である。
【０６３３】
上述した方法では、指向性制御装置３の音源高さ判定部３４ａは、ディスプレイ装置３６に表示された映像データ中のユーザによる指定位置Ａ’の指定に応じて、指定された映像データの指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨＡを判定する。指向性制御装置３の収音指向方向算出部３４ｂは、対象音源位置Ａの床面ＢＬからの高さＨＡを基に、全方位マイクアレイ装置２から、指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向を算出する。指向性制御装置３の出力制御部３４ｃは、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させる。
【０６３４】
これにより、指向性制御システム１０では、指向性制御装置３は、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａの床面ＢＬからの高さＨＡを一意に判定でき、対象音源位置Ａの床面ＢＬからの高さＨＡを基に、全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３は、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。
【０６３５】
以下に後述する第１１の実施形態は、音声を収音するマイクアレイ装置の収音指向性を制御する指向性制御システム及び指向性制御方法に関する。
【０６３６】
特許文献１では、例えばテレビ会議システムにおける使用形態を想定して、カメラ装置とマイクアレイ装置と被写体（例えば発話者）とが同一平面上に存在することが前提とされている。しかし、上述した監視システムでは、カメラ装置、マイクアレイ装置、被写体（例えば店舗の店員、来客者）の全てが実際に同一平面上に存在することは少ない。
【０６３７】
例えばカメラ装置及びマイクアレイ装置は、被写体から上方（例えば店舗の天井面）に設置されることが多いので、カメラ装置、マイクアレイ装置及び被写体は、平面的な２次元の座標上には存在せず、むしろ立体的な３次元の座標上に存在することが多い。
【０６３８】
従って、上述した監視システムにおいて、カメラ装置が撮像している映像中の被写体の会話をマイクアレイ装置が収音する場合、特許文献１の方法によって算出されたマイクアレイ装置が収音する方向を示す座標（水平角，垂直角）をそのまま用いることが困難であるという課題がある。
【０６３９】
このため、マイクアレイ装置の収音範囲をカメラのパン方向、即ち水平方向の角度だけを用いる特許文献１の制御システムを上述した監視システムに適用すると、マイクアレイ装置は、カメラ装置の撮像方向の音声を高精度に収音することが困難になる。
【０６４０】
また、上述した監視システムでは、カメラ装置とマイクアレイ装置とが一体的に組み込まれて同軸上に配置されている場合、カメラ装置の光軸とマイクアレイ装置の物理的な中心軸とが共通する。従って、カメラ装置の撮像方向に存在する被写体の会話をマイクアレイ装置が収音する場合、マイクアレイ装置が収音する方向（以下、「収音方向」という）を示す座標（水平角，垂直角）と、カメラ装置の撮像方向を示す座標（水平角，垂直角）とは同一となる。
【０６４１】
ところが、カメラ装置とマイクアレイ装置とが別体として異なる位置に配置されている場合、カメラ装置の光軸とマイクアレイ装置の物理的な中心軸とが異なる。このため、カメラ装置の撮像方向に存在する被写体の会話をマイクアレイ装置が収音する場合、マイクアレイ装置の収音方向を示す座標（水平角，垂直角）と、カメラ装置の撮像方向を示す座標（水平角，垂直角）とは同一とならないという課題がある。
【０６４２】
そこで、本発明に係る第１１の実施形態では、上述した従来の課題を解決するために、マイクアレイ装置を基準として、カメラ装置の撮像画像における指定位置に対応する目的音源位置（又は音声位置）に向かう収音方向への収音指向性を形成し、収音方向の音声を高精度に収音する指向性制御システム及び指向性制御方法の例を説明する。
【０６４３】
（第１１の実施形態）
以下、本発明に係る指向性制御システム及び指向性制御方法の第１１の実施形態として、例えば収音システム及び収音制御方法の実施形態（以下、「本実施形態」という）について、図面を参照して説明する。本実施形態の収音システムは、例えば工場、公共施設（例えば図書館、イベント会場）、又は店舗（例えば小売店、銀行）に設置される監視システム（有人監視システム及び無人監視システムを含む）として用いられる。
【０６４４】
なお、本発明は、収音システムを構成する装置（例えば後述する指向性制御装置）、又は収音システムを構成する装置が行う各動作（ステップ）を有する収音制御方法として表現することも可能である。
【０６４５】
（収音システムのシステム構成）
図４７は、本実施形態の収音システム１０のシステム構成を示すブロック図である。図４７に示す収音システム１０は、ＰＴＺ（Pan Tilt Zoom）カメラ装置１と、全方位マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とを含む構成である。ＰＴＺカメラ装置１と、全方位マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とは、ネットワークＮＷを介して相互に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良い。図４７に示す収音システム１０では、説明を簡単にするために、ＰＴＺカメラ装置１は１台だけ図示されているが、複数のＰＴＺカメラ装置が含まれる構成でも良い。
【０６４６】
以下、収音システム１０を構成する各装置について説明する。
【０６４７】
撮像部の一例としてのＰＴＺカメラ装置１は、例えば店舗内の天井又はスタンド（図４８（Ａ）参照）に固定して設置される。ＰＴＺカメラ装置１は、例えば監視システムにおける監視カメラとしての機能を有し、ネットワークＮＷに接続された監視制御室（不図示）からの遠隔操作によって、公知技術であるパン方向又はチルト方向への筐体駆動機能及びズーム機能（例えばズームイン処理、ズームアウト処理）を用いて、所定の収音領域（例えば店舗内の既定の領域）に存在する対象物（例えば人物）を撮像する。ＰＴＺカメラ装置１は、ネットワークＮＷを介して、撮像により得られた撮像画像データを指向性制御装置３又はレコーダ装置４に送信する。
【０６４８】
ＰＴＺカメラ装置１は、ディスプレイ装置３６に表示された撮像画像データの中で、キャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２（後述参照）及び全方位マイクアレイ装置２のうち少なくとも１つがユーザの指ＦＧにより指定されると、撮像画像データ中の指定位置の座標データを指向性制御装置３から受信する。ＰＴＺカメラ装置１は、ＰＴＺカメラ装置１の設置位置から、キャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２及び全方位マイクアレイ装置２のうち少なくとも１つまでの距離、方向のパラメータを算出する。ＰＴＺカメラ装置１における距離、方向のパラメータの算出処理は公知技術であるため、説明は割愛する。
【０６４９】
また、ＰＴＺカメラ装置１は、後述するディスプレイ装置３６に表示された撮像画像データの中で、ユーザの指ＦＧにより任意の位置（例えば指定位置Ａ’）が指定されると、撮像画像データ中の指定位置Ａ’の座標データを指向性制御装置３から受信する。ＰＴＺカメラ装置１は、ＰＴＺカメラ装置１の設置位置から、指定位置Ａ’に対応する実際の現場の位置（目的音源位置Ａ）までの距離、方向のパラメータを算出する。ＰＴＺカメラ装置１は、ＰＴＺカメラ装置１の設置位置から、キャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２、全方位マイクアレイ装置２及び目的音源位置Ａのうち少なくとも１つまでの距離、方向のパラメータを指向性制御装置３に送信する。
【０６５０】
収音部の一例としての全方位マイクアレイ装置２は、例えば店舗内の天井又はスタンド（図４８（Ａ）参照）に固定して設置される。全方位マイクアレイ装置２は、複数のマイクロホンユニット２２，２３（図２（Ａ）〜（Ｅ）参照）が一様に設けられたマイクロホン部と、マイクロホン部の各マイクロホンユニット２２，２３の動作を制御する制御部（不図示）とを少なくとも含む構成である。
【０６５１】
全方位マイクアレイ装置２は、指向性制御装置３から送信された指向性形成指示（後述参照）に応じて、指向性形成指示に含まれる収音方向座標（θＭＡｈ，θＭＡｖ）が示す収音方向に、各々のマイクロホンユニット２２，２３の収音指向性を形成する。全方位マイクアレイ装置２は、各々のマイクロホンユニット２２，２３が収音した音声データに所定の音声処理を施し、所定の音声処理により得られた音声データを、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。
【０６５２】
これにより、全方位マイクアレイ装置２は、収音指向性が形成された収音方向の音声データの音量レベルを相対的に増大でき、収音指向性が形成されない方向の音声データの音量レベルを相対的に低減できる。なお、収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法については後述する。
【０６５３】
なお、全方位マイクアレイ装置２の外観については、図２（Ａ）〜（Ｅ）を参照して後述する。全方位マイクアレイ装置２の各マイクロホンユニット２２，２３を構成するマイクロホンは、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせでも良い。
【０６５４】
指向性制御装置３は、例えば監視制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、ＰＤＡ（Personal Digital Assistant）、タブレット端末、スマートフォン等のデータ通信端末でも良い。
【０６５５】
指向性制御装置３は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。信号処理部３３は、収音方向算出部３４と、出力制御部３５とを少なくとも含む。
【０６５６】
通信部３１は、ＰＴＺカメラ装置１が送信した撮像画像データ、又は全方位マイクアレイ装置２が送信した音声データを受信して信号処理部３３に出力する。
【０６５７】
操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
【０６５８】
操作部３２は、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データ（図４８（Ｂ）参照）の中で、ユーザが音量レベルの増大を希望する範囲、即ち図４８（Ｂ）に示す収音範囲Ｂにおいてユーザの指ＦＧにより指定された指定位置Ａ’の座標データを信号処理部３３に出力する。
【０６５９】
また、操作部３２は、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データの中で、キャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２（後述参照）及び全方位マイクアレイ装置２のうち少なくとも１つがユーザの指ＦＧにより指定されると、指定された位置の座標データを信号処理部３３に出力する。
【０６６０】
信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。
【０６６１】
収音方向算出部３４は、キャリブレーション時では（後述参照）、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２及び全方位マイクアレイ装置２のうち少なくとも１つの座標データを操作部３２から取得すると、通信部３１からＰＴＺカメラ装置１に座標データを送信させる。収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置からキャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２及び全方位マイクアレイ装置２のうち少なくとも１つまでの距離、方向のパラメータを、通信部３１から取得する。
【０６６２】
収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置からキャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２及び全方位マイクアレイ装置２のうち少なくとも１つまでの距離、方向のパラメータを用いて、キャリブレーション方法（後述参照）毎に異なるキャリブレーションパラメータを算出する。
【０６６３】
また、収音方向算出部３４は、収音方向座標（θＭＡｈ，θＭＡｖ）の算出時では（後述参照）、指定位置Ａ’の座標データを操作部３２から取得すると、通信部３１からＰＴＺカメラ装置１に座標データを送信させる。収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置から目的音源位置Ａまでの距離、方向のパラメータを、通信部３１から取得する。
【０６６４】
収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置から目的音源位置Ａまでの距離、方向のパラメータ（後述参照）と、キャリブレーション時に算出したキャリブレーションパラメータ（後述参照）とを用いて、全方位マイクアレイ装置２の設置位置から目的音源位置Ａ（後述参照）に向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を算出する。収音方向座標（θＭＡｈ，θＭＡｖ）のうち、θＭＡｈは全方位マイクアレイ装置２の設置位置から目的音源位置Ａに向かう収音方向の水平角を示し、θＭＡｖは全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の垂直角を示す。
【０６６５】
なお、以下の説明において、目的音源位置とは、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データの中で、ユーザ（例えばユーザの指ＦＧ又はスタイラスペン）によって指定された指定位置Ａ’に対応する実際の監視対象となる現場の位置であると定義する。更に、本実施形態の説明を簡単にするために、目的音源位置は１つとして説明するが、ユーザにより指定される指定位置に対応する目的音源位置は複数でも良い。
【０６６６】
出力制御部３５は、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、ＰＴＺカメラ装置１から送信された撮像画像データをディスプレイ装置３６に表示させ、全方位マイクアレイ装置２から送信された音声データをスピーカ装置３７に音声出力させる。また、出力制御部３５は、全方位マイクアレイ装置２の動作を制御し、例えば収音方向算出部３４により算出された収音方向座標（θＭＡｈ，θＭＡｖ）が示す収音方向ＭＩＸに、全方位マイクアレイ装置２により収音された音声の収音指向性を全方位マイクアレイ装置２に形成させ、又は全方位マイクアレイ装置２により収音された音声の収音指向性を出力制御部３５自身において形成する（図４８（Ａ）参照）。
【０６６７】
表示部の一例としてのディスプレイ装置３６は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）を用いて構成され、出力制御部３５の制御の下で、ＰＴＺカメラ装置１の撮像画像データを表示する。
【０６６８】
音声出力部の一例としてのスピーカ装置３７は、全方位マイクアレイ装置２により収音された音声の音声データ、又は、収音方向座標（θＭＡｈ，θＭＡｖ）が示す収音方向に収音指向性が形成された後に収音された音声の音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置３７は、指向性制御装置３とは別の構成としても良い。
【０６６９】
記憶部の一例としてのメモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のワークメモリとして機能する。
【０６７０】
レコーダ装置４は、ＰＴＺカメラ装置１の撮像画像データと、全方位マイクアレイ装置２により収音された音声の音声データとを対応付けて記憶する。
【０６７１】
次に、本実施形態の収音システム１０の動作概要について、図４８（Ａ）及び図４８（Ｂ）を参照して説明する。図４８（Ａ）は、本実施形態の収音システム１０の動作概要を示す図である。図４８（Ｂ）は、全方位マイクアレイ装置２から、ディスプレイ装置３６に表示された撮像画像データの中で指定された指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向に存在する人物の音声の音量レベルが、収音方向に存在していないスピーカ装置ＳＰの音声音量レベルより大きく出力される様子を示す図である。
【０６７２】
図４８（Ａ）に示す収音システム１０では、ＰＴＺカメラ装置１は、目的音源位置Ａの周囲に存在している対象物（例えば２人の人物）と、目的音源位置Ａから離れた位置に設置されたスピーカ装置ＳＰを撮像している。また、全方位マイクアレイ装置２は、収音システム１０が設置された収音領域における音声を収音する。図４８（Ａ）では、収音の対象物である２人の人物は会話しており、スピーカ装置ＳＰは音楽（♪〜）を音声出力している。ＰＴＺカメラ装置１の撮像画像データは、指向性制御装置３のディスプレイ装置３６に表示される（図４８（Ｂ）参照）。
【０６７３】
ここで、例えばユーザの指ＦＧによって、ディスプレイ装置３６に表示された撮像画像データの中で、対象物である２人の人物の略中心位置である指定位置Ａ’が指定されると、指向性制御装置３は、指定位置Ａ’を表す座標データを用いて、全方位マイクアレイ装置２の設置位置から目的音源位置Ａに向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を算出する。全方位マイクアレイ装置２は、指向性制御装置３が算出した収音方向座標（θＭＡｈ，θＭＡｖ）の座標データを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向に、音声の収音指向性（収音方向ＭＩＸ）を形成する。
【０６７４】
従って、全方位マイクアレイ装置２は、収音指向性（収音方向ＭＩＸ）が形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性（収音方向ＭＩＸ）が形成された方向に存在しないスピーカ装置ＳＰの音楽（♪〜）の音量レベルより増大できる。
【０６７５】
これにより、指向性制御装置３は、スピーカ装置３７に、収音指向性（収音方向ＭＩＸ）が形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性（収音方向ＭＩＸ）が形成された方向に存在しないスピーカ装置ＳＰの音楽（♪〜）の音量レベルより大きく音声出力させることができる（図４８（Ｂ）参照）。
【０６７６】
次に、本実施形態の収音システム１０の詳細な動作手順について、図４９（Ａ）及び（Ｂ）を参照して説明する。図４９（Ａ）は、本実施形態の収音システム１０の動作手順の全体を説明するフローチャートである。図４９（Ｂ）は、本実施形態の収音システム１０のキャリブレーションの動作手順を詳細に説明するフローチャートである。ここで、キャリブレーションとは、指向性制御装置３が収音方向座標（θＭＡｈ，θＭＡｖ）を算出するために必要であって、且つ、キャリブレーション方法毎に異なる所定のキャリブレーションパラメータを算出又は取得する動作であると定義する。
【０６７７】
図４９（Ａ）において、本実施形態の収音システム１０を構成するＰＴＺカメラ装置１及び全方位マイクアレイ装置２がそれぞれ異なる所定の位置（例えばイベント会場の室内の天井面又はスタンド）に固定するように初期設置される（ＳＴ１１）。
【０６７８】
ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の初期設置後、収音方向算出部３４が収音方向座標（θＭＡｈ，θＭＡｖ）を算出するために必要となるキャリブレーションパラメータの算出又は取得の処理、即ちキャリブレーションが行われる（ＳＴ１２）。
【０６７９】
ここで、キャリブレーションの処理内容について、図４９（Ｂ）を参照して説明する。本実施形態では、図５０以降の図面を参照して複数のキャリブレーション方法を説明するが、図４９（Ｂ）では、各々のキャリブレーション方法に共通する内容を説明する。また、各々のキャリブレーション方法では、少なくとも１つのキャリブレーション用マーカＭＡＫ，ＭＡＫ３又はキャリブレーション用床置きマーカＭＡＫ２が用いられるが、図４９（Ｂ）では、例えばキャリブレーション用マーカＭＡＫを用いた場合を説明する。
【０６８０】
図４９（Ｂ）において、キャリブレーション用マーカＭＡＫが設置される（ＳＴ１２−１）。キャリブレーション用マーカＭＡＫは、各々のキャリブレーション方法において用いられるマーカ（例えばボール又は紙）等の固体物又は円形状物体であり、ＰＴＺカメラ装置１の撮像視野角内に含まれるように設置されるのでディスプレイ装置３６に表示される。
【０６８１】
ステップＳＴ１２−１の後、操作部３２は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫがユーザの指ＦＧにより指定されると、指定位置の座標データを取得して信号処理部３３に出力する（ＳＴ１２−２）。収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの座標データを操作部３２から取得すると、通信部３１からＰＴＺカメラ装置１に座標データを送信させる。ＰＴＺカメラ装置１は、ＰＴＺカメラ装置１の設置位置から、キャリブレーション用マーカＭＡＫまでの距離、方向のパラメータを算出して指向性制御装置３に送信する。通信部３１は、ＰＴＺカメラ装置１の設置位置から、キャリブレーション用マーカＭＡＫまでの距離、方向のパラメータをＰＴＺカメラ装置１から受信して信号処理部３３に出力する。収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置からキャリブレーション用マーカＭＡＫまでの距離、方向のパラメータを、通信部３１から取得する。
【０６８２】
収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置からキャリブレーション用マーカＭＡＫまでの距離、方向のパラメータを用いて、キャリブレーション方法（後述参照）毎に異なるキャリブレーションパラメータを算出する（ＳＴ１２−３）。ステップＳＴ１２−３の後、ステップＳＴ１２−１において設置されたキャリブレーション用マーカＭＡＫが取り外される（ＳＴ１２−４）。なお、収音方向算出部３４は、ステップＳＴ１２−３において算出したキャリブレーションパラメータをメモリ３８に一時的に保存する。これにより、ステップＳＴ１２に示すキャリブレーションの処理が終了する。
【０６８３】
図４９（Ａ）において、操作部３２は、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データ（図４８（Ｂ）参照）の中で、ユーザが音量レベルの増大を希望する範囲、即ち目的音源位置Ａに対応する指定位置Ａ’の座標データを取得して信号処理部３３に出力する（ＳＴ１３）。
【０６８４】
収音方向算出部３４は、指定位置Ａ’の座標データを操作部３２から取得すると、通信部３１からＰＴＺカメラ装置１に座標データを送信させる。ＰＴＺカメラ装置１は、撮像画像データ中の指定位置Ａ’の座標データを指向性制御装置３から受信し、ＰＴＺカメラ装置１の設置位置から、指定位置Ａ’に対応する目的音源位置Ａまでの距離、方向のパラメータを算出する。ＰＴＺカメラ装置１は、ＰＴＺカメラ装置１の設置位置から、指定位置Ａ’に対応する目的音源位置Ａまでの距離、方向のパラメータを指向性制御装置３に送信する。収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置から目的音源位置Ａまでの距離、方向のパラメータを、通信部３１から取得する。
【０６８５】
収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置から目的音源位置Ａまでの距離、方向のパラメータと、ＳＴ１２におけるキャリブレーション時に算出したキャリブレーションパラメータとを用いて、全方位マイクアレイ装置２の設置位置から目的音源位置Ａに向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を算出する（ＳＴ１４）。
【０６８６】
出力制御部３５は、ステップＳＴ１４において算出された収音方向座標（θＭＡｈ，θＭＡｖ）の座標データが示す収音方向に音声の指向性を形成させるための指向性形成指示を生成し、収音方向座標（θＭＡｈ，θＭＡｖ）の座標データを含む指向性形成指示を、通信部３１から全方位マイクアレイ装置２に送信させる。全方位マイクアレイ装置２は、指向性制御装置３から送信された指向性形成指示に応じて、指向性形成指示に含まれる収音方向座標（θＭＡｈ，θＭＡｖ）が示す収音方向ＭＩＸに、各々のマイクロホンユニット２２，２３の収音指向性を形成する（ＳＴ１５）。以上により、本実施形態の収音システム１０の動作は終了する。
【０６８７】
なお、ステップＳＴ１５に示す収音指向性の形成処理では、指向性制御装置３から送信された指向性形成指示に従って全方位マイクアレイ装置２が行うと説明したが、指向性制御装置３がステップＳ１５に示す収音指向性の形成処理を行っても良い。具体的には、出力制御部３５は、ステップＳＴ１４において算出された収音方向座標（θＭＡｈ，θＭＡｖ）の座標データと、全方位マイクアレイ装置２により収音された音声の音声データとを用いて、図３を参照して説明した指向性の形成処理を行う。これにより、指向性制御装置３は、収音方向座標（θＭＡｈ，θＭＡｖ）が示す収音方向ＭＩＸに、高精度に収音指向性が形成された音声データを容易に得ることができる。
【０６８８】
なお、本実施形態の収音システム１０において、全方位マイクアレイ装置２が音声を収音するタイミングは、ステップＳＴ１４の直後に限定されず、例えばステップＳＴ１１の初期設置後に全方位マイクアレイ装置２の電源がＯＮされた後でも良い。
【０６８９】
（キャリブレーション方法に応じた収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法）
次に、指向性制御装置３の収音方向算出部３４がキャリブレーション方法毎に異なるキャリブレーションパラメータと収音方向座標（θＭＡｈ，θＭＡｖ）とを算出する方法について、図５０〜図７９を参照して詳細に説明する。ここでは、合計１０通りのキャリブレーション方法、即ち１０通りのキャリブレーションパラメータの算出方法を説明し、合計４通りの収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法を説明する。なお、合計１０通りのキャリブレーションパラメータの算出方法のうちいずれかと、合計４通りの収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法のうちいずれかとが対応している。
【０６９０】
（第１のキャリブレーション方法に応じた第１の収音方向座標の算出方法）
先ず、第１のキャリブレーション方法と、第１のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第１の収音方向座標の算出方法について、図５０、図５１（Ａ）〜（Ｃ）、図５２（Ａ）〜（Ｃ）及び図５３（Ａ）〜（Ｃ）を参照して説明する。
【０６９１】
図５０は、第１１の実施形態における第１のキャリブレーション方法の説明図である。図５１（Ａ）は、第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図である。図５１（Ｂ）は、図５１（Ａ）の水平方向上面図である。図５１（Ｃ）は、図５１（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０６９２】
図５２（Ａ）は、第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図５２（Ｂ）は、図５２（Ａ）の水平方向上面図である。図５２（Ｃ）は、図５２（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。図５３（Ａ）は、第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図５３（Ｂ）は、図５３（Ａ）の水平方向上面図である。図５３（Ｃ）は、図５３（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。
【０６９３】
第１のキャリブレーション方法では、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用マーカＭＡＫにフォーカスを当ててズームするので、キャリブレーション用マーカＭＡＫはディスプレイ装置３６の画面の中心点に位置する（図５０参照）。
【０６９４】
第１のキャリブレーション方法では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との水平面（例えば店舗内の床。以下同様であり、水平面の一例として床とする。）からの各高さが同一であり、全方位マイクアレイ装置２の所定位置（例えば全方位マイクアレイ装置２の筐体中心。以下同様とする。）から鉛直方向の真下に、例えば糸ＳＴＲ又は紐を用いて、固体物であるキャリブレーション用マーカＭＡＫが吊り下げられる（図５１（Ａ）参照）。全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離ＬＭＯは一定である。第１のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈである。
【０６９５】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ（図５０参照）がユーザの指ＦＧにより指定されると、全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離ＬＭＯを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを算出する。図５１（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈの算出方法を具体的に説明する。
【０６９６】
以下の各キャリブレーション方法の説明では、ＰＴＺカメラ装置１からの水平角が０度となる正面方向は、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう方向ではないとし、全方位マイクアレイ装置２からの水平角が０度となる正面方向は、全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう方向とする（例えば図５１（Ｂ）参照）。
【０６９７】
以下の第１〜第５の各キャリブレーション方法の説明では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さは同一である（例えば図５１（Ｃ）参照）。このため、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θＣＭｖと、全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう垂直角θＣＭｖとはともにゼロとなる（θＣＭｖ＝θＭＣｖ＝０）。
【０６９８】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ（図５０参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θＣＯｈ，垂直角θＣＯｖを取得する。水平角θＣＯｈ，垂直角θＣＯｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられているので、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと同じである（θＣＯｈ＝θＣＭｈ）。
【０６９９】
収音方向算出部３４は、図５１（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう垂直角θＣＯｖと、全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離ＬＭＯとを用いて、数式（７８）に従って、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを算出する。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられているので、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の水平方向の距離ＬＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと同じである（ＬＣＯｈ＝ＬＣＭｈ）。
【０７００】
【数８４】
2018057023.tif 000086
【０７０１】
次に、第１の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、キャリブレーション用マーカＭＡＫと目的音源位置Ａとの床からの各高さが同一であり（ＨＯ＝ＨＡ）、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが同一である。
【０７０２】
具体的には、収音方向算出部３４は、
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと、
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θＭＣｈと、
（４）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ，垂直角θＣＡｖと、を用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を算出する。図５２（Ｂ），（Ｃ）及び図５３（Ｂ），（Ｃ）を参照して、収音方向算出部３４における第１の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法を具体的に説明する。
【０７０３】
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈは、第１のキャリブレーション方法においてＰＴＺカメラ装置１により算出された値が用いられる（θＣＭｈ＝θＣＯｈ）。
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈは、第１のキャリブレーション方法におけるキャリブレーションパラメータである（数式（８４）参照）。
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θＭＣｈは、第１のキャリブレーション方法においてＰＴＺカメラ装置１及び全方位マイクアレイ装置２の位置関係から与えられる既定値（ゼロ）である。
（４）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ，垂直角θＣＡｖは、ディスプレイ装置３６に表示された撮像画像データにおいて指定位置Ａ’の指定に応じてＰＴＺカメラ装置１により算出された値が用いられる。
【０７０４】
収音方向算出部３４は、図５２（Ｃ）に示す△ＣＡＳ’において、全方位マイクアレイ装置２と目的音源位置Ａとの床からの高さの差分に相当する距離ＬＭＯ（＝ＬＭＯｖ）と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう垂直角θＣＡｖとを用いて、数式（８５）に従って、ＰＴＺカメラ装置１から目的音源位置Ａまでの距離ＬＣＡの水平方向の距離ＬＣＡｈを算出する。
【０７０５】
【数８５】
2018057023.tif 000087
【０７０６】
収音方向算出部３４は、数式（７８），（７９）の各算出結果と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈとＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈとの差分に相当する角度（θＣＡｈ−θＣＭｈ）を用いて、図５２（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（８６）に従って、全方位マイクアレイ装置２から目的音源位置Ａまでの距離ＬＭＡの水平方向の距離ＬＭＡｈを算出する。
【０７０７】
【数８６】
2018057023.tif 000088
【０７０８】
収音方向算出部３４は、数式（８４）〜（８６）の各算出結果を用いて、図５２（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（８７）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θＭＡｈの余弦値ｃｏｓθＭＡｈを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θＭＡｈを、数式（８８）に従って算出できる。
【０７０９】
【数８７】
2018057023.tif 000089
【０７１０】
【数８８】
2018057023.tif 000090
【０７１１】
更に、収音方向算出部３４は、数式（８６）の算出結果と、全方位マイクアレイ装置２と目的音源位置Ａとの床からの高さの差分に相当する距離ＬＭＯとを用いて、図５３（Ｃ）に示す△ＭＡＳ”における正接により、数式（８９）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θＭＡｖの正接値ｔａｎθＭＡｖを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θＭＡｖを、数式（９０）に従って算出できる。
【０７１２】
【数８９】
2018057023.tif 000091
【０７１３】
【数９０】
2018057023.tif 000092
【０７１４】
以上により、第１のキャリブレーション方法及び第１の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏがユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０７１５】
また、収音方向算出部３４は、収音方向座標の算出時に目的音源位置Ａの水平面からの高さＨＡをユーザに入力させること無く、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向座標（θＭＡｈ，θＭＡｖ）を簡易に算出できる。
【０７１６】
（第２のキャリブレーション方法に応じた第２の収音方向座標の算出方法）
次に、第２のキャリブレーション方法と、第２のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第２の収音方向座標の算出方法について、図５４、図５５（Ａ）〜（Ｃ）、図５６（Ａ）〜（Ｃ）及び図５７（Ａ）〜（Ｃ）を参照して説明する。
【０７１７】
図５４は、第１１の実施形態における第２のキャリブレーション方法の説明図である。図５５（Ａ）は、第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図である。図５５（Ｂ）は、図５５（Ａ）の水平方向上面図である。図５５（Ｃ）は、図５５（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０７１８】
図５６（Ａ）は、第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図５６（Ｂ）は、図５６（Ａ）の水平方向上面図である。図５６（Ｃ）は、図５６（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。図５７（Ａ）は、第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図５７（Ｂ）は、図５７（Ａ）の水平方向上面図である。図５７（Ｃ）は、図５７（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。
【０７１９】
第２のキャリブレーション方法では、第１のキャリブレーション方法と同様に、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用マーカＭＡＫにフォーカスを当ててズームするので、キャリブレーション用マーカＭＡＫはディスプレイ装置３６の画面の中心点に位置する（図５４参照）。
【０７２０】
第２のキャリブレーション方法では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが同一であり、全方位マイクアレイ装置２の所定位置から鉛直方向の真下に、例えば糸ＳＴＲ又は紐を用いて、固体物であるキャリブレーション用マーカＭＡＫが吊り下げられる（図５５（Ａ）参照）。全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離ＬＭＯは一定である。第２のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈである。
【０７２１】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ（図５４参照）がユーザの指ＦＧにより指定されると、全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離ＬＭＯを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを算出する。図５５（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈの算出方法を具体的に説明する。
【０７２２】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ（図５４参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θＣＯｈ，垂直角θＣＯｖを取得する。水平角θＣＯｈ，垂直角θＣＯｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられているので、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと同じである（θＣＯｈ＝θＣＭｈ）。
【０７２３】
収音方向算出部３４は、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう垂直角θＣＯｖと、全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離ＬＭＯとを用いて、数式（９１）に従って、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを算出する。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられているので、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の水平方向の距離ＬＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと同じである（ＬＣＯｈ＝ＬＣＭｈ）。
【０７２４】
【数９１】
2018057023.tif 000093
【０７２５】
次に、第２の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、目的音源位置Ａの床からの高さはユーザにより入力された入力値であり、第１の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法とは異なる。また、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さＨＣ，ＨＭは同一である。
【０７２６】
具体的には、収音方向算出部３４は、
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと、
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θＭＣｈと、
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨＣ，ＨＭと、
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ，垂直角θＣＡｖと、
（６）ユーザにより入力された、目的音源位置Ａの床からの高さＨＡと、
を用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を算出する。図５６（Ｂ），（Ｃ）及び図５７（Ｂ），（Ｃ）を参照して、収音方向算出部３４における第２の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法を具体的に説明する。
【０７２７】
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈは、第２のキャリブレーション方法においてＰＴＺカメラ装置１により算出された値が用いられる（ＬＣＭｈ＝ＬＣＯｈ）。
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈは、第２のキャリブレーション方法におけるキャリブレーションパラメータである（数式（８５）参照）。
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θＭＣｈは、第２のキャリブレーション方法においてＰＴＺカメラ装置１及び全方位マイクアレイ装置２の位置関係から与えられる既定値（ゼロ）である。
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨＣ，ＨＭは、第２の収音方向座標の算出方法では既定値である（ＨＣ＝ＨＭ）。
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ，垂直角θＣＡｖは、ディスプレイ装置３６に表示された撮像画像データにおいて指定位置Ａ’の指定に応じてＰＴＺカメラ装置１により算出された値が用いられる。
（６）目的音源位置Ａの床からの高さＨＡは、ユーザの入力操作によって入力された値である。
【０７２８】
収音方向算出部３４は、図５６（Ｃ）に示す△ＣＡＳ’において、ＰＴＺカメラ装置１と目的音源位置Ａとの床からの高さの差分に相当する距離（ＨＣ−ＨＡ）と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう垂直角θＣＡｖとを用いて、数式（９２）に従って、ＰＴＺカメラ装置１から目的音源位置Ａまでの距離ＬＣＡの水平方向の距離ＬＣＡｈを算出する。
【０７２９】
【数９２】
2018057023.tif 000094
【０７３０】
収音方向算出部３４は、数式（９１），（９２）の各算出結果と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈとＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈとの差分に相当する角度（θＣＡｈ−θＣＭｈ）を用いて、図５６（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（９３）に従って、全方位マイクアレイ装置２から目的音源位置Ａまでの距離ＬＭＡの水平方向の距離ＬＭＡｈを算出する。
【０７３１】
【数９３】
2018057023.tif 000095
【０７３２】
収音方向算出部３４は、数式（９１）〜（９３）の各算出結果を用いて、図５６（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（９４）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θＭＡｈの余弦値ｃｏｓθＭＡｈを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θＭＡｈを、数式（９５）に従って算出できる。
【０７３３】
【数９４】
2018057023.tif 000096
【０７３４】
【数９５】
2018057023.tif 000097
【０７３５】
更に、収音方向算出部３４は、数式（９３）の算出結果と、全方位マイクアレイ装置２と目的音源位置Ａとの床からの高さの差分に相当する距離（ＨＭ−ＨＡ）とを用いて、図５７（Ｃ）に示す△ＭＡＳ”における正接により、数式（９６）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θＭＡｖの正接値ｔａｎθＭＡｖを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θＭＡｖを、数式（９７）に従って算出できる。
【０７３６】
【数９６】
2018057023.tif 000098
【０７３７】
【数９７】
2018057023.tif 000099
【０７３８】
以上により、第２のキャリブレーション方法及び第２の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏがユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０７３９】
また、収音方向算出部３４は、全方位マイクアレイ装置２の初期設置時に測定が比較的簡易である全方位マイクアレイ装置２の床からの高さＨＭを用いる。従って、キャリブレーション用マーカＭＡＫが全方位マイクアレイ装置２から吊り下げられる場合、吊り下げ距離の調整を簡易化できる。更に、目的音源位置Ａの床からの高さＨＡは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨＡの選択の自由度が向上する。
【０７４０】
（第３のキャリブレーション方法に応じた第２の収音方向座標の算出方法）
次に、第３のキャリブレーション方法と、第３のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第２の収音方向座標の算出方法について、図５８及び図５９（Ａ）〜（Ｃ）を参照して説明する。
【０７４１】
図５８は、第１１の実施形態における第３のキャリブレーション方法の説明図である。図５９（Ａ）は、第３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図である。図５９（Ｂ）は、図５９（Ａ）の水平方向上面図である。図５９（Ｃ）は、図５９（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０７４２】
第３のキャリブレーション方法では、第１のキャリブレーション方法と同様に、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用床置きマーカＭＡＫ２にフォーカスを当ててズームするので、キャリブレーション用床置きマーカＭＡＫ２はディスプレイ装置３６の画面の中心点に位置する（図５８参照）。
【０７４３】
第３のキャリブレーション方法では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが同一であり、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図５９（Ａ）参照）。従って、全方位マイクアレイ装置２からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＭＯは、全方位マイクアレイ装置２の床からの高さＨＭと同じである（ＬＭＯ＝ＨＭ）。第３のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２の床からの高さＨＭである。
【０７４４】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図５８参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２の床からの高さＨＭとを算出する。図５９（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２の水平面（例えば床）からの高さＨＭとの算出方法を具体的に説明する。
【０７４５】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図５８参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θＣＯｈ，垂直角θＣＯｖとを取得する。距離ＬＣＯ，水平角θＣＯｈ，垂直角θＣＯｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと同じである（θＣＯｈ＝θＣＭｈ）。
【０７４６】
収音方向算出部３４は、図５９（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θＣＯｖとを用いて、数式（９８）に従って、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを算出する。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されているので、ＰＴＺカメラ装置１とキャリブレーション用床置きマーカＭＡＫ２との間の水平方向の距離ＬＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと同じである（ＬＣＯｈ＝ＬＣＭｈ）。
【０７４７】
【数９８】
2018057023.tif 000100
【０７４８】
また、収音方向算出部３４は、図５９（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θＣＯｖとを用いて、数式（９９）に従って、全方位マイクアレイ装置２の床からの高さＨＭを算出する。
【０７４９】
【数９９】
2018057023.tif 000101
【０７５０】
なお、第３のキャリブレーション方法によりキャリブレーションパラメータが算出された後の収音方向算出部３４における収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法は、上述した第２の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法と同じであるため、説明を割愛する。
【０７５１】
以上により、第３のキャリブレーション方法及び第２の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図５９参照）がユーザの指ＦＧにより指定されると、例えばＰＴＺカメラ装置１のフォーカス機能を用いて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０７５２】
（第４のキャリブレーション方法に応じた第２の収音方向座標の算出方法）
次に、第４のキャリブレーション方法と、第４のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第２の収音方向座標の算出方法について、図６０及び図６１（Ａ）〜（Ｃ）を参照して説明する。
【０７５３】
図６０は、第１１の実施形態における第４のキャリブレーション方法の説明図である。図６１（Ａ）は、第４のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図である。図６１（Ｂ）は、図６１（Ａ）の水平方向上面図である。図６１（Ｃ）は、図６１（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０７５４】
第４のキャリブレーション方法では、第１のキャリブレーション方法と同様に、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用床置きマーカＭＡＫ２にフォーカスを当ててズームするので、キャリブレーション用床置きマーカＭＡＫ２はディスプレイ装置３６の画面の中心点に位置する（図６０参照）。
【０７５５】
第４のキャリブレーション方法では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが同一であり、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図６１（Ａ）参照）。従って、全方位マイクアレイ装置２からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＭＯは、全方位マイクアレイ装置２の床からの高さＨＭと同じである（ＬＭＯ＝ＨＭ）。第４のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２の床からの高さＨＭである。
【０７５６】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び円周上の端点Ｏ’の２箇所（図６０参照）がユーザの指ＦＧにより指定されると、キャリブレーション用床置きマーカＭＡＫ２の半径ＲＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう垂直角θＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の端点Ｏ’に向かう垂直角θＣＯ’ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２の床からの高さＨＭとを算出する。図６１（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２の床からの高さＨＭとの算出方法を具体的に説明する。
【０７５７】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び円周上の端点Ｏ’の２箇所（図６０参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう水平角θＣＯｈ，垂直角θＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の端点Ｏ’に向かう水平角θＣＯ’ｈ，垂直角θＣＯ’ｖとを取得する。水平角θＣＯｈ，垂直角θＣＯｖ，水平角θＣＯ’ｈ，垂直角θＣＯ’ｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと同じである（θＣＯｈ＝θＣＭｈ）。
【０７５８】
ここで、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏが最初に指定されると、出力制御部３５は、次に指定されるべき箇所を示すためのガイド線ＧＵＤを表示させる。これにより、出力制御部３５は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点の次に指定させるべき端点Ｏ’の位置をユーザに簡易に把握させることができる。
【０７５９】
なお、円周上の端点Ｏ’は、キャリブレーション用床置きマーカＭＡＫ２の円周上の任意の位置ではなく、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点に向かう水平角θＣＯｈと同じ水平角を与える位置である。従って、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点に向かう水平角θＣＯｈと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の円周上の端点Ｏ’に向かう水平角θＣＯ’ｈとは同じである（θＣＯｈ＝θＣＯ’ｈ）。
【０７６０】
収音方向算出部３４は、図６１（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう垂直角θＣＯｖと、全方位マイクアレイ装置２の床からの高さＨＭと、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈとの関係式を、数式（１００）に従って算出する。
【０７６１】
【数１００】
2018057023.tif 000102
【０７６２】
同様に、収音方向算出部３４は、図６１（Ｃ）に示す△ＣＯ’Ｔにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の端点Ｏ’に向かう垂直角θＣＯ’ｖと、全方位マイクアレイ装置２の床からの高さＨＭと、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、キャリブレーション用床置きマーカＭＡＫ２の半径ＲＯとの関係式を、数式（１０１）に従って算出する。
【０７６３】
【数１０１】
2018057023.tif 000103
【０７６４】
収音方向算出部３４は、数式（１００），（１０１）により示される関係式を用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを、数式（１０２）に従って算出する。
【０７６５】
【数１０２】
2018057023.tif 000104
【０７６６】
また、収音方向算出部３４は、数式（１００），（１０２）の各算出結果を用いて、全方位マイクアレイ装置２の床からの高さＨＭを、数式（１０３）に従って算出する。なお、収音方向算出部３４は、ＰＴＺカメラ装置１の床からの高さＨＣも数式（１０３）に従って算出できる。
【０７６７】
【数１０３】
2018057023.tif 000105
【０７６８】
なお、第４のキャリブレーション方法によりキャリブレーションパラメータが算出された後の収音方向算出部３４における収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法は、上述した第２の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法と同じであるため、説明を割愛する。
【０７６９】
以上により、第４のキャリブレーション方法及び第２の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び円周上の端点Ｏ’の２箇所（図６０参照）がユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２からキャリブレーション用床置きマーカＭＡＫ２の中心点までの距離の測定が困難な場合でも全方位マイクアレイ装置２の床からの高さＨＭを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０７７０】
（第５のキャリブレーション方法に応じた第１の収音方向座標の算出方法）
次に、第５のキャリブレーション方法と、第５のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第１の収音方向座標の算出方法について、図６２及び図６３（Ａ）〜（Ｃ）を参照して説明する。
【０７７１】
図６２は、第１１の実施形態における第５のキャリブレーション方法の説明図である。図６３（Ａ）は、第５のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫ３の位置関係を示す図である。図６３（Ｂ）は、図６３（Ａ）の水平方向上面図である。図６３（Ｃ）は、図６３（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０７７２】
第５のキャリブレーション方法では、第１のキャリブレーション方法と同様に、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用マーカＭＡＫ３にフォーカスを当ててズームするので、キャリブレーション用マーカＭＡＫ３はディスプレイ装置３６の画面の中心点に位置する（図６２参照）。
【０７７３】
第５のキャリブレーション方法では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが同一であり、全方位マイクアレイ装置２の所定位置から鉛直方向の真下であって床からの高さが一定の位置に、円形状のキャリブレーション用マーカＭＡＫ３が設置される（図６３（Ａ）参照）。従って、キャリブレーション用マーカＭＡＫ３の床からの高さＨＯは、既定値である。第５のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２とキャリブレーション用マーカＭＡＫ３との間の距離ＬＭＯｖ（＝ＬＭＯ）である。
【０７７４】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ３の中心点Ｏ（図６２参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３までの距離ＬＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３に向かう垂直角θＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２とキャリブレーション用マーカＭＡＫ３との間の距離ＬＭＯｖとを算出する。図６３（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２とキャリブレーション用マーカＭＡＫ３との間の距離ＬＭＯｖとの算出方法を具体的に説明する。
【０７７５】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ３の中心点Ｏ（図６２参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３の中心点Ｏに向かう水平角θＣＯｈ，垂直角θＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３の中心点Ｏまでの距離ＬＣＯ（＝ＬＣＯｖ）とを取得する。距離ＬＣＯ，水平角θＣＯｈ，垂直角θＣＯｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用マーカＭＡＫ３は全方位マイクアレイ装置２の所定位置から鉛直方向の真下で床からの高さが一定の位置に設置されるので、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３に向かう水平角θＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと同じである（θＣＯｈ＝θＣＭｈ）。
【０７７６】
収音方向算出部３４は、図６３（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３の中心点Ｏまでの距離ＬＣＯ（＝ＬＣＯｖ）と、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３の中心点Ｏに向かう垂直角θＣＯｖとを用いて、数式（１０４）に従って、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを算出する。
【０７７７】
【数１０４】
2018057023.tif 000106
【０７７８】
また、収音方向算出部３４は、図６３（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３までの距離ＬＣＯ（＝ＬＣＯｖ）と、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３に向かう垂直角θＣＯｖとを用いて、数式（１０５）に従って、全方位マイクアレイ装置２とキャリブレーション用マーカＭＡＫ３との間の距離ＬＭＯｖを算出する。
【０７７９】
【数１０５】
2018057023.tif 000107
【０７８０】
なお、第５のキャリブレーション方法によりキャリブレーションパラメータが算出された後の収音方向算出部３４における収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法は、上述した第１の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法と同じであるため、説明を割愛する。
【０７８１】
以上により、第５のキャリブレーション方法及び第１の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ３の中心点Ｏ（図６２参照）がユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈ，全方位マイクアレイ装置２のキャリブレーション用マーカＭＡＫ３からの高さＬＭＯｖをキャリブレーションパラメータとして簡易に算出できる。
【０７８２】
（第６のキャリブレーション方法に応じた第３の収音方向座標の算出方法）
次に、第６のキャリブレーション方法と、第６のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第３の収音方向座標の算出方法について、図６４、図６５（Ａ）〜（Ｃ）、図６６（Ａ）〜（Ｃ）及び図６７（Ａ）〜（Ｃ）を参照して説明する。
【０７８３】
図６４は、第１１の実施形態における第６のキャリブレーション方法の説明図である。図６５（Ａ）は、第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図である。図６５（Ｂ）は、図６５（Ａ）の水平方向上面図である。図６５（Ｃ）は、図６５（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０７８４】
図６６（Ａ）は、第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図６６（Ｂ）は、図６６（Ａ）の水平方向上面図である。図６６（Ｃ）は、図６６（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。図６７（Ａ）は、第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図６７（Ｂ）は、図６７（Ａ）の水平方向上面図である。図６７（Ｃ）は、図６７（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。
【０７８５】
第６のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さが異なり、且つ、全方位マイクアレイ装置２がＰＴＺカメラ装置１の撮像視野角内に存在するように設置される。このため、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後に全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの両方にフォーカスを当ててズームするので、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫはディスプレイ装置３６の画面の中心点に位置する（図６４参照）。
【０７８６】
第６のキャリブレーション方法では、ＰＴＺカメラ装置１の床からの高さＨＣより全方位マイクアレイ装置２の床からの高さＨＭの方が高く（ＨＣ＜ＨＭ）、全方位マイクアレイ装置２の所定位置から鉛直方向の真下に、例えば糸ＳＴＲ又は紐を用いて、固体物であるキャリブレーション用マーカＭＡＫが吊り下げられる（図６５（Ａ）参照）。全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離ＬＭＯは一定である。第６のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離ＬＭＯｖ’である。
【０７８７】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ及び全方位マイクアレイ装置２（図６４参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう垂直角θＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θＣＭｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離ＬＭＯｖ’とを算出する。図６５（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと垂直方向の距離ＬＭＯｖ’との算出方法を具体的に説明する。
【０７８８】
以下の第６〜第１０の各キャリブレーション方法の説明では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが異なる（例えば図６５（Ｃ）参照）。このため、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θＣＭｖと、全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう垂直角θＣＭｖとはともにゼロとならない（θＣＭｖ＝θＭＣｖ≠０）。
【０７８９】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ及び全方位マイクアレイ装置２（図６４参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θＣＯｈ，垂直角θＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈ，垂直角θＣＭｖとを取得する。水平角θＣＯｈ，垂直角θＣＯｖ，水平角θＣＭｈ，垂直角θＣＭｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられるので、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと同じである（θＣＯｈ＝θＣＭｈ）。
【０７９０】
収音方向算出部３４は、図６５（Ｃ）に示す△ＣＯＰにおいて、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫの中心点Ｏに向かう垂直角θＣＯｖと、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離ＬＭＯｖ’との関係式を、数式（１０６）に従って算出する。
【０７９１】
【数１０６】
2018057023.tif 000108
【０７９２】
同様に、収音方向算出部３４は、図６５（Ｃ）に示す△ＣＭＰにおいて、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θＣＭｖと、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の垂直方向の距離ＬＭＯｖ“との関係式を、数式（１０７）に従って算出する。
【０７９３】
【数１０７】
2018057023.tif 000109
【０７９４】
また、全方位マイクアレイ装置２とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離ＬＭＯｖは、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離ＬＭＯｖ’と、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の垂直方向の距離ＬＭＯｖ“との和となるので、数式（１０８）が成立する。
【０７９５】
【数１０８】
2018057023.tif 000110
【０７９６】
収音方向算出部３４は、数式（１０６）〜（１０８）により示される関係式を用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを数式（１０９）に従って算出し、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離ＬＭＯｖ’を数式（１１０）に従って算出し、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の垂直方向の距離ＬＭＯｖ“を数式（１１１）に従って算出する。
【０７９７】
【数１０９】
2018057023.tif 000111
【０７９８】
【数１１０】
2018057023.tif 000112
【０７９９】
【数１１１】
2018057023.tif 000113
【０８００】
次に、第３の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、キャリブレーション用マーカＭＡＫと目的音源位置Ａとの床からの各高さＨＯ，ＨＡが同一であり（ＨＯ＝ＨＡ）、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さＨＣ，ＨＭが異なる（ＨＣ≠ＨＭ）。
【０８０１】
具体的には、収音方向算出部３４は、
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈ，垂直角θＣＭｖと、
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θＭＣｈと、
（４）ＰＴＺカメラ装置１の目的音源位置Ａからの高さＬＭＯｖ’と、全方位マイクアレイ装置２の目的音源位置Ａからの高さＬＭＯと、
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ，垂直角θＣＡｖと、を用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を算出する。図６６（Ｂ），（Ｃ）及び図６７（Ｂ），（Ｃ）を参照して、収音方向算出部３４における第３の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法を具体的に説明する。
【０８０２】
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈ，垂直角θＣＭｖは、第６のキャリブレーション方法においてＰＴＺカメラ装置１により算出された値が用いられる（θＣＭｈ＝θＣＯｈ）。
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈは、第６のキャリブレーション方法におけるキャリブレーションパラメータである（数式（１０９）参照）。
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θＭＣｈは、第６のキャリブレーション方法においてＰＴＺカメラ装置１及び全方位マイクアレイ装置２の位置関係から与えられる既定値（ゼロ）である。
（４）ＰＴＺカメラ装置１の目的音源位置Ａからの高さＬＭＯｖ’は、第６のキャリブレーション方法におけるキャリブレーションパラメータであり（数式（１１０）参照）、全方位マイクアレイ装置２の目的音源位置Ａからの高さＬＭＯは既定値である。
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ，垂直角θＣＡｖは、ディスプレイ装置３６に表示された撮像画像データにおいて指定位置Ａ’の指定に応じてＰＴＺカメラ装置１により算出された値が用いられる。
【０８０３】
収音方向算出部３４は、図６６（Ｃ）に示す△ＣＡＳ’において、ＰＴＺカメラ装置１から目的音源位置Ａに向かう垂直角θＣＡｖと、数式（１１０）の算出結果であるＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離ＬＭＯｖ’とを用いて、数式（１１２）に従って、ＰＴＺカメラ装置１から目的音源位置Ａまでの距離ＬＣＡの水平方向の距離ＬＣＡｈを算出する。
【０８０４】
【数１１２】
2018057023.tif 000114
【０８０５】
収音方向算出部３４は、数式（１０９），（１１２）の各算出結果と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈとを用いて、図６６（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１１３）に従って、全方位マイクアレイ装置２から目的音源位置Ａまでの距離ＬＭＡの水平方向の距離ＬＭＡｈを算出する。
【０８０６】
【数１１３】
2018057023.tif 000115
【０８０７】
収音方向算出部３４は、数式（１０９），（１１２），（１１３）の各算出結果を用いて、図６６（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１１４）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θＭＡｈの余弦値ｃｏｓθＭＡｈを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θＭＡｈを、数式（１１５）に従って算出できる。
【０８０８】
【数１１４】
2018057023.tif 000116
【０８０９】
【数１１５】
2018057023.tif 000117
【０８１０】
更に、収音方向算出部３４は、数式（１０８），（１１３）の各算出結果を用いて、図６７（Ｃ）に示す△ＭＡＳ”における正接により、数式（１１６）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θＭＡｖの正接値ｔａｎθＭＡｖを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θＭＡｖを、数式（１１７）に従って算出できる。
【０８１１】
【数１１６】
2018057023.tif 000118
【０８１２】
【数１１７】
2018057023.tif 000119
【０８１３】
以上により、第６のキャリブレーション方法及び第３の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ及び全方位マイクアレイ装置２（図６４参照）の２箇所がユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０８１４】
また、収音方向算出部３４は、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さが異なる場合でも、目的音源位置Ａの床からの高さＨＡをユーザに入力させること無く、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の座標を簡易に算出できる。
【０８１５】
（第７のキャリブレーション方法に応じた第４の収音方向座標の算出方法）
次に、第７のキャリブレーション方法と、第７のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第４の収音方向座標の算出方法について、図６８、図６９（Ａ）〜（Ｃ）、図７０（Ａ）〜（Ｃ）及び図７１（Ａ）〜（Ｃ）を参照して説明する。
【０８１６】
図６８は、第１１の実施形態における第７のキャリブレーション方法の説明図である。図６９（Ａ）は、第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図である。図６９（Ｂ）は、図６９（Ａ）の水平方向上面図である。図６９（Ｃ）は、図６９（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０８１７】
図７０（Ａ）は、第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図７０（Ｂ）は、図７０（Ａ）の水平方向上面図である。図７０（Ｃ）は、図７０（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。図７１（Ａ）は、第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図７１（Ｂ）は、図７１（Ａ）の水平方向上面図である。図７１（Ｃ）は、図７１（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。
【０８１８】
第７のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さが異なり、且つ、全方位マイクアレイ装置２がＰＴＺカメラ装置１の撮像視野角内に存在するように設置される。このため、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後に全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの両方にフォーカスを当ててズームするので、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫはディスプレイ装置３６の画面の中心点に位置する（図６８参照）。
【０８１９】
第７のキャリブレーション方法では、ＰＴＺカメラ装置１の床からの高さＨＣより全方位マイクアレイ装置２の床からの高さＨＭの方が高く（ＨＣ＜ＨＭ）、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図６９（Ａ）参照）。第７のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭである。
【０８２０】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図６８参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θＣＭｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭとを算出する。図６９（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと高さＨＭ，ＨＣとの算出方法を具体的に説明する。
【０８２１】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図６８参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θＣＯｈ，垂直角θＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈ，垂直角θＣＭｖとを取得する。距離ＬＣＯｖ，水平角θＣＯｈ，垂直角θＣＯｖ，水平角θＣＭｈ，垂直角θＣＭｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置されるので、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと同じである（θＣＯｈ＝θＣＭｈ）。
【０８２２】
収音方向算出部３４は、図６９（Ｃ）に示す△ＣＯＰにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯ（＝ＬＣＯｖ）と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう垂直角θＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを数式（１１８）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨＣを数式（１１９）に従って算出する。
【０８２３】
【数１１８】
2018057023.tif 000120
【０８２４】
【数１１９】
2018057023.tif 000121
【０８２５】
収音方向算出部３４は、図６９（Ｃ）に示す△ＣＭＰにおいて、数式（１１８）の算出結果と、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θＣＭｖとを用いて、全方位マイクアレイ装置２の床からの高さＨＭとＰＴＺカメラ装置１の床からの高さＨＣとの差分（ＨＭ−ＨＣ）に相当する距離ＬＭＯｖ”を数式（１２０）に従って算出する。これにより、収音方向算出部３４は、数式（１１９），（１２０）の各算出結果を用いて、全方位マイクアレイ装置２の床からの高さＨＭを数式（１２１）に従って算出する。
【０８２６】
【数１２０】
2018057023.tif 000122
【０８２７】
【数１２１】
2018057023.tif 000123
【０８２８】
次に、第４の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、目的音源位置Ａの床からの高さはユーザにより入力された入力値であり、第３の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法とは異なる。また、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さＨＣ，ＨＭが異なる。
【０８２９】
具体的には、収音方向算出部３４は、
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと、
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θＭＣｈと、
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨＣ，ＨＭと、
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ，垂直角θＣＡｖと、
（６）ユーザにより入力された、目的音源位置Ａの床からの高さＨＡと、
を用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を算出する。図７０（Ｂ），（Ｃ）及び図７１（Ｂ），（Ｃ）を参照して、収音方向算出部３４における第４の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法を具体的に説明する。
【０８３０】
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈは、第７のキャリブレーション方法においてＰＴＺカメラ装置１により算出された値が用いられる（θＣＭｈ＝θＣＯｈ）。
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈは、第７のキャリブレーション方法におけるキャリブレーションパラメータである（数式（１１２）参照）。
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θＭＣｈは、第７のキャリブレーション方法においてＰＴＺカメラ装置１及び全方位マイクアレイ装置２の位置関係から与えられる既定値（ゼロ）である。
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨＣ，ＨＭは、第７のキャリブレーション方法におけるキャリブレーションパラメータである（数式（１１９），（１２１）参照）。
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ，垂直角θＣＡｖは、ディスプレイ装置３６に表示された撮像画像データにおいて指定位置Ａ’の指定に応じてＰＴＺカメラ装置１により算出された値が用いられる。
（６）目的音源位置Ａの水平面（例えば床）からの高さＨＡは、ユーザの入力操作によって入力された値である。
【０８３１】
収音方向算出部３４は、図７０（Ｃ）に示す△ＣＡＳ’において、ＰＴＺカメラ装置１と目的音源位置Ａとの床からの高さの差分（ＨＣ−ＨＡ）に相当する距離と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう垂直角θＣＡｖとを用いて、数式（１２２）に従って、ＰＴＺカメラ装置１から目的音源位置Ａまでの距離ＬＣＡの水平方向の距離ＬＣＡｈを算出する。
【０８３２】
【数１２２】
2018057023.tif 000124
【０８３３】
収音方向算出部３４は、数式（１１８），（１２２）の各算出結果と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈとを用いて、図７０（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１２３）に従って、全方位マイクアレイ装置２から目的音源位置Ａまでの距離ＬＭＡの水平方向の距離ＬＭＡｈを算出する。
【０８３４】
【数１２３】
2018057023.tif 000125
【０８３５】
収音方向算出部３４は、数式（１１８），（１２２），（１２３）の各算出結果を用いて、図７０（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１２４）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θＭＡｈの余弦値ｃｏｓθＭＡｈを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θＭＡｈを、数式（１２５）に従って算出できる。
【０８３６】
【数１２４】
2018057023.tif 000126
【０８３７】
【数１２５】
2018057023.tif 000127
【０８３８】
更に、収音方向算出部３４は、数式（１２３）の算出結果と、数式（１２１）の算出結果である全方位マイクアレイ装置２の床からの高さＨＭと目的音源位置Ａの床からの高さＨＡとの差分（ＨＭ−ＨＡ）に相当する距離とを用いて、図７１（Ｃ）に示す△ＭＡＳ”における正接により、数式（１２６）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θＭＡｖの正接値ｔａｎθＭＡｖを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θＭＡｖを、数式（１２７）に従って算出できる。
【０８３９】
【数１２６】
2018057023.tif 000128
【０８４０】
【数１２７】
2018057023.tif 000129
【０８４１】
以上により、第７のキャリブレーション方法及び第４の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図６８参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨＣ，ＨＭを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０８４２】
また、収音方向算出部３４は、キャリブレーション時に算出された水平角θＣＭｈ，水平方向の距離ＬＣＭｈ，ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの各高さＨＣ，ＨＭと、既定の水平角θＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ及び垂直角θＣＡｖと、ユーザにより入力された目的音源位置Ａの水平面からの高さＨＡの入力値とを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を簡易に算出できる。また、目的音源位置Ａの床からの高さＨＡは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨＡの選択の自由度が向上する。
【０８４３】
（第８のキャリブレーション方法に応じた第４の収音方向座標の算出方法）
次に、第８のキャリブレーション方法と、第８のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第４の収音方向座標の算出方法について、図７２及び図７３（Ａ）〜（Ｃ）を参照して説明する。
【０８４４】
図７２は、第１１の実施形態における第８のキャリブレーション方法の説明図である。図７３（Ａ）は、第８のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２、キャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図である。図７３（Ｂ）は、図７３（Ａ）の水平方向上面図である。図７３（Ｃ）は、図７３（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０８４５】
第８のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さＨＣ，ＨＭが異なり、且つ、全方位マイクアレイ装置２がＰＴＺカメラ装置１の撮像視野角外に存在するように設置される。このため、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の両方にフォーカスを当ててズームするので、キャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２はディスプレイ装置３６の画面の中心点に位置する（図７２参照）。
【０８４６】
第８のキャリブレーション方法では、ＰＴＺカメラ装置１の床からの高さＨＣより全方位マイクアレイ装置２の床からの高さＨＭの方が高く（ＨＣ＜ＨＭ）、全方位マイクアレイ装置２の所定位置から鉛直方向の真下に、例えば糸ＳＴＲ又は紐を用いて、固体物であるキャリブレーション用マーカＭＡＫが吊り下げられ、更に、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図７３（Ａ）参照）。第８のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭである。
【０８４７】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の各中心点Ｏ’，Ｏ”（図７２参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう垂直角θＣＯ’ｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θＣＯ”ｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯ”ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭとを算出する。図７３（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと高さＨＭ，ＨＣとの算出方法を具体的に説明する。
【０８４８】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の各中心点Ｏ’，Ｏ”（図７２参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯ”ｖと、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θＣＯ’ｈ，垂直角θＣＯ’ｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θＣＯ”ｈ，垂直角θＣＯ”ｖとを取得する。距離ＬＣＯ”ｖ，水平角θＣＯ’ｈ，垂直角θＣＯ’ｖ，水平角θＣＯ”ｈ，垂直角θＣＯ”ｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられ、且つ、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２に向かう各水平角θＣＯ’ｈ，θＣＯ”ｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと同じである（θＣＯ’ｈ＝θＣＯ”ｈ＝θＣＭｈ）。
【０８４９】
収音方向算出部３４は、図７３（Ｃ）に示す△ＣＯ”Ｐにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯ”ｖ（＝ＬＣＯ”）と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θＣＯ”ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを数式（１２８）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨＣを数式（１２９）に従って算出する。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１とキャリブレーション用床置きマーカＭＡＫ２との間の水平方向の距離ＬＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと同じである（ＬＣＯｈ＝ＬＣＭｈ）。
【０８５０】
【数１２８】
2018057023.tif 000130
【０８５１】
【数１２９】
2018057023.tif 000131
【０８５２】
図７３（Ｃ）に示す△ＣＯ”Ｏ’における正弦定理により、数式（１３０）の関係式が成り立つ。従って、収音方向算出部３４は、数式（１３０）の算出結果を用いて、全方位マイクアレイ装置２の床からの高さＨＭを、数式（１３１）に従って算出する。
【０８５３】
【数１３０】
2018057023.tif 000132
【０８５４】
【数１３１】
2018057023.tif 000133
【０８５５】
なお、第８のキャリブレーション方法によりキャリブレーションパラメータが算出された後の収音方向算出部３４における収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法は、上述した第４の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法と同じであるため、説明を割愛する。
【０８５６】
以上により、第８のキャリブレーション方法及び第４の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の各中心点Ｏ’，Ｏ”（図７２参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さＨＣ，ＨＭを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０８５７】
（第９のキャリブレーション方法に応じた第４の収音方向座標の算出方法）
次に、第９のキャリブレーション方法と、第９のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第４の収音方向座標の算出方法について、図７４及び図７５（Ａ）〜（Ｃ）を参照して説明する。
【０８５８】
図７４は、第１１の実施形態における第９のキャリブレーション方法の説明図である。図７５（Ａ）は、第９のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図である。図７５（Ｂ）は、図７５（Ａ）の水平方向上面図である。図７５（Ｃ）は、図７５（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０８５９】
第９のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さＨＣ，ＨＭが異なり、且つ、全方位マイクアレイ装置２がＰＴＺカメラ装置１の撮像視野角外に存在するように設置される。このため、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用床置きマーカＭＡＫ２にフォーカスを当ててズームするので、キャリブレーション用床置きマーカＭＡＫ２はディスプレイ装置３６の画面の中心点に位置する（図７４参照）。
【０８６０】
第９のキャリブレーション方法では、ＰＴＺカメラ装置１の床からの高さＨＣより全方位マイクアレイ装置２の床からの高さＨＭの方が高く（ＨＣ＜ＨＭ）、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図７５（Ａ）参照）。第９のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣである。
【０８６１】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図７４参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣとを算出する。図７５（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと高さＨＣとの算出方法を具体的に説明する。
【０８６２】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図７４参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θＣＯｈ，垂直角θＣＯｖとを取得する。距離ＬＣＯｖ，水平角θＣＯｈ，垂直角θＣＯｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと同じである（θＣＯｈ＝θＣＭｈ）。
【０８６３】
収音方向算出部３４は、図７５（Ｃ）に示す△ＣＯＰにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯｖ（＝ＬＣＯ）と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを数式（１３２）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨＣを数式（１３３）に従って算出する。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１とキャリブレーション用床置きマーカＭＡＫ２との間の水平方向の距離ＬＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと同じである（ＬＣＯｈ＝ＬＣＭｈ）。
【０８６４】
【数１３２】
2018057023.tif 000134
【０８６５】
【数１３３】
2018057023.tif 000135
【０８６６】
なお、第９のキャリブレーション方法によりキャリブレーションパラメータが算出された後の収音方向算出部３４における収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法は、上述した第４の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法と同じであるため、説明を割愛する。
【０８６７】
以上により、第９のキャリブレーション方法及び第４の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さが異なり、ＰＴＺカメラ装置１からの撮像視野角内に全方位マイクアレイ装置２が存在しない場合でも、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図７４参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１の床からの高さＨＣを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０８６８】
（第１０のキャリブレーション方法に応じた第４の収音方向座標の算出方法）
最後に、第１０のキャリブレーション方法と、第１０のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第４の収音方向座標の算出方法について、図７６、図７７（Ａ）〜（Ｃ）、図７８（Ａ）〜（Ｃ）及び図７９（Ａ）〜（Ｃ）を参照して説明する。
【０８６９】
図７６は、第１１の実施形態における第１０のキャリブレーション方法の説明図である。図７７（Ａ）は、第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図である。図７７（Ｂ）は、図７７（Ａ）の水平方向上面図である。図７７（Ｃ）は、図７７（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。
【０８７０】
図７８（Ａ）は、第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図７８（Ｂ）は、図７８（Ａ）の水平方向上面図である。図７８（Ｃ）は、図７８（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。図７９（Ａ）は、第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図７９（Ｂ）は、図７９（Ａ）の水平方向上面図である。図７９（Ｃ）は、図７９（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。
【０８７１】
第１０のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さが異なり、且つ、全方位マイクアレイ装置２がＰＴＺカメラ装置１の撮像視野角内に存在するように設置される。このため、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後に全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの両方にフォーカスを当ててズームするので、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫはディスプレイ装置３６の画面の中心点に位置する（図７６参照）。
【０８７２】
第１０のキャリブレーション方法では、全方位マイクアレイ装置２の床からの高さＨＭよりＰＴＺカメラ装置１の床からの高さＨＣの方が高く（ＨＭ＜ＨＣ）、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図７７（Ａ）参照）。第１０のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭである。
【０８７３】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図７６参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θＣＭｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭとを算出する。図７７（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと高さＨＭ，ＨＣとの算出方法を具体的に説明する。
【０８７４】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図７６参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯｖ（＝ＬＣＯ）と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θＣＯｈ，垂直角θＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈ，垂直角θＣＭｖとを取得する。距離ＬＣＯｖ，水平角θＣＯｈ，垂直角θＣＯｖ，水平角θＣＭｈ，垂直角θＣＭｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置されるので、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと同じである（θＣＯｈ＝θＣＭｈ）。
【０８７５】
収音方向算出部３４は、図７７（Ｃ）に示す△ＣＯＰにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯｖ（＝ＬＣＯ）と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう垂直角θＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを数式（１３４）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨＣを数式（１３５）に従って算出する。
【０８７６】
【数１３４】
2018057023.tif 000136
【０８７７】
【数１３５】
2018057023.tif 000137
【０８７８】
収音方向算出部３４は、図７７（Ｃ）に示す△ＣＭＰにおいて、数式（１３４）の算出結果と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう垂直角θＣＯｖとＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θＣＭｖとの差分（θＣＯｖ−θＣＭｖ）とを用いて、ＰＴＺカメラ装置１の床からの高さＨＣと全方位マイクアレイ装置２の床からの高さＨＭとの差分（ＨＣ−ＨＭ）の距離を数式（１３６）に従って算出し、全方位マイクアレイ装置２の床からの高さＨＭを数式（１３７）に従って算出する。
【０８７９】
【数１３６】
2018057023.tif 000138
【０８８０】
【数１３７】
2018057023.tif 000139
【０８８１】
次に、第４の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、目的音源位置Ａの水平面（例えば床）からの高さはユーザにより入力された入力値であり、第３の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法とは異なる。また、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さＨＣ，ＨＭは異なる。
【０８８２】
具体的には、収音方向算出部３４は、
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈと、
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θＭＣｈと、
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨＣ，ＨＭと、
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ，垂直角θＣＡｖと、
（６）ユーザにより入力された、目的音源位置Ａの床からの高さＨＡと、
を用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を算出する。図７８（Ｂ），（Ｃ）及び図７９（Ｂ），（Ｃ）を参照して、収音方向算出部３４における収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法を具体的に説明する。
【０８８３】
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈは、第１０のキャリブレーション方法においてＰＴＺカメラ装置１により算出された値が用いられる（θＣＭｈ＝θＣＯｈ）。
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈは、第１０のキャリブレーション方法におけるキャリブレーションパラメータである（数式（１３４）参照）。
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θＭＣｈは、第１０のキャリブレーション方法においてＰＴＺカメラ装置１及び全方位マイクアレイ装置２の位置関係から与えられる既定値（ゼロ）である。
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨＣ，ＨＭは、第１０のキャリブレーション方法におけるキャリブレーションパラメータである（数式（１３５），（１３７）参照）。
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ，垂直角θＣＡｖは、ディスプレイ装置３６に表示された撮像画像データにおいて指定位置Ａ’の指定に応じてＰＴＺカメラ装置１により算出された値が用いられる。
（６）目的音源位置Ａの床からの高さＨＡは、ユーザの入力操作によって入力された値である。
【０８８４】
収音方向算出部３４は、図７８（Ｃ）に示す△ＣＡＳ’において、ＰＴＺカメラ装置１と目的音源位置Ａとの床からの高さの差分（ＨＣ−ＨＡ）に相当する距離と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう垂直角θＣＡｖとを用いて、数式（１３８）に従って、ＰＴＺカメラ装置１から目的音源位置Ａまでの距離ＬＣＡの水平方向の距離ＬＣＡｈを算出する。
【０８８５】
【数１３８】
2018057023.tif 000140
【０８８６】
収音方向算出部３４は、数式（１３４），（１３８）の各算出結果と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θＣＭｈとを用いて、図７８（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１３９）に従って、全方位マイクアレイ装置２から目的音源位置Ａまでの距離ＬＭＡの水平方向の距離ＬＭＡｈを算出する。
【０８８７】
【数１３９】
2018057023.tif 000141
【０８８８】
収音方向算出部３４は、数式（１３４），（１３８），（１３９）の各算出結果を用いて、図７８（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１４０）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θＭＡｈの余弦値ｃｏｓθＭＡｈを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θＭＡｈを、数式（１４１）に従って算出できる。
【０８８９】
【数１４０】
2018057023.tif 000142
【０８９０】
【数１４１】
2018057023.tif 000143
【０８９１】
更に、収音方向算出部３４は、数式（１３９）の算出結果と、数式（１３７）の算出結果である全方位マイクアレイ装置２の床からの高さＨＭと目的音源位置Ａの床からの高さＨＡとの差分（ＨＭ−ＨＡ）に相当する距離とを用いて、図７９（Ｃ）に示す△ＭＡＳ”における正接により、数式（１４２）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θＭＡｖの正接値ｔａｎθＭＡｖを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θＭＡｖを、数式（１４３）に従って算出できる。
【０８９２】
【数１４２】
2018057023.tif 000144
【０８９３】
【数１４３】
2018057023.tif 000145
【０８９４】
以上により、第１０のキャリブレーション方法及び第４の収音方向座標（θＭＡｈ，θＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図７６参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨＣ，ＨＭを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０８９５】
また、収音方向算出部３４は、キャリブレーション時に算出された水平角θＣＭｈ，水平方向の距離ＬＣＭｈ，ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さＨＣ，ＨＭと、既定の水平角θＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ及び垂直角θＣＡｖと、ユーザにより入力された目的音源位置Ａの床からの高さＨＡの入力値とを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を簡易に算出できる。また、目的音源位置Ａの床からの高さＨＡは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨＡの選択の自由度が向上する。
【０８９６】
なお、第１０のキャリブレーション方法に応じた第４の収音方向座標の算出方法は、全方位マイクアレイ装置２の床からの高さＨＭがＰＴＺカメラ装置１の床からの高さＨＣより高い場合に対応した第７のキャリブレーション方法に応じた第４の収音方向座標の算出方法と同様である。また、全方位マイクアレイ装置２の床からの高さＨＭがＰＴＺカメラ装置１の床からの高さＨＣより高い場合、第６のキャリブレーション方法に応じた第３の収音方向座標の算出方法、又は第８，９の各キャリブレーション方法に応じた第４の収音方向座標の算出方法も同様に適用することで、収音方向算出部は、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を算出できる。
【０８９７】
以下、上述した本発明に係る指向性制御システム及び指向性制御方法の構成、作用及び効果を説明する。
【０８９８】
本発明の一実施形態は、所定の収音領域の対象物を撮像する撮像部と、前記収音領域の音声を収音する収音部と、前記撮像部により撮像された前記対象物の画像データを表示する表示部と、前記対象物の画像データにおける任意の位置の指定に応じて、前記収音部から、前記画像データの指定位置に対応する目的音源位置に向かう収音方向を算出する収音方向算出部と、前記収音方向算出部により算出された前記収音方向に、前記収音部により収音された音声の収音指向性を形成する収音制御部と、を備える指向性制御システムである。
【０８９９】
上述した構成では、ＰＴＺカメラ装置１は、公知のパン方向又はチルト方向への筐体駆動機能及びズーム機能を用いて、所定の収音領域に存在している対象物（例えば人物）を撮像する。全方位マイクアレイ装置２は、ＰＴＺカメラ装置１の撮像方向に存在する対象物の音声を収音する。指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データにおいて任意の位置が指定されると、ＰＴＺカメラ装置１から指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を算出する。指向性制御装置３の出力制御部３５は、算出された収音方向座標（θＭＡｈ，θＭＡｖ）が示す収音方向に、全方位マイクアレイ装置２により収音された音声の収音指向性を形成する。
【０９００】
これにより、収音システム１０では、ＰＴＺカメラ装置１の撮像画像データが表示されたディスプレイ装置３６上で、目的音源位置Ａに対応する指定位置Ａ’が指定されるので、指向性制御装置３は、収音方向座標の算出前に予め必要なキャリブレーション時に、所定のキャリブレーションパラメータの算出に必要となる入力パラメータ（例えば距離、方向）を容易に取得でき、キャリブレーションパラメータを簡易に算出できる。従って、指向性制御装置３は、全方位マイクアレイ装置２を基準として、ＰＴＺカメラ装置１の撮像画像データの中の指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向への収音指向性を容易に形成でき、高精度に収音された収音方向の音声の音声データを容易に得ることができる。
【０９０１】
また、本発明の一実施形態は、前記撮像部及び前記収音部の水平面からの各高さは同一であり、前記収音方向算出部が、前記撮像部から前記収音部に向かう水平角と、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部から前記撮像部に向かう水平角と、前記撮像部から前記目的音源位置に向かう水平角及び垂直角と、を用いて、前記収音部から前記目的音源位置に向かう収音方向の水平角及び垂直角を算出する、指向性制御システムである。
【０９０２】
上述した構成では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さは同一である。従って、指向性制御装置３の収音方向算出部３４は、キャリブレーション時に算出された水平角θＣＭｈ，水平方向の距離ＬＣＭｈと、既定の水平角θＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ及び垂直角θＣＡｖとを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向座標を簡易に算出できる。
【０９０３】
また、指向性制御装置３の収音方向算出部３４は、収音方向座標の算出時に目的音源位置Ａの床からの高さＨＡをユーザに入力させること無く、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を簡易に算出できる。
【０９０４】
また、本発明の一実施形態は、前記収音部の真下に、前記収音部からの距離が一定の第１マーカが吊り下げられ、前記第１マーカの前記水平面からの高さと、前記目的音源位置の前記水平面からの高さとは同一であり、前記収音方向算出部が、前記表示部に表示された前記第１マーカの指定に応じて、前記収音部と前記第１マーカとの間の距離を用いて、前記撮像部と前記収音部との間の水平方向の距離を算出する、指向性制御システムである。
【０９０５】
上述した構成では、全方位マイクアレイ装置２の真下に、全方位マイクアレイ装置２からの距離（ＬＭＯｖ）が一定のキャリブレーション用マーカＭＡＫが吊り下げられ、キャリブレーション用マーカＭＡＫ及び目的音源位置Ａの床からの各高さＨＯ，ＨＡは同一である。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫがユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０９０６】
また、本発明の一実施形態は、前記撮像部及び前記収音部の水平面からの各高さは同一であり、前記収音方向算出部が、前記撮像部から前記収音部に向かう水平角と、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部から前記撮像部に向かう水平角と、前記撮像部及び前記収音部の水平面からの各高さと、前記撮像部から前記目的音源位置に向かう水平角及び垂直角と、前記目的音源位置の水平面からの高さの入力値と、を用いて、前記収音部から前記目的音源位置に向かう収音方向の水平角及び垂直角を算出する、指向性制御システムである。
【０９０７】
上述した構成では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの各高さは同一である。従って、指向性制御装置３の収音方向算出部３４は、キャリブレーション時に算出された水平角θＣＭｈ，水平方向の距離ＬＣＭｈと、既定の水平角θＭＣｈと、既定のＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの各高さＨＣ，ＨＭと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ及び垂直角θＣＡｖと、ユーザにより入力された目的音源位置Ａの床からの高さＨＡの入力値とを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を簡易に算出できる。
【０９０８】
また、指向性制御装置３の収音方向算出部３４は、全方位マイクアレイ装置２の初期設置時に測定が比較的簡易である全方位マイクアレイ装置２の水平面からの高さＨＭを用いる。従って、キャリブレーション用マーカＭＡＫを全方位マイクアレイ装置２から吊り下げる場合、吊り下げ距離の調整を簡易化できる。更に、目的音源位置Ａの床からの高さＨＡは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨＡの選択の自由度が向上する。
【０９０９】
また、本発明の一実施形態は、前記収音部の真下に、前記収音部からの距離が一定の第１マーカが吊り下げられ、前記収音部の前記水平面からの高さが所定値であり、前記収音方向算出部が、前記表示部に表示された前記第１マーカの指定に応じて、前記収音部と前記第１マーカとの間の距離を用いて、前記撮像部と前記収音部との間の水平方向の距離を算出する、指向性制御システムである。
【０９１０】
上述した構成では、全方位マイクアレイ装置２の真下に、全方位マイクアレイ装置２からの距離（ＬＭＯｖ）が一定のキャリブレーション用マーカＭＡＫが吊り下げられ、全方位マイクアレイ装置２の水平面からの高さＨＭは既知である。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫがユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０９１１】
また、本発明の一実施形態は、前記収音部の真下の前記水平面上の位置に、円形状の第２マーカが設置され、前記収音方向算出部が、前記表示部に表示された前記第２マーカの中心点の指定に応じて、前記撮像部から前記第２マーカまでの距離と、前記撮像部から前記第２マーカに向かう垂直角と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部の前記水平面からの高さとを算出する、指向性制御システムである。
【０９１２】
上述した構成では、全方位マイクアレイ装置２の真下の水平面上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏがユーザの指ＦＧにより指定されると、例えばＰＴＺカメラ装置１のフォーカス機能を用いて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離ＬＣＯを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０９１３】
また、本発明の一実施形態は、前記収音部の真下の前記水平面上の位置に、所定の半径を有する円形状の第２マーカが設置され、前記収音方向算出部が、前記表示部に表示された前記第２マーカの中心点及び円周上の端点の指定に応じて、前記撮像部から前記第２マーカの中心点に向かう垂直角と、前記撮像部から前記第２マーカの円周上の端点に向かう垂直角と、前記第２マーカの半径と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部の前記水平面からの高さとを算出する、指向性制御システムである。
【０９１４】
上述した構成では、全方位マイクアレイ装置２の真下の床上の位置に、所定の半径を有する円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される。従って、例えば全方位マイクアレイ装置２からキャリブレーション用床置きマーカＭＡＫ２までの距離が測定できない場合でも、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び円周上の端点Ｏ’の２箇所がユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２からキャリブレーション用床置きマーカＭＡＫ２の中心点までの距離の測定が困難な場合でも全方位マイクアレイ装置２の床からの高さＨＭを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０９１５】
また、本発明の一実施形態は、前記収音部の真下に、前記水平面からの高さが一定の第３マーカが設置され、前記第３マーカの前記水平面からの高さと、前記目的音源位置の前記水平面からの高さとは同一であり、前記収音方向算出部が、前記表示部に表示された前記第３マーカの指定に応じて、前記撮像部から前記第３マーカまでの距離と、前記撮像部から前記第３マーカに向かう垂直角と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部の前記第３マーカからの高さとを算出する、指向性制御システムである。
【０９１６】
上述した構成では、全方位マイクアレイ装置２の真下に、水平面からの高さＨＯが一定の位置にキャリブレーション用マーカＭＡＫ３が設置され、キャリブレーション用マーカＭＡＫ３及び目的音源位置Ａの水平面からの高さＨＯ，ＨＡは同一である。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ３の中心点Ｏがユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈ，全方位マイクアレイ装置２のキャリブレーション用マーカＭＡＫ３からの高さＬＭＯｖをキャリブレーションパラメータとして簡易に算出できる。
【０９１７】
また、本発明の一実施形態は、前記撮像部及び前記収音部の水平面からの各高さが異なり、前記収音部が、前記撮像部の撮像視野角内に存在するように設置され、前記収音方向算出部が、前記撮像部から前記収音部に向かう水平角及び垂直角と、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部から前記撮像部に向かう水平角と、前記撮像部の前記目的音源位置からの高さと、前記収音部の前記目的音源位置からの高さと、前記撮像部から前記目的音源位置に向かう水平角及び垂直角と、を用いて、前記収音部から前記目的音源位置に向かう収音方向の水平角及び垂直角を算出する、指向性制御システムである。
【０９１８】
上述した構成では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さは異なり、全方位マイクアレイ装置２はＰＴＺカメラ装置１の撮像視野角内に存在し、即ち全方位マイクアレイ装置２がディスプレイ装置３６に表示されるように設置される。従って、指向性制御装置３の収音方向算出部３４は、キャリブレーション時に算出された水平角θＣＭｈ及び垂直角θＣＭｖ，水平方向の距離ＬＣＭｈ，ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の目的音源位置Ａからの各高さＬＭＯｖ’，ＬＭＯと、既定の水平角θＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ及び垂直角θＣＡｖとを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向座標を簡易に算出できる。
【０９１９】
また、指向性制御装置３の収音方向算出部３４は、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さが異なる場合でも、目的音源位置Ａの床からの高さＨＡをユーザに入力させること無く、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の座標を簡易に算出できる。
【０９２０】
また、本発明の一実施形態は、前記収音部の真下に、前記収音部からの距離が一定の第１マーカが吊り下げられ、前記第１マーカの前記水平面からの高さと、前記目的音源位置の前記水平面からの高さとが同一であり、前記収音方向算出部が、前記表示部に表示された前記収音部及び前記第１マーカの指定に応じて、前記撮像部から前記収音部に向かう垂直角と、前記撮像部から前記第１マーカに向かう垂直角と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記撮像部の前記目的音源位置からの高さとを算出する、指向性制御システムである。
【０９２１】
上述した構成では、全方位マイクアレイ装置２の真下に、全方位マイクアレイ装置２からの距離（ＬＭＯｖ）が一定のキャリブレーション用マーカＭＡＫが吊り下げられ、キャリブレーション用マーカＭＡＫ及び目的音源位置Ａの床からの各高さＨＯ，ＨＡは同一である。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示された全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの２箇所がユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０９２２】
また、本発明の一実施形態は、前記撮像部及び前記収音部の水平面からの各高さが異なり、前記収音部は、前記撮像部の撮像視野角内に存在するように設置され、前記収音方向算出部が、前記撮像部から前記収音部に向かう水平角と、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部から前記撮像部に向かう水平角と、前記撮像部の前記水平面からの高さと、前記収音部の前記水平面からの高さと、前記撮像部から前記目的音源位置に向かう水平角及び垂直角と、前記目的音源位置の水平面からの高さの入力値と、を用いて、前記収音部から前記目的音源位置に向かう収音方向の水平角及び垂直角を算出する、指向性制御システムである。
【０９２３】
上述した構成では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さは異なり、全方位マイクアレイ装置２はディスプレイ装置３６に表示されるように設置される。従って、指向性制御装置３の収音方向算出部３４は、キャリブレーション時に算出された水平角θＣＭｈ，水平方向の距離ＬＣＭｈ，ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床面からの各高さＨＣ，ＨＭと、既定の水平角θＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ及び垂直角θＣＡｖと、ユーザにより入力された目的音源位置Ａの床からの高さＨＡの入力値とを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を簡易に算出できる。
【０９２４】
また、目的音源位置Ａの床からの高さＨＡは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨＡの選択の自由度が向上する。
【０９２５】
また、本発明の一実施形態は、前記収音部の真下の前記水平面上の位置に、円形状の第２マーカが設置され、前記収音方向算出部が、前記表示部に表示された前記収音部及び前記第２マーカの中心点の指定に応じて、前記撮像部から前記収音部に向かう垂直角と、前記撮像部から前記第２マーカに向かう垂直角と、前記撮像部から前記第２マーカまでの距離と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記撮像部の前記水平面からの高さと、前記収音部の前記水平面からの高さとを算出する、指向性制御システムである。
【０９２６】
上述した構成では、全方位マイクアレイ装置２の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さＨＣ，ＨＭを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０９２７】
また、本発明の一実施形態は、前記撮像部及び前記収音部の水平面からの各高さが異なり、前記収音部が、前記撮像部の撮像視野角外に存在するように設置され、前記収音方向算出部が、前記撮像部から前記収音部に向かう水平角と、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部から前記撮像部に向かう水平角と、前記撮像部の前記水平面からの高さと、前記収音部の前記水平面からの高さと、前記撮像部から前記目的音源位置に向かう水平角及び垂直角と、前記目的音源位置の水平面からの高さの入力値と、を用いて、前記収音部から前記目的音源位置に向かう収音方向の水平角及び垂直角を算出する、指向性制御システムである。
【０９２８】
上述した構成では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さは異なり、全方位マイクアレイ装置２はＰＴＺカメラ装置１の撮像視野角外に存在し、即ち全方位マイクアレイ装置２がディスプレイ装置３６に表示されないように設置される。従って、指向性制御装置３の収音方向算出部３４は、キャリブレーション時に算出された水平角θＣＭｈ，水平方向の距離ＬＣＭｈ，ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの各高さＨＣ，ＨＭと、既定の水平角θＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θＣＡｈ及び垂直角θＣＡｖと、ユーザにより入力された目的音源位置Ａの水平面からの高さＨＡの入力値とを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を簡易に算出できる。
【０９２９】
また、目的音源位置Ａの床からの高さＨＡは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨＡの選択の自由度が向上する。
【０９３０】
また、本発明の一実施形態は、前記収音部の真下に、前記収音部からの距離が一定の第１マーカが吊り下げられ、前記収音部の真下の前記水平面上の位置に、円形状の第２マーカが設置され、前記収音方向算出部が、前記表示部に表示された前記第１マーカ及び前記第２マーカの中心点の指定に応じて、前記撮像部から前記第１マーカに向かう垂直角と、前記撮像部から前記第２マーカに向かう垂直角と、前記撮像部から前記第２マーカまでの距離と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記撮像部の前記水平面からの高さと、前記収音部の前記水平面からの高さとを算出する、指向性制御システムである。
【０９３１】
上述した構成では、全方位マイクアレイ装置２の真下に、全方位マイクアレイ装置２からの距離が一定のキャリブレーション用マーカＭＡＫが吊り下げられ、全方位マイクアレイ装置２の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の中心点の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨＣ，ＨＭを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０９３２】
また、本発明の一実施形態は、前記収音部の真下の前記水平面上の位置に、円形状の第２マーカが設置され、前記収音方向算出部が、前記表示部に表示された前記第２マーカの中心点の指定に応じて、前記撮像部から前記第２マーカに向かう垂直角と、前記撮像部から前記第２マーカまでの距離と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記撮像部の前記水平面からの高さとを算出する、指向性制御システムである。
【０９３３】
上述した構成では、全方位マイクアレイ装置２の真下の水平面上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される。従って、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さが異なり、ＰＴＺカメラ装置１からの撮像視野角内に全方位マイクアレイ装置２が存在しない場合でも、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏがユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さＨＣを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈをキャリブレーションパラメータとして簡易に算出できる。
【０９３４】
本発明の一実施形態は、所定の収音領域の対象物を撮像する撮像部と、前記収音領域の音声を収音する収音部とを含む指向性制御システムにおける指向性制御方法であって、前記撮像部により撮像された前記対象物の画像データを表示するステップと、表示された前記対象物の画像データにおける任意の位置の指定を受け付けるステップと、前記対象物の画像データにおける任意の位置の指定に応じて、前記収音部から、前記画像データの指定位置に対応する目的音源位置に向かう収音方向を算出するステップと、算出された前記収音方向に、前記収音部により収音された音声の収音指向性を形成するステップと、を有する指向性制御方法である。
【０９３５】
上述した方法では、ＰＴＺカメラ装置１は、公知のパン方向又はチルト方向への筐体駆動機能及びズーム機能を用いて、所定の収音領域に存在している対象物（例えば人物）を撮像する。全方位マイクアレイ装置２は、ＰＴＺカメラ装置１の撮像方向に存在する対象物の音声を収音する。指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データにおいて任意の位置が指定されると、ＰＴＺカメラ装置１から指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向の収音方向座標（θＭＡｈ，θＭＡｖ）を算出する。指向性制御装置３の出力制御部３５は、算出された収音方向座標（θＭＡｈ，θＭＡｖ）が示す収音方向に、全方位マイクアレイ装置２により収音された音声の収音指向性を形成する。
【０９３６】
これにより、収音システム１０では、ＰＴＺカメラ装置１の撮像画像データが表示されたディスプレイ装置３６上で、目的音源位置Ａに対応する指定位置Ａ’が指定されるので、指向性制御装置３は、収音方向座標の算出前に予め必要なキャリブレーション時に、所定のキャリブレーションパラメータの算出に必要となる入力パラメータ（例えば距離、方向）を容易に取得でき、キャリブレーションパラメータを簡易に算出できる。従って、指向性制御装置３は、全方位マイクアレイ装置２を基準として、ＰＴＺカメラ装置１の撮像画像データの中の指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向への収音指向性を容易に形成でき、高精度に収音された収音方向の音声の音声データを容易に得ることができる。
【０９３７】
（第１１の実施形態におけるキャリブレーション方法の変形例）
次に、第１１の実施形態の収音システム１０におけるキャリブレーション方法の変形例（以下、「本変形例」という）について、図８２〜図９１を参照して説明する。本変形例では、上述した収音方向座標の算出方法とは異なり、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２における各水平角の正面方向（０度方向）が対向せず、更に、異なる方向を指す。
【０９３８】
具体的には、上述した収音方向座標の算出方法では、全方位マイクアレイ装置２からＰＴＺカメラ装置１を見た方向の水平角θＭＣｈはゼロである。言い換えると、全方位マイクアレイ装置２のＸ軸方向（水平角の０度方向、図８２参照）のずれ量を示す水平角θＭＣｈは０であったが、以下の本変形例では、この水平角θＭＣｈはゼロではない場合について説明する。なお、以下の本変形例ではキャリブレーションパラメータの算出方法について説明し、キャリブレーションパラメータを用いた収音方向座標の算出方法は上述した第１１の実施形態と同様であるため、説明は割愛する。
【０９３９】
（第１１のキャリブレーション方法に応じたキャリブレーションパラメータの算出方法）
第１１のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面（床面）からの高さＨＣ，ＨＭは等しいが、ＨＣ及びＨＭは既知でないとする。第１１のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈである。
【０９４０】
図８２（Ａ）は、第１１のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図である。図８２（Ｂ）は、ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｘの拡大画面である。図８２（Ａ）に示すキャリブレーション用床置きマーカＭＡＫ４は、例えばシート材を用いて構成される。シート材の中心点Ｏは、全方位マイクアレイ装置２の中心位置の鉛直下方向の直下に対応するように設置される。点Ｘは全方位マイクアレイ装置２の水平角の正面方向（０度方向）と一致するように設けられる。キャリブレーション用床置きマーカＭＡＫ４の中心点Ｏから点Ｘまでの距離（円の半径Ｒ０）は既知（一定）値である。
【０９４１】
ＰＴＺカメラ装置１は、ユーザの入力操作（例えばディスプレイ装置３６に対する指ＦＧのタッチ操作）に応じたＰＴＺカメラ装置１自身のフォーカス機能により、キャリブレーション用床置きマーカＭＡＫ４の点Ｏにピント合わせすることで、ＰＴＺカメラ装置１から点Ｏまでの距離ＬＣＯ、水平角θＣＯｈ及び垂直角θＣＯｖを算出する。また、ＰＴＺカメラ装置１は、ユーザの入力操作（例えばディスプレイ装置３６に対する指ＦＧのタッチ操作）に応じたＰＴＺカメラ装置１自身のフォーカス機能により、キャリブレーション用床置きマーカＭＡＫ４の点Ｘにピント合わせすることで、ＰＴＺカメラ装置１から点Ｘまでの距離ＬＣＸ、水平角θＣＸｈ及び垂直角θＣＸｖを算出する。ＰＴＺカメラ装置１の算出結果は、指向性制御装置３に送信される。
【０９４２】
図８３（Ａ）は、第１１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図８３（Ｂ）は、図８３（Ａ）の水平方向上面図である。図８３（Ｃ）は、図８３（Ｂ）のＫ−Ｋ’断面図である。図８４（Ａ）は、第１１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図８４（Ｂ）は、図８４（Ａ）の水平方向上面図である。図８４（Ｃ）は、図８４（Ｂ）のＬ−Ｌ’断面図である。
【０９４３】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ及び点Ｘ（図８２（Ｂ）参照）の２箇所がユーザの指ＦＧにより指定されると、キャリブレーション用床置きマーカＭＡＫ４の半径Ｒ０と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう距離ＬＣＯ，垂直角θＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θＣＸｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈとを算出する。図８３（Ｂ）、図８３（Ｃ）、図８４（Ｂ）及び図８４（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと高さＨＭ，ＨＣと水平角θＭＣｈの算出方法を具体的に説明する。
【０９４４】
収音方向算出部３４は、図８３（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏまでの距離ＬＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう垂直角θＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを数式（１４４）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨＣを数式（１４５）に従って算出する。なお、キャリブレーション用床置きマーカＭＡＫ４は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１とキャリブレーション用床置きマーカＭＡＫ４との間の水平方向の距離ＬＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと同じである（ＬＣＯｈ＝ＬＣＭｈ）。
【０９４５】
【数１４４】
2018057023.tif 000146
【０９４６】
【数１４５】
2018057023.tif 000147
【０９４７】
また、収音方向算出部３４は、図８４（Ｃ）に示す△ＣＸＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘまでの距離ＬＣＸと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θＣＸｖとを用いて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘまでの水平方向の距離ＬＣＸｈを数式（１４６）に従って算出する。
【０９４８】
【数１４６】
2018057023.tif 000148
【０９４９】
収音方向算出部３４は、図８３（Ｂ）又は図８４（Ｂ）に示す△ＣＸＭにおける余弦定理により、数式（１４４）〜数式（１４６）の各算出結果を用いて、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈを数式（１４７）に従って算出する。
【０９５０】
【数１４７】
2018057023.tif 000149
【０９５１】
以上により、本変形例の第１１のキャリブレーション方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ及び点Ｘの２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨＣ，ＨＭを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈとをキャリブレーションパラメータとして簡易に算出できる。
【０９５２】
これにより、全方位マイクアレイ装置２の水平角の正面方向（０度方向）が分かるので、指向性制御装置３は、１つの全方位マイクアレイ装置２に対して複数のＰＴＺカメラ装置１が設置された収音システムのシステム構成の場合でも、各ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間のキャリブレーションパラメータを同様に算出できる。従って、全方位マイクアレイ装置２をＰＴＺカメラ装置１の方に向けて設置する等、全方位マイクアレイ装置２の設置制限がなくなり、全方位マイクアレイ装置２の設置が容易になる。
【０９５３】
（第１２のキャリブレーション方法に応じたキャリブレーションパラメータの算出方法）
第１２のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面（床面）からの高さＨＣ，ＨＭが等しく、ＨＣ及びＨＭは既知とする。第１２のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈである。なお、ＰＴＺカメラ装置１の床からの高さＨＣは既知であるが、第１２のキャリブレーション方法により具体的に算出されても良い。なお、第１２のキャリブレーション方法の説明では、第１１のキャリブレーション方法の説明と同一の内容の説明は省略又は簡略化し、異なる内容について説明する。
【０９５４】
図８５（Ａ）は、第１２のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図である。図８５（Ｂ）は、ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｘの拡大画面である。図８５（Ａ）に示すキャリブレーション用床置きマーカＭＡＫ４は図８２（Ａ）に示すキャリブレーション用床置きマーカＭＡＫ４と同一であるため、説明は割愛する。
【０９５５】
図８６（Ａ）は、第１２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図８６（Ｂ）は、図８６（Ａ）の水平方向上面図である。図８６（Ｃ）は、図８６（Ｂ）のＫ−Ｋ’断面図である。図８７（Ａ）は、第１２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図８７（Ｂ）は、図８７（Ａ）の水平方向上面図である。図８７（Ｃ）は、図８７（Ｂ）のＬ−Ｌ’断面図である。
【０９５６】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ及び点Ｘ（図８５（Ｂ）参照）の２箇所がユーザの指ＦＧにより指定されると、キャリブレーション用床置きマーカＭＡＫ４の半径Ｒ０と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう距離ＬＣＯ，垂直角θＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θＣＸｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈとを算出する。図８６（Ｂ）、図８６（Ｃ）、図８７（Ｂ）及び図８７（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと水平角θＭＣｈの算出方法を具体的に説明する。
【０９５７】
収音方向算出部３４は、図８６（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏまでの距離ＬＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう垂直角θＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを数式（１４８）に従って算出する。なお、収音方向算出部３４は、数式（１４８）に従って、ＰＴＺカメラ装置１の床からの高さＨＣを算出しても良い。
【０９５８】
【数１４８】
2018057023.tif 000150
【０９５９】
また、収音方向算出部３４は、図８７（Ｃ）に示す△ＣＸＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘまでの距離ＬＣＸと、ＰＴＺカメラ装置１の水平面からの高さＨＣ（既知の値）又は数式（１４８）により算出されたＰＴＺカメラ装置１の水平面からの高さＨＣと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θＣＸｖとを用いて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘまでの水平方向の距離ＬＣＸｈを数式（１４９）に従って算出する。
【０９６０】
【数１４９】
2018057023.tif 000151
【０９６１】
収音方向算出部３４は、図８６（Ｂ）又は図８７（Ｂ）に示す△ＣＸＭにおける余弦定理により、数式（１４８）及び数式（１４９）の各算出結果を用いて、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈを数式（１５０）に従って算出する。
【０９６２】
【数１５０】
2018057023.tif 000152
【０９６３】
以上により、本変形例の第１２のキャリブレーション方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ及び点Ｘの２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈとをキャリブレーションパラメータとして簡易に算出できる。なお、第１２のキャリブレーション方法では、収音方向算出部３４は、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨＣ，ＨＭが等しくない場合でも、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨＣ，ＨＭを簡易に算出できる。
【０９６４】
これにより、全方位マイクアレイ装置２の水平角の正面方向（０度方向）が分かるので、指向性制御装置３は、１つの全方位マイクアレイ装置２に対して複数のＰＴＺカメラ装置１が設置された収音システムのシステム構成の場合でも、各ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間のキャリブレーションパラメータを同様に算出できる。従って、全方位マイクアレイ装置２をＰＴＺカメラ装置１の方に向けて設置する等、全方位マイクアレイ装置２の設置制限がなくなり、全方位マイクアレイ装置２の設置が容易になる。
【０９６５】
（第１３のキャリブレーション方法に応じたキャリブレーションパラメータの算出方法）
第１３のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面（床面）からの高さＨＣ，ＨＭは等しいが、ＨＣ及びＨＭは既知でないとする。第１３のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈである。なお、第１３のキャリブレーション方法の説明では、第１１のキャリブレーション方法の説明と同一の内容の説明は省略又は簡略化し、異なる内容について説明する。
【０９６６】
図８８（Ａ）は、第１３のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図である。図８８（Ｂ）は、ＰＴＺカメラ装置１のフォーカス機能による点Ｏ、点Ｏ’及び点Ｘの拡大画面である。図８８（Ｂ）に示す点Ｏ’は、ＰＴＺカメラ装置１からの中心点Ｏまでの水平角θＣＯｈと同一の水平角が得られる点であり、指向性制御装置３は、この同一の水平角が得られる箇所を視覚的に示すためにガイド線ＧＵＤ２をディスプレイ装置３６に表示している。
【０９６７】
ＰＴＺカメラ装置１は、ユーザの入力操作（例えばディスプレイ装置３６に対する指ＦＧのタッチ操作）に応じたＰＴＺカメラ装置１自身のフォーカス機能により、キャリブレーション用床置きマーカＭＡＫ４の中心点Ｏにピント合わせすることで、ＰＴＺカメラ装置１から中心点Ｏまでの距離ＬＣＯ、水平角θＣＯｈ及び垂直角θＣＯｖを算出する。また、ＰＴＺカメラ装置１は、ユーザの入力操作（例えばディスプレイ装置３６に対する指ＦＧのタッチ操作）に応じたＰＴＺカメラ装置１自身のフォーカス機能により、キャリブレーション用床置きマーカＭＡＫ４の点Ｘにピント合わせすることで、ＰＴＺカメラ装置１から点Ｘまでの距離ＬＣＸ、水平角θＣＸｈ及び垂直角θＣＸｖを算出する。更に、ＰＴＺカメラ装置１は、ユーザの入力操作（例えばディスプレイ装置３６に対する指ＦＧのタッチ操作）に応じたＰＴＺカメラ装置１自身のフォーカス機能により、キャリブレーション用床置きマーカＭＡＫ４の点Ｏ’にピント合わせすることで、ＰＴＺカメラ装置１から点Ｏ’までの距離ＬＣＯ’、水平角θＣＯ’ｈ及び垂直角θＣＯ’ｖを算出する。ＰＴＺカメラ装置１の算出結果は、指向性制御装置３に送信される。
【０９６８】
図８９（Ａ）は、第１３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図８９（Ｂ）は、図８９（Ａ）の水平方向上面図である。図８９（Ｃ）は、図８９（Ｂ）のＫ−Ｋ’断面図である。図９０（Ａ）は、第１３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図９０（Ｂ）は、図９０（Ａ）の水平方向上面図である。図９０（Ｃ）は、図９０（Ｂ）のＬ−Ｌ’断面図である。
【０９６９】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ、点Ｘ及び点Ｏ’の３箇所がユーザの指ＦＧにより指定されると、キャリブレーション用床置きマーカＭＡＫ４の半径Ｒ０と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう垂直角θＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θＣＸｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｏ’に向かう垂直角θＣＯ’ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈとを算出する。図８９（Ｂ）、図８９（Ｃ）、図９０（Ｂ）及び図９０（Ｃ）を参照して、収音方向算出部３４における水平方向の距離ＬＣＭｈと高さＨＭ，ＨＣと水平角θＭＣｈの算出方法を具体的に説明する。
【０９７０】
収音方向算出部３４は、図８９（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう垂直角θＣＯｖを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈとＰＴＺカメラ装置１の水平面からの高さＨＣとの関係式を数式（１５１）に従って求め、更に、キャリブレーション用床置きマーカＭＡＫ４の半径Ｒ０とＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｏ’に向かう垂直角θＣＯ’ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈとＰＴＺカメラ装置１の水平面からの高さＨＣとの関係式を数式（１５２）に従って求める。なお、キャリブレーション用床置きマーカＭＡＫ４は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１とキャリブレーション用床置きマーカＭＡＫ４との間の水平方向の距離ＬＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと同じである（ＬＣＯｈ＝ＬＣＭｈ）。
【０９７１】
【数１５１】
2018057023.tif 000153
【０９７２】
【数１５２】
2018057023.tif 000154
【０９７３】
収音方向算出部３４は、数式（１５１）及び数式（１５２）の各算出結果を用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈを数式（１５３）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨＣを数式（１５４）に従って算出する。
【０９７４】
【数１５３】
2018057023.tif 000155
【０９７５】
【数１５４】
2018057023.tif 000156
【０９７６】
また、収音方向算出部３４は、図９１（Ｃ）に示す△ＣＸＭにおいて、数式（１５４）の算出結果と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θＣＸｖとを用いて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘまでの水平方向の距離ＬＣＸｈを数式（１５５）に従って算出する。
【０９７７】
【数１５５】
2018057023.tif 000157
【０９７８】
収音方向算出部３４は、図８９（Ｂ）又は図９０（Ｂ）に示す△ＣＸＭにおける余弦定理により、数式（１５３）〜数式（１５５）の各算出結果を用いて、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈを数式（１５６）に従って算出する。
【０９７９】
【数１５６】
2018057023.tif 000158
【０９８０】
以上により、本変形例の第１３のキャリブレーション方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ、点Ｏ’及び点Ｘの３箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨＣ，ＨＭを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈとをキャリブレーションパラメータとして簡易に算出できる。
【０９８１】
これにより、全方位マイクアレイ装置２の水平角の正面方向（０度方向）が分かるので、指向性制御装置３は、１つの全方位マイクアレイ装置２に対して複数のＰＴＺカメラ装置１が設置された収音システムのシステム構成の場合でも、各ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間のキャリブレーションパラメータを同様に算出できる。従って、全方位マイクアレイ装置２をＰＴＺカメラ装置１の方に向けて設置する等、全方位マイクアレイ装置２の設置制限がなくなり、全方位マイクアレイ装置２の設置が容易になる。
【０９８２】
なお、第１３のキャリブレーション方法に用いたキャリブレーション用床置きマーカＭＡＫ４では、ユーザは、全方位マイクアレイ装置２の水平角の正面方向（０度方向）を示す点Ｘを予め規定する必要があった。しかし、点Ｘを予め規定するユーザの作業を省略し、ＰＴＺカメラ装置１の画像から、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈを読み取り、操作部３２から直接入力しても良い。
【０９８３】
この場合には、ユーザは、図９１（Ａ）に示す角度メモリ付きのキャリブレーション用床置きマーカＭＡＫ５を用いる。図９１（Ａ）は、角度メモリ付きのキャリブレーション用床置きマーカＭＡＫ５の平面図である。図９１（Ｂ）は、ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｏ’の拡大画面である。なお、図９１（Ｂ）に示す点Ｏ及び点Ｏ’の位置は、図８８（Ｂ）に示す点Ｏ及び点Ｏ’と同一である。
【０９８４】
収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ５の中心点Ｏ、及び点Ｏ’の２箇所がユーザの指ＦＧにより指定され、さらに画像から読み取られた角度情報を、ユーザが操作部３２から入力すると、キャリブレーション用床置きマーカＭＡＫ５の半径Ｒ０と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ５の中心点Ｏに向かう垂直角θＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ５の点Ｏ’に向かう垂直角θＣＯ’ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離ＬＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨＣと、全方位マイクアレイ装置２の床からの高さＨＭを算出する。全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈはユーザが操作部３２から入力した値である。。以下のキャリブレーションパラメータの算出方法は、第４の実施例におけるキャリブレーション方法の説明と同一であり、未知数となる全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θＭＣｈは直接入力されるため、説明を省略する。
【０９８５】
なお、本出願は、２０１３年２月１５日出願の日本特許出願（特願２０１３−０２８４０２）、２０１３年６月６日出願の日本特許出願（特願２０１３−１１９８５０）、２０１３年６月２０日出願の日本特許出願（特願２０１３−１２９９６４）、２０１３年７月２５日出願の日本特許出願（特願２０１３−１５４８６７）、２０１３年１０月１８日出願の日本特許出願（特願２０１３−２１７７０７）に基づくものであり、その内容は本出願の中に参照として援用される。
【産業上の利用可能性】
【０９８６】
本発明は、マイクアレイ装置を基準として、カメラ装置が撮像する所定範囲の映像から指定された位置に対応する場所又は方向に向けて音声の収音指向性を形成し、該当方向の音声データを高精度に収音する指向性制御システム及び指向性制御方法として有用である。
【０９８７】
本発明は、カメラ装置とマイクアレイ装置とを一体的に用いる場合に、カメラ装置の撮像方向を示す座標の水平角とマイクアレイ装置の収音方向を示す座標の水平角との各基準方向を一致させるキャリブレーション方法として有用である。
【０９８８】
本発明は、カメラ装置の撮像方向座標とマイクアレイ装置の収音方向座標の各水平角における０°方向と両者を結ぶ互いの基準方向との間の角度を示す水平偏差角を算出し、マイクアレイ装置に、カメラ装置の撮像方向に存在している被写体の会話音声を適正に収音させる指向性制御システム及び水平偏差角算出方法として有用である。
【０９８９】
本発明は、収音空間内に存在する対象音源位置の基準面からの高さを判定し、対象音源位置の基準面からの高さを基に、マイクアレイ装置から対象音源位置に向かう収音指向方向に音声の収音指向性を形成する指向性制御システム及び指向性制御方法として有用である。
【０９９０】
本発明は、マイクアレイ装置を基準として、カメラ装置の撮像画像における指定位置に対応する目的音源位置に向かう収音方向への収音指向性を形成し、収音方向の音声を高精度に収音する指向性制御システム及び指向性制御方法として有用である。
【符号の説明】
【０９９１】
１  ＰＴＺカメラ装置
１Ｚ、１Ａ、１Ｂ、１Ｃ  収音システム
２、２Ａ、２Ｂ、２Ｃ、２Ｄ  マイクアレイ装置（全方位マイクアレイ装置）
３、３Ａ、３Ｂ、３Ｃ  指向性制御装置
３ｚ、３Ａ、３Ｃ、３Ｄ  全方位カメラ装置
４  レコーダ（レコーダ装置）
５、５Ａ、５Ｂ、５Ｃ  全方位マイクアレイ装置
７  取付部材
７ａ、７ｂ  係止片
７ｃ、７ｄ  孔部
７ｅ  ビス孔
８  天井面
１０、１０Ａ  指向性制御システム（収音システム）
１１、１１ｎ  カメラ装置
１１ｙ  キー
１１ｚ  全方位カメラ装置
１３  開口部
１５  キー溝
１７  筐体
１８  マイクロホンユニット
２１ｚ、２３ｚ  マーカ
２６  加算部
３１、３１Ａ  通信部
３２  操作部
３３、３３Ａ、３３Ｂ、３３Ｃ  信号処理部
３４  収音方向算出部
３４ａ  音源高さ判定部
３４ｂ  収音指向方向算出部
３４ｃ  出力制御部
３４ｗ  水平偏差角算出部
３４ｘ  座標算出部
３４ｚ  座標変換処理部
３５  出力制御部
３６  ディスプレイ装置
３７  スピーカ装置
３８、３８Ａ、３８Ｂ  メモリ
６１  冶具
６３  目印
６１Ａ  冶具画像
６３Ａ  目印画像
７１  係合孔
２２１、２２２、２２３、２２（ｎ−１）、２２ｎ  マイクロホン
２４１、２４２、２４３、２４（ｎ−１）、２４ｎ  Ａ／Ｄ変換器
２５１、２５２、２５３、２５（ｎ−１）、２５ｎ  遅延器
Ｃ１  キャリブレーション用全方位カメラ装置
ＣＦ１、ＣＦ２、ＣＦ３  設定ファイル
【図１】
2018057023.tif 000159
【図２】
2018057023.tif 000160
【図３】
2018057023.tif 000161
【図４】
2018057023.tif 000162
【図５】
2018057023.tif 000163
【図６】
2018057023.tif 000164
【図７】
2018057023.tif 000165
【図８】
2018057023.tif 000166
【図９】
2018057023.tif 000167
【図１０】
2018057023.tif 000168
【図１１】
2018057023.tif 000169
【図１２】
2018057023.tif 000170
【図１３】
2018057023.tif 000171
【図１４】
2018057023.tif 000172
【図１５】
2018057023.tif 000173
【図１６】
2018057023.tif 000174
【図１７】
2018057023.tif 000175
【図１８】
2018057023.tif 000176
【図１９】
2018057023.tif 000177
【図２０】
2018057023.tif 000178
【図２１】
2018057023.tif 000179
【図２２】
2018057023.tif 000180
【図２３】
2018057023.tif 000181
【図２４】
2018057023.tif 000182
【図２５】
2018057023.tif 000183
【図２６】
2018057023.tif 000184
【図２７】
2018057023.tif 000185
【図２８】
2018057023.tif 000186
【図２９】
2018057023.tif 000187
【図３０】
2018057023.tif 000188
【図３１】
2018057023.tif 000189
【図３２】
2018057023.tif 000190
【図３３】
2018057023.tif 000191
【図３４】
2018057023.tif 000192
【図３５】
2018057023.tif 000193
【図３６】
2018057023.tif 000194
【図３７】
2018057023.tif 000195
【図３８】
2018057023.tif 000196
【図３９】
2018057023.tif 000197
【図４０】
2018057023.tif 000198
【図４１】
2018057023.tif 000199
【図４２】
2018057023.tif 000200
【図４３】
2018057023.tif 000201
【図４４】
2018057023.tif 000202
【図４５】
2018057023.tif 000203
【図４６】
2018057023.tif 000204
【図４７】
2018057023.tif 000205
【図４８】
2018057023.tif 000206
【図４９】
2018057023.tif 000207
【図５０】
2018057023.tif 000208
【図５１】
2018057023.tif 000209
【図５２】
2018057023.tif 000210
【図５３】
2018057023.tif 000211
【図５４】
2018057023.tif 000212
【図５５】
2018057023.tif 000213
【図５６】
2018057023.tif 000214
【図５７】
2018057023.tif 000215
【図５８】
2018057023.tif 000216
【図５９】
2018057023.tif 000217
【図６０】
2018057023.tif 000218
【図６１】
2018057023.tif 000219
【図６２】
2018057023.tif 000220
【図６３】
2018057023.tif 000221
【図６４】
2018057023.tif 000222
【図６５】
2018057023.tif 000223
【図６６】
2018057023.tif 000224
【図６７】
2018057023.tif 000225
【図６８】
2018057023.tif 000226
【図６９】
2018057023.tif 000227
【図７０】
2018057023.tif 000228
【図７１】
2018057023.tif 000229
【図７２】
2018057023.tif 000230
【図７３】
2018057023.tif 000231
【図７４】
2018057023.tif 000232
【図７５】
2018057023.tif 000233
【図７６】
2018057023.tif 000234
【図７７】
2018057023.tif 000235
【図７８】
2018057023.tif 000236
【図７９】
2018057023.tif 000237
【図８０】
2018057023.tif 000238
【図８１】
2018057023.tif 000239
【図８２】
2018057023.tif 000240
【図８３】
2018057023.tif 000241
【図８４】
2018057023.tif 000242
【図８５】
2018057023.tif 000243
【図８６】
2018057023.tif 000244
【図８７】
2018057023.tif 000245
【図８８】
2018057023.tif 000246
【図８９】
2018057023.tif 000247
【図９０】
2018057023.tif 000248
【図９１】
2018057023.tif 000249