(57)【特許請求の範囲】
【請求項１】
天井面に固定して設置され、ネットワークを介して監視対象位置の画像データを送信する撮像装置と、
前記撮像装置と一体的に又は別体として離れて取り付けられ、複数の収音素子を備え、前記ネットワークを介して前記収音素子により収音された前記監視対象位置の音データを送信する全方位マイクアレイ装置と、
前記撮像装置より前記ネットワークを介して送信された前記監視対象位置の画像データを表示部に表示させ、前記全方位マイクアレイ装置より前記ネットワークを介して前記監視対象位置の音データを受信して、前記表示部に表示された前記監視対象位置の画像の中で、操作部により受け付けられたユーザによる指定位置に対応する指向方向に、前記音データの指向性を形成する指向性制御装置と、が前記ネットワークを介して相互接続される監視システムであって、
前記全方位マイクアレイ装置は、
計測時に、試験音源より放射され前記複数の収音素子により収音される所定の試験音を基に計測された位相特性を基に算出される各々の前記収音素子の位相ずれの補正値を、前記収音素子に対応付けて記憶する記憶部を更に備え、
前記指向性制御装置は、
前記全方位マイクアレイ装置より前記ネットワークを介して前記位相ずれの補正値を取得し、
指向形成動作時に、前記操作部により指定された前記監視対象位置の指定位置に対応する指向方向の音源から各々の前記収音素子に伝播される音の理論遅延時間を算出し、前記計測時に前記全方位マイクアレイ装置の前記記憶部に記憶された前記位相ずれの補正値を前記理論遅延時間に加算して得られる補正遅延時間を、前記収音素子毎に算出する遅延時間算出部と、
前記指向形成動作時に、前記遅延時間算出部により算出された前記収音素子毎の補正遅延時間と前記全方位マイクアレイ装置により収音された音データとを用いて、前記操作部により指定された前記監視対象位置の指定位置に対応する指向方向の音が強調された音信号を出力する指向性形成部と、を備える、
監視システム。
【請求項２】
請求項１に記載の監視システムであって、
前記全方位マイクアレイ装置は、
初期設定時に、前記全方位マイクアレイ装置の識別情報と前記識別情報に対応する前記全方位マイクアレイ装置に含まれる前記収音素子の位相ずれの補正値とを前記指向性制御装置に送信し、
前記指向性制御装置は、
前記初期設定時に、前記全方位マイクアレイ装置の識別情報と前記識別情報に対応する前記全方位マイクアレイ装置に含まれる前記収音素子の位相ずれの補正値とを対応付けて記憶する、
監視システム。
【請求項３】
請求項１又は２に記載の監視システムであって、
前記全方位マイクアレイ装置は、
前記指向性制御装置からの要求に応じて、前記記憶部に記憶された前記収音素子毎の位相ずれの補正値を前記指向性制御装置に送信する、
監視システム。
【請求項４】
請求項１に記載の監視システムであって、
前記位相ずれの補正値は、前記位相特性を基に、所定の周波数範囲における位相ずれの平均値を算出することにより得られる、
監視システム。
【請求項５】
請求項４に記載の監視システムであって、
前記所定の周波数範囲は、人間の可聴域に対応する周波数帯域である、
監視システム。
【請求項６】
請求項１〜５のうちいずれか一項に記載の監視システムであって、
前記ネットワークを介して前記撮像装置、前記全方位マイクアレイ装置及び前記指向性制御装置と相互接続され、前記試験音源として試験音を放射し前記複数の収音素子により収音される所定の試験音を基に、前記収音素子毎の位相ずれの補正値を計測する計測装置、を更に備える、
監視システム。
【請求項７】
天井面に固定して設置され、ネットワークを介して監視対象位置の画像データを送信する撮像装置と、前記撮像装置と一体的に又は別体として離れて取り付けられ、複数の収音素子を備え、前記ネットワークを介して前記収音素子により収音された前記監視対象位置の音データを送信する全方位マイクアレイ装置と、前記撮像装置より前記ネットワークを介して送信された前記監視対象位置の画像データを表示部に表示させ、前記全方位マイクアレイ装置より前記ネットワークを介して前記監視対象位置の音データを受信して、前記表示部に表示された前記監視対象位置の画像の中で、操作部により受け付けられたユーザによる指定位置に対応する指向方向に、前記音データの指向性を形成する指向性制御装置と、が、前記ネットワークを介して相互接続される監視システムにおける指向性制御方法であって、
前記全方位マイクアレイ装置において、
計測時に、試験音源より放射され前記複数の収音素子により収音される所定の試験音を基に計測された位相特性を基に算出される各々の前記収音素子の位相ずれの補正値を、前記収音素子に対応付けて前記全方位マイクアレイ装置が備える記憶部に記憶するステップと、
前記指向性制御装置において、
前記全方位マイクアレイ装置より前記ネットワークを介して前記位相ずれの補正値を取得するステップと、
指向形成動作時に、前記操作部により指定された前記監視対象位置の指定位置に対応する指向方向の音源から各々の前記収音素子に伝播される音の理論遅延時間を算出し、前記計測時に前記全方位マイクアレイ装置の前記記憶部に記憶された前記位相ずれの補正値を前記理論遅延時間に加算して得られる補正遅延時間を、前記収音素子毎に算出するステップと、
前記指向形成動作時に、算出された前記収音素子毎の補正遅延時間と前記全方位マイクアレイ装置により収音された音データとを用いて、前記操作部により指定された前記監視対象位置の指定位置に対応する指向方向の音が強調された音信号を出力するステップと、を有する、
監視システムにおける指向性制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロホンにより収音された音声の指向性を形成する監視システム及び監視システムにおける指向性制御方法に関する。
【背景技術】
【０００２】
複数のマイクロホンを使用した全方位マイクアレイ装置では、位相差を利用したビームフォーミング（言い換えると、指向性の形成処理）がよく用いられる。しかし、エレクトレットコンデンサマイク（ＥＣＭ：Electret Condenser Microphone）に代表される、マイクロホンの小型化や音孔の影響、更には、信号増幅用ＦＥＴ（field-effect transistor）の電気的特性が原因となって、マイクロホン間で位相差が生じ、指向性性能が低下することがある。
【０００３】
従来、マイクロホンの出力特性の逆特性を有するフィルタで、音響特性を補正する技術として、例えば特許文献１に示す信号処理装置が知られている。特許文献１に示す信号処理装置は、スピーカからインパルス信号を放出し、その音をマイクロホンで収音することで、補正用のフィルタを生成する。この補正用のフィルタとしては、例えば群遅延特性が一定なＦＩＲ（Finite Impulse Response）フィルタが用いられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２１３０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１の構成では、例えばＦＦＴ（Fast Fourier Transform）、畳み込み積分、逆ＦＦＴといった計算量の多い演算処理が必要であり、また、フラットな周波数帯域を得るためには、タップ長の長いＦＩＲフィルタが必要になり、計算量の増大や処理時間の遅れが問題となっていた。
【０００６】
また、補正用のフィルタを生成するために、スピーカからインパルス信号を放出するので、生成されるフィルタは、周囲の空間的な環境下の影響を受けるスピーカの特性を含んだ特性を有してしまい、マイクロホン（或いはマイクロホンの取付環境）のフィルタとは特性の異なるフィルタになってしまうという問題もあった。
【０００７】
本発明は、上述した従来の状況に鑑みてなされたものであり、音声の指向性形成処理において、複数のマイクロホン固有の位相ずれの特性を考慮した位相補正により、マイクロホン毎の位相ずれによる指向性性能の低下を抑制する監視システム及び監視システムにおける指向性制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、天井面に固定して設置され、ネットワークを介して監視対象位置の画像データを送信する撮像装置と、前記撮像装置と一体的に又は別体として離れて取り付けられ、複数の収音素子を備え、前記ネットワークを介して前記収音素子により収音された前記監視対象位置の音データを送信する全方位マイクアレイ装置と、前記撮像装置より前記ネットワークを介して送信された前記監視対象位置の画像データを表示部に表示させ、前記全方位マイクアレイ装置より前記ネットワークを介して前記監視対象位置の音データを受信して、前記表示部に表示された前記監視対象位置の画像の中で、操作部により受け付けられたユーザによる指定位置に対応する指向方向に、前記音データの指向性を形成する指向性制御装置と、が前記ネットワークを介して相互接続される監視システムであって、前記全方位マイクアレイ装置は、計測時に、試験音源より放射され前記複数の収音素子により収音される所定の試験音を基に計測された位相特性を基に算出される各々の前記収音素子の位相ずれの補正値を、前記収音素子に対応付けて記憶する記憶部を更に備え、前記指向性制御装置は、前記全方位マイクアレイ装置より前記ネットワークを介して前記位相ずれの補正値を取得し、指向形成動作時に、前記操作部により指定された前記監視対象位置の指定位置に対応する指向方向の音源から各々の前記収音素子に伝播される音の理論遅延時間を算出し、前記計測時に前記全方位マイクアレイ装置の前記記憶部に記憶された前記位相ずれの補正値を前記理論遅延時間に加算して得られる補正遅延時間を、前記収音素子毎に算出する遅延時間算出部と、前記指向形成動作時に、前記遅延時間算出部により算出された前記収音素子毎の補正遅延時間と前記全方位マイクアレイ装置により収音された音データとを用いて、前記操作部により指定された前記監視対象位置の指定位置に対応する指向方向の音が強調された音信号を出力する指向性形成部と、を備える、監視システムである。
【０００９】
また、本発明は、天井面に固定して設置され、ネットワークを介して監視対象位置の画像データを送信する撮像装置と、前記撮像装置と一体的に又は別体として離れて取り付けられ、複数の収音素子を備え、前記ネットワークを介して前記収音素子により収音された前記監視対象位置の音データを送信する全方位マイクアレイ装置と、前記撮像装置より前記ネットワークを介して送信された前記監視対象位置の画像データを表示部に表示させ、前記全方位マイクアレイ装置より前記ネットワークを介して前記監視対象位置の音データを受信して、前記表示部に表示された前記監視対象位置の画像の中で、操作部により受け付けられたユーザによる指定位置に対応する指向方向に、前記音データの指向性を形成する指向性制御装置と、が、前記ネットワークを介して相互接続される監視システムにおける指向性制御方法であって、前記全方位マイクアレイ装置において、計測時に、試験音源より放射され前記複数の収音素子により収音される所定の試験音を基に計測された位相特性を基に算出される各々の前記収音素子の位相ずれの補正値を、前記収音素子に対応付けて前記全方位マイクアレイ装置が備える記憶部に記憶するステップと、前記指向性制御装置において、前記全方位マイクアレイ装置より前記ネットワークを介して前記位相ずれの補正値を取得するステップと、指向形成動作時に、前記操作部により指定された前記監視対象位置の指定位置に対応する指向方向の音源から各々の前記収音素子に伝播される音の理論遅延時間を算出し、前記計測時に前記全方位マイクアレイ装置の前記記憶部に記憶された前記位相ずれの補正値を前記理論遅延時間に加算して得られる補正遅延時間を、前記収音素子毎に算出するステップと、前記指向形成動作時に、算出された前記収音素子毎の補正遅延時間と前記全方位マイクアレイ装置により収音された音データとを用いて、前記操作部により指定された前記監視対象位置の指定位置に対応する指向方向の音が強調された音信号を出力するステップと、を有する、監視システムにおける指向性制御方法である。
【発明の効果】
【００１０】
本発明によれば、音声の指向性形成処理において、複数のマイクロホン固有の位相ずれの特性を考慮した位相補正により、マイクロホン毎の位相ずれによる指向性性能の低下を抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態の指向性制御システムのシステム構成を示すブロック図
【図２】（Ａ）〜（Ｅ）全方位マイクアレイ装置の外観図
【図３】全方位マイクアレイ装置により収音された音声に対して所定の方向に指向性を形成する原理の一例の説明図
【図４】（Ａ）全方位マイクアレイ装置の内部構成の一例を示す図、（Ｂ）信号処理部の内部構成の一例を示す図
【図５】マイク素子の位相特性を測定する方法を説明する図
【図６】位相特性の一例を示すグラフ
【図７】位相補正値の計測動作の手順を説明するフローチャート
【図８】（Ａ）全方位マイクアレイ装置における収音処理手順を説明するフローチャート、（Ｂ）全方位マイクアレイ装置から送信される音声パケットの構造を示す図
【図９】指向性制御装置における指向性形成動作手順を説明するフローチャート
【図１０】第２の実施形態における信号処理部の内部構成の一例を示す図
【図１１】（Ａ）全方位マイクアレイ装置が位相補正値を収集する動作手順を説明するフローチャート、（Ｂ）指向性制御装置が位相補正値を取得する動作手順を説明するフローチャート
【図１２】第２の実施形態の変形例の指向性制御システムのシステム構成を示すブロック図
【図１３】（Ａ）変形例における全方位マイクアレイ装置が位相補正値を収集する動作手順を説明するフローチャート、（Ｂ）指向性制御装置が位相補正値を取得する動作手順を説明するフローチャート
【図１４】指向性制御装置における指向性形成動作手順を説明するフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明に係る指向性制御システム及び指向性制御方法の各実施形態について、図面を参照して説明する。各実施形態の指向性制御システムは、例えば工場、公共施設（例えば図書館、イベント会場）、又は店舗（例えば小売店、銀行）に設置される監視システム（有人監視システム及び無人監視システムを含む）として用いられるが、特に限定されない。以下の各実施形態では、各実施形態の指向性制御システムは、例えば店舗に設置されるとして説明する。
【００１３】
なお、本発明は、指向性制御システムを構成する各装置（例えば後述する指向性制御装置、全方位マイクアレイ装置）、又は指向性制御システムを構成する各装置（例えば後述する指向性制御装置、全方位マイクアレイ装置）が行う各動作（ステップ）を含む方法として表現することも可能である。
【００１４】
（第１の実施形態）
図１は、第１の実施形態の指向性制御システム１０のシステム構成を示すブロック図である。図１に示す指向性制御システム１０は、全方位マイクアレイ装置２と、カメラ装置Ｃ１１と、指向性制御装置３と、レコーダ装置４と、計測装置５とを含む構成である。全方位マイクアレイ装置２は、指向性制御システム１０が設置される収音領域における音声を収音し、例えば収音領域に存在する音源の一例としての人物の発する音声を収音する。
【００１５】
本実施形態の全方位マイクアレイ装置２の筐体形状は、円盤の形状を例示して説明するが、円盤の形状に限定されず、例えばドーナツ型形状又はリング型形状（図２参照）でも良い。
【００１６】
全方位マイクアレイ装置２では、例えば円盤状の筐体２１の円周方向に沿って、複数のマイクロホンユニット２２、２３が同心円状に配置される（図２（Ａ）参照）。マイクロホンユニット２２、２３には、例えば高音質小型エレクトレットコンデンサマイクロホン（ＥＣＭ： Electret Condenser Microphone）が用いられ、以下の各実施形態においても同様である。
【００１７】
図１に示す指向性制御システム１０において、全方位マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４と、計測装置５とは、ネットワークＮＷを介して相互に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良い。ネットワークＮＷは、以下の各実施形態においても同様である。
【００１８】
撮像部の一例としてのカメラ装置Ｃ１１は、例えばイベント会場の天井面に固定して設置される。カメラ装置Ｃ１１は、収音領域の全方位の映像を示す画像データ（即ち、全方位画像データ）、又は全方位画像データに所定の歪み補正処理を施してパノラマ変換して生成した平面画像データを、ネットワークＮＷを介して指向性制御装置３又はレコーダ装置４に送信する。指向性制御装置３は、操作部３２からの指示によって、画像信号処理部３５において、指定位置の画像をズームアップして、ディスプレイ装置３６に表示する。
【００１９】
カメラ装置Ｃ１１は、ディスプレイ装置３６に表示された画像の中で、ユーザによって任意の位置が指定されると、画像中の指定位置の座標データを指向性制御装置３から受信し、カメラ装置Ｃ１１から、指定位置に対応する実空間上の音声位置（以下、単に「音声位置」と略記する）までの距離、方向（水平角及び垂直角を含む。以下同様。）のデータを算出して指向性制御装置３に送信する。なお、カメラ装置Ｃ１１における距離、方向のデータ算出処理は公知技術であるため、その説明は省略する。
【００２０】
収音部の一例としての全方位マイクアレイ装置２は、ネットワークＮＷに接続され、等間隔毎に配置された収音素子の一例としてのマイク素子２２１，２２２，…，２２ｎ（図３参照）と、各マイク素子により収音された音声の音声データに対して所定の信号処理を施す各部とを少なくとも含む構成である。全方位マイクアレイ装置２の詳細な構成については、例えば図４（Ａ）を参照して後述する。
【００２１】
全方位マイクアレイ装置２は、各々のマイクロホンユニット２２，２３（図２（Ａ）参照）内のマイク素子２２１，２２２，…，２２ｎ（図３参照）が収音した音声の音声データを、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。
【００２２】
指向性制御装置３は、全方位マイクアレイ装置２から送信された音声データを用いて、ユーザの操作によって操作部３２から指定された位置（指定位置）に対応する指向方向（後述参照）に指向性を形成する際、例えば指向性制御システム１０が設置される収音領域の温度に依存する音速Ｖｓ（図３参照）を用いて、指向方向（θＭＡｈ，θＭＡｖ）に、音声データの指向性を形成する。
【００２３】
これにより、指向性制御装置３は、指向性が形成された指向方向（θＭＡｈ，θＭＡｖ）から収音した音声の音量レベルを他の方向から収音した音声の音量レベルよりも相対的に増大できる。なお、指向方向（θＭＡｈ，θＭＡｖ）の算出方法は公知技術であるため、本実施形態では詳細な説明は省略する。
【００２４】
また、全方位マイクアレイ装置２の各マイクロホンユニット２２，２３は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、又はこれらの組み合わせが用いられても良い。
【００２５】
また、カメラ装置Ｃ１１は全方位を撮影する全方位カメラでなくとも、パン・チルト・ズーム機能を持ったカメラや、固定カメラで、監視したい位置の画像を撮影できれば構わない。この場合、カメラは一つでなく、複数を組み合わせても良い。
【００２６】
図２（Ａ）〜（Ｅ）は、全方位マイクアレイ装置２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅの外観図である。図２（Ａ）〜（Ｅ）に示す全方位マイクアレイ装置２Ａ，２Ｂ，２Ｃ．２Ｄ，２Ｅでは、外観及び複数のマイクロホンユニットの配置が異なるが、全方位マイクアレイ装置自身の機能は同等である。なお、これらの全方位マイクアレイ装置を特に区別する必要が無い場合、全方位マイクアレイ装置２と総称する。
【００２７】
図２（Ａ）に示す全方位マイクアレイ装置２Ａは、円盤状の筐体２１を有する。筐体２１には、複数のマイクロホンユニット２２，２３が同心円状に配置されている。具体的には、複数のマイクロホンユニット２２が、筐体２１と同一の中心を有する大きな円形状に沿って同心円状に配置され、複数のマイクロホンユニット２３が、筐体２１と同一の中心を有する小さい円形状に沿って同心円状に配置されている。複数のマイクロホンユニット２２は、互いの間隔が広く、直径が大きく、低い音域に適した特性を有する。一方、複数のマイクロホンユニット２３は、互いの間隔が狭く、直径が小さく、高い音域に適した特性を有する。
【００２８】
図２（Ｂ）に示す全方位マイクアレイ装置２Ｂは、円盤状の筐体２１を有する。筐体２１には、複数のマイクロホンユニット２２が、水平方向の縦方向と横方向との中心が筐体２１の中心において交わるように一様な間隔毎に直線上に配置されている。全方位マイクアレイ装置２Ｂは、複数のマイクロホンユニット２２が縦横の直線状に配置されているので、音声データの指向性の形成処理の演算量を低減できる。なお、縦方向又は横方向の１列だけに、複数のマイクロホンユニット２２が配置されても良い。
【００２９】
図２（Ｃ）に示す全方位マイクアレイ装置２Ｃは、図２（Ａ）に示す全方位マイクアレイ装置２Ａに比べ、直径の小さい円盤状の筐体２１Ｃを有する。筐体２１Ｃには、複数のマイクロホンユニット２２が、円周方向に沿って一様に配置されている。図２（Ｃ）に示す全方位マイクアレイ装置２Ｃは、各々のマイクロホンユニット２２の間隔が短いので、高い音域に適した特性を有する。
【００３０】
図２（Ｄ）に示す全方位マイクアレイ装置２Ｄは、筐体中心に所定の直径を有する開口部２１ａが形成されたドーナツ型形状又はリング型の形状の筐体２１Ｄを有する。筐体２１Ｄでは、複数のマイクロホンユニット２２が、筐体２１Ｄの円周方向において、一様な間隔毎に同心円状に配置されている。
【００３１】
図２（Ｅ）に示す全方位マイクアレイ装置２Ｅは、矩形状の筐体２１Ｅを有する。筐体２１Ｅには、複数のマイクロホンユニット２２が、筐体２１Ｅの外周方向に沿って一様な間隔毎に配置されている。図２（Ｅ）に示す全方位マイクアレイ装置２Ｅでは、筐体２１Ｅが矩形に形成されているので、例えばコーナー等の場所であっても全方位マイクアレイ装置２Ｅの設置を簡易化できる。
【００３２】
指向性制御装置３は、ネットワークＮＷに接続され、例えば監視システム制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末でも良い。
【００３３】
指向性制御装置３は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。信号処理部３３は、指向方向算出部３４ａと出力制御部３４ｃとを少なくとも含む構成である。なお、信号処理部３３の詳細な構成の一例については、例えば図４（Ｂ）を参照して後述し、図１に示す信号処理部３３の説明では指向方向算出部３４ａ及び出力制御部３４ｃについて説明する。
【００３４】
通信部３１は、ネットワークＮＷを介して、全方位マイクアレイ装置２から送信されたパケットＰＫＴ（例えば図８（Ｂ）参照）を受信して信号処理部３３に出力する。
【００３５】
操作部３２は、ユーザの操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
【００３６】
操作部３２は、ディスプレイ装置３６に表示された画像（即ち、カメラ装置Ｃ１１により撮像された画像。以下同様。）に対し、ユーザの操作によって指定された位置（即ち、スピーカ装置３７から出力される音声の音量レベルの増大又は低減を所望する位置）を示す座標データを取得して信号処理部３３に出力する。
【００３７】
信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。
【００３８】
指向方向算出部３４ａは、ディスプレイ装置３６に表示された画像からユーザの位置の指定操作に応じて、全方位マイクアレイ装置２から画像上の指定位置に対応する音声位置に向かう指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。指向方向算出部３４ａの具体的な算出方法は、上述したように公知技術であるため、詳細な説明を省略する。
【００３９】
指向方向算出部３４ａは、カメラ装置Ｃ１１の設置位置から、音声位置までの距離、方向のデータを用いて、全方位マイクアレイ装置２の設置位置から音声位置に向かう指向方向座標（θＭＡｈ，θＭＡｖ）を算出する。例えばカメラ装置Ｃ１１の筐体を囲むように全方位マイクアレイ装置２の筐体とカメラ装置Ｃ１１とが一体的に取り付けられている場合には、カメラ装置Ｃ１１から音声位置までの方向（水平角，垂直角）を、全方位マイクアレイ装置２から音声位置までの指向方向座標（θＭＡｈ，θＭＡｖ）として用いることができる。
【００４０】
なお、カメラ装置Ｃ１１の筐体と全方位マイクアレイ装置２の筐体とが別体として離れて取り付けられている場合には、指向方向算出部３４ａは、事前に算出されたキャリブレーションパラメータのデータと、カメラ装置Ｃ１１から音声位置までの方向（水平角，垂直角）のデータとを用いて、全方位マイクアレイ装置２から音声位置までの指向方向座標（θＭＡｈ，θＭＡｖ）を算出する。なお、キャリブレーションとは、指向性制御装置３の指向方向算出部３４ａが指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出するために必要となる所定のキャリブレーションパラメータを算出又は取得する動作であり、公知技術により予め行われているとする。
【００４１】
指向方向を示す座標（θＭＡｈ，θＭＡｖ）のうち、θＭＡｈは全方位マイクアレイ装置２から音声位置に向かう指向方向の水平角を表し、θＭＡｖは全方位マイクアレイ装置２から音声位置に向かう指向方向の垂直角を表す。なお、音声位置は、操作部３２がディスプレイ装置３６に表示された画像上においてユーザの指又はスタイラスペンによって指定された指定位置に対応する実際の監視対象又は収音対象となる現場の位置である。
【００４２】
出力制御部３４ｃは、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、例えばユーザの操作に応じて、カメラ装置Ｃ１１から送信された画像データをディスプレイ装置３６に表示させ、全方位マイクアレイ装置２から送信されたパケットＰＫＴに含まれる音声データをスピーカ装置３７から出力させる。
【００４３】
また、指向性形成部の一例としての出力制御部３４ｃは、全方位マイクアレイ装置２から、指向方向算出部３４ａにより算出された座標（θＭＡｈ，θＭＡｖ）が示す指向方向に、全方位マイクアレイ装置２により収音された音声データの指向性を形成する。但し、音声データの指向性の形成処理は、全方位マイクアレイ装置２により行われても良い。
【００４４】
表示部の一例としてのディスプレイ装置３６は、例えばユーザの操作に応じて、出力制御部３４ｃの制御の下で、例えばカメラ装置Ｃ１１から送信された画像データを画面に表示する。
【００４５】
音声出力部の一例としてのスピーカ装置３７は、全方位マイクアレイ装置２から送信されたパケットＰＫＴに含まれる音声データ、又は指向方向算出部３４ａが算出した指向方向（θＭＡｈ，θＭＡｖ）に指向性が形成された音声データを出力する。なお、ディスプレイ装置３６及びスピーカ装置３７は、指向性制御装置３とは別々の構成としても良い。
【００４６】
記憶部の一例としてのメモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のワークメモリとして機能し、更に、指向性制御装置３の各部の動作時に必要なデータを記憶する。
【００４７】
レコーダ装置４は、全方位マイクアレイ装置２から送信されたパケットＰＫＴに含まれる音声データと、例えばカメラ装置Ｃ１１から送信された画像データとを対応付けて記憶する。なお、図１に示す指向性制御システム１０には複数のカメラ装置が含まれても良いため（但し図１では単一のカメラ装置Ｃ１１のみ図示）、レコーダ装置４は、各カメラ装置から送信された画像データと、全方位マイクアレイ装置２から送信されたパケットＰＫＴに含まれる音声データとを対応付けて記憶しても良い。
【００４８】
計測装置５は、１つのマイクロホンユニット２２に内蔵される１つのマイク素子毎の位相特性（例えば位相ずれの周波数特性）を計測し、マイク素子毎の位相ずれの補正値を算出する。計測装置５の構成及び動作については、図５を参照して後述する。
【００４９】
図３は、全方位マイクアレイ装置２により収音された音声に対して所定の方向に指向性を形成する原理の一例の説明図である。図３では、例えば遅延和方式を用いた指向性形成処理の原理について簡単に説明する。音源８０から発した音波は、全方位マイクアレイ装置２のマイクロホンユニット２２，２３に内蔵される各マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎに対し、ある一定の角度（入射角＝（９０−θ）［度］）で入射する。図３に示す入射角θは、全方位マイクアレイ装置２から音声位置に向かう収音方向の水平角θＭＡｈでも垂直角θＭＡｖでも良い。
【００５０】
音源８０は、例えば全方位マイクアレイ装置２が収音する方向に存在するカメラ装置の被写体であり、全方位マイクアレイ装置２の筐体２１の面上に対し、所定角度θの方向に存在する。また、各マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ間の間隔ｄは一定とする。
【００５１】
音源８０から発した音波は、最初にマイク素子２２１に到達（伝播）して収音され、次にマイク素子２２２に到達して収音され、同様に次々に収音され、最後にマイク素子２２ｎに到達して収音される。
【００５２】
なお、全方位マイクアレイ装置２の各マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎの位置から音源８０に向かう方向は、全方位マイクアレイ装置２の各マイク素子から、ユーザがディスプレイ装置３６の画面上に指定した指定位置に対応する音声位置に向かう方向と同じである。
【００５３】
ここで、音波がマイク素子２２１，２２２，２２３，…，２２（ｎ−１）に到達した時刻から最後に収音されたマイク素子２２ｎに到達した時刻までには、到達時間差τ１，τ２，τ３，…，τｎ−１が生じる。このため、各々のマイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎが収音した音声データがそのまま加算された場合には、位相がずれたまま加算されるため、音波の音量レベルが全体的に弱め合う。
【００５４】
なお、τ１は音波がマイク素子２２１に到達した時刻と音波がマイク素子２２ｎに到達した時刻との差分の時間であり、τ２は音波がマイク素子２２２に到達した時刻と音波がマイク素子２２ｎに到達した時刻との差分の時間であり、同様に、τｎ−１は音波がマイク素子２２（ｎ−１）に到達した時刻と音波がマイク素子２２ｎに到達した時刻との差分の時間である。
【００５５】
本実施形態の指向性形成処理では、マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ毎に対応して設けられるＡ／Ｄ変換器２４１，２４２，２４３，…，２４（ｎ−１），２４ｎにおいて、アナログの音声信号がデジタルの音声信号に変換される。更に、デジタルの音声信号は、マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ毎に対応して設けられる遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎにおいて所定の遅延時間が加算される。各遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎの出力は加算器３９において加算される。
【００５６】
なお、全方位マイクアレイ装置２において指向性形成処理が行われる場合には、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎは全方位マイクアレイ装置２に設けられ、指向性制御装置３において指向性形成処理が行われる場合には、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎは指向性制御装置３に設けられる。
【００５７】
更に、図３に示す指向性形成処理では、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎは、各々のマイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎにおける到達時間差に対応する遅延時間を付与して全ての音波の位相を揃えた後、加算器３９において遅延処理後の音声データが加算される。これにより、全方位マイクアレイ装置２又は指向性制御装置３は、各マイク素子２２１，２２２，２２３,…，２２（ｎ−１）,２２ｎにより収音された音声に対し、角度θの方向に指向性を形成することができる。
【００５８】
例えば図３では、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎにおいて付与される各遅延時間Ｄ１，Ｄ２，Ｄ３，…，Ｄ（ｎ−１），Ｄｎは、それぞれ到達時間差τ１，τ２，τ３，…，τ（ｎ−１）に相当し、数式（１）により示される。
【００５９】
【数１】
0006471955.tif 000002
【００６０】
Ｌ１は、マイク素子２２１とマイク素子２２ｎとにおける音波到達距離の差である。Ｌ２は、マイク素子２２２とマイク素子２２ｎとにおける音波到達距離の差である。Ｌ３は、マイク素子２２３とマイク素子２２ｎとにおける音波到達距離の差であり、同様に、Ｌ（ｎ−１）は、マイク素子２２（ｎ−１）とマイク素子２２ｎとにおける音波到達距離の差である。Ｖｓは音波の音速である。この音速Ｖｓは全方位マイクアレイ装置２により算出されても良いし、指向性制御装置３により算出されても良い（後述参照）。Ｌ１,Ｌ２，Ｌ３，…，Ｌ（ｎ−１）は既知の値である。図３では、遅延器２５ｎに設定される遅延時間Ｄｎは０（ゼロ）である。
【００６１】
指向性形成処理では、各マイク素子により収音された音声の音声データに付与される遅延時間Ｄｉ（ｉ＝１〜ｎの整数、ｎは２以上の整数）は、数式（１）に示すように、音速Ｖｓに反比例する。
【００６２】
また、上記数式（１）では、各マイク素子の位相特性が全て揃っていることを前提としている。実際には、各マイク素子の位相特性が個々に異なっていることがあり、この場合には各マイク素子への音の到達時間（伝搬時間）が理論計算に従った結果と一致しないことになり、音声の指向性形成処理において形成される指向性の精度が劣化するので、各マイク素子毎に位相ずれを補正する必要がある。マイク素子毎の位相ずれの補正値Δｔｉは、後述するように、計測装置５によって算出される。
【００６３】
指向性制御装置３は、数式（２）に示すように、各マイク素子毎の位相ずれの補正値Δｔｉを、数式（１）で算出される遅延時間Ｄｉ（理論遅延時間Ｄｉという）に加えて、補正後の遅延時間Ｄｉ’を算出する。数式（２）において、ｉはマイク素子の番号を表す。
【００６４】
【数２】
0006471955.tif 000003
【００６５】
このように、全方位マイクアレイ装置２又は指向性制御装置３は、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎにおいて付与される遅延時間Ｄ１’，Ｄ２’，Ｄ３’，…，Ｄｎ−１’，Ｄｎ’を変更することで、マイクロホンユニット２２又はマイクロホンユニット２３に内蔵された各々のマイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎにより収音された音声の音声データの指向性を簡易かつ任意に形成することができる。なお、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎは、全方位マイクアレイ装置２又は指向性制御装置３のいずれに設けられても良いが、指向性形成処理を行う装置に設けられることが好ましい。
【００６６】
図４（Ａ）は、全方位マイクアレイ装置２の内部構成の一例を示すブロック図である。全方位マイクアレイ装置２は、複数（例えば８個）のマイクロホンユニット２２にそれぞれ内蔵されるマイク素子２２ｉ（ｉ＝１〜８）、各マイク素子２２ｉの出力信号を増幅する複数の増幅器（アンプ）２８ｉ、各増幅器２８ｉから出力されるアナログ信号をデジタル信号に変換する複数のＡ／Ｄ変換器２４ｉ、送受信部２６及び位相情報記憶部２７を有する。ここで、マイク素子２２ｉの添え字ｉは、マイク素子の番号であり、１〜ｎ（マイク素子数）である。増幅器２８ｉ及びＡ／Ｄ変換器２４ｉについても同様である。
【００６７】
送受信部２６は、指向性制御装置３に対し、データの送受信を行う。位相情報記憶部２７は、マイク素子毎の位相ずれの補正値（以下、「位相補正値」ともいう）Δｔｉを記憶する。ここで、位相補正値Δｔｉの添え字ｉは、上述したように、マイク素子２２ｉに対応する番号である。
【００６８】
全方位マイクアレイ装置２は、マイク素子２２ｉの出力信号（音声信号）を増幅器２８ｉで増幅し、Ａ／Ｄ変換器２４ｉでデジタルの音声信号に変換した後、位相情報記憶部２７に記憶されている位相補正値Δｔｉをデジタルの音声信号に付加して、音声データのパケットとしてネットワークＮＷに送信する。
【００６９】
図４（Ｂ）は、信号処理部３３の内部構成の一例を示すブロック図である。信号処理部３３は、音声信号処理部３４と、画像信号処理部３５とを有する。信号処理部３３は、通信部３１を介してネットワークＮＷからデータを受信する。
【００７０】
画像信号処理部３５は、通信部３１を介して受信したデータのうち画像信号を処理し、出力制御部３４ｃを介してディスプレイ装置３６に表示させる。この画像信号は、カメラ装置Ｃ１１で撮像された画像信号である。
【００７１】
音声信号処理部３４は、全方位マイクアレイ装置２で収音された音声を処理し、具体的には、分離部３４ｅ、遅延時間算出部３４ｆ及び指向性形成部３４ｇを有する。分離部３４ｅは、音声データから位相補正値を取り出し、音声信号を指向性形成部３４ｇに出力する。また、分離部３４ｅは、音声データから取り出された位相補正値を遅延時間算出部３４ｆに出力する。
【００７２】
遅延時間算出部３４ｆは、操作部３２から入力された指向方向θの値を基に、前述した数式（１）に従って、各マイク素子２２ｉの出力信号に与える理論遅延時間Ｄｉを算出し、更に、前述した数式（２）に従って、位相補正値Δｔｉで理論遅延時間Ｄｉの補正を行って遅延時間Ｄｉ’を算出し、指向性形成部３４ｇに出力する。
【００７３】
指向性形成部３４ｇは、遅延時間Ｄｉ’からビームフォーミング（言い換えると、指向性形成処理）を行い、所望の方向の音声を強調し、出力制御部３４ｃを介してスピーカ装置３７から出力させる。
【００７４】
図５は、マイク素子２２ｉの位相特性を測定する方法を説明する図である。指向性制御システム１０は、マイク素子２２ｉの位相特性の測定に用いられる計測装置５を備える。ここでは、全方位マイクアレイ装置２は、円盤状の筐体２１に円周上に配置された複数（ここでは８個）のマイク素子２２ｉを有する場合を示す。
【００７５】
計測装置５は、全方位マイクアレイ装置２の円盤状の筐体２１の同心円の中心軸上に位置するように配置されたスピーカ装置５１と、試験音源５３と位相算出部５５とを含む構成である。スピーカ装置５１は、全方位マイクアレイ装置２の円盤状の筐体２１の同心円上に配置された複数のマイク素子２２ｉに向けて、試験音源５３から出力される試験音を放射する。試験音として、例えばホワイトノイズ、ピンクノイズ等が用いられる。
【００７６】
複数のマイク素子２２ｉは、スピーカ装置５１から放射された試験音を収音する。各マイク素子２２ｉからの出力信号は、Ａ／Ｄ変換器２４ｉでアナログデジタル変換された後、送受信部２６を経由して、計測装置５内の位相算出部５５に送信される。位相算出部５５は、各マイク素子２２ｉの位相距離を算出する。
【００７７】
図６は、位相特性の一例を示すグラフである。図６に示すグラフでは、横軸は周波数（Ｈｚ）で示され、縦軸は所定の位相基準（位相距離の基準）からの位相差を周波数と音速とによって距離に換算された値（位相距離）で示される。
【００７８】
図６に示すように、マイク素子２２Ａの場合、所定の周波数範囲（人間の可聴域に対応する周波数帯域で、例えば５００Ｈｚ〜３ｋＨｚ）の範囲で約３〜４ｍｍ遅れていることがわかる。言い換えると、その分、所定の位相基準に対して位相がずれているために、時間遅れが生じていることになる。位相距離の基準（±０ｍｍ）は、スピーカの音響中心からの距離を基に算出されても良いし、各マイク素子の平均の距離を基準としても良い。また、スピーカ装置５１と各マイク素子２２ｉとの間の距離は一定であるので、スピーカ装置５１の性能が計測結果に影響を与えることは無い。
【００７９】
位相算出部５５は、各マイク素子２２ｉの位相特性（例えば位相ずれの周波数特性）を取得し、この位相特性を基に、例えば所定の周波数範囲（例えば５００Ｈｚ〜３ｋＨｚ）における位相ずれの平均値を用いて、マイク素子毎の位相ずれの補正値（位相補正値）を算出し、算出結果を全方位マイクアレイ装置２の送受信部２６に送信する。
【００８０】
また、計測装置５は、位相算出部５５からではなく、通信部（不図示）を設けることで、算出したマイク素子毎の位相補正値を通信部から全方位マイクアレイ装置２に送信しても良い。全方位マイクアレイ装置２は、送受信部２６を介して計測装置５から受信したマイク素子毎の位相補正値を位相情報記憶部２７に記憶する。
【００８１】
上述した構成を有する本実施形態の指向性制御システム１０の動作を説明する。
【００８２】
先ず、位相補正値の計測動作の手順について、図７を参照して説明する。図７は、位相補正値の計測動作の手順を説明するフローチャートである。
【００８３】
図７において、計測装置５のスピーカ装置５１は、試験音源５３から試験音を入力し、全方位マイクアレイ装置２に向けて放射する（Ｓ１）。全方位マイクアレイ装置２に含まれる複数のマイク素子２２ｉはスピーカ装置５１から放射された試験音を収音する（Ｓ２）。
【００８４】
位相算出部５５は、送受信部２６を介して複数のマイク素子２２ｉの出力信号を受信すると、各マイク素子２２ｉの位相特性（例えば位相ずれの周波数特性）を取得し、この位相特性を基に、例えば所定の周波数範囲（例えば５００Ｈｚ〜３ｋＨｚ）における位相ずれの平均値を用いて、マイク素子毎の位相ずれの補正値（位相補正値）を算出する（Ｓ３）。位相算出部５５が、算出した位相補正値を全方位マイクアレイ装置２に送信すると、全方位マイクアレイ装置２は、受信したマイク素子毎の位相補正値を位相情報記憶部２７に記憶する（Ｓ４）。これにより、図７に示すフローチャートの処理は終了する。
【００８５】
図８（Ａ）は、全方位マイクアレイ装置２における収音処理手順を説明するフローチャートである。図８（Ａ）において、全方位マイクアレイ装置２は、複数のマイク素子２２ｉで音声を収音し、増幅器２８ｉで収音した音声を増幅し、Ａ／Ｄ変換器２４ｉでデジタル信号の音声信号に変換した後、送受信部２６に出力する（Ｓ１１）。送受信部２６は、位相情報記憶部２７に記憶された位相補正値を読み込み（Ｓ１２）、音声信号と位相補正値を含む音声パケットＰＫＴを指向性制御装置３に送信する（Ｓ１３）。これにより、図８（Ａ）に示すフローチャートの処理は終了する。
【００８６】
図８（Ｂ）は、全方位マイクアレイ装置２から送信される音声パケットＰＫＴの構造を示す図である。音声パケットＰＫＴは、ヘッダＨＤと、音声データＶＤとを含む構成である。図８（Ｂ）に示すように、音声パケットＰＫＴのヘッダには、位相補正値が格納される。
【００８７】
図９は、指向性制御装置３における指向性形成動作手順を説明するフローチャートである。図９において、指向性制御装置３は、全方位マイクアレイ装置２に音声データの送信要求を送信する（Ｓ２１）、通信部３１は、全方位マイクアレイ装置２から送信される音声データ（音声パケット）を受信する（Ｓ２２）。
【００８８】
分離部３４ｅは、音声データから位相補正値Δｔｉを取り出す（Ｓ２３）。遅延時間算出部３４ｆは、操作部３２から指向方向算出部３４ａで算出された指向方向θを入力し、この指向方向θと位相補正値Δｔｉとから遅延時間Ｄｉ’を算出する（Ｓ２５）。
【００８９】
指向性形成部３４ｇは、音声信号と遅延時間Ｄｉ’とを入力し、音声信号の指向性を形成する（Ｓ２６）。出力制御部３４ｃは、指向性形成部３４ｇで指向性が形成された音声信号をスピーカ装置３７に出力する（Ｓ２７）。これにより、図９に示すフローチャートは終了する。
【００９０】
以上により、本実施形態の指向性制御システム１０では、指向性制御装置３内の信号処理部３３は、全方位マイクアレイ装置２内の位相情報記憶部２７に記憶されたマイク素子毎の位相ずれの補正値（位相補正値）Δｔｉを用いて、音源から各々のマイク素子２２ｉに伝播される音声の遅延時間Ｄｉ’を算出し、この算出されたマイク素子毎の遅延時間Ｄｉ’と全方位マイクアレイ装置２により収音された音声を用いて、音声の指向性を形成する。
【００９１】
これにより、指向性制御システム１０は、音声の指向性形成処理において、各マイク素子２２ｉ固有の位相特性に応じた位相補正により、マイク素子毎の位相ずれによる指向性性能の低下を抑制することができる。また、指向性制御システム１０は、計測装置５がマイク素子毎の位相ずれの補正値（位相補正値）を計測するので、正確な位相ずれの補正値をマイク素子毎に得られる。
【００９２】
また、指向性制御システム１０は、同心円の中心軸上に配置されたスピーカ装置５１から放射された所定の試験音を、同心円上に配置された複数のマイク素子２２ｉが収音することで得られるマイク素子２２ｉ毎の位相特性を計測し、この位相特性を基に、マイク素子毎の位相ずれの補正値を算出する。これにより、指向性制御システム１０は、各マイク素子２２ｉとスピーカ装置５１との間の距離が一定となり、マイク素子毎の位相特性の計測及び位相ずれの補正値の算出が容易になる。また、位相ずれの補正値の算出時における基準位相値は、スピーカ装置５１の中心からの距離を基に算出されても、各マイク素子からの距離の平均を基に算出されても良いので、スピーカ装置５１自身の性能がマイク素子毎の位相特性に応じた位相ずれの補正値に影響を与えることがない。
【００９３】
また、全方位マイクアレイ装置２のマイク素子２２ｉの配置が、例えば図２（Ｂ）や（Ｅ）のように、同心円上に無い場合でも、スピーカの音響中心からの距離が求められていれば、計測装置５は、各マイク素子２２ｉの位相特性を求めることが出来る。
【００９４】
なお、本実施形態では、位相補正値を音声パケットＰＫＴのヘッダＨＤに含めて音声信号とともに送信し、指向性制御装置３は、音声パケットＰＫＴを受信すると、分離部３４ｅで位相補正値と音声信号とを分離することで、位相補正値を取得したが、取得方法はこれに限られない。例えば、全方位マイクアレイ装置２は、音声パケットＰＫＴのヘッダＨＤに位相補正値のデータを格納する代わりに、例えば音声パケットＰＫＴのペイロード内に位相補正値のデータを格納しても良い。この場合、指向性制御装置３は、分離部３４ｅで位相補正値を分離しても良いし、分離しなくても良い。
【００９５】
（第２の実施形態）
第１の実施形態では、位相補正値を全ての音声パケットＰＫＴに含めて送信していたが、第２の実施形態では、位相補正値を、音声パケットＰＫＴに含めることなく、或いは全ての音声パケットＰＫＴに含めることなく送信する場合の例について説明する。ここでは、初期設定時、つまり、全方位マイクアレイ装置２に対して事前に行う接続確認や全方位マイクアレイ装置２の初期設定情報を取得する際に、初期設定情報に加えて位相補正値を計測装置５から取得し、位相情報記憶部に記憶する。なお、初期設定時に限らず、任意のタイミングで、指向性制御装置３は、位相補正値の取得を要求しても良い。
【００９６】
第２の実施形態の指向性制御システムは第１の実施形態の指向性制御システム１０とほぼ同一の構成を有するので、第１の実施形態の指向性制御システム１０と同一の構成要素については同一の符号を用いることで、その説明を省略する。
【００９７】
図１０は、第２の実施形態における信号処理部３３Ａの内部構成の一例を示す図である。信号処理部３３Ａは、第１の実施形態の信号処理部３３と比べ、音声信号処理部３４Ａにおいて、分離部３４ｅが省かれる以外に、位相情報記憶部３４ｄを新たに備える構成である。
【００９８】
位相情報記憶部３４ｄは、第１の実施形態において説明した全方位マイクアレイ装置２内の位相情報記憶部２７と同様であり、マイク素子毎の位相ずれの補正値（位相補正値）Δｔｉを記憶する。
【００９９】
通信部３１は、音声信号を受信すると、指向性形成部３４ｇに出力し、一方、位相補正値を受信すると、位相情報記憶部３４ｄに出力する。
【０１００】
図１１（Ａ）は、全方位マイクアレイ装置２が位相補正値を収集する動作手順を説明するフローチャートである。図１１（Ａ）において、全方位マイクアレイ装置２内の送受信部２６は、初期設定時、指向性制御装置３から位相補正値のデータ送信要求を受信する（Ｓ３１）。送受信部２６は、位相情報記憶部２７に記憶されている位相補正値を読み込み（Ｓ３２）、読み込んだ位相補正値を指向性制御装置３に送信する（Ｓ３３）。これにより、図１１（Ａ）に示すフローチャートの処理は終了する。
【０１０１】
図１１（Ｂ）は、指向性制御装置３が位相補正値を取得する動作手順を説明するフローチャートである。図１１（Ｂ）において、指向性制御装置３は、全方位マイクアレイ装置２の初期設定時、全方位マイクアレイ装置２に対し、位相補正値のデータ送信を要求する（Ｓ４１）。
【０１０２】
指向性制御装置３は、通信部３１を介して位相補正値のデータを受信すると（Ｓ４２）、位相情報記憶部３４ｄに記憶する（Ｓ４３）。これにより、図１１（Ｂ）に示すフローチャートの処理は終了する。
【０１０３】
ここでは、例えば全方位マイクアレイ装置２から送信されるマイク素子毎の位相補正値の順番は、予め決められており、指向性制御装置３は、位相情報記憶部３４ｄに割り当てられた記憶領域に、受信した位相補正値を順番に記憶する。これにより、指向性制御装置３は、位相補正値とマイク素子とが対応付けて簡易に記憶することができる。なお、指向性制御装置３は、位相補正値のデータを、位相情報記憶部３４ｄに記憶する代わりに、メモリ３８に記憶するようにしても良い。また、指向性制御装置３における指向性形成動作は、第１の実施形態と同様であるため、説明を省略する。
【０１０４】
以上により、本実施形態の指向性制御システム１０では、全方位マイクアレイ装置２は、音声データに位相補正値を付加することなく、位相補正値を指向性制御装置３に送信する。つまり、初期設定時、全方位マイクアレイ装置２は、指向性制御装置３からの要求に応じて、位相情報記憶部２７に記憶された位相補正値を指向性制御装置３に送信するので、音声データに位相補正値を付加して送らなくて済む。
【０１０５】
マイク素子毎の位相補正値は、通常、大きく変動するものではないので、初期設定時のみ、指向性制御装置に位相補正値を送るようにすることで、音声データに含めて毎回送信する場合と比べ、全方位マイクアレイ装置から指向性制御装置に送信されるデータの転送量を低減することができ、ネットワークのトラフィック量の低減を図ることができる。
【０１０６】
なお、指向性制御装置３は、初期設定時に位相補正値を読み込む代わりに、全方位マイクアレイ装置に対し、音声データの送信を要求する度に、ＲＴＳＰ（Real Time Streaming Protocol）等の呼制御を行い、この呼制御の過程で全方位マイクアレイ装置から送信される音声データのフォーマット情報を取得する場合、そのフォーマット情報に付加された位相補正値を取得し、位相情報記憶部３４ｄに記憶するようにしても良い。この場合も、全方位マイクアレイ装置２は、位相補正値のデータを送信するデータの転送量を削減することができる。
【０１０７】
（第２の実施形態の変形例）
第２の実施形態では、位相補正量とマイク素子との対応付けは、例えば送信される位相補正値の順番と割り当てられる記憶領域の順番とによって行われたが、第２の実施形態の変形例（以下、単に「変形例」という）では、指向性制御装置３は、ネットワークＮＷ上にある複数の全方位マイクアレイ装置２を制御する。
【０１０８】
図１２は、第２の実施形態の変形例の指向性制御システム１０Ａのシステム構成を示すブロック図である。図１２の説明では、図１に示す各部の構成と同一の内容は説明を簡略化又は省略し、異なる内容について説明する。図１２では、図１と異なり、全方位マイクアレイ装置が複数設けられており、予め各全方位マイクアレイ装置２＿１〜２＿ｎを識別するための識別情報（以下、「アレイＩＤ」という）が全方位マイクアレイ装置２＿１〜２＿ｎ毎に付与されており、複数の全方位マイクアレイ装置の各アレイＩＤと各位相補正値とを対応付けて記憶する場合の例を説明する。アレイＩＤ及び位相補正値は、各全方位マイクアレイ装置２＿１〜２＿ｎ内の位相情報記憶部に対応付けて記憶される。
【０１０９】
図１３（Ａ）は、変形例における全方位マイクアレイ装置２が位相補正値を収集する動作手順を説明するフローチャートである。図１３（Ａ）において、全方位マイクアレイ装置２内の送受信部２６は、初期設定時、指向性制御装置３から位相補正値及びアレイＩＤを含む初期データの送信要求を受信する（Ｓ３１Ａ）。送受信部２６は、位相情報記憶部２７に記憶されている位相補正値及びアレイＩＤを読み込み（Ｓ３２Ａ）、読み込んだ位相補正値及びアレイＩＤを含む初期データを指向性制御装置３に送信する（Ｓ３３Ａ）。これにより、図１３（Ａ）に示すフローチャートの処理は終了する。
【０１１０】
図１３（Ｂ）は、指向性制御装置３が位相補正値を取得する動作手順を説明するフローチャートである。図１３（Ｂ）において、指向性制御装置３は、全方位マイクアレイ装置２の初期設定時、設定を行いたい全方位マイクアレイ装置２に対し、位相補正値及びアレイＩＤを含む初期データの送信を要求する（Ｓ４１Ａ）。
【０１１１】
指向性制御装置３は、通信部３１を介して位相補正値及びマイクＩＤを含む初期データを受信すると（Ｓ４２Ａ）、アレイＩＤに対応付けて位相補正値を位相情報記憶部３４ｄに記憶する（Ｓ４３）。これにより、図１３（Ｂ）に示すフローチャートは終了する。
【０１１２】
なお、図１３（Ｂ）のステップＳ４１Ａで、特定の全方位マイクアレイ装置２だけに要求信号を送信しているが、全ての全方位マイクアレイ装置２に要求信号を送信して、指向性制御装置３で必要な情報のみピックアップしても良い。
【０１１３】
図１４は、指向性制御装置３における指向性形成動作手順を説明するフローチャートである。第１の実施形態と同一のステップ処理については同一のステップ番号を付すことにより、その説明を省略する。
【０１１４】
図１４において、ステップＳ２１で受信したい全方位マイクアレイ装置２或いはレコーダ装置４に音声データの送信要求を送信する。ステップＳ２２で、通信部３１は、全方位マイクアレイ装置２またはレコーダ装置４から送信される音声データ（音声パケット）を受信すると、通信部３１は、音声パケットに含まれるマイクＩＤを判別する（Ｓ２３Ａ）。マイクＩＤは、例えば音声パケットのヘッダに格納されている。
【０１１５】
遅延時間算出部３４ｆは、ステップＳ２３Ａで判別したマイクＩＤに対応する位相補正値Δｔｉを、位相情報記憶部３４ｄから読み込む（Ｓ２３Ｂ）。遅延時間算出部３４ｆは、ステップＳ２４で操作部３２から指向方向θを入力し、ステップＳ２５でこの入力した指向方向θ及び読み込んだ位相補正値Δｔｉを用いて遅延時間を算出する等、これ以降の処理は第１の実施形態の説明と同様であるため、説明を省略する。
【０１１６】
以上により、変形例の指向性制御システム１０では、全方位マイクアレイ装置２が複数あっても、アレイＩＤ（識別情報）毎に各マイク素子２２ｉの位相ずれの補正値とを指向性制御装置３に送信する。
【０１１７】
これにより、指向性制御システム１０は、複数有る全方位マイクアレイ装置２から、必要な全方位マイクアレイ装置２内の位相情報記憶部２７と、指向性制御装置３内の位相情報記憶部３４ｄに記憶されている全方位マイクアレイ装置のマイク素子２２ｉの位相補正値を対応付けることができ、全方位マイクアレイ装置に固有の識別情報（アレイＩＤ）とマイク素子の位相ずれの補正値とを１つのパケット内に格納した状態で全方位マイクアレイ装置２から送信することができる。従って、指向性制御システム１０は、全方位マイクアレイ装置２が複数有る場合でも、位相ずれの補正値とアレイＩＤとが常に１つのパケット内に格納された状態で送信されるので、音声の指向性形成処理において、選択された１つの全方位マイクアレイ装置に含まれるマイク素子毎の位相ずれの補正値を確実に参照することで、各マイク素子における位相ずれの補正において用いる位相ずれの補正値の使用間違えを防ぐことができる。
【０１１８】
最後に、本発明に係る指向性制御システム及び指向性制御方法の構成、作用、効果について説明する。
【０１１９】
本発明の一実施形態は、複数の収音素子を含む収音部と、各々の前記収音素子の位相ずれの補正値を、前記収音素子に対応付けて記憶する記憶部と、前記収音素子毎の位相ずれの補正値を用いて、音源から各々の前記収音素子に伝播される音声の遅延時間を前記収音素子毎に算出する遅延時間算出部と、前記遅延時間算出部により算出された前記収音素子毎の遅延時間と前記収音部により収音された音声とを用いて、前記音声の指向性を形成する指向性形成部と、を備える、指向性制御システムである。
【０１２０】
この構成によれば、指向性制御システムは、記憶された収音素子毎の位相ずれの補正値を用いて、音源から各々の収音素子に伝播される音声の遅延時間を収音素子毎に算出し、算出された収音素子毎の遅延時間と収音部により収音された音声とを用いて、音声の指向性を形成するので、音声の指向性形成処理において、収音部に含まれる各収音素子固有の位相ずれの特性を考慮した位相補正により、指向性性能の低下を抑制することができる。
【０１２１】
また、本発明の一実施形態は、前記収音素子毎の位相ずれの補正値を計測する計測部、を更に備える、指向性制御システムである。
【０１２２】
この構成によれば、指向性制御システムは、計測部によって収音素子毎の位相ずれの補正値が計測されるので、正確な位相ずれの補正値を収音素子毎に得られる。
【０１２３】
また、本発明の一実施形態は、前記計測部は、同心円上に配置された前記複数の収音素子に対し、前記同心円の中心軸上に配置され、所定の計測音を放射する発音部と、前記複数の収音素子により収音された前記所定の計測音を基に、各々の前記収音素子の位相特性を計測し、計測された前記位相特性を基に、前記収音素子毎の位相ずれの補正値を算出する補正値算出部と、を備える、指向性制御システムである。
【０１２４】
この構成によれば、指向性制御システムは、同心円の中心軸上に配置された発音部から放射された所定の試験音を、同心円上に配置された複数の収音素子が収音することで得られる収音素子毎の位相特性を計測し、この位相特性を基に、収音素子毎の位相ずれの補正値を算出するので、各収音素子と発音部（音源）との間の距離が一定となり、収音素子毎の位相特性の計測及び位相ずれの補正値の算出が容易になる。また、位相ずれの補正値の算出時における基準位相値は、発音部の中心からの距離を基に算出されても、各収音素子からの距離の平均を基に算出されても良いので、発音部自身の性能が収音素子毎の位相特性に応じた位相ずれの補正値に影響を与えることがない。
【０１２５】
また、本発明の一実施形態は、前記収音部は、前記記憶部を有し、前記遅延時間算出部及び前記指向性形成部を含む指向性制御装置からの要求に応じて、前記記憶部に記憶された前記収音素子毎の位相ずれの補正値を前記指向性制御装置に送信する、指向性制御システムである。
【０１２６】
この構成によれば、指向性制御システムは、指向性制御装置からの要求の度に、収音部の記憶部に記憶された収音素子毎の位相ずれの補正値を収音部から指向性制御装置に送信するので、音声データと位相ずれの補正値とを常に同時に送信することがなく、収音部から指向性制御装置に送信されるデータの転送量を減らすことができ、ネットワークのトラフィック量の低減を図ることができる。
【０１２７】
また、本発明の一実施形態は、前記収音部は、前記記憶部を有し、前記遅延時間算出部及び前記指向性形成部を含む指向性制御装置に対し、前記音声のデータに、前記記憶部に記憶された前記収音素子毎の位相ずれの補正値を付加して送信する、指向性制御システムである。
【０１２８】
この構成によれば、指向性制御システムは、収音された音声のデータに、収音部の記憶部に記憶された収音素子毎の位相ずれの補正値を付加して、収音部から指向性制御装置に送信するので、音声の指向性形成処理において、予め位相ずれの補正値を取得していなくても精度の高い指向性を得ることができる。
【０１２９】
また、本発明の一実施形態は、複数の前記収音部が設けられ、前記記憶部は、各々の前記収音部の識別情報と前記識別情報に対応する前記収音部に含まれる前記収音素子の位相ずれの補正値とを対応付けて記憶し、前記収音部は、前記収音部の識別情報と前記識別情報に対応する前記収音部に含まれる前記収音素子の位相ずれの補正値とを前記指向性制御装置に送信する、指向性制御システムである。
【０１３０】
この構成によれば、指向性制御システムは、収音部の識別情報（例えば複数の全方位マイクアレイ装置のうちいずれかの全方位マイクアレイ装置を識別するための固有のアレイＩＤ）とこの識別情報に対応する収音部に含まれる収音素子の位相ずれの補正値とを収音部から指向性制御装置に送信するので、各々の収音素子における位相ずれの補正値と収音部の識別情報とを対応付けて１つのパケット内に格納した状態で送信することができる。これにより、指向性制御システムは、複数の収音部を含む場合でも、各々の収音素子における位相ずれの補正値と収音部の識別情報とが常に１つのパケット内に格納された状態で送信されるので、音声の指向性形成処理において、選択された１つの収音部に含まれる収音素子毎の位相ずれの補正値を確実に参照することで、各収音素子における位相ずれの補正において用いる位相ずれの補正値の使用間違えを防ぐことができる。
【０１３１】
本発明の一実施形態は、複数の収音素子を含む収音部を備える指向性制御システムにおける指向性制御方法であって、各々の前記収音素子の位相ずれの補正値を、前記収音素子に対応付けて記憶部に記憶するステップと、
前記収音素子毎の位相ずれの補正値を用いて、音源から各々の前記収音素子に伝播される音声の遅延時間を前記収音素子毎に算出するステップと、
算出された前記収音素子毎の遅延時間と前記収音部により収音された音声とを用いて、前記音声の指向性を形成するステップと、を有する、指向性制御方法である。
【０１３２】
この方法によれば、指向性制御システムは、記憶された収音素子毎の位相ずれの補正値を用いて、音源から各々の収音素子に伝播される音声の遅延時間を収音素子毎に算出し、算出された収音素子毎の遅延時間と収音部により収音された音声とを用いて、音声の指向性を形成するので、音声の指向性形成処理において、収音部に含まれる各収音素子固有の位相ずれの特性を考慮した位相補正により、収音素子毎の位相ずれの増大を抑制することができる。
【０１３３】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【０１３４】
本発明は、音声の指向性形成処理において、複数のマイクロホン固有の位相ずれの特性を考慮した位相補正により、マイクロホン毎の位相ずれによる指向性性能の低下を抑制する監視システム及び監視システムにおける指向性制御方法として有用である。
【符号の説明】
【０１３５】
２  全方位マイクアレイ装置
３  指向性制御装置
４  レコーダ装置
５  計測装置
１０  指向性制御システム
２２、２３  マイクロホンユニット
２６  送受信器
２７、３４ｄ  位相情報記憶部
３１  通信部
３２  操作部
３３  信号処理部
３４ａ  指向方向算出部
３４ｃ  出力制御部
３４ｅ  分離部
３４ｆ  遅延時間算出部
３４ｇ  指向性形成部
３６  ディスプレイ装置
３７、５１  スピーカ装置
３８  メモリ
３９  加算器
５３  試験音源
５５  位相算出部
２２１、２２２、２２３、２２ｉ、２２ｎ  マイク素子
２４１、２４２、２４３、２４ｉ、２４ｎ  Ａ／Ｄ変換器
２８１、２８ｉ、２８ｎ  増幅器（アンプ）
Ｃ１１  カメラ装置
【図１】
0006471955.tif 000004
【図２】
0006471955.tif 000005
【図３】
0006471955.tif 000006
【図４】
0006471955.tif 000007
【図５】
0006471955.tif 000008
【図６】
0006471955.tif 000009
【図７】
0006471955.tif 000010
【図８】
0006471955.tif 000011
【図９】
0006471955.tif 000012
【図１０】
0006471955.tif 000013
【図１１】
0006471955.tif 000014
【図１２】
0006471955.tif 000015
【図１３】
0006471955.tif 000016
【図１４】
0006471955.tif 000017