(57)【要約】【課題】適応フィルタを用いて指向方向に指向性を形成した履歴のある場所やその近傍に向けて指向性を形成する際、フィルタ係数の収束時間を短縮して指向性の形成を素早く行うようにする。【解決手段】指向性形成部１１は、マイクアレイ装置ＭＡで収音された音声に対し、ユーザにより指定された指向方向に指向性を形成する。指向性形成部１１は、ユーザにより指定された位置の近傍に履歴ポイントＲＰがある場合、履歴テーブル４０に登録された、その履歴ポイントに相当する指向方向（θ，φ）及びフィルタ係数（ｗ１，…，ｗｑ）を読み込み、このフィルタ係数（ｗ１，…，ｗｑ）を適応フィルタＦ１〜Ｆｎ−１に設定することで、適応フィルタのフィルタ係数を学習しながら、指向性形成処理を行う。【選択図】図３
2016181770.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンを有し、指定された音声を収音する収音部と、
前記音声の強調方向を示す指向方向が指定される操作部と、
前記収音部で収音した音声データから、前記操作部により指定された指向方向の音声を、適応フィルタを用いて強調処理する強調処理部と、
前記適応フィルタのフィルタ係数を前記指向方向と対応付けて記憶する記憶部と、を備え、
前記強調処理部は、前記操作部により指定された指向方向を含む所定範囲内の方向に対応する、前記記憶部に記憶された前記フィルタ係数を用いて、前記音声データを強調処理する、
収音システム。
【請求項２】
請求項１に記載の収音システムであって、
前記収音部からの指向方向を示す音声マップを表示する表示部、を更に備え、
前記操作部は、前記音声マップに対して行われた前記指向方向の指定を受け付ける、
収音システム。
【請求項３】
請求項１に記載の収音システムであって、
撮像部と、
前記撮像部で撮像された画像を表示する表示部と、を更に備え、
前記操作部は、前記表示部に表示された前記画像上の位置が指示されることで、前記指向方向の指定を受け付ける、
収音システム。
【請求項４】
請求項３に記載の収音システムであって、
前記撮像部と前記収音部とが、同軸上に配置される、
収音システム。
【請求項５】
請求項３に記載の収音システムであって、
前記撮像部と前記収音部とが別々に配置され、
前記撮像部と前記収音部との位置関係に応じて、前記撮像部で撮像された画像上の位置から前記収音部で収音される音声の指向方向を算出する指向方向算出部、を更に備える、
収音システム。
【請求項６】
請求項３に記載の収音システムであって、
前記撮像部は複数設けられ、
複数の前記撮像部は、固定した位置の画像を撮像する固定カメラと、 パン方向及びチルト方向に撮像方向を変更可能な光軸移動カメラとを含む、
収音システム。
【請求項７】
請求項１に記載の収音システムであって、
前記記憶部は、前記フィルタ係数を学習した結果を履歴として記憶し、
前記強調処理部により強調処理が行われた場合、前記記憶部に前記履歴が記憶されている場合に、前記フィルタ係数を更新するフィルタ係数更新部、を更に備える、
収音システム。
【請求項８】
請求項７に記載の収音システムであって、
前記フィルタ係数更新部は、前記強調処理部により強調処理が行われた場合、前記記憶部に前記履歴が記憶されていない場合に、前記フィルタ係数を前記履歴として追加する、
収音システム。
【請求項９】
請求項３に記載の収音システムであって、
前記操作部は、前記撮像部で撮像された画像に含まれる人物の指定を受け付け、
前記強調処理部は、指定された前記人物の位置に向かう指向方向を含む所定範囲内の方向に対応する、前記記憶部に記憶された前記フィルタ係数を用いて、前記音声データを強調処理する、
収音システム。
【請求項１０】
請求項９に記載の収音システムであって、
前記強調処理部は、前記適応フィルタを学習しながら強調処理する際、前記人物が発話している時には前記適応フィルタの学習を停止し、前記人物が発話していない時には前記適応フィルタの学習を行う、
収音システム。
【請求項１１】
請求項９に記載の収音システムであって、
前記強調処理部は、前記人物が発話を停止して前記適応フィルタの学習を開始する時、直前に学習した前記適応フィルタのフィルタ係数又は前記記憶部に記憶されたフィルタ係数を選択し、選択された前記フィルタ係数を用いて強調処理を行う、
収音システム。
【請求項１２】
請求項１１に記載の収音システムであって、
前記強調処理部は、前記直前に学習した前記適応フィルタのフィルタ係数を優先して用いる、
収音システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を収音する収音システムに関する。
【背景技術】
【０００２】
従来、店舗（例えば小売店、銀行）や商店街、公共の場（例えば駅、図書館）の所定位置（例えば天井や壁）に設置される監視システムでは、ネットワークを介して複数のカメラ装置を接続することで、監視対象の所定範囲の映像データ（静止画像及び動画像を含む。以下同様）を一箇所に設置された監視装置で監視することが行われている。
【０００３】
しかし、映像だけの監視では、得られる情報量にどうしても限界があるので、音声による監視を行うために、音声データを得る監視システムの要請が高まっている。
【０００４】
この要請に対し、一部のカメラ装置には、マイクロホンが装着され、映像データに音声データを乗せてネットワークに送信するものがある。しかし、ここで使用されるマイクロホンには、無指向性のものが多く、たとえ単一指向性のマイクロホンであってもその指向特性は広角である。従って、聞きたい音が騒音にかき消されて聞こえないことが多い。
【０００５】
マイクアレイでは、目的方向に指向性を向けるビーム形成の方法として、遅延和方式と呼ばれる、各マイクロホンへの音の到達時間の差を利用した古典的な方法がある。しかし、この方法では、特性が安定しているという利点があるが、十分な性能を得るには、多くのマイクロホンが必要となり、システム全体の規模が大きくなるといった問題がある。これに対し、例えばGriffith−Jim型アレーに代表されるような適応型アレーは、少ないマイクロホンを用いて、大きな抑圧性能を実現できる利点があるが、フィルタの特性を周囲の音声や雑音に基づき適応的に更新するので、想定された環境からのずれにより性能の劣化が起き、最適なフィルタ特性を学習によって更新しなければならず、抑圧性能が上がるまで時間がかかる等の問題がある。
【０００６】
これに対し、特定位置でのフィルタ係数を事前に求めておき、収音方向が特定位置の場合、事前に求めていたフィルタ係数を使用してビームを形成し、それ以外の場所では適応的にフィルタ係数を更新するという、適応と固定の２つのモードを切り替える技術が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００３−５１４４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の構成では、特定位置の騒音環境が変化するような場合、例えば人の往来の変化や店内内装変更等、事前に求めたフィルタ係数でビーム形成を行っても、最良の結果が出ることは保障されなかった。また、適応モードが働いた場合、抑圧性能が上がるまで時間がかかることに対し、なんら解決されていなかった。
【０００９】
本発明は、上述した従来の状況に鑑みてなされたものであり、適応フィルタを用いて指向方向に指向性を形成した履歴のある場所やその近傍に向けて指向性を形成する際、フィルタ係数の収束時間を短縮して指向性の形成を素早く行う収音システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、複数のマイクロホンを有し、指定された音声を収音する収音部と、前記音声の強調方向を示す指向方向が指定される操作部と、前記収音部で収音した音声データから、前記操作部により指定された指向方向の音声を、適応フィルタを用いて強調処理する強調処理部と、前記適応フィルタのフィルタ係数を前記指向方向と対応付けて記憶する記憶部と、を備え、前記強調処理部は、前記操作部により指定された指向方向を含む所定範囲内の方向に対応する、前記記憶部に記憶された前記フィルタ係数を用いて、前記音声データを強調処理する、収音システムである。
【発明の効果】
【００１１】
本発明によれば、適応フィルタを用いて指向方向に指向性を形成した履歴のある場所やその近傍に向けて指向性を形成する際、フィルタ係数の収束時間を短縮して指向性の形成を素早く行うことができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態における収音システムの構成を示すブロック図
【図２】音声処理装置の構成を示すブロック図
【図３】マイクアレイ装置及び指向性形成部の構成を示す図
【図４】適応フィルタの構成を示す図
【図５】フィルタ係数保持部に記憶された履歴テーブルの登録内容を示す図
【図６】音声マップが表示されたディスプレイの画面を示す図
【図７】収音処理手順を示すフローチャート
【図８】ユーザにより指定された指向方向を含む音声マップが表示されたディスプレイの画面を示す図
【図９】ユーザにより指定された位置（指向方向）に最も近い履歴ポイントの指向方向及びフィルタ係数が選択された履歴テーブルの登録内容を示す図
【図１０】履歴テーブルの自動更新手順を示すフローチャート
【図１１】第２の実施形態における収音システムの構成を示すブロック図
【図１２】音声処理部の構成を示す図
【図１３】同軸上に設置されるカメラ装置とマイクアレイ装置との組み合わせを説明する図
【図１４】収音システムの使用形態の一例を示す模式図
【図１５】収音処理手順を示すフローチャート
【図１６】ディスプレイの画面に表示された全方位画像を示す図
【図１７】第２の実施形態の変形例における収音システムの使用形態の一例を示す模式図
【図１８】ディスプレイに表示された画像の中で人物が指定された場合の収音システムの動作概要の説明図
【図１９】収音処理手順を示すフローチャート
【図２０】第３の実施形態における収音システムの構成を示すブロック図
【図２１】プリセットテーブルの登録内容を示す図
【図２２】収音処理手順を示すフローチャート
【図２３】図２２に続く収音処理手順を示すフローチャート
【図２４】ステップＳ４５におけるテーブル更新処理手順を示すフローチャート
【図２５】ディスプレイの画面及びスピーカの発音動作を示す図
【図２６】目標人物を追跡する際における発音と適応フィルタの学習との関係を説明する図
【図２７】映像処理部による追跡処理手順を示すフローチャート
【図２８】音声処理部による指向性形成処理手順を示すフローチャート
【図２９】適応フィルタの学習処理手順を示すフローチャート
【図３０】図２９に続く適応フィルタの学習処理手順を示すフローチャート
【図３１】全方位画像上における目標人物の学習動作を説明する図
【発明を実施するための形態】
【００１３】
以下、本発明に係る収音システムの各実施形態について、図面を参照して説明する。本実施形態の収音システムは、適応型アレー（適応型マイクアレイ）を用い、強調処理の一例として周囲の雑音環境に応じた指向特性を自動的に形成する場合を示す。適応型マイクアレイは少ないマイクロホンを用いて大きな抑圧性能を実現する。
【００１４】
（第１の実施形態）
図１は、第１の実施形態における収音システム５の構成を示すブロック図である。収音システム５は、例えば店舗に設置され、マイクアレイ装置ＭＡと音声処理装置１０とがネットワーク８を介して接続された構成を有する。
【００１５】
収音部の一例としてのマイクアレイ装置ＭＡは、適応型マイクアレイとして、店舗の天井に設置され、複数個（ここでは、８個）のマイクロホンＭ１〜Ｍｎ（図３参照）が同心円状に下方に向けて配置され、店舗内の音声を収音可能な全方位マイクである。マイクアレイ装置ＭＡは、各々のマイクロホンＭ１〜Ｍｎを用いて、対象エリア周囲の音声を収音し、各々のマイクロホンＭ１〜Ｍｎにより収音された音声のデータ（音声データ）を、ネットワーク８を介して音声処理装置１０に送信する。なお、各マイクロホンＭ１〜Ｍｎは、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン又はこれらの組み合わせでも良い。
【００１６】
図２は、音声処理装置１０の構成を示すブロック図である。音声処理装置１０は、ユーザにより指定された指向方向に指向性を形成し、マイクアレイ装置ＭＡで収音された音声を出力する。音声処理装置１０は、通信部１５、指向方向算出部１２、指向性形成部１１、フィルタ係数保持部１４、履歴検出・更新部１３、入出力制御部１６、操作部１７、ディスプレイ１８及び音声出力部１９を有する。
【００１７】
通信部１５は、ネットワーク８を介してマイクアレイ装置ＭＡから送信された音声データのパケットを受信して指向性形成部１１に出力する。
【００１８】
指向方向算出部１２は、操作部１７から入力された音声マップ（図６参照）に入力された位置を基に、マイクアレイ装置ＭＡからの音源方向を算出する。本実施形態では、音源方向は、マイクアレイ装置ＭＡを中心とする、水平角θ及び垂直角φで表される。水平角θはマイクアレイ装置ＭＡの中心を原点とする水平面（Ｘ−Ｙ面）内の角度であり、垂直角φはマイクアレイ装置ＭＡの中心を通るＺ軸からの傾きである。例えば、音源がマイクアレイ装置ＭＡの近くにある場合、音源はＺ軸の近傍になるため、垂直角φは小さな値として検出される。
【００１９】
強調処理部の一例としての指向性形成部１１は、マイクアレイ装置ＭＡから直接転送された音声データを用いて、音声データの指向性制御処理によって各々のマイクロホンＭ１〜Ｍｎにより収音された各音声データを加算し、マイクアレイ装置ＭＡの各マイクロホンＭ１〜Ｍｎの位置から特定方向への音声（音量レベル）を強調（増幅）するために、特定方向への指向性を形成した音声データを生成する。特定方向（強調方向）とは、マイクアレイ装置ＭＡから操作部１７で指定された位置に向かう方向である。なお、マイクアレイ装置ＭＡによって収音される音声の指向性を形成するための音声データの指向性制御処理に関する技術は、例えば特開２０１４−１４３６７８号公報に示されるように、遅延和を用いる方法は公知の技術である。
【００２０】
更に、指向性形成部１１は、加算器ＡＤ１で形成された遅延和信号から、適応フィルタＦ１〜Ｆｎ−１（図３、図４参照）で形成された周囲雑音を減算することによって、より目的音を強調することが出来る。
【００２１】
フィルタ係数更新部の一例としての履歴検出・更新部１３は、指向性形成部１１で指向性が形成された場合、その指向方向と後述する適応フィルタＦ１〜Ｆｎ−１（図３、図４参照）で用いられるフィルタ係数ｗ１〜ｗｑとを、フィルタ係数保持部１４に記憶された履歴テーブル４０（図５参照）に登録（更新、追加）する。また、履歴検出・更新部１３は、操作部１７及び指向方向算出部１２を介してユーザにより指向方向が指定された場合、その指向方向（水平角θ、垂直角φ）とフィルタ係数ｗ１〜ｗｑとの対応情報が履歴テーブル４０に登録されているか否かを検出する。
【００２２】
記憶部の一例としてのフィルタ係数保持部１４は、指向方向（水平角θ，垂直角Φ）に対応するフィルタ係数ｗ１〜ｗｑの履歴が登録された履歴テーブル４０を記憶する。
【００２３】
入出力制御部１６は、操作部１７、ディスプレイ１８及び音声出力部１９に対し、各種データの入出力を制御する。
【００２４】
なお、指向性形成部１１、指向方向算出部１２、履歴検出・更新部１３、フィルタ係数保持部１４及び入出力制御部１６は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いた、ＰＣ（Personal Computer）で構成される。このＰＣは、各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を実行する。
【００２５】
操作部１７は、例えばディスプレイ１８の画面に対応して配置され、ユーザの指又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成される。操作部１７は、ユーザの操作に応じて、音声データの音量レベルを強調（増幅）する指定箇所（座標）のデータを指向性形成部１１に出力する。なお、操作部１７は、マウスやキーボード等のポインティングデバイスを用いて構成されても良い。
【００２６】
表示部の一例としてのディスプレイ１８は、マイクアレイ装置ＭＡから音源に向かう指向方向（水平角θ，垂直角φ）が音源マークで表された音声マップ（図６参照）等を表示する。音声出力部１９は、マイクアレイ装置ＭＡによって収音され、ネットワーク８を介して転送された音声データ、もしくはその音声データを基に指向性形成部１１によって特定方向への強調処理が行われた音声データに基づく音声を出力する。
【００２７】
図３は、マイクアレイ装置ＭＡ及び指向性形成部１１の構成を示す図である。マイクアレイ装置ＭＡは、ｎ個のマイクロホンＭ１〜Ｍｎ、ｎ個のアンプＰ１〜Ｐｎ、ｎ個のＡＤコンバータＬ１〜Ｌｎ、符号化部３１及び通信部３２を有する。
【００２８】
マイクロホンＭ１〜Ｍｎは、全方位マイクを構成する、例えばＥＣＭ（高音質小型エレクトレットコンデンサマイクロホン）であり、マイクアレイ装置ＭＡの筐体の前面に配置される。ｎ個のアンプＰ１〜Ｐｎは、それぞれｎ個のマイクロホンＭ１〜Ｍｎから出力される音声信号を増幅する。ｎ個のＡＤコンバータＬ１〜Ｌｎは、それぞれｎ個のアンプＰ１〜Ｐｎから出力されるアナログ音声信号をデジタル音声データに変換する。
【００２９】
符号化部３１は、Ａ／ＤコンバータＬ１〜Ｌｎから出力されるデジタル音声信号に対し、音声データのパケットを生成する。通信部３２は、符号化部３１で生成された音声データのパケットを、ネットワーク８を介して音声処理装置１０に送信する。
【００３０】
指向性形成部１１は、適応型マイクアレイの主要部として、音声信号に遅延を付加した後に減算して（遅延差）、雑音方向に死角（感度が低い）を形成し、また、周囲の雑音環境に応じた指向特性を自動的に形成する。指向性形成部１１は、ｎ個の遅延器（ディレイ）Ｄ１〜Ｄｎ、ｎ−１個の減算器ＨＡ１〜ＨＡｎ−１，ＨＢ１〜ＨＢｎ−１、加算器ＡＤ１，ＡＤ２及びｎ−１個の適応フィルタＦ１〜Ｆｎ−１を有する。
【００３１】
適応型マイクアレイ（例えばGriffith-Jim形の適応マイクロホンアレー）の原理は、次の通りである。適応型マイクアレイは、目的信号の到来方向とマイクロホンの配置とから、目的信号が各マイクロホンで受音される時の時間差を計算する。適応型マイクアレイは、各マイクロホンの受信信号に、この時間差に相当する遅延量を付加することで、目的音は同相化する。同相化した、隣り合う目的信号の差を取ると、目的音は打ち消し合い、雑音のみ含んだ信号（雑音信号）が得られる。適応型マイクアレイは、各雑音信号を適応フィルタに通した後、第１マイクロホンの遅延出力から減算することで、周囲雑音を抑圧した目的音を得ることができる。
【００３２】
遅延器Ｄ１〜Ｄｎは、それぞれｎ個のマイクロホンＭ１〜Ｍｎから出力され、ｎ個のアンプＰ２〜Ｐｎで増幅された音声信号を、ユーザが指定し指向方向算出部１２で算出された方向に対応する遅延時間だけ遅延させる。ｎ−１個の減算器ＨＡ１〜ＨＡｎ−１は、各マイクロホンの差信号（チャンネル間差分信号）を出力する。加算器ＡＤ１は、遅延器Ｄ１〜Ｄｎで遅延された各マイクロホンからの音声信号を加算し、遅延和された音声信号を得る。
【００３３】
ｎ−１個の適応フィルタＦ１〜Ｆｎ−１は、それぞれｎ−１個の減算器ＨＡ１〜ＨＡｎ−１から出力されるチャネル間差分信号を入力しノイズ成分を出力する。ｎ−１個の減算器ＨＢ１〜ＨＢｎ−１は、それぞれ加算器ＡＤ１で遅延和された音声信号から各適応フィルタＦ１〜Ｆｎ−１で出力されるノイズ成分を減算する。加算器ＡＤ２は、加算器ＡＤ１で遅延和された音声信号からｎ−１個の減算器ＨＢ１〜ＨＢｎ−１でそれぞれノイズ成分が減算された各信号を加算し、音声信号として出力する。
【００３４】
音声出力部１９は、増幅器１９Ａ及びスピーカ１９Ｂを有し、指向性形成部１１から出力される音声信号を増幅器１９Ａで増幅し、スピーカ１９Ｂから音声として出力する。
【００３５】
図４は、適応フィルタＦ１〜Ｆｎ−１の構成を示す図である。適応フィルタＦ１〜Ｆｎ−１は同一のフィルタ係数ｗ１〜ｗｑを有するので、ここでは、適応フィルタＦ１についてだけ説明する。
【００３６】
適応フィルタＦ１は、例えばＦＩＲ(Finite Impulse Response)型のフィルタであり、ｑ個の遅延器ＤＦ１〜ＤＦｑ、ｑ個の可変増幅器ＰＦ１〜ＰＦｑ、ｑ個の加算器ＡＦ１〜ＡＦｑ、減算器ＨＦ１及び適応アルゴリズムＡＲＧを有する。
【００３７】
この適応フィルタＦ１では、ｑ個の遅延器ＤＦ１〜ＤＦｑは、直列に接続され、入力信号ｘ（ｋ）を順次遅延させる。ここで、入力信号ｘ（ｋ）は、前述したチャンネル（マイク素子）間差分信号であり、目的（雑音）方向に死角（感度が低い）を持つ音声データである。ｑ個の可変増幅器ＰＦ１〜ＰＦｑは、それぞれ遅延器ＤＦ１〜ＤＦｑの信号を、フィルタ係数ｗ１〜ｗｑに応じたゲインで増幅する。ｑ個の可変増幅器ＰＦ１〜ＰＦｑから出力される信号は、ｑ個の加算器ＡＦ１〜ＡＦｑで順次加算され、出力信号ｙ（ｋ）として出力される。出力信号ｙ（ｋ）はチャンネル間のノイズ成分である。減算器ＨＦ１は、出力信号ｙ（ｋ）と参照信号（理想信号）との差分を適応アルゴリズムＡＲＧに出力する。ここで、適応アルゴリズムＡＲＧは、最小二乗法等の公知の方法を用いて、出力信号ｙ（ｋ）と参照信号との差分が最小になるようにフィルタ係数ｗ１〜ｗｑを更新する。
【００３８】
図５は、フィルタ係数保持部１４に記憶された履歴テーブル４０の登録内容を示す図である。この履歴テーブル４０には、指向性形成部１１で指向性が形成された場合、その指向方向と適応フィルタＦ１〜Ｆｎ−１で用いられるフィルタ係数ｗ１〜ｗｑとが対応付けて登録されている。例えば、ｎ番目の履歴データとして、指向方向を表す水平角θｎ，垂直角φｎと、フィルタ係数（ｗｎ１，…，ｗｎｑ）とが対応付けて登録される。
【００３９】
図６は、音声マップ５０が表示されたディスプレイ１８の画面を示す図である。音声マップ５０は、マイクアレイ装置ＭＡの位置を中心点Ｏとする、３つの同心円５０ｈ、５０ｉ、５０ｊ及びこれらの中心角を１２等分する半径となる線分５０ｍで描画される。３つの同心円のうち、最も内側の同心円５０ｈは垂直角φ＝３０°に相当し、中間の同心円５０ｉは垂直角φ＝６０°に相当し、最も外側の同心円５０ｊは垂直角φ＝９０°に相当する。
【００４０】
音声マップ５０には、履歴テーブル４０に登録された履歴ポイントＲＰ１〜ＲＰ６が表示される。履歴ポイントＲＰ１〜ＲＰ６を特に区別する必要がない場合、単に履歴ポイントＲＰと総称する。履歴ポイントＲＰ１が内側にある程、マイクアレイ装置ＭＡの位置に近くになる。また、中心点Ｏから右側の水平方向に延びる線分５０ｍは、中心角が０°であり、水平角θ＝０°に相当する。１２等分された線分５０ｍは、中心角０°から３０°刻みで水平角０°〜３６０°を表す。例えば、音声マップ５０上の座標（θ，φ）として、座標（１５０°，６５°）に履歴ポイントＲＰ３が描かれている。なお、ここでは、ディスプレイ１８の画面には、音声マップ５０と重なるように履歴ポイントＲＰが表示されているが、表示されなくてもよい。
【００４１】
上記構成を有する収音システム５の動作を示す。
【００４２】
図７は、収音処理手順を示すフローチャートである。まず、音声処理装置１０内の指向方向算出部１２は、操作部１７を介して、ユーザにより指定された音声マップ５０上の位置（指向方向）を受け付け、指定された位置を算出する（Ｓ１）。図８は、ユーザにより指定された指向方向を含む音声マップ５０が表示されたディスプレイ１８の画面を示す図である。ユーザが操作部１７であるマウスを使って、音声マップ５０上でカーソル１７ｚを移動させ、音声を聞きたい場所をクリックすると、ディスプレイ１８は、音声マップ５０上に指定された位置（指向方向）ＴＰを黒丸で表示する。
【００４３】
履歴検出・更新部１３は、指定された位置と履歴ポイントとの間の距離を算出するとともに、フィルタ係数保持部１４に記憶された履歴テーブル４０に登録された履歴ポイントＲＰを検索し（Ｓ２）、指定された位置から音声マップ５０上の所定距離内（所定範囲内の方向）に履歴ポイントＲＰがあるか否かを判別する（Ｓ３）。履歴ポイントＲＰが無い場合、履歴検出・更新部１３は、フィルタ係数をデフォルト値に設定する（Ｓ５）。
【００４４】
一方、履歴ポイントＲＰがある場合、履歴検出・更新部１３は、フィルタ係数保持部１４に記憶された履歴テーブル４０に登録された、その履歴ポイントに相当する指向方向（θ、φ）及びフィルタ係数（ｗ１，…，ｗｑ）を読み込む（Ｓ４）。ここでは、指定された位置ＴＰは、履歴ポイントＲＰ２に最も近いことが分かる。図９はユーザにより指定された位置（指向方向）に最も近い履歴ポイントの指向方向及びフィルタ係数が選択された履歴テーブル４０の登録内容を示す図である。ここでは、履歴テーブル４０のうち、太枠４０ｚで囲まれた、履歴ポイントＲＰ２の指向方向（θ２，φ２）及びフィルタ係数（ｗ２１，…，ｗ２ｑ）が選択される。
【００４５】
指向性形成部１１は、このフィルタ係数（ｗ１，…，ｗｑ）を適応フィルタＦ１〜Ｆｎ−１に設定し、履歴ポイントＲＰを開始点として適応フィルタＦ１〜Ｆｎ−１を学習しながら、指向性形成処理を行う（Ｓ６）。
【００４６】
一方、指定された位置から音声マップ５０上の所定距離内に履歴ポイントＲＰが無い場合、指向性形成部１１は、前述したように、予め決められたデフォルトのフィルタ係数（ｗ１，…，ｗｑ）を適応フィルタＦ１〜Ｆｎ−１に設定し、ステップＳ６で初期位置を開始点として適応フィルタＦ１〜Ｆｎ−１を学習しながら、指向性形成処理を行う。
【００４７】
音声出力部１９は、指向性形成部１１によって指向性形成処理が行われると、指向性が形成された指向方向の音声データに基づく音声を出力する（Ｓ７）。
【００４８】
履歴検出・更新部１３は、ステップＳ３で行われた履歴ポイントＲＰの有無を判断する（Ｓ８）。履歴ポイントＲＰがあった場合、履歴検出・更新部１３は、履歴テーブル４０を更新する（Ｓ９）。この履歴テーブル４０の更新では、履歴ポイントに対応する指向方向（θ，φ）を変更することなく、フィルタ係数（ｗ１，…，ｗｑ）だけが上書きされる。或いは、指向方向（θ，φ）とフィルタ係数（ｗ１，…，ｗｑ）の両方が上書きされる。なお、履歴テーブル４０を更新することなく、そのままとしてもよい。一方、ステップＳ８で履歴ポイントＲＰが無かった場合、履歴検出・更新部１３は、指向性形成部１１で形成された新たな指向方向（θ，φ）とフィルタ係数（ｗ１，…，ｗｑ）を履歴テーブル４０に追加する（Ｓ１０）。そして、ステップＳ９又はステップＳ１０の処理後、音声処理装置１０の動作はステップＳ１の処理に戻る。
【００４９】
図１０は、履歴テーブル４０の自動更新手順を示すフローチャートである。この自動更新処理は、音声処理装置１０によって一定時間毎に（周期的に）行われ、履歴テーブル４０に登録されたフィルタ係数（ｗ１，…，ｗｑ）を自動的に更新する処理である。なお、自動更新処理は、音声処理装置１０が指向性形成処理等を行っていない時、つまり、音声処理装置１０を実現するＣＰＵ等の負荷が比較的軽い時に行われてもよい。また、店舗においては、営業中の繁忙時間帯と、そうでない時間帯や閉店後では、周囲の騒音環境が大きく異なるので、最適なフィルタ係数は時間帯に応じて最適なものに更新しておくことが望ましい。また、店舗等で用いられる履歴テーブルには、時間帯毎にフィルタ係数が登録されてもよく、例えば、忙しい時間帯、暇な時間帯、閉店後に分けて登録されてもよい。
【００５０】
まず、履歴検出・更新部１３は、履歴テーブル４０に登録された履歴ポイントの順番を表す変数ｉを値０に初期化する（Ｓ２１）。続いて、履歴検出・更新部１３は、変数ｉに値１を加算し（Ｓ２２）、履歴テーブル４０から変数ｉに相当するレコードの指向方向及びフィルタ係数を読み込む（Ｓ２３）。
【００５１】
指向性形成部１１は、履歴検出・更新部１３によって読み込まれたフィルタ係数を適応フィルタＦ１〜Ｆｎ−１に設定し、学習を行う（Ｓ２４）。適応フィルタＦ１〜Ｆｎ−１の学習では、指向性形成部１１は、マイクアレイ装置ＭＡで収音された音声データを用い、前述したようにフィルタ係数ｗ１〜ｗｑを算出する。
【００５２】
履歴検出・更新部１３は、学習の結果得られたフィルタ係数ｗ１〜ｗｑを用い、履歴テーブル４０を更新する（Ｓ２５）。この後、履歴検出・更新部１３は、変数ｉが履歴テーブル４０に登録された履歴ポイントＲＰの登録数ｎに達したか否かを判別する（Ｓ２６）。履歴ポイントＲＰの登録数ｎに達していない場合、履歴検出・更新部１３は、ステップＳ２２に戻り、同様の処理を行う。一方、履歴ポイントＲＰの登録数ｎに達した場合、履歴検出・更新部１３は本動作を終了する。
【００５３】
この収音システム５では、指向性形成部１１は、マイクアレイ装置ＭＡで収音された音声に対し、ユーザにより指定された指向方向に指向性を形成する。指向性形成部１１は、ユーザにより指定された位置の近傍に履歴ポイントＲＰがある場合、履歴テーブル４０に登録された、その履歴ポイントに相当する指向方向（θ、φ）及びフィルタ係数（ｗ１，…，ｗｑ）を読み込み、このフィルタ係数（ｗ１，…，ｗｑ）を適応フィルタＦ１〜Ｆｎ−１に設定することで、適応フィルタのフィルタ係数を学習しながら、指向性形成処理を行う。従って、フィルタ係数が適正な値に収束するまでの時間が短縮する。
【００５４】
以上により、第１の実施形態の収音システム５は、適応フィルタを用いて指向方向に指向性を形成した履歴のある場所やその近傍に向けて指向性を形成する際、フィルタ係数の収束時間を短縮して指向性の形成を素早く行うことができる。
【００５５】
また、本実施形態の収音システム５は、音声マップ５０上で聞きたい位置（指向方向）を指定することができ、カメラ装置を用いなくても済む。従って、システム構成を簡単になる。また、音声マップ５０上に履歴ポイントＲＰを表示しておくことで、学習した履歴ポイントの位置を把握できる。
【００５６】
なお、本実施形態では、音源方向をユーザが指定しているが、マイクアレイ装置ＭＡで収音された音声に対し、いずれの方向に音源があるか推定して音源方法を決めても良い。また、指向性形成部１１の構成も、音声信号の遅延和と適応フィルタとを組み合わせているが、この構成に限られるものではなく、適応フィルタ自体の構成もGriffith-Jim形の限られるものではない。
【００５７】
（第２の実施形態）
第１の実施形態では、マイクアレイ装置を単独で使用する場合を示したが、第２の実施形態では、カメラ装置とマイクアレイ装置を組み合わせて使用する場合を示す。
【００５８】
図１１は、第２の実施形態における収音システム５Ａの構成を示すブロック図である。第２の実施形態に収音システムにおいて、第１の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。
【００５９】
収音システム５Ａは、店舗等に設置され、監視用のカメラ装置ＣＡと、マイクアレイ装置ＭＡと、レコーダ装置７と、監視装置６とがネットワーク８を介して相互に接続された構成を有する。カメラ装置ＣＡとマイクアレイ装置ＭＡは、後述するように同軸上に設置される（図１３参照）。マイクアレイ装置ＭＡは第１の実施形態と同一の構成を有する。
【００６０】
撮像部の一例としてのカメラ装置ＣＡは、筐体ＣＡｚの前面に魚眼レンズＣＡｙが装着された全方位カメラであり（図１３参照）、下方に向けて全方位画像（静止画及び動画を含む。以下同様）を撮像する。なお、カメラ装置ＣＡは、全方位カメラに限らず、画角が固定された固定カメラであってもよく、固定カメラの場合、カメラ装置ＣＡは予め登録された場所（プリセット位置）の映像を撮像する。カメラ装置ＣＡは、撮像した映像のデータ（映像データ）を、ネットワーク８を介して監視装置６に転送し、また、レコーダ装置７に記録させる。
【００６１】
レコーダ装置７は、データの記録等の各処理を制御するための制御部（図示せず）と、映像データ及び音声データを格納するための記録部（図示せず）とを含む構成である。レコーダ装置７は、カメラ装置ＣＡにより撮像された映像データと、マイクアレイ装置ＭＡにより収音された音声データとを対応付けて記録する。
【００６２】
監視装置６は、ＰＣ（Personal Computer）で構成され、カメラ装置ＣＡで撮像される映像、及びマイクアレイ装置ＭＡで収音される音声を監視するものであり、第１の実施形態で示した、通信部１５、入出力制御部１６、操作部１７、ディスプレイ１８及び音声出力部１９の他、音声処理部２１及び映像処理部２２を有する。
【００６３】
映像処理部２２は、音声処理部２１と連動せず、ユーザからの操作指示に従い、カメラ装置ＣＡで撮像された映像データに基づく画像をディスプレイ１８に表示する制御を行う。音声処理部２１は、ユーザにより指定された指向方向に指向性を形成し、マイクアレイ装置ＭＡで収音された音声を出力する。図１２は、音声処理部２１の構成を示す図である。音声処理部２１は、第１の実施形態で示した、指向性形成部１１、履歴検出・更新部１３及びフィルタ係数保持部１４の他、指向方向算出部１２Ａを有する。
【００６４】
指向方向算出部１２Ａは、ディスプレイ１８に表示された、カメラ装置ＣＡで撮像された画像に対しユーザが音声を聞きたい位置を指定すると、マイクアレイ装置ＭＡで収音された音声に対し指向方向を算出する。ここでは、マイクアレイ装置ＭＡとカメラ装置ＣＡとが同軸上に配置されているので、これらの座標系が略一致する。従って、カメラ装置ＣＡで撮像された画像が表示されたディスプレイ１８の画面上でユーザが聞きたい位置を指定すると、指向方向算出部１２Ａは、その位置に対応する指向方向（音源方向）を算出する。指向方向は、前述したように、マイクアレイ装置ＭＡを中心とする、水平角θ及び垂直角φで表される。
【００６５】
指向性形成部１１は、マイクアレイ装置ＭＡから直接転送された、或いはレコーダ装置７に記録された音声データを用いて、音声データの指向性制御処理によって各々のマイクロホンＭ１〜Ｍｎにより収音された各音声データを加算し、マイクアレイ装置ＭＡの各マイクロホンＭ１〜Ｍｎの位置から特定方向への音声（音量レベル）を強調（増幅）するために、特定方向への指向性を形成するとともに、目的方向以外の雑音を適応フィルタによって減算した音声データを生成する。なお、履歴検出・更新部１３及びフィルタ係数保持部１４は、第１の実施形態と同様であるので、その説明を省略する。
【００６６】
ディスプレイ１８は、カメラ装置ＣＡによって撮像され、ネットワーク８を介して転送された、或いはレコーダ装置７に記録された映像データに基づく映像（画像）を表示する（図１６参照）。音声出力部１９は、マイクアレイ装置ＭＡによって収音され、ネットワーク８を介して転送された、或いはレコーダ装置７に記録された音声データ、もしくはその音声データを基に指向性形成部１１によって特定方向への強調処理を行った音声データに基づく音声を出力する。
【００６７】
図１３は、同軸上に設置されるカメラ装置ＣＡとマイクアレイ装置ＭＡとの組み合わせを説明する図である。カメラ装置ＣＡは、円盤状の筐体ＣＡｚを有し、この筐体ＣＡｚの前面に魚眼レンズＣＡｙを搭載した全方位カメラである。マイクアレイ装置ＭＡは、複数のマイクロホンＭ１〜Ｍｎ（図３参照）が同心円状に配置されたリング型の筐体ＭＡｚを有する全方位マイクアレイである。収音システム５Ａは、マイクアレイ装置ＭＡの筐体ＭＡｚに形成された開口部ＭＡｒの内側にカメラ装置ＣＡの筐体ＣＡｚを収容した状態、つまりカメラ装置ＣＡとマイクアレイ装置ＭＡとが合体した状態で、天井ＲＦ（図１４参照）に設置される。
【００６８】
上記構成を有する収音システム５Ａの動作を示す。
【００６９】
図１４は、収音システム５Ａの使用形態の一例を示す模式図である。例えば店舗の天井ＲＦに、カメラ装置ＣＡとマイクアレイ装置ＭＡとが合体した状態で設置されている。また、カメラ装置ＣＡ及びマイクアレイ装置ＭＡが設置された天井ＲＦのほぼ真下に位置する床面ＦＬＲには、スピーカ８７が置かれている。また、床面ＦＬＲには、４人の人物５５，５６，５７，５８が立っており、人物５５と人物５６とが会話しており、また、人物５７と人物５８とが会話している。これら２組の間にスピーカ８７が位置し、スピーカ８７から音楽が流れている。カメラ装置ＣＡは、４人の人物５５，５６，５７，５８を少し離れた上の位置からを撮像している。また、マイクアレイ装置ＭＡは、店舗内全体の音声を収音している。
【００７０】
図１５は、収音処理手順を示すフローチャートである。第１の実施形態の図７のフローチャートで示されたステップ処理と同一のステップ処理については、同一のステップ番号を付すことで、その説明を省略する。図１６は、ディスプレイ１８の画面に表示された全方位画像６０を示す図である。前述したように、カメラ装置ＣＡとマイクアレイ装置ＭＡとが同軸上に設置され、収音位置と撮像位置とは略一致するので、カメラ装置ＣＡで撮像された全方位画像６０で指定される位置は、マイクアレイ装置ＭＡで収音される音声の指向方向に相当する。まず、ユーザが操作部１７であるマウスを操作しディスプレイ１８の画面に表示されたカーソル１７ｚを移動させ、音声を聞きたい場所でクリックして指定する。ここでは、人物５５の位置がカーソル１７ｚで指定される。
【００７１】
指向方向算出部１２Ａは、操作部１７を介してユーザにより指定された全方位画像６０上の位置を受け付ける（Ｓ１Ａ）。指向方向算出部１２Ａは、指定された画像位置を元に音声の指向方向を取得する（Ｓ１Ｂ）。
【００７２】
音声の指向方向を取得した後、音声処理部２１の処理は、第１の実施形態におけるステップＳ２以降の処理と同じである。即ち、ステップＳ２で、履歴検出・更新部１３は、指定された位置と履歴ポイントとの間の距離を算出するとともに、フィルタ係数保持部１４に記憶された履歴テーブル４０に登録された履歴ポイントＲＰを検索し、ステップＳ３で指定された位置から音声マップ５０上の所定距離内に履歴ポイントＲＰがあるか否かを判別する処理等が行われる。そして、ステップＳ９又はＳ１０の処理後、音声処理部２１はステップＳ１Ａの処理に戻る。
【００７３】
以上により、第２の実施形態の収音システム５Ａは、カメラ装置ＣＡが撮像した全方位画像をディスプレイ１８の画面に表示するとともに、ユーザにより指定された指向方向の音声をスピーカ１９Ｂから出力する。従って、画像と音声の両方で監視することが可能となる。さらに、ユーザがディスプレイ１８の画面に表示された全方位画像６０を見ながら聞きたい場所（指向方向）を画像上で直接に指定できる。画像を確認しながら、音声を聞きたい場所を指定できるので、利便性や操作性が向上する。
【００７４】
また、レコーダ装置７に音声データ及び映像データを記録しておくことで、リアルタイム再生に限らず、事後にオフラインで再生することが可能となる。また、ディスプレイ１８に表示された画像上で、ユーザは音声の指向方向を指定できる。
【００７５】
また、マイクアレイ装置ＭＡとカメラ装置ＣＡとが同軸上に配置されているので、これらの座標系が略一致する。従って、カメラ装置ＣＡで撮像された画像上の位置を、そのままマイクアレイ装置ＭＡの指向方向とすることができ、画像上の位置を指向方向に変換するためのキャリブレーションを行わなくても、簡単に指向方向が求まる。
【００７６】
また、フィルタ係数保持部１４に記憶された履歴テーブル４０に、指向性形成部によって指向性が形成された際のフィルタ係数が履歴として登録されるので、フィルタ係数保持部１４にフィルタ係数が記憶されている場合、フィルタ係数を更新することで、常に最新のフィルタ係数を保持できる。一方、フィルタ係数保持部１４にフィルタ係数が記憶されていない場合、新たにフィルタ係数を追加することで、登録されているフィルタ係数の数を増やすことができ、これにより、多くの指向性形成処理において登録されたフィルタ係数が使用される機会が増加し、フィルタ係数の収束時間の短縮に繋がる。
【００７７】
（第２の実施形態の変形例）
第２の実施形態の変形例では、カメラ装置として、パン方向及びチルト方向に撮像方向を可変自在（変更可能）であり、また、ズーム操作で画角や倍率を調節可能で光軸を移動可能な光軸移動カメラの一例としてのＰＴＺカメラが用いられる場合を示す。また、ＰＴＺカメラが設置される位置は、マイクアレイ装置から離れた位置である。従って、ＰＴＺカメラの座標系とマイクアレイ装置の座標系との関係（位置関係）について、予めキャリブレーション（較正）を行うことで、ＰＴＺカメラで撮像された画像上で指定された位置からマイクアレイ装置からその位置に向かう指向方向を算出できるようにしておく必要がある。このキャリブレーションは、例えば国際公開第２０１４／１２５８３５号に記載されているように、公知の技術である。このキャリブレーションを行うことで、ＰＴＺカメラの向きを変えても、撮像方向の情報は、常にＰＴＺカメラから得られるので、マイクアレイ装置の指向方向は算出可能となる。
【００７８】
図１７は、第２の実施形態の変形例における収音システム５Ａ１の使用形態の一例を示す模式図である。例えば店舗の天井ＲＦに、１台のＰＴＺカメラＣＢと、１台のマイクアレイ装置ＭＡとが設置され、店舗の床面ＦＬＲにはスピーカ８７が置かれている。
【００７９】
床面ＦＬＲにいる２人の人物５３，５４が立ったまま会話をしている。２人の人物５３，５４から少し離れた位置に置かれたスピーカ８７から音楽が流れている。また、ＰＴＺカメラＣＢは、人物５３，５４を含む監視対象の地点（場所）を撮像している。更に、マイクアレイ装置ＭＡは、店舗全体の音声を収音している。ディスプレイ１８の画面には、ＰＴＺカメラＣＢが撮像した画像が表示される。また、スピーカ１９Ｂからは、２人の人物５３，５４の会話又は店舗内の音楽が出力される。
【００８０】
図１８は、ディスプレイ１８に表示された画像の中で人物５３が指定された場合の収音システム５Ａ１の動作概要の説明図である。ユーザは、例えばディスプレイ１８の画面に表示された人物５３の頭上付近をカーソル１７ｚでクリックすることで、聞きたい場所を指定する。
【００８１】
音声処理部２１は、マイクアレイ装置ＭＡによって収音された音声データを用いて、ユーザが指定した位置に向かう指向方向の音声（音量レベル）を強調（増幅）した音声データを生成する。また、音声処理部２１は、ＰＴＺカメラＣＢが撮像した画像と同期させてスピーカ１９Ｂから音声を出力させる。この結果、ユーザによって指定された位置における音声が強調され、スピーカ１９Ｂから人物５３の発音（例えば図１８に示す「Ｈｅｌｌｏ」参照）が大きな音量によって音声出力される。一方、人物５３，５４に比べ、マイクアレイ装置ＭＡに近い距離に載置されているが、ユーザによって指定された位置にないスピーカ８７から流れている音楽（図１８に示す「♪〜」参照）は、強調して音声出力されず、人物５３の発音と比べて小さな音量で出力される。
【００８２】
図１９は、収音処理手順を示すフローチャートである。第２の実施形態の図１５のフローチャートに示すステップ処理と同一のステップ処理については同一のステップ番号を付すことで、その説明を省略する。
【００８３】
始めに、音声処理部２１内の指向方向算出部１２Ａは、ＰＴＺカメラＣＢの座標系とマイクアレイ装置ＭＡの座標系との関係を求める、キャリブレーション（較正）を行う（Ｓ１Ｚ）。この後、ステップＳ１Ａ〜Ｓ７までの処理は、第２の実施形態と同じである。
【００８４】
ユーザが操作部１７であるマウスを操作しディスプレイ１８の画面に表示されたカーソル１７ｚを移動させ、音声を聞きたい場所でクリックして指定する。指向方向算出部１２Ａは、ステップＳ１Ａで、操作部１７を介してユーザにより指定された画像上の位置を受け付ける。指向方向算出部１２Ａは、ステップＳ１Ｂで、指定された画像位置を元に音声の指向方向を取得する。
【００８５】
そして、音声出力部１９は、ステップＳ７で、指向性形成部１１によって指向性形成処理が行われると、指向性が形成された指向方向の音声データに基づく音声を出力する。この後、履歴検出・更新部１３は、ステップＳ３における履歴の有無に拘わらず、ステップＳ９で履歴テーブル４０を更新する。そして、音声処理部２１は、ステップＳ９の処理後、ステップＳ１Ａの処理に戻る。
【００８６】
以上により、第２の実施形態の変形例では、ＰＴＺカメラが設置される位置は、マイクアレイ装置から離れた位置であっても、予めＰＴＺカメラの座標系とマイクアレイ装置の座標系との関係を、予めキャリブレーション（較正）を行うことで、ＰＴＺカメラで撮像された画像上で指定された位置にマイクアレイ装置から向かう方向である指向方向を算出できる。これにより、ＰＴＺカメラの設置場所に拘束されることなく、マイクアレイ装置を任意の位置に設置できる。或いは、マイクアレイ装置の設置場所に拘束されることなく、ＰＴＺカメラを任意の位置に設置できる。
【００８７】
（第３の実施形態）
第２の実施形態では、カメラ装置が１台である場合を示したが、第３の実施形態では、複数台のカメラ装置が用いられる場合を示す。
【００８８】
図２０は、第３の実施形態における収音システム５Ｂの構成を示すブロック図である。第３の実施形態の収音システムにおいて、第１、第２の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。
【００８９】
収音システム５Ｂは、店舗等に設置され、監視用の複数台のカメラ装置ＣＣ１〜ＣＣｎと、マイクアレイ装置ＭＡと、レコーダ装置７と、監視装置６Ａとがネットワーク８を介して相互に接続された構成を有する。
【００９０】
複数台のカメラ装置ＣＣ１〜ＣＣｎとして、ここでは、ＰＴＺカメラ及び固定カメラが用いられる。また、ＰＴＡＺカメラは、予め登録された場所（プリセット位置）を撮像するように、設定されたＰＴＺ情報を有する。なお、固定カメラは、カメラプリセット値（ＰＴＺ情報）を持つ必要が無い。複数台のカメラ装置ＣＣ１〜ＣＣｎは、それぞれ撮像した画像データを、ネットワーク８を介して監視装置６Ａに転送し、また、レコーダ装置７に記録させる。なお、ここでは、複数台のカメラ装置がＰＴＺカメラ或いは固定カメラである場合を示したが、全方位カメラを含んでもよい。また、複数台のカメラ装置ＣＣ１〜ＣＣｎを特に区別する必要が無い場合、単にカメラ装置ＣＣと称する。
【００９１】
監視装置６Ａは、第２の実施形態で示した構成の他、プリセットテーブルメモリ２３及び履歴データテーブルメモリ２４を有する。プリセットテーブルメモリ２３には、プリセットテーブル４５が記憶されている。履歴データテーブルメモリ２４には、第１の実施形態で示した履歴テーブル４０が記憶されている。
【００９２】
図２１は、プリセットテーブル４５の登録内容を示す図である。プリセットテーブル４５には、場所、マイクプリセット値、カメラＩＰアドレス及びカメラプリセット値が登録される。マイクプリセット値として、指向方向及びフィルタ係数が場所毎に登録される。フィルタ係数は、指向方向に音声の指向性を形成する際に学習制御を行うことで決まる。カメラプリセット値は、パン角度、チルト角度及びズーム倍率である。
【００９３】
例えば、場所がレジＲ１である場合、指向方向：（θ１，φ１）、フィルタ係数：（ｗ１１，…，ｗ１ｑ）、カメラＩＰアドレス：「165.254.10.11」、パン角度：「Null」、チルト角度：「Null」及びバーム倍率：「Null」が登録されている。ここでは、パン角度、チルト角度及びバーム倍率が全て「Null」である、つまりＰＴＺ情報を有していないので、レジＲ１を撮像するカメラ装置は固定カメラである。また、場所が雑誌棚Ｔ１である場合、指向方向：（θ３，φ３）、フィルタ係数：（ｗ３１，…，ｗ３ｑ）、カメラＩＰアドレス：「165.254.10.13」、パン角度：「30°」、チルト角度：「45°」及びズーム倍率：「×３」が登録されている。雑誌棚Ｔ１を撮像するカメラ装置はＰＴＺカメラである。また、このＰＴＺカメラに対しては、雑誌棚Ｔ２を撮像するためのカメラプリセット値（ＰＴＺ情報）、つまりパン角度：「-15°」、チルト角度：「30°」及びバーム倍率：「×５」も登録されている。ＰＴＺカメラは、プリセット値に対応する撮像方向の画像を撮像する。ＰＴＺカメラを用いることで、監視対象となる撮像エリアを容易に変えることができる。
【００９４】
上記構成を有する収音システム５Ｂの動作を示す。
【００９５】
図２２及び図２３は、収音処理手順を示すフローチャートである。第２の実施形態の図１５のフローチャートに示すステップ処理と同一のステップ処理については同一のステップ番号を付すことで、その説明を省略する。
【００９６】
始めに、音声処理部２１内の指向方向算出部１２Ａは、ＰＴＺカメラの座標系とマイクアレイ装置ＭＡの座標系との関係を求める、キャリブレーション（較正）を行う（Ｓ３１）。このキャリブレーションは、前述したように公知の技術である。また、音声処理部２１内の指向性形成部１１は、プリセットテーブル４５に登録された指向方向を取得し、この指向方向に音声の指向性を形成することで、フィルタ係数を算出するプリセット処理を行う（Ｓ３２）。
【００９７】
監視装置６Ａは、操作部１７を介してユーザにより選択されたカメラ装置ＣＣを受け付ける（Ｓ３３）。監視装置６Ａは、ユーザにより選択されたカメラ装置ＣＣが固定カメラであるか否かを判別する（Ｓ３４）。固定カメラである場合、指向性形成部１１は、プリセットテーブル４５に登録されたプリセット情報を読み込む（Ｓ３５）。このプリセット情報には、固定カメラが撮像する位置に対応する指向方向及びフィルタ係数が含まれる。
【００９８】
一方、ステップＳ３４でＰＴＺカメラである場合、指向方向算出部１２Ａは、カメラ装置ＣＣから撮像方向情報を読み込む（Ｓ３６）。この撮像方向情報は、パン角度、チルト角度及びズーム倍率を含む。指向方向算出部１２Ａは、この撮像方向情報と、プリセットテーブル４５に登録されたカメラプリセット値とが一致しているか否か、つまり、カメラ装置ＣＣがプリセット位置に向いているか否かを判別する（Ｓ３７）。カメラ装置ＣＣがプリセット位置に向いている場合、指向性形成部１１は、ステップＳ３５で、プリセットテーブル４５に登録されたプリセット情報（指向方向及びフィルタ係数を含む）を読み込む。
【００９９】
一方、ステップＳ３７でカメラ装置ＣＣがプリセット位置に向いていない場合、指向方向算出部１２Ａは、キャリブレーションを使用し、マイクアレイ装置ＭＡで収音された音声に対し、いずれの方向に音源があるかを推定する（Ｓ３８）。この後、ステップＳ３９〜Ｓ４４の処理は、第１の実施形態の図７に示すステップＳ２〜Ｓ７の処理と同様である。即ち、履歴検出・更新部１３は、指定された位置と履歴ポイントとの間の距離を算出するとともに、フィルタ係数保持部１４に記憶された履歴テーブル４０に登録された履歴ポイントＲＰを検索し（Ｓ３９）、指定された位置から音声マップ５０上の所定距離内に履歴ポイントＲＰがあるか否かを判別する（Ｓ４０）。
【０１００】
履歴ポイントＲＰがある場合、履歴検出・更新部１３は、フィルタ係数保持部１４に記憶された履歴テーブル４０に登録された、その履歴ポイントに相当する指向方向（θ、φ）及びフィルタ係数（ｗ１，…，ｗｑ）を読み込む（Ｓ４１）。指向性形成部１１は、このフィルタ係数（ｗ１，…，ｗｑ）を適応フィルタＦ１〜Ｆｎ−１に設定し、履歴ポイントＲＰを開始点として適応フィルタＦ１〜Ｆｎ−１を学習しながら、指向性形成処理を行う（Ｓ４３）。
【０１０１】
一方、指定された位置から音声マップ５０上の所定距離内に履歴ポイントＲＰが無い場合、指向性形成部１１は、予め決められたデフォルトのフィルタ係数（ｗ１，…，ｗｑ）を適応フィルタＦ１〜Ｆｎ−１に設定し、ステップＳ４３で初期位置を開始点として適応フィルタＦ１〜Ｆｎ−１を学習しながら、指向性形成処理を行う。音声出力部１９は、指向性形成部１１によって指向性形成処理が行われると、指向性が形成された指向方向の音声データに基づく音声を出力する（Ｓ４４）。
【０１０２】
履歴検出・更新部１３は、履歴テーブル４０及びプリセットテーブル４５を更新するテーブル更新処理を行う（Ｓ４５）。この後、監視装置６Ａの動作は、ステップＳ３３の処理に戻る。
【０１０３】
図２４は、ステップＳ４５におけるテーブル更新処理手順を示すフローチャートである。まず、監視装置６Ａは、操作部１７を介してユーザにより選択されたカメラ装置ＣＣが固定カメラであるか否かを判別する（Ｓ５１）。固定カメラである場合、履歴検出・更新部１３は、プリセットテーブル４５に登録されているプリセット情報を更新する（Ｓ５２）。ここでは、プリセット情報（マイクプリセット値）のうちフィルタ係数だけが更新される。この後、監視装置６Ａは元の処理に復帰する。
【０１０４】
一方、ステップＳ５１で、選択されているカメラ装置ＣＣが固定カメラでない場合、つまりＰＴＺカメラである場合、指向方向算出部１２Ａは、カメラ装置ＣＣから撮像方向情報を読み込む（Ｓ５３）。この撮像方向情報は、パン角度、チルト角度及びズーム倍率を含む。指向方向算出部１２Ａは、この撮像方向情報と、プリセットテーブル４５に登録されたカメラプリセット値とが一致しているか否か、つまり、カメラ装置ＣＣがプリセット位置に向いているか否かを判別する（Ｓ５４）。カメラ装置ＣＣがプリセット位置に向いている場合、履歴検出・更新部１３は、ステップＳ５２で、プリセットテーブル４５に登録されているプリセット情報を更新する。ここでは、プリセット情報（マイクプリセット値）のうちフィルタ係数だけが更新される。
【０１０５】
一方、ステップＳ５４でカメラ装置ＣＣがプリセット位置に向いていない場合、プリセットボタン７６（図２５参照）が押下され、プリセット設定が指示されたか否かを判別する（Ｓ５５）。プリセット設定が指示された場合、履歴検出・更新部１３は、プリセットテーブル４５にプリセット情報を追加する（Ｓ５６）。この後、監視装置６Ａは元の処理に復帰する。また、ステップＳ５５で、プリセット設定が指示されていない場合、履歴検出・更新部１３は、マイクアレイ装置ＭＡから撮像方向に向かう指向方向が履歴ポイントＲＰの近傍にあるか否かを判別する（Ｓ５７）。
【０１０６】
指向方向が履歴ポイントＲＰの近傍にある場合、履歴検出・更新部１３は、履歴テーブル４０に登録されているフィルタ係数を更新する（Ｓ５８）。一方、指向方向が履歴ポイントＲＰの近傍に無い場合、履歴検出・更新部１３は、履歴テーブル４０に新たな履歴ポイント（指向方向及びフィルタ係数）を追加する（Ｓ５９）。ステップＳ５８又はＳ５９の処理後、監視装置６Ａは元の処理に復帰する。
【０１０７】
図２５は、ディスプレイ１８の画面及びスピーカ１９Ｂの発音動作を示す図である。ディスプレイ１８の画面の左側には、各種の項目のプルダウンメニュー７０が表示される。ここでは、機器ツリーのプルダウンメニューが展開され、カメラ装置ＣＣ２が選択された状態にある。ディスプレイ１８の画面の略中央の上部には、選択されたカメラ装置ＣＣ２で撮像された映像が表示されるモニタ画面７２が配置される。ディスプレイ１８の画面の略中央の下部には、操作パネル７３が配置される。操作パネル７３には、映像の明るさを調節する輝度ボタン７５、カメラ装置ＣＣ１〜ＣＣｎで撮像される映像のフォーカスを調節するフォーカスボタン７８、カメラ装置ＣＣ１〜ＣＣｎのいずれかを選択する選択ボタン７４、ズーミング操作を行うズームボタン７７、及び新たにプリセット位置を追加する場合に押下されるプリセットボタン７６が設けられている。音声処理部２１は、選択されたマイクアレイ装置ＭＡで指向性が形成された音声データを基に、スピーカ１９Ｂから「いらっしゃいませ」の音声を出力している。
【０１０８】
以上により、第３の実施形態における収音システム５Ｂでは、固定カメラ及びＰＴＺカメラを含む複数台のカメラ装置で撮像される場所に対応するマイクプリセット値（フィルタ係数を含む）を数多く登録しておくことができる。また、登録された多くのフィルタ係数の中から選択されたフィルタ係数を用いて、ユーザにより指定された指向方向に指向性を形成するので、フィルタ係数の収束時間を短縮して指向性の形成を素早く行うことができる。また、強調処理（指向性処理）を行った結果を用いて、プリセットテーブル及び履歴テーブルの両方を更新することで、最適なフィルタ係数を得ることができるとともに、プリセットテーブル及び履歴テーブルの両方を用いることで、登録されたマイクプリセット値及び履歴ポイントを含む所定範囲に所望の指向方向が含まれる確率が高くなる。従って、指向性の形成を素早く行うことができる。
【０１０９】
（第４の実施形態）
第１、第２、第３の実施形態では、マイクアレイ装置ＭＡで収音される音声のうち、ユーザが音声を聞きたい位置は、ユーザにより指定された場所（指向方向）であったが、第４の実施形態では、ユーザが人物を指定し、指定された人物（歩行者等）が移動する場合、その人物を追跡しながらその人物が発する音声を聞く場合を示す。歩行者等の人物を追跡して音声を再生する場合、監視装置は、その画像処理機能で目標となる人物（目標人物）を自動で追跡しながら、目標人物に指向方向を合わせるように追尾する。
【０１１０】
図２６は、目標人物８１を追跡する際における発音と適応フィルタの学習との関係を説明する図である。目標人物８１を追跡する際、指向性形成部は、指向性形成処理中に、目標人物８１が発話を始めると学習機能を停止させ（時点Ｔ２、Ｔ４参照）、音声が途切れたと判断した時点から適応フィルタの学習を再開する（時点Ｔ３、Ｔ５参照）。ここで、目的音（目標人物の発話）がある時に学習機能を停止させるのは、次のような理由による。適応型アレー（適応型マイクアレイ）は、理論的には目的方向の雑音のゲインをゼロにするが、実際には個々のマイクロホンの特性のばらつきや、筐体に組み込むことによる反射等の影響等、様々な要因から、目的方向の雑音のゲインがゼロにならず、目的音も雑音と判断して減衰させてしまうためである。
【０１１１】
学習を再開する時、指向性形成部は、学習機能が再開した位置から、直前の学習停止位置までの距離と、再開位置近傍の履歴ポイントの位置までの距離とを比較し、より近い地点のフィルタ係数を読み込んで学習を開始する。ここで、学習停止位置と履歴ポイントの位置（履歴情報位置）を比較し、いずれかを選択する場合、時間的に近い学習停止位置の方がその場に適していることが考えられる。そこで、学習停止位置と履歴情報位置それぞれに異なった重み（学習停止位置優先）を付けて、選択を行うようにする。一例として、指向性形成部は、学習停止位置までの距離と履歴情報位置までの距離とを比較し、学習停止位置までの距離＜履歴情報位置までの距離の２倍が満たされる場合、学習停止位置のフィルタ係数を採用するようにする。
【０１１２】
第４の実施形態における収音システムは第２の実施形態とほぼ同一の構成を有する。第２の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。第４の実施形態のカメラ装置ＣＡは全方位カメラであり、マイクアレイ装置ＭＡと同軸上に設置される。従って、カメラ装置ＣＡの座標系と、マイクアレイ装置ＭＡの座標系とは略一致する。
【０１１３】
図２７は、映像処理部２２による追跡処理手順を示すフローチャートである。映像処理部２２は、操作部１７を介してユーザにより指定された目標人物８１の指定を受け付け、また、目標人物８１が指定されたことを音声処理部２１に通知する（Ｓ６１）。映像処理部２２は、目標人物８１を追跡する（Ｓ６２）。この追跡処理では、映像処理部２２は、画像処理機能を実行し、公知の追跡技術を用いて目標人物８１を追跡する。例えば、映像処理部２２は、撮像画像と背景画像との差分を算出し、所定値以上の差分領域を有する画像部分を目標人物８１であるとして追跡する。また、映像処理部２２は、目標人物８１の特徴量を抽出し、この特徴量が現れる画像部分を目標人物８１であるとして追跡してもよい。
【０１１４】
映像処理部２２は、カメラ座標系において追跡している目標人物８１の位置（目標位置）を算出し、この目標位置情報を音声処理部２１に通知する（Ｓ６３）。映像処理部２２は、操作部１７を介してユーザにより追跡終了の指示を受け付けたか否かを判別する（Ｓ６４）。追跡終了の指示を受け付けていない場合、映像処理部２２は、ステップＳ６２に戻り、前述した目標人物８１の追跡を継続する。一方、追跡終了の指示を受け付けた場合、映像処理部２２は、追跡終了（収音終了）を音声処理部２１に通知し（Ｓ６５）、本動作を終了する。このように、映像処理部２２は、目標人物８１を指定して追跡を始めると、追跡終了の指示があるまで一定時間毎に目標人物８１の位置（目標位置）を算出し、音声処理部２１に対し目標位置情報を通知する。
【０１１５】
図２８は、音声処理部２１による指向性形成処理手順を示すフローチャートである。指向方向算出部１２Ａは、映像処理部２２から目標人物８１が指定されたことの通知を受けると、本動作を開始する。まず、指向方向算出部１２Ａは、映像処理部２２から通知された目標位置（画像上の位置）情報を取得する（Ｓ７１）。指向方向算出部１２Ａは、指定された画像上の位置を元に音声の指向方向を算出し、この音声の指向方向を、履歴検出・更新部１３に渡す（Ｓ７２、符号ｋ参照）。履歴検出・更新部１３は、音声の指向方向を入力すると、適応フィルタＦ１〜Ｆｎ−１の学習を開始し、学習しながら得たフィルタ係数（ｗ１，…，ｗｑ）を指向性形成部１１に出力する（符号ｊ参照）。この適応フィルタＦ１〜Ｆｎ−１の学習処理については、図２９及び図３０を参照して後述する。
【０１１６】
指向性形成部１１は、このように適応フィルタＦ１〜Ｆｎ−１を学習しながら得られる、フィルタ係数（ｗ１，…，ｗｑ）を適応フィルタＦ１〜Ｆｎ−１に設定し、指向性処理を行う（Ｓ７３）。音声出力部１９は、指向性形成部１１によって指向性形成処理が行われると、指向性が形成された指向方向の音声データに基づく音声を出力する（Ｓ７４）。
【０１１７】
音声処理部２１は、映像処理部２２から追跡終了の通知を受けたか否かを判別する（Ｓ７５）。追跡終了の通知を受けていない場合、音声処理部２１は、ステップＳ７１に戻り、目標位置情報を取得し、同様の処理を繰り返す。一方、ステップＳ７５で、映像処理部２２から追跡終了の通知を受けると、指向性形成部１１は、音声の指向性形成処理を終了し、無指向性に切り替える（Ｓ７６）。この後、音声処理部２１は本動作を終了する。
【０１１８】
図２９及び図３０は、適応フィルタの学習処理手順を示すフローチャートである。履歴検出・更新部１３は、指向方向算出部１２Ａからの指向方向の入力があると（符号ｋ参照）、起動してこの指向方向を入力する（Ｓ８１）。履歴検出・更新部１３は、映像処理部２２が目標人物８１の追跡を開始するか、追跡中であるか、それとも追跡を終了するかを判別する（Ｓ８２）。
【０１１９】
追跡を開始する場合、履歴検出・更新部１３は、指定された位置と履歴ポイントとの間の距離を算出するとともに、フィルタ係数保持部１４に記憶された履歴テーブル４０に登録された履歴ポイントＲＰを検索し（Ｓ８３）、指定された位置から所定距離内に履歴ポイントＲＰがあるか否かを判別する（Ｓ８４）。履歴ポイントＲＰが無い場合、履歴検出・更新部１３は、フィルタ係数をデフォルト値に設定する（Ｓ８６）。
【０１２０】
一方、履歴ポイントＲＰがある場合、履歴検出・更新部１３は、フィルタ係数保持部１４に記憶された履歴テーブル４０に登録された、その履歴ポイントに相当する指向方向（θ、φ）及びフィルタ係数（ｗ１，…，ｗｑ）を読み込む（Ｓ８５）。
【０１２１】
指向性形成部１１は、適応フィルタＦ１〜Ｆｎ−１の学習を行い（Ｓ８７）、学習の結果得られたフィルタ係数を出力する（Ｓ８８、符号ｊ参照）。なお、ステップＳ８７、Ｓ８８の処理では、目標人物８１が音声を発していない（発話停止中）。履歴検出・更新部１３は、適応フィルタＦ１〜Ｆｎ−１の学習を停止するか否かを判別する（Ｓ８９）。適応フィルタＦ１〜Ｆｎ−１の学習を停止しない場合、履歴検出・更新部１３は、ステップＳ８７に戻り、同様の処理を繰り返す。一方、適応フィルタＦ１〜Ｆｎ−１の学習を停止する場合、履歴検出・更新部１３は、フィルタ係数を保持する（Ｓ９０）。履歴検出・更新部１３は、このフィルタ係数をフィルタ係数保持部１４に記憶された履歴テーブル４０に追加する（Ｓ９１）。なお、履歴検出・更新部１３はこのフィルタ係数を履歴テーブル４０に追加しなくてもよい。
【０１２２】
また、ステップＳ８２で、追跡中である場合、履歴検出・更新部１３は、適応フィルタＦ１〜Ｆｎ−１の学習中であるか否かを判別する（Ｓ９２）。学習中である場合、履歴検出・更新部１３は、前述したステップＳ８７の処理に進む。一方、学習中でない場合、履歴検出・更新部１３は、指向性形成部１１が学習を開始したか否かを判別する（Ｓ９３）。
【０１２３】
学習を開始していない場合、履歴検出・更新部１３は、保持しているフィルタ係数を指向性形成部１１に出力する（Ｓ９４、符号ｊ参照）。また、ステップＳ９１でフィルタ係数を履歴テーブル４０に追加した場合も、履歴検出・更新部１３は、保持しているフィルタ係数を指向性形成部１１に出力する。
【０１２４】
一方、ステップＳ９３で学習を開始した場合、履歴検出・更新部１３は、直前の学習停止位置と近傍の履歴ポイントの位置（履歴情報位置）とを比較する（Ｓ９５）。一例として、直前の学習停止位置までの距離＜履歴情報位置までの距離の２倍が満たされる場合、履歴検出・更新部１３は、直前の学習停止位置のフィルタ係数を使用する。
【０１２５】
履歴検出・更新部１３は、履歴テーブル４０に登録された履歴ポイントのフィルタ係数を使用するか否かを判別する（Ｓ９６）。履歴ポイントのフィルタ係数を使用しない場合、履歴検出・更新部１３は、直前の学習停止位置のフィルタ係数を使用する（Ｓ９７）。一方、履歴ポイントのフィルタ係数を使用する場合、履歴検出・更新部１３は、履歴ポイントのフィルタ係数を使用する（Ｓ９８）。ステップＳ９７、Ｓ９８の処理後、履歴検出・更新部１３は、前述したステップＳ８７の処理に進む。
【０１２６】
このように、適応フィルタの学習中に、目標人物８１が発話すると、履歴検出・更新部１３は、学習を停止し、ステップＳ９０で停止時点（時点Ｔ２、Ｔ４）のフィルタ係数を保持し、ステップＳ９４で指向性形成部１１に送る（符号ｊ参照）。一方、ステップＳ９２で学習停止中に、目標人物８１が発話を停止すると、履歴検出・更新部１３は、ステップＳ９３で学習を再開する（時点Ｔ３、Ｔ５）。この際、ステップＳ９５で直前の学習停止位置と近傍の履歴情報位置とを比較し、ステップＳ８７で学習開始時にいずれかのフィルタ係数を指向性形成部１１に送る（符号ｊ参照）。また、ステップＳ８２で、追跡終了である場合、履歴検出・更新部１３は適応フィルタの学習を終了する。
【０１２７】
図３１は、全方位画像９０上における目標人物８１の学習動作を説明する図である。ディスプレイ１８の画面に表示される、全方位画像９０には、６個の履歴ポイントＲＰ１〜ＲＰ６が設定されている。なお、履歴ポイントは表示されなくてもよい。追跡開始時、開始地点（時点Ｔ１）の付近の履歴を検索すると、履歴ポイントＲＰ２が近傍にあるので、履歴検出・更新部１３はそのフィルタ係数を適応フィルタＦ１〜Ｆｎ−１に設定し、指向性形成部１１は適応フィルタＦ１〜Ｆｎ−１の学習を始める。
【０１２８】
また、追跡中に指向方向の入力があると、履歴検出・更新部１３は、学習中であるか否かを判断し、学習中である場合（Ｔ１〜Ｔ２期間）、適応フィルタの学習を継続し、フィルタ係数を指向性形成部１１に送る。また、学習停止中である場合（Ｔ２〜Ｔ３期間）、履歴検出・更新部１３は、学習の再開まで待ち、学習を再開すると、保持しているフィルタ係数を指向性形成部１１に送る。
【０１２９】
また、時点Ｔ３の位置で学習を再開する場合、近くにある履歴ポイントＲＰ１までの距離と、直前の学習停止位置（時点Ｔ２の位置）までの距離とを比較すると、履歴ポイントＲＰ１までの距離の方が短いが、前述した重み付けを考慮すると、直前の学習停止位置（時点Ｔ２の位置）までの距離＜履歴ポイントＲＰ１までの距離の２倍を満たすので、指向性形成部１１は、直前の学習停止位置（時点Ｔ２の位置）におけるフィルタ係数を採用し、適応フィルタＦ１〜Ｆｎ−１に設定する。
【０１３０】
また、時点Ｔ５の位置で学習を再開する場合、近くにある履歴ポイントＲＰ６までの距離と、直前の学習停止位置（時点Ｔ４の位置）までの距離とを比較すると、履歴ポイントＲＰ６までの距離の方が短く、しかも、前述した重み付けを考慮しても、直前の学習停止位置（時点Ｔ４の位置）までの距離＜履歴ポイントＲＰ６までの距離の２倍を満たさないので、指向性形成部１１は、履歴ポイントＲＰ６におけるフィルタ係数を採用し、適応フィルタＦ１〜Ｆｎ−１に設定する。
【０１３１】
このように、音声処理部２１は、目標人物８１が指定されると、指向性形成処理を開始し、追跡終了の指示があるまで映像処理部２２から画像上の位置を一定時間毎に取得する。また、音声処理部２１は、指向方向を算出すると、履歴検出・更新部１３に指向方向を出力する。履歴検出・更新部１３は、指向方向を入力すると、フィルタ係数を設定して学習を行い、その結果を指向性形成部１１に通知する。指向性形成部１１は、通知されたフィルタ係数を用いて指向性形成処理を行う。
【０１３２】
以上により、第４の実施形態の収音システムでは、歩行者等の人物を追跡して音声を再生する場合、監視装置は、その画像処理機能で目標となる人物（目標人物）を自動で追跡しながら、指向方向を目標人物に向けて追尾する。これにより、ユーザが指定した人物を追尾しながらその人物が発する音声を聞くことが可能となる。また、人物が発話している時、適応フィルタの学習を停止し、人物が発話していない時、適応フィルタの学習を行うので、人物が発する音声が雑音と判断されて低減することを防止できる。
【０１３３】
また、指向性形成部１１は、人物が発話を停止して、適応フィルタの学習を開始する時、直前に学習したフィルタ係数又は履歴ポイントＲＰのフィルタ係数を選択可能であるので、より適したフィルタ係数を事前に設定でき、フィルタ係数の収束時間の短縮に繋がる。また、直前に学習した適応フィルタのフィルタ係数を優先させるので、指向性形成に適したフィルタ係数に近づけることができる。
【０１３４】
なお、ここでは、重み付けは単純に距離だけで行われたが、さらに履歴の記録時間を履歴テーブルに残しておき、重み付けの計算に時間の要素を加味してもよい。例えば、記録された日時が最近である程、重み付けを大きくしてもよい。
【０１３５】
また、歩行者等の人物の追跡は、画像処理機能による自動追跡としているが、ユーザが歩行者の移動に合わせてマウスをクリックする、或いはマウスをドラッグすることで、収音システムが一定時間毎に或いは所定距離毎に指向方向を自動更新してもよい。また、レコーダ装置に録画・録音されたデータを再生する場合には、一度移動ポイントを何点か指定して、人物の移動の軌道を曲線で繋ぎ合わせてから再度再生すると、指定するポイント数を減らすことができる。
【０１３６】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１３７】
例えば、上記履歴テーブルには、指向方向とフィルタ係数とを対応付けた情報が登録されたが、さらに履歴回数等の情報が対応付けて登録されてもよい。
【産業上の利用可能性】
【０１３８】
本発明は、音声を収音する際、適応フィルタを用いて指定された指向方向に指向性を形成する収音システムに有用である。
【符号の説明】
【０１３９】
５、５Ａ、５Ａ１、５Ｂ  収音システム
６、６Ａ  監視装置
７  レコーダ装置
８  ネットワーク
１０  音声処理装置
１１  指向性形成部
１２、１２Ａ  指向方向算出部
１３  履歴検出・更新部
１４  フィルタ係数保持部
１５  通信部
１６  入出力制御部
１７  操作部
１７ｚ  カーソル
１８  ディスプレイ
１９  音声出力部
１９Ａ  増幅器
１９Ｂ、８７  スピーカ
２１  音声処理部
２２  映像処理部
２３  プリセットテーブルメモリ
２４  履歴データテーブルメモリ
３１  符号化部
３２  通信部
４０  履歴テーブル
４０ｚ  太枠
４５  プリセットテーブル
５０  音声マップ
５０ｈ、５０ｉ、５０ｊ  同心円
５０ｍ  線分
５３、５４、５５、５６、５７、５８、８１  人物
６０、９０  全方位画像
７０  プルダウンメニュー
７２  モニタ画面
７３  操作パネル
７４  選択ボタン
７５  輝度ボタン
７６  プリセットボタン
７７  ズームボタン
７８  フォーカスボタン
ＡＤ１、ＡＤ２、ＡＦ１〜ＡＦｑ  加算器
ＡＲＧ  適応アルゴリズム
ＣＡ、ＣＢ、ＣＣ１〜ＣＣｎ  カメラ装置
ＣＡｙ  魚眼レンズ
ＣＡｚ、ＭＡｚ  筐体
Ｄ１〜Ｄｎ、ＤＦ１〜ＤＦｑ  遅延器（ディレイ）
Ｆ１〜Ｆｎ−１  適応フィルタ
ＦＬＲ  床面
ＨＡ１〜ＨＡｎ−１、ＨＢ１〜ＨＢｎ−１、ＨＦ１  減算器
Ｌ１〜Ｌｎ  Ａ／Ｄコンバータ
Ｍ１〜Ｍｎ  マイクロホン
ＭＡ  マイクアレイ装置
ＭＡｒ  開口部
Ｏ  中心点
Ｐ１〜Ｐｎ  アンプ
ＰＦ１〜ＰＦｑ＋１  可変増幅器
ＲＦ  天井
ＲＰ、ＲＰ１〜ＲＰ６  履歴ポイント
ＴＰ  指定された位置
【図１】
2016181770.tif 000003
【図２】
2016181770.tif 000004
【図３】
2016181770.tif 000005
【図４】
2016181770.tif 000006
【図５】
2016181770.tif 000007
【図６】
2016181770.tif 000008
【図７】
2016181770.tif 000009
【図８】
2016181770.tif 000010
【図９】
2016181770.tif 000011
【図１０】
2016181770.tif 000012
【図１１】
2016181770.tif 000013
【図１２】
2016181770.tif 000014
【図１３】
2016181770.tif 000015
【図１４】
2016181770.tif 000016
【図１５】
2016181770.tif 000017
【図１６】
2016181770.tif 000018
【図１７】
2016181770.tif 000019
【図１８】
2016181770.tif 000020
【図１９】
2016181770.tif 000021
【図２０】
2016181770.tif 000022
【図２１】
2016181770.tif 000023
【図２２】
2016181770.tif 000024
【図２３】
2016181770.tif 000025
【図２４】
2016181770.tif 000026
【図２５】
2016181770.tif 000027
【図２６】
2016181770.tif 000028
【図２７】
2016181770.tif 000029
【図２８】
2016181770.tif 000030
【図２９】
2016181770.tif 000031
【図３０】
2016181770.tif 000032
【図３１】
2016181770.tif 000033