(57)【要約】【課題】異常音の音源が移動等する場合であっても、その音源の時間的な軌跡を、視覚的に認識可能に出力することができる監視装置を提供する。【解決手段】監視装置１は、画像を撮像する撮像手段１０と、撮像手段１０の周りに配置され、音源からの音を受音する複数の無指向性マイクロホンを有するマイクロホンアレイ２０と、マイクロホンアレイ２０が集音した音の到来時間差または位相差から、監視装置１に対する音源からの音の方向を算出するとともに、算出した音源からの音の方向に基づいて、撮像手段１０が撮像した画像における音源の位置を算出する音源位置算出手段５０と、音源位置算出手段５０が算出した音源の位置を示す表示を、時間の経過に応じた表示態様で、撮像手段１０が撮像した画像に組み合わせて出力する組合せ手段６０と、を備えることを特徴とする。【選択図】図１
2010232888.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
前記撮像手段の周りに配置され、音源からの音を受音する複数の無指向性マイクロホンを有するマイクロホンアレイと、
前記マイクロホンアレイが集音した音の到来時間差または位相差から、前記監視装置に対する前記音源からの音の方向を算出するとともに、該算出した前記音源からの音の方向に基づいて、前記撮像手段が撮像した画像における前記音源の位置を算出する音源位置算出手段と、
前記音源位置算出手段が算出した前記音源の位置を示す表示を、時間の経過に応じた表示態様で、前記撮像手段が撮像した画像に組み合わせて出力する組合せ手段と、
を備えることを特徴とする監視装置。
【請求項２】
前記組合せ手段は、
前記算出した音源の位置が、前記撮像手段が撮像した画像における所定の撮像領域外である場合、
当該音源の位置が前記所定の撮像領域外である旨を示す表示を、当該音源の位置に対応する前記所定の撮像領域の縁辺において、時間の経過に応じた表示態様で、当該画像に組み合わせて出力する、
請求項１に記載の監視装置。
【請求項３】
前記音源位置算出手段は、
前記マイクロホンアレイが集音した音の音圧の最初のピークを検出したら、所定期間、前記音源の位置の算出を行わないようにするとともに、当該最初のピーク近傍の音圧波形に基づいて前記音源の位置を算出する、
請求項１に記載の監視装置。
【請求項４】
前記マイクロホンアレイが集音する音のレベルが、前記マイクロホンアレイに所定期間集音された音のレベルの時間的な平均に基づいて更新される閾値を超える場合に、当該音が異常音であると判定する異常音判定手段をさらに備え、
前記音源位置算出手段は、
前記マイクロホンアレイが集音した音が、前記異常音判定手段により異常音であると判定された場合にのみ、前記音源の位置を算出する、
請求項１に記載の監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置に関するものであり、特に、画像および音の双方を監視する監視装置に関するものである。
【背景技術】
【０００２】
店舗または各種施設などにおいて、防犯上の理由から、監視カメラ装置を設置することが多い。このような監視カメラ装置は、常に稼動させておく仕様のものが多く、絶えず映像を撮像し続けることにより、異常が発生した場合に、記録された異常発生時の映像を後から確認することができる。このようにして撮像された画像は、異常発生時の状況を知るための有力な手がかりになり得る。
【０００３】
従来、画像を撮像するとともに異常音を検知して、その異常音を発する音源の画像を撮像できるようにした監視カメラ装置が提案されている。例えば、異常音が発生した時だけ、その発生位置を中心に撮影することができる監視カメラが提案されている（特許文献１参照）。この特許文献１に記載の監視カメラは、音声入力手段に入力された外部音が異常音であるか否かを判定するとともに外部音の発生位置を検出し、外部音が異常音であると判定された場合には、外部音の発生位置を撮影するようにカメラ本体を駆動するものである。
【０００４】
また、装置本体の周囲の状況を、音センサが検出する音から判断することのできる監視カメラ装置も提案されている（例えば、特許文献２参照）。この特許文献２に記載の監視カメラ装置は、装置に設置された音センサから出力される信号の中に存在する、所定の音を特徴付ける成分を検知する。このようにして検知した所定の音を特徴付ける成分を、予め設定した条件と比較することにより、所定の音に対する異常の種類を判別する。このようにして、特許文献２に記載の監視カメラ装置は、異常音と判定された音が発生した方向に監視カメラ装置を向けることもでき、また、監視カメラの撮像領域外で発生する音であっても、周囲の状況を音から判断することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−９４２５１号公報
【特許文献２】特開２００２−１２３８７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したような監視カメラ装置を用いれば、異常音が発生した箇所（音源）の画像を記録して確認することができる。さらに、このような監視カメラ装置によれば、異常音を検知した際にのみカメラによる撮像を行うことにより、記録媒体の消費および消費電力を大幅に節約することができる。
【０００７】
しかしながら、上述した特許文献１および特許文献２に記載の監視カメラ装置は、いずれも、監視カメラの撮像領域外で発生する音に対しては、異常音を検知してからカメラ装置の向きを変更している。このため、異常音が一瞬の短い音であった場合、異常音を検知した後にカメラ装置の向きを合わせても、異常音が検知された瞬間の画像は撮影できないことも考えられる。このような問題に対処するためには、予めカメラの撮像領域の範囲を広角にしておいたり、あるいはカメラを多数設置して死角を減らす等の措置を講じなければならない。
【０００８】
また、上述した監視カメラ装置においては、異常音が発生した際に、その音が発生した位置の画像を撮像できた場合であっても、その画像のみからでは音源の位置が視覚的に認識できない場合も考えられる。例えば、異常音が発生した位置において、何かが物理的に破壊されたような画像が撮像できれば、その画像を確認することにより、異常音の発生原因を容易に特定することができる。しかしながら、外見上の変化がない（異常がみられない）状態の画像が撮像された場合には、異常音の発生した位置を画像から判別することはできず、その音源を視覚的に認識することはできない。
【０００９】
例えば、箱の中で破裂が発生したが、その箱が破壊されなかった場合や、化学反応により音が発生する場合などは、異常音が発生した瞬間の画像を確認できても、画像の中のどの位置において異常音が発生したのか特定できないことも考えられる。あるいは、異常音が発生した箇所の手前に、音響的に透明な視覚的障害物などが存在する場合も、カメラが撮像した画像上の変化からは音源の位置が特定できない。顕著な例としては、例えば監視カメラ装置の付近で火災などが発生したために、撮像された画像には煙しか写っていない場合も考えられる。
【００１０】
さらに、異常音を発する音源は、常に静止した位置に存在するとは限らない。例えば、音源が高速で移動する場合や、複数の異なる箇所で順次連続して音が発生するような場合は、カメラ装置の向きを移動させて音源に追尾させることは困難と考えられる。このような場合も、予めカメラの撮像領域の範囲を広角にしておくこと等の措置は可能であるが、上述したように、音源に外見上の変化がない場合は、撮像された画像を確認しても、その画像のどの箇所が音の発生源なのかを知ることはできない。
【００１１】
したがって、かかる事情に鑑みてなされた本発明の目的は、異常音を発生する音源が移動する場合であっても、その音源の時間的な軌跡を、視覚的に認識可能に出力することができる監視装置を提供することにある。
【００１２】
また、本発明の他の目的は、異常音を発生する音源が、カメラにより撮像できる撮像領域外に位置する場合であっても、その音源の存在する方向を、視覚的に認識可能に出力することができる監視装置を提供することにある。
【００１３】
さらに、本発明の他の目的は、異常音を検出する精度を高めることができる監視装置を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成する請求項１に係る発明は、
画像を撮像する撮像手段と、
前記撮像手段の周りに配置され、音源からの音を受音する複数の無指向性マイクロホンを有するマイクロホンアレイと、
前記マイクロホンアレイが集音した音の到来時間差または位相差から、前記監視装置に対する前記音源からの音の方向を算出するとともに、該算出した前記音源からの音の方向に基づいて、前記撮像手段が撮像した画像における前記音源の位置を算出する音源位置算出手段と、
前記音源位置算出手段が算出した前記音源の位置を示す表示を、時間の経過に応じた表示態様で、前記撮像手段が撮像した画像に組み合わせて出力する組合せ手段と、
を備えることを特徴とするものである。
【００１５】
請求項２に係る発明は、請求項１に記載の監視装置において、
前記組合せ手段は、
前記算出した音源の位置が、前記撮像手段が撮像した画像における所定の撮像領域外である場合、
当該音源の位置が前記所定の撮像領域外である旨を示す表示を、当該音源の位置に対応する前記所定の撮像領域の縁辺において、時間の経過に応じた表示態様で、当該画像に組み合わせて出力するものである。
【００１６】
請求項３に係る発明は、請求項１に記載の監視装置において、
前記音源位置算出手段は、
前記マイクロホンアレイが集音した音の音圧の最初のピークを検出したら、所定期間、前記音源の位置の算出を行わないようにするとともに、当該最初のピーク近傍の音圧波形に基づいて前記音源の位置を算出するものである。
【００１７】
また、請求項４に係る発明は、請求項１に記載の監視装置において、
前記マイクロホンアレイが集音する音のレベルが、前記マイクロホンアレイに所定期間集音された音のレベルの時間的な平均に基づいて更新される閾値を超える場合に、当該音が異常音であると判定する異常音判定手段をさらに備え、
前記音源位置算出手段は、
前記マイクロホンアレイが集音した音が、前記異常音判定手段により異常音であると判定された場合にのみ、前記音源の位置を算出するものである。
【発明の効果】
【００１８】
本発明による監視装置は、マイクロホンアレイが集音した音の到来時間差または位相差に基づいて算出した音源からの音の方向に基づいて、カメラが撮像した画像における音源の位置を算出する。それとともに、本発明による監視装置は、音源の位置を示す表示を、時間の経過に応じた表示態様で、その画像に組み合わせて出力する。したがって、本発明による監視装置は、異常音を検出すると、カメラが撮像した画像の中で異常音が発生した位置を示すことができ、さらに、その異常音の発生した位置が移動する場合でも、その移動の時間的な軌跡を視覚的に認識可能に示すことができる。
【００１９】
また、本発明によれば、異常音を発生する音源が、カメラにより撮像できる領域外に位置する場合、その撮像領域外の方向を、撮像領域の縁辺において、時間の経過に応じた表示態様で示すことができる。したがって、異常音を発生する音源が、カメラの撮像領域外にある場合でも、その音源の方向を知ることができる。
【００２０】
さらに、本発明によれば、マイクロホンアレイが集音した音を異常音と判断するにあたり、異常音を判定する閾値を時間の経過に応じて更新する。また、本発明によれば、異常音の最初のピークを検出したら、所定期間、音源の位置の算出を行わずに、当該最初のピークのみに基づいて音源の位置を算出する。したがって、異常音の検出に際し、直接波の後に到来する反射波による悪影響を抑圧することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態による監視装置の概略構成を示すブロック図である。
【図２】単一指向性マイクロホン間のレベル差による音の到来方向の算出を説明するための図である。
【図３】音の到来時間差による音の到来方向の算出を説明するための図である。
【図４】複数の無指向性マイクロホンの配置例を示す図である。
【図５】本発明による監視装置によって取得される画像の例を示す図である。
【図６】本発明による監視装置の実施の形態の動作を説明するフローチャートである。
【図７】本発明による監視装置によって取得される画像の例を示す図である。
【図８】撮像領域外の方向の特定を説明する図である。
【図９】図６の組合せ画像出力処理と、音の時間経過表示処理とを含めた動作を説明するフローチャートである。
【図１０】時間経過表示処理により、移動する音源の時間的な履歴を表示した例を示す図である。
【図１１】時間経過表示処理を、撮像領域外の方向を示す処理に適用した例を説明する図である。
【図１２】ガラスの破壊音のパワースペクトルおよび包絡線プロフィールを示す図である。
【図１３】反射音による影響を低減する手法を説明するタイムチャートである。
【発明を実施するための形態】
【００２２】
本発明による監視装置の実施の形態を、図面を参照して詳細に説明する。図１は、本発明による監視装置１の実施の形態を示す図である。図１に示す監視装置１は、カメラ１０と、マイクロホンアレイ２０と、音響処理部３０と、異常音判定部４０と、音源位置算出部５０と、画像組合せ部６０と、アラーム処理部７０と、ネットワーク処理部８０と、を備えている。
【００２３】
カメラ１０は、画像を撮像する撮像手段を構成する。カメラ１０で撮像した画像の出力は、画像組合せ部６０を経て、外部の表示手段としてのモニタ１００に表示される。このとき、カメラ１０で撮像された画像は、画像組合せ部６０により、後述する音源位置についての情報、および音の異常性についての情報と組み合わされて出力される。
【００２４】
マイクロホンアレイ２０は、カメラ１０のレンズの光軸の周りに配置された複数の無指向性マイクロホンを有する。すなわち、マイクロホンアレイ２０は、カメラ１０に取り付けられたレンズの画角により撮像して表示できるエリアの水平方向（ｘ軸）および垂直方向（ｙ軸）に複数の無指向性マイクロホンを配置することによって構成される。なお、このマイクロホンアレイ２０における複数の無指向性マイクロホンの配置については後述する。
【００２５】
音響処理部３０は、マイクロホンアレイ２０が集音した音の残響や雑音の除去、およびレベルの補正などを行う。すなわち、音響処理部３０は、マイクロホンアレイ２０が集音した音から、部屋の残響の影響や周囲の環境雑音を排除し、その音がマイクロホンアレイ２０から離れることにより減衰している場合には、受信信号のレベルを上げる等の処理を行う。このようにすることで、後の処理、例えば、異常音判定部４０における音の異常性の判定や、音源位置算出部５０による音源の方向および位置の算出を容易かつ正確に行うことができるようになる。
【００２６】
異常音判定部４０は、音響処理部３０により各種処理が施された音について、所定の基準に基づいて、当該音が異常音であるか否かを判定する異常音判定部を構成する。例えば、異常音判定部４０は、包絡線プロフィール、周波数解析、音のレベルおよび音の時間的経過などを解析することによって音の異常性を判定する。また、当該音が異常音であると判定された場合、異常音の異常性のランクを可視化するために、異常音判定部４０は、所定の条件に従って、当該異常音のランク付けも行う。このランク付けは、異常音判定部４０が、異常性を判定する際の解析結果による重み付けに基づいて行うことができる。
【００２７】
音源位置算出部５０は、マイクロホンアレイ２０が集音した音の到来時間差または位相差から、監視装置１に対する音源からの音の方向を算出する。また、これとともに、音源位置算出部５０は、算出した前記音源からの音の方向に基づいて、カメラ１０が撮像した画像における音源の位置を算出する。したがって、本実施の形態では、音源位置算出部５０は音源位置算出手段を構成する。なお、音源位置算出部５０が算出する「音源の位置」とは、実際に音源が存在する空間における位置を意味するものではなく、カメラ１０が撮像した画像上のピクセル（画素）位置を意味する。この音源位置算出部５０は、異常音の到来方向（すなわち音源の位置）を可視化するために、カメラ１０で撮像する領域と同一の座標を使用して、到来する異常音の水平方向の方位角（φ）および垂直方向の仰角（θ）をｘ軸およびｙ軸の座標に変換して、異常音の音源の位置を算出する。
【００２８】
画像組合せ部６０は、音源位置算出部５０が算出した音源の位置を示す表示を、カメラ１０が撮像した画像に組み合わせて出力する組合せ手段を構成する。この画像組合せ部６０は、カメラ１０により表示することができる画像の表示領域のｘ軸およびｙ軸の座標と、異常音の音源の位置のｘ軸およびｙ軸の座標の一致するポイントとを音源の中心位置として、モニタ１００にマークなどで表示する。あるいは、画像組合せ部６０は、表示画面を多分割（３６分割、６４分割など）することにより、異常音の到来方向（すなわち音源の位置）に対応するエリアの輝度値の変更、着色、網掛け等によってモニタ１００に表示させることもできる。
【００２９】
さらに、画像組合せ部６０は、音源位置算出部５０により算出された異常音の音源位置と、異常音判定部４０により判定された異常性のランクとを、短期間の間隔で更新したものを連続して出力することにより、モニタ１００に最新の表示を行う。これにより、異常音の音源位置および異常性のランクのリアルタイム表示を可能にし、また、処理した異常音の表示を所定の期間保持することによって、異常音の移動状態および複数の音源をモニタ１００に表示させることができる。さらに、異常音の移動状態および複数の音源をモニタ１００に表示させる際に、音源の位置を示す表示を時間の経過に応じた表示態様で行う。これにより、異常音の移動状態や複数の音源による音の発生を、任意の時点の画像において、時間の履歴と共に表すことができる。なお、このような、音源の位置を示す表示の、時間の経過に応じた表示態様については後述する。
【００３０】
また、音源位置算出部５０により算出された異常音の音源位置が、カメラ１０が撮像した画像における所定の撮像領域外である場合、例えばカメラ１０のレンズの画角による表示画面の範囲からはみ出している場合なども考えられる。この場合、画像組合せ部６０は、モニタ１００の画面端の上部、下部、右部、または左部に棒状、波状などの着色したマークなどを表示させ、音源のおおよその位置として、異常音の到来する方向を示す。例えば、音源位置算出部５０により算出された異常音の音源位置が、表示画面の上方向の領域外である場合、モニタ１００の画面上部の縁辺に所定のマークなどを表示して音源の方向が画面外の上方向にあることを示す。さらに、音源位置算出部５０により算出された異常音の音源位置が、カメラ１０が撮像した画像における上下左右以外の撮像領域外である場合、すなわち斜め方向にある場合、当該方向が分かるようなマークなどを表示する。なお、上述した撮像領域外である場合の表示についても、詳細は後述する。
【００３１】
また、画像組合せ部６０は、異常音判定部４０による音の異常性のランク付けに基づいて、音源の中心位置のマーク表示を変化させることもできる。この場合、画像組合せ部６０は、例えば音源の中心位置のマークの輝度値、色、形状等を変更したり、また、表示画面を多分割してエリアを表示する場合には、輝度値を更に高く変化させたり色をより赤色系に変化させることによってランク付けを表すことができる。
【００３２】
アラーム処理部７０は、音の異常性ランクが所定のレベルを超えた場合にアラームを出力し、監視者にリアルタイムの異常音発生情報を知らせる。また、アラーム処理部７０は、図示しない別のパン・チルト・ズーム（ＰＴＺ）カメラなどに異常音の音源位置の方向の情報を通知することによって、別のＰＴＺカメラで音源方向をズームして詳細表示を行うなどの連携した確認動作を行うようにできる。
【００３３】
ネットワーク処理部８０は、画像組合せ部６０から出力される画像のデータ、およびアラーム処理部７０から出力されたアラームを、ネットワーク２００を経由して携帯端末などに配信する。
【００３４】
次に、本実施の形態に係るマイクロホンアレイ２０による、マイクロホン間のレベル差による音の到来方向の算出について、さらに説明する。
【００３５】
図２は、一般的な単一指向性マイクロホン群により構成されるマイクロホンアレイを示す図である。このような、単一指向性マイクロホン群２１により構成されるマイクロホンアレイを用いて、マイクロホン間のレベル差による音の到来方向を算出することができる。図２において、音源５００から到来する音の方向を算出する単一指向性マイクロホン群２１は、天井３００の窪みに配置されている。また、これら単一指向性マイクロホン群２１に近接して、ドーム型カメラ１１が天井３００の平坦部に配置されている。この場合、音源５００から音が発生すると、ひとつの単一指向性マイクロホン２２が受音する音のレベルが最大となることに基づいて、音源５００の方向を特定することができる。
【００３６】
このようにして、複数のマイクロホンにより、マイクロホン間のレベル差を用いて音源方向を算出することができる。しかしながら、この場合、単一指向性マイクロホンを多数用いる必要があるため、その機器構成が複雑となり、設備コストも増大する。図２においては、７方向に対応するため、単一指向性マイクロホンを７つ用いている。方位分解能は、基本的にはマイクロホンの個数と指向性の鋭さとによって決定される。ここでは、複数の単一指向性マイクロホンを一列に配列させた単一指向性マイクロホン群２１により、レベル差による１次元の方向を算出する構成を示している。しかしながら、ドーム型カメラ１１により撮像できる画像は２次元であり、音源の位置を２次元平面で特定するためには、同様の構成が更に１軸必要となり、必要なチャネル数が倍増し、それにともない、設置するマイクロホンの数も増大する。また、このような単一指向性マイクロホン群２１は、構成の複雑さから小型化が困難であり、ドーム型カメラ１１それ自体に搭載したり内蔵したりすることは困難である。さらに、基本的な角度分解能はマイクロホンの個数に依存するため、分解能を向上させるためには、マイクロホンの個数を増やす必要がある。このように、単一指向性マイクロホンを用いてマイクロホンアレイを構成すると、一般的に、多数のマイクロホンが必要になる。
【００３７】
図３は、少数の無指向性のマイクロホンを用いて、音の到来時間差による音の到来方向の算出を説明する図である。図３において、音源５１０の到来方向を算出する無指向性のマイクロホン２５，２６から構成されるマイクロホンアレイを備えるドーム型カメラ１２が、天井３１０の平坦部に配置されている。図３に示すように、音源５１０の方向を算出する際に、音源５１０からマイクロホン２５および２６までのそれぞれの距離の差Ｌに起因する、音の到達時間差を用いる場合、マイクロホン２５，２６は無指向性のものを用いることができる。したがって、この場合、マイクロホンアレイを構成する無指向性のマイクロホンは、小型のものを少数用いることで足り、１次元の方向を算出するのであれば、２個のマイクロホンで十分である。また、２次元の方向を算出する場合には、３個のマイクロホンで済むため、装置の構成を簡単にすることができる。このように、無指向性のマイクロホンを用いて音の到来時間差による音源の方向の算出を行う場合、複数のマイクロホンを、カメラ本体を含む筐体に搭載したり、図３に示すように、ドーム型カメラのドームに設置したりすることが可能になる。
【００３８】
図４は、無指向性のマイクロホンを配置したマイクロホンアレイの例を示す図である。図４においては、上述した図３のマイクロホンアレイの配置のような、小型の無指向性マイクロホンをドーム型カメラのドームに設置する場合とは別の例を示す。図４は、小型の無指向性マイクロホンを、（例えば固定式監視カメラのような）箱型カメラのレンズ周囲に設置する例を示す。
【００３９】
図４（Ａ）は、カメラ１０のレンズ１５の光軸１７を中心にして、ｘ軸上の左右に等間隔に配置した２つのマイクロホン２８を使用する場合を示す。これによって、音源の位置をｘ軸上で１次元的に検出することができる。なお、マイクロホン２８の参照番号は、各図において１つのマイクロホンのみに付してある。図４（Ｂ）は、カメラ１０のレンズ１５の光軸１７を中心にして、ｙ軸上の上下に等間隔に配置した２つのマイクロホン２８を使用する場合を示す。これによって、音源の位置をｙ軸上で１次元的に検出することができる。図４（Ｃ）は、カメラ１０のレンズ１５の光軸１７を中心にして、ｙ軸上の上下およびｘ軸上の左右に等間隔に配置した４つのマイクロホン２８を使用する場合を示す。これによって、音源の位置をｘｙ平面上で２次元的に検出することができる。図４（Ｄ）は、カメラ１０のレンズ１５の光軸１７を中心にして、ｙ軸およびｘ軸からの距離が等間隔でＬ字状に配置された３つのマイクロホン２８を使用する場合を示す。これによっても、音源の位置をｘｙ平面上で２次元的に検出することができる。したがって、音源の位置をｘｙ平面上で２次元的に特定するためには、３つのマイクロホンがあれば、マイクロホンアレイを構成することができる。
【００４０】
次に、本実施の形態による、組合せ画像について説明する。本実施の形態においては、マイクロホンアレイ２０が異常音を検知すると、画像組合せ部６０は、カメラ１０が撮像した画像に、異常音の音源の位置の表示を重ねた画像を出力する。この際の、カメラ１０が撮像した画像に、異常音の音源の位置の表示を重ねた画像を、以下、「組合せ画像」と記す。
【００４１】
組合せ画像の生成にあたり、まず、音源位置算出部５０は、マイクロホンアレイ２０の各マイクロホンが受音した音の到来時間差または位相差を計測することにより、監視装置１に対する音源からの音の方向を算出する。この算出により、到来する異常音の音源からマイクロホンアレイ２０に対する水平方向の方位角（φ）および垂直方向の仰角（θ）が得られる。次に、音源位置算出部５０は、このようにして得た音源からの音の方向を、カメラ１０が撮像した画像の領域と同一の座標系におけるｘ軸およびｙ軸上の座標に変換する。音源からの音の方向がｘ軸およびｙ軸上の座標に変換されたら、画像組合せ部６０は、カメラ１０が撮像した画像と、算出された座標に音源の位置を示す表示を行った画像とを、組み合わせて出力する。この際、音源の位置を示す表示として、音源の中心位置に小さな円盤状のマークなどの画像を組み合わせて出力するのが好適である。
【００４２】
図５（Ａ）および図５（Ｂ）は、本発明による監視装置１によって出力される組合せ画像を出力して、モニタ１００に表示した例を示す。図５（Ａ）は、マイクロホンアレイ２０を取り付けたカメラ１０を、床に対して水平に配置した状態で撮像したものをモニタ１００に出力して表示したものである。図５（Ｂ）は、マイクロホンアレイ２０を取り付けたカメラ１０を天井に配置した状態で撮像したものをモニタ１００に出力して表示したものである。図５（Ａ）および図５（Ｂ）のいずれも、音源となっている被撮影者がたたく手に対応して、その音源の位置が、小さな円盤状のマークで表示された組合せ画像が出力されている。図５（Ａ）および図５（Ｂ）いずれも、音源の位置についての情報を、カメラ１０が撮像した画像に正確に組み合わせることができることを示している。
【００４３】
次に、本実施の形態による、組合せ画像出力処理について説明する。この処理は、マイクロホンアレイ２０を構成する複数のマイクロホンが音を受音した時点から、当該音が異常音であるか否かを判定し、異常音の音源の位置をカメラ１０の映像に組み合わせて出力するまでの処理である。すなわち、組合せ画像出力処理とは、上述した組合せ画像を出力する動作を含めた、監視装置１が画像および音を監視する動作を表す処理である。
【００４４】
図６は、本発明による監視装置１の実施の形態による、組合せ画像出力処理を説明するフローチャートである。図６において、何らかの音が発生し、その音を、マイクロホンアレイ２０を構成するマイクロホンが受音した時点から、本実施の形態による組合せ画像出力処理は開始する。発生した音をマイクロホンアレイ２０が集音すると、音響処理部３０は、集音した音声信号から残響や雑音を除去し、さらに、必要に応じてレベル補正を行う（ステップＳ１１）。
【００４５】
次いで、異常音判定部４０は、音響処理部３０により音響処理された音の異常性の解析を行う（ステップＳ１２）。この際、異常音判定部４０は、集音した音の信号から、音のレベル、音の包絡線プロフィール、周波数による解析などに基づいて、必要に応じて統計データとの相関により異常音を抽出し、状況により時間的経過からの判定なども加えて、音の異常性を判定する。ステップＳ１２において、異常音判定部４０が音の異常性を判定した結果、異常音ではないと判定した場合、異常音ではない音については組合せ画像を出力しないものとして、組合せ画像出力処理は終了する。これは、マイクロホンアレイ２０が集音した音が、異常音ではなく環境音の一部などであると判定された場合に行う。この場合、音源の位置を示す表示が組合せ画像に含まれないため、監視装置１からは、カメラ１０が撮像した画像がそのまま出力される。
【００４６】
ステップＳ１２にて音が異常音であると判定された場合、異常音判定部４０は、例えば、音のレベル、音の包絡線プロフィール、周波数解析、音の発生回数および継続時間等からの判定などを項目別に点数化し、合計点で異常性をランク分けする（ステップＳ１３）。これにより、異常音判定部４０は、音の異常性のランクを例えば「異常性＝高／中／低」などにランク分けする。
【００４７】
ステップＳ１３において音の異常性のランクが特定されたら、次に、音源位置算出部５０は、音源位置の算出を行う（ステップＳ１４）。このステップＳ１４では、上述したように、マイクロホンアレイ２０のマイクロホンに到達する音のマイクロホン間の距離による時間差を計測することによって、音源からの角度を算出し、この算出された方向に基づいて、ｘ軸方向およびｙ軸方向における音源の位置を算出する。
【００４８】
ステップＳ１４において音源の位置が算出されたら、画像組合せ部６０は、算出された音源位置の座標が、カメラ１０の撮像領域内にあるか否か判定する（ステップＳ１５）。ステップＳ１５において、音源位置の座標がカメラ１０の所定の撮像領域内にある場合、すなわち、カメラ１０の画角の範囲内にあるため画像として直接表示できる場合、画像組合せ部６０は、上述した処理により、組合せ画像を出力する（ステップＳ１６）。すなわち、ステップＳ１６では、画像組合せ部６０は、カメラ１０が撮像した画像と、算出された座標に音源の位置を表示した画像とを、組み合わせて（重ね合わせて）出力する。
【００４９】
ここで、必要に応じて、異常性のランクについての情報も含めて、画像を組み合わせることもできる。すなわち、画像組合せ部６０は、ステップＳ１３において異常音判定部４０が特定した音の異常性のランクに基づいて、組み合わせる画像に表示する音源を表すマークの色を変更するなどの処理を行うことができる。例えば、異常音判定部４０が「異常性＝中」と判定した音の音源を示すマークは黄色で出力し、「異常性＝高」と判定した音の音源を示すマークは赤色で出力する、などの処理を行うことができる。
【００５０】
このようにして、ステップＳ１６において、画像組合せ部６０により組合せ画像が出力されたら、その後は、その画像をモニタ１００などに表示させることができる。したがって、この画像を監視者が見れば、異常音と判定された音の音源の位置と、その音の異常性のランクとを、視覚的に容易に認識することができる。
【００５１】
この後、ステップＳ１３において特定した音の異常性のランクが、予め定められた所定のランク以上であるか否かを判定する（ステップＳ１７）。ステップＳ１７において、音の異常性のランクが所定のランク以上ではないと判定される場合、これにて本処理は終了する。これにより、例えば「異常性＝低」と判定される音のように、異常音ではあるが比較的危険度の低い音を検知した際に、監視者に逐一報知がなされるということを回避することができる。
【００５２】
一方、ステップＳ１７において音の異常性のランクが所定のランク以上と判定される場合、ネットワーク処理部８０および／またはアラーム処理部７０は、予め定めた設定に基づいて、外部にアラーム情報を出力する（ステップＳ１８）。このステップＳ１８では、アラーム処理部７０は、異常音判定部４０が特定した音の異常性のランクに基づいて、アラーム情報を出力する。また、アラーム処理部７０からの通知を受けたネットワーク処理部８０が、ネットワーク２００を経由して、遠隔地の監視場所や携帯電話等に、このアラーム情報を配信し、監視者に音の異常を通知することもできる。この際、監視者側で音源位置の情報や異常性のランクの情報を望む場合には、これらの情報を、ネットワーク２００を経由して監視者に通知することもできる。
【００５３】
なお、別個にＰＴＺカメラが設置されている場合には、このアラーム情報を使用することにより、ＰＴＺカメラを異常音の方向に向けて、さらにズームアップなどさせることにより、音源の画像を確認することができる。さらに、マイクロホンアレイ２０で取得しているライブ音を、ネットワーク２００経由でリアルタイムに監視室に送ることによって、異常音を人間の耳で確認するようにもできる。
【００５４】
このように処理を行うことにより、異常性が低いと特定された音が逐一外部に通知されることを防ぎ、また、外部に通知する必要のある異常性の高い音が検知された際に、確実に外部に通知されるようにできる。
【００５５】
図７（Ａ）は、上述した組合せ画像出力処理により、モニタ１００に出力される画像の例として、音源位置を小さな円盤状のマークで画面に表示した画面表示例を示す。図７（Ａ）において、カメラ１０の画角の範囲内で画像に直接表示できる音源Ａ，Ｂを、円盤状のマークで表示している。この場合、音源Ａ，Ｂは、異常性のランクに応じて色分けされる。このような表示により、当該画像が撮像された時点において、異常と判定された音がＡおよびＢの位置において発生したことを監視者は容易に認識することができる。また、ＡおよびＢの位置に示したマークの色により、Ａ，Ｂそれぞれの位置で発生した音の異常性のランクも容易に認識することができる。
【００５６】
図７（Ｂ）は、上述した組合せ画像出力処理により、モニタ１００に出力される画像の他の例として、画面を６４分割することにより、分割した小領域に音源の位置および音の異常性のレベルを表示した画面表示例を示す。図７（Ｂ）に示すように、カメラ１０の画角の範囲内に存在する音源Ａ，Ｂに対応する画面分割した小領域を、異常性のランクに応じて色分けして表示してもよい。このような表示によっても、当該画像が撮像された時点において、異常と判定された音がＡおよびＢの位置において発生したことを監視者は容易に認識することができる。
【００５７】
また、図６のステップＳ１５において、音源位置の座標がカメラ１０の撮像領域内にない場合、すなわち、カメラ１０の画角の範囲内に音源位置の画像を直接表示できない場合、画像組合せ部６０は、音源のおおよその位置を示すために、撮像領域外の方向を特定する処理を行う（ステップＳ１９）。具体的には、音源の位置が、カメラ１０の画角の範囲内からはみ出す場合、はみ出す方向に対応するカメラ１０の画角の範囲内の縁辺を特定する。
【００５８】
図８は、撮像領域外の方向の特定を説明する図である。図８において、マイクロホンアレイ２０により集音可能な領域の範囲は、ｘ軸方向の方位角が−１８０度〜１８０度であり、ｙ軸方向の仰角が−１８０度〜１８０度であるものとする。このような範囲のうち、カメラ１０により撮像できる画角の範囲は、ｘ軸方向の方位角が−φｍ〜φｍであり、ｙ軸方向の仰角が−θｍ〜θｍであるものとし、この範囲で表現される画角の領域をｅとする。この領域ｅは、モニタ１００の表示部に表示できる限界に対応している。
【００５９】
この場合、領域ｅ内において異常音が発生した場合（ステップＳ１５のＹｅｓ）は、カメラ１０が撮像する画像の領域内に音源の位置のマークなどをそのまま表示することができる。しかしながら、カメラ１０が撮像する画像の領域外である、領域ｂ，ｄ，ｆ，ｈに音源の位置がある場合（ステップＳ１５のＮｏ）、その音源のおおよその位置として、各領域に対応する領域ｅの縁辺を特定する。また、領域ａ，ｃ，ｇ，ｉに音源の位置がある場合（ステップＳ１５のＮｏ）は、その音源のおおよその位置として、領域ｅの四隅のうち各領域に対応する、２本の縁辺が交わる位置を特定する。
【００６０】
このように、ステップＳ１９において、撮像領域外の方向が特定されたら、その後、ステップＳ１６にて、画像組合せ部６０は、カメラ１０が撮像した画像と、音源の方向を表示した画像とを、組み合わせて出力する。すなわち、図８の領域ｂに音源の位置がある場合には、領域ｅの上側の縁辺に例えば細長のマークを表示し、領域ｆに音源の位置がある場合には、領域ｅの右側の縁辺に細長のマークを表示する。
【００６１】
例えば、図７（Ａ）および図７（Ｂ）においては、音源の方向を示す細長のマークＣが、撮像した画像における画角の右側の縁辺上に表示されているが、これは、図８におけるｆの領域に異常音の音源が存在することを意味している。すなわち、音源Ｃの位置は、カメラ１０が撮像する画像の領域外（画角外）にあるため、モニタ１００に表示することができないが、音源を示す通常のマークとは異なる表示を行うことにより、画像の領域外の右側に、異常音の音源の位置があることを示している。なお、この場合も、音源Ｃが発する音の異常性のランクに応じて、マークを色分けして表示することができる。
【００６２】
また、図８に示す領域ａ，ｃ，ｇ，ｉに音源の位置がある場合は、各領域に対応する領域ｅの隅角部において、２本の縁辺が交わる位置に沿うように、Ｌ字形状のマークを表示する。これにより、カメラ１０が撮像する画像の領域外にある音源の位置が、領域ｂ，ｄ，ｆ，ｈ以外の斜め方向の領域であることを示すことができる。
【００６３】
次に、本実施の形態による、音の時間経過表示処理について説明する。本処理は、音源の位置の時間的な履歴を表示することにより、音源が移動したり、複数の音源が連続的に音を発生する場合でも、監視者がその様子をひと目で確認できるような表示を行う処理である。
【００６４】
図９は、図６で説明した組合せ画像出力処理と、音の時間経過表示処理とを含めた監視装置１の動作を説明するフローチャートである。ステップＳ３１においてマイクロホンアレイ２０が音を検出したら、ステップＳ３２において、図６で説明した組合せ画像出力処理を行った後に、ステップＳ３３に移行する。ステップＳ３１においてマイクロホンアレイ２０が音を集音しない場合は、そのままステップＳ３３に移行する。
【００６５】
次に、ステップＳ３３において、画像組合せ部６０は、予め定めた所定の時間が経過したか否かを判定し、所定の時間が経過していない場合には、ステップＳ３１に戻って処理を続行する。一方、ステップＳ３３において、所定の時間が経過した場合には、画像組合せ部６０は、時間経過表示処理を行ってから（ステップＳ３４）、ステップＳ３１に戻って処理を続行する。ステップＳ３３にて判定する所定の時間は、その時間を単位として音源の位置を示す表示の態様を変化（更新）させるため、例えば０．５秒ごと、１秒ごと、または３秒ごと等、監視する対象（想定される音源）に応じて予め好適と思われる時間を設定する。
【００６６】
図９に示す動作を行うにあたり、音源位置算出部５０により算出された音源の位置がひとたび画像組合せ部６０に入力されたら、画像組合せ部６０は、その音源の位置が、順次入力されるカメラ１０が撮像した画像に表示されたままになるように画像を組み合わせる。すなわち、例えば一瞬で止む音であっても、その音源の位置を示すマークは一瞬表示されてすぐに消えるのではなく、表示されたままになるようにする。ただし、このような表示を行うと、音源が移動する場合などは、モニタ１００に表示される画面が、音源の位置を示すマークの画像の履歴で満たされてしまい、カメラ１０が撮像する画像が見難くなることも想定される。
【００６７】
そこで、図１０（Ａ）に示すように、画像組合せ部６０は、音源の位置を表示するマークの画像を、時間の経過に応じた表示態様で変化させる。図１０（Ａ）に示した円盤型のマークは、或る音源が一瞬で止む音を発した場合に、音源位置を示すマークの画像として最初に出力されるものがマークａであることを示している。また、図１０（Ａ）は、音源の音が止んだ後も、所定の時間の経過とともに、マークｂ，ｃ，ｄ，ｅの順に表示が変化する様子を表している。図１０（Ａ）に示すように、音源を示すマークの画像は、時間の経過と共に小さくなるようにし、ある程度の時間が経過した後には完全に消去するようにするのが好適である。
【００６８】
このような表示を行うことにより、音源の位置を示すマークが比較的大きい場合は、最近に近い時刻で音が発生していることが監視者に容易に認識できる。一方、音源の位置を示すマークが比較的小さい場合は、その位置で音が発生してから若干の時間が経過していることが監視者に容易に認識できる。また、音源の位置を示すマークの箇所に、音源となり得る物体が画像から確認できない場合であっても、近い過去に、その位置に音源が存在したことを示すことができ、さらに、その音源の移動の履歴も監視者が容易に確認できるように示すことができる。
【００６９】
図１０（Ｂ）は、時間経過表示処理によって、移動する音源の履歴を表示した例を示す図である。図１０（Ｂ）は、歩行する人物がカメラ１０により撮像され、音源の位置を表示した画像と組み合わされて、モニタ１００に出力された例を示している。例えば、この歩行する人物が、大きな音を立てて、監視装置１の方向に歩いてきた状態であるとする。この場合、歩行する人物が立てる音は、ほぼ同じ大きさで連続して発生する音であるが、その音源は移動しているため、図１０（Ｂ）に示す音源位置のマークは、ａ，ｂ，ｃ，ｄ，ｅの順に、最近から過去の音へと移動する音の履歴を表している。このような表示により、監視者は、或る時刻の画像をひと目見るだけで、ある程度過去の音の履歴をも、迅速かつ容易に確認することができる。
【００７０】
図１１は、上述した音の履歴を表示する時間経過表示処理を、カメラ１０が撮像する画像の領域外の方向を示す処理に適用した例を説明する図である。図１１（Ａ）の上側の縁辺に示す細長のマークａ，ｂ，ｃ，ｄ，ｅのそれぞれは、マイクロホンアレイ２０が集音した音の音源の位置が、図８に示した範囲ｂに存在することを示すものである。この音が一瞬で止む音であった場合、音源が音を発した直後には、マークａを表示し、その後、所定の時間が経過するごとに、マークｂ，ｃ，ｄ，ｅのように、順に小さな表示に変化させることで、過去の音の履歴を表示する。図１１（Ａ）の左側の縁辺に示す細長のマークｆ，ｇ，ｈ，ｉ，ｊのそれぞれは、マイクロホンアレイ２０が集音した音の音源の位置が、図８に示した範囲ｄに存在することを示すものである。この場合も、音が一瞬で止む音であった場合、音源が音を発した直後にはマークｆを表示し、その後、所定の時間が経過するごとに、マークｇ，ｈ，ｉ，ｊのように、順に小さな表示に変化させる。
【００７１】
図１１（Ｂ）の左上端の隅角部の縁辺において示す細長のマークａ，ｂ，ｃ，ｄ，ｅのそれぞれは、マイクロホンアレイ２０が集音した音の音源の位置が、図８に示した範囲ａに存在することを示すものである。この音が一瞬で止む音であった場合、音源が音を発した直後にはマークａを表示し、その後、所定の時間が経過するごとに、マークｂ，ｃ，ｄ，ｅのように、順に小さな表示に変化させる。以上のような表示を行うことにより、異常音を発する音源の位置が画像の領域外であったとしても、その音源の方向を示すとともに、その音の履歴を示すことができる。
【００７２】
次に、本実施の形態の音響処理部３０および異常音判定部４０によって、異常音を検出する精度を向上するために行うことができる種々の措置について説明する。
【００７３】
まず、本発明による監視装置１において、異常音判定部４０が異常音を判定するために用いる音の法絡線プロフィールを、比較のためにパワースペクトルとともに説明する。従来、異常音を判断するために、主として２つの判断、すなわち、（１）音のレベルがしきい値を超えたか否かの判断、および、（２）パワースペクトルが予め設定した基準に合致するか否かの判断、が行われている。
【００７４】
上記（１）の判断によれば、しきい値を超える大きな音であれば、どのような音でも異常音と判断される。上記（２）の判断は、パワースペクトルを用いて音の種類を見分けようとするものであり、（１）の判断と比べた場合、音の異常性を判断する手がかりとしての情報が多く、判断の確度が著しく向上すると考えられる。
【００７５】
しかしながら、（２）の判断は時間方向の情報を利用していないため、似たような音色を持ちつつ持続時間が異なるような音を判別することができない。例えば、エアコンディショナーの運転に伴うモータ音や風切り音は、異常音ではないと判断すべき場合が多いと考えられる。しかしながら、類似する音が一瞬だけ発生したり急激にレベルが変動したりする際には、エアコンディショナーの運転音ではなく、異常音であると判断すべき場合もある。
【００７６】
本発明による監視装置１で用いられる包絡線プロフィールは、音のレベルの時間変動情報であり、（１）および（２）の判断では欠落している時間変動の情報を加味することによって異常性判断の確度を高めるものである。例えば、ガラス破壊音のサンプルのパワースペクトルは、図１２（Ａ）に示す例のようになる。図１２（Ａ）では、スペクトルがかなり広帯域に亘っており、通常ではほとんど発生しない音であると考えられる。しかしながら、このようなパワースペクトルでは、周波数を横軸として表しているため時間情報が欠落している。したがって、検知した音が衝撃音であるのか、またはエアーノズルなどが発するホワイトノイズ性の持続音であるのかを判断することはできない。
【００７７】
一方、ガラス破壊音のサンプルの包絡線プロフィールは、図１２（Ｂ）に示すようになる。図１２（Ｂ）では、ガラス破壊音は、突然立ち上がる鋭いピークを数回示した後に収まっており、何らかの衝撃音であると判断することができる。したがって、予め設定された判断基準に照らし合わせることによって、異常性の判断の手がかりを増やすことができる。このように、本実施の形態によれば、包絡線プロフィール、周波数解析、音のレベルまたは音の時間的経過を用いて音の異常性を判定することによって、多様な異常音の判定を行うことができる。
【００７８】
また、到来する音から、部屋の残響の影響や、周囲の環境雑音を排除したり、到来する音のレベルの適正化を行うことによって、異常音が認識しやすくなり、音の到来方向および異常判定の精度を向上することができる。
【００７９】
以下、壁や障害物からの反射音が音の到来方向の算出に及ぼす影響を低減する手法について説明する。図１３は、反射音による影響を低減する手法を説明する図であり、横軸に時間をとったタイムチャートで示している。図１３のタイムチャートＡは、反射音が存在する場合にマイクロホンアレイ２０を構成するマイクロホンの１つによって集音され、音響処理部３０によって補正された音の音圧レベルを示す。また、タイムチャートＢ，Ｃ及びＤは、それぞれ、音圧レベルのピーク検出区間、音の取り込みを待機するホールドオフ区間及び到来方向処理のタイムアウト区間を示す。
【００８０】
図１３のタイムチャートについて説明する。タイムチャートＡに示すように、マイクロホンによって集音された音圧レベルは、時間の経過に伴い、音源からの直接音や反射音によって変化する。このとき、異常音判定部４０は、音圧レベルが所定の閾値Ｔｈを超えた場合に環境音とは異なる異常音を検出したと判定し、タイムチャートＢに示すように、ピーク検出信号が立ち上がる。その後、音源からの直接音が到来して第１のピークＰ１が観察されると、タイムチャートＢのピーク検出信号が立ち下がる。
【００８１】
タイムチャートＡに示すように、音源からの直接音が到来して第１のピークＰ１が生じた後、反射音により第２のピークＰ２が生じている。このとき、反射音である第２のピークＰ２を検出したときに音の到来方向の算出を行うことは、音源位置の算出処理に誤差を生じさせるため好ましくない。したがって、タイムチャートＢにおいて第１のピークＰ１の検出後にピーク検出信号が立ち下がると、タイムチャートＣに示すように、ホールドオフ信号が立ち上がる。その後、ホールドオフ信号は、音圧レベルが所定の閾値Ｔｈを下回ると立ち下がる。
【００８２】
このように、音圧レベルが第１のピークＰ１を超えてから所定の閾値Ｔｈを下回るまでの区間を取込禁止区間（ホールドオフ区間）Ｔ１とし、音源位置算出部５０は、この区間には、音圧レベルのピークが観察されても、音源位置の算出処理を行わないようにする。すなわち、音源位置算出部５０は、マイクロホンアレイ２０が集音した音の音圧の最初のピークを検出したら、所定期間、音源の位置の算出処理を行わずに、その最初のピーク近傍の音圧波形に基づいて、音源の位置を算出する。このようにすることで、反射音による影響を加味することにより音源位置の算出に誤差を生じさせてしまうことを防ぐことができる。
【００８３】
なお、この取込禁止区間Ｔ１は、タイムチャートＡにおいて、所定の閾値Ｔｈを下回ると同時に解除し、次に到来する音（第３のピークＰ３）を取り込むようにするのが好適である。したがって、ホールドオフを行う区間の上限値（タイムアウト区間）Ｔ２を設け、音圧レベルがタイムアウト区間Ｔ２を経過しても閾値Ｔｈを下回らない場合はタイムアウトし、音の取り込みが再開されるようにする。すなわち、タイムチャートＢにおいてピーク検出信号が立ち下がると、タイムチャートＤのようにタイムアウト処理信号が立ち上がり、タイムアウト処理信号は、タイムアウト区間Ｔ２が経過すると立ち下がるようにする。そして、タイムアウト区間Ｔ２が立ち下がった際に音圧レベルが所定の閾値Ｔｈを上回っている場合は、第３のピークＰ３を検出したとして、タイムチャートＢに示すようにピーク検出信号が立ち上がる。なお、タイムアウト区間Ｔ２としては、例えば最大１．５秒とすることができる。
【００８４】
なお、音圧レベルを測定するマイクロホンとしては、マイクロホンアレイ２０とは別のマイクロホン（図示せず）を別個設けてもよい。このとき、音圧レベルを測定するマイクロホンが集音した音に対しても、レベル補正を行うのが好適である。
【００８５】
上述のように、異常音判定部４０は、マイクロホンアレイ２０を構成するマイクロホンの少なくとも１つ、またはマイクロホンアレイ２０とは別個に設けたマイクロホンによって集音された音のレベルが所定の閾値Ｔｈを上回る音のうち、所定時間（タイムアウト区間Ｔ２またはホールドオフ区間Ｔ１）以内に、所定の閾値Ｔｈを上回る音が先行して集音されていない音を選択して、音源位置算出部５０に出力する。このようにすることで、反射音の影響を取り除くことができ、直接音のみで、より精度良く音源位置の算出を行うことが可能となる。
【００８６】
また、異常音判定部４０は、マイクロホンアレイ２０が集音する音を異常音と判定する、上述の所定の閾値Ｔｈを周囲の環境音レベルに応じて適宜変化させることもできる。監視装置１によって異常音を検出する場合、人の出入りが不定期に変動する場所や、昼夜で周囲の騒音レベルが大きく異なる場所で所定の閾値Ｔｈを一定値とすると、環境音を異常音と判定したり、逆に異常音を異常音として判定しなかったりする不都合が生じる。したがって、異常音判定部４０は、環境音の変化に適応させて所定の閾値Ｔｈの値を変化させる。
【００８７】
具体的には、異常音判定部４０は、音響処理部３０によって補正された音のレベルの、時間フレーム毎の最大値（最大音レベル）を求める。時間フレームとしては、例えば、１／３０秒とする。そして、異常音判定部４０は、数フレームにわたって最大音レベルの平均値を算出し、算出した値を所定の閾値Ｔｈとする。すなわち、１フレーム目の最大音レベルをａ１、２フレーム目の最大音レベルをａ２、ｎフレーム目の最大音レベルをａｎとすると、ｎフレームにわたった最大音レベルの平均値ａａｖｅは、以下の式（１）で表すことができる。
2010232888.tif 000003
このようにして求めたａａｖｅを用いることによって、周囲の環境音に応答して適応的に閾値を変化させて、より精度の良い音源位置の算出を行うことができる。すなわち、この場合、異常音判定部４０は、マイクロホンアレイ２０が集音する音のレベルが、マイクロホンアレイ２０に所定期間集音された音のレベルの時間的な平均に基づいて更新される閾値を超える場合に、その音を異常音であると判定する。そして、音源位置算出部５０は、マイクロホンアレイ２０が集音した音が、このようにして異常音判定部４０により異常音であると判定された場合にのみ、音源の位置を算出する処理を行う。
【００８８】
なお、式（１）において、平均に用いるフレーム数ｎを変化させることによって、環境音の時間変動に追随させて閾値を変化させることができる。例えば環境音の変動が大きい場合には、平均に求めるフレーム数ｎを少なくすればよい。逆に、環境音の変動が小さい場合には、平均に求めるフレーム数ｎを多くすればよい。
【００８９】
以上説明したように、本発明によれば、異常音の音源位置と音の異常性のランクが画面上のマーク表示または多分割でのエリア表示されることにより、監視者は、音を聞いて異常を認識しなくても、画面を見るだけで異常性の度合いおよび異常音の音源位置を知ることができる。さらに、本発明によれば、音源が移動する場合でも、監視者は移動する音の履歴も視覚的に即座に知ることができる。
【００９０】
また、人間は複数の異なる音（異常音）を聞き分けることができないが、モニタに可視化することによって、複数の音の発生およびその異常性のランクを瞬時に認識し、適切な判断を行うことができる。また、リアルタイムで処理を行うことによって、異常状態の認識をリアルタイムで行うことができる。さらに、異常音発生後の画像を見れば、その原因となった音源の移動や、複数の音源から連続して発生した音の順番などを、ひと目で確認することができる。したがって、監視者が音の発生の履歴を知りたい場合に、監視装置１から出力された画像を継続的に記録媒体などに記録した画像を読み出して、過去の画像まで遡って異常音発生前後の画像（映像）を確認し続ける必要はない。
【００９１】
また、必要に応じて、特定の異常音を監視室などから直接モニタリングすることもできる。さらに、携帯端末などを利用して、異常音の位置および音の異常性の度合いを遠方で容易に視認することもできる。
【００９２】
なお、マイクロホンアレイ２０を取り付けたカメラ１０を床に対して垂直な位置に配置する場合は、捉える音の範囲が広くなるという利点を有し、マイクロホンアレイ２０を取り付けたカメラを天井に配置した場合は、音を無方向に捉えることができるという利点を有する。
【００９３】
本実施の形態によれば、マイクロホンアレイによって集音した音の到来方向を、音の到来時間差または位相差を用いて算出する。これにより、少数の（最少で３つ）無指向性のマイクロホンを用いても、音源の位置や音の異常性についての情報を高精度に検出することができる。このように、音源の位置についての情報を高精度に算出できるので、算出された音源の位置と実際の音の到来方向は高い精度で一致させることができ、音源の位置および音の異常性についての情報を、撮像した画像に正確に組み合わせることができる。また、少数の無指向性のマイクロホンを使用するので、装置を大型化せずに構成することができ、さらに、コストの増大を招来しない。
【００９４】
また、算出した音源の位置がカメラ１０の撮像領域外である場合でも、音源の位置に対応する表示領域の上下左右の各縁辺、または表示領域の四隅のうち音源位置に対応する箇所にＬ字形状のマークなどを表示して、音源の存在する方向を表示することができる。このような表示により、異常音がカメラ１０の撮像領域外で生じたとしても、監視者は異常音の到来する方向を認識することができる。
【００９５】
本実施の形態によれば、停電等で照明が消えたり、火事で煙が充満して監視カメラによる映像監視が機能し得ない場合でも、異常音は検出可能であるので、異常状態を知ることができる。また、通常のカメラで表示されている映像の範囲内でも、ドアや壁の外側で発生している異常音や、カメラの画角範囲外（カメラには映らない領域）で発生した異常音も検出して表示するため、異常の生じた位置の特定が容易に行われ、早急な対応が可能になる。
【００９６】
なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変更および変形が可能である。例えば、カメラに対して予めキャリブレーションを行い、レンズ広角歪み（樽型歪み等）を直交座標に変換する補正を行うことによって、音源の位置情報と、取得した画像との組み合わせにおける誤差を最小化することができる。また、複数のマイクロホンの配置についても、カメラのレンズの光軸を中心に上下左右に等間隔にマイクロホンを配置する構成に限定されるものではない。例えば、レンズの光軸を中心に頂点までの距離が等間隔になるような三角形の形状を成すように複数のマイクロホンを設置したり、その他の多角形の形状を成すようにマイクロホンを配置する構成にもできる。また、レンズの光軸を中心に半径ｒの円周上にマイクロホンを配置する構成にしてもよい。
【符号の説明】
【００９７】
１  監視装置
１０  カメラ
１１，１２  ドーム型カメラ
１５  レンズ
１７  光軸
２０  マイクロホンアレイ
２１  単一指向性マイクロホン群
２２  単一指向性マイクロホン
２５，２６，２８  無指向性マイクロホン
３０  音響処理部
４０  異常音判定部
５０  音源位置算出部
６０  画像組合せ部
７０  アラーム処理部
８０  ネットワーク処理部
１００  モニタ
２００  ネットワーク
３００，３１０  天井
５００，５１０  音源
【図１】
2010232888.tif 000004
【図２】
2010232888.tif 000005
【図３】
2010232888.tif 000006
【図４】
2010232888.tif 000007
【図６】
2010232888.tif 000008
【図７】
2010232888.tif 000009
【図８】
2010232888.tif 000010
【図９】
2010232888.tif 000011
【図１０】
2010232888.tif 000012
【図１１】
2010232888.tif 000013
【図１２】
2010232888.tif 000014
【図１３】
2010232888.tif 000015
【図５】
2010232888.tif 000016