(57)【要約】【課題】音に関するイベントが検出された場合に、適切な情報をユーザに提供することを目的とする。【解決手段】複数の監視カメラと、監視カメラにより得られた映像を表示する情報処理装置と、を有する監視システムであって、監視カメラの集音手段により得られた音声に基づいて、音イベントを検出する検出手段と、監視カメラの撮影手段により撮影された映像を表示手段に表示するよう制御する表示処理手段と、音イベントが検出されたタイミングに応じて定まる期間に監視カメラで得られた音声をイベント検出の通知音として出力するよう制御する出力処理手段とを有し、表示処理手段は、音イベントが検出された音声に対応する監視カメラの映像を、音イベントが検出された音声に対応する監視カメラ以外の他の監視カメラの映像と異なる表示態様で表示するよう制御する。【選択図】図２
2018147150.tif 000002
【特許請求の範囲】
【請求項１】
複数の監視カメラと、前記監視カメラにより得られた映像を表示する情報処理装置と、を有する監視システムであって、
前記監視カメラの集音手段により得られた音声に基づいて、音イベントを検出する検出手段と、
前記監視カメラの撮影手段により撮影された映像を表示手段に表示するよう制御する表示処理手段と、
前記音イベントが検出されたタイミングに応じて定まる期間に前記監視カメラで得られた音声をイベント検出の通知音として出力するよう制御する出力処理手段と
を有し、
前記表示処理手段は、前記音イベントが検出された音声に対応する前記監視カメラの映像を、前記音イベントが検出された音声に対応する監視カメラ以外の他の監視カメラの映像と異なる表示態様で表示するよう制御することを特徴とする監視システム。
【請求項２】
前記出力処理手段は、前記音イベントが検出された期間に得られた音声を出力するよう制御することを特徴とする請求項１に記載の監視システム。
【請求項３】
前記検出手段は、前記音イベントとして音声の開始イベントを検出し、
前記出力処理手段は、前記開始イベントが検出された場合に、前記開始イベントから所定期間の音声を出力するよう制御することを特徴とする請求項１に記載の監視システム。
【請求項４】
前記監視カメラは、
前記音声を記憶手段に記録する記録手段と、
前記検出手段と、
前記音イベントが検出された場合に、音イベントの検出情報を送信する送信手段と
を有し、
前記情報処理装置は、
前記表示処理手段と、
前記検出情報を受信した場合に、前記通知音として出力する前記音声を前記監視カメラから受信する受信手段と
を有することを特徴とする請求項１乃至３の何れか１項に記載の監視システム。
【請求項５】
前記監視カメラは、
前記検出手段と、
前記映像と前記音声を送信し、さらに前記音イベントが検出された場合に、音イベントの検出情報を送信する送信手段と
を有し、
前記情報処理装置は、
前記表示処理手段と、
前記監視カメラから受信した音声を記憶手段に記録する記録手段と、
前記検出情報を受信した場合に、前記記憶手段に記憶されている、前記期間に得られた音声を前記通知音として取得する取得手段と、
前記出力処理手段と、
を有し、
前記出力処理手段は、前記取得手段が取得した前記音声を前記通知音として出力するよう制御することを特徴とする請求項１に記載の監視システム。
【請求項６】
前記出力処理手段は、前記通知音を複数回出力するよう制御することを特徴とする請求項１乃至５の何れか１項に記載の監視システム。
【請求項７】
前記出力処理手段は、前記通知音を複数回出力する場合において、各回の音量を異ならせるよう制御することを特徴とする請求項６に記載の監視システム。
【請求項８】
前記出力処理手段は、前記通知音を一定時間おきに出力し、
前記表示処理手段は、前記通知音を出力している間の強調表示の強度を、出力していない間の強調表示に比べて強くするよう制御することを特徴とする請求項６又は７に記載の監視システム。
【請求項９】
前記出力処理手段は、一定期間に複数の音イベントが検出された場合には、複数の音イベントのうち一の音イベントに対応した音声を通知音として出力するよう制御することを特徴とする請求項１乃至８の何れか１項に記載の監視システム。
【請求項１０】
前記一定期間に複数の音イベントが検出された場合に、前記音イベントに係る音声の音量に基づいて、複数の音イベントのうち一の音イベントを選択する選択手段をさらに有し、
前記出力処理手段は、前記選択手段により選択された音イベントに対応した音声を前記通知音として出力するよう制御することを特徴とする請求項９に記載の監視システム。
【請求項１１】
前記出力処理手段は、前記複数の音イベントの音声の種類が異なる場合に、各種類の音イベントに対応した音声を、通知音として、異なるタイミングで出力するよう制御することを特徴とする請求項９又は１０に記載の監視システム。
【請求項１２】
前記表示処理手段は、前記一定期間に複数の音イベントが検出された場合に、複数の音イベントそれぞれに対応する監視カメラの映像を、前記他の監視カメラの映像と異なる表示態様で表示するよう制御することを特徴とする請求項９乃至１１の何れか１項に記載の監視システム。
【請求項１３】
複数の監視カメラにより得られた映像を表示する情報処理装置であって、
複数の前記監視カメラそれぞれの撮影手段により撮影された映像を表示手段に表示するよう制御する表示処理手段と、
前記監視カメラの集音手段により得られた音声に基づいて、音イベントが検出された場合に、前記音イベントが検出されたタイミングに応じて定まる期間に前記監視カメラにより得られた音声をイベント検出の通知音として出力するよう制御する出力処理手段と
を有し、
前記表示処理手段は、前記音イベントが検出された場合に、前記音イベントが検出された音声に対応する監視カメラの映像を、前記音イベントが検出された音声に対応する監視カメラ以外の他の監視カメラの映像と異なる表示態様で表示するよう制御することを特徴とする情報処理装置。
【請求項１４】
複数の監視カメラと、前記監視カメラにより得られた映像を表示する情報処理装置と、を有する監視システムが実行する情報処理方法であって、
前記監視カメラの集音手段により得られた音声に基づいて、音イベントを検出する検出ステップと、
前記監視カメラの撮影手段により撮影された映像を表示手段に表示するよう制御する表示処理ステップと、
前記音イベントが検出されたタイミングに応じて定まる期間に前記監視カメラで得られた音声をイベント検出の通知音として出力するよう制御する出力処理ステップと
を含み、
前記表示処理ステップでは、前記音イベントが検出された音声に対応する前記監視カメラの映像を、前記音イベントが検出された音声に対応する監視カメラ以外の他の監視カメラの映像と異なる表示態様で表示するよう制御することを特徴とする情報処理方法。
【請求項１５】
複数の監視カメラにより得られた映像を表示する情報処理装置が実行する情報処理方法であって、
複数の前記監視カメラそれぞれの撮影手段により撮影された映像を表示手段に表示するよう制御する表示処理ステップと、
前記監視カメラの集音手段により得られた音声に基づいて、音イベントが検出された場合に、前記音イベントが検出されたタイミングに応じて定まる期間に前記監視カメラにより得られた音声をイベント検出の通知音として出力するよう制御する出力処理ステップと
を含み、
前記表示処理ステップでは、前記音イベントが検出された場合に、前記音イベントが検出された音声に対応する監視カメラの映像を、前記音イベントが検出された音声に対応する監視カメラ以外の他の監視カメラの映像と異なる表示態様で表示するよう制御することを特徴とする情報処理方法。
【請求項１６】
コンピュータを、請求項１３に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声からイベントを検出する監視システム、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の監視カメラの映像を同時に複数の画面に提示し、監視員がモニタリングするシステムでは、各カメラに付属するマイクで収集された音声は通常状態においては再生されない。これは複数のカメラにより得られた音声を同時に出力すると音が聞き取り難いためである。一方で、このようなシステムは、音や映像から特定のイベントを検出し、通知を行う機能を有するものがある。監視員に対するイベントの通知は、予め設定された通知音や、画面の強調表示等により行われる場合が多い。
【０００３】
特許文献１には、音のイベントを検出した場合に、その音を入力したカメラの音声の音量を大きくし、かつ他のカメラの音声の音量を小さくする技術が開示されている。これにより、監視員は、検出されたイベントの音を確認し易くなる。また、映像や音声を記録しておいてイベントを検出した場合に、イベントを通知し、イベント検出時の映像と音声を再生して確認する技術も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３００５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば、切り破り（ガラス切りで切り取る）やこじ破り（ドライバをガラスと窓枠の隙間に差し込みねじる）などの手口ではガラスの破壊音は小さく、継続時間が短い。このため、イベントを検出する前に音声が終了してしまう場合もある。したがって、イベントを検出してからイベントが検出されたカメラのリアルタイムの音声の出力を開始しても、イベントに係る音を聞き逃してしまう可能性がある。
【０００６】
また、上述のように、イベントを検出した場合に、イベント検出時の映像と音声を再生する技術も知られている。しかしながら、例えばガラス破壊音のイベントの後に人が侵入しようとしているかを複数の監視カメラの映像を使って監視する必要がある。その場合には、イベント発生時の映像（イベントを検出した監視カメラ単独の映像）の確認作業を行うだけでは、ガラス破壊音のイベントがあった後に起こる状況の監視が不十分になってしまう。
【０００７】
本発明はこのような問題点に鑑みなされたもので、音に関するイベントが検出された場合に、適切な情報をユーザに提供することを目的とする。
【課題を解決するための手段】
【０００８】
そこで、本発明は、複数の監視カメラと、前記監視カメラにより得られた映像を表示する情報処理装置と、を有する監視システムであって、前記監視カメラの集音手段により得られた音声に基づいて、音イベントを検出する検出手段と、前記監視カメラの撮影手段により撮影された映像を表示手段に表示するよう制御する表示処理手段と、前記音イベントが検出されたタイミングに応じて定まる期間に前記監視カメラで得られた音声をイベント検出の通知音として出力するよう制御する出力処理手段とを有し、前記表示処理手段は、前記音イベントが検出された音声に対応する前記監視カメラの映像を、前記音イベントが検出された音声に対応する監視カメラ以外の他の監視カメラの映像と異なる表示態様で表示するよう制御することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、音に関するイベントが検出された場合に、適切な情報をユーザに提供することができる。
【図面の簡単な説明】
【００１０】
【図１】監視システムのハードウェア構成図である。
【図２】監視システムのソフトウェア構成図である。
【図３】監視システムの処理を示すフローチャートである。
【図４】音イベント検出に係るタイミングの説明図である。
【図５】イベント通知処理の説明図である。
【図６】第２の実施形態に係るモニタ装置の処理を示すフローチャートである。
【図７】第３の実施形態に係る監視システムのソフトウェア構成図である。
【図８】第３の実施形態に係る監視システムの処理を示すフローチャートである。
【図９】第４の実施形態に係るモニタ装置の処理を示すフローチャートである。
【図１０】通知音が複数回出力される場合の説明図である。
【図１１】モニタ装置の処理の説明図である。
【図１２】モニタ装置の処理の説明図である。
【図１３】通知音の再生タイミングを示す図である。
【図１４】音声処理の説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面に基づいて説明する。
【００１２】
（第１の実施形態）
図１は、第１の実施形態に係る監視システム１００のハードウェア構成図である。監視システム１００は、監視カメラ１１０と、監視カメラ１１０により撮影された映像を表示するモニタ装置１２０とを有している。モニタ装置１２０は、情報処理装置の一例である。監視カメラ１１０とモニタ装置１２０はネットワークを介して接続している。監視カメラ１１０は監視エリアに配置されており、モニタ装置１２０は、監視ルームに設定されているものとする。図１には、１つの監視カメラ１１０のみを示しているが、監視システム１００は、複数の監視カメラ１１０を有し、モニタ装置１２０は、複数の監視カメラ１１０それぞれにより得られた映像を、同時に表示部に表示する。なお、他の例としては、モニタ装置１２０は、複数の表示部（モニタ）を有し、複数の表示部それぞれに各監視カメラ１１０から得られた映像を表示してもよい。
【００１３】
図１（Ａ）は、監視カメラ１１０のハードウェア構成図である。監視カメラ１１０は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、通信部１１４と、撮影部１１７と、集音部１１８と、を有している。ＣＰＵ１１１は、ＲＯＭ１１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、後述する監視カメラ１１０の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１４】
通信部１１４は、ネットワークを介して外部装置との通信処理を行い、パラメータ設定やカメラ操作などを受け入れ、撮像した映像や音声を送信する。撮影部１１７は、映像を撮影する。本実施形態においては、設置されたエリアの映像を撮影する。集音部１１８は、撮影と同時に周囲の音声を集音する。
【００１５】
図１（Ｂ）は、モニタ装置１２０のハードウェア構成図である。モニタ装置１２０は、ＣＰＵ１２１と、ＲＯＭ１２２と、ＲＡＭ１２３と、通信部１２４と、表示部１２５と、入力部１２６と、ＨＤＤ１２７と、スピーカ１２８を有している。ＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、通信部１２４、それぞれ監視カメラ１１０のＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、通信部１１４、と同様である。表示部１２５は送信された画像や各種情報を表示する。入力部１２６はキーボードやマウスを有しユーザによる各種操作を受け付ける、ＨＤＤ１２７は、各種データや各種プログラム等を記憶する。なお、後述するモニタ装置１２０の機能や処理は、ＣＰＵ１２１がＲＯＭ１２２やＨＤＤ１２７に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。スピーカ１２８は、音声を出力する。
【００１６】
図２は、監視システム１００のソフトウェア構成図である。図２（Ａ）は、監視カメラ１１０のソフトウェア構成図である。監視カメラ１１０は、映像取得部２１１と、音声取得部２１２と、検出部２１３と、通信処理部２１４と、を有している。映像取得部２１１は、撮影部１１７により得られた映像を取得する。音声取得部２１２は、集音部１１８により得られた音声を取得する。検出部２１３は、音声から音イベントを検出し、映像から映像イベントを検出する。ここで、音イベントとしては、悲鳴やガラスの破壊音、銃声等、特定の音の発生が挙げられる。映像イベントとしては、特定箇所への人の侵入等が挙げられる。通信処理部２１４は、外部装置との通信を制御する。なお、音イベント、映像イベント共に、検出部２１３が検出すべきイベントの種類は予め定められているものとする。
【００１７】
図２（Ｂ）は、モニタ装置１２０のソフトウェア構成図である。モニタ装置１２０は、通信処理部２２１と、表示処理部２２２と、音声バッファ２２３と、通知音ＤＢ２２４と、通知音管理部２２５と、出力処理部２２６と、を有している。映像取得部２１１は、外部装置との通信を制御する。表示処理部２２２は、映像取得部２１１を介して監視カメラ１１０から受信した映像を表示部１２５に表示するよう制御する。前述の通り、モニタ装置１２０は、複数の監視カメラ１１０から複数の映像を取得し、これらを同時に表示部１２５に表示する。
【００１８】
音声バッファ２２３は、映像取得部２１１を介して監視カメラ１１０から受信した音声を記憶する。なお、音声バッファ２２３には、短期間だけ一時的に音声が記憶されるものとする。なお、他の例としては、モニタ装置１２０は、音声バッファ２２３に音声を一時的に記憶するのに替えて、監視カメラ１１０から受信した音声を、映像と共に監視記録として記憶装置に記憶してもよい。通知音ＤＢ２２４は、監視カメラ１１０において検出された映像イベントの種類に応じて出力すべき通知音を記憶している。通知音管理部２２５は、通知音を管理する。出力処理部２２６は、通知音の出力等、スピーカ１２８への音声出力を制御する。
【００１９】
図３（Ａ）は、監視カメラ１１０によるイベント検出処理を示すフローチャートである。Ｓ３０１において、監視カメラ１１０の映像取得部２１１及び音声取得部２１２はそれぞれ映像及び音声を取得する。次に、Ｓ３０２において、通信処理部２１４は、Ｓ３０１において得られた映像及び音声をモニタ装置１２０に送信する。具体的には、通信処理部２１４は、Ｓ３０１において、一定時間分の映像と音声が得られると、これらをモニタ装置１２０に送信する。次に、Ｓ３０３において、検出部２１３は、音声取得部２１２により得られた音声に基づいて音イベントを検出し、映像取得部２１１により得られた映像に基づいて映像イベントを検出する。
【００２０】
ここで、音イベントの検出処理について具体的に説明する。検出部２１３は、音イベントの検出方法として、例えば以下の３つの方法を利用することができる。
（１）  短い単位区間の特徴量を検出し、音響モデルとの尤度を求め、一定区間の累積尤度を求め、一番尤度の高いモデルが音イベントの場合に音イベント検出と判定する。
（２）  音の候補区間を先に求めておき、その中の特徴量と音響モデルの尤度を求め、区間内の累積尤度の高いモデルが音イベントの場合に音イベント検出とする。
（３）  一定区間の特徴量を検出し、音イベントに特有の特徴が一定時間継続した場合に、音イベント検出と判定する。
【００２１】
このように、音イベントの検出には、一定期間の音声が必要となる。特に（２）の場合には、候補区間の終了を検出するまで音イベント検出の判定を行うことができない。図４は、音イベント検出に係るタイミングの説明図である。図４に示すグラフの横軸は時間、縦軸は振幅を示している。Ｔ１は、音イベントの開始位置であり、Ｔ３は、音イベントの終了位置である。これに対し、音イベントの開始が検出されるタイミングはＴ１よりも後のＴ２のタイミングとなる。また、音イベントの終了が検出されるタイミングはＴ３よりも後のＴ４のタイミングとなる。このため、Ｔ１からＴ２の期間に音の送信が行われ、受信側で音の再生が行われる場合においては、音イベントの開始が検出されたＴ２の時点で、受信側では、Ｔ１からＴ３までの期間に得られた音声の再生が既に終了している場合もある。
【００２２】
図３（Ａ）に戻り、Ｓ３０３の後、Ｓ３０４において、検出部２１３は、イベントを検出した場合には（Ｓ３０４でＹｅｓ）、処理をＳ３０５へ進める。検出部２１３は、イベントを検出しなかった場合には（Ｓ３０４でＮｏ）、イベント検出処理を終了する。Ｓ３０５において、通信処理部２１４は、イベントを検出したことを示す検出情報をモニタ装置１２０に送信する。検出情報には、イベントの種類を示す種類情報と、イベント期間を示す期間情報と、が含まれているものとする。ここで、イベント期間は、イベント開始からイベント終了までの期間である。ＣＰＵ１１１は、イベント検出処理を一定時間毎に繰り返す。
【００２３】
図３（Ｂ）は、モニタ装置１２０によるイベント通知処理を示すフローチャートである。Ｓ３１１において、映像取得部２１１は、監視カメラ１１０から映像及び音声を受信する。本実施形態においては、映像取得部２１１は、複数の監視カメラ１１０それぞれから映像及び音声を受信する。次に、Ｓ３１２において、表示処理部２２２は、Ｓ３１１において受信した映像を表示部１２５に表示するよう制御する。本実施形態においては、表示処理部２２２は、複数の監視カメラ１１０から得られた複数の映像を表示部１２５に表示するよう制御する。本処理は、表示処理の一例である。次に、Ｓ３１３において、映像取得部２１１は、音声を音声バッファ２２３に記録する。
【００２４】
次に、Ｓ３１４において、通知音管理部２２５は、映像取得部２１１は、イベントの検出情報を受信したか否かを確認する。映像取得部２１１は、検出情報を受信した場合には（Ｓ３１４でＹｅｓ）、処理をＳ３１５へ進める。映像取得部２１１は、検出情報を受信しなかった場合には（Ｓ３１４でＮｏ）、イベント通知処理を終了する。Ｓ３１５において、通知音管理部２２５は、検出情報に係るイベントの種類を確認する。通知音管理部２２５は、映像イベントの場合には（Ｓ３１５でＹｅｓ）、処理をＳ３１６へ進める。通知音管理部２２５は、映像イベントでない場合、すなわち音イベントの場合には（Ｓ３１５でＮｏ）、処理をＳ３１７へ進める。Ｓ３１６において、通知音管理部２２５は、検出情報に示される映像イベントに対応付けられた通知音を、通知音ＤＢ２２４から取得し、その後処理をＳ３１８へ進める。
【００２５】
一方、Ｓ３１７においては、通知音管理部２２５は、検出情報を参照し、イベント期間を特定する。そして、通知音管理部２２５は、検出情報に係る監視カメラ１１０により得られた、検出情報に係るイベント期間の音声を通知音として音声バッファ２２３から取得する。そして、通知音管理部２２５は、処理をＳ３１８へ進める。
【００２６】
Ｓ３１８において、出力処理部２２６は、通知音をスピーカ１２８から出力するよう制御する。すなわち、Ｓ３１６において、通知音ＤＢ２２４から通知音が取得された場合には、通知音ＤＢ２２４の通知音が出力される。一方、Ｓ３１７において、通知音として音声が取得された場合には、検出情報に係る監視カメラ１１０において録音された音声が再生される。本処理は、出力制御処理の一例である。
【００２７】
次に、Ｓ３１９において、表示処理部２２２は、検出情報に係る監視カメラ１１０により撮影された映像を強調表示する。例えば、検出情報に係る監視カメラ１１０により撮影された映像にのみ、特別な枠を描画表示してもよい。なお、表示処理部２２２は、検出情報に対応した映像を、検出情報に対応した映像以外の他の映像と異なる表示態様で表示すればよく、そのための具体的な処理は実施形態に限定されるものではない。本処理は、記音イベントが検出された音声に対応する監視カメラの映像を、音イベントが検出された音声に対応する監視カメラ以外の他の監視カメラの映像と異なる表示態様で表示するよう制御する処理の一例である。
【００２８】
図５は、イベント通知処理の説明図である。モニタ装置１２０は、監視カメラ１１０から映像を受信し、図５（Ａ）に示すように、複数の監視カメラ１１０から得られた複数の映像を表示部１２５に一覧表示する。なお、異常（イベント）が発生していない、通常の状態においては、モニタ装置１２０は、音声の再生は行わない。
【００２９】
その後、図５（Ｂ）に示すように、映像５０１において、窓ガラスの破壊の映像５０１が再生されたとする。図４を参照しつつ説明したように、窓ガラスが破壊された時点ではまだ音イベントは検出されておらず、モニタ装置１２０による通知音の出力はまだ行われない。そして、監視カメラ１１０において音イベントが検出され、モニタ装置１２０が検出情報を受信すると、図５（Ｃ）に示すように、モニタ装置１２０は、音イベントをユーザに通知するために、音イベントに対応した期間の音声を通知音５０２として再生出力する。さらに、モニタ装置１２０は、検出情報に対応した映像５０３を強調表示する。
【００３０】
このように、モニタ装置１２０は、音声を随時記録しておく。そして、モニタ装置１２０は、音イベントが検出された場合には、イベント発生期間の音声を通知音として出力しつつ、イベント期間の映像ではなく、その後の時点である処理時点において再生表示される映像を強調表示するよう制御する。
【００３１】
このように、イベント検出時の音声が通知音として再生出力されるので、監視員等のユーザは、そのイベントの内容を把握し易くなる。例えば、子供の歓声等が悲鳴の音イベントとして誤検出される可能性がある。これに対し、この音声を通知音として利用することにより、ユーザは、映像を確認せずとも、緊急性を要するものかそうでないかの判断を行い易くなる。また、継続時間の短い音イベントの場合であっても、音の発生御に、通知音として音声が出力されるので、ユーザは、音の内容を聞き逃すことなく、確認することができる。さらに、イベント検出に対応した映像を強調表示と連動させるので、イベントの発生現場の視認性を助け、かつ通知音の出力時の映像の確認を可能とすることができる。以上のように、監視システム１００は、音に関するイベントが検出された場合に、適切な情報をユーザに提供することができる。
【００３２】
なお、第１の実施形態の第１の変形例としては、表示処理部２２２は、通知音として音声を出力する場合には、出力中の音声が表示中の映像と同期した音声ではないことを示す画像やテキスト等の情報を表示部１２５に表示するよう制御してもよい。また、表示処理部２２２は、この音声がイベント発生中の音声であることを示す画像やテキスト等の情報を、表示部１２５に表示するよう制御してもよい。これにより、ユーザは、確認中の音声が映像と同期した音声であると誤認するのを防ぐことができる。
【００３３】
また、第２の変形例としては、イベント検出処理は、監視カメラ１１０に替えて、モニタ装置１２０が行うこととしてもよい。この場合には、監視カメラ１１０に替えて、モニタ装置１２０が検出部を有する。そして、モニタ装置１２０の検出部は、映像取得部２１１が受信した映像及び音声からイベントを検出する。
【００３４】
また、第３の変形例としては、通知音として利用される音声は、音イベントが検出されたタイミングに応じて定まる期間に監視カメラ１１０により得られた音声であればよく、イベント期間の音声に限定されるものではない。他の例としては、例えば、音イベントの開始時点より前を始点とする期間の音声でもよく、音イベントの終了時点より後を終点とする期間の音声でもよい。また、音イベントの開始イベントから一定期間の音声でもよい。
【００３５】
（第２の実施形態）
次に、第２の実施形態に係る監視システム１００について説明する。第１の実施形態においては、音イベントに対しては、音イベントが終了した後で検出情報が送信されるため、モニタ装置１２０は、音イベントが終了した後でないと通知音の出力を行うことができない。これに対し、第２の実施形態に係る監視システム１００においては、監視カメラ１１０は、音イベントについて、開始イベントと終了イベントとを区別して検出し、それぞれに対応した検出情報をモニタ装置１２０に送信することとする。
【００３６】
まず、図３（Ａ）を参照しつつ、第２の実施形態に係る監視カメラ１１０による、イベント検出処理について説明する。監視カメラ１１０は、Ｓ３０３において、音イベントとして、音声の開始イベントと音声の終了イベントをそれぞれ区別して検出する。そして、Ｓ３０４において、イベントありと判定すると、Ｓ３０５において、検出情報を送信する。なお、第２の実施形態においては、検出情報に含まれる種類情報には、音イベントに対しては、開始イベントと終了イベントがイベントの種類として示される。
【００３７】
図６は、第２の実施形態に係るモニタ装置１２０による、イベント通知処理を示すフローチャートである。なお、図６に示すイベント通知処理の各処理のうち、図３（Ｂ）を参照しつつ説明した、第１の実施形態に係るイベント通知処理の各処理と同一の処理には、同一の番号を付している。
【００３８】
ＣＰＵ１２１は、Ｓ３１５において、映像イベントでない場合、すなわち音声の開始イベントの場合には（Ｓ３１５でＮｏ）、処理をＳ６０１へ進める。Ｓ６０１において、通知音管理部２２５は、検出情報に基づいて、音声の開始位置を通知音の基準位置として設定する。通知音管理部２２５は、基準位置を始点とする所定期間の音声を通知音として音声バッファ２２３から取得する。次に、Ｓ６０２において、出力処理部２２６は、通知音として得られた音声を出力するよう制御する。出力処理部２２６が音声出力を終了すると、Ｓ６０３において、通知音管理部２２５は、通知音の基準位置を音声出力された期間の一番後の時点に変更する。次に、Ｓ６０４において、表示処理部２２２は、検出情報に係る監視カメラ１１０により撮影された映像を強調表示する。本処理は、Ｓ３１９における処理と同様である。
【００３９】
次に、Ｓ６０５において、映像取得部２１１は、終了イベントの検出情報を受信したか否かを確認する。映像取得部２１１は、終了イベントの検出情報を受信した場合には（Ｓ６０５でＹｅｓ）、処理をＳ６０６へ進める。映像取得部２１１は、終了イベントの検出情報を受信しなかった場合には（Ｓ６０５でＮｏ）、処理をＳ６０７へ進める。Ｓ６０６において、通知音管理部２２５は、Ｓ６０５において受信した検出情報に基づいて、音声の終了位置を通知音の終了位置として設定する。
【００４０】
次に、Ｓ６０７において、通知音管理部２２５は、設定された終了位置までの期間の音声出力が完了したか否かを確認する。通知音管理部２２５は、終了位置までの音声出力が完了した場合には（Ｓ６０７でＹｅｓ）、イベント通知処理を終了する。通知音管理部２２５は、終了位置までの音声出力が完了していない場合には（Ｓ６０７でＮｏ）、処理をＳ６０２へ進める。そして、モニタ装置１２０は、Ｓ６０２からＳ６０７の処理を一定時間毎に繰り返すことにより、音声を通知音として再生出力する処理を繰り返す。
【００４１】
図４の例では、モニタ装置１２０は、Ｔ２のタイミングで、開始タイミングＴ１を示す情報を含む検出情報を受信し、Ｔ１を基準位置として設定し（Ｓ６０１）、一定時間毎に音声の再生を繰り返す。そして、モニタ装置１２０は、Ｔ４のタイミングで、終了タイミングＴ３を示す情報を含む検出情報を受信し、Ｔ３を終了位置として設定し（Ｓ６０６）、音声の期間が終了位置を超えるまで、音声の再生を繰り返す。第２の実施形態に係る監視システム１００のこれ以外の構成及び処理は、第１の実施形態に係る監視システム１００の構成及び処理と同様である。以上のように、第２の実施形態に係る監視システム１００は、イベント発生直後に通知音の出力を開始することができる。
【００４２】
（第３の実施形態）
次に、第３の実施形態に係る監視システム１００について説明する。第３の実施形態においては、監視カメラ１１０は、音声を一時保存する機能を有し、音イベントを検出した場合にモニタ装置１２０に音声を送信する。図７（Ａ）は、第３の実施形態に係る監視カメラ１１０のソフトウェア構成を示す図である。第１の実施形態に係る監視カメラ１１０の機能と同じ機能には同じ番号を付している。監視カメラ１１０は、第１の実施形態の監視カメラ１１０の機能に加え、音声バッファ７１１と、音声管理部７１２と、を有している。音声バッファ７１１は、音声取得部２１２が取得した音声を一時的に保存する。音声管理部７１２は、検出部２１３が音イベントを検出した場合に、通知音として利用する音声を音声バッファ７１１から取得する。
【００４３】
図７（Ｂ）は、第３の実施形態に係るモニタ装置１２０のソフトウェア構成を示す図である。第１の実施形態に係るモニタ装置１２０の機能と同じ機能には同じ番号を付している。モニタ装置１２０は、音声バッファを有さない点で、第１の実施形態と、そのソフトウェア構成が異なっている。
【００４４】
図８（Ａ）は、第３の実施形態に係る監視カメラ１１０による、イベント検出処理を示すフローチャートである。なお、図８（Ａ）に示すイベント検出処理の各処理のうち、図３（Ａ）を参照しつつ説明した第１の実施形態に係るイベント検出処理の各処理と同一の処理には、同一の番号を付している。ＣＰＵ１１１は、Ｓ３０１において映像及び音声を取得した後、処理をＳ８０１へ進める。Ｓ８０１において、通信処理部２１４は、Ｓ３０１において得られた映像をモニタ装置１２０に送信する。このとき、通信処理部２１４は、音声の送信は行わない。次に、Ｓ８０２において、音声取得部２１２は、音声を音声バッファ７１１に保存する。その後、ＣＰＵ１１１は、処理をＳ３０３へ進める。
【００４５】
ＣＰＵ１１１は、Ｓ３０５において検出情報が送信された後、処理をＳ８０３へ進める。Ｓ８０３において、検出部２１３は、検出したイベントの種類を確認する。検出部２１３は、音イベントの場合には（Ｓ８０３でＹｅｓ）、処理をＳ８０４へ進める。検出部２１３は、音イベントでない場合、すなわち映像イベントの場合には（Ｓ８０３でＮｏ）、イベント検出処理を終了する。Ｓ８０４において、音声管理部７１２は、音イベントに係るイベント期間を特定する。そして、音声管理部７１２は、イベント期間の音声を通知音として音声バッファ７１１から取得する。次に、Ｓ８０５において、通信処理部２１４は、Ｓ８０４において得られた音声をモニタ装置１２０に送信する。
【００４６】
図８（Ｂ）は、第３の実施形態に係るモニタ装置１２０による、イベント通知処理を示すフローチャートである。なお、図８（Ｂ）に示すイベント検出処理の各処理のうち、図３（Ｂ）を参照しつつ説明した第１の実施形態に係るイベント通知処理の各処理と同一の処理には、同一の番号を付している。まず、Ｓ８１１において、映像取得部２１１は、監視カメラ１１０から映像を受信する。本実施形態においては、この時点で音声は受信しない。
【００４７】
次に、Ｓ３１２において、表示処理部２２２は、Ｓ８１１において受信した映像を表示部１２５に表示するよう制御する。ＣＰＵ１２１は、その後処理をＳ３１４へ進める。また、ＣＰＵ１２１は、Ｓ３１５において、イベントの種類が音イベントの場合には（Ｓ３１５でＮｏ）、処理をＳ８１２へ進める。Ｓ８１２において、映像取得部２１１は、通知音として利用する音声を監視カメラ１１０から受信し、その後処理をＳ３１８へ進める。この場合、Ｓ３１８において、出力処理部２２６は、Ｓ８１２において受信した音声を通知音として出力するよう制御する。
【００４８】
なお、第３の実施形態の監視システム１００のこれ以外の構成及び処理は、他の実施形態の監視システム１００の構成及び処理と同様である。また、第２の実施形態において説明したように、開始イベントに応じて音声の送信を開始し、終了イベントに応じて音声の送信を停止してもよいことは言うまでもない。この場合、モニタ装置１２０は、開始イベントの検出情報を受信した場合に、音声フラグに１を設定し、終了イベントの検出情報を受信した場合に、音声フラグに０を設定する。そして、モニタ装置１２０は、音声フラグが１の間、音声の受信及び再生出力を行う。
【００４９】
（第４の実施形態）
次に、第４の実施形態に係る監視システム１００について説明する。第４の実施形態においては、モニタ装置１２０は、通知音の再生を、一定の間隔を置いて、複数回繰り返し行う。図９は、第４の実施形態に係るモニタ装置１２０の処理を示すフローチャートである。モニタ装置１２０は、図３（Ｂ）のイベント通知処理におけるＳ３１９の処理の後、図９の処理を行う。
【００５０】
Ｓ９０１において、出力処理部２２６は、通知音の出力を予め定められた回数行ったか否かを確認する。出力処理部２２６は、予め定められた回数行っている場合には（Ｓ９０１でＹｅｓ）、処理を終了する。出力処理部２２６は、予め定められた回数行っていない場合には（Ｓ９０１でＮｏ）、処理をＳ９０２へ進める。Ｓ９０２において、出力処理部２２６は、一定期間待機する。次に、Ｓ９０３において、出力処理部２２６は、直前に出力した通知音を取得する。次に、Ｓ９０４において、出力処理部２２６は、Ｓ９０３において取得した通知音を出力するよう制御する。これにより、１つのイベントに対応した、同一の通知音を一定間隔おきに、繰り返し出力することができる。なお、他の例としては、複数回の通知音の出力間隔は必ずしも一定でなくともよい。
【００５１】
図１０は、音イベントに対応して通知音が複数回出力される場合の説明図である。図１０（Ａ）、図１０（Ｂ）及び図１０（Ｃ）は、それぞれ時刻Ｔ１１、１Ｔ２、Ｔ１３における映像の表示例を示す図である。ここで、Ｔ１１＜Ｔ１２＜Ｔ１３とする。図１０（Ａ）に示すように、Ｔ１１の時点でガラス破壊に関し、最初の通知音が再生される。その後、図１０（Ｂ）、図１０（Ｃ）に示すように、Ｔ１２、Ｔ１３において、窓を開けて人が侵入している映像に対し、ガラス破壊の通知音が繰り返し再生される。
【００５２】
なお、第４の実施形態に係る監視システム１００のこれ以外の構成及び処理は、他の実施形態に係る監視システム１００の構成及び処理と同様である。また、第４の実施形態において説明した処理を第２の実施形態に組み合わせてもよい。この場合、モニタ装置１２０は、図６に示すＳ６０７でＹｅｓと判断した後、図９の処理を行えばよい。
【００５３】
第４の実施形態の第１の変形例としては、モニタ装置１２０の出力処理部２２６は、１つのイベントに対応した通知音を繰り返し出力する際に、通知音の音量を異ならせてもよい。例えば、出力処理部２２６は、通知音の出力の回数を重ねる毎により大きい音量の通知音を出力するよう制御してもよい。
【００５４】
第２の変形例としては、表示処理部２２２は、通知音が出力されている間は強調表示を強く、通知音が出力されていない間は強調表示を弱くする等により、強調表示の強度を通知音の出力に同調させてもよい。
【００５５】
（第５の実施形態）
次に、第５の実施形態に係る監視システム１００について説明する。第５の実施形態においては、モニタ装置１２０は、音イベントが一定期間に複数の検出情報を受信した場合に、１つの音イベントに対応した通知音を出力する。ここで、一定期間は、同時とみなせる程度に短い期間とする。この処理により、すべての音イベントに対応した通知音を同時に出力することにより、音が混ざり、聞き取り難くなるのを防ぐことができる。なお、一定期間は予め定められた期間であればよく実施形態に限定されるものではない。他の例としては、一定期間は、例えば、検出が予測される音イベントの経過時間と同程度の期間であってもよい。
【００５６】
本実施形態においては、通知音管理部２２５は、各検出情報から特定されるイベン期間の音声の音量を特定する。そして、音量が最大となる音声を通知音として選択する。そして、出力処理部２２６は、通知音管理部２２５により選択された音声を通知音として出力するよう制御する。なお、本実施形態において、モニタ装置１２０の表示処理部２２２は、他の実施形態における処理と同様に、音イベントが検出されたすべての監視カメラ１１０の映像を強調表示する。
【００５７】
図１１は、２台の監視カメラ１１０において同時に音イベントが検出された場合の、モニタ装置１２０の処理の説明図である。この場合、図１１に示すように、音イベントに検出された２台の監視カメラ１１０の映像１１０１、１１０２が強調表示される。一方で、通知音としては、例えば、映像１１０１に対応した監視カメラ１１０において得られた音声のみが出力される。なお、第５の実施形態に係る監視システム１００のこれ以外の構成及び処理は、他の実施形態に係る監視システム１００の構成及び処理と同様である。
【００５８】
第５の実施形態の変形例としては、モニタ装置１２０は、同時に受信した検出情報に係る音イベントの音声の種類が異なる場合には、種類の異なる音イベントに対応する通知音を、異なるタイミングで出力するよう制御してもよい。図１２は、２台の監視カメラにおいて同時に、種類の異なる音イベントが検出された場合の、モニタ装置１２０の処理の説明図である。この場合、図１２に示すように、２台のカメラ１１０の映像１２０１、１２０２が強調表示される。一方で、通知音については、図１２（Ａ）に示すように、Ｔ２１のタイミングで、映像１２０１に対応したガラスの破壊音が通知音として出力され、その後Ｔ２２（Ｔ２２＞Ｔ２１）のタイミングで、映像１２０２に対応した悲鳴を通知音として出力される。
【００５９】
図１３は、これらの通知音の再生タイミングを示す図である。１３０１はガラス破壊音の通知音であり、１３０２は悲鳴の通知音であり、この２つは同時に再生される。１３０３のタイミングでは１２０１の映像が強調表示され、１３０４のタイミングでは１２０２の画面が強調表示される。さらに、１３０５ではまた１２０１が、１３０６では１２０２が強調表示される。
【００６０】
次に、第１〜第５の実施形態の変形例について説明する。第１の変形例としては、モニタ装置１２０は、検出された音の種類毎に、特徴ある周波数帯のパワーを上げ、それ以外を落とす等してデフォルメした音声を通知音としてもよい。例えばガラス破壊音は３ＫＨｚ〜６ＫＨｚのあたりにパワーの大きな部分がある。図１４（Ａ）は、ガラス破壊音の一例を示す図である。点Ａに強いピークがあることがわかる。この場合には、出力処理部２２６は、この部分を強調する、図１４（Ｂ）に示すイコライザのフィルタの処理を施し、図１４（Ｃ）に示すような強調された音声を得る。そして、出力処理部２２６は、強調された音声を通知音として出力するよう制御する。
【００６１】
第３の変形例としては、表示処理部２２２は、映像と音声が同期したオンタイムの音声を出力する場合と、映像よりも前に得られた音声を出力する場合とを、ユーザが区別可能なように、強調表示やアイコン表示等の表示を異ならせてもよい。例えば、表示処理部２２２は、映像と同期したオンタイムの音声の場合は音量レベルのアイコンを、映像より過去の音声の場合はリプレイと音量レベルのアイコンを、対応する映像上に表示する。
【００６２】
第３の変形例としては、音イベントの場合と映像イベントの場合において、強調表示時の色を異なる色としてもよい。また、他の例としては、通知音を示すサイレンマークを異なるものとしてもよい。
【００６３】
第４の変形例としては、モニタ装置１２０が複数のディスプレイを有し、各ディスプレイに各監視カメラ１１０の映像を表示する場合において、さらにモニタ装置１２０がスピーカを複数有してもよい。そして、この場合に、音源が対応するディスプレイの位置に定位するよう音源定位処理を適用してもよい。
【００６４】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００６５】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６６】
１００  監視システム
１１０  監視カメラ
１２０  モニタ装置
【図１】
2018147150.tif 000003
【図２】
2018147150.tif 000004
【図３】
2018147150.tif 000005
【図４】
2018147150.tif 000006
【図５】
2018147150.tif 000007
【図６】
2018147150.tif 000008
【図７】
2018147150.tif 000009
【図８】
2018147150.tif 000010
【図９】
2018147150.tif 000011
【図１０】
2018147150.tif 000012
【図１１】
2018147150.tif 000013
【図１２】
2018147150.tif 000014
【図１３】
2018147150.tif 000015
【図１４】
2018147150.tif 000016