(57)【要約】【課題】集音装置からの音声データを監視カメラ等の撮像装置に登録しなくても、警告の通知や撮像装置の制御等を行えるようにすることを目的とする。【解決手段】参照音声情報を作成し、蓄積サーバに登録する登録手段と、蓄積サーバに蓄積された参照音声情報を選択する選択手段と、選択手段により選択された参照音声情報を蓄積サーバから取得する取得手段と、撮像装置の周辺の音を集音する集音装置から出力された集音情報と、取得手段で取得された参照音声情報と、を比較する比較手段と、比較手段での比較の結果に基づいて、集音情報と、参照音声情報と、の同一性を判定する判定手段と、判定手段での判定の結果に応じて、ユーザに警告を通知する通知手段と、を有することによって課題を解決する。【選択図】図１
2013232056.tif 000002
【特許請求の範囲】
【請求項１】
参照音声情報を作成し、蓄積サーバに登録する登録手段と、
蓄積サーバに蓄積された参照音声情報を選択する選択手段と、
前記選択手段により選択された参照音声情報を前記蓄積サーバから取得する取得手段と、
撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記取得手段で取得された参照音声情報と、を比較する比較手段と、
前記比較手段での比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定手段と、
前記判定手段での判定の結果に応じて、ユーザに警告を通知する通知手段と、
を有する表示装置。
【請求項２】
前記比較手段は、撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記取得手段で取得された参照音声情報と、を比較し、前記集音情報と、前記参照音声情報と、の類似度を算出し、
前記判定手段は、前記算出された類似度が閾値以上か否かに基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定し、
前記通知手段は、前記判定手段において前記類似度が前記閾値以上であることによって、前記集音情報と、前記参照音声情報と、に同一性があると判定された場合、ユーザに警告を通知する請求項１記載の表示装置。
【請求項３】
前記判定手段において前記類似度が前記閾値以上であることによって、前記集音情報と、前記参照音声情報と、に同一性があると判定された場合、前記集音情報を参照音声情報として前記蓄積サーバに登録する登録手段を更に有する請求項２記載の表示装置。
【請求項４】
前記選択手段は、指定されたカテゴリに基づいて、前記蓄積サーバに蓄積された参照音声情報を検索し、検索に合致した参照音声情報のうち、指定された参照音声情報を選択する請求項１乃至３何れか１項記載の表示装置。
【請求項５】
前記選択手段は、キーワードに基づいて、前記蓄積サーバに蓄積された参照音声情報を検索し、検索に合致した参照音声情報を選択する請求項１乃至３何れか１項記載の表示装置。
【請求項６】
前記選択手段は、前記撮像装置で撮像されている画像に基づき撮像されている状況を判断し、判断の結果に基づいて、前記蓄積サーバに蓄積された参照音声情報を検索し、検索に合致した参照音声情報のうち、指定された参照音声情報を選択する請求項１乃至３何れか１項記載の表示装置。
【請求項７】
参照音声情報を作成し、蓄積サーバに登録する登録手段と、
蓄積サーバに蓄積された参照音声情報を選択する選択手段と、
前記選択手段により選択された参照音声情報を前記蓄積サーバから取得する取得手段と、
撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記取得手段で取得された参照音声情報と、を比較する比較手段と、
前記比較手段での比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定手段と、
前記判定手段での判定の結果に応じて、前記撮像装置を制御する制御手段と、
を有する表示装置。
【請求項８】
表示装置と、撮像装置と、を含むシステムであって、
前記表示装置は、
参照音声情報を作成し、蓄積サーバに登録する登録手段と、
蓄積サーバに蓄積された参照音声情報を選択する選択手段と、
前記選択手段により選択された参照音声情報を前記蓄積サーバから取得する取得手段と、
前記取得手段で取得された前記参照音声情報を前記撮像装置に送信する送信手段と、
を有し、
前記撮像装置は、
前記表示装置より前記参照音声情報を受信する受信手段と、
撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記受信手段で受信された参照音声情報と、を比較する比較手段と、
前記比較手段での比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定手段と、
前記判定手段での判定の結果に応じて、警告情報を前記表示装置に送信する送信手段と、
を有し、
前記表示装置は、更に、前記撮像装置より前記警告情報を受け取るとユーザに警告を通知する通知手段を有するシステム。
【請求項９】
表示装置と、撮像装置と、を含むシステムであって、
前記表示装置は、
参照音声情報を作成し、蓄積サーバに登録する登録手段と、
蓄積サーバに蓄積された参照音声情報を選択する選択手段と、
前記選択手段により選択された参照音声情報を前記蓄積サーバから取得する取得手段と、
前記取得手段で取得された前記参照音声情報を前記撮像装置に送信する送信手段と、
を有し、
前記撮像装置は、
前記表示装置より前記参照音声情報を受信する受信手段と、
撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記受信手段で受信された参照音声情報と、を比較する比較手段と、
前記比較手段での比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定手段と、
前記判定手段での判定の結果に応じて、警告情報を前記表示装置に送信する送信手段と、
を有し、
前記表示装置は、更に、前記判定手段での判定の結果に応じて、前記撮像装置を制御する制御手段を有するシステム。
【請求項１０】
表示装置が実行する情報処理方法であって、
参照音声情報を作成し、蓄積サーバに登録する登録ステップと、
蓄積サーバに蓄積された参照音声情報を選択する選択ステップと、
前記選択ステップにより選択された参照音声情報を前記蓄積サーバから取得する取得ステップと、
撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記取得ステップで取得された参照音声情報と、を比較する比較ステップと、
前記比較ステップでの比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定ステップと、
前記判定ステップでの判定の結果に応じて、ユーザに警告を通知する通知ステップと、
を含む情報処理方法。
【請求項１１】
表示装置が実行する情報処理方法であって、
参照音声情報を作成し、蓄積サーバに登録する登録ステップと、
蓄積サーバに蓄積された参照音声情報を選択する選択ステップと、
前記選択ステップにより選択された参照音声情報を前記蓄積サーバから取得する取得ステップと、
撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記取得ステップで取得された参照音声情報と、を比較する比較ステップと、
前記比較ステップでの比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定ステップと、
前記判定ステップでの判定の結果に応じて、前記撮像装置を制御する制御ステップと、
を含む情報処理方法。
【請求項１２】
表示装置と、撮像装置と、を含むシステムにおける情報処理方法であって、
前記表示装置が、参照音声情報を作成し、蓄積サーバに登録する登録ステップと、
前記表示装置が、蓄積サーバに蓄積された参照音声情報を選択する選択ステップと、
前記表示装置が、前記選択ステップにより選択された参照音声情報を前記蓄積サーバから取得する取得ステップと、
前記表示装置が、前記取得ステップで取得された前記参照音声情報を前記撮像装置に送信する送信ステップと、
前記撮像装置が、前記表示装置より前記参照音声情報を受信する受信ステップと、
前記撮像装置が、撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記受信ステップで受信された参照音声情報と、を比較する比較ステップと、
前記撮像装置が、前記比較ステップでの比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定ステップと、
前記撮像装置が、前記判定ステップでの判定の結果に応じて、警告情報を前記表示装置に送信する送信ステップと、
前記表示装置が、前記撮像装置より前記警告情報を受け取るとユーザに警告を通知する通知ステップと、
を含む情報処理方法。
【請求項１３】
表示装置と、撮像装置と、を含むシステムにおける情報処理方法であって、
前記表示装置が、参照音声情報を作成し、蓄積サーバに登録する登録ステップと、
前記表示装置が、蓄積サーバに蓄積された参照音声情報を選択する選択ステップと、
前記表示装置が、前記選択ステップにより選択された参照音声情報を前記蓄積サーバから取得する取得ステップと、
前記表示装置が、前記取得ステップで取得された前記参照音声情報を前記撮像装置に送信する送信ステップと、
前記撮像装置が、前記表示装置より前記参照音声情報を受信する受信ステップと、
前記撮像装置が、撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記受信ステップで受信された参照音声情報と、を比較する比較ステップと、
前記撮像装置が、前記比較ステップでの比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定ステップと、
前記撮像装置が、前記判定ステップでの判定の結果に応じて、警告情報を前記表示装置に送信する送信ステップと、
前記表示装置が、前記判定ステップでの判定の結果に応じて、前記撮像装置を制御する制御ステップと、
を含む情報処理方法。
【請求項１４】
コンピュータに、
参照音声情報を作成し、蓄積サーバに登録する登録ステップと、
蓄積サーバに蓄積された参照音声情報を選択する選択ステップと、
前記選択ステップにより選択された参照音声情報を前記蓄積サーバから取得する取得ステップと、
撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記取得ステップで取得された参照音声情報と、を比較する比較ステップと、
前記比較ステップでの比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定ステップと、
前記判定ステップでの判定の結果に応じて、ユーザに警告を通知する通知ステップと、
を実行させるためのプログラム。
【請求項１５】
コンピュータに、
参照音声情報を作成し、蓄積サーバに登録する登録ステップと、
蓄積サーバに蓄積された参照音声情報を選択する選択ステップと、
前記選択ステップにより選択された参照音声情報を前記蓄積サーバから取得する取得ステップと、
撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記取得ステップで取得された参照音声情報と、を比較する比較ステップと、
前記比較ステップでの比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定ステップと、
前記判定ステップでの判定の結果に応じて、前記撮像装置を制御する制御ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
インターネットやイントラネットの普及、高速化によってネットワークを利用した動画像や音声の配信が行われていて、その技術を利用して撮影した映像や音声を蓄積サーバに保存して管理を行うネットワークカメラシステムがある。
ネットワークカメラシステムでは、カメラで撮影した映像をネットワークに転送してＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等に送る。このことによって、映像データを受信したＰＣはモニタ等の表示装置を用いてその映像を確認することができる。これにより、遠く離れた場所に設置したカメラをユーザが遠隔操作をすることが可能であり、更に複数の場所の監視を１人でモニタを見ながら行うことができる。
また、カメラ付属又は周囲に配置された音声集音装置を用いて音声の録音を行うシステムもある。このシステムによれば、異常な音声が検出された場合に撮影している画像と共に記録することが可能である。
【０００３】
この様な中、監視カメラシステムの中には、パン・チルト・ズーム機能が搭載されていてネットワークでつながれたビューワ等の表示装置を用いて映像を見ながら遠隔操作が可能なものがある。更に音声集音装置を用いて異常な音声の検出を行い、登録作業をすることによって監視カメラに決められた動作をさせるものも知られている（特許文献１参照）。
また、複数台の監視カメラと複数台の集音装置を用いた監視システムを構築する場合の監視カメラの映像と集音装置の音声情報とを関連づける方法も開示されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６２９６１号公報
【特許文献２】特開２００８−２１９２２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された従来技術では、音声情報を登録する際には集音装置からの音声データを利用しているが、登録したい音声が実際に発生させにくい場合は対応することができない。例えば、ガラスが割れる音を登録するために実際にガラスを割って登録すること等は考えにくい。
また、特許文献２に開示された従来技術においても、集音装置からの音声データを利用して登録している。
【０００６】
本発明はこのような問題点に鑑みなされたもので、集音装置からの音声データを監視カメラ等の撮像装置に登録しなくても、警告の通知や撮像装置の制御等を行えるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は、参照音声情報を作成し、蓄積サーバに登録する登録手段と、蓄積サーバに蓄積された参照音声情報を選択する選択手段と、前記選択手段により選択された参照音声情報を前記蓄積サーバから取得する取得手段と、撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記取得手段で取得された参照音声情報と、を比較する比較手段と、前記比較手段での比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定手段と、前記判定手段での判定の結果に応じて、ユーザに警告を通知する通知手段と、を有する。
【０００８】
また、本発明は、参照音声情報を作成し、蓄積サーバに登録する登録手段と、蓄積サーバに蓄積された参照音声情報を選択する選択手段と、前記選択手段により選択された参照音声情報を前記蓄積サーバから取得する取得手段と、撮像装置の周辺の音を集音する集音装置から出力された集音情報と、前記取得手段で取得された参照音声情報と、を比較する比較手段と、前記比較手段での比較の結果に基づいて、前記集音情報と、前記参照音声情報と、の同一性を判定する判定手段と、前記判定手段での判定の結果に応じて、前記撮像装置を制御する制御手段と、を有する。
【発明の効果】
【０００９】
本発明によれば、集音装置からの音声データを監視カメラ等の撮像装置に登録しなくても、警告の通知や撮像装置の制御等を行えるようにすることができる。
【図面の簡単な説明】
【００１０】
【図１】監視システムのシステム構成の一例を示した図である。
【図２】参照音声情報の作成を説明するための図（その１）である。
【図３】参照音声情報の作成を説明するための図（その２）である。
【図４】第１の実施形態の参照音声情報の選択を説明するための図である。
【図５】撮像装置の周辺の集音装置から取得した集音情報と蓄積サーバに蓄積された参照音声情報との比較処理を説明するための図である。
【図６】通知処理の一例を示すフローチャートである。
【図７】ビューワの構成の一例を示す図である。
【図８】参照音声検索画面の一例を示す図である。
【図９】第３の実施形態の参照音声情報の選択を説明するための図である。
【図１０】撮像装置の構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面に基づいて説明する。
【００１２】
＜第１の実施形態＞
まず、第１の実施形態について説明する。
図１は、監視システムのシステム構成の一例を示した図である。
監視システムは、撮像装置１０１、集音装置１０２、１０５、スピーカ１０３、１０６、ビューワ１０７、蓄積サーバ１０８を有する。
記憶装置１０９は、蓄積サーバ１０８が保持している。
撮像装置１０１と集音装置１０２とスピーカ１０３とは、集音装置１０５とスピーカ１０６とビューワ１０７と蓄積サーバ１０８と、ネットワークを介して接続されている。
尚、撮像装置１０１Ｂ、１０１Ｃ、集音装置１０２Ｂ、１０２Ｃ、１０５Ｂ、１０５Ｃ、スピーカ１０３Ｂ、１０３Ｃ、１０６Ｂ、１０６Ｃ、ビューワ１０７Ｂ、１０７Ｃは、複数の構成を想定したものである。基本構造はそれぞれ撮像装置１０１、集音装置１０２、１０５、スピーカ１０３、１０６、ビューワ１０７と同等のものである。
【００１３】
撮像装置１０１は、撮影を行い映像データの取得を行う。撮像装置１０１は、集音装置１０２から取得した集音情報（音声データ）と同期を取り、ネットワークを介してビューワに映像を送信する。
集音装置１０２は、撮像装置１０１と同期を取り、撮像装置の周辺の音を取得する。集音された集音情報は、ネットワークを介してビューワに送信される。尚、周辺とは、例えば、撮像装置から所定範囲内のことである。
スピーカ１０３は、ビューワによって指示されたデジタルの音声データを変換してアナログの音として発生させる。
ビューワ１０７は、撮像装置１０１から送信された映像のデジタルデータを取得し、取得した映像データの表示を行う。ビューワ１０７は、集音装置からのデジタルな集音情報（集音データ）を取得し、取得した集音情報をビューワに付属しているスピーカ１０６によって再生する。また、ビューワ１０７は、取得した集音情報等を蓄積サーバ１０８に送信する指示を行う。
ビューワ１０７では、蓄積サーバ１０８に蓄積された参照音声情報（参照音声）からユーザの望む音声を選択し、選択した参照音声情報を蓄積サーバ１０８から取得する。
ここで、音声とは広義の意味で音全般をいう。
【００１４】
（参照音声情報の作成）
ビューワ１０７は、実際に音を発生させて取得し参照音声情報を作成したり、音声編集ソフトを用いて参照音声情報を作成したりする。また、ビューワ１０７は、シンセサイザ等によって音を作成する。更にビューワ１０７は、ＷＡＶ（ＲＩＦＦ  ｗａｖｅｆｏｒｍ  Ａｕｄｉｏ  Ｆｏｒｍａｔ）ファイルデータ等を用いることによってファイル形式のデータに関しても参照音声情報を作成し、蓄積サーバ１０８に登録することができる。
図２、図３を用いて参照音声情報の作成を説明する。
ここでは、ビューワ１０７の集音装置１０５で録音した集音情報を参照音声情報として登録する方法（図２）とファイルデータから音声を切り出して参照音声情報として登録する方法（図３）とを示す。
ユーザが表示画面２０１のＲｅｃボタン２０２を指定することによって参照音声情報としてビューワ付近に設置又は付属されている集音装置から録音が開始され、もう一度ユーザがＲｅｃボタン２０２を指定するまで録音される。その後、メッセージ２０３が表示されるのでユーザは、参照音声情報とするか否か指定する。録音された時間は２０４で示されている。また録音された録音データ（参照音声情報）はキーワード記載欄に記載されたキーワード２０５と共に蓄積サーバ１０８に送られる。蓄積サーバ１０８では、参照音声情報とキーワードとを結び付けて保存する。
尚、図２の画面の表示制御等はビューワ１０７によって行われる。後述する図３〜図５を用いて説明する情報処理も同様である。
【００１５】
続いて図３を用いてファイルからの登録の仕方を説明する。
ビューワ１０７は、ユーザが指定した指定ファイル３０１を再生ボタン３０２の選択に基づき再生し、ユーザによって指定された切り取り領域３０４に基づき指定ファイルを切り出し、参照音声情報を作成する。尚、３０３において、横軸を時間、縦軸を音声の振幅として音声ファイルの内容が示されている。ここでも、ビューワ１０７は、切り出されたファイルデータ（参照音声情報）にキーワード情報３０５を加え、蓄積サーバ１０８に送信し、登録させる。
図１に示したように、たくさんあるビューワからの音声が蓄積サーバ１０８の記憶装置１０９に記憶されていくので、多くのキーワードに関する参照音声情報が蓄積される。
【００１６】
（参照音声情報の選択）
参照音声情報の選択を、図４を用いて説明する。
蓄積サーバ１０８に蓄積された参照音声情報をユーザはビューワを用いて確認する。ユーザは、実際にビューワに付属されている音声スピーカからビューワを介して選択した参照音声情報を再生させて確認してもよいし、キーワード等の関連情報から参照音声情報を選択してもよい。
ここで、ビューワ１０７は、画面４０１を表示している。画面４０１には、撮像装置で撮影している画像４０２が表示されている。また、画面４０１には、撮像装置のパラメータ４０３や参照音声情報選択ボタン４０４も表示されている。参照音声情報選択ボタン４０４が選択されると、ビューワ１０７は、参照音声情報選択画面４０５を表示する。参照音声情報選択画面４０５には、蓄積サーバ１０８に蓄積されている参照音声情報のカテゴリ等が一覧で表示されている。例えば、ビューワ１０７は、参照音声情報と関連付けられているキーワード等に基づき、参照音声情報をカテゴリに分類することができる。ユーザは、参照音声情報選択画面４０５においてあるカテゴリの参照音声情報を選択する。例えばユーザがカテゴリとして"叫び声"を選択すると、ビューワ１０７は、蓄積サーバ１０８に蓄積されている"叫び声"の参照音声情報をリスト画面４０６に示すようにリストとして表示する。ユーザは、リスト画面４０６の再生ボタン４０７を選択し、音声を確認し、検出したい音声で有れば選択ボタンを押し、参照音声情報の選択を行う。
【００１７】
（類似度算出）
撮像装置の周辺の集音装置から取得した集音情報と蓄積サーバ１０８に蓄積された参照音声情報との比較処理を、図５を用いて説明していく。尚、集音情報の雑音除去手段の詳細な説明は特開２００６−２７９７５７号公報等に記載されており、本実施形態では比較部分を中心に説明する。
５０１は、撮像装置の周辺の集音装置から取得した集音情報を時間軸で示したものである。５０２は、同様に蓄積サーバに蓄積された参照音声情報を示している。
集音装置から集音した集音情報はネットワークを通じて常にビューワに送信されている。このとき、室内等で集音された集音情報には壁や床等の周囲環境に影響された残響音声が含まれているため、より高度なデータの比較を行うために残響除去の処理等を用いて集音情報の特徴点を算出する必要がある。
残響除去の処理を施された集音装置から集音された集音情報を受けたビューワ１０７では、集音情報の波形をある時間（フレーム）単位で分割する（例、５０ｍｓ）、フレーム分割処理を行う。ビューワ１０７は、この時間軸単位で分割されたデータを、フーリエ変換を用いて周波数単位に変換し、周波数成分を算出する。同様に、ビューワ１０７は、蓄積サーバ１０８に蓄積され、選択された参照音声情報に関しても前記フレーム時間分でフーリエ変換を行い、周波数成分を算出する。そして、ビューワ１０７は、両者の周波数成分の比較を行い（５０３）、周波数形状の類似する割合を類似度として求める（５０４）。類似度は類似性が高いほど１００％に近くなり、低いほど０％に近くなる。
【００１８】
（同一性の判定）
ビューワ１０７は、上述した類似度算出を終えた集音情報に関して、周波数特性の類似度が５０％以上であったら類似度の高い集音情報であると判定する等の閾値を設けた同一性の判定を行う。この類似度の判定を行う閾値の設定は、ユーザがビューワ１０７を介して行う。
特に発生する音声が分かっている場合等に対しては、類似度を高く設定しておくことで他の音声にまぎれることなく設定することが可能となる。
より具体的に、エレベータの到着音声を検出する場合等は、実際に発生する音声が分かっているため類似度の閾値を８０％以上に設定しておくことによって、蓄積サーバ１０８の中にある他のエレベータ参照音と差別化することができる。
【００１９】
（実際の使用状況）
実際に蓄積サーバに登録された参照音声情報を検出（又は選択）して、それに応じた処理を行う流れを図６のフローチャートと図７の図を用いて説明する。
ビューワ１０７は、参照音声情報選択画面を介したユーザの選択操作等に基づいて、参照音声情報を選択する（ステップ６０１）。
ビューワ１０７は、選択した参照音声情報を、リスト画面を介したユーザの設定操作等に基づいて、参照音声情報として設定する（ステップ６０２）。
ビューワ１０７は、撮像装置の近郊等に設置された集音装置で集音された集音情報を取得する（ステップ６０３）。
ビューワ１０７は、前記取得した集音情報と、前記設定した参照音声情報と、の比較を行う（ステップ６０４）。
ここで、ビューワ１０７は、画面等を介してユーザに指定された、類似度が何％以上で同一性があると判定するかの閾値を設定する（ステップ６０５）。
ビューワ１０７は、集音情報と、参照音声情報と、の比較に基づき、類似度を算出する（ステップ６０６）。
ビューワ１０７は、算出した類似度が、設定した閾値以上であるか否かを判定する（ステップ６０７）。
ビューワ１０７は、算出した類似度が、設定した閾値以上であった場合、ユーザに通知するため、警告マークを画面に表示したり、スピーカでアラーム音を鳴らしたりする等の処理を行う（ステップ６０８）。また、ビューワ１０７は、算出した類似度が、設定した閾値以上であった場合、前記集音情報を取得したスピーカの近郊に設置されている撮像装置に対して、パン、チルト、ズーム等に係るリモート制御を行うようにしてもよい。
【００２０】
次に図７を用いてビューワの構成等を説明する。
ビューワ１０７は、入出力信号１００１、音声処理部１００２、比較音声情報保存部１００３、音声比較部１００４、判定部１００５、参照音声作成部１００６を有する。信号を表す１００８は、ビューワ１０７の内部へと繋がっていて、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）へと繋がっている。
外部の集音装置から取得された音声信号は、ネットワーク等を通して入出力信号１００１から音声処理部１００２へと伝送される。音声処理部１００２では上述した（類似度算出）における残響除去処理、フレーム分割の処理が行われる。
一方、ビューワ１０７では参照音声情報の選択を行うために参照音声作成部１００６にて上述した（参照音声情報の作成）と（参照音声情報の選択）との処理が行われる。また、参照音声作成部１００６では、蓄積サーバ１０８からデータの授受を行う処理を行う。参照音声作成部１００６で選択が行われた参照音声情報は比較音声情報保存部１００３に一旦保存される。これは集音装置からの音声情報と参照音声情報とを比較するために比較のタイミングを合わせる必要があるためである。比較音声情報保存部１００３は、バッファとして利用される。
【００２１】
音声処理部１００２と比較音声情報保存部１００３とからの音声情報を比較するために、音声比較部１００４にて比較処理を行う。より具体的には、音声比較部１００４では、上述した（類似度算出）で説明した音声処理部１００２の集音情報（音声データ）と比較音声情報保存部１００３からの音声情報（参照音声情報）との比較を行う。
音声比較部１００４で比較された音声は、判定部１００５において上述した（同一性の判定）で説明をした同一性の判定が行われ、ビューワ１０７の内部へと繋がる内部信号１００８へと出力される。
【００２２】
以上の処理を行うことで本実施形態では、撮像装置の周辺の集音装置によって集音された集音情報と蓄積サーバに蓄積した参照音声情報との比較を行うことによって類似度の算出を行い、警告の通知や撮像装置の制御等を行うことができる。
尚、本実施形態では、ビューワ１０７が、図７に示すようなハードウェア構成を有するものとして説明を行ったが、図７に示すような構成をソフトウェア構成としてビューワ１０７に実装してもよい。即ち、ビューワ１０７のＣＰＵが、ビューワ１０７の記憶装置に記憶されたプログラムに基づき処理を行うことによって図７に示すような構成をソフトウェアで実現するようにしてもよい。
【００２３】
＜第２の実施形態＞
次に、第２の実施形態について説明する。
第２の実施形態における監視システムの構成については、第１の実施形態における図１に示すものと同様であるため、説明は省略する。上述した第１の実施形態では、参照音声情報の選択をする際に実際に音を発生させて確認しながら選択していった。これに対し第２の実施形態では参照音声情報をキーワードで検索して設定する例を説明する。
【００２４】
図８は、参照音声検索画面の一例を示す図である。
ユーザは、図８に示される参照音声検索画面を用いて参照音声情報の選択を行う。
例えば、ガラス破壊音を検索したい場合、ユーザは、ビューワ１０７に表示される参照音声検索画面７０１を用いてテキストボックス７０２の中に"ガラス"とキーワードを記入し、検索ボタン７０４を押す。ビューワ１０７は、検索ボタンが押されたことを認識すると、蓄積サーバ１０８からテキストボックスの文字と関連した参照音声情報を検索し、検索に合致した参照音声情報を取得する。尚、これは、上述したように、参照音声情報の登録時にキーワードを結び付けた登録をしておいたことによって可能となっている。
ビューワ１０７は、撮像装置周辺の集音装置から集音された集音情報と前記検索された参照音声情報とを比較する。
ビューワ１０７は、比較する際にはキーワード検索で検索された参照音声情報の全てに対して集音情報との比較を行い、参照音声情報と同一性の高い集音情報（例えば、一番同一性の高い集音情報等）を検出する。
【００２５】
＜第３の実施形態＞
次に、第３の実施形態について説明する。
第３の実施形態における監視システムの構成については、第１の実施形態における図１に示すものと同様であるため、説明は省略する。上述した第１の実施形態では、ユーザは、参照音声情報の選択をする際に実際に音を発生させて確認しながら選択していった。これに対し第３の実施形態では、ユーザは、画像解析に基づき判断された撮像装置が撮像している状況に応じて提示された参照音声情報から参照音声情報を選択する。
本実施形態では、例えば図９に示す様に、エレベータの画像８０１、窓ガラスの画像８０３、交差点の画像８０５が表示されている場合、ビューワは、自動的に画像に映し出されている状況に応じた参照音声情報を蓄積サーバ１０８から検索する。
例えば、ビューワ１０７は、エレベータの画像８０１の画像解析等に基づき、エレベータが撮影されている等と判断する。例えば、ビューワ１０７は、画像中のボタンの配置情報や階の移動を表す表示灯からエレベータが撮影されていると判断する。
【００２６】
また、例えば、ビューワ１０７は、窓ガラスの画像８０３の画像解析等に基づき、窓ガラスが撮影されている等と判断する。例えば、ビューワ１０７は、ある一定の大きさの枠がありその枠を検知して窓ガラスと判定する。
また、例えば、ビューワ１０７は、交差点の画像８０５の画像解析等に基づき、交差点が撮影されている等と判断する。例えば、ビューワ１０７は、信号機の設置状況や車の移動状況等の情報から交差点であると判定する。
ビューワ１０７は、この判定の結果から、エレベータの画像の場合は、エレベータ参照音８０２を、窓ガラスの画像の場合は、ガラス参照音８０４を、交差点の画像の場合は、交通事故の参照音８０６を蓄積サーバ１０８から検出する。そして、ビューワ１０７は、上述した第１の実施形態で説明した、類似度の算出や同一性の判定等を行う。
以上のように本実施形態によれば、撮影している映像から状況を判定して参照音声情報とする候補を先に絞ることができる。
【００２７】
＜第４の実施形態＞
次に、第４の実施形態について説明する。
第４の実施形態における監視システムの構成については、第１の実施形態における図１に示すものと同様であるため、説明は省略する。上述した第１の実施形態では、参照音声情報の登録に関してビューワ１０７の内部で行ってきた。これに対し第４の実施形態では集音情報と参照音声情報との比較、及び判定の処理を撮像装置で行う場合を説明する。
【００２８】
本実施形態の撮像装置の構成を、図１０を用いて説明する。
撮像装置は、集音装置からの音声処理部９０２、比較音声情報保存部９０３、音声比較部９０４、判定部９０５を有する。集音装置９０１から出力される音声信号を音声処理部９０２で音声処理する。より具体的には、音声処理部９０２では上述した（類似度算出）における残響除去処理、フレーム分割の処理が行われる。
一方、比較音声情報保存部９０３は、ビューワ１０７からネットワークを通して参照音声情報を受信し、参照音声情報を保存する。
音声比較部９０４は、音声処理部９０２、比較音声情報保存部９０３で取得した音声信号を、同期をとって比較する。より具体的には、音声比較部９０４では、上述した（類似度算出）で説明したように、音声処理部９０２の集音情報（音声データ）と比較音声情報保存部９０３からの音声情報（参照音声情報）との比較を行う。
音声比較部９０４で比較された音声は、判定部９０５において上述した（同一性の判定）で説明をした同一性の判定が行われ、ネットワーク上に判定結果が送信される。より具体的に説明すると、判定部９０５での判定の結果に応じて、警告情報がビューワ１０７に送信される。ビューワ１０７は、撮像装置より警告情報を受け取るとユーザに警告を通知する。
尚、撮像装置は、判定部９０５での判定の結果に応じて、パン、チルト、ズーム等に係る制御を行うようにしてもよい。
【００２９】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００３０】
以上、上述した各実施形態によれば、集音装置からの音声データを監視カメラ等の撮像装置に登録しなくても、警告の通知や撮像装置の制御等を行えるようにすることができる。
【００３１】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した各実施形態を任意に組み合わせて実施してもよい。
【符号の説明】
【００３２】
１０１  撮像装置、１０７  ビューワ、１０８  蓄積サーバ
【図１】
2013232056.tif 000003
【図２】
2013232056.tif 000004
【図３】
2013232056.tif 000005
【図４】
2013232056.tif 000006
【図５】
2013232056.tif 000007
【図６】
2013232056.tif 000008
【図７】
2013232056.tif 000009
【図８】
2013232056.tif 000010
【図９】
2013232056.tif 000011
【図１０】
2013232056.tif 000012