(57)【要約】システム及び方法は、音響活動又はその検出された特徴部を視覚化すること、及び、音響活動を、カメラによって取得されたビデオと共に視覚信号として表示することを含む。簡単な信号処理の使用か、より複雑な音声解析又は音認識の使用のいずれかにより、音響信号から有益な情報を抽出することができる。抽出された情報は、カメラによって取得されたビデオ信号上に重ね合わされる視覚信号に変換することができる。
2008500603.tif 000002
【特許請求の範囲】
【請求項１】
各々のカメラが関連する場所のビデオを取得するように構成されるカメラのセットと、
対応するカメラの各々について１つのマイクロフォンが存在し、各々のマイクロフォンが前記関連する場所において生成された音響信号を取得するように構成されるマイクロフォンのセットと、
前記音響信号の各々を解析し、前記音響信号を視覚信号に変換する手段と、
前記マイクロフォン及び対応するカメラの各々について１つのモニタが存在し、各々のモニタが前記ビデオ及び前記視覚信号を同時に表示するように構成されるモニタのセットと
を備える監視システム。
【請求項２】
前記視覚信号は、前記モニタ上に表示されるテキストである
請求項１記載のシステム。
【請求項３】
前記視覚信号は、前記モニタ上に表示される画像の色である
請求項１記載のシステム。
【請求項４】
前記視覚信号は、前記モニタ上に表示されるアイコンである
請求項１記載のシステム。
【請求項５】
前記視覚信号は、前記モニタ上に表示される画像の光度である
請求項１記載のシステム。
【請求項６】
前記光度は、前記音響信号のエネルギーに相当する
請求項５記載のシステム。
【請求項７】
前記視覚信号は、前記音響信号の音源の場所に相当する
請求項１記載のシステム。
【請求項８】
カメラのセットによって、ビデオのセットを取得すること、
対応するカメラの各々について１つのマイクロフォンが存在する、マイクロフォンのセットによって、音響信号のセットを取得すること、
前記音響信号の各々を解析し、前記音響信号を視覚信号に変換すること、
及び
関連するモニタ上に、前記ビデオ及び前記視覚信号を同時に表示すること
を含む監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的に、ビデオ信号及び音響信号の処理に関し、より詳細には、監視システムにおいて、音響信号によってビデオ信号を増強することに関する。
【背景技術】
【０００２】
典型的な監視システムでは、ユーザ（通常は警備員）は、カメラに接続されたモニタを介して種々の場所をモニタリングする。場所の目視によるモニタリングは、その場所における活動、たとえば、人々及び車両の移動並びに環境の状況に関する情報を提供する。
【０００３】
適切な監視を実施し、意味のある活動に応答するために、ユーザは、通常、場所における一定の動きを見る必要がある。しかしながら、その監視モニタリング方法は、種々の状況において不適切である可能性がある。
【０００４】
経済的制約のため、こうしたシステムは、カメラが、固定された場所に焦点が合っているか、又は、所定の弧に沿って回転するかのいずれかであるため、各場所の観察範囲が制限される。それによって、意図して、又は、意図せずに、特定の場所において起こっていることについての誤解を生じ得る「盲」点をもたらす可能性がある。さらに、視覚情報のみでは、異常な出来事に応答して介入を起こすのに十分な情報を伝達しない場合がある。
【０００５】
従来の監視システムの欠点をさらに示すために、２、３の例を考える。カメラは、配電室の外側の廊下に配置されている。部屋の中の変圧器において、小さな爆発が起こる。煙と炎が部屋から廊下に広がるまで、視覚的手がかりは利用できない。その時点では、警報は遅過ぎる場合がある。同様に、雪の降る状況下で、夜間に駐車場をモニタリングするカメラは、侵入(break-in)又は急襲(assault)を感知することができない可能性がある。
【０００６】
また、カメラが故意に手を加えられて、カメラの意図する目的にとって役に立たなくされる可能性もある。
【０００７】
上記の例の全てにおいて、カメラの近くのマイクロフォンによって取得される音声信号等の付加的な情報によって、ユーザに警告することができ得る。この解決策は、一台
のカメラを用いる監視システムにとって十分であり得る。しかしながら、多くの、たとえば、数十台又は数百台のカメラを用いて、カメラの台数より少ない人数のユーザによってモニタリングするシステムの場合、監視を強化するどころではなく、複数の重なり合う音声信号は、判読できない不協和音以外の何者をももたらさないであろう。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
したがって、ビデオ信号を補強する音響信号でビデオ信号を増強することについての必要性が存在する。
【課題を解決するための手段】
【０００９】
本発明によるシステム及び方法は、音響活動又はその検出された特徴部を視覚化すること、及び、音響活動を、カメラによって取得されたビデオと共に視覚信号として表示することを含む。
【００１０】
簡単な信号処理の使用か、より複雑な音声解析又は音認識の使用のいずれかにより、音響信号から有益な情報を抽出することができる。抽出された情報は、カメラによって取得されたビデオ信号上に重ね合わされる視覚信号に変換することができる。
【発明の効果】
【００１１】
システム及び方法は、ビデオ信号と共に音響信号を視覚的に表す。音響信号は、解析されるとともに視覚信号に変換され、その視覚信号は、ビデオ信号に重ね合わされるか、又は、ビデオ信号と共にその他の方法で表示されることができる。最新のカメラのほとんどはマイクロフォンを装備しているため、本発明は監視システムの大幅な変更を必要としない。
【発明を実施するための最良の形態】
【００１２】
システム構成
図１は、本発明による監視システム１００を示す。システムは、ビデオ信号１１１を取得するカメラのセット１１０を含む。各カメラには、音響信号１２１を取得するマイクロフォン１２０が接続される。
【００１３】
各マイクロフォンからの音声信号１２１は、たとえば、音認識モジュール１３０によって解析されるとともに、視覚信号１３１に変換される。視覚信号１３１は、ビデオ信号１１１と組み合わされ、ユーザ１５０によって閲覧される対応するモニタ１４０上に表示される。視覚信号は、図１の影付き部分によって示すように、ディスプレイの輝度又は色を変えることができる。別法として、視覚信号は、アイコン又はテキスト１４１の形態であることができる。
【００１４】
システム動作
音エネルギーの視覚化
多くの場合、音響信号のエネルギーレベルは、或る場所における異常なイベントを示すのに十分である。図２に示す、安全な廊下の場合を考える。視覚活動は、人々の存在を示すことができるが、カメラの観察角度は、監視下のエリア全体をカバーしない場合がある。音響活動のレベルをモニタリングするとともに、その音響信号を、表示されるビデオの対応する輝度レベルに変換することによって、或る画像が他の画像より明るいモニタのアレイがもたらされる。このより明るい画像は、より高い音レベルを意味し、これはたとえば、或る場所における人々の存在を示す。このモニタのアレイを調べると、ユーザは、より大きな活動レベルに関連するモニタ２０１を検査するように、自然に注意が引き付けられる。
【００１５】
特定音の検出
解析及び変換モジュール１３０を、扉の開閉、悲鳴、足音、走る音等の、特定の音響信号を検出し、特定するように訓練することも可能である。特定された音響信号は、モニタ上の光度（intensity）レベルとして、アイコンで、又はテキストで視覚的に表示することができる。ディスプレイの色もまた、通常のグレースケールから、赤又は黄色で着色されたディスプレイに変えることができる。
【００１６】
空間情報の可視化
マイクロフォンのアレイを使用することによって、図３に示すように、音の位置特定を実施して、ユーザを補助することが可能である。ここで、発電機の列がモニタリングされている。がたがた鳴る又はギイギイ鳴ることによって示されるように、発電機の１つが誤動作する場合、異常音源であるエリア３０１を示すことができる。
【００１７】
本発明は、好ましい実施の形態の例によって述べられたが、本発明の精神及び範囲内で、種々の他の適合及び変更が行われてもよいことが理解されるべきである。したがって、本発明の真の精神及び範囲に入る、全てのこうした変形及び変更を網羅することが、添付の特許請求の範囲の目的である。
【図面の簡単な説明】
【００１８】
【図１】本発明による監視システムのブロック図である。
【図２】対応する音響信号によって視覚的に増強される画像を示す図である。
【図３】対応する音響信号によって視覚的に増強される画像を示す図である。
【図１】
2008500603.tif 000003
【図２】
2008500603.tif 000004
【図３】
2008500603.tif 000005
【国際調査報告】
2008500603.tif 000006
2008500603.tif 000007
2008500603.tif 000008