(57)【要約】  【課題】  監視対象の領域から取得したオーディオ情報と組み合わせてビデオ情報を用いることを取り入れたビデオ監視システムおよび方法を提供する。  【解決手段】  新規なビデオ監視システムは、ビデオおよびオーディオ圧縮エンジン、ストレージ・デバイス、ならびにビデオおよびオーディオ認識エンジンを含む。ビデオ認識エンジンは、顔認識、動き検出等のイベントを検出し、オーディオ認識エンジンは、例えば叫びや悲鳴等のパニック音声、または発砲や爆発等の音のような、潜在的な警報状況を示す音声および他の音の特徴を検出する。オーディオおよびビデオ信号の認識を組み合わせることで、監視システムの真の警報発生を向上させ、誤警報レベルを低下させる。更に、オーディオ認識エンジンは、ビデオ・カメラを対象の方向に向けるための情報を提供し、対象の場面をいっそう良好に捕捉できるようにする。【選択図】  図３
2009545911.tif 000002
【特許請求の範囲】
【請求項１】
ビデオおよびオーディオ認識を利用した監視システムであって、
監視対象の領域上で取得されたビデオ情報を含むリアルタイム・ビデオ信号を発生させるための手段と、
前記監視対象の領域からのオーディオ情報を含むリアルタイム・オーディオ信号を取得するための手段と、
前記ビデオ信号およびオーディオ信号を同時に受信し、そこから関連するビデオおよびオーディオ認識情報を求め、前記リアルタイム・オーディオおよびビデオ情報を相互に相関付けて特定のイベントの発生の可能性を求めるための処理手段と、
前記特定のイベントの発生に基づいて警報状況を発生させるための手段と、
を含む、監視システム。
【請求項２】
前記処理手段が、前記ビデオ認識情報を求めるための前記ビデオ信号を処理するための第１の認識エンジンを含む、請求項１に記載のシステム。
【請求項３】
前記処理手段が、前記オーディオ認識情報を求めるための前記オーディオ信号を処理するための第２の認識エンジンを含む、請求項２に記載のシステム。
【請求項４】
前記処理手段が、前記オーディオおよびビデオ認識情報を相関付けると共に特定のイベントの発生を検出する能力を高めるための共同認識手段を含む、請求項１に記載のシステム。
【請求項５】
前記リアルタイム・ビデオ信号を発生させるための前記手段が１つ以上のビデオ・カメラ・デバイスを含み、前記共同認識手段が、前記特定のイベントの前記オーディオ認識に基づいて前記イベントの発生を認識したことに応答して、ビデオ信号を捕捉するように前記カメラ・デバイスの１つ以上のカメラを前記イベントの方向に向けるための制御信号を発生させるための手段を更に含む、請求項４に記載のシステム。
【請求項６】
前記ビデオ・カメラ・デバイスの各々が、前記ビデオ・カメラ・デバイスのパン、チルト、ズーム、回転、ドリー、平行移動制御パラメータの１つ以上を調節するために、前記制御信号に応答するパン／チルト・ミラー、レンズ・システム、フォーカス・モータ、パン・モータ、およびチルト・モータ・コンポーネントの１つ以上を含む、請求項５に記載のシステム。
【請求項７】
前記リアルタイム・オーディオ信号を発生させるための前記手段が１つ以上のマイクロフォン・デバイスを含み、前記共同認識手段が、潜在的なイベントの前記ビデオ認識に基づいて前記イベントの発生を認識したことに応答して、オーディオ認識情報の捕捉を可能とするように前記マイクロフォン・デバイスの１つ以上のマイクロフォンを前記特定のイベントの方向に向けるための制御信号を発生させるための手段を更に含む、請求項４に記載のシステム。
【請求項８】
前記マイクロフォン・デバイスの各々が、前記制御信号に応答して、必要な周波数範囲のオーディオ信号の検出を考慮して前記マイクロフォンの方位を自動的に調節する、請求項７に記載のシステム。    
【請求項９】
前記マイクロフォン・デバイスの各々が、前記制御信号に応答して、いずれかの所与の指向性でのオーディオ信号の受信を考慮して前記マイクロフォンの方位を自動的に調節する、請求項７に記載のシステム。    
【請求項１０】
前記オーディオおよびビデオ・データをストアするための手段を更に含む、請求項１に記載のシステム。
【請求項１１】
ストレージ手段に前記オーディオおよびビデオ・データをストアする前にそれらのデータを圧縮するための手段を更に含む、請求項１０に記載のシステム。
【請求項１２】
ビデオおよびオーディオ認識を利用した監視方法であって、
監視対象の領域上で取得されたビデオ情報を含むリアルタイム・ビデオ信号および前記監視対象の領域からのオーディオ情報を含むリアルタイム・オーディオ信号を、処理手段において同時に受信するステップと、
前記受信したビデオ信号およびオーディオ信号から関連するビデオ認識およびオーディオ認識情報を求めるステップと、
前記リアルタイム・オーディオおよびビデオ認識情報を相互に相関付けて特定のイベントの発生の可能性を求めるステップと、
前記特定のイベントの発生に基づいて警報状況を発生させるステップと、
を含む、方法。
【請求項１３】
前記処理手段が、前記ビデオ信号から前記ビデオ認識情報を求めるための処理ステップを実施する第１の認識エンジンを含む、請求項１２に記載の方法。
【請求項１４】
前記処理手段が、前記オーディオ信号から前記オーディオ認識情報を求めるための処理ステップを実施する第２の認識エンジンを含む、請求項１３に記載の方法。
【請求項１５】
前記処理手段が、前記オーディオおよびビデオ認識情報を相関付けると共に特定のイベントの発生を検出する能力を高めるための共同認識手段を含む、請求項１２に記載の方法。
【請求項１６】
前記受信するステップと同時に、１つ以上のビデオ・カメラ・デバイスによって前記リアルタイム・ビデオ信号を取得するステップを含み、前記共同認識手段が、前記特定のイベントの前記オーディオ認識に基づいて前記イベントの潜在的な発生を認識したことに応答して、ビデオ信号を捕捉するように前記カメラ・デバイスの１つ以上のカメラを前記イベントの方向に向けるように適合された制御信号を発生させるための手段を更に含む、請求項１５に記載の方法。
【請求項１７】
前記１つ以上のビデオ・カメラ・デバイスの各々が、前記ビデオ・カメラ・デバイスのパン、チルト、ズーム、回転、ドリー、平行移動制御パラメータの１つ以上を調節するために、前記制御信号に応答するパン／チルト・ミラー、レンズ・システム、フォーカス・モータ、パン・モータ、およびチルト・モータ・コンポーネントの１つ以上を含む、請求項１６に記載の方法。
【請求項１８】
前記受信するステップと同時に、１つ以上のマイクロフォン・デバイスによって前記リアルタイム・オーディオ信号を取得するステップを含み、前記共同認識手段が、前記特定のイベントのビデオ認識に基づいて前記イベントの潜在的な発生を認識したことに応答して、オーディオ認識情報を捕捉するように前記マイクロフォン・デバイスの１つ以上のマイクロフォンを前記イベントの方向に向けるように適合された制御信号を発生させるための手段を更に含む、請求項１５に記載の方法。
【請求項１９】
前記マイクロフォン・デバイスの各々が、前記制御信号に応答して、必要な周波数範囲のオーディオ信号の検出を考慮して前記マイクロフォンの方位を自動的に調節する、請求項１８に記載の方法。    
【請求項２０】
前記マイクロフォン・デバイスの各々が、前記制御信号に応答して、いずれかの所与の指向性でのオーディオ信号の受信を考慮して前記マイクロフォンの方位を自動的に調節する、請求項１８に記載の方法。    
【請求項２１】
前記オーディオおよびビデオ・データをデータ・ストレージ・デバイスにストアするステップを更に含む、請求項１２に記載の方法。
【請求項２２】
前記データ・ストレージ・デバイスに前記オーディオおよびビデオ・データをストアする前にそれらのデータを圧縮するステップを更に含む、請求項２１に記載の方法。
【請求項２３】
機械によって読み取り可能であり、前記機械によって実行可能な命令のプログラムをタンジブルに具現化して、ビデオおよびオーディオ認識を利用してある領域の監視を実行するための方法ステップを実施するプログラム・ストレージ・デバイスであって、前記方法が、
監視対象の領域上で取得されたビデオ情報を含むリアルタイム・ビデオ信号および前記監視対象の領域からのオーディオ情報を含むリアルタイム・オーディオ信号を、処理手段において同時に受信するステップと、
前記受信したビデオ信号およびオーディオ信号から関連するビデオ認識およびオーディオ認識情報を求めるステップと、
前記リアルタイム・オーディオおよびビデオ認識情報を相互に相関付けて特定のイベントの発生の可能性を求めるステップと、
前記特定のイベントの発生に基づいて警報状況を発生させるステップと、
を含む、プログラム・ストレージ・デバイス。
【請求項２４】
前記処理手段が、前記ビデオ信号から前記ビデオ認識情報を求めるための処理ステップを実施する第１の認識エンジンと、前記オーディオ信号から前記オーディオ認識情報を求めるための処理ステップを実施する第２の認識エンジンとを含む、請求項２３に記載の機械によって読み取り可能なプログラム・ストレージ・デバイス。
【請求項２５】
前記処理手段が、前記オーディオおよびビデオ認識情報を相関付けると共に特定のイベントの発生を検出する能力を高めるための共同認識手段を含む、請求項２４に記載の機械によって読み取り可能なプログラム・ストレージ・デバイス。
【請求項２６】
前記受信するステップと同時に、１つ以上のビデオ・カメラ・デバイスによって前記リアルタイム・ビデオ信号を取得するステップを含み、前記共同認識手段が、前記特定のイベントの前記オーディオ認識に基づいて前記イベントの潜在的な発生を認識したことに応答して、ビデオ信号を捕捉するように前記カメラ・デバイスの１つ以上のカメラを前記イベントの方向に向けるように適合された制御信号を発生させるための手段を更に含む、請求項２５に記載の機械によって読み取り可能なプログラム・ストレージ・デバイス。
【請求項２７】
前記受信するステップと同時に、１つ以上のマイクロフォン・デバイスによって前記リアルタイム・オーディオ信号を取得するステップを含み、前記共同認識手段が、前記特定のイベントのビデオ認識に基づいて前記イベントの潜在的な発生を認識したことに応答して、オーディオ認識情報を捕捉するように前記マイクロフォン・デバイスの１つ以上のマイクロフォンを前記イベントの方向に向けるように適合された制御信号を発生させるための手段を更に含む、請求項２５に記載の機械によって読み取り可能なプログラム・ストレージ・デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、セキュリティを確保するための監視システムおよび方法に関し、更に具体的には、監視システムのための新規なオンライン（リアルタイム）のビデオおよびオーディオ認識システムおよびプロセスに関する。
【背景技術】
【０００２】
従来のビデオ監視システムは、通常、オーディオを監視するための機能も設備も含まない。すなわち、監視システムは、オーディオ入力を全く含まない。米国特許第６，７２４，４２１号および第６，１７５，３８２号に記載されたもの等の典型的なビデオ監視システムは、せいぜい、視覚情報および聴覚情報の同時記録を行うだけである。これらの参考文献に記載された双方のタイプのビデオ監視システムにおいて、ビデオ・データは高性能（smart）監視エンジンによって分析され、デジタル・ストレージ用に圧縮される。これらのエンジンは、顔認識、動作検出、パニック検出、突き刺すような動作の検出等、様々な認識アルゴリズムを実施する。例えば、高層ビルの入口を監視している場合に警報が発せられるある状況では、突然ある人物が別の人物に対して素早い動きをして、強盗、暴行、または同様の行動の可能性が示唆される。この場合、高性能監視エンジンは、突然の素早い動きを認識し（１００％未満の成功レベルで）、監視ステーションにおいて警報を発生する。かかる警報の結果、監視対象の位置に警察を派遣することができる。当然、突然の素早い動きは、子供が彼／彼女の親／友達に向かって走っていったために発生した可能性もある。この場合、発生した警報は誤警報となるが、これによってコストの高い警察の派遣が行われてしまう。高性能監視エンジンの誤検出が引き起こす別の例は、本当の非常時に警報が発せられないことである。これが起こるのは、例えば現場に２人以上の人がいる場合である。現在の監視システムの更に別の欠点は、真の非常事態が起こっている場合に警察が派遣されないことである。
【０００３】
図１に、従来のビデオのみの監視システムを示す。カメラ・アレイ１０は、ビデオ・リンク１１を介してビデオ圧縮エンジン１２内にビデオ情報を供給する。ビデオ情報は圧縮され、リンク１６を介してストレージ・デバイス１４に送られ、長期的にストアされる。ビデオ情報は、更に、同じビデオ・リンク１１を介してビデオ認識エンジン１３に供給される。ビデオ認識エンジン１３は、顔認識、動き検出、およびその他のビデオ認識タスクを実行し、イベントおよび警報を発生して、これらがリンク１７を介してイベント・データベース１５および監視ステーション１８に送られる。監視ステーション１８は、有人監視ステーションを含み、これによってオペレータは特定の量のカメラをリアルタイムで視覚的に監視することができる。非常事態が起こったとオペレータによって解釈されると、監視対象の領域に警察または他の非常時対応チームを派遣するか否かが、彼／彼女によって決断される。上述の説明から、監視対象の領域においてオーディオ情報が利用可能であることが極めて多いにもかかわらず、かかる情報が無駄になっていることは明らかである。
【０００４】
図２に、オーディオ記録を用いた従来技術のビデオ監視システムを示す。カメラ・アレイ２０は、ビデオ・リンク２１を介してビデオおよびオーディオ圧縮エンジン２２内にビデオ情報を供給する。同時に、オーディオ情報が、マイクロフォン・アレイ２９からオーディオ・リンク３０を介してビデオおよびオーディオ圧縮エンジン２２に供給される。ビデオおよびオーディオ情報は圧縮され、リンク２６を介してストレージ・デバイス２４に送られ、長期的にストアされる。ビデオ情報は、同様に、同じビデオ・リンク２１を介してビデオ認識エンジン２３に供給される。ビデオ認識エンジン２３は、顔認識、動き検出、およびその他のビデオ認識タスクを実行し、イベントおよび警報を発生して、これらがリンク２７を介してデータベース２５および監視ステーション２８に送られる。監視ステーション２８は、有人監視ステーションであり、これによってオペレータは特定の量のカメラを視覚的に監視する。非常事態が起こったとオペレータによって解釈されると、監視対象の領域に警察または他の非常時対応チームを派遣するか否かが、彼／彼女によって決断される。上述の説明から、監視対象の領域から取得したオーディオ信号においてオーディオ入力からの有用な情報が利用可能であることが非常に多いにもかかわらず、かかる情報が抽出されていないことは明らかである。
【０００５】
上述のように、第２のタイプの監視システムは、ビデオおよびオーディオ情報を同時に記録し、様々なビデオ認識タスク用の高性能監視エンジンを組み込む。今日、これらのシステムにおいて、オーディオ情報は圧縮され記録されるが、分析されることはない。
【特許文献１】米国特許６，７２４，４２１号
【特許文献２】米国特許６，１７５，３８２号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
今日の監視システムは、ビデオ入力を分析する場合、貴重なオーディオ情報を全く利用しない。当然、このオーディイオ情報は入手可能であり、多くの監視状況において極めて広範囲に渡って使用可能である。
【０００７】
従って、ビデオ監視システムにおいてオーディオ情報の使用を組み込むことは極めて望ましいであろう。このオーディオ情報の使用によって、監視システムが発生する誤警報の数を減らすと共に、検出される真の警報の割合を高め、同時に、警報を評価する人物にいっそう多くの情報を提供することが期待される。更に、ビデオ情報のみを用いた場合は検出されなかったイベントであっても、オーディオおよびビデオ情報を用いて検出することが可能となる。
【０００８】
従って、本発明の目的は、監視対象の領域から取得したオーディオ情報と組み合わせてビデオ情報を用いることを取り入れたビデオ監視システムおよび方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の監視システムは、ビデオ信号入力およびオーディオ信号入力の双方を含む。ビデオ入力はデジタルまたはアナログ・カメラから供給し、オーディオ入力は監視対象の領域に設置されたマイクロフォンから受信する。ビデオおよびオーディオ情報を圧縮し、デジタル・ストレージ・デバイスに送信する。実施する全てのカメラおよびマイクロフォンに必要なデジタル・ストレージの量を節約するために、オーディオおよびビデオ情報を圧縮することが好ましい。記録と同時に、ビデオおよびオーディオ入力を高性能認識エンジンに供給する。このエンジンは、ビデオ認識、オーディオ認識を実行し、ビデオ−オーディオ認識からの結果を即時に相関付けて、例えば甲高い叫び声、爆発、発砲等のパニック状況を示す特定のイベント・セットを検出／認識する。高性能認識エンジンによって発生した警報は、監視ステーションに送信することができる。ここで、人間のオペレータが、警察または緊急事態に対応する人員を監視対象領域に派遣するか否かを決断する。
【００１０】
本発明の一態様によれば、高性能認識エンジンは、顔認識、動き検出等の利用可能なビデオ認識アルゴリズム、および、特定の言葉（「助けて」、「強盗」等）の音声認識のためのオーディオ／音声認識アルゴリズムを実行する。オーディオ認識エンジンは、発砲、爆発等、ならびに、警報または緊急事態を示す甲高い声および他の音声特徴等の特別なオーディオ信号を認識するように訓練することができる。
【００１１】
マイクロフォン・アレイを特定の方位に配置して用いて、音声の方向を決定することができる。次いで、方向性オーディオ情報をカメラ制御ユニットに送信して、カメラ／複数のカメラを対象の方向に向けることができる。そして、ビデオ／オーディオ認識を、もっと効率良く実行することができる。このため、例えば、監視対象の領域において、マイクロフォン・アレイを用いたオーディオ認識エンジンによって爆発音を検出することができる。この結果、カメラは爆発の方向に向き、監視ステーションへの警報から場面認識／把握までの後続動作をビデオ認識エンジンにおいて行う。ビデオおよびオーディオ認識からの結果をすぐに用いて、記録したオーディオおよびビデオの評価を行い、更に、新しいビデオおよびオーディオ入力の記録を改善することで、検出の精度が向上し、警報の性質を決定するためにかかる時間が短縮し、状況を評価している人間のオペレータに多くの情報が与えられるので、有利である。
【００１２】
ビデオ認識エンジンおよびオーディオ認識エンジンからの出力を、共同認識エンジンによって分析し、この結果、最終的な警報を発生して監視ステーションに転送する。
【００１３】
本発明の好適な態様によれば、これらおよび他の目的を達成するため、監視システムおよび方法、およびコンピュータ・プログラムが提供される。このシステムは、
監視対象の領域上で取得されたビデオ情報を含むリアルタイム・ビデオ信号を発生させるための手段と、
監視対象の領域からのオーディオ情報を含むリアルタイム・オーディオ信号を取得するための手段と、
ビデオ信号およびオーディオ信号を同時に受信し、そこから関連するビデオおよびオーディオ認識情報を求め、リアルタイム・オーディオおよびビデオ情報を相互に相関付けて特定のイベントの発生の可能性を求めるための手段と、
特定のイベントの発生に基づいて警報状況を発生させるための手段と、
を含む。
【００１４】
本発明の構造および方法の更に別の特徴、態様、および利点は、以下の説明、特許請求の範囲、および添付図面を参照して、いっそう充分に理解されよう。
【発明を実施するための最良の形態】
【００１５】
図３は、本発明による、ビデオおよびオーディオ認識を用いたビデオ監視システムを示す。図３に示すように、カメラ・アレイ４０は、例えばＣＣＤまたはＣＭＯＳカメラのような、カラーまたはモノクロの１つ以上の静止またはビデオ電子カメラを含むか、または同等のコンポーネントの組み合わせを有して、監視対象の領域を捕捉し、ビデオ通信リンク４１を介して、デジタル・ビデオおよびオーディオ圧縮エンジン４２内に、ビデオ信号を供給する。カメラ・アレイ４０の各カメラ・デバイスの動きおよび動作は、例えばコンピュータあるいはソフトウェアまたはそれら両方の制御のもとに、受信した制御信号によって制御することができる。更に、パン／チルト・ミラー、レンズ・システム、フォーカス・モータ、パン・モータ、およびチルト・モータ制御を含むカメラ・アレイ４０の各カメラの動作パラメータは、受信した制御信号によって制御される。これについては、後に本明細書内で更に詳しく説明する。デジタル・ビデオ信号を出力する前に、例えばノイズを低減するため、またはフィルタリング／画質向上の技法を実行するために、多くの信号処理技法を適用することができる。
【００１６】
同時に、音響圧力を電気信号に変換することができるマイクロフォン・センサ・デバイス（全方向性あるいは高度な指向性を有するまたはそれら両方のマイクロフォン）を含むマイクロフォン・アレイ４９を設けて、オーディオ通信リンク５０を介してデジタル・ビデオおよびオーディオ圧縮エンジン４２にオーディオ信号を供給する。当業者には既知のように、マイクロフォン・アレイの指向性レベルは音の周波数に対して変動するので、マイクロフォンの数およびマイクロフォン間の距離は、いずれかの所与の指向性を与えるために必要な周波数範囲を考慮して決定することができる。アレイに組み込まれるマイクロフォンは、例えばこれらの目的を達成するためにソフトウェア制御のもとで制御することができ、例えば人の声、爆発、発砲等の範囲における様々な周波数受信に対して明らかにバイアスをかけることができるピックアップ・パターンを有するように構成したトランスデューサを含むことができる。このようにして、マイクロフォン・アレイは、高い精度で音響イベントの音場に応答するような感度を有することが保証されている。更に別のオーディオ信号調整技法を適用して、例えばＡ／Ｄ変換器を用いて取得したアナログ・オーディオ信号をデジタル化すること、および、例えば利得制御、ノイズの低減／除去を行うことができる。デジタル化したビデオおよびオーディオ情報は、デジタルに圧縮されて、リンク４６を介してメモリ・ストレージ・デバイス４４に送られ、長期的にストアされる。デバイス４４は、例えば、データベース、ハード・ディスク・ドライブ、ＣＤ−ＲＯＭ、ＤＶＤ、テープ、プラッタ、ディスク・アレイ等を含むがこれらには限定されない磁気または光媒体等である。カメラ・アレイ４０の各カメラの出力は、ＭＰＥＧ１、ＭＰＥＧ２等の圧縮フォーマットでストレージ媒体にストアされる。更に、アレイの各カメラの出力は、そのカメラに関連付けたストレージ媒体上の特定の位置にストアすることができ、または、ストアされた各出力がどのカメラに対応するかを示す指示と共にストアされる。
【００１７】
図３に更に示すように、同じビデオ情報およびオーディオ情報が、各ビデオ・リンク４１およびオーディオ・リンク５０を介して高性能認識エンジン４３にも同時に供給される。各カメラ・アレイ、オーディオ・マイクロフォン・アレイ、ビデオおよびオーディオ圧縮エンジン４２、高性能認識エンジン４３間の通信リンク４１および５０は、配線によって接続することができるか、または無線リンクを使用可能であることは理解されよう。更に、これらの通信リンクが、ケーブル、衛星、ＲＦおよびマイクロ波伝送、光ファイバ等の形態を取ることも本発明の範囲内である。
【００１８】
本発明中において後に更に詳しく説明するように、また図４に示すように、高性能認識エンジン４３は、ビデオ認識エンジン６２、オーディオ認識エンジン６３、共同認識エンジンおよび警報発生モジュール６４を含む。高性能認識エンジン４３は、コンピュータ・デバイスを制御してビデオ認識アルゴリズムおよび顔認識アルゴリズムを実施するための方法およびプロセスを実行するソフトウェアを組み込んでいる。これらは、動き検出アルゴリズム（例えば、個々のポイントを追跡する周知のパッチ相関または追跡アルゴリズム）によって、これと組み合わせて実行して、画像ストリーム内の特徴の動きを推定することができる。高性能認識エンジン４３は、更に、コンピュータ・デバイスを制御してオーディオ認識および音声認識アルゴリズムを実施するための方法およびプロセスを実行するソフトウェアを組み込んでいる。コンピュータ読み取り可能命令、データ構造、プログラム・モジュール等として実施される音声認識アルゴリズムを用いて、非常事態または警報を発すべき状況を示すと考えられる特定の話し言葉を認識することができる（例えば「助けて」、「強盗」等）。
【００１９】
コンピュータ読み取り可能命令、データ構造、プログラム・モジュールまたは他のデータを含むオーディオ認識エンジン６３は、発砲、爆発、例えば叫びや悲鳴等の甲高い声、および、警報を引き起こすと考えられる既知のイベントに関連した他の音声特徴等の特別なオーディオ信号を認識するように訓練することができる。しかしながら、本発明に従って、従来の訓練を必要としない様々な認識アルゴリズムを使用可能であることは理解されよう。
【００２０】
実施されるコンピューティング・デバイス（複数のデバイス）は、ＰＣ、デバイス、ラップトップ、モバイル・デバイス等の汎用コンピュータ・デバイスを含み、処理ユニット、システム・メモリ、およびシステム・メモリから処理ユニットを含む様々なシステム・コンポーネントを結合するシステム・バスを含むがこれらには限定されないコンポーネントを有する。コンピュータ・デバイスは、高性能認識エンジンおよびオーディオ認識エジンを実行するためにこれらのコンポーネントを実施する。これらのエンジンは、着脱可能媒体、着脱不可能媒体、揮発性媒体、および不揮発性媒体を含む、コンピュータ・デバイスがアクセス可能ないずれかの利用可能な媒体を含む周知のコンピュータ読み取り可能媒体上にストアされる。コンピュータ読み取り可能記録は、１つの位置に集中化するか、または、例えばネットワークを介して接続されたコンピュータ・システム上に分散化することができる。コンピュータ読み取り可能認識アルゴリズムは、コンピュータ読み取り可能記録媒体にストアし、分散化して実行することができる。
【００２１】
図３に戻ると、マイクロフォン・アレイ４９を特定の方位で用いて、音声の方向を決定することができる。検知したオーディオ・イベントに関する方向性情報は、有線または無線の通信リンク５３を介して、カメラ・マイクロフォン制御モジュール５２に送信される。カメラ／マイクロフォン制御モジュール５２は、制御信号５４によって対象の方向にカメラ／カメラ・アレイ４０を向けると共にマイクロフォン・アレイ４９の位置を制御するようにモータ位置制御を実行するために必要なソフトウェアを全て含む。例えば、制御信号はカメラ・アレイ４０に入力して、カメラ・パン／チルト・ミラー、レンズ・システム（複数のシステム）、フォーカス・モータ、パン・モータ、およびチルト・モータ・コンポーネント、およびサブ・システムを調節または制御することができる。更に、これらの制御信号を用いて、カメラの視野を自動的に方向制御し、実際の警報または実際のイベントに関する情報を多く有するように中央に置いた画像、またはズームした画像、焦点の合った画像、解像した画像を得る。限定ではない１つの例では、高性能認識エンジンによる発砲オーディオ信号のオーディオ認識に応答して、制御信号を発生し、カメラ・アレイの１つ以上のカメラをその現場に向けて、発砲の方向に「ロック」することができる。発砲のオーディオ認識によってビデオ・カメラ・アレイが犯罪の場所に向けられた場合、「犯罪イベント」認識の方が有用である。なぜなら、発砲に関してもっと多くの情報が利用可能になるからである。あるいは、またはこれに加えて、これらの制御信号を発生し、これらを用いて、マイクロフォンの方位およびマイクロフォン間の距離を自動的に調節して、付随するオーディオ情報を更に良好に受信することができる。更に、マイクロフォンの方位は、必要な周波数範囲のオーディオ信号を検出することを考慮して、またはいずれかの所与の指向性を与えるように調節することができる。このため、例えば、ビデオ認識イベントに応答して、１つ以上のマクロフォンの向きを変えて、ある特定の方向から「聴く」ことも可能である。
【００２２】
更に具体的には、図４に示すように、ビデオ認識エンジン６２およびオーディオ認識エンジン６３からの出力を共同認識エンジン６４によって分析して、同時に受信したビデオおよびオーディオ認識情報を処理し、最終的に警報状況が存在するか否かを判定する。このようにして、警報を発生し、通信リンク４７を介して有人監視ステーション４８に転送することができる。すなわち、共同認識エンジン６４において用いられる、コンピュータ読み取り可能命令、データ構造、プログラム・モジュール等として使用される認識プロセスは、一般に、パターン・マッチングあるいは仮説評価またはそれら両方に基づいている。評価段階の間、様々なイベントの確率の推定値を求める。これを行うには、リアルタイム・ビデオ認識情報およびオーディオ信号から、認識された各ビデオ場面およびそれに付随する認識された音声またはオーディオ特徴間にどの程度の相関が存在するかを求めれば良い。認識イベントの一例において、突き刺すような動きを認識する際には、様々なビデオ場面の確率を評価するために、ビデオ情報を用いる。かかる場面に甲高い声（叫び等）が伴うことがわかっていれば、オーディオ入力から甲高い声を検出することは、それがビデオ信号で捕捉された突き刺すような動きの結果である確率を高める。オペレータは、カメラ・アレイ４０によって監視された特定領域を視覚的に監視し、警報発生ユニットによって警報指示が与えられると、監視対象の領域に警察または非常事態の対応人員を派遣するか否かがオペレータによって決断される。上述の説明から、オーディオ入力から有用な情報が抽出されることは明らかであろう。これをビデオ認識イベントと組み合わせて、監視システムの全体的な動作を向上させる。
【００２３】
更に図４に示すように、ビデオ認識エンジン６２と共同認識エンジン６４との間の通信リンク６０は双方向性であり、オーディオ認識エンジン６３と共同認識エンジン６４との間の通信リンク６１も同様である。リンク６０および６１の双方向性によって、上述のようにビデオおよびオーディオ認識アルゴリズムの相互の作用が可能となり、これは結果として、ビデオおよびオーディオの認識レベルを高め、以前は検出が不可能であった特定のイベントを検出する可能性が生まれる。
【００２４】
本発明について、その例示的な実行された実施形態に関連付けて具体的に図示し記載したが、本発明の意図および範囲から逸脱することなく、形態および詳細において前述およびその他の変更を実施可能であり、本発明の意図および範囲は特許請求の範囲によってのみ制限されることは、当業者には理解されよう。
【図面の簡単な説明】
【００２５】
【図１】従来技術によるビデオのみの監視システムを示す。
【図２】従来技術によるオーディオ記録機能を有するビデオ監視システムを示す。
【図３】本発明によるビデオおよびオーディオ認識を用いたビデオ監視システムを示す。
【図４】本発明による高性能認識エンジンの詳細を示す。
【図１】
2009545911.tif 000003
2009545911.tif 000004
【図２】
2009545911.tif 000005
2009545911.tif 000006
【図３】
2009545911.tif 000007
2009545911.tif 000008
【図４】
2009545911.tif 000009
2009545911.tif 000010
【手続補正書】
【提出日】平成21年2月17日(2009.2.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオおよびオーディオ認識を利用した監視システムであって、
監視対象の領域上で取得されたビデオ情報を含むリアルタイム・ビデオ信号を発生させるための手段と、
前記監視対象の領域からのオーディオ情報を含むリアルタイム・オーディオ信号を取得するための手段と、
前記ビデオ信号およびオーディオ信号を同時に受信し、そこから関連するビデオおよびオーディオ認識情報を求め、前記リアルタイム・オーディオおよびビデオ情報を相互に相関付けて特定のイベントの発生の可能性を求めるための処理手段と、
前記特定のイベントの発生に基づいて警報状況を発生させるための手段と、
を含む、監視システム。
【請求項２】
前記処理手段が、前記ビデオ認識情報を求めるための前記ビデオ信号を処理するための第１の認識エンジンを含む、請求項１に記載のシステム。
【請求項３】
前記処理手段が、前記オーディオ認識情報を求めるための前記オーディオ信号を処理するための第２の認識エンジンを含む、請求項２に記載のシステム。
【請求項４】
前記処理手段が、前記オーディオおよびビデオ認識情報を相関付けると共に特定のイベントの発生を検出する能力を高めるための共同認識手段を含む、請求項１に記載のシステム。
【請求項５】
前記リアルタイム・ビデオ信号を発生させるための前記手段が１つ以上のビデオ・カメラ・デバイスを含み、前記共同認識手段が、前記特定のイベントの前記オーディオ認識に基づいて前記イベントの発生を認識したことに応答して、ビデオ信号を捕捉するように前記カメラ・デバイスの１つ以上のカメラを前記イベントの方向に向けるための制御信号を発生させるための手段を更に含む、請求項４に記載のシステム。
【請求項６】
前記ビデオ・カメラ・デバイスの各々が、前記ビデオ・カメラ・デバイスのパン、チルト、ズーム、回転、ドリー、平行移動制御パラメータの１つ以上を調節するために、前記制御信号に応答するパン／チルト・ミラー、レンズ・システム、フォーカス・モータ、パン・モータ、およびチルト・モータ・コンポーネントの１つ以上を含む、請求項５に記載のシステム。
【請求項７】
前記リアルタイム・オーディオ信号を発生させるための前記手段が１つ以上のマイクロフォン・デバイスを含み、前記共同認識手段が、潜在的なイベントの前記ビデオ認識に基づいて前記イベントの発生を認識したことに応答して、オーディオ認識情報の捕捉を可能とするように前記マイクロフォン・デバイスの１つ以上のマイクロフォンを前記特定のイベントの方向に向けるための制御信号を発生させるための手段を更に含む、請求項４に記載のシステム。
【請求項８】
前記マイクロフォン・デバイスの各々が、前記制御信号に応答して、必要な周波数範囲のオーディオ信号の検出を考慮して前記マイクロフォンの方位を自動的に調節する、請求項７に記載のシステム。    
【請求項９】
前記マイクロフォン・デバイスの各々が、前記制御信号に応答して、いずれかの所与の指向性でのオーディオ信号の受信を考慮して前記マイクロフォンの方位を自動的に調節する、請求項７に記載のシステム。    
【請求項１０】
前記オーディオおよびビデオ・データをストアするための手段を更に含む、請求項１に記載のシステム。
【請求項１１】
ストレージ手段に前記オーディオおよびビデオ・データをストアする前にそれらのデータを圧縮するための手段を更に含む、請求項１０に記載のシステム。
【請求項１２】
ビデオおよびオーディオ認識を利用した監視方法であって、
監視対象の領域上で取得されたビデオ情報を含むリアルタイム・ビデオ信号および前記監視対象の領域からのオーディオ情報を含むリアルタイム・オーディオ信号を、処理手段において同時に受信するステップと、
前記受信したビデオ信号およびオーディオ信号から関連するビデオ認識およびオーディオ認識情報を求めるステップと、
前記リアルタイム・オーディオおよびビデオ認識情報を相互に相関付けて特定のイベントの発生の可能性を求めるステップと、
前記特定のイベントの発生に基づいて警報状況を発生させるステップと、
を含む、方法。
【請求項１３】
前記オーディオおよびビデオ・データをデータ・ストレージ・デバイスにストアするステップを更に含む、請求項１２に記載の方法。
【請求項１４】
前記データ・ストレージ・デバイスに前記オーディオおよびビデオ・データをストアする前にそれらのデータを圧縮するステップを更に含む、請求項１３に記載の方法。
【請求項１５】
ビデオおよびオーディオ認識を利用してある領域の監視を実行するための方法ステップを実施するプログラムであって、コンピュータに、
監視対象の領域上で取得されたビデオ情報を含むリアルタイム・ビデオ信号および前記監視対象の領域からのオーディオ情報を含むリアルタイム・オーディオ信号を、処理手段において同時に受信するステップと、
前記受信したビデオ信号およびオーディオ信号から関連するビデオ認識およびオーディオ認識情報を求めるステップと、
前記リアルタイム・オーディオおよびビデオ認識情報を相互に相関付けて特定のイベントの発生の可能性を求めるステップと、
前記特定のイベントの発生に基づいて警報状況を発生させるステップと、
を実行させるためのプログラム。
【国際調査報告】
2009545911.tif 000011