(57)【要約】視覚に基づく技術を使用して場所を監視し、所定の支援開始イベントを認識する方法と装置が開示される。１つ以上の映像取得装置が、所定の場所に焦点を合わせられる。取得された画像は、１つ以上の所定のイベントを識別し、支援を送ることや、証拠目的のためイベントを記録することのような、適切な応答を開始するように処理される。複数のルールが、多様な支援開始イベントを定義する。各ルールは、満たされなければならない１つ以上の条件と、前記ルールが満たされる場合に、実行される対応するアクション・アイテムとを含む。各ルールの少なくとも１つの条件が、視覚に基づく技術を使用して、画像において検出されるべき特徴を識別する。取得された画像を分析し、前記イベントルールにより定義された１つ以上の支援開始イベントを検出するイベント監視処理もまた開示される。
2004534464.tif 000002
【特許請求の範囲】
【請求項１】
監視場所の少なくとも１つの画像を処理する方法であって、
前記監視場所の少なくとも１つの画像を取得するステップと、
前記監視場所でイベントを識別するステップと、
前記イベントが識別される場合に適切な応答を開始するステップと
を有する方法。
【請求項２】
請求項１に記載の方法であって、
支援開始イベントが識別され、
映像コンテンツ分析技術を使用して前記画像を分析し、前記支援開始イベントに関連付けられる前記画像において、少なくとも１つの所定の特徴を識別するステップと、
前記所定の特徴が前記画像の１つに認識される場合に、支援を提供するステップと
を更に有する方法。
【請求項３】
請求項３に記載の方法であって、
前記の所定の特徴が前記画像の１つに認識された場合に、前記少なくとも１つの画像を記録するステップを更に有する方法。
【請求項４】
請求項１に記載の方法であって、
訴訟に巻き込まれ得るイベントが識別され、
映像コンテンツ分析技術を使用して前記映像を分析し、前記支援開始イベントに関連付けられる前記画像において、少なくとも１つの所定の特徴を識別するステップと、
前記所定の特徴が前記画像の１つに認識される場合に、前記少なくとも１つの画像を記録するステップと
を更に有する方法。
【請求項５】
請求項１に記載の方法であって、
支援開始イベントが識別され、
前記支援開始イベントを定義するルールを作るステップであって、前記ルールが識別される少なくとも１つの条件を有するステップと、
前記ルールが満たされると支援を提供するステップと
を更に有する方法。
【請求項６】
請求項６に記載の方法であって、
前記ルールが満たされる場合に、前記少なくとも１つの画像が記録されるステップを更に有する方法。
【請求項７】
請求項２又は４又は５に記載の方法であって、
前記イベントが、前記監視場所における負傷である方法。
【請求項８】
請求項２又は４又は５に記載の方法であって、
前記イベントが、前記監視場所における事故である方法。
【請求項９】
請求項２又は５に記載の方法であって、
前記イベントが、支援を必要とする客である方法。
【請求項１０】
支援開始イベントを検出するシステムであって、
コンピュータが解読可能なコードを蓄積するメモリと、
前記メモリに動作可能につなげられるプロセッサと
を有し、前記プロセッサは、前記コンピュータが解読可能なコードを実行するように構成され、前記コンピュータが解読可能なコードは、
監視場所の少なくとも１つの画像を取得し、
映像コンテンツ分析技術を用いて前記画像を分析し、前記支援開始イベントに関連付けられる前記画像において、少なくとも１つの所定の特徴を識別し、
前記所定の特徴が、前記画像の１つに認識される場合に、支援を提供するように構成されるシステム。
【請求項１１】
訴訟に巻き込まれ得るイベントを記録するシステムであって、
コンピュータが解読可能なコードを蓄積するメモリと、
前記メモリに動作可能につなげられるプロセッサと
を有し、前記プロセッサは、前記コンピュータが解読可能なコードを実行するように構成され、前記コンピュータが解読可能なコードは、
監視場所の少なくとも１つの画像を取得し、
映像コンテンツ分析技術を用いて前記画像を分析し、前記イベントに関連付けられる前記画像において、少なくとも１つの所定の特徴を識別し、
前記所定の特徴が、前記画像の１つに認識される場合に、前記少なくとも１つの画像を記録するように構成されるシステム。
【請求項１２】
請求項１０又は１１に記載のシステムであって、
前記特徴が、前記イベントを定義するルールに記録されるシステム。
【請求項１３】
請求項１０又は１１に記載のシステムであって、
前記イベントが、前記監視場所における負傷であるシステム。
【請求項１４】
請求項１０又は１１に記載のシステムであって、
前記イベントが前記監視場所における事故であるシステム。
【請求項１５】
請求項１０に記載のシステムであって、
前記イベントが支援を必要とする客であるシステム。
【請求項１６】
請求項１０に記載のシステムであって、
前記所定の特徴が前記画像の１つに認識される場合に、前記プロセッサが前記少なくとも１つの画像を記録するように更に構成されるシステム。
【請求項１７】
コンピュータプログラム製品であって、
そのコンピュータプログラム製品を実行するときに、プログラム可能な装置を、請求項１０又は１１に記載のシステムとして機能させるコンピュータプログラム製品。
【発明の詳細な説明】
【０００１】
本発明は、コンピュータ・ビジョン技術に関し、特に、視覚に基づく認識技術を使用してイベントを検出する方法と装置に関する。
【０００２】
能力ある従業者候補の不十分な人数に加えて、労働コストの増加により、多くの小売店や他の施設では、しばしば、不十分な数の従業者で経営しなければならない。したがって、全ての望ましい機能を実行する十分な従業者がいない場合、経営者は、最も重要な機能が満足することを確実にするために、職務に優先付けをするか、又は前記機能を実行する他の方法を見つけなければならない。例えば、多くの小売施設は、自動窃盗検出システムを利用し、セキュリティ職員を交代するか、補っている。
【０００３】
加えて、多くの店において、例えば、セキュリティ目的で、又は客が支援を要求する場合に判断するために、全ての店や他の場所を適切に監視する十分な従業者を有しない。したがって、多くの店や他の施設は、客や従業者の動きを監視するため、多様な場所にカメラを設置する。前記カメラにより生成された画像により、一般的には、多様な場所が中央に位置する１人の人間によって監視され得るが、そのようなシステムは、それでもなお、所定のイベントを検出するために、人間の監視を必要とする。
【０００４】
そのような所定のイベントが、従業者や客の負傷を含む場合、店の経営者は責任の対象になる。したがって、その後の証拠目的で負傷に関するイベントに関連する何らかの画像を保存することが望ましい。しかし、画像の人間による監視を必要とする従来のシステムでは、前記の負傷に関するイベントが、イベントの時に、又は画像が保存されたことを確実にする十分な期間内に、検出されないかもしれず、又は報告されないかもしれない。“滑って転ぶ”ことや、他の負傷についての不当な要求について増加する傾向があり、証拠目的で負傷に関するイベントの画像を保存することは、店の経営者にとって特に有益である。
【０００５】
したがって、個人が支援を要求することを示すイベントを自動的に認識する、視覚に基づく技術を使用する監視システムに対する要求が存在する。各イベントを定義するルールベースを使用するイベント監視システムに対する要求も、更に存在する。所定のイベントを認識し、証拠目的で前記イベントを記録する視覚に基づく技術を使用する監視システムに対する要求も、更に存在する。
【０００６】
概して、個人が支援を必要とする、又は責任に巻き込まれ得る所定のイベントを認識する視覚に基づく技術を使用して、場所を監視する方法と装置が開示される。前記イベントは、本願で支援開始イベントと称する。前記開示されたイベント監視システムは、所定の場所に焦点を合わせた１つ以上の画像取得装置を含む。取得された画像は、前記イベント監視システムにより処理され、１つ以上の支援開始イベントを識別し、支援を送ることや、証拠目的のためイベントを記録すること（又はその双方）のような適切な応答を開始する。
【０００７】
本発明の一形態により、多様な支援開始イベントを定義するために、複数のルールが使用される。各ルールは、前記ルールが起動されるために満たさなければならない１つ以上の条件と、オプションで、支援を送ることや、証拠目的のためイベントを記録すること（又はその双方）のような、ルールが満たされる場合に、実行される対応するアクション・アイテムとを含む。各ルールの少なくとも１つの条件が、視覚に基づく技術を使用して、画像において検出されるべき特徴を識別する。所定のイベントを検出すると、存在する場合は対応するアクションが、前記イベント監視システムにより実行される。
【０００８】
識別された支援開始イベントが、支援を要求する客である場合、例えば、対応するアクション・アイテムは、店の職員を自動的に送ることかもしれないし、又は適切な場合には医療支援であるかもしれない。イベント監視処理が開示され、取得された画像を分析し、イベントルールで定義された１つ以上の支援開始イベントを検出する本発明の一般的概念について説明する。
【０００９】
本発明のさらなる特徴と利点に加え、本発明のより完全な理解が、以下の詳細な説明と図を参照して達せられる。
【００１０】
図１は、本発明によるイベント監視システム１００を示したものである。一般的に、本発明により検出されたイベントは、支援を必要とする個人を含むイベントであるか、責任に巻き込まれるイベントであり、本願では合わせて“支援開始イベント”と称する。図１に示す通り、イベント監視システム１００は、１つ以上の監視領域１６０に焦点を合わせた１つ以上の画像取得装置１５０−１から１５０−Ｎ（以下、合わせて画像取得装置１５０と称する）を含む。前記監視領域１６０は、店の通路のような、支援を要求する個人を有する可能性のある何らかの場所、又はかなりの数の車の事故を有し得る交差点のような、潜在的に責任に巻き込まれるイベントを有する可能性のある何らかの場所になり得る。
【００１１】
本発明は、支援開始イベントがその後しばしば訴訟に巻き込まれることを認識する。したがって、本発明の他の形態により、前記画像取得装置１５０で取得した画像は、例えば、画像保存データベース１７５に証拠目的で、記録され、蓄積され得る。更に後述するとおり、検出された支援開始イベントのそれぞれに関連付けられる画像は、証拠目的で、前記画像保存データベース１７５にオプションで記録され得る。ある実施例においては、検出された支援開始イベントのそれぞれの前後の、所定の数の画像フレームが、例えば、証拠目的で、前記イベントのタイム・スタンプと共に、前記画像保存データベース１７５に記録され得る。
【００１２】
それぞれの画像取得装置１５０は、例えば、画像又は映像情報を取得する固定カメラ又はパン・チルト・ズーム（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）（ＰＴＺ）カメラとして具現され得る。前記画像取得装置１５０で生成された画像は、図３と共に後述する方法で、前記イベント監視システム１００で処理され、１つ以上の所定の支援開始イベントを識別する。ある実施においては、本発明は、図２とともに後述するイベント・データベース２００を使用し、前記イベント・データベースは、多様な支援開始イベントを定義する複数のルールを記録する。
【００１３】
各ルールにより定義された支援開始イベントは、本発明により、イベント監視システム１００で検出され得る。後述の通り、各ルールは、前記ルールが開始されるために満たさなければならない１つ以上の基準と、オプションで、前記ルールを起動する所定の基準が満たされる場合に、実行される対応するアクション・アイテムとを含む。各ルールの少なくとも１つの基準は、本発明に従って、視覚に基づく技術を使用して、画像において検出される条件である。所定の交通のイベント等の検出により、存在する場合には前記対応するアクションが、支援を送る、又は証拠目的で前記イベントを記録するように、前記イベント監視システム１００で実行される。
【００１４】
図１に示し、更に図３と４と共に後述する通り、前記イベント監視システム１００はまた、イベント検出処理３００と、滑って転ぶことの検出処理４００とを含む。概して、前記イベント検出処理３００は、前記画像取得装置１５０により取得された画像を分析し、前記交通イベント・データベース２００で定義された複数の特定の、例示的ではあるが、支援開始イベントを検出する。前記滑って転ぶことの検出処理４００は、前記画像取得装置１５０で取得された画像を分析し、人が転ぶことを検出する。
【００１５】
前記イベント監視システム１００は、中央演算処理装置（ＣＰＵ）と、ＲＡＭ及び／又はＲＯＭのようなメモリ１００とを含むパーソナルコンピュータ又はワークステーションのような、何らかのコンピュータ装置として具現され得る。他の実施においては、前記画像処理システム１００は、特定用途向け集積回路（ＡＳＩＣ）を使用して具現され得る。
【００１６】
図２は、多様な支援開始イベントを定義する各ルールを記録するイベント・データベース２００の例示的なテーブルを示したものである。前記イベント・データベースの各ルールは、ルールが開始される条件を特定する所定の基準と、オプションで、ルールに関連付けられた基準が満たされる場合に起動される対応するアクション・アイテムとを含む。一般的に、前記アクション・アイテムは、支援を送ることや、証拠目的のためイベントを記録すること（又はその双方）のような、ルールが起動される場合に実行される１つ以上の適切なステップを定義する。
【００１７】
図２に示す通り、例示的なイベント・データベース２００は、レコード２０５−２１０のような、複数のレコードを保持し、それぞれが、異なるルールに関連付けられる。ルール毎に、前記イベント・データベース２００は、フィールド２５０にルールの基準と、存在する場合はフィールド２６０に対応するアクション・アイテムとを識別する。例えば、レコード２０６に記録されたルールは、車の事故に対応するイベントである。フィールド２５０に示す通り、レコード２０６のルールは、２台の車が衝突する場合に起動される。レコード２０６のルールは、前記ルールを開始するために検出され得る複数の独立した条件を指定する。例えば、２台の車が他方と所定の距離内にある場合、事故が発生したと思われる。フィールド２６０に示す通り、対応するアクションは、監視場所１６０に支援を送ることと、証拠目的で前記イベントを記録することからなる。
【００１８】
図３は、例示的なイベント検出処理３００について説明するフローチャートである。前記イベント検出処理３００は、前記画像取得装置１５０から取得した画像を分析し、前記イベント・データベース２００で定義された複数の特定の、例示的ではあるが、支援開始イベントを検出する。図３に示す通り、ステップ３１０の間に、前記イベント検出処理は、まず前記画像取得装置１５０から監視領域１６０の１つ以上の画像を取得する。
【００１９】
その後、ステップ３２０の間に、前記画像が、映像コンテンツ分析（ＶＣＡ）技術を使用して分析される。適切なＶＣＡ技術の詳細な説明については、例えば、アイルランドのダブリンにおける第３回ＩＥＥＥ国際ワークショップ会報（２０００年７月１日）の５９−６７ページの、Ｎａｔｈａｎａｅｌ  ＲｏｔａとＭｏｎｉｑｕｅ  Ｔｈｏｎｎａｔによる、“Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅ  Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ  ｆｏｒ  Ｖｉｓｕａｌ  Ｓｕｒｖｅｉｌｌａｎｃｅ”及び、アイルランドのダブリンにおける第３回ＩＥＥＥ国際ワークショップ会報（２０００年７月１日）の７７−８３ページの、Ｊｏｎａｔｈａｎ  ＯｗｅｎｓとＡｎｄｒｅｗ  Ｈｕｎｔｅｒによる、“Ａｐｐｌｉｃａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ  Ｍａｐ  ｔｏ  Ｔｒａｊｅｃｔｏｒｙ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”にあり、参照として取り込まれる。概して、前記ＶＣＡ技術は、前記画像取得装置１５０で取得された画像における様々な特徴を認識するために使用される。
【００２０】
ステップ３３０の間に、前記映像コンテンツ分析が、前記イベント・データベース２００で定義されている所定のイベントを検出したかどうかを、判断するテストが実行される。ステップ３３０の間に、前記映像コンテンツ分析が所定のイベントを検出しないと判断した場合は、プログラム制御はステップ３１０に戻り、前述の方法で、場所（群）１６０を監視し続ける。
【００２１】
しかし、ステップ３３０の間に、前記映像コンテンツ分析が所定のイベントを検出した場合、ステップ３４０の間に、前記イベント・データベース２００のフィールド２６０に示される通りに、前記イベントが処理される。前述の通り、本発明の一形態により、ステップ３５０の間に、検出された支援開始イベントに関連付けられる画像は、オプションで、証拠目的のためにタイム・スタンプと共に、前記画像保存データベース１７５に記録され得る。そしてプログラム制御は終了する（又は、ステップ３１０に戻り、前述の方法で場所（群）１６０を監視し続ける）。
【００２２】
前述の通り、滑って転ぶことの検出処理４００は、前記画像取得装置１５０で取得された映像を分析し、人が転んだことを検出する。図４に示す通り、ステップ４１０の間に、前記滑って転ぶことの検出処理４００は、まず前記画像取得装置１５０から監視領域１６０の１つ以上の画像を取得する。
【００２３】
その後、ステップ４２０の間に、動く物体を検出するために次の画像フレームが除去される。ほとんどの小売の場所の制御される環境において、検出された動く物体は、人であると仮定できることがわかる。しかし、通常の技術的に熟練した人に明確な通り、周知の人間分類技術が、必要に応じて追加の防護手段としてオプションで使用され得る。ステップ４３０の間に、それぞれの検出された物体の投影が分析され、物体の主軸の向き（縦方向又は横方向）を識別する。
【００２４】
ステップ４４０の間に、検出された物体の主軸が、前のフレームにおいて縦方向から、現在のフレームにおいて横方向に変化すると、誰かが転んだことを意味するという判断するテストが実行される。ステップ４４０の間に、検出された物体の主軸が、縦方向から横方向に変化してないと判断されると、滑って転ぶことが発生せず、プログラム制御はステップ４１０に戻り、前述の方法で場所（群）１６０を監視し続ける。
【００２５】
しかし、ステップ４３０の間に、検出された物体の主軸が、縦方向から横方向に変化したと判断されると、滑って転ぶことが発生し、ステップ４５０の間に、前記イベント・データベース２００のフィールド２６０に示される通りに、検出された滑って転ぶことのイベントが処理される。前述の通り、本発明の一形態により、ステップ４６０の間に、滑って転ぶことのような、検出された支援開始イベントに関連付けられる画像は、オプションで、証拠目的のためにタイム・スタンプと共に、前記画像保存データベース１７５に記録され得る。そしてプログラム制御は終了する（又は、ステップ４１０に戻り、前述の方法で場所（群）１６０を監視し続ける）。
【００２６】
実施例と様々な示されたもの及び説明は、単に本発明の原理の実例であり、本発明の範囲と意図を逸脱することなく、技術的に熟練した人によって、多様な改良が実現され得ることがわかる。
【図面の簡単な説明】
【００２７】
【図１】本発明によるイベント監視システムを示したものである。
【図２】図１のイベント・データベースからのテーブルの実例を示したものである。
【図３】本発明の原理を具現する例示的なイベント監視処理について説明したフローチャートである。
【図４】本発明の特徴を具体化する、例示的な滑って転ぶことの検出処理について説明したフローチャートである。
【図１】
2004534464.tif 000003
【図２】
2004534464.tif 000004
【図３】
2004534464.tif 000005
【図４】
2004534464.tif 000006
【国際公開パンフレット】
2004534464.tif 000007
2004534464.tif 000008
2004534464.tif 000009
2004534464.tif 000010
2004534464.tif 000011
2004534464.tif 000012
2004534464.tif 000013
2004534464.tif 000014
2004534464.tif 000015
2004534464.tif 000016
2004534464.tif 000017
2004534464.tif 000018
2004534464.tif 000019
2004534464.tif 000020
【国際調査報告】
2004534464.tif 000021
2004534464.tif 000022