(57)【要約】予め定義された不正なイベントを認識するために、視覚に基づく技法を使用して、小売のロケーションを監視するための方法及び装置が開示される。取り込まれた画像が処理され、１つ以上の予め定義された不正なイベントが識別されると共に、更なる調査のために従業員に通知を送出すること、又は証拠のためにイベントを記録することのような適切な応答が開始される。多数のルールは、様々な不正なイベントを定義する。たとえば、ルールが考案され、ある顧客が盗まれた衣服を着て着替え室を出るとき、ある顧客が不正に領収書なしで商品を返却しようとするときが検出される。それぞれのルールは、満足されるべき１つ以上の条件、及びルールが満足されたときに実行されるべき対応する動作項目を含んでいる。それぞれのルールについて少なくとも１つの条件は、視覚に基づく技法を使用して、画像において検出されるべき特徴を識別する。イベント監視処理もまた開示され、イベントルールにより定義された１つ以上の不正のイベントを検出するために取り込まれた画像を解析する。
2005501351.tif 000002
【特許請求の範囲】
【請求項１】
小売のロケーションにおける不正なイベントを検出する方法であって、
少なくとも１つの条件を含み、前記不正なイベントを定義するルールを規定するステップと、
前記条件を識別するために、前記小売のロケーションに関する少なくとも１つの画像を処理するステップと、
前記ルールが満足されたときに、定義された動作を実行するステップと、
を有する方法。
【請求項２】
前記ルールが満足されたときに、前記少なくとも１つの画像を記録するステップをさらに有する、
請求項１記載の方法。
【請求項３】
前記不正なイベントは、商品を盗む人物である、
請求項１記載の方法。
【請求項４】
前記不正なイベントは、領収書なしに商品を返却しようとする人物である、
請求項１記載の方法。
【請求項５】
領収書なしで商品を返却しようとする前記人物は、前記小売のロケーションにおいて前に検出されていない、
請求項４記載の方法。
【請求項６】
領収書なしで商品を返却しようとする前記人物は、前記商品が置かれている前記小売のロケーションのエリアで検出されている、
請求項４記載の方法。
【請求項７】
領収書なしで商品を返却しようとする前記人物は、前記人物が前記小売のロケーションに入ったときに、前記商品を持っていない、
請求項４記載の方法。
【請求項８】
前記処理するステップは、前記画像に関して顔画像認識の解析を実行するステップをさらに有する、
請求項１記載の方法。
【請求項９】
前記処理するステップは、前記画像に関して特徴抽出の解析を実行するステップをさらに有する、
請求項１記載の方法。
【請求項１０】
小売のロケーションでの不正なイベントを検出する方法であって、
前記小売のロケーションに関する少なくとも１つの画像を取得するステップと、
前記不正なイベントに関連する前記画像において少なくとも１つの予め定義された特徴を識別するために、ビデオコンテンツの解析技法を使用して前記画像を解析するステップと、
ルールが満足されたときに、定義された動作を実行するステップと、
を有する方法。
【請求項１１】
小売のロケーションにおいて不正なイベントを検出するシステムであって、
コンピュータ読み取り可能なコードを記憶するメモリと、
前記メモリに作用的に接続され、前記コンピュータ読み取り可能なコードを実行するために適合されるプロセッサとを有し、
前記コンピュータ読み取り可能なコードは、
少なくとも１つの条件を含み、前記不正なイベントを定義するルールを規定し、
前記条件を識別するために前記小売のロケーションに関する少なくとも１つの画像を処理し、
前記ルールが満足されたときに、定義された動作を実行する、
ために適合されるシステム。
【請求項１２】
小売のロケーションにおける不正なイベントを検出するシステムであって、
コンピュータ読み取り可能なコードを記憶するメモリと、
前記メモリに作用的に接続され、前記コンピュータ読み取り可能なコードを実行するために適合されるプロセッサとを有し、
前記コンピュータ読み取り可能なコードは、
前記小売に関する少なくとも１つの画像を取得し、
前記不正なイベントに関連する前記画像において少なくとも１つの予め定義された特徴を識別するために、ビデオコンテンツの解析技法を使用して前記画像を解析し、
ルールが満足されたときに、定義された動作を実行する、
ために適合されるシステム。
【請求項１３】
小売のロケーションにおける不正なイベントを検出する製造物であって、
媒体に具体化されるコンピュータ読み取り可能なコード手段を有するコンピュータ読み取り可能な媒体を有し、
前記コンピュータ読み取り可能なコード手段は、
少なくとも１つの条件を含み、前記不正なイベントを定義するルールを規定するステップと、
前記条件を識別するために、前記小売のロケーションに関する少なくとも１つの画像を処理するステップと、
前記ルールが満足されたときに、定義された動作を実行するステップと、
を有する製造物。
【請求項１４】
小売のロケーションにおける不正なイベントを検出する製造物であって、
媒体に具体化されるコンピュータ読み取り可能なプログラムコード手段を有するコンピュータ読み取り可能な媒体を有し、
前記コンピュータ読み取り可能なプログラムコード手段は、
前記小売のロケーションに関する少なくとも１つの画像を取得するステップと、
前記不正なイベントに関連する前記画像において少なくとも１つの予め定義された特徴を識別するために、ビデオコンテンツの解析技法を使用して前記画像を解析するためのステップと、
前記ルールが満足されたときに、定義された動作を実行するステップと、
を有する製造物。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョン技法に関連し、より詳細には、小売の環境において不正なイベントを検出するための方法及び装置に関する。
【背景技術】
【０００２】
不十分な数の従業員の募集と同様に人件費の増加のため、多くの小売ビジネス及び他の施設は、不十分な数の従業員で働かなければならないことがある。したがって、各所望の機能を遂行するために十分な従業員がいないとき、管理者は、最も重要な機能が満足されることを保証するための義務を優先するか、又は、該機能を遂行するための代替的な方法を見出さなければならない。たとえば、多くの小売店では、自動盗難探知システムを利用して、セキュリティスタッフに置き換えるか、又はセキュリティスタッフを補充している。
【０００３】
さらに、多くのビジネスは、セキュリティの目的で、全体の店内又は他の位置を十分に監視するために十分な従業員を有していない。したがって、多くのビジネス及び他の施設では、様々な位置にカメラを配置して、顧客及び従業員の動きを監視している。カメラにより生成された画像により、中央の位置に配置される１人によって、様々な位置を監視することが可能である一方、にもかかわらず、かかるシステムは、関心のあるイベントを検出するために人間の監視を必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
小売店は、商品の盗難又は不正な返品のような不正な行為のために、毎年の収益の有意な部分を失う。たとえば、個人にとって店内に入り、商品を手に取り、該商品を以前に購入した振りをして、そして領収書なしで該商品を返品しようとすることは珍しいことではない。不可能でない場合、所与の店に入った全ての顧客の行為を監視することは小売商にとって実際的ではない。
【０００５】
さらに、小売の環境が競合しているという特徴のために、殆どの小売商は、所定の条件の下で領収書なしで商品を返却することを可能にする比較的寛大な返品条件を維持することを強いられる。したがって、小売商は、かかる不正な商品の返却を効果的に防止するか、又は思い留まらせることができない。したがって、視覚に基づく技法を使用して、小売環境における不正なイベントを自動的に認識することができる監視システムが必用とされる。さらに、それぞれの不正なイベントを定義するためのルールに基づくことを採用したイベント監視システムが必要とされる。
【課題を解決するための手段】
【０００６】
一般に、小売環境における予め定義された不正なイベントを認識するために、視覚に基づく技法を使用した方法及び装置が開示される。開示されたイベント監視システムは、所与の小売のロケーションで焦点合わせされる１つ以上のイメージ取り込み装置を含んでいる。取り込まれた画像は、イベント監視システムにより処理され、１つ以上の不正なイベントが識別され、従業員への通知を送出するような適切な応答を開始する。
【０００７】
本発明の１態様によれば、様々な不正のイベントを定義するための多数のルールが利用される。たとえば、ルールは、本発明に従って考案され、顧客がいつ盗んだ衣服を着て着替え室を出てきたか、又は顧客がいつ不正に領収書なしで商品を返却しようとしたか、が検出される。それぞれのルールは、ルールがトリガされるために満たされなければならない１つ以上の条件を含んでおり、選択的に、従業員に通知を送出するような、ルールが満足されたときに実行されるべき対応する動作項目を含んでいる。それぞれのルールについて少なくとも１つの条件は、視覚に基づく技法を使用して、画像において検出される特徴を識別する。予め定義されたイベントの検出に応じて、もしあれば、イベント監視システムにより、対応する動作が実行される。
【０００８】
本発明の更に完全な理解は、本発明の更なる特徴及び効果と同様に、以下の発明を実施するための最良の形態及び添付図面を参照して得られるであろう。
【発明を実施するための最良の形態】
【０００９】
図１は、本発明によるイベント監視システム１００を例示している。一般に、本発明により検出されるイベントは、以後集合的に「不正なイベント」と呼ばれる商品の盗み又は購入していない商品の返却のような、小売の環境における不正なイベントである。図１に示されているように、イベント監視システム１００は、１つ以上の監視エリア１６０に焦点合わせされる１つ以上のイメージ取り込み装置１５０−１〜１５０−Ｎ（以下、集合的にイメージ取り込み装置１５０と呼ばれる）を含んでいる。監視エリア１６０は、店内の１つ以上の入口、出口、返却カウンタ、着替え室の通路エリア又は展示エリアのような、不正なイベントが生じる可能性のある任意のロケーションとすることができる。
【００１０】
本発明は、不正なイベントが刑事裁判ではしばしば連続して起こることを認識している。したがって、本発明の別の態様によれば、イメージ取り込み装置１５０により取り込まれる画像は、たとえば、イメージアーカイブデータベース１７５に証拠の目的で記録され保存される。さらに以下に説明されるように、それぞれ検出された不正なイベントに関連する画像は、証拠の目的で、イメージアーカイブデータベース１７５に選択的に記録される。１つの実施の形態では、それぞれ検出された不正なイベントの前後の予め定義された数のイメージフレームは、証拠の目的で、たとえば、イベントのタイムスタンプと共にイメージアーカイブデータベース１７５に記録される。
【００１１】
それぞれのイメージ取り込み装置１５０は、たとえば、画像又は動画情報を取り込むための固定又はパン−チルト−ズーム（ＰＴＺ）カメラとして実施される。イメージ取り込み装置１５０により生成された画像は、１つ以上の予め定義された不正なイベントを識別するために、図３と共に以下に説明されるようなやり方で、イベント監視システム１００により処理される。１つの実現では、本発明は、図２と共に以下に更に説明され、様々な不正なイベントを定義する多数のルールを記録するイベントデータベース２００を採用する。
【００１２】
それぞれのルールにより定義される不正なイベントは、本発明に従ってイベント監視システム１００により検出される。更に以下に説明されるように、それぞれのルールは、ルールがトリガされるために満足されなければならない１つ以上の基準を有しており、選択的に、ルールを開始するための予め定義された基準が満足されたときに実行されるべき対応する動作項目を有している。それぞれのルールについて少なくとも１つの基準は、本発明によれば、視覚に基づく技法を使用して画像において検出された条件である。かかる予め定義された不正なイベントの検出に応じて、もしあれば、イベント監視システム１００により、従業員に通知を送出する、又は証拠のためにイベントを記録するような、対応する動作が実行される。
【００１３】
図１に示されるように、並びに図３及び図４と共に更に以下に説明されるように、イベント監視システム１００は、イベント検出処理３００及び不正な返品検出処理４００を含んでいる。一般に、イベント検出処理３００は、イメージ取り込み装置１５０により取得された画像を解析し、イベントデータベース２００において定義される多数の特定的であって、なお例示的な不正なイベントを検出する。不正な返品検出処理４００は、イメージ取り込み装置１５０により取得された画像を解析し、ある人がいつ不正に商品を返却しようとしたかを検出する。
【００１４】
イベント監視システム１００は、パーソナルコンピュータ又はワークステーションのような、中央演算処理装置（ＣＰＵ）のようなプロセッサ１２０、並びにＲＡＭ及び／又はＲＯＭのようなメモリ１１０を含む任意の計算装置として実施される。代替的に実現では、特定用途向け集積回路（ＡＳＩＣ）を使用して、画像処理システム１００が実現される。
【００１５】
図２は、様々な不正なイベントを定義するそれぞれのルールを記録するイベントデータベース２００の典型的なテーブルを例示している。イベントデータベース２００におけるそれぞれのルールは、その下でルールが始まる条件を特定する予め定義された基準、及び選択的に、該ルールに関連する基準が満足されたときにトリガされるべき対応する動作項目を含んでいる。典型的に、この動作項目は、たとえば、適切な従業員に通知を送出すること、又は証拠のためにイベントを記録する（或いはこれら両者）といった、ルールがトリガされたときに実行されるべき１つ以上の適切な処理を定義している。
【００１６】
図２に示されるように、典型的なイベントデータベース２００は、それぞれが異なるルールと関連されているレコード２０５〜２１０のような複数のレコードを維持している。それぞれのルールにとって、イベントデータベース２００は、フィールド２５０においてルール基準を識別し、もしあれば、フィールド２６０において対応する動作の項目を識別する。
【００１７】
たとえば、レコード２０５に記録されるルールは、購入していない衣服を着て着替え室を出ることで商品を盗もうとする顧客に対応するイベントである。フィールド２５０に示されるように、レコード２０５におけるルールは、顧客が異なる衣服を着て着替えエリアに入ったときよりは、顧客が異なる衣服で着替えエリアを出たときにトリガされる。フィールド２６０に示されるように、対応する動作は、従業員に通知を送出すること、又は着替えエリアを監視して証拠のためにイベントを記録することからなる。
【００１８】
レコード２０５に定義される不正のイベントは、たとえば、店に入るか又は着替えエリアに入るそれぞれの顧客の画像を取り込んで、店に入る該顧客が着ていた衣服を識別する記述子を抽出することで検出される。その後、店内に入ること又は着替え室に入ることに応じて抽出された記述子は、該顧客が着替え室を出るときに抽出された記述子と比較される。この記述子が有意に異なる場合、更なる調査のために従業員に警告が送出される。適切な特徴抽出の詳細な説明のために、たとえば、“Person  Tagging  in  an  Image  Processing  System  Utilizing  Model  Based  on  Both  Appearance  and  Geometric  Features”と題され、本発明の出願人に譲渡され、2000年11月11日に提出された米国特許出願第09/703,423号を参照されたい。この内容は、引用により本実施の形態に組み込まれる。
【００１９】
同様にして、レコード２０６、２０７乃至２１０により記録されたルールは、領収書なしで商品を返却しようとする顧客に対応するイベントを定義する。フィールド２５０に示されるように、レコード２０６、２０７及び２１０におけるルールは、顧客が領収書なしで商品を返却しようとしたとき、及び（それぞれのルールで規定される）１つ以上の追加の条件が満足されたときにトリガされる。フィールド２６０に示されるように、対応する動作は、従業員に通知を送出すること、又は証拠の目的でイベントを監視して記録することからなる。
【００２０】
レコード２０６に定義される不正なイベントは、たとえば、店に入ったそれぞれの顧客に関する画像を取り込み、先に引用された特徴検出技法を使用して、該顧客が店に入ってきたときに現在返品されている商品を持っているかを判定することで検出される。レコード２０７に定義される不正なイベントは、たとえば、店に入ったそれぞれの顧客に関する画像を取り込み、顔画像認識技法を使用して、該画像が前に店に入った顧客に対応するかを判定することで検出される。このルールは、その人物が前に店にいなかった場合、その商品は前の来店で購入された可能性がないことを想定している。レコード２１０に定義される不正なイベントは、たとえば、店の要所となるエリアを監視し、顔画像認識の技法を使用して、その人物が、返品されたその商品が置かれている店内のエリアに最近いたかを判定することで検出される。
【００２１】
適切な顔認識技法の詳細な説明について、たとえば、A.ComenarezとT.S.Huangによる“Maximum  Likelifood  Face  Detection”Int’l  Conf’  on  Automatic  Face  and  Gesture  Recognition  (IEEE,1996)、及びS.Gutta等による“Face  and  Hand  Gesture  Recognition  Using  Hybrid  Classifiers”Int’l  Conf’  on  Automatic  Face  and  Gesture  Recognition  (IEEE,1996)を参照されたい。これらの内容は、引用により本実施の形態に組み込まれる。
【００２２】
図３は、例示的なイベント検出処理３００を説明するフローチャートである。イベント検出処理３００は、イメージ取り込み装置１５０から取得された画像を解析し、イベントデータベース２００において定義される、多数の特定的であってなお典型的な不正なイベントを検出する。図３に示されるように、イベント検出処理３００は、ステップ３１０の間にイメージ取り込み装置１５０から監視エリア１６０の１つ以上の画像をはじめに取得する。
【００２３】
その後、ステップ３２０の間に、ビデオコンテンツ解析（ＶＣＡ）の技法を使用して、画像が解析される。適切なＶＣＡ技法の詳細な説明のために、たとえば、Nathanael  Rota及びMonique  Thonnatによる“Video  Sequence  Interpretation  for  Visual  Surveillance”in  proc.of  the  3rd  IEEE  Int’l  Workshop  on  Visual  Surveillance,  59-67  Dublin,  Ireland  (July,  2000)、並びにJonathan  Owens及びAndrew  Hunterによる“Application  of  the  Self-Organizing  Map  to  Trajectory  Classification”  in  Proc.  of  the  3rd  IEEE  Int’l  Workshop  on  Visual  Surveillance,  77-83,  Dublin  Ireland  (July,  2000)を参照されたい。これらの内容は、引用により本実施の形態に組み込まれる。一般に、ＶＣＡ技法が採用され、イメージ取り込み装置１５０により取得された画像において様々な特徴が認識される。
【００２４】
ステップ３３０の間、テストが実行され、ビデオコンテンツ解析が、イベントデータベース２００で定義されたような予め定義されたイベントを検出したかが判定される。ステップ３３０でビデオコンテンツ解析が予め定義されたイベントを検出していないと判定された場合、プログラム制御はステップ３１０に戻り、先に説明したようなやり方でロケーション１６０を監視し続ける。
【００２５】
しかし、ステップ３３０の間、ビデオコンテンツ解析が予め定義されたイベントを検出したと判定された場合、ステップ３４０の間に、イベントデータベース２００のフィールド２６０で示されたようにイベントが処理される。先に示されたように、本発明の態様によれば、検出された不正なイベントに関連された画像は、ステップ３５０の間に証拠のためにタイムスタンプと共に、イメージアーカイブデータベース１７５に選択的に記録される。次いで、プログラム制御が終了する（又はステップ３１０に戻り、先に説明されたようにロケーションを監視し続ける）。
【００２６】
先に示したように、不正な返品検出処理４００は、イメージ取り込み装置１５０により取得された画像を解析して、ある人物が商品の不正な返却を行おうとしているときを検出する。図４に示される例示的な実施の形態では、イベントデータベース２００のレコード２０６及び２０７に定義された不正なイベントについて監視される。図４に示されるように、不正な返品検出処理４００は、ステップ４１０の間に、所与の店に入るそれぞれの顧客に関する１つ以上の画像をはじめに取得する。
【００２７】
ステップ４２０の間にテストが実行され、ある人物が領収書なしに商品を返却しようとしているかが判定される。ステップ４２０の間に、ある人物が領収書なしで商品を返却しようとしていると判定された場合、プログラム制御はステップ４３０に進む。
【００２８】
ステップ４３０の間に、前に店に入った顧客の履歴のイメージデータベースに対して、顔画像認識の解析が実行される。ステップ４３５の間にテストが実行され、返品しようとしている顧客がこれまで以前に店に入ったかことがあるかが判定される。一般に、その顧客が前に店で検出されていない場合、該顧客の以前の来店に関して、その返却された商品を合法的に購入していない可能性が大いにある。ステップ４３５の間に、返品しようとしている顧客が以前に店に入ったことがあると判定された場合、レコード２０７により定義される不正なイベントがトリガされず、プログラム制御はステップ４４０に進む。
【００２９】
しかし、ステップ４３５の間に、返品しようとしている顧客が以前店に入っていないと判定された場合、この顧客はその商品をこれまで購入していない可能性があり、ステップ４５０の間に、更なる調査のために従業員に通知が送出される。さらに、先に示したように、本発明の１つの態様によれば、検出された不正なイベントに関連する画像は、ステップ４６０の間に、証拠のためにタイムスタンプと共にイメージアーカイブデータベース１７５に選択的に記録される場合がある。次いで、プログラム制御が終了する（又は、ステップ４２０に戻り、先に説明したやり方で起こり得る不正なイベントを監視し続ける）。
【００３０】
ステップ４４０の間に、特徴抽出解析が実行され、顧客が店内に持ってきた物が識別される。ステップ４４５の間にテストが実行され、該顧客が店に入ってきたときに該返却された商品を顧客が持っていた可能性が高いかが判定される。ステップ４４５の間に、店に入ってきたときに該返却された商品を顧客が持っていなかったと判定された場合、プログラム制御は、更なる調査のためにステップ４５０に進み、先に説明したやり方で継続する。
【００３１】
しかし、ステップ４４５の間に、顧客が店に入ってきたときに該返却された商品を顧客が持っていた可能性が高いと判定された場合、レコード２０６により定義される不正なイベントはトリガされず、プログラム制御はステップ４２０に戻り、更なる不正なイベントのために監視し続ける。
【００３２】
本明細書において図示及び説明された実施の形態及び変形例は、本発明の原理を単に例示するものであって、本発明の範囲及び精神を逸脱することなしに、様々な変更例が実現されることを理解されたい。
【図面の簡単な説明】
【００３３】
【図１】本発明によるイベント監視システムを例示する図である。
【図２】図１のイベントデータベースからのサンプルテーブルである。
【図３】本発明の原理を具体化する例示的なイベント監視処理を説明するフローチャートである。
【図４】本発明の特徴を取り入れた、商品の不正な返却を検出する例示的な処理を説明するフローチャートである。
【図１】
2005501351.tif 000003
【図２】
2005501351.tif 000004
【図３】
2005501351.tif 000005
【図４】
2005501351.tif 000006
【国際公開パンフレット】
2005501351.tif 000007
2005501351.tif 000008
2005501351.tif 000009
2005501351.tif 000010
2005501351.tif 000011
2005501351.tif 000012
2005501351.tif 000013
2005501351.tif 000014
2005501351.tif 000015
2005501351.tif 000016
2005501351.tif 000017
2005501351.tif 000018
2005501351.tif 000019
2005501351.tif 000020
2005501351.tif 000021
2005501351.tif 000022
【国際調査報告】
2005501351.tif 000023
2005501351.tif 000024