(57)【要約】セルフチェックアウト端末において発生する不正行為の検証方法が開示される。方法は、取引エリア、およびセルフチェックアウト端末の袋に詰めるエリアを監視することによって生成される複数のデータで、不正行為のインシデントを確認することによって、不正行為を確認する。任意選択で、機械により特定されたインシデントを検証するのに人的検証が行われる。
2016513296.tif 000002
【特許請求の範囲】
【請求項１】
セルフチェックアウト端末において対象となる起こり得る行為を検証する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
ビデオソースから生成されるビデオフィードを取得するステップであって、前記ビデオフィードは、取引時間の少なくとも一部の間に商品を監視することによって生成され、前記商品は、取引エリアに位置している、ステップと、
データソースからデータフィードを取得するステップであって、前記データフィードは、前記取引時間の少なくとも一部の間に前記商品を監視することによって生成され、前記商品は、前記取引エリアに位置している、ステップと、
前記ビデオフィードを分析して、前記対象となる起こり得る行為を特定するステップと、
前記データフィードを分析して、前記対象となる起こり得る行為を特定するステップと、
前記分析されたビデオフィードおよび前記分析されたデータフィードの両方が、前記対象となる起こり得る行為を確認する場合、アラートを発行するステップと
を備える、方法。
【請求項２】
前記対象となる起こり得る行為は、起こり得る不正行為である、請求項１に記載の方法。
【請求項３】
前記ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記人的検証端末から人的検証応答を受信して、前記アラートを検証するステップと
をさらに備える、請求項２に記載の方法。
【請求項４】
データソースからデータフィードを取得する前記ステップは、
取引データから前記データフィードを取得するステップであって、前記取引データは、前記セルフチェックアウト端末から生成される、ステップと、
重量センサから前記データフィードを取得するステップであって、前記重量センサは、袋に詰めるエリアに置かれた前記商品の重量を検出する、ステップと
の少なくとも１つを含む、請求項２に記載の方法。
【請求項５】
重量センサから前記データフィードを取得することによって、前記データフィードを分析して、前記起こり得る不正行為を特定する前記ステップは、
前記セルフチェックアウト端末から、前記商品の想定外重量データを受信するステップであって、前記重量センサは、前記セルフチェックアウト端末と通信可能に結合され、前記セルフチェックアウト端末は、袋に詰めるエリアに置かれている前記商品の前記想定外重量データを取得する、ステップと、
前記想定外重量データに基づいて、前記起こり得る不正行為を特定するステップであって、前記想定外重量データは、前記重量センサからの前記商品の重量が、想定内重量許容差に対応するかを特定するために取得される、ステップと
を含む、請求項４に記載の方法。
【請求項６】
セルフチェックアウト端末において起こり得る不正行為を検証する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
前記セルフチェックアウト端末から、商品の想定外重量データを受信するステップであって、重量センサは、前記セルフチェックアウト端末と通信可能に結合され、前記セルフチェックアウト端末は、袋に詰めるエリアに置かれている前記商品の前記想定外重量データを取得する、ステップと、
前記想定外重量データに基づいて、前記起こり得る不正行為を特定するステップであって、前記想定外重量データは、前記重量センサからの前記商品が、想定内重量許容差に対応するかを特定するために取得される、ステップと、
データフィードに基づいて、前記起こり得る不正行為を特定するステップであって、前記データフィードは、取引エリアにおいて前記商品を監視するデータソースから生成され、前記データフィードは、取引時間の少なくとも一部の間に生成される、ステップと
を備える、方法。
【請求項７】
前記データフィードに基づく前記特定された起こり得る不正行為を、前記想定外重量データに基づく前記特定された起こり得る不正行為と相互に関連付けて、前記起こり得る不正行為を検証するステップをさらに備えた、請求項６に記載の方法。
【請求項８】
ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化され、前記ビデオフィードは、前記取引時間の少なくとも一部の間に前記商品を監視するビデオソースから生成され、前記商品は、前記取引エリアに位置している、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記人的検証端末から人的検証応答を受信して、前記起こり得る不正行為を検証するステップと
をさらに備える、請求項６に記載の方法。
【請求項９】
データフィードに基づいて、前記起こり得る不正行為を特定する前記ステップは、
ビデオ分析に基づいて前記起こり得る不正行為を特定するステップであって、前記ビデオ分析は、ビデオフィードを分析する前記コンピュータプロセシングユニットによって実行され、前記ビデオフィードは、前記商品を監視するビデオソースから生成される、ステップと、
取引データに基づいて前記起こり得る不正行為を特定するステップであって、前記取引データは、前記セルフチェックアウト端末から生成される、ステップと
の少なくとも１つを含む、請求項７に記載の方法。
【請求項１０】
前記データフィードに基づく前記特定された起こり得る不正行為、および前記想定外重量データに基づく前記特定された起こり得る不正行為の両方が、前記起こり得る不正行為を確認する場合、アラートを発行するステップをさらに備える、請求項７に記載の方法。
【請求項１１】
前記データフィードに基づく前記特定された起こり得る不正行為、および前記想定外重量の差異に基づく前記特定された起こり得る不正行為の少なくとも１つが、前記起こり得る不正行為を確認しない場合、アラートを否定するステップをさらに備える、請求項７に記載の方法。
【請求項１２】
前記人的検証応答と、
前記データフィードに基づく前記特定された起こり得る不正行為と、
前記想定外重量の差異に基づく前記特定された起こり得る不正行為と
の少なくとも１つによって、前記起こり得る不正行為が確認される場合、アラートを発行するステップをさらに備えた、請求項８に記載の方法。
【請求項１３】
前記データフィードに基づく前記特定された起こり得る不正行為、前記想定外重量の差異、および前記人的検証応答の組み合わされた分析が、前記起こり得る不正行為を確認する場合、アラートを発行するステップをさらに備える、請求項８に記載の方法。
【請求項１４】
セルフチェックアウト端末において起こり得る不正行為を検証するシステムであって、
取引時間の少なくとも一部の間に生成される複数のデータフィードを分析するように動作可能なコンピュータプロセシングユニットであって、前記複数のデータフィードは、前記セルフチェックアウト端末において取引される商品を監視することによって生成され、前記コンピュータプロセシングユニットは、前記複数のデータフィードの各々を、前記商品を関連付けるプリセットされたデータと相互に関連付けて、前記起こり得る不正行為を特定するように動作可能であり、前記コンピュータプロセシングユニットは、前記複数のデータフィードのうちの少なくとも２つが、前記特定された起こり得る不正行為を確認するときに、アラートを発行するように構成され、前記複数のデータフィードは、
ビデオフィード、取引データ、および想定外重量データ
を含む、コンピュータプロセシングユニットと、
前記コンピュータプロセシングユニットと通信可能に結合されたビデオソースであって、前記ビデオソースは、取引エリアに置かれた前記商品の前記ビデオフィードを生成するように動作可能である、ビデオソースと、
前記セルフチェックアウト端末と通信可能に結合された重量センサであって、前記想定外重量データは、前記セルフチェックアウト端末から前記コンピュータプロセシングユニットに送信され、前記想定外重量データは、前記重量センサから測定された前記商品の重量が、想定内重量許容差に対応するかを特定するために取得される、重量センサと、
前記コンピュータプロセシングユニットに通信可能に結合された前記セルフチェックアウト端末と
を備える、システム。
【請求項１５】
前記コンピュータプロセシングユニットと通信可能に結合された人的検証端末であって、前記人的検証端末は、前記ビデオフィードの少なくとも一部を利用して、前記起こり得る不正行為を特定する、人的検証端末をさらに備える、請求項１４に記載のシステム。
【請求項１６】
セルフチェックアウト端末において損失インシデントを特定する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
ビデオフィードを取得するステップであって、前記ビデオフィードは、取引エリアにおいて商品を監視するビデオソースから生成され、前記ビデオフィードは、取引時間の少なくとも一部の間に生成される、ステップと、
前記コンピュータプロセシングユニットにより実行されるビデオ分析によって、前記取得されたビデオフィードに基づいて、前記損失インシデントを特定するステップと、
前記ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記人的検証端末から人的検証応答を受信するステップと、
前記人的検証に基づいて、前記損失インシデントを特定するステップと、
前記ビデオ分析および前記人的検証応答に基づいて、アラートを発行するステップと
を備える、方法。
【請求項１７】
ビデオフィードを取得する前記ステップは、前記ビデオフィードの少なくとも一部を前記コンピュータプロセシングユニットに記憶するステップを含む、請求項１６に記載の方法。
【請求項１８】
セルフチェックアウト端末において起こり得る不正行為を検証する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
ビデオフィードを取得するステップであって、前記ビデオフィードは、取引時間の少なくとも一部の間に商品を監視するビデオソースから生成され、前記商品は、取引エリアに位置している、ステップと、
前記セルフチェックアウト端末、前記セルフチェックアウト端末と通信可能に結合された重量センサから、前記商品の想定外重量データを取得するステップであって、前記セルフチェックアウト端末は、袋に詰めるエリアに置かれている前記商品の前記想定外重量データを取得し、前記想定外重量データは、前記重量センサから測定された前記商品の重量が、想定内重量許容差に対応するかを特定するために取得される、ステップと、
前記ビデオフィードを分析して、ビデオ分析を実行することによって、前記起こり得る不正行為を特定するステップと、
前記ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記人的検証端末から人的検証応答を受信するステップと、
前記人的検証に基づいて、前記起こり得る不正行為を特定するステップと、
前記分析されたビデオフィード、前記想定外重量データ、および前記人的検証応答の全てが、前記起こり得る不正行為を確認する場合、アラートを発行するステップと
を備える、方法。
【請求項１９】
セルフチェックアウト端末において起こり得る不正行為を検証する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
前記セルフチェックアウト端末、前記セルフチェックアウト端末と通信可能に結合された重量センサから、商品の想定外重量データを受信するステップであって、前記セルフチェックアウト端末は、袋に詰めるエリアに置かれている前記商品の前記想定外重量データを取得する、ステップと、
前記想定外重量データに基づいて、前記起こり得る不正行為を特定するステップであって、前記想定外重量データは、前記重量センサからの前記商品の重量が、想定内重量許容差に対応するかを特定するために取得される、ステップと、
ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化され、前記ビデオフィードは、取引時間の少なくとも一部の間に前記商品を監視するビデオソースから生成され、前記商品は、取引エリアに位置している、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記人的検証端末から、人的検証応答を受信するステップと、
前記人的検証応答に基づいて、前記特定された起こり得る不正行為を検証するステップと
を備える、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１２年１２月２１日に出願された米国仮特許出願第６１／７４０，８５８号明細書の利益を主張する特許出願である。本出願は、２００９年１２月１５日に発行された米国特許第７，６３１，８０８号明細書を参照によって組み込んでいる。
【０００２】
本発明は概して、セルフチェックアウト端末において発生する不正行為を防止するセキュリティシステムおよび方法に関する。特に、セルフチェックアウトユニットにおいて不正行為を検証する方法およびシステムに関する。
【背景技術】
【０００３】
セルフチェックアウトは、またたく間に、顧客による小売商品に対して代金を支払う確立された方法になりつつある。列をより短くし、販売をより迅速にし、かつプライバシーを高めることを約束することが、顧客にとって魅力となっている。さらに、スタッフによる有人のチェックアウトを有さないこと、および人件費の削減に関連した金銭的節約が、小売業者にとって魅力となっている。
【０００４】
一方で、セルフチェックアウトは幾つかの問題を提示する。否認することができる機会、容易性、および可能性が、単に商品をスキャンしないことによって、または商品をスキャニングするのに困っていると装うことによって、顧客がそれらを盗むことを可能にする。したがって、セルフチェックアウトにおいて発生する盗難または不正行為は、有人のチェックアウトよりも多くなり得る。
【０００５】
したがって、セルフチェックアウトは、袋に詰めるエリア（ｂａｇｇｉｎｇ  ａｒｅａ）において出力の重量を測定する重量センサまたは重量計を利用した、種々の盗難防止対策を採用していることが多い。袋に詰めるエリアにおける重量の増加分が、商品の既知の重量と等しくない場合、システムはフラグをたて、かつ取引が中断される。セルフチェックアウトは、エラーとなり、かつ非常に多くの「誤検出」を作動させることが多い。加えて、セルフチェックアウトの盗難防止は十分に包括的なものではなく、顧客がセルフチェックアウトから盗むことができるさらなる方法を許容してしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、セルフチェックアウトにおいて発生することがある盗難行為、および不正行為の誤検出のアラートを減少させることができる、システムおよび検証処理が必要とされている。
【課題を解決するための手段】
【０００７】
本出願の主題は、場合により、相互関連した製品、特定の問題に対する代替的な解決法、および／または単一のシステムもしくは要素の複数の異なる使用を含むことができる。
【０００８】
一態様では、セルフチェックアウト端末において対象となる起こり得る行為を検証する方法が提供される。方法は、コンピュータプロセシングユニットを介して動作する。取引エリアにおける取引時間の少なくとも一部の間に、商品を監視するビデオソースから生成されるビデオフィードが取得される。コンピュータプロセシングユニットは、取引エリアにおける取引時間の少なくとも一部の間に商品を監視することによってデータフィードが生成される、データソースからデータフィードを取得する。そして、ビデオフィードおよびデータフィードが分析されて、対象となる起こり得る行為を特定する。次に、分析されたビデオフィードおよび分析されたデータフィードの両方が対象となる起こり得る行為を確認するときに、アラートが発行される。
【０００９】
別の態様では、セルフチェックアウト端末において起こり得る不正行為を検証する方法が提供される。コンピュータプロセシングユニットは、セルフチェックアウト端末から商品の想定外重量データを受信し、セルフチェックアウト端末では、袋に詰めるエリアに置かれている商品の想定外重量データを取得するのに、重量センサがセルフチェックアウト端末と結合される。次に、想定外重量データに基づいて、起こり得る不正行為が特定される。重量センサからの商品が、想定内重量許容差に一致するかを特定するのに想定外重量データが取得される。コンピュータプロセシングユニットはさらに、データフィードに基づいて、起こり得る不正行為を特定し、データフィードは、取引エリアにおいて商品を監視するデータソースから生成される。
【００１０】
さらなる別の態様では、セルフチェックアウト端末において起こり得る不正行為を検証するシステムが提供される。システムは、取引時間の少なくとも一部の間に生成される複数のデータフィードを分析するように動作可能なコンピュータプロセシングユニットを備える。複数のデータフィードは、セルフチェックアウト端末において取引されている商品を監視することによって生成され、コンピュータプロセシングユニットは、複数のデータフィードの各々を、商品を関連付けるプリセットされたデータと相互に関連付けて、起こり得る不正行為を特定する。さらに、コンピュータプロセシングユニットは、複数のデータフィードの少なくとも２つが、特定された起こり得る不正行為を確認するときに、アラートを発行するように構成される。複数のデータフィードは、ビデオフィード、取引データ、および想定外重量データを備える。システムはさらに、コンピュータプロセシングユニットと通信可能に結合された、ビデオフィードを生成するビデオソースを備える。重量センサは、想定外重量データをコンピュータプロセシングユニットに送信するセルフチェックアウト端末に結合される。セルフチェックアウト端末は、コンピュータプロセシングユニットに通信可能に結合される。
【００１１】
さらなる態様では、セルフチェックアウト端末において損失インシデントを特定する方法が提供される。コンピュータプロセシングユニットは、ビデオフィードを取得し、ビデオフィードは、取引エリアにおいて商品を監視するビデオソースから生成される。ビデオフィードは、取引時間の少なくとも一部の間に生成される。コンピュータプロセシングユニットは、ビデオ分析によって取得されるビデオフィードに基づいて損失インシデントを特定し、かつビデオフィードを修正してそれを簡易化する。修正されたビデオフィードが人的検証端末に送信されて、人的検証を行う。そして、人的検証応答が受信されて、人的検証に基づいて損失インシデントを特定する。ビデオ分析および人的検証応答に基づいて、アラートが発行される。
【図面の簡単な説明】
【００１２】
【図１】セルフチェックアウト端末において起こり得る不正行為を検証する方法の実施形態を提供する。
【図２】セルフチェックアウト端末において損失インシデントを特定する方法の実施形態を提供する。
【図３】人的検証に対して送信されるビデオフィード修正の実施形態を提供する。
【図４】人的検証処理の実施形態を提供する。
【図５】セルフチェックアウト端末において起こり得る不正行為を検証するシステムの実施形態を提供する。
【発明を実施するための形態】
【００１３】
以下で添付図面と関連して記載される詳細な説明は、本発明の現在の好ましい実施形態の詳細として意図され、かつ本発明を構成および／または利用することができる唯一の形式を表すものではない。詳細な説明は、例示される実施形態とともに本発明を構成し、機能させるステップの機能および順序を記載する。
【００１４】
発行された米国特許第７，６３１，８０８号明細書は、ビデオ分析および取引データ分析の処理を詳細に説明している。そのようにして、発行された米国特許第７，６３１，８０８号明細書は、参照によって本明細書に組み込まれている。審査官は、上述の発行された特許の電子的写しを提供するよう求められている。
【００１５】
要するに、米国特許第７，６３１，８０８号明細書は、取引端末において顧客による商品の取引（例えば、購入、返金、無効など）に関連する不審行為など、取引での出力結果を検出する方法および装置を説明している。システムは、取引エリアに関連付けられたビデオデータを取得する。ビデオデータは、例えば、キャッシュレジスタチェックアウト、またはスーパーマーケットもしくは他の小売店における他の取引エリアに焦点をあてる（ｆｏｃｕｓｅｄ  ｏｎ）、防犯カメラ（ｅｌｅｖａｔｅｄ  ｃａｍｅｒａ）から取得されてもよい。システムは自動機械ビデオ分析アルゴリズムを適用し、自動機械ビデオ分析アルゴリズムは、ビデオデータの少なくとも一部を分析して、取引エリアに関連付けられた取引の少なくとも一部に関する少なくとも１つのビデオパラメータを取得するシステムの一部として開示されている。例として、システムは、ビデオデータを分析して、取引エリアにおける取引に関連する商品を追跡する（例えば、商品の存在を特定する）ことができる。この処理は、ビデオデータ分析から、取引に関連する商品の存在を自動的に特定することができる。例えば、取引エリアにおいて商品の動きを自動的に検出することによって、および／または取引エリアにおいてオペレータの行為を検出することによって、このことが行われてもよい。商品の存在を検出することは、取引エリアにおいて対象の領域から商品が撤去されることを検出すること、および／または取引エリアにおいて対象の領域に商品が持ち込まれることを検出することを含み得る。
【００１６】
取引データと比較してビデオ分析の組み合わせを使用して、システムは、ビデオデータの分析において特定された商品の存在が、取引データにおいて対応する存在を有しているかを判定することができ、有していない場合、不審行為を特定する。例として、各検出器に対し、システムは、その検出器に対する検出イベントの組を、取引データの少なくとも一部と比較して、取引データの一部において示される幾つかの商品と、その検出器によって検出された幾つかの商品との少なくとも１つの明らかな不一致を特定することができる。よって、取引の数（例えば、スキャンの数）または取引商品識別子などの取引データは、スキャンされた商品の存在、またはスキャンされた幾つかの商品（取引全体に対する）を表すとともに、ビデオ分析からの検出イベントデータまたはビデオ数は、取引エリアを通じてオペレータが移動させる商品の存在（または数）を表す。多くの他の実施形態が本明細書で開示され、その詳細が詳細な説明のセクションで提供される。
【００１７】
概して、本発明は、顧客によってセルフチェックアウト取引の間に発生することがある、起こり得る不正行為を検証する方法に関する。本発明は、セルフチェックアウト作業を、セルフチェックアウト端末によって特定される起こり得る不正行為を確認する追加的な検証手段と統合することによって、セルフチェックアウト操作の作業を強化する。１つ以上の以下のデータフィード、すなわち、ビデオ分析、取引データ統合、重量統合、および任意選択の人的検証プロセスを組み合わせることによって、その強化が促進される。その組み合わせによって、起こり得る不正行為がセルフチェックアウト端末によって最初に特定されることが保証され、かつ起こり得る不正行為の正当性を検証する。同様に、本発明は、起こり得る不正行為に与えられる誤検出アラートを低減させ、アラートは、単に検証に基づいてのみ発行される。
【００１８】
起こり得る不正行為の例は、セルフチェックアウト端末において顧客が取引されていない商品を袋に詰めるエリアに置く場合、商品を袋に詰めるエリアにおいて購入されている商品の場所に別の商品を置く場合、商品を袋に詰めるエリアの外部（フロア、入力エリア、またはセルフチェックアウト端末を通じて取引することなく、購入された商品の収集のために特に指定されていない他のエリア）に置く場合、ならびに取引の終了の後に購入されていない商品を持って行く場合、などを含んでもよいが、それらに限定されない。
【００１９】
誤検出の不正行為の例は、非売買商品（財布、携帯電話、傘、上着など）が袋に詰めるエリアに置かれる場合、販促商品などの無料進呈商品が袋に詰めるエリアに置かれる場合、同一の店舗もしくは別の店舗からの以前に購入された商品などの現在の取引に関連付けられていない売買商品が袋に詰めるエリアに置かれる場合、部分的に消費した商品、日を追うごとに重量が変化した売買商品、もしくは正確にスキャンされた他のタイプの商品によって発生する重量の不一致をもたらす場合、想定外重量の増加をもたらす袋に詰めるエリア／出力エリアの規模を学習および調査（ｓｉｔｔｉｎｇ  ｏｎ）する場合、再使用可能なバッグを使用する場合、ならびに出力エリアで商品が減少する場合、などを含んでもよいが、それらに限定されない。
【００２０】
本明細書で考慮されるビデオソースは、アナログカメラおよびＩＰカメラなどのビデオカメラ、ＤＶＲなどの、任意の期間のビデオフィードを提供することができるデバイス、ならびにタブレットコンピュータおよびラップトップコンピュータなどの、カメラを有するポータブルコンピューティングデバイスを含んでもよいが、それらに限定されない。
【００２１】
本明細書で考慮されるデータフィードは、シリアル、イーサネット（登録商標）などの任意の接続タイプを介し、ＵＤＰ、ＴＣＰなどの任意のプロトコルを介した、ＸＭＬ、ＪＳＯＮ、ＣＳＶ、バイナリを含むフォーマットにあってもよいが、それらに限定されない。
【００２２】
一実施形態では、セルフチェックアウト端末において対象となる起こり得る行為が検証されてもよい。本明細書で開示される方法およびシステムは、起こり得る不正行為を特定および検証することに限定されなくてもよい。対象となる起こり得る行為は、不正行為でない、セルフチェックアウト端末における行為であってもよい。対象となる起こり得る行為は、セルフチェックアウト端末を通じて渡される複数の商品の間での遅延、セルフチェックアウト端末に対して発生する機械的なエラー、セルフチェックアウト端末において印刷する領収書の紙詰まり、および顧客の救助呼び出し（ｄｉｓｔｒｅｓｓ  ｃａｌｌ）を含んでもよいが、それらに限定されない。起こり得る不正行為ではない対象となる起こり得る行為の例は、介入もしくはアラートを必要としてもよく、または必要としなくてもよく、よって、介入もしくはアラートを発行せずに検証処理を実行してもよい。
【００２３】
セルフチェックアウト端末において起こり得る不正行為を検証する、開示される方法を実行するシステムが提供される。システムは、デジタルビデオアナライザ（ＤＶＡ）などのコンピュータプロセシングユニット、ビデオソース、重量センサ、およびセルフチェックアウト端末を含んでもよい。
【００２４】
コンピュータプロセシングユニットは、セルフチェックアウト端末においてスキャンされる商品を監視することによって生成されるデータフィードを分析するように動作可能であってもよい。データフィードは、ビデオフィード、取引データ、および想定外重量データを含んでもよい。データフィードは、起こり得る不正行為を特定するためにコンピュータプロセシングユニットによって取得されてもよい。特定された起こり得る不正行為はさらに、別のタイプのデータフィード上で行われた分析に基づいて検証されてもよい。ビデオフィードは、取引エリアに置かれた商品を監視するビデオソースから取得されてもよい。想定外重量データは、重量センサからの重量測定値を分析した結果であってもよい。重量センサは、袋に詰めるエリアに置かれている商品の重量を測定する。想定外重量データは、商品の重量が想定内重量許容差と一致しないときに取得されてもよい。
【００２５】
一実施形態では、想定内重量許容差は、商品に割り当てられた条件を満たした重量の範囲であってもよい。例えば、リンゴは、リンゴの平均重量に基づいて、想定内重量許容差に割り当てられてもよい。
【００２６】
別の実施形態では、想定外重量データは、商品の重量が、想定内重量許容差によって指定された条件を満たした重量の範囲外であることを示してもよい。商品の重量が、想定内重量許容差外にある場合、想定外重量データは、起こり得る不正行為を特定してもよい。
【００２７】
さらなる別の実施形態では、想定外重量データは、商品の重量が、想定内重量許容差内にあることを示し、よって、起こり得る不正行為を否定してもよい。
【００２８】
さらなる別の実施形態では、商品は、想定内重量許容差に割り当てられなくてもよい。この実施形態では、想定外重量データは、商品が既存の重量許容差を有しておらず、したがって、商品の重量が、想定内重量許容差に対応していないことを示すことによって、起こり得る不正行為を特定してもよい。
【００２９】
さらなる実施形態では、想定外重量データは、重量センサから測定された商品の重量と、想定内重量許容差との間の差異を示してもよい。例えば、商品の重量が想定内重量許容差よりも重く、かつ重量許容差外である場合、想定外重量データはそのような差異を示してもよい。想定内重量許容差はまた、単数（ｓｉｎｇｌｅ  ｎｕｍｂｅｒ）であってもよく、想定外重量データは、同様の方法で差異を示してもよい。
【００３０】
セルフチェックアウト端末において起こり得る不正行為を検証する、開示される方法を実行するシステムはさらに、人的検証を行う人的検証端末を含んでもよい。人的検証端末は、ビデオフィードの一部を分析して、起こり得る不正行為を検証または特定してもよい。
【００３１】
一実施形態では、コンピュータプロセシングユニットは、ビデオフィードを修正するように動作可能であってもよく、そこで、ビデオフィードが簡易化されてもよい。ビデオ分析によって操作される人的検証端末が、修正されたビデオフィードを、人的検証を介してリアルタイムで処理することができるように、ビデオの修正はビデオフィードを簡易化する。人的検証の詳細な処理は、本開示でさらに開示される。
【００３２】
ビデオフィードを簡易化することは、ビデオフィードの一部を検証するために、それを短期間の断片（ｓｈｏｒｔ−ｄｕｒａｔｉｏｎ  ｓｎｉｐｐｅｔ）にクリップできるほど簡易であってもよい。また、それは、人的検証を促進するために、画像処理を含んでもよい。さらに、それは、ビデオフィードからスナップショットをとることを含んでもよい。加えて、検証目的の一貫性のためにビデオの調査を規則化するように、それは、ビデオフィードを回転すること、ビデオフィードをスケーリングすること、およびビデオフィードに対して他のアフィン変換を実行することを含んでもよい。それらの全てが、ビデオフィードの簡易化として理解されることになる。
【００３３】
複数のデータフィードは、セルフチェックアウト端末において取引される商品ごとに生成されてもよい。起こり得る不正行為は、最初に、複数のデータフィードの１つによってトリガされ、次に検証されてもよい。典型的には、セルフチェックアウト端末は、起こり得る不正行為に最初にフラグを設定する（ｆｌａｇ）ことができる内臓型機構を有する。最初にフラグを設定される起こり得る不正行為が、アラートまたは介入を必要とすることを保証するために、複数のデータフィードのうちの２つ以上が、起こり得る不正行為を検証するのに利用され、起こり得る不正行為を確認または否認してもよい。複数のデータフィードの各々が、セルフチェックアウト端末と電気的に通信するコンピュータプロセシングユニットに送信されてもよい。複数のデータフィードの各々が、プリセットされたデータと比較して分析されてもよい。
【００３４】
プリセットされたデータは、店舗において販売されている各商品に割り当てられた想定内データフィードを指す２。プリセットされたデータの例は、想定内重量許容差、商品の想定内形状、および商品の想定内カウント数などを含んでもよいが、それらに限定されない。
【００３５】
一実施形態では、起こり得る不正行為は、重量センサを利用して検証されてもよい。重量センサは、セルフチェックアウト端末の袋に詰めるエリアに電気的に結合されてもよく、袋に詰めるエリアに置かれた商品の重量を提供する。提供される商品の重量は、商品の想定内重量許容差と比較されてもよい。
【００３６】
想定内重量許容差は、店舗において販売されている各商品に割り当てられてもよく、条件を満たすことができる許容差レベルを設定する。商品の重量が商品の想定内重量許容差を上回り、または下回るとき、商品は、起こり得る不正行為としてフラグを設定されてもよい。商品は、２つ以上の想定内重量許容差が割り当てられてもよい。例えば、商品は、１つ購入すると１つが無料になるイベント（ａ  ｂｕｙ  ｏｎｅ  ｇｅｔ  ｏｎｅ  ｆｒｅｅ  ｅｖｅｎｔ）の間に、ボーナス商品を伴ってもよい。
【００３７】
想定内重量許容差は、袋に詰めるエリアに置かれている商品を捕捉するのに利用されてもよい（その商品が店舗において分類された商品ではない場合）。そのようなケースでは、想定内重量許容差は、店舗において分類された商品ではない重量を有する商品にフラグを設定するためにデフォルトでゼロに設定されてもよい。
【００３８】
したがって、想定外重量データは、本明細書で開示されたように生成されてもよい。重量センサからの商品の重量が想定内重量許容差に対応しないときに、想定外重量データが取得される場合、起こり得る不正行為は、想定外重量データに基づいて特定されてもよい。
【００３９】
別の実施形態では、起こり得る不正行為を検証するのにビデオ分析が利用されてもよい。ビデオフィードは、取引エリアにおける行為を監視するビデオソースによって生成されてもよい。取引エリアは、セルフチェックアウト端末の或る区画に限定されないが、セルフチェックアウト端末の周囲のエリアを含んでもよい。ビデオ分析は、コンピュータプロセシングユニットを介して行われてもよく、そこでは、ビデオフィードがフレームごとに分析されて、起こり得る不正行為を特定する。フレームごとの分析は、そのような行為が、起こり得る不正行為でないことがある場合に、店舗において販売されていない商品を特定してもよい。袋に詰めるエリアに置かれる前、および置かれた後の商品のビデオフィードが分析されて、起こり得る不正行為を検証してもよい。種々のビデオ分析技術が利用可能であり、かつ本発明に関連するビデオ分析の方法および処理が、参照によって本明細書に組み込まれる。
【００４０】
さらなる別の実施形態では、起こり得る不正行為を検証するために、取引データがビデオ分析に相互に関連付けられてもよい。そのような方法および処理はまた、上述した参照による組み込みによって、提供されている。
【００４１】
セルフチェックアウト端末において発生する起こり得る不正行為は、介入が必要であるかを判定するために検証されてもよい。介入は、セルフチェックアウト端末を停止させることなど、セルフチェックアウト端末に電気的に提供されるアラートの形式であってもよい。セルフチェックアウトの係員が介入を進めることができる場合、アラートは、セルフチェックアウトの係員に提供されてもよい。
【００４２】
一実施形態では、起こり得る不正行為が複数のデータフィードのうちの２つに基づいて確認される場合に、アラートが発行されてもよい。
【００４３】
別の実施形態では、複数のデータフィードのうちの１つによって特定される起こり得る不正行為が誤検出のケースを示した場合に、アラートが否定されてもよい。
【００４４】
さらなる別の実施形態では、複数のデータフィードの各々が異なる結果を示す場合でさえ、アラートが発行されてもよい。この実施形態では、起こり得る不正行為をさらに検証するために人的検証が行われてもよい。例として、ビデオフィードに基づいて、バナナの房が単一のバナナとして検証されてもよいが、バナナの房は、房のバナナの数に応じて想定内重量許容差外にあってもよい。そのようなケースでは、アラートを発行する前に、人的検証はさらに起こり得る不正行為を検証してもよい。
【００４５】
起こり得る不正行為は、人的検証によってさらに検証されてもよい。人的検証は、ビデオソースによって生成されたビデオフィードを利用してもよい。ビデオフィードは修正されてもよく、そこでは、ビデオフィードが簡易化され、そして修正されたビデオフィードは、コンピュータプロセシングユニットから人的検証端末に送信され、その後に修正されたビデオが、起こり得る不正行為を確認するかを検証してもよい。検証の他の機械対応手段によって、起こり得る不正行為を検証することが困難であり、かつ／または分かりにくい場合、人的検証が有益であると理解されることがある。人的検証端末は、ビデオ分析によって操作されてもよい。
【００４６】
一実施形態では、複数のデータフィードによって検証される、起こり得る不正行為を確認する最終ステップとして、人的検証が行われてもよい。
【００４７】
本明細書で開示されるビデオフィードの修正は、人的検証を促進するのに使用することができる画像分析および処理手法を含んでもよい。非限定的な例として、そのような修正は、不一致の領域を示すのに１つ以上の画像間の差異を強調表示すること、紛らわしい細部を取り除き、かつシーン（ｓｃｅｎｅ）の関連のあるエリアに焦点を絞るのに画像をトリミングまたはマスキングすること、画像を一貫した典型的景観（ｃａｎｏｎｉｃａｌ  ｖｉｅｗ）にするように、画像を回転および変換すること（アフィンおよび非線形の両方、例えば、回転、伸張、刈り込み、ミラー化、歪みの除去など）、商品が持ち込まれ、撤去され、操作され、または移動される画像の領域を強調表示すること、オプティカルフローを強調表示すること、動きの軌跡を強調表示すること、製品の以前に正当であると確認された商品を強調表示すること、取引ログおよびセルフチェックアウトイベント情報（例えば、重量センサ情報、スキャナ情報、袋不要ボタン（ｓｋｉｐ−ｂａｇｇｉｎｇ  ｂｕｔｔｏｎ）、顧客存在検出情報、電子商品セキュリティタグの非活性化、タグ除去など）をオーバレイすること、特定の行為に対して指定された特定の画像領域を強調表示すること（例えば、入力エリア、出力エリアなど）、を含んでもよいが、それらに限定されない。
【００４８】
起こり得る不正行為の検証は、人的検証でリアルタイムに行われてもよい。
【００４９】
人的検証は、起こり得る不正行為の非人的対応検証方法における欠陥を補償すると考えられてもよい。例えば、自動検証システムにおける自動パラメータのチューニングは、システムに特定の偽陽性率および真陽性率を与える。例えばそのようなシステムが、５０％の真陽性率を得るようにチューニングされている場合、偽陽性率は非常に高いことがある。このケースでは、自動的な手法と特定の人的検証との組合せによって、所望の真陽性量（ｔｒｕｅ  ｐｏｓｉｔｉｖｅ  ｙｉｅｌｄ）を維持するとともに、偽陽性率をより処理しやすいものに低減させることが可能な複合システムを得ることができる。
【００５０】
一実施形態では、人的検証は、ウェブサービスを利用して処理されてもよい。修正されたビデオフィードは、インターネット接続へのアクセスを有するウェブサービスを利用する、ウェブブラウザを介して通信されてもよい。人的検証を行うアナリストは、コンピュータプロセシングユニットから送信されるアラートを検討および検証するためにウェブアプリケーションを利用してもよい。検証／確認のためのイベントドリブンインタフェースを作成するために、ウェブアプリケーションは、長期のポーリング機構を介してウェブサービスを呼び出してもよい。検証ジョブがウェブサービスにない場合、長期のポーリング機構は最終的にタイムアウトし、かつウェブアプリケーションによって即時に再確立されてもよい。ジョブが利用可能な場合、長期のポーリング呼び出しは、ジョブの詳細を返却する。後続のウェブ呼び出しは、ウェブアプリケーションから、ジョブをサポートするウェブサービスに対してなされてもよい。その間に、ＤＶＡが人的検証を要求するジョブを有しているとき、それはジョブの詳細を有するウェブサービスを呼び出す。この呼び出しは、即時に返却しなくてもよい。
【００５１】
一実施形態では、ジョブは、ジョブを待機中のウェブアプリケーションクライアントに渡す、ウェブサービスのジョブキューに入ってもよい。ジョブが完了すると、人的検証結果が、待機中のコンピュータプロセシングユニット／ＤＶＡ呼び出しに渡される。
【００５２】
損失インシデントは、ビデオ分析によって検証されてもよい。本明細書で考慮される損失インシデントは、カート内の商品を顧客が放置するとき、盗難行為などを含んでもよいが、それらに限定されない。損失インシデントは、商品が袋に詰めるエリアに置かれていないときに発生することがあり、重量センサがその機能を実行することを不可能にする。損失インシデントが本当に発生したか否かを検証するために、損失インシデントが人的検証を受けてもよい。
【００５３】
一実施形態では、セルフチェックアウト端末における損失インシデントは、取引エリアにおいて商品を監視するビデオソースから生成されるビデオフィードを取得することによって、検証されてもよい。ビデオフィードは、取引時間の間の商品の部分的なビデオフィードであってもよい。取引時間は、商品がセルフチェックアウト端末に持ち込まれてから、支払が行われるのが成功するまでの期間を示す。コンピュータプロセシングユニットによって行われるビデオフィードのビデオ分析は、人的検証端末において行われる人的検証によって検証されてもよい。損失インシデントが確認される場合、アラートまたは介入が発行されてもよい。
【００５４】
次に図１を参照して、セルフチェックアウト端末において起こり得る不正行為を検証する方法の実施形態が説明される。最初に、セルフチェックアウト端末は起こり得る介入にフラグを設定し（１０１）、介入またはアラートは、セルフチェックアウト端末におけるインシデントが不正行為である場合に必要とされることがある。セルフチェックアウト端末は最初に、取引される商品を監視することによってセルフチェックアウト端末から生成されるデータフィードを取得し、かつ起こり得る不正行為を特定してもよい。セルフチェックアウト端末は、特定された起こり得る不正行為の検証を要求する（１０２）。中央プロセシングユニットは、インシデントを処理し（１０３）、かつ介入が必要とされるかを判定するために、複数のデータフィードを利用してもよい。複数のデータは、起こり得る不正行為が確認または否定されるかを検証するために分析されてもよい。起こり得る不正行為を確認または否定するために、人的検証が任意選択で適用されてもよい（１０８）。
【００５５】
複数のデータのうちの１つ以上の分析が、起こり得る不正行為が実際に不正なものであることを確認する場合（１０４）、セルフチェックアウト端末は、介入を要求してもよく（１０６）、介入は、アラートがセルフチェックアウトユニット上で現れ、またはアラートがセルフチェックアウトの係員に送信され、セルフチェックアウト端末において処理される取引に介入するよう通知する、形式で提供されてもよい。
【００５６】
複数のデータのうちの１つ以上の分析が、起こり得る不正行為を否定する場合（１０５）、インシデントが無視されてもよく、介入が行われない（１０７）。
【００５７】
図２は、セルフチェックアウト端末において損失インシデントを特定する方法の実施形態を示す。損失インシデント２０１がセルフチェックアウト端末において発生するとき、中央プロセシングユニットによって視覚分析２０２が行われて、損失インシデントが確認され、または誤りであるかを検証してもよい。中央プロセシングユニットは、視覚分析から損失インシデントを特定し（２０３）、かつセルフチェックアウトユニットに警告し（２０４）、それによって、介入が要求される。損失インシデントに対して行われる視覚分析を確認または否定するために、人的検証（２０６）が任意選択で適用されてもよい。その後に介入が要求され得る損失インシデントが確認されると、アラートがセルフチェックアウトユニットに提供される（２０５）。
【００５８】
図３は、ビデオ分析によって行われる人的検証に対して送信されるビデオフィードの修正の実施形態を示している。図３は、スキャンされる商品の修正されたビデオフィードを示している。最初に、スキャン時間に撮られたスナップショットが示され、その後に、袋に詰める時間に撮られたスナップショットが示される。スナップショットの差異を示すことによって、修正されたビデオフィードが強調表示され、強調表示は、袋に詰めるエリアにおける関連のある変更を示している。そして、モルフォロジー演算およびブロブベースの接続されたコンポーネント分析（ｂｌｏｂ  ｂａｓｅｄ  ｃｏｎｎｅｃｔｅｄ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ）がその後に続く閾値化処理を介して、強調表示されたビデオフィードの輪郭が取得されて、ビデオフィードを簡易化して、袋に詰めるエリアに加えられる単一の商品を示す。
【００５９】
図４は、人的検証の実施形態を提供する。最初に、人的検証要求４０２を受信することによって人的検証が行われてもよい。介入のアラートを送信する前に、人的検証は、ＤＶＡ４００または中央プロセシングユニットによって開始されてもよい（４０１）。ビデオソースからのビデオフィードが修正されてもよく、かつウェブサービス４０４に送信されてもよい。次に、修正されたビデオフィード（画像Ｔ−ＬＯＧ）は、ジョブクリエータ４０３によって、ジョブキュー４０６において待ち行列に入れられる。処理されることになる人的検証ジョブが送信されると（４０７）、ビデオアナリストは、人的検証端末４０８またはウェブアプリケーション（ＷＡ）を使用して、修正されたビデオフィードの人的検証を行う。人的検証ジョブが完了すると（４０５）、人的検証の応答４０９がＤＶＡに返信される。
【００６０】
図５は、セルフチェックアウト端末において起こり得る不正行為を検証するシステムの実施形態を示している。コンピュータプロセシングユニット５０９は、セルフチェックアウト端末５０８と通信する。セルフチェックアウト端末５０８は、袋に詰めるエリア５０５に置かれた複数の商品の重量を測定する重量センサ５０６に、通信可能に結合される。コンピュータプロセシングユニット５０９と電気的に通信するビデオカメラ５０７は、カート５０２および顧客５０３を監視することもできる取引エリア５０１、５０４における行為を監視してもよい。この実施形態では、ビデオフィードがビデオカメラによって生成され、かつ中央プロセシングユニットに送信される。コンピュータプロセシングユニットは、ビデオフィードに基づいて、起こり得る不正行為を特定してもよい。また、起こり得る不正行為を検証する本システムに、重量センサが利用されてもよい。想定外重量データは、複数の商品の各々の重量、および複数の商品の各々に対応する想定内重量許容差に基づいて、起こり得る不正行為を特定してもよい。コンピュータプロセシングユニットは、想定外重量データに基づいて、提供されることになるアラート／介入を許可してもよい。
【００６１】
好ましい実施形態または特定の実施形態の例によって、本発明の幾つかの変形形態が例示されてきたが、本発明の趣旨および範囲、またはそれらの発明概念内で、さらなる実施形態を発展することができることが明らかである。しかしながら、そのような修正形態および適応形態が本発明の趣旨および範囲内にあり、かつ以下の特許請求の範囲に記載を含むがそれに限定されないことを明確に理解するべきである。
【図１】
2016513296.tif 000003
【図２】
2016513296.tif 000004
【図３】
2016513296.tif 000005
【図４】
2016513296.tif 000006
【図５】
2016513296.tif 000007
【国際調査報告】
2016513296.tif 000008
2016513296.tif 000009