(57)【要約】  【課題】  【解決手段】  本発明はインテリジェントショッピングカートの商品の識別方法およびシステムを開示し、当該方法では、購入待ち商品のバーコード情報を読取り、対応する商品の予め記憶された情報を取得し、前記商品の予め記憶された情報が少なくとも前記購入待ち商品の標準重量m0を含み、連続して検出してショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回の購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより、前記購入待ち商品が行う動きの情報を判断でき、前記動きの情報は、ショッピングカート内への購入待ち商品の取り入れ、ショッピングカート内からの購入待ち商品の取り出し、またはいかなる操作も不実行であること、のいずれかである。本発明の方法によれば、ユーザは自分でショッピング過程中に商品をショッピングカートに取り入れた後に、自動的に識別して正しい商品をショッピングリストに記入し、ユーザがショッピングを終了したら直接支払うことができ、このように、消費者が支払い待ちの時間を大幅に節約する。また、本発明はさらに商品を追跡し、商品を識別する商品の識別方法を協力して商品を統計するビデオスクリーンアルゴリズムを提供することにある。
2019505920.tif 000002
【特許請求の範囲】
【請求項１】
インテリジェントショッピングカートの商品の識別方法であって、
購入待ち商品のバーコード情報を読取、対応の商品の予め記憶された情報を取得するステップと、
連続して検出してショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを得て、変化値mΔにより、前記購入待ち商品が行う動きの情報を判断するステップと、、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較し、
|mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報は正確であり、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報は不正確であるステップとを含み、
前記商品の予め記憶された情報が少なくとも前記購入待ち商品の標準重量m0を含み、
前記動きの情報は、ショッピングカート内への購入待ち商品の取り入れ、ショッピングカート内からの購入待ち商品の取り出し、または操作の不実行である、
ことを特徴とするインテリジェントショッピングカートの商品の識別方法。
【請求項２】
前記ショッピングカート上にショッピングカート内の商品の総重量をリアルタイムかつ連続的に検出する重量センサが設けられ、前記重量センサが商品の総重量を計量する前に、まずショッピングカートの動作状態を判定し、次に対応するアルゴリズムで商品の実際の総重量を計算するステップと、
購入待ち商品のバーコード情報を取得した後、ショッピングカートに対してビデオを録画開始し、商品の軌跡をトラッキングして分析し、ショッピングカート内の商品の総重量の変化値に応じて、購入待ち商品がショッピングカートにすでに取り入れたと判定された場合に、ビデオ録画を停止し、または、予め設定されたトラッキング時間が終了した時点で録画を停止するステップと、を
含むことを特徴とする
請求項１に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項３】
前記重量センサによって計量される物品の総重量に関する特定のアルゴリズムは、
ショッピングカートが静止にある場合、重量センサによって計量された値が、商品の実際の重量であり、
ショッピングカートがスムーズに動く場合、重量センサによって計量されたn個の重量データの平均値が、商品の実際の総重量であり、
ショッピングカートが激しく動く場合、重量センサが計量した値は商品の実際の総重量としてはならず、
ショッピングカートが動作状態から静止になる場合、重量センサが連続も同一のデータを計量したとき、前記値を商品の実際の総重量とする
ことを特徴とする
請求項２に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項４】
前記m0の範囲の間隔値がmmin〜mmaxであり、|mΔ|が前記m0範囲の間隔値mmin〜mmax内にある場合、|mΔ|とm0が合致すると判断し、|mΔ|が前記m0範囲の間隔値mmin〜mmax外にある場合、|mΔ|とm0が合致しないと判断する
ことを特徴とする
請求項1〜3のいずれか1項に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項５】
|mΔ|とm0が合致する場合、ショッピングカート内に入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除することを報知し、
|mΔ|とm0が合致しない場合、エラーと報知し、ショッピングカートを自動的にロックさせる
ことを特徴とする
請求項4に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項６】
購入待ち商品のバーコード情報を取得した後、ショッピングカートの使用状態に対して画像を収集・分析し、
ショッピング装置の警告フレームAを初期化し、
ユーザがショッピングをしていないときに、当時点のショッピング装置の画面を次のショッピング前の背景画像として収集して背景画像P1として記録し、
ユーザがショッピングをしているときに、当該商品の情報が識別される場合、当時点で目標商品を含む画面をP2キャッチし、
目標商品を含む画像P2を用いて背景画像P1を差し引くことにより、目標商品の初期領域R1が取得され、
ビデオの各フレームにおける領域R1をトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、R1が所定の時間内にずっとAに属している場合、ショッピングが成功したと判断し、目標商品をショッピング装置内に取り入れる。
ことを特徴とする
請求項1に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項７】
検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出されたと判断するが、変化値を検出したとともに、検出した後の設定時間内に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ、購入待ち商品を走査するように報知するとともにショッピングリストからそれを削除し、バーコード情報を取得した後またはショッピングカートに購入待ち商品を入れ戻した後、ショッピングカートに対してロックを解除する
ことを特徴とする
請求項1に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項８】
検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに取り入れたと判断するが、変化値が検出される前に、購入待ち商品のバーコード情報が取得されていないと、ショッピングカートをロックさせ購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する
ことを特徴とする
請求項１に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項９】
ショッピングカート内に、商品の総重量が変わらない前提で、購入待ち商品のバーコード情報を読取り、対応する標準重量を取得した場合、設定された待ち時間内にバーコード情報を読取禁止し、ショッピングカート内の商品の総重量の増加する変化値と前記標準重量が合致することを検出した場合、ショッピングカート内に購入待ち商品をとり入れたと判断し、購入待ち商品の予め記憶された情報をショッピングリストに記憶させる
ことを特徴とする
請求項1に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項１０】
インテリジェントショッピングカート商品の識別システムであって、
前記インテリジェントショッピングカート商品の識別システムは、初期化モジュールと、計量モジュールと、比較計算モジュールと、を備え、
前記初期化モジュールは、購入待ち商品のバーコード情報を読取り、対応する商品の予め記憶された情報を取得し、前記予め記憶された情報が前記購入待ち商品の標準重量m0を少なくとも含み、 
前記計量モジュールは、連続して検出してショッピングカート内商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品を行う動きの情報を判断でき、前記動きの情報は、ショッピングカートへの購入待ち商品の取り入れ、ショッピングカート内からの購入待ち商品の取り出し、またはいかなる操作も不実行であること、のいずれかであり、
前記比較計算モジュールは、前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較し、
|mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正確であり、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報が不正確である
ことを特徴とする
インテリジェントショッピングカート商品の識別システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はインテリジェントショッピングカートと物品識別の技術分野に属し、具体的には、インテリジェントショッピングカートの商品の識別方法およびシステムに関する。
【背景技術】
【０００２】
90年代の初めから今まで十数年以来にわたって、人々は徐々にスーパーマーケットでのショッピングに慣れてきた。建てたスーパーマーケット、コンビニエンスストア、ハイパーマーケット（以下、スーパーマーケットと略称） は全国の各都市の中心に基づいてシティエリア全体と各コミュニティに拡大している。スーパーマーケットは新しいビジネスとして、伝統的なストリートショップ、百貨店、および自営業の中規模店など伝統産業の地位に対してますます優位を占めている。その機能はより多様化、全面化しつつあるので、沢山なものが、スーパーマーケットに行かなければ買えないと言われている。 
【０００３】
スーパーマーケットでショッピングすることは、便利にすることを目的としているが、ますます多くの消費者がスーパーマーケットでショッピングすることについて、支払い待ちのため時間がかかり、迅速なショッピング方法が実現されないことにますます顧客は不満を募らせている。そのため、あるスーパーマーケットとショッピングモールでは、すでにセルフチェックアウトシステムが採用されている。しかし、盗難防止のモニターがないので、商品が盗まれたり、紛失したりするために使用放棄された。スーパーマーケットの勘定速度が遅いので、消費者が長く並んで支払い待ちをするという現象が完全に解決される技術はいままで提案されていない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決する技術的問題は、従来のスーパーマーケットの支払システムの低効率を解決するためのインテリジェントショッピングカートの商品の識別方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記の技術的問題を解決するために、本発明において、インテリジェントショッピングカートのシステム内に使用され、コードを走査して商品を読み取り、重量を感知し、画像を採集・トラッキング・分析・比較することを一体化するショッピングカート内の商品をインテリジェントに識別する方法であって、
購入待ち商品のバーコード情報を読み取り、対応の商品の予め記憶された情報を取得し、前記商品の予め記憶された情報がすくなくとも前記購入待ち商品の標準重量m0を含むステップと、 
連続して検出してショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品が行う動きの情報を判断でき、前記動きの情報がショッピングカート内に購入待ち商品を入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないかのいずれかを行うステップと、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較するステップと、
|mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報は正確であり、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報が不正確である。
【０００６】
更に、当該方法において、前記ショッピングカート上にショッピングカート内の商品の総重量をリアルタイムかつ連続的に検出する重量センサが設けられ、前記重量センサが商品の総重量を計量する前に、まずショッピングカートの動作状態を判定し、次に対応するアルゴリズムで商品の実際の総重量を計算し、
購入待ち商品のバーコード情報を取得した後、ショッピングカートに対してビデオを録画し、商品の軌跡をトラッキングして分析し、ショッピングカート内の商品の総重量の変化値に応じて、購入待ち商品がショッピングカートにすでに取り入れられたと判定された場合には、ビデオ録画を停止し、または、予め設定されたトラッキング時間が終了した時点で録画を停止する
ことを含む。
【０００７】
更に、前記重量センサによって検知された商品の総重量に関する具体的なアルゴリズムは、
3-1）ショッピングカートが静止する場合、重量センサによって計量された値は商品の実際の総重量であり、
3-2）ショッピングカートがスムーズに動く場合、重量センサによって計量されたn個の重量データの平均値は、商品の実際な総重量とし、
3-3）ショッピングカートが激しく動く場合、重量センサが計量した値は商品の実際の総重量とすることができない、
3-4）ショッピングカートが動作状態から静止状態になる場合、重量センサがstから始めの6つの連続かつ同一のデータを計量したとき、前記値は商品の実際な総重量とする。
【０００８】
更に、前記m0の範囲の間隔値がmmin〜mmaxであり、|mΔ|が前記m0の範囲の間隔値mmin〜mmax内にある場合、|mΔ|はm0に合致すると判断し、|mΔ|が前記m0の範囲の間隔値mmin〜mmax外にある場合、|mΔ|はm0に合致しないと判断する。
【０００９】
更に、|mΔ|とm0が合致する条件で、ショッピングカート内に取り入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除して報知する。
【００１０】
更に、|mΔ|とm0が合致しない条件で、エラーと報知し、ショッピングカートを自動的にロックさせる。
【００１１】
更に、検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出されたと判断するが、変化値を検出したとともに、または検出した後に設定された時間内に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ、購入待ち商品を走査するように報知するとともに、ショッピングリストからそれを削除し、バーコード情報を取得した後またはショッピングカートに購入待ち商品を入れ戻した後、ショッピングカートに対してロックを解除する。
【００１２】
更に、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに取り入れたと判断したが、変化値が検出される前に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせて購入待ち商品を取り出して報知し、商品が取り出された後にショッピングカートに対してロックを解除する。
【００１３】
更に、ショッピングカート内に、商品の総重量がそのまま変更しない前提で、購入待ち商品のバーコード情報を読取り、対応する標準重量を取得し、設定された待ち時間内にバーコード情報の読取を禁止し、ショッピングカート内の商品の総重量が増加する変化値が前記標準重量に合致すると検出した場合、ショッピングカート内に購入待ち商品を取り入れたと判断し、購入待ち商品の予め記憶された情報をショッピングリストに記憶させる。
【００１４】
上記に基づいて、本発明は、購入待ち商品のバーコード情報を読取り、対応する商品の予め記憶された情報を取得し、前記予め記憶された情報が前記購入待ち商品の標準重量m0を少なくとも含む初期化モジュールと、 
連続して検出してショッピングカート内商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品が行う動きの情報を判断可能であり、前記動きの情報がショッピングカート内に購入待ち商品を取り入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないか、のいずれかである計量モジュールと、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較する比較計算モジュールと、
をさらに備え、
|mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正確であり、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報が不正確である
ことを含む。
【発明の効果】
【００１５】
1）本発明の方法によれば、ユーザは自分でショッピングをする過程中に商品をショッピングカートに取り入れた後に、システムのアルゴリズムは自動的に識別し、正しい商品をショッピングリストに記入し、ユーザがショッピングを終了した後に直接支払うことができ、このように、消費者が支払い待ちの時間を大幅に節約し、スーパーマーケットにもより多くのユーザ数を増やし、同時に、キャッシャーの数が減少し、スーパーマーケットの経営原価を低減し、収入チャネルを増やす。
【００１６】
2）本発明のシステムによれば、サードパーティのAPIインターフェイスを使用し、スーパーマーケットシステムとシームレスに接続し、システムのプロモーションを便利に推進する。
【００１７】
3）ショッピングカートが静止状態でも動作中でも、いずれの場合もショッピングカート内の商品の総重量を正確に迅速に計量することができる。
【００１８】
4）重量感知装置を介してインテリジェントショッピングカートの重量情報を収集し、このコード走査装置により、予めサーバに入力された商品情報データが検索され、モニター装置を介して商品の画像情報を収集し、画像情報で商品の軌跡をトラッキングして重量を比較することで、購入待ち商品を双方向に検証し、正確な商品の識別結果を保証することができる。
【００１９】
5）従来の画像トラッキングアルゴリズムはインテリジェントショッピングカートの目標トラッキング実験において、目標の形状や寸法や姿勢の変化なので、目標をトラッキングしにくくなり、同時に、ショッピングの種類が非常に多いので、固定特徴で抽出することが困難であり、目標を正確にトラッキングする確率は低い。本発明によるショッピングカート内の商品情報をインテリジェントに識別するアルゴリズムでの照明変化、遮蔽、非剛性の変形、モーションブラー、背景クラッタ及び回転などビデオに対してすべて良好にトラッキングでき、ショッピングカートの目標トラッキングの成功率は99％に達することができ、同時に、目標トラッキングアルゴリズムの運行速度は、従来のディープラーニングアルゴリズムより数桁速く、埋め込みタイプのリアルタイムに目標に対してトラッキングすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明におけるインテリジェントショッピングカートの商品の識別方法のフローチャートである。
【図２】本発明におけるインテリジェントショッピングカートの商品の識別システムの構造を示す図である。
【図３】本発明実施例におけるユーザがコードを走査した後のアルゴリズムの識別のフローチャート図である。
【図４】本発明における動画のトラッキング方法のフローチャートである。
【発明を実施するための形態】
【００２１】
現在、ある実施例を参照しながら本発明の原理を説明する。これらの実施例はただ当業者の理解の便宜のために、本開示の目的を便宜的に説明するものであり、本発明の範囲を制限するものではない。この説明の開示内容は下記の説明の方式の以外の各種の方式で実施することができる。
【００２２】
例えば、本文に記載されるように、用語「含む」および各種の変化はオープンエンドの用語であると理解されるであろう。それは「含むが、限定されるものではない」ことを意味する。用語「基づく」は「少なくとも一部に基づく」と理解されるであろう。用語「1つの実施例」は「少なくとも１つの実施例」と理解されるであろう。用語「別の実施例」は「少なくとも他の実施例」と理解されるであろう。
【００２３】
図1は本発明におけるインテリジェントショッピングカートの商品の識別方法のフローチャートであり、本実施例におけるインテリジェントショッピングカート商品の識別方法であって、
S100：購入待ち商品のバーコード情報を読取り、対応の商品の予め記憶された情報を取得し、前記予め記憶された情報は少なくとも前記購入待ち商品の標準重量m0を含む。本実施例において、好適には、前記m0の範囲の間隔値がmmin〜mmaxであり、|mΔ|が前記m0の範囲の間隔値mmin〜mmax内にある場合、|mΔ|とm0が合致すると判断し、|mΔ|が前記m0の範囲の間隔値mmin〜mmaxの外にある場合、|mΔ|とm0が合致しないと判断するステップと、
S101：連続して検出してショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得するステップと、
S102：変化値mΔにより前記購入待ち商品を行う動きの情報を判断でき、前記動きの情報が、ショッピングカート内に購入待ち商品を取り入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないか、のいずれかであるステップと、
S103：前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較するステップと、
S104：|mΔ|とm0が合致すると、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正しいとするステップと、
S105：|mΔ|とm0が合致しないと、取得された商品の予め記憶された情報と購入待ち商品が合致しないとする、及び・または判断された動きの情報がエラーであるとするステップと、
を含む。
【００２４】
本実施例において、好適には、上記の方法において、前記ショッピングカート上にショッピングカート内の商品の総重量をリアルタイムかつ連続的に検出する重量センサが設けられ、前記重量センサが商品の総重量を計量する前に、まずショッピングカートの移動状態を判定して、次に対応するアルゴリズムで商品の実際の総重量を計算することと、
購入待ち商品のバーコード情報を取得した後、ショッピングカートに対してビデオを録画し、商品の軌跡をトラッキングして分析し、ショッピングカート内の商品の総重量の変化値に応じて、購入待ち商品がショッピングカートに入れられたと判定された場合には、ビデオ録画を停止し、または、予め設定されたトラッキング時間が終了した時点で録画を停止することと、
を更に含む。
【００２５】
本実施例において、好適には、上記の重量センサは商品の総重量の具体的なアルゴリズムを計量し、
3-1）ショッピングカートが静止する場合、重量センサによって計量された値は商品の実際の総重量であり、
3-2）ショッピングカートがスムーズに動くとき、重量センサによって計量されたn個の重量データの平均値は商品の実際な総重量とし、
3-3）ショッピングカートが激しく動く場合、重量センサが計量した値商品の実際の総重量とすることができず、
3-4）ショッピングカートが動作状態から静止になる場合、重量センサがstから始めの6つの連続な同一のデータを収集したとき、前記値は商品の実際な総重量とする。
【００２６】
本実施例において、好適には、|mΔ|とm0が合致する条件で、ショッピングカート内に取り入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除して報知する。
【００２７】
本実施例において、好適には、|mΔ|とm0が合致しない条件で、エラーと報知し、ショッピングカートを自動的にロックさせる。
【００２８】
本実施例において、好適には、検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出したと判断するが、変化値が検出されたとともに、または検出された設定時間内に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ、購入待ち商品を走査するように報知するとともにショッピングリストからそれを削除し、バーコード情報を取得した後またはショッピングカートに購入待ち商品を入れ戻した後、ショッピングカートに対してロックを解除する。
【００２９】
本実施例において、好適には、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に了購入待ち商品をすでに取り入れたと判断したが、変化値が検出される前に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する。
【００３０】
本実施例において、好適には、ショッピングカート内に、商品の総重量が変更されない前提で、購入待ち商品のバーコード情報を読取り、対応の標準重量を取得し、設定された待ち時間内にバーコード情報を読取禁止し、ショッピングカート内の商品の総重量が増加する変化値が前記標準重量に合致することを検出した場合、ショッピングカート内に購入待ち商品を取り入れたと判断し、購入待ち商品の予め記憶された情報をショッピングリストに記憶させる。
【００３１】
本実施例における方法によれば、ユーザは自分でショッピング過程中に商品をショッピングカートに取り入れた後に、システムのアルゴリズムは自動的に識別し、正しい商品をショッピングリストに記入し、ユーザがショッピング終了時に直接支払い、このように、消費者が支払い待ちの時間を大幅に節約し、スーパーマーケットにもより多くのユーザ数を増やし、同時に、キャッシャーの数が減少し、スーパーマーケットの経営原価を低減し、収入チャネルを増やす。
【００３２】
図2は本発明におけるインテリジェントショッピングカートの商品の識別システムの構造を示す図である。インテリジェントショッピングカート商品の識別システムは、
購入待ち商品のバーコード情報を読取り、対応する商品の予め記憶された情報を取得し、前記予め記憶された情報が前記購入待ち商品の標準重量m0を少なくとも含む初期化モジュール1と、 
ショッピングカート内商品の総重量mn+1を連続して検出して得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品が行う動きの情報を判断でき、前記動きの情報がショッピングカート内に購入待ち商品を入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないか、のいずれかである計量モジュール2と、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較する比較計算モジュール3と、
を備え、
|mΔ|とm0が合致すると、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正しく、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び・または判断された動きの情報がエラーである
ことを含む。
【００３３】
図3は本発明実施例におけるユーザがコードを走査した後のアルゴリズム認定のフローチャートであり、以下は具体的な説明である。
【００３４】
本実施例はショッピングカート内の商品情報をインテリジェントに識別するアルゴリズムを提供し、前記ショッピングカートにおいて、ショッピングカートの商品の総重量をリアルタイムにモニターする重量センサと、購入待ち商品バーコード情報を読取する1次元コードスキャナと、商品の映像を収集するカメラと、商品の全ての保存された情報を記憶するコンピュータとを備える必要があり、前記コンピュータは、複数のデータをモニターし、総合的に分析した後、取得された商品の予め記憶された情報が購入待ち商品と合致するかどうか、商品の動きの情報が正しく判断されるかどうか、例えば、ショッピングカート内の商品に何か不具合があるかどうか、抜け落ちがあるかどうか、取り込みがあるかどうかなどを正確に識別でき、コードを再走査してバックオフィスマネージャに警告するようにユーザに報知することができる。
【００３５】
一、本実施例において、ショッピングカート内の商品情報のアルゴリズムをインテリジェントに識別することは、具体的には下記のステップで実施される。
【００３６】
ステップ1：バーコードを読み取り、画像を収集し、重量データを計量開始する。 画像を取得し始めるとき、まず、ショッピングカートの画像を計量し、画像内のバスケットの4本の辺に沿って四辺形の枠をショッピングカゴの警告枠Aとして描く。
【００３７】
ステップ2：ユーザがショッピングをしていない、即ちショッピングカートに商品が表示されていない場合、タブレットに取り付けられたカメラは、ショッピングカートの写真を次のショッピング前の背景画像としてキャッチし、背景画像P1として記録する。
【００３８】
ステップ3：購入待ち商品のバーコード情報を読取、対応の商品の予め記憶された情報を取得し、前記商品の予め記憶された情報が前記購入待ち商品の名称、標準重量m0 、商品の写真、商品の仕様および割引情報などを含む、標準重量m0の範囲の間隔値がmmin〜mmaxである。
【００３９】
ステップ4：現時点に購入待ち商品を含む画面をキャッチし、画面P2と記録する。目標商品を含む画像P2を用いて背景画像P1を差し引き、目標商品の初期領域R1を取得し、この時点で、R1は、カメラによってモニターされるショッピングカートのバスケット範囲Aにあり、即ちR1はAに含まれる。
【００４０】
ステップ5：次の時間内に、ミーンシフト（meanshift）アルゴリズムビデオの各フレームにおける領域R1をフレーム毎にトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、インテリジェントショッピングカートのショッピング装置に取り入れず、R1が所定の時間内にずっとAに属している場合、成功的にショッピングすると判断し、購入待ち商品をショッピング装置に取り入れる。
【００４１】
ステップ6：ショッピングカート上には、ショッピングカート内の商品の総重量をリアルタイムに連続して検出する重量センサが設けられ、ショッピングカートがロックを解除した状態で、重量センサリアルタイムはショッピングカート内の商品の総重量を連続して検出する。
【００４２】
連続して検出して重量センサショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、mΔ>0である場合、ショッピングカート内に購入待ち商品が取り入れたと判断し、mΔ<0である場合、ショッピングカート内から購入待ち商品が取り出されたと判断し、mΔ=0である場合、購入待ち商品に対して操作を行わない。
【００４３】
ステップ7：前記変化値の絶対値|mΔ|と標準重量m0を比較し、ここで、絶対値|mΔ|が購入待ち商品の実際の重量である。
【００４４】
3.1）|mΔ|が前記m0の範囲の間隔値mmin~mmax内にある場合、|mΔ|とm0が合致すると判断し、即ち、商品の識別結果としては、取得された商品の予め記憶された情報と購入待ち商品が合致し、図像を収集・分析・判断する動きの情報は正確とする。
【００４５】
その後、ショッピングカート内に取り入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除する。
【００４６】
3.2）|mΔ|が前記m0の範囲の間隔値mmin〜mmax外にある場合、|mΔ|とm0合致しないと判断し、即ち、商品の識別結果としては、取得された商品の予め記憶された情報と購入待ち商品は合致せず、及び・または判断された動きの情報は不正確であるとして、その後、不正確と報知し、ショッピングカートを自動的にロックさせる。
【００４７】
二、本実施例のショッピングカート内の商品情報をインテリジェントに識別するアルゴリズムにおいて、商品の重量を計量する過程では40ｍｓの周波数で重量センサのデータをリアルタイムに連続して読取る。しかし、ショッピングカートが動いているか、または水平ではない地面に位置する場合、読取られた重量データは購入待ち商品の実際の重量に合致しないので、購入待ち商品の識別根拠としてはならない。そのため、重量センサは商品の総重量を計量する前に、まずショッピングカートの動作状態を判定し、その後、ショッピングカートの異なる状態に応じて、対応のアルゴリズムを採用して商品の実際の重量を正確に出力できる。具体的な方法は下記の通りである。
【００４８】
2.1）商品の重量情報を計量する前に、まず、ショッピングカートの状態が静止しているか、スムーズに動いているか、激しく動いているか、または動作状態から静止状態に移行しているかどうかを判断する。
【００４９】
ショッピングカートには3軸加速度センサが取り付けられ、ショッピングカートはリアルタイムで3軸加速度x、y、zを受信する。車両が静止しているとき、3つの軸x、y、zの加速度をそれぞれax、ay、およびazとする。車両が動いているとき、3軸のリアルタイムな加速度と静止的な加速度との差はaxΔ、ayΔ、azΔである。差axΔ、ayΔ、azΔが所定の範囲内にある場合、ショッピングカートは静止している状態にあると認識し、そうしなければ、ショッピングカートが動いている状態にあると認識する。
【００５０】
2.2）異なる状態のショッピングカートに対して重量センサのデータ計量方法が異なることはテストして分かる。具体的に下記の通りである。
【００５１】
1）ショッピングカートが静止状態にある場合、重量センサによって計量された値はすべてｓｔから始め、即ち、重量センサによって計量された値は商品の実際の総重量とすることができる。
2）ショッピングカートがスムーズに動くとき、重量センサによって計量されたn個の重量データの平均値が、商品の実際な総重量とする。
3）ショッピングカートが激しく動く場合、重量センサが収集した値商品の実際な総重量とすることができない。
4）ショッピングカートが動き状態から静止になる場合、かつ重量センサがstから始めの6つの連続な同一のデータを収集したとき、前記値は商品の実際な総重量とする。具体的な方法は、取得された重量センサのレポートデータを取得した後、先に動きデータチームに記憶する。当該データが「st」で始める場合、当該データ静止データのチームに記憶し、そうでなければ、静止データチームをクリアする。静止なデータチームの長さが6に達し、かつ全てのデータが等しい場合、商品の実際な重量を出力することができ、同時に、動きチームを同時にクリアし、そうしなければ場合、動きチームが一定量に達した場合、商品の平均値を求め、すなわち商品の実際な総重量が得られる。
【００５２】
図4は本発明における動画のトラッキング方法のフローチャートであり、購入待ち商品のバーコード情報を取得した後、ショッピングカートの使用状態に対して画像収集して下記のように分析し、
S400：ショッピング装置の警告フレームAを初期化する。
S401：ユーザがショッピングをしていないときに、当該時点のショッピング装置の画面を次のショッピング前の背景画像として収集して背景画像P1として記録される。
S402：ユーザがショッピングをしているときに、当該商品の情報が識別される場合、当時点で目標商品を含む画面がP2として取り込まれる。
S403：目標商品を含む画像P2を用いて背景画像P1を差し引くことにより、目標商品の初期領域R1が取得される。
【００５３】
S404：ビデオの各フレームにおける領域R1をトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、R1が所定の時間内にずっとAに属している場合、成功裏にショッピングできたと判断し、目標商品をショッピング装置内に入れる。
【００５４】
具体的に、上記の動画のトラッキング方法では下記のステップを含む。
【００５５】
三、ショッピングカートには、カメラが取り付けられ、購入待ち商品のバーコード情報を取得した後、ショッピングカートの使用状態に対して画像を採集して分析開始する。
【００５６】
1、ショッピングカートのバスケットの画像を取り込む可能な位置にモニター装置を載置し、タッチスクリーンコンピュータがユーザから走査コードを受信した後、アルゴリズムが開始される。まず、四角枠をショッピング装置の4本の辺に沿って、タッチスクリーンコンピュータの画面上にショッピング装置のアラートフレームAとして描く。
【００５７】
2、ユーザがショッピングをしていない場合、即ちショッピング装置に商品が表示されていない場合、タッチスクリーンコンピュータに取り付けられたモニター装置は、当該時点のショッピング装置の写真を次のショッピング前に背景画像としてキャッチし、背景画像P1として記録される。
【００５８】
3、ユーザがショッピングをしている場合、即ち購入が必要な商品に、印刷されたバーコードをタッチスクリーンコンピュータの正面の赤外線走査コード領域に置いてコードを走査し、赤外線走査コードガンがバーコードまたは二次元コードを走査して当該商品情報が表示される時、インテリジェントショッピングカートのモニター装置は、当該時点で目標商品を含む画面をキャッチし、P2として記録される。
【００５９】
3、目標商品を含む画像P2を用いて背景画像P1を差し引き、目標商品の初期領域R1を取得し、当該時点で、R1は、カメラによってモニターされるショッピングカートのバスケット範囲Aにあり、即ちR1はAに含まれる。
【００６０】
4、次の時間内に、ミーンシフト（meanshift）アルゴリズムビデオの各フレームにおける領域R1をフレームごとにトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、インテリジェントショッピングカートのショッピング装置に入れなく、R1が所定の時間内にずっとAに属している場合、成功裏にショッピングできたと判断し、目標商品をショッピング装置に入れる。
【００６１】
重量アルゴリズムとビデオアルゴリズム両方は、商品がショッピング装置内に入れられたと認定する場合、商品をタッチスクリーンコンピュータに表示されたショッピングリストに追加される。
【００６２】
重量アルゴリズムとビデオアルゴリズム両方は商品がショッピング装置内から取り出されたと認定する場合、商品をタッチスクリーンコンピュータに表示されたショッピングリストから削除する。
【００６３】
重量アルゴリズムとビデオアルゴリズム両方が合致すると認定する場合、タッチスクリーンコンピュータはユーザに再操作を報知する。
【００６４】
商品の誤配置や商品の巻き込みを防止するためである。異常動作がモニターされた後、トラッキングビデオをバックエンドアラーシステムに送信されることがある。
【００６５】
ここで、ビデオ録画の停止時間は、ショッピングカート内の商品の総重量の値に基づいて、ショッピングカート内に購入待ち商品をすでに取り入れたと判断された後、またはショッピングカートから購入待ち商品をすでに取り出した場合、ビデオを録画停止可能な第1種の方法と、商品のトラッキング時間が予め設定され、予めに設定されたトラッキング時間が終了するときにビデオ録画が停止される第2種の方法と、のいずれか１つの方法で制御される。
【００６６】
四、一般的な状況を以下のように処理されるいくつかの方法について
a、検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出されたと判断されるが、変化値が検出されたとともに、または検出された後に、商品の総重量が変化した後に予め設定された時間内に、通常に10秒、ずっと購入待ち商品のバーコード情報が取得されなかったことは、ユーザが購入待ち商品を取り出すとともにまたは取り出した後に、ユーザは購入待ち商品に対してコードの走査を行っていないことを示す。
【００６７】
処理方法としては、ショッピングカートを自動的にロックさせ、購入待ち商品に対して走査コードを行うことを報知し、ショッピングリストから購入待ち商品を削除し、購入待ち商品のバーコード情報を取得した後または購入待ち商品をショッピングカートに入れた後、ショッピングカートは自動的にロックを解除する。
【００６８】
b、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに入れたと判断し、商品の総重量が変化する前に、購入待ち商品のバーコード情報を取得しないことは、購入待ち商品をいれる前に、ユーザは購入待ち商品に対してコードの走査を行っていないことを示す。
【００６９】
処理方法としては、ショッピングカートをロックさせ、購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する。
【００７０】
c、ショッピングカート内の商品の総重量がずっと変化しないと検出したが、購入待ち商品のバーコード情報、およびその標準重量など予め記憶された情報が取得されたことは、この時にユーザは当該購入待ち商品をショッピングカート内に入れて準備していることを示す。
【００７１】
処理方法としては、設定される待ち時間内に他の購入待ち商品のバーコード情報を読取り禁止し、ショッピングカート内の商品の総重量の変化値と標準重量が合致すると検出した場合、購入待ち商品の予め記憶された情報を直接にショッピングリストに記憶する。
【００７２】
d、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに入れたと判断し、アルゴリズムをトラッキングして商品の動きの軌跡を分析することにより走査された商品がショッピングカートに入れられていないことは、ユーザが商品を取り替えたことを示す。
【００７３】
処理方法としては、ショッピングカートをロックし、購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する。
【００７４】
e、ユーザがコードを走査できない状況について、1）ショッピングカートがロックされる場合に走査できない。2）商品のバーコード情報を取得した後に、商品の取り入れを待つ設定時間内に走査できない。アルゴリズムによりユーザが走査できると判定する場合、バーコード情報を取得した後、ショッピングカート内には商品が取り出されたかどうかを判断する。
【００７５】
ショッピングカートが自動的にロックされる状況について、1）ショッピングカート内に取り替え商品があるかどうかを検出している場合、2）購入待ち商品を取り入れる前に走査しない場合、3）購入待ち商品を取り出した後に走査しない場合がある。
【００７６】
実施例：
図1においてアルゴリズム識別のフローチャートに示すように、
ユーザが商品のコードを走査した後、すぐにショッピングカート内の商品の総重量の変化値を検出し、商品の総重量が減少するかどうかが検出される。
【００７７】
1.1）ショッピングカート内の商品の総重量が小さくなると、この時点に検出された変化値mΔと当該商品が取り入れる時の標準重量m0を比較する。変化値mがm0の範囲の間隔値mmin~mmax 内にある場合、前記商品を取り出したと認識し、前記商品を削除できる。そうしなければ、ショッピングカートをロックして当該取り出した商品を再走査することをユーザに報知する。
【００７８】
1.2）ショッピングカート内の商品の総重量がかわらない場合、ショッピングカートが走査可能な状態にある場合、商品情報をサーバーに取得請求でき、画像を収集・分析し商品の動き軌跡をトラッキングし、商品を入れるのを待つ状態のカウントダウンになる。理由としては、ショッピングカートはコード走査を繰り返すことができず、自動的にロックされているときにショッピングカートがコードを走査することが許可されないので、上記ショッピングカートが走査可能な状態にあることは、走査された商品がすぐにショッピングカートに置かれることを示す。上記商品の待ち時間内に、検出された商品の総重量が増加すると、ショッピングカート内の商品の情報が識別され始め、画像収集分析の結果が統合されて商品を識別する。成功裏に識別すると、商品をショッピングリストに取り入れ、成功裏に取り入れるとロックされ、ユーザがエラー操作をクリアしないと、ショッピングカートのロックは解除できない。
【００７９】
本発明は具体的な構造および・または方法に係る動きで説明しているが、添付されている特許申請の範囲に限定された開示は上記の具体的な特徴または動きに制限されることではない。上記の具体的な特徴と動きはただ実施例に係るクレームの例だけである。
【図１】
2019505920.tif 000003
【図２】
2019505920.tif 000004
【図３】
2019505920.tif 000005
【図４】
2019505920.tif 000006
【手続補正書】
【提出日】平成30年7月12日(2018.7.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
インテリジェントショッピングカートの商品の識別方法であって、
購入待ち商品のバーコード情報を読取、対応の商品の予め記憶された情報を取得するステップと、
連続して検出してショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを得て、変化値mΔにより、前記購入待ち商品が行う動きの情報を判断するステップと、、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較し、
|mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報は正確であり、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報は不正確であるステップとを含み、
前記商品の予め記憶された情報が少なくとも前記購入待ち商品の標準重量m0を含み、
前記動きの情報は、ショッピングカート内への購入待ち商品の取り入れ、ショッピングカート内からの購入待ち商品の取り出し、または操作の不実行である、
ことを特徴とするインテリジェントショッピングカートの商品の識別方法。
【請求項２】
前記ショッピングカート上にショッピングカート内の商品の総重量をリアルタイムかつ連続的に検出する重量センサが設けられ、前記重量センサが商品の総重量を計量する前に、まずショッピングカートの動作状態を判定し、次に対応するアルゴリズムで商品の実際の総重量を計算するステップと、
購入待ち商品のバーコード情報を取得した後、ショッピングカートに対してビデオを録画開始し、商品の軌跡をトラッキングして分析し、ショッピングカート内の商品の総重量の変化値に応じて、購入待ち商品がショッピングカートにすでに取り入れたと判定された場合に、ビデオ録画を停止し、または、予め設定されたトラッキング時間が終了した時点で録画を停止するステップと、を
含むことを特徴とする
請求項１に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項３】
前記重量センサによって計量される物品の総重量に関する特定のアルゴリズムは、
ショッピングカートが静止にある場合、重量センサによって計量された値が、商品の実際の重量であり、
ショッピングカートがスムーズに動く場合、重量センサによって計量されたn個の重量データの平均値が、商品の実際の総重量であり、
ショッピングカートが激しく動く場合、重量センサが計量した値は商品の実際の総重量としてはならず、
ショッピングカートが動作状態から静止になる場合、重量センサが連続も同一のデータを計量したとき、前記値を商品の実際の総重量とする
ことを特徴とする
請求項２に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項４】
前記m0の範囲の間隔値がmmin〜mmaxであり、|mΔ|が前記m0範囲の間隔値mmin〜mmax内にある場合、|mΔ|とm0が合致すると判断し、|mΔ|が前記m0範囲の間隔値mmin〜mmax外にある場合、|mΔ|とm0が合致しないと判断する
ことを特徴とする
請求項1〜3のいずれか1項に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項５】
|mΔ|とm0が合致する場合、ショッピングカート内に入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除することを報知し、
|mΔ|とm0が合致しない場合、エラーと報知し、ショッピングカートを自動的にロックさせる
ことを特徴とする
請求項4に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項６】
購入待ち商品のバーコード情報を取得した後、ショッピングカートの使用状態に対して画像を収集・分析し、
ショッピング装置の警告フレームAを初期化し、
ユーザがショッピングをしていないときに、当時点のショッピング装置の画面を次のショッピング前の背景画像として収集して背景画像P1として記録し、
ユーザがショッピングをしているときに、当該商品の情報が識別される場合、当時点で目標商品を含む画面をP2キャッチし、
目標商品を含む画像P2を用いて背景画像P1を差し引くことにより、目標商品の初期領域R1が取得され、
ビデオの各フレームにおける領域R1をトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、R1が所定の時間内にずっとAに属している場合、ショッピングが成功したと判断し、目標商品をショッピング装置内に取り入れる。
ことを特徴とする
請求項1に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項７】
検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出されたと判断するが、変化値を検出したとともに、検出した後の設定時間内に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ、購入待ち商品を走査するように報知するとともにショッピングリストからそれを削除し、バーコード情報を取得した後またはショッピングカートに購入待ち商品を入れ戻した後、ショッピングカートに対してロックを解除する
ことを特徴とする
請求項1に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項８】
検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに取り入れたと判断するが、変化値が検出される前に、購入待ち商品のバーコード情報が取得されていないと、ショッピングカートをロックさせ購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する
ことを特徴とする
請求項１に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項９】
ショッピングカート内に、商品の総重量が変わらない前提で、購入待ち商品のバーコード情報を読取り、対応する標準重量を取得した場合、設定された待ち時間内にバーコード情報を読取禁止し、ショッピングカート内の商品の総重量の増加する変化値と前記標準重量が合致することを検出した場合、ショッピングカート内に購入待ち商品をとり入れたと判断し、購入待ち商品の予め記憶された情報をショッピングリストに記憶させる
ことを特徴とする
請求項1に記載のインテリジェントショッピングカートの商品の識別方法。
【請求項１０】
インテリジェントショッピングカート商品の識別システムであって、
前記インテリジェントショッピングカート商品の識別システムは、初期化モジュールと、計量モジュールと、比較計算モジュールと、を備え、
前記初期化モジュールは、購入待ち商品のバーコード情報を読取り、対応する商品の予め記憶された情報を取得し、前記予め記憶された情報が前記購入待ち商品の標準重量m0を少なくとも含み、 
前記計量モジュールは、連続して検出してショッピングカート内商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品を行う動きの情報を判断でき、前記動きの情報は、ショッピングカートへの購入待ち商品の取り入れ、ショッピングカート内からの購入待ち商品の取り出し、またはいかなる操作も不実行であること、のいずれかであり、
前記比較計算モジュールは、前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較し、
|mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正確であり、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報が不正確である
ことを特徴とする
インテリジェントショッピングカート商品の識別システム。
【請求項１１】
バックグラウンドサーバーが商品を割り当てる際に合致してない場合、商品をブロックしてショッピングカートをロックし、
さらに、バックグラウンドサーバが商品を割り当てる際に商品が合致する場合に、ショッピングカートが生成された商品アラームを同期させ、商品アラーム情報によって前記商品が正しいかどうかを確認し、
前記ショッピングカート内のアラーム商品に異常有の商品がある場合に、支払いを禁止し、異常な商品の取り出し報知するダメージ防止モジュールを更に備える
ことを特徴とする、
請求項10に記載のインテリジェントショッピングカート商品の識別システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はインテリジェントショッピングカートと物品識別の技術分野に属し、具体的には、インテリジェントショッピングカートの商品の識別方法およびシステムに関する。
【背景技術】
【０００２】
90年代の初めから今まで十数年以来にわたって、人々は徐々にスーパーマーケットでのショッピングに慣れてきた。建てたスーパーマーケット、コンビニエンスストア、ハイパーマーケット（以下、スーパーマーケットと略称） は全国の各都市の中心に基づいてシティエリア全体と各コミュニティに拡大している。スーパーマーケットは新しいビジネスとして、伝統的なストリートショップ、百貨店、および自営業の中規模店など伝統産業の地位に対してますます優位を占めている。その機能はより多様化、全面化しつつあるので、沢山なものが、スーパーマーケットに行かなければ買えないと言われている。 
【０００３】
スーパーマーケットでショッピングすることは、便利にすることを目的としているが、ますます多くの消費者がスーパーマーケットでショッピングすることについて、支払い待ちのため時間がかかり、迅速なショッピング方法が実現されないことにますます顧客は不満を募らせている。そのため、あるスーパーマーケットとショッピングモールでは、すでにセルフチェックアウトシステムが採用されている。しかし、盗難防止のモニターがないので、商品が盗まれたり、紛失したりするために使用放棄された。スーパーマーケットの勘定速度が遅いので、消費者が長く並んで支払い待ちをするという現象が完全に解決される技術はいままで提案されていない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決する技術的問題は、従来のスーパーマーケットの支払システムの低効率を解決するためのインテリジェントショッピングカートの商品の識別方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記の技術的問題を解決するために、本発明において、インテリジェントショッピングカートのシステム内に使用され、コードを走査して商品を読み取り、重量を感知し、画像を採集・トラッキング・分析・比較することを一体化するショッピングカート内の商品をインテリジェントに識別する方法であって、
購入待ち商品のバーコード情報を読み取り、対応の商品の予め記憶された情報を取得し、前記商品の予め記憶された情報がすくなくとも前記購入待ち商品の標準重量m0を含むステップと、 
連続して検出してショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品が行う動きの情報を判断でき、前記動きの情報がショッピングカート内に購入待ち商品を入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないかのいずれかを行うステップと、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較するステップと、
|mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報は正確であり、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報が不正確である。
【０００６】
更に、当該方法において、前記ショッピングカート上にショッピングカート内の商品の総重量をリアルタイムかつ連続的に検出する重量センサが設けられ、前記重量センサが商品の総重量を計量する前に、まずショッピングカートの動作状態を判定し、次に対応するアルゴリズムで商品の実際の総重量を計算し、
購入待ち商品のバーコード情報を取得した後、ショッピングカートに対してビデオを録画し、商品の軌跡をトラッキングして分析し、ショッピングカート内の商品の総重量の変化値に応じて、購入待ち商品がショッピングカートにすでに取り入れられたと判定された場合には、ビデオ録画を停止し、または、予め設定されたトラッキング時間が終了した時点で録画を停止する
ことを含む。
【０００７】
更に、前記重量センサによって検知された商品の総重量に関する具体的なアルゴリズムは、
3-1）ショッピングカートが静止する場合、重量センサによって計量された値は商品の実際の総重量であり、
3-2）ショッピングカートがスムーズに動く場合、現れる頻度が高いデータは、商品の総重量であり、
3-3）ショッピングカートが激しく動く場合、重量センサが計量した値は商品の実際の総重量とすることができない、
3-4）ショッピングカートが動作状態から静止状態になる場合、動く時のすべてのデータを無視して、静止状態の開始時のデータを商品の総重量とする。
【０００８】
更に、前記m0の範囲の間隔値がmmin〜mmaxであり、|mΔ|が前記m0の範囲の間隔値mmin〜mmax内にある場合、|mΔ|はm0に合致すると判断し、|mΔ|が前記m0の範囲の間隔値mmin〜mmax外にある場合、|mΔ|はm0に合致しないと判断する。
【０００９】
更に、|mΔ|とm0が合致する条件で、ショッピングカート内に取り入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除して報知する。
【００１０】
更に、|mΔ|とm0が合致しない条件で、エラーと報知し、ショッピングカートを自動的にロックさせる。
【００１１】
更に、検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出されたと判断するが、変化値を検出したとともに、または検出した後に設定された時間内に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ、購入待ち商品を走査するように報知するとともに、ショッピングリストからそれを削除し、バーコード情報を取得した後またはショッピングカートに購入待ち商品を入れ戻した後、ショッピングカートに対してロックを解除する。
【００１２】
更に、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに取り入れたと判断したが、変化値が検出される前に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせて購入待ち商品を取り出して報知し、商品が取り出された後にショッピングカートに対してロックを解除する。
【００１３】
更に、ショッピングカート内に、商品の総重量がそのまま変更しない前提で、購入待ち商品のバーコード情報を読取り、対応する標準重量を取得し、設定された待ち時間内にバーコード情報の読取を禁止し、ショッピングカート内の商品の総重量が増加する変化値が前記標準重量に合致すると検出した場合、ショッピングカート内に購入待ち商品を取り入れたと判断し、購入待ち商品の予め記憶された情報をショッピングリストに記憶させる。
【００１４】
上記に基づいて、本発明は、購入待ち商品のバーコード情報を読取り、対応する商品の予め記憶された情報を取得し、前記予め記憶された情報が前記購入待ち商品の標準重量m0を少なくとも含む初期化モジュールと、 
連続して検出してショッピングカート内商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品が行う動きの情報を判断可能であり、前記動きの情報がショッピングカート内に購入待ち商品を取り入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないか、のいずれかである計量モジュールと、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較する比較計算モジュールと、
をさらに備え、
|mΔ|とm0が合致する場合、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正確であり、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び/または判断された動きの情報が不正確である
ことを含む。
【発明の効果】
【００１５】
1）本発明の方法によれば、ユーザは自分でショッピングをする過程中に商品をショッピングカートに取り入れた後に、システムのアルゴリズムは自動的に識別し、正しい商品をショッピングリストに記入し、ユーザがショッピングを終了した後に直接支払うことができ、このように、消費者が支払い待ちの時間を大幅に節約し、スーパーマーケットにもより多くのユーザ数を増やし、同時に、キャッシャーの数が減少し、スーパーマーケットの経営原価を低減し、収入チャネルを増やす。
【００１６】
2）本発明のシステムによれば、サードパーティのAPIインターフェイスを使用し、スーパーマーケットシステムとシームレスに接続し、システムのプロモーションを便利に推進する。
【００１７】
3）ショッピングカートが静止状態でも動作中でも、いずれの場合もショッピングカート内の商品の総重量を正確に迅速に計量することができる。
【００１８】
4）重量感知装置を介してインテリジェントショッピングカートの重量情報を収集し、このコード走査装置により、予めサーバに入力された商品情報データが検索され、モニター装置を介して商品の画像情報を収集し、画像情報で商品の軌跡をトラッキングして重量を比較することで、購入待ち商品を双方向に検証し、正確な商品の識別結果を保証することができる。
【００１９】
5）従来の画像トラッキングアルゴリズムはインテリジェントショッピングカートの目標トラッキング実験において、目標の形状や寸法や姿勢の変化なので、目標をトラッキングしにくくなり、同時に、ショッピングの種類が非常に多いので、固定特徴で抽出することが困難であり、目標を正確にトラッキングする確率は低い。本発明によるショッピングカート内の商品情報をインテリジェントに識別するアルゴリズムでの照明変化、遮蔽、非剛性の変形、モーションブラー、背景クラッタ及び回転などビデオに対してすべて良好にトラッキングでき、ショッピングカートの目標トラッキングの成功率は99％に達することができ、同時に、目標トラッキングアルゴリズムの運行速度は、従来のディープラーニングアルゴリズムより数桁速く、埋め込みタイプのリアルタイムに目標に対してトラッキングすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明におけるインテリジェントショッピングカートの商品の識別方法のフローチャートである。
【図２】本発明におけるインテリジェントショッピングカートの商品の識別システムの構造を示す図である。
【図３】本発明実施例におけるユーザがコードを走査した後のアルゴリズムの識別のフローチャート図である。
【図４】本発明における動画のトラッキング方法のフローチャートである。
【発明を実施するための形態】
【００２１】
現在、ある実施例を参照しながら本発明の原理を説明する。これらの実施例はただ当業者の理解の便宜のために、本開示の目的を便宜的に説明するものであり、本発明の範囲を制限するものではない。この説明の開示内容は下記の説明の方式の以外の各種の方式で実施することができる。
【００２２】
例えば、本文に記載されるように、用語「含む」および各種の変化はオープンエンドの用語であると理解されるであろう。それは「含むが、限定されるものではない」ことを意味する。用語「基づく」は「少なくとも一部に基づく」と理解されるであろう。用語「1つの実施例」は「少なくとも１つの実施例」と理解されるであろう。用語「別の実施例」は「少なくとも他の実施例」と理解されるであろう。
【００２３】
図1は本発明におけるインテリジェントショッピングカートの商品の識別方法のフローチャートであり、本実施例におけるインテリジェントショッピングカート商品の識別方法であって、
S100：購入待ち商品のバーコード情報を読取り、対応の商品の予め記憶された情報を取得し、前記予め記憶された情報は少なくとも前記購入待ち商品の標準重量m0を含む。本実施例において、好適には、前記m0の範囲の間隔値がmmin〜mmaxであり、|mΔ|が前記m0の範囲の間隔値mmin〜mmax内にある場合、|mΔ|とm0が合致すると判断し、|mΔ|が前記m0の範囲の間隔値mmin〜mmaxの外にある場合、|mΔ|とm0が合致しないと判断するステップと、
S101：連続して検出してショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得するステップと、
S102：変化値mΔにより前記購入待ち商品を行う動きの情報を判断でき、前記動きの情報が、ショッピングカート内に購入待ち商品を取り入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないか、のいずれかであるステップと、
S103：前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較するステップと、
S104：|mΔ|とm0が合致すると、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正しいとするステップと、
S105：|mΔ|とm0が合致しないと、取得された商品の予め記憶された情報と購入待ち商品が合致しないとする、及び・または判断された動きの情報がエラーであるとするステップと、
を含む。
【００２４】
本実施例において、好適には、上記の方法において、前記ショッピングカート上にショッピングカート内の商品の総重量をリアルタイムかつ連続的に検出する重量センサが設けられ、前記重量センサが商品の総重量を計量する前に、まずショッピングカートの移動状態を判定して、次に対応するアルゴリズムで商品の実際の総重量を計算することと、
購入待ち商品のバーコード情報を取得した後、ショッピングカートに対してビデオを録画し、商品の軌跡をトラッキングして分析し、ショッピングカート内の商品の総重量の変化値に応じて、購入待ち商品がショッピングカートに入れられたと判定された場合には、ビデオ録画を停止し、または、予め設定されたトラッキング時間が終了した時点で録画を停止することと、
を更に含む。
【００２５】
本実施例において、好適には、上記の重量センサは商品の総重量の具体的なアルゴリズムを計量し、
3-1）ショッピングカートが静止する場合、重量センサによって計量された値は商品の実際の総重量であり、
3-2）ショッピングカートがスムーズに動くとき、現れる頻度が高いデータは商品の総重量であり、
3-3）ショッピングカートが激しく動く場合、重量センサが計量した値商品の実際の総重量とすることができず、
3-4）ショッピングカートが動作状態から静止になる場合、動く時のすべてのデータを無視して、静止状態の開始時のデータを商品の総重量とする。
【００２６】
本実施例において、好適には、|mΔ|とm0が合致する条件で、ショッピングカート内に取り入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除して報知する。
【００２７】
本実施例において、好適には、|mΔ|とm0が合致しない条件で、エラーと報知し、ショッピングカートを自動的にロックさせる。
【００２８】
本実施例において、好適には、検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出したと判断するが、変化値が検出されたとともに、または検出された設定時間内に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ、購入待ち商品を走査するように報知するとともにショッピングリストからそれを削除し、バーコード情報を取得した後またはショッピングカートに購入待ち商品を入れ戻した後、ショッピングカートに対してロックを解除する。
【００２９】
本実施例において、好適には、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に了購入待ち商品をすでに取り入れたと判断したが、変化値が検出される前に、購入待ち商品のバーコード情報を取得しない場合、ショッピングカートをロックさせ購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する。
【００３０】
本実施例において、好適には、ショッピングカート内に、商品の総重量が変更されない前提で、購入待ち商品のバーコード情報を読取り、対応の標準重量を取得し、設定された待ち時間内にバーコード情報を読取禁止し、ショッピングカート内の商品の総重量が増加する変化値が前記標準重量に合致することを検出した場合、ショッピングカート内に購入待ち商品を取り入れたと判断し、購入待ち商品の予め記憶された情報をショッピングリストに記憶させる。
【００３１】
本実施例における方法によれば、ユーザは自分でショッピング過程中に商品をショッピングカートに取り入れた後に、システムのアルゴリズムは自動的に識別し、正しい商品をショッピングリストに記入し、ユーザがショッピング終了時に直接支払い、このように、消費者が支払い待ちの時間を大幅に節約し、スーパーマーケットにもより多くのユーザ数を増やし、同時に、キャッシャーの数が減少し、スーパーマーケットの経営原価を低減し、収入チャネルを増やす。
【００３２】
図2は本発明におけるインテリジェントショッピングカートの商品の識別システムの構造を示す図である。インテリジェントショッピングカート商品の識別システムは、
購入待ち商品のバーコード情報を読取り、対応する商品の予め記憶された情報を取得し、前記予め記憶された情報が前記購入待ち商品の標準重量m0を少なくとも含む初期化モジュール1と、 
ショッピングカート内商品の総重量mn+1を連続して検出して得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、変化値mΔにより前記購入待ち商品が行う動きの情報を判断でき、前記動きの情報がショッピングカート内に購入待ち商品を入れるか、ショッピングカート内から購入待ち商品を取り出すか、またはいかなる操作も行わないか、のいずれかである計量モジュール2と、
前記商品の総重量の変化値の絶対値|mΔ|と前記標準重量m0を比較する比較計算モジュール3と、
を備え、
|mΔ|とm0が合致すると、取得された商品の予め記憶された情報と購入待ち商品が合致し、判断された動きの情報が正しく、
|mΔ|とm0が合致しない場合、取得された商品の予め記憶された情報と購入待ち商品が合致せず、及び・または判断された動きの情報がエラーである
ことを含む。
【００３３】
図3は本発明実施例におけるユーザがコードを走査した後のアルゴリズム認定のフローチャートであり、以下は具体的な説明である。
【００３４】
本実施例はショッピングカート内の商品情報をインテリジェントに識別するアルゴリズムを提供し、前記ショッピングカートにおいて、ショッピングカートの商品の総重量をリアルタイムにモニターする重量センサと、購入待ち商品バーコード情報を読取する1次元コードスキャナと、商品の映像を収集するカメラと、商品の全ての保存された情報を記憶するコンピュータとを備える必要があり、前記コンピュータは、複数のデータをモニターし、総合的に分析した後、取得された商品の予め記憶された情報が購入待ち商品と合致するかどうか、商品の動きの情報が正しく判断されるかどうか、例えば、ショッピングカート内の商品に何か不具合があるかどうか、抜け落ちがあるかどうか、取り込みがあるかどうかなどを正確に識別でき、コードを再走査してバックオフィスマネージャに警告するようにユーザに報知することができる。
【００３５】
一、本実施例において、ショッピングカート内の商品情報のアルゴリズムをインテリジェントに識別することは、具体的には下記のステップで実施される。
【００３６】
ステップ1：バーコードを読み取り、画像を収集し、重量データを計量開始する。 画像を取得し始めるとき、まず、ショッピングカートの画像を計量し、画像内のバスケットの4本の辺に沿って四辺形の枠をショッピングカゴの警告枠Aとして描く。
【００３７】
ステップ2：ユーザがショッピングをしていない、即ちショッピングカートに商品が表示されていない場合、タブレットに取り付けられたカメラは、ショッピングカートの写真を次のショッピング前の背景画像としてキャッチし、背景画像P1として記録する。
【００３８】
ステップ3：購入待ち商品のバーコード情報を読取、対応の商品の予め記憶された情報を取得し、前記商品の予め記憶された情報が前記購入待ち商品の名称、標準重量m0 、商品の写真、商品の仕様および割引情報などを含む、標準重量m0の範囲の間隔値がmmin〜mmaxである。
【００３９】
ステップ4：現時点に購入待ち商品を含む画面をキャッチし、画面P2と記録する。目標商品を含む画像P2を用いて背景画像P1を差し引き、目標商品の初期領域R1を取得し、この時点で、R1は、カメラによってモニターされるショッピングカートのバスケット範囲Aにあり、即ちR1はAに含まれる。
【００４０】
ステップ5：次の時間内に、ミーンシフト（meanshift）アルゴリズムビデオの各フレームにおける領域R1をフレーム毎にトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、インテリジェントショッピングカートのショッピング装置に取り入れず、R1が所定の時間内にずっとAに属している場合、成功的にショッピングすると判断し、購入待ち商品をショッピング装置に取り入れる。
【００４１】
ステップ6：ショッピングカート上には、ショッピングカート内の商品の総重量をリアルタイムに連続して検出する重量センサが設けられ、ショッピングカートがロックを解除した状態で、重量センサリアルタイムはショッピングカート内の商品の総重量を連続して検出する。
【００４２】
連続して検出して重量センサショッピングカート内の商品の総重量mn+1を得て、商品の総重量mn+1と前回購入が完成した後に取得された商品の総重量mnを比較し、商品の総重量の変化値mΔを取得し、mΔ>0である場合、ショッピングカート内に購入待ち商品が取り入れたと判断し、mΔ<0である場合、ショッピングカート内から購入待ち商品が取り出されたと判断し、mΔ=0である場合、購入待ち商品に対して操作を行わない。
【００４３】
ステップ7：前記変化値の絶対値|mΔ|と標準重量m0を比較し、ここで、絶対値|mΔ|が購入待ち商品の実際の重量である。
【００４４】
3.1）|mΔ|が前記m0の範囲の間隔値mmin~mmax内にある場合、|mΔ|とm0が合致すると判断し、即ち、商品の識別結果としては、取得された商品の予め記憶された情報と購入待ち商品が合致し、図像を収集・分析・判断する動きの情報は正確とする。
【００４５】
その後、ショッピングカート内に取り入れると判断した購入待ち商品について、その予め記憶された情報をショッピングリストに記憶し、ショッピングカート内から取り出した購入待ち商品について、前記購入待ち商品の予め記憶された情報をショッピングリストから削除する。
【００４６】
3.2）|mΔ|が前記m0の範囲の間隔値mmin〜mmax外にある場合、|mΔ|とm0合致しないと判断し、即ち、商品の識別結果としては、取得された商品の予め記憶された情報と購入待ち商品は合致せず、及び・または判断された動きの情報は不正確であるとして、その後、不正確と報知し、ショッピングカートを自動的にロックさせる。
【００４７】
二、本実施例のショッピングカート内の商品情報をインテリジェントに識別するアルゴリズムにおいて、商品の重量を計量する過程ではプリセットされた周波数で重量センサのデータをリアルタイムに連続して読取る。しかし、ショッピングカートが動いているか、または水平ではない地面に位置する場合、読取られた重量データは購入待ち商品の実際の重量に合致しないので、購入待ち商品の識別根拠としてはならない。そのため、重量センサは商品の総重量を計量する前に、まずショッピングカートの動作状態を判定し、その後、ショッピングカートの異なる状態に応じて、対応のアルゴリズムを採用して商品の実際の重量を正確に出力できる。具体的な方法は下記の通りである。
【００４８】
2.1）商品の重量情報を計量する前に、まず、ショッピングカートの状態が静止しているか、スムーズに動いているか、激しく動いているか、または動作状態から静止状態に移行しているかどうかを判断する。
【００４９】
ショッピングカートには3軸加速度センサが取り付けられ、ショッピングカートはリアルタイムで3軸加速度x、y、zを受信する。加速度の分解原理により、ショッピングカートの水平加速度を計算し、加速度がある値よりも小さい場合、ショッピングカートは静止状態にあり、加速度がある値より大きい場合、ショッピングカートは動作状態にある。
【００５０】
2.2）異なる状態のショッピングカートに対して重量センサのデータ計量方法が異なることはテストして分かる。具体的に下記の通りである。
【００５１】
3-1）ショッピングカートが静止する場合、重量センサによって計量された値は商品の実際の総重量であり、
3-2）ショッピングカートがスムーズに動くとき、データ頻度の高いデータが商品の総重量になり、
3-3）ショッピングカートが激しく動く場合、重量センサが収集した値を商品の実際の総重量としてはならず、
3-4）ショッピングカートが動作状態から静止になる場合、動作時の全てのデータを無視して、静止状態からのデータを商品の総重量とする。
【００５２】
図4は本発明における動画のトラッキング方法のフローチャートであり、購入待ち商品のバーコード情報を取得した後、ショッピングカートの使用状態に対して画像収集して下記のように分析し、
S400：ショッピング装置の警告フレームAを初期化する。
S401：ユーザがショッピングをしていないときに、当該時点のショッピング装置の画面を次のショッピング前の背景画像として収集して背景画像P1として記録される。
S402：ユーザがショッピングをしているときに、当該商品の情報が識別される場合、当時点で目標商品を含む画面がP2として取り込まれる。
S403：目標商品を含む画像P2を用いて背景画像P1を差し引くことにより、目標商品の初期領域R1が取得される。
【００５３】
S404：ビデオの各フレームにおける領域R1をトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、R1が所定の時間内にずっとAに属している場合、成功裏にショッピングできたと判断し、目標商品をショッピング装置内に入れる。
【００５４】
具体的に、上記の動画のトラッキング方法では下記のステップを含む。
【００５５】
三、ショッピングカートには、カメラが取り付けられ、購入待ち商品のバーコード情報を取得した後、ショッピングカートの使用状態に対して画像を採集して分析開始する。
【００５６】
1、ショッピングカートのバスケットの画像を取り込む可能な位置にモニター装置を載置し、タッチスクリーンコンピュータがユーザから走査コードを受信した後、アルゴリズムが開始される。まず、四角枠をショッピング装置の4本の辺に沿って、タッチスクリーンコンピュータの画面上にショッピング装置のアラートフレームAとして描く。
【００５７】
2、ユーザがショッピングをしていない場合、即ちショッピング装置に商品が表示されていない場合、タッチスクリーンコンピュータに取り付けられたモニター装置は、当該時点のショッピング装置の写真を次のショッピング前に背景画像としてキャッチし、背景画像P1として記録される。
【００５８】
3、ユーザがショッピングをしている場合、即ち購入が必要な商品に、印刷されたバーコードをタッチスクリーンコンピュータの正面の赤外線走査コード領域に置いてコードを走査し、赤外線走査コードガンがバーコードまたは二次元コードを走査して当該商品情報が表示される時、インテリジェントショッピングカートのモニター装置は、当該時点で目標商品を含む画面をキャッチし、P2として記録される。
【００５９】
3、目標商品を含む画像P2を用いて背景画像P1を差し引き、目標商品の初期領域R1を取得し、当該時点で、R1は、カメラによってモニターされるショッピングカートのバスケット範囲Aにあり、即ちR1はAに含まれる。
【００６０】
4、次の時間内に、ミーンシフト（meanshift）アルゴリズムビデオの各フレームにおける領域R1をフレームごとにトラッキングし、領域R1がAに属していない場合、目標商品がフレーム外であると判断し、インテリジェントショッピングカートのショッピング装置に入れなく、R1が所定の時間内にずっとAに属している場合、成功裏にショッピングできたと判断し、目標商品をショッピング装置に入れる。
【００６１】
重量アルゴリズムとビデオアルゴリズム両方は、商品がショッピング装置内に入れられたと認定する場合、商品をタッチスクリーンコンピュータに表示されたショッピングリストに追加される。
【００６２】
重量アルゴリズムとビデオアルゴリズム両方は商品がショッピング装置内から取り出されたと認定する場合、商品をタッチスクリーンコンピュータに表示されたショッピングリストから削除する。
【００６３】
重量アルゴリズムとビデオアルゴリズム両方が合致すると認定する場合、タッチスクリーンコンピュータはユーザに再操作を報知する。
【００６４】
商品の誤配置や商品の巻き込みを防止するためである。異常動作がモニターされた後、トラッキングビデオをダメージ防止モジュールシステムに送信されることがある。商品情報の予め記憶の記憶部に記憶された商品画像の特徴データが十分でない場合、ショッピングカートの比較・計算モジュール3は、商品が正しく置かれているかどうかを正確に判定することができない。
【００６５】
具体的には、バックエンドサーバが商品を割り当てた際に合致する場合、直接にインターセプトし、上記状況に対応してショッピングカートが操作ロックを行い、商品の検査が合格せず、商品を取り出して再購入する必要があることをユーザに報知する。
【００６６】
バックエンドサーバが商品を割り当てた際に合致する場合、ユーザに購入を許可し、ショッピングカート内に商品のアラームがあることをバックグラウンドに同期に報知し、管理者がバックグラウンドで識別処理を待つ。
【００６７】
ここで、アラーム情報には、商品名称、バーコード、商品の連続した写真が含まれる。バックグラウンド管理者は、アラーム情報に基づいて当該商品が正しく入れられたかどうかを最終的に確認する。ショッピングカートのアラーム商品がバックエンド管理者により異常の商品であると確認された場合、ユーザに支払いを禁止するとともに、異常の商品の取り出しを報知する。
【００６８】
前記ダメージ防止モジュールはショッピングカートの異常商品のアラーム情報を受信し、バックグラウンド管理者の処理インターフェースを供給する。
【００６９】
ここで、ビデオ録画の停止時間は、ショッピングカート内の商品の総重量の値に基づいて、ショッピングカート内に購入待ち商品をすでに取り入れたと判断された後、またはショッピングカートから購入待ち商品をすでに取り出した場合、ビデオを録画停止可能な第1種の方法と、商品のトラッキング時間が予め設定され、予めに設定されたトラッキング時間が終了するときにビデオ録画が停止される第2種の方法と、のいずれか１つの方法で制御される。
【００７０】
四、一般的な状況を以下のように処理されるいくつかの方法について
a、検出されたショッピングカート内の商品の総重量の変化値により、購入待ち商品がショッピングカートから取り出されたと判断されるが、変化値が検出されたとともに、または検出された後に、商品の総重量が変化した後に予め設定された時間内に、ずっと購入待ち商品のバーコード情報が取得されなかったことは、ユーザが購入待ち商品を取り出すとともにまたは取り出した後に、ユーザは購入待ち商品に対してコードの走査を行っていないことを示す。
【００７１】
処理方法としては、ショッピングカートを自動的にロックさせ、購入待ち商品に対して走査コードを行うことを報知し、ショッピングリストから購入待ち商品を削除し、購入待ち商品のバーコード情報を取得した後または購入待ち商品をショッピングカートに入れた後、ショッピングカートは自動的にロックを解除する。
【００７２】
b、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに入れたと判断し、商品の総重量が変化する前に、購入待ち商品のバーコード情報を取得しないことは、購入待ち商品をいれる前に、ユーザは購入待ち商品に対してコードの走査を行っていないことを示す。
【００７３】
処理方法としては、ショッピングカートをロックさせ、購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する。
【００７４】
c、ショッピングカート内の商品の総重量がずっと変化しないと検出したが、購入待ち商品のバーコード情報、およびその標準重量など予め記憶された情報が取得されたことは、この時にユーザは当該購入待ち商品をショッピングカート内に入れて準備していることを示す。
【００７５】
処理方法としては、設定される待ち時間内に他の購入待ち商品のバーコード情報を読取り禁止し、ショッピングカート内の商品の総重量の変化値と標準重量が合致すると検出した場合、購入待ち商品の予め記憶された情報を直接にショッピングリストに記憶する。
【００７６】
d、検出されたショッピングカート内の商品の総重量の変化値により、ショッピングカート内に購入待ち商品をすでに入れたと判断し、アルゴリズムをトラッキングして商品の動きの軌跡を分析することにより走査された商品がショッピングカートに入れられていないことは、ユーザが商品を取り替えたことを示す。
【００７７】
処理方法としては、ショッピングカートをロックし、購入待ち商品を取り出し、商品が取り出された後にショッピングカートに対してロックを解除する。
【００７８】
e、ユーザがコードを走査できない状況について、1）ショッピングカートがロックされる場合に走査できない。2）商品のバーコード情報を取得した後に、商品の取り入れを待つ設定時間内に走査できない。アルゴリズムによりユーザが走査できると判定する場合、バーコード情報を取得した後、ショッピングカート内には商品が取り出されたかどうかを判断する。
【００７９】
ショッピングカートが自動的にロックされる状況について、1）ショッピングカート内に取り替え商品があるかどうかを検出している場合、2）購入待ち商品を取り入れる前に走査しない場合、3）購入待ち商品を取り出した後に走査しない場合がある。
【００８０】
実施例：
図1においてアルゴリズム識別のフローチャートに示すように、
ユーザが商品のコードを走査した後、すぐにショッピングカート内の商品の総重量の変化値を検出し、商品の総重量が減少するかどうかが検出される。
【００８１】
1.1）ショッピングカート内の商品の総重量が小さくなると、この時点に検出された変化値mΔと当該商品が取り入れる時の標準重量m0を比較する。変化値mがm0の範囲の間隔値mmin~mmax 内にある場合、前記商品を取り出したと認識し、前記商品を削除できる。そうしなければ、ショッピングカートをロックして当該取り出した商品を再走査することをユーザに報知する。
【００８２】
1.2）ショッピングカート内の商品の総重量がかわらない場合、ショッピングカートが走査可能な状態にある場合、商品情報をサーバーに取得請求でき、画像を収集・分析し商品の動き軌跡をトラッキングし、商品を入れるのを待つ状態のカウントダウンになる。理由としては、ショッピングカートはコード走査を繰り返すことができず、自動的にロックされているときにショッピングカートがコードを走査することが許可されないので、上記ショッピングカートが走査可能な状態にあることは、走査された商品がすぐにショッピングカートに置かれることを示す。上記商品の待ち時間内に、検出された商品の総重量が増加すると、ショッピングカート内の商品の情報が識別され始め、画像収集分析の結果が統合されて商品を識別する。成功裏に識別すると、商品をショッピングリストに取り入れ、成功裏に取り入れるとロックされ、ユーザがエラー操作をクリアしないと、ショッピングカートのロックは解除できない。
【００８３】
本発明は具体的な構造および・または方法に係る動きで説明しているが、添付されている特許申請の範囲に限定された開示は上記の具体的な特徴または動きに制限されることではない。上記の具体的な特徴と動きはただ実施例に係るクレームの例だけである。
【国際調査報告】
2019505920.tif 000007
2019505920.tif 000008
2019505920.tif 000009
2019505920.tif 000010