(57)【要約】  会計方法は、予め登録した顧客を認識して顔データ及び支払口座番号を含む顧客の身分情報を取得するステップと、ショッピング場所において身分情報が取得された顧客をリアルタイムで追跡してその顧客の位置を取得するステップと、該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を商品に対する取得動作または返還動作に関連づけて、取得動作または返還動作と、取得動作または返還動作に対応する商品を認識した後、該顧客の買物リストを生成するステップと、買物リストに基づいて会計を行うステップと、を含む。【選択図】図１
2019530923.tif 000002
【特許請求の範囲】
【請求項１】
予め登録した顧客を認識して、顔データ及び支払口座番号を含む該顧客の身分情報を取得するステップＳ１と、
ショッピング場所において身分情報が取得された該顧客をリアルタイムで追跡して該顧客の位置を取得するステップＳ２と、
該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を前記商品に対する取得動作または返還動作に関連付けて、取得動作または返還動作と、取得動作または返還動作に対応する商品を認識した後、該顧客の買物リストを生成するステップＳ３と、
前記買物リストに基づいて会計を行うステップＳ４と、を含むことを特徴とする会計方法。
【請求項２】
ステップＳ３において、該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断することは、具体的に、
前記商品が載置される商品棚に取り付けられた前方に向いて撮像する前向き撮像ヘッドの位置を前記商品の位置とし、前記前向き撮像ヘッドに撮像された、該顧客を含む画像に示される該顧客の身分情報が前記ステップＳ１において取得した身分情報と同一である場合、該顧客の位置がショッピング場所における商品の位置と一致すると判断することを含むことを特徴とする請求項１に記載の会計方法。
【請求項３】
ステップＳ３において、取得動作または返還動作を認識することは、具体的に、
前記商品が載置される商品棚の前の該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、
手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、
手部の運動軌跡が前記仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識すること、を含んでおり、
前記仮想動作境界線の外は、前記商品棚から離れる方向であり、前記仮想動作境界線の内は、前記商品棚に近づく方向であることを特徴とする請求項１または２に記載の会計方法。
【請求項４】
ステップＳ３において、取得動作または返還動作に対応する商品を認識することは、具体的に、
複数の撮像ヘッドに１対１で対応して取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の、商品を含む矩形領域に対応する画像である矩形領域画像を対応的に取得するステップＳ３１と、
複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得するステップＳ３２と、
前記１次分類結果を１回目の分類結果とするステップＳ３３と、
前記１回目の分類結果を認識しようとする商品とするステップＳ３４と、を含むことを特徴とする請求項１に記載の会計方法。
【請求項５】
ステップＳ３２の後、ステップＳ３４の前に、
１次分類結果が類似する商品である場合、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とし、そうではない場合、ステップＳ３３に移行するステップをさらに含むことを特徴とする請求項４に記載の会計方法。
【請求項６】
登録する際に顧客の入力した身分情報を受信し、ショッピング場所に入ろうとする顧客の身分情報を取得する登録モジュールと、
前記登録モジュールに接続され、ショッピング場所において前記登録モジュールにより身分情報が取得された該顧客をリアルタイムで追跡して該顧客の位置を取得するリアルタイム追跡モジュールと、
前記リアルタイム追跡モジュールに接続され、前記リアルタイム追跡モジュールにより取得された該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を前記商品に対する取得動作又は返還動作に関連付けて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品を認識した後、該顧客の買物リストを生成する買物リスト生成モジュールと、
前記買物リスト生成モジュールに接続され、前記買物リスト生成モジュールにより生成された買物リストに基づいて会計を行うための会計モジュールと、を備えることを特徴とする会計装置。
【請求項７】
前記買物リスト生成モジュールは、
前記商品が載置される商品棚に取り付けられた前方に向いて撮像する前向き撮像ヘッドの位置を前記商品の位置とし、前記前向き撮像ヘッドに撮像された、該顧客を含む画像に示される該顧客の身分情報が前記登録モジュールによって取得された身分情報と同一である場合、該顧客の位置がショッピング場所における商品の位置と一致すると判断する関連ユニットと、
前記商品が載置される商品棚の前の該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、手部の運動軌跡が仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識し、前記仮想動作境界線の外が、商品棚から離れる方向であり、前記仮想動作境界線の内が、商品棚に近づく方向である、動作認識ユニットと、
前記取得動作又は返還動作に対応する商品を認識する商品認識ユニットと、
前記関連ユニットにより確認された該顧客の身分情報と、前記動作認識ユニットにより認識された取得動作又は返還動作と、前記商品認識ユニットにより認識された取得動作又は返還動作に対応する商品とに基づいて、該顧客の買物リストを生成する買物リスト生成ユニットと、を備えることを特徴とする請求項６に記載の会計装置。
【請求項８】
前記商品認識ユニットは、
前記動作認識ユニットにより取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の矩形領域画像を対応的に取得し、前記矩形領域画像が商品を含む矩形領域に対応する画像であり、前記複数のフレームの手部画像が複数の撮像ヘッドに１対１で対応する、目標検出サブユニットと、
複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである事前訓練された１級分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得する第１分類サブユニットと、
前記１次分類結果を１回目の分類結果とする確認ユニットと、
前記１回目の分類結果を認識しようとする商品とする結果認定ユニットと、を備えることを特徴とする請求項６に記載の会計装置。
【請求項９】
ショッピング場所の頂部から下に向いて撮像し、ショッピング場所内で身分情報が既に取得された顧客をリアルタイムで追跡する頂部撮像ヘッドと、
商品棚の前方に向いて撮像して、商品が載置される商品棚の前の該顧客の画像を取得する前向き撮像ヘッドと、
下に向いて撮像して該顧客の手部画像を取得する下向き撮像ヘッドと、
プロセッサと、
プロセッサが実行可能なコマンドを記憶するメモリとを備え、
前記プロセッサは、
予め登録された該顧客を認識して、顔データ及び支払口座番号を含む該顧客の身分情報を取得し、前記頂部撮像ヘッドを制御して身分情報が取得された該顧客をリアルタイムで追跡して該顧客の位置を取得し、該顧客の位置が前向き撮像ヘッドを制御して取得されたショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を商品に対する取得動作又は返還動作に関連付けて、下向き撮像ヘッドにより取得された手部画像に基づいて取得動作又は返還動作と、取得動作又は返還動作に対応する商品を認識した後、該顧客の買物リストを生成し、前記買物リストに基づいて会計を行うように構成されることを特徴とする会計装置。
【請求項１０】
クライアント端末と会計装置を含み、
前記クライアント端末は、登録する際に顧客の入力した身分情報を受信して前記会計装置に送信し、前記会計装置の発行する買物リストを受信し、
前記会計装置は、請求項６〜９のいずれ一項に記載の会計装置であることを特徴とする会計システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピューター技術分野に属し、特に会計方法、装置、及びシステムに関する。
【背景技術】
【０００２】
顧客は、スーパーマーケットや商店等のショッピング場所で自分の好きまたは必要な商品を見るとき、ショッピング場所の運営者と会計を行うことで、その商品を入手できる。通常に、レジカウンターで並ぶように会計を行う。
人工知能技術の発展に伴い、会計方法は、変化している。例えば、ショッピング場所に入って、自分の好きまたは必要な商品を選別した後、レジカウンターで並んで決済を待つことなく、直ちに離れることができる。すなわち、通常の「ジャスト・ウォーク・アウト」（Ｊｕｓｔ  Ｗａｌｋ  Ｏｕｔ）と呼ぶ会計方式がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
先行技術において、「ジャスト・ウォーク・アウト」という会計方式は、主にＲＦＩＤ（無線周波数認識、Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術により実現されている。応用する場合、商品には、電池を必要としない小さい無線周波数モジュールが貼り付けられている。レジカウンターは、該商品がＲＦＩＤ検出装置が設けられたレジカウンター（またはレジ領域）を通るとき、該商品に無線信号を送信する。該小さい無線周波数モジュールは、該信号を受信した後レジカウンターに１つの信号をフィードバックする。該フィードバック信号には商品のＩＤ情報が携帯されている。それに基づいて、レジカウンターが帳票を生成して会計を行う。しかし、該方法は、以下の欠点がある。即ち、商品ごとに小さい無線周波数モジュールが貼り付けられる必要があるので、ショッピング場所の係員にとって、作業量が極めて大きく且つコストが高い。また、小さい無線周波数モジュールが商品から落下したり、自身が破損したり、人為的に損害されたりすると、レジカウンターがその商品を認識できないため、店側に損害を与えることになる。なお、金属商品にＲＦＩＤが貼り付けられると、信号がシールドされてしまうという問題がある。
【課題を解決するための手段】
【０００４】
先行技術におけるＲＦＩＤタグの貼付による作業量が大きく、ＲＦＩＤタグが破損しやすいという問題を解決するために、本発明の一側面による会計方法は、予め登録した顧客を認識して、顔データ及び支払口座番号を含む該顧客の身分情報を取得するステップＳ１と、ショッピング場所において身分情報が取得された該顧客をリアルタイムで追跡して該顧客の位置を取得するステップＳ２と、該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を前記商品に対する取得動作または返還動作に関連付けて、取得動作または返還動作と、取得動作または返還動作に対応する商品とを認識した後、該顧客の買物リストを生成するステップＳ３と、前記買物リストに基づいて会計を行うステップＳ４と、を含む。
【０００５】
上記の会計方法において、ステップＳ３における該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断することは、具体的に、前記商品が載置される商品棚に取り付けられた前方に向いて撮像する前向き撮像ヘッドの位置を前記商品の位置とし、前記前向き撮像ヘッドに撮像された、該顧客を含む画像に示される該顧客の身分情報が前記ステップＳ１において取得した身分情報と同一である場合、該顧客の位置がショッピング場所における商品の位置と一致すると判断することを含むことが好ましい。
【０００６】
上記の会計方法において、ステップＳ３における取得動作または返還動作を認識することは、具体的に、前記商品が載置される商品棚の前の該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、該動作を返還動作として認識し、手部の運動軌跡が前記仮想動作境界線の内から外に移動する運動軌跡であって、且つ手には商品を持っていることを検出したとき、該動作を取得動作として認識することを、含んでおり、前記仮想動作境界線の外は、前記商品棚から離れる方向であり、前記仮想動作境界線の内は、前記商品棚に近づく方向であることが好ましい。
【０００７】
上記の会計方法において、ステップＳ３における取得動作または返還動作に対応する商品を認識することは、具体的に、複数の撮像ヘッドに１対１で対応して取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の、商品を含む矩形領域に対応する画像である矩形領域画像を対応的に取得するステップＳ３１と、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得するステップＳ３２と、前記１次分類結果を１回目の分類結果とするステップＳ３３と、前記１回目の分類結果を認識しようとする商品とするステップＳ３４と、を含むことが好ましい。
【０００８】
上記の会計方法において、ステップＳ３２の後、ステップＳ３４の前に、１次分類結果が類似する商品であると、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とし、そうではない場合、ステップＳ３３に移行するステップをさらに含むことが好ましい。
【０００９】
本発明の他の側面による会計装置は、登録する際に顧客の入力した身分情報を受信し、ショッピング場所に入ろうとする該顧客の身分情報を取得する登録モジュールと、前記登録モジュールに接続され、ショッピング場所において前記登録モジュールにより身分情報が取得された該顧客をリアルタイムで追跡して該顧客の位置を取得するリアルタイム追跡モジュールと、前記リアルタイム追跡モジュールに接続され、前記リアルタイム追跡モジュールにより取得された該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を前記商品に対する取得動作又は返還動作に関連付けて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成する買物リスト生成モジュールと、前記買物リスト生成モジュールに接続され、前記買物リスト生成モジュールにより生成された買物リストに基づいて会計を行うための会計モジュールと、を備える。
【００１０】
上記の会計装置において、前記買物リスト生成モジュールは、前記商品が載置される商品棚に取り付けられた前方に向いて撮像する前向き撮像ヘッドの位置を前記商品の位置とし、前記前向き撮像ヘッドに撮像された、顧客を含む画像に示される顧客の身分情報が前記登録モジュールによって取得された身分情報と同一である場合、顧客の位置がショッピング場所における商品の位置と一致すると判断する関連ユニットと、前記商品が載置される商品棚の前の該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、手部の運動軌跡が仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識し、前記仮想動作境界線の外が、商品棚から離れる方向であり、前記仮想動作境界線の内が、商品棚に近づく方向である、動作認識ユニットと、前記取得動作又は返還動作に対応する商品を認識する商品認識ユニットと、前記関連ユニットにより確認された該顧客の身分情報と、前記動作認識ユニットにより認識された取得動作又は返還動作と、前記商品認識ユニットにより認識された取得動作又は返還動作に対応する商品とに基づいて、該顧客の買物リストを生成する買物リスト生成ユニットと、を備えることが好ましい。
【００１１】
上記の会計装置において、前記商品認識ユニットは、前記動作認識ユニットにより取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の矩形領域画像を対応的に取得し、前記矩形領域画像が商品を含む矩形領域に対応する画像であり、前記複数のフレームの手部画像が複数の撮像ヘッドに１対１で対応する、目標検出サブユニットと、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである事前訓練された１級分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得する第１分類サブユニットと、前記１次分類結果を１回目の分類結果とする確認ユニットと、前記１回目の分類結果を認識しようとする商品とする結果認定ユニットと、を備えることが好ましい。
【００１２】
本発明の他の側面による会計装置は、ショッピング場所の頂部から下に向いて撮像し、ショッピング場所内で身分情報が既に取得された顧客をリアルタイムで追跡する頂部撮像ヘッドと、商品棚の前方に向いて撮像して商品が載置される商品棚の前の該顧客の画像を取得する前向き撮像ヘッドと、下に向いて撮像して該顧客の手部画像を取得する下向き撮像ヘッドと、プロセッサと、プロセッサが実行可能なコマンドを記憶するメモリとを備え、前記プロセッサは、予め登録された該顧客を認識して顔データ及び支払口座番号を含む該顧客の身分情報を取得し、前記頂部撮像ヘッドを制御して身分情報が取得された該顧客をリアルタイムで追跡してその顧客の位置を取得し、該顧客の位置が前向き撮像ヘッドを制御して取得されたショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を商品に対する取得動作又は返還動作に関連付けて、前記下向き撮像ヘッドにより取得された手部画像に基づいて取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成し、前記買物リストに基づいて会計を行うように構成される。
【００１３】
また他の側面による会計システムは、クライアント端末及び会計装置を含み、前記クライアント端末は、登録する際に顧客の入力した身分情報を受信して前記会計装置に送信し、また、前記会計装置の発行する買物リストを受信し、前記会計装置は、上記の会計装置である。
【発明の効果】
【００１４】
本発明の実施例は、上記技術案により以下のような有益な効果をもたらすことができる。
【００１５】
運営コストは低い。即ち、ＲＦＩＤ方案に比べて、ＲＦＩＤの貼付による作業量を節約できる。
適用範囲は広い。即ち、任意の商品に適用され、商品形態、材質等の属性に制約されない。
ユーザの体験はよい。即ち、顧客は、商品を取得した後、直ちに関連情報を取得することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例による会計方法のフローチャートである。
【図２】本発明の実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。
【図３】本発明の実施例による他の畳み込みニューラルネットワークによる画像認識方法のフローチャートである。
【図４】本発明の実施例による会計装置の構造模式図である。
【図５】本発明の実施例による会計装置用商品棚の構造模式図である。
【発明を実施するための形態】
【００１７】
本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面を参照して本発明の実施形態をさらに詳しく説明する。
【００１８】
図１を参照して、本発明の実施例に係る会計方法は、以下のステップを含んでいる。
ステップＳ１において、予め登録した顧客を認識して顧客の身分情報を取得する。
具体的には、顧客は、商店やスーパーマーケットなどのショッピング場所内に入る前に、その携帯電話やタブレットコンピュータなどの移動体通信機器に、該会計方法に対応するＡｐｐ（Ａｐｐｌｉｃａｔｉｏｎ、アプリケーションソフトウェア）をインストールして顧客の登録を完了させる必要がある。登録する際に取得に必要な顧客の身分情報（ＩＤ）は、顔データと、支払口座番号とを含むが、これらに限定されない。例えば、氏名、携帯電話番号、身分証番号、性別、職業をさらに含んでもよい。支払口座番号は、銀行口座番号であってもよく、例えば、余額宝、ウィーチャット支払い、ＱＱ財布、京東財布等の第三者支払口座番号であってもよい。また、ウィーチャット（ＷｅＣｈａｔ）における該会計方法に対応する小さいプログラム（または、小さいウィーチャットプログラムと称する）を利用して顧客の登録を完了させてもよく、該会計方法に対応するウィーチャットオフィシャルアカウント（ＷｅＣｈａｔ  Ｏｆｆｉｃｉａｌ  Ａｃｃｏｕｎｔ）を注目することで顧客の登録を完了させてもよい。そして、顧客は、該Ａｐｐ、小さいプログラム、オフィシャルアカウントからショッピング場所の入口にある２次元コードへの走査、または顧客の持っている移動体通信機器におけるＡｐｐに対する商店の走査により生成された２次元コードで顧客ＩＤに対する商店の検証を実現し、つまり、顧客が登録済ユーザの一員であることを認識した。これにより、該顧客に対応する身分情報を取得できる。換言すれば、ショッピング場所内に入る顧客が誰であるかを認識することができる。顧客の身分情報が取得された後、ショッピング場所のドアロックが自動的に開くことができる。顧客は、ドアが自動的に開いた後、裏押し又は外に引く又は平押しするようにドアを開き、その後ショッピング場所内に入って商品を選別する。顧客が登録完了しない場合、顧客が非登録ユーザであることが認識されることができる。ショッピング場所内のドアロックが継続して閉じ、顧客がショッピング場所内に入ることができない。他の実施例において、ショッピング場所の入口には、指紋認識器、顔認識器などの生体認識器が設けられてもよい。生物認識技術によりショッピング場所において顧客ＩＤへの認定を実現する。顧客が該Ａｐｐに登録した際に、顧客の生体データ、例えば指紋データが取得される。ショッピング場所のドアは、顧客の身分情報が取得された後、係員によって開くことができる。
【００１９】
ステップＳ２において、ショッピング場所内で身分情報が既に取得された顧客をリアルタイムで追跡してその顧客の位置を取得する。
【００２０】
顧客は、ショッピング場所に入る際に身分の認識が行わなければならない。その後認識された顧客は、ショッピング場所内で自由に移動し、商品を取得、返還する。ショッピング場所内の各顧客の身分情報を随時に把握しようとする場合、顧客がショッピング場所に入る際に身分確認が行われた後に、ショッピング場所における該顧客の軌跡の継続追跡が行われ、すなわち顧客のリアルタイム位置決めが行われる必要がある。
【００２１】
具体的には、ショッピング場所内の頂部に、顧客がショッピング場所に移動する映像ストリームを撮像する頂部撮像ヘッドが配置されている。映像ストリームを分析することによって、映像ストリームにおける前後フレーム間の差異を比較してショッピング場所における顧客のリアルタイム位置決めを実現する。複数の頂部撮像ヘッドは、撮像範囲が全店面を覆うように天井部に配置され、その撮像方向が斜め下向きである。入店時に顧客の身分が認識され、入店後、天井上の頂部撮像ヘッドが上から下に向いて撮像し、該顧客の画像をリアルタイムで取得し、該画像を該顧客の身分情報にバインドする。即ち、店内に移動する顧客の身分情報を知ることができる。該顧客がショッピング場所内において異なる位置へ移動することにつれて、他の頂部撮像ヘッドは、該顧客への追跡を常に保持し、該顧客のショッピング場所における位置決めを実現する。
ステップＳ３において、該顧客の位置がショッピング場所における商品の位置と一致すると、この顧客を前記商品に対する取得動作または返還動作に関連付けて、取得動作または返還動作に対応する商品を認識した後、この顧客の買物リストを生成する。
【００２２】
具体的には、入店後、顧客は、店内に移動する。顧客は、自分が好む商品に当たると、商品が載置される商品棚前に滞在し、該商品が買おうとする商品に所属することを表明するように商品に対する取得動作を行い、又は、該商品が買おうとする商品に所属しないことを表明するように商品に対して返還動作を行う。ステップ１０２で顧客の現在位置を取得できるため、現在位置が商品の所在位置と一致すると、商品棚上の商品に対して取得動作又は返還動作を行う人を該顧客と表記する。換言すれば、この顧客を商品棚上の商品に対する取得動作又は返還動作に関連付ける。これにより、どの顧客が該商品棚の前に該商品棚上の商品に対して取得動作又は返還動作を行ったかを知ることができる。取得動作又は返還動作に対応する商品がどの商品であるかを認識した後、該顧客に対応する買物リストを生成する。商品の位置は、商品棚に設けられた前方に向いて撮像した撮像ヘッドの位置によって表わされることができる。顧客が商品棚の前に移動して商品を選別するとき、前方に向いて撮像した撮像ヘッドが顧客の画像を撮像する。画像に含まれる顧客情報が認識された顧客の身分情報と一致すると、顧客の位置が商品の位置と一致すると判断する。顧客が商品に対して取得動作を行うと、その顧客の買物リストに該商品を対応的に追加し、顧客が商品に対して返還動作を行うと、買物リストに該商品を対応的に取り除き、つまり、買物リストが顧客の取得動作又は返還動作に応じてリアルタイムで更新されている。
【００２３】
商品への動作が、取得かまたは返還かを如何に判断する方法は、以下のようになる。
商品棚の前の取得された顧客の連続した複数のフレームの手部画像に基づいて、時間軸上に１本の手部の運動軌跡を作成し、手部の運動軌跡に基づいて顧客が商品に対して取得動作であるか返還動作であるかを行うことが判断する。例えば、撮像範囲が商品棚を覆うように、撮像ヘッドは、商品棚の上部に配置し、その撮像角度を下向きさせる。撮像ヘッドの数は複数であることが好ましい。このようにして、多角度から撮像することを保証でき、商品認識の確度を高めることができる。撮像ヘッドは、１秒毎に複数のフレーム、例えば３０フレームの画像を撮像する。撮像ヘッドが取得した顧客の手部画像を１フレームずつ検出し、各フレームの手部画像における手部の位置をマークして保存し、１フレームずつ前述の操作を繰り返すことで、時間軸上に１本の手部の運動軌跡が得られる。各フレームの画像中の手部の位置が得られるだけでなく、あるフレームの手部画像に基づいて、手に商品を持っているか否か、及び商品の種別を確認することができる。
【００２４】
具体的には、手部画像には、商品棚と一定の距離、例えば１０ｃｍ、２０ｃｍの間隔をあける１つの仮想動作境界線が付されている。手部の運動軌跡が商品棚から離れた位置から動作境界線を通って商品棚に近い位置に動くことを検出した場合、簡単に言えば、動作境界線外から動作境界線内に動いて、かつ、手に商品を持っていることを検出した場合、手部動作が商品の返還動作であると認定される。手部の運動軌跡が商品棚に近い位置から動作境界線を通って商品棚から離れた位置に動くことを検出した場合、簡単に言えば、動作境界線内から動作境界線外に動いて、かつ、手に商品を持っていることを検出した場合、手部動作が商品の取得動作であると認定される。
【００２５】
撮像ヘッドは、ビデオデータを継続的に取得し、１秒毎に複数のフレーム、例えば数十フレームの手部画像を取得する。１秒ごとに１フレームの手部画像が取られ、手部位置が切り出されてもよい。手中の商品の分類（又は認識と称する）は、事前訓練された下記の分類モデルで実現することができる。
図２を参照して、取得動作又は返還動作に対応する商品を認識する方法は、次のステップを採用することができる。
【００２６】
ステップＳ３１において、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の矩形領域画像を対応的に取得する。ここで、該矩形領域画像は、商品を含む矩形領域に対応する画像であり、複数のフレームの手部画像は、複数の撮像ヘッドに１対１で対応している。
【００２７】
具体的には、手部画像に目標検出を行う時に、手部画像に１つの商品を含む矩形枠（または矩形領域と称する）を切り出す。該矩形枠に対応する画像は、商品の分類を行うための画像である。複数のフレームのの手部画像を取得するために、複数の撮像ヘッドを配置する必要がある。該撮像ヘッドは、商品の真上に配置されてもよい。その際、真上方向から下に向いて撮像する。該撮像ヘッドは、商品の斜め上方に配置されてもよい。その際、斜め下に向いて商品を撮像する。また、該撮像ヘッドは、一部が商品の真上に配置され、他の部分が商品の斜め上方に配置されてもよい。なお、各撮像ヘッドは、どの位置に配置されても、地面からの距離が等しくてもよく、等しくなくてもよい。本実施例はこれに限定されない。
【００２８】
ステップＳ３２において、複数の矩形領域画像と、事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得する。ここで、該１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである。
【００２９】
具体的には、データを事前に取得してデータセットを作成する。データを取得するのは、１）ショッピング場所における全ての商品を各角度及び各姿勢で撮像して大量の写真を取得することと、２）そしてこれらの写真に関して注記を行い、例えば、写真中の商品の位置、大きさ及び類別を注記することと、を含む。データセットに含まれるデータとは、前述のこれらの写真及びこれらの写真に関して行われた注記である。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されたモデルであり、ショッピング場所における全ての商品のデータを用いて訓練される。訓練する時に勾配降下の方式で行うことができる。
【００３０】
訓練済みの１次分類モデルは、各矩形領域画像中の商品を分類し、プライマリー分類結果を得る。該プライマリー分類結果は、１つのｎ次元ベクトルである。ｎは、ショッピング場所における商品の総数を表す。ベクトルにおける各元素の意味は、１次分類モデルは分類しようとする商品がｎ個の商品の中の各商品に属することを認定する確率を表している。ベクトルのうちどの要素の値が最大であることは、モデルは、分類しようとする商品がその要素に対応する商品であると認定することを意味する。矩形領域画像が５枚である場合、プライマリー分類結果の数は、５つのｎ次元ベクトルである。
【００３１】
１次分類モデルを訓練しているときに、１次分類モデルが出力したプライマリー分類結果を１次線形回帰モデルの入力とし、該プライマリー分類結果に対応する手部画像に含まれる商品の正しい分類を１次線形回帰モデルの出力とすることで、１次線形回帰モデルを訓練する。訓練済みの１次線形回帰モデルによって複数のプライマリー分類結果をデータ融合して１つの１次分類結果を得る。該１次分類結果は、１次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を示している。
【００３２】
ステップＳ３３において、１次分類結果を１回目の分類結果とする。
ショッピング場所における商品は多種である。該多種の商品の中ではいくらかの外観が類似し、また視覚上で混同しやすい商品が存在しており、これらの商品を類似商品と呼ぶ。例えば、ゴールデンデリシャスリンゴ（Ｇｏｌｄｅｎ  Ｄｅｌｉｃｉｏｕｓ  Ａｐｐｌｅ）と黄色い雪梨（Ｓｎｏｗｆｌａｋｅ  Ｐｅａｒ）がある。分類しようとする一個の商品が類似する商品である場合に、１次分類モデルによって該商品を的確に分類するのが難しい。例えば、ゴールデンデリシャスリンゴを黄色い雪梨と混同し、ゴールデンデリシャスリンゴを黄色い雪梨に分類してしまう。したがって、図３を参照して、ステップＳ３２の後、下記のステップＳ３５を実行する必要がある。そうではない場合、ステップＳ３３に移行し、つまり、会計のため、１次分類結果を直接に１回目の分類結果とする。
【００３３】
具体的には、ステップＳ３５において、１次分類結果が類似する商品である場合、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とする。
【００３４】
具体的には、ステップＳ３２に作成したデータセットにおける類似する商品のデータにより２次分類モデルを訓練する。訓練する時に勾配降下の方式により行うことができる。２次分類モデルは、訓練する時に使うデータという点において１次分類モデルとは異なる。１次分類モデルに用いられるデータは、ショッピング場所における全ての商品のデータであり、２次分類モデルに用いられるデータは、ショッピング場所における類似する商品のデータである。
【００３５】
訓練済みの２次分類モデルによって、各矩形領域画像中の商品を分類し、セカンダリー分類結果を得る。該セカンダリー分類結果も１つのｍ次元ベクトルであり、ベクトル中の各元素の意味は、２次分類モデルの分類しようとする一個の商品がｍ個の類似する商品の中の各商品に属することを認定する確率を表している。矩形領域画像が５枚である時に、セカンダリー分類結果の数は５つのｍ次元ベクトルであり、ｍはｎ以下であり、且つショッピング場所における類似する商品の総数を表している。
【００３６】
実際において、ショッピング場所における類似する商品は複数組がある。例えば、１組の類似する商品は、ゴールデンデリシャスリンゴと黄色い雪梨を含み、他の組の類似する商品には、ばら売りの塩とばら売りの白糖を含み、また他の組の類似する商品は、ソーダ灰と普通の小麦粉を含んでいる。全ての組の類似する商品に対して１つの２次分類モデルを訓練することができる。商品分類の正確率をさらに高めるために、各組の類似する商品に対して１つの２次分類モデルを訓練するとき、１次分類結果が類似する商品であれば、該１次分類結果に対応する２次分類モデルを使用する。
【００３７】
２次分類モデルを訓練するとき、２次分類モデルが出力するセカンダリー分類結果を２次線形回帰モデルの入力とし、該セカンダリー分類結果に対応する画像中に含まれる商品の正確な分類を２次線形回帰モデルの出力とするように、２次線形回帰モデルを訓練する。訓練された２次線形回帰モデルによって、複数のセカンダリー分類結果のデータ融合を行い、１つのセカンダリー分類結果を得るとともに、これを１回目の分類結果とする。該セカンダリー分類結果は、２次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を表している。
【００３８】
ステップＳ３４において、１回目の分類結果を認識しようとする商品とする。
１回目の分類結果を取得した後、１回目の分類結果に対応する商品の価格を取得すれば、顧客が選んだ商品に対し支払うべきの費用は確定できる。
ステップＳ４において、顧客がショッピング場所を離れるとき、その顧客の買物リストに基づいて会計を行う。
顧客は、商品を選別した後、ショッピング場所のドアを通ってショッピング場所を離れる。内から外に向いてショッピング場所のドアを通うと、その顧客がショッピング場所を離れる状態に判断し、この顧客の買物リストに基づいて会計を行い、例えば顧客登録する際に入力された支払口座番号から買物リストに対応する費用を差し引く。
顧客が購入した商品を照合するために、認識結果をリアルタイムでクライアントに送信する。例えば、各商品の認識結果は、クラウドエンドサーバにアップロードされる。その後、クラウドエンドサーバは、認識結果を顧客の携帯電話にインストールされたＡｐｐに送信する。該Ａｐｐは、認識結果を仮想ショッピングカーに付加し、買物リストを生成することで、商品が取得又は返還された後、直ちに顧客を知らせる。顧客は、店の出口に来て離れると、店の出口で最終の支払いループを完成する。
【００３９】
図４を参照して、本発明の他の実施例による会計装置は、
登録する際に顧客の入力した身分情報を受信し、ショッピング場所に入ろうとする顧客の身分情報を取得する登録モジュール４０１と、
登録モジュール４０１に接続され、ショッピング場所において登録モジュールにより身分情報が取得された顧客をリアルタイムで追跡して該顧客の位置を取得するリアルタイム追跡モジュール４０２と、
リアルタイム追跡モジュール４０２に接続され、リアルタイム追跡モジュールにより取得された該顧客の位置がショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を商品に対する取得動作又は返還動作に関連付けて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成する買物リスト生成モジュール４０３と、
買物リスト生成モジュール４０３に接続され、買物リスト生成モジュール４０３により生成された買物リストに基づいて会計を行うための会計モジュール４０４と、を備える。
【００４０】
具体的には、買物リスト生成モジュール４０３は、商品が載置される商品棚に取り付けられた前方に向いて撮像する前向き撮像ヘッドの位置を商品の位置とし、前向き撮像ヘッドに撮像された、顧客を含む画像に示される顧客の身分情報が登録モジュールの取得した身分情報と同一である場合、顧客の位置がショッピング場所における商品の位置と一致すると判断する関連ユニットと、商品が載置される商品棚の前の該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動し且つ手に商品を持っていることを検出したとき、該動作を返還動作として認識し、手部の運動軌跡が仮想動作境界線の内から外に移動し且つ手に商品を持っていることを検出したとき、該動作を取得動作として認識し、仮想動作境界線の外は、商品棚から離れる方向であり、仮想動作境界線の内は、商品棚に近づく方向である、動作認識ユニットと、取得動作又は返還動作に対応する商品を認識する商品認識ユニットと、関連ユニットにより確認された該顧客の身分情報、動作認識ユニットにより認識された取得動作又は返還動作、商品認識ユニットにより認識された取得動作又は返還動作に対応する商品に基づいて、該顧客の買物リストを生成する買物リスト生成ユニットと、を備えている。
【００４１】
具体的には、前記商品認識ユニットは、前記動作認識ユニットにより取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことで、複数の矩形領域画像を対応的に取得する目標検出サブユニットと、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである事前訓練された１級分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて複数のフレームの手部画像の１次分類結果を取得する第１分類サブユニットと、前記１次分類結果を１回目の分類結果とする確認ユニットと、前記１回目の分類結果を認識しようとする商品とする結果認定ユニットと、を備えている。ここで、該矩形領域画像は、商品を含む矩形領域に対応する画像であり、複数のフレームの手部画像は、複数の撮像ヘッドに１対１で対応している。
【００４２】
なお、登録モジュール４０１の具体的な説明については、上記実施例におけるステップＳ１の関連内容を参照可能であり、リアルタイム追跡モジュール４０２の具体的な説明については、上記実施例におけるステップＳ２の関連内容を参照可能であり、買物リスト生成モジュール４０３の具体的な説明については、上記実施例におけるステップＳ３およびステップＳ３１、３２、３３、３４、３５の関連内容を参照可能であり、ここで省略する。  
【００４３】
本発明の別の一実施例には、畳み込みニューラルネットワーク画像認識技術による会計装置が提供されている。前記会計装置は、ショッピング場所の頂部から下に向いて撮像し、ショッピング場所内で身分情報が既に取得された顧客をリアルタイムで追跡する頂部撮像ヘッドと、商品棚の前方に向いて撮像して商品が載置される商品棚の前の顧客の画像を取得する前向き撮像ヘッド５１と、下に向いて撮像して顧客の手部画像を取得する下向き撮像ヘッド５２と、プロセッサと、プロセッサが実行可能なコマンドを記憶するメモリとを備えている。
ここで、プロセッサは、予め登録された顧客を認識して顔データ及び支払口座番号を含む顧客の身分情報を取得し、前記頂部撮像ヘッドを制御して身分情報が取得された顧客をリアルタイムで追跡してその顧客の位置を取得し、該顧客の位置が前向き撮像ヘッドを制御して取得されたショッピング場所における商品の位置と一致するか否かを判断し、一致である場合、該顧客を商品に対する取得動作又は返還動作に関連付けて、前記下向き撮像ヘッドにより取得された手部画像に基づいて取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成し、前記買物リストに基づいて会計を行うように構成される。  
【００４４】
図５を参照して、会計方法、会計装置及び下記の会計システムにおいて、商品を的確に認識するとともに、撮像する際に、各載置ステージ５３上の貨物の配列状況がより明瞭かつ正確に見られるために、商品が載置される商品棚（又は会計装置用商品棚と称する）は、支持に用いられ、床面上に載置される台座５６を含んでいる。コラム５５は、台座５６に設けられ、鉛直に設けられてもよく、例えば、コラム５５と台座５６との組合体がＬ型となるように台座５６の一端に設けられてもよく、コラム５５と台座５６との組合体が逆Ｔ型となるように台座５６の上面の中間部に設けられてもよく、傾斜的に設けられてもよい。本実施例はこれに限定されない。複数の載置ステージ５３は、鉛直方向（コラム５５が台座５６に立設されているとき、鉛直方向はコラム５５の長手方向である）に沿ってコラム５５の同じ側に順次設けられており、任意の隣り合う２つの載置ステージ５３の間に安置しようとする貨物を収納する空間が形成されるように隙間を空けている。貨物は、各載置ステージ５３に取り付けられる。コラム５５から離れる載置ステージ５３の一端は、自由端である。任意の隣り合う２つの載置ステージ５３のうち、上方に位置する載置ステージ５３の自由端は、下方に位置する載置ステージの自由端よりもコラム５５に近いように位置している。すなわち、複数の載置ステージ５３の幅（すなわち、図６において載置ステージ５３の水平方向における長さ）は、上から下に向いて広くなっている。最も下方に位置する載置ステージ５３の幅は最も広く、最も上方に位置する載置ステージ５３の幅は最も狭い。このように、上から下に向いて貨物を撮像する際に各載置ステージ５３上の貨物の配列状況がより明瞭、正確に見られる。
【００４５】
実際において、載置ステージ５３の数に応じて商品棚を呼ぶことができる。載置ステージ５３が複数である場合、商品棚を多層商品棚と呼ぶことができる。載置ステージ５３の数は、３個または４個であるのが好ましい。
載置ステージ５３は、平板であってもよい。載置ステージ５３が１つの連続体であり、貨物を載せるとき、貨物を載置ステージ５３上に置くことで、比較的重く、吊り下げにくい貨物の載置が可能となる。
【００４６】
他の実施例において、載置ステージ５３は、横杆と、複数の掛杆と、を含んでいる。横杆は、コラム５５の上に水平に設けられ、複数の掛杆は、互いに平行かつ互いに間隔を空けるように横杆に垂直に設けられる。このとき、載置ステージ５３は、１つの不連続体であり、貨物を載せるとき、貨物を掛杆の下方に掛け、すなわち貨物が載置ステージ５３の下方に位置する。このように、比較的軽く、包装の変形しやすい貨物の載置が便利になる。
【００４７】
この商品棚は、特にジャスト・ウォーク・アウト（Ｊｕｓｔ  Ｗａｌｋ  Ｏｕｔ）のショッピング場所に適用される。コラム５５の上部に前向き撮像ヘッド５１及び下向き撮像ヘッド５２が設けられ、前向き撮像ヘッド５１の撮像方向が、商品棚の前方（図６における左側）に向いて撮像し、つまり、商品棚の前方に位置して貨物を選別している顧客を撮像する。下向き撮像ヘッド５２は、載置ステージ５３の上方に位置し、その撮像方向が、載置ステージ５３の上方から下に向いて撮像し、つまり、載置ステージ５３上の貨物を撮像する。該撮像ヘッドの撮像範囲は、商品棚上の貨物を覆う。
【００４８】
下向き撮像ヘッド５２の数は複数であることが好ましい。このように、顧客の選別した貨物が撮像されたのが確保できる。複数の下向き撮像ヘッド５２は、載置ステージ５３の長手方向Ｌに沿って、載置ステージ５３の上方に順次に分布され、それぞれの高さが等しくてもよく、等しくなくてもよい。複数の下向き撮像ヘッド５２は、載置ステージ５３の幅方向Ｗに沿って、載置ステージ５３の上方に順次に分布され、それぞれの高さが等しくてもよく、等しくなくてもよい。複数の下向き撮像ヘッド５２のうちの一部は、載置ステージの長手方向Ｌに沿って載置ステージ５３の上方に順次に分布され、複数の下向き撮像ヘッド５２のうちの他の一部は、載置ステージの幅方向Ｗに沿って載置ステージ５３の上方に順次に分布される。本実施例はこれに限定されない。好ましくは、下向き撮像ヘッドの数は４個であり、載置ステージ５３の長手方向Ｌに２個が順次に分布され、載置ステージ５３の幅方向Ｗに２個が順次に分布される。
【００４９】
本発明のまた他の実施例による会計システムは、クライアント端末及び会計装置を含み、クライアント端末は、登録時に顧客の入力した身分情報を受信して会計装置に送信し、また、会計装置の発行する買物リストを受信する。会計装置は、前記の会計装置である。具体的な内容は、ここで省略する。
【００５０】
以上のように、本発明の実施例は、以下のような有益な効果をもたらすことができる。
運営コストは低い。即ち、ＲＦＩＤ方案に比べて、ＲＦＩＤの貼付による作業量を節約できる。
適用範囲は広い。即ち、任意の商品に適用され、商品形態、材質等の属性に制約されない。
ユーザの体験はよい。即ち、顧客は、商品を取得した後、直ちに関連情報を取得することができる。
【００５１】
技術常識からわかるように、本発明は、その技術的な主旨又は必要な特徴から逸脱しない実施案によって実現することができる。したがって、上記開示された実施案は、各側面については、例示に過ぎず、唯一のものではない。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。
【図１】
2019530923.tif 000003
【図２】
2019530923.tif 000004
【図３】
2019530923.tif 000005
【図４】
2019530923.tif 000006
【図５】
2019530923.tif 000007
【国際調査報告】
2019530923.tif 000008
2019530923.tif 000009
2019530923.tif 000010
2019530923.tif 000011
2019530923.tif 000012