(57)【要約】  処理部は、撮像装置２０１によって撮影された画像から視線方向を検出し、記憶部２０５に記憶した商品の位置情報を参照して、検出した視線方向に対応する１又は複数の商品を特定する。表示部１１３は、処理部が特定した１又は複数の商品を、精算対象の商品候補として選択可能に表示する。
2017085771.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と、
前記撮像装置によって撮影された画像から視線方向を検出し、記憶部に記憶した商品の位置情報を参照して、検出した該視線方向に対応する１又は複数の商品を特定する処理部と、
前記処理部が特定した前記１又は複数の商品を精算対象の商品候補として選択可能に表示する表示部と、
を備えることを特徴とする精算支援システム。
【請求項２】
店舗で販売されている商品のうち、前記店舗内の撮像装置によって撮影された画像から検出される顧客の注視位置に基づいて特定された商品と、前記顧客に対する精算のための識別情報とを対応付けて記憶する候補情報記憶部と、
前記顧客に対する精算の際に、前記識別情報に基づいて前記候補情報記憶部を参照し、前記特定された商品を抽出する精算処理部と、
前記精算処理部が抽出した商品の情報を、精算対象として選択可能な状態で表示する表示部と、
を備えることを特徴とする精算支援システム。
【請求項３】
前記店舗で販売されている商品と、前記店舗内における前記販売されている商品の位置とを対応付けて記憶する商品位置情報記憶部と、
前記画像から前記注視位置を検出し、前記注視位置と前記商品位置情報記憶部に記憶された情報とを比較した結果に基づいて、前記顧客が購入対象として選択した商品を特定する特定部と、
をさらに備え、
前記候補情報記憶部は、前記特定部が特定した商品と前記識別情報とを対応付けて記憶することを特徴とする請求項２記載の精算支援システム。
【請求項４】
前記注視位置は、第１時刻における前記顧客の注視位置であり、前記特定部は、前記第１時刻における前記注視位置と前記商品位置情報記憶部に記憶された情報とを比較した結果と、前記第１時刻から所定時間内の第２時刻における前記顧客の注視位置と前記顧客が購入対象として選択した商品を運搬する運搬器具の位置とを比較した結果とに基づいて、前記顧客が前記購入対象として選択した商品を特定することを特徴とする請求項３記載の精算支援システム。
【請求項５】
前記注視位置は、第１時刻における前記顧客の注視位置であり、前記特定部は、前記注視位置と前記商品位置情報記憶部に記憶された情報とを比較した結果と、前記第１時刻における前記顧客の両眼の第１輻輳角と前記第１時刻から所定時間内の第２時刻における前記両眼の第２輻輳角とを比較した結果とに基づいて、前記顧客が前記購入対象として選択した商品を特定することを特徴とする請求項３記載の精算支援システム。
【請求項６】
前記特定部は、前記注視位置と前記商品位置情報記憶部に記憶された情報とを比較した結果と、前記店舗内の映像から検出される前記顧客の手の動作とに基づいて、前記顧客が前記購入対象として選択した商品を特定することを特徴とする請求項３記載の精算支援システム。
【請求項７】
前記注視位置は、第１時刻における前記顧客の注視位置であり、前記特定部は、前記注視位置と前記商品位置情報記憶部に記憶された情報とを比較した結果と、前記第１時刻から所定時間内の第２時刻における、前記顧客が購入対象として選択した商品の重量変化とに基づいて、前記顧客が前記購入対象として選択した商品を特定することを特徴とする請求項３記載の精算支援システム。
【請求項８】
前記特定部は、前記第２時刻における前記顧客が購入対象として選択した商品の総重量が、前記第１時刻以前における前記顧客が購入対象として選択した商品の総重量よりも増加している場合、前記注視商品を前記顧客が購入対象として選択した商品として特定することを特徴とする請求項７記載の精算支援システム。
【請求項９】
前記特定部は、前記第２時刻よりも後の第３時刻における、前記顧客が購入対象として選択した商品の総重量が、前記第２時刻における前記総重量よりも減少している場合、前記注視商品を含む情報を前記候補情報記憶部から削除することを特徴とする請求項８記載の精算支援システム。
【請求項１０】
前記顧客が購入対象として選択した商品を運搬する運搬器具から受信した識別情報を、前記顧客に対する精算のための前記識別情報として設定する識別情報設定部をさらに備えることを特徴とする請求項３に記載の精算支援システム。
【請求項１１】
前記店舗内の複数の撮像装置によって撮影された画像から抽出される複数の人間の特徴量と、前記複数の人間それぞれに対する精算のための複数の識別情報とを対応付ける特徴量情報を記憶する特徴量情報記憶部と、
前記特徴量情報によって前記顧客の特徴量に対応付けられた識別情報を、前記顧客に対する精算のための前記識別情報として、前記候補情報記憶部に記憶させる識別情報設定部と、
をさらに備えることを特徴とする請求項３乃至９のいずれか１項に記載の精算支援システム。
【請求項１２】
前記店舗内の映像から検出される複数の移動体の識別情報と動線とを対応付ける動線情報を記憶する動線情報記憶部と、
前記動線情報によって、前記撮像装置から所定距離以内に存在する動線に対応付けられた識別情報を、前記顧客に対する精算のための前記識別情報として、前記候補情報記憶部に記憶させる識別情報設定部と、
をさらに備えることを特徴とする請求項３乃至９のいずれか１項に記載の精算支援システム。
【請求項１３】
前記識別情報設定部は、前記複数の移動体のうち２つ以上の移動体のグループを表す識別情報を、前記顧客に対する精算のための前記識別情報として、前記候補情報記憶部に記憶させることを特徴とする請求項１２に記載の精算支援システム。
【請求項１４】
前記特定部は、前記画像から前記顧客の視線又は顔の向きを検出し、前記視線又は前記顔の向きに基づいて前記注視位置を検出することを特徴とする請求項３乃至１３のいずれか１項に記載の精算支援システム。
【請求項１５】
店舗で販売されている商品のうち、前記店舗内の撮像装置によって撮影された画像から検出される顧客の注視位置に基づいて特定された商品と、前記顧客に対する精算のための識別情報とを対応付けて記憶する候補情報記憶部から、前記顧客に対する精算の際に、前記識別情報に基づいて前記特定された商品を抽出し、
抽出した商品の情報を、精算対象として選択可能な状態で表示する、
処理をコンピュータに実行させる精算支援プログラム。
【請求項１６】
コンピュータが、
店舗で販売されている商品のうち、前記店舗内の撮像装置によって撮影された画像から検出される顧客の注視位置に基づいて特定された商品と、前記顧客に対する精算のための識別情報とを対応付けて記憶する候補情報記憶部から、前記顧客に対する精算の際に、前記識別情報に基づいて前記特定された商品を抽出し、
抽出した商品の情報を、精算対象として選択可能な状態で表示する、
ことを特徴とする精算支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、精算支援システム、精算支援プログラム、及び精算支援方法に関する。
【背景技術】
【０００２】
近年、スーパーマーケットのような小売り店舗において、Point Of Sale（ＰＯＳ）レジスタを操作する店員の人件費削減又はＰＯＳレジスタの待ち時間短縮のため、セルフチェックアウトシステムと呼ばれる自動精算機が導入されている。セルフチェックアウトシステムでは、顧客が購入する商品に貼付されたバーコードをバーコードリーダでスキャンすることで、顧客自身が商品の精算を行うことができる。【０００３】
しかし、販売されている商品の中には、野菜、果物等の生鮮食品のように、バーコードが貼付されていない商品も多く存在する。この場合、顧客は、バーコードに代わる商品コードのような情報を、手作業でセルフチェックアウトシステムに入力することで、バーコードなしの商品の精算を行うことができる。【０００４】
画面上に表示されたバーコードなしの品目に対応する画像をユーザが選択したり、商品を撮影した画像に近似した外観特徴を有する商品を候補として表示したりする技術も知られている（例えば、特許文献１及び２を参照）。また、顧客による棚上収納物に対するアクセス状況を判定したり、動画像から検出された人物の相互の位置関係から人物をグループ分けしたりする技術も知られている（例えば、特許文献３及び４を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００５−５２６３２３号公報
【特許文献２】特開２００２−０７４５１１号公報
【特許文献３】特開２００９−０４８４３０号公報
【特許文献４】特開２００６−０９２３９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
１つの側面において、本発明の目的は、精算対象の商品を選択する操作を支援可能なシステムを提供することである。
【課題を解決するための手段】
【０００７】
１つの案では、精算支援システムは、撮像装置、処理部、及び表示部を含む。処理部は、撮像装置によって撮影された画像から視線方向を検出し、記憶部に記憶した商品の位置情報を参照して、検出した視線方向に対応する１又は複数の商品を特定する。表示部は、処理部が特定した１又は複数の商品を、精算対象の商品候補として選択可能に表示する。
【発明の効果】
【０００８】
実施形態によれば、精算対象の商品を選択する操作を支援することができる。
【図面の簡単な説明】
【０００９】
【図１】精算支援システムの機能的構成図である。
【図２】精算支援システムの第１の具体例を示す機能的構成図である。
【図３】精算支援システムの第１の具体例を適用したセルフチェックアウトシステムの構成図である。
【図４】記憶部が記憶する視線情報、商品位置情報、及び運搬器具位置情報を示す図である。
【図５】特徴量情報を示す図である。
【図６】第１の視線情報を示す図である。
【図７】商品位置情報を示す図である。
【図８】運搬器具位置情報を示す図である。
【図９】候補情報を示す図である。
【図１０】ルールを示す図である。
【図１１】商品情報を示す図である。
【図１２】選択結果を示す図である。
【図１３】精算画面を示す図である。
【図１４】候補生成処理のフローチャートである。
【図１５】顧客検出処理のフローチャートである。
【図１６】第１の買い物ＩＤ設定処理のフローチャートである。
【図１７】第１の精算対象特定処理のフローチャートである。
【図１８】カート位置特定処理のフローチャートである。
【図１９】候補提示処理のフローチャートである。
【図２０】第１の買い物ＩＤ特定処理のフローチャートである。
【図２１】第１の精算対象商品決定処理のフローチャートである。
【図２２】第１の精算処理のフローチャートである。
【図２３】精算支援システムの第２の具体例を示す機能的構成図である。
【図２４】精算支援システムの第２の具体例を適用したセルフチェックアウトシステムの第１の構成図である。
【図２５】第２の視線情報を示す図である。
【図２６】第２の買い物ＩＤ設定処理のフローチャートである。
【図２７】第２の精算対象特定処理のフローチャートである。
【図２８】第２の買い物ＩＤ特定処理のフローチャートである。
【図２９】精算支援システムの第２の具体例を適用したセルフチェックアウトシステムの第２の構成図である。
【図３０】第３の視線情報を示す図である。
【図３１】第３の精算対象特定処理のフローチャートである。
【図３２】精算支援システムの第２の具体例を適用したセルフチェックアウトシステムの第３の構成図である。
【図３３】記憶部が記憶する視線情報、商品位置情報、及び重量情報を示す図である。
【図３４】第１の重量情報を示す図である。
【図３５】第４の精算対象特定処理のフローチャートである。
【図３６】第２の精算処理のフローチャートである。
【図３７】第２の重量情報を示す図である。
【図３８】返却商品検出処理のフローチャートである。
【図３９】精算支援システムの第３の具体例を示す機能的構成図である。
【図４０】精算支援システムの第３の具体例を適用したセルフチェックアウトシステムの構成図である。
【図４１】第４の視線情報を示す図である。
【図４２】動線情報を示す図である。
【図４３】動線生成処理のフローチャートである。
【図４４】第３の買い物ＩＤ設定処理のフローチャートである。
【図４５】第３の買い物ＩＤ特定処理のフローチャートである。
【図４６】情報処理装置の構成図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、実施形態を詳細に説明する。
セルフチェックアウトシステムにおいてバーコードなしの商品の精算を行うために、店舗で販売されている全商品の一覧の中から清算対象となる商品を選択する場合、顧客は、１つの商品を特定するために複数回の操作を行うことが多い。これらの操作には、例えば、複数の画面を順番に切り替える操作、商品の分類を選択する操作等が含まれる。このように、１つの商品を特定する毎に複数回の操作を行うのでは、精算作業が煩雑になる。
【００１１】
また、顧客の購入履歴に基づいて、その顧客が購入する可能性の高い商品を候補として表示することも考えられる。しかし、顧客が常に同じ商品を購入するわけではないため、購入履歴のみから顧客が購入対象として選択した商品を正確に予測することは困難である。したがって、顧客が履歴に含まれない商品を購入する場合、全商品の一覧の中から清算対象となる商品を選択することになり、精算作業が煩雑になる。
【００１２】
なお、かかる問題は、セルフチェックアウトシステムに限らず、店員がＰＯＳレジスタを操作して清算対象の商品を選択する場合においても生ずるものである。
【００１３】
図１は、実施形態の精算支援システムの機能的構成例を示している。図１の精算支援システム１０１は、候補情報記憶部１１１、精算処理部１１２、及び表示部１１３を含む。候補情報記憶部１１１は、店舗で販売されている商品のうち、店舗内の撮像装置によって撮影された画像から検出される顧客の注視位置に基づいて特定された商品と、顧客に対する精算のための識別情報とを対応付ける候補情報を記憶する。
【００１４】
精算処理部１１２は、顧客に対する精算の際に、顧客に対する精算のための識別情報に基づいて、候補情報から特定された商品を抽出する。表示部１１３は、精算処理部１１２が抽出した商品の情報を、精算対象として選択可能な状態で表示する。
【００１５】
このような精算支援システムによれば、顧客に対する精算の際に、店舗で販売されている商品の中から精算対象の商品を選択する操作を効率化することができる。
【００１６】
スーパーマーケットにおいて、顧客が購入対象として選択した商品を買い物かごに入れる際、顧客は、棚上に陳列されている商品を注視してから、その商品を手に取って買い物かごに入れることが多い。したがって、顧客が注視した商品は、その顧客によって買い物かごに入れられた可能性が高いことに、発明者らは気が付いた。
【００１７】
顧客が注視した商品を特定して、その商品の情報を精算装置の選択画面上に優先的に表示することで、顧客は、精算対象の商品を容易に選択することが可能になり、選択操作の負荷が軽減される。例えば、棚上の商品Ａを注視していた顧客に対する清算の際に、選択画面の最初のページに商品Ａを表示すれば、顧客は、次の画面に切り替えることなく、商品Ａを選択することができる。
【００１８】
図２は、図１の精算支援システム１０１の第１の具体例を示している。図２の精算支援システム１０１は、候補情報記憶部１１１、精算処理部１１２、表示部１１３、撮像装置２０１、特徴量情報記憶部２０２、識別情報設定部２０３、特定部２０４、記憶部２０５、撮像装置２０６、及び記憶部２０７を含む。
【００１９】
撮像装置２０１は、店舗内の商品を陳列する棚に設置され、棚の前に来た顧客の画像を撮影する。特徴量情報記憶部２０２は、撮像装置２０１によって撮影された画像から抽出される複数の顧客の特徴量と、それらの顧客それぞれに対する精算のための複数の識別情報とを対応付ける特徴量情報を記憶する。識別情報設定部２０３は、特徴量情報によって特定の顧客の特徴量に対応付けられた識別情報を、その顧客に対する精算のための識別情報として、候補情報記憶部１１１が記憶する候補情報に設定する。
【００２０】
記憶部２０５は、視線情報２１１及び商品位置情報２１２を記憶する。視線情報２１１は、棚の前に来た顧客の視線が示す注視位置を表す情報であり、商品位置情報２１２は、店舗で販売されている商品と、店舗内におけるその商品の位置とを対応付ける情報である。特定部２０４は、撮像装置２０１によって撮影された画像から顧客の視線を検出して、視線情報２１１を生成する。また、特定部２０４は、検出した視線が示す注視位置と商品位置情報２１２とを比較した結果に基づいて、顧客が購入対象として選択した商品を特定し、候補情報に設定された識別情報と特定した商品とを対応付ける。
【００２１】
顧客は、選択した商品を、買い物かご、カート、トレイ、顧客自身の手等の運搬器具を用いて精算装置まで運搬する。撮像装置２０１は、運搬器具に設置されてもよい。撮像装置２０６は、商品の精算を行う精算装置の付近に設置され、精算装置の前に来た顧客の画像を撮影する。精算処理部１１２は、撮像装置２０６によって撮影された画像から顧客を検出する。
【００２２】
記憶部２０７は、ルール２２１、商品情報２２２、及び選択結果２２３を記憶する。ルール２２１は、精算対象の商品を表示する順序を決定するための決定基準を表す情報であり、商品情報２２２は、商品の価格を表す情報であり、選択結果２２３は、精算済みの商品とその金額を表す情報である。
【００２３】
精算処理部１１２は、ルール２２１が表す決定基準に従って、候補情報に含まれる商品の情報を選択可能な状態で表示部１１３の画面上に表示し、顧客が選択した商品の価格を商品情報２２２から取得して、選択結果２２３に登録する。そして、精算処理部１１２は、選択結果２２３に登録された全商品の合計金額を、精算金額として画面上に表示する。これにより、顧客は、購入対象の商品の精算を行って、それらの商品を購入することができる。
【００２４】
図３は、図２の精算支援システム１０１を適用したセルフチェックアウトシステムの構成例を示している。図３のセルフチェックアウトシステムは、カメラ３１１、処理装置３１２、サーバ３１３、及び精算装置３１４を含み、精算装置３１４は、カメラ３２１、表示部３２２、及び計測台３２３を含む。店舗内には１台以上の棚３０１が設置されており、カメラ３１１及び処理装置３１２は、棚３０１に設置されている。サーバ３１３は、有線又は無線の通信ネットワークを介して、処理装置３１２及び精算装置３１４と通信することができる。
【００２５】
カメラ３１１及びカメラ３２１は、図２の撮像装置２０１及び撮像装置２０６にそれぞれ対応する。カメラ３１１は、ステレオカメラであってもよく、視線センサとして用いられる赤外線カメラと、可視カメラとを含んでいてもよい。
【００２６】
図２の識別情報設定部２０３、特定部２０４、及び記憶部２０５は、処理装置３１２、サーバ３１３、又は精算装置３１４に設けられる。この場合、これらの構成要素を、処理装置３１２、サーバ３１３、及び精算装置３１４に分散させてもよく、いずれかの装置に集中させてもよい。精算処理部１１２及び記憶部２０７は、精算装置３１４に設けられ、表示部３２２は表示部１１３に対応する。特徴量情報記憶部２０２及び候補情報記憶部１１１は、処理装置３１２、サーバ３１３、又は精算装置３１４に設けられる。
【００２７】
識別情報設定部２０３と特徴量情報記憶部２０２とが互いに異なる装置に設けられている場合、識別情報設定部２０３は、通信ネットワークを介して特徴量情報記憶部２０２にアクセスする。識別情報設定部２０３と候補情報記憶部１１１とが互いに異なる装置に設けられている場合、識別情報設定部２０３は、通信ネットワークを介して候補情報記憶部１１１にアクセスする。
【００２８】
特定部２０４と候補情報記憶部１１１とが互いに異なる装置に設けられている場合、特定部２０４は、通信ネットワークを介して候補情報記憶部１１１にアクセスする。特定部２０４と記憶部２０５とが互いに異なる装置に設けられている場合、特定部２０４は、通信ネットワークを介して記憶部２０５にアクセスする。
【００２９】
精算処理部１１２と特徴量情報記憶部２０２とが互いに異なる装置に設けられている場合、精算処理部１１２は、通信ネットワークを介して特徴量情報記憶部２０２にアクセスする。精算処理部１１２と候補情報記憶部１１１とが互いに異なる装置に設けられている場合、精算処理部１１２は、通信ネットワークを介して候補情報記憶部１１１にアクセスする。
【００３０】
棚３０１には、商品Ａ、商品Ｂ、及び商品Ｃを含む複数の商品が陳列されている。顧客３０２は、カート３０３を押しながら店舗内を移動し、棚３０１から購入対象の商品を選択してカート３０３に入れ、精算装置３１４まで商品を運搬する。そして、顧客３０２は、カート３０３から商品３０４を取り出して、精算装置３１４の計測台３２３上に置き、表示部３２２の画面に表示される案内に従って精算を行う。このとき、計測台３２３は、商品３０４の重量を計測することができる。
【００３１】
図４は、図３のセルフチェックアウトシステムにおいて、記憶部２０５が記憶する情報の例を示している。この例では、記憶部２０５は、視線情報２１１、商品位置情報２１２、及び運搬器具位置情報４０１を記憶する。運搬器具位置情報４０１は、カート３０３の位置を表す情報である。
【００３２】
図５は、特徴量情報記憶部２０２が記憶する特徴量情報の例を示している。特徴量情報の各レコードは、登録時刻、買い物ＩＤ、及び特徴ベクトルを含む。登録時刻は、レコードが登録された時刻を表し、買い物ＩＤは、顧客３０２に対する精算のための識別情報を表す。
【００３３】
特徴ベクトルは、カメラ３１１によって撮影された顧客３０２の画像から抽出される特徴量であり、例えば、顧客３０２の顔の特徴を表す。顔の特徴は、目、鼻、口、耳等の複数の部位の間における相対的な位置関係であってもよい。例えば、１５時２０分００．０００秒に登録された買い物ＩＤ“１０８４”に対応する顧客３０２の特徴ベクトルは、（１０．２５，２２．００，−８５．５１，６６．１５，１９．８０）である。
【００３４】
図６は、視線情報２１１の例を示している。視線情報２１１の各レコードは、時刻、注視位置、及び注視対象を含む。時刻は、カメラ３１１によって撮影された顧客３０２の画像から視線が検出された時刻を表し、注視位置は、検出された視線が示す注視位置を表し、注視対象は、注視位置に存在する物体を表す。
【００３５】
この例では、図３に示すように、棚３０１の前面左上頂点を原点とするｘｙｚ座標系を用いて、注視位置が表される。ｘ軸は水平方向を表し、ｙ軸は垂直方向を表し、ｚ軸は奥行き方向を表し、各座標値はｍｍ単位の距離を表す。この場合、ｘｙ平面は棚３０１の前面に対応し、商品が陳列されている領域のｘ座標及びｙ座標は０ｍｍ以上であり、その領域のｚ座標は０ｍｍ以下である。
【００３６】
顧客３０２の左眼及び右眼の各視線は、ｘｙｚ座標系における３次元の視線ベクトルで表される。したがって、左眼の視線ベクトルが示す直線と、右眼の視線ベクトルが示す直線との交点を、顧客３０２の注視位置として求めることができる。
【００３７】
例えば、１５時２５分００．２５５秒における注視位置は、（ｘ，ｙ，ｚ）＝（２３０，２５０，０）であり、棚３０１の前面において、原点からｘ軸及びｙ軸の正の向きにそれぞれ２３０ｍｍ及び２５０ｍｍ離れた位置を表す。この位置には商品Ｃが陳列されている。また、１５時２５分０２．２５５秒における注視位置は、（ｘ，ｙ，ｚ）＝（４００，４５０，６５０）であり、棚３０１の前面よりも手前の位置を表す。この位置にはカート３０３が停止している。
【００３８】
両眼の視線ベクトルが示す直線の交点を求める方法以外の方法で注視位置を求めてもよく、注視位置は、２次元座標で表される位置であってもよい。
【００３９】
図７は、商品位置情報２１２の例を示している。商品位置情報２１２の各レコードは、商品領域及び商品名を含む。商品領域は、棚３０１上で特定の商品が存在する領域を表し、商品名は、その商品の識別情報を表す。商品領域は、直方体の形状を有し、図６と同様に、ｘｙｚ座標系を用いて表される。例えば、商品Ａは、前面左上頂点（１０，１００，０）と背面右下頂点（１００，３００，−５０）の２つの頂点によって規定される直方体の領域内に存在する。これらの頂点を結ぶ線分は、直方体の対角線に対応する。
【００４０】
図８は、運搬器具位置情報４０１の例を示している。運搬器具位置情報４０１のレコードは、特定時刻及びカート領域を含む。特定時刻は、カメラ３１１によって撮影されたカート３０３の画像からカート３０３の位置が特定された時刻を表し、カート領域は、カート３０３が存在する領域を表す。
【００４１】
カート領域は、直方体の形状を有し、図６と同様に、ｘｙｚ座標系を用いて表される。この例では、１５時２５分００．２５５秒において、カート３０３は、頂点（２００，５００，４００）と頂点（６５０，８００，９００）の２つの頂点により表される直方体の領域内に存在する。これらの頂点を結ぶ線分は、直方体の対角線に対応する。
【００４２】
図９は、候補情報記憶部１１１が記憶する候補情報の例を示している。候補情報の各レコードは、登録時刻、買い物ＩＤ、及び商品名を含む。登録時刻は、レコードが登録された時刻を表す。例えば、買い物ＩＤ“１０８５”と対応付けて１５時１８分３４．１２０秒に登録された商品は、商品Ｘである。商品Ｘは、例えば、棚３０１とは別の棚から選択された商品を表す。また、同じ買い物ＩＤ“１０８５”と対応付けて１５時２５分０２．２５５秒に登録された商品は、商品Ｃである。
【００４３】
図１０は、ルール２２１の例を示している。ルール２２１の各レコードは、パターン及び決定基準を含む。パターンは、候補情報のレコードを並べ替えるために用いる属性を表し、決定基準は、候補情報のレコードの並べ替え方法を表す。
【００４４】
例えば、“登録時刻”を用いる場合、精算処理部１１２は、登録時刻の降順に、すなわち、遅い時刻から順番にレコードを並べ替える。そして、同じ商品名の複数のレコードが存在する場合、精算処理部１１２は、それらのレコードのうち最新の登録時刻を有するレコードを代表レコードに決定する。
【００４５】
精算の際、顧客３０２は、カート３０３の上層に近い商品から順に取り出して、計測台３２３上に置くことが多いと考えられる。そこで、画面上では、カート３０３の底に近い商品よりも上層に近い商品を優先的に選択できることが望ましい。登録時刻の降順にレコードを並べ替えることで、カート３０３に入れた時刻が遅い上層の商品ほど画面上で先に表示される。これにより、顧客３０２が計測台３２３上に置いた可能性が高い商品の情報が、精算対象の選択肢として先に表示され、選択操作の負荷が軽減される。
【００４６】
また、“重量”を用いる場合、精算処理部１１２は、商品の重量の降順にレコードを並べ替える。顧客３０２は、精算済みの商品を重いものから順に買い物袋に入れるため、重い商品から順にカート３０から取り出して、計測台３２３上に置くことが多いと考えられる。そこで、画面上では、軽い商品よりも重い商品を優先的に選択できることが望ましい。商品の重量の降順にレコードを並べ替えることで、重い商品ほど画面上で先に表示される。これにより、顧客３０２が計測台３２３上に置いた可能性が高い商品の情報が、精算対象の選択肢として先に表示され、選択操作の負荷が軽減される。
【００４７】
“大きさ”を用いる場合、精算処理部１１２は、商品の大きさ（寸法又は体積）の降順にレコードを並べ替える。顧客３０２は、精算済みの商品を大きいものから順に買い物袋に入れるため、大きい商品から順にカート３０から取り出して、計測台３２３上に置くことが多いと考えられる。そこで、画面上では、小さい商品よりも大きい商品を優先的に選択できることが望ましい。商品の大きさの降順にレコードを並べ替えることで、大きい商品ほど画面上で先に表示される。これにより、顧客３０２が計測台３２３上に置いた可能性が高い商品の情報が、精算対象の選択肢として先に表示され、選択操作の負荷が軽減される。
【００４８】
なお、精算処理部１１２は、“登録時刻”、“重量”、及び“大きさ”を組み合わせてレコードを並べ替えることも可能である。例えば、精算処理部１１２は、商品の重量の降順にレコードを並べ替え、同じ重量の複数の商品のレコードを登録時刻の降順に並べ替えてもよい。また、精算処理部１１２は、商品の大きさの降順にレコードを並べ替え、同じ大きさの複数の商品のレコードを登録時刻の降順に並べ替えてもよい。
【００４９】
商品の壊れやすさ、商品の形状が平らであるか否か等の他の属性をパターンとして用いてもよい。
【００５０】
図１１は、商品情報２２２の例を示している。商品情報２２２の各レコードは、商品名、価格、及び重量を含み、店舗によって事前に設定される。価格は、商品の単位重量当たりの価格を表し、重量は、商品の標準的な重量を表す。商品が野菜、果物等の生鮮食品である場合、商品が一定重量毎に袋詰めされていたり、パッケージにまとめられていたりすることが多い。この一定重量が標準的な重量として用いられる。例えば、商品Ａの１００ｇ当たりの価格は１００円であり、商品Ａの標準的な重量は５００ｇである。この場合、商品Ａの金額は５００円になる。
【００５１】
候補情報のレコードが商品の大きさの降順に並べ替えられる場合、商品情報２２２の各レコードは、商品の大きさを含んでいてもよい。
【００５２】
図１２は、選択結果２２３の例を示している。選択結果２２３の各レコードは、商品名、重量、及び金額を含む。金額は、商品の単位重量当たりの価格に標準的な重量を乗算することで計算される。例えば、商品Ｂの１００ｇ当たりの価格は２００円であり、商品Ｂの標準的な重量は５００ｇである。この場合、商品Ｂの金額は１０００円になる。
【００５３】
図１３は、選択結果２２３に基づいて表示部３２２に表示される精算画面の例を示している。この例では、商品Ａ及び商品Ｃの商品名が精算対象商品として表示されており、商品Ｂが精算済み商品として表示されている。精算済み商品の合計金額は、１０００円である。顧客３０２が精算対象商品の中から１つの商品を選択すると、選択された商品の商品名が精算対象商品から削除されて精算済み商品に追加されるとともに、その商品の金額が合計金額に加算される。そして、顧客３０２が“精算する”のボタン１３０１をタッチすると、合計金額が最終的な精算金額として確定する。
【００５４】
図１４は、図３のセルフチェックアウトシステムにおける候補生成処理の例を示すフローチャートである。まず、識別情報設定部２０３は、カメラ３１１によって撮影された画像から顧客３０２を検出し（ステップ１４０１）、候補情報に買い物ＩＤを設定する（ステップ１４０２）。
【００５５】
次に、特定部２０４は、顧客３０２が購入対象として選択した商品を特定し、特定した商品を候補情報の買い物ＩＤと対応付ける（ステップ１４０３）。そして、識別情報設定部２０３は、候補生成処理を終了するか否かを判定する（ステップ１４０４）。
【００５６】
候補生成処理を終了しない場合（ステップ１４０４，ＮＯ）、識別情報設定部２０３は、ステップ１４０１以降の処理を繰り返し、候補生成処理を終了する場合（ステップ１４０４，ＹＥＳ）、識別情報設定部２０３は、処理を終了する。識別情報設定部２０３は、例えば、管理者から入力される終了指示を検出した場合に、候補生成処理を終了することができる。
【００５７】
図１５は、図１４のステップ１４０１における顧客検出処理の例を示すフローチャートである。まず、識別情報設定部２０３は、カメラ３１１によって撮影された画像を取得し（ステップ１５０１）、顔検出処理を行って、画像に人間の顔が写っているか否かをチェックする（ステップ１５０２）。画像に顔が写っている場合（ステップ１５０２，ＹＥＳ）、識別情報設定部２０３は、棚３０１の前に顧客３０２が来たことを検出する（ステップ１５０３）。一方、画像に顔が写っていない場合（ステップ１５０２，ＮＯ）、識別情報設定部２０３は、ステップ１５０１以降の処理を繰り返す。
【００５８】
図１６は、図１４のステップ１４０２における買い物ＩＤ設定処理の例を示すフローチャートである。まず、識別情報設定部２０３は、カメラ３１１によって撮影された画像から、顧客３０２の顔の特徴ベクトルを抽出する（ステップ１６０１）。次に、識別情報設定部２０３は、特徴量情報記憶部２０２が記憶する特徴量情報のレコードの中から、抽出した特徴ベクトルと類似する特徴ベクトルを検索する（ステップ１６０２）。そして、識別情報設定部２０３は、過去の所定時間内に登録された特徴量情報のレコードの中に、類似する特徴ベクトルが含まれているか否かをチェックする（ステップ１６０３）。
【００５９】
識別情報設定部２０３は、例えば、２つの特徴ベクトルの差分を表す差分ベクトルの長さが閾値よりも小さい場合、それらの特徴ベクトルは類似していると判定することができる。一方、差分ベクトルの長さが閾値以上である場合、それらの特徴ベクトルは類似していないと判定される。過去の所定時間は、顧客３０２が商品をカート３０３に入れる平均的な周期であってもよく、１分〜数分程度の時間であってもよい。
【００６０】
過去の所定時間内のレコードの中に類似する特徴ベクトルが含まれている場合（ステップ１６０３，ＹＥＳ）、識別情報設定部２０３は、新たな候補情報のレコードを生成して候補情報記憶部１１１に格納する（ステップ１６０４）。そして、識別情報設定部２０３は、検索した特徴量情報のレコードから、類似する特徴ベクトルと対応付けられている買い物ＩＤを取得し、生成した候補情報のレコードに設定する。
【００６１】
一方、過去の所定時間内のレコードの中に類似する特徴ベクトルが含まれていない場合（ステップ１６０３，ＮＯ）、識別情報設定部２０３は、新たな買い物ＩＤを生成する（ステップ１６０５）。そして、識別情報設定部２０３は、現在時刻と、生成した買い物ＩＤと、抽出した特徴ベクトルとを対応付ける特徴量情報のレコードを生成して、特徴量情報記憶部２０２に格納する。また、識別情報設定部２０３は、新たな候補情報のレコードを生成して候補情報記憶部１１１に格納し、そのレコードに生成した買い物ＩＤを設定する。
【００６２】
このような買い物ＩＤ設定処理によれば、店舗に入店した顧客３０２が最初の棚３０１の前に来たときに、買い物ＩＤが新たに生成され、その顧客３０２に対する特徴量情報のレコードが特徴量情報記憶部２０２に格納される。その後、その顧客３０２の移動に伴って候補情報のレコードが生成される度に、最初に生成された買い物ＩＤが候補情報のレコードに設定される。
【００６３】
図１７は、図１４のステップ１４０３における精算対象特定処理の例を示すフローチャートである。まず、特定部２０４は、カート３０３の位置を特定し、運搬器具位置情報４０１を生成する（ステップ１７０１）。
【００６４】
次に、特定部２０４は、カメラ３１１によって撮影された画像を取得する（ステップ１７０２）。そして、特定部２０４は、取得した画像から顧客３０２の視線を検出し、検出した視線から、視線が示す注視位置を検出する（ステップ１７０３）。
【００６５】
次に、特定部２０４は、視線が示す注視位置を商品位置情報２１２及び運搬器具位置情報４０１と比較して、注視位置に対応する注視対象を特定する（ステップ１７０４）。そして、特定部２０４は、現在時刻と、注視位置と、特定した注視対象とを対応付ける視線情報２１１のレコードを生成して、記憶部２０５に格納する。
【００６６】
例えば、商品位置情報２１２が示すいずれかの商品の商品領域に注視位置が含まれる場合、その商品の商品名が注視対象として視線情報２１１のレコードに設定される。また、運搬器具位置情報４０１が示すカート領域に注視位置が含まれる場合、カート３０３が注視対象として視線情報２１１のレコードに設定される。注視位置が商品領域又はカート領域のいずれにも含まれない場合、注視対象が特定不可能であることが視線情報２１１のレコードに記録される。
【００６７】
次に、特定部２０４は、視線情報２１１に基づいて、過去の所定時間内に注視対象が商品からカート３０３に変化したか否かをチェックする（ステップ１７０５）。例えば、現在時刻における視線情報２１１のレコードが示す注視対象がカート３０３であり、過去の所定時間内のある時刻におけるレコードが示す注視対象が商品Ｃである場合、注視対象が商品Ｃからカート３０３に変化したと判定される。過去の所定時間は、顧客３０２が棚３０１上の商品を見てからカート３０３に入れるまでの平均的な時間であってもよく、１秒〜数秒程度の時間であってもよい。
【００６８】
過去の所定時間内に注視対象が商品からカート３０３に変化していない場合（ステップ１７０５，ＮＯ）、特定部２０４は、ステップ１７０２以降の処理を繰り返す。一方、過去の所定時間内に注視対象が商品からカート３０３に変化している場合（ステップ１７０５，ＹＥＳ）、特定部２０４は、その商品を顧客３０２が購入対象として選択した商品として特定する（ステップ１７０６）。そして、特定部２０４は、現在時刻と特定した商品の商品名とを、識別情報設定部２０３が設定した買い物ＩＤと対応付けて、識別情報設定部２０３が生成した候補情報のレコードに設定する。
【００６９】
図６の視線情報２１１において、１５時２５分０１．２５５秒における注視対象は商品Ｃであり、１５時２５分０２．２５５秒における注視対象はカート３０３である。例えば、過去の所定時間が３秒である場合、所定時間内に注視対象が商品Ｃからカート３０３に変化している。そこで、商品Ｃが特定され、図９に示すように、１５時２５分０２．２５５秒と商品Ｃとが買い物ＩＤ“１０８５”と対応付けられ、候補情報のレコードに設定される。
【００７０】
図１８は、図１７のステップ１７０１におけるカート位置特定処理の例を示すフローチャートである。まず、特定部２０４は、カメラ３１１によって撮影された画像を取得し（ステップ１８０１）、取得した画像内で、カート３０３の形状を表すカート画像を探索する（ステップ１８０２）。カート画像としては、例えば、あらかじめカメラ３１１によって撮影されたカート３０３の画像を用いることができる。
【００７１】
次に、特定部２０４は、探索したカート画像に対応する領域を、ｘｙｚ座標系におけるカート領域に変換し、現在時刻とカート領域とを対応付ける運搬器具位置情報４０１のレコードを生成して、記憶部２０５に格納する（ステップ１８０３）。
【００７２】
顧客３０２は、商品をカート３０３に入れる前にその商品を注視し、商品をカート３０３に入れる際にカート３０３を注視することが多いと考えられる。図１７の精算対象特定処理によれば、顧客３０２がある商品を注視してから所定時間内にカート３０３を注視した場合、その商品が精算対象として候補情報に含められる。したがって、顧客３０２がカート３０３に入れた可能性が高い商品を含む候補情報を生成することができる。
【００７３】
図１７のステップ１７０５において、特定部２０４は、過去の所定時間内に注視対象が商品からカート３０３に変化したか否かをチェックする代わりに、注視対象が所定時間同じ商品であるか否かをチェックしてもよい。例えば、現在時刻における視線情報２１１のレコードが示す注視対象が商品Ｃであり、過去の所定時間内のすべてのレコードが示す注視対象も商品Ｃである場合、注視対象が同じ商品Ｃであると判定される。
【００７４】
そして、特定部２０４は、注視対象が所定時間同じ商品ではない場合、ステップ１７０２以降の処理を繰り返し、注視対象が所定時間同じ商品である場合、その商品を顧客３０２が購入対象として選択した商品として特定する。
【００７５】
図１９は、図３のセルフチェックアウトシステムにおける候補提示処理の例を示すフローチャートである。まず、精算処理部１１２は、カメラ３２１によって撮影された画像から顧客３０２を検出し（ステップ１９０１）、買い物ＩＤを特定する（ステップ１９０２）。ステップ１９０１における顧客検出処理は、図１５の顧客検出処理と同様である。次に、精算処理部１１２は、候補情報から顧客３０２に対する精算対象商品を決定し（ステップ１９０３）、精算対象商品を顧客３０２に提示しながら精算を行う（ステップ１９０４）。
【００７６】
図２０は、図１９のステップ１９０２における買い物ＩＤ特定処理の例を示すフローチャートである。まず、精算処理部１１２は、カメラ３２１によって撮影された画像から、顧客３０２の顔の特徴ベクトルを抽出する（ステップ２００１）。次に、精算処理部１１２は、特徴量情報記憶部２０２が記憶する特徴量情報の中から、抽出した特徴ベクトルと類似する特徴ベクトルを検索する（ステップ２００２）。そして、精算処理部１１２は、検索した特徴量情報のレコードから、類似する特徴ベクトルと対応付けられている買い物ＩＤを取得する（ステップ２００３）。
【００７７】
図２１は、図１９のステップ１９０３における精算対象商品決定処理の例を示すフローチャートである。まず、精算処理部１１２は、候補情報記憶部１１１が記憶する候補情報のレコードの中から、取得した買い物ＩＤを含むレコードを抽出する（ステップ２１０１）。次に、精算処理部１１２は、抽出したレコードをルール２２１が表す決定基準に従って並べ替え（ステップ２１０２）、代表レコードを決定する（ステップ２１０３）。
【００７８】
例えば、商品Ｃに対して異なる登録時刻を有する複数のレコードが存在する場合、精算処理部１１２は、それらのレコードのうち最新の登録時刻を有するレコードを、商品Ｃの代表レコードに決定することができる。精算処理部１１２は、最新の登録時刻を有するレコードの代わりに、最も古い登録時刻を有するレコードを代表レコードに決定してもよい。
【００７９】
図２２は、図１９のステップ１９０４における精算処理の例を示すフローチャートである。まず、精算処理部１１２は、それぞれの商品の代表レコードに含まれる商品名を抽出し、並べ替えたレコードの順序に従って、抽出した商品名を表示部３２２の画面上に表示する（ステップ２２０１）。これにより、顧客３０２がカート３０３に入れた可能性が高い商品の商品名が、精算対象の選択肢として表示される。
【００８０】
次に、精算処理部１１２は、顧客３０２によって入力された選択指示を検出し（ステップ２２０２）、顧客３０２によって商品が計測台３２３上に置かれたことを検出する（ステップ２２０３）。精算処理部１１２は、例えば、計測台３２３が示す計測結果が０ではない場合、商品が計測台３２３上に置かれたと判定することができる。
【００８１】
次に、計測台３２３は、商品の重量を計測し、精算処理部１１２は、計測結果を取得する（ステップ２２０４）。そして、精算処理部１１２は、計測結果が適正重量を示しているか否かをチェックする（ステップ２２０５）。
【００８２】
精算処理部１１２は、選択指示が示す商品の重量を商品情報２２２から取得し、取得した重量と計測結果との差分が閾値以下である場合、計測結果が適正重量を示していると判定することができる。一方、取得した重量と計測結果との差分が閾値よりも大きい場合、計測結果が適正重量を示していないと判定される。
【００８３】
例えば、顧客３０２が選択した商品と、顧客３０２が計測台３２３上に置いた商品とが一致していない場合、差分が閾値よりも大きくなり、計測結果が適正重量を示していないと判定される。計測結果が適正重量を示していない場合（ステップ２２０５，ＮＯ）、精算処理部１１２は、エラーメッセージを表示して（ステップ２２１０）、ステップ２２０２以降の処理を繰り返す。
【００８４】
一方、計測結果が適正重量を示している場合（ステップ２２０５，ＹＥＳ）、精算処理部１１２は、選択指示が示す商品の商品名、重量、及び金額を含む選択結果２２３のレコードを生成して、記憶部２０７に格納する（ステップ２２０６）。このとき、精算処理部１１２は、選択指示が示す商品の価格及び重量を商品情報２２２から取得し、価格と重量とを乗算することで、金額を求めることができる。
【００８５】
次に、精算処理部１１２は、選択指示が示す商品の商品名を、表示されている精算対象の選択肢から削除する（ステップ２２０７）。そして、精算処理部１１２は、削除した商品名を精算済み商品として表示するとともに、表示されている合計金額にその商品の金額を加算して、合計金額の表示を更新する。
【００８６】
次に、精算処理部１１２は、顧客３０２によって精算指示が入力されたか否かをチェックする（ステップ２２０８）。例えば、図１３のボタン１３０１を顧客３０２がタッチすると、精算指示が入力される。精算指示が入力されていない場合（ステップ２２０８，ＮＯ）、精算処理部１１２は、ステップ２２０２以降の処理を繰り返す。
【００８７】
一方、精算指示が入力された場合（ステップ２２０８，ＹＥＳ）、精算処理部１１２は、合計金額の支払いを要求するメッセージを表示する（ステップ２２０９）。これに応じて、顧客３０２は、支払いを行って商品を購入する。
【００８８】
カート３０３内に複数個の同じ商品が存在する場合、ステップ２２０２において、顧客３０２は、選択指示とともに、選択した商品の個数を入力することも可能である。この場合、ステップ２２０６において、精算処理部１１２は、商品の価格と重量と個数とを乗算することで、金額を求めることができる。
【００８９】
図２３は、図１の精算支援システム１０１の第２の具体例を示している。図２３の精算支援システム１０１は、図２の精算支援システム１０１から特徴量情報記憶部２０２を削除し、受信機２３０１及び受信機２３０２を追加した構成を有する。
【００９０】
受信機２３０１は、運搬器具から送信される識別情報を受信し、識別情報設定部２０３は、受信した識別情報を、候補情報記憶部１１１が記憶する候補情報に設定する。受信機２３０２は、運搬器具から送信される識別情報を受信し、精算処理部１１２は、受信した識別情報を含む候補情報を抽出する。
【００９１】
図２４は、図２３の精算支援システム１０１を適用したセルフチェックアウトシステムの第１の構成例を示している。図２４のセルフチェックアウトシステムは、図３のセルフチェックアウトシステムに受信機２３０１、受信機２３０２、及び送信機２４０１を追加した構成を有する。
【００９２】
受信機２３０１及び受信機２３０２は、棚３０１及び精算装置３１４にそれぞれ設置されており、送信機２４０１は、カート３０３に取り付けられている。送信機２４０１は、無線通信によって、カート３０３の識別情報を受信機２３０１及び受信機２３０２へ送信する。
【００９３】
図２５は、図２４のセルフチェックアウトシステムにおいて用いられる視線情報２１１の例を示している。視線情報２１１の各レコードは、時刻、注視位置、輻輳角、及び注視対象を含む。このうち、時刻、注視位置、及び注視対象については、図６の視線情報２１１と同様である。輻輳角は、顧客３０２の両眼の視線が成す角度を表し、カメラ３１１によって撮影された顧客３０２の画像から検出される視線に基づいて計算される。顧客３０２が注視する注視位置が顧客３０２に近いほど輻輳角は大きくなり、注視位置が顧客３０２から遠いほど輻輳角は小さくなる。
【００９４】
例えば、１５時２５分００．２５５秒における注視位置に対応する輻輳角は、３０度であり、注視対象は、商品Ｃである。なお、１５時２５分０１．２５５秒及び１５時２５分０２．２５５秒における注視位置は、棚３０１よりも手前の位置であるため、対応する商品が存在せず、注視対象は特定不可能となる。
【００９５】
図２４のセルフチェックアウトシステムにおいて用いられる商品位置情報２１２、候補情報、ルール２２１、商品情報２２２、及び選択結果２２３の例については、図７及び図９〜図１２と同様である。図２４のセルフチェックアウトシステムにおける候補生成処理は、図１４と同様であり、顧客検出処理は図１５と同様である。
【００９６】
図２６は、図２４のセルフチェックアウトシステムにおける買い物ＩＤ設定処理の例を示すフローチャートである。まず、受信機２３０１は、カート３０３の送信機２４０１からカート３０３の識別情報を受信する（ステップ２６０１）。次に、識別情報設定部２０３は、新たな候補情報のレコードを生成して候補情報記憶部１１１に格納し、受信したカート３０３の識別情報を、生成した候補情報のレコードの買い物ＩＤとして設定する（ステップ２６０２）。
【００９７】
このような買い物ＩＤ設定処理によれば、識別情報設定部２０３は、顧客３０２の顔の特徴ベクトルを抽出することなく、候補情報のレコードに買い物ＩＤを設定することができる。
【００９８】
図２７は、図２４のセルフチェックアウトシステムにおける精算対象特定処理の例を示すフローチャートである。まず、特定部２０４は、カメラ３１１によって撮影された画像を取得する（ステップ２７０１）。そして、特定部２０４は、取得した画像から顧客３０２の視線を検出し、検出した視線から、視線が示す注視位置を検出するとともに輻輳角を求める（ステップ２７０２）。このとき、特定部２０４は、顧客３０２の左眼の視線ベクトルと右眼の視線ベクトルとが成す角度を、輻輳角として計算する。
【００９９】
次に、特定部２０４は、視線が示す注視位置を商品位置情報２１２と比較して、注視位置に対応する注視対象を特定する（ステップ２７０３）。そして、特定部２０４は、現在時刻と、注視位置と、輻輳角と、特定した注視対象とを対応付ける視線情報２１１のレコードを生成して、記憶部２０５に格納する。
【０１００】
次に、特定部２０４は、過去の所定時間内に輻輳角が所定角度以上増加したか否かをチェックする（ステップ２７０４）。例えば、現在時刻における視線情報２１１のレコードが示す輻輳角がα１であり、過去の所定時間内のある時刻におけるレコードが示す輻輳角がα２であり、α１がα２よりも所定角度以上大きい場合、輻輳角が所定角度以上増加したと判定される。
【０１０１】
過去の所定時間は、顧客３０２が棚３０１上の商品を見てから手に取るまでの平均的な時間であってもよく、１秒〜数秒程度の時間であってもよい。所定角度は、棚３０１上における商品の位置と、顧客３０２がその商品を手に取ったときの商品の位置との間の平均的な距離に応じて決定してもよく、数十度程度であってもよい。
【０１０２】
過去の所定時間内に輻輳角が所定角度以上増加していない場合（ステップ２７０４，ＮＯ）、特定部２０４は、ステップ２７０１以降の処理を繰り返す。一方、過去の所定時間内に輻輳角が所定角度以上増加している場合（ステップ２７０４，ＹＥＳ）、特定部２０４は、輻輳角が増加する前のレコードが示す注視対象の商品を、顧客３０２が購入対象として選択した商品として特定する（ステップ２７０５）。そして、特定部２０４は、現在時刻と特定した商品の商品名とを、識別情報設定部２０３が設定した買い物ＩＤと対応付けて、識別情報設定部２０３が生成した候補情報のレコードに設定する。
【０１０３】
図２５の視線情報２１１において、１５時２５分００．２５５秒における注視対象は商品Ｃであり、輻輳角は３０度である。また、１５時２５分０２．２５５秒における輻輳角は８０度である。例えば、過去の所定時間が３秒であり、所定角度が３０度である場合、所定時間内に輻輳角が所定角度以上増加している。そこで、商品Ｃが特定され、図９に示すように、１５時２５分０２．２５５秒と商品Ｃとが買い物ＩＤ“１０８５”と対応付けられ、候補情報のレコードに設定される。
【０１０４】
顧客３０２は、商品をカート３０３に入れる前にその商品を手に取って注視することが多いと考えられる。図２７の精算対象特定処理によれば、顧客３０２が棚３０１上の商品を注視してから所定時間内にその商品を手に取って注視した場合、その商品が精算対象として候補情報に含められる。したがって、顧客３０２がカート３０３に入れた可能性が高い商品を含む候補情報を生成することができる。
【０１０５】
図２４のセルフチェックアウトシステムにおける候補提示処理は、図１９と同様であり、顧客検出処理は図１５と同様であり、精算対象商品決定処理は図２１と同様であり、精算処理は図２２と同様である。
【０１０６】
図２８は、候補提示処理における買い物ＩＤ特定処理の例を示すフローチャートである。まず、受信機２３０２は、カート３０３の送信機２４０１からカート３０３の識別情報を受信する（ステップ２８０１）。次に、精算処理部１１２は、受信したカート３０３の識別情報を買い物ＩＤとして取得する（ステップ２８０２）。このような買い物ＩＤ特定処理によれば、精算処理部１１２は、顧客３０２の顔の特徴ベクトルを抽出することなく、買い物ＩＤを取得することができる。
【０１０７】
図２９は、図２３の精算支援システム１０１を適用したセルフチェックアウトシステムの第２の構成例を示している。図２９のセルフチェックアウトシステムは、図２４のセルフチェックアウトシステムからサーバ３１３を削除し、カメラ２９０１、携帯端末２９０２、通信装置２９０３、及び通信装置２９０４を追加した構成を有する。
【０１０８】
カメラ２９０１は、カメラ３１１の真上の天井に設置されており、棚３０１上の商品にアクセスする顧客３０２の手を撮影することができる。携帯端末２９０２は、顧客３０２が所持するスマートフォン、タブレット、ノート型パーソナルコンピュータ、ウェアラブル端末等の情報処理装置である。通信装置２９０３及び通信装置２９０４は、棚３０１及び精算装置３１４にそれぞれ設置されている。携帯端末２９０２は、無線通信によって、通信装置２９０３及び通信装置２９０４と通信する。
【０１０９】
図２３の識別情報設定部２０３、特定部２０４、及び記憶部２０５は、処理装置３１２、携帯端末２９０２、又は精算装置３１４に設けられる。この場合、これらの構成要素を、処理装置３１２、精算装置３１４、及び携帯端末２９０２に分散させてもよく、いずれかの装置に集中させてもよい。候補情報記憶部１１１は、処理装置３１２、携帯端末２９０２、又は精算装置３１４に設けられる。このように、顧客３０２の携帯端末２９０２を利用して情報処理を行うことで、図２４のサーバ３１３が不要になる。
【０１１０】
候補情報記憶部１１１、識別情報設定部２０３、及び特定部２０４が処理装置３１２に設けられている場合、特定部２０４は、候補情報記憶部１１１内の候補情報を、通信装置２９０３を介して携帯端末２９０２へ送信する。そして、顧客３０２が精算装置３１４の前に来たとき、精算処理部１１２は、通信装置２９０４を介して携帯端末２９０２から候補情報を受信する。
【０１１１】
候補情報記憶部１１１が携帯端末２９０２に設けられており、識別情報設定部２０３及び特定部２０４が処理装置３１２に設けられている場合、識別情報設定部２０３及び特定部２０４は、通信装置２９０３を介して候補情報記憶部１１１にアクセスする。そして、特定部２０４は、通信装置２９０３を介して候補情報を携帯端末２９０２へ送信する。携帯端末２９０２は、受信した候補情報を候補情報記憶部１１１に格納し、顧客３０２が精算装置３１４の前に来たとき、精算処理部１１２は、通信装置２９０４を介して携帯端末２９０２から候補情報を受信する。
【０１１２】
候補情報記憶部１１１が精算装置３１４に設けられており、識別情報設定部２０３及び特定部２０４が処理装置３１２に設けられている場合、特定部２０４は、通信装置２９０３を介して候補情報を携帯端末２９０２へ送信する。そして、顧客３０２が精算装置３１４の前に来たとき、精算処理部１１２は、通信装置２９０４を介して携帯端末２９０２から候補情報を受信し、受信した候補情報を候補情報記憶部１１１に格納する。
【０１１３】
候補情報記憶部１１１が精算装置３１４に設けられており、識別情報設定部２０３及び特定部２０４が携帯端末２９０２に設けられている場合、顧客３０２が精算装置３１４の前に来たとき、特定部２０４は、候補情報を精算装置３１４へ送信する。そして、精算処理部１１２は、通信装置２９０４を介して携帯端末２９０２から候補情報を受信し、受信した候補情報を候補情報記憶部１１１に格納する。
【０１１４】
図３０は、図２９のセルフチェックアウトシステムにおいて用いられる視線情報２１１の例を示している。視線情報２１１の各レコードは、図６の視線情報２１１と同様に、時刻、注視位置、及び注視対象を含む。１５時２５分０１．２５５秒及び１５時２５分０２．２５５秒における注視位置は、棚３０１よりも手前の位置であるため、対応する商品が存在せず、注視対象は特定不可能となる。
【０１１５】
図２９のセルフチェックアウトシステムにおいて用いられる商品位置情報２１２、候補情報、ルール２２１、商品情報２２２、及び選択結果２２３の例については、図７及び図９〜図１２と同様である。図２９のセルフチェックアウトシステムにおける候補生成処理は、図１４と同様であり、顧客検出処理は図１５と同様であり、買い物ＩＤ設定処理は図２６と同様である。
【０１１６】
図３１は、図２９のセルフチェックアウトシステムにおける精算対象特定処理の例を示すフローチャートである。まず、特定部２０４は、カメラ３１１によって撮影された画像を取得する（ステップ３１０１）。そして、特定部２０４は、取得した画像から顧客３０２の視線を検出し、検出した視線から、視線が示す注視位置を検出する（ステップ３１０２）。
【０１１７】
次に、特定部２０４は、視線が示す注視位置を商品位置情報２１２と比較して、注視位置に対応する注視対象を特定する（ステップ３１０３）。そして、特定部２０４は、現在時刻と、注視位置と、特定した注視対象とを対応付ける視線情報２１１のレコードを生成して、記憶部２０５に格納する。
【０１１８】
次に、特定部２０４は、カメラ２９０１によって撮影された画像を取得する（ステップ３１０４）。そして、特定部２０４は、取得した画像から顧客３０２の手の動作を検出し（ステップ３１０５）、顧客３０２が商品を手に取ったか否かをチェックする（ステップ３１０６）。特定部２０４は、例えば、特許文献３に記載された方法によりカメラ２９０１の画像を分析することで、顧客３０２が商品を手に取ったか否かを判定することができる。
【０１１９】
顧客３０２が商品を手に取っていない場合（ステップ３１０６，ＮＯ）、特定部２０４は、ステップ３１０１以降の処理を繰り返す。一方、顧客３０２が商品を手に取った場合（ステップ３１０６，ＹＥＳ）、特定部２０４は、ステップ３１０３で特定した注視対象の商品を、顧客３０２が購入対象として選択した商品として特定する（ステップ３１０７）。そして、特定部２０４は、現在時刻と特定した商品の商品名とを、識別情報設定部２０３が設定した買い物ＩＤと対応付けて、識別情報設定部２０３が生成した候補情報のレコードに設定する。
【０１２０】
図３１の精算対象特定処理によれば、顧客３０２が棚３０１上の商品を注視してからその商品を手に取った場合、その商品が精算対象として候補情報に含められる。したがって、顧客３０２がカート３０３に入れた可能性が高い商品を含む候補情報を生成することができる。
【０１２１】
図２９のセルフチェックアウトシステムにおける候補提示処理は、図１９と同様であり、顧客検出処理は図１５と同様であり、買い物ＩＤ特定処理は図２８と同様であり、精算対象商品決定処理は図２１と同様であり、精算処理は図２２と同様である。
【０１２２】
図３２は、図２３の精算支援システム１０１を適用したセルフチェックアウトシステムの第３の構成例を示している。図３２のセルフチェックアウトシステムは、図２９のセルフチェックアウトシステムからカメラ２９０１を削除し、計測器３２０１を追加した構成を有する。
【０１２３】
計測器３２０１は、カート３０３に取り付けられており、カート３０３内の商品の総重量を計測することができる。送信機２４０１は、無線通信によって、計測器３２０１が計測した総重量を受信機２３０１へ送信する。計測器３２０１は、総重量の代わりに、顧客３０２が商品をカート３０３に入れたときの総重量の変化を計測してもよい。
【０１２４】
図３３は、図３２のセルフチェックアウトシステムにおいて、記憶部２０５が記憶する情報の例を示している。この例では、記憶部２０５は、視線情報２１１、商品位置情報２１２、及び重量情報３３０１を記憶する。重量情報３３０１は、カート３０３内の商品の総重量を表す情報である。
【０１２５】
図３４は、重量情報３３０１の例を示している。重量情報３３０１の各レコードは、買い物ＩＤ、登録時刻、及び重量を含む。買い物ＩＤは、送信機２４０１から送信されるカート３０３の識別情報に対応し、登録時刻は、レコードが登録された時刻を表し、重量は、送信機２４０１から送信される総重量を表す。
【０１２６】
この例では、１５時１８分３４．１２０秒における重量は３５００ｇであり、１５時２５分０２．２６５秒における重量は４０００ｇであるため、総重量が５００ｇだけ増加していることが分かる。
【０１２７】
図３２のセルフチェックアウトシステムにおいて用いられる視線情報２１１、商品位置情報２１２、候補情報、ルール２２１、商品情報２２２、及び選択結果２２３の例については、図３０、図７、及び図９〜図１２と同様である。図３２のセルフチェックアウトシステムにおける候補生成処理は、図１４と同様であり、顧客検出処理は図１５と同様であり、買い物ＩＤ設定処理は図２６と同様である。
【０１２８】
図３５は、図３２のセルフチェックアウトシステムにおける精算対象特定処理の例を示すフローチャートである。ステップ３５０１〜ステップ３５０３の処理は、図３１のステップ３１０１〜ステップ３１０３の処理と同様である。
【０１２９】
注視対象を特定した後、特定部２０４は、受信機２３０１が送信機２４０１から受信した総重量を取得する（ステップ３５０４）。そして、特定部２０４は、識別情報設定部２０３が候補情報のレコードに設定した買い物ＩＤと、現在時刻と、取得した総重量とを対応付ける重量情報３３０１のレコードを生成して、記憶部２０５に格納する。
【０１３０】
次に、特定部２０４は、重量情報３３０１に基づいて、過去の所定時間内に重量情報３３０１の重量が増加したか否かをチェックする（ステップ３５０５）。例えば、現在時刻における重量情報３３０１のレコードが示す重量がＷ１であり、過去の所定時間内のある時刻におけるレコードが示す重量がＷ２であり、Ｗ１がＷ２よりも大きい場合、重量が増加したと判定される。過去の所定時間は、顧客３０２が棚３０１上の商品を見てからカート３０３に入れるまでの平均的な時間であってもよく、１秒〜数秒程度の時間であってもよい。
【０１３１】
過去の所定時間内に重量情報３３０１の重量が増加していない場合（ステップ３５０５，ＮＯ）、特定部２０４は、ステップ３５０１以降の処理を繰り返す。一方、過去の所定時間内に重量情報３３０１の重量が増加している場合（ステップ３５０５，ＹＥＳ）、特定部２０４は、ステップ３５０３で特定した注視対象の商品を、顧客３０２が購入対象として選択した商品として特定する（ステップ３５０６）。そして、特定部２０４は、現在時刻と特定した商品の商品名とを、識別情報設定部２０３が設定した買い物ＩＤと対応付けて、識別情報設定部２０３が生成した候補情報のレコードに設定する。
【０１３２】
図３５の精算対象特定処理によれば、顧客３０２が棚３０１上の商品を注視してからその商品をカート３０３に入れた場合、カート３０３内の商品の総重量が増加するため、その商品が精算対象として候補情報に含められる。したがって、顧客３０２がカート３０３に入れた可能性が高い商品を含む候補情報を生成することができる。
【０１３３】
図３２のセルフチェックアウトシステムにおける候補提示処理は、図１９と同様であり、顧客検出処理は図１５と同様であり、買い物ＩＤ特定処理は図２８と同様であり、精算対象商品決定処理は図２１と同様である。
【０１３４】
図３６は、候補提示処理における精算処理の例を示すフローチャートである。まず、精算処理部１１２は、図２２のステップ２２０３と同様にして、顧客３０２によって商品が計測台３２３上に置かれたことを検出する（ステップ３６０１）。
【０１３５】
次に、精算処理部１１２は、カメラ３２１によって撮影された画像を取得する（ステップ３６０２）。そして、精算処理部１１２は、候補情報記憶部１１１が記憶する候補情報の代表レコードの中から、取得した画像に写っている可能性の高い１つ以上の商品の商品名を、精算対象として抽出する（ステップ３６０３）。
【０１３６】
精算処理部１１２は、例えば、特許文献２に記載された方法により、商品の外観特徴に関するデータを記憶する商品ファイルから、画像に写っている商品の外観特徴と近似する商品を検索することで、１つ以上の商品を特定することができる。精算処理部１１２は、商品の外観特徴と重量等を組み合わせて、商品を特定してもよい。
【０１３７】
次に、精算処理部１１２は、抽出した１つ以上の商品の商品名を表示部３２２の画面上に表示する（ステップ３６０４）。これにより、顧客３０２が計測台３２３上に置いた可能性が高い商品の商品名が、精算対象の選択肢として表示される。そして、精算処理部１１２は、顧客３０２によって入力された選択指示を検出する（ステップ３６０５）。ステップ３６０６〜ステップ３６１２の処理は、図２２のステップ２２０４〜ステップ２２１０の処理と同様である。
【０１３８】
図３２のセルフチェックアウトシステムにおいて、顧客３０２が一旦カート３０３に入れた商品を棚３０１に返却した場合、カート３０３内の商品の総重量がその商品の重量だけ減少する。したがって、計測器３２０１が計測した総重量の変化に基づいて、商品が返却されたことを検出することができる。
【０１３９】
図３７は、商品が返却された場合の重量情報３３０１の例を示している。この例では、１５時２５分００．２５５秒における重量は３５００ｇであり、１５時２５分０２．２５５秒において重量が４０００ｇに増加し、１５時２５分０５．２００秒において重量が３５００ｇに減少している。このため、５００ｇの商品が一旦カート３０３に入れられた後、その商品がカート３０３から棚３０１に返却されたことが分かる。
【０１４０】
図３８は、商品の返却を検出する返却商品検出処理の例を示すフローチャートである。
まず、特定部２０４は、受信機２３０１が送信機２４０１から受信した総重量を取得する（ステップ３８０１）。そして、特定部２０４は、重量情報３３０１に基づいて、過去の所定時間内に重量情報３３０１の重量が減少したか否かをチェックする（ステップ３８０２）。
【０１４１】
例えば、現在時刻における重量情報３３０１のレコードが示す重量がＷ３であり、過去の所定時間内のある時刻におけるレコードが示す重量がＷ１であり、Ｗ３がＷ１よりも小さい場合、重量が減少したと判定される。過去の所定時間は、顧客３０２が棚３０１上の商品をカート３０３に入れてから棚３０１に返却するまでの平均的な時間であってもよく、１秒〜数分程度の時間であってもよい。
【０１４２】
過去の所定時間内に重量情報３３０１の重量が減少している場合（ステップ３８０２，ＹＥＳ）、特定部２０４は、ステップ３８０３〜ステップ３８０５の処理を行って、顧客３０２の視線が示す注視対象の商品を特定する。ステップ３８０３〜ステップ３８０５の処理は、図３１のステップ３１０１〜ステップ３１０３の処理と同様である。そして、特定部２０４は、特定した商品が返却されたと判定し、その商品に対応する候補情報のレコードを削除する（ステップ３８０６）。
【０１４３】
一方、過去の所定時間内に重量情報３３０１の重量が減少していない場合（ステップ３８０２，ＮＯ）、特定部２０４は、処理を終了する。
【０１４４】
図３８の返却商品検出処理によれば、顧客３０２が一旦カート３０３に入れた商品を棚３０１に返却した場合、返却された商品を候補情報から除外することができる。返却のタイミングは、顧客３０２が商品をカート３０３に入れた直後でもよく、ある程度時間が経った後でもよい。
【０１４５】
図３９は、図１の精算支援システム１０１の第３の具体例を示している。図３９の精算支援システム１０１は、図２の精算支援システム１０１から特徴量情報記憶部２０２を削除し、動線生成部３９０１及び動線情報記憶部３９０２を追加した構成を有する。
【０１４６】
動線情報記憶部３９０２は、店舗内を移動する複数の移動体の識別情報とそれらの移動体の動線とを対応付ける動線情報を記憶する。動線生成部３９０１は、店舗内の映像から移動体を検出して動線情報を生成し、生成した動線情報を動線情報記憶部３９０２に格納する。識別情報設定部２０３は、動線情報によって、撮像装置２０１から所定距離以内に存在する動線に対応付けられた識別情報を、顧客に対する精算のための識別情報として、候補情報記憶部１１１が記憶する候補情報に設定する。
【０１４７】
図４０は、図３９の精算支援システム１０１を適用したセルフチェックアウトシステムの構成例を示している。図４０のセルフチェックアウトシステムは、図３のセルフチェックアウトシステムに監視カメラ４００１及び監視カメラ４００２を追加した構成を有する。
【０１４８】
監視カメラ４００１は、棚３０１付近の天井に設置されており、棚３０１の周囲の映像を撮影してサーバ３１３へ送信する。監視カメラ４００２は、精算装置３１４付近の天井に設置されており、精算装置３１４の周囲の映像を撮影してサーバ３１３へ送信する。
【０１４９】
図３９の動線生成部３９０１及び動線情報記憶部３９０２は、サーバ３１３に設けられる。動線生成部３９０１は、監視カメラ４００１及び監視カメラ４００２を含む複数の監視カメラの映像から、店舗内を移動する顧客３０２を移動体として検出し、顧客３０２の動線を表す動線情報を生成する。動線生成部３９０１は、顧客３０２の代わりにカート３０３を、移動体として検出してもよい。
【０１５０】
識別情報設定部２０３が処理装置３１２に設けられている場合、識別情報設定部２０３は、通信ネットワークを介して動線情報記憶部３９０２にアクセスする。精算処理部１１２は、通信ネットワークを介して動線情報記憶部３９０２にアクセスする。
【０１５１】
図４１は、図４０のセルフチェックアウトシステムにおいて用いられる視線情報２１１の例を示している。視線情報２１１の各レコードは、図２５の視線情報２１１と同様に、時刻、注視位置、輻輳角、及び注視対象を含む。
【０１５２】
図４２は、動線情報記憶部３９０２が記憶する動線情報の例を示している。動線情報の各レコードは、登録時刻、顧客ＩＤ、及び位置を含む。登録時刻は、レコードが登録された時刻を表し、顧客ＩＤは、映像から検出された顧客３０２の識別情報を表す。位置は、店舗の２次元平面における顧客３０２の位置を表し、店舗の入口を原点とするＸＹ座標系を用いて表される。
【０１５３】
例えば、顧客ＩＤ“１０８５”と対応付けて１５時１８分３４．１２０秒に登録された位置は、（Ｘ，Ｙ）＝（１０．２０，７．５０）であり、原点からＸ軸及びＹ軸の正の向きにそれぞれ１０．２０ｍ及び７．５０ｍ離れた位置を表す。また、同じ顧客ＩＤ“１０８５”と対応付けて１５時２５分０２．２６５秒に登録された位置は、（Ｘ，Ｙ）＝（１０．２５，１３．００）である。顧客３０２が店舗の入口に現れてから精算装置３１４に到達するまでの間の複数時刻における顧客３０２の位置を登録することで、顧客３０２の動線を生成することができる。
【０１５４】
図４３は、動線生成部３９０１が一定周期で行う動線生成処理の例を示すフローチャートである。まず、動線生成部３９０１は、監視カメラ４００１及び監視カメラ４００２を含む複数の監視カメラによって撮影された画像を取得する（ステップ４３０１）。
【０１５５】
次に、動線生成部３９０１は、過去から現在までに至る各時刻の画像から顧客３０２の位置を追跡することで、現在時刻における顧客３０２の位置を特定する（ステップ４３０２）。ここで、特定した位置が店舗の入口に対応する場合、動線生成部３９０１は、現在時刻と、新たな顧客ＩＤと、特定した位置とを対応付ける動線情報のレコードを生成して、動線情報記憶部３９０２に格納する。
【０１５６】
一方、特定した位置が入口以外の位置に対応する場合、動線生成部３９０１は、既に登録されている動線情報のレコードの中から、特定した位置と同じ動線に属すると判定される位置を含むレコードを探索し、そのレコードから顧客ＩＤを取得する。そして、動線生成部３９０１は、現在時刻と、取得した顧客ＩＤと、特定した位置とを対応付ける動線情報のレコードを生成して、動線情報記憶部３９０２に格納する。動線生成部３９０１は、例えば、特定した位置と直前に登録されたレコードに含まれる位置との距離が閾値以下である場合に、それらの位置が同じ動線に属すると判定することができる。
【０１５７】
図４０のセルフチェックアウトシステムにおいて用いられる商品位置情報２１２、候補情報、ルール２２１、商品情報２２２、及び選択結果２２３の例については、図７及び図９〜図１２と同様である。図４０のセルフチェックアウトシステムにおける候補生成処理は、図１４と同様であり、顧客検出処理は図１５と同様であり、精算対象特定処理は図２７と同様である。
【０１５８】
図４４は、図４０のセルフチェックアウトシステムにおける買い物ＩＤ設定処理の例を示すフローチャートである。まず、識別情報設定部２０３は、棚３０１の識別情報に基づいてカメラ３１１の位置を特定し、動線情報記憶部３９０２内の動線情報のレコードの中から、過去の所定時間内の登録時刻を含むレコードを抽出する（ステップ４４０１）。そして、識別情報設定部２０３は、抽出したレコードの中から、カメラ３１１から所定距離以内にある位置を含むレコードを探索する。
【０１５９】
過去の所定時間は、顧客３０２がカメラ３１１の前に移動してから識別情報設定部２０３が顧客３０２を検出するまでの平均的な時間であってもよく、１秒〜数秒程度の時間であってもよい。所定距離は、カメラ３１１と顧客３０２との平均的な距離であってもよく、数十ｃｍ〜１ｍ程度の距離であってもよい。
【０１６０】
次に、識別情報設定部２０３は、探索した動線情報のレコードから顧客ＩＤを取得する（ステップ４４０２）。そして、識別情報設定部２０３は、新たな候補情報のレコードを生成して候補情報記憶部１１１に格納し、取得した顧客ＩＤを、生成した候補情報のレコードの買い物ＩＤとして設定する（ステップ４４０３）。このような買い物ＩＤ設定処理によれば、識別情報設定部２０３は、顧客３０２の顔の特徴ベクトルを抽出することなく、候補情報のレコードに買い物ＩＤを設定することができる。
【０１６１】
図４０のセルフチェックアウトシステムにおける候補提示処理は、図１９と同様であり、顧客検出処理は図１５と同様であり、精算対象商品決定処理は図２１と同様であり、精算処理は図２２と同様である。
【０１６２】
図４５は、図４０のセルフチェックアウトシステムにおける買い物ＩＤ特定処理の例を示すフローチャートである。まず、精算処理部１１２は、精算装置３１４の識別情報に基づいてカメラ３２１の位置を特定し、動線情報記憶部３９０２内の動線情報のレコードの中から、過去の所定時間内の登録時刻を含むレコードを抽出する（ステップ４５０１）。そして、精算処理部１１２は、抽出したレコードの中から、カメラ３２１から所定距離以内にある位置を含むレコードを探索する。
【０１６３】
過去の所定時間は、顧客３０２がカメラ３２１の前に移動してから精算処理部１１２が顧客３０２を検出するまでの平均的な時間であってもよく、１秒〜数秒程度の時間であってもよい。所定距離は、カメラ３２１と顧客３０２との平均的な距離であってもよく、数十ｃｍ〜１ｍ程度の距離であってもよい。
【０１６４】
次に、精算処理部１１２は、探索した動線情報のレコードに含まれる顧客ＩＤを、買い物ＩＤとして取得する（ステップ４５０２）。このような買い物ＩＤ特定処理によれば、精算処理部１１２は、顧客３０２の顔の特徴ベクトルを抽出することなく、買い物ＩＤを取得することができる。
【０１６５】
図４４の買い物ＩＤ設定処理において、識別情報設定部２０３は、家族又はカップル等の顧客グループを表す買い物ＩＤを設定することも可能である。この場合、動線生成部３９０１は、例えば、特許文献４に記載された方法により、顧客グループに属する複数の顧客３０２の動線情報に含まれる位置に基づいて、それらの顧客３０２の動線情報のレコードをグループ化する。そして、動線生成部３９０１は、グループ化した複数のレコードそれぞれに、顧客グループを表す買い物ＩＤを付加する。
【０１６６】
顧客グループを表す買い物ＩＤとしては、顧客グループに属する複数の顧客３０２の顧客ＩＤのいずれか１つを用いてもよく、それらの顧客ＩＤとは異なるＩＤを用いてもよい。
【０１６７】
図４４のステップ４４０２において、識別情報設定部２０３は、探索した動線情報のレコードから買い物ＩＤを取得する。これにより、顧客グループを表す買い物ＩＤが候補情報のレコードに設定されるため、顧客グループに属する複数の顧客３０２がカート３０３に入れた商品を、単一の買い物ＩＤを用いて管理することができる。
【０１６８】
また、図４５のステップ４５０２において、精算処理部１１２は、探索した動線情報のレコードから買い物ＩＤを取得する。これにより、顧客グループを表す買い物ＩＤを含む候補情報のレコードから商品名が抽出され、精算対象の選択肢として表示される。したがって、顧客グループに属する複数の顧客３０２がカート３０３に入れた商品を、精算対象として表示することができる。
【０１６９】
図１、図２、図２３、及び図３９の精算支援システム１０１の構成は一例に過ぎず、精算支援システム１０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図２、図２３、及び図３９の精算支援システム１０１において、顧客３０２の画像が精算支援システム１０１の外部から入力される場合は、撮像装置２０１及び撮像装置２０６を省略することができる。候補生成処理が精算支援システム１０１の外部で行われる場合は、特徴量情報記憶部２０２、識別情報設定部２０３、特定部２０４、及び記憶部２０５を省略することができる。
【０１７０】
図２３の精算支援システム１０１において、カート３０３の識別情報が精算支援システム１０１の外部から入力される場合は、受信機２３０１及び受信機２３０２を省略することができる。図３９の精算支援システム１０１において、動線生成処理が精算支援システム１０１の外部で行われる場合は、動線生成部３９０１を省略することができる。
【０１７１】
図３、図４、図２４、図２９、図３２、図３３、及び図４０のセルフチェックアウトシステムの構成は一例に過ぎず、セルフチェックアウトシステムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３、図２４、及び図４０のセルフチェックアウトシステムにおいて、図２９及び図３２の構成と同様に、サーバ３１３の代わりに携帯端末２９０２を用いて候補情報を精算装置３１４へ転送してもよい。
【０１７２】
図２９及び図３２のセルフチェックアウトシステムにおいて、図３、図２４、及び図４０の構成と同様に、携帯端末２９０２の代わりにサーバ３１３を用いて候補情報を精算装置３１４へ転送してもよい。
【０１７３】
図２４、図２９、及び図３２のセルフチェックアウトシステムにおいて、図３の構成と同様に、受信機２３０１、受信機２３０２、及び送信機２４０１を省略し、顧客３０２の顔の特徴ベクトルを用いて買い物ＩＤ設定処理及び買い物ＩＤ特定処理を行ってもよい。
【０１７４】
図３のセルフチェックアウトシステムにおいて、図２４、図２９、及び図３２の構成と同様に、受信機２３０１、受信機２３０２、及び送信機２４０１を追加し、カート３０３の識別情報を用いて買い物ＩＤ設定処理及び買い物ＩＤ特定処理を行ってもよい。
【０１７５】
図３、図２４、図２９、及び図３２のセルフチェックアウトシステムにおいて、図４０の構成と同様に、監視カメラ４００１及び監視カメラ４００２を追加し、顧客３０２の動線を用いて買い物ＩＤ設定処理及び買い物ＩＤ特定処理を行ってもよい。
【０１７６】
図２４及び図４０のセルフチェックアウトシステムにおいて、図３の構成と同様に、顧客３０２の注視対象が商品からカート３０３に変化したか否かに基づいて精算対象特定処理を行ってもよい。図２９のセルフチェックアウトシステムにおいて、図３の構成と同様に、カメラ２９０１を省略し、顧客３０２の注視対象が商品からカート３０３に変化したか否かに基づいて精算対象特定処理を行ってもよい。図３２のセルフチェックアウトシステムにおいて、図３の構成と同様に、計測器３２０１を省略し、顧客３０２の注視対象が商品からカート３０３に変化したか否かに基づいて精算対象特定処理を行ってもよい。
【０１７７】
図２４、図２９、図３２、及び図４０のセルフチェックアウトシステムにおいて、図３の構成と同様に、注視対象が所定時間同じ商品であるか否かに基づいて精算対象特定処理を行ってもよい。
【０１７８】
図３のセルフチェックアウトシステムにおいて、図２４及び図４０の構成と同様に、顧客３０２の輻輳角が所定角度以上増加したか否かに基づいて精算対象特定処理を行ってもよい。図２９のセルフチェックアウトシステムにおいて、図２４及び図４０の構成と同様に、カメラ２９０１を省略し、顧客３０２の輻輳角が所定角度以上増加したか否かに基づいて精算対象特定処理を行ってもよい。図３２のセルフチェックアウトシステムにおいて、図３の構成と同様に、計測器３２０１を省略し、顧客３０２の輻輳角が所定角度以上増加したか否かに基づいて精算対象特定処理を行ってもよい。
【０１７９】
図３、図２４、及び図４０のセルフチェックアウトシステムにおいて、図３２の構成と同様に、計測器３２０１を追加し、カート３０３内の商品の総重量が増加したか否かに基づいて精算対象特定処理を行ってもよい。図２９のセルフチェックアウトシステムにおいて、図３２の構成と同様に、カメラ２９０１を省略し、計測器３２０１を追加して、カート３０３内の商品の総重量が増加したか否かに基づいて精算対象特定処理を行ってもよい。
【０１８０】
図３２のセルフチェックアウトシステムにおいて、図３、図２４、図２９、及び図４０の構成と同様に、候補情報のレコードを並べ替えた順序に従って商品名を表示する精算処理を行ってもよい。図３、図２４、図２９、及び図４０のセルフチェックアウトシステムにおいて、図３２の構成と同様に、計測台３２３上の商品の外観特徴と近似する商品の候補情報のレコードを抽出して商品名を表示する精算処理を行ってもよい。
【０１８１】
図５〜図１２、図２５、図３０、図３４、図３７、図４１、及び図４２の各種情報は一例に過ぎず、別の形式の各種情報を用いてもよい。図１３の精算画面は一例に過ぎず、別の形式の精算画面を用いてもよい。図３、図２４、図２９、図３２、及び図４０のｘｙｚ座標系は一例に過ぎず、別の３次元座標系を用いてもよい。
【０１８２】
図１４〜図２２、図２６〜図２８、図３１、図３５、図３６、図３８、及び図４３〜図４５のフローチャートは一例に過ぎず、セルフチェックアウトシステムの構成又は条件に応じて一部の処理を省略又は変更してもよい。
【０１８３】
例えば、図１７のステップ１７０３において、画像から顧客３０２の視線を検出する代わりに、画像から顧客３０２の顔の向きを検出し、検出した顔の向きから注視位置を検出してもよい。図２７のステップ２７０２、図３１のステップ３１０２、図３５のステップ３５０２、及び図３８のステップ３８０４の処理についても、ステップ１７０３と同様に変更することができる。
【０１８４】
図２２のステップ２２０５及びステップ２２１０と、図３６のステップ３６０７及びステップ３６１２の処理は、省略してもよい。図１１の商品情報２２２のレコードが、商品の単位重量当たりの価格の代わりに、商品１個当たりの価格を含んでいる場合、さらにステップ２２０４及びステップ３６０６の処理も省略することができる。
【０１８５】
図１、図２、図２３、及び図３９の精算支援システム１０１は、セルフチェックアウトシステムに限らず、店員がＰＯＳレジスタを操作して清算対象の商品を選択する精算システムにおいても適用可能である。
【０１８６】
図３、図２４、図２９、図３２、及び図４０の処理装置３１２及び精算装置３１４と、図３、図２４、及び図４０のサーバ３１３と、図２９及び図３２の携帯端末２９０２は、例えば、図４６に示すような情報処理装置（コンピュータ）を用いて実現可能である。
【０１８７】
図４６の情報処理装置は、Central Processing Unit（ＣＰＵ）４６０１、メモリ４６０２、入力装置４６０３、出力装置４６０４、補助記憶装置４６０５、媒体駆動装置４６０６、及びネットワーク接続装置４６０７を備える。これらの構成要素はバス４６０８により互いに接続されている。
【０１８８】
情報処理装置が処理装置３１２である場合、カメラ３１１、受信機２３０１、カメラ２９０１、及び通信装置２９０３は、バス４６０８に接続されていてもよい。情報処理装置が精算装置３１４である場合、カメラ３２１、受信機２３０２、及び通信装置２９０４は、バス４６０８に接続されていてもよい。情報処理装置がサーバ３１３である場合、監視カメラ４００１及び監視カメラ４００２は、通信ネットワークを介してネットワーク接続装置４６０７に接続されていてもよい。
【０１８９】
メモリ４６０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ４６０２は、候補情報記憶部１１１、特徴量情報記憶部２０２、記憶部２０５、記憶部２０７、又は動線情報記憶部３９０２として用いることができる。
【０１９０】
ＣＰＵ４６０１（プロセッサ）は、例えば、メモリ４６０２を利用してプログラムを実行することにより、精算処理部１１２、識別情報設定部２０３、特定部２０４、又は動線生成部３９０１として動作する。
【０１９１】
入力装置４６０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置４６０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザに対する問い合わせ又は処理結果の出力に用いられる。情報処理装置が精算装置３１４である場合、処理結果は精算画面であってもよい。
【０１９２】
補助記憶装置４６０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置４６０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置４６０５にプログラム及びデータを格納しておき、それらをメモリ４６０２にロードして使用することができる。補助記憶装置４６０５は、候補情報記憶部１１１、特徴量情報記憶部２０２、記憶部２０５、記憶部２０７、又は動線情報記憶部３９０２として用いることができる。
【０１９３】
媒体駆動装置４６０６は、可搬型記録媒体４６０９を駆動し、その記録内容にアクセスする。可搬型記録媒体４６０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体４６０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体４６０９にプログラム及びデータを格納しておき、それらをメモリ４６０２にロードして使用することができる。
【０１９４】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ４６０２、補助記憶装置４６０５、又は可搬型記録媒体４６０９のような、物理的な（非一時的な）記録媒体である。
【０１９５】
ネットワーク接続装置４６０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置４６０７を介して受信し、それらをメモリ４６０２にロードして使用することができる。
【０１９６】
情報処理装置が処理装置３１２又は精算装置３１４である場合、情報処理装置は、ネットワーク接続装置４６０７を介してサーバ３１３と通信することができる。情報処理装置がサーバ３１３である場合、情報処理装置は、ネットワーク接続装置４６０７を介して処理装置３１２、精算装置３１４、監視カメラ４００１、及び監視カメラ４００２と通信することができる。情報処理装置が携帯端末２９０２である場合、情報処理装置は、ネットワーク接続装置４６０７を介して通信装置２９０３及び通信装置２９０４と通信することができる。
【０１９７】
なお、情報処理装置が図４６のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置が処理装置３１２又はサーバ３１３である場合、入力装置４６０３及び出力装置４６０４を省略してもよい。可搬型記録媒体４６０９を利用しない場合は、媒体駆動装置４６０６を省略してもよい。
【０１９８】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【図１】
2017085771.tif 000003
【図２】
2017085771.tif 000004
【図３】
2017085771.tif 000005
【図４】
2017085771.tif 000006
【図５】
2017085771.tif 000007
【図６】
2017085771.tif 000008
【図７】
2017085771.tif 000009
【図８】
2017085771.tif 000010
【図９】
2017085771.tif 000011
【図１０】
2017085771.tif 000012
【図１１】
2017085771.tif 000013
【図１２】
2017085771.tif 000014
【図１３】
2017085771.tif 000015
【図１４】
2017085771.tif 000016
【図１５】
2017085771.tif 000017
【図１６】
2017085771.tif 000018
【図１７】
2017085771.tif 000019
【図１８】
2017085771.tif 000020
【図１９】
2017085771.tif 000021
【図２０】
2017085771.tif 000022
【図２１】
2017085771.tif 000023
【図２２】
2017085771.tif 000024
【図２３】
2017085771.tif 000025
【図２４】
2017085771.tif 000026
【図２５】
2017085771.tif 000027
【図２６】
2017085771.tif 000028
【図２７】
2017085771.tif 000029
【図２８】
2017085771.tif 000030
【図２９】
2017085771.tif 000031
【図３０】
2017085771.tif 000032
【図３１】
2017085771.tif 000033
【図３２】
2017085771.tif 000034
【図３３】
2017085771.tif 000035
【図３４】
2017085771.tif 000036
【図３５】
2017085771.tif 000037
【図３６】
2017085771.tif 000038
【図３７】
2017085771.tif 000039
【図３８】
2017085771.tif 000040
【図３９】
2017085771.tif 000041
【図４０】
2017085771.tif 000042
【図４１】
2017085771.tif 000043
【図４２】
2017085771.tif 000044
【図４３】
2017085771.tif 000045
【図４４】
2017085771.tif 000046
【図４５】
2017085771.tif 000047
【図４６】
2017085771.tif 000048
【手続補正書】
【提出日】平成30年5月9日(2018.5.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置と、
前記撮像装置によって撮影された画像から視線方向を検出し、記憶部に記憶した商品の位置情報を参照して、検出した該視線方向に対応する１又は複数の商品を特定する処理部と、
前記処理部が特定した前記１又は複数の商品を精算対象の商品候補として選択可能に表示する表示部と、
を備えることを特徴とする精算支援システム。
【請求項２】
店舗で販売されている商品のうち、前記店舗内の撮像装置によって撮影された画像から検出される顧客の注視位置に基づいて特定された商品と、前記顧客に対する精算のための識別情報とを対応付けて記憶する候補情報記憶部と、
前記顧客に対する精算の際に、前記識別情報に基づいて前記候補情報記憶部を参照し、前記特定された商品を抽出する精算処理部と、
前記精算処理部が抽出した商品の情報を、精算対象として選択可能な状態で表示する表示部と、
を備えることを特徴とする精算支援システム。
【請求項３】
前記店舗で販売されている商品と、前記店舗内における前記販売されている商品の位置とを対応付けて記憶する商品位置情報記憶部と、
前記画像から前記注視位置を検出し、前記注視位置と前記商品位置情報記憶部に記憶された情報とを比較した結果に基づいて、前記顧客が購入対象として選択した商品を特定する特定部と、
をさらに備え、
前記候補情報記憶部は、前記特定部が特定した商品と前記識別情報とを対応付けて記憶することを特徴とする請求項２記載の精算支援システム。
【請求項４】
前記注視位置は、第１時刻における前記顧客の注視位置であり、前記特定部は、前記第１時刻における前記注視位置と前記商品位置情報記憶部に記憶された情報とを比較した結果と、前記第１時刻から所定時間内の第２時刻における前記顧客の注視位置と前記顧客が購入対象として選択した商品を運搬する運搬器具の位置とを比較した結果とに基づいて、前記顧客が前記購入対象として選択した商品を特定することを特徴とする請求項３記載の精算支援システム。
【請求項５】
前記注視位置は、第１時刻における前記顧客の注視位置であり、前記特定部は、前記注視位置と前記商品位置情報記憶部に記憶された情報とを比較した結果と、前記第１時刻における前記顧客の両眼の第１輻輳角と前記第１時刻から所定時間内の第２時刻における前記両眼の第２輻輳角とを比較した結果とに基づいて、前記顧客が前記購入対象として選択した商品を特定することを特徴とする請求項３記載の精算支援システム。
【請求項６】
前記特定部は、前記注視位置と前記商品位置情報記憶部に記憶された情報とを比較した結果と、前記店舗内の映像から検出される前記顧客の手の動作とに基づいて、前記顧客が前記購入対象として選択した商品を特定することを特徴とする請求項３記載の精算支援システム。
【請求項７】
前記注視位置は、第１時刻における前記顧客の注視位置であり、前記特定部は、前記注視位置と前記商品位置情報記憶部に記憶された情報とを比較した結果と、前記第１時刻から所定時間内の第２時刻における、前記顧客が購入対象として選択した商品の重量変化とに基づいて、前記顧客が前記購入対象として選択した商品を特定することを特徴とする請求項３記載の精算支援システム。
【請求項８】
前記顧客が購入対象として選択した商品を運搬する運搬器具から受信した識別情報を、前記顧客に対する精算のための前記識別情報として設定する識別情報設定部をさらに備えることを特徴とする請求項３に記載の精算支援システム。
【請求項９】
前記店舗内の複数の撮像装置によって撮影された画像から抽出される複数の人間の特徴量と、前記複数の人間それぞれに対する精算のための複数の識別情報とを対応付ける特徴量情報を記憶する特徴量情報記憶部と、
前記特徴量情報によって前記顧客の特徴量に対応付けられた識別情報を、前記顧客に対する精算のための前記識別情報として、前記候補情報記憶部に記憶させる識別情報設定部と、
をさらに備えることを特徴とする請求項３乃至７のいずれか１項に記載の精算支援システム。
【請求項１０】
前記店舗内の映像から検出される複数の移動体の識別情報と動線とを対応付ける動線情報を記憶する動線情報記憶部と、
前記動線情報によって、前記撮像装置から所定距離以内に存在する動線に対応付けられた識別情報を、前記顧客に対する精算のための前記識別情報として、前記候補情報記憶部に記憶させる識別情報設定部と、
をさらに備えることを特徴とする請求項３乃至７のいずれか１項に記載の精算支援システム。
【請求項１１】
店舗で販売されている商品のうち、前記店舗内の撮像装置によって撮影された画像から検出される顧客の注視位置に基づいて特定された商品と、前記顧客に対する精算のための識別情報とを対応付けて記憶する候補情報記憶部から、前記顧客に対する精算の際に、前記識別情報に基づいて前記特定された商品を抽出し、
抽出した商品の情報を、精算対象として選択可能な状態で表示する、
処理をコンピュータに実行させる精算支援プログラム。
【請求項１２】
コンピュータが、
店舗で販売されている商品のうち、前記店舗内の撮像装置によって撮影された画像から検出される顧客の注視位置に基づいて特定された商品と、前記顧客に対する精算のための識別情報とを対応付けて記憶する候補情報記憶部から、前記顧客に対する精算の際に、前記識別情報に基づいて前記特定された商品を抽出し、
抽出した商品の情報を、精算対象として選択可能な状態で表示する、
ことを特徴とする精算支援方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
また、“重量”を用いる場合、精算処理部１１２は、商品の重量の降順にレコードを並べ替える。顧客３０２は、精算済みの商品を重いものから順に買い物袋に入れるため、重い商品から順にカート３０３から取り出して、計測台３２３上に置くことが多いと考えられる。そこで、画面上では、軽い商品よりも重い商品を優先的に選択できることが望ましい。商品の重量の降順にレコードを並べ替えることで、重い商品ほど画面上で先に表示される。これにより、顧客３０２が計測台３２３上に置いた可能性が高い商品の情報が、精算対象の選択肢として先に表示され、選択操作の負荷が軽減される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
“大きさ”を用いる場合、精算処理部１１２は、商品の大きさ（寸法又は体積）の降順にレコードを並べ替える。顧客３０２は、精算済みの商品を大きいものから順に買い物袋に入れるため、大きい商品から順にカート３０３から取り出して、計測台３２３上に置くことが多いと考えられる。そこで、画面上では、小さい商品よりも大きい商品を優先的に選択できることが望ましい。商品の大きさの降順にレコードを並べ替えることで、大きい商品ほど画面上で先に表示される。これにより、顧客３０２が計測台３２３上に置いた可能性が高い商品の情報が、精算対象の選択肢として先に表示され、選択操作の負荷が軽減される。
【国際調査報告】
2017085771.tif 000049
2017085771.tif 000050
2017085771.tif 000051
2017085771.tif 000052