(57)【特許請求の範囲】
【請求項１】
商品登録装置及び精算装置を有するシステムであって、
前記商品登録装置は、
顧客を含む第１顧客画像を生成する第１撮像手段と、
前記第１顧客画像に対して精算対象として登録された商品を示す精算情報を関連付けた関連付け情報を生成する生成手段と、を有し、
前記精算装置は、
顧客を含む第２顧客画像を生成する第２撮像手段と、
前記第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である候補画像を、顧客が閲覧できるディスプレイ装置に表示する第１表示制御手段と、
前記第２顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第１類似度を算出する第１算出手段と、
前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像と関連付けられている前記精算情報を取得する取得手段と、を有し、
前記第１表示制御手段は、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合に、前記候補画像を表示し、
前記生成手段は、前記第１顧客画像の撮像時点をさらに示す前記関連付け情報を生成し、
前記第１算出手段は、撮像時点と現在時刻との差が所定時間以内である前記第１顧客画像について類似度を算出する、システム。
【請求項２】
前記精算装置は、前記候補画像に対する選択操作を受け付ける入力受付手段を有し、
前記取得手段は、選択された前記候補画像と関連付けられている前記精算情報を取得する、請求項１に記載のシステム。
【請求項３】
前記精算装置は、前記候補画像が選択されなかった場合、前記第２顧客画像に写っている顧客と同じ顧客が写っている前記第１顧客画像がないと判定する判定手段を有する請求項２に記載のシステム。
【請求項４】
前記第１算出手段は、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合、第１類似度を算出する方法とは異なる方法を用いて、前記第２顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第２類似度を算出し、
前記第１表示制御手段は、前記第２顧客画像に写っている顧客との第２類似度が前記第１閾値以上である顧客が写っている第１顧客画像を、前記候補画像として表示する、請求項１乃至３いずれか一項に記載のシステム。
【請求項５】
前記第１表示制御手段は、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合、前記第２顧客画像に写っている顧客との第１類似度が、前記第１閾値より小さい第２閾値以上である顧客が写っている第１顧客画像を、前記候補画像として表示する、請求項１乃至３いずれか一項に記載のシステム。
【請求項６】
当該システムは、複数の前記商品登録装置及び複数の前記精算装置を有し、
前記第１表示制御手段は、その第１表示制御手段を有する精算装置と関連付けられている前記商品登録装置によって生成された前記第１顧客画像を、前記候補画像として表示する、請求項１乃至３いずれか一項に記載のシステム。
【請求項７】
商品登録装置及び精算装置を有するシステムであって、
前記商品登録装置は、
顧客を含む第１顧客画像を生成する第１撮像手段と、
前記第１顧客画像に対して精算対象として登録された商品を示す精算情報を関連付けた関連付け情報を生成する生成手段と、を有し、
前記精算装置は、
顧客を含む第２顧客画像を生成する第２撮像手段と、
前記第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である候補画像を、顧客が閲覧できるディスプレイ装置に表示する第１表示制御手段と、
前記第２顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第１類似度を算出する第１算出手段と、
前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像と関連付けられている前記精算情報を取得する取得手段と、を有し、
前記第１表示制御手段は、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合に、前記候補画像を表示し、
前記生成手段は、前記関連付け情報において、その関連付け情報によって示される前記精算情報を用いた精算が完了したか否かを示す完了フラグをさらに関連付け、
前記システムは、
前記精算装置が設置されているエリアの出口にいる顧客を含む第３顧客画像を生成する第３撮像手段と、
前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像に関連付けられている前記完了フラグが、前記精算情報を用いた精算が完了していないことを示している場合、警告処理を行う警告手段と、を有する警告装置を有し、
前記警告装置は、前記第３顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第３類似度を算出する第２算出手段を有し、
前記警告手段は、前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像を、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像とし、
前記警告装置は、
前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がない場合に、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である第２候補画像を前記出口に設けられているディスプレイ装置に表示する第２表示制御手段と、
前記第２候補画像を選択する入力を受け付ける第２入力受付手段と、を有し、
前記警告手段は、前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がない場合、前記第２入力受付手段を介して選択された第２候補画像を、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像とする、システム。
【請求項８】
前記第２算出手段は、前記第３類似度が前記第３閾値以上である顧客が写っている第１顧客画像がない場合、前記第３類似度を算出する方法とは異なる方法を用いて、前記第３顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第４類似度を算出し、
前記第２表示制御手段は、前記第４類似度が前記第３閾値以上である顧客が写っている第１顧客画像を、第２候補画像として表示する、請求項７に記載のシステム。
【請求項９】
前記第２表示制御手段は、前記第３類似度が前記第３閾値より小さい第４閾値以上である顧客が写っている第１顧客画像を前記第２候補画像として表示する、請求項７に記載のシステム。
【請求項１０】
商品登録装置及び精算装置を有するシステムにおいて実行される方法であって、
前記商品登録装置が、顧客を含む第１顧客画像を生成する第１撮像ステップと、
前記商品登録装置が、前記第１顧客画像に対して精算対象として登録された商品を示す精算情報を関連付けた関連付け情報を生成する生成ステップと、
前記精算装置が、顧客を含む第２顧客画像を生成する第２撮像ステップと、
前記精算装置が、前記第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である候補画像を、顧客が閲覧できるディスプレイ装置に表示する第１表示制御ステップと、
前記精算装置が、前記第２顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第１類似度を算出する第１算出ステップと、
前記精算装置が、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像と関連付けられている前記精算情報を取得する取得ステップと、を有し、
前記第１表示制御ステップにおいて、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合に、前記候補画像を表示し、
前記生成ステップにおいて、前記第１顧客画像の撮像時点をさらに示す前記関連付け情報を生成し、
前記第１算出ステップにおいて、撮像時点と現在時刻との差が所定時間以内である前記第１顧客画像について類似度を算出する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、精算システム、精算装置、プログラム、及び精算方法に関する。
【背景技術】
【０００２】
スーパーマーケット等の店舗におけるレジ端末では、（１）精算対象の商品を登録する処理（バーコードの読み取りなど）及び（２）登録された商品の精算を行う処理（代金の受け取りやおつりの返却など）という２つの処理が行われる。
【０００３】
そして、このようなレジ端末の機能を２つの装置に分離し、（１）の処理と（２）の処理とを異なる装置で行うという運用方法がある。例えば特許文献１は、（１）の処理に用いられる登録装置と、（２）の処理に用いられる会計装置とが分離して設けられているセルフ POS システムを開示している。店員は、登録装置を用いて商品の登録を行う。登録装置は、撮像部で顧客を撮像する。登録装置を操作する店員は、撮像部によって撮像された顧客の画像の中から、会計データ（登録された商品に関するデータ）に関連付ける顧客の画像を選択する。その結果、登録装置は、顧客の画像と会計データとを関連付ける。その後、顧客は、会計装置を利用して会計を行う。会計装置は、顧客を撮像し、生成された顧客の画像と一致性の高い顧客の画像に関連付けられている会計データを取得する。そして、顧客は、会計装置を用いて、この会計データに基づく会計を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２４８１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
登録装置で生成される画像に写っている顧客と会計装置で生成される画像に写っている同じ顧客との一致性が低くなることがある。例えば顧客が、登録装置を利用した時に身につけていたマスクや帽子などを、会計装置を利用する前に外した場合、登録装置で生成される画像に写っている顧客と、会計装置で生成される画像に写っているその顧客との一致性が小さくなってしまう。
【０００６】
特許文献１は、このように登録装置で生成される画像に写っている顧客と会計装置で生成される画像に写っている同じ顧客との一致性が小さくなってしまう場合について言及していない。
【０００７】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、顧客が確実に商品の精算を行えるようにする技術を提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１及び第２のシステムは、商品登録装置及び精算装置を有する。
前記商品登録装置は、顧客を含む第１顧客画像を生成する第１撮像手段と、前記第１顧客画像に対して精算対象として登録された商品を示す精算情報を関連付けた関連付け情報を生成する生成手段と、を有する。
前記精算装置は、顧客を含む第２顧客画像を生成する第２撮像手段と、前記第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である候補画像を、顧客が閲覧できるディスプレイ装置に表示する第１表示制御手段と、前記第２顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第１類似度を算出する第１算出手段と、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像と関連付けられている前記精算情報を取得する取得手段と、を有する。
前記第１表示制御手段は、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合に、前記候補画像を表示する。
第１のシステムにおいて、前記生成手段は、前記第１顧客画像の撮像時点をさらに示す前記関連付け情報を生成する。前記第１算出手段は、撮像時点と現在時刻との差が所定時間以内である前記第１顧客画像について類似度を算出する。
第２のシステムにおいて、前記生成手段は、前記関連付け情報において、その関連付け情報によって示される前記精算情報を用いた精算が完了したか否かを示す完了フラグをさらに関連付ける。第２のシステムは、前記精算装置が設置されているエリアの出口にいる顧客を含む第３顧客画像を生成する第３撮像手段と、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像に関連付けられている前記完了フラグが、前記精算情報を用いた精算が完了していないことを示している場合、警告処理を行う警告手段と、を有する警告装置を有する。
また、第２のシステムにおいて、前記警告装置は、前記第３顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第３類似度を算出する第２算出手段を有する。前記警告手段は、前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像を、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像とする。前記警告装置は、前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がない場合に、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である第２候補画像を前記出口に設けられているディスプレイ装置に表示する第２表示制御手段と、前記第２候補画像を選択する入力を受け付ける第２入力受付手段と、を有する。前記警告手段は、前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がない場合、前記第２入力受付手段を介して選択された第２候補画像を、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像とする。
【０００９】
本発明の精算装置は、本発明の精算システムが有する精算装置である。
【００１０】
本発明のプログラムは、コンピュータを本発明の精算装置として動作させるプログラムである。
【００１１】
本発明の精算方法は、商品登録装置及び精算装置を有するシステムにおいて実行される精算方法である。当該精算方法は、前記商品登録装置が、顧客を含む第１顧客画像を生成する第１撮像ステップと、前記商品登録装置が、前記第１顧客画像に対して精算対象として登録された商品を示す精算情報を関連付けた関連付け情報を生成する生成ステップと、前記精算装置が、顧客を含む第２顧客画像を生成する第２撮像ステップと、前記第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である候補画像を、顧客が閲覧できるディスプレイ装置に表示する第１表示制御ステップと、前記精算装置が、前記第２顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第１類似度を算出する第１算出ステップと、前記精算装置が、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像と関連付けられている前記精算情報を取得する取得ステップと、を有する。
前記第１表示制御ステップにおいて、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合に、前記候補画像を表示する。
前記生成ステップにおいて、前記第１顧客画像の撮像時点をさらに示す前記関連付け情報を生成する。前記第１算出ステップにおいて、撮像時点と現在時刻との差が所定時間以内である前記第１顧客画像について類似度を算出する。
【発明の効果】
【００１２】
本発明によれば、顧客が確実に商品の精算を行えるようにする技術が提供される。
【図面の簡単な説明】
【００１３】
【図１】精算システムが有する商品登録装置と精算装置の配置を例示する図である。
【図２】実施形態１に係る精算システムを例示するブロック図である。
【図３】実施形態１の商品登録装置によって実行される処理を例示するフローチャートである。
【図４】実施形態１の精算装置によって実行される処理の流れを例示するフローチャートである。
【図５】実施形態１の商品登録装置を実現する計算機のハードウエア構成を例示する図である。
【図６】実施形態１の精算装置を実現する計算機のハードウエア構成を例示する図である。
【図７】精算情報をテーブル形式で例示する図である。
【図８】関連付け情報の構成をテーブル形式で例示する図である。
【図９】ディスプレイ装置における表示を例示する図である。
【図１０】判定部を有する精算装置を例示するブロック図である。
【図１１】実施形態２の精算システムを例示するブロック図である。
【図１２】実施形態２における関連付け情報を例示する図である。
【図１３】実施形態２の警告装置によって実行される処理の流れを例示するフローチャートである。
【図１４】実施形態２の精算システムの運用環境を例示する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１５】
［実施形態１］
図１は、精算システム２０００が有する商品登録装置３０００と精算装置４０００の配置を例示する図である。精算システム２０００は、商品登録装置３０００及び精算装置４０００を有する。図１に示すように、商品登録装置３０００と精算装置４０００は、独立した装置として設けられている。精算システム２０００を利用する店舗では、商品登録装置３０００及び精算装置４０００を用いて商品の精算が行われる。ここで、商品登録装置３０００及び精算装置４０００の設置数はそれぞれ１以上である。
【００１６】
商品登録装置３０００は、商品を精算対象として登録する処理に用いられる。商品を購入したい顧客は、その商品を持って商品登録装置３０００のところへ行く。商品登録装置３０００を操作する店員は、顧客から商品を受け取り、その商品を精算対象として登録する。ここで、商品を精算対象として登録する方法には既知の様々な技術を利用できる。例えば店員は、各商品に付されているバーコード等を、商品登録装置３０００が有するリーダに読み取らせる。商品の登録に伴い、商品登録装置３０００は精算情報を生成する。精算情報は、精算対象として登録された商品の精算処理に関する情報である。
【００１７】
精算装置４０００は、精算対象として登録された商品の精算（代金の受け取りなど）に用いられる。商品の登録が終わった後、顧客は、任意の精算装置４０００のところへ移動する。精算装置４０００は、その顧客が購入する商品に関する精算情報を取得し、その精算情報に基づいて精算処理を行う。具体的には、精算装置４０００は、顧客に対する代金の提示、顧客によって投入された代金の数え上げ、顧客に対するおつりの払い戻し、レシートの発行などを行う。
【００１８】
＜商品登録装置３０００及び精算装置４０００の構成＞
図２は、実施形態１に係る精算システム２０００を例示するブロック図である。図２において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【００１９】
商品登録装置３０００は、第１撮像部３０２０及び生成部３０４０を有する。第１撮像部３０２０は、顧客を含む画像を生成する。以下、第１撮像部３０２０によって生成される画像を第１顧客画像と表記する。生成部３０４０は関連付け情報を生成する。関連付け情報は、第１顧客画像と精算情報を関連付けた情報である。
【００２０】
精算装置４０００は、第２撮像部４０２０、第１算出部４０４０、取得部４０６０、第１表示制御部４０８０、及び第１入力受付部４１００を有する。第２撮像部４０２０は、顧客を含む画像を生成する。以下、第２撮像部４０２０によって生成される画像を、第２顧客画像と表記する。
【００２１】
第１算出部４０４０は、第１撮像部３０２０によって撮像された各画像（第１顧客画像）に写っている顧客と、第２撮像部４０２０によって撮像された画像（第２顧客画像）に写っている顧客との類似度を算出する。以下、この類似度を第１類似度と表記する。
【００２２】
取得部４０６０は、第１顧客画像の中にマッチング条件を満たすものがあるか否かを判定する。マッチング条件は、「その第１顧客画像に写っている顧客と第２顧客画像に写っている顧客との第１類似度が、第１閾値以上である」という条件である。そして、取得部４０６０は、マッチング条件を満たす第１顧客画像がある場合、その第１顧客画像と関連付けられている精算情報を取得する。前述したように、精算情報と第１顧客画像は、関連付け情報によって関連付けられている。
【００２３】
第１表示制御部４０８０は、マッチング条件を満たす第１顧客画像がない場合、候補画像をディスプレイ装置２０に表示する。候補画像は、第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である。ここで、第１表示制御部４０８０が候補画像の表示先とするディスプレイ装置２０は、精算装置４０００を利用する顧客によって閲覧できるディスプレイ装置である。
【００２４】
第１入力受付部４１００は、候補画像を選択する入力を受け付ける。第１入力受付部４１００が候補画像の選択を受け付けた場合、取得部４０６０は、関連付け情報において選択された候補画像（第１顧客画像）と関連付けられている精算情報を取得する。
【００２５】
＜作用・効果＞
第１顧客画像に写っている顧客と第２顧客画像に写っている同じ顧客との類似度が低くなることがある。このような状況は、例えば、商品登録装置３０００を利用する時と精算装置４０００を利用する時で、顧客が身につけているものが変わる場合などに起こる。具体的には、顧客が、商品登録装置３０００を利用した時に装着していたマスクを、精算装置４０００を利用する前に外すケースなどが考えられる。
【００２６】
そこで本実施形態の精算装置４０００は、その精算装置４０００を利用する顧客との類似度が高い（第１類似度が第１閾値以上である）顧客が写っている第１顧客画像がない場合、その精算装置４０００を利用する顧客と同じ顧客が写っている第１顧客画像の候補を表示し、顧客にその候補を選択させる。よって、第１顧客画像に写っている顧客と第２顧客画像に写っている同じ顧客との類似度が低くなってしまう場合であっても、精算装置４０００は、顧客によって選択された第１顧客画像に関連付けられている精算情報を取得することで精算処理を行うことができる。よって、本実施形態の精算システム２０００によれば、顧客は確実に商品の精算を行うことができる。
【００２７】
以下、本実施形態についてさらに詳細を述べる。
【００２８】
＜処理の流れ＞
図３は、実施形態１の商品登録装置３０００によって実行される処理を例示するフローチャートである。第１撮像部３０２０は第１顧客画像を生成する（Ｓ１０２）。生成部３０４０は、第１顧客画像と精算情報とを関連付けて関連付け情報を生成する（Ｓ１０４）。
【００２９】
図４は、実施形態１の精算装置４０００によって実行される処理の流れを例示するフローチャートである。第２撮像部４０２０は第２顧客画像を生成する（Ｓ２０２）。第１算出部４０４０は、各第１顧客画像に写っている顧客について、第２顧客画像に写っている顧客との第１類似度を算出する（Ｓ２０４）。取得部４０６０は、第１類似度が第１閾値以上である第１顧客画像があるか否かを判定する（Ｓ２０６）。第１類似度が第１閾値以上である第１顧客画像がある場合（Ｓ２０６：ＹＥＳ）、図４の処理はＳ２０８に進む。一方、第１類似度が第１閾値以上である第１顧客画像がない場合（Ｓ２０６：ＮＯ）、図４の処理はＳ２１０に進む。
【００３０】
Ｓ２０８において、取得部４０６０は、第１類似度が第１閾値以上である第１顧客画像と関連付けられている精算情報を取得する。
【００３１】
Ｓ２１０において、第１表示制御部４０８０は、第１類似度が第１閾値以上である第１顧客画像がない場合、候補画像をディスプレイ装置に表示する。第１入力受付部４１００は、候補画像の選択を受け付ける（Ｓ２１２）。取得部４０６０は、選択された候補画像と関連付けられている精算情報を取得する（Ｓ２１４）。
【００３２】
＜商品登録装置３０００を実現するハードウエアの例＞
商品登録装置３０００や精算装置４０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。
【００３３】
図５は、実施形態１の商品登録装置３０００を実現する計算機１０００のハードウエア構成を例示する図である。この計算機１０００は、レジ端末等の専用装置を用いて実装されてもよいし、PC（Personal Computer）や携帯端末などの汎用装置を用いて実装されてもよい。
【００３４】
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM 等のメモリであってもよい。
【００３５】
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。入出力デバイスは、例えばキーボードやマウスなどである。
【００３６】
ネットワークインタフェース１１２０は、計算機１０００を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース１１２０は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば商品登録装置３０００を実現する計算機１０００は、ネットワークを介して、精算装置４０００を実現する計算機６０００と接続されている。
【００３７】
ストレージ１０８０は、第１撮像部３０２０及び生成部３０４０の機能をそれぞれ実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、対応する各機能構成部の機能を実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。
【００３８】
計算機１０００のハードウエア構成は図５に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。
【００３９】
入出力インタフェース１１００に接続される入出力デバイスは、登録する商品を認識するリーダ４０を含む。リーダ４０の具体的な実装方法は、商品を認識する方法によって異なる。例えばリーダ４０は、商品に付されている商品情報シンボルを読み取る。商品情報シンボルは、商品に付されているシンボルであり、商品を特定する情報（商品情報のＩＤ（Identifier）など）を表すシンボルである。シンボルは、バーコード、２次元コード（ＱＲコード（登録商標）など）、又は文字列シンボルなどである。なお、ここでいう文字列には、数値列も含まれる。商品情報シンボルは、商品情報を特定する情報が符号化されたバーコード等、又は商品情報を特定する情報を表す文字列シンボルなどである。
【００４０】
例えば商品情報シンボルがバーコードである場合、リーダ４０はバーコードリーダをある。また例えば、商品情報シンボルが２次元コードである場合、リーダ４０は、２次元コードリーダである。また例えば、商品情報シンボルが文字列シンボルである場合、リーダ４０は、この文字列を撮像する撮像素子と、撮像された文字列シンボルを解析して商品のＩＤなどを割り出す処理部とを有する。なお、文字列シンボルの解析には、文字列解析に関する様々な既知の技術を用いることができる。これら既知の技術に関する説明は省略する。
【００４１】
なお、商品情報シンボルとして複数の種類のシンボルが用いられる場合、入出力インタフェース１１００には、複数種類のリーダが接続される。例えば、商品情報シンボルとしてバーコード及び２次元コードが用いられる場合、この入出力インタフェース１１００には、バーコードリーダ及び２次元コードリーダが接続される。
【００４２】
また、リーダ４０は、商品を撮像して画像を生成し、その画像に写っている商品に対してオブジェクト認識を行うことで、その商品を認識してもよい。
【００４３】
＜＜第１撮像部３０２０のハードウエア構成＞＞
第１撮像部３０２０は、撮像した結果を記録する撮像素子を有する。例えば第１撮像部３０２０は、この撮像素子を有するカメラを用いて構成される。第１撮像部３０２０は、静止画像を撮像してもよいし、動画を撮像してもよい。後者の場合、第１顧客画像は動画を構成する各フレームである。
【００４４】
第１撮像部３０２０は、商品登録装置３０００を利用する顧客を撮像できる位置に設置される。第１撮像部３０２０は、商品登録装置３０００と一体に設けられていてもよいし、別体に設けられていてもよい。後者の場合、例えば図５に示すように、入出力インタフェース１１００に対して、第１撮像部３０２０を実現するカメラ３０が接続される。
【００４５】
＜精算装置４０００を実現するハードウエアの例＞
図６は、実施形態１の精算装置４０００を実現する計算機６０００のハードウエア構成を例示する図である。この計算機６０００は、レジ端末等の専用装置を用いて実装されてもよいし、PC（Personal Computer）や携帯端末などの汎用装置を用いて実装されてもよい。なお、計算機６０００の構成は、計算機１０００の構成と同様である。
【００４６】
ストレージ６０８０は、第２撮像部４０２０、第１算出部４０４０、及び取得部４０６０の機能をそれぞれ実現するためのプログラムモジュールを記憶している。プロセッサ６０４０は、これら各プログラムモジュールを実行することで、対応する各機能構成部の機能を実現する。ここでプロセッサ６０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ６０６０上に読み出してから実行してもよいし、メモリ６０６０上に読み出さずに実行してもよい。
【００４７】
計算機６０００のハードウエア構成は図６に示した構成に限定されない。例えば、各プログラムモジュールはメモリ６０６０に格納されてもよい。この場合、計算機６０００は、ストレージ６０８０を備えていなくてもよい。
【００４８】
入出力インタフェース６１００に対して接続される入出力デバイスは、第１表示制御部４０８０によって制御されるディスプレイ装置２０を含む。ディスプレイ装置２０は、精算装置４０００を利用する顧客が閲覧できるように、顧客の方に向けて設置される。このディスプレイ装置は、精算装置４０００と一体に設けられていてもよいし、別体に設けられていてもよい。
【００４９】
また、入出力インタフェース６１００に対して接続される入出力デバイスは、第１入力受付部４１００の機能を実現するための入力デバイスを含む。例えばこの入力デバイスは、ディスプレイ装置２０に内蔵されるタッチパネル２２である。また例えば、この入力デバイスは、キーボードやマウスなどであってもよい。
【００５０】
さらに、入出力インタフェース６１００に対して接続される入出力デバイスは、顧客が代金を投入するためのデバイス、おつりを返金するためのデバイス、及びレシートを発行するためのデバイスなどを含む（図示せず）。
【００５１】
＜商品登録装置３０００による商品の登録処理＞
前述したように商品登録装置３０００は、精算対象として登録される商品に関する精算情報を生成する。商品登録装置３０００は、生成した精算情報を、商品登録装置３０００の内部又は外部の記憶部に記憶する。
【００５２】
１つの精算処理における精算対象には、複数の商品が含まれうる。例えば商品登録装置３０００は、精算対象の登録処理の開始を指示する操作を受け付けた後、精算対象の登録処理の終了を指示する操作を受け付けるまでの間に登録された１つ又は複数の商品を、１つの精算処理における精算対象として登録する。ある精算処理に関する精算情報は、その精算処理の対象として登録された各商品のＩＤなどを示す。また精算情報は、取引番号、各商品の金額、及び合計金額などをさらに示してもよい。
【００５３】
図７は、精算情報をテーブル形式で例示する図である。図７に示す精算情報を、精算情報２００と表記する。精算情報２００は、精算情報ＩＤ２０２及び商品リスト２０４という２つの列を有する。商品リスト２０４は、精算対象として登録された商品ＩＤのリストである。商品ＩＤ２０６は、精算対象として登録された商品のＩＤである。
【００５４】
なお、リーダ等で認識した商品について精算情報を生成する具体的な方法には様々な既知の技術を利用できるため、この方法に関する説明は省略する。
【００５５】
＜第１撮像部３０２０が行う処理の詳細＞
第１撮像部３０２０は第１顧客画像を生成する（Ｓ１０２）。第１撮像部３０２０が撮像を行うタイミングは様々である。例えば第１撮像部３０２０は、商品登録装置３０００が稼働している間、常に繰り返し撮像を行う。第１撮像部３０２０が繰り返し撮像を行う頻度は、例えば一般的な動画のフレームレートと同じ 1/30 秒である。
【００５６】
また例えば第１撮像部３０２０は、顧客が商品登録装置３０００の付近にいることを検出し、その検出に応じて撮像を行ってもよい。例えば第１撮像部３０２０の付近に、人の検出を行う赤外線センサなどを設ける。第１撮像部３０２０は、この赤外線センサからの通知を受けることで、第１撮像部３０２０の付近に顧客がいることを把握することができる。そこで例えば、第１撮像部３０２０は、この赤外線センサによって第１撮像部３０２０の付近に顧客がいることが検出された時に顧客の撮像を行い、第１顧客画像を生成する。
【００５７】
なお、第１撮像部３０２０は、上記検出が行われた時から所定の期間、顧客を繰り返し撮像してもよい。例えば第１撮像部３０２０は、上記検出が行われた時から所定時間、顧客を繰り返し撮像する。また例えば、第１撮像部３０２０は、上記検出が行われた時から、その顧客が購入する商品の登録が終わるまで（精算情報が生成されるまで）の間、顧客を繰り返し撮像してもよい。
【００５８】
上述の「所定時間」は、予め第１撮像部３０２０に設定されていてもよいし、商品登録装置３０００の内部又は外部に設けられた記憶部に記憶されてもよい。後者の場合、第１撮像部３０２０は、この記憶部から上記所定時間を取得して利用する。なお、特に説明しない限り、以前に説明した又は以降で説明する各機能構成部が利用する各種所定の値（所定の閾値や所定の時間など）も同様に、その機能構成部に設定されるか、又は記憶部から取得して利用される。
【００５９】
また、第１撮像部３０２０は、商品登録装置３０００を操作する店員によって操作されてもよい。例えば店員は、顧客に声をかけるなどの方法で、第１撮像部３０２０の撮像範囲に顧客の顔が入るように顧客を誘導する。そして、店員は、第１撮像部３０２０の撮像範囲に顧客の顔が入っていることを確認して、第１撮像部３０２０に、顧客画像の撮像を行わせる。
【００６０】
また、上記誘導は、第１撮像部３０２０によって行われてもよい。例えば商品登録装置３０００に、第１撮像部３０２０の撮像素子に写っている画像を表示するディスプレイ装置を設ける。このディスプレイ装置は、顧客が閲覧できるように、顧客の方を向けて設置される。第１撮像部３０２０は、このディスプレイ装置に文字で案内を表示したり、音声で案内を行ったりすることで顧客を誘導し、顧客の顔が第１撮像部３０２０によって撮像されるようにする。
【００６１】
第１撮像部３０２０が顧客を複数回撮像した場合、顧客が写った画像が複数生成される。そこで、第１撮像部３０２０は、これら複数の画像のうち、いずれか１つ以上を第１顧客画像として扱う。どの画像を第１顧客画像として扱うかを決定する方法は様々である。例えば第１撮像部３０２０は、顧客の写りがよい画像を第１顧客画像とする。「顧客の写りがよい画像」は、顧客が大きく写っている画像や、ブレが小さい画像である。ここで、画像に写っているオブジェクト（顧客）の大きさを算出したり、ブレの大きさを算出したりする方法には、既知の技術を利用できる。そのため、これらの方法に関する説明は省略する。
【００６２】
なお、第１撮像部３０２０は、顧客の写りが最もよい１つの画像を第１顧客画像としてもよいし、顧客の写りが所定の基準以上である複数の画像を第１顧客画像としてもよい。
【００６３】
また、第１撮像部３０２０は、生成した全ての画像を第１顧客画像としてもよい。
【００６４】
＜生成部３０４０が行う処理の詳細＞
生成部３０４０は関連付け情報を生成する（Ｓ１０４）。図８は、関連付け情報の構成をテーブル形式で例示する図である。図８に示す関連付け情報を、関連付け情報３００と表記する。関連付け情報３００は、第１顧客画像３０２及び精算情報ＩＤ３０４という２つの列を有する。第１顧客画像３０２は、第１顧客画像が記録された画像ファイルを示す。精算情報ＩＤ３０４は、精算情報のＩＤを示す。なお、同じ顧客に対して複数の第１顧客画像が生成された場合、１つの精算情報ＩＤ３０４に対して異なる複数の第１顧客画像３０２が関連付けられる。
【００６５】
生成部３０４０は、第１顧客画像に対して、その顧客画像に写っている顧客が購入した商品に関する精算情報を関連付ける。具体的には、生成部３０４０は、商品の登録処理を始めた時からその登録処理を終えるまでの間に生成された第１顧客画像に対して、その登録処理によって生成された精算情報を関連付ける。
【００６６】
ここで、生成部３０４０は、精算情報に第１顧客画像を関連付ける際、その関連付けが正しいか否かを店員に確認してもよい。具体的には、生成部３０４０は、商品登録装置３０００を操作する店員が閲覧するディスプレイ装置上に、精算情報に関連付けようとしている第１顧客画像を提示する。店員は、提示された第１顧客画像が、現在商品登録装置３０００を利用している顧客を撮像したものであるか否かを確認する。そして、店員は、提示された第１顧客画像が正しければ、タッチパネルやキーボードなどを用いて、第１顧客画像が正しい旨の入力を行う。その入力の結果を受け、生成部３０４０は、関連付け情報を生成する。
【００６７】
一方、店員は、提示された第１顧客画像が正しくなければ、正しい顧客画像を精算情報に関連付けるための処理を行う。例えば店員は、第１撮像部３０２０を操作することで顧客を撮像して、再度第１顧客画像を生成する。そして、生成部３０４０は、この操作で生成された第１顧客画像と精算情報を関連付けて、関連付け情報を生成する。
【００６８】
生成部３０４０は、関連付け情報を、各精算装置４０００からアクセス可能な記憶部に記憶する。この記憶部は、商品登録装置３０００の内部にあってもよいし、外部にあってもよい。商品登録装置３０００の外部にある記憶部は、例えば商品登録装置３０００及び精算装置４０００からアクセス可能なデータベースサーバなどである。
【００６９】
＜精算装置４０００による精算処理について＞
精算装置４０００は精算情報を取得し、その精算情報に基づいて精算処理を行う。精算装置４０００が商品の精算処理に用いる情報（精算情報）に基づいて精算処理を行う方法には、既知の手法が利用できる。この既知の手法についての詳細は省略する。
【００７０】
＜第２撮像部４０２０が行う処理の詳細＞
第２撮像部４０２０は、第２顧客画像を生成する（Ｓ２０２）。第２撮像部４０２０が第２顧客画像を生成する処理は、第１撮像部３０２０が第１顧客画像を生成する処理と同様である。
【００７１】
＜第１算出部４０４０が行う処理の詳細＞
第１算出部４０４０は、第１撮像部３０２０によって撮像された第１顧客画像に写っている顧客と、第２撮像部４０２０によって撮像された第２顧客画像に写っている顧客とについて、第１類似度を算出する（Ｓ２０４）。第１算出部４０４０が類似度の算出対象とする第１顧客画像は、いずれかの関連付け情報において精算情報と関連付けられている第１顧客画像である。以下、この類似度の算出を、「第１顧客画像と第２顧客画像のマッチング」とも表記する。
【００７２】
第１算出部４０４０が第１類似度を算出する方法は様々である。例えば第１算出部４０４０は、第１顧客画像と第２顧客画像それぞれについて、写っている顧客の特徴量を算出する。そして第１算出部４０４０は、これら顧客の特徴量の類似度を、第１類似度として算出する。ここで、画像からオブジェクトの特徴量を抽出する方法、及び特徴量の類似度を算出する方法には、オブジェクトのマッチングに用いられる様々な既知の手法を利用できる。また、第１類似度を算出する方法は、特徴量を用いる方法に限定されない。第１類似度の算出には、画像に写っているオブジェクトの類似度を算出する既知の様々な方法が利用できる。
【００７３】
＜＜第１類似度の算出対象の決定方法＞＞
第１算出部４０４０は、精算情報と関連付けられている全ての第１顧客画像について第１類似度を算出してもよいし、一部の第１顧客画像のみについて第１類似度を算出してもよい。後者の場合に、第１類似度の算出の対象とする第１顧客画像を決定する方法は様々である。以下、その方法について説明する。
【００７４】
例えば第１算出部４０４０は、第１顧客画像と第２顧客画像それぞれの撮像時点を用いて、第１類似度の算出対象とする第１顧客画像を決定する。通常、商品登録装置３０００で精算対象の登録が行われてから精算装置４０００で精算処理が行われるまでの時間は短い。例えばこの時間は５分以内などである。そこで第１算出部４０４０は、第１類似度の算出対象の第２顧客画像が生成された時点から所定時間前までの間に撮像された第１顧客画像のみを、第１類似度の算出対象とする。例えばこの所定時間は５分である。
【００７５】
また例えば、第１算出部４０４０は、商品登録装置３０００と精算装置４０００の配置に基づいて、第１類似度の算出対象とする第１顧客画像を決定してもよい。例えば図１に示したように、精算システム２０００が導入される店舗では、商品登録装置３０００及び精算装置４０００が複数設置されている。顧客は、商品登録装置３０００において商品の登録が終わったら、利用する精算装置４０００を適宜選択する。このような精算システム２０００の運用環境において、顧客は、利用した商品登録装置３０００に近い精算装置４０００を選択することが多いと考えられる。
【００７６】
そこで、精算システム２０００は、精算装置４０００からアクセス可能な記憶装置に、商品登録装置３０００と、その商品登録装置３０００に近い精算装置４０００とを関連付けた情報を予め記憶しておく。そして、第１算出部４０４０は、その第１算出部４０４０を有する精算装置４０００と関連付けられている商品登録装置３０００において生成された第１顧客画像のみを、第１類似度の算出対象とする。
【００７７】
例えば図１の例の場合、精算システム２０００は、商品登録装置３０００−１を精算装置４０００−１及び精算装置４０００−２と関連付けた情報、及び商品登録装置３０００−２を精算装置４０００−３及び精算装置４０００−４と関連付けた情報を予め記憶しておく。そして、第１算出部４０４０は、この情報を用いて、第１類似度の算出対象とする第１顧客画像を決定する。例えばこの例の場合、精算装置４０００−１及び精算装置４０００−２が有する第１算出部４０４０は、商品登録装置３０００−１において生成された第１顧客画像のみを、第１類似度の算出対象とする。一方、精算装置４０００−３及び精算装置４０００−４が有する第１算出部４０４０は、商品登録装置３０００−２において生成された第１顧客画像のみを、第１類似度の算出対象とする。
【００７８】
＜＜顧客が写っている領域を割り出す方法＞＞
第１算出部４０４０は、第１顧客画像から、商品登録装置３０００を利用した顧客を表す領域を抽出する。同様に、第１算出部４０４０は、第２顧客画像から、精算装置４０００を利用している顧客を表す領域を抽出する。このように画像に写っている人を抽出する方法には、既存の様々なオブジェクト認識の手法を利用することができる。この既存の手法についての詳細は省略する。
【００７９】
ここで、複数の顧客が店舗にいる場合がある。この場合、第１撮像部３０２０の撮像範囲に、商品登録装置３０００を利用する顧客以外の顧客が入っていることがある。その結果、第１顧客画像に複数の顧客が写りうる。
【００８０】
そこで、第１算出部４０４０は、第１顧客画像に写っている顧客の中から、商品登録装置３０００を利用した顧客を特定し、この顧客について第１類似度を算出する。ここでいう「商品登録装置３０００を利用した顧客」とは、第１顧客画像に関連付けられている精算情報によって示されている商品を購入する顧客を意味する。
【００８１】
商品登録装置３０００を利用した顧客を特定する方法は様々である。例えば第１算出部４０４０は、第１顧客画像に写っている顧客のうち、最も大きく写っている顧客が、商品登録装置３０００を利用した顧客とする。また例えば、第１算出部４０４０は、第１顧客画像に写っている顧客の内、第１顧客画像の中心に最も近い位置に写っている顧客を、商品登録装置３０００を利用している顧客とする。ここで、画像に写っている顧客の大きさを比較したり、画像に写っている顧客の位置を比較したりする方法には、既知の技術を利用できる。そのため、これらの方法に関する説明は省略する。
【００８２】
なお、第１顧客画像は、第１撮像部３０２０により、商品登録装置３０００を利用した顧客のみを示す画像として生成されてもよい。この場合、第１撮像部３０２０は、例えば第１算出部４０４０と同様の方法で、商品登録装置３０００を利用した顧客を特定する。そして、第１撮像部３０２０は、撮像素子に記録された画像のうち、商品登録装置３０００を利用した顧客を表す領域のみを用いて、第１顧客画像を生成する。
【００８３】
また例えば、第１顧客画像が生成される際、商品登録装置３０００を操作する店員が、顧客が写っている領域を指定してもよい。この場合、第１撮像部３０２０は、商品登録装置３０００を操作する店員が閲覧するディスプレイ装置上に、撮像素子に記録された画像全体を表示する。そして、店員は、ディスプレイ装置に表示された画像に対して、商品登録装置３０００を利用している顧客が写っている領域を指定する入力を行う。例えばディスプレイ装置がタッチパネルを有する場合、店員は、この顧客が写っている領域を指でなぞって囲むことで、この顧客が写っている領域を指定する。そして、第１撮像部３０２０は、店員によって指定された領域を表す画像を、第１顧客画像として生成する。なお、顧客が複数回撮像された場合、例えば第１撮像部３０２０は、撮像素子に記録された画像の内、最もブレが少ない画像を、上記ディスプレイ装置に表示する。
【００８４】
なお、同様にして、第２顧客画像にも複数の顧客が写る場合がある。この場合、例えば第１算出部４０４０は、第１顧客画像に対する処理と同様の処理により、精算装置４０００を利用している顧客を抽出する。また、第２顧客画像は、第２撮像部４０２０により、精算装置４０００を利用した顧客を抽出した画像として生成されてもよい。その生成方法は、第１撮像部３０２０が商品登録装置３０００を利用した顧客のみを示す第１顧客画像を生成する方法と同様の方法である。また、精算装置４０００は、商品登録装置３０００が店員に顧客を指定させる方法と同様の方法で、精算装置４０００を利用している顧客に対し、精算装置４０００を利用している顧客を指定する入力をさせてもよい。
【００８５】
＜取得部４０６０によって行われる処理の詳細＞
取得部４０６０は、マッチング条件を満たす（第１類似度が第１閾値以上である）第１顧客画像がある場合（Ｓ２０６：ＹＥＳ）、その第１顧客画像と関連付けられている精算情報を取得する（Ｓ２０８）。具体的には、取得部４０６０は、第１類似度が算出された第１顧客画像の中から、第１類似度が第１閾値以上である第１顧客画像を決定する。そして、取得部４０６０は、関連付け情報を用いて、上記決定された第１顧客画像に関連付けられている精算情報を取得する。具体的には、取得部４０６０は、生成部３０４０が関連付け情報を記憶した記憶部にアクセスし、上記決定された顧客画像が示されている関連付け情報が示す精算情報を取得する。
【００８６】
なお、第１類似度が第１閾値以上である第１顧客画像が、複数ある場合が考えられる。例えばこの場合、取得部４０６０は、第１類似度が最も高い第１顧客画像と関連付けられている精算情報を取得する。またこの場合、精算装置４０００は、第１類似度が第１閾値以上である第１顧客画像をディスプレイ装置２０に表示し、その内の１つを顧客に選択させてもよい。そして、取得部４０６０は、顧客によって選択された第１顧客画像と関連付けられている精算情報を取得する。これらの方法により、マッチング条件を満たす第１顧客画像が複数あった場合でも、精算装置４０００を利用している顧客が購入する商品に関する精算情報を一意に決定して取得することができる。
【００８７】
ここで、第１類似度が第１閾値以上である第１顧客画像をディスプレイ装置２０に表示する方法、及び表示された第１顧客画像の選択を受け付ける方法は、第１表示制御部４０８０が候補画像をディスプレイ装置２０に表示する処理、及び第１入力受付部４１００が表示された候補画像の選択を受け付ける方法と同様である。第１表示制御部４０８０が候補画像をディスプレイ装置２０に表示する処理、及び第１入力受付部４１００が表示された候補画像の選択を受け付ける方法についての詳細な説明は後述する。
【００８８】
＜第１表示制御部４０８０によって行われる処理の詳細＞
第１表示制御部４０８０は、第２顧客画像に写っている顧客（精算装置４０００を利用している顧客）との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合に、ディスプレイ装置の制御を行う（Ｓ２１０）。具体的には、第１表示制御部４０８０は、第１顧客画像のうち、第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補（候補画像）を、ディスプレイ装置２０に表示する。
【００８９】
図９は、ディスプレイ装置２０における表示を例示する図である。図９（ａ）において、第１表示制御部４０８０は、ディスプレイ装置２０のタッチパネル２２に１つの候補画像５０を表示している。一方、図９（ｂ）において、第１表示制御部４０８０は、ディスプレイ装置２０のタッチパネル２２に３つの候補画像５０を表示している。なお、第１撮像部３０２０によって撮像された顧客が多い場合、第１表示制御部４０８０は、タッチパネル２２にボタン７０を表示する。顧客がボタン７０を押すと、第１表示制御部４０８０は、現在タッチパネル２２に表示していない候補画像５０を表示する。
【００９０】
＜＜候補画像を決定する方法＞＞
前述したように、候補画像は、第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である。候補画像を表示するために、第１表示制御部４０８０は、どの第１顧客画像を候補画像にするかを決定する。この方法には、様々な方法がある。以下、その方法を具体的に例示する。
【００９１】
例えば第１表示制御部４０８０は、第１閾値よりも小さい所定の第２閾値を用いて、候補画像を決定する。具体的には、第１表示制御部４０８０は、候補画像を表示する必要がある場合（マッチング条件を満たす第１顧客画像がない場合）、第２顧客画像に写っている顧客との第１類似度が第２閾値以上である第１顧客画像を、候補画像とする。第２閾値は第１閾値よりも小さいため、この方法によれば、第１類似度が第２閾値以上第１閾値未満である第１顧客画像が、候補画像として決定される。
【００９２】
また例えば第１表示制御部４０８０は、第１類似度とは異なる方法で算出される第２類似度を用いて、候補画像を決定する。具体的には、候補画像を表示する必要がある場合（マッチング条件を満たす第１顧客画像がない場合）、第１算出部４０４０が、第１類似度を算出する方法とは別の方法を用いて、第２顧客画像と第１顧客画像との第２類似度を算出する。そして、第１表示制御部４０８０は、算出された第２類似度が第１閾値以上である各第１顧客画像を、候補画像とする。
【００９３】
ここで、第２類似度が第１閾値以上となる場合、第２類似度は第１類似度より大きい値である。なぜなら、第２類似度が算出される場合、第１類似度は第１閾値より小さいためである。そこで、第２類似度を算出するアルゴリズムには、第１類似度を算出するアルゴリズムよりも大きい類似度を算出するアルゴリズムを利用することが好ましい。ここで、画像に写っているオブジェクトの類似度を算出するアルゴリズムには種々のアルゴリズムがあり、算出される類似度の大きさもそれぞれ異なる。そこで例えば、第２類似度が第１類似度よりも大きくなるように、これら既知のアルゴリズムの中から、第１類似度の算出するアルゴリズムと第２類似度を算出するアルゴリズムを適宜採用する。
【００９４】
なお、第１表示制御部４０８０は、前述の各方法で決定された候補画像の全てを表示してもよいし、一部のみを表示してもよい。後者の場合、例えば第１表示制御部４０８０は、前述した商品登録装置３０００と精算装置４０００との関連付けを利用する。具体的には、第１表示制御部４０８０は、候補画像のうち、その第１表示制御部４０８０を有する精算装置４０００と関連付けられている精算情報によって生成された候補画像のみを表示する。
【００９５】
また、第１表示制御部４０８０は、前述した商品登録装置３０００と精算装置４０００との関連付けを利用して、候補画像の表示順を決定してもよい。具体的には、第１表示制御部４０８０は、その第１表示制御部４０８０を有する精算装置４０００と関連付けられている商品登録装置３０００によって生成された候補画像を、その精算装置４０００と関連付けられていない商品登録装置３０００によって生成された候補画像より前に表示する。
【００９６】
＜第１入力受付部４１００によって行われる処理の詳細＞
第１入力受付部４１００は、表示した候補画像の内の１つを選択する入力を受け付ける（Ｓ２１２）。候補画像の選択を受け付ける方法には、ディスプレイ上に表示された画像やボタンなどの選択を受け付ける既知の様々な技術を利用できる。ディスプレイ装置がタッチパネルを有し、第１入力受付部４１００がそのタッチパネルに候補画像を表示する場合、例えば第１入力受付部４１００は、タッチパネルに表示された候補画像が押されたことを検出することで、その候補画像の選択を受け付ける。図９の場合、顧客は、いずれかの候補画像５０を押すことで、その候補画像５０を選択する。また例えば、第１入力受付部４１００は、キーボードなどの入力デバイスによる候補画像の選択を受け付けてもよい。
【００９７】
第１入力受付部４１００が候補画像の選択を受け付けた場合、取得部４０６０は、関連付け情報を用いて、選択された候補画像（第１顧客画像）と関連付けられている精算情報を取得する（Ｓ２１４）。第１顧客画像と関連付けられている精算情報を取得する方法は、前述した通りである。
【００９８】
＜その他の機能について＞
精算装置４０００は、判定部４１２０をさらに有していてもよい。図１０は、判定部４１２０を有する精算装置４０００を例示するブロック図である。判定部４１２０は、第１入力受付部４１００が候補画像の選択操作を受け付けなかった場合（顧客が候補画像の選択を行わなかった場合）、第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像がないと判定する。例えば図９の例の場合、判定部４１２０は、顧客がボタン６０を押したり、所定時間以上候補画像５０や各ボタンを押さなかった場合に、第１入力受付部４１００が候補画像の選択を受け付けなかったと判定する。また、判定部４１２０は、第１表示制御部４０８０によって表示される候補画像が無い場合にも、第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像がないと判定する。ここで、第１表示制御部４０８０によって表示される候補画像が無い場合とは、例えば前述した候補画像を決定する方法において、第２類似度が第１閾値以上である第１顧客画像がない場合や、第１類似度が第２閾値以上である第１顧客画像がない場合などである。
【００９９】
判定部４１２０によって、「第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像がない」と判定された場合、精算装置４０００は種々の処理を行う。例えば第１表示制御部４０８０が、ディスプレイ装置に、その顧客に対応する精算情報がない旨のメッセージなどを表示する。また例えば、精算装置４０００は、再度第２顧客画像などをやり直してもよい。つまり、精算装置４０００は、図４の処理を再度実行する。これにより、新たに顧客を撮像して生成された第２顧客画像を用いて、類似度の算出などが行われる。こうすることで、顧客がより確実に精算を行えるようになる。
【０１００】
［実施形態２］
図１１は、実施形態２の精算システム２０００を例示するブロック図である。図１１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【０１０１】
実施形態２の精算システム２０００は、精算装置４０００が設置されているエリアを出ようとしている顧客が精算処理を終えていない場合に、警告処理を行う機能を有する。そのために、実施形態２の精算システム２０００は、以下のように構成される。
【０１０２】
実施形態２の生成部３０４０が生成する関連情報は、完了フラグをさらに示す。完了フラグは、その関連情報によって示される精算情報を用いた精算が完了したか否かを示す。つまり、実施形態２の生成部３０４０は、第１顧客画像、精算情報、及び完了フラグを関連付けた関連情報を生成する。以下、精算が完了していることを示す完了フラグの値は「精算完了」であり、精算が完了していないことを示す完了フラグの値は「精算未完了」であるとする。図１２は、実施形態２における関連付け情報３００を例示する図である。関連付け情報３００は、第１顧客画像３０２と精算情報ＩＤ３０４に加え、完了フラグ３０６をさらに有する。
【０１０３】
実施形態２の精算システム２０００は警告装置５０００をさらに有する。警告装置５０００は、第３撮像部５０２０、警告部５０４０、第２算出部５０６０、第２表示制御部５０８０、及び第２入力受付部５１００を有する。第３撮像部５０２０は、撮像を行って、精算装置４０００が設置されているエリアの出口（以下、単に「出口」とも表記する）にいる顧客を含む画像を生成する。以下、第３撮像部５０２０によって生成される画像を第３顧客画像と表記する。
【０１０４】
警告部５０４０は、警告条件が満たされた場合に警告処理を行う。警告条件は、「第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像に関連付けられている完了フラグが精算未完了を示していること」である。警告部５０４０は、第２算出部５０６０、第２表示制御部５０８０、及び第２入力受付部５１００による処理の結果に基づいて、警告条件が満たされているか否かを判定する。
【０１０５】
第２算出部５０６０は、第３顧客画像に写っている顧客と各第１顧客画像に写っている顧客との第３類似度を算出する。警告部５０４０は、第３類似度が所定の第３閾値以上である顧客が写っている第１顧客画像がある場合、この第１顧客画像を、第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像とする。そこで、警告部５０４０は、この第１顧客画像と関連付けられている完了フラグが精算未完了を示している場合、警告条件が満たされていると判定する。なお、第３閾値の値は、第１閾値の値又は第２閾値の値と同じであってもよいし、これらと異なる値であってもよい。
【０１０６】
第２表示制御部５０８０は、第３類似度が第３閾値以上である顧客が写っている第１顧客画像がない場合に、店員が閲覧できるディスプレイ装置１１０に、第２候補画像を表示する。第２候補画像は、第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である。
【０１０７】
第２入力受付部５１００は、第２候補画像を選択する入力を受け付ける。警告部５０４０は、第２入力受付部５１００を介して選択された第２候補画像を、第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像とする。そこで、警告部５０４０は、この第１顧客画像と関連付けられている完了フラグが精算未完了を示している場合、警告条件が満たされていると判定する。
【０１０８】
＜処理の流れ＞
図１３は、実施形態２の警告装置５０００によって実行される処理の流れを例示するフローチャートである。第３撮像部５０２０は、出口にいる顧客を撮像して、第３顧客画像を生成する（Ｓ３０２）。第２算出部５０６０は、各第１顧客画像について第３類似度を算出する（Ｓ３０４）。警告部５０４０は、第３類似度が第３閾値以上である顧客が写っている第１顧客画像があるか否かを判定する（Ｓ３０６）。第３類似度が第３閾値以上である顧客が写っている第１顧客画像がある場合（Ｓ３０６：ＹＥＳ）、図１３の処理はＳ３０８に進む。一方、第３類似度が第３閾値以上である顧客が写っている第１顧客画像がない場合（Ｓ３０６：ＮＯ）、図１３の処理はＳ３１２に進む。
【０１０９】
Ｓ３０８において、警告部５０４０は、「第３類似度が第３閾値以上である顧客が写っている第１顧客画像と関連付けられている完了フラグが、精算未完了を示しているか否か（警告条件が満たされているか否か）」を判定する。この警告条件が満たされている場合（Ｓ３０８：ＹＥＳ）、警告部５０４０は警告処理を行う（Ｓ３１０）。この警告条件が満たされていない場合（Ｓ３０８：ＮＯ）、図１３の処理は終了する。
【０１１０】
Ｓ３１２において、第２表示制御部５０８０は、ディスプレイ装置１１０に第２候補画像を表示する。第２入力受付部５１００は、第２候補画像を選択する入力を受け付ける（Ｓ３１４）。
【０１１１】
警告部５０４０は、「選択された第２候補画像と関連付けられている完了フラグが精算未完了を示しているか否か（警告条件が満たされているか否か）」を判定する（Ｓ３１６）。この警告条件が満たされている場合（Ｓ３１６：ＹＥＳ）、図１３の処理はＳ３１０に進む。一方、この警告条件が満たされていない場合（Ｓ３１６：ＮＯ）、図１３の処理は終了する。
【０１１２】
＜ハードウエア構成例＞
例えば警告装置５０００は、商品登録装置３０００や精算装置４０００を実現する計算機と同様のハードウエア構成を有する計算機によって実現される。この計算機の入出力インタフェースには、第３撮像部５０２０を構成するハードウエア（例えばカメラ）が接続される。第３撮像部５０２０は、出口の付近に設けられる。例えば、第３撮像部５０２０は、この出口付近の天井に設けられる。また例えば、この出口に顧客が通るゲートがある場合、第３撮像部５０２０はこのゲートに設けられてもよい。ただし、第３撮像部５０２０は、出口にいる顧客を撮像できればよく、その設置場所は上述の例に限定されない。その他の点については、第３撮像部５０２０は、第１撮像部３０２０や第２撮像部４０２０と同様に実装される。
【０１１３】
警告装置５０００を実現する計算機の入出力インタフェースには、ディスプレイ装置１１０が接続される。ディスプレイ装置１１０は出口付近に設けられている。また、ディスプレイ装置１１０は、店員が閲覧できるように設置される。
【０１１４】
警告装置５０００を実現する計算機の入出力インタフェースには、第２入力受付部５１００を実現するための入力デバイスが接続される。例えばこの入力デバイスは、ディスプレイ装置１１０に内蔵されるタッチパネルである。また例えば、この入力デバイスは、キーボードやマウスなどであってもよい。
【０１１５】
警告装置５０００を実現する計算機のストレージは、第３撮像部５０２０、警告部５０４０、第２算出部５０６０、第２表示制御部５０８０、及び第２入力受付部５１００を実現するプログラムモジュールをそれぞれ有する。警告装置５０００を実現する計算機のプロセッサは、このプログラムモジュールを実行することで、これらの機能構成部の機能を実現する。
【０１１６】
＜第２算出部５０６０が行う処理の詳細＞
第２算出部５０６０は、各第１顧客画像に写っている顧客と第３顧客画像に写っている顧客との第３類似度を算出する（Ｓ３０４）。第３類似度の算出に用いるアルゴリズムは、第１類似度又は第２類似度を算出するアルゴリズムと同じであってもよいし、異なっていてもよい。
【０１１７】
第３類似度の算出対象である第１顧客画像は、いずれかの関連情報において精算情報と関連付けられている第１顧客画像である。第２算出部５０６０は、第１算出部４０４０が関連情報において精算情報と関連付けられている各第１顧客画像を取得する方法と同様の方法で、各第１顧客画像を取得する。
【０１１８】
＜第２表示制御部５０８０が行う処理の詳細＞
第２表示制御部５０８０は、第３類似度が第３閾値以上である第１顧客画像がない場合（Ｓ３０６：ＮＯ）、第２表示制御部５０８０は、店員が閲覧できるディスプレイ装置１１０において、第２候補画像（第３顧客画像に写っている顧客の候補を表す第１顧客画像）を表示する（Ｓ３１２）。ここで、どの第１顧客画像を第２候補画像にするかを決定する方法は、実施形態１において候補画像を決定する方法と同様である。以下、この方法を具体的に説明する。
【０１１９】
例えば第２算出部５０６０が、第３類似度を算出する方法と異なる方法を用いて、第１顧客画像に写っている顧客と第３顧客画像に写っている顧客との第４類似度を算出する。そして、第２表示制御部５０８０は、第４類似度が第３閾値以上である第１顧客画像を、第２候補画像として表示する。
【０１２０】
ここで、第２類似度を算出するアルゴリズムは第１類似度を算出するアルゴリズムよりも大きい類似度を算出することが好ましい理由と同様の理由により、第４類似度を算出するアルゴリズムは第３類似度を算出するアルゴリズムよりも大きい類似度を算出することが好ましい。例えば第２算出部５０６０は、第３類似度を算出するアルゴリズムに、第１類似度を算出するアルゴリズムと同じアルゴリズムを利用し、第４類似度を算出するアルゴリズムに、第２類似度を算出するアルゴリズムと同じアルゴリズムを利用する。
【０１２１】
また例えば、第２表示制御部５０８０は、第３類似度が第４閾値以上である第１顧客画像を、第２候補画像として表示してもよい。第４閾値は、第３閾値より小さい値である。
【０１２２】
＜第２入力受付部５１００が行う処理の詳細＞
第２入力受付部５１００は、第２候補画像を選択する処理を受け付ける（Ｓ３１４）。第２候補画像の選択は、店員によって行われる。第２入力受付部５１００が第２候補画像の選択を受け付ける方法は、第１入力受付部４１００が候補画像の選択を受け付ける方法と同様である。
【０１２３】
＜警告部５０４０が行う処理の詳細＞
警告部５０４０は、警告条件が満たされている場合に警告処理を行う（Ｓ３１０）。前述したように、警告条件は、「第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像に関連付けられている完了フラグが精算未完了を示していること」である。ここで、警告部５０４０は、１）第３類似度が第３閾値以上である第１顧客画像、又は２）顧客によって選択される第２候補画像を、「第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像」として扱う。１）及び２）については、前述した通りである。
【０１２４】
警告部５０４０は、関連情報が記憶されている記憶部にアクセスして、「第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像」と関連付けられている完了フラグを取得する。そして、警告部５０４０は、完了フラグの値が精算未完了であるか否かを判定する。
【０１２５】
＜＜警告処理の詳細＞＞
警告部５０４０が行う警告処理は様々である。例えば警告部５０４０は、第１撮像部３０２０によって撮像された顧客、又は店員や警備員などが聞くことができる場所で、アラーム音を出力する。例えばこの場所は、出口付近、商品登録装置３０００の付近、又は警備室などである。この場合、アラーム音を出力する場所に、アラーム音を出力するスピーカなどが設置される。
【０１２６】
また例えば、警告部５０４０は、第３撮像部５０２０によって撮像された顧客、又は店員や警備員などが見ることができる場所に、精算が完了していない旨の警告メッセージを表示する。具体的には、警告部５０４０は、出口に設けられているディスプレイ装置１１０、各商品登録装置３０００に設けられているディスプレイ装置２０、又は警備員室に設けられているディスプレイ装置などに警告メッセージを表示する。
【０１２７】
また、出口にゲートが設置されている場合、警告部５０４０は、警告条件が満たされた場合に、そのゲートを閉じる処理を行ってもよい。こうすることで、顧客が出口から出られなくなるため、精算を行っていない顧客が誤って帰ってしまうことを防ぐことができる。
【０１２８】
また、精算システム２０００を運用する店舗において会員制度が導入されている場合、警告部５０４０は、会員情報を利用して警告を行ってもよい。具体的には、会員の画像（顔写真など）及び会員の連絡先（メールアドレスなど）が、会員情報として予め登録されているとする。警告条件が満たされている場合、警告部５０４０は、会員情報が記憶されているデータベース等にアクセスし、第３顧客画像に写っている顧客と同じ顧客が写っている会員の画像を検索する。そして、警告部５０４０は、このような画像があった場合、その画像が示されている会員情報が示す顧客の連絡先に、警告メッセージを送信する。例えば警告部５０４０は、顧客のメールアドレス宛に、警告メッセージを含むメールを送信する。会員情報を利用することで、顧客に対して直接的に警告メッセージを行うことができる。そのため、顧客が誤って精算を忘れて出口を出てしまった場合でも、そのことが他の人に分からないように、顧客に対して警告を行うことができる。よって、顧客のプライバシーを守ることができる。
【０１２９】
＜具体例＞
実施形態２の精算システム２０００の動作を具体的に例示する。図１４は、実施形態２の精算システム２０００の運用環境を例示する図である。図１４において、精算装置４０００は、エリア８０の中に設置されている。出口９０は、エリア８０の出口である。ゲート１００は、出口９０を出る際に顧客が通過するゲートである。図１４において、第３撮像部５０２０は、このゲート１００に備えられている。
【０１３０】
通常、顧客は、商品登録装置３０００を利用した後、精算装置４０００を利用して精算を行う。精算装置４０００は、その顧客の精算が完了した際、入力受付部４１００を介して顧客が選択した第１顧客画像に関連付けられている完了フラグの値を「精算完了」に変更する。
【０１３１】
顧客がゲート１００を通過する際、第３撮像部５０２０は、その顧客を撮像して第３顧客画像を生成する。そして、警告部５０４０は、第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像と関連付けられている完了フラグが「精算未完了」を示しているか否かを判定する。上述のように、顧客が精算を完了していれば、完了フラグは「精算完了」を示している。そのため、警告部５０４０は警告処理を行わない。
【０１３２】
一方、顧客が精算を行っていないと、第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像と関連付けられている完了フラグは「精算未完了」を示している。この場合、警告部５０４０は警告処理を行う。例えば警告部５０４０は、ゲート１００を閉じ、ゲート１００に設けられているディスプレイ装置に警告メッセージを表示する。
【０１３３】
＜作用・効果＞
本実施形態の精算システム２０００は、「第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像」と関連付けられている完了フラグが精算未完了である場合、警告処理を行う。これは、顧客が、購入する商品の精算を行う前に出口を出ようとした場合（又は出口を出た場合）に警告が行われることを意味する。よって、本実施形態の精算システム２０００によれば、顧客が精算を忘れて帰ってしまうことを防止することができるため、顧客と店舗との間でトラブルが発生することを未然に防ぐことができる。
【０１３４】
また、警告装置５０００は、第３類似度が第３閾値以上である第１顧客画像がない場合、第２候補画像を表示して、ディスプレイ装置１１０を閲覧する店員に第２候補画像を選択させる。例えば、商品登録装置３０００を利用した時と出口を出る時とで、顧客が身につけているものが変わっている場合がある。具体的には、顧客が、商品登録装置３０００を利用した時に装着していたマスクを、出口を出る前に外すことなどが考えられる。このような場合、実際には第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像があるにも関わらず、これらの第３類似度が低くなってしまう。よって、精算が完了していない顧客が出口を出ても、警告が行われないことになってしまう。
【０１３５】
本実施形態の警告装置５０００によれば、第３類似度が第３閾値以上である第１顧客画像がない場合に第２候補画像が表示されるため、店員は、出口を出ようとしている顧客と同じ顧客が写っている第２候補画像があるか否かを、目で見て判断することができる。そして、店員の目から見て、出口から出ようとしている顧客と同じ顧客が写っている第２候補画像がある場合、店員がその第２候補画像を選択することで、警告装置５０００は、その第２候補画像と関連付けられている精算情報に基づく精算が完了しているか否かを判定する。そして、警告装置５０００は、精算が完了していない場合、警告処理を行う。よって、本実施形態の警告装置５０００は、人による判断も利用することで、顧客が精算を忘れて帰ってしまうことをより確実に防止することができる。
【０１３６】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【０１３７】
以下、参考形態の例を付記する。
１．  商品登録装置及び精算装置を有する精算システムであって、
前記商品登録装置は、
顧客を含む第１顧客画像を生成する第１撮像手段と、
前記第１顧客画像に対して商品の精算に用いる精算情報を関連付けた関連付け情報を生成する生成手段と、を有し、
前記精算装置は、
顧客を含む第２顧客画像を生成する第２撮像手段と、
前記第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である候補画像を、顧客が閲覧できるディスプレイ装置に表示する第１表示制御手段と、を有する精算システム。
２．  前記第２顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第１類似度を算出する第１算出手段と、
前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像と関連付けられている前記精算情報を取得する取得手段と、を有し、
前記第１表示制御手段は、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合に、前記候補画像を表示する、１．に記載の精算システム。
３．  前記精算装置は、前記候補画像に対する選択操作を受け付ける入力受付手段を有し、
前記取得手段は、選択された前記候補画像と関連付けられている前記精算情報を取得する、２．に記載の精算システム。
４．  前記精算装置は、前記候補画像が選択されなかった場合、前記第２顧客画像に写っている顧客と同じ顧客が写っている前記第１顧客画像がないと判定する判定手段を有する３．に記載の精算システム。
５．  前記第１算出手段は、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合、第１類似度を算出する方法とは異なる方法を用いて、前記第２顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第２類似度を算出し、
前記第１表示制御手段は、前記第２顧客画像に写っている顧客との第２類似度が前記第１閾値以上である顧客が写っている第１顧客画像を、前記候補画像として表示する、２．乃至４．いずれか一つに記載の精算システム。
６．  前記第１表示制御手段は、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合、前記第２顧客画像に写っている顧客との第１類似度が、前記第１閾値より小さい第２閾値以上である顧客が写っている第１顧客画像を、前記候補画像として表示する、２．乃至４．いずれか一つに記載の精算システム。
７．  当該精算システムは、複数の前記商品登録装置及び複数の前記精算装置を有し、
前記第１表示制御手段は、その第１表示制御手段を有する精算装置と関連付けられている前記商品登録装置によって生成された前記第１顧客画像を、前記候補画像として表示する、１．乃至４．いずれか一つに記載の精算システム。
８．  前記生成手段は、前記第１顧客画像の撮像時点をさらに示す前記関連付け情報を生成し、
前記第１算出手段は、撮像時点と現在時刻との差が所定時間以内である前記第１顧客画像について類似度を算出する２．乃至６．いずれか一つに記載の精算システム。
９．  前記生成手段は、前記関連付け情報において、その関連付け情報によって示される前記精算情報を用いた精算が完了したか否かを示す完了フラグをさらに関連付け、
前記精算システムは、
前記精算装置が設置されているエリアの出口にいる顧客を含む第３顧客画像を生成する第３撮像手段と、
前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像に関連付けられている前記完了フラグが、前記精算情報を用いた精算が完了していないことを示している場合、警告処理を行う警告手段と、を有する警告装置を有する１．乃至８．いずれか一つに記載の精算システム。
１０．  前記警告装置は、前記第３顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第３類似度を算出する第２算出手段を有し、
前記警告手段は、前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像を、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像とし、
前記警告装置は、
前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がない場合に、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である第２候補画像を前記出口に設けられているディスプレイ装置に表示する第２表示制御手段と、
前記第２候補画像を選択する入力を受け付ける第２入力受付手段と、を有し、
前記警告手段は、前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がない場合、前記第２入力受付手段を介して選択された第２候補画像を、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像とする、９．に記載の精算システム。
１１  前記第２算出手段は、前記第３類似度が前記第３閾値以上である顧客が写っている第１顧客画像がない場合、前記第３類似度を算出する方法とは異なる方法を用いて、前記第３顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第４類似度を算出し、
前記第２表示制御手段は、前記第４類似度が前記第３閾値以上である顧客が写っている第１顧客画像を、第２候補画像として表示する、１０．に記載の精算システム。
１２．  前記第２表示制御手段は、前記第３類似度が前記第３閾値より小さい第４閾値以上である顧客が写っている第１顧客画像を前記第２候補画像として表示する、１０．に記載の情報処理システム。
１３．  １．乃至１２．いずれか一つに記載の情報処理システムが有する精算装置。
１４．  コンピュータを１３．に記載の精算装置として動作させるプログラム。
１５．  商品登録装置及び精算装置を有する精算システムにおいて実行される精算方法であって、
前記商品登録装置が、顧客を含む第１顧客画像を生成する第１撮像ステップと、
前記商品登録装置が、前記第１顧客画像に対して商品の精算に用いる精算情報を関連付けた関連付け情報を生成する生成ステップと、
前記精算装置が、顧客を含む第２顧客画像を生成する第２撮像ステップと、
前記精算装置が、前記第２顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である候補画像を、顧客が閲覧できるディスプレイ装置に表示する第１表示制御ステップと、を有する精算方法。
１６．  前記精算装置が、前記第２顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第１類似度を算出する第１算出ステップと、
前記精算装置が、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像と関連付けられている前記精算情報を取得する取得ステップと、を有し、
前記第１表示制御ステップは、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合に、前記候補画像を表示する、１５．に記載の精算方法。
１７．  前記精算装置が、前記候補画像に対する選択操作を受け付ける入力受付ステップを有し、
前記取得ステップは、選択された前記候補画像と関連付けられている前記精算情報を取得する、１６．に記載の精算方法。
１８．  前記精算装置が、前記候補画像が選択されなかった場合、前記第２顧客画像に写っている顧客と同じ顧客が写っている前記第１顧客画像がないと判定する判定ステップを有する、１７．に記載の精算方法。
１９．  前記第１算出ステップは、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合、第１類似度を算出する方法とは異なる方法を用いて、前記第２顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第２類似度を算出し、
前記第１表示制御ステップは、前記第２顧客画像に写っている顧客との第２類似度が前記第１閾値以上である顧客が写っている第１顧客画像を、前記候補画像として表示する１６．乃至１８．いずれか一つに記載の精算方法。
２０．  前記第１表示制御ステップは、前記第２顧客画像に写っている顧客との第１類似度が第１閾値以上である顧客が写っている第１顧客画像がない場合、前記第２顧客画像に写っている顧客との第１類似度が、前記第１閾値より小さい第２閾値以上である顧客が写っている第１顧客画像を、前記候補画像として表示する、１６．乃至１８．いずれか一つに記載の精算方法。
２１．  当該精算方法は、複数の前記商品登録装置及び複数の前記精算装置を有し、
前記第１表示制御ステップは、その第１表示制御ステップを実行する精算装置と関連付けられている前記商品登録装置によって生成された前記第１顧客画像を、前記候補画像として表示する、１５．乃至１８．いずれか一つに記載の精算方法。
２２．  前記生成ステップは、前記第１顧客画像の撮像時点をさらに示す前記関連付け情報を生成し、
前記第１算出ステップは、撮像時点と現在時刻との差が所定時間以内である前記第１顧客画像について類似度を算出する１６．乃至２０．いずれか一つに記載の精算方法。
２３．  前記生成ステップは、前記関連付け情報において、その関連付け情報によって示される前記精算情報を用いた精算が完了したか否かを示す完了フラグをさらに関連付け、
前記精算システムは、警告装置をさらに有し、
当該精算システムは、
前記警告装置が、前記精算装置が設置されているエリアの出口にいる顧客を含む第３顧客画像を生成する第３撮像ステップと、
前記警告装置が、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像に関連付けられている前記完了フラグが、前記精算情報を用いた精算が完了していないことを示している場合、警告処理を行う警告ステップと、を有する１５．乃至２２．いずれか一つに記載の精算方法。
２４．  前記警告装置が、前記第３顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第３類似度を算出する第２算出ステップを有し、
前記警告ステップは、前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がある場合、その第１顧客画像を、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像とし、
前記警告装置が、前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がない場合に、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像の候補である第２候補画像を前記出口に設けられているディスプレイ装置に表示する第２表示制御ステップと、
前記警告装置が、前記第２候補画像を選択する入力を受け付ける第２入力受付ステップと、を有し、
前記警告ステップは、前記第３類似度が第３閾値以上である顧客が写っている第１顧客画像がない場合、前記第２入力受付ステップを介して選択された第２候補画像を、前記第３顧客画像に写っている顧客と同じ顧客が写っている第１顧客画像とする、２３．に記載の精算方法。
２５．  前記第２算出ステップは、前記第３類似度が前記第３閾値以上である顧客が写っている第１顧客画像がない場合、前記第３類似度を算出する方法とは異なる方法を用いて、前記第３顧客画像に写っている顧客と各前記第１顧客画像に写っている顧客との第４類似度を算出し、
前記第２表示制御ステップは、前記第４類似度が前記第３閾値以上である顧客が写っている第１顧客画像を、第２候補画像として表示する、２４．に記載の精算方法。
２６．  前記第２表示制御ステップは、前記第３類似度が前記第３閾値より小さい第４閾値以上である顧客が写っている第１顧客画像を前記第２候補画像として表示する、２４．に記載の精算方法。
【符号の説明】
【０１３８】
２０、１１０  ディスプレイ装置
２２  タッチパネル
３０、３５  カメラ
４０  リーダ
５０  候補画像
６０、７０  ボタン
８０  エリア
９０  出口
１００  ゲート
２００  精算情報
２０２  精算情報ＩＤ
２０４  商品リスト
２０６  商品ＩＤ
３００  関連付け情報
３０２  第１顧客画像
３０４  精算情報ＩＤ
３０６  完了フラグ
１０００、６０００  計算機
１０２０、６０２０  バス
１０４０、６０４０  プロセッサ
１０６０、６０６０  メモリ
１０８０、６０８０  ストレージ
１１００、６１００  入出力インタフェース
１１２０、６１２０  ネットワークインタフェース
２０００  精算システム
３０００  商品登録装置
３０２０  第１撮像部
３０４０  生成部
４０００  精算装置
４０２０  第２撮像部
４０４０  第１算出部
４０６０  取得部
４０６０  第２入力受付部
４０８０  第１表示制御部
４１００  第１入力受付部
４１２０  判定部
５０００  警告装置
５０２０  第３撮像部
５０４０  警告部
５０６０  第２算出部
５０８０  第２表示制御部
５１００  第２入力受付部
【図１】
0006686290.tif 000002
【図２】
0006686290.tif 000003
【図３】
0006686290.tif 000004
【図４】
0006686290.tif 000005
【図５】
0006686290.tif 000006
【図６】
0006686290.tif 000007
【図７】
0006686290.tif 000008
【図８】
0006686290.tif 000009
【図９】
0006686290.tif 000010
【図１０】
0006686290.tif 000011
【図１１】
0006686290.tif 000012
【図１２】
0006686290.tif 000013
【図１３】
0006686290.tif 000014
【図１４】
0006686290.tif 000015