(57)【要約】【課題】  適切に物品を認識することができる物品認識装置、物品認識方法及び非一時的可読記憶媒体を提供する。【解決手段】  実施形態によると、物品認識装置は、画像インターフェースと、プロセッサと、を備える。画像インターフェースは、物品が配置される配置場所の撮影画像を取得する。プロセッサは、前記画像インターフェースを通じて撮影画像を取得し、前記撮影画像から第１の物品を特定し、前記第１の物品が第２の物品に重なっているかを判定し、前記第１の物品が前記第２の物品に重なっていると判定した場合、前記第１の物品を他の物品に重ならない位置に移動することを促す警告画面を表示装置に表示し、前記第１の物品が移動されたか判定し、前記第１の物品が移動されたと判定すると、前記画像インターフェースを通じて撮影画像を取得し、前記撮影画像から物品を特定する。【選択図】      図１
2019046461.tif 000002
【特許請求の範囲】
【請求項１】
物品を認識する物品認識装置であって、
物品が配置される配置場所の撮影画像を取得する画像インターフェースと、
前記画像インターフェースを通じて撮影画像を取得し、
前記撮影画像から第１の物品を特定し、
前記第１の物品が第２の物品に重なっているかを判定し、
前記第１の物品が前記第２の物品に重なっていると判定した場合、前記第１の物品を他の物品に重ならない位置に移動することを促す警告画面を表示装置に表示し、
前記第１の物品が移動されたか判定し、
前記第１の物品が移動されたと判定すると、前記画像インターフェースを通じて撮影画像を取得し、前記撮影画像から物品を特定する、
プロセッサと、
を備える物品認識装置。
【請求項２】
前記配置場所からの距離を示す距離情報を取得する距離情報インターフェースを備え、
前記プロセッサは、
前記第１の物品に設定された外寸を取得し、
前記距離情報に基づいて前記第１の物品の高さを算出し、
前記外寸と前記高さとが一致しない場合、前記第１の物品が前記第２の物品に重なっていると判定する、
前記請求項１に記載の物品認識装置。
【請求項３】
前記表示装置は、プロジェクタであり、
前記プロセッサは、前記プロジェクタを通じて、前記配置場所に対して、前記第１の物品を他の物品と重ならない位置に移動することを促す警告画面を表示する、
前記請求項１に記載の物品認識装置。
【請求項４】
前記警告画面は、前記第１の物品を他の物品と重ならない位置に移動することを促すアニメーションである、
前記請求項３に記載の物品認識装置。
【請求項５】
前記プロセッサは、
前記第１の物品が前記第２の物品に重なっていると判定した場合、前記第１の物品の前記配置場所において他の物品と重ならない移動先があるか判定し、
前記移動先がないと判定すると、前記第１の物品を取り出すことを促す警告画面を表示装置に表示する、
前記請求項１に記載の物品認識装置。
【請求項６】
前記プロセッサは、
前記第１の物品が前記第２の物品に重なっていると判定した場合、前記第１の物品の前記配置場所において他の物品と重ならない移動先があるか判定し、
前記移動先がないと判定すると、重なっていない第３の物品を取り出し前記第１の物品を移動することを促す警告画面を表示装置に表示する、
前記請求項１に記載の物品認識装置。
【請求項７】
前記配置場所の画像を撮影するカメラを備える、
前記請求項１に記載の物品認識装置。
【請求項８】
前記プロジェクタを備える、
前記請求項３に記載の物品認識装置。
【請求項９】
物品を認識する物品認識方法であって、
物品が配置される配置場所を撮影した撮影画像を取得し、
前記撮影画像から第１の物品を特定し、
前記第１の物品が第２の物品に重なっているかを判定し、
前記第１の物品が前記第２の物品に重なっていると判定した場合、前記第１の物品を他の物品に重ならない位置に移動することを促す警告画面を表示装置に表示し、
前記第１の物品が移動されたか判定し、
前記第１の物品が移動されたと判定すると、撮影画像を取得し、前記撮影画像から物品を特定する、
物品認識方法。
【請求項１０】
プロセッサに、
物品が配置される配置場所の撮影画像を取得させ、
前記撮影画像から第１の物品を特定させ、
前記第１の物品が第２の物品に重なっているかを判定させ、
前記第１の物品が前記第２の物品に重なっていると判定した場合、前記第１の物品を他の物品に重ならない位置に移動することを促す警告画面を表示装置に表示させ、
前記第１の物品が移動されたか判定させ、
前記第１の物品が移動されたと判定すると、撮影画像を取得し、前記撮影画像から物品を特定させる、
プログラムを備える非一時的可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、物品認識装置、物品認識方法及び非一時的可読記憶媒体に関する。
【背景技術】
【０００２】
物品認識装置には、台上に配置される物品を撮影した画像に基づいて物品を認識するものがある。物品認識装置は、画像から物品がある物品領域を特定し、バーコードなどの読み取り又はオブジェクト認識などで物品領域の物品を特定する。
【０００３】
従来、物品認識装置は、複数の物品が重ねて設置される場合に、物品を正しく認識することができないという課題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１０１４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の課題を解決するために、適切に物品を認識することができる物品認識装置、物品認識方法及び非一時的可読記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
実施形態によると、物品認識装置は、画像インターフェースと、プロセッサと、を備える。画像インターフェースは、物品が配置される配置場所の撮影画像を取得する。プロセッサは、前記画像インターフェースを通じて撮影画像を取得し、前記撮影画像から第１の物品を特定し、前記第１の物品が第２の物品に重なっているかを判定し、前記第１の物品が前記第２の物品に重なっていると判定した場合、前記第１の物品を他の物品に重ならない位置に移動することを促す警告画面を表示装置に表示し、前記第１の物品が移動されたか判定し、前記第１の物品が移動されたと判定すると、前記画像インターフェースを通じて撮影画像を取得し、前記撮影画像から物品を特定する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態に係るチェックアウト装置の構成例を概略的に示す図である。
【図２】図２は、第１の実施形態に係るチェックアウト装置の構成例を示すブロック図である。
【図３Ａ】図３Ａは、第１の実施形態に係る重なった商品の例を示す図である。
【図３Ｂ】図３Ｂは、第１の実施形態に係る重なった商品の例を示す図である。
【図４Ａ】図４Ａは、第１の実施形態に係る重なった商品の例を示す図である。
【図４Ｂ】図４Ｂは、第１の実施形態に係る重なった商品の例を示す図である。
【図５Ａ】図５Ａは、第１の実施形態に係る重なった商品の例を示す図である。
【図５Ｂ】図５Ｂは、第１の実施形態に係る重なった商品の例を示す図である。
【図６Ａ】図６Ａは、第１の実施形態に係る警告画面の例を示す図である。
【図６Ｂ】図６Ｂは、第１の実施形態に係る警告画面の例を示す図である。
【図７Ａ】図７Ａは、第１の実施形態に係る認識結果画面の例を示す図である。
【図７Ｂ】図７Ｂは、第１の実施形態に係る認識結果画面の例を示す図である。
【図８】図８は、第１の実施形態に係るチェックアウト装置の動作例を示すフローチャートである。
【図９Ａ】図９Ａは、第２の実施形態に係るチェックアウト装置の動作例を示す図である。
【図９Ｂ】図９Ｂは、第２の実施形態に係るチェックアウト装置の動作例を示す図である。
【図９Ｃ】図９Ｃは、第２の実施形態に係るチェックアウト装置の動作例を示す図である。
【図１０】図１０は、第２の実施形態に係るチェックアウト装置の動作例を示すフローチャートである。
【図１１Ａ】図１１Ａは、第３の実施形態に係るチェックアウト装置の動作例を示す図である。
【図１１Ｂ】図１１Ｂは、第３の実施形態に係るチェックアウト装置の動作例を示す図である。
【図１１Ｃ】図１１Ｃは、第３の実施形態に係るチェックアウト装置の動作例を示す図である。
【図１２】図１２は、第３の実施形態に係るチェックアウト装置の動作例を示すフローチャートである。
【図１３】図１３は、第３の実施形態に係るチェックアウト装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照して説明する。  
（第１の実施形態）
まず、第１の実施形態について説明する。  
図１は、実施形態に係るチェックアウト装置１の構成例を概略的に示す。
【０００９】
チェックアウト装置１（物品認識装置）は、商品１０（物品）を決済する。チェックアウト装置１は、商品１０を販売する店舗などに設置される。たとえば、チェックアウト装置１は、商品１０が所定の位置に配置された場合又はチェックアウト装置１が所定の操作を受け付けた場合に、商品１０について決済処理を実行する。チェックアウト装置１は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、チェックアウト装置１は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。
【００１０】
図１が示すように、チェックアウト装置１は、筐体２、カメラ３、ディスプレイ４、操作部５、設置台６、距離センサ７、プロジェクタ８及びスピーカ９などを備える。  
筐体２は、チェックアウト装置１の外形を形成するフレームである。筐体２は、商品１０を設置することができるように形成される。図１が示す例においては、筐体２は、コの字型であり、商品１０を積載することができるように形成される。
【００１１】
カメラ３は、設置台６上の商品１０を撮影する。図１が示す例においては、カメラ３は、設置台６を上方から撮影するように設置される。カメラ３は、斜め上方から設置台６を撮影するように設置されてもよい。カメラ３が設置される位置及び向きは、特定の構成に限定されるものではない。  
なお、チェックアウト装置１は、複数個のカメラ３を備えてもよい。この場合、複数のカメラ３は、それぞれ異なる位置及び角度で設置台６上の商品を撮影するように設置されてもよい。
【００１２】
たとえば、カメラ３は、ＣＣＤカメラなどである。また、カメラ３は、不可視光を撮影するものであってもよい。カメラ３の構成は、特定の構成に限定されるものではない。  
ディスプレイ４は、後述するプロセッサ２１が出力する画像を表示する表示装置である。ディスプレイ４は、たとえば、液晶モニタなどである。
【００１３】
操作部５は、チェックアウト装置１の利用者によって、種々の操作指示が入力される。操作部５は、利用者に入力された操作指示のデータをプロセッサ２１へ送信する。操作部５は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作部５は、利用者からジェスチャーの入力を受け付けてもよい。  
ここでは、操作部５は、タッチパネルであり、ディスプレイ４と一体的に形成されているものとする。
【００１４】
設置台６は、商品１０を設置する台である。設置台６は、利用者が商品１０を配置することができるように筐体２上に設置される。なお、設置台６は、商品１０が配置されたことを検知するセンサを備えてもよい。センサは、商品１０が配置されたことを示す信号をプロセッサ２１に送信する。
【００１５】
距離センサ７は、設置台６の上方に下向きで設置される。距離センサ７は、基準点又は基準面からの距離(たとえば、距離センサ７からの距離又は距離センサ７に水平な面からの距離)を測定する。たとえば、距離センサ７は、基準点又は基準面から設置台６又は商品１０までの距離を測定する。
【００１６】
距離センサ７は、基準点又は基準面から設置台６上の各部までの距離を示す距離情報を生成する。距離情報は、設置台６又は商品１０までの距離を示す。たとえば、距離情報は、距離に応じて色が異なる距離画像であってもよい。
【００１７】
距離センサ７は、たとえば、光源から照射される光（可視光又は不可視光）の反射光に基づいて距離を測定する。たとえば、距離センサ７は、照射された光が測定対象で反射し距離センサ７に届くまでの時間に基づいて当該測定対象との距離を測定するＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式を行ってもよい。また、距離センサ７は、ドットパターンを投影して投影されたドットパターンの歪みから距離を測定するものであってもよい。なお、距離センサ７が距離を測定する方法は、特定の方法に限定されるものではない。  
なお、チェックアウト装置１は、複数の距離センサを備えてもよい。
【００１８】
プロジェクタ８は、設置台６の上方に下向きで設置される。プロジェクタ８は、プロセッサ２１からの信号に従って、設置台６又は商品１０上に画像を投影する表示装置である。プロジェクタ８は、プロセッサ２１が生成した画像又は動画を設置台６又は商品１０上に投影する。
【００１９】
スピーカ９は、プロセッサ２１からの信号に従って音を出力する。スピーカ９は、商品１０を配置した利用者が視聴可能なように音を出力する。図１が示す例では、スピーカ９は、ディスプレイ４及び操作部５の周辺に設置される。
【００２０】
なお、カメラ３、ディスプレイ４、操作部５、設置台６、距離センサ７、プロジェクタ８又はスピーカ９は、筐体２と一体的に形成されてもよい。  
また、チェックアウト装置１は、商品１０を照らす照明などを備えてもよい。
【００２１】
次に、チェックアウト装置１の構成例について説明する。  
図２は、チェックアウト装置１の構成例を示すブロック図である。  
図２が示すように、チェックアウト装置１は、カメラ３、ディスプレイ４、操作部５、距離センサ７、プロジェクタ８、スピーカ９、プロセッサ２１、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、カメラインターフェース２５、ディスプレイインターフェース２６、操作部インターフェース２７、距離センサインターフェース２８、プロジェクタインターフェース２９及びスピーカインターフェース３０などを備える。プロセッサ２１と、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、カメラインターフェース２５、ディスプレイインターフェース２６、操作部インターフェース２７、距離センサインターフェース２８、プロジェクタインターフェース２９及びスピーカインターフェース３０とは、データバスなどを介して互いに接続される。
【００２２】
カメラインターフェース２５とカメラ３とは、データバスなどを介して互いに接続される。ディスプレイインターフェース２６とディスプレイ４とは、データバスなどを介して互いに接続される。操作部インターフェース２７と操作部５とは、データバスなどを介して互いに接続される。距離センサインターフェース２８と距離センサ７とは、データバスなどを介して互いに接続される。プロジェクタインターフェース２９とプロジェクタ８とは、データバスなどを介して互いに接続される。スピーカインターフェース３０とスピーカ９とは、データバスなどを介して互いに接続される。  
なお、チェックアウト装置１は、図２が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
【００２３】
カメラ３、ディスプレイ４、操作部５、距離センサ７、プロジェクタ８及びスピーカ９は、前述の通りである。  
プロセッサ２１は、チェックアウト装置１全体の動作を制御する機能を有する。プロセッサ２１は、内部メモリ及び各種のインターフェースなどを備えても良い。プロセッサ２１は、内部メモリ、ＲＯＭ２２又はＮＶＭ２４などに予め記憶したプログラムを実行することにより種々の処理を実現する。プロセッサ２１は、たとえば、ＣＰＵである。
【００２４】
なお、プロセッサ２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、プロセッサ２１は、ハードウエア回路により実行される機能を制御する。
【００２５】
ＲＯＭ２２は、予め制御用のプログラム及び制御データなどを記憶する不揮発性のメモリである。ＲＯＭ２２は、製造段階で制御プログラム及び制御データなどを記憶した状態でチェックアウト装置１に組み込まれる。即ち、ＲＯＭ２２に記憶される制御プログラム及び制御データは、予めチェックアウト装置１の仕様に応じて組み込まれる。
【００２６】
ＲＡＭ２３は、揮発性のメモリである。ＲＡＭ２３は、プロセッサ２１の処理中のデータなどを一時的に格納する。ＲＡＭ２３は、プロセッサ２１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ２３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【００２７】
ＮＶＭ２４（非一時的可読記憶媒体）は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ２４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（登録商標）又はフラッシュメモリなどから構成される。ＮＶＭ２４は、チェックアウト装置１の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
【００２８】
ＮＶＭ２４は、商品情報を格納する。商品情報は、商品に関する情報である。商品情報は、商品コードと辞書情報と商品の外寸と対応付けて格納する。  
商品コードは、商品を特定する情報である。たとえば、商品コードは、数字、文字、記号又はそれらの組合せである。
【００２９】
辞書情報は、商品領域の画像と比較して商品領域の商品１０を特定するための情報である。たとえば、辞書情報は、商品画像又は商品画像の特徴量などである。たとえば、特徴量は、濃度勾配又は色ヒストグラムなどである。
【００３０】
商品の外寸は、商品の各面の長さである。即ち、商品の外寸は、商品を所定面に置いた場合に所定面から商品の上面までの高さである。たとえば、商品の外寸は、商品を置いた所定面から最も高い位置までの高さである。
【００３１】
なお、商品情報は、さらに、商品の各面の面積、商品名及び価格などを備えてもよい。商品情報の構成は、特定の構成に限定されるものではない。
【００３２】
ＮＶＭ２４は、予め各商品に関する商品情報を格納する。たとえば、プロセッサ２１は、外部装置から商品情報を受信し、ＮＶＭ２４に格納する。また、商品情報は、適宜更新されてもよい。
【００３３】
カメラインターフェース２５（画像インターフェース）は、プロセッサ２１がカメラ３と通信するためのインターフェースである。たとえば、プロセッサ２１は、カメラインターフェース２５を通じて、カメラ３に画像を取得させる信号を送信する。また、プロセッサ２１は、カメラインターフェース２５を通じて撮影のためのカメラパラメータをカメラ３に設定してもよい。
【００３４】
また、カメラインターフェース２５は、カメラ３が撮影した画像を取得する。カメラインターフェース２５は、取得した画像をプロセッサ２１へ送信する。プロセッサ２１は、カメラインターフェース２５からカメラ３が撮影した画像を取得する。
【００３５】
ディスプレイインターフェース２６は、プロセッサ２１がディスプレイ４と通信するためのインターフェースである。たとえば、プロセッサ２１は、ディスプレイインターフェース２６を通じて、ディスプレイ４に表示画面を送信する。
【００３６】
操作部インターフェース２７は、プロセッサ２１が操作部５と通信するためのインターフェースである。たとえば、プロセッサ２１は、操作部インターフェース２７を通じて、操作部５に入力された操作を示す信号を受信する。
【００３７】
距離センサインターフェース２８（距離情報インターフェース）は、プロセッサ２１が距離センサ７と通信するためのインターフェースである。たとえば、プロセッサ２１は、距離センサインターフェース２８を通じて距離センサ７から距離情報を取得する。
【００３８】
プロジェクタインターフェース２９は、プロセッサ２１がプロジェクタ８と通信するためのインターフェースである。たとえば、プロセッサ２１は、プロジェクタインターフェース２９を通じて、プロジェクタ８に投影させる投影画像をプロジェクタ８に送信する。
【００３９】
スピーカインターフェース３０は、プロセッサ２１がスピーカ９と通信するためのインターフェースである。たとえば、プロセッサ２１は、スピーカインターフェース３０を通じて、スピーカ９に警告音などを出力させる信号を送信する。
【００４０】
次に、プロセッサ２１が実現する機能について説明する。以下の機能は、プロセッサ２１がＮＶＭ２４などに格納されるプログラムを実行することで実現される。  
まず、プロセッサ２１は、商品１０が配置された所定の場所（配置場所）を撮影した画像（撮影画像）を取得する機能を有する。ここでは、プロセッサ２１は、設置台６上に配置された商品１０を撮影した画像を取得する。
【００４１】
たとえば、プロセッサ２１は、設置台６上に利用者によって商品１０が配置されたことを検知する。たとえば、プロセッサ２１は、設置台６からの信号に基づいて設置台６上に商品１０が配置されたことを検知する。なお、プロセッサ２１は、カメラ３からの画像に基づいて設置台６上に商品１０が配置されたことを検知してもよい。また、プロセッサ２１は、利用者から商品１０を設置台６上に配置したことを示す操作を受け付けてもよい。
【００４２】
プロセッサ２１は、商品１０が配置されたことを検知すると、商品１０を含む画像を撮影する。たとえば、プロセッサ２１は、カメラ３に対して撮影を行う信号を送信する。プロセッサ２１は、カメラ３から撮影画像を取得する。なお、プロセッサ２１は、画像を撮影するために、撮影パラメータをカメラ３に設定してもよい。  
なお、プロセッサ２１は、外部装置から撮影画像を取得してもよい。
【００４３】
また、プロセッサ２１は、距離センサ７から距離情報を取得する機能を有する。  
たとえば、プロセッサ２１は、距離センサ７に対して距離の測定を行う信号を送信する。プロセッサ２１は、距離センサ７から距離情報を取得する。
【００４４】
また、プロセッサ２１は、撮影画像から商品が写る商品領域を抽出する機能を有する。
プロセッサ２１は、撮影画像に基づいて商品領域を抽出する。たとえば、プロセッサ２１は、エッジ検出などを行い撮影画像から商品領域を抽出する。
【００４５】
また、プロセッサ２１は、距離情報に基づいて商品領域を抽出してもよい。商品１０が配置される領域（商品領域）は、商品１０の高さの分だけ基準点又は基準面に近づく。したがって、プロセッサ２１は、設置台６までの距離よりも近い距離にある領域を商品領域として特定する。
【００４６】
また、プロセッサ２１は、撮影画像及び距離情報に基づいて商品領域を抽出してもよい。  
プロセッサ２１が商品領域を抽出する方法は、特定の方法に限定されるものではない。
【００４７】
また、プロセッサ２１は、商品領域内の商品１０（第１の物品）を特定する機能を有する。  
たとえば、商品１０が自身を特定する識別情報を備える場合、プロセッサ２１は、識別情報に基づいて商品を特定する。たとえば、識別情報は、バーコード、ＱＲコード（登録商標）、文字、数字又はマークなどである。プロセッサ２１は、商品画像から識別情報を検索し、発見した識別情報を読み取る。プロセッサ２１は、読取結果に基づいて、商品画像の商品を示す商品コードを取得する。
【００４８】
また、プロセッサ２１は、オブジェクト認識で商品１０を特定してもよい。プロセッサ２１は、ＮＶＭ２４などから各商品情報の辞書情報を取得する。
【００４９】
たとえば、プロセッサ２１は、辞書情報と商品領域の画像とを比較する。プロセッサ２１は、商品領域の画像とマッチする辞書情報に対応する商品情報の商品コードを、商品画像の商品を示す商品コードとして特定する。  
なお、プロセッサ２１が商品を特定する方法は、特定の方法に限定されるものではない。
【００５０】
また、プロセッサ２１は、特定された商品１０に予め設定された外寸を取得する機能を有する。  
たとえば、プロセッサ２１は、ＮＶＭ２４から、特定された商品の商品コードを含む商品情報を取得する。プロセッサ２１は、取得した商品情報が含む外寸を予め設定された外寸として取得する。なお、プロセッサ２１は、外部装置から商品の外寸を取得してもよい。
【００５１】
また、プロセッサ２１は、商品に予め設定された外寸に基づいて、特定された商品１０が他の商品（第２の物品）と重なっているかを判定する機能を有する。  
プロセッサ２１は、距離情報に基づいて、設置台６までの距離と商品領域までの距離との差を算出して、商品領域に置かれた商品１０の高さを算出する。
【００５２】
プロセッサ２１は、商品１０の高さと予め設定された外寸とを比較する。なお、プロセッサ２１は、商品のいずれの面が上に向いているかを判定して、当該面と対向する面との間の外寸と商品の高さを比較する。
【００５３】
プロセッサ２１は、商品１０の高さと予め設定された外寸とが一致するか判定する。プロセッサ２１は、商品１０の高さと外寸との差が一定の閾値以下にある場合には、両者が一致すると判定してもよい。
【００５４】
商品１０の高さと予め設定された外寸とが一致すると判定すると、プロセッサ２１は、商品１０が他の商品と重なっていないと判定する。また、商品１０の高さと予め設定された外寸とが一致しないと判定すると、プロセッサ２１は、商品１０が他の商品と重なっていると判定する。
【００５５】
なお、プロセッサ２１は、商品領域の面積と予め設定された商品１０の面積とに基づいて商品１０が他の商品と重なっているかを判定してもよい。たとえば、プロセッサ２１は、商品領域の面積が予め設定された面積よりも大きい場合には、商品１０が他の商品と重なっていると判定する。
【００５６】
次に、重なった商品１０の例について説明する。  
図３Ａ及びＢは、設置台６上に商品１０が重ねて配置された例を示す。図３Ａは、設置台６を横から見た図である。図３Ｂは、設置台６を上から見た図である。
【００５７】
図３Ａ及びＢに示すように、商品Ａは、商品Ｂ上に配置される。また、商品Ａは、商品Ｂよりも大きく、商品Ｂを覆う。そのため、撮影画像には、商品Ｂは、写らない。その結果、プロセッサ２１は、商品Ｂを特定することができない。
【００５８】
図４Ａ及びＢは、設置台６上に商品１０が重ねて配置された他の例を示す。図３Ａ及びＢと同様に、図４Ａは、設置台６を横から見た図である。図４Ｂは、設置台６を上から見た図である。
【００５９】
図４Ａ及びＢに示すように、商品Ｃは、商品Ｄ上に配置される。また、商品Ｃは、商品Ｄよりも小さい。そのため、撮影画像には、商品Ｄの一部は、写る。しかしながら、商品Ｄの情報が不足するため、商品Ｄの特定精度は、低下する。
【００６０】
図５Ａ及びＢは、設置台６上に商品１０が重ねて配置されたさらに他の例を示す。図３Ａ及びＢと同様に、図５Ａは、設置台６を横から見た図である。図５Ｂは、設置台６を上から見た図である。
【００６１】
図５Ａ及びＢに示すように、商品Ｅは、商品Ｆ上に配置される。また、商品Ｅは、商品Ｆよりもかなり小さい。そのため、撮影画像には、商品Ｆの大部分は、写る。よって、プロセッサ２１は、商品Ｆを特定できる可能性がある。しかしながら、商品Ｅの下に他の商品がある場合、プロセッサ２１は、当該商品を特定することができない。
【００６２】
また、プロセッサ２１は、特定された商品１０が他の商品と重なっている場合、特定された商品１０を設置台６上に移動することを促す機能を有する。  
プロセッサ２１は、プロジェクタ８を通じて設置台６上に表示する警告画面を生成する。警告画面は、利用者に対して、商品１０を設置台６上に移動することを促す。警告画面は、商品１０が他の商品と重なっていること、及び、商品１０の移動先などを示す。ここでは、警告画面は、商品１０が他の商品と重なっていることを示す画像及び商品１０の移動先などを示す画像のシーケンスである。
【００６３】
プロセッサ２１は、警告画面として、設置台６に映し出すプロジェクションマッピングの画像を生成する。たとえば、プロセッサ２１は、警告画面として、特定された商品１０を移動するアニメーションなどを生成する。
【００６４】
プロセッサ２１は、プロジェクタ８を通じて設置台６上に、生成した警告画面を表示する。
【００６５】
図６Ａ及びＢは、警告画面の例を示す図である。ここでは、設置台６上には、商品Ｇ及び商品Ｈが配置されるものとする。また、商品Ｇは、商品Ｈ上に配置される。プロセッサ２１は、商品Ｇを特定したものとする。
【００６６】
図６Ａは、重なり合いがあることを示す警告画面の例である。また、図６Ｂは、商品の移動先を示す警告画面の例である。
【００６７】
図６Ａが示す警告画面は、商品Ｇが他の商品と重なっていることを示す。警告画面は、「ＮＧ」を表示して商品Ｇが他の商品と重なっていることを示す。
【００６８】
図６Ｂが示す警告画面は、商品Ｇの移動先を示す。警告画面は、商品Ｇに重なる矢印を表示する。警告画面は、矢印の先に商品Ｇを移動させることを促す。なお、警告画面は、アニメーションであってもよい。たとえば、警告画面は、商品Ｇが所定の位置まで移動するアニメーションであってもよい。
【００６９】
プロセッサ２１は、図６Ａが示す警告画面を表示した後に、図６Ｂが示す警告画面を表示してもよい。また、プロセッサ２１は、両警告画面を交互に表示してもよい。  
プロセッサ２１は、商品配置の見直しを促す警告画面を表示してもよい。警告画面の内容は、特定の構成に限定されるものではない。
【００７０】
また、プロセッサ２１は、スピーカ９を通じて、商品１０を移動させることを促すメッセージを音声で出力してもよい。  
また、プロセッサ２１は、ディスプレイ４に、商品１０を移動させることを促すメッセージを表示してもよい。
【００７１】
また、プロセッサ２１は、特定された商品１０が移動されたことを検知する機能を有する。  
プロセッサ２１は、警告画面を投影すると、特定された商品１０が利用者によって移動されたか判定する。たとえば、プロセッサ２１は、カメラ３からの撮影画像に基づいて、特定された商品１０が移動されたかを判定する。
【００７２】
また、プロセッサ２１は、距離情報に基づいて利用者が商品１０に触れたかを判定してもよい。プロセッサ２１は、利用者が商品１０に触れたと判定した場合に商品１０が移動されたと判定する。
【００７３】
また、プロセッサ２１は、操作部５を通じて、商品１０を移動したことを示す操作を利用者から受け付けてもよい。  
プロセッサ２１が商品１０の移動を検知する方法は、特定の方法に限定されるものではない。
【００７４】
また、プロセッサ２１は、特定された商品１０に関する情報を提示する機能を有する。
プロセッサ２１は、プロジェクタ８を通じて設置台６上に表示する認識結果画面を生成する。認識結果画面は、利用者に対して、設置台６上にある商品１０の特定に成功したこと及び商品１０に関する情報などを示す。
【００７５】
たとえば、プロセッサ２１は、特定した商品の商品コードを含む商品情報を取得し、当該商品情報などに基づいて認識結果画面を生成する。
【００７６】
図７Ａ及びＢは、認識結果画面の例を示す図である。ここでは、設置台６上には、商品Ｇ及び商品Ｈが配置されるものとする。プロセッサ２１は、商品Ｇ及び商品Ｈを特定したものとする。
【００７７】
図７Ａは、商品１０の特定に成功したことを示す認識結果画面の例である。また、図７Ｂは、商品１０の情報を表示する認識結果画面の例である。
【００７８】
図７Ａが示す認識結果画面は、商品Ｇ及び商品Ｈを特定したことを示す。即ち、認識結果画面は、他の商品と重なっている商品がないことを示す。認識結果画面は、「ＯＫ」を商品Ｇ及び商品Ｈの周辺にそれぞれ表示して、商品Ｇ及び商品Ｈを特定したことを示す。
【００７９】
図７Ｂが示す認識結果画面は、商品Ｇ及び商品Ｈに関する情報を示す。認識結果画面は、商品Ｇ及び商品Ｈの商品名及び価格を示す。また、認識結果画面は、商品Ｇ及び商品Ｈの合計額を示す。
【００８０】
プロセッサ２１は、図７Ａが示す認識結果画面を表示した後に、図７Ｂが示す認識結果画面を表示してもよい。また、プロセッサ２１は、両認識結果画面を交互に表示してもよい。  
認識結果画面の内容は、特定の構成に限定されるものではない。
【００８１】
また、プロセッサ２１は、特定された商品１０を決済する機能を有する。  
プロセッサ２１は、特定された商品１０の商品情報などから代金を取得する。また、プロセッサ２１は、外部装置から特定された商品１０の代金を取得してもよい。
【００８２】
プロセッサ２１は、商品の代金に基づいて商品を決済する。たとえば、プロセッサ２１は、利用者からクレジットカード情報の入力を受け付ける。たとえば、プロセッサ２１は、クレジットカードリーダなどを用いてクレジットカード情報を取得してもよい。プロセッサ２１は、クレジットカード情報に基づいて商品を決済する。
【００８３】
また、プロセッサ２１は、現金、デビットカード又は電子マネーなどを用いて商品を決済してもよい。プロセッサ２１が商品を決済する方法は、特定の方法に限定されるものではない。
【００８４】
次に、チェックアウト装置１の動作例について説明する。  
図８は、チェックアウト装置１の動作例を説明するためのフローチャートである。
【００８５】
まず、チェックアウト装置１のプロセッサ２１は、設置台６に商品１０が配置されたか判定する（ＡＣＴ１１）。設置台６に商品１０が配置されていないと判定すると（ＡＣＴ１１、ＮＯ）、プロセッサ２１は、ＡＣＴ１１に戻る。
【００８６】
設置台６に商品１０が配置されたと判定すると（ＡＣＴ１１、ＹＥＳ）、プロセッサ２１は、カメラ３を通じて商品１０を写した撮影画像を取得する（ＡＣＴ１２）。撮影画像を取得すると、プロセッサ２１は、距離センサ７から距離情報を取得する（ＡＣＴ１３）。
【００８７】
距離情報を取得すると、プロセッサ２１は、撮影画像から商品領域を抽出する（ＡＣＴ１４）。商品領域を抽出すると、プロセッサ２１は、商品領域内の商品１０を特定する（ＡＣＴ１５）。
【００８８】
商品１０を特定すると、プロセッサ２１は、特定された商品１０と他の商品が重なっているか判定する（ＡＣＴ１６）。特定された商品１０と他の商品が重なっていると判定すると（ＡＣＴ１６、ＹＥＳ）、プロセッサ２１は、商品１０を移動することを促す警告画面を生成する（ＡＣＴ１７）。
【００８９】
警告画面を生成すると、プロセッサ２１は、プロジェクタ８を通じて、生成された警告画面を設置台６上に投影する（ＡＣＴ１８）。警告画面を投影すると、プロセッサ２１は、特定された商品１０が移動されたか判定する（ＡＣＴ１９）。
【００９０】
特定された商品１０が移動されていないと判定すると（ＡＣＴ１９、ＮＯ）、プロセッサ２１は、ＡＣＴ１９に戻る。なお、プロセッサ２１は、警告画面を投影し続けてもよい。
【００９１】
特定された商品１０が移動されたと判定すると（ＡＣＴ１９、ＹＥＳ）、プロセッサ２１は、ＡＣＴ１２に戻る。
【００９２】
特定された商品１０と他の商品が重なっていないと判定すると（ＡＣＴ１６、ＮＯ）、プロセッサ２１は、特定された商品１０に関する認識結果画面を生成する（ＡＣＴ２０）。認識結果画面を生成すると、プロセッサ２１は、プロジェクタ８を通じて、生成された認識結果画面を設置台６上に投影する（ＡＣＴ２１）。
【００９３】
生成された認識結果画面を設置台６上に投影すると、プロセッサ２１は、特定された商品１０を決済する（ＡＣＴ２２）。特定された商品１０を決済すると、プロセッサ２１は、動作を終了する。
【００９４】
なお、プロセッサ２１は、複数の商品１０が他の商品を重なっていると判定した場合、各商品１０を移動することを促す警告画面を投影してもよい。
【００９５】
以上のように構成されたチェックアウト装置は、商品が重なって配置されたことを検知する。チェックアウト装置は、商品が重なっている場合、上にある商品を設置台上に移動することを促す。チェックアウト装置は、移動が完了すると、再度、商品を特定する。
【００９６】
その結果、チェックアウト装置は、商品が重なっていない状態で商品を特定することができる。よって、チェックアウト装置は、適正に商品を特定することができる。
（第２の実施形態）
次に、第２の実施形態について説明する。  
第２の実施形態に係るチェックアウト装置１は、他の商品と重なった商品１０の移動先がない場合に、重なった当該商品１０を取り出すことを促す点で第１の実施形態のそれと異なる。従って、他の構成については、同一の符号を付して詳細な説明を省略する。
【００９７】
第２の実施形態に係るチェックアウト装置１の構成は、第1の実施形態に係るそれと同様であるため説明を省略する。
【００９８】
次に、プロセッサ２１が実現する機能について説明する。以下の機能は、プロセッサ２１がＮＶＭ２４などに格納されるプログラムを実行することで実現される。  
また、プロセッサ２１は、特定された商品１０が他の商品と重なっている場合、特定された商品１０の移動先があるかを判定する機能を有する。
【００９９】
たとえば、プロセッサ２１は、特定された商品１０の商品領域の面積及び形状などに基づいて特定された商品１０の移動先があるかを判定する。プロセッサ２１は、商品領域以外の領域を設置台６が写る領域と判定する。プロセッサ２１は、設置台６が写る領域に特定された商品１０の商品領域が入るスペースがあるかを判定する。プロセッサ２１は、スペースがない場合、特定された商品１０の移動先がないと判定する。
【０１００】
また、プロセッサ２１は、特定された商品１０の移動先がない場合、特定された商品１０を取り出すことを促す機能を有する。  
プロセッサ２１は、プロジェクタ８を通じて設置台６上に表示する警告画面を生成する。警告画面は、利用者に対して、商品１０を取り出すことを促す。警告画面は、商品１０が他の商品と重なっていること、及び、商品１０を取り出すことなどを示す。ここでは、警告画面は、商品１０が他の商品と重なっていることを示す画像及び商品１０を取り出すことを促す画像のシーケンスである。
【０１０１】
プロセッサ２１は、警告画面として、設置台６に映し出すプロジェクションマッピングの画像を生成する。たとえば、プロセッサ２１は、警告画面として、特定された商品１０を取り出すアニメーションなどを生成する。
【０１０２】
プロセッサ２１は、プロジェクタ８を通じて設置台６上に、生成した警告画面を表示する。  
なお、警告画面の内容は、特定の構成に限定されるものではない。
【０１０３】
また、プロセッサ２１は、スピーカ９を通じて、商品１０を取り出すことを促すメッセージを音声で出力してもよい。  
また、プロセッサ２１は、ディスプレイ４に、商品１０を取り出すことを促すメッセージを表示してもよい。
【０１０４】
また、プロセッサ２１は、特定された商品１０が取り出されたことを検知する機能を有する。  
プロセッサ２１は、警告画面を投影すると、特定された商品１０が利用者によって取り出されたか判定する。たとえば、プロセッサ２１は、カメラ３からの撮影画像に基づいて、特定された商品１０が取り出されたか判定する。
【０１０５】
また、プロセッサ２１は、距離情報に基づいて利用者が商品１０に触れたかを判定してもよい。プロセッサ２１は、利用者が商品１０に触れたと判定した場合に商品１０が取り出されたと判定する。
【０１０６】
また、プロセッサ２１は、操作部５を通じて、商品１０を取り出したことを示す操作を利用者から受け付けてもよい。
【０１０７】
プロセッサ２１が商品１０の取り出しを検知する方法は、特定の方法に限定されるものではない。
【０１０８】
なお、プロセッサ２１は、特定された商品１０が取り出されたと判定すると、撮影画像を取得して他の商品を特定する。また、プロセッサ２１は、他の商品を特定すると、再度、はじめに特定された商品１０を配置することを促し当該商品１０を特定する。
【０１０９】
次に、チェックアウト装置１が商品を特定する動作例について説明する。  
図９Ａ乃至Ｃは、チェックアウト装置１が商品を特定する動作例を説明するための図である。図９Ａ乃至Ｃが示す例では、設置台６上に、商品Ｉ、Ｊ及びＫがあるものとする。また、商品Ｉは、商品Ｋ上にあるものとする。
【０１１０】
まず、チェックアウト装置１のプロセッサ２１は、設置台６上の商品を特定する。ここでは、図９Ａが示すように、プロセッサ２１は、商品Ｉ及び商品Ｊを特定する。
【０１１１】
プロセッサ２１は、商品Ｉが他の商品（ここでは、商品Ｋ）上に重なっているものと判定する。そのため、プロセッサ２１は、商品Ｉの近傍に「ＮＧ」を表示する。なお、プロセッサ２１は、商品Ｊの近傍に、商品Ｊが他の商品と重なっていないことを示す「ＯＫ」を表示する。
【０１１２】
プロセッサ２１は、商品Ｉを取り出す警告画面を投影する。ここでは、利用者は、警告画面に従って商品Ｉを取り出すものとする。
【０１１３】
プロセッサ２１は、商品Ｉが取り出されたことを検知すると、商品Ｋ及び商品Ｊを特定する。図９Ｂが示すように、プロセッサ２１は、商品Ｋ及び商品Ｊを特定し、各商品の近傍に「ＯＫ」を表示する。
【０１１４】
プロセッサ２１は、商品Ｋ及び商品Ｊを特定すると、商品Ｉを配置することを利用者に促す。ここでは、利用者は、商品Ｉを配置するものとする。
【０１１５】
プロセッサ２１は、配置された商品Ｉを特定する。図９Ｃが示すように、プロセッサ２１は、商品Ｉを特定し、商品Ｉの近傍に「ＯＫ」を表示する。
【０１１６】
次に、チェックアウト装置１の動作例について説明する。  
図１０は、チェックアウト装置１の動作例を説明するためのフローチャートである。
【０１１７】
まず、チェックアウト装置１のプロセッサ２１は、設置台６に商品１０が配置されたか判定する（ＡＣＴ３１）。設置台６に商品１０が配置されていないと判定すると（ＡＣＴ３１、ＮＯ）、プロセッサ２１は、ＡＣＴ３１に戻る。
【０１１８】
設置台６に商品１０が配置されたと判定すると（ＡＣＴ３１、ＹＥＳ）、プロセッサ２１は、カメラ３を通じて商品１０を写した撮影画像を取得する（ＡＣＴ３２）。撮影画像を取得すると、プロセッサ２１は、距離センサ７から距離情報を取得する（ＡＣＴ３３）。
【０１１９】
距離情報を取得すると、プロセッサ２１は、撮影画像から商品領域を抽出する（ＡＣＴ３４）。商品領域を抽出すると、プロセッサ２１は、商品領域内の商品１０を特定する（ＡＣＴ３５）。
【０１２０】
商品１０を特定すると、プロセッサ２１は、特定された商品１０と他の商品が重なっているか判定する（ＡＣＴ３６）。特定された商品１０と他の商品が重なっていると判定すると（ＡＣＴ３６、ＹＥＳ）、プロセッサ２１は、特定された商品１０の移動先があるか判定する（ＡＣＴ３７）。
【０１２１】
特定された商品１０の移動先がないと判定すると（ＡＣＴ３７、ＮＯ）、プロセッサ２１は、特定された商品１０を取り出すことを促す警告画面を生成する（ＡＣＴ３８）。警告画面を生成すると、プロセッサ２１は、プロジェクタ８を通じて、生成された警告画面を投影する（ＡＣＴ３９）。
【０１２２】
警告画面を投影すると、プロセッサ２１は、特定された商品１０が取り出されたか判定する（ＡＣＴ４０）。特定された商品１０が取り出されていないと判定すると（ＡＣＴ４０、ＮＯ）、プロセッサ２１は、ＡＣＴ４０に戻る。なお、プロセッサ２１は、警告画面を投影し続けてもよい。
【０１２３】
特定された商品１０が取り出されたと判定すると（ＡＣＴ４０、ＹＥＳ）、プロセッサ２１は、ＡＣＴ３２に戻る。
【０１２４】
特定された商品１０の移動先があると判定すると（ＡＣＴ３７、ＹＥＳ）、プロセッサ２１は、特定された商品１０を移動させることを促す警告画面を生成する（ＡＣＴ４１）。
【０１２５】
警告画面を生成すると、プロセッサ２１は、プロジェクタ８を通じて、生成された警告画面を設置台６上に投影する（ＡＣＴ４２）。警告画面を投影すると、プロセッサ２１は、特定された商品１０が移動されたか判定する（ＡＣＴ４３）。
【０１２６】
特定された商品１０が移動されていないと判定すると（ＡＣＴ４３、ＮＯ）、プロセッサ２１は、ＡＣＴ４３に戻る。なお、プロセッサ２１は、警告画面を投影し続けてもよい。
【０１２７】
特定された商品１０が移動されたと判定すると（ＡＣＴ４３、ＹＥＳ）、プロセッサ２１は、ＡＣＴ３２に戻る。
【０１２８】
特定された商品１０と他の商品が重なっていないと判定すると（ＡＣＴ３６、ＮＯ）、プロセッサ２１は、取り出した商品１０があるか判定する（ＡＣＴ４４）。取り出した商品１０があると判定すると（ＡＣＴ４４、ＹＥＳ）、プロセッサ２１は、ＡＣＴ３２に戻る。なお、プロセッサ２１は、取り出した商品１０を設置台６上に配置することを促すメッセージなどを表示してもよい。
【０１２９】
取り出した商品１０がない（又は、取り出した商品１０の特定を完了した）と判定すると（ＡＣＴ４４、ＮＯ）、プロセッサ２１は、特定された商品１０に関する認識結果画面を生成する（ＡＣＴ４５）。認識結果画面を生成すると、プロセッサ２１は、プロジェクタ８を通じて、生成された認識結果画面を設置台６上に投影する（ＡＣＴ４６）。
【０１３０】
生成された認識結果画面を設置台６上に投影すると、プロセッサ２１は、特定された商品１０を決済する（ＡＣＴ４７）。特定された商品１０を決済すると、プロセッサ２１は、動作を終了する。
【０１３１】
なお、プロセッサ２１は、複数の商品が他の商品に重なっていると判定した場合、当該複数の商品を取り出すことを促してもよい。また、プロセッサ２１は、下にある商品を特定した後に、取り出した複数の商品を配置することを促してもよい。
【０１３２】
以上のように構成されたチェックアウト装置は、設置台上に商品の移動先がない場合に、当該商品を取り出すことを促す。チェックアウト装置は、取り出しが完了すると、再度、商品を特定する。
【０１３３】
その結果、チェックアウト装置は、設置台上に商品の移動先がない場合であっても、商品が重なっていない状態で商品を特定することができる。
（第３の実施形態）
次に、第３の実施形態について説明する。  
第３の実施形態に係るチェックアウト装置１は、他の商品と重なった商品１０の移動先がない場合に、重なっていない商品を取り出すことを促す点で第２の実施形態のそれと異なる。従って、他の構成については、同一の符号を付して詳細な説明を省略する。
【０１３４】
第３の実施形態に係るチェックアウト装置１の構成は、第２の実施形態に係るそれと同様であるため説明を省略する。
【０１３５】
次に、プロセッサ２１が実現する機能について説明する。以下の機能は、プロセッサ２１がＮＶＭ２４などに格納されるプログラムを実行することで実現される。  
また、プロセッサ２１は、重なっている商品１０の移動先がない場合、重なっていない他の商品１０（第３の物品）を取り出し重なっている商品１０を設置台６上に移動することを促す機能を有する。
【０１３６】
プロセッサ２１は、プロジェクタ８を通じて設置台６上に表示する警告画面を生成する。警告画面は、利用者に対して、重なっていない他の商品１０を取り出すこと、及び、重なっている商品１０を移動することなどを促す。ここでは、警告画面は、重なっていない他の商品１０を取り出すことを促す画像及び、重なっている商品１０を移動することを促す画像のシーケンスである。
【０１３７】
プロセッサ２１は、警告画面として、設置台６に映し出すプロジェクションマッピングの画像を生成する。たとえば、プロセッサ２１は、警告画面として、重なっていない他の商品１０を取り出し重なっている商品１０を所定の移動先に移動するアニメーションなどを生成する。
【０１３８】
プロセッサ２１は、プロジェクタ８を通じて設置台６上に、生成した警告画面を表示する。  
なお、警告画面の内容は、特定の構成に限定されるものではない。
【０１３９】
また、プロセッサ２１は、スピーカ９を通じて、重なっていない他の商品１０を取り出し重なっている商品１０を設置台６上に移動することを促すメッセージを音声で出力してもよい。  
また、プロセッサ２１は、ディスプレイ４に、重なっていない他の商品１０を取り出し重なっている商品１０を設置台６上に移動することを促すメッセージを表示してもよい。
【０１４０】
また、プロセッサ２１は、重なっていない他の商品１０を取り出され重なっている商品１０を設置台６上に移動されたことを検知する機能を有する。  
プロセッサ２１は、警告画面を投影すると、重なっていない他の商品１０が取り出されたか判定する。たとえば、プロセッサ２１は、カメラ３からの撮影画像に基づいて、当該商品１０が取り出されたか判定する。
【０１４１】
また、プロセッサ２１は、距離情報に基づいて利用者が当該商品１０に触れたかを判定してもよい。プロセッサ２１は、利用者が当該商品１０に触れたと判定した場合に当該商品１０が取り出されたと判定する。
【０１４２】
当該商品が取り出されたと判定すると、重なっている商品１０が移動されたかを判定する。たとえば、プロセッサ２１は、カメラ３からの撮影画像に基づいて、当該商品１０が移動されたか判定する。
【０１４３】
また、プロセッサ２１は、距離情報に基づいて利用者が当該商品１０に触れたかを判定してもよい。プロセッサ２１は、利用者が当該商品１０に触れたと判定した場合に当該商品１０が移動されたと判定する。
【０１４４】
また、プロセッサ２１は、操作部５を通じて、重なっていない他の商品１０を取り出し重なっている商品１０を設置台６上に移動したことを示す操作を利用者から受け付けてもよい。
【０１４５】
プロセッサ２１が各商品１０の取り出し及び移動を検知する方法は、特定の方法に限定されるものではない。
【０１４６】
次に、チェックアウト装置１が商品を特定する動作例について説明する。  
図１１Ａ乃至Ｃは、チェックアウト装置１が商品を特定する動作例を説明するための図である。図１１Ａ乃至Ｃが示す例では、設置台６上に、商品Ｉ、Ｊ及びＫがあるものとする。また、商品Ｉは、商品Ｋ上にあるものとする。
【０１４７】
まず、チェックアウト装置１のプロセッサ２１は、設置台６上の商品を特定する。ここでは、図１１Ａが示すように、プロセッサ２１は、商品Ｉ及び商品Ｊを特定する。
【０１４８】
プロセッサ２１は、商品Ｉが他の商品（ここでは、商品Ｋ）上に重なっているものと判定する。そのため、プロセッサ２１は、商品Ｉの近傍に「ＮＧ」を表示する。なお、プロセッサ２１は、商品Ｊの近傍に、商品Ｊが他の商品と重なっていないことを示す「ＯＫ」を表示する。
【０１４９】
プロセッサ２１は、商品Ｊを取り出し商品Ｉを移動することを促す警告画面を投影する。ここでは、利用者は、警告画面に従って商品Ｊを取り出し商品Ｉを移動するものとする。
【０１５０】
図１１Ｂが示すように、利用者は、商品Ｊを取り出した後に、商品Ｉを商品Ｊがあった場所に移動する。
【０１５１】
プロセッサ２１は、商品Ｊが取り出され商品Ｉが移動されたことを検知すると、商品Ｋ及び商品Ｊを特定する。図１１Ｃが示すように、プロセッサ２１は、商品Ｋ及び商品Ｊを特定し、各商品の近傍に「ＯＫ」を表示する。
【０１５２】
次に、チェックアウト装置１の動作例について説明する。  
図１２及び図１３は、チェックアウト装置１の動作例を説明するためのフローチャートである。
【０１５３】
まず、チェックアウト装置１のプロセッサ２１は、設置台６に商品１０が配置されたか判定する（ＡＣＴ５１）。設置台６に商品１０が配置されていないと判定すると（ＡＣＴ５１、ＮＯ）、プロセッサ２１は、ＡＣＴ５１に戻る。
【０１５４】
設置台６に商品１０が配置されたと判定すると（ＡＣＴ５１、ＹＥＳ）、プロセッサ２１は、カメラ３を通じて商品１０を写した撮影画像を取得する（ＡＣＴ５２）。撮影画像を取得すると、プロセッサ２１は、距離センサ７から距離情報を取得する（ＡＣＴ５３）。
【０１５５】
距離情報を取得すると、プロセッサ２１は、撮影画像から商品領域を抽出する（ＡＣＴ５４）。商品領域を抽出すると、プロセッサ２１は、商品領域内の商品１０を特定する（ＡＣＴ５５）。
【０１５６】
商品１０を特定すると、プロセッサ２１は、特定された商品１０と他の商品が重なっているか判定する（ＡＣＴ５６）。特定された商品１０と他の商品が重なっていると判定すると（ＡＣＴ５６、ＹＥＳ）、プロセッサ２１は、特定された商品１０（重なっている商品１０）の移動先があるか判定する（ＡＣＴ５７）。
【０１５７】
特定された商品１０の移動先がないと判定すると（ＡＣＴ５７、ＮＯ）、プロセッサ２１は、重なっていない他の商品１０を取り出し重なっている商品１０を移動することを促す警告画面を生成する（ＡＣＴ５８）。警告画面を生成すると、プロセッサ２１は、プロジェクタ８を通じて、生成された警告画面を投影する（ＡＣＴ５９）。
【０１５８】
警告画面を投影すると、プロセッサ２１は、重なっていない他の商品１０が取り出されたか判定する（ＡＣＴ６０）。重なっていない他の商品１０が取り出されていないと判定すると（ＡＣＴ６０、ＮＯ）、プロセッサ２１は、ＡＣＴ６０に戻る。なお、プロセッサ２１は、警告画面を投影し続けてもよい。
【０１５９】
重なっていない他の商品１０が取り出されたと判定すると（ＡＣＴ６０、ＹＥＳ）、プロセッサ２１は、重なっている商品１０が移動されたか判定する（ＡＣＴ６１）。重なっている商品１０が移動されていないと判定すると（ＡＣＴ６１、ＮＯ）、プロセッサ２１は、ＡＣＴ６１に戻る。なお、プロセッサ２１は、警告画面を投影し続けてもよい。
【０１６０】
重なっている商品１０が移動されたと判定すると（ＡＣＴ６１、ＹＥＳ）、プロセッサ２１は、ＡＣＴ５２に戻る。
【０１６１】
特定された商品１０の移動先があると判定すると（ＡＣＴ５７、ＹＥＳ）、プロセッサ２１は、特定された商品１０を移動することを促す警告画面を生成する（ＡＣＴ６２）。
【０１６２】
警告画面を生成すると、プロセッサ２１は、プロジェクタ８を通じて、生成された警告画面を設置台６上に投影する（ＡＣＴ６３）。警告画面を投影すると、プロセッサ２１は、特定された商品１０が移動されたか判定する（ＡＣＴ６４）。
【０１６３】
特定された商品１０が移動されていないと判定すると（ＡＣＴ６４、ＮＯ）、プロセッサ２１は、ＡＣＴ６４に戻る。なお、プロセッサ２１は、警告画面を投影し続けてもよい。
【０１６４】
特定された商品１０が移動されたと判定すると（ＡＣＴ６４、ＹＥＳ）、プロセッサ２１は、ＡＣＴ５２に戻る。
【０１６５】
特定された商品１０と他の商品が重なっていないと判定すると（ＡＣＴ５６、ＮＯ）、プロセッサ２１は、特定された商品１０に関する認識結果画面を生成する（ＡＣＴ６５）。認識結果画面を生成すると、プロセッサ２１は、プロジェクタ８を通じて、生成された認識結果画面を設置台６上に投影する（ＡＣＴ６６）。
【０１６６】
生成された認識結果画面を設置台６上に投影すると、プロセッサ２１は、特定された商品１０を決済する（ＡＣＴ６７）。特定された商品１０を決済すると、プロセッサ２１は、動作を終了する。
【０１６７】
なお、プロセッサ２１は、重なっていない商品１０が複数個ある場合、当該複数個の商品の一部又はいずれも取り出すことを促してもよい。また、プロセッサ２１は、重なっている商品１０が複数個ある場合、当該複数個の商品を移動することを促してもよい。
【０１６８】
また、物品認識装置は、チェックアウト装置１として構成されなくともよい。たとえば、物品認識装置は、決済処理を行わなくともよい。たとえば、物品認識装置は、物品を認識する検品装置などとして構成されてもよい。
【０１６９】
以上のように構成されたチェックアウト装置は、設置台上に商品の移動先がない場合には、重なっていない商品を取り出して商品を特定する。そのため、チェックアウト装置は、重なっている商品を取り出して再度配置することなく商品を特定することができる。その結果、チェックアウト装置は、より迅速に商品を特定することができる。
【０１７０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１７１】
１…チェックアウト装置、３…カメラ、６…設置台、７…距離センサ、８…プロジェクタ、１０…商品、２１…プロセッサ、２４…ＮＶＭ、２５…カメラインターフェース、２８…距離センサインターフェース、２９…プロジェクタインターフェース。
【図１】
2019046461.tif 000003
【図２】
2019046461.tif 000004
【図３Ａ】
2019046461.tif 000005
【図３Ｂ】
2019046461.tif 000006
【図４Ａ】
2019046461.tif 000007
【図４Ｂ】
2019046461.tif 000008
【図５Ａ】
2019046461.tif 000009
【図５Ｂ】
2019046461.tif 000010
【図６Ａ】
2019046461.tif 000011
【図６Ｂ】
2019046461.tif 000012
【図７Ａ】
2019046461.tif 000013
【図７Ｂ】
2019046461.tif 000014
【図８】
2019046461.tif 000015
【図９Ａ】
2019046461.tif 000016
【図９Ｂ】
2019046461.tif 000017
【図９Ｃ】
2019046461.tif 000018
【図１０】
2019046461.tif 000019
【図１１Ａ】
2019046461.tif 000020
【図１１Ｂ】
2019046461.tif 000021
【図１１Ｃ】
2019046461.tif 000022
【図１２】
2019046461.tif 000023
【図１３】
2019046461.tif 000024