(57)【要約】【課題】物品が重なっている場合にも物品を認識することができる物品認識装置及び物品認識方法を提供する。【解決手段】実施形態によれば、物品認識装置は、画像インターフェースと、重量インターフェースと、処理部と、を備える。画像インターフェースは、複数の物品が配置される所定の場所を撮影した画像を取得する。処理部は、第１の画像を取得し、所定のイベントを検知した後に第２の画像を取得し、前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の物品領域の画像に基づいて物品を認識し、認識した物品の登録重量を物品データベースから取得し、前記登録重量の合計と、前記第１の画像を撮影したときに重量計が計測する第１の重量と前記第２の画像を撮影したときに前記重量計が計測する第２の重量との差分重量と、が一致しない場合にエラーを出力する。【選択図】図１
2018129038.tif 000002
【特許請求の範囲】
【請求項１】
物品を認識する物品認識装置であって、
複数の物品が配置される所定の場所を撮影した画像を取得する画像インターフェースと、
前記所定の場所に配置された物品の重量を計測する重量計が計測した重量を取得する重量インターフェースと、
前記画像インターフェースを通じて第１の画像を取得し、
所定のイベントを検知した後に前記画像インターフェースを通じて第２の画像を取得し、
前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の物品領域の画像に基づいて物品を認識し、
認識した物品の登録重量を物品データベースから取得し、
前記登録重量の合計と、前記第１の画像を撮影したときに前記重量計が計測する第１の重量と前記第２の画像を撮影したときに前記重量計が計測する第２の重量との差分重量と、が一致しない場合にエラーを出力する、
処理部と、
を備える物品認識装置。
【請求項２】
ディスプレイと通信するディスプレイインターフェースを備え、
前記処理部は、
前記ディスプレイインターフェースを通じて前記ディスプレイに、前記第１の画像から抽出される前記物品領域を表示する、
前記請求項１に記載の物品認識装置。
【請求項３】
前記処理部は、
前記ディスプレイインターフェースを通じて前記ディスプレイに、前記第１の画像を表示し、前記第１の画像に前記第１の画像から抽出される前記物品領域を示す枠を表示する、
前記請求項２に記載の物品認識装置。
【請求項４】
操作を入力する操作部を備え、
前記処理部は、前記所定のイベントとして、前記操作部を通じて所定の操作を受け付ける、
前記請求項１に記載の物品認識装置。
【請求項５】
前記処理部は、前記所定のイベントとして、所定のジェスチャーを受け付ける、
前記請求項１に記載の物品認識装置。
【請求項６】
前記処理部は、
前記登録重量の前記合計と前記差分重量とが一致する場合、前記第２の画像の撮影時において前記所定の場所に物品があるか判定し、
前記第２の画像の撮影時において前記所定の場所に物品があると判定すると、前記第２の画像を第１の画像とし前記第２の重量を前記第１の重量とし、所定のイベントを検知した後に前記画像インターフェースを通じて第２の画像を取得し、前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の物品領域の画像に基づいて物品を認識し、認識した物品の登録重量を物品データベースから取得し、前記登録重量の合計と、前記第１の画像を撮影したときに前記重量計が計測する第１の重量と前記第２の画像を撮影したときに前記重量計が計測する第２の重量との差分重量と、が一致しない場合にエラーを出力する、
前記請求項１に記載の物品認識装置。
【請求項７】
前記物品データベースを含むメモリを備える、
前記請求項１に記載の物品認識装置。
【請求項８】
前記物品は、商品であり、
前記処理部は、
認識された物品に対応する価格を取得し、
前記価格に基づいて認識された前記物品を決済する、
前記請求項１に記載の物品認識装置。
【請求項９】
前記処理部は、
前記第１の画像と前記第２の画像との差分画像を生成し、前記差分画像に基づいてマスク画像を生成し、前記マスク画像に基づいて前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の前記物品領域の画像を生成する、
前記請求項１に記載の物品認識装置。
【請求項１０】
物品を認識する物品認識方法であって、
複数の物品が配置された所定の場所を撮影した第１の画像を取得し、
所定のイベントを検知した後に前記所定の場所を撮影した第２の画像を取得し、
前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の物品領域の画像に基づいて物品を認識し、
認識した物品の登録重量を物品データベースから取得し、
前記登録重量の合計と、前記第１の画像を撮影したときに前記所定の場所に配置された物品の重量を計測する重量計が計測する第１の重量と前記第２の画像を撮影したときに前記重量計が計測する第２の重量との差分重量と、が一致しない場合にエラーを出力する、
物品認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、物品認識装置及び物品認識方法に関する。
【背景技術】
【０００２】
物品処理装置には、台上に配置される物品を撮影した画像に基づいて物品を認識するものがある。物品処理装置は、画像から物品がある物品領域を特定し、バーコードなどの読み取り又はオブジェクト認識などで物品領域の物品を認識する。
【０００３】
従来、物品処理装置は、複数の物品が重ねて設置される場合に、物品を認識することができないという課題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１９０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の課題を解決するために、物品が重なっている場合にも物品を認識することができる物品認識装置及び物品認識方法を提供する。
【課題を解決するための手段】
【０００６】
実施形態によれば、物品認識装置は、画像インターフェースと、重量インターフェースと、処理部と、を備える。画像インターフェースは、複数の物品が配置される所定の場所を撮影した画像を取得する。処理部は、第１の画像を取得し、所定のイベントを検知した後に第２の画像を取得し、前記第１の画像から抽出される物品領域のうち前記第２の画像に存在しない物品の物品領域の画像に基づいて物品を認識し、認識した物品の登録重量を物品データベースから取得し、前記登録重量の合計と、前記第１の画像を撮影したときに重量計が計測する第１の重量と前記第２の画像を撮影したときに前記重量計が計測する第２の重量との差分重量と、が一致しない場合にエラーを出力する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態に係る決済装置の構成例を概略的に示す図である。
【図２】図２は、実施形態に係る決済装置の構成例を示すブロック図である。
【図３】図３は、実施形態に係る第１の画像の例を示す図である。
【図４】図４は、実施形態に係る決済装置の表示例を示す図である。
【図５】図５は、実施形態に係る第２の画像の例を示す図である。
【図６】図６は、実施形態に係る商品領域の例を示す図である。
【図７】図７は、実施形態に係る決済装置の表示例を示す図である。
【図８】図８は、実施形態に係る決済装置の動作例を示すフローチャートである。
【図９】図９は、実施形態に係る決済装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照して説明する。  
まず、実施形態に係る決済装置について説明する。  
図１は、実施形態に係る決済装置１の構成例を概略的に示す。
【０００９】
決済装置１（物品認識装置）は、カゴ１０内の商品（物品）について決済処理する。決済装置１は、商品を販売する店舗などに設置される。たとえば、決済装置１は、カゴ１０が所定の位置に配置された場合又は所定の操作を受け付けた場合に、カゴ１０内の商品について決済処理を実行する。決済装置１は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、決済装置１は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。
【００１０】
図１が示すように、決済装置１は、筐体２、カメラ３、ディスプレイ４、操作部５及び重量計６などを備える。  
筐体２は、決済装置１の外形を形成するフレームである。筐体２は、カゴ１０を設置することができるように形成される。図１が示す例においては、筐体２は、コの字型であり、カゴ１０を積載することができるように形成される。
【００１１】
カメラ３は、カゴ１０内の商品を撮影する。図１が示す例においては、カメラ３は、カゴ１０を上方から撮影するように設置される。カメラ３は、斜め上方からカゴ１０内を撮影するように設置されてもよい。カメラ３が設置される位置及び向きは、特定の構成に限定されるものではない。  
なお、決済装置１は、複数個のカメラ３を備えてもよい。この場合、複数のカメラ３は、それぞれ異なる位置及び角度でカゴ１０内の商品を撮影するように設置されてもよい。
【００１２】
たとえば、カメラ３は、ＣＣＤカメラなどである。また、カメラ３は、不可視光を撮影するものであってもよい。カメラ３の構成は、特定の構成に限定されるものではない。  
ディスプレイ４は、後述するプロセッサ２１が出力する画像を表示する表示装置である。ディスプレイ４は、たとえば、液晶モニタなどである。
【００１３】
操作部５は、決済装置１の利用者によって、種々の操作指示が入力される。操作部５は、操作者に入力された操作指示のデータをプロセッサ２１へ送信する。操作部５は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作部５は、利用者からジェスチャーの入力を受け付けてもよい。  
ここでは、操作部５は、タッチパネルであり、ディスプレイ４と一体的に形成されているものとする。
【００１４】
重量計６は、商品の重量を計測する。重量計６は、カゴ１０が設置される面に形成される。たとえば、重量計６は、カゴ１０とカゴ１０内にある商品との重量を計測する。重量計６は、計測した重量をプロセッサ２１へ送信する。なお、重量計６は、予め設定されたカゴ１０の重量を減算した値をプロセッサ２１へ送信してもよい。
【００１５】
なお、カメラ３、ディスプレイ４、操作部５又は重量計６は、筐体２と一体的に形成されてもよい。  
また、決済装置１は、カゴ１０内の商品を照らす照明などを備えてもよい。
【００１６】
次に、決済装置１の構成例について説明する。  
図２は、決済装置１の構成例を示すブロック図である。  
図２が示すように、決済装置１は、カメラ３、ディスプレイ４、操作部５、重量計６、プロセッサ２１、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、カメラインターフェース２５、ディスプレイインターフェース２６、操作部インターフェース２７及び重量インターフェース２８などを備える。プロセッサ２１と、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、カメラインターフェース２５、ディスプレイインターフェース２６、操作部インターフェース２７及び重量インターフェース２８とは、データバスなどを介して互いに接続される。
【００１７】
カメラインターフェース２５とカメラ３とは、データバスなどを介して互いに接続される。ディスプレイインターフェース２６とディスプレイ４とは、データバスなどを介して互いに接続される。操作部インターフェース２７と操作部５とは、データバスなどを介して互いに接続される。重量インターフェース２８と重量計６とは、データバスなどを介して互いに接続される。  
なお、決済装置１は、図２が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
【００１８】
カメラ３、ディスプレイ４、操作部５及び重量計６は、前述の通りである。  
プロセッサ２１（処理部）は、決済装置１全体の動作を制御する機能を有する。プロセッサ２１は、内部キャッシュおよび各種のインターフェースなどを備えても良い。プロセッサ２１は、内部メモリ又はＮＶＭ２４などに予め記憶したプログラムを実行することにより種々の処理を実現する。プロセッサ２１は、たとえば、ＣＰＵである。
【００１９】
なお、プロセッサ２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、プロセッサ２１は、ハードウエア回路により実行される機能を制御する。
【００２０】
ＲＯＭ２２は、予め制御用のプログラム及び制御データなどを記憶する不揮発性のメモリである。ＲＯＭ２２は、製造段階で制御プログラム及び制御データなどを記憶した状態で決済装置１に組み込まれる。即ち、ＲＯＭ２２に記憶される制御プログラム及び制御データは、予め決済装置１の仕様に応じて組み込まれる。
【００２１】
ＲＡＭ２３は、揮発性のメモリである。ＲＡＭ２３は、プロセッサ２１の処理中のデータなどを一時的に格納する。ＲＡＭ２３は、プロセッサ２１からの命令に基づき種々のアプリケーションプログラムを格納している。また、ＲＡＭ２３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【００２２】
ＮＶＭ２４は、例えば、ＥＥＰＲＯＭ（登録商標）あるいはフラッシュＲＯＭなどのデータの書き込み及び書換えが可能な不揮発性のメモリにより構成される。ＮＶＭ２４は、決済装置１の運用用途に応じて制御プログラム、アプリケーション、及び種々のデータを格納する。例えば、ＮＶＭ２４では、プログラムファイル及びデータファイルなどが作成される。作成された各ファイルは、制御プログラム及び種々のデータなどが書き込まれる。
【００２３】
ＮＶＭ２４は、予め商品データベースを格納する。商品データベースは、商品に関する情報を格納する。商品データベースは、商品コードと商品の重量と対応付けて格納する。商品コードは、商品を特定する情報である。たとえば、商品コードは、数字、文字、記号又はそれらの組合せである。商品の重量は、対応する商品コードが示す商品の重量である。
【００２４】
なお、商品データベースは、さらに、商品名及び価格などを備えてもよい。商品データベースの構成は、特定の構成に限定されるものではない。たとえば、プロセッサ２１は、外部装置から商品データベースを取得し、ＮＶＭ２４に格納する。ＮＶＭ２４は、プロセッサ２１からの信号に従って適宜商品データベースを更新してもよい。
【００２５】
カメラインターフェース２５は、プロセッサ２１がカメラ３と通信するためのインターフェースである。たとえば、プロセッサ２１は、カメラインターフェース２５を通じて、カメラ３に画像を取得させる信号を送信する。また、プロセッサ２１は、カメラインターフェース２５を通じて撮影のためのカメラパラメータをカメラ３に設定してもよい。
【００２６】
また、カメラインターフェース２５（画像インターフェース）は、カメラ３が撮影した画像を取得する。カメラインターフェース２５は、取得した画像をプロセッサ２１へ送信する。プロセッサ２１は、カメラインターフェース２５からカメラ３が撮影した画像を取得する。
【００２７】
ディスプレイインターフェース２６は、プロセッサ２１がディスプレイ４と通信するためのインターフェースである。たとえば、プロセッサ２１は、ディスプレイインターフェース２６を通じて、ディスプレイ４に表示画面を送信する。
【００２８】
操作部インターフェース２７は、プロセッサ２１が操作部５と通信するためのインターフェースである。たとえば、プロセッサ２１は、操作部インターフェース２７を通じて、操作部５に入力された操作を示す信号を受信する。
【００２９】
重量インターフェース２８は、プロセッサ２１が重量計６と通信するためのインターフェースである。たとえば、プロセッサ２１は、重量インターフェース２８を通じて、重量計６から、重量計６が測定した重量を示す信号を受信する。
【００３０】
次に、プロセッサ２１が実現する機能について説明する。  
まず、プロセッサ２１は、複数の商品が配置された所定の場所を撮影した画像を取得する機能を有する。ここでは、プロセッサ２１は、カゴ１０内にある複数の商品を撮影した画像を取得する。
【００３１】
たとえば、プロセッサ２１は、所定の領域のカゴ１０が配置されたことを検知する。たとえば、プロセッサ２１は、重量計６からの信号に基づいて重量計６にカゴ１０が配置されたことを検知する。
【００３２】
プロセッサ２１は、カゴ１０が配置されたことを検知すると、カゴ１０内にある複数の商品を含む画像（第１の画像）を撮影する。たとえば、プロセッサ２１は、カメラ３に対して撮影を行う信号を送信する。プロセッサ２１は、カメラ３から第１の画像を取得する。なお、プロセッサ２１は、画像を撮影するために、撮影パラメータをカメラ３に設定してもよい。  
なお、プロセッサ２１は、外部装置から第１の画像を取得してもよい。
【００３３】
図３は、カメラ３が撮影した第１の画像の例を示す。  
図３が示す例では、第１の画像は、商品３１乃至３４の画像を含む。図３が示すように、商品３１は、商品３３の上に重なる。また、商品３２は、商品３４の上に重なる。商品３１及び３２は、商品が上部に見える状態に配置される。また、商品３３及び３４は、認識可能な程度には上部に露出していない。
【００３４】
また、プロセッサ２１は、重量計６を用いてカゴ１０内の商品の重量を取得する機能を有する。たとえば、プロセッサ２１は、重量計６から重量を示す信号を受信する。プロセッサ２１は、信号が示す重量（第１の重量）を取得する。図３が示す例では、プロセッサ２１は、商品３１乃至３４の重量（又は、さらにカゴ１０の重量）を取得する。
【００３５】
また、プロセッサ２１は、第１の画像から商品の画像領域である商品領域（物品領域）を抽出する機能を有する。  
たとえば、プロセッサ２１は、第１の画像に基づいて商品領域を抽出する。たとえば、プロセッサ２１は、エッジ検出などを行い第１の画像から商品領域を抽出する。
【００３６】
なお、プロセッサ２１は、所定の位置から第１の画像の各部への距離を示す距離情報から商品領域を抽出してもよい。たとえば、決済装置１は、距離センサなどを備えてもよい。  
プロセッサ２１が商品領域を抽出する方法は、特定の方法に限定されるものではない。
【００３７】
また、プロセッサ２１は、抽出した商品領域をユーザへ提示する機能を有する。たとえば、プロセッサ２１は、ディスプレイ４に商品領域を表示する。たとえば、プロセッサ２１は、第１の画像を表示する。プロセッサ２１は、第１の画像に商品領域を示す情報を合わせて表示する。ここでは、プロセッサ２１は、商品領域を示す枠を表示するものとする。
【００３８】
図４は、プロセッサ２１が商品領域を提示するために表示する表示画面の例を示す。ここでは、プロセッサ２１は、商品３１及び３２の画像領域を商品領域として抽出したものとする。  
図４が示すように、プロセッサ２１は、第１の画像に枠３１Ａ及び枠３２Ａを表示する。枠３１Ａは、商品３１の商品領域を示す。枠３２Ａは、商品３２の商品領域を示す。
【００３９】
なお、ここで、プロセッサ２１は、抽出した商品領域内の商品をカゴ１０から取り出すことを促す案内を表示してもよい。図４が示す例では、プロセッサ２１は、枠３１Ａ及び枠３２Ａ内の商品を取り出すことを示す案内をディスプレイ４などに表示する。たとえば、プロセッサ２１は、「枠で囲まれた商品をカゴから出してレジ袋またはマイバックに入れて下さい」などのメッセージを表示する。
【００４０】
また、プロセッサ２１は、商品領域内の商品の取出が完了したことを示す所定のイベントを検知する機能を有する。  
たとえば、プロセッサ２１は、所定のイベントとして、商品の取出が完了したことを入力する操作（完了操作）を受け付ける。図４が示す例では、プロセッサ２１は、アイコン４１を表示する。アイコン４１は、商品領域内の商品の取出が完了したことを入力するためのアイコンである。たとえば、プロセッサ２１は、アイコン４１へのタッチを完了操作として受け付ける。
【００４１】
なお、プロセッサ２１は、所定のイベントとして、所定のジェスチャーなどを完了操作として受け付けてもよい。  
また、プロセッサ２１は、重量計６が計測する重量が一定時間変化しないことを所定のイベントとして検知してもよい。また、プロセッサ２１は、カメラ３で撮影した画像に基づいて所定のイベントを検知してもよい。プロセッサ２１が所定のイベントを検知する方法は、特定の方法に限定されるものではない。
【００４２】
プロセッサ２１は、所定のイベントを検知すると、再度、所定の場所を撮影した画像を取得する機能を有する。  
プロセッサ２１は、所定のイベントを検知すると、カメラ３を用いてカゴ１０内の商品を含む画像（第２の画像）を撮影する。  
なお、プロセッサ２１は、外部装置から第２の画像を取得してもよい。
【００４３】
図５は、カメラ３が撮影した第２の画像の例を示す。ここでは、ユーザは、商品３１及び３２を取り出したものとする。  
図５が示す例では、第２の画像は、商品３３及び３４の画像を含む。即ち、図５が示す例では、商品３１及び３２が取り出されて、商品３１及び３２の下にあった商品３３及び３４が露出する。
【００４４】
また、プロセッサ２１は、所定のイベントを検知すると、重量計６を用いてカゴ１０内の商品の重量を取得する機能を有する。  
プロセッサ２１は、重量計６を用いてカゴ１０内の商品の重量（第２の重量）を取得する。
【００４５】
また、プロセッサ２１は、第１の画像と第２の画像とに基づいて、抽出された商品領域であってユーザが取り出した商品（即ち、第２の画像に存在しない商品）の商品領域の画像（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ画像（ＲＯＩ画像））を生成する機能を有する。  
たとえば、プロセッサ２１は、第１の画像と第２の画像との差分画像を生成する。たとえば、プロセッサ２１は、第１の画像の画素値から第２の画像の画素値を減算して差分画像を生成する。
【００４６】
差分画像を生成すると、プロセッサ２１は、差分画像から、商品領域を抽出するためのマスク画像を生成する。たとえば、プロセッサ２１は、差分画像の画素値が所定の閾値以上であれば画素値を１とし画素値が所定の閾値未満であれば画素値を０とし、マスク画像を生成する。マスク画像において、第１画像と第２画像との差分が大きい位置の画素値は、１であり、差分が小さい位置の画素値は、０である。即ち、マスク画像は、ユーザが取り出した商品の商品領域において画素値を１とし、他の領域において画素値を０とする。
【００４７】
マスク画像を生成すると、プロセッサ２１は、第１の画像とマスク画像とに基づいてＲＯＩ画像（物品領域画像）を生成する。たとえば、プロセッサ２１は、第１の画像の画素値とマスク画像の画素値を積算してＲＯＩ画像を抽出する。ＲＯＩ画像は、第１の画像と第２の画像との差分が所定の閾値以上の画素位置において、第１の画像の画素値に等しい画素値を有し、他の画素位置において画素値として０を有する。
【００４８】
図６は、ＲＯＩ画像の例を示す。  
図６が示すＲＯＩ画像は、図３が示す第１の画像と図５が示す第２の画像とに基づいて抽出されたものである。従って、図６が示す例では、ＲＯＩ画像は、商品３１及び３２の画像である。
【００４９】
また、プロセッサ２１は、ＲＯＩ画像に基づいて１つ又は複数の商品を認識する機能を有する。ここでは、プロセッサ２１は、商品の認識として商品を示す商品コードを取得するものとする。
【００５０】
たとえば、プロセッサ２１は、ＲＯＩ画像から、商品を示す商品コードをエンコードしたバーコードなどを読み取る。たとえば、プロセッサ２１は、ＲＯＩ画像をラスタスキャンしてバーコードを読み取る。
【００５１】
また、プロセッサ２１は、オブジェクト認識を用いて商品コードを取得してもよい。たとえば、プロセッサ２１は、予め登録された辞書又は商品画像などに基づいてオブジェクト認識を行う。
【００５２】
なお、プロセッサ２１は、まずバーコードを読み取り、バーコードの読み取りに失敗した場合にオブジェクト認識を行ってもよい。  
プロセッサ２１が商品を認識する方法は、特定の方法に限定されるものではない。  
図６が示す例では、プロセッサ２１は、商品３１及び３２を認識する。
【００５３】
プロセッサ２１は、認識した商品に予め登録された重量（登録重量）を取得する機能を有する。  
たとえば、プロセッサ２１は、商品データベースを参照して、認識した商品の商品コードに対応する商品の重量を商品の登録重量として取得する。  
なお、プロセッサ２１は、外部装置から商品の登録重量を取得してもよい。
【００５４】
また、プロセッサ２１は、第１の重量と第２の重量との差分重量を算出する機能を有する。たとえば、プロセッサ２１は、第１の重量から第２の重量を減算して差分重量を算出する。
【００５５】
また、プロセッサ２１は、商品の登録重量の合計（合計重量）が差分重量と一致するか判定する機能を有する。  
たとえば、プロセッサ２１は、合計重量と差分重量との差異が所定の閾値以下であれば両者が一致すると判定する。所定の閾値は、予め設定されてもよい。また、所定の閾値は、合計重量に所定の比率を積算して算出される値であってもよい。
【００５６】
また、プロセッサ２１は、合計重量が差分重量と一致すると判定すると、第２の画像の撮影時においてカゴ１０が空になったか判定する機能を有する。  
たとえば、プロセッサ２１は、重量計６が計測する重量に基づいてカゴ１０が空になったか判定する。たとえば、プロセッサ２１は、重量計６が測定する商品の重量が０になるとカゴ１０が空になったと判定してもよい。また、プロセッサ２１は、第２の画像に基づいてカゴ１０が空になったか判定してもよい。
【００５７】
また、プロセッサ２１は、カゴ１０が空でないと判定すると、カゴ１０内の商品を再度認識する。たとえば、プロセッサ２１は、第２の画像及び第２の重量をそれぞれ第１の画像及び第１の重量とする。たとえば、プロセッサ２１は、第２の画像及び第２の重量をそれぞれ第１の画像を格納するメモリ及び第１の重量を格納するメモリに上書きする。
【００５８】
たとえば、プロセッサ２１は、第１の画像（もともと第２の画像）から商品領域を抽出する。プロセッサ２１は、商品領域を抽出すると、抽出された商品領域をディスプレイ４に表示する。
【００５９】
図７は、プロセッサ２１が商品領域を提示するために表示する表示画面の例を示す。ここでは、プロセッサ２１は、商品３３及び３４の画像領域を商品領域として抽出したものとする。
【００６０】
図７が示すように、プロセッサ２１は、第１の画像に枠３３Ａ及び枠３４Ａを表示する。枠３３Ａは、商品３３の商品領域を示す。枠３４Ａは、商品３４の商品領域を示す。ここで、ユーザは、商品３３及び３４をカゴ１０から取り出し、アイコン４１へタッチするものとする。
【００６１】
プロセッサ２１は、アイコン４１へのタッチを受け付けると、カメラ３を用いて第２の画像を撮影する。ここでは、第２の画像は、何の商品の画像を含まないものとする。また、プロセッサ２１は、重量計６を用いて第２の重量を取得する。
【００６２】
プロセッサ２１は、第１の画像と第２の画像とに基づいてＲＯＩ画像を生成する。ここでは、ＲＯＩ画像は、商品３３及び３４の画像である。
【００６３】
プロセッサ２１は、ＲＯＩ画像に基づいて商品を認識する。商品を認識すると、プロセッサ２１は、商品の登録重量を取得し合計重量を算出する。商品の合計重量を算出すると、プロセッサ２１は、第１の重量と第２の重量とに基づいて差分重量を算出する。差分重量を算出すると、プロセッサ２１は、合計重量が差分重量と一致するか判定する。プロセッサ２１は、合計重量が差分重量と一致すると判定すると、カゴ１０が空になったか再度判定する。
【００６４】
また、プロセッサ２１は、カゴ１０が空であると判定すると、認識された商品を決済する機能を有する。  
たとえば、プロセッサ２１は、商品データベースなどを参照して、認識された商品の価格を取得する。プロセッサ２１は、取得された価格の合計（合計額）に基づいて商品を決済する。たとえば、プロセッサ２１は、ユーザのクレジットカード情報などを用いて商品を決済する。たとえば、プロセッサ２１は、購入者が所持するカードからカードリーダを通じてクレジット情報の入力を受け付けてもよい。また、プロセッサ２１は、カメラなどを用いて購入者の画像を取得し、当該画像に対応するクレジット情報を取得してもよい。また、プロセッサ２１は、ユーザから現金を収受して商品を決済してもよい。また、プロセッサ２１は、カードからＳＦ（Ｓｔｏｒｅｄ  Ｆａｒｅ）情報を取得し、当該ＳＦ情報に基づいて商品を決済してもよい。  
なお、プロセッサ２１は、外部装置から商品の価格を取得してもよい。また、プロセッサ２１は、合計額を外部装置へ送信してもよい。
【００６５】
また、プロセッサ２１は、合計重量が差分重量と一致しないと判定すると、商品認識に失敗したことを示すエラーを出力する機能を有する。たとえば、プロセッサ２１は、ユーザに対して決済処理をやり直させる、有人のレジにて決済処理を行わせる、又は、店員を呼ばせるなどの代替行動を促すメッセージを表示する。なお、プロセッサ２１は、エラーを外部装置へ送信してもよい。
【００６６】
次に、決済装置１の動作例について説明する。  
図８及び図９は、決済装置１の動作例を説明するためのフローチャートである。  
まず、決済装置１のプロセッサ２１は、重量計６にカゴ１０が配置されたか判定する（ＡＣＴ１１）。重量計６にカゴ１０が配置されていないと判定すると（ＡＣＴ１１、ＮＯ）、プロセッサ２１は、ＡＣＴ１１に戻る。
【００６７】
重量計６にカゴ１０が配置されたと判定すると（ＡＣＴ１１、ＹＥＳ）、プロセッサ２１は、カメラ３を用いて第１の画像を取得する（ＡＣＴ１２）。第１の画像を取得すると、プロセッサ２１は、重量計６を用いて第１の重量を取得する（ＡＣＴ１３）。
【００６８】
第１の重量を取得すると、プロセッサ２１は、第１の画像から商品領域を抽出する（ＡＣＴ１４）。商品領域を抽出すると、プロセッサ２１は、ディスプレイ４に商品領域を表示する（ＡＣＴ１５）。商品領域を表示すると、プロセッサ２１は、所定のイベントを検知したか判定する（ＡＣＴ１６）。
【００６９】
所定のイベントを検知していないと判定すると（ＡＣＴ１６、ＮＯ）、プロセッサ２１は、ＡＣＴ１６に戻る。  
所定のイベントを検知したと判定すると（ＡＣＴ１６、ＹＥＳ）、プロセッサ２１は、カメラ３を用いて第２の画像を取得する（ＡＣＴ１７）。第２の画像を取得すると、プロセッサ２１は、重量計６を用いて第２の重量を取得する（ＡＣＴ１８）。
【００７０】
第２の重量を取得すると、プロセッサ２１は、第１の画像と第２の画像とに基づいてマスク画像を生成する（ＡＣＴ１９）。マスク画像を生成すると、プロセッサ２１は、第１の画像とマスク画像とに基づいてＲＯＩ画像を生成する（ＡＣＴ２０）。
【００７１】
ＲＯＩ画像を生成すると、プロセッサ２１は、ＲＯＩ画像に基づいて商品を認識する（ＡＣＴ２１）。商品を認識すると、プロセッサ２１は、認識された商品の登録重量を取得する（ＡＣＴ２２）。登録重量を取得すると、プロセッサ２１は、第１の重量と第２の重量とに基づいて差分重量を算出する（ＡＣＴ２３）。
【００７２】
差分重量を算出すると、プロセッサ２１は、登録重量の合計が差分重量と一致するか判定する（ＡＣＴ２４）。登録重量の合計が差分重量と一致すると判定すると（ＡＣＴ２４、ＹＥＳ）、プロセッサ２１は、カゴ１０が空であるか判定する（ＡＣＴ２５）。
【００７３】
カゴ１０が空でないと判定すると（ＡＣＴ２５、ＮＯ）、プロセッサ２１は、第２の画像を第１の画像とする（ＡＣＴ２６）。第２の画像を第１の画像とすると、プロセッサ２１は、第２の重量を第１の重量とする（ＡＣＴ２７）。第２の重量を第１の重量とすると、プロセッサ２１は、ＡＣＴ１４に戻る。
【００７４】
カゴ１０が空であると判定すると（ＡＣＴ２５、ＹＥＳ）、プロセッサ２１は、認識された商品を決済する（ＡＣＴ２８）。  
登録重量の合計が差分重量と一致しないと判定すると（ＡＣＴ２４、ＮＯ）、プロセッサ２１は、エラーを出力する（ＡＣＴ２９）。  
認識した商品を決済した場合（ＡＣＴ２８）、又は、エラーを出力した場合（ＡＣＴ２９）、プロセッサ２１は、動作を終了する。
【００７５】
なお、プロセッサ２１は、決済処理（ＡＣＴ２８）を行わなくともよい。プロセッサ２１は、認識された商品を示す情報（たとえば、商品コード）を外部装置へ送信してもよい。  
また、プロセッサ２１は、商品以外の物品を認識してもよい。プロセッサ２１が認識する対象は、特定の構成に限定されるものではない。  
また、プロセッサ２１は、抽出された商品領域以外の領域から商品が取り出された場合には、エラーを出力してもよい。
【００７６】
以上のように構成された決済装置は、重ねて配置された商品のうち上部の商品を認識する。また、決済装置は、ユーザに認識可能な上部の商品を取り出すことを促し、下部の商品を露出させる。決済装置は、下部の商品を認識する。決済装置は、同様の動作を商品がなくなるまで継続する。その結果、決済装置は、重ねて配置された商品を効果的に認識することができる。
【００７７】
また、決済装置は、ユーザが商品を取り出した後に、取り出された商品の画像であるＲＯＩ画像に基づいて取り出された商品の認識処理を行う。そのため、決済装置は、認識可能な上部の商品のうち、実際に取り出された商品を検知することができる。その結果、決済装置は、商品を認識した後に商品が取り出される方式に比べて、認識されていない商品をユーザが取り出すなどの不正行為を防止することができる。
【００７８】
また、決済装置は、予め登録された商品の重量が取り出された商品の重量と一致する場合に認識処理を継続する。その結果、決済処理は、認識されていない商品をユーザが取り出すなどの不正行為を防止することができる。
【００７９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８０】
１…決済装置、２…筐体、３…カメラ、４…ディスプレイ、５…操作部、６…重量計、１０…カゴ、２１…プロセッサ、２４…ＮＶＭ、２５…カメラインターフェース、２６…ディスプレイインターフェース、２７…操作部インターフェース、２８…重量インターフェース、３１乃至３４…商品、３１Ａ乃至３４Ａ…枠、４１…アイコン。
【図１】
2018129038.tif 000003
【図２】
2018129038.tif 000004
【図３】
2018129038.tif 000005
【図４】
2018129038.tif 000006
【図５】
2018129038.tif 000007
【図６】
2018129038.tif 000008
【図７】
2018129038.tif 000009
【図８】
2018129038.tif 000010
【図９】
2018129038.tif 000011