(57)【要約】【課題】  商品画像の登録を容易に行える商品登録装置を提供する。【解決手段】  一実施形態に係る商品登録装置は、インタフェースとプロセッサとを備える。前記インタフェースは、商品が写った画像を取得する。前記プロセッサは、画像において人物の部位の画像領域である手腕領域を抽出し、前記手腕領域が抽出された場合に警告を出力し、前記手腕領域が抽出されない場合に前記画像取得部により取得した画像を辞書として登録する。【選択図】図２
2017123152.tif 000002
【特許請求の範囲】
【請求項１】
商品が写った画像を取得するインタフェースと、
画像において人物の部位の画像領域である手腕領域を抽出し、前記手腕領域が抽出された場合に警告を出力し、前記手腕領域が抽出されない場合に取得した画像を辞書として登録するプロセッサと、
を具備する商品登録装置。
【請求項２】
前記インタフェースは、画像を周期的に取得し、
前記プロセッサは、前記インタフェースにより取得した画像と、前記インタフェースにより過去に取得した画像と、を比較して変化の有無を判定し、前記プロセッサにより変化が有ると判定された場合に警告を出力し、
前記プロセッサにより変化が無く手腕領域が存在しないと判定された場合に前記インタフェースにより取得した画像を辞書として登録する、
請求項１に記載の商品登録装置。
【請求項３】
前記インタフェースは、画像を周期的に取得し、
前記プロセッサは、前記手腕領域が抽出される状態から抽出されない状態になった場合に前記インタフェースにより取得した画像を辞書として登録する、
請求項１に記載の商品登録装置。
【請求項４】
前記プロセッサは、前記インタフェースにより取得した画像と、前記インタフェースにより過去に取得した画像と、を比較して変化の有無を判定し、前記プロセッサにより変化が有ると判定された場合に警告を出力し、前記手腕領域が抽出される状態から抽出されない状態になり、且つ前記インタフェースが取得する画像に変化が無いと判定された場合に前記インタフェースにより取得した画像を辞書として登録する、
請求項３に記載の商品登録装置。
【請求項５】
前記インタフェースは、台に設置された商品を周期的に撮像するカメラから画像を取得し、
前記プロセッサは、画像から前記手腕領域と、前記台が写った背景領域と、を抽出し、
前記手腕領域の位置と前記背景領域の位置とに基づいて、手が前記商品を掴んでいる状態と手が前記商品を離している状態とを認識し、手が前記商品を掴んでいる状態から手が前記商品を離している状態になった場合に前記手腕領域及び前記背景領域を除外した画像を辞書として登録する、
請求項１に記載の商品登録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品登録装置に関する。
【背景技術】
【０００２】
画像に写った商品（対象物）を認識する商品登録装置が実用化されている。商品登録装置は、商品の画像をカメラにより取得し、取得した画像と、予め登録された商品毎の画像と、を比較することにより画像に写った商品を認識する。
【０００３】
商品登録装置を運用する為に、認識する商品の画像を予め登録する必要がある。この為、多数の商品の登録に手間を要する場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２８９２８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の課題を解決するために、商品画像の登録を容易に行える商品登録装置を提供する。
【課題を解決するための手段】
【０００６】
一実施形態に係る商品登録装置は、インタフェースとプロセッサとを備える。前記インタフェースは、商品が写った画像を取得する。前記プロセッサは、画像において人物の部位の画像領域である手腕領域を抽出し、前記手腕領域が抽出された場合に警告を出力し、前記手腕領域が抽出されない場合に前記画像取得部により取得した画像を辞書として登録する。
【図面の簡単な説明】
【０００７】
【図１】図１は、一実施形態に係る商品登録装置の構成例と各構成の配置とについて説明する為の説明図である。
【図２】図２は、一実施形態に係る商品登録装置の構成例について説明する為の説明図である。
【図３】図３は、第１の実施形態に係る商品登録装置１の動作について説明する為の説明図である。
【図４】図４は、第２の実施形態に係る商品登録装置１の動作について説明する為の説明図である。
【図５】図５は、第３の実施形態に係る商品登録装置１の動作について説明する為の説明図である。
【図６】図６は、第４の実施形態に係る商品登録装置１の動作について説明する為の説明図である。
【図７】図７は、第５の実施形態に係る商品登録装置１の動作について説明する為の説明図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら実施形態について説明する。  
まず、図１及び図２を参照し、商品登録装置の構成について説明する。
【０００９】
図１は、商品登録装置１の構成と、各構成の配置について説明する為の説明図である。図２は、商品登録装置１の構成例について説明する為の説明図である。
【００１０】
商品登録装置１は、商品を撮像して画像を取得し、取得した画像と、予め登録された商品毎の画像と、を比較することにより画像に写った商品を認識する。図１に示すように、商品登録装置１は、台２と、フレーム３と、カメラ４と、距離センサ５と、情報処理装置６と、を備える。
【００１１】
台２は、認識の対象である商品７が置かれる商品配置用の平面である。台２は、所定の色（例えば黒色）で塗装される。
【００１２】
フレーム３は、カメラ４及び距離センサ５を支持する支持部材である。フレーム３は、台２と対向する位置にカメラ４及び距離センサ５を取り付け可能に構成されている。
【００１３】
カメラ４は、画像を取得する撮像装置である。カメラ４は、Charge Coupled Devices（ＣＣＤ）イメージセンサ、Complementary Metal Oxide Semiconductor（ＣＭＯＳ）イメージセンサ、または他の撮像素子により構成された撮像素子と、撮像素子に光を結像させるレンズと、を備える。なお、カメラ４は、スキャナのような画像撮影装置であってもよい。また、カメラ４は、このような構成に限定されない。カメラは、不可視光を撮像する構成であってもよい。例えば、カメラ４は、赤外カメラであってもよい。
【００１４】
カメラ４は、レンズの撮像光軸が台２に対向するようにフレーム３に取り付けられている。このような構成により、カメラ４は、台２上に配置された商品７の外観の画像（商品の各面のパッケージの画像）を取得する。カメラ４は、情報処理装置６の制御に応じたタイミングで画像を取得する。また、カメラ４は、周期的に画像を取得する、即ち動画像を取得する構成であってもよい。
【００１５】
距離センサ５は、距離画像を取得するセンサである。距離画像は、対象物と距離センサ５との距離を座標ごとに備える二次元画像である。距離センサ５は、例えば、ステレオ画像方式のセンサ、パターン光照射方式のセンサ、またはＴＯＦ（Time Of Flight）方式のセンサなどのうちのいずれかを備える。距離センサ５がいずれの方式のセンサとして構成されている場合であっても、撮像素子と、カメラ４の画角よりも広い範囲からの光を撮像素子に結像させるレンズとを備える。距離センサ５は、レンズの撮像光軸が台２に対向するようにフレーム３に取り付けられている。このような構成により、距離センサ５は、台２上の対象物までの距離を示す距離画像を取得する。
【００１６】
なお、カメラ４と距離センサ５とは、一体に構成されていてもよい。例えば、カメラ４と距離センサ５とは、レンズが共有される構成であってもよいし、レンズと撮像素子とが共有される構成であってもよい。
【００１７】
情報処理装置６は、カメラ４により取得した画像に基づいて、台２の上に配置された商品を認識する商品認識処理を行う。また、情報処理装置６は、カメラ４により取得した画像に基づいて、商品認識処理に用いられる商品毎の画像を予め登録する商品登録処理を行う。図２に示すように、情報処理装置６は、表示部１１、操作部１２、インタフェース１３、インタフェース１４、プロセッサ１５、ＲＯＭ１６、ＲＡＭ１７、ストレージ１８、及び計時部１９を備える。表示部１１、操作部１２、インタフェース１３、インタフェース１４、プロセッサ１５、ＲＯＭ１６、ＲＡＭ１７、ストレージ１８、及び計時部１９は、バス２０を介して互いに通信可能な状態で接続されている。
【００１８】
表示部１１は、プロセッサ１５の制御に基づいて画面を表示する。表示部１１は、表示パネルと、表示パネルに画面を表示させる駆動回路と、を備える。表示パネルは、例えば液晶ディスプレイ、有機ＥＬディスプレイ、または他の画面を表示する為の表示装置である。
【００１９】
操作部１２は、ユーザが商品登録装置１の各種の操作を行うための複数の操作部材を備える。操作部材は、例えば、タッチセンサ、キーボード、及びテンキーなどである。タッチセンサは、例えば、抵抗膜式タッチセンサ、または静電容量式タッチセンサ等である。即ち、タッチセンサは、ある領域内において指定された位置を示す情報を取得する。タッチセンサは、上記の表示部１１の表示パネルと一体にタッチスクリーンとして構成されることにより、表示パネル上のタッチされた位置を示す信号をプロセッサ１５に入力する構成であってもよい。
【００２０】
インタフェース１３は、カメラ４と通信可能に構成された端子を備える。インタフェース１３は、プロセッサ１５とカメラ４との間のデータの入出力を中継する。
【００２１】
インタフェース１４は、距離センサ５と通信可能に構成された端子を備える。インタフェース１４は、プロセッサ１５と距離センサ５との間のデータの入出力を中継する。
【００２２】
プロセッサ１５は、演算処理を実行する回路を有する演算素子である。プロセッサ１５は、例えば、ＣＰＵである。プロセッサ１５は、ＲＯＭ１６、またはストレージ１８に記憶されているプログラム及びプログラムで用いられるデータに基づいて種々の処理を行う。
【００２３】
ＲＯＭ１６は、読み出し専用の不揮発性メモリである。ＲＯＭ１６は、プログラム及びプログラムで用いられるデータなどを記憶する。ＲＯＭ１６は、商品登録装置１の仕様に応じたプログラム及びプログラムで用いられるデータが予め記憶された状態で情報処理装置６に組み込まれる。
【００２４】
ＲＡＭ１７は、ワーキングメモリとして機能する揮発性のメモリである。ＲＡＭ１７は、プロセッサ１５の処理中のデータなどを一時的に格納する。また、ＲＡＭ１７は、プロセッサ１５が実行するプログラムを一時的に格納する。
【００２５】
ストレージ１８は、種々の情報を記憶可能な記憶媒体である。ストレージ１８は、プログラム及びプログラムで用いられるデータなどを記憶する。ストレージ１８は、例えば、ソリッドステイトドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）、または他の記憶装置である。また、ストレージ１８は、メモリカードなどの記録媒体を挿入可能なカードスロットなどのメモリＩ／Ｆとして構成されていてもよい。
【００２６】
計時部１９は、時間の経過を計時する時計である。
【００２７】
プロセッサ１５は、例えばＲＯＭ１６またはストレージ１８に記憶されているプログラム及びプログラムで用いられるデータを読み出して実行することによって、商品認識処理及び商品登録処理を実行する為の各種の制御を行う処理部として機能する。例えば、プロセッサ１５は、画像取得部、タイミング制御部、画像解析部、辞書登録部、警告処理部、フラグ切替部、マスク処理部、及び認識処理部として機能する。
【００２８】
画像取得部は、カメラ４による画像の取得を実行する。画像取得部は、カメラ４に対して撮影を実行する制御信号を送信することによってカメラ４による画像の取得を制御する。また、画像取得部は、距離センサ５による距離画像の取得を実行する。画像取得部は、距離センサ５に対して撮影を実行する制御信号を送信することによって距離センサ５による距離画像の取得を制御する。
【００２９】
タイミング制御部は、計時部１９によりカウントされた時間経過に応じて、画像取得部による画像の取得のタイミングを制御する。具体的には、タイミング制御部は、予め設定された所定時間毎に画像取得部により画像を取得するように画像取得部を制御する。
【００３０】
画像解析部は、取得した画像の解析を行う。例えば、画像解析部は、カメラ４により取得した画像に写った物毎に領域を抽出する。画像解析部は、カメラ４により取得した画像から商品が写ったと推定される領域を抽出する。
【００３１】
例えば、画像解析部は、台２ではない領域がカメラ４により取得された画像に含まれているか否か判定する。具体的には、画像解析部は、台２の色（黒色）と同じ色の領域をカメラ４により取得された画像から除外することによって、台２以外の物が写っているか否か判断する。即ち、画像解析部は、カメラ４により取得された画像から台２が写った領域を背景領域として抽出し、背景領域以外の領域が画像に含まれているか否か判断する。さらに、画像解析部は、距離センサ５により取得した距離画像とカメラ４により取得した画像とに基づいて、カメラ４により取得した画像の中の背景領域を抽出する構成であってもよい。この場合、画像解析部は、距離画像に基づいてカメラ４により取得した画像上の各座標ごとに高さを認識する。台２の高さは既知である為、画像解析部は、台２の高さを基準（例えば０）としてカメラ４により取得した画像の中から高さが無い領域を背景領域として抽出する。
【００３２】
また、例えば、画像解析部は、人物の部位の画像領域をカメラ４により取得された画像から抽出する。具体的には、画像解析部は、人間の手や腕などが写った領域（手腕領域）をカメラ４により取得された画像から抽出する。例えば、画像解析部は、肌色などの領域がカメラ４により取得された画像に含まれているか否か判定する。具体的には、画像解析部は、肌色であり、且つカメラ４により取得した画像の縁から伸びている肌色の領域を手腕領域として抽出する。さらに、画像解析部は、距離センサ５により取得した距離画像とカメラ４により取得した画像とに基づいて、カメラ４により取得した画像の中の手腕領域を抽出する構成であってもよい。この場合、画像解析部は、距離画像に基づいてカメラ４により取得した画像上の各座標ごとに高さを認識する。画像解析部は、画像の近傍の画素同士で高さを比較することによって、高さの差が予め設定された閾値未満である画素を対応付けて１つの領域として認識する。画像解析部は、カメラ４により取得した画像の縁から伸びている高さのある領域を手腕領域として抽出する。なお、画像解析部は、人間の手や腕の他に、商品の画像の登録に適さない物が写った領域を抽出する構成であってもよい。この場合も、画像解析部は、カメラ４により取得した画像の縁から伸びている高さのある領域を商品の画像の登録に適さない物が写った領域として抽出する。
【００３３】
また、画像取得部は、周期的に動画像としてカメラ４により画像を取得することも可能である。この場合、画像取得部は、取得した画像を逐次ＲＡＭ１７などのバッファメモリに保存する。これにより、画像解析部は、カメラ４により画像を取得した場合に過去にカメラ４により取得した画像と比較することができる。これにより、画像解析部は、カメラ４による画像を前のフレーム（第１の画像）と今回のフレーム（第２の画像）とで比較して変化があるか否か判断する。具体的には、画像解析部は、第１の画像と第２の画像とで類似度を算出し、算出した類似度が予め設定された閾値未満である場合に第１の画像と第２の画像とで変化があると判断する。なお、第１の画像は、過去に取得した複数のフレームの画像を合成したものであってもよい。また、画像解析部による第１の画像と第２の画像との比較は、例えば画像を複数のブロックに分割してブロック単位で動きベクトルを検出する構成であってもよいし、特徴点マッチングを行う構成であってもよい。
【００３４】
また、画像解析部は、画像上の背景領域の範囲を示す情報（背景領域情報）、及び手腕領域の範囲を示す情報（手腕領域情報）をそれぞれＲＡＭ１７などのバッファメモリに保存する。これにより、画像解析部は、過去の手腕領域の範囲を認識することができる。画像解析部は、ＲＡＭ１７に保存された背景領域情報及び手腕領域情報に基づいて、手が商品を掴んでいる状態から手が商品を離した状態に変わることを認識する。例えば、画像解析部は、上記の処理により認識した手腕領域の位置と、台２ではない領域の位置と、の関係に基づいて手が商品を掴んでいる状態と離れている状態とを認識する。具体的には、画像解析部は、手腕領域と台２ではない領域とが隣接している場合に手が商品を掴んでいると認識し、手腕領域と台２ではない領域とが離れている場合に手が商品を離していると認識する。即ち、画像解析部は、手腕領域と、台２ではない領域と、が隣接した状態から離れた状態になった場合に手が商品を離したと判断する。
【００３５】
辞書登録部は、画像解析部により商品が写ったと推定される画像を辞書として登録する。また、辞書登録部は、商品が写ったと推定される領域の画像を辞書として登録してもよい。辞書は、例えば商品名及び価格などの商品情報と画像とが対応付けられた情報である。なお、辞書は、例えば商品毎に商品の６面の画像を有する。辞書登録部は、例えばストレージ１８に辞書を記憶する。なお、辞書登録部は、画像そのものを辞書として登録するのではなく、画像から特徴量を算出し、算出した特徴量を辞書として登録する構成であってもよい。また、辞書登録部は、画像から抽出した局所特徴量を辞書として登録する構成であってもよい。なお、商品登録装置１は、操作部１２による操作入力に基づいて商品情報を生成する構成であってもよいし、外部の機器と通信を行う為の図示されない通信部を介して外部の機器から商品情報を受けとる構成であってもよいし、メモリカードなどの記録媒体が接続される図示されないメモリＩ／Ｆを介して記録媒体から商品情報を読み出す構成であってもよい。
【００３６】
警告処理部は、カメラ４により取得した画像が辞書として登録するのに適さない画像である場合に表示部１１により警告表示を行う。なお、商品登録装置１がスピーカを備える場合、スピーカにより警告音を出力する構成であってもよい。
【００３７】
フラグ切替部は、カメラ４により取得した画像の辞書登録を実行するか否かを示すフラグのＯＮ／ＯＦＦを切り替える。フラグは、例えばＲＡＭ１７などに記憶される。フラグ切替部は、画像解析部による解析結果に基づいてフラグのＯＮ／ＯＦＦを切り替える。
【００３８】
マスク処理部は、カメラ４により取得した画像に対して辞書登録の対象としない領域（除外領域）を設定するマスク処理を行う。マスク処理部は、画像解析部による解析結果に基づいて、カメラ４により取得した画像のうちの台２が写った背景領域及び手腕領域を除外領域として設定する。この場合、辞書登録部は、カメラ４により取得した画像のうちの除外領域が設定されていない領域の画像を辞書登録する。
【００３９】
認識処理部は、カメラ４により取得した画像と、辞書として登録された画像とを比較することにより、台２の上に置かれた商品を認識する。具体的には、認識処理部は、カメラ４により取得した画像と、辞書として登録された画像と、の類似度を算出する。認識処理部は、算出された類似度が最も高い商品の商品情報を辞書から抽出することにより、商品を認識する。このような認識処理部を備えることにより、商品登録装置１は、商品認識装置としても動作する。
【００４０】
次に、実施形態ごとの商品登録装置１の商品登録処理について説明する。  
（第１の実施形態）
図３は、第１の実施形態に係る商品登録装置１の商品登録処理について説明する為のフローチャートである。
【００４１】
上記したように、辞書を作成する商品登録処理を行う場合、商品の６面の画像を取得する必要がある。本実施形態では、商品登録装置１は、効率的に商品の複数の面の画像を取得する為に、一定時間間隔（例えば５秒間隔）ごとにカメラ４による画像の取得を行うことにより辞書として登録可能な画像を取得する。このような構成によると、商品登録装置１の操作者（ユーザ）が撮影の間に商品の向きを変えながら一定時間間隔ごとに撮影が行われる。しかし、ユーザの手及び腕などが画像に写る、または商品の配置が撮影時に間に合わない場合などが想定される為、商品登録装置１は、カメラ４により取得した画像が辞書として登録可能な画像であるか否か判断する。
【００４２】
プロセッサ１５は、処理を終了するか否か判定する（ＡＣＴ１１）。例えば、プロセッサ１５は、予め設定された枚数の画像を辞書として登録した場合、または終了の指示が操作部１２などにより入力された場合に処理を終了すると判定する。プロセッサ１５は、処理を終了すると判定した場合（ＡＣＴ１１、ＹＥＳ）、商品登録処理を終了する。
【００４３】
プロセッサ１５は、処理を終了しないと判定した場合（ＡＣＴ１１、ＮＯ）、指定された時刻であるか否か判定する（ＡＣＴ１２）。プロセッサ１５は、指定された時刻ではないと判定した場合（ＡＣＴ１２、ＮＯ）、ＡＣＴ１１の処理に戻る。プロセッサ１５は、指定された時刻であると判定した場合（ＡＣＴ１２、ＹＥＳ）、画像を取得する（ＡＣＴ１３）。これにより商品登録装置１は、一定時間間隔ごとにカメラ４による画像の取得を行う。
【００４４】
プロセッサ１５は、画像に台２ではない領域が含まれているか否か判定する（ＡＣＴ１４）。例えば、プロセッサ１５は、画像から背景領域を抽出し、背景領域以外の領域が画像に含まれているか否か判定する。
【００４５】
プロセッサ１５は、画像に台２ではない領域が含まれていると判定した場合（ＡＣＴ１４、ＹＥＳ）、画像から手腕領域を抽出し（ＡＣＴ１５）、画像に手腕領域が含まれているか否か判定する（ＡＣＴ１６）。
【００４６】
プロセッサ１５は、画像に手腕領域が含まれていないと判定した場合（ＡＣＴ１６、ＮＯ）、ＡＣＴ１３で取得した画像を辞書登録し（ＡＣＴ１７）、ＡＣＴ１１の処理に戻る。
【００４７】
また、プロセッサ１５は、ＡＣＴ１４で画像に台２ではない領域が含まれていないと判定した場合（ＡＣＴ１４、ＮＯ）、またはＡＣＴ１６で画像に手腕領域が含まれていると判定した場合（ＡＣＴ１６、ＹＥＳ）、警告表示を行い（ＡＣＴ１８）、ＡＣＴ１１の処理に戻る。例えばプロセッサ１５は、撮影のし直しを促す警告表示を行う。
【００４８】
上記した第１の実施形態によれば、商品登録装置１は、一定時間間隔で撮影を実行し、取得した画像に手腕領域が含まれておらず、且つ画像に背景領域以外の領域が含まれている場合に画像を辞書として登録する。このような構成により、商品登録装置１は、手腕領域が含まれている、または商品が写っていない画像が辞書として登録されることを防ぎ、且つ効率的に商品の複数の面の画像を辞書として登録することができる。
（第２の実施形態）
図４は、第２の実施形態に係る商品登録装置１の商品登録処理について説明する為のフローチャートである。第２の実施形態に係る商品登録装置１は、カメラ４により周期的に画像を撮像し、前のフレーム（第１の画像）と今回のフレーム（第２の画像）とで比較して変化が無い場合にカメラ４により取得した画像が辞書として登録可能な画像であると判断する。
【００４９】
プロセッサ１５は、処理を終了するか否か判定する（ＡＣＴ２１）。プロセッサ１５は、処理を終了すると判定した場合（ＡＣＴ２１、ＹＥＳ）、商品登録処理を終了する。
【００５０】
プロセッサ１５は、処理を終了しないと判定した場合（ＡＣＴ２１、ＮＯ）、第１の画像を取得する（ＡＣＴ２２）。
【００５１】
プロセッサ１５は、指定された時刻であるか否か判定する（ＡＣＴ２３）。
【００５２】
プロセッサ１５は、指定された時刻ではないと判定した場合（ＡＣＴ２３、ＮＯ）、ＡＣＴ２２で取得した第１の画像を例えばＲＡＭ１７などのバッファメモリに保存し（ＡＣＴ２４）、ＡＣＴ２１の処理に戻る。プロセッサ１５は、ＡＣＴ２１乃至２４の処理を繰り返し行うことにより、周期的に第１の画像を取得する。
【００５３】
プロセッサ１５は、ＡＣＴ２３で指定された時刻であると判定した場合（ＡＣＴ２３、ＹＥＳ）、第２の画像を取得する（ＡＣＴ２５）。
【００５４】
プロセッサ１５は、第２の画像に台２ではない領域が含まれているか否か判定する（ＡＣＴ２６）。
【００５５】
プロセッサ１５は、第２の画像に台２ではない領域が含まれていると判定した場合（ＡＣＴ２６、ＹＥＳ）、第２の画像と第１の画像とを比較し、第２の画像と第１の画像とで変化（差異）があるか否か判定する（ＡＣＴ２７）。
【００５６】
プロセッサ１５は、第２の画像と第１の画像とで変化が無いと判定した（ＡＣＴ２７、ＮＯ）、第２の画像を辞書登録し（ＡＣＴ２８）、ＡＣＴ２１の処理に戻る。
【００５７】
また、プロセッサ１５は、ＡＣＴ２６で第２の画像に台２ではない領域が含まれていないと判定した場合（ＡＣＴ２６、ＮＯ）、またはＡＣＴ２７で第１の画像と第２の画像とで変化があると判定した場合（ＡＣＴ２７、ＹＥＳ）、警告表示を行い（ＡＣＴ２９）、ＡＣＴ２１の処理に戻る。例えばプロセッサ１５は、第１の画像と第２の画像とで変化があると判定した場合、商品の撮りなおしを促す情報を警告表示する。
【００５８】
上記した第２の実施形態によれば、商品登録装置１は、逐次第１の画像を取得するとともに、一定時間間隔で第２の画像を取得し、取得した第１の画像と第２の画像とで変化が無く、且つ第２の画像に背景領域以外の領域が含まれている場合に第２の画像を辞書として登録する。このような構成により、商品登録装置１は、商品が静止した状態で得られた第２の画像を辞書として登録することができる。即ち、商品登録装置１は、商品が静止していない状態で得られた画像が辞書として登録されることを防ぎ、且つ効率的に商品の複数の面の画像を辞書として登録することができる。
【００５９】
なお、商品登録装置１は、第１の実施形態において示した手腕領域が抽出されたか否かの判定結果を画像を辞書として登録するか否かの判定にも用いる構成であってもよい。
（第３の実施形態）
図５は、第３の実施形態に係る商品登録装置１の商品登録処理について説明する為のフローチャートである。第３の実施形態に係る商品登録装置１は、カメラ４により周期的に画像を撮像し、所定のアクションが行われたことをトリガーとして画像の辞書登録を行う。具体的には、商品登録装置１は、商品を支持する手が画角から消えたことが検出された場合にカメラ４により画像を取得し、取得した画像を辞書登録する。この為に、商品登録装置１は、画像に基づいて上記したフラグを切り替えることによって、商品登録処理を制御する。
【００６０】
プロセッサ１５は、フラグをＯＮにする（ＡＣＴ３１）。
【００６１】
プロセッサ１５は、画像を取得する（ＡＣＴ３２）。
【００６２】
プロセッサ１５は、ＡＣＴ３２で取得した画像に台２ではない領域が含まれているか否か判定する（ＡＣＴ３３）。
【００６３】
プロセッサ１５は、画像に台２ではない領域が含まれていると判定した場合（ＡＣＴ３３、ＹＥＳ）、画像から手腕領域を抽出し（ＡＣＴ３４）、画像に手腕領域が含まれているか否か判定する（ＡＣＴ３５）。
【００６４】
プロセッサ１５は、画像に手腕領域が含まれていないと判定した場合（ＡＣＴ３５、ＮＯ）、フラグがＯＮであるか否か判定する（ＡＣＴ３６）。
【００６５】
プロセッサ１５は、フラグがＯＮであると判定した場合（ＡＣＴ３６、ＹＥＳ）、ＡＣＴ３２で取得した画像を辞書登録する（ＡＣＴ３７）。
【００６６】
プロセッサ１５は、フラグをＯＦＦにする（ＡＣＴ３８）。
【００６７】
プロセッサ１５は、処理を終了するか否か判定する（ＡＣＴ３９）。プロセッサ１５は、処理を終了すると判定した場合（ＡＣＴ３９、ＹＥＳ）、商品登録処理を終了する。
【００６８】
プロセッサ１５は、処理を終了しないと判定した場合（ＡＣＴ３９、ＮＯ）、ＡＣＴ３２の処理に戻る。
【００６９】
また、プロセッサ１５は、ＡＣＴ３６でフラグがＯＮではないと判定した場合（ＡＣＴ３６、ＮＯ）、ＡＣＴ３９の処理に移る。
【００７０】
また、プロセッサ１５は、ＡＣＴ３３で画像に台２ではない領域が含まれていないと判定した場合（ＡＣＴ３３、ＮＯ）、またはＡＣＴ３５で画像に手腕領域が含まれていると判定した場合（ＡＣＴ３５、ＹＥＳ）、フラグをＯＮにし（ＡＣＴ４０）、ＡＣＴ３９の処理に移る。
【００７１】
上記した第３の実施形態によれば、商品登録装置１は、画像に台２ではない領域が含まれていない場合、または画像に手腕領域が含まれている場合に商品の向きが変えられていると推定してフラグをＯＮにする、または維持する。商品登録装置１は、フラグがＯＮである状態で画像に台２ではない領域が含まれており、画像に手腕領域が含まれていないことが検出された場合に商品の向きの変更が完了したと推定して画像を辞書登録する。このような構成により、商品登録装置１は、手腕領域が含まれている、商品の向きの変更が完了していない、または商品が写っていない状態の画像が辞書として登録されることを防ぎ、且つ効率的に商品の複数の面の画像を辞書として登録することができる。また、商品登録装置１は、画像を辞書登録した後にフラグをＯＦＦする構成である為、同じ状態の複数の画像が辞書として登録されることを防ぐことができる。
【００７２】
なお、商品登録装置１は、第２の実施形態において示した過去のフレームの画像と今回のフレームの画像との比較結果をＡＣＴ３７の処理を実行するか否かの判定にも用いる構成であってもよい。
（第４の実施形態）
図６は、第４の実施形態に係る商品登録装置１の商品登録処理について説明する為のフローチャートである。第４の実施形態に係る商品登録装置１は、カメラ４により周期的に画像を撮像し、取得した画像から背景領域及び手腕領域を検出し、検出した背景領域及び手腕領域を除外した画像を辞書として登録する。
【００７３】
プロセッサ１５は、処理を終了するか否か判定する（ＡＣＴ４１）。プロセッサ１５は、処理を終了すると判定した場合（ＡＣＴ４１、ＹＥＳ）、商品登録処理を終了する。
【００７４】
プロセッサ１５は、処理を終了しないと判定した場合（ＡＣＴ４１、ＮＯ）、指定された時刻であるか否か判定する（ＡＣＴ４２）。
【００７５】
プロセッサ１５は、指定された時刻ではないと判定した場合（ＡＣＴ４２、ＮＯ）、ＡＣＴ４１の処理に戻る。
【００７６】
プロセッサ１５は、指定された時刻であると判定した場合（ＡＣＴ４２、ＹＥＳ）、画像を取得する（ＡＣＴ４３）。
【００７７】
プロセッサ１５は、画像から背景領域を抽出する（ＡＣＴ４４）。
【００７８】
プロセッサ１５は、画像から手腕領域を抽出する（ＡＣＴ４５）。
【００７９】
プロセッサ１５は、画像における背景領域、及び手腕領域に対してマスク処理を施す（ＡＣＴ４６）。マスク処理は、具体的には領域を選択する処理である。即ち、プロセッサ１５は、ＡＣＴ４３で取得した画像のうち背景領域及び手腕領域を除外した領域を辞書として登録する領域として選択する。
【００８０】
プロセッサ１５は、マスク処理が施された画像に背景領域、及び手腕領域以外の領域が含まれているか否か判定する（ＡＣＴ４７）。背景領域、及び手腕領域以外の領域が含まれていないと判定した場合（ＡＣＴ４７、ＮＯ）、ＡＣＴ４１の処理に戻る。
【００８１】
プロセッサ１５は、背景領域、及び手腕領域以外の領域が含まれていると判定した場合（ＡＣＴ４７、ＹＥＳ）、マスク処理が施された画像を辞書登録し（ＡＣＴ４８）、ＡＣＴ４１の処理に戻る。
【００８２】
上記した第４の実施形態によれば、商品登録装置１は、カメラ４により取得した画像から背景領域及び手腕領域を抽出し、抽出した背景領域及び手腕領域を除外領域として設定する。商品登録装置は、カメラ４により取得した画像に除外領域以外の領域があると判定した場合、カメラ４により取得した画像から背景領域及び手腕領域を除外した画像を辞書登録する。このような構成により、商品登録装置１は、手腕領域が含まれている、または商品が写っていない状態の画像が辞書として登録されることを防ぎ、且つ効率的に商品の複数の面の画像を辞書として登録することができる。また、このような構成によると、商品登録装置１は、手がカメラ４の画角内にある場合であっても辞書登録を行うことができる為、辞書登録の為のユーザの手間を減らすことができる。
【００８３】
なお、商品登録装置１は、第２の実施形態において示した過去のフレームの画像と今回のフレームの画像との比較結果をＡＣＴ４８の処理を実行するか否かの判定にも用いる構成であってもよい。
【００８４】
なお、上記の実施形態では、カメラ４により取得した画像、及び／または距離センサ５により取得した距離画像に基づいて手腕領域を抽出する構成として説明したが、この構成に限定されない。商品登録装置１は、例えば温度を感知するサーモセンサを備え、サーモセンサの検知結果に基づいてカメラ４により取得した画像中の手腕領域を抽出する構成であってもよい。
（第５の実施形態）
図７は、第５の実施形態に係る商品登録装置１の商品登録処理について説明する為のフローチャートである。第５の実施形態に係る商品登録装置１は、カメラ４により周期的に画像を撮像し、所定のアクションが行われたことをトリガーとして画像に対してマスク処理を行い、マスク処理を施した画像を辞書登録する。具体的には、商品登録装置１は、商品を手で押さえている状態から離した状態に切り替わった時に画像上の背景領域及び手腕領域を除外領域として設定するマスク処理を行い、除外領域を除外した画像を辞書登録する。
【００８５】
プロセッサ１５は、処理を終了するか否か判定する（ＡＣＴ５１）。プロセッサ１５は、処理を終了すると判定した場合（ＡＣＴ５１、ＹＥＳ）、商品登録処理を終了する。
【００８６】
プロセッサ１５は、処理を終了しないと判定した場合（ＡＣＴ５１、ＮＯ）、画像を取得する（ＡＣＴ５２）。
【００８７】
プロセッサ１５は、画像から背景領域を抽出する（ＡＣＴ５３）。
【００８８】
プロセッサ１５は、画像から手腕領域を抽出する（ＡＣＴ５４）。
【００８９】
プロセッサ１５は、背景領域情報及び手腕領域情報をバッファに保存する（ＡＣＴ５５）。
【００９０】
プロセッサ１５は、画像における背景領域、及び手腕領域に対してマスク処理を施す（ＡＣＴ５６）。
【００９１】
プロセッサ１５は、マスク処理が施された画像に背景領域、及び手腕領域以外の領域が含まれているか否か判定する（ＡＣＴ５７）。
【００９２】
プロセッサ１５は、背景領域、及び手腕領域以外の領域が含まれていると判定した場合（ＡＣＴ５７、ＹＥＳ）、手が商品を離したか否か判定する（ＡＣＴ５８）。
【００９３】
プロセッサ１５は、手が商品を離したと判定した場合（ＡＣＴ５８、ＹＥＳ）、マスク処理が施された画像を辞書登録し（ＡＣＴ５９）、ＡＣＴ５１の処理に戻る。
【００９４】
プロセッサ１５は、ＡＣＴ５７で背景領域、及び手腕領域以外の領域が含まれていないと判定した場合（ＡＣＴ５７、ＮＯ）、またはＡＣＴ５８で手が商品を離していないと判定した場合（ＡＣＴ５８、ＮＯ）、ＡＣＴ５１の処理に戻る。
【００９５】
上記した第５の実施形態によれば、商品登録装置１は、背景領域情報及び手腕領域情報をＲＡＭ１７などに保持して画像の商品が写っていると推定される領域と手腕領域との位置関係を認識することによって、手が商品を掴んでいる状態と手が商品から離れている状態とを認識する。商品登録装置１は、手が商品を掴んでいる状態と手が商品から離れている状態に切り替わった場合にマスク処理を施した画像を辞書登録する。このような構成により、商品登録装置１は、手腕領域が含まれている、または商品が写っていない状態の画像が辞書として登録されることを防ぎ、且つ効率的に商品の複数の面の画像を辞書として登録することができる。また、このような構成によると、商品登録装置１は、手がカメラ４の画角内にある場合であっても辞書登録を行うことができる為、辞書登録の為のユーザの手間を減らすことができる。
【００９６】
なお、商品登録装置１は、第２の実施形態において示した過去のフレームの画像と今回のフレームの画像との比較結果をＡＣＴ５９の処理を実行するか否かの判定にも用いる構成であってもよい。
【００９７】
なお、上記の図３乃至図７では、商品登録装置１が商品登録処理を行う場合の処理について説明したが、商品登録装置１は、商品認識処理を行う場合に図３乃至図７で示した処理を行う構成であってもよい。即ち、商品登録装置１は、図３乃至図７で示した処理結果に基づいて辞書登録を行うか否かを判定する構成として説明したこの構成に限定されず、図３乃至図７で示した処理結果に基づいて商品認識処理を行うかを判定する構成であってもよい。
【００９８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９９】
１…商品登録装置、２…台、３…フレーム、４…カメラ、５…距離センサ、６…情報処理装置、７…商品、１１…表示部、１２…操作部、１３…インタフェース、１４…インタフェース、１５…プロセッサ、１６…ＲＯＭ、１７…ＲＡＭ、１８…ストレージ、１９…計時部、２０…バス。
【図１】
2017123152.tif 000003
【図２】
2017123152.tif 000004
【図３】
2017123152.tif 000005
【図４】
2017123152.tif 000006
【図５】
2017123152.tif 000007
【図６】
2017123152.tif 000008
【図７】
2017123152.tif 000009