(57)【要約】【課題】一般物体認識による対象物品の認識に係る操作について操作性を向上させることができる情報処理装置及びプログラムを提供する。【解決手段】情報処理装置は、検出手段と、抽出手段と、表示制御手段と、操作制御手段とを備える。検出手段は、撮像部が撮像した画像データに含まれている物品を検出する。抽出手段は、検出した物品について画像データから抽出した当該物品の特徴量と、照合用の各種物品の特徴量との類似度に基づいて、撮像部が撮像した物品に該当する物品の候補を抽出する。表示制御手段は、撮像部が撮像した画像データと、抽出した候補とを表示させる。操作制御手段は、表示した候補を選択する操作を受け付ける。そして、表示制御手段は、操作を受け付けていない状態で検出手段が物品を検出しなくなったことを条件に、画像データに替えて、検出手段が物品を検出していた別の画像データを表示させる。【選択図】図４
2017211880.tif 000002
【特許請求の範囲】
【請求項１】
撮像部が撮像した画像データに含まれている物品を検出する検出手段と、
前記検出手段が検出した前記物品について前記画像データから抽出した当該物品の特徴量と、照合用の各種物品の前記特徴量との類似度に基づいて、前記撮像部が撮像した前記物品に該当する前記物品の候補を抽出する抽出手段と、
前記撮像部が撮像した前記画像データと、前記抽出手段が抽出した前記候補とを表示させる表示制御手段と、
前記表示制御手段が表示した前記候補を選択する操作を受け付ける操作制御手段と、
を備え、
前記表示制御手段は、前記操作制御手段が前記操作を受け付けていない状態で前記検出手段が前記物品を検出しなくなったことを条件に、前記画像データに替えて、前記検出手段が前記物品を検出していた別の前記画像データを表示させる情報処理装置。
【請求項２】
前記抽出手段は、一又は複数の前記画像データの各々から抽出した前記物品の前記特徴量と、照合用の各種物品の前記特徴量との一又は複数の前記類似度に基づいて、前記撮像部が撮像した前記物品に該当する前記物品の候補を抽出し、
前記表示制御手段は、前記操作制御手段が前記操作を受け付けていない状態で前記検出手段が前記物品を検出しなくなったことを条件に、前記検出手段が前記物品を検出していた別の前記画像データを一又は複数表示させる、
請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記操作制御手段が前記操作を受け付けていない状態で前記検出手段が前記物品を検出しなくなったことを条件に、前記検出手段が前記物品を検出していた別の前記画像データのうち前記候補との間で最も高い前記類似度が算出された前記画像データを表示させる、
請求項２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記操作制御手段が前記操作を受け付けていない状態で前記検出手段が前記物品を検出しなくなったことを条件に、前記画像データに替えて、前記画像データに含まれる前記物品を操作者に識別しやすくする加工を施した当該画像データを表示させる、
請求項１乃至３の何れか一項に記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記操作制御手段が前記操作を受け付けていない状態で前記検出手段が前記物品を検出しなくなったことを条件に、前記画像データに替えて、前記抽出手段が抽出した前記候補から該当する前記物品を選択することを要求するメッセージとともに前記画像データを表示させる、
請求項１乃至４の何れか一項に記載の情報処理装置。
【請求項６】
コンピュータを、
撮像部が撮像した画像データに含まれている物品を検出する検出手段と、
前記検出手段が検出した前記物品について前記画像データから抽出した当該物品の特徴量と、照合用の各種物品の前記特徴量との類似度に基づいて、前記撮像部が撮像した前記物品に該当する前記物品の候補を抽出する抽出手段と、
前記撮像部が撮像した前記画像データと、前記抽出手段が抽出した前記候補とを表示させる表示制御手段と、
前記表示制御手段が表示した前記候補を選択する操作を受け付ける操作制御手段と、
して機能させ、
前記表示制御手段は、前記操作制御手段が前記操作を受け付けていない状態で前記検出手段が前記物品を検出しなくなったことを条件に、前記画像データに替えて、前記検出手段が前記物品を検出していた別の前記画像データを表示させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像した画像データから抽出した対象物品の特徴量と、予め用意された照合用の特徴量とを比較した類似度に応じて物品の種別等を認識する一般物体認識（オブジェクト認識）に関する技術がある。
【０００３】
一般物体認識により対象物品を認識する情報処理装置は、類似度が閾値よりも低い場合等に一般物体認識の間違いを防止するために、候補となる物品から対象物品を選択することを求めている。しかしながら、情報処理装置の操作者は、撮像部にかざしていた対象物品を荷台等に置いたりすると認識させようとしていた対象物品を失念してしまうことがあり、候補となる物品から対象物品を選択することができなくなってしまうことがある。この場合、操作者は、対象物品の一般物体認識をやり直さなければならず、情報処理装置の操作性について改善の余地があった。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、一般物体認識による対象物品の認識に係る操作について操作性を向上させることができる情報処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態の情報処理装置は、検出手段と、抽出手段と、表示制御手段と、操作制御手段とを備える。前記検出手段は、撮像部が撮像した画像データに含まれている物品を検出する。前記抽出手段は、前記検出手段が検出した前記物品について前記画像データから抽出した当該物品の特徴量と、照合用の各種物品の前記特徴量との類似度に基づいて、前記撮像部が撮像した前記物品に該当する前記物品の候補を抽出する。前記表示制御手段は、前記撮像部が撮像した前記画像データと、前記抽出手段が抽出した前記候補とを表示させる。前記操作制御手段は、前記表示制御手段が表示した前記候補を選択する操作を受け付ける。そして、前記表示制御手段は、前記操作制御手段が前記操作を受け付けていない状態で前記検出手段が前記物品を検出しなくなったことを条件に、前記画像データに替えて、前記検出手段が前記物品を検出していた別の前記画像データを表示させる。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態に係るチェックアウトシステムの一例を示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成の一例を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成の一例を示す説明図である。
【図４】図４は、ＰＯＳ端末が有する特徴的な機能構成を示すブロック図である。
【図５】図５は、画像データテーブルのデータ構成の一例を示す説明図である。
【図６】図６は、商品登録画面の一例を示す説明図である。
【図７】図７は、表示の一部を切り替えた商品登録画面の一例を示す説明図である。
【図８】図８は、実施形態のＰＯＳ端末が実行する商品登録処理の一例を示すフローチャート図である。
【図９】図９は、セルフＰＯＳの構成の一例を示す斜視図である。
【図１０】図１０は、セルフＰＯＳのハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【０００７】
以下、図面を参照して、実施形態に係る情報処理装置及びプログラムについて詳細に説明する。以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００８】
図１は、実施形態に係るチェックアウトシステム１の一例を示す斜視図である。チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ（Point  Of  Sales）端末１１とを備える。以下、ＰＯＳ端末１１を本実施形態に係る情報処理装置として適用した例について説明する。また、一般物体認識の対象の物品の一例として、対象物品が商品である場合について説明するが、対象物品は商品以外の物品であってもよい。
【０００９】
ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置される。ドロワ２１は、ＰＯＳ端末１１により開放動作が制御される。ＰＯＳ端末１１は、上面に操作者（店員）によって操作されるキーボード２２を備える。ＰＯＳ端末１１は、キーボード２２を操作する操作者から見てキーボード２２よりも奥側に、操作者に向けて各種情報を表示する第１表示デバイス２３を備える。第１表示デバイス２３は、各種操作を受け付けるタッチパネル２６を備える。ＰＯＳ端末１１は、第１表示デバイス２３よりも更に奥側に、回転可能に立設した第２表示デバイス２４を備える。図１に示す第２表示デバイス２４は、図１中手前側に向いているが、図１中奥側に向くように回転させることにより、顧客に各種情報を表示する。
【００１０】
横長テーブル状のカウンタ台１５１は、ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するよう配置される。カウンタ台１５１には、商品を収納する買物カゴ１５３が載置される。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。または、買物カゴ１５３は、箱状や袋状等であってもよい。買物カゴ１５３には、顧客が持ち込む第１の買物カゴ１５４と、第１の買物カゴ１５４から商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５５とがある。
【００１１】
カウンタ台１５１には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置される。商品読取装置１０１は、薄型矩形形状のハウジング１０２に内蔵される。ハウジング１０２は、正面に読取窓１０３を備える。ハウジング１０２は、上部に表示操作部１０４が取り付けられる。
【００１２】
表示操作部１０４は、タッチパネル１０５が表面に積層された第１表示デバイス１０６を備える。商品読取装置１０１は、第１表示デバイス１０６の右隣にキーボード１０７を備える。商品読取装置１０１は、キーボード１０７の右隣には、カードリーダ１１１（図２参照）のカード読取溝１０８を備える。商品読取装置１０１は、操作者から見て表示操作部１０４の裏面左奥側には、顧客に向けて情報を提供する第２表示デバイス１０９を備える。
【００１３】
商品読取装置１０１は、ハウジング１０２の内部に商品読取部１１０（図２参照）を備える。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を備える。
【００１４】
第１の買物カゴ１５４には、一取引に係る商品が収納されている。商品読取装置１０１を操作する操作者は、第１の買物カゴ１５４内の商品を第２の買物カゴ１５５に移動する。操作者は、この移動過程において、商品を商品読取装置１０１の読取窓１０３にかざす。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は、商品を撮像する。
【００１５】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成の一例を示すブロック図である。ＰＯＳ端末１１は、ＣＰＵ（Central  Processing  Unit）６１と、ＲＯＭ（Read  Only  Memory）６２と、ＲＡＭ（Random  Access  Memory）６３と、記憶部６４と、通信インタフェース６５と、キーボード２２と、第１表示デバイス２３と、タッチパネル２６と、第２表示デバイス２４と、接続インタフェース６６と、ドロワ２１と、プリンタ６７とを備える。ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３と、記憶部６４と、通信インタフェース６５と、キーボード２２と、第１表示デバイス２３と、タッチパネル２６と、第２表示デバイス２４と、接続インタフェース６６と、ドロワ２１と、プリンタ６７とは、バスを介して接続されている。
【００１６】
ＣＰＵ６１は、ＰＯＳ端末１１の動作を統括的に制御する。ＲＯＭ６２は、各種プログラムやデータを記憶する。ＲＡＭ６３は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。また、ＲＡＭ６３は、後述する画像データテーブル７２を記憶する。なお、画像データテーブル７２は、ＲＡＭ６３に限らず、記憶部６４等の他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。
【００１７】
キーボード２２は、ＰＯＳ端末１１を操作する各種キーを備える。
【００１８】
記憶部６４は、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）等の不揮発性の記憶装置である。記憶部６４は、制御プログラム７０と、ＰＬＵファイル７１とを記憶する。なお、ＰＬＵファイル７１は、記憶部６４に限らず、他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。
【００１９】
制御プログラム７０は、オペレーティングシステムや、ＰＯＳ端末１１が備えている機能を発揮させるためのプログラムである。制御プログラム７０には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
【００２０】
ＰＬＵファイル７１は、店舗に陳列して販売する各種商品の各々について、商品の売上登録に係る情報を格納する商品ファイルである。ここで、図３は、ＰＬＵファイル７１のデータ構成の一例を示す説明図である。ＰＬＵファイル７１は、商品ごとに、商品コードと、商品情報と、イラスト画像と、照合用特徴量とを関連付けて記憶する。商品コードは、商品を識別可能な識別情報である。商品情報は、商品が属する商品分類、商品名、単価等の情報である。イラスト画像は、その商品を示す画像である。照合用特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。尚、照合用特徴量は、後述する類似度の判定に用いられる照合用のデータである。
【００２１】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、通信インタフェース６５が接続される。通信インタフェース６５は、ネットワークを介して、ストアコンピュータ等の外部機器と通信するためのインタフェースである。
【００２２】
接続インタフェース６６は、商品読取装置１０１と接続するためのインタフェースである。プリンタ６７は、一取引における取引内容をレシート用紙に印字する。
【００２３】
商品読取装置１０１の商品読取部１１０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３と、撮像部１６４と、音声出力部１６５と、接続インタフェース１７５とを備える。ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３と、撮像部１６４と、音声出力部１６５と、接続インタフェース１７５とは、バスを介して接続されている。
【００２４】
ＣＰＵ１６１は、商品読取装置１０１の動作を統括的に制御する。ＲＯＭ１６２は、各種プログラムやデータを記憶する。ＲＡＭ１６３は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。
【００２５】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等のイメージセンサ（不図示）とＬＥＤなどの光源（不図示）とを備える。そして、撮像部１６４は、ＣＰＵ１６１の制御の下で読取窓１０３の内部から撮像を行う。例えば撮像部１６４は、３０ｆｐｓ（Frame  Per  Second）等のフレームレートで画像データを撮像する。撮像部１６４は、順次撮像した画像データをＲＡＭ１６３に保存する。
【００２６】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。
【００２７】
接続インタフェース１７５は、ＰＯＳ端末１１及び表示操作部１０４と接続するためのインタフェースである。
【００２８】
商品読取装置１０１の表示操作部１０４は、接続インタフェース１７６と、キーボード１０７と、第１表示デバイス１０６と、タッチパネル１０５と、第２表示デバイス１０９と、カードリーダ１１１とを備える。接続インタフェース１７６と、キーボード１０７と、第１表示デバイス１０６と、タッチパネル１０５と、第２表示デバイス１０９と、カードリーダ１１１とは、バスを介して接続されている。
【００２９】
接続インタフェース１７６は、ＰＯＳ端末１１及び商品読取部１１０と接続するためのインタフェースである。
【００３０】
カードリーダ１１１は、クレジットカード等の決済に用いるカードの記憶媒体が記憶する情報の読み取りを実行する装置である。カードリーダ１１１は、カード読取溝１０８に挿入されたカードの記憶媒体が記憶する情報の読み取りを実行する。
【００３１】
表示操作部１０４は、商品読取部１１０のＣＰＵ１６１、又はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００３２】
次に、ＰＯＳ端末１１が有する特徴的な機能について説明する。ここで、図４は、ＰＯＳ端末１１が有する特徴的な機能構成を示すブロック図である。ＣＰＵ６１は、記憶部６４の制御プログラム７０をＲＡＭ６３に展開し、制御プログラム７０に従って動作することで、図４に示す各機能部をＲＡＭ６３に生成する。具体的には、ＣＰＵ６１は、機能部として、画像取込部６１１と、商品検出部６１２と、特徴量抽出部６１３と、類似度算出部６１４と、記憶制御部６１５と、商品識別部６１６と、商品登録部６１７と、表示制御部６１８と、操作制御部６１９とを備える。
【００３３】
画像取込部６１１は、商品読取装置１０１に撮像要求を出力して撮像部１６４に撮像動作を開始させる。撮像部１６４は、順次撮像した画像データをＲＡＭ１６３に記憶する。商品読取装置１０１は、ＲＡＭ１６３に記憶された画像データをＰＯＳ端末１１の画像取込部６１１に順次出力する。そして、画像取込部６１１は、撮像部１６４が撮像した画像データの入力を順次受け付ける。
【００３４】
検出手段である商品検出部６１２は、画像取込部６１１が受け付けた画像データに含まれている商品を検出する。例えば、商品検出部６１２は、画像データに含まれる商品の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、商品検出部６１２は、画像データを２値化した画像から輪郭線等を抽出する。商品検出部６１２は、予め用意した画像データから抽出した輪郭線と、検出対象の画像データから抽出した輪郭線との差分に基づいて、商品を検出する。ここで、予め用意した画像データは、商品等が含まれていない背景を撮像部１６４が撮像した画像データである。よって、商品検出部６１２は、検出対象の画像データに商品が含まれていることを条件に、予め用意した画像データから抽出した輪郭線にはない輪郭線を、検出対象の画像データから抽出した輪郭線から検出することができる。そして、商品検出部６１２は、予め用意した画像データから抽出した輪郭線にはない輪郭線に基づいて商品を検出する。
【００３５】
また、商品検出部６１２は、画像取込部６１１が受け付けた画像データから商品がフレームアウトしたことを検知する。すなわち、商品検出部６１２は、画像取込部６１１が受け付けた画像データから商品が含まれなくなったことを検知する。例えば、商品検出部６１２は、予め用意した画像データから抽出した輪郭線と、検出対象の画像データから抽出した輪郭線との差分に基づいて、商品がフレームアウトしたことを検知する。または、商品検出部６１２は、明度により商品がフレームアウトしたことを検知してもよい。ここで、撮像部１６４の光源の近く、すなわち読取窓１０３の近くに商品が位置していない場合、撮像部１６４が撮像した画像データの明度は低い値となる。一方、読取窓１０３に認識させたい商品を近づけることにより、光源からの光が商品に反射するので撮像部１６４が撮像した画像データの明度は高い値となる。商品検出部６１２は、明度が所定の基準値以上であることを条件に、商品が画像データに含まれていると判定する。一方、商品検出部６１２は、明度が所定の基準値未満であることを条件に、商品が画像データに含まれていないと判定する。
【００３６】
特徴量抽出部６１３は、撮像部１６４が撮像した画像データから商品検出部６１２が検出した商品の色合いや表面の凹凸状況等の表面の状態を特徴量として抽出する。
【００３７】
類似度算出部６１４は、ＰＬＵファイル７１に登録された商品の照合用特徴量と、特徴量抽出部６１３が抽出した商品の特徴量とを比較することで、ＰＬＵファイル７１に登録された商品の各々との類似度を算出する。ここで、類似度は、ＰＬＵファイル７１に記憶されている商品の照合用特徴量を１００％＝「類似度：１．０」とした場合に、商品の全部または一部がどの程度類似しているかを示すものである。なお、類似度算出部６１４は、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
【００３８】
このように画像中に含まれる物体を認識することは一般物体認識（generic  object  recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６  [平成２８年４月２９日検索]，インターネット<URL:  http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf  >
【００３９】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie  Shottonら，“Semantic  Texton  Forests  for  Image  Categorization  and  Segmentation”，[平成２８年４月２９日検索]，インターネット<URL:  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf  >
【００４０】
なお、ＰＬＵファイル７１に登録された各種商品の照合用特徴量と、特徴量抽出部６１３が抽出した商品の特徴量との類似度の算出方法は特に問わないものとする。例えば、類似度算出部６１４は、ＰＬＵファイル７１に登録された商品の照合用特徴量と、特徴量抽出部６１３が抽出した商品の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００４１】
記憶制御部６１５は、撮像部１６４が撮像した画像データ等を画像データテーブル７２に記憶させる。ここで、図５は、画像データテーブル７２のデータ構成の一例を示す説明図である。画像データテーブル７２は、識別番号と、画像データと、特徴量と、類似度と、商品コードとを関連付けて一又は複数記憶する。識別番号は、画像データテーブル７２に記憶された情報を識別可能な識別情報である。画像データは、画像取込部６１１が受け付けた画像データである。すなわち、画像データは、画像データに含まれる商品の一般物体認識に使用された画像データである。特徴量は、関連付けられた画像データに含まれる商品について特徴量抽出部６１３が抽出した特徴量である。類似度は、関連付けられた画像データに含まれる商品の特徴量と、ＰＬＵファイル７１に登録された各種商品の照合用特徴量との類似度のうち最も高い類似度である。商品コードは、類似度が最も高かった商品の商品コードである。そして、記憶制御部６１５は、商品が売上登録されたことを条件に、画像データテーブル７２に記憶させた画像データ等を削除する。なお、記憶制御部６１５は、画像データと、特徴量と、類似度と、商品コードとを同一のデータテーブルに限らず、それぞれ異なったデータテーブルに記憶させてもよい。
【００４２】
図４に戻り、商品識別部６１６は、画像データテーブル７２に記憶された類似度に基づいて、画像データに含まれる商品に該当する商品の商品情報をＰＬＵファイル７１から抽出する。すなわち、商品識別部６１６は、撮像部１６４が撮像した商品の商品情報を抽出する。本実施形態において商品識別部６１６は、画像データテーブル７２に記憶された類似度に応じて、確定商品と、商品候補と、識別不可との段階に分けて抽出する。なお、類似度に応じた分類分けは、一例であって、他の方法による分類分けであってもよい。
【００４３】
商品識別部６１６は、第１条件として、画像データテーブル７２において同一の商品について第１閾値以上の類似度が所定個数以上登録されているか否かを判定する。商品識別部６１６は、第１条件を満たしていることを条件に確定商品として、商品検出部６１２が検出した商品に該当する商品をＰＬＵファイル７１から抽出する。そして、商品識別部６１６は、確定商品の商品情報をＰＬＵファイル７１から抽出する。確定商品とは、操作者による確認操作によらずに、画像データテーブル７２に記憶された類似度に基づいて、自動登録可能な商品であることを示している。自動登録とは、操作者による確認操作を求めずに確定商品を販売対象の商品として売上登録する処理である。
【００４４】
また、商品識別部６１６は、第１条件を満たしていないことを条件に第２条件として、画像データテーブル７２において同一の商品について第２閾値以上の類似度が所定個数以上登録されているか否かを判定する。なお、第２閾値は、第１閾値よりも低いものとする。抽出手段である商品識別部６１６は、第２条件を満たしていることを条件に商品候補として、商品検出部６１２が検出した商品に該当する一又は複数の商品をＰＬＵファイル７１から抽出する。そして、商品識別部６１６は、商品候補の商品情報をＰＬＵファイル７１から抽出する。商品候補とは、画像データテーブル７２に記憶された類似度に基づいて、商品検出部６１２が検出した商品に該当する商品の候補であることを示している。すなわち、商品候補は、撮像部１６４が撮像した商品の候補であることを示している。そして、商品候補は、一又は複数の商品候補から該当する商品を選択させる等の操作者の確認操作により販売対象の商品として売上登録される。
【００４５】
また、商品識別部６１６は、第２条件を満たしていないことを条件に、識別不可と判定する。商品識別部６１６は、識別不可と判定したことを条件に、ＰＬＵファイル７１から商品情報を抽出しない。
【００４６】
商品登録部６１７は、指定された商品を販売対象の商品として売上登録する。すなわち、商品登録部６１７は、販売対象の商品の商品情報を売上登録する。商品登録部６１７は、商品識別部６１６が確定商品と判定した場合には、該当する商品を販売対象の商品として売上登録する。または、商品登録部６１７は、商品識別部６１６が商品候補として抽出した場合には、商品候補から選択された商品を販売対象の商品として売上登録する。なお、商品登録部６１７は、撮像部１６４等がコードシンボル等を読み取った場合等においても、コードシンボルが示す商品コードにより特定される商品を販売対象の商品として売上登録する。
【００４７】
表示制御部６１８は、第１表示デバイス２３、第２表示デバイス２４、第１表示デバイス１０６、及び第２表示デバイス１０９の全部又は一部を制御して、各種画面を表示させる。例えば、表示制御部６１８は、第１表示デバイス１０６に商品登録画面１０００を表示させる。ここで、図６は、商品登録画面１０００の一例を示す説明図である。商品登録画面１０００は、撮像画像表示領域１１００と、商品候補表示領域１２００と、登録画面ボタン１３００とを備える。撮像画像表示領域１１００は、画像取込部６１１が入力を受け付けた画像データを表示する領域である。すなわち、撮像画像表示領域１１００は、撮像部１６４が撮像した画像データを表示する表示領域である。そして、表示制御部６１８は、商品識別部６１６が抽出した商品候補から売上登録する商品が選択されていない状態においては、商品検出部６１２が画像データから商品を検出したことを条件に、撮像部１６４が撮像した画像データを順次表示させる。商品候補表示領域１２００は、商品識別部６１６が抽出した商品候補の商品を表示する領域である。商品候補表示領域１２００は、商品候補から販売対象の商品として売上登録する商品を選択するための商品登録ボタン１２０１を備えている。登録画面ボタン１３００は、商品一覧から選択した商品のボタンを押下することで販売対象の商品を売上登録する登録画面を表示させるボタンである。
【００４８】
表示制御手段である表示制御部６１８は、商品識別部６１６が抽出した商品候補から売上登録する商品が選択されていない状態で商品がフレームアウトしたことを条件に、商品登録画面１０００の全部又は一部の表示を切り替える。例えば、表示制御部６１８は、撮像画像表示領域１１００において、撮像部１６４が撮像した画像データに替えて、画像データテーブル７２に記憶された別の画像データを表示させる。すなわち、表示制御部６１８は、商品検出部６１２が画像データから商品を検出しなくなったことを条件に、画像データテーブル７２に記憶された画像データを表示させる。
【００４９】
表示制御部６１８は、撮像画像表示領域１１００に、画像データテーブル７２に記憶された画像データの全部又は一部を表示させる。例えば、表示制御部６１８は、画像データテーブル７２に記憶された画像データの全部又は一部を動画として表示させる。または、表示制御部６１８は、画像データテーブル７２に記憶された画像データの全部又は一部を縮小した画像を並べて表示させる。または、表示制御部６１８は、画像データテーブル７２に記憶された画像データから選出した画像データを表示させる。具体的には、表示制御部６１８は、画像データテーブル７２に記憶された一又は複数の画像データのうち最も高い類似度の画像データを表示させる。または、表示制御部６１８は、画像データテーブル７２において、最初、最後、又は中間に記憶された画像データを表示させる。
【００５０】
また、表示制御部６１８は、撮像画像表示領域１１００に、画像データテーブル７２に記憶された画像データに含まれる商品を操作者に識別しやすくする加工を施した画像データを表示させる。例えば、表示制御部６１８は、画像データテーブル７２に記憶された画像データにおいて、商品検出部６１２が検出した商品が撮像されている領域を拡大した画像データを表示させる。または、表示制御部６１８は、画像データテーブル７２に記憶された画像データにおいて、画像データの明るさやコントラストを変換して見やすくした画像データを表示させる。
【００５１】
また、表示制御部６１８は、撮像画像表示領域１１００に、画像データテーブル７２に記憶された画像データに文字や図形等を付加した画像データを表示させる。例えば、表示制御部６１８は、画像データテーブル７２に記憶された画像データにおいて、商品検出部６１２が検出した商品が撮像されている領域を示す図形やメッセージを画像データに表示させる。または、表示制御部６１８は、操作者に該当する商品を選択することを要求するメッセージ等とともに画像データを表示させる。または、表示制御部６１８は、画像データテーブル７２に記憶された画像データにおいて、現在表示している画像データから算出された類似度を表示させる。
【００５２】
ここで、図７は、表示の一部を切り替えた商品登録画面１０００の一例を示す説明図である。図７に示す商品登録画面１０００の撮像画像表示領域１１００に表示された画像データは、商品検出部６１２が検出した商品が撮像されている領域を拡大する加工が施されている。さらに、撮像画像表示領域１１００に表示された画像データは、商品が撮像されている領域を示す線と、「対象商品」とのメッセージとが付加されている。さらに、撮像画像表示領域１１００に表示された画像データは、「該当する商品を選択して下さい」とのメッセージが付加されている。さらに、撮像画像表示領域１１００に表示された画像データは、「類似度：８１％」と画像データから算出された類似度が付加されている。
【００５３】
図４に戻り、操作制御部６１９は、キーボード２２、タッチパネル２６、タッチパネル１０５、及びキーボード１０７の全部又は一部を制御して、各種操作を受け付ける。例えば、操作制御部６１９は、表示制御部６１８が商品登録画面１０００に表示した商品候補を選択する操作を受け付ける。すなわち、操作制御部６１９は、商品登録画面１０００の商品登録ボタン１２０１が押下される操作を受け付ける。
【００５４】
次に、ＰＯＳ端末１１が実行する商品登録処理について説明する。ここで、図８は、実施形態のＰＯＳ端末１１が実行する商品登録処理の一例を示すフローチャート図である。
【００５５】
まず、ＰＯＳ端末１１の表示制御部６１８は、商品登録画面１０００を表示させる（ステップＳ１）。
【００５６】
次いで、ＰＯＳ端末１１の画像取込部６１１は、商品読取部１１０に撮像部１６４による撮像開始を要求する（ステップＳ２）。次いで、ＰＯＳ端末１１の画像取込部６１１は、商品読取部１１０から撮像部１６４が順次撮像した画像データの入力を受け付ける（ステップＳ３）。
【００５７】
次いで、ＰＯＳ端末１１の商品検出部６１２は、画像データに商品が含まれているか否かを判定する（ステップＳ４）。画像データに商品が含まれていない場合に（ステップＳ４；Ｎｏ）、ＰＯＳ端末１１の商品検出部６１２は、ステップＳ１５に移行する。一方、画像データに商品が含まれている場合に（ステップＳ４；Ｙｅｓ）、ＰＯＳ端末１１の表示制御部６１８は、商品登録画面１０００の撮像画像表示領域１１００に入力された画像データを順次表示させる（ステップＳ５）。
【００５８】
次いで、ＰＯＳ端末１１の特徴量抽出部６１３は、商品検出部６１２が検出した商品の特徴量を抽出する（ステップＳ６）。次いで、ＰＯＳ端末１１の類似度算出部６１４は、特徴量抽出部６１３が抽出した特徴量と、ＰＬＵファイル７１の各商品の照合用特徴量とを比較して、商品ごとの類似度を算出する（ステップＳ７）。次いで、ＰＯＳ端末１１の記憶制御部６１５は、類似度と、特徴量と、画像データと、類似度が最も高かった商品の商品コードとを画像データテーブル７２に記憶させる（ステップＳ８）。
【００５９】
次いで、ＰＯＳ端末１１の商品識別部６１６は、画像データに含まれている商品に該当する商品を確定商品として、ＰＬＵファイル７１から抽出することができるか否かを判定する（ステップＳ９）。
【００６０】
確定商品として抽出することができることを条件に（ステップＳ９；Ｙｅｓ）、ＰＯＳ端末１１の商品登録部６１７は、抽出した確定商品を販売対象の商品として売上登録する（ステップＳ１０）。そして、ＰＯＳ端末１１は、商品登録処理を終了する。
【００６１】
一方、確定商品として抽出することができないことを条件に（ステップＳ９；Ｎｏ）、ＰＯＳ端末１１の商品識別部６１６は、画像データに含まれている商品に該当する商品を商品候補として、ＰＬＵファイル７１から抽出することができるか否かを判定する（ステップＳ１１）。商品候補として抽出することができないことを条件に（ステップＳ１１；Ｎｏ）、ＰＯＳ端末１１は、ステップＳ３に移行する。
【００６２】
一方、商品候補として抽出することができることを条件に（ステップＳ１１；Ｙｅｓ）、ＰＯＳ端末１１の表示制御部６１８は、抽出した商品候補を売上登録する商品登録ボタン１２０１を商品候補表示領域１２００に表示する（ステップＳ１２）。
【００６３】
次いで、ＰＯＳ端末１１の商品登録部６１７は、商品登録ボタン１２０１が押下されたか否かを判定する（ステップＳ１３）。商品登録ボタン１２０１が押下されないことを条件に（ステップＳ１３；Ｎｏ）、ＰＯＳ端末１１は、ステップＳ３に移行する。
【００６４】
一方、商品登録ボタン１２０１が押下されたことを条件に（ステップＳ１３；Ｙｅｓ）、ＰＯＳ端末１１の商品登録部６１７は、商品登録ボタン１２０１に関連付けられた商品を販売対象の商品として売上登録する（ステップＳ１４）。
【００６５】
次いで、ＰＯＳ端末１１の記憶制御部６１５は、画像データテーブル７２に記憶させた画像データ等の各種情報を削除する（ステップＳ１５）。そして、ＰＯＳ端末１１は、商品登録処理を終了する。
【００６６】
ステップＳ４において画像データに商品が含まれていない場合に（ステップＳ４；Ｎｏ）、ＰＯＳ端末１１の表示制御部６１８は、商品識別部６１６が商品候補を抽出済みであるか否かを判定する（ステップＳ１６）。商品識別部６１６が商品候補を抽出済みであることを条件に（ステップＳ１６；Ｙｅｓ）、ＰＯＳ端末１１の表示制御部６１８は、撮像画像表示領域１１００に画像データテーブル７２に記憶された画像データの全部又は一部を表示させる（ステップＳ１７）。そして、ＰＯＳ端末１１は、ステップＳ９に移行する。
【００６７】
一方、商品識別部６１６が商品候補を抽出していないことを条件に（ステップＳ１６；Ｎｏ）、ＰＯＳ端末１１の表示制御部６１８は、商品登録画面１０００の撮像画像表示領域１１００に入力された画像データを順次表示させる（ステップＳ１８）。そして、ＰＯＳ端末１１は、ステップＳ９に移行する。
【００６８】
以上により、ＰＯＳ端末１１は、商品登録処理を終了する。
【００６９】
以上のように、本実施形態に係るＰＯＳ端末１１によれば、商品識別部６１６は、撮像部１６４が撮像した画像データに含まれる商品に該当する商品の商品候補を抽出する。そして、表示制御部６１８は、商品識別部６１６が抽出した商品候補から撮像部１６４が撮像した商品が選択される前に商品がフレームアウトしたことを条件に、撮像画像表示領域１１００に、画像データテーブル７２に記憶された画像データを表示させる。商品識別部６１６が商品候補の抽出に用いた画像データを表示させる。すなわち、ＰＯＳ端末１１は、商品が撮像部１６４にかざされなくなったことを条件に、商品検出部６１２が商品を検出していた別の画像データを商品登録画面１０００に表示させる。よって、操作者は、撮像部１６４にかざしていた商品を失念してしまった場合であっても、表示されている画像データを参照することでかざしていた商品に該当する商品候補を選択することができる。従って、本実施形態に係るＰＯＳ端末１１は、一般物体認識による対象物品の認識に係る操作について操作性を向上させることができる。
【００７０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７１】
また、上記実施形態では、特徴的な機能（画像取込部６１１、商品検出部６１２、特徴量抽出部６１３、類似度算出部６１４、記憶制御部６１５、商品識別部６１６、商品登録部６１７、表示制御部６１８、及び操作制御部６１９）を有する情報処理装置としてＰＯＳ端末１１を適用した。しかし、これに限らず、これら特徴的な機能（画像取込部６１１、商品検出部６１２、特徴量抽出部６１３、類似度算出部６１４、記憶制御部６１５、商品識別部６１６、商品登録部６１７、表示制御部６１８、及び操作制御部６１９）を有する情報処理装置として商品読取装置１０１を適用してもよい。さらに、これら特徴的な機能は、ＰＯＳ端末１１及び商品読取装置１０１に分散されていてもよい。
【００７２】
また、上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像（基準画像）としてもよい。
【００７３】
また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１とを備えるチェックアウトシステム１に適用した。しかし、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。
【００７４】
ここで、図９は、セルフＰＯＳ２００の構成の一例を示す斜視図である。図１０は、セルフＰＯＳ２００のハードウェア構成の一例を示すブロック図である。尚、以下では、図１および図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図９および図１０に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された第１表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備える。
【００７５】
第１表示デバイス１０６は、例えば液晶表示器である。第１表示デバイス１０６は、商品登録画面１０００を表示する。そして、第１表示デバイス１０６は、商品がフレームアウトしたことを条件に、商品登録画面１０００の全部又は一部の表示を切り替える。例えば、第１表示デバイス１０６は、撮像画像表示領域１１００において、撮像部１６４が撮像した画像データに替えて、画像データテーブル７２に記憶された画像データを表示させる。または、第１表示デバイス１０６は、顧客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面を表示する。または、第１表示デバイス１０６は、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
【００７６】
商品読取部１１０は、顧客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取る。
【００７７】
また、セルフＰＯＳ２００は、本体２０２の右側に、かごに入った未精算の商品を置くための商品載置台２０３を備える。セルフＰＯＳ２００は、本体２０２の左側に、精算済みの商品を置くための商品載置台２０４を備える。商品載置台２０４は、精算済みの商品を入れるための袋を掛ける袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を備える。商品載置台２０３、２０４は、計量器２０７、２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有する。
【００７８】
また、セルフＰＯＳ２００の本体２０２は、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１を備える。
【００７９】
このような構成のセルフＰＯＳ２００をチェックアウトシステム１に適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。
【００８０】
上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００８１】
また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００８２】
１  チェックアウトシステム
１１  ＰＯＳ端末
１０１  商品読取装置
７２  画像データテーブル
６１１  画像取込部
６１２  商品検出部
６１３  特徴量抽出部
６１４  類似度算出部
６１５  記憶制御部
６１６  商品識別部
６１７  商品登録部
６１８  表示制御部
６１９  操作制御部
１０００  商品登録画面
１１００  撮像画像表示領域
【先行技術文献】
【特許文献】
【００８３】
【特許文献１】特開２０１３−８９０８３号公報
【図１】
2017211880.tif 000003
【図２】
2017211880.tif 000004
【図３】
2017211880.tif 000005
【図４】
2017211880.tif 000006
【図５】
2017211880.tif 000007
【図６】
2017211880.tif 000008
【図７】
2017211880.tif 000009
【図８】
2017211880.tif 000010
【図９】
2017211880.tif 000011
【図１０】
2017211880.tif 000012