(57)【要約】【課題】本発明が解決しようとする課題は、表示された候補物品に該当する物品が含まれていない場合に、新たに撮像した物品について一般物体認識処理を自動的に再開可能とした情報処理装置およびプログラムを提供することである。【解決手段】実施形態の情報処理装置は、記憶部に記憶された基準物品の特徴を示す特徴量に基づいて、撮像された物品について前記基準物品との類似度を算出する類似度算出手段と、算出された類似度が高い複数の基準物品を前記物品の候補として表示部に表示させる表示制御手段と、前記表示部に表示された複数の前記基準物品から一つの基準物品が所定のタイミングまでに選択されないことを条件に、新たに撮像された物品について前記類似度算出手段による類似度の算出を自動的に再開させる類似度算出再開手段と、を備える。【選択図】図６
2018032332.tif 000002
【特許請求の範囲】
【請求項１】
記憶部に記憶された基準物品の特徴を示す特徴量に基づいて、撮像された物品について前記基準物品との類似度を算出する類似度算出手段と、
算出された類似度が高い複数の基準物品を前記物品の候補として表示部に表示させる表示制御手段と、
前記表示部に表示された複数の前記基準物品から一つの基準物品が所定のタイミングまでに選択されないことを条件に、新たに撮像された物品について前記類似度算出手段による類似度の算出を自動的に再開させる類似度算出再開手段と、
を備えた情報処理装置。
【請求項２】
撮像部によって撮像された物品の画像を切り出す切出手段、をさらに備え、
前記類似度算出手段は、切り出された前記物品の画像について前記類似度を算出し、
前記類似度算出再開手段は、前記表示部に候補としての前記基準物品が表示された状態において、新たな画像が切り出されたことを前記所定のタイミングとして、前記表示部に表示された複数の前記基準物品から一つの基準物品が所定のタイミングまでに選択されないことを条件に、当該新たに切り出された物品について前記類似度算出手段による類似度の算出を自動的に再開する、
請求項１に記載の情報処理装置。
【請求項３】
前記切出手段による物品の画像の切出回数をカウントするカウント手段、をさらに備え、
前記類似度算出再開手段は、前記表示部に前記候補としての基準物品が表示された状態において、前記撮像された新たな物品の切出回数が所定回数に達したことを前記所定のタイミングとして、前記表示部に表示された複数の前記基準物品から一つの基準物品が所定のタイミングまでに選択されないことを条件に、当該新たに切り出された物品について前記類似度算出手段による類似度の算出を自動的に再開する、
請求項２に記載の情報処理装置。
【請求項４】
前記類似度算出再開手段は、前記表示部に前記候補となる基準物品が表示された状態において、前記切り出された画像の物品の類似度が所定値を超えたと判断したことを前記所定のタイミングとして、前記表示部に表示された複数の前記基準物品から一つの基準物品が所定のタイミングまでに選択されないことを条件に、当該新たに切り出された物品について前記類似度算出手段による類似度の算出を自動的に再開する、
請求項１または２に記載の情報処理装置。
【請求項５】
前記類似度算出再開手段は、前記表示部に前記候補となる基準物品が表示された状態において、前記表示制御手段が候補となる基準物品を表示させてから所定時間経過したことを前記所定のタイミングとして、前記表示部に表示された複数の前記基準物品から一つの基準物品が所定のタイミングまでに選択されないことを条件に、当該新たに切り出された物品について前記類似度算出手段による類似度の算出を自動的に再開する、
請求項１に記載の情報処理装置。
【請求項６】
コンピュータを、
記憶部に記憶された基準物品の特徴を示す特徴量に基づいて、撮像された物品について前記基準物品との類似度を算出する類似度算出手段と、
算出された類似度が高い複数の基準物品を前記物品の候補として表示部に表示させる表示制御手段と、
前記表示部に表示された複数の前記基準物品から一つの基準物品が所定のタイミングまでに選択されないことを条件に、新たに撮像された物品について前記類似度算出手段による類似度の算出を自動的に再開させる類似度算出再開手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
従来から、商品等の物品を撮像した画像データから当該物品の特徴を表す特徴量を抽出し、予め記憶された照合用物品の特徴量を示す特徴量データと比較することで、当該物品を認識する一般物体認識技術が存在する。また、この技術を店舗で販売される物品の識別に用いることで、認識された物品を売上登録するチェックアウトシステムが提案されている。係るチェックアウトシステムに用いられる情報処理装置は、一般物体認識処理を実行して、撮像が行われた物品の画像データから得られる物品の特徴量と予め記憶された基準物品の特徴量データとを比較して類似度を算出し、類似度が高い一つの基準物品を認識する。
【０００３】
また、一つの基準物品を認識できなかった場合は、複数の基準物品を抽出して候補として表示する。オペレータは、候補として表示された基準物品から、当該物品と合致する基準物品を抽出する。
【０００４】
ところで、候補として表示された基準物品に、撮像した物品が含まれていない場合がある。例えば、オペレータが意図しない物品（例えば、オペレータの腕や衣服、装飾品等）が撮像された場合等である。このような場合には、オペレータは、例えばキャンセルボタンを操作して、表示された基準物品をキャンセルし、その後、再度物品を撮像して一般物品認識処理を実行する必要があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、候補として表示された基準物品に該当する物品が含まれていない場合に、新たに撮像した物品について一般物体認識処理を自動的に再開可能とした情報処理装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の情報処理装置は、記憶部に記憶された基準物品の特徴を示す特徴量に基づいて、撮像された物品について前記基準物品との類似度を算出する類似度算出手段と、算出された類似度が高い複数の基準物品を前記物品の候補として表示部に表示させる表示制御手段と、前記表示部に表示された複数の前記基準物品から一つの基準物品が所定のタイミングまでに選択されないことを条件に、新たに撮像された物品について前記類似度算出手段による類似度の算出を自動的に再開させる類似度算出再開手段と、を備える。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態に係る商品読取装置を含むチェックアウトシステムの外観構成を示す斜視図である。
【図２】図２は、図１に示した商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、図２に示した商品読取装置が備えた商品マスタのデータ構成の一例を模式的に示す図である。
【図４】図４は、図１に示したＰＯＳ端末のハードウェア構成を示すブロック図である。
【図５】図５は、商品読取装置の機能構成を示す機能ブロック図である。
【図６】図６は、商品読取装置の制御処理の流れを示すフローチャートである。
【図７】図７は、商品読取装置が表示する画面の一例を示す図である。
【図８】図８は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。
【図９】図９は、第１変形例に係る商品読取装置の制御処理の流れを示すフローチャートである。
【図１０】図１０は、第２変形例に係る商品読取装置の制御処理の流れを示すフローチャートである。
【図１１】図１１は、第３変形例に係る商品読取装置の制御処理の流れを示すフローチャートである。
【図１２】図１２は、セルフＰＯＳの構成を示す斜視図である。
【図１３】図１３は、図１２に示したセルフＰＯＳのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、図１〜図１３を参照して、実施形態に係る情報処理装置およびプログラムについて詳細に説明する。実施形態では、商品読取装置を情報処理装置の一例として説明する。また、実施形態では、商品を物品の一例として説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。
【０００９】
図１は、実施形態に係るチェックアウトシステム１の外観構成を示す斜視図である。チェックアウトシステム１は、スーパーマーケット等の量販店やコンビニエンスストア等に設置され、販売される商品の商品情報を入力して商品の売上登録処理や決済処理を行うシステムである。図１に示すように、チェックアウトシステム１は、商品読取装置１０とＰＯＳ端末３０とを備える。
【００１０】
横長テーブル状のカウンタ台１５１には、ＰＯＳ端末３０とデータ送受信可能に接続された商品読取装置１０が設置される。商品読取装置１０は、薄型矩形形状のハウジング２９で形成される。
【００１１】
ハウジング２９の正面には、撮像部２４の読取窓２４ａが設けられている。ハウジング２９の上部には、オペレータ用表示部２２、客用表示部２３、操作部２１、および溝２７ａを有するカードリーダ２７が設けられている。オペレータ用表示部２２上には、タッチパネル２５が設けられている。操作部２１は、商品読取装置１０での処理の終了を宣言する仮締めキー２１１（図２参照）を有している。
【００１２】
カウンタ台１５１の上面には、荷受け面１５２が形成される。荷受け面１５２には、商品Ｐを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０を挟んだ位置に載置される第２の買物カゴ１５３ｂとが存在する。
【００１３】
第１の買物カゴ１５３ａには、顧客が購入する商品Ｐが収納される。商品読取装置１０を操作するオペレータは、第１の買物カゴ１５３ａ内の商品Ｐを取出して第２の買物カゴ１５３ｂへと移動する。移動した商品Ｐが入った第２の買物カゴ１５３ｂは、顧客が図示しない袋詰め所に移動させる。顧客は、袋詰め所において、第２の買物カゴ１５３ｂに入った商品Ｐを買物袋に移す。
【００１４】
第１の買物カゴ１５３ａから第２の買物カゴ１５３ｂへの商品Ｐの移動過程で、商品Ｐは商品読取装置１０の読取窓２４ａの前を通過する。この際、商品読取装置１０は、読取窓２４ａ内に配置された撮像部２４（図２参照）を用いて商品Ｐを含む画像を撮像する。そして、商品読取装置１０は、撮像した撮像画像から、撮像された商品の特徴を示す特徴量を抽出する。そして商品読取装置１０は、抽出した特徴量と商品マスタ１４２（記憶部）に記憶された複数の基準商品の特徴量とを比較して類似度（似ている程度）を算出し、撮像された商品に該当する一または複数の基準商品を候補として抽出する。この一連の処理を一般物体認識（generic  object  recognition）処理という。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
【００１５】
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６  [平成２５年１月２４日検索]，インターネットURL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf  
【００１６】
基準商品とは、店舗で販売されている商品であって、後述する商品マスタ１４２に記憶されている商品をいう。また、基準商品は、撮像された商品との類似度を算出するために基準となる商品である。撮像された商品と類似度が最も近い基準商品を撮像された商品と認識する。また、候補として表示された基準商品のうち、オペレータによって選択された基準商品を撮像された商品と認識する。
【００１７】
商品読取装置１０は、特に類似度が高い（例えば類似度９５％以上）一つの基準商品が存在する場合には、当該類似度が高い基準商品を撮像した商品と自動確定する。そして、商品読取装置１０は、自動確定した基準商品を特定する商品ＩＤ（特定情報）を商品マスタ１４２（図２参照）から読み出す。そして商品読取装置１０は、読み出した商品ＩＤをＰＯＳ端末３０に送信する。
【００１８】
一方、自動確定するほど類似度が高い基準商品が存在しない場合は、商品読取装置１０は、オペレータ用表示部２２に、一般物体認識で算出された類似度が高い順に所定数（例えば類似度が高い順に上位４個）の基準商品を候補として表示する。オペレータは、タッチパネル２５を操作して、候補として表示された基準商品から該当する基準商品を選択する。商品読取装置１０は、選択された基準商品を特定する商品ＩＤを商品マスタ１４２から読み出す。そして商品読取装置１０は、読み出した商品ＩＤをＰＯＳ端末３０に送信する。
【００１９】
ＰＯＳ端末３０は、カウンタ台１５１とＬ字状に配置されたチェックアウト台５１上のドロワ４１上面に載置される。ドロワ４１は、顧客から預かった金銭（紙幣と硬貨）を金銭箱に収納する。ドロワ４１は、顧客に手渡す釣銭を金銭箱に収納している。ドロワ４１は、ＰＯＳ端末３０から開放動作の制御を受けると、金銭箱を開放する。
【００２０】
ＰＯＳ端末３０は、上面にオペレータによって操作される操作部４２を配置する。操作部４２を操作するオペレータから見て操作部４２よりも奥側には、オペレータに向けて情報を表示するオペレータ用表示部４３を備える。オペレータ用表示部４３はオペレータに対して情報を表示する。タッチパネル４６は、オペレータ用表示部４３の表示面４３ａに積層されている。客用表示部４４は、オペレータ用表示部４３よりもさらに奥側に回転自在に立設される。客用表示部４４は、顧客に対して情報を表示する。
【００２１】
ＰＯＳ端末３０は、商品読取装置１０から受信した商品ＩＤに基づいて、自己が保有する商品マスタ３４２（図４参照）から商品情報を読み出して、当該商品の売上登録処理を実行する。売上登録処理とは、商品ＩＤに基づいて当該商品の商品名や価格（総称して「商品情報」という）を表示するとともに、商品情報を商品情報部３３１（図４参照）に記憶する処理をいう。オペレータは、第１の買物カゴ１５３ａに収納されたすべての商品Ｐについてこの操作を繰り返した後に仮締めキー２１１を操作する。
【００２２】
仮締めキー２１１が操作された後にＰＯＳ端末３０において締めキー４２１（図４参照）が操作されると、ＰＯＳ端末３０は、売上登録処理した商品について決済処理を実行する。決済処理とは、釣銭を計算して表示する処理、釣銭の発行を釣銭機に指示する処理、商品情報や決済情報（合計金額、預り金額、釣銭額等）を印字したレシートを発行する処理等をいう。なお、売上登録処理と決済処理を合わせた処理を取引処理という。また、取引処理された情報を売上情報という。
【００２３】
続いて、図２のブロック図を用いて、商品読取装置１０のハードウェア構成について説明する。図２に示すように、商品読取装置１０は、制御主体となるＣＰＵ（Central  Processing  Unit）１１を備える。また商品読取装置１０は、各種プログラムを記憶するＲＯＭ（Read  Only  Memory）１２を備える。また商品読取装置１０は、ＣＰＵ１１のワークエリアとして機能するＲＡＭ（Random  Access  Memory）１３を備える。また商品読取装置１０は、各種プログラムを記憶するＨＤＤやフラッシュメモリ等で構成されたメモリ部１４等を備える。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにデータバス１５を介して接続されている。
【００２４】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３は、制御部１００を構成する。制御部１００は、ＣＰＵ１１が、メモリ部１４の制御プログラム部１４１に記憶されＲＡＭ１３に展開された制御プログラムに従って動作することによって、後述する制御処理を実行する。
【００２５】
ＲＡＭ１３は、各種データも記憶する。ＲＡＭ１３は、画像記憶部１３１および切出回数カウント部１３２を備える。画像記憶部１３１は、後述する撮像部２４が撮像した商品を含む画像を記憶する。切出回数カウント部１３２は、撮像した撮像画像から切り出された商品の切出回数を記憶する。商品の切出しとは、撮像画像から商品の輪郭を認識して、当該商品の画像を抽出することである。
【００２６】
メモリ部１４は、制御プログラム部１４１、商品マスタ１４２（記憶部）を備える。制御プログラム部１４１は、商品読取装置１０を制御するプログラムを記憶する。商品マスタ１４２（図３で後述）は、基準商品毎に商品の種々の情報を記憶する。また、商品マスタ１４２は、基準商品を特定する商品ＩＤ別に、当該商品の特徴を示す情報である特徴量を記憶する。特徴量とは、商品表面の色合いや模様、凹凸状況、形状等の、当該商品の特徴を顕著に表す情報である。なお、実施形態では、商品マスタ１４２が商品の特徴量を記憶するようにしたが、商品の特徴量を記憶する辞書を別途商品ＩＤ別に設け、当該商品ＩＤを商品マスタ１４２に記憶された商品ＩＤと関連付けしてもよい。
【００２７】
制御部１００は、データバス１５およびコントローラ１６を介して、操作部２１、オペレータ用表示部２２、客用表示部２３、撮像部２４、タッチパネル２５、音声出力部２６、カードリーダ２７と接続している。また、制御部１００は、データバス１５を介して、通信Ｉ／Ｆ（Interface）２８と接続している。通信Ｉ／Ｆ２８は通信回線Ｌを介してＰＯＳ端末３０と接続している。
【００２８】
撮像部２４は、カラーＣＣＤセンサやカラーＣＭＯＳセンサを備える。撮像部２４は、読取窓２４ａの前を通過した商品を含む撮像を行う。音声出力部２６は、予め設定された警告音等を発生するための音声回路とスピーカー等である。音声出力部２６は、制御部１００の制御の下で警告音等の音声による報知を行う。カードリーダ２７は、溝２７ａを走査されたカードからカード情報を読み取る。
【００２９】
次に図３を用いて、商品マスタ１４２のデータ構成を示す。商品マスタ１４２は、基準商品を特定する商品ＩＤに対応して、当該基準商品の商品名、単価、商品画像、特徴量を記憶する。図３に示すように、商品マスタ１４２は、商品ＩＤ部１４２１、商品名部１４２３、単価部１４２４、商品画像部１４２５、特徴量部１４２６を備えている。
【００３０】
商品ＩＤ部１４２１は、基準商品を特定する商品ＩＤを記憶する。商品名部１４２３は、商品ＩＤが特定する基準商品の商品名を記憶する。単価部１４２４は、商品ＩＤが特定する基準商品の単価を記憶する。商品画像部１４２５は、商品ＩＤが特定する基準商品の特徴を表す代表的な画像を記憶する。特徴量部は、商品ＩＤ部１４２１に記憶された商品ＩＤと対応付けて、各基準商品の特徴を示す特徴量を記憶する。
【００３１】
続いて、図４のブロック図を用いて、ＰＯＳ端末３０のハードウェア構成について説明する。図４に示すように、ＰＯＳ端末３０は、制御主体となるＣＰＵ３１を備える。またＰＯＳ端末３０は、各種プログラムを記憶するＲＯＭ３２を備える。またＰＯＳ端末３０は、ＣＰＵ３１のワークエリアとして機能するＲＡＭ３３を備える。またＰＯＳ端末３０は、各種プログラムを記憶するＨＤＤやフラッシュメモリ等で構成されたメモリ部３４等を備える。ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４は、互いにデータバス３５を介して接続されている。
【００３２】
ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３は、制御部３００を構成する。制御部３００は、ＣＰＵ３１が、メモリ部３４の制御プログラム部３４１に記憶されＲＡＭ３３に展開された制御プログラムに従って動作することによって、後述する制御処理を実行する。
【００３３】
ＲＡＭ３３は、各種データも記憶する。ＲＡＭ３３は、商品情報部３３１を備える。商品情報部３３１は、ＰＯＳ端末３０で売上登録処理した商品の商品情報を記憶する。
【００３４】
メモリ部３４は、制御プログラム部３４１、商品マスタ３４２を備える。制御プログラム部３４１は、ＰＯＳ端末３０を制御するプログラムを記憶する。商品マスタ３４２は、商品読取装置１０の商品マスタ１４２と同じ構成である。ＰＯＳ端末３０は、追加の商品の売上登録処理や取消処理を実行することがあるため、自身でも商品マスタ３４２を記憶している。また、ＰＯＳ端末３０は、商品読取装置１０が撮像した画像に基づいて一般物体認識処理を実行する場合があるため、自身でも商品マスタ３４２を記憶している。
【００３５】
制御部３００は、データバス３５およびコントローラ３６を介して、締めキー４２１および取消キー４２２を備えた操作部４２、オペレータ用表示部４３、客用表示部４４、タッチパネル４６、ドロワ４１、印字部４７と接続している。締めキー４２１は、取引の決済処理を実行する際に操作する。取消キー４２２は、商品情報部３３１から、直前に売上登録処理した商品の商品情報を削除する際に操作するキーである。取消キー４２２が操作されると、直前に売上登録処理した商品の商品情報は削除され、当該商品に係る売上登録処理は初めからなかったものとする。また、制御部３００は、データバス３５を介して、通信Ｉ／Ｆ４５を制御部３００に接続しており、通信Ｉ／Ｆ４５は通信回線Ｌを介して商品読取装置１０と接続している。
【００３６】
ここからは、商品読取装置１０およびＰＯＳ端末３０の制御処理について説明する。図５は、商品読取装置１０の機能構成を示す機能ブロック図である。制御部１００が、メモリ部１４の制御プログラム部１４１に記憶された制御プログラムに従うことで、類似度算出手段１０１、表示制御手段１０２、類似度算出再開手段１０３、切出手段１０４、カウント手段１０５として機能する。
【００３７】
類似度算出手段１０１は、商品マスタ１４２（記憶部）に記憶された基準商品の特徴を示す特徴量に基づいて、撮像された商品について基準商品との類似度を算出する機能を有する。
【００３８】
表示制御手段１０２は、算出された類似度が高い複数の基準商品を商品の候補として表示部に表示させる機能を有する。
【００３９】
類似度算出再開手段１０３は、オペレータ用表示部２２に表示された複数の基準商品から一つの基準商品が所定のタイミングまでに選択されないことを条件に、新たに撮像された商品について類似度算出手段１０１による類似度の算出を自動的に再開させる機能を有する。
【００４０】
切出手段１０４は、撮像部２４によって撮像された撮像画像から商品の画像を切り出す機能を有する。
【００４１】
カウント手段１０５は、切出手段１０４による商品の画像の切出回数をカウントする機能を有する。
【００４２】
図６は、商品読取装置１０の制御処理の流れを示すフローチャートである。図６に示すように、制御部１００は、切出回数カウント部１３２に切出カウントとしての数値「０」を記憶する（Ｓ１１）。オペレータは、商品を撮像部２４の前に翳す。すると制御部１００は、撮像部２４が撮像した撮像画像を取得する（Ｓ１２）。そして制御部１００（切出手段１０４）は、撮像画像から商品の画像を切り出す（Ｓ１３）。
【００４３】
次に制御部１００は、オペレータ用表示部２２に、後述するＳ３９の処理により、候補として表示された基準商品を選択することを示すアナウンスが表示されているか否かを判断する（Ｓ２１）。基準商品を選択することを示すアナウンスが表示されていないと判断した場合には（Ｓ２１のＮｏ）、制御部１００は、Ｓ１３の処理において商品の画像が切り出せたか否かを判断する（Ｓ３１）。商品の画像が切り出せたと判断した場合には（Ｓ３１のＹｅｓ）、制御部１００（カウント手段１０５）は、切出回数カウント部１３２に記憶されている切出カウントを＋１カウントアップする（Ｓ３２）。
【００４４】
次に制御部１００（類似度算出手段１０１）は、Ｓ１３の処理で切り出した画像に基づいて、一般物体認識処理を実行する（Ｓ３３）。すなわち、制御部１００は、Ｓ１３の処理で切り出した画像から特徴量を抽出する。そして制御部１００は、抽出した特徴量と特徴量部１４２６に記憶されている基準商品の特徴量とを比較する。そして制御部１００は、類似する特徴量を有する基準商品を抽出する。そして制御部１００は、切り出した商品と抽出した基準商品との類似度を算出する。
【００４５】
次に制御部１００は、算出した類似度に基づいて、切り出した商品を特定の一つの商品として自動確定可能か否かを判断する（Ｓ３４）。この判断は、算出した類似度が特に高い（例えば類似度９５％以上）基準商品が存在するか否かで判断する。類似度が特に高い基準商品が存在する場合、当該基準商品を切り出した商品として自動確定が可能であると判断する。類似度が特に高い基準商品が存在しない場合、切り出した商品を特定の一つの商品に自動確定が可能であるとは判断しない。
【００４６】
自動確定が可能であると判断した場合には（Ｓ３４のＹｅｓ）、制御部１００は、自動確定した基準商品の商品ＩＤを商品マスタ１４２から読み出して、ＰＯＳ端末３０に送信する（Ｓ３５）。一方、自動確定が可能であるとは判断しない場合には（Ｓ３４のＮｏ）、制御部１００（表示制御手段１０２）は、Ｓ３３において算出した類似度が高い一または複数の基準商品を、切り出した商品の候補として、オペレータ用表示部２２に表示させる（Ｓ３６）。例えば、制御部１００は、基準商品を類似度が高い順に所定数（例えば４個）の商品を表示させる。
【００４７】
オペレータは、オペレータ用表示部２２に表示された基準商品の中に、撮像部２４に翳した商品が存在すると判断した場合、タッチパネル２５を操作して当該商品に該当する一つの基準商品を選択する。制御部１００は、一つの基準商品が選択されたか否かを判断する（Ｓ３７）。一つの基準商品が選択されたと判断した場合には（Ｓ３７のＹｅｓ）、制御部１００は、Ｓ３５の処理を実行する。一方、基準商品は選択されていないと判断した場合には（Ｓ３７のＮｏ）、制御部１００は、切出回数カウント部１３２に記憶されている切出カウントが所定値（例えば３０）以上であるか否かを判断する（Ｓ３８）。切出カウントが所定値以上ではないと判断した場合には（Ｓ３８のＮｏ）、制御部１００は、Ｓ１２に戻り、新たな画像を取得して切り出しを試みる。一方、切出カウントが所定値以上であると判断した場合には（Ｓ３８のＹｅｓ）、制御部１００は、オペレータ用表示部２２に、候補として表示された基準商品のうちの一つの基準商品を選択することをオペレータに促すアナウンスを表示する（Ｓ３９）。そして制御部１００は、Ｓ１２に戻る。
【００４８】
図７は、制御部１００が、Ｓ３９において、候補として表示された基準商品のうちの一つの基準商品を選択することをオペレータに促すアナウンスをオペレータ用表示部２２に表示した画面の一例を示す図である。図７において、制御部１００は、オペレータ用表示部２２に、画像表示部２２１、候補商品部２２２を表示する。画像表示部２２１は、撮像部２４が撮像している撮像画像を表示する。候補商品部２２２は、Ｓ３６で表示した基準商品の商品情報（商品名、価格、商品の画像等）を商品マスタ１４２から取得して表示する。図７の例では、商品Ａ、商品Ｂ、商品Ｃ、商品Ｄの４個の基準商品の商品情報が表示されている。オペレータは、表示された基準商品のうちから、撮像した商品に該当すると判断した基準商品をタッチして、一つの基準商品を選択する。
【００４９】
また、制御部１００は、Ｓ３９の処理として、オペレータに対するアナウンスとして、表示された基準商品から一つの基準商品を選択することを促すアナウンス２２３を表示する。また、制御部１００は、翳した商品に該当する基準商品が候補商品部２２２に表示されていない場合に対応するため、当該商品を撮像部２４に再度翳すことをオペレータに促すアナウンス２２４を表示する。このアナウンス２２４の表示も、Ｓ３９において表示する。なお、Ｓ３１において、Ｓ１３の処理において商品の画像が切り出せないと判断した場合には（Ｓ３１のＮｏ）、制御部１００は、Ｓ１２に戻る。
【００５０】
一方、Ｓ２１において、一つの基準商品を選択することを示すアナウンスが表示されていると判断した場合には（Ｓ２１のＹｅｓ）、制御部１００は、Ｓ１３の処理において商品の画像が切り出せたか否かを判断する（Ｓ２２）。なお、実施形態では、商品の画像が切り出せたか否かの判断をするまでが、所定のタイミングに該当する。商品の画像が切り出せていないと判断した場合には（Ｓ２２のＮｏ）、制御部１００は、切出回数カウント部１３２に記憶されている切出カウントの数値を「０」にセットする（Ｓ２３）。そして制御部１００は、Ｓ３６で表示した基準商品から一つの基準商品が選択されたか否かを判断する（Ｓ２４）。一つの基準商品が選択されたと判断した場合には（Ｓ２４のＹｅｓ）、制御部１００は、Ｓ３５の処理を実行する。また、基準商品は選択されていないと判断した場合には（Ｓ２４のＮｏ）、制御部１００は、Ｓ１２に戻る。
【００５１】
なお、Ｓ３９においてアナウンス２２３とアナウンス２２４を表示した後、オペレータが何も操作しない場合は、制御部１００は、Ｓ２２でＮｏと判断し、かつＳ２４でＮｏと判断しＳ１２に戻る待機ルーチンになる。この待機ルーチンの状態で、一つの基準商品が選択されればＳ２４においてＹｅｓと判断する。またこの待機ルーチンの状態で画像を切り出せた場合にはＳ２２においてＹｅｓと判断する。
【００５２】
また、Ｓ２２において、商品の画像が切り出せたと判断した場合には（Ｓ２２のＹｅｓ）、制御部１００は、切出回数カウント部１３２に記憶されている切出カウントの数値が「０」であるか否かを判断する（Ｓ２５）。切出カウントの数値が「０」であると判断した場合には（Ｓ２５のＹｅｓ）、制御部１００は、Ｓ３９の処理で表示した、基準商品の選択をオペレータに促すアナウンス２２３を消去する（Ｓ２６）。そして制御部１００は、Ｓ１１に戻る。
【００５３】
すなわち、制御部１００は、Ｓ３９において表示したアナウンス２２３を表示した後に、候補として表示した基準商品から一つの基準商品が選択されない状態で、Ｓ２２において、新たな画像を切り出したと判断した場合に、Ｓ３９において表示したアナウンス２２３をＳ２６の処理で消去してＳ１１に戻る。そして制御部１００は、Ｓ３３において、新たに切り出した商品の画像に対する類似度の判断を自動的に再開する。この一連の処理が類似度算出再開手段１０３に該当する。
【００５４】
また、切出カウントの数値が「０」ではないと判断した場合には（Ｓ２５のＮｏ）、制御部１００は、Ｓ２４の処理を実行する。
【００５５】
ここからは、ＰＯＳ端末３０の制御処理について説明する。図８は、ＰＯＳ端末３０の制御処理の流れを示すフローチャートである。図８において、制御部３００は、商品読取装置１０から商品ＩＤを受信したか否かを判断する（Ｓ４１）。商品ＩＤを受信したと判断した場合には（Ｓ４１のＹｅｓ）、制御部１００は、受信した商品ＩＤに基づいて商品マスタ３４２を検索して、当該商品に係る商品情報を取得する。そして制御部３００は、取得した商品情報に基づいて当該商品の商品登録処理を実行する（Ｓ４２）。すなわち、ＰＯＳ端末３０は、受信した商品ＩＤに基づいて自動的に売上登録処理を実行する。そして制御部３００は、Ｓ４１に戻る。
【００５６】
また、商品ＩＤを受信していないと判断した場合には（Ｓ４１のＮｏ）、制御部３００は、締めキー４２１が操作されたか否かを判断する（Ｓ４３）。締めキー４２１が操作されたと判断した場合には（Ｓ４３のＹｅｓ）、制御部３００は、商品読取装置１０からすでに仮締め信号を受信しているか否かを判断する（Ｓ４４）。すでに仮締め信号を受信していると判断した場合には（Ｓ４４のＹｅｓ）、制御部３００は、商品情報部３３１に記憶されている商品情報に基づいて、当該取引に係る決済処理を実行する（Ｓ４５）。そして制御部３００は、Ｓ４１に戻る。なお、仮締め信号を受信していないと判断した場合には（Ｓ４４のＮｏ）、制御部３００はＳ４１に戻る。
【００５７】
また、締めキー４２１は操作されていないと判断した場合には（Ｓ４３のＮｏ）、制御部３００は、取消キー４２２が操作されたか否かを判断する（Ｓ４６）。取消キー４２２が操作されたと判断した場合には（Ｓ４６のＹｅｓ）、制御部３００は、商品情報部３３１に記憶されている商品情報のうち、直前に売上登録処理された商品の商品情報を、商品情報部３３１から消去する取消処理を実行する（Ｓ４７）。このようにして、制御部３００は、直前に売上登録処理された商品の売上登録処理を取り消す。そして制御部３００は、Ｓ４１に戻る。なお、取消キー４２２は操作されていないと判断した場合には（Ｓ４６のＮｏ）、制御部３００は、Ｓ４１に戻る。
【００５８】
このような実施形態によれば、制御部１００は、候補として表示された基準商品についてオペレータによる選択がされずかつ新たに撮像した画像が切り出されたことを所定のタイミングとして、当該切り出された画像に対して類似度の判断を自動的に再開させる。このため、表示された基準商品に該当する商品が含まれていない場合に、新たに撮像した商品について類似度の算出を自動的に再開することが可能となる。
【００５９】
ここからは、実施形態の変形例について説明する。図９は、図６に示した実施形態の第１の変形例を示すフローチャートである。第１の変形例は、Ｓ３９において候補として表示された基準商品から一つの基準商品の選択のアナウンスが表示された後に、一つの基準商品の選択がされることなく所定回数（例えば１０回）連続して画像を切り出すことができたことを所定のタイミングとして、新たに切り出した商品の画像に対する類似度の判断を自動的に再開するものである。図９のフローチャートにおいて、図６の実施形態と同一の処理については同一の符号を付し、説明を省略する。
【００６０】
図９において、制御部１００は、Ｓ２２において画像を切り出したと判断した場合に（Ｓ２２のＹｅｓ）、制御部１００は、切出回数カウント部１３２のカウントを＋１カウントアップする（Ｓ５１）。そして制御部１００は、画像が所定回数（例えば１０回）継続したか否かを判断する（Ｓ５２）。所定回数継続して切り出せたと判断した場合には（Ｓ５２のＹｅｓ）、制御部１００は、Ｓ２６の処理を実行する。また、所定回数継続して切り出せていないと判断した場合には（Ｓ５２のＮｏ）、制御部１００は、Ｓ２４の処理を実行する。また、制御部１００は、Ｓ３９において、一つの基準商品を選択することをオペレータに促すアナウンスを表示したら、切出カウント部１３２の切出カウントを０にセットする（Ｓ４０）。
【００６１】
このように、第１変形例では、Ｓ３９において表示したアナウンス２２３を表示した後に、候補として表示された基準商品から一つの基準商品が選択されない場合に、Ｓ５２において、新たな画像の切出しが所定回数連続したと判断した場合に、Ｓ３９において表示したアナウンス２２３をＳ２６の処理で消去してＳ１１に戻り、Ｓ３３において、新たに切り出した商品の画像に対する類似度の判断を自動的に再開する。この一連の処理が類似度算出再開手段１０３に該当する。
【００６２】
図１０は、図６に示した実施形態の第２の変形例を示すフローチャートである。第２の変形例は、Ｓ３９において基準商品の選択のアナウンスが表示された後に、一つの基準商品の選択がされることなく所定回数（例えば１０回）連続して画像を切り出すことができた場合であって、かつ切り出した画像の類似度が所定の閾値以上であると判断したことを所定のタイミングとして、新たに切り出した商品の画像に対する類似度の判断を自動的に再開するものである。図１０のフローチャートにおいて、図６の実施形態と同一の処理については同一の符号を付し、説明を省略する。
【００６３】
図１０において、制御部１００は、切り出した画像が所定回数継続したか否かを判断する（Ｓ５２）。所定回数継続して切り出せたと判断した場合には（Ｓ５２のＹｅｓ）、制御部１００は、切り出した画像の特徴量と特徴量部１４２６に記憶された特徴量とを比較して、類似度を算出する。そして算出した類似度が予め設定された閾値を超えたか否かを判断する（Ｓ５３）。この閾値は、任意に設定可能であるが、ある程度の高い類似度を閾値とすることが望ましい。そして、類似度が閾値を超えたと判断した場合には（Ｓ５３のＹｅｓ）、制御部１００は、Ｓ２６の処理を実行する。また、閾値を超えていないと判断した場合には（Ｓ５３のＮｏ）、制御部１００は、Ｓ２４の処理を実行する。また、制御部１００は、Ｓ３９において、一つの基準商品を選択することをオペレータに促すアナウンスを表示したら、切出カウント部１３２の切出カウントを０にセットする（Ｓ４０）。
【００６４】
このように、第２変形例では、Ｓ３９において表示したアナウンス２２３を表示した後に、候補として表示された基準商品から一つの基準商品が選択されない場合に、Ｓ５２において、新たな画像の切出しが所定回数連続したと判断し、かつＳ５３において、類似度が予め設定された閾値を超えたと判断した場合に、Ｓ３９において表示したアナウンス２２３をＳ２６の処理で消去してＳ１１に戻り、Ｓ３３において、新たに切り出した商品の画像に対する類似度の判断を自動的に再開する。この一連の処理が類似度算出再開手段１０３に該当する。
【００６５】
図１１は、図６に示した実施形態の第３の変形例を示すフローチャートである。第３の変形例は、Ｓ３９において基準選択のアナウンスが表示された後に一つの基準商品の選択がされることなく所定時間を経過したことを所定のタイミングとして、新たに切り出した商品の画像に対する類似度の判断を自動的に再開するものである。図１１のフローチャートにおいて、図６の実施形態と同一の処理については同一の符号を付し、説明を省略する。
【００６６】
図１１において、制御部１００は、一つの基準商品を自動確定できなかった場合に（Ｓ３４のＮｏ）、Ｓ３６〜Ｓ３９の処理を実行する。続いて制御部１００は、タイマー（図示せず）を起動する（Ｓ５４）。そして、Ｓ２１において、基準商品を選択することを示すアナウンスが表示されていると判断した場合には（Ｓ２１のＹｅｓ）、制御部１００は、タイマーが所定時間を計時したか否かを判断する（Ｓ５５）。タイマーが所定時間を計時したと判断した場合には（Ｓ５５のＹｅｓ）、制御部１００は、Ｓ２６の処理を実行する。また、タイマーは所定時間を計時していないと判断した場合には（Ｓ５５のＮｏ）、制御部１００は、Ｓ２４を実行する。すなわち、第３変形例では、実施形態の処理（図６のフローチャートの処理）のうち、Ｓ２３の処理とＳ２５の処理は実行しない。
【００６７】
このように、第３変形例では、Ｓ３６において候補となる複数の基準商品を表示した後に、Ｓ５３においてタイマーを起動して、その後、候補として表示された基準商品から一つの基準商品が選択されずにＳ５５において所定時間が経過したと判断された場合には、Ｓ３９において表示したアナウンス２２３をＳ２６の処理で消去してＳ１１に戻り、Ｓ３３において、新たに切り出した商品の画像に対する類似度の判断を自動的に再開する。この一連の処理が類似度算出再開手段１０３に該当する。
【００６８】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６９】
例えば実施形態では、商品読取装置１０を情報処理装置の一例として説明したが、これに限らず、ＰＯＳ端末３０を情報処理装置としてもよい。この場合、商品マスタ３４２が記憶部に相当する。また、ＰＯＳ端末３０は、商品読取装置１０が撮像した撮像画像の情報を受信して類似度の算出処理を実行する。表示制御手段１０２は、候補となる基準物品を商品読取装置１０に表示させるように、商品読取装置１０に表示の指示と候補となる基準物品に係る商品情報（例えば商品ＩＤ）を送信する。商品読取装置１０は、表示された基準商品が選択されると、選択された基準商品の商品情報（例えば商品ＩＤ）をＰＯＳ端末３０に送信する。
【００７０】
また、実施形態では、候補として表示された基準商品についてオペレータによる選択がされずかつ新たに撮像した画像が切り出されたことを所定のタイミングとした。また、第１変形例では、候補として表示された基準商品の選択がされることなく所定回数（例えば１０回）連続して画像を切り出すことができたことを所定のタイミングとした。また、第２変形例では、候補として表示された基準商品の選択がされることなく所定回数（例えば１０回）連続して画像を切り出すことができた場合であって、かつ切り出した画像の類似度が所定の閾値以上であることを判断したことを所定のタイミングとした。また、第３変形例では、候補として表示された基準商品の選択がされることなく所定時間を経過したことを所定のタイミングとした。しかしながら、これに限ることなく、これらの所定のタイミングの任意の組み合わせを所定のタイミングとしてもよい。
【００７１】
また、実施形態では、商品読取装置１０とＰＯＳ端末３０の両方に商品マスタを備えるようにしたが、商品読取装置１０またはＰＯＳ端末３０のいずれか一方に商品マスタを備えてもよい。
【００７２】
また、実施形態では、オペレータ用表示部２２を報知部としたが、これに限らず、例えば、オペレータ用表示部４３を報知部としてもよい。また、音声出力部２６を報知部としてもよい。この場合、シンボルが付されている可能性を音声出力部２６から音声で報知する。
【００７３】
また、実施形態では、一般物体認識処理による類似度の算出処理を商品読取装置１０で実行したが、これらの処理のすべてまたは一部をＰＯＳ端末３０で行うようにしてもよい。
【００７４】
また、実施形態では、商品を物品の一例として説明した。しかしながら、物品は商品以外の物であってもよい。
【００７５】
また、実施形態では、ＰＯＳ端末３０と商品読取装置１０とで構成されるチェックアウトシステム１のうち、商品読取装置１０を情報処理装置として説明したが、これに限るものではなく、ＰＯＳ端末３０および商品読取装置１０の機能を備えた１台構成の装置を情報処理装置としてもよい。ＰＯＳ端末３０および商品読取装置１０の機能を備えた１台構成の装置としては、例えば、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。
【００７６】
ここで、図１２は、セルフＰＯＳ２００の外観構成を示す斜視図、図１３は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１〜図１１に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。
【００７７】
図１２および図１３に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル２０９が表面に配設された表示部２１０や、商品を認識（抽出）するために商品画像を読み取る商品読取部２１２を備える。
【００７８】
表示部２１０としては例えば液晶表示器が用いられる。表示部２１０は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部２１２で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
【００７９】
商品読取部２１２は、客が商品に付されたコードシンボルを商品読取部２１２の読取窓２１２ａにかざすことで商品画像を撮像部１６４により読み取るものである。
【００８０】
また、本体２０２の右側には、かごに入った未精算の商品を置くための商品載置台２０３を設け、本体２０２の左側には、精算済みの商品を置くための商品載置台２０４を設ける。また、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を設ける。商品載置台２０３および２０４は、計量器２０７、２０８をそれぞれ備えており、決済の前後で商品の重量が同じであることを確認する機能を有する。
【００８１】
また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１を設ける。
【００８２】
このような構成のセルフＰＯＳ２００に本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能する。なお、ＰＯＳ端末３０と商品読取装置１０との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７および２０８を除いて構成された装置であってもよい。
【００８３】
なお、実施形態の商品読取装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００８４】
また、実施形態の商品読取装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の商品読取装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００８５】
また、実施形態の商品読取装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【符号の説明】
【００８６】
１      チェックアウトシステム
１０    商品読取装置
１１    ＣＰＵ
１２    ＲＯＭ
１３    ＲＡＭ
１４    メモリ部
２２    オペレータ用表示部
２４    撮像部
３０    ＰＯＳ端末
３１    ＣＰＵ
３２    ＲＯＭ
３３    ＲＡＭ
３４    メモリ部
１００  制御部
１０１  類似度算出手段
１０２  表示制御手段
１０３  類似度算出再開手段
１０４  切出手段
１０５  カウント手段
１３１  画像記憶部
１３２  切出回数カウント部
１４２  商品マスタ
【先行技術文献】
【特許文献】
【００８７】
【特許文献１】特開２０１３−０８９０８５号公報
【図１】
2018032332.tif 000003
【図２】
2018032332.tif 000004
【図３】
2018032332.tif 000005
【図４】
2018032332.tif 000006
【図５】
2018032332.tif 000007
【図６】
2018032332.tif 000008
【図７】
2018032332.tif 000009
【図８】
2018032332.tif 000010
【図９】
2018032332.tif 000011
【図１０】
2018032332.tif 000012
【図１１】
2018032332.tif 000013
【図１２】
2018032332.tif 000014
【図１３】
2018032332.tif 000015