(57)【要約】【課題】本発明の実施形態が解決しようとする課題は、誤認識を抑制する店舗システムおよびプログラムを提供することである。【解決手段】画像出力手段と、基準提供手段と、物体認識手段と、限定手段と、を備える。画像出力手段は、撮像手段が撮像した画像を出力する。基準提供手段は、認識対象とする物体の情報であって、当該物体を少なくとも販売対象物と、販売に付随する処理にかかわる付随物とに分類したグループ毎に取扱可能に予め定められ、前記画像の特徴量の比較対象情報とする基準情報を、提供する。物体認識手段は、前記画像から得る特徴量と基準提供手段が提供する基準情報とに基づいて特定の物体を認識する。限定手段は、基準提供手段から物体認識手段が提供を受ける基準情報を、付随物が属するグループに限定する。【選択図】図５
2015043182.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段が撮像した画像を出力する画像出力手段と、
認識対象とする物体の情報であって、当該物体を少なくとも販売対象物と、販売に付随する処理にかかわる付随物とに分類したグループ毎に取扱可能に予め定められ、前記画像の特徴量の比較対象情報とする基準情報を、提供する基準提供手段と、
前記画像から得る特徴量と前記基準提供手段が提供する前記基準情報とに基づいて特定の物体を認識する物体認識手段と、
前記基準提供手段から前記物体認識手段が提供を受ける前記基準情報を、前記付随物が属する前記グループに限定する限定手段と、
を備える店舗システム。
【請求項２】
前記基準提供手段は、前記付随物である少なくとも１または複数の商品券の前記基準情報を、前記グループの１つである商品券グループとして取り扱い、
前記限定手段は、前記物体認識手段の参照先を前記商品券グループに限定する
請求項１に記載の店舗システム。
【請求項３】
前記限定手段は、前記グループの限定を指示する操作を受け付ける宣言ボタンを備える
請求項１または２に記載の店舗システム。
【請求項４】
前記宣言ボタンは、販売に付随する前記処理の実行を指示するボタンである
請求項３に記載の店舗システム。
【請求項５】
前記基準提供手段が提供する前記基準情報のうち、前記販売対象物の前記基準情報は、さらに分類されて複数の前記グループとして取扱可能に定められている
請求項１〜４のいずれか１つに記載の店舗システム。
【請求項６】
店舗システムのコンピュータを、
撮像手段が撮像した画像を出力する画像出力手段と、
認識対象とする物体の情報であって、当該物体を少なくとも販売対象物と、販売に付随する処理にかかわる付随物とに分類したグループ毎に取扱可能に予め定められ、前記画像の特徴量の比較対象情報とする基準情報を、提供する基準提供手段と、
前記画像から得る特徴量と前記基準提供手段が提供する前記基準情報とに基づいて特定の物体を認識する物体認識手段と、
前記基準提供手段から前記物体認識手段が提供を受ける前記基準情報を、前記付随物が属する前記グループに限定する限定手段と、
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、店舗システムおよびプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケットなどでは、商品に添付されたバーコードや二次元コード（例えばＱＲコード（登録商標））などのコードシンボルをＣＣＤイメージセンサなどのデジタルカメラによって撮像し、撮像で得た画像からコードシンボルを検出し復号することで、商品コードを読み取る装置が用いられている。
【０００３】
上記装置においては、バーコードや二次元コードなどのコードシンボルを商品に対して添付しなければならない。このため、生鮮食品については、コードシンボル表を用意するか、或いは、予め包装し、包装にコードシンボルを添付することで対応している。
【０００４】
近年、上述のようなコードシンボル表や包装へのコードシンボル添付を不要にする技術が開発されてきている。これは、商品を撮像した画像から得る特徴量に基づいて商品を認識するなどの技術である。しかしながら、この技術により、不慣れな人間には判別し難いリンゴの種類が判別可能となる一方、例えば商品券を撮像した画像から得る特徴量と野菜の画像の特徴量とが類似してしまうなどの原因によって商品券が野菜と誤認されるなど、不都合が起こり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施形態が解決しようとする課題は、誤認識を抑制する店舗システムおよびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の店舗システムは、画像出力手段と、基準提供手段と、物体認識手段と、限定手段と、を備える。画像出力手段は、撮像手段が撮像した画像を出力する。基準提供手段は、認識対象とする物体の情報であって、当該物体を少なくとも販売対象物と、販売に付随する処理にかかわる付随物とに分類したグループ毎に取扱可能に予め定められ、前記画像の特徴量の比較対象情報とする基準情報を、提供する。物体認識手段は、前記画像から得る特徴量と基準提供手段が提供する基準情報とに基づいて特定の物体を認識する。限定手段は、基準提供手段から物体認識手段が提供を受ける基準情報を、付随物が属するグループに限定する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態のチェックアウトシステムの外観を示す斜視図である。
【図２】図２は、実施形態のＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、実施形態のＰＬＵファイルの構成の一例を示す概念図であって、ＰＬＵファイルの商品分類によるグループ分けの例を示す図である。
【図４】図４は、実施形態のＰＬＵファイルが含む各辞書のデータ構成の一例を示す概念図であって、各辞書のうち（ａ）青果辞書および（ｂ）商品券辞書のデータ構成の例を示す図である。
【図５】図５は、実施形態のＣＰＵの機能構成を示すブロック図である。
【図６】図６は、実施形態の商品読取装置の処理動作の一例を示すフローチャートである。
【図７】図７は、実施形態のＰＯＳ端末の処理動作の一例を示すフローチャートである。
【図８】図８は、実施形態の読取窓における読取領域の例を示す概念図である。
【発明を実施するための形態】
【０００８】
実施形態について図面を用いて説明する。本実施形態では、スーパーマーケットに適用したチェックアウトシステムを、店舗システムの一例として説明する。チェックアウトシステムは、ＰＯＳ端末を用いて、商品（販売対象物）の登録、精算を行う。
【０００９】
図１は、実施形態のチェックアウトシステム１の外観を示す斜視図である。チェックアウトシステム１は、商品の登録、精算を行うＰＯＳ端末１１、ドロワ２１、および商品読取装置１０１を備える。
【００１０】
ドロワ２１は、チェックアウト台５１上に載置され、上面にＰＯＳ端末１１が載置される。ドロワ２１は、金銭を収納する箱であり、ＰＯＳ端末１１によって開放動作の制御を受ける。
【００１１】
ＰＯＳ端末１１は、キーボード２２、表示デバイス２３、顧客用表示デバイス２４、およびタッチパネル２６を備えている。キーボード２２は、ＰＯＳ端末１１の上面に配され、オペレータ（ユーザ）によって押下操作される。表示デバイス２３は、キーボード２２を操作するオペレータから見てキーボード２２よりも奥側に配され、オペレータに向かって設けられた表示面２３ａに情報を表示する。タッチパネル２６は、表示面２３ａに積層されている。顧客用表示デバイス２４は、表示デバイス２３よりもさらに奥側に配され、顧客に提供する情報を表示する表示面２４ａを備えている。なお、顧客用表示デバイス２４は、図１では表示面２４ａを図中手前側に向けているが、顧客への情報提供が好適に行われるよう表示面２４ａの向きを任意に調節可能である。
【００１２】
商品読取装置１０１は、カウンタ台１５１上面の荷受面１５２に載置される。カウンタ台１５１は、横長テーブル状であって、ＰＯＳ端末１１が載ったチェックアウト台５１とＬ字を形成するように配されている。
【００１３】
荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３には、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとがある。なお、買物カゴ１５３（第１の買物カゴ１５３ａ）は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限るものではなく、ドーナツ店などの店舗において用いられる紙箱などであってもよい。
【００１４】
商品読取装置１０１は、ＰＯＳ端末１１とデータ送受信自在に接続されている。商品読取装置１０１は、ハウジング１０２、読取窓１０３、表示・操作部１０４、キーボード１０７、カード読取溝１０８、顧客用表示デバイス１０９、および商品読取部１１０（図２参照）を備えている。
【００１５】
ハウジング１０２は、薄い矩形の筐体である。読取窓１０３は、透明の素材で形成され、ハウジング１０２の正面の一部を構成している。表示・操作部１０４は、タッチパネル１０５および表示デバイス１０６を備え、ハウジング１０２の上部に取り付けられている。タッチパネル１０５は、表示デバイス１０６の表面に積層されている。キーボード１０７は、表示・操作部１０４の右隣に配されている。カード読取溝１０８は、不図示のカードリーダの一部であって、キーボード１０７の右隣に設けられている。顧客用表示デバイス１０９は、オペレータから見て表示・操作部１０４の裏面左奥側に設置され、顧客に情報を提供する。商品読取部１１０は、読取窓１０３の奥側に、撮像部１６４（図２参照）を備えている。
【００１６】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（不図示）などに記録して売上登録を行う。
【００１７】
図２は、ＰＯＳ端末１１および商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central  Processing  Unit）に、ＲＯＭ６２（Read  Only  Memory）とＲＡＭ６３（Random  Access  Memory）とがバス接続されて構成されている。
【００１８】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも不図示）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１９】
キーボード２２は、「１」、「２」、「３」…などの数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。
【００２０】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard  Disk  Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されたＰＬＵファイルＦ１である。
【００２１】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定された商品ファイルである。図３は、ＰＬＵファイルＦ１の構成の一例を示す概念図であって、ＰＬＵファイルＦ１の商品分類によるグループ分けの例を示す図である。ＰＬＵファイルＦ１は、農産物辞書Ｆ１１、青果辞書Ｆ１２、鮮魚辞書Ｆ１３、精肉辞書Ｆ１４、商品券辞書Ｆ１５に分けられている。農産物辞書Ｆ１１、青果辞書Ｆ１２、鮮魚辞書Ｆ１３、精肉辞書Ｆ１４、商品券辞書Ｆ１５は、コードシンボルが付与されていない商品情報を記憶する辞書である。ＰＬＵファイルＦ１は、これらの各辞書の他、コードシンボルが付与された商品の情報についても記憶する。ＰＬＵファイルＦ１は、基準提供手段の一例である。商品券辞書Ｆ１５は、商品券グループの一例である。
【００２２】
図４は、ＰＬＵファイルＦ１が含む各辞書のデータ構成の一例を示す概念図であって、各辞書Ｆ１１〜Ｆ１５のうち、（ａ）青果辞書Ｆ１２および（ｂ）商品券辞書Ｆ１５のデータ構成の例を示す図である。図４に示すように、ＰＬＵファイルＦ１は、商品Ａ毎に、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品に関する情報（商品情報）と、その商品を撮像した画像（商品画像）と、特徴量とを格納する。商品券辞書Ｆ１５は、多くの種類が存在する商品券について、商品情報、商品画像および特徴量を格納する。ここで、商品券は付随物の、商品画像は基準情報の一例である。
【００２３】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、通信インターフェース２５が入出力回路（図示せず）を介して接続されている。通信インターフェース２５は、ストアコンピュータＳＣとのデータ通信を実行する。ストアコンピュータＳＣは、店舗のバックヤードなどに設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２４】
さらに、接続インターフェース６５が、ＰＯＳ端末１１のＣＰＵ６１と商品読取装置１０１とを接続して、ＣＰＵ６１と商品読取装置１０１との間のデータの送受信を可能としている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。
【００２５】
商品読取装置１０１は、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２６】
撮像部１６４は、撮像手段の一例であって、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。
【００２７】
音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００２８】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。
【００２９】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図５を参照して説明する。図５は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。図５に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、商品検出部１６１２、および画像出力手段である画像出力部１６１３としての機能を実現する。同様に、ＰＯＳ端末１１のＣＰＵ６１は、プログラムを順次実行することにより、物体認識手段である物体認識部６１１、商品登録部６１２、および限定手段である参照先限定部６１３としての機能を実現する。
【００３０】
撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００３１】
商品検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を二値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合（例えば図８参照）は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００３２】
画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａの全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００３３】
ＰＯＳ端末１１の物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１の撮像部１６４により撮像された商品Ａの全部または一部の画像から、特徴量として色合いや表面の凹凸状況などの表面の状態を得ることによって、特定の物体として商品Ａを認識する。なお、特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。また、物体認識部６１１は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。
【００３４】
このように画像中に含まれる物体を認識することは一般物体認識（generic  object  recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６  [平成２２年８月１０日検索]，インターネット<URL:  http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf  >
【００３５】
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie  Shottonら，“Semantic  Texton  Forests  for  Image  Categorization  and  Segmentation”，[平成２２年８月１０日検索]，インターネット<URL:  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf  >
【００３６】
ここで、参照先限定部６１３は、操作者の操作に応じて、物体認識部６１１が物体認識に際して参照するＰＬＵファイルＦ１の範囲を、一時的に限定する。
【００３７】
商品登録部６１２は、物体認識部６１１により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品として特定された商品の商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。
【００３８】
参照先限定部６１３は、撮像部１６４による撮像中に、商品読取装置１０１の表示デバイス１０６に、宣言ボタン（ソフトウェアキー、不図示）を表示させておく。そして、タッチパネル１０５が、この宣言ボタンに対応する位置への操作を受け付けると、参照先限定部６１３は、物体認識部６１１が物体認識に際して参照するＰＬＵファイルＦ１の範囲を、例えば商品券辞書Ｆ１５のみに、一時的に限定する。
【００３９】
これにより、例えば、オペレータが、商品券を認識させて商品券の商品情報を得ようとするときに、上記宣言ボタンを操作すれば、物体認識部６１１の参照先が商品券辞書Ｆ１５だけになるので、物体認識部６１１が青果辞書Ｆ１２に含まれる商品情報を参照して商品券をレタスなどと誤認する不都合を回避することができる。
【００４０】
ところで、ＰＯＳ端末１１は、商品券による支払いの受け付けに備えて、表示デバイス２３に、商品券決済ボタン（ソフトウェアキー、不図示）を表示させている。
【００４１】
従来、上記商品券決済ボタンは、テンキー２２ｄと組み合わせて使用する。従来、オペレータは、例えば、１０００円の購入に対して、客が、５００円の商品券と現金とを合わせて支払う旨を申し出た場合、客から受け取った商品券が当該店舗で取り扱いであるか対照表などと比較して確認し、テンキー２２ｄにて「５００」と入力した後に、上記商品券決済ボタンを押下する。これを受けて、ＰＯＳ端末１１のＣＰＵ６１は、購入金額１０００円に対して商品券５００円分の入金があったとし、残りの金額５００円を請求する。
【００４２】
ここで、本実施形態では、上記商品券決済ボタンを、上記宣言ボタンとしても用いる。つまり、テンキー２２ｄによる置数なしに宣言ボタンすなわち商品券決済ボタンを押下した場合、撮像部１６４により撮像した画像の認識に際して、辞書の参照先を限定する、つまり、商品券辞書Ｆ１５のみを参照する。
【００４３】
商品券は多くの種類が存在するので、客が出した商品券が店舗で利用を受け付けているものであるか否かをオペレータが判断するのは困難であるが、上記により、撮像部１６４で撮像した商品券の画像データを、商品券辞書Ｆ１５と照らし合わせることができるので、商品券と対照表とを目視にて比較する煩雑さをなくすことができる。
【００４４】
なお、商品券決済ボタンと宣言ボタンとを別個に設けてもよいことは言うまでもない。
【００４５】
次に、チェックアウトシステム１の動作について詳細に説明する。図６は、商品読取装置１０１の処理動作の一例を示すフローチャートである。図７は、ＰＯＳ端末１１の処理動作の一例を示すフローチャートである。
【００４６】
まず、商品読取装置１０１側の動作について説明する。図６に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から、物体すなわち商品Ａの全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１６１３は、商品検出部１６１２により物体が検出されたフレーム画像をＰＯＳ端末１１へ出力する（ステップＳ４）。
【００４７】
図８は、読取窓１０３における読取領域Ｒの例を示す概念図であって、商品Ａの読み取り中の例である。図８に示すように、前述した商品Ａの第２の買物カゴ１５３ｂへの移動過程において読取領域Ｒに商品Ａが写り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ３で商品Ａの全部または一部が検出される。この商品Ａの全部または一部の検出により、ステップＳ４では読取領域Ｒを撮像したフレーム画像がＰＯＳ端末１１へ出力される。
【００４８】
図６に戻り、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ５）。業務を継続する場合（ステップＳ５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ５：Ｙｅｓ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ６）、処理を終了する。
【００４９】
次に、ＰＯＳ端末１１側の動作について説明する。キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、図７に示すように、ＣＰＵ６１は、まず、宣言ボタンを押下する操作があったか否かを判断する（ステップＳ２１）。宣言ボタンへの操作がなかった場合には（ステップＳ２１：Ｎｏ）、ＣＰＵ６１は、商品読取装置１０１から出力された、物体を検出したフレーム画像を受信する（ステップＳ２２）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の参照先が限定されているか否かを判断し（ステップＳ２３）、参照先が限定されていない場合には（ステップＳ２３：Ｎｏ）、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１から出力された物体すなわち商品Ａの全部または一部の画像から特定の物体として商品Ａを認識する（ステップＳ２４）。
【００５０】
次に、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を登録する（ステップＳ２５）。
【００５１】
次に、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ２６）。業務を継続する場合（ステップＳ２６：Ｎｏ）、ＣＰＵ６１は、ステップＳ２１へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ２６：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００５２】
ステップＳ２１で、宣言ボタンへの操作があった場合には（ステップＳ２１：Ｙｅｓ）、参照先限定部６１３は、物体認識部６１１が物体認識に際して参照する辞書を、ＰＬＵファイルＦ１の商品券辞書Ｆ１５のみに一時的に限定する（ステップＳ２７）。
【００５３】
ステップＳ２３で、ＰＬＵファイルＦ１の参照先が限定されている場合には（ステップＳ２３：Ｙｅｓ）、物体認識部６１１は、商品読取装置１０１から出力された物体すなわち商品券の全部または一部の画像から特定の物体（商品券）として商品券を認識する（ステップＳ２８）。物体認識部６１１が商品券を特定することにより、商品券の金額が識別される。そして、ＣＰＵ６１は、商品券の金額を入金として入力する（ステップＳ２９）。
【００５４】
このように、本実施形態によれば、オペレータが、商品券を認識させるにあたって、宣言ボタンを操作することにより、チェックアウトシステム１が、画像データを照らし合わせる辞書を商品券辞書Ｆ１５に限定する。これにより、商品券の画像データに基づいてレタスなどの商品情報がひかれるなどといった不都合の発生を回避することができる。
【００５５】
なお、上記実施形態では、農産物、青果、鮮魚、精肉、および商品券、の５種類にグループを分けたが、実施にあたっては、グループを例えば商品券およびその他の２種類にしてもよい。つまり、辞書Ｆ１１〜Ｆ１４を分けずにまとめてもよい。
【００５６】
また、上記実施形態では、基準提供手段を、ＨＤＤ６４にＰＬＵファイルＦ１を記憶させておくことより実現したが、実施にあたっては、例えばストアコンピュータＳＣなどの外部のデータベースから、基準情報を取得することにより実現してもよい。
【００５７】
さらに、本実施形態では、基準提供手段が物体認識手段に提供する基準情報を商品画像により実現したが、実施にあたっては、基準の商品画像から得る特徴量や、基準画像に基づく値であって商品画像と比較可能なものを基準情報としてもよい。
【００５８】
また、上記実施形態では、宣言ボタンをソフトウェアキーとして表示デバイス１０６に表示させたが、実施にあたっては、キーボード２２などに、専用ハードキーを設けることにより実現してもよい。或いは、ＰＯＳ端末１１の表示デバイス２３に表示させてもよい。
【００５９】
さらに、本実施形態では、商品券の誤認識を例に説明したが、実施にあたっては、宣言ボタンにより限定参照する辞書が商品券辞書Ｆ１５でなくともよい。例えば、宣言ボタンにより限定参照する辞書は、農産物辞書Ｆ１１、青果辞書Ｆ１２、鮮魚辞書Ｆ１３、精肉辞書Ｆ１４であってもよい。
【００６０】
また、コードシンボルを認識するモードと、物体認識をするモードを切り替えるボタン（宣言ボタン、不図示）を有し、コードシンボルを認識するモードではＰＬＵファイルを限定参照し、物体認識をするモードでは、辞書を限定参照するとしても良い。この場合、コードシンボルが付与された商品情報を記憶するＰＬＵファイルと、コードシンボルが付与されていない商品情報を記憶する辞書を別々に備える。物体認識をするモードが選択された後に、農産物辞書Ｆ１１、青果辞書Ｆ１２、鮮魚辞書Ｆ１３、精肉辞書Ｆ１４、商品券辞書Ｆ１５から、さらに宣言ボタンにより辞書を限定参照するようにしても良い。
【００６１】
そして、本実施形態では、商品券を支払いに用いる場合の誤認識を例に説明したが、実施にあたっては、商品券の販売に際して当該商品券を画像認識させる場合に商品券辞書Ｆ１５を参照させるために限定手段を適用してもよい。
【００６２】
なお、本実施形態のチェックアウトシステム１で実行されるプログラムは、ＲＯＭなどに予め組み込まれて提供される。
本実施形態のチェックアウトシステム１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）などのコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、本実施形態のチェックアウトシステム１で実行されるプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態のチェックアウトシステム１で実行されるプログラムをインターネットなどのネットワーク経由で提供または配布するように構成してもよい。
本実施形態のチェックアウトシステム１で実行されるプログラムは、上述した各部（撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３、物体認識部６１１、商品登録部６１２、参照先限定部６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置（ＲＡＭなど）上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
【００６３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６４】
１…チェックアウトシステム、
１１…ＰＯＳ端末、
６１１…物体認識部（物体認識手段）、
６１２…商品登録部、
６１３…参照先限定部（限定手段）、
Ｆ１…ＰＬＵファイル（基準提供手段）、
Ｆ１１…農産物辞書、
Ｆ１２…青果辞書、
Ｆ１３…鮮魚辞書、
Ｆ１４…精肉辞書、
Ｆ１５…商品券辞書（商品券グループ）、
１０１…商品読取装置、
１０３…読取窓、
１１０…商品読取部、
１６１１…撮像画像取込部、
１６１２…商品検出部、
１６１３…画像出力部（画像出力手段）、
１６４…撮像部（撮像手段）。
【先行技術文献】
【特許文献】
【００６５】
【特許文献１】特開２０１２−４３３７８号公報
【図１】
2015043182.tif 000003
【図２】
2015043182.tif 000004
【図３】
2015043182.tif 000005
【図４】
2015043182.tif 000006
【図５】
2015043182.tif 000007
【図６】
2015043182.tif 000008
【図７】
2015043182.tif 000009
【図８】
2015043182.tif 000010