(57)【要約】【課題】商品の認識を効率的に行うことが可能な情報処理装置及びプログラムを提供する。【解決手段】基準商品の特徴量を記憶する記憶手段と、商品を撮像する撮像手段と、前記撮像手段が撮像した撮像画像から、被写体となった商品の特徴量を抽出する抽出手段と、前記基準商品のうち認識の対象とする基準商品を定めた設定情報に基づいて、前記記憶手段に記憶され、当該設定情報で認識の対象とされた基準商品の特徴量と、前記抽出手段が抽出した商品の特徴量とを比較し、その類似度を算出する算出手段と、前記算出手段が算出した類似度が、閾値以上となる基準商品を前記商品の候補として認識する認識手段と、を備える。【選択図】図５
2014153894.tif 000002
【特許請求の範囲】
【請求項１】
基準商品の特徴量を記憶する記憶手段と、
商品を撮像する撮像手段と、
前記撮像手段が撮像した撮像画像から、被写体となった商品の特徴量を抽出する抽出手段と、
前記基準商品のうち認識の対象とする基準商品を定めた設定情報に基づいて、前記記憶手段に記憶され、当該設定情報で認識の対象とされた基準商品の特徴量と、前記抽出手段が抽出した商品の特徴量とを比較し、その類似度を算出する算出手段と、
前記算出手段が算出した類似度が、閾値以上となる基準商品を前記商品の候補として認識する認識手段と、
を備える情報処理装置。
【請求項２】
前記設定情報に認識の対象又は対象外の設定をする設定手段を更に備える請求項１に記載の情報処理装置。
【請求項３】
前記認識手段で誤認識された基準商品を履歴情報として記録する記録手段を更に備え、
前記設定手段は、前記履歴情報に基づき、前記認識の精度が閾値以下となる基準商品を、前記認識の対象外に設定する請求項２に記載の情報処理装置。
【請求項４】
前記認識手段で候補とされた基準商品を選択可能に提示する提示手段と、
選択された基準商品を前記商品として確定する確定手段と、
を更に備え、
前記記録手段は、前記提示手段で提示された基準商品以外から選択が行われた場合に、この選択された基準商品を誤認識として前記履歴情報に記録する請求項３に記載の情報処理装置。
【請求項５】
前記設定手段は、前記基準商品の在庫管理を行う在庫管理手段から在庫ゼロの基準商品を検出し、検出した当該基準商品を、前記認識の対象外に設定する請求項２〜４の何れか一項に記載の情報処理装置。
【請求項６】
複数の基準商品の特徴量を記憶した記憶手段を備えるコンピュータを、
商品を撮像する撮像手段と、
前記撮像手段が撮像した撮像画像から、被写体となった商品の特徴量を抽出する抽出手段と、
前記複数の基準商品のうち認識の対象とする基準商品を定めた設定情報に基づいて、前記記憶手段に記憶され、当該設定情報で認識の対象とされた基準商品の特徴量と、前記抽出手段が抽出した商品の特徴量とを比較し、その類似度を算出する算出手段と、
前記算出手段が算出した類似度が、閾値以上となる基準商品を前記商品の候補として認識する認識手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、基準となる商品の形状等を表すデータと、画像データから抽出したデータとを比較することで、その画像データに含まれる商品を認識（識別）する技術が知られている。係る技術では、複数種類の商品のデータを事前に登録することで、その登録数に応じて認識可能な商品数を増加させることが可能である。しかしながら、登録されているデータ数が増加すると、データの比較に要する時間も増加するため、認識効率が低下するという問題がある。また、登録されているデータ数が増加すると、誤認識が発生する頻度も増加する可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の実施形態が解決しようとする課題は、商品の認識を効率的に行うことが可能な情報処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００４】
実施の形態の情報処理装置は、記憶手段と、撮像手段と、抽出手段と、算出手段と、認識手段とを備える。記憶手段は、基準商品の特徴量を記憶する。撮像手段は、商品を撮像する。抽出手段は、前記撮像手段が撮像した撮像画像から、被写体となった商品の特徴量を抽出する。算出手段は、前記基準商品のうち認識の対象とする基準商品を定めた設定情報に基づいて、前記記憶手段に記憶され、当該設定情報で認識の対象とされた基準商品の特徴量と、前記抽出手段が抽出した商品の特徴量とを比較し、その類似度を算出する。認識手段は、前記算出手段が算出した類似度が、閾値以上となる基準商品を前記商品の候補として認識する。
【図面の簡単な説明】
【０００５】
【図１】図１は、実施形態に係るチェックアウトシステムの外観構成を示す斜視図である。
【図２】図２は、図１に示したＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、図２に示したＰＬＵファイルのデータ構成の一例を模式的に示す図である。
【図４】図４は、図２に示した認識対象設定ファイルのデータ構成の一例を模式的に示す図である。
【図５】図５は、図１に示したＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。
【図６】図６は、商品読取装置の表示デバイスに表示された商品候補の表示例を示す図である。
【図７】図７は、商品読取装置が実行する商品認識処理の手順を示すフローチャートである。
【図８】図８は、ＰＯＳ端末が実行する売上登録処理の手順を示すフローチャートである。
【図９】図９は、実施形態に係るセルフＰＯＳの構成を示す斜視図である。
【図１０】図１０は、図９に示したセルフＰＯＳのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００６】
以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００７】
図１は、チェックアウトシステム１の外観構成を示す斜視図である。図１に示すように、チェックアウトシステム１は、ＰＯＳ端末１１と、情報処理装置としての商品読取装置１０１とを備える。
【０００８】
ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置する。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。オペレータ（店員等）によって押下操作されるキーボード２２は、ＰＯＳ端末１１の上面に配置する。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３を備える。表示デバイス２３は、その表示面２３ａに情報を表示する。タッチパネル２６は、表示面２３ａに積層される。顧客用表示デバイス２４は、表示デバイス２３よりもさらに奥側に回転自在に立設される。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。
【０００９】
なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向いた状態であるが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１０】
ＰＯＳ端末１１が載置されるチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置される。カウンタ台１５１の上面には、荷受け面１５２が形成される。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。
【００１１】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置される。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。
【００１２】
ハウジング１０２の正面には、読取窓１０３が配置される。ハウジング１０２の上部には、表示・操作部１０４が取り付けられる。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられる。表示デバイス１０６の右隣にはキーボード１０７が配設される。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられる。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置される。
【００１３】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納される。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
【００１４】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。
【００１５】
ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central  Processing  Unit）６１と、ＲＯＭ（Read  Only  Memory）６２と、ＲＡＭ（Random  Access  Memory）６３とを備える。ＲＯＭ６２は、ＣＰＵ６１が実行するプログラムを記憶する。
【００１６】
ＰＯＳ端末１１のＣＰＵ６１には、ドロワ２１、キーボード２２、表示デバイス２３、顧客用表示デバイス２４、通信インターフェース２５、タッチパネル２６、ＨＤＤ（Hard  Disk  Drive）６４、接続インターフェース６５及びプリンタ６６がいずれも各種の入出力回路（いずれも図示せず）を介して接続される。
【００１７】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１８】
ＨＤＤ６４は、各種プログラムや各種ファイルを記憶する。ＣＰＵ６１は、ＰＯＳ端末１１の起動時等に、ＨＤＤ６４に記憶されたプログラムの全部又は一部をＲＡＭ６３にコピーし、実行する。
【００１９】
ＨＤＤ６４は、ＰＬＵファイルＦ１及び認識対象設定ファイルＦ２等のデータファイルを記憶する。ＰＬＵファイルＦ１及び認識対象設定ファイルＦ２は、接続インターフェース６５を介し、商品読取装置１０１から読み出し可能である。
【００２０】
ＰＬＵファイルＦ１は、店舗内で販売される商品Ｇと、その商品Ｇの売上登録等に関する情報との関連付けが設定されたデータファイルである。図３は、ＰＬＵファイルＦ１のデータ構成の一例を模式的に示す図である。同図に示すように、ＰＬＵファイルＦ１には、商品Ｇ毎に、ユニークに割り当てられた商品ＩＤと、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品Ｇを撮像した商品画像とが関連付けて登録される。また、ＰＬＵファイルＦ１には、予め商品Ｇ毎に、その商品の特徴量（基準商品の特徴量データ）が関連付けられて登録（記憶）される。
【００２１】
商品画像は、後述する類似度判定の際に、比較の対象とされる基準商品の各々を撮像した画像である。商品画像は、後述する商品候補の提示の際に、その商品候補を表す画像として提示される。また、各商品Ｇの撮像画像（例えば、商品画像）から予め抽出された、その商品Ｇの特徴量が、対応する商品ＩＤに関連付けて登録される。ここで、特徴量とは、商品Ｇ表面の色合いや模様、凹凸状況、形状等、商品Ｇの特徴を表した情報である。
【００２２】
認識対象設定ファイルＦ２は、後述する類似度判定の対象とする商品を設定したデータファイルである。図４は、認識対象設定ファイルＦ２のデータ構成の一例を模式的に示す図である。同図に示すように、認識対象設定ファイルＦ２には、各商品Ｇの商品名と、当該商品の商品ＩＤと、後述する類似度判定部１６１４での類似度判定の有無を示す認識対象設定とが関連付けて登録される。商品名及び商品ＩＤは、ＰＬＵファイルＦ１に登録された商品名及び商品ＩＤに対応する。また、認識対象設定に記された丸印は、その商品が類似度判定の対象であることを意味しており、無印は類似度判定の対象外であることを意味する。
【００２３】
認識対象設定は、任意に設定することが可能である。例えば、キーボード２２、タッチパネル２６又は通信インターフェース２５を介して、類似度判定の対象又は対象外とする商品の商品ＩＤが指示されると、ＣＰＵ６１は、その指示内容に応じて類似度判定を更新する。また、後述する第１設定部１６１８又は第２設定部６１２の機能により、認識対象設定を自動で更新する形態としてもよい。なお、認識対象設定の更新タイミングは特に問わず、その都度更新してもよい。また、設定内容の異なる複数の認識対象設定ファイルＦ２を保持し、例えば日毎、月毎、季節毎で使い分ける形態としてもよい。
【００２４】
また、本実施形態では、ＰＬＵファイルＦ１と認識対象設定ファイルＦ２とを別ファイルとしたが、これに限らず、同一のファイルに統合してもよい。また、本実施形態では、各商品Ｇの特徴量をＰＬＵファイルＦ１に予め登録しておく形態としているが、これに限らず、後述する特徴量抽出部１６１３により、各商品画像から特徴量が抽出される形態としてもよい。また、商品画像の代わりに提示用の画像を登録する形態としてもよい。以下では、ＰＬＵファイルＦ１及び認識対象設定ファイルＦ２に登録された各商品を、登録商品という。
【００２５】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続される。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（図示せず）は、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１や、ＰＬＵファイルＦ１に登録された各登録商品の在庫状態を管理するための在庫管理ファイル等を記憶する。
【００２６】
接続インターフェース６５は、商品読取装置１０１との間でデータ送受信を可能にする。接続インターフェース６５には、商品読取装置１０１が接続される。また、プリンタ６６は、レシート等に印字を行う。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、プリンタ６６にて、一取引の取引内容をレシートに印字する。
【００２７】
商品読取装置１０１は、商品読取部１１０と、表示・操作部１０４とを備える。商品読取部１１０は、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３とを備える。ＲＯＭ１６２は、ＣＰＵ１６１が実行するプログラムを記憶する。
【００２８】
ＣＰＵ１６１には、撮像部１６４、音声出力部１６５及び接続インターフェース１７５が各種の入出力回路（いずれも図示せず）を介して接続される。撮像部１６４、音声出力部１６５及び接続インターフェース１７５は、ＣＰＵ１６１によって動作が制御される。
【００２９】
撮像部１６４は、カラーＣＣＤセンサやカラーＣＭＯＳセンサ等であり、読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。
【００３０】
表示・操作部１０４は、タッチパネル１０５、表示デバイス１０６、キーボード１０７、顧客用表示デバイス１０９及び接続インターフェース１７６を備える。商品読取部１１０の接続インターフェース１７５は、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする。接続インターフェース１７５は、接続インターフェース１７６を介して、表示・操作部１０４と接続し、ＣＰＵ１６１は、接続インターフェース１７５を介して、商品読取部１１０と表示・操作部１０４との間でデータ送受信を行う。
【００３１】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図５を参照して説明する。
【００３２】
図５は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図５に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、特徴量抽出部１６１３、類似度判定部１６１４、商品候補提示部１６１５、入力受付部１６１６、情報出力部１６１７及び第１設定部１６１８としての機能を備える。
【００３３】
画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存された撮像画像を順次取り込む。画像取込部１６１１による撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行う。
【００３４】
商品検出部１６１２は、画像取込部１６１１により取り込まれた撮像画像に含まれる商品Ｇの全部又は一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。次いで、前回の撮像画像（フレーム画像）から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変化のあった部分、すなわち、読取窓１０３に向けられた商品Ｇの写り込み領域を検出する。
【００３５】
商品Ｇを検出する別の方法としては、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまり店員の手の写り込みが検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品Ｇの輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭から商品Ｇを検出する。
【００３６】
特徴量抽出部（抽出手段）１６１３は、画像取込部１６１１により取り込まれた撮像画像から、商品検出部１６１２で検出された商品Ｇの表面の状態（表面の色合い、模様、凸凹状況、形状等）を特徴量として抽出する。
【００３７】
類似度判定部（算出手段）１６１４は、ＰＯＳ端末１１のＰＬＵファイルＦ１に登録された登録商品のうち、認識対象設定ファイルＦ２で類似度判定の対象と設定された各登録商品の特徴量と、特徴量抽出部１６１３で抽出された特徴量とを比較し、その類似度をそれぞれ算出する。また、類似度判定部（認識手段）１６１４は、算出した類似度のうち、その類似度が所定の閾値以上となる登録商品（商品ＩＤ）を、撮像部１６４で撮像された商品Ｇの候補として認識する。
【００３８】
ここで、類似度は、商品Ｇの特徴量と、ＰＬＵファイルＦ１に登録された商品の基準の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、ＰＬＵファイルＦ１に登録された各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。
【００３９】
上記のように画像中に含まれる物体を認識することは、一般物体認識（generic  object  recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６  [平成２５年１月２４日検索]，インターネット<URL:  http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf  >
【００４０】
また、画像を物品（オブジェクト）毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie  Shottonら，“Semantic  Texton  Forests  for  Image  Categorization  and  Segmentation”，[平成２５年１月２４日検索]，インターネット<URL:  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf  >
【００４１】
なお、類似度の算出方法は特に問わないものとする。例えば、類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Ｇと、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。また、類似度が閾値以上となる登録商品が存在しない場合、類似度判定部１６１４は、商品候補提示部１６１５と協働することで、後述する商品リスト等を用いて商品を手動で選択させる旨のメッセージを、表示デバイス１０６に表示する。
【００４２】
商品候補提示部１６１５は、類似度判定部１６１４で候補として認識された登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。より詳細には、商品候補提示部１６１５は、候補として認識された登録商品のレコードをＰＯＳ端末１１のＰＬＵファイルＦ１から読み出し、表示デバイス１０６に表示させる。
【００４３】
図６は、商品候補の表示例を示す図である。同図に示すように、表示デバイス１０６の表示画面のうち、商品候補提示領域Ａ１１には、類似度の高い登録商品の順に、その商品候補のレコードに含まれた商品画像Ｇ１、Ｇ２が商品名とともに表示される。これら商品画像Ｇ１、Ｇ２は、タッチパネル１０５に対するタッチ操作に応じて選択可能に構成される。また、商品候補提示領域Ａ１１の下部に、商品リストから商品を選択するための選択ボタンＢ１１が設けられる。商品リストから選択された商品は後述する確定商品として処理される。また、領域Ａ１２には、撮像部１６４で撮像された撮像画像が表示される。なお、図６では、２つの商品候補を提示する例を示したが、商品候補の表示方法や個数はこれに限定されるものではない。
【００４４】
図５に戻り、入力受付部１６１６は、タッチパネル１０５又はキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受け付ける。例えば、入力受付部１６１６は、表示デバイス１０６に表示された商品候補の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部１６１６は、選択された商品候補を、撮像部１６４によって撮像された商品Ｇに対応する商品（確定商品）として受け付ける。なお、商品検出部１６１２が複数の商品Ｇを検出可能である場合には、入力受付部１６１６は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。
【００４５】
情報出力部１６１７は、上述のように確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。
【００４６】
なお、情報出力部１６１７は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末１１に出力してもよい。また、情報出力部１６１７がＰＯＳ端末１１に出力する情報としては、情報出力部１６１７がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、商品画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）を通知してもよい。
【００４７】
第１設定部１６１８は、認識対象設定ファイルＦ２に登録された登録商品のうち、認識精度が低い登録商品を類似度判定の対象外に設定する機能部である。
【００４８】
より詳細には、第１設定部１６１８は、類似度判定部１６１４において商品候補と選定されたにも関わらず、これら商品候補以外から登録商品（確定商品）の選択が行われた場合に、誤認識が発生したと判断する。また、第１設定部１６１８は、誤認識の原因となった登録商品（確定商品）の商品ＩＤを誤認識履歴情報としてＰＯＳ端末１１のＨＤＤ６４等に記録する。そして、第１設定部１６１８は、記録した誤認識履歴情報に基づき、認識精度が所定値以下となる登録商品を類似度判定の対象から除外する設定を行うことで、認識対象設定ファイルＦ２を更新する。ここで、認識精度の算出方法は特に問わないものとする。例えば、誤認識履歴情報に登録された各登録商品の出現回数で１を除した値を認識精度としてもよい。
【００４９】
このように、認識精度の低い登録商品を類似度判定の対象外とすることで、誤認識の発生を抑えることができるため、商品Ｇの認識を効率的に行うことができる。
【００５０】
一方、ＰＯＳ端末１１のＣＰＵ６１は、プログラムを実行することにより、売上登録部６１１及び第２設定部６１２としての機能を備える。売上登録部６１１は、商品読取装置１０１の情報出力部１６１７から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照し、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録することで売上登録を行う。
【００５１】
第２設定部６１２は、認識対象設定ファイルＦ２に登録された登録商品のうち、品切れにより販売不可能となった登録商品を類似度判定の対象から除外する。より詳細には、第２設定部６１２は、ストアコンピュータＳＣ等（管理手段）が管理する在庫管理ファイルを参照し、各登録商品の在庫状況を確認する。そして、第２設定部６１２は、在庫管理ファイルから在庫ゼロの登録商品を検出すると、その登録商品（商品ＩＤ）を類似度判定の対象から除外する設定を行うことで、認識対象設定ファイルＦ２を更新する。
【００５２】
これにより、類似度判定を行う必要がなくなった登録商品を、類似度判定から除外することができるため、商品Ｇの認識を効率的に行うことができる。なお、在庫の管理は、ストアコンピュータＳＣに限らず、ＰＯＳ端末１１で行うようにしてもよい。
【００５３】
以下、チェックアウトシステム１の動作について説明する。まず、図７を参照して、商品読取装置１０１の動作について説明する。ここで、図７は、商品読取装置１０１が実行する商品認識処理の手順を示すフローチャートである。
【００５４】
ＰＯＳ端末１１による商品登録の開始等に応じて本処理が開始されると、画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。
【００５５】
画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。次いで、商品検出部１６１２は、ステップＳ１２で取り込まれた撮像画像から商品Ｇの全部又は一部の検出を行う（ステップＳ１３）。特徴量抽出部１６１３は、ステップＳ１２で取り込まれた撮像画像から、ステップＳ１３で検出された商品Ｇの特徴量を抽出する（ステップＳ１４）。
【００５６】
続いて、類似度判定部１６１４は、ＰＬＵファイルＦ１に登録された登録商品のうち、認識対象設定ファイルＦ２で類似度判定対象（認証対象）と設定された登録商品を特定する（ステップＳ１５）。類似度判定部１６１４は、ステップＳ１４で抽出された特徴量と、ステップＳ１５で特定した各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する（ステップＳ１６）。次いで、類似度判定部１６１４は、ステップＳ１６で算出した類似度が、所定の閾値以上となる登録商品が存在するか否かを判定する（ステップＳ１７）。
【００５７】
ステップＳ１７において、類似度が閾値以上の登録商品が存在すると判定した場合（ステップＳ１７；Ｙｅｓ）、ステップＳ１９に移行する。なお、類似度が閾値以上となる登録商品が存在しないと判定した場合（ステップＳ１７；Ｎｏ）、特徴量抽出部１６１３は、商品を手動で選択させる旨のメッセージを表示デバイス１０６に表示し（ステップＳ１８）、ステップＳ２１へ移行する。
【００５８】
続いて、商品候補提示部１６１５は、ステップＳ１７で候補として認識された登録商品のレコードをＰＯＳ端末１１のＰＬＵファイルＦ１から読み出し、商品候補として表示デバイス１０６に表示させる（ステップＳ１９）。
【００５９】
次いで、入力受付部１６１６は、タッチパネル１０５又はキーボード１０７を介して、商品候補の選択を受け付けたか否かを判定する（ステップＳ２０）。ここで、選択操作を受け付けた場合（ステップＳ２０；Ｙｅｓ）、入力受付部１６１６は、選択された商品候補を、撮像部１６４によって撮像された商品Ｇに対応する確定商品として受け付け、ステップＳ２１に移行する。一方、選択を受け付けない場合には（ステップＳ２０；Ｎｏ）、ステップＳ１２に戻る。
【００６０】
続いて、情報出力部１６１７は、選択された確定商品について、その商品を示す商品ＩＤ等の情報を、接続インターフェース１７５を介してＰＯＳ端末１１に出力し（ステップＳ２１）、ステップＳ２２に移行する。
【００６１】
ここで、タッチパネル１０５又はキーボード１０７を介して販売個数が別途入力された場合には、ステップＳ２１において、確定商品を示す情報とともに、その販売個数をＰＯＳ端末１１に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を出力する形態としてもよい。
【００６２】
ステップＳ２２において、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２２）。ここで、業務を継続する場合（ステップＳ２２；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。また、業務を終了する場合（ステップＳ２２；Ｙｅｓ）、画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力することで、撮像部１６４による撮像を終了し（ステップＳ２３）、処理を終了する。
【００６３】
次に、ＰＯＳ端末１１の処理動作について説明する。図８は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。
【００６４】
まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１が図７のステップＳ２１で出力した、確定商品の商品ＩＤと、その販売個数とを受信する（ステップＳ３１）。次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ３２）。
【００６５】
続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３；Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ戻り処理を継続させる。業務を終了する場合（ステップＳ３３；Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００６６】
以上のように、本実施形態によれば、ＰＬＵファイルＦ１に登録された登録商品うち、類似度判定の対象に設定された各登録商品の特徴量を用いて商品Ｇの認識を行う。これにより、ＰＬＵファイルＦ１に登録された全登録商品との比較が不用意に行われてしまうことを防ぐことができるため、商品Ｇの認識を効率的に行うことができる。
【００６７】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６８】
例えば、上記実施形態では、ＰＯＳ端末１１が、ＰＬＵファイルＦ１及び認識対象設定ファイルＦ２を備える形態としたが、これに限らず、商品読取装置１０１が、ＰＬＵファイルＦ１及び認識対象設定ファイルＦ２の一部又は全てを備える形態としてもよい。
【００６９】
また、上記実施形態では、商品読取装置１０１において、商品候補の識別を行う形態としたが、商品読取装置１０１が備える機能部の一部又は全てをＰＯＳ端末１１が備える形態としてもよい。
【００７０】
例えば、ＰＯＳ端末１１が、特徴量抽出部１６１３及び類似度判定部１６１４を備え、商品読取装置１０１が、画像取込部１６１１、商品検出部１６１２、商品候補提示部１６１５、入力受付部１６１６及び情報出力部１６１７を備える形態としてもよい。この場合、商品読取装置１０１側では、画像取込部１６１１により取り込まれ、商品検出部１６１２で商品を検出した撮像画像をＰＯＳ端末１１に送信する。また、商品読取装置１０１は、ＰＯＳ端末１１側で認識された商品（登録商品）の結果を受信し、この受信した結果を商品候補提示部１６１５が商品候補として提示する構成とする。また、商品読取装置１０１の機能部の全てをＰＯＳ端末１１が備える場合、商品読取装置１０１は撮像装置として機能し、ＰＯＳ端末１１では、商品読取装置１０１から送信された撮像画像に基づき商品候補の表示と選択を行う。
【００７１】
また、上記実施形態では、商品読取装置１０１が第１設定部１６１８を備え、ＰＯＳ端末１１が第２設定部６１２を備える形態としたが、これに限らず、何れか一方の装置が両設定部を備える形態としてもよい。
【００７２】
また、上記実施形態では、据置型のスキャナ装置（商品読取装置１０１）を用いた例を説明したが、これに限らず、いわゆるハンディタイプのスキャナ装置がＰＯＳ端末１１に接続された形態であってもよい。
【００７３】
また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１のうち、商品読取装置１０１に本発明の実施形態を適用したが、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置又は、例えば、図１に示す商品読取装置１０１及びＰＯＳ端末１１が有線又は無線にて接続されて構成されるチェックアウトシステムに適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。
【００７４】
ここで、図９は、セルフＰＯＳ２００の外観構成を示す斜視図、図１０は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１及び図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。
【００７５】
図９及び図１０に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備える。
【００７６】
表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
【００７７】
商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。
【００７８】
また、本体２０２の右側には、かごに入った未精算の商品を置くための商品載置台２０３を設け、本体２０２の左側には、精算済みの商品を置くための商品載置台２０４を設ける。また、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を設ける。商品載置台２０３及び２０４は、計量器２０７，２０８をそれぞれ備えており、精算の前後で商品の重量が同じであることを確認する機能を有する。
【００７９】
また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１を設ける。
【００８０】
このような構成のセルフＰＯＳ２００に本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能する。なお、ＰＯＳ端末１１と商品読取装置１０１との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７及び２０８を除いて構成された装置であってもよい。
【００８１】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００８２】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【００８３】
また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、ＰＤＡ（Personal  Digital  Assistant）等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。
【符号の説明】
【００８４】
１  チェックアウトシステム
１１  ＰＯＳ端末
６１１  売上登録部
６１２  第２設定部
１０１  商品読取装置
１６１１  画像取込部
１６１２  商品検出部
１６１３  特徴量抽出部
１６１４  類似度判定部
１６１５  商品候補提示部
１６１６  入力受付部
１６１７  情報出力部
１６１８  第１設定部
Ｆ１  ＰＬＵファイル
Ｆ２  認識対象設定ファイル
ＳＣ  ストアコンピュータ
【先行技術文献】
【特許文献】
【００８５】
【特許文献１】特開２００４−２０６３５７号公報
【図１】
2014153894.tif 000003
【図２】
2014153894.tif 000004
【図３】
2014153894.tif 000005
【図４】
2014153894.tif 000006
【図５】
2014153894.tif 000007
【図６】
2014153894.tif 000008
【図７】
2014153894.tif 000009
【図８】
2014153894.tif 000010
【図９】
2014153894.tif 000011
【図１０】
2014153894.tif 000012