(57)【要約】【課題】商品の認識に係る処理を効率的に行うことが可能な情報処理装置及びプログラムを提供する。【解決手段】撮像手段が撮像した撮像画像を取り込む取込手段と、前記取込手段が取り込んだ撮像画像から、前記撮像手段で撮像された商品を認識する第１認識手段と、前記取込手段が取り込んだ撮像画像から、前記商品に付されたラベルを認識する第２認識手段と、前記第１認識手段及び前記第２認識手段での認識結果を表した一のコードを出力する出力手段と、を備える。【選択図】図９
2014052799.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段が撮像した撮像画像を取り込む取込手段と、
前記取込手段が取り込んだ撮像画像から、前記撮像手段で撮像された商品を認識する第１認識手段と、
前記取込手段が取り込んだ撮像画像から、前記商品に付されたラベルを認識する第２認識手段と、
前記第１認識手段及び前記第２認識手段での認識結果を表した一のコードを出力する出力手段と、
を備える情報処理装置。
【請求項２】
前記第１認識手段で認識された商品に対応する第１コードと、前記第２認識手段で認識されたラベルに対応する第２コードとから、第３コードを生成する生成手段を更に備え、
前記出力手段は、前記生成手段で生成された前記第３コードを出力する請求項１に記載の情報処理装置。
【請求項３】
前記出力手段は、前記第２認識手段により前記ラベルが所定時間以内に認識されなかった場合、前記第１認識手段で認識された前記第１コードを出力する請求項１又は２に記載の情報処理装置。
【請求項４】
前記第１認識手段は、前記撮像画像に含まれた前記商品の画像から特徴量を抽出し、各基準商品の特徴量と比較することで前記商品に対応する基準商品を認識する請求項１〜３の何れか一項に記載の情報処理装置。
【請求項５】
前記第２認識手段は、前記撮像画像に含まれた前記ラベルの画像を検出し、当該ラベルが付された商品の購入時に提供されるサービス内容を認識する請求項１〜４の何れか一項に記載の情報処理装置。
【請求項６】
コンピュータを、
撮像手段が撮像した撮像画像を取り込む取込手段と、
前記取込手段が取り込んだ撮像画像から、前記撮像手段で撮像された商品を認識する第１認識手段と、
前記取込手段が取り込んだ撮像画像から、前記商品に付されたラベルを認識する第２認識手段と、
前記第１認識手段及び前記第２認識手段での認識結果を表した一のコードを出力する出力手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、商品に付されたバーコード及びサービス表示ラベルを撮像装置で撮像し、撮像画像から商品コードとサービス情報とを読み取ることで、このサービス情報に応じたサービスを商品の販売時に提供する技術が開示されている。
【０００３】
また、従来、物品を撮像した撮像画像からその物体の色や色分布、サイズ、形状等の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、この物品の種別等を認識する物体認識技術が存在している。また、この物体認識技術を、青果品等の商品の識別に用いて、識別された商品を売上登録するシステムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記物体認識技術では、商品に付されたラベル等の付帯物の認識については何ら考慮されておらず、効率化の観点において改善の余地があった。
【課題を解決するための手段】
【０００５】
実施の形態の情報処理装置は、取込手段と、第１認識手段と、第２認識手段と、出力手段とを備える。取込手段は、撮像手段が撮像した撮像画像を取り込む。第１認識手段は、前記取込手段が取り込んだ撮像画像から、前記撮像手段で撮像された商品を認識する。第２認識手段は、前記取込手段が取り込んだ撮像画像から、前記商品に付されたラベルを認識する。出力手段は、前記第１認識手段及び前記第２認識手段での認識結果を表した一のコードを出力する。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態に係るチェックアウトシステムの外観構成を示す斜視図である。
【図２】図２は、図１に示したＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、図２に示したＰＬＵファイルのデータ構成の一例を模式的に示す図である。
【図４】図４は、図２に示した商品特徴ファイルのデータ構成の一例を模式的に示す図である。
【図５】図５は、サービス表示ラベルの一例を模式的に示す図である。
【図６】図６は、サービス表示ラベルの他の例を模式的に示す図である。
【図７】図７は、図２に示したラベル特徴ファイルのデータ構成の一例を模式的に示す図である。
【図８】図８は、図２に示したコード生成ファイルのデータ構成の一例を模式的に示す図である。
【図９】図９は、図１に示したＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。
【図１０】図１０は、商品読取装置の表示デバイスに表示された商品候補の表示例を示す図である。
【図１１】図１１は、ＰＯＳ端末の表示デバイスに表示された商品情報の表示例を示す図である。
【図１２】図１２は、商品読取装置が実行する商品識別処理の手順を示すフローチャートである。
【図１３】図１３は、ＰＯＳ端末が実行する売上登録処理の手順を示すフローチャートである。
【図１４】図１４は、実施形態に係るセルフＰＯＳの構成を示す斜視図である。
【図１５】図１５は、図１４に示したセルフＰＯＳのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００７】
以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入された、一取引にかかる商品の登録・精算を行うＰＯＳ端末と、商品に関する情報を読み取る商品読取装置とを備えるチェックアウトシステムへの適用例である。
【０００８】
図１は、チェックアウトシステム１の外観構成を示す斜視図である。図１に示すように、チェックアウトシステム１は、ＰＯＳ端末１１と商品読取装置１０１とを、情報処理装置として備える。
【０００９】
ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。
【００１０】
なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１１】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。
【００１２】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。
【００１３】
ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１４】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１５】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
【００１６】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。
【００１７】
ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central  Processing  Unit）６１に、ＲＯＭ（Read  Only  Memory）６２とＲＡＭ（Random  Access  Memory）６３とがバス接続されて構成されている。なお、ＣＰＵ６１は、マイクロコンピュータ６０が内蔵するＲＴＣ（Real  Time  Clock）等の計時部（図示せず）と協働することで、時間を計測することが可能であるとする。
【００１８】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。
【００１９】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００２０】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard  Disk  Drive）が接続されている。ＨＤＤ６４には、各種プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。
【００２１】
また、ＨＤＤ６４には、ＰＬＵファイルＦ１、商品特徴ファイルＦ２、ラベル特徴ファイルＦ３及びコード生成ファイルＦ４等のデータファイルが記憶されている。なお、全データファイルのうち、少なくともＰＬＵファイルＦ１及び商品特徴ファイルＦ２は、後述する接続インターフェース６５を介し、商品読取装置１０１から読み出し（参照）可能に保持されているものとする。
【００２２】
ＰＬＵファイルＦ１には、店舗内で販売される商品Ｇと、その商品Ｇの売上登録に係る情報とが関連付けて格納されている。
【００２３】
図３は、ＰＬＵファイルＦ１のデータ構成の一例を模式的に示す図である。同図に示すように、ＰＬＵファイルＦ１には、商品Ｇ毎に、ユニークに割り当てられた商品コードと、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を示すイラスト画像とが、その商品Ｇの商品情報として登録されている。
【００２４】
また、商品特徴ファイルＦ２には、店舗内で販売される商品Ｇの各々と、その商品Ｇを近赤外線下で撮像した際に得られた情報とが関連付けて格納されている。
【００２５】
図４は、商品特徴ファイルＦ２のデータ構成の一例を模式的に示す図である。同図に示すように、商品特徴ファイルＦ２には、店舗内で販売される商品Ｇ毎に、商品コードと、その商品Ｇを撮像した商品画像と、が関連付けて登録されている。ここで、商品コードは、ＰＬＵファイルＦ１に登録された商品コードに対応する。また、商品画像は、後述する類似度判定の際に、比較の対象とされる基準画像であって、当該画像から商品の色合いや模様、表面の凹凸状況、形状等の特徴量が抽出される。以下、ＰＬＵファイルＦ１及び商品特徴ファイルＦ２において、商品コードと関連付けられた商品Ｇを登録商品という。
【００２６】
なお、本実施形態では、各登録商品の商品画像を商品特徴ファイルＦ２に格納する形態としたが、これに限らず、対応する商品コードと関連付けてＰＬＵファイルＦ１に格納する形態としてもよい。また、本実施形態では、後述する特徴量抽出部１６１３により、各商品画像から特徴量が抽出される形態としているが、これに限らず、この特徴量をＰＬＵファイルＦ１に予め登録しておく形態としてもよい。
【００２７】
ラベル特徴ファイルＦ３には、サービス表示ラベルが含む文字やシンボルの特徴を示したラベル特徴データと、そのサービス表示ラベルによって商品に付与されるサービスの内容とが関連付けて格納されている。
【００２８】
ここで、サービス表示ラベルは、店舗内で販売される商品Ｇのうち、サービスの提供対象商品に付されるラベルである。サービス表示ラベルには、そのサービス表示ラベルが付された商品を購入した顧客に対し、店舗側が提供するサービスの内容が表されている。例えば、図５に示すサービス表示ラベルＬ１には、商品単価からの値引き率が表されている。また、図６に示すサービス表示ラベルＬ２には、通常のポイント付与数に割増して付与されるポイント数が表されている。
【００２９】
図７は、ラベル特徴ファイルＦ３のデータ構成の一例を模式的に示す図である。同図に示すように、ラベル特徴ファイルＦ３には、店舗側から提供される各サービスを識別するためのサービスコードと、サービス表示ラベルの特徴を示すラベル特徴データと、そのサービス表示ラベルによって商品に付与されるサービスの内容を示したサービス情報と、が関連付けて登録されている。
【００３０】
ここで、サービス情報は、値引き率やポイント付与数などのサービス内容を、ＰＯＳ端末１１で使用できるよう英数値に変換した情報のことである。即ち、図７に示すように、ラベル特徴データ「２０、円、引」に対しては、２０円の値引を意味するサービス情報「−２０ＹＥＮ」が対応付けて記憶されている。また、ラベル特徴データ「２０、％、引」に対しては、２０％の値引を意味するサービス情報「−２０％」が対応付けて記憶されている。さらに、ラベル特徴データ「１０、ポイント」に対しては、１０ポイントのポイント割増を意味するサービス情報「＋１０Ｐ」が対応付けて記憶されている。
【００３１】
コード生成ファイルＦ４には、商品コードとサービスコードとの組から、一の複合コードを生成するための生成ルールが定義されている。
【００３２】
図８は、コード生成ファイルＦ４のデータ構成の一例を模式的に示す図である。同図に示すように、コード生成ファイルＦ４には、商品コードとサービスコードとの組と、複合コードとが関連付けて格納されている。複合コードは、例えば、生成元となった商品コードとサービスコードとの特性を有する商品の商品コードとして取り扱われる。例えば、商品コード“ＸＸＸＸＸＸＸＸ”とサービスコード“１”との組に関連付けられた複合コード“ＸＸＸＸＸＸＸＸ１”は、商品分類“野菜”、商品名“にんじん”、単価“８０円”の商品の商品コードとして取り扱われる。
【００３３】
なお、図８のコード生成ファイルＦ４では、商品コードとサービスコードとの組毎に、複合コードの生成ルールを定義する形態としたが、これに限らないものとする。例えば、商品コードの末尾にサービスコードを付加して複合コードを生成するように、複合コードの生成ルールが商品コードとサービスコードとの組み合わせによらず一様に定まっている場合、そのルール自体をコード生成ファイルＦ４に定義する形態としてもよい。また、各複合コードに対応する商品情報を、ＰＬＵファイルＦ１等のデータファイルに予め格納しておく形態としてもよい。
【００３４】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるデータファイルが格納されている。
【００３５】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。なお、詳細は後述するが、商品読取装置１０１から出力された撮像画像は、接続インターフェース６５を介してＰＯＳ端末１１に入力（受信）され、ＲＡＭ６３内に保存される。
【００３６】
また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００３７】
一方、商品読取装置１０１は、ＰＯＳ端末１１と同様に、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。
【００３８】
ＣＰＵ１６１には、撮像部１６４及び音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４及び音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。
【００３９】
撮像部１６４は、カラーＣＣＤセンサやカラーＣＭＯＳ等のイメージセンサであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００４０】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。
【００４１】
また、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、接続インターフェース１７５には、接続インターフェース１７６を介して、表示・操作部１０４が接続されており、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００４２】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図９を参照して説明する。
【００４３】
図９は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図９に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、特徴量抽出部１６１３、類似度判定部１６１４、商品候補提示部１６１５、入力受付部１６１６及び情報出力部１６１７としての機能を備える。
【００４４】
画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存された撮像画像を順次取り込む。画像取込部１６１１による撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。また、画像取込部１６１１は、取り込んだ撮像画像を、ＰＯＳ端末１１に出力する。
【００４５】
商品検出部１６１２は、画像取込部１６１１により取り込まれた撮像画像から、読取窓１０３に翳された商品Ｇの写り込み領域を検出する機能部である。具体的に、画像取込部１６１１により取り込まれた撮像画像に含まれる商品Ｇの全部または一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。次いで、前回の撮像画像（フレーム画像）から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変化のあった部分、すなわち、読取窓１０３に向けられた商品の写り込み領域を検出する。
【００４６】
なお、商品を検出する別の方法としては、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまり店員の手の写り込みが検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭から商品の写り込み領域を検出する。
【００４７】
特徴量抽出部１６１３は、画像取込部１６１１により取り込まれた撮像画像のうち、商品検出部１６１２で検出された商品Ｇの写り込み領域から、当該領域の表面の状態（表面の色合い、模様、凸凹状況、形状等）を、商品Ｇの特徴量として抽出する。また、特徴量抽出部１６１３は、商品特徴ファイルＦ２に登録された各登録商品の商品画像から特徴量を抽出する。
【００４８】
類似度判定部１６１４は、特徴量抽出部１６１３で抽出された商品Ｇの特徴量と、商品特徴ファイルＦ２に登録された各登録商品の特徴量とを比較し、両特徴量の関係を示す値（類似度）を算出する。また、類似度判定部１６１４は、算出した類似度が所定の閾値以上となった登録商品（商品コード）を、撮像部１６４で撮像された商品Ｇの候補として認識する。ここで、類似度は、商品Ｇの特徴量と商品特徴ファイルＦ２に登録された各登録商品の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、商品特徴ファイルＦ２に登録された各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量と商品特徴ファイルＦ２に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。
【００４９】
上記のように画像中に含まれる物体を認識することは、一般物体認識（generic  object  recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６  [平成２４年７月２６日検索]，インターネット<URL:  http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf  >
【００５０】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie  Shottonら，“Semantic  Texton  Forests  for  Image  Categorization  and  Segmentation”，[平成２４年７月２６日検索]，インターネット<URL:  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf  >
【００５１】
なお、類似度の算出方法は特に問わないものとする。例えば、類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００５２】
類似度を絶対評価として算出する場合、商品Ｇの特徴量と、各登録商品の特徴量とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、商品Ｇの特徴量と、各登録商品の特徴量との類似度の総和が１．０（１００％）となるよう算出すればよい。
【００５３】
商品候補提示部１６１５は、類似度判定部１６１４で商品Ｇの候補とされた登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。具体的に、商品候補提示部１６１５は、候補として認識された登録商品（商品コード）に関する商品情報をＰＯＳ端末１１のＰＬＵファイルＦ１から読み出し、類似度の高いものから、表示デバイス１０６に順次表示させる。
【００５４】
図１０は、商品読取装置１０１の表示デバイス１０６に表示された商品候補の表示例を示す図である。図１０に示すように、表示デバイス１０６の表示画面のうち、商品候補提示領域Ａ１１には、類似度の高い登録商品の順に、その商品候補の商品情報に含まれたイラスト画像Ｇ１、Ｇ２、Ｇ３が商品名とともに表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３は、タッチパネル１０５に対するタッチ操作に応じて選択可能に構成されている。また、商品候補提示領域Ａ１１の下部には、商品リストから商品を選択するための選択ボタンＢ１１が設けられており、商品リストから選択された商品は後述する確定商品として処理される。また、領域Ａ１２には、画像取込部１６１１により取り込まれた撮像画像が表示される。
【００５５】
なお、図１０では、３つの商品候補を提示する例を示したが、商品候補の提示方法はこれに限定されるものではない。例えば、イラスト画像に替えて商品特徴ファイルＦ２に登録された商品画像を表示する形態としてもよい。
【００５６】
図９に戻り、入力受付部１６１６は、タッチパネル１０５又はキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受け付ける。例えば、入力受付部１６１６は、表示デバイス１０６に表示された商品候補のイラスト画像（図１０参照）の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部１６１６は、選択されたイラスト画像の商品候補を、撮像部１６４によって撮像された商品Ｇに対応する商品（確定商品）として受け付ける。なお、商品検出部１６１２が複数の商品Ｇを検出可能である場合には、入力受付部１６１６は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。
【００５７】
情報出力部１６１７は、上述のように確定された確定商品について、その商品を示す情報を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。本実施形態では、確定商品として商品コードの出力を行うものとするが、これに限らず、商品コードを特定することが可能な商品名、商品画像、イラスト画像のファイル名を出力してもよいし、その商品コードの格納場所（ＰＬＵファイルＦ１での格納アドレス）を出力してもよい。また、情報出力部１６１７は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品コード等とともにＰＯＳ端末１１に出力する。
【００５８】
一方、ＰＯＳ端末１１のＣＰＵ６１は、プログラムを実行することにより、画像取込部６１１、ラベル読取部６１２及び売上登録部６１３としての機能を備える。
【００５９】
画像取込部６１１は、商品読取装置１０１から出力されＲＡＭ６３に保存された撮像画像を順次取り込む。画像取込部６１１による撮像画像の取り込みは、ＲＡＭ６３に保存された順に行われる。
【００６０】
ラベル読取部６１２は、画像取込部６１１が取り込んだ撮像画像に対して、サービス表示ラベルの画像を検出するラベル読取処理を行う。ラベル読取部６１２は、サービス表示ラベルの画像を検出するまで、画像取込部６１１による撮像画像の取り込みを予め定めた所定の時間だけ行う。また、ラベル読取部６１２は、所定の時間内にサービス表示ラベルの画像を検出した場合には、検出したサービス表示ラベルの画像から、そのサービス内容を特定する。
【００６１】
具体的に、ラベル読取部６１２は、画像取込部６１１が取り込んだ撮像画像に対して、ＯＣＲ（Optical  Character  Reader）等の文字認識処理や、パターン認識等の処理を行う。ラベル読取部６１２は、サービス表示ラベルが含む文字や絵、シンボル等の特徴と、ラベル特徴ファイルＦ３に登録されたラベル特徴データとを照合して、一致度の高いラベル特徴データを検出した場合に、このサービス表示ラベルにより付与されるサービス内容（サービス情報）を認識（特定）したと判断する。また、ラベル読取部６１２は、認識したサービス表示ラベルのサービスコードを、売上登録部６１３に通知する。
【００６２】
また、ラベル読取部６１２は、サービスの特定が完了したか否かを、フラグで管理するものとする。本実施形態では、デフォルト値となるフラグ＝０が、サービスの特定が未完の状態を意味し、フラグ＝１が、サービスの認識が完了したことを意味する。
【００６３】
売上登録部６１３は、商品読取装置１０１から入力される商品コード、ラベル読取部６１２から通知されるサービスコードに基づいて、その商品コードに対応する商品の売上登録に係る処理を行う機能部である。
【００６４】
具体的に、売上登録部６１３は、商品読取装置１０１から出力された商品コード（及び販売個数）を、接続インターフェース６５を介して受信すると、この商品コードに対応する登録商品の商品情報をＰＬＵファイルＦ１から読み出し、その内容を表示デバイス２３に表示させる。また、売上登録部６１３は、ラベル読取部６１２からサービスコードが通知された場合に、このサービスコードに対応するサービス情報を商品特徴ファイルＦ２から読み出し、その内容を表示デバイス２３に表示させる。
【００６５】
ここで、図１１は、ＰＯＳ端末１１の表示デバイス２３に表示された商品情報の表示例を示す図である。図１１に示すように、表示デバイス２３の表示画面のうち、商品情報提示領域Ａ２１には、商品コードによってＰＬＵファイルＦ１から特定される登録商品の商品情報が表示される。同図では、商品コード“ＸＸＸＸＸＸＸＸ”の商品情報のうち、イラスト画像Ｇ１１と、商品名Ｍ１１と、販売価格Ｍ１２とを表示した例を示している。
【００６６】
ここで、商品名Ｍ１１では、商品読取装置１０１から商品コードとともに受信した販売個数を併せて表示している。また、図１１では、ラベル読取部６１２からサービスコード“１”（図７参照）が通知された例を想定しており、このサービスコードに対応するサービス情報のサービス内容（２０円引）を反映した販売価格（商品単価）を、販売価格Ｍ１２に表示している。
【００６７】
なお、商品情報の提示方法は、図１１の例に限定されるものではない。例えば、商品コードやサービスコード等を表示する形態としてもよいし、商品コードとサービスコードとの組から生成される複合コードを表示する形態としてもよい。また、図１１の画面を顧客用表示デバイス２４に表示する形態としてもよい。
【００６８】
また、売上登録部６１３は、ラベル読取部６１２からサービスコードが通知された場合、コード生成ファイルＦ４に登録された複合コードの生成ルールに基づき、そのサービスコードと商品読取装置１０１から出力された商品コードとの組から複合コードを生成する。例えば、売上登録部６１３は、コード生成ファイルＦ４に基づき、商品コード“ＸＸＸＸＸＸＸＸ”と、サービスコード“１”との組から、複合コード“ＸＸＸＸＸＸＸＸ１”を生成する。
【００６９】
そして、売上登録部６１３は、生成した複合コードを販売個数とともに売上マスタファイル等に記録することで売上登録を行う。また、サービスコードが通知されない場合には、売上登録部６１３は、商品コードを販売個数とともに売上マスタファイル等に記録することで売上登録を行う。なお、売上登録の内容は、上記に限らず、商品分類、商品名、単価等を記録する形態としてもよい。
【００７０】
次に、チェックアウトシステム１の動作について説明する。まず、商品読取装置１０１の動作について説明する。図１２は、商品読取装置１０１が実行する商品識別処理の手順を示すフローチャートである。
【００７１】
図１２に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。
【００７２】
画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。また、画像取込部１６１１は、ステップＳ１２で取り込んだ撮像画像をＰＯＳ端末１１に出力する（ステップＳ１３）。
【００７３】
続いて、商品検出部１６１２は、ステップＳ１２で取り込まれた撮像画像から商品Ｇの写り込み領域を検出する（ステップＳ１４）。特徴量抽出部１６１３は、ステップＳ１４で検出された撮像画像中の商品Ｇの写り込み領域から、当該領域の表面の状態を商品Ｇの特徴量として抽出する（ステップＳ１５）。また、特徴量抽出部１６１３は、商品特徴ファイルＦ２に登録された各登録商品の商品画像から特徴量を抽出する。
【００７４】
類似度判定部１６１４は、ステップＳ１５で抽出された商品Ｇの特徴量と、商品特徴ファイルＦ２に登録された各登録商品の特徴量との類似度を算出する（ステップＳ１６）。次いで、類似度判定部１６１４は、ステップＳ１５で類似度を算出した登録商品の中に、商品Ｇの特徴量との類似度が所定の閾値以上となった登録商品が存在するか否かを判定する（ステップＳ１７）。
【００７５】
ステップＳ１７において、類似度が閾値以上の登録商品が存在すると判定した場合（ステップＳ１７；Ｙｅｓ）、特徴量抽出部１６１３は、その登録商品を撮像部１６４で撮像された商品Ｇの候補として認識し（ステップＳ１８）、ステップＳ１９に移行する。また、類似度が閾値以上の登録商品が存在しないと判定した場合には（ステップＳ１７；Ｎｏ）、ステップＳ１２に再び戻る。
【００７６】
ステップＳ１９において、商品候補提示部１６１５は、ステップＳ１８で商品Ｇの候補として認識された登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる（ステップＳ１９）。
【００７７】
続いて、入力受付部１６１６は、タッチパネル１０５又はキーボード１０７を介して、商品候補の選択を受け付けたか否かを判定する（ステップＳ２０）。ここで、選択操作を受け付けた場合（ステップＳ２０；Ｙｅｓ）、入力受付部１６１６は、選択された商品候補を、撮像部１６４によって撮像された商品Ｇに対応する確定商品として受け付け、ステップＳ２１に移行する。一方、選択を受け付けない場合には（ステップＳ２０；Ｎｏ）、ステップＳ１２に再び戻る。
【００７８】
続いて、情報出力部１６１７は、ステップＳ２０で選択された確定商品について、その商品を示す商品コード等の情報を、接続インターフェース１７５を介してＰＯＳ端末１１に出力し（ステップＳ２１）、ステップＳ２２に移行する。
【００７９】
ここで、タッチパネル１０５又はキーボード１０７を介して販売個数が別途入力された場合には、ステップＳ２１において、確定商品を示す情報とともに、その販売個数をＰＯＳ端末１１に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を出力する形態としてもよい。
【００８０】
ステップＳ２２において、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２２）。ここで、業務を継続する場合（ステップＳ２２；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。また、業務を終了する場合（ステップＳ２２；Ｙｅｓ）、画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力することで、撮像部１６４による撮像を終了し（ステップＳ２３）、処理を終了する。
【００８１】
次に、ＰＯＳ端末１１の処理動作について説明する。図１３は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。
【００８２】
キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、まず、ＣＰＵ６１は、後述するサービス表示ラベルの読み取り時間を計時するためのタイマーをリセットするとともに、サービス表示ラベルの読み取りに係るフラグを“０”とする（ステップＳ３１）。
【００８３】
画像取込部６１１は、商品読取装置１０１からの出力によりＲＡＭ６３に保存された撮像画像を取り込む（ステップＳ３２）。ラベル読取部６１２は、ステップＳ３２で取り込まれた撮像画像に対し、サービス表示ラベルの画像を検出するラベル読取処理を開始し（ステップＳ３３）、当該撮像画像からサービス表示ラベルの画像を検出できたか否かを判定する（ステップＳ３４）。
【００８４】
ここで、サービス表示ラベルの画像が検出されない場合（ステップＳ３４；Ｎｏ）、画像取込部６１１は、ステップＳ３１で計時を開始してからの経過時間が、所定の制限時間（例えば、３秒等）に到達したか否かを判定する（ステップＳ３５）。制限時間未満の場合（ステップＳ３５；Ｎｏ）、ラベル読取部６１２は、ステップＳ３２に再び戻り、新たに取り込まれる撮像画像に対し、ラベル読取処理を開始する。なお、制限時間に到達したと判定された場合には、ステップＳ３８に直ちに移行する。
【００８５】
また、ステップＳ３４において、サービス表示ラベルの画像が検出された場合（ステップＳ３４；Ｙｅｓ）、ラベル読取部６１２は、ラベル特徴ファイルＦ３に基づき、検出したサービス表示ラベルの画像からサービス内容を認識し、そのサービスコードを売上登録部６１３に通知する（ステップＳ３６）。次いで、ラベル読取部６１２は、フラグを“１”に設定し（ステップＳ３７）、ステップＳ３８に移行する。
【００８６】
続くステップＳ３８では、売上登録部６１３が、商品読取装置１０１から商品コード（及び販売個数）を受信するまで待機する（ステップＳ３８；Ｎｏ）。商品コード（及び販売個数）を商品読取装置１０１から受信すると（ステップＳ３８；Ｙｅｓ）、売上登録部６１３は、フラグが“１”に設定されているか否かを判定する（ステップＳ３９）。
【００８７】
ここで、フラグが“１”と判定した場合（ステップＳ３９；Ｙｅｓ）、売上登録部６１３は、受信した商品コードに対応する登録商品、及び、ステップＳ３６で認識されたサービスコードに対応するサービス内容に関する情報を表示デバイス２３に表示させる（ステップＳ４０）。
【００８８】
次いで、売上登録部６１３は、コード生成ファイルＦ４に登録された複合コードの生成ルールに基づき、商品コードとサービスコードとの組から複合コードを生成すると（ステップＳ４１）、その複合コードを用いて売上登録を行う（ステップＳ４２）。
【００８９】
一方、ステップＳ３９において、フラグが“０”と判定した場合（ステップＳ３９；Ｎｏ）、売上登録部６１３は、受信した商品コードに対応する登録商品に関する情報を表示デバイス２３に表示させる（ステップＳ４３）。次いで、売上登録部６１３は、その商品コードを用いて売上登録を行う（ステップＳ４４）。
【００９０】
続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ４５）。業務を継続する場合（ステップＳ４５；Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ４５；Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００９１】
なお、上記処理では、ステップＳ３１〜Ｓ３７の後に、ステップＳ３８を行う形態としたが、これに限らず、ステップＳ３８を先行して行った後、ステップＳ３１〜Ｓ３７の処理を実行する形態としてもよいし、ステップＳ３１〜Ｓ３７の処理と、ステップＳ３８の処理とを並列で行う形態としてもよい。また、これらの他の形態を採用する場合には、ステップＳ３５の制限時間を加味した時間の間、フラグが“１”となるまでステップＳ３９の判定処理を繰り返し行うものとする。
【００９２】
以上のように、本実施形態によれば、商品Ｇの認識と、当該商品Ｇに付されたラベルの認識とを個別に行い、これらの認識により得られた各コード（商品コード、サービスコード）を、一の複合コードとして出力する。これにより、一の商品Ｇに係る商品コード及びサービスコードを、統合した状態で売上登録することができるため、この売上登録に係る処理の効率化を図ることができる。
【００９３】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００９４】
例えば、上記実施形態では、ＰＯＳ端末１１が、ＰＬＵファイルＦ１、商品特徴ファイルＦ２、ラベル特徴ファイルＦ３及びコード生成ファイルＦ４を備える形態としたが、これに限らず、商品読取装置１０１が、ＰＬＵファイルＦ１、商品特徴ファイルＦ２、ラベル特徴ファイルＦ３及びコード生成ファイルＦ４の一部又は全てを備える形態としてもよい。
【００９５】
また、上記実施形態では、ＰＯＳ端末１１側でサービス表示ラベルの認識を、商品読取装置１０１側で商品候補の認識を行う形態としたが、これに限らず、ＰＯＳ端末１１側で商品候補を認識し、商品読取装置１０１側でサービス表示ラベルを認識する形態としてもよい。この場合、例えば、ＰＯＳ端末１１が商品検出部１６１２、特徴量抽出部１６１３、類似度判定部１６１４、商品候補提示部１６１５、入力受付部１６１６を備え、商品読取装置１０１がラベル読取部６１２を備え、このラベル読取部６１２での認識結果を情報出力部１６１７からＰＯＳ端末１１に出力することで実現することができる。
【００９６】
また、商品読取装置１０１の機能部の一部又は全てをＰＯＳ端末１１が備える形態としてもよい。
【００９７】
例えば、ＰＯＳ端末１１が、商品検出部１６１２、特徴量抽出部１６１３及び類似度判定部１６１４を備え、商品読取装置１０１が、商品候補提示部１６１５、入力受付部１６１６及び情報出力部１６１７を備える形態としてもよい。この場合、商品読取装置１０１側は、撮像画像をＰＯＳ端末１１に送信し、ＰＯＳ端末１１で認識された商品（登録商品）の結果を受信することで、商品候補提示部１６１５により商品候補の提示を行う。
【００９８】
また、商品読取装置１０１の機能部の全てをＰＯＳ端末１１が備えることで、ＰＯＳ端末１１側でサービス表示ラベルの認識と、商品候補の認識とを行う形態としてもよい。この場合、商品読取装置１０１は撮像装置として機能し、ＰＯＳ端末１１では、商品読取装置１０１から送信される撮像画像に基づいて、サービス表示ラベルの検出と、商品候補の選別とを行うものとする。
【００９９】
また、上記実施形態では、据置型のスキャナ装置（商品読取装置１０１）を用いた例を説明したが、これに限らず、いわゆるハンディタイプのスキャナ装置がＰＯＳ端末１１に接続された形態であってもよい。
【０１００】
また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１に本発明の実施形態を適用した例を説明したが、これに限るものではない。例えば、商品読取装置１０１単体に発明の実施形態を適用して構成するようにしてもよい。また、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。
【０１０１】
ここで、図１４は、セルフＰＯＳ２００の外観構成を示す斜視図、図１５は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１及び図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。
【０１０２】
図１４及び図１５に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備えている。
【０１０３】
表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
【０１０４】
商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。
【０１０５】
また、本体２０２の右側にはかごに入った未精算の商品を置くための商品載置台２０３が設けられ、本体２０２の左側には精算済みの商品を置くための商品載置台２０４が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６が設けられている。商品載置台２０３及び２０４には計量器２０７及び２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。
【０１０６】
また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられている。
【０１０７】
このような構成のセルフＰＯＳ２００に本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。なお、ＰＯＳ端末１１と商品読取装置１０１との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７及び２０８を除いて構成された装置であってもよい。
【０１０８】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【０１０９】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【０１１０】
また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、ＰＤＡ（Personal  Digital  Assistant）等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。
【符号の説明】
【０１１１】
１  チェックアウトシステム
１１  ＰＯＳ端末
６１１  画像取込部
６１２  ラベル読取部
６１３  売上登録部
１０１  商品読取装置
１６１１  画像取込部
１６１２  商品検出部
１６１３  特徴量抽出部
１６１４  類似度判定部
１６１５  商品候補提示部
１６１６  入力受付部
１６１７  情報出力部
Ｆ１  ＰＬＵファイル
Ｆ２  商品特徴ファイル
Ｆ３  ラベル特徴ファイル
Ｆ４  コード生成ファイル
【先行技術文献】
【特許文献】
【０１１２】
【特許文献１】特開２０１１−１５４４０９号公報
【図１】
2014052799.tif 000003
【図２】
2014052799.tif 000004
【図３】
2014052799.tif 000005
【図４】
2014052799.tif 000006
【図５】
2014052799.tif 000007
【図６】
2014052799.tif 000008
【図７】
2014052799.tif 000009
【図８】
2014052799.tif 000010
【図９】
2014052799.tif 000011
【図１０】
2014052799.tif 000012
【図１１】
2014052799.tif 000013
【図１２】
2014052799.tif 000014
【図１３】
2014052799.tif 000015
【図１４】
2014052799.tif 000016
【図１５】
2014052799.tif 000017