(57)【特許請求の範囲】
【請求項１】
商品を撮像する撮像部と、
前記撮像部が撮像した画像を表示する表示部と、
前記撮像部が撮像した商品の画像と各商品の基準画像とがどの程度類似しているかを示す値が第１の閾値以上であれば、該第１の閾値以上である基準画像の商品を、前記撮像部が撮像した商品として確定し、該確定した商品を前記表示部に表示し、
前記値が前記第１の閾値より小さい第２の閾値以上であれば、前記基準画像の商品は前記撮像部が撮像した商品であるかの確認を前記表示部に表示する制御部と、
を備える情報処理装置。
【請求項２】
前記制御部は、前記値が前記第２の閾値より小さい第３の閾値以上であれば、前記基準画像の商品を、前記撮像部が撮像した商品の候補として前記表示部に表示する請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、前記商品の候補は、類似の度合いが高い商品から順に前記表示部に表示する請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、前記基準画像の商品を前記撮像部が撮像した商品として確定したら、前記表示部に、確定した商品の画像及び商品名を表示するとともに、個数の入力を促す表示をする請求項１ないし３のいずれか１つに記載の情報処理装置。
【請求項５】
撮像手段が撮像した画像を表示する第１表示制御手段と、
前記撮像手段で撮像された商品の画像と各商品の基準画像とがどの程度類似しているかを示す値が第１の閾値以上であれば、該第１の閾値以上である基準画像の商品を、前記撮像された商品として確定し、当該基準画像の商品に対応する商品識別情報を出力する第１出力手段と、
前記値が前記第１の閾値未満であれば、該第１の閾値未満である基準画像の商品を、前記撮像された商品の候補として表示する第２表示制御手段と、
前記候補から一の商品の選択を受付ける選択受付手段と、
前記選択受付手段が前記選択を受付けた場合に、選択された商品を前記撮像された商品として確定し、当該商品の商品識別情報を出力する第２出力手段と、
前記値が前記第１の閾値より小さい第２の閾値以上であれば、該第１の閾値より小さく第２の閾値以上である基準画像の商品は前記撮像された商品であるかの確認を受付ける確認受付手段と、
を備える情報処理装置。
【請求項６】
前記第２表示制御手段は、前記値が前記第１の閾値未満であって、前記第２の閾値より小さい第３の閾値以上である基準画像の商品を、前記撮像された商品の候補として表示する、
請求項５に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置に関する。
【背景技術】
【０００２】
従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら従来技術においては、対象物の候補となる複数の商品を表示し、操作者がこれら複数の商品から一の商品を選択操作して確定する必要があり、商品の確定を簡便化してより効率的に行うことが望まれていた。
【課題を解決するための手段】
【０００４】
実施形態の情報処理装置は、撮像部と、表示部と、制御部とを備える。撮像部は、商品を撮像する。表示部は、撮像部が撮像した画像を表示する。制御部は、撮像部が撮像した商品の画像と各商品の基準画像とがどの程度類似しているかを示す値が第１の閾値以上であれば、該第１の閾値以上である基準画像の商品を、撮像部が撮像した商品として確定し、該確定した商品を前記表示部に表示し、前記値が第１の閾値より小さい第２の閾値以上であれば、基準画像の商品は撮像部が撮像した商品であるかの確認を表示部に表示する。
【図面の簡単な説明】
【０００５】
【図１】図１は、実施形態に係るチェックアウトシステム（店舗システム）の一例を示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、ＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。
【図５】図５は、画像取込部によって取り込まれたフレーム画像の一例を示す図である。
【図６】図６は、確定画面の一例を示す図である。
【図７】図７は、確認画面の一例を示す図である。
【図８】図８は、商品候補のイラスト画像が表示された画面例を示す図である。
【図９】図９は、商品読取装置が実行する商品識別処理の手順を示すフローチャートである。
【図１０】図１０は、販売個数を受付可能である確定画面の一例を示す図である。
【図１１】図１１は、販売個数を表示した確定画面の一例を示す図である。
【図１２】図１２は、ＰＯＳ端末が実行する売上登録処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００６】
図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、商品読取装置１０１を本実施形態にかかる情報処理装置として適用する例について説明する。尚、以下では、複数の図面に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する場合がある。
【０００７】
ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００８】
ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
【０００９】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１０】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１１】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
【００１２】
商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。
【００１３】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central  Processing  Unit）６１に、ＲＯＭ（Read  Only  Memory）６２とＲＡＭ（Random  Access  Memory）６３とがバス接続されて構成されている。
【００１４】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１５】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１６】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard  Disk  Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの画像との関連付けが設定された商品ファイルである。
【００１８】
図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像（基準画像）と、その商品を示すイラスト画像とを、その商品Ｇの商品情報として格納するファイルである。尚、商品画像は、類似度の判定に用いられる商品の撮像画像（写真）である。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成されている。
【００１９】
なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品画像から読み取られる色合いや表面の凹凸状況等の特徴量を、各商品について格納する形態としてもよい。
【００２０】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２１】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００２２】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２３】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００２４】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。
【００２５】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００２６】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図４を参照して説明する。
【００２７】
図４は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図４に示すように、商品読取装置１０１のＣＰＵ１６１は、ＲＯＭ１６２が格納するプログラムを実行することにより、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、確定報知部５５、商品候補提示部５６、入力受付部５７、情報出力部５８としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、プログラムＰＲを実行することにより、売上登録部６１１としての機能を備える。
【００２８】
画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部５１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部５１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００２９】
図５は、画像取込部５１によって取り込まれたフレーム画像Ｒの一例を示す図である。図５に示すように、オペレータが読取窓１０３に商品Ｇをかざすと、撮像部１６４の読取領域Ｒには商品Ｇの全部または一部が撮影される。
【００３０】
商品検出部５２は、画像取込部５１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓１０３に向けられた商品を検出する。
【００３１】
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。
【００３２】
類似度算出部５３は、撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部５３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。
【００３３】
また、類似度算出部５３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
【００３４】
このように画像中に含まれる物体を認識することは一般物体認識（generic  object  recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６  [平成２２年８月１０日検索]，インターネット<URL:  http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf  >
【００３５】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie  Shottonら，“Semantic  Texton  Forests  for  Image  Categorization  and  Segmentation”，[平成２２年８月１０日検索]，インターネット<URL:  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf  >
【００３６】
なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００３７】
類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。
【００３８】
類似度判定部５４は、画像取込部５１が取り込んだフレーム画像ごとに、商品Ｇの画像と、ＰＬＵファイルＦ１に登録されている商品画像との類似度を比較する。本実施形態では、登録商品の商品画像と商品Ｇの画像との類似度について複数の条件が段階的に設けられており、類似度判定部５４は、満たされる条件に応じて登録商品の確定あるいは商品の候補の選定を行う。類似度に関する条件は特に限定されるものではないが、以下では条件ａ〜ｃを用いる場合について説明する。
【００３９】
ここで、条件ａおよび条件ｂは、本実施形態に係る第１の条件であり、撮像部１６４が撮像した商品ＧをＰＬＵファイルＦ１に登録された登録商品のうち一の商品として確定するための条件である。また、条件ｃは、本実施形態に係る第２の条件であり、ＰＬＵファイルＦ１に登録された登録商品から、撮像部１６４が撮像した商品Ｇの候補を抽出するための条件である。
【００４０】
類似度判定部５４は、条件ａまたは条件ｂを満たす登録商品を、撮像部１６４が撮像した商品Ｇに一対一で対応する商品（以下、確定商品という）であると判定（確定）する。また、類似度判定部５４は、条件ｃを満たす登録商品については、確定商品ではなく、撮像部１６４が撮像した商品Ｇの候補（以下、商品候補という）であると判定する。そして、ＰＬＵファイルＦ１に登録された複数の登録商品から条件ｃを満たす登録商品を抽出することにより、商品Ｇに対する商品候補を抽出する。
【００４１】
条件ａ〜ｃは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件ａ〜ｃを設けることができる。ここでは、第１閾値〜第３閾値によって条件ａ〜ｃを設定する場合について説明する。なお、第１〜３閾値の大小関係は、第１閾値＞第２閾値＞第３閾値とする。
【００４２】
類似度判定部５４は、登録商品との類似度が予め定められた第１閾値（例えば９０％）以上と判定された判定回数をカウントし、この判定回数が所定回数以上となった場合に条件ａが満たされたと判定する。尚、第１閾値を誤判定が無いよう十分に高く設定した場合には、所定回数を１回として条件ａを判定してもよい。
【００４３】
また、類似度判定部５４は、登録商品との類似度が第１閾値（例えば９０％）未満、かつ、第１閾値より小さい第２閾値（例えば７５％）以上となった場合に条件ｂが満たされたと判定する。そして、条件ｂを満たした登録商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。なお、登録商品との類似度が第１閾値（例えば９０％）未満、かつ、第１閾値より小さい第２閾値（例えば７５％）以上と判定された判定回数をカウントし、この判定回数が所定回数以上となった場合に条件ｂが満たされたと判定してもよい。
【００４４】
さらに、類似度判定部５４は、登録商品との類似度が第２閾値（例えば７５％）未満、かつ、第２閾値より小さい第３閾値（例えば１０％）以上である場合に、条件ｃが満たされたと判定する。なお、さらには登録商品との類似度が第２閾値（例えば７５％）未満、かつ、第２閾値より小さい第３閾値（例えば１０％）以上と判定された判定回数をカウントし、この判定回数が所定回数以上となった場合に条件ｃが満たされたと判定してもよい。
【００４５】
なお、各条件ａ〜ｃは、類似度の大きさ、判定回数等に応じて適宜設定可能であり、上述した例に限定されるものではない。また、条件ａ〜ｃの判断に用いる所定回数はそれぞれ条件毎に異なる回数を設けるものであってもよい。
【００４６】
確定報知部５５は、撮像部１６４によって撮像された商品が、条件ａまたは条件ｂを満たした登録商品であるとして一意的に確定されたことを、画像出力や音声出力等によってオペレータや客に報知する。
【００４７】
より詳細には、確定報知部５５（第１表示制御手段）は、条件ａを満たした登録商品が、撮像部１６４によって撮像された商品（確定商品）として一意的に確定されたことを示す確定画面７１（図６参照）を表示デバイス１０６に表示させる。
【００４８】
図６は、確定画面７１の一例を示す図である。条件ａを満たす登録商品があった場合に、確定報知部５５は読取領域Ｒ（図５参照）の撮像画像の表示を停止し、確定商品に対応するイラスト画像Ｇ１および商品名「にんじん」をＰＬＵファイルＦ１から読み出して、確定画面７１に表示する。また、確定報知部５５は、ＰＬＵファイルＦ１から読み出した確定商品の商品名、商品価格（単価）を、商品名表示領域８１、価格表示領域８２にそれぞれ表示する。尚、確定報知部５５は、イラスト画像Ｇ１の代わりに、ＰＬＵファイルＦ１から読み出した商品画像（写真）を表示してもよい。
【００４９】
また、確定報知部５５は、この確定画面７１の表示のタイミングに合わせて、ＰＬＵファイルＦ１から読み出した商品名等、確定商品に関する情報を音声出力部１６５に出力する。音声出力部１６５は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知する。
【００５０】
また、確定報知部５５は、条件ｂを満たした登録商品（確定商品）が、撮像部１６４によって撮像された商品Ｇであるか否かの最終確認操作を受付ける確認画面７２（図７参照）を表示デバイス１０６に表示させる。
【００５１】
図７は、確認画面７２の一例を示す図である。条件ｂを満たす登録商品があった場合に、確定報知部５５は確定商品に対応するイラスト画像Ｇ１をＰＬＵファイルＦ１から読み出して、確認画面７２に表示する。また、確定報知部５５は、ＰＬＵファイルＦ１から読み出した確定商品の商品名を用いて、読み取られた商品Ｇがイラスト画像Ｇ１の商品であるか否かを問うメッセージを「にんじんですか？」等と表示する。また、確認画面７２には、「はい／いいえ」等のボタンがタッチパネル１０５に対するタッチ操作によって選択操作可能に設けられる。
【００５２】
このように、確認画面７２においては、類似度判定の結果、１つの商品Ｇに対して唯一に選別された登録商品（確定商品）の商品名や商品画像が示され、商品Ｇと登録商品とが一対一の関係を持って表示される。従って、確認画面７２は、条件ｂを満たす登録商品が撮像部１６４によって撮像された商品Ｇとして一意的に確定されたことを報知する画面である。
【００５３】
本実施形態では、このように撮像された商品が一意的に確定した場合に、撮像画像に替えて確定商品のイラスト画像を表示する。従って、オペレータは商品の識別が確定したことを直感的に認識することができ、かつ、識別された商品がどの商品であるかを一目で認識することができる。
【００５４】
なお、確認報知部５５は、確認画面７２が表示されるタイミングに合わせて、確定商品に関する情報を音声出力部１６５に音声出力させるとしてもよいし、確認画面７２では音声出力を行わないとしてもよい。確定画面７１、確認画面７２における音声出力の有無は、適宜設定可能である。
【００５５】
商品候補提示部５６（第２表示制御手段）は、条件ｃを満たした登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。より詳細には、商品候補提示部５６は、条件ｃを満たした登録商品のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、類似度算出部５３が算出した類似度の高いものから、表示デバイス１０６に順次出力する。表示デバイス１０６は、商品候補提示領域８３（図８参照）において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。
【００５６】
図８は、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３が表示された画面例を示す図である。図８に示すように、商品候補提示領域８３には、類似度の高い登録商品から順に、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３および各商品名が表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域８３の下部には、商品リストから商品を選択するための選択ボタン８４が設けられており、商品リストから選択された商品は上述した確定商品として処理される。尚、図８では、イラスト画像Ｇ１〜Ｇ３に対応する３つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像に替えて商品画像（写真）を表示してもよい。
【００５７】
なお、表示デバイス１０６に商品候補のイラスト画像Ｇ１〜Ｇ３が表示されていても、これら商品候補に対する選択操作を受付けない場合には、画像取込部５１による画像取込処理、商品検出部５２による検出処理、および類似度算出部５３による類似度算出処理は継続される。従って、商品候補が選択されない間は、表示デバイス１０６の画面に読取領域Ｒの撮像画像が表示される。
【００５８】
入力受付部５７は、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受付ける。例えば入力受付部５７は、確認画面７２（図７参照）に対する選択操作に基づいて、表示されたイラスト画像Ｇ１の商品が確定商品であることを最終確認した旨の入力操作（確認操作）を受付ける。尚、確定報知部５５は、入力受付部５７が確認操作を受付けた場合に、上述の確定画面７１を表示デバイス１０６に表示する。
【００５９】
入力受付部５７は、表示デバイス１０６に表示された商品候補のイラスト画像Ｇ１〜Ｇ３（図８参照）の中からいずれか１つのイラスト画像に対する選択操作を受付ける。入力受付部５７は、選択されたイラスト画像の登録商品を、商品Ｇに対する確定商品であるとして受付ける。尚、商品検出部５２が複数の商品Ｇを検出可能である場合には、入力受付部５７は商品候補の中から、複数の商品候補の選択操作を受付けてもよい。尚、確定報知部５５は、入力受付部５７が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面７１を表示デバイス１０６に表示させる。
【００６０】
情報出力部５８は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。
【００６１】
尚、情報出力部５８は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末１１に出力するとしてもよい。また、情報出力部５８がＰＯＳ端末１１に出力する情報としては、情報出力部５８がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、商品画像、イラスト画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知してもよい。
【００６２】
ＰＯＳ端末１１の売上登録部６１１は、情報出力部５８から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
【００６３】
次に、チェックアウトシステム１の動作について詳細に説明する。先ず、商品読取装置１０１の動作について説明する。図９は、商品読取装置１０１が実行する商品識別処理の手順を示すフローチャートである。図９では、第１閾値を類似度９０％（０．９０）、第２閾値を類似度７５％（０．７５）、第３閾値を類似度１０％（０．１０）と設定した場合について説明するが、各閾値はこれらに限定されるものではない。
【００６４】
ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。
【００６５】
画像取込部５１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。次いで、商品検出部５２は、画像取込部５１が取り込んだフレーム画像から商品Ｇの全部または一部の検出を行う（ステップＳ１３）。続いて、類似度算出部５３は、商品Ｇの全部または一部の画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する（ステップＳ１４）。
【００６６】
類似度判定部５４は、類似度が９０％以上となる登録商品があるか否かを判定する（ステップＳ１５）。９０％以上となる登録商品が無い場合（ステップＳ１５：Ｎｏ）には、ステップＳ１７に移行する。９０％以上となる登録商品がある場合（ステップＳ１５：Ｙｅｓ）には、同一の登録商品に対する類似度が９０％以上と判定された判定回数が所定回数（例えば、３回）となったか否かを判定する（ステップＳ１６）。所定回数に満たない場合（ステップＳ１６：Ｎｏ）は、ステップＳ１２に戻り、画像取込部５１は撮像部１６４により撮像された新たなフレーム画像を取り込む。
【００６７】
所定回数となった場合（ステップＳ１６：Ｙｅｓ）には、確定報知部５５は、確定商品のイラスト画像を含む確定画面７１（図６参照）を表示させるとともに、確定商品の商品名を音声通知することにより確定商品を報知する（ステップＳ２３）。また、情報出力部５８は、確定商品とされた登録商品の商品ＩＤ等を、キーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に出力し（ステップＳ２４）、その後はステップＳ２５の処理に移行する。
【００６８】
ステップＳ１５：Ｎｏの場合に、類似度判定部５４は、類似度が７５％以上９０％未満となる登録商品があるか否かを判定する（ステップＳ１７）。類似度がこの範囲内となる登録商品がある場合（ステップＳ１７：Ｙｅｓ）には、その登録商品をオペレータの確認を要する確定商品であると判定し、表示デバイス１０６に確認画面７２を表示させる（ステップＳ１８）。入力受付部５７は、確認画面７２（図７参照）において「はい」が選択されたか否かを判定する（ステップＳ１９）。「はい」が選択された場合（ステップＳ１９：Ｙｅｓ）にはステップＳ２３に移行し、確定報知部５５は確定画面７１を表示させる。一方、「いいえ」が選択された場合（ステップＳ２０：Ｎｏ）にはステップＳ１２に戻る。
【００６９】
一方、類似度が７５％以上９０％未満となる登録商品が無い場合（ステップＳ１７：Ｎｏ）に、類似度判定部５４は、類似度が１０％以上７５％未満の登録商品があるか否かを判定し、類似度がこの範囲内である登録商品を商品Ｇの商品候補として抽出する（ステップＳ２０）。この範囲内の登録商品が無い場合（ステップＳ２０：Ｎｏ）には、ステップＳ１２に戻る。類似度が１０％以上７５％未満の登録商品がある場合（ステップＳ２０：Ｙｅｓ）には、類似度判定部５４は、該当する登録商品を商品Ｇの商品候補であると判定する。そして、商品候補提示部５６は、商品候補として判定された登録商品のイラスト画像および商品名を、類似度の高い順にソートして商品候補提示領域８３に表示する（ステップＳ２１）。
【００７０】
入力受付部５７は、登録商品の商品画像に対する選択操作を受付けたか否かを判定する（ステップＳ２２）。選択を受付けた場合（ステップＳ２２：Ｙｅｓ）にはステップＳ２３に移行し、確定報知部５５は確定画面７１を表示させる。一方、選択を受付けない場合（ステップＳ２２：Ｎｏ）にはステップＳ１２に移行する。
【００７１】
ステップＳ２５においてＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する。業務を継続する場合（ステップＳ２５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ２５：Ｙｅｓ）、画像取込部５１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ２６）、処理を終了する。
【００７２】
なお、上述のステップＳ２４では、キーボード１０７を介して販売個数の入力を受付けるとしたが、販売個数の入力方法は特に限定されるものではない。例えば、確定画面７１に表示された商品画像にタッチする回数を販売個数として受付けてもよい。また、確定画面７１において販売個数を受付ける構成としてもよい。
【００７３】
図１０は、販売個数を受付可能である確定画面７１ｂの一例を示す図である。図１０に示すように、確定画面７１ｂには確定商品のイラスト画像Ｇ１と商品名「にんじん」とが表示されるとともに、テンキー８５が設けられており、このテンキー８５から商品の販売個数が入力可能に構成されている。販売個数が入力された後に決定ボタン８６が選択されると、入力受付部５７はこの確定商品の商品ＩＤと販売個数の入力を受付ける。そして確定報知部５５は、図１１に示すように、確定画面７１ｃの商品名表示領域８１において、確定商品の商品名とともに販売個数を表示し、価格表示領域８２に単価と販売個数とに基づいて計算した小計金額を表示する。
【００７４】
次に、ＰＯＳ端末１１の動作について説明する。図１２は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。
【００７５】
まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１が図９のステップＳ２４で出力した、確定商品の商品ＩＤとその販売個数とを受信する（ステップＳ３１）。次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ３２）。続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３：Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ３３：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００７６】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７７】
例えば、上記実施形態では、商品読取装置１０１において、商品Ｇを一つずつ撮像する形態について説明したが、一度に撮像する商品Ｇの個数は特に限らず、複数であってもよい。一度に複数の商品Ｇを撮像するような場合には、複数の商品Ｇと登録商品の画像（Ｇ１、Ｇ２、Ｇ３、…）との類似度をそれぞれ算出し、算出結果と上記閾値とを比較することにより、確定商品、候補商品を選別すればよい。
【００７８】
また、上述した各表示画面の構成は、図５〜図８、図１０〜図１１の例に限らず、他の要素を表示するための表示領域や操作ボタンを設ける形態としてよい。
【００７９】
また、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。
【００８０】
また、上記実施形態では、商品読取装置１０１が類似度算出部５３、類似度判定部５４の機能を有するとしたが、これに限らず、ＰＯＳ端末１１が類似度算出部５３、類似度判定部５４の機能を備えて、算出結果や判定結果を商品読取装置１０１に出力する形態としてもよい。
【００８１】
なお、上述では、複数の閾値として、第１〜第３閾値の３つの閾値によって類似度を４段階に判定する例を挙げて説明したが、実施形態はこれに限定されるものではない。３つ以上の閾値を用いてより多段階に判定するとしてもよいし、２つ以下の閾値を用いて判定してもよい。また、各閾値はユーザによって変更可能に設けられていてもよい。また、上述では、第１〜第３閾値、および条件ａ〜ｃを全商品で共通とした例を挙げたが、これに限定されず、登録商品ごとに各閾値や条件がそれぞれ設定されてもよい。
【００８２】
また、上述では、第１の条件を、確認画面７２を表示させる場合（条件ｂ）と確認画面７２を表示させない場合（条件ａ）との２段階に分ける実施形態としたが、このように第１の条件を多段階に分けずともよい。即ち、上述の例に沿って他の例を示すと、いずれの条件ａ、ｂが満たされた場合にも確認画面７２を表示させずに商品を確定する形態としてもよく、また、確認画面７２を表示させるか否かを設定可能としてもよい。
【００８３】
また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１との２台構成としたが、これに限らず、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としてもよい。
【００８４】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００８５】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【００８６】
以上のように、本実施形態によれば、商品Ｇと各商品の基準画像との類似度が、撮像部１６４によって撮像された商品を基準画像に対応する商品のうち一の商品として確定する条件を満たした場合に、撮像部１６４によって撮像された商品が当該条件を満たした基準画像に対応する商品として確定されたことを報知する。従って、所定の条件が満たされた場合には、オペレータが商品候補の中から商品を選択せずとも商品Ｇに対応する商品を確定することができるため、商品Ｇに対応する登録商品の確定を簡便化して効率的に行うことができる。
【符号の説明】
【００８７】
１…チェックアウトシステム、１１…ＰＯＳ端末、１０１…商品読取装置、１０２…ハウジング、１０３…読取窓、１０４…表示・操作部、１０５…タッチパネル、１０６…表示デバイス、１０７…キーボード、１０８…カード読取溝、１０９…顧客用表示デバイス、５１…画像取込部、５２…商品検出部、５３…類似度算出部、５４…類似度判定部、５５…確定報知部、５６…商品候補提示部、５７…入力受付部、５８…情報出力部、６１１…売上登録部、７１、７１ｂ、７１ｃ…確定画面、７２…確認画面、８１…商品名表示領域、８２…価格表示領域、８３…商品候補提示領域、８４…選択ボタン、８５…テンキー、８６…決定ボタン、Ｆ１…ＰＬＵファイル、Ｇ…商品、Ｇ１…イラスト画像、Ｒ…フレーム画像
【先行技術文献】
【特許文献】
【００８８】
【特許文献１】特開２００３−１７３３６９号公報
【図１】
0005529982.tif 000002
【図２】
0005529982.tif 000003
【図３】
0005529982.tif 000004
【図４】
0005529982.tif 000005
【図５】
0005529982.tif 000006
【図６】
0005529982.tif 000007
【図７】
0005529982.tif 000008
【図８】
0005529982.tif 000009
【図９】
0005529982.tif 000010
【図１０】
0005529982.tif 000011
【図１１】
0005529982.tif 000012
【図１２】
0005529982.tif 000013