(57)【特許請求の範囲】
【請求項１】
商品の種別を識別する商品識別部と、
前記商品に付された付票の情報を認識する認識部と、
前記商品識別部が新たに識別した商品に付された付票の認識結果と、過去の同一種別の商品に係る付票の処理結果との不整合を報知する不整合報知部と、
を備えることを特徴とする商品登録装置。
【請求項２】
前記商品識別部は、撮像部が撮像した商品の画像により当該商品の種別を識別する、
ことを特徴とする請求項１に記載の商品登録装置。
【請求項３】
前記商品識別部は、商品に付されたコード情報により当該商品の種別を識別する、
ことを特徴とする請求項１に記載の商品登録装置。
【請求項４】
前記認識部は、商品に付された付票のコード情報により当該付票の情報を認識する、
ことを特徴とする請求項１ないし請求項３のいずれか１項に記載の商品登録装置。
【請求項５】
前記認識部は、撮像部が撮像した商品の画像により当該商品に付された付票の情報を認識する、
ことを特徴とする請求項１ないし請求項３のいずれか１項に記載の商品登録装置。
【請求項６】
画像を表示する表示部をさらに備え、
前記不整合報知部は、前記表示部の表示により不整合を報知する、
ことを特徴とする請求項４または請求項５に記載の商品登録装置。
【請求項７】
前記不整合報知部は、前記表示部に、新たに識別した商品を撮像した画像および過去の同一種別の商品を撮像した画像を表示させて不整合を報知する、
ことを特徴とする請求項６に記載の商品登録装置。
【請求項８】
前記不整合報知部は、新たに識別した商品を撮像した画像から付票を認識し、かつ過去の同一種別の商品に係る付票の処理結果とは相違するならば、新たに認識した付票の情報と過去の同一種別の商品に係る付票の処理結果情報とを前記表示部に表示させて不整合を報知する、
ことを特徴とする請求項６または請求項７に記載の商品登録装置。
【請求項９】
前記不整合報知部は、新たに識別した商品を撮像した画像から付票を認識し、かつ過去の同一種別の商品に係る付票の処理結果が付票無しならば、新たに認識した付票の情報と、過去の同一種別の商品は付票無しで処理した旨を前記表示部に表示させて不整合を報知する、
ことを特徴とする請求項６または請求項７に記載の商品登録装置。
【請求項１０】
前記不整合報知部は、新たに識別した商品の画像から付票を認識せず、かつ過去の同一種別の商品は付票有りで処理したならば、新たに識別した商品には付票が付されていない旨と、過去の同一種別の商品は付票有りで処理した旨とを前記表示部に表示させて不整合を報知する、
ことを特徴とする請求項６または請求項７に記載の商品登録装置。
【請求項１１】
商品識別部が商品の種別を識別するステップと、
認識部が、前記商品に付された付票の情報を認識するステップと、
不整合報知部が、前記商品識別部が新たに識別した商品に係る付票の認識結果と、過去の同一種別の商品に係る付票の認識結果との不整合を報知するステップと、
を実行することを特徴とする商品登録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品を売上登録する商品登録装置、およびその商品登録方法に関する。
【背景技術】
【０００２】
近年では、商品をオブジェクト認識して識別し、識別された商品を売上登録する商品登録装置が普及しはじめている。この商品登録装置は、商品を撮影した画像情報から外観の特徴量を抽出し、予め用意された特徴量データベースと比較することで、この物品がいずれの商品であるかを識別する。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識できるので、店舗側の負担を軽減することができる。
【０００３】
顧客が店舗で商品を購入するときには、買物カゴなどに商品を入れた後、キャッシュレジスタの店員に精算を依頼する。店員は、商品を売上登録する際、例えばこの顧客に係る第１の買物カゴに入っている各商品を順番に商品登録装置に読み込ませ、第２の買物カゴに入れる。この際商品登録装置は、商品に値引きシールなどが付されていれば、値引きシールの内容を反映させて、この商品を登録する。
【０００４】
ここで、値引きシールとは、例えば値引き割合や値引き価格が文字またはバーコードで記載されているものをいう。この値引きシールにより、顧客の購買の動機付けを行うことができる。また値引きシールの代わりに、値引き情報が記載されたプレートやタグやラベルなどが商品に付される場合もある。また、値引きシールではなく、価格シールやポイント情報シールの場合も考えられる。以下、商品に付されて、この商品に係る付加情報を示すものを総称して「付票」と記載する場合がある。
【０００５】
特許文献１の段落００１０には、「バーコード等のデータコードとともに値引ラベル等の所定のラベルが付与された商品について、１回の操作でそのデータコードの情報とラベルに表示された情報とを読取ることができる上、読取られたデータコードの情報とラベルに表示された情報とが同一商品のものであることを保障できる」データコード読取装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４４２２７０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような値引きラベル（値引きシール）は、対象商品のうち一部に付け忘れられるおそれだけではなく、異なる値引きラベルと付け間違われるおそれがある。また悪意の顧客により、本来は値引きラベルなしの商品に故意に値引きラベルが貼り付けられ、また別の商品の値引きラベルと貼り替えられるような場合も考えられる。
【０００８】
そこで、本発明は、商品に付された付票情報の不整合を報知することが可能な商品登録装置、およびその商品登録方法を提供することを課題とする。
【課題を解決するための手段】
【０００９】
第１の発明は、上記目的を達成するため、
商品の種別を識別する商品識別部と、
前記商品に付された付票の情報を認識する認識部と、
前記商品識別部が新たに識別した商品に付された付票の認識結果と、過去の同一種別の商品に係る付票の処理結果との不整合を報知する不整合報知部と、
を備えることを特徴とする商品登録装置である。
【発明の効果】
【００１０】
本発明によれば、商品に付された付票情報の不整合を報知することが可能な商品登録装置、およびその商品登録方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態における商品登録装置の外観を示す斜視図である。
【図２】本実施形態における商品登録装置の概略を示す構成図である。
【図３】本実施形態における商品登録装置の概略を示す機能ブロック図である。
【図４】本実施形態における商品識別装置の正面図である。
【図５】本実施形態における商品登録処理を示すフローチャートである。
【図６】値引きシールの内容が相違する場合のジャーナル情報の例である。
【図７】値引き対象外の商品に値引きシールが付されている場合のジャーナル情報の例である。
【図８】値引きシールが付け忘れられている場合のジャーナル情報の例である。
【図９】オペレータへの報知画面例を説明する図である。
【発明を実施するための形態】
【００１２】
以降、本発明を実施するための一形態を、各図を参照して詳細に説明する。なお、同一の要素が異なる図に示されていても同一の符号を付与して、その重複する説明を省略することがある。
【００１３】
図１は、本実施形態における商品登録装置１の外観を示す斜視図である。
この商品登録装置１は、商品の売上登録時に、同一商品に係る値引きシール等の有無や、異なる値引き情報などを検出した際に確認処理を行う。この商品登録装置１は、各商品を登録する商品識別装置２と、各取引に係る商品の売上登録と精算とを行うＰＯＳ（point of sales system）端末３とを備える。この商品識別装置２は、商品に関する情報を読み取って登録するＰＯＳ接続用スキャナである。
商品識別装置２は、横長テーブル状のカウンタ台５の長手方向の中央に設置されている。商品識別装置２は、薄型の矩形状のハウジング５１を備える。このハウジング５１の正面には、読取窓５２を介してカメラ２７（図２参照）が配置されている。
【００１４】
ハウジング５１の上部には、表示・操作部２２が取り付けられている。表示・操作部２２には、ディスプレイ２２１が設けられている。このディスプレイ２２１の表面には、タッチパネル２２２（図２参照）が積層されている。ディスプレイ２２１の右隣には、キーボード２３が配置されている。キーボード２３の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部２２の左奥側には、顧客に情報を提供するための顧客用ディスプレイ２４が裏向きに設置されている。
【００１５】
ＰＯＳ端末３は、チェックアウト台６上のドロワ３７の上面に載置されている。このドロワ３７は、ＰＯＳ端末３によって開放動作の制御を受ける。
ＰＯＳ端末３の上面には、オペレータ（店員）が操作するためのキーボード３３が配置されている。このオペレータから見てキーボード３３の上部奥側には、情報を表示するディスプレイ３２１が設けられている。このディスプレイ３２１の表面には、タッチパネル３２２（図２参照）が積層されている。ディスプレイ３２１よりもさらに奥側には、情報を表示する顧客用ディスプレイ３４が左右方向に回転可能に設置されている。なお、図１に示す顧客用ディスプレイ３４は、図の手前側に向いている。この顧客用ディスプレイ３４は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
【００１６】
また、ＰＯＳ端末３が載置されているチェックアウト台６とＬ字をなすようにして、横長テーブル状のカウンタ台５が配置されている。カウンタ台５の上面には、荷受け面が形成されている。顧客は、図１の例えば左側から右側に移動しつつ、商品の登録処理を受ける。例えば、スーパーマーケットなどの場合には、カウンタ台５の荷受け面には、商品を収納する第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとが載置される。以下、第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとを特に区別しないときには、単に買物カゴ４と記載する場合がある。これら買物カゴ４は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ４は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。さらには、買物カゴ４の有無自体も特に限定されない。つまり、商品がスーツなどの場合には買物カゴ４は載置されない場合もある。以下では買物カゴ４が載置される場合を例に挙げて説明を続ける。
第１の買物カゴ４Ｌは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第２の買物カゴ４Ｒは、第１の買物カゴ４Ｌから商品識別装置２を挟んだ位置に載置される。第１の買物カゴ４Ｌ内の商品は、商品識別装置２を操作するオペレータにより取り出され、第２の買物カゴ４Ｒに移動される。この移動過程で、商品が商品識別装置２の読取窓５２にかざされる。このとぎ、読取窓５２内に配置されたカメラ２７（図２参照）は商品を撮像する。
【００１７】
商品識別装置２では、カメラ２７により撮像された画像に含まれる商品が、後記する特徴量ファイル３６１（図２参照）に記録されたどの商品に対応するかを指定させるための画面をディスプレイ２２１に表示する。商品識別装置２は更に、指定された商品の商品ＩＤをＰＯＳ端末３に通知する。ＰＯＳ端末３は、商品識別装置２から通知される商品ＩＤに基づき、この商品ＩＤに対応する商品の商品分類、商品名、単価などの売上登録に係る情報を、売上マスタファイルなどに記録して、売上登録を行う。
【００１８】
図２は、本実施形態における商品登録装置１の概略を示す構成図である。
商品登録装置１は、商品識別装置２とＰＯＳ端末３とを含んで構成される。
商品識別装置２は、マイクロコンピュータ２１と、表示・操作部２２と、インタフェース２５と、カメラ２７と、スピーカ２８と、電源２９とを含んで構成される。
マイクロコンピュータ２１は、ＣＰＵ（Central Processing Unit）２１１にＲＯＭ（Read Only Memory）２１２とＲＡＭ（Random Access Memory）２１３とがバス接続されて構成されている。ＲＯＭ２１２には、ＣＰＵ２１１によって実行されるプログラムが記憶される。
ＣＰＵ２１１には、表示・操作部２２と、インタフェース２５と、カメラ２７、スピーカ２８とが、内部バスや各入出力回路（不図示）を介して接続される。
【００１９】
表示・操作部２２は、ディスプレイ２２１と、タッチパネル２２２と、顧客用ディスプレイ２４と、キーボード２３とを含んで構成され、ＣＰＵ２１１によって動作が制御される。
ディスプレイ２２１は、ＣＰＵ２１１の指示により、オペレータに対する情報を表示する。タッチパネル２２２は、ディスプレイ２２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ２４は、ＣＰＵ２１１の指示により、顧客に対する情報を表示する。
キーボード２３は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
【００２０】
カメラ２７は、カラーＣＣＤ（Charge Coupling Device）イメージセンサやカラーＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサなどであり、ＣＰＵ２１１の制御の下で、読取窓５２（図１参照）からの撮像を行う撮像部である。カメラ２７は、例えば３０［ｆｐｓ］の動画像の撮像を行う。カメラ２７が所定のフレームレートで順次撮像したフレーム画像（撮像画像）は、ＲＡＭ２１３に保存される。
【００２１】
スピーカ２８は、予め設定された警告音などを発生する。スピーカ２８は、ＣＰＵ２１１の制御の下で警告音や音声による報知を行う。
電源２９は、この商品識別装置２の各部に電力を供給する。
【００２２】
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
【００２３】
ＰＯＳ端末３は、マイクロコンピュータ３１と、ディスプレイ３２１と、タッチパネル３２２と、キーボード３３と、顧客用ディスプレイ３４と、インタフェース３５と、ＨＤＤ３６と、ドロワ３７と、プリンタ３８と、電源３９とを含んで構成される。
マイクロコンピュータ３１は、情報処理を実行する。このマイクロコンピュータ３１は、各種演算処理を実行し各部を制御するＣＰＵ３１１に、ＲＯＭ３１２とＲＡＭ３１３とがバス接続されて構成される。ＣＰＵ３１１には、ドロワ３７と、キーボード３３と、ディスプレイ３２１と、タッチパネル３２２と、顧客用ディスプレイ３４と、ＨＤＤ３６（Hard Disk Drive）とが、内部バスや各入出力回路を介して接続されている。これらは、ＣＰＵ３１１による制御を受ける。
【００２４】
ディスプレイ３２１は、ＣＰＵ３１１の指示により、オペレータに対する情報を表示する。タッチパネル３２２は、ディスプレイ３２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ３４は、ＣＰＵ３１１の指示により、顧客に対する情報を表示する。
キーボード３３は、仮締めキー３３１と、締めキー３３２と、テンキー３３３とを含んで構成され、オペレータの操作入力を受け付ける。テンキー３３３は、０から９までの数字キーと各種演算子キーとで構成される。
【００２５】
ＨＤＤ３６には、プログラムや各種ファイルが記憶されている。ＨＤＤ３６に記憶されているプログラムや各種ファイルは、ＰＯＳ端末３の起動時に、その全部または一部がＲＡＭ３１３にコピーされてＣＰＵ３１１により実行される。ＨＤＤ３６には、例えば特徴量ファイル３６１が記録されるが、商品販売データ処理用のプログラムが記録されてもよい。特徴量ファイル３６１は、店舗に陳列して販売する取扱商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定された商品ファイルであり、取扱商品の辞書として機能する。
【００２６】
インタフェース３５は、商品識別装置２に接続され、商品識別装置２との間でデータ送受信を可能とする。
プリンタ３８は、レシートなどに印字を行う。ＰＯＳ端末３は、ＣＰＵ３１１の制御のもとで、各取引の取引内容をレシートに印字する。
電源３９は、このＰＯＳ端末３の各部に電力を供給する。
【００２７】
図３は、本実施形態における商品登録装置１の概略を示す機能ブロック図である。以下の説明では、適宜図１と図２とを参照する。
商品識別装置２のＣＰＵ２１１は、ＲＯＭ２１２に格納されるプログラムを実行することにより、認識部２１１ａと、情報出力部９８と、不整合報知部１００の各部を具現化する。また、同様に、ＰＯＳ端末３のＣＰＵ３１１は、ＨＤＤ３６に格納されるプログラムを実行することにより、売上登録部９９１を具現化する。ＰＯＳ端末３のＨＤＤ３６には更に、特徴量ファイル３６１が格納される。
【００２８】
認識部２１１ａは、画像取得部９０と、物体検出部９１と、類似度演算部９３と、類似度判断部９４と、確定通知部９５と、候補商品提示部９６と、入力取得部９７と、シール情報認識部９９とを含んで構成される。この認識部２１１ａは、商品の種別を識別する商品識別部である。また認識部２１１ａは、商品に値引きシールが付されている場合に、その値引きシールを併せて認識する。
【００２９】
画像取得部９０は、カメラ２７に撮像オン信号を出力して、このカメラ２７に撮像動作を開始させる。更に画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存されたフレーム画像を順次取り込む。画像取得部９０によるフレーム画像の取り込みは、ＲＡＭ２１３に保存された順に行われる。
【００３０】
物体検出部９１は、画像取得部９０によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出する。
【００３１】
別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品および手の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、店員の手が検出された場合に、物体検出部９１は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部９１は、手の形状を示す輪郭が検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。
【００３２】
類似度演算部９３は、カメラ２７が撮像した商品の画像から、この商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。類似度演算部９３は、この商品の輪郭や大きさは考慮しない。これにより類似度演算部９３は、処理時間を短縮することができる。
類似度演算部９３は更に、特徴量ファイル３６１に記録された各商品（以下、取扱商品という）の商品画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮影した商品の特徴量とそれぞれ比較することで、撮影した商品と特徴量ファイル３６１に記録された取扱商品との類似度を算出する。ここで類似度とは、特徴量ファイル３６１に記録されている各商品が想定する商品画像を１００％の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部９３は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。
【００３３】
このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２７年３月１２日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
【００３４】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２７年３月１２日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>
【００３５】
なお、撮像された商品の画像と、特徴量ファイル３６１に記録された取扱商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品の画像と、特徴量ファイル３６１に記録された各取扱商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００３６】
類似度を絶対評価として算出する場合、撮像された商品の画像と、特徴量ファイル３６１に記録された各取扱商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、各取扱商品との類似度の総和が１．０（１００％）となるよう算出する。例えば、特徴量ファイル３６１に４つの商品＃１〜＃４が記録されていたとする。このとき撮像された商品は、例えば、商品＃１に対して類似度が０．６５、商品＃２に対しては類似度が０．２、商品＃３に対しては類似度が０．１、商品＃４に対しては類似度が０．０５などのように算出する。
【００３７】
類似度判断部９４は、画像取得部９０が取り込んだフレーム画像ごとに、商品の画像と、特徴量ファイル３６１に記録されている商品画像との類似度を比較する。本実施形態では、取扱商品の商品画像と、商品の撮影画像との類似度は、複数の条件が設けられている。類似度判断部９４は、これら満たされる条件に応じて取扱商品の確定あるいは商品の候補を選定する。類似度に関する条件は特に限定されるものではないが、以下では条件Ｘ，Ｙ，Ｚを用いる場合について説明する。
【００３８】
ここで、条件Ｘおよび条件Ｙは、フレーム画像上の物体を、特徴量ファイル３６１に記録された取扱商品のうちの一つとして確定するための条件である。また、条件Ｚは、フレーム画像上の物体から、特徴量ファイル３６１に記録された取扱商品の候補を抽出するための条件である。
【００３９】
類似度判断部９４は、例えば、条件Ｘまたは／および条件Ｙを満たす取扱商品を、フレーム画像上の物体に一対一で対応する商品であると判定する。また、類似度判断部９４は、条件Ｚを満たす取扱商品については、確定商品ではなく、カメラ２７が撮像した商品の候補であると判定する。そして、類似度判断部９４は、特徴量ファイル３６１に記録された複数の取扱商品から条件Ｚを満たす取扱商品を抽出することにより、撮影した商品に対する取扱商品の候補を抽出する。
【００４０】
条件Ｘ〜Ｚは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件Ｘ〜Ｚを設けることができる。ここでは、閾値Ｔｘ〜Ｔｚによって条件Ｘ〜Ｚを設定する場合について説明する。なお、閾値Ｔｘ〜Ｔｚの順に小さくなるものとする。
【００４１】
類似度判断部９４は、取扱商品との類似度が予め定められた閾値Ｔｘ以上となった回数をカウントし、この回数が所定回数以上となった場合に条件Ｘが満たされたと判定する。
【００４２】
また、類似度判断部９４は、取扱商品との類似度が閾値Ｔｘ未満、かつ、閾値Ｔｙ以上となった場合に、条件Ｙが満たされたと判定する。そして、条件Ｙを満たした取扱商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。
更に、類似度判断部９４は、取扱商品との類似度が閾値Ｔｙ未満、かつ、閾値Ｔｚ以上である場合に、条件Ｚが満たされたと判定する。
【００４３】
なお、各条件Ｘ〜Ｚは、類似度の大きさなどに応じて適宜設定可能であり、前記した例に限定されるものではない。
【００４４】
確定通知部９５は、カメラ２７によって撮像された商品が、条件Ｘまたは／および条件Ｙを満たした取扱商品であるとして一意的に確定されたことを、画像出力や音声出力などによってオペレータや客に報知する。
【００４５】
より詳細には、確定通知部９５は、条件Ｘを満たした取扱商品が、カメラ２７によって撮像された商品（確定商品）として一意的に確定されたことを示す確定画面をディスプレイ２２１に表示させる。また、確定商品に関する情報をスピーカ２８に出力するようにしてもよい。スピーカ２８は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知することができる。
【００４６】
また、確定通知部９５は、条件Ｙを満たした取扱商品（確定商品）が、カメラ２７によって撮像された商品であるか否かの最終確認操作を受け付ける確認画面をディスプレイ２２１（図１または図２参照）に表示する。
【００４７】
なお、確定通知部９５は、確認画面が表示されるタイミングに合わせて、確定商品に関する情報をスピーカ２８に音声を出力するようにしてもよい。
【００４８】
候補商品提示部９６は、条件Ｚを満たした取扱商品に関する情報を、商品候補としてディスプレイ２２１に表示させる。より詳細には、候補商品提示部９６は、条件Ｚを満たした取扱商品の写真画像および商品名を特徴量ファイル３６１から読み出し、類似度演算部９３が算出した類似度の高いものから、ディスプレイ２２１に順次出力する。ディスプレイ２２１には、商品候補の写真画像および商品名が類似度の高いものから順に表示される。
【００４９】
なお、ディスプレイ２２１に商品候補の写真画像が表示されていても、これら商品候補に対する選択操作を受け付けない場合には、画像取得部９０による画像の取得処理と、物体検出部９１による物体の検出処理と、および類似度演算部９３による類似度の演算処理とは継続される。
【００５０】
入力取得部９７は、タッチパネル２２２またはキーボード２３を介してディスプレイ２２１の表示に対応するオペレータの各種入力操作を受け付ける。例えば入力取得部９７は、表示された写真画像に係る商品が確定商品であることを最終確認した旨の入力操作（確認操作）を受け付ける。確定通知部９５は、入力取得部９７が確認操作を受け付けた場合に確定画面をディスプレイ２２１に表示する。
【００５１】
入力取得部９７は、ディスプレイ２２１に表示された商品候補の写真画像の中からいずれか１つの写真画像に対する選択操作を受け付ける。入力取得部９７は、選択された写真画像の取扱商品を、商品に対する確定商品であるとして受け付ける。なお、物体検出部９１が複数の商品を検出可能である場合には、入力取得部９７は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。確定通知部９５は、入力取得部９７が選択操作を受け付けた場合に、受け付けた商品候補を確定商品として表示させた確定画面をディスプレイ２２１に表示させる。また、入力取得部９７は、タッチパネル２２２またはキーボード２３を介して、値引きシールに関するオペレータの処理方法選択を受け付ける。
シール情報認識部９９は、商品に値引きシールが付されていた場合に、この値引きシールを認識して、値引き情報を認識する。
【００５２】
不整合報知部１００は、認識部２１１ａが新たに識別した商品に付された値引きシールの認識結果（値引き情報）と、外部装置７に格納されているジャーナル情報１０２の過去の同一種別の商品に係る値引き処理の履歴とを比較して不整合の有無を検出し、不整合が検出された場合には、この不整合情報を報知する。換言すると、不整合報知部１００は、新たに識別した商品に付された値引きシールの認識結果と、過去の同一種別の商品に係る付票の処理結果との不整合情報を報知する。
ジャーナル情報１０２は、過去に登録した各商品の商品ＩＤと、この商品ＩＤに係る商品に適用した値引き情報とが時系列で記録された履歴である。本実施形態ではジャーナル情報１０２は、外部装置７に格納されているが、これに限定されず、商品識別装置２やＰＯＳ端末３に格納されてもよい。
【００５３】
情報出力部９８は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力する。また、情報出力部９８は、外部装置７に格納されたジャーナル情報１０２に確定商品に係る情報を出力し、この確定商品の情報を履歴に追加する。なお、情報出力部９８は、タッチパネル２２２またはキーボード２３を介して別途入力された販売個数を、商品ＩＤなどと共にＰＯＳ端末３に出力してもよい。また、情報出力部９８がＰＯＳ端末３に出力する情報としては、情報出力部９８が特徴量ファイル３６１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、商品画像、写真画像のファイル名をＰＯＳ端末３に通知してもよい。
【００５４】
ＰＯＳ端末３の売上登録部９９１は、情報出力部９８から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的にいうと、売上登録部９９１は、特徴量ファイル３６１を参照して、通知された商品ＩＤおよび、これに対応する商品分類、商品名、単価、販売個数を売上マスタファイルなどに記録して売上登録（仮登録）を行う。
【００５５】
図４は、本実施形態における商品識別装置２の正面図である。
商品識別装置２は、カウンタ台５に設置されている。商品識別装置２は、薄型の矩形状のハウジング５１と、このハウジング５１の上部に取り付けられた表示・操作部２２と、表示・操作部２２の左奥側に裏向きに設置された顧客用ディスプレイ２４とを含んで構成される。
このハウジング５１の正面には、読取窓５２が設けられる。
読取窓５２には、照明２７１とカメラ２７（撮像部）とが配置される。認識領域８Ｍは、カメラ２７が物体を撮影し、この物体を検知して商品を特定する領域である。
この商品識別装置２には、認識領域８Ｍの中において、例えば値引きシールが付された商品がカメラ２７に向けてかざされる。すると、商品識別装置２は、カメラ２７による商品の撮像画像に基づいて、この商品および値引きシールを認識し、ＰＯＳ端末３に商品登録処理を行わせるものである。なお、商品に付された値引きシールは、カメラ２７で撮像される向きで、認識領域８Ｍにかざされることが望ましい。
【００５６】
図５は、本実施形態における商品登録処理を示すフローチャートである。
本実施形態における商品登録処理は、例えば、オペレータが、第１の買物カゴ４Ｌ（図１参照）の商品を読取窓５２のカメラ２７にかざしたのち、第２の買物カゴ４Ｒに移動する。この際の、値引きシールが付された商品の登録にかかるものである。このとき、商品に値引きシールが付されていたならば、値引き処理を実行する。前回の取引との不整合が検出された場合には、オペレータに報知して確認を促している。なお、以下では適宜図３、図６〜図９を相互に参照する。
【００５７】
当初、認識部２１１ａは、画像取得部９０によりカメラ２７に撮像オン信号を出力し、カメラ２７による商品画像のキャプチャ（撮像）を開始し、その後、カメラ２７が撮像してＲＡＭ２１３に保存したフレーム画像（撮像画像）を取り込む（ステップＳ１０）。このとき、商品に値引きシールが付されていると、商品画像にも値引きシールが撮像される。
【００５８】
次に、認識部２１１ａは、物体検出部９１によりフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識（検出）を試み、更にシール情報認識部９９により値引きシールの認識（検出）を試みる（ステップＳ２０）。
【００５９】
認識部２１１ａは、物体検出部９１により、商品である物体の全部または一部の認識に成功したか否かを判断する（ステップＳ３０）。認識部２１１ａが商品である物体の認識に成功しなかったならば（ステップＳ３０→Ｎｏ）、ステップＳ１０の処理に戻り、商品画像やシール画像のキャプチャを繰り返す。認識部２１１ａは、商品である物体の認識に成功したならば（ステップＳ３０→Ｙｅｓ）、商品名と商品単価の検索と呼び出しを行う（ステップＳ４０）。これにより認識部２１１ａは、各商品の種別を識別する。
これらステップＳ１０〜ステップＳ３０は、具体的にいうと、オペレータが商品を読取窓５２のカメラ２７にかざし、商品識別装置２が、この商品である物体の検出に成功するまでの一連の処理である。
なお、本実施形態の認識部２１１ａは、商品画像を認識することにより、この商品の種別を識別しているが、これに限られず、商品に付されたバーコードなどをスキャンして、この商品の種別を識別してもよい。
【００６０】
ステップＳ４０にて認識部２１１ａは、類似度演算部９３により、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部９４により、類似度が所定閾値以上となる取扱商品が特徴量ファイル３６１にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。
【００６１】
次に、認識部２１１ａは、シール情報認識部９９にて、値引きシールの認識に成功したか否かを判断する（ステップＳ５０）。ここで認識部２１１ａは、値引きシールを認識したならば（ステップＳ５０→Ｙｅｓ）、ステップＳ６０以下で示した値引きシール有りの一連の処理を行う。更に認識部２１１ａは、値引きシールを認識しなかったならば（ステップＳ５０→Ｎｏ）、ステップＳ１００以下で示した値引きシール無しの一連の処理を行う。
なお、ステップＳ５０は商品を認識するステップＳ３０と同様にして値引きシールをオブジェクト認識してもよいし、その他の方法で認識してもよい。例えば、値引きシールがバーコードが印刷されている場合は、バーコード認識を行うようにしてもよい。この値引きシールの認識方法は特に限定されない。
【００６２】
（値引きシール有りの一連の処理）
値引きシール有りの一連の処理は、商品の種別と値引き情報とがともに認識される場合にあたる。ステップＳ６０にて不整合報知部１００は、新たに認識した商品の値引き情報と、過去の同一種別の商品に適用した値引き情報であるジャーナル情報１０２との間の不整合の有無を判定する。不整合報知部１００は、不整合が無いならば（ステップＳ６０→Ｎｏ）、新たに認識した商品の値引きシールに係る値引き情報に従って、この商品を仮登録し（ステップＳ１７０）、不整合が有るならば（ステップＳ６０→Ｙｅｓ）、値引きシールの不整合を報知する（ステップＳ７０）。
【００６３】
なお、不整合報知部１００が不整合と判定しない場合は、商品および値引きシールの認識に成功し、新たに認識した値引き情報がジャーナル情報１０２に格納された過去の同一種別の商品に係る値引き処理情報と整合する場合である。つまり、ジャーナル情報１０２における過去の同一種別の商品の取引履歴に値引きシールに係る値引き情報が格納され、新たに認識した同一種別の商品にも、同一内容の値引きシールが貼られていた場合である。具体的にいうと、新たに識別した商品に「３割引」の値引きシールが貼られており、同一商品が過去に「３割引」の値引きシールが貼られており、３割引の処理によって登録された場合に該当する。このとき商品識別装置２は、新たに認識した値引きシールに記載された値引き情報に従って、商品の仮登録を行う（ステップＳ１７０）。
【００６４】
なお、不整合報知部１００が不整合と判定する場合は、商品の種別の識別および値引きシールの認識に成功し、新たに認識した値引き情報がジャーナル情報１０２に格納された過去の同一種別の商品に係る値引き処理情報と整合しない場合である。つまり、ジャーナル情報１０２における過去の同一種別の商品の取引履歴には、値引き処理情報が格納されていないか、または新たに認識した値引きシールの値引き情報と相違する場合である。具体的にいうと、新たに認識した商品に「３割引」の値引きシールが貼られており、同一種別の商品が過去にシールが貼られておらず値引き無しで登録されたか、または「５割引」など異なる値引きシールが貼られており、異なる値引き処理が行われていた場合である。この状況は、タイムセールの開始直後の場合と、店舗側の過誤により値引きシールを誤って貼り付けた場合と、悪意の第三者が値引きシールを不正に貼り付けた場合などに発生する。
【００６５】
ここで、図６と図７を参照しながら、ステップＳ６０にて不整合報知部１００が行う値引きシールの不整合の有無の判定に関する具体的な処理方法を説明する。なお、図６と図７はいずれも、ジャーナル情報１０２が新たに認識した商品ＩＤで絞り込まれた状態を示している。
レコード＃１，＃２は、この商品に関する履歴であるジャーナル情報１０２が示されている。その下に、新たに認識した値引きシールの情報がその下に示されている。
【００６６】
図６は、値引きシールの内容が相違する場合のジャーナル情報１０２を示す図である。
ジャーナル情報１０２ａには、商品ＩＤ欄１０２１に紐付けられて、日時欄１０２２と、商品画像欄１０２３と、付票内容欄１０２４とを少なくとも含むようにして履歴情報が記録されている。これらは時系列順に記録されている。そして、各レコードの左端にはレコード番号が付されている。不整合報知部１００は、ジャーナル情報１０２ａを参照する際、認識した商品と同一の商品ＩＤを有するレコードを絞り込む。
【００６７】
ここで、商品ＩＤ欄１０２１は、商品を一意に識別するための識別情報が格納される。商品ＩＤは、例えば英数字の組み合わせで管理される。レコード＃１，＃２の商品ＩＤ欄１０２１には「２１Ｃ９８７」と記載されている。これは、商品「にんじん」に係る商品ＩＤである。
【００６８】
日時欄１０２２には、値引きシールを認識した日時に関する情報が格納される。例えば、図６のレコード＃１には、「２０１５０３２０１０００３０」と記録されている。これは、２０１５年３月２０日１０時００分３０秒に、この商品にかかる値引きシール情報を認識したことを意味している。
商品画像欄１０２３には、この商品を撮影した画像が記録されている。
【００６９】
付票内容欄１０２４は、値引きシールによる処理内容が記録される。図６のレコード＃１，＃２では、「３割引」の値引き処理の情報が記録されている。この付票内容欄１０２４には、他にも「５割引」、「半額」、「２０円引き」などの値引き処理の情報が記録される。なお、値引き処理なしで商品が仮登録されたとき、付票内容欄１０２４には値引き無しを意味する「ＮａＮ」（Not a Number）が格納される。
【００７０】
以上の状態において、新たに認識した値引きシールの値引き情報が「半額」である場合を考える。これに対して、同一種別の商品の直前の取引履歴であるジャーナル情報１０２ａのレコード＃２は、付票内容欄１０２４が「３割引」であり、相違する。このとき不整合報知部１００は、不整合ありと判定する。
【００７１】
図７は、値引き対象外の商品に値引きシールが付されている場合のジャーナル情報１０２を示す図である。図７のジャーナル情報１０２ｂの構成は、図６と同様である。
新たに認識された値引きシールの情報は、「３割引」である場合を考える。これに対して、同一種別の商品の直前の取引履歴であるジャーナル情報１０２ａのレコード＃２は、付票内容欄１０２４に、値引き無しを意味する「ＮａＮ」（Not a Number）が記録されている点で相違している。このときも不整合報知部１００は、不整合ありと判定する。
【００７２】
図５に戻り、ステップＳ７０にて不整合報知部１００は、新たに認識した商品に付された値引き情報に不整合がある旨を報知し、オペレータに処理方法を選択させる。この報知画面を後記する図９（ａ）に示す。不整合報知部１００は、この報知画面で、オペレータに対して、ジャーナル情報１０２に従って処理させるのか、または値引きシール情報に従って処理させるのかの選択肢を提示する。
【００７３】
この報知画面にて、オペレータは、タッチパネル２２２などの操作部を介して処理方法を選択する（ステップＳ８０）。不整合報知部１００は、オペレータが選択した処理方法に従って処理を分岐する。
オペレータが「値引きシール情報で処理」を選択したならば、商品登録装置１は、値引きシール情報に従って商品仮登録処理を行う（ステップＳ１７０）。すなわち情報出力部９８は、商品種別と値引きシールの情報とを売上登録部９９１に出力し、売上登録部９９１は、商品に値引き情報を反映させて仮登録し、この商品の種別と値引き処理の情報とをジャーナル情報１０２に記録して（ステップＳ１８０）、図５の処理を終了する。
オペレータが「ジャーナル情報で処理」を選択したならば、商品登録装置１は、ジャーナル情報１０２に従って商品仮登録処理を行う（ステップＳ１６０）。すなわち情報出力部９８は、商品種別とジャーナル情報１０２の値引き処理の情報とを売上登録部９９１に出力し、売上登録部９９１は、商品に値引き情報を反映させて仮登録し、この商品の種別と今回の値引き処理の情報とをジャーナル情報１０２に記録して（ステップＳ１８０）、図５の処理を終了する。
【００７４】
（値引きシール無しの一連の処理）
次に、値引きシール無しの一連の処理を説明する。この場合は、商品の種別が識別されたが、値引きシールなどによる値引き情報が認識されない場合にあたる。
【００７５】
ステップＳ１００にて不整合報知部１００は、新たに認識（識別）した商品と外部装置７に格納されたジャーナル情報１０２との間の不整合の有無を判定する。不整合報知部１００は、不整合が無いならば（ステップＳ１００→Ｎｏ）、新たに認識（識別）した商品の値引き無しで仮登録し（ステップＳ１５０）、不整合が有るならば（ステップＳ１００→Ｙｅｓ）、値引きシールの不整合を報知する（ステップＳ１１０）。
【００７６】
なお、不整合報知部１００により不整合が無いと判定する場合は、商品の認識に成功し、かつ値引きシールの認識に失敗し、ジャーナル情報１０２の同一種別の商品の取引履歴には値引き処理の情報がなく整合する場合である。つまり、ジャーナル情報１０２における過去の同一種別の商品の取引履歴には、値引き処理の情報が格納されておらず、新たに認識した同一種別の商品にも値引きシールが貼られていない場合である。このとき商品識別装置２は、値引き無しで商品の仮登録を行う（ステップＳ１７０）。
なお、不整合報知部１００により不整合が有ると判定する場合は、商品の認識に成功し、かつ値引きシールの認識に失敗し、ジャーナル情報１０２の同一種別の商品の取引履歴には値引き処理の情報があり不整合が発生する場合である。つまり、ジャーナル情報１０２における過去の同一種別の商品の取引履歴には、値引き処理の情報が格納されているが、新たに認識した同一種別の商品には値引きシールが認識されず相違する場合である。
【００７７】
値引きシールの不整合を報知する場合は、具体的には、タイムセールの開始直後などで値引きシール有りの商品の登録直後に、値引きシール無しの同一種別の商品を登録することが考えられる。また、新たに認識した商品に値引きシールは付与されているが、オペレータがカメラ２７にかざす方向が適切でなく、認識エラーとなった場合が考えられる。更に値引き対象商品でありながらも、過誤などにより値引きシールが付与されていない場合が考えられる。
【００７８】
ここで、図８を参照しながら、不整合報知部１００が行うステップＳ１００の判定処理を説明する。
図８は、過誤により商品に値引きシールが付け忘れられている場合のジャーナル情報の例を示している。
新たに認識された商品には値引きシールが認識されていない。これに対して、ジャーナル情報１０２ｃに基づく前回に認識した同一種別の商品は、「３０円引」の値引き処理を行って登録された旨が記録されている。この場合不整合報知部１００は、不整合ありと判定する。
【００７９】
図５に戻り、ステップＳ１１０にて、不整合報知部１００は、新たな商品の値引きシールなしという認識結果に対して、ジャーナル情報１０２との間に不整合がある旨を報知し、オペレータに処理方法を選択させる。この報知画面を後記する図９（ｂ）に示す。不整合報知部１００は、この報知画面により、オペレータに対して、再スキャンするか、値引きシールなしで処理するか、または、ジャーナル情報１０２の同一種別の商品の取引履歴に基づく値引き情報で処理させるかの選択肢を提示する。
【００８０】
この報知画面にて、オペレータは、タッチパネル２２２などの操作部を介して処理方法を選択する（ステップＳ１２０）。不整合報知部１００は、オペレータが選択した処理方法に従って処理を分岐する。
オペレータが「再スキャン」を選択したならば、商品登録装置１は、ステップＳ１０に戻り再度この商品の画像をキャプチャする。「値引きシールなしで処理」を選択したならば、商品登録装置１は、値引き無しで商品仮登録処理を行う（ステップＳ１５０）。すなわち情報出力部９８は、商品種別を売上登録部９９１に出力し、売上登録部９９１は、商品を仮登録し、この商品の種別をジャーナル情報１０２に記録して（ステップＳ１８０）、図５の処理を終了する。
オペレータが「ジャーナル情報で処理」を選択したならば、商品登録装置１は、ジャーナル情報１０２に従って商品仮登録処理を行う（ステップＳ１６０）。すなわち情報出力部９８は、商品種別とジャーナル情報１０２の値引き情報とを売上登録部９９１に出力し、売上登録部９９１は、商品に値引き情報を反映させて仮登録し、この商品の種別と値引き情報とをジャーナル情報１０２に記録して（ステップＳ１８０）、図５の処理を終了する。
【００８１】
商品の値引き情報をジャーナル情報１０２に記録（ステップＳ１８０）することにより、例えばタイムセール開始直後など、値引きシール付きの商品と値引きシールなしの商品とが混在するような場合であっても、オペレータが選択した結果がジャーナル情報１０２に反映される。これにより不整合報知部１００は、オペレータが適宜修正したジャーナル情報１０２に基づいて不整合を検知するので、単なる値引きシールの認識結果の不整合よりも的確に、その不整合を検知することができる。
【００８２】
図９（ａ），（ｂ）を参照しながら、報知画面の例を説明する。
図９（ａ）は、ステップＳ７０にて不整合報知部１００がディスプレイ２２１に表示する報知画面８００の例である。
この報知画面８００には、カメラ２７が新たに撮像した商品画像が今回枠８０１の中に表示され、ジャーナル情報１０２の商品画像欄１０２３に格納された過去の画像が前回枠８０２の中に表示される。
【００８３】
ここで、今回枠８０１の中の商品画像には、商品と共に、「半額」と記載された値引きシール８０３が併せて撮像されている。前回枠８０２の中の商品画像には、商品と共に、「３割引」と記載された値引きシール８０４が併せて撮像されている。このように、不整合報知部１００は、ディスプレイ２２１に、カメラ２７が新たに撮像した商品画像と、過去の同一商品に係る商品画像とを並べて表示して不整合を報知する。このようにすることで、オペレータに値引きシールの相違点を視認させることができ、短時間で状況把握を行わせることができる。また、値引きシールの認識エラー等があった場合でも、オペレータがこれを容易に把握することができる。
【００８４】
また、今回枠８０１、および前回枠８０２の撮像画像の下方には、「シールの内容が前回と相違します！」との報知メッセージ８０５が表示されている。なお、報知メッセージ８０５は、オペレータに対して不整合の内容を示して注意を促すコメントである。
【００８５】
さらには、報知画面８００の下方には、「このシール『半額』で処理」の確認ボタン８０６、「前回のシール『３割引』で処理」の確認ボタン８０７が表示されている。これら確認ボタン８０６，８０７は、オペレータに選択肢を提示するものである。確認ボタン８０６には、商品登録装置１が新たに識別した商品に付された値引きシールの認識結果が表示される。確認ボタン８０７には、過去の同一種別の商品に係る値引きシールの処理結果が表示される。これにより商品登録装置１は、値引きシールの認識結果と、過去の同一種別の商品に係る値引きシールの処理結果との不整合を報知する。
【００８６】
具体的にいうと、３割引の商品が存在し、この商品の更なる値引きにより３割引の値引きシールの上に半額の値引きシールが貼られたとき、図９（ａ）に示す不整合が発生する。このときオペレータは、「このシール『半額』で処理」の確認ボタン８０６にタップする。これにより商品登録装置１は、半額の値引き処理を行い、この値引き処理の結果をジャーナル情報１０２に記録する。
【００８７】
単なる値引きシールの付け間違いにより、３割引の商品に対して半額の値引きシールが貼られる場合にも、図９（ａ）に示す不整合が発生する。このときオペレータは、「前回のシール『３割引』で処理」の確認ボタン８０７にタップする。これにより商品登録装置１は、３割引の値引き処理を行い、この値引き処理の結果をジャーナル情報１０２に記録する。
【００８８】
次に、図９（ｂ）は、ステップＳ１１０にて不整合報知部１００がディスプレイ２２１に表示する報知画面８００の例である。
この報知画面８００では、今回枠８０１の中の画像には、値引きシールが付されていない商品が撮像されている。その一方で、前回枠８０２の中の商品画像には、「３割引」と記載された値引きシール８０４が併せて撮像されている。
また、今回枠８０１、および前回枠８０２の撮像画像の下方には、「前回はシール付きで登録されています！」との報知メッセージ８０８が表示されている。報知メッセージ８０８は、オペレータに対して不整合の内容を示して注意を促すメッセージである。
【００８９】
さらには、報知画面８００の下方には、「再スキャン」の確認ボタン８０９、「前回と同じシールで処理」の確認ボタン８１０、「シールなしで処理」の確認ボタン８１１が表示されている。この確認ボタン８０９〜８１１は、オペレータに提供する選択肢を表示するものである。
【００９０】
具体的にいうと、３割引の商品について、オペレータが、商品に付された値引きシールをカメラ２７にかざさなかったとき、図９（ｂ）に示す不整合が発生する。このときオペレータは、「再スキャン」の確認ボタン８０９にタップして、値引きシールをカメラ２７にかざす。これにより商品登録装置１は、値引きシールを認識することができる。
【００９１】
更に、３割引のタイムセールが終了して３割引の値引きシールの上に白紙のシールなどが貼られると、図９（ｂ）に示す不整合が発生する。このときオペレータは、「シールなしで処理」の確認ボタン８１１にタップする。これにより商品登録装置１は、値引き処理なしで商品登録を行い、値引き無しの結果をジャーナル情報１０２に記録する。
【００９２】
また、過誤により３割引の商品の値引きシールが剥がれているときも、図９（ｂ）に示す不整合が発生する。このときオペレータは、「前回と同じシールで処理」の確認ボタン８１０にタップする。これにより商品登録装置１は、前回と同じ３割引の値引き処理で商品登録を行い、この３割引の値引き処理の結果をジャーナル情報１０２に記録する。
なお、この例に限られず、確認ボタン８１０に、「前回と同じ『３割引』で処理」と表示させてもよい。これによりオペレータは、過去の同一種別の商品に係る値引き処理結果を知ることができ、この選択肢が適切か否かを判断可能となる。
【００９３】
以上によって、商品登録装置１は、ある商品を識別した場合に、値引きシールが貼られていたら、その値引きシールを認識して値引きする。
商品登録装置１は、ある商品に値引きシールが貼られていることを認識して値引き処理したら、次に同一種別の商品を認識（識別）してその商品に値引きシールが認識できない場合に、その旨を示す注意文を報知して店員に注意を促す。更に商品登録装置１は、ある商品に値引きシールが貼られておらず値引き処理しなかったら、次に同一種別の商品を認識（識別）してその商品に値引きシールが認識された場合にも、その旨を示す注意文を報知して店員に注意を促す。これにより、過誤によるシールの貼り間違いや、悪意によるシールの貼り替えやシールの剥がしを検知して、店員に注意を促すことができる。
【００９４】
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｅ）のようなものがある。
（ａ）  商品の特定方法は、オブジェクト認識に限定されない。例えば、読取窓にバーコードスキャナやバーコードリーダなどを組み込んで、商品に印刷されたバーコードなどを読み取って商品を特定してもよい。
（ｂ）  上記実施形態の不整合報知部１００は、直前のジャーナル情報１０２に記録された履歴を参照している。しかしこれには特に限定されない。つまり、直前から所定回数前までのジャーナル情報１０２の履歴を参照してもよい。
（ｃ）  値引きシールに代えて、例えばボーナスポイントが付与される旨のポイント還元シールを商品に貼り付け、このシールの不整合を検知してもよく、また単なる価格シールであってもよい。
（ｄ）  不整合報知部１００による不整合の報知は、オペレータが認識可能であればよく、報知方法は、画面表示による報知に限られず、音声、振動などでもよい。
（ｅ）  上記実施形態の不整合報知部１００は、新たに認識した値引き情報とジャーナル情報１０２に記録された履歴との不整合を検知すると、これを報知すると共にオペレータに選択肢を提示している。しかし、これに限られず、単に報知したのちにデフォルトの処理を行うようにしてもよい。
【００９５】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
商品の種別を識別する商品識別部と、
前記商品に付された付票の情報を認識する認識部と、
前記商品識別部が新たに識別した商品に付された付票の認識結果と、過去の同一種別の商品に係る付票の処理結果との不整合を報知する不整合報知部と、
を備えることを特徴とする商品登録装置。
＜請求項２＞
前記商品識別部は、撮像部が撮像した商品の画像により当該商品の種別を識別する、
ことを特徴とする請求項１に記載の商品登録装置。
＜請求項３＞
前記商品識別部は、商品に付されたコード情報により当該商品の種別を識別する、
ことを特徴とする請求項１に記載の商品登録装置。
＜請求項４＞
前記認識部は、商品に付された付票のコード情報により当該付票の情報を認識する、
ことを特徴とする請求項１ないし請求項３のいずれか１項に記載の商品登録装置。
＜請求項５＞
前記認識部は、撮像部が撮像した商品の画像により当該商品に付された付票の情報を認識する、
ことを特徴とする請求項１ないし請求項３のいずれか１項に記載の商品登録装置。
＜請求項６＞
画像を表示する表示部をさらに備え、
前記不整合報知部は、前記表示部の表示により不整合を報知する、
ことを特徴とする請求項４または請求項５に記載の商品登録装置。
＜請求項７＞
前記不整合報知部は、前記表示部に、新たに識別した商品を撮像した画像および過去の同一種別の商品を撮像した画像を表示させて不整合を報知する、
ことを特徴とする請求項６に記載の商品登録装置。
＜請求項８＞
前記不整合報知部は、新たに識別した商品を撮像した画像から付票を認識し、かつ過去の同一種別の商品に係る付票の処理結果とは相違するならば、新たに認識した付票の情報と過去の同一種別の商品に係る付票の処理結果情報とを前記表示部に表示させて不整合を報知する、
ことを特徴とする請求項６または請求項７に記載の商品登録装置。
＜請求項９＞
前記不整合報知部は、新たに識別した商品を撮像した画像から付票を認識し、かつ過去の同一種別の商品に係る付票の処理結果が付票無しならば、新たに認識した付票の情報と、過去の同一種別の商品は付票無しで処理した旨を前記表示部に表示させて不整合を報知する、
ことを特徴とする請求項６または請求項７に記載の商品登録装置。
＜請求項１０＞
前記不整合報知部は、新たに識別した商品の画像から付票を認識せず、かつ過去の同一種別の商品は付票有りで処理したならば、新たに識別した商品には付票が付されていない旨と、過去の同一種別の商品は付票有りで処理した旨とを前記表示部に表示させて不整合を報知する、
ことを特徴とする請求項６または請求項７に記載の商品登録装置。
＜請求項１１＞
商品識別部が商品の種別を識別するステップと、
認識部が、前記商品に付された付票の情報を認識するステップと、
不整合報知部が、前記商品識別部が新たに識別した商品に係る付票の認識結果と、過去の同一種別の商品に係る付票の認識結果との不整合を報知するステップと、
を実行することを特徴とする商品登録方法。
【符号の説明】
【００９６】
１      商品登録装置
１００  不整合報知部
１０２  ジャーナル情報
２      商品識別装置
２１１ａ  認識部
２２    表示・操作部
２７    カメラ  （撮像部）
９８    情報出力部
９９    シール情報認識部
【図１】
0006409637.tif 000002
【図２】
0006409637.tif 000003
【図３】
0006409637.tif 000004
【図４】
0006409637.tif 000005
【図５】
0006409637.tif 000006
【図６】
0006409637.tif 000007
【図７】
0006409637.tif 000008
【図８】
0006409637.tif 000009
【図９】
0006409637.tif 000010