(57)【要約】【課題】商品の形態によらずに、手間をかけることなく商品情報を読み取ることが可能な商品情報読取装置およびプログラムを提供する。【解決手段】コードシンボル読取部（第１の読取手段）は、撮像制御部（撮像手段）が、第１のカメラと第２のカメラと第３のカメラに撮像させた商品の画像から、商品に付されたバーコード（コードシシンボル）を読み取る。電子透かし読取部（第２の読取手段）は、前記画像から、商品に付された電子透かしを読み取る。オブジェクト認識部（商品認識手段）は、前記画像から、商品を認識する。そして、商品特定部（商品特定手段）は、コードシンボル読取部の読み取り結果と、電子透かし読取部の読み取り結果と、オブジェクト認識部の認識結果との少なくとも１つに基づいて、画像に写った商品を特定する。【選択図】図７
2020135419.tif 000002
【特許請求の範囲】
【請求項１】
商品の画像を撮像する撮像手段と、
前記画像から、前記商品に付されたコードシンボルを読み取る第１の読取手段と、
前記画像から、前記商品に付された電子透かしを読み取る第２の読取手段と、
前記第１の読取手段の読み取り結果と、前記第２の読取手段の読み取り結果の少なくとも１つに基づいて、前記画像に写った商品を特定する商品特定手段と、
を備える商品情報読取装置。
【請求項２】
前記画像から前記商品を認識する商品認識手段を、更に備えて、
前記商品特定手段は、前記第１の読取手段の読み取り結果と、前記第２の読取手段の読み取り結果と、前記商品認識手段の認識結果と、の少なくとも１つに基づいて、前記画像に写った商品を特定する、
請求項１に記載の商品情報読取装置。
【請求項３】
前記商品認識手段は、
前記第１の読取手段又は前記第２の読取手段の読み取り結果が得られた場合には、当該読み取り結果に基づいて前記商品を特定して、
前記第１の読取手段及び前記第２の読取手段の読み取り結果が得られない場合には、前記商品認識手段の認識結果に基づいて前記商品を特定する、
請求項２に記載の商品情報読取装置。
【請求項４】
コードシンボル及び電子透かしが付与されない商品は、トレイに収容した状態で前記撮像手段に撮像させる、
請求項２または請求項３に記載の商品情報読取装置。
【請求項５】
前記トレイには無線タグが付与されるとともに、
前記無線タグとの間で無線通信を行うことによって、当該無線タグが有するタグ情報を読み取る無線タグ読取手段を、更に備える、
請求項４に記載の商品情報読取装置。
【請求項６】
商品情報読取装置を制御するコンピュータを、
商品の画像を撮像する撮像手段と、
前記画像から、前記商品に付されたコードシンボルを読み取る第１の読取手段と、
前記画像から、前記商品に付された電子透かしを読み取る第２の読取手段と、
前記第１の読取手段の読み取り結果と、前記第２の読取手段の読み取り結果の少なくとも１つに基づいて、前記画像に写った商品を特定する商品特定手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品情報読取装置およびプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケットやコンビニエンスストア等の店舗において、客が購入する商品を登録する場合、商品のパッケージに貼付又は印刷されたバーコードを読み取って、当該バーコードに登録されたＪＡＮ（Japanese  Article  Number）コードを認識することによって、商品を特定していた。また、最近では、商品の外観をカメラで撮像して、撮像された商品の外観の画像に基づいて当該商品を特定する、いわゆるオブジェクト認識の技術が実用化されている。
【０００３】
そして、例えば、バーコードの読み取りと、オブジェクト認識とを併用することによって、商品を特定するシステムが提案されている（例えば、特許文献１）。
【０００４】
しかしながら、このような従来のシステムにあっては、作業員が、商品にバーコード等のコード情報が付されているかを判断して、コード情報が付与された商品と、コード情報が付与されていない商品とを予め仕分けする必要があり、手間がかかっていた。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、商品の形態によらずに、手間をかけることなく商品情報を読み取ることが可能な商品情報読取装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の商品情報読取装置は、撮像手段と、第１の読取手段と、第２の読取手段と、商品特定手段とを備える。撮像手段は、商品の画像を撮像する。第１の読取手段は、画像から、商品に付されたコードシンボルを読み取る。第２の読取手段は、画像から、商品に付された電子透かしを読み取る。商品特定手段は、第１の読取手段の読み取り結果と、第２の読取手段の読み取り結果の少なくとも１つに基づいて、画像に写った商品を特定する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態に係る商品情報読取装置を適用した商品販売データ処理システムの一例を示す外観図である。
【図２】図２は、実施形態の商品情報読取装置の読取部の断面図である。
【図３】図３は、会計装置の一例を示す外観図である。
【図４】図４は、実施形態の商品情報読取装置が読み取る商品の一例を示す図である。
【図５】図５は、商品情報読取装置のハードウェア構成の一例を示すハードウェアブロック図である。
【図６】図６は、会計装置のハードウェア構成の一例を示すハードウェアブロック図である。
【図７】図７は、実施形態の商品情報読取装置の機能構成の一例を示す機能ブロック図である。
【図８】図８は、実施形態の商品販売データ処理システムが行う処理の流れの一例を示すフローチャートである。
【図９】図９は、実施形態の商品情報読取装置が行う商品登録処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
以下、図面を参照して、第１の実施形態に係る商品販売データ処理システムについて説明する。なお、第１の実施形態で説明する商品販売データ処理システムは、購入した商品について、客が自ら精算を行うシステムである。なお、以下に説明する実施形態により、この発明が限定されるものではない。
【０００９】
（商品情報読取装置の説明）
まず、図１を用いて、商品情報読取装置１０の構成を説明する。図１は、実施形態に係る商品情報読取装置１０を適用した商品販売データ処理システム５０の一例を示す外観図である。
【００１０】
図１に示すように、商品販売データ処理システム５０は、商品情報読取装置１０と、会計装置３０とを備える。商品情報読取装置１０は、客が購入する商品の商品情報を読み取る読取処理と、読取処理によって読み取られた商品を登録する商品登録処理とを行う。会計装置３０は、商品登録処理によって登録された商品に係る会計処理を行う。
【００１１】
商品情報読取装置１０は、商品置台１０ａと、基台１０ｂと、作荷台１０ｃと読取部１０ｄとを備える。
【００１２】
商品置台１０ａは、客が購入する商品Ｈを一時的に載置する台である。商品置台１０ａは、人感センサ１２を備える。人感センサ１２は、例えば赤外線センサで構成されて、客の接近を検出する。人感センサ１２が客の接近を検出すると、後述するベルトコンベア１１が移動を開始するとともに、読取部１０ｄが起動する。なお、商品置台１０ａには、店舗に備え付けのトレイ２０が置かれている。トレイ２０には、ＲＦＩＤタグ２２が付されている。トレイ２０の用途は後述する。なお、ＲＦＩＤタグ２２は、無線タグの一例である。
【００１３】
基台１０ｂは、商品置台１０ａと作荷台１０ｃとを接続する筐体である。基台１０ｂは、商品置台１０ａから作荷台１０ｃに向かって移動するベルトコンベア１１を備える。ベルトコンベア１１は、コンベア駆動モータ１３によって駆動されて、矢印Ｋの方向、すなわちＹ軸に沿う方向に移動する。客は、商品置台１０ａに一時的に載置した商品Ｈを、ベルトコンベア１１に載せて搬送させる。なお、ベルトコンベア１１の代わりにローラーコンベアを用いてもよい。
【００１４】
作荷台１０ｃは、ベルトコンベア１１によって搬送された商品Ｈを袋詰めするための台である。ベルトコンベア１１で搬送された商品Ｈは、ベルトコンベア１１の搬送力によって、作荷台１０ｃに押し出されて載置される。客は、作荷台１０ｃに載置された商品Ｈを袋詰めする。その後、客は、会計装置３０において会計を行う。
【００１５】
読取部１０ｄは、ベルトコンベア１１によって搬送された商品Ｈの商品情報を読み取る読取処理を行う。読取部１０ｄは、商品Ｈの商品情報の読み取りを安定して行うために、外部の明るさの影響を低減する目的で、上部及び側面が遮蔽されたトンネル形状をなしている。
【００１６】
（読取部の構成の説明）
次に、図２を用いて、読取部１０ｄの構成を説明する。図２は、実施形態の商品情報読取装置１０の読取部１０ｄの断面図である。特に、図２は、読取部１０ｄをＸＺ平面で切って、Ｙ軸負側から見た断面図である。
【００１７】
図２に示すように、読取部１０ｄは、天板１０ｄ１と、縦壁１０ｄ２と、縦壁１０ｄ３とを備える。天板１０ｄ１は、ベルトコンベア１１のコンベア面と略平行に設置されている。縦壁１０ｄ２と縦壁１０ｄ３とは、ともに略鉛直方向に沿って設置されている。
【００１８】
天板１０ｄ１には、第１のカメラ１４が設置される。第１のカメラ１４は、ベルトコンベア１１に向かって下向きに設置されて、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）等のイメージセンサ、及びレンズ等の光学系を備える。第１のカメラ１４は、ベルトコンベア１１のコンベア面を撮像する。
【００１９】
縦壁１０ｄ２には、第２のカメラ１５が設置される。また、縦壁１０ｄ３には、第３のカメラ１６が設置される。第１のカメラ１４と第２のカメラ１５と第３のカメラ１６とは、略等しい撮像特性を持つ。また、各カメラで撮像した画像によって、ベルトコンベア１１で搬送される商品Ｈのコンベア面に接していない領域が漏れなく視認できるように、設置位置と設置方向とが調整される。また、第１のカメラ１４と第２のカメラ１５と第３のカメラ１６とは、同時に撮像を行うように、後述する撮像制御部１１１（図７）によって制御される。本実施の形態では３台のカメラを用いる構成を例にあげて説明するが、カメラの台数は３台に限定されるものではない。
【００２０】
また、天板１０ｄ１には、照明用ライト１７が設置される。照明用ライト１７は、例えばＬＥＤ（Light  Emitting  Diode）で構成されて、ベルトコンベア１１のコンベア面の方向を照明する。なお、照明用ライト１７の個数、設置位置、色に制約はなく、ベルトコンベア１１で搬送されている商品Ｈが、各カメラに鮮明に撮像されるように調整される。具体的には、移動しているベルトコンベア１１に載置された商品Ｈを鮮明に撮像するために、できるだけ速いシャッター速度で撮像を行うのが望ましい。尚且つ、撮像された画像が露出不足にならないように、照明用ライト１７によって、できるだけ明るい照明を行うのが望ましい。
【００２１】
縦壁１０ｄ２と縦壁１０ｄ３のコンベア面の近傍には、それぞれアンテナ１８が設置される。アンテナ１８は、トレイ２０に付されたＲＦＩＤタグ２２と交信を行う。そして、無線タグリーダ１９（図５参照）が、受信した電波に重畳された、ＲＦＩＤタグ２２からのタグ情報を読み取る。
【００２２】
（会計装置の構成の説明）
次に、図３を用いて、会計装置の構成を説明する。図３は、会計装置３０の外観斜視図である。会計装置３０は、筐体３５の上部に、入出金装置４１と、モニタ４２と、タッチパネル４３と、レシートプリンタ４４と、カードリーダ４５と、発光部４６と、を備えている。
【００２３】
入出金装置４１は、硬貨投入口３１と、紙幣投入口３２と、紙幣出金口３３と、硬貨出金口３４とを備えている。入出金装置４１は、紙幣投入口３２に投入された紙幣を紙幣収納部（不図示）に収納する。また、入出金装置４１は、硬貨投入口２１に投入された硬貨を硬貨収納部（不図示）に収納する。そして、入出金装置４１は、制御部３００（図６参照）からの釣銭の払い出し要求に応じて、紙幣の釣銭を紙幣出金口３３に払い出す。また入出金装置４１は、制御部３００からの釣銭の払い出し要求に応じて、硬貨の釣銭を硬貨出金口３４に払い出す。
【００２４】
モニタ４２は、表面にタッチパネル４３を備える。モニタ４２は、例えば液晶パネルで構成されて、一取引の合計金額等の会計処理に係る情報を、画像や文字で表示する。タッチパネル４３は、触れた位置に応じた情報を、制御部３００に出力する。
【００２５】
レシートプリンタ４４は、印刷部（不図示）と、レシート発行口３６とを有している。レシートプリンタ４４は、印刷部が印字したレシートを、レシート発行口３６から発行する。
【００２６】
カードリーダ４５は、カード挿入口３７から挿入されたクレジットカードや会員カード等に対して情報の読み書きを行う。
【００２７】
発光部４６は、表示ポール３８の上端に設置されて、会計装置３０の動作に異常が生じた際等に発光する。発光部４６は、例えば、青色に発光するＬＥＤと、赤色に発光するＬＥＤとを備えている。なお、発光部４６は、青色、赤色とは異なる色のＬＥＤを用いてもよいし、その他の発光部材を用いてもよい。発光部４６は、表示ポール３８の上端に設けられているため、会計装置３０の周囲にいる店員から目視しやすい。
【００２８】
客は、会計装置３０を操作して、現金、クレジットカード、電子マネー等により、商品の代金を支払う処理、即ち、会計処理を行う。会計装置３０は、会計処理において、商品情報読取装置１０から受信した商品登録情報に基づいて、一取引の合計金額を表示し、当該合計金額分の会計に係る処理を制御する。商品登録情報は、処理対象とする一取引の合計金額、取引対象商品の商品情報等の情報を含む。なお、商品登録情報は、レシート印字に必要なその他の情報、例えば、レシート印字用の販促情報等を含んでもよい。
【００２９】
（商品の形態の説明）
次に、図４を用いて、商品情報読取装置１０が読み取る商品Ｈの形態を説明する。図４は、実施形態の商品情報読取装置１０が読み取る商品Ｈの一例を示す図である。
【００３０】
商品情報読取装置１０の読取部１０ｄは、図４に示す２つの形態の商品Ｈの商品情報を読み取る。第１の形態は、図４（ａ）に示すように、自身のコード情報が付与された商品Ｈ１である。すなわち、図４（ａ）に示す商品Ｈ１には、バーコード２４と電子透かし２６とが付与されている。なお、商品情報読取装置１０に読み取らせる商品Ｈは、商品Ｈ１と商品Ｈ２とが混在してもよいし、商品Ｈ１のみでもよいし、商品Ｈ２のみでもよい。本実施形態では、商品Ｈ１と商品Ｈ２とが混在する場合を例にあげて説明する。
【００３１】
バーコード２４は、商品識別番号であるＪＡＮコード（１３桁又は８桁）をコード化した情報である。また、バーコード２４の代わりに２次元コードを付与してもよい。なお、バーコード２４は、コードシンボルの一例である。
【００３２】
電子透かし２６は、バーコード２４に登録された商品識別番号と等価な情報を、微細なドットで符号化して、商品Ｈ１のパッケージに印刷したものである。すなわち、電子透かし２６は、微細な点の集合であるため、目視では認識することができない。電子透かし２６は、商品Ｈ１のパッケージに複数埋め込まれる。したがって、商品Ｈ１を撮像した画像の中に、商品Ｈ１のパッケージが一部でも写り込めば、当該画像を分析することによって、商品識別番号を読み取ることができる。そのため、商品Ｈ１の載置状態によらずに、電子透かし２６の情報を確実に読み取ることができる。電子透かしは、紙幣、印紙、有価証券等の偽造を防止する目的で、昨今広く実用化されている。なお、電子透かし２６の読み取りには、専用の画像認識ソフトウェアが必要であるが、その説明は省略する。
【００３３】
なお、商品Ｈ１は、電子透かし２６のみを有する形態であってもよい。また、商品Ｈ１がバーコード２４のみを有する形態であってもよいが、その場合は、読取部１０ｄの構成を修正する必要がある。すなわち、商品Ｈ１のバーコード２４が付与された面とベルトコンベア１１のコンベア面とが面した状態で載置されると、バーコード２４が付与された面が、前記した各カメラから死角になってしまうため、バーコード２４の読み取りを行うことができないためである。このような場合に対応するためには、例えば、ベルトコンベア１１のコンベア面を透明な素材で形成するとともに、コンベア面の裏側にもカメラを設置する必要がある。なお、以下の説明では、商品Ｈ１には、バーコード２４と電子透かし２６とがともに付与されているものとする。
【００３４】
商品Ｈの第２の形態は、図４（ｂ）に示すように、バーコード２４と電子透かし２６とがともに付与されていない商品Ｈ２である。例えば、袋詰めされていない野菜や果物等が、商品Ｈ２に該当する。
【００３５】
読取部１０ｄは、商品Ｈ２の外観を撮像した画像から当該商品を特定する、いわゆるオブジェクト認識を実行する。このオブジェクト認識によって、読取部１０ｄは、画像に写っている商品Ｈ２を特定する。
【００３６】
なお、画像の中に含まれる商品Ｈ２を認識するオブジェクト認識は、一般物体認識（generic  object  recognition）とも呼ばれる。一般物体認識で用いられる各種認識技術については、下記の文献に詳しく解説されているため、説明は省略する。
【００３７】
柳井  啓司、“一般物体認識の現状と今後”、情報処理学会論文誌、Ｖｏｌ．４８、Ｎｏ．ＳＩＧ１６  [平成３１年２月１２日検索]、インターネット<URL:  http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
【００３８】
Jamie  Shottonら、“Semantic  Texton  Forests  for  Image  Categorization  and  Segmentation”、[平成３１年２月１２日検索]、インターネット<URL:  http://mi.eng.cam.ac.uk/~cipolla/publications/inproceedings/2008-CVPR-semantic-texton-forests.pdf>
【００３９】
なお、トレイ２０には、商品Ｈ２を載置する。これによって、商品情報読取装置１０がトレイ２０を認識した際には、当該トレイ２０には、商品Ｈ２が載置されていると判断することができる。商品情報読取装置１０は、トレイ２０が認識されたことを条件として、バーコード２４と電子透かし２６の読み取りを行わずにオブジェクト認識を実行する。これによって、処理の効率化を図ることができる。
【００４０】
さらに、トレイ２０に載置された商品Ｈ２は、均一な背景色の下で撮像されるため、対象物と背景との分離を容易かつ正確に行うことができる。
【００４１】
なお、商品Ｈ２をトレイ２０に載置する際は、１つのトレイ２０に１個の商品Ｈ２を載置するものとする。
【００４２】
（商品情報読取装置のハードウェア構成の説明）
次に、図５を用いて、商品情報読取装置１０のハードウェア構成を説明する。図５は、商品情報読取装置１０のハードウェア構成の一例を示すハードウェアブロック図である。
【００４３】
制御部１００は、ＣＰＵ（Central  Processing  Unit）１０１と、ＲＯＭ（Read  Only  Memory）１０２と、ＲＡＭ（Random  Access  Memory）１０３とを備える。ＣＰＵ１０１は、バスライン１０５を介して、ＲＯＭ１０２と、ＲＡＭ１０３と接続する。ＣＰＵ１０１は、ＲＯＭ１０２や記憶部１０４に記憶された制御プログラムＰ１を、ＲＡＭ１０３に展開する。ＣＰＵ１０１は、ＲＡＭ１０３に展開された制御プログラムＰ１に従って動作することで商品情報読取装置１０の動作を制御する。すなわち、制御部１００は、一般的なコンピュータの構成を有する。
【００４４】
制御部１００は、更に、バスライン１０５を介して、記憶部１０４と、入出力コントローラ１０６と、通信Ｉ／Ｆ（Interface）１０７と接続する。
【００４５】
記憶部１０４は、電源を切っても記憶情報が保持される、フラッシュメモリ等の不揮発性メモリ、又はＨＤＤ（Hard  Disk  Drive）等である。記憶部１０４は、制御プログラムＰ１を含むプログラム等を記憶する。制御プログラムＰ１は、商品情報読取装置１０が備える機能を発揮させるためのプログラムである。
【００４６】
なお、制御プログラムＰ１は、ＲＯＭ１０２に予め組み込まれて提供されてもよい。また、制御プログラムＰ１は、制御部１００にインストール可能な形式又は実行可能な形式のファイルで、ＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disc）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、制御プログラムＰ１を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、制御プログラムＰ１を、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００４７】
また、記憶部１０４は、商品マスタＭ１と、商品登録ファイルＦ１とを記憶する。商品マスタＭ１は、店舗で取り扱っている商品の商品情報（商品コード、商品名、価格等）を記憶したマスタファイルである。なお、店舗で取り扱う商品は日々変化するため、商品情報読取装置１０は、通信Ｉ／Ｆ１０７を用いて、非図示の店舗サーバから、最新の商品マスタＭ１を取得する。なお、商品マスタＭ１は、更に、後述するオブジェクト認識の対象となる商品について、オブジェクト認識を行う際に必要となる特徴量を記憶する。
【００４８】
商品登録ファイルＦ１は、商品マスタＭ１から取得した、客が購入する商品の商品情報（商品名、価格等）を記憶したファイルである。
【００４９】
入出力コントローラ１０６は、図５に記載した、第１のカメラ１４と、第２のカメラ１５と、第３のカメラ１６と、照明用ライト１７と、無線タグリーダ１９と、人感センサ１２と、コンベア駆動モータ１３と接続する。各ハードウェアの機能は前述した通りであるため、説明は省略する。入出力コントローラ１０６は、制御部１００からの指令に基づいて、接続された各種ハードウェアの動作を制御する。
【００５０】
通信Ｉ／Ｆ１０７は、会計装置３０や非図示の店舗サーバと相互に通信を行う。
【００５１】
（会計装置のハードウェア構成の説明）
次に、図６を用いて、会計装置３０のハードウェア構成を説明する。図６は、会計装置３０のハードウェア構成の一例を示すハードウェアブロック図である。会計装置３０は、制御部３００と、記憶部３０４と、入出力コントローラ３０６と、通信Ｉ／Ｆ３０７とを備える。
【００５２】
制御部３００は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３とを備える。ＣＰＵ３０１は、バスライン３０５を介して、ＲＯＭ３０２と、ＲＡＭ３０３と接続する。ＣＰＵ３０１は、ＲＯＭ３０２や記憶部３０４に記憶された制御プログラムＰ２を、ＲＡＭ３０３に展開する。ＣＰＵ３０１は、ＲＡＭ３０３に展開された制御プログラムＰ２に従って動作することで会計装置３０の動作を制御する。すなわち、制御部３００は、一般的なコンピュータの構成を有する。
【００５３】
制御部３００は、更に、バスライン３０５を介して、記憶部３０４と、入出力コントローラ３０６と、通信Ｉ／Ｆ３０７と接続する。
【００５４】
記憶部３０４は、電源を切っても記憶情報が保持される、フラッシュメモリ等の不揮発性メモリ、又はＨＤＤ等である。記憶部３０４は、制御プログラムＰ２を含むプログラム等を記憶する。制御プログラムＰ２は、会計装置３０が備える機能を発揮させるためのプログラムである。
【００５５】
なお、制御プログラムＰ２は、ＲＯＭ３０２に予め組み込まれて提供されてもよい。また、制御プログラムＰ２は、制御部３００にインストール可能な形式又は実行可能な形式のファイルで、ＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、制御プログラムＰ２を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、制御プログラムＰ２を、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００５６】
また、記憶部３０４は、取引ファイルＦ２を記憶する。取引ファイルＦ２は、商品情報読取装置１０から受信した商品登録ファイルＦ１の内容、及び会計装置３０が実行した会計処理の結果を記録した会計データ等を格納するデータファイルである。なお、取引ファイルＦ２は、取引履歴を記録したデータとして用いられる。
【００５７】
入出力コントローラ３０６は、図６に記載した、モニタ４２と、タッチパネル４３と、入出金装置４１と、レシートプリンタ４４と、カードリーダ４５と、発光部４６と接続する。各ハードウェアの機能は前述した通りであるため、説明は省略する。入出力コントローラ３０６は、制御部３００からの指令に基づいて、接続された各種ハードウェアの動作を制御する。
【００５８】
通信Ｉ／Ｆ３０７は、商品情報読取装置１０や非図示の店舗サーバと相互に通信を行う。
【００５９】
（商品販売データ処理装置の機能構成の説明）
次に、図７を用いて、実施形態の商品情報読取装置１０の機能構成について説明する。図７は、実施形態の商品情報読取装置１０の機能構成の一例を示す機能ブロック図である。商品情報読取装置１０の制御部１００は、制御プログラムＰ１をＲＡＭ１０３に展開して動作させることによって、図７に示す客検知部１１０と、撮像制御部１１１と、物体検知部１１２と、コードシンボル読取部１１３と、電子透かし読取部１１４と、オブジェクト認識部１１５と、無線タグ読取部１１６と、商品特定部１１７と、商品登録部１１８と、搬送制御部１１９と、通信制御部１２０と、報知制御部１２１とを機能部として実現する。
【００６０】
客検知部１１０は、客が商品情報読取装置１０に接近したことを検知する。具体的には、客検知部１１０は、人感センサ１２の出力をモニタすることによって、客の接近を検知する。
【００６１】
撮像制御部１１１は、第１のカメラ１４と第２のカメラ１５と第３のカメラ１６とに、ベルトコンベア１１によって搬送されている商品Ｈの外観の画像を撮像させる。なお、撮像制御部１１１は、撮像手段の一例である。
【００６２】
物体検知部１１２は、第１のカメラ１４と第２のカメラ１５と第３のカメラ１６とが撮像した画像の中に、物体が写っているかを検知する。物体検知部１１２は、例えば、同じカメラで連続して撮像された画像の差分を演算することによって、画像間の明るさの変化を検出する。そして、物体検知部１１２は、画像間に明るさの変化が検出されたことを条件として、ベルトコンベア１１のコンベア面に物体が写っていると判断する。
【００６３】
コードシンボル読取部１１３は、撮像制御部１１１が撮像した画像から、商品Ｈに付されたバーコード２４（コードシンボル）を読み取る。なお、コードシンボル読取部１１３は、第１の読取手段の一例である。
【００６４】
電子透かし読取部１１４は、撮像制御部１１１が撮像した画像から、商品Ｈに付された電子透かし２６を読み取る。なお、電子透かし読取部１１４は、第２の読取手段の一例である。
【００６５】
オブジェクト認識部１１５は、撮像制御部１１１が撮像した画像に対してオブジェクト認識を行い、商品Ｈを認識する。なお、オブジェクト認識部１１５は、商品認識手段の一例である。
【００６６】
無線タグ読取部１１６は、ＲＦＩＤタグ２２との間で無線通信を行うことによって、ＲＦＩＤタグ２２が送信した情報を読み取る。なお、無線タグ読取部１１６は、無線タグ読取手段の一例である。
【００６７】
商品特定部１１７は、同じ商品Ｈに対する、コードシンボル読取部１１３の読み取り結果と、電子透かし読取部１１４の読み取り結果と、オブジェクト認識部１１５の認識結果とに基づいて、商品Ｈを特定する。なお、商品特定部１１７は、商品特定手段の一例である。
【００６８】
商品登録部１１８は、商品特定部１１７によって特定された商品Ｈに係る情報を登録する。
【００６９】
搬送制御部１１９は、ベルトコンベア１１の動作を制御する。
【００７０】
通信制御部１２０は、会計装置３０及び非図示の店舗サーバとの間で相互に通信を行い、データやファイル等の送受信を行う。
【００７１】
報知制御部１２１は、商品特定部１１７が商品Ｈを特定できない場合に報知を行う。
【００７２】
なお、会計装置３０の制御部３００は、制御プログラムＰ２をＲＡＭ３０３に展開して動作させることによって、会計処理を行うための各種機能部を構成するが、説明は省略する。
【００７３】
（商品販売データ処理システムが行う処理の流れの説明）
次に、図８を用いて、商品販売データ処理システム５０が行う処理の流れを説明する。図８は、実施形態の商品販売データ処理システム５０が行う処理の流れの一例を示すフローチャートである。
【００７４】
まず、商品情報読取装置１０が行う処理の流れを説明する。商品登録部１１８は、商品特定部１１７が特定した商品を、商品登録ファイルＦ１に登録する（ステップＳ１）。なお、ステップＳ１の詳細な処理の流れは後述する（図９）。
【００７５】
通信制御部１２０は、商品登録ファイルＦ１を会計装置３０に送信する（ステップＳ２）。その後、商品情報読取装置１０は、図８の処理を終了する。
【００７６】
次に、会計装置３０が行う処理の流れを説明する。会計装置３０は、商品情報読取装置１０から商品登録ファイルＦ１を受信する（ステップＳ３）。
【００７７】
続いて、会計装置３０は、会計処理を行う（ステップＳ４）。その後、会計装置３０は、図８の処理を終了する。
【００７８】
（商品販売データ処理システムが行う処理の流れの説明）
次に、図９を用いて、商品情報読取装置１０が行う処理の流れを説明する。図９は、実施形態の商品情報読取装置１０が行う商品登録処理の流れの一例を示すフローチャートである。
【００７９】
客検知部１１０は、商品情報読取装置１０に客が接近したかを判定する（ステップＳ１１）。客が接近したと判定される（ステップＳ１１：Ｙｅｓ）と、ステップＳ１２に進む。一方、客が接近したと判定されない（ステップＳ１１：Ｎｏ）と、ステップＳ１１を繰り返す。
【００８０】
ステップＳ１１においてＹｅｓと判定されると、搬送制御部１１９は、コンベア駆動モータ１３を駆動することによって、ベルトコンベア１１の移動を開始する（ステップＳ１２）。
【００８１】
撮像制御部１１１は、第１のカメラ１４と、第２のカメラ１５と、第３のカメラ１６とに、撮像を行わせる（ステップＳ１３）。なお、各カメラは同時に撮像を行う。
【００８２】
物体検知部１１２は、撮像された画像に物体が写っているかを判定する（ステップＳ１４）。物体が写っていると判定される（ステップＳ１４：Ｙｅｓ）と、ステップＳ１５に進む。一方、物体が写っていないと判定される（ステップＳ１４：Ｎｏ）と、ステップＳ２０に進む。
【００８３】
ステップＳ１４において、Ｙｅｓと判定されると、無線タグ読取部１１６は。ＲＦＩＤタグ２２のタグ情報を読み取ったかを判定する（ステップＳ１５）。タグ情報を読み取ったと判定される（ステップＳ１５：Ｙｅｓ）と、ステップＳ１６に進む。一方、タグ情報を読み取ったと判定されない（ステップＳ１５：Ｎｏ）と、ステップＳ１８に進む。
【００８４】
ステップＳ１５において、Ｙｅｓと判定されると、オブジェクト認識部１１５は、第１のカメラ１４と、第２のカメラ１５と、第３のカメラ１６とが撮像した画像に対して、それぞれオブジェクト認識を行う（ステップＳ１６）。
【００８５】
商品特定部１１７は、ステップＳ１６で行ったオブジェクト認識によって、商品Ｈが特定されたかを判定する（ステップＳ１７）。商品Ｈが特定されたと判定される（ステップＳ１７：Ｙｅｓ）と、ステップＳ２３に進む。一方、商品Ｈが特定されたと判定されない（ステップＳ１７：Ｎｏ）と、ステップＳ２６に進む。
【００８６】
一方、ステップＳ１５において、Ｎｏと判定されると、電子透かし読取部１１４は、第１のカメラ１４と、第２のカメラ１５と、第３のカメラ１６とが撮像した画像に対して、それぞれ電子透かしの読み取りを行う（ステップＳ１８）。
【００８７】
続いて、電子透かし読取部１１４は、電子透かしを読み取ったかを判定する（ステップＳ１９）。電子透かしを読み取ったと判定される（ステップＳ１９：Ｙｅｓ）と、ステップＳ２３に進む。一方、電子透かしを読み取ったと判定されない（ステップＳ１９：Ｎｏ）と、ステップＳ２４に進む。
【００８８】
コードシンボル読取部１１３は、第１のカメラ１４と、第２のカメラ１５と、第３のカメラ１６とが撮像した画像に対して、それぞれバーコードの読み取りを行う（ステップＳ２４）。
【００８９】
続いて、コードシンボル読取部１１３は、バーコードを読み取ったかを判定する（ステップＳ２５）。バーコードを読み取ったと判定される（ステップＳ２５：Ｙｅｓ）と、ステップＳ２３に進む。一方、バーコードを読み取ったと判定されない（ステップＳ２５：Ｎｏ）と、ステップＳ２６に進む。
【００９０】
ステップＳ１７、ステップＳ１９、及びステップＳ２５において、Ｙｅｓと判定されると、商品登録部１１８は、読み取られた商品情報を商品登録ファイルＦ１に登録する（ステップＳ２３）。その後、ステップＳ１３に戻る。
【００９１】
ステップＳ１７又はステップＳ２５において、Ｎｏと判定されると、報知制御部１２１は、商品Ｈを特定することができないと判断して、商品情報読取装置１０に設置された非図示のインジケータやアラーム等によって報知を行う。その後、ステップＳ１３に戻る。なお、ステップＳ１７又はステップＳ２５において、Ｎｏと判定された場合に、ベルトコンベア１１を停止させて、店員を呼び出すようにしてもよい。
【００９２】
次に、ステップＳ１４に戻り、ステップＳ１４においてＮｏと判定されると、物体検知部１１２は、所定時間連続して物体が検出されないかを判定する（ステップＳ２０）。所定時間連続して物体が検出されないと判定される（ステップＳ２０：Ｙｅｓ）と、ステップＳ２１に進む。一方、所定時間連続して物体が検出されないと判定されない（ステップＳ２０：Ｎｏ）と、ステップＳ１３に戻る。
【００９３】
ステップＳ２０において、Ｙｅｓと判定されると、通信制御部１２０は、商品登録ファイルＦ１を会計装置３０に送信する（ステップＳ２１）。
【００９４】
続いて、搬送制御部１１９は、コンベア駆動モータ１３を停止することによって、ベルトコンベア１１を停止する（ステップＳ２２）。その後、商品情報読取装置１０は、図９の処理を終了する。
【００９５】
なお、図９には記載しないが、３台のカメラは、商品Ｈを撮り逃さないように、撮像を連続的に行う。したがって、商品特定部１１７は、連続して撮像された画像に対して、同じ商品Ｈであるとする判定結果を連続して出力する場合がある。このような場合、同じ商品Ｈが複数個登録されてしまうのを防ぐために、連続した画像に対して同じ商品Ｈが特定された場合、商品特定部１１７は、一つの商品であると判断する。なお、各カメラが撮像した画像の中に物体が写っていない状態が１フレームでも発生した場合には、商品特定部１１７は、物体が写っていないフレームの前後において特定された商品Ｈは、別の商品であると判断する。
【００９６】
また、商品情報読取装置１０は、商品登録を完了した後、会計装置３０が、登録された商品登録ファイルＦ１に係る会計処理を終了するまで、次の客の商品登録を行わないものとする。すなわち、会計装置３０は、会計処理が終了したことを商品情報読取装置１０に送信する。そして、商品情報読取装置１０は、会計装置３０から、会計処理が終了したことを示す情報を受信した場合に、図９の処理を開始する。
【００９７】
以上説明したように、実施形態の商品情報読取装置１０において、コードシンボル読取部１１３（第１の読取手段）は、撮像制御部１１１（撮像手段）が、第１のカメラ１４と第２のカメラ１５と第３のカメラ１６に撮像させた撮像した商品Ｈの画像から、商品Ｈに付されたバーコード２４（コードシシンボル）を読み取る。電子透かし読取部１１４（第２の読取手段）は、商品Ｈの画像から、商品Ｈに付された電子透かし２６を読み取る。オブジェクト認識部１１５（商品認識手段）は、商品Ｈの画像から、商品Ｈを認識する。そして、商品特定部１１７（商品特定手段）は、コードシンボル読取部１１３の読み取り結果と、電子透かし読取部１１４の読み取り結果と、オブジェクト認識部１１５の認識結果の少なくとも１つに基づいて、画像に写った商品Ｈを特定する。したがって、商品Ｈの形態によらずに、手間をかけることなく商品情報を読み取ることができる。なお、コードシンボル読取部１１３と、電子透かし読取部１１４と、オブジェクト認識部１１５と、は同じ画像に対して前記した各読み取り処理を行うのが望ましい。
【００９８】
また、実施形態の商品情報読取装置１０において、オブジェクト認識部１１５（商品認識手段）は、コードシンボル読取部１１３（第１の読取手段）又は電子透かし読取部１１４（第２の読取手段）の読み取り結果が得られた場合には、当該読み取り結果に基づいて商品Ｈを特定する。一方、コードシンボル読取部１１３及び電子透かし読取部１１４の読み取り結果が得られない場合には、オブジェクト認識部１１５の認識結果に基づいて商品Ｈを特定する。したがって、バーコード２４（コードシシンボル）の有無、電子透かし２６の有無によらずに、商品Ｈを特定することができる。
【００９９】
また、実施形態の商品情報読取装置１０において、バーコード２４（コードシシンボル）及び電子透かし２６が付されない商品Ｈは、トレイ２０に収容した状態で、撮像制御部１１１（撮像手段）が、第１のカメラ１４と第２のカメラ１５と第３のカメラ１６に、商品Ｈの画像を撮像させる。したがって、商品Ｈにバーコード２４（コードシシンボル）及び電子透かし２６が付されていないことを、容易に判定することができる。
【０１００】
また、実施形態の商品情報読取装置１０において、無線タグ読取部１１６（無線タグ読取手段）は、トレイ２０に付したＲＦＩＤタグ２２（無線タグ）が有するタグ情報を読み取る。したがって、商品情報読取装置１０は、トレイ２０があることを容易に認識することができる。
【０１０１】
また、実施形態の商品情報読取装置１０において、商品特定部１１７（商品特定手段）は、無線タグ読取部１１６（無線タグ読取手段）がトレイ２０に付されたＲＦＩＤタグ２２が有するタグ情報を読み取ったことを条件として、オブジェクト認識部１１５（商品認識手段）の認識結果に基づいて、商品Ｈを特定する。したがって、商品Ｈを特定する処理を、より一層効率的に行うことができる。
【０１０２】
なお、実施形態の商品情報読取装置１０において、読み取り対象となる商品が商品Ｈ１に限定される場合は、商品Ｈ１はトレイ２０に載置されない状態で搬送されるため、図９のステップＳ１５において、タグ情報の読み取りは行われない。したがって、オブジェクト認識部１１５は起動しない。そして、コードシンボル読取部１１３又は電子透かし読取部１１４の少なくとも一方が商品のコード情報を読み取った場合に、読み取られたコード情報に対応する商品が登録される。したがって、商品情報読取装置１０に商品Ｈ１のみを読み取らせても動作可能である。同様に、商品情報読取装置１０に商品Ｈ２のみを読み取らせても動作可能である。このように、商品情報読取装置１０に読み取らせる商品Ｈが、商品Ｈ１のみ又は商品Ｈ２のみであっても、手間をかけることなく商品情報を読み取ることができるという前記したのと同様の効果を奏する。
【０１０３】
以上、本発明の実施形態を説明したが、この実施形態は例示であり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０４】
１０            商品情報読取装置
１０ｄ          読取部
１１            ベルトコンベア
２０            トレイ
２２            ＲＦＩＤタグ（無線タグ）
２４            バーコード（コードシンボル）
２６            電子透かし
３０            会計装置
５０            商品販売データ処理システム
１１１          撮像制御部（撮像手段）
１１３          コードシンボル読取部（第１の読取手段）
１１４          電子透かし読取部（第２の読取手段）
１１５          オブジェクト認識部（商品認識手段）
１１６          無線タグ読取部（無線タグ読取手段）
１１７          商品特定部（商品特定手段）
Ｈ，Ｈ１，Ｈ２  商品
【先行技術文献】
【特許文献】
【０１０５】
【特許文献１】特開平７−３２０１４６号公報
【図１】
2020135419.tif 000003
【図２】
2020135419.tif 000004
【図３】
2020135419.tif 000005
【図４】
2020135419.tif 000006
【図５】
2020135419.tif 000007
【図６】
2020135419.tif 000008
【図７】
2020135419.tif 000009
【図８】
2020135419.tif 000010
【図９】
2020135419.tif 000011