(57)【特許請求の範囲】
【請求項１】
商品として売上登録する対象物を撮像することにより、前記対象物の画像情報を取得する画像情報取得手段と、
前記対象物の売上登録処理の際に前記画像情報取得手段により取得された前記画像情報に基づいて前記対象物に商品コードが付加されているか否かを検出する検出手段と、
前記検出手段により前記商品コードの付加が検出された場合に前記商品コードに基づいて前記対象物を商品識別する商品識別手段と、
前記商品識別手段により前記商品コードに基づいて前記対象物が商品識別された場合に、前記画像情報を、次回以後の商品識別であってオブジェクト認識に基づく商品識別の際に参照される基準画像情報として、前記商品コードに基づいて商品識別された商品と対応付けて蓄積する蓄積手段と、
前記商品コードに対応付けて予め登録されているイラスト画像を、前記蓄積手段によって前記画像情報が蓄積されるのに先立って確認的に表示させる表示制御手段と、
を備え、
前記商品識別手段は、前記検出手段により前記商品コードの非付加が検出された場合に、前記オブジェクト認識に基づいて前記対象物を商品識別することを特徴とする商品登録装置。
【請求項２】
前記商品識別手段は、前記売上登録する対象物を商品識別する際は、前記オブジェクト認識に基づいた商品識別よりも前記商品コードに基づいた商品識別を優先的に実施することを特徴とする請求項１に記載の商品登録装置。
【請求項３】
コンピュータを、
対象物の売上登録処理の際に商品として売上登録する対象物を撮像することにより、前記対象物の画像情報を取得する画像情報取得手段、
前記画像情報取得手段により取得された前記画像情報に基づいて前記対象物に商品コードが付加されているか否かを検出する検出手段、
前記検出手段により前記商品コードの付加が検出された場合に前記商品コードに基づいて前記対象物を商品識別する商品識別手段、
前記商品識別手段により前記商品コードに基づいて前記対象物が商品識別された場合に、前記画像情報を、次回以後の商品識別であってオブジェクト認識に基づく商品識別の際に参照される基準画像情報として、前記商品コードに基づいて商品識別された商品と対応付けて蓄積する蓄積手段、
前記商品コードに対応付けて予め登録されているイラスト画像を、前記蓄積手段によって前記画像情報が蓄積されるのに先立って確認的に表示させる表示制御手段、
として機能させ、
前記商品識別手段は、前記検出手段により前記商品コードの非付加が検出された場合に、前記オブジェクト認識に基づいて前記対象物を商品識別することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品登録装置及びプログラムに関する。
【背景技術】
【０００２】
近年、商品を撮像することで得られる画像データから特徴量を抽出して商品を識別し、識別した商品を売上登録する（売上商品として計上する）商品登録装置が普及しつつある。この商品登録装置をキャッシュレジスタの精算に用いることで、バーコードを付していない青果類等の売上登録が容易になり、オペレータの負担が軽減されるという利点がある。
【０００３】
例えば、特許文献１には、撮像手段で撮像された対象物の画像情報と各商品の基準画像情報とを比較し、類似度が所定範囲内にある基準画像情報に対応した商品を対象物に該当する商品候補として表示手段に表示させる情報処理装置について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−８９２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、商品の識別に用いる基準画像情報が一律に決まっているため、撮像された商品の画像情報との類似度が非常に高い基準画像情報が登録されていない限り、複数の候補の中からオペレータが選択することになる。
その結果、商品分類は同じでありながら基準画像情報（例えば、赤いりんご）との類似度がそれほど高くない商品（例えば、青いりんご）の精算を行う場合にそのたびに、前記した選択をオペレータが行う必要が生じる。このように、特許文献１に記載の技術では、商品の売上登録時に同じような煩雑な操作を繰り返さなくてはならないという問題がある。
【０００６】
そこで、本発明は、商品の売上登録の煩雑さを低減することができる商品登録装置及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明に係る商品登録装置は、商品として売上登録する対象物を撮像することにより、前記対象物の画像情報を取得する画像情報取得手段と、前記対象物の売上登録処理の際に前記画像情報取得手段により取得された前記画像情報に基づいて前記対象物に商品コードが付加されているか否かを検出する検出手段と、前記検出手段により前記商品コードの付加が検出された場合に前記商品コードに基づいて前記対象物を商品識別する商品識別手段と、前記商品識別手段により前記商品コードに基づいて前記対象物が商品識別された場合に、前記画像情報を、次回以後の商品識別であってオブジェクト認識に基づく商品識別の際に参照される基準画像情報として、前記商品コードに基づいて商品識別された商品と対応付けて蓄積する蓄積手段と、前記商品コードに対応付けて予め登録されているイラスト画像を、前記蓄積手段によって前記画像情報が蓄積されるのに先立って確認的に表示させる表示制御手段と、を備え、前記商品識別手段は、前記検出手段により前記商品コードの非付加が検出された場合に、前記オブジェクト認識に基づいて前記対象物を商品識別することを特徴とする。
また、前記課題を解決するために、本発明に係るプログラムは、コンピュータを、対象物の売上登録処理の際に商品として売上登録する対象物を撮像することにより、前記対象物の画像情報を取得する画像情報取得手段、前記画像情報取得手段により取得された前記画像情報に基づいて前記対象物に商品コードが付加されているか否かを検出する検出手段、前記検出手段により前記商品コードの付加が検出された場合に前記商品コードに基づいて前記対象物を商品識別する商品識別手段、前記商品識別手段により前記商品コードに基づいて前記対象物が商品識別された場合に、前記画像情報を、次回以後の商品識別であってオブジェクト認識に基づく商品識別の際に参照される基準画像情報として、前記商品コードに基づいて商品識別された商品と対応付けて蓄積する蓄積手段、前記商品コードに対応付けて予め登録されているイラスト画像を、前記蓄積手段によって前記画像情報が蓄積されるのに先立って確認的に表示させる表示制御手段、として機能させ、前記商品識別手段は、前記検出手段により前記商品コードの非付加が検出された場合に、前記オブジェクト認識に基づいて前記対象物を商品識別することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、商品の売上登録の煩雑さ低減することができる商品登録装置及びプログラムを提供できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態に係る商品登録装置としてのチェックアウトシステムの外観斜視図である。
【図２】商品識別装置及びＰＯＳ端末の構成図である。
【図３】商品識別装置のマイクロコンピュータを含む機能ブロック図である。
【図４】商品登録装置が実行するオブジェクト認識に基づく商品登録処理を示すフローチャートである。
【図５】商品登録装置による処理中の画面表示例であり、（ａ）はディスプレイに表示される確認画面の例であり、（ｂ）はディスプレイに表示される選択画面の例である。
【図６】商品登録装置が実行する追加登録に関する説明図である。
【図７】本発明の第２実施形態に係る商品登録装置が実行するオブジェクト認識に基づく商品登録処理を示すフローチャートである。
【図８】追加登録モードにおける表示画面の例である。
【図９】商品登録装置が実行する追加登録に関する説明図である。
【図１０】本発明の第３実施形態に係る商品登録装置が実行する商品登録処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の実施形態について、適宜図面を参照しながら詳細に説明する。以下では、商品登録装置Ｓ（図１参照）のカメラ１４（図１参照）によって撮像される商品を「対象物」と記す。また、商品を精算対象として確定することを「売上登録する」と記す。また、売上登録する際に対象物を撮像して得た画像情報を次回以後の商品の識別に用いる基準画像情報として登録することを「追加登録する」と記す。
【００１１】
≪第１実施形態≫
＜商品登録装置の概要＞
図１は、第１実施形態に係る商品登録装置ＳとしてのチェックアウトシステムＳの外観斜視図である。商品登録装置Ｓは、商品の精算等を行うための装置であり、商品識別装置１と、ＰＯＳ端末２と、を備えている。
【００１２】
商品識別装置１は、カメラ１４の撮像によって得られる画像情報から対象物に該当する商品を特定し（又は、複数の候補を提示し）、オペレータ（店員）の操作によって売上登録を行う装置である。
【００１３】
図１に示すように、商品識別装置１はカウンタ台Ｃ１に載置されている。商品識別装置１は、矩形状を呈する薄型のハウジングＨと、ハウジングＨの上に設置される表示・操作部１２と、表示・操作部１２に隣り合うキーボード１２３と、表示・操作部１２の側部に設置される顧客用ディスプレイ１２４と、を備えている。ハウジングＨの内部には、対象物を撮像するためのカメラ１４が設置されている。なお、カメラ１４の正面には、透明の読取窓Ｗが設けられている。
【００１４】
図１に示すカゴＫ１に収納された対象物は、オペレータによってカゴＫ１から個々に取り出されてカメラ１４の正面まで持ち運ばれ、カメラ１４によって撮像される。そして、カメラ１４の撮像結果に基づくオブジェクト認識の結果がディスプレイ１２１に表示され、オペレータによって売上登録の確定操作がなされた後、対象物は別のカゴＫ２に移される。このようにして、精算対象となる対象物ごとに売上登録がなされていく。なお、オブジェクト認識については後記する。
【００１５】
ＰＯＳ端末２は、商品の精算等を行うための端末であり、商品識別装置１と通信可能に接続されている。図１に示すように、ＰＯＳ端末２は、カウンタ台Ｃ２に載置されている。ＰＯＳ端末２は、ディスプレイ２２、キーボード２４、顧客用ディスプレイ２５、ドロワ２８、プリンタ２９等を備えている。なお、商品識別装置１及びＰＯＳ端末２の構成については、図２を参照しつつ、以下で説明する。
【００１６】
図２は、商品識別装置１及びＰＯＳ端末２の構成図である。商品識別装置１は、マイクロコンピュータ１１と、表示・操作部１２と、インタフェース１３と、カメラ１４と、スピーカ１５と、電源１６と、を備えている。
【００１７】
マイクロコンピュータ１１（制御手段）は、商品識別装置１が備える表示・操作部１２、カメラ１４、スピーカ１５等を制御するものであり、ＣＰＵ１１１（Central Processing Unit）と、ＲＯＭ１１２（Read Only Memory）と、ＲＡＭ１１３（Random Access Memory）と、を含んで構成される。ＣＰＵ１１１、ＲＯＭ１１２、及びＲＡＭ１１３はバス接続され、ＲＯＭ１１２に記憶されたプログラムを読み出してＲＡＭ１１３に展開し、ＣＰＵ１１１が各種処理を実行するようになっている。
ＣＰＵ１１１には、表示・操作部１２と、インタフェース１３と、カメラ１４と、スピーカ１５と、電源１６と、が内部バスや入出力回路（図示せず）を介して接続されている。
【００１８】
表示・操作部１２は、ディスプレイ１２１と、タッチパネル１２２と、キーボード１２３と、顧客用ディスプレイ１２４と、を含んで構成される。表示・操作部１２は、対象物に関するオブジェクト認識の結果等を表示するものであり、ＣＰＵ１１１によって制御される。
【００１９】
ディスプレイ１２１（表示手段）は、ＣＰＵ１１１から指令に従って、商品に関する情報をオペレータに向けて表示する。具体的に、ディスプレイ１２１は、対象物に関するオブジェクト認識の結果を表示したり（図５（ａ）参照）、該当する商品の候補を一つ又は複数表示したりする（図５（ｂ）参照）。
【００２０】
タッチパネル１２２（入力手段）は、ディスプレイ１２１によって表示された情報に関する操作を受け付ける。具体的に、タッチパネル１２２は、対象物が所定の商品であるか否かの入力を受け付けたり（例えば、「はい」／「いいえ」：図５（ａ）参照）、対象物に関する商品の候補（例えば、「りんご」／「梨」／「もも」：図５（ｂ）参照）の中からオペレータの選択を受け付けたりする。タッチパネル１２２を介して入力された情報は、インタフェース１３を介してＰＯＳ端末２に送信される。
【００２１】
キーボード１２３（入力手段）は、オペレータによる操作を受け付けるものであり、複数の操作キーを有している。具体的に、キーボード１２３は、オペレータによる商品の個数の入力を受け付けたり、商品に関する金額の入力を受け付けたりする。キーボード１２３を介して入力された情報は、インタフェース１３を介してＰＯＳ端末２に送信される。
【００２２】
顧客用ディスプレイ１２４は、ＣＰＵ１１１からの指令に従って、所定の情報を顧客に提示するものである。具体的に、顧客用ディスプレイ１２４は、オペレータによって対象物に関する売上登録が確定した場合、確定した対象物の名称、価格等を表示する。
インタフェース１３は、商品識別装置１とＰＯＳ端末２との間でデータの送受信するためのものである。インタフェース１３は、商品識別装置１が備えるバスに接続されるとともに、ＰＯＳ端末２が備えるインタフェース２６に接続されている。
【００２３】
カメラ１４（撮像手段）は、オペレータによって読取窓Ｗ（図１参照）の正面に持ち運ばれた対象物を撮像するものであり、前記したように、ハウジングＨ（図１参照）内に設置されている。カメラ１４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ２１１からの指令に従って対象物を撮像する。
例えば、カメラ１４は、３０［ｆｐｓ］の動画像の撮像を行う。カメラ１４が所定のフレームレートで順次撮像したフレーム画像（画像データ）は、ＲＡＭ１１３に保存される。
【００２４】
スピーカ１５は、ＣＰＵ１１１からの指令に従って、所定の音声を発生する。例えば、スピーカ１５は、タッチパネル１２２を介したオペレータの操作によって対象物の売上登録が確定するたびに所定の音声を発生させる。このように、顧客用ディスプレイ１２４による表示に加え、スピーカ１５から音声を出力することで、商品が売上登録されていることを確認できるようになっている。
電源１６は、商品識別装置１が備える各機器の電源であり、前記した各機器に接続されている。
【００２５】
ＰＯＳ端末２は、商品識別装置１から通知される商品ＩＤに基づき、この商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を売上マスタファイル（不図示）に記録して売上登録を行う。ＰＯＳ端末２は、マイクロコンピュータ２１と、ディスプレイ２２と、タッチパネル２３と、キーボード２４と、顧客用ディスプレイ２５と、インタフェース２６と、ＨＤＤ２７（Hard Disk Drive）と、ドロワ２８と、プリンタ２９と、電源３０と、を備えている。
【００２６】
マイクロコンピュータ２１は、ＰＯＳ端末２が備える各機器を制御するものであり、ＣＰＵ２１１、ＲＯＭ２１２、及びＲＡＭ２１３を含んで構成される。ＣＰＵ２１１、ＲＯＭ２１２、及びＲＡＭ２１３はバス接続され、ＲＯＭ２１２に記憶されたプログラムを読み出してＲＡＭ２１３に展開し、ＣＰＵ２１１が各種処理を実行するようになっている。
【００２７】
また、ＣＰＵ２１１には、ディスプレイ２２、タッチパネル２３、キーボード２４、顧客用ディスプレイ２５、インタフェース２６、ＨＤＤ２７、ドロワ２８、プリンタ２９、及び電源３０が、内部バスや入出力回路（図示せず）を介して接続されている。
【００２８】
ディスプレイ２２は、ＣＰＵ２１１からの指令に従って、商品に関する情報をオペレータに向けて表示する。タッチパネル２３は、ディスプレイ２２によって表示された情報に関する操作を受け付ける。
キーボード２４は、売上登録の仮締め（仮会計）を行う際に押下される仮締めキー２４１と、売上登録の締め（会計）を行う際に押下される締めキー２４２と、数字キー・各種演算子キーを含むテンキー２４３と、を備えている。
【００２９】
顧客用ディスプレイ２５は、ＣＰＵ２１１からの指令に従って、所定の情報を顧客に提示するものである。
インタフェース２６は、ＰＯＳ端末２と商品識別装置１との間でデータを送受信するためのものである。インタフェース２６は、ＰＯＳ端末２が備えるバスに接続されるとともに、商品識別装置１が備えるインタフェース１３に接続されている。
【００３０】
ＨＤＤ２７（記憶手段）には、プログラムや各種ファイルが格納されている。ＨＤＤ２７に記憶されているプログラムや各種ファイルはＰＯＳ端末２の起動時に、その全部又は一部がＲＡＭ２１３にコピーされ、ＲＡＭ２１３にコピーされたプログラムがＣＰＵ２１１によって実行される。ＨＤＤ２７には、各商品に関する特徴量ファイル２７１が格納されている。特徴量ファイル２７１は、店舗に陳列して販売する商品の各々について、商品の売上登録に関する情報と、その商品の基準画像情報との関連付けが設定された商品ファイルである。
【００３１】
ドロワ２８は、現金等を収納するものであり、キーボード２４を介した所定の操作によって開くようになっている。
プリンタ２９は、ＣＰＵ２１１からの指令に従って、商品に関する取引内容をレシートに印字する。
電源３０は、ＰＯＳ端末２が備える各機器の電源であり、前記した各機器に接続されている。
【００３２】
図３は、商品識別装置１のマイクロコンピュータ１１を含む機能ブロック図である。マイクロコンピュータ１１は、画像情報取得部１１ａと、対象物検出部１１ｂと、認識処理部１１ｃと、類似度算出部１１ｄと、類似度判定部１１ｅと、表示制御部１１ｆと、入力情報取得部１１ｇと、追加登録部１１ｈと、情報出力部１１ｉと、を備えている。前記した各構成の機能は、例えば商品識別装置１のＣＰＵ１１１（図２参照）が、ＲＯＭ１１２（図２参照）に格納されたプログラムを実行することによって具現化される。
【００３３】
画像情報取得部１１ａは、カメラ１４に撮像オン信号を出力してカメラ１４に撮像を実行させ、対象物を撮像することで得られるフレーム画像（画像データ）を順次取り込む。なお、画像情報取得部１１ａによるフレーム画像の取り込みは、このフレーム画像がＲＡＭ１１３（図２参照）に保存された順に行われる。
【００３４】
対象物検出部１１ｂは、画像情報取得部１１ａによって取得されたフレーム画像に含まれる対象物の全部又は一部を、パターンマッチング等に基づいて検出する。例えば、対象物検出部１１ｂは、カメラ１４によって対象物を撮像することで取り込まれたフレーム画像を二値化して輪郭線を抽出し、この輪郭線に基づいて対象物を検出する。
【００３５】
認識処理部１１ｃは、カメラ１４によって対象物を撮像することで取得されるフレーム画像から、オブジェクト認識に基づく認識処理を行う。すなわち、認識処理部１１ｃは、前記したように対象物が検出されたフレーム画像から、対象物の色合い、形状（表面の凹凸を含む）、大きさ等の特徴量を画像情報として抽出することで、対象物を認識する機能を有している。
【００３６】
このように、画像中に含まれる対象物を認識することは一般物体認識（generic object recognition）と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井 啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，2007年11月15日， Vol.48，No.SIG16、1-24頁，[平成２６年９月８日検索]，インターネット
【００３７】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献に記載されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年９月８日検索]，インターネット
【００３８】
類似度算出部１１ｄは、認識処理部１１ｃによる認識結果として抽出した特徴量等の画像情報と、ＨＤＤ２７に格納されている各商品の基準画像情報と、を比較参照し、対象物と各商品との類似度を算出する。ここで「類似度」とは、画像データ的に商品に対して対象物がどの程度類似しているかを示す値である。ちなみに、対象物の画像が商品の画像に完全一致している場合、類似度は１００％になる。また、対象物の画像が商品の画像と大きく異なっている場合、類似度は低くなる。
【００３９】
類似度判定部１１ｅは、類似度算出部１１ｄによって算出された類似度が所定範囲に含まれているか否かを判定する。
すなわち、類似度判定部１１ｅは、特徴量ファイル２７１に基準画像情報が格納されている商品のうち基準画像情報がカメラ１４で撮像した対象物の画像情報と最も類似度の高いとされた商品における基準画像情報との類似度が、第１の範囲（例えば、７０％以上）に含まれるか否か判定する。第１の範囲は、対象物に対応する商品の候補がこの最も類似度が高い商品一つに絞られ、対象物がこの商品に該当するか否かをオペレータに確認するのみで足りるように設定されている。
即ち、対象物との類似度が第１の範囲に含まれる商品が存在する場合、類似度判定部１１ｅは、最も類似度が高い商品の商品ＩＤ等を表示制御部１１ｆに出力する。
【００４０】
また、類似度判定部１１ｅは、対象物の画像情報と、各商品の基準画像情報と、の類似度が第２の範囲（例えば、５０％〜７０％）に含まれるか否かを判定する。第２の範囲は、対象物に該当する可能性がある商品が一つ又は複数存在するものの、どの商品に該当するかを確定できない範囲として設定されている。
対象物との類似度が第１の範囲に含まれる商品が存在せず、かつ、第２の範囲に含まれる商品が一つ又は複数存在する場合、類似度判定部１１ｅは、当該商品の商品ＩＤ等を表示制御部１１ｆに出力する。
【００４１】
また、類似度判定部１１ｅは、対象物の画像と、商品の画像と、の類似度が第３の範囲（例えば、５０％未満）であるか否かを判定する。第３の範囲は、対象物に類似する商品が見つからない範囲として設定されている。
対象物との類似度が第３の範囲に含まれる商品しか存在しない（つまり、第１の範囲、第２の範囲に含まれる商品は存在しない）場合、類似度判定部１１ｅは、その旨の情報を表示制御部１１ｆに出力する。
【００４２】
表示制御部１１ｆは、類似度判定部１１ｅの判定結果に基づき、ディスプレイ１２１に所定の画面を表示する。
具体的に、対象物との類似度が第１の範囲（例えば、７０％以上）に含まれる商品が存在する場合、表示制御部１１ｆは、当該商品に関する確認画面（図５（ａ）参照）をディスプレイ１２１に表示させる。
【００４３】
また、対象物との類似度が第２の範囲（例えば、５０％〜７０％）に含まれる商品が存在する場合、表示制御部１１ｆは、商品候補として当該商品に関する選択画面（図５（ｂ））をディスプレイ１２１に表示させる。
また、対象物との類似度が第３の範囲（例えば、５０％未満）に含まれる商品しか存在しない場合、表示制御部１１ｆは、対象物に類似する商品が見つからない旨のエラーメッセージをディスプレイ１２１に表示させる。
【００４４】
入力情報取得部１１ｇは、タッチパネル１２２を介したオペレータの操作を受け付ける機能を有している。具体的には、入力情報取得部１１ｇは、前記した確認画面（図５（ａ））がディスプレイ１２１に表示された場合、表示された商品に対象物が該当するか否かの確認入力を受け付ける。
また、入力情報取得部１１ｇは、前記した選択画面（図５（ｂ））がディスプレイ１２１に表示された場合、商品の候補の中からの選択入力を受け付ける。
【００４５】
追加登録部１１ｈは、タッチパネル１２２を介した操作によって、商品の候補から対象物に該当する商品が特定された場合、対象物が当該商品に含まれるように対象物の画像情報を当該商品の基準画像情報として追加登録を行う。具体的には、対象物との類似度が第２の範囲（例えば、５０％以上７０％未満）に含まれる商品の中から一の商品が選択された場合、追加登録部１１ｈは、この対象物が次回から当該商品に含まれる（つまり、類似度７０％以上であると判定される）ように追加登録を行う。そして、追加登録部１１ｈは、追加登録に関する情報を特徴量ファイル２７１に格納する。なお、追加登録に関する処理の詳細については後記する。
【００４６】
情報出力部１１ｉは、入力情報取得部１１ｇによって取得される情報をＰＯＳ端末２に出力する機能を有している。具体的に、情報出力部１１ｉは、オペレータによりタッチパネル１２２を介して確認又は選択された商品の商品ＩＤ等を、ＰＯＳ端末２の売上登録部２１ａに出力する。また、キーボード１２３（図２参照）等介して商品リストの中から商品が選択された場合、情報出力部１１ｉは、この商品の商品ＩＤ等をＰＯＳ端末２に出力する。
【００４７】
ＰＯＳ端末２の売上登録部２１ａは、オペレータによって確認又は選択された商品の売上登録を行う機能を有している。売上登録部２１ａによる売上登録の結果は、ＨＤＤ２７に格納されるとともに、プリンタ２９（図２参照）によってレシートに印字される。
【００４８】
＜商品登録装置の動作＞
図４は、商品登録装置Ｓが実行するオブジェクト認識に基づく商品登録処理を示すフローチャートである。なお、図４に示す一連の処理は、オペレータの操作によって、カゴＫ１（図１参照）に収納された対象物（商品）の精算が行われている状況で実行される。
【００４９】
ステップＳ１０１において商品登録装置Ｓは、対象物検出部１１ｂによって、対象物が検出されたか否かを判定する。具体的には、オペレータが対象物を読取窓Ｗ（図１参照）の前にかざすと、カメラ１４によって対象物が撮像され、撮像結果として得られる画像データに基づき対象物検出部１１ｂによって対象物が検出される。
ステップＳ１０１で対象物が検出された場合（Ｓ１０１→Ｙｅｓ）、商品登録処理はステップＳ１０２に進む。一方、対象物が検出されていない場合（Ｓ１０１→Ｎｏ）、商品登録装置ＳはステップＳ１０１の処理を繰り返す。
【００５０】
ステップＳ１０２において商品登録装置Ｓは、認識処理部１１ｃによって、オブジェクト認識処理を行う（認識処理ステップ）。すなわち、商品登録装置Ｓは、カメラ１４による撮像で得られた対象物の画像データから、対象物の色合い、形状、大きさ等の特徴量を画像情報として抽出する。
ステップＳ１０３において商品登録装置Ｓは、類似度算出部１１ｄによって、カメラ１４によって撮像された対象物と、特徴量ファイル２７１に登録されている各商品と、の類似度αを算出する（類似度算出ステップ）。即ち、商品登録装置Ｓは、カメラ１４によって撮像された対象物の画像情報と、特徴量ファイル２７１に登録されている各商品の基準画像情報と、の類似度αを算出する。
【００５１】
ステップＳ１０４において商品登録装置Ｓは、類似度判定部１１ｅによって、対象物との類似度αが閾値α１（例えば、７０％）以上の商品が存在するか否かを判定する。なお、閾値α１以上という範囲は、前記した「第１の範囲」に相当する。類似度αが閾値α１以上の商品が存在する場合（Ｓ１０４→Ｙｅｓ）、商品登録装置Ｓの処理はステップＳ１０５に進む。
【００５２】
ステップＳ１０５において商品登録装置Ｓは、表示制御部１１ｆによって、ディスプレイ１２１に類似度αが最も高い商品の画像が表示される確認画面を表示する。図５（ａ）は、ディスプレイ１２１に表示される確認画面の例である。
例えば、商品「りんご」に対応付けて、赤いりんごの画像データに基づく特徴量が基準画像情報として特徴量ファイル２７１に格納されている場合を考える。カメラ１４によって撮像された対象物が、特徴量ファイル２７１に登録された商品によく似た赤いりんごであり、類似度αが閾値α１以上である場合（Ｓ１０４→Ｙｅｓ）、ディスプレイ１２１には図５（ａ）に示す確認画面が表示される。即ち、類似度αが最も高い商品として「りんご」の画像が、「はい」／「いいえ」の選択項目とともに表示される。
【００５３】
ステップＳ１０６において商品登録装置Ｓは、対象物が、ディスプレイ１２１に表示した商品に該当する旨の入力がなされたか否かを判定する。具体的には、オペレータの操作によって、図５（ａ）に示す「はい」／「いいえ」のいずれが選択されたかを判定する。
オペレータによって「はい」（図５（ａ）参照）が選択された場合、つまり、ディスプレイ１２１に表示した商品「りんご」に対象物が該当する場合（Ｓ１０６→Ｙｅｓ）、商品登録処理はステップＳ１０７に進む。
一方、オペレータの操作によって「いいえ」（図５（ａ）参照）が選択された場合、つまり、ディスプレイ１２１に表示した商品「りんご」に対象物が該当しない場合（Ｓ１０６→Ｎｏ）、商品登録処理はステップＳ１１０に進む。
【００５４】
ステップＳ１０７において商品登録装置Ｓは、商品である対象物（例えば、りんご）の売上登録を行う。つまり、商品登録装置Ｓは、ステップＳ１０６で表示した商品の商品ＩＤ等を商品識別装置１からＰＯＳ端末２に送信する。
ステップＳ１０８において商品登録装置Ｓは、商品の取引（一連の売上登録）を終了するか否かを判定する。オペレータによって取引の終了操作がなされた場合（Ｓ１０８→Ｙｅｓ）、商品登録装置Ｓは商品登録処理を終了する（ＥＮＤ）。一方、オペレータによって取引の終了操作がなされていない場合（Ｓ１０８→Ｎｏ）、商品登録処理はステップＳ１０１に戻る。
【００５５】
また、ステップＳ１０４において対象物との類似度αが閾値α１（例えば、７０％）以上の商品が存在しない場合（Ｓ１０４→Ｎｏ）、商品登録処理はステップＳ１０９に進む。
ステップＳ１０９において商品登録装置Ｓは、類似度判定部１１ｅによって、対象物との類似度αが、閾値α２（例えば、５０％）以上かつ閾値α１（例えば、７０％）未満の商品が存在するか否かを判定する。なお、閾値α２以上かつ閾値α１未満の範囲は、前記した「第２の範囲」に相当する。
【００５６】
対象物との類似度αが閾値α２以上かつ閾値α１未満の商品が存在する場合（Ｓ１０９→Ｙｅｓ）、商品登録処理はステップＳ１１０に進む。例えば、特徴量ファイル２７１には商品「りんご」として赤いりんごの画像データに基づく基準画像情報がＨＤＤ２７に登録されているものの、それ以外の色のりんごの画像データに基づく基準画像情報が登録されていないことがある。この場合、例えば、対象物である青いりんごに関して商品「りんご」との類似度は、閾値α２以上かつ閾値α１未満の範囲に含まれる可能性が高い。
【００５７】
ステップＳ１１０において商品登録装置Ｓは、表示制御部１１ｆによって、候補となる一つ又は複数の商品をディスプレイ１２１に表示させる（表示制御ステップ）。
図５（ｂ）は、ディスプレイ１２１に表示される選択画面の例である。なお、カメラ１４によって撮像される対象物は、例えば、青いりんごである。図５（ｂ）に示す例では、商品候補として「りんご」（基準画像情報は、赤いりんごの画像データに基づいている）、「梨」、「もも」が画面右側に表示されている。また、画面中央には、右側の候補商品の中からオペレータが選択した商品「りんご」が表示されている。
【００５８】
図４のステップＳ１１１において商品登録装置Ｓは、候補の中から一つの商品が選択されたか否かを判定する。つまり、商品登録装置Ｓは、オペレータによって選択された商品（図５（ｂ）では、商品「りんご」）に関して、さらに「確定」が押下されたか否かを判定する。
【００５９】
ステップＳ１１２において商品登録装置Ｓは、追加登録部１１ｈによって、商品の追加登録を行う（追加登録ステップ）。すなわち、商品登録装置Ｓは、対象物（例えば、青いりんご）の画像データから得られた特徴量等の画像情報を、ステップＳ１１１で選択された商品（例えば、りんご）を示す基準画像情報の一つとして追加登録する。
図６は、商品登録装置Ｓが実行する追加登録に関する説明図である。図６に示す説明図の横軸（特徴量Ｘ）は、例えば、商品の色合いを示す特徴量であり、縦軸（特徴量Ｙ）は、例えば、商品の形状を示す特徴量である。なお、図６は、２次元で模式的に図示したものであり、特徴量の次元数は図６に示すものに限定されない。
【００６０】
即ち、図６に示す特徴量Ｘ１，Ｙ１は、この商品の基準画像情報（例えば、赤いりんご）の概念図である。点Ｐ１は、前記した基準画像情報に対応する特徴ベクトルを表している。領域Ｑ１（斜線部分）は、商品（例えば、りんご）に関する類似度が閾値α１（例えば、７０％）以上の領域であり、予め設定されている。
また、領域Ｒ１は、商品に関して類似度が閾値α２（例えば、５０％）以上かつα１（例えば、７０％）未満の領域である。特徴量Ｘ２，Ｙ２で特定される点Ｐ２は、ステップＳ１１２で商品として追加登録される対象物（例えば、青いりんご）の特徴ベクトルである。
【００６１】
前記したステップＳ１１２において商品登録装置Ｓは、対象物の画像に対応する点Ｐ２を含む所定領域Ｑ２を、商品との類似度が閾値α１以上となる領域として新たに追加する。これによって、商品との類似度が閾値α１以上となる領域は、領域Ｑ１，Ｑ２の和集合の領域まで拡大される。したがって、対象物である青いりんごを追加登録した後、さらに同様の青いりんご（対象物）がカメラ１４で撮像された場合、図５（ｂ）に示す選択画面ではなく、図５（ａ）に示す確認画面が表示される。
【００６２】
つまり、オペレータは、青いりんごが「りんご」に該当するか否かを判断すればよく、図５（ｂ）の選択画面に示すように複数の商品（りんご、梨、もも）の中から一つの商品を選び、さらに確定操作するといった煩雑な操作をする必要がない。したがって、オペレータの負担を従来よりも軽減できるとともに、商品「りんご」として青いりんごを容易に追加登録もできる。
このようにして、商品「りんご」として様々な特徴を有するりんご（青いりんご、大きめのりんご等）が追加登録され、類似度が閾値α１以上となる領域（図６では、領域Ｑ１，Ｑ２）が徐々に拡大されていく。
【００６３】
再び、図４に戻って説明を続ける。
ステップＳ１１３において商品登録装置Ｓは、ステップＳ１１１で選択された商品（つまり、対象物）の売上登録を行い、当該商品の商品ＩＤ等を商品識別装置１からＰＯＳ端末２に送信する。
また、ステップＳ１０９において類似度αが閾値α２以下であった場合（Ｓ１０９→Ｎｏ）、商品登録処理はステップＳ１１４に進む。ステップＳ１１４において商品登録装置Ｓは、例えば、「該当する商品が見つかりません」といったメッセージをディスプレイ１２１に表示する（エラー表示）。この場合にオペレータは、キーボード１２３等を介した操作によって追加登録をキャンセルし、例えばキーボード１２３に割り付けられた商品リストの中から対象物に該当する商品を選択する。
【００６４】
＜効果＞
本実施形態では、対象物との類似度が閾値α２以上かつ閾値α１未満の商品の中から一つの商品がオペレータによって選択された場合、この商品に対する対象物の類似度が閾値α１以上となるように追加登録される。そして、同様の対象物がカメラ１４で撮像された場合、次回からはオペレータは対象物が当該商品に該当するか否かを確認（「はい」／「いいえ」）すれば足りるため、オペレータの負担を従来よりも軽減できる。
【００６５】
また、オペレータが行う売上登録の操作（図５（ｂ）に示す確認画面での選択）に応じて、前記した追加登録が自動的にされていく。つまり、商品の基準画像情報（例えば、赤いりんご）と若干異なる対象物（例えば、青いりんご）を売上登録する機会を利用して、そのまま追加登録される。したがって、例えば、商品「りんご」に関して様々な特徴を有するりんごをオブジェクト認識可能なりんごとして容易に追加登録できる。
【００６６】
また、追加登録を行う過程で、類似度に関する閾値α１以上の領域（図６に示す領域Ｑ１，Ｑ２）が徐々に拡大されるため、図５（ｂ）に示す選択画面を表示する回数が徐々に減っていく。したがって、売上登録を行う際のオペレータの負担を軽減できる。
【００６７】
≪第２実施形態≫
第２実施形態は、第１実施形態と比較して、互いに異なる特徴を有する商品（例えば、赤いりんご／青いりんご）を別々の商品として追加登録する点が第１実施形態と異なっているが、その他の主要部（商品識別装置１、ＰＯＳ端末２の構成：図１〜図３参照）については第１実施形態と同様である。したがって、第１実施形態と異なる部分について説明し、重複する部分については説明を省略する。
【００６８】
図７は、商品登録装置Ｓが実行するオブジェクト認識に基づく商品登録処理を示すフローチャートである。
図７に示すステップＳ１０１〜Ｓ１１１，Ｓ１１４については、第１実施形態（図４参照）と同様であるから説明を省略する。
ステップＳ１１１において候補となる商品の中から一つの商品がオペレータによって選択された場合（Ｓ１１１→Ｙｅｓ）、商品登録処理はステップＳ２０１に進む。
【００６９】
ステップＳ２０１において商品登録装置Ｓは、オペレータの操作によって「追加登録モード」が選択されたか否かを判定する。なお、「追加登録モード」とは、例えば、対象物である青いりんごの視覚的な特徴（色合い）を入力し、赤いりんごとは別の商品として青いりんごを追加登録するモードである。追加登録モードの決定ボタンは、例えば、図５（ｂ）に示す選択画面中に表示され、オペレータが当該ボタンに触れることで追加登録モードに入るようになっている。
追加登録モードが選択された場合（Ｓ２０１→Ｙｅｓ）、商品登録処理はステップＳ２０２に進む。一方、追加登録モードが選択されずに「確定」（図５（ｂ）参照）された場合（Ｓ２０１→Ｎｏ）、商品登録装置ＳはステップＳ１０７で売上登録を行う。
【００７０】
図８は、追加登録モードにおける表示画面の例である。なお、カメラ１４によって撮像された対象物は、比較的大きな青いりんごであるものとする。
図８に示す例では、商品「りんご」のイラスト画像の横に、色（赤いりんご／青いりんご）、及びサイズ（Ｓ／Ｍ／Ｌ）の選択ボタンが表示されている。
【００７１】
なお、商品が有する特徴（色、大きさ、形状等）のうち、ディスプレイに表示させる特徴については、商品ごとに予め設定されている。また、商品の形状に関する特徴を選択したり、商品名称、金額等を変更できるようにしてもよい。
【００７２】
図７のステップＳ２０２において商品登録装置Ｓは、オペレータの操作によって付加情報が入力されたか否かを判定する。ここで「付加情報」とは、商品の色合い、形状、大きさといった外観に関する特徴の他、商品名称、単価等も含む情報である。図８に示す例では、商品の色合い及び大きさ（サイズ）を選択可能になっている。
【００７３】
オペレータの操作によって付加情報が入力された場合（Ｓ２０２→Ｙｅｓ）、商品登録処理はステップＳ２０３に進む。一方、オペレータの操作によって付加情報が入力されていない場合（Ｓ２０２→Ｎｏ）、商品登録装置ＳはステップＳ２０２の処理を繰り返す。
【００７４】
ステップＳ２０３において商品登録装置Ｓは、追加登録部１１ｈによって、対象物に関する追加登録を行う（追加登録ステップ）。
図８に示す例では、色合いに関して「青いりんご」が選択され、サイズに関して「Ｌサイズ」が選択されている。この状態で「確定」が押下された場合、対象物は、商品「りんご」ではなく商品「Ｌサイズの青いりんご」として追加登録される。
【００７５】
図９は、商品登録装置Ｓが実行する追加登録に関する説明図である。なお、図９に示す説明図の横軸（特徴量Ｘ）は、例えば、商品の色合いである。また、縦軸（特徴量Ｙ）は、例えば、商品の大きさである。また、図９に示す領域Ｒ１は、赤いりんご、青いりんご、Ｓ，Ｍ，Ｌサイズのりんご等を含む商品「りんご」の領域である。
【００７６】
例えば、カメラ１４によって撮像された対象物（Ｌサイズの青いりんご）の特徴ベクトルが点Ｐ３に存在する場合、商品登録装置Ｓは、点Ｐ３を含む所定領域Ｑ３を商品「Ｌサイズの青いりんご」として追加登録する。
また、例えば、カメラ１４によって撮像された対象物（Ｍサイズの赤いりんご）の特徴ベクトルが点Ｐ４に存在する場合、商品登録装置Ｓは、点Ｐ４を含む所定領域Ｑ４を「Ｍサイズの赤いりんご」として追加登録する。
【００７７】
このようにして、各特徴を有するりんごが互いに区別されるよう追加登録される。なお、追加登録が行われた場合、これまで商品「りんご」に割り当てられていたものとは別の商品ＩＤが領域Ｑ３，Ｑ４に係る商品にそれぞれ割り当てられる。そして、商品ＩＤ及び領域Ｑ３，Ｑ４を特定するための特徴量等の画像情報が、基準画像情報として特徴量ファイル２７１に格納される。したがって、この後に、Ｌサイズの青いりんごが対象物としてカメラ１４で撮像された場合、この対象物は「りんご」ではなく、「Ｌサイズの青いりんご」として認識される。
【００７８】
図７のステップＳ２０３で追加登録を行った後、ステップＳ２０４において商品登録装置Ｓは、対象物であるＬサイズの青いりんごについて売上登録を行う。
【００７９】
＜効果＞
本実施形態によれば、一つの商品（例えば、「りんご」）として特徴量ファイル２７１に格納されていた商品に関し、付加情報が追加された別の商品として追加登録を行うことができる。そして、追加登録によって細かく区分された各商品に関するデータがＨＤＤ２７に蓄積される。したがって、例えば、どのような特徴を有する商品が他と比べて売上が高いか、といった分析を行う際のデータとして、追加登録後の特徴量ファイル２７１を用いることができる。
【００８０】
また、特徴に関する選択肢の中からオペレータが選択することで、前記した追加登録が次々に行われる。したがって、商品の追加登録を容易に行うことができ、追加登録を行う際のオペレータの負担を軽減できる。
【００８１】
≪第３実施形態≫
第３実施形態は、商品コード取得部（図示せず）によって対象物の商品コードを取得し、この商品コードに対応する商品に関して追加登録を行う点が第１実施形態とは特に異なっている。以下、第１実施形態と異なる部分について説明し、重複する部分については説明を省略する。
【００８２】
本実施形態に係る商品登録装置Ｓのマイクロコンピュータ１１（図２参照）は、カメラ１４によって撮像された対象物の画像データから対象物に貼付された商品コードを読み取る商品コード取得部（図示せず）を備えている。前記した商品コードとは、バーコードやＱＲコード（登録商標）等、商品を一意に特定するための情報である。
【００８３】
以下では、商品コード取得部（図示せず）によって商品コードが読み取られた場合の処理について説明するが、商品コードが読み取れなった場合には第１実施形態と同様にオブジェクト認識に基づく商品登録処理（図４参照）が行われるものとする。
【００８４】
図１０は、商品登録装置Ｓが実行する商品登録処理を示すフローチャートである。
ステップＳ３０１において商品登録装置Ｓは、カメラ１４によって撮像された対象物の画像データから対象物に貼付された商品コードが商品コード取得部（図示せず）によって読み取れたか否か、即ち対象物の商品コードを取得できたか否かを判定する。対象物に商品コードが貼付されておりこの商品コードが読み取れた場合（Ｓ３０１→Ｙｅｓ）、商品登録処理はステップＳ３０２に進む。このように商品コードを取得することで、商品コードとともにカメラ４によって撮像された対象物がどの商品に該当するかを一意に特定できる。
【００８５】
ステップＳ３０２において商品登録装置Ｓは、ステップＳ３０１で取得した商品コードに対応する商品情報をＨＤＤ２７から読み出す。ここで読み出す商品情報は、商品のイラスト画像、商品ＩＤ、商品分類、商品名称、単価等であり、商品コードに対応付けてＨＤＤ２７に格納されている。このステップＳ３０２では読み出さないものの、ＨＤＤ２７に格納されている商品情報には基準画像情報等も含まれている。
【００８６】
なお、ステップＳ３０２の処理は、オペレータに対して確認的に商品情報を表示するための読み出し処理であり、オペレータが所定の操作を行う必要はない。なぜなら、対象物に対応する商品は、商品コードによって一意に特定されているからである（Ｓ３０１）。したがって、オペレータが目視で商品の確認又は選択を行う場合と比較して、商品の誤登録をなくすことができるとともにオペレータの負担を軽減できる。
【００８７】
ステップＳ３０３において商品登録装置Ｓは、前記した商品情報をディスプレイ１２１に表示する。例えば、商品登録装置Ｓは、商品のイラスト画像の他、商品名称、単価等をディスプレイ１２１に表示する。
ステップＳ３０４において商品登録装置Ｓは、認識処理部１１ｃによって、オブジェクト認識処理を実行し、商品コードとともにカメラ１４によって撮像された対象物の画像データから特徴量等を画像情報として抽出する。なお、オブジェクト認識処理については、第１実施形態で説明したステップＳ１０２（図４参照）の処理と同様である。
【００８８】
ステップＳ３０５において商品登録装置Ｓは、対象物に関する画像情報を基準画像情報の一つとして追加登録を行う。すなわち、商品登録装置Ｓは、対象物（例えば、りんご）が、ステップＳ３０１で取得した商品コードに対応する商品（例えば、りんご）に含まれるように追加登録を行う。
つまり、この第３実施形態では、商品コードに基づいて対象物を識別しつつ同時に得られた画像データに基づいた画像情報を、商品コードに基づいて特定された商品の基準画像情報として蓄積していくことにより、色や形状、大きさ等が個々に微妙に異なる商品に対してもオブジェクト認識によってより精度よく識別可能なように商品登録装置Ｓが学習するように構成されている。
また、この第３実施形態では、商品登録装置Ｓは、オブジェクト認識に基づく商品の特定よりも、商品コードに基づく商品の特定を優先させる。つまり、カメラ１４で撮像された対象物に商品コードが貼付されていた場合、オブジェクト認識による商品識別よりも商品コードによる商品識別の方を優先させる。これは、商品コードと商品との対応関係の方が、オブジェクト認識の結果よりも信頼性が高いからである。
なお、ステップＳ３０５の対象物に関する追加登録に関しては、第１実施形態で説明したステップＳ１１２（図４参照）と同様である。
【００８９】
このように追加登録を行うことで、その後の売上登録中に商品コードが付されていない（又は、読み取れない）場合でも、オブジェクト認識に基づいて対象物を適切に特定できる。例えば、対象物である青いりんごを商品「りんご」として追加登録した後、同様の対象物（青いりんご）が撮像され、かつ、商品コードが読み取れなかった場合でも、オブジェクト認識に基づいて対象物を商品「りんご」として特定できる。
その結果、ディスプレイ１２１に商品の確認画面（図５（ａ）参照）が表示されるため、オペレータが複数の商品（図５（ｂ）参照）の中から商品「りんご」を選択する手間を省くことができる。
【００９０】
図１０のステップＳ３０５で追加登録を行った後、ステップＳ３０６において商品登録装置Ｓは、商品の売上登録を行う。つまり、商品登録装置Ｓは、ステップＳ３０１で取得した商品の商品ＩＤ等を商品識別装置１からＰＯＳ端末２に送信する。
【００９１】
また、ステップＳ３０１で対象物の商品コードを取得できなかった場合（Ｓ３０１→Ｎｏ）、商品登録処理はステップＳ３０７に進む。ステップＳ３０７において商品登録装置Ｓは、オブジェクト認識に基づく商品の追加登録・売上登録を行う。なお、ステップＳ３０７の処理は、第１実施形態で説明したステップＳ１０１〜Ｓ１１４（図４参照）と同様であるから、説明を省略する。
【００９２】
＜効果＞
本実施形態によれば、商品コード取得部（図示せず）によって商品コードが取得された場合、オブジェクト認識の結果よりも商品コードの方を優先して商品を特定するため、売上登録を行う際の誤りを防止できる。
また、商品コードが読み取られた場合には、オペレータが確認画面（図５（ａ）参照）や選択画面（図５（ｂ）参照）で操作する必要がない。したがって、売上登録を行う際のオペレータの負担を大幅に軽減できる。
また、商品コードに基づいて対象物を識別しつつ同時に得られた画像データに基づいた画像情報を、商品コードに基づいて特定された商品の基準画像情報として蓄積していくことにより、たとえ商品コードが読み取れなかった場合であっても、豊富な基準画像情報に基づき、色や形状、大きさ等が個々に微妙に異なる商品に対してもオブジェクト認識によってより精度よく識別可能になる。
【００９３】
≪変形例≫
以上、本発明に係る商品登録装置Ｓについて各実施形態により説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、第１実施形態では、対象物に関して類似度が閾値α１（例えば、７０％）以上である商品が存在する場合（Ｓ１０４→Ｙｅｓ：図４参照）、表示制御部１１ｆによってディスプレイ１２１に確認画面（図６（ａ）参照）が表示される場合について説明したが、これに限らない。すなわち、閾値α１を充分に高くして（例えば、９０％）、オペレータによる確認操作なしで売上登録を行うようにしてもよい。
【００９４】
また、第２実施形態では、追加登録モードに入るか否かをオペレータに問い合わせる（Ｓ２０１：図７参照）場合について説明したが、これに限らない。すなわち、対象物に対応する商品が選択されるたびに（Ｓ１１１→Ｙｅｓ：図７参照）、この商品に関する付加情報をディスプレイ１２１に表示するようにしてもよい。なお、各商品の付加情報は、図８に示すように選択肢として表示してもよいし、空欄にしてオペレータが入力できるようにしてもよい。
【００９５】
また、オブジェクト認識を行う際に取得した対象物の色合いに関する情報を、前記した付加情報として追加登録部１１ｈが追加するようにしてもよい。これによって、オペレータが色合いに関する付加情報を入力する手間を省くことができる。
【００９６】
また、前記実施形態は、適宜組み合わせることができる。例えば、第２実施形態と第３実施形態とを組み合わせ、次のような処理を行うようにしてもよい。すなわち、商品コード取得部（図示せず）によって対象物の商品コードが取得された場合、マイクロコンピュータ１１が、オブジェクト認識に基づく商品の候補の特定よりも優先して、商品コードに対応する商品及び付加情報を特定し、この付加情報を有する商品として対象物を新たに追加登録するようにしてもよい。
【００９７】
例えば、赤いりんご／青いりんごを異なる商品として追加登録する場合、オペレータは、赤いりんご／青いりんごにそれぞれ異なるバーコードを貼り付ける。このバーコードに対応付けて、各商品の商品ＩＤ、商品名称、単価等の他、商品の色合いを含む付加情報がＨＤＤ２７に格納されている。
【００９８】
ちなみに、店舗に陳列する赤いりんご／青いりんご全てにバーコードを貼り付ける必要はなく、１個の赤いりんご、及び１個の青いりんごにバーコードを張り付ければ足りる。これは、いったん付加情報に基づく追加登録がなされれば、その後はオブジェクト認識で各商品を識別できるからである。
そして、対象物である赤いりんご／青いりんごを、付加情報を有する商品として新たに追加登録していく。これによって、それまで一つの商品として扱っていた「りんご」を、「赤いりんご」／「青いりんご」として区別することができ、各商品に関する売上データ等を蓄積できる。
【００９９】
また、各実施形態で説明した処理（図４、図７、図１０参照）を、プログラムによって別のコンピュータに実行させるようにしてもよい。前記したプログラムは、通信回線を介して提供することもできるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１００】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
【０１０１】
（付記）
［１］
撮像手段により撮像された対象物をオブジェクト認識に基づいて商品識別して売上登録可能な商品登録装置であって、
売上登録する際に取得した前記対象物の画像情報を、次回以後のオブジェクト認識に基づく商品識別の際に参照される基準画像情報として蓄積する制御手段を備えることを特徴とする商品登録装置である。
［２］
対象物に対応付けられた商品コードを読み取る商品コード取得部を備え、
前記制御手段は、前記商品コード取得部により読み取られた商品コードに対応付けられた対象物の画像情報が該商品コードに基づいて識別される商品に対応付けられた基準画像情報となるように、前記商品コードが対応付けられた対象物の画像情報を基準画像情報として蓄積することを特徴とする［１］に記載の商品登録装置である。
［３］
前記商品コード取得部により商品コードを読み取ることができなかった場合に、前記撮像手段により撮像された対象物をオブジェクト認識に基づいて商品識別することを特徴とする［２］に記載の商品登録装置である。
［４］
対象物の画像情報に対する類似度が第一閾値以上になる基準画像情報がなく、且つ、該類似度が第二閾値以上から前記第一閾値未満までの範囲になる基準画像情報がある場合に、該類似度が前記第二閾値以上から前記第一閾値未満までの範囲になる基準画像情報に基づいて前記対象物に該当する商品の候補を表示する表示手段を備えることを特徴とする［１］から［３］のいずれか一つに記載の商品登録装置である。
［５］
前記制御手段は、前記表示手段により表示された候補の中からいずれか1つの商品が選択された場合に、該選択された商品の基準画像情報として前記対象物の画像情報を蓄積することを特徴とする［４］に記載の商品登録装置である。
【符号の説明】
【０１０２】
Ｓ  商品登録装置
１  商品識別装置
１１  マイクロコンピュータ（制御手段）
１１ａ  画像情報取得部
１１ｂ  対象物検出部
１１ｃ  認識処理部
１１ｄ  類似度算出部
１１ｅ  類似度判定部
１１ｆ  表示制御部
１１ｇ  入力情報取得部
１１ｈ  追加登録部
１１ｉ  情報出力部
１２  表示・操作部
１３  インタフェース
１４  カメラ（撮像手段）
１１１  ＣＰＵ
１１２  ＲＯＭ
１１３  ＲＡＭ
１２１  ディスプレイ（表示手段）
１２２  タッチパネル（入力手段）
１２３  キーボード（入力手段）
２  ＰＯＳ端末
２１  マイクロコンピュータ
２７  ＨＤＤ（記憶手段）
２７１  特徴量ファイル
２１ａ  売上登録部
【図１】
0006555866.tif 000002
【図２】
0006555866.tif 000003
【図３】
0006555866.tif 000004
【図４】
0006555866.tif 000005
【図５】
0006555866.tif 000006
【図６】
0006555866.tif 000007
【図７】
0006555866.tif 000008
【図８】
0006555866.tif 000009
【図９】
0006555866.tif 000010
【図１０】
0006555866.tif 000011