(57)【特許請求の範囲】
【請求項１】
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、
物体を撮像して、前記物体の撮像画像を取得する撮像部と、
前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断部と、
前記類似度判断部で特定された前記対象商品の前記商品情報を、商品の売上情報に登録する登録部と、
前記取扱商品に係る所定の指示情報を検知する指示検知部と、
を備え、
前記類似度判断部は、前記指示検知部で前記所定の指示情報が検知されたときには、前記類似度の判断対象を、前記基準画像情報が前記商品辞書に登録されている取扱商品のうち予め前記指示情報と対応付けて登録されている取扱商品に限定したうえで、前記対象商品を特定する
ことを特徴とする商品登録装置。
【請求項２】
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、
物体を撮像して、前記物体の撮像画像を取得する撮像部と、
前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断部と、
前記類似度判断部で特定された前記対象商品の前記商品情報を、商品の売上情報に仮登録する仮登録部と、
前記取扱商品に係る所定の指示情報を検知する指示検知部と、
を備え、
前記類似度判断部は、前記指示検知部で前記所定の指示情報が検知されたときには、前記類似度の判断対象を、商品情報が前記仮登録部により仮登録された取扱商品に限定したうえで、前記対象商品を特定する
ことを特徴とする商品登録装置。
【請求項３】
請求項１又は請求項２に記載の商品登録装置において、
前記類似度判断部は、前記指示検知部で前記指示情報が検知されたときに、類似度の判断に用いる閾値を下げて、前記対象商品を特定する
ことを特徴とする商品登録装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の商品登録装置において、
前記指示情報は、前記撮像画像の中に写っているオペレータのジェスチャー又は手の形状に応じて予め規定された内容の情報、オペレータによって音声入力部から入力される音声の内容に応じて予め規定された内容の情報、または、オペレータによってキー入力部から入力されるキー情報に応じて予め規定された内容の情報である
ことを特徴とする商品登録装置。
【請求項５】
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置が実行する商品特定方法であって、
前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断ステップと、
前記類似度判断ステップで特定された前記対象商品の前記商品情報を、商品の売上情報に登録する登録ステップと、
を有し、
前記類似度判断ステップは、指示検知部で所定の指示情報が検知されたときには、前記類似度の判断対象を、前記基準画像情報が前記商品辞書に登録されている取扱商品のうち予め前記指示情報と対応付けて登録されている取扱商品に限定したうえで、前記対象商品を特定する
ことを特徴とする商品特定方法。
【請求項６】
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置が実行する商品特定方法であって、
前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断ステップと、
前記類似度判断ステップで特定された前記対象商品の前記商品情報を、商品の売上情報に仮登録する仮登録ステップと、
を有し、
前記類似度判断ステップは、指示検知部で所定の指示情報が検知されたときには、前記類似度の判断対象を、商品情報が前記仮登録ステップで仮登録された取扱商品に限定したうえで、前記対象商品を特定する
ことを特徴とする商品特定方法。
【請求項７】
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置におけるコンピュータを、
前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断手段、
前記類似度判断手段で特定された前記対象商品の前記商品情報を、商品の売上情報に登録する登録手段、
として機能させ、
前記類似度判断手段は、指示検知部で所定の指示情報が検知されたときには、前記類似度の判断対象を、前記基準画像情報が前記商品辞書に登録されている取扱商品のうち予め前記指示情報と対応付けて登録されている取扱商品に限定したうえで、前記対象商品を特定する
ことを特徴とするプログラム。
【請求項８】
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置におけるコンピュータを、
前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断手段、
前記類似度判断手段で特定された前記対象商品の前記商品情報を、商品の売上情報に仮登録する仮登録手段、
として機能させ、
前記類似度判断手段は、指示検知部で所定の指示情報が検知されたときには、前記類似度の判断対象を、商品情報が前記仮登録手段により仮登録された取扱商品に限定したうえで、前記対象商品を特定する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品登録装置、商品特定方法及びプログラムに関する。
【背景技術】
【０００２】
従来、電子式キャッシュレジスタ（商品登録装置）は、バーコード読み取り部によって商品に付与されたバーコードなどのデータコードを読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品登録装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことでキャッシュレジスタのオペレータの負担を軽減することができる。
【０００３】
しかしながら、包装されていない商品、例えば青果品やぬいぐるみなどは、バーコードを個々に貼り付けることが極めて煩雑であり、時間とコストとが掛かる。そのため、従来は、青果品やぬいぐるみなどに対して、オペレータが商品コードや金額をキーボードで入力する、という運用がなされていた。
【０００４】
近年では、青果品やぬいぐるみなどをオブジェクト認識して識別し、識別された商品を売上登録する商品登録装置が普及しはじめている（例えば、特許文献１及び特許文献２参照）。この商品登録装置は、青果品やぬいぐるみなどを撮影した画像情報から外観の特徴量を抽出し、予め用意されたデータベースに登録されている各取扱商品の特徴量と比較することで、この物品がいずれの商品であるかを識別する。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識できるので、店舗側の負担を軽減することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１８２３２３号公報
【特許文献２】特開２０１３−１８２４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の商品登録装置は、以下に説明するように、オブジェクト認識の処理速度を向上させることが望まれている、という課題があった。
【０００７】
例えば、顧客は、スーパーマーケットで商品を購入する場合に、買物カゴなどに商品を入れた後、買物カゴをキャッシュレジスタに持って行き、買物カゴをキャッシュレジスタのオペレータに渡して、商品代金の精算を依頼する。
【０００８】
このとき、キャッシュレジスタのオペレータは、この顧客が持ってきた買物カゴ（以下、「第１の買物カゴ」という）に入っている各商品を順番に商品登録装置に読み込ませることによって、その商品の商品情報を売上情報に仮登録させ、その商品を別の買物カゴ（以下、「第２の買物カゴ」という）に入れる、という動作を繰り返すことによって、第１の買物カゴに入っている各商品を売上登録する。
【０００９】
その際に、オペレータは、複数個の同じ商品が第１の買物カゴに入っているにもかかわらず、そのことに気付かずに別の商品を商品登録装置に読み込ませてしまい、その後に、以前に読み込ませた商品と同じ商品を見つけて、その商品の追加登録処理を行うときがある。
【００１０】
このとき、従来の商品登録装置は、全ての取扱商品を対象にして商品検索を行うため、オブジェクト認識に時間を要する傾向にあった。したがって、従来の商品登録装置は、オブジェクト認識の処理速度を向上させることが望まれていた。
【００１１】
この点について、本発明の発明者は、例えば、直近の処理でオブジェクト認識が行われた取扱商品や特定処理の対象となる取扱商品などのように、オブジェクト認識を行う対象を限定することができる限定可能商品については、全ての取扱商品を検索対象とする商品検索を行わずに、限定可能商品を検索対象とする商品検索を行うようにすれば、オブジェクト認識に要する時間を短縮することができ、もって、オブジェクト認識の処理速度を向上させることができる、と考えた。
【００１２】
本発明は、前記した課題を解決するためになされたものであり、オブジェクト認識の処理速度を向上させる商品登録装置、商品特定方法及びプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【００１３】
前記した課題を解決するため、本発明に係る商品登録装置は、取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断部と、前記類似度判断部で特定された前記対象商品の前記商品情報を、商品の売上情報に登録する登録部と、前記取扱商品に係る所定の指示情報を検知する指示検知部と、を備え、前記類似度判断部は、前記指示検知部で前記所定の指示情報が検知されたときには、前記類似度の判断対象を、前記基準画像情報が前記商品辞書に登録されている取扱商品のうち予め前記指示情報と対応付けて登録されている取扱商品に限定したうえで、前記対象商品を特定することを特徴とする。
また、本発明に係る他の態様の商品登録装置は、取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断部と、前記類似度判断部で特定された前記対象商品の前記商品情報を、商品の売上情報に仮登録する仮登録部と、前記取扱商品に係る所定の指示情報を検知する指示検知部と、を備え、前記類似度判断部は、前記指示検知部で前記所定の指示情報が検知されたときには、前記類似度の判断対象を、商品情報が前記仮登録部により仮登録された取扱商品に限定したうえで、前記対象商品を特定することを特徴とする。
【００１４】
また、本発明に係る商品特定方法は、取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部とを備える商品登録装置が実行する商品特定方法であって、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断ステップと、前記類似度判断ステップで特定された前記対象商品の前記商品情報を、商品の売上情報に登録する登録ステップと、を有し、前記類似度判断ステップは、指示検知部で所定の指示情報が検知されたときには、前記類似度の判断対象を、前記基準画像情報が前記商品辞書に登録されている取扱商品のうち予め前記指示情報と対応付けて登録されている取扱商品に限定したうえで、前記対象商品を特定することを特徴とする。
また、本発明に係る他の態様の商品特定方法は、取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置が実行する商品特定方法であって、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断ステップと、前記類似度判断ステップで特定された前記対象商品の前記商品情報を、商品の売上情報に仮登録する仮登録ステップと、を有し、前記類似度判断ステップは、指示検知部で所定の指示情報が検知されたときには、前記類似度の判断対象を、商品情報が前記仮登録ステップで仮登録された取扱商品に限定したうえで、前記対象商品を特定する
ことを特徴とする。
また、本発明に係るプログラムは、取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置におけるコンピュータを、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断手段、前記類似度判断手段で特定された前記対象商品の前記商品情報を、商品の売上情報に登録する登録手段、として機能させ、前記類似度判断手段は、指示検知部で所定の指示情報が検知されたときには、前記類似度の判断対象を、前記基準画像情報が前記商品辞書に登録されている取扱商品のうち予め前記指示情報と対応付けて登録されている取扱商品に限定したうえで、前記対象商品を特定することを特徴とする。
また、本発明に係る他の態様のプログラムは、取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置におけるコンピュータを、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断手段、前記類似度判断手段で特定された前記対象商品の前記商品情報を、商品の売上情報に仮登録する仮登録手段、として機能させ、前記類似度判断手段は、指示検知部で所定の指示情報が検知されたときには、前記類似度の判断対象を、商品情報が前記仮登録手段により仮登録された取扱商品に限定したうえで、前記対象商品を特定することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、オブジェクト認識の処理速度を向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係る商品登録装置の外観を示す斜視図である。
【図２】実施形態に係る商品登録装置の一部を構成する商品識別装置の正面図である。
【図３】実施形態に係る商品登録装置の概略を示す構成図である。
【図４】実施形態に係る商品登録装置の概略を示す機能ブロック図である。
【図５】実施形態で用いる商品辞書に登録された商品情報の一例を示す図である。
【図６】実施形態で用いる商品辞書に登録された基準画像情報の一例を示す図である。
【図７】実施形態で用いる限定可能商品情報の一例を示す図である。
【図８】実施形態で用いる規定情報の一例を示す図である。
【図９】実施形態で用いる売上情報の一例を示す図である。
【図１０Ａ】実施形態に係る商品登録装置の動作を示すフローチャート（１）である。
【図１０Ｂ】実施形態に係る商品登録装置の動作を示すフローチャート（２）である。
【図１１Ａ】実施形態に係る商品登録装置の動作を示すフローチャート（３）である。
【図１１Ｂ】実施形態に係る商品登録装置の動作を示すフローチャート（４）である。
【図１１Ｃ】実施形態に係る商品登録装置の動作を示すフローチャート（５）である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の実施の形態（以下、「本実施形態」と称する）につき詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【００１８】
［実施形態］
＜商品登録装置の構成＞
以下、図１を参照して、本実施形態に係る商品登録装置の全体構成につき説明する。図１は、実施形態に係る商品登録装置１の外観を示す斜視図である。
図１に示すように、商品登録装置１は、各商品を登録する商品識別装置２と、各取引に係る商品の売上登録と精算とを行うＰＯＳ端末３とを備える。
商品識別装置２は、商品に関する情報を読み取って登録するＰＯＳ接続用スキャナである。商品識別装置２は、横長テーブル状のカウンタ台５の長手方向の中央に設置されている。商品識別装置２は、薄型の長方体状のハウジング５１を備える。このハウジング５１の正面には、読取窓５２を介してカメラ（撮像部）２７（図２参照）が配置されている。
【００１９】
ハウジング５１の上部には、表示・操作部２２が取り付けられている。表示・操作部２２には、ディスプレイ２２１が設けられている。このディスプレイ２２１の表面には、タッチパネル２２２（図３参照）が積層されている。ディスプレイ２２１の右隣には、キーボード２３が配置されている。キーボード２３の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部２２の左奥側には、顧客に情報を提供するための顧客用ディスプレイ２４が裏向きに設置されている。
【００２０】
ＰＯＳ端末３は、チェックアウト台６上のドロワ３７の上面に載置されている。このドロワ３７は、現金の収納部であり、ＰＯＳ端末３によって開放動作の制御を受ける。
ＰＯＳ端末３の上面には、オペレータ（店員）が操作するためのキーボード３３が配置されている。このオペレータから見てキーボード３３の上部奥側には、情報を表示するディスプレイ３２１が設けられている。このディスプレイ３２１の表面には、タッチパネル３２２（図３参照）が積層されている。ディスプレイ３２１よりもさらに奥側には、情報を表示する顧客用ディスプレイ３４が左右方向に回転可能に設置されている。なお、図１に示す顧客用ディスプレイ３４は、図の手前側に向いている。この顧客用ディスプレイ３４は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
【００２１】
ＰＯＳ端末３が載置されているチェックアウト台６とＬ字を形成するようにして、横長テーブル状のカウンタ台５が配置されている。カウンタ台５の上面には、荷受け面が形成されている。顧客は、図１の左側から右側に移動しつつ、商品の登録処理を受ける。つまり、カウンタ台５の荷受け面には、商品を収納する第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとが載置される。以下、第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとを特に区別しないときには、単に買物カゴ４と記載する場合がある。これら買物カゴ４は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ４は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。
第１の買物カゴ４Ｌは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第２の買物カゴ４Ｒは、第１の買物カゴ４Ｌから商品識別装置２を挟んだ位置に載置される。第１の買物カゴ４Ｌ内の商品は、商品識別装置２を操作するオペレータにより取り出され、第２の買物カゴ４Ｒに移動される。この移動過程で、商品が商品識別装置２の読取窓５２にかざされる。このとき、読取窓５２内に配置されたカメラ２７（図２参照）は商品を撮像する。
【００２２】
図２は、商品識別装置２の正面図である。
図２に示すように、商品識別装置２は、カウンタ台５に設置されている。商品識別装置２は、薄型の長方体状のハウジング５１と、このハウジング５１の上部に取り付けられた表示・操作部２２と、表示・操作部２２の左奥側に裏向きに設置された顧客用ディスプレイ２４とを含んで構成される。
このハウジング５１の正面には、読取窓５２が設けられる。
読取窓５２には、照明２７１とカメラ２７（撮像部）とが配置される。
【００２３】
商品識別装置２では、カメラ２７により撮像された撮像画像に含まれる物体（商品）が、後記する商品辞書Ｄ１（図３参照）に記録されたどの商品（取扱商品）に対応するかを指定させるための画面をディスプレイ２２１に表示する。商品識別装置２は、更に、指定された商品の商品ＩＤをＰＯＳ端末３に通知する。ＰＯＳ端末３は、商品識別装置２から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価などの売上登録に係る商品情報を、売上情報Ｄ４（図３参照）などに記録して、売上登録を行う。
【００２４】
以下、図３を参照して、商品登録装置１の内部構成につき説明する。図３は、商品登録装置１の概略を示す構成図である。
図３に示すように、商品登録装置１は、商品識別装置２とＰＯＳ端末３とを含んで構成される。
商品識別装置２は、マイクロコンピュータ２１と、表示・操作部２２と、インタフェース２５と、カメラ２７と、スピーカ２８と、電源２９とを含んで構成される。
マイクロコンピュータ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１１にＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１２とＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１３とがバス接続されて構成されている。ＲＯＭ２１２には、ＣＰＵ２１１によって実行されるプログラムが記憶される。
ＣＰＵ２１１には、表示・操作部２２と、インタフェース２５と、カメラ２７、スピーカ２８とが、内部バスや各入出力回路（不図示）を介して接続される。
【００２５】
表示・操作部２２は、ディスプレイ２２１と、タッチパネル２２２と、顧客用ディスプレイ２４と、キーボード２３とを含んで構成され、ＣＰＵ２１１によって動作が制御される。
ディスプレイ２２１は、ＣＰＵ２１１の指示により、オペレータに対する情報を表示する。タッチパネル２２２は、ディスプレイ２２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ２４は、ＣＰＵ２１１の指示により、顧客に対する情報を表示する。
キーボード２３は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
【００２６】
カメラ２７は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサなどを備える撮像部である。カメラ２７は、ＣＰＵ２１１の制御の下で、読取窓５２（図１参照）にかざされた物体（商品）の撮像を行う。カメラ２７は、例えば３０［ｆｐｓ］の動画像の撮像を行う。カメラ２７が所定のフレームレートで順次撮像した撮像画像（フレーム画像）は、ＲＡＭ２１３に保存される。
【００２７】
スピーカ２８は、予め設定された警告音などを発生する音声出力部である。スピーカ２８は、ＣＰＵ２１１の制御の下で警告音や音声による報知を行う。
電源２９は、この商品識別装置２の各部に電力を供給する。
【００２８】
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
【００２９】
ＰＯＳ端末３は、マイクロコンピュータ３１と、ディスプレイ３２１と、タッチパネル３２２と、キーボード３３と、顧客用ディスプレイ３４と、インタフェース３５と、ＨＤＤ３６と、ドロワ３７と、プリンタ３８と、電源３９とを含んで構成される。
マイクロコンピュータ３１は、情報処理を実行する。このマイクロコンピュータ３１は、各種演算処理を実行し各部を制御するＣＰＵ３１１に、ＲＯＭ３１２とＲＡＭ３１３とがバス接続されて構成される。ＣＰＵ３１１には、ドロワ３７と、キーボード３３と、ディスプレイ３２１と、タッチパネル３２２と、顧客用ディスプレイ３４と、ＨＤＤ３６（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）とが、内部バスや各入出力回路を介して接続されている。これらは、ＣＰＵ３１１による制御を受ける。
【００３０】
ディスプレイ３２１は、ＣＰＵ３１１の指示により、オペレータに対する情報を表示する。タッチパネル３２２は、ディスプレイ３２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ３４は、ＣＰＵ３１１の指示により、顧客に対する情報を表示する。
キーボード３３は、仮締めキー３３１と、締めキー３３２と、テンキー３３３とを含んで構成され、オペレータの操作入力を受け付ける。テンキー３３３は、０から９までの数字キーと各種演算子キーとで構成される。
【００３１】
ＨＤＤ３６には、プログラムや各種ファイルが記憶されている。ＨＤＤ３６に記憶されているプログラムや各種ファイルは、ＰＯＳ端末３の起動時に、その全部または一部がＲＡＭ３１３にコピーされてＣＰＵ３１１により実行される。ＨＤＤ３６には、例えば、商品販売データ処理用のプログラムや、商品辞書Ｄ１、限定可能商品情報Ｄ２、規定情報Ｄ３、売上情報Ｄ４などが記録される。
【００３２】
商品辞書Ｄ１は、店舗に陳列して販売する取扱商品の辞書として機能する情報である。商品辞書Ｄ１は、取扱商品毎に、取扱商品に関する商品情報ＧＩ（図４及び図５参照）と、取扱商品の外観を表す基準画像に関する基準画像情報ＳＰ（図４及び図６参照）とを関連付けている。なお、「基準画像」は、商品検索時に類似度判断の基準として用いる画像である。商品情報ＧＩ及び基準画像情報ＳＰの具体例については、後記する。
限定可能商品情報Ｄ２は、取扱商品の一部である限定可能商品に関する情報である。ここで、「限定可能商品」とは、例えば、直近の処理でオブジェクト認識が行われた取扱商品や特定処理の対象となる取扱商品などのように、オブジェクト認識を行う対象を限定することができる取扱商品を意味している。本実施形態では、仮登録商品情報Ｄ２ａ（図７（ａ）参照）及び事前登録商品情報Ｄ２ｂ（図７（ｂ）参照）を限定可能商品情報Ｄ２として用いる場合を想定して説明する。仮登録商品情報Ｄ２ａ及び事前登録商品情報Ｄ２ｂの具体例については、後記する。
規定情報Ｄ３は、所定処理の実行を指示する指示情報を規定する情報である。規定情報Ｄ３の具体例については、後記する。
売上情報Ｄ４は、商品の売上を表す情報である。売上情報Ｄ４の具体例については、後記する。
【００３３】
インタフェース３５は、商品識別装置２に接続され、商品識別装置２との間でデータ送受信を可能とする。
プリンタ３８は、レシートなどに印宇を行う。ＰＯＳ端末３は、ＣＰＵ３１１の制御の下で、各取引の取引内容をレシートに印字する。
電源３９は、このＰＯＳ端末３の各部に電力を供給する。
【００３４】
以下、図４を参照して、実施形態に係る商品登録装置１の機能ブロック構成につき説明する。図４は、商品登録装置１の概略を示す機能ブロック図である。以下の説明では、適宜図１と図３とを参照する。
図４に示すように、商品識別装置２のＣＰＵ２１１（図３参照）は、ＲＯＭ２１２（図３参照）に格納されるプログラムを実行することにより、画像取得部９０と、物体検出部９１、類似度演算部９２、類似度判断部９３、指示検知部９４、確定通知部９５、入力取得部９６、情報出力部９７の各部を具現化する。また、同様に、ＰＯＳ端末３のＣＰＵ３１１（図３参照）は、ＨＤＤ３６（図３参照）に格納されるプログラムを実行することにより、売上登録部９９を具現化する。ＰＯＳ端末３のＨＤＤ３６（図３参照）には、更に、前記した商品辞書Ｄ１や、限定可能商品情報Ｄ２、規定情報Ｄ３、売上情報Ｄ４などが格納される。
【００３５】
画像取得部９０は、カメラ２７に撮像オン信号を出力して、このカメラ２７に撮像動作を開始させる。更に、画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存された撮像画像（フレーム画像）を順次取り込む。画像取得部９０による撮像画像の取り込みは、ＲＡＭ２１３（図３参照）に保存された順に行われる。
【００３６】
物体検出部９１は、画像取得部９０によって取り込まれた撮像画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品を撮像して撮像画像を取得する。物体検出部９１は、取り込まれた撮像画像を二値化して輪郭線を抽出する。次いで物体検出部９１は、前回の撮像画像から抽出された輪郭線と、今回の撮像画像から抽出された輪郭線とを比較して、この商品である物体を検出する。
【００３７】
別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品及び手の画像を撮影する。物体検出部９１は、取り込まれた撮像画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、店員の手が検出された場合に、物体検出部９１は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部９１は、手の形状を示す輪郭更検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。
【００３８】
類似度演算部９２は、カメラ２７が撮像した物体（商品）の撮像画像から、この物体（商品）の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。このとき、類似度演算部９２は、この物体（商品）の輪郭や大きさは考慮しない。これにより類似度演算部９２は、処理時間を短縮することができる。
類似度演算部９２は、更に、商品辞書Ｄ１の基準画像情報ＳＰに記録された各取扱商品の基準画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮像画像に含まれている物体（商品）の特徴量と基準画像に含まれている各取扱商品の特徴量とをそれぞれ比較することで、撮像した物体（商品）と商品辞書Ｄ１に記録された取扱商品との類似度を算出する。ここで類似度とは、商品辞書Ｄ１に記録されている各取扱商品が想定する基準画像を１００％の類似度とした場合に、物体（商品）の全部または一部の画像が取扱商品の基準画像とどの程度まで類似しているかを示すものである。なお、類似度演算部９２は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。
【００３９】
このように、撮像画像中に含まれる物体を認識することは一般物体認識（ｇｅｎｅｒｉｃ  ｏｂｊｅｃｔ  ｒｅｃｏｇｎｉｔｉｏｎ）と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，［ｏｎｌｉｎｅ］、情報処理学会論文誌，２００７年１１月１５日，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６、１−２４頁，［平成２６年９月８日検索］，インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｍｍ．ｃｓ．ｕｅｃ．ａｃ．ｊｐ／ＩＰＳＪ−ＴＣＶＩＭ−Ｙａｎａｉ．ｐｄｆ＞
【００４０】
また、撮像画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Ｊａｍｉｅ  Ｓｈｏｔｔeｎら，“Ｓｅｍａｎｔｉｃ  Ｔｅｘｔｏｎ  Ｆｏｒｅｓｔｓ  ｆｏｒ  Ｉｍａｇｅ  Ｃａｔｅｇｏｒｉｚａｔｉｏｎ  ａｎｄ  Ｓｅｇｍｅｎｔａｔｉｏｎ”，  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００８．  ＣＶＰＲ  ２００８．  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，［平成２６年９月８日検索］，インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｃｉｔｅｓｅｅｒｘ．ｉｓｔ．ｐｓｕ．ｅｄｕ／ｖｉｅｗｄｏｃ／ｄｏｗｎ１ｏａｄ？ｄｏｉ＝１０．１．１．１４５．３０３６＆ｒｅｐ＝ｒｅｐ１＆ｔｙｐｅ＝ｐｄｆ＞
【００４１】
なお、撮像された物体（商品）の撮像画像と、商品辞書Ｄ１に記録された取扱商品の基準画像との類似度の算出方法は、特に問わないものとする。例えば、撮像された物体（商品）の撮像画像と、商品辞書Ｄ１に記録された各取扱商品の基準画像との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００４２】
類似度を絶対評価として算出する場合は、撮像された物体（商品）の撮像画像と、商品辞書Ｄ１に記録された各取扱商品の基準画像とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合は、各取扱商品に対する類似度の総和が１．０（１００％）となるように算出する。例えば、商品辞書Ｄ１に４つの取扱商品＃１〜＃４が記録されていたとする。このとき撮像された物体（商品）は、例えば、取扱商品＃１に対する類似度が０．６５、取扱商品＃２に対する類似度が０．２、取扱商品＃３に対する類似度が０．１、取扱商品＃４に対する類似度が０．０５などのように算出する。
【００４３】
類似度判断部９３は、画像取得部９０が取り込んだ撮像画像毎に、物体（商品）の撮像画像と、商品辞書Ｄ１に記録されている各取扱商品の基準画像との類似度を比較することによって、取引の対象となる対象商品を検索して、撮像画像上の物体（商品）に該当する対象商品を特定する。
【００４４】
本実施形態では、取扱商品の基準画像と、物体（商品）の撮像画像との類似度は、複数の条件が設けられている。類似度判断部９３は、これら満たされる条件に応じて取扱商品の確定あるいは商品の候補を選定する。類似度に関する条件は特に限定されるものではないが、以下では条件Ｘ，Ｙ，Ｚを用いる場合について説明する。
【００４５】
ここで、条件Ｘ及び条件Ｙは、撮像画像上の物体を、商品辞書Ｄ１に記録された取扱商品のうちの一つとして確定するための条件である。また、条件Ｚは、撮像画像上の物体から、商品辞書Ｄ１に記録された取扱商品の候補を抽出するための条件である。
【００４６】
類似度判断部９３は、例えば、条件Ｘまたは／及び条件Ｙを満たす取扱商品を、撮像画像上の物体に１対１で対応する商品であると判定する。また、類似度判断部９３は、条件Ｚを満たす取扱商品を、取引の対象商品として確定した確定商品ではなく、カメラ２７が撮像した商品の候補であると判定する。そして、類似度判断部９３は、商品辞書Ｄ１に記録された複数の取扱商品から条件Ｚを満たす取扱商品を抽出することにより、撮像した物体に該当する商品の候補を抽出する。
【００４７】
条件Ｘ〜Ｚは、類似度に応じて段階的に設定されれば、その詳細が特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件Ｘ〜Ｚを設けることができる。ここでは、閾値Ｔｘ〜Ｔｚによって条件Ｘ〜Ｚを設定する場合について説明する。なお、閾値Ｔｘ〜Ｔｚは、順に小さくなるものとする。
【００４８】
類似度判断部９３は、取扱商品に対する類似度が予め定められた閾値Ｔｘ以上となった回数をカウントし、この回数が所定回数以上となった場合に条件Ｘが満たされたと判定する。
【００４９】
また、類似度判断部９３は、取扱商品に対する類似度が閾値Ｔｘ未満、かつ、閾値Ｔｙ以上となった場合に、条件Ｙが満たされたと判定する。そして、条件Ｙを満たした取扱商品は、取引の対象商品として確定した確定商品ではあるが、オペレータによる確認操作を要すると判定する。
更に、類似度判断部９３は、取扱商品に対する類似度が閾値Ｔｙ未満、かつ、閾値Ｔｚ以上である場合に、条件Ｚが満たされたと判定する。
【００５０】
なお、各条件Ｘ〜Ｚは、類似度の大きさなどに応じて適宜設定可能であり、前記した例に限定されるものではない。
【００５１】
指示検知部９４は、所定処理の実行を指示する指示情報の入力を検知する。
具体的には、例えば、オペレータが規定情報Ｄ３（図８参照）に指示情報として登録されている所定の手の形状やジェスチャーなどが含まれている撮像画像をカメラ２７に撮像させる。すると、指示検知部９４は、規定情報Ｄ３（図８参照）に基づいて、撮像画像から指示情報の入力を検知し、入力された指示情報に対応付けられた処理内容を特定する。そして、指示検知部９４は、特定された処理内容の実行を所定の各部（例えば、類似度判断部９３や売上登録部９４など）に指示する。
【００５２】
確定通知部９５は、カメラ２７によって撮像された物体（商品）が、条件Ｘまたは／及び条件Ｙを満たした取扱商品であり、取引の対象商品として一意的に確定されたことを、画像出力や音声出力などによってオペレータや客に報知する。
【００５３】
より詳細には、確定通知部９５は、条件Ｘを満たす取引の対象商品が、カメラ２７によって撮像された物体（商品）として抽出された場合に、取引の対象商品が確定商品として一意的に確定されたことを示す確定画面をディスプレイ２２１に表示させるとともに、確定商品に関する情報をスピーカ２８に出力する。スピーカ２８は、入力された情報を音声で出力することにより、確定商品を示す情報をオペレータや客に報知する。
【００５４】
また、確定通知部９５は、条件Ｙを満たす取引の対象商品が、カメラ２７によって撮像された物体（商品）として抽出された場合に、抽出された取引の対象商品が確定商品であるか否かの最終確認操作を受け付ける確認画面をディスプレイ２２１に表示する。
【００５５】
なお、確定通知部９５は、確認画面が表示されるタイミングに合わせて、確定商品に関する情報をスピーカ２８に音声を出力する。
【００５６】
なお、商品登録装置１は、条件Ｚを満たす取引の対象商品がある場合に、その対象商品に関する情報を、商品候補としてディスプレイ２２１に表示させる。より詳細には、商品登録装置１は、条件Ｚを満たす取引の対象商品の写真画像及び商品名を商品辞書Ｄ１から抽出して、写真画像及び商品名を類似度の高いものから順にディスプレイ２２１に表示する。
【００５７】
このとき、商品登録装置１は、ディスプレイ２２１に商品候補の写真画像が表示されていても、これら商品候補に対する選択操作を受け付けない場合には、画像取得部９０による撮像画像の取得処理と、物体検出部９１による物体の検出処理と、類似度演算部９２による類似度の演算処理とを継続する。
【００５８】
入力取得部９６は、タッチパネル２２２またはキーボード２３を介してディスプレイ２２１の表示に対応する各種入力操作を受け付ける。例えば入力取得部９６は、表示された写真画像に係る取引の対象商品が確定商品であることを最終確認した旨の入力操作（確認操作）を受け付ける。確定通知部９５は、入力取得部９６が確認操作を受け付けた場合に確定画面をディスプレイ２２１に表示する。
【００５９】
入力取得部９６は、ディスプレイ２２１に表示された商品候補の写真画像の中からいずれか１つの写真画像に対する選択操作を受け付ける。入力取得部９６は、選択された写真画像の取扱商品を、確定商品であるとして受け付ける。なお、物体検出部９１が複数の物体（商品）を検出可能である場合には、入力取得部９６は、各物体に対応する商品候補の中から、確定商品の選択操作を受け付けてもよい。確定通知部９５は、入力取得部９６が選択操作を受け付けた場合に、受け付けた商品候補を確定商品として表示させた確定画面をディスプレイ２２１に表示させる。
【００６０】
情報出力部９７は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や特定処理内容などの情報など）を、インタフェース２５を介してＰＯＳ端末３に出力する。
【００６１】
なお、情報出力部９７は、タッチパネル２２２またはキーボード２３を介して別途入力された販売個数を、商品ＩＤなどと共にＰＯＳ端末３に出力してもよい。また、情報出力部９７がＰＯＳ端末３に出力する情報としては、情報出力部９７が商品辞書Ｄ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、基準画像、写真画像のファイル名をＰＯＳ端末３に通知してもよい。
【００６２】
ＰＯＳ端末３の売上登録部９９は、情報出力部９７から出力された商品ＩＤと販売個数とに基づいて、取引の対象商品の売上登録を行う。具体的にいうと、売上登録部９９は、商品辞書Ｄ１を参照して、通知された商品ＩＤと、これに対応する商品名や、単価などとともに、販売個数を売上情報Ｄ４（図３参照）などに記録して、取引の対象商品の売上登録（仮登録）を行う。
【００６３】
＜商品登録装置で用いられる主な情報の概要＞
以下、図５〜図９を参照して、本実施形態で用いる主な情報の概要につき説明する。ただし、各図に示す情報は、一例に過ぎず、運用に応じて適宜変更することができる。
【００６４】
図５は、商品辞書Ｄ１（図４参照）に登録された商品情報ＧＩの一例を示す図である。図５に示す例では、商品情報ＧＩは、取扱商品毎に、商品ＩＤや、商品名、単価、在庫数などの情報を含む構成になっている。商品ＩＤは、取扱商品毎に一意に設定されている。類似度演算部９２や類似度判断部９３などは、商品ＩＤを参照することで、その商品ＩＤに対応する取扱商品の商品情報ＧＩや基準画像情報ＳＰなどを商品辞書Ｄ１から読み出すことができる。
【００６５】
図６は、商品辞書Ｄ１（図４参照）に登録された基準画像情報ＳＰの一例を示す図である。図６（ａ）〜図６（ｆ）に示す基準画像情報ＳＰには、それぞれ、商品ＩＤ（図５参照）が「Ｎ００１」となっているウサギのぬいぐるみの正面、背面、上面、下面、右面、左面側の基準画像ＳＰＮ００１Ｆ，ＳＰＮ００１Ｂ，ＳＰＮ００１Ｔ，ＳＰＮ００１Ｕ，ＳＰＮ００１Ｒ，ＳＰＮ００１Ｌが記録されている。
【００６６】
図７は、限定可能商品情報Ｄ２の一例を示す図である。図７（ａ）は、限定可能商品情報Ｄ２の一形態である仮登録商品情報Ｄ２ａの一例を示している。また、図７（ｂ）は、限定可能商品情報Ｄ２の一形態である事前登録商品情報Ｄ２ｂの一例を示している。
【００６７】
仮登録商品情報Ｄ２ａは、売上情報Ｄ４に仮登録されている仮登録物品（仮登録商品）に関する情報である。仮登録物品（仮登録商品）は、顧客によってキャッシュレジスタに持って来られ、直近の処理でオブジェクト認識が行われて、第１の買物カゴ４Ｌ（図１参照）から第２の買物カゴ４Ｒ（図１参照）に移された物品（商品）である。図７（ａ）に示す例では、仮登録商品情報Ｄ２ａは、仮登録物品（仮登録商品）の商品ＩＤや、商品名などの情報を含む構成になっている。
【００６８】
仮登録商品情報Ｄ２ａは、以下のようにして、更新される。
例えば、商品登録装置１は、仮登録物品（仮登録商品）の商品情報ＧＩ（又は、その一部）が売上情報Ｄ４に仮登録される度に、その仮登録物品（仮登録商品）の商品情報ＧＩ（又は、その一部）を仮登録商品情報Ｄ２ａに登録する。そして、商品登録装置１は、取引が終了したとき（すなわち、顧客が商品の代金をオペレータに支払ったとき）に、それまでの取引に係る仮登録商品情報Ｄ２ａを消去して、次の取引に係る仮登録商品情報Ｄ２ａを生成する。
【００６９】
事前登録商品情報Ｄ２ｂは、特定処理の対象となる取扱商品が事前に登録された情報である。ここで、「事前」とは、物体（商品）のオブジェクト認識が行われる前を意味している。以下、「特定処理の対象となる取扱商品」を「事前登録商品」という。「事前登録商品」としては、例えば、特別なキャンペーンの対象になっているキャンペーン商品や、チラシに掲載された特売商品、タイムセールの対象になっている特売商品、１人当たりの販売数を限定している販売数限定商品などがある。図７（ｂ）に示す例では、事前登録商品情報Ｄ２ｂは、事前登録商品の商品ＩＤや、商品名、単価、値引き率、値引き後価格、種目、期間、特定処理内容などの情報を含む構成になっている。なお、「種目」情報は、キャンペーン商品や特売商品、販売数限定商品等のように、事前登録商品情報Ｄ２ｂに登録された登録理由の種目を表している。また、「期間」情報は、特定処理を行う期間を表している。また、「特定処理内容」情報は、特定処理に該当する処理内容（例えば、事前登録商品が一部のキャンペーン商品や特売商品などの値引き処理を行う商品である場合に、値引き処理を行ったり、事前登録商品が販売数限定商品である場合で、販売数をカウントして、カウント数が予め設定された限定数を超過したときに、オペレータに通知を行ったりするなど）を表している。
【００７０】
事前登録商品情報Ｄ２ｂは、以下のようにして、更新される。
例えば、店舗の店員は、キャンペーン商品や特売商品、販売数限定商品などの事前登録商品がある場合に、任意のタイミングで図示せぬコンピュータや図示せぬ携帯型ＰＯＳ端末を操作して事前登録商品に関する情報（例えば、商品ＩＤや値引き率、期間、特定処理内容などの情報）を図示せぬコンピュータに登録する。なお、「特定処理内容」は、好ましくは、事前に、複数の選択肢情報がコード化されて図示せぬコンピュータに登録されており、その中から選択される構成になっているとよい。図示せぬコンピュータは、登録された事前登録商品の商品ＩＤに基づいて、図示せぬデータベースから事前登録商品の商品情報ＧＩを取得し、取得された商品情報ＧＩ（又は、その一部）を有線又は無線で各商品登録装置１に配信する。このとき、図示せぬコンピュータは、好ましくは、値引き率に基づいて値引き後価格を算出し、算出された値引き後価格を表す情報を商品情報ＧＩに組み込み、その商品情報ＧＩを各商品登録装置１に配信するとよい。商品登録装置１は、商品情報ＧＩ（又は、その一部）が配信される度に、配信された商品情報ＧＩ（又は、その一部）を事前登録商品情報Ｄ２ｂに登録する。また、図示せぬコンピュータは、登録されている期間を過ぎた事前登録商品が発生した場合に、任意のタイミングでその商品に該当する商品情報ＧＩの消去を各商品登録装置１に指示する。これに応答して、各商品登録装置１は、該当する商品情報ＧＩを事前登録商品情報Ｄ２ｂから消去する。なお、商品登録装置１は、事前登録商品情報Ｄ２ｂに登録されている「期間」情報に基づいて、自発的に、任意のタイミングで該当する商品情報ＧＩを事前登録商品情報Ｄ２ｂから消去するようにしてもよい。
【００７１】
図８は、規定情報Ｄ３の一例を示す図である。図８に示す例では、規定情報Ｄ３は、指示情報（入力情報）や、処理内容、参照情報などの情報を含む構成になっている。「指示情報（入力情報）」は、例えば、所定の手の形状やジェスチャーなどのオペレータによって入力される情報を表している。また、「処理内容」は、商品登録装置１に実行させる処理内容を示している。例えば、図８に示す規定情報Ｄ３には、「（指の）Ｖサイン形状」や、「手の甲の左右移動ジェスチャー」、「親指を横向きにした握り手形状」などの手の形状やジェスチャーなどの入力情報が指示情報として登録されており、これらの入力情報に対応して、「追加登録」や、「キャンセル」、「特定処理」などの処理が処理内容として登録されている。また、「参照情報」は、指示情報が入力されたときに、参照する情報（ここでは、仮登録商品情報Ｄ２ａや事前登録商品情報Ｄ２ｂなどの限定可能商品情報Ｄ２（図７参照））を表している。ただし、規定情報Ｄ３の内容は、運用に応じて適宜変更することができる。
【００７２】
ここで、「追加登録」処理とは、売上情報Ｄ４に仮登録されている仮登録商品と同じ商品の商品情報ＧＩ（又は、その一部）を売上情報Ｄ４に追加して登録する処理を意味している。また、「キャンセル」処理とは、売上情報Ｄ４に仮登録されている仮登録商品の商品情報ＧＩ（又は、その一部）を売上情報Ｄ４から取り消す処理を意味している。また、「特定」処理とは、各事前登録商品に対応して予め設定された動作を実行する処理（例えば、事前登録商品情報Ｄ２ｂ（図７（ｂ）参照）に登録された特定処理内容に該当する処理）を意味している。例えば、図７（ｂ）に示す例では、事前登録商品が一部のキャンペーン商品や特売商品である場合に、特定処理は、対象商品の価格として値引き後価格を適用して仮登録する処理となる。また、事前登録商品が販売数限定商品である場合に、特定処理は、販売数をカウントして、カウント数が予め設定された限定数を超過したときに、オペレータに通知を行う処理となる。
【００７３】
なお、本実施形態では、規定情報Ｄ３には、所定の手の形状やジェスチャーなどの情報が指示情報として登録されている場合を想定して説明する。しかしながら、規定情報Ｄ３には、所定の手の形状やジェスチャーなどの情報の代わりに（又は、所定の手の形状やジェスチャーなどの情報に追加して）、タッチパネル２２２（図３参照）やキーボード２３（図３参照）から入力される特定のキー入力情報や、図示せぬマイクから入力される特定の音声入力情報などの情報が指示情報として登録されるようにしてもよい。この場合に、指示検知部９４は、キー入力情報や音声入力情報などの指示情報がオペレータによって入力されると、規定情報Ｄ３（図８参照）に基づいて、その入力を検知し、入力された指示情報に対応付けられた処理内容を特定する。そして、指示検知部９４は、特定された処理内容の実行を所定の各部（例えば、類似度判断部９３や売上登録部９４など）に指示する。
【００７４】
図９は、売上情報Ｄ４の一例を示す図である。図９に示す例では、売上情報Ｄ４は、日時や、レジ番号、商品ＩＤ、商品名、単価、個数、小計、未確定／確定、合計などの情報を含む構成になっている。なお、「未確定／確定」情報は、売上情報が未確定状態であるか、または、確定状態であるかを表している。「未確定／確定」情報は、売上情報が清算処理前の仮登録された状態である場合に未確定状態になり、売上情報が清算処理後の本登録された状態である場合に確定状態になる。
【００７５】
＜商品登録装置の動作＞
本実施形態に係る商品登録装置１は、指示検知部９４で規定情報Ｄ３（図８参照）に規定された指示情報が検知されたときに、類似度判断部９３が、指示情報に基づいて、取扱商品を絞り込み、カメラ２７で取得された撮像画像と、指示情報に基づいて絞り込まれた取扱商品の基準画像との類似度を判断して、対象商品を特定することを特徴としている。つまり、商品登録装置１は、商品登録処理を行う際に、オブジェクト認識を行う対象を限定することができる限定可能商品については、商品辞書Ｄ１の商品情報ＧＩに基づく商品検索（すなわち、全ての取扱商品を検索対象とする商品検索）を行わずに、限定可能商品情報Ｄ２に基づく商品検索（すなわち、限定可能商品を検索対象とする商品検索）を行うことを特徴としている。
【００７６】
以下、図４、図１０Ａ、図１０Ｂ、及び、図１１Ａ〜図１１Ｃを参照して、商品登録装置１の動作につき説明する。図１０Ａ、図１０Ｂ、及び、図１１Ａ〜図１１Ｃは、それぞれ、商品登録装置１の動作を示すフローチャートである。ここでは、オペレータが所定の手の形状やジェスチャーなどが含まれている撮像画像をカメラ２７に撮像させることによって指示情報を商品登録装置１に入力し、その後に、オペレータが指示情報に対応する処理の対象商品の撮像画像をカメラ２７に撮像させることによって対象商品に対して指示情報に対応する処理を商品登録装置１に行わせる場合を想定して説明する。
【００７７】
なお、本実施形態の商品登録装置１は、図示せぬタイマによって計測された時間に基づいて動作する。また、本実施形態の商品登録装置１の一連の動作は、記憶部に読み出し自在に予め格納されたプログラムによって規定されている。また、各情報は、記憶部に読み出し自在に一旦格納されてから、その後の処理を行う所要の構成要素に出力される。以下、これらの点については、情報処理では常套手段であるので、その詳細な説明を省略する。
【００７８】
商品登録装置１は、オペレータによって商品登録処理の開始が指示されることにより、動作を開始する。実施形態の商品登録処理は、例えば、オペレータ（店員）が、第１の買物カゴ４Ｌ（図１参照）に入っている物品（商品）を取り出して、読取窓５２のカメラ２７にかざしたのち、第２の買物カゴ４Ｒに入れるまでに行われる一連の処理である。
【００７９】
図１０Ａに示すように、ステップＳ１０５において、商品識別装置２の画像取得部９０は、物品（商品）の連続撮像画像の取得を行う。このとき、画像取得部９０は、カメラ２７に撮像オン信号を出力して、カメラ２７に商品の撮像を開始させる。カメラ２７は、物品（商品）を連続して撮像し、これによって取得された撮像画像（フレーム画像）をＲＡＭ２１３に保存する。画像取得部９０は、カメラ２７によって撮像された撮像画像（フレーム画像）をＲＡＭ２１３から取り込む。
【００８０】
ステップＳ１１０において、物体検出部９１は、画像取得部９０が取り込んだ撮像画像に対してオブジェクト認識処理を実行する。これにより、物体検出部９１は、商品である物体の全部または一部の認識（検出）を試みる。
【００８１】
そして、ステップＳ１１５において、物体検出部９１は、撮像画像から何らかの物体（ここでは、商品又はオペレータの手）が認識されたか否かを判定する。ステップＳ１１５で、物体検出部９１によって、物体（商品又はオペレータの手）が認識されていない（Ｎｏ）と判定された場合に、処理は、ステップＳ１０５に戻る。一方、ステップＳ１１５で、物体検出部９１によって、物体（商品又はオペレータの手）が認識された（Ｙｅｓ）と判定された場合に、処理は、ステップＳ１２０に進む。
【００８２】
そして、ステップＳ１２０において、指示検知部９４は、指示情報の入力が検知されたか否かを判定する。ステップＳ１２０で、指示情報の入力が検知された（Ｙｅｓ）と判定された場合に、処理は、ステップＳ１２５に進む。そして、ステップＳ１２５において、指示検知部９４は、規定情報Ｄ３に基づいて、指示情報に対応付けられた処理内容（例えば、追加登録や、キャンセル、特定処理等の処理）を判別する。そして、指示検知部９４は、ステップＳ１３０において、該当する処理の実行を指定する処理実行フラグを図示せぬ管理情報に登録する。この後、処理は、ステップＳ１０５に戻る。その結果、商品登録装置１は、ステップＳ１０５以降の処理を繰り返す。
【００８３】
一方、ステップＳ１２０で、指示情報の入力が検知されていない（Ｎｏ）と判定された場合に、処理は、符号「Ａ１」を介して図１０Ｂに示すステップＳ１３５に進む。そして、図１０Ｂに示すように、ステップＳ１３５において、指示検知部９４は、図示せぬ管理情報に登録されたフラグの指定する処理内容を判別する。なお、「ステップＳ１３５に進む場合」とは、撮像画像に写っている物体が主に商品であることを意味する。
【００８４】
ステップＳ１３５において、図示せぬ管理情報にフラグが登録されていないと判別された場合に、指示検知部９４は、商品辞書Ｄ１に基づく商品検索を類似度演算部９２及び類似度判断部９３に指示する。これに応答して、ステップＳ１４０において、類似度演算部９２及び類似度判断部９３は、商品辞書Ｄ１に基づく商品検索を行う。
【００８５】
このとき、類似度演算部９２は、ステップＳ１０５で連続して取得された複数枚の撮像画像から物体（商品）の特徴量を取得し、撮像画像に含まれている物体（商品）の特徴量と商品辞書Ｄ１に記録された基準画像に含まれている各取扱商品の特徴量とをそれぞれ比較することで、撮像画像に写る物体（商品）と商品辞書Ｄ１に記録された各取扱商品との類似度を算出する。次に、類似度判断部９３は、類似度が所定閾値以上となる取扱商品が商品辞書Ｄ１にあるか否かを判定することによって、この物体（商品）に該当する取扱商品を取引の対象商品として検索する。そして、類似度判断部９３は、この検索で抽出された対象商品の商品ＩＤに基づいて、対象商品の商品名と商品単価とを商品辞書Ｄ１から取得する。
【００８６】
この後、ステップＳ１４５において、類似度判断部９３は、対象商品が一意に識別されたか否かを判定する。例えば、前記した検索で対象商品が１つだけ抽出されている場合に、類似度判断部９３は、対象商品が一意に識別された（Ｙｅｓ）と判定する。一方、前記した検索で複数の対象商品の候補が抽出されている場合や対象商品がまったく抽出されていない場合は、類似度判断部９３は、対象商品が一意に識別されていない（Ｎｏ）と判定する。
【００８７】
ステップＳ１４５で、対象商品が一意に識別された（Ｙｅｓ）と判定された場合に、処理は、ステップＳ１６０に進む。この場合に、情報出力部９７は、一意に識別された対象商品（確定商品）の商品ＩＤを売上登録部９９に出力する。
【００８８】
一方、ステップＳ１４５で、対象商品が一意に識別されていない（Ｎｏ）と判定された場合に、処理は、ステップＳ１５０に進む。この場合に、ステップＳ１５０において、入力取得部９６は、複数の対象商品の候補の中から確定商品をオペレータに選択させる図示せぬ選択画面（又は、商品名などの情報に基づいて対象商品を検索する検索画面）をディスプレイ２２１に表示する。これに応答して、オペレータは、タッチパネル２２２から確定商品を指定する指定情報を入力する。すると、ステップＳ１５５において、入力取得部９６は、指定情報の入力を受け付けて、指定された候補を確定商品として認識する。この後、情報出力部９７は、確定商品の商品ＩＤを売上登録部９９に出力する。
【００８９】
ステップＳ１４５で対象商品が一意に識別された（Ｙｅｓ）と判定された場合、又は、ステップＳ１５５の後に、ステップＳ１６０において、売上登録部９９は、入力された商品ＩＤに基づいて商品辞書Ｄ１から確定商品の商品情報ＧＩを取得し、取得された確定商品の商品情報ＧＩ（又は、その一部）を売上情報Ｄ４に仮登録する。このとき、確定通知部９５は、仮登録された物体（商品）の商品名などを、画像出力や音声出力などによってオペレータや客に報知する。この後、処理は、ステップＳ１６５に進む。
【００９０】
また、ステップＳ１３５において、図示せぬ管理情報に登録されたフラグが追加登録処理を指定していると判別された場合に、指示検知部９４は、追加登録処理を類似度演算部９２と類似度判断部９３と売上登録部９９とに指示する。これに応答して、類似度演算部９２と類似度判断部９３と売上登録部９９とが、ステップＳ２０５において、追加登録処理を行う。
【００９１】
図１１Ａに、ステップＳ２０５で行われる追加登録処理の詳細を示す。
図１１Ａに示すように、ステップＳ２０５の追加登録処理では、まず、ステップＳ２１０において、類似度演算部９２及び類似度判断部９３が、仮登録商品情報Ｄ２ａ（図７（ａ）参照）に基づく商品検索を行う。
【００９２】
このとき、類似度演算部９２は、ステップＳ２１１において、商品辞書Ｄ１に登録された各取扱商品の基準画像情報ＳＰの中から、仮登録商品情報Ｄ２ａ（図７（ａ）参照）に記録された各仮登録商品の商品ＩＤに基づいて、各仮登録商品の基準画像を抽出する。次に、類似度演算部９２は、ステップＳ２１２において、ステップＳ１０５で連続して取得された複数枚の撮像画像から物体（商品）の特徴量を取得し、撮像画像に含まれている物体（商品）の特徴量とステップＳ２１１で抽出された基準画像に含まれている各仮登録商品の特徴量とをそれぞれ比較することで、撮像画像に写る物体（商品）と仮登録商品情報Ｄ２ａに記録された各仮登録商品との類似度を算出する。
【００９３】
次に、類似度判断部９３は、ステップＳ２１３において、類似度判別用の閾値を商品辞書Ｄ１に基づく商品検索（ステップＳ１４０（図１０Ｂ参照））時よりも低い値に下げる。次に、類似度判断部９３は、ステップＳ２１４において、類似度がその閾値以上となる取扱商品が仮登録商品の中にあるか否かを判定することによって、この物体（商品）に該当する仮登録商品を取引の対象商品として検索する。このとき、類似度判断部９３は、取扱商品よりも数の少ない仮登録商品の中から対象商品を検索するため、確度の高い１つの対象商品を抽出すること（すなわち、対象商品を一意に識別すること）ができる。このようにして、ステップＳ２１０の処理が行われる。ステップＳ２１０で抽出された対象商品は、追加登録処理に該当する商品である。
【００９４】
この後、ステップＳ２２０において、売上登録部９９は、ステップＳ２１４で抽出された対象商品の商品ＩＤに基づいて、対象商品の商品情報ＧＩを商品辞書Ｄ１から取得し、取得された商品情報ＧＩ（又は、その一部）を確定商品の商品情報ＧＩとして売上情報Ｄ４に追加登録する。このとき、確定通知部９５は、追加登録された物体（商品）の商品名や価格などを、画像出力や音声出力などによってオペレータや客に報知する。この後、処理は、ステップＳ１６５に進む。
【００９５】
また、図１０Ｂに示すステップＳ１３５において、図示せぬ管理情報に登録されたフラグがキャンセル処理を指定していると判別された場合に、指示検知部９４は、キャンセル処理を類似度演算部９２と類似度判断部９３と売上登録部９９とに指示する。これに応答して、類似度演算部９２と類似度判断部９３と売上登録部９９とが、ステップＳ３０５において、キャンセル処理を行う。
【００９６】
図１１Ｂに、ステップＳ３０５で行われるキャンセル処理の詳細を示す。
図１１Ｂに示すように、ステップＳ３０５のキャンセル処理では、まず、ステップＳ３１０において、ステップＳ２１０（図１１Ａ参照）と同様に、類似度演算部９２及び類似度判断部９３が、仮登録商品情報Ｄ２ａ（図７（ａ）参照）に基づく商品検索を行う。すなわち、類似度演算部９２が、ステップＳ３１１，Ｓ３１２において、ステップＳ２１２，Ｓ２１２と同様の処理を行い、その後に、類似度判断部９３が、ステップＳ３１３，Ｓ３１４において、ステップＳ２１３，Ｓ２１４と同様の処理を行う。ステップＳ３１０で抽出された対象商品は、キャンセル処理に該当する商品である。
【００９７】
この後、ステップＳ３２０において、売上登録部９９は、ステップＳ２１４で抽出された対象商品に該当する商品情報ＧＩ（すなわち、ステップＳ２１４で抽出された対象商品の商品ＩＤに対応付けられて売上情報Ｄ４に登録されている商品情報ＧＩ）を売上情報Ｄ４から取り消す。このとき、確定通知部９５は、取り消された物体（商品）の商品名などを、画像出力や音声出力などによってオペレータや客に報知する。この後、処理は、ステップＳ１６５に進む。
【００９８】
また、図１０Ｂに示すステップＳ１３５において、図示せぬ管理情報に登録されたフラグが特定処理を指定していると判別された場合に、指示検知部９４は、特定処理の実行を類似度演算部９２と類似度判断部９３と売上登録部９９とに指示する。これに応答して、類似度演算部９２と類似度判断部９３と売上登録部９９とが、ステップＳ４０５において、特定処理を行う。
【００９９】
図１１Ｃに、ステップＳ４０５で行われる特定処理の詳細を示す。
図１１Ｃに示すように、ステップＳ４０５の特定処理では、まず、ステップＳ４１０において、類似度演算部９２及び類似度判断部９３が、事前登録商品情報Ｄ２ｂ（図７（ｂ）参照）に基づく商品検索を行う。
【０１００】
このとき、類似度演算部９２は、ステップＳ４１１において、商品辞書Ｄ１に登録された各取扱商品の基準画像情報ＳＰの中から、事前登録商品情報Ｄ２ｂ（図７（ｂ）参照）に記録された各事前登録商品の商品ＩＤに基づいて、各事前登録商品の基準画像を抽出する。次に、類似度演算部９２は、ステップＳ４１２において、ステップＳ１０５で連続して取得された複数枚の撮像画像から物体（商品）の特徴量を取得し、撮像画像に含まれている物体（商品）の特徴量とステップＳ４１１で抽出された基準画像に含まれている各事前登録商品の特徴量とをそれぞれ比較することで、撮像画像に写る物体（商品）と事前登録商品情報Ｄ２ｂに記録された各事前登録商品との類似度を算出する。
【０１０１】
次に、類似度判断部９３は、ステップＳ４１３において、類似度判別用の閾値を商品辞書Ｄ１に基づく商品検索（ステップＳ１４０（図１０Ｂ参照））時よりも低い値に下げる。次に、類似度判断部９３は、ステップＳ４１４において、類似度がその閾値以上となる取扱商品が事前登録商品の中にあるか否かを判定することによって、この物体（商品）に該当する事前登録商品を取引の対象商品として検索する。このとき、類似度判断部９３は、取扱商品よりも数の少ない事前登録商品の中から対象商品を検索するため、確度の高い１つの対象商品を抽出すること（すなわち、対象商品を一意に識別すること）ができる。
【０１０２】
この後、ステップＳ４１５において、類似度判断部９３（又は、図示せぬ機能手段）は、抽出された対象商品に対応して事前登録商品情報Ｄ２ｂに登録されている特定処理内容を識別する。そして、ステップＳ４１６において、類似度判断部９３（又は、図示せぬ機能手段）は、特定処理内容が値引き後価格を適用した仮登録処理であるか否かを判定する。
【０１０３】
ステップＳ４１６で、特定処理内容が値引き後価格を適用した仮登録処理である（Ｙｅｓ）と判定された場合に、ステップＳ４２０において、売上登録部９９は、ステップＳ４１４で抽出された対象商品の商品ＩＤに基づいて、対象商品の商品情報ＧＩを事前登録商品情報Ｄ２ｂから取得し（又は、対象商品の商品情報ＧＩを商品辞書Ｄ１から取得するとともに、値引きに関する情報を事前登録商品情報Ｄ２ｂから取得し）、値引き後価格を含む、取得された商品情報ＧＩ（又は、その一部）を確定商品の商品情報ＧＩとして売上情報Ｄ４に仮登録する。このとき、確定通知部９５は、仮登録された物体（商品）の商品名や値引き後価格などを、画像出力や音声出力などによってオペレータや客に報知する。この後、処理は、ステップＳ１６５に進む。
【０１０４】
一方、ステップＳ４１６で、特定処理内容が値引き後価格を適用した仮登録処理でない（Ｎｏ）と判定された場合に、ステップＳ４３０において、商品登録装置１は、ステップＳ４１５で識別された特定処理内容に該当する処理を実行する。この後、処理は、ステップＳ１６５に進む。
【０１０５】
図１０Ｂに示すステップＳ１６０，Ｓ２０５，Ｓ３０５，Ｓ４０５のいずれかの処理の後に、ステップＳ１６５において、入力取得部９６は、オペレータによって清算処理が指示されたか否かを判定する。
【０１０６】
ステップＳ１６５で、清算処理が指示されていない（Ｎｏ）と判定された場合に、処理は、符号「Ｂ１」を介して、図１０Ａに示すステップＳ１０５に戻る。その結果、商品登録装置１は、ステップＳ１０５以降の処理を繰り返す。なお、「清算処理が指示されていない（Ｎｏ）と判定された場合」とは、売上情報Ｄ４に仮登録されていない商品が第１の買物カゴ４Ｌに残る場合や、キャンセル処理を行う商品が第２の買物カゴ４Ｒに入っている場合などである。
【０１０７】
一方、ステップＳ１６５で、清算処理が指示された（Ｙｅｓ）と判定された場合に、ステップＳ１７０において、売上登録部９９は、売上情報Ｄ４を確定登録する。このとき、売上登録部９９は、売上情報Ｄ４に含まれている「未確定／確定」情報を未確定状態から確定状態に変更する。これにより、一連のルーチンの処理が終了する。
【０１０８】
本実施形態に係る商品登録装置１は、商品登録処理を行う際に、オブジェクト認識を行う対象を限定することができる限定可能商品については、限定可能商品情報Ｄ２に基づく商品検索を行う。このような商品登録装置１は、限定可能商品情報Ｄ２の取扱商品の数が商品辞書Ｄ１の商品情報ＧＩの取扱商品の数よりも少ない（すなわち、限定可能商品情報Ｄ２のデータ量が商品辞書Ｄ１の商品情報ＧＩのデータ量よりも少ない）ため、オブジェクト認識に要する時間を短縮することができ、もって、オブジェクト認識の処理速度を向上させることができる。更に、対象商品の候補が指示情報によって限定されるため、例えば、Ａ産地のリンゴのみが特売されており、Ｂ産地のリンゴが特売されていない場合のように、紛らわしい取扱商品がある場合に、紛らわしい取扱商品に対して、対象商品を一意に識別することができる。
【０１０９】
以上の通り、本実施形態に係る商品登録装置１によれば、オブジェクト認識の処理速度を向上させることができる。
【０１１０】
なお、本発明は、前記した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。
【０１１１】
例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、本発明は、実施形態の構成の一部を他の構成に置き換えることができる。また、本発明は、実施形態の構成から一部の構成を削除することができる。
【０１１２】
また、例えば、前記した実施形態では、オペレータが所定の手の形状やジェスチャーなどが含まれている撮像画像をカメラ２７に撮像させることによって指示情報を商品登録装置１に入力している。しかしながら、商品登録装置１は、タッチパネル２２２（図３参照）やキーボード２３（図３参照）から特定のキー入力情報を指示情報として入力したり、図示せぬマイクから特定の音声入力情報を指示情報として入力したりする構成にすることができる。
【０１１３】
また、例えば、商品登録装置１は、所定の手の形状やジェスチャーなどの指示情報と商品とが一緒に写っている撮像画像に基づいて、指示情報の検知動作、指示情報に対応付けられた処理内容の特定動作、及び、商品検索動作を行うように構成してもよい。ここで、「指示情報と商品とが一緒に写っている撮像画像」とは、例えば、指を特殊な形に曲げた状態で商品を握り、その状態で撮像された撮像画像などのように、予め規定された状態で商品が握られている撮像画像を意味している。
【０１１４】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、
物体を撮像して、前記物体の撮像画像を取得する撮像部と、
前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断部と、
前記類似度判断部で特定された前記対象商品の前記商品情報を、商品の売上情報に登録する登録部と、
前記取扱商品に係る指示情報を検知する指示検知部と、を備え、
前記類似度判断部は、前記指示検知部で前記指示情報が検知されたときに、前記指示情報に基づいて、前記取扱商品を絞り込み、前記撮像部で取得された前記撮像画像と、前記指示情報に基づいて絞り込まれた前記取扱商品の前記基準画像との類似度を判断して、前記対象商品を特定する
ことを特徴とする商品登録装置。
＜請求項２＞
請求項１に記載の商品登録装置において、
前記類似度判断部は、前記指示検知部で前記指示情報が検知されたときに、類似度の判断に用いる閾値を下げて、前記対象商品を特定する
ことを特徴とする商品登録装置。
＜請求項３＞
請求項１又は請求項２に記載の商品登録装置において、
前記記憶部には、前記売上情報に登録された前記対象商品である仮登録商品に関する仮登録商品情報が記憶されており、
前記指示検知部で検知された前記指示情報が前記仮登録商品の追加登録を指定しているときに、
前記類似度判断部は、前記仮登録商品情報に基づいて、前記撮像部で取得された前記撮像画像に該当する仮登録商品を特定し、
前記登録部は、前記類似度判断部で特定された前記仮登録商品の前記商品情報を、前記売上情報に追加登録する
ことを特徴とする商品登録装置。
＜請求項４＞
請求項１乃至請求項３のいずれか一項に記載の商品登録装置において、
前記記憶部には、前記売上情報に登録された前記対象商品である仮登録商品に関する仮登録商品情報が記憶されており、
前記指示検知部で検知された前記指示情報が前記仮登録商品のキャンセルを指定しているときに、
前記類似度判断部は、前記仮登録商品情報に基づいて、前記撮像部で取得された前記撮像画像に該当する仮登録商品を特定し、
前記登録部は、前記類似度判断部で特定された前記仮登録商品の前記商品情報を、前記売上情報から取り消す
ことを特徴とする商品登録装置。
＜請求項５＞
請求項１乃至請求項４のいずれか一項に記載の商品登録装置において、
前記記憶部には、特定処理の対象となる取扱商品が事前に登録された事前登録商品情報が記憶されており、
前記指示検知部で検知された前記指示情報が特定処理を指定しているときに、
前記類似度判断部は、前記事前登録商品情報に基づいて、前記撮像部で取得された前記撮像画像に該当する取扱商品を特定し、
前記登録部は、前記類似度判断部で特定された前記取扱商品の前記商品情報を、前記売上情報に登録する
ことを特徴とする商品登録装置。
＜請求項６＞
請求項１乃至請求項５のいずれか一項に記載の商品登録装置において、
前記指示情報は、前記撮像画像の中に写っているオペレータのジェスチャー又は手の形状に応じて予め規定された内容の情報であり、
前記記憶部には、前記指示情報を規定する規定情報が予め記憶されている
ことを特徴とする商品登録装置。
＜請求項７＞
請求項１乃至請求項５のいずれか一項に記載の商品登録装置において、
前記指示情報は、オペレータによって音声入力部から入力される音声の内容に応じて予め規定された内容の情報であり、
前記記憶部には、前記指示情報を規定する規定情報が予め記憶されている
ことを特徴とする商品登録装置。
＜請求項８＞
請求項１乃至請求項５のいずれか一項に記載の商品登録装置において、
前記指示情報は、オペレータによってキー入力部から入力されるキー情報に応じて予め規定された内容の情報であり、
前記記憶部には、前記指示情報を規定する規定情報が予め記憶されている
ことを特徴とする商品登録装置。
＜請求項９＞
取扱商品毎に当該取扱商品に関する商品情報と当該取扱商品の外観を表す基準画像に関する基準画像情報とを関連付ける商品辞書が記憶された記憶部と、物体を撮像して、前記物体の撮像画像を取得する撮像部と、を備える商品登録装置が、前記撮像部で取得された前記撮像画像と前記商品辞書に登録された各前記取扱商品の前記基準画像との類似度を判断して、取引の対象となる対象商品を特定する類似度判断ステップと、
前記商品登録装置が、前記類似度判断ステップで特定された前記対象商品の前記商品情報を、商品の売上を表す売上情報に登録する登録ステップと、
前記商品登録装置が、前記取扱商品に係る指示情報を検知する指示検知ステップと、を含んでおり、
前記指示検知ステップで前記指示情報が検知されたときに、前記商品登録装置は、前記類似度判断ステップで、前記指示情報に基づいて前記取扱商品を絞り込み、前記撮像部で取得された前記撮像画像と、前記指示情報に基づいて絞り込まれた前記取扱商品の前記基準画像との類似度を判断して、前記対象商品を特定する
ことを特徴とする商品登録装置の商品特定方法。
【符号の説明】
【０１１５】
１  商品登録装置
２  商品識別装置
２１  マイクロコンピュータ
２１１  ＣＰＵ（制御手段）
２１２  ＲＯＭ
２１３  ＲＡＭ
２２  表示・操作部
２２１  ディスプレイ
２２２  タッチパネル
２３  キーボード
２４  顧客用ディスプレイ
２５  インタフェース
２７  カメラ（撮像部）
２７１  照明
２８  スピーカ
２９  電源
３  ＰＯＳ端末
３１  マイクロコンピュータ
３１１  ＣＰＵ
３１２  ＲＯＭ
３１３  ＲＡＭ
３３  キーボード
３２１  ディスプレイ
３２２  タッチパネル
３４  顧客用ディスプレイ
３５  インタフェース
３６  ＨＤＤ
３７  ドロワ
３８  プリンタ
３９  電源
４  買物カゴ
５  カウンタ台
５１  ハウジング
５２  読取窓
６  チェックアウト台
７  商品
９０  画像取得部
９１  物体検出部
９２  類似度演算部
９３  類似度判断部
９４  指示検知部
９５  確定通知部
９６  入力取得部
９７  情報出力部
９９  売上登録部
Ｄ１  商品辞書
Ｄ２  限定可能商品情報
Ｄ２ａ  仮登録商品情報
Ｄ２ｂ  事前登録商品情報
Ｄ３  規定情報
Ｄ４  売上情報
ＧＩ  商品情報
ＳＰ  基準画像情報
ＳＰ００１Ｆ，ＳＰ００１Ｂ，ＳＰ００１Ｔ，ＳＰ００１Ｕ，ＳＰ００１Ｒ，ＳＰ００１Ｌ  基準画像
【図１】
0006375924.tif 000002
【図２】
0006375924.tif 000003
【図３】
0006375924.tif 000004
【図４】
0006375924.tif 000005
【図５】
0006375924.tif 000006
【図６】
0006375924.tif 000007
【図７】
0006375924.tif 000008
【図８】
0006375924.tif 000009
【図９】
0006375924.tif 000010
【図１０Ａ】
0006375924.tif 000011
【図１０Ｂ】
0006375924.tif 000012
【図１１Ａ】
0006375924.tif 000013
【図１１Ｂ】
0006375924.tif 000014
【図１１Ｃ】
0006375924.tif 000015