(57)【要約】【課題】画像によって商品マスタ登録を行うことができるようにした情報処理システム及び情報処理方法を提供すること。【解決手段】本情報処理システムは、レジ端末の所定エリアに置かれ得る商品の画像を、商品登録画像として生成する登録画像生成手段３３４と、登録画像生成手段により生成された商品登録画像と当該商品登録画像に被写体として含まれる商品に対して一意に付与された商品識別子とを関連付けて登録する商品マスタ登録手段４０２と、レジ端末の前記所定エリアに置かれた物体の撮像画像を、物体撮像画像として取得する撮像画像取得手段２７０と、取得された前記物体撮像画像に基づいて、前記物体の存在を認識する認識手段２７１と、存在が認識された前記物体について、前記物体撮像画像と前記商品登録画像とに基づいて、いずれの商品かを特定する商品特定手段２７２と、を備える。【選択図】図７
2018088161.tif 000002
【特許請求の範囲】
【請求項１】
レジ端末の所定エリアに置かれ得る商品の画像を、商品登録画像として生成する登録画像生成手段と、
前記登録画像生成手段により生成された前記商品登録画像と、当該商品登録画像に被写体として含まれる前記商品に対して一意に付与された商品識別子とを関連付けて登録する商品マスタ登録手段と、
前記レジ端末の前記所定エリアに置かれた物体の撮像画像を、物体撮像画像として取得する撮像画像取得手段と、
取得された前記物体撮像画像に基づいて、前記物体の存在を認識する認識手段と、
前記物体撮像画像と前記商品登録画像とに基づいて、存在が認識された前記物体がいずれの商品かを特定する商品特定手段と、
を備える情報処理システム。
【請求項２】
前記登録画像生成手段は、
前記レジ端末の前記所定エリアに置かれ得る前記商品を置く載置手段と、
前記載置手段に置かれた前記商品を撮像して、前記商品登録画像を生成する撮像手段と、
前記撮像手段を設置する設置手段と、
を有する、
請求項１に記載の情報処理システム。
【請求項３】
前記登録画像生成手段は、前記載置手段に置かれた前記商品を複数の視点から前記撮像手段に撮像させ、その結果得られる前記複数の視点の撮像画像の集合体を、前記商品登録画像として生成する、
請求項２に記載の情報処理システム。
【請求項４】
前記載置手段は、１以上の方向に移動可能とされている、
請求項２又は３に記載の情報処理システム。
【請求項５】
前記登録画像生成手段は、前記載置手段に置かれた前記商品を撮像する前記撮像手段の視点を変更するように、前記設置手段の位置を変更する設置位置変更手段をさらに備える、
請求項２乃至４のうちいずれか一項に記載の情報処理システム。
【請求項６】
前記登録画像生成手段は、前記載置手段に置かれた前記商品を照明する照明手段をさらに有する、
請求項２乃至５のうちいずれか一項に記載の情報処理システム。
【請求項７】
前記照明手段は、二色以上に変色可能に発光する、
請求項６に記載の情報処理システム。
【請求項８】
前記登録画像生成手段は、前記載置手段及び前記撮像手段を囲む囲繞手段をさらに備える、
請求項２乃至７のうちいずれか一項に記載の情報処理システム。
【請求項９】
情報処理システムが実行する情報処理方法であって、
レジ端末の所定エリアに置かれ得る商品の画像を、商品登録画像として生成する登録画像生成ステップと、
前記登録画像生成ステップにおいて生成された前記商品登録画像と、当該商品登録画像に被写体として含まれる前記商品に対して一意に付与された商品識別子とを関連付けて登録する商品マスタ登録ステップと、
前記レジ端末の前記所定エリアに置かれた物体の撮像画像を、物体撮像画像として取得する撮像画像取得ステップと、
取得された前記物体撮像画像に基づいて、前記物体の存在を認識する存在認識ステップと、
前記物体撮像画像と前記商品登録画像とに基づいて、存在が認識された前記物体がいずれの商品かを特定する商品特定ステップと、
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム及び情報処理方法に関する。
【背景技術】
【０００２】
従来より、コンビニエンスストア、スーパーマーケット、ショッピングセンター、各種の量販店などの商店では、購入者が商品棚から商品を取り、ショッピングカートや買い物かごに入れて、商店の出口付近に設けられた商品の代金を精算するためのキャッシュレジスター端末まで運び、セルフキャッシュレジスター等によって商品の代金の精算を行っている（例えば、特許文献１参照）。
【０００３】
ただし、ショッピングカートや買い物かごに入っている商品の代金をキャッシュレジスター端末で精算する場合には、セルフキャッシュレジスター端末による精算であっても、いずれかの商品を特定するために商品毎にバーコードの読み取りが発生してしまう。このため、精算を待つ購入者の列を解消することはできず、購入者は長時間キャッシュレジスター端末による代金の精算を待つことになる。
また、購入者が商店で購入したい商品を購入するときに、他に多数の購入者がいる場合、購入者は、長時間キャッシュレジスター端末による代金の精算を待つことを嫌がり、結果的に買い物自体を諦めてしまう場合がある。
上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、及び商品の代金の精算にかかる時間の短縮化を図ることができるシステムが要求されている。
そこで、本出願人は、キャッシュレジスター等の所定領域に商品が置かれると、カメラで当該所定領域を撮像し、その結果得られる撮像画像から当該商品候補の物体を認識し、当該物体（商品候補）が如何なる商品であるのかを特定し、特定された商品についての代金決済をするまでの一連の処理を実行可能な次世代レジシステムについて、既に特許出願をしている（特願２０１６−０８０６２４）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−７６２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
商店では、ＪＡＮコードのような商品識別番号や識別記号などの識別コード（以下、「商品識別子」と呼ぶ）を表示するバーコードシールを商品に貼付することで商品管理をしている。しかし、果物のような商品には、バーコードシールを貼付しにくく、バーコードシールを貼付していない商品も販売されている。このようなバーコードシールが貼付されていない商品は、商品識別子によるマスタ登録・管理ができないため、流通・販売時の管理が困難である。
また、バーコードシールが貼付されていない商品は、小売従業者や購入者が販売・購入する時にどのような商品であるかを判断しているため、誤認したり不正されたりするリスクがある。特に、購入者が会計を行うセルフレジのような次世代レジシステムの場合は、そのリスクが増大する。
さらに、次世代レジシステムでは、商品を認識し、特定する手段として、バーコードシールでなく、画像が用いられる。したがって、商品管理する商品マスタには、従来の情報に加えて、画像関連の情報をも保有する必要がある。
【０００６】
本発明は、画像によって商品マスタ登録を行うことができるようにした情報処理システム及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様の情報処理システムは、
レジ端末の所定エリアに置かれ得る商品の画像を、商品登録画像として生成する登録画像生成手段と、
前記登録画像生成手段により生成された前記商品登録画像と、当該商品登録画像に被写体として含まれる前記商品に対して一意に付与された商品識別子とを関連付けて登録する商品マスタ登録手段と、
前記レジ端末の前記所定エリアに置かれた物体の撮像画像を、物体撮像画像として取得する撮像画像取得手段と、
取得された前記物体撮像画像に基づいて、前記物体の存在を認識する認識手段と、
前記物体撮像画像と前記商品登録画像とに基づいて、存在が認識された前記物体がいずれの商品かを特定する商品特定手段と、
を備える。
【０００８】
前記登録画像生成手段は、
前記レジ端末の前記所定エリアに置かれ得る前記商品を置く載置手段と、
前記載置手段に置かれた前記商品を撮像して、前記商品登録画像を生成する撮像手段と、
前記撮像手段を設置する設置手段と、
を有する、
ようにすることができる。
【０００９】
前記登録画像生成手段は、前記載置手段に置かれた前記商品を複数の視点から前記撮像手段に撮像させ、その結果得られる前記複数の視点の撮像画像の集合体を、前記商品登録画像として生成する、ようにすることができる。
【００１０】
前記載置手段は、１以上の方向に移動可能とされている、ようにすることができる。
【００１１】
前記登録画像生成手段は、前記載置手段に置かれた前記商品を撮像する前記撮像手段の視点を変更するように、前記設置手段の位置を変更する設置位置変更手段をさらに備える、ようにすることができる。
【００１２】
前記登録画像生成手段は、前記載置手段に置かれた前記商品を照明する照明手段をさらに有する、ようにすることができる。
【００１３】
前記照明手段は、二色以上に変色可能に発光する、ようにすることができる。
【００１４】
前記登録画像生成手段は、前記載置手段及び前記撮像手段を囲む囲繞手段をさらに備える、ようにすることができる。
【００１５】
上記目的を達成するため、本発明の一態様の情報処理方法は、
情報処理システムが実行する情報処理方法であって、
レジ端末の所定エリアに置かれ得る商品の画像を、商品登録画像として生成する登録画像生成ステップと、
前記登録画像生成ステップにおいて生成された前記商品登録画像と、当該商品登録画像に被写体として含まれる前記商品に対して一意に付与された商品識別子とを関連付けて登録する商品マスタ登録ステップと、
前記レジ端末の前記所定エリアに置かれた物体の撮像画像を、物体撮像画像として取得する撮像画像取得ステップと、
取得された前記物体撮像画像に基づいて、前記物体の存在を認識する存在認識ステップと、
前記物体撮像画像と前記商品登録画像とに基づいて、存在が認識された前記物体がいずれの商品かを特定する商品特定ステップと、
を含むようにする。
【発明の効果】
【００１６】
本発明によれば、画像によって商品マスタ登録を行うことができるようにした情報処理システム及び情報処理方法を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の情報処理システムの一実施形態としての商品認識システムの構成を示す構成図である。
【図２】図１の商品認識システムを構成するサーバのハードウェア構成を示すブロック図である。
【図３】図１の商品認識システムを構成するレジ端末のハードウェア構成を示すブロック図である。
【図４】図３のレジ端末の一実施形態としての概観を示す斜視図である。
【図５】図１の商品認識システムを構成する商品撮影ユニットのハードウェア構成を示すブロック図である。
【図６】図５の商品撮影ユニットの一実施形態としての概観であって、撮像者と向き合う正面から見た内部を示す透視図である。
【図７】図２のサーバと図３のレジ端末と図４の商品撮影ユニットとの機能的構成の一例を示す機能ブロック図である。
【図８】本発明の情報処理システムの一実施形態としての商品マスタ登録処理を説明するフローチャートである。
【図９】本発明の情報処理システムの一実施形態としての精算処理を説明するフローチャートである。
【発明を実施するための形態】
【００１８】
先ず、本発明の情報処理システムの概要について、説明する。
【００１９】
本発明の情報処理システムの一実施形態に係る商品認識システム（次世代レジシステム）は、少なくとも次の機能を有している。
即ち、本実施形態の商品認識システムは、生成機能と、取得機能と、認識機能と、特定機能とを少なくとも備える。
【００２０】
本実施形態の商品認識システムでは、これらの機能が発揮される前提として、レジ端末の所定エリアに置かれ得る商品の商品登録画像と、所定エリアに置かれた商品に対して一意に付与された商品識別子とを関連付けて登録する。
【００２１】
このような前提のもと、「生成機能」とは、レジ端末の所定エリアに置かれ得る商品の商品登録画像のデータを生成する機能である。
ここで、商品を被写体として撮像した撮像画像を、以下「商品撮像画像」と呼ぶ。
また、「取得機能」とは、レジ端末の所定エリアに置かれた物体の撮像画像のデータを取得する機能である。
ここで、所定エリアに置かれた商品を被写体として含む撮像画像を、以下「物体撮像画像」と呼ぶ。
また、商品認識システムは、商品撮像画像及び物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。
【００２２】
「認識機能」とは、取得された物体撮像画像に基づいて、物体の存在を認識する機能である。
ここで、「物体」とは、所定エリアに置かれた商品を意味する。ただし、認識機能が発揮された時点では、どのような商品か特定することができないため、物体として認識されるのである。このように、本明細書では、どのような商品か特定されていないものを「物体」と呼ぶ。また、本明細書では、「物体」が商品として特定されたものを「商品」と呼ぶ。
また、ここで、「物体の存在を認識する」とは、背景差分等の画像処理方法による領域定義を行うことをいう。背景差分等の画像処理方法では、「物体」が所定エリアに置かれる前の撮像画像と、「物体」が所定エリアに置かれた後の撮像画像とが対比される。
【００２３】
「特定機能」とは、認識機能の発揮により存在が認識された物体が、いかなる商品であるのかを特定する機能である。
なお、本実施形態の商品認識システムは、特定された商品についての代金決済（精算）をする機能も備えている。
【００２４】
このような機能を有する商品認識システムは、何らの措置を施さないと、次の（ａ）乃至（ｃ）の課題が生じる。
（ａ）商品には、業界共通の商品識別子を表示したバーコードシールが貼付されている。しかし、各店舗においては、バーコードに依拠することなく、商品の画像によって店舗独自の商品管理を行いたいという要請がある。
（ｂ）店舗独自の商品管理を行うため、各店舗において商品を撮像するとしても、商品を的確に撮像することは容易ではない。即ち、商品を的確に撮像するには、商品を撮影する方向や照明など画像処理の技術が要求される。
（ｃ）特に、果物等のように包装されていない商品にあっては、バーコードシールを商品に貼付しにくいことから、バーコードシールによって流通時や販売時における商品の管理を行うことが困難である。したがって、商品の売買時において、目視で商品を特定している。しかし、目視では、誤認識や不正といったリスクがある。特に、購入者が会計を行うセルフレジではそのリスクが増大する。
【００２５】
そこで、本実施形態の商品認識システムは、上述の課題（ａ）乃至（ｃ）の夫々を解決すべく、次のような特徴（Ａ）及び（Ｃ）の夫々を有している。
（Ａ）各店舗において登録画像生成手段を備えた情報処理システムを設置することで、商品登録画像を生成し、この商品登録画像に含まれる商品に商品識別子を付与することができるという特徴。
（Ｂ）登録画像生成手段を備えた情報処理システムを設置した各店舗においては、画像処理の技術がなくても商品登録画像を撮像することができるという特徴。
（Ｃ）バーコードシールを貼付できない商品であっても、商品登録画像によって商品管理を行うため、誤認識や不正を防止することができるという特徴。
【００２６】
次に、図面を参照しながら本発明の情報処理システムの一実施形態としての商品認識システムについて説明する。
図１は、本発明の情報処理システムの一実施形態としての商品認識システムの構成を示す構成図である。
本実施形態の商品認識システムは、レジ端末に置かれ得る商品を的確に管理することを実現すべく、図１に示すような構成を有している。
【００２７】
即ち、商品認識システムは、サーバ１と、ｎ台（ｎは任意の整数）のレジ端末２−１乃至２−ｎと、商品撮影ユニット３と、有している。
サーバ１とレジ端末２−１乃至２−ｎとの夫々、及びサーバ１と商品撮影ユニット３とは、インターネット（Ｉｎｔｅｒｎｅｔ）等のネットワークＮを介して相互に接続されている。
なお、説明の便宜上、図１のサーバ１及び商品撮影ユニット３の夫々は、１台しか描画されていないが、実際には複数台の場合もある。
また、以下、レジ端末２−１乃至２−ｎを個々に区別する必要がない場合、これらをまとめて「レジ端末２」と呼ぶ。
【００２８】
サーバ１は、レジ端末２及び商品撮影ユニット３の各動作を管理すべく、各処理を実行する。
図２は、サーバ１のハードウェア構成を示すブロック図である。
【００２９】
サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
【００３０】
ＣＰＵ１０１は、ＲＯＭ１０２に記憶されているプログラム、又は、記憶部１０８からＲＡＭにロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００３１】
ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、また、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、出力部１０６、入力部１０７、記憶部１０８、通信部１０９及びドライブ１１０が接続されている。
【００３２】
出力部１０６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部１０７は、キーボードやマウス、タッチパネル等で構成され、各種情報を入力する。
【００３３】
記憶部１０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１０９は、インターネットを含むネットワークＮ（図１）を介して他の装置（図１の例ではレジ端末２−１乃至２−ｎ及び商品撮影ユニット３）との間で通信を行う。
【００３４】
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア１２０が適宜装着される。ドライブ１１０によってリムーバブルメディア１２０から読み出されたプログラムは、必要に応じて記憶部１０８にインストールされる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。
【００３５】
このようなサーバ１にネットワークＮを介して接続されたレジ端末２は、認識対象の商品が載置される所定エリアを備え、種々のハードウェア構成によって構成されている。
【００３６】
図３は、レジ端末２のハードウェア構成を示すブロック図である。
レジ端末２は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、バス２０４と、入出力インターフェース２０５と、出力部２０６と、入力部２０７と、撮像部２０８と、記憶部２０９と、通信部２１０と、ドライブ２１１と、を備えている。
【００３７】
レジ端末２のＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、バス２０４、入出力インターフェース２０５、記憶部２０９、通信部２１０、ドライブ２１１、リムーバブルメディア２２０は、サーバ１のこれらと同様に構成されている。
【００３８】
出力部２０６は、商品点数に関する情報や精算に関する情報などを表示する表示部Ｄ２や、レシートを出力するレシート出力部（図示せず）などを備えている。
入力部２０７は、タッチパネルやカードリーダなど（図示せず）を備えている。
撮像部２０８は、所定エリアに置かれた物体を撮像する１台又は複数台のカメラによって構成されている。撮像部２０８は、所定エリアに置かれた商品を撮像し、その結果として得られる複数の撮像画像を物体撮像画像として取得する。
【００３９】
ここで、レジ端末２の外観的な構成の具体例について図４を参照して説明する。
図４は、レジ端末２の概観を示す斜視図である。
レジ端末２は、商品（図示せず）が載置される商品エリアＡを囲むレジ側囲繞部２３０を備えている。レジ側囲繞部２３０は、天板部２３１と、底板部２３２と、一対の側板部２３３と、背板部（図示せず）と、を備えている。
【００４０】
レジ側囲繞部２３０の底板部２３２上に筺体部２４０が設置されている。筺体部２４０は、レジ端末２のＣＰＵ２０１やＲＯＭ２０２、ＲＡＭ２０３等を内蔵し、図４において図示しない出力部２０６や入力部２０７を表面（購入者と向き合う面）に設けている。
このような筺体部２４０上にプレート２５０が設置される。プレート２５０の盤面が所定エリアＡとされる。所定エリアＡと天板部２３１との間に空間が設けられる。
【００４１】
プレート２５０には、照明部２６０が備えられている。レジ側囲繞部２３０の天板部２３１にも、照明部（図示せず）が備えられている。プレート２５０に備えられる照明部２６０や天板部２３１に備えられる照明部によって所定エリアＡ上の商品が照明される。一対の側板部２３３の内面は、照明部が備えられず、光の反射面で構成されている。ただし、一対の側板部２３３も照明部を備えるようにしてもよい。
レジ側囲繞部２３０の天板部２３１の内面に撮像部２０８（図３）が固定され、所定エリアＡに載置された物体（商品）を撮像する。
【００４２】
図５は、商品撮影ユニット３のハードウェア構成を示すブロック図である。
商品撮影ユニット３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、出力部３０６と、入力部３０７と、載置部３０８と、設置部３０９と、遮光部３１０と、撮像部３１１と、照明部３１２と、通信部３１３と、を備えている。
【００４３】
商品撮影ユニット３のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、バス３０４、入出力インターフェース３０５、通信部３１３は、サーバ１及びレジ端末２のこれらと同様に構成されている。
【００４４】
出力部３０６は、撮影の状態などを表示する表示部Ｄ３や、プリンタ（図示せず）等を備えている。
入力部３０７は、一般的なキーボードやタッチパネルなど（図示せず）の文字入力部と、撮像開始ボタン（図示せず）を備えている。文字入力部から商品識別子が入力される。なお、商品識別子は、数字だけでなく、文字や記号などで構成されてもよい。
載置部３０８は、商品が載置される部位で、盤面上が撮像エリアＢ（図６）とされ、回転したりスライドしたりといった移動可能とされている。そのため、載置部３０８は、例えば、所定位置上で回転（自転）する回転台で構成される。回転台は、定速回転だけでなく、制御モータで正転・反転可能、回転速度可変としてもよい。あるいは、載置部３０８は、所定位置上で渦巻状や８の字状、円状、その他１以上の方向にスライドする可動台で構成される。さらに、載置部３０８は、回転台兼可動台であってもよい。載置部３０８がこのように移動することで、載置部３０８に載置された商品が撮像部３１１に全周向けられる。
設置部３０９は、商品を撮像する撮像部３１１を設置し、当該撮像部３１１の視点（画角）を変更するように作動する。
【００４５】
遮光部３１０は、商品を撮像する領域を店員等のその商品を管理したい人が視認できるように透明になる透明状態と、的確に撮像できるように不透明になる不透明状態とに切り替えられる。
そのため、遮光部３１０は、例えば瞬間調光シートで構成されている。瞬間調光シートは、液晶を２枚の透明電極膜で挟み、両透明電極膜に電圧が印加されると、透明状態となり、印加されないと、不透明状態となるように瞬時に変化することができるシートである。
【００４６】
撮像部３１１は、商品を複数の方向から撮像する複数台のカメラによって構成されている。ただし、載置部３０８が回転したり、設置部３０９によって撮像部３１１の視点が変更したりする場合は、撮像部３１１は、商品の上側から商品の横側までの広範囲を撮像する１台のカメラで構成してもよい。
照明部３１２は、撮像される商品を照明する。照明部３１２は、白色によって商品を照明してもよいし、商品の特徴に合わせて、青色や赤色、その他種々の色で照明してもよい。
【００４７】
次に、上記のような商品撮影ユニット３の外観的な構成の具体例について図６を参照して説明する。
図６は、商品撮影ユニット３の概観であって、撮像者と向き合う正面から見た内部を示す透視図である。
商品撮影ユニット３は、商品が撮像される撮像エリアＢを囲む商品撮影ユニット３の囲繞部（以下、「ユニット側囲繞部」と呼ぶ）３２０を備えている。ユニット側囲繞部３２０は、天板部３２１と、底板部３２２と、一対の側板部３２３と、背板部３２４と、正面部（図示せず）とを備えている。
天板部３２１と、底板部３２２と、一対の側板部３２３とによって囲まれた領域の奥側は、背板部３２４によって塞がれているが、手前側は、正面部によって開閉自在とされている。
【００４８】
底板部３２２上に載置部３０８が置かれている。
ユニット側囲繞部３２０の内面に撮像部３１１が固定される。したがって、ユニット側囲繞部３２０の内面が撮像部３１１を設置する設置部３０９となる。図６の例では、天板部３２１と側板部３２３とを設置部３０９とした場合について描画している。ただし、撮像部３１１の固定は、図示された部位に限定されず、当然ながら、背板部３２４や正面部であってもよい。
【００４９】
また、ユニット側囲繞部３２０は、天板部３２１と一対の側板部３２３と背板部３２４と正面部の全部又は一部が遮光部３１０とされる。
また、ユニット側囲繞部３２０の内面全面及び載置部３０８の上面に照明部３１２が備えられる。載置部３０８に設けられる照明部３１２は、上面に突出しないように埋め込まれる。ユニット側囲繞部３２０の内面に設けられる照明部３１２は、埋め込まれても露出していてもよい。
【００５０】
図７は、図２のサーバ１と図３のレジ端末２と図４の商品撮影ユニット３との機能的構成の一例を示す機能ブロック図である。
サーバ１のＣＰＵ１０１においては、図７に示すように、商品マスタ登録部４０２と、商品識別子取得部４０３と、ＤＢ管理部４０４とが機能する。
【００５１】
サーバ１の記憶部１０８の一部の領域には、商品ＤＢ４０１が設けられている。商品ＤＢ４０１は、商品に関する情報を記憶するＤＢ（Ｄａｔａ  Ｂａｓｅ）である。
【００５２】
商品マスタ登録部４０２は、所定商品について、その商品名、その商品識別子、その価格等を、当該所定商品が写る商品登録画像と紐付けて、商品ＤＢ４０１に登録する。
商品識別子取得部４０３は、商品撮影ユニット３において入力された商品識別子が商品撮影ユニット３から送信されてきた場合、当該商品識別子を取得する。商品識別子は商品撮影ユニット３の入力部３０７から入力されてもよいし、サーバ１の入力部１０７から入力されてもよい。
ＤＢ管理部４０４は、商品ＤＢ４０１の登録内容を管理する。
【００５３】
商品撮影ユニット３のＣＰＵ３０１においては、図７に示すように、遮光制御部３３０と、発光制御部３３１と、回転制御部３３２と、設置位置変更部３３３と、登録画像生成部３３４と、が機能する。
【００５４】
遮光制御部３３０は、商品が撮像されるタイミングではユニット側囲繞部３２０に備えられた遮光部３１０を透明状態とする一方、商品が撮像されないタイミングではユニット側囲繞部３２０に備えられた遮光部３１０を不透明状態とするような制御を実行する。
発光制御部３３１は、商品が撮像されるタイミングでは照明部３１２を発光させる一方、商品が撮像されないタイミングでは照明部３１２を発光させないような制御を実行する。
回転制御部３３２は、商品が撮像されるタイミングでは載置部３０８を回転させる一方、商品が撮像されないタイミングでは載置部３０８を回転させないような制御を実行する。
【００５５】
設置位置変更部３３３は、商品が撮像されるタイミングでは設置部３０９の位置を変動させる一方、商品が撮像されないタイミングでは設置部３０９の位置を変動させないような制御を実行する。
登録画像生成部３３４は、撮像部３１１で撮像された商品登録画像を取得し、商品撮影ユニット３の通信部３１３へ出力する。
【００５６】
レジ端末２は、図３に示したＣＰＵ２０１や通信部２１０等以外に、図７に示すように、通信部２１０との間でデータを送受信するＤＢ情報保持部２８１が機能する。
レジ端末２のＣＰＵ２０１においては、図７に示すように、撮像画像取得部２７０と、存在認識部２７１と、商品特定部２７２と、精算部２７３と、表示制御部２７４と、が機能する。
【００５７】
撮像画像取得部２７０は、所定エリアＡに置かれた商品が撮像部２０８によって撮像された物体撮像画像を取得する。
存在認識部２７１は、取得された物体撮像画像に基づいて、所定エリアＡに置かれた物体の存在を認識する。
【００５８】
商品特定部２７２は、存在が認識された物体について、物体撮像画像と商品登録画像とをもとに、特定物体認識や一般物体認識等の画像認識手法を用いることで、所定エリアＡに置かれた物体がいずれの商品であるのか特定する。商品登録画像は、サーバ１の商品ＤＢ４０１からＤＢ情報保持部２８１に転送されて保持されているものである。
また、当該商品登録画像と紐付けられた商品識別子、及び当該商品識別子に対応付けられた商品名、価格等の情報（これらをまとめて、以下、「商品情報」と呼ぶ）もまた、サーバ１の商品ＤＢ４０１からＤＢ情報保持部２８１に転送されて保持されているものである。
【００５９】
精算部２７３は、所定エリアＡに置かれた商品を精算する。具体的には、精算部２７３は、商品特定部２７２により特定された１以上の商品を個々に精算することにより、所定エリアＡに置かれている商品の全てを精算する。
表示制御部２７４は、取得された物体撮像画像及び当該物体撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向け表示させる制御を実行する。
具体的には、表示制御部２７４は、取得された物体撮像画像及び当該物体撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、出力部２０６（表示部Ｄ２）に表示させる制御を実行する。
【００６０】
次に、本実施形態の商品認識システムにおいて、商品が商品撮影ユニット３に置かれ、その商品を撮像し、撮像された商品登録画像に被写体として含まれる商品と商品識別子とを一意に特定し、商品ＤＢに登録してから、商品が精算されるまでの一連の処理（以下、「商品マスタ登録処理」と呼ぶ）について図８及び図９を参照して説明する。
【００６１】
図８は、商品マスタ登録処理を説明するフローチャートである。
図９は、精算処理を説明するフローチャートである。
【００６２】
商品マスタ登録処理するには、店舗において、店員などの操作者が商品を商品撮影ユニット３の載置部３０８の撮像エリアＢ上に載置する。
続いて、操作者が撮像開始ボタンを押下する。これにより、図８に示す商品マスタ登録処理が開始させる。
【００６３】
ステップＳ１において、商品撮影ユニット３の回転制御部３３２は、載置部３０８を移動、即ち、回転又は渦巻き状や８の字状、円状、その他１以上の方向にスライドさせる。ステップＳ１の処理と共に、遮光制御部３３０は、遮光部３１０を不透明状態とし、発光制御部３３１は、照明部３１２を発光させる。なお、図８のステップＳ１において図示した「又は撮像手段の位置変更」は、後述する。
【００６４】
ステップＳ２において、撮像部３１１は、載置部３０８に載置された商品の撮像を開始する。載置部３０８が回転しながら商品が撮像されることで、複数枚の商品登録画像が得られる。載置部３０８が３６０°回転することで、複数枚の商品登録画像によって商品の全周を撮像した商品登録画像の集合体が得られる。このような撮像画像の集合体によって、商品が精算の際にレジ端末２においてどのような向きで置かれても、正確に商品を特定することができる。
【００６５】
ステップＳ３において、撮像部３１１は、商品の撮像を終了させる。これにより、回転制御部３３２は載置部３０８の回転を停止させ、遮光制御部３３０は、遮光部３１０を透明状態に切り替え、発光制御部３３１は、照明部３１２の発光を停止させる。
【００６６】
ステップＳ４において、登録画像生成部３３４は、撮像部３１１から複数の撮像画像を取得し、適宜加工処理等を施すことで、商品登録画像を生成する。例えば、登録画像生成部３３４は加工処理等として、商品の特徴に合わせた背景除去処理を実施する。これにより、背景と商品とが正確に切り分けられ、商品の色や形状、商標等の特徴のみが抽出された画像が、商品登録画像として取得される。
【００６７】
ステップＳ５において、サーバ１の商品マスタ登録部４０２は、商品撮影ユニット３から商品登録画像を取得して、当該商品登録画像を商品ＤＢ４０１に保存させる。一つの商品に対して撮像された複数の商品登録画像は、一つの集合体として保存される。
ここで、後述する図９のステップＳ２４において商品が特定されるに際し、商品登録画像と物体撮像画像をもとに特定物体認識や一般物体認識等の画像認識手法が用いられるが、本実施形態では画像（各画素）それ自体を活用するのではなく、画像が有する特徴データを用いる。そこで、商品マスタ登録部４０２は、商品登録画像から特徴データを抽出し、当該商品登録画像と対応付けて商品ＤＢ４０１に保存させる。
なお、ステップＳ５の商品登録画像の保存と特徴データの抽出は、同時に処理されてもよいし、順次に処理されてもよい。
また、ステップＳ５における特徴データの抽出において用いられるヒストグラム計算も適宜実行されてもよい。
【００６８】
ステップＳ６において、商品マスタ登録部４０２は、商品撮像ユニット３の入力部３０７又はサーバ１の入力部１０７を介して商品識別子取得部４０３により取得された商品識別子を付与する。即ち、商品マスタ登録部４０２は、付与した商品識別子等の商品情報を、商品登録画像（特徴データやヒストグラム計算結果）と対応付けて商品ＤＢ４０１に保存させる。このように本実施形態の商品認識システムでは、商品識別子が商品登録画像に被写体として含まれる商品に付与されることにより、果物等のバーコードシールを貼付できなかった商品のマスタ登録・管理が可能となる。
【００６９】
このように、図８の商品マスタ登録処理によれば、所定商品についての商品登録画と商品識別子と対応付けて登録するまでの一連の流れ、即ち、所定商品の撮影から商品識別子の付与までが自動化されている。即ち、操作者は、所定商品の載置、商品識別子の入力、撮影開始ボタンの押下等、単純な作業のみ行えばよく、画像処理の技術や知識は特に不要である。
また、商品マスタ登録処理では、様々な方向や角度からみた商品の撮像画像が得られるため、良質な複数の撮像画像をまとめて、商品登録画像として取得することができる。
【００７０】
このようにして、店舗等で販売可能な複数の商品の夫々について、商品登録画像（特徴データやヒストグラム等の演算結果含む）と、商品識別子を含む商品情報とが対応付けられて商品ＤＢ４０１に記憶され、さらに、商品ＤＢ４０１の記憶内容がレジ端末２のＤＢ情報保持部２８１に転送されて保持される。
【００７１】
このような状態で、店舗等を訪れた購入者が、所定の商品を購入すべく、レジ端末２において精算するためには、まず購入者がレジ端末２の所定エリアに商品を置く。
【００７２】
そして、図９に示すステップ２１において、レジ端末２の撮像部２０８は、所定エリアＡに置かれた物体を撮像する。
ステップ２２において、撮像画像取得部２７０は、撮像された物体撮像画像を取得する。この取得された物体撮像画像は、表示制御部２７４によって出力部２０６の表示部Ｄ２に表示される。
ステップ２３において、存在認識部２７１は、取得された撮像画像から存在を認識しようとする物体ごとの画像領域を特定する。
【００７３】
ステップ２４において、商品特定部２７２は、レジ端末２で撮像されて特定された物体撮像画像と商品登録画像とに基づいて、特定物体認識や一般物体認識等の画像認識手法を用いることで、レジ端末２の所定エリアに置かれた物体がいずれの商品であるのか特定する。また、商品特定部２７２は、特定された商品を表示制御部２７４によって出力部２０６の表示部Ｄ２に表示させる。
【００７４】
ステップ２５において、精算部２７３は、特定された商品から商品識別子を抽出する。
この商品識別子は、商品を一意に特定できる商品識別子である。したがって、ＤＢ情報保持部２８１は、この商品についての商品識別子や価格などのデータを精算部２７３に出力する。この一連の処理により、精算において不正を防止することができる。
【００７５】
ステップ２６において、精算部２７３は、所定エリアに置かれている特定された商品を個々に精算する。即ち、精算部２７３は、表示制御部２７４によって出力部２０６の表示部Ｄ２に価格や商品名等を表示させる。これにより、購入者は所定エリアに置かれている商品の精算をする。このようにして、精算処理が終了する。
【００７６】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形改良等は本発明に含まれるものである。
【００７７】
例えば、上述のＣＰＵ２０１，３０１による画像処理は、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）による処理であってもよい。
また、図２乃至図４に示すハードウェア構成は、本発明の目的を達成するための例示にすぎず、これに限定されない。
【００７８】
また、図４及び図６に示された外観構成は、例示であり、本発明はこの外観に限定されない。
例えば、商品撮影ユニット３は、正面部が開閉するとしたが、天板部が開閉してもよい。
【００７９】
また、図７に示す機能ブロック図は、例示にすぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備わっていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図７の例に限定されない。
【００８０】
例えば、機能ブロックの存在場所は、図７に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせとして構成してもよい。
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他、汎用のスマートフォンやパーソナルコンピュータであってもよい。
【００８１】
このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成されてもよい。
【００８２】
また、上述の実施形態では、商品撮影ユニット３のユニット側囲繞部３２０が透明状態と不透明状態とに切換え可能としたが、ユニット側囲繞部３２０は不透明状態のみで、透明状態に切り替えられないようにしてもよい。この場合は、遮光制御部３３０は備えられない。
【００８３】
さらに、上述の実施形態では、商品撮影ユニット３がユニット側囲繞部３２０を備えるとしたが、ユニット側囲繞部３２０をそもそも備えないようにしてもよい。この場合は、撮像部３１１は、支柱などの保持部材に固定される。支柱などの保持部材が載置部３０８の周囲を回転可能とすると、載置部３０８は必ずしも回転しなくてもよい。この場合は、ＣＰＵ３０１の回転制御部３３２は支柱などの保持部材の回転を制御する。
【００８４】
さらに、上述の実施形態では、商品撮影ユニット３の撮像部３１１が商品を撮影するに際して（図８のステップＳ１）、回転制御部３３２が載置部３０８を回転若しくはスライドのような移動をさせるとしたが、設置位置変更部３３３が撮像部３１１の視点を変更するように設置位置を変動させてもよい。
なお、載置部３０８と設置位置変更部３３３の両方が移動してもよいし、一方のみが回転してもよい。情報処理システムは、載置部３０８のみが移動するときは、設置位置変更部３３３を備えなくてよく、設置位置変更部３３３のみが移動するときは、回転制御部を備えなくてもよい。
また、上述の実施形態では、店舗において商品マスタ登録の処理をしたが、メーカーや卸売業者等の店舗外において商品マスタ登録の処理をしてもよい。
【００８５】
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理システム（例えば図１の商品認識システム）は、
レジ端末の所定エリアに置かれ得る商品の画像を、商品登録画像として生成する登録画像生成手段（例えば、図７の登録画像生成部３３４）と、
前記登録画像生成手段により生成された前記商品登録画像と、当該商品登録画像に被写体として含まれる前記商品に対して一意に付与された商品識別子とを関連付けて登録する商品マスタ登録手段（例えば、図７の商品マスタ登録部４０２）と、
前記レジ端末の前記所定エリアに置かれた物体の撮像画像を、物体撮像画像として取得する撮像画像取得手段（例えば、図７の撮像画像取得部２７０）と、
取得された前記物体撮像画像に基づいて、前記物体の存在を認識する認識手段（例えば、図７の存在認識部２７１）と、
前記物体撮像画像と前記商品登録画像とに基づいて、存在が認識された前記物体がいずれの商品かを特定する商品特定手段（例えば、図７の商品特定部２７２）と、
を備える。
これにより、本情報処理システムを設置した店舗では、商品登録画像を生成し、この商品登録画像に含まれる商品に商品識別子を付与することで、商品に一意に付与された商品識別子によるマスタ登録が可能となる。さらに、本情報処理システムは、バーコードシールを貼付できない商品の商品管理をすることができる。
【００８６】
また、前記登録画像生成手段は、
前記レジ端末の前記所定エリアに置かれ得る前記商品を置く載置手段（例えば、図７の載置部３０８）と、
前記載置手段に置かれた前記商品を撮像して、前記商品登録画像を生成する撮像手段撮像手段（例えば、図７の撮像部３１１）と、当該撮像手段を設置する設置手段（例えば、図７の設置部３０９）と、
を有しているようにすることができる。
これにより、登録画像生成手段が一つのユニットによって構成され、登録撮像生成手段を移動したり設置したりする作業性を向上させることができる。
【００８７】
また、前記登録画像生成手段は、前記載置手段に置かれた前記商品を複数の視点から前記撮像手段に撮像させ、その結果得られる前記複数の視点の撮像画像の集合体を、前記商品登録画像として生成するようにすることができる。
これにより、複数の撮像画像が集合体として生成することにより、物体がレジ端末でどのような向きで置かれても、正確に商品を特定することができる。
【００８８】
また、前記載置手段は、１以上の方向に移動可能とされているようにすることができる。
これにより、撮像手段は、商品を３６０°の撮像することができる。
【００８９】
また、前記登録画像生成手段は、前記載置手段に置かれた前記商品を撮像する前記撮像手段の視点を変更するように、前記設置手段の位置を変更する設置位置変更手段をさらに備えるようにすることができる。
これにより、商品を全周から撮像した商品登録画像を取得することができる。
【００９０】
また、前記登録画像生成手段は、前記載置手段に置かれた前記商品を照明する照明手段（例えば、図７の照明部３１２）をさらに有しているようにすることができる。
これにより、載置手段に置かれた商品に影が生じないようにし、撮像手段が商品を高品質に撮像することができる。
前記照明手段は、二色以上に変色可能に発光するようにすることができる。
これにより、登録画像生成手段において、レジ端末の照明とおなじ照明で商品を撮影することができる。
【００９１】
また、前記登録画像生成手段は、前記載置手段及び前記撮像手段を囲む囲繞手段（例えば、図６のユニット側囲繞部３２０）をさらに備えているようにすることができる。
これにより、登録画像生成手段の載置手段や撮像手段が一体化され、登録画像生成手段のセッティングを容易にすることができる。
【００９２】
また、上記目的を達成するため、本発明の一態様の情報処理方法は、
情報処理システムが実行する情報処理方法であって、
レジ端末の所定エリアに置かれ得る商品の画像を、商品登録画像として生成する登録画像生成ステップと、
前記登録画像生成ステップにおいて生成された前記商品登録画像と、当該商品登録画像に被写体として含まれる前記商品に対して一意に付与された商品識別子とを関連付けて登録する商品マスタ登録ステップと、
前記レジ端末の前記所定エリアに置かれた物体の撮像画像を、物体撮像画像として取得する撮像画像取得ステップと、
取得された前記物体撮像画像に基づいて、前記物体の存在を認識する存在認識ステップと、
前記物体撮像画像と前記商品登録画像とに基づいて、存在が認識された前記物体がいずれの商品かを特定する商品特定ステップと、
含むようにする。
これにより、本情報処理システムを設置した店舗では、商品登録画像を生成し、この商品登録画像に含まれる商品に商品識別子を付与することで、商品に一意に付与された商品識別子によるマスタ登録が可能となる。さらに、本情報処理システムは、バーコードシールを貼付できない商品の商品管理をすることができる。
【００９３】
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものである。
【符号の説明】
【００９４】
１・・・サーバ
２，２−１，２−ｎ・・・レジ端末
３・・・商品撮影ユニット
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・バス
１０５・・・入出力インターフェース
１０６・・・出力部
１０７・・・入力部
１０８・・・記憶部
１０９・・・通信部
１１０・・・ドライブ
１２０・・・リムーバブルメディア
２０１・・・ＣＰＵ
２０２・・・ＲＯＭ
２０３・・・ＲＡＭ
２０４・・・バス
２０５・・・入出力インターフェース
２０６・・・出力部
２０７・・・入力部
２０８・・・撮像部
２０９・・・記憶部
２１０・・・通信部
２１１・・・ドライブ
２２０・・・リムーバブルメディア
２３０・・・レジ側囲繞部
２７０・・・撮像画像取得部
２７１・・・存在認識部
２７２・・・商品特定部
２８１・・・ＤＢ情報保持部
３０１・・・ＣＰＵ
３０２・・・ＲＯＭ
３０３・・・ＲＡＭ
３０４・・・バス
３０５・・・入出力インターフェース
３０６・・・出力部
３０７・・・入力部
３０８・・・載置部
３０９・・・設置部
３１０・・・遮光部
３１１・・・撮像部
３１２・・・照明部
３１３・・・通信部
３２０・・・ユニット側囲繞部
３３３・・・設置位置変更部
３３４・・・登録画像生成部
４０１・・・商品ＤＢ
４０２・・・商品マスタ登録部
４０３・・・商品識別子付与部
４０４・・・ＤＢ管理部
Ａ・・・所定エリア
Ｂ・・・撮像エリア
【図１】
2018088161.tif 000003
【図２】
2018088161.tif 000004
【図３】
2018088161.tif 000005
【図４】
2018088161.tif 000006
【図５】
2018088161.tif 000007
【図６】
2018088161.tif 000008
【図７】
2018088161.tif 000009
【図８】
2018088161.tif 000010
【図９】
2018088161.tif 000011
【手続補正書】
【提出日】平成29年5月1日(2017.5.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
レジ端末の所定エリアに置かれ得る商品の画像を、商品登録画像として生成する登録画像生成手段と、
前記登録画像生成手段により生成された前記商品登録画像と、当該商品登録画像に被写体として含まれる前記商品に対して一意に付与された商品識別子とを関連付けて登録する商品マスタ登録手段と、
前記レジ端末の前記所定エリアに置かれた物体の撮像画像を、物体撮像画像として取得する撮像画像取得手段と、
取得された前記物体撮像画像に基づいて、前記物体の存在を認識する認識手段と、
前記物体撮像画像と前記商品登録画像とに基づいて、存在が認識された前記物体がいずれの商品かを特定する商品特定手段と、
を備え、
前記登録画像生成手段は、
前記レジ端末の前記所定エリアに置かれ得る前記商品が置かれ、１以上の方向に移動可能とされる載置手段と、
前記載置手段に置かれた前記商品を撮像して、前記商品登録画像を生成する撮像手段と、
前記撮像手段が設置される設置手段と、
前記載置手段に置かれた前記商品の複数の視点から前記撮像手段に撮像され、その結果得られる前記複数の視点の撮像画像の集合体を、前記商品登録画像として生成する撮像画像集合体生成手段と、
前記載置手段及び前記撮像手段を囲むユニット側囲繞手段と、
を有する
情報処理システム。
【請求項２】
前記登録画像生成手段は、前記載置手段に置かれた前記商品を撮像する前記撮像手段の視点を変更するように、前記設置手段の位置を変更する設置位置変更手段をさらに備える、
請求項１に記載の情報処理システム。
【請求項３】
前記登録画像生成手段は、前記載置手段に置かれた前記商品を照明する照明手段をさらに有する、
請求項１又は２に記載の情報処理システム。
【請求項４】
前記照明手段は、二色以上に変色可能に発光する、
請求項３に記載の情報処理システム。
【請求項５】
前記登録画像生成手段により生成された前記商品登録画像のデータが前記商品マスタ登録手段に転送され、当該商品登録マスタ手段おいて登録された前記商品登録画像のデータが、前記商品特定手段に転送されるようにネットワークで接続されている、
請求項１乃至４のうちいずれか一項に記載の情報処理システム。
【請求項６】
レジ端末の所定エリアに置かれ得る商品の画像を、商品登録画像として生成する登録画像生成手段と、前記登録画像生成手段により生成された前記商品登録画像と、当該商品登録画像に被写体として含まれる前記商品に対して一意に付与された商品識別子とを関連付けて登録する商品マスタ登録手段と、前記レジ端末の前記所定エリアに置かれた物体の撮像画像を、物体撮像画像として取得する撮像画像取得手段と、取得された前記物体撮像画像に基づいて、前記物体の存在を認識する認識手段と、前記物体撮像画像と前記商品登録画像とに基づいて、存在が認識された前記物体がいずれの商品かを特定する商品特定手段と、を備え、
前記登録画像生成手段が、前記レジ端末の前記所定エリアに置かれ得る前記商品が置かれ、１以上の方向に移動可能とされる載置手段と、前記載置手段に置かれた前記商品を撮像して、前記商品登録画像を生成する撮像手段と、前記撮像手段が設置される設置手段と、前記載置手段に置かれた前記商品の複数の視点から前記撮像手段に撮像され、その結果得られる前記複数の視点の撮像画像の集合体を、前記商品登録画像として生成する撮像画像集合体生成手段と、前記載置手段及び前記撮像手段を囲むユニット側囲繞手段と、
を有する、
情報処理システムが実行する情報処理方法であって、
レジ端末の所定エリアに置かれ得る商品の画像を、前記登録画像生成手段が商品登録画像として生成する登録画像生成ステップと、
前記登録画像生成ステップにおいて生成された前記商品登録画像と、当該商品登録画像に被写体として含まれる前記商品に対して一意に付与された商品識別子とを関連付けて前記商品マスタ登録手段が登録する商品マスタ登録ステップと、
前記レジ端末の前記所定エリアに置かれた物体の撮像画像を、前記撮像画像取得手段が物体撮像画像として取得する撮像画像取得ステップと、
取得された前記物体撮像画像に基づいて、前記認識手段が前記物体の存在を認識する存在認識ステップと、
前記物体撮像画像と前記商品登録画像とに基づいて、存在が認識された前記物体がいずれの商品かを前記商品特定手段が特定する商品特定ステップと、
を含む情報処理方法。