(57)【特許請求の範囲】
【請求項１】
レジ端末を含むシステムとして機能する情報処理システムであって、
所定エリアに置かれた１以上の物体について複数方向からそれぞれ撮像された結果として得られる複数の撮像画像を物体撮像画像として取得する取得手段と、
前記物体撮像画像を所定のデータベースに記憶して管理する管理手段と、
取得された前記物体撮像画像に基づいて、前記１以上の物体の存在を認識する認識手段と、
前記物体撮像画像に基づいて、存在が認識された前記１以上の物体のそれぞれが、いずれの商品であるのかを特定する特定手段と、
特定された商品を精算する精算手段と、
特定された商品が全て精算されたか否かを判断する判断手段と、
全ての商品が精算されていないと判断された場合に警告を提示する提示手段と、
を備える情報処理システム。
【請求項２】
前記特定手段は、存在が認識された物体から得られる情報と、商品を特定するための情報とをマッチングすることにより、存在が認識された前記１以上の物体のそれぞれが、いずれの商品であるのかを特定し、
前記判断手段は、前記特定手段によって特定された商品と、前記精算手段によって精算された商品とが異なるか否かを判断し、特定された商品が全て精算されたか否かを判断する請求項１に記載の情報処理システム。
【請求項３】
前記取得手段は、前記所定エリアに対して購入者が存在すると推測される所定位置が撮像された撮像画像を人物撮像画像としてさらに取得し、
前記管理手段は、前記物体撮像画像を前記人物撮像画像に関連付けて所定のデータベースに記憶して管理する請求項１又は２に記載の情報処理システム。
【請求項４】
前記管理手段は、前記判断手段による判定の結果、前記提示手段による警告が提示された場合に、取得されている前記人物撮像画像を、所定のデータベースに別途記憶して管理する請求項３に記載の情報処理システム。
【請求項５】
前記取得手段により取得された前記人物撮像画像に含まれる被写体である人と、前記管理手段により別途記憶して管理されている前記人物撮像画像に含まれる被写体である人とが一致するか否かを対比するとともに、対比した結果が一致する場合に、前記提示手段にその旨を提示させる対比手段
をさらに備える請求項４に記載の情報処理システム。
【請求項６】
前記取得手段により取得された前記物体撮像画像及び当該物体撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する表示制御手段、
をさらに備える請求項１〜５のいずれかに記載の情報処理システム。
【請求項７】
前記取得手段は、前記所定エリアを通過する１以上の物体の撮像画像をさらなる物体撮像画像として取得する請求項１〜６のいずれかに記載の情報処理システム。
【請求項８】
レジ端末を含むシステムとして機能する情報処理システムが実行する情報処理方法であって、
所定エリアに置かれた１以上の物体について複数方向からそれぞれ撮像された結果として得られる複数の撮像画像を物体撮像画像として取得する取得ステップと、
前記物体撮像画像を所定のデータベースに記憶して管理する管理ステップと、
取得された前記物体撮像画像に基づいて、前記１以上の物体の存在を認識する認識ステップと、
前記物体撮像画像に基づいて、存在が認識された前記１以上の物体のそれぞれが、いずれの商品であるのかを特定する特定ステップと、
特定された商品を精算する精算ステップと、
特定された商品が全て精算されたか否かを判断する判断ステップと、
全ての商品が精算されていないと判断された場合に警告を提示する提示ステップと、
を含む情報処理方法。
【請求項９】
レジ端末を含むシステムとして機能する情報処理システムを制御するコンピュータに、
所定エリアに置かれた１以上の物体について複数方向からそれぞれ撮像された結果として得られる複数の撮像画像を物体撮像画像として取得する取得ステップと、
前記物体撮像画像を所定のデータベースに記憶して管理する管理ステップと、
取得された前記物体撮像画像に基づいて、前記１以上の物体の存在を認識する認識ステップと、
前記物体撮像画像に基づいて、存在が認識された前記１以上の物体のそれぞれが、いずれの商品であるのかを特定する特定ステップと、
特定された商品を精算する精算ステップと、
特定された商品が全て精算されたか否かを判断する判断ステップと、
全ての商品が精算されていないと判断された場合に警告を提示する提示ステップと、
を含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システムに関する。
【背景技術】
【０００２】
従来より、コンビニエンスストア、スーパーマーケット、ショッピングセンター、各種の量販店などの商店では、購入者が商品棚から商品を取り、ショッピングカートや買い物かごに入れて、商店の出口付近に設けられた商品の代金を精算するためのキャッシュレジスター端末まで運び、セルフキャッシュレジスター等によって商品の代金の精算を行っている（例えば、特許文献１参照）。
【０００３】
ただし、ショッピングカートや買い物かごに入っている商品の代金をキャッシュレジスター端末で精算する場合には、セルフキャッシュレジスター端末による精算であっても、いずれかの商品を特定するために商品毎にバーコードの読み取りが発生してしまう。このため、精算を待つ購入者の列を解消することはできず、購入者は長時間キャッシュレジスター端末による代金の精算を待つことになる。
また、購入者が商店で購入したい商品を購入するときに、他に多数の購入者がいる場合、購入者は、長時間キャッシュレジスター端末による代金の精算を待つことを嫌がり、結果的に買い物自体を諦めてしまう場合がある。
上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、及び商品の代金の精算にかかる時間の短縮化を図ることができるシステムが要求されている。
そこで、本出願人は、キャッシュレジスター等の所定領域に商品が置かれると、カメラで当該所定領域を撮像し、その結果得られる撮像画像から当該商品候補の物体を認識し、当該物体（商品候補）が如何なる商品であるのかを特定し、特定された商品についての代金決済をするまでの一連の処理を実行可能な次世代レジシステムについて、既に特許出願をしている（特願２０１６−０８０６２４）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−７６２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記本出願人により特許出願された次世代レジシステムにおいて、さらに、重ねて置かれた商品の認識支援、上部に特徴のない商品の認識支援、不正の監視支援、及び不正の追跡支援が可能となる技術を実現したいという要望があった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、重ねて置かれた商品の認識支援、上部に特徴のない商品の認識支援、不正の監視支援、及び不正の追跡支援が可能となる技術を実現可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様の情報処理システムは、
レジ端末を含むシステムとして機能する情報処理システムであって、
所定エリアに置かれた１以上の物体について複数方向から夫々撮像された結果として得られる複数の撮像画像を物体撮像画像として取得する取得手段と、
前記物体撮像画像を所定のデータベースに記憶して管理する管理手段と
を備える。
【０００８】
また、情報処理システムは、取得された前記物体撮像画像に基づいて、前記１以上の物体の存在を認識する認識手段と、認識された前記１以上の物体の数量を計数し、その結果を認識数量情報として生成する認識数量計数手段と、商品として精算された前記１以上の物体の数量を計数し、その結果を精算数量情報として生成する精算数量計数手段と、認識数量情報及び精算数量情報が同じであるか否かを判断する判断手段と、認識数量情報及び精算数量情報が異なる場合に警告を提示する提示手段と、をさらに備えることができる。
【０００９】
また、情報処理システムは、取得された前記物体撮像画像に基づいて、前記１以上の物体の存在を認識する認識手段と、存在が認識された前記１以上の物体のそれぞれが、いずれの商品であるのかを特定する特定手段と、特定された前記商品を精算する精算手段と、特定された前記商品が全て精算されたか否かを判断する判断手段と、全ての前記商品が精算されていない場合に警告を提示する提示手段と、をさらに備えることができる。
【００１０】
また、前記取得手段は、前記所定エリアに対して購入者が存在すると推測される所定位置が撮像された撮像画像を人物撮像画像としてさらに取得し、
前記管理手段は、前記物体撮像画像を前記人物撮像画像に関連付けて所定のデータベースに記憶して管理することができる。
【００１１】
また、前記管理手段は、前記判断手段による判定の結果、前記提示手段による警告が提示された場合に、取得されている前記人物撮像画像を、所定のデータベースに別途記憶して管理することができる。
【００１２】
また、情報処理システムは、取得手段により取得された前記人物撮像画像に含まれる被写体である人と、前記管理手段により別途記憶して管理されている前記人物撮像画像に含まれる被写体である人とが一致するか否かを対比するとともに、対比した結果が一致する場合に、前記提示手段にその旨を提示させる対比手段をさらに備えることができる。
【００１３】
また、前記取得手段は、前記所定エリアを通過する１以上の物体の撮像画像をさらなる物体撮像画像として取得することができる。
【００１４】
本発明の一態様の情報処理方法及びプログラムは、上述の本発明の一態様の情報処理システムに対応する方法及びプログラムである。
【発明の効果】
【００１５】
本発明によれば、重ねて置かれた商品の認識支援、上部に特徴のない商品の認識支援、不正の監視支援、及び不正の追跡支援が可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の情報処理システムの第１実施形態としての商品認識システムの構成図である。
【図２】図１の商品認識システムを構成するサーバのハードウェア構成を示すブロック図である。
【図３】図１の商品認識システムを構成するレジ端末のハードウェア構成を示すブロック図である。
【図４】図３のレジ端末の外観平面図である。
【図５】図２のサーバと図３のレジ端末との機能的構成の一例を示す機能ブロック図である。
【図６】図５のサーバとレジ端末とが実行する数量照合処理を説明するフローチャートである。
【図７】図５のサーバとレジ端末とが実行する数量照合処理を説明するフローチャートである。
【図８】本発明の情報処理システムの第１実施形態の変形例の構成図である。
【発明を実施するための形態】
【００１７】
先ず、本発明の情報処理システムの概要について、説明する。
本発明の情報処理システムが適用される商品認識システム（次世代レジシステム）は、次の（１）乃至（３）の課題を解決することができるものである。
（１）レジの上からのみ撮像した場合、重ねて置かれた商品（物体）や上部に特徴のない商品（物体）等、全ての商品（物体）の存在を撮像できない。ここで、上部に特徴のない商品等としては、例えば、缶、ペットボトル、スープなど、別方向（横方向等）から撮像するとその存在を明確にできる商品が該当する。
（２）買い物客の不正（万引き等）に気づけない、後から確認できない。特に、レジ店員によるスウィートハーティング（家族や友人、同僚らと共謀し、商品をわざとスキャニングしない不正行為）と呼ばれる不正に気づけない。
（３）セルフレジの場合、店員が見ていないことにより、買い物客は有人レジと比較し心理的に不正をしやすいと考える。
【００１８】
このように、商品（物体）を単に一方向から撮像しただけでは、重ねて置かれた商品（物体）や、他の商品（物体）に隠れて置かれた商品については撮像できず、不正に気付けない場合がある。
本明細書では、どのような商品か特定されていないものについて「物体」と呼ぶ。また、本明細書では、「物体」が商品として特定されたものを「商品」と呼ぶ。
また、本明細書では、物体を撮像した複数の撮像画像を「物体撮像画像」と呼ぶ。また、物体（商品）を購入する人（購入者）を撮像した撮像画像を「人物撮像画像」と呼ぶ。また、本明細書では、精算する前の物体（商品）を計数した結果を「認識数量情報」と呼ぶ。さらには、精算した後の商品を計数した結果を「精算数量情報」と呼ぶ。
また、本明細書では、商品を特定するための情報が記憶されたデータベースのことを「商品ＤＢ」と呼ぶ。そして、「物体撮像画像」及び「人物撮像画像」が記憶されたデータベースのことを「画像ＤＢ」と呼ぶ。
【００１９】
本発明が適用される情報処理システムは、は、少なくとも次の機能を有している。
即ち、本発明が適用される情報処理システムは、は、取得機能と、管理機能とを備える。
取得機能とは、所定エリア（商品認識エリア）に置かれた１以上の物体について複数方向から夫々撮像された結果として得られる複数の撮像画像を物体撮像画像として取得する機能である。また、取得機能とは、所定エリアに対して購入者が存在すると推測される所定位置が撮像された撮像画像を人物撮像画像として取得する機能である。
管理機能とは、データベース（以下、「画像ＤＢ」と呼ぶ）に、取得された「物体撮像画像」及び「人物撮像画像」を関連付けて記憶して管理する機能である。
ここで、「所定エリア」とは、１以上の物体が精算のために置かれる領域であり、１以上の物体の撮像が行われる「商品認識エリア」である。
【００２０】
このような、本発明が適用される情報処理システムは、次の処理（Ａ）を実行することができる。
処理（Ａ）とは、次のような処理をいう。
即ち、本発明が適用される情報処理システムは、取得機能を発揮させて、所定エリアに置かれた１以上の物体について複数方向から夫々撮像された結果として取得される複数の撮像画像を物体撮像画像として取得する。
次に、本発明が適用される情報処理システムは、管理機能を発揮させて、取得した物体撮像画像を画像ＤＢに記憶して管理する。
また、本発明が適用される情報処理システムは、取得機能を発揮させて、所定エリアに対して購入者が存在すると推測される所定位置が撮像された撮像画像を人物撮像画像として取得してもよい。このとき、本発明が適用される情報処理システムは、管理機能を発揮させて、取得した物体撮像画像及び人物撮像画像を関連付けて画像ＤＢに記憶して管理してもよい。
これにより、重ねて置いた商品の認識支援、上部に特徴のない商品の認識支援、不正の監視支援、及び不正の追跡支援が可能になる。
【００２１】
ここで、商品を撮像するセンシングデバイス（カメラ等）は１台以上である。即ち、複数台で複数方向から商品を撮像してもよいし、１台が移動する等して複数方向から商品を撮像してもよい。
また、「撮像する」とは、所定領域内を複数の領域に分割して、複数の分割領域の夫々に対応する各画素に対して画素値を持たすことを意味する。この画素値は、光量の他、温度、距離等任意のものでよい。つまり、センシングデバイスは、画素毎に光量を蓄積（検出）する画像センサ（カメラ等）の他、画素毎に温度を検出する温度センサ、画素毎に距離を検出する距離センサ等でもよい。
【００２２】
また、本発明が適用される情報処理システムは、上述した機能に加えてさらに、認識機能と、認識数量計数機能と、精算数量計数機能と、判断機能と、提示機能とを備えることもできる。
認識機能とは、取得された物体撮像画像に基づいて、１以上の物体の存在を認識する機能である。
認識数量特定機能とは、認識された１以上の物体の数量を計数し、その結果を認識数量情報として生成する機能である。
精算数量計数機能とは、商品として精算された１以上の物体の数量を計数し、その結果を認識数量情報として生成する機能である。
判断機能とは、認識数量情報及び精算数量情報が同じであるか否かを判断する機能である。
提示機能とは、認識数量情報及び精算数量情報が異なる場合に警告を提示する機能である。
【００２３】
このような、本発明が適用される情報処理システムは、次の処理（Ｂ）を実行することができる。
処理（Ｂ）とは、次のような一連の処理をいう。
即ち、本発明が適用される情報処理システムは、認識機能を発揮させて、物体を認識する。ここで、物体を認識することとは、背景差分等の画像処理方法による領域特定を行うことをいう。
次に、本発明が適用される情報処理システムは、認識数量計数機能を発揮させて、認識された物体の数を計数し、その結果を認識数量情報として生成する。
次に、本発明が適用される情報処理システムは、精算数量計数機能を発揮させて、商品として精算された１以上の物体の数量を計数し、その結果を精算数量情報として生成する。
次に、本発明が適用される情報処理システムは、判断機能を発揮させて、認識数量情報及び精算数量情報が同じであるか否かを判断する。
次に、本発明が適用される情報処理システムは、提示機能を発揮させて、認識数量情報及び精算数量情報が異なる場合に警告を提示する。
これにより、精算前に所定エリアに置かれた物体の数量と、精算後の商品の数量とが異なる場合に警告を提示することができる。
ここで、「警告を提示する」とは、認識された物体の数量と精算された商品の数量とが異なることの表示や、音、光等を用いて報知することをいう。
【００２４】
一方、本発明が適用される情報処理システムは、認識機能と、特定機能と、精算機能と、判断機能と、提示機能とを備えることもできる。
認識機能は、取得された物体撮像画像に基づいて、１以上の物体の存在を認識する機能である。
特定機能とは、認識された１以上の物体が、いずれの商品であるのかを特定する機能である。
精算機能とは、特定された商品を精算する機能である。
判断機能とは、全ての商品が精算されたか否かを判断する機能である。
提示機能とは、全ての商品が精算されていない場合に警告を提示する機能である。
【００２５】
このような、本発明が適用される情報処理システムは、次の処理（Ｃ）を実行することができる。
処理（Ｃ）とは、次のような一連の処理をいう。
即ち、本発明が適用される情報処理システムは、認識機能を発揮させて、物体を認識する。ここで、物体を認識するとは、背景差分等の画像処理方法による領域定義を行うことをいう。
次に、本発明が適用される情報処理システムは、特定機能を発揮させて、存在が認識された１以上の物体のそれぞれが、いずれの商品であるかを特定する。なお、物体の特定には、特定物体認識や一般物体認識等の画像認識手法を用いることができる。
次に、本発明が適用される情報処理システムは、精算機能を発揮させて、特定された商品を精算する。
次に、本発明が適用される情報処理システムは、判断機能を発揮させて、特定された商品が全て精算されたか否かを判断する。なお、この判断は、特定された商品が、精算された商品に含まれているか否かにより行われる。
次に、本発明が適用される情報処理システムは、提示機能を発揮させて、全ての商品が精算されていない場合に警告を提示する。
これにより、精算前の商品が精算後の商品に含まれていない場合に警告を提示することができる。
ここで、「警告を提示する」とは、認識された物体の数量と精算された商品の数量とが異なることの表示や、音、光等を用いて報知することをいう。
【００２６】
また、本発明が適用される情報処理システムにおいて、上述した管理機能には、判断機能を用いた判断の結果、提示機能を用いた警告が提示される場合に、取得されている人物撮像画像を、画像ＤＢに別途記憶して管理する機能を含めることができる。
このような情報処理システムは、次の処理（Ｄ）を実行することができる。
処理（Ｄ）とは、次のような処理をいう。
即ち、本発明が適用される情報処理システムは、管理機能を発揮させて、判断機能を用いた判断の結果、提示機能を用いた警告が提示される場合に、取得されている人物撮像画像を、画像ＤＢに別途記憶して管理する。
これにより、不正を行ったと思われる購入者を区別して管理することができる。
ここで、「別途管理する」とは、警告が提示された場合に取得された人物撮像画像を、他の人物撮像画像と区別して記憶することや、フラグを立てて管理することをいう。
【００２７】
また、本発明が適用される情報処理システムは、表示制御機能を備えることができる。
表示制御機能は、取得機能を用いて取得された物体撮像画像及び当該物体撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する機能である。
このような情報処理システムは、次の処理（Ｅ）を実行することができる。
処理（Ｅ）とは、次のような処理をいう。
即ち、本発明が適用される情報処理システムは、表示制御機能を発揮させて、取得機能を用いて取得された物体撮像画像及び当該物体撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。
これより、不正の抑止を図ることができる。特に、購入者の顔も合わせて表示することで不正を行うことをためらう或いは諦めるという心理的効果が増大する。
【００２８】
また、上述した取得機能には、所定エリアを通過する１以上の物体の撮像画像をさらなる物体撮像画像として取得する機能を含めることができる。
このような情報処理システムは、次の処理（Ｆ）を実行することができる。
処理（Ｆ）とは、次のような処理をいう。
即ち、本発明が適用される情報処理システムは、取得機能を発揮させて、所定エリアを通過する１以上の物体の撮像画像をさらなる物体撮像画像として取得する。
これにより、１以上の物体を長く撮像することができるので、１以上の物体の視点が異なる物体撮像画像を増やすことができ、１以上の物体の認識率を向上することができる。また、１以上の物体が所定エリアを通過することにより、所定エリアの広さに影響を受けずに物体を置けるようになることで、１以上の物体が重ねて置かれることを防止することができる。
ここで、「通過する」とは、ベルトコンベア等の自動搬送機構を用いて所定エリアを通って移動することをいう。
【００２９】
次に、図面を参照しながら、本発明の情報処理システムの一実施形態について説明する。
図１は、本発明の情報処理システムの一実施形態の構成図である。
本実施形態の情報処理システムは、重ねて置かれた商品の認識（支援）、上部に特徴のない商品の認識（支援）、不正の監視（支援）、及び不正の追跡（支援）が可能となる技術を実現すべく、図１に示すような構成を有している。
即ち、本発明の一実施形態としての情報処理システムは、サーバと、ｎ台（ｎは任意の整数）のレジ端末２−１乃至２−ｎと、を有している。
サーバ１と、レジ端末２−１乃至２−ｎとの夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に接続されている。
なお、説明の便宜上、図１のサーバは１台しか描画されていないが、実際にはそれぞれ複数台の場合がある。
また、以下、レジ端末２−１乃至２−ｎを個々に区別する必要がない場合、これらをまとめて「レジ端末２」と呼ぶ。
【００３０】
サーバ１は、レジ端末２の各動作を管理すべく、各種処理を実行する。
レジ端末２は、商品認識エリアと、１台以上のカメラと、２つの表示部を備える。商品認識エリアは、認識対象の物体が載置される領域である。１台以上のカメラは、商品認識エリアに置かれた物体を撮像したり、購入者（購入者がいると推測される所定位置）を撮像したりする。２つの表示部のうち一方は、商品数量（点数）に関する情報や精算に関する情報、及び購入者の顔画像を購入者に提示するための購入者用画面を表示する。２つの表示部のうち他方は、商品数量（点数）に関する情報や精算に関する情報、及び購入者の顔画像を販売者に提示するための販売者用画面を表示する。なお、レジ端末の外観構成の具体例は、図４を参照して後述する。
【００３１】
本実施系形態の情報処理システムでは、次のような動作（処理）が実行される。
即ち、本発明の情報処理システムでは、サーバ１は、購入者が存在すると推測される所定位置を撮像した撮像画像（人物撮像画像）と、商品認識エリアに置かれた物体を複数方向から夫々撮像された結果として得られる複数の撮像画像（物体撮像画像）とを関連付けて、画像ＤＢ４０１（図５）に記憶して管理する。
【００３２】
レジ端末２は、レジ端末２の商品認識エリアに物体が置かれると、置かれた物体を撮像し、撮像の結果として得られる複数の撮像画像を物体撮像画像として取得する。
レジ端末２は、商品認識エリアに対して所定位置（購入者がいると推測される所定位置）を撮像し、撮像の結果として得られる撮像画像を人物撮像画像として取得する。
レジ端末２は、物体撮像画像及び人物撮像画像を関連付けて画像ＤＢ４０１に記憶して管理する。
レジ端末２は、取得した撮像画像について、上述した所定の画像認識手法を用いることにより商品認識エリアに置かれた物体の存在を認識する。
レジ端末２は、認識した物体の数量（物体点数）を計数して、その結果を認識数量情報として生成する。
レジ端末２は、精算された商品の数量（商品点数）を計数して、その結果を精算数量情報として生成する。
レジ端末２は、認識数量情報及び精算数量情報が同じであるか否かを判断する。
レジ端末２は、認識数量情報及び精算数量情報が異なる場合に警告を提示する。
この場合、レジ端末２は、精算されていないものが存在するとして、警告を提示することにより、不正を防止することができる。
【００３３】
レジ端末２は、認識数量情報及び精算数量情報が異なる場合に、商品認識エリアに対して所定位置が撮像された撮像画像を画像ＤＢ４０１に別途記憶することもできる。そして、レジ端末２は、次回以降に同じ人が被写体として撮像された場合に、警告を提示することができる。具体的には、レジ端末２は、次回以降に同じ人が被写体として撮像された場合に、不正を行った人が再度精算しようとしているとして、その旨を表示部に表示させることができる。
なお、サーバ１が実行するこれらの処理の詳細については、図５の機能ブロック図を参照して後述する。
【００３４】
図２は、図１の情報処理システムを構成するサーバ１のハードウェア構成を示すブロック図である。
【００３５】
サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
【００３６】
ＣＰＵ１０１は、ＲＯＭ１０２に記録されているプログラム、又は、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００３７】
ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、出力部１０６、入力部１０７、記憶部１０８、通信部１０９及びドライブ１１０が接続されている。
【００３８】
出力部１０６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部１０７は、キーボードやマウス、タッチパネル等で構成され、各種情報を入力する。
【００３９】
記憶部１０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１０９は、インターネットを含むネットワークＮを介して他の装置（図１の例ではレジ端末２−１乃至２−ｎ）との間で通信を行う。
【００４０】
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア１２０が適宜装着される。ドライブ１１０によってリムーバブルメディア１２０から読み出されたプログラムは、必要に応じて記憶部１０８にインストールされる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。
【００４１】
図３は、図１の情報処理システムを構成するレジ端末２のハードウェア構成を示すブロック図である。
【００４２】
レジ端末２は、ＣＰＵ２０１乃至ドライブ２１１を備えている。
出力部２０６は、ディスプレイ（表示部Ｄ）やスピーカ等で構成され、各種情報を画像や音声として出力する。
撮像部２０８は、１台以上のカメラ等で構成され、商品及び商品の購入者を撮像する。
ＣＰＵ２０１乃至出入力インターフェース２０５、入力部２０７、記憶部２０９及びドライブ２１１の夫々は、図２のＣＰＵ１０１乃至ドライブ１１０の夫々と基本的に同様の機能と構成を有している。従って、これらの説明は省略する。
【００４３】
ドライブ２１１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２２０が適宜装着される。ドライブ２１１によってリムーバブルメディア２２０から読み出されたプログラムは、必要に応じて記憶部２０９にインストールされる。
また、リムーバブルメディア２２０は、記憶部２０９に記憶されている各種データも、記憶部２０９と同様に記憶することができる。
【００４４】
図４は、図３のレジ端末２の外観構成の例を示す図である。
【００４５】
図４に示すように、レジ端末２は、商品認識エリアＡと、７台のカメラ（撮像部２０８）と、２つの表示部Ｄ（出力部２０６）と、を備える。商品認識エリアＡは、認識対象の商品が載置される領域である。
２つの表示部Ｄのうち一方は、認識された商品の数量（認識数量）及び精算した商品の数量（精算数量）に関する情報と、購入者が存在すると推測される位置を撮像した撮像画像（人物撮像画像）とを購入者に提示するための購入者用画面を表示する。２つの表示部Ｄのうちの他方は、認識された数量（認識数量）及び精算した数量（精算数量）に関する情報と、購入者が存在すると推測される位置を撮像した撮像画像（人物撮像画像）とを販売者に提示するための販売者用画面を表示する。
なお、図４に示された７台のカメラのうち、１つは、商品認識エリアＡを上から見下ろすように設置される。７台のカメラのうち、１つは、認識された物体の数量（物体点数）及び精算した商品の数量（商品点数）に関する情報と、購入者が存在すると推測される位置を撮像した撮像画像（人物撮像画像）とを購入者に提示するための表示部Ｄの上部に設置され、購入者（購入者が存在すると推測される位置）を撮像する。７台のカメラのうち、４つのそれぞれは、円周方向に所定の角度（本実施形態では９０度）ずつずらして配置され、商品認識エリアＡに置かれた商品を側面４方向から撮像する。７台のカメラのうち、１つは、商品認識エリアＡの下に上方を向けて配置される。
【００４６】
図５は、図２のサーバ１と図３のレジ端末２との機能的構成の一例を示す機能ブロック図である。
【００４７】
サーバ１のＣＰＵ（図２）においては、図５に示すように、ＤＢ管理部３０１が機能する。
記憶部１０８（図２）の一領域には、画像ＤＢ４０１及び商品ＤＢ４０２が設けられている。
【００４８】
ＤＢ管理部３０１は、商品認識エリアＡに置かれた１以上の物体を複数方向からそれぞれ撮像された結果として得られる物体撮像画像と、商品認識エリアＡに対して購入者が存在すると推測される所定位置が撮像された人物撮像画像とを関連付けて画像ＤＢ４０１に記憶して管理する。また、ＤＢ管理部３０１は、認識数量情報及び精算数量情報が異なる場合に人物撮像画像を画像ＤＢ４０１に別途記憶して管理する。また、ＤＢ管理部３０１は、商品ＤＢ４０２に記憶された商品情報を管理する。また、ＤＢ管理部３０１は、別途記憶されている人物撮像画像を、レジ端末２に通信部１０９を介して送信する。なお、ＤＢ管理部３０１は、物体撮像画像のみを画像ＤＢ４０１に記憶して管理するようにしてもよい。ＤＢ管理部３０１が物体撮像画像のみを管理する場合、以下では、人物撮像画像を用いた処理は行われない。
【００４９】
レジ端末２のＣＰＵ２０１（図３）においては、図５に示すように、認識ボタン判定部２３０と、画像取得部２２９と、対比部２３１と、存在認識部２３２と、表示制御部２３４と、認識数量計数部２３３と、商品特定部２３９と、精算部２３５と、精算数量計数部２３６と、判断部２３７と、提示部２３８と、が機能する。
【００５０】
認識ボタン判定部２３０は、認識ボタンが押下されたかどうかを判定する。具体的には、認識ボタン判定部２３０は、レジ端末２の表示部Ｄに表示された画面の商品認識ボタンが押下されたかどうかを判定する。
【００５１】
画像取得部２２９は、撮像部２０８（図３）によって撮像された、商品認識エリアＡに置かれた１以上の物体の撮像画像（物体撮像画像）を取得する。また、画像取得部は、商品認識エリアＡに対して所定位置（商品認識エリアＡの前）に存在すると推測される人を被写体として撮像した撮像画像（人物撮像画像）を取得する。
【００５２】
対比部２３１は、ＤＢ管理部３０１によって別途記憶して管理されている人物撮像画像を参照することにより、購入者の対比を行う。具体的には、対比部２３１は、別途記憶して管理されている人物撮像画像と、画像取得部２２９によって取得された人物撮像画像とから顔部分を抽出する。対比部２３１は、抽出された双方の顔が一致するか否かの対比を実施する。
【００５３】
存在認識部２３２は、上述した所定の画像認識手法を用いて、商品認識エリアＡに置かれた物体の存在を認識する。
表示制御部２３４は、取得された物体撮像画像及び当該物体撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。具体的には、表示制御部２３４は、取得された物体撮像画像及び当該物体撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、出力部２０６（表示部Ｄ）に表示する制御を実行する。また、表示制御部２３４は、人物撮像画像を出力部２０６（表示部Ｄ）に表示する制御を実行する。
認識数量計数部２３３は、存在が認識された物体の数量を計数し、その結果を認識数量情報として生成する。これにより、認識数量計数部２３３は、購入者が購入予定である商品（物体）の数を計数する。
【００５４】
商品特定部２３９は、商品認識エリアＡに置かれた物体がいずれの商品であるのかを特定する。商品特定部２３９は、例えば、存在が認識された物体から得られる情報と、ＤＢ情報保持部２４１によって保持されている商品情報とをマッチングさせる。これにより、存在認識部２３２によって存在が認識された物体が、ＤＢ情報保持部２４１に保持された商品情報のうちいずれの商品であるのかを特定する。
【００５５】
精算部２３５は、商品認識エリアＡに置かれた商品を精算する。例えば、精算部２３５は、商品認識エリアＡに置かれた商品を個別に特定することにより、商品の精算をする。
【００５６】
精算数量計数部２３６は、精算された商品の数量（商品点数）を計数し、その結果を精算数量情報として生成する。これにより、精算数量計数部２３６は、購入者が精算した商品の数量を計数する。具体的には、精算数量計数部２３６は、精算部２３５によって商品の精算が終了した後の物体撮像画像を用いて精算数量情報を生成することができる。また、精算数量計数部２３６は、実際に精算部２３５によって特定された商品の個数を計数することにより、精算数量情報を生成することができる。
【００５７】
判断部２３７は、認識数量情報及び精算数量情報が同じであるか否かを判定する。具体的には、判断部２３７は、認識数量情報によって示される購入予定の商品の数量と、精算数量情報として示される実際に精算された商品の数量とを比較する。
【００５８】
提示部２３８は、認識数量情報及び精算数量情報が異なる場合に警告を提示する。具体的には、提示部２３８は、判断部２３７による判定結果を受けて、認識数量情報によって示される数量と、精算数量情報によって示される数量とが異なる場合に、警告を提示する。提示部２３８は、例えば、表示部Ｄに警告を表示することや、音、光（ランプ）等を用いて警告を提示することができる。
【００５９】
ＤＢ情報保持部２４１は、画像ＤＢ４０１に別途記憶されている人物撮像画像を保持する。また、ＤＢ情報保持部２４１は、商品情報を保持する。なお、人物撮像画像及び商品情報は、サーバ１のＤＢ管理部３０１からＤＢ情報保持部２４１に送信される。なお、上述したように、ＤＢ情報保持部２４１によって保持される人物撮像画像は、対比部２３１による対比の材料に用いられる。
【００６０】
次に、本発明の情報処理システムにおいて、商品が商品認識エリアＡに置かれてから、商品が精算されるまでの一連の処理（以下、「数量照合処理」と呼ぶ）について説明する。
図６及び図７は、図５のサーバ１とレジ端末２とが実行する数量照合処理を説明するフローチャートである。
【００６１】
ステップＳ１において、購入者によって購入予定の商品が商品認識エリアＡに置かれた後、認識ボタンが押下されたかどうかが判断される。認識ボタン判定部２３０は、購入者によって認識ボタンが押下されたかどうかを判定する。
【００６２】
ステップＳ１において、認識ボタンの押下が判断されると、ステップＳ１においてＹＥＳと判定され、処理はステップＳ２に進む。これに対して、認識ボタンの押下が確認できない場合には、ステップＳ１においてＮＯと判定されて、認識ボタンが押下されるまで待機する。
【００６３】
ステップＳ２において、撮像部２０８は、レジ端末２の商品認識エリアＡに対して所定位置（例えば、商品認識エリアＡの前）を撮像する。また、撮像部２０８は、レジ端末２の商品認識エリアＡを複数方向（上下左右前後）から撮像する。
【００６４】
ステップＳ３において、画像取得部２２９は、レジ端末２の商品認識エリアＡに対して所定位置を撮像した撮像画像を取得する。また、画像取得部２２９は、レジ端末２の商品認識エリアＡの撮像画像を取得する。
【００６５】
ステップＳ４において、画像取得部２２９は、撮像した画像（物体撮像画像及び人物撮像画像）を表示制御部２３４に送る。表示制御部２３４は、画像取得部２２９から送られた物体撮像画像及び人物撮像画像に基づいて、加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。表示制御部２３４は、例えば、動画として撮影した画像（物体撮像画像及び人物撮像画像）を表示させる制御を実行する。
【００６６】
ステップＳ５において、対比部２３１は、商品認識エリアＡに対して所定位置を撮像した画像から、被写体として含まれると推測される人を抽出する。また、対比部２３１は、画像ＤＢ３０１に別途記憶されている人物撮像画像から、被写体として含まれると推測される人を抽出する。特に、対比部２３１は、被写体として含まれる人の顔を抽出する。例えば、対比部２３１は、輝度を用いて人の目を識別し、人の顔の輪郭の部分を抽出してもよい。
【００６７】
ステップＳ６において、対比部２３１は、人物撮像画像から抽出された人（人物撮像画像に含まれる被写体である人）と、ＤＢ情報保持部２４１に別途記憶されている人物撮像画像に含まれている被写体である人（人物撮像画像に含まれる被写体である人）とを対比する。ここで、対比部２３１は、人を被写体として撮像した撮像画像に含まれる顔の特徴部分（抽出された顔の特徴部分）と、ＤＢ情報保持部２４１に保持されている撮像画像に含まれている被写体である人の顔の特徴部分（抽出された顔の特徴部分）とを比較することによって行ってもよい。
【００６８】
対比部２３１は、対比の結果、撮像された人が登録されている（同一人物が別途記憶されている）と判断した場合、ステップＳ７においてＹＥＳと判断される。これにより、ステップＳ７において、対比部２３１は、提示部２３８にその旨（警告）を提示させる。対比部２３１は、例えば、販売者側及び購入者側の表示部Ｄに警告を表示することや、音や光（ランプ）により警告することが考えられる。一方、対比部２３１は、対比の結果、撮像された人が別途記憶されていない（一致しない）と判断した場合、ステップＳ６においてＮＯと判断され、処理は、ステップＳ７をスキップしてステップＳ８に進む。
【００６９】
ステップＳ９において、存在認識部２３２は、取得された複数の撮像画像のうち、商品認識エリアＡを撮像した物体撮像画像から、物体の存在を認識する。さらに、存在認識部２３２は、商品認識エリアＡを撮像した物体撮像画像から、商品毎の画像領域を特定する。
【００７０】
ステップＳ１０において、認識数量計数部２３３は、認識された物体の数量を計数し、その結果を認識数量情報として生成する。具体的には、認識数量計数部２３３は、物体毎の画像領域を計数することにより、物体の数量とする。例えば、認識数量計数部２３３は、図４に示されているおにぎりのように、重ねて置かれている物体や、上部に特徴のないペットボトル等の物体を複数の撮像画像から判別することにより、物体の数量を計数する。これにより、認識数量計数部２３３は、重ねられている物体や、上部に特徴のない物体の数量を正確に計数することができる。
【００７１】
ステップＳ１１において、商品特定部２３９は、商品認識エリアＡに置かれている物体をいずれの商品であるのか特定する。商品特定部２３９は、例えば、存在が認識された物体から得られる情報と、ＤＢ情報保持部２４１によって保持されている商品情報とをマッチングさせる。これにより、商品特定部２３９は、存在認識部２３２によって存在が認識された物体が、ＤＢ情報保持部２４１に保持された商品情報のうちいずれの商品であるのかを特定する。
【００７２】
ステップＳ１２において、精算部２３５は、商品認識エリアＡに置かれている商品を精算する。具体的には、精算部２３５は、商品認識エリアＡに置かれている特定された商品を個々に精算することにより、商品認識エリアＡに置かれている全ての商品を精算する。
【００７３】
ステップＳ１３において、精算数量計数部２３６は、精算された商品の数量を計数し、その結果を精算数量情報として生成する。判断部２３７は、認識数量情報及び精算数量情報が同じであるか否かを判断する。
【００７４】
判断部２３７が判断した結果、認識数量情報及び精算数量情報が同じであると判定された場合、ステップＳ１４においてＹＥＳと判断され、処理は終了する。一方、判断部２３７が判断した結果、認識数量情報及び精算数量情報が同じでないと判断された場合、ステップＳ１４においてＮＯと判断され、処理は、ステップＳ１５に進む。
【００７５】
ステップＳ１５において、判断部２３７は、認識数量情報及び精算数量情報が異なること（警告）を提示部２３８に提示させる。提示部２３８は、認識数量情報及び精算数量情報が異なることを提示する。提示部２３８は、表示部Ｄに認識数量情報及び精算数量情報が異なることを表示することにより、提示してもよい。また、提示部２３８は、音や光（ランプ）を用いて警告を提示してもよい。
【００７６】
ステップＳ１６において、判断部２３７は、通信部２１０を介して、所定エリアに対して購入者が存在すると推測される所定位置が撮像された人物撮像画像をＤＢ管理部３０１に送信する。ＤＢ管理部３０１は、送信された撮像画像を画像ＤＢ４０１に記憶する。これにより、処理は終了する。
【００７７】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００７８】
例えば、上述のＣＰＵによる画像処理は、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）による処理であってもよい。
また、図４に示されたレジ端末２の外観構成は、例示でありこの外観に限定されない。少なくとも商品認識エリアＡ、撮像部２０８、出力部２０６が含まれていればよく、他の構成要素を追加してもよい。また、撮像部２０８の数は、上記実施形態に限定されず、本発明を実施可能であれば、どのような数としてもよい。
【００７９】
例えば、図８に示すように、１以上の物品を搬送する搬送機構５０１（例えばベルトコンベア）を設け、この搬送機構５０１の搬送方向に沿って、順に、商品認識エリアＡ及び精算エリアＢが配置されていてもよい。
商品認識エリアＡには、商品認識エリアＡに対して所定の位置（購入者が存在すると推測される位置）を撮像する撮像部２０８が設けられる。また商品認識エリアＡには、搬送機構５０１によって搬送される１以上の物品を通過させることが可能な商品認識部５０２が設けられる。商品認識部５０２は、２つの側面部と上面部によって形成され、搬送機構５０１上に逆Ｕ字状に配置される。商品認識部５０２には、撮像部２０８が２つの側面部及び上面部のそれぞれの内面に設けられる。これにより、撮像部２０８は、商品認識エリアＡを通過する１以上の物品を複数方向から撮像することができる。
【００８０】
搬送機構５０１の搬送方向に対して、商品認識エリアＡよりも前に置かれた１以上の物品は、搬送機構５０１により商品認識エリアＡに搬送される。搬送機構５０１の搬送により商品認識部５０２（商品認識エリアＡ）を通過する１以上の物体は、商品認識部５０２に設けられた複数の撮像部２０８によって撮像される。撮像された１以上の物体の数量は、認識数量計数部２３３によって計数される。そして、計数された１以上の物体は、搬送機構５０１により精算エリアＢまで搬送される。判断部２３７は、商品認識エリアＡで認識された物体の数量（認識数量情報）と、精算エリアＢにおいて精算された商品の数量（精算数量情報）とが異なることにより、その旨を提示部２３８に提示させてもよい。なお、１以上の物体の認識の開始は、認識ボタンの押下に限定されず、商品認識エリアＡに１以上の物体や特定の物体（例えばバー等）が搬送されて撮像部２０８によって撮像されたときであってもよい。また、１以上の物体の認識の終了は、１以上の物体が撮像されなくなってから所定時間経過したときや、特定の物体（例えばバー等）が撮像されたときであってよい。
また、商品特定部２３９（図５）が商品認識部５０２に設けられる撮像部２０８によって撮像された物体撮像画像に基づいて、認識された１以上の物体を商品として特定することにより、商品の特定が行われてもよい。そして、精算部２３５（図５）が精算エリアＢに設けられる表示部Ｄへの入力をトリガとして動作することにより、商品の精算が行われてもよい。
【００８１】
また、上記実施形態では、認識数量計数部２３３によって生成された認識数量情報と、精算数量計数部２３６によって生成された精算数量情報とが異なるか否かによって不正（スウィートハーティング）の発生を判断していたが、これに限定されない。例えば、判断部２３７は、商品特定部２３９が特定した商品と、精算部２３５によって精算された商品とが異なるか否か（全ての商品が精算されたか否か）を判断してもよい。そして、提示部２３８は、全ての商品が精算されていない場合に警告を提示してもよい。
【００８２】
さらなる変形例として、画像取得部２２９が、物体撮像画像及び人物撮像画像を取得し、ＤＢ管理部３０１が、物体撮像画像及び人物撮像画像を関連付けて画像ＤＢ４０１に記憶して管理するだけでもよい。
これにより、重ねて置かれた商品や、上部に特徴のない商品であっても、後の画像確認において人が認識（認知）することができ、不正の監視支援及び不正の追跡支援が可能になる。
また、図２及び図３に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【００８３】
また、図５に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図５の例に限定されない。
【００８４】
また、機能ブロックの存在場所も、図５に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
例えばレジ端末２の対比部２３１等の少なくとも一部の機能をサーバ１に移譲させることもできる。より具体的には、対比部２３１及び存在認識部２３２のうち少なくとも一部の機能をサーバ１に移譲させ、サーバ１による処理の結果のみをレジ端末２に送信させるようにすることもできる。また逆に、サーバ１のＤＢ管理部３０１等の少なくとも一部の機能をレジ端末２に移譲させることもできる。
【００８５】
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【００８６】
このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。
【００８７】
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理システム（例えば図１の情報処理システム）は、
レジ端末（例えば図１のレジ端末２）を含むシステムとして機能する情報処理システムであって、
所定エリア（例えば図４の商品認識エリアＡ）に置かれた１以上の物体（例えば購入者が購入しようとする商品）について複数方向から夫々撮像された結果として得られる複数の撮像画像を取得する取得手段（例えば図５の画像取得部２２９）と、
物体撮像画像を所定のデータベースに記憶して管理する管理手段（例えば、図５のＤＢ管理部３０１）と、
を備える。
これにより、重ねて置いた商品の認識支援、上部に特徴のない商品の認識支援、不正の監視支援、及び不正の追跡支援が可能になる。
【００８８】
また、情報処理システムは、取得された物体撮像画像に基づいて、１以上の物体の存在を認識する認識手段（例えば、図５の存在認識部２３２）と、
認識された１以上の物体の数量を計数し、その結果を認識数量情報として生成する認識数量計数手段（例えば、図５の認識数量計数部２３３）と、
商品として精算された１以上の物体の数量を計数し、その結果を精算数量情報として生成する精算数量計数手段（例えば、図５の精算数量計数部２３６）と、
認識数量情報及び精算数量情報が同じであるか否かを判断する判断手段（例えば、図５の判断部２３７）と、
認識数量情報及び精算数量情報が異なる場合に警告を提示する提示手段（例えば、図５の提示部２３８）と、
をさらに備えることができる。
これにより、精算前に所定エリア（例えば、図４の商品認識エリアＡ）に置かれた物体の数量と、精算後の商品の数量とが異なる場合に警告を提示することができる。
【００８９】
また、情報処理システムは、取得された物体撮像画像に基づいて、１以上の物体の存在を認識する認識手段と、
存在が認識された前記１以上の物体のそれぞれが、いずれの商品であるのかを特定する特定手段と、
特定された前記商品を精算する精算手段（例えば、図５の存在認識部２３２）と、
特定された前記商品が全て精算されたか否かを判断する判断手段（例えば、図５の判断部２３７）と、
全ての前記商品が精算されていない場合に警告を提示する提示手段（例えば、図５の提示部２３８）と、
をさらに備えることができる。
これにより、精算前の商品が精算後の商品に含まれていない場合に警告を提示することができる。
【００９０】
また、取得手段（例えば図５の画像取得部２２９）は、所定エリアに対して購入者が存在すると推測される所定位置が撮像された撮像画像を人物撮像画像として取得し、
管理手段（例えば、図５のＤＢ管理部３０１）は、物体撮像画像を人物撮像画像に関連付けて所定のデータベースに記憶して管理することができる。
【００９１】
また、管理手段（例えば、図５のＤＢ管理部３０１）は、判断手段（例えば、図５の判断部２３７）による判定の結果、提示手段（例えば、図５の提示部２３８）による警告が提示された場合に、取得されている人物撮像画像を、所定のデータベース（例えば、図５の画像ＤＢ４０１）に別途記憶して管理することができる。
これにより、不正を行ったと思われる購入者を区別して管理することができる。
【００９２】
また、情報処理システムは、取得手段（例えば、図５の画像取得部２２９）により取得された人物撮像画像に含まれる被写体である人と、管理手段（例えば、図５のＤＢ管理部３０１）により別途記憶して管理されている人物撮像画像に含まれる被写体である人とが一致するか否かを対比するとともに、対比した結果が一致する場合に、提示手段（例えば、図５の提示部２３８）にその旨を提示させる対比手段（例えば、図５の対比部２３１）
をさらに備えることができる。
【００９３】
また、取得手段により取得された複数の画像及び当該複数の画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する表示制御手段（例えば図５の出力部２０６）
をさらに備えることができる。
これより、不正の抑止を図ることができる。特に、購入者の顔も合わせて表示することで不正を行うことをためらう或いは諦めるという心理的効果が増大する。
【００９４】
また、取得手段（例えば、図５の画像取得部２２９）は、所定エリア（例えば図４の商品認識エリアＡ）を通過する１以上の物体の撮像画像をさらなる物体撮像画像として取得することができる。
これにより、１以上の物体を長く撮像することができるので、１以上の物体の視点が異なる物体撮像画像を増やすことができ、１以上の物体の認識率を向上することができる。また、１以上の物体が所定エリアを通過することにより、所定エリアの広さに影響を受けずに物体を置けるようになることで、１以上の物体が重ねて置かれることを防止することができる。
【００９５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００９６】
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものである。
【符号の説明】
【００９７】
１・・・  サーバ
２，２−１，２−２，２−ｎ・・・  レジ端末
３・・・  リモート解除端末
１０１・・・  ＣＰＵ
１０２・・・  ＲＯＭ
１０３・・・  ＲＡＭ
１０４・・・  バス
１０５・・・  入出力インターフェース
１０６・・・  出力部
１０７・・・  入力部
１０８・・・  記憶部
１０９・・・  通信部
１１０・・・  ドライブ
１２０・・・  リムーバブルメディア
２０１・・・  ＣＰＵ
２０２・・・  ＲＯＭ
２０３・・・  ＲＡＭ
２０４・・・  バス
２０５・・・  入出力インターフェース
２０６・・・  出力部
２０７・・・  入力部
２０８・・・  撮像部
２０９・・・  記憶部
２１０・・・  通信部
２１１・・・  ドライブ
２２０・・・  リムーバブルメディア
２２９・・・  画像取得部
２３０・・・  認識ボタン判定部
２３１・・・  対比部
２３２・・・  存在認識部
２３３・・・  認識数量計数部
２３４・・・  表示制御部
２３５・・・  精算部
２３６・・・  精算数量計数部
２３７・・・  判断部
２３８・・・  提示部
２３９・・・  商品特定部
２４１・・・  ＤＢ情報保持部
３０１・・・  ＤＢ管理部
４０１・・・  画像ＤＢ
４０２・・・  商品ＤＢ
５０１・・・  搬送機構
５０２・・・  商品認識部
Ａ・・・  商品認識エリア
Ｂ・・・  精算エリア
Ｄ・・・  表示部
Ｎ・・・  ネットワーク
【図１】
0006283806.tif 000002
【図２】
0006283806.tif 000003
【図３】
0006283806.tif 000004
【図４】
0006283806.tif 000005
【図５】
0006283806.tif 000006
【図６】
0006283806.tif 000007
【図７】
0006283806.tif 000008
【図８】
0006283806.tif 000009