(57)【要約】【課題】買い物客が店舗に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることを可能にした情報処理システムを提供すること。【解決手段】本情報処理システムは、移動物体追跡手段と、棚商品認識手段と、精算手段とを備える。移動物体追跡手段は、店舗内を移動する買い物客やカゴ類等の移動物体を発見し、当該移動物体を領域定義し、前記移動物体の移動を追跡しながら撮像する。棚商品認識手段は、棚内の状態を常時撮像し、棚内から物体が取り出された前後の撮像画像を比較し、認識される対象の商品を撮像画像から領域定義し、当該定義された画像領域から商品を特定する。精算手段は、特定された商品を精算する。【選択図】図１
2017157216.tif 000002
【特許請求の範囲】
【請求項１】
店舗内を移動する買い物客やカゴ類等の移動物体を発見し、当該移動物体を領域定義し、前記移動物体の動きを追跡し続けながら撮像する移動物体追跡制御手段と、
店舗内の棚内の状態を常時、撮像し、棚内から商品が取り出された前後の画像及び棚内に商品が戻し置かれた前後の画像を比較し、認識される対象の商品を画像から領域定義し、当該定義された画像領域から商品を特定する棚商品認識制御手段と、
特定された前記商品を精算する精算手段と、
を備える情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システムに関する。
【背景技術】
【０００２】
従来より、コンビニエンスストア、スーパーマーケットやショッピングセンター、各種の量販店などの商店では、購入者が商品棚から商品を取り、ショッピングカートや買い物カゴに入れて商店の出口付近に設けられたレジまで運び、セルフキャッシュレジスターにより商品の代金の精算を行っている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−７６２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、レジでショッピングカートや買い物カゴに入っている商品を精算する場合には、セルフレジであっても商品の夫々のバーコードの読み取りが発生してしまうため、レジ待ちの列を解消することはできず、購入者は長時間レジ待ちをすることになる。
また、購入者が商店で購入したい商品を購入するときに、他にも多数の購入者がいる場合には、購入者は買い物を諦めてしまう場合が存在する。
したがって、上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることができるシステムが要求されている。
さらにまた、従来の店舗では買い物客やレジ担当者による万引き等の不正も問題となっており、このような不正防止が可能になるシステムも要求されている。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることを可能にすると共に、買い物客やレジ担当者による万引き等の不正防止を可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の情報処理システムは、
店舗内を移動する人やカゴ類等の移動物体を発見し、当該移動物体を領域定義し、前記移動物体の動きを追跡し続けながら撮像する移動物体追跡手段と、
店舗内の棚内の状態を常時、撮像し、棚内から物体が取り出された前後の撮像画像を比較し、認識される対象の商品を撮像画像から領域定義し、当該定義された画像領域から商品を特定する棚商品認識手段と、
特定された前記商品を精算する精算手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、商品の代金の精算にかかる時間の短縮及び買い物客やレジ担当者による不正防止を図ることが可能な情報処理システムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る情報処理システムの実施形態１乃至実施形態４の要点を一覧表にした図である。
【図２】実施形態１における商品認識システムを採用するコンビニエンスストアのレイアウト例を示す図である。
【図３】実施形態１で採用するレジ端末の外観の構成例を示す概略透視図である。
【図４】本発明の情報処理システムの実施形態１としての商品認識システムの構成を示す構成図である。
【図５】図４の商品認識システムのうちサーバのハードウェア構成を示すブロック図である。
【図６】図４の商品認識システムのうちレジ端末のハードウェア構成を示す構成図である。
【図７】図５のサーバと図６のレジ端末との機能的構成の一例を示す機能ブロック図である。
【図８】レジ端末に置かれた物体の撮像画面の例を示している。
【図９】レジ端末に置かれた物体の数を算出するための真理値表の一例を示す図である。
【図１０】図７のサーバとレジ端末が実行する自動精算処理を説明するフローチャートである。
【図１１】図７のサーバとレジ端末が実行する自動精算処理において売買制限商品の処理を説明するフローチャートである。
【図１２】実施形態２における商品認識システムを採用する書店のレイアウト例を示す図である。
【図１３】実施形態２で採用するレジ端末によって書籍を自動精算している一例を示す概略斜視図である。
【図１４】本発明の情報処理システムの実施形態２としての商品認識システムの構成を示す構成図である。
【図１５】図１４の商品認識システムのうち売場装置のハードウェア構成を示すブロック図である。
【図１６】図５のサーバと図６のレジ端末と図１５の売場装置との機能的構成の一例を示す機能ブロック図である。
【図１７】図１６の売場装置に備えられた移動物体追跡部の詳細な機能的構成例を示す機能ブロック図である。
【図１８】図１６の売場装置に備えられた位置情報管理部の詳細な機能的構成例を示す機能ブロック図である。
【図１９】図１６の売場装置に備えられた冊数カウント部の詳細な機能的構成例を示す機能ブロック図である。
【図２０】図１６のサーバとレジ端末と売場装置が実行する自動精算処理を説明するフローチャートである。
【図２１】図２０のステップＳ２１０において商品の冊数情報と精算される冊数とを検証する場合のフローチャートである。
【図２２】実施形態３における商品認識システムを採用するスーパーマーケットのレイアウト例を示す図である。
【図２３】実施形態３としての商品認識システムの構成を示す構成図である。
【図２４】図２３の商品認識システムのうち売場装置のハードウェア構成を示すブロック図である。
【図２５】図５のサーバと精算機と図２４の売場装置との機能的構成の一例を示す機能ブロック図である。
【図２６】図２５の売場装置に備えられた移動物体追跡部の詳細な機能的構成例を示す機能ブロック図である。
【図２７】図２５の売場装置に備えられた棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。
【図２８】図２５の売場装置に備えられたカゴ商品認識部の詳細な機能的構成例を示す機能ブロック図である。
【図２９】図２５のサーバと売場装置と精算機が実行する自動精算処理の基本的な流れを説明するフローチャートである。
【図３０】図２５のサーバ売場装置と精算機が実行する自動精算処理のカゴ内商品を認識する処理を説明するフローチャートである。
【図３１】実施形態４における商品認識システムを採用するスーパーマーケットのレイアウト例を示す図である。
【図３２】本発明の情報処理システムの実施形態４としての商品認識システムの構成を示す構成図である。
【図３３】図３２の商品認識システムのうち精算ゲートのハードウェア構成を示す図である。
【図３４】図５のサーバと図２４の売場装置と図３３の精算ゲートとの機能構成の一例を示す機能ブロック図である。
【図３５】実施形態４における売場装置に備えられた移動物体追跡部の詳細な機能的構成例を示す機能ブロック図である。
【図３６】実施形態４における売場装置に備えられた棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。
【図３７】図３４のサーバ１と売場装置と精算ゲートが実行する自動精算処理を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
〔概要〕
以下、本発明の情報処理システムの実施形態の概要について説明する。
本発明の情報処理システムは、商品を自動精算する商品認識システムとして適用される。以下、図１に示す実施形態１乃至実施形態４について、その順番で夫々説明する。
【００１０】
図１は、本発明の情報処理システムの実施形態１乃至実施形態４の要点を一覧表にした図である。
図１中の「実施店舗」欄には、実施形態１乃至４の夫々の実施店舗が記載されている。例えば、実施形態１は、主としてコンビニエンスストアでの適用を想定する情報処理システムである。
ただし、この実施店舗は、あくまで例示に過ぎず、実施形態１乃至４の夫々の適用先は特に限定されない。例えば、実施形態１の実施店舗をスーパーマーケット等の小売店舗や食堂、精算が行われる店舗としてもよい。
図１中の「精算場所」欄には、実施形態１乃至４の夫々において、買い物客が精算を行う場所が記載されている。実施形態１，２での精算場所は、レジ端末を例示している。レジ端末は、物体を商品として特定し、その商品を精算する機能を有している。実施形態３での精算場所は、レジ台である。レジ台は、物体から商品として既に特定されたものが置かれ、その商品を精算する機能を有している。実施形態４での精算場所は、精算ゲートを例示している。精算ゲートは、物体から商品として既に特定されたものをレジ台に置かずに、その商品を精算する機能を有している。
【００１１】
図１中の「概要」欄には、各実施形態１乃至４の夫々の概要が記載されている。例えば、実施形態１の情報処理システムは、要約すると、レジ端末に置かれた商品の自動精算を行う情報処理システムである。
図１中の「詳細」欄には、各実施形態の詳細が記載されている。つまり、例えば、実施形態１の情報処理システムは、レジ端末に設置されたレジカメラによってレジ端末に置かれた手持ち商品を認識し、その商品の自動精算を行う。
【００１２】
ここで、店舗において販売されている商品がどのような商品か特定される前のものを「物体」と呼ぶ。なお、商品ではないものの、例えば買い物客が持参する私物等も「物体」となる。そして、「物体」が商品として特定されたものを「商品」と呼ぶ。したがって、「商品」とは、店頭において販売されているものを意味する。
また、実施形態１乃至４の商品認識システムは、物体を撮像する１台以上のセンシングデバイスを備えている。センシングデバイスは、画像センサー（カメラ等）の他、温度センサーや距離センサー等種々のものを採用することができる。
【００１３】
カメラ等の画像センサーにより撮像された画像を、以下「撮像画像」と呼ぶ。さらに、物体を被写体として含む撮像画像を、以下「物体撮像画像」と呼ぶ。一方、商品を被写体として含む撮像画像を、以下「商品撮像画像」と呼ぶ。
また、本明細書では、商品撮像画像及び物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。
【００１４】
実施形態１の商品認識システムは、レジ端末に置かれた物体を被写体として含む物体撮像画像に基づいて、物体の存在を認識する。
具体的には例えば、実施形態１では、レジ端末はセンシングデバイスの一例として、１台以上のレジカメラを備えている。レジカメラは、レジ端末の所定エリアを撮像する。具体的には、レジカメラは、物体が置かれる前の所定エリアを撮像する。また、レジカメラは、物体が所定エリアに置かれた後の所定エリアを撮像する。  そこで、実施形態１の商品認識システムのうちレジ端末は、物体がレジ端末の所定エリアに置かれる前の撮像画像と、物体がレジ端末の所定エリアに置かれた後の物体撮像画像とを対比することで、物体の存在を認識する。
また、物体がレジ端末の所定エリアに置かれる前の撮像画像と、物体がレジ端末の所定エリアに置かれた後の物体撮像画像とを対比する以外の画像認識におけるセグメンテーション技術を用いて、物体がレジ端末の所定エリアに置かれた後の物体撮像撮像のみから物体の存在を認識してもよい。
実施形態１では、レジ端末は、この認識された物体のそれぞれがいずれの商品であるかを画像認識による物体認識手法によって特定する。ここでは、例えば、ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）により、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する手法が採用される。そして、実施形態１では、レジ端末は、次に特定された商品の数量を認識する。実施形態１では、次に特定された商品の精算をする。
【００１５】
実施形態２の商品認識システムは、書店のような店舗に対して適用する。具体的には、実施形態２の商品認識システムは、書店内の売場に設置された棚と棚との間やワゴンのような台上（以下、台上を含めて「棚内」として説明する）の物体を書籍の冊数として認識し、この書籍が取られたときにレジ端末に置かれるまで買い物客を追跡し、レジ端末に書籍が置かれた場合、置かれた書籍の冊数を認識したうえで、その書籍を特定することで商品として認識し、当該書籍を自動精算する。
【００１６】
実施形態３の商品認識システムは、スーパーマーケット等の小売店舗に対して適用する。具体的には、実施形態３の商品認識システムは、スーパーマーケット等の小売店舗の売場に置かれたカゴ類（買い物カゴやカート）を認識し、売場を移動するカゴ類を追跡する。実施形態３の商品認識システムでは、物体が棚内から取られた段階でその物体を商品として認識・特定し、レジ台にカゴ類が置かれることで、カゴ類に入れられた商品のリストが読み出され、その商品を自動精算する。
【００１７】
実施形態４の商品認識システムは、スーパーマーケット等の小売店舗に対して適用する。具体的には、買い物客や、スーパーマーケットに置かれた買い物カゴ及びカートだけでなく、買い物客のマイバッグやレジ袋等を含めたカゴ類と買い物客とを移動物体として認識して追跡する。そして、実施形態４の商品認識システムでは、棚から物体が取られた段階で商品を認識・特定し、商品がレジ端末に置かれなくてもレジゲートにて自動精算できるようにする。
【００１８】
以下、実施形態１乃至実施形態４について、それぞれ図面を参照して説明する。
【００１９】
〔実施形態１〕
実施形態１の情報処理システムは、図２に示すようなコンビニエンスストア等の店舗に採用される図３に示すようなレジ端末２を有する商品認識システムである。実施形態１の情報処理システムは、商品がレジ端末に置かれることで、自動精算することができるようにしてある。
【００２０】
図２は、実施形態１の情報処理システムを採用する店舗がコンビニエンスストアである場合のレイアウト例を示す図である。
店舗１０内の出入口１１付近には、レジカウンター１２が設置されている。レジカウンター１２上には、商品を自動精算するための無人のレジ端末２が設置されている。このレジ端末２の隣には、有人のレジスター１３が設置されている。
店舗１０内には、商品を陳列する複数台の棚ラック１４が設置され、向き合った棚ラック１４間が、買い物客が移動する通路１５とされている。
棚内の商品は、通路１５を移動してきた買い物客によって取られ、レジ端末２の所定エリア（後述の図３の所定エリアＡ等）に置かれる。所定エリアに置かれた商品は、買い物客のレジ端末２に対する所定の操作をトリガーとして、レジ端末２により複数商品が一括で特定されて自動精算される。
なお、有人のレジスター１３は、従来通り、店員が商品を１個ずつバーコードで認識し、精算する。
【００２１】
無人のレジ端末２の外観の構成例について図３を参照して説明する。
図３は、レジ端末２の外観の構成例を示す概略透視図である。
レジ端末２は、物体が載置される所定エリアＡを囲む囲繞部２７０を備えている。囲繞部２７０は、天板部２７１と、底板部２７２と、一対の側板部２７３と、を備えている。
【００２２】
天板部２７１と一対の側板部２７３の夫々には、所定エリアＡを撮像するレジカメラ２１１が夫々固定されている。レジカメラ２１１は、所定エリアＡに置かれた物体を撮像する。
なお、図３において、レジカメラ２１１は、３台のみ描画されているが、後述のように５台でもよく、少なくとも１台以上存在すれば足り、台数は限定されない。また、図示しないが、レジ端末２は、買い物客の顔や手などを撮像するカメラも備える。
【００２３】
底板部２７２上に筐体部２７５が設置されている。筐体部２７５の正面には、図３には図示しないレシート出力部や表示部（後述する図６の出力部２０６のレシート出力部Ｒや表示部Ｄ）が備えられている。
筐体部２７５上には物体を載せる半透明のプレート２７６が設置される。プレート２７６の上面の盤面が所定エリアＡとされる。プレート２７６の盤面は、波形状に形成されている。波形状は、正弦波形状だけでなく、矩形波であってもよく、さらに、ピッチや振幅は、均等だけでなく、不均等であってもよい。
プレート２７６は、このように所定エリアＡが凹部と凸部とを繰り返して形成したものとされることで、円柱状や球状の物体の少なくとも一部を凸部と凸部との間に挟み、転がらないようにすることができる。
【００２４】
このプレート２７６内と囲繞部２７０の天板部２７１内には、所定エリアＡを照明する照明部２０８が備えられている。照明部２０８は、囲繞部２７０の側板部２７３に備えられてもよい。
照明部２０８は、白色だけでなく、青色や赤色その他限定しない種々の色で発光する。照明部２０８が発光することで、所定エリアＡに置かれた物体の影が所定エリアＡに生じない又は減少するようにされている。
【００２５】
囲繞部２７０は、レジ端末２の状態、例えば、正常待機中の状態であるか、精算中の状態であるか、店員が操作中の状態であるか、さらに異常事態が発生しているか等を色で視認できるように、提示部２１０を変色可能としている。
囲繞部２７０のうち少なくとも天板部２７１と側板部２７３は、透明になる透明状態と、不透明になる不透明状態とに切り替えられるように、瞬間調光シートで構成されていてもよい。
その場合、囲繞部２７０が透明状態とされることで、所定エリアＡの視認性を確保することができる。囲繞部２７０が不透明状態とされることで、撮影時において外部光の影響を抑制しつつ、物体撮像画像を取得することができる。
【００２６】
このようなレジ端末２は、情報処理システムの実施形態１としての商品認識システムに組み込まれる。
図４は、本発明の情報処理システムの実施形態１としての商品認識システムの構成を示す構成図である。
実施形態１の商品認識システムは、サーバ１と、ｎ台（ｎは１以上の任意の整数値）のレジ端末２−１乃至２−ｎと、を有している。
サーバ１と、ｎ台のレジ端末２−１乃至２−ｎとの夫々は、インターネット等のネットワークＮを介して相互に接続されている。
【００２７】
なお、説明の便宜上、図４のサーバ１は、１台しか描画されていないが、実際には複数台の場合もある。
また、以下、レジ端末２−１乃至２−ｎを個々に区別する必要がない場合、これらをまとめて「レジ端末２」と呼ぶ。
【００２８】
サーバ１は、レジ端末２の各動作を管理すべく、各処理を実行する。レジ端末２は、図２に示したレジカウンター１２上に置かれている。レジ端末２では、買い物客によりレジ端末２の所定エリアＡに置かれた物体の数量を特定したうえ、商品を特定し、自動精算する。
【００２９】
図５は、図４の実施形態１の情報処理システムのうちサーバ１のハードウェア構成を示すブロック図である。
サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
【００３０】
ＣＰＵ１０１は、ＲＯＭ１０２に記憶されているプログラム、又は、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００３１】
ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、また、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、出力部１０６、入力部１０７、記憶部１０８、通信部１０９及びドライブ１１０が接続されている。
【００３２】
出力部１０６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部１０７は、キーボードやマウス等で構成され、各種情報を入力する。
【００３３】
記憶部１０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１０９は、図４に示すように、インターネットを含むネットワークＮを介してレジ端末２との間で通信を行う。
【００３４】
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア１２０が適宜装着される。ドライブ１１０によってリムーバブルメディア１２０から読み出されたプログラムは、必要に応じて記憶部１０８にインストールされる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。
【００３５】
図６は、図４の実施形態１の情報処理システムのうちレジ端末２のハードウェア構成を示すブロック図である。
レジ端末２は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、バス２０４と、入出力インターフェース２０５と、出力部２０６と、入力部２０７と、照明部２０８と、遮光部２０９と、提示部２１０と、レジカメラ２１１と、記憶部２１２と、通信部２１３と、ドライブ２１４と、を備えている。
ドライブ２１４には、リムーバブルメディア２２０が適宜装着される。
【００３６】
レジ端末２のＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、バス２０４、入出力インターフェース２０５、記憶部２１２、通信部２１３、ドライブ２１４、リムーバブルメディア２２０は、サーバ１のこれらと同様に構成されている。
【００３７】
出力部２０６は、図３に示した筐体部２７５に備えられる。出力部２０６は、商品に関する情報や精算に関する情報などを表示する表示部Ｄと、レシートを出力するレシート出力部Ｒとを備えている。
入力部２０７は、図３に示した筐体部２７５に備えられる。入力部２０７は、タッチパネル（図示せず）やカードリーダー部Ｃを備えている。
【００３８】
遮光部２０９は、囲繞部２７０が瞬間調光シートで構成されている場合に、図３に示した囲繞部２７０を透明状態と不透明状態とに切り替える。
提示部２１０は、レジ端末２の状態が正常待機中の状態であるか、精算中の状態であるか、店員が操作中の状態であるか、さらに異常事態が発生しているか等がわかるように、図３に示した提示部２１０が異なる色で発光するように切り替える。なお、提示部２１０は、前面だけでなく、背面にも備えている。
レジカメラ２１１は、所定エリアＡに置かれた物体を撮像し、その結果として得られる1以上の撮像画像を物体撮像画像として出力する。
【００３９】
図７は、図５のサーバ１と図６のレジ端末２との機能的構成の一例を示す機能ブロック図である。
サーバ１のＣＰＵ１０１においては、ＤＢ管理部１４１が機能する。
サーバ１の記憶部１０８の一領域には、商品ＤＢ１３１が設けられている。商品ＤＢ１３１は、商品に関する情報を記憶するＤＢ（Ｄａｔａ  Ｂａｓｅ）である。
【００４０】
レジ端末２のＣＰＵ２０１においては、図７に示すように、発光制御部２２８と、遮光制御部２２９と、提示制御部２３０と、個人認証部２３１と、画像取得部２３２と、物体認識部２３３と、物体数量認識部２３４と、商品特定部２３５と、売買制限商品判定部２３６と、精算部２３７と、表示制御部２３８と、が機能する。
なお、レジ端末２は、個人情報及び商品情報を保持するＤＢ情報保持部２４１を備えている。
【００４１】
レジ端末２のＣＰＵ２０１の発光制御部２２８は、物体を撮像するタイミングで照明部２０８を発光させる状態と、物体を撮像しないタイミングで照明部２０８を発光させない状態とに切り替える制御や、所定エリアＡに置かれる物体を認識する状況などに応じて照明部２０８の発光色を切り替える制御を実行する。
遮光制御部２２９は、囲繞部２７０が瞬間調光シートで構成されている場合に、囲繞部２７０を不透明状態と透明状態とに切り替える。即ち、遮光制御部２２９は、囲繞部２７０に備えられた遮光部２０９が所定エリアＡに置かれた物体を撮影するタイミングでの不透明状態と、撮像しないタイミングでの透明状態とのうち一方から他方に切り替える制御を実行する。
提示制御部２３０は、提示部２１０がレジ端末２の状態を提示する発光色を変化させるように制御を実行する。
【００４２】
個人認証部２３１は、精算処理の最中において、ＤＢ情報保持部２４１やＤＢ管理部１４１によって管理されている個人情報を参照することにより、買い物客の個人認証を行う。具体的には、個人認証部２３１は、商品の画像認識前に、顔認証や、カード認証、指紋認証、静脈認証、虹彩認証等の各種生体認証などの認証手法を用いた認証処理を実施する。ＤＢ管理部１４１によって管理されている個人情報は、年齢やアレルギー、ハラル等の情報を含んでいる。したがって、個人認証部２３１によって取得された個人情報は、売買制限商品判定部２３６で活用される。
画像取得部２３２は、物体が所定エリアＡに置かれてレジカメラ２１１によって撮像された物体撮像画像を図８に示すように取得する。
【００４３】
図８は、レジ端末２に置かれた物体の撮像画面の例を示している。ここでは、図８は、所定エリアＡに置かれた物体Ｘ，Ｙ，Ｚ，Ｚ’が３台のレジカメラ２１１の夫々により撮像された結果得られる物体撮像画像の例を示す図である。
図８（ａ）は、レジ端末２の天板部２７１に固定されたレジカメラ２１１によって物体Ｘ，Ｙ，Ｚ，Ｚ’が撮像された結果得られる物体撮像画像の例を示している。この物体撮像画像には、６個の物体が含まれている。この物体撮像画像は、物体の影になる物体Ｘ，Ｙ，Ｚ，Ｚ’がないため、所定エリアＡに置かれたすべての物体Ｘ，Ｙ，Ｚ，Ｚ’が撮像されている。
図８（ｂ）は、レジ端末２の一方の側板部２７３に固定されたレジカメラ２１１によって物体Ｘ，Ｙ，Ｚ，Ｚ’が撮像された結果得られる物体撮像画像の例を示している。この物体撮像画像には、２個の物体が含まれている。この物体撮像画像は、レジカメラ２１１側の物体Ｘ，Ｙ，Ｚ，Ｚ’が奥側の物体を隠した状態となっている。
図８（ｃ）は、レジ端末２の他方の側板部２７３に固定されたレジカメラ２１１によって物体Ｘ，Ｙ，Ｚ，Ｚ’が撮像された結果得られる撮像画像を示している。この物体撮像画像には、２個の物体が含まれている。この物体撮像画像は、レジカメラ２１１側の物体Ｘ，Ｙ，Ｚ，Ｚ’が奥側の物体を隠した状態となっている。
図８（ｂ）と図８（ｃ）の夫々の物体撮像画像に含まれる２つの物体Ｚのうち、一方は同一物体Ｚ’であるが、他方は異なる物体である。
【００４４】
物体認識部２３３は、上述した所定の画像認識手法を用いて、画像取得部２３２によって取得された物体撮像画像から、所定エリアＡに置かれた物体の存在を認識する。すなわち、物体認識部２３３は、レジ端末２の所定エリアＡに物体が置かれる前の背景画像と、物体が置かれた後の物体撮像画像を比較し、背景差分処理により、物体ごとに物体領域を定義（特定）することで、物体の存在を認識する。
なお、物体認識部２３３は、背景差分処理以外の方法を用い、所定エリアＡに物体が置かれる前の背景画像と、物体が置かれた後の物体撮像画像を比較せず、物体撮像画像のみから物体領域を定義することで、物体の存在を認識するようにしてもよい。
【００４５】
物体数量認識部２３４は、物体認識数量と精算数量とを比較することで、所定エリアＡに置かれた物体の数量を認識する。物体認識数量は、レジ端末２の複数台のレジカメラ２１１によって撮像された物体撮像画像から、物体認識部２３３が認識した物体の数量である。
精算数量は、精算対象の商品の数量である。
物体認識数量は、図８に示すように、レジカメラ２１１によって異なることがある。すなわち、図８（ａ）では、６個の物体が撮像されているが、図８（ｂ）（ｃ）では、２個の物体が撮像されている。
このような場合、物体数量認識部２３４は、図９に示すような論理和を取ることで、物体の数量を認識する。
【００４６】
図９は、レジ端末２に置かれた物体の個数を算出するための真理値表の一例を示す図である。
図９は、図８で示した物体Ｘ，Ｙ，Ｚ，Ｚ’についてレジ端末２（図３）に備えられた第１乃至第５のレジカメラ２１１が撮像し、撮像できた場合は「１」、撮像できなかった場合は「０」で表している。なお、物体Ｚと物体Ｚ’は、同じ物体であるものの、撮像したレジカメラ２１１が異なることから、異なる状態に撮像されていることを表すものである。
図９において、第１のレジカメラ２１１は「レジ台カメラ１」と表され、同様に、第２乃至第５のレジカメラ２１１は「レジ台カメラ２」乃至「レジ台カメラ５」と表されている。
図９の例では、物体Ｘは第１、第４及び第５のレジカメラ２１１に撮像されている。物体Ｙは第２、第４及び第５のレジカメラ２１１に撮像されている。物体Ｚは第２、第３及び第５のレジカメラ２１１に撮像されている。物体Ｚ’は第１及び第３のレジカメラ２１１に撮像されている。
【００４７】
図９の例では、第１乃至第５のすべてのレジカメラ２１１に撮像された商品は存在しない。また、物体Ｚと物体Ｚ’は、同じ商品であるにもかかわらず、撮像したレジカメラ２１１が異なることから別の物体のように撮像されている。これは、撮像するレジカメラ２１１のアングルが異なるからであると考えられる。
このことを踏まえ、物体数量認識部２３４は、論理和を用いた手法によって商品の数量を認定する。すなわち、物体が重なって所定エリアＡに置かれたり、ある物体が他の物体の影になるように所定エリアＡに置かれても、いずれかのレジカメラ２１１が撮像した物体については、論理和を用いることで所定エリアＡに置かれたと認識される。
【００４８】
このようにして複数の物体撮像画像から真理値表を用いて認識された物体認識数量と、精算数量とが同一でない場合、物体数量認識部２３４は、数量が異なるという情報を表示制御部２３８に出力する。
【００４９】
図７に戻り、商品特定部２３５は、物体認識部２３３によって存在が認識された物体について、ＤＢ情報保持部２４１に保持されている商品情報とマッチングさせる。即ち、商品特定部２３５は、まず、特定物体認識、一般物体認識、ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、商品特定部２３５は、検証機能を発揮させ、商品を高い精度で特定する。
【００５０】
検証機能は前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする機能である。商品候補リストＳ，Ｐの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、ＤＢ情報保持部２４１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、物体認識部２３３によって存在が認識された物体が、ＤＢ情報保持部２４１に登録されている商品であるため、商品特定部２３５は、そのＤＢ情報保持部２４１に登録された商品であると特定する。
【００５１】
ここで、商品特定部２３５が画像処理手法によって商品を特定できなかったときに、その結果を商品不特定として出力する具体例について説明する。まず、商品特定部２３５は、ＤＢ情報保持部２４１に保存されている商品画像と所定エリアＡで撮像された物体撮像画像とを比較し、両画像が類似する特徴点（類似特徴点）及び特徴量を算出する。次に、商品特定部２３５は、商品候補リストに含む商品の画像の特徴点及び特徴量をサーバ１の商品ＤＢ１３１から読み取る。次に、商品特定部２３５は、読み取られた商品候補リストに含む商品の特徴点ごとの特徴量と、認識された物体の特徴点ごとの特徴量とを比較し、ＤＢ情報保持部２４１に保存されている商品画像と所定エリアＡで撮像された物体撮像画像との類似特徴点をマッチングする。
【００５２】
次に、商品特定部２３５は、類似特徴点の各組の対応点座標を用いて位置関係を比較し、回転、並進による変化において正しく対応していない（位置関係が合っていない）類似特徴点の組を除去し、残った類似特徴点の数を算出する。商品特定部２３５は、類似特徴点の数が閾値未満の場合に商品不特定とする。
【００５３】
このような商品不特定とする方法にあっては、パッケージ商品でない弁当のような商品を不特定商品とすることがある。弁当は、おかずの位置が若干異なることがあり、このような場合に不特定商品とされるおそれがある。このような場合は、商品特定部２３５は、商品に貼付されているラベルに記載されたバーコード等を含む多次元コード等各種コードや商品名などの文字を検出し、ＤＢ情報保持部２４１やサーバ１の商品ＤＢ１３１に記憶されている商品情報をもとに商品名や商品コード等を読み取り、商品を特定してもよい。
【００５４】
さらに、商品特定部２３５は、類似商品や関連商品（以下「グループ商品」と呼ぶ）についてＤＢ情報保持部２４１やサーバ１の商品ＤＢ１３１に記憶されている商品情報を用いて検証する。商品特定部２３５では、例えば、サイズや色等が違うシリーズもののグループ商品について商品の大きさや色等の特徴を用いて閾値を比較する。商品特定部２３５は、その閾値が所定の閾値未満の場合に商品不特定とする。
【００５５】
売買制限商品判定部２３６は、判定情報に基づいて、商品特定部２３５によって特定された商品が、売買制限商品に該当するか否かを判定する。
なお、売買制限商品としては、（Ａ）タバコ、酒類等のような一定の年齢に達しないと購入できない商品、（Ｂ）消費期限切れ・賞味期限切れの商品、（Ｃ）アレルギー成分を含むため、体質によって、摂取すべきでない商品、（Ｄ）ハラル食品以外の商品等、宗教による制限のある商品、が該当する。
【００５６】
精算部２３７は、商品特定部２３５で特定されたすべての商品について合計金額を算出する。その際、売買制限商品判定部２３６により、売買制限商品があるとされた場合には、それら売買制限商品の全てに対し制限が解除されている必要がある。そこで、精算部２３７は、所定エリアＡに置かれた商品の価格をＤＢ情報保持部２４１から読み出し、表示部Ｄ（図６）に表示させる。
【００５７】
表示制御部２３８は、物体数量認識部２３４によって物体認識数量と精算数量とが一致しなかった場合に、商品の数量を確認するよう買い物客や店員に向けて出力部２０６によって警告するように制御する。表示制御部２３８は、売買制限商品判定部２３６によって物体が売買制限商品であると認定された場合に、売買制限商品である旨を買い物客や店員に向けて警告するように出力部２０６を制御する。さらに、精算部２３７で合計金額が算出された場合に、その商品の商品名や価格などを買い物客及び店員に向けて表示させるように出力部２０６を制御する。
売買制限商品判定部２３６において物体が売買制限商品であると認定され、その旨の警告が提示部２１０や出力部２０６から提示される。この提示に気づいた店員が売買制限商品を販売してよいかどうかを判断する。売買制限商品を販売してよいと判断されたときは、店員によってその提示が解除される。
本商品認識システムは、この解除を指示するための遠隔操作部１７を備えている。遠隔操作部１７は、レジ端末２から離れた店員が所持したり、店舗のバックヤードに備えられる。
遠隔操作部１７からの信号は、レジ端末２通信部２１３に入力される。遠隔操作部１７は、１台で複数台のレジ端末２を遠隔操作することも可能とされている。
【００５８】
本明細書の情報処理システムとして適用される商品認識システムは、店舗１０で販売される商品について、商品の外観を撮像し商品の価格等の商品情報とともに登録しておくための商品登録システムを備える。商品登録は、店舗１０内で行われてもよく、また、商品のメーカーや卸売業者等の店舗外において行われてもよく、場所は限られない。
この商品登録システムは、図示しない登録画像生成部と、商品マスタ登録部と、撮像画像取得部と、認識部と、を備える。
【００５９】
登録画像生成部は、レジ端末２の所定エリアＡに置かれ得る商品の画像を、商品登録画像として生成する。
商品マスタ登録部は、登録画像生成部により生成された商品登録画像と、当該商品登録画像に被写体として含まれる商品に対して一意に付与された商品識別子とを関連付けて登録する。
撮像画像取得部は、レジ端末２の所定エリアＡに置かれた物体の撮像画像を、物体撮像画像として取得する。この物体撮像画像と商品登録画像とに基づいて、商品特定部２３５は、存在を認識した物体がいずれの商品かを特定する。
物体認識部２３３は、取得された物体撮像画像に基づいて、所定エリアＡに置かれた物体の存在を認識する。
この商品認識システムは、存在が認識された物体の物体撮像画像とＤＢ情報保持部２４１又はサーバ１の記憶部１０８に保持されている商品の画像を上述したようにマッチングさせることで、商品特定部２３５によっていずれの商品であるかが特定される。
【００６０】
このような商品認識システムを設置した店舗１０では、商品登録画像を生成し、この商品登録画像に含まれる商品に商品識別子を付与することで、商品に一意に付与された商品識別子によるマスタ登録が可能になる。さらに、この商品登録システムを備えた商品認識システムは、バーコードシールを貼付できない商品の商品管理をすることができる。
【００６１】
ここで、実施形態１の商品認識システムにおける商品の精算方法について、図１０を参照して説明する。
図１０は、図７のサーバとレジ端末が実行する商品の精算処理を説明するフローチャートである。
この商品の自動精算処理に先立って、レジ端末２の所定エリアＡに物体が置かれていない状態で予め撮像された所定エリアＡの画像が画像取得部２３２に保存されている。
この予め撮像された所定エリアＡの画像は、所定のタイミングで更新され、買い物客がレジ端末２を使用するたびに更新されず、買い物客が変わっても共用されてもよい。
そして、買い物客がレジ端末の操作ボタンを押すことで、自動精算処理が開始される。
【００６２】
ステップＳ１０１において、レジ端末２のレジカメラ２１１は、レジ端末２の所定エリアＡ上に物体が置かれた後の画像を撮像する。その画像は、図８に示すような物体撮像画像として画像取得部２３２に入力される。
この物体撮像画像は、レジ端末２内が照明部２０８によって照明されることで、物体の影が生じない又は減少するようにされている。
物体撮像画像は、表示制御部２３８に入力され、出力部２０６から出力されてもよい。
また、レジ端末２のレジカメラ２１１が買い物客を撮像することで、個人認証部２３１が買い物客を個人認証する。
【００６３】
ステップＳ１０２において、レジ端末２の物体認識部２３３は、上述した所定の画像認識手法を用いて、画像取得部２３２によって取得された物体撮像画像から、所定エリアＡに置かれた物体の存在を認識する。すなわち、物体認識部２３３は、レジ端末２の所定エリアＡに物体が置かれる前の背景画像と、物体が置かれた後の物体撮像画像を比較し、背景差分処理により、物体ごとに物体領域を定義（特定）することで、物体の存在を認識する。
【００６４】
ステップＳ１０３において、レジ端末２の商品特定部２３５は、レジ端末２の所定エリアＡに置かれている物体がいずれの商品であるか特定できたかどうか判定する。商品特定部２３５が商品を特定できなかった場合（ステップＳ１０３においてＮＯ）は、レジ端末２の提示部２１０によってエラー状態が色や音等によって知らされる。
商品不特定によるエラー状態となった場合、物体を置き直し、レジ端末２において、所定の操作をすることで、ステップＳ１０１に戻り、再度、物体が撮像し直される。置き直しは、エラー状態を発見した店員が行ってもよく、買い物客自身で行ってもよい。
【００６５】
なお、エラー状態となるのは、レジ端末２のシステム処理が異常となった場合、物体の特徴部分を撮像できなかったり、物体が重なりあったり、影になったりした場合、売買制限商品がレジ端末２に置かれた場合、レジ端末２に商品や私物が置き忘れられた場合などである。物体が重なりあったり、影になったりした場合は、物体を置き直すことで、物体がいずれの商品であるか撮像し、商品を特定できるようになる。
ステップＳ１０３において商品特定部２３５が商品を特定できた場合（ステップＳ１０３においてＹＥＳ）は、商品特定部２３５は、ＤＢ情報保持部２４１又はサーバ１の記憶部に保持された商品名や価格、売買制限商品であるなどの情報を含めて商品を特定する。これにより、処理はステップＳ１０４へ進む。特定された商品情報は、表示制御部２３８に出力されてもよい。
【００６６】
ステップＳ１０４において、売買制限商品判定部２３６は、売買制限商品の処理を実行する。売買制限商品の処理とは、特定された商品が売買制限商品であるかどうかを判定する処理である。具体的には、売買制限商品判定部２３６は、例えば、特定された商品が年齢制限商品かどうか、ハラル非該当商品又はアレルギー成分を含む商品かどうか、消費期限切れ・賞味期限切れ商品かどうかなどを判定する。売買制限商品の処理の詳細については、図１１を参照して後述する。
なお、ステップＳ１０４まで（ステップＳ１０１以前を含む）の任意のタイミングで個人認証が事前に取得されることで、売買制限商品判定部２３６は、買い物客ごとに売買制限商品の処理を実行することができる。
【００６７】
ステップＳ１０５において、精算部２３７は、所定エリアＡに置かれている商品を精算する。
具体的には、精算部２３７は、ステップＳ１０３において特定された商品の価格を個々に取得し、合計することにより、所定エリアＡに置かれているすべての商品を精算する。
精算された商品の商品名や価格などの商品情報は、表示制御部２３８から出力部２０６に出力され、出力部２０６の表示部Ｄに表示され、レシート出力部Ｒからレシートに印刷されて出力される。
また、このレジ端末２は、通信部２１３を介してサーバ１に接続されていることから、ＰＯＳ（Ｐｏｉｎｔ  Ｏｆ  Ｓａｌｅ）として活用することができる。即ち、レジ端末２によって、精算された商品の購買情報及び年齢性別推定情報がＰＯＳシステムに連携される。
なお、Ｓ１０５において、レジ端末２の提示部２１０は、物体数量認識部２３４が特定した物体の数量と、商品特定部２３５が特定した商品の数量と精算数量とが異なる場合に、その旨を提示してもよい。レジ端末２は、キャンセル機能を備えることで、精算処理を中止することができる。
【００６８】
次に、ステップＳ１０４における売買制限商品の処理について図１１を参照して詳しく説明する。
図１１は、図７のサーバとレジ端末が実行する売買制限商品の処理を説明するフローチャートである。
【００６９】
ステップＳ１１１において、売買制限商品判定部２３６は、商品特定部２３５によって特定された商品がアルコール飲料等の年齢確認が必要とされる商品であるかどうかを判定する。
【００７０】
ステップＳ１１１において、商品特定部２３５によって特定された商品が年齢確認必要とされる商品であると判定された場合は、即ちＹＥＳと判定された場合、処理はステップＳ１１２へ進む。
ステップＳ１１２において、表示制御部２３８は、レジ端末２の表示部Ｄに年齢確認のための画面を表示させる。ただし、買い物客の個人情報が取得され、ここで年齢確認する必要がない場合は、ステップＳ１１２はスキップされ、処理はステップＳ１１４へ進む。
ステップＳ１１３において、売買制限商品判定部２３６が売買制限を解除する指示を受け付けたか否かを判定する。
【００７１】
ステップＳ１１３において売買制限を解除する指示を受け付けていないと判定された場合は、処理はステップＳ１１３に戻される。すなわち、売買制限を解除する指示が受け付けられるまでの間、ステップＳ１１２の判定処理が繰り返される。
ステップＳ１１３において売買制限を解除する解除指示を受け付けた判定されると、即ちＹＥＳと判定されると、処理はステップＳ１１４へ進む。
ステップＳ１１４において、売買制限商品判定部２３６は、売買制限を解除する。
このようにしてステップＳ１１４が終了されるか、又はステップＳ１１１において年齢制限商品でないと判定された場合（ＮＯであると判定された場合）、処理はステップＳ１１５へ進む。
【００７２】
ステップＳ１１５において、売買制限商品判定部２３６は、商品特定部２３５によって特定された商品がハラル（許されている）食品以外の商品であるか否か、又はアレルギー商品であるか否かの判定をする。
売買制限商品判定部２３６が、ハラル商品以外の商品（許されていない商品）である、又はアレルギー商品であると判定した場合は、ステップＳ１１６へ進む。
【００７３】
ステップＳ１１６において、表示制御部２３８がレジの表示部Ｄに、ハラル商品以外の商品である旨、又はアレルギー商品である旨を表示させる。ただし、買い物客の個人情報が取得され、ここでハラル非該当商品であるかアレルギー商品であるかを判定する必要がない場合は、ステップＳ１１６はスキップされ、処理はステップＳ１１８へ進む。
【００７４】
ステップＳ１１７にいて、売買制限商品判定部２３６は、売買制限を解除する指示を受けたかどうか判定する。
売買制限を解除する指示を受けていないと判定した場合は、処理はステップＳ１１７に戻される。すなわち、ハラル商品以外の商品でない、又はアレルギー商品でないとして売買制限を解除する指示が受け付けられるまでの間、ステップ１１７の判定処理が繰り返される。
売買制限を解除する指示を受けたと判定した場合は、ステップＳ１１８へ進む。
【００７５】
ステップＳ１１８において、売買制限商品判定部２３６は、売買制限を解除する。
このようにしてステップＳ１１８が終了されるか、またはステップＳ１１５においてハラル商品以外の商品でない、又はアレルギー商品でない場合（ＮＯであると判定された場合）、処理はステップＳ１１９へ進む。
【００７６】
ステップＳ１１９において、売買制限商品判定部２３６は、商品特定部２３５によって特定された商品が消費期限切れの商品であるかどうかを判定する。
売買制限商品判定部２３６が消費期限切れの商品を含んでいると判定した場合は、ステップＳ１１９においてＹＥＳと判定され、処理はステップＳ１２０へ進む。
【００７７】
ステップＳ１２０において、表示制御部２３８は、レジ端末２の表示部Ｄに消費期限切れの商品を含んで可能性がある旨の表示をさせる。
ステップＳ１２１において、売買制限を解除する指示を受け付けていないと判定された場合は、ＮＯと判定され、ステップＳ１２１の処理が繰り返される。すなわち、消費期限切れの商品の制限を解除する指示が受け付けられるまでの間、ステップＳ１２１の判定処理が繰り返される。
【００７８】
ステップＳ１２１において、売買制限を解除する指示を受け付けたと判定されると、ＹＥＳと判定され、ステップＳ１２２へ進む。
ステップ１２２において、売買制限商品判定部２３６は、売買制限を解除する。
売買制限商品判定部２３６が消費期限切れの商品を含んでいないと判定した場合は、ステップＳ１１９においてＮＯと判定され、処理は終了する。
【００７９】
これにより、売買制限処理は、終了する。そして、処理は、ステップ１３０のレジ端末での精算に進む。
このようにして、本情報処理システムは、レジ端末に置かれた商品を認識し、自動精算することができる。
【００８０】
実施形態１は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、図３に示されたレジ端末２の外観構成は、例示であり、この外観に限定されない。レジ端末２は、少なくとも所定エリアＡ、レジカメラ２１１のような撮像部、出力部２０６が含まれていればよく、他の構成要素を追加してもよい。
また、実施形態１の商品認識システムは、１以上の物品を上流側から下流側へ搬送する搬送機構（例えばベルトコンベア）を設けてもよい。上流側には、撮像部を有する所定エリアが配置される。下流側には、精算エリアが配置される。
所定エリアでは、撮像部によって撮像された物体の数量が計数される。この商品認識システムは、計数された物体の数量と精算エリアで精算された商品の数量が異なる場合に、エラーとして検知する。
【００８１】
〔実施形態２〕
実施形態２の情報処理システムは、図１２に示すような書店等の店舗２０において、図３及び図１３に示すようなレジ端末２を含む商品認識システムである。実施形態２の情報処理システムは、商品である書籍がレジ台に置かれることで、自動精算することができるようにしてある。
図１２は、実施形態２の情報処理システムを採用する書店のレイアウト例を示す図である。
【００８２】
書店のような店舗２０は、ゲート２１を有する出入口２２を設置している。出入口２２は、店舗２０の規模によって、図示したような２か所に限らず、１か所でも３か所以上であってもよい。ゲート２１は、図示したような開閉部材を備えるタイプだけでなく、図示しないがスピーカやランプのように音や光で異常事態の発生を知らせる機能を備えるタイプ等、不正行為があった場合に対処できるようにされている。
そして、店舗２０は、書籍を陳列する複数の棚ラック２３を設置している。棚ラック２３は、鉛直方向に複数の棚を、間隔をあけて並べ、書籍を陳列する。水平方向に向き合った棚ラック２３と棚ラック２３との間が通路２４とされる。
【００８３】
通路２４の天井には、複数（図面では１台のみ描かれている）の天井カメラ３１０が設置されている。天井カメラ３１０は、店内の状態を死角なく、入店した買い物客を常時撮像する。
また、各棚ラック２３には、各棚ラック２３内を常時撮像する複数（図面では１台のみ描かれている）の棚カメラ３１１が設置されてもよい。棚カメラ３１１は、棚内の状態を死角なく撮像し、棚ラック４３の前に立つ買い物客も撮像できるように複数台配置されている。
【００８４】
また、店舗２０内の出入口２２付近には、レジカウンター２５が設置されている。レジカウンター２５上には、自動精算するための無人のレジ端末２が複数設置されている。このレジ端末２の隣には、有人のレジスター２６が設置されている。なお、出入口２２付近や通路２４には、書籍を入れるための買い物カゴ（図示せず）が置かれることもある。
通路２４やレジカウンター２５内等において、店員Ｍｔが作業している。店員Ｍｔは、情報端末９を所持している。なお、情報端末９は、店舗２０のバックヤードや店舗２０外の統括本部等にも設置される。
【００８５】
本情報処理システムは、買い物客が棚ラック２３の棚内から１冊以上の書籍を取り出したり戻したりした行為を天井カメラ３１０が撮像し、買い物客に取られた書籍の冊数を把握したうえで、図１３に示すように無人のレジ端末２に置かれた書籍の価格等の情報を取得して自動精算する。
実施形態２では、買い物客を「移動物体Ｍｏ」として説明する。
図１３は、実施形態２で採用するレジ端末２の概観構成を示す概略斜視図であって、書籍（採番せず）を精算している状態を示している。
【００８６】
実施形態２の無人のレジ端末２は、図３に示した実施形態１のレジ端末２と外観構成を同様にしたものを採用する。
したがって、レジ端末２は、書籍が載置される所定エリアＡを囲む囲繞部２７０を備えている。囲繞部２７０は、天板部２７１と、底板部２７２と、一対の側板部２７３と、を備えている。この囲繞部２７０は、図３に示す実施形態１の囲繞部２７０と同様に構成されている。
【００８７】
したがって、天板部２７１と一対の側板部２７３には、所定エリアＡを撮像するレジカメラ２１１が固定されている。少なくとも１台のレジカメラ２１１は、図１３に示すように、所定エリアＡに置かれた書籍の少なくとも背表紙を撮像する。なお、図１３において、書籍は、片方の側板部２７３に寄せて、背表紙が他方の側板部２７３に向くように置かれているが、天板部２７１に設置されるレジカメラ２１１に背表紙が向けられてもよく、書籍の置き方は制限されない。
【００８８】
このようなレジ端末２は、情報処理システムの一実施形態としての商品認識システムに組み込まれる。
図１４は、本発明の情報処理システムの実施形態２としての商品認識システムの構成を示す構成図である。
商品認識システムは、サーバ１と、レジ端末２−１乃至２−ｎと、売場装置３と、を有している。売場装置３は、天井カメラ３１０によって撮像された書籍の撮像画像から書籍の冊数を認識する機能を備えている。
なお、サーバ１は、レジ端末２−１乃至２−ｎや売場装置３を管理するため、店舗２０のバックヤード又は店舗外に設置される。また、売場装置３は、図１２に示す店舗２０内での移動物体Ｍｏを発見し、追跡するため、店舗２０内に設置された天井カメラ３１０を制御する。
サーバ１と、レジ端末２−１乃至２−ｎと、売場装置３と夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に接続されている。
【００８９】
なお、説明の便宜上、図１４のサーバ１は、１台しか描画されていないが、実際には複数台の場合もある。
また、以下、レジ端末２−１乃至２−ｎを個々に区別する必要がない場合、これらをまとめて「レジ端末２」と呼ぶ。
【００９０】
サーバ１は、レジ端末２及び売場装置３の各動作を管理すべく、各処理を実行する。
サーバ１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。これらは、図５に示した実施形態１で説明したサーバ１と同様に構成されている。
【００９１】
このようなサーバ１にネットワークＮを介して売場装置３が接続されている。
図１５は、図１４の商品認識システムのうち売場装置３のハードウェア構成を示すブロック図である。
【００９２】
売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、棚カメラ３１１と、通信部３１５と、情報端末９と、を備えている。
【００９３】
売場装置のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、バス３０４、入出力インターフェース３０５、通信部３１５は、図５に示したサーバ１のこれらと同様に構成されている。
【００９４】
天井カメラ３１０は、ＵＳＢ（Ｕｎｉｖｅｒｓａl  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルによってネットワークと接続されている。
棚カメラ３１１は、魚眼カメラ等の広角を撮像できるカメラを採用してもよい。
また、棚カメラ３１１は、ＵＳＢケーブルによってネットワークと接続されている。
【００９５】
情報端末９は、遠隔操作部３９０や表示部３９１等を備えているスマートフォンやタブレット等の情報機器である。遠隔操作部３９０は、システム処理異常のようなエラー状態等を遠隔操作で解消する機能を備えている。表示部は、エラー状態や移動物体Ｍｏ等を表示する画面を備えている。また、情報端末９は、エラー状態を通知する音声発生部（図示せず）を備えている。
店舗内におけるエラー状態としては、例えば、天井カメラ３１０が棚内から取られた書籍の冊数を認識できなかった場合や精算されていない書籍が店舗外に持ち出されようとした場合などがある。また、レジ端末におけるエラー状態としては、レジ端末２において、書籍を特定できなかったり、冊数を認識できなかった場合、年齢制限商品が精算されようとした場合、レジ端末２内に書籍が置き忘れられている場合などである。
また、サーバ１は、このようなエラーを表示するエラー表示部１５１と、エラー状態を解除するエラー解除部１５２とを設けている。
【００９６】
このような売場装置３にネットワークＮを介してレジ端末２が接続されている。
レジ端末２は、図６に示す実施形態１のレジ端末と同様に構成されている。
したがって、実施形態２のレジ端末２は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、バス２０４と、入出力インターフェース２０５と、出力部２０６と、入力部２０７と、照明部２０８と、遮光部２０９と、提示部２１０と、レジカメラ２１１と、記憶部２１２と、通信部２１３と、ドライブ２１４と、を備えている。
【００９７】
レジカメラ２１１は、所定エリアＡに置かれた書籍を撮像し、その結果として得られる撮像画像を物体撮像画像としてＣＰＵ２０１内の画像取得部２３２に出力する。レジカメラ２１１が魚眼カメラのように広角で撮像できる場合や、書籍の背表紙のみ撮像することに特化した場合は、レジカメラ２１１は１台のみ備えてもよい。
【００９８】
図１６は、図５のサーバ１と図６のレジ端末２と図１５の売場装置３の機能的構成の一例を示す機能ブロック図である。
サーバ１のＣＰＵ１０１は、エラー判定部１５０を備えている。
サーバ１の記憶部１０８の一領域には、商品ＤＢ１３１と、位置情報管理ＤＢ１３２とが設けられている。
商品ＤＢ１３１は、書籍に関する書名、価格、著者名、出版社などの情報を記憶するＤＢ（Ｄａｔａ  Ｂａｓｅ）である。位置情報管理ＤＢ１３２は、移動物体Ｍｏの位置を管理する。
【００９９】
レジ端末２のＣＰＵ２０１においては、図１６に示すように、発光制御部２２８と、遮光制御部２２９と、提示制御部２３０と、画像取得部２３２と、物体認識部２３３と、商品特定部２３５と、売買制限商品判定部２３６と、精算部２３７と、表示制御部２３８と、が機能する。
【０１００】
発光制御部２２８は、書籍を撮像するタイミングで照明部２０８を発光させる状態と、書籍を撮像しないタイミングで発光させない状態とに切り替える制御や、所定エリアＡに置かれる書籍を認識する状況などに応じて発光色を切り替える制御を実行する。
遮光制御部２２９は、囲繞部２７０に備えられた遮光部２０９が所定エリアＡに置かれた書籍を撮影するタイミングでの不透明状態と，撮像しないタイミングでの透明状態とに切り替える制御を実行する。
提示制御部２３０は、提示部２１０がレジ端末２の状態を提示する発光色を変化させるように制御を実行する。
【０１０１】
画像取得部２３２は、物体が所定エリアＡに置かれてレジカメラ２１１によって撮像された物体画像のデータを取得する。
物体認識部２３３は、上述した所定の画像認識手法を用いて、所定エリアＡに置かれた物体の存在を認識する。
【０１０２】
商品特定部２３５は、物体認識部２３３によって存在が認識された物体について、特定物体認識、一般物体認識、文字認識やディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、商品特定部２３５は、検証機能を発揮させ、商品を高い精度で特定する。
検証機能は前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする。商品候補リストＳ，Ｐの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、ＤＢ情報保持部２４１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、物体認識部２３３によって存在が認識された物体が、ＤＢ情報保持部２４１に登録されている商品であるため、商品特定部２３５は、そのＤＢ情報保持部２４１に登録された商品であると特定する。
【０１０３】
売買制限商品判定部２３６は、判定情報に基づいて、商品特定部２３５によって特定された商品が売買制限商品か否かを判定し、提示する。売買制限商品とは、例えば、ある年齢以下の買い物客には、販売が規制されている書籍である。店員が書籍を販売する場合は、買い物客を見た店員が買い物客の年齢を確認し、販売してよいかどうかを判断できる。
しかし、対面販売ではない、自動精算を採用する本システムでは、店員が買い物客の年齢を確認できる仕組みが必要となる。売買制限商品を特定したレジ端末２は、売買制限商品である旨を提示し、精算処理を中断する。エラー表示部１５１により、エラー状態を受け取った店員が買い物客の年齢を確認し、レジ端末２を操作し、制限状態を解除する。それにより、精算処理が再開される。また、レジ端末２は、買い物客の顔や手などを写すレジカメラ２１１を備え、買い物客の年齢を推定することで、所定の年齢に達していないと判断される買い物客には売買制限商品を販売しないようにしてもよい。
【０１０４】
そのため、売買制限商品判定部２３６は、サーバ１のＤＢ管理部１４１の情報から年齢制限書籍等の売買制限商品を特定する。
売買制限商品判定部２３６は、個人認証に得られる買い物客の情報と紐づけ、売買制限してもよい。当該書籍が売買制限商品であると判定されると、表示部Ｄが売買制限商品である旨を提示する。
【０１０５】
精算部２３７は、商品特定部２３５で特定された書籍であって、売買制限商品判定部２３６で販売可能とされた書籍について合計金額を算出する。例えば、精算部２３７は、所定エリアＡに置かれた書籍の価格をＤＢ情報保持部２４１から読み出して加算し、表示部Ｄ（図６）に表示させ、精算する。
【０１０６】
表示制御部２３８は、レジ端末２のレジカメラ２１１で撮像され、精算部２３７で精算される書籍の題名や価格などを購入者及び店員に向けて表示させる制御を実行する。
【０１０７】
売場装置３のＣＰＵ３０１においては、図１６に示すように、個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、冊数カウント部３５０と、カゴ商品認識部３７０と、売買制限商品判定部３８０と、が機能する。
【０１０８】
個人認証部３２０は、個人情報取得部３２１を備えている。
個人認証部３２０は、個人情報取得部３２１によって取得された買い物客の個人情報から、サーバ１のＤＢ管理部１４１において登録されている買い物客が誰であるかを個人認証する。なお、個人認証部３２０と個人情報取得部３２１は、実施形態１と同様にレジ端末２に備えてもよい。
【０１０９】
ここでの個人情報は、例えば、氏名や性別、生年月日、住所、電話番号といった個人を特定できる情報だけでなく、指紋や静脈、虹彩等の生体情報、クレジットカード番号や銀行口座番号といった金融に関する情報等のプライバシーに関する情報も含まれる。
個人情報取得部３２１は、例えば出入口２２に設置されたゲート２１に備えられる。この個人情報取得部３２１は、買い物客のＩＣカードやスマートフォン、タブレット等の携帯情報端末をタッチする読取装置や、指紋や静脈、虹彩等の生体情報を読み取る読取装置等が採用される。
【０１１０】
入店時に個人認証できなかった場合は、買い物中において天井カメラ３１０が撮像した買い物客の画像から個人認証してもよい。
取得された個人情報は、売買制限（解除含む）や購買分析に活用される。
【０１１１】
図１７は、図１６の売場装置３に備えられた移動物体追跡部３３０の詳細な機能的構成例を示している機能ブロック図である。
移動物体追跡部３３０は、図１７に示すように、天井カメラ３１０によって撮像された画像から移動物体Ｍｏを発見し、移動する移動物体Ｍｏを追跡するため、天井カメラによる移動物体発見部３３０２と、天井カメラによる移動物体領域定義部３３０４と、天井カメラによる移動物体領域追跡部３３０５とを備える。
【０１１２】
また、天井カメラによる移動物体追跡部３３０は、ＵＳＢケーブルやネットワークＮ等を通じて天井カメラ３１０と接続されている。したがって、天井カメラ３１０は、他の天井カメラ３１０やパーソナルコンピュータ等と連携される。
【０１１３】
天井カメラによる移動物体発見部３３０２は、移動物体Ｍｏの状態を、天井カメラ３１０によって撮像された撮像画像に基づいて状態空間モデル（ベイジアンフィルタ等）を用いて推定し、移動物体Ｍｏを発見し、一意に識別可能なＩＤを採番する。
【０１１４】
ところで、天井カメラ３１０からの映像では、天井カメラ３１０に正対していない移動物体Ｍｏの周辺領域が角度をもって（斜め方向から）撮像されるため、移動物体Ｍｏの位置情報を正確に取得できないおそれがある。したがって、撮像画像に対してキャリブレーションによる補正をかけることで、正対しているように撮像することも考えられる。しかし、このような補正をかけても、精度高く位置情報を取得できない場合がある。
そこで、天井カメラ３１０は、距離センサー等を用いて移動物体Ｍｏの高さ情報を取得することで、精度の高い位置情報を取得してもよい。
【０１１５】
天井カメラによる移動物体領域定義部３３０４は、移動した後の移動物体Ｍｏの領域の位置情報を更新する。移動物体Ｍｏは、移動し続けるため、一つの天井カメラ３１０によって撮像されている範囲内で移動領域が変更し、他の天井カメラ３１０によって撮像される範囲内でも移動する。移動物体Ｍｏが移動するたびに移動物体領域が定義され、位置情報を管理する位置情報管理ＤＢ１３２やメモリ等の各移動物体領域の位置情報が更新される。
【０１１６】
移動物体領域追跡部３３０５は、移動物体領域の位置を推定し、移動物体Ｍｏの移動物体領域を追跡し続ける。
【０１１７】
図１８は、図１６売場装置３に備えられた位置情報管理部３４０の詳細な機能的構成例を示している機能ブロック図である。
位置情報管理部３４０は、カメラ間情報受け渡し部３４１と、各カメラの位置定義部３４２と、移動物体表示部３４３と、を備える。
カメラ間情報受け渡し部３４１は、各天井カメラ３１０に撮像された画像情報を他の天井カメラ３１０に撮像された画像情報と共有するようにすることにより、移動物体Ｍｏがある天井カメラ３１０の撮像画像から別の天井カメラ３１０に撮像されるようになっても、移動物体領域を追跡し続けることができる。
【０１１８】
カメラ間情報受け渡し部３４１は、例えば、天井カメラ３１０に撮像されて得られた情報を統括するサーバ１を通じて、商品ＤＢ１３１を含め、記憶部１０８上において天井カメラ３１０間で情報をやり取りする。
他の例として、天井カメラ３１０の台数が多いことに鑑み、カメラ間情報受け渡し部３４１は、サーバ１を通じることなく各天井カメラ３１０で撮像された画像を各天井カメラ３１０間で例えばＰ２Ｐによって受け渡すようにしてもよい。
【０１１９】
各カメラの位置定義部３４２は、各天井カメラ３１０が店内のどこを映しているかの位置情報を定義する。即ち、各カメラの位置定義部３４２は、カメラ間情報受け渡し部３４１によって別々の天井カメラ３１０に撮像された移動物体が店舗内のどこに位置しているかを把握する。
この各カメラの位置定義部３４２は、各天井カメラ３１０の撮像画像を合成し、１枚の店舗マップを作成する。また、この各カメラの位置定義部３４２は、各天井カメラ３１０、棚カメラ３１１の座標を店舗マップ上の座標に置き換える。また、各カメラの位置定義部３４２は、各天井カメラ３１０によって撮像された撮像画像について、透視変換により、計算上、店舗内床面に正対した撮像画像となるように補正する。
【０１２０】
なお、天井カメラ３１０が距離センサーを搭載することにより、高さ情報を取得するようにすることで、位置情報管理部３４０は、歪んだ撮像画像を的確に補正し、移動物体Ｍｏを的確に認識することができる。
移動物体表示部３４３は、各カメラの位置定義部３４２によって写されている位置情報を、店舗３０内の移動物体Ｍｏを表示する。移動物体表示部３４３は、店員Ｍｔが保持する情報端末９、あるいは店舗のバックヤードの画面等として採用されてもよい。
【０１２１】
図１９は、図１６の売場装置３に備えられた冊数カウント部３５０の詳細な機能的構成例を示している機能ブロック図である。
冊数カウント部３５０は、冊数認識部３５１と、人と冊数紐づけ部３５２と、冊数不特定判定部３５３と、人と紐づく冊数管理部３５４と、天井カメラによる移動物体領域間受け渡し認識部３５５と、天井カメラによる受け渡された冊数認識部３５６を備える。
【０１２２】
冊数認識部３５１は、移動物体Ｍｏが棚から取った書籍と棚に戻した書籍の冊数を天井カメラ３１０に撮像された撮像画像から認識する。冊数認識部３５１は、撮像画像内に「物体進入検知ライン」等が設けられることにより、棚内への移動物体領域の入出を検知し、この検知した際の撮像画像から、移動物体Ｍｏが棚内から取った物体と、棚に戻した物体の領域を定義する。その物体領域の数を書籍の冊数として認識する。なお、天井カメラ３１０にズーム機能が備わっている場合に、天井カメラ３１０と移動物体Ｍｏとの距離を考慮して、天井カメラがズームをした後、冊数認識部３５１が、冊数認識を行ってもよい。
【０１２３】
さらに冊数認識部３５１は、棚カメラ３１１によって、移動物体Ｍｏが棚から取った書籍と棚に戻した書籍の冊数を認識してもよく、天井カメラ３１０と棚カメラ３１１の組み合わせから、買い物客が棚から取った書籍と棚に戻した書籍の冊数を認識してもよい。その際の棚カメラ３１１は、広範囲にわたって撮像できるカメラであってもよい。
【０１２４】
人と冊数紐づけ部３５２は、冊数認識部３５１によって認識された書籍の冊数と、その書籍を取った当該人とを紐づける。
冊数不特定判定部３５３は、冊数が認識できなかった場合、冊数が認識できなかったことを移動物体Ｍｏに紐づける。
【０１２５】
人と紐づく冊数管理部３５４は、位置情報管理ＤＢ１３２等を活用し、移動物体ＭｏのＩＤに紐づく冊数カウントリストを常に管理し続ける。書籍が棚から取られた際は、取得された書籍数分が加算される。反対に、書籍が棚に戻された際は、戻された書籍数分が減算される。
【０１２６】
天井カメラによる移動物体領域間受け渡し認識部３５５は、移動物体領域間で書籍が受け渡された場合、各移動物体Ｍｏに紐づく冊数情報を受け渡された移動物体Ｍｏに受け渡す。
なお、この天井カメラによる移動物体領域間受け渡し認識部３５５は、ディープラーニング等の物体認識手法を用いて、人の動きを分析し、受け渡し認識してもよく、受け渡しの際に移動物体領域の中の手を認識しても良く、移動物体領域（手を含んでも良い）間の重なりを認識してもよい。天井カメラによる移動物体領域間受け渡し認識部３５５は、天井カメラ３１０に替えて棚カメラ３１１を使用してもよい。その際の棚カメラ３１１は、広範囲にわたって撮像できるカメラでもよい。
【０１２７】
天井カメラによる受け渡された冊数認識部３５６は、移動物領域体間で書籍が受け渡された場合、その書籍の数を認識する。例えば、天井カメラによる受け渡された冊数認識部３５６は、受け渡しが認識された時点での撮像画像から書籍の数を認識する。
天井カメラによる受け渡された冊数認識部３５６は、ズーム機能を有する天井カメラを備えることにより、受け渡しが行われたと推定される箇所をズームアップし、書籍の数を認識してもよい。
天井カメラによる受け渡された冊数認識部３５６は、天井カメラ３１０に替えて広範囲を撮像できる棚カメラ３１１を使用することで、書籍の数を認識してもよい。
また、天井カメラによる受け渡された冊数認識部３５６は、天井カメラによる移動物体領域間受け渡し認識部３５５によって特定されたそれぞれの移動物体Ｍｏと、ここで認識された書籍の数とを紐づけ、冊数リストを更新する。
【０１２８】
次に、実施形態２の商品認識システムにおける書籍の精算方法について、図２０を中心に図１２も合わせて参照して説明する。
図２０は、実施形態２において書籍の精算処理を説明するフローチャートである。
【０１２９】
ステップＳ２０１において、買い物客（移動物体Ｍｏ）が店舗（図１２）の出入口２２から店内に入店すると、出入口２２付近に設置された天井カメラ３１０がその買い物客の撮像を開始する。
買い物客が通路２４を進むと、奥側の天井カメラ３１０がその買い物客を撮像する。このようにして、複数の天井カメラ３１０が買い物客を常時撮像する。出入口２２付近にゲート２１を設けてもよい。
出入口２２にゲート２１が備えられている場合、ゲート２１は、常時、閉じられているが、買い物客が入店するタイミングで開けられ、入店後に閉じられる。なお、ステップＳ２０１の前に、個人認証部３２０が買い物客の個人認証し、買い物客の個人情報を取得してもよい。
【０１３０】
ステップＳ２０２において、天井カメラによる移動物体発見部３３０２が、ステップＳ２０１で撮像されている買い物客の領域（移動物体領域）のみを抽出することで移動物体Ｍｏとして定義のうえ、移動物体ＭｏにＩＤを発番し、当該ＩＤとＩＤに紐づく店内における位置情報を位置情報管理ＤＢ１３２や売場装置３のＲＡＭ３０３に登録する。
【０１３１】
ステップＳ２０３において、天井カメラによる移動物体領域定義部３３０４が、天井カメラ３１０によって撮像されている範囲内で移動したときに、移動後の移動物体Ｍｏの領域の位置を改めて定義する。位置情報は人の位置を管理する位置情報管理ＤＢ１３２やメモリ等で管理され、領域定義毎に更新される。この定義された位置は、別の天井カメラ３１０において撮像されている位置でも認識される。
【０１３２】
ステップＳ２０４において、買い物客が購入したい書籍を目指して通路２４を移動することを踏まえ、天井カメラによる移動物体領域追跡部３３０５が移動物体領域の位置を推定し、移動物体Ｍｏを追跡し続ける。ステップＳ２０１において移動物体Ｍｏが常時撮像され、ステップＳ２０２において、移動物体ＭｏにＩＤが発番され、ステップＳ２０３において、移動後の移動物体Ｍｏの領域の位置情報を更新し、さらにカメラ間情報受け渡し部３４１によって位置情報がやり取りされているため、移動物体Ｍｏが通路２４を移動し、異なる天井カメラ３１０で撮像されても、天井カメラによる移動物体領域追跡部３３０５は、移動物体Ｍｏを追跡し続けることができる。
【０１３３】
ステップＳ２０５において、冊数認識部３５１が、ＩＤを発番された移動物体Ｍｏによって棚から取られた書籍と棚に戻された書籍の冊数を認識する。
なお、ステップＳ２０５において、取られた書籍の冊数をカウントできなかった場合は、図示していない冊数不特定判定部がエラーを出力する。
【０１３４】
ステップＳ２０６において、人と冊数紐づけ部３６２が、ステップＳ２０５で認識（カウント）された書籍の冊数と移動物体Ｍｏとを紐づける。したがって、冊数認識部３５１は、一意に特定された買い物客が何冊の書籍を取ったかを認識する。
【０１３５】
ステップＳ２０７において、人と紐づく冊数管理部３６３が、サーバ１のＤＢ管理部１４１を活用して人と紐づく書籍の冊数を管理し続ける。したがって、買い物客が棚内から取った書籍が棚内に戻されたときであっても、人と紐づく冊数管理部３６３は、買い物客が所持している書籍の冊数を認識する。
【０１３６】
買い物客は、書籍を取り終えると、レジ端末２まで行き、その書籍をレジ端末２の所定エリアＡに置く。その書籍は、図１３に示すように、背表紙がレジ端末２の少なくとも１台以上のカメラ２１１に写されるように置かれる。そして、買い物客がレジ端末２に備えられた入力部２０７であるボタンを押下等する。レジ端末２は、このボタンの押下等をトリガーとし、商品特定を行う。商品特定は文字認識、画像認識手法を駆使し、書籍の表紙や背表紙等から書名を特定することにより行われる。
【０１３７】
ステップＳ２１０において、レジ端末２の商品特定部２３５が、ステップＳ２０７で認識された移動物体Ｍｏに紐づく冊数情報と、レジ端末２の所定エリアＡに置かれた書籍の冊数情報とが一致するかどうかを検証する。この検証の具体的な流れについては、図２１を参照して後述する。
移動物体Ｍｏに紐づく冊数情報と、レジ端末２の所定エリアＡに置かれた書籍の冊数情報とが一致しない場合は、エラー表示部１５１にエラーが表示され、精算することができない。また、その状態で退店を試みると、出入口２２付近に設置されたエラー表示部１５１が音、光等により警告が発せられる。ゲート２１が設置されている場合は、閉じられた状態を維持する。
ステップＳ２１０において、レジ端末２に置かれた書籍が制限有無に該当するかどうかを売買制限商品判定部２３６が判定してもよい。ステップＳ２０７まで（ステップＳ２０１以前を含む）の任意のタイミングで個人情報が事前に取得されることで、売買制限商品判定部２３６は、制限のある書籍を購入できない買い物客が購入しようとしているときに、エラー表示部１５１がエラー表示する。
【０１３８】
ステップＳ２１１において、レジ端末２の精算部２３７が所定エリアＡに置かれた書籍の合計金額を精算する。即ち、実施形態１において説明したように商品特定部２３５によって書籍の価格などの情報が得られ、合計金額が算出される。買い物客は、クレジットカードや電子マネーなどで支払うことで、精算が完了する。
なお、精算が完了すると、ＤＢ管理部１４１は、人に紐づく冊数カウントリストを「精算済」の状態に更新する。
【０１３９】
また、出入口２２付近において、買い物客が精算されていない書籍を持ち出そうとしているとき、すなわち移動物体Ｍｏに紐づく冊数カウントリストが「精算済」になっていない状態のときは、持ち出し検知部がそれを検知し、出入口２２付近のエラー表示部１５１やレジ端末２の提示部２１０が音や光等で提示する。また、ゲート２１が設置されている場合、ゲート２１は閉じた状態を維持し、買い物客は退店することができない。ゲート２１が閉じた状態を維持する他、エラー表示部１５１等が音や光等により警告を発してもよい。これにより、万引きを防止することができる。
エラー表示部１５１やレジ端末２の提示部２１０は、エラー状態に応じて異なる色で発光するようにもされてもよい。
【０１４０】
図２１は、図２０のステップＳ２１０において書籍の冊数情報と精算される冊数との検証について説明するフローチャートである。
ステップＳ２２１において、レジ端末２の入力部２０７の読取開始ボタンが押下されると、レジ端末２の画像取得部２３２がレジ端末２の所定エリアＡに置かれた物体撮像画像を取得した後、存在が認識された物体について、商品特定部２３５がいずれの商品かを特定し、商品の冊数をも認識する。
ステップＳ２２２において、売場装置３の冊数カウント部３５０の人と冊数紐づけ部３６２が、レジ端末２に置かれた書籍の冊数の情報を移動物体ＭｏのＩＤから照会する。
【０１４１】
ステップＳ２２３において、商品特定部２３５が、レジ端末２に置かれた書籍の冊数と、人と紐づく冊数管理部でカウントされた書籍の冊数とが一致するか判定する。一致する場合（ＹＥＳ）は、精算可能となる。
レジ端末２に置かれた書籍の冊数と、人と紐づく冊数管理部でカウントされた書籍の冊数とが一致しない場合（ＮＯ）は、レジ端末２のエラー表示部１５１がエラーを表示し、警告を発する。なお、この状態のまま退店を試みると、出入口２２付近のエラー表示部１５１が音や光等により警告を発する。ゲート２１が設置されている場合は、ゲート２１は閉じた状態を維持し、買い物客は退店できない。これにより、万引きを防止することができる。
【０１４２】
〔実施形態３〕
図２２は、実施形態３の商品認識システムを採用するスーパーマーケットのレイアウト例を示す図である。
実施形態３の商品認識システムは、図２２に示すようなスーパーマーケット等の店舗３０に対して適用するシステムである。
【０１４３】
店舗３０では、入口３１から出口３２まで売場が設けられている。売場には、商品を陳列する複数の棚ラック３３が設置されている。向き合った２つの棚ラック３３の間は、通路３４とされている。
【０１４４】
入口３１には、買い物カゴやショッピングカート等のカゴ類（採番せず）が置かれている。出口３２の手前は、精算エリア３５とされている。精算エリア３５内には、複数のレジ台３６が設置されている。レジ台３６は、ｎ台の精算機４を備えている。実施形態３では、実施形態１，２で採用したようなレジ端末２を備えない。また、実施形態３では買い物客を移動物体Ｍｏとして扱う実施形態２と異なり、システム上把握（発見・追跡等）されるカゴ類を移動物体Ｍｏとして扱う。
【０１４５】
買い物客は、入口３１から入店し、カゴ類を取って通路３４を進む。買い物客は、棚内の商品を取って、カゴ類の中に入れて通路３４を進む。買い物客は、購入したい商品をすべて取ると、精算エリア３５へ進み、精算機４で精算する。
通路３４や精算エリア３５等において、店員Ｍｔが見回り等をしている。店員Ｍｔは、情報端末９ａを所持している。情報端末９ａは、スマートフォン等の携帯型情報処理端末であり、店内の状態を表示する画面等を備えている。
図２２において、雲形で描かれた線図の内側には、店舗３０内でなく、店舗３０外や店舗３０のバックヤードの様子が描画されている。店舗３０外には、サーバ１（図５）が設置されている。店舗３０外に存在する管理センターや店舗３０バックヤードなどでは、店員Ｍｔが大型モニターの画面（図示せず）や情報端末９ｂの画面を通じて店舗３０内を監視している。また、以下、情報端末９ａと情報端末９ｂとを区別する必要がない場合、これらをまとめて、「情報端末９」と呼ぶ。
【０１４６】
通路３４や棚ラック３３、その他店舗３０内の任意の位置の上方の天井には、複数の天井カメラ３１０が離間して夫々設置されている。天井カメラ３１０は、通路３４や棚ラック３３、その他その下方の所定領域を撮像する。即ち、天井カメラ３１０は、移動物体Ｍｏが進入した場合には、移動動体Ｍｏを被写体として含む当該所定領域を撮像する。
【０１４７】
また、各棚ラック３３内の各棚の複数個所の夫々には、センシングデバイスの一例として棚カメラ３１１が設置されている。棚カメラ３１１は、棚内や棚内の商品、その他所定領域を撮像する。また、棚カメラ３１１は、棚内の所定領域内に買い物客の手等が進入した場合や、棚内から物体が取られた場合に、その手や棚内の物体等を物体撮像画像として撮像する。
カゴ類の夫々には、センシングデバイスの一例としてカゴカメラ３１２（図２２において図示せず）が取り付けられていてもよい。
その場合、売場装置３のカゴカメラ３１２は、カゴ類に１台以上設置され、カゴ類に入れられた物体を常時撮像する。カゴカメラ３１２は、カゴ類の内側を死角なく撮像できるように設置されている。カゴカメラ３１２は、カゴ類に入れられた物体の少なくとも正面等の特徴がある部位を撮像する。
【０１４８】
また、カゴカメラ３１２は、ネットワークＮを通じて天井カメラ３１０や棚カメラ３１１と連携される。この連携により、売場装置３は、カゴカメラ３１２によって撮像された撮像画像と、天井カメラ３１０や棚カメラ３１１によって撮像された物体の撮像画像の両撮像画像とを共有することができる。この共有により、この撮像画像に撮像された物体から商品を特定する精度を高めることができる。
【０１４９】
実施形態３の商品認識システムは、天井カメラ３１０によって撮像される移動物体Ｍｏが移動しても、その移動物体Ｍｏを追跡し続ける機能を備えている。実施形態３の情報処理システムは、棚ラック３３から取られた物体がいずれの商品であるかを、棚カメラ３１１によって撮像された撮像画像から特定する機能を備えている。
実施形態３の商品認識システムは、カゴ類に入れられた物体がいずれの商品であるかを、カゴカメラ３１２によって撮像された撮像画像から特定する機能を備えていてもよい。
実施形態３の商品認識システムは、棚内の物体がいずれの商品であるかが特定され、さらに、その商品が精算機４において自動精算する機能を備えている。この自動精算に際して、精算機４において移動物体Ｍｏと紐づけられていた商品の情報とが読み出され、自動精算が可能となる。
精算機４は、購入商品の合計金額、点数、明細の表示、売買制限商品判定の表示、決済機能等、買い物を完結するために必要な機能を含んでいる。
【０１５０】
天井カメラ３１０、棚カメラ３１１及びカゴカメラ３１２は、図２３及び図２４に示すような売場装置３に組み込まれる。売場装置３は、天井カメラ３１０や棚カメラ３１１等によって撮像された撮像画像から商品を特定するための機能や移動物体Ｍｏを発見・追跡するための機能を備える。この売場装置３は、図２３に示すような商品認識システムに組み込まれる。
【０１５１】
図２３は、実施形態３の商品認識システムの構成を示す構成図である。
実施形態３の商品認識システムは、サーバ１と、売場装置３と、精算機４と、を有している。実施形態３では、物体がいずれの商品であるかを売場装置３が特定するために、実施形態１，２で説明したレジ端末２に替えて精算機４を備えている。
図２３において、サーバ１及び売場装置３は、１台しか描画されていないが、実際には複数台の場合もある。また、以下、精算機４を個々に区別する必要がない場合、これらをまとめて、「精算機４」と呼ぶ。
サーバ１と売場装置３とは、インターネット等のネットワークＮを介して相互に接続されている。
サーバ１は、実施形態１のサーバ１（図５）と同様に構成される。
【０１５２】
図２４は、図２３の商品認識システムのうち売場装置３のハードウェア構成を示すブロック図である。
売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、棚カメラ３１１と、カゴカメラ３１２と、通信部３１５と、情報端末９と、を備える。
【０１５３】
売場装置３のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、バス３０４、入出力インターフェース３０５、通信部３１５は、図５に示したサーバ１のこれらと同様に構成される。
売場装置３の天井カメラ３１０、棚カメラ３１１、通信部３１５、情報端末９は、実施形態２において説明した売場装置３（図１５）のこれらと同様に構成される。
【０１５４】
図２５は、図５のサーバ１と図２４の売場装置３と精算機４の機能的構成の一例を示す機能ブロック図である。
【０１５５】
サーバ１は、ＣＰＵ１０１と、記憶部１０８と、通信部１０９と、エラー表示部１５１と、エラー解除部１５２と、を備えている。
これらは、図１６に示した実施形態２と同様に構成されている。
【０１５６】
売場装置３のＣＰＵ３０１においては、図２５に示すように、個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、棚商品認識部３６０と、カゴ商品認識部３７０と、売買制限商品判定部３８０と、が機能する。
【０１５７】
個人認証部３２０は、個人情報取得部３２１を備えている。
個人認証部３２０及び個人情報取得部３２１は、図１６に示した実施形態２と同様に構成されている。
【０１５８】
図２６は、図２５の売場装置３に備えられた移動物体追跡部３３０の詳細な機能的構成例を示す機能ブロック図である。
移動物体追跡部３３０は、図２６に示すように、天井カメラによる移動物体発見部３３０２と、天井カメラによるカゴ発見部３３０３と、天井カメラによるカゴ領域定義部３３０６と、天井カメラによるカゴ領域追跡部３３０７と、グルーピング部３３０８天井カメラによるカゴ領域間受け渡し認識部３３１０と、天井カメラによる受け渡された物体認識部３３１２と、天井カメラによる受け渡された商品特定部３３１３と、を備えている。
ただし、実施形態３の移動物体追跡部３３０は、買い物客を移動物体として扱う実施形態２と異なり、システム上把握（発見・追跡等）されるカゴ類を移動物体Ｍｏとして扱う。
【０１５９】
移動物体追跡部３３０は、天井カメラ３１０とＵＳＢケーブルやネットワークＮ等を通じて接続されている。したがって、天井カメラ３１０は、他の天井カメラ３１０やパーソナルコンピュータ等と連携される。
【０１６０】
天井カメラによる移動物体発見部３３０２は、天井カメラ３１０によって撮像された撮像画像に基づいて状態空間モデル（ベイジアンフィルタ等）を用いて店内を移動する物体（買い物客、カゴ、カートなど）を発見する。
【０１６１】
天井カメラによるカゴ発見部３３０３は、移動物体発見部３３０２にて発見された店舗３０内を移動する物体からカゴ類（移動物体Ｍｏ）を発見し、その移動物体Ｍｏに個別のＩＤを採番する。この移動物体ＭｏのＩＤは、退店又は精算完了等の所定のタイミングまで使い続けられる。
この店舗３０内を移動する物体から移動物体Ｍｏを発見する手法としては、例えば、個体識別可能な情報を保持したマーカーを各カゴ類に１か所以上付けておき、天井カメラによるカゴ発見部３３０３は、このマーカーを目印として移動物体Ｍｏを発見する。マーカーは、例えば２次元コードや特徴的な形状のような、移動物体Ｍｏを特定できればよく、限定されない。
店舗３０内を移動する物体から移動物体Ｍｏを発見する他の手法として、天井カメラによるカゴ発見部３３０３は、カゴ類の色情報や形状情報などのカゴ特有の情報を利用してもよい。その際、天井カメラによるカゴ発見部３３０３は、カゴ類の色や形状が床面などから区別できることから、移動物体Ｍｏを発見することができる。
【０１６２】
店舗３０内を移動する物体から移動物体Ｍｏを発見する手法として、カゴ類を低温にして、サーモグラフィ等を使用してもよい。その際、天井カメラによるカゴ発見部３３０３は、カゴ類以外の領域との温度差から、低温にされた移動物体Ｍｏを発見する。
店舗３０内を移動する物体から移動物体Ｍｏを発見する手法として、カゴ類から無害なガスを発生させ、サーモグラフィ等を使用してもよい。その際、天井カメラによるカゴ発見部３３０３は、カゴ類から発生した無害なガスの発生に伴う温度変化をサーモグラフィ等で検知し、移動物体Ｍｏを発見する。
【０１６３】
店舗３０内を移動する物体から移動物体Ｍｏを発見する手法として、カゴ類から可聴音かどうかにかかわらず音を発生させてもよい。その際、天井カメラによるカゴ発見部３３０３は、そのカゴ類から発生する音を検知することで、移動物体Ｍｏを発見する。
店舗３０内を移動する物体から移動物体Ｍｏを発見する手法として、不可視の塗料をカゴ類に塗布し、不可視の塗料を認識できるセンサーを使用してもよい。その際、天井カメラによるカゴ発見部３３０３は、カゴ類に塗布された不可視の塗料をセンサーが認識することによって移動物体Ｍｏを発見する。
店舗３０内を移動する物体から移動物体Ｍｏを発見する手法として、天井カメラ３１０からカゴ類に可視光や赤外線などを照射してもよい。その際、天井カメラによるカゴ発見部３３０３は、カゴ類に照射された可視光や赤外線の反射光を受信することで移動物体Ｍｏを発見する。
【０１６４】
天井カメラによるカゴ領域定義部３３０６は、天井カメラによるカゴ発見部３３０３によって発見された移動物体Ｍｏの周辺のうち撮像画像内の一定の範囲を移動物体Ｍｏの領域として定義する。移動物体Ｍｏの領域を定義するには、例えば、上述のようにカゴ類にマーカーを付けた場合において、このマーカーを付けた添付位置から一定の範囲を移動物体Ｍｏの領域として定義する。
カゴ類に複数のマーカーが付けられている場合において、天井カメラによるカゴ領域定義部３３０６は、天井カメラ３１０がすべてのマーカーを撮像できなくても、各マーカーが移動物体Ｍｏの領域における自らの位置情報を保持していることから、１つ以上のマーカーから移動物体Ｍｏの領域を定義してもよい。
【０１６５】
天井カメラによるカゴ領域定義部３３０６は、上述のカゴ領域を定義する手法を補完する手法を併用してもよい。補完手法としては、上述のようにカゴ類を低温にする場合において、サーモグラフィ及び画像認識から低温の領域を移動物体Ｍｏの領域と定義する。
別の補完的手法としては、上述のようにカゴ類から無害のガスを発生させる場合において、ガスの発生に伴う温度変化をサーモグラフィ等で検知し、画像認識技術をも駆使することで、温度変化のあった領域を移動物体Ｍｏの領域と定義する。
【０１６６】
さらに別の補完的手法としては、天井カメラによるカゴ領域定義部３３０６は、上述のようにカゴ類の縁に不可視の塗料を塗布した場合において、塗料の塗布位置からカゴ類の縁を推定し、その縁により閉じられた領域を移動物体Ｍｏの領域と定義する。
さらに別の補完的手法としては、天井カメラによるカゴ領域定義部３３０６は、上述のように天井カメラ３１０から可視光や赤外線等を照射する場合において、その反射の測定結果から移動物体Ｍｏの領域を定義する。
【０１６７】
天井カメラによるカゴ領域追跡部３３０７は、移動物体Ｍｏの領域の位置を推定（定義）する。天井カメラによるカゴ領域追跡部３３０７は、移動物体Ｍｏを発見した時点から退店又は精算完了等の所定の時点まで、同一のＩＤにより、移動物体Ｍｏを追跡し、位置情報を把握し続ける。
【０１６８】
そのため、天井カメラによるカゴ領域追跡部３３０７は、例えば、多数の天井カメラ３１０が連携することで、常時、撮像画像内のカゴ領域を追跡し続ける。多数の天井カメラ３１０が連携するようにするため、天井カメラによるカゴ領域追跡部３３０７は、ある天井カメラ３１０によって撮像された撮像画像が隣り合った天井カメラによって撮像された撮像画像に引き継がれるようにする。天井カメラによるカゴ領域追跡部３３０７は、追跡している移動物体Ｍｏの位置情報をサーバ１の位置情報管理ＤＢ１３２や記憶部１０８に格納する。
【０１６９】
天井カメラによるカゴ領域追跡部３３０７が移動物体Ｍｏを追跡するための他の手法として、移動物体Ｍｏを特定する情報を有するマーカーが各カゴ類に付けられ、天井カメラ３１０がこのマーカーを含む移動物体Ｍｏを撮像する。天井カメラによるカゴ領域追跡部３３０７は、撮像画像からマーカーを抽出することで、移動物体Ｍｏを発見し、位置情報を取得する。
天井カメラによるカゴ領域追跡部３３０７は、マーカーを撮像画像から発見し、移動物体Ｍｏの位置情報を取得することで、移動物体Ｍｏが移動しても、移動物体Ｍｏを追跡し続けることができる。
【０１７０】
天井カメラによるカゴ領域追跡部３３０７は、移動物体Ｍｏを追跡するための他の手法として、ベイジアンフィルタ、高速フーリエ変換、ＴＬＤ等の画像内における物体追跡の技術を用いて移動物体Ｍｏを追跡してもよい。
あるいは、天井カメラによるカゴ領域追跡部３３０７は、カゴ類が持つ色や形状等の特徴データをもとに、同じ特徴データを取得した移動物体Ｍｏは同一の移動物体Ｍｏである、と推定しながら移動物体Ｍｏを追跡してもよい。その際、天井カメラによるカゴ領域追跡部３３０７は、追跡対象の特徴データを収集し続ける。
【０１７１】
いずれにしても、天井カメラ３１０からの映像では、天井カメラ３１０に正対していない移動物体Ｍｏが角度をもって（斜め方向から）撮像されるため、位置情報を正確に取得できないおそれがある。したがって、撮像画像に対してキャリブレーションによる補正をかけることで、正対しているように撮像することも考えられる。しかし、このような補正をかけても、高い精度で移動物体Ｍｏの位置情報を取得できないことがあり得る。
そこで、天井カメラによるカゴ領域追跡部３３０７は、距離センサー等を用いて移動物体Ｍｏの高さ情報を取得することで、精度の高い位置情報を取得する。このようにして天井カメラによるカゴ領域追跡部３３０７は、移動物体Ｍｏを追跡し続けてもよい。
【０１７２】
グルーピング部３３０８は、複数のカゴ類（移動物体Ｍｏ）を紐づけてもよい。このように紐づけられることで、精算エリア３５内に設置された精算機４において、各移動物体Ｍｏの商品リストをまとめて精算することができる。
【０１７３】
天井カメラによるカゴ領域間受け渡し認識部３３１０は、移動物体Ｍｏ間で物体が受け渡された（出入りがあった）ことを天井カメラ３１０等によって認識する。天井カメラによるカゴ領域間受け渡し認識部３３１０は、移動物体Ｍｏの領域間の重なりを認識して受け渡しを認識してもよい。天井カメラによるカゴ領域間受け渡し認識部３３１０は、物体の受け渡しがされた移動物体Ｍｏを特定し、各移動物体ＭｏのＩＤに紐づく商品リストを読み込む。
【０１７４】
天井カメラによる受け渡された物体認識部３３１２は、受け渡しが認識された時点の撮像画像から物体の領域を定義する。
天井カメラによる受け渡された物体認識部３３１２は、天井カメラ３１０をズーム可能なカメラにし、受け渡しが行われたと推定される箇所をズームアップし、物体の領域定義をしてもよい。
【０１７５】
天井カメラによる受け渡された商品特定部３３１３は、受け渡された物体が、物体領域定義後の画像から、読み込まれた移動物体Ｍｏに紐づく商品リストのうちいずれの商品かを特定し、前記天井カメラによるカゴ領域間受け渡し認識部３３１０で特定した移動物体Ｍｏと、受け渡しで特定された商品を紐づけ、各移動物体Ｍｏに紐づく商品のリストを更新する。
天井カメラによる受け渡された物体認識部３３１２、天井カメラによる受け渡された商品特定部３３１３は、天井カメラ３１０の代わりに、広範囲を撮像可能な棚カメラ３１１等で実現してもよい。
【０１７６】
位置情報管理部３４０は、実施形態２において説明した位置情報管理部３４０と同様に構成されている。
即ち、位置情報管理部３４０は、図１８に示すように、カメラ間情報受け渡し部３４１と、各カメラの位置定義部３４２と、移動物体表示部３４３と、を備えている。
【０１７７】
図２７は、図２５の売場装置３に備えられた棚商品認識部３６０の詳細な機能的構成を示す機能ブロック図である。
棚商品認識部３６０は、棚カメラによる物体認識部３６０２と、棚カメラによる商品特定部３６０３と、カゴと商品紐づけ部３６０５と、カゴと紐づく商品リスト管理部３６０７と、棚カメラによる物体入出検知部３６０８と、商品不特定判定部３６０９と、ラベル認識部３６１０と、値引きシール認識部３６１１と、棚カメラ又は天井カメラによるカゴ入出検知部３６１２と、を備える。
棚商品認識部３６０は、棚カメラ３１１とＵＳＢケーブルやネットワークを通じ、他のカメラやパーソナルコンピュータ等と連携される。
【０１７８】
棚カメラによる物体認識部３６０２は、物体が棚内から取られた、又は物体が棚内に置かれた（戻された）画像の前後の画像を比較し、商品特定の対象となる画像領域を定義する（領域定義）。
すなわち、棚カメラによる物体認識部３６０２は、物体が棚内から取られた又は棚に置かれた前の物体撮像画像と、物体が棚内から取られた又は棚に置かれた後の物体撮像画像の変化前後の物体撮像画像を比較し、変化のあった画像領域を特定する。棚カメラによる物体認識部３６０２は、画像領域を特定する際にＲＧＢデータそれぞれで変化を確認する。
【０１７９】
また、棚カメラによる物体認識部３６０２は、物体入出検知部をトリガーに、物体が棚内から取られた又は棚に置かれた前の物体撮像画像と、物体が棚内から取られた又は棚に置かれた後の物体撮像画像の変化前後の比較とは別の方法を用い、１枚の物体撮像画像のみから物体の領域を定義してもよい。
物体の色データが同じであるため、入出等の変化があっても変化がなかったと判定されないようにするため、棚カメラによる物体認識部３６０２は、物体の影を利用することによっても領域を定義してもよい。
認識した物体領域の情報は、棚カメラによる商品特定部３６０３に引き渡される。
【０１８０】
棚カメラによる商品特定部３６０３は、棚カメラによる物体認識部３６０２によって認識された棚内の物体がいずれの商品であるかを特定する。棚カメラによる商品特定部３６０３は、特定物体認識、一般物体認識、ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、棚カメラによる商品特定部３６０３は、検証機能を発揮させることで、商品を高い精度で特定する。
【０１８１】
検証機能は前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする。商品候補リストＳ，Ｐの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、商品ＤＢ１３１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、棚カメラによる物体認識部３６０２によって存在が認識された物体が、商品ＤＢ１３１に登録されている商品であるため、棚カメラによる商品特定部３６０３は、その商品ＤＢ１３１に登録された商品であると特定する。ディープラーニングにより、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する。
【０１８２】
棚カメラによる商品特定部３６０３は、棚カメラ３１１によって撮像された撮像画像の１フレームで商品を特定せず、天井カメラ３１０によって撮像された撮像画像も駆使し、複数の撮像画像にわたって商品を特定してもよい。その際、棚カメラによる商品特定部３６０３は、商品候補に対し、パーセンテージを持たせ、購入履歴、時間、場所、人の嗜好等の情報をもとに、パーセンテージを加算し、一定の閾値を超えた時に商品を特定する。
【０１８３】
カゴと商品紐づけ部３６０５は、棚カメラによる商品特定部３６０３によって特定された商品の商品情報と移動物体Ｍｏとを紐づける。この前提として、１台の棚カメラ３１１が撮像する所定エリア内に、１台の移動物体Ｍｏのみが存在する場合であれば、当該カゴ移動物体ＭｏのＩＤを特定することで、移動物体Ｍｏと商品情報とを紐づけることができる。この際、カゴと商品紐づけ部３５６は、移動物体Ｍｏに付けられたマーカー等に付随する位置情報を用いて移動物体ＭｏのＩＤを特定する。
【０１８４】
別の前提として、１台の棚カメラ３１１が撮像する所定エリア内に複数台の移動物体Ｍｏが存在する場合であれば、後述の棚カメラ又は天井カメラによるカゴ入出検知部が移動物体Ｍｏ内への物体の入出を検知した結果、棚内から取られた物体が入った移動物体Ｍｏを特定し、当該移動物体Ｍｏと商品情報とを紐づける。
さらに別の前提として、１台の棚カメラ３１１が撮像する所定エリア内に移動物体Ｍｏが１台も存在しないとされる場合であれば、少なくとも１台以上の棚カメラ３１１または少なくとも1台以上のカゴカメラ３１２によって、移動物体Ｍｏへの入出を検知し、その移動物体Ｍｏを特定したうえで、その特定された移動物体Ｍｏと商品情報とを紐づける。
【０１８５】
カゴと紐づく商品リスト管理部３６０７は、精算までの間、移動物体Ｍｏと特定された商品とを紐づける商品リストを管理し続ける。すなわち、カゴと紐づく商品リスト管理部３６０７は、位置情報管理ＤＢ１３２等を活用し、移動物体ＭｏのＩＤに紐づく商品のリストを常に管理し続ける。
物体が棚内から取られた際、カゴと紐づく商品リスト管理部３６０７は、取得された商品数分加算される。反対に、商品が棚内に戻された際、カゴと紐づく商品リスト管理部３６０７は、戻された商品数分を減算する。
【０１８６】
棚カメラによる物体入出検知部３６０８は、棚内へ物体が進入したことを検知することで、棚カメラによる物体認識部３６０２の発動のトリガーとすることができる。
例えば、棚カメラによる物体入出検知部３６０８は、棚内への物体の進入を、各棚カメラ３１１の撮像画像に設定した「進入検知領域」における画像データの変化から検知する。また、棚カメラによる物体入出検知部は、入ってきた物体を画像内で追跡することで、物体が領域外に退出したことも検知する。
【０１８７】
物体を追跡するために、棚カメラによる物体入出検知部３６０８は、棚内の進入検知領域にパーティクルフィルタをまく。複数の買い物客が同時に手を伸ばした場合のように、複数の移動物体Ｍｏを同時に追跡できるようにするため、一つ目の物体が進入後に、前記「進入検知領域」に再度、パーティクルをまき、次の物体の進入に備える。
ただし、同じ領域に複数の物体が進入しないことを前提とすれば、棚カメラによる物体入出検知部３６０８は、既に物体が存在する領域にかかる進入検知領域にはパーティクルをまかない。
【０１８８】
棚カメラによる物体入出検知部３６０８は、所定領域において、一定の尤度を持つパーティクルの占める割合が閾値以上の場合は「物体入」と判定し、一定の尤度を持つパーティクルが閾値未満の場合は「物体出」と判定する。
一度になるべく少ない量の物体の領域が推定されるように、棚カメラによる物体入出検知部は、商品が進入される都度、入出を検知する。
変化前後の画像は、推定領域で利用できるようにサーバ１の記憶部１０８に記憶される。
【０１８９】
棚カメラによる物体入出検知部３６０８は、上述の例以外に、物体の撮像画像から得られるスペクトル（波長）データから物体入出を検知してもよい。さらに、棚カメラによる物体入出検知部は、重量・圧力センサー、赤外線センサー、エチレンガスセンサー等の方法を用いて物体入出を検知してもよい。
【０１９０】
商品不特定判定部３６０９は、棚カメラによる商品特定部３６０３によって商品を特定できなかったことを棚から物体を取った移動物体Ｍｏと紐づける。
【０１９１】
ここで、棚カメラによる商品特定部３６０３における検証機能により、商品を特定することができなかった場合について説明する。まず、棚カメラによる商品特定部３６０３は、物体が棚から取られた画像と物体が棚に置かれた画像とが類似する特徴点数を特定する。例えば、両画像に撮像された物体のサイズを特定したうえで比較し、色違いを特定したうえで色を比較し、両物体が類似しているかどうかを決定する。特徴点数が少ないと、商品を特定することができず、誤って精算されないようにすることができる。
【０１９２】
ラベル認識部３６１０は、棚カメラによる商品特定部３６０３によって特定された商品に応じて、貼付されたラベルを認識する。ラベル認識部３６１０は、画像認識や文字認識の手法を駆使し、ラベルに記載された文字、バーコード等を含む多次元コードを読み取り、商品特定を補完する。
【０１９３】
値引きシール認識部３６１１は、棚カメラによる商品特定部３６０３によって特定された商品に応じて、貼付された値引きシールを認識する。値引きシール認識部３６１１は、画像認識や文字認識の手法を駆使し、商品に貼付された値引きシールの値引き額や割引率を特定する。値引きシール認識部３６１１は、商品特定部の処理中に実行される。
【０１９４】
棚カメラ又は天井カメラによるカゴ入出検知部３６１２は、棚カメラ３１１又は天井カメラ３１０の少なくともいずれか一方がカゴ類に付けられたマーカー等から棚カメラ及び天井カメラの所定エリア内に移動物体Ｍｏが存在しているかどうかや存在していない場合の移動物体Ｍｏへの入出を検知する。棚カメラ又は天井カメラによるカゴ入出検知部３６１２は、さらに、マーカー等により定義された移動物体Ｍｏの領域への進入を検知してもよい。その際、移動物体Ｍｏの領域への進入は、追跡されている商品の位置情報と移動物体Ｍｏの領域の進入検知ライン（カゴの縁等）の位置情報との比較により行う。
【０１９５】
実施形態３の情報処理システムは、さらに、カゴ商品認識部３７０を備えていてもよい。
図２８は、図２５の売場装置３に備えられたカゴ商品認識部３７０の詳細な機能的構成例を示す機能ブロック図である。
カゴ商品認識部３７０は、カゴカメラによるカゴ入出検知部３７２と、カゴカメラによる物体認識部３７３と、カゴカメラによる商品特定部３７４と、カゴ商品の不特定判定部３７５と、カゴ商品のラベル認識部３７６と、カゴ商品の値引きシール認識部３７７と、を備える。
【０１９６】
カゴカメラによるカゴ入出検知部３７２は、カゴ類（移動物体Ｍｏ）内へ買い物客の手のような物体が進入した際に、その進入を検知することで、カゴカメラによる物体認識部３７３の発動のトリガーとすることができる。カゴカメラによるカゴ入出検知部３７２は、カゴ類内への物体の進入を、各カゴカメラ３１２の撮像画像に設定した「進入検知領域」における画像の変化から検知する。
【０１９７】
カゴカメラによるカゴ入出検知部３７２は、撮像画像のフレーム内に入ってきた物体をそのフレーム内で追跡することで、その移動物体Ｍｏがそのフレーム外に退出したことも検知する。カゴカメラによるカゴ入出検知部３７２は、パーティクルフィルタを用いて物体を追跡する。
カゴカメラによるカゴ入出検知部３７２は、複数の移動物体Ｍｏを同時に追跡するため、一つ目の物体が進入した後、進入検知領域に再度、パーティクルをまき、次の物体の進入に備える。
カゴカメラによるカゴ入出検知部３７２は、所定領域内において、一定の尤度を持つパーティクルの占める割合が閾値以上である場合に「物体入」と判定し、閾値未満である場合に「物体出」と判定する。カゴカメラによるカゴ入出検知部は、一度になるべく少ない量の物体の領域を推定するように、物体が入出するたびに入出を検出する。
【０１９８】
カゴカメラによる物体認識部３７３は、買い物客の手などの物体がカゴ類（移動物体Ｍｏ）内に入った際の画像とカゴ類（移動物体Ｍｏ）内から出た後の画像とを比較し、棚内から取られてカゴ類（移動物体Ｍｏ）内に入れられた（又はカゴ類（移動物体Ｍｏ）内から棚に戻された）物体を商品特定するために画像領域を定義する。カゴカメラによる物体認識部３７３は、ＲＧＢデータを用いて領域の変化を確認する。
カゴカメラによる物体認識部３７３は、物体の撮像画像から得られるスペクトル（波長）データ、重量センサー、圧力センサー、赤外線センサー、メチレンガスセンサー等から物体を認識してもよい。
【０１９９】
カゴカメラによる商品特定部３７４は、カゴ類に入れられた物体がいずれの商品かを特定する。カゴカメラによる商品特定部３７４は、カゴカメラによる物体認識部３７３により認識された物体について、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、カゴカメラによる商品特定部３７４は、検証機能を発揮させ、商品を高い精度で特定する。
【０２００】
検証機能は、前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする。カゴカメラによる商品特定部３７４は、商品候補リストＳとＰとをマッチングさせ、所定の閾値を超える場合に商品を特定する。
商品候補のリストアップの手法として、例えば、存在が認識された物体から得られる物体撮像画像の情報と、商品ＤＢ１３１や記憶部１０８によって保持されている画像情報とをマッチングさせる方法により、実現してもよい。即ち、両画像の特徴情報が一致する、即ち、閾値を超えると、カゴカメラによる物体認識部３７３によって存在が認識された物体は、その商品ＤＢ１３１に登録された商品であると特定する。
カゴカメラによる商品特定部３７４は、撮像画像の１フレームで商品を特定せず、複数フレームにわたる撮像画像から商品を特定してもよい。その際、カゴカメラによる商品特定部３７４は、商品候補に対し、パーセンテージを持たせ、購入履歴、時間、場所、人の嗜好等の情報をもとにパーセンテージを加算し、一定の閾値を超えたときに商品を特定してもよい。
【０２０１】
カゴ商品の不特定判定部３７５は、カゴカメラによる商品特定部３７４によって、カゴに入れられた物体を商品として認識できなかったことを当該移動物体ＭｏのＩＤと紐づける。
カゴ商品のラベル認識部３７６は、カゴカメラによる商品特定部３７４によって、カゴに入れられて特定された商品に応じて、貼付されたラベルを認識する。カゴ商品のラベル認識部は、画像認識や文字認識の手法を駆使し、ラベルに記載された文字、バーコード等を含む多次元コードを読み取り、商品特定を補完する。
カゴ商品の値引きシール認識部３７７は、画像認識や文字認識の手法を駆使し、カゴカメラによる商品特定部３７４によって特定された商品に貼付された値引きシールの値引き額や、割引率を特定する。カゴ商品の値引きシール認識部は、カゴカメラによる商品特定部が処理中に値引き額等の特定を実行する。
【０２０２】
また、本情報処理システムは、売買制限商品判定部３８０と、遠隔操作部３９０と、を備える。
売買制限商品判定部３８０は、実施形態１において説明したように、特定された商品が売買制限商品であるか否かを判定する。売買制限商品判定部は、売買制限商品を検知すると、その情報をエラー表示部１５１に表示されるようにする。
遠隔操作部３９０は、情報端末３８やサーバ１に備えられ、例えば、エラー状態が通知されたときに、エラー状態を解消する機能を有している。
【０２０３】
精算エリア３５内に設置された精算機４は、１以上のカゴ類内に入れられた全商品の合計金額を算出し、精算乃至、決済する。精算機では、追跡し続けた移動物体Ｍｏ及び移動物体Ｍｏに紐づいた商品情報をもとに精算する。
そのため、精算機４は、図２５に示すように、ＣＰＵ４０１と、入力部４０６と、出力部４０７と、通信部４０９と、を備えている。
ＣＰＵ４０１においては、精算部４３５と、入力制御部４３６と、出力制御部４３７と、が機能する。
【０２０４】
入力部４０６は、クレジットカードや電子マネーの読み取り部等を備えている。
出力部４０７は、精算商品を表示する画面やレシートを出力する機能等を備えている。
精算部４３５は、精算金額及び精算対象品を確定する。
入力制御部４３６は、入力部４０６からの信号を入力し、ＣＰＵ４０１を作動させる。
出力制御部４３７は、精算部４３５の演算結果を出力部４０７に出力する。
精算機４は、移動物体Ｍｏの位置情報と予め定められた精算エリア３５の位置関係を比較し、移動物体Ｍｏの位置情報が精算エリア３５内に入ったこと、あるいは、移動物体Ｍｏが精算機４に置かれたことをトリガーに精算する。
【０２０５】
あるいは、精算機４に精算開始を指示するボタンが備えられ、ボタン押下等をトリガーに精算してもよく、精算機４に重量センサー（図示せず）を備え、移動物体Ｍｏが置かれた際の重量の変化を認識し、精算機４が精算するようにしてもよい。
精算機４は、現金だけでなく、商品券や金券、仮想通貨などでも支払いができるようにされている。
このような精算機４においては、エラー状態が起こり得る。エラー状態とは、（Ａ）システム処理異常、（Ｂ）商品不特定の物体が移動物体Ｍｏに紐づいている場合、（Ｃ）売買制限商品が移動物体Ｍｏに紐づいている場合、などが例として挙げられる（当然これらに限定されない）。
【０２０６】
各エラー状態に応じ、本実施形態が採用するシステムが種々の対応を行う。
（Ａ）の場合は、システム処理異常の旨を精算機４、情報端末３８ａ、情報端末３８ｂ、サーバ１に提示する。これにより、店員がエラー状態を解消することが可能となる。エラー状態の解消は、遠隔操作部３９０により、行われてもよい。
（Ｂ）の場合は、商品不特定の物体が移動物体Ｍｏに紐づいている旨が精算機４、情報端末３８ａ、情報端末３８ｂ、サーバ１に提示される。これにより、店員がエラー状態を解消することが可能となる。エラー状態の解消は、遠隔操作部３９０により、行われてもよい。
（Ｃ）の場合、売買制限商品が移動物体Ｍｏに紐づいている旨が精算機４、情報端末３８ａ、情報端末３８ｂ、サーバ１に提示する。これにより、例えば年齢制限による売買制限商品の場合であれば、店員が買い物客の年齢を確認することができ、消費・賞味期限切れの商品による売買制限商品の場合であれば、店員が商品の交換対応等が可能となり、アレルギー・ハラル食品以外による売買制限商品の場合であれば、買い物客が確認することができるようになり、エラー状態を解消することができる。エラー状態の解消は、遠隔操作部３９０により、行われてもよい。
【０２０７】
ここで、実施形態３の商品認識システムによって、物体から商品を特定し、その商品について精算する方法について、図２９を参照して説明する。
図２９は、図２５のサーバ１と売場装置３と精算機４が実行する自動精算処理の基本的な流れを説明するフローチャートである。
【０２０８】
ステップＳ３０１において、買い物客が（移動物体）が店舗３０（図２２）の入口３１から店内に入店し、入口３１付近に設置された天井カメラ３１０がその買い物客の撮像を開始する。買い物客がカゴやカードを手にし、通路３４を進むと奥の天井カメラ３１０がその買い物客の撮像を開始する。このようにして複数の天井カメラ３１０が買い物客、カゴ、カートを含む店舗３０内全体を常時撮像する。なお、ステップＳ３０１の前に、個人認証部３２０が買い物客の個人認証し、買い物客の個人情報を取得してもよい。
【０２０９】
ステップＳ３０２において、天井カメラによる移動物体発見部３３０２は、状態空間モデル（ベイジアンフィルタ）等を用いて撮像画像中の移動する物体（採番せず）を発見する。
撮像画像には、店舗３０内を移動する物体だけでなく、静止物体も撮像されているため、天井カメラによる移動物体発見部３３０２は、静止物体を除去した店舗３０内を移動する物体のみ発見する。
【０２１０】
ステップＳ３０３において、天井カメラによるカゴ発見部３３０３は、天井カメラによる移動物体発見部３３０２によって発見された物体の中から、カゴ類（実施形態３における移動物体Ｍｏ）を発見し、個別のＩＤを採番する。ＩＤは、退店又は精算完了等の特定のタイミングまで使い続けられる。
【０２１１】
ステップＳ３０４において、天井カメラによるカゴ領域定義部３３０６は、天井カメラによるカゴ発見部３３０３によって発見した移動物体Moの領域の位置を定義する。また、天井カメラ３１０によって撮像されている範囲内で移動物体Ｍｏが移動したときに、移動後の移動物体Ｍｏの領域の位置を改めて定義する。位置情報は移動物体ＭｏのＩＤと紐づけて位置情報管理ＤＢ１３２やメモリ等で管理され、領域定義毎に更新される。この定義された位置は、別の天井カメラ３１０において撮像されている位置でも認識される。
【０２１２】
ステップＳ３０５において、天井カメラによるカゴ領域追跡部３３０７は、ある天井カメラ３１０によって撮像されている撮像画像内で移動物体Ｍｏが移動する位置を推定する。さらに、天井カメラによるカゴ領域定義部３３０６が移動したと推定される位置に対し、移動物体Ｍｏの領域を定義し、位置情報管理ＤＢ１３２やメモリ上に記憶されている移動物体Ｍｏの位置情報を更新する。
【０２１３】
ステップＳ３０６において、棚カメラによる物体入出検知部３６０８は、買い物客の手などの物体が棚内に入ったこと及び出たことを検知する。この検知がトリガーとなって、棚カメラによる物体認識部３５２が発動する。棚内への物体の進入は、各棚カメラ３１１に設定された進入検知領域における画像データが変化したかどうかによって検知する。
棚カメラによる物体入出検知部３６０８は、棚内に進入した物体を追跡し続けることで物体が棚内から退出したことを検知する。
【０２１４】
ステップＳ３０７において、棚カメラによる物体認識部３６０２は、棚内へ前記物体が進入する前の撮像画像と、棚内から移動物体Ｍｏが退出した後の撮像画像とを比較し、棚内から取られた物体を認識する。
【０２１５】
ステップＳ３０８において、棚カメラによる商品特定部３６０３は、検出された移動物体Ｍｏがいずれの商品であるかを特定する。棚カメラによる商品特定部３６０３は、物体認識部３６０２により検出された物体について、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、棚カメラによる商品特定部３６０３は、検証機能を発揮させ、商品を高い精度で特定する。
【０２１６】
検証機能は、前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする。棚カメラによる商品特定部３６０３は、商品候補リストＳ，Ｐとをマッチングさせ、所定の閾値を超える場合に商品を特定する。
商品候補のリストアップの手法として、例えば、存在が認識された物体から得られる物体撮像画像の情報と、商品ＤＢ１３１や記憶部１０８によって保持されている画像情報とをマッチングさせる方法により、実現してもよい。即ち、両画像の特徴情報が一致する、即ち、閾値を超えると、棚カメラによる物体認識部３６０２によって存在が認識された物体は、その商品１３１保持された商品であると特定する。
なお、商品不特定判定部３６０９は、商品を特定することができなかった場合に、エラー情報をサーバ１へ送信する。このエラー情報は、エラー表示部１５１や情報端末３８に表示される。
【０２１７】
ステップＳ３０９において、カゴと商品紐づけ部３５６は、棚カメラによる商品特定部３６０３によって特定された商品と移動物体ＭｏのＩＤと紐づける。すなわち、特定された商品を取った買い物客が持つカゴ類（移動物体Ｍｏ）がいずれかを特定する。
また、棚から商品または物体を取った・戻した時に商品不特定判定部３６０９によって商品を特定できなかった場合、商品不特定の情報（エラー情報）を移動物体ＭｏのＩＤと紐づける。
【０２１８】
ステップＳ３１０において、移動物体Ｍｏと紐づく商品リスト管理部３５７は、移動物体ＭｏのＩＤに紐づく商品のリストを管理し続ける。この管理は移動物体Ｍｏが精算エリア３５に移動するなど、所定のタイミングまで続けられる。
【０２１９】
ステップＳ３１１において、精算エリア３５において、移動物体Ｍｏの全商品が合計され、精算機３７で精算乃至決済されると、移動物体Ｍｏに紐づく商品リストを精算済みのステータスに更新し、自動精算処理を終了する。また、移動物体Ｍｏが商品不特定の情報（エラー情報）に紐づいていた場合は、自動精算処理を終了せず、エラー情報をサーバ１へ送信する。このエラー情報は、エラー表示部１５１や情報端末３８に表示される。すなわち、店員が買い物客のもとにかけよりエラーの確認・解除を行うことができる。
【０２２０】
なお、精算されていない移動物体Ｍｏが出口３２を通過した場合、エラー情報がサーバ１へ送信される。このエラー情報は、エラー表示部１５１や情報端末３８ａ、情報端末３８ｂに表示される。出口３２付近に警報機（図示せず）が備えられていると、警報機は音や光などにより、警告を発する。
実施形態３の自動精算処理は、棚カメラによって撮像された画像に基づいて商品を特定するため、カゴに入れられた物体について商品を特定する必要はない。
しかし、その商品が間違って特定されていないかを検証するため、カゴに入れられた物体についても商品を特定することが好ましい。
【０２２１】
図３０は、図２５のサーバ売場装置と精算機が実行する自動精算処理のカゴ内商品を認識する処理を説明するフローチャートである。
【０２２２】
ステップＳ３２１において、カゴカメラによるカゴ入出検知部３７２は、カゴの領域以外の尤度が低くなるように、事前に撮像画像内の所定の位置に設定された進入検知領域にパーティクルを設置する。
ステップＳ３２２において、カゴカメラによるカゴ入出検知部３７２は、パーティクルの尤度によって物体（買い物客の手等）がカゴ内の進入検知領域に進入したことを検知する。なお、複数物体の進入に備えるため、物体がカゴ内の進入検知領域に進入したのち、カゴカメラによるカゴ入出検知部３７２は、新たなパーティクルを設置する。
ステップＳ３２３において、カゴカメラ３１２は、物体（買い物客の手等）が進入検知領域に進入した時点のカゴ内の状態を撮像する。カゴカメラ３１２は、進入検知領域外も撮像している。
例えば、撮像された画像（前画像）には、３個の商品が撮像されていたとする。なお、前画像に撮像されている商品は、すでに物体から特定されているため、商品となる。
【０２２３】
ステップＳ３２４において、カゴカメラ３１２は、物体が進入検知領域から退出した時点のカゴ内の状態を撮像する。例えば、このときに撮像された画像（後画像）には、前述の３個の商品に追加して１個の物体が撮像されていたとする。
【０２２４】
ステップＳ３２５において、カゴカメラによる物体認識部３７３は、前画像と後画像とを比較し、追加された１個の物体についての画像領域を定義する。
ステップＳ３２６において、カゴカメラによる商品特定部３７４は、増加した１個の物体がいずれの商品であるかを特定する。この商品の特定は、棚商品認識部３６０がした特定の手法と同じ手法を採用することができる。
【０２２５】
このようにして、本情報処理システムは、カゴ内に入れられた物体がいずれの商品であるかを特定する。
そして、本情報処理システムは、上述のステップＳ３０８において特定した商品とステップＳ３２６において特定した商品とが一致しているかどうかを検証することができる。商品が不特定の場合、エラー状態の旨がエラー表示部１５１、情報端末３８ａ、情報端末３８ｂに表示される。これにより、誤って精算されないようにすることができる。また、商品が不特定の旨が情報端末３８ａ、情報端末３８ｂに表示されると、店員がこのカゴが位置している売場まで行き、商品を検証してもよく、店内外の店員等が遠隔操作でエラー状態を解除してもよい。
【０２２６】
〔実施形態４〕
図３１は、実施形態４における商品認識システムを採用するスーパーマーケットのレイアウト例を示す図である。
実施形態４の情報処理システムは、図３１に示すようなスーパーマーケット等の店舗４０に対して適用する商品認識システムである。実施形態４の情報処理システムは、商品がレジ台に置かれることなく精算ゲート５−１乃至５−３を通過するだけでも自動精算できるようになされている。
【０２２７】
店舗４０において、入口４１には、買い物カゴやショッピングカート等（採番せず）が置かれている。出口４２の手前には、精算ゲート５−１乃至５−３と店員Ｍｔが操作する精算レジ６とが設置されている。また、入口４１から出口４２までの間に、商品を陳列する複数の棚ラック４３が設置されている。棚ラック４３においては、鉛直方向に複数の棚が、所定の間隔をあけて並べられ、複数の棚の夫々には各種商品が陳列される。以下、棚と棚との間を「棚内」とも記述する。水平方向に向き合った棚ラック４３と棚ラック４３との間が通路４４とされる。
【０２２８】
買い物客は、入口４１から入店し、買い物カゴを取って、ショッピングカートを押して、あるいは、持参したマイバッグを持って通路４４を進む。買い物客は、棚内の商品を取って、カゴ類の中に入れて通路４４を進む。買い物客は、購入したい商品をすべて取ると、精算エリア４５へ進み、精算する。
通路４４や精算エリア４５等において、店員Ｍｔが見回り等をしている。店員Ｍｔは、情報端末９ａを所持している。情報端末９ａは、スマートフォン等の携帯型情報処理端末であり、店内の状態を表示する機能、店内で発生したエラー状態を表示する機能、遠隔操作機能等を備えている。
【０２２９】
図３１において、雲形で描かれた線図の内側には、店舗４０内でなく、店舗４０外や店舗４０のバックヤードの様子が描画されている。店舗４０外または店舗のバックヤードには、サーバ１（図５）が設置されている。店舗外やバックヤードでは、店員Ｍｔが大型モニターの画面（図示せず）や情報端末９ｂの画面を通じて店舗４０内を監視することができる。
なお、買い物カゴ、ショッピングカート及びマイバッグを含めてカゴ類と呼ぶ。精算ゲート５−１乃至５−３を含む通路４４が精算エリア４５とされる。また、カゴ類等と買い物客を含めて移動物体Ｍｏと呼ぶ。
【０２３０】
入口４１から出口４２までの間の通路４４の天井には、複数の天井カメラ３１０が設置されている。また、各棚ラック４３内の各棚の複数個所には、複数の棚カメラ３１１が設置されている。
なお、図３１において、雲形で描かれた線図の内側には、店舗４０内でなく、店舗４０外や店舗４０のバックヤードの様子が描画されている。店舗４０外には、サーバ１（図５）が設置されている。バックヤードでは、店員Ｍｔが大型モニターの画面（図示せず）や情報端末９ｂの画面を通じて店舗３０内を監視している。
【０２３１】
図３２は、本情報処理システムの実施形態４としての商品認識システムの構成を示す構成図である。
実施形態４の商品認識システムは、図３３に示すような構成を有している。
商品認識システムは、サーバ１と、売場装置３と、ｎ台（ｎは任意の整数）の精算ゲート５−１乃至５−ｎと、を有している。なお、実施形態１及び２において採用したレジ端末２は、実施形態４において採用されない。
サーバ１と、売場装置３と、精算ゲート５−１乃至５−ｎとの夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に接続されている。
なお、説明の便宜上、図３２のサーバ１は、１台しか描画されていないが、実際には複数台の場合もある。
また、以下、精算ゲート５−１乃至５−ｎを個々に区別する必要がない場合、これらをまとめて「精算ゲート５」と呼ぶ。
【０２３２】
サーバ１は、売場装置３及び精算ゲート５の各動作を管理すべく、各処理を実行する。サーバ１は、図５に示した実施形態１のサーバ１のハードウェア構成と同様に構成されている。
【０２３３】
したがって、サーバ１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
【０２３４】
売場装置３は、図２４に示した実施形態３のハードウェア構成と同様に構成されているが、図示されたカゴカメラ３１２を備えていない。
【０２３５】
したがって、売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、棚カメラ３１１と、情報端末９と、通信部３１５と、を備えている。
【０２３６】
ただし、実施形態４でのエラー状態は、システム処理において異常が発生した場合や、棚商品認識において商品を特定できなかった場合、不特定の物体や売買制限商品が紐づいている移動物体Ｍｏがゲート５を通過しようとした場合、精算していない買い物客（移動物体Ｍｏ）が退店しようとしている場合等種々の状況下で発生する。
【０２３７】
このような売場装置３にネットワークＮを介して精算ゲート５が接続されている。
精算ゲート５は、精算機５ａを用いた精算ゲート５−１、電子マネー等を利用する精算ゲート５−２、通過するだけで精算できる精算ゲート５−３に区分されている。
有人の精算レジ６以外の精算ゲート５−１〜５−３には、常時閉じている開閉部材（採番せず）が備えられていてもよい。
【０２３８】
また、精算機５ａを用いた精算ゲート５−１は、精算ボタン（図示せず）を備え、購入商品の金額の合計を算出し、出口４２側に設置された精算機５ａにて精算する。精算機５ａは、精算ゲート５−１よりも出口４２側に設置されている。この精算機５ａは、現金、クレジットカード、電子マネー、ポイント支払い、商品券・仮想通貨、プリペイドカード等で支払いができる決算手段を備えている。
この精算機５ａを用いた精算ゲート５−１にあっては、決済する人が、精算ボタンを押下すると、この押下がトリガーとなって後述する移動物体領域に紐づく商品情報が読み出され、精算金額が確定し、精算ゲート５−１を通過可能となる。開閉部材が備えられている場合は、開閉部材が開く。そして、決済する人が精算機５ａによって決済すると、退店可能となる。
【０２３９】
電子マネー等を利用する精算ゲート５−２は、ゲート本体に電子マネー等をかざすことで精算する。すなわち、電子マネー等を利用する精算ゲートは、カード読取部（図示せず）を備え、精算機５ａを用いた精算ゲート５−１のような精算ボタンを備えず、精算機５ａを使用しない。
電子マネー等には、決済可能なＩＣカードだけでなく、クレジットカード、いわゆるポイントカード、プリペイドカードなどの狭義のカードだけでなく、情報携帯端末も含まれるが、以下、各種カードとして説明する。
決済する人がこの精算ゲート５−２の精算エリア４５に進入し、各種カードがカード読取部に読み取られると、後述する移動物体領域に紐づく商品情報が読み出され、精算及び決済が完了し、精算ゲート５−２を通過可能となる。
【０２４０】
精算ゲート５−３は、入口４１や通路４４等において個人情報が取得された買い物客が、精算ゲート５−３を通過するのみで、精算及び決済が完了させる。すなわち、現金を支払う、カードを読み取らせるなどせずに、精算及び決済が完了する。
【０２４１】
有人の精算レジ６は、店員Ｍｔが商品の価格を個々に入力し、精算する。
図３３は、図３２の商品認識システムのうち精算ゲート５のハードウェア構成を示すブロック図である。
精算ゲート５は、ＣＰＵ５０１と、ＲＯＭ５０２と、ＲＡＭ５０３と、バス５０４と、入出力インターフェース５０５と、入力部５０６と、出力部５０７と、記憶部５０８と、通信部４０９と、を備えている。
【０２４２】
精算ゲート５のＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、バス５０４、入出力インターフェース５０５、記憶部５０８、通信部５０９は、サーバ１のこれらと同様に構成されている。
【０２４３】
入力部５０６は、精算機５ａを用いた精算ゲート５−１にあってはゲート本体に備えられた精算ボタンであり、電子マネーを利用する精算ゲート５−２と通過するだけで精算できる精算ゲート５−３にあっては各種カード等の情報を検知する情報読取部である。
【０２４４】
出力部５０７は、精算ゲート５−１〜５−３に備えられた開閉部材（採番せず）を開閉する信号を出力する。また、精算機５ａを用いた精算ゲート５−１は、精算機５ａに精算する金額や商品名などを出力する。
【０２４５】
図３４は、上述した図５のサーバ１と図２４の売場装置３と図３３の精算ゲート５との機能的構成の一例を示す機能ブロック図である。
【０２４６】
サーバ１は、実施形態３と同様のＣＰＵ１０１と、記憶部１０８と、エラー表示部１５１と、エラー解除部１５２とを備えている。
サーバ１は、実施形態３のサーバ１と同様に構成されている。
【０２４７】
図３５は、実施形態３における売場装置３に備えられた移動物体追跡部３３０の詳細な機能的構成例を示す機能ブロック図である。
売場装置３のＣＰＵ３０１においては、図３５に示すように、個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、棚商品認識部３６０と、カゴ商品認識部３７０と、売買制限商品判定部３８０と、を備える。
個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、カゴ商品認識部３７０と、売買制限商品判定部３８０は、実施形態３と同様に構成されている。
【０２４８】
個人認証部３２０は、実施形態３と同様の個人情報取得部３２１を備えている。個人認証部３２０は、個人情報取得部３２１又はサーバ１のＤＢ管理部１４１から個人情報を取得する。
【０２４９】
移動物体追跡部３３０は、図３５に示すように、天井カメラによる移動物体発見部３３０２と、天井カメラによる移動物体領域定義部３３０４と、天井カメラによる移動物体領域追跡部３３０５と、グルーピング部３３０８と、血縁関係判定部３３０９と、天井カメラによる移動物体領域間受け渡し認識部３３１１と、天井カメラによる受け渡された物体認識部３３１２と、天井カメラによる受け渡された商品特定部３３１３と、を備えている。
天井カメラによる移動物体発見部３３０２は、天井カメラ３１０によって撮像された撮像画像に基づいて状態空間モデル（ベイジアンフィルタ等）を用いて移動物体Ｍｏ（買い物客、カゴ、カートなど）を発見する。
天井カメラによる移動物体領域定義部３３０４は、天井カメラによる移動物体発見部３３０２により発見された移動物体Ｍｏの領域を移動物体領域として定義する。天井カメラによる移動物体領域定義部３３０４は、移動物体Ｍｏを中心として、変化のあった領域を連続的に見つけることで、移動物体領域を定義する。即ち、天井カメラによる移動物体領域定義部３３０４は、発見した移動物体Ｍｏと、その移動物体Ｍｏ及びその移動物体Ｍｏの周辺のうち一定の範囲内を移動物体領域として定義する。
【０２５０】
その上で、買い物客を上側から見た場合の骨格モデルを当てはめることで、おおよそのポーズを推定し、実際に得られた映像での移動物体領域と比較することで、移動物体Ｍｏを明確に定義してもよい。
ここで、人を中心とした領域を人領域と呼ぶと、人領域は移動物体領域の下位概念となる。
また、カゴ類を中心とした領域をカゴ領域と呼ぶと、カゴ領域は移動物体領域の下位概念となる。
また、カートを中心とした領域をカート領域と呼ぶと、カート領域は移動物体領域の下位概念となる。
【０２５１】
天井カメラによる移動物体領域追跡部３３０５は、移動物体Ｍｏの移動を追跡する。例えば、天井カメラによる移動物体領域追跡部３３０５は、移動物体Ｍｏの特徴データ（色や形状等）を収集することによっても、移動物体Ｍｏの移動を追跡する。
あるいは、天井カメラによる移動物体領域追跡部３３０５は、ベイジアンフィルタ、高速フーリエ変換、ＴＬＤ（Ｔｒａｃｋｉｎｇ−Ｌｅａｒｎｉｎｇ−Ｄｅｔｅｃｔｉｏｎ）等の画像内における物体追跡の技術を用いて、移動物体Ｍｏの移動を追跡する。
【０２５２】
グルーピング部３３０８は、家族や友人等の複数人で来店した場合において、その複数人をグルーピングする。
また、グルーピング部３３０８は、移動物体Ｍｏ同士の距離感（重なり、くっついている等）、移動方向（ベクトル）等の情報を用い、複数人をグルーピングしてもよい。
グルーピング部３３０８は、人領域とカゴ領域・カート領域を紐づけてもよい。
このようにグルーピング部３３０８が機能することにより、精算ゲート５において、一人によって精算することができる。
【０２５３】
血縁関係判定部３３０９は、顔認証手法を用い、親子関係や兄弟関係等を見分ける。血縁関係判定部は、グルーピング部の機能を補助する。血縁関係判定部は、ディープラーニングの顔認識手法を用いて顔の類似度を判定し、血縁関係を推定してもよい。
【０２５４】
買い物客（移動物体Ｍｏ）から買い物客（移動物体Ｍｏ）への商品の受け渡しが発生した場合、天井カメラによる移動物体領域間受け渡し認識部３３１１が移動物体Ｍｏから移動物体Ｍｏへ物体が受け渡されたことを認識し、受け渡した/渡された移動物体Ｍｏを特定し、各移動物体Ｍｏに紐づく商品リストを読み込む。
【０２５５】
天井カメラによる移動物体領域間受け渡し認識部３３１１は、買い物客（移動物体Ｍｏ）から買い物客（移動物体Ｍｏ）への商品の受け渡しが発生したことを認識し、この受け渡した移動物体Ｍｏと渡された移動物体Ｍｏとを特定し、各移動物体Ｍｏに紐づく商品リストを読み込む。天井カメラによる受け渡された物体認識部３３１２は、その後、受け渡しが認識された時点の撮像画像から物体の領域を定義する。
さらに、天井カメラによる受け渡された商品特定部が受け渡された物体が、物体領域定義後の画像から、読み込まれた受け渡しを行った移動物体Ｍｏに紐づく商品リストのうちいずれの商品かを特定し、天井カメラによる移動物体領域間受け渡し認識部３３１１で特定した各移動物体Ｍｏと、受け渡しで特定された商品を紐づけ、夫々の商品のリストを更新する。
天井カメラによる移動物体領域間受け渡し認識部３１１１は、ディープラーニング等の物体認識手法を用いて、買い物客（移動物体Ｍｏ）の動きを分析し、受け渡し認識してもよく、受け渡しの際に人領域の中の手を認識してもよく、受け渡しの認識は人領域（手を含んでも良い）間の重なりを認識してもよい。
天井カメラによる移動物体領域間受け渡し認識部３３１１は、天井カメラの代わりに、広範囲を撮像可能な棚カメラ等で実現されてもよい。
【０２５６】
その後天井カメラによる受け渡された物体認識部３３１２が、受け渡しが認識された時点の撮像画像から物体の領域を定義する。
【０２５７】
さらに、天井カメラによる受け渡された商品特定部３３１３が、天井カメラによる受け渡された物体認識部３３１２により、認識された物体が、読み込まれた移動物体Ｍｏ（受け渡しを行った人）に紐づく商品リストのうちいずれの商品かを特定し、天井カメラによる移動物体領域間受け渡し認識部３３１１で特定した各移動物体Ｍｏと、天井カメラによる受け渡された商品特定部３３１３で特定された商品を紐づけ、各移動物体Ｍｏの商品のリストを更新する。
【０２５８】
天井カメラによる受け渡された物体認識部３３１２は、天井カメラをズーム可能なカメラにし、受け渡しが行われたと推定される箇所をズームアップし、物体の領域定義をしてもよい。
天井カメラによる移動物体領域間受け渡し認識部３３１１、天井カメラによる受け渡された物体認識部３３１２、天井カメラによる受け渡された商品特定部３３１３は、天井カメラの代わりに、広範囲を撮像可能な棚カメラ等で実現されてもよい。
【０２５９】
位置情報管理部３４０は、実施形態２と同様、図１８に示すように、カメラ間情報受け渡し部３４１と、各カメラの位置定義部３４２と、移動物体表示部３４３を備える。
【０２６０】
図３６は、実施形態４における売場装置３に備えられた棚商品認識部３６０の詳細な機能的構成例を示す機能ブロック図である。
棚商品認識部３６０は、図３６に示す棚カメラによる物体認識部３６０２と、棚カメラによる商品特定部３６０３と、移動物体と商品紐づけ部３５０４と、移動物体と紐づく商品リスト管理部３６０６と、棚カメラによる物体入出検知部３６０８と、商品不特定判定部３６０９と、ラベル認識部３６１０と、値引きシール認識部３６１１と、を備えている。
【０２６１】
精算ゲート５のＣＰＵ５０１においては、図３３に示すように、精算部５３５と、入力制御部５３６と、出力制御部５３７と、が機能する。
【０２６２】
精算部５３５は、追跡され続けた移動物体領域が精算エリア４５に進入したときに、１以上の移動物体領域に紐づく商品情報（商品のリスト）が通信部５０９を介してサーバ１から入力され、精算金額及び精算対象商品を確定する。
入力制御部５３６は、ゲート本体に備えられた精算ボタンや情報読取部などの入力部５０６からの信号を入力する。
出力制御部４３７は、出力部５０７に精算金額を表示させたり、精算機５ａに情報を出力したり、開閉部材を開閉させたりする。
【０２６３】
また、精算部５３５は、追跡され続けた移動物体Ｍｏが、すなわち、決済する人が精算エリア４５に進入した場合、１以上の移動物体Ｍｏに紐づく商品情報（商品のリスト）をもとに、精算金額・精算対象商品を確定する。
また例えば、父親が財布を持って決済する場合において、同伴者である母親と子供に紐づく商品情報（商品のリスト）をも、グルーピングを活用し、父親が決済できるようにしてもよい。
【０２６４】
そして、精算機５ａを用いた精算ゲート５−１は、商品金額の合計を算出し、精算する装置であり、精算ボタン（図示せず）を備えている。精算機５ａは、精算ゲート５よりも出口４２側に設置されている。この精算機５ａは、現金、ポイント支払い、商品券・金券等で支払いができる決済手段を備えている。
【０２６５】
この精算ゲート５−１にあっては、決済する人が精算ボタンを押下すると、この押下がトリガーとなって移動物体Ｍｏに紐づく商品情報が読み出され、精算金額が確定し、精算ゲート５−１を通過可能となる。そして、決済する人が精算機によって決済すると、退店可能となる。
【０２６６】
ただし、例えば、精算対象商品が年齢制限商品であり、年齢確認ができていないといったエラー状態となった場合は、情報端末９ａ、情報端末９ｂやエラー表示部１５１にエラー状態の旨が提示される。その際、精算ゲート５−１は、開閉部材を閉じたままにするなどし、通過不可の状態を維持する。精算ゲート５−１は、音や光などの手段によって、エラー状態である旨を提示してもよい。店員Ｍｔが年齢を確認するなど、制限を解除できる状態となると、店員Ｍｔの操作によってエラー解除部１５２の操作により、制限が解除され、精算ゲート５−１は通過可能な状態となる。なお、制限の解除は、遠隔操作によって実現することもできる。
また、移動物体Ｍｏにいずれの商品か特定できない物体（不特定の物体）が紐づいている場合も、年齢制限商品の際と同様の流れとなる。なお、この不特定の物体を、有人の精算レジ６において、店員Ｍｔが対応し、商品を特定してもよい。
【０２６７】
また、電子マネーを用いた精算ゲート５−２にあっては、カード読取部（図示せず）を備え、前記精算ゲート５−１のような精算ボタンを備えず，精算機５ａを使用しない。カード読取部は、カードがクレジットカード、デビッドカード、電子マネー、プリペイドカード等いずれあっても、対応できるようにされている。
【０２６８】
そして、決済する人がこの精算ゲート５−２の精算エリア４５に進入し、カードがカード読取部に読み取られると、移動物体Ｍｏに紐づく商品情報が読み出され、精算及び決済が完了し、精算ゲート５−２を通過可能となる。
精算対象商品が売買制限限商品であったり、移動物体Ｍｏに不特定の物体が紐づいている場合は、上述の精算ゲート５−１と同じ動作となる。
【０２６９】
また、精算ゲート５−３は、追跡され続けた移動物体Ｍｏが個人認証済みであり、決済の情報が特定されている必要がある。
精算ゲート５−３は、決済する人が精算ゲート５−３の精算エリア４５に進入すると、エラーがない限り、自動精算され、精算ゲート５−３を通過可能となる。
精算対象商品が売買制限限商品であったり、移動物体Ｍｏに不特定の物体が紐づいている場合は、上述の精算ゲート５−１と同じ動作となる。
【０２７０】
実施形態４の商品認識システムは、上述した機能以外に、図示しない遠隔操作部３９０を備えてもよい。
【０２７１】
売買制限商品判定部３８０は、特定された商品が売買制限商品に該当するか否かを判定する。すなわち、売買制限商品判定部３８０は、ＤＢ情報から、特定された商品が酒類、タバコ類の年齢制限による売買制限商品と判定する。また、売買制限商品判定部３８０は、文字認識等を活用し、当該商品が消費期限・賞味期限切れによる売買制限商品と判定する。また、売買制限商品判定部３８０は、個人認証により得られた個人情報と紐づけ、当該商品が買い物客に対しアレルギー、ハラル食品以外等の売買制限商品と判定する。
また、売買制限商品判定部３８０は、当該商品が売買制限商品であると判定した場合、売買制限商品である旨を提示する。また、売買制限商品判定部３８０は、個人認証から得られた個人情報から売買制限を行ってもよい。また、売買制限商品判定部３８０は、顔や手認識から年齢性別を推定し、売買制限を行ってもよい。
【０２７２】
遠隔操作部３９０は、システム処理異常、商品不特定又は売買制限等のエラー状態の通知を受けた場合、遠隔操作でエラー状態を解消する。エラー状態を検知した天井カメラ３１０、棚カメラ３１１や精算ゲート５は、エラー状態である旨と当該状態の撮像画像を、ネットワークＮを経由し、店内又は店外の遠隔操作用の情報端末９ａ，９ｂやサーバ１に通知する。これら装置の操作により、エラー状態を解消することができる。
当然、店内の有人レジにてエラー状態を解除してもよく、店員Ｍｔ等がエラー状態の発生している場に赴きエラー状態を解除してもよい。
【０２７３】
次に、本実施形態４の商品認識システムにおける商品の精算方法について、図３７を参照して説明する。
図３７は、図３４のサーバ１と売場装置３と精算ゲート５が実行する自動精算処理を説明するフローチャートである。
【０２７４】
ステップＳ４０１において、買い物客が（移動物体）が店舗４０（図３１）の入口４１から店内に入店し、入口４１付近に設置された天井カメラ３１０がその買い物客の撮像を開始する。買い物客がカゴやカードを手にし、通路４４を進むと奥の天井カメラ３１０がその買い物客の撮像を開始する。このようにして実施形態３と同様に複数の天井カメラ３１０が買い物客、カゴ、カートを含む店舗３０内全体を常時撮像する。なお、ステップＳ４０１の前に、個人認証部３２０が買い物客の個人認証し、買い物客の個人情報を取得してもよい。
【０２７５】
ステップＳ４０２において、天井カメラによる移動物体発見部３３０２が移動物体Ｍｏを発見し、個別のＩＤを採番する。ＩＤは、退店又は精算完了等の特定のタイミングまで使い続けられる。なお、このタイミングで個人認証部３２０が買い物客の個人認証をし、買い物客の個人情報を取得してもよい。さらに、グルーピング部３３０８が複数の移動物体Ｍｏを１つのまとまりとして、グルーピングしてもよく、血縁関係判定部３３０９が複数の買い物客（移動物体Ｍｏ）の血縁関係を判定し、グルーピング部３３０８の補完をしてもよい。
【０２７６】
ステップＳ４０３において、天井カメラによる移動物体領域定義部３３０４が天井カメラによる移動物体発見部３３０２によって発見した移動物体Ｍｏを含む所定の領域を定義する。また、天井カメラ３１０によって撮像されている範囲内で移動物体Ｍｏが移動したときに、移動後の移動物体Ｍｏの領域の位置を改めて定義する。位置情報は移動物体ＭｏのＩＤと紐づけて位置情報管理ＤＢ１３２やメモリ等で管理され、領域定義毎に更新される。この定義された位置は、別の天井カメラ３１０において撮像されている位置でも認識される。
【０２７７】
ステップＳ４０４において、天井カメラによる移動物体領域追跡部３３０５がある天井カメラ３１０によって撮像されている撮像画像内で移動物体Ｍｏが移動する位置を推定する。さらに、移動物体領域定義部３３４が移動したと推定される位置に対し、移動物体Ｍｏの領域を定義し、位置情報管理ＤＢ１３２やメモリ上に記憶されている移動物体Ｍｏの位置情報を更新する。
【０２７８】
ステップＳ４０５において、実施形態３と同様に、棚カメラによる物体入出検知部３６０８が物体の棚内への入出を検知する。
【０２７９】
ステップＳ４０６において、実施形態３と同様に、棚カメラによる物体入出検知部３６０８発動をトリガーとし、棚カメラによる物体認識部３５２が、物体が取られた画像又は物体が置かれた画像の前後の画像を比較し、商品特定の対象となる画像領域を定義する。
また、ステップＳ４０６に際して、天井カメラによる物体取得認識部が棚内等から移動物体Ｍｏが物体を取得したことを認識してもよい。
【０２８０】
ステップＳ４０７において、実施形態３と同様に、棚カメラによる商品特定部３５３が、物体がいずれの商品であるかを特定する。この特定された商品が売買制限商品である場合は、移動物体Ｍｏに売買制限商品が紐づけられる。また、物体がいずれの商品であるかが特定できなかった場合も、商品不特定の物体が移動物体Ｍｏに紐づけられる。なお、情報端末９ａ、情報端末９ｂ、サーバ１に商品不特定によるエラー状態である旨が提示され、エラー状態を認識した店員Ｍｔが遠隔操作でエラー状態を解消してもよい（当然、店員Ｍｔが直接エラー状態を解除しに行ってもよい）。
また、ステップＳ４０７に際して、ラベル認識部が、特定された商品に応じて紐づけされたラベルを認識してもよい。
また、ステップＳ４０７に際して、値引きシール認識部が、特定された商品に応じて、貼付された値引きシールを認識してもよい。
また、ステップＳ４０７に際して、天井カメラによる商品特定部が、天井カメラによる物体取得認識部が取得した物体領域について、いずれの商品かを特定してもよい。
【０２８１】
ステップＳ４０８において、移動物体Ｍｏと商品紐づけ部３５４が、移動物体Ｍｏと特定された商品を紐づける。
【０２８２】
ステップＳ４０９において、移動物体と紐づく商品リスト管理部３５５が、人と紐づく商品リストを精算まで管理し続ける。
ステップＳ４１０において、移動物体Ｍｏに紐づく商品情報に基づき、精算ゲート５が精算乃至決済する。
なお、ステップＳ４１０までの途中、又はステップＳ４１０の際に、エラー表示部１５１、情報端末９ａ、情報端末９ｂや精算ゲート５の出力部５０７が、何かしらのエラー状態を店員等に通知してもよい。
また、ステップＳ４１０において、売買制限商品が移動物体Ｍｏに紐づいている場合、ゲートを開けずに閉じたままとし、エラー状態を表示してもよい。
【０２８３】
〔他の実施形態〕
本発明は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、本情報処理システムは、棚在庫管理機能を備えてもよい。棚在庫管理機能は、店員判別手段と在庫情報更新手段とを備える。
店員判別手段は、店員と買い物客とを判別する。例えば、店員判別部は、店員を識別できる物理的なマーカーを帽子や服など、店員が身に着けているものに付与する。この物理的なマーカーを天井カメラ及び棚カメラが撮像することで、店員を判別する。この店員判別手段は、特に実施形態３，４において有効に利用することができる。
【０２８４】
また、店員判別手段は、店舗のバックヤード等の所定のエリアに設けられたボタンを備えてもよい。この店員判別手段は。所定のエリアに存在する店員にボタンを押されることでその店員にＩＤを採番する。この店員判別手段は、特に実施形態４において有効に利用することができる。なお、店員判別部は、店員と認識した人物の領域を天井カメラが追跡し続ける。
【０２８５】
そして、在庫情報の更新手段は、店員が棚に商品を補充した場合（加算）又は取り出したり廃棄したりした場合（減算）に、物体認識部及び商品特定部を駆使し、棚の在庫情報をサーバの商品ＤＢにおいて更新する。
在庫情報の更新手段は、商品が購入された場合に、当該商品が存在する棚の在庫及び店舗全体の在庫情報を更新する。
在庫情報の更新手段は、棚の在庫及び店舗全体の在庫情報を管理し、在庫数が閾値を下回ると、遠隔操作部に通知する、又は自動発注する。
【０２８６】
また、本発明は、買い物客の属性推定機能を備えてもよい。買い物客の属性推定機能は、買い物客の大まかな年齢や年代、性別等の属性を例えば顔認識から推定する。買い物客の属性推定機能は、実施形態１では、レジ端末に備えられ、実施形態２乃至４では売場装置に備えられる。なお、実施形態２においては、レジ端末に備えられていてもよい。また、本発明は、購買情報や買い物客の属性情報をＰＯＳシステムに連携する。購買情報は、商品名や金額等の情報をデータ化して、決済完了後にその情報をＰＯＳシステムに連携する。買い物客の属性情報は、上述の買い物客の属性推定機能にて得られた情報をＰＯＳシステム連携する。
【０２８７】
買い物客の属性推定機能は、例えば売買制限商品判定部と連携されてもよい。この買い物客の属性推定機能は、属性を推定した結果、買い物客が明らかに年齢確認を必要としない３０歳代以上であれば、売買制限商品判定部が年齢確認をしないように制御してもよい。
【０２８８】
また、本発明は、上述のＣＰＵによる画像処理をＧＰＵ（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）による処理としてもよい。
また、図示したハードウェア構成やブロック図は、本発明の目的を達成するための例示に過ぎず、本発明は図示された例に限定されない。
また、機能ブロックの存在場所は、図示されたものに限定されず、任意でよい。例えば、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらを組み合せで構成してもよい。各機能ブロックの処理をソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムがコンピュータ等にネットワークや記録媒体からインストールされる。
【０２８９】
コンピュータは、専用のハードウェアに組み込まれるコンピュータであってもよいし、スマートフォンやパーソナルコンピュータであってもよい。
また、実施形態１において説明した売買制限商品の処理は、実施形態２乃至４においても適用することができる。ただし、実施形態２での売買制限商品は、年齢制限商品に適用される。
【０２９０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものである。
【符号の説明】
【０２９１】
１・・・サーバ
２，２−１，２−ｎ・・・レジ端末
３・・・売場装置
４・・・精算機
５，５−１，５−２，５−３・・・精算ゲート
１０・・・店舗
１１・・・出入口
１４，２３・・・棚ラック
１５，２４・・・通路
２２・・・出入口
１０１，２０１，３０１・・・ＣＰＵ
１０８・・・記憶部
１０９，２１３，３１５・・・通信部
１３１・・・商品ＤＢ
１４１・・・ＤＢ管理部
１５１・・・エラー表示部
２０８・・・照明部
２１０・・・提示部
２１１・・・レジカメラ
２３５・・・商品特定部
２３６・・・売買制限商品判定部
２４１・・・ＤＢ情報保持部
２７０・・・囲繞部
２７６・・・プレート
３１０・・・天井カメラ
３１１・・・棚カメラ
３１２・・・カゴカメラ
３２０・・・個人認証部
３３０・・・移動物体追跡部
３３０２・・・天井カメラによる移動物体発見部
３３０３・・・天井カメラによるカゴ発見部
３３０４・・・天井カメラによる移動物体領域追跡部
３３０５・・・天井カメラによる移動物体領域定義部
３３０６・・・天井カメラによるカゴ領域定義部
３３０７・・・天井カメラによるカゴ領域追跡部
３３０８・・・グルーピング部
３３０９・・・血縁関係判定部
３４０・・・位置情報管理部
３４１・・・カメラ間情報受け渡し部
３４２・・・各カメラの位置定義部
３５０・・・冊数カウント部
３５１・・・冊数認識部
３５２・・・人と冊数紐づけ部
３５４・・・冊数不特定判定部
３５５・・・人から人への受け渡し認識部
３６０・・・棚商品認識部
３６０２・・・棚カメラによる物体認識部
３６０３・・・棚カメラによる商品特定部
３６０９・・・商品不特定判定部
３６１０・・・ラベル認識部
３６１２・・・棚カメラ又は天井カメラによるカゴ入出検知部
３７０・・・カゴ商品認識部
３７２・・・カゴ入出検知部
３７３・・・カゴカメラによる物体認識部
３７４・・・カゴカメラによる商品特定部
３７５・・・カゴ商品の不特定判定部
３７６・・・カゴ商品のラベル認識部
３７７・・・カゴ商品の値引きシール認識部
３８０・・・売買制限商品判定部
３９０・・・遠隔操作部
Ｍｏ・・・移動物体
【図１】
2017157216.tif 000003
【図２】
2017157216.tif 000004
【図３】
2017157216.tif 000005
【図４】
2017157216.tif 000006
【図５】
2017157216.tif 000007
【図６】
2017157216.tif 000008
【図７】
2017157216.tif 000009
【図８】
2017157216.tif 000010
【図９】
2017157216.tif 000011
【図１０】
2017157216.tif 000012
【図１１】
2017157216.tif 000013
【図１２】
2017157216.tif 000014
【図１３】
2017157216.tif 000015
【図１４】
2017157216.tif 000016
【図１５】
2017157216.tif 000017
【図１６】
2017157216.tif 000018
【図１７】
2017157216.tif 000019
【図１８】
2017157216.tif 000020
【図１９】
2017157216.tif 000021
【図２０】
2017157216.tif 000022
【図２１】
2017157216.tif 000023
【図２２】
2017157216.tif 000024
【図２３】
2017157216.tif 000025
【図２４】
2017157216.tif 000026
【図２５】
2017157216.tif 000027
【図２６】
2017157216.tif 000028
【図２７】
2017157216.tif 000029
【図２８】
2017157216.tif 000030
【図２９】
2017157216.tif 000031
【図３０】
2017157216.tif 000032
【図３１】
2017157216.tif 000033
【図３２】
2017157216.tif 000034
【図３３】
2017157216.tif 000035
【図３４】
2017157216.tif 000036
【図３５】
2017157216.tif 000037
【図３６】
2017157216.tif 000038
【図３７】
2017157216.tif 000039