(57)【要約】      （修正有）【課題】買い物かご内の商品の識別をより確実に行うことができる商品管理システムおよび商品管理方法を提供する。【解決手段】商品管理システム１４０の代表的な構成は、商品の商品情報を管理するサーバ１１６と、サーバと無線通信を行う通信機器１０４が設けられ買い物客によって商品が投入あるいは取り出される買い物かご１００とを有する商品管理システムであって、通信機器は、買い物かご内の動画を撮像する撮像部１０６と、撮像部で撮像された動画をサーバに送信する無線通信部１０８とを有し、サーバは、動画に基づいて、買い物かごに投入された商品の物体認識を行い、商品の位置を追跡する物体認識部１６６と、動画に基づいて、商品の画像認識を行い、商品を識別する画像認識部１６８とを有し、物体認識部は、少なくとも画像認識部によって商品が識別されるまで、商品の位置を追跡し続ける。【選択図】図３
2016057813.tif 000002
【特許請求の範囲】
【請求項１】
商品の商品情報を管理するサーバと、該サーバと無線通信を行う通信機器が設けられ買い物客によって商品が投入あるいは取り出される買い物かごとを有する商品管理システムであって、
前記通信機器は、
前記買い物かご内の動画を撮像する撮像部と、
前記撮像部で撮像された動画を前記サーバに送信する無線通信部とを有し、
前記サーバは、
前記動画に基づいて、前記買い物かごに投入された商品の物体認識を行い、該商品の位置を追跡する物体認識部と、
前記動画に基づいて、前記商品の画像認識を行い、該商品を識別する画像認識部とを有し、
前記物体認識部は、少なくとも前記画像認識部によって前記商品が識別されるまで、該商品の位置を追跡し続けることを特徴とする商品管理システム。
【請求項２】
前記サーバは、前記画像認識部による商品の画像認識の完了前に商品が前記買い物かごから取り出された場合、画像認識を中断する制御部をさらに備えることを特徴とする請求項１に記載の商品管理システム。
【請求項３】
前記サーバは、前記商品情報が格納された商品マスタテーブルと、該商品マスタテーブルを参照し前記買い物かご毎に前記制御部によって作成されるかご内商品テーブルとをさらに備え、
前記制御部は、
商品の物体認識後に物体ＩＤを前記かご内商品テーブルに登録し、
前記商品が画像認識により識別されると前記商品マスタテーブルから該商品の前記商品情報を読み出し、該商品情報を前記かご内商品テーブルに登録することを特徴とする請求項２に記載の商品管理システム。
【請求項４】
前記通信機器は、買い物かご内の全ての商品について前記商品情報が前記かご内商品テーブルに登録されると点灯するランプをさらに備えることを特徴とする請求項３に記載の商品管理システム。
【請求項５】
前記制御部は、動画を用いた物体認識による前記商品の位置の変化に基づいて動きベクトルを算出し、該動きベクトルに基づいて、前記買い物かごから商品が取り出されたか否かを判定することを特徴とする請求項２から４のいずれか１項に記載の商品管理システム。
【請求項６】
前記物体認識部は、前記商品の識別後も物体認識を継続することを特徴する請求項１から５のいずれか１項に記載の商品管理システム。
【請求項７】
商品の商品情報を管理するサーバと、該サーバと無線通信を行う通信機器が設けられ買い物客によって商品が投入あるいは取り出される買い物かごとを用いた商品管理方法であって、
前記通信機器は、前記買い物かご内の動画を撮像して、該動画を前記サーバに送信し、
前記サーバは、
前記動画に基づいて、前記買い物かごに投入された商品の物体認識および画像認識を行い、
少なくとも前記画像認識によって前記商品が識別されるまで、前記物体認識によって該商品の位置を追跡し続けることを特徴とする商品管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スーパーマーケットなどの店舗で商品の管理を行う商品管理システムおよび商品管理方法に関するものである。
【背景技術】
【０００２】
スーパーマーケットなどの店舗において、買い物客は、商品棚から所望の商品を適宜選び、その商品を買い物かごに投入する。また、一度投入された商品であっても購入しないのであれば、買い物客は、レジ（清算所）での清算前に、買い物かごからその商品を取り出し商品棚に戻す。
【０００３】
その後、レジでは、店員が買い物客から買い物かごを受け取り、買い物かご内の商品に付されたバーコードなどをスキャンすることで、商品の合計金額がディスプレイなどに表示される。そして、買い物客は、合計金額を支払うことで清算を済ませる。このように、買い物かご内の商品の合計金額は、一般的には、店員が操作するレジで初めて算出される。
【０００４】
これに対して、買い物かご内の商品の合計金額を、レジによらず自動的に算出する技術が知られている（例えば、特許文献１）。特許文献１には、複数のカメラが設けられた商品カート（買い物かご）と、商品の清算を自動的に行う商品清算装置とを有する商品自動清算システムが記載されている。
【０００５】
この商品自動清算システムでは、まず、商品が買い物かごに収納された時に、複数のカメラによって複数の方向から商品を撮影し、撮影した複数の画像情報を商品の商品情報として商品清算装置に送信する。つぎに、商品清算装置は、商品情報として送信された商品の複数の画像情報を受信するとともに、複数の画像情報と画像が撮影された時刻データに基づいて商品を認識する。
【０００６】
続いて、商品清算装置は、商品の認識結果に基づいて、予め登録されている商品の情報を参照し、商品名および商品の金額を含む情報を買い物かごに通知する。通知された商品の情報は、買い物かごの表示操作部に表示される。このようにして、特許文献１では、商品が買い物かごに収納される度に、これらの処理を繰り返すことで商品清算装置によって、購入する全ての商品の合計金額が算出される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３７０４４９９号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の技術では、商品が買い物かごに収納された時に、複数のカメラによって複数の方向から商品を撮影することで得た複数の画像情報と、画像が撮影された時刻データとに基づいて商品を認識している。なお特許文献１には、買い物かごに収納された商品の購入を中止するために、買い物客が買い物かごからその商品を取り出した際にも、同様の処理で商品を認識する旨の記載がある（段落００４２）。
【０００９】
しかし、画像認識によって商品を識別する処理は、演算処理が複雑であり処理に要する時間もかかる。特許文献１では、買い物かごに商品が収納されたとき、あるいは買い物かごから商品が取り出された際に、複数の画像情報から一瞬で画像認識する必要があり、商品の識別を確実に行うことが困難となる。
【００１０】
本発明は、このような課題に鑑み、買い物かご内の商品の識別をより確実に行うことができる商品管理システムおよび商品管理方法を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明にかかる商品管理システムの代表的な構成は、商品の商品情報を管理するサーバと、サーバと無線通信を行う通信機器が設けられ買い物客によって商品が投入あるいは取り出される買い物かごとを有する商品管理システムであって、通信機器は、買い物かご内の動画を撮像する撮像部と、撮像部で撮像された動画をサーバに送信する無線通信部とを有し、サーバは、動画に基づいて、買い物かごに投入された商品の物体認識を行い、商品の位置を追跡する物体認識部と、動画に基づいて、商品の画像認識を行い、商品を識別する画像認識部とを有し、物体認識部は、少なくとも画像認識部によって商品が識別されるまで、商品の位置を追跡し続けることを特徴とする。
【００１２】
物体認識（オブジェクト認識）は、画像認識によって商品を識別する処理に比べると、演算処理が軽く、かつ処理も短時間で終了する。そこで、上記構成によれば、通信機器から送信された買い物かご内の動画に基づいて物体認識を行い、物体の位置を追跡しながら画像認識を継続できる。このため、画像認識に要する時間を確保し、商品の識別をより確実に行うことができる。
【００１３】
上記のサーバは、画像認識部による商品の画像認識の完了前に商品が買い物かごから取り出された場合、画像認識を中断する制御部をさらに備えるとよい。ここで、物体認識部は画像認識が完了するまで物体の位置を追跡し続ける。一方、買い物かごから取り出された商品は、清算の対象とはならないため、画像認識は不要となる。よって、上記のように、画像認識の完了前の商品が買い物かごから取り出された場合に、この商品の画像認識を中断することで、画像認識に伴う負荷を軽減できる。
【００１４】
上記のサーバは、商品情報が格納された商品マスタテーブルと、商品マスタテーブルを参照し買い物かご毎に制御部によって作成されるかご内商品テーブルとをさらに備え、制御部は、商品の物体認識後に物体ＩＤをかご内商品テーブルに登録し、商品が画像認識により識別されると商品マスタテーブルから商品の商品情報を読み出し、商品情報をかご内商品テーブルに登録するとよい。
【００１５】
これにより、買い物かご内に残っている商品の商品情報をかご内商品テーブルに登録できる。このため、サーバは、このかご内商品テーブルを参照することで買い物かご内の商品の商品名、金額、重量などを管理できる。なお、商品が買い物かごから取り出された場合、その旨を示すフラグをその商品のレコードに設定してもよいし、その商品のレコードを削除してもよい。
【００１６】
上記の通信機器は、買い物かご内の全ての商品について商品情報がかご内商品テーブルに登録されると点灯するランプをさらに備えるとよい。これにより、買い物客は、ランプが点灯すると無人レジにて清算可能であり、ランプが消灯していると有人レジでの清算となることを把握できる。したがって買い物客を円滑に適切なレジに誘導することが可能となる。
【００１７】
上記の制御部は、動画を用いた物体認識による商品の位置の変化に基づいて動きベクトルを算出し、動きベクトルに基づいて、買い物かごから商品が取り出されたか否かを判定するとよい。このように物体認識が静止画ではなく動画に基づいて行われることから、制御部は動きベクトルを算出可能である。制御部は、一例として、商品が上方に向かう動きベクトルを伴って動画内から消失したとき、買い物かごから商品が取り出されたと判定できる。
【００１８】
上記の物体認識部は、商品の識別後も物体認識を継続するとよい。これにより、商品が買い物かごから取り出された際に画像認識を行うことなく、その商品を特定できる。すなわち、買い物かごから商品が取り出される際に、一瞬で画像認識する必要がない。これにより買い物かごの中にある商品の増減を適切に把握することができる。
【００１９】
本発明にかかる商品管理方法の代表的な構成は、商品の商品情報を管理するサーバと、サーバと無線通信を行う通信機器が設けられ買い物客によって商品が投入あるいは取り出される買い物かごとを用いた商品管理方法であって、通信機器は、買い物かご内の動画を撮像して、動画をサーバに送信し、サーバは、動画に基づいて、買い物かごに投入された商品の物体認識および画像認識を行い、少なくとも画像認識によって商品が識別されるまで、物体認識によって商品の位置を追跡し続けることを特徴とする。
【００２０】
上述した商品管理システムにおける技術的思想に対応する構成要素やその説明は、当該方法にも適用可能である。
【発明の効果】
【００２１】
本発明によれば、買い物かご内の商品の識別をより確実に行うことができる商品管理システムおよび商品管理方法を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本実施形態における商品管理システムに用いられる買い物かごの外観を概略的に示す図である。
【図２】本実施形態における商品管理システムが適用される店舗を概略的に示す図である。
【図３】本実施形態における商品管理システムの構成を例示する機能ブロック図である。
【図４】本実施形態における商品管理方法の各処理を示すフローチャートである。
【図５】図１の買い物かごに商品が投入された際の処理を説明するための図である。
【図６】図１の買い物かごに商品が投入された際に作成されるかご内商品テーブルを示す図である。
【図７】図１の買い物かごから商品が取り出される際の処理を説明するための図である。
【図８】図１の買い物かごから商品が取り出される際に作成されるかご内商品テーブルを示す図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２４】
図１は、本実施形態における商品管理システムに用いられる買い物かごの外観を概略的に示す図である。図１（ａ）は、買い物かごの斜視図である。図１（ｂ）は、図１（ａ）の正面図である。図２は、本実施形態における商品管理システムが適用される店舗を概略的に示す図である。図２（ａ）は、店舗の一例としてスーパーマーケットの内部を示している。図２（ｂ）は、図２（ａ）の無人レジを示す斜視図である。
【００２５】
買い物かご１００は、図１（ａ）に示すように、その側面１０２に通信機器１０４が設けられている。通信機器１０４は、買い物かご１００に着脱可能または一体に取付けられるボードであり、図１（ｂ）に示すように例えば、撮像部１０６と、無線通信部１０８と、ランプ１１０とを有する。撮像部１０６は、動画カメラであり、図１（ａ）に示すように、買い物かご１００の上縁１１２よりも上方に位置していて、買い物かご１００内の動画を上方から撮像する。なお買い物かご１００は、麻布などを用いた遮光性と通気性とを両立した遮光ネット１１４で覆われていて、撮像を良好に行うことができる。
【００２６】
無線通信部１０８は、撮像部１０６で撮像された動画をサーバ１１６（図３参照）に送信する。ランプ１１０は、例えば、図２に示す無人レジ１１８での清算が可能である場合に点灯し、有人レジ１２０での清算となる場合に消灯する。つまり、ランプ１１０は、点灯の有無によって、買い物客を無人レジ１１８または有人レジ１２０に案内する。
【００２７】
図２（ａ）に示すようにスーパーマーケット１３０などの店舗において、買い物客１３２は、入口１３４付近に配置された買い物かご１００を持って、各種商品棚１３６ａ〜１３６ｄから商品を適宜選び、その商品を買い物かご１００に投入する。また、一度投入された商品であっても購入しないのであれば、買い物客１３２は、清算前に、買い物かご１００からその商品を取り出し商品棚１３６ａ〜１３６ｄに戻す。このような動作を繰り返した後、買い物かご１００には、清算すべき商品が収納されている。
【００２８】
本実施形態では、買い物かご１００内の全ての商品についての商品情報をサーバ１１６内で管理することで、商品の合計金額などを自動的に算出し、無人レジ１１８での清算を可能とする商品管理システム１４０（図３参照）を採用した。
【００２９】
無人レジ１１８は、図２（ｂ）に示すように一例として、表示部１４２と、ＩＣリーダ１４４と、計量台１４６と、有線通信部１４８とを有する。表示部１４２は、例えば買い物かご１００内の商品の合計金額や商品点数などを表示する。ＩＣリーダ１４４は、かごＩＤ（後述）などを読み取る。計量台１４６は、買い物かご１００内全体の重量をチェックする。有線通信部１４８は、サーバ１１６と有線通信を行う。また、無人レジ１１８は、紙幣口１５０ａ、硬貨口１５０ｂ、クレジットカード用のカード口１５０ｃを有し、これらを用いて買い物客１３２が清算を行い、清算が完了するとレシートプリンタ１５２からレシートが印刷される。
【００３０】
無人レジ１１８は、適宜の音声案内を行うためのスピーカ１５４や、店員を呼び出すためのボタン１５６をさらに有する。買い物客１３２は、例えば表示部１４２に表示された合計金額や商品点数に対して疑問があれば、ボタン１５６を押下して店員を呼び出すことができる。さらに無人レジ１１８では、清算が完了するとゲート１５８が開く。買い物客１３２は、ゲート１５４を通過した後、例えば袋詰めスペース１６０などで商品を袋に詰めた後、出口１６２から退店する。
【００３１】
以下、商品管理システム１４０について説明する。図３は、本実施形態における商品管理システム１４０の構成を例示する機能ブロック図である。図３（ａ）、図３（ｂ）は、買い物かご１００、サーバ１１６の構成をそれぞれ例示する機能ブロック図である。
【００３２】
買い物かご１００の通信機器１０４は、図３（ａ）に示すように、上記撮像部１０６、無線通信部１０８およびランプ１１０に加え、これらを制御する制御部１６４を有する。サーバ１１６は、図３（ｂ）に示すように、物体認識部１６６と、画像認識部１６８と、制御部１７０と、メモリ１７２とを有する。メモリ１７２は、商品マスタテーブル１７４と、かご内商品テーブル１７６とを含む。さらにサーバ１１６は、買い物かご１００と無線通信を行う無線通信部１７８と、有線通信部１８０とを有する。有線通信部１８０は、通信網１８２を介して無人レジ１１８と有線通信を行う。
【００３３】
商品マスタテーブル１７４は、例えばスーパーマーケット１３０内の商品一覧のような一覧テーブルであって、商品情報すなわち商品名、価格、重量などが格納されている。かご内商品テーブル１７６は、サーバ１１６の制御部１７０が商品マスタテーブル１７４を参照し、買い物かご１００毎に作成されるテーブルである。ここで、サーバ１１６は、買い物かご１００の無線通信部１０８から送信されたデータに含まれるかごＩＤを、無線通信部１７８を介して受信する。サーバ１１６の制御部１７０は、受信したかごＩＤを用いて上記かご内商品テーブル１７６を買い物かご１００毎に作成できる。
【００３４】
つぎに、商品管理システム１４０の動作について説明する。図４は、本実施形態における商品管理方法の各処理を示すフローチャートである。ここで前提として、買い物かご１００では撮像部１０６が買い物かご１００内の動画を撮像し続けていて、無線通信部１０８がサーバ１１６に動画を送信し続けているものとする。
【００３５】
まず、商品が投入されると、買い物かご１００では、ランプ１１０が消灯する（ステップＳ１００）。ランプ１１０が消灯していることで、買い物客１３２は、現段階では無人レジ１１８ではなく有人レジ１２０でのみ清算可能であることを確認できる。つぎに、サーバ１１６の制御部１７０は、物体認識部１６６および画像認識部１６８を制御して、撮像部１０６で撮像された動画に基づく、物体認識処理および画像認識処理を開始させる（ステップＳ１０２）。
【００３６】
ここで、物体認識処理（オブジェクト認識）は、物体の大きさ、形を認識する処理であって、例えば物体の頂点の座標（位置）に基づいて、買い物かご１００内での物体の位置や動きを把握する。また、画像認識処理は、物体の例えば特徴点などを把握して商品を識別する処理である。物体認識処理は、画像認識処理に比べると、演算処理が軽く、かつ処理も短時間で終了する。そこで、商品管理システム１４０では、物体認識部１６６は、少なくとも画像認識部１６８によって商品が識別されるまで、商品の位置を追跡し続ける処理を行う。
【００３７】
すなわちステップＳ１０２の後、まずサーバ１１６の制御部１７０は、物体認識部１６６による商品の物体認識後、かご内商品テーブル１７６に物体ＩＤを登録する（ステップＳ１０４）。続いてサーバ１１６の制御部１７０は、物体認識部１６６による物体認識で物体の位置を追跡しながら、画像認識部１６８による画像認識処理を継続させる（ステップＳ１０６）。
【００３８】
つぎに、サーバ１１６の制御部１７０は、画像認識部１６８による商品の画像認識の完了前に商品が買い物かご１００から取り出されたか否かを判定する（ステップＳ１０８）。このステップＳ１０８の判定は、制御部１７０が動画を用いた物体認識による商品の位置の変化に基づいて動きベクトルを算出し、この動きベクトルに基づいて判定可能となる。一例として、商品が上方に向かう動きベクトルを伴って動画内から消失したとき、制御部１７０は、買い物かご１００から商品が取り出されたと判定できる。
【００３９】
ステップＳ１０８で商品が買い物かご１００外に移動した場合（Ｙｅｓ）、制御部１７０は、かご内商品テーブル１７６に戻しフラグ（後述）を設定し、その物体についての画像認識を中断する（ステップＳ１１０）。上記したように、物体認識部１６６は画像認識が完了するまで物体の位置を追跡し続ける。一方、買い物かご１００から取り出された商品は、清算の対象とはならないため、画像認識は不要となる。したがって、ステップＳ１１０の処理のように、画像認識の完了前の商品が買い物かご１００から取り出された場合に、この商品の画像認識を中断することで、画像認識に伴う負荷を軽減できる。
【００４０】
一方、ステップＳ１０８で商品が買い物かご１００外に移動していない場合（Ｎｏ）、サーバ１１６の制御部１７０は、物体についての画像認識が完了し商品を識別できたか否かを判定する（ステップＳ１１２）。画像認識が完了すると（ステップＳ１１２、Ｙｅｓ）、制御部１７０は、かご内商品テーブル１７６に商品情報を登録する（ステップＳ１１４）。
【００４１】
以下図５、図６を参照して、上記各ステップの処理について具体的に説明する。図５は、図１の買い物かご１００に商品１８４が投入された際の処理を説明するための図である。なお図５の左側は、商品１８４として牛乳が投入される様子を示している。図５の右側は、商品１８４を物体Ａとして認識し各頂点Ｔ１、Ｔ２、Ｔ３、Ｔ４の座標を把握して物体Ａを追跡する様子を示している。また、図５の右側に示す領域Ｂは、１台の撮像部１０６から得られた二次元の画像を例示している。図６は、図１の買い物かご１００に商品１８４が投入された際に作成されるかご内商品テーブル１７６を示す図である。
【００４２】
まず図５（ａ）に示すように、商品１８４が買い物かご１００に投入されると、物体認識部１６６の物体認識処理によって、領域Ｂ内での物体Ａの各頂点Ｔ１、Ｔ２、Ｔ３、Ｔ４の座標が把握される。制御部１７０は、図６（ａ）に示すように、これらの座標を物体ＩＤ「Ａ」とともに、かご内商品テーブル１７６に登録する。
【００４３】
かご内商品テーブル１７６は、物体ＩＤ、座標の項目に加えて、商品名、価格、重量、戻しの項目を含む。図６（ａ）では、座標の項目には、頂点Ｔ１の座標（Ｘａ、Ｙａ）のみを示し、他の頂点Ｔ２、Ｔ３、Ｔ４の座標は図示を省略している。また「戻し」の項目には、上記ステップＳ１０８のように、買い物かご１００から商品１８４が戻された場合、戻しフラグが設定される。ここでは、買い物かご１００内に商品１８４が投入されていて、商品１３２の画像認識が未だ完了していないため、商品情報としての商品名、価格、重量、および戻しの各項目は空白となっている。
【００４４】
つぎに図５（ｂ）に示すように、投入された商品１８４が買い物かご１００の底まで移動すると、物体認識部１６６は、継続して物体認識処理を行い、領域Ｂ内での物体Ａの各頂点Ｔ１、Ｔ２、Ｔ３、Ｔ４の座標を把握する。なお物体認識部１６６は、物体認識による物体Ａの位置の変化に基づいて動きベクトルＣを算出する。制御部１７０は、この動きベクトルＣに基づいて、商品１８４が買い物かご１００の底に向かって移動したことを把握できる。図６（ｂ）では、座標の項目に、頂点Ｔ１の移動後の座標として座標（Ｘｂ、Ｙｂ）のみを示している。なおこの時点では、商品１８４の画像認識が未だ完了していないため、商品名、価格、重量、および戻しの各項目は空白となっている。
【００４５】
さらに図５（ｃ）に示すように、買い物かご１００の底に位置する商品１８４の画像認識が完了し、商品１８４が識別されると、制御部１７０は、商品マスタテーブル１７４を参照して、かご内商品テーブル１７６に、商品名「○○○牛乳」、価格「１８０円」、重量「５００ｇ」との商品情報を登録する。なお買い物かご１００内に商品１８４が位置するので、戻しの項目は空白となっている。
【００４６】
再び図４に戻って説明する。ステップＳ１１２でかご内商品テーブル１７６に商品情報が登録されると、その旨がサーバ１１６の無線通信部１７８から買い物かご１００に送信される。そして、買い物かご１００の制御部１６４は、無線通信部１０８でその旨を受信し、ランプ１１０を点灯する（ステップＳ１１６）。ランプ１１０が点灯していることで、買い物客１３２は、無人レジ１１８の清算が可能であることを確認できる。
【００４７】
つぎに、ステップＳ１１２で画像認識が例えば所定時間継続しても完了せず画像認識不能であった場合（Ｎｏ）、ランプ１１０は消灯したままで、ステップＳ１１８に進む（タイムアウトによりその商品についての画像認識を終了する）。
【００４８】
サーバ１１６の制御部１７０は、画像認識部１６８によって商品１８４が識別された後も物体認識による追跡を継続し、商品１８４が買い物かご１００から取り出されたか否かを判定する（ステップＳ１１８）。ステップＳ１１８で商品１８４が買い物かご１００外に移動した場合（Ｙｅｓ）、制御部１７０は、上記ステップＳ１１０に進み、かご内商品テーブル１７６に戻しフラグを設定する。以下図７、図８を参照して、上記各ステップについて具体的に説明する。
【００４９】
図７は、図１の買い物かご１００から商品１８４が取り出される際の処理を説明するための図である。なお図７の左側は、商品１８４として牛乳が買い物かご１００の底を移動し、さらに買い物かご１００から取り出される様子を示している。図７の右側は、商品１８４を物体Ａとして認識し領域Ｂ内での各頂点Ｔ１、Ｔ２、Ｔ３、Ｔ４の座標を把握して物体Ａを追跡する様子を示している。図８は、図１の買い物かご１００から商品１８４が取り出される際に作成されるかご内商品テーブル１７６を示す図である。
【００５０】
まず図７（ａ）に示すように、商品１８４が買い物かご１００の底を移動すると、物体認識部１６６の物体認識処理によって、領域Ｂ内での物体Ａの各頂点Ｔ１、Ｔ２、Ｔ３、Ｔ４の座標が把握される。制御部１７０は、かご内商品テーブル１７６の座標の項目に、物体Ａの移動後の座標を登録する。なお図８（ａ）では、座標の項目には、頂点Ｔ１の移動後の座標（Ｘｃ、Ｙｃ）のみを示し、他の頂点Ｔ２、Ｔ３、Ｔ４の座標は図示を省略している。ここでは、買い物かご１００内に商品１８４が移動しているものの、買い物かご１００から取り出されてはいないため、戻しの各項目は空白となっている。
【００５１】
つぎに図７（ｂ）に示すように、買い物かご１００の底を移動した商品１８４が、買い物かご１００から取り出されようとした場合も、物体認識部１６６は、継続して物体認識処理を行い、領域Ｂ内での物体Ａの各頂点Ｔ１、Ｔ２、Ｔ３、Ｔ４の座標を把握する。ここで、物体認識部１６６は、物体認識による物体Ａの位置の変化に基づいて動きベクトルＤを算出する。制御部１７０は、この動きベクトルＤに基づいて、商品が買い物かご１００の底から上方に向かって移動したことを把握できる。なお図８（ｂ）では、座標の項目に、頂点Ｔ１の移動後の座標として座標（Ｘｄ、Ｙｄ）のみを示している。なおこの時点では、買い物かご１００内に商品１８４が上方に向かって移動しているものの、買い物かご１００から取り出されてはいない。このため、かご内商品テーブル１７６の戻しの各項目は空白となっている。
【００５２】
さらに図７（ｃ）に示すように、商品１８４が上方に向かう動きベクトルＤを伴って動画Ｂ内から消失したとき、制御部１７０は、買い物かご１００から商品１８４が取り出されたと判定する。そして、制御部１７０は、その旨を示す戻しフラグを、図８（ｃ）に示すようにかご内商品テーブル１７６の戻しの項目に設定する。なおこの際、戻しフラグを設定する代わりに、レコード自体を削除してもよい。
【００５３】
再び図４に戻って説明する。ステップＳ１１８で商品１８４が買い物かご１００外に移動していない場合（Ｎｏ）、制御部１７０は、無人レジ１１８での清算が完了したか否かを判定する（ステップＳ１２０）。ステップＳ１２０で清算が完了していない場合には（Ｎｏ）、上記ステップＳ１１８に戻り、清算が完了すると（Ｙｅｓ）、上記各処理を終了する。なお以上の各処理は、買い物かご１００内に投入された商品毎に実行される。つまり、ステップＳ１１６でランプ１１０が点灯している場合、買い物かご１００内の全ての商品について商品情報がかご内商品テーブル１７６に登録されたことを意味している。したがって買い物客１３２を円滑に適切なレジに誘導することが可能となる。
【００５４】
無人レジ１１８は、清算の際、ＩＣリーダ１４４によりかごＩＤを読み込み、有線通信部１４８によりサーバ１１６からかごＩＤに対応する、かご内商品テーブル１７６を読み出す。そして、無人レジ１１８は、買い物かご１００内の全ての商品の合計金額を算出し、表示部１４２に表示する。無人レジ１１８は、計量台１４６に置かれた買い物かご１００の総重量を計測し、かご内商品テーブル１７６に登録された重量の合計と比較し、重量がほぼ一致していれば、清算可能となり、不一致であれば有人レジ１２０での清算を案内する。
【００５５】
なお清算が完了した時点で、サーバ１１６上のかご内商品テーブル１７６をリセットしてもよい。また撮像部１０６による撮像は、買い物客１３２が買い物かご１００を返却するまで、引き続き継続してもよい。
【００５６】
上記説明したように、本実施形態における商品管理システム１４０によれば、通信機器１０４から送信された買い物かご１００内の動画に基づいて物体認識を行い、物体の位置を追跡しながら画像認識を継続できる。したがって、商品の画像認識に要する時間を確保し、商品の識別をより確実に行うことができる。
【００５７】
また、サーバ１１６は、画像認識部１６８による商品の画像認識の完了前に商品が買い物かご１００から取り出された場合、画像認識を中断するため、画像認識に伴う負荷を軽減できる。
【００５８】
また、サーバ１１６の物体認識部１６６は、商品の識別後も物体認識を継続している。このため、商品が買い物かご１００から取り出された際に画像認識を行うことなく、その商品を特定できる。すなわち、買い物かご１００から商品が取り出される際に、一瞬で画像認識する必要がないため、買い物かご１００の中にある商品の増減を適切に把握できる。
【００５９】
上記実施形態では、１台の撮像部１０６から得られた二次元の画像を用いて物体の位置を追跡するようにしたが、これに限られず、複数台の動画カメラを用いて三次元での物体の位置を追跡するようにしてもよい。
【００６０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【００６１】
本発明は、スーパーマーケットなどの店舗で商品の管理を行う商品管理システムおよび商品管理方法に利用することができる。
【符号の説明】
【００６２】
１００…買い物かご、１０２…側面、１０４…通信機器、１０６…撮像部、１０８、１７８…無線通信部、１１０…ランプ、１１２…上縁、１１４…遮光ネット、１１６…サーバ、１１８…無人レジ、１２０…有人レジ、１３０…スーパーマーケット、１３２…買い物客、１３４…入口、１３６ａ〜１３６ｄ…商品棚、１４０…商品管理システム、１４２…表示部、１４４…ＩＣリーダ、１４６…計量台、１４８、１８０…有線通信部、１５０ａ…紙幣口、１５０ｂ…硬貨口、１５０ｃ…カード口、１５２…レシートプリンタ、１５４…スピーカ、１５６…ボタン、１５８…ゲート、１６０…袋詰めスペース、１６２…出口、１６４、１７０…制御部、１６６…物体認識部、１６８…画像認識部、１７２…メモリ、１７４…商品マスタテーブル、１７６…かご内商品テーブル、１８２…通信網、１８４…商品
【図１】
2016057813.tif 000003
【図２】
2016057813.tif 000004
【図３】
2016057813.tif 000005
【図４】
2016057813.tif 000006
【図５】
2016057813.tif 000007
【図６】
2016057813.tif 000008
【図７】
2016057813.tif 000009
【図８】
2016057813.tif 000010