(57)【特許請求の範囲】
【請求項１】
商品の売上げに係る購買情報を処理する情報処理装置であって、
撮影装置によって撮影される人物の画像データであって、複数の表示部に表示される１又は複数の人物の画像データを含む選択画面を、前記情報処理装置が有する第１の表示部に表示する表示制御手段と、
前記選択画面において人物の画像データが選択されると、当該選択された人物の画像データに映る人物に係る情報と、前記情報処理装置における処理対象の購買情報とを関連付けた情報を生成する生成手段と、
を有し、
前記表示制御手段は、他の情報処理装置が有する表示部に表示される前記選択画面における人物の画像データの選択状況に応じた前記選択画面を、前記第１の表示部に表示することを特徴とする情報処理装置。
【請求項２】
前記表示制御手段は、前記他の情報処理装置において選択された人物の画像データを識別可能な前記選択画面を、前記第１の表示部に表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記他の情報処理装置において人物の画像データが選択されたことに応じて、当該選択された人物の画像データが非表示とされた前記選択画面を、前記第１の表示部に表示することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記第１の表示部に表示されてから所定時間が経過した人物の画像データが非表示とされた前記選択画面を、前記第１の表示部に表示することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記人物に係る情報は、前記人物の画像データに基づいて特定される前記人物の画像データに映る人物の年齢及び性別の内の少なくともいずれかであることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記選択画面では、前記他の情報処理装置により選択されているか否かにかかわらず、前記選択画面に含まれる前記人物の画像データを選択することが可能であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
撮影装置によって撮影される人物の画像データを管理する管理手段をさらに備え、
前記管理手段は、人物の画像データに対して当該管理手段で管理する順に連番となるように番号を付して管理し、
前記表示制御手段は、前記選択画面に含まれる前記人物の画像データのうち、前記他の情報処理装置により選択されている人物の画像データが、前記選択画面において選択された人物の画像データよりも付された番号が前の番号である場合、前記表示制御手段は、前記他の情報処理装置により選択されている人物の画像データを前記選択画面から消去することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記生成手段により生成した情報を、前記情報処理装置と通信可能な記憶装置に送信する送信手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記表示制御手段は、会計のために並んでいる１または複数の人物の画像を含む前記選択画面を表示させ、
前記情報処理装置において会計を行っている人物に対応する前記画像を、前記選択画面上でユーザからの選択を受け付けることに応じて、選択する選択手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
第１の表示部を有する第１の情報処理装置と、第２の表示部を有する第２の情報処理装置とを含み、商品の売上げに係る購買情報を処理する情報処理システムであって、
撮影装置によって撮影される人物の画像データであって、複数の表示部に表示される１又は複数の人物の画像データを含む選択画面を、前記第１の表示部に表示させる表示制御手段と、
前記選択画面において人物の画像データが選択されると、当該選択された人物の画像データに映る人物に係る情報と、前記第１の情報処理装置における処理対象の購買情報とを関連付けた情報を生成する生成手段と、
を有し、
前記表示制御手段は、前記第２の表示部に表示される前記選択画面における人物の画像データの選択状況に応じた前記選択画面を、前記第１の表示部に表示させることを特徴とする情報処理システム。
【請求項１１】
商品の売上げに係る購買情報を処理する情報処理装置の制御方法であって、
前記情報処理装置の表示制御手段が、撮影装置によって撮影される人物の画像データであって、複数の表示部に表示される１又は複数の人物の画像データを含む選択画面を、前記情報処理装置が有する第１の表示部に表示する表示制御工程と、
前記情報処理装置の生成手段が、前記選択画面において人物の画像データが選択されると、当該選択された人物の画像データに映る人物に係る情報と、前記情報処理装置における処理対象の購買情報とを関連付けた情報を生成する生成工程と、
を有し、
前記表示制御工程では、他の情報処理装置が有する表示部に表示される前記選択画面における人物の画像データの選択状況に応じた前記選択画面を、前記第１の表示部に表示することを特徴とする情報処理装置の制御方法。
【請求項１２】
第１の表示部を有する第１の情報処理装置と、第２の表示部を有する第２の情報処理装置とを含み、商品の売上げに係る購買情報を処理する情報処理システムの制御方法であって、
前記情報処理システムの表示制御手段が、撮影装置によって撮影される人物の画像データであって、複数の表示部に表示される１又は複数の人物の画像データを含む選択画面を、前記第１の表示部に表示させる表示制御工程と、
前記情報処理システムの生成手段が、前記選択画面において人物の画像データが選択されると、当該選択された人物の画像データに映る人物に係る情報と、前記第１の情報処理装置における処理対象の購買情報とを関連付けた情報を生成する生成工程と、
を有し、
前記表示制御工程では、前記第２の表示部に表示される前記選択画面における人物の画像データの選択状況に応じた前記選択画面を、前記第１の表示部に表示させることを特徴とする情報処理システムの制御方法。
【請求項１３】
コンピュータを請求項１乃至９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの解析技術に関するものであって、特にカメラ等により撮影された映像に映る人物の特定に関する技術である。
【背景技術】
【０００２】
近年、ネットワークカメラ（以下、カメラと呼ぶ）を用いてレジに位置する人物を撮影し、撮影画像から人物情報を抽出し、当該人物情報と当該人物の購買情報とを関連付けるシステムが提案されている（例えば、特許文献１）。このようなシステムでは、まず、ＰＯＳ（Ｐｏｉｎｔ  ｏｆ  Ｓａｌｅｓ）レジに搭載されたカメラ、またはＰＯＳレジの近傍に設置されたカメラが、会計処理の際に顧客である人物の顔を撮影する。撮影画像から、当該人物の年齢や性別等の顧客データ（人物情報）が画像処理等により取得され、ＰＯＳレジによ取得される購買点数や金額等の売上データと紐付けてデータベースに保管される。一定期間蓄積された顧客データと売上データは、例えば経営者等が顧客満足度や売上および利益の向上を図る経営改善策を考える上で有益な情報となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０４５１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１等における従来の顧客の撮影方法を図１を用いて説明する。図１は、従来の顧客の撮影方法を説明する図である。従来では、図１（Ａ）のように、会計のための順番待ちをする顧客の列１０１、１０２、１０３のために、それぞれＰＯＳレジ１１１、１１２、１１３が存在する。また、ＰＯＳレジ１１１、１１２、１１３に対し、それぞれ１台のカメラ１２１、１２２、１２３が設置されている。カメラ１２１、１２２、１２３により撮影される画像は、図１（Ｂ）の画像１３１のように、画像解析に必要な十分な大きさとなり、適切な人物情報を得ることが可能となる。しかし、図１（Ａ）の形態では、顧客の列の数だけ、カメラが必要となる。したがって、顧客の列が増えるに従い、導入するＰＯＳレジの数が増加し、運用コストや導入コストが高くなる恐れがあった。
【０００５】
そのような課題を解決するため、図２に示すような撮影方法が考えられる。図２は、図１に示す従来方法から派生した撮影方法を説明する図である。この撮影方法において、図２（Ａ）のように、会計のために順番待ちをする顧客の列２０１、２０２、２０３のために、それぞれＰＯＳレジ２１１、２１２、２１３が存在する。また、ＰＯＳレジ２１１、２１２、２１３に対し、１台のカメラ２２１が設置されている。カメラ２２１は、ＰＯＳレジ２１１、２１２、２１３から遠く、１台でＰＯＳレジ２１１、２１２、２１３の近傍に位置する顧客全体を撮影するため、カメラ２２１により撮影される画像は、図２（Ｂ）の画像２３１のように、画像解析に必要な十分な大きさとならず、適切な人物情報を得ることは難しくなる。カメラ２２１が高解像度で撮影を行った場合には、映像解析に必要な大きさで顧客の顔を撮影する事が可能になるが、導入コストが高くなるという課題を解決することはできない。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、少ない台数のカメラで顧客の情報を精度よく取得することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を達成するための一手段として、本発明の情報処理装置は以下の構成を有する。すなわち、商品の売上げに係る購買情報を処理する情報処理装置であって、撮影装置によって撮影される人物の画像データであって、複数の表示部に表示される１又は複数の人物の画像データを含む選択画面を、前記情報処理装置が有する第１の表示部に表示する表示制御手段と、前記選択画面において人物の画像データが選択されると、当該選択された人物の画像データに映る人物に係る情報と、前記情報処理装置における処理対象の購買情報とを関連付けた情報を生成する生成手段と、を有し、前記表示制御手段は、他の情報処理装置が有する表示部に表示される前記選択画面における人物の画像データの選択状況に応じた前記選択画面を、前記第１の表示部に表示することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、少ない台数のカメラで顧客の情報を精度よく取得することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】従来の顧客の撮影方法を説明する図。
【図２】従来の方法から派生した顧客の撮影方法を説明する図。
【図３】情報処理装置４２１のハードウェア構成の一例を示す図。
【図４】実施形態１における情報処理システムの構成の一例を示す図。
【図５】顧客の動きとオペレータの操作を説明する図。
【図６】ＰＯＳレジの表示画面の遷移を示す図。
【図７】映像処理装置４０１の処理のフローチャート。
【図８】情報処理装置４２１の処理のフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
［実施形態１］
実施形態１として、顧客データと売上データとを紐付けてデータベースに保管する情報処理システムについて説明する。図４は、本実施形態における情報処理システム４００の構成の一例を示す図である。情報処理システム４００は、映像処理装置４０１、顧客データ保持部４１１、情報処理装置４２１、および顧客購買データ保持部４３１から構成される。
【００１２】
映像処理装置４０１は、撮影部４０２、映像解析部４０３、および顧客データ生成部４０４を有する。撮影部４０２は、カメラ部であり、映像を撮影し、当該映像を映像解析部４０３に送る。映像解析部４０３は、撮影部４０２から受け取った映像において、人物（顧客）の顔を画像処理により抽出する。また、映像解析部４０３は、当該人物の顔を含む顔画像（人物の画像データ）を生成して顧客データ生成部４０４に送る。顧客データ生成部４０４は、映像解析部４０３から受け取った顔画像から、年齢や性別等の顧客情報（人物の情報）を画像認識処理により取得する。また、顧客データ生成部４０４は、取得した顧客情報を映像解析部４０３から受け取った顔画像と関連付けて顧客データを生成し、当該顧客データを顧客データ保持部４１１に保存する。なお、映像処理装置４０１は、撮影部４０２を撮影装置として他の構成から分離するように構成されてもよい。
【００１３】
情報処理装置４２１は、ネットワーク４１２を介して、顧客データ保持部４１１と顧客購買データ保持部４３１と接続されている。情報処理システム４００は、情報処理装置４２１を複数有することが可能である。情報処理装置４２１は、データ管理部４２２、会計部４２３、表示制御部４２４、入力制御部４２５、および顧客購買データ生成部４２６を有する。データ管理部４２２は、顧客データ保持部４１１に保持される顧客データの管理を行う。会計部４２３は、オペレータによる操作入力に基づいて会計処理を行い、売上データ（購買情報）を生成する。表示制御部４２４は、顧客データ保持部４１１から顧客データを取得し、当該顧客データに含まれる顔画像を、表示部３０４（図３を参照）を介してオペレータに提示する。入力制御部４２５は、オペレータが、表示部３０４を介して提示された１以上の顔画像の中から１以上の顔画像を選択（指定）するために入力部３０３（図３を参照）に対して行った操作入力に対応する制御を行う。また、入力制御部４２５は、オペレータにより選択された顔画像に対応する顧客データを一時的に保持する。顧客購買データ生成部４２６は、会計部４２３により生成された売上データと、入力制御部４２５により保持されている顧客データとを紐付けることにより顧客購買データを生成し、当該顧客購買データを顧客購買データ保持部４３１に保存する。
【００１４】
図３は、情報処理装置４２１のハードウェア構成の一例を示す図である。記憶部３０１は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリにより構成される。記憶部３０１は、後述する各種動作を行うためのプログラムや、無線通信のための通信パラメータ等の各種情報を記憶する。なお、記憶部３０１として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。また、記憶部３０１が複数のメモリ等を備えていてもよい。
【００１５】
制御部３０２は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のプロセッサにより構成される。制御部３０２は、記憶部３０１に記憶されたプログラムを実行することにより情報処理装置４２１全体を制御する。また、制御部３０２がマルチコア等の複数のプロセッサを備え、複数のプロセッサにより情報処理装置４２１全体を制御するようにしてもよい。
【００１６】
入力部３０３は、ユーザからの各種操作の受付を行う。表示部３０４は、画面上で各種表示を行う。なお、タッチパネルのように入力部３０３と表示部３０４の両方を１つのモジュールで実現するようにしてもよい。表示部３０４は、例えばＬＣＤ（Liquid Crystal Display）により構成される。表示部３０４は、ユーザが視覚で認知可能な情報を出力し、各種ＵＩ（User Interface）の表示制御を行う。
【００１７】
通信部３０５は、無線通信または有線通信の制御を行う。また、無線通信を行う場合は、通信部３０５はアンテナ３０６を制御して、無線通信のための無線信号の送受信を行う。情報処理装置４２１は、通信部３０５を介して、映像データ等のコンテンツを対向機１０２へ送信する。
【００１８】
＜オペレータの操作＞
図５は、顧客の動きとオペレータの操作を説明する図である。図５（Ａ）において、オペレータａ、ｂ、ｃは、それぞれＰＯＳレジ５１１、５１２、５１３を操作することが出来る。ＰＯＳレジ５１１、５１２、５１３はそれぞれ、図４を用いて説明した情報処理装置４２１の機能を有する。画面５３１、５３２、５３３はそれぞれ、ＰＯＳレジ５１１、５１２、５１３の表示部３０４に表示される画面の例である。
【００１９】
本実施形態では、顧客は、ＰＯＳレジ５１１、５１２、５１３の前に、顧客の列５０１のように一列に並ぶものとする。ＰＯＳレジ５１１、５１２、５１３は、オペレータの操作入力に基づいて顧客購買データを生成する。例えば、顧客Ａ５０２がＰＯＳレジ５１１に進んだ場合、オペレータａは、ＰＯＳレジ５１１の表示部３０４に表示された画面５３１において、顧客Ａを選択する。また、オペレータａは、ＰＯＳレジ５１１で会計処理のための操作入力を行う。オペレータａによるこれらの操作に基づいて、ＰＯＳレジ５１１は、顧客データと売上データを取得し、これらのデータを紐づけることにより顧客購買データを生成する。
【００２０】
＜顧客の動き＞
図５（Ａ）の例では、顧客の列５０１に、顧客Ａ５０２、顧客Ｂ５０３、顧客Ｃ５０４、顧客Ｄ５０５、および顧客Ｅ５０６が順に並んでいる。先行する顧客がＰＯＳレジ５１１、５１２、５１３のいずれかにおいて会計が終了すると、後続の顧客は順に空いているＰＯＳレジに進む。また、顧客の列５０１には、会計のために代金を支払う顧客である支払者以外に、当該支払者の同伴者である顧客も並び得る。図５（Ａ）の例では、顧客（Ｄ）５０５が支払者であり、顧客Ｃ５０４は顧客Ｄ５０５の同伴者である。更に、顧客の列５０１に並ばない顧客も存在し得る（図５（Ａ）の例では、顧客Ｘ５４１）。本実施形態では、会計を行うために、顧客は、顧客の列５０１に並ぶ必要があると仮定するため、このような顧客Ｘ５４１の存在は無視することができる。もしくは、顧客Ｘ５４１は、顧客Ｂ５０３の同伴者である場合も、会計を行わないため、同様にこのような人物の存在を無視することができる。
【００２１】
＜カメラの設置例＞
本実施形態では、顧客の列５０１に並ぶ顧客の先頭から順に撮影が行えるように、１台のカメラ５２１が設置される。カメラ５２１は、図４における映像処理装置４０１の撮影部４０２に相当する。顧客Ａ５０２〜顧客Ｅ５０６は、会計を行う前に顧客の列５０１に並び、当該列の先頭から順にＰＯＳレジ５１１、５１２、５１３のいずれかに移動するため、会計を行う顧客は必ずカメラ５２１に撮影されることになる。
【００２２】
カメラ５２１は、顧客の列５０１に並ぶ顧客Ａ５０２〜顧客Ｅ５０６を一度に撮影する必要はなく、先頭から順に数人の人物が、画像処理を行うのに十分な大きさで撮影ができれば良い。例えば、カメラ５２１は、図５（Ｂ）の画面５５１に示すように、先頭の４人の顧客が一つの画面に映るように撮影を行ってもよい。このようにすることにより、図１のように全てのＰＯＳレジに対して１台ずつカメラを設置する必要が無く、また、図２のように画像処理が困難な大きさとなることがない。
【００２３】
なお、カメラの設置位置は、図５（Ａ）に示すようなカメラ５２１の位置に限定されない。例えば、顧客の列５０１のような列が複数存在する場合、２列以上の列に対応して少なくとも１台のカメラが設定されてもよい。また、カメラを店舗の出入口に設置することも可能である。
【００２４】
＜ＰＯＳレジの表示画面の遷移＞
図５と図６を参照して、ＰＯＳレジ５１１、５１２、５１３の表示部３０４における画面例について説明する。図６は、ＰＯＳレジの表示部に表示される画面の遷移を示す。画面６０１、６０２、６０３はそれぞれ、ＰＯＳレジ５１１、５１２、５１３の表示部３０４に表示される初期画面である。画面６０１、６０２、６０３には、それぞれ、顧客の列５０１の先頭から４人の顧客（顧客Ａ５０２〜顧客Ｄ５０５）が表示されている。それぞれの画面に表示される顧客の下に示される数字は、顧客の列５０１の先頭から順に顧客に付与された番号であるが、この番号は付与されなくてもよい。
【００２５】
まず、顧客の列５０１に並んでいた顧客Ａは、ＰＯＳレジ５１１に移動して会計を行ったため、オペレータａは画面６１１に表示された顧客Ａの画像を選択する（Ｓ６６１）。この操作を受けて、ＰＯＳレジ５１２の画面６１２と、ＰＯＳレジ５１３の画面６１３には、顧客Ａの画像に既選択マーク（図６では星マークを付与した）が付いた状態で表示される（Ｓ６６２）。すなわち、顧客Ａの画像が、既選択であることが識別可能に表示される。このような表示により、オペレータｂとオペレータｃは、顧客Ａが他のレジで会計を行った顧客であると明確にわかるため、短時間でそれぞれのＰＯＳレジで会計を行う顧客を選択することが可能となる。ただし、オペレータａが間違って顧客Ａの画像を選択してしまう可能性も考慮し、ＰＯＳレジ５１１、５１２、５１３において、オペレータａ、ｂ、ｃは、顧客Ａの画像を、まだ選択可能とする。オペレータにより選択された顧客の画像にも、既選択マークが付される（例えば、顧客Ａについては、画面６２１）。
【００２６】
次に、顧客の列５０１に並んでいた顧客Ｂは、ＰＯＳレジ５１２に移動して会計を行ったため、オペレータｂは画面６２２に表示された顧客Ｂの画像を選択する（Ｓ６６３）。Ｓ６６２と同様に、ＰＯＳレジ５１１の画面６２１と、ＰＯＳレジ５１３の画面６２３には、顧客Ｂの画像に既選択マークが付いた状態で表示される（Ｓ６６４）。ここで、オペレータｂによって選択された顧客Ｂよりも先に会計を始めた顧客Ａは、今後は選択される顧客の対象となり得ないため、ＰＯＳレジ５１２において、顧客Ａの画像は、画面６２２以降の画面６３２、６４２では非表示となる（Ｓ６６５）。
【００２７】
次に、顧客の列５０１に並んでいた顧客Ｃと顧客Ｄは、ＰＯＳレジ５１３に移動し、顧客Ｄが会計を行ったため、オペレータｃは画面６３３に表示された顧客Ｄの画像を選択する（Ｓ６６６）。顧客Ｃは顧客Ｄの同伴者であるので、オペレータｃは正しい操作を行ったと見なされる。ＰＯＳレジ５１１の画面６３１と、ＰＯＳレジ５１２の画面６３２には、顧客Ｄの画像に既選択マークが付いた状態で表示される（Ｓ６６７）。同伴者の顧客Ｃの画像には、購買者と見なされないため、既選択マークは付かない。さらに、顧客よりも先に会計を始めた顧客Ａと顧客Ｂに対応する顧客Ａと顧客Ｂの画像は、ＰＯＳレジ５１３において、画面６３３以降の画面６４３では非表示となる。
【００２８】
ＰＯＳレジ５１２の画面６４２では、顧客Ａの画像が非表示になったため、顧客の列５０１に並ぶ次の顧客の画像が画面に表示されるように更新される（Ｓ６６８）。顧客の列５０１に並んでいた顧客Ｅは、ＰＯＳレジ５１２に移動して会計を行ったため、オペレータｃは画面６４２に表示された顧客Ｅの画像を選択する（Ｓ６６９）。ＰＯＳレジ５１１の画面６４１と、ＰＯＳレジ５１３の画面６４３には、顧客Ｅの画像に既選択マークが付いた状態で表示される（Ｓ６１０、Ｓ６１１）。また、ＰＯＳレジ５１３において、画面６４３では、顧客Ｅより先に会計を始めた顧客Ａと顧客Ｂは、選択される顧客の対象となり得ないため、客Ａと顧客Ｂの画像は非表示となる（Ｓ６１２）。
【００２９】
また、長時間画面に表示されている顧客は、他のＰＯＳレジで会計したが間違ってオペレータにより選択されなかったか、途中でレジ待ちをやめた可能性が考えられる。そのため、表示されたまま一定時間が経過した顧客の顔画像は定期的に非表示とする。図６では、ＰＯＳレジ５１１において、画面６２１から画面６４１への画面遷移において、顧客Ｂが既に他のＰＯＳレジで選択されて一定時間が経過したため、顧客Ｂの画像が非表示となった例を示している（Ｓ６１３）。また、顧客Ａが会計を終了したことを受けて、オペレータａは顧客Ａの画像を消去することができる（Ｓ６１３）。
【００３０】
＜顧客データ生成処理の流れ＞
図７は、映像処理装置４０１の処理のフローチャートである。映像処理装置４０１は、顧客の列５０１に並ぶ顧客を撮影して、顧客データを生成し、当該顧客データを顧客データ保持部４１１に保存する。
【００３１】
まず、ステップＳ７０１では、撮影部４０２（すなわち、カメラ）は、顧客の列に並ぶ顧客の映像を撮影する。ステップＳ７０２では、映像解析部４０３は、撮影部４０２により撮影された映像に映る人物の顔を認識し、顔のみを切り抜いた顔画像を生成する。ステップＳ７０３では、顧客データ生成部４０４は、ステップＳ７０２で生成された顔画像それぞれについて、画像認識を行い、顧客情報（顧客の年齢と性別等）を取得し、当該顧客情報と顔画像とを関連づけて顧客データを生成する。ここで、顧客データ生成部４０４は、顧客データ保持部４１１に既に格納されている顧客データの顔画像を参照し、同一の顧客と識別される顔画像については、顧客データを生成しなくてもよい。また、顧客データを生成する前に、顧客データ生成部４０４は、顧客データ保持部４１１に既に格納されている顧客データのうち、同一の顧客と識別される顔画像を含む顧客データを削除するなどして、常に新しい顔画像を格納するようにしてもよい。また、顧客データ生成部４０４は、顧客データ保持部４１１に格納される顧客データに順に番号を付してもよい。
【００３２】
ステップＳ７０４では、顧客データ生成処理が継続されるのであれば（Ｓ７０４のＹｅｓ）、処理はステップＳ７０１に戻り、そうでなければ（Ｓ７０４のＮｏ）、処理は終了する。例えば、撮影部４０２による映像の撮影が継続されている場合や、オペレータによる指示入力が行われた場合に、顧客データ生成処理が継続されてもよい。
【００３３】
＜購買者候補選択部の処理の流れ＞
図８は、情報処理装置４２１の処理のフローチャートである。情報処理装置４２１は、オペレータの操作入力に基づいて、会計処理と顧客の顔画像の選択を行い、顧客購買データを生成し、当該顧客購買データを顧客購買データ保持部４３１に保存する。
【００３４】
まず、図８（Ａ）を参照して、情報処理装置４２１の全体の処理を説明する。ステップＳ８０１では、会計部４２３が、オペレータの操作入力に基づいて会計処理を行い、売上データを生成する。オペレータの操作入力は、入力部３０３に対して行われ、入力制御部４２５が当該操作入力に対応する指示を、会計部４２３に対して行う。情報処理装置４２１は、会計処理と並行して、ステップＳ８０２からＳ８０４で、図６を参照して説明したように、オペレータの操作入力に基づいて会計を行っている顧客の選択を行う。具体的には、ステップＳ８０２において、表示制御部４２４は、顧客データ保持部４１１に格納されている顧客データの顔画像を取得し、表示部３０４に表示する。ステップＳ８０３において、入力制御部４２５は、入力部３０３に対してオペレータにより行われた操作入力により、表示部３０４に表示された顧客を選択する。続いて、ステップＳ８０４において、データ管理部４２２は、顧客データ保持部４１１に格納されている顧客データの更新を行う。
【００３５】
ステップ８０１とステップ８０４の処理が完了した後、ステップＳ８０５において、顧客購買データ生成部４２６は、会計部４２３により生成された売上データと、入力制御部４２５により選択された顧客の顔画像に対応する顧客データとを関連付け、顧客購買データを生成する。その後、情報処理装置４２１は、会計処理を継続するならば（ステップＳ８０６のＹｅｓ）、処理はステップＳ８０１とＳ８０２へ戻る。そうでなければ（ステップＳ８０６のＮｏ）、処理は終了する。会計処理を継続する場合として、情報処理装置４２１がオペレータによる会計処理を継続するための操作入力を受け付けた場合等が想定される。
【００３６】
次に、ステップＳ８０２の処理の具体例について、図８（Ｂ）を参照して説明する。図８（Ｂ）の例では、顧客データ保持部４１１に格納されている顧客データに、格納される順（顧客の列の先頭からの順）に番号が付され、当該顧客データに含まれる顔画像と当該顧客データに付された番号は関連付けられているものとする。
【００３７】
ステップＳ８１１において、表示制御部４２４は、顧客データ保持部４１１から顧客データに含まれる顔画像と当該顔画像に関連付けられている番号を取得する。ステップＳ８１２では、既にステップＳ８０３の処理が行われていた場合に、表示制御部４２４は、入力制御部４２５により選択された顧客の顔画像に対応する番号よりも小さい番号の顔画像を消去する（非表示にする）。例えば図６を参照して説明すると、ＰＯＳレジ５１２の画面６２２から画面６３２への変化において、選択された顧客（顧客（Ｂ））の顔画像よりも時間的に前に選択された顧客（顧客（Ａ））の顔画像は非表示となる。ステップＳ８１３では、表示制御部４２４は、番号順に顧客の顔画像を表示部３０４に表示する。ステップＳ８１４では、表示制御部４２４は、他の情報処理装置４２１で既選択とされた顧客の顔画像に既選択のマークを表示し、図８（Ａ）のメインルーチンに戻る。なお、図８（Ｂ）の例では、各顧客の顔画像に関連付けられた番号により、顧客の時間的な順序が識別されたが、各顧客の時間的な順序が識別されれば、他の識別手段を用いてもよい。
【００３８】
次に、ステップＳ８０４の処理の具体例について、図８（Ｃ）を参照して説明する。ステップＳ８２１では、データ管理部４２２は、図８（Ａ）のステップＳ８０３で選択された顧客の顔画像に既選択の印を付けて顧客データ保持部４１１に保存し直す。こうすることで、他の情報処理装置は、選択の有無が反映された顧客データを取得することが可能となる。ステップＳ８２２では、データ管理部４２２は、表示部３０４に一定時間以上表示されている顔情報に対応する顧客データを、顧客データ保持部４１１から削除し、図８（Ａ）のメインルーチンに戻る。この削除処理により、表示制御部４２４は、表示部３０４に、削除された顧客データに含まれる顔画像を表示しない。なお、一定時間とは、例えば、顧客が顧客の列に並んで会計が終わるまで５分間であれば、その２倍程度に設定される。
【００３９】
以上に説明した実施形態では、ＰＯＳレジ前の顧客の列に並び、ＰＯＳレジで会計を行う人物の情報が、売上データと紐付き、当該紐付けされたデータが、顧客購買データとして保存される説明を行った。しかし、顧客の列からの離脱、顔認識の失敗、同伴者の存在、オペレータの作業ミス等によって、紐付けに成功しない場合も存在する。その場合は、オペレータはエラーであることを入力部３０３を介して入力してもよい。また、紐付けに成功しなかった顧客購買データに対して、オペレータが入力部３０３を介して必要な情報（売上データや顧客データ）を入力し、当該入力に応じて紐付けが行われてもよい。また、本実施形態では、顧客の列を１列に限定して説明したが、カメラは１台に限らない。また、ＰＯＳレジの台数とカメラの台数は一致する必要はないため顧客の列は２列以上であってもよい。
【００４０】
このように、本実施形態によれば、複数のＰＯＳレジで会計処理をする時の顧客の精度良く特定し、年齢や性別等の顧客データと紐付ける処理が、より少ない台数のカメラにより容易に行えるようになる。
【００４１】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４２】
４０１  映像処理装置、４０２  撮影部、４０３  映像解析部、４０４  顧客データ生成部、４１１  顧客データ保持部、４１２  ネットワーク、４２１  情報処理装置、４２２  データ管理部、４２３  会計部、４２４  表示制御部、４２５  入力制御部、４２６  顧客購買データ生成部、４３１  顧客購買データ保持部
【図１】
0006735574.tif 000002
【図２】
0006735574.tif 000003
【図３】
0006735574.tif 000004
【図４】
0006735574.tif 000005
【図５】
0006735574.tif 000006
【図６】
0006735574.tif 000007
【図７】
0006735574.tif 000008
【図８】
0006735574.tif 000009