(57)【要約】【課題】来店者の人物確認をより柔軟に行うことが可能な情報処理装置及びプログラムを提供する。【解決手段】来店者を撮像した撮像画像から、当該来店者の特徴を示す複数の特徴量を取得する取得手段と、前記取得手段が取得した特徴量の各々と、予め記憶された特定の人物の対応する特徴量とを比較し、類似度を算出する類似度算出手段と、前記取得手段が取得した何れか又は全ての特徴量との類似度が、所定の閾値を上回った場合に報知を行う報知手段と、を備える。【選択図】図５
2016131288.tif 000002
【特許請求の範囲】
【請求項１】
来店者を撮像した撮像画像から、当該来店者の特徴を示す複数の特徴量を取得する取得手段と、
前記取得手段が取得した特徴量の各々と、予め記憶された特定の人物の対応する特徴量とを比較し、類似度を算出する類似度算出手段と、
前記取得手段が取得した何れか又は全ての特徴量との類似度が、所定の閾値を上回った場合に報知を行う報知手段と、
を備える情報処理装置。
【請求項２】
前記取得手段は、前記撮像画像から前記来店者の顔の特徴を示す第１特徴量を取得し、
前記類似度算出手段は、前記取得手段が取得した第１特徴量と、前記特定の人物の第１特徴量とを比較する請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記撮像画像から前記来店者の服装の特徴を示す第２特徴量を取得し、
前記類似度算出手段は、前記取得手段が取得した第２特徴量と、前記特定の人物の第２特徴量とを比較する請求項１又は２に記載の情報処理装置。
【請求項４】
前記取得手段は、前記撮像画像から前記来店者の体格を示す体格情報を取得し、
前記類似度算出手段は、前記取得手段が取得した体格情報と、前記特定の人物の体格情報とを比較し、前記取得手段が取得した体格情報の条件に該当する特定の人物を、比較の対象とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記取得手段は、前記撮像画像に表された基準物の高さに基づいて、当該撮像画像に表された前記来店者の身長を前記体格情報として取得する請求項４に記載の情報処理装置。
【請求項６】
コンピュータを、
来店者を撮像した撮像画像から、当該来店者の特徴を示す複数の特徴量を取得する取得手段と、
前記取得手段が取得した特徴量の各々と、予め記憶された特定の人物の対応する特徴量とを比較し、類似度を算出する類似度算出手段と、
前記取得手段が取得した何れか又は全ての特徴量との類似度が、所定の閾値を上回った場合に報知を行う報知手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
コンビニエンスストア等の店舗では、カメラを用いることで店舗内の監視を行っている。また、従来、カメラで撮像された画像データから、人物の顔の特徴を示す顔特徴情報を抽出し、予め登録された人物の顔特徴情報と比較することで、不審者等を確認する技術が提案されている。
【０００３】
しかしながら、上記の従来技術では、顔の少なくとも一部を撮像する必要があるが、顔を撮像できない場合には、顔特性情報を抽出することはできず、来店者が不審者かどうかの判別もできない。そのため、従来技術では、来店者の人物確認が可能な条件が限定的であるという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、来店者の人物確認をより柔軟に行うことが可能な情報処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態の情報処理装置は、取得手段と、類似度算出手段と、報知手段とを備える。取得手段は、来店者を撮像した撮像画像から、当該来店者の特徴を示す複数の特徴量を取得する。類似度算出手段は、前記取得手段が取得した特徴量の各々と、予め記憶された特定の人物の対応する特徴量とを比較し、類似度を算出する。報知手段は、前記取得手段が取得した何れか又は全ての特徴量との類似度が、所定の閾値を上回った場合に報知を行う報知手段と、を備える。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態に係る店舗システムを模式的に示す図である。
【図２】図２は、店舗サーバのハードウェア構成の一例を示すブロック図である。
【図３】図３は、店舗サーバの機能構成の一例を示すブロック図である。
【図４】図４は、身長の推測方法を説明するための図である。
【図５】図５は、報知処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下では、コンビニエンスストア等の店舗に導入される店舗システムを例に、本実施形態に係る情報処理装置及びプログラムについて説明する。
【０００８】
図１は、本実施形態に係る店舗システム１を模式的に示す図である。図１に示すように、店舗システム１は、カメラ１０と、店舗サーバ２０と、ＰＯＳ端末３０とを有する。ここで、カメラ１０と店舗サーバ２０とは、ネットワークＮ１を介して通信可能に接続される。また、店舗サーバ２０とＰＯＳ端末３０とは、ネットワークＮ２を介して通信可能に接続される。
【０００９】
カメラ１０は、カラーＣＣＤ（Charge  Coupled  Device）やカラーＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子を備えた撮像装置である。カメラ１０は、主に店舗内に設けられ、３０ｆｐｓ等のフレームレートで撮像した動画像を、撮像画像としてＰＯＳ端末３０に送信する。なお、カメラ１０の設置位置や設置個数は特に問わないものとする。本実施形態では、カメラ１０は、店舗の入り口付近を撮像可能な位置に設けられ、来店した顧客（来店者）を正面から撮像する。
【００１０】
店舗サーバ２０は、本実施形態の情報処理装置に対応する。店舗サーバ２０は、ＰＯＳ端末３０から受信したデータやその他データを統括管理し、店舗の売上管理、在庫管理、経費管理等を行う。また、店舗サーバ２０は、カメラ１０で撮像された撮像画像から顧客を検出し、当該顧客が予め登録された報知対象の人物の場合に報知を行う。なお、店舗サーバ２０の詳細については後述する。
【００１１】
ＰＯＳ端末３０は、店舗内の精算場所に設けられ、顧客が購入する商品の登録及び精算を行う。具体的に、ＰＯＳ端末３０は、顧客が購入する各商品の商品コードや購入個数等を、図示しない売上マスタファイル等に記録することで商品登録を行う。
【００１２】
図２は、店舗サーバ２０のハードウェア構成の一例を示すブロック図である。店舗サーバ２０は、情報処理を実行する情報処理部としてのマイクロコンピュータ２１を備える。マイクロコンピュータ２１は、主にＣＰＵ（Central  Processing  Unit）２２、ＲＯＭ（Read  Only  Memory）２３及びＲＡＭ（Random  Access  Memory）２４により構成される。ＲＯＭ２３は、ＣＰＵ２２が実行可能な各種プログラムを記憶する。ＲＡＭ２４は、ＰＯＳ端末３０の主記憶装置である。
【００１３】
また、ＣＰＵ２２には、通信部２５が各種の入出力回路（図示せず）を介して接続される。通信部２５は、外部装置とデータ通信を実行するための通信インタフェースである。本実施形態において、通信部２５は、店舗内に配置された各カメラ１０やＰＯＳ端末３０との間でデータ通信を行う。
【００１４】
また、ＣＰＵ２２には、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）等の記憶部２６が接続されている。記憶部２６は、ＣＰＵ２２が実行可能なプログラムや各種ファイルを記憶する。記憶部２６に記憶されているプログラムや各種ファイルは、店舗サーバ２０の起動時に、その全部又は一部がＲＡＭ２４にコピーされてＣＰＵ２２により実行される。また、記憶部２６は、対象設定ファイルＦ１等を記憶する。
【００１５】
対象設定ファイルＦ１には、報知の対象となる人物の各種の特徴が特徴情報として登録されている。ここで、特徴情報に設定する特徴は特に問わないものとする。例えば、特徴情報は、報知対象の人物の顔画像や当該顔画像の特徴を示す第１特徴量を含む。この第１特徴には、例えば、顔の輪郭、目や鼻等の各部位の形状や位置関係等を示す情報が設定される。
【００１６】
また、特徴情報は、報知対象の人物が身に付けている服装等の特徴を表す第２特徴量を含む。この第２特徴量には、例えば、服や靴の形状や表面の特徴（色や素材等）を示す情報が設定される。また、報知対象の人物が、バッグ、帽子、メガネ、サングラス、マスク等の付属物を身に付けている場合、第２特徴量には、当該付属物の形状や表面の特徴（色や素材等）を示す情報が設定される。
【００１７】
また、特徴情報は、報知対象の人物の体格を指示する体格情報を含む。この体格情報には、身長の範囲（１６５ｃｍ〜１７５ｃｍ等）や、痩せ型や肥満型等を示す情報が設定される。
【００１８】
対象設定ファイルＦ１は、報知対象の人物毎に、当該人物に関する第１特徴量、第２特徴量及び体格情報の何れか又は全てを特徴情報として格納する。なお、報知対象の人物は特に問わないものとする。例えば、店舗に来店したことのある要注意人物や重要人物であってもよいし、警察等の第３機関から提供される指名手配犯等の人物であってもよい。
【００１９】
なお、対象設定ファイルＦ１のデータ構成は、図２の例に限らないものとする。例えば、対象設定ファイルＦ１は、各登録人物の特性情報に関連付けて、コメント情報を保持する構成としてもよい。この場合、コメント情報には、例えば、対応する登録人物の名前や、報知対象とする理由等を設定することが可能である。
【００２０】
次に、図３を参照して、店舗サーバ２０の機能構成について説明する。図３は、店舗サーバ２０の機能構成の一例を示すブロック図である。店舗サーバ２０は、ＣＰＵ２２と、ＲＯＭ２３や記憶部２６に記憶されたプログラムとの協働により、画像取込部２１１、人体検出部２１２、人物判定部２１３及び報知部２１４を、機能部として備える。
【００２１】
画像取込部２１１は、通信部２５を介し、カメラ１０が撮像した撮像画像を順次取り込む。また、画像取込部２１１は、取り込んだ所定時間分の撮像画像をＲＡＭ２４や記憶部２６に保持する。なお、画像取込部２１１が撮像画像の取り込みを行うタイミングは特に問わないものとする。例えば、画像取込部２１１は、撮像画像を常時取り込む構成としてもよい。また、店舗の入り口に人感センサ（赤外線センサ等）が設けてある場合には、人感センサの検知結果に応じて、撮像画像の取り込みを開始する構成としてもよい。
【００２２】
人体検出部２１２は、画像取込部２１１が取り込んだ撮像画像から顧客の体を表す人体領域を検出する。ここで、人体領域の検出に係る技術は特に問わず、公知の技術を用いることが可能である。例えば、人体検出部２１２は、時間的に連続する一連の撮像画像において変化を検出した領域を、人体領域として検出してもよい。また、人体検出部２１２は、時間的に連続する一連の撮像画像内において移動体を検出した領域を、人体領域として検出してもよい。
【００２３】
また、人物判定部２１３は、人体検出部２１２が検出した人体領域に表された人物（顧客）が、対象設定ファイルＦ１に登録された報知対象の人物か否かを判定する。
【００２４】
また、人物判定部２１３は、本実施形態の取得手段として機能する。具体的に、人物判定部２１３は、人体領域に表された人物を特定するために、撮像画像や人体領域から各種の特徴情報を取得する。例えば、人物判定部２１３は、人体検出部２１２が検出した人体領域から顧客の顔画像を検出し、当該顔画像の特徴を第１特徴量として取得する。なお、第１特徴量の取得方法は特に問わず、公知の技術を用いることが可能である。
【００２５】
また、人物判定部２１３は、人体領域に表された顧客の服装から第２特徴量を取得する。また、人物判定部２１３は、人体領域に表された顧客がバッグやメガネ等の付属物を身に付けているか否かを判定し、身に付けている場合には、その付属物の第２特徴量を取得する。なお、第２特徴量の取得方法は特に問わず、公知の技術を用いることが可能である。
【００２６】
また、人物判定部２１３は、撮像画像内における人体領域の形状や大きさ等から、当該人物領域に表された顧客の体格（身長等）を示す体格情報を取得する。なお、体格情報の取得方法は特に問わず、公知の技術を用いることが可能である。
【００２７】
例えば、撮像画像に表された基準物の高さと人体領域の高さとを比較し、その比較結果に基づいて、人体領域に表された人物の身長を推測してもよい。ここで、図４は、身長の推測方法を説明するための図である。同図では、基準物Ｏと、当該基準物Ｏ周辺を撮像するカメラ１０との関係を示す図である。基準物Ｏは、店舗の入り口付近等に設置され、１ｍ等の基準となる高さを有する。基準物Ｏは、例えば、商品棚や防犯ゲート等、店舗内の什器を用いて実現してもよい。
【００２８】
図４において、基準物Ｏの近くに顧客Ｃが存在すると、カメラ１０は、基準物Ｏと顧客Ｃとを撮像することになる。人物判定部２１３では、この基準物Ｏと顧客Ｃとが撮像された撮像画像から、顧客Ｃの身長を取得（推定）する。具体的に、人物判定部２１３は、基準物Ｏの実際の高さに基づき、撮像画像内における基準物Ｏの高さＨ１と顧客Ｃ（人物領域）の高さＨ２との比率から、顧客Ｃの身長を検出（推測）する。なお、基準物Ｏに、上述した人感センサを設ける構成としてもよい。
【００２９】
また、人物判定部２１３は、本実施形態の類似度算出手段として機能する。具体的に、人物判定部２１３は、撮像画像から顧客の特徴情報を取得すると、対象設定ファイルＦ１に登録された各人物（以下、登録人物という）の特徴情報と比較する。
【００３０】
例えば、人物判定部２１３は、撮像画像から取得した顧客の第１特徴量と、各登録人物の第１特徴量とを比較することで、その類似度を算出する。ここで類似度が所定の閾値以上となる登録人物が存在する場合、人物判定部２１３は、来店した顧客の第１特徴量が、当該登録人物の第１特徴量の条件に該当すると判定する。なお、第１特徴量（顔画像）の比較方法については、顔認証等の公知の技術を用いることが可能である。
【００３１】
また、人物判定部２１３は、撮像画像（人物領域）から取得した顧客の第２特徴量と、各登録人物の第２特徴量とを比較することで、その類似度を算出する。ここで、類似度が所定の閾値以上となる登録人物が存在する場合、人物判定部２１３は、来店した顧客の第２特徴量が、当該登録人物の第２特徴量の条件に該当すると判定する。なお、服装（第２特徴量）の比較方法については、公知の技術を用いることが可能である。
【００３２】
また、人物判定部２１３は、撮像画像（人物領域）から取得した顧客の体格情報と、各登録人物の体格情報とを比較する。ここで、顧客の体格情報に該当する登録人物が存在する場合、人物判定部２１３は、当該登録人物を第１特徴量又は第２特徴量との比較の対象に設定する。
【００３３】
そして、人物判定部２１３は、第１特徴量、第２特徴量及び体格情報の判定結果に基づき、来店した顧客が報知対象の人物に該当するか否かを判定する。例えば、人物判定部２１３は、一人の登録人物について、第１特徴量（顔画像）の条件に該当すると判定した場合に、当該登録人物が来店したと判定する。また、人物判定部２１３は、一人の登録人物について、第２特徴量及び体格情報の条件に該当すると判定した場合に、当該登録人物が来店したと判定する。なお、登録人物が来店したか否かの判定指標は、上記例のように特徴情報の一部が該当した場合に限らないものとする。例えば、人物判定部２１３は、一人の登録人物について全ての特徴情報が該当した場合に、登録人物が来店したと判定してもよい。
【００３４】
報知部２１４は、本実施形態の報知手段として機能する。報知部２１４は、人物判定部２１３が登録人物が来店したと判定した場合に、店舗内の店員に向けて報知を行う。ここで、報知部２１４の報知方法は特に問わず、種々の形態を採用することが可能である。例えば、報知部２１４は、店舗内に設けられた表示灯や警報ランプを点灯（動作）させることで、登録人物が来店したことを報知する。また、報知部２１４は、ＰＯＳ端末３０が備える表示ディスプレイ（図示せず）に、登録人物が来店したことを報知する報知画面を表示させる。
【００３５】
なお、ＰＯＳ端末３０の表示ディスプレイを用いて報知を行う場合、報知画面の構成は特に問わないものとする。例えば、報知部２１４は、画像取込部２１１が取り込んだ撮像画像や、当該撮像画像から抽出された顔画像を報知画面に表示させてもよい。また、報知部２１４は、撮像画像から抽出された顔画像を、当該顔画像の第１特徴量に該当すると判定された登録人物の顔画像（特性情報）とともに、対比可能な状態で報知画面に表示させてもよい。この場合、ＰＯＳ端末３０のオペレータは、顔画像を見比べることで、来店した人物が報知対象の人物か否かを容易に確認することができるため、利用者の利便性を向上させることができる。
【００３６】
また、特性情報に関連付けてコメント情報が保持されている場合、報知部２１４は、そのコメント情報の内容を報知画面に表示させてもよい。例えばコメント情報に、登録人物の名前や報知対象の理由が設定されている場合、ＰＯＳ端末３０のオペレータは、それらの内容を容易に確認することができるため、利用者の利便性を向上させることができる。
【００３７】
以下、図５を参照して、店舗サーバ２０が行う報知処理について説明する。ここで、図５は、店舗サーバ２０が行う報知処理の手順の一例を示すフローチャートである。なお、本処理では、人感センサの検知結果に応じて、撮像画像の取り込みを行う形態について説明する。
【００３８】
まず、画像取込部２１１は、店舗の入り口に設けられた人感センサが顧客（来店者）を検知するまで待機する（ステップＳ１１；Ｎｏ）。人感センサが顧客を検知すると（ステップＳ１１；Ｙｅｓ）、画像取込部２１１は、カメラ１０から撮像画像を所定時間分取り込む（ステップＳ１２）。
【００３９】
人体検出部２１２は、ステップＳ１２で取り込まれた撮像画像から顧客が存在する人体領域を検出する（ステップＳ１３）。次いで、人物判定部２１３は、ステップＳ１３で検出された人体領域から顔画像の検出を試みる（ステップＳ１４）。ここで、人体領域から顔画像を検出できた場合（ステップＳ１４；Ｙｅｓ）、人物判定部２１３は、検出した顔画像から顧客の第１特徴量を取得する（ステップＳ１５）。
【００４０】
続いて、人物判定部２１３は、ステップＳ１５で取得した顧客の第１特徴量と、各登録人物の第１特徴量とを比較し、その類似度を算出する（ステップＳ１６）。次いで、人物判定部２１３は、算出した類似度のうち、閾値以上のものが存在するか否かを判定する（ステップＳ１７）。
【００４１】
ステップＳ１７において、存在すると判定した場合（ステップＳ１７；Ｙｅｓ）、人物判定部２１３は、類似度が最大の登録人物が来店したと判断し、ステップＳ２３に移行する。また、ステップＳ１７において、存在しないと判定した場合には（ステップＳ１７；Ｎｏ）、ステップＳ１１に戻る。
【００４２】
また、ステップＳ１４において、顔画像を検出することができなかった場合（ステップＳ１４；Ｎｏ）、人物判定部２１３は、撮像画像から顧客の体格情報（身長）を取得する（ステップＳ１８）。次いで、人物判定部２１３は、ステップＳ１８で取得した顧客の体格情報と、各登録人物の体格情報とを比較し、顧客の体格情報に該当する登録人物が存在するか否かを判定する（ステップＳ１９）。ここで、存在しないと判定した場合には（ステップＳ１９；Ｎｏ）、ステップＳ１１に戻る。
【００４３】
一方、ステップＳ１９において、存在すると判定した場合（ステップＳ１９；Ｙｅｓ）、人物判定部２１３は、顧客の体格情報に該当した登録人物を比較対象に設定する。また、人物判定部２１３は、撮像画像から顧客の第２特徴量を取得する（ステップＳ２０）。人物判定部２１３は、顧客の第２特徴量と、比較対象に設定した各登録人物の第２特徴量とを比較し、その類似度を算出する（ステップＳ２１）。次いで、人物判定部２１３は、算出した類似度のうち、閾値以上のものが存在するか否かを判定する（ステップＳ２２）。
【００４４】
ステップＳ２２において、存在すると判定した場合（ステップＳ２２；Ｙｅｓ）、人物判定部２１３は、類似度が最大の登録人物が来店したと判断し、ステップＳ２３に移行する。また、ステップＳ２２において、存在しないと判定した場合には（ステップＳ２２；Ｎｏ）、ステップＳ１１に戻る。
【００４５】
続くステップＳ２３では、報知部２１４が、人物判定部２１３の判定結果に基づいて、報知対象の人物が来店したことを報知し（ステップＳ２３）、ステップＳ１１に戻る。
【００４６】
以上のように、本実施形態の店舗サーバ２０は、顧客を撮像した撮像画像から取得した複数の特徴量を用いることで、当該顧客が報知対象の人物か否かを判定する。そして、店舗サーバ２０は、顧客が報知対象の人物の場合に、店員に向けて報知を行う。このように、店舗サーバ２０では、顧客の人物確認を多角的に行うため、当該顧客の人物確認をより柔軟に行うことができる。また、顧客が報知対象の人物の場合に報知を行うことで、当該顧客の目視による確認を店員に促すことができる。
【００４７】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加、組み合せ等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００４８】
例えば、上記実施形態では、店舗サーバ２０が対象設定ファイルＦ１を保持する形態としたが、これに限らないものとする。例えば、店舗サーバ２０がアクセス可能な外部装置に対象設定ファイルＦ１を保持する構成としてもよい。
【００４９】
また、上記実施形態では、顧客を撮像した撮像画像から、第１特徴量、第２特徴量及び体格情報の３つの特徴量を取得する例を説明したが、他の特徴量を取得する構成としてもよい。なお、他の特徴量を取得する場合には、報知対象の人物についても対応する他の特徴量を、対象設定ファイルＦ１に登録を行うものとする。
【００５０】
また、上記実施形態では、顧客を撮像した撮像画像から、第１特徴量、第２特徴量及び体格情報を取得したが、当該顧客が報知対象となった場合には、これらの特徴情報の全て又は何れかを対象設定ファイルＦ１に登録してもよい。
【００５１】
また、上記実施形態では、店舗サーバ２０に本願発明の情報処理装置を適用した例を説明したが、これに限らず、他の装置に適用してもよい。
【００５２】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するが、これに限らないものとする。例えば、プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して提供してもよい。係る記憶媒体は、例えばＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等が挙げられる。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らないものとする。例えば、記憶媒体は、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードすることで、記憶又は一時記憶した記憶媒体も含まれる。
【００５３】
また、上記各実施形態の各装置で実行されるプログラムは、インターネット等のネットワーク経由で提供又は配布する構成としてもよい。
【符号の説明】
【００５４】
１  店舗システム
１０  カメラ
２０  店舗サーバ
３０  ＰＯＳ端末
２１１  画像取込部
２１２  人体検出部
２１３  人物判定部
２１４  報知部
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開２０１３−１９６２９４号公報
【図１】
2016131288.tif 000003
【図２】
2016131288.tif 000004
【図３】
2016131288.tif 000005
【図４】
2016131288.tif 000006
【図５】
2016131288.tif 000007