(57)【要約】  来店時の来店者の様子を示す情報を有効活用するための情報処理装置が開示されている。この情報処理装置は、店外を撮像する店外カメラによって撮像された第１映像情報を解析して、来店時の来店者を認識する第１解析手段と、店外カメラによって撮像された第２映像情報を解析して、来店者が来店後の、店舗の外部の状況を認識する第２解析手段と、第１解析手段による解析結果と第２解析手段による解析結果との比較を行なう比較手段と、を備えたことを特徴としている。
2018110165.tif 000002
【特許請求の範囲】
【請求項１】
店舗の外部を撮像することにより取得された第１映像情報を解析して、来店時の来店者を認識する第１解析手段と、
前記店外カメラによって撮像された第２映像情報を解析して、前記来店者が来店後の、前記店舗の外部の状況を認識する第２解析手段と、
前記第１解析手段による解析結果と前記第２解析手段による解析結果との比較を行なう比較手段と、
を備えた情報処理装置。
【請求項２】
前記比較手段による比較の結果に基づいて、前記来店者および前記店舗の店員のすくなくとも一方に対して異常を報知する異常報知手段をさらに備えた請求項１に記載の情報処理装置。
【請求項３】
前記異常報知手段は、来店者および店員のすくなくとも一方の所持する携帯情報端末に対して異常を報知するメッセージを送信する請求項２に記載の情報処理装置。
【請求項４】
前記第１解析手段は、前記来店者の同伴者を認識し、
前記異常報知手段は、前記同伴者が、前記来店者を同伴せずに前記店舗から退出したことを検知して、前記来店者または店員に報知する請求項２に記載の情報処理装置。
【請求項５】
前記第１解析手段は、前記来店者が来店する際の移動手段として、、徒歩、車、自転車、自動二輪車、タクシー、路線バスおよび、鉄道の少なくともいずれか１つを特定し、
前記第２解析手段は、前記第２映像情報における前記移動手段を解析し、
前記異常報知手段は、前記来店者が店内にいる間、前記移動手段に対する不審者の接触を検出して、前記来店者または店員に報知する請求項２に記載の情報処理装置。
【請求項６】
前記来店者が来店中の、店内カメラによって撮像された前記店舗の内部の状況を示す第３映像情報を解析する第３解析手段と、
前記第３解析手段での解析結果を用いて、前記来店者が店内で不審な行動を取ったか否か判定する不審判定手段と、
をさらに備え、
前記異常報知手段は、前記第２解析手段の解析結果により、不審な行動を取った前記来店者が退店したことを検知した場合に、店員にその旨の報知を行なう請求項２に記載の情報処理装置。
【請求項７】
前記第１解析手段によって認識された前記来店者の来店時間と、前記第２解析手段によって認識された前記来店者の退店時間とを比較して、前記来店者の店舗滞留時間を算出する算出手段をさらに備えた請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
店舗の外部を撮像することにより取得された第１映像情報を解析して、来店時の来店者を認識する第１解析ステップと、
前記店外カメラによって撮像された第２映像情報を解析して、前記来店者が来店後の、前記店舗の外部の状況を認識する第２解析ステップと、
前記第１解析ステップでの解析結果と前記第２解析ステップでの解析結果との比較を行なう比較ステップと、
を含む情報処理方法。
【請求項９】
店舗の外部を撮像することにより取得された第１映像情報を解析して、来店時の来店者を認識する第１解析ステップと、
前記店外カメラによって撮像された第２映像情報を解析して、前記来店者が来店後の、前記店舗の外部の状況を認識する第２解析ステップと、
前記第１解析ステップでの解析結果と前記第２解析ステップでの解析結果との比較を行なう比較ステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、カメラで駐車場に入る車両のナンバープレートを撮像・映像解析し、顧客を特定して、顧客に応じた画像を提供する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−０４５９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、単に来店者を特定するためにナンバープレートを撮像しているだけであり、来店者の来店時の様子を有効活用できていなかった。【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
店舗の外部を撮像することにより取得された映像情報を解析して、来店時の来店者を認識する第１解析手段と、
前記店外カメラによって撮像された映像情報を解析して、前記来店者が来店後の、前記店舗の外部の状況を認識する第２解析手段と、
前記第１解析手段による解析結果と前記第２解析手段による解析結果との比較を行なう比較手段と、
を備えた情報処理装置である。【０００７】
上記目的を達成するため、本発明に係る方法は、
店舗の外部を撮像することにより取得された映像情報を解析して、来店時の来店者を認識する第１解析ステップと、
前記店外カメラによって撮像された映像情報を解析して、前記来店者が来店後の、前記店舗の外部の状況を認識する第２解析ステップと、
前記第１解析ステップでの解析結果と前記第２解析ステップでの解析結果との比較を行なう比較ステップと、
を含む情報処理方法である。【０００８】
上記目的を達成するため、本発明に係るプログラムは、
店舗の外部を撮像することにより取得された映像情報を解析して、来店時の来店者を認識する第１解析ステップと、
前記店外カメラによって撮像された映像情報を解析して、前記来店者が来店後の、前記店舗の外部の状況を認識する第２解析ステップと、
前記第１解析ステップでの解析結果と前記第２解析ステップでの解析結果との比較を行なう比較ステップと、
をコンピュータに実行させる情報処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、来店時の来店者の様子を示す情報を有効活用できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。
【図３】本発明の第２実施形態に係る情報処理装置の来店者データベースを示す図である。
【図４】本発明の第２実施形態に係る情報処理装置の処理の流れを示すフローチャートである。
【図５】本発明の第２実施形態に係る情報処理装置の利用状況を示す図である。
【図６】本発明の第２実施形態に係る情報処理装置の処理の流れを示すフローチャートである。
【図７】本発明の第２実施形態に係る情報処理装置の利用状況を示す図である。
【図８】本発明の第２実施形態に係る情報処理装置の処理の流れを示すフローチャートである。
【図９】本発明の第２実施形態に係る情報処理装置の利用状況を示す図である。
【図１０】本発明の第２実施形態に係る情報処理装置の利用状況を示す図である。
【図１１】本発明の第２実施形態に係る情報処理装置の利用状況を示す図である。
【図１２】本発明の第２実施形態に係る情報処理装置の処理の流れを示すフローチャートである。
【図１３】本発明の第２実施形態に係る情報処理装置の処理の流れを示すフローチャートである。
【図１４】本発明の第２実施形態に係る情報処理装置の利用状況を示す図である。
【発明を実施するための形態】
【００１１】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１２】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。図１に示すように、情報処理装置１００は、来店者解析部１０１と店外状況解析部１０２と比較部１０３とを含む。
【００１３】
来店者解析部１０１は、店舗の外部に設けられた店外カメラ１１０によって撮像された映像情報を解析して、来店時の来店者を認識する。
【００１４】
店外状況解析部１０２は、店外カメラ１１０によって撮像された映像情報を解析して、来店者が来店後の、店舗の外部の状況を認識する。
【００１５】
比較部１０３は、来店者解析部１０１による解析結果と店外状況解析部１０２による解析結果との比較を行なう。
【００１６】
以上の構成によれば、来店者に関する情報を有効活用できる。
【００１７】
［第２実施形態］
次に本発明の第２実施形態に係る情報処理装置２００について、図２を用いて説明する。図２は、本実施形態に係る情報処理装置２００の機能構成を説明するための図である。
【００１８】
情報処理装置２００は、店舗の外部に設けられた店外カメラ２１１〜２１３および店舗の内部に設けられた店内カメラ２１４、２１５からの映像を受信し、解析して解析結果を店舗運営に役立てるための装置である。ここでは店外カメラ３台および店内カメラ２台を例に挙げて図示しているが、もちろんこれらの台数はこの数に限定されるものではない。また、店舗は、販売店に限定されるものではなく、飲食店や、遊興店など、あらゆる業種に適用できる。
【００１９】
情報処理装置２００は、また、店内の販売を管理するＰＯＳ（Point of Sales）システム２２０およびインターネット２３０に接続されている。
【００２０】
情報処理装置２００は、来店者解析部２０１、店外状況解析部２０２、比較部２０３、異常報知部２０４、店内状況解析部２０５、不審判定部２０６、滞留時間算出部２０７、情報蓄積部２０８と通信制御部２０９を備えている。
【００２１】
来店者解析部２０１は、店外カメラ２１１〜２１３から受信した映像を解析し、来店時刻記録、来店者の顔認識、来店手段認識、ランク判定、同伴者認識、嗜好判定などを行ない、解析結果を来店者データベース２８１に格納する。
【００２２】
店外状況解析部２０２は、店外カメラ２１１〜２１３から受信した映像を解析し、店外における様々な状況を解析する。例えば、店外状況解析部２０２は、店舗から退出する退店者の解析、来店者が店外に停めている来店手段（移動手段）の解析、不審者の解析などを行なう。
【００２３】
比較部２０３は、来店者解析部２０１による解析結果と、店外状況解析部２０２による解析結果の比較を行なう。
【００２４】
異常報知部２０４は、比較部２０３での比較結果などに基づき、店外での異常を検知し、ＰＯＳシステム２２０やインターネット２３０を介して、店員や来客者などに異常を報知する。異常報知部２０４は、来店者または店員の所持する携帯情報端末に対して異常を報知するメッセージを送信する。
【００２５】
店内状況解析部２０５は、店内カメラ２１４、２１５から受信した映像を解析して、店内の状況を認識する。店内状況解析部２０５は、店内の状況として、認識した各来店者がどこにいるか、困っている来店者がいないか、などを判定する。
【００２６】
不審判定部２０６は、異常報知部２０４や店内状況解析部２０５での解析結果を受けて、不審者を判定する。判定した不審者についての情報（画像、日時、行動、回数など）は、不審者データベース２８２に格納される。
【００２７】
滞留時間算出部２０７は、各来店者について、来店してから退店するまでの滞留時間を算出し、来店者データベース２８１に格納する。各来店者の店舗滞留時間を算出することで、タイムサービスを行うべき時間帯の判断、クーポンや値引き販促の対象者、ダイレクトメールの送信者を特定することができる。例えば、滞留時間が長い人には、目的買いが少ないためクーポンや値引き販促が有効であり、滞留時間の短い人には、目的買いが多いため、あらかじめ、ダイレクトメールなどを送った方が効果的と考えられる。
【００２８】
情報蓄積部２０８は、来店者データベース２８１、不審者データベース２８２などの各種データを蓄積する。
【００２９】
通信制御部２０９は、インターネット２３０を介して、会員登録されたユーザのユーザ端末２４０との通信を行なう。
【００３０】
来店者解析部２０１による解析結果としての来店者データを図３に示す。来店者ごとに、来店時刻、退店時刻の他、顔認識の結果、店舗の会員としてあらかじめ登録されている人物と一致すると判断した場合にはその会員番号を記録する。店舗の会員としてあらかじめ登録されている人物と一致しないと判断した場合には、非会員として新たな番号を付する。
【００３１】
または、非会員データを登録する非会員データベースがある場合には、非会員データベースを参照して、非会員としてのＩＤを来店者データベース２８１に登録する。これにより非会員であっても、どの程度のお得意様かを判断することができる。
【００３２】
来店者データベース２８１には、さらに来店者ごとの来店手段を登録する。来店手段としては、徒歩、車、自転車、自動二輪車（バイク）、タクシー、路線バス、鉄道などの移動手段をできるだけ詳しい情報として登録する。自動車の場合には、車両形状やエンブレムなどから、各種車両データベースを参照して、車種や年式をおおまかに特定して登録する。
【００３３】
来店者データベース２８１には、さらに、来店者の来店回数、購買履歴、来店手段の価格などからランクを判定し、登録する。
【００３４】
来店者データベース２８１には、さらに、来店者の同伴者を格納する。家族に見える場合には、来店者（会員）としての女性以外の、男性同伴者、子供の同伴者などの有無を登録する。別途、同伴者データベースを用意して、同伴者の顔や服や年齢などのデータを格納してもよい。犬を連れた来店者の場合には、その犬の犬種まで判定して登録してもよい。
【００３５】
来店者データベース２８１には、さらに、来店者の嗜好を登録する。好きな色のほか、好きなキャラクター、趣味（ゴルフや釣りなど）といった来店者の嗜好を判定、認識し、登録する。
【００３６】
以上に示した以外にも、来店者データベース２８１には、来店してきた方角など、店外カメラからの映像を解析して得られる、あらゆるデータを登録してもよい。また、来店者データベース２８１に登録された内容を用いて、別に用意された会員データベース（不図示）を更新してもよい。
【００３７】
［迷子または誘拐発見処理の手順］
図４乃至図７を用いて、情報処理装置２００で行なわれる迷子または誘拐発見処理の手順について説明する。
【００３８】
図４は、同伴者を登録する処理の手順を示すフローチャートである。図５は、同伴者を伴う来店者が来店した状況の一例を示す図である。ステップＳ４０１において、来店者解析部２０１は、来店者５０１に同伴者がいるか否かを判定し、同伴者５０２を見つけた場合にはステップＳ４０３に進み、人物（顔、体格、服装）を認識する。その認識結果をステップＳ４０５において、来店者データベース２８１に登録する。つまり、どういう同伴者が、どういう来店者と共に来店したかを判定し、登録する。
【００３９】
図６は、退店者をチェックする処理の手順を示すフローチャートである。図７は、同伴者が退店した状況の一例を示す図である。ステップＳ６０１において、退店者を検出すると、ステップＳ６０３で人物認識処理を行ない、ステップＳ６０５において来店者として来店者データベース２８１に登録があるか判定する。
【００４０】
来店者として登録された人物が退店したと判断した場合には、ステップＳ６０７に進み、店舗滞留時間を算出して、来店者データベース２８１および会員データベースに登録する。
【００４１】
ステップＳ６０５において、来店者として来店者データベース２８１に登録されていないと判定すると、ステップＳ６０９において、同伴者としての登録があるか判定する。来店者としても同伴者としても登録がなければ、ステップＳ６１１に進んで不審者として不審者データベース２８２に登録する。
【００４２】
ステップＳ６０９において、同伴者として登録がある人物が退店したと判定すると、ステップＳ６１３に進み、来店時に同伴していた来店者が近くにいるか判定することにより、来店者に報知する必要があるか否かを判定する。図７のように幼い同伴者５０２が退店したが、近く（例えば半径５ｍ以内）に来店者５０１がいない場合には、ステップＳ６１５において異常報知部２０４が、異常として、店員７０２の端末７２１に報知メッセージを送信する。その際、伝えるべき来店者５０１の顔写真を表示できるようにすることで、店員７０２が来店者５０１を発見しやすいようにする。同時に、不審判定部２０６は、同伴者５０２のそばに不審者がいるか判定し、不審者７０１がいる場合には、不審者７０１の画像などを不審者データベース２８２に登録する。
【００４３】
このような処理により、来店者が同伴した子供や老人などの迷子、誘拐などをいち早く発見し、来店者に知らせて事件を未然に防止することが可能となる。
【００４４】
［店外窃盗発見処理の手順］
図８乃至図１１を用いて、情報処理装置２００で行なわれる店外窃盗発見処理の手順について説明する。
【００４５】
図８は、店外窃盗を報知する処理の手順を示すフローチャートである。まず、前提として、図９に示すように、来店者９０１が用いた移動手段（図では自転車９０２）を認識し、来店者情報と結びつけて、その画像、種類、位置などを来店者データベース２８１に登録する。
【００４６】
その後、ステップＳ８０１において店外状況解析部２０２は、店外カメラ２１１〜２１３で撮像された映像を解析して、移動手段に接触する人物を検知すると、ステップＳ８０３に進む。ステップＳ８０３において、比較部２０３は、来店者データベース２８１と照合して、移動手段に接触する人物が、来店者または同伴者として登録されているか否かを判定する。
【００４７】
そしてステップＳ８０５に進み、図１０に示すように、不審判定部２０６が、自転車９０２に近づく人物は来店者９０１とは異なり不審者１００１であると認定すると、ステップＳ８０６において、その不審者画像を不審者データベース２８２に登録する。
【００４８】
次に、ステップＳ８０７に進み、図１１に示すように、店員１１０２の端末１１２１に不審者１００１の画像および来店者９０１の画像を送信する。店員１１０２が来店者９０１を見つけるのが困難な場合にはステップＳ８０９からステップ８１１に進み、店内状況解析部２０５が店内カメラ２１４の映像を解析する。また、異常報知部２０４は、店内状況解析部２０５による解析結果に基づいて、来店者９０１の位置を店員１１０２の端末１１２１に報知する（Ｓ８１３）。
【００４９】
このような処理により、来店者の移動手段に対する不法行為をいち早く発見し、来店者に知らせることが可能になる。ここでは、移動手段の例として自転車を挙げたが、自動車に対する車上荒らしの発見、摘発にももちろん適用できる。
【００５０】
［万引き摘発処理の手順］
図１２乃至図１４を用いて、情報処理装置２００で行なわれる具体的な処理の手順について説明する。まず、図１２のステップＳ１２０１において、店内状況解析部２０５は、店内カメラ２１４などの映像を解析する。ステップＳ１２０３において、その映像解析の結果、不審者を発見した場合、ステップＳ１２０５に進んで、不審者データベース２８２に、映像と共に登録する。例えば、図１４のように、店内カメラ２１４の映像から、万引きが疑われる不審者１４０１を発見した場合、不審者の顔画像、商品１４０２の情報などを不審者データベース２８２に登録する。
【００５１】
図１３のステップＳ１３０１において、店外状況解析部２０２は、店外カメラ２１１によって撮像された映像を解析して、退店者の人物画像を抽出する。次に、ステップＳ１３０３において、その人物画像と不審者データベース２８２とを照合する。ステップＳ１３０５において、不審者データベース２８２に万引きが疑われる不審者として登録された人物が退店したか否かを判定し、そのような人物１４０１が退店した場合には、ステップＳ１３０７に進んで、店員１４０３の端末１４３１（もちろん警備員端末でもよい）に報知する。もちろん、そのような不審者が会計を済ませたか否かを、店内カメラの映像によって確認してもよい。
【００５２】
このような処理により、万引きをしたか否かは、不審者が店外に退出して初めて立証できるため、店外に退出した不審者をいち早く店員に知らせることができる。
【００５３】
なお、上述した本実施形態では、説明の便宜上、一例として、店外状況解析部２０２は、店外カメラ２１１によって撮像された映像を解析して、退店者の人物画像を抽出する構成を例に説明した。また、判定した結果、本実施形態では、判定結果を、店員１４０３の端末１４３１に報知する構成を例に説明した。しかしながら本発明に係る実施形態は、係る構成に限定されない。店外状況解析部２０２は、店外カメラ２１１によって撮像された映像を解析して、退店者の人物画像とその退店者の行動とを抽出する構成を採用してもよい。
【００５４】
また、その抽出結果に基づき特定した情報を、店員１４０３などが保有する端末に報知する構成を採用してもよい。その場合に、本実施形態では、退店者の行動を表す情報と、報知すべき情報とが関連付けられた情報を情報蓄積部２０８にあらかじめ保持していればよい。
【００５５】
これにより、本実施形態では、抽出した行動を表す情報に基づいて、情報蓄積部２０８を検索することによって、報知すべき情報を求めることができる。この結果、例えば、退店者が店舗にて購入したものを、自動車内で飲食している場合には、情報処理装置２００は、店員や店舗の経営者などに、報知すべき情報として、イートインを店舗内に設けるなどの店舗構成に関する情報を報知することができる。あるいは、情報処理装置２００は、店舗における品揃えや販促に関する情報を報知することができる。
【００５６】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００５７】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【００５８】
この出願は、２０１６年１２月１５日に出願された日本出願特願２０１６−２４３７２５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2018110165.tif 000003
【図２】
2018110165.tif 000004
【図３】
2018110165.tif 000005
【図４】
2018110165.tif 000006
【図５】
2018110165.tif 000007
【図６】
2018110165.tif 000008
【図７】
2018110165.tif 000009
【図８】
2018110165.tif 000010
【図９】
2018110165.tif 000011
【図１０】
2018110165.tif 000012
【図１１】
2018110165.tif 000013
【図１２】
2018110165.tif 000014
【図１３】
2018110165.tif 000015
【図１４】
2018110165.tif 000016
【国際調査報告】
2018110165.tif 000017
2018110165.tif 000018
2018110165.tif 000019
2018110165.tif 000020