(57)【特許請求の範囲】
【請求項１】
対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、
前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
前記撮像画像から背景画像を生成する背景画像生成部と、
この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
を備え、
前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成することを特徴とする滞留状況分析装置。
【請求項２】
前記背景画像生成部は、ぼかし処理を前記撮像画像に対して行って前記背景画像を生成することを特徴とする請求項１に記載の滞留状況分析装置。
【請求項３】
前記背景画像生成部は、単一色の半透過画像を重畳する処理を前記撮像画像に対して行って前記背景画像を生成することを特徴とする請求項１に記載の滞留状況分析装置。
【請求項４】
対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、
前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
前記撮像画像から背景画像を生成する背景画像生成部と、
この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
を備え、
前記背景画像生成部は、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とすることを特徴とする滞留状況分析装置。
【請求項５】
前記背景画像生成部は、前記ダイジェスト画像として、複数の前記撮像画像における画素値の平均値を画素ごとに求めてその平均値を画素値とした平均画像を生成して、その平均画像を前記背景画像とすることを特徴とする請求項４に記載の滞留状況分析装置。
【請求項６】
前記背景画像生成部は、前記ダイジェスト画像として、複数の前記撮像画像における画素値の分散を画素ごとに求めてその分散を画素値とした分散画像を生成して、その分散画像を前記背景画像とすることを特徴とする請求項４に記載の滞留状況分析装置。
【請求項７】
前記背景画像生成部は、前記ダイジェスト画像として、前記計測期間内の複数の撮像画像の各々から抽出した移動体の画像を１つの前記撮像画像上に重畳した画像を生成して、その画像を前記背景画像とすることを特徴とする請求項４に記載の滞留状況分析装置。
【請求項８】
対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、
前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
前記撮像画像から背景画像を生成する背景画像生成部と、
この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
を備え、
前記背景画像生成部は、
前記撮像画像と前記滞留情報との類似度を算出する類似度算出部と、
この類似度算出部で算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択する背景画像選択部と、
を備えたことを特徴とする滞留状況分析装置。
【請求項９】
前記背景画像生成部は、
前記類似度算出部で算出された前記類似度を所定のしきい値と比較して、前記撮像画像が背景画像として適切か否かを評価する評価部をさらに備え、
この評価部で背景画像として適切と評価された前記撮像画像を前記背景画像に選択することを特徴とする請求項８に記載の滞留状況分析装置。
【請求項１０】
前記滞留情報は、滞留度数および滞留時間の少なくともいずれかであることを特徴とする請求項１から請求項９のいずれかに記載の滞留状況分析装置。
【請求項１１】
対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、
前記対象エリアを撮像するカメラと、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、
この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
前記撮像画像から背景画像を生成する背景画像生成部と、
この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
を備え、
前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成することを特徴とする滞留状況分析システム。
【請求項１２】
対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、
前記対象エリアを撮像するカメラと、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、
この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
前記撮像画像から背景画像を生成する背景画像生成部と、
この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
を備え、
前記背景画像生成部は、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とすることを特徴とする滞留状況分析システム。
【請求項１３】
対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、
前記対象エリアを撮像するカメラと、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、
この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、
この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、
前記撮像画像から背景画像を生成する背景画像生成部と、
この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、
を備え、
前記背景画像生成部は、
前記撮像画像と前記滞留情報との類似度を算出する類似度算出部と、
この類似度算出部で算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択する背景画像選択部と、
を備えたことを特徴とする滞留状況分析システム。
【請求項１４】
対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、
前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、
このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、
前記撮像画像から背景画像を生成するステップと、
このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、
を有し、
前記背景画像を生成するステップでは、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成することを特徴とする滞留状況分析方法。
【請求項１５】
対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、
前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、
このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、
前記撮像画像から背景画像を生成するステップと、
このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、
を有し、
前記背景画像を生成するステップでは、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とすることを特徴とする滞留状況分析方法。
【請求項１６】
対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、
前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、
このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、
前記撮像画像から背景画像を生成するステップと、
このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、
を有し、
前記背景画像を生成するステップは、
前記撮像画像と前記滞留情報との類似度を算出するステップと、
このステップで算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択するステップと、
を有することを特徴とする滞留状況分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法に関するものである。
【背景技術】
【０００２】
店舗のレジカウンタでは、会計を望む顧客が増えると、会計待ちの行列ができて、顧客を長時間待たせることになるが、レジカウンタの周辺での顧客の滞留状況、すなわちレジカウンタの周辺に顧客がどの程度滞留しているかを把握することができると、この顧客の滞留状況に基づいて、店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図ることができる。
【０００３】
このような人物の滞留状況を把握する要望に関連するものとして、従来、対象エリア内での人物の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる技術が知られている（特許文献１参照）。このようなヒートマップ画像を用いると、対象エリア内での人物の滞留状況、すなわち人物がどの領域にどの程度滞留しているかをユーザが一目で把握することができるため、ユーザの利便性を高めることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１３４６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、滞留情報を可視化したヒートマップ画像のみでは、人物の滞留状況を対象エリア内の位置に対応させて把握することが難しい、すなわち、対象エリア内のどの領域に人物が滞留しているかをユーザが把握することが難しいため、前記従来の技術では、対象エリアの平面図を背景画像として、これにヒートマップ画像を重畳して表示するようにしている。特に、前記従来の技術では、対象エリアを分担して撮像する複数台のカメラによる撮像画像から滞留情報を取得して、その滞留情報から１つのヒートマップ画像を生成するようにしているため、対象エリアの平面図を背景画像とする必要があるが、対象エリアを１台のカメラで撮像して得られた撮像画像からヒートマップ画像を生成する場合には、１台のカメラによる撮像画像を背景画像にすることが簡便である。
【０００６】
しかしながら、このように撮像画像を背景画像とした場合、背景画像は、ある時点の撮像画像であるのに対して、ヒートマップ画像は、所定の計測期間内の複数の時刻の撮像画像から生成されるものであるために、背景画像とヒートマップ画像とが整合しない、すなわち景画像に映る実際の人物の滞留状態と、ヒートマップ画像が表す滞留状態とが大きく異なる場合があり、このように背景画像とヒートマップ画像とが整合しないと、ユーザに違和感を与えるという問題があった。
【０００７】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、対象エリア内での移動体の滞留情報を可視化したヒートマップ画像を、対象エリアの撮像画像から生成した背景画像に重畳して表示する場合に、背景画像とヒートマップ画像とが整合しないことによる違和感を低減して自然な表示画像が得られるように構成された滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の滞留状況分析装置は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
【０００９】
また、本発明の滞留状況分析システムは、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、前記対象エリアを撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
【００１０】
また、本発明の滞留状況分析方法は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、前記撮像画像から背景画像を生成するステップと、このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、を有し、前記背景画像を生成するステップでは、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
【発明の効果】
【００１１】
本発明によれば、撮像画像に写った移動体の識別性（視認性）を低減する画像処理を撮像画像に対して行うことで、撮像画像に写った移動体が識別しにくくなるため、計測期間内の撮像画像の中から一律に背景画像に選択する、例えば計測期間の終了時点での撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合しなくなる場合でも、ユーザに与える違和感を軽減することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係る滞留状況分析システムの全体構成図
【図２】店舗におけるカメラ１の設置状況を示す平面図
【図３】カメラ１による撮像画像上に設定される測定エリアを説明する説明図
【図４】ＰＣ３で生成されてモニタ７に表示される表示画像を説明する説明図
【図５】ＰＣ３の概略構成を示す機能ブロック図
【図６】背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図
【図７】背景画像とヒートマップ画像とが整合しない例を示す説明図
【図８】背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図
【図９】背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図
【図１０】第２実施形態に係るＰＣ３の背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図
【図１１】背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図
【図１２】背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図
【図１３】第３実施形態に係るＰＣ３の概略構成を示す機能ブロック図
【図１４】背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図
【図１５】類似度算出部５１で行われる類似度算出処理の概要を説明する説明図
【図１６】第３実施形態の第１変形例に係るＰＣ３の概略構成を示す機能ブロック図
【図１７】背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図
【図１８】モニタ７に表示されるヒートマップ表示画面を示す説明図
【図１９】第３実施形態の第２変形例に係るＰＣ３の背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図
【図２０】ヒートマップ画像２３の別例を示す説明図
【図２１】領域分割ヒートマップ画像を示す説明図
【図２２】滞留情報取得部３４で行われる滞留情報取得処理の別例を説明する説明図
【発明を実施するための形態】
【００１３】
前記課題を解決するためになされた第１の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
【００１４】
これによると、撮像画像に写った移動体の識別性（視認性）を低減する画像処理を撮像画像に対して行うことで、撮像画像に写った移動体が識別しにくくなるため、計測期間内の撮像画像の中から一律に背景画像に選択する、例えば計測期間の終了時点での撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合しなくなる場合でも、ユーザに与える違和感を軽減することができる。
【００１５】
また、第２の発明は、前記背景画像生成部は、ぼかし処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
【００１６】
これによると、背景画像が、対象エリアの概観を把握することができる状態を保ちつつ、正確な移動体の数や位置などは分かりにくいものになるため、背景画像とヒートマップ画像とが整合しないことにより生じる違和感を軽減することができる。
【００１７】
また、第３の発明は、前記背景画像生成部は、単一色の半透過画像を重畳する処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
【００１８】
これによると、背景画像が、対象エリアの概観を把握することができる状態を保ちつつ、正確な移動体の数や位置などは分かりにくいものになるため、背景画像とヒートマップ画像とが整合しないことにより生じる違和感を軽減することができる。
【００１９】
また、第４の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とする構成とする。
【００２０】
これによると、ダイジェスト画像が、計測期間の全体を通した対象エリアの状態を反映したものとなることから、このダイジェスト画像を背景画像とすることで、背景画像とヒートマップ画像とが整合するものになるため、ユーザに違和感を与えることを避けることができる。
【００２１】
また、第５の発明は、前記背景画像生成部は、前記ダイジェスト画像として、複数の前記撮像画像における画素値の平均値を画素ごとに求めてその平均値を画素値とした平均画像を生成して、その平均画像を前記背景画像とする構成とする。
【００２２】
これによると、平均画像では、移動体の像が不鮮明になる一方で、静止した物体の像は比較的鮮明な状態に保持されるため、この平均画像を背景画像とすることで、移動体を除く対象エリアの状態を明瞭に把握することができるようになる。
【００２３】
また、第６の発明は、前記背景画像生成部は、前記ダイジェスト画像として、複数の前記撮像画像における画素値の分散を画素ごとに求めてその分散を画素値とした分散画像を生成して、その分散画像を前記背景画像とする構成とする。
【００２４】
これによると、分散画像では、移動体の像が不鮮明になる一方で、静止した物体の像は比較的鮮明な状態に保持されるため、この分散画像を背景画像とすることで、移動体を除く対象エリアの状態を明瞭に把握することができるようになる。
【００２５】
また、第７の発明は、前記背景画像生成部は、前記ダイジェスト画像として、前記計測期間内の複数の撮像画像の各々から抽出した移動体の画像を１つの前記撮像画像上に重畳した画像を生成して、その画像を前記背景画像とする構成とする。
【００２６】
これによると、ダイジェスト画像に、計測期間内の撮像画像に出現した移動体の像が鮮明に表示され、また、移動体以外の物体の像も鮮明に表示されるため、移動体を含む対象エリアの状態を明瞭に把握することができる。
【００２７】
また、第８の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像と前記滞留情報との類似度を算出する類似度算出部と、この類似度算出部で算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択する背景画像選択部と、を備えた構成とする。
【００２８】
これによると、ヒートマップ画像の元になる滞留情報との類似度が高い撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合したものになるため、ユーザに違和感を与えることを避けることができる。
【００２９】
また、第９の発明は、前記背景画像生成部は、前記類似度算出部で算出された前記類似度を所定のしきい値と比較して、前記撮像画像が背景画像として適切か否かを評価する評価部をさらに備え、この評価部で背景画像として適切と評価された前記撮像画像を前記背景画像に選択する構成とする。
【００３０】
これによると、背景画像とヒートマップ画像とが確実に整合したものとなるため、ユーザに違和感を与えることを確実に避けることができる。
【００３１】
また、第１０の発明は、前記滞留情報は、滞留度数および滞留時間の少なくともいずれかである構成とする。
【００３２】
これによると、滞留度数、すなわち対象エリア内に滞留する移動体の個数をユーザが把握することができる。また、滞留時間、すなわち対象エリア内で移動体が滞留する時間をユーザが把握することができる。
【００３３】
また、第１１の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、前記対象エリアを撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
【００３４】
これによると、第１の発明と同様に、計測期間内の撮像画像の中から一律に背景画像に選択することで、背景画像とヒートマップ画像とが整合しなくなる場合でも、ユーザに与える違和感を軽減することができる。
【００３５】
また、第１２の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、前記対象エリアを撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とする構成とする。
【００３６】
これによると、第４の発明と同様に、ダイジェスト画像が、計測期間の全体を通した対象エリアの状態を反映したものとなることから、このダイジェスト画像を背景画像とすることで、背景画像とヒートマップ画像とが整合するものになるため、ユーザに違和感を与えることを避けることができる。
【００３７】
また、第１３の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析システムであって、前記対象エリアを撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から移動体を検出して位置情報を取得する移動体検出部と、この移動体検出部により取得した前記移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得する滞留情報取得部と、この滞留情報取得部で取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するヒートマップ画像生成部と、前記撮像画像から背景画像を生成する背景画像生成部と、この背景画像生成部で生成した前記背景画像上に、前記ヒートマップ画像生成部で生成した前記ヒートマップ画像を重畳して、表示画像を生成する表示画像生成部と、を備え、前記背景画像生成部は、前記撮像画像と前記滞留情報との類似度を算出する類似度算出部と、この類似度算出部で算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択する背景画像選択部と、を備えた構成とする。
【００３８】
これによると、第８の発明と同様に、ヒートマップ画像の元になる滞留情報との類似度が高い撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合したものになるため、ユーザに違和感を与えることを避けることができる。
【００３９】
また、第１４の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、前記撮像画像から背景画像を生成するステップと、このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、を有し、前記背景画像を生成するステップでは、前記撮像画像に写った移動体の識別性を低減する画像処理を前記撮像画像に対して行って前記背景画像を生成する構成とする。
【００４０】
これによると、第１の発明と同様に、計測期間内の撮像画像の中から一律に背景画像に選択することで、背景画像とヒートマップ画像とが整合しなくなる場合でも、ユーザに与える違和感を軽減することができる。
【００４１】
また、第１５の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、前記撮像画像から背景画像を生成するステップと、このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、を有し、前記背景画像を生成するステップでは、前記滞留情報に対応する前記計測期間において撮像された複数の前記撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を前記背景画像とする構成とする。
【００４２】
これによると、第４の発明と同様に、ダイジェスト画像が、計測期間の全体を通した対象エリアの状態を反映したものとなることから、このダイジェスト画像を背景画像とすることで、背景画像とヒートマップ画像とが整合するものになるため、ユーザに違和感を与えることを避けることができる。
【００４３】
また、第１６の発明は、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる処理を情報処理装置に行わせる滞留状況分析方法であって、前記対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの前記滞留情報を取得するステップと、このステップで取得した前記滞留情報を可視化した前記ヒートマップ画像を生成するステップと、前記撮像画像から背景画像を生成するステップと、このステップで生成した前記背景画像上に、前記ヒートマップ画像を生成するステップで生成した前記ヒートマップ画像を重畳して、表示画像を生成するステップと、を有し、前記背景画像を生成するステップは、前記撮像画像と前記滞留情報との類似度を算出するステップと、このステップで算出された前記類似度に基づいて、前記背景画像とする前記撮像画像を選択するステップと、を有する構成とする。
【００４４】
これによると、第８の発明と同様に、ヒートマップ画像の元になる滞留情報との類似度が高い撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合したものになるため、ユーザに違和感を与えることを避けることができる。
【００４５】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００４６】
（第１実施形態）
図１は、第１実施形態に係る滞留状況分析システムの全体構成図である。この滞留状況分析システムは、スーパーマーケットなどの小売店舗などを対象にして構築されるものであり、カメラ１と、レコーダ（映像記録装置）２と、ＰＣ（滞留状況分析装置）３と、移動体検出装置（移動体検出部）４と、を備えている。なお、この図１に示す構成では、カメラ１、ＰＣ（滞留状況分析装置）３、移動体検出装置（移動体検出部）４を別々のデバイスとして記載しているが、近年のカメラの高機能化に伴い、移動体検出・追跡機能（動線の抽出など）や滞留状況分析機能（滞留情報としての領域ブロック単位でのカウント数、滞留数などの算出）が実装されたカメラの開発が進められており、このようなカメラを用いて、主として滞留情報をＰＣやサーバへ直接送信する構成とすることもできる。この場合、ＰＣやサーバでは、搭載された専用アプリケーションにより、カメラから送信された滞留情報に基づいて、ヒートマップ画像の生成処理、表示装置で閲覧可能な形への描画処理などを行うだけで済むため、データ処理にかかる負荷を大幅に軽減することができる。
【００４７】
カメラ１は店舗内の適所に設置され、カメラ１により店舗内の監視エリアが撮像され、これにより得られた映像情報がレコーダ２に録画される。
【００４８】
ＰＣ３には、監視員などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。なお、タッチパネルディスプレイで、入力デバイス６およびモニタ７を構成してもよい。
【００４９】
このＰＣ３は、店舗の警備室などに設置され、監視者（警備員）が、モニタ７に表示される監視画面で、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。
【００５０】
なお、本部に設けられたＰＣ１１にも図示しないモニタが接続され、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧し、また、レコーダ２に録画された過去の店舗内の映像を閲覧して、本部で店舗内の状況を確認することができる。
【００５１】
移動体検出装置４では、カメラ１による撮像画像（フレーム）から人物（移動体）を検出する人物検出処理が行われ、撮像画像の撮像時刻ごとの人物の位置情報を出力する。この人物検出処理は、公知の画像認識技術を利用すればよい。
【００５２】
図２は、店舗におけるカメラ１の設置状況を示す平面図である。店舗内には商品陳列棚およびレジカウンタが設けられている。顧客は、商品陳列棚で所望の商品を入手してレジカウンタで会計を行い、このとき、顧客は、商品陳列棚が設けられた商品陳列エリア側からレジカウンタに進入し、会計が終わるとレジカウンタから退出する。カメラ１は、レジカウンタに進入する顧客を正面から撮像するように設置されており、これによりカメラ１による撮像画像から人物検出を行うことができる。
【００５３】
次に、図１に示したＰＣ３で行われる滞留状況分析処理で生成されるヒートマップ画像について説明する。図３は、図２に示したカメラ１による撮像画像上に設定される測定エリアを説明する説明図である。図４は、図１に示したＰＣ３で生成されてモニタ７に表示される表示画像を説明する説明図である。
【００５４】
図３に示すように、カメラ１による撮像画像には、レジカウンタで会計を行う人物が映り、これらの人物は、入口側、すなわちカメラ１から離れた奥側からレジカウンタに進入して、出口側、すなわちカメラ１に近接する手前側から退出し、レジカウンタの周囲に入口側から出口側に向かう人物の流れができるが、レジカウンタでの会計作業の遅延や顧客数が店員の作業能力を超えると、会計待ちの行列ができて人物が滞留する状態となる。
【００５５】
本実施形態では、レジカウンタの周辺での人物の滞留状況を把握するために、レジカウンタの周辺で人物が移動する領域に測定エリアを設定して、この測定エリア（対象エリア）内での人物の滞留状況に関する滞留情報、具体的には滞留度数（滞留人数）、すなわち対象エリア内に滞留する人物の人数、および滞留時間、すなわち測定エリア内で人物が滞留する時間を取得し、この滞留情報を可視化したヒートマップ画像を生成する。
【００５６】
図４に示す例では、カメラ１による撮像画像から生成された背景画像２１上に測定エリアを表す枠画像２２および滞留情報（滞留度数および滞留時間）を表すヒートマップ画像２３が透視状態で重畳して表示されている。また、ヒートマップ画像２３は複数の測定エリアごとに並べて表示されている。
【００５７】
ヒートマップ画像２３では、滞留情報の数値の大きさが、画像の属性、すなわち大きさ、色合い（色相）および色の濃さ（濃度）の少なくともいずれかで表現される。特に、図４に示す例では、円形状のヒートマップ画像２３の塗りつぶし色の濃さで滞留時間が表現され、ヒートマップ画像２３の大きさで滞留度数（滞留人数）が表現されており、滞留時間が長いほどヒートマップ画像２３の色が濃くなり、滞留度数が高いほどヒートマップ画像２３が大きくなる。
【００５８】
次に、図１に示したＰＣ３で行われる滞留状況分析処理について説明する。図５は、ＰＣ３の概略構成を示す機能ブロック図である。
【００５９】
ＰＣ３は、位置情報蓄積部３１と、動線取得部３２と、動線情報蓄積部３３と、滞留情報取得部３４と、ヒートマップ画像生成部３５と、背景画像生成部３６と、表示画像生成部３７と、を備えている。
【００６０】
位置情報蓄積部３１では、移動体検出装置４から取得した人物ごとの位置情報が蓄積される。なお、位置情報には、カメラ１による撮像画像（映像の各フレーム）から検出された人物ごとの検出位置、および人物が検出された撮像画像の撮像時刻から取得した人物ごとの検出時刻などに関する情報が含まれる。
【００６１】
動線取得部３２では、カメラ１による撮像画像から検出された人物ごとの動線を取得する処理が行われる。この動線取得処理は、移動体検出装置４で生成されて位置情報蓄積部３１に蓄積された人物ごとの位置情報に基づいて行われる。この動線取得部３２で取得した人物ごとの動線に関する情報は動線情報蓄積部３３に蓄積される。
【００６２】
滞留情報取得部３４は、動線情報蓄積部３３に蓄積された動線情報に基づいて、測定エリア内での人物の滞留状況に関する滞留情報を所定の計測期間ごとに取得するものであり、滞留度数取得部４１と、滞留時間取得部４２と、を備えている。
【００６３】
滞留度数取得部４１では、動線取得部３２で取得した人物ごとの動線情報に基づいて、測定エリアごとの滞留度数（滞留人数）を取得する処理が行われる。この処理では、計測期間において測定エリアを通過した動線の本数をカウントして、計測期間における測定エリアごとの滞留度数を求める。
【００６４】
滞留時間取得部４２では、動線取得部３２で取得した人物ごとの動線情報に基づいて、人物ごとの測定エリア内での滞留時間を取得する処理が行われる。この処理では、まず、計測期間内において、人物ごとの滞留時刻（測定エリアに対する進入時刻および退出時刻）から人物ごとの滞留時間を取得し、次に、この人物ごとの滞留時間から、平均化などの適宜な統計処理で測定エリアごとの滞留時間を取得する。
【００６５】
ヒートマップ画像生成部３５では、滞留情報取得部３４で取得した滞留情報（滞留度数および滞留時間）を可視化したヒートマップ画像を計測期間ごとに生成する処理が行われる。
【００６６】
背景画像生成部３６では、計測期間において撮像された複数の撮像画像から１つの撮像画像を選択して、その１つの撮像画像を対象にして画像処理を行って背景画像を生成する処理が行われる。本実施形態では、撮像画像に写った人物の識別性を低減する画像処理を撮像画像の全体に対して行って背景画像を生成する処理が行われる。
【００６７】
表示画像生成部３７では、背景画像生成部３６で生成した背景画像上に、ヒートマップ画像生成部３５で生成したヒートマップ画像を重畳して、表示画像を生成する処理が行われる。
【００６８】
なお、図５に示したＰＣ３の各部は、ＰＣ３のＣＰＵで滞留状況分析用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
【００６９】
次に、図５に示した背景画像生成部３６で行われる処理について説明する。図６は、背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図である。
【００７０】
本実施形態では、前記のように、移動体検出装置４において、各時刻の撮像画像（フレーム）から人物を検出して位置情報を取得する処理が行われ、動線取得部３２において、各時刻の位置情報から人物ごとの動線を取得する処理が行われ、滞留情報取得部３４において、所定の計測期間（例えば３０分）における動線情報に基づいて滞留情報（滞留度数および滞留時間）を取得する処理が行われ、ヒートマップ画像生成部３５において、滞留情報からヒートマップ画像を生成する処理が行われる。
【００７１】
一方、背景画像生成部３６では、所定の計測期間において撮像された複数の撮像画像から一律に１つの撮像画像を選択して、その１つの撮像画像を対象にして画像処理を行って背景画像を生成する処理が行われる。図６に示す例では、計測期間の終了時点での撮像画像を選択して、その撮像画像から背景画像を生成する。そして、表示画像生成部３７において、背景画像上にヒートマップ画像を重畳して表示画像を生成する処理が行われる。
【００７２】
ここで、背景画像とヒートマップ画像とが整合しない例について説明する。図７は、背景画像とヒートマップ画像とが整合しない例を示す説明図である。
【００７３】
計測期間の終了時点の撮像画像など、計測期間内の複数の撮像画像から背景画像とする撮像画像を一律に選択する場合、背景画像はある時点の撮像画像であるのに対して、ヒートマップ画像は、計測期間内の複数の時刻の撮像画像から生成されるものであるため、背景画像とヒートマップ画像とが整合しない、すなわち背景画像に映る実際の人物の滞留状態と、ヒートマップ画像が表す滞留状態とが大きく異なる場合があり、この場合、ユーザに違和感を与える。
【００７４】
ここで、背景画像とヒートマップ画像とが整合しないケースとして、図７（Ａ），（Ｂ）に示す２つのケースがある。
【００７５】
図７（Ａ）に示すケースは、１つの測定エリアにおける背景画像とヒートマップ画像との関係が時間的に整合しない場合であり、図７（Ａ）に示す例では、第１の時刻（計測期間が9:00〜10:00）の表示画像と次の第２の時刻（計測期間が10:00〜11:00）の表示画像とを比較すると、ヒートマップ画像では、第１の時刻より次の第２の時刻の方が滞留度数が高い、すなわち混雑しているが、背景画像では、第１の時刻の方が次の第２の時刻より多くの人物が映っており、背景画像とヒートマップ画像とが整合しない。
【００７６】
図７（Ｂ）に示すケースでは、ある時刻の表示画像における背景画像とヒートマップ画像との関係が２つの測定エリアで整合しない場合であり、図７（Ｂ）に示す例では、ヒートマップ画像では、第１の測定エリアより第２の測定エリアの方が滞留度数が高い、すなわち混雑しているが、背景画像では、第１の測定エリアの方が第２の測定エリアより多くの人物が映っており、背景画像とヒートマップ画像とが整合しない。
【００７７】
そこで、本実施形態では、背景画像とヒートマップ画像とが整合しないことによりユーザに与える違和感を軽減するため、以下に示すように、計測期間において撮像された複数の撮像画像から一律に選択した撮像画像に対して画像処理を行って背景画像を生成するようにしている。
【００７８】
次に、図５に示した背景画像生成部３６で行われる背景画像生成処理について説明する。図８および図９は、背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図である。
【００７９】
背景画像生成部３６では、撮像画像に写った人物の識別性（視認性）を低減する画像処理を撮像画像の全体に対して行って背景画像を生成する処理が行われ、図８（Ａ）および図９（Ａ）に示す背景画像が生成される。表示画像生成部３７では、この背景画像生成部３６で生成した背景画像上にヒートマップ画像を重畳して表示画像を生成する処理が行われ、図８（Ｂ）および図９（Ｂ）に示す表示画像が生成される。
【００８０】
図８に示す例は、撮像画像に写った人物の識別性を低減する画像処理として、撮像画像に対してぼかし処理、特にモザイク処理、すなわち撮像画像を複数のブロックに分割して、ブロック内の１つの画素の画素値あるいはブロック内の各画素の画素値の平均値などの単一の画素値に、そのブロック内の全ての画素の画素値を置換する処理を行った場合である。図９に示す例は、撮像画像に単一色の半透過画像を重畳する処理を行った場合である。
【００８１】
なお、ぼかし処理としては、モザイク処理の他に、各種のフィルタ処理、例えば、ブラーフィルタ、ガウシアンフィルタ、メディアンフィルタ、およびバイラテラルフィルタなどによるフィルタ処理も可能である。さらに、撮像画像に写った人物の識別性を低減するには、グレースケール変換、ネガ／ポジ反転、色調補正（明るさ変化、ＲＧＢカラーバランス変化、コントラスト変化、ガンマ補正、および彩度調整など）、２値化、ならびにエッジフィルタなどの各種の画像処理を利用することも可能である。
【００８２】
このように本実施形態では、背景画像生成部３６において、撮像画像に写った人物の識別性（視認性）を低減する画像処理を撮像画像の全体に対して行って背景画像を生成するようにしており、このような画像処理が行われた背景画像では、撮像画像に写った人物が識別しにくくなるため、計測期間内の撮像画像の中から一律に背景画像に選択する、例えば計測期間の終了時点での撮像画像を背景画像に選択することで、背景画像とヒートマップ画像とが整合しなくなる場合でも、ユーザに与える違和感を軽減することができる。
【００８３】
特に、本実施形態では、撮像画像に写った人物の識別性を低減する画像処理として、ぼかし処理や、透過単一色を重畳する処理を撮像画像の全体に対して行うようにしたため、対象エリアの概観、すなわちどこに何があるかを大まかに把握することができる状態を保ちつつ、正確な人物の人数や位置などは分かりにくくなるため、背景画像とヒートマップ画像とが整合しないことにより生じる違和感を軽減することができる。
【００８４】
なお、本実施形態では、撮像画像に写った人物の識別性を低減する画像処理を撮像画像の全体に対して行うようにしたが、撮像画像の一部、特に人物が通過する領域のみを対象にして画像処理を行うようにしてもよい。
【００８５】
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
【００８６】
図１０は、第２実施形態に係るＰＣ３の背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図である。図１１および図１２は、背景画像生成部３６で生成される背景画像、および表示画像生成部３７で生成される表示画像を示す説明図である。
【００８７】
この第２実施形態では、図１０に示すように、背景画像生成部３６において、滞留情報に対応する計測期間において撮像された複数の撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を背景画像とする処理が行われる。なお、ダイジェスト画像を生成する際に、計測期間内の全ての撮像画像を対象とする他、計測期間内の撮像画像の中から一定の間隔をおいて複数の撮像画像を選択するようにしてもよい。
【００８８】
特にこの第２実施形態では、背景画像生成部３６において、ダイジェスト画像として、複数の撮像画像における画素値（例えば輝度値）の平均値を画素ごとに求めてその平均値を画素値とした平均画像を生成して、その平均画像を背景画像とする処理が行われる。また、背景画像生成部３６において、ダイジェスト画像として、複数の撮像画像における画素値（例えば輝度値）の分散を画素ごとに求めてその分散を画素値とした分散画像を生成して、その分散画像を背景画像とする処理が行われる。これにより、図１１（Ａ）に示す背景画像が生成される。そして、表示画像生成部３７において、背景画像生成部３６で生成した背景画像上にヒートマップ画像を重畳する処理が行われ、図１１（Ｂ）に示す表示画像が生成される。
【００８９】
なお、平均画像では、人物が通過しない背景部分は、ノイズや日照変動などの影響があるものの、概ね鮮明な状態に保持され、レジカウンタなどの静止した物体の像が鮮明に現れる。一方、人物が通過する部分は不鮮明な状態となり、人物らしき像が現れるものの、その人物の像は不鮮明になり、特に、人物が長く滞留している部分では人物の像が鮮明に現れるが、通過する人物が少ない部分は背景に近い画像となり、通過する人物が多い部分では人物の像が不鮮明となる。
【００９０】
また、分散画像では、例えば白黒表示で、分散値が小さい方を黒で表示するようにすると、人物が通過しない背景部分は、ノイズや日照変動などの影響があるものの、分散がほぼ０となるため、黒に近い色で表示される。一方、人物が通過する部分は不鮮明な状態となり、特に、通過する人物が少ない部分や人物が長く滞留している部分は、輝度変化があまりないため、背景と同様に黒に近い色で表示され、通過する人物が多い部分では不鮮明な人物らしき像が現れる。
【００９１】
また、この第２実施形態では、背景画像生成部３６において、計測期間内の複数の撮像画像の各々から抽出した人物の画像を１つの撮像画像上に重畳したダイジェスト画像を生成して、そのダイジェスト画像を背景画像とする処理が行われる。これにより、図１２（Ａ）に示す背景画像が生成される。そして、表示画像生成部３７において、背景画像生成部３６で生成した背景画像上にヒートマップ画像を重畳する処理が行われ、図１２（Ｂ）に示す表示画像が生成される。
【００９２】
図１２に示す例では、背景画像（ダイジェスト画像）内の人物の像の部分に時刻が表示されている。この時刻は、その人物の像を抽出した撮像画像の撮像時刻、すなわちその人物が撮像画像内に出現した時刻である。なお、時刻を表示させないようにしてもよい。
【００９３】
また、ダイジェスト画像を生成する際に、人物の画像が重畳される背景用の撮像画像には、計測期間の終了時点での撮像画像を用いてもよいが、撮影画像から人物の画像を除去したものを用いるようにしてもよく、この場合、例えば直近に撮影された複数の撮像画像からそれぞれ人物の画像を除去して、その複数の撮像画像から背景用の撮像画像を合成するようにすればよい。また、人物が存在しないときの撮影画像、例えば開店前の撮影画像を背景用の撮像画像として予め用意しておくようにしてもよい。
【００９４】
なお、ダイジェスト画像を静止画で表示する、すなわち計測期間内の撮像画像内に出現した複数の人物の画像を同時に背景用の撮像画像上に重畳して１つのダイジェスト画像を生成するようにしてもよいが、ダイジェスト画像を動画で表示する、すなわち計測期間内の撮像画像内に出現した人物の画像をその人物の出現時刻の順に表示するようにしてもよい。
【００９５】
また、撮像画像内に出現した人物が移動することで、人物の画像の位置が変化するため、背景用の撮像画像上に重畳させる人物の画像をどのタイミングのものにするかが問題となるが、例えば人物の出現期間の中心時刻での人物の画像を用いるようにしてもよく、また、背景画像が見にくくならないように、複数の人物の画像ができるだけ分散させて過度に重なり合わない位置に配置されるように人物の画像を選択するようにしてもよい。
【００９６】
このように本実施形態では、背景画像生成部３６において、滞留情報に対応する計測期間において撮像された複数の撮像画像からダイジェスト画像を生成して、そのダイジェスト画像を背景画像としており、このようなダイジェスト画像は、計測期間の全体を通した対象エリアの状態を反映したものとなることから、背景画像とヒートマップ画像とが整合するものになるため、ユーザに違和感を与えることを避けることができる。
【００９７】
特に、本実施形態では、平均画像や分散画像を背景画像としており、この平均画像や分散画像では、人物の像は不鮮明になるが、レジカウンタなどの静止した物体の像は比較的鮮明な状態に保持されるため、人物を除く対象エリアの状態を明瞭に把握することができる。また、平均画像や分散画像には、実際に人物が存在した領域に人物らしき像が現れるが、この平均画像や分散画像は、計測期間の全体を通した対象エリアの状態を反映したものとなるため、平均画像や分散画像に現れる人物らしい像は、ヒートマップ画像と整合するものとなるため、ユーザに違和感を与えることを避けることができる。
【００９８】
また、本実施形態では、計測期間内の複数の撮像画像の各々から抽出した人物の画像を１つの撮像画像に重畳したダイジェスト画像を背景画像としており、このようなダイジェスト画像には、計測期間内の撮像画像に出現した人物の像が鮮明に表示され、また、人物以外の物体の像も鮮明に表示されるため、人物を含む対象エリアの状態を明瞭に把握することができる。
【００９９】
（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
【０１００】
図１３は、第３実施形態に係るＰＣ３の概略構成を示す機能ブロック図である。図１４は、図１３に示した背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図である。図１５は、図１３に示した類似度算出部５１で行われる類似度算出処理の概要を説明する説明図である。
【０１０１】
第１実施形態および第２実施形態では、背景画像生成部３６において、撮像画像に対して適宜な画像処理を行って背景画像を生成するようにしたが、この第３実施形態では、背景画像として適切な撮像画像を探し出す処理が行われ、画像処理は行われない。特に、この第３実施形態では、図１４に示すように、滞留情報の計測期間内の各時刻の撮像画像の類似度を算出して、その類似度が最も高い撮像画像を背景画像に選択するようにしている。
【０１０２】
図１３に示すように、背景画像生成部３６は、類似度算出部５１と、背景画像選択部５２と、を備えている。類似度算出部５１では、滞留情報の計測期間内の各時刻の撮像画像について、その撮像画像から得られた位置情報と、滞留情報取得部３４で取得した滞留情報とを比較して、各時刻の撮像画像と滞留情報との類似度を算出する処理が行われる。背景画像選択部５２では、類似度算出部５１で算出された類似度に基づいて、滞留情報の計測期間内の各時刻の撮像画像の中から、類似度が最も高い撮像画像を背景画像に選択して出力する処理が行われる。
【０１０３】
類似度算出部５１では、位置情報蓄積部３１に蓄積された位置情報に含まれる人物ごとの人物枠の情報を取得して、撮像画像上で人物枠が存在する領域（人物存在領域）の大きさを求め、この人物存在領域の大きさとヒートマップ画像で表される滞留情報の数値の大きさとを比較して、撮像画像と滞留情報との類似度を算出する。この類似度の算出では、除算などの適宜な計算で類似度を算出すればよい。
【０１０４】
図１５（Ａ）は、ある時刻の表示画像であり、この表示画像内のヒートマップ画像によると、第１の測定エリアでは滞留度数が小さく、第２の測定エリアでは滞留度数が大きくなっているが、背景画像では、第１の測定エリアで人物が多く、第２の測定エリアで人物が少なくなっており、背景画像とヒートマップ画像とが整合しない。
【０１０５】
図１５（Ｂ）は、撮像画像から検出された人物枠を示しており、各測定エリアにおいて人物存在領域の大きさを求め、各測定エリアにおける人物存在領域の大きさと、ヒートマップ画像で表される滞留度数とを比較して、各測定エリアにおける類似度を算出する。図１５に示す例では、第１の測定エリアで人物存在領域が大きく、第２の測定エリアで人物存在領域が小さくなっており、各測定エリアにおける人物存在領域の大きさとヒートマップ画像で表される滞留度数とが対応していないため、類似度が低くなる。
【０１０６】
このように本実施形態では、類似度算出部５１において、撮像画像と滞留情報との類似度を算出し、背景画像選択部５２において、類似度算出部５１で算出された類似度に基づいて、複数の撮像画像の中から背景画像とする撮像画像を選択するようにしたため、背景画像とヒートマップ画像とが整合したものとなるため、ユーザに違和感を与えることを避けることができる。
【０１０７】
（第３実施形態の第１変形例）
次に、第３実施形態の第１変形例について説明する。図１６は、第３実施形態の第１変形例に係るＰＣ３の概略構成を示す機能ブロック図である。図１７は、図１６に示した背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図である。
【０１０８】
第３実施形態では、撮像画像と滞留情報との類似度のみに基づいて背景画像の選択を行う、すなわち滞留情報の計測期間内で類似度が最も高い撮像画像を背景画像に選択するようにしたが、この第１変形例では、類似度に基づいて選択された撮像画像が背景画像として適切なものか否かの評価を行うようにしており、図１６に示すように、背景画像生成部３６は、類似度算出部５１および背景画像選択部５２に加えて、評価部５３を備えている。
【０１０９】
評価部５３では、類似度算出部５１で算出された各時刻の撮像画像の類似度の中で最も高い類似度を所定のしきい値と比較して、その撮像画像が背景画像として適切か否かを評価する処理が行われる。ここで、類似度がしきい以上の場合は、背景画像として適切であると評価し、類似度がしきい値未満の場合は、背景画像として適切でないと評価する。
【０１１０】
この評価部５３での評価は、図１７に示すように、まず、滞留情報の計測期間内の各時刻の撮像画像を対象にして行われ、滞留情報の計測期間内の各時刻の撮像画像の全てが背景画像として適切でないと評価されると、別の計測期間、例えば１つ前の計測期間の撮像画像を対象にして評価が行われ、背景画像として適切な撮像画像が見つかると、その撮像画像を背景画像に選択する。
【０１１１】
ところで、この第３実施形態の第１変形例では、評価部５３において撮像画像が背景画像として適切か否かの評価を行うようにしたが、滞留情報の計測期間内で類似度が最も高く、かつその類似度がしきい値以上となる撮像画像を背景画像に選択しても、図７（Ａ）に示したように、時間的に隣り合う計測期間の表示画像同士で整合がとれない場合がある。
【０１１２】
そこで、評価部５３において、しきい値による評価に加えて、時間的な整合性、すなわち時間的に隣り合う計測期間の表示画像同士の整合性に関する評価を行うようにしてもよい。この時間的な整合性に関する評価で、滞留情報の計測期間内から選択された撮像画像が背景画像として適切でないと評価されると、背景画像選択部５２において、別の計測期間、例えば１つ前の計測期間の撮像画像の中から、背景画像としてより適切な撮像画像を選択する。
【０１１３】
このように本変形例では、評価部５３において、類似度算出部５１で算出された類似度を所定のしきい値と比較して、撮像画像が背景画像として適切か否かを評価し、この評価部５３で背景画像として適切と評価された撮像画像を背景画像に選択するようにしたため、背景画像とヒートマップ画像とが確実に整合したものとなるため、ユーザに違和感を与えることを確実に避けることができる。
【０１１４】
図１８は、モニタ７に表示されるヒートマップ表示画面を示す説明図である。このヒートマップ表示画面には、日時表示部６１と、日時設定ボタン６２と、ヒートマップ表示部６３と、注意書き表示部６４と、が設けられている。
【０１１５】
ヒートマップ表示部６３には、背景画像上にヒートマップ画像を重畳した表示画像が表示される。日時表示部６１は、日時を表示するものであり、日時設定ボタン６２は、日時を設定するものである。日時設定ボタン６２を操作すると、図示しない日時設定画面が表示され、ここで日時を選択することで、選択した日時が日時表示部６１に表示され、また、選択した日時の表示画像がヒートマップ表示部６３に表示される。
【０１１６】
注意書き表示部６４には、表示された時間帯（ヒートマップ画像の計測期間）と異なる時刻の撮像画像を背景画像に選択した場合に、その旨の文字が表示される。これにより、背景画像から対象エリアの状況に関して誤った推測が行われることを避けることができる。すなわち、対象エリアの実際の状況は時々刻々と変化し、表示された時間帯と異なる時刻の撮像画像を背景画像に選択すると、例えば表示された時間帯では存在しない人物が背景画像に写る場合があり、このような場合、背景画像から誤った推測が行われることがあるが、注意書き表示部６４で、表示された時間帯と異なる時刻の撮像画像を背景画像に選択した旨の表示を行うことで、誤った推測を避けることができる。
【０１１７】
なお、表示された時間帯（ヒートマップ画像の計測期間）と異なる時刻の撮像画像を背景画像に選択したことを表す表示は、文字によるものに限定されるものではなく、ヒートマップ表示部６３の枠部分に着色を施すなどの強調表示や、アイコンなどで行うようにしてもよい。
【０１１８】
また、図１１および図１２に示したように、ダイジェスト画像を背景画像とする場合にも、ヒートマップ表示画面に注意書き表示部６４を設けるようにするとよい。この場合、注意書き表示部にダイジェスト画像であることを表す文字が表示される。なお、ヒートマップ表示部６３の強調表示やアイコンなどでダイジェスト画像であることを表示するようにしてもよい。このようにすると、背景画像が実際の撮影画像ではなく、ダイジェスト画像であることをユーザが把握することができる。
【０１１９】
（第３実施形態の第２変形例）
次に、第３実施形態の第２変形例について説明する。図１９は、第３実施形態の第２変形例に係るＰＣ３の背景画像生成部３６で行われる背景画像生成処理の概要を説明する説明図である。なお、この第２変形例でのＰＣ３の概略構成は、図１６に示した第１変形例と同様である。
【０１２０】
この第２変形例では、第１変形例と同様に、撮像画像と滞留情報との類似度をしきい値と比較することで、撮像画像が背景画像として適切なものか否かの評価を行うが、特にこの第２変形例では、所定の候補選択規則にしたがって候補となる撮像画像を選択して、背景画像として適切な撮像画像を探し出すようにしている。
【０１２１】
具体的には、まず、類似度算出部５１において、滞留情報の計測期間の終了時点での撮像画像の類似度を算出して、評価部５３において、その撮像画像が背景画像として適切か否かの評価を行い、その撮像画像が背景画像として適切でないものと評価されると、所定の候補選択規則にしたがって候補となる撮像画像を選択して、再度、その撮像画像が背景画像として適切なものか否かの評価を行い、この撮像画像の選択および評価を、背景画像として適切であると評価される撮像画像が見つかるまで繰り返し、背景画像として適切な撮像画像が見つかると、背景画像選択部５２において、その撮像画像を背景画像に選択して出力する。
【０１２２】
特に、図１９に示す例では、候補選択規則を、計測期間より短い所定の選択間隔、例えば１０分間だけ過去に遡った時刻の撮像画像を選択するものとしており、滞留情報の計測期間の終了時点での撮像画像から、選択間隔ずつ遡って撮像画像を選択して、撮像画像が背景画像として適切なものか否かの評価を繰り返して、背景画像として適切な撮像画像を探し出すようにしている。
【０１２３】
なお、この第２変形例では、選択間隔だけ遡って１つの撮像画像を選択して評価を行うようにしたが、選択間隔内の複数の撮像画像を対象にして評価を行い、その中の撮像画像が全て背景画像として適切でないものと評価されると、その前の選択間隔内の複数の撮像画像を対象にして評価を行い、これを背景画像として適切であると評価される撮像画像が見つかるまで繰り返すようにしてもよい。
【０１２４】
次に、図４に示したヒートマップ画像２３の別例について説明する。図２０は、ヒートマップ画像２３の別例を示す説明図である。
【０１２５】
図４に示した例では、背景画像２１上に測定エリアを表す枠画像２２および滞留情報（滞留度数および滞留時間）を表すヒートマップ画像２３を重畳して表示し、特にヒートマップ画像２３を円形の図形を用いて表現するようにしたが、このヒートマップ画像２３は、図形、文字および記号の少なくともいずれかからなるものであればよい。すなわち、円形以外の図形、例えば正方形の図形を用いるようにしてもよい。さらに、ヒートマップ画像２３を、図形以外、例えば記号や文字で表現するようにしてもよい。
【０１２６】
また、図４に示した例では、滞留度数をヒートマップ画像２３の大きさで表現し、滞留時間の長さをヒートマップ画像２３の塗りつぶし色の濃さで表現するようにしたが、滞留情報（滞留度数および滞留時間）の数値の大きさを、ヒートマップ画像２３の属性、すなわちヒートマップ画像２３の大きさ、ヒートマップ画像２３の塗りつぶし色、ヒートマップ画像２３の輪郭線の色合い、色の濃さおよび太さの少なくともいずれかで表現することができる。
【０１２７】
例えば、図２０（Ａ），（Ｂ），（Ｃ）に示す例では、ヒートマップ画像２３が正方形の図形からなっている。特に、図２０（Ａ），（Ｂ），（Ｃ）に示す例では、滞留度数を正方形の大きさで表現している。また、図２０（Ａ）に示す例では、滞留時間の長さを正方形の塗りつぶしの色の濃さで表現し、図２０（Ｂ）に示す例では、滞留時間の長さを正方形の輪郭線の太さで表現し、図２０（Ｃ）に示す例では、滞留時間の長さを正方形の輪郭線の色の濃さで表現している。なお、図２０（Ａ），（Ｃ）に示す例では、色の濃さの代わりに色合いで表現するようにしてもよい。
【０１２８】
図２０（Ｄ）に示す例では、ヒートマップ画像２３が記号からなっており、特にここでは、滞留度数を記号の大きさで表現し、滞留時間の長さを記号で表現している。また、図２０（Ｅ）に示す例では、ヒートマップ画像２３が文字からなっており、特にここでは、滞留度数を文字の大きさで表現し、滞留時間の長さを文字で表現している。
【０１２９】
次に、領域分割ヒートマップ画像について説明する。図２１は、領域分割ヒートマップ画像を示す説明図である。
【０１３０】
図４に示した例では、監視エリア（カメラの撮像エリア）内に測定エリア（対象エリア）を設定して、測定エリアごとの滞留情報を表すヒートマップ画像２３を背景画像上に重畳するようにしたが、この図２１に示す例では、監視エリアの全体を対象エリアとして、その対象エリアを複数のグリッド（分割領域）に分割して、グリッドごとの滞留度数を表すヒートマップ画像を背景画像上に重畳するようにしており、このヒートマップ画像により、対象エリアにおける滞留度数の分布状況を可視化することができる。
【０１３１】
また、このヒートマップ画像では、人物の滞留度数（滞留人数）に応じて、色、濃淡、およびパターン画像の少なくともいずれかの可視化要素を変更することで、人物の滞留度数を可視化することができ、図２１に示す例では、グリッドの濃淡（塗りつぶし色の濃さ）でグリッドごとの滞留度数が表現されている。
【０１３２】
このようなヒートマップ画像を生成するには、計測期間内において各グリッドを通過した人物の動線の本数をカウントして、グリッドごとの滞留度数を求めればよい。
【０１３３】
次に、図５に示した滞留情報取得部３４で行われる滞留情報取得処理の別例について説明する。図２２は、滞留情報取得部３４で行われる滞留情報取得処理の別例を説明する説明図である。なお、この別例は、図２１に示した領域分割ヒートマップ画像を生成する場合に適用される。
【０１３４】
第１実施形態では、動線の本数をカウントして滞留度数を取得するようにしたが、この図２２に示す例では、画素（検出要素）ごとに人物枠（人物が存在する領域）内に位置する回数をカウントして、画素ごとの滞留度数（カウンタ値）を取得し、この画素単位の動体活動値を適宜な統計処理によりグリッド単位で集約して、グリッド単位の滞留度数を取得するようにしている。
【０１３５】
ここで、撮像画像から人物枠を検出する処理は、移動体検出装置４において行われる。また、画素単位の動体活動値をグリッド単位で集約する処理では、例えばグリッド内の各画素の滞留度数の平均値、すなわち、グリッド内の全ての画素の滞留度数を合計し、その合計値をグリッドの画素数で割った値を、そのグリッドの滞留度数とすればよい。
【０１３６】
なお、ここでは、人物枠内に位置する回数をカウントして滞留度数を取得するようにしたが、人物枠の中心点がグリッド内に位置する回数をカウントして、グリッド単位の滞留度数を取得するようにしてもよい。また、この図２２に示す方法では、人物ごとの動線を取得する必要がないため、図５に示した動線取得部３２および動線情報蓄積部３３を省略することができる。
【０１３７】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、前記の各実施形態に示した本発明に係る滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【０１３８】
例えば、前記の各実施形態では、スーパーマーケットなどの小売店舗のレジカウンタを対象エリアとしたが、待ち行列の発生するような場所、例えば、銀行のＡＴＭコーナー、イベントや展示会などの各種の会場の入口ゲートや受付、展示パネル、展示ブース前などを対象エリアとすることも可能である。
【０１３９】
また、前記の各実施形態では、滞留情報（滞留度数および滞留時間）の測定対象となる移動体を人物とした例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を対象として、駐車場に入場する車両の滞留状況を把握する用途に適用することも可能である。
【０１４０】
また、前記の各実施形態では、移動体検出装置４において、カメラ１による撮像画像から画像解析で移動体を検出してその位置情報を出力するようにしたが、このような構成の他に、無線信号などを利用して移動体を検出する構成、例えば移動体に付けたタグをセンサで検出する構成や、ＧＰＳ（Global Positioning System）を用いた構成や、光で人物を検出する位置センサを用いた構成なども可能である。
【０１４１】
また、前記の各実施形態では、滞留情報を表すヒートマップ画像の一例を図４および図２１に示したが、ヒートマップ画像はこれらの例に限定されるものではなく、種々の描画方法で滞留情報を表現することができる。例えば、滞留情報の数値の大きさを等高線状に色分けして表示するようにしてもよい。
【０１４２】
また、前記の各実施形態では、カメラ１とは別に移動体検出装置４を設けたが、この移動体検出装置の機能の一部あるいは全部をカメラ１に一体化して移動体検出機能付き撮像装置として構成することも可能であることは、前述の通りである。また、移動体検出装置４をＰＣ３で構成することも可能である。
【０１４３】
また、前記の各実施形態では、滞留状況分析に必要な処理を店舗に設置されたＰＣ３に行わせるとともに、ＰＣ３のモニタ７に滞留状況分析結果、すなわち背景画像上にヒートマップ画像を重畳した表示画像を表示させるようにしたが、滞留状況分析に必要な処理を行う情報処理装置とは別の情報処理装置、例えば、図１に示したように、本部に設置されたＰＣ１１やスマートフォン１３などの携帯型端末を滞留状況分析結果の閲覧装置として構成するようにしてもよい。
【０１４４】
また、前記の各実施形態では、滞留状況分析に必要な処理を店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で滞留状況分析システムが構成される。
【０１４５】
このような構成では、滞留状況分析に必要な処理のうち、少なくとも演算量が大きな処理、例えば移動体検出処理や動線取得処理を、店舗に設けられたＰＣ３などの装置に行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
【０１４６】
また、滞留状況分析に必要な処理のうち、少なくとも演算量が大きな処理、例えば移動体検出処理や線取得処理を、クラウドコンピュータ１２に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、ユーザが負担するコストを軽減することができる。
【０１４７】
また、クラウドコンピュータ１２に必要な処理の全部を行わせ、また、少なくともクラウドコンピュータ１２に滞留状況分析結果を出力する機能を与えるようにすると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３などの携帯型端末でも、滞留状況分析結果を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で滞留状況を確認することができる。
【０１４８】
また、前記の各実施形態では、それぞれに特徴のある種々の構成を示したが、これらの構成は、各実施形態で示した組み合わせに限定されるものではなく、各実施形態で別々に示した構成を適宜に組み合わせることも可能である。特に、第１実施形態による撮像画像に写った人物の識別性を低減する画像処理は、人物のプライバシー保護の観点で有効であり、この識別性を低減する画像処理を第２、３実施形態で生成されるダイジェスト画像に対しても適用可能であり、人物のプライバシー保護においては、こうした実施形態の組合せでの運用が必要となる。
【産業上の利用可能性】
【０１４９】
本発明にかかる滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法は、対象エリア内での移動体の滞留情報を可視化したヒートマップ画像を、対象エリアの撮像画像から生成した背景画像に重畳して表示する場合に、背景画像とヒートマップ画像とが整合しないことによる違和感を低減して自然な表示画像が得られる効果を有し、対象エリア内での移動体の滞留状況に関する滞留情報を取得し、その滞留情報を可視化したヒートマップ画像を生成して表示装置に表示させる滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法などとして有用である。
【符号の説明】
【０１５０】
１  カメラ
２  レコーダ
３  ＰＣ
４  移動体検出装置（移動体検出部）
６  入力デバイス
７  モニタ（表示装置）
１２  クラウドコンピュータ
１３  スマートフォン
２１  背景画像
２２  枠画像
２３  ヒートマップ画像
３１  位置情報蓄積部
３２  動線取得部
３３  動線情報蓄積部
３４  滞留情報取得部
３５  ヒートマップ画像生成部
３６  背景画像生成部
３７  表示画像生成部
４１  滞留度数取得部
４２  滞留時間取得部
５１  類似度算出部
５２  背景画像選択部
５３  評価部
【要約】
【課題】対象エリア内での移動体の滞留情報を可視化したヒートマップ画像を、対象エリアの撮像画像から生成した背景画像に重畳して表示する場合に、背景画像とヒートマップ画像とが整合しないことによる違和感を低減して自然な表示画像が得られるようにする。
【解決手段】対象エリアの撮像画像から取得した移動体の位置情報に基づいて、所定の計測期間ごとの滞留情報を取得する滞留情報取得部３４と、滞留情報を可視化したヒートマップ画像を生成するヒートマップ画像生成部３５と、撮像画像から背景画像を生成する背景画像生成部３６と、背景画像上にヒートマップ画像を重畳して、表示画像を生成する表示画像生成部３７と、を備え、背景画像生成部は、撮像画像に写った移動体の識別性を低減する画像処理を撮像画像に対して行って背景画像を生成する。
【選択図】図５【図１】
0005597781.tif 000002
【図２】
0005597781.tif 000003
【図３】
0005597781.tif 000004
【図４】
0005597781.tif 000005
【図５】
0005597781.tif 000006
【図６】
0005597781.tif 000007
【図７】
0005597781.tif 000008
【図８】
0005597781.tif 000009
【図９】
0005597781.tif 000010
【図１０】
0005597781.tif 000011
【図１１】
0005597781.tif 000012
【図１２】
0005597781.tif 000013
【図１３】
0005597781.tif 000014
【図１４】
0005597781.tif 000015
【図１５】
0005597781.tif 000016
【図１６】
0005597781.tif 000017
【図１７】
0005597781.tif 000018
【図１８】
0005597781.tif 000019
【図１９】
0005597781.tif 000020
【図２０】
0005597781.tif 000021
【図２１】
0005597781.tif 000022
【図２２】
0005597781.tif 000023