(57)【要約】監視カメラを用いて施設全体の混雑度を可視化するシステムを提供する。システムは、監視カメラ映像から群衆を検知し、そのエッジ量から群衆の大きさ（人数）を導くことで、カメラ映像範囲内の混雑状況を推定する。また通過人数カウンタや、群衆の大きさと移動速度などに基づいて人流（人の移動量）を計算し、モデル化した群衆行動パターンに基づいて、カメラ映像範囲以外のエリアの人数を推定する。モデルは、BIC(Bayesian Information Criteria)等の統計的モデル選択手法により、分布関数やそのパラメータを選択することで構築される。混雑状況はマップ上にプロットされ、即座に当該エリアの混雑状況を把握できる。
2017122258.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラからの映像を処理し、各映像の範囲で混雑度を推定する視野内混雑度推定器と、
前記視野内混雑度推定器の結果に基づいて、前記各映像の範囲を超えた領域の混雑度を推定する空間混雑度推定器と、
前記領域の混雑度を、ヒートマップ表示するグラフィカルユーザインタフェースと、
を備える混雑状況監視システム。
【請求項２】
請求項１記載の混雑状況監視システムにおいて、更に、前記領域への出入り口を撮影した前記映像から、出入りする人数を計数あるいは推定する人数計数器を備え、
前記視野内混雑度推定器は、各映像から抽出した特徴点の数の合計または特徴の量の合計に基づいて推定した、当該映像に映っている人数を視野内混雑度として出力し、
前記空間混雑度推定器は、前記人数計数器の出力に基づく前記領域内の混雑度と、視野内混雑度推定器に基づく局所的な混雑度との合成、補完、もしくは分析によって、領域の混雑度の分布を推定することを特徴とする混雑状況監視システム。
【請求項３】
請求項２記載の混雑状況監視システムにおいて、更に、前記領域への出入り口を撮影した前記映像から、顔を検出し、該顔の数を出力する顔検出器を備え、
前記視野内混雑度推定器は、エッジまたはコーナーを前記特徴点として抽出するとともに、同じ映像から得られた前記合計と前記顔の数の組を複数用いてセグメント回帰を行うことで、任意の前記合計から人数を推定するものであることを特徴とする混雑状況監視システム。
【請求項４】
複数のカメラからの映像を処理し、各映像の範囲で視野内混雑度を推定する過程と、
前記視野内混雑度の推定結果に基づいて、前記各映像の範囲を超えた空間の混雑度を推定する過程、
前記空間の混雑度を、グラフィカルユーザインタフェースにヒートマップ表示する過程と、
を有する混雑状況監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された映像から混雑状況等を把握する監視システムに関する。
【背景技術】
【０００２】
一般に、空港や駅構内、ショッピングモール内、イベント会場のような、人の出入りの激しい或いは混雑する施設において、実際にどのエリアがどのくらい混雑しているのかを正確を把握することは難しい。従来の監視カメラシステムでは、施設に設置された多数の監視カメラの映像の一部が、モニタールームのディスプレイに表示されるのみで、人目では人数の推定を瞬時に或いは客観的に行うことは困難である。【０００３】
近年、監視カメラ等で撮影された映像をコンピュータを使って分析することで、これまで利用されていなかった情報を自動的に取り出し、利用しようとするＶＣＡ（ビデオ内容分析）技術が、盛んに検討されている。ＶＣＡの一種として、人の密度（混雑度）を算出する技術が知られる（例えば、特許文献１乃至７および非特許文献１参照。）。【０００４】
特許文献１は、対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる滞留状況分析装置であって、移動体検出装置から取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分ける位置情報仕分け部と、この位置情報仕分け部で仕分けられた少なくとも２種類の位置情報から動線の欠落位置を検出する動線欠落位置検出部と、この動線欠落位置検出部での検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成する補正分布情報生成部と、この補正分布情報生成部で生成された前記補正分布情報に基づいて、前記ヒートマップを生成するヒートマップ生成部と、を備えた滞留状況分析装置を開示している。【０００５】
また、本例に関連する技術として、２種類の特徴量を用いて人物の照合を行う技術が知られる（例えば、特許文献８および９参照。）。
また、人流の計測、推定或いは予測に関する技術が知られる（例えば、特許文献１０乃至１２参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５５９７７８１号公報
【特許文献２】特許第５６１３８１５号公報
【特許文献３】特表２０１５−５０８５４４号公報
【特許文献４】特開２００９−１３４６８８号公報
【特許文献５】特開２００５−２１５９０９号公報
【特許文献６】特表２００４−５２９３５６号公報
【特許文献７】特開２０１４−１０６８７９号公報
【特許文献８】特開２０１２−２０３６６９号公報
【特許文献９】特許第５２４８２３６号公報
【特許文献１０】特許第５５２０２０３号公報
【特許文献１１】特許第４５１２４８２号公報
【特許文献１２】特開２０１３−１１６６７６号公報
【特許文献１３】特開２０１５−３２１３３公報
【特許文献１４】国際公開第２０１５／１１９０４４号パンフレット
【特許文献１５】国際公開第２０１４／１５６７３３号パンフレット
【非特許文献】
【０００７】
【非特許文献１】「群衆行動解析技術を用いた混雑推定システム」、NEC技報／Vol.67No.1、［online］、［平成２７年１０月２１日検索］、インターネット＜ＵＲＬ：http://jpn.nec.com/techrep/journal/g14/n01/pdf/140117.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の監視システムでは、ＶＣＡを利用した混雑推定を採用したとしても、個々のカメラの視野範囲内の混雑状況しか把握できなかった。【０００９】
本発明は、このような問題に鑑みてなされたものであり、ＶＣＡに基づく混雑推定でありながら、カメラの視野範囲の制約を受けずに混雑推定を行うことができる混雑状況監視システムを提供することを目的とする。  
【課題を解決するための手段】
【００１０】
本発明の一側面に係る混雑状況監視システムは、施設内に設置されている監視カメラ映像から、群衆を検知し、そのエッジ量から群衆の大きさ（人数）を導くことで、カメラ映像範囲内の混雑状況を推定する。また通過人数カウンタや、群衆の大きさと移動速度などに基づいて人流（人の移動量）を計算し、モデル化した群衆行動パターンに基づいて、カメラ映像範囲以外のエリアの人数を推定する。人流は、複数のカカメラ映像における群衆の大きさの時間的変化からも計算されうる。カメラ映像範囲以外のエリアは、建物の構造にも依るが比較的自由に設定でき、例えばフロアごとに混雑状況を推定できる。モデルは、例えばAIC(Akaike Information Criteria)、BIC(Bayesian Information Criteria)等の周知の統計的モデル選択手法により分布関数やそのパラメータを選択して構築される。
さらに、マップ上に混雑状況をプロットすることで、即座に当該エリアの混雑状況を把握できる。
【発明の効果】
【００１１】
本発明によれば、カメラの視野範囲の制約を受けずに混雑推定を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】混雑状況監視システムのハードウェアの構成図。
【図２】カメラ映像の視野内混雑度に基づく混雑状況の簡単な表示例。
【図３】視野内混雑度に基づく混雑状況の他の表示例。
【図４】視野内混雑度に基づく混雑状況の他の表示例。
【図５】空間混雑度に基づく混雑状況の表示例。
【図６】分析サーバ７の機能ブロック図。
【図７】視野内混雑度推定器６８の動作を示す模式図。
【図８】低次元特徴量の算出法の一例を示す模式図。
【図９】混雑状況監視システムのソフトウェアの構成図。
【発明を実施するための形態】
【００１３】
以下、本発明に係る実施形態について図面を参照して説明する。なお、各図の説明において、実質的に同一な機能を有する構成要素には同一の参照番号を付し、説明を省略する。
【実施例１】
【００１４】
図１に、実施例１に係る混雑状況監視システムの構成が示される。
カメラ群１は、監視対象となる商業施設等に設置される複数の監視カメラであり、人がある領域から別の領域へ移動するにあたり必ず通過するポイントを、望ましくは死角なく撮影できる場所に設けられる。本例ではショッピングモールの監視を想定しており、ショッピングモールの出入り口の他、エスカレータ、エレベータや階段の昇降口等を撮影することで、フロアへの流入或いは流出人数を把握することができるようになる。【００１５】
一方、監視室には、１つ乃至複数のディジタルビデオレコーダ（ＤＶＲ）２と、ＤＶＲ２に付属する表示装置３と、一般的な監視システムの機能を運用し管理するための１つ乃至複数の操作パソコン（ＰＣ）４が設けられる。そして、カメラ群１と、ＤＶＲ２や操作ＰＣ４との間を通信可能に接続するＬＡＮ５が設けられる。【００１６】
ＤＶＲ２は、カメラ群１から、求められる品質の映像を取得し、表示装置３に表示するとともに、ＤＶＲ２内に記録する。ＤＶＲ２は通常、映像コーデック処理に適した特別なプロセッサを備え、多数のチャンネルを同時にデコード或いはトランスコードする能力を有する。ＤＶＲ２の台数は、監視システムの規模（カメラの台数や記録チャンネル数）に依存する。【００１７】
操作ＰＣ４は、監視システムの運用や操作を一元的に管理するプラットホームであるビデオマネージメントシステム（ＶＭＳ）のソフトウェアがインストールされ、録画・再生機能、アラーム通知、アクセス管理、簡易的な映像解析機能等を提供する。監視員による操作を受けると、PC4は、それを実現するために、該当する機器に設定や指令を行う。なお、ＤＶＲ２でＶＭＳソフトを動作させ、操作ＰＣ４は単なるクライアントとなる場合もある。【００１８】
アーカイブサーバ６は、カメラ群１から映像を取得し、混雑状況の検出に適した品質の映像に変換して一時的に蓄積し、分析サーバ７やＶＭＳに提供する。ここで映像を取得するべきカメラは、少なくとも、上述のエスカレータ等の昇降口を撮影するカメラである。映像の変換には、超解像、階調補正（ダイナミックレンジ補正）、適応ノイズリダクション等の技術が適用できる。【００１９】
分析サーバ７は、アーカイブサーバ６から取得した映像に、まず、差分法の物体検出、Hough変換（曲線検出）、特徴量検出、オプティカルフロー検出等を行う。次に第２段階として、それらの結果を用いて、物体追跡（動線検出）、顔検出、視野内混雑度推定を行う。第３段階として、それらの結果を用いて、人数カウント、物体分類、顔特徴量算出、空間混雑度推定を行う。これらの処理の詳細は詳述する。本例の空間混雑度推定は、少なくともフロアー単位で、混雑度を算出する。第２段階及びそれ以降の分析結果は、分析ログ或いはメタ情報として、アーカイブサーバ６に戻され記録され、重要なイベントはＶＭＳに直接通知される。例えば視野内混雑度推定値は、それが検出された映像のカメラIDと検出時刻などとともに、アーカイブサーバ６に一般的なフォーマットで記録され、ＶＭＳから参照することができる。なお顔特徴量は次元数の異なるものが２種類算出され、低次元特徴量は分析サーバ７内に設けられる類似検索用DBに登録し、高次元特徴量は、類似検索用DBに登録された特徴量をキーとする辞書型DBに登録する。
分析サーバ７はまた、Ｗｅｂサーバ機能を備え、上記分析結果の生データ、或いはフロアマップを用いた視覚的な表示データ（Webページ）を生成して、専門家、施設管理者、一般顧客へ向けて提供する。また分析結果は、より高度なデータマイニング（人の行動分析、予測）に利用されうる。分析サーバ７はアーカイブサーバ６と一体のハードウェアで構成してもよく、分析サーバ７の機能の一部は別の機器で実現してもよい。実際、Ｗｅｂサーバ機能は、インターネットアクセスを提供する場合、ＤＭＺ（demilitarizedzone）等に別個に設けることが望ましい。【００２０】
デジタルサイネージ端末８は、商業施設等の内部に１つ乃至複数設けられ、分析サーバ７のＷｅｂサーバから取得した、混雑状況を反映した表示データを表示する。
操作ＰＣ９は、分析サーバ７の動作を管理したり、操作ＰＣ４で実現できない、ＶＭＳ拡張機能の提供を受けたりするための端末である。【００２１】
本例の混雑状況監視システムでは、混雑度の分析に関わる、アーカイブサーバ６から操作ＰＣ９まで構成をサブシステムとして構築し、既設のメインシステムのアドオンとすることができる。なおシステム構成はこれに限定されるものではなく、２システムを一体に構成しても良いし、サブシステムにも独立に動作するＶＭＳを備えてもよい。【００２２】
図２は、カメラ映像を使った混雑状況の簡単な表示例である。ＶＭＳの平常時の画面では、複数のカメラのライブ映像をタイル状に並べて表示することが一般的である。図２の例は１つ分のタイルに相当し、長方形の映像領域２２が設けられ、そこにはカメラのライブ映像或いは記録映像が表示される。映像領域２２には、その右上に、そこに表示されている映像の視野範囲で推定された人数の瞬時値（視野内混雑度）や、積算値が数字で表示される。【００２３】
履歴表示領域２３は、映像領域２２の下側に設けられ、現在から過去一定期間までの人数の瞬時値をグラフとして表示する。つまり縦軸を人数、横軸を時刻とするグラフにより、人数の時間的推移が示される。各時刻における人数に応じて、色を異ならせて表示することができ、例えば人数が少ない時に緑又は青、多い時に赤、中程度のときに黄色で表示することができる。
なお、カメラから映像を取得しなかった、或いはＰＴＺカメラであって現在と異なる画角を撮影していて、過去の人数が利用できない区間がある時は、その旨の表示を行うか、後述の方法でフロアー混雑度から推定（例えば共分散を計数として乗算）した人数で代用する。【００２４】
レベル表示領域２４は、映像領域２２の右側に設けられ、人数の瞬時値に応じて高さ及び色が変わるバー（矩形）表示を行う。
映像領域２２に表示される映像の周囲には、同様に人数の瞬時値に応じて色の枠（縁取り）２５が設けられる。
レベル表示領域２４のバーおよび枠２５の配色は、グラフ表示領域２３のそれと対応しており、多数の映像をタイル表示していても、このレベル表示領域２４の色によって、即座に混雑度を概略的に把握することができる。【００２５】
図３は、カメラ映像を使った混雑状況の他の表示例である。この例では、操作ＰＣ９等の表示画面には、少なくとも１つの映像領域３１が設けられ、そこにはカメラのライブ映像或いは記録映像がグレースケールで表示される。映像領域３１には、過去一定期間に、物体（人物）が滞在した時間、或いは物体の動線が通過した回数に応じて、色を異ならせたヒートマップ（混雑度の疑似カラー）画像を、カメラ映像に重畳（加算）して表示する。物体の動線は有限の太さを有するものとし、滞在時間や通過回数は画素毎に判断されうる。図３では、通過頻度を２段階に表示した例を示しており、領域３２では頻度が最も高く、領域３１ではその次に頻度が高い。それ以外の着色表示されていない部分では、通過履歴がほとんどない。【００２６】
図４は、カメラ映像を使った混雑状況の他の表示例である。この例では、操作ＰＣ９等の表示画面には、フロアマップ表示領域が設けられ、予め記録された、商業施設のフロアマップ４１（斜めから見た俯瞰図でもよい）が描画される。フロアマップ４１には、図３のヒートマップを視点変換した画像４２、４３を、撮影範囲に対応するように嵌め込み合成して表示する。視点変換された画像４２、４３は、カメラ映像を含まない、ヒートマップのみだけの物でもよい。視点変換により歪が生じるため、本例の画像４２、４３は、混雑度を知りたい範囲以外は切り取られ、例えば通路の形状に合わせてクロップされうる。【００２７】
なお視点変換した画像に代えて、図２の表示例で用いた人数の瞬時値に応じた色で、撮影範囲（混雑度推定範囲）を着色するような図形４４を表示してもよい。本例の図形４４は、中心が最も濃く、周辺では中心から離れるほど連続的に色が薄くなるようにしてある。複数の図形４４の辺縁が重なった部分では、それぞれの色が加算的に合成され、つまり色が濃くなって表示される。図４では例示のために、１つのフロアマップ４１において様々な混雑度表示のバリエーションを用いたが、実際にはそれらは１種類に統一された方が良い。
図４の表示によれば、各カメラの場所における混雑度が、実際の空間的位置関係を保って表示されるので、それを見た監視員は、他の場所における混雑度を比較的容易に類推することができる。【００２８】
図５は、フロアのカメラ映像を使った混雑状況の他の表示例である。上述の図２乃至図４の例では、個々の映像の範囲での混雑度（視野内混雑度）を用いていたが、本例では、ある領域へ出入りする人流をカウントして、その領域の人数（空間混雑度）を推定する。
操作ＰＣ９等の表示画面には、フロアマップ表示領域５１が設けられ、予め記録された、商業施設のフロアマップ（フロアプラン）が描画される。フロアマップは、領域毎に、推定した人数に関係した色に着色して表示される。通常は、人数を領域面積で除算した人口密度に応じた色を用いる。これは、例えば領域毎にその領域に属する画素を示すビットマップ画像を用意しておき、それらに色を与えて順次フロアマップに加算していくことで実現されうる。【００２９】
図５では、各フロアが６分割された領域が例示されている。フロア毎の人数は、外部との出入り口及びエスカレータにおける人流カウントで算出される。出入り口等がない領域では、その領域に繋がる通路の人流を、ドームカメラ映像からカウントして、人数が算出される。人流を正確にカウントできない領域では、フロアの人数、及びカウント可能な領域の人数に基づいて推定人数が算出される。
領域の境界は、基本的には、人流を計測しやすい地点（つまりカメラの撮影地点）に設けられることが望ましい。ただし、人数を集計する領域と、人口密度を表示する領域とは必ずしも一致させる必要は無く、多少ずらすことができる。人が各領域内で均一に分布することを仮定することで、侵食される領域Aでは人口密度は変わらず、膨張する領域Bでは、侵食された部分の人数を領域Bの人数に加算して、領域Bの面積で除算すれば人口密度が得られる。【００３０】
上述した図２から図５の表示は、組合せで実施してもよい。また各カメラ映像において群衆や人物の動きを推測し、各カメラ間の視野外の範囲の混雑度を推定することで、カメラ映像が得られないエリアもしくはフロアごとの混雑度を推定することができる。
またWEBサーバ経由で情報を展開することで、例えばスマホなど遠隔地でも混雑状況を把握できる。
これにより、どのエリアが混雑しているかをリアルタイムに即座に把握することができ、例えばショッピングモール内のフードコートであれば、混んでいる時間を避けることができるので、買い物客にとっては待ち時間を未然に減らすことが可能となり、時間を有効に使ったショッピングを楽しんでもらうことができる。
一方、あるテナントの混雑度を活用して、曜日や時間によって人気/不人気を推定することができる。これにより、モール運営側へテナントの変更やフロアレイアウト変更などに活用できる。【００３１】
図６は、分析サーバ７の機能ブロック図である。分析対象の映像をアーカイブサーバ６等から取得すると、移動物体検出器６１、円弧検出器６２、局所特徴検出器６３に渡される。渡される映像は、照度等の撮影環境の変化の影響を軽減するために、上述のコントラスト補正等の必要な処理が既に施されている。
移動物体検出器６１は、背景差分法等により映像中で動きのある領域を検出する。領域は、ビットマップ或いは領域の位置と大きさの情報（移動物体領域情報）として出力されうる。【００３２】
円弧検出器６２は、例えばエッジフィルタにより輪郭を画素毎に抽出し、その座標を３次元ハフ変換して投票していき、多数の投票を得たビンから、それに対応する円弧の存在が検出されるものである。ハフ変換以外にも、エッジレット特徴のように特徴点の空間的関連を考慮してそれらを統合したり間引いたりして円弧の断片を得て、それらを最小二乗法で楕円式にフィッティングする方法を用いることができる。本例では車いすの車輪の検出を主な目的としているため、そのような車輪として想定される大きさの範囲内で投票を行えればよい。また直線の投票も一緒に行ってもよい。【００３３】
局所特徴検出器６３は、エッジ検出、或いはハリスのコーナー検出等により特徴点（interests point）を検出する他、画素或いは画素ブロック毎にHOG（Histograms of Oriented Gradients)）等の局所特徴量を算出する。なお局所特徴量は大きく分けて、不均一な特徴点(interest point)の周辺から取り出されるものと、格子上の点を基準に（均一に）取り出されるもの（dense sampling）があり、現在においても新たな特徴量が次々と提案されており、本例の局所特徴検出器６３はそれらの何れも適用されうる。例えば、局所2値パターン(LBP)、Haarウェーブレット、Gaborウェーブレット、texton特徴、カラーヒストグラム、Extended HOG、HOF（Histogramsof Change Point）、画像モーメント（共分散行列）、EOH（Edgeof Orientation Histograms）、Edgelet、Shapelet、Harris-affine、Hessian-Affine、SURF（Speeded Up Robust Features）、Principal Curvature-BasedRegion、IBR（intensity-extrema-based Regions）、MSER(Maximally Stable Extremal Regions)、FAST（Features from Accelerated Segment Test）、KAZE（風）、GLOH、バイナリー特徴量（BRIEF、BRISK、ORB、FREAK、CARD、BinBoost）等が知られる。局所特徴検出器６３はまた、顔検出器６７からの要求に応じて、指定された位置及び種類の局所特徴量を算出したり、指定された部分画像そのものを渡したりする。【００３４】
オプティカルフロー計算機６４は、局所特徴検出器６３が出力した特徴点をフレーム間で追跡し、オプティカルフローを算出する。このとき、元の映像も用いてKLT(Kanade-Lucas-Tomasi)Trackerや、GunnarFarneback法を適用してもよく、Densesampling特徴量として得るために、追跡しようとする或いは追跡された特徴点を、所定のグリッド毎に１つ（例えばメディアン）だけ選ぶようにしてもよい。また算出されたオプティカルフローから、オプティカルフローベースの特徴量（HOF（HistogramsofOpticalFlow）、MBH（MotionBoundaryHistogram）等）を更に算出してもよい。オプティカルフロー計算機６４は必須ではない。【００３５】
なお、移動物体検出器６１からオプティカルフロー計算機６４までの構成には、周知の技術が利用でき、またそれらは比較的少ない或いは一定以内の演算量でロバストに実行できる。もし演算量を削減したい場合、例えば移動物体検出器６１により動きが検出された領域とその近傍に限定したり、処理フレームを間引いたりして、処理が実行されうる。【００３６】
動線検出器６５は、映像中で動きのある領域の位置をフレーム間で追跡して、位置の移動軌跡を得る。本例の移動軌跡は、主に視野内混雑度の推定に用いることを目的としており個々の追跡の精度はそれほど重要ではない。図６では、移動物体検出器６１からの移動物体領域情報に基づいて追跡する例を示したが、局所特徴検出器６３等で得られるdensesamplingベースの特徴量であるHOG、HOF、HCP等を用いてフレーム間の最大相関位置を探索する方法（村瀬のアクティブ探索等）や、オプティカルフロー計算機６４で得られたDenseOpticalFlowを用いる方法（DenseTrajectory）で追跡してもよい。これらの軌跡の内、ドリフトしているものを除去し有意なものだけ出力するとよい。【００３７】
車椅子検出器６６は、基本的には、円弧検出器６２で検出された円弧のサイズと位置関係に基づいて、それが車いすの車輪である確からしさを計算し、推定された車いすの位置及び大きさの情報とともに出力する。これには、例えば、特許文献１３に記載された方法を使用することができる。このとき、車いすの近くにおける顔検出の結果（検出の有無、位置及び大きさ）を、確からしさの計算に利用することもできる。【００３８】
顔検出器６７は、局所特徴検出器６３で検出された特徴量に基づいて、画像中の任意の場所に映った顔を検出する。一般的な顔検出では、Haar-like（JointHaar-like）特徴を用い、その特徴が最も顔らしくなる部分画像を探索する。個々のHaar-like特徴の線形結合で表される識別器が、Adaboost等による学習で最適化される。なお局所特徴検出器６３は、顔検出器６７で必要とされる特徴量を算出する能力を有するものとする。現在の識別器の判定結果を連続値（確からしさ）のままフィードバックに利用して学習させるRealAdaBoostにより、或いはヒストグラムベースの特徴量の成分を組合せてそれらの値を同時に規定するビンを定義することにより、共起性が考慮された特徴量が得られる。【００３９】
顔検出器６７は、所定以上の顔らしさの部分画像が見つかると、その部分画像自体、位置と大きさ、顔としての確からしさ、部分画像に対応する低次元特徴量、及び、Haar-like特徴等から簡易的に得られる顔パーツの位置関係情報（顔向き等）を出力する。低次元特徴量は、比較的少ない計算コストで得られ且つ、正面を向いていない顔であっても人物の識別に役立つ特徴量であり、局所特徴検出器６３により算出される。低次元特徴量は、初めから位置関係情報をその一部として含んでもよく、Haar-like特徴を再利用したものでよく、正面顔の顔認識のように顔器官の位置関係に強く影響される特徴量とは異なる特徴量を含んでいることが望ましい。本例では低次元特徴量は、interestpointベースではなく、HOGのようなdensesamplingベースの特徴量とする。市販の顔検出エンジンの中には、性別や年齢、表情（感情）の推定値、肌の色等の情報が得られるものもあり、それらも低次元特徴に用いられうる。【００４０】
図８に、本例の低次元特徴量の算出法の一例が模式的に示される。この算出法では、まず入力画像の多重解像度化を行なう。例えば、入力画像（本例では顔検出部２０２からの顔画像）に、ガウシアンぼかしと画素間引きを交互に複数回適用して、ガウシアンピラミッドとも呼ばれる低解像度の画像群４０２ａを得る。これは、特徴量が入力画像の解像度に影響されにくくするためのものである。本例の顔画像は、任意の大きさで映った顔の領域が切り出されたものなので、多重解像度化の前に、拡大或いは縮小により既定のサイズに合わせておく。【００４１】
次に、画像群４０２ａに領域分割を適用し、画像群４０２ｂを得る。ここで分割された領域は、異なる解像度の画像間で共通である。【００４２】
次に、分割された各領域を更に３×３画素の小ブロックに分割し、小ブロックの各画素値のエッジパターンを求め、出現したエッジパターンの数をカウントする。エッジパターンは既定パターン４０２ｃが数十個用意されており、それらが小ブロックと最も一致した回数が度数４０２ｄである。このようにした算出した、画像群４０２ｂの全ての小ブロックの全ての度数４０２ｄを要素とする、数千次元のベクトルが、元始の特徴量である。その後、この元始特徴量に所定の行列（疎行列（帯行列）が望ましい）を掛け算して、低次元化したものを、特徴量として用いる。行列は、予め十分なサンプルを用いてPCA(主要因分析)等の手法により用意しておく。【００４３】
図６に戻り、顔検出器６７は、例えば顔特徴量登録部７２から求められたときに、顔検出された部分画像から、個人を高精度に識別できるような高次元の顔特徴量を得て、顔特徴量登録部７２へ渡す。例えば顔認証では、特徴点或いは顔器官の位置を、３次元の顔モデル上で復元するものが知られる。あるいは、特徴量が得られた空間的位置が正確に保存されないような（つまり2次元静止画の）特徴でもよく、低次元特徴で用いたHaar-like以外の低レベル特徴に基づくものや、頻度の少ない共起特徴まで含むようなものが利用できる。高次元化によりデータが冗長になり得るが、データの欠損に強いという性質は、データが秘匿化された状態での再近傍検索の際に有用となる場合がある。
高次元の顔特徴量は、顔検出器６７、局所特徴検出器６３のどちらで算出されてもよい。顔検出器６７や局所特徴検出器６３の計算負荷は、画像中の特徴点や顔の数によって変化する。負荷の高い時には、より多くの（例えば、画像中の全ての）顔の検出を優先するモード、低次元特徴量の算出を優先する（例えば、顔が検出され次第その低次元特徴量を算出する）モード、等を適切に切替えて動作させる。検出優先モードでは、１フレームの画像中で検出した顔の数の情報のほか、顔ではないと最終判断したが顔に近かった部分画像の数の情報が得られる。【００４４】
視野内混雑度推定器６８は、１つのカメラの撮影範囲でその混雑度を推定するものであり、映像中のコーナーやエッジ等の特徴点の数やその動きにより推定する。本例では、エッジのフローを加算（絶対値加算）するが、静止しているような人混みも推定できるよう、単にエッジ量（強度）を加算する特許文献１４に記載された方法を用いてもよい。【００４５】
図７は、本例の視野内混雑度推定器６８の動作を示す模式図である。特許文献１４で述べられてように、奥行き（被写体距離）補正が施された後、それらを総合した特徴量を得ている。つまり、画像の水平ライン毎に小計したエッジの量に、水平ラインの画像下端からの高さYに応じた重み係数を乗じて、それらを合算することで、特徴量が得られる。重み係数は、カメラの設置パラメータ（ホモグラフィ行列）に基づき、一意に決定される。エッジの数を計数するより、エッジ量を合計したほうが、一般にばらつき（誤差）の少ない特徴量が得られる。
特徴量と推定人数との関係は、折れ線近似により表現できる。セグメント回帰は、各折れ線の回帰式を計算或いは更新する。例えば、顔検出器６７が定期的に検出優先モードで動作させ、ある１フレームにおける顔の数を真値として、そのときの特徴量とともに記憶していき、いずれかのセグメントに対してサンプルが所定量集まったところで回帰計算を実施する。更に、それらの顔の平均年齢や性別、肌の色等を用いて多重回帰分析（多変量解析）を行ってもよい。例えば、服装や髪形の影響で男性より女性からより多くの数のエッジが得られる傾向があるとすると、女性の割合が高い時に人数が実際より多めに推定されてしまう恐れがある。多重回帰により、それらが考慮された人数を推定することができる。【００４６】
視野内混雑度推定器６８はまた、動線検出器６５により得られた移動軌跡に基づいて、別の混雑度を算出しうる。例えば移動軌跡が得られる都度、それを所定の幅の線で単一のフレームに加算的に描画し、図３のような蓄積軌跡画像を得る。蓄積軌跡画像では、多くの人が通過する場所ほど濃く示される。
視野内混雑度推定器６８はまた、人流計数を行うこともできる。すなわち、エスカレータの乗客を撮影した映像をソースとし、エスカレータの進行方向に限定してエッジのフローを加算する。エスカレータの速度は一定であるので、乗客人数を周期的にサンプリングすることで、通過人数を推定できる。【００４７】
客層傾向データベース（DB）６９は、検出優先モードの顔検出器６７から得られた、顔の数、性別、年代等を蓄積し、暦（曜日）や時間帯、滞在時間等と対応付けて、それらの傾向を機械学習する。そして、視野内混雑度推定器６８などから求められたときに、学習した傾向を提供する。【００４８】
人流計数器７０は、動線検出器６５からの移動軌跡が、映像中に設定した判定線を横切る回数を計数する。人流計数の対象として意図されているのは、ある領域（区画）への出入り口を撮影するカメラの映像であり、領域毎に出入り口が複数ある場合、それらの全てを網羅することが望ましい。なお、人の密度が高くなる（人の像が重なる）と誤差が大きくなる。判定線は、映像を撮影したカメラ毎に設定され、例えばエスカレータの乗り口、降り口等に対応させて設ける。１つの移動物体であってもその大きさに応じて複数カウントしたり、1人分の幅のエスカレータを横側から撮影したりして、像が重なりによる誤差は、極端な混雑時を除きほとんど除去できる。なお、特に直上から撮影された映像が得られる場合、特許文献１５の技術を用いて、移動物体検出器６１、動線検出器６５及び人流計数器７０を構成してもよい。【００４９】
物体分類器７１は、動線検出器６５からの移動軌跡や、車椅子検出器６６から出力に基づいて、映像中に車椅子が映っているかを判断する。車椅子検出器６６の出力は、検出された個々の楕円（車輪）の確からしさや、車輪から推定される車いすの位置及び大きさの情報であり、必ずしもリアルタイム処理されず、多くの誤検出や検出漏れを伴う。物体分類器７１は、車いすの位置をカルマンフィルタ、パーティクルフィルタ、mean-shift法などで追跡し、その軌跡を得る。その際、リアルタイム処理が容易な動線検出器６５からの移動軌跡を参照することができる。例えば、動線検出器６５の移動軌跡の内、車いすの位置（及び移動速度）とよく対応するものは、車いすのものとして、車椅子検出器６６の欠損した出力の代わりに用いることができる。【００５０】
物体分類器７１は、追跡により得られた車椅子の軌跡の速度の安定性などを評価し、歩行者と車椅子とを最終判定する。その結果は、ＶＭＳに通知され、操作ＰＣ９等にその地点および映像が表示される。監視員は映像から支援が必要であると判断すると、ガードマン等に車椅子の人への支援を要請する。【００５１】
顔特徴量登録部７２は、顔検出器６７で顔から低次元特徴量が得られる都度、それを分類（インデックス付け）して、時刻情報や部分画像と対応付けて低次元特徴量DB７３に登録する。分類にはＲ木、kd木、LSH(Locality-SensitiveHashing)等の、空間インデックス手法が用いられ、Ｒ木等では適宜、ノードの追加や分割面の最適化等を行う。低次元特徴量がバイナリー特徴である場合、これは容易に実装されうる。なお時空間での分類には、低次元特徴量そのものに時刻情報を含ませる方法もあるが、単純に一定時間間隔でDBを分割する方法でもよい。
また低次元特徴量とともに高次元特徴量も得られているときは、高次元特徴量を低次元特徴量と対応付けて高次元特徴量DB７４に登録する。対応付けは少なくとも、低次元特徴量から高次元特徴量を参照できる片方向リンクを満たす。【００５２】
低次元特徴量では、同一人物の顔はそれ以上分類される必要はないので、葉ノードに複数の顔が登録されうる。顔特徴量登録部７２は、新規登録顔と同じ葉ノードに既登録顔がある場合、それらが同じ人物である確からしさを、特徴量間の距離に基づき評価する。そして確からしさが所定以上であれば、高次元特徴を用いた顔照合を行い、所定以下であれば、適宜ノード分割を行う。ある葉ノードについて最初に行われる顔照合では、既登録顔の高次元特徴量がDB７４に格納されているとは限らない。従って、低次元特徴量DB７３に記録されている既登録顔の部分画像から高次元特徴量を算出しなければならない。このように顔照合は高負荷であるので、一旦キューイングされ、低い優先度で実行され或いは一部のキューは実行されずにタイムアウトする。
顔照合により高い確度で同一人物と判断されたときは、顔特徴量登録部７２は、その２つの顔の時刻情報、カメラID、および低次元特徴量の成分の一部を、空間混雑度推定器７６に出力する。【００５３】
低次元特徴量DB７３は、複数のカメラから検出された顔の低次元特徴量、時刻情報（フレームID）、カメラIDのセットを、その低次元特徴量の空間インデックスによって決まる記録位置（見出し或いはキー値）に格納する。これにより、システム内の全てのカメラの顔が1か所に集約されうる。【００５４】
高次元特徴量DB７４は、顔の高次元特徴量を、対応する低次元特徴量の空間インデックス、或いは対応する登録済みの低次元特徴量と対応付けることができる情報（例えば時刻情報とカメラIDのセット）によって決まる記録位置に格納する。なお低次元特徴量の登録時にそれらの夫々に登録IDを付与し、低次元特徴量DB７３に記録しておけば、その登録IDによって高次元特徴量の記録位置を決めてもよい。高次元特徴量DB７４は、周知のリレーショナルDB等で構成されうる。【００５５】
ライブ照合器７５は、限られた数の顔を高速で（リアルタイムに）照合する。例えば、リスト化された既知の重要顧客や不審者の高次元特徴量をメモリ上に保持し、顔検出器６７から何らかの高次元特徴量が検出される都度、メモリ上で線形探索により照合する。ライブ照合器７５は、低次元特徴量についても同様にリストを備えて線形探索し、合致した（特徴量が類似した）時に高次元特徴量の算出を顔検出器６７に指示してもよい。【００５６】
空間混雑度推定器７６は、基本的に、人流計数器７０の計数結果をもとに、フロアあるいは領域毎の人数（フロア内平均の人密度）を算出し、そこに視野内混雑度推定器６８で推定した局所的な人数（人密度）を当てはめて、フロア毎にフロア内の人密度分布を推定する。最も簡単な方法では、平均人密度と局所人密度を適当な重みで合成する。なお、図５は平均人密度のみの表示、図４（図形４４）は局所人密度のみの表示に相当する。局所人密度が得られている場所とそうでない場所の境に不自然な境界が現れないように、境付近では適当な外挿或いは空間フィルタ処理を施す。人流計数器７０の計数が信用できない時は、視野内混雑度推定器６８による推定計数を用いてもよい。【００５７】
空間混雑度推定器７６では、ほぼ同時刻に得られた平均人密度及び複数の局所人密度の組の多数のサンプルを用いて、線形回帰をはじめ様々な手法の分析が可能である。また、フロア毎の滞在時間（現在フロア内にいる人が、そのフロアに入ってから将来出るまでの時間）を概算したり、統計的に推定することも可能である。例えば、現在の積算流出人数と同じ積算流入人数となっていた過去の時点と、現在との時間差を、滞在時間の概算値とすることができる。空間混雑度推定器７６が算出する空間混雑度は、人密度や滞在時間等を包含する総称であり、アーカイブサーバ６等に出力され、容易に読み出せるように時系列に記録される。【００５８】
なお人の性質は単純な分布ではなく、複数の分布の混合で観測され、つまり複数のカテゴリー（クラスタ）に分類できることがある。それを扱う方法として、パネルデータ分析における固定効果モデル（最小2乗ダミー変数推定）、一般化線形混合モデル、階層ベイズモデル等が適用できる。例えば各フロアでの滞在時間が、性別、年代、購買嗜好（滞在時間）等の組合せに応じて、それぞれ正規分布を有しているとする。顔照合による同一人物の流入時刻と流出時刻の組のデータがランダムにサンプリングされ、更に性別や年代等も取得されていれば、それら正規分布のパラメータは客層傾向DB６９において容易に算出され、例えば階層ベイズモデルにおける超パラメータの初期値に利用できる。超パラメータはその後、マルコフ連鎖モンテカルロ法、変分ベイズ法などで修正される。【００５９】
また、エスカレータ等による隣接フロア間移動が支配的な場所では、個々の人はマルコフ連鎖のような明示的な状態遷移をするので、各フロアの混雑度の間にも関連性があると考えられる。これについても遷移確率変数を、フロア間移動を示す顔照合のデータに基づいて初期的に推定し、その後、人流計数器７０の計数結果から学習されうる。【００６０】
制御部７７は、取得すべき映像の源（カメラ）を決定し、アーカイブサーバ６等へ要求する。また移動物体検出器６１〜空間混雑度推定器７６各構成の入力と出力、及び処理の優先度を設定し、またそれらの各構成における処理の優先度（リソース配分）をカメラ毎に設定する。また映像処理上考慮すべきカメラの属性（カメラパラメータ）等も、各構成に設定する。つまり、図６に示した各構成の接続は、固定的なものではなく、制御部７７の制御によって任意に変更され得る。【００６１】
一例として、顔検出６７に、商業施設のエントランスを撮影する２台のカメラの映像について処理を優先させたい場合、単純に処理の順序で優先付けすると、順位の低い他のカメラは全く処理されない状況が生じうる。低い順位の映像にも最低限のリソースが配分されるよう、ラウンドロビン等により優先度が制御される。アーカイブサーバ６においても、超解像を行う映像を、顔検出の対象となるカメラに高い優先度を与えて処理してもよい。【００６２】
このように本例の分析サーバ７は、処理量の低い画像処理技術を適切に利用して、ほぼリアルタイムでの人流計測、およびそれに基づく混雑度推定を行い、グラフ、地図、ヒートマップ等の様態で視覚的に表示する。
分析サーバ７はまたプライバシーの保護が講じられている。つまり本例の分析サーバ７内では、顔画像、顔特徴量、推定された性別や年利を保持するが、個人を社会的に特定する情報（氏名、実際の年齢、所属、IDカード番号、クレジットカード情報等）は扱わない。別の言い方をすれば、分析サーバ７は個人の識別（区別）はするが、特定はしない。
またアーカイブサーバ６等に蓄積されるメタデータに関しても、ある人物の行動（移動）履歴を復元可能に保持されるが、売上げシステムとは直接接続されておらず、やはり個人と対応付けることは困難である。なお、個人を特定しない方法で、性別や年代、来店の時間帯などで分析された客層傾向DB６９のデータは、売上げシステムにおけるそれと突き合わせて、分析に利用することができる。【００６３】
図９は、本例の混雑状況監視システムのソフトウェアの構造を示す図である。ソフトウェアは、アプリケーション、ミドルウェア、ドライバーの階層構造を有する。それぞれの階層間のインタフェースは明確に規定されており、階層内のモジュールは共通にそのインタフェースを用いる。
ＧＵＩ部８１は、アプリケーションの位置し、操作画面を提供する、ＶＭＳの基本的な機能である。本例では、図２から図５までに示した混雑度の表示の合成をＧＵＩ部８１が行う。
操作画面は多岐にわたるが、それらにおいて使用されるGUIは、共通GUI部品として共通化されている。【００６４】
画像分析部８３は、図６に示した分析サーバ７の機能に相当する。ただし客層傾向DB６９は複合情報分析部８５に属しうる。
メタデータ部８４は、画像分析部８３やセンサ９３などから得られた大量のメタデータを、DB上で適切に対応付けて管理する。図１のアーカイブサーバ６に相当する。
複合情報分析部８５は、ビッグデータ分析を行う。例えば顧客行動の分析や予測を行う。【００６５】
画像取得・蓄積部８６は、ＯＮＶＩＦやその他のプロトコルを実装し、様々な種類のカメラやレコーダに対して、横断的な映像の取得や蓄積を実現する。
画像配信部８７は、画像取得・蓄積部８６によって取得された映像を２次的に配信したり、アーカイブしたりする。
センサ取得部８８は、入退出管理用のカードリーダや、人感センサ、マイク、その他のセンサ９３からの信号を受信したり、それらの同期などを管理したりする。Wi-SUNなどのプロトコルに基づくIoTゲートウェイの機能を有してもよい。
ドア開閉・照明I/F８９は、電子錠や照明９４を遠隔操作するインタフェースである。プロトコルが同じであれば、センサ取得部８８と共用できる。【００６６】
タスク管理部９０は、各種のイベントやデータにより所定のタスクを駆動し、その結果をロギングする。イベント駆動タスクは、所定の時刻になった時にあるカメラの映像をある品質で録画するであるとか、入退出用のリーダの読み取り結果に応じて、その場所のカメラの映像から顔認識を実行しつつドアを開閉するといったものである。またデータ駆動タスクは、データ分析の結果、ある場所での混雑が予想された時にアラームを発しつつその場所を優先的に監視するであるとか、個人の不審な行動や群衆の異常な傾向が検知されたときに、顔検出で追跡したり将来の群集の行動を予測して監視したりするといったものである。タスク管理部９０は、ミドルウェアとアプリケーションの間、若しくはアプリケーションのレイヤに属しうる。【００６７】
本例の混雑状況監視システムによれば、混雑する箇所が可視化により容易に把握できる。これにより、例えば、ガードマンの配置を最適化できる。つまり施設内の各場所で混雑度の状況を蓄積し、蓄積データを解析することで、配置すべき場所や時間帯をより正確に計画でき、あるいはより少ない人数のガードマンで対処することができる。【００６８】
混雑状況の把握は、商業施設に留まらず、鉄道等の公共交通においても重要であり、また人の移動（行動）の分析は、工場や工事現場における無駄の発見及び生産性の改善に役立てることができる。【００６９】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは装置や、そのような方法をコンピュータに実現させるためのプログラムや、当該プログラムを記録する一過性ではない有形の媒体などとして提供することもできる。
【産業上の利用可能性】
【００７０】
本発明は、ＣＣＴＶ（Closed-Circuit Television）システム等に適用できる。
【符号の説明】
【００７１】
１：カメラ群、  ２：ネットワークビデオレコーダ（ＤＶＲ）、  ３：表示装置、  ４：操作パソコン（ＰＣ）、
５：ＬＡＮ、  ６：アーカイブサーバ、  ７：分析サーバ、  ８：デジタルサイネージ端末、  ９：操作ＰＣ
６１：移動物体検出器、  ６２：円弧検出器、  ６３：特徴点検出器、  ６４：オプティカルフロー計算機、
６５：動線検出器、  ６６：車いす検出器、  ６７：顔検出器、  ６８：視野内混雑度推定器、
６９：客層傾向DB、  ７０：人流計数器、  ７０：物体分類器、  ７２：顔特徴量登録部、
７３：低次元特徴量ＤＢ、  ７４：高次元特徴量DB、  ７５：ライブ照合器、  ７６：空間混雑度推定器、
７７：制御部。
【図１】
2017122258.tif 000003
【図２】
2017122258.tif 000004
【図３】
2017122258.tif 000005
【図４】
2017122258.tif 000006
【図５】
2017122258.tif 000007
【図６】
2017122258.tif 000008
【図７】
2017122258.tif 000009
【図８】
2017122258.tif 000010
【図９】
2017122258.tif 000011
【手続補正書】
【提出日】平成28年5月26日(2016.5.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
建物或いは施設の全体を実質的に網羅するように複数設定される領域毎に、混雑度を推定する混雑状況監視システムであって、
複数のカメラからの映像を処理し、各映像の範囲で混雑度を推定する視野内混雑度推定器と、
複数の前記領域からなるフロア毎に、当該フロアへの出入り口若しくは通路を撮影した前記映像から、出入りする人数を計数あるいは推定する人数計数器と、
前記視野内混雑度推定器及び前記人数計数器の推定の結果に基づいて、前記各映像の範囲を超えた前記領域の混雑度を推定する空間混雑度推定器と、
前記領域の混雑度を、ヒートマップ表示するグラフィカルユーザインタフェースと、を備え、
前記視野内混雑度推定器は、各映像から抽出した特徴点の数の合計または特徴の量の合計に基づいて推定した、当該映像に映っている人数を視野内混雑度として出力し、
前記空間混雑度推定器は、前記人数計数器の出力に基づく前記フロア毎若しくは領域内の平均混雑度と、視野内混雑度推定器に基づく局所的な混雑度と、の合成、補完、もしくは分析によって、前記複数の領域の夫々に対し少なくとも１つの混雑度を算出して、当該混雑度の空間的な分布を出力し、
グラフィカルユーザインタフェースは、前記領域内の、前記各映像の範囲に含まれない地点についても、前記出力された混雑度の空間的な分布に従った色彩が与えられたヒートマップを表示することを特徴とする混雑状況監視システム。
【請求項２】
請求項２記載の混雑状況監視システムにおいて、
前記空間混雑度推定器は、実質的に同時刻に得られた平均人密度及び複数の局所人密度の組の複数のサンプルを用いて少なくともフロア単位で人の滞在時間もしくは滞在時間の分布を推定し、人数計数器によって混雑度を直接に決定できない領域若しくは前記複数のカメラの撮影範囲外の地点の少なくとも１つにおいて、統計的モデル選択手法により構築された群衆行動パターンのモデルに基づいて、混雑度を推定することを特徴とする混雑状況監視システム。
【請求項３】
請求項２記載の混雑状況監視システムにおいて、更に、前記領域への出入り口を撮影した前記映像から、顔を検出し、該顔の数を出力する顔検出器を備え、
前記視野内混雑度推定器は、エッジまたはコーナーを前記特徴点として抽出するとともに、同じ映像から得られた前記合計と前記顔の数の組を複数用いてセグメント回帰を行うことで、任意の前記合計から人数を推定するものであることを特徴とする混雑状況監視システム。
【請求項４】
請求項２記載の混雑状況監視システムにおいて、更に、前記検出された顔を照合する顔照合器を備え、
前記顔の照合によって得られた、同一人物の流入時刻と流出時刻の組の複数のサンプルに基づいて、前記滞在時間もしくは滞在時間の分布のパラメータが、人の性質に係る所定のカテゴリ毎に算出され、
前記空間混雑度推定器は、算出された前記滞在時間もしくは滞在時間の分布のパラメータを、前記群衆行動パターンのモデルの超パラメータに利用し、
前記グラフィカルユーザインタフェースは、前記複数の領域の全てにおける混雑度を用いて、前記建物或いは施設の全体についての現在の混雑度の分布を、一般顧客が認識できるような前記ヒートマップとして表示する、デジタルサイネージ端末であることを特徴とする混雑状況監視システム。
【請求項５】
請求項４記載の混雑状況監視システムにおいて、更に、
前記視野内混雑度推定器、前記人数計数器及び前記顔照合器における、前記複数のカメラのそれぞれについての処理の優先度を設定する制御部を備え、
前記制御部は、前記視野内混雑度推定器が推定に用いる回帰式を更新するために、前記顔照合器を一時的に顔検出優先モードで動作させ、
前記視野内混雑度推定器は、エッジまたはコーナーのフローに基づいて人流を算出し、
前記人流計数器は、前記人数計数器による人数および前記視野内混雑度推定器による人流のうち信頼できる方を選択して使用することを特徴とする混雑状況監視システム。
【請求項６】
前記建物或いは施設の構造に応じて、隣接して複数設定される領域毎に、混雑度を推定する混雑状況監視方法であって、
複数のカメラからの映像を処理し、各映像の範囲で視野内混雑度を推定する第１過程と、
複数の前記領域からなるフロア毎に、当該フロアへの出入り口若しくは通路を撮影した前記映像から、出入りする人数を計数あるいは推定する第２過程と、
前記視野内混雑度推定器及び前記人数計数器の推定の結果に基づいて、前記各映像の範囲を超えた前記領域の混雑度を推定する第３過程と、
前記複数の領域の全てにおける混雑度を用いて、前記建物或いは施設の全体についての現在の混雑度の分布を、グラフィカルユーザインタフェースにヒートマップ表示する第４過程と、を有し、
前記第１過程では、各映像から抽出した特徴点の数の合計または特徴の量の合計に基づいて推定した、当該映像に映っている人数を視野内混雑度として出力し、
前記第３過程では、前記第２過程の流入人数と流出人数の差に基づく前記フロア毎若しくは領域内の平均混雑度と、前記第１過程に基づく局所的な混雑度と、の合成、補完、もしくは分析によって、前記複数の領域の夫々に対し少なくとも１つの混雑度を算出して、当該混雑度の空間的な分布を出力し、
前記第４過程では、前記領域内の、前記各映像の範囲に含まれない地点についても、前記出力された混雑度の空間的な分布に従った色彩が与えられたヒートマップを表示することを特徴とする混雑状況監視方法。
【手続補正書】
【提出日】平成30年7月4日(2018.7.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
建物或いは施設の全体を実質的に網羅するように複数設定される領域毎に、混雑度を推定する混雑状況監視システムであって、
複数のカメラからの映像を処理し、各映像の範囲で混雑度を推定する視野内混雑度推定器と、
複数の前記領域からなるフロア毎に、当該フロアへの出入り口若しくは通路を撮影した前記映像から、出入りする人数を計数あるいは推定する人数計数器と、
前記視野内混雑度推定器及び前記人数計数器の推定の結果に基づいて、前記各映像の範囲を超えた前記領域の混雑度を推定する空間混雑度推定器と、
前記領域の混雑度を、ヒートマップ表示するグラフィカルユーザインタフェースと、を備え、
前記視野内混雑度推定器は、各映像から抽出した特徴点の数の合計または特徴の量の合計に基づいて推定した、当該映像に映っている人数を視野内混雑度として出力し、
前記空間混雑度推定器は、前記人数計数器の出力に基づく前記フロア毎若しくは領域内の平均混雑度と、視野内混雑度推定器に基づく局所的な混雑度と、の合成、補完、もしくは分析によって、前記複数の領域の夫々に対し少なくとも１つの混雑度を算出して、当該混雑度の空間的な分布を出力し、
グラフィカルユーザインタフェースは、前記領域内の、前記各映像の範囲に含まれない地点についても、前記出力された混雑度の空間的な分布に従った色彩が与えられたヒートマップを表示することを特徴とする混雑状況監視システム。
【請求項２】
請求項１記載の混雑状況監視システムにおいて、
前記空間混雑度推定器は、実質的に同時刻に得られた平均人密度及び複数の局所人密度の組の複数のサンプルを用いて少なくともフロア単位で人の滞在時間もしくは滞在時間の分布を推定し、人数計数器によって混雑度を直接に決定できない領域若しくは前記複数のカメラの撮影範囲外の地点の少なくとも１つにおいて、統計的モデル選択手法により構築された群衆行動パターンのモデルに基づいて、混雑度を推定することを特徴とする混雑状況監視システム。
【請求項３】
請求項１記載の混雑状況監視システムにおいて、更に、前記領域への出入り口を撮影した前記映像から、顔を検出し、該顔の数を出力する顔検出器を備え、
前記視野内混雑度推定器は、エッジまたはコーナーを前記特徴点として抽出するとともに、同じ映像から得られた前記合計と前記顔の数の組を複数用いてセグメント回帰を行うことで、任意の前記合計から人数を推定するものであることを特徴とする混雑状況監視システム。
【請求項４】
請求項１記載の混雑状況監視システムにおいて、更に、前記検出された顔を照合する顔照合器を備え、
前記顔の照合によって得られた、同一人物の流入時刻と流出時刻の組の複数のサンプルサンプルに基づいて、前記滞在時間もしくは滞在時間の分布のパラメータが、人の性質に係る所定のカテゴリ毎に算出され、
前記空間混雑度推定器は、算出された前記滞在時間もしくは滞在時間の分布のパラメータを、前記群衆行動パターンのモデルの超パラメータに利用し、
前記グラフィカルユーザインタフェースは、前記複数の領域の全てにおける混雑度を用いて、前記建物或いは施設の全体についての現在の混雑度の分布を、一般顧客が認識できるような前記ヒートマップとして表示する、デジタルサイネージ端末であることを特徴とする混雑状況監視システム。
【請求項５】
請求項４記載の混雑状況監視システムにおいて、更に、
前記視野内混雑度推定器、前記人数計数器及び前記顔照合器における、前記複数のカメラのそれぞれについての処理の優先度を設定する制御部を備え、
前記制御部は、前記視野内混雑度推定器が推定に用いる回帰式を更新するために、前記顔照合器を一時的に顔検出優先モードで動作させ、
前記視野内混雑度推定器は、エッジまたはコーナーのフローに基づいて人流を算出し、
前記人流計数器は、前記人数計数器による人数および前記視野内混雑度推定器による人流のうち信頼できる方を選択して使用することを特徴とする混雑状況監視システム。
【請求項６】
前記建物或いは施設の構造に応じて、隣接して複数設定される領域毎に、混雑度を推定する混雑状況監視方法であって、
複数のカメラからの映像を処理し、各映像の範囲で視野内混雑度を推定する第１過程と、
複数の前記領域からなるフロア毎に、当該フロアへの出入り口若しくは通路を撮影した前記映像から、出入りする人数を計数あるいは推定する第２過程と、
前記視野内混雑度推定器及び前記人数計数器の推定の結果に基づいて、前記各映像の範囲を超えた前記領域の混雑度を推定する第３過程と、
前記複数の領域の全てにおける混雑度を用いて、前記建物或いは施設の全体についての現在の混雑度の分布を、グラフィカルユーザインタフェースにヒートマップ表示する第４過程と、を有し、
前記第１過程では、各映像から抽出した特徴点の数の合計または特徴の量の合計に基づいて推定した、当該映像に映っている人数を視野内混雑度として出力し、
前記第３過程では、前記第２過程の流入人数と流出人数の差に基づく前記フロア毎若しくは領域内の平均混雑度と、前記第１過程に基づく局所的な混雑度と、の合成、補完、もしくは分析によって、前記複数の領域の夫々に対し少なくとも１つの混雑度を算出して、当該混雑度の空間的な分布を出力し、
前記第４過程では、前記領域内の、前記各映像の範囲に含まれない地点についても、前記出力された混雑度の空間的な分布に従った色彩が与えられたヒートマップを表示することを特徴とする混雑状況監視方法。
【手続補正書】
【提出日】平成30年10月2日(2018.10.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
建物或いは施設の全体を実質的に網羅するように複数設定される領域毎に、混雑度を推定する混雑状況監視システムであって、
複数のカメラからの映像を処理し、各映像の範囲で混雑度を推定する視野内混雑度推定器と、
複数の前記領域からなるフロア毎に、当該フロアへの出入り口若しくは通路を撮影した前記映像から、出入りする人数を計数あるいは推定する人数計数器と、
前記視野内混雑度推定器及び前記人数計数器の推定の結果に基づいて、前記各映像の範囲を超えた前記領域の混雑度を推定する空間混雑度推定器と、
前記領域の混雑度を、ヒートマップ表示するグラフィカルユーザインタフェースと、を備え、
前記視野内混雑度推定器は、各映像から抽出した特徴点の数の合計または特徴の量の合計に基づいて推定した、当該映像に映っている人数を視野内混雑度として出力し、
前記空間混雑度推定器は、前記人数計数器の出力に基づく前記フロア毎若しくは領域内の平均混雑度と、視野内混雑度推定器に基づく局所的な混雑度と、の合成、補完、もしくは分析によって、前記複数の領域の夫々に対し少なくとも１つの混雑度を算出して、当該混雑度の空間的な分布を出力し、
グラフィカルユーザインタフェースは、前記領域内の、前記各映像の範囲に含まれない地点についても、前記出力された混雑度の空間的な分布に従った色彩が与えられたヒートマップを表示することを特徴とする混雑状況監視システム。
【請求項２】
請求項１記載の混雑状況監視システムにおいて、
前記空間混雑度推定器は、実質的に同時刻に得られた平均人密度及び複数の局所人密度の組の複数のサンプルを用いて少なくともフロア単位で人の滞在時間もしくは滞在時間の分布を推定し、人数計数器によって混雑度を直接に決定できない領域若しくは前記複数のカメラの撮影範囲外の地点の少なくとも１つにおいて、統計的モデル選択手法により構築された群衆行動パターンのモデルに基づいて、混雑度を推定することを特徴とする混雑状況監視システム。
【請求項３】
請求項２記載の混雑状況監視システムにおいて、更に、前記領域への出入り口を撮影した前記映像から、顔を検出し、該顔の数を出力する顔検出器を備え、
前記視野内混雑度推定器は、エッジまたはコーナーを前記特徴点として抽出するとともに、同じ映像から得られた前記合計と前記顔の数の組を複数用いてセグメント回帰を行うことで、任意の前記合計から人数を推定するものであることを特徴とする混雑状況監視システム。
【請求項４】
請求項３記載の混雑状況監視システムにおいて、更に、前記検出された顔を照合する顔照合器を備え、
前記顔の照合によって得られた、同一人物の流入時刻と流出時刻の組の複数のサンプルに基づいて、前記滞在時間もしくは滞在時間の分布のパラメータが、人の性質に係る所定のカテゴリ毎に算出され、
前記空間混雑度推定器は、算出された前記滞在時間もしくは滞在時間の分布のパラメータを、前記群衆行動パターンのモデルの超パラメータに利用し、
前記グラフィカルユーザインタフェースは、前記複数の領域の全てにおける混雑度を用いて、前記建物或いは施設の全体についての現在の混雑度の分布を、一般顧客が認識できるような前記ヒートマップとして表示する、デジタルサイネージ端末であることを特徴とする混雑状況監視システム。
【請求項５】
請求項４記載の混雑状況監視システムにおいて、更に、
前記視野内混雑度推定器、前記人数計数器及び前記顔照合器における、前記複数のカメラのそれぞれについての処理の優先度を設定する制御部を備え、
前記制御部は、前記視野内混雑度推定器が推定に用いる回帰式を更新するために、前記顔照合器を一時的に顔検出優先モードで動作させ、
前記視野内混雑度推定器は、エッジまたはコーナーのフローに基づいて人流を算出し、
前記人数計数器は、前記人数計数器による人数および前記視野内混雑度推定器による人流のうち信頼できる方を選択して使用することを特徴とする混雑状況監視システム。
【請求項６】
建物或いは施設の構造に応じて、隣接して複数設定される領域毎に、混雑度を推定する混雑状況監視方法であって、
複数のカメラからの映像を処理し、各映像の範囲で視野内混雑度を推定する第１過程と、
複数の前記領域からなるフロア毎に、当該フロアへの出入り口若しくは通路を撮影した前記映像から、出入りする人数を計数あるいは推定する第２過程と、
前記視野内混雑度を推定する第１過程及び前記出入りする人数を計数あるいは推定する第２過程の結果に基づいて、前記各映像の範囲を超えた前記領域の混雑度を推定する第３過程と、
前記複数の領域の全てにおける混雑度を用いて、前記建物或いは施設の全体についての現在の混雑度の分布を、グラフィカルユーザインタフェースにヒートマップ表示する第４過程と、を有し、
前記第１過程では、各映像から抽出した特徴点の数の合計または特徴の量の合計に基づいて推定した、当該映像に映っている人数を視野内混雑度として出力し、
前記第３過程では、前記第２過程の流入人数と流出人数の差に基づく前記フロア毎若しくは領域内の平均混雑度と、前記第１過程に基づく局所的な混雑度と、の合成、補完、もしくは分析によって、前記複数の領域の夫々に対し少なくとも１つの混雑度を算出して、当該混雑度の空間的な分布を出力し、
前記第４過程では、前記領域内の、前記各映像の範囲に含まれない地点についても、前記出力された混雑度の空間的な分布に従った色彩が与えられたヒートマップを表示することを特徴とする混雑状況監視方法。
【国際調査報告】
2017122258.tif 000012
2017122258.tif 000013
2017122258.tif 000014
2017122258.tif 000015