(57)【要約】  混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定する技術を提供する。人流推定装置は、画像の部分領域に含まれる人数を推定する人数推定部と、部分領域における群衆の向きを推定する群衆向き推定部と、部分領域内の動き量を推定する動き量推定部と、人数に基づいて、複数の部分領域から、人が存在する部分領域を抽出し、人数と、該抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、該部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成部と、を備える。
2018025831.tif 000002
【特許請求の範囲】
【請求項１】
画像の部分領域に含まれる人数を推定する人数推定手段と、
前記部分領域における群衆の向きを推定する群衆向き推定手段と、
前記部分領域内の動き量を推定する動き量推定手段と、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備えることを特徴とする人流推定装置。
【請求項２】
前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする請求項１に記載の人流推定装置。
【請求項３】
前記生成手段は、前記部分領域に関連する前記動き量が所定の値より大きいか否かを判定し、前記動き量が前記所定の値より大きい場合、前記部分領域内に動きが有ると判定し、前記動き量が前記所定の値以下の場合、前記部分領域内に動きが無いと判定する、ことを特徴とする請求項２に記載の人流推定装置。
【請求項４】
前記生成手段は、前記推定された人数が所定の値より多い部分領域を、前記人が存在する部分領域として抽出し、該抽出された部分領域に対する前記人流情報を生成することを特徴とする請求項１から３の何れか１項に記載の人流推定装置。
【請求項５】
前記群衆向き推定手段および前記動き量推定手段は、夫々、前記生成手段によって抽出された部分領域に対し、前記群衆の向きおよび前記動き量を推定し、
前記生成手段は、前記抽出された部分領域に対して推定された前記群衆の向きおよび前記動き量に基づいて、前記人流情報を生成する、ことを特徴とする請求項１から４の何れか１項に記載の人流推定装置。
【請求項６】
前記人数推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記人数を推定する、ことを特徴とする請求項１から５のいずれか１項に記載の人流推定装置。
【請求項７】
画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する群衆向き推定手段と、
前記部分領域内の動き量を推定する動き量推定手段と、
前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備えることを特徴とする人流推定装置。
【請求項８】
前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングするクラスタリング手段と、
前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する表示制御手段と、を更に備えることを特徴とする請求項７に記載の人流推定装置。
【請求項９】
前記群衆向き推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記群衆の向きを推定する、ことを特徴とする請求項１から８のいずれか１項に記載の人流推定装置。
【請求項１０】
動き量推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記動き量を推定する、ことを特徴とする請求項１から９のいずれか１項に記載の人流推定装置。
【請求項１１】
画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングするクラスタリング手段と、
前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する表示制御手段と、を備えることを特徴とする表示制御装置。
【請求項１２】
前記表示制御手段は、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させる、ことを特徴とする請求項１１に記載の表示制御装置。
【請求項１３】
画像の部分領域に含まれる人数を推定する人数推定手段と、
前記部分領域における群衆の向きを推定する群衆向き推定手段と、
前記部分領域内の動き量を推定する動き量推定手段と、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を更に備え、
前記クラスタリング手段は、前記生成手段が生成した前記人流情報に基づいて、該人流情報に関連する部分領域をクラスタリングする、ことを特徴とする請求項１１または１２に記載の表示制御装置。
【請求項１４】
画像の部分領域に含まれる人数を推定し、
前記部分領域における群衆の向きを推定し、
前記部分領域内の動き量を推定し、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する、ことを特徴とする人流推定方法。
【請求項１５】
前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする請求項１４に記載の人流推定方法。
【請求項１６】
画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出し、
前記部分領域内の動き量を推定し、
前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する、ことを特徴とする人流推定方法。
【請求項１７】
前記人流推定方法は、更に、
前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングし、
前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する、ことを特徴とする請求項１６に記載の人流推定方法。
【請求項１８】
画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングし、
前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する、ことを特徴とする表示制御方法。
【請求項１９】
前記画面に、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させるよう制御する、ことを特徴とする請求項１８に記載の表示制御方法。
【請求項２０】
画像の部分領域に含まれる人数を推定する処理と、
前記部分領域における群衆の向きを推定する処理と、
前記部分領域内の動き量を推定する処理と、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する処理と、をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
【請求項２１】
前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする請求項２０に記載の記録媒体。
【請求項２２】
画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する処理と、
前記部分領域内の動き量を推定する処理と、
前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する処理と、をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
【請求項２３】
前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングする処理と、
前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する処理と、を更にコンピュータに実行させることを特徴とする請求項２２に記載の記録媒体。
【請求項２４】
画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングする処理と、
前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する処理と、をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
【請求項２５】
前記制御する処理は、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させるよう制御する処理である、ことを特徴とする請求項２４に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、人流推定装置、表示制御装置、人流推定方法および記録媒体に関する。
【背景技術】
【０００２】
人の領域および移動状態で構成される人の流れ（人流と呼ぶ）を推定する方法が考えられている。【０００３】
例えば、特許文献１には、撮像部から取得されるフレーム画像から、該フレーム画像に含まれる、人物の上半身を検出し、複数フレーム間で検出された検出結果から検出された上半身位置の距離が最小になる人物同士を同一の人と見なして、各人物の軌跡を生成する装置が記載されている。【０００４】
また、特許文献２には、複数の人を撮像した動画像の１フレームを構成する画像から、頭部モデルを設定し、該頭部モデルに基づいて、画像から人の頭部を抽出し、複数の画像の間で抽出された頭部を位置の近さや位置に基づく画像特徴量の近さで、互いに関連付けることで、人を追跡し、人数を計測する装置が記載されている。【０００５】
また、特許文献３には、カメラによって撮影された画像の画素の輝度値の変化から画素の速度ベクトルを求め、該速度ベクトルが示す所定の方向毎に速度場の分布状況を求めることにより、該画像中の人物形状画像とその移動方向を検出するシステムが記載されている。【０００６】
なお、群衆状態を認識するための識別器の辞書を機械学習する際に用いる教師データを生成する方法が特許文献４に記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２１１３１１号公報
【特許文献２】特開２０１０−１９８５６６号公報
【特許文献３】特開２００３−１０９００１号公報
【特許文献４】国際公開第２０１４／２０７９９１号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１〜３に記載の技術では、低いフレームレートにおいて、人流を正確に推定できない可能性がある。その理由は、低いフレームレートにより、ある画像から取得される上半身位置や頭部位置と次の画像上におけるこれらの位置とが離れすぎると、位置間の距離等を条件として用いた追跡ができなくなるからである。また、低いフレームレートにより、ある画像から取得される頭部位置と次の画像から取得される頭部位置とが時間的に離れすぎると、画像上の見え方が大きく変化し、画像特徴量の近さで頭部を関連づけることが難しくなるからである。また、低いフレームレートにより、ある画像から取得される頭部位置と次の画像から取得される頭部位置とが位置的に離れすぎると、画像特徴量を関連付けるための探索範囲が広がり、関連付けが難しくなるからである。また、低いフレームレートにより、ある画像から取得される上半身位置や頭部位置が次の画像ではフレームアウトしやすくなり、追跡しにくくなるからである。また、低いフレームレートにより、ある画像から取得される情報と次の画像から取得される情報とが時間的に離れすぎると、物体の動きベクトルを正しく計算することが難しくなるからである。【０００９】
また、特許文献１〜３に記載の技術では、混雑環境下において、人流を正確に推定できない可能性がある。その理由は、混雑環境下での人の重なりによって、頻繁に上半身や頭部が隠され、上半身や頭部が検出できなくなる可能性があるからである。また、混雑環境下での人の重なりによる隠れによって、画像特徴量を正しく取得しにくくなり、関連づけが難しくなるからである。また、混雑環境下での人の重なりによって、頻繁に人が隠され、動きベクトルを正しく計算することが難しくなるからである。【００１０】
本開示は、上記課題に鑑みてなされたものであり、その目的は、混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定する技術を提供することにある。
【課題を解決するための手段】
【００１１】
本開示の一態様に係る人流推定装置は、画像の部分領域に含まれる人数を推定する人数推定手段と、前記部分領域における群衆の向きを推定する群衆向き推定手段と、前記部分領域内の動き量を推定する動き量推定手段と、前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備える。【００１２】
また、本開示の一態様に係る人流推定装置は、画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する群衆向き推定手段と、前記部分領域内の動き量を推定する動き量推定手段と、前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備える。【００１３】
また、本開示の一態様に係る表示制御装置は、画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングするクラスタリング手段と、前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する表示制御手段と、を備える。【００１４】
また、本開示の一態様に係る人流推定方法は、画像の部分領域に含まれる人数を推定し、前記部分領域における群衆の向きを推定し、前記部分領域内の動き量を推定し、前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する。【００１５】
なお、上記人流推定装置または人流推定方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
【発明の効果】
【００１６】
本開示によれば、混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態に係る人流推定装置の機能構成の一例を示す機能ブロック図である。
【図２】第１の実施の形態に係る人流推定装置を含む人流推定システムの構成の一例を示すブロック図である。
【図３】第１の実施の形態に係る人流推定装置における生成部の機能構成の一例を示す機能ブロック図である。
【図４】入力画像の一例を示す図である。
【図５】部分領域に関連する情報を、部分領域を示す部分領域ＩＤごとに記載した図である。
【図６】第１の実施の形態に係る人流推定装置の動作の一例を示すフローチャートである。
【図７】第１の実施の形態に係る人流推定装置の生成部の動作の一例を示すフローチャートである。
【図８】第１の実施の形態の変形例に係る人流推定装置の動作の一例を示すフローチャートである。
【図９】第２の実施の形態に係る人流推定装置の機能構成の一例を示す機能ブロック図である。
【図１０】第２の実施の形態に係る人流推定装置における生成部の機能構成の一例を示す機能ブロック図である。
【図１１】第２の実施の形態に係る人流推定装置の動作の一例を示すフローチャートである。
【図１２】第２の実施の形態に係る人流推定装置の生成部の動作の一例を示すフローチャートである。
【図１３】第３の実施の形態に係る表示制御装置の機能構成の一例を示す機能ブロック図である。
【図１４】第３の実施の形態に係る表示制御装置を備える人流推定装置の機能構成の一例を示す機能ブロック図である。
【図１５】第３の実施の形態における人流推定装置を含む人流推定システムの構成の一例を示すブロック図である。
【図１６】表示装置に表示される表示画面を説明するための図である。
【図１７】表示装置に表示される表示画面の一例を示す図である。
【図１８】表示装置に表示される表示画面の一例を示す図である。
【図１９】第３の実施の形態に係る表示制御装置の動作の一例を示すフローチャートである。
【図２０】各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
【発明を実施するための形態】
【００１８】
＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る人流推定装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る人流推定装置１０は、人数推定部１１と、群衆向き推定部１２と、動き量推定部１３と、生成部１４とを備える。
【００１９】
人数推定部１１は、人流推定装置１０に入力された画像（入力画像とも呼ぶ）の部分領域に含まれる人数を推定する。また、群衆向き推定部１２は、該部分領域における群衆の向きを推定する。また、動き量推定部１３は、該部分領域内の動き量を推定する。人数推定部１１、群衆向き推定部１２および動き量推定部１３は、夫々、人数、群衆の向きおよび動き量を、人流推定装置１０に入力された入力画像の複数の部分領域毎に推定する。部分領域は、入力画像の全体の領域よりも小さい領域を表す。つまり、入力画像の部分領域とは、この小さい領域内の画像を表す。人数推定部１１、群衆向き推定部１２および動き量推定部１３は夫々推定結果を生成部１４に供給する。このとき、人数推定部１１は、推定結果として、部分領域を示す情報（例えば、識別子）と、推定した人数とを生成部１４に供給する。同様に、群衆向き推定部１２は、推定結果として、部分領域を示す情報と、推定した群衆向きとを生成部１４に供給する。また、動き量推定部１３は、推定結果として、部分領域を示す情報と、推定した動き量とを生成部１４に供給する。
【００２０】
生成部１４は、人数推定部１１から供給された人数と、群衆向き推定部１２から供給された群衆の向きと、動き量推定部１３から供給された動き量とに基づいて、部分領域における人の流れを表す人流に関する情報である人流情報を生成する。具体的には、生成部１４は、部分領域毎に該部分領域に関連する推定結果である人数に基づいて、複数の部分領域から、人が存在する部分領域を抽出する。そして、生成部１４は、抽出された部分領域に関連する人数と、該抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。人流情報は、上述した通り人の数と、人の移動状態と、人の領域とを表現する情報が含まれるため、人流を表現する情報であると言い換えることができる。
【００２１】
このような構成により、本実施の形態に係る人流推定装置１０は、入力画像に含まれる複数の人に対して、追跡をすることなく、人流を推定している。これにより、本実施の形態に係る人流推定装置１０は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定することができる。
【００２２】
本実施の形態に係る人流推定装置１０について、更に詳細に説明する。まず、図２を参照して、人流推定装置１０を含む人流推定システム１００について説明を行う。人流推定システム１００は、図２に示す通り、人流推定装置１０と、撮像装置２０と、記憶装置３０とを備える。人流推定装置１０と、撮像装置２０とは、互いに通信可能に接続している。また、人流推定装置１０と記憶装置３０とは互いに通信可能に接続している。なお、人流推定装置１０は、記憶装置３０を記憶部として内蔵する構成であってもよい。
【００２３】
撮像装置２０は、動画像を撮影可能なビデオカメラ等によって実現される。撮像装置２０によって撮影された画像は、人流推定装置１０に入力される。なお、撮像装置２０によって撮影された画像は、図示しない記憶装置等に格納された後、人流推定装置１０に入力されてもよい。言い換えれば、人流推定装置１０は、撮像装置２０によって撮影された画像を、撮像装置２０から、または、該画像が記憶された装置から取得する。
【００２４】
記憶装置３０は、例えば、ハードディスクドライブ等によって実現される。記憶装置３０には、部分領域の入力画像内における位置およびサイズが該部分領域毎に格納されている。具体的には、記憶装置３０には、部分領域の画像内における位置とサイズとが該部分領域を示す情報（部分領域ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）と呼ぶ）に関連付けられて格納されている。各部分領域の位置およびサイズは、予め定められている。典型的には、複数の部分領域によって画像全体が覆われるように、個々の部分領域の位置およびサイズが定められる。しかし、部分領域を定める態様は、上記の例に限定されない。画像内で人流の推定対象となる領域に対してのみ、複数の部分領域の位置およびサイズが定められてもよい。また、部分領域の少なくとも一部分が他の部分領域と重なるように、部分領域の位置およびサイズが定められてもよい。なお、部分領域のサイズは、後述の人数推定部１１および群衆向き推定部１２の機能に合わせて、予め設定されてもよい。以下、入力画像の中で部分領域に該当する部分の画像を部分領域画像と記す。
【００２５】
次に、図１の各部について、更に詳細に説明する。
【００２６】
人数推定部１１は、人流推定装置１０に入力された入力画像の部分領域に含まれる人数を推定する。具体的には、人数推定部１１は、撮像装置２０が撮影した画像から、予め定められた各部分領域によって特定される、該画像内の各部分領域画像を対象にして、部分領域内の人数を推定する。換言すれば、人数推定部１１は、記憶装置３０に格納されている各部分領域の位置およびサイズに基づいて、入力画像内の各部分領域に対し、人数を推定する。人数推定部１１は、学習によって得られた推定器を用いて、部分領域内の人数を推定してもよい。例えば、部分領域画像が入力されると部分領域内の人数を出力する推定器を予め学習によって得ておく。人数推定部１１は、部分領域画像をこの推定器に入力することによって、部分領域内の人数の推定値を求めてもよい。この推定器の学習には、複数の人で構成される群衆が含まれる部分領域画像と、その部分領域画像に含まれる人数の情報とを用いればよい。学習に用いる部分領域画像には、人同士の重なりがある画像も含まれてもよい。この学習は、例えば、特許文献４に記載の部分領域ベースの学習である。なお、部分領域内の人数の推定方法は、特許文献４に記載の方法に限定されず、その他の方法を用いてもよい。人数推定部１１は、推定結果として、部分領域ＩＤと、推定した人数とを生成部１４に供給する。
【００２７】
群衆向き推定部１２は、人流推定装置１０に入力された入力画像の部分領域における群衆の向きを推定する。具体的には、群衆向き推定部１２は、撮像装置２０が撮影した画像から、予め定められた各部分領域によって特定される、該画像内の各部分領域画像を対象にして、部分領域内の群衆の向きを推定する。換言すれば、群衆向き推定部１２は、記憶装置３０に格納されている各部分領域の位置およびサイズに基づいて、入力画像内の各部分領域に対し、群衆の向きを推定する。群衆向き推定部１２は、学習によって得られた推定器を用いて、群衆の向きを推定してもよい。例えば、部分領域画像が入力されるとその部分領域画像における群衆の向きを出力する推定器を予め学習によって得ておく。群衆向き推定部１２は、部分領域画像をこの推定器に入力することによって、群衆の向きの推定値を求めてもよい。この推定器の学習には、複数の多様な向きの人で構成される群衆が含まれる部分領域画像と、その部分領域画像内の代表的な群衆の向きを示すベクトルや角度とを用いればよい。さらに、学習に用いる群衆の向きは、『４割が１０度、６割が１３０度』や『１割が４５度、２割が２０度、３割が９０度』というような割合と向きとで構成されるラベルを用いてもよい。さらに、学習に用いる群衆の向きは、ランダム方向というラベルを用いてもよい。また、学習に用いる部分領域画像には、人同士の重なりがある画像も含まれてもよい。この学習は、例えば、特許文献４に記載の部分領域ベースの学習である。なお、部分領域内の群衆の向きの推定方法は、特許文献４に記載の方法に限定されず、その他の方法を用いてもよい。群衆向き推定部１２は、推定結果として、部分領域ＩＤと、推定した群衆の向きを表す情報とを生成部１４に供給する。
【００２８】
動き量推定部１３は、人流推定装置１０に入力された入力画像の部分領域内の動き量を推定する。具体的には、動き量推定部１３は、撮像装置２０が撮影した画像から、予め定められた各部分領域によって特定される、該画像内の各部分領域画像を対象にして、部分領域内の動き量を推定する。換言すれば、動き量推定部１３は、記憶装置３０に格納されている各部分領域の位置およびサイズに基づいて、入力画像内の各部分領域に対し、動き量を推定する。
【００２９】
動き量の推定には、フレームレートに頑健な手法を用いる。動き量推定部１３は、時刻が異なり、入力画像内における位置が同じである部分領域画像から、画像パターンの特徴量の類似度や、フレーム間差分の量を算出してもよい。これらの値は、部分領域内の動きの程度を表していると言える。画像パターンの特徴量の類似度は、類似度が大きければ動き量が小さくなるという性質を持っている。フレーム間差分の量は、その値が小さければ動き量が小さくなるという性質を持っている。動き量推定部１３は、これらの性質を用い、算出した値に基づいて部分領域内の動き量を推定すればよい。また、動き量推定部１３は、学習によって得られた推定器を用いて、動き量を推定してもよい。例えば、時刻が異なり、入力画像内における位置が同じである部分領域画像が入力されると、部分領域内の動き量を出力する推定器を予め学習によって得ておく。動き量推定部１３は、時刻が異なり場所が同じである部分領域画像をこの推定器に入力することによって、部分領域内の動き量の推定値を求めてもよい。この推定器の学習には、以下の（ａ）〜（ｄ）を用いればよい。
（ａ）部分領域に含まれる物体が動いている場合における時刻の異なる２枚の部分領域画像、
（ｂ）（ａ）に対する部分領域内の動きを表す情報、
（ｃ）部分領域に含まれる物体が動いていない場合における時刻の異なる２枚の部分領域画像
（ｄ）（ｃ）に対する部分領域内の動きを表す情報。
この学習は、部分領域ベースの学習である。
【００３０】
また、部分領域に対応する実空間における物体の動きを検出する動きセンサを設け、動き量推定部１３が、動きセンサの検出結果から、部分領域画像が示す部分領域内の動き量を推定してもよい。部分領域内の動き量の推定方法は、フレームレートに頑健な手法であれば、これらの方法に限定されず、どのような方法を採用してもよい。動き量推定部１３は、推定結果として、部分領域ＩＤと、推定した動き量とを生成部１４に供給する。
【００３１】
生成部１４は、人数推定部１１から、部分領域ＩＤと、人数推定部１１が推定した人数とを受け取る。また、生成部１４は、群衆向き推定部１２から、部分領域ＩＤと、群衆向き推定部１２が推定した群衆の向きを表す情報とを受け取る。また、生成部１４は、動き量推定部１３から、部分領域ＩＤと、動き量推定部１３が推定した動き量とを受け取る。
【００３２】
そして、生成部１４は、推定された人数に基づいて、複数の部分領域から、人が存在する部分領域を抽出する。そして、生成部１４は、人数と、抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、該部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。これにより、人流推定装置１０は、人流に関する人流情報を出力することができる。
【００３３】
この生成部１４の構成について、更に詳細に説明する。図３は、本実施の形態に係る人流推定装置１０における生成部１４の機能構成の一例を示す機能ブロック図である。図３に示す通り、生成部１４は、人領域抽出部１４１と、人流情報生成部１４２とを備える。
【００３４】
人領域抽出部１４１は、人数推定部１１が出力した部分領域ＩＤおよび推定された人数を入力とする。人領域抽出部１４１は、部分領域毎に、人数推定部１１で推定された人数に基づき、複数の部分領域から、人が存在する部分領域を抽出する。具体的には、人領域抽出部１４１は、複数の部分領域のうち、推定された人数が所定の値より多い部分領域を、人が存在する部分領域として抽出する。そして、人領域抽出部１４１は、抽出した部分領域の入力画像における位置とサイズとを、記憶装置３０から取得する。上述した通り、記憶装置３０には、部分領域ＩＤと、該部分領域ＩＤによって示される部分領域の入力画像における位置とサイズとが互いに関連付けられて格納されている。したがって、人領域抽出部１４１は、抽出した部分領域の部分領域ＩＤに関連付けられた入力画像における位置とサイズとを、記憶装置３０から取得する。
【００３５】
そして、人領域抽出部１４１は、部分領域ＩＤと、部分領域ＩＤに関連する人数、位置およびサイズとを、人流情報生成部１４２に供給する。
【００３６】
人流情報生成部１４２は、部分領域ＩＤと、部分領域ＩＤに関連する人数、位置およびサイズとを、人領域抽出部１４１から受け取る。人流情報生成部１４２は、抽出された部分領域に関連する人数と、該抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。
【００３７】
具体的には、人流情報生成部１４２は、群衆向き推定部１２から部分領域ＩＤと群衆の向きを表す情報とを含む推定結果を受け取る。また、人流情報生成部１４２は、動き量推定部１３から部分領域ＩＤと動き量とを含む推定結果を受け取る。人流情報生成部１４２は、群衆向き推定部１２から受け取った推定結果の中から、人領域抽出部１４１から受け取った部分領域ＩＤと同じ部分領域ＩＤに関連付けられた群衆の向きを表す情報を抽出する。
【００３８】
また、人流情報生成部１４２は、動き量推定部１３から受け取った推定結果の中から、人領域抽出部１４１から受け取った部分領域ＩＤと同じ部分領域ＩＤに関連付けられた動き量を抽出する。そして、人流情報生成部１４２は、抽出した動き量に基づいて、群衆に動きが有るか否かを判定する。具体的には、人流情報生成部１４２は、動き量が所定の値より大きい場合、該動き量に関連する部分領域に含まれる群衆に動きが有ると判定し、動き量が所定の値以下の場合、該動き量に関連する部分領域に含まれる群衆に動きが無いと判定する。人流情報生成部１４２は、判定結果に基づいて、群衆の動きの有無を表す情報を生成する。
【００３９】
そして、人流情報生成部１４２は、部分領域毎に、部分領域に関連する群衆の向きを表す情報と、群衆の動きの有無を表す情報とを、該部分領域に含まれる人の移動状態とする。また、人流情報生成部１４２は、人領域抽出部１４１から受け取った、該部分領域の入力画像における位置およびサイズを人の領域を表す情報とする。そして、人流情報生成部１４２は、部分領域毎に、人領域抽出部１４１から受け取った部分領域に関連する人数、該部分領域に含まれる人の移動状態および該人の領域を表す情報を含む人流情報を生成する。
【００４０】
図４は、入力画像の一例を示す図である。ここでは、Ｐ１からＰ４の４つ部分領域が予め定められているとする。そして、この部分領域Ｐ１〜Ｐ４を、図４に示す入力画像上に矩形の領域で表現している。図４において、部分領域Ｐ１には、画面の下方向を向く５人の滞留する群衆が含まれており、部分領域Ｐ３には、画面の右に移動する３人の群衆が含まれる。また、部分領域Ｐ２および部分領域Ｐ４は、群衆が居ない領域である。
【００４１】
図５は、部分領域に関連する情報を、部分領域を示す部分領域ＩＤごとに記載した図である。図５では、部分領域Ｐ１を表す部分領域ＩＤをＩＤＰ１としている。同様に、図５では、部分領域Ｐ２の部分領域ＩＤをＩＤＰ２とし、部分領域Ｐ３の部分領域ＩＤをＩＤＰ３とし、部分領域Ｐ４の部分領域ＩＤをＩＤＰ４としている。図５に示す人数は、各部分領域ＩＤに関連する人数であり、人数推定部１１が該部分領域ＩＤによって示される部分領域に対して推定した人数である。また、図５に示す人の領域は、部分領域ＩＤによって示される部分領域の入力画像における位置およびサイズであり、記憶装置３０に格納された、部分領域を表す情報である。図５の例では、部分領域の位置を、部分領域が図４の破線の枠で示す矩形の領域の左上の座標で表現し、部分領域のサイズを、縦および横のピクセル数で表現しているが、部分領域の位置およびサイズの表現方法はこれに限定されず、どのような方法を採用してもよい。
【００４２】
また、図５に示す人の移動状態に含まれる群衆の向きは、部分領域ＩＤによって示される部分領域に含まれる群衆の向きを表しており、該部分領域に対して群衆向き推定部１２が推定した向きである。また、図５に示す人の移動状態に含まれる群衆の動きの有無は、動き量推定部１３が推定した動き量に基づいて、人流情報生成部１４２が判定した、群衆の動きの有無を表しており、「有」が部分領域に含まれる群衆に動きが有ることを示し、「無」が部分領域に含まれる群衆に動きが無いことを示している。
【００４３】
人流情報生成部１４２は、部分領域ＩＤ「ＩＤＰ１」に関連付けられた、人数、人の領域を表す情報である部分領域の位置およびサイズ、並びに、人の移動状態を、人流情報として生成する。同様に、人流情報生成部１４２は、部分領域ＩＤ「ＩＤＰ３」に関連付けられた、人数、人の領域を表す情報である部分領域の位置およびサイズ、並びに、人の移動状態を、人流情報として生成する。
【００４４】
次に、図６および図７を参照して、本実施の形態に係る人流推定装置１０の動作について説明する。図６は、本実施の形態に係る人流推定装置１０の動作の一例を示すフローチャートである。図６に示すフローチャートでは、人流推定装置１０に、撮像装置２０が撮影した画像が入力されているとして説明を行う。
【００４５】
図６に示す通り、本実施の形態に係る人流推定装置１０は、人数推定部１１が入力された画像の部分領域に含まれる人数を推定する（ステップＳ６１）。また、群衆向き推定部１２が入力された画像の部分領域における群衆の向きを推定する（ステップＳ６２）。また、動き量推定部１３が入力された画像の部分領域内の動き量を推定する（ステップＳ６３）。ステップＳ６１からステップＳ６３は、入力された画像に含まれる複数の部分領域の夫々に対して行われる。また、ステップＳ６１からステップＳ６３はどのような順番で行われてもよい。
【００４６】
ステップＳ６１〜ステップＳ６３終了後、生成部１４は、人数に基づいて、複数の部分領域から、人が存在する部分領域を抽出する。そして、生成部１４は、人数と、該抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する（ステップＳ６４）。この人流情報は、部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む。
【００４７】
以上により、人流推定装置１０は処理を終了する。
【００４８】
ここで、ステップＳ６４の処理について、更に詳細に説明する。図７は、本実施の形態に係る生成部１４の動作の一例を示すフローチャートである。図７に示す通り、生成部１４の人領域抽出部１４１は、複数の部分領域のうち人数推定部１１で人数が推定された部分領域を１つ選択する（ステップＳ７１）。そして、人領域抽出部１４１は、選択した部分領域に対し、ステップＳ６１にて人数推定部１１によって推定された人数が所定の値より多いか否かを判定する（ステップＳ７２）。推定された人数が所定の値以下の場合（ステップＳ７２にてＮＯ）、生成部１４は、処理をステップＳ８１に進める。
【００４９】
推定された人数が所定の値より多い場合（ステップＳ７２にてＹＥＳ）、人領域抽出部１４１は、この部分領域を、人が存在する部分領域として抽出する（ステップＳ７３）。そして、人領域抽出部１４１は、抽出した部分領域の入力画像における位置とサイズとを、記憶装置３０から取得する（ステップＳ７４）。その後、人流情報生成部１４２は、ステップＳ６２にて群衆向き推定部１２によって推定された複数の部分領域の夫々に対する群衆の向きから、ステップＳ７３で抽出された部分領域に対して推定された群衆の向きを抽出する（ステップＳ７５）。また、人流情報生成部１４２は、ステップＳ６３にて動き量推定部１３によって推定された複数の部分領域の夫々に対する動き量から、ステップＳ７３で抽出された部分領域に対して推定された動き量を抽出する（ステップＳ７６）。
【００５０】
人流情報生成部１４２は、ステップＳ７６にて抽出した動き量が所定の値より大きいか否かを判定する（ステップＳ７７）。動き量が所定の値より大きい場合（ステップＳ７７にてＹＥＳ）、人流情報生成部１４２は、該動き量に関連する部分領域に含まれる群衆に動きが有ると判定する（ステップＳ７８）。また、動き量が所定の値以下の場合（ステップＳ７７にてＮＯ）、人流情報生成部１４２は、該動き量に関連する部分領域に含まれる群衆に動きが無いと判定する（ステップＳ７９）。
【００５１】
なお、ステップＳ７５は、ステップＳ７６〜ステップＳ７９の後に行われてもよいし、ステップＳ７６〜ステップＳ７９の処理と同時に行われてもよい。
【００５２】
そして、人流情報生成部１４２は、ステップＳ７１にて選択した部分領域に対する、人数、該部分領域に含まれる人の移動状態および該人の領域を表す情報を含む人流情報を生成する（ステップＳ８０）。上述した通り、人の移動状態は、ステップＳ７５で抽出された群衆の向きを表す情報と、ステップＳ７８またはステップＳ７９にて判定された群衆の動きの有無を表す情報とを含む。また、人の領域を表す情報は、ステップＳ７４にて取得した、該部分領域の位置およびサイズを含む。
【００５３】
そして、生成部１４は、複数の部分領域のうち、未選択の部分領域が有るか否かを判定する（ステップＳ８１）。未選択の部分領域が有る場合（ステップＳ８１にてＹＥＳ）、生成部１４は処理をステップＳ７１に戻す。そして、人領域抽出部１４１は、再び、複数の部分領域のうち、未選択の部分領域から１つの部分領域を選択する（ステップＳ７１）。未選択の部分領域が無い場合（ステップＳ８１にてＮＯ）、生成部１４は、ステップＳ８０にて生成された部分領域毎の人流情報を出力する（ステップＳ８２）。
【００５４】
以上により、生成部１４は、ステップＳ６４の処理を終了する。
【００５５】
（効果）
本実施の形態に係る人流推定装置１０は、上述した通り、入力画像の部分領域に含まれる人数、該部分領域における群衆の向き、および該部分領域の動き量を推定する。人流推定装置１０は、推定された人数に基づいて、複数の部分領域から、人が存在する部分領域を抽出する。そして、人流推定装置１０は、抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、該部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。このように、本実施の形態に係る人流推定装置１０は、入力画像に含まれる複数の人に対して、追跡をすることなく、人流を推定している。これにより、本実施の形態に係る人流推定装置１０は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、且つ、低いフレームレートで送信された画像であっても、該画像から頑健に人流を推定することができる。
【００５６】
また、本実施の形態に係る人流推定装置１０によれば、人数推定部１１が入力画像に含まれる部分領域毎に、該部分領域に含まれる人数を推定する。また、群衆向き推定部１２が入力画像に含まれる部分領域毎に、該部分領域における群衆の向きを推定する。人数推定部１１および群衆向き推定部１２は、人同士の重なりを含めて学習できる部分領域ベースの学習を用いて、フレームレートに影響を受けない１枚の画像から、人流の推定に必要な人数や群衆の向きの情報を推定している。これにより、人流推定装置１０は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、且つ、低いフレームレートで送信された画像であっても、該画像から更に頑健に部分領域内の人数および群衆の向きを推定することができる。
【００５７】
また、本実施の形態に係る人流推定装置１０によれば、動き量推定部１３が入力画像に含まれる部分領域毎に、部分領域ベースの学習やフレームレートに頑健な推定を用いて動き量を推定する。そして、生成部１４がこの推定された動き量を用いて、部分領域内の群衆に動きが有るか否かを判定することで、フレームレートに比較的依存しない動きの有無を表す情報に変換する。そして生成部１４は、群衆の動きの有無に関する人の移動状態を含む人流情報を生成する。これにより、人流推定装置１０は、混雑環境下で撮影され、且つ、低いフレームレートで送信された画像であっても、該画像から更に頑健に人流を推定することができる。
【００５８】
例えば、本実施の形態に係る人流推定装置１０によれば、図４に示した部分領域Ｐ１に含まれる群衆は５人であり、下方向を向いて滞留していることがわかる。これにより、この群衆は下方向に興味があることを推定することができる。このように、人流推定装置１０が人流を推定することにより、何人の人がどの領域にいて、どんな方向にどのように動いているかという状態を、例えば人流推定装置１０の管理者に知らせることができる。
【００５９】
また、本実施の形態に係る人流推定装置１０の生成部１４は、人数推定部１１によって推定された人数が所定の値より多い部分領域を、人が存在する部分領域として抽出し、該抽出された部分領域に対する人流情報を生成する。これにより、人流推定装置１０は、例えば人流推定装置１０の利用者が所望する人数以上の人を含む群衆の人流情報を出力することができる。
【００６０】
なお、本実施の形態では、人を対象として記載しているが、人を特定の物体に置き換えてもよい。
【００６１】
（変形例）
次に、本実施の形態の変形例について説明する。上述した第１の実施の形態では、群衆向き推定部１２および動き量推定部１３が全ての部分領域に対して群衆の向きおよび動き量を推定することについて説明した。しかしながら、群衆向き推定部１２および動き量推定部１３は、所定人数より多くの人が存在する部分領域に対してのみ群衆向きおよび動き量を推定する構成であってもよい。本変形例では、群衆向き推定部１２および動き量推定部１３が、人が存在する部分領域に対してのみ群衆向きおよび動き量を推定する構成の場合の人流推定装置１０の処理について説明する。
【００６２】
図８は、本変形例に係る人流推定装置１０の処理の流れの一例を示すフローチャートである。なお、図６および図７で示した処理と同じ処理については、同じ符号を付し、その詳細な説明を省略する。
【００６３】
図８に示す通り、本変形例に係る人流推定装置１０は、人数推定部１１が入力された画像の部分領域に含まれる人数を推定する（ステップＳ６１）。人数推定部１１は、推定結果として、部分領域ＩＤと、推定した人数とを生成部１４に供給する。
【００６４】
生成部１４の人領域抽出部１４１は、複数の部分領域のうち人数推定部１１で人数が推定された部分領域を１つ選択する（ステップＳ７１）。そして、人領域抽出部１４１は、選択した部分領域に対し、ステップＳ６１にて人数推定部１１によって推定された人数が所定の値より多いか否かを判定する（ステップＳ７２）。推定された人数が所定の値以下の場合（ステップＳ７２にてＮＯ）、生成部１４は、処理をステップＳ８１に進める。
【００６５】
推定された人数が所定の値より多い場合（ステップＳ７２にてＹＥＳ）、人領域抽出部１４１は、この部分領域を、人が存在する部分領域として抽出する（ステップＳ７３）。また、そして、人領域抽出部１４１は、抽出した部分領域の入力画像における位置とサイズとを、記憶装置３０から取得する（ステップＳ７４）。
【００６６】
そして、群衆向き推定部１２は、ステップＳ７３にて人領域抽出部１４１が抽出した部分領域における群衆の向きを推定する（ステップＳ９１）。また、動き量推定部１３は、ステップＳ７３にて人領域抽出部１４１が抽出した部分領域の群衆の動き量を推定する（ステップＳ９２）。
【００６７】
そして、人流情報生成部１４２は、ステップＳ９２にて抽出した動き量が所定の値より大きいか否かを判定する（ステップＳ７７）。動き量が所定の値より大きい場合（ステップＳ７７にてＹＥＳ）、人流情報生成部１４２は、該動き量に関連する部分領域に含まれる群衆に動きが有ると判定する（ステップＳ７８）。また、動き量が所定の値以下の場合（ステップＳ７７にてＮＯ）、人流情報生成部１４２は、該動き量に関連する部分領域に含まれる群衆に動きが無いと判定する（ステップＳ７９）。なお、ステップＳ９１は、ステップＳ９２およびステップＳ７７〜ステップＳ７９の後に行われてもよいし、ステップＳ９２およびステップＳ７７〜ステップＳ７９の処理と同時に行われてもよい。
【００６８】
そして、人流情報生成部１４２は、ステップＳ７１にて選択した部分領域に対する、人数、該部分領域に含まれる人の移動状態および該人の領域を表す情報を含む人流情報を生成する（ステップＳ８０）。人の移動状態は、ステップＳ９１で推定された群衆の向きを表す情報と、ステップＳ７８またはステップＳ７９にて判定された群衆の動きの有無を表す情報とを含む。また、人の領域を表す情報は、ステップＳ７４にて取得した、該部分領域の位置およびサイズを含む。
【００６９】
そして、生成部１４は、人数が推定された複数の部分領域のうち、未選択の部分領域が有るか否かを判定する（ステップＳ８１）。未選択の部分領域が有る場合（ステップＳ８１にてＹＥＳ）、生成部１４は処理をステップＳ７１に戻す。そして、人領域抽出部１４１は、再び、複数の部分領域のうち、未選択の部分領域から１つの部分領域を選択する（ステップＳ７１）。未選択の部分領域が無い場合（ステップＳ８１にてＮＯ）、生成部１４は、ステップＳ８０にて生成された部分領域毎の人流情報を出力する（ステップＳ８２）。
【００７０】
以上により、本変形例に係る人流推定装置１０は処理を終了する。
【００７１】
以上のように、群衆向き推定部１２および動き量推定部１３は、人領域抽出部１４１によって所定人数より多くの人が含まれる部分領域に対して、群衆の向きと動き量とを推定する。これにより、所定人数以下の人が含まれる部分領域に対する推定処理を行うことが無いため、第１の実施の形態に係る人流推定装置１０よりも推定処理にかかる処理量を削減することができる。
【００７２】
＜第２の実施の形態＞
次に、第２の実施の形態について図面を参照して詳細に説明する。図９は、本実施の形態に係る人流推定装置４０の機能構成の一例を示す図である。なお、本実施の形態に係る人流推定装置４０を含む人流推定システム１００は、図２を用いて説明した人流推定システム１００の人流推定装置１０に代えて人流推定装置４０を含む構成であり、その他の構成は同様であるため、その説明を省略する。なお、説明の便宜上、上述した第１の実施の形態において説明した部材と同様の部材は、同じ符号を付し、その説明を省略する。
【００７３】
図９に示す通り、本実施の形態に係る人流推定装置４０は、群衆向き推定部４２と、動き量推定部１３と、生成部４４とを備える。本実施の形態に係る人流推定装置４０は、上述した第１の実施の形態に係る人流推定装置１０に対し、群衆向き推定部１２に代えて群衆向き推定部４２を備え、生成部１４に代えて生成部４４を備え、人数推定部１１を備えない。
【００７４】
群衆向き推定部４２は、人流推定装置４０に入力された入力画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する。群衆向き推定部４２は、群衆の向きを推定した部分領域を示す情報と、推定した群衆の向きと、算出した信頼度とを生成部４４に供給する。
【００７５】
動き量推定部１３は、第１の実施の形態に係る人流推定装置１０の動き量推定部１３と同様に、入力画像の部分領域内の動き量を推定する。動き量推定部１３は、動き量を推定した部分領域を示す情報と、推定した動き量とを生成部４４に供給する。
【００７６】
生成部４４は、群衆向き推定部４２から供給された群衆の向きおよび該向きに応じた信頼度と、動き量推定部１３から供給された動き量とに基づいて、部分領域における人の流れを表す人流に関する情報である人流情報を生成する。生成部４４は、例えば、群衆の向きおよび動き量が含まれる人の移動状態と、人の領域とを表現する情報とを含む人流情報を生成する。
【００７７】
このような構成により、本実施の形態に係る人流推定装置４０は、追跡をすることなく、人流を推定している。これにより、本実施の形態に係る人流推定装置４０は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定することができる。
【００７８】
本実施の形態に係る人流推定装置４０について、更に詳細に説明する。群衆向き推定部４２は、人流推定装置４０に入力された入力画像の部分領域における群衆の向きを推定する。具体的には、群衆向き推定部４２は、撮像装置２０が撮影した画像から、予め定められた各部分領域によって特定される、該画像内の各部分領域画像を対象にして、部分領域内の群衆の向きを推定する。換言すれば、群衆向き推定部４２は、記憶装置３０に格納されている各部分領域の位置およびサイズに基づいて、入力画像内の各部分領域に対し、群衆の向きを推定する。この群衆の向きの推定については、上述した群衆向き推定部１２と同様である。
【００７９】
更に、群衆向き推定部４２は、推定した群衆の向きの信頼度を算出する。この群衆の向きの信頼度は、推定した群衆の向きの信頼性の度合いを表すものであり、信頼性がより高い場合、高い値になる。例えば、部分領域内に人がいない場合、算出された信頼度は低くなる。これにより、信頼度がより低い値の場合、関連する部分領域に人が含まれず、信頼度がより高い値の場合、関連する部分領域に人が含まれることがわかる。
【００８０】
例えば、本実施の形態では、部分領域における群衆の向きとして、群衆の向きを示すベクトルであって、向きの信頼度を大きさで表したベクトルを出力する推定器を、予め回帰学習によって得ておく。群衆向き推定部４２は、部分領域画像を、この推定器に入力することによって、群衆の向きを推定する。群衆の向きの推定結果は、上記のベクトルとして得られるので、群衆向き推定部４２は、ベクトルの大きさから群衆の向きの信頼度を得ることができる。群衆向き推定部４２は、学習したベクトルの大きさに近づく程、高くなるような数値を信頼度として出力すればよい。
【００８１】
また、例えば、部分領域画像が入力されると、その部分領域画像における群衆の向きとして、群衆の向きを示す角度を出力する推定器を、予め回帰学習によって得ていてもよい。群衆向き推定部４２は、部分領域画像を、この推定器に入力することによって、群衆の向きを推定する。群衆の向きの推定結果は、角度の数値として得られるので、群衆向き推定部４２は、角度の数値から群衆の向きの信頼度を得ることができる。群衆向き推定部４２は、０〜３６０度の範囲内に近づく程、高くなるような数値を信頼度として出力すればよい。
【００８２】
また、例えば、部分領域画像が入力されると、その部分領域画像における群衆の向きとして、群衆の向きを示す角度に該当する確率を所定間隔の角度毎（例えば、１０度毎）に出力する推定器を、予め識別学習によって得ていてもよい。群衆向き推定部４２は、部分領域画像を、この推定器に入力することによって、所定間隔の角度毎に、角度に該当する確率を得る。群衆向き推定部４２は、最も高い確率である角度を群衆の向きと推定する。群衆の向きの推定結果は、角度の確率として得られるので、群衆向き推定部４２は、確率から群衆の向きの信頼度を得ることができる。群衆向き推定部４２は、群衆の向きと推定された角度で、角度の確率が高く、他の角度で、角度の確率が低い場合、高くなり、いずれの角度においても確率が同程度の値である場合、低くなるような数値を信頼度として出力すればよい。なお、群衆の向きの信頼度の推定方法は、上記の例に限定されない。
【００８３】
生成部４４は、群衆向き推定部４２から、部分領域ＩＤと、群衆向き推定部４２が推定した群衆の向きを表す情報と、信頼度とを受け取る。また、生成部４４は、動き量推定部１３から、部分領域ＩＤと、動き量推定部１３が推定した動き量とを受け取る。
【００８４】
そして、生成部４４は、信頼度に基づいて、複数の部分領域から、人が存在する部分領域を抽出する。換言すれば、生成部４４は、記憶装置３０に格納されている各部分領域の位置およびサイズに基づいて、入力画像内の各部分領域に関連する信頼度に基づいて、複数の部分領域から人が存在する部分領域を抽出する。そして、生成部４４は、抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。これにより、人流推定装置４０は、人流に関する人流情報を出力することができる。
【００８５】
この生成部４４の構成について、更に詳細に説明する。図１０は、本実施の形態に係る人流推定装置４０における生成部４４の機能構成の一例を示す機能ブロック図である。図１０に示す通り、生成部４４は、人領域抽出部４４１と、人流情報生成部４４２とを備える。
【００８６】
人領域抽出部４４１は、群衆向き推定部４２が出力した部分領域ＩＤおよび信頼度を入力とする。人領域抽出部４４１は、部分領域毎に、信頼度に基づき、複数の部分領域から、人が存在する部分領域を抽出する。具体的には、人領域抽出部４４１は、複数の部分領域のうち、信頼度が所定の値より高い部分領域を、人が存在する部分領域として抽出する。そして、人領域抽出部４４１は、抽出した部分領域の入力画像における位置とサイズとを、記憶装置３０から取得する。上述した通り、記憶装置３０には、部分領域ＩＤと、該部分領域ＩＤによって示される部分領域の入力画像における位置とサイズとが互いに関連付けられて格納されている。したがって、人領域抽出部４４１は、抽出した部分領域の部分領域ＩＤに関連付けられた入力画像における位置とサイズとを、記憶装置３０から取得する。
【００８７】
そして、人領域抽出部４４１は、部分領域ＩＤと、部分領域ＩＤに関連する位置およびサイズとを、人流情報生成部４４２に供給する。
【００８８】
人流情報生成部４４２は、部分領域ＩＤと、部分領域ＩＤに関連する位置およびサイズとを、人領域抽出部４４１から受け取る。人流情報生成部４４２は、抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。このように、人流情報生成部４４２が生成する人流情報は、人流情報生成部１４２が生成する人流情報に対して、部分領域に関連する人数を含まない形として構成される。人流情報生成部４４２が生成する人流情報に含まれる部分領域に含まれる人の移動状態および該人の領域を表す情報は、人流情報生成部１４２が生成する人流情報に含まれる部分領域に含まれる人の移動状態および該人の領域を表す情報と同様である。
【００８９】
次に、図１１および図１２を参照して、本実施の形態に係る人流推定装置４０の動作について説明する。図１１は、本実施の形態に係る人流推定装置４０の動作の一例を示すフローチャートである。図１１に示すフローチャートでは、人流推定装置４０に、撮像装置２０が撮影した画像が入力されているとして説明を行う。
【００９０】
図１１に示す通り、本実施の形態に係る人流推定装置４０は、群衆向き推定部４２が入力された画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する（ステップＳ１１１）。また、動き量推定部１３が入力された画像の部分領域内の動き量を推定する（ステップＳ１１２）。ステップＳ１１１およびステップＳ１１２は、入力された画像に含まれる複数の部分領域の夫々に対して行われる。また、ステップＳ１１１およびステップＳ１１２は逆順で行われてもよいし、同時に行われてもよい。
【００９１】
ステップＳ１１１およびステップＳ１１２終了後、生成部４４は、群衆の向きと、向きに応じた信頼度と、動き量とに基づいて、部分領域における人の流れを表す人流に関する情報である人流情報を生成する（ステップＳ１１３）。この人流情報は、部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む。
【００９２】
以上により、人流推定装置４０は処理を終了する。
【００９３】
ここで、ステップＳ１１３の処理について、更に詳細に説明する。図１２は、本実施の形態に係る生成部４４の動作の一例を示すフローチャートである。図１２に示す通り、生成部４４の人領域抽出部４４１は、複数の部分領域から部分領域を１つ選択する（ステップＳ１２１）。そして、人領域抽出部４４１は、選択した部分領域に対し、ステップＳ１１１にて群衆向き推定部４２によって算出された、選択された部分領域に関連する向きに応じた信頼度が所定の値より高いか否かを判定する（ステップＳ１２２）。向きに応じた信頼度が所定の値以下の場合（ステップＳ１２２にてＮＯ）、生成部４４は、処理をステップＳ１３１に進める。
【００９４】
向きに応じた信頼度が所定の値より高い場合（ステップＳ１２２にてＹＥＳ）、人領域抽出部４４１は、この部分領域を、人が存在する部分領域として抽出する（ステップＳ１２３）。そして、人領域抽出部４４１は、抽出した部分領域の入力画像における位置とサイズとを、記憶装置３０から取得する（ステップＳ１２４）。その後、人流情報生成部４４２は、ステップＳ１１１にて群衆向き推定部４２によって推定された複数の部分領域の夫々に対する群衆の向きから、ステップＳ１２３で抽出された部分領域に対して推定された群衆の向きを抽出する（ステップＳ１２５）。また、人流情報生成部４４２は、ステップＳ１１２にて動き量推定部１３によって推定された複数の部分領域の夫々に対する動き量から、ステップＳ１２３で抽出された部分領域に対して推定された動き量を抽出する（ステップＳ１２６）。
【００９５】
人流情報生成部４４２は、ステップＳ１２６にて抽出した動き量が所定の値より大きいか否かを判定する（ステップＳ１２７）。動き量が所定の値より大きい場合（ステップＳ１２７にてＹＥＳ）、人流情報生成部４４２は、該動き量に関連する部分領域に含まれる群衆に動きが有ると判定する（ステップＳ１２８）。また、動き量が所定の値以下の場合（ステップＳ１２７にてＮＯ）、人流情報生成部４４２は、該動き量に関連する部分領域に含まれる群衆に動きが無いと判定する（ステップＳ１２９）。
【００９６】
なお、ステップＳ１２５は、ステップＳ１２６〜ステップＳ１２９の後に行われてもよいし、ステップＳ１２６〜ステップＳ１２９の処理と同時に行われてもよい。
【００９７】
そして、人流情報生成部４４２は、ステップＳ１２１にて選択した部分領域に対する、該部分領域に含まれる人の移動状態および該人の領域を表す情報を含む人流情報を生成する（ステップＳ１３０）。上述した通り、人の移動状態は、ステップＳ１２５で抽出された群衆の向きを表す情報と、ステップＳ１２８またはステップＳ１２９にて判定された群衆の動きの有無を表す情報とを含む。また、人の領域を表す情報は、ステップＳ１２４にて取得した、該部分領域の位置およびサイズを含む。
【００９８】
そして、生成部４４は、複数の部分領域のうち、未選択の部分領域が有るか否かを判定する（ステップＳ１３１）。未選択の部分領域が有る場合（ステップＳ１３１にてＹＥＳ）、生成部４４は処理をステップＳ１２１に戻す。そして、人領域抽出部４４１は、再び、複数の部分領域のうち、未選択の部分領域から１つの部分領域を選択する（ステップＳ１２１）。未選択の部分領域が無い場合（ステップＳ１３１にてＮＯ）、生成部４４は、ステップＳ１３０にて生成された部分領域毎の人流情報を出力する（ステップＳ１３２）。
【００９９】
以上により、生成部４４は、ステップＳ１１３の処理を終了する。
【０１００】
なお、本実施の形態に係る人流推定装置４０の動き量推定部１３は、全ての部分領域に対してではなく、群衆向き推定部４２が出力した信頼度に基づいて人領域抽出部４４１が抽出した部分領域に対して、動き量を推定してもよい。
【０１０１】
（効果）
本実施の形態に係る人流推定装置４０によれば、群衆向き推定部４２が画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する。また、動き量推定部１３が部分領域内の動き量を推定する。そして、生成部４４が群衆の向きと、向きに応じた信頼度と、動き量とに基づいて、部分領域における人の流れを表す人流に関する情報である人流情報を生成する。このとき、生成部４４は、信頼度に基づいて、部分領域に人が含まれるか否かを判定する。このような構成であっても、人流推定装置４０は、人が存在する部分領域を抽出することができるため、本実施の形態に係る人流推定装置４０は、人流推定装置１０と同様に、入力画像に含まれる複数の人に対して、追跡をすることなく、人流を推定することができる。つまり、本実施の形態に係る人流推定装置４０は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定することができる。また、人流推定装置４０は、人数推定部１１の機能を含まないため、実装の簡略化を図ることができる。また、人流推定装置４０は、人流推定装置１０に比べ、人数推定部１１の処理を実行しないため、処理の高速化を実現することができる。このような方法は、人流として人数が必要でない場合には、非常に有効である。
【０１０２】
＜第３の実施の形態＞
次に、第３の実施の形態について、図面を参照して説明する。なお、説明の便宜上、上述した各実施の形態において説明した部材と同様の部材は、同じ符号を付し、その説明を省略する。
【０１０３】
本実施の形態に係る表示制御装置５５は、図１３に示す通り、クラスタリング部５５１および表示制御部５５２を備える。クラスタリング部５５１は、画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、画像の部分領域をクラスタリングする。
【０１０４】
表示制御部５５２は、クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、該群状態を群毎に異なる表示態様で画面に表示させる。表示制御部５５２は、該群状態を画面に表示させているが、情報として外部に出力してもよい。
【０１０５】
このような構成により、本実施の形態に係る表示制御装置５５は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、低いフレームレートで送信された画像から推定された人流を表す情報を用いて、群毎の人流の状態を画面に表示させることができる。これにより、表示制御装置５５は、この画面を見たユーザに、人流の状態をより明確に理解させることができる。
【０１０６】
本実施の形態に係る表示制御装置５５について、更に詳細に説明する。まず、図１４を用いて、本実施の形態に係る表示制御装置５５を備える人流推定装置５０について説明する。人流推定装置５０は、図１４に示すとおり、人数推定部１１と、群衆向き推定部１２と、動き量推定部１３と、生成部１４と、表示制御装置５５とを備える。人流推定装置５０は、上述した第１の実施の形態に係る人流推定装置１０に表示制御装置５５を更に備える構成である。
【０１０７】
図１５は、人流推定装置５０を含む人流推定システム５００の構成の一例を示すブロック図である。図１５に示す通り、人流推定システム５００は、撮像装置２０と、記憶装置３０と、人流推定装置５０と、表示装置６０とを含む。表示装置６０は、人流推定装置５０と通信可能に接続している。表示装置６０は、例えば、液晶ディスプレイ等によって実現される。表示装置６０は、人流推定装置５０からの制御に基づいた画面を表示する。
【０１０８】
図１３に戻り、表示制御装置５５の各部について詳細に説明する。表示制御装置５５は、生成部１４から出力された人流情報を入力とする。
【０１０９】
人流情報は、上述した通り、部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む。人の移動状態は、部分領域に関連する群衆の向きを表す情報と、群衆の動きの有無を表す情報とを含む。また、人の領域を表す情報は、部分領域の入力画像における位置およびサイズを含む。
【０１１０】
クラスタリング部５５１は、人流情報に基づき、画像の部分領域をクラスタリングする。具体的には、クラスタリング部５５１は、人流情報に含まれる、人流として示された部分領域の夫々の位置およびサイズから、部分領域間の距離を算出する。部分領域間の距離とは、部分領域間の位置による単純な距離でもよいし、部分領域の位置に加え、部分領域のサイズも考慮した指標を用いて計算された距離であってもよい。また、クラスタリング部５５１は、部分領域間の群衆の向きの類似性を算出する。更に、クラスタリング部５５１は、部分領域間の動きの類似性を算出する。動きの類似性とは、例えば、動き量の類似性であってもよいし、動き量から判定される動きの有無の類似性であってもよい。
【０１１１】
そして、クラスタリング部５５１は、算出した類似性に基づいて、画像の部分領域をクラスタリングする。そして、クラスタリング部５５１はクラスタリングした結果として得られる、クラスタリングされた部分領域の人流情報を、表示制御部５５２に供給する。つまり、クラスタリング部５５１は、クラスタ（群と呼ぶ）毎に、該群に含まれる部分領域の人流情報を表示制御部５５２に供給する。
【０１１２】
表示制御部５５２は、クラスタリング部５５１から群毎に、該群に含まれる部分領域の人流情報を受け取る。表示制御部５５２は、クラスタリングされた群の夫々に対し、群の領域、向き、動きおよび人数を示す群状態を求める。
【０１１３】
群の領域は、クラスタリングされた群に属する部分領域の位置およびサイズから算出される領域であり、該群に属する部分領域をすべて含む領域である。
【０１１４】
群の向きは、該群に含まれる群衆の向きであり、クラスタリングされた群に属する各部分領域に関連する群衆の向きから算出された平均値や最頻値などである。群の向きは、クラスタリングされた群に属する各部分領域に関連する群衆の向きから算出される値ならば、上記以外の値でもよい。
【０１１５】
群の動きは、群に含まれる群衆の動き、例えば、群に含まれる群衆の動きの有無を表す。群の動きは、クラスタリングされた群に属する各部分領域に含まれる群衆の動きの有無から求められるものである。人流情報に含まれる、各部分領域の群衆の動きの有無は、動きが有ることを示す情報か動きが無いことを示す情報かの何れかの場合、クラスタリング部５５１は、動きが有ることを示す情報を有する部分領域と、動きが無いことを示す情報を有する部分領域とを別の群に属するようにクラスタリングする。よって、群に属する各部分領域に関連する、群衆の動きの有無の情報はいずれも同じ情報となる。したがって、群に含まれる群衆の動きを表す情報が動きの有無を表す情報の場合、群に属する部分領域の何れかに関連する動きの有無を表す情報が、群に含まれる群衆の動きを表す情報となる。
【０１１６】
群の人数は、クラスタリングされた群に属する各部分領域の人数の合計である。
【０１１７】
表示制御部５５２は、群状態を群毎に異なる表示態様で画面に表示させる。つまり、表示制御部５５２は、群状態が群毎に異なる表示態様で画面に表示されるように制御する制御信号を生成し、表示装置６０に出力する。
【０１１８】
これにより、表示装置６０は、この制御信号に基づいた画面を表示することができる。
【０１１９】
次に、表示装置６０が表示する表示画面の例について、図１６〜図１８を参照して説明する。図１６は、表示装置６０が表示する画面（表示画面とも呼ぶ）を説明するための図である。また、図１７および図１８は、表示装置６０が表示する表示画面の一例を示す図である。
【０１２０】
まず図１６を用いて、表示装置６０が表示する入力画像と、該入力画像の部分領域および群について説明する。図１６に示す通り、入力画像ＩＭは、画像の左上側に存在する群衆と、中央右寄りに存在する群衆とを含む画像である。この例では、入力画像ＩＭを縦に４分割、横に６分割することによって得られる、２４個の部分領域が設定されているとする。図１６〜図１８では、部分領域の境界線を、破線で表している。また、図１６におけるＰｘｙ（ｘは１〜４の数字、ｙは１〜６の数字）は、各部分領域を表す符号である。図１７および図１８では説明の便宜上、各部分領域を表す符号を表示していないが、図１６と同じ位置の部分領域には同じ符号が付されているとする。
【０１２１】
図１６における群ＣＬ１〜ＣＬ３は、クラスタリング部５５１によってクラスタリングされた部分領域を表す。群ＣＬ１には、部分領域Ｐ１１および部分領域Ｐ１２が含まれる。群ＣＬ２には部分領域Ｐ３４が含まれる。群ＣＬ３には、部分領域Ｐ１４、部分領域Ｐ２３、部分領域Ｐ２４、部分領域Ｐ２５、部分領域Ｐ３３および部分領域Ｐ３５が含まれる。
【０１２２】
次に、図１７および図１８を用いて、表示装置６０が表示する表示画面について説明する。図１７では、図１６と同様に部分領域の境界を表す破線を表示しているが、表示しなくてもよい。
【０１２３】
図１７に示すように群ＣＬ１〜ＣＬ３の夫々を囲む枠が表示画面に表示されている。このように、表示制御部５５２は、群の領域を、該群に属する部分領域を取り囲むように表示させることが好ましい。なお、図１７に示すように群の領域は、例えば、群ＣＬ３を表現する実線の枠のように該群に含まれる部分領域の境界線上に表示してもよい。また、図１７の群ＣＬ１およびＣＬ２を表現する一点鎖線の枠のように、表示制御部５５２は、群の領域を部分領域の周りを囲むように表示してもよい。また、表示制御部５５２が表示させる群の領域は図１７に示すような直線を組み合わせた枠でなくてもよく、図１８に示すように曲線であってもよい。
【０１２４】
また、図１７では、各群に含まれる部分領域に関連する人流情報に含まれる人数、群衆の向きおよび群衆の動きを、部分領域毎に表示している。例えば、部分領域Ｐ１１に関連する人流情報には、人数が「５人」であること、および、人の移動状態として、下向きで動きが無いことを表す情報が含まれているとする。表示制御部５５２は、この人流情報を用いて、部分領域Ｐ１１の領域に、「５人」と動きが無いことを表す「動き無」と、群衆が下を向いていることを表す下向きの矢印とを表示させる。各群に含まれる他の部分領域についても同様に、人数と矢印と動きの有無を表す文字列とが表示される。なお、動きの有無は、文字列ではなく、例えば、「○」や「×」の記号を用いて表現してもよい。
【０１２５】
また、表示制御部５５２は、図１７に示す画面に、更に群状態を表す情報を表示してもよい。例えば、群ＣＬ１には、１２人の人が含まれており、この１２人の群衆は下を向いており、動きが無い、とする。表示制御部５５２は、このような群状態を表す群状態情報を生成し、画面に表示させてもよい。表示制御部５５２は、群ＣＬ１に関連する吹き出し等を用いて「下を向く１２人の滞留する群衆」という群状態を表現する文字列を群状態情報として表示してもよい。同様に、表示制御部５５２は、群ＣＬ２に対して、「右を向く４人の滞留する群衆」という群状態を表現する文字列を画面に表示し、群ＣＬ３に対して「右に移動する１３人の群衆」という群状態を表現する文字列を画面に表示してもよい。なお、このとき、表示制御部５５２は、動きの有無を表す情報から動きがある場合「移動する」という言葉を用いて群状態情報を生成し、動きが無い場合「滞留する」という言葉を用いて群状態情報を生成しているが、動きの有無を表す言葉はこれに限定されない。
【０１２６】
また、図１８に示すように、表示制御部５５２は、群の向きと群の動きとを、夫々、方向と大きさとで表現した矢印（ＡＲ１〜ＡＲ３）を表示画面に表示してもよい。これにより、表示制御装置５５は、ユーザに対し、人流の状態をより明確に理解させることができる。例えば、群衆が滞留している群ＣＬ１および群ＣＬ２内には、群衆が滞留していることを表す短い矢印ＡＲ１およびＡＲ２が、夫々、表示されている。この矢印の向きは群の向きを表している。また、群ＣＬ３内には、群衆が移動していることを表す右向きの長い矢印ＡＲ３が表示されている。表示制御部５５２は、群衆の速度に応じて、矢印の長さを変化させて表示させてもよい。また、表示制御部５５２は、矢印の起点が群の領域の略重心に位置するように、該矢印を表示させることが好ましい。これにより、該矢印がどの群に対する矢印なのかを、ユーザにより明確に理解させることができる。
【０１２７】
また、表示制御部５５２は、図１８に示すように、群の人数を群の領域の内部または近傍に位置するように表示させる。表示制御部５５２は、例えば、群ＣＬ１に対し、群ＣＬ１の人数である１２人を、群ＣＬ１を表す枠の中に表示している。また、表示制御部５５２は、例えば、群ＣＬ３に対し、群ＣＬ３の人数である１３人を、群ＣＬ３を表す枠の近傍に表示している。
【０１２８】
このように、表示制御装置５５が群情報を表示させることにより、ユーザに対し、群毎の人流の状態をより明確に理解させることができる。
【０１２９】
なお、図１８の表示画面に図１７に示すような各部分領域の人流情報を、群情報に重ねて表示してもよい。
【０１３０】
図１９は、本実施の形態に係る表示制御装置５５の動作の一例を示すフローチャートである。図１９では、表示制御装置５５のクラスタリング部５５１が生成部１４から人流情報を受け取っているとする。
【０１３１】
図１９に示す通り、クラスタリング部５５１が、画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、画像の部分領域をクラスタリングする（ステップＳ１９１）。
【０１３２】
表示制御部５５２は、クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、群状態を群毎に異なる表示態様で画面に表示させるよう制御する（ステップＳ１９２）。
【０１３３】
以上で、表示制御装置５５は、処理を終了する。
【０１３４】
（効果）
以上のように、本実施の形態に係る表示制御装置５５は、部分領域毎の人流情報に基づいて、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、部分領域をクラスタリングする。そして、クラスタリングされた部分領域の人流情報に基づいて、群毎に、群状態を算出し、算出した群状態を群毎に異なる表示態様で表示装置に表示させる。これにより、表示装置には、群状態が群毎に異なる態様で表示された画面が表示される。このように、人流が群状態という意味の理解しやすい単位で強調されて表示されることにより、この画面を見たユーザは、人流の状態をより明確に理解できる。このように、表示制御装置５５は、群状態を群毎に表示させるため、ユーザに対し、視覚的に人流の状態をより明確に理解させることができる。
【０１３５】
また、このような表示制御装置５５を備える人流推定装置５０は、上述した人流推定装置１０と同様に、混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定することができる。
【０１３６】
上記では、本実施の形態に係る表示制御装置５５が、上述した第１の実施の形態に係る人流推定装置１０に備えられる構成について説明を行ったが、表示制御装置５５は、第２の実施の形態に係る人流推定装置４０に備えられる構成であってもよい。即ち、人流推定装置４０は、群衆向き推定部４２と、動き量推定部１３と、生成部４４とに加え、更に、表示制御装置５５を備える構成であってもよい。この場合、人流情報に人数の情報が含まれないため、表示制御装置５５は、群衆の向きと動きとを表示させることができる。これにより、人流推定装置４０も、本実施の形態に係る人流推定装置５０と同様に、ユーザに対し、視覚的に人流の状態をより明確に理解させることができる。
【０１３７】
また、本実施の形態に係る表示制御装置５５は、人流推定装置５０に含まれる人数推定部１１、群衆向き推定部１２、動き量推定部１３および生成部１４を内部に備える構成であってもよい。つまり、表示制御装置５５が人流推定装置５０と同様の機能を有してもよい。
【０１３８】
（ハードウェア構成について）
本開示の各実施形態において、各人流推定装置および表示制御装置の各構成要素は、機能単位のブロックを示している。各人流推定装置および表示制御装置の各構成要素の一部又は全部は、例えば、図２０に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２０は、各人流推定装置および表示制御装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
【０１３９】
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各人流推定装置および表示制御装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各人流推定装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
【０１４０】
各人流推定装置および表示制御装置の実現方法には、様々な変形例がある。例えば、各人流推定装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各人流推定装置および表示制御装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
【０１４１】
また、各人流推定装置および表示制御装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【０１４２】
各人流推定装置および表示制御装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【０１４３】
各人流推定装置および表示制御装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【０１４４】
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
【０１４５】
本開示の各実施の形態に係る人流推定装置によれば、混雑環境下で撮影され、且つ、低いフレームレートで送信された動画像から、人流を推定できる人流推定装置や、その人流推定装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、本開示の人流推定装置は、カメラ・蓄積映像から人流を推定することを必要とする監視分野での不審者認識・不審物の置き去り認識、異常状態認識、異常行動認識を行う装置・機能といった用途に適用できる。また、本開示の人流推定装置は、マーケティング分野での行動解析・環境状態の分析を行う装置・機能といった用途に適用できる。さらに、本開示の人流推定装置は、カメラ・蓄積映像からの人流推定の結果である人流を入力とする入力インタフェースといった用途に適用できる。この他、本開示の人流推定装置は、人流推定の結果である人流をトリガ・キーとするビデオ／映像検索装置・機能といった用途に適用できる。
【０１４６】
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１４７】
（付記１）
画像の部分領域に含まれる人数を推定する人数推定手段と、
前記部分領域における群衆の向きを推定する群衆向き推定手段と、
前記部分領域内の動き量を推定する動き量推定手段と、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備えることを特徴とする人流推定装置。
【０１４８】
（付記２）
前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする付記１に記載の人流推定装置。
【０１４９】
（付記３）
前記生成手段は、前記部分領域に関連する前記動き量が所定の値より大きいか否かを判定し、前記動き量が前記所定の値より大きい場合、前記部分領域内に動きが有ると判定し、前記動き量が前記所定の値以下の場合、前記部分領域内に動きが無いと判定する、ことを特徴とする付記２に記載の人流推定装置。
【０１５０】
（付記４）
前記生成手段は、前記推定された人数が所定の値より多い部分領域を、前記人が存在する部分領域として抽出し、該抽出された部分領域に対する前記人流情報を生成することを特徴とする付記１から３の何れか１つに記載の人流推定装置。
【０１５１】
（付記５）
前記群衆向き推定手段および前記動き量推定手段は、夫々、前記生成手段によって抽出された部分領域に対し、前記群衆の向きおよび前記動き量を推定し、
前記生成手段は、前記抽出された部分領域に対して推定された前記群衆の向きおよび前記動き量に基づいて、前記人流情報を生成する、ことを特徴とする付記１から４の何れか１つに記載の人流推定装置。
【０１５２】
（付記６）
前記人数推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記人数を推定する、ことを特徴とする付記１から５のいずれか１つに記載の人流推定装置。
【０１５３】
（付記７）
画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する群衆向き推定手段と、
前記部分領域内の動き量を推定する動き量推定手段と、
前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備えることを特徴とする人流推定装置。
【０１５４】
（付記８）
前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングするクラスタリング手段と、
前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する表示制御手段と、を更に備えることを特徴とする付記７に記載の人流推定装置。
【０１５５】
（付記９）
前記群衆向き推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記群衆の向きを推定する、ことを特徴とする付記１から８のいずれか１つに記載の人流推定装置。
【０１５６】
（付記１０）
動き量推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記動き量を推定する、ことを特徴とする付記１から９のいずれか１つに記載の人流推定装置。
【０１５７】
（付記１１）
画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングするクラスタリング手段と、
前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する表示制御手段と、を備えることを特徴とする表示制御装置。
【０１５８】
（付記１２）
前記表示制御手段は、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させる、ことを特徴とする付記１１に記載の表示制御装置。
【０１５９】
（付記１３）
画像の部分領域に含まれる人数を推定する人数推定手段と、
前記部分領域における群衆の向きを推定する群衆向き推定手段と、
前記部分領域内の動き量を推定する動き量推定手段と、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を更に備え、
前記クラスタリング手段は、前記生成手段が生成した前記人流情報に基づいて、該人流情報に関連する部分領域をクラスタリングする、ことを特徴とする付記１１または１２に記載の表示制御装置。
【０１６０】
（付記１４）
画像の部分領域に含まれる人数を推定し、
前記部分領域における群衆の向きを推定し、
前記部分領域内の動き量を推定し、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する、ことを特徴とする人流推定方法。
【０１６１】
（付記１５）
前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする付記１４に記載の人流推定方法。
【０１６２】
（付記１６）
画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出し、
前記部分領域内の動き量を推定し、
前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する、ことを特徴とする人流推定方法。
【０１６３】
（付記１７）
前記人流推定方法は、更に、
前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングし、
前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する、ことを特徴とする付記１６に記載の人流推定方法。
【０１６４】
（付記１８）
画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングし、
前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する、ことを特徴とする表示制御方法。
【０１６５】
（付記１９）
前記画面に、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させるよう制御する、ことを特徴とする付記１８に記載の表示制御方法。
【０１６６】
（付記２０）
画像の部分領域に含まれる人数を推定する処理と、
前記部分領域における群衆の向きを推定する処理と、
前記部分領域内の動き量を推定する処理と、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する処理と、をコンピュータに実行させる、ことを特徴とするプログラム。
【０１６７】
（付記２１）
前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする付記２０に記載のプログラム。
【０１６８】
（付記２２）
画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する処理と、
前記部分領域内の動き量を推定する処理と、
前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する処理と、をコンピュータに実行させる、ことを特徴とするプログラム。
【０１６９】
（付記２３）
前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングする処理と、
前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する処理と、を更にコンピュータに実行させることを特徴とする付記２２に記載のプログラム。
【０１７０】
（付記２４）
画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングする処理と、
前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する処理と、をコンピュータに実行させる、ことを特徴とするプログラム。
【０１７１】
（付記２５）
前記制御する処理は、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させるよう制御する処理である、ことを特徴とする付記２４に記載のプログラム。
【０１７２】
この出願は、２０１６年８月４日に出願された日本出願特願２０１６−１５３５７１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１７３】
１０    人流推定装置
１１    人数推定部
１２    群衆向き推定部
１３    動き量推定部
１４    生成部
１４１    人領域抽出部
１４２    人流情報生成部
２０    撮像装置
３０    記憶装置
４０    人流推定装置
４２    群衆向き推定部
４４    生成部
４４１    人領域抽出部
４４２    人流情報生成部
５０    人流推定装置
５５    表示制御装置
６０    表示装置
１００    人流推定システム
５００    人流推定システム
【図１】
2018025831.tif 000003
【図２】
2018025831.tif 000004
【図３】
2018025831.tif 000005
【図４】
2018025831.tif 000006
【図５】
2018025831.tif 000007
【図６】
2018025831.tif 000008
【図７】
2018025831.tif 000009
【図８】
2018025831.tif 000010
【図９】
2018025831.tif 000011
【図１０】
2018025831.tif 000012
【図１１】
2018025831.tif 000013
【図１２】
2018025831.tif 000014
【図１３】
2018025831.tif 000015
【図１４】
2018025831.tif 000016
【図１５】
2018025831.tif 000017
【図１６】
2018025831.tif 000018
【図１７】
2018025831.tif 000019
【図１８】
2018025831.tif 000020
【図１９】
2018025831.tif 000021
【図２０】
2018025831.tif 000022
【手続補正書】
【提出日】平成31年1月25日(2019.1.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像の部分領域に含まれる人数を推定する人数推定手段と、
前記部分領域における群衆の向きを推定する群衆向き推定手段と、
前記部分領域内の動き量を推定する動き量推定手段と、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備えることを特徴とする人流推定装置。
【請求項２】
前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする請求項１に記載の人流推定装置。
【請求項３】
前記生成手段は、前記部分領域に関連する前記動き量が所定の値より大きいか否かを判定し、前記動き量が前記所定の値より大きい場合、前記部分領域内に動きが有ると判定し、前記動き量が前記所定の値以下の場合、前記部分領域内に動きが無いと判定する、ことを特徴とする請求項２に記載の人流推定装置。
【請求項４】
前記生成手段は、前記推定された人数が所定の値より多い部分領域を、前記人が存在する部分領域として抽出し、該抽出された部分領域に対する前記人流情報を生成することを特徴とする請求項１から３の何れか１項に記載の人流推定装置。
【請求項５】
前記群衆向き推定手段および前記動き量推定手段は、夫々、前記生成手段によって抽出された部分領域に対し、前記群衆の向きおよび前記動き量を推定し、
前記生成手段は、前記抽出された部分領域に対して推定された前記群衆の向きおよび前記動き量に基づいて、前記人流情報を生成する、ことを特徴とする請求項１から４の何れか１項に記載の人流推定装置。
【請求項６】
前記人数推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記人数を推定する、ことを特徴とする請求項１から５のいずれか１項に記載の人流推定装置。
【請求項７】
画像の部分領域に含まれる人数を推定し、
前記部分領域における群衆の向きを推定し、
前記部分領域内の動き量を推定し、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する、ことを特徴とする人流推定方法。
【請求項８】
前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする請求項７に記載の人流推定方法。
【請求項９】
画像の部分領域に含まれる人数を推定する処理と、
前記部分領域における群衆の向きを推定する処理と、
前記部分領域内の動き量を推定する処理と、
前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する処理と、をコンピュータに実行させるためのプログラム。
【請求項１０】
前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする請求項９に記載のプログラム。
【国際調査報告】
2018025831.tif 000023
2018025831.tif 000024
2018025831.tif 000025
2018025831.tif 000026