(57)【要約】【課題】群衆の属性を把握できる群衆分類装置、その方法、及び、そのプログラムを提供する。【解決手段】群衆分類装置１０は、群衆を含む時系列の画像を取得する取得部１２と、前記画像を複数の領域に分割し、一つの前記領域中において停止している前記群衆が多いほど高い値を示す滞留度を、前記領域毎の群衆の人数、前記群衆の動きの大きさと方向から前記領域毎に算出する滞留度算出部１４と、前記各領域の前記滞留度に応じて、前記群衆が前記各領域内で停止していることを示す属性、前記群衆が前記各領域内で移動していることを示す属性、又は、前記群衆が前記各領域内に存在しないことを示す属性のいずれかに分類する分類部１６と、同じ前記属性である一又は複数の前記領域が占める範囲を、一つの前記ブロックとして設定し、前記属性を表現しつつ前記ブロックを表示する表示部１８とを有する。【選択図】      図１
2017090965.tif 000002
【特許請求の範囲】
【請求項１】
群衆を含む時系列の画像を取得する取得部と、
前記画像を複数の領域に分割し、一つの前記領域中において停止している前記群衆が多いほど高い値を示す滞留度を、前記領域中の群衆の人数、前記領域中の前記群衆の動きの大きさと方向とから前記領域毎に算出する滞留度算出部と、
前記各領域の前記滞留度に応じて、前記群衆が前記各領域内で停止していることを示す属性、前記群衆が前記各領域内で移動していることを示す属性、又は、前記群衆が前記各領域内に存在しないことを示す属性のいずれかに分類する分類部と、
同じ前記属性である一又は複数の前記領域が占める範囲を、一つの前記ブロックとして設定し、前記属性を表現しつつ前記ブロックを表示する表示部と、
を有する群衆分類装置。
【請求項２】
前記表示部は、予め定めた基準距離より近い複数の前記領域で、かつ、同じ前記属性に分類された複数の前記領域を結合した範囲を、一つの前記ブロックとして設定する、
請求項１に記載の群衆分類装置。
【請求項３】
前記分類部は、前記領域の前記群衆中の人数が予め定めた第１の閾値を超えているか否かを判断し、前記領域の前記滞留度が予め定めた第２の閾値を超えているか否かを判断し、前記人数が前記第１の閾値より高く、かつ、前記滞留度が前記第２の閾値より高いときは前記各領域内で停止していることを示す属性を付与し、前記人数が前記第１の閾値より高く、かつ、前記滞留度が前記第２の閾値より低いときは前記群衆が前記各領域内で移動していることを示す属性を付与する、
請求項１又は２に記載の群衆分類装置。
【請求項４】
前記分類部は、前記領域を前記滞留度を用いてクラスタリングしてクラスをそれぞれ求め、前記クラス毎に前記属性を付与する、
請求項１又は２に記載の群衆分類装置。
【請求項５】
前記分類部は、前記領域と予め定めた特定位置との距離に対応して前記属性の分類を変える、
請求項１又は２に記載の群衆分類装置。
【請求項６】
前記滞留度算出部は、予め定めた特定位置に近い前記領域ほど前記滞留度が高くなるように算出する、
請求項１乃至５のいずれか一項に記載の群衆分類装置。
【請求項７】
前記滞留度算出部は、前記領域中の前記群衆の移動方向が、予め定めた特定方向に近いほど前記滞留度が高くなるように算出する、
請求項１乃至５のいずれか一項に記載の群衆分類装置。
【請求項８】
前記表示部に表示された画像の一部の範囲を、選択範囲として選択できる操作部をさらに有し、
前記操作部は、前記選択範囲を拡大、又は、縮小して表示した場合に、その選択範囲に対応して前記ブロックに表現された前記属性の表示を変化させる、
請求項１に記載の群衆分類装置。
【請求項９】
前記表示部に表示された画像上の前記ブロックを選択できる操作部をさらに有し、
前記表示部は、選択された前記ブロックにおける前記群衆の停止時間を前記滞留度から算出する、
請求項１に記載の群衆分類装置。
【請求項１０】
前記表示部に表示された画像上のブロックを選択できる操作部をさらに有し、
前記表示部は、選択された２個以上の前記ブロックにおける前記群衆の停止時間がそれぞれ最小となるように、予め定めた位置、又は、現在の位置から次に行くべき前記ブロックを表示する、
請求項１に記載の群衆分類装置。
【請求項１１】
群衆を含む時系列の画像を取得する取得ステップと、
前記画像を複数の領域に分割し、一つの前記領域中において停止している前記群衆が多いほど高い値を示す滞留度を、前記領域中の群衆の人数、前記領域中の前記群衆の動きの大きさと方向とから前記領域毎に算出する滞留度算出ステップと、
前記各領域の前記滞留度に応じて、前記群衆が前記各領域内で停止していることを示す属性、前記群衆が前記各領域内で移動していることを示す属性、又は、前記群衆が前記各領域内に存在しないことを示す属性のいずれかに分類する分類ステップと、
同じ前記属性である一又は複数の前記領域が占める範囲を、一つの前記ブロックとして設定し、前記属性を表現しつつ前記ブロックを表示部に表示する表示ステップと、
を有する群衆分類方法。
【請求項１２】
群衆を含む時系列の画像を取得する取得機能と、
前記画像を複数の領域に分割し、一つの前記領域中において停止している前記群衆が多いほど高い値を示す滞留度を、前記領域中の群衆の人数、前記領域中の前記群衆の動きの大きさと方向とから前記領域毎に算出する滞留度算出機能と、
前記各領域の前記滞留度に応じて、前記群衆が前記各領域内で停止していることを示す属性、前記群衆が前記各領域内で移動していることを示す属性、又は、前記群衆が前記各領域内に存在しないことを示す属性のいずれかに分類する分類機能と、
同じ前記属性である一又は複数の前記領域が占める範囲を、一つの前記ブロックとして設定し、前記属性を表現しつつ前記ブロックを表示部に表示する表示機能と、
をコンピュータに実行させるための群衆分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、群衆分類装置、その方法、及び、そのプログラムに関するものである。
【背景技術】
【０００２】
従来、展示会の部屋を撮影した画像中の人を追跡することで得られる動線の数から、展示会の見学者が滞留しているか否かを判断している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−８７８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
展示会においては、展示物を鑑賞するために停止している見学者、展示物の横を移動するだけの見学者などの様々な属性の見学者（群衆）が混在する。しかし、これら群衆の属性を把握することが困難であるという問題点があった。
【０００５】
そこで本発明の実施形態は、上記問題点に鑑み、群衆の属性を把握できる群衆分類装置、その方法、及び、そのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、群衆を含む時系列の画像を取得する取得部と、前記画像を複数の領域に分割し、一つの前記領域中において停止している前記群衆が多いほど高い値を示す滞留度を、前記領域中の群衆の人数、前記領域中の前記群衆の動きの大きさと方向とから前記領域毎に算出する滞留度算出部と、前記各領域の前記滞留度に応じて、前記群衆が前記各領域内で停止していることを示す属性、前記群衆が前記各領域内で移動していることを示す属性、又は、前記群衆が前記各領域内に存在しないことを示す属性のいずれかに分類する分類部と、同じ前記属性である一又は複数の前記領域が占める範囲を、一つの前記ブロックとして設定し、前記属性を表現しつつ前記ブロックを表示する表示部と、を有する群衆分類装置である。
【図面の簡単な説明】
【０００７】
【図１】実施形態１の群衆分類装置のブロック図。
【図２】群衆分類装置の処理を示すフローチャート。
【図３】領域毎の滞留度を示した説明図。
【図４】分類部の第１分類方法の説明図。
【図５】分類部の第３分類方法の説明図。
【図６】分類部の第４分類方法の説明図。
【図７】ブロックの第３具体例の説明図。
【図８】ブロックの第４具体例の説明図。
【図９】表示部の第２具体例の表示方法を表す説明図。
【図１０】表示部の第３具体例の表示方法を表す説明図。
【図１１】実施形態２の群衆分類装置のブロック図。
【図１２】（ａ）は分類部のブロック分割の説明図、（ｂ）（ｃ）は表示部の第１具体例の説明図。
【図１３】表示部の第２具体例の説明図。
【図１４】表示部の第４具体例の説明図。
【図１５】群衆分離装置のハードウェア構成の一例を表すブロック図。
【発明を実施するための形態】
【０００８】
本発明の一実施形態の群衆分類装置１０について図面を参照しながら説明する。
【実施形態１】
【０００９】
実施形態１の群衆分類装置１０について図１〜図１０を参照しながら説明する。
【００１０】
群衆分類装置１０の構成について図２のブロック図に基づいて説明する。群衆分類装置１０は、取得部１２、滞留度算出部１４、分類部１６、表示部１８を備える。
【００１１】
群衆分類装置１０の動作状態について図２のフローチャートに基づいて説明する。
【００１２】
ステップＳ１において、取得部１２は、映像取得装置から群衆を撮影した時系列の画像を取得する。
【００１３】
ステップＳ２において、滞留度算出部１４は、取得部１２から出力される時系列の画像から領域ｉ毎の群衆の滞留度ｋｉを算出する。図面中では、一つの丸印が一つの領域を表す。但し、図面中では複数の色を表現できないため、滞留度ｋｉを色ではなく数値０〜９で表し、高い値ほどに停止している人が多くなる。例えば、図４（ａ）において丸印の中に記載された数字が、滞留度ｋｉを表すが、この数字は、滞留度ｋｉの例示である。
【００１４】
ステップＳ３において、分類部１６は、群衆の滞留度ｋｉに応じて各領域ｉを、複数の属性の中のいずれかの属性に分類する。なお、図面中では、属性の種類を色で表現できないため、属性を色でなくバツ印、ハッチング、白色で表す。例えば、図４（ｂ）において「持ち状態」の属性をバツ印、「移動状態」の属性をハッチング、「群衆なし状態」の属性を白色で表す。但し、この数字は、滞留度ｋｉの例示である。
【００１５】
ステップＳ４において、表示部１８は、同じ属性が占める一、又は、複数の領域からなるブロックを設定し、ブロックを表示する。
【００１６】
取得部１２は、映像取得装置から群衆を撮影した時系列の画像を取得する。映像取得装置は、例えば、ＣＭＯＳイメージセンサを有するカメラ、赤外線イメージセンサ、距離画像センサ、又は、動画再生機器である。
【００１７】
滞留度算出部１４は、取得部１２から出力される時系列の画像から群衆の滞留度を算出する。「滞留度」とは、単位面積当たりの群衆の人数、群衆の動きの大きさと方向を表す値である。そのため、滞留度算出部１４は、単位面積当たりの群衆の人数を求め、次に群衆の動きの大きさと方向を求め、次に、求めた群衆の人数、群衆の動きの大きさと方向から単位面積当たりの滞留度を算出する。なお、滞留度は高いほど、単位面積当たりにおいて、停止している群衆が多いことを示す。
【００１８】
「単位面積」は、画像の１ピクセル、画像を格子状に分割したときの１格子のピクセル数、実空間を格子状に分割したときの１格子の面積（ｍ2）、又は、空間を手動で区分けしたときの各々の部分空間の大きさである。以後の説明では、単位面積毎に区分けされた空間を「領域」と呼ぶ。図面中において、一つの領域は、一つの丸印で表す。
【００１９】
滞留度算出部１４が定義する領域の具体例について説明する。
【００２０】
第１具体例として、滞留度算出部１４は領域を、画像の各ピクセルと定義し、その領域の大きさを１ピクセル、その領域の位置を画素のｘｙ座標で表す。
【００２１】
第２具体例として、滞留度算出部１４は領域を、画像を格子状に分割したときの各格子と定義し、その領域の大きさは格子内のピクセル数、その領域の位置は格子の中心のｘｙ座標で表す。
【００２２】
第３具体例として、滞留度算出部１４は領域を、格子状に実空間を分割した時の各格子と定義し、その領域の大きさは格子内の面積（ｍ2）、その領域の位置は、カメラの光軸と地面との交点を中心、北方向をＹ軸、東方向をＸ軸、上空方向をＺ軸としたときのＸＹＺ座標（世界座標）（ｍ）とする。
【００２３】
ＸＹＺ座標と画素のｘｙ座標との変換には、下記の（１）式と（１）’式を用いる。
【００２４】
【数１】
2017090965.tif 000003
但し、ｆｘ、ｆｙはピクセル単位で表される焦点距離、ｃｘ、ｃｙは画像の中心位置、ｓは全てのパラメータをスケーリングするための値、［Ｒ｜ｔ］は回転と並進を行う行列を表す。各パラメータは、チェッカーボードを用いたカメラキャリブレーションなどによって推定する。
【００２５】
滞留度算出部１４が、群衆の人数を領域毎に数える方法の具体例について説明する。
【００２６】
第１具体例として、滞留度算出部１４は、特徴量抽出部と顔検出器を有する。まず、特徴量抽出部が、画像からエッジや輝度差などの特徴量を抽出し、次に、顔検出器がこの特徴量を統計学習することで顔と非顔を判断し、顔と判断した数を領域毎にカウントする。
【００２７】
第２具体例として、滞留度算出部１４は、特徴量抽出部と人物検出器を有する。まず、特徴量抽出部が、画像からエッジや輝度差などの特徴量を抽出し、次に、人物検出器がこの特徴量を統計学習することで人物と非人物を判断し、人物と判断した数を領域毎にカウントする。
【００２８】
第３具体例として、滞留度算出部１４は、特徴量抽出部と人数検出器を有する。まず、特徴量抽出部が、画像からエッジや輝度差などの特徴量を抽出し、次に、人数算出器が、この特徴量を統計学習することで人物の数を領域毎に算出する。
【００２９】
滞留度算出部１４が、群衆の動きの大きさと方向を領域毎に算出する方法の具体例について説明する。
【００３０】
第１具体例として、滞留度算出部１４は、群衆の動きの大きさと方向を、オプティカルフローによって領域毎に算出する。
【００３１】
第２具体例として、滞留度算出部１４は、群衆の動きの大きさと方向を、顔や人物の検出結果を時系列の画像間でテンプレートマッチングして追跡し、そのテンプレートの移動の大きさと方向から領域毎に算出する。
【００３２】
滞留度算出部１４が、領域ｉ毎の滞留度ｋｉを算出する方法の具体例について説明する。
【００３３】
第１具体例として、滞留度算出部１４は、図３に示すように、領域ｉの滞留度ｋｉを下記の（２）式を用いて算出する。但し、群衆の人数をｎｉ、群衆の動きの大きさをｖｉ、領域ｉの大きさをｓｉとし、ｖは０割りを防ぐための微小な値、ｗ０は重みパラメータである。
【００３４】
【数２】
2017090965.tif 000004
第２具体例として、滞留度算出部１４は、下記の（３）式を用いて算出する。但し、ｗ１，ｗ２は重みパラメータである。
【００３５】
【数３】
2017090965.tif 000005
第３具体例として、滞留度算出部１４は、上記の（３）式に、特定位置との距離に応じたバイアスｂｐｏｓを加えることで、下記の（８）式、又は、（９）式から特定位置に着目した滞留度ｋｉを算出する。
【００３６】
バイアスｂｐｏｓの第１算出方法は、領域の位置をｘｉ、ｙｉ、特定位置をｘｊ、ｙｊとすると、（４）式から算出する。
【００３７】
【数４】
2017090965.tif 000006
バイアスｂｐｏｓの第２算出方法は、（５）式から算出する。
【００３８】
【数５】
2017090965.tif 000007
バイアスｂｐｏｓの第３算出方法は、（６）式から算出する。この方法は、特定位置が世界座標で表現されている場合であり、領域ｉの位置を（Ｘｉ，Ｙｉ，Ｚｉ）と特定位置を（Ｘｊ，Ｙｊ，Ｚｊ）とする。
【００３９】
【数６】
2017090965.tif 000008
バイアスｂｐｏｓの第４算出方法は、（７）式から算出する。
【００４０】
【数７】
2017090965.tif 000009
（４）式〜（７）式で算出したバイアスｂｐｏｓを用いて滞留度ｋｉは、（８）式、又は、（９）式から算出する。但し、ｗｐｏｓは、バイアスの影響の大きさを決める重みである。
【００４１】
【数８】
2017090965.tif 000010
【００４２】
【数９】
2017090965.tif 000011
【００４３】
以上により第３具体例では、例えば、展示会の特定の展示物に近い群衆の重み（バイアスｂｐｏｓ）を大きく、特定の展示物から遠い群衆の重み（バイアスｂｐｏｓ）を小さくすることで、滞留度算出部１４は、展示物の近くの群衆にのみ高い滞留度ｋｉを算出できる。
【００４４】
また、エレベータ前においては、エレベータに近い群衆の重みを大きく、エレベータから遠い群衆の重みを小さくすることで、滞留度算出部１４は、エレベータ待ちの人物と、それ以外の目的で立ち止まっている人物とを区別した滞留度ｋｉを算出できる。
【００４５】
第４具体例として、滞留度算出部１４は、上記の（３）式に、群衆の移動方向に応じたバイアスｂｏｒｉを加えることで、特定の方向に移動している群衆と、それ以外の群衆とに分類できる滞留度ｋｉを算出する。
【００４６】
バイアスｂｏｒｉは、（１０）式から算出する。但し、領域における群衆の移動方向をｏｉ、特定方向をｏｊとする。
【００４７】
【数１０】
2017090965.tif 000012
滞留度ｋｉは、（１１）式、又は、（１２）式から算出する。但し、ｗｏｒｉは、バイアスの影響の大きさを決める重みである。
【００４８】
【数１１】
2017090965.tif 000013
【００４９】
【数１２】
2017090965.tif 000014
【００５０】
以上により、第４具体例では、滞留度算出部１４は、特定方向に移動している群衆の滞留度ｋｉを領域ｉ毎に算出する。例えば、滞留度算出部１４は、駅のホーム等における自動販売機において、自動販売機待ちの群衆と、乗車待ちの群衆とを分類できる滞留度ｋｉを算出できる。
【００５１】
分類部１６は、滞留度ｋｉに応じて領域ｉを、複数の属性の中のいずれかの属性に分類する。属性としては、例えば、待ち状態（停止状態）、移動状態、群集無し状態などがあり、分類部１６は、具体的には次のようなケースを分類する。
【００５２】
展示会においては、次のケースに分類できる。第１ケースは、展示物周辺の人数が少ない場合でも、全ての人が説明待ち（待ち状態）であるため、説明を受けるまでに時間がかかるケースである。第２ケースは、展示物周辺の人数が多い場合でも、ほとんどの人が展示物の横を通り過ぎるだけ（移動状態）であるため、すぐに説明を受けることができるケースである。
【００５３】
駅のホームにおいては、次のケースに分類できる。第１ケースは、乗車口付近に多くの人が存在する場合でも、ほとんどの人はホームを移動しているだけ（移動状態）で、乗車待ちで並んでいる人は少ないケースである。第２ケースは、乗車口付近の人の数が少ない場合でも、全ての人が並んでいる（待ち状態）ため、長い列となっているケースである。
【００５４】
エレベータ前においては、次のケースに分類できる。第１ケースは、エレベータ付近に多くの人が居る場合でも、ほとんどの人はエレベータの横を通り過ぎるだけ（移動状態）であるため、エレベータ待ちの人数が少ないケースである。第２ケースは、エレベータ付近の人の数が少ない場合でも、全ての人がエレベータ待ち（待ち状態）であるため、エレベータが混む可能性があるケースである。
【００５５】
分類部１８が、上記ケースを属性に分類する方法は、次のような方法がある。
【００５６】
第１分類方法は、次のようなものである。図４（ａ）（ｂ）に示すように、分類部１８は、滞留度ｋｉが閾値を超えているか否かで領域ｉを分類する。例えば、分類部１８は、領域ｉの群衆の人数ｎｉが第１の閾値ｔｈｎ以上で、かつ、滞留度ｋｉが第２の閾値ｔｈｋ以上であれば「待ち状態」の属性、ｎｉが第１の閾値ｔｈｎ以上で、かつ、滞留度ｋｉが第２の閾値ｔｈｋ未満であれば「移動状態」の属性、それ以外であれば「群衆無し状態」の属性に分類する。
【００５７】
第２分類方法は、次のようなものである。分類部１８は、分類したい領域ｉの滞留度ｋｉと、その分類したい領域ｉに隣接する領域ｉ＋１の滞留度ｋ（ｉ＋１）との重み付き和が、閾値を超えているか否かで領域ｉの属性を分類する。
【００５８】
第３分類方法は、次のようなものである。図５に示すように、分類部１８は、各領域ｉの滞留度ｋｉをMean-shiftやk-meansによってクラスタリングし（図５（ａ）参照）、クラスタ内の領域ｉの滞留度ｋｉの平均値を算出し（図５（ｂ）参照）、その平均値が閾値を超えているか否かによって分類する（図５（ｃ）参照）。
【００５９】
第４分類方法は、次のようなものである。図６（ａ）（ｂ）に示すように、分類部１８は、滞留度ｋｉに加えて、領域ｉの位置と特定位置との距離ｄを用いて、領域ｉの分類方法を変える。例えば、分類部１８は、領域ｉの滞留度ｋｉが第２の閾値ｔｈｋ以上で、かつ、距離ｄが第３の閾値ｔｈｄ未満であれば「待ち状態」の属性に分類し、滞留度ｋｉが第２の閾値ｔｈｋ以上で、かつ、距離ｄが第３の閾値ｔｈｄ以上であれば「停止状態」の属性に分類する。これにより、例えば、展示会において、分類部１８は、特定の展示物近くで説明待ちしている群衆（待ち状態）と、それ以外の展示物近くで説明待ちしている群衆（停止状態）とを分類できる。駅のホームにおいて、分類部１８は、乗車口付近で乗車待ちをしている群衆（待ち状態）と、自動販売機付近で自動販売機待ちをしている群衆（停止状態）とを分類できる。エレベータ前において、分類部１８は、エレベータ待ちをしている群衆（待ち状態）と、フロア案内図を見るために止まっている群衆（停止状態）とを分類できる。
【００６０】
第５分類方法は、次のようなものである。分類部１８は、領域ｉの滞留度ｋｉに加えて、群衆の移動方向を用いて分類方法を変える。例えば、分類部１８は、領域ｉの滞留度ｋｉが第２の閾値ｔｈｋ未満で、かつ、群衆の移動方向ｏｉと特定方向ｏｊの差が第４の閾値ｔｈｏ未満であれば「移動状態Ａ」の属性、滞留度ｋｉが第２の閾値ｔｈｋ未満で、かつ、ｏｉとｏｊの差が第４の閾値ｔｈｏ以上であれば「移動状態Ｂ」の属性に分類する。これにより、例えば、展示会において、分類部１８は、入場する群衆（移動状態Ａ）と退場する群衆（移動状態Ｂ）とを分類できる。駅のホームにおいて、分類部１８は、乗車客（移動状態Ａ）と降車客（移動状態Ｂ）とを分類できる。エレベータにおいて、分類部１８は、エレベータに乗る客（移動状態Ａ）とエレベータから降りる客（移動状態Ｂ）とを分類できる。
【００６１】
表示部１８は、領域ｉからブロックを設定し、表示する。表示部１８は、例えば、スマートフォン、タブレットなどの持ちながら移動できる携帯端末のディスプレイ、デジタルサイネージのような固定位置に置かれたディスプレイである。
【００６２】
ブロックは、同じ属性が占める範囲を表し、表示部１８は、具体例としては下記のようにブロックを設定する。
【００６３】
第１具体例として、ブロックは、領域ｉである。
【００６４】
第２具体例として、ブロックは、各領域ｉの滞留度ｋｉをMean-shiftやk-meansによってクラスタリングした範囲である。
【００６５】
第３具体例として、ブロックは、図７（ａ）に示すように、隣接する領域などの予め定めた基準距離より近い複数の領域で、かつ、同じ属性の複数の領域を結合した範囲である。これによりユーザは、図７（ｂ）に示すように、表示部１８によって説明待ちの群衆の広がり具合を簡単に把握できる。
【００６６】
第４具体例として、ブロックは、図８（ａ）に示すように、Quadtreeを用いて領域をブロック分割したものである。これによりユーザは、図８（ｂ）に示すように、表示部１８によって説明待ちの群衆が広がっている範囲を簡単に把握できる。なお、Quadtreeに代えてグラフカットを用いても良い。
【００６７】
表示部１８の表示方法の具体例について説明する。
【００６８】
第１具体例として、表示部１８は、ブロックの属性に応じて色を変える。なお、図面中では属性で色分けができないため、ブロックの属性を白色、ハッチング、クロスハッチングで表示する。
【００６９】
第２具体例として、表示部１８は、図９（ａ）（ｂ）（ｃ）に示すように、ブロックの滞留度ｋｉの総和、又は、ブロック内の人数の総和に応じて色の濃度を変えて、群衆の属性に加えて、滞留している度合いを表示する。なお、図面中では、滞留度ｋｉは色でなく数値で示している。
【００７０】
第３具体例として、表示部１８は、図１０（ａ）（ｂ）に示すように、ブロックに案内図などの地図を重畳して、地図と群衆の属性結果を同時に表示する。
【００７１】
本実施形態によれば、領域ｉの属性に基づいてブロックを算出することで、異なる属性の群衆が同じブロックに存在しない。これにより、ユーザは、表示部１８の表示を見ることにより、特定位置付近の群衆が、説明待ちか、横を通り過ぎるだけなのか、又は、説明待ち状態の群衆がどの程度広がっているかなどを知ることができる。
【実施形態２】
【００７２】
次に、実施形態２の群衆分類装置１０について図１１〜図１４を参照しながら説明する。本実施形態の群衆分類装置１０は、属性の分類方法やブロックの表示方法をユーザ操作に応じて切り替える。
【００７３】
本実施形態の群衆分類装置１０は、図１１に示すように、取得部１２、滞留度算出部１４、分類部１６、表示部１８に操作部２０を追加したものである。操作部２０は、タッチ式ディスプレイ、タッチパネル、マウス、又は、タッチペンである。
【００７４】
表示部１８が表示する建物が、複数の階層である場合、離れた複数の部屋に分かれている場合、建物の範囲が非常に広い場合などがある。この場合、ユーザは、建物全体を一覧表示すると混雑状況を把握しづらい。そのため、ユーザが、特定の部屋、特定の駅ホーム、選択範囲の様子を詳細に見たいか、展示会場全体、駅全体、全体の様子が見たいかを判断して、操作部２０によって選択する。「選択範囲」とは、予め決められた範囲であり、複数選択でき、個々の選択範囲が一部共通であってもよい。これにより、ユーザが見たい範囲を操作部２０によって選択でき、状況把握ができる。
【００７５】
操作部２０の具体例について説明する。
【００７６】
第１具体例として、操作部２０がタッチ式ディスプレイであれば、ユーザがディスプレイをピンチインした場合には、全体の様子を選択できる。また、ユーザがディスプレイの見たい選択範囲上をピンチアウトした場合には、その選択範囲を選択できる。
【００７７】
第２具体例として、操作部２０がマウスであれば、ユーザがマウスを右クリックした場合には、全体の様子が選択できる。また、ユーザが見たい選択範囲上でマウスを左クリックした場合には、その選択範囲が選択できる。
【００７８】
図１２に示すように、ユーザが、全体表示（図１２（ｂ）参照）から操作部２０によって選択範囲である部屋Ａ（図１２（ｃ）参照）を見たいと選択した場合は、選択範囲内の領域毎にブロック分割する（図１２（ａ）参照）。ユーザが操作部２０によって全体の様子が見たいと選択した場合は、選択範囲毎にブロック分割する。これにより、ユーザが見たい範囲に応じた表示ができる。
【００７９】
選択範囲毎のブロック分割では、分類部１６が、選択範囲の属性を分類する必要がある。その分類方法は、下記の通りである。
【００８０】
第１の分類方法は、分類部１６が、選択範囲内の領域で、属性についての多数決を取り、最も多い領域数となる属性を選択範囲の属性として分類する。
【００８１】
第２の分類方法は、分類部１６が、選択範囲内の領域で、属性についての多数決を滞留度ｋｉの重み付きで取り、最も高い値となった属性を選択範囲の属性として分類する。なお、表示部１８の表示が全体の様子である場合は、選択範囲に応じて領域の属性の分類方法が変わるため、分類部１６は、選択範囲中の領域の属性の多数決で決まる選択範囲の属性についても変化させる。
【００８２】
表示部１８は、選択範囲、又は、全体の様子を表示する。表示部１８は、選択範囲内の詳細な様子を見る場合には、領域毎に色分けして表示する。また、表示部１８は、全体の様子を見る場合には、選択範囲内の属性毎に色分けする。なお、図面中では色分けは記載できないため、ブロックの表示をハッチング、クロスハッチングで表示する。
【００８３】
第１具体例として、図１２（ａ）に示すように、全体の領域が属性で分類され、図１２（ｂ）に示すように、表示部１８が、各部屋Ａ〜Ｇの属性を示した全体表示を示し、ユーザがその表示から選択範囲（特定の部屋）を見るために、操作部２０によって選択範囲（部屋Ａ）を選択する。すると、表示部１８は、図１２（ｃ）に示すように、選択範囲（部屋Ａ）内の各領域の詳細な属性を案内図に重畳して表示する。
【００８４】
第２具体例として、表示部１８は、全体表示を図１３（ａ）に示すように各部屋の属性を表で表示してもよい。
【００８５】
第３具体例として、ユーザが全体の様子を見たいと操作部２０によって選択した場合は、表示部１８は、選択範囲の属性をアイコンで表示することで、限られた画面サイズでも、全ての選択範囲の確認、選択範囲内の詳細の確認ができる。
【００８６】
第４具体例として、ユーザは操作部２０によって、ユーザ自身が着目する選択範囲を選択する。操作部２０における選択範囲の選択は、タッチ式ディスプレイへのタッチ、マウスクリックで行う。ユーザが選択した選択範囲に応じて、分類部１６は、領域の属性の分類方法を変える。表示部１８は、選択した位置に関して選択されたことが分かるように表示して、ユーザへフィードバックする。ユーザの選択は、逐次行え、選択する度に表示部１８の表示内容が変化する。例えば、同じ滞留状態の群集でも、選択範囲において意図的に待っている状態か、それ以外かを分類し、その位置に応じて待ち状態の属性、停止状態の属性に分類結果が変わる。展示会場において、ユーザが特定の展示物付近を選択した場合、分類部１６は、その展示物付近で滞留している群衆のみ待ち状態に分類し、それ以外の場所で滞留している群衆は停止状態に分類する。これにより、ユーザは、特定の展示物における説明待ちの群衆を確認できる。例えば、図１４に示すように、ユーザが選択範囲を選択しなかった場合は、分類部１６は、上記実施形態と同様に、滞留度ｋｉのみを用いて属性を分類する。また、ユーザが選択範囲を操作部２０で選択した場合（図１４（ｂ）参照）、分類部１６は、滞留度ｋｉに加えて、領域の位置と選択範囲との距離を用いて属性を分類する（図１４（ｃ）参照）。滞留度ｋｉのみを用いた分類方法は、（２）式、（３）式を用いる。領域の位置と選択範囲との距離を加えた分類方法は、（８）式、（９）式を用いる。
【００８７】
本実施形態の変更例としては、ユーザが見たい展示物を操作部２０で選択し、選択された展示物の近くのブロックの滞留度ｋｉや属性から、待ち時間を算出することで、見学時間を見積もることができる。待ち時間（見学者の停止時間）は、滞留度ｋｉと待ち時間を関連付けた機械学習を予め行うことで、滞留度ｋｉを入力として、待ち時間を算出できる。
【実施形態３】
【００８８】
次に、実施形態３の群衆分類装置１０について説明する。本実施形態の群衆分類装置１０は、複数の特定位置を順に移動するときの最小時間を表示部１８に表示し、各ユーザがそれを確認できる。
【００８９】
特定位置は、展示会の場合には複数の展示物の展示位置を意味し、見学者が各展示物に立ち寄る場合は、見学時間がそれぞれ必要である。ここで「見学時間」とは、待ち時間＋展示物の鑑賞時間＋移動時間の合計した時間である。「待ち時間」は、各展示物の滞留度ｋｉと待ち時間（見学者の停止時間）を関連付けた機械学習を予め行うことで、滞留度ｋｉを入力として、待ち時間を算出する。「展示物の鑑賞時間」は、各展示物に関して、予め設定した時間である。「移動時間」は、見学者が複数の特定位置（展示物）を移動するための時間であり、各特定位置間の移動時間を予め設定しておく。
【００９０】
群衆分類装置１０は、現在の見学時間を算出する。この算出方法は、上記したように現在の滞留度ｋｉから待ち時間を算出し、この待ち時間に鑑賞時間と移動時間を付加して現在の見学時間を算出する。また、群衆分類装置１０は、上記のようにして算出した展示物毎の見学時間を、時刻毎に記憶する。この記憶した見学時間が、過去の見学時間となる。
【００９１】
群衆分類装置１０は、過去の見学時間と現在の見学時間を用いて、これからの見学時間の予測値を算出する。予測方法は、見学時間の現在までの時間推移に任意のモデルを当てはめフィッティングすることで、将来の特定時刻の見学時間を予測する。また、他の予測方法としては、各ブロックの滞留度ｋｉの変化を、人数の増減、ブロック間の距離、人物の平均移動速度から予測する。
【００９２】
複数の特定位置が存在する場合、見学ルートは、組み合わせとしては、その特定位置の数の階乗通り存在する。スタート位置が予め定めた位置、又は、現在の特定位置とすると、群衆分類装置１０は、移動時間と、移動後の時間の予測見学時間を最小とするような最適化問題を解くことで、最小時間で見学できる見学ルートを算出して、表示部１８に表示する。また、群衆分類装置１０は、ダイナミックプログラミング（動的計画法）を用いることで、現実的な計算時間で、最小時間で見学できる見学ルートを算出できる。なお、ある特定位置から、どの特定位置に移動すべきかを選択するための評価関数は、移動先までの移動時間と、その移動時間後の予測見学時間の和が、最小となる特定位置を選択すればよい。
【００９３】
また、表示部１８は、全ての特定位置を移動する場合の最小時間で見学できる見学ルートを算出するだけでなく、ユーザが操作部２０によって選択した複数の選択範囲を最小時間で見学できる見学ルートを表示してもよい。
【００９４】
また、表示部１８が、デジタルサイネージなどのように、複数のユーザが一つのディスプレイを共有する場合においては、表示部１８は、上記した評価関数により求めた次の移動先の特定位置を表示する。
【変更例】
【００９５】
図１５は、群衆分離装置１０のハードウェア構成の一例を表すブロック図である。図１８に示すように、群衆分離装置１０は、ＣＰＵ２０１と、群衆分離プログラムなどを記憶するＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ(Hard Disk Drive)２０４と、ＨＤＤ２０４とのインターフェイスであるＩ／Ｆ２０５と、ステレオカメラ３からの画像、レーザセンサ４から距離データの入力用のインターフェイスであるＩ／Ｆ２０６と、操作部２０のマウスやキーボードなどの入力装置２０７と、入力装置２０７とのインターフェイスであるＩ／Ｆ２０６と、表示部１８のディスプレイなどの表示装置２０８と、表示装置２０８とのインターフェイスであるＩ／Ｆ２１０と、バス２１１とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００９６】
群衆分離装置１０では、ＣＰＵ２０１がＲＯＭ２０２から群衆分離プログラムをＲＡＭ２０３上に読み出して実行することにより、上記各部（取得部１２、滞留度算出部１４、分類部１６、表示部１８）がコンピュータ上で実現され、ＨＤＤ２０４に記憶されているデータ等を用いて、Ｉ／Ｆ２０６からの上記処理を行う。
【００９７】
なお、群衆分離プログラムはＨＤＤ２０４に記憶されていてもよい。また、群衆分離プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ(Compact Disk)−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ(Digital Versatile Disk)、フレキシブルディスク（ＦＤ）、ＵＳＢメモリ等のコンピュータで読み取り可能な記憶媒体に記憶されて提供されるようにしてもよい。また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、群衆分離プログラムを、インターネット等のネットワーク経由で提供又は配布するようにしてもよい。
【００９８】
また、上記コンピュータに限らず、群衆分離装置１０は、システムＬＳＩ(LargeScale Integration)で実現してもよく、ＣＰＵ（Central Processing Unit）と、群衆分離プログラムを記憶するＲＯＭ（Read Only Memory)と、ＲＡＭ(Random Access Memory)と、画像の入力用のインターフェイスであるＩ／Ｆと、出力用Ｉ／Ｆと、これら部品を接続するバスとを備えた構成でもよい。
【００９９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１００】
１０・・・群衆分類装置、１２・・・取得部、１４・・・滞留度算出部、１６・・・分類部、１８・・・表示部、２０・・・操作部
【図１】
2017090965.tif 000015
【図２】
2017090965.tif 000016
【図３】
2017090965.tif 000017
【図４】
2017090965.tif 000018
【図５】
2017090965.tif 000019
【図６】
2017090965.tif 000020
【図７】
2017090965.tif 000021
【図８】
2017090965.tif 000022
【図９】
2017090965.tif 000023
【図１０】
2017090965.tif 000024
【図１１】
2017090965.tif 000025
【図１２】
2017090965.tif 000026
【図１３】
2017090965.tif 000027
【図１４】
2017090965.tif 000028
【図１５】
2017090965.tif 000029