(57)【要約】撮像装置の映像情報から得られる物体の数や動きだけではなく、環境状態や人が 携行または使用する物体によって変動する窮屈さやストレス等の人間の感覚も考慮して混 雑状況を分析することが可能な混雑状況分析システムを提供する。 分析対象となる領域の画像を撮像する撮像装置と、撮像装置で撮像した画像 を処理し分析対象領域内の情報を収集する混雑解析装置とから構成される混雑状況分析シ ステムにおいて、混雑解析装置は、物体情報解析部を有し、物体情報解析部は、撮像装置 で撮像した画像に含まれる人物と物体の情報を抽出する人物・物体情報抽出手段と、人物 ・物体抽出手段で抽出した人物と物体の種別を判定する種別判定手段と、人物・物体抽出 手段で抽出した人物のパーソナルスペース、並びに種別判定手段で判定した物体の種別ごとの占有面積を用いて、人間の感じる窮屈さを含めた推定人数を算出する推定人数算出手 段と、推定人数算出手段で算出した推定人数を基に人間の感覚に近い混雑度の判定を行う 混雑度判定手段と、を備えることを特徴とする。
2018084191.tif 000002
【特許請求の範囲】
【請求項１】
分析対象となる領域の画像を撮像する撮像装置と、前記撮像装置で撮像した画像を処理 し前記分析対象領域内の情報を収集する混雑解析装置とから構成される混雑状況分析シス テムにおいて、
前記混雑解析装置は、物体情報解析部を有し、
前記物体情報解析部は、
前記撮像装置で撮像した画像に含まれる人物と物体の情報を抽出する人物・物体情報抽 出手段と、
前記人物・物体抽出手段で抽出した人物と物体の種別を判定する種別判定手段と、
前記人物・物体抽出手段で抽出した人物のパーソナルスペース、並びに前記種別判定手 段で判定した物体の種別ごとの占有面積を用いて、人間の感じる窮屈さを含めた推定人数 を算出する推定人数算出手段と、
前記推定人数算出手段で算出した前記推定人数を基に人間の感覚に近い混雑度の判定を 行う混雑度判定手段と、
を備えることを特徴とする混雑状況分析システム。
【請求項２】
請求項１記載の混雑状況分析システムにおいて、
前記混雑解析装置は、環境パラメータ生成部を有し、
前記環境パラメータ生成部は、少なくとも1つの気象センサからの気象情報および天候 情報を基に環境パラメータを算出する環境パラメータ算出手段を備え、
前記物体情報解析部は、前記環境パラメータ算出手段で算出した前記環境パラメータを 用い、前記推定人数算出手段で算出した前記推定人数に対して、前記分析対象領域内の環 境状態を反映した環境人数を算出する環境人数算出手段を備え、
前記混雑度判定手段は、前記環境人数算出手段で算出した前記環境人数を基に、前記分 析対象領域内の環境状態による人間のストレス度合いを含めた混雑度の判定を行うことを 特徴とする混雑状況分析システム。
【請求項３】
請求項１に記載の混雑状況分析システムにおいて、
前記環境パラメータ算出手段は、環境テーブルおよび天候テーブルを有し、前記環境テーブルから取得したストレスパラメータと前記天候テーブルから取得した天候パラメータ を用いて、前記分析対象領域内における人の不快度を示す前記環境パラメータを算出する ことを特徴とする混雑状況分析システム。
【請求項４】
請求項２に記載の混雑状況分析システムにおいて、
前記環境パラメータ算出手段は、環境テーブルおよび天候テーブルを有し、前記環境テーブルから取得したストレスパラメータと前記天候テーブルから取得した天候パラメータ を用いて、前記分析対象領域内における人の不快度を示す前記環境パラメータを算出する ことを特徴とする混雑状況分析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を用いた混雑状況分析システムに係り、特に、人間のストレス度合いを 考慮して混雑状況を分析することが可能な混雑状況分析システムに関する。
【背景技術】
【０００２】
混雑状況分析システムでは、例えば、テレビジョンカメラ（ＴＶカメラ）等の撮像装置 を用いて分析対象領域内に進入する物体を撮像し、撮像した映像から領域内に存在する物 体の数や動きなどを分析して、領域内で混雑が発生しているか否かの判定を行っている。 また、混雑状況分析システムでは、ユーザによる有人監視ではなく、システムが自動的に 分析を行い、状況に応じて混雑状況をユーザに知らせる混雑状況分析システムが従来から 検討されている（例えば、特許文献１参照）。【０００３】
また、分析対象領域内に進入する物体を検出する技術として、例えば、背景差分法と呼 ばれる画像処理方法を用いた検出技術が従来から広く用いられている。そこで、背景差分 法の処理について、図８および図９を用いて説明する。図８は、背景差分法によって輝度 値が変化した領域を検出する手順の概略を説明するための図であり、また、図９は、背景 差分法を応用した監視方式の典型的な処理手順を示すフローチャートである。【０００４】
まず、図８を用いて、背景差分法によって撮像装置から逐次入力される入力画像の輝度 の変化領域を検出する手順を説明する。
図８において、４０１は撮像装置から逐次入力される入力画像、４０２は予め用意した 検出すべき対象物体が映っていない背景画像である。この２枚の入力画像４０１および背 景画像４０２を差分器４０５に入力すると、差分器４０５によって画素毎の輝度値の差分 が計算され差分画像４０３を得る。
次に、差分画像４０３を二値化器４０６に入力すると、二値化器４０６では、差分画像 ４０３の各画素をしきい値Ｔｈ（なお、Ｔｈは実験的に決定され、例えばＴｈ＝２０）で しきい値処理し、しきい値Ｔｈ未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値 を“２５５”として二値化画像４０４を得る。これによって、入力画像４０１に映った人 型の物体４０７は、差分器４０５によって差分が生じた領域４０８（入力画像の輝度の変 化領域）として計算され、二値化器４０６によって画素値“２５５”の画像４０９として 検出される。【０００５】
次に、図９を用いて背景差分法を応用した物体検出方式の典型的な処理手順について説明する。
図９において、初期化処理ステップＳ５０１では、背景差分法による物体検出方式を実 するための外部機器、変数、画像メモリ等の初期化を行なう。
画像入力ステップＳ５０２では、撮像装置から、例えば幅６４０画素、高さ４８０画素 の入力画像を得る。
差分処理ステップＳ５０３では、ステップＳ５０２で得た入力画像（図８の入力画像４ ０１参照）と予め準備しておいた基準となる背景画像（図８の背景画像４０２参照）の各 画素の輝度値の差分（差分画像４０３）を計算する。
二値化処理ステップＳ５０４では、ステップＳ５０３で得られた差分画像４０３の画素 値（差分値）が所定のしきい値Ｔｈ（例えば、Ｔｈ＝２０）未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値を“２５５”（１画素の画素値を８ビットで計算。すなわち 、１画素が０から２５５までの値を持つ）として二値化画像（図８の二値化画像４０４参 照）を得る。【０００６】
次に、ラベリング処理ステップＳ５０５では、ステップＳ５０４で得られた二値化画像 ４０４の中の画素値“２５５”となる画素のかたまり（図８の画像４０９参照）を検出して各々に番号を付けて区別できるようにする。
物体存在判定ステップＳ５０６では、番号付けされた変化領域のそれぞれに対して、大 きさ、面積等に基づいて当該変化領域が検出条件に合致するかを判定し、検出条件に合致 する場合（ＹＥＳ）には、物体情報出力ステップＳ５０７で物体が存在するとして物体の 位置やサイズを必要に応じた方法で出力し、これらの出力情報から判断した物体の合計数 等を用いて混雑状況を決定する。
また、ステップＳ５０６で、検出条件に合致しない場合（ＮＯ）には、物体が存在しな いとして背景更新ステップＳ５０８へ分岐する。
そして、背景更新ステップＳ５０８では、ステップＳ５０２で得た入力画像を用いて背 景画像を更新する。背景画像の更新方法は、例えば、現在の背景画像に現在の入力画像を 一定の重み（更新率）をかけて加重平均し、新しい背景画像を逐次作成する方法がある。【０００７】
このような混雑状況分析システムは、様々な用途に利用されており、例えば、駅構内や 空港、スタジアム、ショッピングモールといった不特定多数の人が訪れる施設において、 事件、事故等の防止の目的で利用されている。また、システムで使用される記録装置には 、長期間の画像データからの出力情報に基づいて記録される各種データが存在し、これら の蓄積されたデータをもとに事前に混雑予測する機能なども備えていることが多い。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１３−１２２７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したように、従来の混雑状況分析システムでは、撮像装置からの映像情報を用いて 混雑の度合いを判断している。しかしながら、環境状態の違いによって人が感じる混雑の 度合いは変わるため、混雑状況分析システムで判断した混雑状態と大きくかけ離れてしま い、映像情報から非混雑状態と判断された場合であっても人が不快に感じる場合がある。【００１０】
例えば、夏場の雨天日における駅構内では、殆どの人が傘を所持して移動するが、混雑 状況分析システムで混雑状況を分析する場合に、人に対して傘の体積は非常に小さいため 、通常時（例えば、春先の晴天時）との映像の相違は殆どないと判断され、通常時と同様 の混雑状況結果が出力される。
しかし、実際には、駅構内の床面が濡れているために転倒を心配して自然にゆっくりと した移動となり、また、気温や湿度が高く、濡れた傘を所持しているなど、通常時よりも 環境状態が悪化している。このため、通常時と比較して、人のストレス度合いが上昇し、 他人に近付かれると不快に感じる空間である「パーソナルスペース（personal-space）」 がより広がるため、周りに通常時よりも少数の人がいるだけで歩き難く混雑であると感じることになる。従って、この悪環境下において混雑状況分析システムで混雑状態と判断された場合に、ストレスを抱えた通行人にとっては既に大混雑であると認識されており、こ のような環境下では、例えば、濡れた傘が原因で暴力事件が発生する等の事件や事故の発生する可能性が通常時よりも高くなる。
このように、環境状態や付帯物の違いによって人間が感じる混雑度合いは大きく変わり 、想定外の事件や事故が発生する可能性がある。【００１１】
本発明は、このような状況に鑑みてなされたものであり、撮像装置の映像情報から得られる物体の数や動きだけではなく、環境状態や人が携行または使用する物体によって変動 する窮屈さやストレス等の人間の感覚も考慮して混雑状況を分析することが可能な混雑状 況分析システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の混雑状況分析システムは、分析対象となる領域の 画像を撮像する撮像装置と、前記撮像装置で撮像した画像を処理し前記分析対象領域内の 情報を収集する混雑解析装置とから構成される混雑状況分析システムにおいて、前記混雑 解析装置は、物体情報解析部を有し、前記物体情報解析部は、前記撮像装置で撮像した画 像に含まれる人物と物体の情報を抽出する人物・物体情報抽出手段と、前記人物・物体抽 出手段で抽出した人物と物体の種別を判定する種別判定手段と、前記人物・物体抽出手段 で抽出した人物のパーソナルスペース、並びに前記種別判定手段で判定した物体の種別ごとの占有面積を用いて、人間の感じる窮屈さを含めた推定人数を算出する推定人数算出手 段と、前記推定人数算出手段で算出した前記推定人数を基に人間の感覚に近い混雑度の判 定を行う混雑度判定手段と、を備えることを特徴とする。【００１３】
また、上記目的を達成するために、本発明の混雑状況分析システムは、上記した混雑状 況分析システムにおいて、前記混雑解析装置は、環境パラメータ生成部を有し、前記環境 パラメータ生成部は、少なくとも1つの気象センサからの気象情報および天候情報を基に 環境パラメータを算出する環境パラメータ算出手段を備え、前記物体情報解析部は、前記 環境パラメータ算出手段で算出した前記環境パラメータを用い、前記推定人数算出手段で 算出した前記推定人数に対して、前記分析対象領域内の環境状態を反映した環境人数を算 出する環境人数算出手段を備え、前記混雑度判定手段は、前記環境人数算出手段で算出した前記環境人数を基に、前記分析対象領域内の環境状態による人間のストレス度合いを含めた混雑度の判定を行うことを特徴とする。【００１４】
また、上記目的を達成するために、本発明の混雑状況分析システムは、上記した混雑状 況分析システムにおいて、前記環境パラメータ算出手段は、環境テーブルおよび天候テー ブルを有し、前記環境テーブルから取得したストレスパラメータと前記天候テーブルから 取得した天候パラメータを用いて、前記分析対象領域内における人の不快度を示す前記環 境パラメータを算出することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、撮像装置の映像情報から得られる物体の数や動きだけではなく、環境 状態や人が携行または使用する物体によって変動する窮屈さやストレス等の人間の感覚も 考慮して混雑状況を分析することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る混雑状況分析システムの構成の一例を示すブロッ ク図である。
【図２】本発明の一実施形態に係る混雑状況分析システムの物体情報テーブルの一例 を示す図である。
【図３】本発明の一実施形態に係る混雑状況分析システムの環境テーブルの一例を示す図である。
【図４】本発明の一実施形態に係る混雑状況分析システムの天候テーブルの一例を示す図である。
【図５】本発明の一実施形態に係る混雑状況分析システムでの処理の一例を示すフローチャートである。
【図６】本発明の一実施形態に係る混雑状況分析システムでの入力画像、並びに当該 入力画像中の人物および物体と物体種別による占有面積を説明するための図である。
【図７】本発明の一実施形態に係る混雑状況分析システムの環境パラメータ生成部で の処理の一例を示すフローチャートである。
【図８】背景差分法によって輝度値が変化した領域を検出する手順の概略を説明する ための図である。
【図９】背景差分法を応用した監視方式の典型的な処理手順を示すフローチャートで ある。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態に係る混雑状況分析システムについて説明する。
本発明の一実施形態に係る混雑状況分析システムは、分析対象となる領域の画像を撮像 する撮像装置と、撮像装置で撮像した画像を処理し分析対象領域内の情報を収集する混雑 解析装置とから構成される混雑状況分析システムにおいて、混雑解析装置は、物体情報解 析部を有し、物体情報解析部は、撮像装置で撮像した画像に含まれる人物と物体の情報を 抽出する人物・物体情報抽出手段と、人物・物体抽出手段で抽出した人物と物体の種別を 判定する種別判定手段と、人物・物体抽出手段で抽出した人物のパーソナルスペース、並びに種別判定手段で判定した物体の種別ごとの占有面積を用いて、人間の感じる窮屈さを 含めた推定人数を算出する推定人数算出手段と、推定人数算出手段で算出した推定人数を 基に人間の感覚に近い混雑度の判定を行う混雑度判定手段と、を備えることを特徴とし、 これによって、撮像装置の映像情報から得られる物体の数や動きだけではなく、環境状態 や人が携行または使用する物体によって変動する窮屈さやストレス等の人間の感覚も考慮 して混雑状況を分析することができるものである。
【００１８】
［混雑状況分析システムの構成］
本発明の一実施形態に係る混雑状況分析システムの構成について、図１〜図４を参照して説明する。図１は、本発明の一実施形態に係る混雑状況分析システムの構成の一例を示すブロック図である。図２は、本発明の一実施形態に係る混雑状況分析システムの物体情 報テーブルの一例を示す図である。図３は、本発明の一実施形態に係る混雑状況分析シス テムの環境テーブルの一例を示す図である。また、図４は、本発明の一実施形態に係る混 雑状況分析システムの天候テーブルの一例を示す図である。
【００１９】
本発明の混雑状況分析システムは、図１に示すように、撮像装置１０と、物体情報解析 部３０と環境パラメータ生成部４０を有する混雑解析装置２０と、記録装置５０と、表示 装置６０とから構成されている。また、撮像装置１０は、混雑解析装置２０の図示していない画像入力Ｉ／Ｆ（インターフェース）に接続され、表示装置６０および記録装置５０ は、混雑解析装置２０の図示していない画像出力Ｉ／Ｆ（インターフェース）に接続され ている。また、気象センサ７０や天候情報取得装置８０は、混雑解析装置２０のＩ／Ｆ（ インターフェース）に接続されている。なお、撮像装置１０は、ネットワークを介して混 雑解析装置２０に接続するようにしてもよい。また、天候情報取得装置８０はネットワー クを介して混雑解析装置２０に接続するようにしてもよい。 なお、図１では、撮像装置１０を1台の構成としているが複数存在してもよい。
【００２０】
撮像装置１０は、混雑解析装置２０の図示していない画像入力Ｉ／Ｆに接続され、分析 対象となる領域の画像を撮像し、撮像した画像データを混雑解析装置２０の画像入力部３ １に出力する。
混雑解析装置２０の物体情報解析部３０は、画像入力部３１と、動き情報抽出部３２と 、人物・物体解析部３３と、混雑判定部３４と、物体情報テーブル３５とを備えている。
画像入力部３１は、撮像装置１０から撮像された画像データ、例えば、幅６４０画素、 高さ４８０画素の入力画像を取得する。
動き情報抽出部３２は、画像入力部３１から入力された入力画像から物体が存在するエ リアを抽出し、人物または物体が存在する範囲が示されている画像（以下、抽出画像）と その領域情報を作成する。
【００２１】
人物・物体解析部３３は、動き情報抽出部３２から入力された抽出画像等から、人物の 合計人数および物体のクラスを判定する。また、人物・物体解析部３３は、入力画像や抽 出画像を用いて、抽出画像で存在する人物または物体から、例えば、「大きさ」、「速度 」、「進行方向（進入時および退去時）」、「輪郭形状」などの複数の特徴に基づいて、 例えば、「人物のみ」、「ベビーカー」、「補助犬同伴」、「大型荷物（スーツケースや 大きなスポーツバック）携行」、「車いす使用」、「白杖携行」、「子供連れ」などの複 数の種別に分類する。また、人物・物体解析部３３は、人物の合計人数に対して、後述する人物・物体情報テーブル３５を参照し、物体の種別を反映した人数（推定人数）の再算 出を実施する。
【００２２】
人物・物体情報テーブル３５は、図２に示すように、種別３５ａと、種別人数３５ｂと 、占有面積（幅×奥行）３５ｃとから構成され、種別３５ａ「人」の場合の占有面積３５ ｃ「１２０×１２０」を基準（種別人数３５ｂ「１．０」）として、他の種別の場合に増加する占有面積を追加人数として算出した種別人数を登録したものである。なお、基準と なる種別３５ａ「人」の占有面積３５ｃは、人間のパーソナルスペースを考慮して、手を 伸ばせば指先が人に届く対人距離が６０ｃｍと仮定し、人がストレスを感じること無く移動するスペースを、例えば、幅１２０ｃｍ×奥行１２０ｃｍの矩形として設定されている 。
【００２３】
混雑判定部３４は、人物・物体解析部３３で算出された推定人数および環境パラメータ 生成部４０から取得した環境パラメータから、人のストレス度合いを考慮した人数（以下 、環境人数）を算出する。また、混雑判定部３４は、環境人数を用いて混雑度合いを判定 し、判定結果（例えば、閑散状態、平常状態、混雑状態など）を出力する。
【００２４】
また、混雑解析装置２０の環境パラメータ生成部４０は、環境解析部４１と、環境テー ブル４２と、天候テーブル４３とを備え、後述する環境パラメータを算出し、混雑判定部 ３４に出力する。
環境解析部４１は、気象センサ７０より取得した気象データを基に不快指数を算出し、 算出した不快指数および天候情報取得装置８０から取得した天候情報を基に、後述する環 境テーブル４２および天候テーブル４３を参照してストレスパラメータと天候パラメータ を決定し、当該ストレスパラメータと天候パラメータから環境パラメータを算出して、当 該環境パラメータを混雑判定部３４に出力する。
【００２５】
環境テーブル４２は、図３に示すように、不快指数４２ａと、ストレスパラメータ４２ ｂと、一般的感覚４２ｃとから構成され、不快指数４２ａの数値に応じたストレスパラメータ４２ｂが設定登録されている。ストレスパラメータとは、不快指数に対して、人間の 感じるストレス度合いを示す値である。ストレスパラメータは、図３に示すように、不快 指数の上昇に比例して値が大きくなる。すなわち、この環境テーブル４２によれば、例え ば、不快指数４２ａが７６以上であれば一部の人が不快になるといわれていることからス トレスパラメータは１．３となり、不快指数４２ａが８１以上であれば全員が不快になる と言われていることからストレスパラメータ４２ｂは１．５となる。
【００２６】
天候テーブル４３は、図４に示すように、天候４３ａと、天候パラメータ４３ｂと、一 般的感覚４３ｃとから構成され、天候４３ａに応じた天候パラメータ４３ｂが設定登録さ れている。天候パラメータとは、天候状態に対して、人間の感じるストレス度合いを示す 値である。すなわち、この天候パラメータ４３によれば、例えば、天候４３ａが晴天時の 天候パラメータ４３ｂは１．０であるのに対して、雨天（降水量１ｍｍ未満）時の天候パ ラメータ４３ｂは１．２、雨天（降水量１ｍｍ以上）時の天候パラメータ４３ｂは１．５ となり、悪天候になるにつれて濡れた傘の所持や長靴・レインコートの着用、濡れた床や 階段での低速移動などの不快要素が多くなるため、パラメータ値は大きくなるように設定 されている。
【００２７】
気象センサ７０は、環境解析部４１からの指示により、分析対象領域の気象データをネットワークを介して環境解析部４１に出力する。気象センサ７０とは、例えば、温度セン サ、湿度センサ、また、屋外であれば、感雨センサ、風速センサ、風向センサ、気圧セン サなどである。なお、本実施例では、分析対象領域が屋内の場合を想定し、分析対象領域 付近に設置された屋内用の気象センサ７０より取得する気象データを「温度センサ」およ び「湿度センサ」の２種から得られた情報とするが、分析対象領域が屋外の場合には、屋 外に最適なセンサを使用する。
天候情報取得装置８０は、環境解析部４１からの指示により、分析対象領域の天候情報 をネットワークを介して環境解析部４１に出力する。天候情報取得装置８０は、例えば、 日本気象協会のＨＰ（ホームページ）に公開された分析対象地域の気象情報を定期的に取 得して記憶部に記憶する。
【００２８】
［混雑状況分析システムの動作］
次に、本発明の一実施形態に係る混雑状況分析システムにおいて、撮像された物体情報 と撮像環境を基に分析した混雑結果を表示するまでの手順とその内容について、図５のフ ローチャートを用いて説明する。図５は、本発明の一実施形態に係る混雑状況分析システ ムでの処理の一例を示すフローチャートである。
図５に示すように、画像入力ステップＳ２０１では、混雑解析装置２０の物体情報解析 部３０の画像入力部３１は、撮像装置１０から撮像された画像データ、例えば、幅６４０ 画素、高さ４８０画素の入力画像を取得する。
物体抽出ステップＳ２０２では、物体情報解析部３０の動き情報抽出部３２は、ステッ プＳ２０１で取得した入力画像から物体が存在するエリアを抽出する。本ステップでの処 理は、従来技術の図９で説明したステップＳ５０２からステップＳ５０８の処理に該当し 、人物または物体が存在する範囲が示されている画像（以下、抽出画像）とその領域情報 を作成する。
【００２９】
種別分析ステップＳ２０３では、物体情報解析部３０の人物・物体解析部３３は、ステップＳ２０２で取得した抽出画像等から、人物の合計人数および物体のクラスを判定する 。人物・物体解析部３３は、入力画像や抽出画像を用いて、抽出画像で存在する人物また は物体から、例えば、「大きさ」、「速度」、「進行方向（進入時および退去時）」、「 輪郭形状」などの複数の特徴に基づいて、例えば、「人物のみ」、「ベビーカー」、「補 助犬同伴」、「大型荷物（スーツケースや大きなスポーツバック）携行」、「車いす使用 」、「白杖携行」、「子供連れ」などの複数の種別に分類する。クラス分類の手段として は、ＳＶＭ（Support  Vector  Machine）、ランダムフォレストやディープラーニング等 の機械学習を用いた公知の識別器や分析手法で実施可能であり、必要に応じて学習データ 等を事前に準備しておく。
【００３０】
推定人数算出ステップＳ２０４では、物体情報解析部３０の人物・物体解析部３３は、 人物の合計人数に対して、上述した人物・物体情報テーブル３５を参照し、物体の種別を 反映した人数（推定人数）の再算出を実施する。例えば、物体情報テーブル３５を参照すれば、基準となる種別３５ａ「人」の占有面積３５ｃは幅１２０ｃｍ×奥行１２０ｃｍで あり、種別人数３５ｂは１．０人である。また、種別３５ａ「ベビーカー」の占有面積３ ５ｃは（本体のみ）幅１００ｃｍ×奥行１００ｃｍであることから、種別人数３５ｂは、 「人」が「ベビーカー」を押している状態を想定して、１．８人と設定されている。
【００３１】
そこで、推定人数算出ステップＳ２０４で行う推定人数算出処理の一例について、図６ を用いて説明する。図６は、本発明の一実施形態に係る混雑状況分析システムでの入力画 像、並びに当該入力画像中の人物および物体と物体種別による占有面積を説明するための 図である。
図６（ａ）は、画像入力ステップＳ２０１で取得された入力画像の例を示している。図 ６（ａ）では、通行人９０１〜９０３を確認することができ、既存システムで実施される 画像認識処理では、分析対象領域に３人の人物が存在すると判断される。更に、種別分析 ステップＳ２０３で、通行人９０１は種別３５ａ「人」、通行人９０２の携行物は種別３ ５ａ「白杖（図中では黒杖で表示）」、通行人９０３の携行物は「大型荷物」と判定され る。
ここで、通行人９０３に着目すると、通行人９０３がスーツケースを持っているので種 別３５ａ「大型荷物」と判定されるため、物体抽出ステップＳ２０２で得られた物体領域 内には荷物を持つ「人」と携行物である「大型荷物」の二種類が存在することになる。
【００３２】
つまり、推定人数算出ステップＳ２０４では、物体の大きさは幅１７０ｃｍ（１２０ｃ ｍ＋５０ｃｍ）×奥行１２０ｃｍとなり、本物体の占有面積１００３は種別３５ａ「人」 の占有面積１００１と比較して広くなることが分かる。人物・物体情報テーブル３５を用 いて、この占有面積１００３を種別３５ａ「人」を基準とした種別人数に換算すると１． ４人という結果になる。
従って、推定人数算出ステップＳ２０４では、図６（ｂ）のすべての通行人９０１〜９ ０３に対して、種別に対応した占有面積１００１〜１００３を合算した結果、図６（ａ） の入力画像における推定人数は４．２人（１．０人＋１．４人＋１．８人）となる。この ように、本ステップでは、物体の種別によって移動時に占有する面積が大きく変わること を考慮した推定人数を算出することができる。
【００３３】
なお、本実施例では、「人」を始めとした種別毎の大きさを一定として、占有面積から 推定人数を算出する処理を説明したが、抽出結果に基づき物体の個々の大きさに対してパーソナルスペースを付加した占有面積を用いて推定人数を算出することにより、更に正確 な推定人数を算出することが可能となる。
また、抽出画像から物体同士の密集度合が非常に高いと判断した場合は、個々の人物・ 物体の種別判断が非常に難しくなるため、種別分析ステップＳ２０３では、抽出画像から 推定できる人数のみ算出して、これを推定人数と決定し、推定人数算出ステップＳ２０４ はスキップしてもよい。
【００３４】
次に、環境パラメータ更新判定ステップＳ２０５では、環境パラメータ生成部４０の環 境解析部４１は、物体情報解析部３０の図示していない記憶部の環境パラメータ（本実施 例では、気象センサ７０からの気象データに基づくストレスパラメータと天候情報取得装 置８０からの天候情報に基づく天候パラメータによる補正係数）を更新するタイミングで あるかどうかを判定する。予め、判定条件を設定しておき、例えば、前回パラメータを更新してから設定時間（例えば１分）以上経過している場合、または、取得した天候情報が 前回取得した情報と異なっている場合、または、一定時間内で人数の急激な増加や減少が みられた場合等の判定条件を満たした場合（ＹＥＳ）は環境パラメータ取得ステップＳ２ ０６に、前記条件に当てはまらなかった場合（ＮＯ）は環境人数算出ステップＳ２０７に 進む。
【００３５】
環境パラメータ取得ステップＳ２０６では、環境解析部４１は、混雑判定部３４に対し て、撮像装置１０による分析対象領域での撮像環境に応じた環境パラメータを出力する。
【００３６】
そこで、環境パラメータ生成部４０で行われる処理について、図７を用いて説明する。 図７は、本発明の一実施形態に係る混雑状況分析システムの環境パラメータ生成部での処 理の一例を示すフローチャートである。
気象データ取得ステップＳ３０１では、環境パラメータ生成部４０の環境解析部４１は 、気象センサ７０から気象データを取得する。
【００３７】
不快指数算出ステップＳ３０２では、環境解析部４１は、ステップＳ３０１で取得した 分析対象領域の気象データを用いて、不快指数（ＤＩ：Discomfort  Index）を算出する 。ここで、不快指数とは夏の蒸し暑さを数量的に表した指数であり、気温をＴｄ［℃］、 湿度をＨ［％］とした時に以下の（数式１）で計算される。
不快指数（ＤＩ）＝０．８１Ｔｄ＋０．０１Ｈ×（０．９９Ｔｄ−１４．３）
＋４６．３                            ・・・（数式１）
【００３８】
ストレスパラメータ設定ステップＳ３０３では、環境解析部４１は、ステップＳ３０２ で算出した不快指数を基に、上述した図３の環境テーブル４２を参照して、ストレスパラ メータを決定する。
【００３９】
天候情報収集ステップＳ３０４では、環境解析部４１は、天候情報取得装置８０から、 例えば、ネットワークを介して天候情報を取得する。当該天候情報は、撮像装置１０が設置されている近辺（例えば、市町村）の現在の天気データ等を示す。
【００４０】
天候パラメータ設定ステップＳ３０５では、環境解析部４１は、ステップＳ３０４で取 得した天候情報を基に、上述した図４の天候テーブル４３を参照して、天候パラメータを 決定する。
【００４１】
なお、図４の天候テーブル４３では、天候パラメータ４３ｂを天候に応じた一律のパラ メータとしているが、予め傘などのストレスになり得る携行品毎でもパラメータを準備し ておき、人の携行物など詳細が把握できる明確な画角である場合は、これらの物体を携行 する人物毎に天候パラメータを変更することで、更に各人のストレス度合いに合った算出 を行うようにしてもよい。ただし、例えば、携行物を「傘」とした場合、雨天や降雪時の 場合は傘が濡れていると想定し、その他の天候の場合は傘が乾いていると想定するため、 携行物のみでは無く天候との関連性も考慮したパラメータが必要である。
【００４２】
また、上記した天候テーブル４３は、屋内での混雑判定を想定した場合の天候パラメー タの値を記しているが、屋外の場合には、雨天時や降雪時には人は傘を差すため、通常時 よりも１人あたりの占有面積が広くなるが、傘を差すことにより自動的にパーソナルスペースが確保されるため、ストレスを軽減させること等を考慮した天候テーブル４３を作成 する必要がある。
また、環境解析部４１では、撮像装置１０の設置位置と天候に相違がない場所に感雨セ ンサなどが設置可能であれば、天候情報収集ステップＳ３０４の代わりに感雨センサが出力する雨量情報を取得するようにしてもよい。
【００４３】
環境解析ステップＳ３０６では、環境解析部４１は、ステップＳ３０３で設定されたス トレスパラメータとステップＳ３０５で設定された天候パラメータから環境パラメータを 算出する。算出方法を以下の（数式２）に示す。
環境パラメータ ＝ ストレスパラメータ × 天候パラメータ  ・・・（数式２）
なお、本実施例では、環境パラメータの算出に、ストレスパラメータと天候パラメータ の２つを用いているが、使用する気象センサや天候情報に応じて更に項目を増やすことが 可能であり、項目を増やすことでより最適な環境パラメータを算出できるようになる。特 に、画像からの抽出や判別が難しい、例えば、畳んだ傘などによるストレス度合いへの影 響は大きいが、比較的小さな携行物については、占有面積に基づく人数を計測する代わり に環境パラメータを有効に活用することで、より適正な混雑解析が可能となる。
【００４４】
環境パラメータ出力ステップＳ３０７では、環境解析部４１は、ステップＳ３０６で算 出した環境パラメータを混雑判定部３４に出力し、図５の環境人数算出ステップＳ２０７ に進む。
【００４５】
環境人数算出ステップＳ２０７では、混雑判定部３４は、ステップＳ２０４で算出された推定人数およびステップＳ２０６で取得した環境パラメータから、人のストレス度合い を考慮した人数（以下、環境人数）を算出する。環境人数の算出方法を以下の（数式３） に示す。
環境人数 ＝ 推定人数 × 環境パラメータ                  ・・・（数式３）
これにより、同じ推定人数でも環境が異なると環境人数は大きく変わる。例えば、推定 人数が１５人の場合、曇天・不快指数７０の環境下では環境人数はそのまま１５人、しか し、雨天（降水量１ｍｍ未満）・不快指数８０の環境下では環境人数は２３人（１５×１ ．２×１．３）となり、８人増加する。
【００４６】
なお、本実施では、推定人数と環境パラメータで環境人数を算出する説明を行ったが、 出勤時間帯は人数が多くても一定以上の速度で移動できればあまりストレス度合いが高く ならないなど、時間帯によって人流の平均速度も変化することより、時間帯に伴う移動速 度も反映した環境人数を算出してもよい。更に、同じ時間帯でも平日と休日で移動速度に 相違があるため、曜日による推定人数の変化も取り入れてもよい。
また、人が蛇行移動しないと直進方向に進めない環境であれば、ストレス度合いが高く なるなども考慮して、人の軌跡による直進度合いも反映した環境人数を算出してもよい。
【００４７】
混雑度判定ステップＳ２０８では、混雑判定部３４は、ステップＳ２０７で算出した環 境人数を用いて、混雑度合いを判定する。混雑判定部３４は、混雑とする人数のしきい値 （以下、混雑しきい値という）を予め設定しておき、環境人数が混雑しきい値以上である 場合は“混雑状態である”と判断し、混雑しきい値未満の場合は“通常状態である”と判断する。または、混雑度合いを３段階で判定するようにして、３段階に設けた場合のしきい値、例えば、“閑散状態”のしきい値を５人以下、“平常状態”のしきい値を２０人以 下として、環境人数に応じて、閑散状態、平常状態、混雑状態の３段階で判断を行うよう にしてもよい。または、画像内に存在する最大人数を予め設定しておき、最大人数を１０ ０％として混雑率を算出し、これを判定結果としてもよい。
【００４８】
判定結果出力ステップＳ２０９では、混雑判定部３４は、ステップＳ２０８で判定された混雑度合いに応じた判定結果を出力する。混雑判定部３４は、例えば、表示装置６０に 表示する撮像装置１０の画像上に混雑度判定ステップＳ２０８の判定結果を描画したり、 混雑状態であると判定された場合はアラームを出力するなどしてユーザに知らせたりする 。また、必要に応じて記録装置５０に撮像装置１０から取得した入力映像や混雑判定結果 を保存する。
【００４９】
情報更新ステップＳ２１０では、混雑判定部３４は、ステップＳ２０８までに算出した 各種パラメータや環境人数、判定結果を予め設定した時間分保持しておく。これらの情報 は、例えば、設定した一定時間内で環境人数や混雑度判定ステップＳ２０８の判定結果が 急激に変化した場合など、混雑判定結果とは別に、これらの異常状態の情報も出力してユーザに知らせるようにする。また、情報更新ステップＳ２１０では、混雑判定部３４は、 時間帯や曜日毎に算出された各種パラメータや環境人数を平均して更新・保持しておき、 上記より該当する時間帯や曜日の各平均値と混雑度判定ステップＳ２０８で取得した各値 に一定以上の相違があった場合は、その結果を出力してユーザに知らせるようにしてもよい。
【００５０】
また、混雑状態でも画像上で個々の人物を分離し易くするため、撮像装置１０を天井に 設置するなどして俯瞰撮影してもよいし、撮像装置１０をステレオカメラにすることにより、重複した物体同士を２台のカメラ画像の視差から距離画像を求めて、各物体の位置や 人数の総数を正確に取得するようにしてもよい。
また、本実施例では、人数を用いて混雑度判定を実施したが、各種別による占有面積と その合計面積を算出して、分析対象領域全体の面積に対する割合で混雑度を判定するよう にしてもよい。
また、取得した環境人数と使用された環境パラメータから、人のストレス度合いを軽減 するための気温や湿度を逆算して、エアコンによる適切な温度調整をする等の環境改善に も使用することができる。
【００５１】
上述したように、本発明の一実施形態に係るデジタル混雑状況分析システムによれば、 撮像装置の映像情報から得られる物体の数や動きだけではなく、環境状態や人が携行また は使用する物体によって変動する窮屈さやストレス等の人間の感覚も考慮して混雑状況を 分析することができる。
【００５２】
なお、上記した実施形態の構成及び動作は一実施例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【産業上の利用可能性】
【００５３】
本発明は、映像を用いた混雑状況分析システムに係り、特に、人間のストレス度合いを 考慮して混雑状況を分析する混雑状況分析システムに適用される。
【符号の説明】
【００５４】
１０：撮像装置、２０：混雑解析装置、３０：物体情報解析部、３１：画像入力部、３ ２：動き情報抽出部、３３：人物・物体解析部、３４：混雑判定部、３５：人物・物体情 報テーブル、３５ａ：種別、３５ｂ：種別人数、３５ｃ：占有面積（幅×奥行）、４０： 環境パラメータ生成部、４１：環境解析部、４２：環境テーブル、４２ａ：不快指数、４ ２ｂ：ストレスパラメータ、４２ｃ：一般的感覚、４３：天候テーブル、４３ａ：天候、 ４３ｂ：天候パラメータ、４３ｃ：一般的感覚、５０：記録装置、６０：表示装置、７０ ：気象センサ、８０：天候情報取得装置、４０１：入力画像、４０２：背景画像、４０３ ：差分画像、４０４：二値化画像、４０５：差分器、４０６：二値化器、４０７：人型の 物体、４０８：輝度変化領域、４０９：画素値“２５５”の画像、９０１，９０２，９０ ３：通行人、１００１，１００２，１００３：占有面積。
【図１】
2018084191.tif 000003
【図２】
2018084191.tif 000004
【図３】
2018084191.tif 000005
【図４】
2018084191.tif 000006
【図５】
2018084191.tif 000007
【図６】
2018084191.tif 000008
【図７】
2018084191.tif 000009
【図８】
2018084191.tif 000010
【図９】
2018084191.tif 000011
【国際調査報告】
2018084191.tif 000012
2018084191.tif 000013
2018084191.tif 000014
2018084191.tif 000015