(57)【要約】【課題】人の行動のうち特徴的な滞留行動を自動的に分析する。【解決手段】観測領域を上空からカメラで撮影した一連の画像郡に基づき背景画像を推定する手段と、前記背景画像同士の差分をとり背景交替画像を得る手段と、滞留者の背景交替反応を時間を追って抽出し、所定の時間間隔ごとに累積して滞留者の存在確率の高い領域を検出することにより、滞留者の位置を推定する手段とを備える。【選択図】図１
2004185195.tif 000002
【特許請求の範囲】
【請求項１】
観測領域を上空からカメラで撮影した一連の画像郡に基づき背景画像を推定する手段と、前記背景画像同士の差分をとり背景交替画像を得る手段と、滞留者の背景交替反応を時間を追って抽出し、所定の時間間隔ごとに累積して滞留者の存在確率の高い領域を検出することにより、滞留者の位置を推定する手段とを備えることを特徴とする滞留者分析システム。
【請求項２】
前記滞留者の背景交替反応の間に輝度変動を検出することにより滞留者の位置を推定することを特徴とする請求項１記載の滞留者分析システム。
【請求項３】
一定値以上の輝度変動が検出された場合、その位置でその期間にわたり滞留が発生したと判定し、滞留時間を推定することを特徴とする請求項２記載の滞留者分析システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人間の行動のうち滞留する者を分析する分析システムに関する。
【０００２】
【従来の技術】
従来、人の行動を分析するための方法として、カメラで撮影した映像を直接あるいはＶＴＲ等に記録して、その映像を目視で観察する方法がある。これは人間行動の分析のための基本的な分析方法であるが、分析作業の自動化が望まれていた。自動化により観察の手間の簡素化、さらには人の行動情報のフィードバックにより、空調システムや監視システム、マーケティングシステムへの適用が可能となる。
【０００３】
このための手法として、従来、カメラ画像の画像処理が有効と考えられ、特に画像差分により歩行者や車等の移動体を抽出する方法は広く一般に利用されている。
【特許文献１】特開平０７−２２００８８号公報
【特許文献２】特開平０６−２２３１５７号公報
【特許文献３】特開平１１−１１０５６４号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の方法は、移動している人に対しては精度良く検出できるが、ベンチに座っている、あるいは立ち止まっている滞留者の検出は困難である。これは、画像差分に用いる画像の時間間隔が短いため、動きの少ない滞留者の動きが反応として現れにくいことによる。仮に、差分の時間間隔を広げても、移動する対象の方が強く出る傾向があり、滞留者の検出は非常に困難である。しかし、行動分析の観点からみた場合、滞留者の方がその空間の利用状況を特徴的に表すため、滞留者の情報の方が歩行者のそれよりも重要な場合がある。
【０００５】
本発明は、上記従来の問題を解決するものであって、人の行動のうち特徴的な滞留行動を自動的に分析することができる滞留者分析システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
そのために本発明の滞留者分析システムは、観測領域を上空からカメラで撮影した一連の画像郡に基づき背景画像を推定する手段と、前記背景画像同士の差分をとり背景交替画像を得る手段と、滞留者の背景交替反応を時間を追って抽出し、所定の時間間隔ごとに累積して滞留者の存在確率の高い領域を検出することにより、滞留者の位置を推定する手段とを備えることを特徴とする。
また、前記滞留者の背景交替反応の間に輝度変動を検出することにより滞留者の位置を推定することを特徴とする。
また、一定値以上の輝度変動が検出された場合、その位置でその期間にわたり滞留が発生したと判定し、滞留時間を推定することを特徴とする。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しつつ説明する。図１は、本発明の滞留者分析システムの１実施形態を示す処理の流れを説明するための図である。
【０００８】
先ず、図１に示すように、観測領域を上空からカメラで撮影した一連の画像郡ｆｉに基づき、一定期間の画像を元に背景画像ｆｂを推定する。推定する方法としては、平均推定、メジアン推定、ＬＭｅｄＳ推定等各種の統計手法び適用が可能である。この背景画像ｆｂは、歩行者などの移動する対象がキャンセルされ、動いていない背景部分が写る画像となり、滞留者の像もこの背景画像ｆｂに写りこむことになる。
【０００９】
次に、背景画像ｆｂ同士の差分をとり背景差分画像Ａａｌｔを得る。この背景差分画像Ａａｌｔにおいては、歩行者は背景推定の段階でキャンセルされているため、反応としては現れない。一方、滞留者は動きが少ない分、背景として写りこむ可能性が高い。しかし、全く静止し続けるわけではなく、手足等の姿勢を変える動作などで必ず何らかの動きを生じる。例えば図２において、ある背景に写った滞留者１は、次の時点での背景画像では、破線で示すように、手１ａや足１ｂがの姿勢が変わるという現象が生じる。従って、これらの背景画像間同士の差分においては、この動き（以下、背景交替反応という）を抽出することが可能となる。
【００１０】
これを詳述する。人がある姿勢１から別の姿勢２に変化した場合の両者の差分画像ｂｓを下式のように定義する。
【数１】
2004185195.tif 000003
ここで、τ１、τ２は背景推定期間の中央の時刻とする。適当なしきい値Ｔａｌｔより大きな値の領域は姿勢変化が発生している位置と時刻を示すと考えることができる。観測位置（ｉ，ｊ）を中心とする人の大きさに相当する観測範囲Ｑｉ，ｊを設定し、その背景における背景交替の有無に従って観測期間（τ２−τ１＝Δｔ３）中に姿勢変化が発生すると考えると、少なくともΔｔ３を超える滞留は発生していると考えられる。その値を観測位置（ｉ，ｊ）の値とする背景交替画像Ａａｌｔ（下式）を作成する。
【数２】
2004185195.tif 000004
【００１１】
次に、滞留者位置推定の処理を行う。これは、図３に示すように、滞留者の背景交替反応を時間を追って抽出し、全観測期間（τｓｔａｒｔ，τｅｎｄ）において所定の時間間隔Δｔ３ごとに累積して滞留者の存在確率の高い領域を検出し累積背景交替画像Ａｓｔａｙを得る。これは次式で表される。
【数３】
2004185195.tif 000005
【００１２】
滞留時間が長くなるにつれ背景交替が繰り返される可能性は高くなり滞留に関する確信度の情報を与えることができる。すなわち、上記累積背景交替画像Ａｓｔａｙにおける高い累積値は、滞留者の存在に対する高い確信度を表し、そのような画素を滞留候補画素とする。以上で述べた背景交替の解析は観測画像のすべての画素において独立に行われる。
【００１３】
上記の累積背景交替画像Ａｓｔａｙにおいて、背景交替反応が現れた領域の面積を人一人が画面に映る面積で割ることにより、滞留者の人数を推定することができる。この累積背景交替画像Ａｓｔａｙは、滞留者の変化時点を示しているが、滞留時間を直接表現するものではない。更に２つの背景交替の間には、滞留者の影や、日照の変化などの影響による背景交替を含んでおり、これらを分離して解析精度を得るために、得られた滞留候補画素が滞留者によるものなのか否かの判定処理について説明する。
【００１４】
累積背景交替画像Ａｓｔａｙにおいては、図４に示すように、入力画像列の輝度値（Ｇｒａｙ  ｌｅｖｅｌ）変動があると予想される。滞留候補画素のうち、照明変動や人影などの部分では、まず、輝度変動は一定範囲内にあると考えられ、一方、滞留者による領域においては、これと逆の特性、すなわち輝度変動がかなり大きい特性を有すると考えられる。先ず、しきい値Ｔｐｏｓ（背景交替解析の時間）によって累積背景交替画像Ａｓｔａｙにおいて滞留の確信度の高い領域を抽出する。任意の観測期間（τａ，τｂ）内の各時点ｔにおいて、輝度変動の評価を行い、それに基づいて各時点における滞留度Ｘを次式によって算出する。
【数４】
2004185195.tif 000006
【００１５】
ここで、Ｔｇ、Ｔｐはそれぞれ輝度値、画像相関値のしきい値を示す。滞留度画像Ｙを次式で定義する。
【数５】
2004185195.tif 000007
この画像（配列）の各画素（配列要素）は、視野内の全ての位置をおける滞留者の確信度の定量的表現とみなすことができる。図５に示すように、滞留度画像Ｚにおいて、一定値以上の輝度変動が検出された場合、その位置でその期間（τａ，τｂ）にわたり滞留が発生したと判定する。滞留の期間と判定された地点（ｉ，ｊ）に対して期間の長さを評価値とする滞留時間画像Ｚ（次式）を得る。
【００１６】
【数６】
2004185195.tif 000008
しきい値Ｔｓｔａｙは観測期間の長さ（τａ，τｂ）に比例して与える。これらを用いることにより、任意に設定する時間区間内における滞留状態を観測することができる。
【００１７】
図６は、評価結果を示し、図（Ａ）は観測領域を目視し所定の時間内における滞留者をプロットした画面を示し、図（Ｂ）は本発明により解析した結果を画面に出力した図である。両者の滞留者の位置は高い精度で一致しており、本発明の有効性が確認された。
【００１８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、人の行動のうち特徴的な滞留行動を自動的に分析することができる。人の滞留は、その地点、または周辺施設・物品、環境の魅力の度合いを示すので、その情報を自動的に得ることにより、施設の運営計画や、ダイナミックな空間演出、設備制御などへの展開が期待できる。
【図面の簡単な説明】
【図１】本発明の滞留者分析システムの１実施形態を示す処理の流れを説明するための図である。
【図２】図１において、滞留者の姿勢の変化を説明するための図である。
【図３】滞留者位置推定の処理を説明するための図である。
【図４】輝度値の変化を示す図である。
【図５】滞留時間推定の処理を説明するための図である。
【図６】本発明の評価結果を示す図である。
【図１】
2004185195.tif 000009
【図２】
2004185195.tif 000010
【図３】
2004185195.tif 000011
【図４】
2004185195.tif 000012
【図５】
2004185195.tif 000013
【図６】
2004185195.tif 000014