(57)【要約】【課題】複数のレーザセンサにより通行人の位置座標を検知し、サーバがその検知データを座標変換して統合し、リアルタイムかつ広範囲での通行人の軌跡の抽出を行う、通行人軌跡抽出装置を提供する。【解決手段】サーバ１はクライアントすべてを同期する。レーザセンサ２１〜２３は、最初に周辺物を検知し、それぞれクライアント１１〜１３を介してサーバ１に送信する。サーバ１は、共通な固定物に対する計測データを視覚的に判断してマッチングし、１つのデータに統合する。そしてサーバ１は、クライアント１１〜１３それぞれの座標系を変換するパラメータを決定する。クライアント１１〜１３は、それぞれレーザセンサ２１〜２３で検知したデータから動体データを抽出しサーバ１に送信する。サーバ１は、決定したパラメータに基づき同一座標系に統合する。サーバ１は座標変換した動体データから通行人の軌跡を求める。【選択図】      図１
2004191095.tif 000002
【特許請求の範囲】
【請求項１】
通行人の位置や物体を検知する複数の検知手段に対応して設けられた複数のクライアントを制御する、通行人軌跡抽出装置において、
前記複数の検知手段の検知時間を同期する同期手段と、
前記複数の検知手段によって検知したデータから、前記複数のクライアントが抽出した通行人の位置座標を１つの座標系に統合する統合手段と、
前記統合手段によって得られた通行人の位置座標から該通行人の移動軌跡を抽出する軌跡抽出手段と
を有する通行人軌跡抽出装置。
【請求項２】
前記検知手段がレーザセンサであって、地面近くに水平にスキャンし、通行人の足を検知する
ことを特徴とする請求項１記載の通行人軌跡抽出装置。
【請求項３】
前記軌跡抽出手段が、前記検知手段によって検知した通行人の２本の足データをグループ化し、
前記２本の足データの重心点を抽出し、
前記足データが重なっているグループを抽出し、
抽出した前記グループの２本の足データの重心点を結んで該通行人の移動軌跡を抽出し、前記通行人の移動速度や方向を設定する
ことを特徴とする請求項１あるいは２記載の通行人軌跡抽出装置。
【請求項４】
前記軌跡抽出手段が、前記検知手段によって検知した通行人の足の歩行モデルを定義し、
前記通行人の移動速度や方向、足振り位相の状態をカルマンフィルタによって計算し前記通行人の移動軌跡を抽出する
ことを特徴とする請求項１あるいは２記載の通行人軌跡抽出装置。
【請求項５】
通行人の位置や物体を検知する複数の検知手段と、
前記複数の検知手段に対応して設けられ、各検知手段から出力される検知データから通行人の位置座標を抽出する複数のクライアントと、
前記複数のクライアントを制御するサーバと
を具備し、
前記サーバは、
前記検知手段の検知時間を同期する同期手段と、
前記複数のクライアントから送信される通行人の位置座標を１つの座標系に統合する統合手段と、
前記統合手段によって得られた通行人の位置座標から該通行人の移動軌跡を抽出する軌跡抽出手段とを有する
ことを特徴とする通行人軌跡抽出システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、広範囲にわたって通行人の数や行動を計測する際に用いられる通行人軌跡抽出装置およびシステムに関する。
【０００２】
【従来の技術】
通行人の数や行動を非接触で計測することは、建物のセキュリティやマーケティングなど多くの分野で要求が高まっている。従来、人物の位置情報を非接触で計測する方法の多くは、ビデオ画像を利用していた。しかしビデオ画像では、人間が交錯するときなどにうまくトラッキングできないなど、データの抽出に際して問題があった。そこで近年、距離や速度を直接測ることができる、レーザセンサを用いた計測方法が用いられている。
レーザセンサはレーザ波の拡散が小さいために、解像度が非常に高い。また、測定できる範囲が非常に大きく、測定誤差も非常に小さい。
レーザセンサを用いた従来の技術では、被測定物に異なるパターンの反射板を巻きつけて、１台のレーザセンサにより位置を計測するものもある（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−２１１８３１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、多数の通行人の居る場所において、人が互いに重なり合うため、１台のレーザセンサではうまく抽出できない。また、計測できる範囲も１台のレーザセンサでは限界がある。
この発明はこのような点を鑑みてなされたもので、複数のレーザセンサにより通行人の位置座標を検知し、サーバがその検知データを座標変換してデータを統合し、リアルタイムかつ広範囲での通行人の軌跡の抽出を行う、通行人軌跡抽出装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記した目的を達成するために、請求項１記載の通行人軌跡抽出装置は、通行人の位置や物体を検知する複数の検知手段に対応して設けられた複数のクライアントを制御する、通行人軌跡抽出装置において、前記複数の検知手段の検知時間を同期する同期手段と、前記複数の検知手段によって検知したデータから、前記複数のクライアントが抽出した通行人の位置座標を１つの座標系に統合する統合手段と、前記統合手段によって得られた通行人の位置座標から該通行人の移動軌跡を抽出する軌跡抽出手段とを有する。
【０００６】
請求項２記載の発明は、請求項１記載の通行人軌跡抽出装置において、前記検知手段がレーザセンサであって、地面近くに水平にスキャンし、通行人の足を検知することを特徴とする。
【０００７】
請求項３記載の発明は、請求項１あるいは２記載の通行人軌跡抽出装置において、前記軌跡抽出手段が、前記検知手段によって検知した通行人の２本の足データをグループ化し、前記２本の足データの重心点を抽出し、前記足データが重なっているグループを抽出し、抽出した前記グループの２本の足データの重心点を結んで該通行人の移動軌跡を抽出し、前記通行人の移動速度や方向を設定することを特徴とする。
【０００８】
請求項４記載の発明は、請求項１あるいは２記載の通行人軌跡抽出装置において、前記軌跡抽出手段が、前記検知手段によって検知した通行人の足の歩行モデルを定義し、前記通行人の移動速度や方向、足振り位相の状態をカルマンフィルタによって計算し前記通行人の移動軌跡を抽出することを特徴とする
【０００９】
請求項５記載の通行人軌跡抽出システムは、通行人の位置や物体を検知する複数の検知手段と、前記複数の検知手段に対応して設けられ、各検知手段から出力される検知データから通行人の位置座標を抽出する複数のクライアントと、前記複数のクライアントを制御するサーバとを具備し、前記サーバは、前記検知手段の検知時間を同期する同期手段と、前記複数のクライアントから送信される通行人の位置座標を１つの座標系に統合する統合手段と、前記統合手段によって得られた通行人の位置座標から該通行人の移動軌跡を抽出する軌跡抽出手段とを有することを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る通行人軌跡抽出装置の概略構成を示すブロック図である。１はサーバであり、ネットワークＮを介してクライアント１１〜１３を制御する。クライアント１１〜１３は、それぞれレーザセンサ２１〜２３（検知手段）を制御する。
レーザセンサ２１〜２３は、それぞれ異なる場所の床に設置され、地面から約２０ｃｍの高さの水平面でスキャンし、最大半径７０ｍの範囲内の通行人を検知する。このとき、レーザ光は通行人の足に当たることになる。またレーザセンサ２１〜２３は、角度２７０度の範囲でスキャンし、０．２５度の刻みで、周辺物（固定物と移動物）までの距離を直接計測し、それぞれクライアント１１〜１３にデータを送る。
【００１１】
次に、上記構成におけるサーバ１とクライアント１１〜１３の動作について、図２と図３を参照して説明する。図２はサーバ１の動作、図３はクライアント１１〜１３の動作を示す。
まず、サーバ１はクライアント１１〜１３に同期信号を送る（ステップＳａ１）。クライアント１１〜１３はその信号を受信すると（ステップＳａ１１）時刻同期を行う（ステップＳａ１２）。
サーバ１はクライアント１１〜１３にデータをリクエストするリクエスト信号を送信する（ステップＳａ２）。クライアント１１〜１３がそのリクエスト信号を受信すると（ステップＳａ１３）、それぞれ対応したレーザセンサ２１〜２３は１回スキャンし周辺物を検知する。クライアント１１〜１３はその１スキャンのデータを取得し、サンプルデータとしてサーバ１に送る（ステップＳａ１４）。
【００１２】
このとき、レーザセンサ２１〜２３は、隣接する少なくとも２つのレーザセンサで共通な固定物を検知するよう、検知範囲がお互いに若干重複するように設置されている。また、レーザセンサ２１〜２３が計測したレーザデータはレーザセンサ２１〜２３それぞれ独自に設定したローカル座標系に相対している。
サーバ１はクライアント１１〜１３からサンプルデータを受信し（ステップＳａ３）、各サンプルデータから、共通な固定物に対する計測データを視覚的に判断してそれらをマッチングし、１つのデータに統合する。そして、クライアント毎の座標系変換パラメータを決定する（ステップＳａ４）。
このようにして同一時刻かつ同一座標系に統合したデータを１フレームとする。
【００１３】
次に、サーバ１はクライアント１１〜１３に計測開始信号を送る（ステップＳａ５）。クライアント１１がその計測開始信号を受信すると（ステップＳａ１５）、レーザセンサ２１は周辺物をスキャンする。クライアント１１はスキャンしたデータを取得する（ステップＳａ１６）。
レーザセンサ２１は、固定物に対して常に同じ角度で同じ距離値を計測している。クライアント１１は、レーザセンサ２１がスキャンした２００のデータを時系列ごとに重ねる。そして、時間とともに変化しない固定物を抽出し、背景データを生成する。この背景データは１時間おきに更新される（ステップＳａ１７）。クライアント１１はレーザセンサ２１の計測したデータから、背景差分により移動物に当たる動体データを抽出し（ステップＳａ１８）、動体データをサーバ１に送る（ステップＳａ１９）。ステップＳａ１６からステップＳａ１９の動作は、計測終了まで繰り返される。
クライアント１２、１３と対応するレーザセンサ２２、２３もそれぞれ同様の動作を行う。
【００１４】
サーバ１はクライアント１１〜１３から動体データを受信し（ステップＳａ６）、ステップＳａ４で計算した座標系変換パラメータによって同一座標系に統合し、１フレームのデータを作成する（ステップＳａ７）。そして、サーバ１は座標変換した動体データから通行人の軌跡を求める（ステップＳａ８）。軌跡の求め方はサブルーチンとして後に述べる。
サーバ１が軌跡の測定を終了したら（ステップＳａ９）、クライアント１１〜１３に計測終了信号を送信する（ステップＳａ１０）。クライアント１１〜１３はその計測終了信号を受信すると（ステップＳａ２０）、処理を終了する。
以上により、サーバ１は統合したデータ上で通行人の軌跡を検出することができる。
【００１５】
次に、ステップＳａ８において通行人の軌跡を求めるサーバ１の動作を、図４を参照して説明する。
【００１６】
通行人の足１本にはレーザ光が数点当たる。サーバ１は、ステップＳａ７で座標変換された動体データが、半径１０ｃｍ以内に集まっているものを、１本の足にあたるデータとしてクラスタ化し、半径１０ｃｍの円にして足断面データとする（ステップＳｂ１）。次にサーバ１は、３０ｃｍ以内の距離にある足断面データ全てを２個づつグループ化し、通行人の候補とみなす。次にサーバ１は、グループ化した２つの足断面データの中点を取り、通行人候補の重心点とする（ステップＳｂ２）。図１１にクラスタ化とグループ化の例を示す。
【００１７】
サーバ１は、ステップＳｂ２で抽出した重心点を利用して、前の時刻におけるフレームで登録された既存の軌跡を現在フレームまで延長する（ステップＳｂ３）。このステップＳｂ３における軌跡の延長手法について図５を参照して説明する。
サーバ１は、前の時刻におけるフレームで登録された既存の軌跡に対して、通行人の重心点の移動速度や方向などによって、現在フレームにおける重心点の探索範囲を定める（ステップＳｃ１）。次にサーバ１は、その探索範囲において、通行人候補の重心点を探索する（ステップＳｃ２）。重心点が見つかった場合（ステップＳｃ３で「Ｙｅｓ」）、通行人の重心点の移動速度や方向などで予測される、最も近い重心点まで軌跡を延長する（ステップＳｃ４）。また、その重心点を結んで通行人の歩いた軌跡とする。そしてサーバ１は、通行人の重心点の位置、移動速度、方向などを更新する。
サーバ１は、重心点が見つからなかった回数を数えるカウンタを有する。重心点が見つからなかった場合（ステップＳｃ３で「Ｎｏ」）、カウンタが４以下であれば（ステップＳｃ５で「Ｎｏ」）、カウンタに１を加算する（ステップＳｃ６）。カウンタが５以上であれば（ステップＳｃ５で「Ｙｅｓ」）、該当軌跡の追跡を終了する（ステップＳｃ７）。
続けて、前の時刻におけるフレームで登録された他の既存の軌跡を現在フレームまで延長する場合は（ステップＳｃ８で「Ｙｅｓ」）、ステップＳｃ１の処理に戻る。
【００１８】
図４に戻って、人間は、歩行する際に両足を交互に移動するので、足断面データが重なっている足のグループを、時系列上連続したフレームから抽出すれば、通行人１人が歩行しているとみなすことができる（図１２を参照）。サーバ１は、前の時刻におけるフレームで登録された既存の軌跡に属していない足のグループに対して、連続３つ以上のフレームに足断面データが重なっているグループを抽出する（ステップＳｂ４）。次にサーバ１は、それぞれの足のグループにおける重心点を抽出し、それら重心点を結び、新たな軌跡として登録する（ステップＳｂ５）。
【００１９】
次に、カルマンフィルタを用いて通行人の軌跡を求めるサーバ１の動作を説明する。まず、図６に全体の動作を示す。各計測時刻に、まず各クライアントから動体データを収集し、座標系統合を行う（ステップＳｄ１）。半径１０ｃｍ以内に集まっている動体データを足断面データとしてクラスタ化し（図１１を参照）、その中心点を足の位置データとして求める（ステップＳｄ２）。既に抽出された軌跡データをカルマンフィルタ手法によって現在フレームに延長する（ステップＳｄ３）。既に抽出された軌跡に属しない足データに対して、３０ｃｍ以内の距離にあるものをグループ化し（ステップＳｄ４）、足データが重なっているグループが３つ以上連続なフレームから検出されるならば、新規軌跡として抽出し（ステップＳｄ５）、カルマンフィルタ（新規軌跡）の初期状態を設定する。この過程を軌跡測定終了まで繰り返す。
【００２０】
ステップＳｄ３において、既に抽出された軌跡データをカルマンフィルタによって現在フレームまで延長する手法を図７に示す。各軌跡データに対して、まず前フレーム目までの軌跡データによって現在計測フレームにおける状態ベクトルと計測データ（両足の位置）を予測して、探索範囲を決める（ステップＳｅ１）。この詳細については後に述べる。次に、探索範囲に該当足の計測データを探索する（ステップＳｅ２）。足データが見つかった場合（ステップＳｅ３で「Ｙｅｓ」）、予測した計測データに最も近い足データを現在フレームにおける計測データとする（ステップＳｅ４）。足データが見つからなかった場合、見つからなかった回数を数えるカウンタが５以上ならば（ステップＳｅ５で「Ｙｅｓ」）、この軌跡が終了したと考え（ステップＳｅ８）、その他の軌跡を検討する。カウンタが４以下ならば（ステップＳｅ５で「Ｎｏ」）、カウンタに１を加算し（ステップＳｅ６）、予測した計測データを現在フレームにおける計測データとする（ステップＳｅ７）。最後に現在フレームにおける計測データを利用して、予測された状態ベクトルを更新する（ステップＳｅ９）。この詳細については後に述べる。
続けて、前フレーム目までの他の既存の軌跡を現在フレームまで延長する場合は（ステップＳｅ１０で「Ｙｅｓ」）、ステップＳｅ１の処理に戻る。
【００２１】
ここで、歩行者モデルを検討する。人間は、歩行する際に両足を交互に移動する。片方の足が着陸してからもう片方の足が振りはじめる。それが単純化した例を図８に示してある。
両足の運びに４つの位相を定義する。両足とも静止の状態から、右足だけが加速して、両足の位置が揃った地点までを位相１と定義する。それから右足が減速し、着地するまでを位相２と定義する。着地する時点に両足の移動速度がほぼ静止の状態に戻る。同じく左足だけの加速を位相３、減速を位相４と定義する。両足に施す加速度は足の筋肉などからの力によって決められる。
【００２２】
歩行者モデルを左足と右足が水平面（統合座標系）に置ける速度（ｖＬとｖＲ）、加速度（ａＬとａＲ）、位置（ｐＬとｐＲ）によって評価する。そこで、歩行者モデルを計測時刻によって変化するパラメータ（位置、速度）と足振り位相によって変化するパラメータ（加速度）に分けて、離散型カルマンフィルタを定義する。
【００２３】
【数１】
2004191095.tif 000003
【００２４】
ｓｋ，ｎは計測時刻ｋ（ｋフレーム）に歩行者ｎの両足の位置、速度による状態ベクトルである。ｕｋ，ｎは計測時刻ｋ（ｋフレーム）に歩行者ｎの両足の加速度ベクトルである。ωは状態モデル誤差である。本例ではωが定数であると仮定して、ある経験値によって設定する。
【００２５】
【数２】
2004191095.tif 000004
【００２６】
Φは両足の位置、速度に関する既存知識によって現在時刻にある両足の位置、速度を推定する行列関係式である。Ψは加速度によって位置、速度の変化を表す行列関係式である。それぞれを［数３］［数４］式に定義する。ここで、Δｔは計測間隔であり、本例では、Δｔはほぼ０．１ｓｅｃである。
【００２７】
【数３】
2004191095.tif 000005
【００２８】
【数４】
2004191095.tif 000006
【００２９】
状態ベクトルｓｋ，ｎを［数５］式のように計測値と関連づける。また状態ベクトルｕｋ，ｎは足振り位相を検出することによって更新される。
【００３０】
【数５】
2004191095.tif 000007
【００３１】
ここで、ｍｋ，ｎは計測時刻ｋに歩行者ｎを計測された両足の位置データである。Ｈは状態ベクトルｓｋ，ｎと計測データｍｋ，ｎとの関係式である。εは計測誤差である。本例ではεが定数であると仮定して、ある経験値によって設定する。
【００３２】
【数６】
2004191095.tif 000008
【００３３】
【数７】
2004191095.tif 000009
【００３４】
図９には状態モデルの予測を示してある。歩行者ｎの歩行軌跡を、
Ｔｎ＝ｓ１，ｎ，  ｓ２，ｎ，…，  ｓｋ−１，ｎ
によって定義する。計測時刻ｋにおける状態モデルの予測は図１３のアルゴリズムで行われる。
Ｑ＝Ｅ［ωωＴ］とＰ−＝Ｅ［（ｓ−ｓ−）（ｓ−ｓ−）Ｔ］はそれぞれ状態モデル誤差と事前推定誤差の共分散行列である。また、加速度に関する状態ベクトルｕ−ｋ，ｎ  に対する予測は、図１４のアルゴリズムで行われる。図１４において、ｆＲとｆＬは両足の加速度関数である。本例では両足に施す加（減）速度が等しく、また各位相は一定な常数であると単純化する。
【００３５】
予測された現在フレームにおける計測データによって探索範囲を決めて、該当する計測された両足のデータを探索し、更新する（図７のステップＳｅ２〜Ｓｅ８参照）。それによって現在フレームにおける状態ベクトルを図１５のように求める（図１０参照）。ここで、Ｋはカルマンゲイン、Ｒ＝Ｅ［εεＴ］とＰ＝Ｅ［（ｓ−ｓ）（ｓ−ｓ）Ｔ］はそれぞれ計測誤差と事後推定誤差の共分散行列である。
【００３６】
以上説明したように、本実施形態によれば、複数のレーザセンサで通行人を検出することによって、広範囲にわたる検出を行うことができる。また、複数のレーザセンサの検出データから、それぞれ１台ずつ接続されたクライアントが動体データを抽出し、それをサーバが座標変換することで１つの座標系に統合し、軌跡を抽出することで、膨大な計算量を並列処理することができ、リアルタイムで通行人の軌跡を追うことができる。
【００３７】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３８】
上記実施形態では、地表近くの水平面にレーザをスキャンして通行人を検知する構成としたが、例えば、入口のドアなど、地表と垂直にレーザをスキャンして、その入口に入った人数を検知したり、身長の差で男女、大人と子供を検知したりする構成としてもよい。
また、通行人の検知だけでなく、スーパーなどのショッピングカートや自動車を検知する構成としてもよい。
また、ビデオカメラの画像とレーザの軌跡データを組み合わせて、通行人の軌跡を映像として表示しても良い。
【００３９】
【発明の効果】
以上の説明で明らかなように、本発明によれば、複数の検知手段で通行人を検知し、同期手段によって検知時間の同期を行い、統合手段によって複数のクライアントが抽出した通行人の位置座標を１つの座標系に統合することで、広範囲にわたる通行人の移動軌跡を検出できる。また、複数の検知手段を複数のクライアントが個々に制御することで、計算量が少なくて済み、リアルタイムで通行人の移動軌跡を追うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る通行人軌跡計測システムの概略構成を示すブロック図である。
【図２】同実施形態におけるサーバ１の動作を示すフローチャートである。
【図３】同実施形態におけるクライアントの動作を示すフローチャートである。
【図４】同実施形態における重心点を用いた軌跡抽出の動作を示すフローチャートである。
【図５】同実施形態における重心点を用いた軌跡の延長方法の動作を示すフローチャートである。
【図６】同実施形態におけるカルマンフィルタを用いた軌跡抽出の動作を示すフローチャートである。
【図７】同実施形態におけるカルマンフィルタを用いた軌跡の延長方法の動作を示すフローチャートである。
【図８】同実施形態における通行人の歩行モデルの例である。
【図９】同実施形態におけるカルマンフィルタを用いた状態モデルの予測を示すフローチャートである。
【図１０】同実施形態におけるカルマンフィルタを用いた状態モデルの更新を示すフローチャートである。
【図１１】同実施形態における通行人の足を判別するクラスタ化とグループ化の例を示す。
【図１２】同実施形態における通行人の両足が交互に移動するパターンの判別による新規軌跡の抽出の例を示す。
【図１３】同実施形態におけるカルマンフィルタを用いた状態モデルの予測を示すアルゴリズムである。
【図１４】同実施形態における足振り位相の判別による加速度に関する状態ベクトルの予測を示すアルゴリズムである。
【図１５】同実施形態におけるカルマンフィルタを用いた状態ベクトルの更新を示すアルゴリズムである。
【符号の説明】
１…サーバ、１１〜１３…クライアント、２１〜２３…レーザセンサ
【図１】
2004191095.tif 000010
【図２】
2004191095.tif 000011
【図３】
2004191095.tif 000012
【図４】
2004191095.tif 000013
【図５】
2004191095.tif 000014
【図６】
2004191095.tif 000015
【図７】
2004191095.tif 000016
【図８】
2004191095.tif 000017
【図９】
2004191095.tif 000018
【図１０】
2004191095.tif 000019
【図１１】
2004191095.tif 000020
【図１２】
2004191095.tif 000021
【図１３】
2004191095.tif 000022
【図１４】
2004191095.tif 000023
【図１５】
2004191095.tif 000024