(57)【要約】  移動体を監視して追従する際の不可欠な要素となる外部の監視カメラを用いた移動体の測位装置を提供する。  移動体に備えられる加速度センサにより当該移動体の移動速度ベクトルを出力する自蔵センサ群と、前記自蔵センサ群の出力に基づいて移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力する移動速度ベクトル推定処理装置と、外部から移動体を撮影する監視カメラと、前記監視カメラの映像を解析して映像中の移動体の足元の位置を計測して、その足元の位置の移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力する映像解析処理装置と、前記移動速度ベクトル推定処理装置の出力系列と前記映像解析処理装置の出力系列を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号として出力する移動速度ベクトル照合処理装置とを備える。
2011068184.tif 000002
【特許請求の範囲】
【請求項１】
移動体に備えられ、移動体の移動を計測して出力する内界観測装置と、
前記内界観測装置の出力に基づいて、前記移動体の移動を推定する内界観測データ処理装置と、
複数の移動体の移動を観測する外界観測装置と、
前記外界観測装置の観測結果から前記移動体の移動を推定する外界観測データ処理装置と、
前記内界観測データ処理装置からの出力と前記外界観測データ処理装置とを照合して、照合結果を、ＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号として出力する照合処理装置と、
を備えることを特徴とする移動体の測位装置。
【請求項２】
請求項１記載の移動体の測位装置であって、
前記内界観測装置は、移動体に備えられる加速度センサにより当該移動体の移動速度ベクトルを出力する自蔵センサ群を有し、
前記内界観測データ処理装置は、前記自蔵センサ群の出力に基づいて移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力する移動速度ベクトル推定処理装置であり、
前記外界観測装置は、外部から移動体を撮影する監視カメラを有し、
前記外界観測データ処理装置は、前記監視カメラの映像を解析して映像中の移動体の足元の位置を計測して、その足元の位置の移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力し、
前記照合処理装置は、前記移動速度ベクトル推定処理装置の出力系列と前記映像解析処理装置の出力系列を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号として出力する移動速度ベクトル照合処理装置である
ことを特徴とする移動体の測位装置。
【請求項３】
請求項１記載の移動体の測位装置であって、
前記内界観測装置は、移動体に備えられる加速度センサにより移動速度ベクトルの積算による当該移動体の移動ベクトルを出力する自蔵センサ群を有し、
前記内界観測データ処理装置は、前記自蔵センサ群の出力に基づいて移動ベクトルを計測し、計測した時刻と共に移動ベクトルの出力系列を出力する移動ベクトル推定処理装置であり、
前記外界観測装置は、外部から移動体を撮影する監視カメラを有し、
前記外界観測データ処理装置は、前記監視カメラの映像を解析して映像中の移動体の足元の位置を計測して、その足元の位置の移動ベクトルを計測し、計測した時刻と共に移動ベクトルの出力系列を出力する映像解析処理装置であり、
前記照合処理装置は、前記移動ベクトル推定処理装置の出力系列と前記映像解析処理装置の出力系列を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号を出力する移動速度ベクトル照合処理装置である
ことを特徴とする移動体の測位装置。
【請求項４】
請求項１記載の移動体の測位装置であって、
前記内界観測装置は、移動体に備えられる加速度センサにより移動速度ベクトルの積算による当該移動体の移動ベクトルを出力する自蔵センサ群を有し、
前記内界観測データ処理装置は、前記自蔵センサ群の出力に基づいて前記移動体の動作種別を識別し、計測した時刻と共に識別結果を出力する自蔵センサベース動作識別処理装置であり、
前記外界観測装置は、外部から移動体を撮影する監視カメラを有し、
前記外界観測データ処理装置は、前記監視カメラの映像を解析して映像中の移動体の動作種別を識別し、計測した時刻と共に識別結果を出力する映像解析処理装置であり、
前記照合処理装置は、前記自蔵センサベース動作識別処理装置の出力と前記映像解析処理装置の出力を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号を出力する動作種別照合処理装置である
ことを特徴とする移動体の測位装置。
【請求項５】
請求項２または請求項３に記載の移動体の測位装置において、
前記照合処理装置は、
前記内界観測データ処理装置からの出力系列と前記外界観測データ処理装置からの出力系列を照合する場合において、
監視カメラの映像から推定された移動体の足元の位置の床面上に投影される監視カメラの映像の単位画素の面積の大きさに応じて重み係数を決定して照合の処理を行う
ことを特徴とする移動体の測位装置。
【請求項６】
請求項５に記載の移動体の測位装置において、
照合の処理においては、単位画素の面積が大きく投影されるほど重み係数を小さくし、単位画素の面積が小さく投影されるほど重み係数を大きくする
ことを特徴とする移動体の測位装置。
【請求項７】
請求項２または請求項３に記載の移動体の測位装置において、更に、
位置補正信号出力装置を備えており、
前記位置補正信号出力装置は、
前記照合処理装置がＴＲＵＥ（真）信号を出力するとき、前記外界観測データ処理装置から出力される移動体の位置座標を、自蔵センサ群が装着されている移動体の位置として補正する信号を出力する
ことを特徴とする移動体の測位装置。
【請求項８】
請求項２または請求項３に記載の移動体の測位装置において、更に、
歩行パラメータ推定処理装置を備えており、
前記内界観測データ処理装置は予め設定された個人差パラメータに基づいて移動速度ベクトルの出力系列を補正して出力し、
前記歩行パラメータ推定処理装置は、
前記照合処理装置がＴＲＵＥ（真）信号を出力するとき、
照合された移動速度ベクトルの時系列データと前記自蔵センサのセンサデータ出力系列のペア情報を用いて、前記内界観測データ処理装置における個人差パラメータを再設定する
ことを特徴とする移動体の測位装置。
【請求項９】
請求項２または請求項３に記載の移動体の測位装置において、更に、
移動体を識別する識別情報を記憶して表示する識別情報記憶表示装置を備え、
前記識別情報記憶表示装置は、
前記照合処理装置がＴＲＵＥ（真）信号を出力するとき、
前記監視カメラの映像中の移動体を指し示す情報として、自蔵センサを装着している移動体の識別情報を記憶して表示し、
前記照合処理装置がＦＡＬＳＥ（偽）信号を出力するとき、
前記監視カメラの映像中の移動体を指し示す情報として、自蔵センサを装着していないことを示す識別情報を記憶して表示する
ことを特徴とする移動体の測位装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体を監視して追従する際の不可欠な要素となる外部の監視カメラを用いた移動体の測位装置に関するものである。
【背景技術】
【０００２】
人の腰部やつま先などに装着された自蔵センサ（加速度・ジャイロ・磁気・気圧センサなど）を用いて、歩行者としての人の歩行動作に特化して、その位置・方位を計測する技術を歩行者デッドレコニング（ＰＤＲ＝Ｐｅｄｅｓｔｒｉａｎ  Ｄｅａｄ  Ｒｅｃｋｏｎｉｎｇ）と呼び、従来からよく研究されている（非特許文献１）。【０００３】
ＰＤＲにおいては、自蔵センサの出力を人の歩行動作の制約条件を考慮して解析し、歩行者の移動ベクトルまたは移動速度ベクトルを逐一推定して、積算する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】興梠正克、大隈隆史、蔵田武志、「歩行者ナビのための自蔵センサモジュールを用いた屋内測位システムとその評価」、シンポジウム「モバイル08」予稿集、ｐｐ．１５１−１５６，２００８
【非特許文献２】E.Foxlin,"Pedestrian  Tracking  with  Shoe-Mounted  Inertial  Sensors",IEEE  Computer  Graphics  and  Applications,  vol.25,no.6,pp.38-46,2005.
【非特許文献３】石川智也、Thangamani  Kalaivani、興梠正克、Andrew  P.Gee、ウォルテリオ・マヨール、Keechul  Jung、蔵田武志、「カメラと自蔵センサモジュールを併用したインタラクティブ3 次元屋内環境モデラ」、日本ＶＲ学会研究報告、Ｖｏｌ．１４、ＣＳ−３、ｐｐ．６５−７０、２００９
【非特許文献４】谷口、西尾、鳥山、馬場口、萩田、「監視カメラ映像におけるＧＰＳ端末携帯ユーザの同定と追跡」、情報処理学会ＣＶＩＭ研究報告、２００６−ＣＶＩＭ−１５３，ｐｐ．３１５−３２０、２００６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＰＤＲの技術開発に関係して、ＰＤＲをより実用的なものとするため、更に解決されるべき課題としては、次のような課題がある。【０００６】
第１に、ＰＤＲに基づく位置・方位計測装置においては、移動の経過に伴ってその計測誤差が徐々に累積するという問題である。【０００７】
第２に、ＰＤＲにおいては、非特許文献１にも述べられているように、歩行者の個人差によって推定される移動速度の大きさにはある程度のばらつきがあり、これを適切に補正する個人差パラメータを求める必要がある。事前にキャリブレーション動作を歩行者がおこなうことで個人差パラメータを推定することは可能であるが、その手順が煩雑であり、実用上では問題となる。【０００８】
第３に、監視カメラからの映像に基づいて、第１と第２の問題を解決するにあたって、監視カメラから撮影される映像中の人物と、ＰＤＲがトラッキングしている人物を対応付けなければならないが、これまでの技術では、確実に対応づけることは困難である。【０００９】
本発明の目的は、このような問題を解決するためになされたものであり、移動体を監視して追従する際の不可欠な要素となる外部の監視カメラを用いた移動体の測位装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記のような目的を達成するため、本発明による移動体の測位装置において、第１の問題であるＰＤＲによる計測誤差の累積については、外部に設置された監視カメラの映像の解析結果とＰＤＲによる計測結果を組み合わせることにより、ＰＤＲの計測結果を補正することによって、その問題を解決する。すなわち、監視カメラの映像中の人物とＰＤＲがトラッキングする人物を対応づけて、監視カメラの映像中の人物の位置に、ＰＤＲの位置を補正する。【００１１】
また、第２の問題である歩行者の個人差パラメータの推定については、本発明による移動体の測位装置においては、監視カメラの映像を解析することによって、映像中の人物の位置を追跡し、その移動速度ベクトルを推定することが可能であるので、この結果とＰＤＲのセンサデータを解析することによって、個人差パラメータを推定する。【００１２】
また、本発明による移動体の測位装置においては、第３の問題である監視カメラの映像中の人物とＰＤＲがトラッキングする人物の対応付けについては、以下の手順を踏んで解決する。すなわち、まず、歩行者がその上を移動する床面との設置関係が既知である監視カメラの映像を解析することにより、背景との差分画像に着目して、前景の人物画像を切りだして、その人物の頭と足元の位置を推定する。次に、その足元の位置を逐一トラッキングすることによって、その移動速度ベクトルもしくは移動ベクトルを推定する。この移動速度ベクトルもしくは移動ベクトルを、ＰＤＲが出力する移動速度ベクトルもしくは移動ベクトルと照合することによって、ＰＤＲの出力と監視カメラが追跡する人物を対応付ける。【００１３】
本発明の構成として、本発明の移動体の測位装置は、移動体に備えられ、移動体の移動を計測して出力する内界観測装置と、内界観測装置の出力に基づいて、移動体の移動を推定する内界観測データ処理装置と、複数の移動体の移動を観測する外界観測装置と、外界観測装置の観測結果から前記移動体の移動を推定する外界観測データ処理装置と、内界観測データ処理装置からの出力と前記外界観測データ処理装置とを照合して、照合結果を、ＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号として出力する照合処理装置とを備えることを特徴とする。【００１４】
具体的には、本発明による移動体の測位装置は、移動体に備えられる加速度センサにより当該移動体の移動速度ベクトルを出力する自蔵センサ群と、前記自蔵センサ群の出力に基づいて移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力する移動速度ベクトル推定処理装置と、外部から移動体を撮影する監視カメラと、前記監視カメラの映像を解析して映像中の移動体の足元の位置を計測して、その足元の位置の移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力する映像解析処理装置と、前記移動速度ベクトル推定処理装置の出力系列と前記映像解析処理装置の出力系列を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号として出力する移動速度ベクトル照合処理装置とを備えることを特徴とする。【００１５】
また、本発明による移動体の測位装置は、その構成として、移動体に備えられる加速度センサにより移動速度ベクトルの積算による当該移動体の移動ベクトルを出力する自蔵センサ群と、前記自蔵センサ群の出力に基づいて移動ベクトルを計測し、計測した時刻と共に移動ベクトルの出力系列を出力する移動ベクトル推定処理装置と、外部から移動体を撮影する監視カメラと、前記監視カメラの映像を解析して映像中の移動体の足元の位置を計測して、その足元の位置の移動ベクトルを計測し、計測した時刻と共に移動ベクトルの出力系列を出力する映像解析処理装置と、前記移動ベクトル推定処理装置の出力系列と前記映像解析処理装置の出力系列を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号を出力する移動ベクトル照合処理装置とを備えることを特徴とする。【００１６】
また、本発明による移動体の測位装置は、その構成として、移動体に備えられる加速度センサにより移動速度ベクトルの積算による当該移動体の移動ベクトルを出力する自蔵センサ群と、自蔵センサ群の出力に基づいて移動体の動作種別を識別し、計測した時刻と共に識別結果を出力する自蔵センサベース動作識別処理装置と、外部から移動体を撮影する監視カメラと、監視カメラの映像を解析して映像中の移動体の動作種別を識別し、計測した時刻と共に識別結果を出力する映像解析処理装置と、照合処理装置は、自蔵センサベース動作識別処理装置の出力と映像解析処理装置の出力を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号を出力する動作種別照合処理装置であることを特徴とする。【００１７】
また、本発明による移動体の測位装置において、移動速度ベクトル照合処理装置は、移動速度ベクトル推定処理装置からの出力系列と映像解析処理装置からの出力系列を照合する場合において、監視カメラの映像から推定された移動体の足元の位置の床面上に投影される監視カメラの映像の単位画素の面積の大きさに応じて重み係数を決定して照合の処理を行うようにも構成される。これは、移動ベクトル照合処理装置が、移動ベクトル推定処理装置からの出力系列と映像解析処理装置からの出力系列を照合する場合においても、同様に行われる。また、この場合に、照合の処理においては、単位画素の面積が大きく投影されるほど重み係数を小さくし、単位画素の面積が小さく投影されるほど重み係数を大きくする。【００１８】
また、別の特徴として、本発明による移動体の測位装置においては、更に、位置補正信号出力装置を備えており、前記位置補正信号出力装置は、前記移動速度ベクトル照合処理装置がＴＲＵＥ（真）信号を出力するとき、映像解析処理装置から出力される移動体の位置座標を、自蔵センサ群が装着されている移動体の位置として補正する信号を出力するように構成される。【００１９】
更に別の特徴として、本発明による移動体の測位装置においては、更に、歩行パラメータ推定処理装置を備えており、前記移動速度ベクトル推定処理装置は予め設定された個人差パラメータに基づいて移動速度ベクトルの出力系列を補正して出力し、前記歩行パラメータ推定処理装置は、前記移動速度ベクトル照合処理装置がＴＲＵＥ（真）信号を出力するとき、照合された移動速度ベクトルの時系列データと前記自蔵センサのセンサデータ出力系列のペア情報を用いて、前記移動速度ベクトル推定処理装置における個人差パラメータを再設定するように構成される。【００２０】
また、本発明による移動体の測位装置においては、更に、移動体を識別する識別情報を記憶して表示する識別情報記憶表示装置を備え、前記識別情報記憶表示装置は、前記移動速度ベクトル照合処理装置がＴＲＵＥ（真）信号を出力するとき、前記監視カメラの映像中の移動体を指し示す情報として、自蔵センサを装着している移動体の識別情報を記憶して表示し、前記移動速度ベクトル照合処理装置がＦＡＬＳＥ（偽）信号を出力するとき、前記監視カメラの映像中の移動体を指し示す情報として、自蔵センサを装着していないことを示す識別情報を記憶して表示するように構成される。
【発明の効果】
【００２１】
上記のような特徴を有する本発明の移動体の測位装置を用いることにより、外界観測装置である例えば監視カメラの映像中に、内界観測装置であって測位装置の自蔵センサ群である例えばＰＤＲセンサの装着者（移動体）が入ったとき、その映像の解析結果に基づいて装着者（移動体）の位置の推定結果を補正することが可能となり、従来技術のように、ＰＤＲによる位置・方位の計測誤差が移動に伴って蓄積するということが無くなる。【００２２】
また、本発明の移動体の測位装置を用いることにより、外界観測装置である例えば監視カメラの映像に、内界観測装置であって測位装置の自蔵センサ群である例えばＰＤＲセンサの装着者が写っている場合には、その映像に基づいて装着者（移動体）の移動速度を推定することが可能であり、この結果に基づいてＰＤＲのセンサデータと対応づけることによって、装着者の個人差パラメータを推定することができる。推定した個人差パラメータにより、事前にキャリブレーション動作を行うことが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明による移動体の測位装置の概略的な構成について説明する図である。
【図２】本発明による移動体の測位装置の基本的な処理要素の構成を説明するブロック図である。
【図３】本発明による移動体の測位装置の別の実施例における構成を説明する図である。
【図４】本発明による移動体の測位装置の別の実施例の構成を説明するブロック図である。
【図５】本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。
【図６】本発明による移動体の測位装置の別の実施例の構成を説明するブロック図である。
【図７】移動速度ベクトル照合処理装置または移動ベクトル照合処理装置が行う照合処理において重み係数を設定する処理フローを説明するフローチャートである。
【図８】本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。
【図９】本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。
【図１０】本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。
【発明を実施するための形態】
【００２４】
以下、本発明の移動体の測位装置を実施するための形態について、図面を用いて具体的に説明する。図１は、本発明による移動体の測位装置の概略的な構成について説明する図であり、図２は、本発明による移動体の測位装置の基本的な処理要素の構成を説明するブロック図である。
【００２５】
図１において、外界観測装置１１は、道路や広場、海上など、所定の空間（外界）における複数の移動体の移動を観測することができる装置である。外界観測装置１１として、例えば、監視カメラやＺ値センサ、レーザレンジファインダが挙げられる。内界観測装置１２は、移動体に装着される装置であって、移動体の運動を計測する装置である。内界観測装置１２として、加速度センサや磁気センサ、角速度センサ、気圧センサといった移動を計測するセンサと時計との組み合わせが考えられる。なお、移動を計測するセンサとして加速度センサ、磁気センサ、角速度センサ、気圧センサとともに、温度センサを組み合わせて用いてもよい。移動体の例としては、歩行者や自転車、自動車、航空機、船舶などが考えられる。
【００２６】
ここで、外界観測装置１１は、内界観測装置１２を装着した移動体（この図の例では歩行者であって移動体２となる）と内界観測装置を装着していないか、装着していてもその情報を外部に送出していない移動体１（同様にこの例では歩行者）とが、それぞれ外界観測装置１１によって観測される。このときに、観測対象となる複数の移動体についてそれぞれの移動を移動速度ベクトルや移動ベクトル、動作識別などにより、各離散時刻において推定する。
【００２７】
例えば、外界観測装置１１が移動体を撮影する監視カメラであるときは、その形状や色などの特徴に基づいて、監視カメラの映像中の移動体を適宜追跡し、その移動速度ベクトルを推定する移動速度ベクトル推定処理装置との組み合わせによって実現可能である。
【００２８】
また、外界観測装置１１として、外界の深度（Z値）を計測するセンサを用いて、その深度によって撮影対象である移動体を検出し、その移動速度ベクトルを推定するZ値解析装置との組み合わせによって実現可能である。Z値を計測するセンサとしては、パッシブなセンサとしてはステレオカメラによる深度計測装置が考えられ、アクティブなセンサとしては赤外光を投光してその反射に要する時刻を計測することで距離（Z値）を計測する装置が考えられる。
【００２９】
あるいは、外界に対してレーザ光を照射してその反射光に基づいて移動体までの距離を計測するレーザレンジファインダ（Laser  Range  Finder,LRF）を外界観測装置１１として用いて、その距離の計測結果に基づいて移動体を検出して、その移動速度ベクトルを推定する解析装置との組み合わせによって実現可能である。
【００３０】
一方、内界観測装置１２はこれを装着している移動体の移動を移動速度ベクトルや移動ベクトル、動作識別などにより、各離散時刻において推定する。外界と内界でそれぞれ観測された移動速度ベクトルの時系列データは、通信手段（たとえば、無線データ通信網を用いる）により一カ所に集められる。そこで、外界観測装置１１が捕捉している一つ以上の移動体の移動速度ベクトルの時系列データと内界観測装置１２が出力した移動速度ベクトルの照合処理（Ａ）が行われ、照合が成功して同一の移動体による移動速度ベクトルの時系列と見なせるとき、TRUE（真）信号を出力し、それ以外のときはFALSE（偽）信号を出力する。
【００３１】
図２は、本発明による移動体の測位装置の基本的な処理要素の構成を説明するブロック図である。外界観測装置２１は、図１の外界観測装置１１と同様で一つ以上の移動体を検出してその結果を時刻データ付きで出力する装置である。出力データ３０は用いる外界観測装置によって異なり、たとえばカメラを用いた場合では時刻付き映像データであり、Z値センサを用いた場合では時刻付きZ値の集合であり、レーザレンジファインダを用いた場合であれば、時刻付き距離データの集合である。外界観測データ処理装置２４は、出力データ３０に基づいて、移動体を検出し、その移動速度ベクトル又は移動ベクトル、移動体の動作識別結果の時系列データを出力する装置であり、具体的にはメモリやプロセッサ、入出力インターフェースを有するコンピュータである。これは、たとえば、映像解析において形状や色などの特徴量に基づいて対象とする移動体（たとえば人物）を検出する処理によって実現可能である。
【００３２】
内界観測装置２２は、図１の内界観測装置２１と同様で図１に示すように、移動体に装着されてその運動を計測する装置である。これはたとえば、自蔵センサ（加速度・磁気・角速度・気圧・温度センサの組み合わせ）と時計（リアルタイムクロックなど）によって実現可能である。内界観測データ処理装置２３は、たとえば、移動速度ベクトルを推定する場合、自蔵センサの時刻付き出力に基づいて、（３次元）世界座標系に固定された加速度ベクトルを取得し、その加速度積分によって移動速度ベクトルを推定する装置であり、具体的にはメモリやプロセッサ、入出力インターフェースを有するコンピュータである。また、移動体を歩行者に限定した場合には、PDR（Pedestrian  Dead  Reckoning＝歩行者デッドレコニング）の手法によって、移動速度ベクトルを推定することで、実現可能である。内界観測データ処理装置２３は、装着している移動体の移動速度ベクトル、移動ベクトル又は移動体の動作識別結果の時系列データ（３３）を出力する。
【００３３】
最後に、照合処理装置２５では、外界観測装置２１に基づいて得られる一つの移動体に関する移動速度ベクトル、移動ベクトル又は移動体の動作識別結果の時系列データ（３１）と、内界観測装置２２に基づいて得られる移動速度ベクトル、移動ベクトル又は移動体の動作識別結果の時系列データ（３３）とを照合し、照合できる場合にはTRUE（真）信号を出力し、それ以外のときFALSE（偽）信号を出力する（３４）。なお、照合処理装置２５も、メモリやプロセッサ、入出力インターフェースなどを備えるコンピュータであり、外界観測データ処理装置や内界観測データ処理装置から受信したデータをプロセッサにより照合処理を行う。
【００３４】
例えば、移動速度ベクトルの時系列データの照合処理の場合、移動速度ベクトルの時系列データ（３１）と、内界観測装置２２に基づいて得られる移動速度ベクトルの時系列データ（３３）に基づいて、移動速度ベクトルの時系列データ間の距離尺度を事前に定めておき、これが一定の閾値以下になるとき、二つの移動速度ベクトルを照合できると判定し、TRUE（真）信号を出力し、それ以外のときFALSE（偽）信号を出力する（３４）。なお、前述した距離尺度は、二つの時系列データが保持する時刻データに一定のジッタ（時刻差）が存在することを許容するものを選別して用いることとする。
【００３５】
図３において、監視カメラ１０１が床面に対する配置関係などが既知となるように設置されており、監視カメラ１０１が撮影している映像中には、人がよく通過する通路や広場などが写されている。自蔵センサ１０２は、外部からのインフラ支援なしに動作しうるセンサの集まりであって、たとえば、加速度センサやジャイロセンサ、磁気センサ、気圧センサなどが用いられる。
【００３６】
ここでは、監視カメラ１０１においては、監視カメラ１０１が設置されている外部環境に対する並進・回転移動パラメータと焦点距離・スケール係数から成るカメラパラメータは、スケールが適正に設定されて作成された環境モデルが存在するとき、次の手順によって求められる。なお、このような環境モデルは、非特許文献３において説明されている方法などを用いて、モデラーアプリケーションプログラム（モデラアプリ）を実行することにより、それを使ってインタラクティブに作成できる。非特許文献３に述べられているように、前述したモデラアプリを用いて、ユーザからの指示に基づいて環境中の消失点を求める手順を行う（具体的には環境中で平行な二組の直線のペアをユーザが選択する）。
【００３７】
図３においては、自蔵センサ１０２を装着した移動体の歩行者が、監視カメラ１０１の映像中に写り込んで移動していることが検知されて、監視カメラ１０１の映像中の人物と自蔵センサ１０２を装着した歩行者とを照合する処理（Ａ）が行われる。
【００３８】
図４において、２０１は監視カメラ、２０２は自蔵センサ群、２０３は移動速度ベクトル推定処理装置、２０４は映像解析処理装置、２０５は移動速度ベクトル照合処理装置である。これらの処理要素の構成により、監視カメラの映像と自蔵センサの出力を照合してＴＲＵＥ／ＦＡＬＳＥ信号を出力する。
【００３９】
監視カメラ２０１が撮影する映像（各時刻のフレーム画像）は映像解析処理装置２０４へ出力され、そこで移動体の人物の像の候補が選別されてその足元の位置が推定されて、その時間微分によって各時刻における移動速度ベクトルが推定され、移動速度ベクトルの出力系列が出力される。なお、監視カメラの代わりに、ステレオカメラによる深度計測装置やレーザレンジファインダを用いてデータを取得し、移動速度ベクトルの推定を行ってもよい。以下、移動体を人物として説明する。
【００４０】
ここで、２１０は監視カメラの映像の各フレーム画像の情報を表しており、２１１は各フレーム画像を解析した結果の情報を表している。解析結果の情報２１１は、映像中に人物が存在している場合はその人物の足元の床面上の位置座標を表わすデータを出力しており、存在しない場合はそのことを示す信号を表わすデータを出力している。
【００４１】
一方で、自蔵センサ群２０２の出力データ２１２は、移動速度ベクトル推定処理装置２０３へ出力されて、そこで自蔵センサ群２０２の出力データ（加速度ベクトル・角速度ベクトル・磁気ベクトル・気圧のデータ）に基づいて、各時刻における装着者（人物）の移動速度ベクトルが推定される。
【００４２】
出力データ２１２は、前述の通り、自蔵センサ群２０２が備えているセンサからのセンサデータの出力である。自蔵センサ群２０２はタイマを持っており、タイマにより取得時のタイムスタンプ情報を有する加速度ベクトル・角速度ベクトル・磁気ベクトル・気圧データが出力される。自蔵センサ群２０２の出力データ２１２のセンサデータに基づく移動速度ベクトルの算出は、たとえば、非特許文献１に説明されている方法によるデータ処理を行って算出される。移動速度ベクトル推定処理装置２０３から出力されるデータ２１３は、自蔵センサ群２０２を装着している移動体（人物）の移動速度ベクトルの出力系列のデータである。
【００４３】
移動速度ベクトル照合装置２０５は、映像解析処理装置２０４が出力する移動速度ベクトルの出力系列と移動速度ベクトル推定処理装置２０３が出力する移動速度ベクトルの出力系列を一定時間だけ蓄積して比較し、一致するかどうかの判定を行う。この判定のデータ処理は、たとえば、非特許文献４に記載されているように、二つの移動速度ベクトル間の差分ベクトルの大きさの総和を算出し、時間の長さもしくはサンプル数で正規化したうえで、所定の閾値との比較をおこない、その閾値以下であれば照合したものとみなすデータ処理である。
【００４４】
移動速度ベクトル照合装置２０５から出力される出力データ２１４としては、自蔵センサ群２０２のセンサデータに基づいて、移動速度ベクトル推定処理装置２０３により推定処理された移動速度ベクトルの時系列データと、映像解析処理装置２０４によって、監視カメラ２０１の各フレーム画像の解析処理結果として得られた映像中の人物の足元の位置座標から推定される移動速度ベクトルの二つが照合されて、その結果、照合された場合はＴＲＵＥ（真）を、そうでない場合はＦＡＬＳＥ（偽）を表わす信号が出力される。
【００４５】
上記の実施例の移動体の測位装置は、移動速度ベクトルの出力系列によって照合の処理を行っているが、この移動速度ベクトルを照合していた部分を、移動ベクトル（すなわち相対位置ベクトル）によって照合の処理を行うこともできる。このような構成の実施例について、次に説明する。
【００４６】
図５は、本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。図５において、３０１は監視カメラ、３０２は自蔵センサ群、３０３は移動ベクトル推定処理装置、３０４は映像解析処理装置、３０５は移動ベクトル照合処理装置である。監視カメラ３０１は、図４における監視カメラ２０１と同様である。監視カメラ３０１からはフレーム画像信号３１０が出力される。映像解析処理装置３０４は、フレーム画像信号３１０を入力としてフレーム画像の中に人物像（移動体）が存在すると判定されるとき、その人物像の移動ベクトル３１１の出力系列を出力する。
【００４７】
一方、自蔵センサ群３０２は、図４における自蔵センサ群２０２と同様である。自蔵センサ群３０２からの出力データ３１２は、タイムスタンプが付加された加速度ベクトル・角速度ベクトル・磁気ベクトル・気圧データなどのセンサデータの出力系列である。移動ベクトル推定処理装置３０３では、このような自蔵センサ群３０２から出力データ３１２のセンサデータが入力として与えられたとき、速度ベクトルを積算処理するなどのデータ処理によって、自蔵センサの装着者（移動体）の相対移動ベクトルを推定して出力する。このような移動ベクトルの推定処理については、たとえば、非特許文献１に説明されているように、移動速度を推定したのち、その時間に関する１階積分によって求めるデータ処理を利用することができ、この方法によるデータ処理を用いる。移動ベクトル推定処理装置３０３からは、求めた相対移動速度ベクトルの出力系列の出力データ３１３が出力される。
【００４８】
移動ベクトル照合処理装置３０５は、映像解析処理によって得られた移動ベクトルの出力データ３１１の時系列データと、センサデータに基づく移動ベクトル推定処理によって得られた相対移動ベクトルの出力データ３１３の時系列データとを照合する。二つの移動ベクトルの時系列データの照合方法としては、二つの移動ベクトル間の差分ベクトルの大きさの総和を算出し、時間の長さもしくはサンプル数で正規化したうえで、所定の閾値との比較を行い、その閾値以下であれば照合したものと判定する照合処理を行う。移動ベクトル照合処理装置３０５は、出力データ３１４として、このような処理によって、照合されたと判定される場合には、ＴＲＵＥ（真）信号を出力し、それ以外の場合には、ＦＡＬＳＥ（偽）信号を出力する。
【００４９】
ここでの映像解析処理装置３０４の映像解析処理において、監視カメラ３０１の映像中において、人物像が小さく写り込むときはその画像に基づく位置の検出精度は、人物像が大きく写りこむときに比べて下がる。これは、監視カメラの単位画素が床面上に逆投影されるときに、その面積に反比例して信頼度が変化することを意味する。このため、移動ベクトル照合処理装置３０５は、移動ベクトル推定処理装置３０３からの出力系列と映像解析処理装置３０４からの出力系列を照合する場合において、監視カメラの映像から推定された移動体の足元の位置の床面上に投影される監視カメラの映像の単位画素の面積の大きさに応じて重み係数を決定して照合の処理を行う。
【００５０】
この場合に、照合の処理においては、単位画素の面積が大きく投影されるほど重み係数を小さくし、単位画素の面積が小さく投影されるほど重み係数を大きくする。このような処理は、図４により説明した移動体の測位装置の実施例においても、同様に行うことができる。すなわち、その場合には、移動速度ベクトル照合処理装置２０５は、移動速度ベクトル推定処理装置２０３からの出力系列と映像解析処理装置２０４からの出力系列を照合する場合において、監視カメラの映像から推定された移動体の足元の位置の床面上に投影される監視カメラの映像の単位画素の面積の大きさに応じて重み係数を決定して照合の処理を行う。
【００５１】
図６は、本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。図６記載の実施例は、内界観測装置や外界観測装置による観測データをもとに、内界観測データ処理装置である自蔵ベース動作種別処理装置と、外界観測データ処理装置である映像解析処理装置とが、移動体の動作種別を識別し、識別結果の時系列データを照合処理装置において照合するものである。
【００５２】
図６において、３２０１は監視カメラ、３２０２は自蔵センサ群、３２０３は自蔵ベース動作種別処理装置、３２０４は映像解析処理装置（動作種別処理装置）、３２０５は動作種別照合処理装置である。監視カメラ３２０１は図２における外界観測装置２１にあたり、監視カメラ２０１や３０１と同様である。監視カメラ３２０１からは時刻付き映像信号３２１０が出力される。映像解析処理装置（動作種別処理装置）３２０４は、映像信号３２１０を入力として、映像の中に存在する移動体（人物等）の動きを解析して、その動作を認識・識別する。人物の動作種別の認識手法としては、HMM（Hidden  Markov  Model）などの画像処理・コンピュータビジョンの手法がいくつか知られており、それを用いることで実現する。また、その移動体の動作種別を識別すると、動作種別の識別結果３２１１を出力する。
【００５３】
一方、自蔵センサ群３２０２は、図２における内界観測装置２２にあたり、自蔵センサ群２０２、３０２と同様である。自蔵センサ群３２０２からの出力データ３２１２は、タイムスタンプが付加された加速度ベクトル・角速度ベクトル・磁気ベクトル・気圧データ・温度データなどのセンサデータの出力系列である。
【００５４】
自蔵ベース動作種別処理装置３２０３は、出力データ３２１２に基づいて、装着者の動作種別を識別・認識する。このような動作種別処理装置は、たとえば、自蔵センサ群の出力の一部である加速度ベクトルと角速度ベクトルなどの時系列データの時間領域での特徴量ベクトルと、その時系列データのフーリエ変換により変換された周波数領域での特徴量ベクトルとを算出する。この時間領域と周波数領域の２種類の特徴量ベクトルの組み合わせに対応する動作種別を、計算機を用いて機械学習させる方法により実現可能である。機械学習のフレームワークとしては、AdaBoost（Adaptive  Boosting＝適応的ブースティング）やDP（Dynamic  Programming＝動的計画法）マッチング、SVM（Support  Vector  Machine＝サポートベクタマシン）などがあり、こうしたフレームワークで事前もしくは動的に収集したデータを機械学習した結果を用いて、入力された時系列センサデータを学習済みのモデルや模範データなどと照合することで、入力センサデータに対して特定の識別結果を付与することが可能である。この手法を用いることで、動作種別の識別結果の時系列データを出力（３２１３）することが可能である。
【００５５】
動作種別照合処理装置３２０５は、図２における照合処理装置２５にあたり、動作種別処理装置３２０４の出力３２１１と、自蔵ベース動作種別処理装置３２０３の出力３２１３に基づいて、二つの動作種別の認識結果の時系列データについて照合する。このとき、時系列動作種別認識結果データ間の距離尺度を定義して、その距離が一定の閾値以下になったときに、二つの時系列データは照合されたものとして、TRUE（真）信号を出力し、それ以外のときにFALSE（偽）信号を出力する（３２１４）。
【００５６】
図７は、移動速度ベクトル照合処理装置または移動ベクトル照合処理装置が行う照合処理において重み係数を設定する処理フローを説明するフローチャートである。図７を参照して説明する。この処理では、ステップＳ４０１において、監視カメラの映像から人物が存在する床面上の位置を求め、次に、ステップＳ４０２において、監視カメラの単位画素が人物が存在する床面上に投影される面積を求める。そして、次のステップＳ４０３において、求めた面積の大きさに応じて、その位置での重み係数を決定し、ステップＳ４０４において、軌跡上での各点上での重み係数を記憶する。このようにして、重み係数を決定して照合の処理を行う。
【００５７】
また、本発明の移動体の測位装置においては、個人差パラメータを設定して推定処理におけるデータ処理の精度を向上できるように変形できる。この場合には、監視カメラの映像と自蔵センサの出力が照合されたとき、映像中の人物像の移動速度ベクトルと自蔵センサの出力系列を用いて、自蔵センサを装着した人物の歩行動作を特徴づけるような個人差パラメータを推定するようにして、個人差パラメータを設定する。
【００５８】
これは、監視カメラの映像中の人物像の移動速度ベクトルもしくは移動ベクトルが、自蔵センサ群に基づくセンサデータに基づいて推定される移動速度ベクトルもしくは移動ベクトルに結び付けられるとき、監視カメラの映像中の人物像の移動速度ベクトルの出力系列と自蔵センサ群のセンサデータの出力系列を結びつけることができる。そこで、非特許文献１にも述べられているように、たとえば、加速度センサの出力を鉛直方向に分解した加速度成分の振幅データと映像中の人物像の移動速度ベクトルの大きさを結びつけ、この人物（すなわち自蔵センサ群の装着者）の個人差パラメータ（ここでは直線を決定する傾きと切片の二つ）を推定する。
【００５９】
このような実施例について、図８を参照して説明する。図８は、本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。図８において、２０１は監視カメラ、２０２は自蔵センサ群、２０３は移動速度ベクトル推定処理装置、２０４は映像解析処理装置、２０５は移動速度ベクトル照合処理装置である。これらの要素は、図２により説明したものと同様の内容である。ここでは、更に、歩行パラメータ推定処理装置５０５が設けられた構成となっている。
【００６０】
歩行パラメータ推定処理装置５０５は、自蔵センサ群２０２が出力するセンサデータ５０３と、映像解析処理装置２０４が出力する映像中の人物像の足元の位置の移動速度ベクトル５０１と、更に、移動速度ベクトル照合処理装置２０５が、その照合処理の結果として出力する照合結果（ＴＲＵＥ／ＦＡＬＳＥ）の出力信号５０２とを入力として、歩行パラメータを推定して出力する。推定された歩行パラメータの出力は、移動速度ベクトル推定処理装置２０３に入力されて、移動速度ベクトル推定処理装置２０３が移動速度ベクトルの推定処理を実行する際に利用される。
【００６１】
すなわち、歩行パラメータ推定処理装置５０５が処理する歩行パラメータの推定の処理は、映像中の人物像の移動速度ベクトルと自蔵センサのセンサデータに基づく移動速度ベクトルが照合されるとき（すなわち５０２の信号がＴＲＵＥ信号であるとき）、自蔵センサデータのセンサデータ５０３とそのときに結び付けられた移動速度ベクトル５０１に基づいて、歩行パラメータ推定処理装置によって、自蔵センサの装着者の歩行動作を特徴づける歩行パラメータを推定し、その歩行パラメータのデータを出力する。出力された個人差を特徴づける歩行パラメータは、前述したように、移動速度ベクトル推定処理装置２０３が移動速度ベクトルの推定処理を実行する際に利用される。
【００６２】
図８に示す移動体の測位装置に備えられた歩行パラメータ推定処理装置５０５は、移動速度ベクトル照合処理装置２０５が、その照合処理の出力データ２１４として、ＴＲＵＥ（真）信号を出力するとき、照合された移動速度ベクトルの時系列データと自蔵センサのセンサデータ出力系列のペア情報を用いて、移動速度ベクトル推定処理装置２０３における個人差パラメータの歩行パラメータを再設定する。これにより、移動速度ベクトル推定処理装置２０３は設定された個人差パラメータの歩行パラメータに基づいて移動速度ベクトルの出力系列を補正して出力する。
【００６３】
また、本発明による移動体の測位装置は、監視カメラの映像と自蔵センサの出力が照合されたとき、映像中の人物像に自蔵センサの装着者の識別情報を結びつけて記憶して表示することができるようにも変形できる。このような構成の実施例について、図９を参照して説明する。
【００６４】
図９は、本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。図９において、２０１は監視カメラ、２０２は自蔵センサ群、２０３は移動速度ベクトル推定処理装置、２０５は移動速度ベクトル照合処理装置である。６０１は装着者識別情報記憶装置、６０４は識別情報記憶・表示装置、６０５は映像解析処理装置である。
【００６５】
装着者識別情報記憶装置６０１は、自蔵センサ群の装着者の識別情報（個別ＩＤや名前などの情報）を記憶し、出力する装置である。この識別情報の出力６０３は、自蔵センサ群２０２の装着者の識別情報である。ここでの映像解析処理装置６０５は、監視カメラ２０１からの映像を解析して、人物像の足元の位置の移動速度ベクトルを推定して、その出力データ２１１を出力するとともに、その際に、人物像の存在する領域情報の出力データ６０２を出力する。
【００６６】
領域情報の出力データ６０２は映像中の人物像の領域を表す情報である。また、６０６は監視カメラ２０１からの出力データ２１０から、映像のフレーム画像の出力データ６０６が取り出されて、識別情報記憶・表示装置６０４に入力される。
【００６７】
識別情報記憶・表示装置６０４は、フレーム画像６０６と、画像中の人物像の領域情報６０２と、自蔵センサ群２０２の装着者の識別情報６０３と、移動速度ベクトル照合処理装置２０５の出力である二つの移動速度ベクトルの照合判定処理の結果であるＴＲＵＥ（真）／ＦＡＬＳＥ（偽）信号２１４とを入力として、照合判定処理の結果の信号がＴＲＵＥ信号であるとき、監視カメラのフレーム画像６０６の領域情報６０２について、装着者の識別情報６０３を結びつけて記憶し、また、フレーム画像中の領域情報が示す画像領域上に、識別情報６０３を表示する。
【００６８】
これにより、本発明による移動体の測位装置においては、監視カメラの映像中の人物像の移動速度ベクトルもしくは移動ベクトルが、自蔵センサ群に基づくセンサデータに基づいて推定される移動速度ベクトルもしくは移動ベクトルに結び付けられるとき、監視カメラの映像中の人物と自蔵センサ群の装着者の識別情報を結びつけて、これらの情報を表示することができる。
【００６９】
この実施例の移動体の測位装置においては、移動体を識別する識別情報を記憶して表示する識別情報記憶表示装置６０４が備えられており、識別情報記憶表示装置６０４は、移動速度ベクトル照合処理装置２０５がＴＲＵＥ（真）信号を出力するとき、監視カメラ２０１の映像中の移動体を指し示す情報として、自蔵センサ２０２を装着している移動体の識別情報を記憶して表示し、移動速度ベクトル照合処理装置２０５がＦＡＬＳＥ（偽）信号を出力するとき、監視カメラ２０１の映像中の移動体を指し示す情報として、自蔵センサを装着していないことを示す識別情報を記憶して表示する。
【００７０】
また、本発明による移動体の測位装置においては、監視カメラの映像中の人物像の移動速度ベクトルもしくは移動ベクトルが、自蔵センサ群に基づくセンサデータに基づいて推定される移動速度ベクトルもしくは移動ベクトルに結び付けられるとき、監視カメラの映像解析によって人物像が存在する位置に、自蔵センサ群の装着者がいることを、一定の確からしさを持って推定することが可能である。
【００７１】
その場合、監視カメラの映像と自蔵センサの出力が照合されたとき、自蔵センサ群の装着者の位置を映像解析結果の位置に補正されるようにする。ここで利用する位置補正信号は、位置補正信号出力装置７０２により出力される。
【００７２】
図１０は、本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。図１０において、２０１は監視カメラ、２０２は自蔵センサ群、２０３は移動速度ベクトル推定処理装置、２０４は映像解析処理装置、２０５は移動速度ベクトル照合処理装置である。これらの要素については、図２により説明した移動体の測位装置の実施例の構成と同様な構成のものである。７０２は位置補正信号出力装置である。
【００７３】
位置補正信号出力装置７０２は、映像解析処理装置２０４の出力の一つである映像中の人物像の足元の位置情報７０１と移動速度照合処理装置２０５の出力である照合結果の信号（ＴＲＵＥ／ＦＡＬＳＥ信号）２１４を入力として、位置補正信号７０３を出力する。位置補正信号７０３は、映像解析処理装置２０４から出力される映像解析信号７０１に対する補正信号として利用される。位置補正信号出力装置７０２は、移動速度ベクトル照合処理装置２０５がＴＲＵＥ（真）信号を出力するとき、映像解析処理装置２０４から出力される移動体の位置座標を、自蔵センサ群が装着されている移動体の位置として補正する信号として出力される。
【産業上の利用可能性】
【００７４】
本発明の移動体の測位装置は、移動体に備えられる内界観測装置による位置推定結果を、監視カメラなどの外界観測装置により補正することが可能となるため、より正確に移動体の移動を計測、解析して、推定することできるので、産業上有用である。
【符号の説明】
【００７５】
１１  外界観測装置
１２  内界観測装置
２１  外界観測装置
２２  内界観測装置
２３  内界観測データ処理装置
２４  外界観測データ処理装置
２５  照合処理装置
１０１  監視カメラ
１０２  自蔵センサ群
２０１  監視カメラ
２０２  自蔵センサ群
２０３  移動速度ベクトル推定処理装置
２０４  映像解析処理装置
２０５  移動速度ベクトル照合処理装置
３０１  監視カメラ
３０２  自蔵センサ群
３０３  移動ベクトル推定処理装置
３０４  映像解析処理装置
３０５  移動ベクトル照合処理装置
５０５  歩行パラメータ推定処理装置
６０１  装着者識別情報記憶装置
６０４  識別情報記憶・表示装置
６０５  映像解析処理装置
７０２  位置補正信号出力装置
３２０１  監視カメラ
３２０２  自蔵センサ群
３２０３  自蔵ベース動作種別処理装置
３２０４  映像解析処理装置
３２０５  動作種別照合処理装置
【図１】
2011068184.tif 000003
【図２】
2011068184.tif 000004
【図３】
2011068184.tif 000005
【図４】
2011068184.tif 000006
【図５】
2011068184.tif 000007
【図６】
2011068184.tif 000008
【図７】
2011068184.tif 000009
【図８】
2011068184.tif 000010
【図９】
2011068184.tif 000011
【図１０】
2011068184.tif 000012
【国際調査報告】
2011068184.tif 000013
2011068184.tif 000014
2011068184.tif 000015
2011068184.tif 000016
2011068184.tif 000017
2011068184.tif 000018
2011068184.tif 000019
2011068184.tif 000020