(57)【要約】【課題】追跡途中に人物をロストしても、追跡対象の人物の軌跡を確実に求めることのできる人物追跡装置を得る。【解決手段】識別情報取得手段３で取得した人物１００の識別情報と、特徴情報抽出手段４で抽出した人物１００の特徴情報とを特徴学習手段５で関連付けて学習する。識別情報特定手段６は、特徴情報抽出手段４で抽出された任意の人物の特徴情報に対して特徴学習手段５の学習結果によってその人物の識別情報を特定する。【選択図】図１
2008299742.tif 000002
【特許請求の範囲】
【請求項１】
追跡対象となる人物の識別情報を取得する識別情報取得手段と、
前記人物の画像上の特徴情報を抽出する特徴情報抽出手段と、
前記人物の識別情報と特徴情報とを関連付けて学習する特徴学習手段と、
前記特徴情報抽出手段で抽出された任意の人物の特徴情報に対して、前記特徴学習手段の学習結果を用いて、当該任意の人物の識別情報を特定する識別情報特定手段と、
前記任意の人物の追跡軌跡と、当該任意の人物の識別情報とを追跡情報として出力する追跡情報取得手段とを備えた人物追跡装置。
【請求項２】
特徴情報抽出手段は、人物の向きに応じた特徴情報を抽出すると共に、特徴学習手段は、人物の向きに応じた特徴情報と識別情報とを関連付けて学習し、識別情報特定手段は、人物の向きに応じて識別情報を特定することを特徴とする請求項１記載の人物追跡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、追跡対象となる複数の人物の識別情報と軌跡を求める人物追跡装置に関するものである。
【背景技術】
【０００２】
従来の人物等の追跡装置として、追跡対象が位置する閉空間の出入口に、ＩＤを検出するセンサを設け、このセンサによって追跡対象のＩＤを検出すると共に、ＩＤが検出された追跡対象の画像をカメラによって取得するようにしたものがあった（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００３−２７４３８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような追跡装置では、ＩＤが検出された追跡対象の追跡途中で、ＩＤと追跡対象の画像との関連付けが不定となる（追跡対象の人物をロストしてしまう）ことがある。このような場合、従来の追跡装置では、ロスト後は、追跡対象のＩＤが得られなくなってしまうため、その追跡対象のＩＤが新たに取得されるまでは、適切な追跡対象の軌跡が得られないという問題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、追跡途中に人物をロストしても、識別情報と特徴情報との関連付けを行え、追跡対象の人物の軌跡を確実に求めることのできる人物追跡装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る人物追跡装置は、追跡対象となる人物の識別情報を取得する識別情報取得手段と、人物の画像上の特徴情報を抽出する特徴情報抽出手段と、人物の識別情報と特徴情報とを関連付けて学習する特徴学習手段と、特徴情報抽出手段で抽出された任意の人物の特徴情報に対して、特徴学習手段の学習結果を用いて、任意の人物の識別情報を特定する識別情報特定手段と、任意の人物の追跡軌跡と識別情報とを追跡情報として出力する追跡情報取得手段とを備えたものである。
【発明の効果】
【０００７】
この発明の人物追跡装置は、特徴学習手段で人物の識別情報と特徴情報とを関連付けて学習し、識別情報特定手段は、任意の人物の特徴情報に対して特徴学習手段の学習結果によってその人物の識別情報を特定するようにしたので、追跡途中に人物をロストしても、識別情報と特徴情報との関連付けを行え、追跡対象の人物の軌跡を確実に求めることができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、この発明の実施の形態１による人物追跡装置を示す構成図である。
図において、人物追跡装置は、ＩＤ読取装置１、センサ２、識別情報取得手段３、特徴情報抽出手段４、特徴学習手段５、識別情報特定手段６、追跡情報取得手段７を備えている。
ＩＤ読取装置１は、追跡対象である人物１００が所有するＩＤカード（図示せず）から、識別情報（以下、ＩＤという）を読み取る装置であり、例えば、人物１００が出入りする出入口付近に設置されている。また、ＩＤ読取装置１は、複数の出入口毎に複数が設置されているものとする。更に、これらＩＤカードとＩＤ読取装置１による通信方法としては、例えば、ＲＦＩＤ（Radio Frequency Identification）等の非接触通信を使用し、予めＩＤカードに登録された人物１００のＩＤをＩＤ読取装置１で読み取るよう構成されている。識別情報取得手段３は、ＩＤ読取装置１による人物１００のＩＤを取得する手段である。
【０００９】
センサ２は、所定の監視領域内の映像を撮影する可視カメラであり、監視領域内の人物１００を撮影し、その映像信号を出力するよう構成されている。特徴情報抽出手段４は、センサ２から出力された映像信号に基づいて人物１００の特徴量（特徴情報）を抽出する手段である。この特徴量の抽出方法としては、例えば、Chikahito Nakajima, Massimiliano Pontil, Bernd Heisele, and Tomaso Possio. Full-body person recognition system, Pattern Recognition 36, pp1997-2006, 2003.に示されているような、人物の色特徴や形状特徴を抽出する方法を用いることができる。特徴学習手段５は、識別情報取得手段３で取得した人物１００のＩＤと、特徴情報抽出手段４で取得した人物１００の特徴量とに基づいて、その人物１００のＩＤと特徴量との関連付けの学習を行う手段である。識別情報特定手段６は、特徴情報抽出手段４で抽出された任意の人物１００の特徴量に対して、識別情報取得手段３における学習結果のデータを用いて判別対象となる任意の人物１００に対するＩＤを特定する手段である。追跡情報取得手段７は、任意の人物１００の追跡軌跡と、その人物１００のＩＤとを追跡情報として出力する手段である。
【００１０】
尚、識別情報取得手段３〜追跡情報取得手段７は、コンピュータを用いて実現され、各手段は、それぞれの機能に対応したプログラムと、これらプログラムを実行するためのＣＰＵやメモリ等のハードウェアとによって構成されている。
【００１１】
次に、実施の形態１の人物追跡装置の動作について説明する。
図２は、実施の形態１の人物追跡装置の動作を示すフローチャートである。
追跡対象となる人物１００が、所持するＩＤカードをＩＤ読取装置１に近づけると、格納されているＩＤがＩＤ読取装置１によって読み取られ、これが識別情報取得手段３で取得される（ステップＳＴ１）。同時に、センサ２によって所定の監視範囲の画像が取得され、特徴情報抽出手段４によって、特徴量が抽出される（ステップＳＴ２）。このとき、例えば、ＩＤ読取装置１と人物１００とが画像内に映っているといったように、ＩＤ読取装置１と人物１００の画像との関係を特定することができれば、識別情報取得手段３で取得したＩＤを元に、そのＩＤと人物１００の画像上の特徴量とを結びつけることが可能になる。
【００１２】
そこで、特徴学習手段５は、ＩＤと特徴量との結びつけや、追跡途中の特徴量の変化などを学習する（ステップＳＴ３）。この学習処理は常に動作させることができるが、本システムのような構成では学習に必要な教師信号がほとんど得られないため、条件の良い場合でのみ学習を行うのが効果的である。例えば、上述したように、一人の人物がＩＤ読取装置１のそばにいる場合、ほぼ確実に画像中の人物特徴量とＩＤが対応していると言える。また、人物が一人または少人数で画像内での密度が低い場合は各人物を高い精度で追跡することが可能である。そのような場合には各追跡人物の特徴量の変化を学習することが効果的である。尚、ここで、特徴量の変化とは、例えば、照明条件の変化や、センサ２からの人物１００の見え方（人物１００の方向）による特徴量の変化である。
【００１３】
識別情報特定手段６は、特徴学習手段５で学習された特徴量と、別の特徴量との類似度を計算する（ステップＳＴ４）。即ち、特徴情報抽出手段４で抽出された任意の人物１００の特徴量と、特徴学習手段５の学習結果の特徴量の類似度を計算し、この類似度に基づいて、任意の人物１００のＩＤを特定する。このため、途中で追跡を失敗した後、追跡を再開した場合に、追跡再開した人物のＩＤを補完するために用いることができる。この方法として、最も単純には、現在学習されている各人物の特徴量と追跡再開した人物の特徴量との全ての組み合わせにおける類似度を計算し、その類似度が最も大きかった人物のＩＤを追跡再開人物のＩＤとみなす（ステップＳＴ５）。追跡情報取得手段７は、識別情報特定手段６で特定されたＩＤとその人物１００の軌跡情報を追跡情報として出力する（ステップＳＴ６）。
【００１４】
以上の処理を行った上で、それでも人物のＩＤが特定できない場合も想定される。例えば、似たような特徴量を持つ二人の人物の追跡が両方共失敗し、識別情報特定手段６により両方のＩＤが補完できなかったとする。その場合、追跡を再開しても不定ＩＤの軌跡となる。しかしその後別のＩＤ読取装置１が一方の人物のＩＤを読み取ったとすると、その時点、位置から逆算することで不定ＩＤの軌跡のＩＤを決定することが可能である。追跡情報取得手段７は、不定ＩＤの軌跡の区間も識別情報特定手段６で決定されたＩＤとして追跡情報を出力する。また、二人の人物のうち、一方の人物のＩＤが特定されるため、他方の人物のＩＤは特定されない方のＩＤとみなせ、残りの人物の追跡も可能となる。
【００１５】
上記の方法を用いてもＩＤを特定できない人物が存在する場合がある。その場合たとえばその人物のＩＤが不明であることを記憶しておき、後ほどオペレータによる検索時に簡単に検索できるようなＩ／Ｆを用意したり、ＩＤの特定できない人物の映像を保護（上書きされない領域に書き込み）することで、よりセキュリティの高い運用等を実施したりする。このようにすることで実際的にＩＤを特定できない弱点を補完することが可能となる。
【００１６】
以上のように、実施の形態１の人物追跡装置によれば、追跡対象となる人物の識別情報を取得する識別情報取得手段と、人物の画像上の特徴情報を抽出する特徴情報抽出手段と、人物の識別情報と特徴情報とを関連付けて学習する特徴学習手段と、特徴情報抽出手段で抽出された任意の人物の特徴情報に対して、特徴学習手段の学習結果を用いて、任意の人物の識別情報を特定する識別情報特定手段と、任意の人物の追跡軌跡と、任意の人物の識別情報とを追跡情報として出力する追跡情報取得手段とを備えたので、たとえ、追跡に失敗した場合でも、学習結果の特徴情報から識別情報が求められるため、追跡対象の人物の軌跡を確実に求めることができる。
【００１７】
実施の形態２．
図３は、実施の形態２の人物追跡装置を示す構成図である。
実施の形態２の人物追跡装置は、ＩＤ読取装置１、センサ２、識別情報取得手段３、特徴情報抽出手段４ａ、特徴学習手段５ａ、識別情報特定手段６ａ、追跡情報取得手段７ａ、レーザスキャナ８を備えている。尚、ＩＤ読取装置１については、実施の形態１と同様であるため、その図示は省略している。
【００１８】
レーザスキャナ８は、人物１００の現在位置を測定するための位置測定手段であり、人物１００の現在位置情報を出力するよう構成されている。特徴情報抽出手段４ａは、センサ２からの画像と、レーザスキャナ８からの現在位置情報とに基づいて、人物１００の向きに応じた特徴情報を抽出するよう構成されている。また、特徴学習手段５ａは、人物の向きに応じた特徴情報とＩＤとの関連付けの学習を行うよう構成され、識別情報特定手段６ａは、人物の向きに応じてＩＤを特定するよう構成されている。その他の構成については実施の形態１と同様である。
【００１９】
次に、実施の形態２の動作について説明する。
図４は、人物の特徴量抽出と特徴量学習処理を示すフローチャートである。
ここで、追跡対象となる人物１００のＩＤがＩＤ読取装置１によって読み取られ、このＩＤが識別情報取得手段３で取得されているものとする。
特徴情報抽出手段４ａは、人物１００の特徴量抽出として次のような処理を行う。即ち、実施の形態１においては人物１００の特徴情報を抽出する手段として、センサ２のみを使用したが、実施の形態２では、センサ２とレーザスキャナ８とを併用する。これにより、特徴情報抽出手段４ａは、先ず、レーザスキャナ８からの現在位置の変化に基づいて人物の移動方向を計算する（ステップＳＴ１１）。次に、人物１００の位置および移動方向から、センサ２でその人物１００が見えている方向を計算する（ステップＳＴ１２）。例えば、人物１００がセンサ２に向かって移動している場合は、センサ２から人物１００の前方を観測しており、逆に人物１００がセンサ２から遠ざかっている場合は、センサ２から人物の後方を観測していると推測される。そして、特徴情報抽出手段４ａは、このようにして得た観測の方向を元に、各方向毎に得られる特徴量を抽出する（ステップＳＴ１３）。
【００２０】
特徴学習手段５ａは、特徴情報抽出手段４ａで抽出された特徴量に基づき、人物１００の向きに応じて特徴量を学習する（ステップＳＴ１４）。例えば、人物１００の水平方向３６０度を４５度おきに８分割し、それぞれの方向毎に特徴量を学習する。この場合、各人物について８種類の学習特徴量を作成する。
新たな人物が現れた場合、ステップＳＴ１２の処理により人物の方向を計算し、ステップＳＴ１３の処理にてその人物の特徴量を抽出する。得られた特徴量が既に同一の方向にて学習している学習特徴量と一致すれば同一人物とし、一致せずかつその差が一定以上であれば新規人物として特徴量を学習する。
この場合、仮に同一人物であったとしても、既に学習している特徴量の人物方向と、新たに得た特徴量の人物方向が異なれば、同一人物判定は不可能である。これはどのような方式であっても見たことの無い特徴量から同一人物判定を行うことはできないという事実より明らかである。ただし、観測を続けるうちに既に学習している人物と同一方向の特徴量が得られる事もある。その場合、既に学習している特徴量と新たに得た特徴量とが一致し、同一人物と判定される。このとき、その人物の学習特徴量として、既に得られた特徴量を新たな方向の特徴量として加えることができる。これがステップＳＴ１５における再学習処理である。
【００２１】
識別情報特定手段６ａは、特徴情報抽出手段４ａで抽出した人物１００の向きに応じた特徴量に対して、特徴学習手段５ａで学習した特徴量を用いて、その人物１００のＩＤを特定する。ここで、特徴学習手段５ａでは、人物１００の様々な方向の特徴量が学習されているため、特徴情報抽出手段４ａで抽出された人物１００がどのような向きであっても高い精度で人物同定を行うことができる。追跡情報取得手段７は、識別情報特定手段６ａの結果に基づいて人物１００の追跡情報を出力するが、この動作については実施の形態１と同様である。
【００２２】
尚、様々な方向にて学習した特徴量を監視員等の人物が見やすい情報に加工し、図示しないディスプレイで表示することも可能である。実際、学習特徴量を用いて同一人物判定を行ったとしても、それが正しい結果かどうかは最終的に監視員等の人物が判断しなければならない場合がある。その際に監視員等の人物が正しい判断を下しやすくするために例えば追跡対象人物の全方向の画像を提示すれば、それが誰であるかを判断しやすくなり、見逃しを減らす効果が期待できる。
【００２３】
尚、上記実施の形態２では、レーザスキャナ８を用いて人物１００の移動方向を特定し、センサ２で取得した画像から人物１００の向きを求めるようにしたが、センサ２による画像中の人物の向きを特定することができるものであれば、レーザスキャナ８以外の手段を用いてもよい。更に、センサ２単体であっても人物１００の向きが特定できるものであれば、センサ２のみであってもよい。
【００２４】
また、上記実施の形態１，２では、人物１００の識別情報を取得する手段としてＩＤカードとＩＤ読取装置１を用いたが、これに限定されるものではなく、例えば、顔認証装置や指紋認証装置といったバイオメトリクス情報を利用した認証装置で人物１００の識別情報を抽出するようにしてもよい。あるいは、人物１００にバーコードやカラーコードを設け、これらを読み取ることで識別情報を取得するようにしてもよい。
【００２５】
以上のように、実施の形態２の人物追跡装置によれば、特徴情報抽出手段は、人物の向きに応じた特徴情報を抽出すると共に、特徴学習手段は、人物の向きに応じた特徴情報と識別情報とを関連付けて学習し、識別情報特定手段は、人物の向きに応じて識別情報を特定するようにしたので、人物同定性能を高めることができ、人物追跡装置としての精度を向上させることができる。
【図面の簡単な説明】
【００２６】
【図１】この発明の実施の形態１による人物追跡装置を示す構成図である。
【図２】この発明の実施の形態１による人物追跡装置の動作を示すフローチャートである。
【図３】この発明の実施の形態２による人物追跡装置を示す構成図である。
【図４】この発明の実施の形態２による人物追跡装置の特徴量抽出と特徴量学習処理を示すフローチャートである。
【符号の説明】
【００２７】
２  センサ、３  識別情報取得手段、４，４ａ  特徴情報抽出手段、５，５ａ  特徴学習手段、６，６ａ  識別情報特定手段、７  追跡情報取得手段、８  レーザスキャナ、１００  人物。
【図１】
2008299742.tif 000003
【図２】
2008299742.tif 000004
【図３】
2008299742.tif 000005
【図４】
2008299742.tif 000006