(57)【要約】【課題】映像中に追跡対象の物体が認識されない場合であっても、高精度な物体追跡をすることができるようにする。【解決手段】撮影装置１００によって撮影された映像データから物体認識部３１０によって検出された、各時刻の各対象物体の位置と、センサ２００のセンサデータから、センサ検出部３２０によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定するトラッキング部３３０とを含み、トラッキング部３３０は、追跡対象となる対象物体が、物体認識部３１０によって検出された対象物体と対応付かない場合、センサ検出部３２０によって検出された、追跡対象となる対象物体と対応する対象物体の位置と、対応する対象物体の位置との距離が最小となる、物体認識部３２０によって検出された対象物体の位置とに基づいて、追跡対象となる対象物体の位置を推定する。【選択図】図５
2019020360.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置によって撮影された映像データから、各時刻の各対象物体の位置を検出する物体認識部と、
撮影装置とは異なるセンサのセンサデータから、各時刻の各対象物体の位置を検出するセンサ検出部と、
前記物体認識部によって検出された、各時刻の各対象物体の位置と、前記センサ検出部によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定するトラッキング部とを含み、
前記トラッキング部は、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置と、前記対応する前記対象物体の位置との距離が最小となる、前記物体認識部によって検出された前記対象物体の位置とに基づいて、前記追跡対象となる対象物体の位置を推定する
物体認識装置。
【請求項２】
撮影装置によって撮影された映像データから、各時刻の各対象物体の位置を検出する物体認識部と、
撮影装置とは異なるセンサのセンサデータから、各時刻の各対象物体の位置を検出するセンサ検出部と、
前記物体認識部によって検出された、各時刻の各対象物体の位置と、前記センサ検出部によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定するトラッキング部とを含み、
前記トラッキング部は、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置のみを用いて、又は、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置、及び前記物体認識部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の前時刻又は後時刻の位置を用いて、前記追跡対象となる対象物体の位置を推定する
物体認識装置。
【請求項３】
前記トラッキング部は、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合であって、かつ、前記追跡対象となる対象物体の移動軌跡の予測ができない場合に、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置と、前記対応する前記対象物体の位置との距離が最小となる、前記物体認識部によって検出された前記対象物体の位置とに基づいて、前記追跡対象となる対象物体の位置を推定し、
前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合であって、かつ、前記物体認識部によって前記対象物体が検出されない場合に、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置のみを用いて、又は、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置、及び前記物体認識部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の前時刻又は後時刻の位置を用いて、前記追跡対象となる対象物体の位置を推定する請求項２記載の物体認識装置。
【請求項４】
前記トラッキング部は、各時刻について、前記物体認識部によって検出された、前記追跡対象となる対象物体と対応する対象物体の前記時刻の位置と、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する対象物体の前記時刻の前時刻又は後時刻の位置から計算される、前記追跡対象となる対象物体と対応する対象物体の前記時刻の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定する請求項１〜請求項３の何れか１項記載の物体認識装置。
【請求項５】
物体認識部が、撮影装置によって撮影された映像データから、各時刻の各対象物体の位置を検出するステップと、
センサ検出部が、撮影装置とは異なるセンサのセンサデータから、各時刻の各対象物体の位置を検出するステップと、
トラッキング部が、前記物体認識部によって検出された、各時刻の各対象物体の位置と、前記センサ検出部によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定するステップとを含み、
前記トラッキング部が推定することについては、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置と、前記対応する前記対象物体の位置との距離が最小となる、前記物体認識部によって検出された前記対象物体の位置とに基づいて、前記追跡対象となる対象物体の位置を推定する
物体認識方法。
【請求項６】
物体認識部が、撮影装置によって撮影された映像データから、各時刻の各対象物体の位置を検出するステップと、
センサ検出部が、撮影装置とは異なるセンサのセンサデータから、各時刻の各対象物体の位置を検出するステップと、
トラッキング部が、前記物体認識部によって検出された、各時刻の各対象物体の位置と、前記センサ検出部によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定するステップとを含み、
前記トラッキング部が推定することについては、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置のみを用いて、又は、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置、及び前記物体認識部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の前時刻又は後時刻の位置を用いて、前記追跡対象となる対象物体の位置を推定する
物体認識方法。
【請求項７】
コンピュータを、請求項１乃至４の何れか１項記載の物体認識装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
物体認識装置、物体認識方法、及びプログラムに関し、特に、映像中の物体認識及び物体追跡に関する物体認識装置、物体認識方法、及びプログラム。
【背景技術】
【０００２】
従来より、映像中に出現する物体を認識し、追跡を実現することで、物体追跡（トラッキング）を行う技術が広く行われている。
【０００３】
トラッキングを実現するにあたって、既存手法は大きく（１）物体認識＋トラッキング、（２）領域・特徴点抽出＋トラッキングの２つに分かれる（非特許文献１）。
【０００４】
一つ目の手法は、映像中の各フレーム単位で物体認識を行い、その情報を元に前後のフレームで検出された物体の、映像中での位置情報を考慮して各物体の移動軌跡を推定しトラッキングを行う方法である。
【０００５】
二つ目の手法は、Ｍｅａｎ−ｓｈｉｆｔ法などを使って、前後のフレームでの差分変化（画素、輝度等）に着目することで、映像中から逐次的にトラッキングを行う方法である。
【０００６】
両手法はいずれにしても、各画像（スナップショット）において物体領域や特徴点を抽出し、物体を追跡していく技術である。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】山下  隆義、「物体追跡技術について」、［ｏｎｌｉｎｅ］、２０１０年４月１日、インターネット＜ＵＲＬ：http://www.vision.cs.chubu.ac.jp/features/pdf/seminar/100326_セミナー資料_物体追跡.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来技術では、物体認識又は領域・特徴点抽出において、追跡対象の物体が認識されず、又は抽出されない場合に、物体追跡が困難になる、という問題があった。
【０００９】
例えば下記のような４つのケースにおいて問題が発生する、
【００１０】
（ケース１）前後関係からの移動軌跡の予測が困難な場合に問題が発生する（図１）。
【００１１】
例えば、スポーツ等でボールの奪い合いが発生した場合など、複数の物体の重なりが生じ、再度離れた際に物体追跡が困難になる。
【００１２】
（ケース２）対象物体と背景を分離することが困難な場合に問題が発生する（図２）。
【００１３】
例えば、天候が雪の際にトラッキング対象の物体の色が白系統だった場合など、物体と背景が同一色である場合など、物体認識の精度が落ち、物体追跡が困難になる。
【００１４】
（ケース３）遮蔽物等で物体が映像中に写らない時に非線形的な動きをする場合に問題が発生する（図３）。
【００１５】
例えば、ビルの影になり、車両が右折や左折した後に再び画像に現れる場合など、物体追跡が困難になるだけでなく、映像からだけでは物体の正確な位置も推定することが困難になる。
【００１６】
（ケース４）映像を撮影した機器の性能が低い（解像度等）等の理由で物体の検出漏れ・誤検知等が発生しやすい場合に問題が発生する（図４）。この際も、物体追跡が困難になり、物体追跡精度が悪化してしまう問題が発生する。
【００１７】
本発明は、上記の事情を鑑みてなされたもので、映像中に追跡対象の物体が認識されない場合であっても、高精度な物体追跡をすることができる物体認識装置、物体認識方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
第１の発明に係る物体認識装置は、撮影装置によって撮影された映像データから、各時刻の各対象物体の位置を検出する物体認識部と、撮影装置とは異なるセンサのセンサデータから、各時刻の各対象物体の位置を検出するセンサ検出部と、前記物体認識部によって検出された、各時刻の各対象物体の位置と、前記センサ検出部によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定するトラッキング部とを含んで構成され、前記トラッキング部は、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置と、前記対応する前記対象物体の位置との距離が最小となる、前記物体認識部によって検出された前記対象物体の位置とに基づいて、前記追跡対象となる対象物体の位置を推定する。
【００１９】
第１の発明に係る物体認識方法は、物体認識部が、撮影装置によって撮影された映像データから、各時刻の各対象物体の位置を検出するステップと、センサ検出部が、撮影装置とは異なるセンサのセンサデータから、各時刻の各対象物体の位置を検出するステップと、トラッキング部が、前記物体認識部によって検出された、各時刻の各対象物体の位置と、前記センサ検出部によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定するステップとを含み、前記トラッキング部推定することについては、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置と、前記対応する前記対象物体の位置との距離が最小となる、前記物体認識部によって検出された前記対象物体の位置とに基づいて、前記追跡対象となる対象物体の位置を推定する。
【００２０】
第１の発明に係る物体認識装置又は物体認識方法によれば、物体認識部が、撮影装置によって撮影された映像データから、各時刻の各対象物体の位置を検出し、センサ検出部が、撮影装置とは異なるセンサのセンサデータから、各時刻の各対象物体の位置を検出し、トラッキング部が、前記物体認識部によって検出された、各時刻の各対象物体の位置と、前記センサ検出部によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定する。
【００２１】
そして、前記トラッキング部推定することについては、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置と、前記対応する前記対象物体の位置との距離が最小となる、前記物体認識部によって検出された前記対象物体の位置とに基づいて、前記追跡対象となる対象物体の位置を推定する。
【００２２】
このように、追跡対象となる対象物体が、物体認識部によって検出された前記対象物体と対応付かない場合、センサ検出部によって検出された、追跡対象となる対象物体と対応する対象物体の位置と、対応する対象物体の位置との距離が最小となる、物体認識部によって検出された対象物体の位置とに基づいて、追跡対象となる対象物体の位置を推定するため、映像中に追跡対象の物体が認識されない場合であっても、高精度な物体追跡をすることができる。
【００２３】
第２の発明に係る物体認識装置は、撮影装置によって撮影された映像データから、各時刻の各対象物体の位置を検出する物体認識部と、撮影装置とは異なるセンサのセンサデータから、各時刻の各対象物体の位置を検出するセンサ検出部と、前記物体認識部によって検出された、各時刻の各対象物体の位置と、前記センサ検出部によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定するトラッキング部とを含んで構成され、前記トラッキング部は、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置のみを用いて、又は、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置、及び前記物体認識部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の前時刻又は後時刻の位置を用いて、前記追跡対象となる対象物体の位置を推定する。
【００２４】
第２の発明に係る物体認識方法は、物体認識部が、撮影装置によって撮影された映像データから、各時刻の各対象物体の位置を検出するステップと、センサ検出部が、撮影装置とは異なるセンサのセンサデータから、各時刻の各対象物体の位置を検出するステップと、トラッキング部が、前記物体認識部によって検出された、各時刻の各対象物体の位置と、前記センサ検出部によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定するステップとを含み、前記トラッキング部が推定することについては、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置のみを用いて、又は、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置、及び前記物体認識部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の前時刻又は後時刻の位置を用いて、前記追跡対象となる対象物体の位置を推定する。
【００２５】
第２の発明に係る物体認識装置又は物体認識方法によれば、物体認識部が、撮影装置によって撮影された映像データから、各時刻の各対象物体の位置を検出し、センサ検出部が、撮影装置とは異なるセンサのセンサデータから、各時刻の各対象物体の位置を検出し、トラッキング部が、前記物体認識部によって検出された、各時刻の各対象物体の位置と、前記センサ検出部によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定する。
【００２６】
そして、前記トラッキング部は、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置のみを用いて、又は、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置、及び前記物体認識部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の前時刻又は後時刻の位置を用いて、前記追跡対象となる対象物体の位置を推定する。
【００２７】
このように、追跡対象となる対象物体が、物体認識部によって検出された前記対象物体と対応付かない場合、センサ検出部によって検出された、追跡対象となる対象物体と対応する対象物体の位置のみを用いて、又は、センサ検出部によって検出された、追跡対象となる対象物体と対応する対象物体の位置、及び物体認識部によって検出された、追跡対象となる対象物体と対応する対象物体の前時刻又は後時刻の位置を用いて、追跡対象となる対象物体の位置を推定するため、映像中に追跡対象の物体が認識されない場合であっても、高精度な物体追跡をすることができる。
【００２８】
また、第２の発明に係る物体認識装置は、前記トラッキング部は、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合であって、かつ、前記追跡対象となる対象物体の移動軌跡の予測ができない場合に、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置と、前記対応する前記対象物体の位置との距離が最小となる、前記物体認識部によって検出された前記対象物体の位置とに基づいて、前記追跡対象となる対象物体の位置を推定し、前記追跡対象となる対象物体が、前記物体認識部によって検出された前記対象物体と対応付かない場合であって、かつ、前記物体認識部によって前記対象物体が検出されない場合に、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置のみを用いて、又は、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置、及び前記物体認識部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の前時刻又は後時刻の位置を用いて、前記追跡対象となる対象物体の位置を推定することができる。
【００２９】
このように、追跡対象となる対象物体の移動軌跡の予測ができない場合に、センサ検出部によって検出された、前記追跡対象となる対象物体と対応する前記対象物体の位置と、前記対応する前記対象物体の位置との距離が最小となる、前記物体認識部によって検出された前記対象物体の位置とに基いて、また、物体認識部によって対象物体が検出されない場合に、センサ検出部によって検出された、追跡対象となる対象物体と対応する対象物体の位置を用いて、追跡対象となる対象物体の位置を推定するため、映像中に追跡対象の物体が認識されない場合であっても、高精度な物体追跡をすることができる。
【００３０】
また、第２の発明に係る物体認識装置は、前記トラッキング部は、各時刻について、前記物体認識部によって検出された、前記追跡対象となる対象物体と対応する対象物体の前記時刻の位置と、前記センサ検出部によって検出された、前記追跡対象となる対象物体と対応する対象物体の前記時刻の前時刻又は後時刻の位置から計算される、前記追跡対象となる対象物体と対応する対象物体の前記時刻の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定することができる。
【００３１】
このように、各時刻について、物体認識部によって検出された、追跡対象となる対象物体と対応する対象物体の前記時刻の位置と、センサ検出部によって検出された、追跡対象となる対象物体と対応する対象物体の前記時刻の前時刻又は後時刻の位置から計算される、追跡対象となる対象物体と対応する対象物体の前記時刻の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定するため、映像中に追跡対象の物体が認識されない場合であっても、高精度な物体追跡をすることができる。
【００３２】
本発明に係るプログラムは、上記の物体認識装置の各部として機能させるためのプログラムである。
【発明の効果】
【００３３】
本発明の物体認識装置、物体認識方法、及びプログラムによれば、映像中に追跡対象の物体が認識されない場合であっても、高精度な物体追跡をすることができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の課題（ケース１）の例を表す図である。
【図２】本発明の課題（ケース２）の例を表す図である。
【図３】本発明の課題（ケース３）の例を表す図である。
【図４】本発明の課題（ケース４）の例を表す図である。
【図５】本発明の実施の形態に係る物体認識装置の構成を示す概略図である。
【図６】本発明の実施の形態に係る物体認識装置の効果の例（ケース１）を表す図である。
【図７】本発明の実施の形態に係る物体認識装置の効果の例（ケース２）を表す図である。
【図８】本発明の実施の形態に係る物体認識装置の効果の例（ケース３）を表す図である。
【図９】本発明の実施の形態に係る物体認識装置の効果の例（ケース４）を表す図である。
【図１０】映像とサンプリングレートが異なる場合の例を表す図である。
【図１１】本発明の実施の形態に係る物体認識装置処理フローを示すフローチャートである。
【発明を実施するための形態】
【００３５】
＜本発明の実施の形態に係る物体認識装置の構成＞
【００３６】
以下、本発明の実施の形態について図面を用いて説明する。
【００３７】
図５は、本発明の実施の形態に係る物体認識装置１０の構成を示す概略図である。図５に示すように、物体認識装置１０は、所定の領域を撮像して映像データを生成する撮影装置１００と、撮影装置１００とは異なるセンサであって、所定の領域内についてのセンサデータを生成するセンサ２００と、映像データ及びセンサデータに基づいて追跡対象となる対象物体の位置を推定する制御部３００と、追跡対象となる対象物体の位置を出力する出力部４００とを備えて構成される。
【００３８】
撮影装置１００は、所定の領域を撮像し、映像の映像信号を生成する撮像部（図示省略）と、撮像部で生成された映像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された映像信号を一時的に格納するための映像メモリ（図示省略）とを備えている。
【００３９】
センサ２００は、撮影装置１００とは異なるセンサ、例えば、ＧＰＳ情報受信装置や赤外線カメラ等で実装される。本実施形態では、ＧＰＳ情報受信装置の場合で説明する。
【００４０】
センサ２００は、所定の領域内についてのセンサデータ、例えば、所定領域内に存在するＧＰＳセンサを備えた対象物体からＧＰＳ測位情報を受信することで得られるＧＰＳ測位データを生成する。なお、赤外線カメラの場合は、所定領域内の赤外線を受光し電気信号に変換することで得られる赤外線データとなる。
【００４１】
出力部４００は、ディスプレイ、プリンタ、磁気ディスク等で実装される。
【００４２】
制御部３００は、ＣＰＵと、ＲＡＭと、後述する物体認識処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００４３】
図５に示すように、制御部３００は、物体認識部３１０と、センサ検出部３２０と、トラッキング部３３０とを備えて構成される。
【００４４】
物体認識部３１０は、撮影装置１００によって撮影された映像データから、各時刻の各対象物体の位置を検出する。
【００４５】
具体的には、まず、物体認識部３１０は、撮影装置１００から取得した映像データＭの各時刻（フレーム単位）における各画像に対し、物体認識を行う。
【００４６】
そして、物体認識部３１０は、映像データＭの各時刻における各画像に対し、物体認識によって認識された各対象物体について、当該対象物体の画像中の位置情報を検出する。
【００４７】
ここでは、物体認識結果による対象物体の座標情報をＯとする。時刻ｔでの対象物体ｊの座標情報を、Ｏ＝｛ｏｊ，ｔ：１≦ｊ≦Ｊｔ、０＜ｔ＜Ｔ｝とする。ここで、Ｊｔは、時刻ｔにおいて検出した対象物体の数である。
【００４８】
センサ検出部３２０は、撮影装置とは異なるセンサであるセンサ２００のセンサデータから、各時刻の各対象物体の位置を検出する。
【００４９】
具体的には、センサ検出部３２０は、センサ２００から取得したセンサデータであるＧＰＳ測位データから、各時刻における各対象物体の位置を検出する。
【００５０】
ここでは、センサデータに基づく時刻ｔでの対象物体ｋの座標情報をＳ＝｛ｓｋ，ｔ：０≦ｋ≦Ｋｔ、０＜ｔ＜Ｔ｝とする。なお、Ｋｔは時刻ｔにおけるセンサデータから獲得できる対象物体の数である。
【００５１】
トラッキング部３３０は、物体認識部３１０によって検出された、各時刻の各対象物体の位置と、センサ検出部３２０によって検出された、各時刻の各対象物体の位置とに基づいて、追跡対象となる対象物体の各時刻の位置を推定する。
【００５２】
ここで、トラッキング部３３０が推定する時刻ｔにおける追跡対象の対象物体の座標情報をＰ＝｛ｐｉ，ｔ：１≦ｊ≦Ｉｔ、０＜ｔ＜Ｔ｝とする。ここで、Ｉｔは、時刻ｔにおける追跡対象である対象物体の数である。
【００５３】
また、時刻ｔにおける追跡対象の対象物体ｉの位置座標ｐｉ，ｔを、下記の式（１）によって推定する。
【００５４】
【数１】
2019020360.tif 000003
【００５５】
ここで、ｆ（ｉ，ｔ）は、物体認識部３１０によって得られた時刻ｔにおける対象物体のうち、追跡対象の対象物体ｉに対応する対象物体ｊの座標ｏｊ，ｔであり、ｇ（ｉ，ｔ）は、センサ検出部３２０によって得られた時刻ｔにおける対象物体のうち、追跡対象の対象物体ｉに対応する対象物体ｋの座標ｓｋ，ｔである。
【００５６】
ｆ（ｉ，ｔ）は、時刻ｔの前後の時刻における対象物体の座標を用いて算出される場合も加味して、重み関数ｗｏ（ｔ）を用いて下記の式（２）のように表す。
【００５７】
【数２】
2019020360.tif 000004
【００５８】
同様に、ｇ（ｉ，ｔ）は、時刻ｔの前後の時刻における対象物体の座標を用いて算出される場合も加味して、重み関数ｗｓ（ｔ）を用いて下記の式（３）のように表す。
【００５９】
【数３】
2019020360.tif 000005
【００６０】
この時、重み関数ｗｏ（ｔ）及びｗｓ（ｔ）は、下記の式（４）のように正規化される。
【００６１】
【数４】
2019020360.tif 000006
【００６２】
ここで、Ｄｔは、前後どのくらいのフレームまで情報を利用するかの指標であり、ｗｏ（ｔ）及びｗｓ（ｔ）の取りうる範囲で、予め決めるか、または、動的に変更してもよい。Ｄｔは、十分大きく取るようにする。
【００６３】
また、αｉ，ｔ、βｉ，ｔは、それぞれ位置座標ｐｉ，ｔを推定するためのｆ（ｉ，ｔ）、ｇ（ｉ，ｔ）の重みであり、αｉ，ｔ＋βｉ，ｔ＝１である。
【００６４】
より具体的には、トラッキング部３３０は、対応部３３２と、フィルタリング部３３４と、推定部３３６とを備えて構成される。
【００６５】
対応部３３２は、各時刻に対し、追跡対象となる各対象物体と、物体認識部３１０によって検出された当該時刻の各対象物体とを対応付ける。また、対応部３３２は、各時刻に対し、追跡対象となる各対象物体と、センサ検出部３２０によって検出された当該時刻の各対象物体とを対応付ける。
【００６６】
具体的には、まず、対応部３３２は、物体認識部３１０によって検出された時刻ｔにおける各対象物体の座標位置ｏｊ，ｔと、追跡対象の対象物体ｉの座標位置とに基づいて、物体認識部３１０によって検出された時刻ｔにおける各対象物体と、追跡対象の対象物体ｉとの対応付けを試みる。
【００６７】
対応部３３２は、例えば、追跡対象の対象物体ｉの座標位置の移動軌跡から推定される対象物体ｉの時刻ｔの座標位置Ｏｊ，ｔとが対応していれば、ｊ＝ｉとなる対象物体がＯに存在すると判断し、ｏ（ｊ＝ｉ），ｔとして、追跡対象の対象物体ｉに対応付ける。
【００６８】
一方、ｊ＝ｉとなる対象物体がＯに存在しない場合は、Ｏに存在しない追跡対象の対象物体ｉについての情報をフィルタリング部３３４に送る。
【００６９】
同様に、対応部３３２は、センサ検出部３２０によって検出された時刻ｔにおける各対象物体ｋと、追跡対象の対象物体ｉとを対応付ける。
【００７０】
対応部３３２は、ｋ＝ｉとなる対象物体がＳに存在していれば、ｓ（ｋ＝ｉ），ｔとして、追跡対象の対象物体ｉに対応付ける。
【００７１】
一方、ｋ＝ｉとなる対象物体がＳに存在しない場合は、Ｓに存在しない追跡対象の対象物体ｉについての情報をフィルタリング部３３４に送る。
【００７２】
フィルタリング部３３４は、対応部３３２から受け取った情報に基づいて、重み関数ｗｏ（ｔ）、ｗｓ（ｔ）、及び重みαｉ，ｔ、βｉ，ｔを決定する。
【００７３】
まず、フィルタリング部３３４は、対応部３３２の結果に基づいて、重み関数ｗｏ（ｔ）、ｗｓ（ｔ）を決定する。
【００７４】
追跡対象の対象物体ｉの移動軌跡の推定ができない場合であって、かつ、追跡対象の対象物体ｉに対応するＯが存在しない場合、ｋ＝ｉとなるｋの座標位置ｓｋ，ｔに基づいて、重み関数ｗｏ（ｔ）、ｗｓ（ｔ）を決定する。
【００７５】
例えば、図６に示すように、物体認識において検出された複数の対象物体（大きい丸）が重なっている場合において、再度離れた後において映像から対象物体を追えない。
【００７６】
そこで、センサによって検出された対象物体ｋ（小さい丸）を用いて、追跡対象の対象物体ｉに対応する対象物体ｊを推定する。
【００７７】
具体的には、フィルタリング部３３４は、Ｏに含まれる座標位置ｏｊ，ｔのうち、座標位置ｓｋ，ｔとの距離を最小にする座標位置Ｏｉ，ｔを求め、求めた座標位置Ｏｉ，ｔをｏ（ｊ＝ｉ），ｔとして推定して、重み関数ｗｏ（ｔ）、ｗｓ（ｔ）を決定する。
【００７８】
例えば、距離関数Ｄ（ｏｊ，ｔ，ｓｋ，ｔ）を用いた下記の式（５）を用いて、座標位置ｏｊ，ｔと、座標位置ｓｋ，ｔとの距離を最小にするｊを求める。
【００７９】
【数５】
2019020360.tif 000007
【００８０】
この時、距離関数Ｄは任意の距離関数を用いる。例えば、距離関数Ｄとして、ユークリッド距離を用いても良いし、マンハッタン距離を用いても良い。
【００８１】
そして、求めたｊをｉに対応する対象物体であるとして、対象物体ｊの座標位置ｏ（ｊ），ｔをｏ（ｊ＝ｉ），ｔとする。
【００８２】
この場合、時刻ｔにおける対象物体ｉに対応する対象物体ｊと対象物体ｋが存在することになるため、フィルタリング部３３４は、重み関数ｗｏ（ｔ）、ｗｓ（ｔ）を下記の式（６）のように決定する。
【００８３】
【数６】
2019020360.tif 000008
【００８４】
したがって、対象物体ｉの座標位置は、下記の式（７）のように表されることになる。
【００８５】
【数７】
2019020360.tif 000009
【００８６】
このように、追跡対象の対象物体ｉの移動軌跡が推定できない場合でも、対象物体ｉが追跡可能となる。
【００８７】
また、フィルタリング部３３４は、物体認識部３１０によって対象物体が検出されない場合であって、かつ、追跡対象となる対象物体ｉが、物体認識部３１０によって検出された対象物体と対応付かない場合に、座標位置ｓｋ，ｔのみに基づいて、又は、座標位置ｓｋ，ｔと、座標位置ｏ（ｊ＝ｉ），ｔについて認識できている前後のフレームに基づいて、重み関数ｗｏ（ｔ）、ｗｓ（ｔ）を決定する。
【００８８】
例えば、対象物体と背景を分離することが困難な場合（図７）や、物体が映像中に映らない場合（図８）、物体の検出漏れ・誤検知の場合（図９）において、映像からの物体認識が失敗しているため、映像中に追跡対象の対象物体ｉに相当する対象物体は存在しない。
【００８９】
このような場合に、センサ検出部３２０によって得られた対象物体に基づいて対象物体ｉの座標位置を推定することができる。
【００９０】
具体的には、以下の（１）又は（２）のいずれかの方法を用いる。
【００９１】
（１）座標位置ｓｋ，ｔのみを用いる。
【００９２】
（２）座標位置ｓｋ，ｔと、座標位置ｏ（ｊ＝ｉ），ｔについて認識できている前後のフレームに基づいて、重み関数ｗｏ（ｔ）、ｗｓ（ｔ）を決定する。
【００９３】
（１）の方法では、重み関数ｗｏ（ｔ）、ｗｓ（ｔ）を式（６）のように決定するが、座標位置ｓｋ，ｔのみを用いるため、対象物体ｉの座標位置は、下記の式（８）のように表されることになる。
【００９４】
【数８】
2019020360.tif 000010
【００９５】
（２）の方法については、時刻ｔの前後の時刻ｔ−１、ｔ＋１におけるフレームにおいて、対象物体ｉに対応する座標位置ｏ（ｊ＝ｉ），ｔ−１、座標位置ｏ（ｊ＝ｉ），ｔ＋１がそれぞれわかっている場合に、座標位置ｏ（ｊ＝ｉ），ｔは、これらの座標位置の間に位置するものと予想できる。
【００９６】
そこで、フィルタリング部３３４は、重み関数ｗｏ（ｔ）を、下記の式（９）のように決定する。
【００９７】
【数９】
2019020360.tif 000011
【００９８】
この場合、対象物体ｉの座標位置は、下記の式（１０）のように表されることになる。
【００９９】
【数１０】
2019020360.tif 000012
【０１００】
なお、（２）の方法について、前後の時刻ｔ−１、ｔ＋１に限られず、動きをより良く取るために、対象物体ｉの速度を考慮することもできる。
【０１０１】
この場合、時刻ｔ−１における対象物体ｉの速度を、下記の式（１１）とする。
【０１０２】
【数１１】
2019020360.tif 000013
【０１０３】
そうすると、前後のフレームの速度から、ｏ（ｊ），ｔを、下記の式（１２）として推定することが可能となる。
【０１０４】
【数１２】
2019020360.tif 000014
【０１０５】
同様に、加速度を下記の式（１３）及び（１４）とすることもできる。
【０１０６】
【数１３】
2019020360.tif 000015
【０１０７】
この場合、ｏ（ｊ），ｔを、下記の式（１５）として推定することが可能となる。
【０１０８】
【数１４】
2019020360.tif 000016
【０１０９】
ここで、Δｔは、フレーム間の時間差であり、本実施の形態では、Δｔ＝１とする。そうすると、上記の式（１２）及び（１５）は、それぞれ下記の式（１６）及び（１７）となる。
【０１１０】
【数１５】
2019020360.tif 000017
【０１１１】
ここでは速度の一階微分である加速度までを用いたが、速度の高階微分まで展開して用いてもよい。
【０１１２】
ここで、ｔ＋１やｔ＋２の時刻の情報が無い場合は、例えば式（１７）を用いて、重み関数ｗｏ（ｔ）を、下記の式（１８）のように決定する。
【０１１３】
【数１６】
2019020360.tif 000018
【０１１４】
この場合、対象物体ｉの座標位置は、下記の式（１９）のように表されることになる。
【０１１５】
【数１７】
2019020360.tif 000019
【０１１６】
また、時刻ｔのみの欠損であれば、前後のフレーム情報を考慮して、例えば式（１７）を用いて、重み関数ｗｏ（ｔ）を、下記の式（２０）のように決定する。
【０１１７】
【数１８】
2019020360.tif 000020
【０１１８】
この場合、対象物体ｉの座標位置は、下記の式（２１）のように表されることになる。
【０１１９】
【数１９】
2019020360.tif 000021
【０１２０】
このように、対象物体ｉに対応するＯが存在せず、かつ、物体認識部３１０によって対象物体ｉが検出されない場合でも、対象物体ｉが追跡可能となる。
【０１２１】
なお、フィルタリング部３３４が、対象物体ｉに対応するＯが存在しない場合に、対象物体ｉの移動軌跡が推定できないか、物体認識部３１０によって対象物体が検出されていないか、を判別して、上記の何れかの方法を選択する場合を例に説明したが、これに限定されるものではない。
【０１２２】
対象物体ｉの移動軌跡が推定できない場合を予め想定して、対象物体ｉに対応するＯが存在しない場合に、追跡対象の対象物体ｉの座標位置を上記（７）式により推定してもよい。
【０１２３】
あるいは、物体認識部３１０によって対象物体が検出されていない場合を予め想定して、対象物体ｉに対応するＯが存在しない場合に、追跡対象の対象物体ｉの座標位置を上記式（１９）、又は式（２１）により推定してもよい。
【０１２４】
次に、追跡対象の対象物体ｉに対応するＯが存在する場合は、重み関数ｗｏ（ｔ）、ｗｓ（ｔ）を上記式（４）に従って決定し、追跡対象の対象物体ｉの座標位置を上記式（１）〜式（３）のより推定してもよい。
【０１２５】
また、フィルタリング部３３４の動作は、時刻ｔのセンサデータが存在することを前提としたが、時刻ｔのセンサデータが存在しない場合にも適用可能である（図１０）。
【０１２６】
例えば、撮影装置１００とセンサ２００のサンプリングレートが異なる場合等、時刻ｔにおいてセンサデータが無い場合は、時刻ｔの前後のセンサデータから、ｇ（ｉ，ｔ）を推定すればよい。
【０１２７】
具体的には、センサデータのサンプリングレートをｆｓとすると、ｔ＝ｔ’＋ｄｔとなるようなｄｔに対して、例えば直近前後のセンサデータから加重平均を取ることで、ｇ（ｉ，ｔ）を下記の式（２２）のように推定する。
【０１２８】
【数２０】
2019020360.tif 000022
【０１２９】
すなわち、フィルタリング部３３４は、重み関数ｗｓ（ｔ）を、下記の式（２３）のように決定することと等価である。
【０１３０】
【数２１】
2019020360.tif 000023
【０１３１】
このように、時刻ｔにおけるセンサデータが存在しなくても、時刻ｔにおけるｉ＝ｋとなるｋの座標位置が推定できる（図１０）。
【０１３２】
なお、映像からの物体認識同様に、フレーム間隔が長い場合は、速度と加速度を考慮して、数フレーム前の情報を利用しても良い。
【０１３３】
次に、フィルタリング部３３４は、重みαｉ，ｔ、βｉ，ｔを決定する。
【０１３４】
重みαｉ，ｔ、βｉ，ｔは、物体認識部３１０における映像データの物体認識精度と、センサ検出部３２０におけるセンサデータの物体検出精度とに基づいて決定される。
【０１３５】
例えば、ＧＰＳの測位誤差等を考え、センサデータの誤差が画像から十分小さければ（αｉ，ｔ，βｉ，ｔ）＝（０．５，０．５）とする。
【０１３６】
また、例えば、センサデータの誤差が相対的に大きい場合は、（αｉ，ｔ，βｉ，ｔ）＝（０．９，０．１）とする。
【０１３７】
ここで、αｉ，ｔ及びβｉ，ｔは、センサ情報が無くても映像で現れるものを追跡したい、など、認識対象物体ｉに依存してセンサ情報の有無があることを想定するとｉに依存し、映像によっては一時的に映らなくても、再度映像に出現する物体などを想定すると、時刻ｔに依存することになる。
【０１３８】
推定部３３６は、物体認識部３１０によって得られたＯと、センサ検出部３２０によって得られたＳと、対応部３３２の対応付けの結果と、フィルタリング部３３４によって算出された重み関数ｗｏ（ｔ）、ｗｓ（ｔ）と、重みαｉ，ｔ、βｉ，ｔとを用いて、追跡対象の各対象物体の座標位置Ｐを推定する。
【０１３９】
具体的には、推定部３３６は、時刻ｔにおける追跡対象の対象物体ｉの位置ｐｉ，ｔを、上記式（７）、（８）、（１０）、（１９）、又は（２１）に従って求める。
【０１４０】
そして、推定部３３６は、求めた各対象物体の各時刻の座標位置から、各対象物体の移動軌跡の算出を行い、算出した移動軌跡を出力部４００に渡す。
【０１４１】
出力部４００は、推定部３３６から受け取った移動軌跡を出力する。
【０１４２】
＜本発明の実施の形態に係る物体認識装置の作用＞
【０１４３】
図１１は、本発明の実施の形態に係る物体認識処理フローを示すフローチャートである。
【０１４４】
撮影装置１００によって、映像データが生成されると、制御部３００において、図１１に示す物体認識処理フローが実行される。
【０１４５】
まず、ステップＳ１００において、物体認識部３１０に、撮影装置１００によって撮影された映像データが入力される。
【０１４６】
ステップＳ１１０において、センサ検出部３２０に、撮影装置１００とは異なるセンサであるセンサ２００のセンサデータが入力される。
【０１４７】
そして、ステップＳ１２０において、物体認識部３１０が、ステップＳ１００において入力された映像データから、各時刻の各対象物体を検出する。
【０１４８】
ステップＳ１３０において、物体認識部３１０が、ステップＳ１２０において検出された各時刻の各対象物体に対して座標変換を行い、各対象物体の位置を検出する。
【０１４９】
次に、ステップＳ１４０において、センサ検出部３２０が、ステップＳ１１０において入力されたセンサデータから、各時刻の各対象物体を検出する。
【０１５０】
ステップＳ１５０において、センサ検出部３２０が、ステップＳ１４０において検出された各時刻の各対象物体に対して座標変換を行い、各対象物体の位置を検出する。
【０１５１】
その後、ステップＳ１６０において、対応部３３２が、各時刻に対し、追跡対象となる各対象物体と、ステップＳ１３０において物体認識部３１０によって検出された当該時刻の各対象物体とを対応付ける。また、対応部３３２が、各時刻に対し、追跡対象となる各対象物体と、ステップＳ１５０においてセンサ検出部３２０によって検出された当該時刻の各対象物体とを対応付ける。
【０１５２】
ステップＳ１７０において、ｉの初期値としてｉ＝１とする。ここでｉは、Ｉｔ個存在する複数の追跡対象の対象物体をカウントするための変数である。
【０１５３】
ステップＳ１８０において、対応部３３２は、物体認識部３１０において検出された各対象物体に、ステップＳ１６０において追跡対象の対象物体ｉに対応付けされた対象物体が存在するか否かを判断する。
【０１５４】
追跡対象の対象物体ｉに対応付けされた対象物体が存在しない場合（ステップＳ１８０のＮＯ）、ステップＳ１９０において、フィルタリング部３３４は、追跡対象の対象物体ｉに対応する映像内の位置を推定する。
【０１５５】
ここで、ステップＳ１９０において、フィルタリング部３３４は、追跡対象の対象物体ｉの移動軌跡の推定ができない場合に、センサ検出部３２０によって検出された、追跡対象の対象物体ｉと対応する対象物体の位置との距離が最小となる、物体認識部３１０によって検出された対象物体の位置とに基づいて、対象物体ｉに対応する映像内の位置を推定する。
【０１５６】
また、フィルタリング部３３４は、物体認識部３１０によって対象物体が検出されない場合に、センサ検出部３２０によって検出された、追跡対象の対象物体ｉと対応する対象物体の位置のみに基づいて、又は、センサ検出部３２０によって検出された、対象物体ｉと対応する対象物体の位置、及び物体認識部３１０によって検出された、対象物体ｉと対応する対象物体の前時刻又は後時刻の位置に基づいて、対象物体ｉに対応する映像内の位置を推定しても良い。
【０１５７】
一方、追跡対象の対象物体ｉに対応付けされた対象物体が存在する場合（ステップＳ１８０のＹＥＳ）、ステップＳ２００に進む。
【０１５８】
そして、ステップＳ２００において、フィルタリング部３３４は、映像データ及びセンサデータに基づいて、追跡対象の対象物体ｉを求めるための重みを算出する。
【０１５９】
ステップＳ２１０において、推定部３３６は、映像データ内における追跡対象物体ｉと対応する対象物体の位置と、センサデータにおける追跡対象物体ｉと対応する対象物体の位置と、対応部３３２の対応付けの結果と、ステップＳ２００において算出された重みとに基づいて、追跡対象の対象物体ｉの位置を推定する。
【０１６０】
ステップＳ２２０において、変数ｉが追跡対象の対象物体の個数Ｉｔより小さいか否かを判断する。
【０１６１】
ｉがＩｔより小さい場合（ステップＳ２２０のＹＥＳ）、ステップＳ２３０において、ｉに１を加算し、ステップＳ１８０に戻り、上記ステップＳ１８０〜ステップＳ２１０の処理を繰り返す。
【０１６２】
一方、ｉがＩｔ以上の場合（ステップＳ２２０のＮＯ）、ステップＳ２４０において、全ての追跡対象物体の位置を出力する。
【０１６３】
以上説明したように、本発明に係る物体認識装置によれば、追跡対象となる対象物体が、物体認識部によって検出された対象物体と対応付かない場合、センサ検出部によって検出された、追跡対象となる対象物体と対応する対象物体の位置と、対応する対象物体の位置との距離が最小となる、物体認識部によって検出された対象物体の位置とに基づいて、追跡対象となる対象物体の位置を推定するため、映像中に追跡対象の物体が認識されない場合であっても、高精度な物体追跡をすることができる。
【０１６４】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１６５】
本実施形態では、「物体認識＋トラッキング」の場合を例に説明したが、「領域・特徴点抽出＋トラッキング」の場合においても適用可能である。この場合、本実施形態における「物体認識」を「領域・特徴点抽出」として読み替えることにより、本発明の適用が可能である。
【０１６６】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１６７】
１０   物体認識装置
１００ 撮影装置
２００ センサ
３００ 制御部
３１０ 物体認識部
３２０ センサ検出部
３３０ トラッキング部
３３２ 対応部
３３４ フィルタリング部
３３６ 推定部
４００ 出力部
【図１】
2019020360.tif 000024
【図２】
2019020360.tif 000025
【図３】
2019020360.tif 000026
【図４】
2019020360.tif 000027
【図５】
2019020360.tif 000028
【図６】
2019020360.tif 000029
【図７】
2019020360.tif 000030
【図８】
2019020360.tif 000031
【図９】
2019020360.tif 000032
【図１０】
2019020360.tif 000033
【図１１】
2019020360.tif 000034