(57)【要約】【課題】移動物体が所定の位置に到達したか否かを簡易な方法で判定し、かつ、注目物体の絶対的な位置が分からない場合でも判定可能とする。【解決手段】移動物体追跡装置１０は、映像から移動物体４１が映っている移動領域を抽出する移動領域抽出部１１と、注目物体４０が映っている注目領域に最も接近した最接近移動領域を記憶する最接近移動領域記憶部１３と、最接近移動領域と、移動領域抽出部１１により新たに抽出された移動領域とのいずれが注目領域との間の距離が短いかを判定し、新たに抽出された移動領域の方が注目領域との距離が短い場合に、該移動領域を最接近移動領域として最接近移動領域記憶部１３に上書き保存する最接近移動領域更新部１２と、移動領域抽出部１１により抽出された移動領域と最接近移動領域との距離が閾値より小さい場合に、該移動領域に映っている移動物体４１が注目物体４０に到達したと判定する到達判定部１４とを備える。【選択図】図１
2014016839.tif 000002
【特許請求の範囲】
【請求項１】
実空間をカメラで撮影して得られた映像を解析し、あらかじめ定められた注目物体に対する移動物体の接近を検出する移動物体追跡装置であって、
映像から移動物体が映っている移動領域を抽出する移動領域抽出部と、
注目物体が映っている注目領域に最も接近した移動領域である最接近移動領域を記憶する最接近移動領域記憶部と、
前記最接近移動領域と、前記移動領域抽出部により新たに抽出された移動領域とのいずれが注目領域との間の距離が短いかを判定し、新たに抽出された移動領域の方が注目領域との間の距離が短い場合に、該移動領域を最接近移動領域として前記最接近移動領域記憶部に上書き保存する最接近移動領域更新部と、
前記移動領域抽出部により抽出された移動領域と前記最接近移動領域との間の距離が閾値より小さい場合に、該移動領域に映っている移動物体が前記注目物体に到達したと判定する到達判定部と、
を備えることを特徴とする移動物体追跡装置。
【請求項２】
前記最接近移動領域更新部は、前記移動物体が前記注目物体より前記カメラの光軸方向で遠方にあると推定される場合には、前記注目領域の周辺に近傍領域を設定し、該近傍領域に前記移動領域の一部又は全部が含まれる場合にのみ、前記最接近移動領域と、前記移動領域抽出部により新たに抽出された移動領域とのいずれが注目領域との間の距離が短いかを判定することを特徴とする、請求項１に記載の移動物体追跡装置。
【請求項３】
前記最接近移動領域更新部は、前記近傍領域に前記移動領域の一部又は全部が含まれる場合、前記最接近移動領域及び前記移動領域のうち、重力方向側に位置する領域のほうが注目領域との間の距離が短いと判定することを特徴とする、請求項２に記載の移動物体追跡装置。
【請求項４】
前記到達判定部は、前記移動領域抽出部により抽出された移動領域と前記最接近移動領域との間の距離を、最接近移動領域の移動物体の大きさで正規化した値とすることを特徴とする、請求項１から３のいずれか一項に記載の移動物体追跡装置。
【請求項５】
前記移動領域に映っている移動物体が他の物体により遮蔽されている場合には、前記移動物体の形状及び大きさに関する移動物体情報に基づき、移動領域の遮蔽部分を補間する移動領域補間部を更に備えることを特徴とする、請求項１から４のいずれか一項に記載の移動物体追跡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実空間を撮影して得られた映像内で、該実空間内を移動している移動物体を追跡する移動物体追跡装置に関し、特に実空間を撮影して得られた映像を解析し、あらかじめ定められた注目物体に対する移動物体の接近を検出する移動物体追跡装置に関する。
【背景技術】
【０００２】
映像中に映っている物体が特定の注目物体に到達したことを正確に判定するためには、三次元空間中で物体と注目物体との位置を推定し、それらの距離を三次元座標に基づき算出する必要がある。そのような三次元復元を行う一般的な方法として、両眼カメラで撮影される視差を利用したり、可動カメラにより得られる運動視差を用いたり、また、赤外光などを用いた距離センサを併用したりする方法が知られている（例えば、特許文献１参照）。
【０００３】
また、安価なカメラやネットワークの普及により、定点カメラで撮影したライブ映像をネットワークを介して転送し、遠隔地で監視することが一般的に行われるようになっている。この技術の応用として、物品の盗難・破損等を防ぐため、特定の注目物体への人物の接近を監視するといった、特定の注目物体に対する移動物体の接近を監視するようなシステムが考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１６６３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特定の注目物体に対する移動物体の接近を監視するためには、従来技術では特殊な装置、距離センサ、大掛かりなカメラなどが必要となる。特に、広範囲を一度に撮影するために広角レンズや全方位ミラーをカメラに装着している場合、例えば両眼カメラの使用などは非常に困難である。
【０００６】
また、単純に移動物体と注目領域の間の距離に閾値を設定し、両者間の距離が閾値以下に近づけば、移動物体が注目物体に到達したと判定することも考えられる。しかし、注目物体の地面・床面等からの高さが事前に分からない場合や、シーン中の場所によって地面・床面の高さが変化する場合には、閾値を事前に設定することは困難である。
【０００７】
そこで、本発明は、上述の問題を鑑みて為されたものであり、移動物体が所定の位置に到達したか否かを簡易な方法で判定でき、かつ、注目物体の絶対的な位置が分からない場合でも判定可能とする移動物体追跡装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明による移動物体追跡装置は、実空間を撮影して得られた映像を解析し、あらかじめ定められた注目物体に対する移動物体の接近を検出する移動物体追跡装置であって、映像から移動物体が映っている移動領域を抽出する移動領域抽出部と、注目物体が映っている注目領域に最も接近した移動領域である最接近移動領域を記憶する最接近移動領域記憶部と、前記最接近移動領域と、前記移動領域抽出部により新たに抽出された移動領域とのいずれが注目領域との間の距離が短いかを判定し、新たに抽出された移動領域の方が注目領域との間の距離が短い場合に、該移動領域を最接近移動領域として前記最接近移動領域記憶部に上書き保存する最接近移動領域更新部と、前記移動領域抽出部により抽出された移動領域と前記最接近移動領域との間の距離が閾値より小さい場合に、該移動領域に映っている移動物体が前記注目物体に到達したと判定する到達判定部と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、両眼カメラや距離センサなどの特別な装置を使用することなく、移動物体が所定の位置に到達したか否かを簡易に判定することができる。また、注目物体の絶対的な位置が分からない場合でも、移動物体が所定の位置に到達したか否かを判定することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明による移動物体追跡装置を備える移動物体追跡システムの構成を示すブロック図である。
【図２】本発明による第１の実施形態の移動物体追跡装置の構成を示すブロック図である。
【図３】移動領域が注目領域よりもカメラ光軸方向に手前側に位置する例を示す図である。
【図４】移動領域が注目領域よりもカメラ光軸方向に奥側に位置する例を示す図である。
【図５】本発明による移動物体追跡装置における最接近移動領域と移動領域との間の距離の算出方法について説明する図である。
【図６】本発明による第２の実施形態の移動物体追跡装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１２】
本発明では、ライブ映像中に映っている人や車などの移動物体の軌跡を利用することで、三次元情報を用いずに移動物体の注目領域への接近を判定する。ライブ映像中に映っている空間中を頻繁に移動物体が移動すると仮定すると、それらの軌跡は移動物体が移動可能な動線を形成する。本発明は、注目領域に最も近い動線上に移動物体が到達したか否かを判定する。
【００１３】
具体的には、二次元映像中での移動物体と注目物体との間の距離が、過去に撮影された移動物体の中で最も短くなったときに、最接近移動領域を更新する。そして、移動物体が過去に最も注目物体に近づいた地点を、移動物体が注目物体に近づける限界点（到達点）とみなし、移動物体と到達点との間の距離により、注目物体に対する移動物体の接近度を判定する。そのため、各物体の正確な奥行きや、地面・床面等からの高さが分からない状況でも、簡易に移動物体が注目物体に到達（接近）したか否かを判定することができる。
【００１４】
（第１の実施形態）
まず、本発明による第１の実施形態の移動物体追跡装置について説明する。図１は、移動物体追跡装置を備える移動物体追跡システムの構成を示すブロック図である。図１に示すように、移動物体追跡システムは、移動物体追跡装置１０と、カメラ２０と、映像転送装置３０とを備える。本実施形態の移動物体追跡システムは、ライブ映像のリアルタイム処理を行うが、映像をいったん蓄積し、その後蓄積した映像をバッチ処理することも可能である。
【００１５】
カメラ２０は、実空間上に存在する、あらかじめ定められている注目物体４０、及び注目物体４０の近傍を移動する移動物体４１を含む物体を撮影し、撮像した映像を映像転送装置３０に出力する。
【００１６】
映像転送装置３０は、カメラ２０により撮影された映像をリアルタイムで移動物体追跡装置１０に送信する。映像転送装置３０は、一般的な遠隔映像監視装置や、テレビ電話装置などを適用することができる。なお、映像転送装置３０を設けずに、カメラ２０により撮像された映像を移動物体追跡装置１０に直接入力するようにしてもよい。
【００１７】
移動物体追跡装置１０は、入力される映像から、注目物体４０に対する移動物体４１の接近を検出し、注目物体４０に接近する移動物体４１が存在することを知らせる接近情報を外部に出力する。例えば、移動物体追跡システムが、特定の注目物体４０への人物の接近を監視するシステムである場合には、移動物体追跡装置１０は、接近情報を監視者が監視する端末５０に送信する。また、移動物体追跡システムが、展示場などでお勧めする注目物体４０に近づいた人物に情報を音声告知するシステムである場合には、移動物体追跡装置１０は、接近情報を音声出力装置（図示せず）に出力し、音声出力装置により情報を告知する。
【００１８】
図２は、移動物体追跡装置１０の構成を示すブロック図である。図２に示すように、移動物体追跡装置１０は、移動領域抽出部１１と、最接近移動領域更新部１２と、最接近移動領域記憶部１３と、到達判定部１４とを備える。
【００１９】
移動領域抽出部１１は、入力される映像から、移動物体４１が映っている移動領域を抽出し、最接近移動領域更新部１２及び到達判定部１４に出力する。例えば、移動領域抽出部１１は、背景差分法により移動領域を抽出する。あるいは、移動領域抽出部１１は、基準フレームと参照フレームとの間でブロックごとにＳＳＤ（Sum of Squared Difference）法やＳＡＤ（Sum of Absolute intensity Difference）法によりブロックマッチングを行って動きベクトルを検出し、動きベクトルが閾値より大きい領域を移動領域として抽出してもよい。
【００２０】
最接近移動領域記憶部１３は、あらかじめ定められた注目物体４０が映っている注目領域に最も接近した移動領域である最接近移動領域を記憶する。最接近移動領域は、より注目領域との間の距離が短い移動領域が移動領域抽出部１１により抽出されるごとに、上書き更新される。なお、最接近移動領域の初期値の設定方法は様々であるが、例えば最初に移動領域抽出部１１により抽出された移動領域とする。
【００２１】
最接近移動領域更新部１２は、最接近移動領域記憶部１３に記憶された最接近移動領域と、移動領域抽出部１１により新たに抽出された移動領域とのいずれが注目領域との間の距離が短いかを判定する。最接近移動領域更新部１２は、移動領域抽出部１１により新たに抽出された移動領域の方が注目領域との間の距離が短い場合に、該移動領域を最接近移動領域として最接近移動領域記憶部１３に上書き保存し、最接近移動領域を更新する。
【００２２】
到達判定部１４は、移動領域抽出部１１により抽出された移動領域と、最接近移動領域記憶部１３に記憶された最接近移動領域との間の距離を算出する。そして、到達判定部１４は、算出した距離が所定の閾値より小さい場合に、移動領域抽出部１１により抽出された移動領域に映っている移動物体４１が注目領域に到達したと判定し、接近情報を外部に出力する。
【００２３】
最接近移動領域更新部１２における距離の比較方法は、移動領域（移動物体４１）が注目領域（注目物体４０）よりも、カメラ２０の光軸方向でカメラ２０に近い方（手前側）に位置するか、カメラ２０に遠い方（奥側）に位置するかによって異なる。そして、最接近移動領域更新部１２は、移動領域が注目領域よりも手前側に位置する場合の最接近移動領域と、移動領域が注目領域よりも奥側に位置する場合の最接近移動領域とをそれぞれ決定する。以下、両者の距離の比較方法について説明する。
【００２４】
図３は、移動領域が注目領域よりも手前側に位置する例を示す図である。移動領域Ｂ，Ｃが注目領域Ａよりも手前に位置する場合は、移動領域Ｂ，Ｃと注目領域Ａとの間の距離は、代表点間の距離とする。注目領域Ａの代表点（注目領域代表点）ａは、あらかじめ定められているものとする。図３に示す例では、移動領域Ｂの代表点（移動領域代表点）ｂ、及び近移動領域Ｃの代表点（移動領域代表点）ｃは、各領域の左右方向の中心、かつ上下方向の下端の点としているが、この点に限られるものではない。
【００２５】
つまり、移動領域Ｂと注目領域Ａとの間の距離は、移動領域代表点ｂと注目領域代表点ａとの間の距離とし、移動領域Ｃと注目領域Ａとの距離は、移動領域代表点ｃと注目領域代表点ａとの間の距離とする。図３に示す位置関係の場合、代表点ａｂ間の距離は代表点ａｃ間の距離よりも短い。よって、最接近移動領域更新部１２は、移動領域Ｂの方が移動領域Ｃよりも注目領域Ａに対する距離が短いと判定する。そのため、移動領域抽出部１１により新たに抽出された移動領域が移動領域Ｂであり、最接近移動領域記憶部１３に記憶されている最接近移動領域が移動領域Ｃであった場合には、最接近移動領域更新部１２は、最接近移動領域を移動領域Ｂに更新する。なお、図３に示すように注目領域Ａの一部又は全部が移動領域Ｂ，Ｃにより遮蔽されることが考えられるが、注目領域Ａが映像中で固定であることを仮定できる状況では、あらかじめ定められた注目領域代表点ａも固定であるため問題ない。
【００２６】
図４は、移動領域が注目領域よりも奥側に位置する例を示す図である。図３と同様に、注目領域Ａの代表点（注目領域代表点）ａ、移動領域Ｂの代表点（移動領域代表点）ｂ、及び移動領域Ｃの代表点（移動領域代表点）ｃを記している。移動領域Ｂ，Ｃが注目領域Ａよりも奥側に位置する場合は、代表点間の距離が移動領域Ｂ，Ｃと注目領域Ａとの間の距離に対応しない。例えば、図４に示す例では、移動領域Ｂのほうが移動領域Ｃよりも注目領域Ａに近いが、代表点ａｂ間の距離は代表点ａｃ間の距離よりも長くなってしまう。
【００２７】
そこで、図４に示すように、注目領域Ａの周辺に近傍領域Ｄを設定し、近傍領域Ｄ内に一部又は全部が含まれる移動領域Ｂ，Ｃについてのみ、移動領域Ｂ，Ｃと注目領域Ａとの間の距離を比較することとする。そして、近傍領域Ｄ内に位置する移動領域Ｂ，Ｃと、注目領域Ａとの間の距離は、移動領域代表点から近傍領域Ｄの下辺に下ろした垂線の長さとする。すなわち、移動領域代表点が近傍領域Ｄ内で重力方向側（下側）に位置するほど、注目領域Ａとの距離が短いと判定する。図４に示す例では、移動領域代表点ｂは移動領域代表点ｃよりも下側に位置するため、最接近移動領域更新部１２は、移動領域Ｂの方が移動領域Ｃよりも注目領域Ａに対する距離が短いと判定する。
【００２８】
このように、最接近移動領域更新部１２は、移動物体４１が前記注目物体４０よりカメラ２０の光軸方向で遠方にあると推定される場合には、該注目領域の周辺に近傍領域Ｄを設定し、近傍領域Ｄに移動領域の一部又は全部が含まれる場合にのみ、最接近移動領域記憶部１３に記憶された最接近移動領域と、移動領域抽出部１１により新たに抽出された移動領域とのいずれが注目領域との間の距離が短いかを判定する。そして、最接近移動領域更新部１２は、最接近移動領域及び移動領域のうち、重力方向側（下側）に位置する領域のほうが注目領域との間の距離が短いと判定する。
【００２９】
到達判定部１４は、最接近移動領域と移動領域との間の距離を算出する。そして、到達判定部１４は、算出した距離が所定の閾値より小さい場合に、移動領域に映っている移動物体４１が注目領域に到達したと判定する。最接近移動領域と移動領域との間の距離は、例えば、両者の代表点間の距離としてもよいし、両者の代表点間の距離を最接近移動領域の移動物体の大きさで正規化した値、つまり両者の代表点間の距離を最接近移動領域の移動物体の大きさで割った値としてもよい。
【００３０】
図５は、最接近移動領域と移動領域との間の距離について説明する図である。図５（ａ）は、移動領域が最接近移動領域より手前側に位置する場合を示しており、図５（ｂ）は、移動領域が最接近移動領域より奥側に位置する場合を示している。具体例として、移動物体である人物が、カメラ２０の光軸に沿って、カメラ２０からの距離Ｌ１＝２０ｍの地点から、カメラ２０からの距離Ｌ２＝３０ｍの地点まで歩いたとし、Ｌ１とＬ２それぞれの地点で当該人物が含まれる移動領域が最接近移動領域として採用されたものとする。この場合の到達判定部１４における到達判定について説明する。
【００３１】
到達判定部１４は、例えば映像中の最接近移動領域と移動領域の代表点間の距離が最接近移動領域の移動物体の高さＨの５％以下となるときに移動領域が注目領域に到達したと判定する。この場合、図５（ａ）に示すように移動領域が最接近移動領域より手前側に位置する場合には、最接近移動領域の移動物体の高さＨ＝１．５ｍとすると、Ｌ＝２０ｍの地点ではｄ１が約１．８ｍ以下であるとき、Ｌ＝３０ｍの地点ではｄ１が約２．７ｍ以下であるときに、到達判定部１４は移動領域が注目領域に到達したと判定することになる。
【００３２】
また、図５（ｂ）に示すように移動領域が最接近移動領域より奥側に位置する場合には、最接近移動領域の移動物体の高さＨ＝１．５ｍとすると、Ｌ＝２０ｍの地点ではｄ２が約２．２ｍ以下であるとき、Ｌ＝３０ｍの地点ではｄ２が約３．３ｍ以下であるときに、到達判定部１４は移動領域が注目領域に到達したと判定することになる。
【００３３】
このように、第１の実施形態の移動物体追跡装置１０は、過去の移動物体４１の動線上で最も注目物体４０に近い地点を、それ以上注目物体４０に近づけない到達点とみなし、移動物体４１と到達点との間の距離により、移動物体４１が注目物体４０に到達（接近）したかを判断する。そのため、第１の実施形態の移動物体追跡装置１０によれば、移動物体４１が所定の位置に到達したか否かを簡易に判定することができるようになる。また、注目物体４０の絶対的な位置が分からない場合でも、移動物体４１が所定の位置に到達したか否かを判定することができる。
【００３４】
（第２の実施形態）
次に、本発明による第２の実施形態の移動物体追跡装置について説明する。図６は、第２の実施形態の移動物体追跡装置１０’の構成を示すブロック図である。図６に示すように、移動物体追跡装置１０’は、移動領域抽出部１１と、最接近移動領域更新部１２と、最接近移動領域記憶部１３と、到達判定部１４と、移動領域補間部１５とを備える。第２の実施形態の移動物体追跡装置１０’は、第１の実施形態の移動物体追跡装置１０と比較して、移動領域補間部１５を更に備える点が相違する。
【００３５】
移動領域抽出部１１は、入力される映像から、移動物体４１を含む移動領域を背景差分法などにより抽出し、移動領域補間部１５に出力する。
【００３６】
移動領域補間部１５は、事前に移動物体４１の形状及び大きさに関する移動物体情報を有しており、移動物体情報に基づいて、移動領域に映っている移動物体４１の一部が他の物体により遮蔽されているか否かを判定する。そして、移動領域補間部１５は、移動物体４１の一部が他の物体により遮蔽されていると判定した場合には、移動物体情報に基づいて移動領域の遮蔽部分を補間し、補間した移動領域を最接近移動領域更新部１２及び到達判定部１４に出力する。
【００３７】
撮影するシーンごとに主に撮影される移動物体４１の形状が決まる場合（例えば、屋内なので移動物体４１の大半は人である場合）には、移動物体情報をもとに、移動領域の遮蔽部分を補間することができる。例えば、移動物体４１が人である場合において、数秒間に亘る移動物体４１の一連の形状変化を観察すれば、アスペクト比の変化系列が観測され、最も縦長になった時点を手足が体側に近い位置にあると判断できる。そのときのアスペクト比が、移動物体情報として有しているアスペクト比から外れていれば、移動領域の上又は下に他の物体による遮蔽があると判断し、アスペクト比に基づいて移動領域の遮蔽部分を補間する。なお、画像中からアスペクト比等を用いて物体（人物像）を抽出することは、一般的に知られている。例えば、「動き領域の見えに基づく物体認識」（情報科学技術フォーラム一般講演論文集５(３)，p.71-72，2006年8月21日）を参照されたい。
【００３８】
最接近移動領域更新部１２は、最接近移動領域記憶部１３に記憶された最接近移動領域と、移動領域補間部１５から取得した移動領域とのいずれが注目領域との間の距離が短いかを判定する。そして、移動領域補間部１５から取得した移動領域の方が、最接近移動領域記憶部１３に記憶された最接近移動領域よりも注目領域との間の距離が短い場合には、最接近移動領域記憶部１３に記憶された最接近移動領域を、移動領域補間部１５から取得した移動領域に更新する。移動領域と注目領域との間の距離の比較方法は第１の実施形態と同じであるため、説明を省略する。
【００３９】
到達判定部１４は、移動領域補間部１５から取得した移動領域と、最接近移動領域記憶部１３に記憶された最接近移動領域との間の距離を検出する。そして、到達判定部１４は、検出した距離が所定の閾値より小さい場合に、移動領域補間部１５から取得した移動領域に映っている移動物体４１が注目領域に到達したと判定し、接近情報を外部に出力する。到達判定部１４の判定方法は第１の実施形態と同じであるため、説明を省略する。
【００４０】
このように、第２の実施形態の移動物体追跡装置１０’は、移動領域補間部１５により、移動領域に映っている移動物体４１が他の物体により遮蔽されている場合には、移動物体４１の形状及び大きさに関する移動物体情報に基づき、移動領域の遮蔽部分を補間する。そのため、第２の実施形態の移動物体追跡装置１０’によれば、移動物体４１が注目物体４０やその他の物体に遮蔽された場合であっても、最接近移動領域更新部１２は、移動領域抽出部１１により新たに抽出された移動領域と、最接近移動領域記憶部１３に記憶された最接近移動領域との注目領域に対する距離の比較を適切に行うことができ、到達判定部１４は、移動領域抽出部１１により抽出された移動領域と、最接近移動領域記憶部１３に記憶された最接近移動領域との間の距離を適切に検出することができるようになる。
【００４１】
上述の各実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【００４２】
１０、１０’    移動物体追跡装置
１１    移動領域抽出部
１２    最接近移動領域更新部
１３    最接近移動領域記憶部
１４    到達判定部
１５    移動領域補間部
２０    カメラ
３０    映像転送装置
４０    注目物体
４１    移動物体
５０    端末
【図１】
2014016839.tif 000003
【図２】
2014016839.tif 000004
【図３】
2014016839.tif 000005
【図４】
2014016839.tif 000006
【図５】
2014016839.tif 000007
【図６】
2014016839.tif 000008