(57)【要約】【課題】追跡対象の静止と隠蔽とを識別することを可能とする。【解決手段】テレビカメラ１と装置本体２とからなり、装置本体２はテレビカメラ１で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出部３と、対象抽出部３で抽出された追跡対象の画像領域の移動を追跡する対象追跡部４と、追跡対象をテレビカメラ１の撮像領域から隠蔽し得る隠蔽領域の境界をテレビカメラ１で撮像される時系列の画像に対して設定する境界設定部５とを備える。撮像領域内に存在する壁や衝立などの障害物の輪郭を隠蔽領域の境界Ｘに設定しておき、追跡対象の画像領域（人物領域Ｈ）が隠蔽領域（壁領域Ｗ）の境界Ｘに接しながら消失した場合に追跡対象（人物）が隠蔽領域（壁）に隠蔽されたと判断するため、追跡対象の静止と隠蔽との識別が可能となる。【選択図】        図１
2004258925.tif 000002
【特許請求の範囲】
【請求項１】
追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段と、追跡対象を撮像手段の撮像領域から隠蔽し得る隠蔽領域の境界を撮像手段で撮像される時系列の画像に対して設定する境界設定手段とを備え、対象追跡手段は、追跡対象の画像領域が隠蔽領域の境界に接しながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする画像追跡装置。
【請求項２】
追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段とを備え、対象追跡手段は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする画像追跡装置。
【請求項３】
追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段とを備え、対象追跡手段は、テンプレートマッチングにより追跡対象の画像領域を追跡するとともに追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする画像追跡装置。
【請求項４】
対象追跡手段は、追跡対象の画像領域を複数の領域に分割するとともに分割された領域毎にテンプレートマッチングを行い、追跡中に移動方向の前方にある分割領域のテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする請求項３記載の画像追跡装置。
【請求項５】
境界設定手段は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に当該境界を隠蔽領域の境界に設定することを特徴とする請求項１記載の画像追跡装置。
【請求項６】
対象追跡手段は、テンプレートマッチングにより追跡対象の画像領域を追跡し、境界設定手段は、対象追跡手段による追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定することを特徴とする請求項１記載の画像追跡装置。
【請求項７】
対象追跡手段は、追跡対象の画像領域を複数の領域に分割するとともに分割された領域毎にテンプレートマッチングを行い、境界設定手段は、対象追跡手段による追跡中に移動方向の前方にある分割領域のテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定することを特徴とする請求項６記載の画像追跡装置。
【請求項８】
対象抽出手段は、撮像された画像から追跡対象の画像領域を２値化画像として抽出し、境界設定手段は、追跡対象の画像領域に含まれる画素の画素値を時系列で累積し、累積した画素値のピークが追跡対象の画像領域の境界と一致する場合に当該境界と接する位置を隠蔽領域の境界に設定することを特徴とする請求項１記載の画像追跡装置。
【請求項９】
境界設定手段は、前記累積画像に対して微分による輪郭抽出を行って追跡対象の画像領域の境界を検出することを特徴とする請求項８記載の画像追跡装置。
【請求項１０】
対象追跡手段は、隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素の個数が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断することを特徴とする請求項１記載の画像追跡装置。
【請求項１１】
対象追跡手段は、隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素が追跡対象の画像領域の輪郭となる全ての画素に占める割合が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断することを特徴とする請求項１記載の画像追跡装置。
【請求項１２】
対象追跡手段は、境界設定手段によって設定される隠蔽領域の境界と撮像手段との間の距離を予め記憶しておき、追跡対象の画像領域が隠蔽領域の境界に接していると判断した場合に撮像手段と当該隠蔽領域の境界との間の距離を撮像手段から追跡対象までの距離と判断することを特徴とする請求項１記載の画像追跡装置。
【請求項１３】
撮像手段で得られる時系列の画像を表示する表示手段を備え、対象追跡手段は、隠蔽領域の境界に接しながら消失する追跡対象の画像領域を表示手段に表示させず、隠蔽領域の境界と交わる追跡対象の画像領域を表示手段に表示させることを特徴とする請求項１記載の画像追跡装置。
【請求項１４】
境界設定手段は、撮像手段における撮像領域の境界を隠蔽領域の境界に設定することを特徴とする請求項１記載の画像追跡装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、対象を撮像して得られる画像を追跡する画像追跡装置に関するものである。
【０００２】
【従来の技術】
この種の画像追跡装置は、例えば監視領域内における侵入者を検出して追跡する監視装置等に利用されている（例えば、特許文献１参照）。
【０００３】
従来の画像追跡装置では、所定の撮像領域を撮像して得られる時系列の画像の差分をとること（いわゆるフレーム間差分）で変化した（動きのあった）領域を追跡対象（例えば、人物）の画像領域として抽出し、抽出された画像領域をテンプレートマッチング等により追跡する処理を行うことで追跡対象の画像を追跡していた。
【０００４】
【特許文献１】
特公平６−２８４４９号公報（第２−３頁、第１図）
【０００５】
【発明が解決しようとする課題】
ところで、フレーム間差分を利用した上記従来例では、差分の出力がなくなった場合には追跡対象が静止していると判断していた。しかしながら、撮像領域内に存在する壁や衝立といった障害物に追跡対象が隠れて（隠蔽されて）撮像されなくなった場合にも差分の出力がなくなるから、上記従来例では追跡対象の静止と隠蔽との識別ができず、以降の追跡処理に悪影響を及ぼすことがあった。例えば、隠蔽であったにもかかわらず静止と判断した場合、実際には追跡対象が隠蔽された後に他の場所へ移動して再度現出しなかったときに追跡対象を見失ってしまう虞がある。つまり、静止と隠蔽とを識別することは対象の追跡にとって非常に重要である。
【０００６】
本発明は上記事情に鑑みて為されたものであり、その目的は、追跡対象の静止と隠蔽とを識別することが可能な画像追跡装置を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１の発明は、上記目的を達成するために、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段と、追跡対象を撮像手段の撮像領域から隠蔽し得る隠蔽領域の境界を撮像手段で撮像される時系列の画像に対して設定する境界設定手段とを備え、対象追跡手段は、追跡対象の画像領域が隠蔽領域の境界に接しながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする。
【０００８】
請求項２の発明は、上記目的を達成するために、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段とを備え、対象追跡手段は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする。
【０００９】
請求項３の発明は、上記目的を達成するために、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段とを備え、対象追跡手段は、テンプレートマッチングにより追跡対象の画像領域を追跡するとともに追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする。
【００１０】
請求項４の発明は、請求項３の発明において、対象追跡手段は、追跡対象の画像領域を複数の領域に分割するとともに分割された領域毎にテンプレートマッチングを行い、追跡中に移動方向の前方にある分割領域のテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする。
【００１１】
請求項５の発明は、請求項１の発明において、境界設定手段は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に当該境界を隠蔽領域の境界に設定することを特徴とする。
【００１２】
請求項６の発明は、請求項１の発明において、対象追跡手段は、テンプレートマッチングにより追跡対象の画像領域を追跡し、境界設定手段は、対象追跡手段による追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定することを特徴とする。
【００１３】
請求項７の発明は、請求項６の発明において、対象追跡手段は、追跡対象の画像領域を複数の領域に分割するとともに分割された領域毎にテンプレートマッチングを行い、境界設定手段は、対象追跡手段による追跡中に移動方向の前方にある分割領域のテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定することを特徴とする。
【００１４】
請求項８の発明は、請求項１の発明において、対象抽出手段は、撮像された画像から追跡対象の画像領域を２値化画像として抽出し、境界設定手段は、追跡対象の画像領域に含まれる画素の画素値を時系列で累積し、累積した画素値のピークが追跡対象の画像領域の境界と一致する場合に当該境界と接する位置を隠蔽領域の境界に設定することを特徴とする。
【００１５】
請求項９の発明は、請求項８の発明において、境界設定手段は、前記累積画像に対して微分による輪郭抽出を行って追跡対象の画像領域の境界を検出することを特徴とする。
【００１６】
請求項１０の発明は、請求項１の発明において、対象追跡手段は、隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素の個数が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断することを特徴とする。
【００１７】
請求項１１の発明は、請求項１の発明において、対象追跡手段は、隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素が追跡対象の画像領域の輪郭となる全ての画素に占める割合が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断することを特徴とする。
【００１８】
請求項１２の発明は、請求項１の発明において、対象追跡手段は、境界設定手段によって設定される隠蔽領域の境界と撮像手段との間の距離を予め記憶しておき、追跡対象の画像領域が隠蔽領域の境界に接していると判断した場合に撮像手段と当該隠蔽領域の境界との間の距離を撮像手段から追跡対象までの距離と判断することを特徴とする。
【００１９】
請求項１３の発明は、請求項１の発明において、撮像手段で得られる時系列の画像を表示する表示手段を備え、対象追跡手段は、隠蔽領域の境界に接しながら消失する追跡対象の画像領域を表示手段に表示させず、隠蔽領域の境界と交わる追跡対象の画像領域を表示手段に表示させることを特徴とする。
【００２０】
請求項１４の発明は、請求項１の発明において、境界設定手段は、撮像手段における撮像領域の境界を隠蔽領域の境界に設定することを特徴とする。
【００２１】
【発明の実施の形態】
（実施形態１）
図１に本実施形態の画像追跡装置のブロック図を示す。この画像追跡装置は、所定の撮像領域を撮像して時系列の画像を得るテレビカメラ１と、ＣＰＵ、メモリ、入出力インタフェース、マウスなどのポインティングデバイス、ディスプレイ等を具備する汎用のコンピュータ装置に画像処理用のソフトウェアを搭載して構成される装置本体２とを備える。テレビカメラ１は、例えばＣＣＤ等の撮像素子を具備し、撮像した画像を標準のテレビジョン方式（ＮＴＳＣ方式）に準拠したアナログのビデオ信号で出力するものであってもよいし、Ａ／Ｄ変換器を内蔵してデジタルの画像信号を出力するものであっても構わず、それぞれの信号方式に合わせて装置本体２の画像入力用のインタフェースを変更すればよい。
【００２２】
上述のように装置本体２は汎用のコンピュータ装置と画像処理用のソフトウェアで構成されるものであるが、上記ソフトウェアによる画像処理の機能モジュールとして、テレビカメラ１で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出部３と、対象抽出部３で抽出された追跡対象の画像領域の移動を追跡する対象追跡部４と、追跡対象をテレビカメラ１の撮像領域から隠蔽し得る隠蔽領域の境界をテレビカメラ１で撮像される時系列の画像に対して設定する境界設定部５とを備えている。
【００２３】
対象抽出部３は、テレビカメラ１で撮像された画像から濃淡画像を得るとともに、時系列の濃淡画像に対してフレーム間差分処理を行うことで撮像領域内で動きのある部分（画像領域）を抽出する処理を行う。対象追跡部４は、時系列の濃淡画像に対してテンプレートマッチングを行うことにより対象抽出部３で抽出した画像領域の中から追跡対象の画像領域を追跡し、各フレーム（時系列の濃淡画像）毎に追跡対象の画像領域が存在する座標を逐次更新しながら記憶する処理を行う。但し、対象抽出部３並びに対象追跡部４で行う上述の画像処理は従来周知の技術を用いて実現可能であるから詳細な説明は省略する。また、追跡対象の画像領域を抽出する方法としては、上述のフレーム間差分以外に背景差分等の他の方法を用いても構わない。
【００２４】
境界設定部５は、後述するように撮像領域内に壁や衝立などの追跡対象を隠蔽し得る障害物が存在する場合に、かかる障害物と撮像領域の背景との境界を設定する処理を行うものであって、本実施形態ではディスプレイに表示された撮像領域の画像を見ながらポインティングデバイスを使って当該境界をトレースすれば、トレースされた部分の画素の位置を読み取って装置本体２のメモリに記憶する処理を行っている。但し、境界設定部５で行う上述の境界設定処理は従来周知の技術を用いて実現可能であるから詳細な説明は省略する。
【００２５】
次に本実施形態の画像追跡装置において、撮像領域内に追跡対象（例えば人物）を隠蔽し得る障害物（壁）が存在する場合の動作を説明する。
【００２６】
図２（ａ）〜（ｄ）は対象抽出部３で抽出された時系列の濃淡画像Ｆ１〜Ｆ４を表しており、各濃淡画像Ｆ１〜Ｆ４には障害物となる壁が撮像された領域（以下、「壁領域」と呼ぶ）Ｗと、追跡対象の人物が撮像された領域（以下、「人物領域」と呼ぶ）Ｈとが含まれ、壁領域Ｗの縁を背景との境界Ｘとして予め境界設定部５により設定しておくものとする。そして、追跡対象である人物が動いている間は対象抽出部３で人物領域Ｈが抽出され、対象追跡部４でテンプレートマッチングを行うことにより撮像領域内における人物領域Ｈの位置（座標）を検出して追跡しており、仮に対象抽出部３で人物領域Ｈが検出されなくなった場合にはその直前に検出された位置を人物が再び動き出すまで保持しておく。
【００２７】
ここで、図２（ｂ）〜（ｄ）に示すように人物が壁の後ろに移動して隠蔽された場合にも対象抽出部３で人物領域Ｈが抽出されなくなるが、この場合、人物領域Ｈは常に境界Ｘに接しながら徐々に領域が狭くなった後に消滅することになり、静止の場合には境界Ｘに接することなく消滅することになる。そこで本実施形態では、対象追跡部４が追跡対象の人物領域Ｈと壁領域Ｗの境界Ｘとの画素の重なりの有無を検出し、境界Ｘの画素と重なる画素数を増減しながら人物領域Ｈが消失した場合に追跡対象（人物）が隠蔽領域（壁）に隠蔽されたと判断して、追跡対象の人物が静止したのか、障害物である壁の後ろに隠れた（隠蔽された）のかを識別している。
【００２８】
上述のように本実施形態では、撮像領域内に存在する壁や衝立などの障害物の輪郭を隠蔽領域の境界Ｘに設定しておき、追跡対象の画像領域（人物領域Ｈ）が隠蔽領域（壁領域Ｗ）の境界Ｘに接しながら消失した場合に追跡対象（人物）が隠蔽領域（壁）に隠蔽されたと判断するため、追跡対象の静止と隠蔽との識別が可能となる。
【００２９】
（実施形態２）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作については実施形態１と共通であるから、共通の構成及び動作については図示並びに説明を省略し、本実施形態の特徴なる点についてのみ説明する。すなわち、実施形態１ではオペレータの操作に基づいて境界設定部５により境界の設定を行っているが、本実施形態では境界設定部５がオペレータの手を借りずに自動的に隠蔽領域の境界を設定する点に特徴がある。
【００３０】
実施形態１で説明したように、対象追跡部４ではテンプレートマッチングによって追跡対象の画像領域（人物領域Ｈ）を追跡しているが、追跡対象が静止した場合にはテンプレートマッチングの相関度（相関値）が急激に略ゼロまで低下するのに対し、追跡対象の画像領域が隠蔽領域（壁領域Ｗ）に隠蔽される場合にはテンプレートマッチングにおける相関値が徐々に低下するという違いがある。
【００３１】
そこで本実施形態では、境界設定部５において対象追跡部４による追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定し、実施形態１のように人（オペレータ）が目視で確認して隠蔽領域の境界を設定する必要が無く、隠蔽領域の境界を自動的に設定することができる。
【００３２】
図３は横軸に時刻ｔ、縦軸にテンプレートマッチングの相関値をとり、実施形態１で説明したように追跡対象の人物領域Ｈが隠蔽領域である壁領域Ｗに隠蔽されるまでの間の相関値の変化の様子を表している。すなわち、同図（ａ）に示すように人物が隠蔽されていなければ相関値は所定のしきい値δを上回る高い値を示し、同図（ｂ）に示すように人物の体が壁に隠蔽され始めると相関値も徐々に低下し始め、同図（ｃ）に示すように人物の体のほとんどが壁に隠蔽されると相関値がしきい値δを下回ることになる。そこで本実施形態の境界設定部５は、相関値がしきい値δ以下となった人物領域Ｈの輪郭のうちでテンプレートとの相関が最も低い領域（例えば、ほぼ直線となるような領域）を抽出し、その領域に含まれる画素の位置を読み取って装置本体２のメモリに記憶することにより境界Ｘを自動的に設定する。なお、境界設定部５により境界Ｘを自動的に設定した後は、実施形態１と共通の動作で追跡対象の静止と隠蔽を識別しながら追跡が行われる。
【００３３】
ところで、対象追跡部４で行うテンプレートマッチングとして、対象の画像領域を複数のブロック（分割領域）に分割して各ブロックごとにフレーム間の相関を計算し、次フレームで当該ブロックがどこへ移動したかの動きベクトルを求めて画像領域全体の移動を検出する処理方法がある。このような処理方法を採用する場合には、境界設定部５が、対象追跡部４による追跡中に移動方向の前方にあるブロックのテンプレートマッチングの相関値が徐々に低下してしきい値δ以下となったときに当該ブロックの輪郭のうちでテンプレートとの相関が最も低い領域（例えば、ほぼ直線となるような領域）を抽出し、その領域に含まれる画素の位置を読み取って装置本体２のメモリに記憶することにより境界Ｘを自動的に設定するようにすればよい。
【００３４】
なお、上述のようなテンプレートマッチングの相関値の変化の仕方に着目すれば、隠蔽領域の境界を設定しなくても対象追跡部４にて追跡対象の静止と隠蔽を判別することが可能である。つまり、対象追跡部４が追跡対象の画像領域を追跡しているときにテンプレートマッチングの相関値が徐々に低下してしきい値δ以下となったら追跡対象が隠蔽されたと判断し、テンプレートマッチングの相関値が急激に略ゼロまで低下したら追跡対象が静止した判断するのである。あるいは、対象の画像領域を複数のブロックに分割してブロックのテンプレートマッチングを行う場合においても同様に追跡対象の静止と隠蔽を判別することが可能である。
【００３５】
（実施形態３）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作は対象追跡部４が濃淡画像を２値化した２値化画像に対してテンプレートマッチングを行う点を除いて基本的に実施形態１と共通であり、共通の構成及び動作については図示並びに説明を省略し、本実施形態の特徴なる点についてのみ説明する。すなわち、本実施形態も実施形態２と同様に境界設定部５がオペレータの手を借りずに自動的に隠蔽領域の境界を設定する点に特徴がある。
【００３６】
いま、追跡対象が移動しながら隠蔽領域に隠蔽される場合を考える。例えば、対象抽出部４で抽出された追跡対象の画像領域（２値化画像の「１」の画素の集合）を複数のフレームに亘って累積すると、時刻ｔの経過とともに追跡対象の画像領域Ｍｔ〜Ｍｔ＋４が徐々に減少してやがて消失するから、隠蔽領域の境界に接する端部（図４における左端部）の累積値が最も大きくなるはずである。そこで本実施形態の境界設定部５では、対象抽出部４で抽出された追跡対象の画像領域を複数のフレームに亘って累積し、累積した画素値のピークが追跡対象の画像領域の境界と一致する場合に当該境界と接する画素の位置を読み取って装置本体２のメモリに記憶する処理を行うことで境界を自動的に設定する。
【００３７】
ところで境界設定部５において、累積された画像領域（累積画像）に対して微分オペレータによる輪郭抽出（エッジ抽出）を行って追跡対象の画像領域の境界を検出する処理を行えば、輪郭抽出を行うことで隠蔽領域の境界を正確に検出して設定することができる。ここで、微分オペレータは一般の画像処理において頻繁に用いられる３×３あるいは５×５のサイズのもので、１次微分のソーベルオペレータ若しくは２次微分のラプラシアンオペレータの何れでもよい。そして、境界設定部５では、微分オペレータによる微分画像に対して適当なしきい値で２値化して微分強度の高い領域を抽出し、さらに抽出された領域内で従来周知のピーク検出処理を行って境界を抽出する。
【００３８】
なお、上述のように追跡対象の画像領域の変化の仕方に着目すれば、隠蔽領域の境界を設定しなくても対象追跡部４にて追跡対象の静止と隠蔽を判別することが可能である。つまり、対象追跡部４では追跡対象の画像領域Ｍｔ〜Ｍｔ＋４が徐々に減少してやがて消失した場合に追跡対象が隠蔽されたと判断し、追跡対象の画像領域が急激に消失した場合に追跡対象が静止したと判断するのである。
【００３９】
（実施形態４）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作は基本的に実施形態１と共通であり、共通の構成及び動作については図示並びに説明を省略し、本実施形態の特徴なる点についてのみ説明する。
【００４０】
本実施形態は、対象追跡部４が隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素の個数が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断する点に特徴がある。すなわち、図５に示すように境界Ｘ上の画素Ｐｘから複数の方向（例えば４方向）に検査線を延ばし、追跡対象の画像領域Ｈの輪郭上の画素Ｐｈと交差するまでの距離を求め、それらのうちの最短距離Ｄｍｉｎを境界Ｘと画像領域Ｈとの距離とし、この距離Ｄｍｉｎが予め設定されたしきい値Ｄｔｈを下回れば、２つの画素Ｐｘ、Ｐｈが接しているとみなし、境界Ｘ上の全ての画素Ｐｘについて上記最短距離Ｄｍｉｎを求めてしきい値Ｄｔｈと比較する処理を順次行い、接するとみなせる画素Ｐｘ、Ｐｈが連続してしきい値Ｎｔｈを上回れば、対象追跡部４は追跡対象の画像領域Ｈが隠蔽領域の境界Ｘに接していると判断する。
【００４１】
次に、対象追跡部４において追跡対象の画像領域が隠蔽領域の境界に接しているか否かを判断する手順を図６のフローチャートを参照して詳細に説明する。
【００４２】
まず、境界Ｘ上の各画素Ｐｘに対する距離Ｄｍｉｎ（ｎ）や変数ｎ，Ｎを初期化し（ステップ１）、上述の手順で求めた境界Ｘ上の画素Ｐｘ（ｎ）から追跡対象の画像領域Ｈの輪郭上の画素Ｐｈまでの最短距離Ｄｍｉｎ（ｎ）をしきい値Ｄｔｈと比較する（ステップ２）。この距離Ｄｍｉｎ（ｎ）がしきい値Ｄｔｈ以上であれば変数ｎをインクリメントし（ステップ３）、次の画素Ｐｘ（ｎ＋１）に対する最短距離Ｄｍｉｎ（ｎ＋１）をしきい値Ｄｔｈと比較し（ステップ２）、最短距離Ｄｍｉｎがしきい値Ｄｔｈを下回るまでステップ２〜ステップ３の処理を繰り返す。そして、最短距離Ｄｍｉｎがしきい値Ｄｔｈを下回れば、そのときの画素Ｐｘ（接点）が前の画素Ｐｘと連続するか否かを判断し（ステップ４）、連続していなければ変数ｎをインクリメントし（ステップ３）、連続する画素Ｐｘ（接点）が現れるまでステップ２〜ステップ４の処理を繰り返す。
【００４３】
一方、最短距離Ｄｍｉｎがしきい値Ｄｔｈを下回る画素Ｐｘ（接点）が連続して存在する場合は接点のカウント値Ｎをインクリメントし（ステップ５）、そのカウント値Ｎをしきい値Ｎｔｈと比較する（ステップ６）。そして、カウント値Ｎがしきい値Ｎｔｈを上回れば追跡対象の画像領域が隠蔽領域の境界に接していると判断し（ステップ７）、カウント値Ｎがしきい値Ｎｔｈ以下であればステップ３に戻って上述の処理を繰り返す。
【００４４】
本実施形態では対象追跡部４において上述のような処理を行っているため、追跡対象の画像領域が隠蔽領域の境界に接しているか否かが比較的簡単な処理で判断できるという利点がある。なお、本実施形態では境界Ｘ上の画素Ｐｘから追跡対象の画像領域Ｈ上の画素Ｐｈまでの距離を求めるようにしたが、これとは逆に追跡対象の画像領域Ｈ上の画素Ｐｈから境界Ｘ上の画素Ｐｘまでの距離を求めてもよい。また、本実施形態では最短距離Ｄｍｉｎがしきい値Ｄｔｈを下回る画素Ｐｘ（接点）が連続することを条件としているが、最短距離Ｄｍｉｎがしきい値Ｄｔｈを下回る画素Ｐｘ（接点）の個数Ｎが追跡対象の画像領域Ｈの輪郭となる全ての画素Ｐｈに占める割合を所定のしきい値と比較し、この割合がしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断するようにすれば、ノイズに対する耐性が向上できるという利点がある。
【００４５】
（実施形態５）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作については実施形態１と共通であるから、共通の構成及び動作については図示並びに説明を省略し、本実施形態の特徴なる点についてのみ説明する。
【００４６】
本実施形態は、対象追跡部４において、図７に示すように境界設定部５によって設定される複数の隠蔽領域（壁領域）Ｗ１〜Ｗ３の各境界Ｘ１〜Ｘ３とテレビカメラ１との間の距離を予め記憶しておき、追跡対象の画像領域（人物領域Ｈ）が壁領域Ｗ１〜Ｗ３の境界Ｘ１〜Ｘ３に接していると判断した場合にテレビカメラ１と当該境界Ｘ１〜Ｘ３との間の距離をテレビカメラ１から追跡対象（人物）までの距離と判断している。複数の境界Ｘ１〜Ｘ３は境界設定部５により実施形態１のように手動で設定してもよいし、実施形態２〜４のように境界設定部５が自動的に設定しても構わない。
【００４７】
例えば、図７に示す場合であれば、テレビカメラ１から３つの壁領域Ｗ１〜Ｗ３の各境界Ｘ１〜Ｘ３までの距離（例えば、１０ｍ、１５ｍ、２０ｍ）を計測してメモリに記憶しておき、対象追跡部４にて人物領域Ｈが中央の壁領域Ｗ２に隠蔽されたと判断した場合、追跡対象の人物が境界Ｘ２までの距離（１５ｍ）の近傍でそれよりも遠方に存在していると判断できる。一般に画像処理によって対象までの距離を計測するには、ステレオ処理のように複雑な計算処理が必要となるが、本実施形態では上述のように簡単な処理で追跡対象までのおおまかな距離を求めることができる。なお、上述の例では境界Ｘ１〜Ｘ３が垂直な場合について説明したが、オフィス内に設置されるパーテーションの上縁のように水平方向の境界についても垂直の場合と同様の作用効果を奏し得るものであり、境界の方向は特に限定されるものではない。
【００４８】
（実施形態６）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作については実施形態１と共通であるから、共通の構成及び動作については図示並びに説明を省略する。
【００４９】
従来、屋外に設置されて道路などの公共の場所を監視する監視システムに本発明の画像追跡装置を利用する場合、図８に示すようにテレビカメラ１の撮像領域内に個人の住居Ａが存在することがあり、プライバシー保護の点から当該住居Ａの画像領域を装置本体２のディスプレイ上で非表示にする必要があった。しかしながら、住居Ａの画像領域を常に非表示とするとテレビカメラ１と住居Ａとの間を通行する人や車などの追跡対象までもディスプレイ上で表示できなくなるという不都合が生じていた。
【００５０】
一方、図８に示すように監視領域内に住居Ａが存在する場合であれば、プライバシー保護の対象となるのは住居Ａの窓Ｂを通して見える住人や室内の様子である。そこで本実施形態では、デフォルトで非表示となる表示制御領域Ｃを住居Ａの窓Ｂを含む範囲に設定するとともに窓枠の垂直方向の両端を境界設定部５により手動若しくは自動で隠蔽領域の境界Ｘに設定しておき、対象追跡部４にて追跡対象の画像領域を追跡する際に隠蔽領域の境界Ｘに接しながら消失する画像領域Ｈが存在すれば表示制御領域Ｃをディスプレイ上で非表示のままとし、隠蔽領域の境界Ｘと交わる追跡対象の画像領域が存在すれば表示制御領域Ｃをディスプレイ上で表示させるようにしている。すなわち、隠蔽領域の境界Ｘに接しながら消失する画像領域Ｈは窓Ｂを通して見える住人と判断できるため、このような場合には表示制御領域Ｃを非表示することでプライバシー保護を図り、隠蔽領域の境界Ｘと交わる追跡対象の画像領域が存在する場合には、テレビカメラ１と住居Ａとの間に追跡対象の人や車が存在していると判断できるため、このような場合には表示制御領域Ｃ内に存在する追跡対象の画像領域のみをディスプレイ上に表示させれば、テレビカメラ１と住居Ａとの間を通行する人や車などの追跡対象がディスプレイ上で表示できなくなるという不都合が解消できる。なお、隠蔽領域の境界Ｘと追跡対象の画像領域が交わるか否かの判断は、当該画像領域内の画素と境界Ｘとの交点が所定数以上存在するか否かで判断すればよい。
【００５１】
（実施形態７）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作については実施形態１と共通であるから、共通の構成及び動作については図示並びに説明を省略する。
【００５２】
浴室内で人の行動を監視する監視システムに画像追跡装置を利用する場合、従来では追跡対象（入浴中の人）の画像領域が消失したときにそれが浴室内で人が静止しているのか、浴室から人が退室したのかを識別することは困難であり、人の退室を報知するためのスイッチを浴室の外に設置する必要があった。
【００５３】
そこで、隠蔽領域をテレビカメラ１の撮像領域外とみなし、撮像領域の縁を境界に設定することにより、上述のような静止と退室の識別が可能となる。例えば、図９に示すようにテレビカメラ１を浴室の天井に設置して浴室のほぼ全体を撮像領域Ｆとし、撮像領域Ｆの外を隠蔽領域とみなして撮像領域Ｆの全周縁を境界Ｘに設定し、追跡対象の画像領域Ｈが境界Ｘに接しながら消失する隠蔽の場合は退室と判断し、画像領域Ｈが境界Ｘに接することなく消失する場合は静止と判断する。なお、退室と判断する条件として画像領域Ｈの移動方向が撮像領域Ｆの外へ向かっていることを加えることで退室と判断する信頼性が向上できる。
【００５４】
（実施形態８）
図１０に本実施形態の画像追跡装置のブロック図を示す。但し、実施形態１と共通の構成要素には同一の符号を付して説明を省略する。
【００５５】
本実施形態は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に対象追跡部４’にて追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする。
【００５６】
例えば、図１１は追跡対象の画像領域Ｈが時刻ｔ，ｔ＋１，ｔ＋２と徐々に隠蔽領域に隠蔽される様子を表しており、追跡対象部４’では各時刻における画像領域Ｈｔ，Ｈｔ＋１，Ｈｔ＋２のエッジを抽出し、これら全ての画像領域Ｈｔ，Ｈｔ＋１，Ｈｔ＋２のエッジをアンド処理して所定数以上の画素が重複していればエッジ（境界）Ｙが重なっているとみなし、追跡対象の画像領域Ｈが隠蔽領域に隠蔽されたと判断している。
【００５７】
本実施形態は上述のように構成されるものであり、実施形態１のように撮像領域内に隠蔽領域の境界を設定する必要がなく、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することによって追跡対象の静止と隠蔽との識別が可能となる。
【００５８】
なお、本実施形態における追跡対象の静止と隠蔽の判断手法は境界設定部５の境界設定にも利用できる。つまり、各時刻における画像領域Ｈｔ，Ｈｔ＋１，Ｈｔ＋２のエッジをアンド処理して所定数以上の画素が重複していた場合にエッジが隠蔽領域の境界に一致しているのであるから、この場合のエッジを隠蔽領域の境界に設定すればよい。
【００５９】
【発明の効果】
請求項１の発明は、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段と、追跡対象を撮像手段の撮像領域から隠蔽し得る隠蔽領域の境界を撮像手段で撮像される時系列の画像に対して設定する境界設定手段とを備え、対象追跡手段は、追跡対象の画像領域が隠蔽領域の境界に接しながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とし、撮像領域内に存在する壁や衝立などの障害物の輪郭を隠蔽領域の境界に設定しておき、追跡対象の画像領域が隠蔽領域の境界に接しながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断すれば、追跡対象の静止と隠蔽との識別が可能となる。
【００６０】
請求項２の発明は、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段とを備え、対象追跡手段は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とし、撮像領域内に隠蔽領域の境界を設定する必要がなく、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することによって追跡対象の静止と隠蔽との識別が可能となる。
【００６１】
請求項３の発明は、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段とを備え、対象追跡手段は、テンプレートマッチングにより追跡対象の画像領域を追跡するとともに追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とし、撮像領域内に隠蔽領域の境界を設定する必要がなく、追跡中におけるテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することによって追跡対象の静止と隠蔽との識別が可能となる。
【００６２】
請求項４の発明は、請求項３の発明において、対象追跡手段は、追跡対象の画像領域を複数の領域に分割するとともに分割された領域毎にテンプレートマッチングを行い、追跡中に移動方向の前方にある分割領域のテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とし、請求項３の発明と同様の効果を奏する。
【００６３】
請求項５の発明は、請求項１の発明において、境界設定手段は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に当該境界を隠蔽領域の境界に設定することを特徴とし、人が目視で確認して隠蔽領域の境界を設定する必要が無く、境界設定手段により隠蔽領域の境界を自動的に設定することができる。
【００６４】
請求項６の発明は、請求項１の発明において、対象追跡手段は、テンプレートマッチングにより追跡対象の画像領域を追跡し、境界設定手段は、対象追跡手段による追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定することを特徴とし、人が目視で確認して隠蔽領域の境界を設定する必要が無く、境界設定手段により隠蔽領域の境界を自動的に設定することができる。
【００６５】
請求項７の発明は、請求項６の発明において、対象追跡手段は、追跡対象の画像領域を複数の領域に分割するとともに分割された領域毎にテンプレートマッチングを行い、境界設定手段は、対象追跡手段による追跡中に移動方向の前方にある分割領域のテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定することを特徴とし、請求項６の発明と同様の効果を奏する。
【００６６】
請求項８の発明は、請求項１の発明において、対象抽出手段は、撮像された画像から追跡対象の画像領域を２値化画像として抽出し、境界設定手段は、追跡対象の画像領域に含まれる画素の画素値を時系列で累積し、累積した画素値のピークが追跡対象の画像領域の境界と一致する場合に当該境界と接する位置を隠蔽領域の境界に設定することを特徴とし、人が目視で確認して隠蔽領域の境界を設定する必要が無く、境界設定手段により隠蔽領域の境界を自動的に設定することができる。
【００６７】
請求項９の発明は、請求項８の発明において、境界設定手段は、前記累積画像に対して微分による輪郭抽出を行って追跡対象の画像領域の境界を検出することを特徴とし、輪郭抽出を行うことで隠蔽領域の境界を正確に検出して設定することができる。
【００６８】
請求項１０の発明は、請求項１の発明において、対象追跡手段は、隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素の個数が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断することを特徴とし、追跡対象の画像領域が隠蔽領域の境界に接しているか否かが比較的簡単な処理で判断できる。
【００６９】
請求項１１の発明は、請求項１の発明において、対象追跡手段は、隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素が追跡対象の画像領域の輪郭となる全ての画素に占める割合が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断することを特徴とし、追跡対象の画像領域が隠蔽領域の境界に接しているか否かが比較的簡単な処理で判断できるとともにノイズに対する耐性が向上できる。
【００７０】
請求項１２の発明は、請求項１の発明において、対象追跡手段は、境界設定手段によって設定される隠蔽領域の境界と撮像手段との間の距離を予め記憶しておき、追跡対象の画像領域が隠蔽領域の境界に接していると判断した場合に撮像手段と当該隠蔽領域の境界との間の距離を撮像手段から追跡対象までの距離と判断することを特徴とし、撮像手段から追跡対象までの距離を比較的簡単な処理で求めることができる。
【００７１】
請求項１３の発明は、請求項１の発明において、撮像手段で得られる時系列の画像を表示する表示手段を備え、対象追跡手段は、隠蔽領域の境界に接しながら消失する追跡対象の画像領域を表示手段に表示させず、隠蔽領域の境界と交わる追跡対象の画像領域を表示手段に表示させることを特徴とし、追跡対象が隠蔽領域よりも手前に存在する場合には追跡対象の画像領域が隠蔽領域の境界と交わることになるから、隠蔽領域を含む所定の範囲を表示手段に表示させず、隠蔽領域よりも手前に存在する追跡対象のみを表示手段に表示させることができる。
【００７２】
請求項１４の発明は、請求項１の発明において、境界設定手段は、撮像手段における撮像領域の境界を隠蔽領域の境界に設定することを特徴とし、追跡対象が撮像領域内で静止しているのか、撮像領域の外に退出したのかを識別することができる。
【図面の簡単な説明】
【図１】実施形態１を示すブロック図である。
【図２】同上の動作説明図である。
【図３】実施形態２の動作説明図である。
【図４】実施形態３の動作説明図である。
【図５】実施形態４の動作説明図である。
【図６】同上の動作説明用のフローチャートである。
【図７】実施形態５の動作説明図である。
【図８】実施形態６の動作説明図である。
【図９】実施形態７の動作説明図である。
【図１０】実施形態８を示すブロック図である。
【図１１】同上の動作説明図である。
【符号の説明】
１  テレビカメラ
２  装置本体
３  対象抽出部
４  対象追跡部
５  境界設定部
【図１】
2004258925.tif 000003
【図２】
2004258925.tif 000004
【図３】
2004258925.tif 000005
【図４】
2004258925.tif 000006
【図５】
2004258925.tif 000007
【図６】
2004258925.tif 000008
【図７】
2004258925.tif 000009
【図８】
2004258925.tif 000010
【図９】
2004258925.tif 000011
【図１０】
2004258925.tif 000012
【図１１】
2004258925.tif 000013