(57)【特許請求の範囲】
【請求項１】
動画像から動物体を検出する動物体検出部と、前記動物体検出部により検出した動物体毎の重心位置を抽出する動物体特徴抽出部と、前記動物体特徴抽出部の出力を動物体毎にその重心位置を順次更新・記憶する動物体特徴記憶部と、前記動物体特徴抽出部の出力と前記動物体特徴記憶部の内容とを比較して前記動物体検出部により検出した動物体を対応付けて追跡し、追跡結果を出力する動物体対応付け部と、前記動物体が静止したことを判定する静止判定部と、前記静止判定部により判定した静止動物体の重心位置を抽出する静止物体特徴抽出部と、前記静止物体の重心位置を記憶する静止物体特徴記憶部と、前記動物体特徴記憶部の内容と前記静止物体特徴記憶部の内容とを比較して静止物体が再び動物体として動き出したかを判定し、その対応付け結果を出力する静止物体対応付け部とを備え、
前記動物体検出部は、フレーム間差分画像から動物体を検出する際の閾値を決定する閾値決定部を有し、
前記閾値決定部は、原画像から各画素の値とその前の画素の値との差分である隣接画素間差分値を求めるとともに、その差分値毎の頻度を求めて隣接画素間差分値の頻度分布を求め、さらに前記差分値の頻度分布から求めた変化率を基に閾値を決定することを特徴とする動物体追跡装置。
【請求項２】
前記閾値決定部は、フレーム内の隣接画素間差分値の頻度分布の変化率が、予め定められた値以上となる最初の値を閾値として、前記閾値を求めることを特徴とする請求項１記載の動物体追跡装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、動画像から動物体を抽出、追跡する動画像抽出・追跡装置、並びに、フレーム間差分画像から動物体を抽出する際の閾値をフレーム画像そのものから決定する閾値決定装置に関するものである。
【０００２】
【従来の技術】
近年、動画像から動物体を検出、追跡する装置は、監視カメラを用いた監視システムにおいて盛んに利用されるようになってきた。この追跡装置として、例えば、「移動物体追跡を利用した屋外駐車場における車両計測」（長谷川、小沢、１９９３年電子情報通信学会論文誌Ｖｏｌ．Ｊ７６−Ｄ２  Ｎｏ．７）にフレーム間差分を用いた装置が開示されている。また、複数の動物体検出部を併用した動物体検出装置として、例えば、特開平６−１８０７４９号公報に開示されているものがある。
【０００３】
以下、図１５を参照してフレーム間差分を用いた従来の動物体追跡装置について説明する。図１５において、１０００、１００５はフレームメモリ、１００１、１００６は遅延フレームメモリ、１００２は差分器、１００３は２値化部、１００４はラベル付け部、１００７は動物体追跡部、１００８、１００９は端子である。
【０００４】
以上のように構成された動物体追跡装置について、以下その動作を説明する。端子１００８から入力された原画像はフレームメモリ１０００に記憶される。このとき、遅延フレームメモリ１００１には、予め定められた遅延時間だけ前のフレームメモリ１０００の内容が記憶される。差分器１００２は、フレームメモリ１０００、並びに、遅延フレームメモリ１００１から対応する画素値を読み出し、その差分値を２値化部１００３へ出力する。２値化部１００３は、予め定められた閾値により差分器１００２からの出力を、例えば、閾値以上の値を動領域として１、それ以外の値を静止領域として０にそれぞれ２値化し、ラベル付け部１００４へと出力する。ラベル付け部１００４では、孤立点除去や、閉領域の塗り潰し処理などにより２値化部１００３から入力される画像を整形した後、閉領域毎にラベルを付け、フレームメモリ１００５へ出力する。このとき、各ラベルが一つの動物体に対応する。遅延フレームメモリ１００６には、予め定められた遅延時間だけ前のフレームメモリ１００５の内容が記憶される。動物体追跡部１００７では、フレームメモリ１００５、並びに、遅延フレームメモリ１００６から記憶内容を読み出し、例えば、各動物体の重心位置を求め、フレームメモリ１００５、遅延フレームメモリ１００６間で重心距離が一定の距離以下となる最少の動物体同士を対応付けることで動物体を追跡する。端子１００９からは、動物体追跡装置１００７の追跡結果が出力される。
【０００５】
次に、図１６を参照して背景差分とフレーム間差分とを併用した従来方式の動物体検出装置について説明する。図１６において、１０１０はフレーム間差分型動物体検出部、１０１１は背景差分型動物体検出部、１０１２は統合処理部、１０１３、１０１４、１０１５は端子である。
【０００６】
以上のように構成された動物体検出装置について、以下その動作を説明する。フレーム間差分型動物体検出部１０１０、並びに、背景差分型動物体検出部１０１１では、端子１０１３から入力される原画像を動物体は１、それ以外は０として２値化した後、その結果を統合処理部１０１２に出力する。なお、端子１０１４からは、予め背景画像が入力されている。統合処理部１０１２では、フレーム間差分型動物体検出部１０１０、並びに、背景差分型動物体検出部１０１１から入力される２値画像の論理積を取り、真の動物体のみを抽出して、その結果を端子１０１５から出力する。
【０００７】
また、閾値を決定する装置は、監視システムなどにおいて動画像から動物体を抽出する際の閾値決定装置として盛んに利用されるようになってきた。この閾値決定装置として、例えば、「判別および最少２乗規準に基づく自動しきい値選定法」（大津、１９８０年電子通信学会論文誌Ｖｏｌ．Ｊ６３Ｄ  Ｎｏ．４）が開示されている。従来、フレーム間差分画像を２値化する場合、閾値決定装置は、２値化の対象となるフレーム間差分画像そのものを入力とし、判別分析法などを用いて前記入力画像を分析することにより最適な閾値を決定していた。
【０００８】
以下、図１７を参照してフレーム間差分画像から動物体を抽出する際の閾値を決定する従来の閾値決定装置について説明する。図１７において、１０２０はフレームメモリ、１０２１は遅延フレームメモリ、１０２２は差分器、１０２３はヒストグラム算出部、１０２４は判別分析部、１０２５、１０２６は端子である。
【０００９】
以上のように構成された閾値決定装置について、以下その動作を説明する。端子１０２５から入力された原画像は、フレームメモリ１０２０に記憶される。遅延フレームメモリ１０２１には、予め定められた遅延時間だけ前のフレームメモリ１０２０の内容が記憶される。差分器１０２２は、フレームメモリ１０２０、並びに、遅延フレームメモリ１０２１から対応する画素値を読み出し、その差分値をヒストグラム算出部１０２３へ出力する。ヒストグラム算出部１０２３では、差分器１０２２から出力される差分画像の画素値のヒストグラムを求め、判別分析部１０２４へ出力する。判別分析部１０２４では、ヒストグラム算出部１０２３から入力されるヒストグラムから判別分析法を用いて閾値を決定し、端子１０２６から出力する。
【００１０】
【発明が解決しようとする課題】
しかしながら、前記、従来の構成の動物体検出装置では、フレーム間差分を求める際のフレーム間隔が予め設定された値に固定であるため、特定の範囲の移動速度を持つ動物体しか安定して抽出できないという課題を有していた。さらに、前記従来の動物体検出装置では、ある範囲に動物体が存在するかしないかの２者択一の出力であるため、追跡装置で動物体検出装置での分析結果を十分に利用することが困難であった。
【００１１】
また、前記、従来の構成の動物体追跡装置では、動物体検出装置により検出した動物体同士の対応のみを取っているため、動物体が静止して動物体検出装置で検出されなくなると、その動物体の追跡は打ち切られていた。つまり、再び同一の物体が動き出して、再度動物体検出装置により検出されても、以前追跡していた動物体との対応が取れず、全く別の動物体として新たに追跡を始めるという課題を有していた。
【００１２】
さらに、前記、従来の構成の閾値決定装置では、フレーム間差分画像そのものの分析により閾値を決定するため、動物体の移動速度や大きさに応じて出力される閾値が変動するという課題を有していた。
【００１３】
さらに、前記従来の構成の動物体検出・追跡装置、及び、閾値決定装置では、フレーム全体に同一の条件を適用していたため、移動速度の異なる複数の動物体が存在する場合や、フレーム内で環境条件が異なる場合、必ずしも全ての動物体に対してフレーム間隔や閾値といった変数を最適な値に設定出来ないという課題を有していた。
【００１４】
本発明は、前記従来の課題を解決するもので、動物体の移動速度に関らず、安定して動物体を検出する動物体検出装置を提供することを第１の目的とする。
【００１５】
本発明の第２の目的は、動物体検出装置での分析結果を追跡装置において有効に活用することで、動物体追跡の精度、及び、検出の精度を向上させた動物体検出装置を提供することである。
【００１６】
本発明の第３の目的は、動物体が一旦静止して、動物体検出装置により検出出来なくなった後に再び動き出した場合でも、静止前と同一の動物体として追跡を続けられる動物体追跡装置を提供することである。
【００１７】
本発明の第４の目的は、フレーム間差分を用いて動物体を抽出する際の最適な閾値を動物体の移動速度や大きさの影響を受けずに決定する閾値決定装置を提供することである。
【００１８】
本発明の第５の目的は、同一画像内に移動速度の異なる複数の動物体が存在する場合や、フレーム内で照明条件が異なる場合でも、全ての動物体に対してフレーム間隔や閾値といった変数を最適な値に設定することで、常に安定して動物体を検出、追跡できる動物体検出・追跡装置と閾値決定装置を提供することである。
【００１９】
【課題を解決するための手段】
第１の目的を達成するため、本発明の動物体検出装置は、動き情報検出部とフレーム間隔制御部とを有している。
【００２０】
第２の目的を達成するため、本発明の動物体検出装置は、複数の動物体検出部と、前記動物体検出部の出力から領域毎に動物体の存在確率を求める統合処理部とを有している。
【００２１】
第３の目的を達成するため、本発明の動物体追跡装置は、静止判定部、静止物体特徴記憶部、並びに、静止物体対応付け部とを有している。
【００２２】
第４の目的を達成するため、本発明の閾値決定装置は、フレーム画像を入力として、フレーム間差分画像の抽出閾値を決定する閾値決定部を有している。
【００２３】
第５の目的を達成するため、本発明の動物体検出・追跡装置と閾値決定装置は、画像分割部を有している。
【００２４】
【作用】
第１の目的を達成するための前記構成によって、動き情報抽出部で抽出した動物体の動き情報がフレーム間隔制御部に入力され、フレーム間隔制御部では、検出対象となる動物体の動きに適したフレーム間隔を算出することが可能となる。これにより、フレーム間隔制御部は、フレーム間差分を取る際のフレーム間隔を常に最適な値へと制御できる。
【００２５】
第２の目的を達成するための前記構成によって、複数の動物体検出部からの出力結果を基に、統合処理部では、領域毎の動物体の存在確率を求めることが可能となる。この結果、動物体の追跡処理においても、動物体検出装置での分析結果を有効に利用することが可能となり、追跡精度が向上する。また、追跡処理の段階で対応の取れない領域を除去出来るため、動物体の検出精度も向上する。
【００２６】
第３の目的を達成するための前記構成によって、静止判定部により動物体の静止を確認した後、静止物体特徴記憶部に静止した動物体に間する特徴を記憶しておくことが可能となる。これにより、一旦静止した動物体が再び動き始めた場合でも、新たに検出された動物体の特徴と静止物体特徴記憶部に記憶されている静止物体の特徴とを照合することが可能となり、追跡を続行できる。
【００２７】
第４の目的を達成するための前記構成によって、フレーム間差分画像から動物体を検出する際の閾値をフレーム画像から一意に決定できる。
【００２８】
第５の目的を達成するための前記構成によって、画像分割部により画像を複数の領域に分割することで、フレーム間差分を取る際のフレーム間隔や、動物体検出の際の閾値などを分割された領域毎に最適な値に決定出来るので、安定した動物体の検出・追跡が可能となる。
【００２９】
【実施例】
（実施例１）
以下本発明の第１の実施例について、図面を参照しながら説明する。図１は本発明の第１の実施例における動物体追跡装置の構成を示す図である。図１において、１０は画像分割部、１１はフレーム間差分型動物体検出部、１２は背景差分型動物体検出部、１３は統合処理部、１４は動物体追跡部、１５、１６は端子である。
【００３０】
以下、本実施例の動作を説明する。端子１５から入力された原画像は、画像分割部１０、フレーム間差分型動物体検出部１１、背景差分型動物体検出部１２、動物体追跡部１４にそれぞれ入力される。画像分割部１０では、例えば、水平１６画素、垂直１６画素の計２５６画素を構成要素とする、予め定められた大きさのブロックに端子１５からの入力画像を分割する。分割した結果は、フレーム間差分型動物体検出部１１、背景差分型動物体検出部１２にそれぞれ出力される。フレーム間差分型動物体検出部１１では、画像分割部１０からの分割結果毎に、フレーム間差分を用いて端子１５からの入力画像中の動物体を検出する。このとき、フレーム間差分型動物体検出部１１では、自己の検出結果、並びに、背景差分型動物体検出部１２での検出結果を用いてフレーム間差分を取る際のフレーム間隔を制御する。背景差分型動物体検出部１２では、端子１５からの入力画像と、これまでに入力された画像から画像分割部１０の分割結果毎に作成した背景画像との差分を取ることにより動物体を検出する。フレーム間差分型動物体検出部１１、並びに、背景差分型動物体検出部１２の検出結果は、統合処理部１３へと入力され、画素毎に動物体の存在確率が算出される。動物体追跡部１４では、統合処理部１３から入力された動物体の存在確率に基づいて、フレーム間での動物体を対応付け、端子１６から出力する。
【００３１】
次に、図２を参照して図１におけるフレーム間差分型動物体検出部１１のさらに詳細な構成、及び、動作について説明する。図２において、２０は閾値決定部、２１は動き情報抽出部、２２はフレーム間差分動物体検出部、２３はフレーム間隔制御部である。
【００３２】
以下、その動作を説明する。閾値決定部２０は、画像分割部１０から入力される分割領域毎に、端子１５から入力される原画像から動物体を検出する際の２値化の閾値を直接決定する。動き情報抽出部２１では、端子１５から入力される原画像を用いて、動物体毎のオプティカルフロー（水平、垂直の各成分を持つ２次元ベクトル）を算出してフレーム間隔制御部２３へと出力する。その際、動き情報抽出部２１では、背景差分型動物体検出部１２、並びに、フレーム差分動物体検出部２２から入力される検出結果を用いてオプティカルフローの検出範囲を制限する。なお、オプティカルフローとしては、画像分割部１０から入力される分割領域毎の平均値が出力される。また、オプティカルフローを検出しない領域のオプティカルフローは０とする。フレーム間隔制御部２３では、動き情報抽出部２１から入力されるオプティカルフローの各成分が１以上の場合はフレーム間隔として１を、１未満の場合は各成分を整数倍した値の少なくとも１つが１以上になる最少の整数を、それぞれフレーム間隔として出力する。但し、フレーム間隔の最大値を、例えば５に制限して、動きの小さすぎるものを検出から除外する。フレーム間差分動物体検出部２２では、画像分割部１０から入力される分割領域毎に、フレーム間隔制御部２３から入力されるフレーム間隔で、端子１５から入力される画像のフレーム間差分を取り、閾値決定部２０から入力される閾値によって動物体を検出する。検出結果は統合処理部１３へ出力される。
【００３３】
次に、図３を参照して図２におけるフレーム間差分動物体検出部２２の更に詳細な構成、及び、動作について説明する。図３において、３０はフレームメモリ、３１は遅延フレームメモリ、３２は差分器、３３は２値化部、３４はラベル付け部である。
【００３４】
以下、その動作を説明する。端子１５から入力された原画像は、フレームメモリ３０に記憶される。遅延フレームメモリ３１は、分割領域毎にフレーム間隔制御部２３から入力されるフレーム間隔数だけ以前のフレーム内容を記憶する。差分器３２は、フレームメモリ３０と遅延フレームメモリ３１との画素毎の差分を取り、２値化部３３へと出力する。２値化部３３では、閾値決定部２０から入力される閾値により、差分器３２からの出力を分割領域毎に２値化する。なお、画像分割部１０からの画像分割結果が遅延フレームメモリ３１、並びに、２値化部３３へと入力される。ラベル付け部３４では、２値化部３３からの出力を閉領域の塗り潰し処理した後、閉領域毎に異なったラベルをつけて統合処理部１３へ出力する。
【００３５】
次に、図４を参照して図２における動き情報抽出部２１の更に詳細な構成、及び、動作について説明する。図４において、４０はフレームメモリ、４１は遅延フレームメモリ、４２は対象制限部、４３はオプティカルフロー算出部、４４はオプティカルフロー平均部である。
【００３６】
以下、その動作を説明する。端子１５から入力された原画像は、フレームメモリ４０に記憶される。遅延フレームメモリ４１には、１フレーム前のフレームメモリ４０の内容が記憶される。対象制限部４２では、画像分割部１０から入力される画像の分割結果毎に、背景差分型動物体検出部１２、及び、フレーム間差分動物体検出部２２から入力される動物体がその中に含まれるかどうかを判定する。中に含まれる場合はオプティカルフローの算出対象とし、含まれない場合は算出対象から除外して、オプティカルフローの算出範囲を制限する。オプティカルフロー算出部４３では、オプティカルフローの算出対象となった画素のオプティカルフローを勾配法により算出し、オプティカルフロー平均部４４へ出力する。オプティカルフロー平均部４４では、画像分割部１０から入力される分割領域毎にオプティカルフローの平均を求め、フレーム間隔制御部２３へその結果を出力する。
【００３７】
次に、図５を参照して図１における背景差分型動物体検出部１２の更に詳細な構成、及び、動作について説明する。図５において、５０はフレームメモリ、５１はモードフィルタ、５２は背景メモリ、５３は差分器、５４は２値化部、５５はラベル付け部である。
【００３８】
以下、その動作を説明する。端子１５から入力された原画像は、フレームメモリ５０に記憶される。モードフィルタ５１では、画像分割部１０から入力される画面の分割結果毎に予め定められた枚数のフレームから画素毎の最頻値を求め、背景メモリ５２へ格納する。差分器５３は、フレームメモリ５０の現在のフレームの値と、背景メモリ５２の値との差分値を画素毎に計算する。２値化部５４では、差分器５３からの出力を予め定められた閾値で２値化し、ラベル付け部５５に出力する。ラベル付け部５５では、２値化部５４から入力される２値画像を領域毎にラベル付けし、統合処理部１３へ出力する。
【００３９】
次に、図６を参照して図１における統合処理部１３の更に詳細な構成、及び、動作について説明する。図６において、６０は正規化部、６１は加算器、６２はメモリ、６３は確率算出部である。
【００４０】
以下、その動作を説明する。正規化部６０では、フレーム間差分型動物体検出部１１、及び、背景差分型動物体検出部１２から入力される動物体の検出結果を予め定められた範囲の数値に変換する。例えば、２つの動物体検出部１１、１２からその検出結果を入力される場合、それぞれの検出結果に、動物体が検出された画素については１の値を、それ以外の画素については０の値をつける。これらの出力は、動物体検出部１１、１２毎に出力され、加算器６１によりメモリ６２に記憶されているこれまでの画素毎の加算結果に加算される。確率算出部６３では、メモリ６２から画素毎の加算結果を読み出し、動物体の存在確率を計算する。例えば、前記２つの動物体検出部１１、１２からの入力を処理する場合は、メモリ６２に記憶されている各画素の加算結果を１／２倍して、動物体の存在確率とする。メモリ６２内のデータは、各フレームの処理が終了する度に全て０にクリアされる。なお、正規化部６０では、例えば、主として動きの大きな動物体を検出したい場合には、フレーム間差分型動物体検出部１１からの出力に大きな値をつけ、動きの小さな動物体を検出したい場合には、背景差分型動物体検出部１２からの出力に大きな値をつけるなどして、目的に応じて各動物体検出部からの出力を重み付けることで、検出精度を向上することも可能である。
【００４１】
次に、図７を参照して図１における動物体追跡部１４の更に詳細な構成、及び、動作について説明する。図７において、７０は動物体特徴抽出部、７１は動物体特徴記憶部、７２は動物体対応付け部、７３は静止判定部、７４は静止物体特徴記憶部、７５は静止物体対応付け部、７６は静止物体特徴抽出部である。
【００４２】
以下、その動作を説明する。動物体特徴抽出部７０では、統合処理部１３から入力される動物体の検出結果と端子１５から入力される原画像とから、各動物体の特徴を抽出する。抽出した特徴は、動物体特徴記憶部７１に格納するとともに、動物体対応付け部７２に出力する。動物体対応付け部７２では、動物体特徴抽出部７０から入力される現在の動物体の特徴と、動物体特徴記憶部７１から呼び出した過去の動物体の特徴とを比較して、フレーム間で動物体を対応付ける。静止判定部７３では、動物体対応付け部７２の対応付け結果を用いて、例えば、重心位置の移動距離から動物体の移動速度を算出し、動物体が静止したかどうかを判定する。静止判定部７３により、静止したと判定された動物体については、動物体特徴記憶部７１の対応する動物体に関する記憶内容、並びに、静止物体特徴抽出部７６により新たに抽出した特徴を静止物体特徴記憶部７４へと格納する。静止物体対応付け部７５では、静止物体が存在する場合、つまり、静止物体特徴記憶部７４に静止物体の特徴が格納されている場合は、静止物体特徴記憶部７４の内容と、順次更新される動物体特徴記憶部７１の内容とを比較して、現在検出されている動物体と、現存する静止物体とを対応付けることで、静止物体が再び動き始めたかどうかを逐次確認する。動物体と静止物体との対応が取れて、静止物体が再び動きだしたと判定された場合には、静止物体特徴記憶部７４の該当する静止物体に関する特徴を消去する。動物体対応付け部７２、及び、静止物体対応付け部７５の対応付け結果は、端子１６から出力される。
【００４３】
次に、図８を参照して図７における動物体特徴抽出部７０の更に詳細な構成、及び、動作について説明する。図８において、８０は重心算出部、８１は平均輝度算出部である。
【００４４】
以下、その動作を説明する。重心算出部８０では、統合処理部１３から入力された動物体の検出結果から各動物体の重心を求める。本実施例では、統合処理部１３から動物体の存在確率が入力されるので、重心の計算では存在確率の重心を求める。平均輝度算出部８１では、統合処理部１３からの入力を基に、端子１５から入力される原画像を用いて各動物体の平均輝度を求める。平均輝度の算出においては、存在確率で重み付けする。つまり、存在確率が１／２の場合、輝度、個数ともに実際の値の１／２として平均する。重心算出部８０、並びに、平均輝度算出部８１の算出結果は動物体対応付け部７２へ出力される。
【００４５】
次に、図９を参照して図７における動物体対応付け部７２の更に詳細な構成、及び、動作について説明する。図９において、９０は重心距離算出部、９１は輝度距離算出部、９２は判定部である。
【００４６】
以下、その動作を説明する。動物体特徴抽出部７０から入力される各動物体の現在、及び、動物体特徴記憶部７１から入力される過去の動物体の重心位置から重心距離算出部９０では、現在と過去との重心距離を算出して、判定部９２へ出力する。また、輝度距離算出部９１では、輝度距離として、動物体特徴抽出部７０、並びに、動物体特徴記憶部７１から入力される平均輝度から輝度の絶対差分値を計算して、判定部９２へ出力する。判定部９２では、予め定められた上限値よりも小さい重心距離、輝度距離を持つ動物体同士のうち、重心距離と輝度距離との和が最少となる動物体同士を対応付ける。対応結果、並びに、対応した動物体の重心距離、輝度距離は、端子１６、及び、静止判定部７３へ出力される。
【００４７】
次に、図１０を参照して図７における静止物体対応付け部７５の更に詳細な構成、及び、動作について説明する。図１０において、１００は重心距離算出部、１０１は輝度距離算出部、１０２は判定部である。
【００４８】
以下、その動作を説明する。静止判定部７３から静止物体が存在するとの信号を受けると、重心距離算出部１００、及び、輝度距離算出部１０１は、静止物体特徴記憶部７４から読み出した静止物体の重心位置、輝度平均、並びに、動物体特徴記憶部７１から入力される新たに検出された動物体の重心位置、輝度平均とから、現在存在する静止物体と新たに検出された動物体との重心距離、輝度距離をそれぞれ算出して、判定部１０２へ出力する。判定部１０２では、重心距離と輝度距離との和が予め定められた値よりも小さいときに既存の静止物体と新たに検出された動物体とを対応付けて、端子１６から出力する。また、静止物体と動物体との対応が取れた場合、判定部１０２は、静止物体特徴記憶部７４へ信号を送り、対応のついた静止物体に関する特徴データを消去する。
【００４９】
次に、図１１を参照して図７における静止物体特徴抽出部７６の更に詳細な構成、及び、動作について説明する。図１１において、１１０は平均輝度算出部である。
【００５０】
以下、その動作を説明する。平均輝度算出部１１０は、静止判定部７３から静止物体が発生したとの入力を受けた場合、又は、静止物体特徴記憶部７４に静止物体の特徴が記憶されている場合に、静止物体特徴記憶部７４に記憶されている静止物体の存在確率を基に、端子１５から順次入力される原画像を用いて静止物体の平均輝度を算出し、静止物体特徴記憶部７４の記憶内容を更新する。
【００５１】
次に、図１２を用いて図２における閾値決定部２０の更に詳細な構成、及び、動作について説明する。図１２（ａ）において、１２０は隣接画素間差分値算出部、１２１はメモリ、１２２は変化率算出部、１２３は閾値算出部である。また、図１２（ｂ）は隣接画素間差分値算出部１２０の構成を示す図であり、１２６は遅延素子、１２７は差分素子である。
【００５２】
以下、その動作を説明する。画像分割部１０、及び、端子１５からは、原画像をラスタスキャンしたときの順番で順次各画素の値が入力される。差分素子１２７は、画像分割部１０、及び、端子１５から入力された画素値と遅延素子１２６とから入力される１画素だけ前の画素値との差分を取り、メモリ１２１へ出力する。メモリ１２１では、このように動作する隣接画素間差分値算出部１２０から出力された隣接画素間差分値を差分値毎にその頻度を求め、差分値毎に定められたメモリ空間に格納する。これにより、フレーム内の隣接画素間差分値の頻度分布を求めることが出来る。画像内の全ての画素について差分を取り終えた後、変化率算出部１２２は、メモリ１２１に格納された隣接画素間差分値の頻度分布からその変化率を求める。変化率としては、例えば、差分値をｉ、頻度分布をｈ（ｉ）としたとき、ｈ（ｉ）／ｈ（ｉ−１）とする。閾値算出部１２３では、例えば、ｉを０から順に１ずつ大きくしていき、変化率算出部１２２で算出した変化率が、予め定められた値以上となる最初の値を閾値として、フレーム間差分動物体検出部２２へ出力する。
【００５３】
以上、本実施例におけるフレーム間差分型動物体検出部１１によれば、フレーム間差分動物体検出部２２、動き情報抽出部２１、並びに、フレーム間隔制御部２３を設けることにより、画像中の動物体の移動速度に適したフレーム間隔でフレーム間差分を取ることが可能となり、動物体の移動速度によらない安定した動物体検出が実現出来る。なお、本実施例では、勾配法によりオプティカルフローを求め、動物体の移動速度を算出しているが、例えば、ブロックマッチング法や動物体の過去の位置の変化から移動速度を算出したりするなど、様々な移動速度算出法と組み合わせることが出来る。
【００５４】
また、本実施例における統合処理部１３によれば、正規化部６０と確率算出部６３とを設けることにより、単独、又は、複数の動物体検出部１１、１２からの出力を各画素における動物体の存在確率に変換することで、安定した動物体の検出が可能になるとともに、動物体検出部１１、１２での分析結果を動物体追跡部１４において利用することが可能となり、動物体の追跡精度を向上できる。なお、本実施例では、統合処理部１３への入力が２値画像であるが、各動物体検出部１１、１２に専用の統合処理部を設け、それを１つの動物体検出部として、動物体の存在確率を統合処理部への入力としてもよい。
【００５５】
また、本実施例の動物体追跡部１４によれば、動物体特徴抽出部７０、動物体特徴記憶部７１、動物体対応付け部７２、静止判定部７３、静止物体特徴記憶部７４、並びに、静止物体対応付け部７５を設けることにより、画面内で動物体が静止して動物体検出部１１、１２により検出できなくなった後に、再び動き出して動物体として再検出された場合でも、新たに検出された動物体と以前停止した動物体とを対応付けることが出来る。つまり、追跡対象が一旦静止して、再度動き出した場合でも、引き続き同一の物体として追跡を続行することが出来る。更に、静止物体特徴抽出部７６を設けることにより、静止物体の特徴を逐次更新できるため、物体が静止している間に照明条件が変化してその特徴が大きく変化した場合にも、追跡を続行できる。なお、本実施例では、動物体、静止物体の特徴として輝度平均を用いているが、色情報や輝度の分散値など様々な特徴量を使用出来る。
【００５６】
また、本実施例における閾値決定部２０によれば、隣接画素間差分値算出部１２０、変化率算出部１２２、並びに、閾値算出部１２３を設けることにより、隣接画素間差分値のヒストグラムの変化率を求めることが可能となり、原画像そのものからフレーム間差分画像を２値化する際の閾値を決定出来る。つまり、動物体の動き方や大きさによらない最適な閾値を一意に決定できる。更に、差分画像の作成と独立して閾値を決定できるため、処理時間も短縮できる。なお、本実施例では、全ての水平方向の隣接画素間差分を用いているが、８近傍全での隣接画素間差分を用いたり、サンプリングにより一部の隣接画素間差分のみを用いたりしても良い。
【００５７】
また、本実施例における画像分割部１０によれば、画面内に複数の動物体が存在する場合でも、２値化の閾値やフレーム間差分を取る際のフレーム間隔などの変数を動物体毎に最適値に設定できる。また、照明条件や背景の状態が画面内で大きく変化している場合にも、その状態に応じて背景の作成方法や統合処理部での存在確率の計算方法などを適宜変更することが出来るため、安定して動物体を検出、追跡出来る。なお、本実施例では、予め定められた大きさのブロックに画面を分割しているが、エッジに基づく分割方法や輝度平均に基づく分割方法など既存の画像分割アルゴリズムを用いて分割してもよい。
【００５８】
（実施例２）
以下、本発明の第２の実施例について、図面を参照しながら説明する。図１３は本発明の第２の実施例における閾値決定部２０Ａの構成を示す図であり、他の構成は第１の実施例と同じなので、重複した説明は省略し、ここでは閾値決定部２０Ａについてのみ説明する。図１３において、１３０は隣接画素間差分値算出部、１３１はメモリ、１３２はピーク検出部、１３３は閾値算出部である。
【００５９】
以下、その動作を説明する。画像分割部１０、及び、端子１５からは、原画像をラスタスキャンしたときの順番で順次各画素の値が入力される。隣接画素間差分値算出部１３０は、図１２（ｂ）と同様にして隣接画素間差分値を算出し、差分値毎に定められたメモリ１３１内のメモリ空間内にその値が発生した頻度を格納する。これにより、フレーム内の隣接画素間差分値の頻度分布を求めることが出来る。ピーク検出部１３２では、メモリ１３１に格納された隣接画素間差分値の頻度分布がピークとなる値、及び、その時の頻度を求め、画面全体の画素数から、隣接画素間差分値がピーク値を取る確率Ｐを求める。閾値算出部１３３は、ピーク検出部１３２から入力されるピーク値を取る確率Ｐと、予め定められた有意水準から求められる棄却域の上限値Ｒとから、正規分布を仮定したときに得られる下記の式（１）により閾値Ｔを求める。この閾値Ｔは、フレーム間差分動物体検出部２２へ出力される。
Ｔ＝√（２π）Ｐ        ・・・（１）
【００６０】
以上、本実施例の閾値決定部２０Ａによれば、隣接画素間差分値算出部１３０、ピーク検出部１３２、並びに、閾値決定部１３３を設けることにより、隣接画素間差分値のヒストグラムのピーク値を求めることが可能となり、原画像そのものからフレーム間差分画像を２値化する際の閾値を一意に決定出来る。つまり、動物体の動き方や大きさによらない最適な閾値を決定できる。更に、差分画像の作成と独立して閾値を決定できるため、処理時間も短縮できる。
【００６１】
（実施例３）
以下、本発明の第３の実施例について、図面を参照しながら説明する。図１４は本発明の第３の実施例における閾値決定部２０Ｂの構成を示す図であり、他の構成は第１の実施例と同じなので、重複した説明は省略し、ここでは閾値決定部２０Ｂについてのみ説明する。図１４（ａ）において、１４０は隣接画素間差分値算出部、１４１は頻度算出部、１４２は閾値算出部である。また、図１４（ｂ）は頻度算出部１４１の構成を示す図であり、１４５は判定部、１４６はカウンタである。
【００６２】
以下、その動作を説明する。画像分割部１０、及び、端子１５からは、原画像をラスタスキャンしたときの順番で順次各画素の値が入力される。隣接画素間差分値算出部１４０は、図１２（ｂ）と同様にして隣接画素間差分値を算出し、頻度算出部１４１へと出力する。頻度算出部１４１では、判定部１４５が、入力された隣接画素間差分値がピーク値として予め予測された値に等しい場合に、その旨をカウンタ１４６に通知する。カウンタ１４６は、判定部１４５からの通知数を画像毎にカウントし、フレーム毎にその数を閾値算出部１４２へ出力する。これにより、カウンタ１４６は、ピーク値として予め予測された値と一致した隣接画素間差分値の個数をカウントできる。閾値算出部１４２では、頻度算出部１４１の出力と画面内の画素数とから、隣接画素間差分値がピーク値として予め予測された値を取る確率Ｐを求め、予め定められた有意水準から求められる棄却域の上限値Ｒを用いて正規分布を仮定したときに得られる前記式（１）により閾値Ｔを求める。この閾値は、フレーム間差分動物体検出部２２へ出力される。
【００６３】
以上、本実施例の閾値決定部２０Ｂによれば、隣接画素間差分値算出部１４０、頻度算出部１４１、並びに、閾値決定部１４２を設けることにより、簡易な構成により安定した閾値を決定出来る。更に、差分処理の終了と同時に閾値を決定できるため処理時間が短縮される。
【００６４】
【発明の効果】
以上のように、本発明のフレーム間差分型動物体検出装置によれば、、動き情報抽出部、並びに、フレーム間隔制御部を設けることにより、動物体の移動速度によらず常に安定して動物体を検出できる優れたフレーム間差分型動物体検出装置を実現できるものである。
【００６５】
また、本発明の動物体検出装置によれば、確率算出部をその構成要素とする統合処理部を設けることにより、安定して動物体を検出でき、かつ、高精度の動物体追跡を可能にする優れた動物体検出装置を実現できるものである。
【００６６】
また、本発明の動物体追跡装置によれば、静止判定部、静止物体特徴記憶部、並びに、静止物体対応付け部を設けることにより、追跡対象が長時間静止した場合でも対象を追跡することができる優れた動物体追跡装置を実現できるものである。
【００６７】
また、本発明の閾値決定装置によれば、隣接画素間差分値算出部と閾値算出部とを設けることにより、原画像そのものからフレーム間差分画像を２値化する際の閾値を決定することで、動物体の動き方や大きさによらず常に最適な閾値を決定出来る優れた閾値決定装置を実現できるものである。
【００６８】
また、本発明の動物体検出・追跡装置と閾値決定装置によれば、画像分割部を設けることにより、個々の動物体や領域毎に異なる照明条件に適した処理を実現することで、安定して動物体を検出、追跡できる優れた動物体検出・追跡装置と閾値決定装置を実現できるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施例における動物体追跡装置の構成を示すブロック図
【図２】第１の実施例におけるフレーム間差分型動物体検出部の構成を示すブロック図
【図３】同フレーム間差分型動物体検出部におけるフレーム間差分動物体検出部の構成を示すブロック図
【図４】同フレーム間差分型動物体検出部における動き情報抽出部の構成を示すブロック図
【図５】第１の実施例における背景差分型動物体検出部の構成を示すブロック図
【図６】第１の実施例における統合処理部の構成を示すブロック図
【図７】第１の実施例における動物体追跡部の構成を示すブロック図
【図８】同動物体追跡部における動物体特徴抽出部の構成を示すブロック図
【図９】同動物体追跡部における動物体対応付け部の構成を示すブロック図
【図１０】同動物体追跡部における静止物体対応付け部の構成を示すブロック図
【図１１】同動物体追跡部における静止物体特徴抽出部の構成を示すブロック図
【図１２】（ａ）は第１の実施例のフレーム間差分型動物体検出部における閾値決定部の構成を示すブロック図
（ｂ）同閾値決定部における隣接画素間差分値算出部の構成を示すブロック図
【図１３】本発明の第２の実施例における閾値決定部の構成を示すブロック図
【図１４】（ａ）は本発明の第３の実施例における閾値決定部の構成を示すブロック図
（ｂ）同閾値決定部における頻度算出部の構成を示すブロック図
【図１５】従来の動物体追跡装置の構成を示すブロック図
【図１６】従来の背景差分とフレーム間差分とを併用した動物体検出装置の構成を示すブロック図
【図１７】従来の閾値決定装置の構成を示すブロック図
【符号の説明】
１０  画像分割部
１１  フレーム間差分型動物体検出部
１２  背景差分型動物体検出部
１３  統合処理部
１４  動物体追跡部
２０  閾値決定部
２１  動き情報抽出部
２２  フレーム間差分動物体検出部
２３  フレーム間隔制御部
３０  フレームメモリ
３１  遅延フレームメモリ
３２  差分器
３３  ２値化部
３４  ラベル付け部
４０  フレームメモリ
４１  遅延フレームメモリ
４２  対象制限部
４３  オプティカルフロー算出部
４４  オプティカルフロー平均部
５０  フレームメモリ
５１  モードフィルタ
５２  背景メモリ
５３  差分器
５４  ２値化部
５５  ラベル付け部
６０  正規化部
６１  差分器
６２  メモリ
６３  確率算出部
７０  動物体特徴抽出部
７１  動物体特徴記憶部
７２  動物体対応付け部
７３  静止判定部
７４  静止物体特徴記憶部
７５  静止物体対応付け部
７６  静止物体特徴抽出部
８０  重心算出部
８１  平均輝度算出部
９０  重心距離算出部
９１  頻度距離算出部
９２  判定部
１００  重心距離算出部
１０１  頻度距離算出部
１０２  判定部
１１０  平均輝度算出部
１２０  隣接画素間差分値算出部
１２１  メモリ
１２２  変化率算出部
１２３  閾値算出部
１２６  遅延素子
１２７  差分器
１３０  隣接画素間差分値算出部
１３１  メモリ
１３２  ピーク検出部
１３３  閾値算出部
１４０  隣接画素間差分値算出部
１４１  頻度算出部
１４２  閾値算出部
１４５  判定部
１４６  カウンタ
１０００  フレームメモリ
１００１  遅延フレームメモリ
１００２  差分器
１００３  ２値化部
１００４  ラベル付け部
１００５  フレームメモリ
１００６  遅延フレームメモリ
１００７  動物体追跡部
１０１０  フレーム間差分型動物体検出部
１０１１  背景差分型動物体検出部
１０１２  統合処理部
１０２０  フレームメモリ
１０２１  遅延フレームメモリ
１０２２  差分器
１０２３  ヒストグラム算出部
１０２４  判別分析部
【図１】
0003892059.tif 000002
【図２】
0003892059.tif 000003
【図３】
0003892059.tif 000004
【図４】
0003892059.tif 000005
【図５】
0003892059.tif 000006
【図６】
0003892059.tif 000007
【図７】
0003892059.tif 000008
【図８】
0003892059.tif 000009
【図９】
0003892059.tif 000010
【図１０】
0003892059.tif 000011
【図１１】
0003892059.tif 000012
【図１２】
0003892059.tif 000013
【図１３】
0003892059.tif 000014
【図１４】
0003892059.tif 000015
【図１５】
0003892059.tif 000016
【図１６】
0003892059.tif 000017
【図１７】
0003892059.tif 000018