(57)【要約】【課題】背景変化の大きい場合においても移動体の抽出を高精度（高感度）に行うことが可能な移動体領域抽出方法を得る。【解決手段】時系列に複数の画像を得るステップと、前記画像を複数の小領域に分割し、前記各小領域の画像の特徴量を生成するステップと、前記各小領域の画像の特徴量の時間的変移量を計算するステップと、前記計算された時間的変移量のうち、特定の前記小領域の時間的変移量と特定の前記小領域に隣接した小領域の時間的変移量との類似度を計算するステップと、前記類似度から前記小領域の画像が移動体か背景かを判定するステップとからなる移動体領域抽出方法。【選択図】　　図１
2004054676.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数の小領域に分割し、前記小領域の画像と前記小領域に隣接する小領域の画像とに現れる特徴量の同時生起性から前記小領域の画像が移動体か背景かを判定することを特徴とする移動体領域抽出方法。
【請求項２】
時系列に複数の画像を得るステップと、前記画像を複数の小領域に分割し、前記各小領域の画像の特徴量を生成するステップと、前記各小領域の画像の特徴量の時間的変移量を計算するステップと、前記計算された時間的変移量のうち、特定の前記小領域の時間的変移量と特定の前記小領域に隣接した小領域の時間的変移量との類似度を計算するステップと、前記類似度から前記小領域の画像が移動体か背景かを判定するステップとからなる請求項１に記載の移動体領域抽出方法。
【請求項３】
背景を所定時間撮像して時系列に背景画像系列を得るステップと、前記背景画像系列を複数の第１の小領域に分割し、前記各第１の小領域の特徴量を生成するステップと、観測画像を得るステップと、前記観測画像を複数の第２の小領域に分割し、前記各第２の小領域の画像の特徴量を生成するステップと、前記第２の小領域の画像の特徴量のうち、特定の前記第２の小領域の画像の特徴量と特定の前記第２の小領域に隣接した小領域の画像の特徴量との対と最も類似している前記第１の小領域の画像の特徴量と前記第１の小領域に隣接した小領域の画像の特徴量との対の類似度を計算するステップと、前記類似度から前記第２の小領域の観測画像が移動体か背景かを判定するステップとからなる請求項１に記載の移動体領域抽出方法。
【請求項４】
背景を所定時間撮像して時系列に背景画像系列を得るステップと、前記背景画像系列を複数の第１の小領域に分割し、前記第１の小領域の特徴量を生成するステップと、観測画像を得るステップと、前記観測画像を複数の第２の小領域に分割し、前記第２の小領域の特徴量を生成するステップと、特定の前記第２の小領域に隣接する前記第２の小領域の特徴量と特定の前記第１の小領域の特徴量と特定の前記第１の小領域に隣接する前記第１の小領域の特徴量とを用いて特定の前記第２の小領域の観測画像の推定特徴量を計算するステップと、前記第２の小領域の特徴量と前記推定特徴量の類似度を計算するステップと、前記類似度から前記第２の小領域の観測画像が移動体か背景かを判定するステップとからなる請求項１に記載の移動体領域抽出方法。
【請求項５】
前記特徴量は、画像の輝度値に関する特徴量であることを特徴とする請求項１〜４いずれか一項に記載の移動体領域抽出方法。
【請求項６】
画像を撮像するカメラと、時系列に複数の観測画像を記憶する観測画像記憶手段と、前記画像を複数の小領域に分割し、前記各小領域の画像の特徴量を生成する観測画像ベクトル生成手段と、前記各小領域の画像の特徴量の時間的変移量を計算する時間的変移量算出手段と、前記計算された時間的変移量のうち、特定の前記小領域の時間的変移量と特定の前記小領域に隣接した小領域の時間的変移量との類似値を計算する類似値算出手段と、前記類似度から前記小領域の画像が移動体か背景かを判定する判定手段を有することを特徴とする移動体領域抽出装置。
【請求項７】
画像を撮像するカメラと、背景画像を時系列に記憶する背景画像系列記憶手段と、前記背景画像系列を複数の第１の小領域に分割し、前記各第１の小領域の特徴量を生成する背景画像ベクトル生成手段と、観測画像を記憶する観測画像記憶手段と、前記観測画像を複数の第２の小領域に分割し、前記各第２の小領域の画像の特徴量を生成する観測画像ベクトル生成手段と、前記第２の小領域の画像の特徴量のうち、特定の前記第２の小領域の画像の特徴量と特定の前記第２の小領域に隣接した小領域の画像の特徴量との対と最も類似している前記第１の小領域の画像の特徴量と前記第１の小領域に隣接した小領域の画像の特徴量との対の類似度を算出する類似度算出手段と、前記類似度から前記第２の小領域の観測画像が移動体か背景かを判定する判定手段とを有することを特徴とする移動体領域抽出装置。
【請求項８】
画像を撮像するカメラと、背景画像を時系列に記憶する背景画像系列記憶手段と、前記背景画像系列を複数の第１の小領域に分割し、前記第１の小領域の特徴量を生成する背景画像ベクトル生成手段と、観測画像を記憶する観測画像記憶手段と、前記観測画像を複数の第２の小領域に分割し、前記第２の小領域の特徴量を生成する観測画像ベクトル生成手段と、特定の前記第２の小領域に隣接する前記第２の小領域の特徴量と特定の前記第１の小領域の特徴量と特定の前記第１の小領域に隣接する前記第１の小領域の特徴量とを用いて特定の前記第２の小領域の観測画像の推定特徴量を計算する画像ベクトル推定手段と、前記第２の小領域の特徴量と前記推定特徴量の類似度を計算する類似度算出手段と、前記類似度から前記第２の小領域の観測画像が移動体か背景かを判定する判定手段とを有することを特徴とする移動体領域抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像中の移動体領域を抽出する移動体領域抽出方法および移動体領域抽出装置に係る。
【０００２】
【従来の技術】
観測された画像系列から移動体領域を抽出する方法として背景差分法がある。
最も一般的な背景差分法では、あらかじめ移動体が存在しない状態で背景を撮像し、この背景画像と移動体領域の抽出対象となる観測画像とを画素ごとに比較（差分演算）することで簡便に移動体領域を抽出する。この方法は背景が静止して、時間とともに変化しないという仮定のもとで処理がなされていることが特徴である。
【０００３】
しかし、現実には、背景に存在する木々や旗が揺れていたり、日照変化により照明条件が刻々と変化していたりするため、背景が静止していることはまれである。そのような条件のもとで、この方法を適用した場合、背景が変化すると背景領域が誤検出されるという問題がある。
【０００４】
一方、例えば、「動的環境における頑健な背景差分の実現法」（波部、大矢、松山著、画像の認識・理解シンポジウム、１９９８年、４６７頁〜４７２頁）に記載された方法のように背景変化を考慮した背景差分法も提案されている。
ここで本方法について、具体的に説明する。
【０００５】
図７は本方法のブロック図、図８は本方法の動作を示すフローチャートである。図７において１０１はカメラ、１０２は背景画像系列記憶手段、１０３は基準画像記憶手段、１０４は背景画像ベクトル生成手段、１０５は基準画像ベクトル生成手段、１０６および１１０は距離算出手段、１０７は背景変化モデル算出手段、１０８は観測画像記憶手段、１０９は観測画像ベクトル生成手段、１１１は判定手段である。
【０００６】
次に図８を用いて動作について説明する。
まず、ＳＴ４１において、カメラ１０１で所定時間の背景を撮像することにより背景画像を時系列に得て、背景画像系列記憶手段１０２に保存する。ここで、ある時刻ｔに撮像された背景画像をＢ（ｔ）、ただしｔ＝１、２、・・・、ＴＢとする。
次に、ＳＴ４２において、背景画像系列記憶手段１０２に格納された背景画像系列の各画素の時間的な平均値、または中央値を計算し、基準背景画像Ｒを生成し、基準画像記憶手段１０３に記憶する。
【０００７】
続いてＳＴ４３において、各背景画像Ｂ（ｔ）と基準背景画像Ｒを、それぞれＮ×Ｎの画素を有するブロック（小領域）に分割し、各小領域に含まれる画素の輝度値を要素とするベクトルを背景画像ベクトル生成手段１０４および基準画像ベクトル生成手段１０５により生成する。ここで、時刻ｔにおける背景画像のｉ番目の小領域に対応する背景画像ベクトルをｂ（ｉ，ｔ）、基準背景画像におけるｉ番目の小領域に対応する基準背景画像ベクトルをｒ（ｉ）とする。このとき、各小領域における背景変化は、基準背景画像ベクトルを中心とする背景画像ベクトルの分布として表現されることになる。
次に、ＳＴ４４において、各小領域における背景変化の統計的な特徴を得るため、背景画像ベクトルｂ（ｉ，ｔ）、基準背景画像ベクトルｒ（ｉ）を用いて式（１）により正規化距離Ｄを距離算出手段１０６において算出する。
【０００８】
【数１】
2004054676.tif 000003
続いて、ＳＴ４５において、背景変化モデル算出手段１０７によって、小領域ごとに、正規化距離Ｄ（ｂ（ｉ，ｔ），ｒ（ｉ））の平均値ｍ（ｉ）、および分散値ｓ（ｉ）２を式（２）、式（３）を用いて算出し、背景変化モデルとして記憶する。この値は、各小領域の背景変化に対する統計量である。
【０００９】
【数２】
2004054676.tif 000004
【００１０】
【数３】
2004054676.tif 000005
ＳＴ４６において、カメラ１０１より、移動体領域を抽出するための新たな観測画像Ａを入力し、観測画像記憶手段１０８に保存する。
【００１１】
また、ＳＴ４７において、観測画像ベクトル生成手段１０９を用いて、観測画像記憶手段１０８に保存された観測画像Ａを背景画像の分割と同様にＮ×Ｎの画素を有するブロック（小領域）に分割し、各小領域に含まれる画素の輝度値を要素とする観測画像ベクトルａ（ｉ）を生成する。なお、ａ（ｉ）の引数のｉは背景画像と同様にして複数ある小領域に番号を付したときのｉ番目に相当するものである。
ＳＴ４８において距離算出手段１１０により、この観測画像ベクトルａ（ｉ）と、対応する基準背景画像ベクトルｒ（ｉ）を用いて、式（４）に示す正規化距離Ｄ（ａ（ｉ），ｒ（ｉ））を算出する。
【００１２】
【数４】
2004054676.tif 000006
【００１３】
ＳＴ４９において、判定手段３０により、算出された正規化距離Ｄ（ａ（ｉ），ｒ（ｉ））と、記憶されている背景変化モデル（平均値と分散値）とを用いて、各小領域に移動体が存在するか否かを判定する。判定の具体的な方法としては、式（５）に示すように、確率を算出し、算出した値とあらかじめ用意された閾値とを比較し、比較結果に応じて、この小領域に移動体が存在するか否かを判定する方法がある。
【００１４】
【数５】
2004054676.tif 000007
これは、観測画像ベクトルが背景画像ベクトルの分布に属するか否かを確率的に求めていることに等しい。
すべての小領域において、同様の判定を行うことにより、移動体領域が抽出される。また、必要に応じて、ＳＴ４６からＳＴ４９が繰りかえされる。
【００１５】
【発明が解決しようとする課題】
従来の移動体領域抽出方法は上述のように構成されており、背景変化、すなわち背景画像ベクトルの分布を正規化距離の平均値と分散値により学習し、新たな観測画像ベクトルがその分布に属するか否かによって背景か移動体かを判定している。つまり、背景変化が大きい場合においては、背景画像ベクトルの分布が大きくなるため、移動体が存在していても背景画像ベクトルの分布の範囲内であれば、背景であると判断してしまう。つまり背景変化が大きく、背景画像ベクトルの分布が広がると、移動体の検出感度は悪くなるという課題があった。
【００１６】
この発明は上記のような課題を解決するためになされたもので、背景変化の大きい場合においても移動体の抽出を高精度（高感度）に行うことが可能な移動体領域抽出方法および移動体領域抽出装置を得ることを目的とする。
【００１７】
【課題を解決するための手段】
第１の発明に係る移動体領域抽出方法は、画像を複数の小領域に分割し、前記小領域の画像と前記小領域に隣接する小領域の画像とに現れる特徴量の同時生起性から前記小領域の画像が移動体か背景かを判定することを特徴とするものである。
【００１８】
第２の発明に係る移動体領域抽出方法は、時系列に複数の画像を得るステップと、前記画像を複数の小領域に分割し、前記各小領域の画像の特徴量を生成するステップと、前記各小領域の画像の特徴量の時間的変移量を計算するステップと、前記計算された時間的変移量のうち、特定の前記小領域の時間的変移量と特定の前記小領域に隣接した小領域の時間的変移量との類似度を計算するステップと、前記類似度から前記小領域の画像が移動体か背景かを判定するステップとからなることを特徴とするものである。
【００１９】
第３の発明に係る移動体領域抽出方法は、背景を所定時間撮像して時系列に背景画像系列を得るステップと、前記背景画像系列を複数の第１の小領域に分割し、前記各第１の小領域の特徴量を生成するステップと、観測画像を得るステップと、前記観測画像を複数の第２の小領域に分割し、前記各第２の小領域の画像の特徴量を生成するステップと、前記第２の小領域の画像の特徴量のうち、特定の前記第２の小領域の画像の特徴量と特定の前記第２の小領域に隣接した小領域の画像の特徴量との対と最も類似している前記第１の小領域の画像の特徴量と前記第１の小領域に隣接した小領域の画像の特徴量との対の類似度を計算するステップと、前記類似度から前記第２の小領域の観測画像が移動体か背景かを判定するステップとからなることを特徴とするものである。
【００２０】
第４の発明に係る移動体領域抽出方法は、背景を所定時間撮像して時系列に背景画像系列を得るステップと、前記背景画像系列を複数の第１の小領域に分割し、前記第１の小領域の特徴量を生成するステップと、観測画像を得るステップと、前記観測画像を複数の第２の小領域に分割し、前記第２の小領域の特徴量を生成するステップと、特定の前記第２の小領域に隣接する前記第２の小領域の特徴量と特定の前記第１の小領域の特徴量と特定の前記第１の小領域に隣接する前記第１の小領域の特徴量とを用いて特定の前記第２の小領域の観測画像の推定特徴量を計算するステップと、前記第２の小領域の特徴量と前記推定特徴量の類似度を計算するステップと、前記類似度から前記第２の小領域の観測画像が移動体か背景かを判定するステップとからなることを特徴とするものである。
【００２１】
第５の発明に係る移動体領域抽出方法は、前記特徴量が画素の輝度値に関するものであることを特徴とするものである。
【００２２】
第６の発明に係る移動体領域抽出装置は、画像を撮像するカメラと、時系列に複数の観測画像を記憶する観測画像記憶手段と、前記画像を複数の小領域に分割し、前記各小領域の画像の特徴量を生成する観測画像ベクトル生成手段と、前記各小領域の画像の特徴量の時間的変移量を計算する時間的変移量算出手段と、前記計算された時間的変移量のうち、特定の前記小領域の時間的変移量と特定の前記小領域に隣接した小領域の時間的変移量との類似度を計算する類似度算出手段と、前記類似度から前記小領域の画像が移動体か背景かを判定する判定手段を有することを特徴とするものである。
【００２３】
第７の発明に係る移動体領域抽出装置は、画像を撮像するカメラと、背景画像を時系列に記憶する背景画像系列記憶手段と、前記背景画像系列を複数の第１の小領域に分割し、前記各第１の小領域の特徴量を生成する背景画像ベクトル生成手段と、観測画像を記憶する観測画像記憶手段と、前記観測画像を複数の第２の小領域に分割し、前記各第２の小領域の画像の特徴量を生成する観測画像ベクトル生成手段と、前記第２の小領域の画像の特徴量のうち、特定の前記第２の小領域の画像の特徴量と特定の前記第２の小領域に隣接した小領域の画像の特徴量との対と最も類似している前記第１の小領域の画像の特徴量と前記第１の小領域に隣接した小領域の画像の特徴量との対の類似度を算出する類似度算出手段と、前記類似度から前記第２の小領域の観測画像が移動体か背景かを判定する判定手段とを有することを特徴とするものである。
【００２４】
第８の発明に係る移動体領域抽出装置は、画像を撮像するカメラと、背景画像を時系列に記憶する背景画像系列記憶手段と、前記背景画像系列を複数の第１の小領域に分割し、前記第１の小領域の特徴量を生成する背景画像ベクトル生成手段と、観測画像を記憶する観測画像記憶手段と、前記観測画像を複数の第２の小領域に分割し、前記第２の小領域の特徴量を生成する観測画像ベクトル生成手段と、特定の前記第２の小領域に隣接する前記第２の小領域の特徴量と特定の前記第１の小領域の特徴量と特定の前記第１の小領域に隣接する前記第１の小領域の特徴量とを用いて特定の前記第２の小領域の観測画像の推定特徴量を計算する画像ベクトル推定手段と、前記第２の小領域の特徴量と前記推定特徴量の類似度を計算する類似度算出手段と、前記類似度から前記第２の小領域の観測画像が移動体か背景かを判定する判定手段とを有することを特徴とするものである。
【００２５】
【発明の実施の形態】
実施の形態１．
以下、本発明の実施の形態１について説明する。図１はこの発明の実施の形態１による移動体領域抽出方法を示すブロック図であり、図２はその動作を示すフローチャートである。
ここで、１はカメラ、２は観測画像記憶手段、３は観測画像ベクトル生成手段、４は時間的変移量算出手段、５は類似度算出手段、６は判定手段である。
【００２６】
次に、図２を用いて動作について説明する。
まず、ＳＴ１としてカメラ１で観測画像を連続撮影し、例えば２つの観測画像ＡおよびＢを得て、観測画像記憶手段２で記憶する。
次にＳＴ２として、観測画像記憶手段２に記憶した２つの画像ＡおよびＢを、それぞれＮ×Ｎの画素を有するブロック（小領域）に分割し、各小領域に含まれる画素の輝度値を要素とするベクトルを観測画像ベクトル生成手段３を用いて生成する。ここで、画像ＡおよびＢのｉ番目の小領域に対応するベクトルをそれぞれａ（ｉ）、ｂ（ｉ）とする。
なお、観測画像ベクトルを生成する値としては、輝度値に限定されるものではなく、例えば、小領域の部分画像パターン、小領域に含まれる画素の輝度値に関する統計量、「部分画像パターン」や「輝度値に関する統計量」の時間的変移量、「部分画像パターン」や「輝度値に関する統計量」の時間的統計量などの小領域の特徴を抽出できるものならば良い。
【００２７】
次にＳＴ３において、時間的変移量算出手段４を用いて、各小領域における特徴量の時間的変移量を得る。すなわち、観測画像ＡおよびＢの小領域に対応する輝度値の差分を求める。例えば、ｉ番目の小領域では式（６）に示す値ｖ（ｉ）を算出する。
【００２８】
【数６】
2004054676.tif 000008
次にＳＴ４では、類似度算出手段５を用いて隣接した小領域、例えば、ｉ番目の小領域と、ｉ番目の小領域に隣接するｊ番目の小領域のそれぞれの特徴量の時間的変移量から特徴量の時間的変移量の類似度Ｄを求める。つまり、それぞれの領域における時間的変移量の差分を式（７）より算出する。
【００２９】
【数７】
2004054676.tif 000009
最後にＳＴ５において、判定手段６は、式（７）の値に応じてｉ番目の小領域が移動体か背景かを判定する。日照変化などのように背景が大域的に同じ変化を起こしている場合、隣接した小領域において時間的変移量は類似している。これは背景において小領域と隣接する小領域とにおける変化は強い相関があるためである。以後、この相関を同時生起性と呼ぶ。そこで、類似度Ｄを用いて、移動体か背景かを判定する。ここでは、例えば類似度Ｄが所定の閾値σに対しＤ≧σの場合には移動体が存在しているとみなし、Ｄ＜σの場合には移動体が存在していないとみなす。
【００３０】
なお、閾値σはあらかじめ決定しておいた数値を用いても良いし、判定のたびに閾値σを決定しても良い。
閾値σを求める方法としては、例えば、試験画像を用意し、まず、手作業により移動体領域を抽出し、真値データとなる「正解画像」を作成する。一方で、同じ試験画像に対し、ある閾値で判定した場合の処理結果を得る。この処理結果と正解画像を比較し、移動体領域に対する未検出／誤検出の割合を算出する。ここで、閾値を徐々に変化させて、この比較を繰りかえし行うことで、最も正解に近い処理結果が得られる場合の理想閾値を求める方法がある。また、試験画像を複数用意し、それらに対して求められた複数の理想閾値を平均化して利用することもできる。なお、これは一例であり、閾値σを求める方法はこれに限定されるものではない。
【００３１】
なお、ｉ番目の小領域に隣接する小領域が複数ある場合には、すべての組み合わせで式（７）を計算し、総合的に判定すると良い。その際の判定の方法としては、例えば式（７）におけるＤをすべての隣接する小領域に対して計算し、その平均値、または中央値が所定の閾値σよりも大きい場合には移動体が存在しているとみなす方法が考えられる。
以上のような判定をすべての小領域において行うことにより、移動体領域を抽出する。
【００３２】
本実施の形態によれば、複数の観測画像から観測画像の小領域の特徴量の時間的変移量を計算する手段を有する装置を用いて、その時間的変移量の類似度から小領域の画像が移動体か背景かを判定しているので、従来技術のような背景変化の大きさに応じた検出感度調整を行う必要がなく、背景が大きく変化している場合であっても、移動体領域だけを高精度に抽出できる効果がある。
【００３３】
実施の形態２．
図３はこの発明の実施の形態２に係る移動体領域抽出方法を示すブロック図であり、図４はその動作を示すフローチャートである。
図３において、７は背景画像系列記憶手段、８は背景画像ベクトル生成手段である。また、実施の形態１と同一符号は同一のものを示す。
【００３４】
次に図４を用いて動作について説明する。
まず、ＳＴ１１で、カメラ１で所定時間の背景を撮像することにより背景画像を時系列に得て、背景画像系列記憶手段７で保存する。ここで、ある時刻ｔに撮像された背景画像をＥ（ｔ）とする、ただしｔ＝１、２、・・・、ＴＢである。
次に、ＳＴ１２において、各背景画像Ｅ（ｔ）を、それぞれＮ×Ｎの画素を有するブロック（小領域）に分割し、各小領域に含まれる画素の輝度値を要素とするベクトルを背景画像ベクトル生成手段８において生成する。ここでは、時刻ｔにおける背景画像のｉ番目の小領域に対応する背景画像ベクトルをｅ（ｉ，ｔ）とし、時刻とともに記憶する。
【００３５】
さらにＳＴ１３において、カメラ１より、移動体領域を抽出するための新たな観測画像Ａを入力し、観測画像記憶手段２に保存する。
続いてＳＴ１４において、前記背景画像の分割と同様の方法により、観測画像ＡをＮ×Ｎの画素を有するブロック（小領域）に分割し、各小領域に含まれる画素の輝度値を要素とする観測画像ベクトルａ（ｉ）を観測画像ベクトル生成手段３において生成する。なお、ａ（ｉ）の引数のｉは背景画像と同様にして複数ある小領域に番号を付したときのｉ番目に相当するものであることを示す。
なお、背景画像ベクトルと観測画像ベクトルを生成する値としては、輝度値に限定されるものではなく、例えば、小領域の部分画像パターン、小領域に含まれる画素の輝度値に関する統計量、「部分画像パターン」や「輝度値に関する統計量」の時間的変移量、「部分画像パターン」や「輝度値に関する統計量」の時間的統計量などの小領域の特徴を抽出できるものならば良い。
【００３６】
次に、ＳＴ１５において、ｉ番目の小領域に関し、ｉ番目とそれに隣接するｊ番目の小領域で同時に生起した観測画像ベクトルの対と最も類似している背景画像ベクトルの対との類似度を類似度算出手段５において算出する。本実施の形態においては、式（８）の数値Ｄを類似度とする。
【００３７】
【数８】
2004054676.tif 000010
最後にＳＴ１６において、判定手段６において、隣接する小領域で同時に生起した観測画像ベクトルの対と背景画像ベクトルの対が類似していれば背景であると判断し、類似していなければ移動体であると判断する。　ここでは、例えば類似度Ｄが所定の閾値σに対しＤ≧σの場合には移動体が存在しているとみなし、Ｄ＜σの場合には移動体が存在していないとみなす。
【００３８】
なお、閾値σはあらかじめ決定しておいた数値を用いても良いし、判定のたびに閾値σを決定しても良い。
閾値σを求める方法としては、例えば、試験画像を用意し、まず、手作業により移動体領域を抽出し、真値データとなる「正解画像」を作成する。一方で、同じ試験画像に対し、ある閾値で判定した場合の処理結果を得る。この処理結果と正解画像を比較し、移動体領域に対する未検出／誤検出の割合を算出する。ここで、閾値を徐々に変化させて、この比較を繰りかえし行うことで、最も正解に近い処理結果が得られる場合の理想閾値を求める方法がある。また、試験画像を複数用意し、それらに対して求められた複数の理想閾値を平均化して利用することもできる。なお、これは一例であり、閾値σを求める方法はこれに限定されるものではない。
【００３９】
なお、ｉ番目の小領域に隣接する小領域が複数ある場合には、すべての組み合わせで式（７）を計算し、総合的に判定すると良い。その際の判定の方法としては、例えば式（７）におけるＤをすべての隣接する小領域に対して計算し、その平均値、または中央値が所定の閾値よりも大きい場合には移動体が存在しているとみなす方法が考えられる。
以上のような判定をすべての小領域において行うことにより、移動体領域を抽出する。
【００４０】
この実施の形態２では、小領域の観測画像の特徴量のうち、特定の小領域の観測画像の特徴量と特定の小領域に隣接した小領域の観測画像の特徴量との対と最も類似している特定の小領域の背景画像の特徴量と特定の小領域に隣接した小領域の背景画像の特徴量との対の類似度を算出する類似度算出手段を有する装置を用いて、その類似度から小領域の画像が移動体か背景かを判定しているので、従来技術のような背景変化の大きさに応じた検出感度調整を行う必要がなく、背景が大きく変化している場合であっても、移動体領域だけを高精度に抽出できる効果がある。また、過去に観測した背景画像系列における背景変化の同時生起性を用いて移動体領域を抽出しているので、実際の撮影場所の背景変化に即した判定が可能となる効果もある。
【００４１】
実施の形態３．
図５は実施の形態３による移動体領域抽出方法を示すブロック図であり、図６はその動作を示すフローチャートである。
図５において９は画像ベクトル推定手段である。また実施の形態２と同一符号は同一のものを示す。
【００４２】
次に図６を用いて本実施の形態の動作について説明する。
まず、ＳＴ２１で、カメラ１で所定時間の背景を撮像することにより背景画像を時系列に得て、背景画像系列記憶手段７で保存する。ここで、ある時刻ｔに撮像された背景画像をＥ（ｔ）、ただしｔ＝１、２、・・・、ＴＢとする。
ＳＴ２２において、背景画像ベクトル生成手段８は、各背景画像Ｅ（ｔ）を、それぞれＮ×Ｎの画素を有するブロック（小領域）に分割し、各小領域に含まれる画素の輝度値を要素とするベクトルを生成する。ここでは、時刻ｔにおける背景画像のｉ番目の小領域に対応する背景画像ベクトルをｅ（ｉ，ｔ）とし、時刻とともに管理、記憶する。これにより、隣接した小領域における特徴量の同時生起性を学習することができる。
【００４３】
次にＳＴ２３において、同じカメラ１より、移動体領域を抽出するための新たな観測画像Ａを入力し、観測画像記憶手段２で保存する。
さらにＳＴ２４において、観測画像ベクトル生成手段３は、背景画像の分割と同様に観測画像ＡをＮ×Ｎの画素を有するブロック（小領域）に分割し、各小領域に含まれる画素の輝度値を要素とする観測画像ベクトルａ（ｉ）を生成する。なお、ａ（ｉ）の引数のｉは背景画像と同様にして複数ある小領域に番号を付したときのｉ番目に相当するものであることを示す。
【００４４】
次に、ＳＴ２５において、隣接する小領域の観測画像ベクトルを用いて画像ベクトルの推定を画像ベクトル推定手段９により行う。ここでは、背景の小領域の画像ベクトルと隣接する画像ベクトルとの同時生起性を利用して画像ベクトルを推定する。
以下、ｉ番目の小領域について、具体的な推定方法を示す。
ここで、ｉ番目の小領域に隣接するｊ番目の小領域の観測画像ベクトルａ（ｊ）を用いて推定される画像ベクトルをａ＊（ｉ，ｊ）として表記する。また、推定には、学習した背景画像ベクトルｅ（ｉ，ｔ）およびｅ（ｊ，ｔ）を用いる。ただしｔ＝１、２、・・・、ＴＢである。
【００４５】
最初に、ｊ番目の小領域において、ｅ（ｊ，ｔ）の中から、ａ（ｊ）に類似するものを順にＬ個取り出してえｅ’（ｊ，１）、ｅ’（ｊ，２）、・・・、ｅ’（ｊ，Ｌ）とする。ただし、Ｌ≦ＴＢである。そして、ａ（ｊ）に対するｅ’（ｊ，１）、ｅ’（ｊ，２）、・・・、ｅ’（ｊ，Ｌ）の線形補間係数ｃ（１）、ｃ（２）、・・・、ｃ（Ｌ）を得る。
次に、ｉ番目の小領域において、ｅ’（ｊ，１）、ｅ’（ｊ，２）、・・・、ｅ’（ｊ，Ｌ）と同時刻に生起したｅ（ｉ，ｔ）を取り出し、ｅ’（ｉ，１）、ｅ’（ｉ，２）、・・・、ｅ’（ｉ，Ｌ）とする。
さらに、式（９）により、その平均ベクトルｍ（ｉ）を算出する。
【００４６】
【数９】
2004054676.tif 000011
続いて、もしｉ番目の小領域に移動体が存在していないと仮定した場合に観測されるべき画像ベクトルａ＊（ｉ，ｊ）を背景画像ベクトルを用いて式（１０）により推定する。
【００４７】
【数１０】
2004054676.tif 000012
【００４８】
次にＳＴ２６において、類似度算出手段５を用いて、推定された画像ベクトルａ＊（ｉ，ｊ）と、実際に観測されているａ（ｉ）の類似度を算出する。具体的には式（１１）を用いてｉ番目の小領域の観測画像ベクトルと推定された画像ベクトルの差分を類似度Ｄとして算出する。
【００４９】
【数１１】
2004054676.tif 000013
最後にＳＴ２７において、判定手段６を用いて、ｉ番目の小領域が移動体か背景かを判定する。これは背景画像ベクトルの隣接する小領域における変化に同時生起性があるためである。ここでは、隣接した小領域から推定した移動体が存在しない場合の画像ベクトルと観測画像ベクトルの類似度Ｄを用いて、移動体か背景かを判定する。ここでは、例えば類似度Ｄが所定の閾値σに対しＤ≧σの場合には移動体が存在しているとみなし、Ｄ＜σの場合には移動体が存在していないとみなす。
【００５０】
なお、閾値σはあらかじめ決定しておいた数値を用いても良いし、判定のたびに閾値σを決定しても良い。
閾値σを求める方法としては、例えば、試験画像を用意し、まず、手作業により移動体領域を抽出し、真値データとなる「正解画像」を作成する。一方で、同じ試験画像に対し、ある閾値で判定した場合の処理結果を得る。この処理結果と正解画像を比較し、移動体領域に対する未検出／誤検出の割合を算出する。ここで、閾値を徐々に変化させて、この比較を繰りかえし行うことで、最も正解に近い処理結果が得られる場合の理想閾値を求める方法がある。また、試験画像を複数用意し、それらに対して求められた複数の理想閾値を平均化して利用することもできる。なお、これは一例であり、閾値σを求める方法はこれに限定されるものではない。
【００５１】
なお、ｉ番目の小領域に隣接する小領域が複数ある場合には、すべての組み合わせで式（１１）を計算し、総合的に判定すると良い。その際の判定の方法としては、例えばすべての隣接する小領域に対して画像ベクトルを推定し式（１１）におけるＤをすべての隣接する小領域に対して計算し、その平均値、または中央値が所定の閾値よりも大きい場合には移動体が存在しているとみなす方法が考えられる。
また、すべての小領域で同様の判定を行うことにより、移動体領域が抽出される。
【００５２】
この実施の形態３では、背景画像系列記憶手段と、背景画像ベクトル生成手段と、観測画像記憶手段と、観測画像ベクトル生成手段と、小領域の推定特徴量を計算する画像ベクトル推定手段と、小領域の観測画像の特徴量と推定特徴量の類似度を計算する類似度算出手段と、移動体か背景かを判定する判定手段とを有する装置を用いて、小領域に隣接する小領域の観測画像の特徴量と小領域の背景画像の特徴量と小領域に隣接する小領域の背景画像の特徴量とを用いて特徴量を推定する方法を用いることにより、従来技術のような背景変化の大きさに応じた検出感度調整を行う必要がなく、背景が大きく変化している場合であっても、移動体領域だけを高精度に抽出できる効果がある。また、過去に観測した背景画像系列における背景変化の同時生起性を用いて移動体領域を抽出しているので、実際の撮影場所の背景変化に即した判定が可能となる効果もある。
さらに、背景画像系列が少なくて学習がやや不十分であったとしても、効率よく、高精度に判定することができる効果がある。
【００５３】
【発明の効果】
以上説明したように、本発明の移動体領域抽出方法では、画像を複数の小領域に分割し、前記小領域の画像と前記小領域に隣接する小領域の画像に現れる特徴量の同時生起性から前記小領域の画像が移動体か背景かを判定する方法を用いることにより、背景が大きく変化している場合であっても、移動体領域だけを高精度に抽出することができる効果がある。
【００５４】
また、本発明の移動体領域抽出装置では画像を撮像するカメラと、時系列に複数の観測画像を記憶する観測画像記憶手段と、画像を複数の小領域に分割し、各小領域の画像の特徴量を生成する観測画像ベクトル生成手段と、各小領域の画像の特徴量の時間的変移量を計算する時間的変移量算出手段と、計算された時間的変移量のうち、特定の小領域の時間的変移量と特定の小領域に隣接した小領域の時間的変移量との類似度を計算する類似度算出手段と、類似度から小領域の画像が移動体か背景かを判定する判定手段を有しているので、背景変化が大きい場合においても移動体領域だけを高精度に抽出することのできる移動体領域抽出装置を得ることができる効果がある。
【図面の簡単な説明】
【図１】実施の形態１に係る移動体領域抽出装置の構成図である。
【図２】実施の形態１に係る移動体領域抽出装置の動作を説明するフローチャートである。
【図３】実施の形態２に係る移動体領域抽出装置の構成図である。
【図４】実施の形態２に係る移動体領域抽出装置の動作を説明するフローチャートである。
【図５】実施の形態３に係る移動体領域抽出装置の構成図である。
【図６】実施の形態３に係る移動体領域抽出装置の動作を説明するフローチャートである。
【図７】従来例に係る移動体領域抽出装置の構成図である。
【図８】従来例に係る移動体領域抽出装置の動作を説明するフローチャートである。
【符号の説明】
１　カメラ、２　観測画像記憶手段、３　観測画像ベクトル生成手段、４　時間的変移量算出手段、５　類似度算出手段、６　判定手段、７　背景画像系列記憶手段、８　背景画像ベクトル生成手段、９　画像ベクトル推定手段
【図１】
2004054676.tif 000014
【図２】
2004054676.tif 000015
【図３】
2004054676.tif 000016
【図４】
2004054676.tif 000017
【図５】
2004054676.tif 000018
【図６】
2004054676.tif 000019
【図７】
2004054676.tif 000020
【図８】
2004054676.tif 000021