(57)【要約】【課題】本発明は、静止観測点にあるカメラを用いて同一景観を撮影した時系列画像から移動物体を抽出するときに、背景が照明変動等の影響により急激に変化する場合でも確実に移動物体を抽出できるようにすることを目的とする。【解決手段】相関係数を用いて時系列画像と背景画像とを比較して背景画像を更新していくとともに、時系列画像とそのように時々刻々と更新していく背景画像とを局所領域に分割して、それらの局所領域毎に、最新画像の局所領域と背景画像の局所領域との間の相関演算を行うことで相関係数を算出して、その算出した相関係数の値を閾値処理することで２値画像を得て、それから移動物体を抽出する処理を行う。この構成に従って、急激な照明変動や影の発生があったとしても誤検出することなく背景画像を更新でき、これにより移動物体を確実に抽出できるようになる。【選択図】          図１
2004178243.tif 000002
【特許請求の範囲】
【請求項１】
静止観測点にあるカメラを用いて同一景観を撮影した時系列画像から移動物体を抽出する移動物体抽出装置であって、
移動物体の存在しない撮影画像を背景画像の初期画像として取得する手段と、上記時系列画像と上記初期画像を起点とする背景画像とを用いて計算される第１の相関係数に基づいて、移動物体の存在しない背景画像を更新する手段と、
上記時系列画像と上記背景画像とを局所領域に分割して、各局所領域内の画素値を比較する手段と、
上記比較により特定される全ての画素値がほぼ同じ値を示す局所領域の範囲を拡大する手段と、
上記拡大により確定される全ての画素値がほぼ同じ値を示さない局所領域毎に、上記時系列画像と上記背景画像との間で第２の相関係数を計算する手段と、
上記第２の相関係数に基づいて、上記時系列画像から変化領域を抽出することで移動物体領域を抽出する手段とを備えることを、
特徴とする移動物体抽出装置。
【請求項２】
請求項１に記載の移動物体抽出装置において、
上記第１の相関係数と上記第２の相関係数の内のいずれか一方又は双方が、対数変換処理又は微分変換処理又は平滑化処理のいずれか１つ以上の前処理を施した相関法を用いて計算されることを、
特徴とする移動物体抽出装置。
【請求項３】
請求項１又は２に記載の移動物体抽出装置において、
上記全ての画素値がほぼ同じ値を示さない局所領域は、局所領域内の画素値を用いて計算されるか、あるいは、局所領域内の画素値に対して対数変換処理又は微分変換処理又は平滑化処理のいずれか１つ以上の前処理を施した画素値を用いて計算される、分散又は１次微分値又は２次微分値に基づく曲率が所定の閾値以上となる局所領域であることを、
特徴とする移動物体抽出装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の移動物体抽出装置において、
上記背景画像を更新する手段は、上記第１の相関係数の値が所定の閾値よりも大きなものとなる上記時系列画像を蓄積し、その蓄積した時系列画像を用いて更新する背景画像を生成することを、
特徴とする移動物体抽出装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の移動物体抽出装置において、
上記移動物体領域を抽出する手段は、上記第２の相関係数が所定の閾値よりも小さなものとなる局所領域に対してラベリング処理を施すことで変化領域を抽出することを、
特徴とする移動物体抽出装置。
【請求項６】
静止観測点にあるカメラを用いて同一景観を撮影した時系列画像から移動物体を抽出する移動物体抽出方法であって、
移動物体の存在しない撮影画像を背景画像の初期画像として取得する手順と、上記時系列画像と上記初期画像を起点とする背景画像とを用いて計算される第１の相関係数に基づいて、移動物体の存在しない背景画像を更新する手順と、
上記時系列画像と上記背景画像とを局所領域に分割して、各局所領域内の画素値を比較する手順と、
上記比較により特定される全ての画素値がほぼ同じ値を示す局所領域の範囲を拡大する手順と、
上記拡大により確定される全ての画素値がほぼ同じ値を示さない局所領域毎に、上記時系列画像と上記背景画像との間で第２の相関係数を計算する手順と、
上記第２の相関係数に基づいて、上記時系列画像から変化領域を抽出することで移動物体領域を抽出する手順とを備えることを、
特徴とする移動物体抽出方法。
【請求項７】
請求項６に記載の移動物体抽出方法において、
上記第１の相関係数と上記第２の相関係数の内のいずれか一方又は双方が、対数変換処理又は微分変換処理又は平滑化処理のいずれか１つ以上の前処理を施した相関法を用いて計算されることを、
特徴とする移動物体抽出方法。
【請求項８】
請求項６又は７に記載の移動物体抽出方法において、
上記全ての画素値がほぼ同じ値を示さない局所領域は、局所領域内の画素値を用いて計算されるか、あるいは、局所領域内の画素値に対して対数変換処理又は微分変換処理又は平滑化処理のいずれか１つ以上の前処理を施した画素値を用いて計算される、分散又は１次微分値又は２次微分値に基づく曲率が所定の閾値以上となる局所領域であることを、
特徴とする移動物体抽出方法。
【請求項９】
請求項６ないし８のいずれか１項に記載の移動物体抽出方法において、
上記背景画像を更新する手順では、上記第１の相関係数の値が所定の閾値よりも大きなものとなる上記時系列画像を蓄積し、その蓄積した時系列画像を用いて更新する背景画像を生成することを、
特徴とする移動物体抽出方法。
【請求項１０】
請求項６ないし９のいずれか１項に記載の移動物体抽出方法において、
上記移動物体領域を抽出する手順では、上記第２の相関係数が所定の閾値よりも小さなものとなる局所領域に対してラベリング処理を施すことで変化領域を抽出することを、
特徴とする移動物体抽出方法。
【請求項１１】
請求項６ないし１０のいずれか１項に記載の移動物体抽出方法の実現に用いられる処理をコンピュータに実行させるための移動物体抽出プログラム。
【請求項１２】
請求項６ないし１０のいずれか１項に記載の移動物体抽出方法の実現に用いられる処理をコンピュータに実行させるための移動物体抽出プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、屋外で撮影された時系列画像や動画像から移動物体を抽出する移動物体抽出装置及びその方法と、その移動物体抽出方法の実現に用いられる移動物体抽出プログラム及びそのプログラムを記録した記録媒体とに関し、特に、背景がフリッカーや照明変動や影等の影響により急激に変化する場合でも確実に移動物体を抽出できるようにする移動物体抽出装置及びその方法と、その移動物体抽出方法の実現に用いられる移動物体抽出プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
従来、静止したカメラから同一箇所を撮影したときに得られる時系列画像から移動物体を抽出する方法として、予め適切な背景画像を作成する方法（例えば、特許文献１参照）や、背景画像を適宜更新する方法（例えば、特許文献２参照）や、背景投影特徴量辞書を用いる方法（例えば、特許文献３参照）がある。
【０００３】
【特許文献１】
特開２０００−１１５７４９号公報
【特許文献２】
特開２００１−１８６５１１号公報
【特許文献３】
特開平７−２６２３５５号公報
【特許文献４】
特開２０００−５６３８６号公報
【非特許文献１】
「画像解析ハンドブック」東京大学出版会，１９９１年
【非特許文献２】
「照明変動及びノイズ耐久性を持つパターンマッチング法」，２０００年映像情報メディア学会年次大会論文集
【非特許文献３】
「映像カット自動検出方式の検討」テレビジョン学会技術報告，Ｖｏｌ．１６，Ｎｏ．４３
【非特許文献４】
「ハイパーリンクブック『ディジタル映像処理』」，オーム社，２０００年
【０００４】
【発明が解決しようとする課題】
しかしながら、屋外での使用を考えた場合、特許文献１に記載される方法では、背景の明るさが変動するため適用することができないという問題がある。
【０００５】
また、特許文献２に記載される方法では、緩やかに明るさが変化する場合には適用可能であるものの、急激に明るさが変動したり影が発生する場合には適用できないという問題がある。
【０００６】
また、特許文献３に記載される方法では、背景投影特徴量辞書を用いて背景変化を検出し背景更新しているが、予め想定される全ての背景投影特徴量辞書を作成しなければならないという問題がある。
【０００７】
本発明はかかる事情に鑑みてなされたものであって、屋外にある静止したカメラから同一箇所を撮影したときに得られる時系列画像から移動物体を抽出するときに、急激な照明変動、影の発生、蛍光灯によるフリッカ、オートアイリスやオートゲインコントロールなどによる急激な画像の明るさ変動が生じたとしても、その影響を受けることなく移動物体を抽出できるようにする新たな移動物体抽出技術の提供を目的とする。
【０００８】
【課題を解決するための手段】
この目的を達成するために、本発明の移動物体抽出装置は、静止観測点にあるカメラを用いて同一景観を撮影した時系列画像から移動物体を抽出する処理を行うために、▲１▼移動物体の存在しない撮影画像を背景画像の初期画像として取得する手段と、▲２▼時系列画像とその初期画像を起点とする背景画像とを用いて計算される第１の相関係数に基づいて、移動物体の存在しない背景画像を更新する手段と、▲３▼時系列画像と背景画像とを局所領域に分割して、各局所領域内の画素値を比較する手段と、▲４▼その比較により特定される全ての画素値がほぼ同じ値を示す局所領域の範囲を拡大する手段と、▲５▼その拡大により確定される全ての画素値がほぼ同じ値を示さない局所領域毎に、時系列画像と背景画像との間で第２の相関係数を計算する手段と、▲６▼第２の相関係数に基づいて、時系列画像から変化領域を抽出することで移動物体領域を抽出する手段とを備えるように構成する。
【０００９】
この構成を採るときに、第１の相関係数と第２の相関係数の内のいずれか一方又は双方が、対数変換処理又は微分変換処理又は平滑化処理のいずれか１つ以上の前処理を施した相関法を用いて計算されることがある。
【００１０】
以上の各処理手段により実現される本発明の移動物体抽出方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供したり、ネットワークを介して提供することができる。
【００１１】
このように構成される本発明の移動物体抽出装置では、例えば、撮影開始時の移動物体の存在しない撮影画像を取得することで、移動物体の存在しない撮影画像を背景画像の初期画像として取得する。
【００１２】
このようにして、背景画像の初期画像を取得することで移動物体の抽出処理に入ると、入力される時系列画像と保存してある背景画像とを用いて第１の相関係数を計算して、その計算した第１の相関係数の値が所定の閾値よりも大きなものとなる場合には、その計算の対象となった撮影画像が背景画像であることを判断して、その撮影画像に従って、保存してある背景画像を更新する。
【００１３】
この更新にあたって、第１の相関係数の値が所定の閾値よりも大きなものとなる時系列画像を蓄積して、その蓄積した時系列画像の平均値を求めるなどにより更新する背景画像を生成することがある。
【００１４】
このようにして、背景画像を時々刻々と更新していくときに、第１の相関係数の値が所定の閾値よりも大きなものとならない時系列画像が入力されてくることで、移動物体の撮影された時系列画像が入力されてくると、その時系列画像と背景画像とを局所領域に分割して、各局所領域内の画素値を比較し、その比較により特定される全ての画素値がほぼ同じ値を示す局所領域の範囲を拡大する。
【００１５】
この後の処理で、分割した局所領域毎に、時系列画像と背景画像との間で第２の相関係数を計算する処理を行うことになるが、全ての画素値がほぼ同じ値を示す局所領域については、この第２の相関係数を計算することが不可能となるので、そのような局所領域の範囲を拡大するのである。
【００１６】
ここで、全ての画素値がほぼ同じ値を示さない局所領域は、例えば、局所領域内の画素値を用いて計算されるか、あるいは、局所領域内の画素値に対して対数変換処理又は微分変換処理又は平滑化処理のいずれか１つ以上の前処理を施した画素値を用いて計算される、分散又は１次微分値又は２次微分値に基づく曲率が所定の閾値以上となるものとして特定されることになる。
【００１７】
このようにして、全ての画素値がほぼ同じ値を示す局所領域を拡大することで、全ての画素値がほぼ同じ値を示さない局所領域のみになると、それらの局所領域毎に、時系列画像と背景画像との間で第２の相関係数を計算する。
【００１８】
ここで、第２の相関係数については、局所領域に含まれる全ての画素が持つものとして扱うことも可能であるし、局所領域に含まれる代表画素が持つものとして扱うことも可能である。また、局所領域を拡大している場合には、拡大した局所領域あるいは拡大前の局所領域に含まれる全ての画素が持つものとして扱うことも可能であるし、それらの局所領域に含まれる代表画素が持つものとして扱うことも可能である。
【００１９】
この計算した第２の相関係数が所定の閾値よりも小さな局所領域は、背景画像と類似しない変化領域を示している。
【００２０】
これから、第２の相関係数が所定の閾値よりも小さなものとなる局所領域に対してラベリング処理を施すことにより、時系列画像から移動物体領域を抽出する。
【００２１】
以上説明したように、本発明では、背景画像を用いて時系列画像から移動物体を抽出する構成を採るときに、相関係数を用いて時系列画像と背景画像とを比較して背景画像を更新していくことから、照明変動やオートアイリスやオートゲインコントロールなどによって生じる画像の急激な明るさ変動が発生したとしても、誤検出することなく背景画像を更新できるようになり、これにより移動物体を確実に抽出できるようになる。
【００２２】
このとき、相関演算として、影及び照明変動に強い方法を用いることにより、画像内の一部に影が発生しても誤検出することなく背景画像を更新できるようになるので、移動物体を確実に抽出できるようになる。
【００２３】
また、本発明では、移動物体を抽出するときに、局所領域ごとに相関演算を行っている。このとき、全ての画素値がほぼ同じ値となる局所領域、すなわち領域内の画素値の分散がほぼ０になる局所領域では相関係数を求めることができないので、全ての画素値が同じにならなくなるように局所領域の範囲を拡大するようにしている。
【００２４】
これにより、本発明によれば、移動物体の表面の一部の領域の画素値が同じである場合でも正しく移動物体を抽出できるようになる。
【００２５】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００２６】
図１に、本発明を具備する移動物体抽出装置１の機能構成の一実施形態例を図示する。
【００２７】
この図に示すように、本発明の移動物体抽出装置１は、ＣＣＤカメラ２から入力される移動物体の撮影された画像を処理対象として、移動物体の背景画像の初期画像（初期背景画像）を設定する初期背景画像設定手段１０と、移動物体の背景画像を更新する背景画像更新手段１１と、ＣＣＤカメラ２から入力された最新画像および背景画像更新手段１１により更新された背景画像を局所領域に分割する局所領域分割手段１２と、分割された局所領域の画素値の分散を評価する画素値分散評価手段１３と、画素値分散評価手段１３の評価により特定される特定の局所領域を拡大する局所領域拡大手段１４と、最新画像の局所領域と背景画像の局所領域との間の相関演算を行う局所領域間相関演算手段１５と、算出された相関係数を使って移動物体の画像部分である変化領域を抽出する変化領域抽出手段１６とを備える。
【００２８】
ここで、ＣＣＤカメラ２としては、カラーカメラが用いられることもあるし、モノクロカメラが用いられることもある。また、カラーカメラが用いられる場合には、例えば、ＹＩＱ表色系のＹ信号を選択してもよい（例えば、非特許文献１参照）。
【００２９】
このように構成される本発明の移動物体抽出装置１では、図２に示すように、ＣＣＤカメラ２から入力される最新画像を例えばマトリックスのような形態で局所領域に分割するとともに、時々刻々と変化していく背景画像を取得して、その分割に合わせて、その背景画像を対応する局所領域に分割し、そして、それらの局所領域毎に、最新画像の局所領域と背景画像の局所領域との間の相関演算を行うことで相関係数を算出して、その算出した相関係数の値を閾値処理することで２値画像を得て、それから移動物体を抽出する処理を行うものである。
【００３０】
図３に、本発明の移動物体抽出装置１を使って移動物体の抽出が行われる測定系の一例を図示する。
【００３１】
この図に示す測定系では、ＣＣＤカメラ２を使って道路上を移動する移動車両３を上部より撮影するようにしており、本発明の移動物体抽出装置１は、このＣＣＤカメラ２の撮影する時系列画像を入力として、道路上を移動する移動車両３を抽出する処理を行うことになる。
【００３２】
図４に、この測定系で用いられるときに、本発明の移動物体抽出装置１が移動車両３を抽出するために実行するフローチャートの一例を図示する。次に、このフローチャートに従って、本発明の移動物体抽出装置１が実行する移動物体の抽出処理について詳細に説明する。
【００３３】
本発明の移動物体抽出装置１は、図３に示す測定系で用いられるときにあって、ＣＣＤカメラ２の撮影する画像に含まれる移動車両３の抽出要求が発行されると、図４の処理フローに示すように、先ず最初に、ステップ１０で、移動車両３の存在しない状態が確認されるときに撮影されるＣＣＤカメラ２の撮影画像を入力として、それを移動車両３の背景画像の初期画像として設定する。
【００３４】
ここで、移動車両３の存在しない状態は、例えば道路に設けられるセンサを使って検出されることになる。
【００３５】
続いて、ステップ１１で、移動車両３の抽出処理に入って、ＣＣＤカメラ２の撮影する画像を入力することで最新画像を取得する。
【００３６】
ＣＣＤカメラ２は、例えば１秒あたり３０枚のビデオ映像を撮影するので、そのビデオ映像の各フレーム画像を順番に最新画像として取得したり、例えば１秒毎に抽出するフレーム画像を順番に最新画像として取得することになる。
【００３７】
図５に、取得した最新画像の一例を図示する。この図では、最新画像Ａ、最新画像Ｂ、最新画像Ｃ、最新画像Ｄという４つの最新画像をＡ→Ｂ→Ｃ→Ｄという順番に取得したことを想定していいる。ここで、最新画像Ａおよび最新画像Ｂは、移動車両３の存在しない背景画像である。
【００３８】
続いて、ステップ１２で、最新画像と背景画像との間の相関係数を算出する。
このとき用いる相関係数の算出方法としては、対数微分と平滑化とを用いた相関法（ＬＤＭ法）（例えば、非特許文献２，特許文献４参照）や、相互相関係数による方法（例えば、非特許文献１参照）等があるが、その一例としてＬＤＭ法を用いる。
【００３９】
このＬＤＭ法は、屋外で発生する問題（急激な照明変動や影の発生、コントラストが低い場合等）を解決できる手法であって、連続する２つのフレーム画像の画素値を示す関数をそれぞれｇ１，ｇ２  とすると、相関係数Ｃｇは、下記の算出式に従って求めることができる。
【００４０】
【数１】
2004178243.tif 000003
【００４１】
ここで、“∇Ｇσ”はガウス関数を微分したもの、“‖  ‖２  ”はノルム、“＊”は畳み込み、“○”は合成関数を表す記号であり、例えば、“ｌｏｇ○ｆ（ｘ）＝ｌｏｇ｛ｆ（ｘ）｝”を示している。
【００４２】
この算出式により求められる相関係数Ｃｇは−１から１までの値をとり、１に近づくほど相関が高くなることを示す。
【００４３】
図５に示す最新画像の時系列画像の間の相関係数で説明するならば、最新画像Ａと最新画像Ｂとに対して求められた相関係数ＣｇをＣｇＡＢ、最新画像Ｂと最新画像Ｃとに対して求められた相関係数ＣｇをＣｇＢＣ、最新画像Ｃと最新画像Ｄとに対して求められた相関係数ＣｇをＣｇＣＤと表すならば、最新画像Ａと最新画像Ｂの違いは照明変動だけであるので、ＣｇＡＢは概ね１となる。一方、最新画像Ｂと最新画像Ｃとの間と、最新画像Ｃと最新画像Ｄとの間には画像パターンの違いがあるので、ＣｇＢＣ、ＣｇＣＤは１より十分小さくなる。
【００４４】
このことから分かるように、予め決められた閾値による相関係数Ｃｇに対する閾値処理により移動物体の有無が判定できる。
【００４５】
これから、ステップ１２で、最新画像と背景画像との間の相関係数を算出すると、続くステップ１３で、その算出した相関係数が規定の閾値より大きいのか否かを判断して、規定の閾値より大きいことを判断するときには、画像パターンの違いがないことで取得した最新画像が背景画像であることを判断して、ステップ１４に進んで、最新画像に従って背景画像を更新してから、移動物体の現れる最新画像を待つべくステップ１１に戻る。
【００４６】
このとき、取得した最新画像が背景画像であることの判断が続くときには、それらの最新画像の画素値を平均した平均画像に従って背景画像を更新するようにしてもよい。
【００４７】
ここで、ステップ１２では、画像１枚単位で相関係数を算出することで説明したが、最新画像と背景画像とを領域に分割して局所領域毎に相関係数を算出し、その算出結果に基づいて、取得した最新画像が背景画像であるのか否かを判断するようにしてもよい。
【００４８】
また、ステップ１２では、相関係数を算出する方法として、対数微分と平滑化とを用いた相関法（ＬＤＭ法）を利用することで説明したが、非特許文献１に記載されている下記に示す相互相関係数Ｃを求めるようなその他の相関法を用いても構わないし、カラー画像を対象とする場合には、カラー画像のＹ信号のみを用いて上記の相関係数を求めたり、色相関演算（例えば、非特許文献３参照）により相関係数を求めても構わない。
【００４９】
【数２】
2004178243.tif 000004
【００５０】
一方、ステップ１３で、最新画像と背景画像との間の相関係数が規定の閾値より小さいことを判断するときには、最新画像に移動車両３が撮影されたことを判断して、ステップ１５に進んで、最新画像および背景画像を局所領域に分割する。
【００５１】
例えば、図２に示すように、最新画像および背景画像をマトリックスのような形態で局所領域に分割するのである。
【００５２】
続いて、ステップ１６で、分割した局所領域毎に、局所領域に含まれる画素値がほぼ同じ値であるのか否かを判断する。
【００５３】
例えば、局所領域に含まれる画素値の分散を求めて、その分散がほぼ０になる場合には、局所領域に含まれる画素値がほぼ同じ値であると判断したり、対数変換と平滑化とを用いた相関法（ＬＤＭ法）を用いる場合には、Ｇσ＊（ｌｏｇ○ｇ）の分散を求めて、その分散がほぼ０になる場合には、局所領域に含まれる画素値がほぼ同じ値であると判断するのである。
【００５４】
図６で説明するならば、最新画像の局所領域ａとそれに対応付けられる背景画像の局所領域ａ（図中では対応領域ａで示してある）と、最新画像の局所領域ｂとそれに対応付けられる背景画像の局所領域ｂ（図中では対応領域ｂで示してある）と、背景画像の局所領域ｃ（図中では対応領域ｃで示してある）とについては、画素値の分散がほぼ０を示さないことで、局所領域に含まれる画素値がほぼ同じ値とならないことを判断し、一方、最新画像の局所領域ｃ（図中では対応領域ｃで示してある）については、画素値の分散がほぼ０を示すことで、局所領域に含まれる画素値がほぼ同じ値となることを判断することになる。
【００５５】
ここでは、局所領域に含まれる画素値がほぼ同じ値であるのか否かを判断する方法として分散を計算したが、エッジが検出されるかどうか、すなわち１次微分値が予め決められた閾値以上となる領域が含まれるかどうかで判断するようにしてもよいし、２次微分値に基づく曲率が予め決められた閾値以上となる領域が含まれるかどうかで判断するようにしてもよい。
【００５６】
なお、図６に示した例から分かるように、最新画像の局所領域に含まれる画素値がほぼ同じ値である場合に、それに対応付けられる背景画像の局所領域に含まれる画素値がほぼ同じ値であることもあるし、そうでないこともある。また、背景画像の局所領域に含まれる画素値がほぼ同じ値である場合に、それに対応付けられる最新画像の局所領域に含まれる画素値がほぼ同じ値であることもあるし、そうでないこともある。
【００５７】
このようにして、ステップ１６で、分割した各局所領域に含まれる画素値がほぼ同じ値であるのか否かを判断すると、続くステップ１７で、画素値がほぼ同じ値となる局所領域と、その局所領域に対応付けられるもう一方の画像（最新画像ｏｒ背景画像）の持つ局所領域とを拡大する。
【００５８】
この拡大処理を行うのは、相関係数を算出する際に、局所領域に含まれる画素値の分散で除算するという処理が入るためである。
【００５９】
すなわち、この除算処理があることから、画素値がほぼ同じ値となる局所領域については、画素値の分散がほぼ０となることで正確な相関係数を求められない（画素値の分散が０となる場合には相関係数そのものを求めることができない）ことになる。
【００６０】
そこで、背景画像及び最新画像の分散値がどちらも予め決められた閾値以上になるまで、そのような局所領域の範囲を拡大するのである。これにより、相関係数が求められないことによる変化領域（移動車両３の画像領域）の中抜けを防ぐことができる。
【００６１】
このステップ１７での局所領域の拡大処理に従って、図６に示す対応領域ｃについては、図７に示すように、その領域が拡大されることになる。
【００６２】
ここで、局所領域を最大限に拡大しても全ての画素値が同じになる場合は、例えば、全ての画素値が同じある移動物体全体が撮影されている状態であるので、移動車両３の領域を切り出す必要がない。
【００６３】
このようにして、ステップ１７で、画素値がほぼ同じ値となる局所領域とそれに対応付けられる局所領域とを拡大すると、続くステップ１８で、図８に示すように、局所領域毎に、最新画像の局所領域と背景画像の局所領域との間の相関係数を算出する。
【００６４】
この相関係数の算出方法としては、上述したようにＬＤＭ法や相互相関係数演算等があるが、ここでは、非特許文献１に記載されている相互相関係数（上述した〔数２〕式で求められる相関係数）を一例として、局所領域間の相関係数を算出する処理について具体的に説明する。
【００６５】
図６に示す対応領域ａ，ｂの相関係数の算出処理について具体的に説明するならば、背景画像中の対応領域ａおよび対応領域ｂの左上の座標をそれぞれｐ（ｘａ  ，ｙａ  ）、ｐ（ｘｂ  ，ｙｂ  ）と表し、最新画像中の対応領域ａおよび対応領域ｂの左上の座標をそれぞれｑ（ｘａ  ，ｙａ  ）、ｑ（ｘｂ  ，ｙｂ  ）と表し、これらの対応領域（局所領域）の幅をＵ、高さをＶと表すならば、図６に示す対応領域ａの間の相関係数Ｃｇａ  は、下記の算出式（上述した〔数２〕式と等価な算出式）に従って求められる。
【００６６】
【数３】
2004178243.tif 000005
【００６７】
また、図６に示す対応領域ｂの間の相関係数Ｃｇｂ  は、下記の算出式（上述した〔数２〕式と等価な算出式）に従って求められる。
【００６８】
【数４】
2004178243.tif 000006
【００６９】
ここで、この〔数３〕／〔数４〕式において、ｍｐａ  は背景画像の対応領域ａ内の画素値の平均値、ｍｑａ  は最新画像の対応領域ａ内の画素値の平均値、ｍｐｂ  は背景画像の対応領域ｂ内の画素値の平均値、ｍｑｂ  は最新画像の対応領域ｂ内の画素値の平均値を示している。
【００７０】
このようにして算出される相関係数Ｃｇは−１から１までの値をとり、１に近づくほど画像類似性が高いことを意味する。したがって、図６に示す対応領域ａでは画像変化が無いので相関係数Ｃｇａ  は概ね１となるが、対応領域ｂでは移動車両３により画像変化が生じるためＣｇｂ  は１より十分小さくなる。
【００７１】
ここでは、相互相関係数を用いて相関係数を求めたが、ＬＤＭ法や色相関演算等を用いても構わない。
【００７２】
このようにして、ステップ１８で、最新画像の局所領域と背景画像の局所領域との間の相関係数を算出すると、続くステップ１９で、その算出した相関係数に従って、最新画像に含まれる画素の持つ相関係数を決定する。
【００７３】
例えば、局所領域を用いて求められた相関係数を局所領域内の全ての画素に当てはめることで、最新画像に含まれる画素の持つ相関係数を決定し、このとき、局所領域を拡大した場合には、拡大した局所領域を用いて求められた相関係数を拡大後の局所領域内の全ての画素に当てはめたり、拡大前の局所領域内の全ての画素に当てはめることで、最新画像に含まれる画素の持つ相関係数を決定するのである。
【００７４】
その他の方法として、局所領域を用いて求められた相関係数を局所領域内の代表画素点に当てはめることで、最新画像に含まれる画素の持つ相関係数を決定し、このとき、局所領域を拡大した場合には、拡大した局所領域を用いて求められた相関係数を拡大後の局所領域内の代表画素点に当てはめたり、拡大前の局所領域内の代表画素点に当てはめることで、最新画像に含まれる画素の持つ相関係数を決定してもよい。
【００７５】
ただし、この後者の方法を用いる場合には、最新画像および背景画像をマトリックスのような形態で局所領域に分割するのではなくて、１画素ずつ水平方向および垂直方向にずらしながら局所領域を切り出していくことになる。
【００７６】
このようにして、ステップ１９で、最新画像に含まれる画素の持つ相関係数を決定すると、続くステップ２０で、それらの相関係数に対して閾値処理を行うことで２値化処理を行う。
【００７７】
上述したように、相関係数は画像変化が無い場合には概ね１であるので、例えば閾値を０．８として、相関係数が０．８より大きければ最新画像のその画素を白、相関係数が０．８より小さければ最新画像のその画素を黒として２値化することで、図９に示すように、相関係数が小さな値を示す移動車両３の部分（黒で示す部分）を抽出可能となるようにと２値化するのである。
【００７８】
なお、この２値化を行う場合、これから説明する処理を実行するために、最新画像そのものを残しておいた形で２値化を行うことになる。
【００７９】
続いて、ステップ２１で、２値画像を処理対象としてラベル付けを行うことにより変化領域を抽出することで移動車両３を抽出して、その抽出結果を出力する。
【００８０】
図９に示す例では変化領域が黒であるので、黒に対するラベリング処理（例えば、非特許文献４参照）を行い、移動車両の変化部分を領域として抽出することで、図１０に示すように、最新画像から移動車両３の領域のみを抽出するのである。
【００８１】
このようにして、本発明の移動物体抽出装置１は、急激な明るさ変動や影の発生があったとしても、ＣＣＤカメラ２の撮影する時系列画像から移動車両３を抽出できるようになる。
【００８２】
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では移動物体が１つであることを想定して説明を行っているが、ラベル付けによって１つの移動物体領域を区別できるので、移動物体が複数存在しても構わない。
【００８３】
また、実施形態例では撮影開始時に撮影される画像を初期背景画像として設定することで説明を行っているが、撮影途中に初期背景画像を設定し直すことでも構わない。
【００８４】
【発明の効果】
以上説明したように、本発明によれば、時系列画像や動画像から移動物体を抽出するときにあって、急激な照明変動や影の発生があったとしても誤検出することなく背景画像の更新を行い、その更新画像を使って移動物体を抽出できるようになる。
【００８５】
これから、屋外や屋内の窓側等の場所で、車や人の監視ができるようになる。
また、首振りカメラのように撮影方向が変わったとしても、カメラが静止すれば自動的に背景画像を生成して移動物体の抽出が可能となる。
【００８６】
さらに、本発明によれば、移動物体の表面の一部の領域の画素値が同じである場合でも、局所領域を拡大する手法により移動物体の抽出に用いる相関係数を求めることができるようになる。
【００８７】
これから、移動物体の表面の一部の領域の画素値が同じである場合でも正しく移動物体を抽出できるようになる。
【図面の簡単な説明】
【図１】本発明の移動物体抽出装置の一実施形態例である。
【図２】本発明による移動物体抽出処理の説明図である。
【図３】測定系の一例を示す説明図である。
【図４】本発明の移動物体抽出装置の実行するフローチャートの一例である。
【図５】最新画像の説明図である。
【図６】画像の局所領域に含まれる画素値の説明図である。
【図７】局所領域の拡大処理の説明図である。
【図８】局所領域毎の相関係数の算出処理の説明図である。
【図９】２値化処理の説明図である。
【図１０】移動車両の抽出処理の説明図である。
【符号の説明】
１    移動物体抽出装置
２    ＣＣＤカメラ
１０  初期背景画像設定手段
１１  背景画像更新手段
１２  局所領域分割手段
１３  画素値分散評価手段
１４  局所領域拡大手段
１５  局所領域間相関演算手段
１６  変化領域抽出手段
【図１】
2004178243.tif 000007
【図２】
2004178243.tif 000008
【図３】
2004178243.tif 000009
【図４】
2004178243.tif 000010
【図５】
2004178243.tif 000011
【図６】
2004178243.tif 000012
【図７】
2004178243.tif 000013
【図８】
2004178243.tif 000014
【図９】
2004178243.tif 000015
【図１０】
2004178243.tif 000016