(57)【要約】【課題】高精度で移動体を検出する。【解決手段】物体検出装置１２の取得部１４は、撮像画像を取得する。仮設定部４０は、取得された１の撮像画像を仮背景画像として仮設定する。特定部４２は、仮背景画像における移動体が存在すると推定される領域を、再設定領域として特定する。作成部４８は、仮背景画像の取得後に取得された撮像画像に基づいて、再設定領域に対応する移動体が存在しない移動体無背景領域画像を作成する。設定部４６は、仮背景画像における再設定領域を移動体無背景領域画像に置換した置換画像を、背景画像として設定する。検出部１６は、背景画像と新たに取得された撮像画像との差分処理により、該撮像画像に含まれる移動体を検出する。出力部は、前記検出部の検出結果を出力する。【選択図】図１
2013257785.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を取得する取得部と、
取得された１の撮像画像を仮背景画像として仮設定する仮設定部と、
前記仮背景画像における移動体が存在すると推定される領域を、再設定領域として特定する特定部と、
前記仮背景画像の取得後に取得された撮像画像に基づいて、前記再設定領域に対応する移動体が存在しない移動体無背景領域画像を作成する作成部と、
前記仮背景画像における前記再設定領域を前記移動体無背景領域画像に置換した置換画像を、背景画像として設定する設定部と、
前記背景画像と新たに取得された撮像画像との差分処理により、該撮像画像に含まれる移動体を検出する検出部と、
前記検出部の検出結果を出力する出力部と、
を備えた物体検出装置。
【請求項２】
前記特定部は、前記仮背景画像と、前記仮背景画像の取得後に取得された複数の撮像画像の各々と、の差分を前景領域として抽出すると共に、予め定めた回数以上前記前景領域として抽出される領域を、前記再設定領域として特定する、請求項１に記載の物体検出装置。
【請求項３】
前記特定部は、
前記仮背景画像と、前記仮背景画像の取得後に取得された複数の撮像画像の各々と、の差分処理により、前記前景領域を抽出すると共に、前記複数の撮像画像の各々における前記前景領域以外の領域を背景領域として抽出する背景差分処理部と、
前記仮背景画像と同じ画素数で且つ予め定めた画素値の画素からなる計算用画像における、抽出された前記背景領域の各々に対応する第１領域の画素値から予め定めた第１値を減算すると共に、該計算用画像における、抽出された前記前景領域の各々に対応する第２領域の画素値に前記第１値を加算することによって、前記計算用画像の画素値を調整する演算処理部と、
調整された前記計算用画像における、画素値が予め定めた第１閾値以上である領域を、前記仮背景画像における前記再設定領域として特定する第１特定部と、
を含む、
請求項１または請求項２に記載の物体検出装置。
【請求項４】
前記作成部は、
フレーム間差分処理によって、前記仮背景画像の取得後に取得された連続する複数の撮像画像の前記再設定領域に対応する領域間における差分を抽出するフレーム間差分処理部と、
前記フレーム間差分処理部によって差分が予め定めた第２閾値以下となったときの前記撮像画像における前記再設定領域に対応する領域を特定する第２特定部と、
を有し、
該撮像画像における前記第２特定部によって特定された該領域を、前記移動体無背景領域画像として作成する、
請求項１〜請求項３の何れか１項に記載の物体検出装置。
【請求項５】
撮像画像を取得するステップと、
取得された１の撮像画像を仮背景画像として仮設定するステップと、
前記仮背景画像における移動体が存在すると推定される領域を、再設定領域として特定するステップと、
前記仮背景画像の取得後に取得された撮像画像に基づいて、前記再設定領域に対応する移動体が存在しない移動体無背景領域画像を作成するステップと、
前記仮背景画像における前記再設定領域を前記移動体無背景領域画像に置換した置換画像を、背景画像として設定するステップと、
前記背景画像と新たに取得された撮像画像との差分処理により、該撮像画像に含まれる移動体を検出するステップと、
前記検出するステップで検出した結果を出力するステップと、
を含む物体検出方法。
【請求項６】
コンピュータに実行させるためのプログラムであって、
撮像画像を取得するステップと、
取得された１の撮像画像を仮背景画像として仮設定するステップと、
前記仮背景画像における移動体が存在すると推定される領域を、再設定領域として特定するステップと、
前記仮背景画像の取得後に取得された撮像画像に基づいて、前記再設定領域に対応する移動体が存在しない移動体無背景領域画像を作成するステップと、
前記仮背景画像における前記再設定領域を前記移動体無背景領域画像に置換した置換画像を、背景画像として設定するステップと、
前記背景画像と新たに取得された撮像画像との差分処理により、該撮像画像に含まれる移動体を検出するステップと、
前記検出するステップで検出した結果を出力するステップと、
を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置、物体検出方法、及びプログラムに関する。
【背景技術】
【０００２】
移動体等の物体を検出する物体検出装置が知られている。物体の検出方法としては、背景差分方式やフレーム間差分方式を用いる方法が知られている。背景差分方式は、事前に取得した画像を背景画像とし、背景画像と観察画像とを比較することで、背景画像には存在しない物体を抽出する方法である。フレーム間差分方式は、取得時刻の異なる画像間の差分を抽出することにより、移動体等の対象物体を抽出する方式である。
【０００３】
ここで、上述のように、背景差分方式では、事前に取得した背景画像と観察対象の画像とを比較することで、背景画像には存在しない物体を抽出する。このため、移動体の検出を行う場合、背景画像に移動体が含まれていると、精度よく観察対象の画像に含まれる移動体を検出する事が困難となる。このため、移動体が存在しない場合に背景画像を設定し、背景差分方式を行うことが開示されている（例えば、特許文献１）。
【０００４】
例えば、特許文献１には、移動体の検出開始時には、フレーム間差分方式を用いて移動物体を検出し、物体が検出されなくなったときに背景画像を設定し、背景差分方式による検出に切替えることが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−７９４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来では、物体検出装置で検出する対象の検出対象領域が、複数の移動体が頻繁に移動する領域である場合、フレーム間差分方式による検出が連続して実行されることとなり、背景差分処理による移動体の検出を行うことができなかった。また、フレーム間差分方式は、移動前の移動体の領域と移動後の移動体の領域の両方の領域を差分ありと検出するため、背景差分方式に比べて、移動体の位置や大きさの検出精度が低い。このため、従来では、高精度で移動体を検出することは困難であった。
【０００７】
本発明は、上記に鑑みてなされたものであって、高精度で移動体を検出する、物体検出装置、物体検出方法、及びプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【０００８】
本発明の物体検出装置は、取得部と、仮設定部と、特定部と、作成部と、設定部と、検出部と、を備える。取得部は、撮像画像を取得する。仮設定部は、取得された１の撮像画像を仮背景画像として仮設定する。特定部は、前記仮背景画像における移動体が存在すると推定される領域を、再設定領域として特定する。作成部は、前記仮背景画像の取得後に取得された撮像画像に基づいて、前記再設定領域に対応する移動体が存在しない移動体無背景領域画像を作成する。設定部は、前記仮背景画像における前記再設定領域を前記移動体無背景領域画像に置換した置換画像を、背景画像として設定する。検出部は、前記背景画像と新たに取得された撮像画像との差分処理により、該撮像画像に含まれる移動体を検出する。出力部は、前記検出部の検出結果を出力する。
【０００９】
本発明の物体検出方法は、撮像画像を取得するステップと、取得された１の撮像画像を仮背景画像として仮設定するステップと、前記仮背景画像における移動体が存在すると推定される領域を、再設定領域として特定するステップと、前記仮背景画像の取得後に取得された撮像画像に基づいて、前記再設定領域に対応する移動体が存在しない移動体無背景領域画像を作成するステップと、前記仮背景画像における前記再設定領域を前記移動体無背景領域画像に置換した置換画像を、背景画像として設定するステップと、前記背景画像と新たに取得された撮像画像との差分処理により、該撮像画像に含まれる移動体を検出するステップと、前記検出するステップで検出した結果を出力するステップと、を含む物体検出方法である。
【００１０】
本発明のプログラムは、コンピュータに実行させるためのプログラムであって、撮像画像を取得するステップと、取得された１の撮像画像を仮背景画像として仮設定するステップと、前記仮背景画像における移動体が存在すると推定される領域を、再設定領域として特定するステップと、前記仮背景画像の取得後に取得された撮像画像に基づいて、前記再設定領域に対応する移動体が存在しない移動体無背景領域画像を作成するステップと、前記仮背景画像における前記再設定領域を前記移動体無背景領域画像に置換した置換画像を、背景画像として設定するステップと、前記背景画像と新たに取得された撮像画像との差分処理により、該撮像画像に含まれる移動体を検出するステップと、前記検出するステップで検出した結果を出力するステップと、を前記コンピュータに実行させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、高精度で移動体を検出することが出来る、という効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、物体検出システムを示す模式図である。
【図２】図２は、従来の移動体検出における、移動体の誤検出の説明図である。
【図３】図３は、第１特定部が特定した再設定領域の一例を示す模式図である。
【図４】図４は、移動体背景領域画像の作成を示す模式図である。
【図５】図５は、背景画像の再設定処理の手順を示すフローチャートである。
【図６】図６は、第２再設定処理の手順を示すフローチャートである。
【図７】図７は、検出処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照して、本実施形態にかかる、物体検出装置、物体検出方法、及びプログラムの実施の形態を詳細に説明する。
【００１４】
図１は、本実施の形態の物体検出システム１０を示す模式図である。物体検出システム１０は、物体検出装置１２、撮像部１１、操作部１３、及び表示部１５を備える。
【００１５】
撮像部１１、操作部１３、及び表示部１５は、物体検出装置１２に電気的に接続されている。
【００１６】
撮像部１１は、予め定められた検知対象領域の画像を撮像し、撮像画像を取得する。撮像部１１は、撮像によって、検出対象領域の撮像画像を画像データとして取得する装置であればよく、公知の撮像部１１を用いればよい。
【００１７】
検出対象領域とは、物体検出装置１２で移動体を検出する対象となる領域である。検出対象領域には、任意の領域を予め設定すればよい。検出対象領域には、例えば、車や人等の移動体が行き来する道路や街等が挙げられる。
【００１８】
操作部１３は、物体検出装置１２を操作するユーザからの操作指示を受け付ける。操作部１３としては、例えば、マウス、マイクによる音声認識、ボタン、リモコン、及びキーボード等が挙げられる。
【００１９】
表示部１５は、各種情報を表示する。表示部１５としては、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等の公知の表示装置が挙げられる。
【００２０】
物体検出装置１２は、検出対象領域における移動体を検出する装置である。移動体とは、検出対象領域内を移動する物体である。移動体には、例えば、車両、人物等の生物、等が挙げられるが、これらに限られない。
【００２１】
ここで、従来では、検出対象領域内の移動体を誤検出する場合があり、移動体を高精度に検出することは困難であった。これは、背景差分方式で用いる背景画像に、移動体が含まれた状態となっている事等が要因であった。
【００２２】
図２は、従来の移動体検出における、移動体の誤検出の説明図である。
【００２３】
図２（Ａ）は、背景画像７１の一例を示す模式図である。なお、背景画像７１は、検出対象領域として、移動体としての車両が走行する道路の撮像画像である。背景画像７１には、例えば、歩道７０Ａ、歩道７０Ｅ、中央分離帯７０Ｂ、及び中央分離帯７０Ｃ等の静止物体が含まれる。しかし、背景画像７１に、車両７０Ｆや車両７０Ｄ等の移動体が含まれている場合がある。
【００２４】
そして、これらの車両７０Ｆ及び車両７０Ｄが検出対象領域を通過した状態のときに新たに撮影された撮像画像が、図２（Ｂ）に示す撮像画像であったとする。この場合、この撮像画像と、事前に撮影しておいた背景画像７１とを比較することで背景差分処理を行ったとする。すると、図２（Ｃ）に示すように、実際には検知対象領域には車両等の移動体が存在しない状態であったとしても、撮影された撮像画像に含まれない車両７０Ｄ及び車両７０Ｆが、継続して前景領域（前景領域Ｂ、前景領域Ａ）として抽出されることとなる。
【００２５】
このため、従来では、実際には存在しないはずの移動体を検出してしまうこととなり、移動体の誤検出が生じていた。
【００２６】
一方、本実施の形態の物体検出装置１２では、新たに取得した撮像画像を仮背景画像として仮設定する。そして、該仮背景画像における移動体が存在すると推定される領域を、再設定領域として特定する。そして、物体検出装置１２では、仮背景画像における再設定領域を、別途作成した移動体無背景領域画像に置き換えることで、背景画像を作成する。そして、この背景画像を、背景差分処理に用いて移動体の検出を行う。
【００２７】
このため、本実施の形態の物体検出装置１２では、高精度で移動体を検出することができる。
【００２８】
以下、詳細を説明する。
【００２９】
図１に戻り、物体検出装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。
【００３０】
物体検出装置１２は、機能的構成としては、取得部１４、検出部１６、再設定処理部１８、出力部２０、記憶部２２、及び通信部２４を備える。
【００３１】
検出部１６は、記憶部２２に記憶されている背景画像と、取得部１４で新たに取得した撮像画像と、を用いて背景差分処理を行い、移動体の検出を行う（詳細後述）。再設定処理部１８は、記憶部２２に記憶されている背景画像を再設定する（詳細後述）。
【００３２】
取得部１４は、検出対象領域の撮像画像を、撮像部１１から取得する。なお、取得部１４は、撮像部１１から継時的に連続する撮像画像を順次取得する。
【００３３】
出力部２０は、物体検出装置１２における移動体の検出結果等を表示部１５に表示する制御を行う。通信部２４は、ネットワーク（図示省略）等を介して外部装置とデータ送受信を行うための通信インターフェースである。
【００３４】
記憶部２２は、メモリやハードディスクドライブ装置（ＨＤＤ）等の記憶媒体であり、後述する各処理を実行するための各種プログラムや、各種データを記憶する。本実施の形態では、背景画像、仮背景画像、及び各種判定に用いる閾値（詳細後述）等を記憶する。
【００３５】
背景画像は、物体検出装置１２が移動体検出のための背景差分処理を実行するときに用いる背景画像である。背景差分処理においては、背景画像と、新たに取得された撮像画像と、を比較することにより抽出した差分を前景領域として抽出する。
【００３６】
なお、本実施の形態では、前景領域とは、背景差分処理において、背景画像または仮背景画像と、比較対象となる撮像画像と、を比較することによって抽出された差分の領域を示す。また、背景差分処理で用いる比較対象の撮像画像における、前景領域以外の領域は、背景領域と称する。
【００３７】
仮背景画像とは、再設定処理部１８が、背景画像の再設定時に仮に設定する背景画像である。仮背景画像は、再設定処理部１８が背景画像の再設定を行うときに新たに取得された撮像画像である。
【００３８】
再設定処理部１８は、記憶部２２に記憶されている背景画像の全領域または一部領域を更新することで、背景画像を再設定する。
【００３９】
具体的には、再設定処理部１８は、仮設定部４０、特定部４２、受付部４４、設定部４６、及び作成部４８を備える。
【００４０】
受付部４４は、操作部１３、検出部１６、または通信部２４から、背景画像再設定指示を受け付ける。背景画像再設定指示は、背景画像の再設定の指示を示す信号である。本実施の形態では、受付部４４は、背景画像再設定指示として、第１再設定指示、または第２再設定指示を受け付ける。
【００４１】
第１再設定指示は、記憶部２２に記憶されている背景画像を、新たな背景画像に再設定することを指示するための信号である。
【００４２】
第２再設定指示は、記憶部２２に記憶されている背景画像における、少なくとも一部の領域の再設定を指示するための信号である。言い換えると、第２再設定指示は、記憶部２２に記憶されている背景画像を用いて、該背景画像の一部の領域を新たな領域画像に置換えることで、背景画像の再設定を行うことを指示するための信号である。第２再設定指示は、背景画像における一部の領域を置き換える事を指示する指示情報と、背景画像における再設定領域を示す情報と、を含む。再設定領域を示す情報とは、背景画像における、該再設定領域の位置及び大きさを示す情報である。
【００４３】
本実施の形態では、受付部４４は、第１再設定指示を、物体検出装置１２の起動時に物体検出装置１２の図示を省略する制御部から受け付けるものとする。なお、受付部４４は、操作部１３から第１再設定指示を受け付けてもよいし、通信部２４を介して外部装置から第１再設定指示を受け付けてもよい。
【００４４】
また、本実施の形態では、受付部４４は、検出部１６から第２再設定指示を受け付けるものとして説明する。なお、受付部４４は、外部装置や操作部１３等から第２再設定指示を受け付ける構成であってもよい。
【００４５】
仮設定部４０は、受付部４４で第１再設定指示を受け付けたときに、撮像部１１から取得部１４で取得された撮像画像を、仮の背景画像である仮背景画像として仮設定し、記憶部２２に記憶する。具体的には、仮設定部４０は、仮背景画像を示す情報に対応づけて、該仮背景画像を記憶部２２に記憶することで、仮背景画像を仮設定する。
【００４６】
特定部４２は、仮設定部４０で仮設定された仮背景画像における、移動体が存在すると推定される領域を再設定領域として特定する。再設定領域とは、仮背景画像または背景画像における、再設定の対象領域である。
【００４７】
本実施の形態では、特定部４２は、仮設定部４０で仮設定された仮背景画像と、該仮背景画像が仮設定された後に、取得部１４で撮像部１１から取得された時系列的に連続する複数の撮像画像の各々と、の背景差分処理によって、予め定めた回数以上、前景領域として抽出される領域を、再設定領域として特定する。
【００４８】
言い換えれば、特定部４２は、仮背景画像における、仮背景画像を背景画像として用いた背景差分処理によって、予め定めた回数以上、前景領域として特定される領域を特定する。
【００４９】
具体的には、特定部４２は、背景差分処理部５０、演算処理部５２、及び第１特定部５４を含む。
【００５０】
背景差分処理部５０は、仮設定部４０で仮設定した仮背景画像と、取得部１４で取得した時系列的に連続する撮像画像と、を比較し、差分を示す領域である前景領域を抽出する。また、背景差分処理部５０は、背景領域についても抽出する。
【００５１】
具体的には、背景差分処理部５０は、仮背景画像と、比較対象の撮像画像と、の背景差分処理によって抽出した前景領域と背景領域とを示す２値化画像を作成する。前景領域と背景領域とを示す２値化画像とは、たとえば前景領域を白色、背景領域を黒色とした画像である。
【００５２】
なお、背景差分処理部５０は、仮背景画像や比較対象の撮像画像の各画素の輝度値を用いて背景差分処理を行ってもよいし、各画素のＲＧＢの色値（０〜２５５）を用いて背景差分処理を行ってもよい。
【００５３】
詳細には、背景差分処理部５０は、仮背景画像上における各画素位置の画素のＲＧＢの色値と、比較対象の撮像画像における対応する各画素位置の画素のＲＧＢ値の色値と、の差分を各画素位置の画素毎に算出する。そして、この差分が第２閾値以上である画素からなる領域を前景領域とし、この差分が第２閾値未満である画素からなる領域を背景領域として抽出する。
【００５４】
なお、記憶部２２は、各画素位置の画素毎に、第２閾値を記憶している。このため、この第２閾値は、各画素位置の画素間で同じ値であることに限られず、画素毎に異なる値が設定されていてもよい。
【００５５】
そして、背景差分処理部５０は、仮背景画像と、比較対象の各撮像画像と、を背景差分処理する毎に、抽出した前景領域と背景領域とを示す２値化画像を、比較対象として用いた撮像画像の取得時刻に対応づけて記憶部２２に順次記憶する。
【００５６】
演算処理部５２は、仮背景画像と同じ画素数で、各画素の画素値が予め定めた画素値の画素からなる第１計算用画像を記憶部２２から読み取る。この第１計算用画像は、予め記憶部２２に記憶されており、初期状態では、各画素の画素値は、同じある一定の値に調整されている。なお、第１計算用画像は、仮背景画像の画素数と同じ数のセルを持ち、仮背景画像と撮像画像の画素ごとの比較に応じてセルごとにカウントを行うカウント用バッファであってもよい。
【００５７】
そして、演算処理部５２は、背景差分処理部５０が、仮背景画像と、比較対象の複数の撮像画像の各々と、を用いた背景差分処理によって得られた、各撮像画像（の取得時刻）に対応する、前景領域と背景領域とを示す２値化画像を用いて、第１計算用画像の各画素値を調整する。
【００５８】
具体的には、演算処理部５２は、背景差分処理部５０で抽出された各撮像画像に対応する前景領域と背景領域とを示す２値化画像を読み取る。そして、演算処理部５２は、第１計算用画像における、読み取った２値化画像によって示された背景領域の画素の画素値から、予め定めた第１値を減算する。また、演算処理部５２は、該第１計算用画像における、読み取った２値化画像によって示された前景領域の画素の画素値に、該第１値を加算する。
【００５９】
これによって、演算処理部５２は、背景差分処理部５０によって、仮背景画像における、より多い回数前景領域として特定された領域ほど大きい画素値となるように、第１計算用画像の各画素の画素値を調整する。
【００６０】
第１特定部５４は、演算処理部５２によって画素値の調整された第１計算用画像における、画素値が予め定めた第１閾値以上である領域を、仮背景画像における再設定領域として特定する。すなわち、第１特定部５４は、調整された第１計算用画像における、画素値が予め定めた第１閾値以上である領域を特定し、仮設定部４０で仮設定した仮背景画像における、該特定した第１閾値以上である領域に対応する領域を、仮背景画像における、再設定を必要とする領域（再設定領域）として特定する。
【００６１】
詳細には、第１特定部５４は、第１計算用画像における画像値が第１閾値以上である領域の、該第１計算用画像における位置及び大きさを特定することで、該領域を特定する。なお、第１計算用画像は、上述したように、仮背景画像と同じ画素位置及び画素数である同じ解像度の画像である。このため、第１特定部５４が、第１計算用画像における画素値の第１閾値以上の領域を特定することで、特定部４２は、仮背景画像における、仮背景画像を背景画像として用いた背景差分処理によって、予め定めた回数以上、前景領域として特定される領域を特定する。
【００６２】
なお、この第１閾値は、予め定めて記憶部２２に記憶すればよい。また、この第１閾値は、第１計算用画像の画素値から、仮背景画像における再設定領域を抽出するための閾値となる値を予め定めればよい。また、第１計算用画像における、初期状態の各画素の画素値としての一定の値についても、予め記憶部２２に記憶されているものとする。
【００６３】
図３は、第１特定部５４が特定した再設定領域の一例を示す模式図である。例えば、第１特定部５４は、第１計算用画像の画素値が第１閾値以上の領域を特定することで、仮背景画像７０における、移動体７５Ｄの占める領域を、複数回前景領域として特定された領域、すなわち再設定領域ＰＡとして特定する。
【００６４】
図１に戻り、作成部４８は、仮設定部４０で仮設定された仮背景画像における、特定部４２で特定された再設定領域に対応する領域の画像であって、且つ、移動体が存在しない移動体無背景領域画像を、仮背景画像の仮設定後に取得された撮像画像に基づいて作成する。
【００６５】
詳細には、作成部４８は、フレーム間差分処理部５６及び第２特定部５８を備える。
【００６６】
フレーム間差分処理部５６は、仮設定部４０が仮背景画像として取得した撮像画像より後に取得部１４で取得された、継時的に連続する複数の撮像画像について、フレーム間差分を行う。そして、フレーム間差分処理部５６は、フレーム間差分処理によって、これらの連続する複数の撮像画像の各々における、特定部４２で特定された再設定領域に対応する領域間の差分を抽出する。
【００６７】
第２特定部５８は、連続する複数の撮像画像の各々における、特定部４２で特定された再設定領域に対応する領域間の差分が抽出される状態から差分が抽出されない状態となったときの、該差分の抽出に用いた新しい方の撮像画像の上記再設定領域に対応する領域を特定する。
【００６８】
差分が抽出される状態から差分が抽出されない状態、とは、フレーム間差分処理部５６がフレーム間差分処理によって連続する複数の撮像画像の各々における再設定領域に対応する領域間の差分を抽出したときに、該領域間に差分が有る状態から、差分無の状態となったことを示す。
【００６９】
また、該差分無の状態となったときの、差分の抽出に用いた新しい方の撮像画像の再設定領域に対応する領域、とは、フレーム間差分処理部５６がフレーム間差分において差分無であるとして処理した２枚の撮像画像の内、取得時刻（すなわち撮影時刻）の新しい撮像画像における、再設定領域に対応する領域を示す。
【００７０】
このようにして、第２特定部５８は、撮像画像における、再設定領域に対応する領域（以下、背景候補領域画像と称する場合がある）を特定する。
【００７１】
なお、特定部４２が、仮背景画像における、異なる複数の領域を再設定領域として特定した場合には、第２特定部５８は、特定部４２で特定された再設定領域毎に、該差分無と判断された撮像画像における、各再設定領域に対応する背景候補領域画像を特定する。
【００７２】
そして、作成部４８は、差分無として判断された撮像画像における、第２特定部５８で特定された背景候補領域画像を、移動体無背景領域画像として作成する。
【００７３】
なお、検出対象領域を、頻繁に移動体が通過する場合等には、仮背景画像における１の再設定領域において、フレーム間差分処理によって差分有りの状態から差分無の状態への状態遷移が、予め定めた所定期間内に複数回生じる場合がある。この場合、作成部４８は、該所定期間の間に、特定部４２によって、仮背景画像における同じ再設定領域に対応する領域について、再設定領域に対応する背景候補領域画像を複数個特定することとなる。この場合、作成部４８は、当該複数特定された各背景候補領域画像の内の１つを、移動体無背景領域画像として選択する。
【００７４】
具体的には、作成部４８は、複数の背景候補領域画像に対し、最新の画像から順番にテンプレートマッチング方式によりピクセル単位で各背景候補領域画像の比較を行う。そして、作成部４８は、ＲＧＢの差分平均値が一定以下の背景候補領域画像を同一画像としてカウントする。ここで、このカウント値の一番多い背景候補領域画像が、最も出現率の高い背景候補領域画像であり、且つ、移動体を含まない背景領域画像であると考えられる。このため、作成部４８は、カウント値が一番多い背景候補領域画像を選択する。
【００７５】
この作成部４８による、移動体無背景領域画像の作成を、具体的に説明する。
【００７６】
図４は、移動体背景領域画像の作成を示す模式図である。
【００７７】
なお、図３に示すように、特定部４２によって、仮背景画像７０における再設定領域として、再設定領域ＰＡが特定されたとする。この場合、フレーム間差分処理部５６は、図４（Ａ）及び図４（Ｂ）に示すように、取得部１４で取得された時系列的に連続する複数の撮像画像８０１〜８０ｎ（ｎは１以上の整数。総称する場合には撮像画像８０と称する）における、再設定領域ＰＡに対応する領域Ｐ間の差分を、フレーム間差分処理によって抽出する。
【００７８】
例えば、図４に示すように、フレーム間差分処理部５６は、取得部１４で取得された時系列的に連続する複数の撮像画像８０１〜８０ｎの各々の領域Ｐ間のフレーム間差分処理を行う。そして、図４（Ｂ）に示すように、撮像画像８０１〜８０４における領域Ｐには移動体７１１〜移動体７１Ｄ３が写っているので、撮像画像８０１〜８０４における領域Ｐ間では、移動体７１Ｄ１〜移動体７１Ｄ３による差分が抽出され、フレーム間差分有りであったとする。そして、撮像画像８０４〜８０５における領域Ｐ間では、差分が抽出されず、フレーム間差分無であったとする。この場合、第２特定部５８は、撮像画像８０５の領域Ｐを、背景候補領域画像（背景候補領域画像１）として選択する。
【００７９】
そして、図４（Ｂ）に示すように、撮像画像８０６〜８０８における領域Ｐ間では、移動体７２Ｄ１〜移動体７２Ｄ３による差分が抽出され、フレーム間差分有りであったとする。そして、撮像画像８０９〜８０１１における領域Ｐ間では、差分が抽出されず、フレーム間差分無であったとする。この場合、第２特定部５８は、撮像画像８０１０の領域Ｐを、背景候補領域画像（背景候補領域画像２）として更に選択する。
【００８０】
また、図４（Ｂ）に示すように、撮像画像８０１１〜８０１３における領域Ｐ間では、移動体７３Ｄ１〜移動体７３Ｄ２による差分が抽出され、フレーム間差分有りであったとする。そして、撮像画像８０１４〜８０１５における領域Ｐ間では、差分が抽出されず、フレーム間差分無であったとする。この場合、第２特定部５８は、撮像画像８０１５の領域Ｐを、背景候補領域画像（背景候補領域画像３）として選択する。
【００８１】
そして更に、作成部４８は、これらの複数の背景候補領域画像１〜３に対し、最新の画像から順番にテンプレートマッチング方式によりピクセル単位で各画像の比較を行い、ＲＧＢの差分平均値が一定以下の画像は同一画像としてカウントする。このカウント値が一番多い背景候補領域画像が最も出現率が高く、背景画像と考えられる。
【００８２】
例えば、図４（Ｂ）の例では、作成部４８は、背景候補領域画像３と、背景候補領域画像２及び背景候補領域画像１と、を比較し、背景候補領域画像３が背景候補領域画像２及び背景候補領域画像１と異なると判定した場合には、背景候補領域画像２を背景候補領域画像１と比較する。背景候補領域画像１、背景候補領域画像２、及び背景候補領域画像３が同一の画像である場合、背景候補領域画像３のカウント値は３になり、他にカウント値が３以上の背景候補領域画像がなければ、背景候補領域画像３がこの領域Ｐに対応する、移動体無背景領域画像として採用される。
【００８３】
なお、複数の背景候補領域画像でカウント値が同一の場合には、該領域について移動体無背景領域画像を特定せず、再度背景候補領域画像を次回特定するときに併せて用いればよい。
【００８４】
なお、フレーム間差分処理によって、所定期間内にフレーム間差分が全く抽出されなかった場合には、最新の撮像画像８０における再設定領域に対応する領域の画像を、移動体無背景領域画像として特定すればよい。
【００８５】
図１に戻り、設定部４６は、仮設定部４０で仮設定された仮背景画像における再設定領域を、作成部４８で作成された、該再設定領域に対応する移動体無背景領域画像に置換した置換画像を、新たな背景画像として再設定する。そして、設定部４６は、再設定した背景画像を、記憶部２２に記憶する。詳細には、設定部４６は、再設定した背景画像を、背景画像を示す情報に対応づけて記憶する。なお、記憶部２２に、背景画像を示す情報に対応づけて、既に背景画像が記憶されている場合には、既に記憶されている背景画像を、設定部４６で再設定した背景画像に置換える。
【００８６】
次に、検出部１６について説明する。
【００８７】
検出部１６は、記憶部２２に記憶されている背景画像と、取得部１４で順次取得される比較対象の撮像画像の各々と、の背景差分処理により、比較対象の撮像画像に含まれる移動体を検出する。
【００８８】
検出部１６は、背景差分処理部２６、移動体検出部２８、背景画像補正部３０、閾値補正部３２、演算処理部３４、第３特定部３６、及び出力部３８を含む。
【００８９】
背景差分処理部２６は、背景差分処理を行う。具体的には、背景差分処理部２６は、記憶部２２に記憶されている、背景画像と、取得部１４で取得する時系列的に連続する撮像画像の各々と、を比較し、差分を、前景領域として抽出する。
【００９０】
具体的には、背景差分処理部２６は、背景画像と、比較対象の撮像画像と、の背景差分処理によって、前景領域と背景領域とを示す２値化画像を作成する。
【００９１】
なお、背景差分処理部２６における背景差分処理時における２値化処理時には、仮背景画像や観測画像の各画素の輝度値を用いてもよいし、各画素のＲＧＢの色値（０〜２５５）を用いてもよい。そして、背景差分処理部２６では、本実施の形態では、各画素のＲＧＢの色値と、予め記憶部２２に記憶した第２閾値と、を用いて、２値化を行う。なお、この第２閾値は、再設定処理部１８の背景差分処理部５０が用いる第２閾値と同じである。
【００９２】
詳細には、背景差分処理部２６は、背景画像上における各画素位置の画素のＲＧＢの色値と、比較対象の撮像画像上における対応する各画素位置の画素のＲＧＢ値の色値と、の差分を各画素位置の画素毎に算出する。そして、この差分が第２閾値以上である画素からなる領域を前景領域とし、この差分が第２閾値未満である画素からなる領域を背景領域として抽出する。
【００９３】
そして、背景差分処理部２６は、背景画像と、比較対象の撮像画像と、を背景差分処理する毎に、抽出した前景領域と背景領域とを示す２値化画像を、該背景差分処理に用いた比較対象の撮像画像の取得時刻に対応づけて、記憶部２２における検出部１６で使用するものとして予め定めたメモリ領域に、順次記憶する。
【００９４】
移動体検出部２８は、背景差分処理部２６で抽出された前景領域と背景領域とを示す２値化画像について、ノイズ除去と整形のための公知の膨張・縮小処理を行う。これによって、移動体検出部２８は、背景差分処理部２６で抽出された前景領域と背景領域とを示す２値化画像の連結部分を一つの領域とし、前景領域の位置及びサイズを抽出する。そして、抽出した前景領域を、移動体領域として検出する。
【００９５】
背景画像補正部３０は、記憶部２２に格納されている背景画像における、前景領域（すなわち移動体領域）として検出された領域の画素値の補正を行う（詳細後述）。閾値補正部３２は、背景領域または前景領域として抽出するときの判断に用いる上記第２閾値の補正を行う（詳細後述）。
【００９６】
演算処理部３４は、背景画像と同じ画素数で、各画素の画素値が予め定めた画素値の画素からなる第２計算用画像を記憶部２２から読み取る。この第２計算用画像は、予め、記憶部２２における検出部１６で使用するものとして予め定めたメモリ領域に記憶されており、初期状態では、各画素の画素値は、同じある一定の値に調整されている。なお、第２計算用画像は、背景画像の画素数と同じ数のセルを持ち、背景画像と撮像画像の画素ごとの比較に応じてセルごとにカウントを行うカウント用バッファであってもよい。
【００９７】
そして、演算処理部３４は、背景差分処理部２６が、背景画像と、比較対象の複数の撮像画像の各々と、を用いた背景差分処理によって得られた、各撮像画像（の取得時刻）に対応する、前景領域と背景領域とを示す２値化画像を用いて、第２計算用画像の各画素値を調整する。
【００９８】
具体的には、演算処理部３４は、第２計算用画像における、背景差分処理部２６で抽出された各撮像画像の背景領域に対応する領域の画素の画素値から、予め定めた第１値を減算する。また、演算処理部３４は、該第２計算用画像における、背景差分処理部２６で抽出された各撮像画像の前景領域に対応する領域の画素の画素値に、該第１値を加算する。これによって、演算処理部３４は、背景画像における、背景差分処理部２６によって前景領域としてより多い回数特定された領域ほど大きい画素値となるように、第２計算用画像の画素値を調整する。
【００９９】
第３特定部３６は、演算処理部３４によって画素値の調整された第２計算用画像における、画素値が予め定めた第１閾値以上である領域を、背景画像における再設定領域として特定する。すなわち、第３特定部３６は、調整された第２計算用画像における、画素値が第１閾値以上である領域を特定する。そして、第３特定部３６は、背景画像における、該特定した第１閾値以上である領域に対応する領域を、記憶部２２に現在記憶されている背景画像における、再設定を必要とする領域として特定する。
【０１００】
詳細には、第３特定部３６は、第２計算用画像における画像値が第１閾値以上である領域の、該第２計算用画像における位置及び大きさを特定することで、該領域を特定する。
【０１０１】
なお、この第１閾値は、第１特定部５４が用いる第１閾値と同じである。また、第２計算用画像における、初期状態の各画素の画素値としての一定の値についても、第１特定部５４と同じ値を用いる。
【０１０２】
出力部３８は、移動体検出部２８で抽出された、背景画像上における、前景領域の位置及びサイズを示す情報を、移動体を示す情報（移動体の位置及び範囲を示す情報）として、出力部２０及び通信部２４の少なくとも一方へ出力する。移動体を示す情報を受け付けた出力部２０は、表示部１５に移動体を示す情報を表示する制御を行う。移動体を示す情報を受け付けた通信部２４は、外部装置等に該移動体を示す情報を出力する。
【０１０３】
このため、受け付けた移動体を示す情報に基づいて、監視対象領域としての撮像対象領域に、移動体が侵入したか否かを検知する検知装置を備えた構成の外部装置としたとする。この場合、外部装置では、物体検出装置１２における撮像対象領域に移動体が侵入したことを検出することができる。
【０１０４】
また、外部装置は、この移動体が侵入したことを示す検知結果を、ネットワーク等を介して監視センタに送信する構成としてもよい。
【０１０５】
次に、本実施の形態の物体検出システム１０における、物体検出装置１２で実行する移動体検出処理について説明する。
【０１０６】
図５は、再設定処理部１８が行う背景画像の再設定処理の手順を示すフローチャートである。
【０１０７】
まず、受付部４４が、再設定指示として、第１再設定指示を受け付けたか否かを判断する（ステップＳ１００）。
【０１０８】
ステップＳ１００で肯定判断すると（ステップＳ１００：Ｙｅｓ）、ステップＳ１０２へ進む。
【０１０９】
ステップＳ１０２では、仮設定部４０が仮背景画像を仮設定する（ステップＳ１０２）。次に、再設定処理部１８が、図示を省略する内部タイマのカウンタをリセットすると共に、タイマのカウントをスタートする（ステップＳ１０４）。
【０１１０】
次に、特定部４２が、取得部１４で取得された撮像画像を取得し（ステップＳ１０６）、次にステップＳ１０８において、背景差分処理部５０が、ステップＳ１０２で仮設定された仮背景画像とステップＳ１０６で取得した撮像画像を用いて背景差分処理を実行する（ステップＳ１０８）。ステップＳ１０８の処理によって、特定部４２は、仮背景画像とステップＳ１０６で取得した撮像画像の差分があると判断された領域を前景領域、差分がないと判断された領域を背景領域として抽出する。
【０１１１】
次に、背景差分処理部５０は、ステップＳ１０８の背景差分処理によって抽出した前景領域と背景領域とを示す２値化画像とを作成する（ステップＳ１１０）。そして、背景差分処理部５０は、仮背景画像と、比較対象の撮像画像と、を背景差分処理する毎に、抽出した前景領域と背景領域とを示す２値化画像を比較対象として用いた撮像画像の取得時刻に対応づけて記憶部２２に順次記憶する。
【０１１２】
次に、演算処理部５２が、第１計算用画像を記憶部２２から読み取り、上記ステップＳ１１０で２値化した、前景領域と背景領域とを示す２値化画像を用いて、第１計算用画像の各画素値を調整する、演算処理を実行する（ステップＳ１１２）。上述のように、演算処理部５２は、ステップＳ１１２の処理において、第１計算用画像における、該背景領域に対応する第１領域の画素の画素値から、予め定めた第１値を減算する。また、演算処理部５２は、該第１計算用画像における、該前景領域に対応する第２領域の画素の画素値に、該第１値を加算する。
【０１１３】
次に、特定部４２は、上記ステップＳ１０４でタイマをスタートしてから予め定めた所定時間を経過したか否かを判断する（ステップＳ１１４）。なお、該所定時間は、予め設定され、記憶部２２に予め記憶しておけばよい。ステップＳ１１４で否定判断すると（ステップＳ１１４：Ｎｏ）、上記ステップＳ１０６へ戻る。ステップＳ１１４で肯定判断すると（ステップＳ１１４：Ｙｅｓ）、ステップＳ１１６へ進む。
【０１１４】
上記ステップＳ１０４〜ステップＳ１１４の処理によって、第１計算用画像の各画素の画素値は、背景差分処理部５０によって前景領域として特定された回数の多い領域ほど大きい画素値となるように調整される。
【０１１５】
ステップＳ１１６では、第１特定部５４が、上記ステップＳ１０４〜ステップＳ１１４の処理によって画素値の調整された第１計算用画像に、画素値が予め定めた第１閾値以上である領域があるか否かを判断する（ステップＳ１１６）。ステップＳ１１６で否定判断すると（ステップＳ１１６：Ｎｏ）、本ルーチンを終了する。一方、ステップＳ１１６で肯定判断すると（ステップＳ１１６：Ｙｅｓ）、ステップＳ１１８へ進む。
【０１１６】
ステップＳ１１８では、第１特定部５４が、第１計算用画像における、画素値が予め定めた第１閾値以上である領域の位置及びサイズを抽出する（ステップＳ１１８）。詳細には、第１特定部５４は、第１計算用画像における、画素値が予め定めた第１閾値以上である領域を示す２値化画像を作成し、該２値化画像に対して、ノイズ除去と整形のため膨張・縮小処理を行い、画像の連結部分をひとつの矩形領域として、各領域の位置、サイズ情報を抽出する。すなわち、第１特定部５４はラベリング処理を行う。これによって、第１特定部５４は、第１計算用画像における、画素値が予め定めた第１閾値以上である領域の位置及びサイズを抽出する。
【０１１７】
そして、第１特定部５４は、上記ステップＳ１０２の処理によって仮設定された仮背景画像における、抽出された該位置及びサイズに対応する領域を、再設定領域として特定する（ステップＳ１２０）。
【０１１８】
ステップＳ１０２〜ステップＳ１２０の処理によって、特定部４２が、仮背景画像における再設定領域を特定する。
【０１１９】
次に、再設定処理部１８が、ステップＳ１２０で特定された１または複数の再設定領域の内の、背景領域画像が未特定の再設定領域の内の１つを、背景領域画像特定対象として設定する（ステップＳ１２２）。そして、再設定処理部１８が、図示を省略するタイマをリセットすると共にタイマのカウントを開始する（ステップＳ１２４）。次に、フレーム間差分処理部５６が、仮設定部４０が上記ステップＳ１０２で仮背景画像として取得した撮像画像より後に取得部１４で取得された、継時的に連続する２枚の撮像画像を取得する（ステップＳ１２６）。
【０１２０】
次に、フレーム間差分処理部５６は、取得したこれらの撮像画像について、フレーム間差分処理を行う（ステップＳ１２８）。そして、フレーム間差分処理部５６は、フレーム間差分処理によって、これらの連続する撮像画像における、特定部４２で特定された再設定領域に対応する領域間の差分を抽出する。
【０１２１】
次に、第２特定部５８は、上記ステップＳ１２８のフレーム間差分処理によって差分が抽出されたか否かを判断する（ステップＳ１３０）。ステップＳ１３０で肯定されると（ステップＳ１３０：Ｙｅｓ）、ステップＳ１３２へ進む。ステップＳ１３２では、第２特定部５８が、ステップＳ１２８でフレーム間差分処理に用いた２枚の撮像画像の内の新しい方（取得時刻が最新）の撮像画像の取得時刻、及び当該再設定領域を示す情報に対応付けて、差分有を示す情報を記憶部２２に記憶する（ステップＳ１３２）。そして、ステップＳ１４０へ進む。
【０１２２】
一方、上記ステップＳ１３０で否定判断されると（ステップＳ１３０：Ｎｏ）、ステップＳ１３４へ進む。ステップＳ１３４では、差分有の状態から連続して差分無の状態となっているか否かを判断する（ステップＳ１３４）。ステップＳ１３４の判断は、例えば、記憶部２２に記憶されている当該再設定領域を示す情報及び撮像画像の取得時刻に対応する差分有または差分無を示す情報が、最新の撮像画像の取得時刻に対応する情報が差分無であり、該差分無の取得時刻の直前の取得時刻に対応する情報も差分無であり、且つ、該差分無の取得時刻の直前の取得時刻に対応する情報が差分有であるか否かを判別することで、判断すればよい。
【０１２３】
ステップＳ１３４で否定判断すると（ステップＳ１３４：Ｎｏ）、ステップＳ１３６へ進む。ステップＳ１３６では、第２特定部５８が、ステップＳ１２８でフレーム間差分処理に用いた２枚の撮像画像の内の新しい方（取得時刻が最新）の撮像画像の取得時刻、及び当該再設定領域を示す情報に対応づけて、差分無を示す情報を記憶部２２に記憶する（ステップＳ１３６）。そして、ステップＳ１４０へ進む。
【０１２４】
一方、ステップＳ１３４で肯定判断すると（ステップＳ１３４：Ｙｅｓ）、ステップＳ１３８へ進む。ステップＳ１３８では、上記ステップＳ１３４で差分無として判断された撮像画像における、再設定領域に対応する領域を、背景候補領域画像として特定する（ステップＳ１３８）。
【０１２５】
次に、ステップＳ１４０において、作成部４８は、上記ステップＳ１２４でタイマをスタートしてから予め定めた所定時間を経過したか否かを判断する（ステップＳ１４０）。ステップＳ１４０で否定判断すると（ステップＳ１４０：Ｎｏ）、上記ステップＳ１２６へ戻る。一方、ステップＳ１４０で肯定判断すると（ステップＳ１４０：Ｙｅｓ）、ステップＳ１４２へ進む。
【０１２６】
ステップＳ１４２では、第２特定部５８が、仮背景画像における、上記ステップＳ１２２の処理で背景領域画像特定対象として設定された再設定領域に対応する、背景候補領域画像を、該再設定領域に対応する移動体無背景領域画像として特定する（ステップＳ１４２）。
【０１２７】
次に、設定部４６が、ステップＳ１０２で設定された仮背景画像における、当該再設定領域を、作成部４８で作成された、該再設定領域に対応する移動体無背景領域画像に置き換える（ステップＳ１４４）。
【０１２８】
次に、作成部４８が、背景画像が確定したか否かを判断する（ステップＳ１４６）。ステップＳ１４６の判断は、上記ステップＳ１２０で特定部４２によって特定された各再設定領域の各々について、移動体無背景領域画像への置き換えが行われたか否かを判別することで行う。
【０１２９】
ステップＳ１４６で否定判断すると（ステップＳ１４６：Ｎｏ）、上記ステップＳ１２４へ戻る。一方、ステップＳ１４６で肯定判断すると（ステップＳ１４６：Ｙｅｓ）、ステップＳ１４８へ進む。ステップＳ１４８では、設定部４６が、仮設定部４０で仮設定された仮背景画像における各再設定領域を、作成部４８で作成された、各再設定領域に対応する移動体無背景領域画像に置換した置換画像を、新たな背景画像として再設定する（ステップＳ１４８）。そして、設定部４６は、再設定した背景画像を、記憶部２２に記憶する。詳細には、設定部４６は、再設定した背景画像を、背景画像を示す情報に対応づけて記憶する。そして、本ルーチンを終了する。
【０１３０】
一方、上記ステップＳ１００で否定判断された場合には、ステップＳ１５０へ進む。ステップＳ１５０では、受付部４４が、第２再設定指示を受け付けたか否かを判断する（ステップＳ１５０）。受付部４４は、受信した再設定指示に、背景画像における一部の領域を置き換える事を指示する指示情報が含まれるか否かを判別することで、ステップＳ１５０の判断を行えばよい。
【０１３１】
ステップＳ１５０で肯定判断すると（ステップＳ１５０：Ｙｅｓ）、再設定処理部１８が、後述する第２再設定処理（ステップＳ１５２）を実行した後に、本ルーチンを終了する。
【０１３２】
一方、ステップＳ１５０で否定判断すると（ステップＳ１５０：Ｎｏ）、本ルーチンを終了する。
【０１３３】
図６は、図５のステップＳ１５２の第２再設定処理の手順を示すフローチャートである。
【０１３４】
まず、作成部４８が、ステップＳ１５０で受信した第２再設定指示に含まれる再設定領域を読み取る（ステップＳ２００）。ステップＳ２００において、作成部４８は、第２再設定指示に含まれる、背景画像における置換対象の領域である再設定領域を示す情報を読み取ることで、再設定領域を読み取る。
【０１３５】
次に、作成部４８は、記憶部２２に記憶されている背景画像を読み取る（ステップＳ２０２）。ステップＳ２０２では、作成部４８は、背景画像を示す情報に対応づけて記憶部２２に記憶されている背景画像を読み取ることで、背景画像を読み取る。
【０１３６】
次に、再設定処理部１８が、図示を省略する内部タイマのカウンタをリセットすると共に、タイマのカウントをスタートする（ステップＳ２０４）。次に、フレーム間差分処理部５６が、上記ステップＳ２０４の処理の後に取得部１４で取得された、継時的に連続する２枚の撮像画像を取得する（ステップＳ２０６）。
【０１３７】
次に、フレーム間差分処理部５６は、取得したこれらの撮像画像について、フレーム間差分処理を行う（ステップＳ２０８）。そして、フレーム間差分処理部５６は、フレーム間差分処理によって、これらの連続する撮像画像における、上記ステップＳ２００で読み取った再設定領域に対応する領域間の差分を抽出する。
【０１３８】
次に、第２特定部５８は、上記ステップＳ２０８のフレーム間差分処理によって差分が抽出されたか否かを判断する（ステップＳ２１０）。ステップＳ２１０で肯定されると（ステップＳ２１０：Ｙｅｓ）、ステップＳ２１２へ進む。ステップＳ２１２では、第２特定部５８が、ステップＳ２０８でフレーム間差分処理に用いた２枚の撮像画像の内の新しい方（取得時刻が最新の）撮像画像の取得時刻、及び当該再設定領域を示す情報に対応付けて、差分有を示す情報を記憶部２２に記憶する（ステップＳ２１２）。そして、ステップＳ２２０へ進む。なお、第２特定部５８は、記憶部２２における、第２再設定処理用のメモリ領域に、該取得時刻及び当該再設定領域を示す情報に対応づけて差分有りを示す情報を記憶すればよい。
【０１３９】
一方、上記ステップＳ２１０で否定判断されると（ステップＳ２１０：Ｎｏ）、ステップＳ２１４へ進む。ステップＳ２１４では、差分有の状態から連続して差分無の状態となっているか否かを判断する（ステップＳ２１４）。ステップＳ２１４の判断は、例えば、記憶部２２の第２再設定処理用のメモリ領域に記憶されている当該再設定領域を示す情報及び撮像画像の取得時刻に対応する差分有または差分無を示す情報が、最新の撮像画像の取得時刻に対応する情報が差分無であり、該差分無の取得時刻の直前の取得時刻に対応する情報も差分無であり、且つ、該差分無の取得時刻の直前の取得時刻に対応する情報が差分有であるか否かを判別することで、判断すればよい。
【０１４０】
ステップＳ２１４で否定判断すると（ステップＳ２１４：Ｎｏ）、ステップＳ２１６へ進む。ステップＳ２１６では、第２特定部５８が、ステップＳ２０８でフレーム間差分処理に用いた２枚の撮像画像の内の新しい方の（取得時刻が最新の）撮像画像の取得時刻、及び当該再設定領域を示す情報に対応づけて、差分無を示す情報を記憶部２２の第２再設定処理用のメモリ領域に記憶する（ステップＳ２１６）。そして、ステップＳ２２０へ進む。
【０１４１】
一方、ステップＳ２１４で肯定判断すると（ステップＳ２１４：Ｙｅｓ）、ステップＳ２１８へ進む。ステップＳ２１８では、上記ステップＳ２１４で差分無として判断された撮像画像における、再設定領域に対応する領域を、背景候補領域画像として特定する（ステップＳ２１８）。
【０１４２】
次に、ステップＳ２２０において、作成部４８は、上記ステップＳ２０４でタイマをスタートしてから予め定めた所定時間を経過したか否かを判断する（ステップＳ２２０）。ステップＳ２２０で否定判断すると（ステップＳ２２０：Ｎｏ）、上記ステップＳ２０６へ戻る。一方、ステップＳ２２０で肯定判断すると（ステップＳ２２０：Ｙｅｓ）、ステップＳ２２２へ進む。
【０１４３】
ステップＳ２２２では、第２特定部５８が、背景画像における、上記ステップＳ１２２の処理で背景領域画像特定対象領域として設定された再設定領域に対応する、背景候補領域画像を、該再設定領域に対応する移動体無背景領域画像として特定する（ステップＳ２２２）。
【０１４４】
次に、設定部４６が、ステップＳ２０２で読み取った背景画像における、当該再設定領域を、作成部４８で作成された、該再設定領域に対応する移動体無背景領域画像に置き換える（ステップＳ２２４）。
【０１４５】
次に、作成部４８が、背景画像が確定したか否かを判断する（ステップＳ２２６）。ステップＳ２２６の判断は、上記ステップＳ２００で読み取った再設定領域の各々について、移動体無背景領域への置き換えが行われたか否かを判別することで行う。
【０１４６】
ステップＳ２２６で否定判断すると（ステップＳ２２６：Ｎｏ）、上記ステップＳ２０４へ戻る。一方、ステップＳ２２６で肯定判断すると（ステップＳ２２６：Ｙｅｓ）、ステップＳ２２８へ進む。ステップＳ２２８では、設定部４６が、記憶部２２に記憶されている背景画像（上記ステップＳ２０２で読み取った背景画像）における、上記ステップＳ２００で読み取った再設定領域を、作成部４８で作成された、各再設定領域に対応する移動体無背景領域画像に置換した置換画像を、新たな背景画像として記憶部２２に上書き保存する（ステップＳ２２８）。そして、本ルーチンを終了する。
【０１４７】
次に、検出部１６が実行する検出処理を説明する。
【０１４８】
図７は、検出部１６が実行する検出処理の手順を示すフローチャートである。検出部１６では、例えば、物体検出装置１２の図示を省略する電源スイッチが操作されて物体検出装置１２の装置各部に電力が供給されたときに、下記の検出処理を繰り返し実行する。
【０１４９】
まず、検出部１６が、図示を省略する内部タイマのカウンタをリセットすると共に、タイマのカウントをスタートする（ステップＳ３００）。
【０１５０】
次に、背景差分処理部２６が、取得部１４で取得された撮像画像を取得し（ステップＳ３０２）、記憶部２２に記憶されている背景画像と、取得部１４で取得された撮像画像と、を用いて背景差分処理を実行する（ステップＳ３０４）。ステップＳ３０４の処理によって、背景差分処理部２６は、背景画像とステップＳ３０２で取得した撮像画像との差分を前景領域として抽出すると共に、背景領域を抽出する。
【０１５１】
詳細には、背景差分処理部２６は、背景画像の各画素の画素値と、取得部１４で取得された撮像画像の各画素の画素値（例えばＲＧＢの色値）と、を同じ画素位置の画素毎に比較し、画素値の差分の絶対値が第２閾値以上の画素を、前景領域を構成する画素とし、画素値の差分の絶対値が第２閾値未満の画素を、背景領域を構成する画素とする。そして、比較結果を、２値化画素として内部メモリに保持する。また、背景差分処理部２６は、各画素位置の画素毎の、画素値の差分値を、ＲＧＢの色毎の差分ごとに各画素位置を示す情報に対応づけて内部メモリに記憶する。
【０１５２】
次に、移動体検出部２８が、ラベリング処理を実行する（ステップＳ３０６）。ステップＳ３０６では、上記ステップＳ３０４の背景差分処理において内部メモリに記憶した、背景差分処理結果である２値化画像に対して、ノイズ除去と整形のため膨張・縮小処理を行う。そして、画像の連結部分をひとつの矩形領域として、撮像画像における、前景領域の位置及びサイズを抽出する（ステップＳ３０８）。
【０１５３】
次に、移動体検出部２８は、抽出した位置及びサイズによって特定される領域を、撮像画像における移動体領域として検出する（ステップＳ３１０）。
【０１５４】
出力部３８は、移動体検出部２８で検出された移動体領域を、通信部２４を介して外部装置へ出力する（ステップＳ３１２）。外部装置では、例えば、移動体領域を示す情報を元に、検出対象領域への侵入検知等の検出を実行する。
【０１５５】
次に、背景画像補正部３０が、背景画像の補正を行う(ステップＳ３１４)。ステップＳ３１４では、背景画像補正部３０が、背景画像における、上記ステップＳ３０４の背景差分処理によって背景領域として抽出された領域を構成する各画素に対して、下記の補正処理を行う。
【０１５６】
具体的には、背景画像補正部３０は、背景画像における、ステップＳ３０４で背景領域として特定された領域を構成する各画素の画素値を、該背景画像における該領域の画素値と上記ステップＳ３０２で取得した撮像画像における該領域の画素値とを一定の割合で合成した値に補正する。
【０１５７】
詳細には、背景画像におけるステップＳ３０４で背景領域として特定された領域を構成する各画素の画素値を「Ａ」とし、ステップＳ３０２で取得した撮像画像における該領域を構成する各画素の画素値を「Ｂ」とする。この場合、背景画像補正部３０は、背景画像における、ステップＳ３０４で背景領域として特定された領域を構成する各画素の画素値を、下記式（１）によって示される値に補正する。
【０１５８】
Ａ×α％＋Ｂ×（１００−α）％    ・・・式（１）
【０１５９】
なお、αは０より大きく且つ１００以下の数値であり、予め任意の値を定めればよい。
【０１６０】
ステップＳ３１４の処理によって、ノイズ等の影響を軽減しながら背景画像を更新し、日照変化に対応させることができる。
【０１６１】
次に、閾値補正部３２が、第２閾値の補正を行う（ステップＳ３１６）。詳細には、閾値補正部３２が、背景差分処理部２６及び背景差分処理部５０における背景差分処理において用いる上記第２閾値について補正を行う。具体的には、閾値補正部３２は、上記ステップＳ３０４の背景差分処理によって背景領域として抽出された領域を構成する各画素の画素位置に対応する上記第２閾値の値を、該第２閾値の値と、上記ステップＳ３０４の背景差分処理によって算出した各画素値の差分の絶対値と、を、一定の割合で合成し、新しい閾値とする。この閾値補正により、各画素位置の画素の第２閾値は、ＲＧＢの各色について異なる値を持つ。
【０１６２】
次に、演算処理部３４が、第２計算用画像を記憶部２２から読み取り、上記ステップＳ３０４で２値化した、前景領域と背景領域とを示す２値化画像を用いて、第２計算用画像の各画素値を調整する、演算処理を実行する（ステップＳ３１８）。
【０１６３】
上述のように、演算処理部３４は、第２計算用画像における、該背景領域に対応する第１領域の画素の画素値から、予め定めた第１値を減算する。また、演算処理部３４は、該第２計算用画像における、該前景領域に対応する第２領域の画素の画素値に、該第１値を加算する。
【０１６４】
次に、第３特定部３６は、上記ステップＳ３００でタイマをスタートしてから予め定めた所定時間を経過したか否かを判断する（ステップＳ３２０）。なお、該所定時間は、予め設定され、記憶部２２に予め記憶しておけばよい。ステップＳ３２０で否定判断すると（ステップＳ３２０：Ｎｏ）、上記ステップＳ３０２へ戻る。ステップＳ３２０で肯定判断すると（ステップＳ３２０：Ｙｅｓ）、ステップＳ３２２へ進む。
【０１６５】
上記ステップＳ３００〜ステップＳ３２０の処理によって、第２計算用画像の各画素の画素値は、背景差分処理部２６によって前景領域として特定された回数の多い領域ほど大きい画素値となるように調整される。
【０１６６】
ステップＳ３２２では、第３特定部３６が、上記ステップＳ３００〜ステップＳ３２０の処理によって画素値の調整された第２計算用画像に、画素値が予め定めた第１閾値以上である領域があるか否かを判断する（ステップＳ３２２）。ステップＳ３２２で否定判断すると（ステップＳ３２２：Ｎｏ）、本ルーチンを終了する。一方、ステップＳ３２２で肯定判断すると（ステップＳ３２２：Ｙｅｓ）、ステップＳ３２４へ進む。
【０１６７】
ステップＳ３２４では、第３特定部３６が、第２計算用画像における、画素値が予め定めた第１閾値以上である領域の位置及びサイズを抽出する（ステップＳ３２４）。そして、第３特定部３６は、記憶部２２に記憶されている背景画像における、抽出された該位置及びサイズに対応する領域を、再設定領域として特定する（ステップＳ３２６）。
【０１６８】
次に、出力部３８が、ステップＳ３２６で特定された再設定領域を示す情報と、背景画像における一部の領域を置き換える事を指示する指示情報と、を含む第２再設定指示を再設定処理部１８へ送信する（ステップＳ３２８）。これによって、第２再設定指示を受け付けた再設定処理部１８は、上記図６に示す第２再設定処理を行う。
【０１６９】
このため、ステップＳ３２２〜ステップＳ３２８の処理によって、記憶部２２に記憶されている背景画像に、路上駐車の車等の移動体が含まれており、その後に取得された撮像画像には該車が含まれない状態となった場合に、背景画像に含まれる該移動体の領域を、移動体無背景領域画像に置換えることができる。
【０１７０】
次に、出力部３８が、ステップＳ３２６で設定された再設定領域を示す情報を、通信部２４を介して外部装置へ出力する（ステップＳ３３０）。このため、外部装置では、背景画像における再設定領域となった領域を確認することができる。なお、該再設定領域を示す情報を、表示部１５に表示してもよい。
【０１７１】
次に閾値補正部３２が、上記ステップＳ３２６で特定された再設定領域を構成する各画素の画素位置に対応する第２閾値を初期値（デフォルト値）にリセットする（ステップＳ３３２）。そして、本ルーチンを終了する。
【０１７２】
以上説明したように、本実施の形態の物体検出装置１２では、新たに取得した撮像画像を仮背景画像として仮設定する。そして、該仮背景画像において、背景差分処理によって複数回前景領域として抽出される領域を、再設定領域として特定する。そして、物体検出装置１２では、仮背景画像における再設定領域を、別途作成した移動体無背景領域画像に置換えることで、背景画像を再設定する。そして、この背景画像を、背景差分処理に用いて移動体の検出を行う。
【０１７３】
このため、本実施の形態の物体検出装置１２では、高精度に移動体を検出することができる。
【０１７４】
また、本実施の形態の物体検出装置１２では、移動体無背景領域画像には、複数の撮像画像における再設定領域に対応する領域についてフレーム間差分処理を行い、差分有りの状態から連続して差分無の状態となったときの該領域の画像を用いる。このため、背景画像または仮背景画像における、移動体が含まれている可能性の高い領域である再設定領域を、移動体が含まれている可能性の低い領域である移動体無背景領域画像に効率良く置換えることができる。
【０１７５】
また、本実施の形態の物体検出装置１２では、移動体の検出に用いる背景画像において、移動体の検出時における背景差分処理によって複数回前景領域として抽出される領域を、再設定領域として特定し、特定した再設定領域を、移動体無背景領域画像に置換えることで、背景画像を再設定する。
【０１７６】
このため、物体検出装置１２では、一度背景画像として設定した画像についても、背景差分処理によって複数回前景領域として抽出される領域が存在する場合には、該領域を再設定領域として、移動体無背景領域画像に置換えることができる。
【０１７７】
このため、物体検出装置１２では、さらに高精度の移動体を検出することができる。
【０１７８】
なお、本実施の形態では、物体検出装置１２は、撮像部１１から撮像画像を取得する場合を説明した。しかし、物体検出装置１２は、通信部２４を介して外部装置から撮像画像を取得してもよい。例えば、通信部２４及びネットワーク（図示省略）を介して、該ネットワークに接続された各種装置から撮像画像を取得してもよい。
【０１７９】
また、本実施の形態では、物体検出装置１２と撮像部１１とが別体として設けられている場合を説明した。しかし、物体検出装置１２と撮像部１１とを一体的に構成してもよい。この場合には、物体検出装置１２及び撮像部１１を一体的に構成した装置を、例えば、監視カメラ等に適用することができる。
【０１８０】
また、本実施の形態の物体検出システム１０は、物体検出装置１２と、撮像部１１と、表示部１５と、上述した外部装置と、を一体的に構成した、監視装置に適用することもできる。この場合には、検出部１６の検出結果に基づいて、検出対象領域へ移動体の侵入を検出するアラーム検出部を更に備えた構成としてもよい。そして、アラーム検出部では、検出部１６で検出された移動体の種類を公知の画像処理等によって解析し、解析結果に応じて予め定めた緊急信号を表示部１５へ表示するようにしてもよい。また、監視装置に適用する場合には、取得部１４で取得した撮像画像を圧縮するエンコーダを更に備えた構成とし、圧縮された撮像画像を、通信部２４を介して外部装置へ送信してもよい。
【０１８１】
また、本実施の形態の物体検出装置１２は、パーソナルコンピュータや、各種画像データ等を記録する記録装置等に適用することができる。
【０１８２】
なお、本実施の形態の物体検出装置１２は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置（表示部６２）と、キーボードやマウスなどの入力装置（操作部７４）を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【０１８３】
本実施形態の物体検出装置１２で実行される物体検出処理を実行するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１８４】
また、本実施形態の物体検出装置１２で実行される物体検出処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の記録装置１２及び再生装置１４で実行される記録処理、及び再生処理の各々を実行するためのプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１８５】
また、本実施形態の物体検出装置１２で実行される物体検出処理を実行するためのプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１８６】
なお、上記には、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１８７】
１０  物体検出システム
１２  物体検出装置
１４  取得部
１６  検出部
１８  再設定処理部
２０  出力部
２２  記憶部
２４  通信部
２６  背景差分処理部
２８  移動体検出部
３０  背景画像補正部
３２  閾値補正部
３４  演算処理部
３６  第３特定部
３８  出力部
４０  仮設定部
４２  特定部
４４  受付部
４６  設定部
４８  作成部
５０  背景差分処理部
５２  演算処理部
５４  第１特定部
５６  フレーム間差分処理部
５８  第２特定部
【図１】
2013257785.tif 000003
【図２】
2013257785.tif 000004
【図３】
2013257785.tif 000005
【図４】
2013257785.tif 000006
【図５】
2013257785.tif 000007
【図６】
2013257785.tif 000008
【図７】
2013257785.tif 000009