(57)【要約】  オプティカルフロー算出部（２）により算出されたオプティカルフローを用いて、時系列画像Ｐｎ（ｎ＝１，２，・・・，８）をそれぞれ射影変換することで、基準画像Ｐｒｅｆに対する時系列画像Ｐｎの位置合わせを行う射影変換部（３）を設け、背景画像生成部（４）が、射影変換部（３）による射影変換後の時系列画像Ｐ１〜Ｐ８と、基準画像Ｐｒｅｆである時系列画像Ｐ９との合成画像を背景画像Ｐｂｋとして生成する。これにより、高精度な背景画像Ｐｂｋを生成することができる。
2017104042.tif 000002
【特許請求の範囲】
【請求項１】
移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、前記基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出されたオプティカルフローを用いて、前記各時系列画像をそれぞれ射影変換することで、前記基準画像に対する前記各時系列画像の位置合わせを行う射影変換部と、
前記射影変換部により射影変換された各時系列画像及び前記基準画像の合成画像を背景画像として生成する背景画像生成部と
を備えた背景画像生成装置。
【請求項２】
前記背景画像生成部は、前記射影変換部により射影変換された各時系列画像及び前記基準画像における同一座標の画素単位に輝度値の統計量を算出し、前記背景画像の各画素の輝度値として、各画素の前記統計量を設定することを特徴とする請求項１記載の背景画像生成装置。
【請求項３】
前記カメラにより撮影された複数の時系列画像を構成している画素の輝度値から、前記カメラの撮影領域内で、影が現れている影部の領域を検出して、前記影部を構成している画素の輝度値を高める光学補正部を備え、
前記光学補正部により輝度値が高められた複数の時系列画像が前記オプティカルフロー算出部に出力されることを特徴とする請求項１記載の背景画像生成装置。
【請求項４】
移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、前記基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出されたオプティカルフローを用いて、前記各時系列画像をそれぞれ射影変換することで、前記基準画像に対する前記各時系列画像の位置合わせを行う射影変換部と、
前記射影変換部により射影変換された各時系列画像及び前記基準画像の合成画像を背景画像として生成する背景画像生成部と、
前記背景画像生成部により生成された背景画像と、前記射影変換部により射影変換された各時系列画像との差分を示す差分画像をそれぞれ生成する差分画像生成部と、
前記差分画像生成部により生成された各差分画像をそれぞれ逆射影変換することで、各逆射影画像を生成する逆射影変換部と、
前記逆射影変換部により生成された各逆射影画像から、前記カメラの撮影領域内に存在している物体を検出する物体検出部と
を備えた物体検出装置。
【請求項５】
前記物体検出部は、
前記逆射影変換部により生成された各逆射影画像を構成している画素毎に、当該画素が背景を構成している画素であるか否かを判別して、その判別結果を示すリストを生成するリスト生成部と、
前記カメラにより撮影された複数の時系列画像を構成する画素の中から、前記リスト生成部により背景を構成している画素であると判別された画素以外の画素をそれぞれ抜き出して、前記複数の時系列画像を更新する時系列画像更新部とを備え、
前記時系列画像更新部により複数の時系列画像が更新される毎に、更新後の複数の時系列画像を用いて、前記オプティカルフロー算出部、前記射影変換部、前記背景画像生成部、前記差分画像生成部、前記逆射影変換部及び前記リスト生成部が処理を繰り返し実施し、
さらに、前記物体検出部は、
前記繰り返し処理の終了後の前記リストに示されている判別結果から、前記カメラの撮影領域内に存在している物体の出現時刻、消失時刻及び存在時間を特定する特定処理部を備えていることを特徴とする請求項４記載の物体検出装置。
【請求項６】
前記カメラにより撮影された複数の時系列画像を構成している画素の輝度値から、前記カメラの撮影領域内で、影が現れている影部の領域を検出して、前記影部を構成している画素の輝度値を高める光学補正部を備え、
前記光学補正部により輝度値が高められた複数の時系列画像が前記オプティカルフロー算出部に出力されることを特徴とする請求項４記載の物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、異なる時刻に撮影された同一の撮影領域の複数の画像から、複数の画像間の差分の検出に用いる背景画像を生成する背景画像生成装置と、背景画像生成装置を搭載している物体検出装置とに関するものである。
【背景技術】
【０００２】
以下の特許文献１には、異なる時刻に撮影された同一の撮影領域の２つの画像間の差分を検出する画像処理装置が開示されている。
この画像処理装置では、２つの画像間の差分を検出する際、２つの画像間の輝度を補正し、輝度補正後の２つの画像の位置ずれを調整するようにしている。
２つの画像の位置ずれを調整する方式は、２つの画像から、輝度差の勾配が大きい点を特徴点としてそれぞれ抽出する。
そして、２つの画像からそれぞれ抽出した特徴点の中から、対応する特徴点をペアとして選定し、ペアの特徴点の位置が等しくなるように、２つの画像の位置を調整するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２０６４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されている画像処理装置では、２つの画像間の差分を検出する際、２つの画像の位置ずれを調整している。このため、２つの画像を撮影しているカメラの撮影位置が異なっているために視差がある場合でも、２つの画像間の差分を検出することができる。しかし、輝度差の勾配が大きい特徴点のペアを選定して、ペアの特徴点の位置が等しくなるように、２つの画像の位置を調整する方式では、輝度差の勾配が大きい特徴点が存在しない場合には適用することができない。また、数多くの特徴点が存在する場合にはペアを適正に選定することが難しく、２つの画像の位置ずれを高精度に調整することができないという課題があった。【０００５】
この発明は上記のような課題を解決するためになされたもので、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の画像間の位置ずれを高精度に調整して、位置調整後の画像から背景画像を生成することができる背景画像生成装置を得ることを目的とする。
また、この発明は、背景画像を用いて、カメラの撮影領域内に存在している物体を検出することができる物体検出装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る背景画像生成装置は、移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、その基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、オプティカルフロー算出部により算出されたオプティカルフローを用いて、各時系列画像をそれぞれ射影変換することで、その基準画像に対する各時系列画像の位置合わせを行う射影変換部とを設け、背景画像生成部が、射影変換部により射影変換された各時系列画像及び基準画像の合成画像を背景画像として生成するようにしたものである。
【発明の効果】
【０００７】
この発明によれば、オプティカルフロー算出部により算出されたオプティカルフローを用いて、各時系列画像をそれぞれ射影変換することで、基準画像に対する各時系列画像の位置合わせを行う射影変換部を設け、背景画像生成部が、射影変換部により射影変換された各時系列画像及び基準画像の合成画像を背景画像として生成するように構成したので、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の画像間の位置ずれを高精度に調整して、位置調整後の画像から背景画像を生成することができる効果がある。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１による背景画像生成装置を示す構成図である。
【図２】この発明の実施の形態１による背景画像生成装置のハードウェア構成図である。
【図３】背景画像生成装置の全部がコンピュータで構成される場合のハードウェア構成図である。
【図４】この発明の実施の形態１による背景画像生成装置の処理内容を示すフローチャートである。
【図５】撮影時刻ｔ１，ｔ２，・・・，ｔ９の時系列画像Ｐ１，Ｐ２，・・・，Ｐ９の一例を示す説明図である。
【図６】基準画像Ｐｒｅｆの一例を示す説明図である。
【図７】オプティカルフローの算出処理を示す説明図である。
【図８】基準画像Ｐｒｅｆと時系列画像Ｐ８との間のオプティカルフローの算出結果を示す説明図である。
【図９】基準画像Ｐｒｅｆと時系列画像Ｐ７との間のオプティカルフローの算出結果を示す説明図である。
【図１０】基準画像Ｐｒｅｆと時系列画像Ｐ６との間のオプティカルフローの算出結果を示す説明図である。
【図１１】基準画像Ｐｒｅｆと時系列画像Ｐ５との間のオプティカルフローの算出結果を示す説明図である。
【図１２】基準画像Ｐｒｅｆと時系列画像Ｐ４との間のオプティカルフローの算出結果を示す説明図である。
【図１３】基準画像Ｐｒｅｆと時系列画像Ｐ３との間のオプティカルフローの算出結果を示す説明図である。
【図１４】基準画像Ｐｒｅｆと時系列画像Ｐ２との間のオプティカルフローの算出結果を示す説明図である。
【図１５】基準画像Ｐｒｅｆと時系列画像Ｐ１との間のオプティカルフローの算出結果を示す説明図である。
【図１６】射影変換後の時系列画像Ｐｎ（ｎ＝１，２，・・・，８）と、基準画像Ｐｒｅｆである時系列画像Ｐ９と示す説明図である。
【図１７】背景画像生成部４により生成された背景画像Ｐｂｋの一例を示す説明図である。
【図１８】この発明の実施の形態２による物体検出装置を示す構成図である。
【図１９】この発明の実施の形態２による物体検出装置のハードウェア構成図である。
【図２０】物体検出装置がコンピュータで構成される場合のハードウェア構成図である。
【図２１】背景画像生成装置３０の画像記憶部１に記憶されているＮ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮの一例を示す説明図である。
【図２２】Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮに出現する物体の変化を示す説明図である。
【図２３】光学補正部３１の処理内容を示すフローチャートである。
【図２４】背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの処理内容を示すフローチャートである。
【図２５】背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの処理結果を示す説明図である。
【図２６】基準画像ΔＰｒｅｆと差分画像ΔＰ８との間のオプティカルフローの算出結果を示す説明図である。
【図２７】基準画像ΔＰｒｅｆと差分画像ΔＰ７との間のオプティカルフローの算出結果を示す説明図である。
【図２８】基準画像ΔＰｒｅｆと差分画像ΔＰ６との間のオプティカルフローの算出結果を示す説明図である。
【図２９】Δ基準画像Ｐｒｅｆと差分画像ΔＰ５との間のオプティカルフローの算出結果を示す説明図である。
【図３０】基準画像ΔＰｒｅｆと差分画像ΔＰ４との間のオプティカルフローの算出結果を示す説明図である。
【図３１】Δ基準画像Ｐｒｅｆと差分画像ΔＰ３との間のオプティカルフローの算出結果を示す説明図である。
【図３２】Δ基準画像Ｐｒｅｆと差分画像ΔＰ２との間のオプティカルフローの算出結果を示す説明図である。
【図３３】Δ基準画像Ｐｒｅｆと差分画像ΔＰ１との間のオプティカルフローの算出結果を示す説明図である。
【図３４】特定処理部３４ｃの処理内容を示すフローチャートである。
【図３５】撮影時刻が最新の時系列画像ＰＮを構成している画素のうち、画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊを着目点としている例を示す説明図である。
【図３６】繰り返し処理終了後の検出背景リストのうち、撮影時刻ｔ＝１〜１５における着目点に対応するリスト要素を示す説明図である。
【図３７】画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊにおける出現時刻、消失時刻及び存在時間を示す説明図である。
【図３８】同一の領域を構成している隣接画素群を示す説明図である。
【図３９】同領域（１）〜（４）の面積を示す説明図である。
【図４０】入力受付部３４ｄ及び表示処理部３４ｅの処理内容を示すフローチャートである。
【図４１】表示処理部３４ｅの表示例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による背景画像生成装置を示す構成図であり、図２はこの発明の実施の形態１による背景画像生成装置のハードウェア構成図である。
図１及び図２において、画像記憶部１は例えばハードディスクなどの記憶装置１１で実現されるものであり、例えば、地球観測衛星などのプラットフォームに搭載されている移動可能なカメラにより撮影された複数の時系列画像を記憶する。
この実施の形態１では、画像記憶部１により記憶される複数の時系列画像は、カメラにより異なる時刻に同一の領域が撮影された画像であるものとする。
地球観測衛星などのプラットフォームは、地球を周回する際の軌道が少しずつ異なっている。このため、カメラが地球観測衛星などのプラットフォームに搭載される場合、カメラが同一の領域を撮影する毎に、カメラから撮影領域を見る角度に相違が生じる。その結果、異なる時刻に撮影された複数の画像である時系列画像の間には、位置ずれが生じている。
【００１１】
オプティカルフロー算出部２は例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されているオプティカルフロー算出処理回路１２で実現されるものであり、画像記憶部１に記憶されている複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、その基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出する処理を実施する。
以下、各時系列画像と称するときは、画像記憶部１に記憶されている複数の時系列画像のうち、基準画像以外の時系列画像を示しているものとする。
【００１２】
射影変換部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている射影変換処理回路１３で実現されるものであり、オプティカルフロー算出部２により算出されたオプティカルフローを用いて、各時系列画像をそれぞれ射影変換することで、基準画像に対する各時系列画像の位置合わせを行う。
【００１３】
背景画像生成部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている背景画像生成処理回路１４で実現されるものであり、射影変換部３により射影変換された各時系列画像の合成画像を背景画像として生成する処理を実施する。
即ち、背景画像生成部４は射影変換部３により射影変換された各時系列画像及び基準画像における同一座標の画素単位に輝度値の統計量を算出し、背景画像の各画素の輝度値として、各画素の前記統計量を設定する処理を実施する。
詳細は後述するが、輝度値の統計量として、同一座標の各画素における輝度値の最頻値、輝度値の中央値、輝度値の平均値などが考えられる。
表示部５は例えば液晶ディスプレイなどの表示装置１５で実現されるものであり、各時系列画像や背景画像などを表示する。
【００１４】
図１の例では、背景画像生成装置の構成要素である画像記憶部１、オプティカルフロー算出部２、射影変換部３、背景画像生成部４及び表示部５のそれぞれが専用のハードウェアで構成されているものを想定しているが、背景画像生成装置の全部又は一部がコンピュータで構成されていてもよい。
図３は背景画像生成装置の全部がコンピュータで構成される場合のハードウェア構成図である。
【００１５】
背景画像生成装置の全部がコンピュータで構成される場合、画像記憶部１が例えばコンピュータの内部メモリであるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１あるいはハードディスク２２で構成され、表示部５が例えばコンピュータのＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２３及びディスプレイ２４で構成される。
また、オプティカルフロー算出部２、射影変換部３及び背景画像生成部４の処理内容を記述しているオプティカルフロー算出プログラム、射影変換プログラム及び背景画像生成プログラムがコンピュータのＲＡＭ２１あるいはハードディスク２２に記憶され、コンピュータのプロセッサ２５がＲＡＭ２１あるいはハードディスク２２に記憶されているオプティカルフロー算出プログラム、射影変換プログラム及び背景画像生成プログラムを実行する。
ただし、これは一例であり、例えば、コンピュータのＧＰＵ２３の代わりに、プロセッサ２５が、表示部５の処理内容を記述しているプログラムを実行することで、各時系列画像や背景画像などをディスプレイ２４に表示するようにしてもよい。
図４はこの発明の実施の形態１による背景画像生成装置の処理内容を示すフローチャートである。
【００１６】
次に動作について説明する。
画像記憶部１には、撮影時刻ｔ１，ｔ２，・・・，ｔＮの時系列画像Ｐ１，Ｐ２，・・・，ＰＮがＮ枚記憶されているが、この実施の形態１では、説明の便宜上、Ｎ＝９であるものとして説明する。ただし、時系列画像Ｐの枚数が複数枚であればよく、Ｎ＝９に限るものではない。
また、撮影時刻ｔ１の時系列画像Ｐ１が最も古い画像で、撮影時刻ｔ９の時系列画像Ｐ９が最も新しい画像であるものとする。
ここで、図５は撮影時刻ｔ１，ｔ２，・・・，ｔ９の時系列画像Ｐ１，Ｐ２，・・・，Ｐ９の一例を示す説明図である。
なお、図５に示している時系列画像は写真であり、この写真のコピーライトは下記の通りである。
(c) CNES 2012, Distribution Astrium Services / Spot Image S.A., France, all rights reserved.
以下、図５を参照しながら、背景画像生成装置の処理内容を説明する。
【００１７】
まず、オプティカルフロー算出部２は、画像記憶部１に記憶されているＮ（Ｎ＝９）枚の時系列画像Ｐ１，Ｐ２，・・・，Ｐ９の中から、最も新しい画像である撮影時刻ｔ９の時系列画像Ｐ９を選択し、撮影時刻ｔ９の時系列画像Ｐ９を基準画像Ｐｒｅｆに設定する。
図６は基準画像Ｐｒｅｆの一例を示す説明図である。
ここでは、９枚の時系列画像Ｐ１，Ｐ２，・・・，Ｐ９のうち、撮影時刻が最新の時系列画像Ｐ９を基準画像Ｐｒｅｆとしているが、撮影時刻が最新ではない撮影時刻ｔ９以外の時系列画像を基準画像Ｐｒｅｆに設定してもよい。
【００１８】
オプティカルフロー算出部２は、基準画像Ｐｒｅｆを設定すると、その基準画像Ｐｒｅｆと撮影時刻ｔ１〜ｔ８の時系列画像Ｐ１〜Ｐ８との間のオプティカルフローをそれぞれ算出する（図４のステップＳＴ１）。
オプティカルフローの算出方法としては、例えば、画像マッチング方法を用いることができる。
画像マッチング方法は、広く知られている公知の方法であるため詳細な説明は省略するが、以下、画像マッチング方法を用いて、オプティカルフローを算出する処理内容を説明する。
【００１９】
図７はオプティカルフローの算出処理を示す説明図である。
図７において、左側の画像は基準画像Ｐｒｅｆ、右側の画像は撮影時刻ｔｎの時系列画像Ｐｎである。ただし、ｎ＝１，２，・・・，８である。
まず、オプティカルフロー算出部２は、幅がＷｗで、高さがＷｈのウィンドウＴを基準画像Ｐｒｅｆの任意の位置に設定する。
また、オプティカルフロー算出部２は、基準画像Ｐｒｅｆに設定しているウィンドウＴと同じサイズのウィンドウＲを、基準画像Ｐｒｅｆに設定しているウィンドウＴと同じ位置に設定する。
【００２０】
ここで、ウィンドウＴの左上画素の座標を（０，０）、ウィンドウＴ内の各画素の座標を（ｉ，ｊ）とするとき、座標（ｉ，ｊ）の画素の輝度値をＴ（ｉ，ｊ）で表すものとする。
また、ウィンドウＲの左上画素の座標を（０，０）、ウィンドウＲ内の各画素の座標を（ｉ，ｊ）とするとき、座標（ｉ，ｊ）の画素の輝度値をＲ（ｉ，ｊ）で表すものとする。
（ｘ，ｙ）は、基準画像Ｐｒｅｆの着目画素の座標である。
また、（ｘ’，ｙ’）は、ウィンドウＴとウィンドウＲが同一位置で完全に重なっているとき、基準画像Ｐｒｅｆの着目画素（ｘ，ｙ）と同じ位置となる基準位置である。
【００２１】
オプティカルフロー算出部２は、ウィンドウＴを基準画像Ｐｒｅｆに設定し、ウィンドウＲを時系列画像Ｐｎに設定すると、そのウィンドウＲを、図中、水平方向（左方向、または、右方向）、上下方向（上方向、または、下方向）にずらしながら、下記の式（１）に示すように、ウィンドウＴ内の画像とウィンドウＲ内の画像とのマッチング結果を示す評価値ＺＮＣＣを算出する。
ただし、ウィンドウＲをずらす範囲は、ウィンドウＴとウィンドウＲが同一位置で重なっている状態からの水平方向のずらし量がａ（−ｒ≦ａ≦ｒ）、上下方向のずらし量がｂ（−ｒ≦ｂ≦ｒ）となる範囲とする。
2017104042.tif 000003
【００２２】
オプティカルフロー算出部２は、ウィンドウＲを上下左右方向にずらしながら、評価値ＺＮＣＣを算出すると、算出した複数の評価値ＺＮＣＣを比較して、評価値ＺＮＣＣが最大となるときのずらし量（ａ，ｂ）を特定する。
オプティカルフロー算出部２は、評価値ＺＮＣＣが最大となるときのずらし量（ａ，ｂ）を特定すると、そのときの“ａ”をオプティカルフローのＸ成分、そのときの“ｂ”をオプティカルフローのＹ成分とする。
即ち、オプティカルフロー算出部２は、基点が（ｘ＋ａ，ｙ＋ｂ）で、先端が（ｘ，ｙ）であるベクトルを、時系列画像Ｐｎにおける画素（ｘ＋ａ，ｙ＋ｂ）のオプティカルフローとする。
【００２３】
ここで、図８は基準画像Ｐｒｅｆと時系列画像Ｐ８との間のオプティカルフローの算出結果を示す説明図であり、図９は基準画像Ｐｒｅｆと時系列画像Ｐ７との間のオプティカルフローの算出結果を示す説明図であり、図１０は基準画像Ｐｒｅｆと時系列画像Ｐ６との間のオプティカルフローの算出結果を示す説明図であり、図１１は基準画像Ｐｒｅｆと時系列画像Ｐ５との間のオプティカルフローの算出結果を示す説明図である。
また、図１２は基準画像Ｐｒｅｆと時系列画像Ｐ４との間のオプティカルフローの算出結果を示す説明図であり、図１３は基準画像Ｐｒｅｆと時系列画像Ｐ３との間のオプティカルフローの算出結果を示す説明図であり、図１４は基準画像Ｐｒｅｆと時系列画像Ｐ２との間のオプティカルフローの算出結果を示す説明図であり、図１５は基準画像Ｐｒｅｆと時系列画像Ｐ１との間のオプティカルフローの算出結果を示す説明図である。
【００２４】
図８〜図１５において、ＦＸは時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の座標（ｕ，ｊ）におけるオプティカルフローのＸ成分、ＦＹは時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の座標（ｕ，ｖ）におけるオプティカルフローのＹ成分を示している
図８〜図１５では、オプティカルフローのＸ成分ＦＸ，Ｙ成分ＦＹをグレースケールで表している。このため、グレースケールの濃度が薄い着目画素のオプティカルフローはプラス方向に大きく、グレースケールの濃度が濃い着目画素のオプティカルフローはマイナス方向に大きいことを表している。
また、グレースケールの濃度が中間値である着目画素のオプティカルフローは約０であることを表している。
【００２５】
射影変換部３は、オプティカルフロー算出部２がオプティカルフローを算出すると、そのオプティカルフローを用いて、撮影時刻ｔ１〜ｔ８の時系列画像Ｐ１〜Ｐ８をそれぞれ射影変換することで、基準画像Ｐｒｅｆに対する時系列画像Ｐ１〜Ｐ８の位置合わせを行う（図４のステップＳＴ２）。
即ち、射影変換部３は、下記の式（２）に示すような射影変換式に、時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の座標（ｕ，ｖ）の値と、その座標（ｕ，ｖ）のオプティカルフローのＸ成分ＦＸ（ｕ，ｖ），Ｙ成分ＦＹ（ｕ，ｖ）を代入することで、時系列画像Ｐｎ（ｎ＝１，２，・・・，８）を射影変換する。（ｕ’，ｖ’）は射影変換後の時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の座標であり、射影変換後の時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の位置は、基準画像Ｐｒｅｆの位置と合っている。
ｕ’＝ｕ＋ＦＸ（ｕ，ｖ）
ｖ’＝ｕ＋ＦＹ（ｕ，ｖ）                            （２）
図１６は射影変換後の時系列画像Ｐｎ（ｎ＝１，２，・・・，８）と、基準画像Ｐｒｅｆである時系列画像Ｐ９と示す説明図である。
【００２６】
背景画像生成部４は、射影変換部３が時系列画像Ｐｎ（ｎ＝１，２，・・・，８）を射影変換して、基準画像Ｐｒｅｆに対する時系列画像Ｐｎの位置合わせを行うと、射影変換後の時系列画像Ｐ１〜Ｐ８と、基準画像Ｐｒｅｆである時系列画像Ｐ９との合成画像を背景画像Ｐｂｋとして生成する（図４のステップＳＴ３）。
即ち、背景画像生成部４は、射影変換後の時系列画像Ｐ１〜Ｐ８及び基準画像Ｐｒｅｆである時系列画像Ｐ９における同一座標の各画素の輝度値を読み出し、同一座標の各画素の輝度値の統計量として、９個の画素の輝度値の中央値を算出する。輝度値の中央値の算出は、同一座標の画素単位に行う。このため、時系列画像Ｐ１〜Ｐ９における横方向の画素数がｃ、縦方向の画素数がｄであれば、（ｃ×ｄ）個の画素について、９個の画素の輝度値の中央値をそれぞれ算出する。
背景画像生成部４は、輝度値の中央値をそれぞれ算出すると、背景画像Ｐｂｋの画素と同一座標の画素の中央値を、背景画像Ｐｂｋの画素の輝度値に設定することで、背景画像Ｐｂｋを生成する。
【００２７】
図１７は背景画像生成部４により生成された背景画像Ｐｂｋの一例を示す説明図である。
表示部５は、背景画像生成部４により生成された背景画像Ｐｂｋを表示するほか、ユーザの指示の下、画像記憶部１に記憶されている複数の時系列画像などを表示する。
【００２８】
以上で明らかなように、この実施の形態１によれば、オプティカルフロー算出部２により算出されたオプティカルフローを用いて、時系列画像Ｐｎ（ｎ＝１，２，・・・，８）をそれぞれ射影変換することで、基準画像Ｐｒｅｆに対する時系列画像Ｐｎの位置合わせを行う射影変換部３を設け、背景画像生成部４が、射影変換部３による射影変換後の時系列画像Ｐ１〜Ｐ８と、基準画像Ｐｒｅｆである時系列画像Ｐ９との合成画像を背景画像Ｐｂｋとして生成するように構成したので、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の時系列画像間の位置ずれを高精度に調整して、位置調整後の時系列画像から背景画像を生成することができる効果がある。
即ち、位置ずれが高精度に調整されている時系列画像Ｐ１〜Ｐ８と、基準画像Ｐｒｅｆである時系列画像Ｐ９とから背景画像Ｐｂｋを生成しているので、高精度な背景画像Ｐｂｋを生成することができる。
【００２９】
この実施の形態１では、背景画像生成部４が、同一座標の各画素の輝度値の統計量として、９個の画素の輝度値の中央値を算出する例を示したが、これは一例に過ぎず、同一座標の各画素の輝度値の統計量として、９個の画素の輝度値の最頻値や平均値などを算出するようにしてもよい。
また、９個の画素の輝度値の平均値を算出する際には、９個の画素の輝度値に含まれている外れ値を除去した上で、平均値を算出するようにしてもよい。このように、外れ値を除去してから平均値を算出するようにすれば、計算量は多少増加するが、天候や撮影時間帯が異なる複数の時系列画像を対象とする場合でも、ノイズが少ない基準背景を生成することができる。
外れ値を除去する方法としては、時系列画像の輝度値の著しく異なるサンプルをスミルノフ・グラブス検定等によって除去する方法や、各時系列画像の撮影時間帯、撮影角度、撮影時の天候などの情報に基づいて、例えば、日の出日の入り前後の画像、撮影角度が著しく大きい画像、曇天時の画像など、極端な画像を構成する画素の輝度値を除去する方法がある。
【００３０】
実施の形態２．
この実施の形態２では、上記実施の形態１の背景画像生成装置を搭載している物体検出装置について説明する。
図１８はこの発明の実施の形態２による物体検出装置を示す構成図であり、図１９はこの発明の実施の形態２による物体検出装置のハードウェア構成図である。
図１８及び図１９において、背景画像生成装置３０は、図１の背景画像生成装置と同一の装置であり、高精度な背景画像Ｐｂｋを生成する。
この実施の形態２では、背景画像生成装置３０の画像記憶部１に記憶されている時系列画像Ｐ１，Ｐ２，・・・，ＰＮの枚数がＮ枚であるものとする。また、Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮのうち、撮影時刻が最新の時系列画像ＰＮが基準画像Ｐｒｅｆに設定されて、Ｎ−１枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮ−１が、上記実施の形態１と同様に射影変換されているものとして説明する。
【００３１】
光学補正部３１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている光学補正処理回路４１で実現されるものであり、画像記憶部１に記憶されている複数の時系列画像を構成している画素の輝度値から、カメラの撮影領域内で、影が現れている影部の領域を検出して、その影部を構成している画素の輝度値を高める処理を実施する。
図１８では、光学補正部３１が背景画像生成装置３０に前段に設置され、光学補正部３１による処理後の複数の時系列画像を背景画像生成装置３０の画像記憶部１に保存するものを想定しているが、光学補正部３１が背景画像生成装置３０の内部に実装されているようにしてもよい。
【００３２】
差分画像生成部３２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている差分画像生成処理回路４２で実現されるものであり、背景画像生成装置３０の背景画像生成部４により生成された背景画像Ｐｂｋと、射影変換部３により射影変換された時系列画像Ｐ１〜ＰＮ−１及び基準画像Ｐｒｅｆである時系列画像ＰＮとの差分を示す差分画像ΔＰ１〜ΔＰＮをそれぞれ生成する処理を実施する。
逆射影変換部３３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている逆射影変換処理回路４３で実現されるものであり、差分画像生成部３２により生成された差分画像ΔＰ１〜ΔＰＮをそれぞれ逆射影変換することで、逆射影画像ＰＲ−ｐｒｏ１〜ＰＲ−ｐｒｏＮを生成する処理を実施する。
【００３３】
物体検出部３４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている物体検出処理回路４４で実現されるものであり、リスト生成部３４ａ、時系列画像更新部３４ｂ、特定処理部３４ｃ、入力受付部３４ｄ及び表示処理部３４ｅを備えている。
物体検出部３４は逆射影変換部３３により生成された逆射影画像ＰＲ−ｐｒｏ１〜ＰＲ−ｐｒｏＮから、カメラの撮影領域内に存在している物体を検出する処理を実施する。
【００３４】
物体検出部３４のリスト生成部３４ａは逆射影変換部３３により生成された逆射影画像ＰＲ−ｐｒｏ１〜ＰＲ−ｐｒｏＮを構成している画素毎に、当該画素が背景を構成している画素であるか否かを判別して、その判別結果を示すリストを生成する処理を実施する。以下、このリストを検出背景リストと称する。
物体検出部３４の時系列画像更新部３４ｂは画像記憶部１に記憶されている時系列画像Ｐ１，Ｐ２，・・・，ＰＮを構成する画素の中から、リスト生成部３４ａにより背景を構成している画素であると判別された画素以外の画素をそれぞれ抜き出して、時系列画像Ｐ１，Ｐ２，・・・，ＰＮを更新する処理を実施する。
【００３５】
物体検出部３４の特定処理部３４ｃは時系列画像更新部３４ｂにより時系列画像Ｐ１，Ｐ２，・・・，ＰＮが更新される毎に、更新後の時系列画像Ｐ１，Ｐ２，・・・，ＰＮを用いて、背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂが同様の処理を繰り返し実施して、その繰り返し処理が終了すると、繰り返し処理後の最終的な検出背景リストに示されている判別結果から、カメラの撮影領域内に存在している物体の出現時刻、消失時刻及び存在時間を特定する処理を実施する。
入力受付部３４ｄは例えばマウス、キーボード、タッチパネルなどのマンマシンインタフェースを用いて構成されており、カメラの撮影領域内に存在している物体の中で、出現時刻などの物体の属性情報を提示する指示を受け付ける処理を実施する。
表示処理部３４ｅは特定処理部３４ｃにより出現時刻、消失時刻及び存在時間が特定された物体のうち、入力受付部３４ｄによって提示指示が受け付けられた物体の出現時刻、消失時刻及び存在時間などを表示する処理を実施する。
【００３６】
図１８では、物体検出装置の構成要素である背景画像生成装置３０、光学補正部３１、差分画像生成部３２、逆射影変換部３３及び物体検出部３４のそれぞれが専用のハードウェアで構成されているものを想定しているが、物体検出装置がコンピュータで構成されていてもよい。
図２０は物体検出装置がコンピュータで構成される場合のハードウェア構成図である。
物体検出装置がコンピュータで構成される場合、背景画像生成装置３０、光学補正部３１、差分画像生成部３２、逆射影変換部３３及び物体検出部３４の処理内容を記述しているプログラムがコンピュータのメモリ５１に格納され、コンピュータのプロセッサ５２がメモリ５１に格納されているプログラムを実行するようにすればよい。
【００３７】
次に動作について説明する。
図２１は背景画像生成装置３０の画像記憶部１に記憶されているＮ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮの一例を示す説明図である。
図２２はＮ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮに出現する物体の変化を示す説明図である。
図２２では、昔は野原と川だけが時系列画像に映っていたが、その後、物体である道路が建設され、その道路上を物体である自動車が通行している例を示している。
図２２に示す代表的な４枚の時系列画像Ｐの間には視差が存在している。
【００３８】
光学補正部３１は、背景画像生成装置３０の画像記憶部１に記憶されているＮ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮ内に存在している影部を構成している画素の輝度値を高める処理を実施する。
以下、光学補正部３１の処理内容を具体的に説明する。図２３は光学補正部３１の処理内容を示すフローチャートである。
【００３９】
まず、光学補正部３１は、背景画像生成装置３０の画像記憶部１からＮ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮを取得し、時系列画像Ｐ１，Ｐ２，・・・，ＰＮを構成している画素の輝度値と事前に設定された輝度閾値Ｌｔｈ１とを比較する閾値処理を実施することで、影が現れている影部の領域を検出する（ステップＳＴ２１）。
即ち、光学補正部３１は、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）毎に、当該時系列画像Ｐｎを構成している各画素の輝度値Ｌと輝度閾値Ｌｔｈ１とを比較し、輝度閾値Ｌｔｈ１より輝度値Ｌが小さい画素を、影部を構成している画素であるとして検出する。
ここで、輝度閾値Ｌｔｈ１としては、時系列画像Ｐｎを構成している画素の輝度値Ｌが、例えば、０〜４０９５の値で表される場合には、５００程度の値が設定されることが考えられる。
【００４０】
光学補正部３１は、カメラの撮影領域内、即ち、Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮ内で、影が現れている影部の領域を検出すると、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）毎に、影部を構成している画素の輝度値の平均値ＡＶ１を算出するとともに、影部以外を構成している画素の輝度値の平均値ＡＶ２を算出する。
そして、影部を構成している画素の輝度値の平均値ＡＶ１に対する影部以外を構成している画素の輝度値の平均値ＡＶ２の比ＡＶ２／ＡＶ１を求め、影部を構成している画素の輝度値に対して、その比ＡＶ２／ＡＶ１を乗算することで、その影部を構成している画素の輝度値を補正する（ステップＳＴ２２）。
これにより、影部を構成している画素の輝度値が高められ、影部が物体として誤検出される確率を下げることができる。
【００４１】
図２４は背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの処理内容を示すフローチャートである。
図２５は背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの処理結果を示す説明図である。
以下、図２４を及び図２５を参照しながら、背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの処理内容を説明する。
後述するリスト生成部３４ａにより生成される検出背景リストは、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）毎に生成され、時系列画像Ｐｎを構成している各画素が、背景を構成している画素であるのかを示すものであるが、初期段階では、時系列画像Ｐｎの各画素に対応する検出背景リストの各リスト要素には、“０”が設定されているものとする。
図２５では、初期段階の検出背景リストを初期検出背景リストと表しており、表記の簡略化のために“０”が１個だけ表記されているが、実際には、時系列画像Ｐｎを構成している画素の個数分だけ“０”がある。
【００４２】
背景画像生成装置３０は、Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮの検出背景リストにおける各画素に対応するリスト要素のすべてが“０”以外であるか否かを確認し、すべてが“０”以外であれば（図２４のステップＳＴ３１：ＹＥＳの場合）、処理を終了する。
背景画像生成装置３０は、Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮの検出背景リストにおける各画素に対応するリスト要素の中に、未だ“０”のリスト要素が残っていれば、上記実施の形態１と同様の方法で背景画像Ｐｂｋを生成し、その背景画像Ｐｂｋを基準背景画像Ｐｂｋ，ｒｅｆに設定する（図２４のステップＳＴ３２）。
【００４３】
差分画像生成部３２は、背景画像生成装置３０が基準背景画像Ｐｂｋ，ｒｅｆを設定すると、その基準背景画像Ｐｂｋ，ｒｅｆと、背景画像生成装置３０の射影変換部３により射影変換された時系列画像Ｐ１〜ＰＮ−１及び基準画像Ｐｒｅｆである時系列画像ＰＮとの差分を示す差分画像ΔＰ１〜ΔＰＮをそれぞれ生成する（図２４のステップＳＴ３３）。
なお、差分画像ΔＰｎ（ｎ＝１，２，・・・，Ｎ）は、基準背景画像Ｐｂｋ，ｒｅｆと時系列画像Ｐｎにおいて、対応している同一座標の画素毎に、輝度値の差分の絶対値が計算されることで生成される。したがって、差分画像ΔＰｎを構成している画素の値は、輝度値の差分の絶対値となっている。
【００４４】
逆射影変換部３３は、差分画像生成部３２が差分画像ΔＰ１〜ΔＰＮを生成すると、その差分画像ΔＰ１〜ΔＰＮをそれぞれ逆射影変換することで、逆射影画像ＰＲ−ｐｒｏ１〜ＰＲ−ｐｒｏＮを生成する（図２４のステップＳＴ３４）。
即ち、逆射影変換部３３は、差分画像生成部３２により生成された差分画像ΔＰ１〜ΔＰＮのうち、差分画像ΔＰＮを基準画像ΔＰｒｅｆに設定し、図１のオプティカルフロー算出部２と同様の方法で、その基準画像ΔＰｒｅｆと差分画像ΔＰ１〜ΔＰＮ−１との間のオプティカルフローをそれぞれ算出する。
【００４５】
図２６〜図３３は逆射影変換部３３によるオプティカルフローの算出結果を示す説明図である。ここでは、Ｎ＝９であるとして、８個のオプティカルフローの算出結果を例示している。
即ち、図２６は基準画像ΔＰｒｅｆと差分画像ΔＰ８との間のオプティカルフローの算出結果を示す説明図であり、図２７は基準画像ΔＰｒｅｆと差分画像ΔＰ７との間のオプティカルフローの算出結果を示す説明図であり、図２８は基準画像ΔＰｒｅｆと差分画像ΔＰ６との間のオプティカルフローの算出結果を示す説明図であり、図２９はΔ基準画像Ｐｒｅｆと差分画像ΔＰ５との間のオプティカルフローの算出結果を示す説明図である。
また、図３０は基準画像ΔＰｒｅｆと差分画像ΔＰ４との間のオプティカルフローの算出結果を示す説明図であり、図３１はΔ基準画像Ｐｒｅｆと差分画像ΔＰ３との間のオプティカルフローの算出結果を示す説明図であり、図３２はΔ基準画像Ｐｒｅｆと差分画像ΔＰ２との間のオプティカルフローの算出結果を示す説明図であり、図３３はΔ基準画像Ｐｒｅｆと差分画像ΔＰ１との間のオプティカルフローの算出結果を示す説明図である。
【００４６】
図２６〜図３３において、ＦＸは差分画像ΔＰｎ（ｎ＝１，２，・・・，８）の座標（ｕ，ｊ）におけるオプティカルフローのＸ成分、ＦＹは差分画像ΔＰｎ（ｎ＝１，２，・・・，８）の座標（ｕ，ｖ）におけるオプティカルフローのＹ成分を示している
図２６〜図３３では、オプティカルフローのＸ成分ＦＸ，Ｙ成分ＦＹをグレースケールで表している。このため、グレースケールの濃度が薄い着目画素のオプティカルフローはプラス方向に大きく、グレースケールの濃度が濃い着目画素のオプティカルフローはマイナス方向に大きいことを表している。
また、グレースケールの濃度が中間値である着目画素のオプティカルフローは約０であることを表している。
【００４７】
逆射影変換部３３は、オプティカルフローを算出すると、そのオプティカルフローを用いて、差分画像ΔＰ１〜ΔＰＮ−１をそれぞれ逆射影変換することで、逆射影画像ＰＲ−ｐｒｏ１〜ＰＲ−ｐｒｏＮ−１を生成する。なお、Δ基準画像Ｐｒｅｆについては、以降、逆射影画像ＰＲ−ｐｒｏＮとして扱う。
逆射影変換部３３により生成された逆射影画像ＰＲ−ｐｒｏｎ（ｎ＝１，２，・・・，８）の位置座標系は、画像記憶部１に記憶されている時系列画像Ｐｎ（ｎ＝１，２，・・・，８）の位置座標系と同じなる。
オプティカルフローを用いて、差分画像ΔＰ１〜ΔＰＮ−１を逆射影変換する処理自体は、変換する位置座標系が反対になるだけで、図１の射影変換部３による時系列画像Ｐ１〜Ｐ８の射影変換処理と同様であるため詳細な説明を省略する。
【００４８】
物体検出部３４のリスト生成部３４ａは、逆射影変換部３３が逆射影画像ＰＲ−ｐｒｏ１〜ＰＲ−ｐｒｏＮを生成すると、その逆射影画像ＰＲ−ｐｒｏ１〜ＰＲ−ｐｒｏＮを構成している画素毎に、当該画素の画素値と事前に設定された閾値Ｌｔｈ２とを比較する閾値処理を実施することで、当該画素が背景を構成している画素であるか否かを判別する。
即ち、リスト生成部３４ａは、逆射影画像ＰＲ−ｐｒｏｎ（ｎ＝１，２，・・・，Ｎ）を構成している画素の画素値が閾値Ｌｔｈ２より小さければ、当該画素は背景を構成している画素であると判別する。
ここで、閾値Ｌｔｈ２は任意に設定することができ、閾値Ｌｔｈ２の設定方法は特に限定するものではないが、例えば、検出対象の物体が道路であれば、道路の一般的な輝度値と、背景となる野原や川の一般的な輝度値との中間値を閾値Ｌｔｈ２に設定することができる。
また、例えば、検出対象の物体が自動車であれば、自動車の一般的な輝度値と、背景となる道路の一般的な輝度値との中間値を閾値Ｌｔｈ２に設定することができる。
【００４９】
リスト生成部３４ａは、逆射影画像ＰＲ−ｐｒｏｎ（ｎ＝１，２，・・・，Ｎ）を構成している画素が、背景を構成している画素であると判別すると、撮影時刻ｔｎ（ｎ＝１，２，・・・，Ｎ）の検出背景リストにおいて、当該画素に対応するリスト要素に、当該背景を識別する番号“１”を上書きすることで、その検出背景リストを更新する（図２４のステップＳＴ３５）。
逆射影画像ＰＲ−ｐｒｏｎを構成している画素が、背景を構成している画素ではないと判別すると、当該画素に対応するリスト要素に、当該背景を識別する番号“１”を上書きする処理は行わない。
図２５において、１回目の繰り返し処理では、物体である道路を構成している画素は、背景を構成している画素であると判別されず、当該画素に対応するリスト要素は“０”のままとなっているが、道路以外を構成している画素は、背景を構成している画素であると判別されて、当該画素に対応するリスト要素は“１”に更新されている。
【００５０】
物体検出部３４の時系列画像更新部３４ｂは、前回の繰り返し処理で、背景画像生成装置３０に用いられている撮影時刻ｔｎ（ｎ＝１，２，・・・，Ｎ）の時系列画像Ｐｎを構成している画素の中から、リスト生成部３４ａにより背景を構成している画素であると判別された画素以外の画素をそれぞれ抜き出して、撮影時刻ｔｎ（ｎ＝１，２，・・・，Ｎ）の時系列画像Ｐｎを更新する（図２４のステップＳＴ３６）。
即ち、時系列画像更新部３４ｂは、ｍ（ｍは２以上の整数）回目の繰り返し処理では、（ｍ−１）回目の繰り返し処理で背景画像生成装置３０に用いられている撮影時刻ｔｎ（ｎ＝１，２，・・・，Ｎ）の時系列画像Ｐｎを構成している画素の中から、（ｍ−１）回目の繰り返し処理で更新した撮影時刻ｔｎ（ｎ＝１，２，・・・，Ｎ）の検出背景リストにおいて、リスト要素が“０”の画素をそれぞれ抜き出して、その時系列画像Ｐｎを更新する。
なお、更新後の時系列画像Ｐｎにおいて、リスト要素が“０”以外の画素については、ｍ回目の繰り返し処理以降で処理の対象から除外するために、当該画素の輝度値として、例えば、“−９９９９”など、無効の画素であること示す値を入れるようにする。
【００５１】
ステップＳＴ３２〜ＳＴ３６の処理は、Ｎ枚の時系列画像Ｐ１，Ｐ２，・・・，ＰＮの検出背景リストにおける各画素に対応するリスト要素のすべてが“０”以外になるまで、繰り返し実施される。
２回目の繰り返し処理以降では、背景画像を生成する際に用いる時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）は、時系列画像更新部３４ｂにより更新された時系列画像Ｐｎが用いられる。
また、２回目の繰り返し処理以降では、リスト要素が“０”以外の画素については、リスト生成部３４ａにおいて、当該画素が背景を構成している画素であるか否かの判別は行われない。即ち、“−９９９９”などの輝度値が入っている画素については、リスト生成部３４ａにおいて、当該画素が背景を構成している画素であるか否かの判別は行われない。
これにより、例えば、ある物体の上に別の物体が乗っているような状況下においても、各物体を順番に検出することが可能となる。そのため、物体の階層構造が複雑なケースや、頻繁に建物が建て替わるようなケースにおいて、本処理を適用した場合、反復回数が増えることになる。
【００５２】
因みに、図２５において、２回目の繰り返し処理では、物体である自動車を構成している画素は、背景を構成している画素であると判別されず、当該画素に対応するリスト要素は“０”のままとなっているが、道路を構成している画素は、背景を構成している画素であると判別されて、当該画素に対応するリスト要素に、当該背景を識別する番号“２”が上書きされることで、その検出背景リストが更新されている。
【００５３】
物体検出部３４の特定処理部３４ｃは、背景画像生成装置３０、差分画像生成部３２、逆射影変換部３３、リスト生成部３４ａ及び時系列画像更新部３４ｂの繰り返し処理が終了すると、繰り返し処理終了後の検出背景リストのリスト要素から、カメラの撮影領域内に存在している物体の出現時刻、消失時刻及び存在時間を特定する。
以下、特定処理部３４ｃの処理内容を具体的に説明する。
【００５４】
図３４は特定処理部３４ｃの処理内容を示すフローチャートである。
図３５は撮影時刻が最新の時系列画像ＰＮを構成している画素のうち、画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊを着目点としている例を示す説明図である。
図３６は、繰り返し処理終了後の検出背景リストのうち、撮影時刻ｔ＝１〜１５における着目点に対応するリスト要素を示す説明図である。
図３６では、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）から画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊに対応するリスト要素だけを抜粋して例示しているが、検出背景リストには、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）を構成している全ての画素に対応するリスト要素が存在している。
図３６の例では、最も古い撮影時刻がｔ＝１、最も新しい撮影時刻がｔ＝１５である。
【００５５】
まず、特定処理部３４ｃは、図３６に示すような繰り返し処理後の検出背景リストを参照して、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）を構成している画素毎に、当該画素に対応するリスト要素の時間的連続性を確認する（図３４のステップＳＴ４１）。
例えば、画素Ａ，Ｂ，Ｃ，Ｄを着目すると、ｔ＝１〜１５の間、リスト要素が“１”で連続していることが確認される。
また、画素Ｅ，Ｇ，Ｈ，Ｉ，Ｊを着目すると、ｔ＝１〜８の間、リスト要素が“１”で連続していることが確認され、ｔ＝９〜１５の間、リスト要素が“２”で連続していることが確認される。
画素Ｆを着目すると、ｔ＝１〜８の間、リスト要素が“１”で連続していることが確認され、ｔ＝９〜１３の間、リスト要素が“２”で連続していることが確認され、ｔ＝１４〜１５の間、リスト要素が“３”で連続していることが確認される。
【００５６】
特定処理部３４ｃは、時系列画像Ｐｎ（ｎ＝１，２，・・・，Ｎ）を構成している画素毎に、当該画素に対応するリスト要素の時間的連続性を確認すると、時間的に連続しているリスト要素の先頭の撮影時刻と、時間的に連続しているリスト要素の後尾の撮影時刻とから、時間的に連続しているリスト要素の存在時間を算出する（図３４のステップＳＴ４２）。
以下、時間的に連続しているリスト要素の先頭の撮影時刻を出現時刻と称し、時間的に連続しているリスト要素の後尾の撮影時刻を消失時刻と称する。
存在時間＝消失時刻−出現時刻＋１
【００５７】
例えば、画素Ａ，Ｂ，Ｃ，Ｄの場合、ｔ＝１〜１５の間、リスト要素が“１”で連続していることが確認されているので、当該リスト要素の存在時間が“１５”になる。
また、画素Ｅ，Ｇ，Ｈ，Ｉ，Ｊの場合、ｔ＝１〜８の間、リスト要素が“１”で連続していることが確認され、ｔ＝９〜１５の間、リスト要素が“２”で連続していることが確認されているので、リスト要素“１”の存在時間が“８”になり、リスト要素“２”の存在時間が“７”になる。
また、画素Ｆの場合、ｔ＝１〜８の間、リスト要素が“１”で連続していることが確認され、ｔ＝９〜１３の間、リスト要素が“２”で連続していることが確認され、ｔ＝１４〜１５の間、リスト要素が“３”で連続していることが確認されているので、リスト要素“１”の存在時間が“８”になり、リスト要素“２”の存在時間が“５”になり、リスト要素“３”の存在時間が“２”になる。
【００５８】
ここで、図３７は画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊにおける出現時刻、消失時刻及び存在時間を示す説明図である。
図３７では、○−○−○のように、３つの数字が並んでいるが、左側の数字が時間的に連続しているリスト要素の出現時刻、真中の数字が時間的に連続しているリスト要素の存在時間、右側の数字が時間的に連続しているリスト要素の消失時刻を示している。
【００５９】
特定処理部３４ｃは、時間的に連続しているリスト要素の存在時間を算出すると、出現時刻、消失時刻及び存在時間が同一である隣接画素群を探索し、同一の領域を構成している隣接画素群を特定する（図３４のステップＳＴ４３）。
図３８は同一の領域を構成している隣接画素群を示す説明図である。
図３８の例では、画素Ａ，Ｂ，Ｃ，Ｄが同領域（１）を構成し、画素Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊが同領域（２），同領域（３）を構成し、画素Ｆが同領域（４）を構成している。
厳密には、画素Ｆの場合、リスト要素が“２”で連続している時間帯がｔ＝９〜１３の時間帯であり、画素Ｅ，Ｇ，Ｈ，Ｉ，Ｊにおいて、リスト要素が“２”で連続している時間帯であるｔ＝９〜１５と異なっているが、画素Ｅ，Ｇ，Ｈ，Ｉ，Ｊに対する画素Ｆのリスト要素が“２”で連続している時間帯の合致率が、事前に設定されている合致率以上であるため、画素Ｆを同一の領域を構成している隣接画素群に含めている。事前に設定されている合致率は、ユーザが任意に設定することができる。小さな値の合致率が設定されれば、同一の領域を構成している隣接画素群が大きくなるため、後段の処理負荷が軽減されるが、後段の処理精度を高めるには、ある程度、大きな値を設定する必要がある。このため、合致率としては、７０％以上が望ましいと考えられる。
【００６０】
特定処理部３４ｃは、同一の領域を構成している隣接画素群を特定すると、隣接画素群が構成している同領域（１）〜（４）の面積を算出する（図３４のステップＳＴ４４）。
図３９は同領域（１）〜（４）の面積を示す説明図である。
特定処理部３４ｃは、隣接画素群が構成している同領域（１）〜（４）の面積を算出すると、同領域（１）〜（４）の面積と、同領域（１）〜（４）の存在時間との２軸で、同領域（１）〜（４）をマッピングし、例えば、群平均法等のクラスタリング方法を用いて、同領域（１）〜（４）のクラスタ分けを行う（図３４のステップＳＴ４５）。
同領域（１）〜（４）のクラスタ分けを行うことで、同領域（１）（２）が野原と川かなる背景、同領域（３）が道路、同領域（４）が自動車などに分類される。
同領域（１）〜（４）のクラスタ分けを行うクラスタリング方法自体は、公知の技術であるため詳細な説明を省略するが、クラスタリング方法として、群平均法のほか、ｋ−ｍｅａｎｓ法などが考えられる。
【００６１】
図４０は入力受付部３４ｄ及び表示処理部３４ｅの処理内容を示すフローチャートである。
図４１は表示処理部３４ｅの表示例を示す説明図である。
表示処理部３４ｅは、特定処理部３４ｃが複数の同領域のクラスタ分けを行うと、画像記憶部１に記憶されている最新の時系列画像ＰＮをディスプレイに表示する（図４０のステップＳＴ５１）。
また、表示処理部３４ｅは、特定処理部３４ｃにより特定された同一の領域を構成している隣接画素群の領域境界を描画する（図４０のステップＳＴ５２）。
図４１の例では、同領域である道路の領域境界と、同領域である自動車の領域境界とを太線で描画している。
【００６２】
ユーザが、例えば、物体である自動車の属性情報の表示を希望する場合、ユーザが、入力受付部３４ｄにおける例えばマウスなどのマンマシンインタフェースを操作して、その自動車の領域をクリックすると（図４０のステップＳＴ５３：ＹＥＳの場合）、入力受付部３４ｄが、自動車の属性情報の提示指示を受け付ける（ステップＳＴ５４）。
ここでは、自動車の属性情報の提示指示を受け付ける例を示しているが、自動車の属性情報に限るものではなく、道路などの属性情報の提示指示を受け付けるものであってもよい。
【００６３】
表示処理部３４ｅは、入力受付部３４ｄが自動車の属性情報の提示指示を受け付けると、特定処理部３４ｃにより特定された自動車の領域の出現時刻、消失時刻及び存在時間を、物体である自動車の属性情報として、ディスプレイに表示する（図４０のステップＳＴ５５）。
図４１の例では、自動車の領域の出現時刻として、出現時刻ｔ＝１４、消失時刻ｔ＝１５、存在時間“２”が表示されている。
また、表示処理部３４ｅは、物体である自動車の属性情報を表示している場合、特定処理部３４ｃのクラスタリングによって、当該自動車と別の自動車が分類されていれば、別の自動車の画像を表示するようにしてもよい。
図４１の例では、属性情報を表示している自動車の前方の自動車と後方の自動車の画像が表示されている。
【００６４】
以上で明らかなように、この実施の形態２によれば、背景画像生成装置３０の背景画像生成部４により生成された背景画像と、背景画像生成装置３０の射影変換部３により射影変換された各時系列画像との差分を示す差分画像をそれぞれ生成する差分画像生成部３２と、差分画像生成部３２により生成された各差分画像をそれぞれ逆射影変換することで、各逆射影画像を生成する逆射影変換部３３とを設け、物体検出部３４が、逆射影変換部３３により生成された各逆射影画像から、カメラの撮影領域内に存在している物体を検出するように構成したので、カメラの撮影領域内に存在している物体を高精度に検出することができる効果を奏する。
【００６５】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００６６】
この発明に係る背景画像生成装置は、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の画像間の位置ずれを高精度に調整して、位置調整後の画像から背景画像を生成するものに適している。
【符号の説明】
【００６７】
１  画像記憶部、２  オプティカルフロー算出部、３  射影変換部、４  背景画像生成部、５  表示部、１１  記憶装置、１２  オプティカルフロー算出処理回路、１３  射影変換処理回路、１４  背景画像生成処理回路、１５  表示装置、２１  ＲＡＭ、２２  ハードディスク、２３  ＧＰＵ、２４  ディスプレイ、２５  プロセッサ、３０  背景画像生成装置、３１  光学補正部、３２  差分画像生成部、３３  逆射影変換部、３４  物体検出部、３４ａ  リスト生成部、３４ｂ  時系列画像更新部、３４ｃ  特定処理部、３４ｄ  入力受付部、３４ｅ  表示処理部、４１  光学補正処理回路、４２  差分画像生成処理回路、４３  逆射影変換処理回路、４４  物体検出処理回路、５１  メモリ、５２  プロセッサ。
【図１】
2017104042.tif 000004
【図２】
2017104042.tif 000005
【図３】
2017104042.tif 000006
【図４】
2017104042.tif 000007
【図５】
2017104042.tif 000008
【図６】
2017104042.tif 000009
【図７】
2017104042.tif 000010
【図８】
2017104042.tif 000011
【図９】
2017104042.tif 000012
【図１０】
2017104042.tif 000013
【図１１】
2017104042.tif 000014
【図１２】
2017104042.tif 000015
【図１３】
2017104042.tif 000016
【図１４】
2017104042.tif 000017
【図１５】
2017104042.tif 000018
【図１６】
2017104042.tif 000019
【図１７】
2017104042.tif 000020
【図１８】
2017104042.tif 000021
【図１９】
2017104042.tif 000022
【図２０】
2017104042.tif 000023
【図２１】
2017104042.tif 000024
【図２２】
2017104042.tif 000025
【図２３】
2017104042.tif 000026
【図２４】
2017104042.tif 000027
【図２５】
2017104042.tif 000028
【図２６】
2017104042.tif 000029
【図２７】
2017104042.tif 000030
【図２８】
2017104042.tif 000031
【図２９】
2017104042.tif 000032
【図３０】
2017104042.tif 000033
【図３１】
2017104042.tif 000034
【図３２】
2017104042.tif 000035
【図３３】
2017104042.tif 000036
【図３４】
2017104042.tif 000037
【図３５】
2017104042.tif 000038
【図３６】
2017104042.tif 000039
【図３７】
2017104042.tif 000040
【図３８】
2017104042.tif 000041
【図３９】
2017104042.tif 000042
【図４０】
2017104042.tif 000043
【図４１】
2017104042.tif 000044
【手続補正書】
【提出日】平成28年5月25日(2016.5.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明に係る背景画像生成装置は、移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、その基準画像と残りの各時系列画像との間の画素単位のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、オプティカルフロー算出部により算出された画素単位のオプティカルフローを用いて、各時系列画像をそれぞれ射影変換することで、その基準画像に対する各時系列画像の位置合わせを行う射影変換部とを設け、背景画像生成部が、射影変換部により射影変換された各時系列画像及び基準画像の合成画像を背景画像として生成するようにしたものである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
この発明によれば、オプティカルフロー算出部により算出された画素単位のオプティカルフローを用いて、各時系列画像をそれぞれ射影変換することで、基準画像に対する各時系列画像の位置合わせを行う射影変換部を設け、背景画像生成部が、射影変換部により射影変換された各時系列画像及び基準画像の合成画像を背景画像として生成するように構成したので、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の画像間の位置ずれを高精度に調整して、位置調整後の画像から背景画像を生成することができる効果がある。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、前記基準画像と残りの各時系列画像との間の画素単位のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出された画素単位のオプティカルフローを用いて、前記各時系列画像をそれぞれ射影変換することで、前記基準画像に対する前記各時系列画像の位置合わせを行う射影変換部と、
前記射影変換部により射影変換された各時系列画像及び前記基準画像の合成画像を背景画像として生成する背景画像生成部と
を備えた背景画像生成装置。
【請求項２】
前記背景画像生成部は、前記射影変換部により射影変換された各時系列画像及び前記基準画像における同一座標の画素単位に輝度値の統計量を算出し、前記背景画像の各画素の輝度値として、各画素の前記統計量を設定することを特徴とする請求項１記載の背景画像生成装置。
【請求項３】
前記カメラにより撮影された複数の時系列画像を構成している画素の輝度値から、前記カメラの撮影領域内で、影が現れている影部の領域を検出して、前記影部を構成している画素の輝度値を高める光学補正部を備え、
前記光学補正部により輝度値が高められた複数の時系列画像が前記オプティカルフロー算出部に出力されることを特徴とする請求項１記載の背景画像生成装置。
【請求項４】
移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、前記基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出されたオプティカルフローを用いて、前記各時系列画像をそれぞれ射影変換することで、前記基準画像に対する前記各時系列画像の位置合わせを行う射影変換部と、
前記射影変換部により射影変換された各時系列画像及び前記基準画像の合成画像を背景画像として生成する背景画像生成部と、
前記背景画像生成部により生成された背景画像と、前記射影変換部により射影変換された各時系列画像との差分を示す差分画像をそれぞれ生成する差分画像生成部と、
前記差分画像生成部により生成された各差分画像をそれぞれ逆射影変換することで、各逆射影画像を生成する逆射影変換部と、
前記逆射影変換部により生成された各逆射影画像から、前記カメラの撮影領域内に存在している物体を検出する物体検出部と
を備えた物体検出装置。
【請求項５】
前記物体検出部は、
前記逆射影変換部により生成された各逆射影画像を構成している画素毎に、当該画素が背景を構成している画素であるか否かを判別して、その判別結果を示すリストを生成するリスト生成部と、
前記カメラにより撮影された複数の時系列画像を構成する画素の中から、前記リスト生成部により背景を構成している画素であると判別された画素以外の画素をそれぞれ抜き出して、前記複数の時系列画像を更新する時系列画像更新部とを備え、
前記時系列画像更新部により複数の時系列画像が更新される毎に、更新後の複数の時系列画像を用いて、前記オプティカルフロー算出部、前記射影変換部、前記背景画像生成部、前記差分画像生成部、前記逆射影変換部及び前記リスト生成部が処理を繰り返し実施し、
さらに、前記物体検出部は、
前記繰り返し処理の終了後の前記リストに示されている判別結果から、前記カメラの撮影領域内に存在している物体の出現時刻、消失時刻及び存在時間を特定する特定処理部を備えていることを特徴とする請求項４記載の物体検出装置。
【請求項６】
前記カメラにより撮影された複数の時系列画像を構成している画素の輝度値から、前記カメラの撮影領域内で、影が現れている影部の領域を検出して、前記影部を構成している画素の輝度値を高める光学補正部を備え、
前記光学補正部により輝度値が高められた複数の時系列画像が前記オプティカルフロー算出部に出力されることを特徴とする請求項４記載の物体検出装置。
【手続補正書】
【提出日】平成28年10月11日(2016.10.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明に係る背景画像生成装置は、移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、その基準画像と残りの各時系列画像との間の画素単位に個別の並進量を定義したオプティカルフローを各時系列画像の全画素についてそれぞれ算出するオプティカルフロー算出部と、オプティカルフロー算出部により算出された画素単位に個別の並進量を定義したオプティカルフローのうち対応するオプティカルフローをそれぞれ用いて、各時系列画像の各画素をそれぞれ射影変換することで、その基準画像に対する各時系列画像の位置合わせを行う射影変換部とを設け、背景画像生成部が、射影変換部により射影変換された各時系列画像及び基準画像の合成画像を背景画像として生成するようにしたものである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
この発明によれば、オプティカルフロー算出部により算出された画素単位に個別の並進量を定義したオプティカルフローのうち対応するオプティカルフローをそれぞれ用いて、各時系列画像の各画素をそれぞれ射影変換することで、基準画像に対する各時系列画像の位置合わせを行う射影変換部を設け、背景画像生成部が、射影変換部により射影変換された各時系列画像及び基準画像の合成画像を背景画像として生成するように構成したので、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の画像間の位置ずれを高精度に調整して、位置調整後の画像から背景画像を生成することができる効果がある。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、前記基準画像と残りの各時系列画像との間の画素単位に個別の並進量を定義したオプティカルフローを前記各時系列画像の全画素についてそれぞれ算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出された画素単位に個別の並進量を定義したオプティカルフローのうち対応するオプティカルフローをそれぞれ用いて、前記各時系列画像の各画素をそれぞれ射影変換することで、前記基準画像に対する前記各時系列画像の位置合わせを行う射影変換部と、
前記射影変換部により射影変換された各時系列画像及び前記基準画像の合成画像を背景画像として生成する背景画像生成部と
を備えた背景画像生成装置。
【請求項２】
前記背景画像生成部は、前記射影変換部により射影変換された各時系列画像及び前記基準画像における同一座標の画素単位に輝度値の統計量を算出し、前記背景画像の各画素の輝度値として、各画素の前記統計量を設定することを特徴とする請求項１記載の背景画像生成装置。
【請求項３】
前記カメラにより撮影された複数の時系列画像を構成している画素の輝度値から、前記カメラの撮影領域内で、影が現れている影部の領域を検出して、前記影部を構成している画素の輝度値を高める光学補正部を備え、
前記光学補正部により輝度値が高められた複数の時系列画像が前記オプティカルフロー算出部に出力されることを特徴とする請求項１記載の背景画像生成装置。
【請求項４】
移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、前記基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出されたオプティカルフローを用いて、前記各時系列画像をそれぞれ射影変換することで、前記基準画像に対する前記各時系列画像の位置合わせを行う射影変換部と、
前記射影変換部により射影変換された各時系列画像及び前記基準画像の合成画像を背景画像として生成する背景画像生成部と、
前記背景画像生成部により生成された背景画像と、前記射影変換部により射影変換された各時系列画像との差分を示す差分画像をそれぞれ生成する差分画像生成部と、
前記差分画像生成部により生成された各差分画像をそれぞれ逆射影変換することで、各逆射影画像を生成する逆射影変換部と、
前記逆射影変換部により生成された各逆射影画像から、前記カメラの撮影領域内に存在している物体を検出する物体検出部と
を備えた物体検出装置。
【請求項５】
前記物体検出部は、
前記逆射影変換部により生成された各逆射影画像を構成している画素毎に、当該画素が背景を構成している画素であるか否かを判別して、その判別結果を示すリストを生成するリスト生成部と、
前記カメラにより撮影された複数の時系列画像を構成する画素の中から、前記リスト生成部により背景を構成している画素であると判別された画素以外の画素をそれぞれ抜き出して、前記複数の時系列画像を更新する時系列画像更新部とを備え、
前記時系列画像更新部により複数の時系列画像が更新される毎に、更新後の複数の時系列画像を用いて、前記オプティカルフロー算出部、前記射影変換部、前記背景画像生成部、前記差分画像生成部、前記逆射影変換部及び前記リスト生成部が処理を繰り返し実施し、
さらに、前記物体検出部は、
前記繰り返し処理の終了後の前記リストに示されている判別結果から、前記カメラの撮影領域内に存在している物体の出現時刻、消失時刻及び存在時間を特定する特定処理部を備えていることを特徴とする請求項４記載の物体検出装置。
【請求項６】
前記カメラにより撮影された複数の時系列画像を構成している画素の輝度値から、前記カメラの撮影領域内で、影が現れている影部の領域を検出して、前記影部を構成している画素の輝度値を高める光学補正部を備え、
前記光学補正部により輝度値が高められた複数の時系列画像が前記オプティカルフロー算出部に出力されることを特徴とする請求項４記載の物体検出装置。
【手続補正書】
【提出日】平成29年3月13日(2017.3.13)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明に係る物体検出装置は、移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、その基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、オプティカルフロー算出部により算出されたオプティカルフローを用いて、各時系列画像をそれぞれ射影変換することで、その基準画像に対する各時系列画像の位置合わせを行う射影変換部と、射影変換部により射影変換された各時系列画像及び基準画像の合成画像を背景画像として生成する背景画像生成部と、背景画像生成部により生成された背景画像と、射影変換部により射影変換された各時系列画像との差分を示す差分画像をそれぞれ生成する差分画像生成部と、差分画像生成部により生成された各差分画像をそれぞれ逆射影変換することで、各逆射影画像を生成する逆射影変換部と、逆射影変換部により生成された各逆射影画像から、カメラの撮影領域内に存在している物体を検出する物体検出部とを備えたものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
この発明によれば、オプティカルフロー算出部により算出されたオプティカルフローを用いて、各時系列画像をそれぞれ射影変換することで、基準画像に対する各時系列画像の位置合わせを行う射影変換部と、射影変換部により射影変換された各時系列画像及び基準画像の合成画像を背景画像として生成する背景画像生成部と、背景画像生成部により生成された背景画像と、射影変換部により射影変換された各時系列画像との差分を示す差分画像をそれぞれ生成する差分画像生成部と、差分画像生成部により生成された各差分画像をそれぞれ逆射影変換することで、各逆射影画像を生成する逆射影変換部と、逆射影変換部により生成された各逆射影画像から、カメラの撮影領域内に存在している物体を検出する物体検出部とを備えるように構成したので、輝度差の勾配が大きい特徴点が存在しない場合や、数多くの特徴点が存在する場合でも、複数の画像間の位置ずれを高精度に調整して、位置調整後の画像から背景画像を生成することができる効果がある。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動可能なカメラにより同一の撮影領域が異なる時刻に撮影された複数の時系列画像のうち、いずれか１つの時系列画像を基準画像とし、前記基準画像と残りの各時系列画像との間のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出されたオプティカルフローを用いて、前記各時系列画像をそれぞれ射影変換することで、前記基準画像に対する前記各時系列画像の位置合わせを行う射影変換部と、
前記射影変換部により射影変換された各時系列画像及び前記基準画像の合成画像を背景画像として生成する背景画像生成部と、
前記背景画像生成部により生成された背景画像と、前記射影変換部により射影変換された各時系列画像との差分を示す差分画像をそれぞれ生成する差分画像生成部と、
前記差分画像生成部により生成された各差分画像をそれぞれ逆射影変換することで、各逆射影画像を生成する逆射影変換部と、
前記逆射影変換部により生成された各逆射影画像から、前記カメラの撮影領域内に存在している物体を検出する物体検出部と
を備えた物体検出装置。
【請求項２】
前記物体検出部は、
前記逆射影変換部により生成された各逆射影画像を構成している画素毎に、当該画素が背景を構成している画素であるか否かを判別して、その判別結果を示すリストを生成するリスト生成部と、
前記カメラにより撮影された複数の時系列画像を構成する画素の中から、前記リスト生成部により背景を構成している画素であると判別された画素以外の画素をそれぞれ抜き出して、前記複数の時系列画像を更新する時系列画像更新部とを備え、
前記時系列画像更新部により複数の時系列画像が更新される毎に、更新後の複数の時系列画像を用いて、前記オプティカルフロー算出部、前記射影変換部、前記背景画像生成部、前記差分画像生成部、前記逆射影変換部及び前記リスト生成部が処理を繰り返し実施し、
さらに、前記物体検出部は、
前記繰り返し処理の終了後の前記リストに示されている判別結果から、前記カメラの撮影領域内に存在している物体の出現時刻、消失時刻及び存在時間を特定する特定処理部を備えていることを特徴とする請求項１記載の物体検出装置。
【請求項３】
前記カメラにより撮影された複数の時系列画像を構成している画素の輝度値から、前記カメラの撮影領域内で、影が現れている影部の領域を検出して、前記影部を構成している画素の輝度値を高める光学補正部を備え、
前記光学補正部により輝度値が高められた複数の時系列画像が前記オプティカルフロー算出部に出力されることを特徴とする請求項１記載の物体検出装置。
【国際調査報告】
2017104042.tif 000045
2017104042.tif 000046