(57)【要約】【課題】本発明は、例えば目標が周波数変化する場合であっても、装置全体を大規模化および複雑化することなく、その目標を含む画像により該目標を正確に検出する。【解決手段】目標の画像を含むフレーム単位の複数の時系列画像に基づいて目標の候補領域を検出する画像目標検出装置１、複数の時系列画像における時間的に隣接する画像間の画素毎の差分を求めて複数の差分画像を生成する差分処理部２０と、生成された複数の差分画像それぞれの絶対値を画素毎に求めて複数の差分絶対値画像を生成し、生成した複数の差分絶対値画像を出力する絶対値処理部２１と、絶対値処理部２１から出力された複数の差分絶対値画像を所定の積分係数に基づいて画素毎に時間的に積分して積分画像を生成する積分処理部２２と、備えている。【選択図】      図１
2004259128.tif 000002
【特許請求の範囲】
【請求項１】
目標の画像を含むフレーム単位の複数の時系列画像に基づいて前記目標の候補領域を検出する画像目標検出装置であって、
前記複数の時系列画像における時間的に隣接する画像間の画素毎の差分を求めて複数の差分画像を生成する差分画像生成手段と、
生成された複数の差分画像それぞれの絶対値を画素毎に求めて複数の差分絶対値画像を生成し、生成した複数の差分絶対値画像を出力する差分絶対値画像生成手段と、
前記差分絶対値画像生成手段から出力された複数の差分絶対値画像を所定の積分係数に基づいて画素毎に時間的に積分して積分画像を生成する積分画像生成手段と、を備えたことを特徴とする画像目標検出装置。
【請求項２】
前記生成された積分画像を所定のしきい値に基づいて２値化処理して、前記目標の候補領域の画素値を１および背景領域の画素値を０とする２値化画像を生成する２値化手段をさらに備えたことを特徴とする請求項１記載の画像目標検出装置。
【請求項３】
前記積分画像生成手段は、前記積分画像として、前記複数フレームの差分絶対値画像に対応した複数フレームの積分画像を生成して出力するようになっており、
前記積分画像生成手段は、前記出力された各フレームの積分画像の各画素の画素値の平均値を計算し、前記各画素の画素値および前記計算された平均値に基づいて当該各フレームの積分画像における各画素の分散を計算する計算手段と、計算された平均値に基づいて、前記各フレームの積分画像の次フレームの積分画像に対する所定の積分係数を求める手段とをさらに備え、
前記２値化手段は、計算された平均値および分散に基づいて前記所定のしきい値を求める手段をさらに備えたことを特徴とする請求項２記載の画像目標検出装置。
【請求項４】
前記積分画像生成手段は、前記各フレームの差分絶対値画像を蓄積する蓄積処理部と、この蓄積処理部により蓄積された各フレームの差分絶対値画像の各画素に前記所定の積分係数を乗算し、当該所定の積分係数が乗算された各フレームの差分絶対値画像を、当該各フレームの差分絶対値画像の次フレームの差分絶対値画像に対して画素毎に積算し、この積算結果を次フレームの差分絶対値画像として前記蓄積処理部に送るとともに、前記次フレームの差分絶対値画像に対応する次フレームの積分画像として出力する積算処理部とを備えたことを特徴とする請求項３記載の画像目標検出装置。
【請求項５】
前記目標候補領域となる２値化画像を、複数画素から成るセグメントに分割し、各セグメントにおける画素値１が互いに連結されている領域に同一のラベルを付ける手段と、
前記ラベル付けされたそれぞれの領域における特徴量を表すパラメータを抽出し、抽出されたそれぞれの領域を、その特徴量パラメータに基づいて評価し、その評価値の最も高い領域を前記目標の領域として検出する手段と、を備えたことを特徴とする請求項４記載の画像目標検出装置。
【請求項６】
前記特徴量を表すパラメータは、前記それぞれの領域における平滑化最大値、微分最大値、差分最大値、移動方向および移動量を含むことを特徴とする請求項５記載の画像目標検出装置。
【請求項７】
目標の画像を含むフレーム単位の複数の時系列画像に基づいて前記目標の候補領域を検出するためのコンピュータが実行可能な画像目標検出用プログラムであって、
前記コンピュータを、
前記複数の時系列画像における時間的に隣接する画像間の画素毎の差分を求めて複数の差分画像を生成する差分画像生成手段と、
生成された複数の差分画像それぞれの絶対値を画素毎に求めて複数の差分絶対値画像を生成し、生成した複数の差分絶対値画像を出力する差分絶対値画像生成手段と、
前記差分絶対値画像生成手段から出力された複数の差分絶対値画像を所定の積分係数に基づいて画素毎に時間的に積分して積分画像を生成する積分画像生成手段と、
してそれぞれ機能させることを特徴とする画像目標検出用プログラム。
【請求項８】
目標の画像を含むフレーム単位の複数の時系列画像に基づいて前記目標の候補領域を検出する画像目標検出方法であって、
前記複数の時系列画像における時間的に隣接する画像間の画素毎の差分を求めて複数の差分画像を生成するステップと、
生成された複数の差分画像それぞれの絶対値を画素毎に求めて複数の差分絶対値画像を生成し、生成した複数の差分絶対値画像を出力するステップと、
前記差分絶対値画像生成ステップにより出力された複数の差分絶対値画像を所定の積分係数に基づいて画素毎に時間的に積分して積分画像を生成するステップと、を備えたことを特徴とする画像目標検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、可視光センサ、赤外線等の放射光センサ等の画像センサにより得られた目標の画像を含む時系列画像に基づいて、その目標の候補領域を検出するための画像目標検出方法および装置に関し、特に、画像上において明滅する目標の候補領域を検出することができる画像目標検出方法および装置、ならびに画像目標検出用プログラムに関する。
【０００２】
【従来の技術】
従来、画像センサにより得られた移動物体等の目標の画像に基づいて目標を検出する目標検出処理として、例えば図８に示すものが知られている。
【０００３】
この図８に示す目標検出処理部５０によれば、画像センサ５１により取得された目標を含む画像の各画素は、前処理部５２により、その周辺画素との間で平均化され、ノイズが除去（平滑化）された画像が得られる。
【０００４】
この平滑化画像は、特徴抽出部５３により微分処理が施され、複数の目標候補となる部分（領域；目標候補領域とする）のエッジが強調される。このエッジが強調された画像は、特徴抽出部５３における空間フィルタを介して所定のしきい値に基づいて２値化処理され、目標候補領域が抽出される。
【０００５】
そして、抽出された目標候補画像の例えば面積、重心位置、縦横比等の特徴量が目標判定部５４により複合的に評価され、目標候補領域の中から目標位置に対応する目標候補領域が判定される。
【０００６】
また、移動物体等の目標を検出する装置として、３６０°の全方位についての赤外線画像を撮像する入射光学部を用いた装置が知られている（例えば、特許文献１参照）。
【０００７】
【特許文献１】
特開２０００−３４６９２３
【０００８】
【発明が解決しようとする課題】
例えばヘリコプターのロータ部分等の回転部材を目標として検出する場合、回転部材は、その回転により画像上において明滅する。
【０００９】
このように周期的に明滅するロータ部分を図８に示す目標検出処理を用いて検出する場合、その目標検出処理における特徴抽出部５３においては、周波数成分を全く考慮することなく特徴抽出処理を行っているため、ロータ部分の周波数成分を抽出することが困難であり、目標を正確に検出することができなかった。
【００１０】
この点、上記特許文献１においては、入射光学部およびデローテーションプリズムを回転させることにより、周期的に回転するロータ部分の検出を図っている。
【００１１】
しかしながら、特許文献１の構成では、入射光学系として、入射光学部、デローテションプリズムおよびこの両者を回転制御する部材が必要になり、目標検出装置全体の大規模化および複雑化を招いていた。
【００１２】
本発明は、上記に鑑みてなされたもので、その目的としては、例えば目標が周波数変化する場合であっても、装置全体を大規模化および複雑化することなく、その目標を含む画像により該目標を正確に検出することができる画像目標検出方法および装置、ならびに画像目標検出用プログラムを提供することにある。
【００１３】
【課題を解決するための手段】
本発明は、上記課題を解決するため、目標の画像を含むフレーム単位の複数の時系列画像に基づいて前記目標の候補領域を検出する画像目標検出装置であって、前記複数の時系列画像における時間的に隣接する画像間の画素毎の差分を求めて複数の差分画像を生成する差分画像生成手段と、生成された複数の差分画像それぞれの絶対値を画素毎に求めて複数の差分絶対値画像を生成し、生成した複数の差分絶対値画像を出力する差分絶対値画像生成手段と、前記差分絶対値画像生成手段から出力された複数の差分絶対値画像を所定の積分係数に基づいて画素毎に時間的に積分して積分画像を生成する積分画像生成手段と、備えたことを要旨とする。
【００１４】
または、本発明は、上記課題を解決するため、前記生成された積分画像を所定のしきい値に基づいて２値化処理して、前記目標の候補領域の画素値を１および背景領域の画素値を０とする２値化画像を生成する２値化手段をさらに備えている。
【００１５】
または、本発明は、上記課題を解決するため、前記積分画像生成手段は、前記積分画像として、前記複数フレームの差分絶対値画像に対応した複数フレームの積分画像を生成して出力するようになっており、前記積分画像生成手段が、前記出力された各フレームの積分画像の各画素の画素値の平均値を計算し、前記各画素の画素値および前記計算された平均値に基づいて当該各フレームの積分画像における各画素の分散を計算する計算手段と、計算された平均値に基づいて、前記各フレームの積分画像の次フレームの積分画像に対する所定の積分係数を求める手段とをさらに備え、前記２値化手段は、計算された平均値および分散に基づいて前記所定のしきい値を求める手段をさらに備えたことを要旨とする。
【００１６】
または、本発明は、上記課題を解決するため、前記積分画像生成手段が、前記各フレームの差分絶対値画像を蓄積する蓄積処理部と、この蓄積処理部により蓄積された各フレームの差分絶対値画像の各画素に前記所定の積分係数を乗算し、当該所定の積分係数が乗算された各フレームの差分絶対値画像を、当該各フレームの差分絶対値画像の次フレームの差分絶対値画像に対して画素毎に積算し、この積算結果を次フレームの差分絶対値画像として前記蓄積処理部に送るとともに、前記次フレームの差分絶対値画像に対応する次フレームの積分画像として出力する積算処理部とを備えたことを要旨とする。
【００１７】
または、本発明は、上記課題を解決するため、前記目標候補領域となる２値化画像を、複数画素から成るセグメントに分割し、各セグメントにおける画素値１が互いに連結されている領域に同一のラベルを付ける手段と、前記ラベル付けされたそれぞれの領域における特徴量を表すパラメータを抽出し、抽出されたそれぞれの領域を、その特徴量パラメータに基づいて評価し、その評価値の最も高い領域を前記目標の領域として検出する手段と、を備えたことを要旨とする。
【００１８】
または、本発明は、上記課題を解決するため、前記特徴量を表すパラメータが、前記それぞれの領域における平滑化最大値、微分最大値、差分最大値、移動方向および移動量を含むことを要旨とする。
【００１９】
または、本発明は、上記課題を解決するため、目標の画像を含むフレーム単位の複数の時系列画像に基づいて前記目標の候補領域を検出するためのコンピュータが実行可能な画像目標検出用プログラムであって、前記コンピュータを、前記複数の時系列画像における時間的に隣接する画像間の画素毎の差分を求めて複数の差分画像を生成する差分画像生成手段と、生成された複数の差分画像それぞれの絶対値を画素毎に求めて複数の差分絶対値画像を生成し、生成した複数の差分絶対値画像を出力する差分絶対値画像生成手段と、前記差分絶対値画像生成手段から出力された複数の差分絶対値画像を所定の積分係数に基づいて画素毎に時間的に積分して積分画像を生成する積分画像生成手段と、してそれぞれ機能させることを要旨とする。
【００２０】
または、本発明は、上記課題を解決するため、目標の画像を含むフレーム単位の複数の時系列画像に基づいて前記目標の候補領域を検出する画像目標検出方法であって、
前記複数の時系列画像における時間的に隣接する画像間の画素毎の差分を求めて複数の差分画像を生成するステップと、生成された複数の差分画像それぞれの絶対値を画素毎に求めて複数の差分絶対値画像を生成し、生成した複数の差分絶対値画像を出力するステップと、前記差分絶対値画像生成ステップにより出力された複数の差分絶対値画像を所定の積分係数に基づいて画素毎に時間的に積分して積分画像を生成するステップと、を備えたことを要旨とする。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態に係る画像目標検出方法および装置、ならびに画像目標検出用プログラムを図面を参照して説明する。なお、本実施形態においては、例えばヘリコプターのロータ部分等、回転等の動作により画像上において明滅する部分を目標として、その目標を検出する場合について説明する。
【００２２】
図１は、本発明の実施の形態に係る画像目標検出装置１の概略構成を示す図である。
【００２３】
図１に示すように、画像目標検出装置１は、目標から反射された可視光、赤外線等の光線（ビーム）に基づいて撮像された目標の画像（フレーム画像）を含む複数｛（目標検出に必要な計算フレーム数ｎ（ｎは２以上の整数）｝の時系列画像が画像センサから装置１に対して順次入力された際に、その入力された複数の時系列画像に基づいて、目標を検出する装置である。
【００２４】
すなわち、画像目標装置１は、入力された複数の時系列画像に基づいて、その時系列画像に含まれる周期的に明滅する目標の周波数変調成分を検出する時間フィルタ２と、この時間フィルタ２により検出された周波数変調成分を所定のしきい値ｔを用いて２値化処理して、目標の候補となる領域（目標候補領域）の画素値（輝度値）を１、それ以外の背景領域の画素値を０とする２値化画像を抽出するため２値化処理部３とを備えている。
【００２５】
また、画像目標検出装置１は、入力された各時系列画像の所定の画素領域毎に、その中央の画素を各所定の領域の平均値に置き換えて雑音を除去するための平滑処理部５と、この平滑処理部５により平滑化された各時系列画像の各画素値を、その各画素値の近傍の画素値との差を用いて微分することにより、上記各時系列画像のエッジを強調するための微分処理部６とを備えている。
【００２６】
また、画像目標検出装置１は、平滑処理部５により平滑化された各時系列画像を所定のしきい値を用いて２値化処理して２値化画像を生成するための２値化処理部１０と、微分処理部６によりエッジ強調された微分画像を所定のしきい値を用いて２値化処理して２値化画像を生成するための２値化処理部１１とを備えている。
【００２７】
さらに、画像目標検出装置１は、２値化処理部３により抽出された目標候補領域を含む２値化画像を、２値化処理部１０により求められた２値化画像および２値化処理部１１により得られた２値化画像と比較することにより、目標候補領域から、検出目標となる目標領域を判定する目標領域判定部１２を備えている。
【００２８】
時間フィルタ２は、図１に示すように、入力された複数の時系列画像における時間的に隣接する画像間の画素毎の差分を求めて複数の差分画像を生成するための差分処理部２０と、この差分処理部２０により生成された複数の差分画像それぞれの絶対値を画素毎に求めて複数の差分絶対値画像を生成し、生成した複数の差分絶対値画像を出力する絶対値処理部２１とを備えている。
【００２９】
また、時間フィルタ２は、絶対値処理部２１から出力された複数の差分絶対値画像を所定の積分係数ｋに基づいて画素毎に時間的に積分して積分画像を生成する積分処理部２２と、この積分処理部２２により生成された積分画像に基づいて所定の積分ｋおよび所定のしきい値ｔを計算し、計算された積分係数ｋを積分処理部２２にフィードバックし、計算されたしきい値ｔを２値化処理部３に送るしきい値・積分係数計算部２３とを備えている。
【００３０】
図２は、本実施形態の時間フィルタ２を構成する差分処理部２０、絶対値処理部２１、積分処理部２２およびしきい値・積分係数計算部２３の概略構成を示すブロック図である。
【００３１】
図２に示すように、時間フィルタ２の差分処理部２０は、例えば差分処理専用のワイヤードロジック回路により構成されており、少なくとも時系列画像の１フレーム分の記憶領域を有する画像メモリ３１と、順次入力される複数フレームの時系列画像を１フレーム毎に順次画像メモリ３１に蓄積する画像蓄積処理部３２と、画像メモリ３１に蓄積された時系列画像Ｉｈ−１（１≦ｈ（整数）≦ｎ；ただし、Ｉ０は、画像メモリ３１に画像が蓄積されていない状態を表す）の次フレームの時系列画像Ｉｈから、画像メモリ３１に蓄積された時系列画像Ｉｈ−１、すなわち、１フレーム前の時系列画像Ｉｈ−１を各画素毎に差分して差分画像Ｄｈを生成出力する差分画像生成出力部３３とを備えている。
【００３２】
また、絶対値処理部２１は、例えば絶対値処理専用のワイヤードロジック回路により構成されており、差分画像生成出力部３３から順次出力される各差分画像を構成する各画素の絶対値を求め、求めた各絶対値を各画素の画素値として各差分絶対値画像を生成し、生成した各差分絶対値画像を順次出力するようになっている。
【００３３】
さらに、積分処理部２２は、例えば積分処理専用のワイヤードロジック回路により構成されており、少なくとも時系列画像の１フレーム分の記憶領域を有する画像メモリ３５と、各フレームの差分絶対値画像を１フレーム画像ずつ画像メモリ３５に蓄積する蓄積処理部３６と、この蓄積処理部３６により画像メモリ３５に蓄積された各フレームの差分絶対値画像の各画素に所定の積分係数ｋを掛ける乗算部３７と、この乗算処理部３７により所定の積分係数ｋが掛けられた各フレームの差分絶対値画像を、その各フレームの差分絶対値画像の次フレームの差分絶対値画像に対して画素毎に積算し、この積算結果を次フレームの差分絶対値画像として遅延処理部３６に送るとともに、次フレームの差分絶対値画像に対応する次フレームの積分画像として出力する積算部３８とを備えている。
【００３４】
しきい値・積分係数計算部２３は、例えばしきい値および積分係数計算処理専用のワイヤードロジック回路により構成されており、図２に示すように、積分処理部２２から出力される各積分画像（総称してＩＮとする）の画素数をＮとした場合、下式（１）に基づいて各積分画像ＩＮの平均値ＡＶを計算するとともに、計算された平均値ＡＶに基づいて各積分画像ＩＮの分散σ２を下式（２）に基づいて計算する平均値・分散計算部４０を備えている。
【００３５】
【数１】
2004259128.tif 000003
【数２】
2004259128.tif 000004
【外１】
2004259128.tif 000005
また、しきい値・積分係数計算部２３は、第ｈフレームの積分画像ＩＮｈ（１≦ｈ≦ｎ）の積分係数ｋを、１フレーム前である第ｈ−１フレームの積分画像ＩＮｈの平均値ＡＶに基づいて計算する積分係数計算部４１と、各フレームの積分画像の平均値ＡＶおよび分散σ２に基づいて、その各フレームの積分画像のしきい値ｔを計算するしきい値計算部４２とを備えている。
【００３６】
積分係数計算部４１は、図３に示すように、平均値・分散計算部４０により求められた平均値ＡＶを外部から入力できる基準値ＳＴ｛例えば、画像全体の輝度（明るさ）調整用の基準値｝から減算する減算部５０と、この減算部５０により得られた増減量を、外部から入力できる可変係数ゲインに基づいて増幅する増幅部５１と、少なくとも時系列画像の１フレーム分の記憶領域を有する画像メモリ５２と、増幅部５１により増幅された第ｈ−１フレーム（１≦ｈ≦ｎ）に対応する係数増減量を１フレーム毎に画像メモリ５２に蓄積する蓄積処理部５５と、この蓄積処理部５５により蓄積された係数増減量を、その係数増減量の次フレームの係数増減量に対して画素毎に積算し、この積算された係数増減量を、次フレーム（第ｈフレーム（１≦ｈ≦ｎ））の係数増減量として出力する積算部５６とを備えている。
【００３７】
次に、本実施形態の画像目標検出装置１の全体動作について説明する。
【００３８】
画像目標検出装置１により、例えばヘリコプターのロータ部分等、回転等の動作により画像上において明滅する部分を目標として、その目標を検出する際、画像目標検出装置１には、例えば、可視光センサや放射線センサ等の画像センサにより時系列的に収集された目標の画像を含む複数（例えば、ｎ枚）の時系列画像Ｉ１〜Ｉｎが１フレーム毎に順次時間フィルタ２における差分処理部２０および平滑処理部５に入力される。
【００３９】
時間フィルタ２における差分処理部２０に入力された時系列画像Ｉ１〜Ｉｎ＋１は、画像蓄積処理部３２により１フレーム毎に画像メモリ３１に蓄積される。
【００４０】
今、画像メモリ３１に時系列画像Ｉｈ−１（１≦ｈ≦ｎ）が蓄積された状態において、次フレームの時系列画像（現在の入力画像）Ｉｈが入力されると、差分画像生成出力部３３により、画像メモリ３１に蓄積された時系列画像Ｉｈ−１から次フレームの時系列画像（現在の入力画像）Ｉｈが画素毎に差分（フレーム差分）され、差分画像（出力画像）Ｄｈが生成出力される（図４（ａ）、図４（ｂ）参照）。
【００４１】
このようにして、差分処理部２０に入力された時系列画像Ｉ１〜Ｉｎは、時間的に隣接する画素間の差分を表す差分画像Ｄ１〜Ｄｎとして順次絶対値処理部２１に出力される。
【００４２】
絶対値処理部２１では、差分画像生成出力部３３から順次出力される各差分画像Ｄ１〜Ｄｎにより各差分絶対値画像ＡＢ１〜ＡＢｎが生成され、生成された各差分絶対値画像ＡＢ１〜ＡＢｎは、順次積分処理部２２へ出力される。
【００４３】
積分処理部２２に順次入力された差分絶対値画像ＡＢ１〜ＡＢｎは、しきい値・積分係数計算部４１により計算された積分係数ｋに基づいて、積分処理部２２により画素毎に時間的に積分される。
【００４４】
例えば、差分絶対値画像ＡＢｈが入力されたとき、画像メモリ３５には、図５（ａ）および（ｂ）に示すように、差分絶対値画像ＡＢｈの１フレーム前（第ｈ−１フレーム）までの全ての入力画像ＡＢ１〜ＡＢｈ−１の積分結果を表す画像｛積分画像ＩＮｈ−１（＝ＡＢｈ−１＋ｋＡＢｈ−２＋ｋ２ＡＢｈ−３＋・・・＋ｋｈ−２ＡＢ１）｝が蓄積されている。
【００４５】
一方、しきい値・積分係数計算部２３の平均値・分散計算部４０では、積分処理部２２から出力される各積分画像ＩＮ１〜ＩＮｈ−１から、上式（１）に従って各積分画像ＩＮ１〜ＩＮｈ−１の平均値ＡＶが計算され、計算された平均値ＡＶに基づいて各積分画像ＩＮ１〜ＩＮｈ−１の分散σ２が上式（２）に基づいて計算されている。
【００４６】
このとき、しきい値・積分係数計算部２３の積分係数計算部４１においては、積分処理結果（各積分画像ＩＮ１〜ＩＮｈ−１）の平均値ＡＶと予め設定された基準値ＳＴとの差が一定、すなわち、積分処理結果（各積分画像ＩＮ１〜ＩＮｈ−１）の平均値ＡＶが予め設定された基準値ＳＴに保持されるように、積分処理部２２における積分係数ｋが増幅器５１の係数ゲインにより調整されている。
【００４７】
例えば、積分処理結果の平均値ＡＶが予め設定された基準値ＳＴより大きい場合には、積分係数ｋが小さくなるように係数ゲインが調整され、また、積分処理結果の平均値ＡＶが基準値ＳＴより小さい場合には、積分係数ｋが大きくなるように係数ゲインが調整される。
【００４８】
このようにして、第ｈ−１フレームまでの積分画像ＩＮｈ−１に基づいて次フレーム（第ｈフレーム）の積分画像に対応する積分係数ｋが計算されており、第ｈ−１フレームまでの積分結果を表す画像（ＡＢｈ−１＋ｋＡＢｈ−２＋ｋ２ＡＢｈ−３＋・・・＋ｋｈ−２ＡＢ１）に対して、乗算部３７により、計算された積分係数ｋが乗算される。
【００４９】
そして、積分係数ｋの乗算処理により得られた画像ｋ（ＡＢｈ＋ｋＡＢｈ−１＋ｋ２ＡＢｈ−２＋・・・＋ｋｈ−１ＡＢ１）に対して、第ｈフレームの差分絶対値画像ＡＢｈが積算部３８により画素毎に積算される。
【００５０】
この結果、第１〜第ｈの差分絶対値画像ＡＢ１〜ＡＢｈの積分結果を表す画像（ＡＢｈ＋ｋＡＢｈ−１＋ｋ２ＡＢｈ−２＋・・・＋ｋｈ−１ＡＢ１）が生成される。
【００５１】
生成された第１〜第ｈの差分絶対値画像ＡＢ１〜ＡＢｈの積分結果を表す画像（ＡＢｈ＋ｋＡＢｈ−１＋ｋ２ＡＢｈ−２＋・・・＋ｋｈ−１ＡＢ１）は、積分画像ＩＮｈとして、２値化処理部３に出力される（図５（ｂ）参照）。
【００５２】
このようにして、第ｎフレームの差分絶対値画像ＡＢｎが入力されると、積分処理部２２の積分処理により、第１〜第ｎの差分絶対値画像ＡＢ１〜ＡＢｎの積分結果を表す画像（ＡＢｎ＋ｋＡＢｎ−１＋ｋ２ＡＢｎ−２＋・・・＋ｋｎ−１ＡＢ１）が生成される。
【００５３】
生成された積分結果を表す画像（ＡＢｎ＋ｋＡＢｎ−１＋ｋ２ＡＢｎ−２＋・・・＋ｋｎ−１ＡＢ１）は、第ｎフレームまでの積分画像ＩＮｎ、すなわち、第１〜第ｎの差分絶対値画像ＡＢ１〜ＡＢｎ分が積算（積分）された積分画像ＩＮｎとして、２値化処理部３に出力される。
【００５４】
一方、しきい値・積分係数計算部２３のしきい値計算部４２では、図３に示すように、平均値・分散計算部４０から出力される各積分画像ＩＮ１〜ＩＮｎの平均値ＡＶおよび分散σ２に基づいて、積分画像毎にしきい値ｔが計算されており、計算されたしきい値ｔは、２値化処理部３に送信される。
【００５５】
２値化処理部３では、図６（ａ）および（ｂ）に示すように、例えば、積分画像ＩＮｈが入力されると、この積分画像ＩＮｈを構成する画素の画素値がしきい値ｔ以上の場合には、その画素が目的候補領域であると判断され、その画素の画素値が１に設定される。
【００５６】
この結果、図６（ｂ）に示すように、目的候補領域Ｒｈおよび背景領域Ｒｈａを含む２値化画像ＢＩｈが求められる。
【００５７】
このように、各積分画像ＩＮ１〜ＩＮｎが２値化処理部３に順次入力されると、２値化処理部３により、目的候補領域Ｒ１および背景領域Ｒ１ａを含む２値化画像ＢＩ１〜目的候補領域Ｒｎおよび背景領域Ｒｎａを含む２値化画像ＢＩｎが順次求められる。
【００５８】
このようにして求められた目標候補領域Ｒｈおよび背景領域Ｒｈａを含む２値化画像ＢＩｈの従来技術との差異について、図７を用いて説明する。
【００５９】
本実施形態においては、上述したように、例えばヘリコプターのロータ部分等、回転等の動作により画像上において明滅する部分を目標としているため、その入力画像Ｉｈの輝度分布は、図７の符号Ｔ１に示すように、周期的に変化している。
【００６０】
この点、従来のように、通常の空間フィルタを用いた２値化処理（しきい値に基づく目標候補領域抽出処理；図７の符号Ｔ２参照）では、図７の符号Ｔ３に示すように、画像上における消滅部分が背景領域と誤認識されることになり、正確な目標候補領域を抽出することができないことが分かる。
【００６１】
これに対して、本実施形態の画像目的検出装置１における時間フィルタ２の処理においては、図７の符号Ｔ１０に示すように、入力画像Ｉ１〜ＩＩｈに基づいて差分処理部２０により得られた差分画像Ｄ１〜Ｄｈは、絶対値処理部２１を介して、その−側の信号レベルが＋側に反転されて差分絶対値画像ＡＢ１〜ＡＢｈが生成される。
【００６２】
そして、生成された差分絶対値画像ＡＢ１〜ＡＢｈは、積分処理部２２により時間的に積分処理され、積分画像ＩＮｈが生成される。
【００６３】
このとき、積分画像ＩＮｈにおいては、差分絶対値画像ＡＢ１〜ＡＢｈの各画素の画素値が対応する積分係数ｋにより調整されながら積算（累積）されていくため、例えば、明滅部分、すなわち、周期的に画素値（輝度）が小さい画素領域が存在しても、その明滅部分に対応する画素領域は、図７の符号Ｔ１０に示すように、積分処理部２２による積分処理により、画像上に存在する時（“明”の時）の大きい画素値が累積されていくため、その累積画素値は次第に大きくなっていく。
【００６４】
この結果、図７の符号Ｔ１０およびＴ１１に示すように、所定のしきい値を用いて２値化処理を行った場合においても、目標の明滅部分を目標候補領域として抽出することができる。
【００６５】
一方、画像センサから順次入力された各時系列画像Ｉ１〜Ｉｎは、平滑処理部５により平滑化され、この平滑化された各時系列画像ＩＳ１〜ＩＳｎに基づいて、平滑処理部５における平均値・分散計算部４０と同様の処理により、各平滑化時系列画像ＩＳ１〜ＩＳｎの平均値および分散が計算される。
【００６６】
計算された各平滑化時系列画像ＩＳ１〜ＩＳｎの平均値および分散に基づいて、平滑処理部５により、しきい値が計算されており、計算されたしきい値に基づいて、２値化処理部１０により、各平滑化時系列画像ＩＳ１〜ＩＳｎの２値化画像ＢＳ１〜ＢＳｎが順次生成される。
【００６７】
他方、平滑処理部５により平滑化された各時系列画像ＩＳ１〜ＩＳｎは、微分処理部６の微分処理によりエッジ（輪郭）強調され、この微分処理された各時系列画像ＩＤ１〜ＩＤｎに基づいて、微分処理部６における平均値・分散計算部４０と同様の処理により、各時系列画像ＩＤ１〜ＩＤｎの平均値および分散が計算される。
【００６８】
計算された各時系列画像ＩＤ１〜ＩＤｎの平均値および分散に基づいて、微分処理部６により、しきい値が計算されており、計算されたしきい値に基づいて、２値化処理部１１により、各時系列画像ＩＤ１〜ＩＤｎの２値化画像ＤＳ１〜ＤＳｎが順次生成される。
【００６９】
目標領域判定部１２は、２値化処理部３により生成された各２値化画像ＢＩ１〜２値化画像ＢＩｎを１フレームずつ順次取り込む。同様に、目標領域判定部１２は、２値化処理部１０により生成された各２値化画像ＢＳ１〜ＢＳｎを１フレームずつ順次取り込み、さらに、２値化処理部１１により生成された各２値化画像ＤＳ１〜ＤＳｎを１フレームずつ順次取り込む。
【００７０】
次いで、目標領域判定部１２は、最初に取り込んだ２値化画像ＢＩ１、２値化画像ＢＳ１および２値化画像ＤＳ１を、それぞれ複数画素から成るセグメントに分割し、各セグメントにおける画素値１が互いに連結されている領域に同一のラベルを付ける。
【００７１】
続いて、目標領域判定部１２は、２値化画像ＢＩ１により得られた目標候補領域となる複数のラベリングされた領域（ラベリング領域）と２値化画像ＢＳ１および２値化画像ＤＳ１によりそれぞれ得られたラベリング領域とをそれぞれ比較して、目標候補となる各ラベリング領域の特徴量を表すパラメータ（特徴量パラメータ）Ｐとして、各ラベリング領域の平滑化最大値、微分最大値、差分最大値、移動方向および移動量をそれぞれ抽出する。
【００７２】
続いて、目標領域判定部１２は、得られた各ラベリング領域の特徴量（特徴量パラメータＰ）に基づいて、各ラベリング領域の評価値を計算し、以下、残りの全ての２値化画像ＢＩ２〜２値化画像ＢＩｎ、２値化画像ＢＳ２〜ＢＳｎ、２値化画像ＤＳ２〜ＤＳｎを用いた全ての目標候補領域に対応する全てのラベリング領域の評価値計算が終了するまで、この処理を繰り返し実行する。
【００７３】
そして、全ての目標候補領域に対応する全てのラベリング領域の評価値計算が終了したとき、目標領域判定部１２は、全てのラベリング領域の中で最も評価値の高いラベリング領域を目標として検出する。
【００７４】
この結果、ヘリコプターのロータ部分等、回転等の動作により画像上において明滅する目標を検出することができる。
【００７５】
以上詳述したように、本実施形態によれば、検出目標が例えばヘリコプターのロータ部分等、回転等の動作により画像上において明滅する部分であっても、その明滅部分を含む複数の時系列画像の差分画像を時間的に積分することにより、その明滅部分の周波数成分を目標候補領域として抽出することができる。
【００７６】
したがって、この目標候補領域を用いて目標判定処理を行うことにより、画像上において明滅する部分を目標とした場合であっても、その目標を正確に検出することができる。
【００７７】
特に、本実施形態では、入射光学系として特別なハードウェア構成要素およびその制御系を用いることなく、通常の画像センサにより収集された時系列画像に基づいて明滅部分の周波数成分を目標候補領域として抽出することができる。このため、目標検出装置全体をコンパクトに維持しながら、明滅部分等の目標を容易に検出することができる。
【００７８】
また、本実施形態によれば、積分処理結果の平均値ＡＶが予め設定された基準値ＳＴより大きい場合には、積分係数ｋが小さくなるように係数ゲインを調整し、また、積分処理結果の平均値ＡＶが基準値ＳＴより小さい場合には、積分係数ｋが大きくなるように係数ゲインを調整することにより、積分処理結果（各積分画像ＩＮ１〜ＩＮｈ−１）の平均値ＡＶを予め設定された基準値ＳＴに保持している。
【００７９】
この制御により、周波数変調する面積（画素領域）が多いとき（例えば、画像の移動等による）であっても、輝度（画素値）の平均値の上昇を抑制することができ、その輝度の平均値の上昇に起因した真の目標以外の目標候補領域を多く抽出する恐れを軽減することができる。この結果、目標候補抽出精度および目標検出精度をそれぞれ向上させることができる。
【００８０】
また、周波数変調する面積（画素領域）の周波数成分が微少であっても、輝度（画素値）の平均値を基準値に近付くまで上昇させることができ、その輝度の平均値の上昇により、微少な周波数成分であっても、目標候補領域として抽出することができる。この結果、目標候補抽出精度および目標検出精度をそれぞれ向上させることができる。
【００８１】
なお、本実施形態においては、目標が例えばヘリコプターのロータ部分等、回転等の動作により画像上において明滅する部分である場合について説明したが、本発明はこの構成に限定されるものではなく、上記明滅部分を目標の一部に含む場合の全体の目標を検出する場合、あるいは明滅部分を含まない目標に対しても、本実施形態の画像目標検出装置を適用することができる。
【００８２】
また、本実施形態においては、時間フィルタ２を構成する差分処理部２０、絶対値処理部２１、積分処理部２２およびしきい値・積分係数計算部２３と２値化処理部３とを、それぞれワイヤードロジック回路により構成したが、本発明はこれに限定されるものではなく、差分処理部２０、絶対値処理部２１、積分処理部２２、しきい値・積分係数計算部２３および２値化処理部３のそれぞれの処理を、画像目標検出用プログラムに従った少なくとも１台のコンピュータの機能により実現してもよい。
【００８３】
さらに、本実施形態においては、画像目標検出装置１を構成する全ての構成要素（図１に示す全てのブロック構成要素）の処理を、プログラムに従った少なくとも１台のコンピュータの機能により実現してもよい。
【００８４】
また、本実施形態において、差分処理部は、入力された時系列画像Ｉ１〜Ｉｎに基づいて、時間的に隣接する画素間の差分を表す差分画像Ｄ１〜Ｄｎを生成している。このとき、差分処理部は、最初の時系列画像Ｉ１が入力された際においては、画像メモリに前フレームのフレーム画像が蓄積されていないため、その差分画像は時系列画像Ｉ１そのものとなる。
【００８５】
この点において、本実施形態の変形例として、次の時系列画像Ｉ２が入力されるまで、差分画像出力を行わないようにすることも可能であり、積分画像の平均値が基準値に収束するまでのフレーム画像数を減らすことができる。
【００８６】
【発明の効果】
以上述べたように、請求項１、７および８記載の本発明によれば、差分絶対値画像生成手段から出力された複数の差分絶対値画像を所定の積分係数に基づいて画素毎に時間的に積分しているため、例えば、目標が明滅部分であった場合でも、画像上に存在する際の画素値を積算することができる。
【００８７】
この結果、目標が明滅部分であっても、その明滅部分の周波数成分を目標候補領域として抽出することができる。
【００８８】
請求項２記載の本発明によれば、抽出された目標候補領域の画素値を１および背景領域の画素値を０とする２値化画像を生成することにより、生成された２値化画像を用いて目標領域を正確に判定することが可能になる。
【００８９】
請求項３記載の本発明によれば、各フレームの積分画像の各画素の画素値および平均値に基づいて、各フレームの積分画像の次フレームの積分画像に対する所定の積分係数を求めているため、例えば所定の基準値に対する平均値の大小に応じて積分係数を調整することにより、平均値が大きい場合に起因した目標候補領域の誤判定を軽減することができ、さらに、平均値が微少な場合に起因した目標候補領域の検出漏れを防止することができる。
【００９０】
請求項４記載の本発明によれば、蓄積された各フレームの差分絶対値画像の各画素に前記所定の積分係数を乗算し、当該所定の積分係数が乗算された各フレームの差分絶対値画像を、当該各フレームの差分絶対値画像の次フレームの差分絶対値画像に対して画素毎に積算し、この積算結果を、次フレームの差分絶対値画像として蓄積するとともに、次フレームの差分絶対値画像に対応する次フレームの積分画像として出力しているため、フレーム毎に正確に積分画像を生成出力することができる。
【００９１】
請求項５および６記載の本発明によれば、目標候補領域となる２値化画像から、その目標候補領域に対応するラベル付けを行い、このラベル付けられたそれぞれの目標候補領域の中から、それぞれの領域における、例えば、平滑化最大値、微分最大値、差分最大値、移動方向および移動量等の特徴量を表すパラメータを抽出し、抽出されたそれぞれの領域の特徴量パラメータに基づいて、対応するそれぞれの目標候補領域を評価し、その評価値の最も高い領域を目標領域として検出している。このため、抽出された特徴量パラメータに基づいて正確な目標領域検出処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像目標検出装置の概略構成を示す図である。
【図２】本実施形態の時間フィルタを構成する差分処理部、絶対値処理部、積分処理部およびしきい値・積分係数計算部の概略構成を示すブロック図である。
【図３】図２に示す積分係数計算部の概略構成を示すブロック図である。
【図４】（ａ）は、図２に示す差分処理部のブロック図であり、（ｂ）は、図４（ａ）に示す差分処理部の差分処理を、その差分処理部に対して入出力されるフレーム画像の変化により説明するための概念図である。
【図５】（ａ）は、図２に示す積分処理部のブロック図であり、（ｂ）は、図５（ａ）に示す積分処理部の積分処理を、その積分処理部に対して入出力されるフレーム画像の変化により説明するための概念図である。
【図６】（ａ）は、図２に示す時間フィルタ側の２値化処理部のブロック図であり、（ｂ）は、図６（ａ）に示す２値化処理部の２値化処理を、その２値化処理部に対して入出力されるフレーム画像の変化により説明するための概念図である。
【図７】本実施形態の画像目的検出装置により求められた目標候補領域を含む２値化画像と従来技術による目標候補領域との差異について説明するための図である。
【図８】従来の目標検出処理部の概略構成を示すブロック図である。
【符号の説明】
１    画像目標検出装置
２    時間フィルタ
５    平滑処理部
６    微分処理部
３、１０、１１      ２値化処理部
１２  目標領域判定部
２０  差分処理部
２１  絶対値処理部
２２  積分処理部
２３  しきい値・積分係数計算部
【図１】
2004259128.tif 000006
【図２】
2004259128.tif 000007
【図３】
2004259128.tif 000008
【図４】
2004259128.tif 000009
【図５】
2004259128.tif 000010
【図６】
2004259128.tif 000011
【図７】
2004259128.tif 000012
【図８】
2004259128.tif 000013