(57)【要約】【課題】輝点が高密度で観測される場合であっても、輝点の追尾などを可能にする情報を、画像から抽出する。【解決手段】ピーク抽出部１２１は、対象画像を構成する複数の画素のなかから、隣接する画素よりも輝度が高い画素（ピーク画素）を抽出する。輝点領域記憶部１３１は、ピーク抽出部１２１が抽出したピーク画素を含む一以上の画素を、輝点領域として記憶する。周辺画素抽出部１３２は、輝点領域に含まれる画素に隣接する画素であって、輝点領域に含まれない画素（周辺画素）を抽出する。輝度比較部１３３は、周辺画素の輝度と、輝点領域に含まれる画素の輝度とを比較する。周辺画素の輝度が輝点領域に含まれる画素の輝度よりも低い場合に、輝点領域拡大部１３４は、周辺画素を輝点領域に追加する。【選択図】図４
2010267239.tif 000002
【特許請求の範囲】
【請求項１】
データを記憶する記憶装置と、データを処理する処理装置と、輝度記憶部と、ピーク抽出部と、輝点領域記憶部と、周辺画素抽出部と、輝度比較部と、輝点領域拡大部と、特徴出力部とを有し、
上記輝度記憶部は、上記記憶装置を用いて、複数の画素により構成される対象画像について、上記複数の画素それぞれの輝度を記憶し、
上記ピーク抽出部は、上記処理装置を用いて、上記輝度記憶部が記憶した輝度に基づいて、上記対象画像を構成する複数の画素のなかから、隣接する画素よりも輝度が高い画素を抽出して、ピーク画素とし、
上記輝点領域記憶部は、上記記憶装置を用いて、上記ピーク抽出部が抽出したピーク画素を含む一以上の画素を、輝点領域として記憶し、
上記周辺画素抽出部は、上記処理装置を用いて、上記輝点領域記憶部が記憶した輝点領域に基づいて、上記対象画像を構成する複数の画素のなかから、上記輝点領域に含まれる画素に隣接する画素であって上記輝点領域に含まれない画素を抽出して、周辺画素とし、
上記輝度比較部は、上記処理装置を用いて、上記輝度記憶部が記憶した輝度に基づいて、上記周辺画素抽出部が抽出した周辺画素の輝度と、上記輝点領域に含まれる画素の輝度とを比較し、
上記輝点領域拡大部は、上記処理装置を用いて、上記周辺画素の輝度が上記輝点領域に含まれる画素の輝度よりも低いと上記輝度比較部が判定した場合に、上記周辺画素抽出部が抽出した周辺画素を上記輝点領域に追加して上記輝点領域記憶部に記憶させ、
上記特徴出力部は、上記処理装置を用いて、上記輝点領域記憶部が記憶した輝点領域を、上記対象画像についての特徴情報として出力することを特徴とする特徴抽出装置。
【請求項２】
上記輝度比較部は、上記処理装置を用いて、上記輝点領域のなかで上記周辺画素に隣接した画素と、上記輝点領域のなかで最も輝度が低い画素とのうち少なくともいずれかの画素の輝度と、上記周辺画素の輝度とを比較することを特徴とする請求項１に記載の特徴抽出装置。
【請求項３】
上記周辺画素抽出部は、上記処理装置を用いて、上記周辺画素として、複数の画素を抽出し、
上記輝点領域拡大部は、上記処理装置を用いて、上記周辺画素抽出部が抽出した複数の周辺画素すべての輝度が、上記輝点領域に含まれる画素の輝度よりも低いと上記輝度比較部が判定した場合に、上記周辺画素抽出部が抽出した複数の周辺画素を上記輝点領域に追加することを特徴とする請求項１または請求項２に記載の特徴抽出装置。
【請求項４】
上記周辺画素抽出部は、上記処理装置を用いて、上記周辺画素として、上記ピーク抽出部が抽出したピーク画素を中心とする正方形の辺を構成する複数の画素と、上記ピーク画素抽出部が抽出したピーク画素を中心とする円周を構成する複数の画素と、直線状に並んだ複数の画素とのうち少なくともいずれかの画素を抽出することを特徴とする請求項１乃至請求項３のいずれかに記載の特徴抽出装置。
【請求項５】
上記特徴出力部は、上記処理装置を用いて、上記特徴情報として、上記ピーク抽出部が抽出したピーク画素と、上記輝点領域記憶部が記憶した輝点領域に含まれる画素の数とのうち少なくともいずれかを出力することを特徴とする請求項１乃至請求項４のいずれかに記載の特徴抽出装置。
【請求項６】
上記特徴抽出装置は、更に、特徴画像生成部を有し、
上記特徴画像生成部は、上記処理装置を用いて、上記対象画像を構成する複数の画素に対応する複数の特徴画素により構成され、上記輝点領域記憶部が記憶した輝点領域に含まれるピーク画素の輝度を、上記輝点領域に含まれる画素に対応する特徴画素の輝度とした特徴画像を生成し、
上記特徴出力部は、上記処理装置を用いて、上記特徴情報として、上記特徴画像生成部が生成した特徴画像を出力することを特徴とする請求項１乃至請求項５のいずれかに記載の特徴抽出装置。
【請求項７】
複数の画素により構成される一連の入力画像について、目標に対応する輝点領域を追尾する目標追尾装置において、
請求項１乃至請求項６のいずれかに記載の特徴抽出装置と、データを処理する処理装置と、相関処理部とを有し、
上記特徴抽出装置は、一連の入力画像の各入力画像について、上記入力画像を対象画像として、特徴情報を算出し、
上記相関処理部は、上記処理装置を用いて、上記一連の入力画像の少なくともいずれかの入力画像を第一相関処理画像とし、上記一連の入力画像のうち上記第一相関処理画像より後の入力画像の少なくともいずれかの入力画像を第二相関処理画像とし、上記第一相関処理画像について上記特徴抽出装置が抽出した一以上の輝点領域のうち少なくともいずれかを第一目標領域とし、上記第二相関処理画像について上記特徴抽出装置が抽出した一以上の輝点領域のうち少なくともいずれかを第二目標領域とし、上記特徴抽出装置が算出した特徴情報に基づいて、上記第二目標領域それぞれについて、上記第一目標領域に対応する目標のなかから、上記第二目標領域に対応する目標と一致する目標を判定することを特徴とする目標追尾装置。
【請求項８】
上記相関処理部は、上記処理装置を用いて、上記第一目標領域及び上記第二目標領域の大きさに基づいて、上記第二目標領域それぞれについて、上記第一目標領域それぞれに対応する目標のなかから、上記第二目標領域に対応する目標と一致する目標を判定することを特徴とする請求項７に記載の目標追尾装置。
【請求項９】
上記目標追尾装置は、更に、消失予測部を有し、
上記消失予測部は、上記処理装置を用いて、上記第一目標領域それぞれについて、上記第一目標領域に対応する目標に対応する輝点領域が、上記第二相関処理画像に現れるか否かを予測し、上記目標に対応する輝点領域が現れないと予測した第一目標領域を消失候補領域とし、
上記相関処理部は、上記処理装置を用いて、上記第二目標領域それぞれについて、上記第一目標領域のうち上記消失予測部が判定した消失候補領域以外の第一目標領域それぞれに対応する目標のなかから、上記第二目標領域に対応する目標と一致する目標を判定することを特徴とする請求項７または請求項８に記載の目標追尾装置。
【請求項１０】
上記消失予測部は、上記処理装置を用いて、上記第一目標領域の大きさが所定の大きさ以下である場合に、上記第一目標領域を消失候補領域と判定することを特徴とする請求項９に記載の目標追尾装置。
【請求項１１】
上記目標追尾装置は、更に、輝点領域予測部を有し、
上記輝点領域予測部は、上記処理装置を用いて、上記一連の入力画像のうち上記第二相関処理画像より前の入力画像について上記特徴抽出装置が算出した輝点領域に対応する目標について、上記第二相関処理画像において上記目標に対応する輝点領域の大きさを予測し、
上記消失予測部は、上記処理装置を用いて、上記輝点領域予測部が予測した輝点領域の大きさが所定の大きさ以下である場合に、上記第一相関処理画像において上記目標に対応する第一目標領域を消失候補領域と判定することを特徴とする請求項９または請求項１０に記載の目標追尾装置。
【請求項１２】
上記目標追尾装置は、更に、重複予測部を有し、
上記重複予測部は、上記処理装置を用いて、上記第一目標領域のうち、上記消失予測部が消失候補領域と判定した第一目標領域の近傍に位置する第一目標領域を重複候補領域と判定し、
上記相関処理部は、上記処理装置を用いて、上記第二相関処理画像において、上記重複予測部が判定した重複候補領域に対応する目標に、上記消失候補領域に対応する目標が重複して隠れていると判定することを特徴とする請求項９乃至請求項１１のいずれかに記載の目標追尾装置。
【請求項１３】
上記目標追尾装置は、更に、出現判定部を有し、
上記出現判定部は、上記処理装置を用いて、上記第二目標領域それぞれについて、上記第一目標領域に対応する目標のなかに、上記第二目標領域に対応する目標と一致する目標があるか否かを判定し、一致する目標がないと判定した第二目標領域を出現目標領域とし、
上記相関処理部は、上記処理装置を用いて、上記第二目標領域のうち上記出現判定部が判定した出現目標領域以外の第二目標領域それぞれについて、上記第一目標領域それぞれに対応する目標のなかから、上記第二目標領域に対応する目標と一致する目標を判定することを特徴とする請求項７乃至請求項１２のいずれかに記載の目標追尾装置。
【請求項１４】
上記目標追尾装置は、更に、分離判定部を有し、
上記分離判定部は、上記処理装置を用いて、上記第二目標領域のうち、上記出現判定部が出現目標領域と判定した第二目標領域の近傍に位置する第二目標領域を分離目標領域と判定し、
上記相関処理部は、上記処理装置を用いて、上記第二相関処理画像において上記出現判定部が判定した出現目標領域に対応する目標が、上記第一相関処理画像において、上記分離判定部が判定した分離目標領域に対応する目標に重複して隠れていたと判定することを特徴とする請求項１３に記載の目標追尾装置。
【請求項１５】
上記目標追尾装置は、更に、出現判定部と、分離判定部とを有し、
上記出現判定部は、上記処理装置を用いて、上記第二目標領域それぞれについて、上記第一目標領域それぞれに対応する目標のなかに、上記第二目標領域に対応する目標と一致する目標があるか否かを判定し、一致する目標がないと判定した第二目標領域を出現目標領域とし、
上記分離判定部は、上記処理装置を用いて、上記第二目標領域のうち、上記出現判定部が出現目標領域と判定した第二目標領域の近傍に位置する第二目標領域を分離目標領域と判定し、
上記相関処理部は、上記処理装置を用いて、上記一連の入力画像のうち上記第一相関処理画像より前の入力画像において、上記消失候補領域に対応する目標が重複して隠れていると判定した目標について、上記第二相関処理画像において、上記目標に対応する第二目標領域が、上記分離判定部が判定した分離目標領域と一致する場合に、上記出現目標領域に対応する目標が、上記消失候補領域に対応する目標と一致すると判定することを特徴とする請求項１２に記載の目標追尾装置。
【請求項１６】
上記出現判定部は、上記処理装置を用いて、上記第二目標領域の大きさが所定の大きさ以下である場合に、上記第二目標領域を出現目標領域と判定することを特徴とする請求項１３乃至請求項１５のいずれかに記載の目標追尾装置。
【請求項１７】
上記出現判定部は、上記処理装置を用いて、上記一連の入力画像のうち上記第一相関処理画像より後の入力画像について上記特徴抽出装置が算出した輝点領域に対応する目標について、上記第一相関処理画像において上記目標に対応する輝点領域の大きさを予測し、予測した輝点領域の大きさが所定の大きさ以下である場合に、上記第二相関処理画像において上記目標に対応する第二目標領域を出現目標領域と判定することを特徴とする請求項１３乃至請求項１６のいずれかに記載の目標追尾装置。
【請求項１８】
データを記憶する記憶装置とデータを処理する処理装置とを有するコンピュータが実行することにより、上記コンピュータが請求項１乃至請求項６のいずれかに記載の特徴抽出装置または請求項７乃至請求項１７のいずれかに記載の目標追尾装置として機能することを特徴とするコンピュータプログラム。
【請求項１９】
データを記憶する記憶装置とデータを処理する処理装置とを有する特徴抽出装置が、複数の画素により構成される対象画像についての特徴情報を抽出する特徴抽出方法において、
上記処理装置が、上記複数の画素それぞれの輝度に基づいて、上記対象画像を構成する複数の画素のなかから、隣接する画素よりも輝度が高い画素を抽出して、ピーク画素とし、
上記処理装置が、抽出したピーク画素を含む一以上の画素を、輝点領域とし、
上記処理装置が、上記輝点領域に基づいて、上記対象画像を構成する複数の画素のなかから、上記輝点領域に含まれる画素に隣接する画素であって上記輝点領域に含まれない画素を抽出して、周辺画素とし、
上記処理装置が、上記複数の画素それぞれの輝度に基づいて、抽出した周辺画素の輝度と、上記輝点領域に含まれる画素の輝度とを比較し、
上記処理装置が、上記周辺画素の輝度が上記輝点領域に含まれる画素の輝度よりも低いと判定した場合に、抽出した周辺画素を上記輝点領域に追加し、
上記処理装置が、上記輝点領域を、上記対象画像についての特徴情報とすることを特徴とする特徴抽出方法。
【請求項２０】
データを記憶する記憶装置とデータを処理する処理装置とを有する目標追尾装置が、複数の画素により構成される一連の入力画像について、目標が写っている画素を追尾する目標追尾方法において、
上記処理装置が、上記一連の入力画像のいずれかを第一相関処理画像とし、上記一連の入力画像のうち上記第一相関処理画像より後の入力画像のいずれかを第二相関処理画像とし、
上記処理装置が、上記複数の画素それぞれの輝度に基づいて、上記第一相関処理画像及び上記第二相関処理画像それぞれを構成する複数の画素のなかから、隣接する画素よりも輝度が高い画素を抽出して、ピーク画素とし、
上記処理装置が、抽出したピーク画素を含む一以上の画素を、輝点領域とし、
上記処理装置が、上記輝点領域に基づいて、上記第一相関処理画像及び上記第二相関処置画像それぞれを構成する複数の画素のなかから、上記輝点領域に含まれる画素に隣接する画素であって上記輝点領域に含まれない画素を抽出して、周辺画素とし、
上記処理装置が、上記複数の画素それぞれの輝度に基づいて、抽出した周辺画素の輝度と、上記輝点領域に含まれる画素の輝度とを比較し、
上記処理装置が、上記周辺画素の輝度が上記輝点領域に含まれる画素の輝度よりも低いと判定した場合に、抽出した周辺画素を上記輝点領域に追加し、
上記処理装置が、上記輝点領域を、上記第一相関処理画像及び上記第二相関処理画像それぞれについての特徴情報とし、
上記処理装置が、上記第一相関処理画像について抽出したピーク画素を第一ピーク画素とし、上記第二相関処理画像について抽出したピーク画素を第二ピーク画素とし、算出した特徴情報に基づいて、上記第二ピーク画素について、上記第一ピーク画素に写っている目標のなかから、上記第二ピーク画素に写っている目標と一致する目標を判定することを特徴とする目標追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像センサなどが撮影した画像を分析して画像の特徴を抽出する特徴抽出装置に関する。
【背景技術】
【０００２】
画像センサが撮影した画像を元に、画像に写った目標を把握する場合、画像に写った輝点の位置などの特徴を抽出し、抽出した特徴に基づいて、輝点の追尾などを行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−３０３９９２号公報
【特許文献２】特開２０００−２７５３３８号公報
【特許文献３】特開２０００−２９８１６９号公報
【特許文献４】特開平８−２９６９９７号公報
【特許文献５】特開平９−３０３９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
輝点が高密度で観測される状況では、輝点の追尾などを行うことが難しい。
この発明は、例えば、上記のような課題を解決するためになされたものであり、輝点が高密度で観測される状況であっても輝点の追尾などが可能となるよう、画像の詳細な特徴を抽出することを目的とする。
【課題を解決するための手段】
【０００５】
この発明にかかる特徴抽出装置は、データを記憶する記憶装置と、データを処理する処理装置と、輝度記憶部と、ピーク抽出部と、輝点領域記憶部と、周辺画素抽出部と、輝度比較部と、輝点領域拡大部と、特徴出力部とを有し、
上記輝度記憶部は、上記記憶装置を用いて、複数の画素により構成される対象画像について、上記複数の画素それぞれの輝度を記憶し、
上記ピーク抽出部は、上記処理装置を用いて、上記輝度記憶部が記憶した輝度に基づいて、上記対象画像を構成する複数の画素のなかから、隣接する画素よりも輝度が高い画素を抽出して、ピーク画素とし、
上記輝点領域記憶部は、上記記憶装置を用いて、上記ピーク抽出部が抽出したピーク画素を含む一以上の画素を、輝点領域として記憶し、
上記周辺画素抽出部は、上記処理装置を用いて、上記輝点領域記憶部が記憶した輝点領域に基づいて、上記対象画像を構成する複数の画素のなかから、上記輝点領域に含まれる画素に隣接する画素であって上記輝点領域に含まれない画素を抽出して、周辺画素とし、
上記輝度比較部は、上記処理装置を用いて、上記輝度記憶部が記憶した輝度に基づいて、上記周辺画素抽出部が抽出した周辺画素の輝度と、上記輝点領域に含まれる画素の輝度とを比較し、
上記輝点領域拡大部は、上記処理装置を用いて、上記周辺画素の輝度が上記輝点領域に含まれる画素の輝度よりも低いと上記輝度比較部が判定した場合に、上記周辺画素抽出部が抽出した周辺画素を上記輝点領域に追加して上記輝点領域記憶部に記憶させ、
上記特徴出力部は、上記処理装置を用いて、上記輝点領域記憶部が記憶した輝点領域を、上記対象画像についての特徴情報として出力することを特徴とする。
【発明の効果】
【０００６】
この発明にかかる特徴抽出装置によれば、ピーク画素から出発して徐々に輝度が低くなっていく領域を検出して輝点領域とし、対象画像についての特徴情報として、検出した輝点領域を出力するので、対象画像に写った輝点を正しく判断し、輝点の追尾などを可能にする情報を得ることができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１における画像特徴抽出システム８００の全体構成の一例を示すシステム構成図。
【図２】実施の形態１における特徴抽出装置１００の外観の一例を示す斜視図。
【図３】実施の形態１における特徴抽出装置１００のハードウェア資源の一例を示す図。
【図４】実施の形態１における特徴抽出装置１００の機能ブロックの構成の一例を示すブロック構成図。
【図５】実施の形態１における特徴抽出処理Ｓ４００の流れの一例を示すフローチャート図。
【図６】実施の形態１におけるピーク抽出処理Ｓ４１０の流れの一例を示すフローチャート図。
【図７】実施の形態１における輝点領域拡大処理Ｓ４３０の流れの一例を示すフローチャート図。
【図８】実施の形態１における特徴画像生成処理Ｓ４７０の流れの一例を示すフローチャート図。
【図９】実施の形態１における輝点領域拡大処理Ｓ４３０において特徴抽出装置１００が輝点領域６２０を拡大していく様子の一例を示す図。
【図１０】実施の形態１におけるサイズ更新工程Ｓ４３３の流れの一例を示す詳細フローチャート図。
【図１１】実施の形態１における周辺画素選択工程Ｓ４３４の流れの一例を示す詳細フローチャート図。
【図１２】実施の形態１における隣接画素選択工程Ｓ４３５の流れの一例を示す詳細フローチャート図。
【図１３】実施の形態１における特徴抽出装置１００が生成する特徴画像６５０の一例を示す図。
【図１４】実施の形態２における輝点領域拡大処理Ｓ４３０の流れの一例を示すフローチャート図。
【図１５】実施の形態３における輝点領域拡大処理Ｓ４３０において特徴抽出装置１００が輝点領域６２０を拡大していく様子の一例を示す図。
【図１６】実施の形態３におけるサイズ更新工程Ｓ４３３の流れの一例を示す詳細フローチャート図。
【図１７】実施の形態３における周辺画素選択工程Ｓ４３４の流れの一例を示す詳細フローチャート図。
【図１８】実施の形態４における輝点領域拡大処理Ｓ４３０において特徴抽出装置１００が輝点領域６２０を拡大していく様子の一例を示す図。
【図１９】実施の形態４における周辺画素選択工程Ｓ４３４の流れの一例を示す詳細フローチャート図。
【図２０】実施の形態５における輝点領域拡大処理Ｓ４３０において特徴抽出装置１００が輝点領域６２０を拡大していく様子の一例を示す図。
【図２１】実施の形態５における輝点領域拡大処理Ｓ４３０の流れの一例を示すフローチャート図。
【図２２】実施の形態５におけるサイズ更新工程Ｓ４３３の流れの一例を示す詳細フローチャート図。
【図２３】実施の形態５における周辺画素選択工程Ｓ４３４の流れの一例を示す詳細フローチャート図。
【図２４】実施の形態６における目標追尾システム８５０の全体構成の一例を示すシステム構成図。
【図２５】実施の形態６における追尾装置２００の機能ブロックの構成の一例を示すブロック構成図。
【図２６】実施の形態６における追尾処理Ｓ７００の流れの一例を示すフローチャート図。
【図２７】実施の形態６における予測処理Ｓ７１０の流れの一例を示すフローチャート図。
【図２８】実施の形態６における相関前処理Ｓ７４０の流れの一例を示すフローチャート図。
【図２９】実施の形態６における相関処理Ｓ７６０の流れの一例を示すフローチャート図。
【図３０】実施の形態６における逆予測処理Ｓ７８０の流れの一例を示すフローチャート図。
【図３１】実施の形態６における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図。
【図３２】実施の形態６における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図。
【図３３】実施の形態６における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図。
【図３４】実施の形態６における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図。
【図３５】実施の形態６における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図。
【図３６】実施の形態６における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図。
【図３７】実施の形態６における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図。
【図３８】実施の形態６における特徴抽出装置１００が抽出したピーク画素の輝度及び輝点領域の大きさの変化の典型例を表わす図。
【発明を実施するための形態】
【０００８】
実施の形態１．
実施の形態１について、図１〜図１３を用いて説明する。
【０００９】
図１は、この実施の形態における画像特徴抽出システム８００の全体構成の一例を示すシステム構成図である。
画像特徴抽出システム８００は、撮像装置８１０、特徴抽出装置１００、特徴表示装置８２０を有する。
撮像装置８１０は、画像を撮影する。撮像装置８１０は、例えば合成開口レーダ（ＳＡＲ）、逆合成開口レーダ（ＩＳＡＲ）、赤外線センサ、光学センサなどの画像センサである。撮像装置８１０が撮影する画像は、例えば二次元に並んだ複数の画素により構成される。撮像装置８１０は、撮影した画像を表わす信号（以下「画像信号」と呼ぶ。）を出力する。
特徴抽出装置１００は、撮像装置８１０が出力した信号を入力する。特徴抽出装置１００は、入力した信号が表わす画像の特徴を抽出する。特徴抽出装置１００は、抽出した画像の特徴を表わす信号（以下「特徴信号」と呼ぶ。）を出力する。
特徴表示装置８２０は、特徴抽出装置１００が出力した信号を入力する。特徴表示装置８２０は、入力した信号が表わす画像の特徴を表示する。特徴表示装置８２０は、例えば液晶表示装置（ＬＣＤ）や陰極線管装置（ＣＲＴ）、またはこれらを備えるコンピュータなどである。
【００１０】
観測目標は、撮像装置８１０が撮影した画像において輝点として観測される。輝点が明るい場合や大きい場合など、一つの輝点が一つの画素に収まらず、複数の画素に渡る場合がある。また、観測目標が複数存在する場合や観測目標に複数の反射点がある場合など、複数の輝点が観測される場合がある。
「画像の特徴」とは、撮像装置８１０が撮影した画像に写っている観測目標の位置、観測強度、数などを算出するため、画像を解析して得る情報のことであり、例えば輝点の位置や範囲などである。
【００１１】
図２は、この実施の形態における特徴抽出装置１００の外観の一例を示す斜視図である。
特徴抽出装置１００は、システムユニット９１０、ＣＲＴやＬＣＤの表示画面を有する表示装置９０１、キーボード９０２（Ｋｅｙ・Ｂｏａｒｄ：Ｋ／Ｂ）、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、コンパクトディスク装置９０５（ＣＤＤ）、プリンタ装置９０６、スキャナ装置９０７などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。
システムユニット９１０は、コンピュータであり、ファクシミリ機９３２、電話器９３１とケーブルで接続され、また、ローカルエリアネットワーク９４２（ＬＡＮ）、ゲートウェイ９４１を介してインターネット９４０に接続されている。
【００１２】
図３は、この実施の形態における特徴抽出装置１００のハードウェア資源の一例を示す図である。
特徴抽出装置１００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信装置９１５、表示装置９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４、ＣＤＤ９０５、プリンタ装置９０６、スキャナ装置９０７、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。通信装置９１５、キーボード９０２、スキャナ装置９０７、ＦＤＤ９０４などは、入力部、入力装置の一例である。
また、通信装置９１５、表示装置９０１、プリンタ装置９０６などは、出力部、出力装置の一例である。
【００１３】
通信装置９１５は、ファクシミリ機９３２、電話器９３１、ＬＡＮ９４２等に接続されている。通信装置９１５は、ＬＡＮ９４２に限らず、インターネット９４０、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）などに接続されていても構わない。インターネット９４０或いはＩＳＤＮ等のＷＡＮに接続されている場合、ゲートウェイ９４１は不用となる。
磁気ディスク装置９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。
【００１４】
上記プログラム群９２３には、以下に述べる実施の形態の説明において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、以下に述べる実施の形態の説明において、「〜の判定結果」、「〜の計算結果」、「〜の処理結果」として説明する情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｋ）等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００１５】
また、以下に述べる実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、以下に述べる「〜部」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜部」の手順や方法をコンピュータに実行させるものである。
【００１６】
図４は、この実施の形態における特徴抽出装置１００の機能ブロックの構成の一例を示すブロック構成図である。
特徴抽出装置１００は、画像入力部１１１、輝度記憶部１１２、ピーク抽出部１２１、ピーク記憶部１２２、輝点領域記憶部１３１、周辺画素抽出部１３２、輝度比較部１３３、輝点領域拡大部１３４、特徴画像生成部１４１、特徴出力部１４２を有する。
【００１７】
画像入力部１１１は、ＣＰＵ９１１を用いて、撮像装置８１０が出力した画像信号を入力する。画像入力部１１１は、ＣＰＵ９１１を用いて、入力した画像信号に基づいて、撮像装置８１０が撮影した画像（以下「対象画像」と呼ぶ。）を構成する各画素の輝度を取得する。画像入力部１１１は、ＣＰＵ９１１を用いて、取得した各画素の輝度を表わすデータ（以下「輝度データ」と呼ぶ。）を出力する。
輝度記憶部１１２は、ＣＰＵ９１１を用いて、画像入力部１１１が出力した輝度データを入力する。輝度記憶部１１２は、磁気ディスク装置９２０を用いて、入力した輝度データを記憶する。
【００１８】
なお、画像入力部１１１は、各画素の輝度を表わす輝度データをそのまま出力するのではなく、輝度が所定の閾値より小さい画素については、輝度が０であるものとして閾値処理した輝度データを出力する構成としてもよい。
【００１９】
ピーク抽出部１２１は、ＣＰＵ９１１を用いて、輝度記憶部１１２が記憶した輝度データを入力する。ピーク抽出部１２１は、ＣＰＵ９１１を用いて、入力した輝度データに基づいて、対象画像を構成する各画素のなかから、ピーク画素を抽出する。ピーク抽出部１２１は、抽出したピーク画素を表わすデータ（以下「ピーク画素データ」と呼ぶ。）を出力する。
ピーク記憶部１２２は、ＣＰＵ９１１を用いて、ピーク抽出部１２１が出力したピーク画素データを入力する。ピーク記憶部１２２は、磁気ディスク装置９２０を用いて、入力したピーク画素データを記憶する。
「ピーク画素」とは、隣接するすべての画素よりも輝度が高い画素のことである。隣接する画素とは、例えば、縦横十字方向に隣接する４画素、あるいは、斜め方向の４画素を含めた８画素のことである。ピーク画素は、一つの対象画像に複数存在する場合がある。なお、対象画像の端に位置する画素は、隣接する画素の数が少ないので、ピーク抽出部１２１は、ピーク画素として抽出しないものとする。しかし、これは一例であり、ピーク抽出部１２１は、対象画像の端に位置する画素もピーク画素として抽出する構成としてもよい。
【００２０】
輝点領域記憶部１３１は、磁気ディスク装置９２０を用いて、輝点領域を表わすデータ（以下「輝点領域データ」と呼ぶ。）を記憶する。「輝点領域」とは、対象画像において、一つの輝点に対応する一以上の画素からなる範囲のことである。
周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、輝点領域記憶部１３１が記憶した輝点領域データを入力する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、入力した輝点領域データに基づいて、周辺画素を抽出する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、抽出した周辺画素を表わすデータ（以下「周辺画素データ」と呼ぶ。）を出力する。「周辺画素」とは、輝点領域に含まれる画素に隣接する画素であって、輝点領域に含まれない画素のことである。
輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が出力した周辺画素データと、輝度記憶部１１２が記憶した輝度データとを入力する。輝度比較部１３３は、ＣＰＵ９１１を用いて、入力した周辺画素データと輝度データとに基づいて、周辺画素の輝度と、その周辺画素に隣接する輝点領域内の画素の輝度とを比較する。
輝点領域拡大部１３４は、ＣＰＵ９１１を用いて、輝度比較部１３３が比較した結果に基づいて、周辺画素の輝度が、隣接する輝点領域内の画素の輝度よりも小さい場合に、周辺画素を輝点領域内に取り込み、輝点領域を拡大する。
輝点領域記憶部１３１は、磁気ディスク装置９２０を用いて、輝点領域拡大部１３４が拡大した輝点領域を表わす輝点領域データを記憶する。
【００２１】
特徴抽出装置１００は、ピーク画素を中心として、ピーク画素から離れるほど輝度が下がっていく画素からなる範囲を「輝点領域」と判定する。特徴抽出装置１００は、まず、ピーク抽出部１２１が抽出したピーク画素からなる範囲を、輝点領域とする。次に、特徴抽出装置１００は、その周辺画素の輝度を輝点領域内の画素の輝度と比較して、輝点領域を拡大する。特徴抽出装置１００は、輝点領域をそれ以上拡大できなくなるまで、これを繰り返す。
【００２２】
特徴画像生成部１４１は、ＣＰＵ９１１を用いて、輝点領域記憶部１３１が記憶した輝点領域データを入力する。特徴画像生成部１４１は、ＣＰＵ９１１を用いて、入力した輝点領域データに基づいて、特徴画像を表わすデータ（以下「特徴画像データ」と呼ぶ。）を生成する。特徴画像生成部１４１が、生成した特徴画像データを出力する。
「特徴画像」とは、特徴抽出装置１００が抽出した対象画像の特徴を表わす画像である。特徴画像は、例えば、対象画像と同じ画素数を有し、特徴抽出装置１００が抽出した輝点領域を、その輝点領域の中心であるピーク画素の輝度を表わす色（もしくは明るさ）で均一に塗りつぶした画像である。これにより、その輝点領域の中心であるピーク画素の輝度がわかるだけでなく、複数の輝点領域が隣接する場合、その中心であるピーク画素の輝度は通常異なるから、隣接する輝点流域の境目がどこにあるかも一目瞭然となる。
【００２３】
特徴出力部１４２は、ＣＰＵ９１１を用いて、特徴画像生成部１４１が出力した特徴画像データを入力する。特徴出力部１４２は、ＣＰＵ９１１を用いて、入力した特徴画像データに基づいて、特徴画像を表わす特徴信号を生成する。特徴出力部１４２は、ＣＰＵ９１１を用いて、生成した特徴信号を出力する。
特徴表示装置８２０は、特徴出力部１４２が出力した特徴信号に基づいて、特徴画像を表示する。
【００２４】
図５は、この実施の形態における特徴抽出処理Ｓ４００の流れの一例を示すフローチャート図である。
特徴抽出処理Ｓ４００において、特徴抽出装置１００は、対象画像の特徴を抽出する。特徴抽出処理Ｓ４００は、ピーク抽出処理Ｓ４１０、輝点領域拡大処理Ｓ４３０、特徴画像生成処理Ｓ４７０を有する。
ピーク抽出処理Ｓ４１０において、特徴抽出装置１００は、輝度記憶部１１２が記憶した輝度データに基づいて、ピーク画素を抽出する。
輝点領域拡大処理Ｓ４３０において、特徴抽出装置１００は、ピーク抽出処理Ｓ４１０で抽出したピーク画素から出発して輝点領域を拡大していき、輝点領域を算出する。
特徴画像生成処理Ｓ４７０において、特徴抽出装置１００は、輝点領域拡大処理Ｓ４３０で算出した輝点領域に基づいて、特徴画像を生成する。
【００２５】
図６は、この実施の形態におけるピーク抽出処理Ｓ４１０の流れの一例を示すフローチャート図である。
ピーク抽出処理Ｓ４１０は、画素選択工程Ｓ４１１、隣接画素選択工程Ｓ４１２、輝度比較工程Ｓ４１３、ピーク記憶工程Ｓ４１４を有する。
【００２６】
画素選択工程Ｓ４１１において、ピーク抽出部１２１は、ＣＰＵ９１１を用いて、画像入力部１１１が入力した対象画像を構成する画素のなかから、ピーク画素である可能性のある画素を一つずつ選択する。すなわち、ピーク抽出部１２１は、画像入力部１１１が入力した対象画像を構成する画素のうち、対象画像の端に位置する画素以外の画素のなかから、画素を一つずつ選択する。なお、対象画像の端に位置する画素もピーク画素として抽出する構成の場合には、ピーク抽出部１２１は、画像入力部１１１が入力した対象画像を構成するすべての画素のなかから、画素を一つずつ選択する。
ピーク画素である可能性のある画素がすべて選択済であり、ピーク抽出部１２１が画素を選択しなかった場合、ピーク抽出処理Ｓ４１０を終了する。
ピーク画素である可能性のある画素のなかに未選択の画素があり、ピーク抽出部１２１が未選択の画素を選択した場合、ピーク抽出部１２１は、ＣＰＵ９１１を用いて、輝度記憶部１１２が記憶した輝度データのなかから、選択した画素（以下「選択画素」と呼ぶ。）の輝度を表わす輝度データを取得する。その後、隣接画素選択工程Ｓ４１２へ進む。
【００２７】
隣接画素選択工程Ｓ４１２において、ピーク抽出部１２１は、ＣＰＵ９１１を用いて、画素選択工程Ｓ４１１で選択した画素（以下「選択画素」と呼ぶ。）に隣接する画素のなかから、画素を一つずつ選択する。
選択画素に隣接する画素がすべて選択済であり、ピーク抽出部１２１が画素を選択しなかった場合、選択画素はピーク画素である。ピーク抽出部１２１は、ピーク記憶工程Ｓ４１４へ進む。
選択画素に隣接する画素のなかに未選択の画素があり、ピーク抽出部１２１が未選択の画素を選択した場合、ピーク抽出部１２１は、ＣＰＵ９１１を用いて、輝度記憶部１１２が記憶した輝度データのなかから、選択した画素（以下「隣接画素」と呼ぶ。）の輝度を表わす輝度データを取得する。輝度比較工程Ｓ４１３へ進む。
【００２８】
輝度比較工程Ｓ４１３において、ピーク抽出部１２１は、ＣＰＵ９１１を用いて、画素選択工程Ｓ４１１及び隣接画素選択工程Ｓ４１２で取得した輝度データに基づいて、画素選択工程Ｓ４１１で選択した選択画素の輝度と、隣接画素選択工程Ｓ４１２で選択した隣接画素の輝度とを比較する。
選択画素の輝度が隣接画素の輝度以上である場合、ピーク抽出部１２１は、隣接画素選択工程Ｓ４１２に戻り、次の隣接画素を選択する。
選択画素の輝度が隣接画素の輝度未満である場合、選択画素はピーク画素ではない。ピーク抽出部１２１は、画素選択工程Ｓ４１１に戻り、次の選択画素を選択する。
【００２９】
ピーク記憶工程Ｓ４１４において、ピーク記憶部１２２は、磁気ディスク装置９２０を用いて、画素選択工程Ｓ４１１でピーク抽出部１２１が選択した選択画素をピーク画素として、選択画素を表わすピーク画素データを記憶する。その後、ピーク抽出部１２１は、画素選択工程Ｓ４１１に戻り、次の選択画素を選択する。
【００３０】
図７は、この実施の形態における輝点領域拡大処理Ｓ４３０の流れの一例を示すフローチャート図である。
輝点領域拡大処理Ｓ４３０は、ピーク選択工程Ｓ４３１、サイズ初期化工程Ｓ４３２、サイズ更新工程Ｓ４３３、周辺画素選択工程Ｓ４３４、隣接画素選択工程Ｓ４３５、輝度比較工程Ｓ４３６を有する。
【００３１】
ピーク選択工程Ｓ４３１において、輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、ピーク記憶部１２２が記憶したピーク画素データのなかから、ピーク画素データを一つずつ選択する。
ピーク画素データがすべて選択済であり、輝点領域記憶部１３１がピーク画素データを選択しなかった場合、輝点領域拡大処理Ｓ４３０を終了する。
ピーク画素データのなかに未選択のピーク画素データがあり、輝点領域記憶部１３１が未選択のピーク画素データを選択した場合、輝点領域記憶部１３１は、磁気ディスク装置９２０を用いて、選択したピーク画素データを、中心画素データとして記憶する。「中心画素データ」とは、輝点領域データの一部であり、輝点領域の中心となる画素を表わす。
【００３２】
サイズ初期化工程Ｓ４３２において、輝点領域記憶部１３１は、磁気ディスク装置９２０を用いて、サイズデータの初期値を記憶する。「サイズデータ」とは、輝点領域データの一部であり、輝点領域のサイズを表わす。この実施の形態において、特徴抽出装置１００は、ピーク画素を中心とする正方形の範囲を、輝点領域とする。したがって、輝点領域のサイズは、輝点領域の一辺を構成する画素の数で表わすことができる。例えば、輝点領域記憶部１３１は、サイズデータとして初期値「０」を記憶する。
【００３３】
サイズ更新工程Ｓ４３３において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、輝点領域記憶部１３１が記憶したサイズデータを更新する。例えば、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、輝点領域記憶部１３１が記憶したサイズデータに「１」を加える。輝点領域記憶部１３１は、磁気ディスク装置９２０を用いて、更新されたサイズデータを記憶する。
【００３４】
周辺画素選択工程Ｓ４３４において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク選択工程Ｓ４３１で輝点領域記憶部１３１が記憶した中心画素データと、サイズ更新工程Ｓ４３３で更新したサイズデータとに基づいて、輝点領域の周辺画素を抽出する。
周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、抽出した周辺画素のなかから、周辺画素を一つずつ選択する。
抽出した周辺画素がすべて選択済であり、周辺画素抽出部１３２が周辺画素を選択しなかった場合、周辺画素抽出部１３２は、サイズ更新工程Ｓ４３３に戻り、サイズデータを更新して、輝点領域を拡大する。
抽出した周辺画素のなかに未選択の周辺画素があり、周辺画素抽出部１３２が未選択の周辺画素を選択した場合、輝度比較部１３３は、ＣＰＵ９１１を用いて、輝度記憶部１１２が記憶した輝度データのなかから、周辺画素抽出部１３２が選択した周辺画素についての輝度データを取得する。その後、隣接画素選択工程Ｓ４３５へ進む。
【００３５】
隣接画素選択工程Ｓ４３５において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素選択工程Ｓ４３４で周辺画素抽出部１３２が選択した周辺画素に隣接する隣接画素のなかから、輝点領域内に含まれる隣接画素を一つずつ選択する。
選択すべき隣接画素がすべて選択済であり、輝度比較部１３３が隣接画素を選択しなかった場合、周辺画素抽出部１３２は、周辺画素選択工程Ｓ４３４に戻り、次の周辺画素を選択する。
選択すべき隣接画素のなかに未選択の隣接画素があり、輝度比較部１３３が隣接画素を選択した場合、輝度比較部１３３は、ＣＰＵ９１１を用いて、輝度記憶部１１２が記憶した輝度データのなかから、選択した隣接画素についての輝度データを取得する。その後、輝度比較工程Ｓ４３６へ進む。
【００３６】
輝度比較工程Ｓ４３６において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素選択工程Ｓ４３４及び隣接画素選択工程Ｓ４３５で取得した輝度データに基づいて、周辺画素選択工程Ｓ４３４で周辺画素抽出部１３２が選択した周辺画素の輝度と、隣接画素選択工程Ｓ４３５で選択した隣接画素の輝度とを比較する。
周辺画素の輝度が隣接画素の輝度より大きい場合は、輝点領域の拡大を終了する。輝点領域記憶部１３１は、ピーク選択工程Ｓ４３１に戻り、次のピーク画素データを選択する。
周辺画素の輝度が隣接画素の輝度以下である場合、輝度比較部１３３は、隣接画素選択工程Ｓ４３５に戻り、次の隣接画素を選択する。
【００３７】
図８は、この実施の形態における特徴画像生成処理Ｓ４７０の流れの一例を示すフローチャート図である。
特徴画像生成処理Ｓ４７０は、ピーク選択工程Ｓ４７１、特徴画素選択工程Ｓ４７２、輝度設定工程Ｓ４７３を有する。
【００３８】
ピーク選択工程Ｓ４７１において、特徴画像生成部１４１は、ＣＰＵ９１１を用いて、ピーク記憶部１２２が記憶したピーク画素データのなかから、ピーク画素データを一つずつ選択する。
ピーク画素データがすべて選択済であり、特徴画像生成部１４１がピーク画素データを選択しなかった場合は、特徴画像生成処理Ｓ４７０を終了する。
ピーク画素データのなかに未選択のピーク画素データがあり、特徴画像生成部１４１が未選択のピーク画素データを選択した場合、特徴画像生成部１４１は、ＣＰＵ９１１を用いて、輝度記憶部１１２が記憶した輝度データのなかから、選択したピーク画素データが表わすピーク画素についての輝度データを取得する。特徴画像生成部１４１は、ＣＰＵ９１１を用いて、輝点領域記憶部１３１が記憶した輝点領域データのなかから、選択したピーク画素データが表わすピーク画素を含む輝点領域を表わす輝点領域データを取得する。その後、特徴画素選択工程Ｓ４７２へ進む。
【００３９】
特徴画素選択工程Ｓ４７２において、特徴画像生成部１４１は、ＣＰＵ９１１を用いて、ピーク選択工程Ｓ４７１で取得した輝点領域データに基づいて、輝点領域データが表わす輝点領域に含まれる画素を一つずつ選択する。
輝点領域に含まれる画素がすべて選択済であり、特徴画像生成部１４１が画素を選択しなかった場合、ピーク選択工程Ｓ４７１に戻り、特徴画像生成部１４１が次のピーク画素データを選択する。
輝点領域に含まれる画素のなかに未選択の画素があり、特徴画像生成部１４１が未選択の画素を選択した場合は、輝度設定工程Ｓ４７３へ進む。
【００４０】
輝度設定工程Ｓ４７３において、特徴画像生成部１４１は、ＣＰＵ９１１を用いて、特徴画像を構成する画素（以下「特徴画素」と呼ぶ。）のうち、特徴画素選択工程Ｓ４７２で選択した画素と同じ位置の画素の輝度を、ピーク選択工程Ｓ４７１で取得した輝度データが表わす輝度に設定する。その後、特徴画像生成部１４１は、特徴画素選択工程Ｓ４７２に戻り、次の画素を選択する。
【００４１】
図９は、この実施の形態における輝点領域拡大処理Ｓ４３０において特徴抽出装置１００が輝点領域６２０を拡大していく様子の一例を示す図である。
最初の状態において、輝点領域記憶部１３１は、ピーク画素６１１だけを含む輝点領域６２０を表わす輝点領域データを記憶している。
周辺画素抽出部１３２は、周辺領域６３０に含まれる８つの画素を、周辺画素として抽出する。輝度比較部１３３が周辺画素の輝度とピーク画素６１１の輝度とを比較して、８つの周辺画素すべての輝度がピーク画素６１１の輝度以下だった場合に、輝点領域拡大部１３４が輝点領域６２０を拡大する。輝点領域記憶部１３１は、ピーク画素６１１及びピーク画素６１１に隣接する８つの画素６２１〜６２８からなる輝点領域６２０を表わす輝点領域データを記憶する。
【００４２】
周辺画素抽出部１３２は、周辺領域６３０に含まれる１６個の画素６３１〜６４７を、周辺画素として抽出する。輝度比較部１３３は、周辺画素６３１〜６４７の輝度と、輝点領域６２０内の画素（以下「輝点画素」と呼ぶ。）６１１，６２１〜６２８のうちその周辺画素に隣接する画素の輝度とを比較する。例えば、輝度比較部１３３は、周辺画素６３１の輝度と、輝点画素６２１の輝度とを比較する。輝度比較部１３３は、周辺画素６３２の輝度と、２つの輝点画素６２１，６２２の輝度とを比較する。輝度比較部１３３は、周辺画素６３３の輝度と、３つの輝点画素６２１〜６２３の輝度とを比較する。すべての比較において、周辺画素の輝度が輝点画素の輝度以下だった場合、輝点領域拡大部１３４は、輝点領域６２０を拡大する。輝点領域記憶部１３１は、ピーク画素６１１を中心とする２５個の画素からなる輝点領域６２０を表わす輝点領域データを記憶する。
【００４３】
周辺画素抽出部１３２は、周辺領域６３０に含まれる２４個の画素を、周辺画素として抽出する。輝度比較部１３３は、周辺画素の輝度と、輝点領域６２０内の２５個の輝点画素のうちその周辺画素に隣接する画素の輝度とを比較する。すべての比較において、周辺画素の輝度が輝点画素の輝度以下だった場合、輝点領域拡大部１３４は、輝点領域６２０を拡大する。いずれかの比較において、周辺画素の輝度が輝点画素の輝度より大きかった場合、輝点領域拡大部１３４は、輝点領域６２０を拡大せず、輝点領域６２０が確定する。
【００４４】
図１０は、この実施の形態におけるサイズ更新工程Ｓ４３３の流れの一例を示す詳細フローチャート図である。
サイズ更新工程Ｓ４３３は、サイズ設定工程Ｓ５１１、拡大サイズ算出工程Ｓ５１８を有する。
【００４５】
サイズ設定工程Ｓ５１１において、輝点領域記憶部１３１は、ＲＡＭ９１４を用いて、輝点領域６２０のサイズＳとして拡大サイズｓを設定し記憶する。この例において、輝点領域６２０のサイズＳは、ピーク画素６１１から輝点領域６２０の一辺までの画素数を表わす。例えば、輝点領域６２０の一辺が１画素である場合、サイズＳは「０」、輝点領域６２０の一辺が３画素の場合、サイズＳは「１」、輝点領域６２０の一辺が５画素の場合、サイズＳは「２」となる。拡大サイズｓは、周辺画素を含めた拡大後の輝点領域のサイズを表わす。輝点領域記憶部１３１は、サイズ初期化工程Ｓ４３２で拡大サイズを「０」に初期化しておく。
拡大サイズ算出工程Ｓ５１８において、輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、サイズＳに１を加え、ＲＡＭ９１４を用いて、拡大サイズｓとして記憶する。
その後、周辺画素選択工程Ｓ４３４へ進む。
【００４６】
図１１は、この実施の形態における周辺画素選択工程Ｓ４３４の流れの一例を示す詳細フローチャート図である。
周辺画素選択工程Ｓ４３４は、範囲算出工程Ｓ５２１、初期座標設定工程Ｓ５２９、座標判定工程Ｓ５３１、ｘ座標増加工程Ｓ５３２、ｙ座標増加工程Ｓ５３３、ｘ座標減少工程Ｓ５３４、ｙ座標減少工程Ｓ５３５、輝度取得工程Ｓ５６９を有する。
【００４７】
サイズ更新工程Ｓ４３３から周辺画素選択工程Ｓ４３４に入った場合、周辺画素抽出部１３２は、範囲算出工程Ｓ５２１から処理を始める。
【００４８】
範囲算出工程Ｓ５２１において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、周辺画素が存在する範囲のｘ座標ｘ１，ｘ２及びｙ座標ｙ１，ｙ２を算出する。ｘ軸が横方向右向き、ｙ軸が縦方向下向きであると仮定すると、ｘ座標ｘ１は、周辺領域６３０の左側の辺のｘ座標を表わし、ｘ座標ｘ２は、周辺領域６３０の右側の辺のｘ座標を表わす。ｙ座標ｙ１は、周辺領域６３０の上側の辺のｙ座標を表わし、ｙ座標ｙ２は、周辺領域６３０の下側の辺のｙ座標を表わす。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク選択工程Ｓ４３１で選択したピーク画素データから、ピーク画素６１１のｘ座標ｘ０及びｙ座標ｙ０を取得する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、輝点領域記憶部１３１が記憶した拡大サイズｓを取得する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｘ座標ｘ０から拡大サイズｓを差し引いた差を算出し、ＲＡＭ９１４を用いて、ｘ座標ｘ１として記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｘ座標ｘ０に拡大サイズｓを加えた和を算出し、ＲＡＭ９１４を用いて、ｘ座標ｘ２として記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｙ座標ｙ０から拡大サイズｓを差し引いた差を算出し、ＲＡＭ９１４を用いて、ｙ座標ｙ１として記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｙ座標ｙ０に拡大サイズｓを加えた和を算出し、ＲＡＭ９１４を用いて、ｙ座標ｙ２として記憶する。
【００４９】
初期座標設定工程Ｓ５２９において、周辺画素抽出部１３２は、選択する周辺画素のｘ座標ｘ及びｙ座標ｙを初期化する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｘ座標ｘ１を、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｙ座標ｙ１を周辺画素のｙ座標ｙとして記憶する。すなわち、周辺画素抽出部１３２は、周辺領域６３０の左上角の画素を、周辺画素として最初に選択する。
【００５０】
輝度取得工程Ｓ５６９において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶したｘ座標ｘ及びｙ座標ｙに基づいて、輝度記憶部１１２が記憶した輝度データから、選択した周辺画素についての輝度データを取得する。その後、隣接画素選択工程Ｓ４３５へ進む。
【００５１】
隣接画素選択工程Ｓ４３５から周辺画素選択工程Ｓ４３４に入った場合、周辺画素抽出部１３２は、座標判定工程Ｓ５３１から処理を始める。
【００５２】
座標判定工程Ｓ５３１において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した周辺画素のｘ座標ｘとｙ座標ｙとに基づいて、一つ前に選択した周辺画素が周辺領域６３０のなかのどこに位置するのかを判定する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、周辺画素のｘ座標ｘを、範囲算出工程Ｓ５２１で記憶したｘ座標ｘ１及びｘ２と比較する。また、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、周辺画素のｙ座標ｙを、範囲算出工程Ｓ５２１で記憶したｙ座標ｙ１及びｙ２と比較する。
ｘ座標ｘがｘ座標ｘ２より小さく、かつ、ｙ座標ｙがｙ座標ｙ１と等しい場合、一つ前に選択した周辺画素は、周辺領域６３０の上側の辺上の画素（右上角の画素を除く）である。周辺画素抽出部１３２は、ｘ座標増加工程Ｓ５３２へ進む。
ｘ座標ｘがｘ座標ｘ２と等しく、かつ、ｙ座標ｙがｙ座標ｙ２より小さい場合、一つ前に選択した周辺画素は、周辺領域６３０の右側の辺上の画素（右下角の画素を除く）である。周辺画素抽出部１３２は、ｙ座標増加工程Ｓ５３３へ進む。
ｘ座標ｘがｘ座標ｘ１より大きく、かつ、ｙ座標ｙがｙ座標ｙ１と等しい場合、一つ前に選択した周辺画素は、周辺領域６３０の下側の辺上の画素（左下角の画素を除く）である。周辺画素抽出部１３２は、ｘ座標減少工程Ｓ５３４へ進む。
ｘ座標ｘがｘ座標ｘ１と等しく、かつ、ｙ座標ｙがｙ座標ｙ１より大きい場合、一つ前に選択した周辺画素は、周辺領域６３０の左側の辺上の画素（左上角の画素を除く）である。周辺画素抽出部１３２は、ｙ座標減少工程Ｓ５３５へ進む。
【００５３】
ｘ座標増加工程Ｓ５３２において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した周辺画素のｘ座標ｘに１を加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。すなわち、周辺画素抽出部１３２は、一つ前に選択した周辺画素の右隣の画素を周辺画素として選択する。その後、輝度取得工程Ｓ５６９へ進む。
【００５４】
ｙ座標増加工程Ｓ５３３において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した周辺画素のｙ座標ｙに１を加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。すなわち、周辺画素抽出部１３２は、一つ前に選択した周辺画素の下隣の画素を周辺画素として選択する。その後、輝度取得工程Ｓ５６９へ進む。
【００５５】
ｘ座標減少工程Ｓ５３４において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した周辺画素のｘ座標ｘから１を差し引いた差を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標として記憶する。すなわち、周辺画素抽出部１３２は、一つ前に選択した周辺画素の左隣の画素を周辺画素として選択する。その後、輝度取得工程Ｓ５６９へ進む。
【００５６】
ｙ座標減少工程Ｓ５３５において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した周辺画素のｙ座標ｙから１を差し引いた差を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標として記憶する。すなわち、周辺画素抽出部１３２は、一つ前に選択した周辺画素の上隣の画素を周辺画素として選択する。
周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、算出したｙ座標ｙを、記憶したｙ座標ｙ１と比較する。
ｙ座標ｙがｙ座標ｙ１と等しい場合、周辺領域６３０を一周して左上の画素に戻ってきたことになる。周辺画素抽出部１３２は、サイズ更新工程Ｓ４３３に戻る。
ｙ座標ｙがｙ座標ｙ１より大きい場合は、まだ選択すべき周辺画素が残っているので、周辺画素抽出部１３２は、輝度取得工程Ｓ５６９へ進む。
【００５７】
図１２は、この実施の形態における隣接画素選択工程Ｓ４３５の流れの一例を示す詳細フローチャート図である。
隣接画素選択工程Ｓ４３５は、左範囲設定工程Ｓ５７１、左範囲限定工程Ｓ５７２、右範囲設定工程Ｓ５７３、右範囲限定工程Ｓ５７４、上範囲設定工程Ｓ５７５、上範囲限定工程Ｓ５７６、下範囲設定工程Ｓ５７７、下範囲限定工程Ｓ５７８、初期座標設定工程Ｓ５７９、座標判定工程Ｓ５８１、Ｘ座標増加工程Ｓ５８２、Ｙ座標増加工程Ｓ５８３、輝度取得工程Ｓ５９９を有する。
【００５８】
周辺画素選択工程Ｓ４３４から隣接画素選択工程Ｓ４３５に入った場合、輝度比較部１３３は、左範囲設定工程Ｓ５７１から処理を始める。
【００５９】
左範囲設定工程Ｓ５７１において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶した周辺画素のｘ座標ｘに基づいて、周辺画素抽出部１３２が選択した周辺画素に隣接する隣接画素が存在する範囲の左端のｘ座標Ｘ１を算出する。輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素のｘ座標ｘから１を差し引いた差を算出し、ＲＡＭ９１４を用いて、ｘ座標Ｘ１として記憶する。
輝度比較部１３３は、ＣＰＵ９１１を用いて、算出したｘ座標Ｘ１と、周辺画素抽出部１３２が記憶したｘ座標ｘ１とを比較する。ｘ座標Ｘ１がｘ座標ｘ１以下である場合、周辺画素より左側には、輝点画素が存在しない。輝度比較部１３３は、左範囲限定工程Ｓ５７２へ進む。ｘ座標Ｘ１がｘ座標ｘ１より大きい場合は、右範囲設定工程Ｓ５７３へ進む。
【００６０】
左範囲限定工程Ｓ５７２において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶したｘ座標ｘ１に１を加えた和を算出し、ＲＡＭ９１４を用いて、ｘ座標Ｘ１として記憶する。すなわち、輝度比較部１３３は、選択すべき隣接画素の範囲の左端を、輝点領域６２０の左端に揃える。その後、右範囲設定工程Ｓ５７３へ進む。
【００６１】
右範囲設定工程Ｓ５７３において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶した周辺画素のｘ座標ｘに基づいて、周辺画素抽出部１３２が選択した周辺画素に隣接する隣接画素が存在する範囲の右端のｘ座標Ｘ２を算出する。輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素のｘ座標ｘに１を加えた和を算出し、ＲＡＭ９１４を用いて、ｘ座標Ｘ２として記憶する。
輝度比較部１３３は、ＣＰＵ９１１を用いて、算出したｘ座標Ｘ２と、周辺画素抽出部１３２が記憶したｘ座標ｘ２とを比較する。ｘ座標Ｘ２がｘ座標ｘ２以上である場合、周辺画素より右側には、輝点画素が存在しない。輝度比較部１３３は、右範囲限定工程Ｓ５７４へ進む。ｘ座標Ｘ２がｘ座標ｘ２より小さい場合は、上範囲設定工程Ｓ５７５へ進む。
【００６２】
右範囲限定工程Ｓ５７４において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶したｘ座標ｘ２から１を差し引いた差を算出し、ＲＡＭ９１４を用いて、ｘ座標Ｘ２として記憶する。すなわち、輝度比較部１３３は、選択すべき隣接画素の範囲の右端を、輝点領域６２０の右端に揃える。その後、上範囲設定工程Ｓ５７５へ進む。
【００６３】
上範囲設定工程Ｓ５７５において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶した周辺画素のｙ座標ｙに基づいて、周辺画素抽出部１３２が選択した周辺画素に隣接する隣接画素が存在する範囲の上端のｙ座標Ｙ１を算出する。輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素のｙ座標ｙから１を差し引いた差を算出し、ＲＡＭ９１４を用いて、ｙ座標Ｙ１として記憶する。
輝度比較部１３３は、ＣＰＵ９１１を用いて、算出したｙ座標Ｙ１と、周辺画素抽出部１３２が記憶したｙ座標ｙ１とを比較する。ｙ座標Ｙ１がｙ座標ｙ１以下である場合、周辺画素より上側には、輝点画素が存在しない。輝度比較部１３３は、上範囲限定工程Ｓ５７６へ進む。ｙ座標Ｙ１がｙ座標ｙ１より大きい場合は、下範囲設定工程Ｓ５７７へ進む。
【００６４】
上範囲限定工程Ｓ５７６において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶したｙ座標ｙ１に１を加えた和を算出し、ＲＡＭ９１４を用いて、ｙ座標Ｙ１として記憶する。すなわち、輝度比較部１３３は、選択すべき隣接画素の範囲の上端を、輝点領域６２０の上端に揃える。その後、下範囲設定工程Ｓ５７７へ進む。
【００６５】
下範囲設定工程Ｓ５７７において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶した周辺画素のｙ座標ｙに基づいて、周辺画素抽出部１３２が選択した周辺画素に隣接する隣接画素が存在する範囲の下端のｙ座標Ｙ２を算出する。輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素のｙ座標ｙに１を加えた和を算出し、ＲＡＭ９１４を用いて、ｙ座標Ｙ２として記憶する。
輝度比較部１３３は、ＣＰＵ９１１を用いて、算出したｙ座標Ｙ２と、周辺画素抽出部１３２が記憶したｙ座標ｙ２とを比較する。ｙ座標Ｙ２がｙ座標ｙ２以上である場合、周辺画素より下側には、輝点画素が存在しない。輝度比較部１３３は、下範囲限定工程Ｓ５７８へ進む。ｙ座標Ｙ２がｙ座標ｙ２より小さい場合は、初期座標設定工程Ｓ５７９へ進む。
【００６６】
下範囲限定工程Ｓ５７８において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶したｙ座標ｙ２から１を差し引いた差を算出し、ＲＡＭ９１４を用いて、ｙ座標Ｙ２として記憶する。すなわち、輝度比較部１３３は、選択すべき隣接画素の範囲の下端を、輝点領域６２０の下端に揃える。その後、初期座標設定工程Ｓ５７９へ進む。
【００６７】
初期座標設定工程Ｓ５７９において、輝度比較部１３３は、ＣＰＵ９１１を用いて、選択する隣接画素のｘ座標Ｘ及びｙ座標Ｙを初期化する。輝度比較部１３３は、ＲＡＭ９１４を用いて、記憶したｘ座標Ｘ１を、隣接画素のｘ座標Ｘとして記憶する。輝度比較部１３３は、ＲＡＭ９１４を用いて、記憶したｙ座標Ｙ１を、隣接画素のｙ座標Ｙとして記憶する。すなわち、輝度比較部１３３は、隣接画素の範囲の左上角の画素を、隣接画素として最初に選択する。
【００６８】
輝度取得工程Ｓ５９９において、輝度比較部１３３は、ＣＰＵ９１１を用いて、記憶したｘ座標Ｘ及びｙ座標Ｙに基づいて、輝度記憶部１１２が記憶した輝度データから、選択した隣接画素についての輝度データを取得する。その後、輝度比較工程Ｓ４３６へ進む。
【００６９】
輝度比較工程Ｓ４３６から隣接画素選択工程Ｓ４３５に入った場合、輝度比較部１３３は、座標判定工程Ｓ５８１から処理を始める。
【００７０】
座標判定工程Ｓ５８１において、輝度比較部１３３は、記憶した隣接画素のｘ座標Ｘ及びｙ座標Ｙに基づいて、一つ前に選択した隣接画素の位置を判定する。輝度比較部１３３は、ＣＰＵ９１１を用いて、隣接画素のｘ座標Ｘと、記憶したｘ座標Ｘ２とを比較する。
隣接画素のｘ座標Ｘがｘ座標Ｘ２より小さい場合、Ｘ座標増加工程Ｓ５８２へ進む。
隣接画素のｘ座標Ｘがｘ座標Ｘ２と等しい場合、輝度比較部１３３は、ＣＰＵ９１１を用いて、隣接画素のｙ座標Ｙと、記憶したｙ座標Ｙ２とを比較する。
隣接画素のｙ座標Ｙがｙ座標Ｙ２より小さい場合、Ｙ座標増加工程Ｓ５８３へ進む。
隣接画素のｙ座標Ｙがｙ座標Ｙ２と等しい場合、選択すべき隣接画素の選択がすべて終わったことになる。輝度比較部１３３は、周辺画素選択工程Ｓ４３４へ進む。
【００７１】
Ｘ座標増加工程Ｓ５８２において、輝度比較部１３３は、ＣＰＵ９１１を用いて、記憶した隣接画素のｘ座標Ｘに１を加えた和を算出し、ＲＡＭ９１４を用いて、隣接画素のｘ座標Ｘとして記憶する。その後、輝度取得工程Ｓ５９９へ進む。
【００７２】
Ｙ座標増加工程Ｓ５８３において、輝度比較部１３３は、ＲＡＭ９１４を用いて、記憶したｘ座標Ｘ１を、隣接画素のｘ座標Ｘとして記憶する。輝度比較部１３３は、ＣＰＵ９１１を用いて、記憶した隣接画素のｙ座標Ｙに１を加えた和を算出し、ＲＡＭ９１４を用いて、隣接画素のｙ座標Ｙとして記憶する。その後、輝度取得工程Ｓ５９９へ進む。
【００７３】
図１３は、この実施の形態における特徴抽出装置１００が生成する特徴画像６５０の一例を示す図である。
特徴抽出装置１００が生成する特徴画像６５０は、特徴抽出装置１００が入力した対象画像６００と縦横ともに同じ画素数であり、特徴画像６５０の各特徴画素が、対象画像６００の同じ位置の画素に対応している。
対象画像６００の画素が輝点領域内の画素である場合、その画素に対応する特徴画素の輝度として、その輝点領域の中心であるピーク画素の輝度を設定する。対象画像６００の画素がいずれの輝点領域にも含まれない画素である場合、その画素に対応する特徴画素の輝度として、所定の輝度（例えば最も暗い値）を設定する。
【００７４】
輝点領域は正方形であるから、この図に示すように、特徴画像６５０には、正方形の領域が複数現れる。なお、ピーク画素が対象画像の端に近い位置にある場合には、正方形の一部が特徴画像６５０の外にはみ出して、長方形になる場合がある。各正方形は、輝点領域に対応する。正方形の大きさは、輝点領域の大きさを表わす。正方形の明るさは、ピーク画素の輝度を表わす。
【００７５】
輝点領域は、ピーク画素を中心として、ピーク画素から遠く離れるほど輝度が小さくなる画素の領域であるから、ピーク画素に現れた輝点の影響が及ぶ範囲を表わす。したがって、輝点領域が広いほど、その輝点の反応が強いか、もしくは、周辺に他の輝点が存在しないことを表わす。逆に、輝点領域が狭いほど、その輝点の反応が弱いか、もしくは、周辺に他の輝点が存在し、目標が密集していることを表わし、場合によっては誤検出である可能性があることを示唆する。また、ピーク画素の輝度が大きいほど、その輝点の反応が強いことを表わす。逆に、ピーク画素の輝度が小さいほど、その輝点の反応が弱いことを表わし、場合によっては誤検出である可能性があることを示唆する。
【００７６】
この実施の形態における特徴抽出装置１００は、輝点領域を表わす正方形によって、ピーク画素の輝度と、輝点領域の広さとを同時に表わす特徴画像６５０を生成することにより、輝点の反応の強さが一目瞭然となる。
例えば、ピーク画素の輝度が小さくても、輝点領域が広ければ、確実な反応があるといえる。画素の輝度のみを基準として閾値で切ってしまうと検出漏れを起こす場合であっても、輝点領域の広さを加味することにより、誤検出か否かを正しく判断でき、検出漏れを防ぐことができる。
【００７７】
また、時系列に沿って撮像装置８１０が撮影した複数の対象画像６００を、特徴抽出装置１００が順次処理し、複数の特徴画像６５０を生成することにより、輝点の動きが輝点領域を表わす正方形の動きに反映される。これにより、例えば、複数の輝点が重なったとき、どの輝点がどの輝点を吸収したかなど、輝点の動きを正しく判断できる。
【００７８】
なお、特徴抽出装置１００が生成した特徴画像６５０は、特徴表示装置８２０が表示するのではなく、例えば輝点を追尾する輝点追尾装置など、更に画像を処理する装置の入力としてもよい。
また、特徴抽出装置１００は、特徴情報として、特徴画像６５０を出力するのではなく、算出したピーク画素の位置、輝度、輝点領域の広さ、輝点領域内の画素数などを出力する構成であってもよい。
【００７９】
また、特徴抽出装置１００が生成した特徴画像６５０を特徴表示装置８２０が表示する場合において、ピーク画素６１１の輝度を、特徴画素の輝度で表現するのではなく、特徴画素の色彩で表現する構成としてもよい。この場合、特徴表示装置８２０は、特徴画像６５０を変換して表示する構成としてもよいし、特徴画像生成部１４１が、輝点領域６２０のピーク画素６１１の輝度に対応する色彩を、特徴画素の色彩として設定して、特徴画像６５０を生成する構成としてもよい。
【００８０】
この実施の形態における特徴抽出装置１００は、データを記憶する記憶装置（磁気ディスク装置９２０、ＲＡＭ９１４など）と、データを処理する処理装置（ＣＰＵ９１１）と、輝度記憶部１１２と、ピーク抽出部１２１と、輝点領域記憶部１３１と、周辺画素抽出部１３２と、輝度比較部１３３と、輝点領域拡大部１３４と、特徴出力部１４２とを有する。
上記輝度記憶部１１２は、上記記憶装置を用いて、複数の画素により構成される対象画像６００について、上記複数の画素それぞれの輝度を記憶する。
上記ピーク抽出部１２１は、上記処理装置を用いて、上記輝度記憶部１１２が記憶した輝度に基づいて、上記対象画像６００を構成する複数の画素のなかから、隣接する画素よりも輝度が高い画素を抽出して、ピーク画素とする。
上記輝点領域記憶部１３１は、上記記憶装置を用いて、上記ピーク抽出部１２１が抽出したピーク画素を含む一以上の画素を、輝点領域６２０として記憶する。
上記周辺画素抽出部１３２は、上記処理装置を用いて、上記輝点領域記憶部１３１が記憶した輝点領域６２０に基づいて、上記対象画像６００を構成する複数の画素のなかから、上記輝点領域６２０に含まれる画素に隣接する画素であって上記輝点領域６２０に含まれない画素を抽出して、周辺画素とする。
上記輝度比較部１３３は、上記処理装置を用いて、上記輝度記憶部１１２が記憶した輝度に基づいて、上記周辺画素抽出部１３２が抽出した周辺画素の輝度と、上記輝点領域６２０に含まれる画素の輝度とを比較する。
上記輝点領域拡大部１３４は、上記処理装置を用いて、上記周辺画素の輝度が上記輝点領域６２０に含まれる画素の輝度よりも低いと上記輝度比較部１３３が判定した場合に、上記周辺画素抽出部１３２が抽出した周辺画素を上記輝点領域６２０に追加して上記輝点領域記憶部１３１に記憶させる。
上記特徴出力部１４２は、上記処理装置を用いて、上記輝点領域記憶部１３１が記憶した輝点領域を、上記対象画像６００についての特徴情報として出力する。
【００８１】
この実施の形態における特徴抽出装置１００によれば、ピーク画素から出発して徐々に輝度が低くなっていく領域を検出して輝点領域とし、対象画像６００についての特徴情報として、検出した輝点領域を出力するので、対象画像６００に写った輝点を正しく判断するための情報を得ることができる。
【００８２】
この実施の形態における特徴抽出装置１００において、上記輝度比較部１３３は、上記処理装置を用いて、上記輝点領域６２０のなかで上記周辺画素に隣接した画素の輝度と、上記周辺画素の輝度とを比較する。
【００８３】
この実施の形態における特徴抽出装置１００によれば、輝点領域６２０のなかで周辺画素に隣接した画素の輝度と、周辺画素の輝度とを比較し、周辺画素の輝度のほうが低い場合に、周辺画素を輝点領域６２０に追加するので、ピーク画素から離れるほど輝度が低くなっていく領域を、輝点領域として検出することができる。
【００８４】
この実施の形態における特徴抽出装置１００において、上記周辺画素抽出部１３２は、上記処理装置を用いて、上記周辺画素として、複数の画素を抽出する。
上記輝点領域拡大部１３４は、上記処理装置を用いて、上記周辺画素抽出部１３２が抽出した複数の周辺画素すべての輝度が、上記輝点領域６２０に含まれる画素の輝度よりも低いと上記輝度比較部１３３が判定した場合に、上記周辺画素抽出部１３２が抽出した複数の周辺画素を上記輝点領域６２０に追加する。
【００８５】
この実施の形態における特徴抽出装置１００によれば、複数の周辺画素を一括して輝点領域に追加するので、輝点領域の形状を、常に所定の形状とすることができる。
【００８６】
この実施の形態における特徴抽出装置１００において、上記周辺画素抽出部１３２は、上記処理装置を用いて、上記周辺画素として、上記ピーク抽出部１２１が抽出したピーク画素６１１を中心とする正方形の辺を構成する複数の画素を抽出する。
【００８７】
この実施の形態における特徴抽出装置１００によれば、ピーク画素６１１を中心とする正方形の辺を構成する複数の画素を周辺画素として抽出するので、輝点領域の形状を、ピーク画素６１１を中心とする正方形とすることができる。
【００８８】
この実施の形態における特徴抽出装置１００において、上記特徴出力部１４２は、上記処理装置を用いて、上記特徴情報として、上記ピーク抽出部１２１が抽出したピーク画素と、上記輝点領域記憶部１３１が記憶した輝点領域に含まれる画素の数とのうち少なくともいずれかを出力する。
【００８９】
この実施の形態における特徴抽出装置１００によれば、特徴情報として、ピーク画素の位置や輝点領域内の画素数を出力するので、特徴抽出装置１００の後段に、更に特徴情報を処理する装置があるシステム構成の場合に、後段の装置の処理が容易となる。
【００９０】
この実施の形態における特徴抽出装置１００は、更に、特徴画像生成部１４１を有する。
上記特徴画像生成部１４１は、上記処理装置を用いて、上記対象画像６００を構成する複数の画素に対応する複数の特徴画素により構成され、上記輝点領域記憶部１３１が記憶した輝点領域６２０に含まれるピーク画素６１１の輝度を、上記輝点領域６２０に含まれる画素に対応する特徴画素の輝度とした特徴画像６５０を生成する。
上記特徴出力部１４２は、上記処理装置を用いて、上記特徴情報として、上記特徴画像生成部１４１が生成した特徴画像６５０を出力する。
【００９１】
この実施の形態における特徴抽出装置１００によれば、特徴情報として、輝点領域を表わす特徴画像６５０を出力するので、特徴抽出装置１００の後段に、特徴画像６５０を表示する特徴表示装置８２０を設けることにより、対象画像６００の特徴をわかりやすく表示することができる。
また、既存のシステムに、撮像装置８１０が撮影した画像を処理する装置が存在する場合、特徴抽出装置１００を撮像装置８１０と、画像を処理する装置との間に挿入するだけで新たなシステムを構築することができる。
【００９２】
この実施の形態における特徴抽出装置１００は、データを記憶する記憶装置（磁気ディスク装置９２０、ＲＡＭ９１４など）とデータを処理する処理装置（ＣＰＵ９１１）とを有するコンピュータが、上記コンピュータを特徴抽出装置１００として機能させるコンピュータプログラムを実行することにより実現することができる。
【００９３】
この実施の形態における特徴抽出装置１００が、複数の画素により構成される対象画像６００についての特徴情報を抽出する特徴抽出方法は、以下の工程を有する。
上記処理装置が、上記複数の画素それぞれの輝度に基づいて、上記対象画像６００を構成する複数の画素のなかから、隣接する画素よりも輝度が高い画素を抽出して、ピーク画素６１１とする。
上記処理装置が、抽出したピーク画素６１１を含む一以上の画素を、輝点領域６２０とする。
上記処理装置が、上記輝点領域６２０に基づいて、上記対象画像６００を構成する複数の画素のなかから、上記輝点領域６２０に含まれる画素に隣接する画素であって上記輝点領域６２０に含まれない画素を抽出して、周辺画素とする。
上記処理装置が、上記複数の画素それぞれの輝度に基づいて、抽出した周辺画素の輝度と、上記輝点領域６２０に含まれる画素の輝度とを比較する。
上記処理装置が、上記周辺画素の輝度が上記輝点領域６２０に含まれる画素の輝度よりも低いと判定した場合に、抽出した周辺画素を上記輝点領域６２０に追加する。
上記処理装置が、上記輝点領域６２０を、上記対象画像６００についての特徴情報とする。
【００９４】
この実施の形態における特徴抽出方法によれば、ピーク画素から出発して徐々に輝度が低くなっていく領域を検出して輝点領域とし、対象画像６００についての特徴情報として、検出した輝点領域を出力するので、対象画像６００に写った輝点を正しく判断するための情報を得ることができる。
【００９５】
以上説明した特徴抽出装置１００は、取得されたデータより、目標を構成する輝点のピーク画素６１１を中心として、輝度を構成する隆起領域のみを正方形に抽出し、この領域の画素数を面積情報として抽出する。
特徴量の抽出方式としては、輝点のピーク画素６１１を探索し、そのピーク画素６１１を中心として、接している上下左右斜め方向全ての画素（周辺画素）と画素値を比較する。全ての画素値がピーク画素の画素値よりも小さい場合は、それらの画素を領域（輝点領域６２０）とする。次に、新しく領域に加わったそれぞれの画素から、周辺の画素と線もしくは点で接している画素と画素値を比較し、新しく領域に加わった全画素が周辺画素よりも画素値が大きい場合は、更に領域を広げる。但し、１パターンでも領域画素の画素値が小さくなる状態があれば、領域を広げる処理を中止し、この時点での領域を面積情報とし、領域中心のピーク画素に保持させる。
【００９６】
この特徴量抽出方式において、抽出された面積情報である領域内の全ての画素値をピーク画素の画素値（輝度値）と同等の値に変換した特徴画像６５０を生成し、他の領域との対比において領域の特徴量を明瞭化する。
【００９７】
また、この特徴量抽出方式において、視覚的に輝点の認識性を向上させるため、抽出された面積を画素値（輝度値）によって色分け（カラースケール・グレースケール）表示する。
【００９８】
この特徴量抽出方式によれば、詳細な特徴を含んだ輝点情報を抽出することができるので、高密度環境下における近接目標間の識別において、近接目標を区別して認識することができ、更に、近接目標間での接近・離反、重複・分離といった現象を詳細に、また簡潔に把握・認識することができる。
この輝点特徴量抽出方式は、高密度環境下での近接目標の輝点の特徴量を抽出し、目標輝点がフレーム間で変化する現象を詳細に、かつ簡潔に把握することを可能となる。このため、センサから取得されたそのままの画像と比較して、目標輝点の動きに連動した、輝度値の変化量だけでなく、輝点領域の変化の把握も容易となる。また、本方式によって抽出された輝点領域をピーク画素の輝度値に変更することで、輝度値の高い輝点でありながら面積が小さい場合は、輝点が密集している場所であり、輝度値の低い輝点の面積が大きい場合は、他の輝点が存在せず、平坦な場所であるといった状況の把握が容易となる。
【００９９】
センサから取得された画像に対し、フレーム内で均一な閾値を使った閾値処理を実施すると、輝度値の高い輝点と輝度値の低い輝点が画像内に混在している場合、閾値が上昇するので、輝度値の低い輝点は抽出漏れとなる可能性が高い。これに対して、この輝点特徴量抽出方式は、輝度値の大小に関係無く全ての輝点が抽出されるため、輝度値の低い目標輝点の抽出漏れが起きにくい。
【０１００】
また、センサから取得された画像に対し、フレーム内でピーク画素のみを抽出すると、輝度値の低い目標輝点の抽出漏れは解消されるが、輝度値の高い輝点も輝度値の低い輝点も同じ１画素で表示されるので、目標輝点同士が接近し、重複するような現象、また、重複した輝点が分離し、離反するような現象が起きた時に、詳細な状況の把握が困難である。これに対して、この輝点特徴量抽出方式は、輝点の隆起部面積を正方形に表示することで、ある一辺の変化量を全ての辺に投影することが可能となり、フレーム間での目標輝点の接近・重複や、分離・離反といった動きに連動した面積変化量がより簡潔に表示されるため、これらの現象の詳細な把握が容易になる。
【０１０１】
複数の目標輝点が近距離内で密集しているような近接複数目標の高密度環境下においては、目標からの反射波や目標の熱量等が密集し、集約されて受信されることから、目標を構成する輝点が単独では表示されず、複数の目標輝点が合わさった状態で表示される。また、単一の目標において複数の反射点が存在する場合も、反射点が隣接している場合が多く、目標本体の動きに連動して、反射輝点同士が接近・重複、分離・離反するといった現象が頻繁に発生する。
この輝点特徴量抽出方式は、これらの近接複数目標の高密度環境下においても、近接する複数目標を単一目標と誤認識することがなく、輝度値の高い輝点と輝度値の低い輝点が混在していても、輝度値の低い輝点目標の抽出漏れを防ぐことができるので、十分に目標輝点を抽出することができる。また、輝点の広がりという特徴量を抽出することにより、目標輝点のフレーム間の変化量を容易に把握することができる。
【０１０２】
この輝点特徴量抽出方式は、取得されたデータより、目標を構成する輝点のピーク画素６１１を中心として、輝度を構成する隆起部領域のみを正方形に抽出し、この領域の画素数を面積情報として抽出する。
まず、フレーム内閾値処理部（画像入力部１１１）が、入力された画像に対し、画像全体の大まかな閾値処理を実行し、画像の背景領域から目標成分を抽出する。
次に、ピーク画素探索処理部（ピーク抽出部１２１）が、閾値処理後のフレーム内の輝点のピーク画素６１１を探索する。
次に、輝点領域設定部（輝点領域記憶部１３１）が、探索されたピーク画素に接している画素を、ピーク画素を中心とした輝点隆起部の領域内の画素に設定する。
次に、周辺画素抽出部１３２が、輝点領域に設定された画素の周辺画素を抽出する。
次に、画素値比較部（輝度比較部１３３）が、輝点領域の画素と、辺、もしくは点で接している周辺画素との画素値を比較する。
次に、輝点領域拡大判定部（輝点領域拡大部１３４）が、輝点領域の全画素が、接している周辺画素よりも画素値が大きいか小さいかの判定を実施する。大きい場合は、周辺画素を新たに輝点領域と設定し、更に周辺画素を抽出する。小さい場合は、輝点領域の拡大をせず、次へ進む。
次に、輝点面積算出部（特徴画像生成部１４１）が、抽出されている輝点領域内の全画素数を輝点面積と設定する。
次に、輝点面積内輝度値変更処理部（特徴画像生成部１４１）が、抽出された輝点領域内の全画素値を、ピーク画素の画素値に変更する。
次に、表示パラメータ変更部（特徴出力部１４２）が、画像の表示方法を変更し、画像を出力する。
このように、抽出された輝点面積内の画素値を全てピーク画素と同等の画素値とすることで、目標輝点領域の特徴量を簡潔に表示することが可能となる。
この輝点特徴量抽出方式による処理後の画像（特徴画像６５０）を、センサの表示装置（特徴表示装置８２０）の受信画像に適用することで、目標の運動等に連動した目標輝点の変化情報を、オペレータが簡潔に認識できる。このような画像を生成することで、輝度値の高い輝点でありながら面積が小さい場合は、他の輝点が密集している場所であり、輝度値の低い輝点の面積が大きい場合は、他の輝点が存在せず、平坦な場所であるといった状況が簡潔に把握可能となる。
【０１０３】
実施の形態２．
実施の形態２について、図１４を用いて説明する。
なお、実施の形態１と共通する部分については、同一の符号を付し、説明を省略する。
【０１０４】
図１４は、この実施の形態における輝点領域拡大処理Ｓ４３０の流れの一例を示すフローチャート図である。
輝点領域拡大処理Ｓ４３０は、ピーク選択工程Ｓ４３１、サイズ初期化工程Ｓ４３２、サイズ更新工程Ｓ４３３、周辺画素選択工程Ｓ４３４、輝度比較工程Ｓ４３６を有する。
【０１０５】
サイズ更新工程Ｓ４３３において、輝度比較部１３３は、ＣＰＵ９１１を用いて、輝度記憶部１１２が記憶した輝度データに基づいて、輝点領域６２０内の輝点画素のうち、輝度が最も小さい画素（以下「輝度最小画素」と呼ぶ。）の輝度を算出する。
【０１０６】
周辺画素選択工程Ｓ４３４において、周辺画素抽出部１３２が周辺画素を選択した場合、輝度比較工程Ｓ４３６へ進む。
【０１０７】
輝度比較工程Ｓ４３６において、輝度比較部１３３は、ＣＰＵ９１１を用いて、サイズ更新工程Ｓ４３３で算出した輝度と、サイズ更新工程Ｓ４３３で取得した輝度データとに基づいて、周辺画素選択工程Ｓ４３４で選択した周辺画素の輝度と、輝度最小画素の輝度とを比較する。
周辺画素の輝度が輝度最小画素の輝度より大きい場合は、そのピーク画素についての輝点領域６２０の拡大を終了する。輝点領域記憶部１３１は、ピーク選択工程Ｓ４３１に戻り、次のピーク画素を選択する。
周辺画素の輝度が輝度最小画素の輝度以下である場合は、周辺画素抽出部１３２は、周辺画素選択工程Ｓ４３４に戻り、次の周辺画素を選択する。
【０１０８】
このように、輝点領域６２０を拡大するか否かの判定において、周辺画素の輝度を、その周辺画素に隣接する輝点領域６２０内の画素の輝度と比較するのではなく、輝点領域６２０内で輝度が最も小さい画素の輝度と比較する構成としてもよい。これにより、隣接画素選択工程Ｓ４３５が不要となり、一つの周辺画素について輝度比較工程Ｓ４３６が一回だけ実行されることとなるので、計算量が減り、輝点領域拡大処理Ｓ４３０にかかる時間を短くすることができる。
これにより、ＣＰＵ９１１の処理能力が低い場合でも、撮像装置８１０が時系列に沿って撮影した複数の対象画像６００を、リアルタイムで処理することができる。
【０１０９】
この実施の形態における特徴抽出装置１００において、上記輝度比較部１３３は、上記処理装置を用いて、上記輝点領域６２０のなかで最も輝度が低い画素の輝度と、上記周辺画素の輝度とを比較する。
【０１１０】
この実施の形態における特徴抽出装置１００によれば、実施の形態１で述べた効果に加え、計算量が少なく、リアルタイムで多くの対象画像６００を処理することができる。
【０１１１】
なお、ピーク画素から見た方向によって輝度の減少が均等でない場合を考慮して、輝度比較工程Ｓ４３６で、周辺画素の輝度が輝度最小画素の輝度より大きい場合は、ピーク選択工程Ｓ４３１に戻るのではなく、周辺画素の輝度を隣接画素の輝度と比較して、輝点領域の拡大を終了するか否かを判定する構成としてもよい。そうすれば、周辺画素の輝度が輝度最小画素の輝度より小さい場合は計算量を削減でき、周辺画素の輝度が輝度最小画素の輝度以上である場合は、実施の形態１で説明した方式と同じ判定方式となるので、実施の形態１での判定結果と同じ輝点領域を判定することできる。
【０１１２】
実施の形態３．
実施の形態３について、図１５〜図１７を用いて説明する。
なお、実施の形態１及び実施の形態２と共通する部分については、同一の符号を付し、説明を省略する。
【０１１３】
実施の形態１では、画素数において正方形の領域を輝点領域６２０としているが、撮像装置８１０が撮影する対象画像６００の分解能が縦方向と横方向とで異なる場合には、縦方向の画素数と横方向の画素数とが等しい領域は、対象画像６００上で正方形とならない。この実施の形態では、対象画像６００上で正方形となる領域を輝点領域６２０とするため、縦方向の画素数と横方向の画素数とが異なる領域を輝点領域６２０とする。
【０１１４】
図１５は、この実施の形態における輝点領域拡大処理Ｓ４３０において特徴抽出装置１００が輝点領域６２０を拡大していく様子の一例を示す図である。
実施の形態１では、輝点領域６２０の縦方向と横方向とを同時に拡大して、輝点領域６２０が常に（画素数において）正方形となるようにしているが、この実施の形態では、輝点領域６２０が（画素数において）長方形となるようにするため、縦方向の拡大と、横方向の拡大とを別々に実行する。
この例において、撮像装置８１０が撮影する対象画像６００の分解能は、横方向が縦方向の二倍であるものとする。したがって、横方向の画素数が、縦方向の画素数の二倍である領域が、対象画像６００上で正方形となる。
【０１１５】
最初の状態において、輝点領域記憶部１３１は、ピーク画素６１１だけからなる輝点領域６２０を表わす輝点領域データを記憶している。
周辺画素抽出部１３２は、輝点領域６２０の形状（縦：横＝１：１）が目標とする形状（縦：横＝１：２）よりも縦長なので、輝点領域６２０に対して左右方向に隣接する２つの周辺領域６３０に含まれる２つの画素を、周辺画素として抽出する。輝度比較部１３３が画素の輝度を比較して、輝点領域６２０を拡大すると判定した場合、輝点領域拡大部１３４は、輝点領域６２０を拡大し、輝点領域記憶部１３１は、横に並んだ３つの画素からなる輝点領域６２０を表わす輝点領域データを記憶する。
【０１１６】
次に、周辺画素抽出部１３２は、輝点領域６２０の形状（縦：横＝１：３）が目標とする形状（縦：横＝１：２）よりも横長なので、輝点領域６２０に対して上下方向に隣接する２つの周辺領域６３０に含まれる合計６つの画素を、周辺画素として抽出する。輝度比較部１３３が画素の輝度を比較して、輝点領域６２０を拡大すると判定した場合、輝点領域拡大部１３４は、輝点領域６２０を拡大して、縦３行横３列の９つの画素を輝点領域６２０とする。
【０１１７】
次に、周辺画素抽出部１３２は、輝点領域６２０の形状（縦：横＝３：３＝１：１）が目標とする形状よりも縦長なので、輝点領域６２０に対して左右方向に隣接する２つの周辺領域６３０に含まれる合計６つの画素を、周辺画素として抽出する。輝度比較部１３３が画素の輝度を比較して、輝点領域６２０を拡大すると判定した場合、輝点領域拡大部１３４は、輝点領域６２０を拡大して、縦３行横５列の１５個の画素を輝点領域６２０とする。
【０１１８】
次に、周辺画素抽出部１３２は、輝点領域６２０の形状（縦：横＝３：５）が目標とする形状（縦：横＝１：２）よりも縦長なので、輝点領域６２０に対して左右方向に隣接する２つの周辺領域６３０に含まれる合計６つの画素を、周辺画素として抽出する。
【０１１９】
このように、特徴抽出装置１００は、対象画像６００の分解能から目標とする形状を算出し、輝点領域６２０の形状から輝点領域６２０を拡大する方向（縦方向か横方向か）を判定する。
【０１２０】
図１６は、この実施の形態におけるサイズ更新工程Ｓ４３３の流れの一例を示す詳細フローチャート図である。
サイズ更新工程Ｓ４３３は、サイズ設定工程Ｓ５１１、縦横比判定工程Ｓ５１３、拡大横サイズ算出工程Ｓ５１８ｘ、拡大縦サイズ算出工程Ｓ５１８ｙを有する。
【０１２１】
サイズ設定工程Ｓ５１１において、輝点領域記憶部１３１は、ＲＡＭ９１４を用いて、輝点領域６２０の横サイズＳｘとして拡大横サイズｓｘを記憶し、輝点領域６２０の縦サイズＳｙとして拡大縦サイズｓｙを記憶する。輝点領域６２０の横サイズＳｘ及び縦サイズＳｙは、実施の形態１で説明した輝点領域６２０のサイズＳと同様の値であるが、輝点領域６２０の縦方向の画素数と横方向の画素数とが異なる構成であることにより、縦横共通のサイズＳを２つに分けたものである。拡大横サイズｓｘ及び拡大縦サイズｓｙも同様に、実施の形態１で説明した縦横共通の拡大サイズｓを２つに分けたものである。なお、輝点領域記憶部１３１は、サイズ初期化工程Ｓ４３２で拡大横サイズｓｘ及び拡大縦サイズｓｙを０に初期化しておく。
【０１２２】
縦横比判定工程Ｓ５１３において、輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、記憶した横サイズＳｘと縦サイズＳｙとに基づいて、輝点領域６２０の縦横比を算出する。輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、横サイズＳｘを２倍して１を加えた値を算出し、輝点領域６２０の横方向画素数とする。輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、縦サイズＳｙを２倍して１を加えた値を算出し、輝点領域６２０の縦方向画素数とする。輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、算出した横方向画素数を、縦方向画素数で割った商を算出して、輝点領域６２０の縦横比とする。輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、算出した縦横比を、あらかじめ対象画像６００の分解能に基づいて算出しておいた目標縦横比ａと比較する。
縦横比が目標縦横比ａより小さい場合は、輝点領域６２０が目標とする形状よりも縦長である。輝点領域記憶部１３１は、拡大横サイズ算出工程Ｓ５１８ｘへ進む。
縦横比が目標縦横比ａ以上の場合は、輝点領域６２０が目標とする形状よりも横長（目標とする形状に一致する場合も含む）である。輝点領域記憶部１３１は、拡大縦サイズ算出工程Ｓ５１８ｙへ進む。
【０１２３】
拡大横サイズ算出工程Ｓ５１８ｘにおいて、輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、記憶した横サイズＳｘに１を加えた和を算出し、ＲＡＭ９１４を用いて、拡大横サイズｓｘとして記憶する。その後、周辺画素選択工程Ｓ４３４へ進む。
【０１２４】
拡大縦サイズ算出工程Ｓ５１８ｙにおいて、輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、記憶した縦サイズＳｙに１を加えた和を算出し、ＲＡＭ９１４を用いて、拡大縦サイズｓｙとして記憶する。その後、周辺画素選択工程Ｓ４３４へ進む。
【０１２５】
図１７は、この実施の形態における周辺画素選択工程Ｓ４３４の流れの一例を示す詳細フローチャート図である。
周辺画素選択工程Ｓ４３４は、範囲算出工程Ｓ５２１、初期座標設定工程Ｓ５２９、座標判定工程Ｓ５３１、ｘ座標増加工程Ｓ５３２、ｙ座標増加工程Ｓ５３３、対辺選択工程Ｓ５３６，Ｓ５３７、輝度取得工程Ｓ５６９を有する。
【０１２６】
サイズ更新工程Ｓ４３３から周辺画素選択工程Ｓ４３４に入った場合、周辺画素抽出部１３２は、範囲算出工程Ｓ５２１から処理を始める。
【０１２７】
範囲算出工程Ｓ５２１において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｘ座標ｘ０及びｙ座標ｙ０と、輝点領域記憶部１３１が記憶した拡大横サイズｓｘ及び拡大縦サイズｓｙとに基づいて、周辺領域６３０のｘ座標ｘ１，ｘ２及びｙ座標ｙ１，ｙ２を算出する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｘ座標ｘ０から拡大横サイズｓｘを差し引いた差を算出し、ＲＡＭ９１４を用いて、ｘ座標ｘ１として記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｘ座標ｘ０に拡大横サイズｓｘを加えた和を算出し、ＲＡＭ９１４を用いて、ｘ座標ｘ２として記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｙ座標ｙ０から拡大縦サイズｓｙを差し引いた差を算出し、ＲＡＭ９１４を用いて、ｙ座標ｙ１として記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｙ座標ｙ０に拡大縦サイズｓｙを加えた和を算出し、ＲＡＭ９１４を用いて、ｙ座標ｙ２として記憶する。
【０１２８】
初期座標設定工程Ｓ５２９において、周辺画素抽出部１３２は、選択する周辺画素のｘ座標ｘ及びｙ座標ｙを初期化する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｘ座標ｘ１を、周辺画素のｘ座標として記憶する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｙ座標ｙ１を、周辺画素のｙ座標として記憶する。すなわち、周辺画素抽出部１３２は、周辺領域６３０が左右に２つの場合は、左側の周辺領域６３０の一番上の画素を、周辺画素として最初に選択し、周辺領域６３０が上下に２つの場合は、上側の周辺領域６３０の一番左の画素を、周辺画素として最初に選択する。
【０１２９】
輝度取得工程Ｓ５６９において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶したｘ座標ｘ及びｙ座標ｙに基づいて、輝度記憶部１１２が記憶した輝度データから、周辺画素抽出部１３２が選択した周辺画素についての輝度データを取得する。その後、隣接画素選択工程Ｓ４３５へ進む。
【０１３０】
隣接画素選択工程Ｓ４３５から周辺画素選択工程Ｓ４３４に入った場合、周辺画素抽出部１３２は、座標判定工程Ｓ５３１から処理を始める。
【０１３１】
座標判定工程Ｓ５３１において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、輝点領域記憶部１３１が記憶した横サイズＳｘ及び拡大横サイズｓｘと、記憶した周辺画素のｘ座標ｘ及びｙ座標ｙに基づいて、一つ前に選択した周辺画素が周辺領域６３０のなかのどこに位置するのかを判定する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、横サイズＳｘと拡大横サイズｓｘとを比較する。
【０１３２】
横サイズＳｘが拡大横サイズｓｘと等しい場合、輝点領域６２０の拡大方向は縦方向であり、周辺領域６３０は輝点領域６２０の上下に位置する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、周辺画素のｘ座標ｘと、ｘ座標ｘ２とを比較する。周辺画素のｘ座標ｘがｘ座標ｘ２より小さい場合は、一つ前に選択した周辺画素より右に選択すべき周辺画素が存在するので、ｘ座標増加工程Ｓ５３２へ進む。周辺画素のｘ座標ｘがｘ座標ｘ２と等しい場合は、一つ前に選択した周辺画素が周辺領域６３０の一番右の画素なので、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、周辺画素のｙ座標ｙと、ｙ座標ｙ２とを比較する。周辺画素のｙ座標ｙがｙ座標ｙ２より小さい場合は、上側の周辺領域６３０が終わったところなので、対辺選択工程Ｓ５３６へ進む。周辺画素のｙ座標ｙがｙ座標ｙ２と等しい場合は、下側の周辺領域６３０が終わったところなので、サイズ更新工程Ｓ４３３に戻る。
【０１３３】
横サイズＳｘより拡大横サイズｓｘが大きい場合、輝点領域６２０の拡大方向は横方向であり、周辺領域６３０は輝点領域６２０の左右に位置する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、周辺画素のｙ座標ｙと、ｙ座標ｙ２とを比較する。周辺画素のｙ座標ｙがｙ座標ｙ２より小さい場合は、一つ前に選択した周辺画素より下に選択すべき周辺画素が存在するので、ｙ座標増加工程Ｓ５３３へ進む。周辺画素のｙ座標ｙがｙ座標ｙ２と等しい場合は、一つ前に選択した周辺画素が周辺領域６３０の一番下の画素なので、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、周辺画素のｘ座標ｘと、ｘ座標ｘ２とを比較する。周辺画素のｘ座標ｘがｘ座標ｘ２より小さい場合は、左側の周辺領域６３０が終わったところなので、対辺選択工程Ｓ５３７へ進む。周辺画素のｘ座標ｘがｘ座標ｘ２と等しい場合は、右側の周辺領域６３０が終わったところなので、サイズ更新工程Ｓ４３３に戻る。
【０１３４】
ｘ座標増加工程Ｓ５３２において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した周辺画素のｘ座標ｘに１を加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。すなわち、周辺画素抽出部１３２は、一つ前に選択した周辺画素の右隣の画素を周辺画素として選択する。その後、輝度取得工程Ｓ５６９へ進む。
【０１３５】
ｙ座標増加工程Ｓ５３３において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した周辺画素のｙ座標ｙに１を加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。すなわち、周辺画素抽出部１３２は、一つ前に選択した周辺画素の下隣の画素を周辺画素として選択する。その後、輝度取得工程Ｓ５６９へ進む。
【０１３６】
対辺選択工程Ｓ５３６において、周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｘ座標ｘ１を、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｙ座標ｙ２を、周辺画素のｙ座標ｙとして記憶する。すなわち、周辺画素抽出部１３２は、下側の周辺領域６３０の一番左の画素を、周辺画素として選択する。その後、輝度取得工程Ｓ５６９へ進む。
【０１３７】
対辺選択工程Ｓ５３７において、周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｘ座標ｘ２を、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｙ座標ｙ１を、周辺画素のｙ座標ｙとして記憶する。すなわち、周辺画素抽出部１３２は、右側の周辺領域６３０の一番上の画素を、周辺画素として選択する。その後、輝度取得工程Ｓ５６９へ進む。
【０１３８】
このように、周辺領域６３０を輝点領域６２０に対して上下方向だけあるいは左右方向だけに設けることにより、輝点領域６２０を縦方向あるいは横方向へ拡大する。これにより、縦方向の画素数と横方向の画素数とが異なる領域を輝点領域６２０とすることができるので、対象画像６００の分解能が縦方向と横方向とで異なる場合に、対象画像６００上でほぼ正方形となる領域を輝点領域６２０とすることができる。
【０１３９】
以上説明した特徴量抽出方式は、面積情報を抽出する際の領域について、センサの分解能の縦横の比に合わせて領域の広げ量の縦横の比を変更する。
この輝点特徴量抽出方式は、特徴量である面積情報を抽出する際の面積領域について、搭載しているセンサの分解能に合わせて、抽出する縦横の画素数を変更する。
【０１４０】
実施の形態４．
実施の形態４について、図１８〜図１９を用いて説明する。
なお、実施の形態１乃至実施の形態３と共通する部分については、同一の符号を付し、説明を省略する。
【０１４１】
実施の形態１乃至実施の形態３では、四角形の領域を輝点領域６２０としているが、この実施の形態では、円形の領域を輝点領域６２０とする。
【０１４２】
図１８は、この実施の形態における輝点領域拡大処理Ｓ４３０において特徴抽出装置１００が輝点領域６２０を拡大していく様子の一例を示す図である。
【０１４３】
最初の状態において、輝点領域記憶部１３１は、ピーク画素６１１だけからなる輝点領域６２０を表わす輝点領域データを記憶している。
周辺画素抽出部１３２は、ピーク画素６１１からの距離が１画素以内である画素のうち輝点領域６２０に含まれない４つの画素を、周辺画素として抽出する。輝度比較部１３３が画素の輝度を比較して、輝点領域６２０を拡大すると判定した場合、輝点領域拡大部１３４は、輝点領域６２０を拡大して、ピーク画素６１１からの距離が１画素以内である５つの画素を輝点領域６２０とする。
【０１４４】
次に、周辺画素抽出部１３２は、ピーク画素６１１からの距離が２画素以内である画素のうち輝点領域６２０に含まれない８つの画素を、周辺画素として抽出する。輝度比較部１３３が画素の輝度を比較して、輝点領域６２０を拡大すると判定した場合、輝点領域拡大部１３４は、輝点領域６２０を拡大し、輝点領域記憶部１３１は、ピーク画素６１１からの距離が２画素以内である１３個の画素を輝点領域６２０とする。
【０１４５】
次に、周辺画素抽出部１３２は、ピーク画素６１１からの距離が３画素以内である画素のうち輝点領域６２０に含まれない１６個の画素を、周辺画素として抽出する。
【０１４６】
このように、特徴抽出装置１００は、輝点領域６２０の半径を１つずつ増やすことにより、輝点領域６２０を拡大していく。
【０１４７】
図１９は、この実施の形態における周辺画素選択工程Ｓ４３４の流れの一例を示す詳細フローチャート図である。
周辺画素選択工程Ｓ４３４は、差分初期化工程Ｓ５２３、方向初期化工程Ｓ５２４、方向更新工程Ｓ５４１、座標設定工程Ｓ５４２〜Ｓ５４８、輝点領域内判定工程Ｓ５５１、ｕ更新工程Ｓ５５２、ｖ更新工程Ｓ５５３、終了判定工程Ｓ５５４、輝度取得工程Ｓ５６９を有する。
【０１４８】
サイズ更新工程Ｓ４３３から周辺画素選択工程Ｓ４３４に入った場合、周辺画素抽出部１３２は、差分初期化工程Ｓ５２３から処理を始める。
【０１４９】
差分初期化工程Ｓ５２３において、周辺画素抽出部１３２は、座標差分ｕ及びｖを初期化する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、０を座標差分ｕとして記憶する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、拡大サイズｓを座標差分ｖとして記憶する。座標差分ｕ及びｖは、周辺画素抽出部１３２が選択する周辺画素の座標と、ピーク画素６１１の座標との差を表わす。
方向初期化工程Ｓ５２４において、周辺画素抽出部１３２は、方向ｄと、選択する周辺画素のｘ座標ｘ及びｙ座標ｙとを初期化する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、０を方向ｄとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｘ座標ｘ０に、記憶した座標差分ｕを加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｙ座標ｙ０に、記憶した座標差分ｖを加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。方向ｄは、ピーク画素６１１を中心とした円を４５度ごとに等分した８つの扇形のうち、選択した周辺画素がどの扇形に含まれるかを表わす。
その後、輝度取得工程Ｓ５６９へ進む。
【０１５０】
隣接画素選択工程Ｓ４３５から周辺画素選択工程Ｓ４３４に入った場合、周辺画素抽出部１３２は、方向更新工程Ｓ５４１から処理を始める。
【０１５１】
方向更新工程Ｓ５４１において、周辺画素抽出部１３２は、方向ｄを更新する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した方向ｄに１を加えた和を算出し、ＲＡＭ９１４を用いて、方向ｄとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、算出した方向ｄに基づいて、処理を分岐する。
方向ｄが１である場合、座標設定工程Ｓ５４２へ進む。方向ｄが２である場合、座標設定工程Ｓ５４３へ進む。方向ｄが３である場合、座標設定工程Ｓ５４４へ進む。方向ｄが５である場合、座標設定工程Ｓ５４５へ進む。方向ｄが６の場合、座標設定工程Ｓ５４６へ進む。方向ｄが７の場合、座標設定工程Ｓ５４７へ進む。
方向ｄが８の場合は、８分割した扇形について座標差分ｕ及びｖに対応する周辺画素の選択が終わったので、周辺画素抽出部１３２は、輝点領域内判定工程Ｓ５５１へ進む。
方向ｄが４の場合、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、座標差分ｕが特別な値であるか否かを判定する。座標差分ｕが０または座標差分ｖと等しい場合、周辺画素は８分割した扇形の半径上にあり、座標差分ｕ及びｖに対応する周辺画素は４つしかないので、周辺画素抽出部１３２は、輝点領域内判定工程Ｓ５５１へ進む。座標差分ｕが０より大きく、かつ、座標差分ｖより小さい場合は、座標設定工程Ｓ５４８へ進む。
【０１５２】
座標設定工程Ｓ５４２において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｘ座標ｘ０から座標差分ｖを差し引いた差を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｙ座標ｙ０に座標差分ｕを加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。その後、輝度取得工程Ｓ５６９へ進む。
【０１５３】
座標設定工程Ｓ５４３において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｘ座標ｘ０から座標差分ｕを差し引いた差を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｙ座標ｙ０から座標差分ｖを差し引いた差を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。その後、輝度取得工程Ｓ５６９へ進む。
【０１５４】
座標設定工程Ｓ５４４において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｘ座標ｘ０に座標差分ｖを加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｙ座標ｙ０から座標差分ｕを差し引いた差を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。その後、輝度取得工程Ｓ５６９へ進む。
【０１５５】
座標設定工程Ｓ５４５において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｘ座標ｘ０から座標差分ｕを差し引いた差を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｙ座標ｙ０に座標差分ｖを加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。その後、輝度取得工程Ｓ５６９へ進む。
【０１５６】
座標設定工程Ｓ５４６において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｘ座標ｘ０から座標差分ｖを差し引いた差を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｙ座標ｙ０から座標差分ｕを差し引いた差を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。その後、輝度取得工程Ｓ５６９へ進む。
【０１５７】
座標設定工程Ｓ５４７において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｘ座標ｘ０に座標差分ｕを加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｙ座標ｙ０から座標差分ｖを差し引いた差を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。その後、輝度取得工程Ｓ５６９へ進む。
【０１５８】
座標設定工程Ｓ５４８において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｘ座標ｘ０に座標差分ｖを加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｙ座標ｙ０に座標差分ｕを加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。その後、輝度取得工程Ｓ５６９へ進む。
【０１５９】
輝点領域内判定工程Ｓ５５１において、周辺画素抽出部１３２は、座標差分ｖを１減らした場合に周辺領域６３０内となるかを判定する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、座標差分ｕを２乗した値ｕ２を算出し、座標差分ｖから１を差し引いた差ｖ−１を算出し、算出した値ｖ−１を２乗した値（ｖ−１）２を算出し、算出した値ｕ２に算出した値（ｖ−１）２を加えた和ｕ２＋（ｖ−１）２を算出する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、サイズＳを２乗した値Ｓ２を算出し、算出した和ｕ２＋（ｖ−１）２と比較する。
和ｕ２＋（ｖ−１）２が値Ｓ２以下である場合は、輝点領域６２０内となるので、周辺領域６３０内ではない。周辺画素抽出部１３２は、ｕ更新工程Ｓ５５２へ進む。
和ｕ２＋（ｖ−１）２が値Ｓ２より大きい場合は、輝点領域６２０外となるので、ｖ更新工程Ｓ５５３へ進む。
【０１６０】
ｕ更新工程Ｓ５５２において、周辺画素抽出部１３２は、座標差分ｕを更新する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した座標差分ｕに１を加えた和を算出し、ＲＡＭ９１４を用いて、座標差分ｕとして記憶する。
周辺画素抽出部１３２は、更新した座標差分ｕ及びｖに対応する画素が周辺領域６３０内となるかを判定する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、座標差分ｕを２乗した値ｕ２を算出し、座標差分ｖを２乗した値ｖ２を算出し、算出した値ｕ２に、算出した値ｖ２を加えた和ｕ２＋ｖ２を算出する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、拡大サイズｓを２乗した値ｓ２を算出し、算出した和ｕ２＋ｖ２と比較する。
和ｕ２＋ｖ２が値ｓ２より大きい場合は、周辺領域６３０外となるので、ｖ更新工程Ｓ５５３へ進む。
和ｕ２＋ｖ２が値ｓ２以下である場合は、周辺領域６３０内となるので、終了判定工程Ｓ５５４へ進む。
【０１６１】
ｖ更新工程Ｓ５５３において、周辺画素抽出部１３２は、座標差分ｖを更新する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した座標差分ｖから１を差し引いた差を算出し、ＲＡＭ９１４を用いて、座標差分ｖとして記憶する。その後、終了判定工程Ｓ５５４へ進む。
【０１６２】
終了判定工程Ｓ５５４において、周辺画素抽出部１３２は、更新した座標差分ｕ及びｖに対応する画素が８分割した扇形内となるかを判定する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、座標差分ｕと座標差分ｖとを比較する。
座標差分ｕが座標差分ｖ以下である場合は、扇形内となるので、方向初期化工程Ｓ５２４へ進む。
座標差分ｕが座標差分ｖ以上である場合は、扇形外となるので、周辺画素抽出部１３２は、周辺画素の選択を終了し、サイズ更新工程Ｓ４３３に戻る。
【０１６３】
このように、ピーク画素６１１からの距離が所定の値以下であって、輝点領域６２０内でない範囲内の画素を周辺画素として抽出することにより、円形の領域を輝点領域６２０としたまま、輝点領域６２０を拡大していくことができる。円形の領域を輝点領域６２０とすることにより、撮像装置８１０のバンク角（撮影方向を中心とする回転角）による影響を少なくすることができる。
【０１６４】
以上説明した特徴量抽出方式は、面積情報を抽出する際の領域を、輝点のピーク画素６１１を中心として隆起している範囲を円形に抽出し、面積情報とする。
この輝点特徴量抽出方式は、特徴量である面積情報を抽出する際の面積領域を、輝点のピーク画素を中心として同心円状に輝点領域を拡大していき、輝点隆起部を円形に抽出する。
【０１６５】
実施の形態５．
実施の形態５について、図２０〜図２３を用いて説明する。
なお、実施の形態１乃至実施の形態４と共通する部分については、同一の符号を付し、説明を省略する。
【０１６６】
実施の形態１、実施の形態２及び実施の形態４では、ピーク画素６１１を中心として４方向に対称な範囲を輝点領域６２０としている。また、実施の形態３では、ピーク画素６１１を中心として、左右及び上下が対称な範囲を輝点領域６２０としている。
ある輝点の近くに他の輝点がある場合、その方向だけ輝点領域６２０が狭くなる場合があるので、輝点領域６２０は対象とはならない。この実施の形態では、ピーク画素６１１を中心として必ずしも対称とは限らない領域を輝点領域６２０とする。
【０１６７】
図２０は、この実施の形態における輝点領域拡大処理Ｓ４３０において特徴抽出装置１００が輝点領域６２０を拡大していく様子の一例を示す図である。
【０１６８】
最初の状態において、輝点領域記憶部１３１は、ピーク画素６１１だけからなる輝点領域６２０を表わす輝点領域データを記憶している。
周辺画素抽出部１３２は、輝点領域６２０に対して例えば右方向に隣接する１つの画素を、周辺画素として抽出する。輝度比較部１３３が画素の輝度を比較して、輝点領域６２０を拡大すると判定した場合、輝点領域拡大部１３４は、輝点領域６２０を拡大して、縦１行横２列の長方形の範囲内にある４つの画素を輝点領域６２０とする。
【０１６９】
次に、周辺画素抽出部１３２は、前回に抽出した周辺画素の方向に対して例えば時計周りの方向、すなわち輝点領域６２０に対して下方向に隣接する２つの画素を、周辺画素として抽出する。輝度比較部１３３は、周辺画素の輝度を、その周辺画素に隣接する輝点領域６２０内の画素であって、その周辺画素よりもピーク画素６１１に近い画素の輝度と比較する。例えば、周辺画素６３１とピーク画素６１１との間の距離は、輝点画素６２１とピーク画素６１１との間の距離と等しいので、輝度比較部１３３は、周辺画素６３１の輝度とピーク画素６１１の輝度とを比較するが、周辺画素６３１の輝度と輝点画素６２１の輝度とは比較しない。輝点領域６２０を拡大すると判定した場合、輝点領域拡大部１３４は、輝点領域６２０を拡大して、縦２行横２列の長方形の範囲内にある４つの画素を輝点領域６２０とする。
【０１７０】
次に、周辺画素抽出部１３２は、更に時計周りの方向、すなわち輝点領域６２０に対して左方向に隣接する２つの画素を、周辺画素として抽出する。輝度比較部１３３が画素の輝度を比較して、輝点領域６２０を拡大すると判定した場合、輝点領域拡大部１３４は、輝点領域６２０を拡大して、縦２行横３列の範囲内にある６つの画素を輝点領域６２０とする。
【０１７１】
次に、周辺画素抽出部１３２は、更に時計周りの方向、すなわち輝点領域６２０に対して上方向に隣接する３つの画素を、周辺画素として抽出する。輝度比較部１３３が画素の輝度を比較して、輝点領域６２０を拡大しないと判定した場合、上方向への拡大は終了するが、他の３方向への拡大は継続する。
周辺画素周辺画素抽出部１３２は、更に時計回りの方向、すなわち右方向に戻り、輝点領域６２０に対して右方向に隣接する２つの画素を周辺画素として選択する。
【０１７２】
以下、これを繰り返し、周辺画素抽出部１３２は、下方向、左方向と順に、周辺画素を抽出する。その次は、上方向であるが、上方向への拡大は終了しているので、周辺画素抽出部１３２は、上方向を飛ばし、輝点領域６２０に対して右方向に隣接する画素を周辺画素として選択する。
特徴抽出装置１００は、４つの方向すべての拡大が終了した時点で、輝点領域６２０の拡大を終了する。
【０１７３】
図２１は、この実施の形態における輝点領域拡大処理Ｓ４３０の流れの一例を示すフローチャート図である。
輝点領域拡大処理Ｓ４３０は、ピーク選択工程Ｓ４３１、サイズ初期化工程Ｓ４３２、サイズ更新工程Ｓ４３３、周辺画素選択工程Ｓ４３４、隣接画素選択工程Ｓ４３５、輝度比較工程Ｓ４３６、終了判定工程Ｓ４３７を有する。
【０１７４】
輝度比較工程Ｓ４３６において、周辺画素の輝度が隣接画素の輝度より大きい場合、輝点領域拡大部１３４は、その方向に対する輝点領域６２０の拡大を終了し、終了判定工程Ｓ４３７へ進む。
【０１７５】
終了判定工程Ｓ４３７において、輝点領域拡大部１３４は、ＣＰＵ９１１を用いて、４方向すべてに対する輝点領域６２０の拡大が終了しているかを判定する。まだ終了していない方向がある場合は、サイズ更新工程Ｓ４３３に戻る。すべての方向が終了している場合は、ピーク選択工程Ｓ４３１に戻り、次のピーク画素データを選択する。
【０１７６】
図２２は、この実施の形態におけるサイズ更新工程Ｓ４３３の流れの一例を示す詳細フローチャート図である。
サイズ更新工程Ｓ４３３は、サイズ設定工程Ｓ５１１、方向更新工程Ｓ５１４、終了判定工程Ｓ５１５、拡大右サイズ算出工程Ｓ５１８ｒ、拡大下サイズ算出工程Ｓ５１８ｄ、拡大左サイズ算出工程Ｓ５１８ｌ、拡大上サイズ算出工程Ｓ５１８ｕを有する。
【０１７７】
サイズ設定工程Ｓ５１１において、輝点領域記憶部１３１は、ＲＡＭ９１４を用いて、輝点領域６２０の右サイズＳｒとして拡大右サイズｓｒを記憶し、輝点領域６２０の下サイズＳｄとして拡大下サイズｓｄを記憶し、輝点領域６２０の左サイズＳｌとして拡大左サイズｓｌを記憶し、輝点領域６２０の上サイズＳｕとして拡大上サイズｓｕを記憶する。輝点領域６２０の右サイズＳｒ及び下サイズＳｄ及び左サイズＳｌ及び上サイズＳｕは、実施の形態１で説明したサイズＳと同様の値であるが、方向によって輝点領域６２０の画素数が異なる構成であることにより、４方向共通のサイズＳを４つに分けたものである。拡大右サイズｓｒ及び拡大下サイズｓｄ及び拡大左サイズｓｌ及び拡大上サイズｓｕも同様に、実施の形態１で説明した４方向共通の拡大サイズｓを４つに分けたものである。なお、輝点領域記憶部１３１は、サイズ初期化工程Ｓ４３２で拡大右サイズｓｒ及び拡大下サイズｓｄ及び拡大左サイズｓｌ及び拡大上サイズｓｕを０に初期化しておく。
【０１７８】
方向更新工程Ｓ５１４において、輝点領域記憶部１３１は、輝点領域６２０の拡大方向を更新する。輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、記憶した方向ｄに１を加えた和ｄ＋１を算出し、算出した和ｄ＋１を４で割った余りを算出して、ＲＡＭ９１４を用いて、方向ｄとして記憶する。なお、輝点領域記憶部１３１は、サイズ初期化工程Ｓ４３２で方向ｄを３に初期化しておく。
【０１７９】
終了判定工程Ｓ５１５において、輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、記憶した方向ｄに対する輝点領域６２０の拡大が終了したか否かを判定する。その方向に対する輝点領域６２０の拡大が終了している場合は、方向更新工程Ｓ５１４に戻る。
その方向に対する輝点領域６２０の拡大が終了していない場合、方向ｄが０であれば、拡大右サイズ算出工程Ｓ５１８ｒへ進む。方向ｄが１であれば、拡大下サイズ算出工程Ｓ５１８ｄへ進む。方向ｄが２であれば、拡大左サイズ算出工程Ｓ５１８ｌへ進む。方向ｄが３であれば、拡大上サイズ算出工程Ｓ５１８ｕへ進む。
【０１８０】
拡大右サイズ算出工程Ｓ５１８ｒにおいて、輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、記憶した右サイズＳｒに１を加えた和を算出し、ＲＡＭ９１４を用いて、拡大右サイズｓｒとして記憶する。その後、周辺画素選択工程Ｓ４３４へ進む。
【０１８１】
拡大下サイズ算出工程Ｓ５１８ｄにおいて、輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、記憶した下サイズＳｄに１を加えた和を算出し、ＲＡＭ９１４を用いて、拡大下サイズｓｄとして記憶する。その後、周辺画素選択工程Ｓ４３４へ進む。
【０１８２】
拡大左サイズ算出工程Ｓ５１８ｌにおいて、輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、記憶した左サイズＳｌに１を加えた和を算出し、ＲＡＭ９１４を用いて、拡大左サイズｓｌとして記憶する。その後、周辺画素選択工程Ｓ４３４へ進む。
【０１８３】
拡大上サイズ算出工程Ｓ５１８ｕにおいて、輝点領域記憶部１３１は、ＣＰＵ９１１を用いて、記憶した上サイズＳｕに１を加えた和を算出し、ＲＡＭ９１４を用いて、拡大上サイズｓｕとして記憶する。その後、周辺画素選択工程Ｓ４３４へ進む。
【０１８４】
図２３は、この実施の形態における周辺画素選択工程Ｓ４３４の流れの一例を示す詳細フローチャート図である。
周辺画素選択工程Ｓ４３４は、範囲算出工程Ｓ５２１、範囲限定工程Ｓ５２５〜Ｓ５２８、初期座標設定工程Ｓ５２９、座標判定工程Ｓ５３１、ｘ座標増加工程Ｓ５３２、ｙ座標増加工程Ｓ５３３、輝度取得工程Ｓ５６９を有する。
【０１８５】
サイズ更新工程Ｓ４３３から周辺画素選択工程Ｓ４３４に入った場合、周辺画素抽出部１３２は、範囲算出工程Ｓ５２１から処理を始める。
【０１８６】
範囲算出工程Ｓ５２１において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ピーク画素６１１のｘ座標ｘ０及びｙ座標ｙ０と、輝点領域記憶部１３１が記憶した拡大右サイズｓｒ及び拡大下サイズｓｄ及び拡大左サイズｓｌ及び拡大上サイズｓｕとに基づいて、周辺領域６３０のｘ座標ｘ１，ｘ２及びｙ座標ｙ１，ｙ２を算出する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｘ座標ｘ０から拡大左サイズｓｌを差し引いた差を算出し、ＲＡＭ９１４を用いて、ｘ座標ｘ１として記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｘ座標ｘ０に拡大右サイズｓｒを加えた和を算出し、ＲＡＭ９１４を用いて、ｘ座標ｘ２として記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｙ座標ｙ０から拡大上サイズｓｕを差し引いた差を算出し、ＲＡＭ９１４を用いて、ｙ座標ｙ１として記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、ｙ座標ｙ０に拡大下サイズｓｄを加えた和を算出し、ＲＡＭ９１４を用いて、ｙ座標ｙ２として記憶する。
周辺画素抽出部１３２は、輝点領域記憶部１３１が記憶した方向ｄに基づいて、処理を分岐する。方向ｄが０の場合は、範囲限定工程Ｓ５２５へ進む。方向ｄが１の場合は、範囲限定工程Ｓ５２６へ進む。方向ｄが２の場合は、範囲限定工程Ｓ５２７へ進む。方向ｄが３の場合は、範囲限定工程Ｓ５２８へ進む。
【０１８７】
範囲限定工程Ｓ５２５において、周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｘ座標ｘ２を、ｘ座標ｘ１として記憶する。すなわち、周辺画素抽出部１３２は、周辺領域６３０を輝点領域６２０の右側に限定する。その後、初期座標設定工程Ｓ５２９へ進む。
【０１８８】
範囲限定工程Ｓ５２６において、周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｙ座標ｙ２を、ｙ座標ｙ１として記憶する。すなわち、周辺画素抽出部１３２は、周辺領域６３０を輝点領域６２０の下側に限定する。その後、初期座標設定工程Ｓ５２９へ進む。
【０１８９】
範囲限定工程Ｓ５２７において、周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｘ座標ｘ１を、ｘ座標ｘ２として記憶する。すなわち、周辺画素抽出部１３２は、周辺領域６３０を輝点領域６２０の左側に限定する。その後、初期座標設定工程Ｓ５２９へ進む。
【０１９０】
範囲限定工程Ｓ５２８において、周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｙ座標ｙ１を、ｙ座標ｙ２として記憶する。すなわち、周辺画素抽出部１３２は、周辺領域６３０を輝点領域６２０の上側に限定する。その後、初期座標設定工程Ｓ５２９へ進む。
【０１９１】
初期座標設定工程Ｓ５２９において、周辺画素抽出部１３２は、選択する周辺画素のｘ座標ｘ及びｙ座標ｙを初期化する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｘ座標ｘ１を、周辺画素のｘ座標として記憶する。周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｙ座標ｙ１を、周辺画素のｙ座標として記憶する。すなわち、周辺画素抽出部１３２は、周辺領域６３０の一番上または一番左の画素を、周辺画素として最初に選択する。
【０１９２】
輝度取得工程Ｓ５６９において、輝度比較部１３３は、ＣＰＵ９１１を用いて、周辺画素抽出部１３２が記憶したｘ座標ｘ及びｙ座標ｙに基づいて、輝度記憶部１１２が記憶した輝度データから、周辺画素抽出部１３２が選択した周辺画素についての輝度データを取得する。その後、隣接画素選択工程Ｓ４３５へ進む。
【０１９３】
隣接画素選択工程Ｓ４３５から周辺画素選択工程Ｓ４３４に入った場合、周辺画素抽出部１３２は、座標判定工程Ｓ５３１から処理を始める。
【０１９４】
座標判定工程Ｓ５３１において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した周辺画素のｘ座標ｘ及びｙ座標ｙに基づいて、一つ前に選択した周辺画素が周辺領域６３０のなかのどこに位置するのかを判定する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、周辺画素のｘ座標ｘと、ｘ座標ｘ２とを比較する。
周辺画素のｘ座標ｘがｘ座標ｘ２より小さい場合は、一つ前に選択した周辺画素の右隣にも選択すべき周辺画素が存在するので、周辺画素抽出部１３２は、ｘ座標増加工程Ｓ５３２へ進む。
周辺画素のｘ座標ｘがｘ座標ｘ２と等しい場合は、一つ前に選択した周辺画素の右隣には選択すべて周辺画素が存在しないので、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、周辺画素のｙ座標ｙと、ｙ座標ｙ２とを比較する。
周辺画素のｙ座標ｙがｙ座標ｙ２より小さい場合は、一つ前に選択した周辺画素よりも下に選択すべき周辺画素が存在するので、周辺画素抽出部１３２は、ｙ座標増加工程Ｓ５３３へ進む。
周辺画素のｙ座標ｙがｙ座標ｙ２と等しい場合は、一つ前に選択した周辺画素よりも下に選択すべき周辺画素が存在しないので、周辺画素抽出部１３２は、周辺画素の選択を終了し、サイズ更新工程Ｓ４３３に戻る。
【０１９５】
ｘ座標増加工程Ｓ５３２において、周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した周辺画素のｘ座標ｘに１を加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｘ座標ｘとして記憶する。その後、輝度取得工程Ｓ５６９へ進む。
【０１９６】
ｙ座標増加工程Ｓ５３３において、周辺画素抽出部１３２は、ＲＡＭ９１４を用いて、記憶したｘ座標ｘ１を、周辺画素のｘ座標ｘとして記憶する。周辺画素抽出部１３２は、ＣＰＵ９１１を用いて、記憶した周辺画素のｙ座標ｙに１を加えた和を算出し、ＲＡＭ９１４を用いて、周辺画素のｙ座標ｙとして記憶する。その後、輝度取得工程Ｓ５６９へ進む。
【０１９７】
このように、輝点領域６２０の拡大を各方向ごとに判定することにより、ピーク画素６１１を中心とした非対称の範囲を輝点領域６２０とすることができる。これにより、例えば、ある輝点の近くに別の輝点が存在する場合、別の輝点が存在する方向は輝点領域６２０が狭くなり、別の輝点が存在しない方向は輝点領域６２０が広くなる。これにより、輝点同士の位置関係がより一層明確になる。また、一方の輝点の輝点領域６２０はあまり狭くならず、他方の輝点の輝点領域６２０のみが狭くなった場合には、一方の輝点が他方の輝点を吸収したと推定できるなど、特徴画像６５０や特徴情報から得られる情報の量が増える。
【０１９８】
以上説明した特徴量抽出方式は、面積情報を抽出する際の領域を、輝点の隆起部全体を面積情報として抽出する。隆起部全体を面積情報として抽出することで、目標が移動しており、輝点同士が接近しているとした場合、面積の減少する方向から他の輝点が接近しているとの現象の把握が容易となる。
【０１９９】
この輝点特徴量抽出方式は、特徴量である面積情報を抽出する際の輝点領域の拡大判定処理において、輝点領域と周辺画素との画素値比較を、ピーク画素から見て４方向（４辺）全体ではなく、各方向（１辺ずつ）で実施し、輝点の隆起部全体を輝点面積として抽出することで、他の輝点と接近する一辺の変化量が抽出され、輝点の接近方向が把握できる。
輝点領域拡大判定部（輝点領域拡大部１３４）は、輝点領域の全画素が、接している周辺画素よりも画素値が大きいか小さいかの判定を実施するのではなく、輝点領域を構成する４辺のそれぞれにおいて画素値の大小判定を実施する。
【０２００】
実施の形態６．
実施の形態６について、図２４〜図３８を用いて説明する。
なお、実施の形態１乃至実施の形態５で説明した構成と共通する部分については、同一の符号を付し、説明を省略する。
【０２０１】
図２４は、この実施の形態における目標追尾システム８５０の全体構成の一例を示すシステム構成図である。
目標追尾システム８５０（目標追尾装置）は、撮像装置８１０、特徴抽出装置１００、追尾装置２００、航跡表示装置８６０を有する。
撮像装置８１０は、所定の間隔で周期的に画像（入力画像）を撮影する。
特徴抽出装置１００は、撮像装置８１０が撮影した一連の画像を入力する。特徴抽出装置１００は、入力した画像それぞれについて、ピーク画素の位置、輝度、輝点領域の大きさなどの特徴情報を算出する。特徴抽出装置１００は、算出した特徴情報を表わす特徴信号を出力する。
追尾装置２００は、特徴抽出装置１００が算出した特徴情報に基づいて、撮像装置８１０が撮影した一連の画像に写っている目標を追尾する。
航跡表示装置８６０は、追尾装置２００が追尾した結果に基づいて、目標の位置や航跡などの情報を表示する。
【０２０２】
追尾装置２００の外観及びハードウェア資源は、特徴抽出装置１００と同様である。なお、追尾装置２００は、特徴抽出装置１００と物理的に一体の装置であってもよい。
【０２０３】
図２５は、この実施の形態における追尾装置２００の機能ブロックの構成の一例を示すブロック構成図である。
追尾装置２００は、特徴取得部２１０、特徴記憶部２２０、特徴予測部２３０、相関処理部２４０、航跡記憶部２５０、消失予測部２６０、重複予測部２７０、出現判定部２８０、分離判定部２９０を有する。
【０２０４】
特徴取得部２１０（位置取得部・輝度取得部・輝点領域取得部）は、ＣＰＵ９１１を用いて、特徴抽出装置１００が出力した特徴信号を入力する。特徴取得部２１０は、ＣＰＵ９１１を用いて、入力した特徴信号に基づいて、特徴抽出装置１００が抽出したピーク画素それぞれについて、そのピーク画素の位置と輝度と輝点領域の大きさとを取得する。ここで、輝点領域の大きさとは、例えば輝点領域の一辺の長さ、輝点領域の直径、輝点領域の面積（画素数）などである。特徴取得部２１０は、ＣＰＵ９１１を用いて、それぞれのピーク画素について取得した位置、輝度、輝点領域の大きさを表わすデータを出力する。
特徴記憶部２２０（位置記憶部・輝度記憶部・輝点領域記憶部）は、ＣＰＵ９１１を用いて、ピーク画素それぞれについて特徴取得部２１０が出力したデータを入力する。特徴記憶部２２０は、磁気ディスク装置９２０を用いて、入力したデータを記憶する。
【０２０５】
特徴予測部２３０（位置予測部・輝度予測部・輝点領域予測部）は、ある時点において特徴記憶部２２０が記憶しているデータが表わすピーク画素の位置・輝度・輝点領域の大きさと、航跡記憶部２５０が記憶しているデータが表わす目標の航跡とに基づいて、次の画像において同じ目標が写るピーク画素の位置・輝度・輝点領域の大きさを予測する。
後述するように、航跡記憶部２５０は、磁気ディスク装置９２０を用いて、目標の航跡を表わすデータを記憶する。目標の航跡とは、一連の画像に写った目標の動きのことである。画像のなかで目標が写った画素は輝度が高くなるので、特徴抽出装置１００がピーク画素として抽出する。すなわち、特徴抽出装置１００が抽出したピーク画素やその輝点領域は、画像に写った目標に対応している。一連の画像において、同じ目標が写っているピーク画素（あるいは輝点領域）を追っていけば、目標の動きを把握することができる。航跡記憶部２５０は、一連の画像において同じ目標が写っているピーク画素を表わすデータを、その目標の航跡を表わすデータとして記憶する。
特徴予測部２３０は、ＣＰＵ９１１を用いて、航跡記憶部２５０が記憶したデータを入力する。特徴予測部２３０は、ＣＰＵ９１１を用いて、入力したデータが表わす目標の航跡に基づいて、特徴記憶部２２０が記憶したデータのなかから、同じ目標が写っているピーク画素についてのデータを取得する。特徴予測部２３０は、ＣＰＵ９１１を用いて、入力したデータが表わすピーク画素の位置・輝度・輝点領域に基づいて、次の画像において同じ目標が写るピーク画素の位置・輝度・輝点領域を予測する。特徴予測部２３０は、ＣＰＵ９１１を用いて、予測したピーク画素の位置・輝度・輝点領域を表わすデータを出力する。
【０２０６】
特徴予測部２３０が用いる予測の方式には、例えば、カルマンフィルタを用いた方式がある。カルマンフィルタを用いた予測においては、例えば、次の式に示す８次の状態ベクトルｘｋ、８行８列の推移行列Φｋ、４次の観測ベクトルｚｋ、４行８列の観測行列Ｈを用いる。ただし、上付きの添え字「（ｔ）」は真の値、「（ｏ）」は観測値を表わす。ｘ及びｙは画像上の位置、ｓは輝点領域の大きさ、ａは輝度を表わす。Φ’ｋは２次の正方行列、ｔは観測時刻を表わす。
【数１１】
2010267239.tif 000003
【０２０７】
この例におけるモデルは、目標との距離が変わらなければ、輝度や輝点領域の大きさは変化せず、目標が一定の速度で近づいてくれば、輝度や輝点領域の大きさが一定の割合で大きくなり、目標が一定の速度で遠ざかれば、輝度や輝点領域の大きさが一定の割合で小さくなることを前提としている。
【０２０８】
相関処理部２４０は、次の画像（第二相関処理画像）について特徴予測部２３０が予測したピーク画素の位置・輝度・輝点領域の大きさと、特徴取得部２１０が取得したピーク画素の位置・輝度・輝点領域の大きさとに基づいて、次の画像について特徴抽出装置１００が抽出したピーク画素に写っている目標が、航跡記憶部２５０が航跡を記憶している目標のどれと一致するかを判定する。
例えば、相関処理部２４０は、ＣＰＵ９１１を用いて、特徴取得部２１０が出力したデータと、特徴予測部２３０が出力したデータとを入力する。相関処理部２４０は、ＣＰＵ９１１を用いて、入力したデータが表わすピーク画素の位置・輝度・輝点領域の大きさに基づいて、次の画像について特徴抽出装置１００が抽出したピーク画素について、航跡記憶部２５０が航跡を記憶している目標のなかから、そのピーク画素に写っている目標と一致する目標を判定する。相関処理部２４０は、ＣＰＵ９１１を用いて、判定した結果を表わすデータを出力する。
【０２０９】
相関処理部２４０は、例えば、ＣＰＵ９１１を用いて、実際に観測されたピーク画素の位置・輝度・輝点領域の大きさを、特徴予測部２３０が予測したピーク画素の位置・輝度・輝点領域の大きさと比較して、最も近い目標を、そのピーク画素に写っている目標と一致する目標と判定する。相関処理部２４０は、最も近い画素を判定するにあたり、例えば、ＣＰＵ９１１を用いて、ｘ座標の差、ｙ座標の差、輝度の差、輝点領域の大きさの差をそれぞれ算出し、それぞれを二乗し、所定の重み付けを乗じた上で合計して、誤差評価値とし、誤差評価値が最も小さい目標を、最も近い目標と判定する。なお、相関処理部２４０は、誤差評価値が所定の閾値以下の目標が存在しない場合、そのピーク画素に写っている目標と一致する目標がないと判定する。
【０２１０】
なお、相関処理部２４０は、このほか、後述する消失予測部２６０・重複予測部２７０・出現判定部２８０・分離判定部２９０などの判定結果も考慮して、目標を判定する。その詳細については、後述する。
【０２１１】
航跡記憶部２５０は、ＣＰＵ９１１を用いて、相関処理部２４０が出力したデータを入力する。航跡記憶部２５０は、入力したデータが表わす相関処理部２４０の判定結果に基づいて、磁気ディスク装置９２０を用いて、目標の航跡を記憶する。
なお、航跡記憶部２５０が航跡を記憶した目標のうち、次の画像について特徴抽出装置１００が抽出したピーク画素のなかにその目標が写っているピーク画素がないと相関処理部２４０が判定した目標については、その目標が観測可能範囲の外に出るなどして観測できなくなった可能性と、ノイズなどの影響でたまたまピーク画素が抽出されなかった可能性とがある。そこで、航跡記憶部２５０は、所定の枚数の画像について連続して、その目標が写っているピーク画素がないと相関処理部２４０が判定した場合に、その目標についての航跡を削除して、その目標の追尾を終了する。それまでの間は、航跡記憶部２５０は、その目標についての航跡を保持し続ける。
【０２１２】
消失予測部２６０は、ＣＰＵ９１１を用いて、特徴予測部２３０が予測した輝点領域の大きさに基づいて、消失候補画素を判定する。消失候補画素とは、一連の画像のうちのある時点における画像（第一相関処理画像）に写っていた目標が、次の画像（第二相関処理画像）に写らないと予測される場合、第一相関処理画像においてその目標が写っていたピーク画素のことである。それまで写っていた目標が次の画像に写らない場合には、例えば、目標が遠ざかり観測可能範囲の外に出た場合や、目標が他の目標と重なって見えなくなった場合などがある。
例えば、消失予測部２６０は、ＣＰＵ９１１を用いて、特徴予測部２３０が出力したデータを入力する。消失予測部２６０は、ＣＰＵ９１１を用いて、入力したデータが表わす輝点領域の大きさに基づいて、第一相関処理画像におけるピーク画素それぞれについて、輝点領域の一辺の長さ（もしくは面積）が１未満になると特徴予測部２３０が予測したピーク画素を判定し、判定したピーク画素を消失候補画素とする。消失予測部２６０は、ＣＰＵ９１１を用いて、判定した結果を表わすデータを出力する。
【０２１３】
なお、消失予測部２６０は、特徴予測部２３０が予測した輝点領域の大きさに基づいて消失候補画素を判定する代わりに、特徴記憶部２２０が記憶した輝点領域の大きさに基づいて消失候補画素を判定する構成としてもよい。例えば、消失予測部２６０は、ＣＰＵ９１１を用いて、特徴記憶部２２０が記憶したデータを入力し、入力したデータが表わす輝点領域の大きさに基づいて、第一相関処理画像におけるピーク画素のうちから、輝点領域の一辺の長さ（もしくは面積）が所定の値（例えば１）以下であるピーク画素を抽出する。消失予測部２６０は、ＣＰＵ９１１を用いて、航跡記憶部２５０が記憶したデータを入力し、入力したデータが表わす航跡に基づいて、第一相関処理画像より前の画像において、抽出したピーク画像に写っている目標と一致する目標が写っているピーク画素を判定する。消失予測部２６０は、ＣＰＵ９１１を用いて、その目標が写っているピーク画素の輝点領域の大きさが減少傾向であるか否かを判定する。減少傾向であると判定した場合、消失予測部２６０は、ＣＰＵ９１１を用いて、そのピーク画素を消失候補画素と判定する。
【０２１４】
相関処理部２４０は、第一相関処理画像に写っている目標と、第二相関処理画像に写っている目標との相関処理をするにあたり、ＣＰＵ９１１を用いて、消失予測部２６０が出力したデータを入力する。相関処理部２４０は、入力したデータに基づいて、ＣＰＵ９１１を用いて、第一相関処理画像におけるピーク画素から、消失予測部２６０が予測した消失候補画素を除外する。相関処理部２４０は、ＣＰＵ９１１を用いて、消失候補画素を除外したピーク画素のなかから、第二相関処理画像におけるピーク画素に写っている目標と一致する目標が写っているピーク画素を判定する。このように、相関処理の対象となるピーク画素から消失候補画素を除外することにより、相関処理の対象となるピーク画素の数が減るので、相関処理によるＣＰＵ９１１の負荷を軽減することができる。
なお、相関処理部２４０は、消失候補画素を除外したピーク画素のなかに写っている目標が一致するピーク画素がないと判定した第二相関処理画像におけるピーク画素について、ＣＰＵ９１１を用いて、消失候補画素のなかから、写っている目標が一致するピーク画素を判定する構成としてもよい。このように、消失候補画素以外のピーク画素を優先して相関処理をし、その後、消失候補画素についても相関処理をすることにより、消失候補画素に写っていた目標が第二相関処理画像にも写っている場合も、正しく相関処理をすることができる。
【０２１５】
重複予測部２７０は、ＣＰＵ９１１を用いて、消失予測部２６０が予測した消失候補画素に基づいて、重複候補画素を判定する。重複候補画素とは、消失候補画素に写っている目標が見えなくなる原因が他の目標との重複である場合、第一相関処理画像において、その目標が重複する他の目標が写っていたピーク画素のことである。
例えば、重複予測部２７０は、ＣＰＵ９１１を用いて、消失予測部２６０が出力したデータと、特徴記憶部２２０が記憶したデータとを入力する。重複予測部２７０は、入力したデータに基づいて、ＣＰＵ９１１を用いて、消失予測部２６０が判定した消失候補画素それぞれについて、消失候補画素の近傍に位置するピーク画素を判定し、判定したピーク画素を重複候補画素とする。重複予測部２７０は、ＣＰＵ９１１を用いて、判定した結果を表わすデータを出力する。
重複予測部２７０は、消失候補画素の近傍に位置するピーク画素の判定にあたり、例えば、ＣＰＵ９１１を用いて、ピーク画素の位置に基づいて、ピーク画素それぞれと消失候補画素との間の距離を算出し、算出した距離が所定の距離以下である場合に、そのピーク画素を、消失候補画素の近傍に位置すると判定する。あるいは、重複予測部２７０は、ＣＰＵ９１１を用いて、ピーク画素の輝点領域に基づいて、ピーク画素の輝点領域と消失候補画素の輝点領域とが隣接しているか否かを判定し、輝点領域が隣接していると判定したピーク画素を、消失候補画素の近傍に位置すると判定する構成としてもよい。
また、１つの消失候補画素に対して、消失候補画素の近傍に位置すると判定したピーク画素が複数ある場合、重複予測部２７０は、ＣＰＵ９１１を用いて、そのすべてを重複候補画素とする構成としてもよいし、そのなかから１つのピーク画素を選択して重複候補画素とする構成としてもよい。１つのピーク画素を選択する構成の場合、重複予測部２７０は、例えば、消失候補画素の近傍に位置すると判定したピーク画素のうち、ピーク画素の輝度に基づいて、最も輝度が高いピーク画素を重複候補画素とする構成としてもよいし、ピーク画素の輝点領域に基づいて、最も輝点領域の大きさが大きいピーク画素を重複候補画素とする構成としてもよいし、ピーク画素の位置に基づいて、最も消失候補画素との距離が近いピーク画素を重複候補画素とする構成としてもよい。
逆に、消失候補画素に対して、消失候補画素の近傍に位置すると判定したピーク画素がない場合、重複予測部２７０は、ＣＰＵ９１１を用いて、その消失候補画素に対応する重複候補画素がないという判定結果を表わすデータを出力する。
【０２１６】
なお、重複予測部２７０は、ピーク画素の間の距離の算出にあたり、ＣＰＵ９１１を用いて、第一相関処理画像における実際のピーク画素の位置に基づいて、ピーク画素の間の距離を算出する構成としてもよいし、特徴予測部２３０が予測した第二相関処理画像におけるピーク画素の位置に基づいて、ピーク画素の間の距離を算出する構成としてもよい。
【０２１７】
相関処理部２４０は、第一相関処理画像に写っている目標と、第二相関処理画像に写っている目標との相関処理をしたのち、ＣＰＵ９１１を用いて、重複予測部２７０が出力したデータを入力する。相関処理部２４０は、第二相関処理画像のピーク画素に写っている目標のなかに、第一相関処理画像の消失候補画素に写っている目標と一致する目標がないと判定した場合、ＣＰＵ９１１を用いて、入力したデータに基づいて、その消失候補画素に対応する重複候補画素があるか否かを判定する。
その消失候補画素に対応する重複候補画素がない場合、その消失候補画素に写っている目標が他の目標と重複したのではなく、その目標が観測可能範囲外に出たなど他の原因で第二相関処理画像に写らなかったものと考えられる。相関処理部２４０は、ＣＰＵ９１１を用いて、直ちにその目標の追尾を終了する。相関処理部２４０は、ＣＰＵ９１１を用いて、そのことを表わすデータを出力する。航跡記憶部２５０は、ＣＰＵ９１１を用いて、相関処理部２４０が出力したデータを入力し、その目標についての航跡を削除する。
その消失候補画素に対応する重複候補画素がある場合、その消失候補画素に写っている目標が、その重複候補画素に写っている目標と重複したことにより、第二相関処理画像に写らなかったものと考えられる。相関処理部２４０は、ＣＰＵ９１１を用いて、その目標についての追尾を中止する。相関処理部２４０は、ＣＰＵ９１１を用いて、その目標が重複している他の目標として、重複候補画素に写っている目標を表わすデータを出力する。航跡記憶部２５０は、ＣＰＵ９１１を用いて、相関処理部２４０が出力したデータを入力する。航跡記憶部２５０は、その目標についての航跡を削除せずに保持し、それに加えて、磁気ディスク装置９２０を用いて、その目標についての追尾を中止していること、及び、その目標が重複している他の目標（重複候補画素に写っていた目標）を表わすデータを記憶する。
次の画像についての相関処理において、相関処理部２４０は、追尾を中止している目標については相関処理をしない。なお、相関処理部２４０は、その目標が重複している目標の航跡により、その目標の航跡を代用する構成としてもよい。
【０２１８】
出現判定部２８０は、ＣＰＵ９１１を用いて、第二相関処理画像におけるピーク画素それぞれについて、そのピーク画素が出現目標画素であるか否かを判定する。出現目標画素とは、そのピーク画素に写っている目標が、新しく出現した目標であり、第一相関処理画像におけるピーク画素に写っている目標のいずれとも一致しない目標であるピーク画素のことである。
出現判定部２８０は、例えば、ＣＰＵ９１１を用いて、特徴記憶部２２０が記憶したデータを入力する。出現判定部２８０は、入力したデータに基づいて、ＣＰＵ９１１を用いて、第二相関処理画像におけるピーク画素それぞれについて、そのピーク画素の輝点領域の一辺の長さ（もしくは面積）が所定の値（例えば１）以下であるか否かを判定し、所定の値以下であると判定したピーク画素を、出現目標画素とする。出現判定部２８０は、ＣＰＵ９１１を用いて、判定した結果を表わすデータを出力する。
【０２１９】
相関処理部２４０は、第一相関処理画像に写っている目標と、第二相関処理画像に写っている目標との相関処理をするにあたり、ＣＰＵ９１１を用いて、出現判定部２８０が出力したデータを入力し、入力したデータが表わす判定結果に基づいて、第二相関処理画像におけるピーク画素のなかから、出現目標画素であると出現判定部２８０が判定したピーク画素を除外する。相関処理部２４０は、ＣＰＵ９１１を用いて、出現目標画素を除外したピーク画素について、第一相関処理画像におけるピーク画素のなかから、写っている目標が一致するピーク画素を判定する。このように、相関処理の対象となるピーク画素から出現目標画素を除外することにより、相関処理の対象となるピーク画素の数が減るので、相関処理によるＣＰＵ９１１の負荷を軽減することができる。
なお、相関処理部２４０は、出現目標画素について、ＣＰＵ９１１を用いて、出現目標画素を除外したピーク画素のなかに写っている目標が一致するピーク画素がなかった第一相関処理画像におけるピーク画素のなかから、写っている目標が一致するピーク画素を判定する構成としてもよい。このように、出現目標画素以外のピーク画素を優先して相関処理をし、その後、出現目標画素についても相関処理をすることにより、出現目標画素に写っている目標が新しく出現した目標でない場合も、正しく相関処理をすることができる。
【０２２０】
また、相関処理部２４０が第一相関処理画像に写っている目標と第二相関処理画像に写っている目標との相関処理をしたのち、もしくは、その後更に数枚の画像についての相関処理をしたのち、出現判定部２８０は、ＣＰＵ９１１を用いて、航跡記憶部２５０が記憶したデータを入力する。出現判定部２８０は、入力したデータに基づいて、ＣＰＵ９１１を用いて、航跡を逆に辿り、第一相関処理画像においてその目標が写っているピーク画素の輝点領域の大きさを予測する。出現判定部２８０は、ＣＰＵ９１１を用いて、予測した輝点領域の大きさに基づいて、輝点領域の一辺の長さ（もしくは面積）が所定の値（例えば１）未満である場合、第二相関処理画像においてその目標が写っているピーク画素を、出現目標画素と判定する。
【０２２１】
相関処理部２４０は、第一相関処理画像に写っている目標と第二相関処理画像に写っている目標との相関処理において、出現判定部２８０が出現目標画素と判定したピーク画素に写っている目標が新しく出現した目標であると判定していなかった場合、ＣＰＵ９１１を用いて、そのピーク画素に写っている目標が新しく出現した目標であるということを前提として、第一相関処理画像に写っている目標と第二相関処理画像に写っている目標との相関処理をやり直す。
【０２２２】
なお、相関処理部２４０は、第一相関処理画像に写っている目標と第二相関処理画像に写っている目標との相関処理において、写っている目標が一致するピーク画素を一つに決定せず、複数のピーク画素を候補とし、それぞれの候補が正解である確率を求める構成としてもよい。その後、相関処理が進むたびに、相関処理部２４０は、ＣＰＵ９１１を用いて、確率を計算し直し、いずれかの候補が正解である確率が所定の値（例えば８０％）を超えた場合に、その候補が正解であると判定する。
そのような構成の場合、相関処理部２４０は、ＣＰＵ９１１を用いて、出現判定部２８０が判定した判定結果を確率再計算の一要素として、確率を再計算する。例えば、相関処理部２４０は、ＣＰＵ９１１を用いて、出現判定部２８０が出現目標画素であると判定したピーク画素について、そのピーク画素に写っている目標が第一相関処理画像におけるピーク画素のいずれかに写っている目標と一致する確率を０もしくは非常に小さい値とする。
【０２２３】
分離判定部２９０は、ＣＰＵ９１１を用いて、出現判定部２８０が判定した出現目標画素に基づいて、分離目標画素を判定する。分離目標画素とは、出現目標画素に写っている目標が第一相関処理画像において他の目標に重複して隠れていた場合、第二相関処理画像において、その目標が重複していた他の目標が写っている画素のことである。
例えば、分離判定部２９０は、ＣＰＵ９１１を用いて、出現判定部２８０が出力したデータと、特徴記憶部２２０が記憶したデータとを入力する。分離判定部２９０は、入力したデータに基づいて、ＣＰＵ９１１を用いて、出現判定部２８０が判定した出現目標画素それぞれについて、出現目標画素の近傍に位置するピーク画素を判定し、判定した画素を分離目標画素とする。分離判定部２９０は、ＣＰＵ９１１を用いて、判定した結果を表わすデータを出力する。
分離判定部２９０は、出現目標画素の近傍に位置するピーク画素の判定にあたり、例えば、ＣＰＵ９１１を用いて、ピーク画素の位置に基づいて、ピーク画素それぞれと出現目標画素との間の距離を算出し、算出した距離が所定の距離以下である場合に、そのピーク画素を、出現目標画素の近傍に位置すると判定する。あるいは、分離判定部２９０は、ＣＰＵ９１１を用いて、ピーク画素の輝点領域に基づいて、ピーク画素の輝点領域と出現目標画素の輝点領域とが隣接しているか否かを判定し、輝点領域が隣接していると判定したピーク画素を、出現候補画素の近傍に位置すると判定する構成としてもよい。
また、１つの出現目標画素に対して、出現目標画素の近傍に位置すると判定したピーク画素が複数ある場合、分離判定部２９０は、ＣＰＵ９１１を用いて、出現目標画素の近傍に位置するピーク画素のうち、目標が重複している航跡に属するピーク画素を分離目標画素とする。目標が重複している航跡とは、以前に、重複予測部２７０が重複候補画素と判定したピーク画素に写っていた目標であって、消失予測部２６０が消失候補画素と判定したピーク画素に写っていた目標が重複したと相関処理部２４０が判定した目標の航跡である。
１つの出現目標画素に対して、出現目標画素の近傍に位置すると判定したピーク画素のなかに、目標が重複している航跡に属するピーク画素が複数ある場合、分離判定部２９０は、ＣＰＵ９１１を用いて、そのすべてを分離目標画素とする構成としてもよいし、そのなかから１つのピーク画素を選択して分離目標画素とする構成としてもよい。１つのピーク画素を選択する構成の場合、分離判定部２９０は、例えば、ピーク画素の輝度に基づいて、最も輝度が高いピーク画素を分離目標画素とする構成としてもよいし、ピーク画素の輝点領域に基づいて、最も輝点領域の大きさが大きいピーク画素を分離目標画素とする構成としてもよいし、ピーク画素の位置に基づいて、最も出現目標画素との距離が近いピーク画素を分離目標画素とする構成としてもよい。
逆に、出現目標画素に対して、出現目標画素の近傍に位置すると判定したピーク画素がない場合、分離判定部２９０は、ＣＰＵ９１１を用いて、その出現目標画素に対応する分離目標画素がないという判定結果を表わすデータを出力する。
【０２２４】
なお、分離判定部２９０は、ピーク画素の間の距離の算出にあたり、ＣＰＵ９１１を用いて、第二相関処理画像における実際のピーク画素の位置に基づいて、ピーク画素の間の距離を算出する構成としてもよいし、航跡を逆に辿ることにより第一相関処理画像におけるピーク画素の位置を予測し、予測したピーク画素の位置に基づいて、ピーク画素の間の距離を算出する構成としてもよい。
【０２２５】
相関処理部２４０は、ＣＰＵ９１１を用いて、分離判定部２９０が出力したデータを入力する。相関処理部２４０は、出現判定部２８０が判定した出現目標画素に新しく出現した目標が写っていると判定した場合、ＣＰＵ９１１を用いて、入力したデータに基づいて、その出現目標画素に対応する分離目標画素があるか否かを判定する。
その出現目標画素に対応する分離目標画素がない場合、その目標は、他の目標と重複していた目標が分離したことにより出現したのではなく、目標が観測可能範囲内に入ってきたなどの原因により、出現したものと考えられる。相関処理部２４０は、ＣＰＵ９１１を用いて、その目標を新たな目標として追尾を開始する。
その出現目標画素に対応する分離目標画素がある場合、その目標は、分離目標画素に写っている目標と重複していた目標が分離したものと考えられる。相関処理部２４０は、ＣＰＵ９１１を用いて、分離目標画素に写っている目標の航跡に基づいて、その目標に他の目標が重複していたか否かを判定する。
他の目標が重複していないと判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、出現目標画素に写っている目標を新たな目標として追尾を開始する。
他の目標が重複していたと判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、その目標に重複したことにより追尾を中止していた目標が再び出現したものとして、追尾を中止していた目標の追尾を再開する。相関処理部２４０は、ＣＰＵ９１１を用いて、そのことを表わすデータを出力する。航跡記憶部２５０は、ＣＰＵ９１１を用いて、相関処理部２４０が出力したデータを入力する。航跡記憶部２５０は、磁気ディスク装置９２０を用いて、追尾を中止していた目標の追尾を再開したことを表わすデータを記憶するとともに、第二相関処理画像においてその目標が写っているピーク画素として、出現目標画素を表わすデータを記憶する。
【０２２６】
なお、相関処理部２４０は、重複する前の航跡におけるピーク画素の輝度や輝点領域の大きさと、出現目標画素の輝度や輝点領域の大きさとを比較して、航跡を結合するか否かを判定する構成としてもよい。例えば、重複前の目標が写っていたピーク画素の輝度や輝点領域の大きさと、出現目標画素の輝度や輝点領域の大きさとの差が所定の値より大きい場合は、異なる目標であると判断し、相関処理部２４０は、ＣＰＵ９１１を用いて、出現目標画素に写っている目標を新たな目標として追尾を開始する。また、１つの航跡に３以上の目標が重複していた場合や、１つの出現目標画素に対して複数の分離目標画素がある場合、相関処理部２４０は、ＣＰＵ９１１を用いて、重複前の目標が写っていたピーク画素の輝度や輝点領域の大きさと、出現目標画素の輝度や輝点領域の大きさとの差が小さいほうの航跡に、出現目標画素を結合する。
【０２２７】
また、相関処理部２４０（もしくは分離判定部２９０）は、目標が重複している航跡に分離目標画素が属している場合に、分離目標画素に写っている目標に他の目標が重複していると判定するだけでなく、分離目標画素に写っている目標の航跡に属するピーク画素の輝点領域と、目標が重複している航跡に属するピーク画素の輝点領域とが、隣接したことがある場合にも、ＣＰＵ９１１を用いて、分離目標画素に写っている目標に他の目標が重複していると判定する構成としてもよい。輝点領域が隣接している間に、隠れている目標が乗り移る可能性があるからである。
【０２２８】
図２６は、この実施の形態における追尾処理Ｓ７００の流れの一例を示すフローチャート図である。
追尾処理Ｓ７００において、追尾装置２００は、特徴抽出装置１００が抽出した特徴情報に基づいて、目標を追尾する。追尾処理Ｓ７００は、予測処理Ｓ７１０、特徴取得工程Ｓ７３０、相関前処理Ｓ７４０、相関処理Ｓ７６０、逆予測処理Ｓ７８０を有する。
【０２２９】
予測処理Ｓ７１０において、追尾装置２００は、その時点までに撮像装置８１０が撮影した画像（第一相関処理画像及びそれより前の画像）から特徴抽出装置１００が抽出した特徴情報に基づいて、次の画像（第二相関処理画像）において、追尾している目標が写るピーク画像の位置・輝度・輝点領域の大きさなどの特徴を予測し、消失候補画素や重複候補画素を判定する。
特徴取得工程Ｓ７３０において、追尾装置２００は、第二相関処理画像から特徴抽出装置１００が抽出した特徴情報を取得する。特徴取得部２１０は、ＣＰＵ９１１を用いて、ピーク画素の位置・輝度・輝点領域の大きさを取得し、特徴記憶部２２０は、磁気ディスク装置９２０を用いて、特徴取得部２１０が取得したピーク画素の位置・輝度・輝点領域の大きさを表わすデータを記憶する。
相関前処理Ｓ７４０において、追尾装置２００は、特徴取得工程Ｓ７３０で取得した特徴情報に基づいて、出現目標画素や分離目標画素を判定する。
相関処理Ｓ７６０において、追尾装置２００は、第一相関処理画像に写っている目標と、第二相関処理画像に写っている目標との相関処理をする。
逆予測処理Ｓ７８０において、追尾装置２００は、ある画像より後の画像から特徴抽出装置１００が抽出した特徴情報に基づいて、その画像において、追尾している目標が写っていたピーク画像の位置・輝度・輝点領域の大きさなどの特徴を予測し、出現目標画素や分離目標画素を判定する。
追尾装置２００は、予測処理Ｓ７１０に戻り、処理を繰り返す。
【０２３０】
図２７は、この実施の形態における予測処理Ｓ７１０の流れの一例を示すフローチャート図である。
予測処理Ｓ７１０は、第一航跡選択工程Ｓ７１１、特徴予測工程Ｓ７１２、第二航跡選択工程Ｓ７１３、消失判定工程Ｓ７１４、第三航跡選択工程Ｓ７１５、第一近接判定工程Ｓ７１６、重複予測工程Ｓ７１７を有する。
【０２３１】
第一航跡選択工程Ｓ７１１において、特徴予測部２３０は、航跡記憶部２５０が記憶したデータが表わす航跡に基づいて、ＣＰＵ９１１を用いて、追尾中の目標の航跡のなかから、航跡を一つずつ選択する。
選択すべき航跡がすべて選択済である場合、特徴予測部２３０は、航跡を選択せず、ＣＰＵ９１１を用いて、第二航跡選択工程Ｓ７１３へ進む。
選択すべき航跡が残っている場合、特徴予測部２３０は、ＣＰＵ９１１を用いて、未選択の航跡を一つ選択し、特徴予測工程Ｓ７１２へ進む。
【０２３２】
特徴予測工程Ｓ７１２において、特徴予測部２３０は、第一航跡選択工程Ｓ７１１で選択した航跡について、ＣＰＵ９１１を用いて、特徴記憶部２２０が記憶したデータが表わすピーク画素の位置・輝度・輝点領域の大きさに基づいて、第二相関処理画像にその目標が写るピーク画素の位置・輝度・輝点領域の大きさを予測する。
特徴予測部２３０は、ＣＰＵ９１１を用いて、第一航跡選択工程Ｓ７１１に戻り、次の航跡を選択する。
【０２３３】
第二航跡選択工程Ｓ７１３において、消失予測部２６０は、ＣＰＵ９１１を用いて、航跡記憶部２５０が記憶したデータが表わす航跡に基づいて、特徴予測工程Ｓ７１２でピーク画素の位置・輝度・輝点領域の大きさを予測した航跡のなかから、航跡を一つずつ選択する。
選択すべき航跡がすべて選択済である場合、消失予測部２６０は、航跡を選択せず、ＣＰＵ９１１を用いて、予測処理Ｓ７１０を終了する。
選択すべき航跡が残っている場合、消失予測部２６０は、ＣＰＵ９１１を用いて、未選択の航跡を一つ選択し、消失判定工程Ｓ７１４へ進む。
【０２３４】
消失判定工程Ｓ７１４において、消失予測部２６０は、ＣＰＵ９１１を用いて、第二航跡選択工程Ｓ７１３で選択した航跡について、ＣＰＵ９１１を用いて、特徴予測工程Ｓ７１２で特徴予測部２３０が予測したピーク画素の位置・輝度・輝点領域の大きさに基づいて、その目標が第一相関処理画像に写っているピーク画素が消失候補画素であるか否かを判定する。
消失候補画素であると判定した場合、消失予測部２６０は、ＣＰＵ９１１を用いて、第三航跡選択工程Ｓ７１５へ進む。
消失候補画素でないと判定した場合、消失予測部２６０は、ＣＰＵ９１１を用いて、第二航跡選択工程Ｓ７１３に戻り、次の航跡を選択する。
【０２３５】
第三航跡選択工程Ｓ７１５において、重複予測部２７０は、ＣＰＵ９１１を用いて、航跡記憶部２５０が記憶したデータが表わす航跡に基づいて、消失判定工程Ｓ７１４で消失候補画素であると消失予測部２６０が判定したピーク画素が属する航跡以外の航跡のなかから、航跡を一つずつ選択する。
選択すべき航跡がすべて選択済である場合、重複予測部２７０は、航跡を選択せず、ＣＰＵ９１１を用いて、重複予測工程Ｓ７１７へ進む。
選択すべき航跡が残っている場合、重複予測部２７０は、ＣＰＵ９１１を用いて、未選択の航跡を一つ選択し、第一近接判定工程Ｓ７１６へ進む。
【０２３６】
第一近接判定工程Ｓ７１６において、重複予測部２７０は、ＣＰＵ９１１を用いて、第三航跡選択工程Ｓ７１５で選択した航跡について、ＣＰＵ９１１を用いて、特徴予測工程Ｓ７１２で特徴予測部２３０が予測したピーク画素の位置・輝点領域の大きさに基づいて、その目標が写っているピーク画素が消失候補画素に近接しているか否かを判定する。
重複予測部２７０は、ＣＰＵ９１１を用いて、第三航跡選択工程Ｓ７１５に戻り、次の航跡を選択する。
【０２３７】
重複予測工程Ｓ７１７において、重複予測部２７０は、第一近接判定工程Ｓ７１６で消失候補画素に近接していると判定したピーク画素のなかから、ＣＰＵ９１１を用いて、重複予測画素を判定する。
消失予測部２６０は、ＣＰＵ９１１を用いて、第二航跡選択工程Ｓ７１３に戻り、次の航跡を選択する。
【０２３８】
図２８は、この実施の形態における相関前処理Ｓ７４０の流れの一例を示すフローチャート図である。
相関前処理Ｓ７４０は、第一ピーク選択工程Ｓ７４１、第一出現判定工程Ｓ７４２、第二ピーク選択工程Ｓ７４３、第二近接判定工程Ｓ７４４、第一分離判定工程Ｓ７４５を有する。
【０２３９】
第一ピーク選択工程Ｓ７４１において、出現判定部２８０は、特徴取得部２１０が取得したデータが表わすピーク画素のなかから、ＣＰＵ９１１を用いて、ピーク画素を一つずつ選択する。
選択すべきピーク画素がすべて選択済である場合、出現判定部２８０は、ピーク画素を選択せず、ＣＰＵ９１１を用いて、相関前処理Ｓ７４０を終了する。
選択すべきピーク画素が残っている場合、出現判定部２８０は、ＣＰＵ９１１を用いて、未選択のピーク画素を選択し、第一出現判定工程Ｓ７４２へ進む。
【０２４０】
第一出現判定工程Ｓ７４２において、出現判定部２８０は、第一ピーク選択工程Ｓ７４１で選択したピーク画素の位置・輝度・輝点領域の大きさに基づいて、ＣＰＵ９１１を用いて、そのピーク画素が出現目標画素であるか否かを判定する。
出現目標画素であると判定した場合、出現判定部２８０は、ＣＰＵ９１１を用いて、第二ピーク選択工程Ｓ７４３へ進む。
出現目標画素でないと判定した場合、出現判定部２８０は、ＣＰＵ９１１を用いて、第一ピーク選択工程Ｓ７４１に戻り、次のピーク画素を選択する。
【０２４１】
第二ピーク選択工程Ｓ７４３において、分離判定部２９０は、第一出現判定工程Ｓ７４２で出現判定部２８０が出現目標画素であると判定したピーク画素以外のピーク画素のなかから、ピーク画素を一つずつ選択する。
選択すべきピーク画素がすべて選択済である場合、分離判定部２９０は、ピーク画素を選択せず、ＣＰＵ９１１を用いて、第一分離判定工程Ｓ７４５へ進む。
選択すべきピーク画素が残っている場合、分離判定部２９０は、ＣＰＵ９１１を用いて、未選択のピーク画素を一つ選択し、第二近接判定工程Ｓ７４４へ進む。
【０２４２】
第二近接判定工程Ｓ７４４において、分離判定部２９０は、第二ピーク選択工程Ｓ７４３で選択したピーク画素の位置・輝点領域の大きさに基づいて、ＣＰＵ９１１を用いて、そのピーク画素が出現目標画素に近接しているか否かを判定する。
分離判定部２９０は、ＣＰＵ９１１を用いて、第二ピーク選択工程Ｓ７４３に戻り、次のピーク画素を選択する。
【０２４３】
第一分離判定工程Ｓ７４５において、分離判定部２９０は、第二近接判定工程Ｓ７４４で出現目標画素に近接していると判定したピーク画素のなかから、ＣＰＵ９１１を用いて、分離目標画素を判定する。
出現判定部２８０は、ＣＰＵ９１１を用いて、第一ピーク選択工程Ｓ７４１に戻り、次のピーク画素を選択する。
【０２４４】
図２９は、この実施の形態における相関処理Ｓ７６０の流れの一例を示すフローチャート図である。
相関処理Ｓ７６０は、非消失航跡選択工程Ｓ７６１、第一相関工程Ｓ７６２、第二相関工程Ｓ７６３、消失航跡選択工程Ｓ７６５、第三相関工程Ｓ７６６、重複判定工程Ｓ７６７、追尾中止工程Ｓ７６８、追尾終了工程Ｓ７６９、残存出現選択工程Ｓ７７１、航跡結合判定工程Ｓ７７２、航跡結合工程Ｓ７７３、新航跡生成工程Ｓ７７４を有する。
【０２４５】
非消失航跡選択工程Ｓ７６１において、相関処理部２４０は、航跡記憶部２５０が記憶したデータが表わす航跡に基づいて、ＣＰＵ９１１を用いて、追尾中の目標の航跡のうち、予測処理Ｓ７１０で消失予測部２６０が消失候補画素でないと判定したピーク画素が属する航跡のなかから、航跡を一つずつ選択する。
選択すべき航跡がすべて選択済である場合、相関処理部２４０は、航跡を選択せず、ＣＰＵ９１１を用いて、消失航跡選択工程Ｓ７６５へ進む。
選択すべき航跡が残っている場合、相関処理部２４０は、ＣＰＵ９１１を用いて、未選択の航跡を一つ選択し、第一相関工程Ｓ７６２へ進む。
【０２４６】
第一相関工程Ｓ７６２において、相関処理部２４０は、非消失航跡選択工程Ｓ７６１で選択した航跡について、ＣＰＵ９１１を用いて、予測処理Ｓ７１０で特徴予測部２３０が予測したピーク画素の位置・輝度・輝点領域の大きさに基づいて、特徴取得工程Ｓ７３０で特徴取得部２１０が位置・輝度・輝点領域の大きさを取得したピーク画素のうち、相関前処理Ｓ７４０で出現判定部２８０が出現目標画素でないと判定したピーク画素のなかから、その航跡の目標が写っているピーク画素を判定する。
その航跡の目標が写っているピーク画素があると判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、非消失航跡選択工程Ｓ７６１に戻り、次の航跡を選択する。
その航跡の目標が写っているピーク画素がないと判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、第二相関工程Ｓ７６３へ進む。
【０２４７】
第二相関工程Ｓ７６３において、相関処理部２４０は、非消失航跡選択工程Ｓ７６１で選択した航跡について、ＣＰＵ９１１を用いて、予測処理Ｓ７１０で特徴予測部２３０が予測したピーク画素の位置・輝度・輝点領域の大きさに基づいて、特徴取得工程Ｓ７３０で特徴取得部２１０が位置・輝度・輝点領域の大きさを取得したピーク画素のうち、相関前処理Ｓ７４０で出現判定部２８０が出現目標画素であると判定したピーク画素のなかから、その航跡の目標が写っているピーク画素を判定する。
相関処理部２４０は、ＣＰＵ９１１を用いて、非消失航跡選択工程Ｓ７６１に戻り、次の航跡を選択する。
【０２４８】
消失航跡選択工程Ｓ７６５において、相関処理部２４０は、航跡記憶部２５０が記憶したデータが表わす航跡に基づいて、ＣＰＵ９１１を用いて、追尾中の目標の航跡のうち、予測処理Ｓ７１０で消失予測部２６０が消失候補画素であると判定したピーク画素が属する航跡のなかから、航跡を一つずつ選択する。
選択すべき航跡がすべて選択済である場合、相関処理部２４０は、航跡を選択せず、ＣＰＵ９１１を用いて、残存出現選択工程Ｓ７７１へ進む。
選択すべき航跡が残っている場合、相関処理部２４０は、ＣＰＵ９１１を用いて、未選択の航跡を一つ選択し、第三相関工程Ｓ７６６へ進む。
【０２４９】
第三相関工程Ｓ７６６において、相関処理部２４０は、消失航跡選択工程Ｓ７６５で選択した航跡について、ＣＰＵ９１１を用いて、予測処理Ｓ７１０で特徴予測部２３０が予測したピーク画素の位置・輝度・輝点領域の大きさに基づいて、特徴取得工程Ｓ７３０で特徴取得部２１０が位置・輝度・輝点領域の大きさを取得したピーク画素のなかから、その航跡の目標が写っているピーク画素を判定する。
その航跡の目標が写っているピーク画素があると判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、消失航跡選択工程Ｓ７６５に戻り、次の航跡を選択する。
その航跡の目標が写っているピーク画素がないと判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、重複判定工程Ｓ７６７へ進む。
【０２５０】
重複判定工程Ｓ７６７において、相関処理部２４０は、第三相関工程Ｓ７６６でその目標が写っているピーク画素がないと判定した航跡について、ＣＰＵ９１１を用いて、その航跡に属する消失候補画素について予測処理Ｓ７１０で重複予測部２７０が判定した重複候補画素があるか否かを判定する。
重複候補画素があると判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、追尾中止工程Ｓ７６８へ進む。
重複候補画素がないと判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、追尾終了工程Ｓ７６９へ進む。
【０２５１】
追尾中止工程Ｓ７６８において、相関処理部２４０は、ＣＰＵ９１１を用いて、第三相関工程Ｓ７６６でその目標が写っているピーク画素がないと判定した航跡について、追尾を中止する。航跡記憶部２５０は、ＣＰＵ９１１を用いて、その航跡に属する消失候補画素について予測処理Ｓ７１０で重複予測部２７０が判定した重複候補画素が属する航跡について、第三相関工程Ｓ７６６でその目標が写っているピーク画素がないと判定した航跡の目標が重複していることを表わすデータを記憶する。
相関処理部２４０は、ＣＰＵ９１１を用いて、消失航跡選択工程Ｓ７６５に戻り、次の航跡を選択する。
【０２５２】
追尾終了工程Ｓ７６９において、相関処理部２４０は、ＣＰＵ９１１を用いて、第三相関工程Ｓ７６６でその目標が写っているピーク画素がないと判定した航跡について、追尾を終了する。
相関処理部２４０は、ＣＰＵ９１１を用いて、消失航跡選択工程Ｓ７６５に戻り、次の航跡を選択する。
【０２５３】
残存出現選択工程Ｓ７７１において、相関処理部２４０は、相関前処理Ｓ７４０で出現判定部２８０が判定した出現目標画素のうちから、第二相関工程Ｓ７６３及び第三相関工程Ｓ７６６でいずれかの航跡の目標が写っていると判定された出現目標画素を除き、残っている出現目標画素のなかから、出現目標画素を一つずつ選択する。
選択すべき出現目標画素がすべて選択済である場合、相関処理部２４０は、出現目標画素を選択せず、ＣＰＵ９１１を用いて、相関処理Ｓ７６０を終了する。
選択すべき出現目標画素が残っている場合、相関処理部２４０は、ＣＰＵ９１１を用いて、未選択の出現目標画素を選択し、航跡結合判定工程Ｓ７７２へ進む。
【０２５４】
航跡結合判定工程Ｓ７７２において、相関処理部２４０は、残存出現選択工程Ｓ７７１で選択した出現目標画素について、ＣＰＵ９１１を用いて、相関前処理Ｓ７４０で分離判定部２９０が判定した分離目標画素があるか否かを判定する。
分離目標画素がないと判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、新航跡生成工程Ｓ７７４へ進む。
分離目標画素があると判定した場合、相関処理部２４０は、その分離目標画素が属する航跡について、ＣＰＵ９１１を用いて、他の目標が重複しているか否かを判定する。
他の目標が重複していないと判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、新航跡生成工程Ｓ７７４へ進む。
他の目標が重複していると判定した場合、相関処理部２４０は、ＣＰＵ９１１を用いて、航跡結合工程Ｓ７７３へ進む。
【０２５５】
航跡結合工程Ｓ７７３において、相関処理部２４０は、ＣＰＵ９１１を用いて、その航跡に重複していた目標が、残存出現選択工程Ｓ７７１で選択した出現目標画素に写っていると判定し、その航跡に重複していた目標の航跡について追尾を再開する。
相関処理部２４０は、ＣＰＵ９１１を用いて、残存出現選択工程Ｓ７７１に戻り、次の出現目標画素を選択する。
【０２５６】
新航跡生成工程Ｓ７７４において、相関処理部２４０は、ＣＰＵ９１１を用いて、残存出現選択工程Ｓ７７１で選択した出現目標画素に、新たな目標が写っていると判定し、新たな航跡を生成して、追尾を開始する。
相関処理部２４０は、ＣＰＵ９１１を用いて、残存出現選択工程Ｓ７７１に戻り、次の出現目標画素を選択する。
【０２５７】
図３０は、この実施の形態における逆予測処理Ｓ７８０の流れの一例を示すフローチャート図である。
逆予測処理Ｓ７８０は、第四航跡選択工程Ｓ７８１、特徴逆予測工程Ｓ７８２、第五航跡選択工程Ｓ７８３、第二出現判定工程Ｓ７８４、第六航跡選択工程Ｓ７８５、第三近接判定工程Ｓ７８６、第二分離判定工程Ｓ７８７を有する。
【０２５８】
第四航跡選択工程Ｓ７８１において、出現判定部２８０は、航跡記憶部２５０が記憶したデータが表わす航跡に基づいて、ＣＰＵ９１１を用いて、追尾中の目標の航跡のなかから、航跡を一つずつ選択する。
選択すべき航跡がすべて選択済である場合、出現判定部２８０は、航跡を選択せず、ＣＰＵ９１１を用いて、第五航跡選択工程Ｓ７８３へ進む。
選択すべき航跡が残っている場合、出現判定部２８０は、ＣＰＵ９１１を用いて、未選択の航跡を一つ選択し、特徴逆予測工程Ｓ７８２へ進む。
【０２５９】
特徴逆予測工程Ｓ７８２において、出現判定部２８０は、第四航跡選択工程Ｓ７８１で選択した航跡について、ＣＰＵ９１１を用いて、第一相関処理画像より後の画像について特徴記憶部２２０が記憶したデータが表わすピーク画素の位置・輝度・輝点領域の大きさに基づいて、第一相関処理画像にその目標が写っているピーク画素の位置・輝度・輝点領域の大きさを予測する。
出現判定部２８０は、ＣＰＵ９１１を用いて、第四航跡選択工程Ｓ７８１に戻り、次の航跡を選択する。
【０２６０】
第五航跡選択工程Ｓ７８３において、出現判定部２８０は、ＣＰＵ９１１を用いて、航跡記憶部２５０が記憶したデータが表わす航跡に基づいて、特徴逆予測工程Ｓ７８２でピーク画素の位置・輝度・輝点領域の大きさを予測した航跡のなかから、航跡を一つずつ選択する。
選択すべき航跡がすべて選択済である場合、出現判定部２８０は、航跡を選択せず、ＣＰＵ９１１を用いて、逆予測処理Ｓ７８０を終了する。
選択すべき航跡が残っている場合、出現判定部２８０は、ＣＰＵ９１１を用いて、未選択の航跡を一つ選択し、第二出現判定工程Ｓ７８４へ進む。
【０２６１】
第二出現判定工程Ｓ７８４において、出現判定部２８０は、ＣＰＵ９１１を用いて、第五航跡選択工程Ｓ７８３で選択した航跡について、ＣＰＵ９１１を用いて、特徴逆予測工程Ｓ７８２で予測したピーク画素の位置・輝度・輝点領域の大きさに基づいて、その目標が第二相関処理画像に写っているピーク画素が出現目標画素であるか否かを判定する。
出現目標画素であると判定した場合、出現判定部２８０は、ＣＰＵ９１１を用いて、第六航跡選択工程Ｓ７８５へ進む。
出現目標画素でないと判定した場合、出現判定部２８０は、ＣＰＵ９１１を用いて、第五航跡選択工程Ｓ７８３に戻り、次の航跡を選択する。
【０２６２】
第六航跡選択工程Ｓ７８５において、分離判定部２９０は、ＣＰＵ９１１を用いて、航跡記憶部２５０が記憶したデータが表わす航跡に基づいて、第二出現判定工程Ｓ７８４で出現候補画素であると出現判定部２８０が判定したピーク画素が属する航跡以外の航跡のなかから、航跡を一つずつ選択する。
選択すべき航跡がすべて選択済である場合、分離判定部２９０は、航跡を選択せず、ＣＰＵ９１１を用いて、第二分離判定工程Ｓ７８７へ進む。
選択すべき航跡が残っている場合、分離判定部２９０は、ＣＰＵ９１１を用いて、未選択の航跡を一つ選択し、第三近接判定工程Ｓ７８６へ進む。
【０２６３】
第三近接判定工程Ｓ７８６において、分離判定部２９０は、ＣＰＵ９１１を用いて、第六航跡選択工程Ｓ７８５で選択した航跡について、ＣＰＵ９１１を用いて、特徴逆予測工程Ｓ７８２で出現判定部２８０が予測したピーク画素の位置・輝点領域の大きさに基づいて、その目標が写っているピーク画素が出現目標画素に近接しているか否かを判定する。
分離判定部２９０は、ＣＰＵ９１１を用いて、第六航跡選択工程Ｓ７８５に戻り、次の航跡を選択する。
【０２６４】
第二分離判定工程Ｓ７８７において、分離判定部２９０は、第三近接判定工程Ｓ７８６で出現目標画素に近接していると判定したピーク画素のなかから、ＣＰＵ９１１を用いて、分離目標画素を判定する。
分離判定部２９０は、ＣＰＵ９１１を用いて、第五航跡選択工程Ｓ７８３に戻り、次の航跡を選択する。
【０２６５】
図３１は、この実施の形態における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図である。
入力画像Ｉ１４は、撮像装置８１０が撮影した最新の画像である。特徴抽出装置１００は、入力画像Ｉ１４から３つのピーク画素を抽出したとする。黒い正方形で表わされるピーク画素Ｐ１４，Ｐ３４，Ｐ５４は、それぞれ、特徴抽出装置１００が入力画像Ｉ１４から抽出した３つのピーク画素について、入力画像Ｉ１４のなかにおける位置を表わす。白抜きの正方形で表わされる輝点領域Ａ１４，Ａ３４，Ａ５４は、それぞれ、特徴抽出装置１００が入力画像Ｉ１４から抽出した３つのピーク画素について、入力画像Ｉ１４のなかにおける輝点領域を表わす。この例において、輝点領域は、ピーク画素を中心とする正方形である。また、円で表わされる輝度Ｌ１４，Ｌ３４，Ｌ５４は、それぞれ、特徴抽出装置１００が入力画像Ｉ１４から抽出した３つのピーク画素の輝度を表わし、円の半径が大きいほど輝度が高いことを表わす。
【０２６６】
また、撮像装置８１０は、入力画像Ｉ１４より前に３枚の画像を撮影しているとする。３枚の画像のうち一番古い画像を入力画像Ｉ１１、二番目に古い画像を入力画像Ｉ１２、入力画像Ｉ１４の直前の画像を入力画像Ｉ１３と呼ぶ。特徴抽出装置１００は、入力画像Ｉ１１から３つのピーク画素Ｐ１１，Ｐ３１，Ｐ５１を抽出し、入力画像Ｉ１２から３つのピーク画素Ｐ１２，Ｐ３２，Ｐ５２を抽出し、入力画像Ｉ１３から３つのピーク画素Ｐ１３，Ｐ３３，Ｐ５３を抽出したとする。輝点領域Ａ１１〜Ａ１３，Ａ３１〜Ａ３３，Ａ５１〜Ａ５３及び輝度Ｌ１１〜Ｌ１３，Ｌ３１〜Ｌ３３，Ｌ５１〜Ｌ５３は、それぞれ、同じ番号のピーク画素の輝点領域及び輝度を表わす。
【０２６７】
追尾装置２００は、ここまでの４枚の入力画像Ｉ１１〜Ｉ１４について相関処理を行い、３つの航跡Ｔ１０，Ｔ３０，Ｔ５０を生成する。追尾装置２００は、特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさに基づいて、入力画像Ｉ１１におけるピーク画素Ｐ１１、入力画像Ｉ１２におけるピーク画素Ｐ１２、入力画像Ｉ１３におけるピーク画素Ｐ１３、入力画像Ｉ１４におけるピーク画素Ｐ１４の４つのピーク画素に写っている目標が同じであると判定し、その目標の航跡Ｔ１０を生成する。同様に、追尾装置２００は、４つのピーク画素Ｐ３１〜Ｐ３４に対して航跡Ｔ３０を、４つのピーク画素Ｐ５１〜Ｐ５４に対して航跡Ｔ５０を生成する。
【０２６８】
撮像装置８１０は、その後、次の入力画像Ｉ１５を撮影する。
【０２６９】
特徴予測部２３０は、航跡Ｔ１０と、航跡Ｔ１０に属する４つのピーク画素Ｐ１１〜Ｐ１４の位置・輝度・輝点領域の大きさとに基づいて、ＣＰＵ９１１を用いて、入力画像Ｉ１５において航跡Ｔ１０の目標が写るピーク画素ｐ１５の位置・輝度ｌ１５・輝点領域ａ１５の大きさを予測する。同様に、特徴予測部２３０は、ＣＰＵ９１１を用いて、入力画像Ｉ１５において航跡Ｔ３０の目標が写るピーク画素ｐ３５の位置・輝度ｌ３５・輝点領域ａ３５の大きさを予測し、入力画像Ｉ１５において航跡Ｔ５０の目標が写るピーク画素ｐ５５の位置・輝度ｌ５５・輝点領域ａ５５の大きさを予測する。
【０２７０】
図３２は、この実施の形態における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図である。
特徴抽出装置１００は、入力画像Ｉ１５から３つのピーク画素Ｐ１５，Ｐ３５，Ｐ５５を抽出したとする。
【０２７１】
相関処理部２４０は、特徴抽出装置１００が入力画像Ｉ１５から抽出したピーク画素Ｐ１５，Ｐ３５，Ｐ５５の位置・輝度Ｌ１５，Ｌ３５，Ｌ５５・輝点領域Ａ１５、Ａ３５，Ａ５５の大きさと、特徴予測部２３０が予測したピーク画素の位置・輝度・輝点領域の大きさとに基づいて、ＣＰＵ９１１を用いて、相関処理を行う。相関処理部２４０は、ＣＰＵ９１１を用いて、航跡Ｔ１０にピーク画素Ｐ１５が、航跡Ｔ３０にピーク画素Ｐ３５が、航跡Ｔ５０にピーク画素Ｐ５５が、それぞれ属すると判定する。
【０２７２】
この例に示したように、ピーク画素の位置・輝度・輝点領域の大きさは、目標の移動に伴って変化する。撮像装置８１０が画像を撮影する間隔が十分短ければ、連続した二枚の画像の間で、目標の移動方向や移動速度はほとんど変わらないので、特徴抽出装置１００が抽出するピーク画素の位置は、特徴予測部２３０が予測したピーク画素の位置の近くになる。また、目標の輝度は、目標の大きさ・反射率・撮像装置８１０と目標との間の距離などによって定まるので、連続した二枚の画像の間で、目標の輝度の変化率はほとんど変わらない。したがって、特徴抽出装置１００が抽出するピーク画素の輝度は、特徴予測部２３０が予測したピーク画素の輝度に近い値になる。更に、輝点領域の大きさは、目標の輝度や近くにある他の目標との位置関係によって定まるので、連続した二枚の画像の間で、目標の輝度の変化率はほとんど変わらない。したがって、特徴抽出装置１００が抽出するピーク画素の輝度は、特徴予測部２３０が予測したピーク画素の輝度に近い値になる。
そこで、相関処理部２４０は、実測値と予測値とを比較することにより、ピーク画素に写っている目標を同定し、相関処理をする。
【０２７３】
ピーク画素の位置だけを使って相関処理をする場合と比べると、比較的近い位置にピーク画素がある場合でも、輝度や輝点領域の大きさによりピーク画素に写っている目標を区別できるので、相関処理の精度が向上する。
【０２７４】
図３３は、この実施の形態における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図である。
撮像装置８１０は、入力画像Ｉ１７を撮影する。
特徴抽出装置１００は、入力画像Ｉ１７から３つのピーク画素Ｐ１７，Ｐ３７，Ｐ５７を抽出する。
相関処理部２４０は、ＣＰＵ９１１を用いて、航跡Ｔ１０にピーク画素Ｐ１７が、航跡Ｔ３０にピーク画素Ｐ３７が、航跡Ｔ５０にピーク画素Ｐ５７が、それぞれ属すると判定する。
【０２７５】
ここで、航跡Ｔ５０に属するピーク画素は、輝度及び輝点領域の大きさが徐々に減少している。これは、目標が撮像装置８１０から遠ざかっているためであると考えられる。
また、航跡Ｔ３０に属するピーク画素は、輝度があまり変わらないのに対して、輝点領域の大きさだけが急に減少している。すぐ近くに航跡Ｔ１０に属するピーク画素が存在することを合わせて考えると、航跡Ｔ３０の目標は、航跡Ｔ１０の目標に重複しかかっていると考えられる。
【０２７６】
撮像装置８１０は、次の入力画像Ｉ１８を撮影する。
【０２７７】
特徴予測部２３０は、ＣＰＵ９１１を用いて、入力画像Ｉ１８において航跡Ｔ１０〜Ｔ５０の目標が写るピーク画素の位置・輝度・輝点領域の大きさを予測する。航跡Ｔ３０に属するピーク画素は、輝点領域の大きさが急に減少しているので、特徴予測部２３０は、画像Ｉ１８において航跡Ｔ３０の目標が写るピーク画素の輝点領域ｌ３８の大きさが０以下であると予測する。予測した輝度や輝点領域の大きさが０以下であるということは、その目標が写ったピーク画素が検出されないと予測したことを意味する。これに対し、航跡Ｔ５０に属するピーク画素は、輝度及び輝点領域の大きさが徐々に減少しているので、特徴予測部２３０は、画像Ｉ１８において航跡Ｔ５０の目標が写るピーク画素の輝点領域ｌ３８の大きさが０より大きいと予測する。
【０２７８】
消失予測部２６０は、航跡Ｔ３０について特徴予測部２３０が予測したピーク画素の輝点領域の大きさが０以下なので、ＣＰＵ９１１を用いて、入力画像Ｉ１７において航跡Ｔ３０に属するピーク画素Ｐ３７を消失候補画素と判定する。これに対し、消失予測部２６０は、ＣＰＵ９１１を用いて、入力画像Ｉ１７において航跡Ｔ１０に属するピーク画素Ｐ１７および航跡Ｔ５０に属するピーク画素Ｐ５７を消失候補画素でないと判定する。
重複予測部２７０は、ＣＰＵ９１１を用いて、入力画像Ｉ１７における消失候補画素Ｐ３７の近傍に位置するピーク画素Ｐ１７を重複候補画素と判定する。
【０２７９】
図３４は、この実施の形態における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図である。
特徴抽出装置１００は、入力画像Ｉ１８から２つのピーク画素Ｐ１８，Ｐ５８を抽出する。
【０２８０】
相関処理部２４０は、消失予測部２６０が消失候補画素でないと判定したピーク画素が属する航跡を優先して相関処理をする。相関処理部２４０は、ＣＰＵ９１１を用いて、入力画像Ｉ１７における消失候補画素Ｐ３７が属する航跡Ｔ３０ではなく、入力画像Ｉ１７において消失候補画素でないピーク画素Ｐ１７が属する航跡Ｔ１０に、ピーク画素Ｐ１８が属すると判定する。
相関処理部２４０は、その後、消失候補画素Ｐ３７が属する航跡Ｔ３０についても相関処理をするが、所属する航跡が決まっていないピーク画素が残っていないので、ＣＰＵ９１１を用いて、航跡Ｔ３０の目標が入力画像Ｉ１８に写っていないと判定する。
相関処理部２４０は、入力画像Ｉ１７において消失候補画素Ｐ３７に対応する重複候補画素Ｐ１７が存在するので、ＣＰＵ９１１を用いて、消失候補画素Ｐ３７が属する航跡Ｔ３０の目標が、重複候補画素Ｐ１８が属する航跡Ｔ１０の目標に重複して隠れていると判定する。相関処理部２４０は、航跡Ｔ３０の目標が航跡Ｔ１０の目標の陰から出てきた場合に備えて、航跡Ｔ３０の目標について追尾を終了せず、一時的に追尾を中止する。
【０２８１】
図３５は、この実施の形態における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図である。
撮像装置８１０は、次の入力画像Ｉ１９を撮影する。
特徴抽出装置１００は、入力画像Ｉ１９から１つのピーク画素Ｐ１９を抽出する。
【０２８２】
相関処理部２４０は、ＣＰＵ９１１を用いて、航跡Ｔ１０にピーク画素Ｐ１９が属すると判定する。相関処理部２４０は、ＣＰＵ９１１を用いて、航跡Ｔ５０の目標が入力画像Ｉ１９に写っていないと判定する。
相関処理部２４０は、入力画像Ｉ１８において航跡Ｔ５０に属するピーク画素Ｐ５９が消失候補画素でないので、ＣＰＵ９１１を用いて、航跡Ｔ５０の目標について追尾を継続する。
【０２８３】
特徴予測部２３０は、航跡Ｔ５０の目標についての追尾を継続しているので、次の画像において航跡Ｔ５０の目標が写るピーク画素の位置・輝度・輝点領域の大きさを予測する。
特徴予測部２３０が予測したピーク画素の輝点領域の大きさが０以下になれば、航跡Ｔ５０に属するピーク画素が消失候補画素であると消失予測部２６０が判定するので、対応するピーク画素が検出されなければ、相関処理部２４０は、航跡Ｔ５０の目標についての追尾を終了あるいは中止する。
これに対し、特徴予測部２３０が予測したピーク画素の輝点領域の大きさが０より大きければ、航跡Ｔ５０に属するピーク画素が消失候補画素でないと消失予測部２６０が判定するので、対応するピーク画素が検出されなくても、相関処理部２４０は、航跡Ｔ５０の目標についての追尾を継続する。
【０２８４】
このように、追尾装置２００は、航跡に属するピーク画素の輝点領域の大きさを予測し、その航跡に属するピーク画素が検出されなかった場合、予測した結果に基づいて、航跡の目標についての追尾を継続するか否かを判定する。
他の目標に重複して陰に隠れる目標は、輝点領域の大きさが急に減少する傾向にある。このため、特徴予測部２３０が予測した輝点領域の大きさが所定の値以下である場合に、追尾を継続しないことにより、他の目標に重複して陰に隠れた目標の追尾を速やかに中止することができる。
ピーク画素の数が多い場合、追尾している目標の数が多いと、相関処理の負荷が非常に大きくなる。他の目標に重複して陰に隠れた目標の追尾を速やかに中止することにより、相関処理の負荷を減らすことができる。
【０２８５】
また、ある航跡の目標が、他の航跡の目標に重複して陰に隠れるということは、当然のことながら、近くの他の航跡の目標が写っているはずである。相関処理部２４０は、消失候補画素の近くに重複候補画素があるか否かに基づいて、その目標が他の目標に重複して陰に隠れたのか否かを判定する。その目標が他の目標に重複して陰に隠れたと判定した場合、相関処理部２４０は、その航跡の目標の追尾を一時的に中止することにより、その目標が他の目標から離れて出てくる場合に備える。
【０２８６】
図３６は、この実施の形態における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図である。
撮像装置８１０は、入力画像Ｉ２５を撮影する。
特徴抽出装置１００は、入力画像Ｉ２５から２つのピーク画素Ｐ２５，Ｐ４５を抽出する。
【０２８７】
出現判定部２８０は、ピーク画素Ｐ４５の輝点領域の大きさが所定の値以下なので、ＣＰＵ９１１を用いて、ピーク画素Ｐ４５が出現目標画素であると判定する。また、出現判定部２８０は、ピーク画素Ｐ４５の輝点領域の大きさが所定の値より大きいので、ピーク画素Ｐ２５が出現目標画素でないと判定する。分離判定部２９０は、入力画像Ｉ２５において出現目標画素Ｐ４５の近くに位置するピーク画素Ｐ２５を、分離目標画素であると判定する。
【０２８８】
相関処理部２４０は、出現判定部２８０が出現目標画素でないと判定したピーク画素を優先して、相関処理をする。相関処理部２４０は、ＣＰＵ９１１を用いて、入力画像Ｉ２５において出現目標画素でないピーク画素Ｐ２５が、航跡Ｔ１０に属すると判定する。
【０２８９】
所属する航跡が決まっていないピーク画素Ｐ４５が出現目標画素なので、相関処理部２４０は、ＣＰＵ９１１を用いて、出現目標画素Ｐ４５に新たに出現した目標が写っていると判定する。
出現目標画素Ｐ４５に対応する分離目標画素Ｐ２５が存在するので、相関処理部２４０は、ＣＰＵ９１１を用いて、分離目標画素Ｐ２５が属する航跡Ｔ１０に、他の目標が重複しているか否かを判定する。入力画像Ｉ１９において航跡Ｔ１０の目標に航跡Ｔ３０の目標が重複したと判定しているので、相関処理部２４０は、ＣＰＵ９１１を用いて、出現目標画素Ｐ４５が航跡Ｔ３０に属すると判定し、航跡Ｔ３０の目標についての追尾を再開する。
【０２９０】
他の目標に隠れていた目標が出てきた場合、最初は、輝点領域の大きさが小さく、その後、急激に増加する傾向にある。
そこで、追尾装置２００は、輝点領域の大きさが所定の値以下であるピーク画素を出現目標画素と判定し、出現目標画素の近くに分離目標画素がある場合に、分離目標画素が属する航跡に重複していた目標が出てきたと判定して、航跡を結合する。これにより、他の目標の陰に隠れて一時的に写らなくなった目標を正しく追尾することができる。
【０２９１】
しかし、他の目標の陰から出てきた目標が写っているピーク画素の輝点領域の大きさが最初から大きく、出現目標画素であると判定されない可能性もある。このような判定漏れは、出現目標画素を判定する閾値を大きくすることで対処可能であるが、閾値を大きくすると、出現目標画素でないピーク画素まで出現目標画素であると判定する可能性があるので好ましくない。
【０２９２】
そこで、出現目標画素を判定する閾値は、誤判定の可能性が無視できるほど小さい値（例えば１）に設定する。その代わり、その後、撮像装置８１０が撮影した画像が何枚か蓄積されたのち、蓄積された情報に基づいて、出現目標画素の判定をやり直すことにより、判定漏れをなくす。
【０２９３】
図３７は、この実施の形態における特徴抽出装置１００が抽出したピーク画素の位置・輝度・輝点領域の大きさの一例を表わす図である。
撮像装置８１０は、入力画像Ｉ２８を撮影する。
特徴抽出装置１００は、入力画像Ｉ２８から２つのピーク画素Ｐ２８，Ｐ４８を抽出する。
【０２９４】
図３６に示した入力画像Ｉ２５において、特徴抽出装置１００が抽出したピーク画素Ｐ４５の輝点領域の大きさが、出現目標画素を判定する閾値より大きかったとする。相関処理部２４０は、暫定的に、ＣＰＵ９１１を用いて、ピーク画素Ｐ４５に写っている目標が新しい目標であるものとして追尾を開始し、新しい航跡Ｔ７０を生成する。
【０２９５】
相関処理部２４０は、入力画像Ｉ２８において、ピーク画素Ｐ２８が航跡Ｔ１０に属すると判定し、ピーク画素Ｐ４８が航跡Ｔ７０に属すると判定する。
【０２９６】
出現判定部２８０は、航跡Ｔ７０について、ＣＰＵ９１１を用いて、航跡Ｔ７０に属する最初のピーク画素Ｐ４５が抽出された入力画像Ｉ２５より一つ前の入力画像Ｉ２４について、航跡Ｔ７０の目標が写ったであろうピーク画素ｐ４４の位置・輝度ｌ４４・輝点領域の大きさを予測する。予測した輝点領域の大きさが０以下なので、出現判定部２８０は、入力画像Ｉ２５におけるピーク画素Ｐ４５が出現目標画素であると判定する。
【０２９７】
この判定結果に基づいて、相関処理部２４０は、ＣＰＵ９１１を用いて、出現目標画素Ｐ４５が航跡Ｔ３０に属すると判定する。相関処理部２４０は、ＣＰＵ９１１を用いて、航跡Ｔ７０と航跡Ｔ３０とを結合して一つの航跡とする。
【０２９８】
なお、この例では、新航跡Ｔ７０の最初のピーク画素Ｐ４５について、出現判定部２８０が出現目標画素であるか否かを判定する構成について説明したが、出現判定部２８０が出現目標画素であるか否かを判定する対象とするピーク画素は、新航跡の最初のピーク画素に限る必要はない。例えば、最新の画像から所定の枚数前の画像について、その画像から抽出されたピーク画素すべてを対象とし、出現判定部２８０が出現目標画素であるか否かを判定する構成としてもよい。
【０２９９】
この実施の形態における目標追尾装置（目標追尾システム８５０）は、複数の画素により構成される一連の入力画像について、目標に対応する輝点領域を追尾する。
目標追尾装置は、特徴抽出装置１００と、データを処理する処理装置（ＣＰＵ９１１）と、相関処理部２４０とを有する。
上記特徴抽出装置１００は、一連の入力画像の各入力画像について、上記入力画像を対象画像として、特徴情報を算出する。
上記相関処理部２４０は、上記処理装置を用いて、上記一連の入力画像の少なくともいずれかの入力画像を第一相関処理画像とし、上記一連の入力画像のうち上記第一相関処理画像より後の入力画像の少なくともいずれかの入力画像を第二相関処理画像とし、上記第一相関処理画像について上記特徴抽出装置が抽出した一以上の輝点領域のうち少なくともいずれかを第一目標領域（第一ピーク画素の輝点領域）とし、上記第二相関処理画像について上記特徴抽出装置が抽出した一以上の輝点領域のうち少なくともいずれかを第二目標領域（第二ピーク画素の輝点領域）とし、上記特徴抽出装置が算出した特徴情報に基づいて、上記第二目標領域それぞれについて、上記第一目標領域に対応する目標のなかから、上記第二目標領域に対応する目標と一致する目標を判定する。
【０３００】
この実施の形態における目標追尾装置によれば、相関処理部２４０がピーク画素の位置だけでなく、ピーク画素の輝度や輝点領域の大きさを含む特徴情報に基づいて、一致する目標を判定するので、多くの目標が密集している状況でも、相関処理の精度を高くすることができる。
【０３０１】
この実施の形態における目標追尾装置において、上記相関処理部２４０は、上記処理装置を用いて、上記第一目標領域及び上記第二目標領域の大きさに基づいて、上記第二目標領域それぞれについて、上記第一目標領域に対応する目標のなかから、上記第二目標領域に対応する目標と一致する目標を判定する。
【０３０２】
この実施の形態における目標追尾装置によれば、相関処理部２４０が、特徴情報のなかでも特に輝点領域の大きさに基づいて、一致する目標を判定するので、相関処理の精度を高くすることができる。
【０３０３】
この実施の形態における目標追尾装置は、更に、消失予測部２６０を有する。
上記消失予測部２６０は、上記処理装置を用いて、上記第一目標領域それぞれについて、上記第一目標領域に対応する目標に対応する輝点領域が、上記第二相関処理画像に現れるか否かを予測し、上記目標に対応する輝点領域が現れないと予測した第一目標領域を消失候補領域（消失候補画素の輝点領域）とする。
上記相関処理部２４０は、上記処理装置を用いて、上記第二目標領域それぞれについて、上記第一目標領域のうち上記消失予測部２６０が判定した消失候補領域以外の第一目標領域に対応する目標のなかから、上記第二目標領域に対応する目標と一致する目標を判定する。
【０３０４】
この実施の形態における目標追尾装置によれば、消失予測部２６０が消失候補領域を判定し、相関処理部２４０が消失候補領域以外の輝点領域について一致する目標を判定するので、相関処理の負荷を減らし、処理速度を向上させることができる。
【０３０５】
この実施の形態における目標追尾装置において、上記消失予測部２６０は、上記処理装置を用いて、上記第一目標領域の大きさが所定の大きさ以下である場合に、上記第一目標領域を消失候補領域と判定する。
【０３０６】
この実施の形態における目標追尾装置によれば、輝点領域の大きさが所定の大きさ以下である場合に、消失予測部２６０が消失候補領域を判定するので、他の目標との重複などによる消失候補領域を容易に判定することができる。
【０３０７】
この実施の形態における目標追尾装置は、更に、輝点領域予測部（特徴予測部２３０）を有する。
上記輝点領域予測部は、上記処理装置を用いて、上記一連の入力画像のうち上記第二相関処理画像より前の入力画像について上記特徴抽出装置１００が算出した輝点領域に対応する目標について、上記第二相関処理画像において上記目標に対応する輝点領域の大きさを予測する。
上記消失予測部２６０は、上記処理装置を用いて、上記輝点領域予測部が予測した輝点領域の大きさが所定の大きさ以下である場合に、上記第一相関処理画像において上記目標に対応する第一目標領域を消失候補領域と判定する。
【０３０８】
この実施の形態における目標追尾装置によれば、輝点領域予測部が予測した輝点領域の大きさに基づいて、消失予測部２６０が消失候補領域を判定するので、更に正確に消失候補画素を判定することができる。
【０３０９】
この実施の形態における目標追尾装置は、更に、重複予測部２７０を有する。
上記重複予測部２７０は、上記処理装置を用いて、上記第一目標領域のうち、上記消失予測部２６０が消失候補領域と判定した第一目標領域の近傍に位置する第一目標領域を、重複候補領域（重複候補画素の輝点領域）と判定する。
上記相関処理部２４０は、上記処理装置を用いて、上記第二相関処理画像において、上記重複予測部２７０が判定した重複候補領域に対応する目標に、上記消失候補領域に対応する目標が重複して隠れていると判定する。
【０３１０】
この実施の形態における目標追尾装置によれば、目標が他の目標に重複したことにより検出されなかった場合に、その原因を特定することができるので、その情報を用いることにより、更に正確な追尾をすることができる。
【０３１１】
この実施の形態における目標追尾装置は、更に、出現判定部２８０を有する。
上記出現判定部２８０は、上記処理装置を用いて、上記第二目標領域それぞれについて、上記第一目標領域に対応する目標のなかに、上記第二目標領域に対応する目標と一致する目標があるか否かを判定し、一致する目標がないと判定した第二目標領域を出現目標領域（出現目標画素の輝点領域）とする。
上記相関処理部２４０は、上記処理装置を用いて、上記第二目標領域のうち上記出現判定部２８０が判定した出現目標領域以外の第二目標領域それぞれについて、上記第一目標領域に対応する目標のなかから、上記第二目標領域に対応する目標と一致する目標を判定する。
【０３１２】
この実施の形態における目標追尾装置によれば、出現判定部２８０が出現目標領域を判定し、相関処理部２４０が出現目標領域以外の輝点領域について一致する目標を判定するので、相関処理の負荷を減らし、処理速度を向上させることができる。
【０３１３】
この実施の形態における目標追尾装置は、更に、分離判定部２９０を有する。
上記分離判定部２９０は、上記処理装置を用いて、上記第二目標領域のうち、上記出現判定部２８０が出現目標領域と判定した第二目標領域の近傍に位置する第二目標領域を分離目標領域（分離目標画素の輝点領域）と判定する。
上記相関処理部２４０は、上記処理装置を用いて、上記第二相関処理画像において上記出現判定部２８０が判定した出現目標領域に対応する目標が、上記第一相関処理画像において、上記分離判定部２９０が判定した分離目標領域に対応する目標に重複して隠れていたと判定する。
【０３１４】
この実施の形態における目標追尾装置によれば、他の目標に重複して隠れていた目標が検出された場合に、その原因を特定することができるので、その情報を用いることにより、更に正確な追尾をすることができる。
【０３１５】
この実施の形態における目標追尾装置において、上記相関処理部２４０は、上記処理装置を用いて、上記一連の入力画像のうち上記第一相関処理画像より前の入力画像において、上記消失候補領域に対応する目標が重複して隠れていると判定した目標について、上記第二相関処理画像において、上記目標に対応する第二目標領域が、上記分離判定部が判定した分離目標領域と一致する場合に、上記出現目標領域に対応する目標が、上記消失候補領域に対応する目標と一致すると判定する。
【０３１６】
この実施の形態における目標追尾装置によれば、重複判定と分離判定とを組み合わせることにより、他の目標に重複して隠れた目標が他の目標から分離して再び現れた場合に、重複前の目標と分離後の目標とを同定することができるので、更に正確な追尾をすることができる。
【０３１７】
この実施の形態における目標追尾装置において、上記出現判定部２８０は、上記処理装置を用いて、上記第二目標領域の大きさが所定の大きさ以下である場合に、上記第二目標領域を出現目標領域と判定する。
【０３１８】
この実施の形態における目標追尾装置によれば、輝点領域の大きさが所定の大きさ以下である場合に、出現判定部２８０が出現目標領域を判定するので、速やかに出現目標領域を判定することができる。
【０３１９】
この実施の形態における目標追尾装置において、上記出現判定部２８０は、上記処理装置を用いて、上記一連の入力画像のうち上記第一相関処理画像より後の入力画像について上記特徴抽出装置１００が算出した輝点領域に対応する目標について、上記第一相関処理画像において上記目標に対応する輝点領域の大きさを予測し、予測した輝点領域の大きさが所定の大きさ以下である場合に、上記第二相関処理画像において上記目標に対応する第二目標領域を出現目標領域と判定する。
【０３２０】
この実施の形態における目標追尾装置によれば、出現判定部２８０が予測した輝点領域の大きさに基づいて、出現目標領域を判定するので、更に正確に出現目標領域を判定することができる。
【０３２１】
この実施の形態における目標追尾装置は、コンピュータプログラムをコンピュータが実行することにより、実現することができる。
この実施の形態における目標追尾装置としてコンピュータを機能させるコンピュータプログラムによれば、相関処理部２４０がピーク画素の位置だけでなく、ピーク画素の輝度や輝点領域の大きさを含む特徴情報に基づいて、一致する目標を判定するので、多くの目標が密集している状況でも、相関処理の精度が高い目標追尾装置を実現することできる。
【０３２２】
この実施の形態における目標追尾装置が、複数の画素により構成される一連の入力画像について、目標が写っている画素を追尾する目標追尾方法は、以下の工程を有する。
上記処理装置が、上記一連の入力画像のいずれかを第一相関処理画像とし、上記一連の入力画像のうち上記第一相関処理画像より後の入力画像のいずれかを第二相関処理画像とする。
上記処理装置が、上記複数の画素それぞれの輝度に基づいて、上記第一相関処理画像及び上記第二相関処理画像それぞれを構成する複数の画素のなかから、隣接する画素よりも輝度が高い画素を抽出して、ピーク画素とする。
上記処理装置が、抽出したピーク画素を含む一以上の画素を、輝点領域とする。
上記処理装置が、上記輝点領域に基づいて、上記第一相関処理画像及び上記第二相関処置画像それぞれを構成する複数の画素のなかから、上記輝点領域に含まれる画素に隣接する画素であって上記輝点領域に含まれない画素を抽出して、周辺画素とする。
上記処理装置が、上記複数の画素それぞれの輝度に基づいて、抽出した周辺画素の輝度と、上記輝点領域に含まれる画素の輝度とを比較する。
上記処理装置が、上記周辺画素の輝度が上記輝点領域に含まれる画素の輝度よりも低いと判定した場合に、抽出した周辺画素を上記輝点領域に追加する。
上記処理装置が、上記輝点領域を、上記第一相関処理画像及び上記第二相関処理画像それぞれについての特徴情報とする。
上記処理装置が、上記第一相関処理画像について抽出したピーク画素を第一ピーク画素とし、上記第二相関処理画像について抽出したピーク画素を第二ピーク画素とし、算出した特徴情報に基づいて、上記第二ピーク画素について、上記第一ピーク画素に写っている目標のなかから、上記第二ピーク画素に写っている目標と一致する目標を判定する。
【０３２３】
この実施の形態における目標追尾方法によれば、ピーク画素の位置だけでなく、ピーク画素の輝度や輝点領域の大きさを含む特徴情報に基づいて、一致する目標を判定するので、多くの目標が密集している状況でも、相関処理の精度を高くすることができる。
【０３２４】
目標が近接して多数存在する高密度環境においては、目標同士が重複し、重複後に分離するなどの現象により、センサ上での輝点の消失や出現といった現象が頻発することとなり、追尾の終了判定や開始判定が適切に行うことが難しく、近接目標間で追尾航跡の乗り移りが発生しやすい。
以上説明した目標追尾装置は、目標輝点の面積情報と輝度値情報とを追尾パラメータとして新たに付加することで、追尾の終了判定と開始判定を実施することにより、追尾の乗り移りの抑制を行い、また、追尾維持の性能も向上する。
【０３２５】
図３８は、この実施の形態における特徴抽出装置１００が抽出したピーク画素の輝度及び輝点領域の大きさの変化の典型例を表わす図である。
目標輝点の面積情報（輝点領域の大きさ）や輝度値情報（輝度）は、特徴抽出装置１００が抽出する。横軸は時刻、実線６８１はピーク画素の輝度、破線６８２はピーク画素の輝点領域の大きさを表わす。
通常時において、輝度および輝点領域の大きさは、ゆるやかに変化する。
目標が他の目標に重複し始めると、輝度の変化は通常時と変わらず、輝点領域の大きさだけが小さくなる。
目標が他の目標に完全に重複すると、輝点が観測されなくなる。これは、重複期間６８３が終わるまで続く。
目標が他の目標の陰から出てくると、輝度は不連続に回復するが、輝点領域の大きさは連続して増加する。
目標が他の目標から完全に分離すると、通常時に戻る。
【０３２６】
特徴抽出装置１００が用いる輝点特徴量抽出方式によれば、消失目標は消失直前に面積量が減少することから、消失判定に使用することができる。また、同じく出現目標は出現直後に面積量が増加することから、出現目標（新目標）判定に使用することができる。
【０３２７】
以上説明した目標追尾方式は、特徴抽出装置１００の輝点特徴量抽出方式を消失目標判定、及び出現目標判定に使用する。
消失予測部２６０は、消失輝点の判定において、輝点面積が複数フレーム間で連続して減少する輝点は、消失候補輝点（消失候補画素）として、消失判定準備を実施する構成としてもよい。
消失予測部２６０は、消失候補輝点の面積量が１から０になった時点で、目標輝点が消失したと判定し、追尾処理を終了する構成としてもよい。
消失予測部２６０は、輝点面積が複数フレーム間で連続して減少する輝点において、輝点の輝度値も同時に減少する場合は、重複現象によるものではなく、観測点から遠ざかる目標であると判断し、消失判定準備を実施せず、重複輝点との判別を実施する構成としてもよい。
消失予測部２６０は、面積量が１から０になって目標輝点が消失せず、面積量１以外の大きさで目標輝点が消失する輝点は、重複現象によるものではなく、閾値処理時の設定閾値の上昇による影響と判断し、消失輝点の周辺領域のみ閾値を低下させ、再閾値処理を実施することで、輝度値の低い輝点を再抽出する構成としてもよい。
【０３２８】
重複予測部２７０は、消失判定準備において、面積減少輝点（消失候補画素）の近傍に存在する輝点が、面積減少輝点と重複する可能性の高い輝点と断定し、消失対象輝点（重複候補画素）と設定する構成としてもよい。
【０３２９】
出現判定部２８０は、出現目標の判定において、輝点面積量が１として新たに出現した輝点は、出現輝点とし、新目標判定を実施する構成としてもよい。
【０３３０】
相関処理部２４０は、消失対象輝点の近傍より出現輝点が出現した場合は、設定された消失候補輝点の消失前輝度値と、出現輝点の輝度値を比較することにより、同一目標であるかの判定を実施する構成としてもよい。
相関処理部２４０は、同一目標の判定において、設定された消失候補輝点が消失する直前の位置と、設定された消失対象輝点の位置との距離を算出し、出現輝点の位置と、設定された消失対象輝点の位置との距離との比較によって、同一目標であるかの判定を実施する構成としてもよい。
相関処理部２４０は、消失輝点の判定により追尾処理を終了した消失輝点について、メモリトラック処理を継続し、数フレーム後に、設定された消失対象輝点の近傍より、設定される出現目標が出現し、同一目標であるとの判定が得られた場合に、設定された消失候補輝点の追尾航跡と、出現輝点の航跡の間に、メモリトラック処理による航跡を連結することで、連続した航跡を作成する構成としてもよい。
相関処理部２４０は、設定された消失候補輝点の追尾航跡と、出現輝点の航跡の間を補間する航跡として、消失対象輝点の航跡を使用し、航跡を連結することで、連続した航跡を作成する構成としてもよい。
【０３３１】
以上説明した目標追尾システム８５０は、例えばＳＡＲ（合成開口レーダ）・ＩＳＡＲ（逆合成開口レーダ）・赤外線センサ・光学センサ・レーダ画像などによって取得される画像を処理する。目標追尾システム８５０は、特に、航空機・飛翔体・船舶・車両といったフレーム間で移動する近接複数目標が高密度に存在する場合や、目標が単体の場合であっても目標内からの反射輝点が複数存在する場合に、高い効果を発揮する。
目標追尾システム８５０は、個々の目標を輝点データとして取得する際に、特徴抽出装置１００の輝点特徴量抽出方式を使用して個々の目標から輝点の面積・輝度値を特徴量として抽出する。目標追尾システム８５０は、抽出した面積・輝度値を新たに追尾の終了・開始判定、及び追尾維持に使用して、追尾をする。
【０３３２】
目標追尾システム８５０は、このような高密度環境においても、近接目標を区別してて認識することができ、確実に輝点を抽出することができる。目標追尾システム８５０は、目標がフレーム間で接近・離反、重複・分離といった運動をする場合に、それらの特徴量を含んだ輝点情報の抽出方法を実施し、面積の減少・増加といった変化量より、追尾の終了判定、及び開始判定をすることで、複数目標間で追尾の乗り移りを抑制することで、正確な追尾航跡を作成することができる。また、目標が重複している前後の航跡を正確に連結することで、追尾航跡を正確に延長することができる。
【０３３３】
以上説明した目標追尾システム８５０による追尾方式は、高密度近接複数目標環境下において、特徴抽出装置１００の目標輝点の特徴量抽出方法によって抽出された輝点面積・輝点輝度値を、追尾の終了判定、及び開始判定に使用することで、複数の目標が重複・分離する際の追尾の乗り移りを抑制することができる。すなわち、複数の輝点が重複する際に、輝点面積量が減少する場合は追尾を終了し、また、重複した輝点が分離する際に、輝点面積量が増加する場合は、新目標として追尾を開始することができる。
また、複数の目標輝点が重複する際、輝点面積量によって重複したと判定された目標輝点が、数フレーム後に輝点面積量の開始判定によって新目標と判定された場合、輝点輝度値の同等性によって同一輝点判定を実施することで、重複前の目標輝点と新目標が同一目標であることの判定が可能となり、また、重複前の目標輝点の追尾航跡と、新目標の追尾航跡を統合することで、目標の航跡を伸延することができる。
【０３３４】
輝点特徴量抽出処理部（特徴抽出装置１００）は、入力された画像に対し、輝点の面積量（輝点領域の大きさ）を抽出する。
ゲート内判定処理部（相関処理部２４０）は、輝点特徴量抽出処理部が抽出した輝点（ピーク画素）と、前フレームにおいて予測処理部（特徴予測部２３０）が予測した予測結果と、前フレームにおいて消失・出現候補輝点判定部（消失予測部２６０・出現判定部２８０）が判定した消失輝点・出現輝点の判定結果と、前フレームにおいて追尾処理終了・開始判定部（相関処理部２４０）が判定した追尾終了若しくは追尾開始の判定結果とに基づいて、輝点のゲート内外判定を実施する。
相関処理部２４０は、ゲート内判定処理部が算出した輝点の相関処理を実施する。
平滑処理部（特徴予測部２３０）は、相関処理部２４０が算出した輝点の相関処理結果より平滑値を算出し、結果を出力する。
予測処理部（特徴予測部２３０）は、平滑処理部が算出した平滑値に基づいて、次フレームの予測値を算出する。
輝点面積量比較部（消失予測部２６０・出現判定部２８０）は、予測処理部（特徴予測部２３０）が算出した予測値に基づいて、現フレームの輝点の面積量と、次フレームでの輝点の面積量の比較を実施する。
消失・出現候補輝点判定部（消失予測部２６０・出現判定部２８０）は、輝点面積量比較部が比較したフレーム間の輝点面積量の変化量に基づいて、消失する輝点、若しくは出現する輝点の判定を実施する。
追尾処理終了・開始判定部（相関処理部２４０）は、消失候補輝点若しくは出現候補輝点が存在すると消失・出現候補輝点判定部が判定した場合、追尾処理の終了若しくは追尾処理の開始判定を実施する。追尾処理終了・開始判定部が判定した輝点の消失した目標の追尾を終了させることで、次フレーム以降、他の目標への追尾の乗り移りを抑制することが可能となる。また、追尾処理終了・開始判定部が判定した現フレームより出現した輝点に追尾開始処理を実施することで、より早期に新目標への追尾開始が可能となる。
【０３３５】
これにより、複数の目標輝点が近距離内で密集している近接複数目標の高密度環境下において、目標からの反射波や目標の熱量等が密集し、集約されて受信される場合でも、複数の目標輝点を区別し、実際の目標数の輝点を表示することができる。また、単一の目標から複数の反射点を受信し、単一目標の形状を推定する場合のように、複数の反射点同士が近接している場合にも、単一目標本体の動きに連動して、反射輝点同士が接近・重複、分離・離反する現象が頻繁に発生するが、追尾航跡の乗り移りを抑制することができる。
【０３３６】
輝点特徴量抽出処理部は、入力された画像に対し、輝点の面積量を抽出する。
ゲート内判定処理部は、輝点特徴量抽出処理部が抽出した輝点と、前フレームにおいて予測処理部が予測した予測結果と、前フレームにおいて消失・出現候補輝点判定部が判定した消失輝点・出現輝点の判定結果と、前フレームにおいて追尾処理終了・開始判定部が判定した追尾終了若しくは追尾開始の判定結果とに基づいて、輝点のゲート内外判定を実施する。
相関処理部２４０は、ゲート内判定処理部が算出した輝点の相関処理を実施する。
平滑処理部は、相関処理部２４０が算出した輝点の相関処理結果より平滑値を算出し、結果を出力する。
予測処理部は、平滑処理部が算出した平滑値に基づいて、次フレームの予測値を算出する。
輝点面積量比較部は、予測処理部が算出した予測値に基づいて、現フレームの輝点の面積量と、次フレームでの輝点の面積量の比較を実施する。
消失・出現候補輝点判定部は、輝点面積量比較部が比較したフレーム間の輝点面積量の変化量に基づいて、消失する輝点若しくは出現する輝点の判定を実施する。
追尾処理終了・開始判定部は、消失候補輝点若しくは出現候補輝点が存在すると消失・出現候補輝点判定部が判定した場合、追尾処理の終了若しくは追尾処理の開始判定を実施する。
消失・出現候補輝点記録部（航跡記憶部２５０）は、消失・出現候補輝点判定部が消失候補輝点若しくは出現候補輝点と判定した輝点のパラメータと、追尾処理終了・開始判定部が追尾処理の終了若しくは追尾処理の開始をした輝点のパラメータとを記録する。
消失・出現対象輝点探索部（相関処理部２４０）は、消失候補輝点若しくは出現候補輝点が存在すると消失・出現候補輝点判定部が判定した場合、その消失候補輝点の相手の輝点若しくは出現候補輝点の相手の輝点を探索する処理を実施する。
消失・出現対象輝点判定部は、消失・出現対象輝点探索部が探索した消失候補輝点の相手の輝点若しくは出現候補輝点の相手の輝点を特定する。
消失・出現対象輝点記録部（航跡記憶部２５０）は、消失・出現対象輝点判定部が特定した消失候補輝点の相手の輝点若しくは出現候補輝点の相手の輝点のパラメータを記録する。
消失・出現輝点同一目標判定部（相関処理部２４０）は、消失・出現候補輝点記録部が記録している消失輝点と出現輝点とを、消失・出現対象輝点記録部が記録している消失対象輝点と出現対象輝点とにおける同一目標であるかの判定を実施する。
追尾航跡連結処理部（相関処理部２４０）は、消失・出現輝点同一目標判定部が同一目標であると判定した消失輝点の消失前の追尾航跡と、出現輝点の出現後の追尾航跡の連結処理を実施する。
追尾航跡連結処理部が重複現象によって不連続になる目標の追尾航跡を連結することにより、より長距離の追尾航跡の作成が可能となる。
これにより、重複目標において、重複前の輝点と、分離後の輝点の相関を取ることができる。輝点面積量と輝点輝度値を使った同一目標判定処理による重複前輝点と分離後輝点の相関処理により、追尾航跡の統合を適切に実施し、追尾航跡の伸延が可能となる。
【符号の説明】
【０３３７】
１００  特徴抽出装置、１１１  画像入力部、１１２  輝度記憶部、１２１  ピーク抽出部、１２２  ピーク記憶部、１３１  輝点領域記憶部、１３２  周辺画素抽出部、１３３  輝度比較部、１３４  輝点領域拡大部、１４１  特徴画像生成部、１４２  特徴出力部、２００  追尾装置、２１０  特徴取得部、２２０  特徴記憶部、２３０  特徴予測部、２４０  相関処理部、２５０  航跡記憶部、２６０  消失予測部、２７０  重複予測部、２８０  出現判定部、２９０  分離判定部、６００  対象画像、６１１  ピーク画素、６２０  輝点領域、６２１〜６２８  輝点画素、６３０  周辺領域、６３１〜６４７  周辺画素、６５０  特徴画像、６８１  実線、６８２  破線、６８３  重複期間、８００  画像特徴抽出システム、８１０  撮像装置、８２０  特徴表示装置、８５０  目標追尾システム、８６０  航跡表示装置、９０１  表示装置、９０２  キーボード、９０３  マウス、９０４  ＦＤＤ、９０５  ＣＤＤ、９０６  プリンタ装置、９０７  スキャナ装置、９１０  システムユニット、９１１  ＣＰＵ、９１２  バス、９１３  ＲＯＭ、９１４  ＲＡＭ、９１５  通信装置、９２０  磁気ディスク装置、９２１  ＯＳ、９２２  ウィンドウシステム、９２３  プログラム群、９２４  ファイル群、９３１  電話器、９３２  ファクシミリ機、９４０  インターネット、９４１  ゲートウェイ、９４２  ＬＡＮ、Ａ１１〜Ａ５８，ａ１５〜ａ６０  輝点領域、Ｉ１１〜Ｉ２８  入力画像、Ｌ１１〜Ｌ５８，ｌ１５〜ｌ６０  輝度、Ｐ１１〜Ｐ５８，ｐ１５〜ｐ６０  ピーク画素、Ｔ１０〜Ｔ７０  航跡。
【図１】
2010267239.tif 000004
【図２】
2010267239.tif 000005
【図３】
2010267239.tif 000006
【図４】
2010267239.tif 000007
【図５】
2010267239.tif 000008
【図６】
2010267239.tif 000009
【図７】
2010267239.tif 000010
【図８】
2010267239.tif 000011
【図９】
2010267239.tif 000012
【図１０】
2010267239.tif 000013
【図１１】
2010267239.tif 000014
【図１２】
2010267239.tif 000015
【図１４】
2010267239.tif 000016
【図１５】
2010267239.tif 000017
【図１６】
2010267239.tif 000018
【図１７】
2010267239.tif 000019
【図１８】
2010267239.tif 000020
【図１９】
2010267239.tif 000021
【図２０】
2010267239.tif 000022
【図２１】
2010267239.tif 000023
【図２２】
2010267239.tif 000024
【図２３】
2010267239.tif 000025
【図２４】
2010267239.tif 000026
【図２５】
2010267239.tif 000027
【図２６】
2010267239.tif 000028
【図２７】
2010267239.tif 000029
【図２８】
2010267239.tif 000030
【図２９】
2010267239.tif 000031
【図３０】
2010267239.tif 000032
【図３１】
2010267239.tif 000033
【図３２】
2010267239.tif 000034
【図３３】
2010267239.tif 000035
【図３４】
2010267239.tif 000036
【図３５】
2010267239.tif 000037
【図３６】
2010267239.tif 000038
【図３７】
2010267239.tif 000039
【図３８】
2010267239.tif 000040
【図１３】
2010267239.tif 000041