(57)【要約】【課題】目標を示すセグメントの選択確度を向上させることが可能な目標選択処理装置及び目標選択処理方法を提供する。【解決手段】瞬時特徴量算出部１０により単一の画像データに含まれる目標候補を示すセグメントの瞬時特徴量を算出し、時系列特徴量算出部２０により時系列的に隣接した複数の画像データに含まれる目標候補を示すセグメントの時系列特徴量を算出する。また、移動ベクトル算出部３０によりセグメントの移動ベクトルを算出し、算出した移動ベクトルに基づいて有効セグメントの判断を行う。そして、セグメント選択処理部５０で、瞬時特徴量及び時系列特徴量から算出されたセグメント特徴量に基づいて、有効セグメントから目標を示すセグメントを選択する。【選択図】      図１
2010277351.tif 000002
【特許請求の範囲】
【請求項１】
フレーム単位の複数の時系列画像データのうち、任意に指定される単一の画像データに含まれる複数の目標候補毎の瞬時特徴量を算出する第１の算出部と、
前記単一の画像データと、当該単一の画像データと時間的に隣接する画像データとの差分を取り、前記複数の目標候補毎の時系列特徴量を算出する第２の算出部と、
前記第１の算出部で算出された前記目標候補毎の瞬時特徴量と、前記第２の算出部で算出された前記目標候補毎の時系列特徴量とに基づいて、前記複数の目標候補それぞれの目標らしさを評価する評価部と、
前記単一の画像データと、当該単一の画像データと時間的に隣接する画像データとに基づいて、前記複数の目標候補毎の移動ベクトルを算出し、当該算出した複数の移動ベクトルに基づいて、前記複数の目標候補のうち有効な目標候補を判断する有効目標判断部と、
前記有効であると判断された目標候補のうち、前記評価部により目標らしいと評価された目標候補を目標として選択する選択部と
を具備することを特徴とする目標選択処理装置。
【請求項２】
前記評価部は、前記第１の算出部で算出された前記目標候補毎の瞬時特徴量と、前記第２の算出部で算出された前記目標候補毎の時系列特徴量とから前記目標候補毎の評価特徴量を算出し、前記複数の目標候補を前記評価特徴量の大きい順に順序付け、
前記選択部は、前記有効であると判断された目標候補のうち、前記順序が最も高い目標候補を目標として選択することを特徴とする請求項１記載の目標選択処理装置。
【請求項３】
前記算出した複数の移動ベクトルのうち過半数の移動ベクトルが同一である場合、
前記有効目標判断部は、前記算出した複数の移動ベクトルのうち、前記同一の移動ベクトル以外の移動ベクトルを有する目標候補を有効な目標候補と判断することを特徴とする請求項１記載の目標選択処理装置。
【請求項４】
前記第１の算出部は、前記単一の画像データに含まれる目標候補毎に各種計測値を取得して無次元化し、前記無次元化した各種計測値を予め設定した重み係数でそれぞれ重み付けして足し合わせることで前記複数の目標候補毎の瞬時特徴量を算出し、
前記第２の算出部は、前記単一の画像データに含まれる複数の目標候補と、当該複数の目標候補それぞれに対応し、前記単一の画像データと時間的に隣接する画像データに含まれる複数の目標候補との差分を取ることで、前記複数の目標候補毎に各種時系列計測値を取得し、前記取得した各種時系列計測値を無次元化して予め設定した重み係数でそれぞれ重み付けして足し合わせることで、前記複数の目標候補毎の時系列特徴量を算出することを特徴とする請求項１記載の目標選択処理装置。
【請求項５】
前記計測値は、前記目標候補のコントラスト、アスペクト比及び輝度値を含み、
前記時系列計測値は、前記目標候補のコントラスト変化量、セグメント位置変化量及び輝度値変化量を含むことを特徴とする請求項４記載の目標選択処理装置。
【請求項６】
フレーム単位の複数の時系列画像データのうち、任意に指定される単一の画像データに含まれる複数の目標候補毎の瞬時特徴量を算出し、
前記単一の画像データと、当該単一の画像データと時間的に隣接する画像データとの差分を取り、前記複数の目標候補毎の時系列特徴量を算出し、
前記目標候補毎の瞬時特徴量と、前記目標候補毎の時系列特徴量とに基づいて、前記複数の目標候補の目標らしさを評価し、
前記単一の画像データと、当該単一の画像データと時間的に隣接する画像データとに基づいて、前記複数の目標候補毎の移動ベクトルを算出し、
当該算出した複数の移動ベクトルに基づいて、前記複数の目標候補のうち有効な目標候補を判断し、
前記有効であると判断した目標候補のうち、前記評価により目標らしいと評価された目標候補を目標として選択することを特徴とする目標選択処理方法。
【請求項７】
前記目標らしさの評価は、前記目標候補毎の瞬時特徴量と、前記目標候補毎の時系列特徴量とから前記目標候補毎の評価特徴量を算出し、前記複数の目標候補を前記評価特徴量の大きい順位に順序付けることにより行い、
前記目標の選択は、前記有効であると判断された目標候補のうち、前記順序が最も高い目標候補を目標として選択することで行うことを特徴とする請求項６記載の目標選択処理方法。
【請求項８】
前記算出した複数の移動ベクトルのうち過半数の移動ベクトルが同一である場合、
前記算出した複数の移動ベクトルのうち、前記同一の移動ベクトル以外の移動ベクトルを有する目標候補を有効な目標候補と判断することを特徴とする請求項６記載の目標選択処理方法。
【請求項９】
前記単一の画像データに含まれる目標候補毎に各種計測値を取得して無次元化し、前記無次元化した各種計測値を予め設定した重み係数でそれぞれ重み付けして足し合わせることで、前記複数の目標候補毎の瞬時特徴量を算出し、
前記単一の画像データに含まれる複数の目標候補と、当該複数の目標候補それぞれに対応し、前記単一の画像データと時間的に隣接する画像データに含まれる複数の目標候補との差分を取ることで、前記複数の目標候補毎に各種時系列計測値を取得し、前記取得した各種時系列計測値を無次元化して予め設定した重み係数でそれぞれ重み付けして足し合わせることで、前記複数の目標候補毎の時系列特徴量を算出することを特徴とする請求項６記載の目標選択処理方法。
【請求項１０】
前記計測値は、前記目標候補のコントラスト、アスペクト比及び輝度値を含み、
前記時系列計測値は、前記目標候補のコントラスト変化量、セグメント位置変化量及び輝度値変化量を含むことを特徴とする請求項９記載の目標選択処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば航空機等の移動体から地面側を撮像した画像データから、目標を選択する目標選択処理装置及び目標選択処理方法に関する。
【背景技術】
【０００２】
現在、目標選択処理装置は、例えば航空機等の移動体に搭載され、空中から地面側を撮像した画像データに含まれる目標候補の中から追跡目標を選択する（例えば、特許文献１参照）。この種の目標選択処理装置は、フレーム単位で撮像された複数の時系列画像データを受け取り、単一の画像データに基づいて画像データ中の目標候補を示すセグメントの瞬時特徴量を算出し、時系列的に隣接する複数の画像データに基づいて画像データ中の目標候補を示すセグメントの時系列特徴量を算出する。そして、算出した瞬時特徴量及び時系列特徴量に基づいて、画像データに含まれる目標候補を示すセグメントのうち、より目標らしいセグメントを選択するようにしている。
【０００３】
しかしながら、従来の目標選択処理装置では、太陽の反射光等のクラッタを誤って目標として選択する場合があるという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２３３７２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上のように、従来の目標選択処理装置では、画像データのセグメントの瞬時特徴量及び時系列特徴量に基づいて目標を選択するため、太陽の反射光等のクラッタを誤って目標として選択するおそれがある。
【０００６】
この発明は上記事情によりなされたもので、その目的は、目標を示すセグメントの選択確度を向上させることが可能な目標選択処理装置及び目標選択処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る目標選択処理装置は、フレーム単位の複数の時系列画像データのうち、任意に指定される単一の画像データに含まれる複数の目標候補毎の瞬時特徴量を算出する第１の算出部と、前記単一の画像データと、当該単一の画像データと時間的に隣接する画像データとの差分を取り、前記複数の目標候補毎の時系列特徴量を算出する第２の算出部と、前記第１の算出部で算出された前記目標候補毎の瞬時特徴量と、前記第２の算出部で算出された前記目標候補毎の時系列特徴量とに基づいて、前記複数の目標候補それぞれの目標らしさを評価する評価部と、前記単一の画像データと、当該単一の画像データと時間的に隣接する画像データとに基づいて、前記複数の目標候補毎の移動ベクトルを算出し、当該算出した複数の移動ベクトルに基づいて、前記複数の目標候補のうち有効な目標候補を判断する有効目標判断部と、前記有効であると判断された目標候補のうち、前記評価部により目標らしいと評価された目標候補を目標として選択する選択部とを具備する。
【０００８】
また、本発明に係る目標選択処理方法は、フレーム単位の複数の時系列画像データのうち、任意に指定される単一の画像データに含まれる複数の目標候補毎の瞬時特徴量を算出し、前記単一の画像データと、当該単一の画像データと時間的に隣接する画像データとの差分を取り、前記複数の目標候補毎の時系列特徴量を算出し、前記目標候補毎の瞬時特徴量と、前記目標候補毎の時系列特徴量とに基づいて、前記複数の目標候補の目標らしさを評価し、前記単一の画像データと、当該単一の画像データと時間的に隣接する画像データとに基づいて、前記複数の目標候補毎の移動ベクトルを算出し、当該算出した複数の移動ベクトルに基づいて、前記複数の目標候補のうち有効な目標候補を判断し、前記有効であると判断した目標候補のうち、前記評価により目標らしいと評価された目標候補を目標として選択することを特徴とする。
【０００９】
上記構成による目標選択処理装置及び目標選択処理方法では、瞬時特徴量及び時系列特徴量に加えて、セグメントの移動ベクトルを利用して目標を選択する。これにより、太陽反射光やノイズ等のクラッタを間違えて目標に設定することを回避することが可能となる。
【発明の効果】
【００１０】
この発明によれば、目標を示すセグメントの選択確度を向上させることが可能な目標選択処理装置及び目標選択処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る目標選択処理装置の機能構成を示すブロック図である。
【図２】図１の目標選択処理装置の処理フローを示すフローチャートである。
【図３】複数の時系列画像データにおける単一の画像データを示す図である。
【図４】図３の画像データと時間的に隣接するフレームの画像データを示す図である。
【図５】図３の各セグメントの移動ベクトルを示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら本発明に係る目標選択処理装置及び目標選択処理方法の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る目標選択処理装置の機能構成を示すブロック図である。なお、目標選択処理装置は、航空機等の移動体に設置されている。
【００１３】
図１における目標選択処理装置は、瞬時特徴量算出部１０、時系列特徴量算出部２０、移動ベクトル算出部３０、セグメント特徴量算出部４０及びセグメント選択処理部５０を具備する。目標選択処理装置は、撮像装置（図示せず）により撮像されたフレーム単位の複数の時系列画像データを取得する。
【００１４】
瞬時特徴量算出部１０は、目標選択処理装置に入力された複数の時系列画像データのうち、任意に指定された単一の画像データにおいて目標候補を示す領域を検出する。このとき、瞬時特徴量算出部１０は、例えば額縁平滑処理及び２値化処理等を利用して、単一の画像データから輝度、コントラストの強い領域を検出することで目標候補を示す領域を検出する。以下では、画像処理により検出される領域をセグメントと定義する。
【００１５】
瞬時特徴量算出部１０は、検出したセグメントのコントラスト、アスペクト比及び輝度値等を測定し、無次元化する。そして、瞬時特徴量算出部１０は、無次元化したそれぞれの値に対して、予め設定した所定の重み係数により重み付けを行い、重み付けした値の和を瞬時特徴量として算出する。
【００１６】
時系列特徴量算出部２０は、目標選択処理装置に入力された複数の時系列画像データを受け取り、瞬時特徴量算出部１０で処理される画像データにおいて目標候補を示すセグメントを検出し、この画像データと時間的に隣接するフレームの画像データにおいて目標候補を示すセグメントを検出する。時系列特徴量算出部２０は、両画像データのセグメントの差分に基づいて、コントラスト変化量、セグメント位置変化量及び輝度値変化量等を測定し、無次元化する。そして、時系列特徴量算出部２０は、無次元化したそれぞれの値に対して、予め設定した所定の重み係数により重み付けを行い、重み付けした値の和を時系列特徴量として算出する。
【００１７】
移動ベクトル算出部３０は、目標選択処理装置に入力された複数の時系列画像データを受け取り、瞬時特徴量算出部１０で処理される画像データにおいて目標候補を示すセグメントを検出し、この画像データと時間的に隣接するフレームの画像データにおいて目標候補を示すセグメントを検出する。移動ベクトル算出部３０は、両画像データにおいてそれぞれ対応したセグメント位置から、セグメントの移動ベクトルを求める。そして、移動ベクトル算出部３０は、求めた移動ベクトルのうち、過半数を占める同一の移動ベクトルを有するセグメントを無効セグメントとして判定し、この多数の移動ベクトル以外の移動ベクトルを有するセグメントを有効セグメントと判断する。ここでは、例えば、移動ベクトルの角度が±３ｄｅｇ以下のものを同一の移動ベクトルとする。
【００１８】
セグメント特徴量算出部４０は、瞬時特徴量算出部１０で算出された瞬時特徴量及び時系列特徴量算出部２０で算出された時系列特徴量を足し合わせることでセグメント特徴量を算出し、このセグメント特徴量の大きさに基づいて画像データにおけるセグメントの順序付けを行う。
【００１９】
セグメント選択処理部５０は、有効と判定されたセグメントから、セグメント特徴量に基づく順位に従って、目標を示すセグメントを選択する。
【００２０】
次に、上記構成における動作を説明する。図２は、本発明の一実施形態に係る目標選択処理装置の処理フローを示すフローチャートである。また、図３は複数の時系列画像データにおける単一の画像データを示す模式図であり、図４はこの画像データと時間的に隣接するフレームの画像データを示す模式図である。本実施形態では、画像データのセグメントａ〜ｄに目標候補が存在する例について説明する。
【００２１】
まず、目標選択処理装置は、瞬時特徴量算出部１０によりセグメントａ〜ｄの瞬時特徴量を算出し、時系列特徴量算出部２０によりセグメントａ〜ｄの時系列特徴量を算出する（ステップ２１）。そして、目標選択処理装置は、瞬時特徴量と時系列特徴量とからセグメントａ〜ｄのセグメント特徴量を算出し、算出したセグメント特徴量に基づいてセグメントａ〜ｄの順序付けを行う（ステップ２２）。セグメント特徴量は、セグメントのコントラスト、アスペクト比、輝度値、コントラスト変化量、セグメント位置変化量及び輝度値変化量等により決定され、図３及び図４の例では、セグメント特徴量の大きい順にｂ，ａ，ｄ，ｃと順序付けされる。
【００２２】
続いて、目標選択処理装置は、移動ベクトル算出部３０によりセグメントａ〜ｄの移動ベクトルの算出を行う。セグメントａ〜ｄの移動ベクトルは、図５のようになる。このとき、移動ベクトル算出部３０は、セグメントａ，ｃの移動ベクトルが同一であるため、セグメントａ，ｃを無効セグメントとし、セグメントｂ，ｄのみを有効セグメントと判断する（ステップ２３）。
【００２３】
目標選択処理装置は、セグメント選択処理部５０により、セグメント特徴量算出部４０で設定されたセグメントの順序と、移動ベクトル算出部３０で判断された有効セグメントとから目標を示すセグメントを選択する（ステップ２４）。具体的には、移動ベクトル算出部３０により有効と判断されたセグメントｂ，ｄから、セグメント特徴量算出部４０で付された順序ｂ，ａ，ｄ，ｃのうち最も順位の高いセグメントｂを選択する。
【００２４】
以上のように、上記一実施形態では、瞬時特徴量及び時系列特徴量に加えて、セグメントの移動ベクトルを利用して目標を選択する。このとき、移動ベクトルが所定の移動ベクトルと同一となるセグメントを無効であると判断し、それ以外の移動ベクトルを有するセグメントを有効であると判断することで、セグメントの選択を行うようにしている。これにより、目標選択処理装置を移動体に搭載する場合、移動体の移動に伴う移動ベクトルのみを有するセグメントは目標候補から除外することが可能となる。このため、高いセグメント特徴量を有する太陽反射光やノイズ等のクラッタを間違えて目標に設定することを回避することが可能となる。
【００２５】
したがって、本発明に係る目標選択処理装置は、目標を示すセグメントの選択確度を向上させることができる。
【００２６】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【符号の説明】
【００２７】
１０…瞬時特徴量算出部
２０…時系列特徴量算出部
３０…移動ベクトル算出部
４０…セグメント特徴量算出部
５０…セグメント選択処理部
【図１】
2010277351.tif 000003
【図２】
2010277351.tif 000004
【図３】
2010277351.tif 000005
【図４】
2010277351.tif 000006
【図５】
2010277351.tif 000007