(57)【要約】【課題】複数の熱源の中から選択された熱目標を確実に追跡する。【解決手段】熱目標追跡装置は、赤外線カメラから赤外線画像を取得し（ステップＳ２１）、取得された赤外線画像を二値化する（ステップＳ２２）。さらに、二値化された画像に対してラベリング処理を行って熱源領域を抽出し（ステップＳ２３）、抽出された熱源領域のうち追跡対象の熱目標を選択する（ステップＳ２４）。選択された熱目標の特徴量（面積及び画素値の分布）及びそれ以降のフレームで抽出された熱源領域の特徴量をそれぞれ検出し（ステップＳ２５）、検出された特徴量をフレーム間で比較することで追跡対象の熱目標を判定する（ステップＳ２６）。【選択図】      図２
2008117223.tif 000002
【特許請求の範囲】
【請求項１】
赤外線カメラにより撮像された複数フレームからなる多値の動画データを取得する取得手段と、
前記取得された動画データについて各フレームの多値画像を二値化する二値化手段と、
前記二値化された画像に対してラベリング処理を行い熱源領域を抽出する抽出手段と、
前記抽出された熱源領域のうち追跡対象の熱目標を選択する選択手段と、
前記抽出された熱源領域の面積をそれぞれ検出する面積検出手段と、
前記抽出された熱源領域の画素値の分布を前記多値画像をもとにそれぞれ検出する画素値検出手段と、
前記面積検出手段により検出された面積のフレーム間における差分と、前記画素値検出手段により検出された画素値の分布のフレーム間における差分とに基づいて、前記フレーム毎に前記抽出された熱源領域のうち前記選択された追跡対象の熱目標を判定する判定手段と
を具備することを特徴とする熱目標追跡装置。
【請求項２】
前記抽出手段により抽出された熱源領域の重心位置をそれぞれ検出する重心検出手段をさらに具備し、
前記判定手段は、前記面積検出手段により検出された面積のフレーム間における差分と、前記画素値検出手段により検出された画素値の分布のフレーム間における差分と、前記重心検出手段により検出された重心位置のフレーム間における差分とに基づいて、前記フレーム毎に前記抽出された熱源領域のうち前記選択された追跡対象の熱目標を判定することを特徴とする請求項１記載の熱目標追跡装置。
【請求項３】
前記面積検出手段により検出された面積及び前記画素値検出手段により検出された画素値の分布の少なくともいずれか一方に基づいて、予め前記判定の対象とする熱源領域を絞り込む絞込み手段をさらに具備することを特徴とする請求項１記載の熱目標追跡装置。
【請求項４】
少なくとも前記面積検出手段により検出された面積、前記画素値検出手段により検出された画素値の分布及び前記重心検出手段により検出された重心位置のいずれか又はそれらの組み合わせに基づいて、予め前記判定の対象とする熱源領域を絞り込む絞込み手段をさらに具備することを特徴とする請求項２記載の熱目標追跡装置。
【請求項５】
赤外線カメラにより撮像された複数フレームからなる多値の動画データを取得し、
前記取得された動画データについて各フレームの多値画像を二値化し、
前記二値化された画像に対してラベリング処理を行い特定の熱源領域を抽出し、
前記抽出された熱源領域のうち追跡対象の熱目標を選択し、
前記抽出された熱源領域の面積をそれぞれ検出し、
前記抽出された熱源領域の画素値の分布を前記多値画像をもとにそれぞれ検出し、
前記検出された面積のフレーム間における差分と、前記検出された画素値の分布のフレーム間における差分とに基づいて、前記フレーム毎に前記抽出された熱源領域のうち前記選択された追跡対象の熱目標を判定することを特徴とする熱目標追跡方法。
【請求項６】
さらに前記抽出された熱源領域の重心位置をそれぞれ検出し、
前記検出された面積のフレーム間における差分と、前記検出された画素値の分布のフレーム間における差分と、前記検出された重心位置のフレーム間における差分とに基づいて、前記フレーム毎に前記抽出された熱源領域のうち前記選択された追跡対象の熱目標を判定することを特徴とする請求項５記載の熱目標追跡方法。
【請求項７】
前記検出された面積及び前記検出された画素値の分布の少なくともいずれか一方に基づいて、予め前記判定の対象とする熱源領域を絞り込むことをさらに特徴とする請求項５記載の熱目標追跡方法。
【請求項８】
少なくとも前記検出された面積、前記検出された画素値の分布及び前記検出された重心位置のいずれか又はそれらの組み合わせに基づいて、予め前記判定の対象とする熱源領域を絞り込むことをさらに特徴とする請求項６記載の熱目標追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、赤外線カメラで撮像された熱分布を表す画像をもとに熱目標を追跡する熱目標追跡装置及び熱目標追跡方法に関する。
【背景技術】
【０００２】
従来、画像による目標追尾において、過去数フレーム分の面積の変化率、および輝度の変化率が閾値を超えるものを目標候補から除外するという手法が提案されている（例えば、特許文献１を参照。）。これにより、複数の追尾目標候補からフレア等に起因する目標候補を除外することが可能となる。
【特許文献１】特開平４−２０３８９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記手法では目標の急激な面積変化または輝度変化が起こると、目標が追尾対象から除外されてしまうという危険性がある。
【０００４】
この発明は上記事情に着目してなされたもので、その目的とするところは、複数の熱源の中から選択された熱目標を確実に追跡することができる熱目標追跡装置及び熱目標追跡方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するためにこの発明に係わる熱目標追跡装置は、赤外線カメラにより撮像された複数フレームからなる多値の動画データを取得する取得手段と、前記取得された動画データについて各フレームの多値画像を二値化する二値化手段と、前記二値化された画像に対してラベリング処理を行い特定の熱源領域を抽出する抽出手段と、前記抽出された熱源領域のうち追跡対象の熱目標を選択する選択手段と、前記抽出された熱源領域の面積をそれぞれ検出する面積検出手段と、前記抽出された熱源領域の画素値の分布を前記多値画像をもとにそれぞれ検出する画素値検出手段と、前記面積検出手段により検出された面積のフレーム間における差分と、前記画素値検出手段により検出された画素値の分布のフレーム間における差分とに基づいて、前記フレーム毎に前記抽出された熱源領域のうち前記選択された追跡対象の熱目標を判定する判定手段とを具備することを特徴とする。
【０００６】
また、この発明に係わる熱目標追跡方法は、赤外線カメラにより撮像された複数フレームからなる多値の動画データを取得し、前記取得された動画データについて各フレームの多値画像を二値化し、前記二値化された画像に対してラベリング処理を行い特定の熱源領域を抽出し、前記抽出された熱源領域のうち追跡対象の熱目標を選択し、前記抽出された熱源領域の面積をそれぞれ検出し、前記抽出された熱源領域の画素値の分布を前記多値画像をもとにそれぞれ検出し、前記検出された面積のフレーム間における差分と、前記検出された画素値の分布のフレーム間における差分とに基づいて、前記フレーム毎に前記抽出された熱源領域のうち前記選択された追跡対象の熱目標を判定することを特徴とする。
【０００７】
上記構成による熱目標追跡装置及び熱目標追跡方法では、熱分布画像を二値化し、二値化された画像からラベリング処理により熱源領域を抽出し、抽出された熱源領域の面積及び画素値の分布をフレーム間で比較することで追跡対象の熱目標を判定する。このように複数の条件の組み合わせで熱目標の判定を行うことで、熱目標の判定を行うことで、急激な面積変化または輝度変化によって熱目標が追跡対象から除外されることがなく、選択された熱目標を確実に追跡することが可能となる。
【発明の効果】
【０００８】
したがってこの発明によれば、複数の熱源の中から選択された熱目標を確実に追跡することができる熱目標追跡装置及び熱目標追跡方法を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照しながら本発明の実施の形態を詳細に説明する。  
図１は、この発明に係わる熱目標追跡装置の一実施形態を示すブロック構成図である。  
熱目標追跡装置１００は、マイクロプロセッサ等の中央処理ユニット（ＣＰＵ：Central Processing Unit）１１を備え、このＣＰＵ１１に、赤外線画像メモリ１２と、二値化画像メモリ１３と、プログラムメモリ１４と、入力インタフェース（入力Ｉ／Ｆ）１５と、出力インタフェース（出力Ｉ／Ｆ）１６とが接続される。
【００１０】
入力Ｉ／Ｆ１５には赤外線カメラが接続される。ＣＰＵ１１は、入力Ｉ／Ｆ１５により赤外線カメラによる撮像画像を取り込み、赤外線画像メモリ１２に記憶する。二値化画像メモリ１３には、上記撮像画像が二値化処理された二値化画像が記憶される。出力Ｉ／Ｆ１５にはモニタが接続され、ＣＰＵ１１の制御により追跡対象の熱目標が表示される。
【００１１】
プログラムメモリ１４には、この発明を実現するための熱源領域抽出プログラム１４１と、特徴量検出プログラム１４２と、熱目標判定プログラム１４３とが格納される。熱源領域抽出プログラム１４１は、入力Ｉ／Ｆ１５により取り込まれた多値の動画データをフレーム毎に二値化し、この二値化画像に対してラベリング処理を行って熱源領域を抽出する。特徴量検出プログラム１４２は、熱源領域抽出プログラム１４１により抽出された熱源領域の特徴量をそれぞれ抽出する。特徴量には、熱源領域の面積と画素値の分布と重心位置とが含まれる。熱目標判定プログラム１４３は、特徴量検出プログラム１４２により抽出された特徴量をフレーム間で比較することで、熱源領域のうちから追跡対象の熱目標を判定する。
【００１２】
次に、このように構成される熱目標追跡装置１００の動作について説明する。図２は、熱目標追跡装置１００の処理手順とその処理内容を示すフローチャートである。  
赤外線カメラで追跡対象の熱目標を含む範囲の動画像を撮像する。ＣＰＵ１１は、入力Ｉ／Ｆ１５により上記撮像された赤外線画像を取得して赤外線画像メモリ１２に記憶する（ステップＳ２１）。この動画像を構成する複数フレームの各フレームを原画像と呼び、８ビットの濃淡画像や２４ビットのカラー画像等、多値の画像であるものとする。また、その原画像に対して、平滑フィルタや微分フィルタをかけても構わないが、それらもまとめて原画像と呼ぶこととする。
【００１３】
ＣＰＵ１１は、熱源領域抽出プログラム１４１を実行して、原画像を所定の閾値により二値化し（閾値よりも画素値が小さい画素を０もしくは白画素、大きい画素を１もしくは黒画素とする）、この二値化画像を二値化画像メモリ１３に記憶する（ステップＳ２２）。さらに、この二値化画像に対しラベリング処理を行い熱源領域を抽出する。具体的には、二値化画像の中で４近傍ないし８近傍で連結している黒画素の塊（ラベルと呼ぶ）を抽出する（ステップＳ２３）。
【００１４】
ここで、ＣＰＵ１１は、例えば、動画像のうちＭ番目のフレームから得られた二値化画像で抽出されたラベルのうち追跡対象の熱目標ラベルを１つ選択する（ステップＳ２４）。このとき、ＣＰＵ１１は、特徴量検出プログラム１４２により、選択された熱目標ラベルの重心位置の座標（ｘ，ｙ）、そのラベルを構成する画素数（ラベル面積）を検出する。さらに、二値化画像と原画像とを比較して、この熱目標ラベルを構成する画素に相当する原画像の画素値の分布を検出する（ステップＳ２５）。
【００１５】
図３に、熱目標ラベルを構成する画素値の分布の一例を示す。画素値の分布については、例えば、追跡を開始するＭ番目のフレームにおいて、熱目標ラベルを構成する画素に相当する原画像の画素値の平均値を中心として、ある画素値の範囲（例えばａ）ごとに画素数の頻度を求めたものを用いる。
【００１６】
ＣＰＵ１１は、熱目標判定プログラム１４３を実行して、Ｍ＋１番目以降のフレームについて、熱目標の追跡を行う。このとき、フレームに複数のラベルが存在する場合には、追跡対象の熱目標と誤検知しないように、あらかじめラベル数を絞り込む処理（足切り処理）を行っても良い。絞込み処理については、例えば、ラベルの面積が１つ前のフレームで求めた熱目標のラベル面積の１／ｂ倍より小さい、もしくはｃ倍よりも大きいラベルを追跡対象から除外する。または、ラベルを構成する画素に相当する原画像の画素値の平均値が、１つ前のフレームで求めた熱目標ラベルの画素値の平均値の１／ｄ倍より小さい、もしくはｅ倍よりも大きいラベルを追跡対象から除外する。
【００１７】
また、追跡対象の範囲を狭めるようにしてもよい。例えば、図４に示すように、１つ前のフレームで求めた熱目標ラベルの重心を中心として、例えば、熱目標ラベルの縦横のサイズのｆ倍の矩形内（追跡ゲートと呼ぶ）に含まれるラベルのみを追跡候補とする。あるいは、図５に示すように、１つ前のフレームで求めた熱目標ラベルの重心から半径ｇの範囲内（追跡サークルと呼ぶ）に含まれるラベルのみを追跡候補とする。
【００１８】
次に、実際の追跡処理を以下に示す。これから追跡処理を行おうとしているフレーム（現在のフレームと呼ぶ）から得られた二値化画像に含まれる各ラベルで、足切りをされなかった追跡候補について、１つ前のフレームで求めた熱目標ラベルの特徴量（ラベル面積、画素値の分布、重心位置）との差分をそれぞれ求める。
【００１９】
ラベル面積の差分は、二値化画像から検出されたラベルを構成する画素数の差を算出する。画素値の分布の差分については、例えば、図６に示すように、画素値の範囲毎に頻度の差をとって、その合計値を求める。単純に、画素値の平均値の差分を求めるようにしても良い。重心位置の差分は、１つ前のフレームで求めた熱目標の重心位置との距離を求める。面積の差分をＳｅ、画素値の分布の差分をＨｅ、重心位置の差分をＤｅとし、各ラベルにおける追尾評価値を求める。
【００２０】
追尾評価値については、第１には、ＳｅとＨｅのみを用いた（１）式を用いる。  
（追尾評価値）＝ｋ１・Ｓｅ＋ｋ２・Ｈｅ              ・・・  （１）  
（ただし、ｋ１，ｋ２は定数）  
ｋ１及びｋ２は任意に選んで良い。ただし、面積の差分と画素値の分布の差分とのバランスを考慮して（追尾が良好にいくように）選択する。
【００２１】
また、追尾評価値については、第２として、ＳｅとＨｅとＤｅを用いた（２）式としても良い。  
（追尾評価値）＝ｋ１・Ｓｅ＋ｋ２・Ｈｅ＋ｋ３・Ｄｅ  ・・・  （２）
（ただし、ｋ１，ｋ２，ｋ３は定数）  
（１）式と同様に、ｋ１、ｋ２及びｋ３は任意に選んで良いが、各差分のバランスを考慮して選択する。
【００２２】
追尾候補である各ラベルに対して、上記（１）式もしくは（２）式によって追尾評価値を求め、その追尾評価値が最も小さいラベルを現在のフレームにおける熱目標ラベルと判定する（ステップＳ２６）。この処理を以降のフレームについてそれぞれ繰り返すことにより、複数の熱源の中から選択された熱目標を追跡することが可能となる。
【００２３】
以上述べたように、熱目標追跡装置１００は、赤外線カメラから赤外線画像を取得し、取得された赤外線画像を二値化する。さらに、二値化された画像に対してラベリング処理を行って熱源領域を抽出し、抽出された熱源領域のうち追跡対象の熱目標を選択する。選択された熱目標の特徴量（面積及び画素値の分布）及びそれ以降のフレームで抽出された熱源領域の特徴量をそれぞれ検出し、検出された特徴量をフレーム間で比較することで追跡対象の熱目標を判定する。
【００２４】
したがって上記実施形態によれば、複数の条件の組み合わせで熱目標の判定を行うことで、急激な面積変化または輝度（温度）変化または位置変化によって熱目標が追尾対象から除外されることがなく、複数の熱源の中から選択された目標を確実に追跡することが可能となる。
【００２５】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００２６】
【図１】この発明に係わる熱目標追跡装置の一実施形態を示すブロック構成図。
【図２】図１に示す熱目標追跡装置の動作の手順とその内容を示すフローチャート。
【図３】目標候補を構成する画素値の分布の一例を示す図。
【図４】目標候補の面積による絞込み処理の一例を示す図。
【図５】目標候補の重心位置による絞込み処理の一例を示す図。
【図６】フレーム間での画素数の分布の差分を表す図。
【符号の説明】
【００２７】
１００…熱目標追跡装置、１１…ＣＰＵ、１２…赤外線画像メモリ、１３…二値化画像メモリ、１４…プログラムメモリ、１５…入力インタフェース、１６…出力インタフェース、１４１…熱源領域抽出プログラム、１４２…特徴量検出プログラム、１４３…熱目標判定プログラム。
【図１】
2008117223.tif 000003
【図２】
2008117223.tif 000004
【図３】
2008117223.tif 000005
【図４】
2008117223.tif 000006
【図５】
2008117223.tif 000007
【図６】
2008117223.tif 000008