(57)【要約】【課題】誘導飛翔体などに搭載されて目標識別などに使用される画像処理装置において、大規模な回路構成を必要とせず、かつ実時間性を失うことなく、撮像された画像の形状をより反映する特徴量を容易に得ることができようにする。【解決手段】撮像目標画像を選択して二値化し、二値化画像を生成する画像二値化部１と、目標画像の塊と背景の境界線とについて８方向の法線方向ベクトルを検出する８種類の２×２画素マトリクスと、境界線に相当する輪郭画素部分を除いた面積を検出する１種の２×２画素マトリクスと、を二値化画像から検出するパターン検出部３と、各２×２画素マトリクスごとに二値化画像における該当画素数を累算計数する累算カウンタ４ａ１〜４ａ９とを設ける。【選択図】図１
2008225668.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像データから目標の形状の特徴量による目標識別を行う画像処理装置において、
撮像目標画像を選択して二値化し、二値化画像を生成する画像二値化手段と、
目標画像の塊と背景の境界線とについて８方向の法線方向ベクトルを検出する８種類の２×２画素マトリクスと、前記境界線に相当する輪郭画素部分を除いた面積を検出する１種の２×２画素マトリクスと、を前記二値化画像から検出する検出論理回路と、
前記各２×２画素マトリクスごとに前記二値化画像における該当画素数を累算計数する回路と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像二値化手段は、画像におけるラインの順番にしたがってラインごとに当該ラインに含まれる画素のデータを逐次出力する動作を繰り返すことによって画素のデータをシリアルに出力し、
前記画像二値化手段と前記検出論理回路との間に、前記二値化画像を１ラインの時間だけ遅延させる第１の遅延回路と前記二値化画像を１画素の時間だけそれぞれ遅延させる第２及び第３の遅延回路とを備え、
前記二値化画像の画素単位でのデータ入力動作と前記検出論理回路における検出動作とを同時に行えるようにした、請求項１に記載の画像処理装置。
【請求項３】
前記８種類の２×２画素マトリクスによる検出累計計数値を、前記１種の２×２画素マトリクスによる検出累計計数値の平方根で除算し、除算後の８種類の値を目標形状に関する８種類の特徴量とする特徴量算出手段をさらに有する、請求項１に記載の画像処理装置。
【請求項４】
前記特徴量算出手段は、前記各検出累計計数値を対数値に変換する対数変換回路と、前記１種の２×２画素マトリクスに対応する対数変換後の検出累計計数値に１／２を乗算する１／２乗算回路と、前記８種類の２×２画素マトリクスの対数変換後の検出累計計数値のそれぞれから前記１／２乗算回路での計算結果を減算する減算回路と、前記減算回路での減算後の前記８種類の２×２画素マトリクスの検出累計計数値に対して指数伸張を行う指数伸張回路と、を有する請求項３に記載の画像処理装置。
【請求項５】
前記二値化画像における前記目標に外接する四角形のアスペクト比と、前記四角形内での前記目標の重心位置とを算出する評価演算手段をさらに備え、
前記８種類の特徴量と前記アスペクト比と前記重心位置とを用いて目標識別を行う、請求項３に記載の画像処理装置。
【請求項６】
識別すべき形状カテゴリの基準目標から得られた前記８種類の特徴量、前記アスペクト比及び前記重心位置を記憶する記憶手段と、
前記記憶手段に記憶された値と、前記目標画像から得られた前記８種類の特徴量、前記アスペクト比及び前記重心位置との差を求め、前記差の大きさの程度を評価する評価手段と、
をさらに備え、
予め分類された形状カテゴリから評価した差の程度が最も少ない形状カテゴリを選択し、このカテゴリを評価値として出力する、請求項５に記載の画像処理装置。
【請求項７】
複数の系統でそれぞれ前記撮像目標画像が選択される、請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項８】
複数の系統でそれぞれ前記撮像目標画像が選択され、前記系統ごとに識別すべき形状カテゴリが設定される、請求項６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、誘導飛翔体などに搭載され、赤外線撮像装置などによって取得された画像データにおいて目標識別を実行する画像処理装置に関し、特に、回路規模を抑えることができ、かつ、画像フレーム更新ごとに識別結果を出力できる実時間性を維持しつつ目標識別を実施し、目標の形状に対応した特徴量を画像処理で得ることにより、目標に関する種類のカテゴリを分類することが可能な画像処理装置に関する。
【背景技術】
【０００２】
誘導飛翔体などにおいては、その搭載している撮像装置によって画像データを取得し、撮像された物体の形状を実時間で識別することが求められる。
【０００３】
従来、撮像された物体の形状を実時間性を失うことなく識別する方法として、撮像された二値化画像における目標の周囲長と面積とを求め、形状の複雑の度合いを(周囲長)2／(目標面積)で表してこれを特徴量として評価し、目標を分類する方法が一般的に採用されてきた。この方法は、二値化画像を用いるので、高速で処理することが可能であり、画像処理のための回路規模を小さく抑えることが可能である。しかしながら、(周囲長)2／(目標面積)で表される値を特徴量として用いる方法では、単純な回路を用いて高速処理で特徴量が得られる反面、目標の形状の複雑さを示す値が特徴量として得られるのみであり、目標の形状を反映したカテゴリ分類の手段としては十分とは言えず、必ずしも目標の形状を的確に識別することができないという問題点があった。
【０００４】
これに対し、形状パターンに多様性がある場合でも良好な形状識別を行う技術としては、例えば、特開平８−１１５４２９号公報（特許文献１）に示されるように、形状パターンの凸閉包の図形の重心を通る直線のうち、図形の慣性モーメントが最大になる慣性主軸についての慣性モーメントとこの主軸と直角な軸についての慣性モーメントとの比の平方根を方向性の強さとして一つの特徴量とし、また、この方向性の強さが１となり、凸閉包の面積が所定となるように正規化した上で、この凸閉包の図形の重心を中心として、凸閉包と同面積の円を重ね合わせて、一周３６０度を等分割したときの等角度範囲ごとの上記正規化されたと凸閉包と円との面積の違い、および、前記範囲ごとの正規化された形状パターンにおける凸閉包を基準とした凹の面積を特徴量として求めて、予め得られている図形のカテゴリに対応する特徴量の値の範囲をもとに、識別対象形状パターンが各カテゴリに属する確からしさの得点を求める方法がある。しかしながらこの方法においては、以下に示す問題点があり、目標画像の入力と同時に結果が得られるという実時間性が得られないという課題があった。
【０００５】
第１の問題点は、凸閉包の二値化画像を得る必要があるため、一旦１フレーム分の画像全体の入力を完了し画像全体を記憶した後、これを読み出して処理をおこなって凸閉包の画像データの生成を行なう必要があり、少なくともこれに要する時間分の処理遅れが生じてしまうということである。
【０００６】
第２の問題点は、この凸閉包を得る処理に加え、二値化画像の慣性モーメントを求め、その最大となる主軸が下に示す方程式を満足する角度θを探し出す処理が必要であることである。
【０００７】
【数１】
2008225668.tif 000003
【０００８】
さらに、画像の正規化処理が必要であるとともに、分割された角度範囲ごとの面積比較計算による特徴量算出の必要があって、処理の負荷が大きく、また、小規模の回路では実現できない、という問題点もある。誘導飛翔体への搭載用としては、動作の確実性及び消費電力の制限から、ＣＰＵ等を用いてプログラムにより手順化された処理を逐次実行する必要があり、この逐次実行のために処理速度に制約が生じ、結果を得るまでに実時間処理としては無視のできない遅れと更新レートの低下を招いてしまう。
【０００９】
なお、特開２００２−１８３３６４号公報（特許文献２）には、手書き文字認識に関するものであるが、辞書を用いることにより認識対象のパターンがどの類似カテゴリに属するかを判別する技術が開示されている。特開平５−１４３１６０号公報（特許文献３）には、画像データから目標を識別するための画像処理装置において、二値化処理におけるしきい値を変化させるための構成が開示されている。特開平１０−７５３５９号公報（特許文献４）には、印刷などのために画像データから網点データを生成する際に、２×２画素マトリクスを用いてしきい値処理を行うことが開示されている。
【特許文献１】特開平８−１１５４２９号公報
【特許文献２】特開２００２−１８３６６４号公報
【特許文献３】特開平５−１４３１６０号公報
【特許文献４】特開平１０−７５３５９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
誘導飛翔体への搭載を目的とした目標追尾システムでは、限られた実装スペースに搭載できるものであることと処理の高速性とが求められ、そのため、そのような目標追尾システムでの撮像画像における目標識別では、小規模の回路で画像フレームの更新に応答でき、かつ、実時間処理の実現が可能な、目標画像の周囲長、面積、アスペクト比のみを使用することが多かった。この場合、目標面積と周囲長の二乗の比率とアスペクト比から得られる大まかな目標形状の複雑さを示す数値と、概略形状を表す縦横の比率に関する数値が得られるのみで、撮像目標の識別・分類の手段としては不足であり、必ずしも有効な手段ではなかった。
【００１１】
したがって本発明の目的は、誘導飛翔体搭載用として実装可能な回路規模で画像フレーム更新単位での実時間処理が実現でき、かつ、目標の種類をさらに的確に分類することができる画像処理装置を提供するにある。
【００１２】
本発明の目的は、具体的には、誘導飛翔体搭載用としての装置実現上の制約下においても入力画像フレームの更新レートに応答する実時間性が求められる目標追尾システムにおける、目標の形状特徴量を算出する機能を備えて撮像画像上での追尾点選択等の撮像画像目標識別で用いられる画像処理装置であって、大規模な回路構成を必要とせず、かつ実時間性を失うことなく、撮像された画像の形状をより反映する特徴量を容易に得ることができ、また、撮像目標の識別結果をより的確に得ることができる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の画像処理装置は、撮像された画像データから目標の形状の特徴量による目標識別を行う画像処理装置において、撮像目標画像を選択して二値化し、二値化画像を生成する画像二値化手段と、目標画像の塊と背景の境界線とについて８方向の法線方向ベクトルを検出する８種類の２×２画素マトリクスと、境界線に相当する輪郭画素部分を除いた面積を検出する１種の２×２画素マトリクスと、を二値化画像から検出する検出論理回路と、各２×２画素マトリクスごとに二値化画像における該当画素数を累算計数する回路と、を有することを特徴とする。
【００１４】
本発明では、８種類の２×２画素マトリクスによる検出累計計数値を、１種の２×２画素マトリクスによる検出累計計数値の平方根で除算し、除算後の８種類の値を目標形状に関する８種類の特徴量とする特徴量算出手段をさらに設けることが好ましい。このような構成によれば、目標画像の形状を顕著に反映する周囲境界線の局所部分の法線方向の８種のベクトルの検出数を、目標の輪郭線に対応する画素分を除いた面積に相当する１種類の検出数の平方根で除することにより、目標の大きさに左右されずに形状の特徴のみを反映する８種の特徴量を得ることができる。さらに、特徴量と併せて得られる目標画像外接四角形内での目標の重心位置及びアスペクト比を特徴量と組み合わせることにより、さらに確実な目標識別を実現することができる。本発明では、予め得られた１種類以上の識別すべき形状カテゴリに対するこれらの基準値と実際に得られた特徴量との差分を求め、この差分が最も離れていない識別カテゴリを選択することにより、識別カテゴリに対応させてより目標の形状を反映した目標識別を実現できる。
【００１５】
また、８種の特徴量を得る方法として、２×２画素マトリクスによる比較を行って一致した数を計数する単純な方法を用いており、また、特徴量の算出は対数スケール上で行えるようにしているため、簡単な回路構成で、高速性を失うことなく実時間で処理結果が得られるようになる。
【００１６】
すなわち本発明の特徴は、実装スペースと電力供給が限られ、かつ、処理の実時間性が求められる誘導飛翔体搭載を目的とした目標追尾システムにおける撮像画像の追尾点選択等の目標識別で用いられる目標形状特徴量算出回路において、大規模な回路構成を用いることなく撮像画像の形状をより反映する特徴量を得られるようにし、撮像目標の識別をより的確に実時間で行えるようにしたところにある。
【発明の効果】
【００１７】
本発明においては、入力画像の目標存在部分について画像データを１画素ずつ入力しながら同時に二値化画像化するとともに、目標形状の周囲境界線の局所部分の法線方向のベクトルを検出する８種類の２×２画素のマトリクスパターンと、画像の境界線に相当する部分を除いた面積を検出する１種の２×２画素のマトリクスパターンとを検出できる回路を用いることにより、画像全体について画像データを入力しつつ検出数をカウンタで計数するという簡易な方法により入力画像の特徴量を求めることができる。したがって本発明は、大きな回路規模を必要とせず、かつ、処理の実時間性を失うことなく、目標の形状を反映した特徴量を得ることができるという効果を有する。
【００１８】
また本発明では、特徴量演算において、目標形状の周囲境界線の局所部分の法線方向のベクトルを検出する８種の２×２画素のマトリクスパターンを、境界線の輪郭を構成する画素部分を除いた面積の平方根の値により除算する方法を用いることにより、撮像された目標の大きさに影響を受けることなく、目標の周囲の形状の複雑さをより反映した目標識別を行うことができる。
【００１９】
さらに本発明では、ＲＯＭ等を使用して索表により変換した対数スケール上で特徴量計算を行うことによって、簡単な回路でかつ高速に演算ができる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は本発明の実施の一形態の画像処理装置の構成を示すブロック図である。
【００２１】
画像処理装置には、外部から画像データａが入力する入力端と、この画像処理装置の動作モードの設定をするための動作モード指令ｎが入力する入力端と、評価値ｈを出力するための出力端とが設けられている。入力画像中の複数の目標に対してそれぞれ独立に目標識別の処理を行うことができるように、この画像処理装置では、入力される画像データａは、複数の系統（図示した例ではＣＨ１〜ＣＨｎのｎ個の系統）に分岐されるようになっている。画像処理装置は、画像データａの二値化処理を行って二値化画像データｂとして出力する画像二値化部１と、二値化画像データｂに対してラベリング処理を行ってラベリング二値化画像データｃを出力し、さらに処理同期信号ｊを出力するラベリング処理部２と、ラベリング二値化画像データｃに対してパターン検出を行ってパターン検出信号ｄ１〜ｄ９を出力するパターン検出部３と、パターン検出信号ｄ１〜ｄ９に基づいて特徴量を演算し、形状特徴量ｆ１〜ｆ８を出力する特徴量演算部４と、ラベリング二値化画像データｃから、目標に外接する四角形の座標を検出して外接四角形座標データｋとして出力する目標外接四角形座標検出部６と、ラベリング二値化画像データｃから、目標の重心を算出して目標重心位置座標ｍとして出力する目標重心算出部７と、外接四角形座標データｋと目標重心位置座標ｍとに基づいて目標アスペクト比ｇ１と目標外接四角形内重心位置ｇ２を算出する目標重心位置評価演算部８と、形状特徴量ｆ１〜ｆ８と目標アスペクト比ｇ１と目標外接四角形内重心位置ｇ２と目標重心位置座標ｍとに基づいて特徴量の評価を行い、評価値ｈを出力する特徴量評価部５と、を備えている。上述した処理系統ごとに、画像二値化部１、ラベリング処理部２、パターン検出部３、特徴量演算部４、特徴量評価部５、目標外接四角形座標検出部６、目標重心算出部７及び目標重心位置評価演算部８が設けられる。
【００２２】
特徴量演算部４は、パターン検出信号ｄ１〜ｄ９をそれぞれ計数してパターン検出計数値ｅ１〜ｅ９として出力する累積カウンタ４ａ１〜４ａ９と、パターン検出計数値ｅ１〜ｅ９に基づいて形状特徴量ｆ１〜ｆ８を出力する特徴量算出部５とを備えている。
【００２３】
この画像処理装置では、複数系統に分岐された画像データａのうちの一つの系統が画像二値化部１の入力端に接続し、画像二値化部１の出力は、ラベリング処理部２に接続され、二値化画像データｂがラベリング処理部２に供給される。ラベリング処理部２の出力端のうちラベリング二値化画像データｃの出力端は、パターン検出部３、目標外接四角形座標検出部６及び目標重心算出部７に接続し、もう一つの出力端である処理同期信号ｊの出力端は、目標外接四角形座標検出部６、目標重心算出部７及び９つの累積カウンタ４ａ１〜４ａ９に接続している。累積カウンタ４ａ１〜４ａ９のそれぞれの出力であるパターン検出計数値ｅ１〜ｅ９の出力端は特徴量算出部４ｂに接続され、目標外接四角形座標検出部６の出力である外接四角形座標データｋの出力端と目標重心算出部７の出力である目標重心座標データｍの出力端の一つは目標重心評価演算部８に接続されている。
【００２４】
特徴量評価部５の入力端には、目標重心位置評価演算部８の出力である目標アスペクト比ｇ１と目標内の重心位置関係を示す情報である目標外接四角形内重心位置ｇ２の出力端と、特徴量算出部４ｂの出力である８種の形状特徴量ｆ１〜ｆ８の出力端と、目標重心算出部７の出力である目標重心座標データｍの出力端が接続されている。本装置の出力信号一つである評価値ｈの出力端は、上述した複数系統それぞれの特徴量評価部５の出力端と接続され、もう一つの出力信号である処理同期信号ｊの出力端は、ラベリング処理部２のひとつの系統の出力端に接続されている。
【００２５】
以下、上述した各部１〜８について、さらに詳しく説明する。
【００２６】
画像二値化部１は、入力される画像データａを、処理系統ごとにあらかじめ選択された目標の画面上の範囲に限定し、その目標付近のコントラスト情報をもとに二値化し、二値化画像データｂとして出力する。
【００２７】
ラベリング処理部２は、二値化画像データｂから、識別すべき主体となる二値化された目標画像の塊のみを選択し、ラベリング二値化画像データｃとして出力する。
【００２８】
パターン検出部３は、それぞれが２×２画素マトリクスからなる９種類のパターンを二値化画像から検出することができるものであって、二値マトリクス検出論理回路として構成されている。図２は、パターン検出部３の構成の一例を示している。パターン検出部３は、ラベリング処理部２からラベリング二値化画像データｃが供給される入力端を備え、この入力端は、１ライン遅延回路３ａと１画素遅延回路３ｂ１に接続され、１ライン遅延回路３ａの出力端は、もう一つの１画素遅延回路３ｂ２に接続されている。１画素遅延回路３ｂ１，３ｂ２は、その入力データを、ラベリング二値化データｃにおける１画素分の時間だけ遅延させて出力するものであり、１ライン遅延回路３ａは、その入力データを、ラベリング二値化データｃにおける１ライン分の時間だけ遅延させて出力するものである。したがって、１画素遅延回路３ｂ１，３ｂ２と１ライン遅延回路１ａの入出力の接続端からは、２×２画素のマトリクスに対応する画像データが出力されることになる。１ライン遅延回路３ａ、１画素遅延回路３ｂ１及び１画素遅延回路３ｂ２の入力及び出力端からの接続点から得られる２×２画素の検出用パターンのマトリクスに対応する画像データは、上述した９種のパターンとの一致点を検出するための検出パターン論理回路３ｃを介して、パターン検出信号ｄ１〜ｄ９をそれぞれ出力する４入力ＡＮＤ回路３ｄ１〜３ｄ９に供給されている。
【００２９】
図３は、９種類の二値化２×２画素マトリクスのパターン（パターン＃１〜＃９）を示している。パターン検出部３は、ラベリング処理部２から入力される二値化画像全体について、位置を画素単位でずらしながら２×２画素の領域を抽出し、この２×２画素の領域での画素配置をパターン＃１〜＃９の９通りのパターンと同時に比較する。そして、いずれかのパターンと一致している箇所があれば、パターン検出部３は、逐次、該当するパターンと一致していることを示すパターン検出信号ｄ１〜ｄ９をパルス信号として出力する。パターン検出信号ｄ１〜ｄ９は、それぞれ、パターン＃１〜＃９に対応している。
【００３０】
特徴量演算部４において、累積カウンタ４ａ１〜４ａ９は、パターン検出部３から出力されるパターン検出信号ｄ１〜ｄ９をそれぞれ計数し、画像１フレーム全体の計数を完了した時点で、特徴量算出部４ｂに対し、それらの係数結果をパターン検出計数値ｅ１〜ｅ９として出力する。画像１フレーム全体の計数が完了したか否かは、後述するように、処理同期信号ｊによって知ることができる。
【００３１】
図４は、特徴量演算部４ｂの詳細な構成を示している。特徴量演算部４ｂは、対数圧縮器４ｂ１と指数関数伸張器４ｂ２と減算器４ｂ３と１／２乗算回路４ｂ４とを備えており、パターン検出部３から出力されるパターン検出計数値ｅ１〜ｅ９は、対数圧縮器４ｂ１の９つの入力端にそれぞれ供給され、対数圧縮器４ｂ１から出力される対数スケールに変換されたパターン検出対数値ｙ１〜ｙ９の出力端は、パターン検出対数値ｙ９を除いては減算器４ｂ３の入力端に接続され、パターン検出対数値ｙ９については１／２乗算回路４ｂ４の入力端に接続されている。１／２乗算回路４ｂ４の出力端は減算器４ｂ３の減算値ｗ８の入力端に接続されており、パターン検出対数値ｙ１〜ｙ９から減算値ｗ８を減算した結果である形状特徴量対数値ｚ１〜ｚ８の出力端は、指数関伸張器４ｂ２の８つの入力端に接続されている。指数関数伸張器４ｂ２からの出力である、形状特徴量ｆ１〜ｆ８は、特徴量評価部５（図１）の入力端に供給されている。
【００３２】
この特徴量演算部４ｂでは、パターン検出計数値ｅ１〜ｅ９は、対数圧縮器４ｂ１においてそれぞれ対数値（パターン検出対数値ｙ１〜ｙ９）に変換され、このうち、パターン検出計数値ｅ９の対数値（パターン検出対数値ｙ９）は、さらに、１／２乗算回路４ｂ４において１／２にされた後、パターン検出対数値ｙ１〜パターン検出対数値ｙ８から、パターン検出対数値ｙ９の半分に相当する値が減じられる。
【００３３】
指数関数伸張器４ｂ２は、対数圧縮されているパターン検出計数値（パターン検出対数値ｙ１〜ｙ８）をもとのスケールでの値に戻して、形状特徴量ｆ１〜ｆ８として特徴量評価部５に対して出力する。
【００３４】
目標外接四角形座標検出部６は、ラベリング二値化画像データｃに基づき、目標二値化画像の塊に外接する四角形の位置と領域を示す座標データを生成し、目標外接四角形座標データｋとして出力する。
【００３５】
目標重心算出部７は、ラベリング二値化画像データｃに基づき、目標二値化画像の面重心の画面上の位置を示す座標データを生成し、目標重心座標データｍとして出力する。
【００３６】
図５は、目標重心位置評価演算部８の構成の一例を示している。目標重心位置評価演算部８は、目標に外接する四角形の縦横の比率である目標アスペクト比を計算する目標アスペクト比演算回路８ａと、目標に外接する四角形内の目標重心の位置関係を示す値である目標外接四角形内重心位置ｇ２を算出する目標外接四角形内重心位置算出回路８ｂと、を備えている。目標外接四角形内重心位置ｇ２は、具体的には、目標に外接する四角形の縦横サイズに対するその目標画像の重心位置の比率を示すものである。目標外接四角形座標検出部６の目標外接四角形座標データｋの出力端が、目標アスペクト比演算回路８ａ及び目標外接四角形内重心位置算出回路８ｂの入力端に接続し、目標重心算出部７の目標重心座標データｍの出力端が、目標外接四角形内重心位置算出回路８ｂのもう一方の入力端に接続されている。目標アスペクト比演算回路８ａのその算出結果である目標アスペクト比ｇ１の出力端は特徴量評価部５（図１）に設けられた複数の入力端のうちの一つに接続され、目標外接四角形内重心位置算出回路８ｂのその算出結果である目標外接四角形内重心位置ｇ２の出力端は、特徴量評価部５の入力端の他の一つに接続されている。
【００３７】
図６は、特徴量評価部５の構成を示している。特徴量評価部５は、特徴量の比較を行うために使用される比較基準データｓを生成し記憶する特徴量基準値記憶／発生部５ａと、形状特徴量ｆ１〜ｆ８、目標アスペクト比ｇ１及び目標外接四角形内重心位置ｇ２を比較基準データｓと比較して比較差異値ｔを出力する特徴量比較演算回路５ｂと、動作モード指令ｎに基づいて特徴量評価処理制御信号ｖ１及び特徴量基準値制御信号ｖ２を生成する評価処理制御信号発生部５ｃと、目標重心座標データｍと比較差異値ｔとに基づいて評価値ｈを計算して出力する特徴量評価結果出力部５ｄとを備えている。特徴量演算部４（図１）の形状特徴量ｆ１〜ｆ８の出力端、及び目標外接四角形座標検出部６（図１）の目標アスペクト比ｇ１と外接四角形内重心位置ｇ２の出力端は、特徴量比較演算回路５ｂの入力端と特徴量基準値記憶／発生部５ａの入力端の双方に接続されている。特徴量基準値記憶／発生部５ａの出力である比較基準データｓは、特徴量比較演算回路５ｂの比較値入力端に供給されており、特徴量比較演算回路５ｂの演算した結果である比較差異値ｔの出力端と目標重心算出部７（図７）の出力端とが特徴量評価結果出力部５ｄの入力端に接続され、どの特徴量評価結果出力部５ｄの評価結果出力である評価値ｈの出力端は、本実施形態における画像処理装置での一つの系統の評価値出力として、画像処理装置としての出力端に接続されている。評価処理制御信号発生部５ｃからは、特徴量基準値の記憶または発生を制御する特徴量基準値制御信号ｖ２が特徴量基準値記憶／発生部５ａに供給され、特徴量の評価処理を制御する特徴量評価処理制御信号ｖ１が特徴量評価結果出力部５ｄに供給されている。
【００３８】
このような構成の特徴量評価部５は、形状特徴量ｆ１〜ｆ８と目標アスペクト比ｇ１と目標外接四角形内重心位置ｇ２とを受け入れて、予め設定されている複数個の目標の形状カテゴリごとの特徴量との一致性の評価を行って、最も一致度の高いものを、目標の画面上の位置に相当する目標重心位置座標ｍの値とともに、目標の種類（カテゴリ）に対応するコードを付して、評価出力ｈとして出力する。
【００３９】
次に、本実施形態の画像処理装置の動作について、図１、図７及び図８を用いて説明する。
【００４０】
本実施形態の画像処理装置では、刻々変化する画像データａが、例えば図７及び図８において符号７３で示すようなフォーマットとタイミングで、赤外線撮像装置などから画像二値化部１に入力される。図７に示すフォーマット及びタイミングにおいて、入力画像データ７３は、撮像画面７０において、図示上から１ラインごとに、画素単位で輝度値の２進数数値データとして順番に出力される。この画像処理装置には、画面フレームの開始点を示す垂直同期信号７１及びラインの開始点を示す水平同期信号７２が入力画像データ７３と併せて供給されており、画像データの画素位置つまり撮像画面７０上のどの位置の画素の画像データであるかを知ることができるようになっている。このように同期信号が付された画像データａは、画像フレームごとに逐次入力されるようになっている。
【００４１】
画像二値化部１は、画像データａから、予め得られている目標識別対象目標の存在位置及び処理対象範囲のみを選択し、目標の位置の背景輝度値と目標輝度値から得られるしきい値により、例えば目標部分が「１」となり背景部分が「０」となるような二値化画像に変換する動作をして、図７に示したものと同じタイミングで、この二値化画像を二値化画像データｂとして出力する。ラベリング処理部２は、二値化画像データｂ（二値化された画像）において、目標以外の部分であって、背景雑音により誤って二値化されたことによって目標撮像部分から切り離されて点在する二値化された不要な部分をラベリング処理によって除外し、さらに、必要な範囲の画像サイズのデータに二値化画像データｂを削減し、ラベリング二値化画像データｃとして出力する。このとき、ラベリン二値化データｃは、ラベリング処理結果に基づき、図８において符号８３に示すタイミングにより、同期信号を付して出力されるこれと同時にラベリング処理部２は、ラベリング二値化画像データｃの画像フレーム送出完了時点から、この画像処理装置の評価値出力ｈが算出されるのに必要な時間余裕が経過した後に、処理同期信号ｊを出力する。ラベリング処理部２が行うラベリング処理の内容は、当業者にとってよく知られたものであり、また、本発明における特徴的な事項とは直接は関係しないので、その詳細な動作の説明は省略する。なお、入力された画像データａに対する画像二値化部１及びラベリング処理部２での処理は、入力画像を１画素ずつ取り込みながら入力画像全体を処理していくパイプライン処理により行われるため、入力画像データの１フレーム分の取り込みが完了した時点から、処理に必要なパイプライン長とラベリングの後処理分だけ遅れた時点で完了する。
【００４２】
次に、パターン検出部３は、ラベリング二値化画像データｃの画面全体にわたって順次比較を行うことにより、画面上において２×２画素の上述の９種類のパターンのいずれかと一致する点を検出し、一致するパターン点があった場合には、その検出された点の位置に対応するタイミングで、パターン検出信号ｄ１〜ｄ９うちの該当パターンに対応する信号をパルス信号として出力する。以下、図２、図３及び図９を用いて、パターン検出部３の動作の詳細を説明する。
【００４３】
パターン検出部３において、ラベリング二値化データｃが１画素遅延回路３ｂ１及び１ライン遅延回路３ａに供給され、１ライン遅延回路３ａの出力が１画素遅延回路３ｂ２に供給されることにより、これらの回路３ａ，３ｂ１，３ｂ２の入出力点である４点から、ラベリング二値化画像データｃからの縦横のサイズが２×２画素分のデータが取り出され、４本の信号線によって検出パターン論理回路３ｃに供給される。これらの２×２画素分のデータは、画像データでの１画素分ごとの入力に対応して、二値化された画面上において、最上のラインから最下のラインの順に、各ラインでは左上から右に１画素分ずつ移動しながら、出力されることになる。この２×２画素の二値化画像データは、検出パターン論理回路３ｃに同時に入力される。検出パターン論理回路３ｃでは、図４に示した２×２画素構成の９つのパターンのそれぞれごとに、当該パターンに対応して上述の４本の信号線に対して論理が設定されており、設定されたパターンと２×２画素の二値化画像データとが一致した場合にのみ、当該パターンについての４本の出力線のいずれにも「１」が出力される。
【００４４】
パターンごとにそのパターンの４本の出力線の出力の論理和（ＡＮＤ）を求める４入力ＡＮＤ回路３ｄ１〜３ｄ９が設けられており、４入力ＡＮＤ回路３ｄ１〜３ｄ９からは、それぞれパターン検出信号ｄ１〜ｄ９が出力する。したがって、これらの４入力ＡＮＤ回路３ｄ１〜３ｄ９からは、図３に示したパターンに一致する点が検出された時点で、その検出されたパターンに対応するパターン検出信号の出力線に、パルス信号が出力することになる。例えば、図３に示したパターン＃１と２×２画素の二値化画像データが一致する点では、パターン検出信号ｄ１のみにパルス信号が出力され、パターン＃２と一致する点では、パターン検出信号ｄ２のみにパルス信号が出力される、といった動作が行われる。したがって、１フレーム分のラベリング二値化画像データｃのデータの入力が完了した時点までにおいて、パターン検出信号ｄ１〜ｄ９として、それぞれパターン＃１〜＃９についての検出された点数の数だけのパルス信号が出力されることになる。例えば、パターン検出部３に対し、図９に示す二値化画像９０が入力されたとすると、パターン検出部３から出力されるパターン検出信号ｄ１〜ｄ９では、それぞれ図９の符号９１〜９９において黒で示した部分でパルスが発生する。
【００４５】
このようにして得られたパターン検出信号ｄ１〜ｄ９は、特徴量演算部４に供給され、それぞれのパルス数が、累積カウンタ４ａ１〜４ａ９によって、画像１フレーム分について累積カウントされる。したがって、１フレームの画像データの入力完了時点での累積カウンタ４ａ１〜４ａ９のカウント値は、それぞれ図３に示したパターン＃１〜＃９についての検出点数になっている。この検出点数の値は、パターン検出計数値ｅ１〜ｅ９として、特徴量算出部４ｂに取り込まれる。また、パターン検出計数値ｅ１〜ｅ９は、処理同期信号ｊによりクリアされるようになっている。
【００４６】
なお、パターン検出信号ｄ１〜ｄ９は、図８において符号８４で示すように、画像入力とほぼ同時に、正確にはラベリング二値化画像データｃから１ラインと１画素遅れで、パターン検出部３から逐次出力され、同時に、図８の符号８５に示すタイミングで、累積カウンタ４ａ１〜４ａ９によりカウントアップされる。したがって、ラベリング処理部２によるラベリング二値化画像データｃの出力完了時点から１ラインと１画素遅れ程度で、パターン検出計数値ｅ１〜ｅ９の値が揃うことになる。
【００４７】
特徴量算出部４ｂは、式(2)に基づいて、形状特徴量ｆ１〜ｆ８を算出する。
【００４８】
【数２】
2008225668.tif 000004
【００４９】
ここで、ｎiは、図３に示すパターン＃ｉについてのパターン検出計数値（すなわちｅｉ）であり、ｕiは形状特徴量（すなわちｆｉ）を示している。
【００５０】
以下、特徴量算出部４ｂの動作の詳細を説明する。図４に示すように特徴量算出部４ｂでは、パターン検出計数値ｅ１〜ｅ９は、まず、対数圧縮器４ｂ１に供給される。対数圧縮器４ｂ１は、例えば、ＲＯＭ（読出し専用メモリ）などを用いた索表による方法（ルックアップテーブルによる方法）によって、式(3)に示すように、ｎ1〜ｎ8（すなわちパターン検出計数値ｅ１〜ｅ９）をそれぞれ対数値Ｎ1〜Ｎ8に変換する。
【００５１】
【数３】
2008225668.tif 000005
【００５２】
変換後のＮ1〜Ｎ8の値のそれぞれについて、減算器４ｂ３により、Ｎ9の１／２の値を減じる。したがって、減算結果である値Ｕ1〜Ｕ8（すなわち形状特徴量対数値ｚ１〜ｚ８）は以下の式(4)で表すことができる。
【００５３】
【数４】
2008225668.tif 000006
【００５４】
この算出部の回路で扱われる数値は、正の２進数とすることができるため、式(4)の中にある１／２の演算に関しては、当該２進数値を右側に１桁（１ビット）ずらす（シフトする）のみでよい。
【００５５】
指数関数伸張器４ｂ２では、上記の形状特徴量対数値ｚ１〜ｚ８（値Ｕ1〜Ｕ8）をそれぞれ、以下の式(5)に基づいて元のスケールでの値に戻して、形状特徴量ｆ１〜ｆ８（値ｕ1〜ｕ8）としている。この伸張についても、例えば、対数圧縮を行うときと同様に、ＲＯＭなどを用いた索表による方法を用いることができる。
【００５６】
【数５】
2008225668.tif 000007
【００５７】
式(3)〜(5)から明らかなように、特徴量演算部４ｂから出力される形状特徴量ｆ１〜ｆ８の値は、前述の式(2)に示す演算値に一致する。
【００５８】
一方、目標外接四角形座標検出部６は、ラベリング二値化画像データｃを入力とし、例えばラベリング二値化画像データｃにおいて目標の塊が存在してデータ値が「１」となっている画素に着目して、二値化画像データにおいて目標に外接する四角形の座標を求める。本実施形態では、画素ごとのデータ値が逐次入力することから、データ値が「１」である画素の座標について、過去の座標値と逐次比較することによって、具体的には、「１」である画素の画面上の座標の横方向座標の最小値と最大値、縦方向の座標の最小値と最大値を残すようにして、処理対象のフレームが完了した時点で目標の塊に接する方形の四隅の座標が得られるようにする。この座標値は、次のフレームでの処理のため、処理同期信号ｊによりクリアされる。このようにして得られた座標値は、目標外接四角形座標ｋとして目標重心位置評価演算部８に引き渡される。
【００５９】
目標重心算出部７は、ラベリング二値化画像データｃにおける目標形状の面重心を求め、目標重心位置座標ｍとして目標重心位置評価演算部８に引き渡す。二値化された画像における目標の面重心の算出処理は、当業者にとってよく知られたものであり、また本発明の特徴的な事項とは直接は関係しないので、面重心算出処理の詳細な説明は省略する。
【００６０】
なお、目標外接四角形座標検出部６及び目標重心算出部７は、ラベリング二値化画像データｃの出力完了時点で、それぞれ外接四角形座標データｋ及び目標重心位置座標ｍの算出動作を終える。
【００６１】
次に、図５を用いて、目標重心位置評価演算部８（図１）を５により説明をする。目標重心位置評価演算部８において目標アスペクト比算出回路８ａは、目標外接四角形座標ｋに基づいて、目標に外接する四角形の縦横の比率を、例えば下記の式(6)により算出し、目標アスペクト比ｇ１として出力する。
【００６２】
【数６】
2008225668.tif 000008
【００６３】
ここで式(6)のＡｔは目標アスペクト比ｇ１の値であり、ｙmax及びｙminは、目標に外接する四角形の上下の辺の画面上の縦方向の画素単位で表した座標であり、ｘmax及びｘminは、左右の辺の横方向の画素単位で表した座標を示す。目標外接四角形内重心位置算出回路８ｂは、例えば下記の式(7a), (7b)を用いた計算により、目標に外接する四角形内の目標重心の位置関係を示す２つの値（Ｘo，Ｙo）を目標外接四角形内重心位置ｇ２として出力する。
【００６４】
【数７】
2008225668.tif 000009
【００６５】
ここで、式(7a), (7b)の右辺にある（ｘo，ｙo）は、目標面重心位置の画面上の座標を示す。目標重心位置評価演算部８で得られた目標アスペクト比ｇ１と目標外接四角形内重心位置ｇ２は、特徴量評価部５に引き渡される。
【００６６】
なお、特徴量算出部４ｂによる形状特徴量１ｆ１〜ｆ８の算出と、目標重心評価演算部８による目標アスペクト比ｇ１と目標外接四角形内重心位置ｇ２の算出処理動作は、図８の符号８６に示すタイミングで行われる。
【００６７】
次に、図６を用いて特徴量評価部５の動作を説明する。
【００６８】
特徴量比較演算回路５ｂは、形状特徴量ｆ１〜ｆ８、目標アスペクト比ｇ１及び目標外接四角形内重心位置ｇ２の合計１０種類の値から、それぞれ、特徴量基準値記憶／発生部５ａから出力されるそれらの特徴量に対する基準値である比較基準データｓを減算し、それらの差の絶対値を求める。そして、このようにして求められた１０種類の絶対値に対し、それらの目的に応じた重みＷ１〜Ｗ１０をそれぞれ乗算し、乗算後の値を全て加算して、比較差異値ｔとして特徴量評価結果出力部５ｄに引き渡す。したがって、形状特徴量ｆ１〜ｆ８の８種の値、目標アスペクト比ｇ１の値及び目標外接四角形内重心位置ｇ２の値は、それぞれ比較基準データｓとの違いに設定された重み付けに応じて、比較差異値ｔに反映される。この比較差異値ｔは、比較基準データｓの得られた目標の形状からの違いの程度を示す値として、特徴量評価結果出力部５ｄで扱われる。
【００６９】
ここで特徴量基準値記憶／発生部５ａからは、目標識別動作モードにおいて、形状特徴量ｆ１〜ｆ８の８種の値、目標アスペクト比ｇ１の値及び目標外接四角形内重心位置ｇ２が比較基準データｓとして逐次出力され、また、比較基準データｓに対応した比較差異値ｔが特徴量基準値記憶／発生部５ａに取り込まれる。比較基準データｓとして特徴量基準値記憶／発生部５ａから出力される形状特徴量ｆ１〜ｆ８の８種の値、目標アスペクト比ｇ１の値及び目標外接四角形内重心位置ｇ２は、基準値として予め設定されたものであるか、あるいは、後述する学習モードにおいて、複数の識別対象形状パターンに対するものとして記憶されたものである。特徴量評価結果出力部５ｄは、得られた複数の比較差異値ｔのうち、最も小さい値を有するものに対応する識別対象形状パターンを判別して、その判別された識別対象形状パターンが属するカテゴリを示すコード（符号）に対して、目標重心算出部７で得られた目標重心位置座標ｍを付して、評価値ｈとして出力する。
【００７０】
学習モードは、識別対象形状の基準となる画像データを入力して、比較基準データｓとなるべき形状特徴量ｆ１〜ｆ８、目標アスペクト比ｇ１の値及び目標外接四角形内重心位置ｇ２を特徴量基準値記憶／発生部５ａを記憶させるモードである。学習モードでは、基準として用いられる画像を画像データａとしてこの画像処理装置に与え、そのとき得られる形状特徴量ｆ１〜ｆ８の８種の値、目標アスペクト比ｇ１の値及び目標外接四角形内重心位置ｇ２の値を特徴量基準値記憶／発生部５ａに取り込ませ、識別対象形状パターンの属するカテゴリを示すコードと対応させてこれらの値を特徴量基準値記憶／発生部５ａに追加・記憶させる。
【００７１】
評価処理信号発生部５ｃは、外部から入力される動作モード指令ｎに対応して、前述の特徴量基準値記憶／発生部５ａと特徴量評価結果出力部５ｄの一連の動作をするための制御信号である特徴量基準値制御信号ｖ２と特徴量評価処理制御信号ｖ１を発生する。
【００７２】
このような特徴量評価部５における処理動作は、図８において符号８７に示すタイミングで行われる。本実施形態の画像処理装置の出力である評価値ｈは、特徴量評価部５の上述した動作が完了した時点で更新され、そののち外部に、この評価値ｈを更新するタイミングを知らせるタイミング信号として、処理同期信号ｊ（図１）が、図８の符号８９に示すタイミングで出力される。この処理同期信号ｊにより、累積カウンタ４ａ１〜４ａ９のカウント値と、目標外接四角形座標検出部６及び目標重心算出部７の処理結果とがクリアされ、次のフレームの処理の待ち受ける状態となる。
【００７３】
このようにして本実施形態の画像処理装置では、図８に示す通り、入力される画像データａの毎フレームについて１フレーム以内の遅れで、処理同期信号ｊに基づき、逐次刻々変化する画像に対応させて評価値ｈを外部に取り出すことができる。
【００７４】
本実施形態の画像処理装置では、図１に示す処理系統が、複数独立して設けられているため、複数の選択された目標に対し、それぞれの評価出力ｈが出力することができる。
【００７５】
以上説明した本実施形態の画像処理装置では、図３に示すような２×２画素マトリクスによる９種類のみの簡単なパターン＃１〜＃９により、二値化された目標二値化画像との一致する点の数を計数している。９種類のパターンのうちパターン＃１〜＃８は、目標二値化画像の塊とその背景の境界線の局所についての法線の８方向のベクトルに対応しており、それらの計数値は、境界線の８方向の法線ベクトルの発生頻度を表している。したがって、目標画像の背景との境界線の形状を反映して、パターン＃１〜＃８の検出数の分布状態が大きく変化することになる。これに対し、パターン＃９の検出計数値は、周囲画素を除いた目標の塊の画素数、つまり輪郭に相当する画素を除いた目標の面積に対応している。
【００７６】
ここで、二値化画像における目標の形状が相似である場合、パターン＃９の検出数の平方根の値と、パターン＃１〜＃８のそれぞれの目標二値化画像の一致点計数値とは、ほぼ比例関係にある。したがって、パターン＃１〜＃８の一致点の計数値をパターン＃９の検出数の平方根で除した値は、画像の大きさに左右されず、目標の形状のみを顕著に表した特徴量として扱うことができる。本実施形態では、目標形状の特徴を表す前述の９通りのパターンとの一致点の計数値は、簡単に実現できる累積カウンタを用いるのみで得ることができるため、目標の形状を顕著に現わした特徴量が簡単に得られる。ただし、図３に示す２×２画素マトリクスの一致点数により得られる特徴量のみを用いた場合には、目標画像全体の大まかな形状に関する情報が失われてしまう傾向が見られたため、本実施形態では、目標画像の縦横の比率を現す目標アスペクト比ｇ１と目標内の重心位置関係の情報である目標外接四角形内重心位置ｇ２とを併用することによって、より的確な目標の識別を行えるようにしている。目標アスペクト比ｇ１と目標外接四角形内重心位置ｇ２は、いずれも、特徴量評価部５において簡単に得られる値であり、２×２画素マトリクスに基づく特徴量に加えて目標アスペクト比ｇ１と目標外接四角形内重心位置ｇ２を使用したとしても、処理負担が著しく増大するわけではない。
【００７７】
さらに本実施形態では、上述した形状特徴量ｆ１〜ｆ８を計算するために、特徴量算出部４ｂ内に対数圧縮器４ｂ１と指数関数伸張器４ｂ２とを設け、平方根算出と除算とを対数スケール上で行うようにしている。この構成では、平方根の算出は、対数値上での単純な１／２の乗算で済み、除算は、対数値上での減算で実現できる。また、対数圧縮器４ｂ１と指数関数伸張器４ｂ２は、いずれも、ＲＯＭ等を使用した索表（ルックアップテーブル）による方法で簡単に実現できる。したがって本実施形態によれば、処理の高速化と処理回路の簡素化が実現できる。
【００７８】
以上説明した本実施形態の画像処理装置は、誘導飛翔体などに搭載して実時間処理を行うという制約から、基本的には、ハートウェアによって構成される。しかしながら、入力する画像データａにおける画像フレーム間隔や、処理時間が許す範囲内にいて、例えば特徴量算出部４ｂ、目標重心位置評価演算部８の全部もしくは一部を、ＣＰＵとＣＰＵへのインタフェースとＣＰＵ上で実行されるプログラムとによって実現することができる。さらに、特徴量評価部５は、特徴量評価部についての上述した機能を実現するニューラルネットによって構成されてもよい。
【図面の簡単な説明】
【００７９】
【図１】本発明の実施の一形態の画像処理装置の構成を示すブロック図である。
【図２】パターン検出部の構成例を示す回路図である。
【図３】パターン検出部でのパターン検出に使用されるパターンの説明図である。
【図４】特徴量演算部の構成例を示すブロック図である。
【図５】目標重心位置評価演算部の構成例を示すブロック図である。
【図６】特徴量評価部の構成例を示すブロック図である。
【図７】入力画像データを説明する図である。
【図８】図１に示す画像処理装置の動作を説明するタイミングチャートである。
【図９】パターン検出部に対する入力二値化画像とその出力の検出結果との関係を示す図である。
【符号の説明】
【００８０】
１    画像二値化部
２    ラベリング処理部
３    パターン検出部
３ａ    １ライン遅延回路
３ｂ１，３ｂ２    １画素遅延回路
３ｃ    検出パターン論理回路
３ｄ１〜３ｄ９    ４入力ＡＮＤ回路
４    特徴量演算部
４ｂ１    対数圧縮器
４ｂ２    指数関数伸張器
４ｂ３    減算器
４ｂ４    １／２乗算回路
５    特徴量評価部
５ａ    特徴量基準値記憶／発生部
５ｂ    特徴量比較演算回路
５ｃ    評価処理制御信号発生部
５ｄ    特徴量評価結果出力部
６    目標外接四角形座標検出部
７    目標重心算出部
８    目標重心位置評価演算部
８ａ    目標アスペクト比算出回路
８ｂ    目標外接四角形内重心位置算出回路
【図１】
2008225668.tif 000010
【図２】
2008225668.tif 000011
【図３】
2008225668.tif 000012
【図４】
2008225668.tif 000013
【図５】
2008225668.tif 000014
【図６】
2008225668.tif 000015
【図７】
2008225668.tif 000016
【図８】
2008225668.tif 000017
【図９】
2008225668.tif 000018