(57)【要約】【課題】  従来、目標検出処理を実施する際に目標検出領域の信号レベルが基準値を超えるところを目標としていたが、この方法では外乱変動、例えば時間的変化及び天候等の環境変化による目標の温度変化等が生じた場合にオペレータが必要としていない領域も目標として間違って検出してしまう誤検出が発生してしまう課題点があった。【解決手段】  検出領域部を備えることによって、水平線検出処理による検出領域の限定、潜水艦の潜望鏡等のカメラ高情報を参考に検出領域の限定、あるいは潜水艦のほかシステムから海図等の情報を参考に検出領域の限定を行うことが可能となり、オペレータが必要としない領域の誤検出を防ぐことができ、より効果的なマーキング可視画像あるいはマーキング赤外画像をマンマシンインターフェース等の画像表示部に表示することができる目標検出装置を得ることができる。【選択図】        図１
2006160140.tif 000002
【特許請求の範囲】
【請求項１】
潜水艦の潜望鏡等の赤外線カメラで撮影された赤外画像、処理選択情報、潜望鏡高及び潜水艦深度等の情報を持ったカメラ情報、海図情報、画像の処理領域を限定する指定領域情報とを入力し、目標検出を実施する画像領域を判定する検出領域判定部と、前記赤外画像及び前記検出領域判定部にて判定された領域情報を入力し、その入力画像の判定された領域のみ目標検出処理を実施する目標検出部と、潜水艦の潜望鏡等の可視画像と前記赤外画像と前記目標検出部で検出された目標検出領域情報を入力し、入力画像上に目標検出領域情報をマーキングする検出領域合成部と、前記検出領域合成部で処理されたマーキング画像を入力し、入力したマーキング画像を表示する画像表示部とを備えた目標検出装置。
【請求項２】
前記検出領域判定部は、水平線検出処理を行い、水平線を境界線として目標検出する領域を限定する請求項１に記載の目標検出装置。
【請求項３】
前記検出領域判定部は、潜水艦の潜望鏡等のカメラ高情報を入力し、目標検出する領域を限定する請求項１に記載の目標検出装置。
【請求項４】
前記検出領域判定部は、海図等の情報から目標検出する領域を限定する請求項１に記載の目標検出装置。
【請求項５】
前記検出領域判定部は、水平線検出処理を行い、検出した水平線、潜水艦の潜望鏡等のカメラ高情報、及び海図等の情報から目標検出する領域を限定する請求項１に記載の目標検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、潜水艦の潜望鏡等の可視画像あるいは赤外画像で撮影された可視画像あるいは赤外画像をマンマシンインターフェース等の画像表示部に表示する際に、赤外画像等を用いてオペレータが捜索する目標を自動で検出し、検出した領域を可視画像あるいは赤外画像上にマーキングして、そのマーキング画像を画像表示部に表示する目標検出装置に関するものである。
【背景技術】
【０００２】
従来、目標検出装置においては、所定の大きさの目標検出領域と、この目標検出領域の周囲の背景検出領域のうち、背景検出領域の信号レベルが略均一で、かつ、目標検出領域の信号レベルが基準値を超えるとき、目標検出領域の画素を孤立点として抽出する孤立点抽出フィルタと、孤立点抽出フィルタの出力から目標検出領域の孤立点の画素を連結して1目標として抽出する連結処理フィルタとを有することを特徴としている。また、前記孤立点抽出フィルタは背景検出領域の平均信号レベルとの差が予め設定した基準値以上である信号レベルを有する画素が存在しない背景のみを検出する背景検出部と、目標検出領域の平均信号レベルとの差が予め設定した基準値を超える信号レベルを有する画素のみを検出する目標検出部と、背景検出部の出力と目標検出部の出力とから、画素が孤立点かどうかの判定をする目標判定部とからなることを特徴とするものがある（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平５−２６６１９１号公報（第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の目標検出装置は以上のように構成されているので、目標検出処理を実施する際に目標検出領域の信号レベルが基準値を超えるところを目標としていたが、この方法では外乱変動、例えば時間的変化及び天候等の環境変化による目標の温度変化等が生じた場合にオペレータが必要としていない領域も目標として間違って検出してしまう誤検出が発生してしまう課題点があった。
【０００５】
この発明は、上記のような課題点を解消するためになされたもので、時間的変化及び天候の環境変化等の外乱変動に影響されず、本当にオペレータが必要とする領域を自動で抽出できるとともに、自動で抽出した領域をオペレータの操作により領域を変更することを可能とし、抽出した領域を画像上にマーキングして、そのマーキング画像をマンマシンインターフェース等の画像表示部に表示できる目標検出装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
請求項１の発明に係る目標検出装置は、潜水艦の潜望鏡等の赤外線カメラで撮影された赤外画像、処理選択情報、潜望鏡高及び潜水艦深度等の情報を持ったカメラ情報、海図情報、画像の処理領域を限定する指定領域情報とを入力し、目標検出を実施する画像領域を判定する検出領域判定部と、前記赤外画像及び前記検出領域判定部にて判定された領域情報を入力し、その入力画像の判定された領域のみ目標検出処理を実施する目標検出部と、潜水艦の潜望鏡等の可視画像と前記赤外画像と前記目標検出部で検出された目標検出領域情報を入力し、入力画像上に目標検出領域情報をマーキングする検出領域合成部と、前記検出領域合成部で処理されたマーキング画像を入力し、入力したマーキング画像を表示する画像表示部とを備えたことを特徴とするものである。
【０００７】
請求項２の発明に係る目標検出装置は、水平線検出処理を行い、水平線を境界線として目標検出する領域を限定する請求項１に記載のものである。
【０００８】
請求項３の発明に係る目標検出装置は、潜水艦の潜望鏡等のカメラ高情報を入力し、目標検出する領域を限定する請求項１に記載のものである。
【０００９】
請求項４の発明に係る目標検出装置は、海図等の情報から目標検出する領域を限定する請求項１に記載のものである。
【００１０】
請求項５の発明に係る目標検出装置は、水平線検出処理を行い、検出した水平線、潜水艦の潜望鏡等のカメラ高情報、及び海図等の情報から目標検出する領域を限定する請求項１に記載のものである。
【発明の効果】
【００１１】
以上のように、本出願に係る発明によれば、検出領域部を備えることによって、水平線検出処理による検出領域の限定、潜水艦の潜望鏡等のカメラ高情報を参考に検出領域の限定、あるいは潜水艦のほかシステムから海図等の情報を参考に検出領域の限定を行うことが可能となり、オペレータが必要としない領域の誤検出を防ぐことができ、より効果的なマーキング可視画像あるいはマーキング赤外画像をマンマシンインターフェース等の画像表示部に表示することができる目標検出装置を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、この発明の実施の形態について図１〜９を用いて説明する。図１は、この発明の実施の形態による処理領域を限定し、目標検出処理を実施し、検出領域をマーキングしてマーキング画像を表示する目標検出装置の構成を示した全体構成図である。図１において、１は潜水艦の潜望鏡等の赤外カメラで撮影された赤外画像とオペレータによって選ばれる処理選択情報と潜望鏡高及び潜水艦深度等の情報を持ったカメラ情報と他システムの情報をもった海図情報とオペレータの指定による処理領域を限定するオペレータ指定領域情報が入力される検出領域判定部、２は潜望鏡等の赤外カメラで撮影された赤外画像と目標検出処理を行う処理領域を限定した領域情報が入力される目標検出部、３は潜望鏡等の可視カメラで撮影された可視画像と目標検出処理で検出された領域である目標検出領域情報が入力される検出領域合成部、４はマーキング画像が入力され、マーキング画像を表示する画像表示部である。
【００１３】
図２は、この発明の実施の形態による検出領域判定部の構成図である。図２において、１１は水平線検出処理，潜望鏡高情報処理，海図情報処理のうち、どの処理を行うかを処理選択情報から判定をする処理判定部、１２は水平線検出処理を行い、目標検出処理領域を限定する座標を求める水平線検出部である。図３は、この発明の実施の形態による水平線検出部の構成図である。図３において、１２１は赤外画像をある一定のサイズに縮退するガウシアンフィルタ処理部、１２２はガウシアンフィルタ処理部１２１により縮退された縮退画像のエッジ強度を抽出するソーベルフィルタ処理部、１２３はソーベルフィルタ処理部１２２によりエッジ強度を抽出されたエッジ画像をフィルタにかけてエッジ個数を加算するエッジ強度加算部、１２４はエッジ強度加算部１２３によりエッジ個数を加算された累積エッジ強度画像からピーク値を算出する累積エッジピーク算出部、１２５は累積エッジピーク算出部１２４により算出された累積エッジピーク値から目標検出処理を実施する領域を限定する限定領域判定部である。図４は、この発明の実施の形態によるガウシアンフィルタ処理部の構成図である。図５は、この発明の実施の形態によるガウシアンフィルタ処理部の処理イメージ図である。図６は、この発明の実施の形態によるガウシアンフィルタを通るエッジの個数を加算するイメージ図である。図６において、ｒはエッジ画像の縦方向の座標、θは座標ｒから横方向に延ばした直線と座標ｒを原点とする角度である。図中、同一符号は、同一又は相当部分を示しそれらについての詳細な説明は省略する。
【００１４】
図７は、この発明の実施の形態によるスポークフィルタの構成図である。図７において、２１は入力された赤外画像の濃淡変化からエッジを検出するエッジ検出部、２２はエッジとして検出された画素からスポークという線分をエッジ方向へ発生させ、画素ごとにスポークが交差している交差数をカウントするスポーク発生部、２３はカウントされた交差数を予め定められた閾値と入力された交差数を比較し、閾値以上のスポーク交差数をもつ画素を選択する閾値判定部である。図８は、この発明の実施の形態による統計的２値化による背景差分から目標抽出を行う目標抽出部の構成図である。図８において、２４は現在フレームより前の過去フレームを数フレーム記憶するフレームバッファ、２５は指定された領域の画素についての平均、分散及び標準偏差を求める過去フレーム計算部、２６は過去フレーム計算部２５で計算された０〜Ｎ−１までの平均と標準偏差を用いて現在フレームを差分２値化する背景差分部である。図９は、この発明の実施の形態による現在フレームと前の過去フレームとの関係図である。図９において、２０１は過去フレームの平均を取った平均画像、２０２は可視画像上と赤外画像上に目標検出領域で指定された領域をマーキングされたマーキング画像である。また図９において、処理の一例として点線を領域情報とした。図９では、点線の領域情報４以外も処理されていることになっているが、処理内容がわかりやすいように便宜上、このように図示している。実際は、領域情報にて指定された画像領域のみこの処理を実施する。図中、同一符号は、同一又は相当部分を示しそれらについての詳細な説明は省略する。
【００１５】
次に動作について図１を用いて説明する。検出領域判定部１は、処理３パターン（処理１：水平線を参照して領域判定、処理２：カメラ高情報を参照して領域判定、処理３：海図情報等を参照して領域判定）の中から処理選択情報で選択されている処理を選択、処理を行い、さらに、オペレータ指定領域情報からも目標検出処理を行うべき領域を領域情報として目標検出部２に送出する。目標検出部２では、赤外画像を領域情報で指定された画像領域において高輝度の塊を単数、または複数検出し、検出した領域を目標検出領域情報として検出領域合成部３へ送出する。検出領域合成部３では、可視画像と赤外画像上の検出された目標検出領域情報の領域を赤色またはオペレータが指定した色によってマーキングを行い、マーキング画像を画像表示部４へ送出し、マーキング画像が画像表示部で表示される。
【００１６】
検出領域判定部１の具体的な処理について図２〜６を用いて説明する。赤外画像と処理選択情報が処理判定部１１に入力され、処理判定部１１が、水平線検出処理，カメラ情報から得られる潜望鏡高情報処理，海図情報から得られる海図情報処理のうち、どの処理を行うか判定をする。ここで、水平線検出処理は、水平線検出部１２が行う。水平線検出部１２は入力される赤外画像をある一定のサイズに縮退するガウシアンフィルタ処理部１２１と入力される縮退画像のエッジ強度を抽出するソーベルフィルタ処理部１２２と入力されるエッジ画像をフィルタにかけてエッジ個数を加算するエッジ強度加算部１２３と入力される累積エッジ強度画像からピーク値を算出する累積エッジピーク算出部１２４と入力される累積エッジピーク値から目標検出処理を実施する領域を限定する限定領域判定部１２５から構成されている。
【００１７】
ガウシアンフィルタ処理部１２１の処理内容を示す。図４のように画像にガウシアンフィルタ（ｇａｕｓｓｉａｎ  ｆｉｌｔｅｒ）をかけてダウンサンプリング（ｄｏｗｎ  ｓａｍｐｌｉｎｇ）し、再度ガウシアンフィルタをかけてダウンサンプリングする。この処理を任意の回数を繰り返し、その画像の縮退画像を得る。図５にガウシアンフィルタ処理イメージを示す。ガウシアンフィルタ処理とは解像度変換で画素を間引く前に画素をぼかすためのフィルタ処理である。ガウシアンフィルタ処理により、間引かれる画素の情報を隣接画素に残すことができる。式（１）及び（２）により、ガウシアンフィルタ処理を行う。
【００１８】
【数１】
2006160140.tif 000003
【００１９】
ソーベルフィルタ処理部１２２の処理内容を示す。ソーベルフィルタはＸ方向及びＹ方向のエッジを検出するフィルタであり、式（３）及び式（４）を計算することにより、Ｘ方向、Ｙ方向それぞれのエッジ画像ｇｘ（ｉ，ｊ）とｇｙ（ｉ，ｊ）を求める。エッジ画像を求めた後、エッジ強度Ｍ（ｉ，ｊ）を求める。このエッジ強度Ｍ（ｉ，ｊ）が任意の値よりも大きければエッジとし、それ以下であればエッジとしない。ソーベルフィルタ処理部１２２は画素毎にエッジであるかどうかの２値（０ｏｒ１）を持ったエッジ画像をエッジ強度加算部１２３に送出する。
【００２０】
【数２】
2006160140.tif 000004
【００２１】
エッジ強度加算部１２３では、図６に示すようなフィルタをエッジ画像にかけて、フィルタを通るエッジの個数を加算する。そして、r、θを変化させ、各r、θでのエッジ個数を全て算出し、累積エッジ画像３２６を累積エッジピーク算出部１２４へ送出する。累積エッジピーク値算出部３２６では入力される累積エッジ画像の中から最もエッジ個数が多い（r，θ）の組み合わせを算出し、それを累積エッジピーク値として限定領域判定部１２５へ送出する。限定領域判定部１２５では入力される累積エッジピーク値の（r，θ）を水平線と考え、潜望鏡で捉える目標の位置は水平線以上であることを考慮すると、目標検出処理を実施する領域はそれより上側のみで良いということになる。そのため、限定領域判定部１２５は水平線以上の座標値を領域情報として送出する。
【００２２】
また、潜望鏡高情報処理では入力されるカメラ情報に含まれる潜水艦深度及び潜望鏡高情報から画像の水平線の位置を推測する。そして、水平線以上の座標値を領域情報として送出する。海図情報処理では入力される海図情報に含まれる潜水艦の目標位置を確認できる周辺状況情報から今の潜望鏡の方位の視野角内に映像として捉えられているであろう画像上の目標の位置を推測し、座標を算出する。そして、その目標がいると思われる領域の座標値を領域情報として送出する。さらに、オペレータ指定領域情報では入力されるオペレータ指定領域情報処理に含まれるオペレータが必要としている処理領域を選択した情報をもとに目標検出処理を実施する領域を限定する。そのオペレータ指定領域の座標値を領域情報として目標検出部２に送出する。
【００２３】
目標検出部２の具体的な処理について図７及び図８を用いて説明する。目標検出部２は、入力される赤外画像から濃度の高い部分を目標として検出し、領域情報の領域を目標として検出する。そして、標領域の座標情報を目標検出領域情報として送出する。また、検出した目標が複数あれば、それぞれに対応して複数の目標領域の座標情報を目標検出領域情報として送出する。従って、目標検出情報は複数の座標情報を含むことになる。本実施の形態では、目標検出部２の機能を図７に示したスポークフィルタで実現したものと図８に示した統計的２値化による背景差分を用いて実現したものを説明する。
【００２４】
図７は、目標検出部２をスポークフィルタで構成した図である。入力された赤外画像の濃淡変化から、ラプラシアンフィルタなどからなるエッジ検出部２１により、画像の領域情報中のエッジを検出し、エッジ画像をスポーク発生部２２へ出力する。スポーク発生部２２では、エッジとして検出された画素からスポークという線分をエッジ方向へ発生させる。そして、画素ごとにスポークが交差している交差数をカウントし、交差数を閾値判定部２３に出力する。閾値判定部２３では、予め定められた閾値と入力された交差数を比較し、閾値以上のスポーク交差数をもつ画素を選択する。そして、この検出した領域の座標を求め目標検出領域情報として出力する。
【００２５】
図８は、統計的２値化による背景差分から目標抽出を行う目標抽出部２の構成を示す図である。フレームバッファ２４は、現在フレームより前の過去フレームを数フレーム記憶するバッファである。このときフレーム内の領域情報で指定された領域のみを記憶する。現在フレームをＩｔ＋Ｎ（ｘ，ｙ）とすると、過去フレームはＩｔ＋Ｎ−１（ｘ，ｙ）、Ｉｔ＋Ｎ−２（ｘ，ｙ）、・・・、Ｉｔ（ｘ，ｙ）と表せる。図９は、フレームの関係を示したものである。過去フレーム計算部２５では、領域情報で指定された領域の画素（ｘ，ｙ）についての平均ｍ（ｘ，ｙ）、分散Ｖ（ｘ，ｙ）と標準偏差Ｓ（ｘ，ｙ）を式（５）、式（６）、式（７）により求める。図９の平均画像２０１では式（１）で計算された平均画像を示している。平均を取るため、動いていない対象は濃度が高く、早く動く対象ほど濃度が低い画像となる。次に、背景差分部２６では、過去フレーム計算部２５で計算された０〜Ｎ−１までの平均ｍ（ｘ，ｙ）と標準偏差Ｓ（ｘ，ｙ）を用いて現在フレームＩｔ＋Ｎ（ｘ，ｙ）を差分２値化する。例えば、２値化の条件を下記のようにすれば、もしＩｔ＋Ｎ（ｘ，ｙ）−ｍ（ｘ，ｙ）＞２．５Ｓ（ｘ，ｙ）であれば、Ｏｔ＋Ｎ＝２５５、となり、そうでなければ、Ｏｔ＋Ｎ＝０、となる。図９のマーキング画像２０２は、Ｏｔ＋Ｎが現フレームの出力２値化画素となる。つまり、分散Ｓ（ｓ，ｙ）が大きい（ノイジーな部分）ほど閾値が高く、分散Ｓ（ｘ，ｙ）が小さいほど閾値が低くなる。このようにすることにより、変化がない場所に目標が出現、または移動してくるとノイズとは区別して目標として検出することができる。そして、この検出した領域の座標を目標検出領域情報として出力する。
【００２６】
【数３】
2006160140.tif 000005
【００２７】
検出領域合成部３では入力された可視画像上と赤外画像上に目標検出領域で指定された領域を式（８）赤色またはオペレータの指定色でマーキングする。そして、マーキングされた画像をマーキング画像として画像表示部４に送出し、画像表示部４でマーキング画像を表示する。
【００２８】
【数４】
2006160140.tif 000006
【図面の簡単な説明】
【００２９】
【図１】この発明の実施の形態による目標検出装置の構成を示した全体構成図である。
【図２】この発明の実施の形態による検出領域判定部の構成図である。
【図３】この発明の実施の形態による水平線検出部の構成図である。
【図４】この発明の実施の形態によるガウシアンフィルタ処理部の構成図である。
【図５】この発明の実施の形態によるガウシアンフィルタ処理部の処理イメージ図である。
【図６】この発明の実施の形態によるガウシアンフィルタを通るエッジの個数を加算するイメージ図である。
【図７】この発明の実施の形態によるスポークフィルタの構成図である。
【図８】この発明の実施の形態による統計的２値化による背景差分から目標抽出を行う目標抽出部の構成図である。
【図９】この発明の実施の形態による現在フレームと前の過去フレームとの関係図である。
【符号の説明】
【００３０】
１…検出領域判定部  １１…処理判定部  １２…水平線検出部
１２１…ガウシアンフィルタ処理部  １２２…ソーベルフィルタ処理部
１２３…エッジ強度加算部  １２４…累積エッジピーク算出部  １２５…限定領域判定部
２…目標検出部  ２１…エッジ検出部  ２２…スポーク発生部  ２３…閾値判定部
２４…フレームバッファ  ２５…過去フレーム計算部  ２６…背景差分部
２０１…平均画像  ２０２…マーキング画像  ３…検出領域合成部  ４…画像表示部
【図１】
2006160140.tif 000007
【図２】
2006160140.tif 000008
【図３】
2006160140.tif 000009
【図４】
2006160140.tif 000010
【図５】
2006160140.tif 000011
【図６】
2006160140.tif 000012
【図７】
2006160140.tif 000013
【図８】
2006160140.tif 000014
【図９】
2006160140.tif 000015