(57)【特許請求の範囲】
【請求項１】
目標と前記目標の背景から入射する赤外線を互いに直交する平面偏光に分離し、分離した前記赤外線の各々を２次元座標に配列された受光素子からなる画像センサで受光し、前記受光素子で電気信号量に変換して出力した各々の画像信号の間で前記２次元座標の同一の座標位置にある前記電気信号量の差分をとって求めた偏光差分画像信号を出力すると共に、前記２次元座標の同一の座標位置にある前記電気信号量を加算して求めた輝度画像信号を出力する偏光画像撮像装置と、
抽出しようとする目標とその背景の組み合わせと、当該組み合わせにおける前記目標の偏光差分画像信号と前記背景の偏光差分画像信号とが分離可能となる閾値とが関連付けされたデータを予め記憶する閾値データベースと、
抽出しようとしている目標とその背景の組み合わせに基づいて、前記閾値データベースから選択した前記閾値との比較に基づいて前記偏光差分画像信号の電気信号量を二値化した二値化画像信号を出力する二値化回路と、
前記２次元座標の同一の座標位置にある、前記二値化画像信号の二値化後の値と前記輝度画像信号の前記電気信号量とを乗算して得られる画像により前記目標の候補を抽出する目標候補抽出部とを備えた赤外線目標選択装置。
【請求項２】
更に、目標の形状と輝度の情報である目標情報を格納した目標画像データベースと、
前記目標の候補と、前記目標画像データベース中の目標情報とを照合して、前記目標の候補の中から目標を選択する目標判定処理部とを備えた請求項１記載の赤外線目標選択装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線画像の中から目標を選択する赤外線目標選択装置に関するものである。詳しくは、目標に向けて飛しょう体を誘導する赤外線誘導装置に用いられ、赤外線画像の中から艦船等の目標を選択する赤外線目標選択装置に関するものである。
【背景技術】
【０００２】
従来、目標からの赤外光を検知して目標を選択し、選択した目標に向けて飛しょう体を誘導する赤外線誘導装置が知られている（例えば、特許文献１、２参照）。
【０００３】
【特許文献１】特開２００３−８４０５４号公報（第５頁、第１図）
【特許文献２】特開昭６２−２５９１１２号公報（第３頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来、赤外線で撮像した赤外線撮像画像により海上に浮かぶ船舶などの目標を抽出する際、目標とその背景とでは一般に温度差があることを利用して、所定の温度（輝度）以上の個所が目標であるとして目標を抽出する画像処理が行われていた。しかしながら、太陽光などにより背景が部分的に熱せられて目標とその背景との温度差が微小となった場合では、赤外線撮像装置で撮像した赤外線撮像画像では目標と背景とのコントラストがとれないために目標を正しく認識することができず、結果として誤った対象物を選択してしまうという課題があった。
また、目標に温度分布があるような場合は、赤外線撮像画像に映る目標の形状が実際の形状と異なるため、画像照合の結果、誤った対象物を選択してしまうという課題があった。
【０００５】
本発明はこのような課題を解決するためになされたもので、目標とその背景との温度差が微小な場合であっても、赤外線撮像画像の中で確実に、正しい目標を選択することができる赤外線目標選択装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、この発明の赤外線目標選択装置は、目標と前記目標の背景から入射する赤外線を互いに直交する平面偏光に分離し、分離した前記赤外線の各々を２次元座標に配列された受光素子からなる画像センサで受光し、前記受光素子で電気信号量に変換して出力した各々の画像信号の間で前記２次元座標の同一の座標位置にある前記電気信号量の差分をとって求めた偏光差分画像信号を出力すると共に、前記２次元座標の同一の座標位置にある前記電気信号量を加算して求めた輝度画像信号を出力する偏光画像撮像装置と、抽出しようとする目標とその背景の組み合わせと、当該組み合わせにおける前記目標の偏光差分画像信号と前記背景の偏光差分画像信号とが分離可能となる閾値とが関連付けされたデータを予め記憶する閾値データベースと、抽出しようとしている目標とその背景の組み合わせに基づいて、前記閾値データベースから選択した前記閾値との比較に基づいて前記偏光差分画像信号の電気信号量を二値化した二値化画像信号を出力する二値化回路と、前記２次元座標の同一の座標位置にある、前記二値化画像信号の二値化後の値と前記輝度画像信号の前記電気信号量とを乗算して得られる画像により前記目標の候補を抽出する目標候補抽出部とを備えるようにした。
【発明の効果】
【０００７】
この発明の赤外線目標選択装置によれば、目標とその背景との温度差が微小である場合であっても、赤外線撮像画像の中で目標を正しく確実に選択することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
本発明の実施の形態１の赤外線目標選択装置について図を参照して説明する。図１は、実施の形態１の赤外線目標選択装置１の構成を示すブロック図である。
【０００９】
図１において、赤外線目標選択装置１は、外部からの赤外線入力光１００を受光して光電変換し、偏光差分アナログ画像データ１０１と輝度アナログ画像データ１０６とを出力する偏光画像撮像装置１０と、偏光差分アナログ画像データ１０１をＡ／Ｄ（Analog/Digital）変換して偏光差分デジタル画像信号１０２を出力するＡＤ変換回路１１と、目標と背景との組み合わせ毎に、背景に相当する偏光差分デジタル画像信号と目標に相当する偏光差分デジタル画像信号とが分離可能となる閾値を予め設定して記憶した閾値データベース１７と、この閾値を用いて偏光差分デジタル画像信号１０２を二値化して、二値化デジタル画像信号１０３を出力する二値化回路１３と、輝度アナログ画像データ１０６をＡ／Ｄ変換して輝度デジタル画像信号１０７を出力するＡＤ変換回路１２と、二値化デジタル画像信号１０３と輝度デジタル画像信号１０７を入力して各画像の画素毎に画像処理することで目標候補の形状と輝度の情報を抽出して目標候補抽出画像１０４を出力する領域特徴量計測部１４と、目標の形状及び輝度を示した目標情報１０８が予め記憶された目標形状画像データベース２０と、目標候補抽出画像１０４と目標情報１０８とを照合することで目標候補抽出画像１０４の中から目標を選択する目標判定処理部１５とを備える。
【００１０】
図２は、偏光画像撮像装置１０の構成と動作を説明する図である。偏光画像撮像装置１０は、偏光子５１と差分信号処理部５２と加算信号処理部５３と第１の赤外線画像センサ５４と第２の赤外線画像センサ５５を備えている。
偏光プリズムや複屈折材料を用いた干渉フィルタ等で代表される偏光子５１は、目標やその背景から入射する赤外線入力光１００を互いに直交した平面偏光であるＰ波赤外線９０ＰとＳ波赤外線９０Ｓとに分離して出力する。
複数の受光素子が２次元配列された第１の赤外線画像センサ５４は、Ｐ波赤外線９０Ｐを光電変換し、電気信号に変換した後のＰ波偏光画像信号１００Ｐを出力する。ここでＰ波偏光画像信号１００Ｐは、第１の赤外線画像センサ５４を構成する２次元配列の受光素子の各々に対応した画素の座標位置（ｘ、ｙ）の情報と、その座標位置における電気信号量のデータを具える。
同様に、複数の受光素子が２次元配列された第２の赤外線画像センサ５５はＳ波赤外線９０Ｓを光電変換して、電気信号に変換後のＳ波偏光画像信号１００Ｓを出力する。Ｓ波偏光画像信号１００Ｓは、同様に、第２の赤外線画像センサ５５を構成する２次元配列の受光素子の各々に対応する画像画素の座標位置（ｘ、ｙ）の情報と、その座標位置における電気信号量のデータを具えている。
また、第１の赤外線画像センサ５４と第２の赤外線画像センサ５５の画像センサ同士の座標軸や原点位置は、予め一致させておく。
【００１１】
次に加算信号処理部５３は、Ｐ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓを入力する。加算信号処理部５３は、入力したＰ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓとを用いて、同一の座標位置（ｘ、ｙ）にある受光素子からのＰ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓの電気信号量を加算する処理を、各画素単位で行い、輝度アナログ画像データ１０６として出力する。
輝度アナログ画像データ１０６は、画素の座標位置（ｘ、ｙ）の情報と、その座標位置における加算処理後の電気信号量のデータを具える。
【００１２】
このように加算信号処理部５３は、偏光子５１で一度分離して得たＰ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓの電気信号量を、画素毎に加算する演算処理を行う。これにより、目標とその背景から入射した赤外線入力光１００の画像の輝度情報として、輝度アナログ画像データ１０６を得る。
【００１３】
差分信号処理部５２は、Ｐ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓを入力する。差分信号処理部５２は、入力したＰ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓとを用いて、同一の座標位置（ｘ、ｙ）にある受光素子からのＰ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓの電気信号量の差分を求める処理を、各画素単位で行い、偏光差分アナログ画像データ１０１として出力する。
偏光差分アナログ画像データ１０１は、画素の座標位置（ｘ、ｙ）の情報と、その座標位置における差分演算処理後のデータを具える。
【００１４】
このように差分信号処理部５２は、偏光子５１で一度分離して得たＰ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓの電気信号量において、画素毎にその差分を求める演算処理を行う。差分をとることにより、目標とその背景から入射した赤外線入力光１００の画像位置に対応した偏光度の情報として、偏光差分アナログ画像データ１０１を得ることができる。
【００１５】
ここで偏光度は例えば式１により示される値であり光線の偏光の程度を示す。例えば、光線の偏光がないときには偏光度Ｐはゼロの値となる。差分信号処理部５２は上述したようにＰ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓの差分を求めることにより、式（１）で示した偏光度Ｐに対応する数値を得ることができる。
【００１６】
【数１】
0005176289.tif 000002
【００１７】
ここで、物体から放射される電磁波の偏光特性（偏光度）は、その材質、表面状態などの物理特性の違いから、一般に異なっている。例えば、電磁波として赤外線を考え、目標物体を直接の赤外線源とし、背景を太陽光線を反射する海面等とする。このような場合、目標物体からの赤外線は特定の偏光面を持たないのに対し、背景からの反射赤外線はほとんどの場合、或る方向に偏光している。このため、図２の例において、海面から入射した反射赤外線は偏光子５１によってその直行する偏光成分を減衰されるため、特定の偏光面を持たない目標とのコントラストを高くとることができる。
【００１８】
このようにして、目標とその背景との温度差が微小な場合で、これらを撮像した赤外線撮像画像においてコントラストがとれないような場合であっても、目標とその背景との偏光特性（偏光度）の差を利用することにより、目標の輪郭を抽出することが可能となる。
【００１９】
これより、実施の形態１の赤外線目標選択装置が、入射する赤外線の偏光特性（偏光度）の差を利用することにより目標を抽出するまでを、具体例に基づき説明する。
【００２０】
図３は、実施の形態１の偏光画像撮像装置１０が赤外線撮像する撮像対象物を、可視光領域でみたときのイメージ図（原画像）の一例である。図３で、選択目標である船が海上に浮かんでいる。そして、船と海面との温度差は微小であるとする。この時、これらの船と海面とを通常の赤外線撮像装置で撮像した場合は、船と海面とのコントラストがとれないために、赤外線画像から船を正確に抽出することができない。
【００２１】
図４（ａ）は、上記撮像対象物である船と海面とから入射する赤外線を偏光画像撮像装置１０の偏光子５１で分離した後、撮像し、加算信号処理部５３において加算処理して出力した輝度アナログ画像データ１０６をＡＤ変換回路１２でデジタル化した輝度デジタル画像信号１０７を示した図である。
図４（ａ）のように輝度デジタル画像信号１０７は、赤外線画像センサの各受光素子に対応した複数の画素ごとの信号量から成り立っている。図４（ａ）の輝度デジタル画像信号１０７の各画素に付された数値は、図５（ａ）、（ｂ）で例示したＰ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓにおいて、同一の座標位置にあるＰ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓの数値とを加算した値である。先に述べたように、船と海面からの入射光の偏光度の違いにより、図５（ａ）、（ｂ）のＰ波偏光画像信号１００Ｐ、Ｓ波偏光画像信号１００Ｓの各画素の値は異なっている。
また図４（ｂ）は、図４（ａ）で示した輝度デジタル画像信号１０７の各画素の数値を色の濃淡で表した画像イメージ図である。
このように船と海面との温度差が微小である場合は、輝度デジタル画像信号１０７から得られる画像では目標と背景とのコントラストがとれないために、画像中で船（目標）を抽出することが困難である。
【００２２】
一方、図６（ａ）は、上記撮像対象物である船と海面とから入射する赤外線を偏光画像撮像装置１０の偏光子５１で分離した後、撮像し、差分信号処理部５２において差分処理をして出力した偏光差分アナログ画像データ１０１をＡＤ変換回路１１でデジタル化した偏光差分デジタル画像信号１０２を示した図である。
図６（ａ）の偏光差分デジタル画像信号１０２の各画素の数値は、Ｐ波偏光画像信号１００ＰとＳ波偏光画像信号１００Ｓとで対応する画素同士の信号量の差分をとった差分の結果を示した値である。また図６（ｂ）は、図６（ａ）で示した偏光差分デジタル画像信号１０２の各画素の数値を色の濃淡で表した画像イメージ図である。
【００２３】
なお、背景からの反射赤外線の偏光面は事前には不明なため、回転部５６により偏光子５１を回転させながら目標と背景とのコントラスがとれるように、すなわち背景にあたる個所の偏光差分デジタル画像信号１０２の画素値が大きくなるように、偏光子５１の回転角を調整してもよい。または、背景からの反射赤外線の偏光面を検出する装置を設け、その装置で検出した背景の偏光面と偏光子５１の直行した偏光面のいずれかとが合うように、回転部５６により偏光子５１を回転させるようにしてもよい。
【００２４】
次に、二値化回路１３は偏光差分デジタル画像信号１０２の各画素の値をを二値化する。二値化にあたり、二値化回路１３は閾値データベース１７にアクセスし、抽出しようとしている目標とその背景の種類に基づいて、閾値データベース１７から閾値１０９を選択する。そして選択した閾値１０９との比較により、偏光差分デジタル画像信号１０２の各画素の値の２値化を行う。
なお、目標とその背景の種類は、例えばキーボードなどの入力部２１により、選択しようとしている目標とその背景の種類に対応した番号を入力することで、予め指定することができる。
【００２５】
図７は、閾値データベース１７の一例を示した図である。
閾値データベース１７には、事前の調査によって設定された値であり、抽出しようとする目標とその背景との組み合わせの種類に対応して、二値化された画像における背景の偏光差分デジタル画像信号と目標の偏光差分デジタル画像信号とが分離可能となる閾値１０９が予め記憶されている。例えば、目標が船でありその背景が海である場合では、両者が分離可能となる偏光差分デジタル画像信号の閾値（図７の例では、閾値＝０．６）が予め格納されている。
【００２６】
このように二値化回路１３は、閾値データベース１７から選択された、目標とその背景の種類に対応した閾値１０９を選択し、この閾値１０９との大小比較により偏光差分デジタル画像信号１０２を二値化する。図８に、目標が船であり背景が海の場合（図７より閾値＝０.６）において、図５（ａ）の偏光差分デジタル画像信号１０２を二値化した二値化デジタル画像信号１０３の例を示す。ここでは、二値化回路１３は閾値１０９未満の値を１、閾値１０９以上を０として、偏光差分デジタル画像信号１０２の二値化を行っている。
【００２７】
領域特徴量計測部１４は、次に、二値化デジタル画像１０３と輝度デジタル画像信号１０７とを入力する。
【００２８】
領域特徴量計測部１４は、入力した二値化デジタル画像１０３と輝度デジタル画像信号１０７の各画素ごとの情報（数値）を、式２に従い乗算処理する。
【００２９】
【数２】
0005176289.tif 000003
【００３０】
ここで、α（i,j）は２次元の目標候補抽出画像１０４中の座標位置（i,j）における画素の値、β（i,j）は二値化された二値化デジタル画像１０３の座標位置（i,j）における画素の値、γ（i,j）は輝度デジタル画像信号１０７の座標位置（i,j）における画素の輝度値を示す。
式２により、β（i,j）＝１の場合にはα（i,j）＝γ（i,j）となり、β（i,j）＝０の場合にはα（i,j）＝０となる。
【００３１】
図９（ａ）は、式２に従い処理した後の目標候補抽出画像１０４の一例を示した図である。
図９（ｂ）は目標候補抽出画像１０４の各画素の数値を濃淡で表した図であり、選択しようとしている目標の候補が形状として抽出される。抽出された目標候補の領域内の各画素の値は、その目標候補から入射される赤外線の輝度情報を示している。
【００３２】
このように、領域特徴量計測部１４は、式２の乗算処理により背景領域の輝度デジタル信号を消去し、目標及びその他の対象の領域のみの輝度デジタル画像信号を残した目標候補抽出画像１０４を得ることができる。
領域特徴量計測部１４はこのように目標の候補を抽出することから目標候補抽出部に対応する。
【００３３】
以上のように、実施の形態１の赤外線目標選択装置によれば、目標とその背景との温度差が微小である場合であっても、赤外線撮像画像の中から選択しようとする目標の候補を抽出することができる。
【００３４】
次に、目標判定処理部１５は、選択した目標の候補と目標画像データベース２０に予め格納された目標の形状と輝度の情報からなる目標情報１０８とで画像の照合を行う。
【００３５】
図１０は、目標画像データベース２０に格納された目標情報１０８の一例を示した図である。目標画像データベース２０には、目標ごとに、形状（図１０の黒線枠で囲まれた形状）と輝度（太黒線枠内の各画素の数値）の情報が格納されている。図１０の例では船１と建物１〜３の情報が格納されている。
【００３６】
目標判定処理部１５は、目標候補抽出画像１０４と目標情報１０８（ここでは、図１０の船１）とを比較し、形状及び輝度に関する所定の画像照合を行うことにより、目標候補抽出画像１０４の中から目標を選定する（図１１参照）。目標候補抽出画像１０４と目標情報１０８との画像照合は、例えば、差分総和値によるパターンマッチングであってもよいし、特徴的な形状に着目した画像照合であってもよい。また、最大輝度と最小輝度の差に基づく照合であってもよいし、例えば、高輝度点の位置やその数による画像照合であってもよい。
【００３７】
目標判定処理部１５は目標を選定すると、選定した目標の画像位置に基づき誘導信号１０５を生成し出力する。飛しょう体は、誘導信号１０５により機体を操舵して目標への目視線上に誘導し、飛しょう体を目標に誘導する。
【００３８】
このように、本発明の赤外線目標選択装置は、表面特性が異なると物質が発する赤外光の偏光度が異なることに着目し、偏光度に相当する偏光差分アナログ画像データ１０１と、輝度アナログ画像データ１０６と閾値データベース１７中の閾値１０９とを用いて目標候補を抽出し、抽出した目標候補と目標画像データベース２０中の目標情報１０８とを比較し、所定の画像照合を行うことにより、目標を選択するようにした。
【００３９】
これにより、目標と背景の温度差が微小であり従来の装置では目標と背景とのコントラストがとれずに目標の抽出が困難である場合であっても、目標を誤ることなく、確実に選択することができる。
【００４０】
なお、図７の閾値データベース、図１０の目標画像データベースのデータ形式は一例であり、各データベースの目的を達すれば他の形式であってもよく、例えば立体画像を表すようなデータ形式であっても構わない。また、ここで挙げた画像の画素数やその数値についても一例を示したものである。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態１による赤外線目標選択装置の構成を示すブロック図である。
【図２】本発明の実施の形態１による偏光画像撮像装置の構成と動作の概略を説明する図である。
【図３】本発明の実施の形態１による偏光画像撮像装置１０が撮像する撮像対象の一例を示した図である。
【図４】本発明の実施の形態１による輝度デジタル画像信号１０７の一例を示した図である。
【図５】本発明の実施の形態１によるＰ波偏光画像信号１００Ｐ、Ｓ波偏光画像信号１００Ｓの一例を示した図である。
【図６】本発明の実施の形態１による偏光差分デジタル画像信号１０２の一例を示した図である。
【図７】本発明の実施の形態１による閾値データベースの一例を示す図である。
【図８】本発明の実施の形態１による二値化デジタル画像信号１０３の一例を示した図である。
【図９】本発明の実施の形態１による目標候補抽出画像１０４の一例を示した図である。
【図１０】本発明の実施の形態１による目標画像データベースの一例を示す図である。
【図１１】本発明の実施の形態１による目標判定処理部１５が目標を抽出した結果の一例を示した図である。
【符号の説明】
【００４２】
１  赤外線目標選択装置、１０  偏光画像撮像装置、１１、１２  ＡＤ変換回路、１３  二値化回路、１４  領域特徴量計測部、１５  目標判定処理部、１６  目標形状/輝度画像データベース、１７  閾値データベース、２０  目標画像データベース、５２  差分信号処理部、５３  加算信号処理部、５４  第１の赤外線画像センサ、５５  第２の赤外線画像センサ、５６  回転部、１００  赤外線入力光、９０Ｐ  Ｐ波赤外線、９０Ｓ  Ｓ波赤外線、１００  赤外線入力光、１００Ｐ  Ｐ波偏光画像信号、１００Ｓ  Ｓ波偏光画像信号、１０１  偏光差分アナログ画像データ、１０２  偏光差分デジタル画像信号、１０３  二値化デジタル画像信号、１０４  目標候補抽出画像、１０５  目標判定結果  １０６  輝度アナログ画像データ、１０７  輝度デジタル画像信号、１０８  目標情報、１０９  閾値
【図１】
0005176289.tif 000004
【図２】
0005176289.tif 000005
【図３】
0005176289.tif 000006
【図４】
0005176289.tif 000007
【図５】
0005176289.tif 000008
【図６】
0005176289.tif 000009
【図７】
0005176289.tif 000010
【図８】
0005176289.tif 000011
【図９】
0005176289.tif 000012
【図１０】
0005176289.tif 000013
【図１１】
0005176289.tif 000014