(57)【要約】【課題】撮影された赤外線画像中の目標対象物を確実に識別すること。【解決手段】赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算部６と、輝度ヒストグラムにおける出現頻度が最大となる輝度値を前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に基づき前記赤外線画像の各輝度値を線形的にシフトした輝度シフト画像を生成する輝度シフト演算部７と、輝度シフト画像の輝度レベルを反転した反転シフト画像を生成する反転画像処理部８と、輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成する輝度演算処理部９を備えた。【選択図】図１
2011024865.tif 000002
【特許請求の範囲】
【請求項１】
目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から特定の波長帯域を取得する光学部と、前記光学部により取得された波長に基づき前記撮像対象の温度に対応した赤外線画像を生成する非冷却赤外線イメージセンサと、前記赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成する画像処理部とを備えた画像目標識別装置であって、
前記画像処理部は、
前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算部と、
前記輝度ヒストグラムにおける出現頻度が最大となる輝度値を前記赤外線画像における輝度レンジ幅の中間値に設定すると共に前記中間値に設定された輝度値との対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を生成する輝度レベル調整部と、
前記輝度シフト画像の輝度レベルの明暗を反転した反転シフト画像を生成すると共にこの反転シフト画像と前記輝度シフト画像それぞれの対応画素における輝度値の違いに基づく演算処理を行い前記演算処理画像を生成する輝度演算処理部とを備えたことを特徴とする画像目標識別装置。
【請求項２】
前記請求項１に記載の画像目標識別装置において、
前記輝度演算処理部は、前記輝度シフト画像および反転シフト画像それぞれの輝度レベル平均値を算出すると共に、前記輝度レベル平均値に基づき前記輝度シフト画像および反転シフト画像の一方の画像を高明度側画像に、他方の画像を低明度側画像にそれぞれ設定する明度差画像設定手段と、
前記高明度側画像における各画素の輝度値から前記低明度側画像の対応する位置の各画素の頻度値を減算する処理を前記演算処理として実行することにより前記演算処理画像を生成する減算処理手段を備えたことを特徴とする画像目標識別装置。
【請求項３】
前記請求項２に記載の画像目標識別装置において、
前記高明度側画像における各画素の輝度値を前記低明度側画像の対応する位置の各画素の頻度値で除算する除算処理を前記演算処理として実行し前記演算処理画像を生成する除算処理手段を備えたことを特徴とする画像目標識別装置。
【請求項４】
前記請求項１に記載の画像目標識別装置において、
前記輝度演算処理部は、前記輝度シフト画像および反転シフト画像それぞれの輝度レベル平均値を算出すると共に、前記輝度レベル平均値に基づき前記輝度シフト画像および反転シフト画像の一方の画像を高明度側画像に、他方の画像を低明度側画像にそれぞれ設定する明度差画像設定手段と、
前記高明度側画像における各画素の輝度値を前記低明度側画像の対応する位置の各画素の頻度値で除算する除算処理を前記演算処理として実行し前記演算処理画像を生成する除算処理手段を備えたことを特徴とする画像目標識別装置。
【請求項５】
前記請求項１、２、３、または４に記載の画像目標識別装置において、
前記演算処理画像における予め設定された輝度頻度より少ない輝度領域の画素における輝度を除去することによりフィルタリング画像を生成するフィルタリング処理部と、
前記フィルタリング画像に含まれる輝度値に基づき当該フィルタリング画像のコントラストの拡張処理を行うコントラスト拡張部と、
前記演算処理画像における一定値以上の輝度レベルの画素を２値化する処理を行う二値化処理部とを備えたことを特徴とする画像目標識別装置。
【請求項６】
目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から前記撮像対象の温度に基づき前記目標対象物が強調表示された演算処理画像を生成する画像目標識別方法であって、
前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成し、
前記輝度ヒストグラムにおける出現頻度が最大となる輝度値を前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に設定された輝度値との対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を生成し、
前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成し、
前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成することを特徴とする画像目標識別方法。
【請求項７】
目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から前記撮像対象の温度に基づき生成された赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成するための画像目標識別プログラムであって、
前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算機能と、
前記輝度ヒストグラムにおける出現頻度が最大となる輝度値を前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に設定された輝度値との対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を生成する輝度レベル調整機能と、
前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成する反転シフト画像生成機能と、
前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成する輝度演算処理機能と、
をコンピュータに実行させることを特徴とする画像目標識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、艦船などの目標物を、赤外線画像を用いて検出する画像処理装置に関する。
【背景技術】
【０００２】
航空機等による海難捜索や救助においては、パイロットは、波間に浮かぶ人や救難ボートを救難信号等のビーコンによる電波信号による捜索（探索）や、低空で捜索海域を飛行しながらの目視による捜索や、赤外線カメラの画像に基づく捜索などを行う。
特に、夜間や悪天候下の場合、晴天、昼間の捜索に比べて視認性や視界が悪くなるため、海面に浮遊している遭難者や艦船内の人物および艦船等の目標対象を、肉眼により発見することや、赤外線カメラにより探知可能な画像として撮影したりすることが困難となる。
これにより、人命救助にかかる場面では、人物発見までに時間がかかってしまうため生存確率が低くなってしまったり、捜索対象発見の遅れにより他国の艦船や不審者等の侵入を許してしまう危険性が増大してしまったりする不都合がある。【０００３】
これに対して、撮影された赤外線画像におけるコントラスト改善を行うことにより、捜索者が目標対象を早期に識別・発見するための視界支援情報（画像）を生成することにより、探索者による視界探索を有効に支援する画像情報処理技術や画像識別支援技術などが開発されている。【０００４】
例えば、冷却機能を省くことで小型化して、ノイズに対するＳ／Ｎ比を大幅に向上させた非冷却赤外線センサによって赤外線画像を撮像する赤外線カメラ、この赤外線カメラを利用した画像処理システムなどが知られている。【０００５】
また、この関連技術として、航空機や飛翔体に小型化した非冷却赤外線カメラを搭載して赤外線画像を撮影し、得られた赤外線画像を処理して、赤外線画像から目標対象を抽出・識別して表示する赤外線画像処理システムが開示されている（特許文献1）。【０００６】
この特許文献１では、目標物およびこの目標物の背景から入射する赤外線を互いに直交する平面偏光に分離し、２受光素子を二次元配列した画像センサで赤外線を受光し、電気信号量に変換して出力した各々の画像信号の間で、２次元座標の同一の座標位置にある電気信号量の差分をとって求めた偏光差分画像信号を出力する。【０００７】
また、２次元座標の同一の座標位置にある電気信号量を加算して求めた輝度画像信号を出力する偏光画像撮像装置と、目標と背景とを組にした組み合わせと、目標物とその背景とが分離可能な偏光差分画像信号の閾値とを予め対応させて記憶する閾値データベースとの組み合わせにより、閾値との比較に基づいて偏光差分画像信号の電気信号量を二値化した二値化画像信号を出力する。
さらに、２次元座標の同一の座標位置にある、二値化画像信号の二値化後の値と輝度画像信号の電気信号量とを乗算して得られる画像により目標物の候補を抽出している。【０００８】
また、特許文献１に記載の発明では、海面上に浮かぶ浮遊物、船舶、空域での飛翔体や低空域の視認性の低い障害物などの目標を抽出する際、一般に目標対象物とその背景とに温度差があることを利用し、赤外線センサの前にＰ波、Ｓ波に分離する面偏向受光素子で構成される光学系を搭載し、適切な撮像画像の輝度演算処理部を搭載して所定の温度（輝度）以上の個所が目標対象であるとして目標対象を抽出する赤外線画像処理が行われている。
更に、この関連技術として、多数のレンズからなるドーム型レンズを利用して多方面からの赤外線を集光し（特許文献２）、撮像したものの輝度の時間的変化量に基づき撮像画像を二値化し、赤外線画像における複雑な輝度分布の背景から移動する目標物を検出するシステムが開示されている（特許文献３）。
また、赤外線画像とレーダ画像とを合成することにより、霧が発生した場合に撮影された赤外線画像における目標物体の視認性を向上させるための画像装置が開示されている（特許文献４）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００１−０５６８６０号公報
【特許文献２】特開平０６−２４２３０４号公報
【特許文献３】特開平０６−３０３４８５号公報
【特許文献４】特開平１０−６２５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記特許文献１に記載の発明では、赤外線センサの前にＰ波、Ｓ波に分離する光学系が大規模な構成となるため小型化が困難となる不都合がある。
また、太陽光などにより背景が部分的に熱せられることにより、目標物とその背景との温度差が微小となった場合や、水面上での波しぶきによるノイズなどが多い場合に、赤外線センサで撮像された赤外線撮像画像には背景ノイズが多くなるため、光学系に依存して目標対象と背景とのコントラストがとれず、目標物を正しく認識・捕捉することが困難となり、このため、目標対象（目標物）の誤認識や見逃しが発生するといった不都合があった。【００１１】
また、上記特許文献２〜４に記載の各発明、およびこれらを組み合わせた内容では、例えば、撮像領域内の海上などで、悪天候による白波が発生したり、ヘリコプターのホバリングによる人工的な波しぶきなどが発生したりする場合、赤外線撮像画像に映る目標対象物は白波で埋もれることにより、目標物の形状が変化して見えるため、この赤外線撮像画像に基づいて画像識別により目標対象識別を行った場合に、目標物の見逃しや誤った目標対象を選択（スクリーニング）してしまうといった不都合が生じ得る。【００１２】
［発明の目的］
本発明は、上記関連技術の有する不都合を改善し、撮影された赤外線画像中の目標対象物を確実に識別し得る画像目標識別装置、画像目標抽出方法、画像目標抽出プログラムを提供することを、その目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明に係る画像目標識別装置は、目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から特定の波長帯域を取得する光学部と、前記光学部により取得された波長に基づき前記撮像対象の温度に対応した赤外線画像を生成する非冷却赤外線イメージセンサと、前記赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成する画像処理部とを備えた画像目標識別装置であって、前記画像処理部は、前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算部と、前記輝度ヒストグラムにおける出現頻度が最大となる輝度値を前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に基づき前記赤外線画像の各輝度値を線形的にシフトした輝度シフト画像を生成する輝度レベル調整部と、前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成すると共に、前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行い前記演算処理画像を生成する輝度演算処理部とを備えたことを特徴としている。【００１４】
また、本発明にかかる画像目標識別方法は、目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から前記撮像対象の温度に基づき生成された赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成する画像目標識別方法であって、前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成し、前記輝度ヒストグラムにおける出現頻度が最大となる輝度値を前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に基づき前記赤外線画像の各輝度値を線形的にシフトした輝度シフト画像を生成し、前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成し、前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成することを特徴としている。【００１５】
又、本発明にかかる画像目標識別プログラムは、目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から前記撮像対象の温度に基づき生成された赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成するための画像目標識別プログラムであって、前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算機能と、前記輝度ヒストグラムにおける出現頻度が最大となる輝度値を前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に基づき前記赤外線画像の各輝度値を線形的にシフトした輝度シフト画像を生成する輝度レベル調整機能と、前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成する反転シフト画像生成機能と、前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成する輝度演算処理機能と、をコンピュータに実行させることを特徴としている。
【発明の効果】
【００１６】
本発明は、以上のように構成され機能するので、これによると、赤外線画像の画素の輝度値の出現頻度を示す輝度ヒストグラムから出現頻度が最大となる輝度値を表示階調数の中間値に設定して、この中間値に基づき他の輝度値を線形的にシフトした輝度シフト画像を生成する手段と、この画像の輝度レベルを反転した反転シフト画像と上記輝度シフト画像とにおける輝度値の違いに基づく演算処理を行うことにより演算処理画像を生成する構成としたことにより、撮影された赤外線画像中の目標対象物が強調表示され、目標対象物を確実に識別し得る演算処理画像を生成する画像目標識別装置、画像目標識別方法、画像目標識別プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明による画像目標識別装置における一実施形態を示す概略ブロック図である。
【図２】図１に開示した画像目標識別装置における画像処理部の内部構成の一例を示す概略ブロック図である。
【図３】図３（ａ）は、図１に開示した画像目標識別装置における赤外線画像の1フレームデータの模式的説明図であり、図３（ｂ）は、赤外線画像の輝度シフト画像およびその反転シフト画像の輝度プロファイルを示す説明図であり、図３（ｃ）は、図３（ｂ）に示す画像に対する減算処理結果である処理画像の輝度プロファイルを示す説明図である。
【図４】図１に開示した画像目標識別装置における赤外線画像の１フレームデータの輝度ヒストグラムを示す説明図である。
【図５】図１に開示した画像目標識別装置における赤外線画像の各画素の輝度を線形シフトした輝度シフト画像の輝度ヒストグラムである。
【図６】図６（ａ）は、図１に開示した画像目標識別装置の示す赤外線画像の1フレームデータの模式的説明図であり、図６（ｂ）は、赤外線画像の輝度シフト画像およびその反転シフト画像の輝度プロファイルを示す説明図であり、図６（ｃ）は、赤外線画像に対する除算処理結果である処理画像の輝度プロファイルを示す説明図である。
【図７】図１に開示した画像目標識別装置に係る海面浮遊物を撮像した赤外線画像の一例を示す説明図である。
【図８】図７に開示した赤外線画像の輝度ヒストグラムの一例を示す説明図である。
【図９】図１に開示した画像目標識別装置により図７の赤外線画像を除算処理して得られた処理画像の一例を示す説明図である。
【図１０】図９に開示した赤外線画像の輝度ヒストグラムの一例を示す説明図である。
【図１１】図１に開示した画像目標識別装置に係る船舶を撮像した赤外線画像の一例を示す説明図である。
【図１２】図１に開示した画像目標識別装置により図１１に開示した赤外線画像を減算処理して得られた処理画像の一例を示す説明図である。
【発明を実施するための形態】
【００１８】
［実施形態］
次に、本発明の実施形態について、その基本的構成内容を説明する。
【００１９】
本実施形態である画像識別支援装置（画像目標識別装置）１００は、図１に示すように、赤外光を集光する遠赤外線集光ドーム１（以下「集光ドーム」という）と、集光された赤外光を予め設定された集光レンズを介して受光する光学部２と、この光学部２を介して得られた波長（帯域）に基づいて撮像対象物の温度に対応した熱画像（赤外線画像）を生成する非冷却赤外線イメージセンサ部（非冷却赤外線センサ部）３と、この非冷却赤外線センサ部３で生成された赤外線画像に対して画像処理を行い、赤外線画像における海や空などの背景領域に対して、船舶などの目標対象が強調表示された処理画像を生成する画像処理部４と、生成された処理画像を出力表示する画像表示部５を備えた構成を有する。
【００２０】
以下、これを詳説する。
赤外光を集光する集光ドーム１は、集光した赤外線を光学部２の非冷却赤外線センサ部３に導く集光レンズを備えている。
また、光学部２は、予め設定された所望の波長帯域を検波する光学フィルタを含み構成される。
【００２１】
非冷却赤外線センサ部３は、光学部２の光学フィルタを通過した赤外線に応じた熱量を示す赤外線画像を生成する。ここで、生成された赤外線画像は、当該赤外線画像に含まれる各フレーム毎に画像処理部４内で処理されるものとする。
【００２２】
画像処理部４は、図２に示すように、赤外線画像の各フレームの輝度ヒストグラムを生成し、この輝度ヒストグラムに基づき出現頻度（出現頻度値）が最大となる輝度レベル（最頻輝度レベル）を検知するヒストグラム演算部（輝度ヒストグラム演算部）６と、最頻輝度レベルが表示階調数の中間値になるように、赤外線画像の各フレームにおける各輝度レベルに対応した出現頻度値を線形変換した輝度シフト画像を生成する輝度シフト演算部７と、この輝度シフト画像の輝度レベルを反転させた反転シフト画像を生成する反転画像処理部８を有する。
【００２３】
また、画像処理部４は、反転シフト画像と輝度シフト画像とに基づいて、相互に対応する画素における輝度の除算（または減算）を行うと共に適切なゲイン係数に基づく演算を行うことにより中間処理画像（減算処理画像、除算処理画像）を生成する輝度演算処理部９と、中間処理画像における特定の輝度情報に対して適切なフィルタリング処理を行う特徴検出部１０と、中間処理画像における目標対象と背景とのコントラストを向上させる処理を行うコントラスト拡張部１１と、処理が行われた画像に対してある輝度レベル以上の２値化を施して目標対象を抽出する２値化処理部１２から構成される。
【００２４】
ヒストグラム演算部６は、非冷却赤外線センサ部３から画像化された赤外線画像（フレームデータ群）を受信する原画像受信機能と、赤外線画像の各フレーム（フレームデータ）６ａを単位として、各フレームデータに含まれる各画素の輝度レベルを検知する輝度レベル検知機能を有する。
尚、上記フレームデータに含まれる各画素の輝度レベルは、非冷却赤外線センサ部３が有する赤外線センサの画素単位に検出される、熱源の温度に比例した輝度レベルを示すものとする。
【００２５】
また、ヒストグラム演算部６は、撮像された各フレームのフレーム番号に対応させて、非冷却赤外線センサ部３のメモリ内に記憶された撮像画像に係る画像データに基づき、各フレームにおける輝度レベルとその出現頻度との関係を表す輝度ヒストグラム（図４）を生成するヒストグラム生成機能を備えている。
更に、ヒストグラム演算部６は、各フレームにおける輝度ヒストグラムに基づき出現頻度が最大値（「最頻値」という）となる輝度レベルとしての最頻輝度レベル６ｂを抽出する最大頻度抽出機能を備えている。
【００２６】
輝度シフト演算部（輝度レベル調整部）７は、ヒストグラム演算部６で抽出された最頻輝度レベルの最頻値を各フレームの表示階調数である輝度レンジ幅の中間値に設定すると共に、最頻輝度レベル（中間値）の最頻値との対比関係を維持した状態で、画像（フレーム）内の他の輝度レベルの頻度値を線形的にシフトする処理を行うことにより輝度シフト画像を生成する輝度シフト画像生成機能を備えている。
【００２７】
例えば、輝度シフト演算部７は、赤外線センサ画像（赤外線画像）の輝度レベルが２５６階調である場合、生成されたフレームデータ６ａのヒストグラム（図４）における最頻輝度レベルを、図５に示すように、中間値である１２８に設定し、これを基準としてフレームデータ６ａ内の他の輝度レベルを線形にシフト（変換）することにより、輝度シフト画像７ａを生成する。
これにより、輝度シフト画像７ａでは、目標対象の視認性が向上する。
尚、最大輝度２５５を超えるものは２５５、最小輝度０以下になる輝度レベルは、０として計算するものとする。
【００２８】
また、輝度シフト演算部７は、生成した輝度シフト画像７ａを複製して、画像処理部４内に予め設定された輝度シフト画像記憶部に格納すると共に、反転画像処理部８および輝度演算処理部９それぞれ対して送信する輝度シフト画像転送機能を有する。
【００２９】
反転画像処理部８は、輝度シフト画像７ａを撮像メモリ内に保持すると共に、この輝度シフト画像７ａの輝度レベルを反転（例えば、白黒反転）させた反転シフト画像を生成する反転画像生成機能を備えている。
【００３０】
輝度演算処理部９は、反転画像部８から送り込まれた反転シフト画像８ａを受信し、輝度シフト画像記憶部に記憶された輝度シフト画像７ａおよび反転シフト画像８ａそれぞれのフレーム内輝度平均値を各々算出すると共に、輝度シフト画像７ａおよび反転シフト画像８ａ両画像のうち、フレーム内輝度平均値の大きい（高い）方の画像を大輝度画像、輝度平均の小さい（低い）方の画像を小輝度画像にそれぞれ設定する輝度平均値算出設定機能を有する。
【００３１】
また、輝度演算処理部９は、以下の［式１］に示すように、輝度シフト画像７ａおよび反転シフト画像８ａそれぞれに対応する位置アドレスの輝度値について、輝度平均の大きい方の画像（大輝度画像）の輝度値を輝度平均の小さい方の画像（小輝度画像）の輝度値で除算する処理（除算処理）を行う輝度値除算処理機能を有する。
ここで、輝度演算処理部９は、上記除算処理を行う場合に、式１に示すように、演算前の最頻輝度レベルと演算（除算）結果である中間値レベルとが同等となるように、除算結果に対して予め設定されたゲインＫ（例えばK=１２８）を掛けるものとする。
【００３２】
［式１］
Ｉｄ（ｘ，ｙ）  ＝  Ｋ  ×  Ａ（ｘ，ｙ）  ／  Ｂ（ｘ，ｙ）
【００３３】
また、輝度演算処理部９は、Ｉｄ（ｘ，ｙ）からなる、画像中における目標対象の背景に対するコントラストが強調された除算処理画像９aを生成すると共に、この除算処理画像９ａを特徴検出部１０に対して送出する。
【００３４】
更に、輝度演算処理部９は、輝度シフト画像７ａおよび反転シフト画像８ａそれぞれに対応する位置アドレスの輝度値について、以下の［式２］に示すように、輝度平均の大きい方の画像（大輝度画像）の輝度値から輝度平均の小さい方の画像（小輝度画像）の輝度値を減算する処理を行う設定としてもよい（減算処理）。
尚、輝度演算処理部９は、この減算処理を行う場合には、式２に示すように、各位置アドレスにおける演算前の最頻輝度レベルと演算（減算）結果である中間値レベルとが同等となるように、減算結果に対して予め設定されたゲイン値(例えばＫ＝１２８)を加えるものとする。
【００３５】
［式２］
Ｉｓ（ｘ，ｙ）  ＝  ｜  Ａ（ｘ，ｙ）  −  Ｂ（ｘ，ｙ）  ｜  ＋  Ｋ
【００３６】
これにより、輝度演算処理部９は、Ｉｓ（ｘ，ｙ）からなる、画像中における目標対象のコントラストが強調された減算処理画像９ａ’を生成すると共に、この減算処理画像９ａ’を特徴検出部１０に対して送出する。
【００３７】
尚、輝度演算処理部９内での除算処理又は減算処理のどちらの処理を実行するかの選択は、目標対象の背景に対する輝度差が大きくなる方の演算を採用することが望ましいが、最終結果で得られる処理画像を比較することにより選択する設定であってもよい。
【００３８】
特徴検出部１０は、輝度演算処理部９から送り込まれた除算処理画像９ａ（または減算処理画像９ａ’）に対して、画像中における予め設定された輝度頻度より少ない輝度頻度の領域（画素）を除去するフィルタリング処理を行うことによりフィルタリング画像１０aを生成するフィルタリング処理機能を備えている。これにより、画像（フィルタリング画像１０ａ）中における最頻値近辺の輝度を相対的に増大させることができる。
【００３９】
コントラスト拡張部１１は、フィルタリング画像１０ａの予め設定された輝度値以上の領域（「輝度領域」という）を選択すると共に、選択された領域における輝度の最頻値に基づいて、この最頻値近辺が最大となるように輝度領域の輝度レンジを線形的に拡張することによってコントラストを拡大したコントラスト拡張画像１１aを生成するコントラスト拡張処理機能を備えている。
【００４０】
二値化処理部１２は、コントラスト拡張画像１１ａの各画素の輝度に対して予め設定された閾値処理を行うことにより２値化画像１２ａを生成する二値化処理機能を有する。
また、二値化処理部１２は、画像表示部５に出力された２値化画像１２ａから目標対象を抽出すると共に、目標対象の画像強調表示を行う設定としてもよい。
尚、上記画像強調表示の手法として、二値化処理部１２は、例えば、抽出した目標対象に対応して設定されたマークを２値化画像１２ａ内の目標対象に重畳して表示する設定としてもよい。
【００４１】
以上のように、本実施形態では、非冷却赤外線センサ部３により撮像された赤外線画像（原画像）の輝度分布の最頻度の輝度レベルを輝度のダイナミックレンジの中間値に合わせた輝度シフト画像とその反転シフト画像を作成し、その両画像の同一画素位置での輝度レベルの除算、または減算処理を行うことにより得られる画像を、フィルタリング処理やコントラスト拡張することにより、原画像に対して、原画像中の輝度分布の大半を占める背景の輝度変異を抑制し、且つ背景に対する目標対象の輝度差を拡大する画像処理を行うことができる。
【００４２】
これにより、画像識別支援装置１００は、非冷却赤外線センサ部３により撮像された画像の目標対象および背景のコントラストの改善を行い、画像内における目標対象（目標物）の識別を支援する。
このため、画像識別支援装置１００は、例えば、海難救助などで人や救難ボートなど波間の浮遊物の発見のためなどに用いることができ、非冷却赤外線センサ部３により撮影した赤外線画像内の浮遊物、船舶などの目標対象を有効に抽出し、目標対象と白波などの背景ノイズを分離すると共に、背景ノイズを除去（抑制）することにより、目標対象の背景に対する画像コントラストを向上させることができる。
【００４３】
［実施形態の動作説明］
次に、本実施形態の動作について、その概略を説明する。
まず、画像処理部４の輝度ヒストグラム演算部６が、赤外線画像内に含まれる画素の輝度値（輝度レベル）の出現頻度を示す輝度ヒストグラムを生成し（輝度ヒストグラム演算工程）、次いで、輝度シフト演算部７が、輝度ヒストグラムにおける出現頻度が最大となる輝度値を前記赤外線画像における表示階調数の中間値に設定すると共に、中間値に設定された輝度レベルの頻度値との対比関係を維持しつつ他の各輝度レベルの頻度値を線形的にシフトした輝度シフト画像を生成する（輝度レベル調整工程）。
【００４４】
次いで、反転画像処理部８が、輝度シフト画像の輝度レベルを反転した反転シフト画像を生成し（反転シフト画像生成工程）、輝度演算処理部９が、輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより、演算処理画像を生成し（輝度演算処理工程）、画像目標抽出部１３が、演算処理画像から目標対象物の抽出を行う。
【００４５】
ここで、上記輝度ヒストグラム演算工程、輝度レベル調整工程、反転シフト画像生成工程、および輝度演算処理工程については、その実行内容をプログラム化し、コンピュータに実行させるように構成してもよい。
【００４６】
次に、装置１００の画像処理部４による目標対象を抽出する処理動作について、図２に基づいて説明する。
【００４７】
まず、画像処理部４では、非冷却赤外線センサ部３から画像化された赤外線画像（フレームデータ６ａ）を受信し、輝度ヒストグラム演算部（ヒストグラム演算部）６が、赤外線画像の各フレーム（フレームデータ）６ａを単位として、そこに含まれる各画素の輝度レベルを検知する。
尚、非冷却赤外線センサ部３により画像化された輝度レベルは、非冷却赤外線センサ部３が有する赤外線センサが画素単位に検出する熱源の温度に比例した輝度レベルを示すものとする。
ここで、図３（ａ）は、赤外線画像の１フレームを模式的に示した説明図である。
【００４８】
次いで、ヒストグラム演算部６は、撮像された各フレームのフレーム番号に対応させて、各フレームにおける輝度レベルと出現頻度との関係を表す輝度ヒストグラム（図４）を生成する。
また、ヒストグラム演算部６は、各輝度ヒストグラムに基づき最頻値の輝度レベル値６ｂ、および対応する赤外線画像の各フレームデータ６ａを、輝度シフト演算部７に転送する（ステップＳ１）。
【００４９】
次に、輝度シフト演算部７は、赤外線画像の各フレームデータ６ａに対応した輝度ヒストグラムの最頻値６ｂの輝度レベルを、各フレームデータ６ａにおける輝度表示レンジ（表示階調数）の中間値として設定し、この中間値に基づき他の輝度レベルの頻度値を線形的にシフトする処理を行う。
【００５０】
例えば、赤外線画像の輝度レベルが２５６階調である場合、輝度シフト演算部７は、生成されたフレームデータ６ａの輝度ヒストグラム（図４）における最頻値の輝度レベルを、図５に示すように、中間値である１２８に設定し、これを基準としてフレーム内の他の輝度レベルの頻度値を線形にシフト（変換）することにより、輝度シフト画像７ａを生成する。
尚、最大輝度２５５を超えるものは２５５、最小輝度０以下になる輝度レベルは、０として計算するものとする。
【００５１】
また、輝度シフト演算部７は、生成した輝度シフト画像７ａを複製して、画像処理部４内に予め設定された輝度シフト画像記憶部に格納すると共に、反転画像処理部８および輝度演算処理部９それぞれ対して送信する（ステップＳ２）。
【００５２】
次いで、反転画像部８は、輝度シフト画像７ａの輝度レベルを反転（例えば、白黒反転）させた反転シフト画像８ａを生成し、輝度演算処理部９に送出する（ステップＳ３）。
【００５３】
次に、輝度演算処理部９は、反転画像部８から送り込まれた反転シフト画像８ａを受信し、輝度シフト画像記憶部に記憶された輝度シフト画像７ａおよび反転シフト画像８ａそれぞれのフレーム内輝度平均値を各々算出し、両画像（輝度シフト画像７ａと反転シフト画像８ａ）のうち輝度平均の大きい方の画像をＡ（ｘ，ｙ）、その一方の画像をＢ（ｘ，ｙ）として設定する。尚、（ｘ，ｙ）はフレーム内の画素の位置アドレスを示すものとする。
【００５４】
ここで、輝度演算処理部９は、以下の［式１］に示すように、輝度シフト画像７ａおよび反転シフト画像８ａそれぞれに対応する位置アドレスの輝度値について、輝度平均の大きい方の画像（大輝度画像）の輝度値を輝度平均の小さい方の画像（小輝度画像）の輝度値で除算する処理を行う（除算処理）。
また、輝度演算処理部９は、当該除算処理を行う場合には、式１に示すように、各位置アドレスにおける演算前の最頻輝度レベルと演算（除算）結果である中間値レベルとが同等となるように、演算結果に対して予め設定されたゲインＫ（例えばK=１２８）を掛ける。
【００５５】
［式１］
Ｉｄ（ｘ，ｙ）  ＝  Ｋ  ×  Ａ（ｘ，ｙ）  ／  Ｂ（ｘ，ｙ）
【００５６】
これにより、輝度演算処理部９は、Ｉｄ（ｘ，ｙ）からなる、画像中における目標対象の背景に対するコントラストが強調された除算処理画像（９a）を生成すると共に、この除算処理画像９ａを特徴検出部１０に対して送出する（ステップＳ４）。
【００５７】
尚、輝度演算処理部９は、上記除算処理に代えて、輝度シフト画像７ａおよび反転シフト画像８ａそれぞれに対応する位置アドレスの輝度値について、以下の［式２］に示すように、大輝度画像の輝度値から小輝度画像の輝度値を減算する処理を行う設定としてもよい（減算処理）。また、この減算処理を行う場合には、各位置アドレスにおける演算前の最頻輝度レベルと演算（減算）結果である中間値レベルとが同等となるように、演算結果に対して予め設定されたゲイン値(例えばＫ＝１２８)を加えるものとする。
【００５８】
［式２］
Ｉｓ（ｘ，ｙ）  ＝  ｜  Ａ（ｘ，ｙ）  −  Ｂ（ｘ，ｙ）  ｜  ＋  Ｋ
【００５９】
これにより、輝度演算処理部９は、Ｉｓ（ｘ，ｙ）からなる、画像中における目標対象の背景（特に、中間値から離れた色調、例えば、白波などの背景）に対するコントラストが強調された減算処理画像（９ａ’）を生成すると共に、この減算処理画像９ａ’を特徴検出部１０に対して送出する（ステップＳ４）。
【００６０】
尚、輝度演算処理部９では、フレームデータに対して上記除算処理又は減算処理のどちらの処理を実行するかの選択は、目標対象の背景に対する輝度差が大きくなる方の演算を採用することが望ましいが、最終結果で得られる処理画像を比較することにより、目標対象の背景に対するコントラストがより改善された処理の方を選択する設定であってもよい。
【００６１】
次いで、輝度演算処理部９は、生成された除算処理画像９ａまたは減算処理画像９ａ’を特徴検出部１０に入力する。
ここで、輝度演算処理部９は、生成された除算処理画像９ａまたは減算処理画像９ａ’を、背景画像と目標対象における輝度に一定以上の輝度差がある場合には、スルー画像として画像表示部５に送出する設定としてもよい。
この場合、画像表示部５には、除算処理画像９ａまたは減算処理画像９ａ’が演算処理画像として表示される。
【００６２】
ここで、輝度演算処理部９による画像中における目標対象のコントラスト強調する処理の内容について説明する。ここでは、赤外線画像の輝度シフト画像７ａを模式的に示した図３（ａ）および図６（ａ）に基づき説明する。
【００６３】
また、図３（ｂ）の６０１は、図３（ａ）における目標対象３ａを通るＸ方向の輝度プロファイルであり、図３（ｂ）の６０２は、輝度シフト画像７ａの輝度を反転させた反転シフト画像８ａ中の目標対象３ａを通過する輝度プロファイルを示すものとする。
更に、図６（ｂ）についても同様に、図６（ｂ）の８０１は、図６（ａ）における目標対象３ａを通るＸ方向の輝度プロファイルであり、図６（ｂ）の６０２は、輝度シフト画像７ａの輝度を反転させた反転シフト画像８ａ中の目標対象３ａを通過する輝度プロファイルを示している。
【００６４】
例えば、輝度演算処理部９で、上述のように減算処理が実行される場合、輝度シフト画像７ａおよび反転シフト画像８ａの画像中における輝度頻度の大多数を占める背景領域３ｂ（図６（ａ））では、輝度シフト画像７ａと反転シフト画像８ａとの輝度差は、上記［式２］により、きわめて小さな輝度レベルの０近傍となる。
【００６５】
一方、減算処理の処理結果である処理画像中の目標対象近傍の背景領域に対する輝度差は、図３（ｃ）の輝度プロファイル７０１に示すように、拡大する。この処理画像での背景領域の輝度レベルはゲインＫ(例えばＫ=１２８)を加算することで、減算処理前の輝度シフト画像７ａにおける輝度レベルとほぼ変わらない輝度レベルとなるが、目標対象付近の背景との輝度レベルの差異が拡大しているため、コントラストが改善され（強調され）、目標対象の視認性が大きく向上する。
【００６６】
ここで、図１１に海面を航行する船舶を非冷却赤外線センサ部３により撮像した画像を示す。また、図１２に、図１１の赤外線画像に対して、上述のように、減算処理を行った場合の処理画像を示す。
特に、減算処理の処理画像である図１２では、表示階調数における両端の値（０、２５５）に近い側の輝度レベルの背景に対する目標物（目標対象）である船舶のコントラストが有効に強調され、図１１内における波間の浮遊物に比して視認性が大幅に向上している。
【００６７】
次に、輝度演算処理部９で、上記除算処理が実行される場合について説明する。
ここでは、輝度シフト画像７ａおよび反転シフト画像８ａの画像中における輝度レベルの出現頻度の大多数を占める背景領域３ｂ（図３（ａ））では、出現する輝度レベルは、輝度シフト画像７ａおよび反転シフト画像８ａともに中間値である１２８（表示階調数が２５６階調のとき）近傍となるため、輝度演算処理部９が各画素における輝度の除算処理を実行すると、除算結果である商は1近傍の値となる。
【００６８】
このため、この除算処理では、背景の画素数の多い領域（３ｂ：図３（ａ））では、輝度差が極めて小さく、ゲインＫ(例えばK=１２８)を掛ける演算を行った場合でも（式１）、輝度レベルが大きく変化することはなく、これは、階調中間値（１２８）に近い輝度値または、輝度シフト画像７ａおよび反転シフト画像８ａで輝度差の少ない領域で顕著となる。
【００６９】
一方、目標対象付近での輝度シフト画像７ａの輝度値と、反転シフト画像８ａにおける対応するアドレス位置にある画素位置の輝度値との演算（除算）処理結果である商は１以上となり、ゲインＫ（１２８）を掛ける演算を行うことにより、輝度の差異はより拡大する。
このため、図６（ｃ）の輝度プロファイル９０１に示すように、処理画像（除算処理画像９ａ）では、背景領域における輝度変異は抑制され、目標対象と背景領域との輝度差が大きくなる。
これにより、画像中における背景領域に対する目標対象のコントラストが拡大されるため目標対象の抽出が容易になる。
【００７０】
ここで、図７に海面を航行する船舶および海面上の浮遊物を非冷却赤外線センサ部３により撮像した画像（赤外線画像）を示す。また、図８は、図７の赤外線画像の輝度ヒストグラムを示す（図４に対応）。
更に、図７の赤外線画像に対して、上述のように、除算処理を行った場合の処理画像（除算処理画像９ａ）を図９に示す。この除算処理画像９ａでは、特に、上記減算処理画像９ａ’に比べて、表示階調数における中間値（１２８）に近い輝度レベルの背景に対する目標対象のコントラストが有効に強調される。また、図１０は、図９の処理画像の輝度ヒストグラムを示す。
【００７１】
本実施形態では、輝度ヒストグラム上（図７）で最頻度を占める背景領域（海面）の輝度レベルを階調数の中間値（１２８）に設定すると共に、その他の輝度レベル（背面領域以外の画素の輝度レベル）をこの中間値に基づき線形的に変換する。
これにより、赤外線画像の輝度分布のレンジ幅を、有効に拡大することができ、このため、画像内における目標対象の視認性が向上する。
【００７２】
尚、本実施形態では、輝度演算処理部９が、赤外線画像の輝度シフト画像７ａおよび反転シフト画像８ａに対して除算処理または減算処理の一方を実行する場合について説明しているが、上述のように、減算処理では、海面上の白波を消去する効果を有し、除算処理では中間色調近傍の背景と目標対象とのコントラストを高める効果を有するため、除算処理および減算処理を組み合わせた処理を行うことにより、輝度分布の分布幅をより拡大する処理を行う設定としてもよい。
これにより、処理画像中における背景と目標対象とのコントラストが拡大され、目標対象となる海面上の航行船舶の視認性をより高めることができる。
【００７３】
次に、特徴検出部１０は、ステップＳ４で輝度演算処理部９から送り込まれた除算処理画像９ａ（または減算処理画像９ａ’）に対して、画像中における予め設定された輝度頻度より少ない輝度領域（画素）を除去するフィルタリング処理を行うことによりフィルタリング画像１０aを生成し、コントラスト拡張部１１に対して送信する（ステップＳ５）。
これにより、画像（フィルタリング画像１０ａ）中における最頻値の輝度レベルが相対的に増大される。
【００７４】
コントラスト拡張部１１は、入力されたフィルタリング画像１０ａの予め設定された輝度値以上の領域（「輝度領域」という）を選択すると共に、選択された輝度の最頻値に基づいて、この最頻値近辺が最大となるように輝度領域の輝度レンジを線形的に拡張することによってコントラストを拡大したコントラスト拡張画像１１aを生成し、二値化処理部１２に対して送出する(ステップＳ６)。
【００７５】
次に、二値化処理部１２は、コントラスト拡張画像１１ａの各画素の輝度に対して予め設定された閾値処理を行うことにより２値化画像１２ａを生成する（２値化処理）と共に、この２値化画像１２ａを画像表示部５に出力する（ステップＳ７）。
【００７６】
また、二値化処理部１２は、画像表示部５に出力された２値化画像１２ａから目標対象を抽出すると共に、目標対象の強調表示を行う設定としてもよい。
ここで、二値化処理部１２は、上記強調表示の手法として、例えば、抽出した目標対象に対応して設定されたマークを２値化画像１２ａ内の目標対象に重畳して表示するものとする。
【００７７】
以上のように、本実施形態である画像識別支援装置１００では、撮影した赤外線画像の輝度分布の大半を占める、背景領域の輝度変異を抑制しつつ、この背景領域の輝度に対する目標対象の輝度のコントラスト（輝度差）を拡大する処理を行うことができる。
また、輝度シフト画像および反転シフト画像に対する除算（減算）処理により、画像内における微小で輝度差が極めて小さいノイズの除去も行うことができ、更には、輝度差拡大の効果が得られる。
このため、高価で複雑な光学系を必要とすることなく、更には、ヒストグラム量子化等の計算負荷の高い処理や、個別のノイズ除去処理を実行する必要なく、迅速で、効果的な画像処理を行うことが可能となる。また、目標と背景の温度差が微小で背景とのコントラストが確保しにくい、目標対象の抽出を可能にする。
更には、赤外線画像内に含まれる波間の浮遊物の抽出、白波等の波消しを有効に行うことができる。
【００７８】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００７９】
この出願は２００９年８月２７日に出願された日本出願特願２００９−１９６９２６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００８０】
本発明は、赤外線画像を用いて艦船などの目標物を自動的に検出する赤外線画像処理システムに対して有用に適用することができる。
【符号の説明】
【００８１】
１  集光ドーム
２  光学部
３  非冷却赤外線センサ部
４  画像処理部
５  画像表示部
６  ヒストグラム演算部
７  輝度シフト演算部
８  反転画像処理部（輝度演算処理部）
９  輝度演算処理部
１０  特徴検出部
１１  コントラスト拡張部
１２  二値化処理部
【図１】
2011024865.tif 000003
【図２】
2011024865.tif 000004
【図３】
2011024865.tif 000005
【図４】
2011024865.tif 000006
【図５】
2011024865.tif 000007
【図６】
2011024865.tif 000008
【図７】
2011024865.tif 000009
【図８】
2011024865.tif 000010
【図９】
2011024865.tif 000011
【図１０】
2011024865.tif 000012
【図１１】
2011024865.tif 000013
【図１２】
2011024865.tif 000014
【国際調査報告】
2011024865.tif 000015
2011024865.tif 000016
2011024865.tif 000017
2011024865.tif 000018