(57)【要約】【課題】光検出素子の有効に動作する時間を犠牲にすることなく、任意の輝度の孤立輝点をＲＴＮと分離し、ＲＴＮの影響を排除した画像が得られる画像処理装置を提供する。【解決手段】複数の画素が１次元または２次元に配列されている撮像素子と、前記撮像素子に入射する光を分光し、前記撮像素子において撮像される画像にゴーストを発生させる分光素子と、前記撮像素子により撮像された画像にゴーストによる輝点が発生している場合には、前記ゴーストによる輝点より所定の距離離れた画素における輝点は孤立輝点と判断し、前記ゴーストによる輝点が発生していない場合には、前記輝点はノイズであると判断する画像処理部と、を有することを特徴とする画像処理装置により上記課題を解決する。【選択図】  図１
2017017418.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が１次元または２次元に配列されている撮像素子と、
前記撮像素子に入射する光を分光し、前記撮像素子において撮像される画像にゴーストを発生させる分光素子と、
前記撮像素子により撮像された画像にゴーストによる輝点が発生している場合には、前記ゴーストによる輝点より所定の距離離れた画素における輝点は孤立輝点と判断し、前記ゴーストによる輝点が発生していない場合には、前記輝点はノイズであると判断する画像処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記分光素子は、前記撮像素子に入射する光の光路に対し斜めとなるように設置された透明な平行平板、または、複屈折材料により形成された光学素子であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
複数の画素が１次元または２次元に配列されている撮像素子により撮像された画像の画像処理方法において、
前記撮像素子に入射する光を分光し、前記撮像素子において撮像される画像にゴーストを発生させる分光素子を介した光を入射させて画像を撮像する工程と、
前記撮像された画像に、ゴーストによる輝点が発生しているか否かを判断する工程と、
前記ゴーストによる輝点が発生している場合には、前記ゴーストによる輝点が発生している画素より所定の距離離れた画素の輝点を孤立輝点と判断し、前記ゴーストによる輝点が発生していない場合には、前記輝点はノイズであると判断する工程と、
を有することを特徴とする画像処理方法。
【請求項４】
前記ゴーストによる輝点が発生している場合には、前記撮像素子により前記分光素子を介して撮像された画像より、前記ゴーストによる輝点を除去する工程と、
前記ゴーストによる輝点の除去された画像を表示する工程と、
を有することを特徴とする請求項３に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
冬の山岳遭難者の上空からの捜索、夜間の船舶から転落した船外転落者の捜索等においては、人体からの発熱を検知する赤外線カメラを用いて探査が行われており、この場合、広範囲を迅速に探査することが求められる。よって、探査の際には、最初に、遠方から広範囲を探査し、低温の背景から浮かび上がる輝点の有無をまず確認し、この後、輝点部分を拡大して人間かどうかの確認を行うことが効率的である。また、航空からの森林火災の監視用途等においても、同様に暗い背景から小さな輝点を検出することが求められている。
【０００３】
このような暗い背景から小さな輝点を検出する場合において問題となるのは、いわゆるＲＴＮ（ランダム・テレグラフ・ノイズまたはランダム・テレグラフ・シグナル・ノイズ）と言われる雑音である。赤外線カメラ等に搭載されているイメージセンサーは一般に光検出素子を駆動するためにＭＯＳ（metal-oxide-semiconductor）トランジスタを用いている。イメージセンサーは技術のトレンドとして高精細化を追求する傾向にあり、このため１画素あたりのデバイスサイズは微細化する傾向にある。ＲＴＮはＭＯＳトランジスタのチャネル内を移動するキャリアが、ゲート絶縁膜などに存在するトラップ準位に捕獲されることによって発生することが知られている。従って、デバイスサイズの微細化に伴い、１つのキャリアの準位への捕捉により、画素ごとの出力が大きく揺らぐこととなり、画素の微細化に伴ってＲＴＮは大きな問題となってきている。
【０００４】
特に、上述した冬の山岳遭難者の上空からの捜索等のように、暗い背景から１画素相当の輝点（本願においては、孤立輝点と記載する場合がある）を検出する場合においては、ＲＴＮと真の信号との分離は大きな問題となる。
【０００５】
ＲＴＮの影響を低減するＭＯＳトランジスタの駆動方法としては、１フレームの画像撮像期間中にトランジスタへのバイアスを複数回変化させて対応する方法（例えば、特許文献１）が開示されている。また、１つのキャリアの準位への捕捉に伴う信号レベルの変化は、各トランジスタごとに一定であることが知られており、この信号差を利用してＲＴＮと真の信号を分離する方法（例えば、特許文献２）が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１４１６１２号公報
【特許文献２】特開２０１２−１０５０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、１フレームの画像撮像期間中にトランジスタへのバイアスを複数回変化させる方法では、１フレーム期間において光検出を行う時間が減ってしまい、感度が不十分となる場合がある。また、信号差を利用してＲＴＮと真の信号を分離する方法では、ＲＴＮの信号レベル変化と同一の信号は検出できないといった問題点がある。
【０００８】
このため、光検出素子の有効に動作する時間を犠牲にすることなく、任意の輝度の孤立輝点をＲＴＮと分離し、ＲＴＮの影響を排除した画像が得られる画像処理装置が求められている。
【課題を解決するための手段】
【０００９】
本実施の形態の一観点によれば、複数の画素が１次元または２次元に配列されている撮像素子と、前記撮像素子に入射する光を分光し、前記撮像素子において撮像される画像にゴーストを発生させる分光素子と、前記撮像素子により撮像された画像にゴーストによる輝点が発生している場合には、前記ゴーストによる輝点より所定の距離離れた画素における輝点は孤立輝点と判断し、前記ゴーストによる輝点が発生していない場合には、前記輝点はノイズであると判断する画像処理部と、を有することを特徴とする。
【発明の効果】
【００１０】
開示の画像処理装置によれば、光検出素子の有効に動作する時間を犠牲にすることなく、任意の輝度の孤立輝点をＲＴＮと分離することができ、ＲＴＮの影響を排除した画像を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施の形態における画像処理装置の構造図
【図２】孤立輝点及びゴーストの画像の説明図
【図３】第１の実施の形態における画像処理方法のフローチャート
【図４】ゴーストを除去した画像の説明図
【図５】ゴーストを除去し孤立輝点をマークで強調した画像の説明図
【図６】第２の実施の形態における画像処理方法のフローチャート
【発明を実施するための形態】
【００１２】
実施するための形態について、以下に説明する。尚、同じ部材等については、同一の符号を付して説明を省略する。
【００１３】
〔第１の実施の形態〕
（画像処理装置）
第１の実施の形態における画像処理装置について図１に基づき説明する。本実施の形態における画像処理装置は、対物レンズ１０、分光素子２０、撮像素子３０、駆動回路４０、画像メモリ５０、出力部６０、画像処理部７０等を有している。撮像素子３０は、複数の画素を有するものであって、複数の画素が１次元または２次元に配列されている。本実施の形態においては、撮像素子３０は、ＱＷＩＰ（Quantum Well Infrared Photodetectors）のＦＰＡ（Focal Plane Array）等により形成されている。
【００１４】
分光素子２０は、対物レンズ１０より入射した光を分光し、撮像素子３０にゴーストを発生させるものである。具体的には、分光素子２０は、ガラス等の透明な平行平板や複屈折を有する方解石等により形成されており、孤立輝点となる結像と孤立輝点より所定距離離れた位置に孤立輝点のゴーストとなる別の結像を形成する機能を有している。例えば、分光素子２０が透明な平行平板である場合には、撮像素子３０の入射面に対し傾いた角度、即ち、対物レンズ１０から撮像素子３０に入射する光の光路に対し傾いた角度で設置されている。
【００１５】
本実施の形態においては、この平行平板の表面及び裏面には、反射防止膜等が形成されていないため、平行平板に入射した光の大部分は透過するが、平行平板に入射した光の一部は平行平板の表面及び裏面の両面において反射される。このため、対物レンズ１０から分光素子２０である平行平板に入射した光は、平行平板をそのまま透過し撮像素子３０に向かう光と、平行平板の表面及び裏面の両面で反射されて、撮像素子３０に向かう光とに分離される。対物レンズ１０から平行平板に入射した光のうち、平行平板をそのまま透過し撮像素子３０に入射する光が孤立輝点となる光であるとすると、平行平板の表面及び裏面の両面で反射されて、撮像素子３０に入射する光がゴーストとなる。従って、ゴーストが検出される画素は、ゴーストが検出されない他の画素よりも輝度が高い。
【００１６】
尚、平行平板では、表面及び裏面の両面における反射が複数回なされることにより生じたゴーストも発生するが、平行平板における表面及び裏面における反射率は、それほど高くはないため、表面及び裏面の両面において２回以上反射した光の強度は急激に低下する。このため、平行平板の表面及び裏面の両面において２回以上反射した光によるゴーストについては、本願発明においては無視するものとする。
【００１７】
駆動回路４０は、撮像素子３０を駆動等する機能を有しており、画像メモリ５０は撮像素子３０により撮像された画像を記憶する。出力部６０は、モニタ等であり、撮像素子３０により撮像された画像やゴーストを取り除いた画像を表示するものである。画像処理部７０は、各種演算、画像処理、撮像素子３０において撮像された画像における輝点が孤立輝点であるかＲＴＮであるかを判断すること等を行うものであり、更には、撮像素子３０の画素におけるＲＴＮレベルテーブル等が記憶されている。
【００１８】
本実施の形態における画像処理装置においては、対物レンズ１０より入射した光が分光素子２０により分光され撮像素子３０に入射する。よって、撮像素子３０には、孤立輝点となる光と、分光素子２０により分光された孤立輝点のゴーストとなる光が入射し、図２に示されるように、孤立輝点のゴーストは孤立輝点より所定の距離Ｌ離れた位置に検出される。孤立輝点と孤立輝点のゴーストとの間の所定の距離Ｌは、分光素子２０の特性、例えば、分光素子２０がガラス等の透明な平行平板である場合には、平行平板の厚さや分光素子２０が設置される傾き等により定まる。従って、分光素子２０がガラス等の平行平板である場合には、平行平板の厚さや設置される傾き等が定まれば、孤立輝点が存在している場合には、孤立輝点より所定の距離Ｌ離れた画素に孤立輝点のゴーストが検出される。このように、平行平板は、孤立輝点より所定の距離Ｌ離れた画素に、孤立輝点のゴーストが生じるように分光する機能を有している。
【００１９】
また、分光素子２０がガラス等の平行平板である場合には、平行平板の表面及び裏面における反射率より、孤立輝点の明るさに基づき孤立輝点のゴーストの明るさを算出することができる。即ち、孤立輝点のゴーストの明るさは、孤立輝点の明るさに対し、平行平板の表面及び裏面における反射率より得られる所定の比率を掛けた明るさとなる。
【００２０】
従って、輝点から所定の距離離れた位置にゴーストが検出された場合には、輝点が孤立輝点であると判断することができる。また、輝点から所定の距離離れた位置にゴーストが検出された場合であって、ゴーストの明るさが孤立輝点の明るさに対し所定の比率の明るさである場合には、輝点が孤立輝点であると判断してもよい。
【００２１】
例えば、ｎ番目の画素の出力をＡｎ、ｎ番目の画素のゴーストが現れる（ｎ＋ｇ）番目の画素の出力をＡｎ＋ｇ、両画素がともにＲＴＮにより出力変化していない場合の出力強度比をＲとする。また、ｎ番目の画素の出力変化量をＳｎ、（ｎ＋ｇ）番目の画素の出力変化量をＳｎ＋ｇとする。撮像素子３０により撮像された輝点が十分に孤立している場合、例えば、Ａｎ＋２ｇ＝０の場合において、（ｎ＋ｇ）番目の画素の出力Ａｎ＋ｇに基づき、以下のように判断することができる。
Ａｎ＋ｇ＝Ｒ×Ａｎの場合には、ｎ番目の画素における輝点は、出力がＡｎに対応する明るさの孤立輝点として検出する。
Ａｎ＋ｇ＝Ｒ×（Ａｎ−Ｓｎ）の場合には、ｎ番目の画素における輝点は、出力が（Ａｎ−Ｓｎ）に対応する明るさの孤立輝点として検出する。
Ａｎ＋ｇ＝Ｒ×Ａｎ＋Ｓｎ＋ｇの場合には、ｎ番目の画素における輝点は、出力がＡｎに対応する明るさの孤立輝点として検出する。
Ａｎ＋ｇ＝０の場合には、ｎ番目の画素における輝点は、ノイズまたは（ｎ−ｇ）番目の画素のゴースト等であるため、孤立輝点が検出されない。
【００２２】
撮像された輝点が十分に孤立していない場合には上記を再帰的に行い、孤立輝点の検出及び孤立輝点の明るさを算出する。上記における判断や演算は、画像処理部７０において行われる。
【００２３】
（画像処理方法）
次に、第１の実施の形態における画像処理方法について図３に基づき説明する。
【００２４】
最初に、ステップ１０２（Ｓ１０２）において、図１に示す画像処理装置により、撮像素子３０により分光素子２０を介した画像を取得する。
【００２５】
次に、ステップ１０４（Ｓ１０４）において、撮像素子３０により取得した画像に輝点（周囲より輝度の高い明るい点）があるか否かが判断される。撮像素子３０により取得した画像に輝点があると判断された場合には、ステップ１０６に移行し、輝点がないと判断された場合には、ステップ１０２に移行する。
【００２６】
次に、ステップ１０６（Ｓ１０６）において、ゴーストが発生しているか否かが判断される。具体的には、輝点より所定の距離離れた画素がゴーストにより明るくなっているか否か（ゴーストによる輝点が発生しているか否か）により判断する。ゴーストによる輝点が発生していると判断された場合には、ステップ１０４において検出された輝点は孤立輝点として判断され、ステップ１０８に移行する。図２は、この場合において、撮像素子３０により撮像された画像の様子を示す。また、ゴーストによる輝点が発生していないと判断された場合には、ステップ１０４において検出された輝点は孤立輝点ではないため、孤立輝点は検出されなかったものと判断され、ステップ１０２に移行する。尚、ステップ１０６におけるゴーストが発生しているか否かについては、上記のように、輝点より所定の距離離れた画素が、輝点の明るさに対し所定の比率をかけた明るさ等になっているか否かにより判断してもよい。
【００２７】
次に、ステップ１０８（Ｓ１０８）において、ゴーストによる輝点を除去した画像を生成する。具体的には、画像処理部７０等において画像処理を行うことにより、孤立輝点のゴーストによる輝点を除去する。これにより、図４に示されるように、ゴーストによる輝点の存在しない孤立輝点のみの画像を得る。
【００２８】
次に、ステップ１１０（Ｓ１１０）において、図５に示すように、検出した孤立輝点を強調するマーク７１を追加する。
【００２９】
次に、ステップ１１２（Ｓ１１２）において、マーク７１が追加された画像、即ち、図５に示される画像を出力部６０に表示させる。
【００３０】
以上により、本実施の形態における画像処理方法を行うことができる。
【００３１】
〔第２の実施の形態〕
次に、第２の実施の形態における画像処理方法について図６に基づき説明する。本実施の形態は、第１の実施の形態における画像処理装置と同様の画像処理装置を用いるものであり、孤立輝点が複数個発生した場合において検出率低下を防ぐことができる。
【００３２】
最初に、ステップ２０２（Ｓ２０２）において、図１に示す画像処理装置により、撮像素子３０により分光素子２０を介した画像を取得する。
【００３３】
次に、ステップ２０４（Ｓ２０４）において、撮像素子３０により取得した画像に輝点（輝度の高い明るい点）があるか否かが判断される。撮像素子３０により取得した画像に輝点があると判断された場合には、ステップ２０６に移行し、輝点がないと判断された場合には、ステップ２０２に移行する。
【００３４】
次に、ステップ２０６（Ｓ２０６）において、輝点における画素の出力の変化がＲＴＮ相当のレベルの変化であるか否かが判断される。輝点における画素の出力の変化がＲＴＮ相当のレベルの変化である場合にはステップ２０８に移行し、輝点における画素の出力の変化がＲＴＮ相当のレベルの変化ではない場合には、輝点は孤立輝点と判断されステップ２１０に移行する。例えば、輝点における画素の出力の変化がＲＴＮ相当のレベルの変化ではない場合としては、ステップ２０４において検出された輝点の明るさが、ＲＴＮ相当のレベルを超える明るさである場合等が考えられる。
【００３５】
次に、ステップ２０８（Ｓ２０８）において、ゴーストが発生しているか否かが判断される。具体的には、輝点より所定の距離離れた画素がゴーストにより明るくなっているか否か（ゴーストによる輝点が発生しているか否か）により判断してもよい。ゴーストによる輝点が発生していると判断された場合には、ステップ２０４において検出された輝点は孤立輝点として判断され、ステップ２１０に移行する。図２は、この場合において、撮像素子３０により撮像された画像の様子を示す。また、ゴーストによる輝点が発生していないと判断された場合には、ステップ２０４において検出された輝点は孤立輝点ではないため、孤立輝点は検出されなかったものと判断され、ステップ２０２に移行する。尚、ステップ２０８におけるゴーストが発生しているか否かについては、輝点より所定の距離離れた画素が、輝点の明るさに対し所定の比率をかけた明るさ等になっているか否かにより判断してもよい。
【００３６】
次に、ステップ２１０（Ｓ２１０）において、ゴーストによる輝点を除去した画像を生成する。具体的には、画像処理部７０等において画像処理を行うことにより、孤立輝点のゴーストによる輝点を除去する。これにより、図４に示されるように、ゴーストによる輝点の存在しない孤立輝点のみの画像を得る。
【００３７】
次に、ステップ２１２（Ｓ２１２）において、図５に示すように、検出した孤立輝点を強調するマーク７１を追加する。
【００３８】
次に、ステップ２１４（Ｓ２１４）において、マーク７１が追加された画像、即ち、図５に示される画像を出力部６０に表示させる。
【００３９】
以上により、本実施の形態における画像処理方法を行うことができる。
【００４０】
以上、実施の形態について詳述したが、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。
【００４１】
上記の説明に関し、更に以下の付記を開示する。
（付記１）
複数の画素が１次元または２次元に配列されている撮像素子と、
前記撮像素子に入射する光を分光し、前記撮像素子において撮像される画像にゴーストを発生させる分光素子と、
前記撮像素子により撮像された画像にゴーストによる輝点が発生している場合には、前記ゴーストによる輝点より所定の距離離れた画素における輝点は孤立輝点と判断し、前記ゴーストによる輝点が発生していない場合には、前記輝点はノイズであると判断する画像処理部と、
を有することを特徴とする画像処理装置。
（付記２）
前記分光素子は、前記撮像素子に入射する光の光路に対し斜めとなるように設置された透明な平行平板、または、複屈折材料により形成された光学素子であることを特徴とする付記１に記載の画像処理装置。
（付記３）
前記所定の距離は、前記分光素子により分光された光に対応する距離であることを特徴とする付記１または２に記載の画像処理装置。
（付記４）
前記画像処理部は、前記撮像素子により撮像された画像にゴーストによる輝点が発生している場合には、前記撮像素子により撮像された画像より前記ゴーストによる輝点を除去することを特徴とする付記１から３のいずれかに記載の画像処理装置。
（付記５）
複数の画素が１次元または２次元に配列されている撮像素子により撮像された画像の画像処理方法において、
前記撮像素子に入射する光を分光し、前記撮像素子において撮像される画像にゴーストを発生させる分光素子を介した光を入射させて画像を撮像する工程と、
前記撮像された画像に、ゴーストによる輝点が発生しているか否かを判断する工程と、
前記ゴーストによる輝点が発生している場合には、前記ゴーストによる輝点が発生している画素より所定の距離離れた画素の輝点を孤立輝点と判断し、前記ゴーストによる輝点が発生していない場合には、前記輝点はノイズであると判断する工程と、
を有することを特徴とする画像処理方法。
（付記６）
前記ゴーストによる輝点が発生している場合には、前記撮像素子により前記分光素子を介して撮像された画像より、前記ゴーストによる輝点を除去する工程と、
前記ゴーストによる輝点の除去された画像を表示する工程と、
を有することを特徴とする付記５に記載の画像処理方法。
【符号の説明】
【００４２】
１０        対物レンズ
２０        分光素子
３０        撮像素子
４０        駆動回路
５０        画像メモリ
６０        出力部
７０        画像処理部
【図１】
2017017418.tif 000003
【図２】
2017017418.tif 000004
【図３】
2017017418.tif 000005
【図４】
2017017418.tif 000006
【図５】
2017017418.tif 000007
【図６】
2017017418.tif 000008