(57)【要約】【課題】赤外線撮像装置および赤外線撮像装置による信号補正方法において、赤外線画像の画素信号のばらつきが変動する場合であっても赤外線画像の画素信号のばらつきによるノイズを低減する。【解決手段】赤外線撮像装置（１）が、光学系（２）と、光学系（２）からの赤外線が入射する有効領域に、赤外線検出素子である有効画素を行列状配置した有効画素部と、光学系からの赤外線が入射しない参照領域に、赤外線検出素子である参照画素を複数配置した参照画素部とを備え、光学系（２）の結像面に位置する検出部（３）と、検出部（３）で検出した画素信号に補正処理を行う信号補正部（６）とを備え、信号補正部（６）が、参照画素部に含まれる複数の参照画素の画素信号のばらつきを表す参照ばらつき値を算出し、参照ばらつき値が大きくなるほど有効画素の画素信号のばらつきを小さくするばらつき補正処理を行う。【選択図】図２
2016185700.tif 000002
【特許請求の範囲】
【請求項１】
光学系と、
前記光学系からの赤外線が入射する有効領域に、赤外線検出素子である有効画素を行列状配置した有効画素部と、前記光学系からの赤外線が入射しない参照領域に、前記赤外線検出素子である参照画素を複数配置した参照画素部とを備え、前記光学系の結像面に位置する検出部と、
前記検出部で検出した画素信号に補正処理を行う信号補正部とを備え、
前記信号補正部が、前記参照画素部に含まれる前記複数の参照画素の画素信号のばらつきを表す参照ばらつき値を算出し、該参照ばらつき値が大きくなるほど前記有効画素の画素信号のばらつきを小さくするばらつき補正処理を行うことを特徴とする赤外線撮像装置。
【請求項２】
前記検出部が、前記参照画素部と前記有効画素部とを有する単一のイメージセンサとして構成される請求項１記載の赤外線撮像装置。
【請求項３】
前記参照画素部は、前記有効画素部に隣接して位置する複数の部分参照画素部を備える請求項２記載の赤外線撮像装置。
【請求項４】
前記信号補正部が、前記複数の部分参照画素部のそれぞれに対して該部分参照画素部のばらつきを表す部分参照ばらつき値を算出し、該複数の部分参照ばらつき値の平均値を前記参照ばらつき値として決定する請求項３記載の赤外線撮像装置。
【請求項５】
前記信号補正部が、前記複数の部分参照画素部のそれぞれに対して部分参照ばらつき値を算出し、該複数の部分参照ばらつき値の最大値または最小値を前記参照ばらつき値として決定する請求項３記載の赤外線撮像装置。
【請求項６】
前記複数の部分参照画素部は、第１の方向に前記有効領域の中心を挟んで互いに対向する第１および第２の部分参照画素部と、前記第１の方向と異なる第２の方向に前記有効領域の中心を挟んで互いに対向する第３および第４の部分参照画素部とを備える請求項１から５のいずれか１項記載の赤外線撮像装置。
【請求項７】
前記検出部が、前記有効画素部を有する第１イメージセンサと、前記第１イメージセンサと同じ温度特性を有し、前記参照画素部を有する第２イメージセンサとを備え、前記第２イメージセンサは前記第１イメージセンサの周辺に位置する請求項１記載の赤外線撮像装置。
【請求項８】
前記第２イメージセンサの検出面全体に前記参照画素が設けられ、
前記信号補正部が、前記参照画素部に含まれる全ての前記参照画素の画素信号のばらつきを表す前記参照ばらつき値を算出する請求項７記載の赤外線撮像装置。
【請求項９】
前記参照画素部が、前記光学系の結像領域を除いた位置に設けられている請求項１から８のいずれか１項記載の赤外線撮像装置。
【請求項１０】
前記光学系から前記参照画素への赤外線入射を遮蔽する遮蔽部をさらに備える請求項１から８のいずれか１項記載の赤外線撮像装置。
【請求項１１】
前記信号補正部は、各々の前記有効画素の画素信号に対して、前記参照ばらつき値が大きくなるほど、該有効画素の画素信号を補正して、該有効画素の画素信号と、該有効画素の周辺に位置する複数の周辺画素の画素信号の平均値との差を小さくすることにより前記ばらつき補正処理を行う請求項１から１０のいずれか１項記載の赤外線撮像装置。
【請求項１２】
前記信号補正部は、前記有効画素の画素信号と、該有効画素の周辺に位置する前記複数の周辺画素の画素信号の平均値との差が第１しきい値条件を満たす場合に、前記ばらつき補正処理を行う請求項１１記載の赤外線撮像装置。
【請求項１３】
前記信号補正部は、前記参照ばらつき値を算出し、算出された前記参照ばらつき値に応じて前記有効画素の画像信号のばらつきを低減する度合いを表す補正強度を算出し、算出された該補正強度に応じて前記有効画素の画素信号のばらつきを小さくすることにより前記ばらつき補正処理を行い、
前記参照ばらつき値を算出し、算出された該参照ばらつき値に応じて前記補正強度を更新して算出する補正強度更新処理を行う請求項１から１２のいずれか１項記載の赤外線撮像装置。
【請求項１４】
前記信号補正部は、前記参照画素部の画素信号を取得し、取得した該参照画素部の画素信号と前回の前記補正強度の算出の際の前記参照画素部の画素信号との差が第２しきい値条件を満たす場合に、前記補正強度更新処理を行う請求項１３記載の赤外線撮像装置。
【請求項１５】
光学系と、前記光学系からの赤外線が入射する有効領域に、赤外線検出素子である有効画素を行列状配置した有効画素部と、前記光学系からの赤外線が入射しない参照領域に、前記赤外線検出素子である参照画素を複数配置した参照画素部とを備え、前記光学系の結像面に位置する検出部と、前記検出部で検出した画素信号に補正処理を行う信号補正部とを備えた赤外線撮像装置による信号補正方法であって、
前記有効画素の画素信号と前記参照画素の画素信号とを検出する検出ステップと、
前記参照画素部に含まれる前記複数の参照画素の画素信号のばらつきを表す参照ばらつき値を算出し、該参照ばらつき値が大きくなるほど前記有効画素の画素信号のばらつきを小さくするばらつき補正処理を行う信号補正ステップとを有することを特徴とする赤外線撮像装置による信号補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線画像を撮像する赤外線撮像装置および赤外線撮像装置による信号補正方法に関し、特に赤外線画像の画素信号を補正する赤外線撮像装置および赤外線撮像装置による信号補正方法に関する。
【背景技術】
【０００２】
近年、赤外線画像を撮像する撮像装置において、赤外線検出素子を行列状に配置したイメージセンサとして、温度変動に応じて抵抗値が変動することを利用して赤外線を検出するボロメータ型のイメージセンサが用いられている。特許文献１は、このようなボロメータ型のイメージセンサにおいて、赤外線による信号を蓄積するためのバイアス電流のジュール熱に起因するノイズをキャンセルするために、イメージセンサに赤外線が入射するイメージエリアと赤外線が入射しない非イメージエリアを設け、非イメージエリアの赤外線検出素子の電気信号に応じて、イメージエリアの赤外線検出素子に流すバイアス電流をオフセット制御する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２４５６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、本出願の発明者の新たな知見に基づいて、図１に、横軸に時間軸を表し、縦軸に特定の測定対象領域に対してイメージセンサで検出された赤外線画像の画素信号の分散を表す時系列グラフを示す。本出願の発明者の解析により、イメージセンサのノイズ特性がセンサ自身の温度変動などの要因に応じて変化するため、図１に示すように、イメージセンサで検出された画素信号のばらつきが時刻ごとに非線形に変動することがわかってきた。【０００５】
ここで、画素信号のばらつきが時刻ごとに非線形に変動した場合に、イメージセンサで検出された赤外線画像のそれぞれに対して共通の補正強度で画素信号のばらつきを低減するばらつき補正処理を行った比較例について説明する。図１３に、比較例として、図１における時刻ｔ１の赤外線画像Ｉｔ１と、図１における時刻ｔ２の赤外線画像Ｉｔ２に対して、共通の補正強度で画素信号のばらつきを補正した補正後画像Ｉｔ１＿ｐと補正後画像Ｉｔ２＿ｐとをそれぞれ示す。なお、画素信号のばらつきが大きくなると、赤外線画像中に撮像対象とは無関係な白点や黒点などのノイズが増加する。図１３は、赤外線画像Ｉｔ１よりも赤外線画像Ｉｔ２の方が、画素信号のばらつきが相対的に大きい例を示している。【０００６】
図１３に示す比較例のように共通の補正強度でばらつき補正処理を行った場合には、一方の赤外線画像Ｉｔ１に対しては画素信号のばらつきが適切に低減された補正後画像Ｉｔ１＿ｐを得ることができても、他方の赤外線画像Ｉｔ２に対しては画素信号のばらつきの増大に対応できず、補正後画像Ｉｔ２＿ｐに示されるように、画素信号のばらつきを十分低減できず補正不足となってしまう。逆に、赤外線画像Ｉｔ１よりも画素信号のばらつきが小さい赤外線画像に対して共通の補正強度でばらつき補正処理を行った場合には、画素信号のばらつきを十分低減できず過補正となってしまう。このため、赤外線画像の画素信号のばらつきが変動する場合であっても赤外線画像の画素信号のばらつきによるノイズを低減する技術が求められている。しかしながら、上記特許文献１に記載された技術は、アドレス線単位でバイアス電流をオフセット制御する技術であるため、赤外線画像の画素信号のばらつきを低減することはできない。【０００７】
本発明は上記事情に鑑みてなされたものであり、赤外線画像の画素信号のばらつきが変動する場合であっても赤外線画像の画素信号のばらつきによるノイズを低減する赤外線撮像装置、かかる赤外線撮像装置による信号補正方法を提案することを目的とする。
【課題を解決するための手段】
【０００８】
本願発明にかかる赤外線撮像装置は、光学系と、光学系からの赤外線が入射する有効領域に、赤外線検出素子である有効画素を行列状配置した有効画素部と、光学系からの赤外線が入射しない参照領域に、赤外線検出素子である参照画素を複数配置した参照画素部とを備え、光学系の結像面に位置する検出部と、検出部で検出した画素信号に補正処理を行う信号補正部とを備え、信号補正部が、参照画素部に含まれる複数の参照画素の画素信号のばらつきを表す参照ばらつき値を算出し、参照ばらつき値が大きくなるほど有効画素の画素信号のばらつきを小さくするばらつき補正処理を行うことを特徴とする。【０００９】
本願発明にかかる赤外線撮像装置による信号補正方法は、光学系と、光学系からの赤外線が入射する有効領域に、赤外線検出素子である有効画素を行列状配置した有効画素部と、光学系からの赤外線が入射しない参照領域に、赤外線検出素子である参照画素を複数配置した参照画素部とを備え、光学系の結像面に位置する検出部と、検出部で検出した画素信号に補正処理を行う信号補正部とを備えた赤外線撮像装置による信号補正方法であって、有効画素の画素信号と参照画素の画素信号とを検出する検出ステップと、参照画素部に含まれる複数の参照画素の画素信号のばらつきを表す参照ばらつき値を算出し、参照ばらつき値が大きくなるほど有効画素の画素信号のばらつきを小さくするばらつき補正処理を行う信号補正ステップとを有することを特徴とする。【００１０】
上記「光学系からの赤外線が入射しない参照領域」とは、参照領域が何らかの方法によって光学系からの赤外線が入射しないように構成されていることを意味する。例えば、光学系の結像領域と重複しないように参照領域を設けることによって参照領域に赤外線が入射しないように構成してもよく、光学系からの赤外線の直接入射を遮蔽物によって遮蔽することによって、参照領域に赤外線が入射しないように構成してもよい。【００１１】
上記「参照ばらつき値」とは、参照画素部に含まれる複数の参照画素の画素信号のばらつきを表す値を意味する。参照ばらつき値は、参照画素部に含まれる複数の参照画素の画素信号のばらつきを表す任意の方法で定義することができる。例えば、参照ばらつき値として、参照画素部に含まれる複数の参照画素の画素信号の分散、標準偏差などの統計的なばらつきを表す値、または、参照画素部に含まれる複数の参照画素の画素信号の最大値と最小値との差などの参照画素部の画素信号の分布の範囲を表す値を用いることができる。【００１２】
本願発明にかかる赤外線撮像装置において、検出部は、参照画素部と有効画素部とを有する単一のイメージセンサとして構成されてもよい。【００１３】
上記場合に、参照画素部は、有効画素部に隣接して位置する複数の部分参照画素部を備えてもよい。【００１４】
本願発明にかかる赤外線撮像装置において、参照画素部が、有効画素部に隣接して位置する複数の部分参照画素部を備える場合に、信号補正部が、複数の部分参照画素部のそれぞれに対して部分参照画素部のばらつきを表す部分参照ばらつき値を算出し、複数の部分参照ばらつき値の平均値を参照ばらつき値として決定してもよい。【００１５】
本願発明にかかる赤外線撮像装置において、参照画素部が、有効画素部に隣接して位置する複数の部分参照画素部を備える場合に、信号補正部が、複数の部分参照画素部のそれぞれに対して部分参照ばらつき値を算出し、複数の部分参照ばらつき値の最大値または最小値を参照ばらつき値として決定してもよい。【００１６】
本願発明にかかる赤外線撮像装置において、参照画素部が、有効画素部に隣接して位置する複数の部分参照画素部を備える場合に、複数の部分参照画素部は、第１の方向に有効領域の中心を挟んで互いに対向する第１および第２の部分参照画素部と、第１の方向と異なる第２の方向に有効領域の中心を挟んで互いに対向する第３および第４の部分参照画素部と備えることが好ましい。【００１７】
上記「参照画素部が、有効画素部に隣接して位置する」とは、参照画素部と有効画素部とが隣接しているとみなせる程度に、参照画素部が有効画素部から十分に小さい距離に位置することを意味する。参照画素部は、有効画素部と直接隣接してよいが、結像領域に含まれない範囲で有効画素部との最短距離が十分に小さな距離に位置するものであれば、有効画素部と直接隣接していなくてもよい。【００１８】
本願発明にかかる赤外線撮像装置において、検出部は、有効画素部を有する第１イメージセンサと、第１イメージセンサと同じ温度特性を有し、参照画素部を有する第２イメージセンサとを備え、第２イメージセンサは第１イメージセンサの周辺に位置してもよい。【００１９】
上記場合に、第２イメージセンサの検出面全体に参照画素が設けられ、信号補正部が、参照画素部に含まれる全ての参照画素の画素信号のばらつきを表す参照ばらつき値を算出することが好ましい。【００２０】
上記「第１イメージセンサと同じ温度特性」を有する第２イメージセンサとは、第１イメージセンサに設けられた赤外線素子の構造と、第２イメージセンサに設けられた赤外線素子の構造が等しく、基板温度および赤外線撮像装置の筐体温度などの外的要因による温度が同等である熱環境下において、第２イメージセンサが、第１イメージセンサと同様の画素信号の変動を示すように構成されていることを意味する。例えば、第２イメージセンサを、第１イメージセンサと同じ仕様の製品とすることができる。【００２１】
上記「第２イメージセンサは第１イメージセンサの周辺に位置する」とは、基板温度および赤外線撮像装置の筐体温度などの外的要因による温度が第１イメージセンサと同等である範囲に第２イメージセンサが位置することを意味する。例えば、第１イメージセンサと第２イメージセンサとを基板の第１面（光学系に近い方の面）に隣接して設けることができる。また、例えば、第１イメージセンサと第２イメージセンサとを、第１面と第２面（光学系から遠い方の面）の対応する位置にそれぞれ設けてもよい。【００２２】
本願発明にかかる赤外線撮像装置において、参照画素部は、光学系の結像領域を除いた位置に設けられてもよい。【００２３】
本願発明にかかる赤外線撮像装置において、光学系から参照画素への赤外線入射を遮蔽する遮蔽部をさらに備えてもよい。【００２４】
本願発明にかかる赤外線撮像装置において、信号補正部は、各々の有効画素の画素信号に対して、参照ばらつき値が大きくなるほど、有効画素の画素信号を補正して、有効画素の画素信号と、有効画素の周辺に位置する複数の周辺画素の画素信号の平均値との差を小さくすることによりばらつき補正処理を行うことができる。【００２５】
上記「有効画素の周辺に位置する複数の周辺画素」とは、有効画素と特定の位置関係を満足するように選択された、その有効画素以外の複数の有効画素を意味する。周辺画素は、有効画素と十分に近い距離に位置するように選択されるものであれば、有効画素と直接隣接していない他の有効画素を採用してもよい。例えば、対象とされる有効画素を中心として３×３画素または５×５画素の範囲に属する複数の有効画素から、中心とされた有効画素以外の任意の有効画素を周辺画素とすることができる。【００２６】
本願発明にかかる赤外線撮像装置において、信号補正部は、有効画素の画素信号と、有効画素の周辺に位置する複数の周辺画素の画素信号の平均値との差が第１しきい値条件を満たす場合に、ばらつき補正処理を行ってもよい。【００２７】
本願発明にかかる赤外線撮像装置において、信号補正部は、参照ばらつき値を算出し、算出された参照ばらつき値に応じて有効画素の画像信号のばらつきを低減する度合いを表す補正強度を算出し、算出された補正強度に応じて有効画素の画素信号のばらつきを小さくすることによりばらつき補正処理を行い、参照ばらつき値を算出し、算出された参照ばらつき値に応じて補正強度を更新して算出する補正強度更新処理を行うことが好ましい。【００２８】
上記場合に、信号補正部は、参照画素部の画素信号を取得し、取得した参照画素部の画素信号と前回の補正強度の算出の際の参照画素部の画素信号との差が第２しきい値条件を満たす場合に、補正強度更新処理を行うことができる。
【発明の効果】
【００２９】
本発明の赤外線撮像装置および本発明の赤外線撮像装置による信号補正方法によれば、赤外線画像の画素信号のばらつきが変動する場合であっても赤外線画像の画素信号のばらつきによるノイズを好適に低減することができる。
【図面の簡単な説明】
【００３０】
【図１】イメージセンサで検出された赤外線画像の画素信号の分散の時系列グラフ
【図２】本発明の一実施形態による赤外線撮像装置の構成を示す概略ブロック図
【図３】第１および第２の実施形態の検出部を示す概略図
【図４Ａ】第１の実施形態の信号補正部による処理を示すフローチャート
【図４Ｂ】第１の実施形態のばらつき補正部による処理を示すフローチャート
【図５】第１の実施形態のばらつき補正処理を説明するための図
【図６】第１の実施形態による補正前の赤外線画像と補正後の赤外線画像を示す図
【図７】第３の実施形態の検出部を示す概略図
【図８】第４の実施形態の検出部を示す概略図
【図９】第５の実施形態の検出部を示す概略図
【図１０Ａ】第６の実施形態の検出部の概略図
【図１０Ｂ】図１０ＡのＡＡ断面を示す切断部端面図
【図１１】第７の実施形態における補正前の赤外線画像と補正後の赤外線画像を示す図
【図１２】第８の実施形態のばらつき補正部による処理を示すフローチャート
【図１３】補正前の赤外線画像と補正後の赤外線画像の比較例を示す図
【発明を実施するための形態】
【００３１】
以下、図面を参照して本発明の実施形態について説明する。図２は本発明の一実施形態による赤外線撮像装置１の構成を示す概略ブロック図である。
【００３２】
まず、本実施の形態の赤外線撮像装置１は、赤外線撮影用の光学系２と、光学系２の結像面に位置し、光学系２を通過した赤外線を検出する後述のイメージセンサ（図２には不図示）を備えた検出部３と、後述のイメージセンサで検出された画素信号に対して増幅処理を含む公知のアナログ信号処理を行うアナログ信号処理回路４と、アナログ信号処理を施された画素信号に対してＡＤ変換（Analog to Digital変換）を行うＡＤ変換回路５と、ＡＤ変換処理を施されたデジタル信号から構成される赤外線画像に対して、本発明の実施形態によるばらつき補正処理を含む各種の信号補正処理を行うデジタル信号処理装置(Digital Signal Processor)である信号補正部６と、信号補正部６によって使用される各種データを記憶する記憶部８と、信号補正部６により補正された赤外線画像を出力する出力部７とを備える。また、赤外線撮像装置１は赤外線画像の撮像などの制御を行う不図示の制御部および制御機構を備えている。
【００３３】
記憶部８は、信号補正部６に使用される各種の情報、各種デジタル信号処理が施された赤外線画像などを必要に応じて記憶する、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとフラッシュメモリなどの不揮発性メモリを含んで構成される。出力部７は、無線または有線通信によって、本発明の実施形態のばらつき補正処理を含む各種のデジタル信号処理が施された赤外線画像を不図示の外部記憶部と表示部に出力する。ここでは、不図示の外部記憶部は、ハードディスクなど各種の記憶媒体から構成される。例えば、外部記憶部をメモリカード型の補助記憶装置として構成してもよい。なお、不図示の表示部は、液晶型ディスプレイなど公知のディスプレイを備え、出力した赤外線画像を表示する。ここでは、記憶部８と信号補正部６とは単一の集積回路チップに実装されている。しかし、これに限定されず、記憶部８と信号補正部６がそれぞれ異なる集積回路チップに実装されてもよい。
【００３４】
検出部３は、複数の赤外線検出素子を行列状配置した１枚以上のイメージセンサから構成される。図３に、第１の実施形態による第１イメージセンサ３１の概略図を示す。検出部３に含まれる１枚以上のイメージセンサは、光学系２を通過した赤外線が入射する有効領域ＡＲに、赤外線検出素子である有効画素を行列状配置した有効画素部３５と、光学系２を通過した赤外線が入射しない参照領域ＢＲに、赤外線検出素子である参照画素を複数配置した参照画素部３６を有する。有効画素部３５は、赤外線画像に対応する画像信号を検出するものであり、参照画素部３６は、赤外線画像の信号補正処理に用いるための画像信号を検出するものである。以下、検出部３に含まれる１枚以上のイメージセンサのうち、有効画素部３５を有するイメージセンサを第１イメージセンサ３１と記載する。検出部３が、有効画素部３５を有さないさらなるイメージセンサを備える場合には、さらなるイメージセンサを第２イメージセンサ３２と記載する。
【００３５】
ここで、有効画素および参照画素は、赤外線（波長０．７μｍ〜１ｍｍ）を検出可能な赤外線検出素子（赤外線検出器）であり、特に、遠赤外線（波長４μｍ〜１ｍｍ）を検出可能な赤外線検出素子である。例えば、上記有効画素および参照画素として用いられる赤外線検出素子としてボロメータ型の赤外線検出素子を用いることができる。また、本発明の各実施の形態では、赤外線を検出する感熱部の有無または感熱部の構造を異ならせる方式ではなく、赤外線の入射の有無を異ならせる方式によって、同じ構造を備えた赤外線検出素子を赤外線の入射のある有効画素または赤外線の入射のない参照画素として用いている。このような有効画素と参照画素を備えた参照画素部３６を用いることで、感熱部の構造や感熱部の構造の違いによる熱特性の相違に起因して、有効画素と参照画素の画素値の差（有効画素の画素信号と参照画素の画素信号の差）が生じることがない。従って、参照画素を用いて精度よく後述のばらつき補正処理に用いる値を算出することができる。なお、各図において、第１イメージセンサ３１および第２イメージセンサ３２は、その検出領域のみを模式的に示している。第１イメージセンサ３１（および第２イメージセンサ３２）は、１つの検出領域を有し、その１つの検出領域に同じ構造（共通の構造）を有する複数の赤外線検出素子が設けられている。
【００３６】
図３の第１イメージセンサ３１に示すように、検出部３は、参照画素部３６と有効画素部３５とを有する単一のイメージセンサとして構成することができる。この場合には、単一のイメージセンサに参照画素部３６と有効画素部３５とを設けているため、イメージセンサの個体差による問題が生じることがない。また、撮像装置の部品点数の増加を抑制できる。
【００３７】
また、図３に示すように、検出部３を、参照画素部３６と有効画素部３５とを有する単一のイメージセンサとして構成した場合に、参照画素部３６は、有効画素部３５に隣接して位置することが好ましい。参照画素部３６と有効画素部３５との距離が小さくなるほど双方の環境温度の差が小さくなる（熱環境が類似する）ため、参照画素部３６と有効画素部３５の環境温度を近づけて有効画素部３５と参照画素部３６間の画素信号の分布形状を示すノイズ特性を好適に類似させることができ、精度よくばらつき補正処理を行うために有利である。
【００３８】
また、図３に示すように、光学系２の結像面に第１イメージセンサ３１の検出面を位置させ、第１イメージセンサ３１の中心Ｃと光学系２の光軸を一致させた状態で、結像面に含まれ、光軸を通る少なくとも１つの直線上において、第１イメージセンサ３１の長さよりも光学系の結像領域ＩＲの径が小さくなるように第１イメージセンサ３１および光学系２を構成してもよい。この場合には、第１イメージセンサ３１は、結像領域ＩＲと重複する領域である有効領域ＡＲに位置する赤外線検出画素が有効画素として有効画素部３５を構成し、結像領域ＩＲと重複しない領域である参照領域ＢＲに位置する赤外線検出画素が参照画素として参照画素部３６を構成している。このように、参照画素部３６を、結像領域ＩＲを除く位置に設けた場合には、参照画素部３６に対して光学系２からの赤外線の入射を避けるためのさらなる部品が不要であるため、検出部３を簡易かつ省コストに製造することができる。また、結像領域ＩＲに対して有効画素部３５の位置および面積を好適に確保しつつ、結像領域ＩＲを除く領域に参照画素部３６を設けるために有利である。
【００３９】
図３の例では、第１イメージセンサ３１が矩形センサであり、第１イメージセンサ３１の４つの隅部が結像領域ＩＲと重複しない領域である参照領域ＢＲとされている。参照画素部３６は、参照領域ＢＲ内の任意の位置に任意の形状に選択的に設けることができる。例えば、上述したような結像面に含まれ、光軸を通る少なくとも１つの直線上で、第１イメージセンサ３１の長さに対する光学系の結像領域ＩＲの径を適宜異ならせて、有効領域を囲む枠状の参照領域や、有効領域の中心を挟んで対抗する２つの辺縁部に参照領域を設けてもよい。この場合には、枠状の参照領域に、枠状の参照画素部を設けてもよく、有効領域の中心を挟んで対抗する２つの辺縁部に参照画素部を設けてもよい。有効画素部３５と参照画素部３６との位置情報は、記憶部８に記憶され、信号補正部６に適宜参照される。第１の実施形態では、図３右下の参照領域ＢＲ内に参照画素部３６が設けられている。
【００４０】
図２に戻って説明する。図２に示すように、信号補正部６は、参照領域ＢＲ内の参照画素部３６と有効領域ＡＲ内の有効画素部３５を選択する選択部６１と、参照画素部３６に含まれる複数の参照画素の画素信号のばらつきを表す参照ばらつき値を算出するばらつき算出部６２と、参照ばらつき値に基づいて参照ばらつき値が大きくなるほど補正強度が大きくなるように補正強度を算出する補正強度算出部６３と、算出された補正強度に基づいて参照ばらつき値が大きくなるほど有効画素の画素信号のばらつきを小さくするばらつき低減処理を実施するばらつき補正部６４とを備える。
【００４１】
図４Ａは、信号補正部６の処理の流れを示すフローチャートであり、図４Ｂは、図４Ａの処理のうちばらつき補正部６４の処理（図４ＡのＳ０４に対応する処理）を詳細に示すフローチャートであり、図５はばらつき補正処理の説明をするための図である。以下、図４Ａ、図４Ｂを用いて、信号補正部６について詳細に説明する。なお、信号補正部６の処理に先立って、第１イメージセンサ３１によって検出された赤外線画像Ｉを表す画像信号が、記憶部８に記憶されているものとする。なお、ばらつき補正処理は、下記Ｓ０１〜Ｓ０４にそれぞれ示すような、本発明の実施形態に係る選択処理と、ばらつき算出処理と、補正強度算出処理と、ばらつき低減処理とを含むものである。
【００４２】
まず、選択部６１は、記憶部８を参照して、参照領域ＢＲ内の参照画素部３６と有効領域ＡＲ内の有効画素部３５を選択する（Ｓ０１）。ここでは、図３の有効領域ＡＲ内の有効画素部３５と、図３の参照領域ＢＲ内のうち、第１イメージセンサ３１の右下の参照画素部３６が選択される。
【００４３】
次に、ばらつき算出部６２は、図３右下の参照領域ＢＲ内の参照画素部３６に含まれる全ての参照画素の画素信号を用いて、参照画素部３６の画素信号の分散を参照ばらつき値Ｋｂとして算出する（Ｓ０２）。光学系２からの赤外線の入射がない参照領域ＢＲ内は、撮影シーンに起因する画素信号のばらつきがないため、参照領域ＢＲの参照画素部３６によって参照ばらつき値を算出することで、参照ばらつき値はノイズによる画素信号のばらつきを表すものとなる。
【００４４】
続いて、補正強度算出部６３は、参照ばらつき値Ｋｂに基づいて、ばらつき補正の補正強度αを算出する（Ｓ０３）。補正強度算出部６３は、参照ばらつき値に基づいて参照ばらつき値が大きくなるほど補正強度αが大きくなるように、任意の方法で補正強度αを算出してよい。例えば、補正強度αは、線形関数あるいは曲線を定義する特定関数に従って算出してよい。ここでは、補正強度算出部６３は、下記式（１）に従って補正強度を算出する。式（１）において、Ｋｂは参照画素部３６の画素信号の分散であり、Ｋｓは参照画素部３６の画素信号の基準ばらつき値（ここでは基準分散値）であり、Ｋｓとして設定値「２」が用いられる。例えば、補正強度算出部６３は、算出した参照ばらつき値Ｋｂ＝４であれば、式（１）によって補正強度α＝０．７を算出する。式（１）によれば、補正強度αを固定値（例えばα=0.35）とした場合に対して、補正強度算出部６３が赤外線画像の画素信号のばらつきが大きくなるほど補正強度を大きくするように補正強度を算出できることがわかる。なお、定数の数値0.35は一例であり、要求に応じて適宜選択された定数を用いることができる。
α=0.35*(Kb/Ks)                          …（１）
【００４５】
なお、補正強度αは、０〜１の範囲の値とされ、参照ばらつき値が大きくなるほど補正強度が大きくなるように適切に選択されるものであればよく、式（１）のように基準ばらつき値に対する割合を用いる方法に限定されない。
【００４６】
続いて、ばらつき補正部６４は、補正強度αが大きくなるほど赤外線画像の画像信号のばらつきを低減する度合いが大きくなるように赤外線画像の画像信号のばらつきを低減するばらつき低減処理を行なう（Ｓ０４）。図４Ｂを用いて、ばらつき補正部６４の処理の流れを説明する。ここでは、ばらつき補正部６４は、各々の有効画素の画素信号に対して、補正強度αが大きくなるほど、有効画素の画素信号を補正して、有効画素の画素信号と、有効画素の周辺に位置する複数の周辺画素の画素信号の平均値との差を小さくすることによりばらつき低減処理を行う。
【００４７】
ばらつき補正部６４は、画素番号を表すｉを初期値（ｉ＝１）に設定して（Ｓ２１）、ｉ番目の画素信号を選択し、下記式（２）を用いて画素信号の補正を行う（Ｓ２２）。
Aip=Ai*(1-α)+Mi*α                      …（２）
式（２）において、Aiは、有効画素部３５のi番目の有効画素（iは１〜ｎの自然数）の画素信号の値、Aipはｉ番目の有効画素の補正後の画素信号の値、Miはi番目の有効画素の周辺画素の平均値、αは補正強度を意味する。なお、ここでは、補正強度αは、補正強度算出部６３によって式（１）に基づいて算出された値である。また、図５に示すように、ばらつき補正部６４は、各ｉ番目の有効画素Ｑｉを中心として３×３画素の範囲に位置する、有効画素Ｑｉ以外の８つの有効画素をそれぞれ周辺画素として用い、８つの周辺画素の画素信号の加算平均値を周辺画素の画素信号の平均値Miとして用いる。
【００４８】
続いて、ばらつき補正部６４は、終了条件（ｉ＝ｎ）を満たすか判定を行い、終了条件を満たさない（ｉ！＝ｎ）場合には（Ｓ２３，ＮＯ）、画素番号を表すｉを１増加して（Ｓ２４）、次なる有効画素に対して、Ｓ２２の処理を行う。そして、ばらつき補正部６４は、終了条件を満たす（ｉ＝ｎ）までＳ２２〜Ｓ２４に示す処理を繰り返してばらつき低減処理を終了する。
【００４９】
上記のように、参照ばらつき値が大きくなるほど補正強度αが大きくなるようにばらつき補正処理を行った場合には、各赤外線画像の画素信号の分布を表すノイズ特性に応じた適切な補正強度を用いてばらつき補正処理を実施するようにしたことにより、赤外線画像の画素信号のばらつきが変動する場合であっても、画素信号のばらつきによるノイズを好適に低減することができる。また、式（１）に示すように、基準ばらつき値に対する参照ばらつき値の割合に応じて補正強度αが大きくなるように補正強度を決定した場合には、簡易かつ好適に補正強度を算出することができる。また、式（２）に示すように、参照ばらつき値が大きくなるほど、各有効画素の画素信号とその周辺画素の画素信号の平均値との差を小さくして平滑化効果を強めるようにばらつき補正処理を行った場合には、赤外線画像の画素信号のばらつきを好適に低減することができる。
【００５０】
なお、ばらつき補正処理が行われた補正後の赤外線画像である補正後画像は、記憶部８に記憶され、出力部７によって不図示の外部記憶部および表示部などに適宜出力され必要に応じて表示部に表示される。また、補正後画像は、赤外線撮像装置１のデジタル信号処理装置によって、ばらつき補正処理の前または後にその他の必要な補正処理などが適宜施されてよい。
【００５１】
また、信号補正部６は、参照ばらつき値を算出し、算出された参照ばらつき値に応じて補正強度を更新して算出する補正強度更新処理を行うことが好ましい。なお、信号補正部６は、複数の赤外線画像が撮影された場合に、時系列に２番目以降に撮影された各赤外線画像のそれぞれに対して、補正強度更新処理（図４ＡのＳ０１〜Ｓ０３に示す処理）を行うことにより補正強度を毎回更新してからばらつき低減処理（図４ＡのＳ０４に示す処理）を行ってもよい。あるいは、信号補正部６は、時間間隔をおいて補正強度更新処理を行い、時系列に２番目以降に撮影された各赤外線画像のそれぞれに対して、前回の補正強度更新処理によって算出された補正強度を共通して用いてばらつき低減処理（図４ＡのＳ０４に示す処理）を行ってもよい。ここでは、補正強度更新処理は、選択処理、参照ばらつき値算出処理、補正強度算出処理（それぞれ図４Ａに示すＳ０１〜Ｓ０３に対応する処理）と同様の処理で構成される。この場合には、補正強度を更新して動的にばらつき補正処理を行うことで、時系列に非線形に変化する画素信号のばらつきの変動に好適に対応して、精度よくばらつき補正処理を行うことができる。
【００５２】
一例として、赤外線画像撮像装置１が動画撮影を行う場合には、信号補正部６は、ばらつき算出部６２が、各フレーム画像に上記補正強度更新処理を含むばらつき補正処理を周期的に繰り返して行うことが好ましい。また、信号補正部６は、時間間隔をおいて補正強度更新処理を行う場合には、装置の仕様や要求事項に応じて、時間間隔を一定の時間間隔としてもよく、それぞれ異なる時間間隔としてもよい。なお、補正強度更新処理を行う時間間隔は、第１イメージセンサ３１に入射する赤外線の変動に応じて、適宜設定されればよい。例えば、基板温度（特にセンサ温度）および赤外線撮像装置の筐体温度などの撮影対象に無関係な外的要因による赤外線量が頻繁に変動する場合には、上記時間間隔を短めに設定し、外的要因による赤外線量があまり変動しない場合には、上記時間間隔を長めに設定することが考えられる。一例として、補正強度更新処理を行う時間間隔を、０．０１秒以上３００秒以下とすることができ、さらには０．０１秒以上１８０秒以下とすることができる。
【００５３】
なお、信号補正部６は、参照画素部３６に入射する赤外線の変動に応じて、補正強度更新処理を行ってもよい。例えば、信号補正部６は、参照画素部３６の画素信号を取得し、取得した参照画素部３６の画素信号と前回の補正強度算出処理の際の参照画素部３６の画素信号との差が第２しきい値条件を満たす場合に、補正強度更新処理を行ってもよい。例えば、第２のしきい値として、予め試験的に測定した測定値に基づいて、センサ温度が特定温度（例えば、０．１°Ｃ）変化した場合の参照画素の画素信号の変化量を設定することができる。なお、参照画素部３６の画素信号は外的要因に応じた入射赤外線の量を表すため、例えば、時刻taと時刻tbのセンサ温度の温度差が大きくなると、時刻taの参照画素部３６の画素信号と時刻tb(!=ta)の参照画素の画素信号の差（変化量）も大きくなる。
【００５４】
上記の場合、信号補正部６は、参照画素部３６の画素信号と前回の補正強度算出処理の際の参照画素部３６の画素信号との差が第２しきい値以下であれば（第２しきい値条件を満たさない場合には）補正強度更新処理を行なわない。一方、信号補正部６は、参照画素部３６の画素信号と前回の補正強度算出処理の際の参照画素部３６の画素信号との差が第２しきい値より大きい場合には（第２しきい値条件を満たす場合には）補正強度更新処理を行う。このことにより、第１イメージセンサ３１に入射する赤外線の変動に応じて、補正強度を更新して、適切な補正強度でばらつき補正処理を行うことができる。なお、第２しきい値条件の第２しきい値として、ノイズ特性（特に画素信号のばらつき）に影響する適切な画素信号の変化量を設定すればよい。例えば、ここでは、センサ温度の温度変化に対応させて第２しきい値を決定したため、ノイズ特性（特に画素信号のばらつき）に影響する適切な画素信号の変化量を反映できる。なお、第２しきい値に対応するセンサ温度の温度変化を０．１°Ｃとしたが、例えば、０．０１°Ｃ以上の適切な値とすることができる。また、参照画素部３６の画素信号は、参照画素部３６の代表的な画素信号を表すものであればよく、例えば、参照画素部３６に含まれる参照画素の画素信号の平均値や中央値などを用いることができる。
【００５５】
図６は、図１における時刻ｔ１の赤外線画像Ｉｔ１と、図１における時刻ｔ２の赤外線画像Ｉｔ２に対して、第１の実施形態に係るばらつき補正処理により画素信号のばらつきを補正した補正後画像Ｉｔ１＿ｐと補正後画像Ｉｔ２＿ｐとをそれぞれ示している。
【００５６】
本発明の実施形態によれば、各画像のノイズ特性に応じた適切な補正強度を用いてばらつき補正処理を実施するようにしたことにより、赤外線画像の画素信号のばらつきが変動する場合であっても、画素信号のばらつきによるノイズを好適に低減することができる。この結果、図６に示すように、赤外線画像Ｉｔ１よりも赤外線画像Ｉｔ２の方が、画素信号のばらつきが相対的に大きい場合であっても、補正後画像Ｉｔ１＿ｐと補正後画像Ｉｔ２＿ｐの画素信号のばらつきによるノイズが好適に低減され、様々な環境下において各画像の補正後画像の画質を均一化させた補正後画像を提供することができる。
【００５７】
以下、第２〜第５の実施形態に、検出部３と信号補正部６の変形例をそれぞれ示す。図３を用いて、第２の実施形態の検出部３と信号補正部６の処理について説明する。各実施形態において、第１の実施形態と同様の構成については同じ符号を付して説明を省略する。
【００５８】
第２の実施形態は、参照画素部３６を複数の部分参照画素部３６Ａ〜３６Ｄから構成した点と信号補正部６が複数の部分参照画素部３６Ａ〜３６Ｄの画像信号を用いてばらつき補正処理を行う点のみが第１の実施形態と異なる。以下、検出部３と信号補正部６の処理について第１の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。
【００５９】
図３に示すように、参照画素部３６は、矩形センサである第１イメージセンサ３１の４つの隅部の各参照領域ＢＲ内に設けられた部分参照画素部３６Ａ〜３６Ｄから構成される。なお、参照画素部３６を構成する部分参照画素部は、任意の個数および形状とすることができる。例えば、参照画素部３６は、図３に示す部分参照画素部３６Ａ〜３６Ｄから選択される任意の組み合わせで構成されてよい。
【００６０】
図３に示すように、参照画素部３６を、有効画素部３５に隣接して位置する複数の部分参照画素部３６Ａ〜３６Ｄから構成した場合には、異なる位置の部分参照画素部３６Ａ〜３６Ｄの画素信号を反映させることで、有効画素部３５と参照画素部３６間の画素信号の分布形状を示すノイズ特性を好適に類似させることができ、精度よくばらつき補正処理を行うために有利である。
【００６１】
また、図３に示すように、参照画素部３６は、第１の方向に有効領域ＡＲの中心Ｃを挟んで互いに対向する第１および第２の部分参照画素部３６Ａ、３６Ｄと、第１の方向と異なる第２の方向に有効領域Ｃの中心を挟んで互いに対向する第３および第４の部分参照画素部３６Ｂ、３６Ｃと備えている。このため、部分参照画素部３６Ａ〜３６Ｄを好適に配置して、有効画素部３５と参照画素部３６間の画素信号の分布形状を示すノイズ特性をより好適に類似させることができ、精度よくばらつき補正処理を行うために有利である。
【００６２】
第２の実施形態のように、参照画素部３６が、複数の部分参照画素部３６Ａ〜３６Ｄを備える場合の信号補正部６の処理を説明する。
【００６３】
選択部６１は、記憶部８を参照して、各部分参照画素部を選択する。ここでは、部分参照画素部３６Ａ〜３６Ｄが選択される。なお、部分参照画素部の個数や形状などが異なる場合には、選択部６１が適宜適切な部分参照画素部を選択すればよい。そして、ばらつき算出部６２は、選択された複数の部分参照画素部（ここでは部分参照画素部３６Ａ〜３６Ｄ）のそれぞれに対して部分参照画素部の画素信号のばらつきを表す部分参照ばらつき値を算出し、算出された複数の部分参照ばらつき値に基づいて参照ばらつき値を決定する。
【００６４】
ここでは、ばらつき算出部６２は、各部分参照画素部３６Ａ〜３６Ｄに対して、各部分参照画素部３６Ａ〜３６Ｄに含まれる全ての参照画素の画素信号の分散を部分参照ばらつき値としてそれぞれ算出する。部分参照ばらつき値として、例えば、部分参照画素部３６Ａ〜３６Ｄに含まれる画素信号の分散や標準偏差などの統計的なばらつきを表す値または、部分参照画素部３６Ａ〜３６Ｄに含まれる画素信号の最大値と最小値の差などの画素信号の分布の幅を表す値などを用いることができる。次に、ばらつき算出部６２は、複数の部分参照ばらつき値の平均値を参照ばらつき値として決定する。
【００６５】
次いで、補正強度算出部６３は、決定された参照ばらつき値に基づいて第１の実施形態と同様に式（１）を用いて補正強度αを算出する。そして、ばらつき補正部６４は、算出された補正強度を用いて第１の実施形態と同様に式（２）を用いてばらつき補正処理を行うようにすればよい。
【００６６】
ばらつき算出部６２が、複数の部分参照ばらつき値の平均値を参照ばらつき値として決定した場合には、複数の部分参照ばらつき値を反映した補正強度に基づいて補正不足と過補正を抑制して、精度よくばらつき補正処理を行った補正後画像を提供することができる。
【００６７】
ばらつき算出部６２は、複数の部分参照ばらつき値の最大値または最小値を参照ばらつき値として決定してもよい。ばらつき算出部６２が、複数の部分参照ばらつき値の最大値を参照ばらつき値として決定した場合には、画素信号のばらつきが最も大きい部分参照画素部の画素信号のばらつきに応じて補正強度を設定してばらつき補正処理を行うことで、画素信号のばらつきによるノイズの低減を優先した補正後画像を提供することができる。また、ばらつき算出部６２が、複数の部分参照ばらつき値の最小値を参照ばらつき値として決定した場合には、画素信号のばらつきが最も小さい部分参照画素部の画素信号のばらつきに応じて補正強度を設定してばらつき補正処理を行うことで、赤外線画像の細部の視認性を確保しつつ、ばらつきによるノイズを低減した補正後画像を提供することができる。
【００６８】
また、補正強度算出部６３は、記憶部８に記憶された上限値または下限値に基づいて、補正強度αを決定してもよい。この場合には、補正強度算出部６３は、条件式（１）に示すような参照ばらつき値に応じて算出された補正強度αの候補値が上限値より大きい場合には上限値を補正強度αとして決定し、参照ばらつき値に応じて算出された補正強度αの候補値が下限値より小さい場合には下限値を補正強度αとして決定すればよい。この場合には、補正強度を制限して、ばらつき補正処理を行うことができる。なお、補正強度算出部６３は上限値と下限値の一方のみに基づいて、補正強度αを決定してもよい。
【００６９】
図７は、第３の実施形態の検出部３を示す概略図である。図８は、第４の実施形態の検出部３を示す概略図である。図９は、第５の実施形態の検出部３を示す概略図である。第３〜第５の実施形態は、検出部３の構成と信号補正部６によるばらつき補正処理が第１の実施形態と異なる。特に、第３〜第５の実施形態は、検出部３が第２イメージセンサ３２を備える点で第１の実施形態と異なる。以下、第３〜第５の実施形態に共通する特徴である第２イメージセンサ３２について先に説明する。その後、第３〜第４の実施形態について、検出部３の構成と信号補正部６の処理に関して第１の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。第５の実施形態については第２の実施形態の変形例であるため第２の実施形態との相違点を中心に説明し、第２の実施形態とのその他の共通部分については説明を省略する。
【００７０】
第３〜第５の実施形態において、検出部３は、有効画素部を有する第１イメージセンサ３１と、第１イメージセンサ３１と同じ温度特性を有し、参照画素部を有する第２イメージセンサ３２とを備え、第２イメージセンサ３２が第１イメージセンサ３１の周辺に位置している。このため、参照画素部３６を確保しつつ、結像領域ＩＲの面積に対して有効領域ＡＲの面積を確保しやすいため、赤外線画像の高解像化のために有利である。なお、第２イメージセンサ３２は、１つであってもよく複数であってもよい。
【００７１】
なお、第２イメージセンサ３２は、第１イメージセンサ３１の赤外線撮像素子と同じ構造の赤外線撮像素子を備えており、基板温度（特にセンサ温度）および赤外線撮像装置の筐体温度などの外部温度が同等である熱環境下において、第２イメージセンサが、第１イメージセンサと同様の画素信号の変動を示すように構成されている。また、第２イメージセンサ３２は、例えば、第２イメージセンサ３２の環境温度と第１イメージセンサ３１の環境温度の間に１度以上の温度差が生じていない範囲、あるいは、第２イメージセンサ３２から第１イメージセンサ３１までの最短距離が第１イメージセンサ３１のセンサ長さの５０パーセント以内の範囲に、位置することができる。この場合に、第１イメージセンサ３１のセンサ長さとして、例えば第１イメージセンサ３１の任意の一辺の長さ、センサ対角長、センサ中心を通り第１イメージセンサ３１を横断する線分の長さの最大値などを用いることができる。また、第２イメージセンサの環境温度としてセンサ中心などの第２イメージセンサの特定の位置における環境温度を用いることができる。同様に、第１イメージセンサの環境温度として、センサ中心などの第２イメージセンサの特定の位置における環境温度を用いることができる。
【００７２】
第３の実施形態は、図７に示すように、第２イメージセンサ３２を第１イメージセンサ３１の周辺に位置する例を示しており、第１イメージセンサ３１と第２イメージセンサ３２とを基板ＢＰの第１面（光学系２に近い方の面）に隣接して設けた例である。この場合には、基板温度（特にセンサ温度）および赤外線撮像装置１の筐体温度などの外部温度の影響を、第１イメージセンサ３１と第２イメージセンサ３２で同等にさせることができるため、精度よくばらつき補正処理を行うことができる。
【００７３】
第４の実施形態は、図８に示すように、第２イメージセンサ３２が第１イメージセンサ３１の周辺に位置する例を示しており、第１イメージセンサ３１を基板ＢＰの第１面に設け、第２イメージセンサ３２を基板ＢＰの第２面（光学系２から遠い方の面）に設けた例である。第２イメージセンサ３２と第１イメージセンサ３１を基板ＢＰの第１面と第２面の対応する位置に設けることで、光軸に直交する方向に温度ムラが生じている場合でも、第１イメージセンサ３１の有効画素部３５に対して第２イメージセンサ３２の対応する位置の参照画素部３６の参照ばらつき値を用いることで、上記温度ムラの影響が抑制され、精度よくばらつき補正処理を行うことができる。なお、第４の実施形態は、第２イメージセンサ３２が第１イメージセンサ３１に対応する大きさとした場合には、より上記効果を高めることができる。なお、第３の実施形態に示すように、第２イメージセンサ３２は、第１イメージセンサ３１より検出面の面積を小さくなるように構成してもよく（図７参照）、第１イメージセンサ３１より検出面の面積が大きくなるように構成してもよい。また、各実施形態において要求される熱伝導性を有する材質で構成された基板ＢＰが適宜採用される。
【００７４】
また、第３および第４の実施形態の検出部３は、図７、８に示すように、第２イメージセンサ３２の検出面全体に参照画素部３６を設けている。
【００７５】
第３および第４の実施形態の信号補正部６は参照画素部３６の位置が異なる点を除いて、第１の実施形態と同様のばらつき補正処理を行う。つまり、第３および第４の実施形態の信号補正部６は、選択部６１が、それぞれ対応する参照画素部３６を選択し、ばらつき算出部６２が、参照画素部３６の全ての参照画素の画素信号のばらつきを表す参照ばらつき値を算出し、補正強度算出部６３が第１の実施形態同様に式（１）を用いて補正強度を算出し、ばらつき補正部６４が第１の実施形態同様に式（２）を用いてばらつき補正処理を行う。
【００７６】
第２イメージセンサ３２の検出面全体に参照画素部３６を設けた場合には、第２イメージセンサ３２の全体の参照画素の画素信号を反映させることで、例えば、第２イメージセンサ３２の中心部の画素信号のばらつきも反映でき、画素位置による参照画素特性の変動の影響を抑制して、精度よくばらつき補正処理を行うことができる。
【００７７】
また、第３および第４の実施形態の検出部３のように、第２イメージセンサにのみ参照画素部３６を設けた場合には、第１イメージセンサ３１における有効画素部３５の設計自由度を高めることができる。例えば、図７、８に示すように、第１イメージセンサ３１の検出面全体を結像領域ＩＲに含まれるように構成することができ、有効画素部３５の面積を好適に確保することができる。
【００７８】
第５の実施形態は、図９に示すように、検出部３が、第２の実施形態と同様の第１イメージセンサ３１と第２イメージセンサ３２を備え、参照画素部３６が、第１イメージセンサ３１に設けた部分参照画素部３６Ａ〜３６Ｄと、第２イメージセンサ３２に設けた部分参照画素部３６Ｅとを備えた例である。図９に示すように、第５の実施形態の第１イメージセンサ３１は、第２の実施形態の第１イメージセンサ３１と同様の構成を有する。また、第５の実施形態の第２イメージセンサ３２は、検出面全体に部分参照画素部３６Ｅを備える。
【００７９】
また、第５の実施形態の信号補正部６は、参照画素部３６に部分参照画素部３６Ｅが追加されたため、部分参照画素部３６Ａ〜３６Ｅを用いる点を除いて、第２の実施形態と同様のばらつき補正処理を行う。つまり、第５の実施形態の信号補正部６は、選択部６１が、部分参照画素部３６Ａ〜３６Ｅを選択する。そして、ばらつき算出部６２が、部分参照画素部３６Ａ〜３６Ｅのそれぞれに対して部分参照ばらつき値として分散を算出し、算出された部分参照ばらつき値の平均値を参照ばらつき値として決定する。次に、補正強度算出部６３が第２の実施形態同様に式（１）に基づいて補正強度を算出し、ばらつき補正部６４が第２の実施形態同様に式（２）を用いてばらつき補正処理を行う。
【００８０】
また、第５の実施形態のばらつき算出部６２は、第２の実施形態と同様に、複数の部分参照ばらつき値の最小値または最大値を参照ばらつき値として決定してもよい。第５の実施形態に示すように、第１イメージセンサ３１と第２イメージセンサ３２の各部分参照画素部３６Ａ〜３６Ｅの画素信号を用いて参照ばらつき値を決定することで、より好適に有効画素部３５と参照画素部３６間の画素信号の分布形状を示すノイズ特性を好適に類似させることができ、精度よくばらつき補正処理を行うために有利である。また、第１イメージセンサ３１と第２イメージセンサ３２の各部分参照画素部３６Ａ〜３６Ｅの画素信号の平均値、最小値、最大値のいずれかを参照ばらつき値として決定した場合には、第２の実施形態で上述した、複数の部分参照ばらつき値の平均値、最小値、最大値を参照ばらつき値として決定することによる各効果をより高めることができる。
【００８１】
以下、第６の実施形態として、赤外線撮像装置１が光学系２から参照画素への赤外線入射を遮蔽する遮蔽部９をさらに備えた例を図１０Ａと図１０Ｂを用いて説明する。図１０Ａは、第６の実施形態の検出部３を示す概略図である。図１０Ｂは、図１０ＡのＡＡ断面を示す切断部端面図である。第６の実施形態は、検出部３が遮蔽部９を備え、遮蔽部９によって赤外線入射が遮蔽されて参照領域ＢＲが設けられる点のみが、第１の実施形態のばらつき補正部６４と異なり、その他の各部の構成や機能は第１の実施形態と共通しているため、遮蔽部９について説明し、その他の共通部分については説明を省略する。
【００８２】
第６の実施形態では、図１０Ａ、１０Ｂに示すように、第１イメージセンサ３１の検出面と光学系２との間に遮蔽部９を設け、遮蔽部９によって光学系２から結像領域ＩＲに入射する赤外線の一部を遮ることによって、第１イメージセンサ３１に赤外線が入射する有効領域ＡＲと、赤外線が入射しない領域である参照領域ＢＲを設け、さらに、有効領域ＡＲ内に有効画素部３５と、参照領域ＢＲ内に参照画素部３６を設けている。
【００８３】
第６の実施形態によれば、有効画素部３５を適切に確保できる範囲内で位置や形状を適宜選択して遮蔽部９を設けることで、参照画素部３６の位置や形状を異ならせることができるため、有効画素部３５を確保しつつ、赤外線撮像装置１の設計の自由度を高めることができる。また、遮蔽部９は、必要な参照領域を確保可能な任意の構成としてよく、一例として、遮蔽部９は、図１０Ｂに示すように基板ＢＰに立設された支持部９Ｂと支持部９Ｂから光軸に近づく方向に伸びる遮蔽板部９Ａを備えた構成とすることができる。このように、遮蔽部９を簡易な構成とした場合には、設計の自由度と省コスト性を高めるために有利である。また、遮蔽部９を用いて任意の位置および形状に参照領域を設けてよく、各実施形態において例示される参照領域を、遮蔽部９を用いて設けるようにしてもよい。なお、遮蔽部９と検出面との距離に応じて、検出領域において遮蔽部９に対応する領域の輪郭がぼやける場合がある。この場合には、一様の温度を有する参照被写体の像が結像領域全体に現れるように試験撮影を行って検出領域の赤外線検出素子の画素信号を取得し、適宜しきい値判断などにより、検出領域のうち、赤外線検出素子が参照被写体に応じた赤外線量を表しているとみなせる領域を有効領域とし、赤外線検出素子に参照被写体の赤外線量の寄与がないと見なせる領域を参照領域とすればよい。
【００８４】
第７の実施形態として、ばらつき補正部６４によるばらつき低減処理の変形例を示す。第７の実施形態は、ばらつき補正部６４が式（２）に代えて後述の式（３）を用いる点のみが、第１の実施形態のばらつき補正部６４と異なり、その他の各部の構成や機能は第１の実施形態と共通しているため、ばらつき補正部６４の式（３）に関する処理を説明し、その他の共通部分については説明を省略する。
【００８５】
図１１は、第７の実施形態における補正前の赤外線画像と補正後の赤外線画像を示す図である。図１１に示す補正前の赤外線画像Ｉｔは、画素信号のばらつきによるノイズが生じ、かつ、赤外線画像の光軸から離れた位置において赤外線量が小さくなることによって、赤外線画像の光軸から離れた位置における画素信号の低減が生じている。なお、赤外線画像の光軸から離れた位置において赤外線量が小さくなる現象は、可視光撮像装置におけるいわゆる周辺光量落ち現象に対応する。
【００８６】
第７の実施形態では、ばらつき補正部６４は、有効画素部３５に含まれる１〜ｎ番目の有効画素のそれぞれに、式（２）に代えて下記式（３）を用いてばらつき補正処理を行う。式（３）は、赤外線画像の光軸から離れた位置の赤外線量が小さくなることによる画素信号の変動の補正（以下、周辺変動補正と記載する。）とばらつき補正の両方を規定する式である。
Aip=Ai*(1-α*β)+Mi*α*β              …（３）
式（３）において、式（２）と同様に、Aiは、有効画素部３５のi番目の有効画素（iは１〜ｎの自然数）の画素信号の値、Aipはｉ番目の有効画素の補正後の画素信号の値、Miはi番目の有効画素の周辺画素の平均値、αは補正強度を意味する。また、式（３）において、βは、周辺変動補正のために用いられるパラメータである。βは、β>=1かつα*β<=1の範囲で変動し、赤外線画像の設定された位置に対して画素信号を大きくするように設定されている。例えば、βは、i番目の有効画素の赤外線画像の中心からの距離が特定の距離以下であれば１とされ、i番目の有効画素の赤外線画像の中心からの距離が特定の距離以上であれば、i番目の有効画素の赤外線画像の中心からの距離に応じて大きくなる１以上の値が設定される。
【００８７】
第７の実施形態によれば、ばらつき補正部６４は、図１１に示すように補正強度αに応じた画素信号のばらつきによるノイズが補正され、赤外線画像の光軸から離れた位置における画素信号の低減が好適に補正された補正後の赤外線画像Ｉｔ＿ｐを提供することができる。式（２）、（３）に限定されず、ばらつき補正部６４は、補正強度が大きくなるほど赤外線画像の画像信号のばらつきを低減する度合が大きくなるように赤外線画像の画像信号のばらつきを低減するものであれば、赤外線撮像装置１に適した任意のばらつき補正処理を採用することができる。なお、本発明の他の各実施形態においても、式（２）に代えて第７の実施形態に示す式（３）を適用することができる。
【００８８】
第８の実施形態として、ばらつき補正部６４によって有効画素部３５に含まれる有効画素に対して選択的に画素信号を補正するばらつき補正処理の例を示す。図１２は、第８の実施形態のばらつき補正部６４の処理の流れを示すフローチャートである。
【００８９】
第８の実施形態は、ばらつき補正部６４が、有効画素の画素信号と、有効画素の周辺に位置する複数の周辺画素の画素信号の平均値との差が第１しきい値条件を満たす場合に、式（１）で示すようなばらつき補正処理を行うものである。第８の実施形態は、ばらつき補正部６４の処理のみが、第１の実施形態のばらつき補正部６４と異なり、その他の各部の構成や機能は第１の実施形態と共通している。このため、図１２を用いてばらつき補正部６４の処理を説明し、その他の共通部分については説明を省略する。
【００９０】
第８の実施形態では、選択処理、参照ばらつき値算出処理、補正強度算出処理（それぞれ図４Ａに示すＳ０１〜Ｓ０３に対応する処理）に続いて、ばらつき補正部６４が、ノイズの発生の有無を判断するための第１しきい値を算出する（Ｓ４１）。ここでは、ばらつき補正部６４は、有効画素部３５に含まれる全ての有効画素の画素信号の標準偏差σを求め、第１しきい値として２σを算出する。なお、有効画素部３５の画素信号が平均値μ、分散σ２の正規分布に従うと仮定すると、画素信号がμ±σの範囲の値をとる有効画素の数は全体の６８．２７％、画素信号がμ±２σの範囲の値をとる有効画素の数は全体の９５．４５％、画素信号がμ±３σの範囲の値をとる有効画素の数は全体の９９．７３％となる。これに鑑み、ばらつき補正部６４は、有効画素部３５の画素信号の標準偏差σを利用して、ノイズの発生の有無を判断するための第１しきい値（＝２σ）を算出している。なお、第１しきい値は、必要とされる精度でノイズの発生の有無を判断できる範囲で適切な値とされる。例えば、第１しきい値を予め設定した固定値とし、第１しきい値の算出を省略してもよい。
【００９１】
そして、ばらつき補正部６４は、画素番号を表すｉを初期値（ｉ＝１）に設定して（Ｓ４２）、ｉ番目の画素信号を選択し、ｉ番目の有効画素の画素信号とその周辺画素の平均値との差が第１しきい値条件を満足するか判定する（Ｓ４３）。ここでは、ｉ番目の有効画素の画素信号とｉ番目の有効画素を中心として３Ｘ３画素の範囲に属する８つの周辺画素の平均値の差の絶対値が第１しきい値（＝２σ）以下であれば第１しきい値条件を満足すると判定し（Ｓ４３，ＹＥＳ）、ｉ番目の有効画素に画素信号のばらつきによるノイズの発生があると判定して、式（２）に基づく画素信号の補正を行う（Ｓ４４）。
【００９２】
続いて、ばらつき補正部６４は、終了条件（ｉ＝ｎ）を満たすか判定を行う（Ｓ４５）。そして、終了条件を満たさない（ｉ！＝ｎ）場合には（Ｓ４５，ＮＯ）、画素番号を表すｉを１増加して（Ｓ４６）、次なる有効画素に対して、Ｓ４３（およびＳ４３でＹＥＳの場合にはＳ４４）の処理を行う。
【００９３】
一方、ばらつき補正部６４は、ｉ番目の有効画素の画素信号とその周辺画素の画素信号の平均値の差の絶対値が第１しきい値より大きい場合には第１しきい値条件を満足しないと判定し（Ｓ４３，ＮＯ）、終了条件（ｉ＝ｎ）を満たすか判定を行う（Ｓ４５）。そして、終了条件を見たさない（ｉ！＝ｎ）場合には（Ｓ４５，ＮＯ）、画素番号を表すｉを１増加して（Ｓ４６）、次なる有効画素に対して、Ｓ４３（およびＳ４３でＹＥＳの場合にはＳ４４）の処理を行う。そして、ばらつき補正部６４は、終了条件を満たす（ｉ＝ｎ）までＳ４３〜Ｓ４６に示す処理を繰り返してばらつき補正を終了する。
【００９４】
第８の実施形態によれば、有効画素の画素信号と、有効画素の周辺に位置する複数の周辺画素の画素信号の平均値との差が第１しきい値条件を満たす場合に、有効画素の画素信号に周辺画素の画素信号を用いて、平均化などのノイズを低減するばらつき補正処理を行うようにすることができる。この結果、有効画素部３５の画像信号のうち、赤外線画像中のノイズの発生があると判定される画素信号のみに、ばらつき補正処理を適切に行うことができる。なお、有効画素の周辺に位置する複数の周辺画素の画素信号の平均値として、対象とされる有効画素を中心として３×３画素または５×５画素の範囲に属する複数の有効画素から、中心とされた有効画素を除いて任意に選択された有効画素の平均値を用いることができる。
【００９５】
また、第１しきい値が、有効画素部３５の画素信号の標準偏差σに基づいて、ノイズの発生の有無を判定する適切な値が設定されているため、画像信号のばらつきがそれぞれ異なる赤外線画像に対しても、精度よくノイズの発生の有無を判定して好適にばらつき補正処理を行うことができる。なお、かかる効果を得るために、例えば、g*σ(gは１以上３以下の定数)を第１しきい値として用いてもよい。この場合、必要とされる精度でノイズの発生の有無を判断できるように、定数gとして適切な値が適宜選択されればよい。本発明の他の各実施形態においても、第８の実施形態に示す選択的なばらつき補正を行うことができる。
【００９６】
本発明の各実施形態によれば、赤外線（波長０．７μｍ〜１ｍｍ）のうち、特に、遠赤外線（波長４μｍ〜１ｍｍ）に基づいて発生するノイズに対しても好適に上記に説明した各効果が得られるものである。なお、本発明の各実施形態に係る赤外線撮像装置１は、防犯用の撮像装置、車載用の撮像装置などに好適に適用可能であり、赤外線画像を撮影する単独の撮像装置として構成されてもよく、赤外線画像の撮像機能を有する撮像システムに組み込まれて構成されてもよい。
【００９７】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。本発明の態様は、上述した個々の実施例（第１〜第８の実施形態、その他の変形例および応用例）に限定されるものではなく、個々の実施例の各要素のいかなる組合せも本発明に含み、また、当業者が想到しうる種々の変形も含むものである。すなわち、請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００９８】
１    赤外線撮像装置
２    光学系
３    検出部
４    アナログ信号処理回路
５    変換回路
６    信号補正部
７    出力部
８    記憶部
９    遮蔽部
３１  第１イメージセンサ
３２  第２イメージセンサ
３５  有効画素部
３６  参照画素部
３６Ａ〜３６Ｄ、３６Ｅ  部分参照画素部
６１  選択部
６２  ばらつき算出部
６３  補正強度算出部
６４  ばらつき補正部
ＩＲ  結像領域
ＡＲ  有効領域
ＢＲ  参照領域
ＢＰ  基板
【図１】
2016185700.tif 000003
【図２】
2016185700.tif 000004
【図３】
2016185700.tif 000005
【図４Ａ】
2016185700.tif 000006
【図４Ｂ】
2016185700.tif 000007
【図５】
2016185700.tif 000008
【図６】
2016185700.tif 000009
【図７】
2016185700.tif 000010
【図８】
2016185700.tif 000011
【図９】
2016185700.tif 000012
【図１０Ａ】
2016185700.tif 000013
【図１０Ｂ】
2016185700.tif 000014
【図１１】
2016185700.tif 000015
【図１２】
2016185700.tif 000016
【図１３】
2016185700.tif 000017
【手続補正書】
【提出日】平成29年2月28日(2017.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光学系と、
前記光学系からの赤外線が入射する有効領域に、赤外線検出素子である有効画素を行列状配置した有効画素部と、前記光学系からの赤外線が入射しない参照領域に、前記赤外線検出素子である参照画素を複数配置した参照画素部とを備え、前記光学系の結像面に位置する検出部と、
前記検出部で検出した画素信号に補正処理を行う信号補正部とを備え、
前記信号補正部が、前記参照画素部に含まれる前記複数の参照画素の画素信号のばらつきを表す参照ばらつき値を算出し、該参照ばらつき値が大きくなるほど、前記有効画素の画素信号のばらつきを小さくするばらつき補正処理を行い、
前記ばらつき補正処理が、各々の前記有効画素の画素信号に対して、該有効画素から特定の範囲内に位置する該有効画素以外の画素である複数の周辺有効画素の画素信号の平均値を算出し、該有効画素の画素信号と該複数の周辺有効画素の画素信号の平均値とを加重平均した値に基づいて該有効画素の画素信号を補正することで、該有効画素の画素信号と該複数の周辺有効画素の画素信号の平均値との差を小さくすることにより該有効画素の画素信号のばらつきを小さくする、ことを特徴とする赤外線撮像装置。
【請求項２】
前記検出部が、前記参照画素部と前記有効画素部とを有する単一のイメージセンサとして構成される請求項１記載の赤外線撮像装置。
【請求項３】
前記参照画素部は、前記有効画素部に隣接して位置する複数の部分参照画素部を備える請求項２記載の赤外線撮像装置。
【請求項４】
前記信号補正部が、前記複数の部分参照画素部のそれぞれに対して該部分参照画素部のばらつきを表す部分参照ばらつき値を算出し、該複数の部分参照ばらつき値の平均値を前記参照ばらつき値として決定する請求項３記載の赤外線撮像装置。
【請求項５】
前記信号補正部が、前記複数の部分参照画素部のそれぞれに対して部分参照ばらつき値を算出し、該複数の部分参照ばらつき値の最大値または最小値を前記参照ばらつき値として決定する請求項３記載の赤外線撮像装置。
【請求項６】
前記複数の部分参照画素部は、第１の方向に前記有効領域の中心を挟んで互いに対向する第１および第２の部分参照画素部と、前記第１の方向と異なる第２の方向に前記有効領域の中心を挟んで互いに対向する第３および第４の部分参照画素部とを備える請求項１から５のいずれか１項記載の赤外線撮像装置。
【請求項７】
前記検出部が、前記有効画素部を有する第１イメージセンサと、前記第１イメージセンサと同じ温度特性を有し、前記参照画素部を有する第２イメージセンサとを備え、前記第２イメージセンサは前記第１イメージセンサの周辺に位置する請求項１記載の赤外線撮像装置。
【請求項８】
前記第２イメージセンサの検出面全体に前記参照画素が設けられ、
前記信号補正部が、前記参照画素部に含まれる全ての前記参照画素の画素信号のばらつきを表す前記参照ばらつき値を算出する請求項７記載の赤外線撮像装置。
【請求項９】
前記参照画素部が、前記光学系の結像領域を除いた位置に設けられている請求項１から８のいずれか１項記載の赤外線撮像装置。
【請求項１０】
前記光学系から前記参照画素への赤外線入射を遮蔽する遮蔽部をさらに備える請求項１から８のいずれか１項記載の赤外線撮像装置。
【請求項１１】
（削除）
【請求項１２】
前記信号補正部は、前記有効画素の画素信号と、該有効画素に対する前記複数の周辺有効画素の画素信号の平均値との差が第１しきい値条件を満たす場合に、前記ばらつき補正処理を行う請求項１から１０のいずれか１記載の赤外線撮像装置。
【請求項１３】
前記信号補正部は、前記参照ばらつき値を算出し、算出された前記参照ばらつき値に応じて前記有効画素の画像信号のばらつきを低減する度合いを表す補正強度を算出し、算出された該補正強度に応じて前記有効画素の画素信号のばらつきを小さくすることにより前記ばらつき補正処理を行い、
前記参照ばらつき値を算出し、算出された該参照ばらつき値に応じて前記補正強度を更新して算出する補正強度更新処理を行う請求項１から１０及び１２のいずれか１項記載の赤外線撮像装置。
【請求項１４】
前記信号補正部は、前記参照画素部の画素信号を取得し、取得した該参照画素部の画素信号と前回の前記補正強度の算出の際の前記参照画素部の画素信号との差が第２しきい値条件を満たす場合に、前記補正強度更新処理を行う請求項１３記載の赤外線撮像装置。
【請求項１５】
光学系と、前記光学系からの赤外線が入射する有効領域に、赤外線検出素子である有効画素を行列状配置した有効画素部と、前記光学系からの赤外線が入射しない参照領域に、前記赤外線検出素子である参照画素を複数配置した参照画素部とを備え、前記光学系の結像面に位置する検出部と、前記検出部で検出した画素信号に補正処理を行う信号補正部とを備えた赤外線撮像装置による信号補正方法であって、
前記有効画素の画素信号と前記参照画素の画素信号とを検出する検出ステップと、
前記参照画素部に含まれる前記複数の参照画素の画素信号のばらつきを表す参照ばらつき値を算出し、該参照ばらつき値が大きくなるほど前記有効画素の画素信号のばらつきを小さくするばらつき補正処理を行う信号補正ステップとを有し、
前記ばらつき補正処理が、各々の前記有効画素の画素信号に対して、該有効画素から特定の範囲内に位置する該有効画素以外の画素である複数の周辺有効画素の画素信号の平均値を算出し、該有効画素の画素信号と該複数の周辺有効画素の画素信号の平均値とを加重平均した値に基づいて該有効画素の画素信号を補正することで、該有効画素の画素信号と該複数の周辺有効画素の画素信号の平均値との差を小さくすることにより該有効画素の画素信号のばらつきを小さくすることを特徴とする赤外線撮像装置による信号補正方法。
【国際調査報告】
2016185700.tif 000018
2016185700.tif 000019
2016185700.tif 000020