(57)【特許請求の範囲】
【請求項１】
所定の波長域に対して感度のある有効画素と感度の無い無効画素を有する撮像手段と、
所定の波長域成分を前記撮像手段の撮像面上で結像させる結像手段と、
所定の波長域成分の前記撮像手段への入射を遮る遮蔽手段と、
前記撮像手段の出力信号からアナログ固定パターンノイズを除去する差分手段と、
前記差分手段から出力される映像信号をデジタル信号に変換してデジタル映像信号を出力するデジタル変換手段と、
前記デジタル映像信号に基づいて固定パターンノイズを取得するＦＰＮ取得手段と、
前記ＦＰＮ取得手段で取得した固定パターンノイズをアナログ信号に変換して前記アナログ固定パターンノイズを出力するアナログ変換手段と、
前記遮蔽手段と前記ＦＰＮ取得手段の動作を制御する制御手段とを備えた赤外線撮像装置において、
前記ＦＰＮ取得手段は、
前記固定パターンノイズを格納するフレームメモリと、
前記デジタル映像信号と前記フレームメモリに格納された固定パターンノイズと混合して新たな固定パターンノイズを算出する混合手段と、
前記フレームメモリに格納されている固定パターンノイズを前記混合手段で算出された新たな固定パターンノイズで更新する更新手段とを有し、
前記制御手段は、
前記遮蔽手段を所定のタイミングで開放状態や遮蔽状態にする遮蔽制御手段と、
前記無効画素のデジタル映像信号に基づいて、固定パターンノイズの取得開始のタイミングを決定し、前記有効画素のデジタル映像信号と前記無効画素のデジタル映像信号に基づいて、固定パターンノイズの取得完了のタイミングを検出する検出手段と、
前記検出手段から出力される検出信号に基づいて、前記遮蔽制御手段の遮蔽動作タイミング信号を生成するタイミングと、前記更新回路を更新実行状態や更新停止状態にするための更新動作タイミング信号を生成するタイミング生成手段と
を有することを特徴とする赤外線撮像装置。
【請求項２】
前記検出手段は、固定パターンノイズの取得処理中に、前記有効画素のデジタル映像信号の平均値と前記無効画素のデジタル映像信号の平均値とのずれが一定値未満になることにより、固定パターンノイズの取得が完了したことを検出することを特徴とする請求項１に記載の赤外線撮像装置。
【請求項３】
前記検出手段は、固定パターンノイズの取得処理中に、前記有効画素のデジタル映像信号の最大値と最小値の差が一定値未満になることにより、固定パターンノイズの取得が完了したことを検出することを特徴とする請求項１に記載の赤外線撮像装置。
【請求項４】
前記検出手段は、前記有効画素のデジタル映像信号のバラツキが一定値未満になることにより、固定パターンノイズの取得が完了したことを検出することを特徴とする請求項１に記載の赤外線撮像装置。
【請求項５】
前記検出手段は、固定パターンノイズの取得完了時に前記無効画素のデジタル映像信号の平均値を参照信号として記憶しておいて、前記参照信号と前記無効画素のデジタル映像信号の平均値とのずれが一定値以上になることにより固定パターンノイズの取得開始のタイミングを検出することを特徴とする請求項１記載の赤外線撮像装置。
【請求項６】
前記検出手段は、フレームメモリに格納されている各画素についての固定パターンノイズの基準値からのずれが一定値未満であることを条件として、当該画素のデジタル映像信号を、固定パターンノイズの取得の開始や終了のタイミング検出に用いることを特徴とする請求項１記載の赤外線撮像装置。
【請求項７】
前記混合手段は、前記デジタル映像信号と前記フレームメモリに格納されている固定パターンノイズとを所定の割合で混合して前記新たな固定パターンノイズを算出することを特徴とする請求項１に記載の赤外線撮像装置。
【請求項８】
前記混合手段は、前記デジタル映像信号から基準値を引いた後、前記フレームメモリに格納されている固定パターンノイズと所定の割合で混合して前記新たな固定パターンノイズを算出することを特徴とする請求項１に記載の赤外線撮像装置。
【請求項９】
前記差分手段から出力される前記差分信号を利得設定値にしたがって増幅して前記デジタル変換手段に供給する可変利得増幅手段をさらに備えたことを特徴とする請求項７又は８に記載の赤外線撮像装置。
【請求項１０】
前記デジタル変換手段から出力された前記有効画素のデジタル映像信号をフレーム単位で積分する積分手段と、
前記積分手段から出力される積分値が所定の基準値と概ね一致するように前記利得設定値を制御する利得制御手段と
をさらに備えたことを特徴とする請求項９に記載の赤外線撮像装置。
【請求項１１】
前記アナログ変換手段の入力信号ビット数は、前記デジタル変換手段の分解能よりも大きいことを特徴とする請求項１乃至１０のいずれかに記載の赤外線撮像装置。
【請求項１２】
前記所定の波長域成分は、概ね８〜１４マイクロメートル波長帯域であることを特徴とする請求項１乃至１１のいずれかに記載の赤外線撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線撮像装置に関し、特に撮像素子から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換において、ダイナミックレンジを有効に利用した変換を行うものである。
【背景技術】
【０００２】
赤外線撮像装置は、被写体が放射する赤外線を映像化するもので、赤外線を吸収することにより生じる温度上昇の差が画像の濃淡となる。被写体が放射する赤外線はレンズにより集光され、撮像素子上に結像する。撮像素子には赤外を検知する素子がニ次元平面上に配列されており、各素子は赤外線強度に応じた電圧を出力する。
従来の赤外線撮像装置においては、撮像素子が出力する電圧を前置増幅回路で増幅し、デジタル信号に変換した後、固定パターンノイズを除去し、アナログのビデオ信号に変換して出力している（特許文献１参照）。
【０００３】
【特許文献１】特開２０００−８８６４４公報（段落０００４〜０００５）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
赤外線撮像装置においては、被写体が放射する赤外線の強度に応じて生じる温度変化は、撮像素子の出力のバラツキ（固定パターンノイズ（ＦＰＮ））に対して微小なものである。よって、従来の赤外線撮像装置のように、固定パターンノイズを含む信号をデジタル変換してから固定パターンノイズを除去すると、信号の有効ダイナミックレンジが固定パターンノイズのために小さくなってしまい、量子化ノイズが大きくなって、画質が低下すると言う問題があった。  また、固定パターンノイズの更新に要する処理のため、撮像を効率的に行なうことができなかった。
【課題を解決するための手段】
【０００５】
この発明の赤外線撮像装置は、
所定の波長域に対して感度のある有効画素と感度の無い無効画素を有する撮像手段と、
所定の波長域成分を前記撮像手段の撮像面上で結像させる結像手段と、
所定の波長域成分の前記撮像手段への入射を遮る遮蔽手段と、
前記撮像手段の出力信号からアナログ固定パターンノイズを除去する差分手段と、
前記差分手段から出力される映像信号をデジタル信号に変換してデジタル映像信号を出力するデジタル変換手段と、
前記デジタル映像信号に基づいて固定パターンノイズを取得するＦＰＮ取得手段と、
前記ＦＰＮ取得手段で取得した固定パターンノイズをアナログ信号に変換して前記アナログ固定パターンノイズを出力するアナログ変換手段と、
前記遮蔽手段と前記ＦＰＮ取得手段の動作を制御する制御手段とを備えた赤外線撮像装置において、
前記ＦＰＮ取得手段は、
前記固定パターンノイズを格納するフレームメモリと、
前記デジタル映像信号と前記フレームメモリに格納された固定パターンノイズと混合して新たな固定パターンノイズを算出する混合手段と、
前記フレームメモリに格納されている固定パターンノイズを前記混合手段で算出された新たな固定パターンノイズで更新する更新手段とを有し、
前記制御手段は、
前記遮蔽手段を所定のタイミングで開放状態や遮蔽状態にする遮蔽制御手段と、
前記無効画素のデジタル映像信号に基づいて、固定パターンノイズの取得開始のタイミングを決定し、前記有効画素のデジタル映像信号と前記無効画素のデジタル映像信号に基づいて、固定パターンノイズの取得完了のタイミングを検出する検出手段と、
前記検出手段から出力される検出信号に基づいて、前記遮蔽制御手段の遮蔽動作タイミング信号を生成するタイミングと、前記更新回路を更新実行状態や更新停止状態にするための更新動作タイミング信号を生成するタイミング生成手段と
を有することを特徴とする。
【発明の効果】
【０００６】
この発明によれば、撮像素子から出力される信号と、固定パターンノイズに相当する成分が記録されているフレームメモリの出力信号との差分をデジタル変換することにより、より支配的な固定パターンノイズが差し引かれた信号をデジタル変換することになり、アナログ−デジタル（Ａ／Ｄ）変換器のダイナミックレンジを有効に利用することができ、このため、デジタル変換による量子化ノイズが低減し、画質が向上する。
更に、固定パターンノイズ取得の開始と終了のタイミングを自動的に検出することで、固定パターンノイズの取得に必要なフレーム数（動作時間）を必要最小限に抑え、キャリブレーション処理を効率よく実行することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施の形態について説明する。
実施の形態１．
図１はこの発明の実施の形態１の赤外線撮像装置の構成を表すブロック図である。
【０００８】
図示の赤外線撮像装置は、レンズ１と、シャッタ２と、撮像素子３と、差分回路４と、増幅回路５と、Ａ／Ｄ変換器６と、混合回路７と、更新回路８と、フレームメモリ９と、Ｄ／Ａ変換器１０と、シャッタ制御回路１１と、タイミング生成回路１２と、検出回路１３と、積分回路２１と、利得制御回路２２とを有する。
混合回路７と、更新回路８と、フレームメモリ９とで、ＦＰＮ取得手段３０が構成されている。
シャッタ制御回路１１と、タイミング生成回路１２と、検出回路１３とで制御手段４０が構成されている。
【０００９】
撮像素子３は、所定の波長域、例えば概ね８〜１４マイクロメートルの波長域に感度を有する。
レンズ１は、上記所定の波長域成分を撮像素子３の撮像面上で結像させる結像手段として用いられている。
増幅回路５は、撮像素子３から出力される撮像信号を増幅する。
Ａ／Ｄ変換器６は、増幅回路５のアナログ出力信号をデジタル信号に変換してデジタル撮像信号を出力するデジタル変換手段として用いられている。
まず標準動作状態としてシャッタ２が開いた状態での動作を説明する。
【００１０】
被写体が放射する赤外線はレンズ１により集光され、シャッタ２が開放状態のとき撮像素子３上に結像する。撮像素子には赤外を検知する画素（有効画素）がニ次元平面上に配列されており、各画素からは赤外線強度に応じて変化する信号が得られる。
【００１１】
撮像素子３には、赤外線に対して感度のある画素（有効画素）の他に、感度の無い画素（無効画素）も備えている。図２に、水平期間における撮像素子からの出力信号の波形の一例を示す。１水平期間Ｐｈは、有効画素からの出力信号が現れる期間Ｐｅ、無効画素からの出力信号が現れる期間Ｐｆからなり、無効画素からの出力信号が現れる期間Ｐｆの一部がブランキング期間Ｐｂである。図示した波形では、有効画素からの出力の前後に無効画素からの出力がある。無効画素には感度が無いが、無効画素からの出力信号のレベルは周辺環境や素子の自己発熱等の温度変化により変動する。
【００１２】
シャッタ２の開閉制御はシャッタ制御回路１１が行う。シャッタ制御回路１１は、タイミング生成回路１２から送られてくる遮蔽動作タイミング信号ＳＴに従いシャッタ２を開いたり（開放）閉じたり（遮蔽）する。シャッタ２を開いて開放状態にすると、レンズ１の前方にある被写体が放射する赤外線が撮像素子３へ入射する。シャッタ２を閉じて遮蔽状態にすると、レンズ１で集光した赤外線の撮像素子３への入射は遮断されるため、撮像素子３からは、信号成分が含まれていない固定パターンノイズに相当する撮像信号が出力される。
【００１３】
差分回路４は、撮像素子３の出力信号である撮像信号ＩＮと、フレームメモリ９に格納されている固定パターンノイズＦＰＮをアナログ変換して得られるアナログ固定パターンノイズＯとの差分を取り、映像信号Ｓを生成する。差分回路４で生成した映像信号Ｓは、増幅回路５で増幅された後、Ａ／Ｄ変換器６でデジタル映像信号ＡＤに変換される。
【００１４】
混合回路７は、フレームメモリ９に格納されている固定パターンノイズＦＰＮと、Ａ／Ｄ変換器６から得られるデジタル映像信号ＡＤを混合して、新しい固定パターンノイズＤを生成する。
【００１５】
図３に混合回路の一例を示す。図示の混合回路７は、係数生成回路７ａ、７ｂと、乗算器７ｃ、７ｄと加算器７ｅとを有する。係数生成回路７ａは、第１の係数１／Ｋ（Ｋは１より大きい数）を設定する。第２の係数生成回路７ｂは、第２の係数（Ｋ−１）／Ｋを設定する。
第１の乗算器７ｃは、デジタル映像信号ＡＤに第１の係数１／Ｋを掛けて、ＡＤ／Ｋを出力する。第２の乗算器７ｄは、固定パターンノイズＦＰＮに第２の係数（Ｋ−１）／Ｋを掛けて、ＦＰＮ・（Ｋ−１）／Ｋを出力する。加算器７ｅは、第１の乗算器７ｃの出力ＡＤ／Ｋと第２の乗算器７ｄの出力（ＦＰＮ・（Ｋ−１）／Ｋを加算して出力する。このように、図３に示される混合回路７は、デジタル映像信号ＡＤとフレームメモリに記憶されている固定パターンノイズとを所定の割合で混合して新たな固定パターンノイズを算出する。
【００１６】
なお、上記のように、固定パターンノイズＦＰＮを（Ｋ−１）／Ｋ倍に減衰したものを加算器７ｅに供給する代わりに、そのまま加算器７ｅに供給することとして良い。即ち、デジタル映像信号ＡＤを１／Ｋ倍に減衰したものと、固定パターンノイズＦＰＮを加算してもよい。
【００１７】
図４に混合回路の他の例を示す。図示の混合回路７は、図３の混合回路と類似であるが、基準値生成回路７ｆ及び減算器７ｇが付加されている。基準値生成回路７ｆは、基準値ＲＦを出力する。減算回路７ｇは、デジタル映像信号ＡＤから基準値ＲＦを減算し、減算結果ＡＥを出力する。第１の乗算器７ｃは、減算回路７ｇの出力ＡＥに、係数生成回路７ａからの第１の係数１／Ｋを掛けて、ＡＥ／Ｋを出力する。第２の乗算器７ｄは、固定パターンノイズＦＰＮに、係数生成回路７ｂからの第２の係数（Ｋ−１）／Ｋを掛けて、ＦＰＮ・（Ｋ−１）／Ｋを出力する。加算器７ｅは、第１の乗算器７ｃの出力ＡＥ／Ｋと第２の乗算器７ｄの出力（ＦＰＮ・（Ｋ−１）／Ｋを加算して出力する。係数生成回路７ａ及び７ｂは、図３に示すものと同様のものである。このように、図４に示される混合回路７は、デジタル映像信号ＡＤから基準値ＲＦを引いた後、フレームメモリに格納されている固定パターンノイズＦＰＮと所定の割合で混合して新たな固定パターンノイズを算出する。
【００１８】
なお、上記のように、固定パターンノイズＦＰＮを（Ｋ−１）／Ｋ倍に減衰したものを加算器７ｅに供給する代わりに、そのまま加算器７ｅに供給することとして良い。即ち、信号ＡＥを１／Ｋ倍に減衰したものと、固定パターンノイズＦＰＮを加算してもよい。
【００１９】
混合回路７で加算に用いる固定パターンノイズＦＰＮは、１フレーム周期前に差分回路４において撮像素子３の出力信号ＩＮから差し引いたアナログ固定パターンノイズＯをアナログ変換する前の信号と等しい。
【００２０】
混合回路７で算出した新しい固定パターンノイズＤは、更新回路８に送られる。
タイミング生成回路１２が出力される遮蔽動作タイミング信号ＳＴは、更新制御信号としても用いられる。
更新回路８は、タイミング生成回路１２が出力する遮蔽動作タイミング信号（更新制御信号）ＳＴに応じて、フレームメモリ９内の更新を行う。シャッタ２が遮蔽状態の時には、１フレーム周期ごとに生成される新しい固定パターンノイズＤでフレームメモリ９内のデータを更新する。シャッタ２が開放状態の時には、フレームメモリ９内のデータの更新は行わない。
フレームメモリ９に格納された新しい固定パターンノイズＤは、次フレームの混合回路７におけるデジタル映像信号ＡＤとの混合演算に用いられる。また、Ｄ／Ａ変換器１０でアナログ信号に変換した後、差分回路４に送られ、次フレームの撮像信号との差分演算に用いられる。
【００２１】
本実施の形態では、Ａ／Ｄ変換器６から出力される各画素の映像信号を、フレーム毎に積算した積算値が概ね一定となるように、増幅回路５の増幅率が制御されている。
【００２２】
そのため、増幅回路５として、映像信号Ｓを利得設定値にしたがって増幅するもの（可変利得増幅手段）が用いられ、また、Ａ／Ｄ変換器６から出力される各有効画素の映像信号を、フレーム毎に積算する積算回路２１と、積分回路２１から出力される積分値が所定の基準値（図２に示される）と概ね一致するように増幅回路５の利得設定値を制御する利得制御回路２２とが設けられている。例えば、利得制御回路２２内で上記の積分値と上記の基準値との差を求め、その差がゼロになるように、増幅回路５の利得を制御する。
【００２３】
混合回路７として、図４に示されるものが用いられる場合には、利得制御回路２２で用いられる基準値は、図４の混合回路で用いられる基準値と同じ値であるのが望ましいが、異なる値であっても良い。
【００２４】
Ａ／Ｄ変換器６から出力されるデジタル映像信号ＡＤは、検出回路１３にも送られる。検出回路１３は、有効画素部分のデジタル映像信号と無効画素部分のデジタル映像信号の状態の変化を常に監視し、固定パターンノイズの取得処理を開始すべきタイミングを決定する（開始すべきタイミングを検出する）とともに、固定パターンノイズの取得処理中に固定パターンノイズ取得が完了したことを検出し、そしてこのように、開始すべきタイミングや、終了すべきタイミングを検出したことを示す検出信号ＴＤをタイミング生成回路１２へ送る。例えば、固定パターンノイズ取得処理を開始するときは、検出信号ＴＤを第１の値（第１の内容）のものとし、固定パターンノイズ取得処理が完了したときは、検出信号ＴＤを上記の第１の値（内容）とは異なる第２の値（内容）のものとする。
【００２５】
以下、固定パターンノイズの取得処理を開始するタイミングの決定方法について説明する。
撮像素子３の有効画素には赤外線に対して感度があり、被写体からの赤外線の影響を受けるため、撮像素子３の固定パターンノイズの変化のみを分離、抽出することが困難である。一方、無効画素には赤外線に対する感度が無く、被写体の影響を受けないため、何らかの温度変化により固定パターンノイズが変化すると、その変化が無効画素の映像信号にムラとなって現れる。
よって、無効画素の映像信号のレベルの分散や標準偏差などバラツキを示す値や、最大値、最小値などを常に観察し、一定値以上のレベルに達したところで固定パターンノイズの再取得が必要と判定し、再取得処理の開始を促す信号を生成すればよい。即ち、無効画素のデジタル映像信号に基づいて、固定パターンノイズの取得開始のタイミングを決定することとすれば良い。
【００２６】
例えば、固定パターンノイズの取得動作が終了した時点の無効画素のデジタル映像信号のレベルを参照信号として記憶しておいて、撮像中の無効画素のデジタル映像信号と比較し続け、比較の結果、一定値以上の差が生じたときには固定パターンノイズの再取得が必要と判断することとしても良い。
また、記憶する参照信号は、無効画素のデジタル映像信号そのものでなくとも良く、代わりに、平均値、最大値、最小値、バラツキを示す標準偏差や分散などでもよい。即ち、固定パターンノイズの取得動作が終了した時点の無効画素のデジタル映像信号の平均値、最大値、最小値、バラツキを示す標準偏差や分散を参照信号として記憶しておいて、撮像中の無効画素のデジタル映像信号の平均値、最大値、最小値、バラツキを示す標準偏差や分散と比較し続け、比較の結果、一定値以上の差が生じたときには固定パターンノイズの再取得が必要と判断することとしても良い。
【００２７】
固定パターンノイズの再取得は一定時間間隔で行ってもよいが、周辺環境によって必要なタイミングが異なるため、不要な時に再取得が実行されたり、必要な時に再取得が実行されなかったりする問題がある。また、ユーザが画像を見て必要に応じて再取得を実行する方法もあるが、利便性が劣る。固定パターンノイズの再取得の必要性を自動的に検出し、再取得の実行を自動的に開始することにより、効率的な固定パターンノイズの更新が行える。
【００２８】
次に、固定パターンノイズの取得処理中に、固定パターンノイズ取得が完了したことを検出する（取得処理をが完了したタイミングを検出する）方法について説明する。
図５（ａ）〜（ｅ）は、それぞれ時刻Ｔ０〜Ｔ４における映像信号Ｓを示し、図５（ｆ）〜（ｊ）は、それぞれ時刻Ｔ０〜Ｔ４におけるＡ／Ｄ変換器の出力信号ＡＤを示す。時刻Ｔ０、Ｔ１、Ｔ２、Ｔ３、Ｔ４の順に時間が経過する。
【００２９】
固定パターンノイズの取得処理を開始すると、図５（ａ）〜（ｊ）に示すように、映像信号Ｓから固定パターンノイズ成分が徐々に除去される。この間に、フレームメモリ９には固定パターンノイズが徐々に蓄積され、やがてフレームメモリ９に格納されている固定パターンノイズが収束する。この状態を、「固定パターンノイズの取得が完了した」状態と言う。
【００３０】
固定パターンノイズの取得完了までに必要な時間（フレーム期間数）は、Ａ/Ｄ変換器６とＤ／Ａ変換器１０の分解能の差や、混合回路７での演算方法（混合割合など）により、ある程度予測できる。
しかし、素子によって、固定パターンノイズの振幅の違いや、ランダムノイズの特性の違いなどがあり、固定パターンノイズをフレームメモリ９に取り込むのに要する時間（必要なフレーム期間数）が異なる。即ち予測よりも早く取り込みが終わったり（早く収束したり）、逆に予測以上に時間が掛かったりすることがある。
【００３１】
そこで、固定パターンノイズの取得処理中に、デジタル映像信号を監視して、その結果に基づき固定パターンノイズの取得が完了したと判定し、取得処理を終了させる。
例えば、有効画素の平均値と無効画素の平均値を常に比較し、その差が一定値未満になったところで固定パターンノイズの取得が完了したと判定することとしても良い。
代わりに、有効画素、無効画素の別なく、映像信号の最大値と最小値の差が一定値未満になったときに、固定パターンノイズの取得が完了したと判定しても良い。
さらにまた、無効画素のレベルを基準とした固定パターンノイズを取得する場合には、有効画素のデジタル映像信号の最大値と最小値を、無効画素のデジタル映像信号の平均と比較し、その差が一定値未満になったときに固定パターンノイズの取得が完了したと判断しても良い。
【００３２】
また、有効画素と無効画素の信号レベルを合わせる必要が無い場合には、有効画素の最大値と最小値のみを観察し、その最大値と最小値の差が一定値未満になったときに固定パターンノイズ取得が完了したと判定しても良い。
【００３３】
さらにまた、有効画素のデジタル映像信号の最大値と最小値を取得し、その差が一定値未満になったときに固定パターンノイズの取得が完了したと判断しても良い。
さらにまた、有効画素のデジタル映像信号の最大値や最小値ではなく、有効画素のデジタル映像信号の平均値を、無効画素のデジタル映像信号の平均と比較して、その差が一定未満になったときに、固定パターンノイズの取得が完了したと判断しても良い。
【００３４】
また、有効画素の映像信号のバラツキが一定値未満になったことを検出して、固定パターンノイズの取得が完了したと判断しても良い。
【００３５】
検出回路１３は、上記のいずれかの方法により、固定パターンノイズの取得の完了が検出されたときに、取得処理終了タイミングを検出したことを示す検出信号ＴＤをタイミング生成回路１２へ送信する（検出信号ＴＤを、取得処理が完了したことを示す値（第２の値）のものにする）。
【００３６】
タイミング生成回路１２は、検出回路１３から受信した検出信号ＴＤに従い、遮蔽動作タイミング信号ＳＴの値（内容）を決める。
検出信号ＴＤが、固定パターンノイズの取得処理が開始されることを示す値（第１の値）のものであるときは、遮蔽動作タイミング信号ＳＴは、シャッタを遮蔽状態にするための値（第１の値）のものとなる。
検出信号ＴＤが、固定パターンノイズの取得処理が完了したことを示す値（第２の値）のものであるときは、遮蔽動作タイミング信号ＳＴは、シャッタを開放状態にするための値（第２の値）のものとなる。
【００３７】
タイミング生成回路１２は、遮蔽動作タイミング信号ＳＴを、更新制御信号として更新回路８にも送信する。更新回路８は、タイミング生成回路１２から送られてくる遮蔽動作タイミング信号ＳＴに従いフレームメモリ９内に格納されているデータの更新を行う。シャッタ２が遮蔽状態に制御されているとき（遮蔽動作タイミング信号ＳＴが第１の値のとき）には、混合回路７から送られてくる新しい固定パターンノイズＤでフレームメモリ９内のデータを更新する。シャッタが開放状態に制御されているとき（遮蔽動作タイミング信号ＳＴが第２の値のとき）には、フレームメモリ９内のデータは更新しない。
【００３８】
差分回路４は、シャッタ２が遮蔽状態のときにフレームメモリ９に蓄積した固定パターンノイズ（ＦＰＮをＤ／Ａ変換したアナログ固定パターンノイズＯ）を、シャッタ２が開放状態の時の映像信号ＩＮから減算することにより、撮像素子３から出力される撮像信号から固定パターンノイズを除去する。
【００３９】
このように、撮像素子３が出力する撮像信号ＩＮからアナログ固定パターンノイズＯを差し引いた信号をデジタル変換することで、撮像素子３が出力する撮像信号ＩＮを全てデジタル変換する場合と比較し、Ａ／Ｄ変換器６のダイナミックレンジを有効に利用することができる。特に、固定パターンノイズの振幅（バラツキ）に対して映像の濃淡を示す信号の振幅が小さい撮像素子においては有効である。
【００４０】
また、このような構成においては、固定パターンノイズの程度によってフレームメモリ９内に固定パターンノイズを蓄積するために要する時間が異なる。更に、固定パターンノイズの変化は周辺環境に影響を受けるため、固定パターンノイズの再取得処理が必要となる頻度は一定ではない。有効画素と無効画素の映像信号のレベルから固定パターンノイズの取得処理の開始や終了を自動的に検出することにより、効率的な固定パターンノイズの取得処理が行える。
【００４１】
次に、Ａ／Ｄ変換器６及びＤ／Ａ変換器１０の分解能について説明する。
固定パターンノイズの取得処理が完了すると、Ａ／Ｄ変換器６には、撮像信号ＩＮとアナログ固定パターンノイズＯの差である映像信号Ｓが入力されるが、Ｄ／Ａ変換器９には、ＦＰＮ取得手段３０によって復元された固定パターンノイズＦＰＮが入力される。よって、Ｄ／Ａ変換器１０の分解能をＡ／Ｄ変換器６の分解能より高くしておくことにより、Ａ／Ｄ変換器６のダイナミックレンジを最大限まで活用できる。
【００４２】
このとき固定パターンノイズは、図３の混合回路７が用いられる場合には、取り込んだデジタル映像信号ＡＤとフレームメモリ９内に格納されているデータＦＰＮを所定比で加算することにより取得している。１フレームだけでは固定パターンノイズの一部しか取り込めないが、数フレーム繰り返し加算処理を行うことにより固定パターンノイズを復元することができる。
【００４３】
Ｄ／Ａ変換器１０とＡ／Ｄ変換器６の分解能の差は、固定パターンノイズと信号成分の振幅差分の大きさがあればよい。例えば、固定パターンノイズの振幅（バラツキ）が、映像の濃淡を示す信号の振幅の２倍ある場合、Ａ／Ｄ変換器６の分解能をＤ／Ａ変換器１０の半分にした構成にすればよい。つまり、Ａ／Ｄ変換器６が８ビットの場合、９ビット以上のＤ／Ａ変換器を用いることにより、撮像信号からＦＰＮ成分を精度よく除去した映像信号が得られ、Ａ／Ｄ変換器６の全ての分解能を映像の濃淡を示す信号の振幅にあてることができる。
【００４４】
また、Ａ／Ｄ変換機６とＤ／Ａ変換器１０はビット精度が同じであっても別々の回路であるために、出力信号の振幅、リニアリティーに差がある。そのため、デジタル映像信号ＡＤを減衰しないでそのまま固定パターンノイズＦＰＮと加算するとＡ／Ｄ変換器６とＤ／Ａ変換器１０の特性差によっては信号が発散し、収束しにくくなる。
【００４５】
一方、図３に示すように、混合回路７にてデジタル映像信号ＡＤと固定パターンノイズＦＰＮの振幅を減衰してから固定パターンノイズＦＰＮと加算することとすれば、Ａ／Ｄ変換器６とＤ／Ａ変換器１０の特性差が吸収でき、信号の発散を防ぐことができる。また、遮蔽時の固定パターンノイズ信号を精度よく収束させることができる。
【００４６】
検出回路１３における、固定パターンノイズ取得処理の開始と終了のタイミングの検出においては、動作が異常な画素のデジタル映像信号は用いないこととしてもよい。動作が異常な画素（欠陥画素）とは、有効画素であるにもかかわらず感度の無い画素や、感度のバラツキが他の画素と比較して大きく異なる画素、点滅している画素などを指す。その際、固定パターンノイズの値が他の画素と比較して極端に大きい、或いは極端に小さい画素（例えば基準値から）は欠陥画素と判断し、欠陥画素からの映像信号は、固定パターンノイズの取得の開始や終了のタイミング検出に用いる平均値、最大値、最小値、バラツキなどの算出には用いないこととする。例えば、上記の利得制御手段２２で用いられる基準値に対して一定値以上ずれている場合には、他の画素と比較して極端に大きい或いは極端に小さいと判断することとしても良い。この場合、検出回路１３は、フレームメモリに格納されている各画素についての固定パターンノイズの基準値からのずれが一定値未満であることを条件として、当該画素のデジタル映像信号を、固定パターンノイズの取得の開始や終了のタイミング検出に用いることとなる。欠陥画素か否かの判断が必要になるが、固定パターンノイズの取得の開始や終了の誤検出や不正な動作を防ぐことができる。
【００４７】
次に、各信号レベルの大きさとデジタル変換のダイナミックレンジの関係を図を参照しながら、Ａ／Ｄ変換器６のダイナミックレンジの有効活用について説明する。
【００４８】
図６（ａ）〜（ｃ）は、図６（ａ）に示すように、低温の背景ＬＢの中に高温の被写体ＨＳがある画像を撮影した際に、撮像素子３から出力される撮像信号ＩＮの一部（図６（ｂ））と、固定パターンノイズを除去した後の映像信号Ｓの波形の一部（図６（ｃ））を示したものである。図からもわかるように、赤外線撮像素子には、被写体が放射する赤外線強度に応じて生じる温度変化に対して画素毎の出力のバラツキが大きいという特徴がある。
【００４９】
図７，図８及び図９は、図２に示される１水平期間Ｐｈの一部の期間中の信号を示すものである。
図７は、撮像素子３から出力された撮像信号ＩＮ、フレームメモリ９から読み出された固定パターンノイズＦＰＮをアナログ変換したアナログ固定パターンノイズＯと、撮像信号ＩＮとアナログ固定パターンノイズＯの差であるアナログ映像信号Ｓの関係を示した概略図である。横軸は撮像素子上の各画素の位置、縦軸は各信号の出力レベルである。
【００５０】
撮像素子３から出力された撮像信号ＩＮをそのままデジタル変換する場合、図７中の符号Ｒａで示した範囲のレベルをデジタル変換の有効ダイナミックレンジに割り当てることになる。
しかし、赤外線撮像素子においては、出力信号のレベルのうち、素子毎の出力バラツキ、すなわち固定パターンノイズが占める割合が大きく、被写体の温度の違いによる出力信号の変動量が小さいため、デジタル変換のダイナミックレンジが有効に利用できないという問題がある。
【００５１】
そこで、出力信号ＩＮとフレームメモリ９の出力信号ＦＰＮ（をアナログ変換したものＯ）との差分をとり、固定パターンノイズＦＰＮに相当する成分を除いた信号Ｓをデジタル変換すると、図７中の符号Ｒｃで示した範囲をＡ／Ｄ変換器６のダイナミックレンジに割り当てることになり、ダイナミックレンジを有効に活用することができ、量子化のノイズが軽減された新しいパターンノイズＦＰＮを取得することができる。
【００５２】
図８は、撮像素子からの出力信号ＩＮと、信号ＩＮをそのままデジタル変換した場合に得られる新しい固定パターンノイズＤ’の関係を示した概略図である。図７中の符号Ｒａで示した広い範囲をＡ／Ｄ変換器６のダイナミックレンジに割り当てるため、量子化誤差が大きくなる。
【００５３】
図９は、映像信号Ｓと、映像信号Ｓをデジタル変換したデジタル信号ＡＤと、映像信号Ｓを算出する際に使用したアナログ固定パターンノイズＯをアナログ変換する前の固定パターンノイズＦＰＮと、本実施の形態により得られる新しい固定パターンノイズＤの関係を示した概略図である。
【００５４】
映像信号Ｓをデジタル変換する際、図７中の符号Ｒｃで示した狭い範囲をデジタル変換のダイナミックレンジに割り当てているため、得られるデジタル信号ＡＤの量子化誤差が小さくなる。その結果、デジタル信号ＡＤを減衰回路４０で1／Ｋに減衰させた信号に固定パターンノイズＦＰＮを加算して得られる新しい固定パターンノイズＤの量子化誤差も小さくなる。
【００５５】
次に、図１０（ａ）〜（ｌ）及び図１１（ａ）〜（ｌ）を用いて処理手順の一例を説明する。図１０（ａ）〜（ｌ）及び図１１（ａ）〜（ｌ）は、それぞれ時刻Ｔ０，Ｔ１，Ｔ２，Ｔｎのフレーム期間において、撮像素子３で撮像される画像（図１０（ａ）、（ｂ）、（ｃ）、（ｄ））、撮像素子３から出力される撮像信号ＩＮ（図１０（ｅ）、（ｆ）、（ｇ）、（ｈ））、フレームメモリ９内に格納されている固定パターンノイズＦＰＮ（図１０（ｉ）、（ｊ）、（ｋ）、（ｌ））、撮像信号ＩＮと固定パターンノイズＯの差分信号である映像信号Ｓ、（図１１（ａ）、（ｂ）、（ｃ）、（ｄ）））、映像信号ＳをＡ／Ｄ変換器６でデジタル変換した映像信号ＡＤ（図１１（ｅ）、（ｆ）、（ｇ）、（ｈ））、混合回路７で算出した新しい固定パターンノイズＤ（図１１（ｉ）、（ｊ）、（ｋ）、（ｌ））を図示している。なお、Ｄ／Ａ変換器１０でアナログ変換した固定パターンノイズＯの波形は、フレームメモリ９内に格納されている固定パターンノイズＦＰＮ（図１０（ｉ）、（ｊ）、（ｋ）、（ｌ））と同じである。
【００５６】
図１０（ａ）、（ｅ）、（ｉ）、図１１（ａ）、（ｅ）、（ｉ）は、時刻Ｔ０における撮像画像、信号などを示し、図１０（ｂ）、（ｆ）、（ｊ）、図１１（ｂ）、（ｆ）、（ｊ）は、時刻Ｔ１における撮像画像、信号などを示し、図１０（ｃ）、（ｇ）、（ｋ）、図１１（ｃ）、（ｇ）、（ｋ）は、時刻Ｔ１における撮像画像、信号などを示し、図１０（ｄ）、（ｈ）、（ｌ）、図１１（ｄ）、（ｈ）、（ｌ）は、時刻Ｔｎにおける撮像画像、信号などを示す。時刻Ｔ０，Ｔ１，Ｔ２、…Ｔｎの順に時間が経過する。
【００５７】
まずはじめに、撮像装置の電源を投入すると、シャッタ２が閉じた状態で起動する。
撮像素子３が吸収した赤外線に応じた信号が、撮像信号ＩＮ（Ｔ０）として出力されると、差分回路４は、遮蔽状態で取得した撮像信号ＩＮ（Ｔ０）と、フレームメモリ９が保持している固定パターンノイズＦＰＮ（Ｔ０）をアナログに変換したＦＰＮ固定パターンノイズＯ（Ｔ０）の差をとり、映像信号Ｓ（Ｔ０）を生成する。
【００５８】
アナログ信号である映像信号Ｓ（Ｔ０）はＡ／Ｄ変換器６にてデジタル信号出力に変換される。混合回路７では、１／Ｋの信号レベルに減衰した信号ＡＤ（Ｔ０）／Ｋと、フレームメモリ９が保持している固定パターンノイズＦＰＮ（Ｔ０）と加算し、新しいパターンノイズＤ（Ｔ０）を生成する。なお、図１０及び図１１に示す例では、固定パターンノイズＦＰＮを減衰させずにそのまま加算しており、また、信号ＡＤに対する減衰係数Ｋも便宜上１としている。
【００５９】
また、シャッタが遮蔽した状態なので、更新回路８ではフレームメモリへの書き込み制御信号が許可状態となっており、更新パターンノイズＤ（Ｔ０）は、フレームメモリ９に更新データとして保持され、次の時刻Ｔ１にて固定パターンノイズＦＰＮ（Ｔ１）として、差分回路４へ供給されるとともに、新しいパターンノイズＤ（Ｔ１）の生成に用いられる。以降、時刻Ｔ２まで同様の処理を繰り返す。
【００６０】
時刻Ｔｎではシャッタが開放状態になる。
図では便宜上、上記のように、混合回路７用いる係数Ｋを１（減衰無し）としているほか、Ａ／Ｄ変換器６とＤ／Ａ変換器１０の分解能の差を２倍(ビット数の差が１)、シャッタを遮蔽した状態で電源を投入し、固定パターンノイズの取得を開始してから２フレーム経過した時点で更新パターンノイズＤの取得を終え、シャッタを開放して通常の撮像を開始しているが、実際の回路においては、全固定パターンノイズの積算信号レベルが安定するまで２フレーム以上の期間を要する。
【００６１】
時刻Ｔｎで出力される撮像信号は、シャッタが開放した状態で取得した信号なので、更新回路８は書込み禁止状態となり、フレームメモリ９のデータ更新は行われない。
【００６２】
ここでは、電源を投入時に遮蔽時更新パターンノイズＤを取得する場合について説明したが、撮像装置の起動時に限らず、動作中に適宜取得して差し支えない。むしろ、撮像素子３の感度のバラツキは外界や装置の温度等によって変化するため、動作中にも遮蔽時更新パターンノイズＤを適宜更新したほうが良い。
【００６３】
検出回路１３における固定パターンノイズの取得完了の判定について、映像信号ＳとＡ／Ｄ変換器６のレンジとデジタル変換したデジタル映像信号ＡＤの関係を、先にも参照した図５（ａ）〜（ｊ）を参照して説明する。
【００６４】
図５（ａ）〜（ｊ）に、各時刻Ｔ０〜Ｔ４（それぞれ一つのフレームのデータが処理される時刻）における、映像信号Ｓとデジタル映像信号ＡＤを示す。図５（ａ）〜（ｅ）が差分回路４から出力される映像信号Ｓ、図５（ｆ）〜（ｊ）がＡ／Ｄ変換器６から出力されるデジタル映像信号ＡＤである。映像信号Ｓのうち、上限ＵＬから下限ＬＬまでの範囲が、Ａ／Ｄ変換器６のダイナミックレンジに相当し、この範囲内においてのみ、映像信号Ｓとデジタル映像信号ＡＤの値とが比例関係を有する。図５では、Ａ／Ｄ変換器６は６ビット、Ｄ／Ａ変換器１０は８ビット、Ａ／Ｄ変換器６とＤ／Ａ変換器１０の分解能の差を４倍、混合回路７では、デジタル映像信号ＡＤと固定パターンノイズＦＰＮがそのまま（減衰係数を掛けられることなく）加算されるものとしている。
【００６５】
まず、固定パターンノイズ取得処理の開始時点である時刻Ｔ０では、フレームメモリ９が初期状態のため、遮蔽状態における撮像信号ＩＮ、つまりこの素子が持っている固定パターンノイズがそのまま差分回路４から出力される。その結果、固定パターンノイズの１／４にあたる信号がデジタル信号に変換される。
【００６６】
混合回路７は、デジタル変換した映像信号ＡＤとフレームメモリ９内に格納されているデータＦＰＮを所定比（ここでは１対１）で加算し、更新回路７へ送る。更新回路７は、新しい固定パターンノイズとしてフレームメモリ９に格納する。図５（ｆ）に示した信号がフレームメモリ９に取り込まれることになる。
【００６７】
時刻Ｔ１では、図５（ｂ）に示すように、図５（ａ）に示すのと同様の撮像信号と、図５（ｆ）に示した固定パターンノイズとの差が、映像信号Ｓとなる。図５（ｂ）に示す映像信号Ｓには左から右に向かって増加するシェーディング成分がない。
時刻Ｔ２、Ｔ３とさらに同様の処理を繰り返すことにより、映像信号Ｓからピーク状の固定パターンノイズが徐々に無くなっていく。
【００６８】
時刻Ｔ３の段階では、有効画素の映像信号の最大値と最小値の差が十分小さくなっている。有効画素の信号レベルが無効画素のレベルと等しくなるところまで固定パターンノイズを除去する必要が無い場合は、この段階で固定パターンノイズの取得を終了してもよい。つまり、有効画素の映像信号の最大値と最小値の差が一定値未満になったら固定パターンノイズの取得処理を終了してもよいと判定する。
【００６９】
有効画素の信号レベルが無効画素のレベルと等しくなるところまで固定パターンノイズを除去する必要がある場合はさらに固定パターンノイズの取得処理を続け、時刻Ｔ４に示すように、有効画素の映像信号と無効画素の映像信号の差がなくなったところで終了する。
【００７０】
以上説明したように実施の形態１によれば、撮像素子から出力される信号と、固定パターンノイズに相当する成分が記録されているフレームメモリの出力信号との差分をデジタル変換することにより、より支配的な固定パターンノイズが差し引かれている信号をデジタル変換することになり、アナログ−デジタル（Ａ／Ｄ）変換器のダイナミックレンジを有効に利用することができるため、デジタル変換による量子化ノイズが低減し、画質が向上する。
【００７１】
また、減衰回路４０にてデジタル信号ＡＤの振幅を１／Ｋ倍してから固定パターンノイズＦＰＮと加算することにより、Ａ／Ｄ変換器とＤ／Ａ変換器の特性差を吸収して信号の発散を防ぐため、精度よく遮蔽時の更新パターンノイズＤに収束させることができる。
【００７２】
さらに、固定パターンノイズ取得処理の開始と終了のタイミングを自動的に検出することにより、固定パターンノイズの取得を効率よく実行できるとともに、常にノイズの少ない状態を維持することができる。
【図面の簡単な説明】
【００７３】
【図１】この発明の実施の形態１に係る赤外線撮像装置の構成を示すブロック図である。
【図２】水平期間に含まれる有効画素と無効画素とブランキング期間を示す概略図である。
【図３】混合回路７の一例を示すブロック図である。
【図４】混合回路７の他の例を示すブロック図である。
【図５】（ａ）〜（ｊ）は、固定パターンノイズの取得完了を検出する方法を示す概略図である。
【図６】（ａ）〜（ｃ）は、撮像画像と固定パターンノイズを含む撮像信号と固定パターンノイズを除去した映像信号を示す概略図である。
【図７】撮像信号ＩＮとアナログ固定パターンノイズＯと映像信号Ｓの関係を示す概略図である。
【図８】撮像信号ＩＮと新しい固定パターンノイズＤ’の関係を示す概略図である。
【図９】映像信号Ｓと新しい固定パターンノイズＤの関係を示す概略図である。
【図１０】（ａ）〜（ｌ）は、固定パターンノイズＤの取得手順を示す概略図である。
【図１１】（ａ）〜（ｌ）は、固定パターンノイズＤの取得手順を示す概略図である。
【符号の説明】
【００７４】
１  レンズ、  ２  シャッタ、  ３  撮像素子、  ４  差分回路、  ５  増幅回路、  ６  Ａ／Ｄ変換器、  ７  混合回路、  ８  更新回路、  ９  フレームメモリ、  １０  Ｄ／Ａ変換器、  １１  シャッタ制御回路、  １２  タイミング生成回路、  １３  検出回路、  ２１  積分回路、  ２２  利得制御回路、  ３０  ＦＰＮ取得手段、  ４０  制御手段。
【図１】
0005084473.tif 000002
【図２】
0005084473.tif 000003
【図３】
0005084473.tif 000004
【図４】
0005084473.tif 000005
【図５】
0005084473.tif 000006
【図６】
0005084473.tif 000007
【図７】
0005084473.tif 000008
【図８】
0005084473.tif 000009
【図９】
0005084473.tif 000010
【図１０】
0005084473.tif 000011
【図１１】
0005084473.tif 000012