(57)【要約】【課題】不自然な画像となることを抑制することができる欠陥画素補正装置を提供する。【解決手段】欠陥画素補正装置は、赤外線撮像部１からフレーム単位に供給される画像データが順次格納されるフレームメモリ部４と、赤外線撮像部１を構成する画素のそれぞれを判定対象画素とし、該判定対象画素について、赤外線撮像部１から供給される現フレームにおける輝度値と、フレームメモリ部４に格納されている、現フレームと時間的に連続する複数の遅延フレームのそれぞれにおける輝度値との差分を求め、該差分と閾値の関係を調べる判定回路４とを有する。判定回路４は、関係が正常出力を示す判定条件を満たす場合は、判定対象画素の出力として現フレームの輝度値をそのまま出力し、関係が異常出力を示す判定条件を満たす場合は、判定対象画素の出力として、複数の遅延フレームの輝度値のうちの正常出力とされる輝度値を出力する。【選択図】図１
2008311834.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を備える赤外線撮像部からフレーム単位に供給される、前記複数の画素のそれぞれで得られる輝度値を示す画像データが順次格納されるフレームメモリ部と、
前記複数の画素のそれぞれを判定対象画素とし、該判定対象画素について、前記赤外線撮像部から供給される現フレームにおける輝度値と、前記フレームメモリ部に格納されている、前記現フレームと時間的に連続する複数の遅延フレームのそれぞれにおける輝度値との差分を求め、該差分と閾値の関係を調べる判定回路と、を有し、
前記判定回路は、前記関係が正常出力を示す判定条件を満たす場合は、前記判定対象画素の出力として前記現フレームの輝度値をそのまま出力し、前記関係が異常出力を示す判定条件を満たす場合は、前記判定対象画素の出力として、前記現フレームの輝度値に替えて、前記複数の遅延フレームの輝度値のうちの正常出力とされる輝度値を出力する、欠陥画素補正装置。
【請求項２】
前記判定回路は、前記現フレームにおける輝度値と前記複数の遅延フレームのそれぞれにおける輝度値との差分の絶対値が全て前記閾値より大きい第１の条件を満たさない場合に、前記判定対象画素の出力が正常出力であると判定し、前記第１の条件を満たし、かつ、前記複数の遅延フレームのそれぞれにおける輝度値の間の差分の絶対値が全て前記閾値より大きい第２の条件を満たさない場合に、前記判定対象画素の出力が異常出力であると判定する、請求項１に記載の欠陥画素補正装置。
【請求項３】
前記判定回路は、前記関係が異常出力を示す判定条件を満たす場合に、前記複数の遅延フレームにおける前記正常出力とされる輝度値のうち、時間的に前記現フレームに最も近い遅延フレームの輝度値を前記判定対象画素の出力とする、請求項１または２に記載の欠陥画素補正装置。
【請求項４】
複数の画素を備える赤外線撮像部からフレーム単位に供給される、前記複数の画素のそれぞれで得られる輝度値を示す画像データをフレームメモリ部に順次格納するステップと、
前記複数の画素のそれぞれを判定対象画素とし、該判定対象画素について、前記赤外線撮像部から供給される現フレームにおける輝度値と、前記フレームメモリ部に格納されている、前記現フレームと時間的に連続する複数の遅延フレームのそれぞれにおける輝度値との差分を求め、該差分と閾値の関係を調べるステップと、
前記関係が正常出力を示す判定条件を満たす場合に、前記判定対象画素の出力として前記現フレームの輝度値をそのまま出力するステップと、
前記関係が異常出力を示す判定条件を満たす場合に、前記判定対象画素の出力として、前記現フレームの輝度値に替えて、前記複数の遅延フレームの輝度値のうちの正常出力とされる輝度値を出力するステップと、を含む欠陥画素補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元アレイ型の赤外線検知器を備える赤外線撮像装置に関する。
【背景技術】
【０００２】
赤外線撮像装置の製造において、欠陥画素のない赤外線検知器を常に作製することは非常に困難である。欠陥画素には、他の画素よりも感度が高い（または低い）ために、常に出力が異常となる固定欠陥画素や、正常出力と異常出力とが不定期に繰り返される点滅欠陥画素がある。このような欠陥画素が含まれる赤外線検知器の全てを不良製品として扱うと、赤外線撮像装置の製造における歩留まりが悪化してしまう。歩留まりを良くするためには、欠陥画素を含む赤外線検知器についても、表示品質を落とすことなく使用することができるように、欠陥画素に対する補正を行う必要がある。
【０００３】
特許文献１に、２次元に配置された複数の画素からなる赤外線撮像素子の点滅欠陥画素を検出して補正することができる固体撮像装置が記載されている。この固体撮像装置は、各々の画素について、当該画素からの出力信号を複数フレームに亘り積分して積分画素出力を算出するフレームメモリ積分器と、検出対象画素の周辺画素における積分画素出力の平均を算出する隣接画素平均値算出手段と、検出対象画素の積分画素出力の値とその周辺画素における積分画素出力の平均の値との差分をとり、その差分の値が判定基準を上回った画素を点滅欠陥画素と特定する周辺画素比較器と、特定した点滅欠陥画素にかかる出力を他の画素の出力で代替する欠陥補正手段とを備える。点滅欠陥画素の出力を他の正常な画素の出力で代替することで、点滅欠陥画素を正常な画素と見なすことができる。
【特許文献１】特開２００６−３１９６０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の固体撮像装置においては、点滅欠陥画素の出力を他の正常な画素の出力で代替するため、以下のような問題がある。
【０００５】
被写体Ａからの赤外線が入射する第１の領域に点滅欠陥画素があり、被写体Ａに隣接する被写体Ｂからの赤外線が入射する第２の領域の画素の出力を点滅欠陥画素の出力の代替とする場合で、被写体Ａの赤外線放射量と被写体Ｂの赤外線放射量との差が特に大きい場合には、第１の領域の画像において、点滅欠陥画素に対応する部分の輝度が、本来の輝度（被写体Ａの赤外線放射量に対応する輝度）から大きくはずれた輝度となり、その結果、第１の領域の画像が不自然な画像になってしまう。例えば、被写体Ａの赤外線放射量が被写体Ｂの赤外線放射量より多い場合は、明るい画像の中に暗い部分が表示されることになる。
【０００６】
また、点滅欠陥画素においては、正常な出力の状態とされる期間があり、その期間は、点滅欠陥画素の出力を用いることが望ましい。特許文献１に記載の固体撮像装置では、点滅欠陥画素の出力を他の正常な画素の出力で代替する補正処理を常に行うため、点滅欠陥画素が正常な出力の状態とされる期間において、無駄に、補正処理が行われることになる。このように、特許文献１に記載の固体撮像装置は、正常出力時の輝度値を有効利用できていない。
【０００７】
本発明の目的は、上記問題を解決し、正常出力時の輝度値を有効利用することができ、不自然な画像となることを抑制することができる欠陥画素補正装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の欠陥画素補正装置は、
複数の画素を備える赤外線撮像部からフレーム単位に供給される、前記複数の画素のそれぞれで得られる輝度値を示す画像データが順次格納されるフレームメモリ部と、
前記複数の画素のそれぞれを判定対象画素とし、該判定対象画素について、前記赤外線撮像部から供給される現フレームにおける輝度値と、前記フレームメモリ部に格納されている、前記現フレームと時間的に連続する複数の遅延フレームのそれぞれにおける輝度値との差分を求め、該差分と閾値の関係を調べる判定回路と、を有し、
前記判定回路は、前記関係が正常出力を示す判定条件を満たす場合は、前記判定対象画素の出力として前記現フレームの輝度値をそのまま出力し、前記関係が異常出力を示す判定条件を満たす場合は、前記判定対象画素の出力として、前記現フレームの輝度値に替えて、前記複数の遅延フレームの輝度値のうちの正常出力とされる輝度値を出力する、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、点滅欠陥画素の出力が正常出力であると判定した場合は、現フレームにおける輝度値がそのまま出力されるので、有効な情報を最大限まで利用することができ、より良好な画像を提供することができる。
【００１０】
また、点滅欠陥画素の出力が異常出力であると判定した場合は、現フレームの輝度値に替えて遅延フレームで正常出力とされたフレームの輝度値を出力することで、不自然な画になることを抑制することができるので、より良好な画像を提供することができる。
【発明を実施するための最良の形態】
【００１１】
次に、本発明の実施形態について図面を参照して説明する。
【００１２】
図１は、本発明の一実施形態である欠陥画素補正装置の概略構成を示すブロック図である。図１を参照すると、欠陥画素補正装置は、赤外線撮像装置に適用されるものであって、その主要部は、赤外線撮像部１からの輝度信号を入力とする、フレームメモリ部４および判定回路５からなる。
【００１３】
赤外線撮像部１は、２次元に配置された複数の画素からなる赤外検知器２と、赤外検知器２から出力された輝度信号（アナログ信号）をデジタル信号に変換する前処理回路３とを有する。赤外検知器２には、既存の赤外検知器を用いることができる。赤外検知器２では、画素毎に、入力した赤外線の光量に応じた輝度信号が出力される。各画素の輝度信号の出力順序は予め決められている。前処理回路３でデジタル信号に変換された輝度信号は、フレームメモリ部４に供給されるとともに、判定回路５の入力Ｉ0に供給される。
【００１４】
フレームメモリ部４は、前処理回路３から供給される画像データ（各画素の輝度信号）を、１フレーム期間に対応する時間を遅延単位時間として遅延させる手段であって、直列に接続されたＭ個のフレームメモリ４1〜４Mからなる。フレームメモリ４1〜４Mは、１フレーム分の画像データ（各画素の輝度値）を格納するフレームメモリよりなる。このフレームメモリでは、赤外検知器２における各画素の輝度信号の出力順序と同じ順序で、画像データの書き込みおよび読み出しが行われる。
【００１５】
フレームメモリ４1は、前処理回路３から供給される画像データ（各画素の輝度値）を格納する。画素の輝度値を格納する際に、フレームメモリ４1は、その直前に格納してあった画像データをフレームメモリ４2および判定回路５に供給する。
【００１６】
フレームメモリ４2は、フレームメモリ４1からの画像データを入力とし、画像データを格納する際に、その直前に格納してあった画像データをフレームメモリ４3および判定回路５に供給する。フレームメモリ４3〜４M-1も、フレームメモリ４2と同様、前段のフレームメモリからの画像データを入力とし、画像データを格納する際に、その直前に格納してあった画像データを後段のフレームメモリに供給するとともに判定回路５に供給する。
【００１７】
フレームメモリ４Mは、フレームメモリ４M-1からの画像データを入力とし、画像データを格納する際に、その直前に格納してあった画像データを判定回路５の第３の入力に供給する。フレームメモリ４1〜４Mからの画像データは、それぞれ判定回路５の入力Ｉ1〜ＩMに供給される。フレームメモリ部４での遅延処理により、判定回路５の入力Ｉ0〜ＩMには、判定対象画素について、Ｎフレーム目、Ｎ−１フレーム目，Ｎ−２フレーム目，・・・，Ｎ−（Ｍ−１）フレーム目，Ｎ−Ｍフレーム目の輝度信号が同じタイミングで供給される。
【００１８】
判定回路５は、赤外検知器２を構成する画素のそれぞれを判定対象画素とし、判定対象画素について、入力Ｉ0に供給される輝度信号が正常出力であるか否かを判定する。正常出力であると判定した場合、または、不明であると判定した場合は、判定回路５は、入力Ｉ0に供給される輝度信号をそのまま出力する。異常出力であると判定した場合は、判定回路５は、他の入力Ｉ1〜ＩMのうち、正常出力となる入力を調べて、その輝度信号を入力Ｉ0の輝度信号に替えて出力する。
【００１９】
次に、判定回路５による欠陥画素補正処理について詳細に説明する。
【００２０】
図２は、欠陥画素補正処理の手順を示すフローチャートである。図２を参照すると、ステップＳ１０で、入力Ｉ0〜ＩMのそれぞれの間の輝度信号の差分と閾値Ａとの関係に基づいて、入力Ｉ0が正常出力であるか否かを判定する。
【００２１】
この判定では、入力Ｉ0の輝度信号（輝度値）と他の入力Ｉ1〜ＩMの各輝度信号（輝度値）との差分の全てが閾値Ａより大きい、という第１の条件を満たすか否かを調べる。第１の条件を満たさない場合は、ステップＳ１１の判定結果は正常となる。第１の条件を満たす場合は、他の入力Ｉ1〜ＩMのそれぞれの間の輝度信号の差分の全てが閾値Ａより大きい、という第２の条件を満たすか否かを調べる。第２の条件を満たす場合は、ステップＳ１１の判定結果は不明となる。第２の条件を満たさない場合は、ステップＳ１１の判定結果は異常となる。
【００２２】
ステップＳ１１の判定結果が正常または不明となった場合は、ステップＳ１２で、入力Ｉ0の輝度信号をそのまま出力する。ステップＳ１１の判定結果が異常となった場合は、ステップＳ１３で、他の入力Ｉ1〜ＩMのそれぞれの間の輝度信号の差分と閾値Ａとの関係に基づいて、正常出力である他の入力を決定する。そして、ステップＳ１４で、入力Ｉ0の輝度信号の替わりに、その決定した他の入力の輝度信号を出力する。
【００２３】
この欠陥画素補正処理によれば、点滅欠陥画素の出力が正常出力であると判定した場合は、現フレーム（Ｎフレーム目）における輝度信号がそのまま出力されるので、有効な情報を最大限まで利用することができ、点滅欠陥画素を含む領域の画像が不自然な画になることもない。
【００２４】
また、点滅欠陥画素の出力が異常出力であると判定した場合は、現フレーム（Ｎフレーム）の輝度信号に替えて遅延フレーム（Ｎ−１フレームからＮ−Ｍフレーム）で正常出力とされたフレームの輝度信号（輝度値）が出力される。一般に、時間的に連続するフレーム間の対応する画素の輝度信号（輝度値）は大きく変化することはない。したがって、現フレームの輝度値に替えて、１フレームまたは数フレーム前の遅延フレームにおける輝度値を用いる場合に、点滅欠陥画素の出力が本来の出力から大きく外れることはない。よって、点滅欠陥画素を含む領域の画像が不自然な画になることを抑制することができ、点滅欠陥画素の輝度信号を他の画素の輝度信号で代替する場合に比べてより良好な画像を提供することができる。
【００２５】
以下に、本発明の点滅欠陥画素補正装置の一実施例として、フレームメモリの数が２つの場合と３つの場合の例を挙げる。
【実施例１】
【００２６】
図３に、本発明の点滅欠陥画素補正装置の第１の実施例を示す。この点滅欠陥画素補正装置は、フレームメモリ部４が直列に接続された２つのフレームメモリ４1、４2からなる以外は、図１に示した構成と同様のものである。
【００２７】
フレームメモリ部４での遅延処理により、判定回路５の入力Ｉ0〜Ｉ2には、判定対象画素について、Ｎフレーム目、Ｎ−１フレーム目、Ｎ−２フレーム目の輝度信号が同じタイミングで供給される。判定回路５では、入力Ｉ0〜Ｉ2に基づく欠陥画素補正処理が行われる。図４に、その欠陥画素補正処理のフローチャートを示す。
【００２８】
図４を参照すると、ステップＳ２０で、入力Ｉ0と入力Ｉ1の差分の絶対値が閾値Ａより大きい、かつ、入力Ｉ0と入力Ｉ2の差分の絶対値が閾値Ａより大きい、という条件を満たすか否かを判定する。ステップＳ２０で、条件を満たさないと判定した場合（図２のステップＳ１１の正常の判定に対応する）は、ステップＳ２１で、入力Ｉ0を選択する。
【００２９】
ステップＳ２０で、条件を満たすと判定した場合は、ステップＳ２２で、入力Ｉ1と入力Ｉ2の差分の絶対値が閾値Ａより大きい、という条件を満たすか否かを判定する。ステップＳ２２で、条件を満たすと判定した場合（図２のステップＳ１１の不明の判定に対応する）は、ステップＳ２３で、入力Ｉ0を選択する。ステップＳ２２で、条件を満たさないと判定した場合（図２のステップＳ１１の異常の判定に対応する）は、入力Ｉ1、Ｉ2の輝度信号がともに正常出力であると見なして、ステップＳ２４で、現フレーム（Ｎフレーム）の直前のフレーム（Ｎ−１フレーム）の輝度信号である入力Ｉ1を選択する。
【００３０】
ここで、ステップＳ２４で直前のフレームを選択する理由を簡単に説明する。一般に、赤外線撮像装置からフレーム単位に出力される輝度信号において、時間的に連続する２つのフレーム間の対応する画素の輝度信号（輝度値）は大きく変化することはない。したがって、現フレームではじめて輝度信号が異常出力と判定され、現フレームの輝度信号として他のフレームの輝度信号を用いる場合、他のフレームとしては、現フレームに時間的に最も近いフレームを用いることが望ましい。ステップＳ２２で条件を満たさないと判定される状態は、Ｎ−１フレーム目まで輝度信号が正常出力であり、Ｎフレーム目の輝度信号が異常出力または正常であるか否かが不明であるとされた状態に相当する。この状態においては、異常出力であるとされたＮフレーム目の輝度信号の替わりに、Ｎフレームの直前のフレームであるＮ−１フレーム目の輝度信号（輝度値）を用いることが望ましい。
【実施例２】
【００３１】
図５に、本発明の点滅欠陥画素補正装置の第２の実施例を示す。この点滅欠陥画素補正装置は、フレームメモリ部４が直列に接続された３つのフレームメモリ４1、４2、４3からなる以外は、図１に示した構成と同様のものである。
【００３２】
フレームメモリ部４での遅延処理により、判定回路５の入力Ｉ0〜Ｉ3には、判定対象画素について、Ｎフレーム目、Ｎ−１フレーム目、Ｎ−２フレーム目、Ｎ−３フレーム目の輝度信号が同じタイミングで供給される。判定回路５では、入力Ｉ0〜Ｉ3に基づく欠陥画素補正処理が行われる。図６に、その欠陥画素補正処理のフローチャートを示す。
【００３３】
図６を参照すると、ステップＳ３０で、入力Ｉ0と入力Ｉ1の差分の絶対値が閾値Ａより大きい、かつ、入力Ｉ0と入力Ｉ2の差分の絶対値が閾値Ａより大きい、かつ、入力Ｉ0と入力Ｉ3の差分の絶対値が閾値Ａより大きい、という条件を満たすか否かを判定する。ステップＳ３０で、条件を満たさないと判定した場合（図２のステップＳ１１の正常の判定に対応する）は、ステップＳ３１で、入力Ｉ0を選択する。
【００３４】
ステップＳ３０で、条件を満たすと判定した場合は、ステップＳ３２で、入力Ｉ1と入力Ｉ2の差分の絶対値が閾値Ａより大きい、かつ、入力Ｉ2と入力Ｉ3の差分の絶対値が閾値Ａより大きい、かつ、入力Ｉ1と入力Ｉ3の差分の絶対値が閾値Ａより大きい、という条件を満たすか否かを判定する。ステップＳ３２で、条件を満たすと判定した場合（図２のステップＳ１１の不明の判定に対応する）は、ステップＳ３３で、入力Ｉ0を選択する。
【００３５】
ステップＳ３２で、条件を満たさないと判定した場合（図２のステップＳ１１の異常の判定に対応する）は、ステップＳ３４で、入力Ｉ1と入力Ｉ2の差分の絶対値が閾値Ａより大きい、または、入力Ｉ1と入力Ｉ3の差分の絶対値が閾値Ａより大きい、という条件を満たすか否かを判定する。ステップＳ３４で、条件を満たさないと判定した場合は、入力Ｉ1と入力Ｉ2または入力Ｉ3が正常出力であると見なして、ステップＳ３５で、入力Ｉ1を選択する。ステップＳ３４で、条件を満たすと判定した場合は、入力Ｉ2が正常出力であると見なして、ステップＳ３５で、入力Ｉ2を選択する。
【００３６】
以上説明した点滅欠陥画素補正装置は、本発明の一例であり、その構成および動作は発明の趣旨を逸脱しない範囲で適宜に変更することができる。例えば、図１に示した装置において、フレームメモリ部４および判定回路５は赤外線撮像部１内に設けられても良い。
【産業上の利用可能性】
【００３７】
本発明は、二次元の赤外線検知器を使用している撮像装置全般に適用することができる。本発明が適用される具体的な赤外線撮像装置としては、例えばセキュリティ用赤外線カメラ、航空機搭載カメラ、ミサイル誘導装置などが挙げられる。
【００３８】
また、本発明は、赤外線撮像装置の他にも、点滅欠陥画素の問題を生じるのであれば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサに代表される撮像装置にも適用することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態である欠陥画素補正装置の概略構成を示すブロック図である。
【図２】図１に示す欠陥画素補正装置にて行われる欠陥画素補正処理の手順を示すフローチャートである。
【図３】本発明の点滅欠陥画素補正装置の第１の実施例を示すブロック図である。
【図４】図３に示す欠陥画素補正装置にて行われる欠陥画素補正処理の手順を示すフローチャートである。
【図５】本発明の点滅欠陥画素補正装置の第２の実施例を示すブロック図である。
【図６】図５に示す欠陥画素補正装置にて行われる欠陥画素補正処理の手順を示すフローチャートである。
【符号の説明】
【００４０】
１  赤外線撮像部
２  赤外線検知器
３  前処理回路
４  フレームメモリ部
５  判定回路
【図１】
2008311834.tif 000003
【図２】
2008311834.tif 000004
【図３】
2008311834.tif 000005
【図４】
2008311834.tif 000006
【図５】
2008311834.tif 000007
【図６】
2008311834.tif 000008