(57)【要約】【課題】  損壊素子が存在する場合においても、明瞭な画像を表示することを可能とする。【解決手段】  ＣＰＵ６が、記憶部６ａを参照して、出力電圧値が０のＩＲイメージセンサ２があるか否かを判別し、出力電圧値が０の赤外線検出素子が存在する場合、その赤外線検出素子は損壊素子であると判断し、損壊素子に隣接する赤外線検出素子の出力電圧値を取り込む。ＣＰＵ６は、損壊素子及び損壊素子を囲んで隣接する赤外線検出素子の出力電圧値を昇順に配列し、配列された出力電圧値の中央に位置する値を算出し、記憶部６ａに記憶されている損壊素子の出力電圧値を算出された中央値に書き換えた後、記憶部６ａに記憶されている出力電圧値に従って画像を表示制御することを特徴とする。【選択図】  図１
2006094427.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像素子により構成される撮像装置により撮像した画像を表示する画像表示装置において、
前記複数の撮像素子の出力値を撮像素子毎に記憶する記憶部と、
前記記憶部に記憶されている出力値に従って画像を表示制御する制御部と、
前記記憶部を参照して出力値が所定値である撮像素子の存在を判別して当該撮像素子を損壊素子であると判断する判断部と、
前記記憶部から前記損壊素子に隣接する複数の撮像素子の出力値を読み出すことに基づき複数の出力値の中から中央値を算出し前記損壊素子の出力値を前記中央値に置き換える置換部とを備えた
ことを特徴とする画像表示装置。
【請求項２】
請求項１記載の画像表示装置であって、
前記置換部は、前記損壊素子を囲んで隣接する複数の撮像素子の出力値を読み出し損壊素子の出力値及び隣接する撮像素子の出力値を昇順又は降順に配列した場合の中央に位置する値を中央値とする
ことを特徴とする画像表示装置。
【請求項３】
請求項１又は２記載の画像表示装置であって、
前記撮像素子は、赤外線イメージセンサである
ことを特徴とする画像表示装置。
【請求項４】
複数の撮像素子により構成される撮像装置により撮像した画像を表示する画像表示プログラムであって、
複数の撮像素子の出力値を撮像素子毎に記憶する記憶部を参照して前記各出力値が所定値である撮像素子の存在を判別する処理と、
前記出力値が所定値である撮像素子を損壊素子であると判断する処理と、
前記損壊素子に隣接する複数の撮像素子の出力値を取り込むことに基づき複数の出力値の中から中央値を算出する処理と、
前記記憶部に記憶されている損壊素子の出力値を算出された中央値に置き換える処理と、
前記記憶部に記憶されている置き換え後の出力値に従って画像を表示制御する処理とをコンピュータに実行させる
ことを特徴とする画像表示プログラム。
【請求項５】
請求項４記載の画像表示プログラムであって、
前記算出する処理は、前記損壊素子を囲んで隣接する複数の撮像素子の出力値を読み出し損壊素子の出力値及び隣接する撮像素子の出力値を昇順又は降順に配列した場合の中央に位置する値を中央値とする
ことを特徴とする画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像素子により構成された撮像装置が撮像した画像を表示する画像表示装置及び画像表示プログラムに関する。
【背景技術】
【０００２】
従来より、赤外線イメージセンサやＣＣＤ（Charge Coupled Device）等の複数の撮像素子により構成された撮像装置により撮像した画像を表示する画像表示装置が知られている。
【０００３】
ところで、撮像装置を構成する複数の撮像素子の中には、製造工程のばらつき等の原因によって、損壊している撮像素子（以下、損壊素子と略記）が含まれていることがある。そして、損壊素子が含まれている場合、損壊素子からは出力電圧が得られないために、その損壊素子に対応する画素は黒色や白色に表示される。このため、従来までの画像表示装置によれば、損壊素子が含まれている場合、撮像された画像が画素落ち画像になり、明瞭な画像を表示できないことがあった。
【０００４】
【特許文献１】特開２０００−２４４９３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
解決しようとする問題点は、損壊素子が含まれている場合に、画素落ち画像になり明瞭な画像を表示できないことがある点である。
【課題を解決するための手段】
【０００６】
本発明は、損壊素子が含まれている場合でも、明瞭な画像を表示できるようにするため、複数の撮像素子の出力値を撮像素子毎に記憶する記憶部と、前記記憶部に記憶されている出力値に従って画像を表示制御する制御部と、前記記憶部を参照して出力値が所定値である撮像素子の存在を判別して当該撮像素子を損壊素子であると判断する判断部と、前記記憶部から前記損壊素子に隣接する複数の撮像素子の出力値を読み出すことに基づき複数の出力値の中から中央値を算出し前記損壊素子の出力値を前記中央値に置き換える置換部とを備えたことを最も主要な特徴とする。
【発明の効果】
【０００７】
本発明の画像表示装置は、複数の撮像素子の出力値を撮像素子毎に記憶する記憶部と、前記記憶部に記憶されている出力値に従って画像を表示制御する制御部と、前記記憶部を参照して出力値が所定値である撮像素子の存在を判別して当該撮像素子を損壊素子であると判断する判断部と、前記記憶部から前記損壊素子に隣接する複数の撮像素子の出力値を読み出すことに基づき複数の出力値の中から中央値を算出し前記損壊素子の出力値を前記中央値に置き換える置換部とを備えたため、損壊素子の出力値を損壊素子ではない撮像素子の出力値に置き換えることで、損壊素子に伴う画素落ちを補間して、明瞭な画像を表示することができる。
【０００８】
前記置換部が、前記損壊素子を囲んで隣接する複数の撮像素子の出力値を読み出し損壊素子の出力値及び隣接する撮像素子の出力値を昇順又は降順に配列した場合の中央に位置する値を中央値とする場合は、簡単な構成により損壊素子の出力値を補間することができる。
【０００９】
前記撮像素子が、赤外線イメージセンサである場合は、自動車の夜間前方視界等を撮像する場合などに、損壊素子に伴う画素落ちを補間して、明瞭な画像を表示することができる。
【００１０】
複数の撮像素子により構成される撮像装置により撮像した画像を表示する画像表示プログラムであって、複数の撮像素子の出力値を撮像素子毎に記憶する記憶部を参照して前記各出力値が所定値である撮像素子の存在を判別する処理と、前記出力値が所定値である撮像素子を損壊素子であると判断する処理と、前記損壊素子に隣接する撮像素子の出力値を取り込みに基づき複数の出力値の中から中央値を算出する処理と、前記記憶部に記憶されている損壊素子の出力値を算出された中央値に置き換える処理と、前記記憶部に記憶されている置き換え後の出力値に従って画像を表示制御する処理とをコンピュータに実行させることができ、損壊素子に伴う画素落ちを補間して、明瞭な画像を表示することができる。
【００１１】
前記算出する処理が、前記損壊素子を囲んで隣接する複数の撮像素子の出力値を読み出し損壊素子の出力値及び隣接する撮像素子の出力値を昇順又は降順に配列した場合の中央に位置する値を中央値とする場合は、簡単な構成により損壊素子の出力値を補間することができる。
【発明を実施するための最良の形態】
【００１２】
損壊素子が存在する場合においても、損壊素子に伴う画素落ちを補間して、明瞭な画像を表示するという目的を、簡単な構成で実現した。
【実施例１】
【００１３】
［画像表示装置の構成］
図１，図２は、本発明の実施例１に係り、図１は、画像表示装置の構成を示すブロック図、図２は、画像表示装置により表示される画像の一例を示す説明図である。
【００１４】
図１のように画像表示装置１は、赤外線カメラを構成する複数の赤外線（InfraRed：ＩＲ）イメージセンサ２と、第１，第２増幅回路３，４と、Ａ（Analog）／Ｄ（Digital）コンバーター５と、ＣＰＵ（Central Proocessing Unit）６と、Ｄ／Ａコンバーター７と、ビデオ出力インタフェイス部８と、ＲＳ−２３２Ｃ（Recommended Standard 232 version C）インタフェイス部９とを主な構成要素として備える。
【００１５】
前記ＩＲイメージセンサ２は、赤外線強度を電圧信号に変換する赤外線検出素子により構成され、この実施形態では、赤外線検出素子を画面縦方向及び横方向にそれぞれ４８素子及び３２素子配列することにより、図２に示すように、縦方向４８画素及び横方向３２画素（＝１５３６画素）の赤外線画像Ａを撮像可能に構成されている。そして、各ＩＲイメージセンサ２は、赤外線強度を電圧信号に変換し、第１，第２増幅回路３，４に電圧信号を出力する。
【００１６】
前記第１及び第２増幅回路３，４は、一般的な増幅回路により構成される。第１及び第２増幅回路３，４は、ＩＲイメージセンサ２の出力電圧値を増幅し、増幅された出力電圧値をＡ／Ｄコンバータ５に入力する。
【００１７】
前記Ａ／Ｄコンバータ５は、アナログ信号をデジタルデータに変換する電子回路又はソフトウェアにより構成される。Ａ／Ｄコンバータ５は、第１及び第２増幅回路３，４から入力された出力電圧値をアナログ／デジタル（Ａ／Ｄ）変換した後、ＣＰＵ６に入力する。
【００１８】
前記ＣＰＵ６は、一般的な演算処理装置により構成され、後述する補間処理の各処理ルーチンが規定された画像表示プログラムや、Ａ／Ｄコンバータ５から入力された出力電圧値を記憶するためのメモリ６ａを備える。
【００１９】
従って、複数の撮像素子（ＩＲイメージセンサ２）の出力値（出力電圧値）を撮像素子（ＩＲイメージセンサ２）毎に記憶する記憶部（メモリ６ａ）を備えた構成となっている。
【００２０】
前記ＣＰＵ６は、メモリ６ａに記憶された画像表示プログラムにより、複数のＩＲイメージセンサ２毎の出力電圧値に対して後述する補間処理を実行することにより、損壊素子に伴う画素落ちが補間された画像データを生成，出力する。
【００２１】
従って、ＣＰＵ６は、記憶部（メモリ６ａ）に記憶されている出力値（出力電圧値）に従って画像を表示制御する制御部と、前記記憶部（メモリ６ａ）を参照して出力値（出力電圧値）が所定値（出力電圧値０）である撮像素子（ＩＲイメージセンサ２）の存在を判別して当該撮像素子（ＩＲイメージセンサ２）を損壊素子（ＩＲイメージセンサ２）であると判断する判断部と、前記記憶部（メモリ６ａ）から前記損壊素子に隣接する複数の撮像素子の出力値（出力電圧値）を読み出すことに基づき複数の出力値の中から中央値を算出し前記損壊素子の出力値を前記中央値に置き換える置換部とを構成している。
【００２２】
ＣＰＵ６は、置換部として機能するとき、前記損壊素子（ＩＲイメージセンサ２）を囲んで隣接する複数の撮像素子（ＩＲイメージセンサ２）の出力値（出力電圧値）を読み出し損壊素子の出力値及び隣接する撮像素子の出力値を昇順に配列した場合の中央に位置する値を中央値とする。但し、ＣＰＵ６は、撮像素子の出力値を降順に配列した場合の中央に位置する値を中央値とすることもできる。
【００２３】
前記Ｄ／Ａコンバータ７は、デジタル信号をアナログデータに変換する電子回路又はソフトウェアにより構成される。Ｄ／Ａコンバタ７は、ＣＰＵ６から出力された画像データをデジタル／アナログ（Ｄ／Ａ）変換した後、ビデオ出力インタフェイス部８に入力する。
【００２４】
ビデオ出力インタフェイス部８は、Ｄ／Ａコンバータ７から入力されたアナログ形式の映像データをＮＴＳＣ（National Television Standards Committee）信号出力として出力する。なお、ＮＴＳＣ信号出力は図示しない表示装置に出力され、表示装置はＮＴＳＣ信号に従って画像データを表示する。
【００２５】
ＲＳ−２３２Ｃインタフェイス部９は、ＲＳ−２３２Ｃ形式でシリアル通信を行う電子回路又はソフトウェアにより構成される。ＲＳ−２３２Ｃインタフェイス部９は、ＣＰＵ６から入力される画像データや解析結果フラグ等のデータをシリアル出力する。
〔補間処理〕
図３は、損壊素子が存在する場合に画像表示装置によりそのまま表示される画像の一例を示す図である。
【００２６】
一般に、複数のＩＲイメージセンサ２の中には、製造工程のばらつき等の原因によって、損壊素子が含まれることがある。そして、損壊素子が存在する場合、損壊素子からは出力電圧が得られないために、その損壊素子に対応する画素は黒色や白色に表示されてしまう。このため、従来までの画像表示装置によれば、損壊素子が存在する場合、撮像画像は図３に示すような画素落ち画像Ｂになってしまい、明瞭な画像を表示できないことがあった。なお、図３中の符号Ｃは、損壊素子に対応する画素を示し、この場合、黒色（出力電圧＝０）に表示されている。
【００２７】
そこで、本発明の実施例１となる画像表示装置では、ＣＰＵ６がメモリ６ａに記憶された画像表示プログラムに従って以下に示す補間処理を実行することにより、損壊素子に伴う画素落ちが補間された画像データを生成，出力する。
【００２８】
以下、図４に示すフローチャートを参照して、補間処理を実行する際のＣＰＵ６の動作について説明する。
【００２９】
なお、必要に応じて図５〜図８を参照する。図５は、図４に示すステップＳ４の損壊画素周辺の出力電圧値を取り込む処理を説明するための図、図６は、図４に示すステップＳ４の損壊画素周辺の出力電圧値を取り込む処理の応用例を説明するための図、図７は、図４に示すステップＳ５の中央値算出処理を説明するための図、図８は、図４に示すステップＳ６の出力電圧値を中央値に置き換える処理を説明するための図である。
【００３０】
図４に示すフローチャートは、Ａ／Ｄコンバータ５から１フレーム（１画面）分に対応する出力電圧値が入力されるのに応じて開始となり、補間処理はステップＳ１の処理に進む。なお、このフローチャートは、Ａ／Ｄコンバータ５から１フレーム分に対応する出力電圧値が入力される度毎に繰り返し実行される。
【００３１】
ステップＳ１の処理では、ＣＰＵ６が、赤外線画像内の画素の縦方向及び横方向のアドレス値をカウントするためのプログラムカウンタｎ，ｍの値を０にリセットする。これにより、このステップＳ１の処理は完了し、補間処理はステップＳ１の処理からステップＳ２の処理に進む。
【００３２】
ステップＳ２の処理では、ＣＰＵ６が、メモリ６ａ内からアドレス値ｎ×ｍの画素に対応するＩＲイメージセンサ２の出力電圧値を取り込む。これにより、このステップＳ２の処理は完了し、補間処理はステップＳ２の処理からステップＳ３の処理に進む。
【００３３】
ステップＳ３の処理では、ＣＰＵ６が、ステップＳ２の処理により取り込まれた出力電圧値が０であるか否かを判別する。そして、判別の結果、出力電圧値が０でない場合、ＣＰＵ６は、アドレス値ｎ×ｍの画素に対応するＩＲイメージセンサ２は損壊していないと判断し、補間処理をステップＳ７の処理に進める。一方、出力電圧値が０である場合には、ＣＰＵ６は、アドレス値ｎ×ｍの画素に対応するＩＲイメージセンサ２は損壊素子であると判断し、補間処理をステップＳ４の処理に進める。
【００３４】
従って、ステップＳ３は、複数の撮像素子（ＩＲイメージセンサ２）の出力値（出力電圧値）を撮像素子毎に記憶する記憶部（メモリ６ａ）を参照して前記各出力値（出力電圧値）が所定値（例えば、出力電圧値０）である撮像素子の存在を判別する処理と、前記出力値（出力電圧値）が所定値（例えば、出力電圧値０）である撮像素子を損壊素子であると判断する処理とを実行する。
【００３５】
ステップＳ４では、損壊素子を囲んで隣接する複数の撮像素子の出力値を読み出す処理を実行する。すなわち、ＣＰＵ６が、図５に示すように、アドレス値ｎ×ｍの画素Ｐを中心とした矩形領域Ｒを設定し、この矩形領域Ｒ内に含まれる全ての画素（画素Ｐを囲む周辺画素）についてのＩＲイメージセンサ２の出力電圧値を取り込む。図５では、周辺画素として合計８個取り出している。
【００３６】
なお、アドレス値ｎ×ｍの画素が、赤外線画像の端部に位置する場合には、ＣＰＵ６は、図６（ａ），（ｂ）に示すように、アドレス値ｎ×ｍの画素Ｐに隣接する画素についてのＩＲイメージセンサ２の出力電圧値を取り込む。
【００３７】
これらにより、このステップＳ４の処理は完了し、補間処理はステップＳ４の処理からステップＳ５の処理に進む。
【００３８】
ステップＳ５では、損壊素子に隣接する撮像素子の出力値を取り込みに基づき複数の出力値の中から中央値を算出する処理、すなわち、損壊素子を囲んで隣接する複数の撮像素子の出力値を読み出し損壊素子の出力値及び隣接する撮像素子の出力値を昇順に配列した場合の中央に位置する値を中央値とする。
【００３９】
具体的には、ＣＰＵ６が、ステップＳ３の処理により取り込まれた出力電圧値及び損壊素子の出力電圧値を各出力値として昇順に配列し、配列された出力電圧の中で中央に位置する出力電圧値を中央値Ｍとして算出する。
【００４０】
例えば、ステップＳ３の処理により取り込まれた出力電圧値及び損壊素子の出力電圧値が図７に示すように配列される。この配列は、ステップＳ４で取り込まれた合計８個の周辺画素の出力電圧値及び損壊素子の出力電圧値を加えた９個を出力電圧値の小さいものから大きなものへ順に行っている。ＣＰＵ６は、５番目の出力電圧値「２」を中央値Ｍとして算出する。これにより、このステップＳ５の処理は完了し、補間処理はステップＳ５の処理からステップＳ６の処理に進む。
【００４１】
ステップＳ６は、記憶部（メモリ６ａ）に記憶されている損壊素子の出力値を算出された中央値Ｍに置き換える処理を行う。すなわち、ＣＰＵ６が、図８に示すように、メモリ６ａに記憶されているアドレス値ｎ×ｍの画素に対応するＩＲイメージセンサ２の出力電圧値をステップＳ５の処理により抽出された中央値Ｍに置き換える。
【００４２】
この処理によれば、損壊しているＩＲイメージセンサ２の出力電圧は「０」ではなくなるので、図３に示すような画素落ちは無くなり、図２に示すような明瞭な画像を表示することができる。
【００４３】
出力電圧値を周辺画素の平均値に置き換えた場合、ノイズ等の影響によって周辺画素の出力電圧に大きな値が含まれている際、出力電圧値も大きな値に引きずられた値に置き換えられてしまうが、前記中央値の処理によれば、出力電圧値が大きな値に引きずられて置き換えられることはない。これにより、このステップＳ６の処理は完了し、補間処理はステップＳ６の処理からステップＳ７の処理に進む。
【００４４】
ステップＳ７の処理では、ＣＰＵ６が、プログラムカウンタｎの値が縦方向の画素数Ｎ（この場合は３２画素）であるか否かを判別する。そして、判別の結果、プログラムカウンタｎの値が縦方向の画素数Ｎでない場合、ＣＰＵ５は、横方向のアドレス値がｍである全ての画素に対する処理が完了していないと判断し、ステップＳ８の処理としてプログラムカウンタｎの値を１増数した後、補間処理をステップＳ２の処理に戻す。
【００４５】
一方、プログラムカウンタの値が縦方向の画素数である場合には、ＣＰＵ６は、横方向のアドレス値がｍである全ての画素に対する処理が完了したと判断し、補間処理をステップＳ９の処理に進める。
【００４６】
ステップＳ９の処理では、ＣＰＵ６が、プログラムカウンタｍの値が横方向の画素数（この場合は４８画素）であるか否かを判別する。そして、判別の結果、プログラムカウンタｍの値が横方向の画素数Ｍである場合、ＣＰＵ６は、全ての画素に対する処理が完了したと判断し、一連の補間処理を終了する。
【００４７】
一方、プログラムカウンタｍの値が横方向の画素数である場合には、ＣＰＵ６は、横方向のアドレス値がｍ＋１の画素に対する処理が完了していないと判断し、ステップＳ１０の処理として、プログラムカウンタｎの値を０にリセット、且つ、プログラムカウンタｍの値を１増数した後、補間処理をステップＳ２の処理に戻す。
【００４８】
以上の説明から明らかなように、本発明の実施例１となる画像表示装置によれば、ＣＰＵ６が、記憶部６ａを参照して、出力電圧値が０のＩＲイメージセンサ２が存在するか否かを判別し、出力電圧値が０のＩＲイメージセンサ２が存在する場合、そのＩＲイメージセンサ２は損壊素子であると判断し、損壊素子を囲んで隣接するＩＲイメージセンサ２の出力電圧値を取り込む。
【００４９】
そして、ＣＰＵ６は、損壊素子及び損壊素子に隣接するＩＲイメージセンサ２の出力電圧値を昇順に配列し、配列された出力電圧値の中央値Ｍを算出し、記憶部６ａに記憶されている損壊素子の出力電圧値を算出された中央値Ｍに書き換えた後、記憶部６ａに記憶されている出力電圧値に従って画像を表示制御する。
【００５０】
すなわち、本発明の実施例１となる画像表示装置によれば、ＣＰＵ６が、損壊しているＩＲイメージセンサ２の出力電圧値を隣接するＩＲイメージセンサ２の出力電圧値に従って補間するので、損壊素子に伴う画素落ちを補間して、明瞭な画像を表示することができる。
【００５１】
なお、この実施例１は、本発明を複数のＩＲイメージセンサを有する画像表示装置に適用したものであるが、上述の説明から明らかなように、本発明はソフトウェア処理により画素落ちを補間するものであるので、ハードウェア構成には依存せず、ＣＣＤ等のその他の撮像素子を有する画像表示装置にも適用することができる。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施形態となる画像表示装置の構成を示すブロック図である（実施例１）。
【図２】画像表示装置により表示される画像の一例を示す図である（実施例１）。
【図３】損壊画素が存在する場合に画像表示装置によりそのまま表示される画像の一例を示す図である（実施例１）。
【図４】本発明の一実施形態となる補間処理の流れを示すフローチャート図である（実施例１）。
【図５】図４に示す損壊画素周辺の出力電圧値を取り込む処理を説明するための図である（実施例１）。
【図６】図４に示す損壊画素周辺の出力電圧値を取り込む処理の応用例を説明するための図である（実施例１）。
【図７】図４に示す中央値算出処理を説明するための図である（実施例１）。
【図８】図４に示す出力電圧値を中央値に置き換える処理を説明するための図である（実施例１）。
【符号の説明】
【００５３】
１：画像表示装置
２：赤外線（ＩＲ）イメージセンサ
３：第１増幅回路
４：第２増幅回路
５：Ａ／Ｄコンバーター
６：ＣＰＵ（制御部、判断部、置換部）
６ａ：メモリ部（記憶部）
７：Ｄ／Ａコンバーター
８：ビデオ出力インタフェイス部
９：ＲＳ２３２Ｃインタフェイス部
【図１】
2006094427.tif 000003
【図２】
2006094427.tif 000004
【図３】
2006094427.tif 000005
【図４】
2006094427.tif 000006
【図５】
2006094427.tif 000007
【図６】
2006094427.tif 000008
【図７】
2006094427.tif 000009
【図８】
2006094427.tif 000010