(57)【要約】【課題】画像に影響を与える照明器具を使用せず、自然の光のもとで撮像した画像のノイズを低減する。【解決手段】  撮像部２において可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとを撮像する。これらの画像を撮像するとき、特別な照明器具は使用せず、自然の光のもとで撮像する。ローパスフィルタ３３は可視光画像Ｖｉｓｉｂｌｅのノイズを除去し、ハイパスフィルタ３４は赤外光画像Ｉｎｆｒのエッジを抽出する。ローパスフィルタ３３からの出力画像Ｂａｓｅは、画像の色味が正しいという長所とエッジや詳細部分がはっきりしないという短所がある。ハイパスフィルタ３４からの出力画像Ｅｄｇｅは、赤外光画像Ｉｎｆｒのエッジや詳細部分が保存されている。画像合成部３５で画像Ｂａｓｅと画像Ｅｄｇｅを合成することによりこれらの画像の長所を合わせた出力画像ＯＵＴが得られる。【選択図】図２
2010187394.tif 000002
【特許請求の範囲】
【請求項１】
可視光画像と、上記可視光画像に対応する不可視光画像とを取得する画像取得手段と、
上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減手段と
を備える画像処理装置。
【請求項２】
上記ノイズ低減手段は、
上記可視光画像にローパスフィルタをかける第1のフィルタリング手段と、
上記不可視光画像のハイパスフィルタをかける第２のフィルタリング手段と、
上記ローパスフィルタ及び上記ハイパスフィルタの出力を合成する合成手段と
を有する請求項１記載の画像処理装置。
【請求項３】
上記不可視光画像とは、赤外光画像である請求項１記載の画像処理装置。
【請求項４】
上記不可視光画像とは、紫外光画像である請求項１記載の画像処理装置。
【請求項５】
上記ローパスフィルタは、エッジ保存ローパスフィルタである請求項１記載の画像処理装置。
【請求項６】
上記エッジ保存ローパスフィルタは、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去する請求項５記載の画像処理装置。
【請求項７】
上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われる請求項６記載の画像処理装置。
【請求項８】
上記可視光画像のノイズ除去は、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定する請求項７記載の画像処理装置。
【請求項９】
上記ローパスフィルタのレベルは、画像のＸ方向およびＹ方向に対して独立に決定する請求項８記載の画像処理装置。
【請求項１０】
上記可視光画像を色画像と輝度画像に変換するとともに、変換された上記色画像と輝度画像の各々にフィルタをかける請求項２記載の画像処理装置。
【請求項１１】
上記フィルタとして、上記色画像にはバイラテラルフィルタを、上記輝度画像にはクロスパイラテラルフィルタを用いる請求項１０記載の画像処理装置。
【請求項１２】
上記可視光画像と上記不可視光画像の収差を補正する収差補正手段を備える請求項１記載の画像処理装置。
【請求項１３】
上記収差補正手段は、上記可視光画像を変換した輝度画像と上記不可視光画像との誤差を用いて、収差補正を行う請求項１２記載の画像処理装置。
【請求項１４】
主に可視光に対して感度のある第１の分光特性に基づいて可視光画像を撮像する可視光画像撮像手段と、
主に不可視光に対して感度のある第２の分光特性に基づいて不可視光画像を撮像する不可視光画像撮像手段と、
上記可視光画像と不可視光画像との収差を補正する収差補正手段と、
上記不可視光画像を用いて可視光画像のノイズを低減するノイズ低減手段と
を備えた撮像装置。
【請求項１５】
可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で撮像した不可視光画像とを取得する画像取得工程と、
上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程と
を有する画像処理方法。
【請求項１６】
所定の処理をコンピュータに実行させるプログラムにおいて、
可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で撮像した不可視光画像とを取得する画像取得工程と、
上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程と
を有するプログラム。
【請求項１７】
所定の処理をコンピュータに実行させるプログラムが記録された記録媒体において、
可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で撮像した不可視光画像とを取得する画像取得工程と、
上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程と
を有するプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のエッジを保存しつつノイズを除去する画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
カメラで画像を撮像する際、画像の色味はライティングに大きく依存する。例えば、蝋燭の光に照らされた被写体を撮像すると、オレンジがかった色味の画像になり、月の光に照らされた被写体を撮像すると、青みがかった色味の画像になる。同じ場所であっても撮像時のライティングによって全く異なる画像が撮像される。
【０００３】
画像を撮像する際には、フラッシュなどの特別な照明器具を使わず、自然の光（以下、自然光と記す）を利用する方が正確な色味を再現することができるが、屋内や夜間に撮像すると露光が少なく画像にノイズが含まれるという問題が生じる。一方、フラッシュを使用すると露光量が増加しエッジや詳細部分が鮮明に撮像されるが、色味が正確でなくなったり、実際には存在しない影やハイライトが発生したりしてしまうという問題が発生する。
【０００４】
従来、このような問題を解決するために、図１２に示すような画像処理装置１１が提案されている。画像処理装置１１は、２つのローパスフィルタ１２，１３と、１つのハイパスフィルタ１４と、２つの画像合成部１５，１７と、１つの陰影抽出部１６とを備える。
【０００５】
ローパスフィルタ１３は、クロスバイラテラルフィルタであり、フラッシュを使用した画像（以下、フラッシュ画像と記す）からエッジを検出してフラッシュを使用しない画像（以下、自然光画像と記す）のノイズを除去する。ハイパスフィルタ１４は、フラッシュ画像のエッジを抽出する。エッジの抽出には、自然光画像の各画素値をフラッシュ画像で除算するという処理を行う。
【０００６】
画像合成部１５は、ローパスフィルタ１３でノイズを除去した自然光画像とハイパスフィルタ１４でエッジを抽出したフラッシュ画像とを合成して合成画像Ｃｏｍｐを生成する。画像の合成には、ローパスフィルタ１３の画素値にハイパスフィルタ１４の出力画像の画素値を乗じるという処理を行う。合成画像Ｃｏｍｐは、フラッシュ画像と自然光画像の長所を備えており色味が正確でノイズが少なくなっている。
【０００７】
ローパスフィルタ１２は、自然光画像のノイズを除去する。ローパスフィルタ１２としては、バイラテラルフィルタを用いる。バイラテラルフィルタは、１枚の画像を用いてこの画像のエッジ検出とノイズ除去とを行うフィルタである。
【０００８】
陰影抽出部１６は、フラッシュ画像と自然光画像との２枚の画像の違いを抽出し、ハイライトや影によって画像が変化した確率を評価する。画像合成部１７は、陰影抽出部１６の評価結果に基づいてローパスフィルタ１２からの出力画像と画像合成部１５の出力画像Ｃｏｍｐの重み付け加算を行う。画像合成部１７は、フラッシュの有無により影やハイライトが生じている可能性が高い部分では画像の重みを高くし、可能性が低い部分では画像の重みを高くする。画像合成部１７は、合成画像Ｃｏｍｐから不要な影やハイライトを除去して出力画像Ｏｕｔを生成する。
【０００９】
このように、従来の画像処理装置１１では、フラッシュ画像のエッジを合成した画像と、フラッシュ画像のエッジを参照せずにノイズを除去した画像との２枚の画像を生成し、フラッシュにより影やハイライトが発生した可能性の高い画素ではハイパスフィルタ１２の出力画像の係数を高くし、フラッシュにより影やハイライトが発生した可能性の低い画素では画像合成部１７の出力画像Ｃｏｍｐの係数を高くすることにより、フラッシュ画像のエッジと自然光画像の色味とを最適にブレンドした画像を得ることができる（例えば、非特許文献１）。
【００１０】
また、従来技術として、特許文献１、２が知られている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００４−３１８４２５号公報
【特許文献２】特開２００４−２８９８２９号公報
【非特許文献】
【００１２】
【非特許文献１】Ｇｅｏｒｇ  Ｐｅｔｓｃｈｎｉｇｇ  Ｅｔ  ａｌ，Ｄｉｇｉｔａｌ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  Ｆｌａｓｈ  ａｎｄ  Ｎｏ−Ｆｌａｓｈ  Ｉｍａｇｅ  ｐａｉｒｓ，ａｃｍ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｇｒａｐｈｉｃｓ，Ｖｏｌ．２３，Ｎｕｍｂｅｒ  ３，ｐｐ．６６４−６７２，Ａｕｇｕｓｔ  ２００４
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述したように、フラッシュを使用すると画像のエッジや詳細部分が鮮明になるものの、自然光では存在しない影やハイライトが発生することがある。画像処理装置１１では、影やハイライトは除去しつつ、エッジや詳細部分のみを残したいが、これらを区別することは容易ではなく多大な演算コストを要する。
【００１４】
また、画像処理装置１１では、フラッシュ画像と自然光画像の２枚の画像が必要である。フラッシュ画像と自然光画像とを同時に撮像することはできないため、動画や動く被写体に適用することができないという問題がある。また、フラッシュの使用が禁止した場所ではフラッシュ画像が取得できないという問題もある。
【００１５】
本発明は、上述した課題に鑑みてなされたものであって、画像に影響を与える照明器具を使用せず、自然の光のもとで撮像した画像のノイズを低減する画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上述した目的を達成するために、本発明を適用した画像処理装置は、可視光画像と、可視光画像と同一の被写体を撮像した不可視光画像とを取得する画像取得手段と、不可視光画像を用いて可視光画像のノイズを低減するノイズ低減手段とを備える。
【００１７】
本発明を適用した撮像装置は、主に可視光画像に対して感度のある第１の分光特性に基づいて可視光画像を撮像する可視光画像撮像手段と、主に不可視光画像に対して感度のある第２の分光特性に基づいて不可視光画像を撮像する不可視光画像撮像手段と、可視光画像と不可視光画像との収差を補正する収差補正手段と、不可視光画像を用いて可視光画像のノイズを低減するノイズ低減手段とを備える。
【００１８】
本発明を適用した画像処理方法は、可視光画像と、可視光画像と同一の被写体を撮像した不可視光画像とを取得する画像取得工程と、不可視光画像を用いて可視光画像のノイズを低減するノイズ低減工程とを有する。
【００１９】
本発明を適用したプログラムは、所定の処理をコンピュータに実行させるプログラムにおいて、可視光画像と、可視光画像に対応しかつ可視光画像と同一の画素数で撮像した不可視光画像とを取得する画像取得工程と、不可視光画像を用いて可視光画像のノイズを低減するノイズ低減工程とを有する。
【００２０】
本発明を適用した記録媒体は、所定の処理をコンピュータに実行させるプログラムが記録された記録媒体において、可視光画像と、可視光画像に対応しかつ可視光画像と同一の画素数で撮像した不可視光画像とを取得する画像取得工程と、不可視光画像を用いて可視光画像のノイズを低減するノイズ低減工程とを有するプログラムが記録されている。
【発明の効果】
【００２１】
本発明によれば、可視光画像を用いて不可視光画像のノイズを低減させるため、画像に影響を与える照明器具を使用せず、自然の光のもとで撮像した画像のノイズを低減させることができる。
【図面の簡単な説明】
【００２２】
【図１】撮像素子の構成を示すブロック図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】ローパスフィルタの構成を示すブロック図である。
【図４】ローパスフィルタの動作を示すフローチャートである。
【図５】Ｘ方向のレベル１フィルタの動作を示すフローチャートである。
【図６】ハイパスフィルタの構成を示すブロック図である。
【図７】画像処理部の第１の変形例を示すブロック図である。
【図８】画像処理部の第２の変形例を示すブロック図である。
【図９】収差補正部の構成を示すブロック図である。
【図１０】収差補正部の動作を示すフローチャートである。
【図１１】収差補正部におけるスケール値の算出処理を示すフローチャートである。
【図１２】従来の画像処理装置の構成を示すブロック図である。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明を適用した撮像装置について説明する。図１に撮像装置１の構成を示す。撮像装置１は、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの両方を撮像する撮像部２と、可視光画像Ｖｉｓｉｂｌｅのノイズを除去する画像処理部３と、画像やデータの記憶領域であるメモリ４と、ＬＣＤ（Liquid Crystal Display）５への画像出力、シリアルインターフェース６やＵＳＢ（Universal Serial Bus）７などのインターフェースを介して外部記録装置１０とのデータ送受信を行うシステムコントロール部８と、撮像素子２１から入力した画像にＡＧＣ（Automatic Gain Control）及びＣＤＳ（Correlated Double Sampling）を施して画像処理部３に出力する信号処理部９とを備える。
【００２４】
撮像部２は、可視光画像Ｖｉｓｉｂｌｅと赤外光画像ＩｎｆｒのＲＧＢ画像を出力する。撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）を構成する撮像素子２１と、レンズ２２の焦点合わせやシャッタの切り替えを行うモータ２３と、モータ２３を制御するドライバ２４とを備える。
【００２５】
撮像素子２１には、赤外線画像Ｉｎｆｒを撮像するための撮像素子２１と、可視光画像Ｖｉｓｉｂｌｅを撮像するための撮像素子２１とがある。赤外光画像Ｉｎｆｒを撮像する撮像素子２１と可視光画像Ｖｉｓｉｂｌｅを撮像する撮像素子２１とは、同画素数、同画角であり、同じ時刻に同じ時間だけ露光される。なお、撮像素子２１は、可視光用と赤外光用と別々でもよいし、１つの撮像素子２１の出力を分光するようにしてもよい。
【００２６】
画像処理部３は、可視光画像Ｖｉｓｉｂｌｅのエッジを保存しつつノイズを除去した出力画像Ｏｕｔを生成する。図２に画像処理部３の構成を示す。画像処理部３は、可視光画像Ｖｉｓｉｂｌｅのゲインを調整するゲイン調整部３１と、可視光画像Ｖｉｓｉｂｌｅのノイズを除去するローパスフィルタ３３と、赤外光画像Ｉｎｆｒのエッジ及び詳細部分を抽出するハイパスフィルタ３４と、ローパスフィルタ３３の出力画像である基礎画像Ｂａｓｅとハイパスフィルタ３４の出力画像である詳細画像Ｅｄｇｅとを合成する画像合成部３５とから構成される。
【００２７】
ゲイン調整部３１は、ゲインを調整することにより、露出不足で暗く撮像された可視光画像Ｖｉｓｉｂｌｅの画素値を増大し適正露出で撮像した画像に近い画素値とする。ゲインの調整方法としては、可視光画像の画素値を定数倍する方法や指数関数に基づくガンマ補正、多項式関数等に基づく任意のゲイン調整方法などがある。調整後の画素値の最大値は制限されている。
【００２８】
図３にローパスフィルタ３３の構成を示す。ローパスフィルタ３３は、赤外光画像ＩｎｆｒのＸ方向（幅方向）のエッジを検出するＸエッジ検出部４１と、赤外光画像ＩｎｆｒのＹ方向（高さ方向）のエッジを検出するＹエッジ検出部４２と、Ｘ方向のエッジ評価値を格納するＸ評価値格納部４３と、Ｙ方向のエッジ評価値を格納するＹ評価値格納部４４と、Ｘ方向のエッジを除去する３つのＸローパスフィルタ４５ａ、４５ｂ、４５ｃと、Ｙ方向のエッジを除去する３つのＹローパスフィルタ４６ａ、４６ｂ、４６ｃと、Ｘエッジ評価値と閾値とを比較する３つのＸ比較部４７ａ、４７ｂ、４７ｃと、Ｙエッジ評価値と閾値とを比較する３つのＹ比較部４８ａ、４８ｂ、４８ｃとを備える。
【００２９】
Ｘローパスフィルタは、Ｘ方向の５×１タップのＦＩＲローパスフィルタである。Ｘローパスフィルタによって可視光画像のＸ方向のノイズが除去される。Ｙローパスフィルタは、Ｙ方向の１×５タップのＦＩＲローパスフィルタである。Ｙローパスフィルタによって可視光画像のＹ方向のノイズが除去される。
【００３０】
Ｘエッジ検出部４１はＸ方向のエッジを検出する４×４のＦＩＲフィルタであり、Ｙエッジ検出部４２はＹ方向のエッジを検出する４×４のＦＩＲフィルタである。Ｘ評価値格納部４３は、Ｘエッジ検出部４２のフィルタ結果に対して絶対値演算を適用してエッジ評価値を算出し、この値をＸエッジ画像として格納する。Ｙ評価値格納部４４は、Ｙエッジ検出部４２のフィルタ結果に対して絶対値演算を適用してエッジ評価値を算出し、この値をＹエッジ画像として格納する。
【００３１】
Ｘ比較部４７及びＹ比較部４８は、エッジ評価値と所定の閾値との比較を行う。閾値ｎは、エッジ評価値の最大値の１／２である。Ｘ比較部４７ａはＸ方向のエッジ評価値と閾値ｎとを比較し、Ｘ比較部４７ｂはＸ方向のエッジ評価値と閾値ｎ／２とを比較し、Ｘ比較部４７ｃはＸ方向のエッジ評価値と閾値ｎ／４とを比較する。Ｙ比較部４８ａはＹ方向のエッジ評価値と閾値ｎとを比較し、Ｙ比較部４８ｂはＹ方向のエッジ評価値と閾値ｎ／２とを比較する比較部、Ｙ比較部４８ｃはＹ方向のエッジ評価値と閾値ｎ／４とを比較する。
【００３２】
ローパスフィルタ３３は、レベル１フィルタ４９ａ、レベル２フィルタ４９ｂ、レベル３フィルタ４９ｃの３段階で構成される。ローパスフィルタ３３のレベルは、Ｘ比較部４７及びＹ比較部４８における閾値の大小による。閾値ｎのローパスフィルタをレベル１フィルタ４９ａ、閾値ｎ／２のローパスフィルタをレベル２フィルタ４９ｂ、閾値ｎ／４のローパスフィルタ４９ｃをレベル３フィルタと呼ぶ。
【００３３】
可視光画像Ｖｉｓｉｂｌｅは、まず、Ｘ比較部４７ａに出力される。Ｘ比較部４７ａは、Ｘ評価値格納部４３に格納されたＸ方向のエッジ評価値と閾値ｎとを比較する。Ｘ比較部４７ａは、エッジ評価値が閾値ｎよりも小さい場合には可視光画像ＶｉｓｉｂｌｅをＸローパスフィルタ４５ａに出力し、エッジ評価値が閾値ｎ以上である場合には可視光画像ＶｉｓｉｂｌｅをＹ比較部４８ａに出力する。比較部４８ｂはＹ評価値格納部４４に格納されたＹ方向のエッジ評価値と閾値ｎを比較する。比較部４８ｂは、エッジ評価値が閾値ｎよりも小さい場合には可視光画像ＶｉｓｉｂｌｅをＹローパスフィルタ４６ａに出力し、エッジ評価値が閾値ｎ以上である場合には可視光画像Ｖｉｓｉｂｌｅを次のＸ比較部４７ｂに出力する。
【００３４】
同様に、Ｘ比較部４７ｂ、Ｙ比較部４６ｂ、Ｘ比較部４７ｃ、Ｙ比較部４８ｃにおいてエッジ評価値と閾値とを比較し、閾値よりも小さい場合には後段のローパスフィルタに可視光画像Ｖｉｓｉｂｌｅを出力し、閾値以上の場合には可視光画像Ｖｉｓｉｂｌｅを次の比較部に出力する。
【００３５】
図４にローパスフィルタ３３の動作を示す。ローパスフィルタ３３は、まず、赤外光画像Ｉｎｆｒを入力する（ステップＳ１）。Ｘエッジ検出部４１は、赤外光画像Ｉｎｆｒに存在するＸ方向のエッジを検出する。Ｘ評価値格納部４３は、Ｘ方向のエッジに所定の絶対値演算を適用してＸ方向のエッジ評価値を算出し、算出したエッジ評価値をＸエッジ画像として格納する（ステップＳ２）。Ｙエッジ検出部４２は、赤外光画像Ｉｎｆｒに存在するＹ方向のエッジを検出する。Ｙ評価格納部４４は、Ｙ方向のエッジに所定の絶対値演算を適用したＹ方向のエッジ評価値を算出し、算出したエッジ評価値をＹエッジ画像として格納する（ステップＳ３）。
【００３６】
ローパスフィルタ３３は、ゲイン調整部３１から可視光画像Ｖｉｓｉｂｌｅを入力すると（ステップＳ４）、入力した可視光画像Ｖｉｓｉｂｌｅをレベル１フィルタ４９ａに適用し、Ｘ方向の処理を行う（ステップＳ５）。
【００３７】
図５にレベル１フィルタ４９ａのＸ方向の処理を示す。レベル１フィルタ４９ａのＸ方向の処理では、まず、Ｙ方向の座標Ｙを０に初期化し（ステップＳ１１）、Ｘ方向の座標Ｘを０に初期化する（ステップＳ１２）。Ｘ比較部４７ａは、Ｘ評価値格納部４３からＸ評価値画像を入力する。Ｘ比較部４７ａは、Ｘ評価値画像の座標（Ｘ、Ｙ）におけるＸ方向のエッジ評価値と閾値ｎとを比較する。座標（Ｘ、Ｙ）のエッジ評価値が閾値ｎより小さい場合（ステップＳ１３；ＹＥＳ）、座標（Ｘ、Ｙ）の可視光画像にＸローパスフィルタ４５ａを適用する（ステップＳ１４）。一方、座標（Ｘ、Ｙ）のエッジ評価値が閾値ｎより小さい場合（ステップＳ１３；ＮＯ）、ステップＳ１５に処理を移行する。ステップＳ１５では、Ｘ座標を１インクリメントする（ステップＳ１５）。Ｘ座標の値と可視光画像Ｖｉｓｉｂｌｅの幅とを比較し、座標Ｘが可視光画像Ｖｉｓｉｂｌｅの幅よりも小さければ（ステップＳ１６；ＹＥＳ）、ステップＳ１３に処理を移行する。一方、座標Ｘが可視光画像Ｖｉｓｉｂｌｅの幅よりも大きければ（ステップＳ１６；ＮＯ）、座標Ｙを１インクリメントする（ステップＳ１７）。ステップＳ１８ではＹ座標との値と可視光画像Ｖｉｓｉｂｌｅの高さとを比較する。Ｙ座標が可視光画像Ｖｉｓｉｂｌｅの高さよりも小さければ（ステップＳ１８；ＹＥＳ）、ステップＳ１２に処理を移行する。一方、Ｙ座標が可視光画像Ｖｉｓｉｂｌｅの高さよりも大きければ（ステップＳ１８；ＮＯ）、レベル１フィルタのＸ方向の処理を終了する。レベル１フィルタは、可視光画像を構成する各画素のエッジ評価値と閾値ｎを比較し、エッジ評価値が閾値ｎより小さければ、Ｘローパスフィルタ４５ａを適用してＸ方向のノイズを除去する。
【００３８】
レベル１フィルタでは、Ｘ方向のレベル１フィルタ４９ａによる処理が完了すると、Ｙ方向のレベル１フィルタ４９ａによる処理を行う。ここでは、図５に示すＸ方向のレベル１フィルタ４９ａと略同じ処理を行う。Ｙ方向のレベル１フィルタ４９ａでは、エッジ評価画像としてＸエッジ画像の代わりにＹエッジ画像を使用し、ローパスフィルタとしてＸローパスフィルタ４５ａの代わりにＹローパスフィルタ４６ａを使用する（ステップＳ６）。
【００３９】
レベル１フィルタ４９ａは、自身の処理が完了すると可視光画像Ｖｉｓｉｂｌｅをレベル２フィルタ４９ｂに出力する。レベル２フィルタ４９ｂは、まずＸ方向の処理を行う（ステップＳ７）。Ｘ方向の処理が完了するとＹ方向の処理を行う（ステップＳ８）。レベル３フィルタ４９ｃは、レベル２フィルタ４９ｂの出力画像を入力すると、Ｘ方向の処理を行い（ステップＳ９）、Ｘ方向の処理を完了するとＹ方向の処理を行う（ステップＳ１０）。レベル２フィルタとレベル３フィルタとは、閾値が異なることを除いて同一の処理を行う。
【００４０】
ローパスフィルタ３３では、エッジ評価値の低い画素ほどフィルタリングされる回数が多くなり、エッジ評価値の高い画素ほどフィルタリングされる回数が少なくなる。すなわち、エッジ評価値の高い画素はフィルタリング回数が少ないためエッジが保存され、エッジ評価値の低い画素はフィルタリング回数が多いためノイズが除去される。このような機能を有するフィルタをエッジ保存フィルタと呼ぶ。エッジ保存フィルタの種類は、図３に示したものの他にバイラテラルフィルタやクロスバイラテラルフィルタなどがある。ローパスフィルタ３３としてこれらのフィルタを使用してもよい。
【００４１】
ローパスフィルタ３３は、可視光画像Ｖｉｓｉｂｌｅのノイズを除去した画像を出力する。この画像を基礎画像Ｂａｓｅと呼ぶ。基礎画像Ｂａｓｅは、画像の色味は正しいという長所と、エッジや詳細部分がはっきりせずぼやけた印象を与えるという短所がある。
【００４２】
ハイパスフィルタ３４は、赤外光画像Ｉｎｆｒのエッジ部分を抽出する。図６にハイパスフィルタ３４の一例を示す。図６のハイパスフィルタ３４は、２次元のＦＩＲフィルタである。ハイパスフィルタ３４は、ローパスフィルタ７１と除算部７２によって構成される。ローパスフィルタ７１は、例えば、エッジ保存型ローパスフィルタである。ローパスフィルタ７１は、可視光画像Ｖｉｓｉｂｌｅのノイズを除去し、この画像を除算部７２に出力する。除算部７２は、赤外光画像Ｉｎｆｒからローパスフィルタ７１の出力を除算して、赤外光画像Ｉｎｆｒのハイパス成分を抽出する。ハイパスフィルタ３４から出力された画像には、赤外光画像Ｉｎｆｒのエッジや詳細部分が保存されている。この画像を詳細画像Ｅｄｇｅと呼ぶ。
【００４３】
画像合成部３５は、基礎画像Ｂａｓｅと詳細画像Ｅｄｇｅと乗算した合成画像を生成する。この画像が画像処理部３の出力画像ＯＵＴである。出力画像ＯＵＴは、基礎画像Ｂａｓｅと詳細画像Ｅｄｇｅとの２つの画像の長所を合わせた画像であり、色味が正しく詳細部分がはっきりしているという特徴がある。
【００４４】
以上説明したように、本発明を適用した撮像装置１では、可視光画像Ｖｉｓｉｂｌｅのノイズを除去した基礎画像Ｂａｓｅと、赤外光画像Ｉｎｆｒのエッジや詳細部分を抽出した詳細画像Ｅｄｇｅとを合成することにより、可視光画像Ｖｉｓｉｂｌｅのノイズを除去しつつノイズ除去によって減衰したエッジ部分や詳細部分を含む出力画像ＯＵＴを得ることができる。
【００４５】
また、赤外光画像Ｉｎｆｒは、可視光画像Ｖｉｓｉｂｌｅと同時に撮像することができるため、撮像時刻のずれが発生せず、動画や動く被写体の処理も可能である。
【００４６】
従来の画像処理装置では、フラッシュ画像でエッジを抽出していたため、照明条件の違いによって発生する影やハイライトを除去するための演算コストが増大していたが、赤外光画像Ｉｎｆｒは可視光画像Ｖｉｓｉｂｌｅと同じ照明条件で撮像することができるので、照明条件の違いを補正しなくてもよい。
【００４７】
さらに、従来の画像処理装置では、詳細部分やエッジを影やハイライトと誤判別した場合には、詳細部分の画素が破棄されてしまうという課題があった。赤外光画像Ｉｎｆｒは可視光画像Ｖｉｓｉｂｌｅと同じ照明条件で撮像することができるので、照明条件の違いによる影やハイライトが発生することはなく、必要な画素が破棄されてしまうおそれもない。
【００４８】
次いで、図７を参照して画像処理部３の第1の変形例について説明する。この画像処理部５０は、可視光画像Ｖｉｓｉｂｌｅの輝度を用いてエッジ検出を行う。輝度は、変数が１つであるためＲＧＢの３つ変数からエッジ検出を行うよりも演算コストが少なくなる。人間は、一般に輝度に対して感度が高く、色成分に対しては感度が高くないため、輝度からのエッジ検出でも十分効果がある。
【００４９】
図７に画像処理部５０の構成を示す。画像処理部５０は、ゲイン調整部５２と、マトリクス部５３と、色用ローパスフィルタ５４と、輝度用ローパスフィルタ５５と、ハイパスフィルタ５６と、画像合成部５７と、逆マトリクス部５８とを備える。
【００５０】
ゲイン調整部５２は、ゲインを調整することにより、露出不足で暗く撮像された可視光画像の画素値を増大し適正露出で撮像した画像に近い画素値とする。ゲインの調整方法としては、可視光画像の画素値を定数倍する方法や指数関数に基づくガンマ補正、多項式関数等に基づく任意のゲイン調整方法などがある。調整後の画素値の最大値は制限されている。
【００５１】
マトリクス部５３は、ＲＧＢ画像にマトリクス変換をかけて、色画像Ｃｂ，Ｃｒと、輝度画像Ｙｄに変換する。色用ローパスフィルタ５４は、色画像Ｃｂ、Ｃｒのノイズを除去する。色用ローパスフィルタ５４としては、例えばバイラテラルフィルタを使用する。バイラテラルフィルタは、１枚の画像からエッジ検出とノイズ除去とを行うフィルタである。
【００５２】
輝度用ローパスフィルタ５５は、輝度画像Ｙｄのノイズを除去する。輝度用ローパスフィルタ５５としては、例えばクロスバイラテラルフィルタを使用する。クロスバイラテラルフィルタとは、エッジ検出用の画像から検出したエッジを保存しつつフィルタ対象画像のノイズを除去するフィルタである。ここでは、赤外光画像Ｉｎｆｒからエッジを検出して、輝度画像Ｙｄのノイズを除去する。輝度用ローパスフィルタ５５から出力される画像を基礎画像Ｂａｓｅと呼ぶ。基礎画像Ｂａｓｅは、画像の輝度が正しいという長所と、エッジや詳細部分がはっきりせずぼやけた印象を与えるという短所がある。
【００５３】
ハイパスフィルタ５６は、赤外光画像Ｉｎｆｒのエッジ部分を抽出する。ハイパスフィルタ５６から出力された画像には、赤外光画像Ｉｎｆｒのエッジや詳細部分が保存されている。この画像を詳細画像Ｅｄｇｅと呼ぶ。
【００５４】
画像合成部５７は、基礎画像Ｂａｓｅと詳細画像Ｅｄｇｅとを乗算した合成画像を生成する。この合成画像は、基礎画像Ｂａｓｅと詳細画像Ｅｄｇｅの長所を合わせた画像であり、輝度が正しく詳細部分やエッジがはっきりしている。逆マトリクス部５８は、合成画像に逆マトリクス変換をかけて輝度画像をＲＧＢ画像に変換する。この画像が画像処理部の出力画像ＯＵＴである。
【００５５】
画像処理部５０は、ＲＧＢ画像を色画像Ｃｂ，Ｃｒと輝度画像Ｙｄに分離し、輝度画像Ｙｄに対してのみエッジ検出を行う。人間は、一般的に輝度に対して感度が高く、色成分に対して感度が高くない。ＲＧＢの３つの変数ではなく、輝度にのみフィルタをかけることで演算コストを減少させることができる。
【００５６】
次いで、画像処理部３の第２の変形例について説明する。この画像処理部３０は、図８に示すように、赤外光画像の収差を補正する収差補正部３２を備える。収差補正部３２以外の構成は画像処理部３と同じである。画像処理部３と同じ構成要素には同一符号を付してある。これらの構成要素の説明は省略する。
【００５７】
収差補正部３２は、赤外光と可視光の波長の差によって生じる収差を補正する。図９に収差補正部３２の構成を示す。収差補正部３２は、マトリクス部６１と、誤差算出用バイリニアスケーラ６２と、収差補正用バイリニアスケーラ６３と、パラメータ算出部６４と、誤差計算部６５とを備える。
【００５８】
マトリクス部６１は、入力した可視光画像Ｖｉｓｉｂｌｅの輝度画像Ｙｄを生成する。誤差算出用バイリニアスケーラ６２は、パラメータ算出部６４から出力されたスケール値及びディストーション値に基づいて５通りのスケール変換画像及びディストーション変換画像を生成する。
【００５９】
誤差算出部６５は、スケール変換画像と赤外光画像及びディストーション変換画像と赤外光画像とを比較してこれらの画像の誤差値を算出する。この誤差値は、ＰＳＮＲ値（ノイズ混入量；Peak Signal To Noise Ratio）である。パラメータ算出部６４は、誤差算出部６５で算出されたＰＳＮＲ値を参照してスケール値とディストーション値を最適化する。収差補正用バイリニアスケーラ６３は、パラメータ算出部６４が最適化したスケール値とディストーション値を用いて可視光画像Ｖｉｓｉｂｌｅの収差を補正する。
【００６０】
図１０に収差補正部３２の動作を示す。収差補正部３２可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとを入力する。この可視光画像Ｖｉｓｉｂｌｅは、ＲＧＢ画像である（ステップＳ２１）。マトリクス部６１は、可視光画像Ｖｉｓｉｂｌｅにマトリクスを乗じて輝度画像Ｙｄを生成する（ステップＳ２２）。パラメータ算出部６４は、スケール値の最大値、現在値、最小値、及びディストーション値の最大値、現在値、最小値を初期化する（ステップＳ２３）。
【００６１】
パラメータ算出部６４は、誤差算出部６５からＰＳＮＲ値を入力し、ＰＳＮＲ値を最大にするスケール値を求める（ステップＳ２４）。
【００６２】
図１１にスケール値の算出手順を示す。パラメータ算出部６４は、スケール値の最大値Ｓ１、最大値と現在値の中間値Ｓ２、現在値Ｓ３、最大値と現在値の中間値Ｓ４、最小値Ｓ５の５つのパラメータを用意する。誤差検出用バイリニアスケーラ６２は、これらの５通りのスケール値それぞれを用いて輝度画像Ｙｄのスケール変換を行う。これにより、５つのパラメータに対応する５枚の輝度画像Ｙｄ１〜Ｙｄ５が生成される（ステップＳ３１）。
【００６３】
誤差算出部６５は、輝度画像Ｙｄ１〜Ｙｄ５と赤外光画像Ｉｎｆｒとを比較してＰＳＮＲ値を求める。各輝度画像と赤外光画像Ｙｄ１〜Ｙｄ５とを比較すると５通りのＰＳＮＲ値が算出される（ステップＳ３２）。最大値Ｓ１でスケール変換した輝度画像Ｙｄ１と赤外光画像ＩｎｆｒとのＰＳＮＲ値が最大である場合（ステップＳ３３；ＹＥＳ）、パラメータ算出部６４は、現在値Ｓ３を最大値Ｓ１で差し替え、最大値Ｓ１を最大値Ｓ１の２倍の値から最小値Ｓ５を引いた値で差し替える（ステップＳ３４）。
【００６４】
最大値Ｓ１と現在値Ｓ３の中間値でＰＳＮＲ値が最大である場合（ステップＳ３５；ＹＥＳ）、パラメータ算出部６４は、最小値Ｓ５を現在値Ｓ３と差し替え、現在値Ｓ３として最大値Ｓ１と現在値Ｓ３の中間値で差し替える（ステップＳ３６）。
【００６５】
現在値Ｓ３でＰＳＮＲ値が最大である場合（ステップＳ３７；ＹＥＳ）、パラメータ算出部６４は、最大値Ｓ１を現在値Ｓ３で差し替え、現在値Ｓ３を現在値Ｓ３と最小値Ｓ５の中間値で差し替える（ステップＳ３８）。
【００６６】
最小値Ｓ５と現在値Ｓ３の中間でＰＳＮＲ値が最大である場合（ステップＳ３９；ＹＥＳ）、パラメータ算出部６４は、現在値Ｓ３を最小値Ｓ５で差し替え、最小値Ｓ５を最小値Ｓ５の２倍から最大値Ｓ１を引いた値で差し替える（ステップＳ４０）。
【００６７】
最小値Ｓ５でＰＳＮＲ値が最大である場合（ステップＳ３３、ステップＳ３５、ステップＳ３７、ステップＳ３９；ＮＯ）、パラメータ算出部６４は、現在値Ｓ３を最小値Ｓ５で差し替え、最小値Ｓ５を最小値Ｓ５の２倍から最大値Ｓ５で差し替える（ステップＳ４１）。このようにスケール値を最適化が完了する。
【００６８】
次いで、パラメータ算出部６４はディストーション値の最適化を行う。ディストーション値の最適化は、スケール値の最適化処理と同じ処理である。ディストーション値の最適化では、パラメータがスケール値からディストーション値に変化する（ステップＳ２５）。スケール値とディストーション値の最適化が完了すると、パラメータ算出部６４は、ＰＳＮＲ値の改善量を所定の閾値と比較する。ＰＳＮＲ値の改善量が所定の閾値よりも低い場合には（ステップＳ２６；ＮＯ）、ステップＳ２５に処理を移行して再度スケール値及びディストーション値の最適化を行う。
【００６９】
一方、ＰＳＮＲ値の改善量が所定の閾値よりも高い場合には（ステップＳ２６；ＹＥＳ）、パラメータ算出部６４は、現在のスケール値とディストーション値を収差補正用バイリニアスケーラ６３に出力する。収差補正用バイリニアスケーラ６３は、現在のスケール値とディストーション値を用いて可視光画像Ｖｉｓｉｂｌｅの収差補正を行い（ステップＳ２７）、補正した画像をハイパスフィルタ５６に出力する（ステップＳ２８）。
【００７０】
収差補正部３２を設けたことにより、可視光と赤外光の波長の差によって生じる収差の差異を補正することができる。これにより、可視光画像Ｖｉｓｉｂｌｅに撮像された像と赤外光画像Ｉｎｆｒに撮像された像とが一致する。
【００７１】
一般的に、赤外光の屈折率が高くやや拡大される。可視光画像Ｖｉｓｉｂｌｅを補正すると、大きな画像が得られるがひずみも大きくなる。画像の大きさとひずみの大きさはトレードオフの関係にあるので、どちらを優先させるかによって補正する画像は異なる。
【００７２】
画像処理部３におけるフィルタリング処理及び収差補正処理は、制御プログラムに基づいて実行してもよい。このような制御プログラムは、撮像装置１のファームウェアに記録されている。なお、制御プログラムは、外部記録装置９が読み取り可能な形式で記録された記録媒体を介して取得してもよい。制御プログラムを記録する記録媒体としては、磁気読取方式の記録媒体（例えば、磁気テープ、フレキシブルディスク、磁気カード）、光学読取方式の記録媒体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ）、半導体メモリ（メモリカード、ＩＣカード）等が考えられる。また、制御プログラムは、いわゆるインターネット等を介して取得してもよい。
【符号の説明】
【００７３】
１  撮像装置、２  撮像部、２１  撮像素子、２２  レンズ、２３  モータ、２４  ドライバ、３  画像処理部、３２  収差補正部、３１  ゲイン調整部、３３  ローパスフィルタ、３４  ハイパスフィルタ、３５  画像合成部
【図１】
2010187394.tif 000003
【図２】
2010187394.tif 000004
【図３】
2010187394.tif 000005
【図４】
2010187394.tif 000006
【図５】
2010187394.tif 000007
【図６】
2010187394.tif 000008
【図７】
2010187394.tif 000009
【図８】
2010187394.tif 000010
【図９】
2010187394.tif 000011
【図１０】
2010187394.tif 000012
【図１１】
2010187394.tif 000013
【図１２】
2010187394.tif 000014
【手続補正書】
【提出日】平成22年4月26日(2010.4.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
上述した目的を達成するために、本発明を適用した画像処理装置は、可視光画像と、上記可視光画像と同一の被写体を撮像した不可視光画像とを同時に取得する画像取得手段と、上記可視光画像のノイズを低減するノイズ低減手段とを備え、上記ノイズ低減手段は、上記可視光画像のノイズを除去するローパスフィルタと、上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタと、上記ローパスフィルタ及び上記ハイパスフィルタの出力を合成する合成手段とを有し、上記ローパスフィルタは、エッジ保存ローパスフィルタであり、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明を適用した撮像装置は、主に可視光に対して感度のある第１の分光特性に基づいて可視光画像を撮像する可視光画像撮像手段と、主に不可視光に対して感度のある第２の分光特性に基づいて不可視光画像を上記可視光画像と同時に撮像する不可視光画像撮像手段と、上記可視光画像と不可視光画像との収差を補正する収差補正手段と、上記不可視光画像を用いて可視光画像のノイズを低減するノイズ低減手段と備え、上記ノイズ低減手段は、上記可視光画像のノイズを除去するローパスフィルタと、上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタと、上記ローパスフィルタ及び上記ハイパスフィルタの出力を合成する合成手段とを有し、上記ローパスフィルタは、エッジ保存ローパスフィルタであり、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明を適用した画像処理方法は、可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で同時に撮像した不可視光画像とを取得する画像取得工程と、上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程とを有し、上記ノイズ低減工程では、上記可視光画像のノイズを除去するローパスフィルタ処理と、上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタ処理と、上記ローパスフィルタ処理及び上記ハイパスフィルタ処理の出力を合成する合成工程とを有し、上記ローパスフィルタ処理では、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明を適用したプログラムは、所定の処理をコンピュータに実行させるプログラムにおいて、可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で同時に撮像した不可視光画像とを取得する画像取得工程と、上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程とを有し、上記ノイズ低減工程では、上記可視光画像のノイズを除去するローパスフィルタ処理と、上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタ処理と、上記ローパスフィルタ処理及び上記ハイパスフィルタ処理の出力を合成する合成工程とを有し、上記ローパスフィルタ処理では、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明を適用した記録媒体は、所定の処理をコンピュータに実行させるプログラムが記録された記録媒体において、可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で同時に撮像した不可視光画像とを取得する画像取得工程と、上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程とを有し、上記ノイズ低減工程では、上記可視光画像のノイズを除去するローパスフィルタ処理と、上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタ処理と、上記ローパスフィルタ処理及び上記ハイパスフィルタ処理の出力を合成する合成工程とを有し、上記ローパスフィルタ処理では、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定するプログラムが記録されている。
【手続補正６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
可視光画像と、上記可視光画像に対応する不可視光画像とを同時に取得する画像取得手段と、
上記可視光画像のノイズを低減するノイズ低減手段とを備え、
上記ノイズ低減手段は、
上記可視光画像のノイズを除去するローパスフィルタと、
上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタと、
上記ローパスフィルタ及び上記ハイパスフィルタの出力を合成する合成手段とを有し、
上記ローパスフィルタは、エッジ保存ローパスフィルタであり、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定する
画像処理装置。
【請求項２】
上記不可視光画像とは、赤外光画像である請求項１記載の画像処理装置。
【請求項３】
上記不可視光画像とは、紫外光画像である請求項１又は２記載の画像処理装置。
【請求項４】
上記ローパスフィルタのレベルは、画像のＸ方向およびＹ方向に対して独立に決定する請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
上記可視光画像を色画像と輝度画像に変換するとともに、変換された上記色画像にはバイラテラルフィルタを、上記輝度画像にはクロスバイラテラルフィルタをかける請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
上記可視光画像と上記不可視光画像の収差を補正する収差補正手段を備え、
上記収差補正手段は、上記可視光画像を変換した輝度画像と上記不可視光画像との誤差を用いて、収差補正を行う請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
主に可視光に対して感度のある第１の分光特性に基づいて可視光画像を撮像する可視光画像撮像手段と、
主に不可視光に対して感度のある第２の分光特性に基づいて不可視光画像を上記可視光画像と同時に撮像する不可視光画像撮像手段と、
上記可視光画像と不可視光画像との収差を補正する収差補正手段と、
上記不可視光画像を用いて可視光画像のノイズを低減するノイズ低減手段と備え、
上記ノイズ低減手段は、
上記可視光画像のノイズを除去するローパスフィルタと、
上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタと、
上記ローパスフィルタ及び上記ハイパスフィルタの出力を合成する合成手段とを有し、
上記ローパスフィルタは、エッジ保存ローパスフィルタであり、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定する
撮像装置。
【請求項８】
可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で同時に撮像した不可視光画像とを取得する画像取得工程と、
上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程とを有し、
上記ノイズ低減工程では、
上記可視光画像のノイズを除去するローパスフィルタ処理と、
上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタ処理と、
上記ローパスフィルタ処理及び上記ハイパスフィルタ処理の出力を合成する合成工程とを有し、
上記ローパスフィルタ処理では、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定する
画像処理方法。
【請求項９】
所定の処理をコンピュータに実行させるプログラムにおいて、
可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で同時に撮像した不可視光画像とを取得する画像取得工程と、
上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程とを有し、
上記ノイズ低減工程では、
上記可視光画像のノイズを除去するローパスフィルタ処理と、
上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタ処理と、
上記ローパスフィルタ処理及び上記ハイパスフィルタ処理の出力を合成する合成工程とを有し、
上記ローパスフィルタ処理では、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定する
プログラム。
【請求項１０】
所定の処理をコンピュータに実行させるプログラムが記録された記録媒体において、
可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で同時に撮像した不可視光画像とを取得する画像取得工程と、
上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程とを有し、
上記ノイズ低減工程では、
上記可視光画像のノイズを除去するローパスフィルタ処理と、
上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタ処理と、
上記ローパスフィルタ処理及び上記ハイパスフィルタ処理の出力を合成する合成工程とを有し、
上記ローパスフィルタ処理では、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定する
プログラムが記録された記録媒体。