(57)【特許請求の範囲】
【請求項１】
画像信号処理装置であり、
可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理部と、
前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理部と、
を有することを特徴とする画像信号処理装置。
【請求項２】
前記可視光取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
前記不可視光取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、
前記デモザイク処理部は、
ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成する構成であり、
前記ノイズ低減処理部は、
前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行する構成を有することを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記ノイズ低減処理部は、
Ａ信号のデモザイク画像から検出したエッジ情報に基づいて、ＲＧＢデモザイク画像を構成する画素の画素値を、画素近傍のエッジ分布に応じて周囲画素の画素値に基づいて補正する処理を実行する構成であることを特徴とする請求項２に記載の画像信号処理装置。
【請求項４】
前記画像信号処理装置は、
前記Ａ信号に基づくデモザイク画像としてのエッジ評価画像を生成するデモザイク処理部と、
前記ＲＧＢ信号各々のモザイク画像のデモザイク処理を、前記Ａ信号のデモザイク画像としてのエッジ評価画像に基づいてエッジ位置を考慮したデモザイク処理を実行してノイズ低減およびデモザイク処理を併せて実行するデモザイク兼用ノイズ低減処理部と、
を有する構成であることを特徴とする請求項２に記載の画像信号処理装置。
【請求項５】
前記デモザイク兼用ノイズ低減処理部は、
前記ＲＧＢ信号各々のモザイク画像のデモザイク処理に際して、補正対象画素と参照画素の距離に依存する距離依存重み［Ｗｓ］と、前記Ａ信号のデモザイク画像としてのエッジ評価画像に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して、ＲＧＢデモザイク画像における各画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を、周囲画素の画素値に基づいて算出する処理を実行する構成を有することを特徴とする請求項４に記載の画像信号処理装置。
【請求項６】
前記画像信号処理装置は、さらに、
前記Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、前記Ａ信号に対応するノイズ低減Ａデモザイク画像を生成するＡノイズ低減処理部と、
前記ノイズ低減処理部において生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とを入力し、入力したＲＧＢＡ４つのデモザイク画像の対応画素の画素値をマトリックス演算により変換して、ＲＧＢ信号から赤外光成分を除去したＲＧＢ画像を生成するマトリックス演算実行部と、
を有することを特徴とする請求項２に記載の画像信号処理装置。
【請求項７】
前記マトリックス演算実行部は、
前記ノイズ低減処理部において生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とに基づいて、赤外光成分からなる予測赤外画像を生成して出力する構成であることを特徴とする請求項６に記載の画像信号処理装置。
【請求項８】
撮像装置であり、
ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ撮像素子と、
前記単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成するデモザイク処理部と、
前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行するノイズ低減処理部と、
を有することを特徴とする撮像装置。
【請求項９】
前記撮像素子は、
Ａ信号を取得するＡ素子が市松状に配置されている構成であることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
画像信号処理方法であり、
可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理ステップと、
前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理ステップと、
を有することを特徴とする画像信号処理方法。
【請求項１１】
前記可視光取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
前記不可視光取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、
前記デモザイク処理ステップは、
ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成するステップであり、
前記ノイズ低減処理ステップは、
前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行するステップであることを特徴とする請求項１０に記載の画像信号処理方法。
【請求項１２】
前記ノイズ低減処理ステップは、
Ａ信号のデモザイク画像から検出したエッジ情報に基づいて、ＲＧＢデモザイク画像を構成する画素の画素値を、画素近傍のエッジ分布に応じて周囲画素の画素値に基づいて補正する処理を実行するステップであることを特徴とする請求項１１に記載の画像信号処理方法。
【請求項１３】
前記画像信号処理方法は、
前記Ａ信号に基づくデモザイク画像としてのエッジ評価画像を生成するデモザイク処理ステップと、
前記ＲＧＢ信号各々のモザイク画像のデモザイク処理を、前記Ａ信号のデモザイク画像としてのエッジ評価画像に基づいてエッジ位置を考慮したデモザイク処理を実行してノイズ低減およびデモザイク処理を併せて実行するデモザイク兼ノイズ低減処理ステップと、
を有することを特徴とする請求項１１に記載の画像信号処理方法。
【請求項１４】
前記デモザイク兼ノイズ低減処理ステップは、
前記ＲＧＢ信号各々のモザイク画像のデモザイク処理に際して、補正対象画素と参照画素の距離に依存する距離依存重み［Ｗｓ］と、前記Ａ信号のデモザイク画像としてのエッジ評価画像に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して、ＲＧＢデモザイク画像における各画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を、周囲画素の画素値に基づいて算出する処理を実行するステップであることを特徴とする請求項１１に記載の画像信号処理方法。
【請求項１５】
前記画像信号処理方法は、さらに、
前記Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、前記Ａ信号に対応するノイズ低減Ａデモザイク画像を生成するＡノイズ低減処理ステップと、
前記ノイズ低減処理ステップにおいて生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とを入力し、入力したＲＧＢＡ４つのデモザイク画像の対応画素の画素値をマトリックス演算により変換して、ＲＧＢ信号から赤外光成分を除去したＲＧＢ画像を生成するマトリックス演算実行ステップと、
を有することを特徴とする請求項１１に記載の画像信号処理方法。
【請求項１６】
前記マトリックス演算実行ステップは、
前記ノイズ低減処理ステップにおいて生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とに基づいて、赤外光成分からなる予測赤外画像を生成して出力するステップであることを特徴とする請求項１５に記載の画像信号処理方法。
【請求項１７】
画像処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理ステップと、
前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムに関する。特に、単板カラー方式の固体撮像素子による撮像データの信号処理を行なう画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図１に示すように、４画素の組によって赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現するベイヤー配列などが使用される。単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しかもたないため、周囲の画素の色情報を用いて補間処理を行うことによって、各画素において必要な色成分を復元するデモザイク処理が行われる。
【０００３】
単板カラー方式の固体撮像素子を具備する撮像装置の構成を図２に示す。単板カラー方式の固体撮像素子１３は、光学レンズ１１を通して入射される光のうち、カラーフィルタ１２を透過する光を受光する。固体撮像素子１３で光電変換されて電気信号として出力される画像信号は、図示しないＡ／Ｄ変換器によりデジタル信号に変換された後、カメラ信号処理部１４において、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などが施されて、画像圧縮部１５に送られる。画像圧縮部１５は、画像信号のデータ量を削減し、所定の記録用画像フォーマットに変換して出力する。記録部１６は、変換された画像データを記録媒体に記録する。ここで、必ずしも画像圧縮処理が施されなくても良いが、近年では撮像素子の画素数が増加し、かつ装置自体の小型化が要求されているために画像圧縮が行われるのが通常である。
【０００４】
図３を参照して、単板カラー方式の固体撮像素子により取得された画像のデモザイク処理について説明する。単板カラー方式の固体撮像素子は、原色系のベイヤー配列（図１参照）などの色配列を持つカラーフィルタを介した撮像を行なう構成であり、各画素に対して特定の波長の信号、すなわち特定波長の色成分データだけを取得するようになっている。ベイヤー配列の単板カラー方式の固体撮像素子を用いた場合、固体撮像素子の出力画像２０は、各画素にＲ，Ｇ，Ｂいずれかの情報のみを持つ色モザイク画像となる。
【０００５】
デモザイク処理部２１は、画素ごとに色補間処理を行うことにより各色成分データ、すなわち、Ｒ，Ｇ，Ｂの全ての情報を復元する処理を実行する。      
【０００６】
まずデモザイク処理部２１の実行するＧ信号の復元について説明する。ベイヤー配列では、Ｇ信号は市松状に取得されている。固体撮像素子の出力画像２０においてＧ信号が存在しない画素（Ｇ１１を例にとる）では、周囲にあるＧ信号に基づく補間処理によって、Ｇ信号が生成される。具体的には、以下の式によってＧ信号（Ｇ１１）が復元される。
Ｇ１１＝（１／４）（Ｇ０１＋Ｇ２１＋Ｇ１０＋Ｇ１２）
【０００７】
次にＲ信号、およびＢ信号の復元について説明する。ベイヤー配列では、Ｒ，Ｂともに、１画素ラインおきにデータが存在する。例えば、図３に示す固体撮像素子の出力画像２０の最上段の画素ラインには、Ｒ信号は存在するがＢ信号は存在しない。また、２番目の画素ラインには、Ｂ信号は存在するがＲ信号は存在しない。
【０００８】
それぞれデータＲまたはＢが存在する画素ラインにおいては１画素おきにデータが取得されている。固体撮像素子の出力画像２０においてＲ信号（Ｂ信号）が存在しない画素で、同ラインにＲ信号（Ｂ信号）が存在する場合（Ｒ０１，Ｂ１２を例にとる）、その画素ライン上のＲ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ０１＝（１／２）（Ｒ００＋Ｒ０２）
Ｂ１２＝（１／２）（Ｂ１１＋Ｂ１３）
【０００９】
同様にして、同カラムにＲ信号（Ｂ信号）が存在する場合（Ｒ１０，Ｂ２１を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ１０＝（１／２）（Ｒ００＋Ｒ２０）
Ｂ２１＝（１／２）（Ｂ１１＋Ｂ３１）
【００１０】
さらに、同ラインにも同カラムにもＲ信号（Ｂ信号）が存在しない場合（Ｒ１１，Ｂ２２を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ１１＝（１／４）（Ｒ００＋Ｒ０２＋Ｒ２０＋Ｒ２２）
Ｂ２２＝（１／４）（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）
【００１１】
デモザイク処理部２１は、上述のような色補間処理を行い、全画素に対するＲ信号２２ｒ、Ｇ信号２２ｇ、Ｂ信号２２ｂを出力する。なお、補間処理は一例であり、他の色信号との相関を利用したような色補間処理を行っても良い。
【００１２】
単板カラー方式の固体撮像素子を具備する撮像装置において、ノイズを低減し、画像品質を向上させるための画像処理手法が様々提案されている。例えば、非特許文献１には、複数の異なる分光特性の画像を逐次撮影し、これらの複数の異なる分光特性画像を利用して、ノイズを低減した画像を得る手法を示している。すなわち、この手法は、
（ａ）目的に近い分光特性で撮影したノイズが多い画像、
（ｂ）不可視光を含んだり色味が異なったりする目的に近くない分光特性で撮影したノイズの少ない画像、
これらの２つの画像を逐次撮影し、これらの複数の異なる分光特性画像を利用して、色味が正しくてノイズの少ない画像を得ようとするものである。
【００１３】
この従来技術に示されたアルゴリズムを用いて、単板カラー方式の固体撮像素子を用いたノイズ低減処理構成について、図４を参照して説明する。撮像素子３０は、先に図１を参照して説明した一般的なＲＧＢ配列のベイヤー配列の撮像素子である。
【００１４】
この撮像素子３０を使用し、光源を変えて、複数の画像Ａ，Ｂを撮影する。すなわち、
（画像Ａ）目的に近い分光特性で撮影したノイズが多い画像、
（画像Ｂ）不可視光を含んだり色味が異なったりする目的に近くない分光特性で撮影したノイズの少ない画像、
これらの画像である。
この撮影処理により、２枚のモザイク画像Ａ，Ｂを得る。
モザイク画像Ａは暗いがノイズが多く色味が正確な画像であり、
モザイク画像Ｂは、明るくてノイズが少なく、色味が不正確な画像である。
これらに対し、ホワイトバランス処理部３１ａ，ｂにおいて、分光ごとに画素値を補正するホワイトバランスを適用し、それぞれに対して、デモザイク処理部３２ａ，ｂにおいて、図３を参照して説明したデモザイク処理を実行して、２枚の画像、高ノイズ画像Ａと低ノイズ画像Ｂを得る。
【００１５】
さらに、２枚の画像、高ノイズ画像Ａと低ノイズ画像Ｂは、ノイズ低減処理部３３に入力され、これらの２枚の画像に基づくノイズ低減処理が実行されて、出力ＲＧＢ画像を得る。
【００１６】
ノイズ低減処理部３３の構成および処理について、図５を参照して説明する。ノイズ低減処理部３３は、高ノイズ画像Ａと低ノイズ画像Ｂの２枚の画像を用い、これらの画像の合成によって高ノイズ画像Ａと同等の色味で、ノイズを低減した画像、出力ＲＧＢ画像を作成する。
【００１７】
ＲＧＢローパスフィルタ４２は、エッジ保存フィルタの一種であるクロスバイラテラルフィルタであり、入力画像としての低ノイズ画像ＢのＲ，Ｇ，Ｂそれぞれの成分から検出したエッジに基づきノイズの多い入力画像である高ノイズ画像Ａに含まれるエッジを保存したままノイズを低減する。
【００１８】
ＲＧＢローパスフィルタ４１は、特にエッジ保存性能を備えない、一般的なＦＩＲローパスフィルタをＲＧＢ各チャネルに適用する。ＲＧＢハイパスフィルタ４５は、ノイズの少ない入力画像である低ノイズ画像ＢのＲ，Ｇ，Ｂの各画素値についてそれぞれ高周波成分を取得する。高周波成分の取得は、入力画像にバイラテラルフィルタを適用した結果の画素値をフィルタ適用前の画像の画素値で除算することによって行う。
【００１９】
ブレンド実行部４４は、予め設定されたブレンド関数を適用して、ＲＧＢローパスフィルタ４２の出力画像の画素値に、ＲＧＢハイパスフィルタ４５の出力画像の画素値を乗じた画素値を持つ画像データを生成して出力する。
【００２０】
スペキュラ検出部４３は、高ノイズ画像Ａと低ノイズ画像Ｂの各画素について、ハイライトや影などの２枚の画像の照明変更による違いを抽出し、照明変更による画素値差の発生可能性の高さを評価する。ブレンド実行部４６は、スペキュラ検出部４３の評価結果に基づいて、ＲＧＢローパスフィルタ４１の出力とブレンド実行部４４の出力の重み付け加算を行い、出力ＲＧＢ画像を生成する。
【００２１】
ブレンド実行部４６は、スペキュラ検出部４３において、照明変更による影やハイライトが生じている可能性が高いと判定された画素部分は、ＲＧＢローパスフィルタ４１から出力された画素値の重みを高くして、可能性が低い場合は、照明の違いによって被写体の詳細部が現れたものとみなして、ブレンド実行部４４の出力画素値重みを高くする設定を行い、ＲＧＢローパスフィルタ４１の出力とブレンド実行部４４の出力の重み付け加算を行い、出力ＲＧＢ画像を生成する。
【００２２】
しかし、このアルゴリズムは、画像を異なる分光で複数枚撮影することを前提に実現されており、同じ瞬間に画像を１回しか撮影できない、一般的なデジタルカメラやムービーカメラに適用することができないという問題点を有する。
【非特許文献１】Ｇｅｏｒｇ  Ｐｅｔｓｃｈｎｉｇｇ  Ｅｔ  ａｌ，  Ｄｉｇｉｔａｌ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  Ｆｌａｓｈ  ａｎｄ  Ｎｏ−Ｆｌａｓｈ  Ｉｍａｇｅ  ｐａｉｒｓ，  ａｃｍ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｇｒａｐｈｉｃｓ，  Ｖｏｌ．  ２３，  Ｎｕｍｂｅｒ  ３，  ｐｐ．  ６６４−６７２，  Ａｕｇｕｓｔ  ２００４
【発明の開示】
【発明が解決しようとする課題】
【００２３】
本発明は、単板カラー方式の固体撮像素子を具備する撮像装置において、ノイズを低減し、画像品質を向上させるための画像処理手法を提案するものであり、上述した複数毎の画像を入力する必要を排除し、一枚の撮影画像に基づいてノイズを低減し、画像品質を向上させた出力画像を得ることを可能とする画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００２４】
さらに、本発明は、単板カラー方式の固体撮像素子の一部に、不可視光に分光がある設定とした撮像素子（イメージャ）を用いることで、１回の撮影画像のみに基づくノイズ低減処理を実現可能とし、一般的なディジタルスチルカメラやビデオカメラなどにおいても適用可能な画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
本発明の第１の側面は、
画像信号処理装置であり、
可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理部と、
前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理部と、
を有することを特徴とする画像信号処理装置にある。
【００２６】
さらに、本発明の画像信号処理装置の一実施態様において、前記可視光取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記不可視光取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、前記デモザイク処理部は、ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成する構成であり、前記ノイズ低減処理部は、前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行する構成を有することを特徴とする。
【００２７】
さらに、本発明の画像信号処理装置の一実施態様において、前記ノイズ低減処理部は、Ａ信号のデモザイク画像から検出したエッジ情報に基づいて、ＲＧＢデモザイク画像を構成する画素の画素値を、画素近傍のエッジ分布に応じて周囲画素の画素値に基づいて補正する処理を実行する構成であることを特徴とする。
【００２８】
さらに、本発明の画像信号処理装置の一実施態様において、前記画像信号処理装置は、前記Ａ信号に基づくデモザイク画像としてのエッジ評価画像を生成するデモザイク処理部と、前記ＲＧＢ信号各々のモザイク画像のデモザイク処理を、前記Ａ信号のデモザイク画像としてのエッジ評価画像に基づいてエッジ位置を考慮したデモザイク処理を実行してノイズ低減およびデモザイク処理を併せて実行するデモザイク兼用ノイズ低減処理部と、を有する構成であることを特徴とする。
【００２９】
さらに、本発明の画像信号処理装置の一実施態様において、前記デモザイク兼用ノイズ低減処理部は、前記ＲＧＢ信号各々のモザイク画像のデモザイク処理に際して、補正対象画素と参照画素の距離に依存する距離依存重み［Ｗｓ］と、前記Ａ信号のデモザイク画像としてのエッジ評価画像に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して、ＲＧＢデモザイク画像における各画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を、周囲画素の画素値に基づいて算出する処理を実行する構成を有することを特徴とする。
【００３０】
さらに、本発明の画像信号処理装置の一実施態様において、前記画像信号処理装置は、さらに、前記Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、前記Ａ信号に対応するノイズ低減Ａデモザイク画像を生成するＡノイズ低減処理部と、前記ノイズ低減処理部において生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とを入力し、入力したＲＧＢＡ４つのデモザイク画像の対応画素の画素値をマトリックス演算により変換して、ＲＧＢ信号から赤外光成分を除去したＲＧＢ画像を生成するマトリックス演算実行部とを有することを特徴とする。
【００３１】
さらに、本発明の画像信号処理装置の一実施態様において、前記マトリックス演算実行部は、前記ノイズ低減処理部において生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とに基づいて、赤外光成分からなる予測赤外画像を生成して出力する構成であることを特徴とする。
【００３２】
さらに、本発明の第２の側面は、
撮像装置であり、
ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ撮像素子と、
前記単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成するデモザイク処理部と、
前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行するノイズ低減処理部と、
を有することを特徴とする撮像装置にある。
【００３３】
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、Ａ信号を取得するＡ素子が市松状に配置されている構成であることを特徴とする。
【００３４】
さらに、本発明の第３の側面は、
画像信号処理方法であり、
可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理ステップと、
前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理ステップと、
を有することを特徴とする画像信号処理方法にある。
【００３５】
さらに、本発明の画像信号処理方法の一実施態様において、前記可視光取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記不可視光取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、前記デモザイク処理ステップは、ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成するステップであり、前記ノイズ低減処理ステップは、前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行するステップであることを特徴とする。
【００３６】
さらに、本発明の画像信号処理方法の一実施態様において、前記ノイズ低減処理ステップは、Ａ信号のデモザイク画像から検出したエッジ情報に基づいて、ＲＧＢデモザイク画像を構成する画素の画素値を、画素近傍のエッジ分布に応じて周囲画素の画素値に基づいて補正する処理を実行するステップであることを特徴とする。
【００３７】
さらに、本発明の画像信号処理方法の一実施態様において、前記画像信号処理方法は、前記Ａ信号に基づくデモザイク画像としてのエッジ評価画像を生成するデモザイク処理ステップと、前記ＲＧＢ信号各々のモザイク画像のデモザイク処理を、前記Ａ信号のデモザイク画像としてのエッジ評価画像に基づいてエッジ位置を考慮したデモザイク処理を実行してノイズ低減およびデモザイク処理を併せて実行するデモザイク兼ノイズ低減処理ステップとを有することを特徴とする。
【００３８】
さらに、本発明の画像信号処理方法の一実施態様において、前記デモザイク兼ノイズ低減処理ステップは、前記ＲＧＢ信号各々のモザイク画像のデモザイク処理に際して、補正対象画素と参照画素の距離に依存する距離依存重み［Ｗｓ］と、前記Ａ信号のデモザイク画像としてのエッジ評価画像に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して、ＲＧＢデモザイク画像における各画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を、周囲画素の画素値に基づいて算出する処理を実行するステップであることを特徴とする。
【００３９】
さらに、本発明の画像信号処理方法の一実施態様において、前記画像信号処理方法は、さらに、前記Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、前記Ａ信号に対応するノイズ低減Ａデモザイク画像を生成するＡノイズ低減処理ステップと、前記ノイズ低減処理ステップにおいて生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とを入力し、入力したＲＧＢＡ４つのデモザイク画像の対応画素の画素値をマトリックス演算により変換して、ＲＧＢ信号から赤外光成分を除去したＲＧＢ画像を生成するマトリックス演算実行ステップとを有することを特徴とする。
【００４０】
さらに、本発明の画像信号処理方法の一実施態様において、前記マトリックス演算実行ステップは、前記ノイズ低減処理ステップにおいて生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とに基づいて、赤外光成分からなる予測赤外画像を生成して出力するステップであることを特徴とする。
【００４１】
さらに、本発明の第４の側面は、
画像処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理ステップと、
前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００４２】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４４】
本発明の構成によれば、ＲＧＢ信号等の可視光信号を取得する可視光取得素子と、赤外光などの不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データに基づいて、取得信号各々のデモザイク画像を生成し、不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行することで、１回の撮影処理によって得られた１枚の画像に基づいてノイズを低減した高品質な画像データを取得することができる。
【発明を実施するための最良の形態】
【００４５】
以下、図面を参照しながら、本発明の画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムについて説明する。説明は、以下の順番で行なう。
１、撮像素子構成
２．画像信号処理例１
３．画像信号処理例２
４．画像信号処理例３
５．画像信号処理例４
【００４６】
［１．撮像素子構成］
まず、本発明の撮像装置において適用する撮像素子（イメージャ）の構成について説明する。本発明の撮像装置は、基本的には、先に図２を参照して説明したと同様の高を有するが、撮像装置において適用する撮像素子（イメージャ）が、図１を参照して説明したベイヤー配列とは異なる構成を持つ。本発明の撮像装置において適用する撮像素子（イメージャ）の構成について、図６を参照して説明する。先に図１を参照して、一般的な単板カラー方式の固体撮像素子について説明したが、一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図１に示すように、４画素の組によって赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現するベイヤー配列などが使用される。
【００４７】
本発明の撮像装置において適用する撮像素子は、図６に示す色配列を有する。すなわち、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これらに加え、
赤外線（ＩＲ）とＲＧＢのすべてを透過するＡ、
これら４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなり、この撮像素子によって４種類の分光から成るモザイク画像が得られる。
【００４８】
本発明の撮像装置において適用する撮像素子は、図６に示すように、ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子であり、Ａ信号の取得素子は、市松状に配置されている。本発明の撮像装置では、図６に示す撮像素子（イメージャ）を適用して撮影した１枚の画像データに基づいてノイズ低減処理や赤外光除去処理などの信号処理を実行し、高品質な画像を得る。
【００４９】
［２．画像信号処理例１］
次に、図６に示す撮像素子（イメージャ）を適用して撮影した１枚の画像データに基づくノイズ低減処理の第１の具体例について、図７以下を参照して説明する。本処理例は、例えば低照度の下で撮影された画像など、ノイズを多く含む画像についてのノイズ低減処理を図６に示す撮像素子（イメージャ）を適用して撮影した１枚の画像データに基づいて実行する処理例である。
【００５０】
図７に、本発明の実施例１に係る撮像装置の画像信号処理構成を示す。撮像素子１０１は、図６を参照して説明したＲＧＢＡ撮像素子であり、ＲＧＢＡ４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなる。
【００５１】
撮像素子１０１によって撮影される画像は、４種類の分光から成るモザイク画像となる。このモザイク画像は、図８（１）に示すようにＲＧＢＡ各チャネルからなる４種類のモザイク画像である。これらのモザイク画像は、ホワイトバランス処理部１０２に入力される。
【００５２】
ホワイトバランス処理部１０２では、４種類の異なる分光特性のモザイク画像に含まれる画素値範囲を概略同じにするためのホワイトバランス補正処理を実行する。それぞれ異なる分光特性のモザイク画像の構成画素値にホワイトバランスの調整処理によって、各モザイク画像に含まれる画素値範囲を概略同じにする補正が施され、補正済みモザイク画像を得る。
【００５３】
４つのモザイク画像の画素の配列は、図８（１）に示す通りである。なお、図６を参照して説明したように、Ｒ，Ｇ，Ｂの標記はそれぞれ赤、緑、青に主な分光があり、Ａの画素は青、緑、赤に加えて赤外光（ＩＲ）成分も含む画素である。
【００５４】
これらの４つのモザイク画像は、次にデモザイク処理部１０３においてデモザイク処理が実行され、ＲＧＢデモザイク画像１１１、およびＡデモザイク画像１１２を得る、デモザイク処理は、先に図３を参照して説明したように、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、すべての画素の画素値を設定する処理によって行なわれる。例えば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行うアルゴリズムである。
【００５５】
デモザイク処理部１０３におけるデモザイク処理によって、図８（２）に示す４つのデモザイク画像が得られる。上の３つが、ＲＧＢデモザイク画像１１１に相当する。図８（２）に示す４つのデモザイク画像中のＲＧＢはモザイク画像によって得られる画素値であり、ｒｇｂはデモザイク処理によって得られる補間画素値を示している。図８（２）の最下段が、赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルのモザイク画像から得られるＡデモザイク画像を示している。Ａはモザイク画像によって得られる画素値であり、ａはデモザイク処理によって得られる補間画素値を示している。
【００５６】
このようにして得られたＲＧＢデモザイク画像１１１と、Ａデモザイク画像１１２は、ノイズ低減処理部１０４に入力され、ノイズ低減処理が実行されて、出力ＲＧＢ画像を得る。
【００５７】
ノイズ低減処理部１０４の構成および処理について、図９を参照して説明する。ノイズ低減処理部１０４は、１つの撮影画像に基づいて生成した２つのデモザイク画像、すなわち、ＲＧＢデモザイク画像１１１と、Ａデモザイク画像１１２を入力し、これらの画像の合成によってノイズを低減した画像、出力ＲＧＢ画像を作成する。
【００５８】
図９に示すノイズ低減処理部１０４の構成は、先に図５を参照して説明したノイズ低減処理部３３と同様の構成である。先の構成例では、
（ａ）目的に近い分光特性で撮影した高ノイズ画像、
（ｂ）不可視光を含んだり色味が異なったりする目的に近くない分光特性で撮影した低ノイズ画像、
これら、異なるタイミングで撮影した２つの画像に基づいてノイズ低減処理を実行した。しかし、本例では、１回の撮影処理によって取得した画像、すなわち、
（ａ）ＲＧＢデモザイク画像１１１と、
（ｂ）Ａデモザイク画像１１２
これらの画像に基づいてノイズを低減した画像、出力ＲＧＢ画像を作成する。
【００５９】
本実施例のノイズ低減処理部１０４は、ＲＧＢデモザイク画像１１１に含まれるノイズを、低ノイズ画像としてのＡデモザイク画像１１２に基づいて効率的に低減する処理を行なう。ＲＧＢローパスフィルタ１２２は、エッジ保存フィルタの一種であるクロスバイラテラルフィルタであり、入力画像としてのＡデモザイク画像１１２のＡ成分から検出したエッジに基づきノイズの多い入力画像であるＲＧＢデモザイク画像１１１に含まれるエッジを保存したままノイズを低減する。
【００６０】
ＲＧＢローパスフィルタ１２２においては、Ａデモザイク画像１１２のＡ成分から検出したエッジ部に基づいて、ＲＧＢデモザイク画像の画素値の補正を実行する。このフィルタ処理は、具体的には、画素値を補正する補正対象画素の近傍にエッジが存在するか否かを、Ａデモザイク画像１１２のＡ成分から検出したエッジ情報に基づいて判別し、エッジ部が存在しない方向の画素の画素値の重みを高くし、エッジ部が存在する方向の画素の画素値の重みを低く設定して、補正対象画素の画素値を、周囲画素に基づいて補正する処理であり、この処理によってＲＧＢデモザイク画像のノイズ低減が図られる。
【００６１】
ＲＧＢデモザイク画像１１１は、図８（２）に示すように３つあり、これら３つのＲＧＢでモザイク画像のすべてについて、Ａデモザイク画像１１２のＡ成分から検出したエッジに基づきＲＧＢデモザイク画像１１１に含まれるエッジを保存したままノイズを低減する。
【００６２】
ＲＧＢローパスフィルタ１２１は、特にエッジ保存性能を備えない一般的なＦＩＲローパスフィルタをＲＧＢ各チャネルに適用する。Ａハイパスフィルタ１２５は、ノイズの少ない入力画像であるＡデモザイク画像１１２のＡ画素値についてそれぞれ高周波成分を取得する。高周波成分の取得は、入力画像にバイラテラルフィルタを適用した結果の画素値をフィルタ適用前の画像の画素値で除算することによって行う。
【００６３】
ブレンド実行部１２４は、予め設定されたブレンド関数を適用して、ＲＧＢローパスフィルタ１２２の出力画像の画素値に、Ａハイパスフィルタ１２５の出力画像の画素値を乗じた画素値を持つ画像データを生成して出力する。
【００６４】
スペキュラ検出部１２３は、高ノイズ画像としてのＲＧＢデモザイク画像１１１と、低ノイズ画像としてのＡデモザイク画像１１２の各画素について、ハイライトや影などの２枚の画像の差分を抽出し、ハイライトや影などの影響による画素値差の発生可能性の高さを評価する。ブレンド実行部１２６は、スペキュラ検出部１２３の評価結果に基づいて、ＲＧＢローパスフィルタ１２１の出力とブレンド実行部１２４の出力の重み付け加算を行い、出力ＲＧＢ画像を生成する。
【００６５】
ブレンド実行部１２６は、スペキュラ検出部１２３において、ハイライトや影が生じている可能性が高いと判定された画素部分は、ＲＧＢローパスフィルタ１２１から出力された画素値の重みを高くして、可能性が低い場合は、ハイライトや影によって被写体の詳細部が現れたものとみなして、ブレンド実行部１２４の出力画素値重みを高くする設定を行い、ＲＧＢローパスフィルタ１２１の出力とブレンド実行部１２４の出力の重み付け加算を行い、出力ＲＧＢ画像を生成する。
【００６６】
本処理例に従えば、１回の撮影処理によって、
（ａ）ＲＧＢデモザイク画像１１１と、
（ｂ）Ａデモザイク画像１１２
の２つの画像を取得し、これらの取得画像に基づいてノイズ低減が可能であり、例えば、同じ瞬間に画像を１回しか撮影できない一般的なデジタルカメラやムービーカメラに適用化のであり、このような一般的なカメラにおいてもノイズを低減した高品質な画像の生成、取得が可能となる。すなわち、色味が正確でノイズの多い画像の入力としてＲＧＢデモザイク画像を用い、また色味は正しくないが明るくノイズの少ない入力画像として、Ａデモザイク画像を入力して、Ａデモザイク画像から取得したエッジデータ等に基づいて、ＲＧＢデモザイク画像の調整を行うことで、色味が正確でノイズの少ないＲＧＢ出力画像を得ることができる。
【００６７】
［３．画像信号処理例２］
次に、本発明の第２の画像信号処理例について、図１０以下を参照して説明する。図１０に示す処理構成において、ＲＧＢＡの４つのモザイク画像２１１を取得するまでの処理は、先に図７を参照して説明した第１の処理例と同様である。すなわち、撮像素子２０１は、図６を参照して説明したＲＧＢＡ撮像素子であり、ＲＧＢＡ４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなる。
【００６８】
撮像素子２０１によって撮影される画像は、４種類の分光から成るモザイク画像となる。このモザイク画像は、図８（１）に示すようにＲＧＢＡ各チャネルからなる４種類のモザイク画像である。これらのモザイク画像は、ホワイトバランス処理部２０２に入力される。
【００６９】
ホワイトバランス処理部２０２では、４種類の異なる分光特性のモザイク画像に含まれる画素値範囲を概略同じにするためのホワイトバランス補正処理を実行する。それぞれ異なる分光特性のモザイク画像の構成画素値にホワイトバランスの調整処理によって、各モザイク画像に含まれる画素値範囲を概略同じにする補正が施され、補正済みモザイク画像を得る。４つのモザイク画像の画素の配列は、図８（１）に示す通りである。
【００７０】
本処理例２では、モザイク画像（ＲＧＢＡ）２１１をデモザイク＆ノイズ低減処理部２０４に入力し、デモザイク＆ノイズ低減処理部２０４において、デモザイク処理とノイズ低減処理を実行して、出力ＲＧＢ画像を取得する。
【００７１】
デモザイク＆ノイズ低減処理部２０４の構成および処理について、図１１を参照して説明する。線形デモザイクフィルタ２２５は、モザイク画像（ＲＧＢＡ）２１１中のＲＧＢおよび赤外光（ＩＲ）成分を持つモザイク画像Ａを入力して、線形補間処理によるデモザイクを行い、Ａチャネルのデモザイク画像を得る。このＡチャネルデモザイク画像を白黒のエッジ評価画像２１２とする。
【００７２】
デモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３の各々は、補正済みモザイク画像であるモザイク画像（ＲＧＢＡ）２１１中のＲＧＢ各々のモザイク画像に対して、エッジ評価画像２１２に現れるエッジと同じ場所にある元画像のエッジを保存したままノイズを低減するエッジ保存フィルタによる画像処理を施し、かつデモザイク処理を実行する。デモザイク処理は、先に図３を参照して説明したように、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、すべての画素の画素値を設定する処理によって行なわれる。例えば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行うアルゴリズムである。
【００７３】
デモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３における画素値算出処理について説明する。デモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３では、入力するモザイク画像にＲまたはＧまたはＢのモザイク画像に基づいて、ＲＧＢそれぞれのノイズ低減を施したデモザイク画像を生成する。この処理は、基本的には、先に、図８を参照して説明したモザイク画像からデモザイク画像を算出する処理である。本処理例では、この処理に際して、図１１に示すＡチャネル画像に基づくエッジ評価画像２１２を適用してノイズ低減を併せて実行する。
【００７４】
図１２を参照してデモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３における基本的処理について説明する。たとえば、画素位置（ｘ，ｙ）の画素値を算出する場合、その周囲の画素に基づいて算出する処理が実行される。ただし、この画像は、モザイク画像であり、画素値が存在する部分と存在しない部分がある。
【００７５】
周囲の画素の画素位置を（ｐｘ，ｐｙ）として、画素位置（ｘ，ｙ）の画素値は、複数の周囲画素（ｐｘ，ｐｙ）の画素値に基づいて算出される。例えば、画素位置（ｘ，ｙ）の周囲７×７画素に基づいて、画素位置（ｘ，ｙ）の画素値が決定される。この画素値決定処理に際しては、周囲の画素値に対して所定の重み付けを実行する。
【００７６】
すなわち、画素位置（ｘ，ｙ）の周囲７×７画素に所定の重み付けを行なって、その重み［Ｗ］を考慮して、周囲７×７画素の画素値に重みを乗算した結果を積算することによって画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を決定する。一般的なデモザイク処理では、周囲画素の重み［Ｗ］は、画素位置（ｘ，ｙ）に近い画素に対して大きく設定され、遠い画素については小さく設定され、いわゆる距離依存重み［Ｗｓ］が設定される。
【００７７】
本発明の本処理例では、距離依存の重み［Ｗｓ］に加え、さらに、画素位置（ｘ，ｙ）の画素値と、周囲画素位置（ｐｘ，ｐｙ）の画素値差分を考慮したエッジの強さに依存する重み、すなわちエッジ依存重み［Ｗｒ］も併せて適用する。画素値差分重み［Ｗｒ］は、図１１に示すＡチャネル画像に基づくエッジ評価画像２１２によって算出され、この処理によって、デモザイクとノイズ低減を併せて実行することができる。
【００７８】
距離依存重み［Ｗｓ］とエッジ依存重み［Ｗｒ］を考慮した重み［Ｗ］の算出と、画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］の算出処理は、以下の式に従って実行される。
【数１】
0004501855.tif 000002
【００７９】
上記式（式１）において、
ｘ、ｙは、デモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３からの出力画像のピクセル位置を示す座標（ｘ，ｙ）、
ｐｘ、ｐｙは入力画像のピクセル位置を示す座標（ｐｘ，ｐｙ）、
Ｗはフィルタの重みを表す重み係数である。
フィルタの重み［Ｗ］は、上記式（式１）に示すように、ピクセル座標に依存する距離依存重み［Ｗｓ］と画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される。
【００８０】
距離依存重み［Ｗｓ］は、上記式（式２）によって示される。
エッジ依存重み［Ｗｒ］は、上記式（式３ａ），（式３ｂ）によって示される。
σｓはＲＧＢいずれかの処理対象の入力モザイク画像に含まれる画素値の存在する画素の画素値の標準偏差、
σｒはＡモザイク画像の線形補間処理によって得られたＡチャネルデモザイク画像であるエッジ評価画像２１２の画素値の標準偏差、
Ｉｎ（ｐｘ，ｐｙ）は、画素位置（ｐｘ，ｐｙ）の画素値である。
【００８１】
距離依存重み［Ｗｓ］は、上記式（式２）によって、画素位置（ｘ，ｙ）と、周囲画素位置（ｐｘ，ｐｙ）の距離と、標準偏差σｓを適用して算出される。
【００８２】
一方、エッジ依存重み［Ｗｒ］は、上記式（式３ａ），（式３ｂ）によって、エッジ評価画像２１２における画素位置（ｘ，ｙ）の画素値Ｅｄｇｅ（ｘ，ｙ）と、周囲画素位置（ｐｘ，ｐｙ）の画素値Ｅｄｇｅ（ｐｘ，ｐｙ）と、標準偏差σｒを適用して算出される。なお、処理対象画像はＲＧＢモザイク画像であるので、画素値の存在する周囲画素［Ｉｎ（ｐｘ，ｐｙ）ｅｘｉｓｔｓ］と、画素値の存在しない周囲画素［Ｉｎ（ｐｘ，ｐｙ）ｄｏｅｓｎ'ｔ  ｅｘｉｓｔｓ］が存在する。
【００８３】
画素値の存在する周囲画素位置（ｐｘ，ｐｙ）についてのエッジ依存重み［Ｗｒ］は、上記式（式３ａ）によって算出し、画素値の存在しない周囲画素位置（ｐｘ，ｐｙ）についてのエッジ依存重み［Ｗｒ］は、上記式（式３ｂ）によって算出、Ｅｄｇｅ（ｐｘ、ｐｙ）の値のいかんにかかわらず、Ｗｒを０とする。
【００８４】
エッジの強さに依存するエッジ依存重み［Ｗｒ］は、エッジ評価画像２１２の画素値を適用して算出する重みであり、画素位置（ｘ，ｙ）の画素値Ｅｄｇｅ（ｘ，ｙ）と、周囲画素位置（ｐｘ，ｐｙ）の画素値Ｅｄｇｅ（ｐｘ，ｐｙ）との差が小さい場合は、エッジ依存重み［Ｗｒ］は大きく設定され、差が大きいと、エッジ依存重み［Ｗｒ］は小さく設定される。このように、差分の大きい画素の重みを小さく設定することで、ノイズの発生を抑える効果がある。
【００８５】
上記式（式２），（式３ａ），（式３ｂ）に基づいて、画素位置（ｘ，ｙ）の周囲画素位置（ｐｘ，ｐｙ）の各々についての距離依存重み［Ｗｓ］とエッジ依存重み［Ｗｒ］が算出され、これらを適用して、総合的な重みＷが、上記式（式１）によって算出される。なお、フィルタリング処理において利用する周囲画素としては、先に図１２を参照して説明したように、例えば７×７の周囲画素が適用される。
【００８６】
周囲画素の重み［Ｗ＝Ｗｓ・Ｗｒ］を決定した後、画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］の算出が、上述の式（式４）に従って実行される。画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］は、重み［Ｗ］と入力画像の周囲画素の画素値［ｉｎ（ｐｘ，ｐｙ）］のコンボリューションを重みの合計で正規化した値である。Ｉｎ（ｐｘ，ｐｙ）が存在しない画素では、Ｗは０になるので、本フィルタを適用するチャネルに存在する画素に対してのみ係数を計算し、これを乗じて結果の画素値を計算する。
【００８７】
このように、デモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３は、ピクセル座標に依存する距離依存重み［Ｗｓ］と、Ａチャネル画像に基づいて生成したエッジ評価画像２１２に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を算出する構成としたので、デモザイクとノイズ低減を同時に行うことができる。
【００８８】
図１１に示すように、補正モザイク画像２１１に含まれるＡチャネルモザイク画像に対しても、エッジ保存フィルタ２２４において、ＲＧＢモザイク画像と同様、Ａチャネルデモザイク画像であるエッジ評価画像２１２に現れるエッジに基づいて、Ａモザイク画像のエッジ保存処理が行なわれる。この処理は、上記した式（１）〜（４）を適用して、Ａモザイク画像に基づくノイズ低減デモザイク画像を生成する処理として実行される。
【００８９】
エッジ保存フィルタ２２４において生成されたＡチャネルノイズ低減デモザイク画像は、ＦＩＴハイパスフィルタ２２６に入力され、高域成分の抽出処理が実行されＨＰＦ結果画像２１４が生成される。ＦＩＴハイパスフィルタ２２６は、高域成分を抽出するＦＩＴフィルタである。ＦＩＴハイパスフィルタ２２６の係数の一例を図１３に示す。
【００９０】
ＨＰＦ結果画像２１４は、さらに、ゲイン制御処理部２２７に入力され、ゲインが調整（増幅）され、さらに、マトリクス演算実行部２２８において、マトリクス演算が実行されて、Ａチャネル画像中のエッジ部分データに含まれるＲ、Ｇ、Ｂデータを抽出して、合成処理実行部２２９において、ノイズ低減ＲＧＢデモザイク画像２１３との加算処理により、出力ＲＧＢ画像２１５を生成して出力する。
【００９１】
なお、エッジ保存フィルタ２２４において生成されたＡチャネルノイズ低減デモザイク画像からの高域成分抽出によって生成されたＨＰＦ結果画像２１４のゲイン制御およびマトリックス演算によって生成されるデータは、エッジ部の強調処理のために適用される画像データであり、合成処理実行部２２９において、ノイズ低減ＲＧＢデモザイク画像２１３と加算することで、エッジ部が強調された出力ＲＧＢ画像２１５を得ることができる。
【００９２】
［４．画像信号処理例３］
次に、本発明の第３の画像信号処理例について、図１４以下を参照して説明する。図１４に示す処理構成は、色空間変換処理を実行する構成を有する。撮像素子３０１からデモザイク処理部３０３までの処理によってＲＧＢデモザイク画像３１１とＡデモザイク画像３１２を得るまでの処理は、先に図７を参照して説明した処理例１と同様の処理である。本処理例３では、これらのＲＧＢデモザイク画像３１１とＡデモザイク画像３１２のノイズ低減処理後のデータに対して、マトリックス演算実行部３０６において色空間の変換行列を乗じ、出力ＲＧＢ画像３１５ならびに予測赤外（Ｅｓｔｉｍａｔｅｄ  ＩＲ）画像３１６を得る。
【００９３】
本処理例について説明する。撮像素子３０１は、図６を参照して説明したＲＧＢＡ撮像素子であり、ＲＧＢＡ４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなる。
【００９４】
撮像素子３０１によって撮影される画像は、４種類の分光から成るモザイク画像となる。このモザイク画像は、図８（１）に示すようにＲＧＢＡ各チャネルからなる４種類のモザイク画像である。これらのモザイク画像は、ホワイトバランス処理部３０２に入力される。
【００９５】
ホワイトバランス処理部３０２では、４種類の異なる分光特性のモザイク画像に含まれる画素値範囲を概略同じにするためのホワイトバランス補正処理を実行する。それぞれ異なる分光特性のモザイク画像の構成画素値にホワイトバランスの調整処理によって、各モザイク画像に含まれる画素値範囲を概略同じにする補正が施され、補正済みモザイク画像を得る。４つのモザイク画像の画素の配列は、図８（１）に示す通りである。
【００９６】
これらの４つのモザイク画像は、次にデモザイク処理部３０３においてデモザイク処理が実行され、ＲＧＢデモザイク画像３１１、およびＡデモザイク画像３１２を得る、デモザイク処理は、先に図３を参照して説明したように、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、すべての画素の画素値を設定する処理によって行なわれる。例えば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行うアルゴリズムである。デモザイク処理部３０３におけるデモザイク処理によって、図８（２）に示す４つのデモザイク画像が得られる。
【００９７】
このようにして得られたＲＧＢデモザイク画像３１１と、Ａデモザイク画像３１２は、それぞれノイズ低減処理部３０４，３０５に入力され、ノイズ低減処理が実行される。ノイズ低減処理部３０４は、先の処理例１において、図９を参照して説明した構成を持つノイズ低減処理部であり、ノイズ低減処理部３０５は、一般的なバイラテラルフィルタなどによって構成されるノイズ低減処理部である。
【００９８】
ＲＧＢデモザイク画像３１１と、Ａデモザイク画像３１２は、それぞれノイズ低減処理部３０４，３０５に入力され、ノイズ低減処理結果としてのノイズ低減ＲＧＢデモザイク画像３１３と、ノイズ低減Ａデモザイク画像３１４を出力する。
【００９９】
マトリックス演算実行部３０６は、これらのノイズ低減画像３１３，３１４から得られる、１画素当たり４つの画素値（Ｒ，Ｇ，Ｂ，Ａ）をベクトルとみなして、色空間の変換行列を乗じて、結果として出力ＲＧＢ画像３１５ならびに予測赤外画像３１６を得る。
【０１００】
マトリックス演算実行部３０６において適用する変換行列は、ＲＧＢチャネルに赤外光（ＩＲ）漏れがあることを前提に、変換結果としての出力ＲＧＢ画像３１５の色再現性をカラーパッチの色差や、グレーパッチのＲＧＢＩＲの画素値の差分等により評価し、再現性を最良にする行列を数値的に求めた４次元の色空間変換行列である。具体的な変換行列の例を以下に示す。
【数２】
0004501855.tif 000003
【０１０１】
上記式（式５）は、本処理例で適用する撮像素子、すなわち、図６に示したＲＧＢＡチャネルを持つ各チャネルの分光特性を示す行列式であり、Ｒチャネルによって取得される光成分は、理想的なＲ成分１００に対して、Ｇ，Ｂが０、赤外成分（ＩＲ）が２７となることを示している。Ｇチャネルは、理想的なＧ成分１００に対して、Ｒ，Ｂが０、赤外成分（ＩＲ）が１３となる。Ｂチャネルは、理想的なＢ成分１００に対して、Ｒ，Ｇが０、赤外成分（ＩＲ）が９となる。さらに、Ａチャネルは、Ｒ成分２９．９、Ｇ成分５９．７、Ｇ成分１１．４、赤外成分（ＩＲ）が５０となる。
【０１０２】
上記式（式６）は、このような撮像素子に対応する色空間変換行列である。Ｒｉｎ，Ｇｉｎ，Ｂｉｎ，Ａｉｎは、ノイズ低減画像３１３，３１４から得られる、１画素当たり４つの画素値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ，Ａｉｎ）に相当する。この画素値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ，Ａｉｎ）に対して、上記式（式６）に示すマトリックス演算を実行して、出力値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）を得る。
【０１０３】
この出力値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）中、（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）は、ノイズ低減ＲＧＢデモザイク画像３１３と、ノイズ低減Ａデモザイク画像３１４から、赤外成分を除去しＲＧＢ成分のみからなる画像に相当し、この（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を出力ＲＧＢ画像３１５とする。また、（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）中、（Ａｏｕｔ）は、ノイズ低減ＲＧＢデモザイク画像３１３と、ノイズ低減Ａデモザイク画像３１４から抽出したＲＧＢ成分を含まない赤外成分のみからなる画像に相当し、この（Ａｏｕｔ）を予測赤外画像３１６として出力する。
【０１０４】
この処理例によれば、撮像素子のＲＧＢ素子を通過した赤外成分を除去した高品質な画像を取得することが可能となる。すなわち、図６を参照して説明したＲＧＢＡ撮像素子において、ＲＧＢ素子を通過する光成分には赤外成分（ＩＲ）が含まれるが、これをＡチャネルの通過成分を解析し、上述したマトリックス演算を適用することで、ＲＧＢ素子を通過した光成分から赤外成分（ＩＲ）を取り除き、高品質なＲＧＢ画像を取得することが可能となる。
【０１０５】
［５．画像信号処理例４］
次に、本発明の第４の画像信号処理例について、図１５以下を参照して説明する。図１５に示す処理構成は、ＲＧＢＡの４つの補正モザイク画像４１１を取得するまでの処理は、先に図１４を参照して説明した第４の処理例と同様である。すなわち、撮像素子４０１は、図６を参照して説明したＲＧＢＡ撮像素子であり、ＲＧＢＡ４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなる。
【０１０６】
本処理例４では、ＲＧＢＡの４つの補正モザイク画像４１１に基づいてデモザイク処理とノイズ低減処理と赤外（ＩＲ）算出処理を統合したフィルタアルゴリズムとして実行して、出力ＲＧＢ画像４１２ならびに予測赤外（Ｅｓｔｉｍａｔｅｄ  ＩＲ）画像４１３を得る。
【０１０７】
本処理例について説明する。撮像素子４０１は、図６を参照して説明したＲＧＢＡ撮像素子であり、ＲＧＢＡ４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなる。
【０１０８】
撮像素子４０１によって撮影される画像は、４種類の分光から成るモザイク画像となる。このモザイク画像は、図８（１）に示すようにＲＧＢＡ各チャネルからなる４種類のモザイク画像である。これらのモザイク画像は、ホワイトバランス処理部４０２に入力される。
【０１０９】
ホワイトバランス処理部４０２では、４種類の異なる分光特性のモザイク画像に含まれる画素値範囲を概略同じにするためのホワイトバランス補正処理を実行する。それぞれ異なる分光特性のモザイク画像の構成画素値にホワイトバランスの調整処理によって、各モザイク画像に含まれる画素値範囲を概略同じにする補正が施され、補正済みモザイク画像を得る。４つのモザイク画像の画素の配列は、図８（１）に示す通りである。
【０１１０】
これらの４つのモザイク画像は、次にデモザイク＆ノイズ低減＆赤外（ＩＲ）算出処理部４０４において、ＲＧＢＡの４つの補正モザイク画像４１１に基づいてデモザイク処理とノイズ低減処理と赤外（ＩＲ）算出処理を統合したフィルタアルゴリズムとして実行して、出力ＲＧＢ画像４１２ならびに予測赤外（Ｅｓｔｉｍａｔｅｄ  ＩＲ）画像４１３を出力する。
【０１１１】
デモザイク＆ノイズ低減＆赤外（ＩＲ）算出処理部４０４の構成および処理について図１６を参照して説明する。図１６に示す構成は、先に処理例２において図１１を参照して説明したデモザイク＆ノイズ低減処理部２０４とほぼ同様の構成を有する。異なる点は、マトリックス演算実行部４２９を付加している点であり、このマトリックス演算実行部４２９におけるマトリックス演算によって、出力ＲＧＢ画像４１２ならびに予測赤外（Ｅｓｔｉｍａｔｅｄ  ＩＲ）画像４１３を分離して出力する構成としている。
【０１１２】
デモザイク兼用ノイズ低減フィルタ４２１，４２２，４２３は、先に図１１を参照して説明した処理例２と同様、補正済みモザイク画像であるモザイク画像（ＲＧＢＡ）４１１中のＲＧＢ各々のモザイク画像に対して、エッジを保存したままノイズを低減するエッジ保存フィルタによる画像処理を施し、かつデモザイク処理を実行してノイズ低減ＲＧＢデモザイク画像４５１を得る。
【０１１３】
ノイズ低減処理のために、モザイク画像Ａに対して線形デモザイクフィルタ４２５での処理によって生成したエッジ評価画像４５０を適用し、エッジ評価画像４５０に現れるエッジと同じ場所にある元画像のエッジを保存したままノイズを低減するエッジ保存フィルタによる画像処理を施す。この処理は、先に、図１２を参照して説明した処理であり、前述の式（式１）〜（式４）を適用した処理、すなわち、ピクセル座標に依存する距離依存重み［Ｗｓ］と、Ａチャネル画像に基づいて生成したエッジ評価画像４５０に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を算出する処理である。この処理によって、デモザイクとノイズ低減を同時に行うことができる。
【０１１４】
処理例２と同様、補正モザイク画像４１１に含まれるＡチャネルモザイク画像に対しても、エッジ保存フィルタ４２４において、ＲＧＢモザイク画像と同様、Ａチャネルデモザイク画像であるエッジ評価画像４５０に現れるエッジに基づいて、Ａモザイク画像のエッジ保存処理が行なわれる。この処理も、上記した式（１）〜（４）を適用して、Ａモザイク画像に基づくノイズ低減Ａデモザイク画像４５２を生成する処理として実行される。
【０１１５】
エッジ保存フィルタ４２４において生成されたノイズ低減Ａデモザイク画像４５２は、ＦＩＴハイパスフィルタ４２６に入力され高域成分の抽出処理が実行されＨＰＦ結果画像４１４が生成される。ＦＩＴハイパスフィルタ４２６は、高域成分を抽出するＦＩＲフィルタであり、例えば先に図１３を参照して説明した係数を持つ。
【０１１６】
ＨＰＦ結果画像４１４は、さらに、ゲイン制御処理部４２７に入力され、ゲインが調整（増幅）され、さらに、マトリクス演算実行部４２８において、マトリクス演算が実行されて、Ａチャネル画像中のエッジ部分データに含まれるＲ、Ｇ、Ｂデータを抽出して、合成処理実行部４３０に出力する。
【０１１７】
さらに、本処理例４においては、エッジ保存フィルタ４２４において生成されたＡチャネルに対応するノイズ低減Ａデモザイク画像４５２と、デモザイク兼用ノイズ低減フィルタ４２１，４２２，４２３の処理によって生成されたノイズ低減ＲＧＢデモザイク画像４５１をマトリックス演算実行部４２９に入力して、これらの入力情報に基づくマトリックス演算を実行する。
【０１１８】
マトリックス演算実行部４２９におけるマトリックス演算は、処理例３において、図１４を参照して説明したマトリックス演算実行部３０６における処理と同様の処理である。マトリックス演算実行部４２９は、エッジ保存フィルタ４２４において生成されたノイズ低減Ａデモザイク画像４５２と、ノイズ低減ＲＧＢデモザイク画像４５１から得られる１画素当たり４つの画素値（Ｒ，Ｇ，Ｂ，Ａ）をベクトルとみなして、色空間の変換行列を乗じて、結果として、合成処理実行部４３０に入力するためのＲＧＢ画像ならびに予測赤外画像４１３を取得して出力する。
【０１１９】
マトリックス演算実行部４２９において適用する変換行列は、ＲＧＢチャネルに赤外光（ＩＲ）漏れがあることを前提に、変換結果としてのＲＧＢ画像の色再現性をカラーパッチの色差や、グレーパッチのＲＧＢＩＲの画素値の差分等により評価し、再現性を最良にする行列を数値的に求めた４次元の色空間変換行列であり、具体的な変換行列としては、例えば先に処理例３において説明した式（式６）が適用される。
【０１２０】
マトリックス演算実行部４２９は、先に説明した式（式６）に示すマトリックス演算を実行して、出力値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）を得る。この出力値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）中、（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）は、ノイズ低減ＲＧＢデモザイク画像４５１とノイズ低減Ａデモザイク画像４５２から赤外成分を除去して生成したＲＧＢ成分のみからなる画像に相当し、この（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を合成処理実行部４３０に入力するためのＲＧＢ画像とする。
【０１２１】
また、（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）中、（Ａｏｕｔ）は、ノイズ低減ＲＧＢデモザイク画像４５１とノイズ低減Ａデモザイク画像４５２から生成したＲＧＢ成分を含まない赤外成分のみからなる画像に相当し、この（Ａｏｕｔ）を予測赤外画像４１３として出力する。
【０１２２】
合成処理部４３０では、マトリックス演算実行部４２９のマトリックス演算によって生成した赤外成分を除去して生成したＲＧＢ成分のみからなる画像と、マトリックス演算実行部４２８において、Ａチャネル画像に基づいて生成されたエッジ部分データに含まれるＲ、Ｇ、Ｂデータの抽出データとの加算処理を実行し、出力ＲＧＢ画像４１２を生成して出力する。合成処理実行部４３０において、エッジ部が強調された出力ＲＧＢ画像４１２を得ることができる。
【０１２３】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１２４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１２５】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２６】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１２７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１２８】
以上、説明したように、本発明の構成によれば、ＲＧＢ信号等の可視光信号を取得する可視光取得素子と、赤外光などの不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データに基づいて、取得信号各々のデモザイク画像を生成し、不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行することで、１回の撮影処理によって得られた１枚の画像に基づいてノイズを低減した高品質な画像データを取得することができる。
【図面の簡単な説明】
【０１２９】
【図１】一般的なカラーフィルタで用いられる色配列としてのベイヤー配列の例について説明する図である。
【図２】単板カラー方式の固体撮像素子を具備する撮像装置の構成を示す図である。
【図３】デモザイク処理について説明する図である。
【図４】従来の撮影画像の信号処理例について説明する図である。
【図５】従来の撮影画像の信号処理例について説明する図である。
【図６】本発明において適用する撮像素子の色配列について説明する図である。
【図７】本発明の一実施例に係る画像信号処理構成（処理例１）を説明する図である。
【図８】本発明の処理において生成されるモザイク画像とデモザイク画像について説明する図である。
【図９】本発明の一実施例に係る画像信号処理構成（処理例１）中のノイズ低減処理部の構成を説明する図である。
【図１０】本発明の一実施例に係る画像信号処理構成（処理例２）を説明する図である。
【図１１】本発明の一実施例に係る画像信号処理構成（処理例２）中のデモザイク＆ノイズ低減処理部の構成を説明する図である。
【図１２】本発明の一実施例に係る画像信号処理構成（処理例２）中のデモザイク兼用ノイズ低減フィルタの処理を説明する図である。
【図１３】本発明の一実施例に係る画像信号処理構成（処理例２）中のＦＩＴハイパスフィルタの係数について説明する図である。
【図１４】本発明の一実施例に係る画像信号処理構成（処理例３）を説明する図である。
【図１５】本発明の一実施例に係る画像信号処理構成（処理例４）を説明する図である。
【図１６】本発明の一実施例に係る画像信号処理構成（処理例４）中のデモザイク＆ノイズ低減＆赤外（ＩＲ）算出処理部の構成を説明する図である。
【符号の説明】
【０１３０】
１１  光学レンズ
１２  カラーフィルタ
１３  固体撮像素子
１４  カメラ信号処理部
１５  動画像圧縮部
１６  記録部
２０  固体撮像素子の出力画像
２１  デモザイク処理部
２２  デモザイク処理部の出力するＲ，Ｇ，Ｂ信号
３０  撮像素子
３１  ホワイトバランス処理部
３２  デモザイク処理部
３３  ノイズ低減処理部
４１，４２  ローパスフィルタ
４３  スベキュラ検出部
４４  ブレンド実行部
４５  ハイパスフィルタ
４６  ブレンド実行部
１０１  撮像素子
１０２  ホワイトバランス処理部
１０３  デモザイク処理部
１０４  ノイズ低減処理部
１１１  ＲＧＢデモザイク画像
１１２  Ａデモザイク画像
１２１，１２２  ローパスフィルタ
１２３  スベキュラ検出部
１２４  ブレンド実行部
１２５  ハイパスフィルタ
１２６  ブレンド実行部
２０１  撮像素子
２０２  ホワイトバランス処理部
２０４  デモザイク＆ノイズ低減処理部
２１１  補正モザイク画像
２１２  エッジ評価画像
２１３  ノイズ低減ＲＧＢデモザイク画像
２１４  ＨＰＦ結果画像
２１５  出力ＲＧＢ画像
２２１〜２２３  デモザイク兼用ノイズ低減フィルタ
２２４  エッジ保存フィルタ
２２５  線形デモザイクフィルタ
２２６  ＦＩＴハイパスフィルタ
２２７  ゲイン制御部
２２８  マトリックス演算実行部
２２９  合成処理部
３０１  撮像素子
３０２  ホワイトバランス処理部
３０３  デモザイク処理部
３０４，３０５  ノイズ低減処理部
３０６  マトリックス演算実行部
３１１  ＲＧＢデモザイク画像
３１２  Ａデモザイク画像
３１３  ノイズ低減ＲＧＢデモザイク画像
３１４  ノイズ低減Ａデモザイク画像
３１５  出力ＲＧＢ画像
３１６  予測赤外画像
４０１  撮像素子
４０２  ホワイトバランス処理部
４０４  デモザイク＆ノイズ低減＆赤外（ＩＲ）算出処理部
４１１  補正モザイク画像
４１２  出力ＲＧＢ画像
４１３  予測赤外画像
４２１〜４２３  デモザイク兼用ノイズ低減フィルタ
４２４  エッジ保存フィルタ
４２５  線形デモザイクフィルタ
４２６  ＦＩＴハイパスフィルタ
４２７  ゲイン制御部
４２８  マトリックス演算実行部
４２９  マトリックス演算実行部
４３０  合成処理部
４５０  エッジ評価画像
４５１  ノイズ低減ＲＧＢデモザイク画像
４５２  ノイズ低減Ａデモザイク画像
【図１】
0004501855.tif 000004
【図２】
0004501855.tif 000005
【図３】
0004501855.tif 000006
【図４】
0004501855.tif 000007
【図５】
0004501855.tif 000008
【図６】
0004501855.tif 000009
【図７】
0004501855.tif 000010
【図８】
0004501855.tif 000011
【図９】
0004501855.tif 000012
【図１０】
0004501855.tif 000013
【図１１】
0004501855.tif 000014
【図１２】
0004501855.tif 000015
【図１３】
0004501855.tif 000016
【図１４】
0004501855.tif 000017
【図１５】
0004501855.tif 000018
【図１６】
0004501855.tif 000019