(57)【特許請求の範囲】
【請求項１】
画像信号処理装置であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出部と、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出部と、
前記第１色成分抽出部の抽出した色成分信号と、前記第２色成分抽出部の抽出した色成分信号との合成処理を実行する合成処理部と、
を有することを特徴とする画像信号処理装置。
【請求項２】
前記第１色成分信号抽出部は、
前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成部と、
前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部と、
前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部と、
を有する構成であることを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記特定波長領域信号取得素子は、色成分信号ＲＧＢを個別に取得するＲＧＢ素子であり、
前記広波長領域信号取得素子は、色成分信号ＲＧＢと赤外光成分を含むＡ信号を取得するＡ素子であり、
前記第１色成分信号抽出部は、
前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行する構成であり、
前記第２色成分信号抽出部は、
前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出する構成であり、
前記合成処理部は、
前記第１色成分抽出部の抽出した色成分信号ＲＧＢと、前記第２色成分抽出部の抽出した色成分信号ＲＧＢとの合成処理を実行する構成であることを特徴とする請求項１に記載の画像信号処理装置。
【請求項４】
撮像装置であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子と、
前記単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出部と、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出部と、
前記第１色成分抽出部の抽出した色成分信号と、前記第２色成分抽出部の抽出した色成分信号との合成処理を実行する合成処理部と、
を有することを特徴とする撮像装置。
【請求項５】
前記第１色成分信号抽出部は、
前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成部と、
前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部と、
前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部と、
を有する構成であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記特定波長領域信号取得素子は、色成分信号ＲＧＢを個別に取得するＲＧＢ素子であり、
前記広波長領域信号取得素子は、色成分信号ＲＧＢと赤外光成分を含むＡ信号を取得するＡ素子であり、
前記第１色成分信号抽出部は、
前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行する構成であり、
前記第２色成分信号抽出部は、
前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出する構成であり、
前記合成処理部は、
前記第１色成分抽出部の抽出した色成分信号ＲＧＢと、前記第２色成分抽出部の抽出した色成分信号ＲＧＢとの合成処理を実行する構成であることを特徴とする請求項４に記載の撮像装置。
【請求項７】
画像信号処理方法であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出ステップと、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出ステップと、
前記第１色成分抽出ステップにおいて抽出した色成分信号と、前記第２色成分抽出ステップにおいて抽出した色成分信号との合成処理を実行する合成処理ステップと、
を有することを特徴とする画像信号処理方法。
【請求項８】
前記第１色成分信号抽出ステップは、
前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成ステップと、
前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成ステップと、
前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出ステップと、
を有する構成であることを特徴とする請求項７記載の画像信号処理方法。
【請求項９】
前記特定波長領域信号取得素子は、色成分信号ＲＧＢを個別に取得するＲＧＢ素子であり、
前記広波長領域信号取得素子は、色成分信号ＲＧＢと赤外光成分を含むＡ信号を取得するＡ素子であり、
前記第１色成分信号抽出ステップは、
前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行するステップであり、
前記第２色成分信号抽出ステップは、
前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出するステップであり、
前記合成処理ステップは、
前記第１色成分抽出ステップにおいて抽出した色成分信号ＲＧＢと、前記第２色成分抽出ステップにおいて抽出した色成分信号ＲＧＢとの合成処理を実行するステップであることを特徴とする請求項７に記載の画像信号処理方法。
【請求項１０】
画像信号処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出ステップと、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出ステップと、
前記第１色成分抽出ステップにおいて抽出した色成分信号と、前記第２色成分抽出ステップにおいて抽出した色成分信号との合成処理を実行する合成処理ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムに関する。特に、単板カラー方式の固体撮像素子による撮像データの信号処理を行なう画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図１（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現する色配列や、図１（ｂ）に示すように、輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせた配列などが用いられる。これらは、いずれもベイヤー配列と呼ばれる。単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しかもたないため、周囲の画素の色情報を用いて補間処理を行うことによって、各画素において必要な色成分を復元するデモザイク処理が行われる。
【０００３】
単板カラー方式の固体撮像素子を具備する撮像装置の構成を図２に示す。単板カラー方式の固体撮像素子１３は、光学レンズ１１を通して入射される光のうち、カラーフィルタ１２を透過する光を受光する。固体撮像素子１３で光電変換されて電気信号として出力される画像信号は、図示しないＡ／Ｄ変換器によりデジタル信号に変換された後、カメラ信号処理部１４において、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などが施されて、画像圧縮部１５に送られる。画像圧縮部１５は、画像信号のデータ量を削減し、所定の記録用画像フォーマットに変換して出力する。記録部１６は、変換された画像データを記録媒体に記録する。ここで、必ずしも画像圧縮処理が施されなくても良いが、近年では撮像素子の画素数が増加し、かつ装置自体の小型化が要求されているために画像圧縮が行われるのが通常である。
【０００４】
図３を参照して、単板カラー方式の固体撮像素子により取得された画像のデモザイク処理について説明する。単板カラー方式の固体撮像素子は、原色系のベイヤー配列（図１参照）などの色配列を持つカラーフィルタを介した撮像を行なう構成であり、各画素に対して特定の波長の信号、すなわち特定波長の色成分データだけを取得するようになっている。ベイヤー配列の単板カラー方式の固体撮像素子を用いた場合、固体撮像素子の出力画像２０は、各画素にＲ，Ｇ，Ｂいずれかの情報のみを持つ色モザイク画像となる。
【０００５】
デモザイク処理部２１は、画素ごとに色補間処理を行うことにより各色成分データ、すなわち、Ｒ，Ｇ，Ｂの全ての情報を復元する処理を実行する。      
【０００６】
まずデモザイク処理部２１の実行するＧ信号の復元について説明する。図１（ａ）に示すベイヤー配列では、Ｇ信号は市松状に取得されている。固体撮像素子の出力画像２０においてＧ信号が存在しない画素（Ｇ１１を例にとる）では、周囲にあるＧ信号に基づく補間処理によって、Ｇ信号が生成される。具体的には、以下の式によってＧ信号（Ｇ１１）が復元される。
Ｇ１１＝（１／４）（Ｇ０１＋Ｇ２１＋Ｇ１０＋Ｇ１２）
【０００７】
次にＲ信号、およびＢ信号の復元について説明する。図１（ａ）に示すベイヤー配列では、Ｒ，Ｂともに、１画素ラインおきにデータが存在する。例えば、図３に示す固体撮像素子の出力画像２０の最上段の画素ラインには、Ｒ信号は存在するがＢ信号は存在しない。また、２番目の画素ラインには、Ｂ信号は存在するがＲ信号は存在しない。
【０００８】
それぞれデータＲまたはＢが存在する画素ラインにおいては１画素おきにデータが取得されている。固体撮像素子の出力画像２０においてＲ信号（Ｂ信号）が存在しない画素で、同ラインにＲ信号（Ｂ信号）が存在する場合（Ｒ０１，Ｂ１２を例にとる）、その画素ライン上のＲ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ０１＝（１／２）（Ｒ００＋Ｒ０２）
Ｂ１２＝（１／２）（Ｂ１１＋Ｂ１３）
【０００９】
同様にして、同カラムにＲ信号（Ｂ信号）が存在する場合（Ｒ１０，Ｂ２１を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ１０＝（１／２）（Ｒ００＋Ｒ２０）
Ｂ２１＝（１／２）（Ｂ１１＋Ｂ３１）
【００１０】
さらに、同ラインにも同カラムにもＲ信号（Ｂ信号）が存在しない場合（Ｒ１１，Ｂ２２を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ１１＝（１／４）（Ｒ００＋Ｒ０２＋Ｒ２０＋Ｒ２２）
Ｂ２２＝（１／４）（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）
【００１１】
デモザイク処理部２１は、上述のような色補間処理を行い、全画素に対するＲ信号２２ｒ、Ｇ信号２２ｇ、Ｂ信号２２ｂを出力する。なお、補間処理は一例であり、他の色信号との相関を利用したような色補間処理を行っても良い。
【００１２】
近年、ディジタルスチルカメラやムービーカメラにおいて、低照度の照明下において撮影した画像品質の向上が重要な課題となっている。低照度の照明下において画像を撮影しようとする場合、シャッタースピードを遅くしたり、絞り値の明るいレンズを使用したり、またフラッシュなどの可視光の外部光源を利用するのが一般的である。
【００１３】
この場合、シャッタースピードを遅くすると手ぶれや被写体ぶれを招く。またレンズの絞り値にも通常は限界があってある程度以上は明るくすることができない。さらに、可視光の外部光源を使用すると、その場の照明による雰囲気を損なってしまう問題がある。
【００１４】
低照度条件下では色温度が低くて、赤外光の放射量の多い光源が使われている場合が多い。また、補助光として赤外光などの不可視光を使えば雰囲気を損なうことが少ない。以上のことから、赤外光などの不可視光を多く含む光源下において、実効的な撮影感度を上げる技術が望まれている。
【００１５】
たとえば特許文献１には、先に図１（ｂ）を参照して説明した色配列、すなわち輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせたベイヤー配列を適用した撮像素子を用いて、高解像度の画像を得る信号処理について開示している。特許文献１は、図１（ｂ）に示す白画素を市松配置したカラーフィルタアレイを適用し、すべての画素が赤外光を感じないことを前提に、市松配置画素の白画素を利用して高い解像度を得る信号処理について説明している。
【００１６】
すなわち、図１（ｂ）に示す配置によれば、市松配列のＹ画素はほぼ可視光全体に感度を持つため、図１（ａ）に示すように緑（Ｇ）画素を市松配置にする構成より大きな信号が得られる。このため、緑画素市松配置の場合に比べて解像度を左右する市松配置の信号のＳ／Ｎ比を良くすることができるというものである。
【００１７】
しかしながら、図１（ｂ）に示すような配列は、十分な照度がある場合には有効となるが、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件においては、感度はまだ不十分となり、ノイズを削減した高品質な画像を生成することはできないという問題がある。
【特許文献１】特開平４−８８７８４
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明は、単板カラー方式の固体撮像素子を具備する撮像装置において、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件で撮影された画像でも、ノイズを低減した高品質な画像データを生成することを可能とした画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本発明の第１の側面は、
画像信号処理装置であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出部と、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出部と、
前記第１色成分抽出部の抽出した色成分信号と、前記第２色成分抽出部の抽出した色成分信号との合成処理を実行する合成処理部と、
を有することを特徴とする画像信号処理装置にある。
【００２３】
さらに、本発明の画像信号処理装置の一実施態様において、前記第１色成分信号抽出部は、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成部と、前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部と、
前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部とを有する構成であることを特徴とする。
【００２４】
さらに、本発明の画像信号処理装置の一実施態様において、前記特定波長領域信号取得素子は、色成分信号ＲＧＢを個別に取得するＲＧＢ素子であり、前記広波長領域信号取得素子は、色成分信号ＲＧＢと赤外光成分を含むＡ信号を取得するＡ素子であり、前記第１色成分信号抽出部は、前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行する構成であり、前記第２色成分信号抽出部は、前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出する構成であり、前記合成処理部は、前記第１色成分抽出部の抽出した色成分信号ＲＧＢと、前記第２色成分抽出部の抽出した色成分信号ＲＧＢとの合成処理を実行する構成であることを特徴とする。
【００３１】
本発明の第２の側面は、
撮像装置であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子と、
前記単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出部と、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出部と、
前記第１色成分抽出部の抽出した色成分信号と、前記第２色成分抽出部の抽出した色成分信号との合成処理を実行する合成処理部と、
を有することを特徴とする撮像装置にある。
【００３２】
さらに、本発明の撮像装置の一実施態様において、前記第１色成分信号抽出部は、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成部と、前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部と、前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部とを有する構成であることを特徴とする。
【００３３】
さらに、本発明の撮像装置の一実施態様において、前記特定波長領域信号取得素子は、色成分信号ＲＧＢを個別に取得するＲＧＢ素子であり、前記広波長領域信号取得素子は、色成分信号ＲＧＢと赤外光成分を含むＡ信号を取得するＡ素子であり、前記第１色成分信号抽出部は、前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行する構成であり、前記第２色成分信号抽出部は、前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出する構成であり、前記合成処理部は、前記第１色成分抽出部の抽出した色成分信号ＲＧＢと、前記第２色成分抽出部の抽出した色成分信号ＲＧＢとの合成処理を実行する構成であることを特徴とする。
【００３７】
本発明の第３の側面は、
画像信号処理方法であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出ステップと、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出ステップと、
前記第１色成分抽出ステップにおいて抽出した色成分信号と、前記第２色成分抽出ステップにおいて抽出した色成分信号との合成処理を実行する合成処理ステップと、
を有することを特徴とする画像信号処理方法にある。
【００３８】
さらに、本発明の画像信号処理方法の一実施態様において、前記第１色成分信号抽出ステップは、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成ステップと、前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成ステップと、前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出ステップとを有する構成であることを特徴とする。
【００３９】
さらに、本発明の画像信号処理方法の一実施態様において、前記特定波長領域信号取得素子は、色成分信号ＲＧＢを個別に取得するＲＧＢ素子であり、前記広波長領域信号取得素子は、色成分信号ＲＧＢと赤外光成分を含むＡ信号を取得するＡ素子であり、前記第１色成分信号抽出ステップは、前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行するステップであり、前記第２色成分信号抽出ステップは、前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出するステップであり、前記合成処理ステップは、前記第１色成分抽出ステップにおいて抽出した色成分信号ＲＧＢと、前記第２色成分抽出ステップにおいて抽出した色成分信号ＲＧＢとの合成処理を実行するステップであることを特徴とする。
【００４１】
本発明の第４の側面は、
画像信号処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出ステップと、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出ステップと、
前記第１色成分抽出ステップにおいて抽出した色成分信号と、前記第２色成分抽出ステップにおいて抽出した色成分信号との合成処理を実行する合成処理ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００４２】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４４】
本発明の構成によれば、ＲＧＢ信号等の可視光信号を取得する特定波長領域信号取得素子と、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データに基づいて、赤外成分を含む輝度信号と、色差信号、あるいはＲＧＢの色信号を生成する構成としたので、可視光成分の少ない低照度環境下での撮影画像について解像度の高い高品質な画像を取得することが可能であり、ＲＧＢおよび赤外成分を持つＡチャネル画像に基づく色補正を行なうことで、色再現性の高い画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００４５】
以下、図面を参照しながら、本発明の画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムについて説明する。説明は、以下の順番で行なう。
１、撮像素子構成
２．画像信号処理例１
３．画像信号処理例２
【００４６】
［１．撮像素子構成］
まず、本発明の撮像装置において適用する撮像素子（イメージャ）の構成について説明する。本発明の撮像装置は、基本的には、先に図２を参照して説明したと同様の高を有するが、撮像装置において適用する撮像素子（イメージャ）が、図１を参照して説明したベイヤー配列とは異なる構成を持つ。本発明の撮像装置において適用する撮像素子（イメージャ）の構成例について、図４を参照して説明する。先に図１を参照して、一般的な単板カラー方式の固体撮像素子について説明したが、一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図１に示すように、４画素の組によって赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現するベイヤー配列などが使用される。
【００４７】
本発明の撮像装置において適用する撮像素子は、図４に示す色配列を有する。すなわち、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これらに加え、
赤外線（ＩＲ）とＲＧＢのすべてを透過するＡ、
これら４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなり、この撮像素子によって４種類の分光から成るモザイク画像が得られる。
【００４８】
なお、Ａは、可視光部分の輝度信号（Ｙ）と赤外光信号（ＩＲ）の双方を含む信号であり、
Ａ＝Ｙ＋ＩＲ
と表記することができる。
【００４９】
上記４種類のフィルタの分光特性について、図５を参照して説明する。Ｂチャネルに対応するフィルタは、青色に相当する約２００〜３００ｎｍの波長の光信号の透過率が高いフィルタであり、Ｇチャネルに対応するフィルタは、緑色に相当する約４５０〜５５０ｎｍの波長の光信号の透過率が高いフィルタであり、Ｒチャネルに対応するフィルタは、赤色に相当する約５５０〜６５０ｎｍの波長の光信号の透過率が高いフィルタである。これらのＲＧＢ対応のフィルタは、約７００ｎｍ以上の波長を持つ赤外光成分はほとんど透過しない性質を持つ。
【００５０】
一方、Ａチャネル対応のフィルタは、図に示すように、ピークは約５３０ｎｍ付近であるが、ＲＧＢ成分のすべての信号を透過するとともに、７００ｎｍ以上の赤外光成分も透過する性質を持つ。
【００５１】
このように、本発明の撮像素子は、ＲＧＢ等の特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子（ＲＧＢ素子）と、ＲＧＢ等の可視光および赤外光等の不可視光成分を含む光信号を取得する広波長領域信号取得素子（Ａ素子）によって構成される素子配列を持つ単板式撮像素子である。
【００５２】
本発明の撮像装置において適用する撮像素子は、このような４種類のＲＧＢＡ対応の透過フィルタを持つ撮像素子であり、図４に示すように、色成分信号ＲＧＢを個別に取得するＲＧＢ素子と色成分信号ＲＧＢと赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子である。
【００５３】
なお、ＲＧＢＡの配列は、図４に示す配列構成の他の設定も可能であり、例えば図６に示す配列としてもよい。図６に示す光学フィルタ配列は、図４に示す配列を４５度回転させた構成に相当する。
【００５４】
図４、図６いずれにおいても、Ａ信号の取得素子は、市松状に配置されている。本発明の撮像装置では、図４や図６に示す撮像素子（イメージャ）を適用して撮影した画像データに基づいて信号処理を実行し、低照度の下で撮影した画像であっても効果的なノイズ低減を実現して高品質な画像を得ることを可能とする構成を持つ。
【００５５】
［２．画像信号処理例１］
次に、図４または図６に示す撮像素子（イメージャ）を適用して撮影した画像データに基づく信号処理の第１の具体例について、図７を参照して説明する。本処理例は、例えば低照度の下で撮影された画像など、ノイズを多く含む画像についてのノイズ低減処理を図４または図６に示す撮像素子（イメージャ）を適用して撮影した１枚の画像データに基づいて実行する処理例である。
【００５６】
図７は、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）１０１において撮影された画像の信号処理によって、輝度信号（Ｙ）と、２つの色差信号（Ｒ−Ｙ）、（Ｂ−Ｙ）を取得するための信号処理構成を示す図である。なお、撮像素子によって取得されたデータに対しては、例えばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図７には示していない。
【００５７】
図７に示す構成は、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）１０１によって取得される信号から、Ａ素子の取得信号であるモザイク画像を取得し、広波長領域信号によるＡデモザイク画像を輝度信号として生成する輝度信号生成部と、ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を取得し、可視光領域信号に対応するＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づく色差信号を生成する色差信号生成部とから構成される。図７において、ローパスフィルタ１１１が輝度信号生成部に相当し、ローパスフィルタ１１２〜１１７およびマトリクス演算部１１７が色差信号生成部に相当する。
【００５８】
図７の構成を適用した信号処理について説明する。まず、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）１０１において撮影された信号は、ＡＤ変換部１０２においてデジタルデータに変換される。ここで、生成される信号は、ＲＧＢＡ各々に対応する４つのモザイク画像となる。
【００５９】
例えば、図４を参照して説明した色配列を持つ撮像素子を適用した場合、図８（１）に示すような４つのＲＧＢＡ各々のモザイク画像が取得される。これらの４つのモザイク画像は、画素値の存在しない画素部分を周囲の画素値によって補間する処理によって、全ての画素の画素値を設定する補間処理を実行するローパスフィルタ１１１〜１１６にそれぞれ入力され、デモザイク処理が実行される。
【００６０】
デモザイク処理は、先に図３を参照して説明したように、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、すべての画素の画素値を設定する処理によって行なわれる。例えば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行うアルゴリズムである。
【００６１】
このデモザイク処理は、画素値の存在しない画素部分の画素値を周囲画素の画素値によって決定する処理である。この処理には、いわゆる二次元ＦＩＲフィルタによって行なわれる。すなわち、画素位置に対応する係数を持つフィルタが適用される。なお、Ｒ，Ｂについては、２段階のローパスフィルタが適用され、オフセットサブサンプリングに対応する補間フィルタとしてのローパスフィルタ１１３，１１４での処理の後、ローパスフィルタ１１２と同様のローパスフィルタ１１５，１１６によって、すべての画素の画素値の設定が行なわれる。
【００６２】
この補間処理によって、例えば、図８（２）に示すようなデモザイク画像が得られる。デモザイク画像１５１が、図７に示すローパスフィルタ１１３，１１５における補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像１５２が、図７に示すローパスフィルタ１１２における補間処理によって生成されるＧチャネルのデモザイク画像であり、デモザイク画像１５３が、図７に示すローパスフィルタ１１４，１１６における補間処理によって生成されるＢチャネルのデモザイク画像であり、デモザイク画像１５４が、図７に示すローパスフィルタ１１１における補間処理によって生成されるＡチャネルのデモザイク画像である。
【００６３】
図８（２）に示す４つのデモザイク画像中のＲＧＢＡはモザイク画像によって得られる画素値であり、ｒｇｂａはデモザイク処理によって得られる補間画素値を示している。
【００６４】
図７に示すローパスフィルタ１１１における補間処理によって生成される図８Ｂに示すデモザイク画像１５４は、Ａチャネル、すなわち、ＧＢＲ等の可視光領域の波長と、赤外光（ＩＲ）の波長領域を含む光の強度に対応する画素値が、各画素に設定されることになる。このデモザイク画像は、図７に示すように、ローパスフィルタ１１１からの出力として得られ、その信号は、
Ａ＝Ｙ＋ＩＲ
となり、先に図５を参照して説明したように、Ａ信号は、可視光領域から赤外光領域を含み、より広範囲の波長の光成分を含むデモザイク画像が出力される。
【００６５】
一方、ローバスフィルタ１１２〜１１６において生成されたＲＧＢ対応のデモザイク画像、すなわち、図８（２）に示すデモザイク画像１５１〜１５３は、図７に示すマトリクス演算部１１７に入力され、ＲＧＢ各信号に基づくマトリックス演算によって、色差信号［Ｒ−Ｙ］、［Ｂ−Ｙ］が生成されて出力される。
【００６６】
従来のベイヤー配列、例えば、先に図１（ｂ）を参照して説明したベイヤー配列（ＹＧＢＲ）の構成を持つ撮像素子を適用して、図７に示す信号処理回路を適用して輝度信号と、色差信号を生成した場合、輝度信号は、可視光領域の波長成分のみしか含まない輝度信号（Ｙ）となるが、本発明に従った図４または図６に示すＲＧＢＡの色配列を持つ撮像素子を適用することで、可視光および赤外光を含む広範囲の波長の光成分を含むＡチャネルのデモザイク画像を得ることができ、これを輝度信号［Ａ＝Ｙ＋ＩＲ］として使用することができる。
【００６７】
このように、輝度成分に赤外光成分を含めることで、照度の低い環境で撮影された画像データにおいても、赤外光成分のレベル差が検出される環境下では、Ａチヤネル対応のデモザイク画像の各画素の画素値は、赤外光成分のレベル差を反映したデータとなり、照度の低い環境で撮影された画像データのＳ／Ｎ比を改善することが可能となる。本構成は、例えば、高い色再現性を要求されないが感度やＳ／Ｎ比を高める必要がある監視カメラなどの用途に適している。
【００６８】
［３．画像信号処理例２］
次に、本発明の第２の画像信号処理例について、図９以下を参照して説明する。図７を参照して説明した信号処理回路は、輝度成分に赤外光を含むため、可視光データのみに基づく色解析処理を行なう構成に比較して色再現性が劣るという問題がある。以下に示す信号処理例は、この点を改善し、色再現性を高めた構成である。
【００６９】
第２の画像信号処理構成について図９を参照して説明する。本処理例も先の処理例と同様、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）２０１において撮影された画像の信号処理を行う。本処理例では、出力としてＲＧＢの色信号を出力する。なお、図９に示す回路構成も、先に説明した処理例１と同様、例えばホワイトバランス調整などの処理などは、従来と同様の処理であり、図には示していない。
【００７０】
図９に示す構成は、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）２０１によって取得される信号から、Ａ素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応するＡデモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出部と、ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、可視光領域信号に対応するＲＧＢデモザイク画像を生成し、ＲＧＢデモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出部と、第１色成分抽出部の抽出した色成分信号と、第２色成分抽出部の抽出した色成分信号との合成処理を実行する合成処理部とによって構成される。
【００７１】
図９に示す構成において、ローパスフィルタ２１１、ハイパスフィルタ２２１、マトリクス演算部２２２が第１色成分抽出部に相当し、ローパスフィルタ２１２〜２１６、マトリクス演算部２１７が、第２色成分抽出部に相当し、加算部２３１〜２３３が合成処理部に相当する。
【００７２】
なお、第１色成分信号抽出部におけるローパスフィルタ２１１は、広波長領域信号取得素子（Ａ素子）の取得信号であるＡモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成部として機能し、ハイパスフィルタ２２１は、Ａデモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部として機能し、マトリクス演算部２２２は、広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部として機能する。
【００７３】
図９の構成を適用した信号処理について説明する。まず、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）２０１において撮影された画像は、ＡＤ変換部２０２においてデジタルデータに変換される。ここで、生成される信号は、ＲＧＢＡ各々に対応する４つのモザイク画像となる。
【００７４】
例えば、図４を参照して説明した色配列を持つ撮像素子を適用した場合、図８（１）に示すような４つのＲＧＢＡ各々のモザイク画像が取得される。これらの４つのモザイク画像は、画素値の存在しない画素部分を周囲の画素値によって補間する処理によって、全ての画素の画素値を設定する補間処理を実行するローパスフィルタ２１１〜２１６にそれぞれ入力され、デモザイク処理が実行される。これらの処理は、先に図７を参照して説明した処理例１と同様の処理である。
【００７５】
ローパスフィルタ２１１〜２１６における補間処理によって、例えば、図８（２）に示すようなデモザイク画像が得られる。デモザイク画像１５１が、図９に示すローパスフィルタ２１３，２１５における補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像１５２が、図９に示すローパスフィルタ２１２における補間処理によって生成されるＧチャネルのデモザイク画像であり、デモザイク画像１５３が、図９に示すローパスフィルタ２１４，２１６における補間処理によって生成されるＢチャネルのデモザイク画像であり、デモザイク画像１５４が、図９に示すローパスフィルタ２１１における補間処理によって生成されるＡチャネルのデモザイク画像に相当する。
【００７６】
図９に示すローパスフィルタ２１１における補間処理によって生成されるデータは、図８に示すデモザイク画像１５４であり、Ａチャネル、すなわち、ＧＢＲ等の可視光領域の波長と、赤外光（ＩＲ）の波長領域を含む光の強度に対応する画素値が、各画素に設定されたデモザイク画像である。
【００７７】
本処理例では、このＡチャネルのデモザイク画像をハイパスフィルタ２２１に入力し、Ａチャネルのデモザイク画像から高周波成分を抽出する。ハイパスフィルタ２２１は、例えば、以下の式（式１）に示す係数、あるいは、図１０に示す係数を持つフィルタである。
【数１】
0004730082.tif 000002
【００７８】
ハイパスフィルタ２２１は、例えば高域成分を抽出するＦＩＴフィルタである。ハイパスフィルタ２２１は、Ａチャネルのデモザイク画像から高周波成分を抽出し、Ａチャネル高周波成分抽出結果画像を生成する。
【００７９】
さらに、Ａチャネルのデモザイク画像から生成されたＡチャネル高周波成分抽出結果画像は、マトリクス演算部２２２に入力される。マトリクス演算部２２２では、Ａチャネルに含まれるＲＧＢ各々の波長成分データが抽出される。前述したようにＡチャネルは可視光成分と赤外光成分の両方の波長領域情報を含んでおり、ＲＧＢに相当する波長成分信号も含まれる。マトリクス演算部２２２は、Ａチャネル高周波成分抽出結果画像からＲＧＢ要素を抽出する。
【００８０】
マトリクス演算部２２２は、例えば、以下の式（式２）に示す係数を持つ。
【数２】
0004730082.tif 000003
【００８１】
上記式において、
Ａｈｐｆ：Ａチャネル高周波成分抽出結果画像の画素値（入力）
Ｒｈｐｆ：Ａチャネル高周波成分抽出結果画像から抽出されるＲ信号（出力）
Ｇｈｐｆ：Ａチャネル高周波成分抽出結果画像から抽出されるＧ信号（出力）
Ｂｈｐｆ：Ａチャネル高周波成分抽出結果画像から抽出されるＢ信号（出力）
である。マトリクス演算部２２２は、Ａチャネル高周波成分抽出結果画像を構成する各画素の画素値［Ａｈｐｆ］に基づいて、ＲＧＢ各成分［Ｒｈｐｆ，Ｇｈｐｆ，Ｂｈｐｆ］を抽出する。
【００８２】
一方、ローパスフィルタ２１２〜２１６における補間処理によって生成されたＲＧＢデモザイク画像は、マトリクス演算部２１７に入力され、ＲＧＢデモザイク画像に含まれるＲ信号、Ｇ信号、Ｂ信号を選択抽出するためのマトリクス演算が実行され、選択抽出されたＲＧＢ信号を出力する。
【００８３】
次に、加算部２３１〜２３３において、ＲＧＢデモザイク画像に基づいて生成されたマトリクス演算部２１７からのＲＧＢ信号と、Ａデモザイク画像の高周波成分画像から抽出されたＲＧＢ信号の各々が加算され、最終的な出力信号としてのＲＧＢ信号を生成して出力する。
【００８４】
本処理例では、可視光成分、赤外光成分を含む広い波長領域からなる信号成分画像としてのＡチャネル画像に基づいて高周波成分抽出画像を生成し、この高周波成分抽出画像からＲＧＢ信号を抽出して、ＲＧＢデモザイク画像から抽出したＲＧＢ信号に加算する処理構成とした。より広い波長領域の信号成分を含むＡチャネル画像に基づく高周波成分抽出画像を適用することで、解像度の高い画像をえることが可能となる。また、Ａチャネル画像からＲＧＢ信号を取得して、ＲＧＢデモザイク画像から抽出したＲＧＢ信号に加算することで、より正確なＲＧＢ信号を生成して出力することが可能となり、色再現性を高めることが可能となる。
【００８５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８７】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００８８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００９０】
以上、説明したように、本発明の構成によれば、ＲＧＢ信号等の可視光信号を取得する特定波長領域信号取得素子と、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データに基づいて、赤外成分を含む輝度信号と、色差信号、あるいはＲＧＢの色信号を生成する構成としたので、可視光成分の少ない低照度環境下での撮影画像について解像度の高い高品質な画像を取得することが可能であり、ＲＧＢおよび赤外成分を持つＡチャネル画像に基づく色補正を行なうことで、色再現性の高い画像を生成することが可能となる。
【図面の簡単な説明】
【００９１】
【図１】一般的なカラーフィルタで用いられる色配列としてのベイヤー配列の例について説明する図である。
【図２】単板カラー方式の固体撮像素子を具備する撮像装置の構成を示す図である。
【図３】デモザイク処理について説明する図である。
【図４】本発明において適用する撮像素子の色配列について説明する図である。
【図５】本発明において適用する撮像素子におけるフィルタの光透過率を示す図である。
【図６】本発明において適用する撮像素子の色配列について説明する図である。
【図７】本発明の一実施例に係る画像信号処理構成（処理例１）を説明する図である。
【図８】本発明の処理において生成されるモザイク画像とデモザイク画像について説明する図である。
【図９】本発明の一実施例に係る画像信号処理構成（処理例２）を説明する図である。
【図１０】本発明の一実施例に係る画像信号処理構成（処理例２）中のハイパスフィルタの係数について説明する図である。
【符号の説明】
【００９２】
１１  光学レンズ
１２  カラーフィルタ
１３  固体撮像素子
１４  カメラ信号処理部
１５  動画像圧縮部
１６  記録部
２０  固体撮像素子の出力画像
２１  デモザイク処理部
２２  デモザイク処理部の出力するＲ，Ｇ，Ｂ信号
１０１  撮像素子（ＣＣＤ）
１０２  ＡＤ変換部
１１１〜１１６  ローパスフィルタ
１１７  マトリクス演算部
２０１  撮像素子（ＣＣＤ）
２０２  ＡＤ変換部
２１１〜２１６  ローパスフィルタ
２１７  マトリクス演算部
２２１  ハイパスフィルタ
２２２  マトリクス演算部
【図１】
0004730082.tif 000004
【図２】
0004730082.tif 000005
【図３】
0004730082.tif 000006
【図４】
0004730082.tif 000007
【図５】
0004730082.tif 000008
【図６】
0004730082.tif 000009
【図７】
0004730082.tif 000010
【図８】
0004730082.tif 000011
【図９】
0004730082.tif 000012
【図１０】
0004730082.tif 000013