(57)【特許請求の範囲】
【請求項１】
２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列により生成される原画像情報から、その原画像情報に対して画素密度１／（２Ｎ）２（ただし、Ｎは１以上の整数）の画像を生成する画像生成装置であって、
共有画素を持たない隣接する（２Ｎ）２個の画素配列を単位として、前記（２Ｎ）２個の画素配列毎にその（２Ｎ）２個の画素を加算することによって前記画素密度１／（２Ｎ）２の画像に対応する各画素点の高域輝度信号を求め、前記（２Ｎ）２個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記（２Ｎ）２個の画素配列を単位とする前記各画素点の低域原色信号およびこれに基づいた低域輝度信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域輝度信号に加算することにより前記各画素点の輝度信号を算出すると共に、前記低域原色信号および前記低域輝度信号に基づいて前記各画素点の色差信号を算出するように構成されていることを特徴とする画像生成装置。
【請求項２】
２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列により生成される原画像情報から、その原画像情報に対して画素密度１／（２Ｎ）２（ただし、Ｎは１以上の整数）の画像を生成する画像生成装置であって、
共有画素を持たない隣接する（２Ｎ）２個の画素配列を単位として、前記（２Ｎ）２個の画素配列毎にその（２Ｎ）２個の画素を加算することによって前記画素密度１／（２Ｎ）２の画像に対応する各画素点の高域輝度信号を求め、前記（２Ｎ）２個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記（２Ｎ）２個の画素配列を単位とする前記各画素点の低域原色信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域原色信号に加算することにより前記各画素点の原色信号を算出するように構成されていることを特徴とする画像生成装置。
【請求項３】
前記原画像情報は、２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列の撮像素子の全画素を個別に読み出した情報であることを特徴とする請求項１または２記載の画像生成装置。
【請求項４】
前記Ｎの値は１であり、画素密度１／４の画像に対応する各画素点の高域輝度信号を２×２の単位配列毎にそれら４画素を加算することによって求めることを特徴とする請求項１乃至３のいずれか１項記載の画像生成装置。
【請求項５】
２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列の撮像素子と、前記撮像素子を駆動して前記撮像素子の全画素の情報を個別に読み出す駆動手段と、前記撮像素子から読み出された全画素分の情報から、その全画素の情報に対して画素密度１／（２Ｎ）２（ただし、Ｎは１以上の整数）の画像を生成する画像生成手段とを具備し、前記画像生成手段によって生成された画像を所定の記録フォーマットに従い記録媒体に記録可能な撮像装置であって、
前記画像生成手段は、
共有画素を持たない隣接する（２Ｎ）２個の画素配列を単位として、前記（２Ｎ）２個の画素配列毎にその（２Ｎ）２個の画素を加算することによって前記画素密度１／（２Ｎ）２の画像に対応する各画素点の高域輝度信号を求め、前記（２Ｎ）２個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記（２Ｎ）２個の画素配列を単位とする前記各画素点の低域原色信号およびこれに基づいた低域輝度信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域輝度信号に加算することにより前記各画素点の輝度信号を算出すると共に、前記低域原色信号および前記低域輝度信号に基づいて前記各画素点の色差信号を算出するように構成されていることを特徴とする撮像装置。
【請求項６】
２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列の撮像素子と、前記撮像素子を駆動して前記撮像素子の全画素の情報を個別に読み出す駆動手段と、前記撮像素子から読み出された全画素分の情報から、その全画素の情報に対して画素密度１／（２Ｎ）２（ただし、Ｎは１以上の整数）の画像を生成する画像生成手段とを具備し、前記画像生成手段によって生成された画像を所定の記録フォーマットに従い記録媒体に記録可能な撮像装置であって、
前記画像生成手段は、
共有画素を持たない隣接する（２Ｎ）２個の画素配列を単位として、前記（２Ｎ）２個の画素配列毎にその（２Ｎ）２個の画素を加算することによって前記画素密度１／（２Ｎ）２の画像に対応する各画素点の高域輝度信号を求め、前記（２Ｎ）２個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記（２Ｎ）２個の画素配列を単位とする前記各画素点の低域原色信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域原色信号に加算することにより前記各画素点の原色信号を算出するように構成されていることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像生成装置および撮像装置に関し、特にベイヤ配列を用いて生成される原画像情報であるベイヤ読み出し情報を用いて記録用の画像信号を生成する画像生成装置および撮像装置に関する。
【０００２】
【従来の技術】
従来より、色配列としてベイヤ配列を用いた単板カラー撮像装置が広く用いられている。ここで扱うベイヤ配列とは、２×２の４画素を単位配列とする周期配列で、その単位配列の４画素中２画素が同色であり、この同色の２画素が対角配置されたものである。代表的なＲＧＢベイヤ配列の一例を図４に示す。
【０００３】
図４に示すようなＲＧＢベイヤ配列を用いてコンポーネント色信号（Ｒ、Ｇ、ＢあるいはＹ、Ｒ−Ｙ、Ｂ−Ｙ）を生成する信号処理方式には各種あるが、典型的な例を以下に示す。
【０００４】
なお、以下では、原画素点および着目点（生成画素点）の座標を（ｉ,ｊ）とし、また簡単のためにＲ，Ｇ，Ｂ毎にインデックス関数ｅＧ，ｅＲ，ｅＢを導入することにする。図４の左端と上端に示すように原画素点と生成画素点では格子位相が半ピッチずれているから、同じ数値の座標の場合にも空間位置がその分だけ異なっている。また、インデックス関数ｅＧはある信号処理領域の中からＧ成分のみを抽出するための関数であり、Ｇの画素領域に対しては“１”、他の色の画素領域に対しては“０”となる。例えば図４のＲ００，Ｇ０１，Ｇ１０，Ｂ１１の４画素に対してインデックス関数ｅＧを適用すると、“０”，“１”，“１”，“０”が得られることになる。ｅＲ，ｅＢについても同様である。
【０００５】
高域輝度信号ＨＹ（ｉ，ｊ）は、共有画素を含むように１画素ずつずらして組み合わせを変えた４画素単位｛(R00,G01,G10,B11),(G01,R02,B11,G12),(R02,G03,G12,B13),(G03,R04,B13,G14),(R04,G05,G14,B15),…｝でそこに含まれるＧのみを用いて生成される。
HY(i,j)=Σ[2×2(i,j)]eG×P(i’,j’)  …（１）
ここで、記号Σ[2×2(i,j)]は着目点（ｉ,ｊ）の隣接する２×２の（原画素の）４画素領域に関する（画素座標を変数とする）総和を意味し、またＰ(ｉ’,ｊ’)は座標(ｉ’,ｊ’)の原画素の信号出力値を示している。よって、図４の（ｉ，ｊ）＝（０，０）に対応する高域輝度信号ＨＹ（ｉ，ｊ）｛＝ＨＹ（０，０）｝は、近接する４画素Ｒ００，Ｇ０１，Ｇ１０，Ｂ１１の中の、Ｇ０１とＧ１０の画像信号の和から生成されることになる。同様にして、Ｇ０１とＧ１２の画像信号の和からＨＹ（０，１）が、Ｇ１２とＧ０３の画像信号の和からＨＹ（０，２）が生成される。
【０００６】
このようにして求めた各高域輝度信号ＨＹ（ｉ，ｊ）に関して、それぞれ隣接する（生成画素点の）座標の高域輝度信号ＨＹ（ｉ−１，ｊ），ＨＹ（ｉ，ｊ−１），ＨＹ（ｉ，ｊ＋１），ＨＹ（ｉ＋１，ｊ）との差分信号を求め、これを輝度エッジ信号ＡＰ（アパーチャー信号）とする。
AP(i,j)=4HY(i,j)-{HY(i-1,j)+HY(i,j-1)+HY(i,j+1)+HY(i+1,j)}  …（２）
また、低域原色信号ＬＲ，ＬＧ，ＬＢについては、高域輝度信号ＨＹよりも大きな領域、例えば着目点（ｉ,ｊ）の周囲の４×４＝１６画素の平均値、すなわちＧについては１６画素中に含まれる８画素の画素信号の平均値、Ｒ，Ｂについては１６画素中に含まれる対応する４画素の画素信号の平均値を用いて算出される。上記と同様の表記を用いれば、
LR(i,j)={Σ[4×4(i,j)]eR×P(i’,j’)}/4  …（３）Ｒ
LG(i,j)={Σ[4×4(i,j)]eG×P(i’,j’)}/8  …（３）Ｇ
LB(i,j)={Σ[4×4(i,j)]eB×P(i’,j’)}/4  …（３）Ｂ
低域輝度信号ＬＹは、0.3Ｒ＋0.59Ｇ＋0.11Ｂのマトリクス演算を低域原色信号ＬＲ，ＬＧ，ＬＢに対して施すことにより、
LY(i,j)=0.3LR(i,j)+0.59LG(i,j)+0.11LB(i,j)  …（４）
によって求められる。
【０００７】
広帯域の輝度信号Ｙ、および色差信号Ｒ−Ｙ，Ｂ−Ｙは、
Y(i,j)=LY(i,j)+k×AP(i,j)
R-Y(i,j)=LR(i,j)-LY(i,j)
B-Y(i,j)=LB(i,j)-LY(i,j)  …（５）
によって算出される。ｋは所定の計数である。式（５）をＲ，Ｇ，Ｂ信号で表すと、
R(i,j)=LR(i,j)+k×AP(i,j)
G(i,j)=LG(i,j)+k×AP(i,j)
B(i,j)=LB(i,j)+k×AP(i,j)  …（６）
となる。この式（６）は式（５）と全く等価なものである。
【０００８】
このように、式（１）（２）によって求めた輝度エッジ信号（高域輝度信号）ＡＰを、式（４）で得られる低域輝度信号ＬＹに加えることで広帯域の輝度信号Ｙを得ることができるが、色差信号Ｒ−Ｙ，Ｂ−Ｙについては、低域のみで処理することで、式（６）からも分かるように、ＲＧＢそれぞれの低域原色信号ＬＲ，ＬＧ，ＬＢの上にＲＧＢでどれも同じ（従って無彩色の）高域信号（ｋ×ＡＰ）が重畳される形となるのでエッジ部の偽色が生じにくい信号処理となっている。（例えばこのような帯域別処理を行なわずベイヤの単位４画素のみの情報からそのまま（広帯域の）輝度信号を算出し、単純にマトリクス演算を行なうと、エッジ部に偽色が顕著に生じてしまう不都合がある。）
また、式（１）により高域輝度信号ＨＹはＧのみから求めているから、色エッジ部による輝度信号のギザも抑えられている。
【０００９】
すなわち式（１）を書き下せば
HY(i,j)=G(i,j+1)+G(i+1,j)  …ｉ＋ｊが偶数の場合
G(i,j)+G(i+1,j+1)  …ｉ＋ｊが奇数の場合
となり、原画素Ｇの情報は、隣接する４生成点に広がってはいるものの（例えばＧ１２の場合は、(i,j)＝(0,1)，(0,2)，(1,1)．(1,2)の４生成点）、１生成点に対する寄与は常に１／２であって、隣接する同色Ｇの原画素点の情報と平均されるから、スムージング効果によってギザは目立たない。つまり、原画素Ｇについては必ず同色Ｇの原画素点が隣接するので（例えばＧ１２については、Ｇ０１，Ｇ０３，Ｇ２１，Ｇ２３）、４生成点のどの生成点についても、隣接する２つの原画素Ｇから信号が作られることになる。
【００１０】
この点補足すれば、高域輝度信号ＨＹをＧのみから求めるということはＲＢの情報を捨てていることになるから、その分ＳＮの低下を招いているものであるが、もしＲＢも加算すると色エッジ部による輝度信号のギザが強く生じるため好ましくないものである。すなわち、ベイヤ単位配列の４画素全てを加算して高域輝度信号ＨＹを生成する場合、つまり、式（１）の代わりに、
HY(i,j)=Σ[2×2(i,j)]×P(i’,j’)  …（１）’
とした場合、これを書き下せば
HY(i,j)
=R(i,j)+G(i,j+1)+G(i+1,j)+B(i+1,j+1)  …ｉ，ｊがともに偶数の場合
=G(i,j)+R(i,j+1)+B(i+1,j)+G(i+1,j+1)  …ｉが偶数、ｊが奇数の場合
=G(i,j)+B(i,j+1)+R(i+1,j)+G(i+1,j+1)  …ｉが奇数、ｊが偶数の場合
=B(i,j)+G(i,j+1)+G(i+1,j)+R(i+1,j+1)  …ｉ，ｊがともに奇数の場合
となり、ＲまたはＢの原画素情報は隣接する４生成点に、寄与１で広がることになる。すなわち、ＲまたはＢに関しては４生成点のどの生成点についても隣接する同色の原画素を持たないので、各々の隣接４生成点に関して言えば全く同じ情報となっているものである（１画素のみの情報がそのまま隣接４生成点の情報となる）。従って、例えばＧ，Ｂ情報を含まない赤のエッジ部あるいはＲ，Ｇ情報を含まない青のエッジ部や赤と青のエッジ部では、実質的に画素密度が１／４に下がったのと同じ状態となり、見かけ上は４点ある画素が実際には１画素でしかないので、上記ギザが生じるものである。特にこれは局所的に生じるため、画像全体の一様な解像度低下よりもより一層顕著に目立つものであった。
【００１１】
このような事情から、ＳＮの低下を含んでもなお、上記Ｇのみを用いた処理が用いられているものであった。そして、上記のような処理により、撮像素子の画素数（被写体に対する画素密度）と同じ画素数（画素密度）の高解像度な画像生成が可能となっている。
【００１２】
【発明が解決しようとする課題】
一方、近年では撮像素子の高画素化が進み、画像の記録に際して撮像素子の画素数と同数の記録は必ずしも適当では無くなりつつある。すなわち、最近では、４００万画素の撮像素子を用いたものも民生用として供給されつつあり、今後６００万画素、さらには１０００万画素を持つものも実現されることが予想されている。このような多画素化（高画素密度化）に伴い、撮像素子の画素数と同数の記録画素数で記録画像を生成したのでは、記録画像のファイルサイズの肥大によりパーソナルコンピュータなどの実使用環境では過負荷となることはもちろん、フレームレートの低下、さらには撮像素子の１画素当たりの蓄積光電荷量の不足という撮像素子そのものによる原理的な要因によって画質（Ｓ／Ｎ、ダイナミックレンジ）が劣化する、という問題を招くことになる。
【００１３】
そこで、本出願人は、先に、標準的な記録画素数が撮像素子の画素数の１／４（縦横ともに１／２）であるような撮像装置を提案している（特願２０００−１７３９４７号明細書）。この撮像装置では、撮像素子から出力される例えば４００万画素の画像信号に対して、隣接する画素信号同士を加算して画素数を減らすという加算減数処理を施すことにより１００万画素の画像信号が生成され、これがメモリカードに所定の記録フォーマットで記録される。これにより、十分な感度およびダイナミックレンジを確保できるようになり、記録画質の向上を図ることができる。
【００１４】
しかし、このように例えば縦横ともに１／２の１／４画素数（画素密度が１／４）の記録を行なう際に、上記従来の信号処理を用いた場合は、
（１）上記信号処理により撮像素子画素数と同画素数のコンポーネント画像信号（Ｒ、Ｇ、ＢあるいはＹ、Ｒ−Ｙ、Ｂ−Ｙ）を生成
（２）画素を１／４間引き（または４画素加算）することにより画素密度が１／４の画像を生成
（３）圧縮等を含めた記録画像に対する信号処理を行なって画像を記録する
という手順が必要となる。
【００１５】
これは、２段階の、しかも１／４という記録画素密度に対してその４倍の画素信号（しかも加算でなく間引きの場合は不要な信号の方が多い）を一旦生成する処理を含むからメモリや演算時間を浪費する上、上記Ｇ信号しか用いてないことによるＳＮ劣化を伴うものであった。
【００１６】
本発明は上述の事情を考慮してなされたものであり、原画像情報からそれよりも低画素密度の画像を生成する場合に最適な信号処理の実現を図ることにより、信号処理の無駄を無くし、かつ疑似信号の増加を招くことなく記録画像のＳＮの向上を実現することが可能な画像生成装置および撮像装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列により生成される原画像情報から、その原画像情報に対して画素密度１／（２Ｎ）２（ただし、Ｎは１以上の整数）の画像を生成する画像生成装置であって、共有画素を持たない隣接する（２Ｎ）２個の画素配列を単位として、前記（２Ｎ）２個の画素配列毎にその（２Ｎ）２個の画素を加算することによって前記画素密度１／（２Ｎ）２の画像に対応する各画素点の高域輝度信号を求め、前記（２Ｎ）２個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記（２Ｎ）２個の画素配列を単位とする前記各画素点の低域原色信号およびこれに基づいた低域輝度信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域輝度信号に加算することにより前記各画素点の輝度信号を算出すると共に、前記低域原色信号および前記低域輝度信号に基づいて前記各画素点の色差信号を算出するように構成されていることを特徴とする。
【００１８】
また、本発明は、２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列により生成される原画像情報から、その原画像情報に対して画素密度１／（２Ｎ）２（ただし、Ｎは１以上の整数）の画像を生成する画像生成装置であって、共有画素を持たない隣接する（２Ｎ）２個の画素配列を単位として、前記（２Ｎ）２個の画素配列毎にその（２Ｎ）２個の画素を加算することによって前記画素密度１／（２Ｎ）２の画像に対応する各画素点の高域輝度信号を求め、前記（２Ｎ）２個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記（２Ｎ）２個の画素配列を単位とする前記各画素点の低域原色信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域原色信号に加算することにより前記各画素点の原色信号を算出するように構成されていることを特徴とする。
【００１９】
これら本発明の画像生成装置においては、画素密度１／（２Ｎ）２（ただし、Ｎは１以上の整数）の画像に対応する各画素点の高域輝度信号を共有画素を持たない（２Ｎ）２個の画素配列を単位としてそれら（２Ｎ）２個の画素を加算して作り、これより大きい色信号処理領域から求めた低域原色信号と上述の高域輝度信号から求めた輝度エッジ信号とから所定のコンポーネント信号を各画素点毎に算出している。これにより、無駄な画素点生成が不要で、かつ輝度エッジ信号にＲＢ情報を含むことでＳＮの向上を図ることができる。しかも、このように（２Ｎ）２個の画素配列を単位とする全画素加算によってＲＢ情報を含む輝度エッジ信号を生成しても、各原画素は生成画素１つにしか寄与しないから、色エッジによるギザの発生はない。よって、原画像情報からそれよりも低画素密度の画像を生成する場合に最適な信号処理の実現を図ることができる、信号処理の無駄を無くし、かつ疑似信号の増加を招くことなく記録画像のＳＮの向上を実現することが可能となる。
【００２０】
前記原画像情報としては、２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列の撮像素子の全画素を個別に読み出した情報を利用することができる。これにより、４００万画素、６００万画素あるいはそれ以上の多画素化された撮像素子からの全画素読み出しによって得られた情報から、容易に高画質の画像を生成することが可能となる。
【００２１】
また、前記Ｎの値は１とし、画素密度１／４の画像を２×２のベイヤ単位配列を単位とする画素点毎に生成することが好ましい。これにより、画質と解像度の双方をバランス良く保つことが可能となる。
【００２２】
また、本発明の画像生成装置をデジタルカメラなどの撮像装置に適用することにより、多画素化された撮像素子を利用する場合でも、記録画像のファイルサイズの増大等の問題を招くことなく、高画質の記録画像を得ることが可能となる。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１には、本発明の一実施形態に係わる撮像装置の構成が示されている。ここでは、デジタルカメラとして実現した場合を例示して説明することにする。
【００２４】
図中１０１は各種レンズからなる撮像レンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞りを制御するための露出制御機構、１０４はローパスおよび赤外カット用の光学フィルタ、１０５はベイヤ配列のカラーフィルタを備えたＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はゲインコントロールアンプ，Ａ／Ｄ変換器等を含むプリプロセス回路、１０８はコンポーネント信号生成処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はメモリカード、１１１はＬＣＤ画像表示系を示している。
【００２５】
撮像素子１０５としては、例えば４００万画素ベイヤ配列の順次走査型のものなどが利用される。
【００２６】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種スイッチからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７はストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００２７】
本実施形態のデジタルカメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、特にＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に取込んで記録用の画像信号を生成した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００２８】
本実施形態のデジタルカメラに於いては、記録画素数が撮像素子１０５の画素数の１／（２Ｎ）２（縦横とも１／２Ｎ）となるような画素加算撮像をデフォルトの撮影モードとして使用して被写体の撮像・記録を行うように構成されている。ここで、Ｎは１以上の整数である。以下、Ｎ＝１の場合、つまり撮像素子１０５の画素数の１／４（縦横とも１／２）の記録画像を得る場合を例示して、その画像生成のための信号処理について説明する。
【００２９】
（画素生成点）
図２には、ＣＣＤ撮像素子１０５から得られる原画像情報である４００万画素のベイヤ読み出し情報とこのベイヤ読み出し情報から１００画素の記録画像を得るための画素点（画素生成点）との関係が示されている。この図２においては、撮像素子１０５として、図４よりも２×２の４倍細密（高密度）なものを利用する場合を想定している。
【００３０】
本実施形態では、図２の太線で示すように、オーバーラップしない２×２のベイヤ単位画素配列毎に１つの割合で画素点ＨＹ（黒丸で図示）が生成される。つまり、画素点（ＨＹ）は共有画素を持たない（重複無しの）隣接する２×２の４画素単位で生成される。すなわち、着目する生成画素点の座標を（ｉ,ｊ）とすると、ｉ＝２ｍ（偶数）、かつｊ＝２ｎ（偶数）の点でのみ以下の信号生成を行なう。
【００３１】
（コンポーネント信号の生成）
高域輝度信号ＨＹ（ｉ，ｊ）は、共有画素を持たない４画素単位｛(R00,G01,G10,B11),(R02,G03,G12,B13),(RO4,G05,G14,B15),…｝でそこに含まれる４画素全てを用いて生成される。
【００３２】
0004334740.tif 000002
ここで、総和記号Σ[2×2(i,j)]およびＰ(ｉ’,ｊ’)の意味は上記従来例と同じである。
【００３３】
このようにして求めた各高域輝度信号ＨＹ（ｉ，ｊ）に関して、それぞれ隣接する生成画素点の高域輝度信号ＨＹ（ｉ−２，ｊ），ＨＹ（ｉ，ｊ−２），ＨＹ（ｉ，ｊ＋２），ＨＹ（ｉ＋２，ｊ）との差分信号を求め、これを輝度エッジ信号ＡＰ（アパーチャー信号）とする。
AP(i,j)=4HY(i,j)-{HY(i-2,j)+HY(i,j-2)+HY(i,j+2)+HY(i+2,j)}  …（８）
また、各生成画素点の低域原色信号ＬＲ，ＬＧ，ＬＢについては、高域輝度信号ＨＹよりも大きな領域、例えば着目点（ｉ,ｊ）の周囲の４×４＝１６画素の平均値、すなわちＧについては１６画素中に含まれる８画素の画素信号の平均値、Ｒ，Ｂについては１６画素中に含まれる対応する４画素の画素信号の平均値を用いて算出される。
LR(i,j)={Σ[4×4(i,j)]eR×P(i,j)}/4  …（９）Ｒ
LG(i,j)={Σ[4×4(i,j)]eG×P(i,j)}/8  …（９）Ｇ
LB(i,j)={Σ[4×4(i,j)]eB×P(i,j)}/4  …（９）Ｂ
ここで、ｅＧ，ｅＲ，ｅＢは前述のインデックス関数である。なお、本実施形態では、重複無しの４画素単位で１／４画像を得るための画素点を生成しているので、従来の式（３）に従えば８×８＝６４画素を色信号処理領域とすることになるが、式（９）で４×４＝１６画素を色信号処理領域としているのは、色解像度（分解能）を従来よりも高めるためである。
【００３４】
各生成画素点の低域輝度信号ＬＹは、0.3Ｒ＋0.59Ｇ＋0.11Ｂのマトリクス演算を低域原色信号ＬＲ，ＬＧ，ＬＢに対して施すことにより、
LY(i,j)=0.3LR(i,j)+0.59LG(i,j)+0.11LB(i,j)  …（１０）
によって求められる。
【００３５】
そして、各生成画素点の広帯域の輝度信号Ｙ、および色差信号Ｒ−Ｙ，Ｂ−Ｙは、
Y(i,j)=LY(i,j)+k×AP(i,j)
R-Y(i,j)=LR(i,j)-LY(i,j)
B-Y(i,j)=LB(i,j)-LY(i,j)  …（１１）
によって算出される。ｋは所定の計数である。
【００３６】
なお、画像のコンポーネント信号を原色信号Ｒ，Ｇ，Ｂで表現する場合には、式（１０）の低域輝度信号の算出は不要となり、低域原色信号ＬＲ，ＬＧ，ＬＢに輝度エッジ信号ＡＰを加算することによって、
R(i,j)=LR(i,j)+k×AP(i,j)
G(i,j)=LG(i,j)+k×AP(i,j)
B(i,j)=LB(i,j)+k×AP(i,j)）  …（１２）
として求められる。
【００３７】
このようにして算出されたコンポーネント画像信号には必要に応じて圧縮を含む記録処理が施され、所定フォーマットの画像データとしてメモリカード１１０に記録される。
【００３８】
以上のように、本実施形態においては、図４で説明した従来のものよりも２×２＝４倍細密な（高密度な）撮像素子を用いて従来と同等の記録画素数（例えば１００万画素）の画像を生成しているので、
・輝度解像度（高域レスポンス）は生成画素の実質開口が小さい分高くなる
・各原画素は生成画素１つにしか寄与せず画素の広がりが無いから、色エッジによるギザも無くなる。
【００３９】
・８×８＝６４画素ではなく、４×４＝１６画素を色信号処理領域としているので、色解像度（分解能）も高い。
【００４０】
また、この同じ高密度な撮像素子を用いて、従来の信号処理処理を行なった場合には図３のように４００万画素の生成画素点毎にＧのみを用いた高域輝度信号の生成が行われることになり、また４００万画素の生成画素点毎に生成したコンポーネント信号を最後に間引くなどの処理が必要となるため、これと比較すると、
・信号処理に無駄が無く、従って高速、かつバッファメモリも小さくて済む。
【００４１】
・ＲＢ情報を含むためＳＮが向上する。
【００４２】
・局所的なギザの発生が無い。
【００４３】
（・色解像度は同等。）
という効果が得られる。
【００４４】
なお、この他にも様々な実施形態が考えられる。
【００４５】
例えば、上記説明では撮像素子１０５により得られた原画像情報に対して信号処理を施したが、撮像素子１０５により得られた原画像情報を記録媒体等に記録しておき、後にその記録媒体から必要な原画像情報を読み出して上述の信号処理を施すようにしても良い。この場合、画像生成のための信号処理はデジタルカメラなどの撮像装置に限らず、専用の装置やパーソナルコンピュータなどで行うこともできる。
【００４６】
また、インデックス関数は“１”または“０”としたが、式（７）のように全画素を加算する場合をも含めて、着目点からの距離に応じた任意の重み付けを各画素の信号Ｐ（ｉ，ｊ）に対して施しても良い。（上記で“１”としたのは単に説明上の簡単化のためである。）。また、式（７）のように全画素を加算する場合には、輝度マトリクス係数などを用いて、色による重み付けを採用しても良い。さらに、式（９）については、従来と同等の色解像度でよければ、８×８の色信号領域を使用するようにしても良い。
【００４７】
また、本実施形態の信号処理は４画素加算に限らず、任意の（２Ｎ）２加算に拡張する事ができ、画素密度１／（２Ｎ）２（縦横とも１／２Ｎ）となるような信号処理に適用することができる。すなわち、本実施形態では画素密度１／４の画像を生成する場合の信号処理を例示したが、画素密度１／１６、画素密度１／３６、…の画像生成のための信号処理にも適用することができる。いずれの場合も、生成画像点の単位は（２Ｎ）２個の画素毎となり、高域輝度信号はそれら（２Ｎ）２個の画素全ての加算により生成される。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、撮像素子などから得られた原画像情報からそれよりも低画素密度の画像を生成する場合に最適な信号処理を実現できるようになり、信号処理の無駄が無く、かつ疑似信号の増加を招くことなく記録画像のＳＮの向上を図ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る撮像装置の構成を示すブロック図。
【図２】同実施形態の撮像装置で使用される撮像素子により得られる原画像情報とこの原画像情報から低画素密度の画像を生成するための画素生成点との関係を示す図。
【図３】図２の撮像素子により得られる原画像情報に対して従来の信号処理を施す場合の画素生成点を説明するための図。
【図４】撮像素子により得られる従来の原画像情報と画素生成点との関係を示す図。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス回路
１０８…デジタルプロセス回路
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
【図１】
0004334740.tif 000003
【図２】
0004334740.tif 000004
【図３】
0004334740.tif 000005
【図４】
0004334740.tif 000006