(57)【要約】【課題】解像感の劣化を低減することができる撮像装置を提供する。【解決手段】複数色の色フィルタが規則的に２次元配置されたＣＭＯＳイメージセンサ１０２と、ＣＭＯＳイメージセンサ１０２上で同色の色フィルタが配置された複数の画素の信号を加算して読み出すＳＳＧ１０４及びＣＰＵ１０５とを備える。また、ＣＭＯＳイメージセンサ１０２から読み出された信号の位相補償を行う位相補償部１０６を備える。そして、ＳＳＧ１０４及びＣＰＵ１０５は、色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、位相補償部１０６は、色フィルタの色毎に異なる位相補償を行う。【選択図】図１
2010118839.tif 000002
【特許請求の範囲】
【請求項１】
複数色の色フィルタが規則的に２次元配置された撮像素子と、
前記撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す読み出し手段と、
前記撮像素子から読み出された信号の位相補償を行う位相補償手段とを備え、
前記読み出し手段は、前記色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、
前記位相補償手段は、前記色フィルタの色毎に異なる前記位相補償を行うことを特徴とする撮像装置。
【請求項２】
前記読み出し手段は、前記撮像素子上で前記同色の色フィルタが配置された前記複数の画素の信号を加算して読み出す際に、少なくとも１種類の前記色フィルタについては、加算後の画素重心がオフセットサンプリングとなるよう、加算する画素を選択することを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画素の信号を混合して読み出す撮像素子を用いた撮像装置に関する。
【背景技術】
【０００２】
近年、民生用のデジタルカメラ、デジタルビデオカメラ等の撮像装置では、搭載される撮像素子の多画素化が進んでいる。画素数の多い撮像素子を用いると、所定の時間内に撮像素子上の全ての画素から信号を読み出す際、撮像素子を高速に駆動しなければならず、消費電力や発熱といった面から、撮像装置への負荷が大きくなる。
【０００３】
それを避けるため、従来は、撮像素子の一部領域の信号を切り出して読み出す手法や、複数ラインおきに信号を間引いて読み出す手法により、撮像素子からの信号読み出しの負荷を低減させていた。
【０００４】
しかし、このような手法では、撮像素子上の全ての画素を活用できないことや、間引き処理によって生じるエイリアシングによって、画質が劣化するという問題があった。
【０００５】
そこで、切り出しや間引きを行う場合よりも画質劣化を抑えながら、従来と同程度の駆動速度で多画素の撮像素子を駆動するために、撮像素子上で画像信号を加算し、読み出す信号ラインを削減する手法が提案されている。
【０００６】
例えば、特許文献１には、原色ベイヤー配列の撮像素子において、同色の色フィルタが配置されている画素を、それぞれ複数本の垂直転送部に読み出し、読み出した信号電荷を斜め方向に加算する技術が提案されている。
【特許文献１】特開２００７−０８８８４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上記従来技術では、加算される画素間の距離が長いため、解像感の劣化が生じるという問題があった。
【０００８】
本発明の目的は、解像感の劣化を低減することができる撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１記載の撮像装置は、複数色の色フィルタが規則的に２次元配置された撮像素子と、前記撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す読み出し手段と、前記撮像素子から読み出された信号の位相補償を行う位相補償手段とを備え、前記読み出し手段は、前記色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、前記位相補償手段は、前記色フィルタの色毎に異なる前記位相補償を行うことを特徴とする。
【発明の効果】
【００１０】
本発明の撮像装置では、撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す際に、色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、色毎に異なる位相補償を行うことで、解像感の劣化を低減することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を図面を参照しながら詳細に説明する。
【００１２】
（第１の実施の形態）
図１は、本発明に係る撮像装置の第１の構成例を示すブロック図である。
【００１３】
図１には、撮像装置としてビデオカメラが示される。本ビデオカメラは、結像レンズ１０１、原色ベイヤー配列の色フィルタを備えるＣＭＯＳイメージセンサ１０２を備える。
【００１４】
また、本ビデオカメラは、ＣＭＯＳイメージセンサ１０２から読み出されたアナログ映像信号をデジタルデータに変換するＡＤコンバータ（以下、ＡＤＣと略記）１０３、同期信号生成回路（以下、ＳＳＧと略記）１０４を備える。
【００１５】
また、本ビデオカメラは、ビデオカメラ全体の動作を制御するＣＰＵ１０５、ＡＤＣ１０３から出力される映像信号に対して位相補償を行う位相補償部１０６、カメラ信号処理部１０７、映像信号出力端子１０８を備える。
【００１６】
ここで、ＣＭＯＳイメージセンサ１０２は、複数色の色フィルタが規則的に２次元配置された撮像素子として機能する。
【００１７】
また、ＳＳＧ１０４及びＣＰＵ１０５は、撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す読み出し手段として機能する。また、位相補償部１０６は、撮像素子から読み出された信号の位相補償を行う位相補償手段として機能する。
【００１８】
そして、読み出し手段は、色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、位相補償手段は、色フィルタの色毎に異なる位相補償を行う。
【００１９】
また、読み出し手段は、撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す際に、少なくとも１種類の色フィルタについては、加算後の画素重心がオフセットサンプリングとなるよう、加算する画素を選択する。
【００２０】
これらの具体的内容については、以降説明する。
【００２１】
上述したように、本ビデオカメラは、原色ベイヤー配列の色フィルタを備えるＣＭＯＳイメージセンサ１０２を用いている。ＣＭＯＳイメージセンサ１０２に代表されるＸＹアドレス方式の固体撮像素子では、読み出し回路の設計自由度を高くすることができる。
【００２２】
そこで、本実施の形態では、ＣＭＯＳイメージセンサ１０２上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を２画素ずつ加算して読み出す動作を行う。
【００２３】
次に、本ビデオカメラの動作の概要を説明する。
【００２４】
結像レンズ１０１を通じ、ＣＭＯＳイメージセンサ１０２の受光面上に光学像が結像されると、ＣＭＯＳイメージセンサ１０２の各画素に配置されたフォトダイオードで、入射光量に応じた光電荷が発生する。
【００２５】
ＳＳＧ１０４では、ＣＭＯＳイメージセンサ１０２を駆動するための同期信号が生成され、同期信号とＣＰＵ１０５からの制御信号に基づいて、ＣＭＯＳイメージセンサ１０２の内部駆動回路が駆動される。そして、所定の順番でＣＭＯＳイメージセンサ１０２の出力端子から映像信号が出力される。
【００２６】
映像信号は、ＡＤＣ１０３においてデジタルデータに変換される。ＡＤＣ１０３の出力信号（映像信号）は、位相補償部１０６において位相補償された後、カメラ信号処理回路１０７に入力される。
【００２７】
そして、カメラ信号処理回路１０７において、映像信号に対して、輝度信号、色差信号の生成、輪郭補償等の信号処理が行われ、映像信号出力端子１０８から、映像信号が出力される。
【００２８】
次に、図２の概念図を参照しながら、ＣＭＯＳイメージセンサ１０２上で、同色の２画素を加算して読み出す処理について説明する。
【００２９】
ＣＭＯＳイメージセンサ１０２に配置されている原色ベイヤー配列の色フィルタは、図２１に示すように、Ｇは市松状に配置され、Ｒ、Ｂは正方格子状に配置されている。従って、Ｇの色フィルタが配置された画素について、最も画素間距離が短いのは斜め方向であり、Ｒ、Ｂの色フィルタが配置された画素では、垂直、水平方向の画素間距離が最も短い。
【００３０】
本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図る。従って、Ｇについては、斜め方向に隣接する同色の２画素を加算し、Ｒ、Ｂについては、垂直方向に２画素離れて位置する同色の２画素を加算する。
【００３１】
具体的には、図２において、Ｇについては、Ｌ（２ｎ）行目とＬ（２ｎ+１）行目に存在し、斜め方向に隣接するＧの２画素が加算されて読み出される。Ｒについては、Ｌ（２ｎ）行目とＬ（２ｎ+２）行目のＲの画素が垂直方向に加算されて読み出される。Ｂにいては、Ｌ（２ｎ+１）行目とＬ（２ｎ+３）行目のＢの画素が垂直方向に加算されて読み出される。
【００３２】
また、Ｇについては、加算後の画素配置が市松状になるよう、加算する画素の組み合わせを行毎に変える。例えば、図２では、Ｌ（０）行目とＬ（１）行目のＧの画素を、斜め４５度方向に加算した後、Ｌ（２）行目とＬ（３）行目のＧの画素を、斜め１３５度方向に加算している。
【００３３】
上記のように、同色の画素同士を加算して読み出すと、Ｒ、Ｇ、Ｂについて、それぞれ、加算される画素間の距離が最も短くなり、かつ、加算後の画素配置が、Ｇについては市松状の配置となり、Ｒ、Ｂについては正方格子状の配置になる。しかし、加算読み出し後の画素の重心は、図３のようになり、Ｒ、Ｇ、Ｂの画素重心の配置は、原色ベイヤー配列でなくなってしまう。
【００３４】
そこで、位相補償部１０６において、位相補償処理を行う。前述したように、Ｇについては、加算後の画素配置が市松状になっているため、Ｇの画素を基準として、Ｒ、Ｂの画素の重心が、それぞれ、図３の矢印で示された画素位置となるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
【００３５】
位相補償部１０６において、Ｒ、Ｂの画素に対して位相補償処理を行った後のＲ、Ｇ、Ｂの画素の重心は、図４のようになり、原色ベイヤー配列となる。
【００３６】
以上のように、本実施の形態では、ＣＭＯＳイメージセンサ１０２上で同色の色フィルタが配置された２画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。
【００３７】
また、ＣＭＯＳイメージセンサ１０２から加算読み出しした画像のＲ、Ｂ信号に対してのみ、位相補償処理を行い、解像感に最も寄与するＧ信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
【００３８】
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。
【００３９】
（第２の実施の形態）
次に、本発明の第２の実の施形態について説明する。第２の実施の形態の構成は、図１に示す第１の実施の形態と同じであるので説明を省略する。
【００４０】
本実施の形態では、ＣＭＯＳイメージセンサ１０２上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を３画素ずつ加算して読み出す動作を行う。
【００４１】
第２の実施の形態と第１の実施の形態との差異は、ＣＭＯＳイメージセンサ１０２での加算読み出しの動作と、位相補償部１０６での位相補償処理の動作であるので、以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。
【００４２】
図５の概念図を参照しながら、ＣＭＯＳイメージセンサ１０２上で、同色の３画素を加算して読み出す処理について説明する。
【００４３】
本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Ｇについては、斜め方向に隣接する同色の３画素を加算する。また、Ｒ、Ｂについては、垂直方向に２画素ずつ離れて位置する同色の３画素を加算する。
【００４４】
具体的には、図５において、Ｇについては、Ｌ（２ｎ）行目、Ｌ（２ｎ+１）行目、Ｌ（２ｎ+２）行目に存在し、斜め方向に隣接する３画素が、加算されて読み出される。Ｒについては、Ｌ（２ｎ）行目、Ｌ（２ｎ+２）行目、Ｌ（２ｎ+４）行目のＲの画素が垂直方向に加算されて読み出される。Ｂについては、Ｌ（２ｎ−１）行目、Ｌ（２ｎ+１）行目、Ｌ（２ｎ+３）行目のＢの画素が垂直方向に加算されて読み出される（ｎ=０，１，２，・・・）。
【００４５】
上記のようにＲ、Ｇ、Ｂそれぞれについて、最も画素間距離が短くなるよう加算する画素を選択し、ＣＭＯＳイメージセンサ１０２上で加算して読み出すと、読み出し後の画素の重心は図６のようになる。
【００４６】
図６において、Ｇの画素重心は市松状になっているが、Ｒ、Ｂの画素重心がＧに対してずれており、原色ベイヤー配列となっていない。
【００４７】
そこで、位相補償部１０６において、Ｒ、Ｂの画素重心が、それぞれ、図３の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
【００４８】
位相補償部１０６において、Ｒ、Ｂの画素に対して位相補償処理を行った後のＲ、Ｇ、Ｂの画素の重心は、図７のようになり、原色ベイヤー配列となる。
【００４９】
以上のように、本実施の形態では、ＣＭＯＳイメージセンサ１０２上で同色の色フィルタが配置された３画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。
【００５０】
また、ＣＭＯＳイメージセンサ１０２から加算読み出しした画像のＲ、Ｂ信号に対してのみ、位相補償処理を行い、解像感に最も寄与するＧ信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
【００５１】
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。
【００５２】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。第３の実施の形態の構成は、図１に示す第１の実施の形態と同じであるので説明を省略する。
【００５３】
本実施の形態では、ＣＭＯＳイメージセンサ１０２上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を４画素ずつ加算して読み出す動作を行う。
【００５４】
第３の実施の形態と第１の実施の形態との差異は、ＣＭＯＳイメージセンサ１０２での加算読み出しの動作と、位相補償部１０６での位相補償処理の動作であるので、以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。
【００５５】
図８の概念図を参照しながら、ＣＭＯＳイメージセンサ１０２上で、同色の４画素を加算して読み出す処理について説明する。
【００５６】
図８（ａ）、（ｂ）、（ｃ）は、図２１に示す原色ベイヤー配列のＣＭＯＳイメージセンサ１０２から、それぞれ、Ｇ、Ｒ、Ｂの色フィルタが配置された画素のみを表示した概念図である。
【００５７】
本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Ｇについては、斜め方向に隣接する同色の４画素を加算する。また、Ｒ、Ｂについては、垂直方向に２画素ずつ離れて位置する同色の４画素を加算する。
【００５８】
図８（ａ）で示すＧの画素については、斜線の領域に含まれる、斜め方向に隣接する４画素が加算されて読み出される。図８（ｂ）で示すＲの画素については、斜線の領域に含まれる、垂直、水平方向に２画素ずつ離れて位置する４画素が加算されて読み出される。同様に、図８（ｃ）で示すＢの画素については、斜線の領域に含まれる、垂直、水平方向に２画素ずつ離れて位置する４画素が加算されて読み出される。
【００５９】
上記のようにＲ、Ｇ、Ｂそれぞれについて、最も画素間距離が短くなるよう加算する画素を選択し、ＣＭＯＳイメージセンサ１０２上で加算して読み出すと、読み出し後の画素の重心は図９のようになる。
【００６０】
図９において、Ｇの画素重心は市松状になっているが、Ｒ、Ｂの画素重心がＧに対してずれており、原色ベイヤー配列となっていない。
【００６１】
そこで、位相補償部１０６において、Ｒ、Ｂの画素重心が、それぞれ、図３の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
【００６２】
位相補償部１０６において、Ｒ、Ｂの画素に対して位相補償処理を行った後のＲ、Ｇ、Ｂの画素の重心は、図１０のようになり、原色ベイヤー配列となる。
【００６３】
以上のように、本実施の形態では、ＣＭＯＳイメージセンサ１０２上で同色の色フィルタが配置された４画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。
【００６４】
また、ＣＭＯＳイメージセンサ１０２から加算読み出しした画像のＲ、Ｂ信号に対してのみ、位相補償処理を行い、解像感に最も寄与するＧ信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
【００６５】
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。
【００６６】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。第４の実施の形態の構成は、図１に示す第１の実施の形態と同じであるので説明を省略する。
【００６７】
本実施の形態では、ＣＭＯＳイメージセンサ１０２上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を６画素ずつ加算して読み出す動作を行う。
【００６８】
第４の実施の形態と第１の実施の形態との差異は、ＣＭＯＳイメージセンサ１０２での加算読み出しの動作と、位相補償部１０６での位相補償処理の動作であるので、以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。
【００６９】
図１１の概念図を参照しながら、ＣＭＯＳイメージセンサ１０２上で、同色の６画素を加算して読み出す処理について説明する。
【００７０】
図１１（ａ）、（ｂ）、（ｃ）は、図２１に示す原色ベイヤー配列のＣＭＯＳイメージセンサ１０２から、それぞれ、Ｇ、Ｒ、Ｂの色フィルタが配置された画素のみを表示した概念図である。
【００７１】
本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Ｇについては、斜め方向に隣接する同色の６画素を加算する。また、Ｒ、Ｂについては、垂直方向に２画素ずつ離れて位置する同色の６画素を加算する。
【００７２】
図１１（ａ）で示すＧの画素については、斜線の領域に含まれる、斜め方向に隣接する６画素が加算されて読み出される。図１１（ｂ）で示すＲの画素については、斜線の領域に含まれる、垂直、水平方向に２画素ずつ離れて位置する６画素が加算されて読み出される。同様に、図１１（ｃ）で示すＢの画素については、斜線の領域に含まれる、垂直、水平方向に２画素ずつ離れて位置する６画素が加算されて読み出される。
【００７３】
上記のようにＲ、Ｇ、Ｂそれぞれについて、最も画素間距離が短くなるよう加算する画素を選択し、ＣＭＯＳイメージセンサ１０２上で加算して読み出すと、読み出し後の画素の重心は図１２のようになる。
【００７４】
図１２において、Ｇの画素重心は市松状になっているが、Ｒ、Ｂの画素重心がＧに対してずれており、原色ベイヤー配列となっていない。
【００７５】
そこで、位相補償部１０６において、Ｒ、Ｂの画素重心が、それぞれ、図１２の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
【００７６】
位相補償部１０６において、Ｒ、Ｂの画素に対して位相補償処理を行った後のＲ、Ｇ、Ｂの画素の重心は、図１３のようになり、原色ベイヤー配列となる。
【００７７】
以上のように、本実施の形態では、ＣＭＯＳイメージセンサ１０２上で同色の色フィルタが配置された６画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。
【００７８】
また、ＣＭＯＳイメージセンサ１０２から加算読み出しした画像のＲ、Ｂ信号に対してのみ、位相補償処理を行い、解像感に最も寄与するＧ信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
【００７９】
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。
【００８０】
（第５の実施の形態）
次に、本発明の第５の実施形態について説明する。
【００８１】
図１４は、本発明に係る撮像装置の第２の構成例を示すブロック図である。
【００８２】
第５の実施の形態の構成は、図１４のようになっており、図１に示す第１の実施の形態に対して、フレームメモリ１０９と、ＩＰ変換部１１０が追加されている。
【００８３】
第５の実施の形態では、第１の実施の形態と異なり、フィールド毎に、加算後の画素重心がずれるようにＣＭＯＳイメージセンサ１０２での加算読み出しを行う。また、第５の実施の形態では、第１の実施の形態と異なり、フレームメモリ１０９を介して、画素重心が異なる２フィールド分の画像を、ＩＰ変換部１１０でフレーム化して出力する。
【００８４】
以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。
【００８５】
本実施の形態では、１フィールド毎に、ＣＭＯＳイメージセンサ１０２からの加算読み出しの位相を変える。奇数フィールドのときは、第１の実施の形態と同様の加算読み出しを行うので説明を省略する。
【００８６】
偶数フィールドのときは、読み出し後の位相が、奇数フィールドのときよりも１ライン上にシフトするよう、Ｒ、Ｇ、Ｂそれぞれの加算画素を切り替える。
【００８７】
具体的には、偶数フィールドのとき、図１５に示すように、Ｇは、Ｌ（２ｎ−１）行目とＬ（２ｎ）行目に存在し、斜め方向に隣接するＧの２画素が加算されて読み出される。Ｒについては、Ｌ（２ｎ−２）行目とＬ（２ｎ）行目のＲの画素が垂直方向に加算されて読み出される。Ｂについては、Ｌ（２ｎ−１）行目とＬ（２ｎ+１）行目のＢの画素が垂直方向に加算されて読み出され、加算読み出し後の画素の重心は、図１６のようになる。
【００８８】
図１６において、Ｇの画素重心は市松状になっているが、Ｒ、Ｂの画素重心がＧに対してずれており、原色ベイヤー配列となっていない。
【００８９】
そこで、位相補償部１０６において、Ｒ、Ｂの画素重心が、それぞれ、図１６の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
【００９０】
位相補償部１０６において、Ｒ、Ｂの画素に対して位相補償処理を行った後のＲ、Ｇ、Ｂの画素の重心は、図１７のようになり、原色ベイヤー配列となる。
【００９１】
また、図１７に示す偶数フィールドの垂直方向の画素の重心は、Ｌ２（２ｎ）に位置している。一方、奇数フィールドの位相補償処理後の画素の重心は、図４に示すように、Ｌ２（２ｎ+１）に位置しており、偶数フィールドと奇数フィールドの垂直方向の画素の重心はインターレースの関係となる。
【００９２】
フレームメモリ１０９では、カメラ信号処理部１０７から出力される映像信号を１フィールド分遅延させる。ＩＰ変換部１１０では、カメラ信号処理部１０７から出力される現在のフィールドの映像信号と、フレームメモリ１０９で遅延された１フィールド前の映像信号を用いた補間処理により、フレーム画像を生成する。
【００９３】
以上のように、本実施の形態では、ＣＭＯＳイメージセンサ１０２上で同色の色フィルタが配置された２画素の信号を加算し、かつ、フィールド毎に加算する画素の組み合わせを変えて、読み出し後の画像がインターレース駆動となるようにする。
【００９４】
このとき、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択することにより、加算による解像度劣化を低減することができる。
【００９５】
また、ＣＭＯＳイメージセンサ１０２から加算読み出しした画像のＲ、Ｂ信号に対してのみ、位相補償処理を行い、解像感に最も寄与するＧ信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
【００９６】
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。
【００９７】
（第６の実施の形態）
次に、本発明の第６の実施の形態について説明する。第６の実施の形態の構成は、図１に示す第１の実施の形態と同じであるので説明を省略する。
【００９８】
第６の実施の形態では、第１の実施の形態と異なり、ＣＭＯＳイメージセンサ１０２が、図２２に示すような、原色ハニカム配置となっている。
【００９９】
以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。
【０１００】
図１８を参照しながら、原色ハニカム配列のＣＭＯＳイメージセンサ１０２上で、同色の２画素を加算して読み出す処理について説明する。
【０１０１】
図１８において、（ａ）は、原色ハニカム配列のＣＭＯＳイメージセンサ１０２について、Ｇの画素のみ表示しており、（ｂ）は、原色ハニカム配列のＣＭＯＳイメージセンサ１０２について、ＲとＢの画素のみ表示している。
【０１０２】
ＣＭＯＳイメージセンサ１０２に配置されている原色ハニカム配列の色フィルタは、図２２に示すように、Ｇが正方格子状に配置され、Ｒ、Ｂは、Ｇの画素は位置に対して、斜め方向に０．５画素ずらした位置に、市松状に配置されている。
【０１０３】
従って、Ｇの色フィルタが配置された画素について、最も画素間距離が短いのは垂直、水平方向であり、Ｒ、Ｂの色フィルタが配置された画素では、斜め方向の画素間距離が最も短い。
【０１０４】
本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Ｇについては、垂直方向に隣接するＧの２画素を加算する。また、Ｒ、Ｂについては、斜め方向に隣接する同色の２画素を加算する。
【０１０５】
具体的には、図１８において、Ｇについては、Ｌ（２ｎ）行目とＬ（２ｎ+２）行目に存在し、垂直方向に隣接するＧの２画素が加算されて読み出される。Ｒについては、Ｌ（２ｎ+１）行目とＬ（２ｎ+３）行目に存在し、斜め方向に隣接するＲの画素が加算されて読み出される。Ｂについては、Ｌ（２ｎ+１）行目とＬ（２ｎ+３）行目に存在し、斜め方向に隣接するＢの画素が加算されて読み出される。また、ＲとＢについては、それぞれ、加算後の画素配置が市松状になるよう、加算する画素の組み合わせを行毎に変える。
【０１０６】
例えば、図１８（ｂ）に示すように、ＲとＢをそれぞれ斜め方向に加算する場合、Ｌ（１）行目とＬ（３）行目の同色の画素を、斜め４５度方向に加算した後、Ｌ（５）行目とＬ（７）行目の同色の画素は、斜め１３５度方向に加算する。
【０１０７】
上記のように同色の画素加算を行うと、Ｒ、Ｇ、Ｂについて、それぞれ、加算される画素間の距離が最も短くなり、かつ、加算後の画素配置が、Ｇについては、正方格子となり、Ｒ、Ｂについては、市松状になる。
【０１０８】
しかし、読み出し後の画素の重心は図１９に示すように、Ｒ、Ｇ、Ｂの画素重心の位置関係が、原色ハニカムではなくなってしまっている。
【０１０９】
そこで、位相補償部１０６において、Ｒ、Ｂの画素重心が、それぞれ、図１９の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
【０１１０】
位相補償部１０６において、Ｒ、Ｂの画素に対して位相補償処理を行った後のＲ、Ｇ、Ｂの画素の重心は、図２０のようになり、原色ハニカム配列となる。
【０１１１】
また、前述したように、Ｒ、Ｂの画素は、センサ読み出し後の画素配置が市松状になるよう制御されているため、Ｒ、Ｂに対する位相補償の補償量は、図１９に示したように、画素位置、及び、色フィルタの色によらず均一となる。これにより、画素単位の位相補償むらによる画質劣化を防ぐことができる。
【０１１２】
以上のように、本実施の形態では、ＣＭＯＳイメージセンサ１０２上で同色の色フィルタが配置された２画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。
【０１１３】
また、Ｒ、Ｂの画素について、斜め方向に同色の画素を加算して読み出す際、加算後の画素配置が市松状になるよう、行毎に加算する画素の組み合わせを変えている。そのため、後段の位相補償処理において、Ｒ、Ｂに対する位相補償のレベルが均一になり、画素毎の補償むらによる画質劣化を避けられる。
【０１１４】
また、ＣＭＯＳイメージセンサ１０２から加算読み出しした画像のＲ、Ｂ信号に対してのみ、位相補償処理を行い、解像感に最も寄与するＧ信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
【０１１５】
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。
【図面の簡単な説明】
【０１１６】
【図１】本発明に係る撮像装置の第１の構成例を示すブロック図である。
【図２】図１のＣＭＯＳイメージセンサにおける第１の実施の形態の画素加算の概念図である。
【図３】図１のＣＭＯＳイメージセンサにおける第１の実施の形態の画素加算後の概念図である。
【図４】図１のＣＭＯＳイメージセンサにおける第１の実施の形態の位相補償後の概念図である。
【図５】図１のＣＭＯＳイメージセンサにおける第２の実施の形態の画素加算の概念図である。
【図６】図１のＣＭＯＳイメージセンサにおける第２の実施の形態の画素加算後の概念図である。
【図７】図１のＣＭＯＳイメージセンサにおける第２の実施の形態の位相補償後の概念図である。
【図８】図１のＣＭＯＳイメージセンサにおける第３の実施の形態の画素加算の概念図である。
【図９】図１のＣＭＯＳイメージセンサにおける第３の実施の形態の画素加算後の概念図である。
【図１０】図１のＣＭＯＳイメージセンサにおける第３の実施の形態の位相補償後の概念図である。
【図１１】図１のＣＭＯＳイメージセンサにおける第４の実施の形態の画素加算の概念図である。
【図１２】図１のＣＭＯＳイメージセンサにおける第４の実施の形態の画素加算後の概念図である。
【図１３】図１のＣＭＯＳイメージセンサにおける第４の実施の形態の位相補償後の概念図である。
【図１４】本発明に係る撮像装置の第２の構成例を示すブロック図である。
【図１５】図１のＣＭＯＳイメージセンサにおける第５の実施の形態の画素加算の概念図である。
【図１６】図１のＣＭＯＳイメージセンサにおける第５の実施の形態の画素加算後の概念図である。
【図１７】図１のＣＭＯＳイメージセンサにおける第５の実施の形態の位相補償後の概念図である。
【図１８】図１のＣＭＯＳイメージセンサにおける第６の実施の形態の画素加算の概念図である。
【図１９】図１のＣＭＯＳイメージセンサにおける第６の実施の形態の画素加算後の概念図である。
【図２０】図１のＣＭＯＳイメージセンサにおける第６の実施の形態の位相補償後の概念図である。
【図２１】ＣＭＯＳイメージセンサにおける原色ベイヤー配列の概念図である。
【図２２】ＣＭＯＳイメージセンサにおける原色ハニカム配列の概念図である。
【符号の説明】
【０１１７】
１０１  結像レンズ
１０２  ＣＭＯＳイメージセンサ
１０３  ＡＤＣ
１０４  ＳＳＧ
１０５  ＣＰＵ
１０６  位相補償部
１０７  カメラ信号処理部
１０８  映像信号出力端子
１０９  フレームメモリ
１１０  ＩＰ変換部
【図１】
2010118839.tif 000003
【図２】
2010118839.tif 000004
【図３】
2010118839.tif 000005
【図４】
2010118839.tif 000006
【図５】
2010118839.tif 000007
【図６】
2010118839.tif 000008
【図７】
2010118839.tif 000009
【図８】
2010118839.tif 000010
【図９】
2010118839.tif 000011
【図１０】
2010118839.tif 000012
【図１１】
2010118839.tif 000013
【図１２】
2010118839.tif 000014
【図１３】
2010118839.tif 000015
【図１４】
2010118839.tif 000016
【図１５】
2010118839.tif 000017
【図１６】
2010118839.tif 000018
【図１７】
2010118839.tif 000019
【図１８】
2010118839.tif 000020
【図１９】
2010118839.tif 000021
【図２０】
2010118839.tif 000022
【図２１】
2010118839.tif 000023
【図２２】
2010118839.tif 000024