(57)【要約】【課題】  同色画素加算処理による画像への悪影響を低減することができる撮像装置及び撮像方法を提供する。【解決手段】  原色ベイヤー配列の色フィルタが配置された撮像素子１０、位映像信号期間において、撮像素子１０から同色の色フィルタが配置された水平方向の隣接２画素を加算して読み出すための駆動信号を生成する撮像素子駆動手段１１、撮像素子１０で同色画素加算読み出しを行った結果出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換処理手段１２、及び、Ａ／Ｄ変換処理手段１２の出力信号に対して、種々のカメラ信号処理を行い、輝度・色差信号を最終的な出力信号として生成するカメラ信号処理手段１３が設けられている。従って、像素子駆動手段１１により生成された駆動信号によって、単位映像信号期間ごとに、加算する画素の組み合わせが切り替えられる。【選択図】  図１
2006157240.tif 000002
【特許請求の範囲】
【請求項１】
複数色の色フィルタが規則的に２次元的に配置された撮像素子と、
前記撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す同色画素加算読み出し手段と、
を有し、
前記同色画素加算読み出し手段は、単位映像信号期間ごとに、加算する画素の組み合わせを切り替えることを特徴とする撮像装置。
【請求項２】
前記同色画素加算読み出し手段は、前記撮像素子において、垂直方向及び水平方向からなる群から選択された少なくとも一方向において隣接し、同色の色フィルタが配置された偶数個の画素を加算することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記同色画素加算読み出し手段は、水平方向及び垂直方向の両方向で画素加算を行う場合には、
前記撮像素子に含まれる局所領域において、同色の色フィルタが配置された水平方向の画素数及び垂直方向の画素数を、夫々Ｈ＝２ｍ、Ｖ＝２ｎ（ｍ、ｎは自然数）と定義し、同色の色フィルタが配置された隣接２画素間の距離を１ピッチと定義すると、加算する対象の画素群を、夫々Ｈ×Ｖ画素で構成される第１の画素群と第２の画素群との間で、前記第１の画素群に含まれる第１の基準画素に対して、前記第２の画素群に含まれる第２の基準画素が水平方向にｍピッチ、垂直方向にｎピッチだけシフトするように、単位映像信号期間ごとに切り替えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記同色画素加算読み出し手段は、水平方向で画素加算を行う場合には、
前記撮像素子に含まれる局所領域において、同色の色フィルタが配置された水平方向の画素数をＨ＝２ｍ（ｍは自然数）と定義し、同色の色フィルタが配置された隣接２画素間の距離を１ピッチと定義すると、加算する対象の画素群を、夫々Ｈ画素で構成される第１の画素群と第２の画素群との間で、前記第１の画素群に含まれる第１の基準画素に対して、前記第２の画素群に含まれる第２の基準画素が水平方向にｍピッチだけシフトするように、単位映像信号期間ごとに切り替えることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記同色画素加算読み出し手段は、垂直方向で画素加算を行う場合には、
前記撮像素子に含まれる局所領域において、同色の色フィルタが配置された垂直方向の画素数をＶ＝２ｎ（ｎは自然数）と定義し、同色の色フィルタが配置された隣接２画素間の距離を１ピッチと定義すると、加算する対象の画素群を、夫々Ｖ画素で構成される第１の画素群と第２の画素群との間で、前記第１の画素群に含まれる第１の基準画素に対して、前記第２の画素群に含まれる第２の基準画素が垂直方向にｎピッチだけシフトするように、単位映像信号期間ごとに切り替えることを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記撮像素子には、原色ベイヤー配列の色フィルタが配置されていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
複数色の色フィルタが規則的に２次元的に配置された撮像素子を用いた撮像方法であって、
単位映像信号期間ごとに、加算する画素の組み合わせを切り替えながら、前記撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す同色画素加算読み出し工程を有することを特徴とする撮像方法。
【請求項８】
複数色の色フィルタが規則的に２次元的に配置された撮像素子を制御するためのプログラムであって、
コンピュータに、
単位映像信号期間ごとに、加算する画素の組み合わせを切り替えながら、前記撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す同色画素加算読み出し手順を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子上で複数の画素の信号を混合して読み出す撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
近年、民生用のデジタルカメラ及びデジタルビデオカメラでは、搭載される撮像素子の多画素化が進んでいる。画素数の多い撮像素子を用いると、所定の時間内に撮像素子上の全ての画素から信号を読み出す際、撮像素子を高速に駆動しなければならず、消費電力や発熱といった面から、撮像システムへの負荷が大きくなる。これを避けるため、従来は、撮像素子の一部領域の信号を切り出して読み出す手法や、複数ラインおきに信号を間引いて読み出す手法により、撮像素子からの信号読み出しの負荷を低減させていた。しかし、このような手法では、撮像素子上の全ての画素を活用できないことや、間引き処理によって生じるエイリアシングによって、画質が劣化するという問題があった。
【０００３】
そこで、切り出しや間引きよりも画質劣化を抑えながら、従来と同程度の駆動速度で多画素の撮像素子を駆動するために、撮像素子上で画像信号を加算し、読み出す信号ラインを削減する手法が提案されている。
【０００４】
例えば、特許文献１には、原色ベイヤー配列の撮像素子において、同色の色フィルタの配置された画素を複数選択し、垂直レジスタ上で加算する方法が記載されている。また、特許文献２には、更に撮像素子の画素数が大きくなった場合への対応、及び、垂直方向と水平方向との間での解像感のバランスをとることを考慮し、水平レジスタ内で信号電荷を加算する方法が記載されている。
【０００５】
しかしながら、特許文献１に記載された方法を、図５（ａ）のような原色ベイヤー配列の撮像素子に適用し、垂直方向１画素おきに同色の色フィルタが配置された２画素の加算を行うと、加算読み出し後の信号の重心は、加算される２画素の中間に位置することとなる。従って、重心位置に注目すると、各画素は垂直方向に均等ではなく、図５（ｂ）に示すように、２ラインずつ接近した配置となってしまう。このため、加算読み出し後の信号に、Ａ／Ｄ変換及びカメラ信号処理等を行って、色差・輝度信号を生成すると、信号配置の偏りによって偽信号が生じ、エッジのがたつきや画像のひずみといった悪影響が出てしまう。特許文献２に記載された方法でも、同様の問題が生じる。
【０００６】
【特許文献１】特開２０００−３１６１６４号公報
【特許文献２】特開２０００−１１５６４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、同色画素加算処理による画像への悪影響を低減することができる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明に想到した。
【０００９】
本願発明に係る撮像装置は、複数色の色フィルタが規則的に２次元的に配置された撮像素子と、前記撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す同色画素加算読み出し手段と、を有し、前記同色画素加算読み出し手段は、単位映像信号期間ごとに、加算する画素の組み合わせを切り替えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、加算される画素群のサンプリングの位相が、単位映像信号期間、例えば１フィールド期間毎にずれる。従って、静止した被写体を撮影する場合等、連続する複数のフィールド画像間の相関が高い場合でも、加算読み出し後の信号に生じる偽信号の位相が反転する。このため、偽信号が相殺されて画像への悪影響を低減することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【００１２】
（第１の実施形態）
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の機能構成を示すブロック図である。
【００１３】
本実施形態に係る撮像装置には、例えば図５（ａ）に示すような原色ベイヤー配列の色フィルタが配置された撮像素子１０、及び、位映像信号期間において、撮像素子１０から同色の色フィルタが配置された水平方向の隣接２画素を加算して読み出すための駆動信号を生成する撮像素子駆動手段１１が設けられている。従って、像素子駆動手段１１により生成された駆動信号によって、撮像素子１０での同色画素加算読み出しが制御される。
【００１４】
撮像素子には、更に、撮像素子１０で同色画素加算読み出しを行った結果出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換処理手段１２、及び、Ａ／Ｄ変換処理手段１２の出力信号に対して、種々のカメラ信号処理（色分離処理，アパーチャー処理，ガンマ処理等）を行い、輝度・色差信号を最終的な出力信号として生成するカメラ信号処理手段１３が設けられている。
【００１５】
次に、図２に示す概念図を参照しながら、本実施形態における撮像素子１０からの同色画素加算読み出し処理について説明する。なお、図２においてＲｘｙ及びＲ’ｘｙ、Ｇｘｙ及びＧ’ｘｙ、Ｂｘｙ及びＢ’ｘｙ、は、夫々、赤、緑、青のカラーフィルタが配置された画素を示す。
【００１６】
本実施形態における同色画素加算読み出し処理では、同色の色フィルタが配置され、水平方向に隣接している２画素を加算して読み出す際に、単位映像信号期間ごとに、加算する画素の組み合わせを変更する。即ち、図２に示すように、第１の単位映像信号期間を示すＥＶＥＮフィールド（奇数番目のフィールド）と第２の単位映像信号期間を示すＯＤＤフィールド（偶数番目のフィールド）とで、加算読み出しされる画素の組み合わせを相違させ、加算される画素群のサンプリングの位相を、単位映像信号期間ごとに半ピッチずらす。
【００１７】
ＥＶＥＮフィールドでは、図２（ａ）に示すように、例えば、撮像素子１０上の水平方向の画素列Ｌ０において、Ｒ００とＲ０２とを加算し、Ｇ０１とＧ０３とを加算して、夫々加算読み出し後の画素列Ｌ０’におけるＲ’０１、Ｇ’０２を出力する。更に、同様にして、撮像素子１０上の水平方向の画素列Ｌ１、Ｌ２、Ｌ３における同色の色フィルタが配置された隣接２画素の加算を行うことにより、画素列Ｌ１’、Ｌ２’、Ｌ３’を出力する。
【００１８】
一方、ＯＤＤフィールドでは、図２（ｂ）に示すように、例えば、撮像素子１０上の水平方向の画素列Ｌ０において、Ｒ０２とＲ０４とを加算し、Ｇ０３とＧ０５とを加算して、夫々加算読み出し後の画素列Ｌ０’におけるＲ’０３、Ｇ’０４を出力する。更に、同様にして、撮像素子１０上の水平方向の画素列Ｌ１、Ｌ２、Ｌ３における同色の色フィルタが配置された隣接２画素の加算を行うことにより、画素列Ｌ１’、Ｌ２’、Ｌ３’を出力する。
【００１９】
ここで、ＥＶＥＮフィールドの場合も、ＯＤＤフィールドの場合も、加算読み出し後の画素列Ｌ０’、Ｌ１’、Ｌ２’、Ｌ３’では、図２（ａ）及び（ｂ）に示すように、画素の重心の間隔がＴ及び３Ｔの２通りとなっている。このため、仮に、夫々の単位映像期間で出力される画像としてみた場合には、この重心の偏りによって、偽信号が生じ、後段のカメラ信号処理手段１３による処理の際に、画像に悪影響が生じてしまう。
【００２０】
しかし、本実施形態では、上述のように、加算される画素群のサンプリングの位相を単位映像信号期間ごとに半ピッチずらしているため、ＥＶＥＮフィールドで読み出される信号Ｒ’０１及びＧ’０２とＯＤＤフィールドで読み出される信号Ｒ’０３及びＧ’０４とは、互いにインターリーブの関係になる。
【００２１】
このため、例えば、加算読み出し前の撮像素子上の画素Ｒ００、Ｇ０１、Ｒ０２、Ｇ０３及びＲ０４の正規化した画素値が、図３に示すような分布であるとすると、同色画素加算読み出し処理によって出力されるＥＶＥＮフィールドの画素Ｒ’０１、及び、ＯＤＤフィールドの画素Ｒ’０３は、夫々
Ｒ’０１＝Ｒ００＋Ｒ０２＝−１．０＋０．０＝−１．０
Ｒ’０３＝Ｒ０２＋Ｒ０４＝  １．０＋０．０＝  １．０
となる。即ち、互いに符号が反転したものとなる。
【００２２】
従って、このような第１の実施形態によれば、静止した被写体を撮影する場合等、ＥＶＥＮフィールドとＯＤＤフィールドとの画像の相関が高い場合でも、読み出し後の信号がインターリーブするように加算が行われるため、読み出し後の信号に含まれる偽信号の成分が相殺されて画像への悪影響を低減することができる。
【００２３】
なお、水平方向だけでなく垂直方向についても、同様の同色画素加算読み出し処理を行うことができる。
【００２４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態に係る撮像装置の機能構成は第１の実施形態と同様であるが、本実施形態では、撮像素子駆動手段１１が、同色画素加算読み出し処理において、同色の色フィルタが配置され、２次元的に隣接している４画素を撮像素子１０から加算して読み出すための駆動信号を生成する。
【００２５】
次に、図４に示す概念図を参照しながら、本実施形態における撮像素子１０からの同色画素加算読み出し処理について説明する。なお、本実施形態では、原色ベイヤー配列の撮像素子１０において、緑（Ｇ）の色フィルタが配置された画素のうち、赤（Ｒ）と同じ画素列にあるものをＧｒ、青（Ｂ）と同じ画素列にあるものをＧｂと区別して表記する。
【００２６】
本実施形態における同色画素加算読み出し処理では、同色の色フィルタが配置され、２次元的に隣接している４画素を加算して読み出す際に、単位映像信号期間ごとに、加算する画素の組み合わせを変更する。即ち、同色加算読み出しをする際に加算の単位となる４画素を、一まとまりの画素群とみなし、加算される画素群のサンプリングの位相を、単位映像信号期間ごとに斜め方向に半ピッチずらす。
【００２７】
ＥＶＥＮフィールドでは、図４（ａ）に示すように、例えば、撮像素子１０上でＲの色フィルタが配置され、２次元的に隣接する４画素Ｒ００とＲ０２とＲ２０とＲ２２とを加算し、読み出し後の重心がＢ１１の位置となるＲ信号Ｒｅ出力する。
【００２８】
また、撮像素子１０上でＧｒの色フィルタが配置され、２次元的に隣接する４画素Ｇｒ０１とＧｒ０３とＧｒ２１とＧｒ２３とを加算し、読み出し後の重心がＧｂ１２の位置となるＧｒ信号Ｇｒｅを出力する。
【００２９】
更に、撮像素子１０上でＧｂの色フィルタが配置され、２次元的に隣接する４画素Ｇｂ１０とＧｒ１２とＧｒ３０とＧｒ３２とを加算し、読み出し後の重心がＧｒ２１の位置となるＧｂ信号Ｇｂｅを出力する。
【００３０】
更にまた、撮像素子１０上でＢの色フィルタが配置され、２次元的に隣接する４画素Ｂ１１とＢ１３とＢ３１とＢ３３とを加算し、読み出し後の重心がＲ２２の位置となるＢ信号Ｂｅを出力する。
【００３１】
このように、ＥＶＥＮフィールドにおいて、４つの信号Ｒｅ、Ｇｒｅ、Ｇｂｅ及びＢｅを出力する。
【００３２】
一方、ＯＤＤフィールドでは、図４（ｂ）に示すように、例えば、撮像素子１０上でＲの色フィルタが配置され、２次元的に隣接する４画素Ｒ２２とＲ２４とＲ４２とＲ４４とを加算し、読み出し後の重心がＢ３３の位置となるＲ信号Ｒｏを出力する。
【００３３】
また、撮像素子１０上でＧｒの色フィルタが配置され、２次元的に隣接する４画素Ｇｒ２３とＧｒ２５とＧｒ４３とＧｒ４５とを加算し、読み出し後の重心がＧｂ３４の位置となるＧｒ信号Ｇｒｏを出力する。
【００３４】
更に、撮像素子１０上でＧｂの色フィルタが配置され、２次元的に隣接する４画素Ｇｂ３２とＧｒ３４とＧｒ５２とＧｒ５４とを加算し、読み出し後の重心がＧｒ４３の位置となるＧｂ信号Ｇｂｏを出力する。
【００３５】
更にまた、撮像素子１０上でＢの色フィルタが配置され、２次元的に隣接する４画素Ｂ３３とＢ３５とＢ５３とＢ５５とを加算し、読み出し後の重心がＲ３３の位置となるＢ信号Ｂｏを出力する。
【００３６】
このように、ＯＤＤフィールドにおいて、４つの信号Ｒｏ、Ｇｒｏ、Ｇｂｏ及びＢｏを出力する。
【００３７】
ここで、ＥＶＥＮフィールドの場合も、ＯＤＤフィールドの場合も、加算読み出し後の信号の重心は、図４（ａ）及び（ｂ）に示すように、一群の信号Ｒｅ、Ｇｒｅ、Ｇｂｅ及びＢｅの４画素毎、又は、一群の信号Ｒｏ、Ｇｒｏ、Ｇｂｏ、Ｂｏの４画素毎に密集している。このため、第１の実施形態と同様に、仮に、夫々の単位映像期間で出力される画像としてみた場合には、この重心の偏りによって、偽信号が生じ、後段のカメラ信号処理手段１３による処理の際に、画像に悪影響が生じてしまう。
【００３８】
これに対し、本実施形態では、上述のように、同色加算読み出しをする際に加算の単位となる４画素を、一まとまりの画素群とみなし、加算される画素群のサンプリングの位相を、単位映像信号期間ごとに、斜め方向に半ピッチずらしている。例えば、図４（ａ）及び（ｂ）において、ＥＶＥＮフィールドでは、信号Ｒｅを得るための４画素Ｒ００、Ｒ０２、Ｒ２０及びＲ２２からなる画素群Ｐｅにおいて、一番左上のＲ００を基準画素とし、ＯＤＤフィールドでは、信号Ｒｏを得るための４画素Ｒ２２、Ｒ２４、Ｒ４２及びＲ４４からなる画素群Ｐｏにおいて、一番左上のＲ２２を基準画素として、画素群Ｐｏを画素群Ｐｅに対して、水平方向及び垂直方向に１ピッチずつシフトさせている。
【００３９】
同様に、Ｇｒ、Ｇｂ及びＢの各色フィルタが配置された画素群についても、ＯＤＤフィールドでは、ＥＶＥＮフィールドに対して、水平方向及び垂直方向に１ピッチずつシフトさせている。
【００４０】
従って、このような第２の実施形態によれば、ＥＶＥＮフィールドで読み出された信号Ｒｅ、Ｇｒｅ、Ｇｂｅ及びＢｅと、ＯＤＤフィールドで読み出された信号Ｒｏ、Ｇｒｏ、Ｇｂｏ及びＢｏとは、互いにインターリーブの関係になる。このため、第１の実施形態と同様に、静止した被写体を撮影する場合等、ＥＶＥＮフィールドとＯＤＤフィールドとの画像の相関が高い場合でも、加算読み出し後の信号に含まれる偽信号が相殺されて画像への悪影響を低減することができる。
【００４１】
本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
【図面の簡単な説明】
【００４２】
【図１】本発明の第１の実施形態に係る撮像装置の機能構成を示すブロック図である。
【図２】第１の実施形態における同色画素加算読み出し処理の概念を示す図である。
【図３】撮像素子１０上の正規化された画素値の一例を示すグラフである。
【図４】第２の実施形態における同色画素加算読み出し処理の概念を示す図である。
【図５】従来の同色画素加算読み出し処理の概念を示す図である。
【符号の説明】
【００４３】
１０：撮像素子
１１：撮像素子駆動手段
１２：Ａ／Ｄ変換処理手段
１３：カメラ信号処理手段
Ｌ０〜Ｌ３：同色画素加算読み出し前の画素列
Ｌ０’〜Ｌ’３：同色画素加算読み出し後の画素列
【図１】
2006157240.tif 000003
【図２】
2006157240.tif 000004
【図３】
2006157240.tif 000005
【図４】
2006157240.tif 000006
【図５】
2006157240.tif 000007