(57)【特許請求の範囲】
【請求項１】
２次元アレイ状に配列された複数個の光電変換素子を有し前記光電変換素子から間引き読み出しが可能な固体撮像素子と、
前記光電変換素子から間引き読み出しを行う場合には、間引き率に基づく間引き単位領域の代表値を複数の画素を加算して得る読み出し手段とを具備し、
前記読み出し手段は、前記間引き単位領域の代表値を、間引き率に拘わらず、同一画素数の画素を加算して得ることを特徴とする撮像装置。
【請求項２】
前記読み出し手段は、前記固体撮像素子の同一列の画素を同時に読み出すことができない場合には、加算する画素の数を３画素にすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記読み出し手段は、間引き率が３である場合には、加算する画素の数を３画素にすることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記読み出し手段は、間引き率が２である場合には、加算する画素の数を２画素にすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記読み出し手段は、加算する画素の平均の画素位置が間引き単位領域の重心位置に近接するように画素加算結果の空間的な位置を補正するために、各加算画素の画素位置に応じて重み付けを付すことを特徴とする請求項１に記載の撮像装置。
【請求項６】
２次元アレイ状に配列された複数個の光電変換素子を有し前記光電変換素子から間引き読み出しが可能な固体撮像素子と、
前記光電変換素子から間引き読み出しを行う場合には、間引き率に基づく間引き単位領域の代表値を複数の画素を加算して得る読み出し手段と、
前記読み出し手段によって読み出された画素の開口形状に応じて、高周波成分の強調量を制御するエンハンス手段と
を具備したことを特徴とする撮像装置。
【請求項７】
２次元アレイ状に配列された複数個の光電変換素子を有し前記光電変換素子から間引き読み出しが可能な固体撮像素子と、
前記光電変換素子から間引き読み出しを行う場合には、間引き率に基づく間引き単位領域の代表値を複数の画素を加算して得る読み出し手段と、
前記読み出し手段によって読み出された画素の欠陥を検出して、欠陥補正する欠陥補正手段と
を具備したことを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、高解像度撮像素子を用いた電子ズーム撮像システムに好適な撮像装置に関する。
【０００２】
【従来の技術】
近年、被写体像をＣＣＤ（電荷結合素子）等の光電変換素子によって電気信号に変換し、所定のディジタル信号処理の後、メモリカード等の記録媒体に記録する電子スチルカメラ等の電子的撮像装置が普及している。近年の多機能化に伴い、このような電子的撮像装置においては、光学的、あるいは電子的に被写体像の拡大や縮小が可能な電子ズーム機能を備えたものがある。
【０００３】
電子ズーム機能は、電子カメラによって記録し得る記録用の画像信号や、記録媒体に記録されている画像信号に対して、画像の一部分を電気的に拡大する画像処理を施し、その拡大画像を画像表示手段の表示画面上の全画面領域内に表示することを可能にするものである。
【０００４】
この機能を用いることにより、電子カメラの撮影光学系によって規定される所定の撮影範囲の画像とは別に、同画像の一部分のみを拡大した画像を取得（撮影・記録）したり再生したりすることができる。
【０００５】
ところで、近年、静画撮像用の固体撮像素子の画素数の増加は著しい。このような静画撮像用の固体撮像素子を動画に応用しようとすると、全画素の読み出しに長時間を要してしまう。そこで、表示系の画像サイズとの一致も考慮して、間引き走査を行うことがある。
【０００６】
更に、特開平２０００−２９５５３０の提案では、間引き率を変更することで電子ズームを行う方法が開示されている。図１６はこの提案における読出しを説明するための説明図である。図１６（ａ）は通常モード時の読出しを示しており、図１６（ｂ）はズームモード時の読出しを示している。
【０００７】
通常モード時には、固体撮像素子の１画素おきに読出しを行う。例えば、図１６（ａ）の太枠の範囲内については、塗り潰しで示す画素の信号を読み出す。つまり、縦横８×８画素の範囲から４×４画素の信号を読み出すという間引き率が２の読出しを行うことで、読み出す画素数を少なくして、読み出し時間及び信号処理時間を短縮している。
【０００８】
これに対し、ズームモード時には、８×８画素の太枠範囲内の中央の連続した４×４画素を読み出す（塗り潰し部分）。即ち、この場合には、間引き率が１の読出しを行うことで、太枠範囲内の中央部分を拡大して表示させることができる。しかも、読み出す画素数は通常モード時と同じであり、読み出し時間及び信号処理時間も通常モード時と同様にして、信号処理を共通化することができる。
【０００９】
【発明が解決しようとする課題】
ところで、固体撮像素子によって画像をサンプリングすることにより、折り返し歪が発生する。折り返し歪は例えばモアレとして表示され、画質を著しく低下させる。そこで、通常、光学ローパスフィルタを配置して、折り返し歪を十分に低減させるようになっている。
【００１０】
なお、光学ローパスフィルタの特性を考慮した場合、サンプリング周波数でＭＴＦ（modulation transfer function）が０になるように設定することが一般的である。
【００１１】
しかしながら、光学ローパスフィルタは、間引き読出しを考慮した設計になっていない。間引き読出しの時にはサンプリング周波数が低くなるため、比較的大きなレベルの折り返し歪が低周波成分に重畳されて、画質が著しく劣化するという問題点があった。
【００１２】
本発明はかかる問題点に鑑みてなされたものであって、固体撮像素子から間引き読出しを行う場合でも、画質の劣化を抑制することができる撮像装置を提供することを目的とする。
【００１３】
また、本発明は、間引き読出しによる画質劣化を防止するために画素加算を行う場合でも、感度が変化することを防止することができる撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明に係る撮像装置は、２次元アレイ状に配列された複数個の光電変換素子を有し前記光電変換素子から間引き読み出しが可能な固体撮像素子と、前記光電変換素子から間引き読み出しを行う場合には、間引き率に基づく間引き単位領域の代表値を複数の画素を加算して得る読み出し手段とを具備し、前記読み出し手段は、前記間引き単位領域の代表値を、間引き率に拘わらず、同一画素数の画素を加算して得ることを特徴とする。
【００１５】
本発明において、固体撮像素子は２次元アレイ状に配列された複数個の光電変換素子を有し光電変換素子からの間引き読み出しが可能である。読み出し手段は、光電変換素子から間引き読み出しを行う場合には、間引き率に基づく間引き単位領域の代表値を、複数の画素の画素加算によって得る。読み出し手段の加算処理によってサンプリング周波数におけるＭＴＦを低下させる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係る撮像装置を示すブロック図である。
【００１７】
本実施の形態は間引き読出しを行う場合には、画素加算を行うことにより画質の劣化を抑制することを可能にしたものである。
【００１８】
図１において、撮像レンズ・光学ファインダ等の光学系１は被写体からの光学像を取込んで固体撮像素子２の入射面に導く。固体撮像素子２は、２次元アレイ状に配列された複数個の光電変換素子を有しており、Ｘ−Ｙアドレスを指定することで任意の画素（光電変換素子）を読み出すランダムアクセス可能なＣＭＯＳセンサ等によって構成されている。センサ駆動回路（以下、ＴＧという）３は、システムコントローラ６によって制御されて、固体撮像素子２の駆動を制御するようになっている。
【００１９】
なお、後述するように、本実施の形態においては画素加算を行うので、選択することによって加算処理が行われ加算回路を要しない電流読み出しの撮像素子が望ましい。例えば、電流読み出しの撮像素子としては、ＣＭＤ（Charge Modulation Device）がある。
【００２０】
図２は図１中の固体撮像素子２の具体的な構成を示す説明図である。固体撮像素子２は、２次元に配置されたランダムアクセス可能な光電変換素子Ｇ1 〜Ｇ16を有している。光電変換素子Ｇ1 〜Ｇ16は、入射光を光電変換する。光電変換素子Ｇ1 〜Ｇ16は、垂直シフトレジスタ１７によって走査線線Ｈがアクティブになると共に、水平シフトレジスタ１８によってデータ線Ｖがアクティブになることによって選択され、光電変換出力を出力線Ｏｕｔに出力する。ラインメモリ１９は、光電変換素子Ｇ1 〜Ｇ16の出力を１ライン分を保持して、時系列的に出力する。
【００２１】
なお、一般的には固体撮像素子２の画素数は数万画素〜数百万画素に設定されているが、図面を簡略化するために、図２では４×４画素の場合を示している。
【００２２】
固体撮像素子２から読み出された信号はＡ／Ｄ変換器４に供給される。Ａ／Ｄ変換器４は、入力されたアナログ画像信号をデジタル信号に変換してカメラ信号処理部５に供給する。カメラ信号処理部５は、システムコントローラ６に制御されて、入力された信号に対して信号増幅処理、輝度信号処理、色信号生成処理、マトリックス変換処理や輝度信号の高周波成分を強調するエンハンサ処理等の所定のデジタル信号処理を施す。カメラ信号処理部５は、システムコントローラ６に制御されて、デジタル処理した信号を出力する。
【００２３】
カメラ信号処理部５によってデジタル処理された信号は、バスを介して各部に転送される。ＬＣＤＩ／Ｆ（インターフェース）１０はカメラ信号処理部５からの画像信号をＬＣＤ（liquid crystal display ）１３に与える。ＬＣＤ１３は、図示しない表示画面上に画像を映出するようになっている。
【００２４】
ＳＤＲＡＭＩ／Ｆ８は、バスとＳＤＲＡＭ１１との間で信号の授受を行う。ＳＤＲＡＭ１１は画像処理用のメモリである。ＪＰＥＧ処理部７は、バスを介して入力された画像信号をＪＰＥＧ規格に従って画像圧縮する。メモリカードＩ／Ｆ９は、バスとメモリカード１２との間で信号の授受を行う。メモリカード１２はＪＰＥＧ処理部７によって圧縮された画像信号を記憶する。
【００２５】
システムコントローラ６は、図示しない操作者の操作に応じて動作し、各部を統括的に制御するようになっている。本実施の形態においては、システムコントローラ６は、ズーム動作時には、従来と同様に、固体撮像素子２の読み出す光電変換素子の領域（以下、撮像領域という）をズーム率に応じて変更すると共に、撮像領域のサイズに応じて間引き率を変更するようになっている。
【００２６】
本実施の形態においては、システムコントローラ６は、間引き読み出し時には、画素加算を行うように固体撮像素子２を制御するようになっている。図３は本実施の形態における画素加算の方法を示す説明図であり、図４は図３の画素加算による効果を説明するためのグラフである。
【００２７】
図３は固体撮像素子２内の所定の１２×１２画素を示している。図３は格子によって画素を示し、太枠は間引きの単位である間引き単位領域を示している。即ち、図３は、太枠で示す６×６画素の領域から１画素分の画像信号を出力する間引き率６の読出しを示している。
【００２８】
本実施の形態においては、６×６画素の領域から斜線にて示す４画素を選択し、４画素の画素値を加算して用いるようになっている。画素ピッチをＰx とし、加算する画素同士の水平及び垂直方向の間隔が画素ピッチＰx のｎ倍（図３では３倍）であるものとすると、間引き単位領域から４画素を選択して加算する場合には、間引き時の水平及び垂直方向のサンプリング間隔は、２ｎＰx となる。
【００２９】
各画素が矩形であって、開口率が１００％であるものとすると、図３の４画素加算の場合の開口形状は、ｒｅｃｔ関数及びδ関数を用いた下記（１）式によって与えられる。なお、＊は畳み込み積分を示す。
【００３０】
ｒｅｃｔ（ｘ／Ｐx ）＊δδ［ｘ／（ｎＰx ／２）］    （１）
上記（１）式をフーリエ変換すると、ＭＴＦを表す下記（２）式が得られる。
【００３１】
ｓｉｎｃ（Ｐx ｆ）× ｃｏｓ（ｎＰx πｆ）           （２）
図４は横軸に空間周波数をとり縦軸にＭＴＦをとって、ｓｉｎｃ関数、ｃｏｓ関数及び上記（２）式のｓｉｎｃ×ｃｏｓをグラフ化したものである。図４に示すように、４画素加算を行った場合には、周波数１／ｎＰｘの点で、ＭＴＦが０になる。
【００３２】
上記（２）式から明らかなように、サンプリング間隔に拘わらず、加算する画素同士の間隔をサンプリング間隔の１／２に設定することによって低周波の折り返し歪を抑圧することができる。即ち、
（Ａ）ｎＰx （画素ピッチのｎ倍）で２画素を加算した場合、１／ｎＰx でＭＴＦが０となる。従って、
（Ｂ）ｎＰx （画素ピッチのｎ倍）で２画素を加算した場合、１／２ｎに間引くことができる。なおナイキスト周波数は１／２ｎＰx である。
【００３３】
という結論が得られる。
【００３４】
次に、このように構成された実施の形態の動作について説明する。
【００３５】
システムコントローラ６は、操作者のズーム操作に応じて、固体撮像素子２の撮像領域を決定すると共に、撮像領域のサイズに応じた間引き率を設定する。例えば、説明を簡略化するために、固体撮像素子２の光電変換素子が白黒素子で、１光電変換素子が１画素を構成し、光電変換素子数が１２×１２画素であるものとする。また、ＬＣＤ１３等によって要求される出力画像サイズが２×２画素であるものとする。
【００３６】
例えば、固体撮像素子２の全画素領域を撮像領域とする場合にシステムコントローラ６が間引き率６の読出しを行うものとする。即ち、全画素領域を撮像領域とする場合には、固体撮像素子２から２×２画素分の読み出しが行われることになる。この場合に、コントローラ６が固体撮像素子２の全画素領域の中央の２×２画素の領域を撮像領域として間引き率１で読出しを行うと、全領域を撮像領域とする場合の６倍ズームが行われることになる。この場合においても、固体撮像素子２から読み出される画素数は変化しない。
【００３７】
システムコントローラ６は、撮像領域のサイズを変化させると共に、このサイズに応じた間引き率で読出しを行うことにより、共通の信号処理によってズーム画像を得る。固体撮像素子２から読み出された画像信号はＡ／Ｄ変換器４によってデジタル信号に変換された後、カメラ信号処理部５に供給される。カメラ信号処理部５は、所定の信号処理を施してバスに出力する。例えばＬＣＤ１３はＬＣＤＩ／Ｆ１０を介して画像信号を取込んで、表示画面上に画像を映出する。
【００３８】
また、システムコントローラ６は、操作者の指示に従って、撮像した画像をＪＰＥＧ処理部に与えて圧縮し、メモリカードＩ／Ｆ９を介してメモリカード１２に供給して記録させる。
【００３９】
本実施の形態においては、システムコントローラ６は、固体撮像素子２から間引き読出しをする場合には、間引き率に応じた画素間隔で各間引き単位領域内の４画素を加算して出力させる。各間引き単位領域内で選択する４画素は、相互にサンプリング間隔の１／２の画素間隔を有すると共に、間引き単位領域の代表値であることが望ましい。
【００４０】
例えば、固体撮像素子２が電流読み出し型の撮像素子である場合には、各間引き単位領域毎に２本の走査線と２本のデータ線を同時にアクティブにする。図３の各ラインが走査線Ｖ１〜Ｖ１２に対応し、各列がデータ線Ｈ１〜Ｈ１２に対応しているものとすると、図３の左上の間引き単位領域内の画素を読み出す場合には、走査線Ｖ２，Ｖ５とデータ線Ｈ２，Ｈ５とを同時にアクティブにする。これにより、図３の斜線に示す画素が加算されて読み出される。
【００４１】
間引き読出しを行う場合でも、選択される４画素がサンプリング間隔の１／２の画素間隔を有するので、上述した（Ａ），（Ｂ）に示すように、サンプリング周波数でＭＴＦを０にすることができ、折り返し歪を低減した十分な画質を得ることができる。
【００４２】
このように、本実施の形態においては、間引き単位領域内で、サンプリング間隔の１／２の画素間隔を有する４画素を選択して加算しており、間引き読出しを行う場合でも、折り返し歪の影響を著しく低減して、モアレの発生を防止し、良好な画質を得ている。
【００４３】
なお、上記実施の形態においては、各間引き単位領域から４画素を選択して加算する例について説明したが、加算する画素数は４画素に限定されるものでなく、加算する画素数は適宜設定可能である。
【００４４】
なお、折り返し歪を考慮した場合には、各間引き単位領域内の全ての画素を選択して加算した方がよい。しかしそうすると、ズームの倍率が変化する毎に加算する画素数が変化し、感度が変動してしまう。従って、この場合には、ズームの変更毎に感度補正をする必要がある。しかし、本実施の形態においては、加算する画素の数は間引き率に拘わらず固定の４画素に設定しており、間引き率毎に感度が変化してしまうことはなく、以後の信号処理を共通化することができる。
【００４５】
また、加算する画素数分だけセンサ回路のダイナミックレンジを広くする必要があるが、本実施の形態においては、加算画素数は比較的少なく固定であり、回路のダイナミックレンジを比較的狭い範囲に設定することができ、また、その設定を変更する必要がない。
【００４６】
また、上記実施形態においては電流読み出し型の撮像素子を用いた方がよい。電流読み出し型の撮像素子を用いることによって、画素加算における加算処理を撮像素子によって行うことができ、加算回路は不要である。また、電圧読み出し型の撮像素子を用いた場合には、撮像素子から読み出す画素数が多くなり、フレームレートが低下するが、本実施の形態においては読み出す画素数が比較的少なく固定されており、フレームレートが低下することを防止することができる。
【００４７】
ところで、上記実施の形態においては、光電変換素子が白黒素子であるものとして説明した。しかし、カラー画像を得る場合には、各画素を色画素で構成する必要がある。３板式の撮像素子の場合には、白黒素子の場合と同様に構成することができるが、単板カラー撮像素子の場合には、各色毎に画素加算した信号の空間的な位置が理想的な空間位置と異なる場合がある。また、単板カラー撮像素子の場合には、各色毎に画素加算した場合ＭＴＦが間引き率によって異なることがある。そこで、カラー信号生成に必要な複数の色画素の配置を考慮して選択する画素を決定する必要がある。
【００４８】
図５乃至図８は、本発明を単板式カラー撮像素子に適用した場合に、間引き読み出し時に加算する画素の選択方法を説明するための説明図である。図５乃至図８は、格子によって画素を示し、格子内に付したＲ，Ｇ，Ｂは夫々赤（Ｒ）画素、緑（Ｇ）画素、青（Ｂ）画素を示している。図５乃至図８は、１つのＲ画素、２つのＧ画素及び１つのＢ画素の４画素を配列した一般的なベイヤー配列の例を示している。なお、加算する画素は○印を付してある。
【００４９】
また、図５乃至図８の太枠は、間引き単位領域を示している。間引き単位領域毎に読出す画素についても、元のベイヤー配列と同様の画素配列となるようにする。即ち、図５乃至図８において、太枠内の右上がり斜線はＲ画素を出力する間引き単位領域を示し、太枠内の左上がり斜線はＢ画素を出力する間引き単位領域を示し、斜線が施されていない太枠はＧ画素を出力する間引き単位領域を示す。
【００５０】
以後、各図において、Ｇ1 ，Ｂ1 ，Ｒ1 ，Ｇ2 は加算に用いられる画素の例を示している。各図の他の部分においても、Ｇ1 ，Ｂ1 ，Ｒ1 ，Ｇ2 で示す選択と同様の選択が行われる。
【００５１】
図５は間引き率が４（以下、１／４間引きともいう）において選択する加算画素の例である。図５の太枠は、４×４画素の間引き単位領域を示している。カラー画像の場合には色毎に処理を行うようになっている。従って、間引きは太枠で示す４画素おきに行われるが、各色毎にみると読出される画素は８画素に１個の割合（８画素ピッチ）である。
【００５２】
上述したように、サンプリング間隔の１／２で読出しを行えばよく、各色毎に見ると４画素ピッチで選択して加算すればよい。即ち、図５の例では、例えば一番左端の最上段の太枠で示す間引き単位領域については、４画素ピッチの４つの緑画素Ｇ1 を加算して出力する。また、最上段の左から２番目の太枠で示す間引き単位領域については、４画素ピッチの４つの赤画素Ｒ1 を加算して出力する。また、一番左端の上から２段目の太枠で示す間引き単位領域については、４画素ピッチの４つの青画素Ｂ1 を加算して出力する。また、左から２番目の上から２番目の太枠で示す間引き単位領域については、４画素ピッチの４つの緑画素Ｇ2 を加算して出力する。
【００５３】
図６は間引き率が２（以下、１／２間引きともいう）において選択する加算画素の例である。図６の太枠は、２×２画素の間引き単位領域を示している。間引きは太枠で示す２画素おきに行われるが、各色毎にみると読出される画素は４画素ピッチである。
【００５４】
従って、サンプリング間隔の１／２、つまり、各色毎に見ると２画素ピッチで選択して加算すればよい。即ち、図６の例では、各間引き単位領域の四隅の４画素を加算すればよい。例えば一番左端の最上段の太枠で示す間引き単位領域については、２画素ピッチの４つの緑画素Ｇ1 を加算して出力する。また、最上段の左から２番目の太枠で示す間引き単位領域については、２画素ピッチの４つの赤画素Ｒ1 を加算して出力する。また、一番左端の上から２段目の太枠で示す間引き単位領域については、２画素ピッチの４つの青画素Ｂ1 を加算して出力する。また、左から２番目の上から２番目の太枠で示す間引き単位領域については、２画素ピッチの４つの緑画素Ｇ2 を加算して出力する。
【００５５】
図５及び図６の例においては、いずれの間引き単位領域についても、加算する４つの画素の位置を平均すると、略その間引き単位領域の重心近傍の位置である。これにより、加算結果は、略間引き単位領域の代表値として適当であると考えられる。そして、いずれの間引き単位領域についても、サンプリング間隔の１／２の画素間隔の画素を選択して加算しており、サンプリング周波数におけるＭＴＦを０にして、折り返し歪の影響を抑制することができる。
【００５６】
図７は間引き率が５（以下、１／５間引きともいう）において選択する加算画素の例である。図７の太枠は、５×５画素の間引き単位領域を示している。間引きは太枠で示す５画素おきに行われるが、各色毎にみると読出される画素は１０画素ピッチである。
【００５７】
従って、サンプリング間隔の１／２、つまり、各色毎に見ると５画素ピッチで選択して加算すればよい。しかしながら、同一画素は１画素おきに配置されているので、５画素ピッチで同一画素の加算を行うことはできない。そこで、上述したサンプリング周波数でＭＴＦを０にするという理想的な特性は得られないが、サンプリング周波数におけるＭＴＦを比較的小さくすることができる特性として４画素ピッチでの加算を行う。
【００５８】
即ち、図７の例では、各間引き単位領域の四隅の４画素を加算すればよい。例えば一番左端の最上段の太枠で示す間引き単位領域については、４画素ピッチの４つの緑画素Ｇ1 を加算して出力する。また、最上段の左から２番目の太枠で示す間引き単位領域については、４画素ピッチの４つの赤画素Ｒ1 を加算して出力する。また、一番左端の上から２段目の太枠で示す間引き単位領域については、４画素ピッチの４つの青画素Ｂ1 を加算して出力する。また、左から２番目の上から２番目の太枠で示す間引き単位領域については、４画素ピッチの４つの緑画素Ｇ2 を加算して出力する。
【００５９】
図８は間引き率が３（以下、１／３間引きともいう）において選択する加算画素の例である。図８の太枠は、３×３画素の間引き単位領域を示している。間引きは太枠で示す３画素おきに行われるが、各色毎にみると読出される画素は６画素ピッチである。
【００６０】
従って、サンプリング間隔の１／２、つまり、各色毎に見ると３画素ピッチで選択して加算すればよいが、この場合においても、３画素ピッチで同一色画素を加算することはできないので、２画素ピッチでの加算を行う。
【００６１】
図８の例では、各間引き単位領域の四隅の４画素を加算すればよい。例えば一番左端の最上段の太枠で示す間引き単位領域については、２画素ピッチの４つの緑画素Ｇ1 を加算して出力する。また、最上段の左から２番目の太枠で示す間引き単位領域については、２画素ピッチの４つの赤画素Ｒ1 を加算して出力する。また、一番左端の上から２段目の太枠で示す間引き単位領域については、２画素ピッチの４つの青画素Ｂ1 を加算して出力する。また、左から２番目の上から２番目の太枠で示す間引き単位領域については、２画素ピッチの４つの緑画素Ｇ2 を加算して出力する。
【００６２】
図７及び図８の例では、いずれの間引き単位領域についても、加算する４つの画素の位置を平均すると、間引き単位領域の重心位置であり、間引き単位領域の代表値として適当である。また、サンプリング周波数におけるＭＴＦを比較的小さい値にして、折り返し歪の影響を抑制することができる。
【００６３】
なお、図７及び図８ではサンプリング間隔の１／２よりも小さい画素ピッチで加算画素を選択したが、サンプリング間隔の１／２よりも大きい画素ピッチで加算画素を選択するようにしてもよい。
【００６４】
ところで、上記各実施の形態においては、４画素の加算を行うために、電流読み出し型撮像素子を用いた方がよい。上述したように、電流読み出し型の撮像素子では、２本の走査線と２本のデータ線を同時にアクティブにすることによって、４画素の読出しを同時に行って加算値を得ることができる。
【００６５】
しかし、撮像素子として電圧読み出し型の撮像素子が採用されることがある。この場合には、２本のデータ線を同時にアクティブにしても、同一列の２画素以上の画素の加算値を得ることはできない。従って、電圧読み出し型の撮像素子を用いる場合には、４画素加算を行うために、各画素を独立して読み出す必要がある。即ち、間引き読み出しと画素加算が両立しない。
【００６６】
しかし、加算する画素数が３画素であれば、電圧読み出し型の撮像素子であっても、３画素を同時に選択することができる。同時に選択された３画素の加算回路を工夫することで間引き読み出しと画素加算の両立が可能になる。３画素加算では、上述した（２）式の特性を得ることはできないが、加算する画素同士の間隔を十分に大きくすることで、サンプリング周波数におけるＭＴＦを比較的小さい値にすることができる。また、加算する画素同士の間隔は、いずれの画素についてもなるべく均等になるようにする。また、電圧読み出し型の撮像素子を考慮して、同一列の２画素を選択しないようにする。
【００６７】
図９乃至図１１はベイヤー配列における３画素加算の画素の選択方法を説明するための説明図である。図９乃至図１１は、図５乃至図８と同一の表記方法によって記載している。
【００６８】
図９は間引き率が３（１／３間引き）において選択する加算画素の例である。図９の太枠は、３×３画素の間引き単位領域を示している。間引きは太枠で示す３画素おきに行われ、各色毎には６画素ピッチである。
【００６９】
図９の例では、例えば一番左端の最上段の太枠で示す間引き単位領域については、３つの緑画素Ｇ1 を加算して出力する。また、最上段の左から２番目の太枠で示す間引き単位領域については、３つの赤画素Ｒ1 を加算して出力する。また、一番左端の上から２段目の太枠で示す間引き単位領域については、３つの青画素Ｂ1 を加算して出力する。また、左から２番目の上から２番目の太枠で示す間引き単位領域については、３つの緑画素Ｇ2 を加算して出力する。
【００７０】
いずれの間引き単位領域についても、加算する３つの画素の位置を平均すると、間引き単位領域の重心となる。また、各加算画素同士の間隔は略均等であり、加算画素は間引き単位領域の代表値であると共にその間隔は十分に大きい。これにより、加算結果は、サンプリング周波数におけるＭＴＦを十分に低減して、折り返し歪の影響を抑制することができる。また、３つの加算画素は、同一列上にないので、電圧加算型の撮像素子を用いた場合でも、同時に選択することができる。
【００７１】
図１０は間引き率が４（１／４間引き）において選択する加算画素の例である。図１０の太枠は、４×４画素の間引き単位領域を示している。間引きは太枠で示す４画素おきに行われ、各色毎には８画素ピッチである。
【００７２】
図１０の例では、例えば一番左端の最上段の太枠で示す間引き単位領域については、３つの緑画素Ｇ1 を加算して出力する。また、最上段の左から２番目の太枠で示す間引き単位領域については、３つの赤画素Ｒ1 を加算して出力する。また、一番左端の上から２段目の太枠で示す間引き単位領域については、３つの青画素Ｂ1 を加算して出力する。また、左から２番目の上から２番目の太枠で示す間引き単位領域については、３つの緑画素Ｇ2 を加算して出力する。
【００７３】
いずれの間引き単位領域についても、加算する３つの画素の位置を平均すると、略間引き単位領域の重心近傍の位置となる。また、各加算画素同士の間隔は略均等であり、加算画素は間引き単位領域の代表値であると共にその間隔は十分に大きい。これにより、加算結果は、サンプリング周波数におけるＭＴＦを十分に低減して、折り返し歪の影響を抑制することができる。また、３つの加算画素は、同一列上にないので、電圧加算型の撮像素子を用いた場合でも、同時に選択することができる。
【００７４】
図１１は間引き率が５（１／５間引き）において選択する加算画素の例である。図１１の太枠は、５×５画素の間引き単位領域を示している。間引きは太枠で示す５画素おきに行われ、各色毎には１０画素ピッチである。
【００７５】
図１１の例では、例えば一番左端の最上段の太枠で示す間引き単位領域については、３つの緑画素Ｇ1 を加算して出力する。また、最上段の左から２番目の太枠で示す間引き単位領域については、３つの赤画素Ｒ1 を加算して出力する。また、一番左端の上から２段目の太枠で示す間引き単位領域については、３つの青画素Ｂ1 を加算して出力する。また、左から２番目の上から２番目の太枠で示す間引き単位領域については、３つの緑画素Ｇ2 を加算して出力する。
【００７６】
いずれの間引き単位領域についても、加算する３つの画素の位置を平均すると、略間引き単位領域の重心近傍の位置となる。また、各加算画素同士の間隔は略均等であり、加算画素は間引き単位領域の代表値であると共にその間隔は十分に大きい。これにより、加算結果は、サンプリング周波数におけるＭＴＦを十分に低減して、折り返し歪の影響を抑制することができる。また、３つの加算画素は、同一列上にないので、電圧加算型の撮像素子を用いた場合でも、同時に選択することができる。
【００７７】
ところで、１／２間引きでは、３画素加算を行うとすると、同一列の２画素を同時に読み出す必要がある。そこで、電圧読み出し型の撮像素子を用いる場合には、１／２間引き時には２画素加算とする。
【００７８】
図１２はベイヤー配列における２画素加算の画素の選択方法を説明するための説明図である。図１２は図５乃至図８と同一の表記方法によって記載している。
【００７９】
図１２は間引き率が２（１／２間引き）において選択する加算画素の例である。図１２の太枠は、２×２画素の間引き単位領域を示している。間引きは太枠で示す２画素おきに行われ、各色毎には４画素ピッチである。
【００８０】
図１２の例では、例えば一番左端の最上段の太枠で示す間引き単位領域については、２つの緑画素Ｇ1 を加算して出力する。また、最上段の左から２番目の太枠で示す間引き単位領域については、２つの赤画素Ｒ1 を加算して出力する。また、一番左端の上から２段目の太枠で示す間引き単位領域については、２つの青画素Ｂ1 を加算して出力する。また、左から２番目の上から２番目の太枠で示す間引き単位領域については、２つの緑画素Ｇ2 を加算して出力する。
【００８１】
いずれの間引き単位領域についても、加算する２つの画素の位置を平均すると、略間引き単位領域の重心近傍の位置となる。また、各加算画素同士の間隔は略均等であり、加算画素は間引き単位領域の代表値であると共にその間隔は十分に大きい。これにより、加算結果は、サンプリング周波数におけるＭＴＦを十分に低減して、折り返し歪の影響を抑制することができる。また、２つの加算画素は、同一列上にないので、電圧加算型の撮像素子を用いた場合でも、同時に選択することができる。
【００８２】
ところで、上述した加算画素の選択方法においては、加算画素の平均の位置が、間引き単位領域の重心位置に位置しないことがある。そこで、システムコントローラ６は、固体撮像素子２の加算画素に位置に応じた重み付けを行うことによって、加算画素の平均位置を間引き単位領域の重心位置に空間的に補正するようにしてもよい。
【００８３】
図１３及び図１４はこの場合の例を示す説明図であり、図１３は１／２間引きの４画素加算の例を示し、図１４は１／４間引きの４画素加算の例を示している。図１３及び図１４は図５及び図６に対応した表記法を用いている。
【００８４】
１／２間引きの場合には、図１３（ａ）に示すように、例えば左端の最上段の間引き単位領域については、２画素ピッチの４つの画素Ｇ1 乃至Ｇ4 （図６では全てＧ1 と記載）を選択して加算する。この場合には、図１３（ｂ）に示すように、画素Ｇ1 乃至Ｇ4 に対して夫々９：３：３：１の重み付けを付す。
【００８５】
これらの重み付けを付すことによって、画素加算結果を間引き単位領域の重心位置（図１３（ｂ）の黒丸印）に補正することができる。
【００８６】
１／４間引きの場合には、図１４（ａ）に示すように、例えば左端の最上段の間引き単位領域については、４画素ピッチの４つの画素Ｇ1 乃至Ｇ4 （図５では全てＧ1 と記載）を選択して加算する。この場合には、図１４（ｂ）に示すように、画素Ｇ1 乃至Ｇ4 に対して夫々２５：１５：１５：９の重み付けを付す。
【００８７】
これらの重み付けを付すことによって、画素加算結果を間引き単位領域の重心位置（図１４（ｂ）の黒丸印）に補正することができる。
【００８８】
図１５は本発明の第２の実施の形態に係る撮像装置を示すブロック図である。図１５において図１と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は画素加算したときの欠陥補正について考慮したものである。
【００８９】
本実施の形態は、欠陥補正回路１４，１５、ＲＯＭ１６及び選択回路（以下、ＳＥＬという）１７を付加した点が第１の実施の形態と異なる。
【００９０】
Ａ／Ｄ変換器４の出力は欠陥補正回路１４，１５に供給される。ＲＯＭ１６は、固体撮像素子２の欠陥画素のアドレスを記憶しておくようになっている。欠陥補正回路１４は、固体撮像素子２の全画素を撮像領域として用いる場合に、ＲＯＭ１６に記録されている欠陥画素のアドレスに基づいて、Ａ／Ｄ変換器４の出力のうち欠陥画素を補正して出力するようになっている。
【００９１】
一方、欠陥補正回路１５は、固体撮像素子２から間引き読出しを行う場合に、画像信号から欠陥画素を検出して補正するようになっている。例えば、欠陥補正回路１５は、入力された画素が著しく変化した場合には、欠陥画素であるものと判断して、前後の画素値に基づいて欠陥画素を補正するようになっている。
【００９２】
ＳＥＬ１７は、システムコントローラ６に制御されて、欠陥補正回路１４，１５の出力を選択的にカメラ信号処理部５に出力する。カメラ信号処理部５は、システムコントローラ６に制御されて、加算した画素の開口形状に応じて、エンハンサ１９によるエンハンス量を変更するようになっている。
【００９３】
このように構成された実施の形態においては、固体撮像素子２の全画素が撮像領域である場合には、読み出された画像信号はＡ／Ｄ変換器４によってデジタル信号に変換された後、欠陥補正回路１４に供給される。欠陥補正回路１４は、ＲＯＭ１６から欠陥画素のアドレスを読み出し、入力された画像信号の欠陥画素について補正を行う。この場合には、ＳＥＬ１７は、システムコントローラ６に制御されて、欠陥補正回路１４の出力をカメラ信号処理部５に出力する。
【００９４】
一方、間引き読出しを行うズームモード時には、固体撮像素子２から読み出された画像信号はＡ／Ｄ変換器４を介して欠陥補正回路１５に供給される。欠陥補正回路１５は、画像信号の変化の状態等によって、欠陥画素を検出し、空間的又は時間的に前後の画素を用いて欠陥画素を補正して出力する。この場合には、ＳＥＬ１７は、欠陥補正回路１５の出力を選択してカメラ信号処理部５に出力する。
【００９５】
カメラ信号処理部５は、システムコントローラ６に制御されて、入力された画像信号のエンハンス量を制御する。例えば、加算した画素の開口形状によっては、サンプリング周波数でＭＴＦが０にならないときがある。この場合には、カメラ信号処理部５はエンハンサ１９によって高周波成分を強調する量を制御することで、良好なＭＴＦを得る。
【００９６】
他の作用は第１の実施の形態と同様である。
【００９７】
このように、本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、簡単な構成で欠陥補正できるという利点を有する。また、間引き読み出し時の欠陥ＲＯＭが不要であり、欠陥補正のための固体毎の調整が不要になる。また、高周波数成分の強調量を制御しており、間引き率に拘わらず画質を安定化させることができる。
【００９８】
【発明の効果】
以上説明したように本発明によれば、固体撮像素子から間引き読出しを行う場合でも、画質の劣化を抑制すると共に、間引き読出しによる画質劣化を防止するために画素加算を行う場合でも、感度が変化することを防止することができるという効果を有する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る撮像装置を示すブロック図。
【図２】図１中の固体撮像素子２の具体的な構成を示す説明図。
【図３】本実施の形態における画素加算の方法を示す説明図。
【図４】図３の画素加算による効果を説明するためのグラフ。
【図５】間引き読み出し時に加算する画素の選択方法を説明するための説明図。
【図６】間引き読み出し時に加算する画素の選択方法を説明するための説明図。
【図７】間引き読み出し時に加算する画素の選択方法を説明するための説明図。
【図８】間引き読み出し時に加算する画素の選択方法を説明するための説明図。
【図９】ベイヤー配列における３画素加算の画素の選択方法を説明するための説明図。
【図１０】ベイヤー配列における３画素加算の画素の選択方法を説明するための説明図。
【図１１】ベイヤー配列における３画素加算の画素の選択方法を説明するための説明図。
【図１２】ベイヤー配列における２画素加算の画素の選択方法を説明するための説明図。
【図１３】画素加算における重み付けを説明するための説明図。
【図１４】画素加算における重み付けを説明するための説明図。
【図１５】本発明の第２の実施の形態に係る撮像装置を示すブロック図。
【図１６】従来例における間引き読み出しを説明するための説明図。
【符号の説明】
２…固体撮像素子、５…カメラ信号処理部、６…システムコントローラ。
【図１】
0004658401.tif 000002
【図２】
0004658401.tif 000003
【図３】
0004658401.tif 000004
【図４】
0004658401.tif 000005
【図５】
0004658401.tif 000006
【図６】
0004658401.tif 000007
【図７】
0004658401.tif 000008
【図８】
0004658401.tif 000009
【図９】
0004658401.tif 000010
【図１０】
0004658401.tif 000011
【図１１】
0004658401.tif 000012
【図１２】
0004658401.tif 000013
【図１３】
0004658401.tif 000014
【図１４】
0004658401.tif 000015
【図１５】
0004658401.tif 000016
【図１６】
0004658401.tif 000017