(57)【特許請求の範囲】
【請求項１】
被写体を撮像する撮像装置において、
撮像した画像信号について画素を間引きして読み出す第１の読み出し動作モードと、間引きせずに読み出す第２の読み出し動作モードとを具備するマトリクス状の固体撮像素子と、
前記第２の読み出し動作モード時に前記固体撮像素子から読み出された画像信号を一時的に記憶する一時記憶手段と、
前記第１の読み出し動作モード時には前記固体撮像素子から読み出された前記画像信号に対して、また前記第２の読み出し動作モード時には前記一時記憶手段から読み出された前記画像信号に対して、所定の検波を行う検波手段と、
前記第１の読み出し動作モード時には前記固体撮像素子から読み出された前記画像信号に対して、また前記第２の読み出し動作モード時には前記一時記憶手段から読み出された前記画像信号に対して、前記各読み出し動作モードでの前記検波手段による検波データに基づいて画質補正のための所定の信号処理を行う信号処理手段と、
前記第１の読み出し動作モードから前記第２の読み出し動作モードに遷移すると、前記一時記憶手段に記憶された前記画像信号を読み出して前記検波手段に供給した後、再び前記画像信号を読み出して前記信号処理手段に供給する読み出し制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記読み出し制御手段は、前記一時記憶手段に記憶された前記画像信号について、前記第１の読み出し動作モード時の前記固体撮像素子からの読み出しに対応するように画素を間引きして読み出し、前記検波手段に供給することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記信号処理手段は、前記第２の読み出し動作モード時に、前記検波手段において検波された前記検波データと、前記第２の読み出し動作モードに遷移する以前の前記第１の読み出し動作モード時に得られた前記検波データとに基づいて前記所定の信号処理を行うことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記固体撮像素子は、前記第１の読み出し動作モード時に、垂直方向の同色のラインにおける複数の画素の信号を加算して読み出す第１の信号加算手段を有し、
前記読み出し制御手段は、前記第２の読み出し動作モード時に前記一時記憶手段から読み出された前記画像信号について、前記第１の信号加算手段に対応する画素についての信号の加算を行って前記検波手段に供給する第２の信号加算手段を有することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記信号処理手段は、前記検波手段による検波データに基づき、入力された前記画像信号に対してホワイトバランスの調整を行うことを特徴とする請求項１記載の撮像装置。
【請求項６】
前記信号処理手段は、前記検波手段による検波データに基づき、入力された前記画像信号に対してオフセットの除去処理を行うことを特徴とする請求項１記載の撮像装置。
【請求項７】
前記信号処理手段は、前記検波手段による検波データに基づき、入力された前記画像信号に対してゲイン調整を行うことを特徴とする請求項１記載の撮像装置。
【請求項８】
固体撮像素子を用いた被写体の撮像における画質補正方法において、
前記固体撮像素子において撮像した画像信号について画素を間引きして読み出す第１の読み出し動作モードでは、前記固体撮像素子から読み出された前記画像信号に対して所定の検波を行い、
前記所定の検波による検波データに基づいて前記画像信号に対して画質補正のための所定の信号処理を行い、
前記固体撮像素子において前記画素の間引きを行わずに読み出す第２の読み出し動作モードに遷移すると、前記固体撮像素子から読み出された前記画像信号を一時的に記憶させ、
記憶させた前記画像信号を読み出して前記所定の検波を行い、
記憶させた前記画像信号を再び読み出して、前記所定の検波による検波データに基づいて、再び読み出した前記画像信号に対して画質補正のための所定の信号処理を行う、
ことを特徴とする画質補正方法。
【請求項９】
前記第２の読み出し動作モード時において、一時的に記憶させた前記画像信号を読み出して前記所定の検波を行う際に、前記第１の読み出し動作モード時の前記固体撮像素子からの読み出しに対応するように画素を間引きして読み出すことを特徴とする請求項８記載の画質補正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子を用いて被写体を撮像する撮像装置、およびこの撮像における画質補正方法に関する。
【０００２】
【従来の技術】
近年、撮像した画像をデジタルデータとして記憶するデジタルスチルカメラが普及している。デジタルスチルカメラでは、光学レンズによって撮像された画像を、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサといった撮像素子を使用して光電変換し、デジタルデータ化した後、所定の信号処理を行って外部記録媒体等に記録する。
【０００３】
撮像した画像信号に対する信号処理としては、適切な露光を行うためのＡＥ（Auto Exposure）、色温度に応じた色補正を行うＡＷＢ（Auto White Balance）、および画像信号中に含まれるオフセットを除去するＤＣＬＰ（Digital Clamp）等の自動制御が行われている。これらの自動制御のための検波は、撮像素子から画素を間引いて読み出した画像信号を基にして行われている。このような画像信号は、通常、使用者が撮像時にモニタするためのＬＣＤ（Liquid Crystal Display）等への表示用データとして使用されることから、間引き読み出しを行う読み出し動作モードはモニタ読み出しモード等と呼ばれている。
【０００４】
これに対して、撮像素子から画素を間引かずに信号を読み出す読み出し動作モードは、インタレース走査方式の場合はフレーム読み出しモード、プログレッシブ走査方式の場合は全画素読み出しモード等と呼ばれ、これらは総称してキャプチャ読み出しモード等と呼ばれている。
【０００５】
ここで、図１４に、従来のデジタルスチルカメラにおける読み出し動作モードの遷移に伴う信号処理例を模式的に示す。
図１４では、撮像素子としてインタレース走査方式のＣＣＤを使用した場合について示しており、図１４（Ａ）はフレームまたはフィールドに同期した同期信号、（Ｂ）はＣＣＤにおける読み出し動作モードの遷移、（Ｃ）および（Ｄ）はこれに対応するＡＥ、ＡＷＢおよびＤＣＬＰの制御のためのそれぞれ検波処理および画像生成処理の流れを示している。なお、図１４（Ｃ）および（Ｄ）の検波処理および画像生成処理は、例えばカメラブロックＬＳＩ等によって実行される。
【０００６】
タイミングＴ１４０１〜Ｔ１４０２において、図１４（Ｂ）に示すように、ＣＣＤはモニタ読み出しモードで動作し、画素を間引いた信号読み出しを同期信号に同期して行う。モニタ読み出しモードによって得られた画像信号はデジタルデータ化された後、図１４（Ｃ）のように、カメラシステムＬＳＩにおいてＡＥ、ＡＷＢおよびＤＣＬＰ等の制御のための検波がなされる。この検波により得られたデータは例えばマイコンに渡され、ＡＥ、ＡＷＢおよびＤＣＬＰ等の制御のための係数が演算されてカメラシステムＬＳＩに出力される。
【０００７】
カメラシステムＬＳＩでは、図１４（Ｄ）のように、演算された係数を基に、モニタ読み出しモードで得られた画像信号に対して適切な画質の補正処理がなされ、また所定の画像データフォーマットへの変換処理等が行われて、モニタ用の画像信号（以下、モニタ画像信号と呼称する）の生成処理が行われる。生成されたモニタ画像信号は、ＤＲＡＭ（Dynamic Random Access Memory）等の画像メモリに記憶された後、表示ブロックに出力されることにより、ＬＣＤ等の表示装置に表示されて使用者によるモニタが行われる。
【０００８】
ところで、使用者は表示装置を使用して被写体の画角合わせを行うが、このときの表示画像には高いフレームレートが要求される。モニタ読み出しモードは、このような要求のために、ＣＣＤにおいて画素を間引いて読み出すことで情報量の小さなモニタ画像信号を生成する読み出し動作モードである。
【０００９】
次に、タイミングＴ１４０２において、例えば使用者によってシャッタスイッチが押されると、ＣＣＤはキャプチャ読み出しモードとなって、まず水平方向の奇数ラインの全画素に対する信号読み出しを行い、続いてタイミングＴ１４０３において、偶数ラインの全画素に対する信号読み出しを行う。キャプチャ読み出しモードでは、画素の間引きが行われないために、同期信号の間隔が長くなる。キャプチャ読み出しモードにより得られた画像信号は、デジタルデータ化されて画像メモリに一時的に記憶される。
【００１０】
次に、タイミングＴ１４０４において、ＣＣＤはモニタ読み出しモードに戻る。またこれとともに、キャプチャ読み出しモードで得られた画像信号が画像メモリから読み出されて、カメラシステムＬＳＩに供給され、例えば外部記録媒体への記録用の画像信号（以下、キャプチャ画像信号と呼称する）の生成処理が開始される。図１４（Ｄ）のように、カメラシステムＬＳＩでは、シャッタスイッチが押されたタイミングＴ１４０２以前のモニタ読み出しモードでの画像信号から得られた各種係数を使用して、メモリからの画像信号に対するＡＥ、ＡＷＢおよびＤＣＬＰ等の補正処理がオープン制御により行われ、さらにデータ変換処理等がなされて、キャプチャ画像信号が生成される。生成されたキャプチャ画像信号は、上記の画像メモリに再び記憶された後、外部記録媒体に転送される。
【００１１】
この後、タイミングＴ１４０５において、カメラブロックＬＳＩでは、キャプチャ画像信号の生成処理が終了して、再びモニタ読み出しモードで得られた画像信号に対する検波が開始される。
【００１２】
このように、従来のデジタルスチルカメラでは、キャプチャ読み出しモード時に撮像された画像信号に対して、それ以前のモニタ読み出しモードにおける検波によって得られた各種係数を使用して、ＡＥ、ＡＷＢおよびＤＣＬＰの制御を行っていた。これは、従来、カメラ信号処理および検波処理がリアルタイムで行われることを前提に構築された概念に基づいていたことに起因している。すなわち、シャッタが押されてから出力される画像信号に対する検波を行っても、検波によって得られたデータをマイコンで演算する時間が必要で、この演算値に基づいてリアルタイムにカメラ信号処理を行うことができなかったためである。
【００１３】
また、従来のデジタルスチルカメラでは、モニタ読み出しモードで画素を間引きされて読み出された画像信号と、キャプチャ読み出しモードで画素の間引きをせずに読み出された画像信号との間に大きな相違がなく、モニタ読み出しモードで検波し、演算された各種係数を使用して、キャプチャ読み出しモードで得られた画像信号に対してオープン制御により補正処理を行っても、撮像画像の画質に対する大きな問題は生じなかった。
【００１４】
【発明が解決しようとする課題】
しかし、最近では、ＣＣＤの画素数が多くなったことから、モニタ読み出しモードによって得られる画像信号と、キャプチャ読み出しモードで得られる画像信号との差が大きくなり、従来の方法では撮像画像に対するＡＥ、ＡＷＢおよびＤＣＬＰの補正処理を適切に行うことができなくなってきている。
【００１５】
例えば、撮像素子では、露光時間や温度に応じて暗信号の発生量が大きくなるが、画素数の増大に伴い、キャプチャ読み出しモードでの画像信号の読み出し時間が大きくなっていることから、その際に撮像素子で発生される暗信号によるノイズ成分が大きくなってしまう。その結果、モニタ読み出しモードおよびキャプチャ読み出しモードの各読み出しモードで得られる画像信号では、含まれるオフセット等が大きく異なることから、モニタ読み出しモードでの検波に基づいた画質の補正処理では、適切な画像信号を生成することができないことが問題となってきている。
【００１６】
また、画素数の増大に伴い、使用者によるモニタ用の表示画像のフレームレートを下げないように、モニタ読み出しモードでの画素の間引き率を高くする必要があるが、その結果、撮像素子上での空間サンプリングの際に顕著な折り返しが発生するようになっている。これを防ぐための１つの方法として、撮像素子上での垂直方向の同色のラインを加算する方法が一般的となりつつある。しかしこの方法では、モニタ読み出しモードでの画像信号は、ライン加算により出力信号量が２倍となる。従って、撮像画像に対する信号処理時には、ライン加算された画像信号の検波に基づくデータを使用して、ライン加算されていない撮像画像信号の補正処理を行うことになり、適切な制御を行うことが困難となっている。
【００１７】
さらに、画素数の増大に伴う問題の他にも、上記のＡＥ、ＡＷＢおよびＤＣＬＰの補正処理では従来から問題となっていることがあった。例えば、モニタ読み出しモードでは、一般的にメカシャッタを開放したまま撮像が行われるが、このとき、撮像素子からの出力信号にはいわゆるスミアが発生することがある。これに対して、キャプチャ読み出しモードではメカシャッタが使用されることが多く、この場合には原理的にスミアが発生しない。従って、２つの読み出し動作モードによって生成される画像信号には明らかな差異が発生することがあり得る。
【００１８】
また、デジタルスチルカメラにはストロボ機構が搭載されていることが多い。このストロボ機構は、撮像前のモニタ時、すなわちモニタ読み出しモードでは作動せず、撮像が行われるキャプチャ読み出しモードでのみ作動する。従って、ストロボ発光がされていない画像信号に対する検波に基づいて、ストロボ発光がなされた画像信号の補正を行うことになり、正確な制御を行うことは原理的に不可能であった。
【００１９】
本発明はこのような課題に鑑みてなされてものであり、高画素数の固体撮像素子を使用した撮像画像に対する画質補正を適切に行うことが可能な撮像装置を提供することを目的とする。
【００２０】
また、本発明の他の目的は、高画素数の固体撮像素子を使用した撮像画像に対する画質補正を適切に行うことが可能な画質補正方法を提供することである。
【００２１】
【課題を解決するための手段】
本発明では上記課題を解決するために、被写体を撮像する撮像装置において、撮像した画像信号について画素を間引きして読み出す第１の読み出し動作モードと、間引きせずに読み出す第２の読み出し動作モードとを具備するマトリクス状の固体撮像素子と、前記第２の読み出し動作モード時に前記固体撮像素子から読み出された画像信号を一時的に記憶する一時記憶手段と、前記第１の読み出し動作モード時には前記固体撮像素子から読み出された前記画像信号に対して、また前記第２の読み出し動作モード時には前記一時記憶手段から読み出された前記画像信号に対して、所定の検波を行う検波手段と、前記第１の読み出し動作モード時には前記固体撮像素子から読み出された前記画像信号に対して、また前記第２の読み出し動作モード時には前記一時記憶手段から読み出された前記画像信号に対して、前記各読み出し動作モードでの前記検波手段による検波データに基づいて画質補正のための所定の信号処理を行う信号処理手段と、前記第１の読み出し動作モードから前記第２の読み出し動作モードに遷移すると、前記一時記憶手段に記憶された前記画像信号を読み出して前記検波手段に供給した後、再び前記画像信号を読み出して前記信号処理手段に供給する読み出し制御手段と、を有することを特徴とする撮像装置が提供される。
【００２２】
このような撮像装置では、固体撮像素子が第１の読み出し動作モードの場合には、固体撮像素子から画素を間引きして読み出された画像信号が、検波手段によって検波され、この検波データに基づいて信号処理手段によって画質補正のための所定の信号処理が行われる。また、第２の読み出し動作モードに遷移すると、固体撮像素子から間引きせずに読み出された画像信号が、一時記憶手段に一時的に記憶された後、読み出し制御手段の制御によって一時記憶手段から読み出されて検波手段に供給される。この後、読み出し制御手段の制御によって画像信号が一時記憶手段から再び読み出されて信号処理手段に供給され、信号処理手段は、第２の読み出し動作モードで読み出された画像信号に対する検波に基づいて、この画像信号の画質補正のための信号処理を行う。また、例えば、第２の読み出し動作モード時において、読み出し制御手段は、一時記憶手段に記憶された画像信号を読み出して検波手段に供給する際、第１の読み出し動作モード時の固体撮像素子からの読み出しに対応するように画素を間引きして読み出すようにしてもよい。
【００２３】
また、本発明では、固体撮像素子を用いた被写体の撮像における画質補正方法において、前記固体撮像素子において撮像した画像信号について画素を間引きして読み出す第１の読み出し動作モードでは、前記固体撮像素子から読み出された前記画像信号に対して所定の検波を行い、前記所定の検波による検波データに基づいて前記画像信号に対して画質補正のための所定の信号処理を行い、前記固体撮像素子において前記画素の間引きを行わずに読み出す第２の読み出し動作モードに遷移すると、前記固体撮像素子から読み出された前記画像信号を一時的に記憶させ、記憶させた前記画像信号を読み出して前記所定の検波を行い、記憶させた前記画像信号を再び読み出して、前記所定の検波による検波データに基づいて、再び読み出した前記画像信号に対して画質補正のための所定の信号処理を行う、ことを特徴とする画質補正方法が提供される。
【００２４】
このような画質補正方法では、固体撮像素子が第１の読み出し動作モードから第２の読み出し動作モードに遷移すると、固体撮像素子から間引きせずに読み出された画像信号が一時的に記憶された後、読み出されて所定の検波が行われる。この後、一時的に記憶された画像信号が再び読み出されて、第２の読み出し動作モードで読み出された画像信号に対する検波に基づいて、この画像信号に対して画質補正のための所定の信号処理が行われる。また、例えば、一時的に記憶された画像信号を読み出して所定の検波を行う際に、第１の読み出し動作モード時の固体撮像素子からの読み出しに対応するように画素を間引きして読み出すようにしてもよい。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の撮像装置の構成例を示すブロック図である。
【００２６】
図１に示す撮像装置１は、被写体を撮像してデジタル方式の画像データを生成するための装置であり、被写体からの光に対するレンズ２ａ、アイリス２ｂおよびシャッタ２ｃと、この光を光電変換する撮像素子３と、撮像素子３からのアナログ画像信号をドライブするアンプ４と、アナログ画像信号のデジタルデータ化等の処理を行うフロントエンド５と、デジタルデータ化された画像信号に対する画質補正処理や輝度信号、色差信号への変換処理等を行うカメラシステムＬＳＩ６と、カメラシステムＬＳＩ６からの出力画像信号を記憶する画像メモリ７と、撮像素子３を駆動するＴＧ（Timing Generator）８と、装置全体を制御するマイコン９によって構成される。
【００２７】
レンズ２ａは、光軸に沿って可動となっており、被写体からの光を撮像素子３に正しく集光する。アイリス２ｂは、集光された光が透過する面積を変化させて、撮像素子３に供給される光量を制御する。シャッタ２ｃは、光の透過を遮断することにより撮像素子３における露光を制御する。なお、シャッタ２ｃの機能をアイリス２ｂが兼ねている場合もある。これらのレンズ２ａ、アイリス２ｂおよびシャッタ２ｃの動作は、マイコン９によって制御される。
【００２８】
撮像素子３は、例えばＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子がマトリクス状に多数集積されて構成され、被写体からの光を電気信号に変換して、電流値または電圧値として出力する。また、撮像素子３は、１回の走査で１フレームまたは１フィールド分のすべての画素について、蓄積された電荷を読み出す読み出し動作モードと、画素を間引きして読み出す読み出し動作モードとを具備する。以下、前者をキャプチャ読み出しモード、後者をモニタ読み出しモードと呼称する。
【００２９】
また、撮像素子３は、モニタ読み出しモードにおける画素の間引き率が高いことに起因する、空間サンプリング時の信号の折り返し成分を除去するために、モニタ読み出しモード時に、撮像素子３上の垂直方向の画素については、同色のラインの信号を加算して出力する機能を具備している。
【００３０】
アンプ４は、撮像素子３からのアナログ画像信号をドライブして、アナログ画像信号としてフロントエンド５に供給する。
フロントエンド５は、Ｓ／Ｈ（Sample／Hold）・ＧＣ（Gain Control）回路５ａと、Ａ／Ｄ変換回路５ｂによって構成される。Ｓ／Ｈ・ＧＣ回路５ａは、アンプ４を介して供給されたアナログ画像信号に対して、相関２重サンプリング処理によっていわゆる１／Ｆ揺らぎノイズ等のノイズ除去処理を行い、さらに必要に応じてゲイン調整を行う。例えば、マイコン９の制御のもとで、撮像素子３への入射光の強度が弱い場合に入力画像信号を増幅する。Ａ／Ｄ変換回路５ｂは、Ｓ／Ｈ・ＧＣ回路５ａからの信号をデジタル画像信号に変換して、カメラシステムＬＳＩ６に対して供給する。
【００３１】
カメラシステムＬＳＩ６は、マイコン９の制御のもとで、フロントエンド５からの画像信号を検波し、この画像信号の画像メモリ７への書き込み、読み出し操作を行いながら、ホワイトバランス調整やオフセット除去等の画質補正処理や輝度信号、色差信号への変換処理等を行う。また、このような処理を経て生成した画像信号を、図示しない表示装置の表示ブロックや、外部記録媒体の書き込みブロックに対して出力する。さらに、フロントエンド５およびＴＧ８に対して同期信号を出力する。
【００３２】
画像メモリ７は、例えばＤＲＡＭあるいはＳＤＲＡＭ（Synchronous−ＤＲＡＭ）等の半導体メモリ等であり、カメラシステムＬＳＩ６からのデジタル方式の画像信号を一時的に記憶する。
【００３３】
ＴＧ８は、マイコン９による制御のもとで、撮像素子３における水平方向、垂直方向の駆動タイミングを制御する。また、撮像素子３が高速／低速電子シャッタ機能を具備する場合、この機能に対する露光時間制御を行う。
【００３４】
マイコン９は、撮像装置１全体の制御をつかさどる。例えば、アイリス２ｂによる露光量制御、シャッタ２ｃに対する開閉制御による露光時間制御、撮像素子３における後述する読み出し動作モードの制御、フロントエンド５のＳ／Ｈ・ＧＣ回路５ａにおけるゲイン制御、カメラシステムＬＳＩ６に対する動作制御や制御値の演算、ＴＧ８による撮像素子３の電子シャッタ機能の制御等を行う。
【００３５】
次に、カメラシステムＬＳＩ６の内部構成について詳述する。図２は、カメラシステムＬＳＩ６の内部構成例を示すブロック図である。
カメラシステムＬＳＩ６は、画像信号の入力切り換えを行うデータバスセレクタ６１および６２と、入力画像信号を検波する検波処理回路６３と、入力画像信号に対する画質補正処理等の信号処理を行うカメラ前処理回路６４と、入力画像信号に対する輝度信号、色差信号への変換処理等を行うカメラ本処理回路６５と、画像メモリ７に対するデータの書き込みおよび読み出しを制御するメモリコントローラ６６と、カメラシステムＬＳＩ６内の回路等に対してタイミング信号を発生させるタイミング発生回路６７によって構成される。
【００３６】
データバスセレクタ６１は、マイコン９からの制御信号に応じて、検波処理回路６３およびカメラ前処理回路６４に対する入力を、フロントエンド５からの画像信号とメモリコントローラ６６を介した画像メモリ７からの画像信号との間で切り換える。また、データバスセレクタ６２は、メモリコントローラ６６に対する入力を、フロントエンド５からの画像信号とカメラ本処理回路６５からの画像信号との間で切り換える。
【００３７】
検波処理回路６３は、データバスセレクタ６１から入力された画像信号に対して、ＡＥ、ＡＷＢ、ＤＣＬＰ等の制御を行うための検波を行う。例えば、ＡＥ制御用には検波枠内の輝度信号成分の積分処理、ＡＷＢ制御用には色別レベルの積分処理、ＤＣＬＰ用にはＯＰＢ（Optical Black）領域の各色のオフセットレベルの積分処理等を行う。検波処理回路６３は、各処理によって得た検波データをマイコン９に出力する。
【００３８】
カメラ前処理回路６４は、データバスセレクタ６１から入力された画像信号に対して、マイコン９によって演算された制御値に応じて、ホワイトバランスやＤＣＬＰ、ゲイン調整、γ補正、クリップ処理等の画質補正処理を行う。
【００３９】
カメラ本処理回路６５は、カメラ前処理回路６４から入力された例えばＲ／Ｇ／Ｂ原色信号で構成される画像信号に対して、画素の補間処理や周波数特性補正処理等を行い、輝度信号（Ｙ）と色差信号（Ｃｂ／Ｃｒ）よりなる一般的な画像のデータフォーマットに変換する。
【００４０】
メモリコントローラ６６は、データバスセレクタ６２から供給された画像信号のバッファや、画像メモリ７に対するアドレッシングを行い、マイコン９による制御に応じて、指定された画像メモリ７上の領域に画像信号を格納する。また、データバスセレクタ６１に対して、指定された領域の画像信号を読み出して出力する。
【００４１】
このメモリコントローラ６６は、内部に間引き・加算回路６６ａを具備する。間引き・加算回路６６ａは、画像信号を画像メモリ７から読み出す際に、画素を間引いて読み出す機能と、マトリクス状での垂直方向の同色のラインの画素信号を加算して出力する機能を具備する。このうち、間引き読み出しの際は、モニタ読み出しモードでの撮像素子３における間引きの方式に対応するように、間引きする画素の位置やカラーコーディングを一致させて行う。また、ライン加算の際も同様に、モニタ読み出しモードでの撮像素子３におけるライン加算と加算方法が一致するように行う。
【００４２】
タイミング発生回路６７は、フロントエンド５やカメラシステムＬＳＩ６の各内部回路、ＴＧ８等の動作基準となるタイミング信号を発生させる。
ところで、この撮像装置１における撮像素子３は、前述したようにキャプチャ読み出しモードとモニタ読み出しモードの２つの読み出し動作モードを具備する。キャプチャ読み出しモードは、撮像画像を生成するための動作モードで、生成された画像信号は撮像素子３が具備する全画素についてのデータを含み、高解像度の画像を表示することが可能となる。
【００４３】
また、モニタ読み出しモードは、例えば撮像前に使用者によって画角合わせ等をするために、ＬＣＤ等の表示装置に表示するための画像信号を生成するための動作モードである。このモニタ読み出しモードでは、撮像素子３から画素を間引いて信号を読み出すことで、生成される画像信号のデータ量が減り、表示装置における表示画像のフレームレートを高めることができる。
【００４４】
ここで、撮像素子３として原色単板ＣＣＤを使用した場合の信号読み出しの例について説明する。まず、図３は、撮像素子３における画素コーディング例を模式的に示す図である。
【００４５】
撮像装置１の具備する撮像素子３は、例えば図３に示すようにＲ、Ｇｒ、ＧｂおよびＢの原色フィルタが配置されている。なお、ＧｒおよびＧｂは、それぞれＲ信号およびＢ信号と同一の水平ライン上に配置されたＧ信号を示す。
【００４６】
プログレッシブ走査方式の場合、水平ライン上の画素が順に水平レジスタ３１に格納され、例えば左側から順に読み出されることで全画素の信号が出力される。また、インタレース走査方式の場合、まず、図中のＡ１、Ａ２のような奇数ラインの画素が順に読み出された後、Ｂ１、Ｂ２のような偶数ラインの画素が順に読み出されて１フレーム分の全画素が出力される。
【００４７】
次に、このような画素コーディングを有する撮像素子３における信号読み出し動作について説明する。まず、図４は、プログレッシブ走査方式の場合の信号読み出しの例を示す図である。
【００４８】
プログレッシブ走査方式の撮像素子３の場合、キャプチャ読み出しモードでは、図４（Ａ）に示すように、水平方向の第１ラインから順に全画素の信号が読み出される。また、図４（Ｂ）では、モニタ読み出しモードの場合の画素の間引き読み出しの例を示している。なお、ここでは黒塗り部分は信号読み出しが行われない画素を示している。この例では、第１ラインと第４ライン、第９ラインと第１２ラインのように、画素コーディングを守りながら、８ライン中２ラインの画素信号のみ読み出すことで、読み出される画素数が１／４に減少されている。
【００４９】
次に、インタレース走査方式の場合の信号読み出しの例を挙げる。図５は、インタレース走査方式の場合のキャプチャ読み出しモードでの信号読み出し例を示す図である。
【００５０】
インタレース走査方式の場合、撮像素子３中の画素信号は２つのフィールドごとに読み出される。第１フィールドの読み出し時には、図５（Ａ）に示すように、例えば水平方向の奇数ラインについての画素信号が読み出され、続く第２フィールドの読み出し時に、図５（Ｂ）に示すように偶数ラインについての画素信号が読み出される。各フィールドの画素信号は一旦画像メモリ７に記憶されることによって、全画素を含む１フレーム分の画像信号が生成される。
【００５１】
次に、図６は、インタレース走査方式の場合のモニタ読み出しモードでの信号読み出し例を示す図である。
モニタ読み出しモードでは、上記のプログレッシブ走査方式の場合と同様に、１回の走査で１フレーム分の画素信号を読み出す。図６の例では、水平方向の８ライン中２ラインのみ、画素コーディングを守りながら読み出すことにより、画素数を１／４に減少させている。
【００５２】
また、図４（Ｂ）および図６に示したモニタ読み出しモードでの信号読み出し例では、１ラインずつ画素信号を読み出すので、撮像素子３の有する画素数が多くなるほど間引き率を高くする必要があり、画質が粗くなり、また空間サンプリング時の折り返しが発生しやすくなる。そこで、垂直方向の複数のラインにおける同色の画素信号を加算して読み出すことで、画質を改善させることが考えられている。
【００５３】
図７は、モニタ読み出しモードでライン加算を行う場合の信号読み出し例を示す図である。
図７の例では、垂直方向の１２ライン中４ラインを読み出し、また垂直方向に隣接する同色画素の信号について、水平レジスタ３１で２ライン分を加算して出力している。例えば、Ｒ信号およびＧｒ信号については第１ラインおよび第３ラインの画素信号を加算し、Ｇｂ信号およびＢ信号については第８ラインおよび第１０ラインの画素信号を加算して、それぞれ出力している。
【００５４】
これによって、出力される画素数は全画素の１／６に減少しながら、画像中にはその倍の１／３の映像情報量が反映され、間引き読み出しによる画質の粗さが補正される。また、垂直方向の２ライン分の同色画素信号を加算することで、帯域フィルタとして機能し、空間サンプリングにより画像中に現れる折り返しノイズを低減することが可能となる。ただし、この加算により出力画像信号のレベルは２倍になることに注意が必要となる。
【００５５】
なお、以上では撮像素子３として原色単板ＣＣＤを使用した場合の例を示したが、例えば３枚ＣＣＤを使用した場合には、各色について同じライン数の画素信号について間引き読み出しを行うようにすればよい。
【００５６】
ところで、この撮像装置１において、カメラシステムＬＳＩ６は、マイコン９の制御のもとで、撮像した画像信号に対する露出、ホワイトバランスおよびオフセット等の補正処理を行うための検波を行う。また、この検波結果をマイコン９に送出し、演算結果の入力を受けることで、露出の自動補正（ＡＥ）、ホワイトバランスの自動補正（ＡＷＢ）およびオフセットを除去するデジタルクランプ（ＤＣＬＰ）処理等の機能を実現する。
【００５７】
モニタ読み出しモードでは、撮像素子３から間引き読み出しされた画像信号に対して検波を行い、この検波データを基に画質補正の制御が行われる。また、例えばシャッタボタンが押された後のキャプチャ読み出しモードでは、従来は以前のモニタ読み出しモードにおける検波データを基にして画質補正の制御が行われていたが、本発明では、これに加えてキャプチャ読み出しモードで読み出された画像信号に対する検波も行うことで、画質補正の精度を向上させる。
【００５８】
ここで、図８に、撮像装置１における読み出し動作モードの遷移に伴う信号処理例を模式的に示す。以下、図８を用いて撮像装置１における動作を説明する。
図８では、撮像素子３としてインタレース走査方式のＣＣＤを使用した場合について示しており、図８（Ａ）はフレームまたはフィールドに同期した同期信号、（Ｂ）は撮像素子３における読み出し動作モードの遷移、（Ｃ）および（Ｄ）はこれに対応するＡＥ、ＡＷＢおよびＤＣＬＰの制御のためのカメラブロックＬＳＩ６におけるそれぞれ検波処理および画像生成処理の流れを示している。なお、図１４（Ｃ）の検波処理は検波処理回路６３において、また（Ｄ）の画像生成処理はカメラ前処理回路６４およびカメラ本処理回路６５においてそれぞれ実行される処理である。
【００５９】
タイミングＴ８０１〜Ｔ８０２において、図８（Ｂ）に示すように、撮像素子３はモニタ読み出しモードで動作し、画素を間引いた信号読み出しを同期信号に同期して行う。モニタ読み出しモードによって得られた画像信号は、アンプ４を介してフロントエンド５に供給され、デジタルデータ化された後、図８（Ｃ）のように、カメラシステムＬＳＩ６の検波処理回路６３においてＡＥ、ＡＷＢおよびＤＣＬＰ等の制御のための検波処理がなされる。この検波処理により得られたデータはマイコン９に渡され、ＡＥ、ＡＷＢおよびＤＣＬＰ等の制御のための係数が演算されてカメラシステムＬＳＩ６のカメラ前処理回路６４に出力される。
【００６０】
図８（Ｄ）のように、カメラ前処理回路６４では、マイコン９からの出力データに基づいて、使用者によるモニタ用の画像信号（以下、モニタ画像信号と呼称する）に対する生成処理が開始される。カメラ前処理回路６４では、マイコン９において演算された係数を基に、モニタ読み出しモードで得られた画像信号に対して適切な画質の補正処理が行われる。また、ＡＥの制御に関しては、演算結果に基づいてマイコン９によりアイリス２ｂやフロントエンド５等の制御も行われる。カメラ前処理回路６４から出力された画像信号は、さらにカメラ本処理回路６５において輝度信号および色差信号に変換されて、モニタ画像信号が生成される。
【００６１】
生成されたモニタ画像信号は、メモリコントローラ６６の制御により画像メモリ７に記憶された後、例えば表示ブロックに出力されて、ＬＣＤ等の表示装置に表示される。この表示画像は使用者によってモニタされる。このときの表示画像は、撮像素子３における画素の間引き読み出しにより生成された画像信号を基にしているので、高フレームレートで表示される。また、撮像素子３において垂直方向の同色ラインについての加算処理がなされて出力される場合は、画像中の折り返しノイズが低減されている。
【００６２】
次に、タイミングＴ８０２において、例えば使用者によってシャッタスイッチが押される等により、撮像画像の生成要求がマイコン９に与えられると、図８（Ｂ）に示すように、撮像素子３がキャプチャ読み出しモードに遷移し、またマイコン９の制御によってシャッタ２ｃが動作する。撮像素子３では、まず水平方向の例えば奇数ラインの全画素に対する信号読み出しが行われ、続くタイミングＴ８０３において、偶数ラインの全画素に対する信号読み出しが行われる。
【００６３】
このキャプチャ読み出しモードでは、画素の間引きが行われないために、同期信号の間隔が長くなる。キャプチャ読み出しモードにより得られた画像信号は、アンプ４を介してフロントエンド５でデジタルデータ化された後、カメラシステムＬＳＩ６のメモリコントローラ６６の制御によって、画像メモリ７の所定のアドレスに一時的に記憶される。
【００６４】
次に、タイミングＴ８０４において、撮像素子３はモニタ読み出しモードに戻る。またこれとともに、キャプチャ読み出しモードで得られた画像信号が、メモリコントローラ６６の制御によって画像メモリ７から読み出されて、カメラシステムＬＳＩ６に供給される。カメラシステムＬＳＩ６では、データバスセレクタ６１が切り換えられることにより、画像メモリ７に記憶されていた全画素信号を含む画像信号が、検波処理回路６３に供給される。
【００６５】
ここで、メモリコントローラ６６は、間引き・加算回路６６ａの機能により、画像メモリ７に対する読み出しアドレスを制御することによって、記憶された画像信号について画素を間引きして読み出す。この間引き読み出しでは、モニタ読み出しモードで撮像素子３において画素信号が読み出される際の読み出し画素の位置や画素コーディングに一致させる。また、撮像素子３が垂直方向のライン加算を行って画素信号を出力している場合は、間引き・加算回路６６ａは、間引き読み出しを行った画素信号について、撮像素子３におけるライン加算と画素位置が一致するように加算処理を行って、データバスセレクタ６１を介して検波処理回路６３に出力する。
【００６６】
検波処理回路６３は、供給された画像信号に対する検波を行い、検波結果をマイコン９に出力する。そして、続くタイミングＴ８０５において、マイコン９により、この検波結果等に基づく画質補正のための各種係数に対する演算が行われる。ここで、マイコン９は、キャプチャ読み出しモードにおいて検波された検波データとともに、シャッタスイッチが押されたタイミングＴ８０２以前のモニタ読み出しモードでの画像信号による検波結果の双方を使用して、各種係数の演算を行う。
【００６７】
続くタイミングＴ８０６において、演算された各種係数がマイコン９からカメラ前処理回路６４に供給される。また、これとともに、メモリコントローラ６６の制御により画像メモリ７に記憶されていた画像信号が再び読み出され、データバスセレクタ６１を介してカメラ前処理回路６４に供給される。このとき、メモリコントローラ６６は、間引き・加算回路６６ａの機能を使用せず、画像信号の全画素データについて読み出す。これにより、外部記録媒体への記録用の画像信号（以下、キャプチャ画像信号と呼称する）に対する生成処理が開始される。
【００６８】
カメラ前処理回路６４では、マイコン９からの各種係数に基づいて、間引きおよびライン加算の施されていない入力画像信号に対する画質補正処理が行われる。この画質補正処理では、露出やホワイトバランスの補正、オフセットの除去等が行われる。また、この画像信号はカメラ本処理回路６５に供給されて、画素の補間処理等が行われ、輝度信号および色差信号に変換されて、キャプチャ画像信号が生成される。
【００６９】
生成されたキャプチャ画像信号は、データバスセレクタ６２を介してメモリコントローラ６６に供給され、この制御によって画像メモリ７の所定アドレス領域に記憶される。また、記憶されたキャプチャ画像信号は、再び読み出されて、例えば解像度変換処理やデータ圧縮処理等が施され、外部記録媒体等に転送される。
【００７０】
この後、タイミングＴ８０７において、カメラブロックＬＳＩ６では、キャプチャ画像信号の生成処理が終了して、再びモニタ読み出しモードで得られた画像信号に対する検波が開始される。
【００７１】
以上のようなキャプチャ読み出しモードで生成された画像信号に対する処理では、それ以前のモニタ読み出しモードにおいて、検波処理回路６３によって検波された検波データとともに、キャプチャ読み出しモードで読み出された画像信号からの検波も行い、双方の検波データに基づいてカメラ前処理回路６４における画質補正処理が行われる。従って、モニタ読み出しモードおよびキャプチャ読み出しモードにおいて生成される各画像信号の画像状態の違いを考慮して、撮像画像信号に対する画質補正を行うことが可能となる。
【００７２】
例えば、撮像素子３の高画素化に伴い、キャプチャ読み出しモードでは全画素分の読み出しに要する時間が増加して、画像信号に大きなオフセットが発生する場合があるが、上記の処理ではこのオフセットを検知することが可能となるので、カメラ前処理回路６４においてＤＣＬＰによる適切なオフセット除去処理が行われ、画質を向上させることができる。
【００７３】
また、モニタ読み出しモードにおいては画像信号にスミアが発生する場合があるが、このスミアはキャプチャ読み出しモードでは一般的に発生しない。上記の処理ではスミアの発生による各読み出しモードでの画像信号の差異を検知することができるため、この差異に応じた画質補正を行うことが可能となる。
【００７４】
さらに、撮像装置１にストロボ機構が具備されている場合、このストロボ機構は一般的にキャプチャ読み出しモードでのみ作動する。従って、上記の処理ではストロボ機構作動の有無による画像信号の差異を検知することができるので、カメラ前処理回路６４においてこの差異に応じた適切な露出補正およびホワイトバランス補正を行うことができる。
【００７５】
また、メモリコントローラ６６における間引き・加算回路６６ａによって、画像メモリ７に記憶された画像信号に対する間引き読み出しが可能であることにより、検波処理回路６３へ供給する画像信号のデータ量が低減され、検波処理に要する時間を短縮することが可能となる。
【００７６】
また、モニタ読み出しモードにおいて、撮像素子３では間引き率の増大に伴い顕著に発生する折り返しノイズを低減するために、垂直方向のライン加算が行われる場合があるが、間引き・加算回路６６ａによって、画像メモリ７から読み出した信号に同様のライン加算を行って検波処理回路６３に供給することができる。従って、モニタ読み出しモードおよびキャプチャ読み出しモードでの各画像信号に対して、基準となる信号レベルを一致させて検波を行うことが可能となり、正確な画質補正を行うことができる。
【００７７】
また、間引き・加算回路６６ａにおける間引き読み出しおよびライン加算処理によって、キャプチャ読み出しモードで生成された画像信号と、モニタ読み出しモードでの画像信号とについて、画素の間引き位置や画素コーディング、および基準となる信号レベルを一致させて検波することができる。従って、検波処理回路６３やカメラ前処理回路６４について、従来と比較して大幅なシステム変更を行う必要がなく、生成された画像信号の画質を向上させることができる。
【００７８】
なお、画像メモリ７から画像信号を読み出して検波処理回路６３に供給する際、間引き・加算回路６６ａにおいて間引き読み出しを行わず、全画素についての信号を検波処理回路６３に供給してもよい。この場合、キャプチャ読み出しモードで読み出された画像信号中の全画素の検波に基づいて、画質補正を行うことができるため、画質補正の精度を高めることができる。ただし、この場合は検波処理回路６３およびマイコン９について、より高い処理能力が必要となり、製造コストが増加する。
【００７９】
次に、画像信号に対する検波処理および画質補正処理について説明する。なお、以下では撮像素子３として原色単板ＣＣＤを使用した場合について説明する。
検波処理回路６３では、主に、ＡＥ、ＡＷＢおよびＤＣＬＰの制御に対する検波データが算出される。このうち、ＡＥに対する検波データについては、入力画像信号中の検波枠をあらかじめ設定し、この検波枠中の輝度信号レベルを全画素について積分して、この積分値をマイコン９に出力する。輝度信号レベルには、例えばＲ、Ｇｒ、ＧｂおよびＢの４色の平均値が用いられる。また、ＡＷＢに対する検波データについては、検波枠中における各色別の信号レベルを検波枠中の全画素について積分し、各色の積分値をマイコン９に出力する。さらに、ＤＣＬＰに対する検波データについては、画像信号中のＯＰＢ領域における各色のオフセットレベルを積分し、この積分値をマイコン９に出力する。
【００８０】
マイコン９は、受信したこれらの検波データに基づき、画質補正に対する制御値として、ＡＥ、ＡＷＢおよびＤＣＬＰに対する各係数を演算し、カメラシステムＬＳＩ６のカメラ前処理回路６４に送出する。また、モニタ読み出しモードでは、ＡＥについては係数をカメラ前処理回路６４に送出せずに、アイリス２ｂやフロントエンド５のＳ／Ｈ・ＧＣ回路５ａ、ＴＧ８に対して最適な露出となるように制御を行う。
【００８１】
ここで、カメラ前処理回路６４における画質補正処理の概要を説明する。図９は、カメラ前処理回路６４の内部構成例を示すブロック図である。
カメラ前処理回路６４は、入力画像信号に含まれるオフセットを除去するデジタルクランプ回路６４ａと、信号レベルを調整して露出補正を行うデジタルゲイン回路６４ｂと、ホワイトバランスを調整するホワイトバランス調整回路６４ｃと、γ補正を行うγ補正回路６４ｄで構成される。
【００８２】
このうち、γ補正回路６４ｄについては従来使用されていたものと同様の構成を有する回路を使用することが可能である。また、キャプチャ読み出しモードにおいて、メモリコントローラ６６の間引き・加算回路６６ａを機能させて画像信号を読み込む場合は、デジタルクランプ回路６４ａおよびホワイトバランス調整回路６４ｃについても従来と同様の構成を有する回路を使用することが可能である。また、デジタルゲイン回路６４ｂは、後述するように本発明で新たに設けられる回路である。
【００８３】
図１０は、デジタルクランプ回路６４ａの構成例を示す図である。
図１０に示すように、デジタルクランプ回路６４ａは、入力画像信号中の各色信号レベルに対してマイコン９で演算されたオフセット量を減算する減算回路６４１によって構成される。マイコン９では、各色別のオフセットレベルとして係数Ｒ＿ＣＬＰ、Ｇｒ＿ＣＬＰ、Ｇｂ＿ＣＬＰおよびＢ＿ＣＬＰの値が画素ごとに演算される。デジタルクランプ回路６４ａは、マイコン９から受信した各係数の値を、入力された画像信号から減算する。これにより、キャプチャ読み出しモードで読み出された画像信号に含まれる、主に暗信号によるオフセットが除去される。
【００８４】
次に、図１１は、デジタルゲイン回路６４ｂの構成例を示す図である。
図１１に示すように、デジタルゲイン回路６４ｂは、入力画像信号の信号レベルに対してマイコン９で演算された全色に対して一定のゲイン係数を乗算する乗算回路６４２によって構成される。
【００８５】
ここで、キャプチャ読み出しモードで供給される画像信号は、それ以前のモニタ読み出しモードにおいて、アイリス２ｂの開度やシャッタ２ｃによる露光時間、フロントエンド５によるゲイン調整が行われて露出補正がなされている。そこで、デジタルゲイン回路６４ｂを新たに設けることにより、キャプチャ読み出しモードにおける画像信号に基づき、入力画像信号の各色の信号レベルに対して一様のゲイン係数を乗算することで、明るさに対するさらなる補正を行う。これにより、例えばストロボ機能を使用したこと等による画像の明るさの差異について補正することが可能となる。
【００８６】
次に、図１２は、ホワイトバランス調整回路６４ｃの構成例を示す図である。
図１２に示すように、ホワイトバランス調整回路６４ｃは、入力画像信号中の各色信号レベルに対してマイコン９で演算されたＷＢ係数を乗算する乗算回路６４３によって構成される。マイコン９では、各色別のＷＢ係数としてＲ＿ＷＢ、Ｇｒ＿ＷＢ、Ｇｂ＿ＷＢおよびＢ＿ＷＢの値が画素ごとに演算される。ホワイトバランス調整回路６４ｃは、マイコン９から受信した各係数の値を、入力された画像信号に対して乗算する。これにより、例えばストロボ機能を使用したこと等による画像中の色合いの差異について補正することが可能となる。
【００８７】
なお、デジタルゲイン回路６４ｂおよびホワイトバランス調整回路６４ｃは、同一の回路において実現することも可能である。また、γ補正回路６４ｄは、例えばＬＵＴ（Look Up Table）の参照や折れ線近似等の方法によって、入力画像信号の各色信号レベルに対して非線形な信号変換処理を行う。
【００８８】
次に、図１３は、画像撮像時におけるマイコン９の動作を示すフローチャートである。
ステップＳ１３０１において、撮像素子３およびＴＧ８をモニタ読み出しモードに設定する。撮像素子３ではこの設定に応じて、画素の間引き読み出しおよび垂直方向へのライン加算がなされた画像信号が出力される。このとき、マイコン９は、レンズ２ａやアイリス２ｂ、フロントエンド５を初期設定あるいはそれ以前の設定により動作させる。また、マイコン９は、データバスセレクタ６１を制御して、フロントエンド５を介してカメラシステムＬＳＩ６に入力された画像信号を、検波処理回路６３に入力させ、検波させる。
【００８９】
ステップＳ１３０２において、検波処理回路６３からの検波データを受信する。また、受信した検波データは、この後のキャプチャ読み出しモード時での使用に備えて記憶する。ステップＳ１３０３において、受信した検波データに基づいて、画質補正等の制御値としてＡＥ、ＡＷＢ、ＤＣＬＰ等に対する各種係数を演算する。またこのとき、ＡＦ（Auto Focus）に対する制御値の演算も行われる。
【００９０】
ステップＳ１３０４において、制御値の演算結果を出力して、カメラ前処理回路６４に対するＡＷＢおよびＤＣＬＰ機能の制御を行う。また、ＡＥ制御としてアイリス２ｂ、フロントエンド５およびＴＧ８の動作制御を行う。さらに、レンズ２ａに対するＡＦ制御を行う。カメラ前処理回路６４において画質補正された画像信号は、さらにカメラ本処理回路６５において輝度信号および色差信号への変換処理等が施されて、モニタ画像信号として出力される。
【００９１】
ステップＳ１３０５において、データバスセレクタ６２およびメモリコントローラ６６を制御して、生成されたモニタ画像信号を画像メモリ７に記憶させる。この後、記憶されたモニタ画像信号を読み出して、図示しない表示ブロックに送出させ、表示装置に撮像画像を表示させる。
【００９２】
ステップＳ１３０６において、例えば図示しないシャッタボタンがＯＮされたか否かの判断を行い、ＯＮでない場合はステップＳ１３０２に戻り、モニタ読み出しモードによる画像信号に対する画質補正処理等が繰り返されモニタ画像信号が順次生成される。これにより、撮像素子３において間引き読み出しされた高フレームレートの画像信号について、ＡＥ、ＡＷＢ、ＤＣＬＰおよびＡＦ等に対する最適な制御が行われる。また、ステップＳ１３０６において、シャッタボタンがＯＮされると、ステップＳ１３０７に進む。
【００９３】
ステップＳ１３０７において、撮像素子３およびＴＧ８をキャプチャ読み出しモードに設定する。これによりシャッタ２ｃが動作し、撮像素子３では、全画素についての蓄積電荷の読み出しを行う。インタレース走査方式の場合は、２度の走査により全画素の蓄積電荷が読み出される。またこのとき、垂直方向のライン加算は行われない。ステップＳ１３０８において、データバスセレクタ６２を切り換え、メモリコントローラ６６を制御してフロントエンド５から出力された画像信号を画像メモリ７に対して一時的に記憶させる。
【００９４】
ステップＳ１３０９において、データバスセレクタ６１を切り換え、メモリコントローラを制御して、画像メモリ７に一時的に記憶させた画像信号を読み出し、検波処理回路６３に入力させて、検波させる。このとき、メモリコントローラ６６における間引き・加算回路６６ａを機能させ、メモリ読み出しモード時の撮像素子３における機能に合わせて、画像信号に対して間引き読み出しおよびライン加算を行う。
【００９５】
ステップＳ１３１０において、検波処理回路６３からの検波データを受信する。ステップＳ１３１１において、受信した検波データを基にして画質補正に対する制御値を演算する。このとき、例えば、ＤＣＬＰに対する係数は、このとき受信した検波データのみに基づいて演算を行い、ＡＥおよびＡＷＢの係数については、この検波データとともに、これ以前のモニタ読み出しモード時に記憶された検波データを参照して演算を行う。
【００９６】
ステップＳ１３１２において、メモリコントローラ６６を制御して、画像メモリ７に一時的に記憶されていた画像信号を再び読み出し、カメラ前処理回路６４に入力させる。このとき、メモリコントローラ６６における間引き・加算回路６６ａの機能をキャンセルさせて、全画素についての画像信号を読み出す。
【００９７】
ステップＳ１３１３において、演算した各種係数をカメラ前処理回路６４に出力し、カメラ前処理回路６４におけるＡＥ、ＡＷＢおよびＤＣＬＰ機能の制御を行う。これにより、画素の間引きのない画像信号に対する露出、ホワイトバランスおよびオフセットに対する補正が行われ、さらにカメラ本処理回路６５において、輝度信号および色差信号への分離処理等が行われて、キャプチャ画像信号が生成される。
【００９８】
ステップＳ１３１４において、メモリコントローラ６６を制御して、生成されたキャプチャ画像信号を画像メモリ７の所定領域に記憶させる。この後、記憶されたキャプチャ画像信号を読み出して、例えば解像度変換処理やデータ圧縮処理等の処理ブロックに転送し、図示しない外部記録媒体に転送させる。
【００９９】
なお、上記フローチャートのステップＳ１３１１において、マイコン９ではＡＥおよびＡＷＢの各係数についても、キャプチャ読み出しモードでの検波データのみ使用して演算するようにしてもよい。ただし、それ以前のモニタ読み出しモードにおける検波データも使用することにより、キャプチャ読み出しモードでの画像信号の画質についてある程度推測することができ、効率よく画質補正の精度を高めることが可能となる。
【０１００】
【発明の効果】
以上説明したように、本発明の撮像装置では、第２の読み出し動作モードにおいて、固体撮像素子から間引きせずに読み出された画像信号が検波手段に供給されて検波が行われる。従って、信号処理手段は、第２の読み出し動作モードで読み出された画像信号に対する検波に基づいて、この画像信号の画質補正のための信号処理を行うので、固体撮像素子の有する画素数が多い場合にも画質補正を適切に行うことが可能となる。
【０１０１】
また、例えば、第２の読み出し動作モード時において、読み出し制御手段は、一時記憶手段に記憶された画像信号を読み出して検波手段に供給する際、第１の読み出し動作モード時の固体撮像素子からの読み出しに対応するように画素を間引きして読み出すようにしてもよい。これによって、検波に要する時間が短縮されるとともに、検波手段および信号処理手段の構成を従来と比較して大幅に変更することなく、各機能を実現することが可能となる。
【０１０２】
また、本発明の画質補正方法では、固体撮像素子が第１の読み出し動作モードから第２の読み出し動作モードに遷移すると、固体撮像素子から間引きせずに読み出された画像信号に対して所定の検波が行われる。従って、第２の読み出し動作モードで読み出された画像信号に対する検波に基づいて、画質補正のための所定の信号処理が行われるので、固体撮像素子の有する画素数が多い場合にも画質補正を適切に行うことが可能となる。
【０１０３】
また、例えば、一時的に記憶された画像信号を読み出して所定の検波を行う際に、第１の読み出し動作モード時の固体撮像素子からの読み出しに対応するように画素を間引きして読み出すようにしてもよい。これによって、検波に要する時間が短縮されるとともに、検波手段および信号処理手段の構成を従来と比較して大幅に変更することなく、各機能を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の撮像装置の構成例を示すブロック図である。
【図２】カメラシステムＬＳＩの内部構成例を示すブロック図である。
【図３】撮像素子における画素コーディング例を模式的に示す図である。
【図４】プログレッシブ走査方式の撮像素子における信号読み出しの例を示す図である。
【図５】インタレース走査方式の撮像素子の場合のキャプチャ読み出しモードでの信号読み出し例を示す図である。
【図６】インタレース走査方式の場合のモニタ読み出しモードでの信号読み出し例を示す図である。
【図７】モニタ読み出しモードでライン加算を行う場合の信号読み出し例を示す図である。
【図８】本発明の撮像装置における読み出し動作モードの遷移に伴う信号処理例を模式的に示す図である。
【図９】カメラ前処理回路の内部構成例を示すブロック図である。
【図１０】デジタルクランプ回路の構成例を示す図である。
【図１１】デジタルゲイン回路の構成例を示す図である。
【図１２】ホワイトバランス調整回路の構成例を示す図である。
【図１３】画像撮像時におけるマイコンの動作を示すフローチャートである。
【図１４】従来のデジタルスチルカメラにおける読み出し動作モードの遷移に伴う信号処理例を模式的に示す図である。
【符号の説明】
１……撮像装置、２ａ……レンズ、２ｂ……アイリス、２ｃ……シャッタ、３……撮像素子、４……アンプ、５……フロントエンド、５ａ……Ｓ／Ｈ・ＧＣ回路、５ｂ……Ａ／Ｄ変換回路、６……カメラシステムＬＳＩ、７……画像メモリ、８……ＴＧ、９……マイコン、６１、６２……データバスセレクタ、６３……検波処理回路、６４……カメラ前処理回路、６５……カメラ本処理回路、６６……メモリコントローラ、６６ａ……間引き・加算回路、６７……タイミング発生回路
【図１】
0003664123.tif 000002
【図２】
0003664123.tif 000003
【図３】
0003664123.tif 000004
【図４】
0003664123.tif 000005
【図５】
0003664123.tif 000006
【図６】
0003664123.tif 000007
【図７】
0003664123.tif 000008
【図８】
0003664123.tif 000009
【図９】
0003664123.tif 000010
【図１０】
0003664123.tif 000011
【図１１】
0003664123.tif 000012
【図１２】
0003664123.tif 000013
【図１３】
0003664123.tif 000014
【図１４】
0003664123.tif 000015