(57)【要約】【課題】他方の撮像素子の画像の読み出しにより生じる一方の撮像素子の画像の段差を低減することを可能にした撮像装置を提供することである。【解決手段】撮像装置は、光電変換により第１の画像を生成する第１の撮像素子と、光電変換により第２の画像を生成する第２の撮像素子と、第１の画像の読み出し中に第２の画像の読み出しが開始または終了する場合には、第１の画像を補正する第１の補正手段とを有する。【選択図】図６
2019216304.tif 000002
【特許請求の範囲】
【請求項１】
光電変換により第１の画像を生成する第１の撮像素子と、
光電変換により第２の画像を生成する第２の撮像素子と、
前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、前記第１の画像を補正する第１の補正手段と
を有することを特徴とする撮像装置。
【請求項２】
光電変換により、第１の領域の第１の画像および第２の領域の第２の画像を生成する撮像素子と、
前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、前記第１の画像を補正する第１の補正手段と
を有することを特徴とする撮像装置。
【請求項３】
前記第１の撮像素子および前記第２の撮像素子に共通の電源電圧を供給する電源手段をさらに有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第２の画像の読み出し中に前記第１の画像の読み出しが開始または終了する場合には、前記第２の画像を補正する第２の補正手段をさらに有することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１の補正手段は、
前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、補正係数を変更し、前記変更した補正係数に応じて、前記第１の画像を補正し、
前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了しない場合には、補正係数を一定にし、前記一定の補正係数に応じて、前記第１の画像を補正することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の補正手段は、前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、前記第２の画像の読み出し開始時刻または読み出し終了時刻に近いほど、補正効果が大きくなるような補正係数に変更することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第１の補正手段は、前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、撮影モード、環境温度、もしくは、前記第１の撮像素子または前記撮像素子の温度に応じて、前記補正係数を変更することを特徴とする請求項５または６に記載の撮像装置。
【請求項８】
前記第１の補正手段は、前記撮影モードが電源負荷の大きい撮影モードほど、前記環境温度が高いほど、もしくは、前記第１の撮像素子または前記撮像素子の温度が高いほど、補正効果が大きくなるような補正係数に変更することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記第１の補正手段は、前記第１の撮像素子または前記撮像素子の遮光画素領域の信号および前記補正係数に応じて、前記第１の撮像素子または前記撮像素子の有効画素領域から読み出した前記第１の画像を補正することを特徴とする請求項５〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第１の補正手段は、前記第１の撮像素子または前記撮像素子の遮光画素領域の信号に基づく信号に対してローパスフィルタリングを行うローパスフィルタを有し、前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、前記ローパスフィルタの特性を変更することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記第１の補正手段は、前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、前記第２の画像の読み出し開始時刻または読み出し終了時刻に近いほど、前記ローパスフィルタのカットオフ周波数を低くすることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記第１の補正手段は、前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、前記第２の画像の読み出し開始時刻または読み出し終了時刻に近いほど、前記ローパスフィルタのタップ数を少なくすることを特徴とする請求項１０または１１に記載の撮像装置。
【請求項１３】
前記第１の補正手段は、前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、撮影モード、環境温度、もしくは、前記第１の撮像素子または前記撮像素子の温度に応じて、前記ローパスフィルタの特性を変更することを特徴とする請求項１０に記載の撮像装置。
【請求項１４】
前記第１の補正手段は、前記撮影モードが電源負荷の大きい撮影モードほど、前記環境温度が高いほど、もしくは、前記第１の撮像素子または前記撮像素子の温度が高いほど、前記ローパスフィルタのカットオフ周波数を低くすることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記第１の補正手段は、前記撮影モードが電源負荷の大きい撮影モードほど、前記環境温度が高いほど、もしくは、前記第１の撮像素子または前記撮像素子の温度が高いほど、前記ローパスフィルタのタップ数を少なくすることを特徴とする請求項１３または１４に記載の撮像装置。
【請求項１６】
第１の撮像素子が光電変換により第１の画像を生成する第１の生成ステップと、
第２の撮像素子が光電変換により第２の画像を生成する第２の生成ステップと、
前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、前記第１の画像を補正する第１の補正ステップと
を有することを特徴とする撮像装置の制御方法。
【請求項１７】
撮像素子が、光電変換により、第１の領域の第１の画像および第２の領域の第２の画像を生成する生成ステップと、
前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、前記第１の画像を補正する第１の補正ステップと
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関するものである。
【背景技術】
【０００２】
複数の撮像素子が同時に被写体を撮像する撮像装置が知られている。例えば、特許文献１では、第１の撮像素子で静止画像を撮影し、第２の撮像素子でライブビュー撮影することで、静止画撮影中であってもライブビュー画像で被写体を確認することが可能な技術が開示されている。また、特許文献２では、１つの撮像素子で異なる読み出し動作の２つの画像を同時に撮影することが可能な技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４１１３４号公報
【特許文献２】特開２０１６−２１９９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、複数の撮像素子に個別の電源を供給する複数の電源部を設けると、回路規模が増大してしまう。また、回路規模を低減するため、複数の撮像素子に供給する１つの電源部を設けると、以下の問題が生じる。一方の撮像素子の画像信号を読み出すことで電源負荷が変動し、電源電圧レベルが変化する。この時、他方の撮像素子が読み出し中であった場合、電源電圧レベルが変化するタイミングで読み出される画像に段差が生じてしまう。また、特許文献２では、一方の画像の読み出し中に他方の画像の読み出し負荷が変化した場合、電源電圧レベルが変化し、読み出される画像に段差が生じてしまう。
【０００５】
そこで、本発明の目的は、他方の撮像素子の画像の読み出しにより生じる一方の撮像素子の画像の段差を低減することを可能にした撮像装置および撮像装置の制御方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、光電変換により第１の画像を生成する第１の撮像素子と、光電変換により第２の画像を生成する第２の撮像素子と、前記第１の画像の読み出し中に前記第２の画像の読み出しが開始または終了する場合には、前記第１の画像を補正する第１の補正手段とを有する。
【発明の効果】
【０００７】
本発明によれば、第２の撮像素子の第２の画像の読み出しにより生じる第１の撮像素子の第１の画像の段差を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成例を示すブロック図である。
【図２】撮像装置の光学系を示すブロック図である。
【図３】撮像素子の構成例を示すレイアウト図である。
【図４】撮像素子の画素の構成例を示す回路図である。
【図５】ＡＦＥの構成例を示すブロック図である。
【図６】撮像装置の制御方法を示すタイミングチャートである。
【図７】撮像装置の制御方法を示すフローチャートである。
【図８】撮像装置の構成例を示すブロック図である。
【図９】ＡＦＥの構成例を示すブロック図である。
【図１０】撮像装置の制御方法を示すフローチャートである。
【図１１】撮像装置の構成例を示す斜視図である。
【図１２】撮像装置の構成例を示すブロック図である。
【図１３】撮影画像を示す図である。
【図１４】撮像素子における撮影領域を示す図である。
【図１５】撮像素子の出力画像を示す図である。
【図１６】撮像装置の制御方法を示すタイミングチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
（第１の実施形態）
図１は、本発明の第１実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、光学系１０１と、第１の撮像素子１０２と、第１のアナログフロントエンド（ＡＦＥ）１０３と、第１の画像処理部１０４と、メモリ部１０５と、システム制御部１０６と、タイミング信号発生部１０７とを有する。さらに、撮像装置１００は、第２の撮像素子１０８と、第２のＡＦＥ１０９と、第２の画像処理部１１０と、電源部１１１とを有する。
【００１０】
光学系１０１は、第１の撮像素子１０２と第２の撮像素子１０８の撮像面に被写体の光像を結像する。第１の撮像素子１０２と第２の撮像素子１０８は、それぞれ、例えば、ＣＭＯＳイメージセンサであり、撮像面に結像された被写体の光像に応じた画像信号を生成して出力する。例えば、第１の撮像素子１０２は、光電変換により静止画像を生成し、第２の撮像素子１０８は、光電変換により動画像を生成する。また、第１の撮像素子１０２と第２の撮像素子１０８は、それぞれ、遮光画素領域と有効画素領域を有し、遮光画素領域から黒レベルの基準信号を出力し、有効画素領域から画像信号を出力する。
【００１１】
第１のＡＦＥ１０３は、第１の撮像素子１０２の遮光画素領域から出力される黒レベルの基準信号と、システム制御部１０６から供給される第２の撮像素子１０８の読み出し制御情報とに基づいて、段差補正信号であるオフセット信号を生成する。そして、第１のＡＦＥ１０３は、オフセット信号を基に、後述する水平ＯＢ（オプティカルブラック）クランプ処理を行い、第１の撮像素子１０２で撮像した静止画の画像信号のダークシェーディング成分を除去する。そして、第１のＡＦＥ１０３は、水平ＯＢクランプ処理された画像信号をアナログデジタル（ＡＤ）変換してデジタル信号を出力する。第１のＡＦＥ１０３は、第１の撮像素子１０２の遮光画素領域の基準信号を基に、第１の撮像素子１０２の有効画素領域の画像の行のオフセットを補正するオフセット補正部である。
【００１２】
第１の画像処理部１０４は、第１のＡＦＥ１０３から出力されたデジタル信号に対して、各種補正処理および現像処理を行って画像データを生成する。
【００１３】
第２のＡＦＥ１０９は、第２の撮像素子１０８の遮光画素領域から出力される黒レベルの基準信号と、システム制御部１０６から供給される第１の撮像素子１０２の読み出し制御情報とに基づいて、段差補正信号であるオフセット信号を生成する。そして、第２のＡＦＥ１０９は、オフセット信号を基に、後述する水平ＯＢクランプ処理を行い、第２の撮像素子１０８で撮像した動画の画像信号のダークシェーディング成分を除去する。そして、第２のＡＦＥ１０９は、水平ＯＢクランプ処理された画像信号をＡＤ変換してデジタル信号を出力する。第２のＡＦＥ１０９は、第２の撮像素子１０８の遮光画素領域の基準信号を基に、第２の撮像素子１０８の有効画素領域の画像の行のオフセットを補正するオフセット補正部である。
【００１４】
第２の画像処理部１１０は、第２のＡＦＥ１０９から出力されたデジタル信号に対して、各種補正処理および現像処理を行って画像データを生成する。メモリ部１０５は、第１の画像処理部１０４と第２の画像処理部１１０による現像処理における作業用メモリとして使用される。また、メモリ部１０５は、撮像動作が連続した際に、第１の画像処理部１０４と第２の画像処理部１１０の現像処理が間に合わない時のバッファメモリとして使用される。
【００１５】
システム制御部１０６は、撮像装置１００の全体的な制御を行う。また、システム制御部１０６は、撮像装置１００の基準クロック信号をタイミング信号発生部１０７に供給する。さらに、システム制御部１０６は、第１の撮像素子１０２の読み出し制御情報を第２のＡＦＥ１０９に供給し、第２の撮像素子１０８の読み出し制御情報を第１のＡＦＥ１０３に供給する。
【００１６】
タイミング信号発生部（ＴＧ）１０７は、システム制御部１０６から供給される基準クロック信号を基に、第１の撮像素子１０２と第２の撮像素子１０８を駆動するための各種の駆動信号を生成する。そして、タイミング信号発生部１０７は、その生成した駆動信号を第１の撮像素子１０２および第２の撮像素子１０８へ供給する。その駆動信号は、例えば、電荷蓄積開始および電荷蓄積終了を制御するためのタイミング信号、各画素の信号読み出し制御信号（水平同期信号、垂直同期信号、転送信号等）等を含む。電源部１１１は、第１の撮像素子１０２と第２の撮像素子１０８に対して共通の電源電圧を供給する。
【００１７】
図２は、図１の光学系１０１に対する第１の撮像素子１０２と第２の撮像素子１０８の位置を示す図である。光学系１０１は、レンズ２０１と、ハーフミラー２０２と、フォーカルプレーンシャッタ２０３とを有する。ハーフミラー２０２は、レンズ２０１に入射された被写体からの光束を、反射光と透過光に分割する。ハーフミラー２０２の反射光は、第２の撮像素子１０８に入射され、ハーフミラー２０２の透過光は、第１の撮像素子１０２に入射される。フォーカルプレーンシャッタ２０３は、第１の撮像素子１０２の静止画撮影時の露光秒時を調節する。フォーカルプレーンシャッタ２０３は、第１の撮像素子１０２の露光秒時を調節する構成であるが、この限りではない。第１の撮像素子１０２が、電子シャッタ機能を有し、制御パルスで露光秒時を調節してもよい。
【００１８】
図３は、撮像素子３０１のレイアウトを示す図である。撮像素子３０１は、図１の第１の撮像素子１０２および第２の撮像素子１０８に対応し、例えばＣＭＯＳイメージセンサである。撮像素子３０１は、垂直走査回路３０５と、読み出し回路３０６と、水平走査回路３０７と、出力アンプ３０８と、画素領域３０９とを有する。画素領域３０９は、有効画素領域３０２と、垂直オプティカルブラック領域（以下、ＶＯＢ領域と称す）３０３と、水平オプティカルブラック領域（以下、ＨＯＢ領域と称す）３０４とを有する。
【００１９】
画素領域３０９は、２次元行列状に配列された複数の画素を有し、有効画素領域３０２と、ＶＯＢ領域３０３と、ＨＯＢ領域３０４とに分割される。ＶＯＢ領域３０３およびＨＯＢ領域３０４は、遮光画素領域であり、画素領域３０９の画素のうちの遮光された画素が配置されている領域である。有効画素領域３０２は、画素領域３０９の画素のうちの遮光されていない画素が配置されている領域である。
【００２０】
ＶＯＢ領域３０３およびＨＯＢ領域３０４の画素の各々は、暗電流成分および電源電圧変動成分を含む黒レベルの基準信号を出力する。有効画素領域３０２の画素の各々は、光電変換による画素信号を出力する。黒レベルの基準信号は、有効画素領域３０２の画素が出力する画素信号に対して、ダークシェーディング成分を補正するために用いられる。ＶＯＢ領域３０３の黒レベルの基準信号は、有効画素領域３０２の画像信号に対して、水平方向のダークシェーディング成分を補正するために用いられる。また、ＨＯＢ領域３０４の黒レベルの基準信号は、有効画素領域３０２の画像信号に対して、垂直方向のダークシェーディング成分を補正するために用いられる。
【００２１】
図４は、図３の画素領域３０９内の各画素の構成例を示す回路図である。フォトダイオード４０２は、光電変換部であり、入射光を電荷に変換して蓄積する。転送スイッチ４０３は、フォトダイオード４０２により変換された電荷をフローティングディフュージョン（以下、ＦＤと称す）４０４へ転送する。ＦＤ４０４は、等価的にコンデンサになっており、フォトダイオード４０２から転送された電荷を電圧へ変換する。アンプ４０５は、ＭＯＳトランジスタであり、列信号線４０６に接続された定電流源（不図示）とともにソースフォロワ動作を行うことにより、ＦＤ４０４の電圧に応じた信号を列信号線４０６へ出力する。選択スイッチ４０７は、アンプ４０５の出力ノードと列信号線とを接続する。選択スイッチ４０７がオンすることにより、画素４０１が選択状態になる。選択スイッチ４０７がオフすることにより、画素４０１が非選択状態になる。リセットスイッチ４０８は、ＦＤ４０４をリセットする。列信号線４０６は、画素４０１の列毎に設けられる。各列の画素４０１は、同一の列信号線４０６を介して、図３の読み出し回路３０６に接続される。
【００２２】
図３に戻り、垂直走査回路３０５は、行単位で、画素４０１の転送スイッチ４０３と選択スイッチ４０７とリセットスイッチ４０８とを制御する。垂直走査回路３０５は、選択行の選択スイッチ４０７を制御し、画素領域３０９内の行列状の画素４０１の行を選択する。選択された行の各列の画素４０１は、列信号線４０６を介して、読み出し回路３０６に信号を出力する。各列の画素４０１は、第１の期間では、ＦＤ４０４のリセット解除に基づくノイズ信号（Ｎ信号）を出力し、第２の期間では、フォトダイオード４０２の光電変換に基づく光信号（Ｓ信号）を出力する。読み出し回路３０６は、選択された行の各列の画素４０１のＳ信号とＮ信号との差分を求めるＣＤＳ処理を行う。この処理により、読み出し回路３０６は、撮像素子３０１に固有の固定パターンノイズが除去された各列の画素４０１の画素信号を求めて保持する。この固定パターンノイズは、図４のリセットスイッチ４０８がＦＤ４０４をリセットした際に発生するノイズや、アンプ４０５を構成するＭＯＳトランジスタの閾値電圧が画素４０１ごとにばらつくことに起因したノイズなどを含む。水平走査回路３０７は、読み出し回路３０６に保持された各列の画素信号を順に選択して出力アンプ３０８へ転送する。出力アンプ３０８は、転送された画素信号を増幅して出力する。
【００２３】
図５は、図１に示した第１のＡＦＥ１０３および第２のＡＦＥ１０９の構成例を示すブロック図である。第１のＡＦＥ１０３は、第１の撮像素子１０２のＨＯＢ領域３０４の基準信号に基づいて、第１の撮像素子１０２の有効画素領域３０２の画素信号の水平ＯＢクランプ処理を行い、画像の段差補正を行う。第２のＡＦＥ１０９は、第２の撮像素子１０８のＨＯＢ領域３０４の基準信号に基づいて、第２の撮像素子１０８の有効画素領域３０２の画素信号の水平ＯＢクランプ処理を行い、画像の段差補正を行う。
【００２４】
第１のＡＦＥ１０３では、プログラマブルゲインアンプ（ＰＧＡ）５０１は、第１の撮像素子１０２が出力するアナログ信号を増幅する。第２のＡＦＥ１０９では、ＰＧＡ５０１は、第２の撮像素子１０８が出力するアナログ信号を増幅する。アナログデジタル変換器（ＡＤ変換器）５０２は、ＰＧＡ５０１により増幅された信号をアナログ形式から例えば１４ビットのデジタル形式に変換して出力する。
【００２５】
段差補正信号生成部５０３は、行平均値算出部５０４と、減算部５０５と、演算部５０６とを有する。行平均値算出部５０４は、ＨＯＢ領域３０４の画素４０１の信号が入力された場合に、行ごとの画素４０１の信号の平均値を算出する。なお、行平均値算出部５０４は、行方向のローパスフィルタ（ＬＰＦ）により、ＨＯＢ領域３０４の行方向の画素の信号に対してローパスフィルタ処理した信号を出力してもよい。
【００２６】
減算部５０５は、予め決められたクランプ目標値と行平均値算出部５０４の出力信号との差分を算出する。演算部５０６は、上記の差分に対して、補正係数設定部５０７により設定された１以下の補正係数を乗算し、段差補正信号を求める。さらに、演算部５０６は、前画素で求めた段差補正信号に対して、現画素で求めた段差補正信号を加算して出力する。
【００２７】
補正係数設定部５０７は、システム制御部１０６から供給される読み出し制御情報に基づき、補正係数を決定する。第１のＡＦＥ１０３では、補正係数設定部５０７は、第２の撮像素子１０８の読み出し開始時刻および読み出し終了時刻に応じて、補正係数を決定する。第２のＡＦＥ１０９では、補正係数設定部５０７は、第１の撮像素子１０２の読み出し開始時刻および読み出し終了時刻に応じて、補正係数を決定する。
【００２８】
例えば、第１のＡＦＥ１０３の補正係数設定部５０７は、第１の撮像素子１０２で読み出している行の時刻から第２の撮像素子１０８の読み出し開始時刻または読み出し終了時刻までの期間が所定の閾値以上である場合には、一定の補正係数Ａを設定する。補正係数Ａは、例えば０．５である。また、第１のＡＦＥ１０３の補正係数設定部５０７は、上記の期間が所定の閾値未満である場合には、上記の期間に応じて、線形に大きくなるように、補正係数Ａより大きい補正係数を設定する。
【００２９】
同様に、第２のＡＦＥ１０９の補正係数設定部５０７は、第２の撮像素子１０８で読み出している行の時刻から第１の撮像素子１０２の読み出し開始時刻または読み出し終了時刻までの期間が所定の閾値以上である場合には、一定の補正係数Ａを設定する。また、第２のＡＦＥ１０９の補正係数設定部５０７は、上記の期間が所定の閾値未満である場合には、上記の期間に応じて、線形に大きくなるように、補正係数Ａより大きい補正係数を設定する。
【００３０】
このように、補正係数設定部５０７は、読み出し制御情報に応じて、行毎に補正係数を設定することで、行毎にＯＢクランプ処理特性を変更する。ＨＯＢ領域３０４の画素の信号の出力が終了すると、有効画素領域３０２の画素の信号の出力が行われる。段差補正信号生成部５０３は、有効画素領域３０２の信号を入力する時には、段差補正信号を更新しない。
【００３１】
デジタルアナログ変換器（ＤＡ変換器）５０８は、演算部５０６により生成された段差補正信号をデジタル形式からアナログ形式に変換し、ＰＧＡ５０１にフィードバックする。ＰＧＡ５０１は、段差補正信号（水平ＯＢクランプ補正量）により、有効画素領域３０２の画像信号の段差補正を行い、有効画素領域３０２の画素信号のダークレベルを調整する。そして、ＰＧＡ５０１は、図１のシステム制御部１０６により制御されたゲインで、その調整された画素信号を増幅して出力することにより、感度を調整する。
【００３２】
以上のように、第１のＡＦＥ１０３の補正係数設定部５０７は、第１の撮像素子１０２の画像の読み出し中に、第２の撮像素子１０８の画像の読み出しが開始または終了する場合には、大きい補正係数を設定し、第１の撮像素子１０２の画像の段差を補正する。これにより、電源の負荷変動による段差を抑制する。また、第１のＡＦＥ１０３の補正係数設定部５０７は、第１の撮像素子１０２の画像の読み出し中に、第２の撮像素子１０８の画像の読み出しが開始または終了しない場合には、小さい補正係数を設定する。これにより、遮光画素領域の欠陥画素やランダムノイズの影響を低減することができる。
【００３３】
同様に、第２のＡＦＥ１０９の補正係数設定部５０７は、第２の撮像素子１０８の画像の読み出し中に、第１の撮像素子１０２の画像の読み出しが開始または終了する場合には、大きい補正係数を設定し、第２の撮像素子１０８の画像の段差を補正する。これにより、電源の負荷変動による段差を抑制する。また、第２のＡＦＥ１０９の補正係数設定部５０７は、第２の撮像素子１０８の画像の読み出し中に、第１の撮像素子１０２の画像の読み出しが開始または終了しない場合には、小さい補正係数を設定する。これにより、遮光画素領域の欠陥画素やランダムノイズの影響を低減することができる。
【００３４】
図６（Ａ）〜（Ｄ）は、第２の撮像素子１０８による動画撮影中に第１の撮像素子１０２による静止画撮影を行うタイミングチャートである。図６（Ａ）は、第１の撮像素子１０２と第２の撮像素子１０８の各種処理タイミングの時刻を示す。図６（Ｂ）は、第１の撮像素子１０２の静止画撮影と垂直同期信号ＶＤを示すタイミングチャートである。図６（Ｃ）は、第２の撮像素子１０８の動画撮影と垂直同期信号ＶＤを示すタイミングチャートである。図６（Ｄ）は、第１のＡＦＥ１０３と第２のＡＦＥ１０９における補正係数設定部５０７の補正係数を示す。
【００３５】
時刻Ｔ１では、第１の撮像素子１０２は、図６（Ｂ）に示すように、ユーザにより静止画撮影の指示を受けると、フォトダイオード４０２をリセットする。フォトダイオード４０２のリセットが解除されると、フォトダイオード４０２は、光電変換された電荷の蓄積を開始する。
【００３６】
第２の撮像素子１０８は、図６（Ｃ）に示すように、既に動画記録をしており、リセット、蓄積、読み出しを所定のフレームレートで繰り返している。第２の撮像素子１０８は、時刻Ｔ２でフレーム２の読み出しを開始し、時刻Ｔ４でフレーム２の読み出しを終了する。時刻Ｔ２およびＴ４の間の時刻Ｔ３では、第１の撮像素子１０２は、図６（Ｂ）に示すように、静止画の読み出しを開始する。時刻Ｔ３では、第１の撮像素子１０２が読み出しを開始するため、電源負荷が増加し、電源レベルが変動する。この時、第２の撮像素子１０８は、図６（Ｃ）に示すように、フレーム２の読み出し中であるため、電源レベルの変動により、フレーム２の画像に段差が生じてしまう。
【００３７】
そこで、この段差を軽減するために、第２のＡＦＥ１０９の補正係数設定部５０７は、図６（Ｄ）に示すように、補正係数を変更する。時刻Ｔ３より所定時間前では、第２のＡＦＥ１０９の補正係数設定部５０７は、第２の撮像素子１０８の読み出し中に、第１の撮像素子１０２が読み出しを行っておらず、電源レベルの変動が発生しないので、補正係数を例えば０．５に設定する。
【００３８】
時刻Ｔ３では、第１の撮像素子１０２が読み出しを開始するので、電源レベルの変動が発生する。第２のＡＦＥ１０９の補正係数設定部５０７は、時刻Ｔ３より所定時間前から、補正係数を０．５から０．９まで徐々に上げて、時刻Ｔ３を過ぎたら、補正係数を０．９から０．５まで徐々に下げる。
【００３９】
次に、第２の撮像素子１０８は、時刻Ｔ５でフレーム３の読み出しを開始し、時刻Ｔ７でフレーム３の読み出しを終了する。時刻Ｔ５およびＴ７の間の時刻Ｔ６では、第１の撮像素子１０２は、静止画の読み出しを終了する。時刻Ｔ６では、第１の撮像素子１０２が読み出しを終了するため、電源負荷が増加し、電源レベルが変動する。この時、第２の撮像素子１０８は、フレーム３の読み出し中であるため、電源レベルの変動により、フレーム３の画像に段差が生じてしまう。
【００４０】
そこで、この段差を軽減するために、第２のＡＦＥ１０９の補正係数設定部５０７は、補正係数を変更する。時刻Ｔ６では、第１の撮像素子１０２は、読み出しを終了するため、電源負荷が増加し、電源レベルが変動する。第２のＡＦＥ１０９の補正係数設定部５０７は、時刻Ｔ６より所定時間前から、補正係数を０．５から０．９まで徐々に上げて、時刻Ｔ６を過ぎたら、補正係数を０．９から０．５まで徐々に下げる。
【００４１】
以上のように、第２のＡＦＥ１０９の補正係数設定部５０７は、第２の撮像素子１０８の画像の読み出し中に、第１の撮像素子１０２の画像の読み出しが開始または終了する場合には、補正係数を変更する。その場合、第２のＡＦＥ１０９の補正係数設定部５０７は、第１の撮像素子１０２の画像の読み出し開始時刻または読み出し終了時刻に近いほど、補正効果が大きくなるように大きな補正係数に変更する。
【００４２】
一方、第１の撮像素子１０２は、時刻Ｔ３で静止画の読み出しを開始し、時刻Ｔ６で静止画の読み出しを終了する。時刻Ｔ３およびＴ６の間の時刻Ｔ４では、第２の撮像素子１０８は、フレーム２の読み出しを終了する。時刻Ｔ４では、第２の撮像素子１０８が読み出しを終了するため、電源負荷が増加し、電源レベルが変動する。この時、第１の撮像素子１０２は、静止画の読み出し中であるため、電源レベルの変動により、静止画の画像に段差が生じてしまう。
【００４３】
そこで、この段差を軽減するために、第１のＡＦＥ１０３の補正係数設定部５０７は、補正係数を変更する。時刻Ｔ４より所定時間前では、第１のＡＦＥ１０３の補正係数設定部５０７は、第１の撮像素子１０２の読み出し中に、第２の撮像素子１０８が読み出しを行っておらず、電源レベルの変動が発生しないので、補正係数を例えば０．５に設定する。
【００４４】
時刻Ｔ４では、第２の撮像素子１０８が読み出しを終了するので、電源レベルの変動が発生する。第１のＡＦＥ１０３の補正係数設定部５０７は、時刻Ｔ４より所定時間前から、補正係数を０．５から０．７まで徐々に上げて、時刻Ｔ４を過ぎたら、補正係数を０．７から０．５まで徐々に下げる。
【００４５】
次に、時刻Ｔ４およびＴ６の間の時刻Ｔ５では、第２の撮像素子１０８は、フレーム３の読み出しを開始する。時刻Ｔ５では、第２の撮像素子１０８が読み出しを開始するため、電源負荷が増加し、電源レベルが変動する。この時、第１の撮像素子１０２は、静止画の読み出し中であるため、電源レベルの変動により、静止画の画像に段差が生じてしまう。
【００４６】
そこで、この段差を軽減するために、第１のＡＦＥ１０３の補正係数設定部５０７は、補正係数を変更する。第１のＡＦＥ１０３の補正係数設定部５０７は、時刻Ｔ５より所定時間前から、補正係数を０．５から０．７まで徐々に上げて、時刻Ｔ５を過ぎたら、補正係数を０．７から０．５まで徐々に下げる。
【００４７】
以上のように、第１のＡＦＥ１０３の補正係数設定部５０７は、第１の撮像素子１０２の画像の読み出し中に、第２の撮像素子１０８の画像の読み出しが開始または終了する場合には、補正係数を変更する。その場合、第１のＡＦＥ１０３の補正係数設定部５０７は、第２の撮像素子１０８の画像の読み出し開始時刻または読み出し終了時刻に近いほど、補正効果が大きくなるように大きな補正係数に変更する。
【００４８】
ここで、第２のＡＦＥ１０９の補正係数設定部５０７は、補正係数を０．９まで上げたのに対し、第１のＡＦＥ１０３の補正係数設定部５０７は、補正係数を０．７まで上げている。これは、静止画の読み出し中の電源の負荷変動の方が、動画の読み出し中の電源の負荷変動よりも、少ない場合の例を示しているためのである。補正係数設定部５０７は、電源の負荷変動が小さい程、発生する画像の段差も小さくなるため、補正係数も相対的に小さな値を設定する。なお、補正係数設定部５０７は、静止画の電源負荷の方が動画の電源負荷より軽い場合には、０．７と０．９の補正係数を逆にする。また、補正係数設定部５０７は、静止画および動画の撮影モードの他、温度により読み出し負荷が変化する場合は、環境温度や第１の撮像素子１０２および第２の撮像素子１０８の温度に応じて、補正係数を変えてもよい。補正係数設定部５０７は、撮影モードが電源負荷の大きい撮影モードほど、環境温度が高いほど、第１の撮像素子１０２または第２の撮像素子１０８の温度が高いほど、補正効果が大きくなるように大きな補正係数に変更する。
【００４９】
図７は、撮像装置１００の制御方法を示すフローチャートである。例えば、撮像装置１００は、水平ＯＢクランプを用いてダークレベルへのクランプを行う。なお、第１の撮像素子１０２と第２の撮像素子１０８の処理は、相互に同様であるため、ここでは第１の撮像素子１０２の処理を例に説明する。
【００５０】
ステップＳ７０１では、システム制御部１０６は、タイミング信号発生部１０７を介して、第１の撮像素子１０２のフォトダイオード４０２における光電変換による電荷蓄積を開始させる。例えば、リセットスイッチ４０８および転送スイッチ４０３は、フォトダイオード４０２のリセットを解除する。
【００５１】
ステップＳ７０２では、フォーカルプレーンシャッタ２０３が開閉することによって、第１の撮像素子１０２を露光期間だけ露光する。ステップＳ７０３では、システム制御部１０６は、タイミング信号発生部１０７を介して、第１の撮像素子１０２のフォトダイオード４０２における光電変換による電荷蓄積を終了させる。例えば、転送スイッチ４０３は、フォトダイオード４０２に蓄積された電荷をＦＤ４０４に転送する。
【００５２】
ステップＳ７０４〜Ｓ７０９では、第１のＡＦＥ１０３は、第１の撮像素子１０２の画像の行ごとの処理を行う。ステップＳ７０４では、第１のＡＦＥ１０３は、第１の撮像素子１０２のＨＯＢ領域３０４において先頭行から読み出しを開始する。行平均値算出部５０４は、読み出し行の画素信号の平均値を算出する。
【００５３】
ステップＳ７０５では、減算部５０５は、その平均値から予め定められたクランプ目標値を減算する。ステップＳ７０６では、補正係数設定部５０７は、第１の撮像素子１０２の現在の読み出し行から第２の撮像素子１０８の読み出し開始時刻または読み出し終了時刻までの時間を算出する。
【００５４】
ステップＳ７０７では、補正係数設定部５０７は、ステップＳ７０６で算出した時間に基づいて、補正係数を算出する。ステップＳ７０８では、演算部５０６は、減算部５０５の出力値に対して、補正係数設定部５０７の補正係数を乗算し、段差補正信号となるＯＢクランプオフセットを算出する。
【００５５】
ステップＳ７０９では、第１のＡＦＥ１０３は、ＨＯＢ領域３０４の読み出しが完了すると、段差補正信号であるＯＢクランプオフセット信号をＤＡ変換器５０８にセットする。ＤＡ変換器５０８は、ＯＢクランプオフセット信号をデジタル形式からアナログ形式に変換し、アナログ形式のＯＢクランプオフセット信号をＰＧＡ５０１にフィードバックする。ＰＧＡ５０１は、有効画素領域３０２の行の信号に対して、ダークレベルが目標値になるようにクランプを施し、有効画素領域３０２の画素信号の段差補正を行い、有効画素領域３０２の画素信号のダークレベルを調整する。
【００５６】
ステップＳ７１０では、第１のＡＦＥ１０３は、有効画素領域３０２の行の読み出しが完了したら、その行が最終行であるか否かを判定する。第１のＡＦＥ１０３は、最終行でない場合には、ステップＳ７０４に戻り、次の行の処理を繰り返す。また、第１のＡＦＥ１０３は、最終行である場合には、図７の処理を終了する。
【００５７】
以上のように、撮像装置１００は、複数の撮像素子１０２および１０８が同時に複数の画像を生成する。１つの電源部１１１は、複数の撮像素子１０２および１０８に共通の電源電圧を供給する。第２の撮像素子１０８の読み出し開始または読み出し終了により、第１の撮像素子１０２の読み出し負荷が変化し、電源電圧が変動し、第１の撮像素子１０２の画像に段差が生じる。第１のＡＦＥ１０３は、第２の撮像素子１０８の読み出し開始および読み出し終了により発生する第１の撮像素子１０２の画像の段差を低減することができる。また、第２のＡＦＥ１０９は、第１の撮像素子１０２の読み出し開始および読み出し終了により発生する第２の撮像素子１０８の画像の段差を低減することができる。
【００５８】
なお、第１の撮像素子１０２が静止画を撮像し、第２の撮像素子１０８が動画を撮像する例を説明したが、その逆であってもよい。また、第１の撮像素子１０２と第２の撮像素子１０８は、共に、静止画の撮像または動画の撮像を行うようにしてもよい。
【００５９】
（第２の実施形態）
第１の実施形態では、第１のＡＦＥ１０３は、第２の撮像素子１０８の読み出し開始時刻および読み出し終了時刻に基づき、段差補正信号であるＯＢクランプオフセット信号を生成し、ＯＢクランプ処理をする。これにより、電源電圧変動によるシェーディングも補正できる。本発明の第２の実施形態では、画像処理部１０４および１１０がシェーディング補正にて段差補正を行う例を説明する。
【００６０】
図８は、本発明の第２実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、図１と同様に、光学系１０１と、第１の撮像素子１０２と、第１のＡＦＥ１０３と、第１の画像処理部１０４と、メモリ部１０５と、システム制御部１０６と、タイミング信号発生部１０７とを有する。さらに、撮像装置１００は、第２の撮像素子１０８と、第２のＡＦＥ１０９と、第２の画像処理部１１０と、電源部１１１とを有する。以下、本実施形態が第１の実施形態と異なる点を説明する。
【００６１】
図１では、ＡＦＥ１０３および１０９が、画像の段差補正を行う段差補正部である。図１では、システム制御部１０６は、第１のＡＦＥ１０３に第２の撮像素子１０８の読み出し制御情報を出力し、第２のＡＦＥ１０９に第１の撮像素子１０２の読み出し制御情報を出力する。
【００６２】
図８では、画像処理部１０４および１１０が、画像の段差補正を行う段差補正部である。図８では、システム制御部１０６は、第１の画像処理部１０４に第２の撮像素子１０８の読み出し制御情報を出力し、第２の画像処理部１１０に第１の撮像素子１０２の読み出し制御情報を出力する。第１のＡＦＥ１０３および第２のＡＦＥ１０９は、補正係数設定部５０７を有しておらず、通常の水平ＯＢクランプ処理を行うことにより、緩やかに変化する水平シェーディング成分を除去する。
【００６３】
図９は、第１の画像処理部１０４および第２の画像処理部１１０における水平シェーディング補正部９０１の構成例を示すブロック図である。第１の画像処理部１０４の水平シェーディング補正部９０１は、第１のＡＦＥ１０３から出力されたＨＯＢ領域３０４の信号に基づいて、有効画素領域３０２から出力される画像信号の水平シェーディング補正を行う。第２の画像処理部１１０の水平シェーディング補正部９０１は、第２のＡＦＥ１０９から出力されたＨＯＢ領域３０４の信号に基づいて、有効画素領域３０２から出力される画像信号の水平シェーディング補正を行う。
【００６４】
水平シェーディング補正部９０１は、段差補正信号算出部９０３と、特性変更部９０８とを有する。段差補正信号算出部９０３は、行平均値算出部９０４と、減算部９０５と、列ローパスフィルタ（列ＬＰＦ）９０６と、演算部９０７とを有する。特性変更部９０８は、フィルタ設定部９０９と、補正係数設定部９１０とを有する。
【００６５】
行平均値算出部９０４および減算部９０５は、それぞれ、図５の行平均値算出部５０４および減算部５０５と同様であるため、説明を省略する。列ＬＰＦ９０６は、減算部９０５が出力した行毎の減算値に対して、列方向のローパスフィルタリングを行う。ローパスフィルタは、例えば、“Ｉｎｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ”（ＩＩＲ）フィルタであり、行平均値算出部９０４では除去しきれない遮光画素領域の欠陥画素やランダムノイズの影響を低減する。
【００６６】
演算部９０７は、列ＬＰＦ９０６の出力値に対して、補正係数設定部９１０で設定された１以下の補正係数を乗算し、段差補正信号を求める。さらに、演算部９０７は、前行で求めた段差補正信号に対して、今回求めた段差補正信号を加算して出力する。
【００６７】
特性変更部９０８は、フィルタ設定部９０９および補正係数設定部９１０を有し、システム制御部１０６から供給される読み出し制御情報に基づいて、フィルタ特性および補正係数を設定する。第１の画像処理部１０４のフィルタ設定部９０９は、第１の撮像素子１０２で読み出している行の時刻から第２の撮像素子１０８の読み出し開始時刻または読み出し終了時刻までの時間に応じて、列ＬＰＦ９０６のカットオフ周波数およびタップ数を設定する。例えば、そのフィルタ設定部９０９は、上記の時間が所定値以上である場合には、予め定められたカットオフ周波数およびタップ数を列ＬＰＦ９０６に設定する。列ＬＰＦ９０６は、列ＬＰＦ処理を行い、遮光画素領域の欠陥画素やランダムノイズの影響を低減する。しかし、列ＬＰＦ９０６は、第２の撮像素子１０８の読み出し開始または読み出し終了が発生した場合においても同様の列ＬＰＦをかけてしまうと、急峻な電源電圧変動による段差を抑制する段差補正信号を生成することができない。そこで、フィルタ設定部９０９は、上記の時間が所定値未満である場合には、上記の時間が短い程、ＬＰＦのカットオフ周波数を低く設定し、タップ数を小さく設定する。これにより、段差補正信号算出部９０３は、急峻な電源電圧変動に追従した段差補正信号を算出することができる。
【００６８】
以上のように、第１の画像処理部１０４のフィルタ設定部９０９は、第１の撮像素子１０２の画像の読み出し中に、第２の撮像素子１０８の画像の読み出しが開始または終了する場合には、列ＬＰＦ９０６の特性を変更する。その場合、フィルタ設定部９０９は、第２の撮像素子１０８の画像の読み出し開始時刻または読み出し終了時刻に近いほど、列ＬＰＦ９０６のカットオフ周波数を低くし、列ＬＰＦ９０６のタップ数を少なくする。
【００６９】
また、フィルタ設定部９０９は、第１の撮像素子１０２の画像の読み出し中に、第２の撮像素子１０８の読み出しが開始または終了する場合には、撮影モード、環境温度、または、第１の撮像素子１０２の温度に応じて、列ＬＰＦ９０６の特性を変更する。その場合、フィルタ設定部９０９は、撮影モードが電源負荷の大きい撮影モードほど、環境温度が高いほど、第１の撮像素子１０２の温度が高いほど、列ＬＰＦ９０６のカットオフ周波数を低くし、列ＬＰＦ９０６のタップ数を少なくする。
【００７０】
第２の画像処理部１１０のフィルタ設定部９０９は、第２の撮像素子１０８で読み出している行の時刻から第１の撮像素子１０２の読み出し開始時刻または読み出し終了時刻までの時間に応じて、列ＬＰＦ９０６のカットオフ周波数およびタップ数を設定する。例えば、そのフィルタ設定部９０９は、上記の時間が所定値以上である場合には、予め定められたカットオフ周波数およびタップ数を列ＬＰＦ９０６に設定する。列ＬＰＦ９０６は、列ＬＰＦ処理を行い、遮光画素領域の欠陥画素やランダムノイズの影響を低減する。また、そのフィルタ設定部９０９は、上記の時間が所定値未満である場合には、上記の時間が短い程、ＬＰＦのカットオフ周波数を低く設定し、タップ数を小さく設定する。これにより、段差補正信号算出部９０３は、急峻な電源電圧変動に追従した段差補正信号を算出することができる。
【００７１】
補正係数設定部９１０は、図５の補正係数設定部５０７と同様であるため、説明を省略する。演算部９０７がＨＯＢ領域３０４に基づいた段差補正信号の算出を完了すると、減算部９０２は、有効画素領域３０２の信号から演算部９０７の段差補正信号を減算し、シェーディング補正処理と読み出し負荷の変化による電源電圧変動の段差補正を行う。
【００７２】
図１０は、撮像装置１００の制御方法を示すフローチャートである。なお、第１の撮像素子１０２と第２の撮像素子１０８の処理は、相互に同様であるため、ここでは第１の撮像素子１０２の処理を例に説明する。
【００７３】
撮像装置１００は、ステップＳ１００１〜Ｓ１００３の処理を行う。ステップＳ１００１〜Ｓ１００３の処理は、図７のステップＳ７０１〜Ｓ７０３の処理と同様であるため、説明を省略する。
【００７４】
ステップＳ１００４〜Ｓ１００７では、第１のＡＦＥ１０３は、ＯＢクランプ処理を行う。ステップＳ１００４では、第１のＡＦＥ１０３は、各行の信号を読み出すタイミングから、第２の撮像素子１０８の読み出し開始時刻または読み出し終了時刻までの時間を算出し、その情報を記憶する。
【００７５】
ステップＳ１００５では、第１のＡＦＥ１０３は、通常のＯＢクランプ処理を行う。第１のＡＦＥ１０３は、ＨＯＢ領域３０４において先頭行から読み出しを開始する。行平均値算出部５０４は、読み出し行の信号の平均値を算出する。減算部５０５は、その平均値からクランプ目標値を減算する。演算部５０６は、減算値に対して、予め定められた演算計数を乗算し、ＯＢクランプオフセットを算出する。第１のＡＦＥ１０３は、ＨＯＢ領域３０４の読み出しが完了すると、演算部５０６のＯＢクランプオフセットをＤＡ変換器５０８にセットする。
【００７６】
ステップＳ１００６では、ＤＡ変換器５０８は、ＯＢクランプオフセットをデジタル形式からアナログ形式に変換し、ＰＧＡ５０１にフィードバックする。ＰＧＡ５０１は、有効画素領域３０２の行の信号に対して、ダークレベルが目標値になるようにクランプを施す。
【００７７】
ステップＳ１００７では、第１のＡＦＥ１０３は、有効画素領域３０２の行の読み出しが完了したら、その行が最終行であるか否かを判定する。第１のＡＦＥ１０３は、最終行でない場合には、ステップＳ１００４に戻り、次の行の処理を繰り返す。また、第１のＡＦＥ１０３は、最終行である場合には、ステップＳ１００８に進む。
【００７８】
ステップＳ１００８〜Ｓ１０１６では、第１の画像処理部１０４は、１行目から最終行までシェーディング補正処理および段差補正を行う。ステップＳ１００８では、行平均値算出部９０４は、ＨＯＢ領域３０４の行の信号の平均値を算出する。なお、行平均値算出部９０４は、ステップＳ１００５において算出したＨＯＢ領域３０４の行の信号の平均値を記憶しておき、その記憶した平均値を参照してもよい。
【００７９】
ステップＳ１００９では、減算部９０５は、その平均値から予め定められたクランプ目標値を減算する。ステップＳ１０１０およびＳ１０１１では、フィルタ設定部９０９は、ステップＳ１００４で記憶した時間を参照し、その時間に基づいて、列ＬＰＦ９０６のフィルタタップ数およびカットオフ周波数を設定する。
【００８０】
ステップＳ１０１２では、列ＬＰＦ９０６は、減算部９０５の出力値に対し、フィルタ設定部９０９が設定したタップ数およびカットオフ周波数で、列ローパスフィルタ処理を行う。
【００８１】
ステップＳ１０１３では、補正係数設定部９１０は、第１の実施形態と同様に、ステップＳ１００４で記憶した時間に基づいて、補正係数を設定する。ステップＳ１０１４では、演算部９０７は、列ＬＰＦ９０６の出力値に補正係数を乗算し、段差補正信号を算出する。ステップＳ１０１５では、減算部９０２は、有効画素領域３０２の信号から上記の段差補正信号を減算し、シェーディング補正および段差補正を行う。
【００８２】
ステップＳ１０１６では、第１の画像処理部１０４は、有効画素領域３０２の行の読み出しが完了したら、その行が最終行であるか否かを判定する。第１の画像処理部１０４は、最終行でない場合には、ステップＳ１００８に戻り、次の行の処理を繰り返す。また、第１の画像処理部１０４は、最終行である場合には、図１０の処理を終了する。
【００８３】
（第３の実施形態）
第１の実施形態および第２の実施形態では、２つの撮像素子１０２および１０８を有する撮像装置１００について説明した。本発明の第３の実施形態では、１つの撮像素子が２つの画像を同時に読み出す撮像装置について説明する。また、本実施形態では、撮像素子として、積層構造を有するＣＭＯＳイメージセンサを用いた例について説明する。
【００８４】
図１１は、本発明の第３の実施形態に係る撮像素子１０２の積層構造を示す斜視図である。撮像素子１０２は、第１の基板１１０１と第２の基板１１０２との積層構造である。第１の基板１１０１は、画素領域１１０３と、制御回路１１０４とを有する。画素領域１１０３は、図３の画素領域３０９に対応し、行列状に配列された複数の画素４０１（図４）を有する。制御回路１１０４は、画素領域１１０３の信号を読み出すための制御回路であり、図３の垂直走査回路３０５、読み出し回路３０６および水平走査回路３０７に対応する。
【００８５】
第２の基板１１０２は、アナログデジタル変換部（ＡＤ変換部）１１０５と、出力部１１０６とを有する。ＡＤ変換部１１０５は、画素領域１１０３の信号をアナログデジタル変換する。出力部１１０６は、ＡＤ変換部１１０５のアナログデジタル変換結果を出力する。第１および第２の実施形態では、第１のＡＦＥ１０３がアナログデジタル変換を行っていたが、本実施形態では、撮像素子１０２内のＡＤ変換部１１０５がアナログデジタル変換を行う。ＡＤ変換部１１０５は、例えば画素領域１１０３を水平および垂直方向に複数に分割した分割領域毎に配置される。
【００８６】
図１２は、本発明の第３の実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、光学系１０１と、撮像素子１０２と、画像処理部１０４と、メモリ部１０５と、システム制御部１０６と、タイミング信号発生部１０７とを有する。光学系１０１は、図１と同様であるため、説明を省略する。撮像素子１０２は、撮像面に形成された被写体の光像に応じた画像信号を生成して出力する。また、撮像素子１０２は、後述するように遮光画素領域を有し、遮光画素領域から黒レベルの基準信号を出力する。なお、撮像素子１０２がＡＤ変換部１１０５を有するため、図１のＡＦＥ１０３は存在せず、撮像素子１０２は、画像信号を画像処理部１０４に出力する。本実施形態では、撮像素子１０２が、光電変換により、異なる２つの領域の２つの動画像を同時に生成する例を説明する。
【００８７】
図１３は、撮像素子１０２の撮像面に形成された被写体像の内の２つの領域を示す図である。領域１３０１は、撮像素子１０２の撮像面に形成された全体の被写体像の領域を示す。領域１３０１は、第１の領域１３０２と、第２の領域１３０３とを有する。第１の領域１３０２は、撮像対象の第１の領域であり、第１の画像１３０４として撮像素子１０２から出力される。第２の領域１３０３は、撮像対象の第２の領域であり、第２の画像１３０５として撮像素子１０２から出力される。撮像素子１０２は、光電変換により、第１の領域１３０２の第１の画像１３０４および第２の領域１３０３の第２の画像１３０５を生成する。
【００８８】
図１２に戻り、システム制御部１０６は、撮像装置１００の各部の全体的な制御を行う。また、システム制御部１０６は、第１の領域１３０２または第２の領域１３０３を選択する。選択方法は、ユーザによる指示であってもよいし、不図示の顔検出回路による指示であってもよい。また、システム制御部１０６は、撮像装置１００の基準クロック信号をタイミング信号発生部１０７に供給する。また、システム制御部１０６は、第１の画像１３０４と第２の画像１３０５の読み出し制御情報を画像処理部１０４に出力する。
【００８９】
タイミング信号発生部１０７は、システム制御部１０６から供給される基準クロック信号を基に、撮像素子１０２を駆動する各種の駆動信号を生成し、その生成した駆動信号を撮像素子１０２へ供給する。その駆動信号は、例えば、第１の画像１３０４と第２の画像１３０５の画素の電荷蓄積開始および電荷蓄積終了を制御するタイミング信号、各画素の信号読み出し制御信号（水平同期信号、垂直同期信号、転送信号等）等を含む。
【００９０】
画像処理部１０４は、第２の実施形態と同様に、撮像素子１０２からの第１の画像１３０４および第２の画像１３０５に対して、段差補正を兼ねた水平シェーディングの補正を行う。画像処理部１０４は、第１の画像１３０４に対して、撮像素子１０２の遮光画素領域から読み出された黒レベルの基準信号とシステム制御部１０６から供給される第２の画像１３０５の読み出し制御情報に基づいて段差補正信号であるオフセット信号を生成する。これにより、段差補正を行うことができる。また、画像処理部１０４は、第２の画像１３０５に対して、撮像素子１０２の遮光画素領域から読み出された黒レベルの基準信号とシステム制御部１０６から供給される第１の画像１３０４の読み出し制御情報に基づいて段差補正信号を生成し、段差補正を行う。さらに、画像処理部１０４は、各種補正処理および現像処理を行う。画像処理部１０４での段差補正は、第２の実施形態の図９と同様であるため、説明を省略する。
【００９１】
メモリ部１０５は、画像処理部１０４による現像処理の作業用メモリとして使用され、撮像動作が連続した際に、画像処理部１０４の現像処理が間に合わない時のバッファメモリとして使用される。
【００９２】
図１４および図１５は、撮像素子１０２における第１の画像１３０４および第２の画像１３０５の出力方法について説明するための図である。領域１３０１は、図３の画素領域３０９と同様に、有効画素領域３０２と、ＶＯＢ領域３０３と、ＨＯＢ領域３０４とを有する。ＶＯＢ領域３０３とＨＯＢ領域３０４は、遮光画素領域である。有効画素領域３０２は、図１３の第１の領域１３０２と第２の領域１３０３とを有する。第１の画像１３０４は、第１の領域１３０２から読み出された画像である。第２の画像１３０５は、第２の領域１３０３から読み出された画像である。
【００９３】
第１の領域１３０２は、座標（Ｘ１，Ｙ１）からｍ行×ｐ列の画素を有する。第２の領域１３０３は、座標（Ｘ２，Ｙ２）からｍ＋ｎ行×ｑ列の画素を有する。時刻Ｔ１では、撮像素子１０２は、行Ｙ１のＨＯＢ領域３０４の画素と、行Ｙ１の第１の領域１３０２のｐ列分の画素と、行Ｙ２の第２の領域１３０３のｑ列分の画素を読み出す。読み出し回路３０６は、読み出す領域の画素からのみ読み出しを行う。ＨＯＢ領域３０４は、第１の領域１３０２および第２の領域１３０３の先頭Ｙ座標のうちの小さい方のＹ座標の行が読み出される。また、第１の領域１３０２と第２の領域１３０３の先頭Ｙ座標は異なるが同じ時刻Ｔ１で読み出しが開始される。なお、第１の領域１３０２と第２の領域１３０３の１行の読み出し時間を揃えるため、水平転送時間は列数の大きい領域に合わせる。
【００９４】
以降、撮像素子１０２は、第１の領域１３０２において、順次行を読み出し、ｍ行分の読み出しを完了すると、第１の領域１３０２の読み出しが完了する。この時刻をＴ２とする。同時に、撮像素子１０２は、ＨＯＢ領域３０４において、順次行を読み出し、ｍ行分の読み出しを完了する。この時刻もＴ２である。同時に、撮像素子１０２は、第２の領域１３０３において、順次行を読み出し、ｍ行分の読み出しを完了する。この時刻もＴ２である。
【００９５】
次に、撮像素子１０２は、ＨＯＢ領域３０４のｎ行分と、第２の領域１３０３のｎ行分とを読み出す。撮像素子１０２は、ＨＯＢ領域３０４および第２の領域１３０３において、ｍ＋ｎ行分の読み出しを完了すると、１フレームの読み出しを完了する。この時刻をＴ３とする。
【００９６】
図１５は、撮像素子１０２から読み出された画像を示す図である。画像１５０１は、ＨＯＢ領域３０４のうちのｍ＋ｎ行の画素の画像である。第１の画像１３０４は、第１の領域１３０２のｍ行ｐ列の画像である。第２の画像１３０５は、第２の領域１３０３のｍ＋ｎ行ｑ列の画像である。
【００９７】
図１６（Ａ）〜（Ｄ）は、撮像素子１０２による第１の画像１３０４と第２の画像１３０５の読み出しと、補正係数設定部９１０の補正係数を示すタイミングチャートである。図１６（Ａ）は、撮像素子１０２の第１の画像１３０４と第２の画像１３０５の読み出しタイミングを示す時刻である。図１６（Ｂ）は、第１の画像１３０４と垂直同期信号ＶＤのタイミングチャートである。図１６（Ｃ）は、第２の画像１３０５と垂直同期信号ＶＤのタイミングチャートである。図１６（Ｄ）は、画像処理部１０４における補正係数設定部９１０の補正係数を示す図である。
【００９８】
時刻Ｔ０では、撮像素子１０２は、ユーザにより撮影開始の指示を受けると、図１６（Ｂ）のリセット、電荷蓄積、読み出しを所定のフレームレートで繰り返し、第１の画像１３０４の読み出しを繰り返す。また、撮像素子１０２は、図１６（Ｃ）のリセット、電荷蓄積、読み出しを所定のフレームレートで繰り返し、第２の画像１３０５の読み出しを繰り返す。
【００９９】
時刻Ｔ１では、撮像素子１０２は、図１６（Ｂ）の第１の画像１３０４のフレーム１と、図１６（Ｃ）の第２の画像１３０５のフレーム１の読み出しを開始する。時刻Ｔ２では、撮像素子１０２は、図１６（Ｂ）の第１の画像１３０４のフレーム１の読み出しを終了する。その後、時刻Ｔ３では、撮像素子１０２は、第２の画像１３０５のフレーム１の読み出しを終了する。
【０１００】
時刻Ｔ２では、撮像素子１０２は、第２の画像１３０５の読み出し時刻Ｔ１から読み出し終了時刻Ｔ３までの間で、第１の画像１３０４の読み出しが終了するため、電源負荷が増加し、電源レベルが変動する。この電源レベルの変動により、図１６（Ｃ）の第２の画像１３０５のフレーム１の画像に段差が生じてしまう。
【０１０１】
そこで、この段差を軽減するために、画像処理部１０４の補正係数設定部９１０は、図１６（Ｄ）に示すように、補正係数を変更する。時刻Ｔ２より所定時間前では、補正係数設定部９１０は、第２の画像１３０５の読み出し中に、第１の画像１３０４の読み出しを終了しておらず、電源レベルの変動が発生しないので、第２の画像の補正係数を例えば０．５に設定する。
【０１０２】
時刻Ｔ２では、撮像素子１０２が第１の画像１３０４の読み出しを終了するので、電源レベルの変動が発生する。補正係数設定部９１０は、時刻Ｔ２より所定時間前から、第２の画像の補正係数を０．５から０．９まで徐々に上げて、時刻Ｔ２を過ぎたら、第２の画像の補正係数を０．９から０．５まで徐々に下げる。第２の画像１３０５の読み出しに対して、補正係数設定部９１０は、上記のように、第２の画像の補正係数を設定する。演算部９０７は、第２の画像の補正係数を基に、第２の画像の段差補正信号を出力する。減算部９０２は、第２の画像１３０５から、第２の画像の段差補正信号を減算し、シェーディング補正および段差補正を行う。以上のように、画像処理部１０４は、第２の画像１３０５の読み出し中に、第１の画像１３０４の読み出しが開始または終了する場合には、第２の画像１３０５の段差を補正する。
【０１０３】
一方、撮像素子１０２は、第１の画像１３０４の読み出し時刻Ｔ１から読み出し終了時刻Ｔ２までの間に、第２の画像１３０５の読み出し開始または読み出し終了が発生していないので、電源電圧変動が発生しない。したがって、補正係数設定部９１０は、第１の画像の補正係数を一定の０．５にし、変更することはない。第１の画像１３０４の読み出しに対して、補正係数設定部９１０は、上記のように、第１の画像の補正係数を設定する。演算部９０７は、第１の画像の補正係数を基に、第１の画像の段差補正信号を出力する。減算部９０２は、第１の画像１３０４から、第１の画像の段差補正信号を減算し、シェーディング補正および段差補正を行う。画像処理部１０４は、第１の画像１３０４の読み出し中に、第２の画像１３０５の読み出しが開始または終了する場合には、第１の画像１３０４の段差を補正する。
【０１０４】
なお、第２の画像１３０５の補正係数を０．９まで上げたが、第１の画像１３０４の読み出し負荷に応じて、第２の画像１３０５の補正係数を変更してもよい。また、温度により読み出し負荷が変化する場合は、環境温度や撮像素子１０２の温度に応じて、補正係数を変えてもよい。補正係数設定部９１０は、撮影モードが電源負荷の大きい撮影モードほど、環境温度が高いほど、撮像素子１０２の温度が高いほど、補正効果が大きくなるように大きな補正係数に変更する。
【０１０５】
また、第１の実施形態と同様に、第１の領域１３０２および第２の領域１３０３の位置関係によっては、１フレーム内で２回の補正係数の変更を行ってもよい。また、第１および第２の実施形態と同様に、段差補正部は、ＡＦＥ１０３に設けても、画像処理部１０４に設けてもよい。
【０１０６】
同様に、フィルタ設定部９０９は、第１の画像１３０４の読み出し中に、第２の画像１３０５の読み出しが開始または終了する場合には、列ＬＰＦ９０６の特性を変更する。その場合、フィルタ設定部９０９は、第２の画像１３０５の読み出し開始時刻または読み出し終了時刻に近いほど、列ＬＰＦ９０６のカットオフ周波数を低くし、列ＬＰＦ９０６のタップ数を少なくする。
【０１０７】
また、フィルタ設定部９０９は、第１の画像１３０４の読み出し中に、第２の画像１３０５の読み出しが開始または終了する場合には、撮影モード、環境温度、または、撮像素子１０２の温度に応じて、列ＬＰＦ９０６の特性を変更する。その場合、フィルタ設定部９０９は、撮影モードが電源負荷の大きい撮影モードほど、環境温度が高いほど、撮像素子１０２の温度が高いほど、列ＬＰＦ９０６のカットオフ周波数を低くし、列ＬＰＦ９０６のタップ数を少なくする。
【０１０８】
同様に、フィルタ設定部９０９は、第２の画像１３０５の読み出し中に、第１の画像１３０４の読み出しが開始または終了する場合には、列ＬＰＦ９０６の特性を変更する。
【０１０９】
以上のように、本実施形態によれば、撮像装置１００は、１つの撮像素子１０２が同時に複数の画像を生成し、読み出し負荷の変化による電源電圧変動で生じる画像の段差を軽減することができる。
【０１１０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。撮像装置１００は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。
【符号の説明】
【０１１１】
１０２  第１の撮像素子、１０３第１のＡＦＥ、１０８  第２の撮像素子、１０９  第２のＡＦＥ、１１１  電源部、５０７  補正係数設定部
【図１】
2019216304.tif 000003
【図２】
2019216304.tif 000004
【図３】
2019216304.tif 000005
【図４】
2019216304.tif 000006
【図５】
2019216304.tif 000007
【図６】
2019216304.tif 000008
【図７】
2019216304.tif 000009
【図８】
2019216304.tif 000010
【図９】
2019216304.tif 000011
【図１０】
2019216304.tif 000012
【図１１】
2019216304.tif 000013
【図１２】
2019216304.tif 000014
【図１３】
2019216304.tif 000015
【図１４】
2019216304.tif 000016
【図１５】
2019216304.tif 000017
【図１６】
2019216304.tif 000018