(57)【要約】【課題】撮像装置の発熱が顕著となっており、撮像センサにおける暗電流やダークシェーディングの変化に伴い、色ムラや縦縞ノイズとして画像に発生している。更には、撮像装置の撮影モードの多様化に伴い、撮影モードによっては、各行の画素信号のサンプリング周期とノイズ周期の位相関係にずれが生じることで画像に横縞ノイズが発生する場合がある。【解決手段】複数の画素が行方向及び列方向に配列され、前記複数の画素のうち遮光された画素が配された遮光領域（１０２，１０３）と、前記複数の画素のうち遮光されていない画素が配された有効領域（１０４）を有する画素部と、前記画素部の画素ごとに入射する光量を調節する光量調節部と、前記画素部から出力される画像信号から行あるいは列方向のオフセット補正値を算出する演算部と、前記演算部が求めた行あるいは列方向のオフセット補正値を用いて前記画素部から出力される画像信号の補正を行う補正部と、を有することを特徴とする。【選択図】図１
2014236254.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が行方向及び列方向に配列され、
前記複数の画素のうち遮光された画素が配された遮光領域（１０２，１０３）と、
前記複数の画素のうち遮光されていない画素が配された有効領域（１０４）を有する画素部と、
前記画素部の画素ごとに入射する光量を調節する光量調節部と、
前記画素部から出力される画像信号から行あるいは列方向のオフセット補正値を算出する演算部と、
前記演算部が求めた行あるいは列方向のオフセット補正値を用いて前記画素部から出力される画像信号の補正を行う補正部と、
を有することを特徴とする撮像装置。
【請求項２】
前記撮像装置は、撮影素子の撮影感度を設定する撮影感度設定部を備え、前記撮影感度設定部で設定された撮影感度によって補正を実施するか判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置は、撮像素子の温度を検出する温度検出部を備え、前記温度検出部で検出された温度情報によって補正の実施を判定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
複数の画素が行方向及び列方向に配列され、前記複数の画素のうち遮光された画素が配された遮光領域（１０２，１０３）と、
前記複数の画素のうち遮光されていない画素が配された有効領域（１０４）を有する画素部と、
前記画素部の画素ごとに入射する光量を調節する光量調節部と、
前記画素部から出力される画像信号から行あるいは列方向のオフセット補正値を
算出する演算部と、
前記演算部が求めた行あるいは列方向のオフセット補正値を用いて前記画素部から出力される画像信号の補正を行う補正部と、
を有することを特徴とする撮像装置の駆動方法。
【請求項５】
前記撮像装置は、撮影素子の撮影感度を設定する撮影感度設定部を備え、前記撮影感度設定部で設定された撮影感度によって補正を実施するか判定することを特徴とする請求項４に記載の撮像装置の駆動方法。
【請求項６】
前記撮像装置は、撮像素子の温度を検出する温度検出部を備え、前記温度検出部で検出された温度情報によって補正の実施を判定することを特徴とする請求項４に記載の撮像装置の駆動方法。
【請求項７】
請求項１乃至請求項６の何れか１項をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びその駆動方法に関するものである。
【０００２】
特に、撮像センサ２の駆動条件や温度上昇によって変化するダークシェーディング成分に対して、任意の画素領域で入射光量調整が可能な構成とし、ダークシェーディング成分を補正することで、高品位な画像形成が可能な撮像装置及びその駆動方法を提供することを目的とする。
【背景技術】
【０００３】
近年、デジタル一眼レフカメラにＣＭＯＳイメージセンサなどの撮像センサ２が使われてきている。撮像センサ２では、多画素化が進むことに伴い画素のサイズが小さくなる。画素のサイズが小さくなると画素における光電変換部（例えば、フォトダイオード）の受光面の面積も小さくなるので、光電変換部で発生する電荷に応じた光信号のレベルも小さくなる。また、デジタル一眼レフカメラは、静止画撮影だけでなく動画撮影にも使用されるようになりつつあり、撮像センサ２の駆動条件や温度上昇によって固定パターンノイズやダークシェーディングが変化する場合がある。
【０００４】
以上のように、撮影モードに応じて、固定パターンノイズやダークシェーディングを低減することがますます必要となってきている。
【０００５】
固定パターンノイズやダークシェーディングを低減する技術について、図８及び図９を用いてＣＭＯＳイメージセンサ１０１の構成を用いて説明する。図８は、ＣＭＯＳイメージセンサ１０１の全体レイアウトを示す図である。図９は、画素の回路構成図である。ＣＭＯＳイメージセンサ１０１は、次の構成要素を備える。
【０００６】
複数の画素が行方向及び列方向に配列されており、有効領域と遮光領域を有する。有効領域は、複数の画素のうち遮光されていない画素が配された領域１０４である。遮光領域は、複数の画素のうち遮光された画素が配された領域であり、垂直オプティカルブラック領域（ＶＯＢ領域）１０３と水平オプティカルブラック領域（ＨＯＢ領域）１０２とを含む。ＶＯＢ領域１０２及びＨＯＢ領域１０３から読み出された信号は、暗電流成分又は温度変動による基準レベル（黒レベル）のずれを含み信号成分を含まないので、有効領域から読み出された信号におけるダークシェーディング成分を補正するために用いられる。
【０００７】
ＶＯＢ領域１０２から読み出された信号は、水平方向のダークシェーディング成分の補正に使われる。ＨＯＢ領域１０３から読み出された信号は、垂直方向のダークシェーディング成分の補正に使われる。
【０００８】
画素配列における各画素１１０は、フォトダイオード（以下ＰＤとよぶ）１１１、転送スイッチ（以下ＴＸとよぶ）１１２、フローティングディフージョン（以下ＦＤとよぶ）１１４、アンプ１１５、選択スイッチ１１６、及びリセットスイッチ１１３を含む。
【０００９】
ＰＤ１１１は、光に応じた電荷を発生させ蓄積する。ＴＸ１１２は、ＰＤ１１１で発生した電荷をＦＤ１１４へ転送する。ＦＤ１１４は、等価的にコンデンサになっており、転送された電荷を電圧へ変換する。アンプ１１５は、ＭＯＳトランジスタで構成され、列信号線１１７に接続された定電流源とともにソースフォロワ動作を行うことにより、ＦＤ１１４の電圧に応じた信号を列信号線１１７へ出力する。選択スイッチ１１６は、オンすることにより画素１１０を選択状態にし、オフすることにより画素１１０を非選択状態にする。リセットスイッチ１１３は、ＦＤ１１４をリセットする。
【００１０】
垂直走査回路１０８は、画素配列における信号を読み出すべき画素の行を選択し、読み出し回路１０５へ信号が読み出されるように、選択した行の各列の画素を駆動する。
【００１１】
読み出し回路１０５は、選択された行の各列の画素から出力された光信号（Ｓ信号）とノイズ信号（Ｎ信号）との差分を求めるＣＤＳ処理を行う。これにより、読み出し回路１０５は、ＣＭＯＳイメージセンサに固有の固定パターンノイズが除去された各列の画素の画像信号を求める。読み出し回路１０５は、求めた各列の画素の画像信号を保持する。
【００１２】
この固定パターンノイズには、リセットスイッチ１１３がＦＤ１１４をリセットした際に発生するノイズや、アンプ（ＭＯＳトランジスタ）１１５の閾値電圧が画素ごとにばらつくことに起因したノイズなどがある。この固定パターンノイズは、ＣＤＳ処理を行うことによりほとんど除去（補正）される。
【００１３】
水平走査回路１０７は、読み出し回路１０５に保持された各列の画素の画像信号を順次に選択して出力アンプ１０６へ転送させる。
【００１４】
出力アンプ１０６は、転送された画像信号を増幅して出力する。これにより、出力アンプ１０６の後段（ＡＦＥ３）において、遮光領域の画素の画像信号を用いて、有効領域の画素の画像信号におけるダークシェーディング成分を補正する。
【００１５】
ただし、上記技術では、環境温度や撮影感度等の影響により精度が低下する場合があり、画質劣化を引き起こす可能性がある。
【００１６】
特許文献１では、露光後に少なくとも２つの異なる読み出し時間で信号が読み出される画素部における単位時間当たりの暗電流増加量を遮光領域の画素の画像信号から求め、各画素の信号読み出し時間に応じた暗電流補正量を求め、垂直方向のダークシェーディング成分の補正を提案している。
【００１７】
特許文献２では、ノイズ抽出用の画素を、有効画素領域内のＮ×Ｎ（Ｎは２以上の整数）画素を単位ブロックとしたとき、その単位ブロック内の各行及び各列に少なくとも１画素設けて、複数２次元に分散させて配置して２次元方向のダークシェーディング成分の補正を提案している。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２０１２−１２００７６号公報
【特許文献２】特開２００９−８９２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
近年、撮像装置の多機能化に伴い、撮像装置の発熱が顕著となっている。撮像装置の発熱により、撮像センサ２における暗電流量の変化に伴う、ダークシェーディング形状の変化に起因して、色ムラや縦縞ノイズといった画像への影響が発生している。
【００２０】
更には、撮像装置の撮影モードの多様化に伴い、撮影モードによっては、各行の画素信号のサンプリング周期とノイズ周期の位相関係にずれが生じることで、画像に横縞ノイズが発生する場合がある。撮影モードによって各行の画素信号のサンプリング周期が異なる為、全ての撮影モードにおいてノイズ周期との位相を合わせ込むことは困難である。また、撮影中に上記ノイズを補正するために、ＯＢ部を用いて補正しようとすると、ランダムノイズの影響により補正効果が小さい、あるいは画質劣化を招く可能性がある。
【００２１】
特許文献１に開示された従来技術では、暗電流に起因した垂直方向のダークシェーディング成分を補正することを前提としており、水平方向のダークシェーディング成分を補正することはできない。また、補正値算出にOB部を利用しているため、ランダムノイズの影響を受けて補正精度の低下が懸念される。
【００２２】
特許文献２に開示された従来技術では、ノイズ抽出用画素はあらかじめ遮光されており、ダークシェーディングを精度よく補正するためにはノイズ抽出用の画素数を十分確保する必要があり、補正精度の低下や有効画素数が減少による解像度低下等が懸念される。その解決策として、ノイズ抽出用画素を遮光せずに、リセット直後に読み出す動作を実施例で示しているが、リセット直後の画素信号を読出した場合、画素起因のダークシェーディング成分は除去できない。
【００２３】
そこで、本発明は、上記課題を鑑みてなされたもので、任意の画素領域で入射光量調整が可能な構成とし、リアルタイムでダークシェーディング補正を実施することで、高品位な画像形成が可能な撮像装置及びその駆動方法を提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明に係る撮像装置は、
複数の画素が行方向及び列方向に配列され、
前記複数の画素のうち遮光された画素が配された遮光領域（１０２，１０３）と、
前記複数の画素のうち遮光されていない画素が配された有効領域（１０４）を有する画素部と、
前記画素部の画素ごとに入射する光量を調節する光量調節部と、
前記画素部から出力される画像信号から行あるいは列方向のオフセット補正値を
算出する演算部と、
前記演算部が求めた行あるいは列方向のオフセット補正値を用いて前記画素部から出力される画像信号の補正を行う補正部と
を有することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、温度に依存した撮像センサ２のダークシェーディング変化に起因する画像の色ムラや縦縞ノイズや、各行の画素信号のサンプリング周期とノイズ周期の位相関係のずれに起因する画像の横縞ノイズの低減が可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の撮像装置の全体ブロック図
【図２】本発明のＡＦＥ３の構成を示す図
【図３】本発明の第１実施形態に係る撮像システムの水平方向のダークシェーディング補正制御に関するフローチャート
【図４】本発明の第１実施形態に係る撮像システムの垂直方向のダークシェーディング補正制御に関するフローチャート
【図５】本発明の第１実施形態に係る補正値演算イメージ図
【図６】本発明の第２実施形態に係る撮像システムの水平方向のダークシェーディング補正制御に関するフローチャート
【図７】本発明の第２実施形態に係る撮像システムの垂直方向のダークシェーディング補正制御に関するフローチャート
【図８】ＣＭＯＳイメージセンサ全体レイアウト図
【図９】ＣＭＯＳイメージセンサ画素回路図
【図１０】本発明の撮像装素子の画素断面図
【図１１】ＭＥＭＳシャッタを含む本発明の撮像装置の全体ブロック図
【図１２】ＭＥＭＳシャッタの制御シーケンス
【発明を実施するための形態】
【００２７】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００２８】
［第１実施形態］
以下、本発明の第１実施形態に係る撮像装置を、図１１を用いて説明する。図１１は、ＭＥＭＳシャッタを含む本発明に係る撮像装置の全体ブロック図である。撮影レンズ１は、撮像センサ２の撮像面に被写体の像を形成する。なお、撮影レンズ１と撮像センサ２の間には、図示しないシャッタ及び絞りが設けられている。撮像センサ２は、画素配列に形成された被写体の像に応じた画像信号を生成する。画素配列は、遮光領域及び有効領域を含む（図８参照）。撮像センサ２は、黒レベルの基準信号を遮光領域から読み出し、生成した画像信号を有効領域から読み出す。撮像センサ２は、読み出した黒レベルの基準信号と画像信号とを出力する。撮像センサ２は、例えば、ＣＭＯＳイメージセンサである。
【００２９】
アナログフロントエンド（ＡＦＥ）３は、撮像センサ２から出力された黒レベルの基準信号と画像信号とを受けて、所定のアナログ信号処理を行う。例えば、ＡＦＥ３は、後述の水平ＯＢクランプ処理を行うことにより、遮光領域の画素から読み出された黒レベルの基準信号に基づいて、後述のオフセット信号を生成し、ダークシェーディング成分が除去された画像信号を生成する。そして、ＡＦＥ３は、水平ＯＢクランプ処理された信号をＡＤ変換してデジタル信号を出力する。
【００３０】
タイミング発生部８は、撮像センサ２を駆動する各種の駆動信号を生成する。タイミ
ング発生部８は、生成した駆動信号を撮像センサ２へ供給する。例えば、撮像センサ２における露出開始、及び終了を制御するタイミング信号、各画素の受光信号の読み出し制御信号（水平同期信号、垂直同期信号、転送信号等） 等のクロック信号が挙げられる。
【００３１】
温度検出部９は、撮像センサ２の温度を検出し、制御部７へ温度情報を出力する。制御部７は、各部の全体的な制御を行っている。また、温度検出部９から出力される温度情報をAFE３や画像処理部６に通知している。画像処理部６は、ＡＦＥ３から出力されたデジタル信号に対して、各種補正処理、及び、現像処理を行って画像データを生成する。すなわち、ダークシェーディングの補正値は、画像処理部６において適用される。
【００３２】
メモリ部４は、画像処理部６による現像処理における作業用メモリとして使用されたり、撮像動作が連続した際に、画像処理部６の現像処理が間に合わない時のバッファーメモリとして使用される。また、上記のダークシェーディングの補正値が記憶されている。表示部５は、画像データを表示用のアナログ信号に変換し、変換後の信号に応じた画像をディスプレイに表示する。
【００３３】
次に、撮像センサ２の構成を、図８、及び、図９を用いて説明する。撮像センサ２は、図８のＣＭＯＳイメージセンサ１０１であり、次の構成要素を備える。複数の画素が行方向及び列方向に配列されており、有効領域と遮光領域を有する。有効領域は、複数の画素のうち遮光されていない画素が配された領域１０４である。遮光領域は、複数の画素のうち遮光された画素が配された領域であり、垂直オプティカルブラック領域（ＶＯＢ領域）１０３と水平オプティカルブラック領域（ＨＯＢ領域）１０２とを含む。
【００３４】
ＶＯＢ領域１０２及びＨＯＢ領域１０３から読み出された信号は、暗電流成分又は温度変動による基準レベル（黒レベル）のずれを含み信号成分を含まないので、有効領域から読み出された信号におけるダークシェーディング成分を補正するために用いられる。ＶＯＢ領域１０２から読み出された信号は、水平方向のダークシェーディング成分の補正に使われる。ＨＯＢ領域１０３から読み出された信号は、垂直方向のダークシェーディング成分の補正に使われる。
【００３５】
画素配列における各画素１１０は、フォトダイオード（以下ＰＤとよぶ）１１１、転送スイッチ（以下ＴＸとよぶ）１１２、フローティングディフージョン（以下ＦＤとよぶ）１１４、アンプ１１５、選択スイッチ１１６、及びリセットスイッチ１１３を含む。
【００３６】
ＰＤ１１１は、光に応じた電荷を発生させ蓄積する。ＴＸ１１２は、ＰＤ１１１で発生した電荷をＦＤ１１４へ転送する。ＦＤ１１４は、等価的にコンデンサになっており、転送された電荷を電圧へ変換する。アンプ１１５は、ＭＯＳトランジスタで構成され、列信号線１１７に接続された定電流源とともにソースフォロワ動作を行うことにより、ＦＤ１１４の電圧に応じた信号を列信号線１１７へ出力する。選択スイッチ１１６は、オンすることにより画素１１０を選択状態にし、オフすることにより画素１１０を非選択状態にする。リセットスイッチ１１３は、ＦＤ１１４をリセットする。
【００３７】
垂直走査回路１０８は、画素配列における信号を読み出すべき画素の行を選択し、読み出し回路１０５へ信号が読み出されるように、選択した行の各列の画素を駆動する。読み出し回路１０５は、選択された行の各列の画素から出力された光信号（Ｓ信号）とノイズ信号（Ｎ信号）との差分を求めるＣＤＳ処理を行う。これにより、読み出し回路１０５は、ＣＭＯＳイメージセンサに固有の固定パターンノイズが除去された各列の画素の画像信号を求める。読み出し回路１０５は、求めた各列の画素の画像信号を保持する。
【００３８】
この固定パターンノイズには、リセットスイッチ１１３がＦＤ１１４をリセットした際に発生するノイズや、アンプ（ＭＯＳトランジスタ）１１５の閾値電圧が画素ごとにばらつくことに起因したノイズなどがある。この固定パターンノイズは、ＣＤＳ処理を行うことによりほとんど除去（補正）される。水平走査回路１０７は、読み出し回路１０５に保持された各列の画素の画像信号を順次に選択して出力アンプ１０６へ転送させる。
【００３９】
出力アンプ１０６は、転送された画像信号を増幅して出力する。これにより、出力アンプ１０６の後段において、遮光領域の画素の画像信号を用いて、有効領域の画素の画像信号におけるダークシェーディング成分を補正する。
【００４０】
次に、ＡＦＥ３の構成を、図２を用いて説明する。図２はＡＦＥ３の構成を示す図である。ＡＦＥ３は、図２に示すように、ゲインコントロールアンプ（ＡＭＰ）３１、アナログデジタル（ＡＤ）変換器３２、水平ＯＢクランプ部３３、及びデジタルアナログ（ＤＡ）変換器３４を含む。ＡＭＰ３１は、黒レベルの基準信号と画像信号とを受ける。ＡＭＰ３１は、減算器を含み、所定の補正量を画像信号から減算する。ＡＭＰ３１は、黒レベルの基準信号と減算された画像信号とを、制御部７により調整されたゲインで増幅して出力する。これにより、感度が調整される。
【００４１】
ＡＤ変換器３２は、ＡＭＰ３１から出力されたアナログ信号（黒レベルの基準信号及び画像信号）をＡＤ変換して、例えば１４ｂｉｔのデジタル信号を生成する。ＡＤ変換器３２は、変換したデジタル信号を後段、又は水平ＯＢクランプ部３３へ出力する。水平ＯＢクランプ部３３は、画素配列の各行ごとに黒レベルの基準信号（デジタル信号）に画像信号（デジタル信号）における黒レベルを徐々に追従させ、遮光領域のノイズに影響を受けないように制御している。このような水平ＯＢクランプ処理を行うことにより、時間的に変動しないオフセット成分と、時間的に緩やかに変化する電圧シェーディング成分とを、黒レベルの基準信号から除去してオフセット信号を生成し、画像信号から除去する。
そして、水平ＯＢクランプ部３３は、処理後のデジタル信号をＤＡ変換器３４へ出力する。
【００４２】
ＤＡ変換器３４は、水平ＯＢクランプ部３３から出力されたデジタル信号をＤＡ変換して、アナログ信号を生成する。ＤＡ変換器３４は、生成したアナログ信号をＡＭＰ３１へフィードバックする。これにより、ＡＭＰ３１により画像信号から減算される第１の水平ＯＢクランプによる補正量は、信号に対応した画素配列内の行位置が進むにつれて積分されていくため、ゆるい変化にだけ追従することになる。
【００４３】
ただし、上記技術では、環境温度や撮影感度等の影響により精度が低下する場合があり、画質劣化を引き起こす可能性がある。本発明の第１実施形態では、ＨＯＢ領域１０２とＶＯＢ領域１０３、有効領域１０４という領域の区別をせずに、全ての領域において入射光量調整できる構成として、リアルタイムでのダークシェーディング補正を行う。上記入射光量を調整する構成の実現のためにＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）シャッタ１０を使用する。ＭＥＭＳ技術は、メカ部材等を半導体技術に用いて微細化する技術である。
【００４４】
図１０においてＭＥＭＳシャッタ１０を有する撮像センサ２に関して図１０を用いて説明する。図１０は、本発明の第１実施形態に係る撮像システムの撮像センサ２の断面図である。図１０で示すように、各画素でフォトダイオード１２４、カラーフィルタ１２２、マイクロレンズ１２２、ＭＥＭＳシャッタ１２０を有する。また、図１２においてＭＥＭＳシャッタ１０を有する撮像センサ２の動作シーケンスを説明する。
【００４５】
図１２において、電源ＯＮからスタンバイ状態となり、撮影が開始されると撮像センサ２のリセットスイッチをＯＮさせてリセット動作を実施するために、リセット信号をＨｉｇｈレベルにする。この時、遮光したい画素に対しては、ＭＥＭＳシャッタ１０を遮光状態とするための信号を与える。（Ｈｉｇｈで遮光、Ｌｏｗで遮光せずに通常の露光）次に、撮像センサ２を蓄積動作させるために、リセット信号をＬｏｗレベルにしてリセット動作を終了する。遮光状態となっているＭＥＭＳシャッタ１０は、蓄積中も遮光状態を保持する。
【００４６】
そして、撮像センサ２の画素選択スイッチをＯＮさせて読出し動作を実施するために、選択信号をＨｉｇｈレベルにする。遮光画素に関しては、読出し動作中も遮光状態となるようにＭＥＭＳシャッタ１０を遮光状態で保持する。撮像動作が継続される期間においては、以上の撮像センサ２のリセット、蓄積、読出し動作に関する制御を繰り返し実施する。そして、撮像動作が終了されスタンバイ状態に入る際に、ＭＥＭＳシャッタ１０の遮光状態を解除するために、制御信号をＬｏｗレベルにする。
【００４７】
前記ＭＥＭＳシャッタ１０により、各画素に入射する光量を調節することで、撮影を実施しながらダークレベルの取得を行う。例えば、図５に示すように、動画時のフレーム毎に間引き列を遮光状態にして、その遮光列から各行の平均値を演算して、垂直方向のダークシェーディング(横縞)補正値を演算する。間引き列は、フレーム毎にずらしていき、全列が間引かれたフレームまでの各列の平均値を、１つの水平方向のダークシェーディング補正値演算に用いる。なお、横縞ノイズはフレームごとにランダムにばらつくため、フレーム毎に補正する必要がある。一方、水平方向のダークシェーディングは、横縞ノイズと比べるとランダムなばらつきは小さいため、フレーム毎に補正値を取得する必要はない。
【００４８】
なお、画素ごとに入射光量を調整可能な構成は、ＭＥＭＳシャッタ１０に限らず、他の手段により実現しても良い。
【００４９】
ここで、本発明の撮像システムの動作制御について、図３、図４を用いて説明する。図３は、本発明の第１実施形態に係る撮像システムの水平方向のダークシェーディング補正制御に関するフローチャートである。図４は、本発明の第１実施形態に係る撮像システムの垂直方向のダークシェーディング補正制御に関するフローチャートである。
【００５０】
図３において、電源がＯＮ（Ｆ２０１）すると、動画撮影モードか確認を行う（Ｆ２０２）。動画撮影モードでない場合は、動画撮影モードに設定されるまで任意の間隔で確認を行う。動画撮影モードの場合には、温度検出部９で検出される温度ｔが、水平ダークシェーディング補正値の更新が必要な温度Ｔ１に達しているか判定する（Ｆ２０３）。温度検出部９で検出される温度ｔが、水平ダークシェーディング補正値の更新が必要な温度Ｔ１に達していない場合は、再度動画撮影モードか確認を行う（Ｆ２０２）。温度検出部９で検出される温度ｔが、水平ダークシェーディング補正値の更新が必要な温度Ｔ１に達している場合には、補正値更新からの温度変化量Δｔが、補正値を更新する温度間隔Ｔ２に達しているか判定する（Ｆ２０４）。なお、温度検出部９で検出される温度ｔが、水平ダークシェーディング補正値の更新が必要な温度Ｔ１に達した直後は、補正値更新からの温度変化量Δｔを取得せずに、次の判定（Ｆ２０５）に進む。補正値の更新が必要な温度Ｔ１以降、補正値を更新する温度間隔Ｔ２で補正値の更新を行う理由は、水平方向のダークシェーディングが毎フレーム急激に変化するわけではなく、温度に依存して緩やかに変化する特性を示すからである。
【００５１】
補正値更新からの温度変化量Δｔが、補正値を更新する温度間隔Ｔ２に達していない場合は、再度動画撮影モードか確認を行う（Ｆ２０２）。補正値更新からの温度変化量Δｔが、補正値を更新する温度間隔Ｔ２に達した場合は、カメラに設定されているＩＳＯ感度が補正値更新が必要なＩＳＯ感度か判定を行う（Ｆ２０５）。カメラに設定されているＩＳＯ感度が補正値更新が必要なＩＳＯ感度でない場合は、再度動画撮影モードか確認を行う（Ｆ２０２）。カメラに設定されているＩＳＯ感度が補正値更新の必要なＩＳＯ感度の場合は、動画モードの確認を行う（Ｆ２０６）。動画モードとは、フレームレートや解像度の設定であり、動画モードにより、水平方向のダークシェーディング補正値演算に使用する領域が異なる。
【００５２】
例えば、間引き読出しや任意の領域をクロップして読出しを行う場合がある。そして、任意の行／列の遮光制御（Ｆ２０７）を行い、列ごとの平均値（写像）を取得する（Ｆ２０８）。取得した列写像から水平方向のダークシェーディング補正値の演算を行い（Ｆ２０９）、メモリ部４に補正値を保存し、画像処理部６にて適用する（Ｆ２１０）。水平方向のダークシェーディング補正値の演算方法例としては、列写像と黒レベルの差分を補正値とする等が考えられる。水平方向のダークシェーディング補正値の保存・適用後は、再度動画撮影モードかの確認（Ｆ２０２）に戻る。
【００５３】
図４において、電源がＯＮ（Ｆ３０１）すると、動画撮影モードか確認を行う（Ｆ３０２）。動画撮影モードでない場合は、動画撮影モードに設定されるまで任意の間隔で確認を行う。動画撮影モードの場合には、カメラに設定されているＩＳＯ感度が補正値更新の必要なＩＳＯ感度か判定を行う（Ｆ３０３）。カメラに設定されているＩＳＯ感度が補正値更新の必要なＩＳＯ感度でない場合は、再度動画撮影モードか確認を行う（Ｆ３０２）。カメラに設定されているＩＳＯ感度が補正値更新の必要なＩＳＯ感度の場合は、動画モードの確認を行う（Ｆ３０４）。動画モードとは、フレームレートや解像度の設定であり、動画モードにより、水平方向のダークシェーディング補正値演算に使用する領域が異なる。
【００５４】
そして、任意の行／列の遮光制御（Ｆ３０５）を行い、列ごとの平均値（写像）を取得する（Ｆ３０６）。取得した列写像から水平方向のダークシェーディング補正値の演算を行い（Ｆ３０７）、メモリ部４に補正値を保存し、画像処理部６にて適用する（Ｆ３０８）。水平方向のダークシェーディング補正値の演算方法例としては、列写像と黒レベルの差分を補正値とする等が考えられる。水平方向のダークシェーディング補正値の保存・適用後は、再度動画撮影モードかの確認（Ｆ３０２）に戻る。
【００５５】
このように、第１実施形態によれば、動画撮影を実施しながら、カメラに設定されたＩＳＯ感度設定や温度情報を考慮して、垂直方向、及び垂直方向のダークシェーディング除去を行うことが可能となる。垂直方向のダークシェーディング補正に関しては、カメラに設定されたＩＳＯ感度がダークシェーディング補正の必要なＩＳＯ感度より高い場合に、フレーム毎に任意の領域から補正値を取得する。水平方向のダークシェーディング補正に関しては、カメラに設定されたＩＳＯ感度だけでなく、任意の温度を超えた場合に、任意の温度間隔での判定により、補正値取得を行う。
【００５６】
なお、水平方向のダークシェーディング補正では、列間引きをフレームごとにずらしていき、間引き列数分のフレーム数で1画面の補正値取得を行う。これにより、より高品位な画像形成が可能な撮像装置及びその駆動方法を提供することが可能となる。しかし、第１実施形態においては、静止画撮影が考慮されていない。静止画撮影は、動画撮影のように行や列の間引き駆動を実施することが少なく、ダークシェーディングの補正に使用できる領域がＯＢ領域しか確保できなかった。高ＩＳＯ感度や温度変化時の撮影において、ＯＢ領域から取得したダークシェーディング補正値による補正では、十分な効果が得られない場合がある。そこで、静止画撮影も考慮したダークシェーディング補正手法に関して、第２実施形態で説明する。
【００５７】
［第２実施形態］
第２実施形態では、第１実施形態における懸念事項を解決するための、撮像装置に関して説明する。撮像装置の構成に関しては、第１実施形態と同様である。
図６、図７を用いて説明する。
【００５８】
図６は、本発明の第２実施形態に係る撮像システムの水平方向のダークシェーディング補正制御に関するフローチャートである。図７は、本発明の第２実施形態に係る撮像システム垂直方向のダークシェーディング補正制御に関するフローチャートである。
【００５９】
図６、図７に示すように、第１実施形態と下記のように異なる処理が実施される。
【００６０】
図６においては、撮像シーケンス開始から撮像センサ２の温度情報の確認動作、及びカメラに設定されているISO感度の確認動作は、第１実施形態と同様である（Ｆ４０１〜Ｆ４０４）。そして、静止画撮影か動画撮影かの判定を行う（Ｆ４０５）。例えば、カメラがライブビュー動作しているか否で判定する。静止画撮影、すなわちライブビュー動作でない場合は、静止画撮影中か否かの判定を行う（Ｆ４０６）。
【００６１】
例えば、静止画撮影時に使用される電源をモニタして、判定する。静止画撮影中の場合には、ダークシェーディング補正値の取得は困難であるため、再度温度情報の判定に戻る（Ｆ４０２）。一方、静止画撮影中で無い場合は、遮光制御（Ｆ４０８）に遷移する。静止画撮影が実施していない状態、すなわち、撮像シーケンスに入っていない状態において、ダークレベルの取得を行うための遮光制御を実施する。
【００６２】
この時、全領域が未使用状態であるため、１フレームでダークシェーディング補正値の取得が可能である。そして、列の写像を取得し（Ｆ４０９）、水平方向のダークシェーディング補正値を演算し（Ｆ４１０）、メモリ部４に補正値を保存し、画像処理部６にて適用する（Ｆ４１１）。なお、静止画撮影か動画撮影かの判定（Ｆ４０５）で、動画撮影と判定された後の処理に関しては、第１実施形態と同様である。
【００６３】
図７においては、撮像シーケンス開始からカメラに設定されているＩＳＯ感度の確認動作は、第１実施形態と同様である（Ｆ５０１、Ｆ５０２）。次に、静止画撮影か動画撮影かの判定を行う（Ｆ５０３）。静止画撮影の場合は、静止画撮影中か否かの判定を行う（Ｆ５０４）。図６と異なり、垂直方向のダークシェーディング補正は、横縞ノイズも補正したいため、ランダムノイズの影響を無くす必要があり、静止画撮影のショットごとに補正値を生成する必要がある。
【００６４】
よって、静止画撮影中でない場合は、再度ＩＳＯ感度情報の判定に戻り（Ｆ５０２）、静止画撮影中の場合は、遮光制御（Ｆ５０６）に遷移する。ここでの遮光制御では、横縞ノイズを精度良く補正するために必要な画素数を考慮して、ＩＳＯ感度等に応じて遮光する画素数の制御を行う。そして、行の写像を取得し（Ｆ５０７）、垂直方向のダークシェーディング補正値を演算し（Ｆ５０８）、メモリ部４に補正値を保存し、画像処理部６にて適用する（Ｆ５０９）。なお、静止画撮影か動画撮影かの判定（Ｆ５０３）で、動画撮影と判定された後の処理に関しては、第１実施形態と同様である。
【００６５】
ただし、静止画撮影時は、基本的に想定されるノイズ周期に対して各行の画像信号のサンプリング周期を設定しているため、動画撮影時ほど横縞ノイズが顕著にならない。また、横縞ノイズを除いた垂直方向のダークシェーディング成分は、水平ダークシェーディングと同様にフレームごとに補正が必須ではない。よって、静止画撮影時は、水平方向のダークシェーディングの補正値取得方法と同様に、撮影動作でないタイミングでダークレベルを取得して、垂直方向のダークシェーディング補正値演算を行い、ショットごとに変化する横縞ノイズの補正は実施しなくても良い。すなわち、静止画撮影時は、図６の水平方向のダークシェーディング補正値取得シーケンスと同様にして垂直方向のダークシェーディング補正値を取得しても良い。
【００６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６７】
(その他の実施例)
上述した第１〜第２実施形態にかかわる撮像装置を実現する為に実行するプログラムは、半導体メモリ、磁気ディスク、フロッピー(登録商標)ディスク等の記録媒体により供給される。または、有線あるいは、無線のネットワークを介してダウンロードしても良い。上記プログラムを、システムあるいはコンピュータが実行することにより、本発明の目的は達成される。よって、上述の実施形態の機能を実現するプログラム自体も本発明の一つである。
【符号の説明】
【００６８】
１      撮影レンズ
２      撮像センサ
３      ＡＦＥ
４      メモリ部
５      表示部
６      画像処理部
７      制御部
８      タイミング発生部
９      温度検出部
１０    ＭＥＭＳシャッタ
３１    ゲインコントロールアンプ
３２    ＡＤ変換器
３３    水平ＯＢクランプ部
３４    ＤＡ変換器
１０１ ＣＭＯＳイメージセンサ
１０２ 水平オプティカルブラック
１０３ 垂直オプティカルブラック
１０４ 有効領域
１０５ 読み出し回路
１０６ 出力アンプ
１０７ 水平走査回路
１０８ 垂直走査回路
１１０  画素
１１１  フォトダイオード
１１２  転送スイッチ
１１３  リセットスイッチ
１１４  フローティングディフージョン
１１５  アンプ
１１６  選択スイッチ
１１７  列信号線
１２０  ＭＥＭＳシャッタ
１２１  マイクロレンズ
１２２  カラーフィルタ
１２３  配線層
１２４  フォトダイオード
【図１】
2014236254.tif 000003
【図２】
2014236254.tif 000004
【図３】
2014236254.tif 000005
【図４】
2014236254.tif 000006
【図５】
2014236254.tif 000007
【図６】
2014236254.tif 000008
【図７】
2014236254.tif 000009
【図８】
2014236254.tif 000010
【図９】
2014236254.tif 000011
【図１０】
2014236254.tif 000012
【図１１】
2014236254.tif 000013
【図１２】
2014236254.tif 000014