(57)【要約】【課題】アナログゲインを大きくした場合でもむらが目立たないダークシェーディング補正を実現する。【解決手段】撮像装置は、被写体光学像を受光する受光画素領域に、入射光の光量に応じた画素信号を出力する複数の通常画素と、入射光を遮断する遮断部を有してノイズ成分の画素信号を出力する、それぞれが周囲を通常画素に囲まれた、複数の遮光画素とを備える。遮光画素は暗電流成分を含むノイズ成分の画素信号を出力するので、アナログゲインを大きくした場合でもむらが目立たないダークシェーディング補正を実現することができる。【選択図】図１６
2020123769.tif 000002
【特許請求の範囲】
【請求項１】
被写体光学像を受光する受光画素領域に、
入射光の光量に応じた画素信号を出力する複数の通常画素と、
入射光を遮断する遮断部を有してノイズ成分の画素信号を出力する、それぞれが周囲を前記通常画素に囲まれた、複数の遮光画素と
を備える撮像装置。
【請求項２】
前記複数の通常画素のそれぞれが出力する画素信号を、前記複数の遮光画素のそれぞれが出力する画素信号を用いて補正する補正部を備える請求項１に記載の撮像装置。
【請求項３】
前記複数の遮光画素のそれぞれが出力する画素信号を互いに比較することによって画素異常を検出する検出部を備え、
前記補正部は、前記検出部によって画素異常が検出された場合には、周囲の遮光画素の画素信号を用いて通常画素が出力する画素信号を補正する請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
撮像センサから出力される画像信号は、暗電流等に起因するノイズ成分を含み、特に処理を施さなければ、画像中にむらとして現れる。このようなむらは、ダークシェーディングと呼ばれ、ダークシェーディングを軽減する様々な手法がこれまでにも開発されてきた
（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−５７１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば特許文献１の手法に依れば、読出し回路のばらつきに起因するノイズ成分に着目しており、電荷蓄積時間中にフォトダイオードに蓄積される暗電流成分が考慮されていないので、アナログゲインを大きくした場合には、残留するむらが目立つことになる。
【０００５】
本発明は、このような問題を解決するためになされたものであり、アナログゲインを大きくした場合でもむらが目立たないダークシェーディング補正を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の具体的態様における撮像装置は、被写体光学像を受光する受光画素領域に、入射光の光量に応じた画素信号を出力する複数の通常画素と、入射光を遮断する遮断部を有してノイズ成分の画素信号を出力する、それぞれが周囲を通常画素に囲まれた、複数の遮光画素とを備える。
【発明の効果】
【０００７】
本発明によれば、遮光画素は暗電流成分を含むノイズ成分の画素信号を出力するので、アナログゲインを大きくした場合でもむらが目立たないダークシェーディング補正を実現することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る撮像装置の主な構成を示すブロック図である。
【図２】撮像センサの主な構成を示す概略図である。
【図３】画素部の回路構成を示す図である。
【図４】アナログゲインが小さい場合のシェーディングを示す図である。
【図５】アナログゲインが大きい場合のシェーディングを示す図である。
【図６】受光領域をエリアに分割する場合の第１例を示す図である。
【図７】受光領域をエリアに分割する場合の第２例を示す図である。
【図８】受光領域をエリアに分割する場合の第３例を示す図である。
【図９】動画撮影動作の第１例に係る動作概念図である。
【図１０】動画撮影動作の第２例に係る動作概念図である。
【図１１】動画撮影動作の第３例に係る動作概念図である。
【図１２】１フレームのシェーディング補正処理を示すフロー図である。
【図１３】フレーム合成を行う場合の通常処理時の動作概念図である。
【図１４】フレーム合成を行う場合のシェーディング読出し時の動作概念図である。
【図１５】フレーム合成を行う場合のフレーム合成処理を示すフロー図である。
【図１６】受光領域に遮光画素を含む撮像センサの概略図である。
【図１７】撮像センサの受光領域における受光面近傍の断面図である。
【図１８】遮光画素と受光領域のエリア分割の関係を示す図である。
【図１９】ローリングシャッタ方式による動画撮影動作の動作概念図である。
【図２０】１フレームのシェーディング補正処理を示すフロー図である。
【図２１】教師データの採取状況を示す概念図である。
【図２２】教師データのデータ構造を示す概念図である。
【図２３】学習済みモデルを用いたシェーディング補正処理を示すフロー図である。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【００１０】
第１の実施形態について説明する。図１は、本実施形態に係る撮像装置１００の主な構成を示すブロック図である。撮像装置１００は、例えば、ハンディタイプのビデオカメラである。撮像機能を備えるスマートフォンなどの端末機器であっても良い。
【００１１】
撮像装置１００は、撮影光学系としての撮影レンズ１１０を備え、撮影レンズ１１０は、光軸ＯＡに沿って入射する被写体光束を撮像センサ２００へ導く。撮影レンズ１１０は、撮像装置１００に対して着脱できる交換式レンズであっても構わない。撮像装置１００は、バッファメモリ１２０、画像処理部１３０、制御部１５０、記録部１６０、表示部１７０、フラッシュメモリ１８０、および撮像センサ２００を主に備える。
【００１２】
撮像センサ２００は、ローリングシャッタ方式による電子シャッタに対応する撮像素子であり、例えばＣＭＯＳセンサである。具体的な画素構造および回路構成については後述する。撮像センサ２００は、各画素が出力する出力信号に後述する処理を含む諸々の信号処理を施してデジタル信号へ変換し、画素データとしてバッファメモリ１２０へ引き渡す。
【００１３】
バッファメモリ１２０は、例えば揮発性の高速メモリによって構成される。バッファメモリ１２０は、撮像センサ２００から順次画素データを受け取り、これらを１フレームの画像データに纏めて記憶する。バッファメモリ１２０は、フレーム単位で画像処理部１３０へ画像データを引き渡す。また、バッファメモリ１２０は、画像処理部１３０が画像処理する中途段階においてワークメモリとしての機能も担う。
【００１４】
画像処理部１３０は、受け取った画像データに対して各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。例えば、ＭＰＥＧファイル形式の動画像データを生成する場合は、各フレーム画像データに対するホワイトバランス処理、ガンマ処理等を施した後に、フレーム内およびフレーム間の圧縮処理を実行する。生成された画像データは、例えば着脱式のメモリカードである記録部１６０に記録される。また、生成された画像データは、画像処理部１３０により表示信号に変換され、例えば液晶パネルである表示部１７０に表示される。
【００１５】
フラッシュメモリ１８０は、制御部１５０が実行する制御プログラム、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。制御部１５０は、例えばＣＰＵであり、撮像装置１００の全体を制御する。制御部１５０は、撮像センサ２００に対して撮像に関する制御信号を送信する。
【００１６】
図２は、撮像センサ２００の主な構成を示す概略図である。撮像センサ２００は、複数の画素が行方向および列方向に配列された画素領域２１０を有する。画素領域２１０は、入射光が画素に到達しないように遮光されたオプティカルブラック領域２１１（以下では「ＯＢ領域２１１」と記す）と、入射光を光電変換する受光画素が配列された受光領域２１２とを有する。ＯＢ領域２１１は、受光領域２１２の周囲を縁取るように設けられている。ＯＢ領域２１１に属する画素から出力された画素信号は、受光領域２１２に属する画素から出力される画素信号から、フィックスパターンノイズを除去するために用いられる。なお、以下において特に言及しない限りは、フィックスパターンノイズが除去されたダークシェーディング（以下では単に「シェーディング」と記す）について説明する。
【００１７】
第１読出し回路２２１および第２読出し回路２２２は、いわゆる２チャンネル読出しに対応する水平読出し回路であり、それぞれがカラム読出し回路、アナログゲイン回路（アナログアンプ）、ＡＤＣ回路等を含む。垂直走査回路２３０は、画素配列における信号を読み出すべき行を選択し、選択した行の信号が第１読出し回路２２１または第２読出し回路２２２へ読み出されるように、選択した行における各列の画素を駆動する。カラム読出し回路は、ＣＤＳ回路を含む。ＣＤＳ回路は、光電変換された出力信号の信号量からノイズ成分に相当する信号量を差し引くＣＤＳ処理を行う。なお、上述のＯＢ領域２１１の出力を用いたフィックスパターンノイズの除去も、ＣＤＳ処理の一部として行われる。温度センサ２４０は、画素領域２１０の近傍に配設され、温度を検出して制御回路２５０へ温度情報を出力する。
【００１８】
制御回路２５０は、撮像センサ２００の各画素が出力する信号を制御する。具体的には、第１読出し回路２２１および第２読出し回路２２２のカラム読出し回路や垂直走査回路２３０を介して後述する各画素における各種トランジスタのスイッチングを制御することにより、電荷蓄積や信号出力のタイミングを制御する。また、温度センサ２４０の温度情報を用いてＣＤＳ回路を制御したり、制御部１５０からの指令に応じてアナログゲインを調製したりする。また、調製した画素信号をＡＤＣ回路に変換させ、画素データとして順次バッファメモリ１２０へ出力させる。
【００１９】
図３は、画素部３０１の回路構成を示す図である。画素部３０１は、いわゆる画素と呼ばれる光電変換を行う最小構成であり、主に、フォトダイオード３１１、転送トランジスタ３５１、リセットトランジスタ３５３、増幅トランジスタ３５４、選択トランジスタ３５５、フローティングディフュージョン３６０を含む。
【００２０】
フォトダイオード３１１は、転送トランジスタ３５１に接続され、転送トランジスタ３５１のゲートは、転送トランジスタ３５１をオンにする転送パルスを供給するＴＸ配線に接続されている。転送トランジスタ３５１のドレインは、リセットトランジスタ３５３のソースに接続される。転送トランジスタ３５１のドレインとリセットトランジスタ３５３のソース間にはフローティングディフュージョン３６０が形成される。フローティングディフュージョン３６０は、増幅トランジスタ３５４のゲートに接続される。
【００２１】
リセットトランジスタ３５３のドレインは、電源電圧が供給されるＶＤＤ配線に接続され、そのゲートはリセットパルスが供給されるリセット配線に接続される。増幅トランジスタ３５４のドレインは電源電圧が供給されるＶＤＤ配線に接続される。また、増幅トランジスタ３５４のソースは、読出部としての選択トランジスタ３５５のドレインに接続される。選択トランジスタ３５５のゲートには、選択トランジスタ３５５をオンにする選択パルスを供給するデコーダ配線に接続されている。そして、選択トランジスタ３５５のソースは、出力配線３６１に接続される。
【００２２】
負荷電流源３６２は、出力配線３６１に電流を供給する。すなわち、選択トランジスタ３５５がオンすると、増幅トランジスタ３５４のソースが負荷電流源３６２に接続されてソースフォロアとして動作する。なお、負荷電流源３６２は、出力配線３６１を共有する複数の画素に対して共通の要素として設けられる。上述のように、転送トランジスタ３５１、リセットトランジスタ３５３、選択トランジスタ３５５は、それぞれ転送パルス、リセットパルス、選択パルスの印加によって閉成し、印加の解除によって解放するスイッチとして機能する。すなわち、転送トランジスタ３５１は転送スイッチとして、リセットトランジスタ３５３はリセットスイッチとして、選択トランジスタ３５５は選択スイッチとして機能する。
【００２３】
ここで、画素部３０１が出力する２つの出力信号について説明する。１つ目の出力信号は、入射光量に応じた信号量である第１信号である。第１信号は、シェーディングを含む。第１信号を出力させるまでの制御回路２５０の制御は、次の通りである。まず、リセット配線を通じてリセットパルスをリセットトランジスタ３５３に印加し、同時にＴＸ配線を通じて転送パルスを転送トランジスタ３５１に印加すると、フォトダイオード３１１およびフローティングディフュージョン３６０の電位はリセットされる。そして、転送トランジスタ３５１をオフにすると、フォトダイオード３１１は、光電変換部として機能し、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスをリセットトランジスタ３５３に印加し、フローティングディフュージョン３６０を再びリセットする。直後に、選択トランジスタ３５５に選択パルスを印加すると、リセット電位が増幅トランジスタ３５４、選択トランジスタ３５５を介して出力配線３６１に出力される。出力されたリセット電位は図示しないＣＤＳ回路に保存される。これが基準電位になる。
【００２４】
次に、転送パルスを転送トランジスタ３５１に印加すると、蓄積された電荷はフローティングディフュージョン３６０へ転送され、フローティングディフュージョン３６０の電位は、リセット電位から電荷蓄積後の信号電位になる。選択トランジスタ３５５に選択パルスを印加すると、電荷蓄積後の信号電位が増幅トランジスタ３５４および選択トランジスタ３５５を介して出力配線３６１に伝送される。伝送された信号は保存しておいた基準電位を引くＣＤＳ処理をされ、アナログアンプ、ＡＤＣを通してバッファメモリ１２０へ出力される。このように出力された信号が第１信号である。
【００２５】
２つ目の出力信号は、シェーディングの一部に相当する信号量である第２信号である。第２信号を出力させるまでの制御回路２５０の制御は、次の通りである。まず、転送トランジスタ３５１がオフの状態において、リセット配線を通じてリセットパルスをリセットトランジスタ３５３に印加し、フローティングディフュージョン３６０の電荷を排出してその電位をリセットする。直後に、選択トランジスタ３５５に選択パルスを印加して、フローティングディフュージョン３６０のリセット電位を増幅トランジスタ３５４および選択トランジスタ３５５を介して出力配線３６１へ伝送させる。リセット電位は図示しないＣＤＳ回路に保存される。これが基準電位になる。
【００２６】
その後、転送トランジスタ３５１をオフのまま、再度出力配線３６１に伝送させる。伝送された信号は保存しておいた基準電位を引くＣＤＳ処理をされ、アナログアンプ、ＡＤＣを通してバッファメモリ１２０へ出力される。このように出力された信号が第２信号である。第２信号は、フォトダイオード３１１による電荷蓄積とは無関係であるので、シェーディングノイズのうちフォトダイオード３１１に起因する暗電流成分は含まない。すなわち、第２信号は、フローティングディフュージョン３６０とこれに接続される読出し回路部分のばらつきによって生じる回路ノイズ成分である。第２信号は、転送トランジスタ３５１がオフの状態で短時間に出力させることができるので、フォトダイオード３１１が電荷を蓄積していない期間に限らず、第１信号を出力させるために電荷を蓄積している期間中であっても出力させることができる。詳しくは後述する。
【００２７】
例えば撮像センサ２００を遮光部材で覆って入射光が入射しない状態にして電荷蓄積を行った場合のシェーディングは、フィックスパターンノイズを除けば主に、フォトダイオード３１１に生じる暗電流成分と上述の回路ノイズ成分である。図４は、アナログゲインが小さい場合のシェーディングの例を示す図である。具体的には、受光領域２１２のある一行に着目し、その一行に属する各画素の水平方向における画素位置を横軸で表わし、縦軸を各画素が出力するシェーディング量で表わしている。
【００２８】
実線で示すグラフは、各画素に入射光が入射しない状態にして電荷蓄積を行った場合（遮光時）のシェーディングであり、暗電流成分を含んでいる。一方、点線で示すグラフは、転送トランジスタ３５１をオフにして上述のように第２信号を出力させた場合（ＴＸオフ時）のシェーディングであり、暗電流成分を含んでいない。図示するように、アナログゲインが小さい場合は、回路ノイズ成分の比率が相対的に大きくなるので、実線のグラフと点線のグラフは、互いに似通った曲線となることがわかる。より具体的には、画素ごとに、補正係数αを用いて、（遮光時のシェーディング）≒α×（ＴＸオフ時のシェーディング）と表わされることがわかる。
【００２９】
動画撮影時には、フレーム間で遮光状態をつくりだして実線に相当するシェーディングを取得することは困難である。しかし、同一製品の撮像センサ２００を用いて事前に実験を行うことにより、具体的には遮光状態において様々な条件でデータを収集することにより、図４に示すような点線のグラフと実線のグラフの関係を把握することができる。すなわち、事前の実験により補正係数αを予め決めておくことができる。補正係数αが予め決められていれば、点線のグラフで示す第２信号は撮像装置１００に組み込まれた状態でも得られるので、予測値として遮光時シェーディングを算出することができる。したがって、被写体光量に対応する第１信号の信号量から、第２信号の信号量に補正係数αを乗じて差し引けば、およそシェーディングが補正された画素信号を得ることができる。
【００３０】
図５は、アナログゲインが大きい場合のシェーディングを示す図である。表記は図４と同様である。図示するように、アナログゲインが大きくなると、回路ノイズ成分の比率が相対的に小さくなるので、実線のグラフと点線のグラフは、画素の位置によって乖離の傾向が異なっていることがわかる。そこで、比較的傾向が似通う領域ごとに、エリアとして区分けする。図示するように、例えば水平方向を５分割して左から順にエリアＡ、エリアＢ、エリアＣ、エリアＤ、エリアＥとする。このように区分すると、エリアごとの補正係数αＡ、αＢ、αＣ、αＤ、αＥを定めることができる。例えばエリアＡにおいては、（遮光時のシェーディング）≒αＡ×（ＴＸオフ時のシェーディング）と表わされる。
【００３１】
事前に行う実験の実験結果に基づいて受光領域２１２にエリアを設定し、それぞれの補正係数を定めておけば、アナログゲインが大きい場合であっても、アナログゲインが小さい場合と同様に、予測値として遮光時シェーディングを算出することができる。したがって、被写体光量に対応する第１信号の信号量から、第２信号の信号量に補正係数αＸ（＝当該画素が位置するエリアＸにおける補正係数）を乗じて差し引けば、およそシェーディングが補正された画素信号を得ることができる。
【００３２】
ここで受光領域２１２のエリア設定についていくつかの例を説明する。図６は、受光領域２１２をエリアに分割する場合の第１例を示す図である。図示するように第１例は、矩形である受光領域２１２を横ｍ（図の例ではｍ＝１６）、縦ｎ（図の例ではｎ＝８）のｍ×ｎ個のエリアに分割する例である。任意のエリアをＲｉ，ｊ（１≦ｉ≦ｍ，１≦ｊ≦ｎ）と表わすと、それぞれに対応する補正係数αｉ，ｊを、予め実験により収集しておけば良い。例えば、エリアＲ３，７に属する画素の画素信号は、（第１信号）−α３，７×（第２信号）として出力される。
【００３３】
図７は、受光領域２１２をエリアに分割する場合の第２例を示す図である。図２に示したように、撮像センサ２００を構成する各回路は、受光領域２１２の周縁部に配置されたり、受光領域２１２の厚み方向に積層されたりする。回路によっては、その駆動により発熱するものもある。したがって、暗電流成分を含む場合と含まない場合のシェーディングの乖離が、受光領域２１２の中心部から放射方向へ沿って異なる傾向を示す場合がある。
【００３４】
第２例は、受光領域２１２の中心部から放射方向へエリアを分割する例である。例えば、図示するように、左上のエリアから渦巻き状に中心部に向かってエリアＲ１〜Ｒ９を設定することができる。任意のエリアをＲｉ（１≦ｉ≦ｍ、図の例ではｍ＝９）と表わすと、それぞれに対応する補正係数αｉを、予め実験により収集しておけば良い。例えば、エリアＲ３に属する画素の画素信号は、（第１信号）−α３×（第２信号）として出力される。
【００３５】
図８は、受光領域をエリアに分割する場合の第３例を示す図である。図２で説明した２チャンネル読出し対応の撮像センサ２００の場合は、例えば奇数列の画素の出力信号が第１読出し回路２２１に読み出され、偶数列の画素の出力信号が第２読出し回路２２２に読み出される。したがって、暗電流成分を含む場合と含まない場合のシェーディングの乖離が、第１読出し回路２２１と第２読出し回路２２２のいずれに読み出されるかによっても異なる傾向を示す場合がある。
【００３６】
第３例は、第１例のように受光領域２１２をｍ×ｎ個の矩形エリアに分割した後に、それぞれをさらに、第１読出し回路２２１によって読み出される画素で構成されるグループと、第２読出し回路２２２によって読み出される画素で構成されるグループとに分ける例である。すなわち、出力信号線である出力配線３６１を共有する画素群によってグループ化してエリアを設定する。図においては、前者をＵグループとして任意のエリアをＲｉ，ｊ，Ｕと表わし、後者をＤグループとして同様にＲｉ，ｊ，Ｄと表わしている。第１例、第２例と同様に、それぞれのエリアに対応する補正係数αｉ，ｊ，Ｕまたはαｉ，ｊ，Ｄを、予め実験により収集しておけば良い。例えば、エリアＲ２，１，Ｄに属する画素の画素信号は、（第１信号）−α２，１，Ｄ×（第２信号）として出力される。なお、更に多くの読出し回路を備える場合には、その数に応じて一つのエリアをグループ分割すれば良い。また、第２例のエリア分割に対して読出し回路ごとのグループを適用しても良い。また、第１例から第３例で示す例に限らず、撮像センサ２００の特性や事前の実験結果に応じてエリアを分割し、それぞれに対応する補正係数を決定すれば良い。
【００３７】
事前の実験においては、設定され得るアナログゲインおよび電荷蓄積時間、想定される使用温度を様々に変更させながら暗電流成分を含む場合と含まない場合のシェーディングを調べて、上述のように分割された各エリアの補正係数αを決定する。すなわち、異なる電荷蓄積時間（例えば、１／６０秒、１／１２０秒…）、異なるゲイン（例えば、１６ｄＢ、１７ｄＢ…）、異なる温度（例えば、０℃、５℃、１０℃…）のそれぞれに対応して各エリアの補正係数を決定する。設定されるアナログゲインが小さい場合は、それぞれの補正係数αが似通った数値になる。したがって、アナログゲインに閾値を設け、その閾値よりも小さい場合は、全エリアに対して共通の補正係数αを決定しても良い。決定された補正係数αは、撮像センサ２００がメモリを備えるのであれば当該メモリに記憶されていても良いし、そうでない場合は、フラッシュメモリ１８０に記憶され、制御部１５０の制御により、必要に応じて撮像センサ２００へ送信されると良い。
【００３８】
次に、ローリングシャッタ方式による動画撮影動作について、いくつかの例を説明する。図９は、動画撮影動作の第１例に係る動作概念図である。横軸は、時間の経過を表す。縦軸方向に行方向と記した範囲は、画素領域２１０に配列された画素部３０１について、上から順に１行目（先頭行）、２行目、３行目…ｎ行目（末尾行）のそれぞれの動作を横軸方向（時間軸方向）に表すことを意味する。同一行に配列された複数の画素部３０１は、同一のタイミング制御が実行される。一方、配列行が互いに異なる画素部３０１は、異なるタイミング制御が実行される。
【００３９】
本実施形態においては、制御回路２５０は、画素部３０１からローリングシャッタ方式によって出力信号を読み出し、バッファメモリ１２０は、これらを集めて１つのフレーム画像データを生成する。画像処理部１３０は、これらのフレーム画像データを繋ぎ合わせて動画像データを生成する。
【００４０】
更に具体的に説明する。制御回路２５０は、一点鎖線で示すように、先頭行から末尾行へ向かって行ごとに順次リセットパルスをリセットトランジスタ３５３に印加する。すなわち、上述の第１信号出力のための処理を開始する。制御回路２５０の制御により各画素部３０１は、リセットパルスが印加され、転送トランジスタ３５１がオフにされると、フォトダイオード３１１が入射光量に応じた電荷蓄積を開始する。
【００４１】
制御回路２５０は、転送トランジスタ３５１がオフにされてフォトダイオード３１１が電荷を蓄積している間（網掛けで示す期間）に、点線で示すように、上述の第２信号出力のための処理を実行する。すなわち、制御回路２５０は、先頭行から末尾行へ向かって行ごとに順次リセットパルスをリセットトランジスタ３５３に印加し、フローティングディフュージョン３６０をリセットする。その後リセットトランジスタ３５３をオフにし、選択トランジスタ３５５に選択パルスを印加して、フローティングディフュージョン３６０の信号電位を出力配線３６１へ伝送させる。これが基準電位になる。その後、所定時間後にさらにフローティングディフュージョン３６０の電位を出力線３６１に伝送させる。これが信号電位になる。こうして得た２つの出力線の信号からＣＤＳ処理を行う。つまり、信号電位から基準電位を除く。その後、さらにアナログアンプ等の読み出し回路、ＡＤＣを経た信号がバッファメモリ１２０へ出力される（第２信号の出力）。
【００４２】
第２信号の出力は、転送トランジスタ３５１がオフのままの転送を行わない状態で通常の読み出し操作を行ったことを意味する。フローティングディフュージョン３６０をほぼ同じタイミングで２回読みだしてＣＤＳ処理をするから、全ての画素で０になるはずである。ところが実際には、画素ごとに０のレベルがそろっていない信号が得られる。これは、増幅トランジスタ３５４以降の回路の特性にばらつきがあり、信号が通った経路に応じて異なった値になるからである。
【００４３】
予め定められた電荷蓄積時間（＝シャッタ時間）が経過したら、制御回路２５０は、実線で示すように、先頭行から末尾行へ向かって行ごとに、蓄積された電荷に応じた第１信号を出力配線３６１へ伝送させる。まず、リセットトランジスタ３５３を短時間オンにして、フローティングディフュージョン３６０をリセットする。リセットトランジスタ３５３をオフにし、選択トランジスタ３５５をオンにして、基準電位を出力配線３６１へ伝送させる。次に、制御回路２５０の制御により各画素部３０１は、転送トランジスタ３５１をオンにし、蓄積された電荷をフローティングディフュージョン３６０へ転送し、選択トランジスタ３５５に選択パルスが印加されたタイミングで、フローティングディフュージョン３６０の信号電位を出力配線３６１へ伝送させる。これが信号電位になる。電送させた２つの信号からＣＤＳ処理を行い、アナログアンプ等の読み出し回路、ＡＤＣを経た信号がバッファメモリ１２０へ出力される。（第１信号の出力）。
【００４４】
補正部としての機能を担う画像処理部１３０は、出力配線３６１ごとに第１信号と第２信号を保持する電位保持部を有している。画像処理部１３０は、読み出した画素部３０１の位置に対応する補正係数αを制御部１５０から取得し、第１信号の信号量から、第２信号の信号量に補正係数αを乗じた補正量を差し引くことにより画素信号を生成する。生成された画素信号は、制御部１５０へ出力される。なお、制御部１５０は、画素部３０１の位置に加え、設定されているアナログゲイン、電荷蓄積時間、および温度センサ２４０で測定された温度に対応する補正係数αを、画像処理部１３０へ与える。
【００４５】
図１０は、動画撮影動作の第２例に係る動作概念図である。第２例は、図９の第１例よりも電荷蓄積時間が短い場合である。例えば、第１例の電荷蓄積時間が１／６０秒である場合に、第２例の電荷蓄積時間は１／１２０秒である。第１例においては、第１信号の出力処理を実行している間に、第２信号の出力処理を完了させることにより、第１信号の読出しタイミングと第２信号の読出しタイミングが同一列上で重ならないようにした。しかし、電荷蓄積時間が短くなってくると、このような処理では第１信号の読出しタイミングと第２信号の読出しタイミングが同一列上で重なってしまう。そこで、制御回路２５０は、１フレーム期間において、まず先に第２信号の出力処理を実行し、第２信号の読出しタイミングと第１信号の読出しタイミングが同一列上で重ならないように、第１信号の出力処理を実行する。すなわち、第２信号の出力処理を、当該画素部３０１における非電荷蓄積時間に行う。
【００４６】
例えば図中の時間軸に垂直な破線で示すように、先行するフレーム期間において末尾行の第１信号の読み出しが完了したら、次のフレーム期間において先頭行の第２信号の読出し処理を開始する。このように処理することによっても、１フレーム期間内において各画素部３０１に第１信号と第２信号を出力させることができる。すなわち、第１読出し回路２２１および第２読出し回路２２２は、第１例と同様に、各画素部３０１の画素信号を生成することができる。
【００４７】
図１１は、動画撮影動作の第３例に係る動作概念図である。第３例は、図９の第１例のような長時間の電荷蓄積を実行するフレーム期間と、図１０の第２例のような短時間の電荷蓄積を実行するフレーム期間が交互に繰り返される場合である。電荷蓄積時間の長いフレーム期間をＬｏｎｇフレーム期間、電荷蓄積時間の短いフレーム期間をＳｈｏｒｔフレーム期間と称すると、Ｌｏｎｇフレーム期間で出力されたフレーム画像とＳｈｏｒｔフレーム期間で出力されたフレーム画像に、いわゆるＨＤＲ処理を施して合成することにより、ダイナミックレンジの広い画像を得ることができる。
【００４８】
第３例において制御回路２５０は、上述の第１例の制御と第２例の制御を交互に繰り返す。ただし、図中の時間軸に垂直な破線で示すように、先行するＬｏｎｇフレーム期間において末尾行の第１信号の読み出しが完了したら、続くＳｈｏｒｔフレーム期間において先頭行の第２信号の読出し処理を開始する。このように処理することにより、Ｌｏｎｇフレーム期間に対応する画素信号と、Ｓｈｏｒｔフレーム期間に対応する画素信号とを出力させることができる。画像処理部１３０は、このように出力されたＬｏｎｇフレーム画像とＳｈｏｒｔフレーム画像を合成してＨＤＲフレーム画像を生成する。
【００４９】
次に、１フレーム期間のシェーディング補正処理の流れについて説明する。図１２は、１フレーム期間のシェーディング補正処理を示すフロー図である。制御部１５０は、ステップＳ１０１で、１フレーム期間の処理に先立ち、補正情報を取得する。具体的には、制御部１５０から設定されているアナログゲインおよび電荷蓄積時間を取得し、温度センサ２４０から現時点の温度を取得する。そして、ステップＳ１０２で、取得したアナログゲインが予め設定された閾値ゲイン以上であるか否かを判断する。
【００５０】
閾値以上でないと判断したらステップＳ１０３へ進み、制御部１５０は、全エリアに共通して適用する補正係数αを格納されたメモリから取得する。閾値以上であると判断したらステップＳ１０４へ進み、制御部１５０は、エリアごとに補正値を適用できるよう、それぞれの補正係数αを格納されたメモリから取得する。
【００５１】
ステップＳ１０５へ進むと、制御部１５０は、画像処理部１３０が実行する各画素のシェーディング補正処理に対し、ステップＳ１０３またはステップＳ１０４で取得した補正係数αを適宜供給する。１フレーム分のシェーディング補正処理が完了するとフローを終了する。
【００５２】
第２の実施形態について説明する。第２の実施形態については、第１の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第１の実施形態の構成と同様である。
【００５３】
第２の実施形態における撮像装置１００の撮像センサ２００は、第１の実施形態の撮像センサ２００とは異なり、１フレーム期間に２回の読出しが可能な、いわゆる倍速駆動ができない。すなわち、１フレーム期間に１回のみの読出しが可能である。このような制限がある場合でも、電荷蓄積時間の長いＬｏｎｇフレーム期間で出力されたフレーム画像と電荷蓄積時間の短いＳｈｏｒｔフレーム期間で出力されたフレーム画像とを合成するフレーム合成を行うモードでは、上述のようなシェーディング補正処理が可能な場合がある。以下にその処理について説明する。
【００５４】
図１３は、フレーム合成を行う場合の通常処理時の動作概念図である。フレーム合成を行う場合は、通常処理時においては、電荷蓄積時間がＴＬ（例えば１／６０秒）のＬｏｎｇフレーム期間と、電荷蓄積時間がＴＳ（＜ＴＬ、例えば１／１２０秒）のＳｈｏｒｔフレーム期間とを交互に繰り返す。すなわち、制御回路２５０は、連続するフレーム期間のそれぞれにおいて、第１の電荷蓄積時間ＴＬにより画素部３０１のそれぞれに第１信号を出力させる第１フレーム制御と、第１の電荷蓄積時間ＴＬよりも短い第２の電荷蓄積時間ＴＳにより画素部３０１のそれぞれに第１信号を出力させる第２フレーム制御を交互に行う。
【００５５】
そして、本実施形態においては、画像処理部１３０は、バッファメモリ１２０でＬｏｎｇフレーム期間に対応する３フレームと、Ｓｈｏｒｔフレーム期間に対応する３フレームが蓄積されたら、これらを１フレームに合成する。このような合成処理により、フレームレートは低下するものの、低ノイズでダイナミックレンジの広い高品位の合成フレーム画像を生成することができる。
【００５６】
図１３に示すように、通常処理時においては、第２信号を出力させるタイミングがない。そこで、制御回路２５０は、例えば制御部１５０から周期的に指示信号を受けた場合に、第２信号を読み出すシェーディング読出しを実行する。図１４は、フレーム合成を行う場合のシェーディング読出し時の動作概念図である。
【００５７】
図１４に示すように、制御回路２５０は、指示信号を受けた場合であっても、Ｌｏｎｇフレーム期間においては、電荷蓄積時間がＴＬである第１フレーム制御を実行する。一方で、３つあるＳｈｏｒｔフレーム期間の２つにおいては、第２の電荷蓄積時間ＴＳよりも長く第１の電荷蓄積時間ＴＬよりも短い第３の電荷蓄積時間ＴＭにより画素部３０１のそれぞれに第１信号を出力させる第３フレーム制御を実行する。そして、３つあるＳｈｏｒｔフレーム期間の残り１つは補正フレーム期間として、画素部３０１のそれぞれにリセット後のフローティングディフュージョンの電位を示す第２信号を出力させる第４フレーム制御を実行する。つまり、制御回路２５０は、制御部１５０の指示信号に従って、１つの合成フレーム画像を生成するために、第１フレーム制御（Ｌｏｎｇフレーム期間）→第３フレーム制御（Ｓｈｏｒｔフレーム期間）→第１フレーム制御（Ｌｏｎｇフレーム期間）→第３フレーム制御（Ｓｈｏｒｔフレーム期間）→第１フレーム制御（Ｌｏｎｇフレーム期間）→第４フレーム制御（補正フレーム期間）を順に実行する。
【００５８】
第１の実施形態においては、画像処理部１３０が、第１信号の信号量から、第２信号の信号量に補正係数αを乗じた補正量を差し引くことにより画素信号を生成した。第２の実施形態においても、画像処理部１３０が、バッファメモリ１２０に蓄えられたそれぞれのフレーム期間の出力信号に対してシェーディング補正処理を実行する。
【００５９】
具体的には、画像処理部１３０は、対応する画素同士において、第１フレーム制御で出力された第１信号の信号量から、第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。同様に、対応する画素同士において、第３フレーム制御で出力された第１信号の信号量から、第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。このように補正された５つのフレーム画像を合成すると、シェーディング補正が施された合成フレーム画像を得ることができる。
【００６０】
第４フレーム制御で得られた各画素の第２信号をバッファメモリ１２０で記憶しておけば、図１３を用いて説明した通常処理時のフレーム画像に対してもシェーディング補正処理を施すことができる。具体的には、画像処理部１３０は、対応する画素同士において、通常処理時の第１フレーム制御で出力された第１信号の信号量から、シェーディング読出し時の第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。同様に、対応する画素同士において、通常処理時の第２フレーム制御で出力された第１信号の信号量から、シェーディング読出し時の第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。このように補正された６つのフレーム画像を合成すると、通常処理時においても、シェーディング補正が施された合成フレーム画像を得ることができる。
【００６１】
通常処理時における１つの合成フレームは、第１フレーム制御による３つのＬｏｎｇフレーム画像と第２フレーム制御による３つのＳｈｏｒｔフレーム画像が合成されるので、その電荷蓄積時間の合計は、３×ＴＬ＋３×ＴＳとなる。一方、シェーディング読出し時における１つの合成フレームは、第１フレーム制御による３つのＬｏｎｇフレーム画像と第３フレーム制御による２つのＳｈｏｒｔフレーム画像が合成されるので、その電荷蓄積時間の合計は、３×ＴＬ＋２×ＴＭとなる。したがって、３×ＴＳ≠２×ＴＭである場合には、輝度調整を行わない限り、合成フレーム間で輝度のばらつきが生じる。
【００６２】
そこで、通常処理時における３つのＳｈｏｒｔフレーム期間をシェーディング読出し時には２つのＳｈｏｒｔフレーム期間と１つの補正フレーム期間に変更する場合には、ＴＭ＝（３／２）×ＴＳとすると良い。このように電荷蓄積時間を調整すれば、３×ＴＳ＝２×ＴＭとすることができる。すなわち、合成フレーム間の輝度のばらつきをほぼなくすことができる。換言すれば、第３の電荷蓄積時間ＴＭは、第４フレーム制御を行うことによって不足する電荷蓄積時間に基づいて決定されれば、合成フレーム間の輝度のばらつきをほぼなくすことができる。
【００６３】
なお、上述の例では、６つのフレーム期間を合成１フレームの単位期間としたが、それ以上であっても良い。例えば８つのフレーム期間を合成１フレームの単位期間とする場合は、通常処理時においては、第１フレーム制御によって得られる４つのＬｏｎｇフレーム画像と第２フレーム制御によって得られる４つのＳｈｏｒｔフレーム画像が合成される。また、シェーディング読出し時には、第１フレーム制御によって得られる４つのＬｏｎｇフレーム画像と第３フレーム制御によって得られる３つのＳｈｏｒｔフレーム画像が合成される。補正フレーム期間においては、上述と同様に第４フレーム制御により各画素から第２信号が出力される。
【００６４】
制御部１５０は、指示信号を制御回路２５０へ、例えば合成１フレームの２単位期間ごとに送信する。この場合、制御回路２５０は、通常処理とシェーディング読出しを単位期間ごとに交互に実行する。あるいは、制御部１５０は、シェーディングが変化し得る要因の発生に基づいて制御回路２５０へ指示信号を送信するようにしても良い。例えば、温度センサ２４０が検出する温度の変化が閾値を超えるごとに指示信号を送信するようにしても良い。また、指示信号は、制御部１５０が生成させるのではなく、制御回路２５０が自身で生成するようにしても良い。また、以上の説明においては、シェーディング補正処理をバッファメモリ１２０で行ったが、撮像センサ２００が数フレーム分のフレームバッファメモリを備えるのであれば、シェーディング補正処理を撮像センサ２００内で行っても良い。
【００６５】
また、補正フレーム期間は、合成１フレームの単位期間の最後でなくても良く、いずれかのＳｈｏｒｔフレーム期間を置き換えれば良い。更には、補正フレーム期間で取得された第２信号は、上述のようにそれまでのフレーム期間で取得された第１信号のシェーディング補正処理に用いるのではなく、その後のフレーム期間で取得される第１信号のシェーディング補正処理に用いても良い。その場合、第１読出し回路２２１および第２読出し回路２２２が備える電位保持部で第２信号を一定期間保持すれば、その後のフレーム期間ごと更新される第１信号に対してシェーディング補正処理を第１読出し回路２２１および第２読出し回路２２２で実行することができる。第２信号は、第４フレーム制御が実行されるたびに更新される。
【００６６】
次に、１つの合成フレーム画像を生成するまでの処理の流れについて説明する。図１５は、フレーム合成を行う場合のフレーム合成処理を示すフロー図である。制御回路２５０は、ステップＳ２０１で、指示信号を受け取ったか否かを確認する。指示信号を受け取っていない場合には、通常処理を行うべくステップＳ２０２へ進む。指示信号を受け取った場合には、シェーディング読出しの処理を行うべくステップＳ２０９へ進む。
【００６７】
ステップＳ２０２へ進むと、制御回路２５０は、Ｌｏｎｇフレーム期間において第１フレーム制御を実行し、Ｌｏｎｇフレーム画像を得る。続いてステップＳ２０３へ進み、Ｓｈｏｒｔフレーム期間において第２フレーム制御を実行し、Ｓｈｏｒｔフレーム画像を得る。制御回路２５０は、ステップＳ２０４でカウント変数ｎをインクリメントし、ステップＳ２０５で、カウント変数ｎが予め定められたｎ０に到達したか否かを判断する。到達していないと判断したら、ステップＳ２０２へ戻り、第１フレーム制御と第２フレーム制御を繰り返す。到達していると判断したら、ステップＳ２０６へ進む。なお、ｎ０は、３つのＬｏｎｇフレーム画像と３つのＳｈｏｒｔフレーム画像を合成する場合にはｎ０＝３であり、４つのＬｏｎｇフレーム画像と４つのＳｈｏｒｔフレーム画像を合成する場合にはｎ０＝４である。
【００６８】
ステップＳ２０６へ進むと、画像処理部１３０は、バッファメモリ１２０に蓄積されたＬｏｎｇフレーム画像とＳｈｏｒｔフレーム画像に対して、シェーディング補正処理を実行する。具体的には、それぞれのフレーム画像の各画素の第１信号量から、すでに実行された第４フレーム制御によって取得され記憶されている対応画素の第２信号の信号量に諸条件に合わせて選択された補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。画像処理部１３０は、続くステップＳ２０７で、シェーディング補正処理が施された各フレーム画像を合成して１つの合成フレーム画像を生成する。合成フレーム画像を生成したら、ステップＳ２０８へ進み、カウント変数ｎをリセットして終了する。
【００６９】
一方、ステップＳ２０９へ進むと、制御回路２５０は、Ｌｏｎｇフレーム期間において第１フレーム制御を実行し、Ｌｏｎｇフレーム画像を得る。続いてステップＳ２１０へ進み、Ｓｈｏｒｔフレーム期間において第３フレーム制御を実行し、Ｓｈｏｒｔフレーム画像を得る。制御回路２５０は、ステップＳ２１１でカウント変数ｎをインクリメントし、ステップＳ２１２で、カウント変数ｎが予め定められたｎ０に対してｎ０−１に到達したか否かを判断する。到達していないと判断したら、ステップＳ２０９へ戻り、第１フレーム制御と第３フレーム制御を繰り返す。到達していると判断したら、ステップＳ２１３へ進む。制御回路２５０は、ステップＳ２１３へ進むと、更に第１フレーム制御を実行し、Ｌｏｎｇフレーム画像を得る。続いてステップＳ２１４へ進み、補正フレーム期間として第４フレーム制御を実行し、各画素から第２信号を得る。
【００７０】
ステップＳ２１５へ進むと、画像処理部１３０は、バッファメモリ１２０に蓄積されたＬｏｎｇフレーム画像とＳｈｏｒｔフレーム画像に対して、シェーディング補正処理を実行する。具体的には、それぞれのフレーム画像の各画素の第１信号量から、ステップＳ２１４の第４フレーム制御によって取得された対応画素の第２信号の信号量に諸条件に合わせて選択された補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。画像処理部１３０は、続くステップＳ２１５で、シェーディング補正処理が施された各フレーム画像を合成して１つの合成フレーム画像を生成する。合成フレーム画像を生成したら、ステップＳ２０８へ進み、カウント変数ｎをリセットして終了する。
【００７１】
第３の実施形態について説明する。第３の実施形態については、第１の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第１の実施形態の構成と同様である。
【００７２】
第３の実施形態における撮像装置１００の撮像センサ２００は、第１の実施形態の撮像センサ２００とは異なり、受光領域２１２に点在する遮光画素を有する。図１６は、受光領域２１２に遮光画素４１０を含む撮像センサ２００の概略図である。遮光画素４１０は、入射光を遮断する遮断部を有しており、入射光は、遮光画素４１０のフォトダイオード３１１へは到達しない。それぞれの遮光画素４１０は、周囲を通常画素４００に囲まれている。通常画素４００は、フォトダイオード３１１へ到達する入射光を光電変換する画素である。遮光画素４１０は、図３を用いて説明したように、通常画素４００と同様の回路構成を有する。したがって、遮光画素４１０も、読出し回路２２１および第２読出し回路２２２を介して、通常画素４００と同様の読出し制御を受ける。
【００７３】
図１７は、撮像センサ２００の受光領域２１２における受光面近傍の断面図である。本実施形態においては、撮像センサ２００を裏面照射型のＭＯＳイメージセンサとして説明する。入射光は主に白抜き矢印で示す方向へ向かって入射する。
【００７４】
フォトダイオード層５０６は、配線層５０８より入射光側に配されている。フォトダイオード層５０６は、二次元的に配された複数のフォトダイオード５０４、および、フォトダイオード５０４に対応して設けられたトランジスタ５０５を有する。フォトダイオード５０４は、図３の回路構成図で示したフォトダイオード３１１に対応し、トランジスタ５０５は、転送トランジスタ３５１等に対応する。
【００７５】
フォトダイオード層５０６の入射光側にはパッシベーション膜５０３を介してフィルタ層５０２が設けられている。それぞれのフォトダイオード５０４は、一つの画素を構成する。そのうち、図において、カラーフィルタ５０２ａが設けられた画素が通常画素４００であり、入射光を遮断する不透過の遮光フィルタ５０２ｂが設けられた画素が遮光画素４１０である。カラーフィルタ５０２ａは、互いに異なる波長領域を透過する複数の種類（例えば、赤、青、緑の３種類）を有しており、フォトダイオード５０４のそれぞれに対応して特定の配列を有している。
【００７６】
フィルタ層５０２の入射光側には、それぞれの画素に対応して、マイクロレンズ５０１が設けられる。マイクロレンズ５０１は、対応するフォトダイオード５０４へ向けて入射光を集光する。遮光画素４１０は、入射光をフォトダイオード５０４へ到達させないので、マイクロレンズ５０１が設けられていなくても良い。配線層５０８は、フォトダイオード層５０６からの信号を読出し回路２２１または第２読出し回路２２２へ伝送する配線５０７を有する。配線５０７は多層であってもよい。
【００７７】
本実施形態における撮像センサ２００は、第１の実施形態および第２の実施形態における撮像センサ２００のように同一画素に第１信号と第２信号を出力させるのではなく、遮光画素４１０の出力信号を利用して、通常画素４００の出力信号を補正する。遮光画素４１０の出力は、図４および図５において実線で示した遮光時のシェーディングに相当する。そこで、通常画素４００の出力信号（＝第１信号）の信号量から、近傍の遮光画素４１０が出力する出力信号の信号量を差し引くことにより、シェーディング補正された当該通常画素４００の画素信号を得る。なお、フレーム画像としては、遮光画素４１０の位置に対応する画素値が欠落するが、周囲の通常画素の画素値を用いて補間処理により埋め合わせれば良い。
【００７８】
図１８は、遮光画素４１０と受光領域２１２のエリア分割の関係を示す図である。図示するように、矩形である受光領域２１２を横ｍ（図の例ではｍ＝４）、縦ｎ（図の例ではｎ＝３）のｍ×ｎ個のエリアに分割する。任意のエリアをＲｉ，ｊ（１≦ｉ≦ｍ，１≦ｊ≦ｎ）と表わす。それぞれのエリアの中心付近には遮光画素４１０が配置されている。換言すると、遮光画素４１０の位置に応じて受光領域２１２のエリアが分割されている。
【００７９】
各エリアに属するそれぞれの通常画素４００の出力信号は、同一エリアに属する遮光画素４１０の出力信号によってシェーディング補正処理が行われる。例えば、エリアＲ３，１に属する通常画素４００の出力信号は、同じくエリアＲ３，１に属する遮光画素４１０の出力信号によってシェーディング補正処理が行われる。なお、エリアの分割は、図７の例や、図８の例に倣っても良い。
【００８０】
図１９は、本実施形態におけるローリングシャッタ方式による動画撮影動作の動作概念図である。ここでは、図１１の例と同様に、電荷蓄積時間の長いＬｏｎｇフレーム期間で出力されたフレーム画像と電荷蓄積時間の短いＳｈｏｒｔフレーム期間で出力されたフレーム画像とを合成するフレーム合成を行う場合について説明する。
【００８１】
フレーム合成を行う場合は、電荷蓄積時間がＴＬ（例えば１／６０秒）のＬｏｎｇフレーム期間と、電荷蓄積時間がＴＳ（＜ＴＬ、例えば１／１２０秒）のＳｈｏｒｔフレーム期間とを交互に繰り返す。すなわち、制御回路２５０は、連続するフレーム期間のそれぞれにおいて、第１の電荷蓄積時間ＴＬにより画素部３０１のそれぞれに出力信号を出力させるＬｏｎｇフレーム制御と、第１の電荷蓄積時間ＴＬよりも短い第２の電荷蓄積時間ＴＳにより画素部３０１のそれぞれに出力信号を出力させるＳｈｏｒｔフレーム制御を交互に行う。
【００８２】
Ｌｏｎｇフレーム制御において、遮光画素４１０は、通常画素４００と同じ電荷蓄積時間ＴＬのシェーディング信号を出力する。したがって、同じＬｏｎｇフレーム期間で出力された通常画素４００の出力信号の信号量から、同一エリアの遮光画素４１０が出力するシェーディング信号を差し引けば、シェーディングがほぼ除去された画素信号になる。Ｓｈｏｒｔフレーム制御において、遮光画素４１０は、通常画素４００と同じ電荷蓄積時間ＴＳのシェーディング信号を出力する。したがって、同じＳｈｏｒｔフレーム期間で出力された通常画素４００の出力信号の信号量から、同一エリアの遮光画素４１０が出力するシェーディング信号を差し引けば、シェーディングがほぼ除去された画素信号になる。
【００８３】
ところで、遮光画素４１０の信号レベルが同一エリア内の通常画素４００のシェーディング分布の平均と異なる場合、シェーディング補正後でエリアごとにばらつきが生じる可能性がある。この場合、遮光画素４１０をエリアごとに複数用意し、その平均の信号値を求めるようにするとよい。または、あらかじめ同一エリア内の通常画素４００のシェーディングを測定しておき、その平均値と遮光画素４１０の信号値と比較することでエリアごとに補正係数βを求め、遮光画素４１０の信号値にその補正係数βをかけた数値をシェーディング補正に使うようにしてもよい。補正係数βは温度、アナログゲインに応じて設定すると、さらに好ましい。
【００８４】
そして、画像処理部１３０は、バッファメモリ１２０で蓄積されたＬｏｎｇフレーム期間に対応するフレームとＳｈｏｒｔフレーム期間に対応するフレームとを１フレームに合成する。このような合成処理により、低ノイズでダイナミックレンジの広い高品位の合成フレーム画像を生成することができる。
【００８５】
本実施例においては、１エリアに１つの遮光画素４１０が含まれる場合を説明した。この場合、制御回路２５０は、遮光画素４１０の出力信号の変化を監視して、異常値を出力していないかを検出すると良い。例えば、他の遮光画素４１０が出力する出力信号と比較して極端に変化量が少ない場合や、全く異なる傾向の変化を示す場合には、制御回路２５０は、当該遮光画素４１０の出力信号を異常と判断する。制御回路２５０がある遮光画素４１０の出力信号を異常と判断した場合には、当該遮光画素４１０と同じエリアに属する通常画素４００の出力信号は、周囲のエリアに属する遮光画素４１０の出力信号を用いてシェーディング補正処理を実行すれば良い。なお、シェーディング補正処理は、読出し回路２２１および第２読出し回路２２２の電位保持部がこのような処理を実行できるように構成されている場合には、読出し回路２２１および第２読出し回路２２２が実行すれば良い。そうでない場合には、バッファメモリ１２０に蓄積されたフレーム画像に対して、画像処理部１３０が実行すれば良い。
【００８６】
なお、１エリアに複数の遮光画素４１０を配置すれば、一方の出力信号が異常と判断された場合でも、他方の出力信号を用いることができる。また、撮像装置１００が三板式カメラである場合、すなわち赤色成分を出力するための撮像センサ、緑色成分を出力するための撮像センサ、青色成分を出力するための撮像センサをそれぞれ有する場合には、対応する画素同士が遮光画素とならないように配置すると良い。
【００８７】
図２０は、本実施形態における１フレームのシェーディング補正処理を示すフロー図である。制御回路２５０は、ステップＳ３０１で、１フレーム期間の処理に先立ち、補正情報を取得する。そして、ステップＳ３０２で、シェーディング補正処理を行おうとする通常画素４００と同じエリアに含まれる遮光画素４１０の出力信号が異常であるか否かの異常判定を行う。異常でないと判断した場合はステップＳ３０３へ進み、当該遮光画素４１０の出力値を採用し、ステップＳ３０５でシェーディング補正処理をおこなう。
【００８８】
制御回路２５０は、ステップＳ３０２で異常であると判断した場合は、ステップＳ３０４へ進み、周囲にエリアに属する遮光画素４１０の出力値を用いる。ここでは、周囲のエリアのそれぞれに含まれる遮光画素４１０の出力値から、距離等の条件によって重み付け平均を算出し、算出した値を異常と判断した遮光画素４１０の推定出力値とする。ステップＳ３０５へ進んだら、この推定出力値を採用してシェーディング補正処理をおこなう。１フレーム分のシェーディング補正処理が完了するとフローを終了する。
【００８９】
第４の実施形態について説明する。第４の実施形態については、第１の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第１の実施形態の構成と同様である。本実施形態においては、それぞれの画素に第２信号を出力させることなく、また、受光領域に遮光画素を設けることなくシェーディング補正処理を行う。以下にその処理について説明する。
【００９０】
上述のように撮像センサ２００は画素領域２１０にＯＢ領域２１１を有し、ＯＢ領域２１１に属する画素（以下では「ＯＢ画素」と記す）も、フレーム期間ごとに信号を出力する。しかし、ＯＢ領域２１１は、受光領域２１２の周囲を縁取るように設けられているので、フレーム期間ごとにＯＢ画素から出力された出力信号をもって、受光領域２１２に属するそれぞれの画素のシェーディングを直接的に推定することは難しい。
【００９１】
一方、撮像センサ２００を製品として撮像装置１００へ組み込む前の段階で、撮像センサ２００の受光面を遮光して様々に条件を変えつつ、ＯＢ画素の出力と、受光領域２１２に属する通常画素の出力のデータを採取することはできる。具体的には、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、ＯＢ画素の出力信号値、通常画素の出力信号値のデータセットを採取することができる。
【００９２】
そこで、撮像センサ２００を製品として撮像装置１００へ組み込む前の段階で、当該撮像センサ２００を実際に駆動して上記のデータセットの教師データを多数用意し、事前の教師あり学習により学習済みモデルを生成する。生成される学習済みモデルは、ＯＢ画素の出力信号情報、検出された温度、設定された増幅ゲインおよび電荷蓄積時間を入力すると通常画素の出力信号に対する補正情報を出力する学習済みモデルである。
【００９３】
図２１は、教師データの採取状況を示す概念図である。図示するように撮像センサ２００は、制御基板６１０に接続されている。制御基板６１０は、工具ＰＣ６１０に接続されている。撮像センサ２００は、制御基板６１０を介して、工具ＰＣ６１０によって制御され、出力信号等を工具ＰＣ６１０へ送信する。撮像センサ２００は、制御基板６１０と共に外光を遮断する暗箱６２０に収容されている。したがって、撮像センサ２００は、入射光を受けることなく駆動される。なお、暗箱６２０は、撮像装置１００の構造を模して、放熱特性等の条件を撮像装置１００に整合させても良い。
【００９４】
具体的には、工具ＰＣ６１０は、増幅ゲインと電荷蓄積時間を様々に指定して、撮像センサ２００を駆動する。また、工具ＰＣ６１０は、それぞれのフレーム制御に対して撮像センサ２００からＯＢ画素の出力信号値、通常画素の出力信号値、および温度センサ２４０が検出した温度を取得する。これらを、駆動条件である増幅ゲインおよび電荷蓄積時間と関連付けて、一つのデータセットとして記憶する。なお、撮像センサ２００の温度は、駆動時間が長くなるほど上昇するので、駆動時間を調整して様々な温度に対するデータセットを取得すると良い。
【００９５】
図２２は、教師データのデータ構造を示す概念図である。上述のように、工具ＰＣ６１０は、撮像センサ２００を様々な条件で駆動して、多くのデータセットを取得する。工具ＰＣ６１０は、これらを教師データとしてデータ構造化する。具体的には、取得したデータセットごとに教師データ番号を付与し、検出された温度、設定した増幅ゲインおよび電荷蓄積時間、ＯＢ領域２１１に属するＯＢ画素のそれぞれの出力信号値、受光領域２１２に属する通常画素のそれぞれの出力信号値を一纏めにデータ構造化する。
【００９６】
受光領域２１２属する通常画素のそれぞれの出力信号値は、遮光された状態における出力信号をＡＤ変換してものであるので、図４および図５において実線で示す遮光時のシェーディングに相当する。撮像センサ２００が撮像装置１００に組み込まれた後に、実際の撮影動作中に得られないのは、この遮光時のシェーディングである。実際の撮影動作中にこのシェーディングが推定できれば、入射光量に応じた信号量である第１信号から推定したシェーディングを差し引くことにより、シェーディング補正処理を行うことができる。
【００９７】
そこで、本実施形態においては、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、ＯＢ画素の出力信号値を入力するとシェーディングを出力するニューラルネットワークである学習済みモデルを形成する。
【００９８】
工具ＰＣ６１０は、各教師データに対し、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、ＯＢ画素の出力信号値を入力情報、通常画素のシェーディング値を出力の正解として、ニューラルネットワークに教師あり学習の学習作業を行わせる。例えば、学習中モデルが予測値として出力する通常画素のシェーディング値と、教師データとしての実際のシェーディング値との差が予め設定された基準値以下となるまで、誤差逆伝播法を使って係数となる重みを更新していく。このようにして学習された学習済みモデルは、実際に情報取得に用いた撮像センサ２００と組で、撮像装置１００に実装される。学習済みモデルは、フラッシュメモリ１８０へ記憶され、シェーディング補正処理時に制御部１５０から読み出されて利用に供される。
【００９９】
図２３は、撮像装置１００へ組み込まれた学習済みモデルを用いて行う、１フレームのシェーディング補正処理を示すフロー図である。制御回路２５０は、１フレーム期間のフレーム画像がバッファメモリ１２０へ引き渡されると、ステップＳ４０１で、当該フレーム画像に関する補正情報を取得する。具体的には、当該フレーム画像が生成された時の温度センサ２４０の検出温度、設定されていた増幅ゲインおよび電荷蓄積時間、当該フレーム画像の周辺部を形成するＯＢ画素のそれぞれの出力値を取得する。
【０１００】
画像処理部１３０は、ステップＳ４０２で、フラッシュメモリ１８０から読み出してある学習済みモデルへステップＳ４０１で取得した入力情報を入力し、学習済みモデルに演算させて、通常画素のそれぞれの推定シェーディング値を出力させる。そして、ステップＳ４０３へ進み、フレーム画像からＯＢ領域２１１に相当する周辺部を切り捨て、受光領域２１２に属する各通常画素の画素値から、ステップＳ４０２で算出された各推定したシェーディング値を差し引く。１フレーム分のシェーディング補正処理が完了するとフローを終了する。
【０１０１】
なお、以上説明した本実施形態においては、撮像装置１００へ組み込む撮像センサ２００を用いて教師データを採取した。しかし、例えば同じ製造ロットで製造された、同一種類の他の撮像センサを用いて採取した教師データを利用しても良い。この場合に形成される学習済みモデルは、実際に組み込まれる撮像センサ２００に比べると推定するシェーディング補正値の精度が低下すると予想されるが、撮像装置１００の製造効率の向上が期待できる。
【０１０２】
また、シェーディング値は、撮像センサ２００の利用履歴や経時によっても変化するので、そのような情報に基づいて、実装後の学習済みモデルを適宜修正するようにしても良い。この場合、様々な利用履歴や経時によってシェーディング値がどのように変化するかを、予め同一種類の他の撮像センサを用いて学習しておき、その結果を修正モジュールとしてフラッシュメモリ１８０に記憶しておく。制御部１５０は、自機の利用履歴や経時に対応する修正モジュールを適宜選択し、学習済みモデルを修正し更新する。なお、撮像装置１００は、ネットワークを介して修正モジュールを取得しても良い。また、各実施形態は、互いに組み合わせて実施できる要素については適宜組み合わせて実施してもよいことはもちろんのことである。
【符号の説明】
【０１０３】
１００  撮像装置、１１０  撮影レンズ、１２０  バッファメモリ、１３０  画像処理部、１５０  制御部、１６０  記録部、１７０  表示部、１８０  フラッシュメモリ、２００  撮像センサ、２１０  画素領域、２１１  ＯＢ領域、２１２  有効領域、２２１  第１読出し回路、２２２  第２読出し回路、２３０  垂直走査回路、２４０  温度センサ、２５０  制御回路、３０１  画素部、３１１  フォトダイオード、３５１  転送トランジスタ、３５３  リセットトランジスタ、３５４  増幅トランジスタ、３５５  選択トランジスタ、３６０  フローティングディフュージョン、３６１  出力配線、３６２  負荷電流源、４００  通常画素、４１０  遮光画素、５０１  マイクロレンズ、５０２  フィルタ層、５０２ａ  カラーフィルタ、５０２ｂ  遮光フィルタ、５０３  パッシベーション膜、５０４  フォトダイオード、５０５  トランジスタ、５０６  フォトダイオード層、５０７  配線、５０８  配線層、６００  工具ＰＣ、６１０  制御基板、６２０  暗箱
【図１】
2020123769.tif 000003
【図２】
2020123769.tif 000004
【図３】
2020123769.tif 000005
【図４】
2020123769.tif 000006
【図５】
2020123769.tif 000007
【図６】
2020123769.tif 000008
【図７】
2020123769.tif 000009
【図８】
2020123769.tif 000010
【図９】
2020123769.tif 000011
【図１０】
2020123769.tif 000012
【図１１】
2020123769.tif 000013
【図１２】
2020123769.tif 000014
【図１３】
2020123769.tif 000015
【図１４】
2020123769.tif 000016
【図１５】
2020123769.tif 000017
【図１６】
2020123769.tif 000018
【図１７】
2020123769.tif 000019
【図１８】
2020123769.tif 000020
【図１９】
2020123769.tif 000021
【図２０】
2020123769.tif 000022
【図２１】
2020123769.tif 000023
【図２２】
2020123769.tif 000024
【図２３】
2020123769.tif 000025