(57)【特許請求の範囲】
【請求項１】
複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、
前記撮像素子から、前記各マイクロレンズに対応する前記複数の光電変換部を２つ以上に分けて複数の画像信号を読み出す第１の読み出し方法と、前記各マイクロレンズに対応する前記複数の光電変換部の画像信号を加算して読み出す第２の読み出し方法とのいずれかにより読み出し制御する読み出し制御手段と、
前記撮像素子から読み出された画像信号が、前記第１の読み出し方法と前記第２の読み出し方法のいずれにより読み出されたかを判別する判別手段と、
前記判別手段による前記判別の結果に基づいて、前記第１の読み出し方法により読み出された前記複数の画像信号を加算する加算手段と、
前記第２の読み出し方法により読み出された画像信号からノイズ成分を検出する検出手段と、
前記検出手段により検出された前記ノイズ成分に基づいて、第１の補正値と、前記第１の補正値を調整した第２の補正値とを生成する生成手段と、
前記判別手段による前記判別の結果に基づいて、前記第２の読み出し方法により読み出された画像信号を、前記第１の補正値を用いて補正し、前記加算手段により加算された画像信号を、前記第２の補正値を用いて補正する補正手段と
を有することを特徴とする撮像装置。
【請求項２】
前記判別手段は、前記読み出し制御手段により制御された読み出し方法に基づいて、前記判別を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、前記第１の読み出し方法により読み出されたか、または、前記第２の読み出し方法により読み出されたかを示す付帯情報を、前記画像信号に付帯して出力し、
前記判別手段は、前記付帯情報に基づいて前記判別を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像素子は遮光された領域を含み、前記読み出し制御手段は、前記遮光された領域を前記第２の読み出し方法により読み出すように制御し、
前記検出手段は、前記遮光された領域から読み出された画像信号から、前記ノイズ成分を検出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記生成手段は、前記第１の補正値を、前記第１の読み出し方法により読み出した前記画像信号の数でかけることにより、前記第２の補正値を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記加算手段は、画像信号を記憶する第１の記憶手段を備え、前記第１の読み出し方法により読み出された複数の画像信号のうち、先に読み出された画像信号を記憶し、該記憶した画像信号を後に読み出された画像信号に加算することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記検出手段は、前記ノイズ成分を記憶する記憶手段を備え、当該記憶されたノイズ成分に基づいて前記第１の補正値を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記判別手段による前記判別の結果に基づいて、前記生成手段により生成された第１の補正値と、前記第２の補正値のいずれかを選択して、前記補正手段に出力する選択手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記判別手段による前記判別の結果に基づいて、前記第２の読み出し方法により読み出された画像信号と、前記加算手段により加算された画像信号のいずれかを選択して、前記補正手段に出力する切替手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
読み出し制御手段が、複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子から、前記各マイクロレンズに対応する前記複数の光電変換部を２つ以上に分けて複数の画像信号を読み出す第１の読み出し方法と、前記各マイクロレンズに対応する前記複数の光電変換部の画像信号を加算して読み出す第２の読み出し方法とのいずれかにより読み出し制御する読み出し工程と、
判別手段が、前記撮像素子から読み出された画像信号が、前記第１の読み出し方法と前記第２の読み出し方法のいずれにより読み出されたかを判別する判別工程と、
加算手段が、前記判別工程における前記判別の結果に基づいて、前記第１の読み出し方法により読み出された前記複数の画像信号を加算する加算工程と、
検出手段が、前記第２の読み出し方法により読み出された画像信号からノイズ成分を検出する検出工程と、
生成手段が、前記検出工程で検出された前記ノイズ成分に基づいて、第１の補正値と、前記第１の補正値を調整した第２の補正値とを生成する生成工程と、
補正手段が、前記判別工程における前記判別の結果に基づいて、前記第２の読み出し方法により読み出された画像信号を、前記第１の補正値を用いて補正し、前記加算手段により加算された画像信号を、前記第２の補正値を用いて補正する補正工程と
を有することを特徴とする撮像装置の制御方法。
【請求項１１】
複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子から、前記各マイクロレンズに対応する前記複数の光電変換部を２つ以上に分けて複数の画像信号を読み出す第１の読み出し方法と、前記各マイクロレンズに対応する前記複数の光電変換部の画像信号を加算して読み出す第２の読み出し方法とにより読み出した画像信号を処理する画像処理装置であって、
前記画像信号に付帯された付帯情報に基づいて、前記第１の読み出し方法により読み出されたか、または、前記第２の読み出し方法により読み出されたかを判別する判別手段と、
前記判別手段による前記判別の結果に基づいて、前記第１の読み出し方法により読み出された前記複数の画像信号を加算する加算手段と、
前記第２の読み出し方法により読み出された画像信号からノイズ成分を検出する検出手段と、
前記検出手段により検出された前記ノイズ成分に基づいて、第１の補正値と、前記第１の補正値を調整した第２の補正値とを生成する生成手段と、
前記判別手段による前記判別の結果に基づいて、前記第２の読み出し方法により読み出された画像信号を、前記第１の補正値を用いて補正し、前記加算手段により加算された画像信号を、前記第２の補正値を用いて補正する補正手段と
を有することを特徴とする画像処理装置。
【請求項１２】
複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子から、前記各マイクロレンズに対応する前記複数の光電変換部を２つ以上に分けて複数の画像信号を読み出す第１の読み出し方法と、前記各マイクロレンズに対応する前記複数の光電変換部の画像信号を加算して読み出す第２の読み出し方法とにより読み出した画像信号を処理する画像処理方法であって、
判別手段が、前記画像信号に付帯された付帯情報に基づいて、前記第１の読み出し方法により読み出されたか、または、前記第２の読み出し方法により読み出されたかを判別する判別工程と、
加算手段が、前記判別工程における前記判別の結果に基づいて、前記第１の読み出し方法により読み出された前記複数の画像信号を加算する加算工程と、
検出手段が、前記第２の読み出し方法により読み出された画像信号からノイズ成分を検出する検出工程と、
生成手段が、前記検出工程で検出された前記ノイズ成分に基づいて、第１の補正値と、前記第１の補正値を調整した第２の補正値とを生成する生成工程と、
補正手段が、前記判別工程における前記判別の結果に基づいて、前記第２の読み出し方法により読み出された画像信号を、前記第１の補正値を用いて補正し、前記加算手段により加算された画像信号を、前記第２の補正値を用いて補正する補正工程と
を有することを特徴とする画像処理方法。
【請求項１３】
コンピュータに、請求項１０に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
【請求項１４】
コンピュータに、請求項１２に記載の画像処理方法の各工程を実行させるためのプログラム。
【請求項１５】
請求項１３または１４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びその制御方法、及び、画像処理装置及び画像処理方法に関し、特には、撮像素子を用いて撮像された画像信号上に含まれるノイズを検出して補正する撮像装置及びその制御方法、及び、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、集光光学系及び撮像素子を用いた撮像装置において、撮像素子上に形成された集光用マイクロレンズ配下に備えられた画素部の光電変換部を複数に分割し、集光光学系の射出瞳を分割した像を画像信号として取得するものがある。また、特許文献１には、射出瞳を分割した像を含む画像信号を元に焦点検出をするための技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１２４９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したような従来の撮像素子の構成では、全ての画素部の複数の光電変換部から独立して画像信号を取得するため、撮像素子から読み出す画素数が増大するといった問題が生じてしまう。そのため、焦点検出を行う撮像素子上の領域（焦点検出領域）に属するラインだけを複数の光電変換部からそれぞれ独立して読み出し、焦点検出領域に属さないラインについては、画素部で複数の光電変換部からの信号を加算して出力する方法が提案されている。これにより、撮像素子から読み出す画素数を低減させることが考えられる。これにより、撮像素子から得られた画像信号について、独立して読み出されたラインの画像信号を用いて焦点検出を行うと共に、画像信号を加算することで記録用の画像信号を生成することが可能となる。しかしながら、上記構成を採ることで、撮像素子からの読み出し中に画像信号に重畳するノイズが、読み出し後の加算処理によって増加してしまう、という新たな課題が生じる。すなわち、複数の光電変換部からそれぞれ独立して読み出した画像信号を加算した画像信号と、画素部で加算してから読み出した画像信号とでノイズ量が異なってしまい、記録する画像信号の画質を悪化させる要因となりうる。
【０００５】
本発明は上記問題点を鑑みてなされたものであり、各画素の複数の光電変換部からそれぞれ画像信号を読み出した加算した加算信号と、複数の光電変換部の画像信号を各画素内で加算してから読み出した画像信号に重畳されたノイズを、それぞれ精度よく補正することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明によれば、本発明の撮像装置は、複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、前記撮像素子から、前記各マイクロレンズに対応する前記複数の光電変換部を２つ以上に分けて複数の画像信号を読み出す第１の読み出し方法と、前記各マイクロレンズに対応する前記複数の光電変換部の画像信号を加算して読み出す第２の読み出し方法とのいずれかにより読み出し制御する読み出し制御手段と、前記撮像素子から読み出された画像信号が、前記第１の読み出し方法と前記第２の読み出し方法のいずれにより読み出されたかを判別する判別手段と、前記判別手段による前記判別の結果に基づいて、前記第１の読み出し方法により読み出された前記複数の画像信号を加算する加算手段と、前記第２の読み出し方法により読み出された画像信号からノイズ成分を検出する検出手段と、前記検出手段により検出された前記ノイズ成分に基づいて、第１の補正値と、前記第１の補正値を調整した第２の補正値とを生成する生成手段と、前記判別手段による前記判別の結果に基づいて、前記第２の読み出し方法により読み出された画像信号を、前記第１の補正値を用いて補正し、前記加算手段により加算された画像信号を、前記第２の補正値を用いて補正する補正手段とを有する。
【発明の効果】
【０００７】
本発明によれば、各画素の複数の光電変換部からそれぞれ画像信号を読み出して加算した加算信号と、複数の光電変換部の画像信号を各画素内で加算してから読み出した画像信号に重畳されたノイズを、それぞれ精度よく補正することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。
【図２】第１の実施形態における撮像素子を構成する単位画素の構成例を示す概念図及び回路図。
【図３】読み出した一部の画像信号の一例を示す模式図。
【図４】第１の実施形態における処理を示すフローチャート。
【図５】第１の実施形態における記録用の画像信号を生成する処理及び補正値切り替えのタイミングを示すタイミングチャート。
【図６】第２の実施形態における撮像装置の概略構成を示すブロック図。
【図７】第２の実施形態における処理を示すフローチャート。
【図８】第２の実施形態における記録用の画像信号を生成する処理及び補正値切り替えのタイミングを示すタイミングチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
【００１０】
＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。撮像素子１０１は、被写体像を光電変換により電気信号に変換し、変換した電気信号を画像信号として出力する。加算部１０２は、撮像素子１０１から得られた画像信号を判別部１１１からの判別信号に基づいてライン単位で加算して出力する。画像信号記憶部１０３は、加算部１０２での加算処理の際に画像信号を記憶するために用いられる。画像信号切替部１１０は、撮像素子１０１から出力された画像信号と、加算部１０２により加算して得られた画像信号とを、判別部１１１からの判別信号に従って切り替えて出力する。
【００１１】
検出部１０４は、撮像素子１０１から出力される画像信号から、画像信号中に含まれるノイズを検出し、検出結果記憶部１０５は、検出部１０４による検出結果を記憶する。補正値生成部１０６は、検出部１０４で得られた検出結果を元に補正値（第１の補正値）を生成する。補正部１０７は、画像信号切替部１１０から出力される画像信号に対して、補正値生成部１０６から出力される補正値で補正する。補正値生成部１０６は、補正値調整部１０８と補正値切替部１０９とを備え、補正値調整部１０８は、検出部１０４から出力された補正値を調整して、別の補正値（第２の補正値）を生成する。補正値切替部１０９は、検出部１０４から得られた補正値と、補正値調整部１０８で生成された補正値のいずれかを、判別部１１１の判別信号に応じて切り替えて出力する。
【００１２】
判別部１１１は、制御部１１２からの制御信号に従って、加算部１０２、補正値切替部１０９、画像信号切替部１１０に対して判別信号を出力する。制御部１１２は撮像装置全体を制御するものであり、撮像素子１０１や判別部１１１の動作を制御する制御信号を生成する。
【００１３】
次に、撮像素子１０１を構成する画素について、図２を参照して説明する。図２（ａ）は、撮像素子１０１を構成する複数の画素のうち、１つの単位画素２０１の構成例を示す模式図である。各単位画素２０１は、１つのマイクロレンズ２０２と、入射光を電荷に変換するフォト・ダイオードに代表される複数の光電変換部とを有する。図２では、２つの光電変換部２０３，２０４を有する例を示している。
【００１４】
図２（ｂ）は、単位画素２０１の等価回路図である。光電変換部２０３，２０４は、同一のマイクロレンズ２０２を通過した光を受光し、その受光量に応じた電荷を生成する。光電変換部２０３，２０４にはそれぞれ転送スイッチ２１３，２１４が接続され、転送パルスＰＴＸＡ，ＰＴＸＢによって制御される。転送スイッチ２１３がＯＮとなったときに、光電変換部２０３で生成された電荷がフローティングデフュージョン部（ＦＤ）２１５に転送され、転送スイッチ２１４がＯＮとなったときに、光電変換部２０４で生成された電荷がＦＤ２１５に転送される。このように、ＦＤ２１５は、光電変換部２０３，２０４で発生した電荷を一時的に蓄積しておく蓄積領域となる。
【００１５】
すなわち、転送スイッチ２１３のみをＯＮすることで光電変換部２０３の電荷のみをＦＤ２１５に読み出したり、転送スイッチ２１４のみをＯＮすることで光電変換部２０４の電荷のみをＦＤ２１５に読み出すことができる（第１の読み出し方法）。また、転送スイッチ２１３，２１４を同時にＯＮすることで、光電変換部２０３と光電変換部２０４の電荷をＦＤ２１５で加算することもできる（第２の読み出し方法）。上述した判別部１１１により出力される判別信号は、第１の読み出し方法で読み出したか、第２の読み出し方法で読み出したかを表す。
【００１６】
リセットスイッチ２１７は、リセットパルスＰＲＥＳによって制御され、ＯＮとなったときにＦＤ２１５を不図示の電源ラインから供給される基準電位ＶＤＤにリセットする。また、リセットスイッチ２１７と転送スイッチ２１３，２１４を同時にＯＮすることで、光電変換部２０３，２０４を基準電位ＶＤＤにリセットすることができる。
【００１７】
増幅ＭＯＳアンプ２１６も不図示の電源ラインに接続され、ソースフォロアアンプとして機能し、ＦＤ２１５に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。選択スイッチ２１８は制御信号ＰＳＥＬによって制御され、ＯＮとなったときに増幅ＭＯＳアンプ２１６により増幅された画像信号を垂直出力線２２０に出力する。
【００１８】
上述した転送パルスＰＴＸＡ，ＰＴＸＢ、リセットパルスＰＲＥＳ、及び制御信号ＰＳＥＬは、撮像素子１０１中に備えられた不図示の垂直走査回路から出力される。
【００１９】
撮像素子１０１には、上記構成を有する複数の単位画素２０１が行列状に配置され、行単位で読み出される。読み出された画像信号は垂直出力線２２０を経て、撮像素子１０１から順次出力される。なお、得られた画像信号を撮像素子１０１内でアナログデジタル変換し、デジタル信号として出力するような構成としても良い。その場合、垂直出力線２２０ごとにアナログデジタル変換部を設け、画像信号をデジタル信号として出力する。
【００２０】
図３は、撮像素子１０１から読み出された画像信号のうち、一部の画像信号の例を示した模式図であり、水平方向に８列分、垂直方向に、Ｌｉｎｅ０〜Ｌｉｎｅ７の８行分の画像信号を示している。なお、各Ｌｉｎｅは、撮像素子における単位画素の行に必ずしも対応しておらず、第１の読み出し方法により光電変換部２０３，２０４の電荷をそれぞれ独立して読み出した場合には、単位画素２０１の１行分の信号が、２Ｌｉｎｅ分の画像信号となる。また、第１の読み出し方法により、ある単位画素の行では光電変換部２０３の電荷、次の単位画素の行では光電変換部２０４の電荷を読み出すようにしてもよい。
【００２１】
Ｌｉｎｅ０の画像信号３０１のＰ００からＰ０７は、単位画素２０１の光電変換部２０３と光電変換部２０４の電荷を第２の読み出し方法で読み出した場合の画像信号を示している。以下、Ｐで始まる画像信号は全て第２の読み出し方法で読み出した画像信号を示す。Ｌｉｎｅ２の画像信号３０２のＡ２０からＡ２７は、第１の読み出し方法により単位画素２０１の光電変換部２０３のみの電荷を読み出した画像信号を示しており、以下、Ａで始まる画像信号は全て同様の方法で読み出した画像信号を示す。Ｌｉｎｅ３の画像信号３０３のＢ３０からＢ３７は、第１の読み出し方法により単位画素２０１の光電変換部２０４のみの電荷を読み出した画像信号を示しており、以下、Ｂで始まる画素は全て同様の方法で読み出した画像信号を示す。撮像素子１０１は、単位画素２０１を構成する複数の光電変換部２０３，２０４で変換された電気信号を、制御部１１２からの制御信号に従って、第１の読み出し方法で読み出すか、第２の読み出し方法で読み出すか、を行単位で変更することができる。
【００２２】
次に図４のフローチャートを参照して、第１の実施形態における処理について説明する。
【００２３】
先ず、Ｓ１０１において、撮像素子１０１から画像信号を読み出す。ここでは、制御部１１２が、撮像素子１０１に対して撮像素子１０１の光電変換部上に形成された像に対応した電荷を、第１の読み出し方法または第２の読み出し方法で読み出すように行単位で制御信号を送信する。撮像素子１０１は制御信号に応じて読み出しを行い、電荷を画像信号として出力する。
【００２４】
Ｓ１０２では、加算部１０２において判別部１１１からの判別信号に従い画像信号を加算する処理、及び、画像信号の選択処理を含む、記録用の画像信号の生成を行う。ここで、Ｓ１０２で行われる処理について説明する。
【００２５】
図５は、記録用の画像信号を生成する処理のタイミングを示すタイミングチャートであり、ここでは、一例として、図３に示すように信号を読み出した場合に対応している。図５において、入力画像信号は、撮像素子１０１から出力される画像信号をラインごとにＬｉｎｅ０からＬｉｎｅ７まで示したものある。Ｌｉｎｅ２、Ｌｉｎｅ３および、Ｌｉｎｅ６、Ｌｉｎｅ７は、単位画素２０１を構成する複数の光電変換部２０３，２０４のいずれか一方の電荷を画像信号として読み出したラインであるため、画像信号として記録するために加算処理を行う。書き込み制御信号は、画像信号記憶部１０３に一旦１ライン分の画像信号を保持するか否かを制御するために用いられ、制御部１１２から加算部１０２に送られる。画像信号記憶部の信号は、画像信号記憶部１０３に１ライン分の画像信号が記憶されている様子を示しており、書き込み制御信号の信号レベルがＨｉのときに、そのときの入力画像信号が画像信号記憶部１０３に記憶されていく。
【００２６】
読み出し制御信号は、画像信号記憶部１０３に保持されている１ライン分の画像信号の読み出しを制御する信号であり、書き込み制御信号と同様に制御部１１２から加算部１０２に送られる。加算部１０２における加算処理は判別部１１１からの判別信号のレベルが第１の読み出し方法を示す間（ここでは、Ｈｉの間）、有効になる。この判別信号に応じて、加算部１０２ではＬｉｎｅ２とＬｉｎｅ３、Ｌｉｎｅ６とＬｉｎｅ７を加算することで、記録用の画像信号を生成する。加算部出力画像信号は、生成された画像信号を示している。図３に示す画像信号の例では、Ｌｉｎｅ２とＬｉｎｅ３の信号を画素対画素で加算するため、Ａ２０とＢ３０の加算、Ａ２１とＢ３１の加算、というように処理を重ね、新たに１ライン分の画像信号（ＡＤＤ０）を得る。
【００２７】
出力信号は画像信号切替部１１０から出力される画像信号を示したもので、判別部１１１からの判別信号に基づいて、撮像素子１０１から得られる画像信号と、加算部１０２から得られる画像信号とを切り替えて出力する。以上の処理により、加算部１０２ではライン単位で加算処理を行って記録用の画像信号を生成し、画像信号切替部１１０において記録画像として必要な画像信号が出力される。
【００２８】
次に、Ｓ１０３では、検出部１０４において、第２の読み出し方法により読み出した画像信号から、画像信号中に含まれるノイズを検出する。撮像素子１０１を構成する回路から発生するノイズが電気信号として画像信号中に重畳されると、記録画像としての画質を悪化させる要因となる。例えば、図２（ｂ）に示した垂直出力線２２０は、列方向の複数の画素部が並列に接続されており、垂直出力線２２０上で発生するノイズは、接続されている列方向の単位画素からの画像信号に対して一律のノイズとして重畳される。このノイズは、画像信号としては縦方向のオフセット性のノイズとして現れてくる。このノイズを除去するために、検出部１０４は画像信号中からノイズ成分を検出する。
【００２９】
図３の画像信号の例では、例えば、Ｌｉｎｅ０とＬｉｎｅ１の画素について撮像素子１０１上で遮光構造にし、常に被写体からの光束が当たらないようにする。一般的にオプティカルブラック領域と呼ばれるこの構造を採ることで、被写体に因らず、ベースとなる信号レベルとノイズが重畳された場合はそのノイズ成分を常に取得することができる。検出部１０４はＬｉｎｅ０とＬｉｎｅ１について、画像信号からベースレベルを減算することでノイズ成分を算出する。また、Ｌｉｎｅ０とＬｉｎｅ１で算出されたノイズ成分の平均値を算出することで、より精度よくノイズ成分を抽出することができる。なお、説明の便宜上Ｌｉｎｅ０とＬｉｎｅ１の２ライン分のみを遮光構造として説明したが、さらに精度を向上させるために多数のラインを遮光構造としてもよい。検出されたノイズ成分は画像信号を形成する列ごとに、検出結果記憶部１０５に保持される。
【００３０】
Ｓ１０４では、Ｓ１０３での検出結果（ノイズ成分）を元に補正値を生成する。先ず、検出部１０４は、検出結果記憶部１０５から検出結果を読み出して補正値生成部１０６へ送る。補正値生成部１０６は、検出部１０４から送られてきた検出結果を元に、画像信号からノイズ成分を除去するための補正値を２種類生成する。１つは検出されたノイズ成分をそのまま補正値として採用したものである（第１の補正値）。上述したように、垂直出力線２２０上で発生するノイズは画像信号の列方向に一律に重畳されるため、検出結果をそのまま補正値として採用する。もう１つは、補正値調整部１０８において検出結果を調整して補正値としたものである（第２の補正値）。上述した垂直出力線２２０上で発生するノイズは各ラインの画像信号を読み出す毎に重畳され、撮像素子１０１から出力された画像信号を加算部１０２で加算した場合、加算により新たに生成されるラインの画像信号はノイズ成分が２倍重畳されることになる。一方、検出部１０４では、第２の読み出し方法により読み出したラインの画像信号からノイズ成分を検出しているために、加算したラインに対してそのまま補正値とすることができない。そこで補正値調整部１０８は検出部１０４から送られてきた検出結果を２倍に調整した値を、補正値として生成する。
【００３１】
Ｓ１０５では、判別部１１１で補正値判別信号を生成する。ここでは、画像信号を補正するために、Ｓ１０４において生成した２種類の補正値のいずれを適用するかを示す補正値判別信号を生成する。図５は、更に、補正値判別信号と補正値の選択のタイミングを示しており、画像信号切替部１１０から出力される画像信号（出力信号）に対し、加算したラインと加算していないラインを判別するための補正値判別信号を生成する。補正値判別信号は、撮像素子１０１の駆動を制御している制御部１１２からの制御信号に基づいて生成され、加算していないラインではＬｏレベル、加算しているラインではＨｉレベルとして、補正値切替部１０９に出力する。
【００３２】
Ｓ１０６では、補正値切替部１０９は判別部１１１からの補正値判別信号に従って、生成された２種類の補正値のいずれかを選択して補正部１０７に送る。図５に示す例では、検出部１０４からの加算していないラインの補正値をＸ、補正値調整部１０８からの加算しているラインの補正値をＹとすると、補正値判別信号がＬｏレベルのときにＸを、判別信号がＨｉレベルのときにＹを選択して出力する。
【００３３】
Ｓ１０７では、補正値生成部１０６から出力される補正値を用いて、補正部１０７で画像信号を補正（画像処理）する。ここでは、補正部１０７が、補正値生成部１０６から出力される補正値を画像信号切替部１１０から出力される画像信号から減算することで、画像信号に重畳しているノイズを低減させる。
【００３４】
上記の通り本第１の実施形態によれば、第１の読み出し方法により読み出した画像信号のノイズ成分を補正するための補正値を、第２の読み出し方法により読み出した画像信号から検出したノイズ成分を元に調整して生成する。これにより、記録画像に発生するノイズを低減することが可能となる。
【００３５】
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。図６は、第２の実施形態における撮像装置の概略構成を示すブロック図である。図６に示す構成は、図１の判別部１１１に代えて、付帯情報判別部８０１を有するところが異なる。それ以外の構成は図１に示す構成と同様であるので同じ参照番号を付し、説明を省略する。付帯情報判別部８０１は、撮像素子１０１から出力される画像信号に付帯された付帯情報を元に、加算部１０２、画像信号切替部１１０、補正値切替部１０９に対して加算判別信号を出力する。
【００３６】
以下、図７のフローチャートを参照して、第２の実施形態における処理について説明する。
【００３７】
先ず、Ｓ２０１において、撮像素子１０１から画像信号を読み出す。ここでは第１の実施形態と同様に、制御部１１２が、撮像素子１０１に対して撮像素子１０１上の光電変換部に結像された像に対応した電荷を、第１の読み出し方法または第２の読み出し方法で読み出すように行単位で制御信号を送信する。撮像素子１０１は制御信号に応じて読み出しを行い、電荷を画像信号として出力する。ここで、第２の実施形態においては、画像信号を出力する際に、撮像素子１０１は出力される各ラインごとに単位画素２０１からどのように画像信号を読み出したかを示す付帯情報を合わせて出力する。例えば、制御部１１２から撮像素子１０１には、単位画素２０１からの画像信号の読み出し方法の指示が送られているので、撮像素子１０１は、指示内容に従って画像信号を出力する際に、各ラインの先頭画素の出力直前に付帯情報を示す特定の値を埋め込む。そのため、第２の実施形態における撮像素子１０１は、この埋め込みを行うための回路を備えている。
【００３８】
Ｓ２０２では、付帯情報を判別して、画像信号を加算する。付帯情報判別部８０１は、撮像素子１０１から出力される付帯情報を元に、加算部１０２に対して同じく撮像素子１０１から出力される画像信号を加算するための加算判別信号を出力する。ここで、Ｓ２０２で行われる制御信号の出力方法について説明する。
【００３９】
図８は、第２の実施形態における記録用の画像信号を生成する処理のタイミングを示すタイミングチャートであり、ここでは、一例として、図３に示すように信号を読み出した場合に対応している。図８において、入力画像信号は、撮像素子１０１から出力される各ラインの付帯情報と画像信号を模式的に示したもので、付帯情報と画像信号はセットになって繰り返し出力される。付帯情報αは、第２の読み出し方法により画像信号の読み出しを行ったことを示しており、Ｌｉｎｅ０、Ｌｉｎｅ１、Ｌｉｎｅ４、Ｌｉｎｅ５にそれぞれ付帯している。また、付帯情報βは、第１の読み出し方法により、単位画素２０１の光電変換部２０３のみから画像信号を読み出したことを示しており、Ｌｉｎｅ２、Ｌｉｎｅ６にそれぞれ付帯している。さらに、付帯情報γは、第１の読み出し方法により、単位画素２０１の光電変換部２０４のみから画像信号を読み出したことを示しており、Ｌｉｎｅ３、Ｌｉｎｅ７にそれぞれ付帯している。付帯情報判別部８０１は、付帯情報βのラインと付帯情報γのラインの画像信号が入力されている間、加算判別信号をＨｉにする。
【００４０】
画像信号記憶部の信号は、画像信号記憶部１０３に１ライン分の画像信号が記憶されている様子を示しており、加算部１０２で生成される書き込み制御信号の信号レベルがＨｉのときに、そのときの入力画像信号が画像信号記憶部１０３に記憶されていく。このように、光電変換部２０３から読み出した画像信号であるＬｉｎｅ２と、光電変換部２０４から読み出した画像信号であるＬｉｎｅと３を加算して、単位画素２０１の画像信号を得るために、一時的に画像信号記憶部１０３にＬｉｎｅ２を保持しておく。
【００４１】
次に、加算部１０２は、Ｌｉｎｅ３が入力したときに画像信号記憶部１０３からＬｉｎｅ２の画像信号を読み出すために、読み出し制御信号を出力する。画像信号記憶部１０３から読み出されたＬｉｎｅ２の画像信号はＬｉｎｅ３の画像信号と加算部１０２で加算される。以上の処理により、加算部１０２は画像信号を加算して出力する。加算部出力画像信号は加算後の画像信号が出力される様子を示したものである。Ｌｉｎｅ６、Ｌｉｎｅ７についても同様に、加算部１０２において加算処理を実行する。これにより、新たにそれぞれ１ライン分の単位画素２０１毎の画像信号（図８のＡＤＤ０、ＡＤＤ１）を得る。
【００４２】
なお、ここでは、加算判別信号がＬｏからＨｉになったラインは書き込み制御信号をＨｉにし、書き込み制御信号がＨｉからＬｏになったラインは読み出し制御信号をＨｉにしている。
【００４３】
出力信号は画像信号切替部１１０から出力される画像信号を示したもので、付帯情報判別部８０１からの加算判別信号に基づいて、撮像素子１０１から得られる画像信号と、加算部１０２から得られる画像信号とを切り替えて出力する。
【００４４】
次に、Ｓ２０３では、検出部１０４において、第２の読み出し方法により読み出した画像信号から、画像信号中に含まれるノイズを検出する。ここでは、第１の実施形態と同様に画像信号中に含まれるノイズ成分を検出し、検出したノイズ成分を画像信号を形成する列ごとに、検出結果記憶部１０５に保持する。
【００４５】
Ｓ２０４では、Ｓ２０３での検出結果（ノイズ成分）を元に補正値を生成する。第１の実施形態と同様に、検出部１０４は検出結果記憶部１０５から検出結果を読み出して補正値生成部１０６へ送る。補正値生成部１０６は、検出部１０４から送られてきた検出結果を元に、画像信号からノイズ成分を除去するための補正値を２種類生成する。１つは検出されたノイズ成分をそのまま補正値として採用したものである（第１の補正値）。もう１つは、補正値調整部１０８において検出結果を調整して補正値としたものであり、具体的には、補正値調整部１０８が検出部１０４から送られてきた検出結果を２倍に調整して補正値として生成する（第２の補正値）。
【００４６】
Ｓ２０５では、付帯情報判別部８０１は、Ｓ２０４において生成した２種類の補正値で画像信号を補正するために、撮像素子１０１から出力される付帯情報を元に、どちらの補正値を使用するかを示す補正値判別信号を生成する。ここで、再び図８を用いて処理内容を説明する。付帯情報判別部８０１は、加算したラインと加算していないラインとを判別するための補正値判別信号を生成する。補正値判別信号は、撮像素子１０１から出力される付帯情報を元に生成され、加算していない画像信号ではＬｏレベル、加算しているラインではＨｉレベルとして、補正値切替部１０９に出力する。
【００４７】
Ｓ２０６では、補正値切替部１０９は付帯情報判別部８０１からの補正値判別信号に従って、生成された２種類の補正値のいずれかを選択して補正部１０７に送る。図８に示す例では、検出部１０４からの加算していないラインの補正値をＸ、補正値調整部１０８からの加算しているラインの補正値をＹとすると、補正値判別信号がＬｏレベルのときにＸを、判別信号がＨｉのときにＹを選択して出力する。
【００４８】
Ｓ２０７では、補正値生成部１０６から出力される補正値を用いて、補正部１０７で画像信号を補正（画像処理）する。ここでは，補正部１０７が、補正値生成部１０６から出力される補正値を画像信号切替部１１０から出力される画像信号から減算することで、画像信号に重畳しているノイズを低減させる。
【００４９】
上記の通り本第２の実施形態によれば、第１の読み出し方法により読み出した画像信号のノイズ成分を補正するための補正値を、第２の読み出し方法により読み出した画像信号から検出したノイズ成分を元に調整して生成する。これにより、記録画像に発生するノイズを低減することが可能となる。また、撮像素子から画像信号と合わせて付帯情報を出力することで、付帯情報を解析して補正値を切り替えて適用することが可能となり、制御部１１２の介在を低減させ、撮像装置の制御の複雑さを低減することが可能となる。
【００５０】
なお、上述した第１及び第２の実施形態では単位画素２０１に形成された複数の光電変換部が２つの場合について説明した。しかしながら、本発明はこれに限るものではなく、各単位画素２０１に３つ以上の光電変換部を形成した場合においても、加算するライン数に応じて検出された検出結果を調整することで、加算したライン数に応じた補正を行うことができる。
【００５１】
また、上述した第２の実施形態では、撮像装置内で画像信号の処理を行う場合について説明したが、付帯情報が付加された画像信号を記録媒体等に一旦記録し、これを画像処理装置で読み出して処理するようにしてもよい。
【００５２】
＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５３】
１０１：撮像素子、１０２：加算部、１０３：画像信号記憶部、１０４：検出部、１０５：検出結果記憶部、１０６：補正値生成部、１０７：補正部、１０８：補正値調整部、１０９：補正値切替部、１１０：画像信号切替部、１１１：判別部、２０１：単位画素、２０２：マイクロレンズ、２０３，２０４：光電変換部、８０１：付帯情報判別部
【図１】
0006666785.tif 000002
【図２】
0006666785.tif 000003
【図３】
0006666785.tif 000004
【図４】
0006666785.tif 000005
【図５】
0006666785.tif 000006
【図６】
0006666785.tif 000007
【図７】
0006666785.tif 000008
【図８】
0006666785.tif 000009