(57)【要約】【課題】第１の画素群から第２の画素群へ電荷が漏れ出すブルーミングの影響を低減することができるようにすることである。【解決手段】撮像装置は、光電変換により信号を生成する第１の画素を含む第１の画素群と、光電変換により信号を生成する第２の画素を含む第２の画素群と、前記第１の画素群の中の第１の画素の飽和を検出する検出手段と、前記第１の画素の飽和が検出された場合には、前記第２の画素群の中の前記飽和が検出された前記第１の画素に対応する第２の画素の信号を補正する補正手段とを有する。【選択図】図８
2019197985.tif 000002
【特許請求の範囲】
【請求項１】
光電変換により信号を生成する第１の画素を含む第１の画素群と、
光電変換により信号を生成する第２の画素を含む第２の画素群と、
前記第１の画素群の中の第１の画素の飽和を検出する検出手段と、
前記第１の画素の飽和が検出された場合には、前記第２の画素群の中の前記飽和が検出された前記第１の画素に対応する第２の画素の信号を補正する補正手段と
を有することを特徴とする撮像装置。
【請求項２】
前記第１の画素と前記第２の画素は、構造が異なることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の画素は、画像を生成するための画素であり、
前記第２の画素は、焦点を検出するための画素であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１の画素と前記第２の画素は、露出が異なることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記検出手段は、前記第１の画素の信号と閾値との比較の結果に応じて、前記第１の画素の飽和を検出することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の画素の信号をアナログからデジタルに変換するアナログデジタル変換手段をさらに有し、
前記アナログデジタル変換手段は、第１の期間では、前記第１の画素の信号と、時間と共にレベルが変化する参照信号とを比較する比較手段を有し、
前記比較手段は、第２の期間では、前記第１の画素の信号と前記閾値とを比較し、
前記検出手段は、前記比較手段の前記第１の画素の信号と前記閾値との比較の結果に応じて、前記第１の画素の飽和を検出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記検出手段は、前記第２の画素の信号と、前記第１の画素の露出と、前記第２の画素の露出とを基に、前記第１の画素の飽和を検出することを特徴とする請求項４に記載の撮像装置。
【請求項８】
第１のフレームでは、前記第２の画素群の前記第２の画素が信号を出力し、
前記第１のフレームの後の第２のフレームでは、前記第１の画素群の前記第１の画素が信号を出力し、
前記検出手段は、前記第１のフレームの前記第２の画素の信号と、前記第２のフレームの前記第１の画素の露出と、前記第１のフレームの前記第２の画素の露出とを基に、前記第２のフレームの前記第１の画素の信号の飽和を予測することを特徴とする請求項１又は７に記載の撮像装置。
【請求項９】
前記補正手段は、前記飽和が検出された前記第１の画素の周辺の前記第２の画素の信号を補正することを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記補正手段は、前記飽和が検出された前記第１の画素の周辺の前記第２の画素の信号を、他の前記第２の画素の信号を用いて補正することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記第１の画素と前記第２の画素は、読み出し時刻が異なることを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記第１の画素と前記第２の画素は、フレームレートが異なることを特徴とする請求項１又は１１に記載の撮像装置。
【請求項１３】
第３の期間では、前記第２の画素群の前記第２の画素が信号を出力し、
前記第３の期間の後の第４の期間では、前記第１の画素群の前記第１の画素が信号を出力し、
前記検出手段は、前記第３の期間の前記第２の画素の信号と、前記第４の期間の前記第１の画素の露出と、前記第３の期間の前記第２の画素の露出とを基に、前記第４の期間の前記第１の画素の信号の飽和を予測することを特徴とする請求項１、１１、１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記検出手段は、前記第１の画素の電荷蓄積開始前の飽和を予測することを特徴とする請求項１に記載の撮像装置。
【請求項１５】
前記検出手段は、前記第１の画素の信号と、前記第１の画素の電荷蓄積時間と、前記第１の画素の読み出し周期とを基に、前記第１の画素の電荷蓄積開始前の飽和を予測することを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記補正手段は、前記第１の画素の信号と、前記第１の画素の電荷蓄積時間と、前記第２の画素の電荷蓄積時間とを基に、前記第２の画素の信号を補正することを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記第１の画素の飽和が検出された場合には、前記第１の画素群の前記第１の画素の露出を変更する変更手段をさらに有することを特徴とする請求項１〜１６のいずれか１項に記載の撮像装置。
【請求項１８】
光電変換により信号を生成する第１の画素を含む第１の画素群と、
光電変換により信号を生成する第２の画素を含む第２の画素群とを有する撮像装置の制御方法であって、
前記第１の画素群の中の第１の画素の飽和を検出する検出ステップと、
前記第１の画素の飽和が検出された場合には、前記第２の画素群の中の前記飽和が検出された前記第１の画素に対応する第２の画素の信号を補正する補正ステップと
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラなどの撮像装置には、ＣＭＯＳ型撮像素子が用いられている。ＣＭＯＳ型撮像素子には、行列状に配置された複数の画素の中に、位相差検出方式による焦点検出用の画素など、撮像以外のいわゆる機能画素を有するものがある。位相差検出方式の焦点検出では、撮影レンズの異なる複数の射出瞳を通過した光束を受光して、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量を検出する。これにより、撮影レンズのピントの方向とずれ量を直接求めることができるので、位相差検出方式による焦点検出用の画素を配置した撮像素子は、ライブビューや、動画記録撮影時にも、高速な焦点検出が可能である。
【０００３】
これら機能画素の周囲には、撮像画素が配置されている。被写体によっては、撮像画素の影響を受けて、機能画素から正しい信号が出力されないことがある。その現象の一つに、画素が飽和して周囲の画素へ電荷が漏れ出すブルーミングがある。ブルーミングによって、飽和画素周辺の信号は、適切な値にならず、偽信号となる。特に、撮像画素は、焦点検出用画素より感度が高く、飽和しやすい。そのため、撮像画素から機能画素へのブルーミングは、発生頻度が高く、それによって、焦点検出用画素は、偽信号を出力し、焦点検出が適切に行われないことがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−９２６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１は、ブルーミングの発生シーンを減らす目的で、焦点検出用画素の電子シャッタ動作を複数回行い、ブルーミングの原因となる電荷をリセットしている。しかしながら、特許文献１では、撮像画素と焦点検出画素の蓄積時間が重複しないことが前提であり、その条件以外ではブルーミングの対策を行うことができない。
【０００６】
また、同一撮像面の画素を領域毎に異なる露出で読み出すイメージセンサにおいても、読み出しタイミングによっては、第１の露出の画素群から第２の露出の画素群へブルーミングが発生することがある。
【０００７】
そこで、本発明の目的は、第１の画素群から第２の画素群へ電荷が漏れ出すブルーミングの影響を低減することができるようにすることである。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、光電変換により信号を生成する第１の画素を含む第１の画素群と、光電変換により信号を生成する第２の画素を含む第２の画素群と、前記第１の画素群の中の第１の画素の飽和を検出する検出手段と、前記第１の画素の飽和が検出された場合には、前記第２の画素群の中の前記飽和が検出された前記第１の画素に対応する第２の画素の信号を補正する補正手段とを有する。
【発明の効果】
【０００９】
本発明によれば、第１の画素群から第２の画素群へ電荷が漏れ出すブルーミングの影響を低減することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態の撮像装置の構成例を示す図である。
【図２】第１の実施形態の撮像素子の構成例を示す図である。
【図３】第１の実施形態の画素の構成例を示す図である。
【図４】第１の実施形態の撮像画素を説明する図である。
【図５】第１の実施形態の機能画素を説明する図である。
【図６】第１の実施形態のＡＤ変換と飽和画素検出を説明する図である。
【図７】第１の実施形態の画素の読み出しのタイミングチャートである。
【図８】第１の実施形態の動作のフローチャートである。
【図９】第１の実施形態のブルーミング対策処理の説明図である。
【図１０】第２の実施形態の撮像素子の構成例を示す図である。
【図１１】第２の実施形態の画素の読み出しのタイミングチャートである。
【図１２】第２の実施形態の動作のフローチャートである。
【図１３】第２の実施形態の飽和画素検出を説明する図である。
【図１４】第２の実施形態のブルーミング対策処理の説明図である。
【図１５】第３の実施形態の動作のフローチャートである。
【図１６】第３の実施形態の飽和画素検出を説明する図である。
【図１７】第４の実施形態の飽和画素検出を説明する図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
【００１２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置１００の構成例を示す図である。撮像装置１００は、撮像信号と位相差信号とを選択的に出力可能な撮像素子部１０１を有する。撮像装置１００は、撮像素子部１０１、撮像駆動回路部１０２、信号処理部１０３、画像表示部１０４、画像を記憶する撮像メモリ部１０５、画像記録部１０６、同期制御部１０７、操作部１０８、光学系１０９及び光学駆動回路部１１０を有する。
【００１３】
撮像装置１００の構成要素を以下に示す。撮像素子部１０１は、２次元行列状に配列された複数の画素と、画素から読み出された信号を所定の順番で出力する回路とを有する。撮像駆動回路部１０２は、撮像素子部１０１の画素信号を、所定のタイミングで読み出すように、撮像素子部１０１を駆動する回路である。
【００１４】
信号処理部１０３は、同期制御部１０７からの制御信号により制御され、撮像素子部１０１の出力信号を画像データに変換したり、撮像メモリ部１０５及び画像記録部１０６に対して画像データを入出力したり、画像表示部１０４へ画像データを出力する。画像表示部１０４は、同期制御部１０７からの制御信号により制御され、信号処理部１０３及び画像記録部１０６に記憶された画像データを表示する表示デバイスである。
【００１５】
撮像メモリ部１０５は、同期制御部１０７からの制御信号により制御され、信号処理部１０３からの画像データを記憶する一時記憶デバイスである。画像記録部１０６は、同期制御部１０７からの制御信号により制御され、信号処理部１０３からの画像データの記録や読み出しを行う。
【００１６】
同期制御部１０７は、操作部１０８からの指示により、撮像装置１００の全体を制御する制御回路である。操作部１０８は、スイッチ、押しボタン、画像表示部１０４に装着されたタッチパネル等の入力デバイスである。
【００１７】
次に、鏡筒の構成要素を以下に示す。光学系１０９は、被写体像を撮像素子部１０１に結像させる合焦レンズ、光学ズームを行うズームレンズ、被写体像の明るさを調整する絞り、露光を制御するシャッタを有する光学デバイスである。光学駆動回路部１１０は、同期制御部１０７からの制御信号によって制御され、光学系１０９を駆動する回路である。
【００１８】
図２は、図１の撮像素子部１０１の構成例を示す図である。撮像素子部１０１は、例えば、ｍ〜ｍ＋３列及びｎ〜ｎ＋３行の４×４の画素２０１を有する。なお、図２では、説明の簡略化のために、画素２０１をｍ〜ｍ＋３列及びｎ〜ｎ＋３行の４行×４列のみ示しているが、実際には多数の画素２０１が２次元に配置される。
【００１９】
画素２０１は、垂直走査回路２０３からの信号に同期して、光電変換したアナログ信号を生成する。複数の画素２０１は、画素群ａ、画素群ｂ、・・・等の複数の画素群に分けられ、それぞれ異なるタイミングで動作する。例えば、画素群ａは、複数の撮像画素の群である。画素群ｂは、複数の機能画素の群である。
【００２０】
信号出力線２０２は、画素２０１の列毎に設けられ、画素２０１の出力信号を読み出し回路２０４へ出力する信号線である。垂直走査回路２０３は、第ｎ行の制御線Ｔｘｎ、ＲＥＳｎ、ＳＥＬｎを経由して、第ｎ行の画素２０１を制御する。また、垂直走査回路２０３は、第ｎ＋１行の制御線Ｔｘｎ＋１、ＲＥＳｎ＋１、ＳＥＬｎ＋１を経由して、第ｎ＋１行の画素２０１を制御する。また、垂直走査回路２０３は、第ｎ＋２行の制御線Ｔｘｎ＋２、ＲＥＳｎ＋２、ＳＥＬｎ＋２を経由して、第ｎ＋２行の画素２０１を制御する。また、垂直走査回路２０３は、第ｎ＋３行の制御線Ｔｘｎ＋３、ＲＥＳｎ＋３、ＳＥＬｎ＋３を経由して、第ｎ＋３行の画素２０１を制御する。
【００２１】
読み出し回路２０４は、各列の信号出力線２０２のアナログ信号をデジタル信号に変換するアナログデジタル変換回路を有する。水平走査回路２０５は、読み出し回路２０４から信号処理回路２０６へのデジタル信号の転送を制御する。信号処理回路２０６は、読み出し回路２０６から入力されたデジタル信号を信号処理する回路である。出力ポート２０７は、信号処理回路２０６の出力信号を出力する出力ポートである。
【００２２】
図３は、図２の第ｎ行の画素２０１の構成例を示す図である。第ｎ＋１〜第ｎ＋３行の画素２０１も、第ｎ行の画素２０１の構成例と同様である。画素２０１は、フォトダイオード３０１、転送トランジスタ３０２、ＦＤ（フローティングデフュージョン）３０３、ＳＦ（ソースフォロワ）トランジスタ３０４、選択トランジスタ３０５、及びリセットトランジスタ３０６を有する。
【００２３】
フォトダイオード３０１は、光電変換部であり、光を電荷に変換して蓄積する。転送トランジスタ３０２は、フォトダイオード３０１に蓄積されている電荷をＦＤ３０３に転送する。制御線Ｔｘｎは、転送トランジスタ３０２のゲートを制御する。ＦＤ３０３は、電荷を蓄積する。リセットトランジスタ３０６は、ＦＤ３０３の電荷をリセットする。制御線ＲＥＳｎは、リセットトランジスタ３０６のゲートを制御する。ＳＦトランジスタ３０４は、ＦＤ３０３に蓄積されている電荷に基づく電圧を出力する。選択トランジスタ３０５は、ＳＦトランジスタ３０３の出力ノードを信号出力線２０２に出力する。制御線ＳＥＬｎは、選択トランジスタ３０５のゲートを制御する。
【００２４】
図４及び図５は、複数の画素２０１のうちの撮像画素と機能画素の構造を説明する図である。図４は、撮像画素の配置と構造を示す。図４（ａ）は、２行×２列の撮像画素の平面図である。図４（ａ）は、ベイヤ配列の撮像画素であり、２個のＧ（緑）画素と、１個のＲ（赤）画素と、１個のＢ（青）画素が配置される。そして、この２行×２列のベイヤ配列が繰り返し配置される。Ｒ画素とＧ画素とＢ画素は、撮像画素である。
【００２５】
図４（ｂ）は、図４（ａ）のＡ−Ａ線の断面図である。マイクロレンズＭＬは、各画素の最前面に配置される。カラーフィルタＣＦRは、Ｒ（赤）のカラーフィルタである。カラーフィルタＣＦGは、Ｇ（緑）のカラーフィルタである。フォトダイオード３０１は、図３のフォトダイオード３０１に対応する。配線層ＣＬは、撮像素子部１０１内の各種信号を伝達する信号線を形成するための配線層である。レンズＴＬは、図１の光学系１０９に対応し、射出瞳ＥＰを有する。
【００２６】
図５は、機能画素の配置と構造を示す。ここでは、機能画素の一例として、焦点検出用画素について説明する。図５（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。図５（ａ）の２行×２列の画素は、２個のＧ画素と、２個の焦点検出用画素ＳＡ及びＳＢとを有する。Ｇ画素は、撮像画素であり、図４（ａ）のＧ画素と同じ構造を有する。焦点検出用画素ＳＡ及びＳＢは、撮像画素（Ｒ画素、Ｇ画素、Ｂ画素）とは構造が異なり、焦点を検出するための画素である。Ｒ画素とＧ画素とＢ画素は、相互に構造が同じであり、画像を生成するための画素である。
【００２７】
図５（ｂ）は、図５（ａ）のＡ−Ａ線の断面図である。マイクロレンズＭＬ及びフォトダイオード３０１は、図４（ｂ）と同一の構造である。焦点検出用画素ＳＡ及びＳＢには、カラーフィルタＣＦGが設けられる。ここで、焦点検出用画素ＳＡでは、配線層ＣＬの開口部ＯＰＨＡは、右側に偏倚しているため、フォトダイオード３０１は、レンズＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。焦点検出用画素ＳＢでは、配線層ＣＬの開口部ＯＰＨＢは、左側に偏倚しているため、フォトダイオード３０１は、レンズＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。
【００２８】
また、焦点検出用画素ＳＡを水平方向に規則的に配列し、これらの焦点検出用画素ＳＡの群で取得した被写体像をＡ像とする。また、焦点検出用画素ＳＢも水平方向に規則的に配列し、これらの焦点検出用画素ＳＢの群で取得した被写体像をＢ像とする。信号処理部１０３は、Ａ像とＢ像の相対位置を検出することで、被写体像の焦点ずれ量（デフォーカス量）を検出する。同期制御部１０７は、検出されたデフォース量を基に、オートフォーカス（ＡＦ）制御を光学駆動回路部１１０に指示する。光学駆動回路部１１０は、デフォーカス量に応じて、光学系１０９の合焦レンズを駆動する。これにより、撮像装置１００の焦点を調節することができる。
【００２９】
図６は、読み出し回路２０４が撮像画素及び機能画素から読み出されるアナログ信号をデジタル信号に変換するアナログデジタル変換（ＡＤ変換）について説明するための図である。図６（ａ）は、シングルスロープ方式のＡＤ変換による画素信号のデジタル値について説明する電圧波形の模式図である。アナログ信号６０１は、撮像画素又は機能画素から読み出される信号である。参照信号６０２は、ＡＤ変換時にアナログ信号と比較するための信号である。参照信号６０２は、設定可能な電圧の最小値から最大値までの範囲を、クロックに同期して、任意の電圧分解能で、電圧を増加させる。すると、参照信号６０２の電圧は、線形に推移する。参照信号６０２は、ＡＤ変換期間では、時間と共にレベルが変化する。読み出し回路２０４は、比較回路により、参照信号６０２と、電圧が安定したアナログ信号６０１とを比較する。そして、読み出し回路２０４は、カウンタにより、参照信号６０２とアナログ信号６０１との大小関係が逆転するまでのクロック数をカウントすることにより、アナログ信号６０１の電圧値をデジタル値へ変換する。
【００３０】
クロックの周期は一定であるため、ＡＤ変換開始から終了までにカウントするクロック数は、ＡＤ変換開始から終了までの期間６０３及び６０４に対応する。ここでは、期間６０３及び６０４で発生するクロック数は、期間６０３及び６０４の長さに対応する。
【００３１】
さて、画素のアナログ信号６０１には、基準出力値、いわゆる０レベルの電圧がばらつく、オフセットばらつきがある。図３の画素２０１において、リセットトランジスタ３０６がＦＤ３０３のリセットを解除したときの画素２０１が出力する信号をＮ信号とする。Ｎ信号は、オフセットばらつき分の電圧である。期間６０３では、読み出し回路２０４は、アナログ信号（Ｎ信号）６０１と参照信号６０２を比較し、Ｎ信号をＡＤ変換する。その後、転送トランジスタ３０２がフォトダイオード３０１の電荷をＦＤ３０３に転送した後の画素２０１の出力信号をＳ信号とする。Ｓ信号は、オフセットばらつきを含む画素信号である。期間６０４では、読み出し回路２０４は、アナログ信号（Ｓ信号）６０１と参照信号６０２を比較し、Ｓ信号をＡＤ変換する。図２の信号処理回路２０６は、デジタルのＳ信号からデジタルのＮ信号を減算することで、オフセットばらつきを除去した画素信号を出力する。
【００３２】
図６（ｂ）は、参照信号の傾きを小さくした場合のＡＤ変換を示す図である。アナログ信号６０６は、図６（ａ）のアナログ信号６０１に対応する。参照信号６０７は、図６（ａ）の参照信号６０７に対応する。期間６０８は、Ｎ信号のＡＤ変換期間である。期間６０９は、Ｓ信号のＡＤ変換期間である。参照信号６０５は、期間６０９の参照信号６０７である。参照信号６０５の傾きは、期間６０４の参照信号６０２の傾きより小さい。クロックの周期が図６（ａ）と図６（ｂ）とで変わらない場合、クロックで増加する参照信号６０５の電圧ステップを下げることで、分解能を上げることができる。アナログ信号６０６は、アナログ信号６０１と同じであるが、Ｓ信号のＡＤ変換に用いる参照信号６０５の傾きが図６（ａ）のものより小さい。その結果、期間６０４より期間６０９が長くなり、図６（ａ）のＳ信号のデジタル値よりも図６（ｂ）Ｓ信号のデジタル値の方が大きくなる。このように、参照信号６０５の傾きを変えることで、ＡＤ変換時に、Ｓ信号にゲインをかけることができる。
【００３３】
一方、ＡＤ変換のカウンタのカウント数には限りがある。そのため、ＡＤ変換の分解能を上げるほど、デジタル値に変換可能なアナログ信号の範囲が狭くなる。範囲外のアナログ信号は、デジタル値で飽和した値として出力される。つまり、ＡＤ変換の参照信号によってゲインをかける場合、画素信号が飽和したか否かが判断できない。
【００３４】
そこで、図６（ｃ）に示すように、読み出し回路２０４は、ＡＤ変換を行う。アナログ信号６１０は、図６（ａ）のアナログ信号６０１に対応する。参照信号６１１は、図６（ａ）の参照信号６０２に対応する。期間６１３は、Ｎ信号のＡＤ変換期間であり、期間６０３及び６０８と同様である。期間６１４は、Ｓ信号のＡＤ変換期間であり、期間６０４及び６０９と同様である。基準信号６１２は、参照信号６１１のうちの期間６１３と期間６１４との間の一部の期間の信号であり、閾値である。読み出し回路２０４は、Ｓ信号をＡＤ変換する前に、参照信号６１１を基準信号６１２のように画素信号の飽和を判定できる電圧にすることで、画素信号が飽和しているか否かを判定できる。読み出し回路２０４は、アナログ信号（Ｓ信号）６１０と基準信号６１２とを比較する。読み出し回路２０４は、アナログ信号（Ｓ信号）６１０が基準信号６１２より小さい場合、期間６１４で、参照信号６１１がアナログ信号（Ｓ信号）６１０より小さく、デジタル値が飽和した場合も、アナログ信号（Ｓ信号）６１０が飽和していないと判断できる。なお、撮像素子部１０１は、飽和検出結果を信号処理部１０３へ出力する。信号処理部１０３は、飽和が検出された場合には、ブルーミング対策処理を行う。
【００３５】
図７は、図３の第ｎ行の画素２０１からアナログ信号を読み出すタイミングチャートである。時刻ｔ７０１では、垂直走査回路２０３は、制御線ＳＥＬｎの制御信号ΦＳＥＬｎをハイレベルにする。すると、第ｎ行において、選択トランジスタ３０５がオンし、第ｎ行の画素２０１が選択される。
【００３６】
時刻ｔ７０２では、垂直走査回路２０３は、制御線ＲＥＳｎの制御信号ΦＲＥＳｎをハイレベルにする。すると、第ｎ行において、リセットトランジスタ３０６がＦＤ３０３のリセットを開始する。
【００３７】
時刻ｔ７０３では、垂直走査回路２０３は、制御線ＲＥＳｎの制御信号ΦＲＥＳｎをローレベルにする。すると、第ｎ行において、リセットトランジスタ３０６がオフし、ＦＤ３０３のリセットが解除される。第ｎ行の画素２０１は、ＦＤ３０３のリセット解除に基づくアナログのＮ信号を信号出力線２０２に出力する。
【００３８】
時刻ｔ７０４では、読み出し回路２０４は、内部のサンプルホールド回路により、Ｎ信号のサンプルホールドを開始する。時刻ｔ７０５では、読み出し回路２０４は、Ｎ信号のサンプルホールドを終了する。
【００３９】
時刻ｔ７０６では、読み出し回路２０４は、内部のアナログデジタル変換回路により、アナログのＮ信号からデジタルのＮ信号への変換を開始する。時刻ｔ７０７では、読み出し回路２０４は、アナログのＮ信号からデジタルのＮ信号への変換を終了する。
【００４０】
時刻ｔ７０８では、垂直走査回路２０３は、制御線Ｔｘｎの制御信号ΦＴｘｎをハイレベルにする。すると、第ｎ行において、転送トランジスタ３０２は、フォトダイオード３０１からＦＤ３０３への電荷の転送を開始する。
【００４１】
時刻ｔ７０９では、垂直走査回路２０３は、制御線Ｔｘｎの制御信号ΦＴｘｎをローレベルにする。すると、第ｎ行において、転送トランジスタ３０２は、フォトダイオード３０１からＦＤ３０３への電荷の転送を終了する。第ｎ行の画素２０１は、ＦＤ３０３の電荷に基づくアナログのＳ信号を信号出力線２０２に出力する。
【００４２】
時刻ｔ７１０では、読み出し回路２０４は、内部のサンプルホールド回路により、Ｓ信号のサンプルホールドを開始する。時刻ｔ７１１では、読み出し回路２０４は、Ｓ信号のサンプルホールドを終了する。
【００４３】
時刻ｔ７１２では、読み出し回路２０４は、内部のアナログデジタル変換回路により、アナログのＳ信号からデジタルのＳ信号への変換を開始する。時刻ｔ７１３では、読み出し回路２０４は、アナログのＳ信号からデジタルのＳ信号への変換を終了する。信号処理回路２０６は、画素２０１毎に、Ｓ信号とＮ信号との差分を画素信号として、出力ポート２０７へ出力する。なお、出力ポート２０７は、画素群毎に設けてもよい。
【００４４】
時刻ｔ７１４では、垂直走査回路２０３は、制御線ＳＥＬｎの制御信号ΦＳＥＬｎをローレベルにする。すると、第ｎ行の画素２０１において、選択トランジスタ３０５がオフし、第ｎ行の画素２０１の選択が解除される。
【００４５】
図８は、撮像装置１００の制御方法を示すフローチャートである。以下、撮像画素及び機能画素の読み出しと、飽和検出処理と、ブルーミング対策処理を説明する。ステップＳ８０２では、撮像素子部１０１は、図７で示した処理方法により、撮像画素及び機能画素の画素信号の読み出しを行う。次に、ステップＳ８０３では、撮像素子部１０１は、図６（ｃ）で示した処理方法により、撮像画素の画素信号の飽和検出を行い、飽和検出結果を信号処理部１０３に出力する。信号処理部１０３は、撮像画素の画素信号の飽和が検出されなかった場合には、ステップＳ８０２に戻り、次の行の処理を繰り返す。信号処理部１０３は、撮像画素の画素信号の飽和が検出された場合には、ステップＳ８０４に進む。ステップＳ８０４では、信号処理部１０３は、図９で後述するブルーミング対策処理を行う。
【００４６】
図９（ａ）〜（ｄ）は、図８のステップＳ８０４のブルーミング対策処理を説明するための図である。図９（ａ）は、図４（ａ）及び図５（ａ）の画素を並べた撮像素子部１０１の模式図である。図９（ｂ）は、図９（ａ）に被写体が結像した撮像素子部１０１の撮像面を示す図である。飽和画素９０１は、画素信号の飽和した画素である。図９（ｃ）及び（ｄ）は、それぞれ、機能画素ＳＡ及びＳＢの集合を示す図である。
【００４７】
例えば、信号処理部１０３は、図９（ｂ）の飽和画素９０１が検出された場合、飽和画素９０１の周辺にある機能画素ＳＡ（ｍ＋４，ｎ＋１２）及び機能画素ＳＢ（ｍ＋５，ｎ＋１３）の画素信号を、その周辺の機能画素の画素信号から補間する。図９（ｃ）の場合、信号処理部１０３は、機能画素ＳＡ（ｍ＋４，ｎ＋１２）の左右（周辺）の機能画素ＳＡ（ｍ，ｎ＋１２）及び機能画素ＳＡ（ｍ＋８，ｎ＋１２）の画素信号の平均値を、機能画素ＳＡ（ｍ＋４，ｎ＋１２）の画素信号として補正する。なお、信号処理部１０３は、その他の隣接する機能画素ＳＡを用いて補正してもよい。また、図９（ｄ）の場合、信号処理部１０３は、機能画素ＳＢ（ｍ＋５，ｎ＋１３）の左右（周辺）の機能画素ＳＢ（ｍ＋１，ｎ＋１３）及び機能画素ＳＡ（ｍ＋９，ｎ＋１２）の画素信号の平均値を、機能画素ＳＢ（ｍ＋５，ｎ＋１３）の画素信号として補正する。
【００４８】
これにより、信号処理部１０３は、機能画素ＳＡ（ｍ＋４，ｎ＋１２）及び機能画素ＳＢ（ｍ＋５，ｎ＋１３）に対して、飽和画素９０１からのブルーミングの影響を低減できる。
【００４９】
なお、信号処理部１０３は、機能画素ＳＡ及びＳＢの画素信号の補正だけではなく、撮像画素が飽和しないように、露出を制御してもよい。具体的には、信号処理部１０３は、撮像画素の飽和が検出された場合には、撮像画素の電荷蓄積時間を短くする等により、撮像画素の露出が小さくなるように変更する。また、本実施形態では、機能画素の例として焦点検出用画素を示したが、その他、メモリ内蔵画素や遮光画素など、別の機能画素でもよい。なお、機能画素として焦点検出用画素について例示したが、これに限られるものでなく、画素構成として感度、開口、露光時間等が通常の撮像画素と異なる画素を有している場合には、本発明を提供することでブルーミングによる影響を低減することが可能となる。特に撮像画素と機能画素との露出を異ならせて読み出す場合に効果的である。また、ブルーミング対策として機能画素における検出結果を組み合わせて用いてもよいし、撮像画素の飽和の検出に機能画素を用いてもよい。
【００５０】
以上、第１の実施形態では、撮像画素の画素信号の飽和の検出方法と、飽和を検出した場合の機能画素へのブルーミングによる影響を低減する処理について説明した。本実施形態によれば、撮像画素の電荷蓄積時間の制限を緩和することができる。特に撮像画素の内に離散的に機能画素が配置されている場合に好適である。
【００５１】
（第２の実施形態）
図１０は、本発明の第２の実施形態に係る撮像素子部１０１の構成例を示す図である。以下、図１０が図２と異なる点を説明する。複数の画素２０１は、２つの画素群ａと画素群ｂに分割される。なお、３つ以上の画素群に分割してもよい。第１の実施形態では、構造が異なる撮像画素の画素群と機能画素の画素群について説明した。第２の実施形態では、画素群ａの画素２０１と画素群ｂの画素２０１の構造は同じである。図１０では、画素群ａは、第ｎ行の画素２０１と、第ｎ＋１行の画素２０１とを有する。画素群ｂは、第ｎ＋２行の画素２０１と、第ｎ＋３行の画素２０１とを有する。
【００５２】
なお、画素２０１の同一行に異なる画素群ａ及びｂがあってもよい。その場合、制御線Ｔｘｎ、ＲＥＳｎ、ＳＥＬｎは、画素群毎に異なる。画素群ａは、非図示の制御線Ｔｘｎａ、ＲＥＳｎａ、ＳＥＬｎａで制御される。画素群ｂは、非図示の制御線Ｔｘｎｂ、ＲＥＳｎｂ、ＳＥＬｎｂで制御される。
【００５３】
信号出力線２０２ａ及び２０２ｂは、図２の信号出力線２０２に対応し、画素２０１の出力信号を読み出し回路２０４へ出力する。信号出力線２０２ａは、画素群ａの画素２０１と読み出し回路２０４とを接続する。信号出力線２０２ｂは、画素群ｂの画素２０１と読み出し回路２０４とを接続する。
【００５４】
出力ポート２０７ａ及び２０７ｂは、図２の出力ポート２０７に対応し、信号処理回路２０６の出力信号を外部に出力する。出力ポート２０７ａは、画素群ａの画素２０１の信号を出力する。出力ポート２０７ｂは、画素群ｂの画素２０１の信号を出力する。
【００５５】
図１１は、撮像素子部１０１の制御方法を示すタイミングチャートであり、第ｎ行の画素２０１からアナログ信号を読み出す。複数の画素２０１は、画素群ａと画素群ｂとに分割され、それぞれ独立して読み出される。
【００５６】
ここでは、制御信号ΦＳＥＬａｎ、ΦＲＥＳａｎ、ΦＴｘａｎ、Ｓ／Ｈａ、ＡＤＣａは、画素群ａの制御信号である。制御信号ΦＳＥＬａｎ、ΦＲＥＳａｎ、ΦＴｘａｎは、第ｎ行の画素２０１のうちの画素群ａに属する画素２０１の制御信号である。
【００５７】
制御信号ΦＳＥＬｂｎ、ΦＲＥＳｂｎ、ΦＴｘｂｎ、Ｓ／Ｈｂ、ＡＤＣｂは、画素群ｂの制御信号である。制御信号ΦＳＥＬｂｎ、ΦＲＥＳｂｎ、ΦＴｘｂｎは、第ｎ行の画素２０１のうちの画素群ｂに属する画素２０１の制御信号である。また、画素群ｂは、画素群ａより４倍速いフレームレートで、画素信号を読み出す例を示す。
【００５８】
時刻ｔ１１０１では、垂直走査回路２０３は、制御線ＳＥＬｂｎの制御信号ΦＳＥＬｂｎをハイレベルにする。すると、第ｎ行の画素群ｂの画素２０１において、選択トランジスタ３０５がオンし、第ｎ行の画素群ｂの画素２０１が選択される。
【００５９】
時刻ｔ１１０２では、垂直走査回路２０３は、制御線ＲＥＳｂｎの制御信号ΦＲＥＳｂｎをハイレベルにする。すると、第ｎ行の画素群ｂの画素２０１において、リセットトランジスタ３０６がＦＤ３０３のリセットを開始する。
【００６０】
時刻ｔ１１０３では、垂直走査回路２０３は、制御線ＲＥＳｂｎの制御信号ΦＲＥＳｂｎをローレベルにする。すると、第ｎ行の画素群ｂの画素２０１において、リセットトランジスタ３０６がオフし、ＦＤ３０３のリセットが解除される。第ｎ行の画素群ｂの画素２０１は、ＦＤ３０３のリセット解除に基づくアナログのＮ信号を信号出力線２０２ｂに出力する。
【００６１】
時刻ｔ１１０４では、読み出し回路２０４は、内部のサンプルホールド回路により、画素群ｂのＮ信号のサンプルホールドを開始する。時刻ｔ１１０５では、読み出し回路２０４は、画素群ｂのＮ信号のサンプルホールドを終了する。
【００６２】
時刻ｔ１１０６では、読み出し回路２０４は、内部のアナログデジタル変換回路により、画素群ｂについて、アナログのＮ信号からデジタルのＮ信号への変換を開始する。時刻ｔ１１０７では、読み出し回路２０４は、画素群ｂについて、アナログのＮ信号からデジタルのＮ信号への変換を終了する。
【００６３】
時刻ｔ１１０８では、垂直走査回路２０３は、制御線Ｔｘｂｎの制御信号ΦＴｘｂｎをハイレベルにする。すると、第ｎ行の画素群ｂの画素２０１において、転送トランジスタ３０２は、フォトダイオード３０１からＦＤ３０３への電荷の転送を開始する。
【００６４】
時刻ｔ１１０９では、垂直走査回路２０３は、制御線Ｔｘｂｎの制御信号ΦＴｘｂｎをローレベルにする。すると、第ｎ行の画素群ｂの画素２０１において、転送トランジスタ３０２は、フォトダイオード３０１からＦＤ３０３への電荷の転送を終了する。第ｎ行の画素群ｂの画素２０１は、ＦＤ３０３の電荷に基づくアナログのＳ信号を信号出力線２０２ｂに出力する。
【００６５】
時刻ｔ１１１０では、読み出し回路２０４は、内部のサンプルホールド回路により、画素群ｂのＳ信号のサンプルホールドを開始する。時刻ｔ１１１１では、読み出し回路２０４は、画素群ｂのＳ信号のサンプルホールドを終了する。
【００６６】
時刻ｔ１１１２では、読み出し回路２０４は、内部のアナログデジタル変換回路により、画素群ｂについて、アナログのＳ信号からデジタルのＳ信号への変換を開始する。時刻ｔ１１１３では、読み出し回路２０４は、画素群ｂについて、アナログのＳ信号からデジタルのＳ信号への変換を終了する。信号処理回路２０６は、画素群ｂの画素２０１毎に、Ｓ信号とＮ信号との差分を画素信号として、出力ポート２０７ｂへ出力する。
【００６７】
時刻ｔ１１１４では、垂直走査回路２０３は、制御線ＳＥＬｂｎの制御信号ΦＳＥＬｂｎをローレベルにする。すると、第ｎ行の画素群ｂの画素２０１において、選択トランジスタ３０５がオフし、第ｎ行の画素群ｂの画素２０１の選択が解除される。
【００６８】
上記の時刻ｔ１１０１〜ｔ１１１４では、撮像素子部１０１は、画素群ｂの画素信号を読み出す。次に、時刻ｔ１１１５〜ｔ１１２８、時刻ｔ１１２９〜ｔ１１４２、時刻ｔ１１４３〜ｔ１１５６では、撮像素子部１０１は、時刻ｔ１１０１〜ｔ１１１４の処理と同様に、第ｎ行の画素群ｂの画素２０１の画素信号の読み出しを繰り返す。また、時刻ｔ１１４３〜ｔ１１５６では、第ｎ行の画素群ａの画素２０１の画素信号を読み出す。画素群ｂの１／４の周期で画素群ａの画素信号を読み出すことにより、画素群ｂを４回読み出す毎に、画素群ａを１回読み出す。時刻ｔ１１４３〜ｔ１１５６では、撮像素子部１０１は、画素群ｂの読み出しと同様に、画素群ａの読み出しを行う。撮像素子部１０１は、画素群ｂの１／４のフレームレートで、画素群ａの読み出しを行う。画素群ｂのフレームレートは、画素群ａのフレームレートより高い。画素群ａと画素群ｂは、読み出し時刻が異なる。以下、時刻ｔ１１０１〜ｔ１１５６の処理を繰り返す。
【００６９】
時刻ｔ１１４３では、垂直走査回路２０３は、制御線ＳＥＬａｎの制御信号ΦＳＥＬａｎをハイレベルにする。すると、第ｎ行の画素群ａの画素２０１において、選択トランジスタ３０５がオンし、第ｎ行の画素群ａの画素２０１が選択される。
【００７０】
時刻ｔ１１４４では、垂直走査回路２０３は、制御線ＲＥＳａｎの制御信号ΦＲＥＳａｎをハイレベルにする。すると、第ｎ行の画素群ａの画素２０１において、リセットトランジスタ３０６がＦＤ３０３のリセットを開始する。
【００７１】
時刻ｔ１１４５では、垂直走査回路２０３は、制御線ＲＥＳａｎの制御信号ΦＲＥＳａｎをローレベルにする。すると、第ｎ行の画素群ａの画素２０１において、リセットトランジスタ３０６がオフし、ＦＤ３０３のリセットが解除される。第ｎ行の画素群ａの画素２０１は、ＦＤ３０３のリセット解除に基づくアナログのＮ信号を信号出力線２０２ａに出力する。
【００７２】
時刻ｔ１１４６では、読み出し回路２０４は、内部のサンプルホールド回路により、画素群ａのＮ信号のサンプルホールドを開始する。時刻ｔ１１４７では、読み出し回路２０４は、画素群ａのＮ信号のサンプルホールドを終了する。
【００７３】
時刻ｔ１１４８では、読み出し回路２０４は、内部のアナログデジタル変換回路により、画素群ａについて、アナログのＮ信号からデジタルのＮ信号への変換を開始する。時刻ｔ１１４９では、読み出し回路２０４は、画素群ａについて、アナログのＮ信号からデジタルのＮ信号への変換を終了する。
【００７４】
時刻ｔ１１５０では、垂直走査回路２０３は、制御線Ｔｘａｎの制御信号ΦＴｘａｎをハイレベルにする。すると、第ｎ行の画素群ａの画素２０１において、転送トランジスタ３０２は、フォトダイオード３０１からＦＤ３０３への電荷の転送を開始する。
【００７５】
時刻ｔ１１５１では、垂直走査回路２０３は、制御線Ｔｘａｎの制御信号ΦＴｘａｎをローレベルにする。すると、第ｎ行の画素群ａの画素２０１において、転送トランジスタ３０２は、フォトダイオード３０１からＦＤ３０３への電荷の転送を終了する。第ｎ行の画素群ａの画素２０１は、ＦＤ３０３の電荷に基づくアナログのＳ信号を信号出力線２０２ａに出力する。
【００７６】
時刻ｔ１１５２では、読み出し回路２０４は、内部のサンプルホールド回路により、画素群ａのＳ信号のサンプルホールドを開始する。時刻ｔ１１５３では、読み出し回路２０４は、画素群ａのＳ信号のサンプルホールドを終了する。
【００７７】
時刻ｔ１１５４では、読み出し回路２０４は、内部のアナログデジタル変換回路により、画素群ａについて、アナログのＳ信号からデジタルのＳ信号への変換を開始する。時刻ｔ１１５５では、読み出し回路２０４は、画素群ａについて、アナログのＳ信号からデジタルのＳ信号への変換を終了する。信号処理回路２０６は、画素群ａの画素２０１毎に、Ｓ信号とＮ信号との差分を画素信号として、出力ポート２０７ａへ出力する。
【００７８】
時刻ｔ１１５６では、垂直走査回路２０３は、制御線ＳＥＬａｎの制御信号ΦＳＥＬａｎをローレベルにする。すると、第ｎ行の画素群ａの画素２０１において、選択トランジスタ３０５がオフし、第ｎ行の画素群ａの画素２０１の選択が解除される。
【００７９】
図１２は、撮像装置１００の制御方法を示すフローチャートである。以下、画素群ａ及び画素群ｂの読み出しと、飽和検出処理と、ブルーミング対策処理を説明する。ステップＳ１２０２では、撮像素子部１０１は、図１１で示した処理方法により、画素群ａ及びｂの画素２０１の画素信号の読み出しを行う。次に、ステップＳ１２０３では、信号処理部１０３は、図１３で後述する処理方法により、画素群ａの画素２０１の画素信号の飽和の有無を検出する。信号処理部１０３は、画素群ａの画素２０１の画素信号の飽和が検出されなかった場合には、ステップＳ１２０２に戻り、次の行の処理を繰り返す。信号処理部１０３は、画素群ａの画素２０１の画素信号の飽和が検出された場合には、ステップＳ１２０４に進む。ステップＳ１２０４では、信号処理部１０３は、図１４で後述するブルーミング対策処理を行う。
【００８０】
図１３（ａ）〜（ｃ）は、図１２のステップＳ１２０３の飽和検出処理を説明するための図である。図１３（ａ）は、図４（ａ）画素を並べた撮像素子部１０１の模式図である。画素群ａは、第ｎ行、第ｎ＋１行、第ｎ＋４行、第ｎ＋５行等のＲ、Ｇ、Ｂで示される画素２０１を有する。画素群ｂは、第ｎ＋２行、第ｎ＋３行、第ｎ＋６行、第ｎ＋７行等のｒ、ｇ、ｂで示される画素２０１を有する。画素群ａと画素群ｂとは、入れ子に並んでおり、画角が同様である。画素群ａ及びｂの画素２０１の構造は同じである。
【００８１】
撮像素子部１０１は、図１３（ａ）の画素群ａ及びｂから、図１１に示すタイミングで画素信号を読み出す。例えば、図１３（ａ）の画素１３０１に高輝度被写体が結像した場合、第ｍ＋５列、第ｍ＋６列かつ第ｎ＋９行、第ｎ＋１０行、第ｎ＋１１行、第ｎ＋１２行の画素が飽和画素となり、周囲の画素へブルーミングの影響を与える恐れがある。
【００８２】
図１１で説明した通り、画素群ｂは、画素群ａよりフレームレートが高い。そのため、画素群ａは、画素群ｂより電荷蓄積時間を長く設定できる。そのため、画素群ａの方が画素群ｂよりブルーミングが発生する飽和画素になりやすい。
【００８３】
他方、撮像素子部１０１は、画素群ａを１フレーム読み出す間に、画素群ｂを複数回読み出すことができ、本実施形態では４回読み出す。そのため、画素群ａの読み出し前に読み出した画素群ｂの画素信号と、画素群ａと画素群ｂとの露出から、画素群ａの飽和画素の有無を予測できる。
【００８４】
図１３（ｂ）は、画素群ａの飽和画素の予測方法を説明するための図であり、画素群ａと画素群ｂの時刻と読み出し行の関係を示す。破線は、画素群ａの読み出しを表し、実線は、画素群ｂの読み出しを表している。例えば、画素群ｂは、時刻ｔ１３０１からｔ１３０２にかけて最上行から順次読み出しを行う。そして、画素群ｂは、時刻ｔ１３０２の最下行の読み出し後、時刻ｔ１３０１と同様に、最上行から順次読み出しを行う。以降、画素群ｂは、同様の読み出しを繰り返す。
【００８５】
画素群ａは、時刻ｔ１３０４からｔ１３０５にかけて最上行から順次読み出しを行う。画素群ａは、画素群ｂの１／４のフレームレートである。そのため、図１３（ｂ）では、撮像素子部１０１は、画素群ｂの読み出しの４回毎に、画素群ａの読み出しを１回行っている。
【００８６】
次に、前述の飽和画素の検出について説明する。例えば、信号処理部１０３は、時刻ｔ１３０１〜ｔ１３０２で読み出された画素群ｂの画素信号を用いて、時刻ｔ１３０４〜ｔ１３０５で読み出された画素群ａの画素信号の飽和を検出する。
【００８７】
ここで、時刻ｔ１３０１〜ｔ１３０２で読み出された画素群ｂの画素信号を、信号ｂと呼ぶ。また、時刻ｔ１３０４〜ｔ１３０５で読み出された画素群ａの画素信号を、信号ａと呼ぶ。また、時刻ｔ１３０１〜ｔ１３０２で読み出された画素群ｂの露出を、露出ｂと呼ぶ。また、時刻ｔ１３０４〜ｔ１３０５で読み出された画素群ａの露出を、露出ａと呼ぶ。信号処理部１０３は、式（１）を用いて、信号ｂと、露出ｂと、露出ａとを基に、信号ａが飽和するか否かを予測する。飽和信号値は、信号ａが飽和信号か否かを判定するための予め定義された値である。
飽和信号値 ＜ 信号ｂ × 露出ａ ／ 露出ｂ      （１）
【００８８】
信号処理部１０３は、式（１）が成立する場合には、信号ａが飽和すると予測し、式（１）が成立しない場合には、信号ａが飽和していないと予測する。そして、信号処理部１０３は、信号ａが飽和すると予測した場合には、信号ａの画素の周辺の画素群ｂの画素信号に対してブルーミング対策処理を行う。
【００８９】
次に、図１３（ｃ）のように、画素群ａと画素群ｂとで読み出し速度が異なる場合を説明する。この場合、信号処理部１０３は、図１３（ｂ）のように、フレーム単位で飽和画素の有無を予測する場合、行によって画素群ａと画素群ｂとの読み出し時間の間隔が異なる場合に工夫が必要である。このような場合、信号処理部１０３は、画素群ａの行毎に、飽和予測に用いる画素群ｂのフレームを変える。例えば、信号処理部１０３は、読み出し行ｒ１３０１〜ｒ１３０５では、時刻ｔ１３２５〜ｔ１３２９で読み出す画素群ａの飽和予測に用いる画素群ｂを行毎に変える。
【００９０】
具体的には、信号処理部１０３は、時刻ｔ１３２５〜ｔ１３２６に読み出す読み出し行ｒ１３０１〜ｒ１３０２の画素群ａの飽和予測には、時刻ｔ１３２２〜ｔ１３２３の読み出し行ｒ１３０１〜ｒ１３０２の画素群ｂの画素信号を用いる。
【００９１】
同様に、信号処理部１０３は、時刻ｔ１３２６〜ｔ１３２７に読み出す読み出し行ｒ１３０２〜ｒ１３０３の画素群ａの飽和予測には、時刻ｔ１３２２〜ｔ１３２３の読み出し行ｒ１３０２〜ｒ１３０３の画素群ｂの画素信号を用いる。
【００９２】
以下同様に、信号処理部１０３は、画素群ａと画素群ｂとで読み出し速度が異なる場合、読み出し速度に応じて、飽和予測に用いる画素群ｂのフレームを行毎に切り替える。
【００９３】
図１４（ａ）及び（ｂ）は、図１２のステップＳ１２０４のブルーミング対策処理を説明するための図である。図１４（ａ）は、図１３（ｂ）と同様の図であり、破線は画素群ａの読み出しを示し、実線は画素群ｂの読み出しを示している。
【００９４】
図１３（ｂ）で説明した方法で、飽和画素を予測した場合、画素群ａが飽和してから画素群ａが読み出されるまでの期間、画素群ｂは画素群ａからのブルーミングの影響を受ける懸念がある。
【００９５】
例えば、信号処理部１０３が、時刻ｔ１４０１〜ｔ１４０２に読み出した画素群ｂの読み出し行ｒ１４０２〜ｒ１４０３の信号を基に、時刻ｔ１４０４〜ｔ１４０５に読み出した画素群ａの飽和を予測した場合を説明する。その場合、時刻ｔ１４０２〜ｔ１４０３、ｔ１４０３〜ｔ１４０４、ｔ１４０４〜ｔ１４０５に読み出した画素群ｂの読み出し行ｒ１４０２〜ｒ１４０３は、ブルーミングの影響を受けている。その場合、信号処理部１０３は、時刻ｔ１４０２〜ｔ１４０３、ｔ１４０３〜ｔ１４０４、ｔ１４０４〜ｔ１４０５に読み出した画素群ｂのブルーミングの影響を受ける画素の画素信号を、時刻ｔ１４０１〜ｔ１４０２に読み出す画素群ｂの画素信号を基に補間する。これにより、ブルーミングによる偽信号を補正することができる。
【００９６】
このとき、信号処理部１０３は、時刻ｔ１４０１〜ｔ１４０２ではなく、時刻ｔ１４０５〜ｔ１４０６のように、飽和信号を出力する画素群ａの後に読み出す画素群ｂの信号で補間してもよい。また、信号処理部１０３は、時刻ｔ１４０１〜ｔ１４０２とｔ１４０５〜ｔ１４０６のように、飽和画素を出力する画素群ａの時間の前後の時間の画素群ｂの信号の平均値で補間してもよい。
【００９７】
図１４（ｂ）は、図１３（ｃ）と同様に、画素群ａと画素群ｂとで読み出し速度が異なる場合を示す。信号処理部１０３が、時刻ｔ１４２２〜ｔ１４２３に読み出した画素群ｂの読み出し行ｒ１４１１〜ｒ１４１２の画素信号を基に、その後の時刻ｔ１４２５〜ｔ１４２９に読み出した画素群ａの飽和画素を予測した場合を説明する。その場合、信号処理部１０３は、時刻ｔ１４２２〜ｔ１４２３、ｔ１４２３〜ｔ１４２４、ｔ１４２４〜ｔ１４２５の飽和画素の周囲の画素の画素信号を、時刻ｔ１４２２〜ｔ１４２３の画素群ｂの画素信号を基に補間する。
【００９８】
また、信号処理部１０３は、図１４（ａ）の説明と同様に、時刻ｔ１４２６〜ｔ１４２７に読み出す画素群ｂの画素信号から補間してもよい。また、信号処理部１０３は、時刻ｔ１４２２〜ｔ１４２３に読み出す画素群ｂと時刻ｔ１４２６〜ｔ１４２７に読み出す画素群ｂの画素信号の平均値で補間してもよい。
【００９９】
以上、第２の実施形態では、画素群ａの飽和画素の検出方法と、飽和検出時の画素群ｂへのブルーミングによる影響を低減する処理について説明した。本実施形態によれば、撮像素子部１０１は、画素群ａと画素群ｂとで異なる時刻に電荷蓄積及び読み出しをし、画素群ａを読み出す前に読み出した画素群ｂへのブルーミングを事前に検出できる。なお、各画素群は行単位でなくても２次元的な領域単位としてもよい。
【０１００】
（第３の実施形態）
図１５は、本発明の第３の実施形態による撮像装置１００の制御方法を示すフローチャートであり、画素群ａ及び画素群ｂの読み出しと、飽和検出処理と、ブルーミング対策処理を示す。第２の実施形態では、異なるフレームレートの画素群ａ及びｂについて説明した。第３の実施形態では、図１０の撮像素子部１０１の構成を有し、フレームレートが同じ画素群ａ及びｂの電荷蓄積開始前の飽和画素からのブルーミング対策について説明する。
【０１０１】
ステップＳ１５０２では、撮像素子部１０１は、画素群ａ及びｂの画素２０１の画素信号の読み出しを行う。次に、ステップＳ１５０３では、信号処理部１０３は、図１６で後述する処理方法により、画素群ａの画素２０１の電荷蓄積開始前の飽和の有無を検出する。信号処理部１０３は、画素群ａの画素２０１の電荷蓄積開始前の飽和が検出されなかった場合には、ステップＳ１５０２に戻り、次の行の処理を繰り返す。信号処理部１０３は、画素群ａの画素２０１の電荷蓄積開始前の飽和が検出された場合には、ステップＳ１５０４に進む。ステップＳ１５０４では、信号処理部１０３は、図１６で後述するブルーミング対策処理を行う。
【０１０２】
図１６は、図１５のステップＳ１５０３の飽和検出処理を説明するための図である。画素群ａの飽和画素の予測について、図１６を用いて説明する。図１６に、画素群ａと画素群ｂの時刻と読み出し行の関係を示す。実線は、画素群ａと画素群ｂの読み出しを表す。一点鎖線は、画素群ａのリセットを表す。点線は、画素群ｂのリセットを表す。
【０１０３】
例えば、画素の最上行に着目すると、時刻ｔ１６０４に読み出す画素群ａの電荷蓄積時間は、時刻ｔ１６０３〜ｔ１６０４である。時刻ｔ１６０３は、画素群ａのリセットの時刻である。同様に、時刻ｔ１６０４に読み出す画素群ｂの電荷蓄積時間は、時刻ｔ１６０２〜ｔ１６０４である。時刻ｔ１６０２は、画素群ｂのリセットの時刻である。
【０１０４】
ここでは、電荷蓄積時間は、画素群ｂの方が画素群ａよりも長い。そのため、画素群ｂから画素群ａへのブルーミングが発生することがある。これに対しては、撮像素子部１０１は、画素群ｂの飽和を第１の実施形態の図６（ｃ）の方法で検出できる。
【０１０５】
他方、画素群ａが時刻ｔ１６０１〜ｔ１６０３に飽和すると、画素群ａから画素群ｂへブルーミングが発生することがある。その場合、画素群ａの信号は、時刻ｔ１６０３でリセットされ、時刻ｔ１６０４では飽和していない正常な信号が読み出される。そのため、読み出された信号値だけでは、画素群ａが電荷蓄積開始前の時刻ｔ１６０３までに飽和していたか否かはわからない。
【０１０６】
ここで、時刻ｔ１６０４に読み出される画素群ａの画素信号を信号ａと呼ぶ。また、信号ａの電荷蓄積時間ｔ１６０３〜ｔ１６０４を蓄積時間ａと呼ぶ。画素群ａの読み出し周期を周期ａと呼ぶ。信号処理部１０３は、式（２）を用いて、信号ａと、蓄積時間ａと、周期ａとを基に、電荷蓄積開始時刻ｔ１６０３の前の画素群ａの飽和を予測する。飽和信号値は、画素群ａが電荷蓄積開始前に飽和していたか否かを判定するための予め定義された値である。
飽和信号値 ＜ 信号ａ ／ 蓄積時間ａ × （周期ａ − 蓄積時間ａ）      （２）
【０１０７】
信号処理部１０３は、式（２）が成立する場合には、画素群ａが電荷蓄積開始前に飽和していたと判定し、画素群ａの周辺の画素群ｂの画素信号に対してブルーミング対策処理を行う。また、信号処理部１０３は、式（２）が成立しない場合には、画素群ａが電荷蓄積開始前に飽和していなかったと判定する。
【０１０８】
次に、図１５のステップＳ１５０４のブルーミング対策処理について説明する。第１及び第２の実施形態では、信号処理部１０３は、ブルーミングの影響を受けた画素群の画素を、同じ画素群の信号値から補間していた。具体的には、第１の実施形態では、信号処理部１０３は、同時刻の周囲の画素から補間する。第２の実施形態では、信号処理部１０３は、同画素の前後のフレームから補間する。
【０１０９】
これに対し、第３の実施形態では、信号処理部１０３は、異なる画素群の信号値から補間する。ここで、画素群ａから読み出した画素信号を信号ａと呼ぶ。また、画素群ａの電荷蓄積時間を蓄積時間ａと呼ぶ。また、画素群ｂの電荷蓄積時間を蓄積時間ｂと呼ぶ。信号処理部１０３は、図１６で説明した方法で画素群ａの飽和画素を検出した場合、式（３）のように、蓄積時間ｂと、蓄積時間ａと、信号ａとを基に、その画素群ａの飽和画素の周辺の画素群ｂの画素の補間信号値を求めることにより補正する。
補間信号値 ＝ 蓄積時間ｂ ／ 蓄積時間ａ × 信号ａ      （３）
【０１１０】
以上、第３の実施形態では、画素群ａの飽和画素の検出方法と、飽和検出時の画素群ｂへのブルーミングによる影響を低減する処理について説明した。本実施形態によれば、画素群ａの読み出しからリセットまでの期間に生じる画素群ｂへのブルーミングを、読み出した画素群ａの画素信号から検出することができる。
【０１１１】
なお、第２及び第３の実施形態では、信号処理部１０３は、画素群ａの画素の飽和が検出された場合には、画素群ａの画素の電荷蓄積時間を短くする等により、画素群ａの画素の露出が小さくなるように変更してもよい。
【０１１２】
（第４の実施形態）
本発明の第４の実施形態に係る撮像装置１００は、第１の実施形態に係る撮像装置１００に対して、同じ構成を有し、図８のステップＳ８０３の撮像画素の飽和検出方法（図６（ｃ））が異なる。以下、本実施形態が第１の実施形態と異なる点を説明する。
【０１１３】
図１７は、第４の実施形態の撮像画素及び機能画素の時刻と読み出し行の関係を示す図である。画素の読み出し周期は、一定ではない。時刻ｔ１７０２〜ｔ１７０３で読み出すフレーム（以下、検出フレームと呼ぶ）と、時刻ｔ７１０４〜ｔ１７０５で読み出すフレーム（以下、撮像フレームと呼ぶ）とは、電荷蓄積時間が異なっている。例えば、検出フレームは、機能画素（焦点検出用画素）の読み出しを行うフレームである。撮像フレームは、撮像画素の読み出しを行うフレームである。検出フレームの電荷蓄積時間は、時刻ｔ１７０１〜ｔ１７０２である。撮像フレームの電荷蓄積時間は、時刻ｔ１７０２〜ｔ１７０４であり、検出フレームの電荷蓄積時間より長い。
【０１１４】
信号処理部１０３は、式（４）により、検出フレーム信号と、撮像フレーム露出と検出フレーム露出との比を基に、撮像フレームで読み出す撮像画素の画素信号が飽和しているか否かを予測する。
飽和信号値 ＜ 検出フレーム信号 × 撮像フレーム露出 ／ 検出フレーム露出  （４）
【０１１５】
ここで、検出フレーム信号は、検出フレームで機能画素（焦点検出用画素）から読み出す画素信号である。撮像フレーム露出は、撮像フレームにおける撮像画素の露出である。検出フレーム露出は、検出フレームにおける機能画素（焦点検出用画素）の露出であり、撮像フレーム露出とは異なる。飽和信号値は、撮像画素の画素信号が飽和するか否かを判定するための予め定義された値である。撮像フレームの撮像画素の露出時間は、検出フレームの機能画素の露出時間より長い。なお、検出フレームでは、電子シャッタを用いて、検出フレーム露出を制御し、検出フレーム露出と撮像フレーム露出との比率を調整してもよい。
【０１１６】
図８のステップＳ８０３では、信号処理部１０３は、式（４）が成立する場合には、撮像画素が飽和すると予測し、ステップＳ８０４に進み、ブルーミング対策処理を行う。また、信号処理部１０３は、式（４）が成立しない場合には、ステップＳ８０２に戻り、次の行の処理を繰り返す。
【０１１７】
以上、本実施形態は、第１の実施形態と異なり、ＡＤ変換時に特別な仕組みが無くても、フレームレートの変更だけで撮像画素の飽和を検出できる。また、本実施形態は、第１の実施形態と異なり、撮像フレームより前に、撮像画素の飽和を検出できるため、撮像フレームのブルーミング対策処理の判断を事前に行うことができる。
【０１１８】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。撮像装置１００は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。
【符号の説明】
【０１１９】
２０１  画素、２０２  信号出力線、２０３  垂直走査回路、２０４  読み出し回路、２０５  水平走査回路、２０６  信号処理回路、２０７  出力ポート
【図１】
2019197985.tif 000003
【図２】
2019197985.tif 000004
【図３】
2019197985.tif 000005
【図４】
2019197985.tif 000006
【図５】
2019197985.tif 000007
【図６】
2019197985.tif 000008
【図７】
2019197985.tif 000009
【図８】
2019197985.tif 000010
【図９】
2019197985.tif 000011
【図１０】
2019197985.tif 000012
【図１１】
2019197985.tif 000013
【図１２】
2019197985.tif 000014
【図１３】
2019197985.tif 000015
【図１４】
2019197985.tif 000016
【図１５】
2019197985.tif 000017
【図１６】
2019197985.tif 000018
【図１７】
2019197985.tif 000019