(57)【特許請求の範囲】
【請求項１】
複数の単位画素の配列を有し、前記複数の単位画素の各々が複数の画素を含む、撮像手段と、
前記複数の単位画素の各々の前記複数の画素から出力される被写体像の複数の画素信号に基づいて飽和画素を検出する飽和検出手段と、
前記複数の画素のうちの一つからそれぞれ出力された前記複数の画素信号を合成して前記被写体像の第１の画像信号を生成する第１の画像信号生成手段と、
前記飽和検出手段による前記飽和画素の検出の結果を示す飽和情報を圧縮する圧縮手段と、
前記圧縮手段により圧縮された飽和情報を前記第１の画像信号と関連付けて外部に出力する出力手段と、
を備え、
前記飽和情報は、前記第１の画像信号を生成するのに用いられた前記複数の画素信号それぞれに対する飽和画素の検出の結果を示す情報、および前記複数の画素信号と対をなす前記複数の単位画素内の複数の画素信号それぞれに対する飽和画素の検出の結果を示す情報を圧縮したものであることを特徴とする撮像素子。
【請求項２】
前記撮像手段は、前記単位画素の配列に対応して配設された、前記被写体像を形成する撮影光学系の瞳分割手段を有し、
前記瞳分割手段は、複数のマイクロレンズを含むマイクロレンズアレイであり、
前記複数のマイクロレンズは、前記複数の単位画素にそれぞれ対応して配置されている
ことを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記複数の画素信号を合成して前記被写体像の第２の画像信号を生成する第２の画像信号生成手段をさらに備え、
前記出力手段はさらに、前記第２の画像信号を出力する
ことを特徴とする請求項１又は２に記載の撮像素子。
【請求項４】
前記第１の画像信号生成手段は、画像圧縮情報を取得し、前記画像圧縮情報に従って前記複数の画素のうちの前記一つからそれぞれ出力された前記複数の画素信号を合成して前記第１の画像信号を生成する
ことを特徴とする請求項１から３のいずれか１項に記載の撮像素子。
【請求項５】
前記飽和検出手段は、前記複数の画素のうちの所定の画素に対する飽和画素の検出の結果に基づいて前記飽和画素の検出の結果を示す情報を生成し、
前記出力手段は、前記第１の画像信号の所定の画素ごとに前記飽和画素の検出の結果を示す情報を付加する
ことを特徴とする請求項４に記載の撮像素子。
【請求項６】
前記画像圧縮情報は、信号量の圧縮方法を指示する情報であり、
前記圧縮方法は、少なくとも、複数の画素から出力される前記複数の画素信号を加算して一つの画素の画像信号を生成する方法、および複数の画素から出力される前記複数の画素信号の平均から一つの画素の画像信号を生成する方法のいずれかである
ことを特徴とする請求項４又は５に記載の撮像素子。
【請求項７】
前記飽和検出手段は、前記画素信号が所定の信号レベルより大きいことに基づいて前記飽和画素を検出する
ことを特徴とする請求項１から６のいずれか１項に記載の撮像素子。
【請求項８】
複数の単位画素の配列を有し、前記複数の単位画素の各々が複数の画素を含む、撮像手段を有する撮像素子の制御方法において、
前記複数の単位画素の各々の前記複数の画素から出力される被写体像の複数の画素信号に基づいて飽和画素を検出する飽和検出工程と、
前記複数の画素のうちの一つからそれぞれ出力された前記複数の画素信号を合成して前記被写体像の第１の画像信号を生成する第１の画像信号生成工程と、
前記飽和検出工程による前記飽和画素の検出の結果を示す飽和情報を圧縮する圧縮工程と、
前記圧縮工程により圧縮された飽和情報を前記第１の画像信号と関連付けて外部に出力する出力工程と、
を備え、
前記飽和情報は、前記第１の画像信号を生成するのに用いられた前記複数の画素信号それぞれに対する飽和画素の検出の結果を示す情報、および前記複数の画素信号と対をなす前記複数の単位画素内の複数の画素信号それぞれに対する飽和画素の検出の結果を示す情報を圧縮したものであることを特徴とする制御方法。
【請求項９】
請求項８に記載の制御方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項８に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【請求項１１】
被写体像を形成する撮影光学系と、
前記撮影光学系で形成された前記被写体像を撮像して画素信号を生成する請求項１から６のいずれか１項に記載の撮像素子と、
前記出力手段の出力を用いて前記撮影光学系の焦点調節を行う信号処理手段と、
を備えることを特徴とする撮像装置。
【請求項１２】
被写体像を形成する撮影光学系と、
前記撮影光学系で形成された前記被写体像を撮像して画素信号を生成する請求項３に記載の撮像素子と、
前記出力手段の出力を用いて前記撮影光学系の焦点調節を行う信号処理手段とを備え、
前記信号処理手段は、前記第１の画像信号と前記第２の画像信号とから、前記第１の画像信号に対して視差を有する第３の画像信号を生成する第３の画像信号生成手段と、前記第１の画像信号および前記第３の画像信号を用いて前記被写体像の焦点状態を検出し、前記焦点状態の検出の結果に従って前記撮影光学系の焦点調節を行う焦点調節手段とを有し、
前記焦点調節手段は、前記飽和画素の検出の結果を示す情報に従って、前記焦点調節を行うかどうかを決定する
ことを特徴とする撮像装置。
【請求項１３】
被写体像を形成する撮影光学系と、
前記撮影光学系で形成された前記被写体像を撮像して画素信号を生成する請求項３に記載の撮像素子と、
前記出力手段の出力を用いて前記撮影光学系の焦点調節を行う信号処理手段とを備え、
前記第１の画像信号生成手段は、画像圧縮情報を取得し、前記画像圧縮情報に従って前記複数の画素のうちの前記一つからそれぞれ出力された前記複数の画素信号を合成して前記第１の画像信号を生成し、
前記出力手段は、前記飽和画素の検出の結果を示す情報を、前記第１の画像信号に関連付けて出力し、
前記飽和検出手段は、前記複数の画素のうちの所定の画素に対する飽和画素の検出の結果に基づいて前記飽和画素の検出の結果を示す情報を生成し、
前記出力手段は、前記第１の画像信号の所定の画素ごとに前記飽和画素の検出の結果を示す情報を付加し、
前記信号処理手段は、前記第１の画像信号と前記第２の画像信号とから、前記第１の画像信号に対して視差を有する第３の画像信号を生成する第３の画像信号生成手段と、前記第１の画像信号および前記第３の画像信号を用いて前記被写体像の焦点状態を検出し、前記焦点状態の検出の結果に従って前記撮影光学系の焦点調節を行う焦点調節手段とを有し、
前記焦点調節手段は、前記飽和画素の検出の結果を示す情報に従って、前記焦点調節を行うかどうかを決定し、
前記焦点調節手段は、前記飽和画素の検出の結果を示す情報が付加されていない前記第１の画像信号の前記画素に対し所定の位置にある前記画素に付加されている前記飽和画素の検出の結果を示す情報を用いて、前記飽和画素の検出の結果を示す情報が付加されていない前記画素の前記情報を補間する
ことを特徴とする撮像装置。
【請求項１４】
前記第３の画像信号生成手段は、前記第２の画像信号から前記第１の画像信号を減算することで前記第３の画像信号を生成する
ことを特徴とする請求項１２又は１３に記載の撮像装置。
【請求項１５】
前記焦点調節手段は、前記飽和画素の検出の結果を示す情報に基づいて、検出された前記飽和画素の全画素に対する割合を示す情報を生成し、前記割合を示す情報に基づいて前記焦点調節を行うかどうかを決定し、前記割合が所定の閾値より大きい場合に、前記焦点調節を行わないと決定する
ことを特徴とする請求項１２から１４のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子及びその制御方法並びに撮像装置に関する。
【背景技術】
【０００２】
撮影レンズの焦点状態を検出する方式として、位相差検出方式（ずれ方式）がある。位相差検出方式では、撮影レンズの射出瞳を通過した光束を２分割し、２分割した光束を一組の焦点検出用センサでそれぞれ受光する。そして、その受光量に応じて一組の焦点検出用センサから出力される一対の像信号のずれ量、すなわち、光束の分割方向の一対の像の間の相対的位置ずれ量を検出することで、合焦させるために必要な撮影レンズの駆動量を直接求めるものである。従って、焦点検出用センサで一回の蓄積動作を行えば、ピントずれの量（デフォーカス量）とその方向とが得られるので、高速な焦点調節動作が可能である。
【０００３】
下記の特許文献１には、撮像素子に位相差検出機能を付与することで、専用の焦点検出用センサを不要とすると共に、高速の位相差ＡＦを実現するための技術が開示されている。
【０００４】
下記の特許文献２では、画素の面積が複数の光電変換部に分割されて１つの光電変換部あたりの光電変換信号を蓄積できる容量が減少してしまい、すなわち飽和までに蓄積できる光電変換電荷の量が減少するという問題に着眼している。分割された光電変換部の１つが飽和に達してしまうと、同一マイクロレンズに対応した光電変換部の出力を加算しても、飽和の影響により加算出力がリニアな特性とはならず、画質が劣化してしまう。
【０００５】
そして、特許文献２では、飽和に達した光電変換部の信号電荷が同一マイクロレンズに対応した別の光電変換部に漏れ出すように画素を構成する技術を開示している。この画素構造により、特許文献２では、飽和に達した光電変換部で光電変換された電荷が失われずに、同一マイクロレンズに対応した画素を加算したときのリニアリティを改善している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１３４３８９号公報
【特許文献２】特開２０１３−０８４７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術では、焦点の検出を良好に行い得ない場合があった。
【０００８】
本発明の目的は、焦点の検出を良好に行い得る撮像素子及びその制御方法並びに撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一観点によれば、複数の単位画素の配列を有し、前記複数の単位画素の各々が複数の画素を含む、撮像手段と、前記複数の単位画素の各々の前記複数の画素から出力される被写体像の複数の画素信号に基づいて飽和画素を検出する飽和検出手段と、前記複数の画素のうちの一つからそれぞれ出力された前記複数の画素信号を合成して前記被写体像の第１の画像信号を生成する第１の画像信号生成手段と、前記飽和検出手段による前記飽和画素の検出の結果を示す情報および前記第１の画像信号を出力する出力手段と、を備えることを特徴とする撮像素子が提供される。
【発明の効果】
【００１０】
本発明によれば、焦点の検出を良好に行い得る撮像素子及びその制御方法並びに撮像装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態による焦点調節装置を適用した撮像装置のシステム構成図である。
【図２（ａ）】図１に示す撮像装置が有する撮像素子の構成図である。
【図２（ｂ）】図１に示す撮像装置が有する撮像素子の構成図である。
【図２（ｃ）】図１に示す撮像装置が有する撮像素子の構成図である。
【図２（ｄ）】図１に示す撮像装置が有する撮像素子の構成図である。
【図３】入射光量に対する出力レベル特性を示す図である。
【図４】図２（ａ）〜図２（ｄ）に示す撮像素子から出力される画像信号のタイミングチャートを示す図である。
【図５】画像出力波形とその相関像を示す図である。
【図６】本発明の第１実施形態による焦点調節装置を適用した撮像信号の焦点調節動作のフローチャートを示す図である。
【図７】本発明の第２実施形態による焦点調節装置を適用した撮像装置のシステム構成図である。
【図８】本発明の第３実施形態による焦点調節装置を適用した撮像装置のシステム構成図である。
【図９】本発明の第３実施形態による焦点調節装置における画素信号の加算と飽和情報付与に関するシステム構成図である。
【図１０】本発明の第３実施形態による焦点調節装置を適用した撮像装置が有する撮像素子の画素配列を示す図である。
【発明を実施するための形態】
【００１２】
撮像素子の画素について、上述の特許文献１に開示されたような１画素が複数のフォトダイオード（光電変換部）で形成されている撮像部をもつ撮像装置を考える。この場合、焦点調節を行うためには、２つのフォトダイオードからの信号をそれぞれ別々に取得する必要があり、かつ、記録や表示用には２つのフォトダイオードから得られた信号をまとめた画素単位の撮像信号を取得する必要がある。そのため、撮像部の読み出し信号量が多くなって読み出し時間が増大し、撮像する画像の取得速度（フレームレート）が速くできないという問題があった。
また、上述の特許文献２では、最終的に得られる画像における許容飽和レベルが改善されて画質が向上するが、加算前の瞳分離像の飽和レベルは改善されることはなく、それどころか飽和した画素から漏れ出した電荷を吸収した画素の影響により像崩れが生じる。その結果、位相差を求める際の像の相関が悪化してしまう。すなわち、焦点検出に悪影響が生じて焦点検出精度が悪化するか、もしくは焦点検出不能な状態になってしまう。そのため、良好な画像が得られているにも関わらず焦点検出が不能となり、焦点検出が可能な時と焦点検出不能な時の区別がつかず、使用者を混乱させることにもなる。
以下、本発明の好適な実施の形態を、添付の図面を参照して詳細に説明する。
【００１３】
［第１実施形態］
図１から図５を参照して、本発明の第１実施形態について説明する。
【００１４】
最初に、本実施形態による焦点調節装置を適用した撮像装置のシステム構成について図１を用いて説明する。図１は、本実施形態による焦点調節装置を適用した撮像装置の要部のシステム構成図であり、本発明に直接関係しない構成については省略してある。
【００１５】
図１に示すように、本実施形態による撮像装置は、撮像素子１００と画像信号処理部１５０とを有している。撮像素子１００の前段に配された撮影光学系１０１は、ズームレンズ、絞り、フォーカスレンズ、シフトレンズなどで構成される。また、光学系駆動部１０２は、後述するＡＦ制御部１１１から出力されるフォーカス情報や、後述するシステム制御部１１２の光学系駆動情報に応じて撮影光学系１０１を制御する。これらの撮影光学系１０１、光学系駆動部１０２の一部あるいは全部は、着脱可能に構成されていてもよい。撮像部１０３は、それぞれが射出瞳を分割した領域を通る複数の光束をそれぞれ受光する複数の画素２０４，２０５を備えた複数の単位画素２００を含む。
【００１６】
また、飽和検出部１０４は、撮像部１０３から出力される瞳分割された複数の画素信号に基づいて飽和している画素を検出し、後述する第２の画像信号生成部１０６に検出結果を出力する。具体的には、飽和検出部１０４は、画素信号が所定の信号レベルより大きい信号である場合に飽和画素であると検出する。飽和画素を検出する際の画素信号の形態としては、撮像部１０３から得られる信号の形態（例えばＲＧＢの信号）でもよいし、それらから得られる輝度信号、明度信号などでもよい。また、飽和画素であるか否かの２値ではなく、飽和の程度を多段階で検出するようにしてもよい。第１の画像信号生成部１０５は、撮像部１０３から出力される瞳分割された複数の画素信号を合成して表示記録用の第１の画像信号を生成する。第２の画像信号生成部１０６は、システム制御部１１２から供給された画像圧縮情報に基づき、撮像部１０３から出力される瞳分割された複数の画素信号を圧縮して、焦点検出用の第２の画像信号を生成する。また、飽和検出部１０４の検出結果に基づき第２の画像信号に飽和画素情報を付加する。
【００１７】
以上のように、撮像部１０３、飽和検出部１０４、第１の画像信号生成部１０５、第２の画像信号生成部１０６からなる撮像素子１００から、表示記録用画像信号と位相差検出用画像信号とが出力される。
【００１８】
画像信号処理部１５０において、記録表示用画像信号処理部１０７は、第１の画像信号生成部１０５で合成された表示・記録用画像信号に画像処理を行い、表示記録用の画像信号を生成して表示部１１３、記録部１１４に送出する。第３の画像信号生成部１０８は、システム制御部１１２から入力された画像圧縮情報に基づき、第１の画像信号生成部１０５で生成された表示・記録用画像信号から画像信号を圧縮して第３の画像信号を生成する。その際、画像信号の圧縮は、第３の画像信号が、第２の画像信号生成部１０６から送出された焦点検出用の第２の画像信号と、撮像素子１００の瞳分割された画素とに対応するように行われる。
【００１９】
また、位相差検出信号生成部１０９は、第３の画像信号生成部１０８より送出された第３の画像信号と、第２の画像信号生成部１０６から送出された焦点検出用の第２の画像信号を受信する。位相差検出信号生成部１０９は、これら受信した信号から瞳分割された画像信号を生成することにより焦点検出に必要な位相差検出信号を生成する。このとき、第２の画像信号に付加されている飽和画素情報を計数した飽和計数情報も合わせて生成する。
【００２０】
焦点検出部１１０は、位相差検出信号生成部１０９で生成された対となる位相差検出用信号に対する相関演算により位相差情報を算出する。
【００２１】
また、ＡＦ制御部１１１は、算出された位相差情報に基づいて、撮影光学系１０１のフォーカス位置を制御するためのフォーカス情報を算出する。システム制御部１１２は、撮像装置全体を制御するものであり、ユーザ指示や撮影シーン検出、被写体検出などから得られる撮影情報に基づいて、焦点検出を行う位置や大きさを求めて画像圧縮方法を決定する。決定した画像圧縮方法は、第２の画像信号生成部１０６および第３の画像信号生成部１０８に対して画像圧縮情報として送出される。
【００２２】
以上が、本実施形態による焦点調節装置を適用した撮像装置のシステム構成である。
【００２３】
続いて、図２（ａ）〜図２（ｄ）を参照して、本実施形態による撮像装置における撮像部１０３の構成について説明する。撮像部１０３は、ＸＹアドレス型の走査方法を用いた撮像素子であり、例えばＣＭＯＳイメージセンサである。
図２（ａ）は、撮像部１０３の撮像面に形成されている画素配列を構成する複数の単位画素（画素部）２００の一つを示している。マイクロレンズ２０１も各単位画素に対応して配設されてマイクロレンズアレイを構成している。
【００２４】
図２（ａ）は、画素に光を集光するためのマイクロレンズ２０１とカラーフィルタ２０２とを示しており、一般にＲＧＢなどの色で一定周期の繰り返しで配列される。図２（ａ）は、配線層２０３と画素２０４、２０５も示している。
【００２５】
図２（ｄ）は、画素部２００を含む撮像部１０３の全体構成図である。図２（ｄ）においては、説明を分かり易くするために３行×４列分の画素部２００が配列された構成を示しているが、実際には通常、数十万〜数千万の画素部２００が配列されている。また、実際の撮像部１０３は、画素部２００が所定のアスペクト比で２次元状に配置される。また、画素部２００ごとにＲ、Ｇ、Ｂいずれかの色相のカラーフィルタにより覆われていてもよく、例えば、Ｒ、Ｇ、Ｂのカラーフィルタがベイヤー配列で配置されるように構成してもよい。
【００２６】
以下、図２（ａ）、図２（ｃ）、図２（ｄ）を参照して、撮像部１０３における各ブロックの動作について説明する。ＦＤ（フローティングデフュージョン部）２０６は、光電変換部（フォトダイオード）２１１で発生した電荷を一時的に蓄積する蓄積領域となる。転送スイッチ２０７は、光電変換部２１１で発生した電荷を、転送パルスｐＴＸによって、ＦＤ２０６に転送する。リセットスイッチ２０８は、リセットパルスｐＲＥＳによって、ＦＤ２０６に蓄積された電荷を除去する。増幅ＭＯＳトランジスタ２０９は、ソースフォロアアンプとして機能する。
【００２７】
転送スイッチ２０７、リセットスイッチ２０８、および、選択スイッチ２１４の各々のゲート電極は、行単位で、ｐＴＸ、ｐＲＥＳ、ｐＳＥＬを供給する信号線にそれぞれに接続され、垂直走査回路２１３によって選択走査される。また、リセットスイッチ２０８および増幅ＭＯＳトランジスタ２０９は、電源ライン２１０に接続されている。定電流源２１５は、増幅ＭＯＳトランジスタ２０９の負荷となる。画素部２００および定電流源２１５は、信号出力線２１２を介して、列ＡＤ変換回路２１６に列単位で接続される。ＦＤ２０６、増幅ＭＯＳトランジスタ２０９、および、定電流源２１５により、フローティングディフュージョンアンプが構成される。選択スイッチ２１４で選択された画素の信号電荷が電圧に変換され、信号出力線２１２を経て、列ＡＤ変換回路２１６に出力される。
【００２８】
列ＡＤ変換回路２１６は、画素部２００から出力される電圧信号をデジタルコードに変換する回路である。列ＡＤ変換回路２１６は、一般的には、電圧信号とランプ波形とをコンパレータで比較し、ランプ波形出力の開始とともにカウンターを回すことで、電圧信号とランプ波形とが一致したときのカウンター値をデジタルコードとして変換するように構成されている。
【００２９】
ラインメモリ２１７は、列ＡＤ変換回路２１６でデジタルコードに変換された画素部２００の出力をデジタル信号として記憶する。タイミング制御・信号処理回路２１８は、図１の飽和検出部１０４、第１の画像信号生成部１０５、第２の画像信号生成部１０６を含む。タイミング制御・信号処理回路２１８は、システム制御部１１２からの指示情報に基づいて、ラインメモリ２１７に記憶されているデジタル信号を処理し、画像信号として出力する。また、タイミング制御・信号処理回路２１８は、図２（ａ）に示されるような隣り合う２つの画素２０４、２０５のデジタル信号（画像信号）を同時刻にラインメモリ２１７から読み出す。また、タイミング制御・信号処理回路２１８は、画素２０４、２０５から読み出したデジタル信号を第１の画像信号生成部１０５や第２の画像信号生成部１０６により撮像素子１００内で加算して出力するようにも構成されている。
【００３０】
通常の撮像素子では、画素２０４と画素２０５とが分割されていない。これに対し、本発明の前提となる画素構造では、瞳分割手段であるマイクロレンズ２０１とそれに対応する分割された画素（分割画素）２０４と画素（分割画素）２０５とによって瞳分割像を得る。画素２０４のみの画素を集めて構成した画像（以下、Ａ像）と画素２０５のみの画素を集めて構成した画像（以下、Ｂ像）とでは瞳が分割されているため、視差が生じる。その視差は、焦点検出やステレオ画像を得るなどの用途で利用できる。
【００３１】
また、第１の画像信号生成部１０５にて画素２０５と画素２０４の画素値を加算すれば、一般の画素と同じ瞳形状に戻るため、加算画素に対して一般的な信号処理をすれば従来の一般的な撮像素子と同様の画像を得ることができる。以降、第１の画像信号生成部１０５で合成された第１の画像信号をＡ＋Ｂ像と称する。
【００３２】
また、第２の画像信号生成部１０６が、システム制御部１１２から供給された画像圧縮情報に基づき、撮像部１０３から出力される瞳分割された複数の画素信号を圧縮して、焦点検出用の画像信号を生成する。具体的には、撮像部１０３から読み出されたＡ像またはＢ像のうちのいずれかの画像信号に対して圧縮処理を行う。本実施形態では、Ａ像に対して圧縮処理を行うものとして説明する。すなわち、本実施形態では、第２の画像信号生成部１０６が、信号量の圧縮されたＡ像の画像信号を生成する。これに対応するＢ像信号は、Ａ像と同様に圧縮された、第３の画像信号生成部１０８からのＡ＋Ｂ像の画像信号と、第２の画像信号生成部１０６からのＡ像の画像信号とから、位相差検出信号生成部１０９によって生成される。
【００３３】
圧縮の方法としては、所定数の複数の画素を加算または平均することによって圧縮する方法を用いる。これは全画素をサンプリングすることで圧縮処理後の画素の全体としての精度を高めるためである。画像を圧縮する処理として他に一部の画素を間引いて読み出すなどしてもよい。
【００３４】
第１の画像信号生成部１０５にて生成された第１の画像信号（Ａ＋Ｂ像）、第２の画像信号生成部１０６で生成された第２の画像信号（圧縮処理されたＡ像）は、撮像素子１００から画像信号処理部１５０に伝送される。
【００３５】
図４は、撮像素子１００から画像信号処理部１５０への画像信号の伝送にかかる時間を説明するためのタイミングチャートを示す図である。本実施形態では、水平同期期間中に、同一伝送路において同一データレートでＡ像とＡ＋Ｂ像の画像信号を順次伝送するものとして説明する。Ａ像を圧縮処理しない状態での伝送（図４（ａ））に比べて、水平方向に圧縮した状態での伝送（図４（ｂ））では、時間のかかる撮像素子１００から画像信号処理部１５０への伝送における伝送時間を大幅に減らすことができる。垂直方向にも圧縮すればさらに伝送時間を減らすことも可能である。このように撮像素子１００から複数の画像信号を取得するが、撮像素子１００内で圧縮処理を行った後に画像信号を後段の画像信号処理部１５０に伝送することで、システム全体として画像の取得速度（フレームレート）の低下を抑えることが可能となる。これにより検出周期も低下させることなく、位相差情報を用いた高速な焦点調節動作に加え、追従性も保たれる。ただし、撮像素子１００内でＡ像の画像信号を圧縮するため、その後の画像信号処理部１５０で各画素の飽和検出ができなくなる。そのため、本実施形態では、撮像素子１００内で飽和検出部１０４を設け、その検出結果を、圧縮処理がなされた画素に対応づけて付与して画像信号処理部１５０へ伝送する。
【００３６】
記録表示用画像信号処理部１０７は、第１の画像信号生成部１０５から得られたＡ＋Ｂ像の画像信号に対し、アパーチャ補正、ガンマ補正、ホワイトバランスなどの画像処理を行う。そして、記録表示用画像信号処理部１０７は、記録表示用の画像信号を生成し、表示部１１３と記録部１１４に画像信号を送出する。
【００３７】
第３の画像信号生成部１０８は、システム制御部１１２からの圧縮情報に基づいて、第２の画像信号生成部１０６が行ったのと同一の方法により第１の画像信号生成部１０５から得られたＡ＋Ｂ像の画像信号を圧縮し、第３の画像信号を生成する（図４（ｃ））。すなわち、圧縮が加算や平均によるものであれば、加算処理や平均処理をする画素数と画素位置を第２の画像信号生成部１０６と同一にする。これにより、第２の画像信号生成部１０６から出力されるＡ像と、第３の画像信号生成部１０８から出力されるＡ＋Ｂ像を、撮像素子１００上での瞳分割された画素位置に対応づけることができる。
【００３８】
位相差検出信号生成部１０９は、第３の画像信号生成部１０８より送出されたＡ＋Ｂ像の画像信号と、第２の画像信号生成部１０６から送出された焦点検出用のＡ像の画像信号から、瞳分割されたＡ像と対になるＢ像の画像信号を生成する。これにより、位相差検出信号生成部１０９は、焦点検出（焦点状態の検出）に必要な位相差検出信号であるＡ像とＢ像の画像信号を生成する（図４（ｄ））。本実施形態では、第１の画像信号生成部１０５が、Ａ像とそれと対になるＢ像との加算信号としてＡ＋Ｂ像の画像信号を生成しているので、Ａ＋Ｂ像よりＡ像を減算することでＢ像の画像信号を生成できる。焦点検出部１１０は、対を成すＡ像とＢ像の位相差検出用信号に相関演算処理を行い、撮影光学系１０１で形成された被写体像の位相差情報（焦点状態）を算出する。
【００３９】
ここで飽和の問題と相関演算に関して図３を用いて説明する。図３は、画素への入射光とその出力との関係を示す図である。横軸はマイクロレンズ２０１に入射する光量、縦軸は画素から出力される画素値を示している。
【００４０】
図３において、特性曲線３０１は画素を分割しない場合の画像出力の特性を示しており、飽和レベルに達するまでそのリニアリティが保たれている。もし、マイクロレンズ２０１に入射した光が分割した画素に均等に当たれば、分割画素を加算した場合、特性曲線３０１で示すような特性になる。しかし、像高中心で且つ焦点が合っている状態でもない限り、分割画素に当たる光は均等にはならない。そのため、分割画素によって飽和レベルに達するまでの時間が異なる。
【００４１】
図２（ｂ）は像高の高い場所の画素、つまり撮像面の周辺の画素に光が当たっている様子を示している。撮像面の周辺の画素では光は斜めから入射するため、画素２０４のほとんどに光があたらない状態となり、画素２０５ばかりに光が当たる。したがって画素２０５が先に飽和に達してしまう。図３は、画素２０５の特性曲線３０３と、画素２０４の特性曲線３０４とを示している。特性曲線３０３が先に飽和レベルに達してしまうため、画素２０５と画素２０４を加算した画素信号の特性は、特性曲線３０２のようになってしまい、特性曲線３０１で示された特性に比べて早く飽和の影響が出てしまう。
【００４２】
その影響を避ける対策として、特許文献２のような画素構造にする方法がある。飽和に達してしまった場合に画素２０５で発生した電荷が画素２０４に漏れこむ構造にすることで、画素２０５と画素２０４の値を加算したときに特性曲線３０１のような特性を示す。その場合の画素２０４の特性は、図３（ｂ）の特性曲線３０５のようになる。特性曲線３０５のカーブは特性曲線３０３が飽和に達してから入射光に対する出力の傾きが立ってきている。さらに、Ａ像とＢ像はデフォーカス量に応じて視差がつくため、ボケた画像においては大きくレベルが異なることになるが、飽和した電荷が漏れることにより画像のハイライト部分においてはＡ像とＢ像が共に飽和してしまう。
【００４３】
図５（ａ）は、デフォーカスしたＡ像とＢ像の一部が共に飽和を起こしている例である。Ａ像とＢ像の像ずれ量に基線長で決まる定数を掛けることでデフォーカス量を算出することができる。図５（ａ）は、Ｂ像の撮像出力の波形５０１と、Ａ像の撮像出力の波形５０２とを示している。
【００４４】
Ａ像とＢ像は像ずれを起こしているため、デフォーカス量を求めることができるべきだが、飽和を起こしている部分においては像がずれていない。図５（ａ）の場合、その影響度が大きいため、Ａ像とＢ像が像ずれしていない位置での一致度が最も高くなってしまう。つまり、相関演算の結果、像ずれしていないと判断されるため、合焦状態にあると誤判断されてしまう。
【００４５】
図５（ｂ）は、図５（ａ）のＡ像５０２とＢ像５０１を相関演算して得られる相関像である。相関像とは、Ａ像とＢ像を少しずつずらした、ずれ量に応じて得られる相関量を像として表わしたものである。相関量としては、ＳＡＤと呼ばれる差の絶対値の総和やＳＳＤと呼ばれる差の絶対値の二乗の総和などの指標が一般的である。
【００４６】
図５（ｂ）の横軸の目盛り０の位置がずれ量０に対応し、相関量が最も小さくなっている。相関量の最も小さくなっている場所は相関の高い場所であり、図５（ｂ）の例ではずれ量０の部分の像の一致度が最も高いといえる。このように、飽和による電荷漏れが発生すると、実際のデフォーカス量とは無関係にデフォーカス量０に引っ張られてしまうという現象が発生する。
【００４７】
そこで、焦点検出部１１０は、飽和計数情報に基づいて、出力される画像が飽和を多く含んでいるかどうかを判定する。本実施形態においては、全体の１０％が飽和画素であった場合には、算出する位相差情報の信頼性が低く、合焦状態を誤判断する可能性が高いとして位相差焦点検出処理を行わない。
【００４８】
ここで、飽和検出部１０４による飽和検出について説明する。検出方法は、各画素値が設定された分割画素飽和レベル以上かどうかに従って飽和を判定して検出する方法とする。この場合、飽和検出部１０４は、撮像部１０３から出力された、圧縮処理（加算または平均）の対象である複数の画素信号に対応するすべての画素に対して飽和検出を行う。これは、第１の画像信号生成部１０５によるＡ＋Ｂ像または第２の画像信号生成部１０６によるＡ像において、仮に一部の画素が飽和していた場合に、画素値がなまることで、最終的に飽和画素として判定されない可能性を避けるためである。画素値が飽和に達せずになまってはいても、Ａ像とＢ像の相関関係は崩れているため、相関演算の算出結果には飽和の影響が及んでしまう。そこで撮像素子１００内でかつ画像信号に加工を入れる前の状態で飽和検出を行うことで、飽和画素情報の精度が向上し、より相関演算の信頼判定が正しいものとなる。
【００４９】
また第２の画像信号生成部１０６は、飽和検出部１０４の結果を受けて、加算または平均に用いる複数の画素のうち同色画素で連続して飽和している画素があった場合に、削減処理後の画素に飽和情報を付与する。これはセンサのキズ画素を飽和画素として誤検出しないようにするためである。
【００５０】
図６は、撮像部１０３から電気信号（画素信号）が出力されてＡＦ制御部１１１がＡＦ制御を行うまでの動作のフローチャートを示す。また、このフローチャートでは画像の圧縮方法として加算を用いるものとして記述する。本動作は、システム制御部１１２が制御プログラムを実行して撮像装置の各部を制御することで実現される。
【００５１】
ステップＳ６０１では、撮像部１０３からＡ像とＢ像の画素信号が取得される。次いで、ステップＳ６０２で、取得された各画像の画素信号に対して飽和検出部１０４で画素毎に飽和検出を行う。
【００５２】
ステップＳ６０３では、第１の画像信号生成部１０５によりＡ像とＢ像を加算することでＡ＋Ｂ像の信号が生成され、第２の画像信号生成部１０６によりＡ像の加算処理が行われ、Ａ像の画素信号を圧縮する。ステップＳ６０４では、第２の画像信号生成部１０６が、飽和検出結果に基づいて、加算後のＡ像の各画素に飽和検出部１０４による飽和検出で得られた飽和画素情報を付加する。そして、Ａ＋Ｂ像の画素信号、飽和画素情報が付与され加算されたＡ像の画素信号が、撮像素子１００から出力される。出力された画素信号は第１の画像信号生成部１０５と第２の画像信号生成部１０６のラインメモリにそれぞれ蓄積され、相関演算はライン単位で行われる。
【００５３】
ステップＳ６０５では、第３の画像信号生成部１０８が、撮像素子１００から得られるＡ＋Ｂ像の画像信号を加算されたＡ像の画素信号に対応するように加算する。ステップＳ６０６では、位相差検出信号生成部１０９により、Ａ＋Ｂ像からＡ像を引いてＢ像の画像信号を生成し、Ａ像とＢ像それぞれの画像信号を出力する。また、位相差検出信号生成部１０９ではその他それぞれの画像信号から高周波成分を抽出するためのフィルタ処理など、各種相関演算のために好ましい処理を施してよいものとする。
【００５４】
ステップＳ６０７では、焦点検出部１１０により各ラインでの飽和画素情報の数を計数し、飽和計数情報を生成する。ステップＳ６０８では、対象ラインの飽和計数情報が閾値以下である場合、ステップＳ６０９に進む。飽和計数情報が閾値より大きい場合は、対象ラインで相関演算をしても飽和画素の影響で正しい位相差情報が得られない可能性が高いため、相関演算は実行せず、次のラインへの処理へ移る。ステップＳ６０９では、焦点検出部１１０により相関演算を行う。ステップＳ６１０では、現在設定されている焦点検出の対象となっている画像内の焦点検出領域の全てのラインで相関演算が行われたか否かを判定し、行われていればステップＳ６１１に進む。まだ全てのラインで処理が行われていなければ、ステップＳ６０５に戻り、次のラインの処理へ進む。ステップＳ６１１では、ＡＦ制御部１１１が相関演算の結果からフォーカス情報（デフォーカス量）を算出し、算出したフォーカス情報に従って光学系駆動部１０２を駆動してフォーカス位置を制御する。
【００５５】
以上説明した本発明の第１実施形態によれば、位相差検出方式の焦点調節において高速な焦点調節動作に加え、撮像素子１００内での画像圧縮により画像の取得速度の低下を抑え追従性も維持する。さらに、撮像素子１００内で飽和検出を行い、飽和画素の検出の結果を示す情報を画素信号と関連付けて出力させることで、適切な精度の飽和検出を可能とする。
【００５６】
［第２実施形態］
次に、図７を参照して、本発明の第２実施形態について説明する。
図７は、第２実施形態による焦点調節装置を適用した撮像装置のシステム構成を示し、図７において、図１に示した第１実施形態の構成と同様の部分については同じ符号を付して示し、その説明を省略する。
【００５７】
本実施形態では、飽和画素情報を第２の画像信号に付加するのでなく、飽和画素情報を独立した情報として、焦点検出部１１０に出力する構成をとる。他の構成は第１実施形態と同様であるので、以下、第１実施形態と相違する構成について説明する。図７において、飽和画素情報生成部７１０は、飽和検出部１０４によるＡ像とＢ像の各画素に対する飽和検出の結果から飽和画素情報を生成し、飽和画素情報を焦点検出部１１０に出力する。
【００５８】
ここで飽和画素情報生成部７１０が生成する飽和画素情報について説明する。本実施形態においては、システム制御部１１２から画像の圧縮方法の情報を取得し、それに合わせて圧縮処理後の各画素に対応した飽和画素情報を生成する。また、第１実施形態とは異なり、画素毎に情報を持つのでなく、飽和と判定された画素の位置情報として、飽和画素に関連付けられた飽和画素情報として出力する。
【００５９】
これにより、第２の画像信号に付加していた飽和画素情報が圧縮され、かつ飽和した画素の位置情報のみを出力することで画像の取得速度をさらに向上させることができる。
【００６０】
［第３実施形態］
次に、図８から図１０を参照して、本発明の第３実施形態について説明する。
図８は、第３実施形態による焦点調節装置を適用した撮像装置のシステム構成を示し、図８において、図１に示した第１実施形態の構成と同様の部分については同じ符号を付して示し、その説明を省略する。
【００６１】
本実施形態は、飽和画素情報を第２の画像信号に付加する際に、圧縮（加算または平均）に用いた画素だけでなく隣接画素の情報も参照し、より多くの画素をサンプリングして飽和画素情報を生成する。そしてその分、圧縮処理後の画素に付加する飽和情報を圧縮できる構成をとる。
【００６２】
図８において、飽和画素情報付与部８１０は、飽和検出部１０４によるＡ像とＢ像の各画素の検出結果とシステム制御部１１２から供給された飽和付与圧縮情報により飽和画素情報を生成する。そして生成した飽和画素情報を第２の画像信号に付加し、位相差検出信号生成部１０９に出力する。
【００６３】
ここで、飽和画素情報付与部８１０が生成する飽和画素情報と、飽和画素情報を第２の画像信号に対して付加する構成について、図９および図１０を用いて説明する。
【００６４】
図９は、本実施形態での、撮像部１０３、飽和検出部１０４、第２の画像信号生成部１０６、飽和画素情報付与部８１０間でのデータの流れを示している。なお、システム制御部１１２から第２の画像信号生成部１０６への画像圧縮情報としては、４画素加算という情報が供給されているものとする。
【００６５】
図１０は、撮像部１０３の撮像面の画素配列を示す図である。図１０において、符号１００３と符号１００４はそれぞれグリーンのＡ像画素、Ｂ像画素を示している。符号１００１はレッドのＢ像画素を示しており、符号１００２はブルーのＡ像画素を示している。この場合、Ａ像画素とＢ像画素とをあわせて１つの画素にすると、ＲＧＢのベイヤー配列という配列になる。このとき、第２の画像信号生成部１０６にはＡ像の画素信号のみが入力され、飽和検出部１０４にはＡ像およびＢ像の画素信号が入力される。また、いずれの場合も、画素信号は画素配列の水平ラインの並びに従って順次出力される。つまり、最初はグリーン、レッドの画素信号が交互に出力され、１ライン分終わると、次はブルー、グリーンの画素信号が交互に出力される。
【００６６】
図９に示す撮像部１０３では、図１０の画素配列においてグリーンとレッドの画素が交互に配置された水平ラインのＡ像用画素を１２画素だけ示している。まず、撮像部１０３から出力される画素信号は、４画素毎に第２の画像信号生成部１０６の加算部９０６によって加算され、１画素信号として飽和画素情報付与部８１０に出力される。一方、飽和検出部１０４では、飽和判定部９０４が、各画素値が設定された飽和レベル以上かどうかを判定し、各画素の判定結果を飽和画素情報付与部８１０に出力する。
【００６７】
次に、飽和画素情報付与部８１０では、入力された飽和判定結果を加算後の画素信号に付与する。このとき、システム制御部１１２から供給される飽和付与圧縮情報により、各画素の飽和結果をどのようにまとめるかを判断する。本実施形態においては、同色画素判定部９１６が、同色の画素が３つ連続で飽和していた場合に飽和と判定する。複合画素判定部９２６においては、水平方向に隣接する異なる色の画素について、いずれかの色の画素について同色画素判定部９１６が飽和していると判定していれば飽和画素であるとみなす。そして、飽和情報付与部９３６で複合画素判定部９２６の出力結果を加算後の画素に付与し、後段部に出力する。このとき、飽和検出結果を加算画素数より多くサンプリングすることで、図９の飽和画素情報付与部８１０で示しているように、加算結果の３画素（３つの加算部９０６の出力）のうちの、１画素には飽和情報を付与しない。
【００６８】
これは、第１実施形態で説明したように、飽和画素情報が焦点検出部１１０において、全画素数に対してどれだけの割合で飽和画素が存在するかどうかを判断するために用いられることに基づいている。即ち、飽和画素の情報は、全体に対する飽和画素の割合が正しく把握できる情報であればよいため、この条件が損なわれないように情報を加工することで、情報を付与する画素を減らしている。これにより、飽和画素が多く含まれる場合にその結果を用いないことで、合焦状態の誤判定を防止し、かつ飽和検出情報の付与する画素を圧縮することで回路規模の縮小圧縮が可能となる。
【００６９】
さらに飽和画素情報が圧縮された加算画素においては、後段部で補間して飽和画素情報を付与することも可能である。図９で示した削除方法では、加算後の画素の左右いずれかの画素が飽和と判定されていた場合には、その画素も必ず飽和している。このようにただ飽和画素情報を圧縮するだけでなく、補間可能な形式で付与することで加算後の各画素の飽和情報が補間により取得可能となり、飽和計数情報も生成可能となる。
【００７０】
以上説明した本発明の第３実施形態によれば、位相差検出方式の焦点調節において高速な焦点調節動作に加え、撮像素子内での画像圧縮により画像の取得速度の低下を抑え追従性も維持する。さらに、撮像素子内で飽和検出を行い、飽和画素の検出の結果を示す情報を画素信号と関連付けて出力させることで、適切な精度の飽和検出を可能とする。また、圧縮処理後の画素に付加する飽和情報を圧縮できる。
【００７１】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００７２】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
0006600170.tif 000002
【図２（ａ）】
0006600170.tif 000003
【図２（ｂ）】
0006600170.tif 000004
【図２（ｃ）】
0006600170.tif 000005
【図２（ｄ）】
0006600170.tif 000006
【図３】
0006600170.tif 000007
【図４】
0006600170.tif 000008
【図５】
0006600170.tif 000009
【図６】
0006600170.tif 000010
【図７】
0006600170.tif 000011
【図８】
0006600170.tif 000012
【図９】
0006600170.tif 000013
【図１０】
0006600170.tif 000014