(57)【特許請求の範囲】
【請求項１】
入射光を受光し、光電変換する光電変換部を行列状に備える画素部と、
前記画素部の第１の領域から出力される撮像用の画像信号である第１の信号に対して、圧縮処理を実行する第１の圧縮手段と、
前記画素部の第１の領域と異なる第２の領域から出力される前記第１の信号とは異なる用途の第２の信号に対して、前記第２の信号が劣化しないように、前記圧縮処理とは異なる処理を実行する第２の圧縮手段と、
前記画素部から出力される第１の信号および第２の信号を第１の圧縮手段および第２の圧縮手段のいずれに入力するかを切り替える切り替え手段とを備える
ことを特徴とする撮像素子。
【請求項２】
前記第２の圧縮手段は、前記第２の信号に対して、非圧縮処理、可逆圧縮処理、または前記第１の信号に対する圧縮処理より多くの量子化ビットを割り当てる非可逆圧縮処理のうちのいずれか１つを実行する
を備えることを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記画素部は、撮像光学系の異なる瞳領域を通過した入射光を光電変換する第１の光電変換部と第２の光電変換部とを有し、
前記第１の信号は、前記第１の光電変換部および第２の光電変換部から出力される信号であり、
前記第２の信号は、前記第２の光電変換部から出力される信号である
ことを特徴とする請求項１または請求項２に記載の撮像素子。
【請求項４】
前記画素部は、撮像用画素と焦点検出用画素とを有し、
前記第１の信号は、前記撮像用画素から出力される撮像用の画像信号であり、
前記第２の信号は、前記焦点検出用画素から出力される焦点検出用の信号である
ことを特徴とする請求項１または請求項２に記載の撮像素子。
【請求項５】
前記画素部は、撮像用画素とオプティカルブラック画素とを有し、
前記第１の信号は、前記撮像用画素から出力される撮像用の画像信号であり、
前記第２の信号は、前記オプティカルブラック画素から出力される暗電流検出用の信号である
ことを特徴とする請求項１または請求項２に記載の撮像素子。
【請求項６】
入射光を受光し、光電変換する光電変換部を行列状に備える画素部と、
前記画素部が有する画素のうち、撮像光学系の瞳領域が異なる第１の領域の画素からの出力の加算信号である第１の信号に対して、圧縮処理を実行する第１の圧縮手段と、
前記画素部の第１の領域と異なる第２の領域から出力される前記第１の信号とは異なる第２の信号に対して、前記第２の信号が劣化しないように、前記圧縮処理とは異なる処理を実行する第２の圧縮手段と、
前記画素部から出力される第１の信号および第２の信号を第１の圧縮手段および第２の圧縮手段のいずれに入力するかを切り替える切り替え手段とを備える
ことを特徴とする撮像素子。
【請求項７】
請求項１乃至６のいずれか１項に記載の撮像素子と、
前記第１の信号に基づいて、画像処理を行う画像処理部と、
前記第２の信号に基づいて、前記画像処理とは異なる処理を行う機能処理部とを備える
ことを特徴とする撮像装置。
【請求項８】
請求項１乃至６のいずれか１項に記載の撮像素子と、
前記第１の信号と前記第２の信号とに基づいて、仮想的に焦点面を移動させたリフォーカス信号を生成するリフォーカス処理部と、
ピント面を対象の被写体の合焦面から所定距離ずらして撮像するようにフォーカスレンズを駆動制御する駆動手段とを備える
ことを特徴とする撮像装置。
【請求項９】
入射光を受光し、光電変換する光電変換部を備える画素部を行列状に有する撮像素子の制御方法であって、
前記画素部の第１の領域から出力される撮像用の画像信号である第１の信号に対して、圧縮処理を実行する第１の圧縮工程と、
前記画素部の第１の領域と異なる第２の領域から出力される前記第１の信号とは異なる用途の第２の信号に対して、前記第２の信号が劣化しないように、前記圧縮処理とは異なる処理を実行する第２の圧縮工程と、
前記画素部から出力される第１の信号および第２の信号を第１の圧縮工程および第２の圧縮工程のいずれで処理するかを切り替える切り替え手段とを備える
ことを特徴とする制御方法。
【請求項１０】
請求項９に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
請求項９に記載の制御方法をコンピュータに実行させることを特徴とするプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子、撮像装置、撮像素子の制御方法、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
高解像度、高速連写、高い動画フレームレートといった性能を有する撮像装置を実現するためには、撮像装置内で従来よりも大量のデータを高速に処理する必要がある。しかし、大量のデータを伝送する為に伝送路の帯域を増やすと、帯域の増加に伴って、コストも大きくなる。特許文献１は、データを圧縮する圧縮部を備える撮像素子を有し、圧縮された画像データに対して伸長処理を行うことによって伝送路の帯域を広げることなく大量のデータを伝送可能とする撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１０３５４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像素子に設けられた光電変換部を有する画素部が、撮像用の信号を出力する撮像用画素と、焦点検出用の信号や暗電流検出用の信号といった、撮像用の信号とは異なる用途の信号を出力する機能画素とを備えることが考えられる。この撮像素子を用いて、機能画素の出力信号に対して撮像用の信号と同様の圧縮処理を実行すると、圧縮処理に起因する雑音や歪みが生じ、信号の劣化が発生するという課題がある。
【０００５】
本発明は、画素部が有する光電変換部からの出力を圧縮して出力する撮像素子であって、伝送路の帯域を広げることなく大量のデータを伝送可能としつつ、画素部からの出力信号の用途に応じ、圧縮による信号の劣化を防止できる撮像素子の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態の撮像素子は、入射光を受光し、光電変換する光電変換部を行列状に備える画素部と、前記画素部の第１の領域から出力される撮像用の画像信号である第１の信号に対して、圧縮処理を実行する第１の圧縮手段と、前記画素部の第１の領域と異なる第２の領域から出力される前記第１の信号とは異なる用途の第２の信号に対して、前記第２の信号が劣化しないように、前記圧縮処理とは異なる処理を実行する第２の圧縮手段と、前記画素部から出力される第１の信号および第２の信号を第１の圧縮手段および第２の圧縮手段のいずれに入力するかを切り替える切り替え手段とを備える。
【発明の効果】
【０００７】
本発明の撮像素子によれば、伝送路の帯域を広げることなく大量のデータを伝送可能としつつ、画素部からの出力信号の用途に応じ、圧縮による信号の劣化を防止できる。
【図面の簡単な説明】
【０００８】
【図１】実施例１の撮像装置の構成を示す図である。
【図２】撮像素子の画素断面図の一例である。
【図３】撮像素子の受光面を示す図である。
【図４】撮像素子からの信号の読み出しタイミングを説明する図である。
【図５】撮像素子が備える圧縮部の構成例を示す図である。
【図６】圧縮部による処理を説明するフローチャートである。
【図７】分離部の内部回路と入出力信号を示す図である。
【図８】実施例２の撮像装置の構成を示す図である。
【図９】焦点調節処理の例を説明する図である。
【図１０】焦点調節処理の例を説明する図である。
【図１１】焦点調節処理の例を説明する図である。
【図１２】主被写体にピントが合ってない時と、ピントが合っている時の画素値の変化量を示す図である。
【図１３】リフォーカス処理を説明する図である。
【図１４】リフォーカス可能範囲を説明する図である。
【発明を実施するための形態】
【０００９】
（実施例１）
図１は、実施例１の撮像装置の構成を示す図である。
図１に示す撮像装置は、撮像光学系１０１乃至レンズ駆動制御部１１７を備える。撮像光学系１０１は、被写体からの光を受け、不図示の複数のレンズ群および絞りを介して撮像素子１０２に光束を導く。撮像光学系１０１を通過した光束は撮像素子１０２上に結像し、光学像が形成される。また、撮像光学系１０１は、フォーカスレンズを有する。フォーカスレンズは、レンズ駆動制御部１１７からの駆動制御命令、または不図示のフォーカスリングを用いた手動での調節によって、光軸方向に駆動する。
【００１０】
撮像素子１０２は、入射光を受光し、光電変換する光電変換部１０３を備える画素部を有する。また、撮像素子１０２は、Ａ／Ｄ変換部１０４、データ切り替え部１０５、第１圧縮部１０６、第２圧縮部１０７、出力部１０８を備える。出力部１０８は、例えばＩ／ＯセルやＩ／Ｏピンなどを有し、第１圧縮部１０６もしくは第２圧縮部から供給される符号化データを撮像素子１０２の外部に出力する。出力部１０８により出力された符号化データは、バス１０９を介して画像処理部１１０の入力部１１１に供給される。画素数（光電変換部数）の増加に伴い、撮像素子１０２と画像処理部１１０との間のインターフェースの通信帯域が不足する恐れがある。そこで本実施形態では、上記の通り撮像素子１０２内で圧縮部を有し、圧縮を行うことで、より高画素数の光電変換部を備えていても伝送量が少なくなり、情報としては高画素数に対応するデータ伝送が可能となっている。
【００１１】
画像処理部１１０は、入力部１１１、伸長部１１２、分離部１１３、画像処理回路群１１４、記録部１１５、ＡＦ演算部１１６を備える。入力部１１１は、バス１０９を介して撮像素子１０２の出力部１０８から伝送される符号化データを受け付ける。入力部１１１は、取得した符号化データを伸長部１１２に供給する。伸長部１１２は、入力部１１１から供給される符号化データを、第１圧縮部１０６もしくは第２圧縮部１０７での圧縮方法に対応する方法で伸長し、データを復元して信号出力する。分離部１１３は、伸長部１１２から出力された信号の分離処理を実行して、画像処理回路群１１４とＡＦ演算部１１６とに入力する。この例では、分離部１１３は、撮像用すなわち鑑賞用の画像信号（撮像用信号）を画像処理回路群１１４に入力する。また、分離部１１３は、焦点検出用の信号をＡＦ演算部１１８に出力する。画像処理回路群１１４は、入力された信号に基づいて画像処理を実行する。
【００１２】
記録部１１５は、各種画像処理が施されたデータに対して、例えばＪＰＥＧ等の圧縮処理によって、記録用のデジタルデータを生成し、記録する。ＡＦ演算部１１６は、分離部１１３から入力された焦点検出用信号に基づいて、焦点検出に関する演算と、演算結果に基づくレンズ駆動命令の出力を行う。レンズ駆動制御部１１７は、ＡＦ演算部１１６から出力されるレンズ駆動命令に基づいて撮像光学系１０１が有するフォーカスレンズを駆動する。
【００１３】
次に、撮像素子１０２の詳細について説明する。撮像装置には、画素部が２次元に配置されている。画素部が有する画素は、受光した光を光電変換部１０３によって光電変換し、光電変換により得られたアナログ信号をＲＡＷデータとしてＡ／Ｄ変換部１０４に出力する。Ａ／Ｄ変換部１０４から出力されるＲＡＷデータは、データ切り替え部１０５に入力される。この例では、画素部に対応して１つのマイクロレンズ２０４が配置されることで、撮像光学系の射出瞳が分割されており、画素部は、互いに異なる瞳領域を通過した光束を光電変換する第１の光電変換部２０１と、第２の光電変換部２０２とを有する。例えば、光電変換部２０１からＡ像が出力され、光電変換部２０２からＢ像が出力される。この例では、光電変換部２０１および光電変換部２０２に対応する画素を、有効画素すなわち撮像用の信号を出力する撮像用画素とする。有効画素からは、撮像用信号（Ａ＋Ｂ像）が出力される。Ａ＋Ｂ像は、Ａ像とＢ像との加算信号に対応する。すなわち、本実施形態の撮像素子は、Ａ像のみを非破壊で読み出す機能と光電変換部２０１と２０２の電荷を加算してＡ＋Ｂ像として読み出す機能がある。
【００１４】
データ切り替え部１０５は、第１の信号である撮像用信号を第１圧縮部１０６に入力し、第１の信号とは異なる用途の第２の信号（Ａ像）を第２圧縮部１０７に出力する。データ切り替え部１０５で切り替えられたＲＡＷデータは、所定の符号化ブロック単位で出力され、第１圧縮部１０６もしくは第２圧縮部１０７に入力される。符号化ブロックとは例えば一般的なＪＰＥＧ生成の圧縮アルゴリズムに用いられる８×８画素等の単位を指す。本実施例においては説明の簡略化の為に１次元方向の符号化ブロックを適用して説明する。２次元方向に符号化ブロックが展開されたとしても本発明の適用は容易である。
【００１５】
撮像素子に配置された画素部が、図２に示す構成に代えて、画像処理される撮像用信号を出力する有効画素と、ＡＦ演算部１１６等の機能処理部により、画像処理とは異なる処理を施される信号を出力する機能画素とを備える任意の構成をとるようにしてもよい。例えば、画素部が、有効画素と、焦点検出信号を出力する機能画素とを備える場合、データ切り替え部１０５は、有効画素の出力を第１圧縮部１０６に出力し、焦点検出用画素の出力を第２圧縮部１０７に出力する。また、例えば、画素部が、有効画素と、暗電流検出用の信号を出力するオプティカルブラック画素（ＯＢ画素）とを備える場合、データ切り替え部１０５は、有効画素の出力を第１圧縮部１０６に出力し、ＯＢ画素の出力を第２圧縮部１０７に出力する。
【００１６】
第１圧縮部１０６、第２圧縮部１０７は、データ切り替え部１０５から出力される符号化ブロック単位のＲＡＷデータを受け取り、所定の符号化処理を行うことによって符号化データを生成する。
【００１７】
図２は、撮像素子の画素断面図の一例である。
光電変換部２０１、２０２を備える画素部に対して１つのマイクロレンズ２０４が設けられている。２０３はカラーフィルタ、２０５は配線層である。このように１つのマイクロレンズに対して２つの光電変換部を設けることにより、瞳分割を行い、それぞれの光電変換部から得られる画像の位相差を用いて焦点検出を行うことができる。また、光電変換部２０１と光電変換部２０２の出力を加算することで、瞳分離されていない画像（Ａ＋Ｂ像）が得られる。カラーフィルタ２０３は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）のフィルタであり、ベイヤー配列となっている。したがって、光電変換部２０１の出力と光電変換部２０２出力とを加算することで、カラー画像を得ることができる。
【００１８】
図３は、撮像素子の受光面を示す図である。
幅３０１は、撮像素子全体の有効画素のエリアに対応する。このエリアは、Ａ＋Ｂ像の読み出しエリアである。幅３０２は、Ａ像の読み出しが可能なエリアである。撮像素子からの読み出し時間短縮のために、Ａ像を読み出すのは焦点検出に使うエリアのみになるように設計されている。
【００１９】
図４は、撮像素子からの信号の読み出しタイミングを説明する図である。
信号４０５は、撮像素子からの１水平期間の読み出し信号である。期間４０１は、水平ブランキング期間である。期間４０２は、Ａ像の読み出し期間である。期間４０３は、Ａ＋Ｂ像の読み出し期間である。このように、Ａ像のみ、Ｂ像のみを個別の読み出しよりも短い水平期間で読み出すことができる。本実施形態の撮像装置は、図１に示す分離部１１３で読み出されたＡ＋Ｂ像からＡ像を減算することによりＢ像を得る。データ切り替え部１０５は、期間４０２において第２圧縮部１０７へＡ像を出力し、期間４０３において第１圧縮部１０６へＡ＋Ｂ像を出力する。
【００２０】
図５は、撮像素子が備える圧縮部の構成例を示す図である。
第１圧縮部１０６、第２圧縮部１０７は、量子化部５０１、エントロピー符号化部５０２、符号量計測部５０３、符号量制御部５０４を備える。量子化部５０１は、ＲＡＷデータの画素間の差分値（以降差分値と呼ぶ）を抽出し、差分値の量子化データを生成する回路である。エントロピー符号化部５０２は、入力されるデータ（シンボル）の出現頻度に基づいて、それぞれの量子化データに符号を割り当て、符号化データを生成する回路である。エントロピー符号化の方式としては、公知のゴロム符号化や、ハフマン符号化が知られているが、本発明は、これらの符号化方式に限定されない。符号量計測部５０３は、符号化ブロック単位の符号化データ量を計測する回路である。符号量制御部５０４は、符号量計測部５０３により計測された符号化データ量に基づいて、符号量の制御および符号化データの出力を行う回路である。
【００２１】
図６は、圧縮部による処理を説明するフローチャートである。
圧縮処理が開始されると、符号化ブロック単位のＲＡＷデータが、量子化部５０１に入力される。Ｓ６０１において、量子化部５０１が、符号化ブロック内の隣接画素間の差分値を算出する。続いて、Ｓ６０２において、量子化部５０１が、Ｓ６０１で算出された差分値を所定の値を用いて量子化する。この所定の値は、量子化ステップを決定するパラメータであり、符号量制御部５０４によって動的に決定される。以降、この所定の値をＱＰ（Quantization Parameter：量子化パラメータ）と記述する。差分値ＱＰは除算され、除算結果の小数部を四捨五入することによって量子化される。
【００２２】
次に、Ｓ６０３において、符号化部５０２が、量子化された差分値に対して符号の割り当てを行う。Ｓ６０４において、符号量計測部５０３が、符号化されたデータが目標となるデータ量（目標符号化データ量）に収まっているか否かを判定する。本実施例においては、目標符号化データ量には、バス１０６の帯域に収まる符号化データ量が設定される。
【００２３】
ここで、第２圧縮部１０７には、有効画素からの出力データよりもデータ量が少ない第２の信号（Ａ像、ＯＢ画素からの暗電流検出用の信号、焦点検出用画素からの焦点検出用の信号）が入力される。これらの信号は、第１圧縮部１０６が実行する圧縮処理と同様の圧縮処理を施すと、信号が劣化して、焦点精度の低下や有効画素領域全体の画質劣化を招くおそれがある。したがって、第２圧縮部１０７については、第１圧縮部１０６で設定された目標符号化データ量よりも多い目標符号化データ量を設定し、画質の劣化を防ぐようにしておく。あるいは、圧縮処理による画質の劣化をなくすために、Ｓ６０１乃至Ｓ６０４までの処理を行わずに非圧縮処理を行うように選択することもできる。すなわち、第２圧縮部１０７は、第２の信号が劣化しないように、第１圧縮部１０６による圧縮処理とは異なる処理を実行する制御手段として機能する。第２圧縮部１０７は、第２の信号に対して、非圧縮処理、可逆圧縮処理、または第１圧縮部１０６による圧縮処理より多くの量子化ビットを割り当てる非可逆圧縮処理のうちのいずれか１つを実行する。
【００２４】
Ｓ６０４の判定処理で、符号化されたデータが目標符号化データ量に収まっていないと判定された場合は、Ｓ６０５へと進む。そして、符号量制御部５０４が、符号化データ量と、目標符号化データ量との差分に応じて、ＱＰを上げたり下げたりして目標符号化データ量に収まるようにする符号量制御を行う。
【００２５】
Ｓ６０４で符号化されたデータが目標符号化データ量に収まっていると判定された場合は、Ｓ６０６へと進み、符号化データが出力される。なお、出力時には各符号化ブロックの量子化に用いたＱＰや符号化の際の符号割り当て情報（以降、「符号化パラメータ」と記述）を出力データと対応付けて出力部１０８へ出力する。
【００２６】
出力部１０８は、第１圧縮部１０６で圧縮された符号化データと第２圧縮部１０７で圧縮された符号化データとを順次出力する。出力部１０８での出力データの切り替えは、前述したデータ切り替え部１０５の切り替えタイミングに対して、圧縮部での処理にかかる時間を考慮して行うようにしてもよい。
【００２７】
次に、伸長部１１２による処理の詳細について説明する。入力部１１１から伸長部１１２に符号化データおよび符号化パラメータが入力されると、伸長部１１２は、符号化パラメータからＱＰ等の伸長処理に必要な情報を読み取る。伸長部１１２は、読み取った伸長処理に必要な情報に基づいて符号化データの伸長処理を行う。
【００２８】
図７は、分離部の内部回路と入出力信号を示す図である。
図７を参照して、分離部１１３の処理の詳細について説明する。図７に示す例では、分離部１１３は、伸長部１１２で伸長されたＡ＋Ｂ像とＡ像とを読み出し、Ａ＋Ｂ像からＡ像を減算することで、Ｂ像を生成する。Ａ像とＢ像の左右の信号が生成されたことにより、位相差は横方向に生じる。分離部１１３は、Ａ像とＢ像のデータを焦点検出用データとしてＡＦ演算部１１６へ出力する。ＡＦ演算部１１６は、Ａ像とＢ像のずれ量を求め、デフォーカス量を計算する。
【００２９】
また、分離部１１３は、Ａ＋Ｂ像のデータを撮像用データとして画像処理回路群１１４へと出力する。画像処理回路群１１４は、撮像用データに対し、例えば色変換、ホワイトバランス、ガンマ補正等の既知の画像処理や、解像度変換処理、ＪＰＥＧ等の画像圧縮処理等を行い、記録用の映像信号を生成する。
【００３０】
本実施例の撮像装置は、有効画素から出力され第１の圧縮処理が実行される第１の信号とは異なる第２の信号（Ａ像、焦点検出用信号、暗電流検出用信号）について、前記第２の信号が劣化しないように、第１の圧縮処理とは異なる処理を実行する。これにより、伝送路の帯域を広げることなく大量のデータを伝送可能としつつ、焦点検出や暗電流値の算出に用いる信号の劣化を低減することができる。
【００３１】
（実施例２）
実施例２の撮像装置は、有効画素内の主被写体に関する信号の劣化を低減する。このために、撮像装置は、フォーカスレンズを最適な合焦位置から所定の範囲で駆動させ、撮影後にリフォーカス処理により合焦位置を調整する。
【００３２】
図８は、実施例２の撮像装置の構成を示す図である。
撮像素子８０２は、実施例１の撮像装置が備える撮像素子１０２と同様であるので、説明を省略する。出力部８０８により出力されたＡ＋Ｂ像およびＡ像の符号化データは、バス８０９を介して画像処理部８１０の入力部８１１に供給され、伸長部８１２によって伸長処理が行われる。分離部８１３は、Ａ＋Ｂ像とＡ像からＢ像の信号を生成し、焦点検出用データとしてＡＦ演算部８１７へと出力する。以下に、ＡＦ演算部８１７について詳細な説明をする。ＡＦ演算部８１７は、主に相関演算を行うブロックであり、Ａ像およびＢ像を用いて位相差方式での焦点調節処理を行う。
【００３３】
図９乃至図１１は、撮像素子から読み出される２像を用いた焦点調節処理の例を説明する図である。
Ａ像およびＢ像を使用した相関演算（Ｓｕｍｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ) を用いた焦点調節処理の原理について説明を行う。図９乃至図１１に示す撮像素子は、一つのマイクロレンズの下に分離配置した画素ａおよび画素ｂを備えた単位画素セルＰを複数配置しており、図２を参照して説明した撮像素子と同等である。画素Ａと画素Ｂは、マイクロレンズを射出瞳として瞳分割された画素である。
【００３４】
ＡＦ演算部８１７は、画素ａおよびｂによって構成されるＡ像およびＢ像用画素出力を、各々列方向もしくは行方向に組み合わせ、同色単位画素セル群の出力として、Ａ像及びＢ像を生成・データ化し、各々の対応点のずれをＳＡＤ演算によって求める。ＳＡＤ演算の結果は、下記式（１）によって求められる。
Ｃ＝｜ＹＡｎ−ＹＢｎ｜…式（１）
ｎは、水平のマイクロレンズの数である。ＹＢｎに対して対応画素をずらした際の値をプロットし、最も値の小さいずれ量が合焦位置である。
【００３５】
合焦のときには、撮影光学系が結像する位置が、図中Ｐ７のマイクロレンズ下のＰＤになるので、Ａ像用画素群とＢ像用画素群は、ほぼ一致する。この時、図９中に示すように、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量ｄ（ａ）は、０に近似される。後ピンのときには、撮影光学系が結像する位置として、Ａ像用画素がＰ５、Ｂ像用画素がＰ９のマイクロレンズ下の画素になる。この時、図１０中に示すように、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量ｄ（ｂ）が発生する。前ピンのときには、撮影光学系と結像する位置として、Ａ像用画素がＰ９、Ｂ像用画素がＰ５のマイクロレンズ下の画素になる。この時、図１１に示すように、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量は、後ピンのときとは逆方向の像ずれ量ｄ（ｃ）となる。これは、合焦時にはＡ像およびＢ像用画素群は同一の被写体を見ているが、後ピンおよび前ピン時には、ＡおよびＢ像用画素群は像ずれ量ｄだけずれた被写体信号を出力しているということである。求められたＳＡＤ値の合算となる値の最小値である像ずれ量ｄと基線長から周知の技術によって求められるデフォーカス量とが、レンズ駆動制御部８１７に出力され、レンズ駆動制御部８１８を介して撮像光学系８０１を移動させることで焦点調節制御が行われる。
【００３６】
図１２は、主被写体にピントが合ってない時と、ピントが合っている時の画素値の変化量を示す図である。
説明の簡略化のために、ここでは横軸に画素位置、縦軸に画素値を示し、被写体は左側は暗く右側は明るくなっている被写体を想定している。図１２（Ａ）は、主被写体にピントが合っていない時の画素位置と画素値を示す。図１２（Ｂ）は、主被写体にピントが合っている時の画素位置と画素値を示す。主被写体にピントが合っていない時は、画素値の変化量は少なく、主被写体にピントが合っている時は、画素値の変化量は多くなる。したがって、ピントが合っている時は、量子化部５０１が差分値の量子化に用いるＱＰが大きくなる。その結果、量子化された差分値に対して符号の割り当てを行う際に、目標符号化データ量に収まらずに、目標符号化データ量に収めるようにＱＰが割り当てられてしまう。これは、ピントの合っている領域は画像の劣化が激しい領域ということを示している。すなわち、主被写体は画像の劣化が激しく、主被写体以外は画像の劣化が激しくないという状態になる。
【００３７】
次に、リフォーカス処理部８１４の処理について詳細に説明する。リフォーカス処理部８１４は、得られたＡ像およびＢ像に対して、所定の画素分ずらして加算することで、仮想的に焦点面を移動させた画像であるリフォーカス画像を生成する。
【００３８】
図１３は、リフォーカス処理を説明する図である。
焦点面８００は撮像光学系８０１で結像される撮像素子８０２の像面である。図１３では、ｉを整数として、撮像面８００に配置された撮像素子の列方向ｉ番目の画素のＡ像用信号をＡｉ、Ｂ像用信号をＢｉで模式的に表している。Ａ像用画素であるＡｉは、主光線角度θａでｉ番目の画素に入射した光束の受光信号である。Ｂ像用画素であるＢｉは、主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。
【００３９】
ＡｉとＢｉは、光強度分布情報だけではなく、入射角度情報も有している。したがって、Ａｉを角度θａに沿って仮想焦点面８１０まで平行移動させ、Ｂｉを角度θｂに沿って仮想焦点面８１０まで平行移動させ、加算することで、仮想焦点面８１０でのリフォーカス画像（リフォーカス信号）を生成できる。
【００４０】
Ａｉを角度θに沿って仮想焦点面８１０まで平行移動させることは、列方向に＋０．５画素シフトに対応する。Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、列方向に−０．５画素シフトに対応する。したがって、ＡｉとＢｉを相対的に＋１画素シフトさせ、ＡｉとＢｉ＋１を対応させて加算することで、仮想焦点面８１０でのリフォーカス画像の生成が可能となる。さらに、ＡｉとＢｉを整数シフトさせて加算することで、整数シフト量に応じた各仮想結像面でのシフト加算画像であるリフォーカス画像を生成が可能となる。
【００４１】
図１４は、リフォーカス可能範囲を説明する図である。
許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は、±Ｆδである。これに対して、２分割されて狭くなった瞳部分領域１２０１（１２０２）の水平方向の実効絞り値Ｆ０１（Ｆ０２）は、分割数を２として、Ｆ０１＝２Ｆと暗くなる。ＡおよびＢ像用画素群の実効的な被写界深度は±２Ｆδと２倍深くなり、合焦範囲が２倍に広がる。実効的な被写界深度±２Ｆδの範囲内では、ＡおよびＢ像用画素群に合焦した被写体像が取得されている。よって、図１３に示した主光線角度θａ（θｂ）に沿って、ＡおよびＢ像用画素群を平行移動するリフォーカス処理により、撮影後に、合焦位置を再調整（リフォーカス）することができる。
【００４２】
撮影後に合焦位置をリフォーカスできる撮像面からのデフォーカス量ｄは、限定されており、デフォーカス量ｄのリフォーカス可能範囲は、概ね式（２）で示す範囲である。
｜ｄ｜≦２Ｆδ・・・式（２）
【００４３】
許容錯乱円δは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。
１つのマイクロレンズに対して２分割されたＡ像、Ｂ像を用いてリフォーカス処理を行う場合、ｄが２Ｆδ以下であれば、リフォーカス可能であり、ｄが１Ｆδ未満であれば、許容錯乱円内である。
【００４４】
主被写体の撮像素子内での圧縮に伴う画質の劣化を防ぐために、撮像装置は、フォーカスレンズを最適な合焦位置から式（３）を満たす範囲で駆動することで、主被写体における画素値の差分を減らし、目標符号化データ量に収める。そして、リフォーカス処理部８１４が、本来の最適な合焦位置にリフォーカス処理をすることで、画質の劣化を低減する。
１Ｆδ≦｜ｄ｜≦２Ｆδ・・・式（３）
すなわち、レンズ駆動制御部１１７が、ピント面を対象の被写体の合焦面から所定距離ずらして撮像するようにフォーカスレンズを駆動制御する駆動手段として機能する。
【００４５】
リフォーカス処理部８１４でリフォーカス処理された有効画像用データは、画像処理回路群８１５に出力される。そして、画像処理回路群８１５が、有効画像用データに対し、例えば色変換、ホワイトバランス、ガンマ補正等の既知の画像処理や、解像度変換処理、ＪＰＥＧ等の画像圧縮処理等を行い、記録用の映像信号を生成する。
【００４６】
なお、実施例１及び実施例２では１つのマイクロレンズ内に２つの光電変換部が配置されているが、４つ以上の光電変換部があっても同様の効果が得られる。以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４８】
１０２  撮像素子
１１０  画像処理部
【図１】
0006355595.tif 000002
【図２】
0006355595.tif 000003
【図３】
0006355595.tif 000004
【図４】
0006355595.tif 000005
【図５】
0006355595.tif 000006
【図６】
0006355595.tif 000007
【図７】
0006355595.tif 000008
【図８】
0006355595.tif 000009
【図９】
0006355595.tif 000010
【図１０】
0006355595.tif 000011
【図１１】
0006355595.tif 000012
【図１２】
0006355595.tif 000013
【図１３】
0006355595.tif 000014
【図１４】
0006355595.tif 000015