(57)【要約】  本開示は、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る機能画素として構成しても、撮像画像の画質の劣化を抑制できるようにする固体撮像装置および電子機器に関する。色単位の集合となるブロックを構成するＲＧＢのベイヤ配列されたサブブロックを構成する複数の画素において、通常の画像を撮像する通常画素をサブブロック内で上下左右対称に配置し、それ以外の位置に、画像を撮像する以外の所望の情報を得るための機能画素を配置する。本開示は、固体撮像装置に適用することができる。
2018198766.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
固体撮像装置。
【請求項２】
前記色配列は、ベイヤ配列、ストライプ配列、市松配列、または、インタライン配列である
請求項１に記載の固体撮像装置。
【請求項３】
前記サブブロックを構成する複数の通常画素の、それぞれの画素信号が加算されて、前記サブブロック単位の通常加算画素の画素信号として出力される
請求項１に記載の固体撮像装置。
【請求項４】
前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と異なる露光時間で、かつ、同一感度の前記画像を撮像する
請求項３に記載の固体撮像装置。
【請求項５】
前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と同一の露光時間で、かつ、異なる感度の前記画像を撮像する
請求項３に記載の固体撮像装置。
【請求項６】
前記機能画素は、焦点距離に応じた位相差を検波する位相差検波用画素である
請求項３に記載の固体撮像装置。
【請求項７】
前記撮像素子は、前記位相差検波用画素からなる前記機能画素により検波される位相差を示す信号を出力した後、前記通常画素の画素信号を出力する
請求項６に記載の固体撮像装置。
【請求項８】
前記撮像素子に入射する光の焦点を調整するレンズと、
前記レンズの焦点距離を制御するレンズ制御部とをさらに含み、
前記レンズ制御部は、前記位相差検波用画素により検波された位相差に応じて、前記レンズのデフォーカス量を算出し、前記デフォーカス量に基づいて、前記レンズの焦点距離を制御する
請求項７に記載の固体撮像装置。
【請求項９】
前記位相差検波用画素は、水平方向の位相差を検波する
請求項６に記載の固体撮像装置。
【請求項１０】
前記位相差検波用画素は、垂直方向の位相差を検波する
請求項６に記載の固体撮像装置。
【請求項１１】
前記機能画素は、黒画素であり、黒レベルを出力する
請求項３に記載の固体撮像装置。
【請求項１２】
前記黒画素は、全面遮光された画素である
請求項１１に記載の固体撮像装置。
【請求項１３】
前記通常加算画素の画素信号より、前記黒画素の前記黒レベルを減算してクランプするクランプ部をさらに含む
請求項１１に記載の固体撮像装置。
【請求項１４】
前記機能画素は、白画素であり、輝度信号を出力する
請求項３に記載の固体撮像装置。
【請求項１５】
前記白画素は、カラーフィルタが透明の画素、または、前記カラーフィルタのない画素である
請求項１４に記載の固体撮像装置。
【請求項１６】
前記通常加算画素の画素信号にLPF（Low Pass Filter）を掛けるLPF部と、
前記輝度信号にHPF（High Pass Filter）を掛けるHPF部と、
前記LPF部の出力と、前記HPF部の出力を加算する加算部とをさらに含む
請求項１４に記載の固体撮像装置。
【請求項１７】
前記撮像素子を構成するアレイ状に配置された前記画素より出力される信号を行単位でアナログデジタル変換するカラムAD変換部をさらに含み、
前記カラムAD変換部は、前記サブブロックを構成する行数の倍数分だけ設けられる
請求項１に記載の固体撮像装置。
【請求項１８】
画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、固体撮像装置および電子機器に関し、特に、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制できるようにした固体撮像装置および電子機器に関する。
【背景技術】
【０００２】
近年、CMOS（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子を用いて人物や動物等の被写体を撮像し、その結果得られる画像データを記録するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。【０００３】
このような撮像装置において、撮像素子に位相差検波機能を付与し、専用の自動焦点検出（ＡＦ）センサを用いずに位相差検波方式のオートフォーカス（ＡＦ）を実現する技術が知られている。例えば特許文献１には、同じ色の２×２（＝４）個の画素で１つのブロックを構成し、そのブロックの中の１つの画素を位相差検波用画素とすることが提案されている。【０００４】
特許文献１の例では、中央左側の２×２個の緑（Ｇ）の画素のブロックにおいて、右上の画素に位相差検波用画素が配置されている。それに対して、中央右側の２×２個の緑（Ｇ）の画素のブロックにおいては、左上の画素に位相差検波用画素が配置されている。【０００５】
位相差検波用画素においては、例えば画素の右側半分または左側半分に遮光部が設けられ、遮光部の反対側が透光部とされる。遮光部の位置が反対側の対となる位相差検波用画素の出力の差から位相差が検波され、それに基づきデフォーカス量が演算される。そしてその演算されたデフォーカス量に基づいてフォーカス状態が制御される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−１３３４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術においては、通常画像と異なる情報を得るために、Bayer配列のいずれかの画素を、所望の情報を得る専用画素として構成する必要があり、局所的な折り返りなどの画質劣化への影響がある。【０００８】
本開示は、このような状況に鑑みてなされたものであり、特に、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制できるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の一側面の固体撮像装置は、画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される固体撮像装置である。【００１０】
前記色配列は、ベイヤ配列、ストライプ配列、市松配列、または、インタライン配列とすることができる。【００１１】
前記サブブロックを構成する複数の通常画素の、それぞれの画素信号が加算されて、前記サブブロック単位の通常加算画素の画素信号として出力されるようにすることができる。【００１２】
前記機能画素には、前記通常画素と同一の機能を備えた画素であり、前記通常画素と異なる露光時間で、かつ、同一感度の前記画像を撮像させるようにすることができる。【００１３】
前記機能画素には、前記通常画素と同一の機能を備えた画素であり、前記通常画素と同一の露光時間で、かつ、異なる感度の前記画像を撮像させるようにすることができる。【００１４】
前記機能画素は、焦点距離に応じた位相差を検波する位相差検波用画素とすることができる。【００１５】
前記撮像素子には、前記位相差検波用画素からなる前記機能画素により検波される位相差を示す信号を出力した後、前記通常画素の画素信号を出力させるようにすることができる。【００１６】
前記撮像素子に入射する光の焦点を調整するレンズと、前記レンズの焦点距離を制御するレンズ制御部とをさらに含ませるようにすることができ、前記レンズ制御部には、前記位相差検波用画素により検波された位相差に応じて、前記レンズのデフォーカス量を算出し、前記デフォーカス量に基づいて、前記レンズの焦点距離を制御させるようにすることができる。【００１７】
前記位相差検波用画素には、水平方向の位相差を検波させるようにすることができる。【００１８】
前記位相差検波用画素には、垂直方向の位相差を検波させるようにすることができる。【００１９】
前記機能画素は、黒画素とすることができ、黒レベルを出力させるようにすることができる。【００２０】
前記黒画素は、全面遮光された画素とすることができる。【００２１】
前記通常加算画素の画素信号より、前記黒画素の前記黒レベルを減算してクランプするクランプ部をさらに含ませるようにすることができる。【００２２】
前記機能画素は、白画素とすることができ、輝度信号を出力させるようにすることができる。【００２３】
前記白画素は、カラーフィルタが透明の画素、または、前記カラーフィルタのない画素とすることができる。【００２４】
前記通常加算画素の画素信号にLPF（Low Pass Filter）を掛けるLPF部と、前記輝度信号にHPF（High Pass Filter）を掛けるHPF部と、前記LPF部の出力と、前記HPF部の出力を加算する加算部とをさらに含ませるようにすることができる。【００２５】
前記撮像素子を構成するアレイ状に配置された前記画素より出力される信号を行単位でアナログデジタル変換するカラムAD変換部をさらに含ませるようにすることができ、前記カラムAD変換部は、前記サブブロックを構成する行数の倍数分だけ設けられるようにすることができる。【００２６】
本開示の一側面の電子機器は、画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される電子機器である。【００２７】
本開示の一側面においては、画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子が設けられ、前記撮像素子により撮像される画像が、色の単位の集合となるブロックより構成され、前記ブロックが、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、前記サブブロックを構成する複数の画素の配置のうち、前記通常画素が、前記サブブロック内において上下左右対称に配置される。
【発明の効果】
【００２８】
本開示の一側面によれば、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本技術を適用した撮像素子の第１の実施の形態の構成例を示すブロック図である。
【図２】画素の等価回路を示す図である。
【図３】本技術を適用した撮像素子の第１の実施の形態の平面的構成例を示す図である。
【図４】本技術を適用した撮像素子の第１の実施の形態の平面的構成例を示す図である。
【図５】本技術を適用した電子機器の第１の実施の形態の構成例を示すブロック図である。
【図６】撮像素子の画像出力領域と非画像出力領域を示す図である。
【図７】図５の電子機器の撮像処理について説明するフローチャートである。
【図８】ハイフレームレート撮像と通常のフレームレート撮像との同時撮像を実現する例を説明する図である。
【図９】ダイナミックレンジ拡大撮像を実現する例を説明する図である。
【図１０】本技術を適用した電子機器の第２の実施の形態の構成例を示すブロック図である。
【図１１】ハイフレームレート撮像と通常のフレームレート撮像との同時撮像、および、ダイナミックレンジ拡大撮像を実現する図１０の電子機器の撮像処理について説明するフローチャートである。
【図１２】単独画素に代えて位相差検波用画素を設けるようにした画素配置例を説明する図である。
【図１３】本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。
【図１４】本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。
【図１５】本技術を適用した撮像素子の一実施の形態の通常の画素の構成例を示す断面図である。
【図１６】本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。
【図１７】本技術を適用した撮像素子の一実施の形態の位相差検波用画素の位相差特性について説明する図である。
【図１８】本技術を適用した電子機器の第３の実施の形態の構成例を示すブロック図である。
【図１９】図１８の電子機器の位相差オートフォーカス処理について説明するフローチャートである。
【図２０】本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。
【図２１】通常の画素に、位相差検波用画素と黒画素とを設けるようにした画素配置例を説明する図である。
【図２２】通常の画素に、白画素を設けるようにした画素配置例を説明する図である。
【図２３】本技術を適用した電子機器の第４の実施の形態の構成例を示すブロック図である。
【図２４】図２３の補正部の構成例を示すブロック図である。
【図２５】図２３の電子機器の撮像処理について説明するフローチャートである。
【図２６】図２３の補正部の補正処理について説明するフローチャートである。
【図２７】サブブロック内に白画素または位相差検波用画素を設ける構成例を説明する図である。
【図２８】撮像素子からの画素信号の出力タイミング例を説明する図である。
【図２９】カラムAD変換部を多段にする例を説明する図である。
【図３０】画素配置例のバリエーションを説明する図である。
【図３１】画素配置例のバリエーションを説明する図である。
【図３２】画素配置例のバリエーションを説明する図である。
【図３３】画素配置例のバリエーションを説明する図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
また、以下の順序で説明を行う。
１．第１の実施の形態
（１−１）  画素の配置（図１乃至図４）
（１−２）  電子機器の第１の実施の形態の構成例（図５，図６）
（１−３）  図５の電子機器による撮像処理（図７）
２．第２の実施の形態
（２−１）  ハイフレームレート撮像と通常のフレームレート撮像との同時撮像（図８）
（２−２）  ダイナミックレンジ拡大撮像（図９）
（２−３）  電子機器の第２の実施の形態の構成例（図１０）
（２−４）  図１０の電子機器による撮像処理（図１１）
３．第３の実施の形態
（３−１）  通常加算画素と位相差検波用画素とからなる画素配置例（図１２乃至図１４）
（３−２）  位相差検波の原理（図１５乃至図１７）
（３−３）  電子機器の第３の実施の形態の構成例（図１８）
（３−４）  位相差オートフォーカス処理（図１９，図２０）
（３−５）  第３の実施の形態の変形例（サブブロック内に位相差検波用画素または黒画素を設ける画素配置例）（図２１）
４．第４の実施の形態
（４−１）  白画素を用いた画素配置例（図２２）
（４−２）  電子機器の第４の実施の形態の構成例（図２３）
（４−３）  補正部の構成例（図２４）
（４−４）  図２３の電子機器による撮像処理（図２５）
（４−５）  補正処理（図２６）
（４−６）  第４の実施の形態の変形例（サブブロック内に白画素または位相差検波用画素を設ける構成例）（図２７）
５．撮像素子からの画素信号の出力のタイミング（図２８）
６．カラムAD変換部の配置例（図２９）
７．画素配置のバリエーション（図３０乃至図３３）
【００３２】
＜１．第１の実施の形態＞
（１−１）  画素の配置
図１は、本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。
【００３３】
図１の撮像素子４１は、図示せぬ半導体基板上に、タイミング制御部４２、垂直走査回路４３、画素アレイ４４、定電流源回路部４５、参照信号生成部４６、およびカラムAD（Analog to Digital）変換部４７が設けられることにより構成される。さらに、水平走査回路４８、水平出力線４９、および出力回路５０が設けられている。
【００３４】
タイミング制御部４２は、所定の周波数のマスタクロックに基づいて、所定の動作に必要なクロック信号やタイミング信号を垂直走査回路４３および水平走査回路４８に供給する。例えば、タイミング制御部４２は、画素５１のシャッタ動作や読み出し動作のタイミング信号を垂直走査回路４３および水平走査回路４８に供給する。また、図示は省略されているが、タイミング制御部４２は、所定の動作に必要なクロック信号やタイミング信号を、参照信号生成部４６、カラムAD変換部４７などにも供給する。
【００３５】
垂直走査回路４３は、画素アレイ４４の垂直方向に並ぶ各画素５１に、順次、所定のタイミングで、画素信号の出力を制御する信号を供給する。
【００３６】
画素アレイ４４には、複数の画素５１が２次元アレイ状（行列状）に配置されている。すなわち、Ｍ×Ｎ個の画素５１が平面的に配置されている。ＭとＮの値は任意の整数である。
【００３７】
２次元アレイ状に配置されている複数の画素５１は、水平信号線５２により、行単位で垂直走査回路４３と接続されている。換言すれば、画素アレイ４４内の同一行に配置されている複数の画素５１は、同じ１本の水平信号線５２で、垂直走査回路４３と接続されている。なお、図１では、水平信号線５２について１本の配線として示しているが、１本に限られるものではない。
【００３８】
また、２次元アレイ状に配置されている複数の画素５１は、垂直信号線５３により、列単位で水平走査回路４８と接続されている。換言すれば、画素アレイ４４内の同一列に配置されている複数の画素５１は、同じ１本の垂直信号線５３で、水平走査回路４８と接続されている。
【００３９】
画素アレイ４４内の各画素５１は、水平信号線５２を介して垂直走査回路４３から供給される信号に従って、内部に蓄積された電荷に応じた画素信号を、垂直信号線５３に出力する。画素５１は、被写体の画像の画素信号を出力する撮像用の画素として機能する。画素５１の詳細な構成については、図２等を参照して後述する。
【００４０】
定電流源回路部４５は複数の負荷MOS（Metal-Oxide Semiconductor）５４を有し、１本の垂直信号線５３に１つの負荷MOS５４が接続されている。負荷MOS５４は、ゲートにバイアス電圧が印加され、ソースが接地されており、垂直信号線５３を介して接続される画素５１内のトランジスタとソースフォロワ回路を構成する。
【００４１】
参照信号生成部４６は、DAC（Digital to Analog Converter）４６ａを有して構成されており、タイミング制御部４２からのクロック信号に応じて、ランプ（RAMP）波形の基準信号を生成して、カラムAD変換部４７に供給する。
【００４２】
カラムAD変換部４７には、画素アレイ４４の列ごとに１つとなる複数のADC(Analog to Digital Converter)５５を有している。したがって、１本の垂直信号線５３には、複数の画素５１と、１個の負荷MOS５４及びADC５５が接続されている。
【００４３】
ADC５５は、同列の画素５１から垂直信号線５３を介して供給される画素信号を、CDS(Correlated Double Sampling；相関２重サンプリング)処理し、さらにAD変換処理する。
【００４４】
各ADC５５は、AD変換後の画素データを一時的に記憶し、水平走査回路４８の制御に従って、水平出力線４９に出力する。
【００４５】
水平走査回路４８は、複数のADC５５に記憶されている画素データを、順次、所定のタイミングで水平出力線４９に出力させる。
【００４６】
水平出力線４９は出力回路（増幅回路）５０と接続されており、各ADC５５から出力されたAD変換後の画素データは、水平出力線４９を介して出力回路５０から、撮像素子４１の外部へ出力される。出力回路５０（信号処理部）は、例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正などの各種のデジタル信号処理を行う場合もある。
【００４７】
以上のように構成される撮像素子４１は、CDS処理とAD変換処理を行うADC５５が垂直列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
【００４８】
図２は、画素５１の等価回路を示している。画素５１は、光電変換素子としてのフォトダイオード６１、転送トランジスタ６２、FD(Floating Diffusion:フローティング拡散領域)６３、リセットトランジスタ６４、増幅トランジスタ６５、及び選択トランジスタ６６を有する。
【００４９】
フォトダイオード６１は、受光量に応じた電荷（信号電荷）を生成し、蓄積する光電変換部である。フォトダイオード６１は、アノード端子が接地されているとともに、カソード端子が転送トランジスタ６２を介して、FD６３に接続されている。
【００５０】
転送トランジスタ６２は、転送信号TXによりオンされたとき、フォトダイオード６１で生成された電荷を読み出し、FD６３に転送する。
【００５１】
FD６３は、フォトダイオード６１から読み出された電荷を保持する。リセットトランジスタ６４は、リセット信号RSTによりオンされたとき、FD６３に蓄積されている電荷が定電圧源VDDに排出されることで、FD６３の電位をリセットする。
【００５２】
増幅トランジスタ６５は、FD６３の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ６５は定電流源としての負荷MOS５４とソースフォロワ回路を構成し、FD６３に蓄積されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ６５から選択トランジスタ６６を介してADC５５に出力される。
【００５３】
選択トランジスタ６６は、選択信号SELにより画素５１が選択されたときオンされ、画素５１の画素信号を、垂直信号線５３を介してADC５５に出力する。転送信号TX、リセット信号RST、および選択信号SELは、水平信号線５２（図１）を介して垂直走査回路４３から供給される。
【００５４】
図３は本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。具体的には、図３は画素５１の配列を示している。すなわち、本実施の形態においては、画素アレイ４４は、撮像領域１０１により被写体の画像を撮像する。撮像領域１０１は、Ｍ／３×Ｎ／３個の行列状に配置された複数のブロック１０２により構成されている。このブロック１０２は撮像される画像の単位を構成する。すなわち被写体は、ブロック１０２毎に所定の色（赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の色により合成される色）の単位の集合として撮像され、表示（つまり人の目に認識）される。
【００５５】
この実施の形態の場合、ブロック１０２は、サブブロック１０３をベイヤ（Bayer）配列することで構成されている。すなわち、ブロック１０２は、１個の赤（Ｒ）のサブブロック１０３、２個の緑（Ｇ）のサブブロック１０３、および１個の青（Ｂ）のサブブロック１０３からなる４つのサブブロック１０３が、２×２の行列状に配置されて構成されている。尚、色配列は、ベイヤ配列に限らず、ストライプ配列、市松配列、または、インタライン配列などでもよい。
【００５６】
この例では、ブロック１０２の右上と左下に緑（Ｇ）のサブブロック１０３が、左上に赤（Ｒ）のサブブロック１０３が、そして右下に青（Ｂ）のサブブロック１０３が、それぞれ配置されている。全てのブロック１０２において、サブブロック１０３の配置パターンは同一である。なお、以下においては、必要に応じて、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のサブブロック１０３を、それぞれＲサブブロック１０３、Ｇサブブロック１０３、またはＢサブブロック１０３と記載する。
【００５７】
左下の１個のＲサブブロック１０３、左上と右下の２個のＧサブブロック１０３、および右上の１個のＢサブブロック１０３の合計４個のサブブロック１０３により合成される色により、対応する位置の被写体の画像の色が撮像され、画像として表現される。すなわち、図３に示されるように、Ｍ／３×Ｎ／３個に行列状に配置された複数のブロック１０２に対応する各領域をＲＮij（i，jはブロック１０２の行と列の位置を表す）とする。そして被写体の色は領域ＲＮij毎の色Ｃijとして撮像され、表現される。つまり、そのブロック１０２を構成する左上の１個のＲサブブロック１０３、左下と右上の２個のＧサブブロック１０３、および右下の１個のＢサブブロック１０３の合計４個のサブブロック１０３により合成される色Ｃijが、被写体のその領域ＲＮijの色として撮像される。
【００５８】
さらにこの実施の形態においては、サブブロック１０３は、互いに隣り合う３個×３個の行列状の同じ色の画素１１１により構成されている。画素１１１は、図１および図２の画素５１に対応する。以下においては、必要に応じて、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の画素１１１を、それぞれＲ画素１１１、Ｇ画素１１１、またはＢ画素１１１と記載する。つまり、Ｒサブブロック１０３は、３個×３個の行列状のＲ画素１１１により構成されている。Ｇサブブロック１０３は、３個×３個の行列状のＧ画素１１１により構成されている。Ｂサブブロック１０３は、３個×３個の行列状のＢ画素１１１により構成されている。１つのサブブロック１０３を構成する３個×３個の同じ色の画素１１１は、それぞれ独立しても読み出すことができるが、１つのサブブロック１０３としてまとめて読み出すこともできる。
【００５９】
図４は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。すなわち、図３の撮像領域１０１を画素１１１により表現すると、図４に示されるようになる。３個×３個の同じ色の画素１１１により１個のサブブロック１０３が構成される。具体的には、３個×３個のＲ画素１１１により１個のＲサブブロック１０３が構成される。同様に、３個×３個のＧ画素１１１により１個のＧサブブロック１０３が構成され、３個×３個のＢ画素１１１により１個のＢサブブロック１０３が構成される。
【００６０】
そして、３個×３個のサブブロック１０３（１個のＲサブブロック１０３、２個のＧサブブロック１０３、および１個のＢサブブロック１０３）により１個のブロック１０２が構成されている。
【００６１】
すなわち、撮像領域１０１においては、同じ色の複数の画素１１１によりサブブロック１０３が構成され、異なる色を含む複数のサブブロック１０３によりブロック１０２が構成されている。そして、複数のサブブロック１０３の異なる色が合成されたブロック１０２の合成色として、ブロック１０２に対応する位置の被写体の撮像点の色として人に認識される。
【００６２】
（１−２）  電子機器の第１の実施の形態の構成例
図５は、本技術を適用した電子機器の第１の実施の形態の構成例を示す図である。図５に示される電子機器３００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。電子機器３００は、例えば、コンパクトデジタルカメラ、デジタル一眼レフカメラ、ビデオカメラ、撮像機能を備えたスマートフォン（多機能携帯電話機）等の携帯端末、内視鏡等として構成される。
【００６３】
図５に示される電子機器３００は、レンズ３１１、光学フィルタ３１２、撮像制御部３０１、表示部３１３、および記録部３１４を有する。撮像制御部３０１は、撮像素子４１、AD変換部３２１、クランプ部３２２、デモザイク部３２３、リニアマトリクス（LM）/ホワイトバランス（WB）/ガンマ補正部３２４、輝度クロマ信号生成部３２５、インタフェース（I/F）部３２６、およびレンズ制御部３２８を有する。この例では、表示部３１３および記録部３１４は、撮像制御部３０１の外部に設けられているが、内部に設けることもできる。
【００６４】
レンズ３１１は、撮像素子４１に入射する被写体光の焦点距離の調整を行う。レンズ３１１の後段には、撮像素子４１に入射する被写体光の光量調整を行う絞り（図示せず）が設けられている。レンズ３１１の具体的な構成は任意であり、例えば、レンズ３１１は複数のレンズにより構成されていてもよい。
【００６５】
レンズ３１１を透過した被写体光は、例えば、赤外光をカットし、赤外光以外の光を透過するIRカットフィルタ等として構成される光学フィルタ３１２を介して撮像素子４１に入射する。
【００６６】
撮像素子４１は、被写体光を光電変換するフォトダイオード等の光電変換素子を有する複数の画素１１１を備える。各画素１１１は、被写体光を電気信号に変換し、その電気信号を、AD変換部３２１に供給する。
【００６７】
なお、撮像素子４１は、本技術の固体撮像装置を構成する。この固体撮像装置は、１チップ化されたモジュールとして構成されてもよいし、撮像素子４１と信号処理回路とが別チップとして構成されてもよい。
【００６８】
本技術の撮像素子４１は、例えば、光電変換素子が被写体光に基づき発生した電荷を読み出すために電荷結合素子（CCD（Charge Coupled Device））と呼ばれる回路素子を用いて転送を行うCCDイメージセンサであってもよいし、CMOS（Complementary Metal Oxide Semiconductor）を用いた、単位セルごとに増幅器を持つCMOSイメージセンサ等であってもよい。
【００６９】
AD変換部３２１は、撮像素子４１から供給されるRGBの電気信号（アナログ信号）をデジタルデータ（画像データ）に変換する。AD変換部３２１は、そのデジタルデータの画像データ（RAWデータ）をクランプ部３２２およびレンズ制御部３２８に供給する。
【００７０】
クランプ部３２２は、画像データから、非画像出力領域の画素値であり、黒色と判定されるレベルである黒レベルを減算する。
【００７１】
ここで画像出力領域と非画像出力領域について図６を参照して説明する。図６は、本技術を適用した画像出力領域と非画像出力領域を示す図である。図６に示されるように、画素アレイ４４には、そのほぼ中央に、画像出力領域４４Ａが設けられており、その周囲に、非画像出力領域４４Ｂが設けられている。画像出力領域４４Ａは、有効画素領域であり、画像出力領域４４Ａの画素１１１の出力は画像データとして利用される。一方、非画像出力領域４４Ｂは、有効画素領域外であるので、非画像出力領域４４Ｂの画素１１１の出力は画像データとして利用されない。しかしながら、非画像出力領域４４Ｂの画素１１１には、OPB（Optical Black）領域が設定されており、OPB領域の画素１１１の出力が黒色と判定されるレベルの黒レベルとされる。
【００７２】
クランプ部３２２は、OPB領域の画素１１１の出力である黒レベルを減算した画像データの全画素分をデモザイク部３２３に供給する。
【００７３】
レンズ制御部３２８は、レンズ３１１の駆動を制御する。具体的には、レンズ制御部３２８は、AD変換部３２１からの画像データを用いたコントラストオートフォーカスなどによる合焦判定に基づいた合焦判定結果に応じて、レンズ３１１の駆動量を算出し、その算出した駆動量に応じてレンズ３１１を移動させる。
【００７４】
デモザイク部３２３は、AD変換部３２１からのRAWデータに対してデモザイク処理を行い、色情報の補完等を行ってRGBデータに変換する。デモザイク部３２３は、デモザイク処理後の画像データ（RGBデータ）をLM/WB/ガンマ補正部３２４に供給する。
【００７５】
LM/WB/ガンマ補正部３２４は、デモザイク部３２３からのRGBデータに対して、色特性の補正を行う。具体的には、LM/WB/ガンマ補正部３２４は、規格で定められた原色（RGB）の色度点と実際のカメラの色度点の差を埋めるために、マトリクス係数を用いて画像データの各色信号を補正し、色再現性を変化させる処理を行う。また、LM/WB/ガンマ補正部３２４は、RGBデータの各チャンネルの値について白に対するゲインを設定することで、ホワイトバランスを調整する。さらに、LM/WB/ガンマ補正部３２４は、画像データの色と出力デバイス特性との相対関係を調節して、よりオリジナルに近い表示を得るためのガンマ補正を行う。LM/WB/ガンマ補正部３２４は、補正後の画像データ（RGBデータ）を輝度クロマ信号生成部３２５に供給する。
【００７６】
輝度クロマ信号生成部３２５は、LM/WB/ガンマ補正部３２４から供給されたRGBデータから輝度信号（Y）と色差信号（Cr,Cb）とを生成する。輝度クロマ信号生成部３２５は、輝度クロマ信号（Y,Cr,Cb）を生成すると、その輝度信号と色差信号をI/F部３２６に供給する。
【００７７】
I/F部３２６は、供給された画像データ（輝度クロマ信号）を、画像データを記録する記録デバイス等の記録部３１４に供給し、記録させたり、画像データの画像を表示する表示デバイス等の表示部３１３に出力し、表示させる。
【００７８】
（１−３）  図５の電子機器による撮像処理
次に、図７のフローチャートを参照して、図５の電子機器３００による撮像処理について説明する。図７は、本技術を適用した電子機器の撮像処理について説明するフローチャートである。
【００７９】
まず、ステップＳ１１において、撮像素子４１は、各画素１１１の入射光を光電変換し、その画素信号を読み出し、AD変換部３２１に供給する。
【００８０】
ステップＳ１２において、AD変換部３２１は、撮像素子４１からの各画素信号をAD変換し、クランプ部３２２に供給する。
【００８１】
ステップＳ１３において、クランプ部３２２は、AD変換部３２１からの各画素信号（画素値）から、有効画素領域の外部に設けられているOPB（Optical Black）領域において検出された黒レベルを減算する。クランプ部３２２は、黒レベルが減算された全画素分の画像データ(画素値）をデモザイク部３２３に供給する。
【００８２】
ステップＳ１４において、デモザイク部３２３は、デモザイク処理を行い、RAWデータをRGBデータに変換し、LM/WB/ガンマ補正部３２４に供給する。
【００８３】
ステップＳ１５において、LM/WB/ガンマ補正部３２４は、デモザイク部３２４からのRGBデータに対して、色補正、ホワイトバランスの調整、およびガンマ補正を行い、輝度クロマ信号生成部３２５に供給する。
【００８４】
ステップＳ１６において、輝度クロマ信号生成部３２５は、RGBデータから輝度信号および色差信号（すなわちYCrCbデータ）を生成する。
【００８５】
そして、ステップＳ１７において、I/F部３２６は、輝度クロマ信号生成部３２５によって生成された輝度信号および色差信号を記録部３１４や表示部３１３に出力する。
【００８６】
ステップＳ１８において、表示部３１３はI/F部３２６から供給された信号に基づいて被写体の画像を表示する。また、記録部３１４は、ユーザからの指示に基づいて、I/F部３２６から供給された信号を記録する。
【００８７】
以上の処理によれば、３個×３個の同じ色の複数の画素１１１により構成されるサブブロック１０３単位で異なる色が合成されたブロック１０２の合成色として、ブロック１０２に対応する位置の被写体の撮像点の色として人に認識されるようにすることができる。
【００８８】
＜２．第２の実施の形態＞
（２−１）  ハイフレームレート撮像と通常のフレームレート撮像との同時撮像
以上においては、サブブロック１０３を構成する、互いに隣り合う３個×３個の行列状の同じ色の画素１１１は、いずれも同一の露光時間である例について説明してきたが、サブブロック１０３を構成する画素１１１の露光時間は全てが同一でなくてもよい。
【００８９】
例えば、図８の左上部で示されるように、３個×３個の行列状の同じ色の画素１１１のうち、白色の星印が付されたサブブロック１０３における中心位置の画素のみを単独画素１１１Ａにして、それ以外の８個の画素１１１を通常の画素として読み出すようにしてもよい。このとき、さらに、右上部で示されるように、８個の通常の画素１１１より読み出した画素信号を加算して１画素の画素信号として用いるようにしてもよい。
【００９０】
以降においては、各サブブロック１０３における８個の通常の画素１１１より読み出した画素値を加算して１画素として扱うとき、通常加算画素とも称する。
【００９１】
このようにすることで、図８の左上部の例においては、単独画素１１１Ａの露光時間（≒フレームレート）が、例えば、通常の画素１１１の８倍の長さである場合、通常加算画素は、通常の画素１１１に対して、８倍の感度の画素として扱うことができる。
【００９２】
尚、画素信号については、サブブロック１０３単位で扱うものとするので、この例においては、同一のサブブロック１０３において、通常加算画素の画素信号と、単独画素１１１Ａの画素信号が存在することになる。
【００９３】
結果として、図８の下部で示されるように、例えば、単独画素１１１Ａがフレームレート60fpsで使用される場合、通常加算画素は、フレームレートを480fpsにしても、単独画素１１１Ａと同等の感度を確保することが可能となる。
【００９４】
尚、図８の下部における上段が、通常加算画素の読み出しのタイミングを示しており、それぞれの露光開始時刻と露光終了時刻とが示されている。また、図８の下部における下段が、単独画素１１１Ａの読み出しタイミングを示しており、露光開始時刻と露光終了時刻とを示している。
【００９５】
より具体的には、通常加算画素の１フレーム目は、時刻ｔ０で露光が開始され、時刻ｔ１において露光が終了する。同様に、通常加算画素の２フレーム目は、時刻ｔ１で露光が開始され、時刻ｔ２において露光が終了する。通常加算画素の３フレーム目は、時刻ｔ２で露光が開始され、時刻ｔ３において露光が終了する。通常加算画素の４フレーム目は、時刻ｔ３で露光が開始され、時刻ｔ４において露光が終了する。通常加算画素の５フレーム目は、時刻ｔ４で露光が開始され、時刻ｔ５において露光が終了する。通常加算画素の６フレーム目は、時刻ｔ５で露光が開始され、時刻ｔ６において露光が終了する。通常加算画素の７フレーム目は、時刻ｔ６で露光が開始され、時刻ｔ７において露光が終了する。通常加算画素の８フレーム目は、時刻ｔ７で露光が開始され、時刻ｔ８において露光が終了する。尚、時刻ｔ１乃至ｔ２、時刻ｔ２乃至ｔ３、時刻ｔ３乃至ｔ４、時刻ｔ４乃至ｔ５、時刻ｔ５乃至ｔ６、時刻ｔ６乃至ｔ７、および時刻ｔ７乃至ｔ８は、いずれも同一の時間である。
【００９６】
これに対して、単独画素１１１Ａは、１フレーム目は、時刻ｔ０で露光が開始され、時刻ｔ８において露光が終了する。
【００９７】
すなわち、通常加算画素は、単独画素１１１Ａに対して感度が８倍となる分、８倍のフレームレートで同一の感度の撮像を実現することが可能となる。
【００９８】
結果として、ハイフレームレート撮像と、通常フレームレート撮像とを同時に実現することが可能となる。
【００９９】
（２−２）  ダイナミックレンジ拡大撮像
また、８個の画素１１１の画素値の加算結果からなる通常加算画素は、単独画素１１１Ａに対して８倍の感度を有するので、両者の露光時間が同一である場合、HDR（High Dynamic Range）撮像と呼ばれる感度の異なる画素を用いてダイナミックレンジを拡大させる撮像を実現することができる。
【０１００】
尚、図９の左上部および右上部は、図８と同様である。また、図９の下部は、上段が通常加算画素であり、下段が単独画素１１１Ａの露光開始時刻と露光終了時刻とが示されており、いずれも時刻ｔ１１において露光が開始され、時刻ｔ１２において露光が終了していることが示されている。
【０１０１】
一般的に、HDR撮像は、画素毎に露光時間を変化させることで実現されている。しかしながら、一般的なHDR撮像の場合、画素単位で露光されるタイミングが異なるため、被写体に動きがあると、異なる露光時間の画素間において、相互に異なる被写体が写り込んだ画素信号が得られることになるので、動きブレが発生し、画質が低減する。
【０１０２】
これに対して、図９で示されるように、感度の異なる通常加算画素と単独画素１１１Ａとを用いて、同一のタイミングで露光される画素信号を用いてHDR撮像を実現させることができる。すなわち、被写体に動きがあっても、同一の露光時間内において、通常加算画素および単独画素１１１Ａには、相互にほぼ同一の被写体が写り込むことになるので、HDR撮像においても、動きブレを低減させることが可能となる。
【０１０３】
（２−３）  電子機器の第２の実施の形態の構成例
次に、図１０のブロック図を参照して、電子機器３００の第２の実施の形態の構成例について説明する。
【０１０４】
図１０の電子機器３００において、図４の電子機器３００と同一の機能を備えた構成については、同一の符号および同一の名称を付しており、その説明は適宜省略する。図１０の電子機器３００において、図５の電子機器３００と異なる点は、クランプ部３２２に代えて、クランプ部３３０を設けた点である。
【０１０５】
クランプ部３３０は、基本的な機能は、クランプ部３２２と同様であるが、さらに、通常の画素１１１より供給される画素信号のデジタル信号を加算し、サブブロック１０３単位で通常加算画素を１画素の画素信号として扱い、単独画素１１１Ａについては、そのままの画素信号を同一位置のサブブロック１０３の１画素の画素信号として扱う。
【０１０６】
（２−４）  図１０の電子機器による撮像処理
次に、図１１のフローチャートを参照して、図１０の電子機器３００による、通常加算画素を用いた撮像処理について説明する。尚、図１０のフローチャートにおけるステップＳ２１，Ｓ２２，Ｓ２４乃至Ｓ２９の処理については、図７のフローチャートにおけるステップＳ１１乃至Ｓ１８と同一の処理であるので、その説明は省略する。ただし、ステップＳ２１，Ｓ２２の処理は、通常加算画素を構成する８個の画素１１１のそれぞれにおいてなされる処理である。
【０１０７】
すなわち、ステップＳ２３において、クランプ部３３０は、AD変換部３２１からの各画素信号（画素値）について、通常加算画素を構成する８個の画素値を加算し、以降において、サブブロック１０３単位の１個の通常加算画素として信号処理を実行する。
【０１０８】
尚、単独画素１１１Ａを用いた撮像処理については、図７のフローチャートを参照して説明した処理と同様であるので説明を省略する。
【０１０９】
以上のように、サブブロック１０３単位で感度の異なる通常加算画素と単独画素１１１Ａとを設けるようにすることで、通常加算画素と単独画素１１１Ａとのそれぞれの露光時間が異なっていても、同一感度の画像を撮像することができるので、例えば、同一の感度のハイフレームレートの撮像と、通常のフレームレートの撮像とを同時に実現させることが可能となる。
【０１１０】
すなわち、図８で示されるように、通常加算画素の感度が、単独画素１１１Ａの感度の８倍であるときには、通常加算画素により、単独画素１１１Ａの８倍のフレームレート（１／８の露光時間）で撮像しても、同一の感度の画像を撮像することができる。結果として、同時に異なるフレームレートの撮像を実現することが可能となる。
【０１１１】
また、通常加算画素と単独画素１１１Ａとのそれぞれの露光時間を同一にすると、異なる感度の画像を、同時に撮像することができるので、動きブレの少ない高画質なHDR撮像を実現することが可能となる。
【０１１２】
すなわち、図９で示されるように、通常加算画素が、単独画素１１１Ａの感度の８倍であるときには、同一の露光時間で、通常加算画素により、単独画素１１１Ａの８倍の感度の画像を撮像することができる。結果として、動きブレの少ない高画質なHDR撮像を実現することが可能となる。
【０１１３】
さらに、通常加算画素の画素信号を処理する構成と、単独画素１１１の画素信号を処理する構成は、それぞれ独立するものにしてもよい。すなわち、例えば、クランプ部３３０、デモザイク部３２３、LM/WB/ガンマ補正部３２４、輝度クロマ信号生成部３２５、およびインタフェース部３２６については、それぞれ通常加算画素の画素信号を処理するものと単独画素１１１の画素信号を処理するものとを独立して、２系統と備えるようにしてもよい。
【０１１４】
＜３．第３の実施の形態＞
（３−１）  通常加算画素と位相差検波用画素とからなる画素配置例
以上においては、サブブロック１０３単位で感度の異なる通常加算画素と単独画素とを設ける画素配置例について説明してきたが、サブブロック１０３単位で通常加算画素と、単独画素に代えて、位相差検波用画素を設けるようにしてもよい。
【０１１５】
例えば、図１２で示されるように、ｍ×ｎ個の画素１１１は基本的にＲ，Ｇ，Ｂの撮像用画素であるが、サブブロック１０３を構成する水平方向３個×垂直方向３個のうちの水平方向に中央位置で、かつ、垂直方向に中央位置の画素が、対となる位相差検波用画素１１１Ｂ−１，１１１Ｂ−２のいずれかに置き換えられている。このような構成により、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２のいずれかが全体に規則的に配置される。図５の構成例では、行列状に２次元配置される複数の画素１１１の中に、画素の半分が黒色の矩形で示され、残りの半分が白色の星印で示される複数の位相差検波用画素１１１Ｂ−１または１１１Ｂ−２が散在して配置されている。
【０１１６】
より詳細には、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、３個×３個の画素１１１のうち、相対的に同じ位置（対応する位置）である中央の画素１１１が位相差検波用画素１１１Ｂ−１または１１１Ｂ−２とされている。
【０１１７】
そして、右から第２列および第８列目には、横方向の位相差を検波する対の位相差検波用画素１１１Ｂ−１，１１１Ｂ−２のうち、対の一方を構成する位相差検波用画素１１１Ｂ−１が配置されている。また、右から第５列および第１１列には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１１１Ｂ−２が配置されている。
【０１１８】
図１３は、本技術を適用した撮像素子４１の画素アレイ４４の位相差検波用画素１１１Ｂ−１，１１Ｂ−２の構成を示す図である。図１３の左側には、横方向の位相差を検波する対の位相差検波用画素１１１Ｂ−１，１１１Ｂ−２のうちの位相差検波用画素１１１Ｂ−２が示されている。位相差検波用画素１１１Ｂ−２においては、その右側に遮光部３３２−２が、その左側に透光部３３１−２が形成されている。この例では被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２−２は、例えば、銅などの金属膜により形成される。そして、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１−２は、遮光部３３２−２を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２−２を形成しないことで開口を形成することもできる。
【０１１９】
他方、位相差検波用画素１１１Ｂ−２と対をなす、図１３の右側に示される位相差検波用画素１１１Ｂ−１においては、その左側に遮光部３３２−１が、その右側に透光部３３１−１が形成されている。この例でも被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２−１は、例えば、銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１−１は、遮光部３３２−１を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２−１を形成しないことで開口を形成することもできる。
【０１２０】
図１３においては、横方向（水平方向）の位相差を検波する位相差検波用画素１１１Ｂが設けられる例が示されているが、縦方向（垂直方向）の位相差を検波するようにしてもよい。
【０１２１】
また、図１４の上側には、縦方向の位相差を検波する対の位相差検波用画素１１１Ｂ’−１，１１１Ｂ’−２のうちの位相差検波用画素１１１Ｂ’−１が示されている。位相差検波用画素１１１Ｂ’−１においては、その下側に遮光部３３２−３が、その上側に透光部３３１−３が形成されている。この例では被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２−３は、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１−３は、遮光部３３２−４を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２−３を形成しないことで開口を形成することもできる。
【０１２２】
他方、位相差検波用画素１１１Ｂ’−１と対をなす、図１４の下側に示される位相差検波用画素１１１Ｂ’−２においては、その上側に遮光部３３２−４が、その下側に透光部３３１−４が形成されている。この例でも被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２−４は、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１−４は遮光部３３２−４を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２−４を形成しないことで開口を形成することもできる。
【０１２３】
（３−２）  位相差検波の原理
図１５は、本技術を適用した撮像素子の一実施の形態の通常の画素１１１の構成例を示す断面図である。図１５は、通常加算画素を構成する画素のうち、２個の画素１１１の断面構成を表している。図１５に示されるように、画素１１１は、例えばＳｉ（シリコン）の半導体基板３５１に光電変換部としてのフォトダイオード３５２（図２のフォトダイオード６１に対応する）が形成されている。半導体基板３５１の上層には、Ｒ，ＧまたはＢのカラーフィルタ３５４が形成されており、それらの上層には、オンチップレンズ３５５が形成されている。
【０１２４】
被写体からの光は、オンチップレンズ３５５により集光され、Ｒ，ＧまたはＢのカラーフィルタ３５４を透過し、カラーフィルタ３５４に対応する色の光がフォトダイオード３５２に入射される。これによりフォトダイオード３５２から、カラーフィルタ３５４に対応する色の光の成分の色信号（画素信号）が出力される。
【０１２５】
図１６は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。図１６は便宜上、２個の位相差検波用画素１１１Ｂ−１，１１１Ｂ−２の断面構成を並べて示している。図１６に示されるように、位相差検波用画素１１１Ｂの構成は、基本的に図１５に示した画素１１１と同様であるが、図１５のカラーフィルタ３５４に代えて、遮光部３３２−１，３３２−１と、透光部３３１−１，３３１−２が配置されている。遮光部３３２−１，３３２−２と、透光部３３１−１，３３１−２の構成は、図１３と図１４を参照して説明した通りである。
【０１２６】
これにより、例えば、位相差検波用画素１１１Ｂ−２においては、オンチップレンズ３５５により集光された光の一部が透光部３３１−２を透過して、フォトダイオード３５２に入射する。しかしながら、オンチップレンズ３５５により集光された光の一部は、図１６において透光部３３１−２の右側に配置されている遮光部３３２−２により遮光され、フォトダイオード３５２に入射しない。
【０１２７】
また、位相差検波用画素１１１Ｂ−１においては、オンチップレンズ３５５により集光された光の一部が透光部３３１−１を透過して、フォトダイオード３５２に入射する。しかしながら、オンチップレンズ３５５により集光された光の一部は、図１６において透光部３３１−１の左側に配置されている遮光部３３２−１により遮光され、フォトダイオード３５２に入射しない。
【０１２８】
図１７は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の位相差特性について説明する図である。以下、図１６と図１７を参照して、位相差検波の原理について説明する。
【０１２９】
図１６に示されるように、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２には、５つの方向からの入射光L1乃至L5が入射されるものとする。図１７のグラフには、そのときの位相差検波用画素１１１Ｂ−１，１１１Ｂ−２の画素信号出力が示されている。
【０１３０】
図１７のグラフにおいて、横軸は、入射光の入射角を示しており、縦軸は、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２の画素信号出力を示している。なお、実線１４１Ｂは、位相差検波用画素１１１Ｂ−１の画素信号出力を示し、破線１４１Ａは、位相差検波用画素１１１Ｂ−２の画素出力を示している。
【０１３１】
このグラフに示されるように、左側遮光の位相差検波用画素１１１Ｂ−１は、左側（マイナス側）に入射光の角度をつけると、その出力が大きくなり、右側遮光の位相差検波用画素１１１Ｂ−２は、右側（プラス側）に入射光の角度をつけると、その出力が大きくなる。つまり、入射光L1のように、入射光においてマイナス方向の角度成分が大きい場合、位相差検波用画素１１１Ｂ−１の出力は、位相差検波用画素１１１Ｂ−２の出力より大きくなる。そして入射光L5のように、入射光においてプラス方向の角度成分が大きい場合、位相差検波用画素１１１Ｂ−２の画素信号出力は、位相差検波用画素１１１Ｂ−１の画素信号出力より大きくなる。
【０１３２】
このような、１対の位相差検波用画素１３１における、入射光の入射角に対する位相差検波用画素１３１それぞれの画素信号出力の位相差特性を利用して、デフォーカス量が検出される。
【０１３３】
（３−３）  電子機器の第３の実施の形態の構成例
図１８は、本技術を適用した電子機器の第３の実施の形態の構成例を示す図である。図１８に示される電子機器３００において、図１０の電子機器３００と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略する。
【０１３４】
すなわち、図１８の電子機器３００において、図１０の電子機器３００と異なる点は、補正パラメータ算出部３７１、メモリ３７２、位相差補正部３７３、位相差検波部３７４、レンズ制御部３７５をさらに備えている点である。
【０１３５】
補正パラメータ算出部３７１は、撮像素子４１の製造後のテスト工程や、撮像素子４１にレンズ３１１を装着した後のテスト工程等において得られた位相差特性のデータを用いて補正パラメータを算出する。この補正パラメータは、位相差検波部３７４によって検出される位相差を補正するのに用いられる。
【０１３６】
メモリ３７２には、補正パラメータ算出部３７１によって算出された補正パラメータが記憶される。
【０１３７】
位相差検波部３７４は、クランプ部３３０からの画像データ（画素値）に基づいて位相差検波処理行うことで、フォーカスを合わせる対象の物体（合焦対象物）に対してフォーカスが合っているか否か判定する。位相差検波部３７４は、フォーカスエリアにおける物体にフォーカスが合っている場合、合焦していることを示す情報を合焦判定結果として、レンズ制御部３７５に供給する。また、位相差検波部３７３は、合焦対象物にフォーカスが合っていない場合、フォーカスのずれの量（デフォーカス量）を算出し、その算出したデフォーカス量を示す情報を合焦判定結果として、レンズ制御部３７５に供給する。
【０１３８】
位相差補正部３７３は、メモリ３７２に記憶されている補正パラメータを用いて、位相差検波部３７４によって検波された位相差を補正する。位相差検波部３７４は、補正された位相差に対応する合焦判定結果を、レンズ制御部３７５に供給する。
【０１３９】
レンズ制御部３７５は、レンズ３１１の駆動を制御する。具体的には、レンズ制御部３７５は、位相差検波部３７４から供給された合焦判定結果に基づいて、レンズ３１１の駆動量を算出し、その算出した駆動量に応じてレンズ３１１を移動させる。
【０１４０】
例えば、レンズ制御部３７５は、フォーカスが合っている場合には、レンズ３１１の現在の位置を維持させる。また、レンズ制御部３７５は、フォーカスが合っていない場合には、デフォーカス量を示す合焦判定結果とレンズ３１１の位置とに基づいて駆動量を算出し、その駆動量に応じてレンズ３１１を移動させる。
【０１４１】
（３−４）  位相差オートフォーカス処理
次に、図１９のフローチャートを参照して、図１８の電子機器３００による位相差オートフォーカス処理について説明する。位相差オートフォーカス処理は、被写体を撮像する際に電子機器３００によって撮像処理の前または並行して実行される。
【０１４２】
まず、ステップＳ３１において、撮像素子４１は、各画素１１１の入射光を光電変換し、各画素信号を読み出し、AD変換部３２１に供給する。なお、位相差検波用画素１１１Ｂは、通常の画素１１１とは異なるタイミングで読み出すようにすることもできる。
【０１４３】
ステップＳ３２において、AD変換部３２１は、撮像素子４１からの各画素信号をAD変換し、クランプ部３２２に供給する。
【０１４４】
ステップＳ３３において、クランプ部３２２は、AD変換部３２１からの各画素信号（画素値）から、有効画素領域の外部に設けられているOPB（Optical Black）領域において検出された黒レベルを減算する。クランプ部３２２は、黒レベルを減算した画像データのうち、位相差検波用画素１１１Ｂから出力された画像データ（画素値）を位相差検波部３７４に供給する。
【０１４５】
ステップＳ３４において、位相差補正部３７３は、予め算出され、メモリ３７２に記憶されている補正パラメータを読み出す。
【０１４６】
ステップＳ３５において、位相差検波部３７４は、クランプ部３２２からの画像データ（画素値）に基づいて位相差検波を行う。すなわち、縦方向（垂直方向）と横方向（水平方向）の位相差を検波する位相差検波用画素１１１Ｂの出力がそれぞれ読み出される。
【０１４７】
ステップＳ３６において、位相差補正部３７３は、ステップＳ４４の処理で読み出された補正パラメータを用いて、位相差検波部３７４により検波された位相差を補正する。つまり、補正パラメータが位相差検波部３７４に供給され、検波された位相差が補正される。
【０１４８】
ステップＳ３７において、位相差検波部３７４は、フォーカスエリア内の位相差検波用画素１３１の出力を連結する。すなわちフォーカスエリア内の位相差検波用画素１１１Ｂの出力が画素位置に応じて連結され、ＡＦ画素信号が生成される。
【０１４９】
ステップＳ３８において、位相差検波部３７４は、ステップＳ３７で生成されたＡＦ画素信号に、シェーディング補正（周辺画面の光量落ち補正）や、ビネッティングによる２像の歪みの復元補正等を施し、相関演算用の１対の像信号を生成する。
【０１５０】
図２０は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素１１１Ｂ−１，１１１Ｂ−２の構成を示す図である。図２０に示されているように、本実施の形態の撮像素子４１は、横方向の位相差を検波するための位相差検波用画素１１１Ｂ−２と、それと対になる横方向の位相差を検波するための位相差検波用画素１１１Ｂ−１とを有する。
【０１５１】
位相差検波用画素１１１Ｂの信号はグループ化処理される。図２０に示されるように、横方向の位相差を検波するための位相差検波用画素１１１Ｂ−１，１１１Ｂ−２は、つまり横方向に、例えば第２行、第８行・・・にグループ化される。
【０１５２】
具体的には、横方向の位相差検波のためのフォーカスエリアＲhに含まれる位相差検波用画素１１１Ｂ−２で得られた画素信号を横方向に連結した位相差検波用の像信号ＳＩＧh(A)が生成される。また、同様に、フォーカスエリアＲhに含まれる位相差検波用画素１１１Ｂ−１で得られた画素信号を横方向に連結した位相差検波用の像信号ＳＩＧh(B)が生成される。
【０１５３】
ステップＳ３９において、位相差検波部３７４は位相差検波用の像信号対の相関を演算する。すなわち、像信号ＳＩＧh(A)と像信号ＳＩＧh(B)の位相差の相関が演算される。
【０１５４】
ステップＳ４０において、位相差検波部３７４は、相関の信頼性を判定する。すなわち、ステップＳ３９で演算された相関の演算結果の信頼性が判定される。ここで信頼性とは、像信号対の一致度（波形の類似度）を指し、一致度が良い場合は一般的に焦点検出結果の信頼性が高い。
【０１５５】
例えば、フォーカスエリアＲhにおける像信号ＳＩＧh(A)と像信号ＳＩＧh(B)の位相差を公知の相関演算によって計算することで、横方向における焦点ずれ量（デフォーカス量）を求めることができる。
【０１５６】
ステップＳ４１において、位相差検波部３７４は、焦点ずれ量を算出する。すなわち、ステップＳ４０において、信頼性が高いと判定された像信号対から求められた位相差に基づいて、最終的な焦点ずれ量が算出される。
【０１５７】
ステップＳ４２において、レンズ制御部３７５は、位相差検波部３７４からの合焦判定結果に基づいて、レンズ３１１の駆動を制御する。
【０１５８】
以上のようにしてフォーカス制御が行われる。この処理は必要に応じて繰り返し実行される。
【０１５９】
なお、レンズ制御部３７５は、上述したような位相差オートフォーカスに加え、コントラストオートフォーカスを行うことで、レンズ３１１の駆動を制御するようにしてもよい。例えば、レンズ制御部３７５は、位相差検波部３７４から、合焦判定結果としてフォーカスのずれの量（デフォーカス量）を示す情報が供給された場合、フォーカスのずれの方向（前ピンか後ピンか）を判別し、その方向に対してコントラストオートフォーカスを行うようにしてもよい。
【０１６０】
尚、図１８の電子機器３００による撮像処理については、図１１のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０１６１】
以上の処理によれば、AFの精度を向上させて、画質の劣化を抑制することが可能となる。
【０１６２】
また、図１２の下段で示されるように、時刻ｔ２０乃至ｔ２１において、位相差検波用画素１１１Ｂを読み出した後、時刻ｔ２１乃至ｔ２２において、通常加算画素を読み出しながら、位相差オートフォーカス処理を実行して、レンズ３１１によるフォーカス調整を行うことで、被写体の動きにフォーカスを追従させながら連続した撮像を行うことが可能となり、画質の劣化を抑制させることが可能となる。
【０１６３】
（３−５）  第３の実施の形態の変形例（サブブロック内に位相差検波用画素または黒画素を設ける画素配置例）
以上においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素を、位相差検波用画素として構成する例について説明してきたが、位相差検波用画素の一部を黒画素として用いるようにしてもよい。
【０１６４】
より具体的には、図２１の左上部で示されるように、上段のブロック１０２においては、上段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２として構成され、下段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、黒画素１１１Ｃとして構成されている。
【０１６５】
さらに、下段のブロック１０２においては、上段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、黒画素１１１Ｃとして構成され、下段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２として構成されている。
【０１６６】
ここで、黒画素１１１Ｃは、図６の非画像出力領域４４Ｂに設けられているOPB領域に設けられた黒レベルを求めるために構成された画素に対応する画素である。より詳細には、黒画素１１１Ｃは、全面が、図１３を参照して説明した、銅などの金属膜により形成される遮光部３３２よりで覆われた画素である。
【０１６７】
このような構成により、図２１の右上部で示されるように、通常の画素１１１は、８個分が加算されて、通常加算画素として出力されると共に、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２、および黒画素１１１Ｃがそれぞれ出力される。
【０１６８】
サブブロック１０３単位で各画素１１１の画素信号は、近傍の黒画素１１１Ｃの黒レベルを読み出して、上述したステップＳ１３（図７）、Ｓ２３（図１１）、およびＳ３３（図１９）の処理における黒レベルの減算に使用する。
【０１６９】
このような構成により、図２１の下段で示されるように、時刻ｔ５０乃至ｔ５１において、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２、および黒画素１１１Ｃの画素信号が読み出され、その後、時刻ｔ５１乃至ｔ５２において、通常加算画素が読み出されるようにする。
【０１７０】
このような読み出し順序により、先に、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２が読み出されることで、その後のタイミングにおいて、通常加算画素を読み出しながら、位相差オートフォーカス処理を実行して、レンズ３１１によるフォーカス調整を行うことで、被写体の動きにフォーカスを追従させながら連続した撮像を行うことが可能となり、画質の劣化を抑制させることが可能となる。
【０１７１】
さらに、通常加算画素が読み出された後に、先に読み出されている黒画素を用いた黒レベルの減算により、サブブロック１０３毎に近傍の黒画素１１１Ｃの黒レベルを減算することで、高画質化を図ることが可能となる。
【０１７２】
これまで、図６の画像出力領域４４Ａの周辺に設けられた非画像出力領域４４Ｂ内に設定されるOPB領域の画素１１１を黒レベルとしていたため、画像出力領域４４Ａにおいて２次元的に発生する黒レベルのばらつきを用いた補正ができなかった。しかしながら、本開示の黒画素１１１Ｃを用いた２次元的な黒レベルの検波結果を用いた画素信号の補正により、２次元的に発生する黒レベルのばらつきを抑制することができ、より高精度なクランプ処理を実現することが可能となる。
【０１７３】
さらに、図６で示されるような非画像出力領域４４Ｂを設けて、OPB領域を設定する必要がなくなるので、撮像素子４１を小型化することが可能になると共に、小型化に起因する低コスト化を実現することが可能となる。
【０１７４】
＜４．第４の実施の形態＞
（４−１）  白画素を用いた画素配置例
以上においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素を、位相差検波用画素または黒画素として構成する例について説明してきたが、位相差検波用画素および黒画素に代えて、白画素を用いるようにしてもよい。
【０１７５】
より具体的には、図２２の左上部で示されるように、各ブロック１０２においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素が、白画素１１１Ｄとして構成されている。白画素１１１Ｄは、透明なカラーフィルタ３５４、またはカラーフィルタ３５４が設けられていない構成とされており、白色光がフォトダイオード３５２に入射される。
【０１７６】
このような構成により、図２２の右上部で示されるように、サブブロック１０３単位における通常の８個の画素１１１の画素信号が加算されることにより、ベイヤ配列の狭色帯域の通常加算画素の画素信号が読み出される。
【０１７７】
一方、白画素１１１Ｄは、白色光が入射されることにより、輝度信号そのものを出力する。
【０１７８】
このため、例えば、ＲＧＢのそれぞれのサブブロック１０３の通常加算画素、および白画素１１１Ｄからは、図２２の左下部で示されるように、それぞれ波形Ｒ，Ｇ，Ｂ，Ｗで示される信号が出力される。図２２の左下部においては、横軸は、波長であり、縦軸は、画素信号のレベルである。
【０１７９】
このように、ベイヤ配列のＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号は狭色帯域の信号となるのに対して、白画素１１１Ｄから出力される輝度信号は、広色帯域の信号となる。
【０１８０】
そこで、ＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号は狭色帯域の信号と、広色帯域の信号とを用いて、偽解像や高周波の色偽を低減させる。
【０１８１】
より具体的には、まず、ＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号である狭色帯域の信号に対してLPF（Low Pass Filter）は掛けられて色のDC成分が抽出される。次に、白画素１１１Ｄから出力される広色帯域の信号に対しては、HPF（High Pass Filter）が掛けられて輝度のAC成分が抽出される。
【０１８２】
そして、LPFが掛けられたＲＧＢの通常加算画素のそれぞれの画素信号のDC成分と、HPFが掛けられた輝度信号のAC成分とが加算される。
【０１８３】
すなわち、ＲＧＢの通常加算画素の画素信号にLPFが掛けられるとき、高周波成分は応答が低下するので、その分をHPFが掛けられた輝度成分のAC成分で補うように補正する。
【０１８４】
このような処理により、偽解像や高周波の色偽を低減させることが可能となる。
【０１８５】
（４−２）  電子機器の第４の実施の形態の構成例
図２３は、本技術を適用した電子機器の第４の実施の形態の構成例を示す図である。２３に示される電子機器３００において、図１８の電子機器３００と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略する。
【０１８６】
すなわち、図２３の電子機器３００において、図１８の電子機器３００と異なる点は、デモザイク部３２３とLM/MB/ガンマ補正部３２４との間に補正部３９１を設けた点である。
【０１８７】
補正部３９１は、ＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号である狭色帯域の信号に対してLPF（Low Pass Filter）を掛けて色のDC成分を抽出し、白画素１１１Ｄから出力される広色帯域の信号に対しては、HPF（High Pass Filter）を掛けて輝度のAC成分を抽出し、それぞれを加算する。
【０１８８】
この処理により、LPFが掛けられるとき、低下する色のDC成分の高周波成分をHPFが掛けられた輝度成分のAC成分で補うように補正し、偽解像や高周波の色偽を低減させる。
【０１８９】
尚、補正部３９１の詳細な構成については、図２４を参照して後述する。
【０１９０】
（４−３）  補正部の構成例
図２４の上部は、図２３の補正部３９１の構成例を示す図であり、図２４の下部は、HPF４０１と、LPF４０２の入力信号の周波数と応答出力との関係を示す波形図である。
【０１９１】
補正部３９１は、HPF（High Pass Filter）４０１、LPF（Low Pass Filter）４０２、および加算部４０３より構成される。
【０１９２】
HPF４０１は、ＲＧＢのそれぞれのサブブロック１０３の白画素１１１Ｄより供給される輝度信号よりAC成分を抽出して加算部４０３に出力する。
【０１９３】
LPF４０２は、ＲＧＢのそれぞれのサブブロック１０３の通常加算画素からの画素信号よりDC成分を抽出して加算部４０３に出力する。
【０１９４】
加算部４０３は、LPF４０２からのＲＧＢのそれぞれのサブブロック１０３の通常加算画素からの画素信号のDC成分と、HPF４０１からの輝度信号のAC成分とを加算して、ＲＧＢのサブブロック１０３の色信号として出力する。
【０１９５】
すなわち、図２４の下部の実線のLPF４０２の特性を示す波形で示されるように、LPF４０２は、入力信号の周波数が低いときには、応答出力が高く、周波数が高くなると応答出力が低くなる。これに対して、図２４の下部の点線のHPF４０１の特性を示す波形で示されるように、HPF４０１は、入力信号の周波数が低いときには、応答出力が低く、周波数が高くなると応答出力が高くなる。すなわち、応答出力の最大値を１としたとき、HPF４０１の応答出力は、１からLPF４０２の応答出力を減算した値となる。
【０１９６】
そこで、ＲＧＢのサブブロック１０３の通常加算画素の画素信号については、LPF４０２を掛けたとき、ＲＧＢの周波数に応じて応答出力が増減するので、周波数が高い波長の色については、輝度信号よりHPF４０１により抽出されるAC成分を補うことで、偽解像や色偽の発生を抑制させることが可能となる。
【０１９７】
（４−４）  図２３の電子機器による撮像処理
次に、図２５のフローチャートを参照して、図２３の電子機器３００による撮像処理について説明する。尚、図２５のフローチャートにおけるステップＳ８１乃至Ｓ８３，Ｓ８５Ｓ，８７乃至Ｓ９０の処理は、図１１のフローチャートを参照して説明したステップＳ２１乃至Ｓ２３，Ｓ２５乃至Ｓ２９と同様であるので、その説明は省略する。すなわち、図２５のフローチャートにおいて、図１１のフローチャートと異なる処理は、ステップＳ８４，Ｓ８６の処理である。
【０１９８】
ステップＳ８４において、クランプ部３３０は、各サブブロック１０３について、AD変換部３２１からの通常加算画素の画素信号（画素値）から、対応する黒画素１１１Ｃの画素信号として検出された黒レベルを減算する。クランプ部３３０は、黒レベルが減算された全画素分の画像データ(画素値）をデモザイク部３２３に供給する。すなわち、ここでは、サブブロック１０３単位で、通常加算画素の画素信号より、黒画素１１１Ｃの画素信号である黒レベルが減算される。結果として、画素アレイ４４上の画素１１１単位で生じ得る２次元的な黒レベルのばらつきを高精度に補正することが可能となる。
【０１９９】
また、ステップＳ８６において、補正部３９１は、補正処理を実行して、ＲＧＢのサブブロック１０３の通常加算画素の画素信号のDC成分を抽出すると共に、対応する白画素１１１Ｄの輝度信号のAC成分を抽出して加算することで、偽解像や色偽の発生を抑制する。
【０２００】
（４−５）  補正処理
ここで、図２６のフローチャートを参照して、補正部３９１による補正処理について説明する。
【０２０１】
ステップＳ１０１において、LPF４０２は、ベイヤ配列のＲＧＢのサブブロック１０３のそれぞれに対応する狭色帯域の画素信号に対して、LPFを掛けて、色のDC成分を抽出して加算部４０３に出力する。
【０２０２】
ステップＳ１０２において、HPF４０１は、ベイヤ配列のＲＧＢのサブブロック１０３のそれぞれに対応する広色帯域の輝度信号に対して、HPFを掛けて、輝度のAC成分を抽出して加算部４０３に出力する。
【０２０３】
ステップＳ１０３において、加算部４０３は、ベイヤ配列のＲＧＢのサブブロック１０３毎に、HPF４０１より供給される輝度のAC成分と、LPF４０２より供給される色のDC成分とを加算してクランプ部３２２に出力する。
【０２０４】
以上の処理により、ＲＧＢのサブブロック１０３の通常加算画素の画素信号について、ＲＧＢの周波数に応じて、LPF４０２を掛けたとき、周波数に応じて応答出力が増減するので、周波数が高い波長の色については、輝度信号よりHPF４０１により抽出されるAC成分を補うことで、偽解像や色偽の発生を抑制させることが可能となる。尚、ステップＳ１０１，Ｓ１０２の処理は順序が入れ替わってもよいものであるが、実質的に、並列的に処理がなされるものである。
【０２０５】
（４−６）  第４の実施の形態の変形例（サブブロック内に白画素または位相差検波用画素を設ける画素配置例）
以上においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素を、白画素１１１Ｄとする例について説明してきたが、白画素１１１Ｄの一部を位相差検波用画素として用いるようにしてもよい。
【０２０６】
より具体的には、図２７で示されるように、上段のブロック１０２においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素が、白画素１１１Ｄとして構成されている。
【０２０７】
一方、下段のブロック１０２においては、上段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、白画素１１１Ｄとして構成され、下段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２として構成されている。
【０２０８】
すなわち、上段のブロック１０２においては、通常の画素１１１は、８個分が加算されて、通常加算画素として出力される。一方、下段のブロック１０２の、上段のサブブロック１０３においては、８個の通常の画素１１１の画素信号が加算されて、通常加算画素として出力されると共に、下段のサブブロック１０３においては、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２がそれぞれ出力される。つまり、２個×２個のブロック１０２単位で、２対の位相差検波用画素１１１Ｂ−１，１１１Ｂ−２が配置される。
【０２０９】
この２対の位相差検波用画素１１１Ｂ−１，１１１Ｂ−２から画素信号が読み出されることで、位相差オートフォーカス処理を実行して、レンズ３１１によるフォーカスを調整した後、フォーカスが調整された状態の画像を通常加算画素により読み出すと共に、白画素１１１Ｄを用いた補正処理を実現させることができるので、画質の劣化を抑制させることが可能となる。
【０２１０】
＜５．撮像素子からの画素信号の出力のタイミング＞
以上においては、撮像素子４１からの画素信号の出力は、サブブロック１０３を構成する通常の８個の画素１１１の画素信号と、それ以外の１個の何らかの機能を備えた画素（以下、機能画素１１１Ｘとも称する）の画素信号が異なるタイミングでクランプ部３３０に出力される例について説明してきた。
【０２１１】
しかしながら、図２８の上段で示されるように、通常の８個の画素１１１の画素信号と、それ以外の１個の機能画素１１１Ｘの画素信号が同一のタイミングでクランプ部３３０に出力されるように並列読み出しするようにしてもよい。
【０２１２】
この場合、機能画素１１１Ｘの画素信号と、通常の画素１１１の画素信号との処理タイミングが実際には異なる場合、クランプ部３２２は、処理タイミングの異なる画素信号をバッファリングするなどしてタイミングを調整する必要がある。
【０２１３】
尚、機能画素１１１Ｘとは、上述した、単独画素１１１Ａ、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２、黒画素１１１Ｃ、および白画素１１１Ｄを総称したものである。
【０２１４】
また、撮像素子４１の後段において、通常の画素１１１と、機能画素１１１Ｘとの処理順序やタイミングが決まっているような場合、処理順序やタイミングに合わせて出力するようにしてもよい。
【０２１５】
例えば、図２８の下段で示されるように、時刻ｔｘにおいて、通常の画素１１１の画素信号が出力された後、時刻ｔｙにおいて、機能画素１１１Ｘの画素信号が出力されるように、時分割読み出しするようにしてもよい。また、順序を入れ替えて、機能画素１１１Ｘの画素信号が出力された後、通常の画素１１１の画素信号が出力されるように時分割読み出しするようにしてもよい。
【０２１６】
＜６．カラムAD変換部の配置例＞
以上においては、カラムAD変換部４７は、１本の垂直信号線５３に対して１個ずつADC５５が設けられており、１行毎にAD変換する構成例について説明してきたが、例えば、図２９で示されるように、上下に３行分ずつカラムAD変換部４７−１乃至４７−３、および４７−１１乃至４７−１３をそれぞれ設けるようにして、画素アレイ４４の上半分のブロック１０２については、サブブロック１０３単位となる画素１１１の３列ごとに、上部に設けられたカラムAD変換部４７−１乃至４７−３によりAD変換させ、画素アレイ４４の下半分のブロック１０２については、サブブロック１０３単位となる画素１１１の３列ごとに、下部に設けられたカラムAD変換部４７−１乃至４７−３によりAD変換させるようにしてもよい。
【０２１７】
このような構成により、通常の画素１１１を８個加算する際、加算に必要な画素１１１の画素信号が同時に揃えられるので、メモリなどを必要とせず、通常加算画素の画素信号を求めることが可能となる。
【０２１８】
また、３行毎に画素信号をAD変換することが可能となるので、AD変換に係る処理速度を向上させることが可能となる。尚、カラムAD変換部４７は、上下に３行ずつ設けるのみならず、さらに、３の倍数行であれば、それ以外の行数分設けるようにしてもよい。尚、カラムAD変換部４７は、サブブロック１０３を構成する画素数に応じた数となる。このため、例えば、サブブロック１０３が、Ｑ個×Ｑ個で構成される場合、カラムAD変換部４７は、Ｑの倍数行ずつ設けられることが望ましい。
【０２１９】
＜７．画素配置のバリエーション＞
画素アレイ４４における、通常の画素１１１と、単独画素１１１Ａ、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２、黒画素１１１Ｃ、および白画素１１１Ｄを含む機能画素１１１Ｘとの画素配置のバリエーションは、様々なものが考えられる。
【０２２０】
例えば、図３０の左上部で示されるように、サブブロック１０３単位で中心画素と、その上下左右の５カ所に通常の画素１１１が配置され、それ以外の角部の４か所に機能画素１１１Ｘが配置されるようにしてもよい。
【０２２１】
また、例えば、図３０の右上部で示されるように、サブブロック１０３単位で中心画素と、その左右の斜め上、左右の斜め下の５が所に画素１１１が配置され、それ以外の４か所に機能画素１１１Ｘが配置されるようにしてもよい。
【０２２２】
図３０の左上部および右上部で示されるように、通常の画素１１１をサブブロック１０３内で上下左右対称に配置することで、サブブロック１０３内における色画素の位相ずれの発生を抑制することができる。
【０２２３】
すなわち、サブブロック１０３内において、対称に通常画素が配置されない場合、細い斜めの線などを表示する際に、ある角度で画素がかけて色偽が発生することがある。このため、サブブロック１０３内で上下左右対称に通常の画素１１１が配置されることにより、色偽の発生を抑制することが可能となる。
【０２２４】
また、通常の画素１１１と機能画素１１１Ｘとの数を揃えることで、画素１１１と機能画素１１１Ｘの出力レベルの比を揃えることが可能となる。
【０２２５】
さらに、図３０の右下部で示されるように、ブロック１０２単位で、右下部の画素については、すなわち、Ｂサブブロック１０３の右下の画素のみを、黒画素１１１Ｃとするようにしてもよい。
【０２２６】
この場合、サブブロック１０３内で黒画素１１１Ｃを除く機能画素１１１Ｘは非対称に配置されることになるが、サブブロック１０３内で通常の画素１１１は、上下左右に対称に配置されるので、色画素の位相ずれの発生は抑制される。また、黒画素１１１Ｃは均等に配置されるので、適切に２次元的な黒レベルの変化を補正することが可能となる。
【０２２７】
さらに、図３１の左上部で示されるように、サブブロック１０３単位で、中心画素から見て左右の斜め上部には、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２を配置し、左右斜め下部には、黒画素１１１Ｃを配置し、それ以外の５画素を通常の画素１１１とするようにしてもよい。
【０２２８】
また、図３１の左下部で示されるように、Ｇサブブロック１０３については、中心画素から見て右側の斜め上下部には、位相差検波用画素１１１Ｂ’−１，１１１Ｂ’−２が配置され、左側の斜め上下部には、黒画素１１１Ｃが配置され、それ以外の５画素が通常の画素１１１とされるようにし、Ｒ，Ｂサブブロック１０３については、中心画素から見て左右の斜め上部には、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２が配置され、左右斜め下部には、黒画素１１１Ｃが配置され、それ以外の５画素が通常の画素１１１とされるようにしてもよい。尚、各ブロック１０２のベイヤ配列のＲＧＢサブブロック１０３の配置は、図３に対応したものである。
【０２２９】
さらに、図３１の右上部で示されるように、図３１の左上部の画素配置に対して、サブブロック１０３内の中心の画素１１１を白画素１１１Ｄに代えるようにしてもよい。
【０２３０】
同様に、図３１の右下部で示されるように、図３１の左下部の画素配置に対して、サブブロック１０３内の中心の画素１１１を白画素１１１Ｄに代えるようにしてもよい。
【０２３１】
図３１のいずれにおいても、通常の画素１１１は、サブブロック１０３内において、上下左右に対して対称に配置されるので、位相ずれの発生を抑制することが可能となる。
【０２３２】
また、以上においては、サブブロック１０３が３画素×３画素の合計９画素で構成される例について説明してきたが、サブブロック１０３を構成する画素数は、それ以外の画素数であってもよく、例えば、４画素×４画素により構成されるようにしてもよい。
【０２３３】
例えば、図３２の左上部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、中央の２画素×２画素については、左右のそれぞれに位相差検波用画素１１１Ｂ−１，１１１Ｂ−２が配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
【０２３４】
また、例えば、図３２の右上部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、Ｇサブブロック１０３の中央の２画素×２画素については、左右に位相差検波用画素１１１Ｂ−１，１１１Ｂ−２が配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにし、Ｂ，Ｒサブブロック１０３の中央の２画素×２画素については、左右に位相差検波用画素１１１Ｂ’−１，１１１Ｂ’−２が配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
【０２３５】
さらに、例えば、図３２の左下部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、中央上段の２画素については、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２が配置され、中央下段の２画素については、黒画素１１１Ｃが配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
【０２３６】
また、例えば、図３２の右下部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、Ｇサブブロック１０３の中央上段の２画素については、位相差検波用画素１１１Ｂ−１，１１１Ｂ−２が配置され、中央下段の２画素については、黒画素１１１Ｃが配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにし、Ｂ，Ｒサブブロック１０３の中央左側の２画素については、位相差検波用画素１１１Ｂ’−１，１１１Ｂ’−２が配置され、中央右側の２画素については、黒画素１１１Ｃが配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
【０２３７】
図３２のいずれにおいても、通常の画素１１１は、サブブロック１０３内において、上下左右に対して対称に配置されるので、位相ずれの発生を抑制することが可能となる。
【０２３８】
さらに、サブブロック１０３は、２画素×２画素により構成されるようにしてもよい。
【０２３９】
例えば、図３３で示されるように、ブロック１０２を構成する上段の２つのサブブロック１０３については、右下部に位相差検波用画素１１１Ｂ−１，１１１Ｂ−２が設けられ、ブロック１０２を構成する下段の２つのサブブロック１０３については、右下部に黒画素１１１Ｃが設けられるようにしてもよい。
【０２４０】
すなわち、２画素×２画素のサブブロック１０３内において、１／４の画素が機能画素Ｘとされる。
【０２４１】
従って、機能画素Ｘは、図３３で示される位相差検波用画素１１１Ｂおよび黒画素１１１Ｃのみならず、白画素１１１Ｄや単独画素１１１Ａなどであってもよい。
【０２４２】
この場合、通常の画素１１１は、サブブロック１０３単位で上下左右に対して非対称であるが、加算される３個の画素１１１の配置は、いずれのサブブロック１０３においても同一であるので、位相のずれは抑制される。すなわち、通常加算画素として使用される画素１１１の配置がサブブロック１０３単位で同一であれば、サブブロック１０３を構成する画素数に関わらず、その配置が非対称であってもよい。
【０２４３】
また、サブブロック１０３において、通常画素１１１が上下左右対称に構成される限り、他の位置には、様々な機能画素１１１Ｘを様々な組み合わせで配置するようにしてもよい。
【０２４４】
以上の如く、本開示の電子機器によれば、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制することが可能となる。
【０２４５】
尚、本開示は、以下のような構成も取ることができる。
＜１＞    画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
固体撮像装置。
＜２＞  前記色配列は、ベイヤ配列、ストライプ配列、市松配列、または、インタライン配列である
＜１＞に記載の固体撮像装置。
＜３＞  前記サブブロックを構成する複数の通常画素の、それぞれの画素信号が加算されて、前記サブブロック単位の通常加算画素の画素信号として出力される
＜１＞または＜２＞に記載の固体撮像装置。
＜４＞  前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と異なる露光時間で、かつ、同一感度の前記画像を撮像する
＜３＞に記載の固体撮像装置。
＜５＞  前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と同一の露光時間で、かつ、異なる感度の前記画像を撮像する
＜３＞に記載の固体撮像装置。
＜６＞  前記機能画素は、焦点距離に応じた位相差を検波する位相差検波用画素である
＜３＞に記載の固体撮像装置。
＜７＞  前記撮像素子は、前記位相差検波用画素からなる前記機能画素により検波される位相差を示す信号を出力した後、前記通常画素の画素信号を出力する
＜６＞に記載の固体撮像装置。
＜８＞  前記撮像素子に入射する光の焦点を調整するレンズと、
前記レンズの焦点距離を制御するレンズ制御部とをさらに含み、
前記レンズ制御部は、前記位相差検波用画素により検波された位相差に応じて、前記レンズのデフォーカス量を算出し、前記デフォーカス量に基づいて、前記レンズの焦点距離を制御する
＜７＞に記載の固体撮像装置。
＜９＞  前記位相差検波用画素は、水平方向の位相差を検波する
＜６＞に記載の固体撮像装置。
＜１０＞  前記位相差検波用画素は、垂直方向の位相差を検波する
＜６＞に記載の固体撮像装置。
＜１１＞  前記機能画素は、黒画素であり、黒レベルを出力する
＜３＞に記載の固体撮像装置。
＜１２＞  前記黒画素は、全面遮光された画素である
＜１１＞に記載の固体撮像装置。
＜１３＞  前記通常加算画素の画素信号より、前記黒画素の前記黒レベルを減算してクランプするクランプ部をさらに含む
＜１１＞に記載の固体撮像装置。
＜１４＞  前記機能画素は、白画素であり、輝度信号を出力する
＜３＞に記載の固体撮像装置。
＜１５＞  前記白画素は、カラーフィルタが透明の画素、または、前記カラーフィルタのない画素である
＜１４＞に記載の固体撮像装置。
＜１６＞  前記通常加算画素の画素信号にLPF（Low Pass Filter）を掛けるLPF部と、
前記輝度信号にHPF（High Pass Filter）を掛けるHPF部と、
前記LPF部の出力と、前記HPF部の出力を加算する加算部とをさらに含む
＜１４＞に記載の固体撮像装置。
＜１７＞  前記撮像素子を構成するアレイ状に配置された前記画素より出力される信号を行単位でアナログデジタル変換するカラムAD変換部をさらに含み、
前記カラムAD変換部は、前記サブブロックを構成する行数の倍数分だけ設けられる
＜１＞乃至＜１６＞のいずれかに記載の固体撮像装置。
＜１８＞    画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
電子機器。
【符号の説明】
【０２４６】
１０２  ブロック，  １０３  サブブロック，  １１１  画素，  １１４  撮像用画素，１３１  位相差検波用画素，  ３１１  レンズ，３１２  光学フィルタ，  ３２２  クランプ部，  ３２３  デモザイク部，  ３２５  輝度クロマ信号生成部，  ３２６  インタフェース部，  ３３０  クランプ部，  ３７４  位相差検波部，  ３７５  レンズ制御部
【図１】
2018198766.tif 000003
【図２】
2018198766.tif 000004
【図３】
2018198766.tif 000005
【図４】
2018198766.tif 000006
【図５】
2018198766.tif 000007
【図６】
2018198766.tif 000008
【図７】
2018198766.tif 000009
【図８】
2018198766.tif 000010
【図９】
2018198766.tif 000011
【図１０】
2018198766.tif 000012
【図１１】
2018198766.tif 000013
【図１２】
2018198766.tif 000014
【図１３】
2018198766.tif 000015
【図１４】
2018198766.tif 000016
【図１５】
2018198766.tif 000017
【図１６】
2018198766.tif 000018
【図１７】
2018198766.tif 000019
【図１８】
2018198766.tif 000020
【図１９】
2018198766.tif 000021
【図２０】
2018198766.tif 000022
【図２１】
2018198766.tif 000023
【図２２】
2018198766.tif 000024
【図２３】
2018198766.tif 000025
【図２４】
2018198766.tif 000026
【図２５】
2018198766.tif 000027
【図２６】
2018198766.tif 000028
【図２７】
2018198766.tif 000029
【図２８】
2018198766.tif 000030
【図２９】
2018198766.tif 000031
【図３０】
2018198766.tif 000032
【図３１】
2018198766.tif 000033
【図３２】
2018198766.tif 000034
【図３３】
2018198766.tif 000035
【国際調査報告】
2018198766.tif 000036
2018198766.tif 000037