(57)【要約】【課題】フレームレートを低下させることなく、しかも撮像素子の読み出し駆動およびフレーム間の電荷蓄積時間の制約を受けることなく位相差検出用信号を得る。【解決手段】カメラは、２次元マトリックス状に配列された複数の画素を備える撮像素子を有し、ローリングシャッターを用いて撮像素子を露光して撮像素子の出力に応じた画像を得る。画素の各々は第１の光電変換部および第２の光電変換部を備えており、同期制御部１０７は撮像素子の行毎に画素について第１の光電変換部および第２の光電変換部のいずれか一方の読み出しを行う第１の読み出しと、第１の読み出しと同一の期間で第１の光電変換部および第２の光電変換部の双方の読み出しを行う第２の読み出しとを選択的に行い、信号処理部１０３は第１の読み出しを行った行の画素の出力について当該行に隣接する同色の画素の出力で補間処理を行う。【選択図】図６
2019009491.tif 000002
【特許請求の範囲】
【請求項１】
２次元マトリックス状に配列された複数の画素を備える撮像素子を有し、ローリングシャッターを用いて前記撮像素子を露光して前記撮像素子の出力に応じた画像を得る撮像装置であって、
前記画素の各々は第１の光電変換部および第２の光電変換部を備えており、
前記撮像素子の行毎に前記画素について前記第１の光電変換部および前記第２の光電変換部のいずれか一方の読み出しを行う第１の読み出しと、前記第１の読み出しと同一の期間で前記第１の光電変換部および前記第２の光電変換部の双方の読み出しを行う第２の読み出しとを選択的に行う制御手段と、
前記第１の読み出しを行った行の画素の出力について当該行に隣接する同色の画素の出力で補間処理を行う補間手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記画素の各々には、前記第１の光電変換部および前記第２の光電変換部から転送された電荷に応じた電圧を出力する電荷電圧変換部と、前記第１の光電変換部から前記電荷電圧変換部に電荷を転送するための第１の転送スイッチと、前記第２の光電変換部から前記電荷電圧変換部に電荷を転送するための第２の転送スイッチと、が備えられ、
前記制御手段は、前記第１の転送スイッチおよび前記第２の転送スイッチを制御して前記第１の読み出しおよび前記第２の読み出しを行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補間手段は、前記第１の転送スイッチおよび前記第２の転送スイッチの制御状態と前記補間処理を行うべき補間対象行とに基づいて複数の補間処理から一つを選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記画像において設定された測距領域に対応する行について前記第１の読み出しを行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記補間手段で補間された信号および前記第２の読み出しで得られた信号を画像信号とする処理手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の読み出しで得られた信号に基づいて焦点調節を行う焦点調節手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
２次元マトリックス状に配列された複数の画素を備え、前記画素の各々が第１の光電変換部および第２の光電変換部を備える撮像素子を有し、ローリングシャッターを用いて前記撮像素子を露光して前記撮像素子の出力に応じた画像を得る撮像装置の制御方法であって、
前記撮像素子の行毎に前記画素について前記第１の光電変換部および前記第２の光電変換部のいずれか一方の読み出しを行う第１の読み出しと、前記第１の読み出しと同一の期間で前記第１の光電変換部および前記第２の光電変換部の双方の読み出しを行う第２の読み出しとを選択的に行う制御ステップと、
前記第１の読み出しを行った行の画素の出力について当該行に隣接する同色の画素の出力で補間処理を行う補間ステップと、
を有することを特徴とする制御方法。
【請求項８】
２次元マトリックス状に配列された複数の画素を備え、前記画素の各々が第１の光電変換部および第２の光電変換部を備える撮像素子を有し、ローリングシャッターを用いて前記撮像素子を露光して前記撮像素子の出力に応じた画像を得る撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記撮像素子の行毎に前記画素について前記第１の光電変換部および前記第２の光電変換部のいずれか一方の読み出しを行う第１の読み出しと、前記第１の読み出しと同一の期間で前記第１の光電変換部および前記第２の光電変換部の双方の読み出しを行う第２の読み出しとを選択的に行う制御ステップと、
前記第１の読み出しを行った行の画素の出力について当該行に隣接する同色の画素の出力で補間処理を行う補間ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、特に、画素の読み出し制御および補間処理に関する。
【背景技術】
【０００２】
一般に、デジタルカメラなどの撮像装置において、撮像素子に備えられた画素を分割して、１つの画素から撮像信号および位相差検出用信号を出力するようにしたものがある。そして、撮像素子に備えられた画素の全てを分割すれば、全ての画素から撮像信号および位相差検出用信号を読み出すことができる。
【０００３】
一方、画素から撮像信号および位相差検出用信号を読み出す場合、その読み出し時間は撮像信号のみを読み出す場合と比較して長くなる。このため、位相差検出用信号を読み出す割合が増えるにつれてフレームレートを低下することになる。
【０００４】
フレームレートの低下を抑制するため、例えば、行間引き読み出しの際、間引かれた行を対象として予め定められた行数で位相差検出用信号を読み出すようにした撮像装置がある（特許文献１参照）。
【０００５】
さらに、所定の行の画素のみについて撮像信号および位相差検出用信号を読み出してフレームレートの低下を抑制するようにした撮像装置がある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−２１１３５１号公報
【特許文献２】特開２０１６−２１０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１においては、間引き読み出しの際に間引かれた行から位相差検出用信号を読み出しており、全画素の読み出しおよび画素加算処理を行う際には適用することが困難である。
【０００８】
また、特許文献２においては、撮像信号および位相差検出用信号を読み出す行については、撮像信号のみを読み出す行に比べて、その読み出し時間が長くなる。
【０００９】
ところで、撮像素子の信号読み出しの際には、一般に行毎に読み出し制御が行われる。行毎に読み出し制御を行う場合には、一画面に係る撮像信号を同時に読み出すことができないので、ローリングシャッター又はグローバルシャッターを用いた読み出し手法が行われる。
【００１０】
ローリングシャッターを用いた場合には、フレームレートおよび露光時間の制約を受けにくく、さらにローリングシャッターはグローバルシャッターと比べてその構造が単純である。
【００１１】
一方、ローリングシャッターは、グローバルシャッターと異なり１フレームにおける露光時刻の同時性がないという現象が存在する。そして、当該現象はローリングシャッター歪と呼ばれる。つまり、ローリングシャッターを用いると、被写体が動いた場合に、撮像素子の行の読み出し速度に応じて露光時刻が変わるので、被写体が斜めに歪んで見えることになる。
【００１２】
前述のように、特許文献２においては、位相差検出用信号を読み出す行と読み出さない行とにおいて読み出し時間が変わる。その結果、ローリングシャッターを用いた場合には、行毎にローリングシャッター歪に起因して動く被写体の傾きが異なって、ユーザに不自然な印象を与えてしまう。
【００１３】
さらには、特許文献２では、位相差検出用信号を読み出す行の増加に応じて、１フレームを読み出す時間が長くなってフレームレートが低下してしまう。
【００１４】
そこで、本発明は、フレームレートを低下させることなく、しかも撮像素子の読み出し駆動およびフレーム間の電荷蓄積時間の制約を受けることなく位相差検出用信号を得ることを目的とする。
【課題を解決するための手段】
【００１５】
上記の目的を達成するため、本発明による撮像装置は、２次元マトリックス状に配列された複数の画素を備える撮像素子を有し、ローリングシャッターを用いて前記撮像素子を露光して前記撮像素子の出力に応じた画像を得る撮像装置であって、前記画素の各々は第１の光電変換部および第２の光電変換部を備えており、前記撮像素子の行毎に前記画素について前記第１の光電変換部および前記第２の光電変換部のいずれか一方の読み出しを行う第１の読み出しと、前記第１の読み出しと同一の期間で前記第１の光電変換部および前記第２の光電変換部の双方の読み出しを行う第２の読み出しとを選択的に行う制御手段と、前記第１の読み出しを行った行の画素の出力について当該行に隣接する同色の画素の出力で補間処理を行う補間手段と、を有することを特徴とする。
【発明の効果】
【００１６】
フレームレートを低下させることなく、しかも撮像素子の読み出し駆動およびフレーム間の電荷蓄積時間の制約を受けることなく位相差検出用信号を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示す撮像素子の構成についてその一例を示す図である。
【図３】図２に示す画素の構成についてその一例を示す図である。
【図４】図３に示す画素から画素信号を読み出すタイミングを説明するためのタイミングチャートである。
【図５】図２に示す撮像素子において読み出しが行われた画素の出力信号に付加される識別コードを説明するための図である。
【図６】図２に示す撮像素子から読み出した信号に応じて補間手法を選択する補間処理を説明するための図である。
【図７】図２に示す撮像素子において画素の読み出しパターンの一例を説明するための図である。
【図８】図１に示すカメラで行われる画素読み出しおよび補間処理を説明するための図である。
【図９】本発明の第２の実施形態によるカメラで行われる補間処理の一例を説明するための図である。
【図１０】本発明の第２の実施形態によるカメラに備えられた撮像素子において画素の読み出しパターンの一例を説明するための図である。
【図１１】本発明の第２の実施形態に係るカメラで行われる画素読み出しおよび補間処理を説明するための図である。
【図１２】本発明の第３の実施形態に係るカメラで用いられる撮像素子の一例についてその構成を示す図である。
【図１３】図１２に示す画素の構成についてその一例を示す図である。
【図１４】図１３に示す画素から画素信号を読み出すタイミングを説明するためのタイミングチャートである。
【図１５】図１２に示す撮像素子において読み出しが行われた画素の出力信号に付加される識別コードを示す図である。
【発明を実施するための形態】
【００１８】
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１９】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の一例についてその構成を示すブロック図である。
【００２０】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）である。カメラは、撮像素子１０１、撮像駆動回路部１０２、信号処理部１０３、画像表示部１０４、および撮像メモリ部１０５を有している。さらに、カメラは、画像記録部１０６、同期制御部１０７、操作部１０８、撮像光学系（以下単に光学系と呼ぶ）１０９、および光学駆動回路部１１０を備えている。
【００２１】
撮像素子１０１は、２次元マトリックス状に配列された複数の画素を有している。そして、撮像素子１０１はローリングシャッター（図示せず）を介して露光される。撮像駆動回路部１０２は同期制御部１０７の制御下で撮像素子１０１を駆動し、これによって、撮像素子１０１は画素から読み出された画素信号を所定の順番で出力し画像信号とする。そして、当該画像信号はＡ／Ｄ変換によってデジタル画像信号とされる。
【００２２】
信号処理部１０３は、同期制御部１０７の制御下で撮像素子１０１の出力であるデジタル画像信号に対して所定の信号処理を行って画像データを得る。そして、信号処理部１０３は当該画像データを撮像メモリ部１０５に一旦記録するとともに、画像記録部１０６に記録する。さらには、信号処理部１０３は撮像メモリ部１０５又は画像記録部１０６から画像データを読み出して当該画像データに対してさらに信号処理を行う。
【００２３】
なお、信号処理部１０３は、デジタル画像信号に基づいて光学系１０９の合焦状態を検出するとともに、露光量など検出して、合焦状態および測光結果を示す検出結果を同期制御部１０７に送る。
【００２４】
画像表示部１０４は、同期制御部１０７の制御下で撮像メモリ部１０６に記憶された画像データに応じた画像を表示する。これによって、ユーザは撮影の際の構図の決定又は撮影後の画像の確認を行うことができる。つまり、画像表示部１０４は電子ビューファインダー（ＥＶＦ）および液晶ディスプレイ（ＬＣＤ）を備えている。
【００２５】
撮像メモリ部１０５は、前述のように、画像データを一時的に記憶する。さらに、撮像メモリ部１０５に記憶された画像データは表示用画像データとして画像表示部１０４に送られる。
【００２６】
画像記録部１０６は、着脱可能なメモリなどを備えており、当該メモリには画像データが記録され、必要に応じてメモリから画像データが読み出される。同期制御部１０７は、操作部１０８からの指示に応じてカメラ全体を制御する。さらに、同期制御部１０７は、前述の合焦状態および測光結果に応じて、光学駆動回路部１１０によって光学系１０１を駆動制御する。
【００２７】
操作部１０８は、スイッチおよび押しボタンなどの操作部材を備えている。操作部１０８の操作によって、例えば、電源のオン／オフ、撮影前の画像表示、撮影に係る各種指示、撮影によって得られた画像の表示、およびメニュー表示などの指示が同期制御部１０７に送られる。
【００２８】
なお、同期制御部１０７は、操作部１０８に備えられたＬＣＤおよびフォトダイオードなどの表示部材又は画像表示部１０７にカメラの状態を表示する。画像表示部１０４にタッチパネルを装着して、当該タッチパネルを操作部材として用いてオンスクリーンでの操作を行うようにしてもよい。さらに、同期制御部１０７は撮像メモリ部１０５の使用状況を検出するとともに、画像記録部１０６に備えられた着脱可能なメモリの状況を検出する。
【００２９】
光学系１０９は、被写体像（光学像）を撮像素子１０１に結像させるための合焦レンズを備えるとともに、光学ズームを行うためのズームレンズを有している。さらに、光学系１０９は、被写体像の明るさを調整する絞りを備えるとともに、露光を制御するシャッタを有している。そして、合焦レンズ、ズームレンズ、絞り、およびシャッタは光学駆動回路部１１０によって駆動される。なお、光学駆動回路部１１０は同期制御部１０７によって制御される。
【００３０】
＜表示画像の制御＞
画像表示部１０４に画像を表示する際には、操作部１０８に備えられた電源スイッチによってカメラの電源をオンする。信号処理部１０３は撮像素子１０１の出力であるデジタル画像信号に応じて表示用画像データを生成し、当該表示用画像データに応じた画像を画像表示部１０４に表示する。さらに、信号処理部１０３は前述の測光データを同期制御部１０７に送る。
【００３１】
同期制御部１０７は、測光データに応じて光学駆動回路部１１０によって光学系１０９を制御する。そして、同期制御部１０７は操作部１０８からの指示を待つ。
【００３２】
＜静止画撮影の制御＞
操作部１０８に備えられた撮影スイッチが操作されると、同期制御部１０７は静止画撮影を開始する。信号処理部１０３は測光データを同期制御部１０７に送る。同期制御部１０７は、測光データに応じて光学駆動回路部１１０によって光学系１０９を制御する。さらに、同期制御部１０７は、撮像駆動回路部１０２によって撮像素子１０１を制御して静止画記録用のための露光および信号読み出しを行う。そして、信号処理部１０３は撮像素子１０１の出力であるデジタル画像信号に基づいて記録用画像データを得て、当該記録用画像データを画像記録部１０６に記録する。さらに、信号処理部１０３は記録用画像データを表示用画像データに変換して、当該表示用画像データに応じた画像を画像表示部１０４に表示する。その後、同期制御部１０７は、前述の表示画像の制御に戻る。
【００３３】
図２は、図１に示す撮像素子の構成についてその一例を示す図である。
【００３４】
撮像素子１０１は２次元マトリックス状に配列された複数の画素２０１を有している。後述するように、画素２０１の各々は、フォトダイオード（ＰＤ）、転送トランジスタ（転送Ｔｒ）、フローティングデフュージョン（ＦＤ）、画素ソースフォロアトランジスタ（画素ＳＦ）、および選択トランジスタ（選択Ｔｒ）を備えている。ＰＤおよび転送Ｔｒはそれぞれ２つ備えられており、２つのＰＤの出力信号の和が撮像信号となり、２つのＰＤの出力信号の各々が位相差検出用信号となる。そして、撮像信号は、前述のようにして信号処理されてして画像データとなる。さらに、２つのＰＤから得られる位相差検出用信号における位相差および光学条件に基づいて、フォーカスレンズの移動方向および移動量を求めて、つまり、測距データを得てフォーカスレンズの駆動目標値が求められる。
【００３５】
さらに、撮像素子１０１は信号出力線２０２、増幅ＭＯＳアンプの負荷となる定電流源２０３、制御線２０４、出力アンプ２０５、垂直走査回路２０６、読み出し回路２０７、および水平走査回路２０８を有している。なお、図２においては、説明の便宜上、ｍ列〜（ｍ＋３）列、ｎ行〜（ｎ＋３）行の４行×４列で示されているが、実際には多数の画素２０１が２次元マトリックス状に配列されている。
【００３６】
図３は、図２に示す画素の構成についてその一例を示す図である。なお、図３においては、図２に示すｎ行目の画素２０１の一つが示されている。
【００３７】
画素２０１はＰＤ（光電変換部）３０１ａおよび３０１ｂ、転送Ｔｒ（転送スイッチ）３０２ａおよび３０２ｂ、ＦＤ（電荷電圧変換部）３０３、画素ＳＦ３０４、選択Ｔｒ３０５、およびリセットＴｒ３０６を有している。制御線ＴｘＡｎは転送Ｔｒ３０２ａのゲートを制御するための制御線である。制御線ＴｘＢｎは転送Ｔｒ３０２ｂのゲートを制御するための制御線である。制御線ＲＥＳｎはリセットＴｒ３０６のゲートを制御するための制御線である。制御線ＳＥＬｎは選択Ｔｒ３０５のゲートを制御するための制御線である。
【００３８】
なお、前述のように、撮像信号は、ＰＤ３０１ａおよび３０１ｂから読み出された画素信号の和であり、以下Ａ＋Ｂ信号とする。また、位相差検出用信号は、ＰＤ３０１ａおよび３０１ｂから読み出された画素信号であり、以下Ａ信号およびＢ信号とする。そして、位相差検出においてはＡ信号およびＢ信号の双方が用いられる。
【００３９】
図４は、図３に示す画素から画素信号を読み出すタイミングを説明するためのタイミングチャートである。そして、図４（ａ）は図３に示す２つのＰＤの双方の読み出しを行う際のタイミングを示す図であり、図４（ｂ）は、図３に示す２つのＰＤの一方の読み出しを行う際のタイミングを示す図である。また、図４（ｃ）は、図３に示す２つのＰＤの他方の読み出しを行う際のタイミングを示す図である。
【００４０】
転送パルスΦＴｘＡｎおよびΦＴｘＢｎ、リセットパルスΦＲＥＳｎ、および選択パルスΦＳＥＬｎは、それぞれ垂直走査回路２０６から制御線ＴｘＡｎ、ＴｘＢｎ、ＲＥＳｎ、およびＳＥＬｎに与えられる。
【００４１】
まず、図４（ａ）を参照して、ＰＤ３０１ａおよび３０２ｂの双方の読み出しを行う際には、垂直走査回路２０６は時間ｔ４０１において選択パルスΦＳＥＬｎをＨレベル（ＨＩＧＨ：制御状態と１つ）として、選択Ｔｒ３０５をＯＮとする。そして、時間ｔ４０２において、垂直走査回路２０６はリセットパルスΦＲＥＳｎをＨＩＧＨとして、ＦＤ３０３をリセットする。
【００４２】
時間ｔ４０３において、垂直走査回路２０６はリセットパルスΦＲＥＳｎをＬレベル（ＬＯＷ）として、ＦＤ３０３のリセットを終了する。時間ｔ４０４において、垂直走査回路２０６は転送パルスΦＴｘＡｎおよびΦＴｘＢｎをＨＩＧＨとして、ＰＤ３０１ａおよび３０１ｂから電荷信号をＦＤ３０３に転送する。
【００４３】
時間ｔ４０５において、垂直走査回路２０６は転送パルスΦＴｘＡｎおよびΦＴｘＢｎをＬＯＷとして、ＰＤ３０１ａおよび３０１ｂからＦＤ３０３への信号転送を終了する。時間ｔ４０５から時間ｔ４０６の期間に画素から垂直出力線を介して画素信号が読み出される。時間ｔ４０６において、垂直走査回路２０６は選択パルスΦＳＥＬｎをＬＯＷとして、選択Ｔｒ３０５をＯＦＦとし、対象画素の信号読み出しを終了する。
【００４４】
続いて、図４（ｂ）を参照して、ここでは、図３に示すＰＤ３０１ａの信号読み出しタイミングが示されている。図４（ｂ）においては、時間ｔ４０４およびｔ４０５において転送パルスΦＴｘＢｎはＨＩＧＨとされない。よって、ＰＤ３０１ｂの出力である電荷信号は転送されず、ＰＤ３０１ａの出力である電荷信号のみがＦＤ３０３に転送される。なお、他の動作は図４（ａ）と同様である。
【００４５】
図４（ｃ）を参照して、ここでは、図３に示すＰＤ３０１ｂの信号読み出しタイミングが示されている。図４（ｃ）においては、時間ｔ４０４およびｔ４０５において転送パルスΦＴｘＡｎはＨＩＧＨとされない。よって、ＰＤ３０１ａの出力である電荷信号は転送されず、ＰＤ３０１ｂの出力である電荷信号のみがＦＤ３０３に転送される。なお、他の動作は図４（ａ）と同様である。
【００４６】
図４（ａ）〜図４（ｃ）においては、読み出し時間は変わらないので、いずれの電荷信号が選択されても水平信号の読み出し期間は変わらない。
【００４７】
図５は、図２に示す撮像素子において読み出しが行われた画素の出力信号に付加される識別コードを説明するための図である。そして、図５（ａ）は識別コードを示す図であり、図５（ｂ）は行毎の画素信号の送信順を示す図である。
【００４８】
識別コードは行毎に設定されおり、画素毎に複数備えられた転送Ｔｒ３０２ａおよび３０２ｂの制御結果を符号化したものである。ここでは、識別コードは８ビットデータとする。
【００４９】
図４で説明したように、時間ｔ４０４およびｔ４０５において、転送Ｔｒ３０２ａおよび３０２ｂは転送パルスΦＴｘＡｎおよびΦＴｘＢｎによって制御される。そして、転送パルスΦＴｘＡｎおよびΦＴｘＢｎの双方がＨＩＧＨになる場合、そして、いずれか一方がＨＩＧＨになる場合の３パターンがある。これらパターンを、図５（ａ）に示すように、”ＦＦ”，”Ｆ０”、”０Ｆ”の３識別コードで表す。そして、識別コードは行毎に画素信号とともに後述する補間処理部に送られる。
【００５０】
図５（ｂ）に示すように、行信号の先頭に図５（ａ）で説明した識別コードが送信され、その後順に列毎の画素信号が補間処理部に送信される。例えば、識別コードが”ＦＦ”の場合、その後に続く１行分の画素信号は、ＰＤ３０１ａおよびＰＤ３０１ｂの信号を加算した信号値となる。また、識別コードが”Ｆ０”の場合、その後に続く１行分の画素信号はＰＤ３０１ａの信号のみの信号値となる。
【００５１】
ここで、前述のＡ＋Ｂ信号とＡ信号およびＢ信号について説明する。
【００５２】
図３に示す画素からは、Ａ＋Ｂ信号、Ａ信号、およびＢ信号を読み出すことができる。Ａ＋Ｂ信号は、ＰＤ３０１ａおよび３０１ｂ双方の電荷信号を加算することによって得られる。Ａ＋Ｂ信号は信号処理によって画像データとされ、表示および記録に用いられる。そして、Ａ＋Ｂ信号はフレーム毎に必要となる。
【００５３】
Ａ信号および、Ｂ信号は、それぞれＰＤ３０１ａおよびＰＤ３０１ｂから得られた電荷信号である。そして、Ａ信号およびＢ信号の位相差に応じて合焦位置を求めて、当該合焦位置にフォーカスレンズを移動させる。
【００５４】
画素の構造上、Ａ＋Ｂ信号とＡ信号およびＢ信号を、同一の画素から同時に読み出すことはできず、Ａ信号およびＢ信号とＡ＋Ｂ信号は同一の画素から順に読み出すことになる。つまり、Ａ信号をＦＤ３０３から読み出した後、Ｂ信号をＦＤ３０３に加えて、Ａ＋Ｂ信号として読み出すことになる。この場合、一行において２回の読み出しを行うことになって、読み出し時間が長くなる。
【００５５】
また、原理上、後に読み出した信号程、暗電流増えることが分かっており、上述の例の場合、Ａ信号と比較するとＡ＋Ｂ信号の方が暗電流が増加して信号品質が低下する。
【００５６】
上述のような問題点を解決するため、ここでは、Ａ＋Ｂ信号とＡ信号およびＢ信号が必要な場合には、いずれか一つの信号を読み出して、他の信号は周囲画素の信号から補間して生成する。これによって、Ａ＋Ｂ信号とＡ信号およびＢ信号を得るとともに、読み出し時間の増加および暗電流の増加を低減することができる。
【００５７】
図６は、図２に示す撮像素子から読み出した信号に応じて補間手法を選択する補間処理を説明するための図である。そして、図６（ａ）は全ての行においてＡ＋Ｂ信号を読み出し場合を示す図であり、図６（ｂ）は対象行と周辺行の一方についてＡ＋Ｂ信号を読み出し、他方の周辺行についてＡ信号を読み出した場合を示す図である。また、図６（ｃ）は同色行の一行毎にＡ＋Ｂ信号およびＡ信号を交互に読み出した場合の一例を示す図であり、図６（ｄ）は同色行の一行毎にＡ＋Ｂ信号およびＡ信号を交互に読み出した場合の他の例を示す図である。
【００５８】
図６に示す例では、撮像素子は６行×４列の画素を有しており、ＲＧＧＢ色の色フィルタがベイヤ配列で配列されている。ここでは、Ｒ（赤）色、Ｇ（緑）色、およびＢ（青）色の色フィルタが備えられた画素をそれぞれＲ画素６０１、Ｇ画素６０２および６０３、およびＢ画素６０４とする。図６に示す６行×４列の画素配列において、ｎおよびｍがそれぞれ偶数の場合には、Ｒ画素６０１は偶数行、偶数列に配置される。同様に、Ｇ画素６０２は偶数行、奇数列、Ｇ画素６０３は奇数行、偶数列、Ｂ画素６０４は奇数行、奇数列に配置される。
【００５９】
なお、画素は図３に示す画素構成を備えており、画素毎にＰＤ３０１ａおよび３０１ｂが備えられ、図６においてはそれぞれＡおよびＢで示されている。また、図示の例では、対象行および周辺行に係る読み出し信号は、Ａ＋Ｂ信号とＡ信号およびＢ信号を選択することができる。
【００６０】
ここでは、補間処理は補間対象となる対象行と補間値を求める演算に用いる周辺行の信号とが入力値とされる。また、補間対象画素および当該補間対象画素と同列の同色画素の信号が補間処理に用いられる。
【００６１】
図６に示す例では、ｎが偶数の場合に、（ｎ＋２）行目を補間対象行とした際には、ｎ行目および（ｎ＋４）行目が周辺行となる。また、（ｎ＋３）行目を補間対象行とした際には、（ｎ＋１）行目および（ｎ＋５）行目が周辺行となる。
【００６２】
以下、（ｎ＋２）行目を補間対象行とした際の補間処理について説明する。
【００６３】
補間処理には複数の補間処理があり、補間対象行および周辺行に係る読み出し信号の組み合わせに応じて補間処理が選択される。ここで、補間処理で求める信号を次のように定義する。
【００６４】
ＩｍｇＳｉｇをＡ＋Ｂ信号、Ａ＿ＳｉｇをＡ信号、Ｂ＿ＳｉｇをＢ信号とする。そして、補間処理で用いる信号をＡ１、Ａ２、Ａ３、Ｂ１、Ｂ２、およびＢ３で表す。Ａ１、Ａ２、およびＡ３はＰＤ３０１ａの信号を示し、Ｂ１、Ｂ２、およびＢ３はＰＤ３０１ｂの信号を示す。また、信号の右側の数値（１〜３）は行方向の同色画素の数を示しており、２行毎に値が”１”増える。
【００６５】
例えば、Ａ１およびＢ１はｎおよび（ｎ＋１）行目の信号であり、Ａ２およびＢ２は（ｎ＋２）および（ｎ＋３）行目の信号である。また、Ａ３およびＢ３は（ｎ＋４）およびｎ＋５行目の信号である。そして、Ａ２は（ｎ＋２）行目のＰＤ３０１ａの信号である。
【００６６】
さらに、同一の画素のＰＤ３０１ａおよび３０１ｂから信号を読み出してＦＤ３０３において電荷加算した信号の場合には［］で囲って表現する。例えば、（ｎ＋２）行目のＡ信号およびＢ信号をＦＤ３０３で電荷加算して読み出した場合、［Ａ２＋Ｂ２］としている。
【００６７】
図６（ａ）においては、全ての行においてＡ＋Ｂ信号が読み出される。ここでは、Ａ＋Ｂ信号のみを読み出して、測距は必要ないので、Ａ信号およびＢ信号について補間処理は行われず、ＩｍｇＳｉｇ＝［Ａ２＋Ｂ２］となる。
【００６８】
図６（ｂ）においては、補間対象行と周辺行の一方ではＡ＋Ｂ信号を読み出して、他方の周辺行ではＡ信号が読み出される。この場合においても、Ａ＋Ｂ信号のみを読み出して、Ａ信号およびＢ信号については補間処理が行われず、ＩｍｇＳｉｇ＝［Ａ２＋Ｂ２］となる。
【００６９】
図６（ｃ）においては、同色行の一行毎に、Ａ＋Ｂ信号およびＡ信号が交互に読み出される。この場合には、測距が必要となり、Ａ＋Ｂ信号およびＡ信号を交互に読み出す。この際には、補間対象行についてＡ＋Ｂ信号を読み出し、周辺行についてはＡ信号を読み出す。補間処理は次のようになる。
【００７０】
ＩｍｇＳｉｇ＝［Ａ２＋Ｂ２］、Ａ＿Ｓｉｇ＝（Ａ１＋Ａ３）／２、そして、Ｂ＿Ｓｉｇ＝（［Ａ２＋Ｂ２］）−（Ａ１＋Ａ３）／２となる。
【００７１】
図６（ｄ）においては、同色行の一行毎に、Ａ＋Ｂ信号およびＡ信号が交互に読み出される。図６（ｃ）に示す例と同様に、測距が必要となり、Ａ＋Ｂ信号およびＡ信号を交互に読み出す。この際には、補間対象行についてはＡ信号を読み出し、周辺行についてＡ＋Ｂ信号を読み出す。補間処理は次のようになる。
【００７２】
ＩｍｇＳｉｇ＝（［Ａ１＋Ｂ１］＋［Ａ３＋Ｂ３］）／２、Ａ＿Ｓｉｇ＝Ａ２、そして、Ｂ＿Ｓｉｇ＝（［Ａ１＋Ｂ１］＋［Ａ３＋Ｂ３］）／２−Ａ２となる。
【００７３】
図７は、図２に示す撮像素子において画素の読み出しパターンの一例を説明するための図である。そして、図７（ａ）は測距不要の例を示す図であり、図７（ｂ）は測距が必要な場合の例を示す図である。
【００７４】
図７においては、行毎に画素から読み出された信号の種類と当該信号から選択される補間処理（図６（ａ）〜図６（ｄ）に示す補間処理）が示されている。なお、ここでは、ｎから（ｎ＋１７行は同色の画素であるものとする。
【００７５】
通常、図７（ａ）に示すように、Ａ＋Ｂ信号のみが読み出されるので、ｎ行目から順にＡ＋Ｂ信号を出力する。補間処理については、補間対象行および周辺行の信号の種類に応じて決定される。
【００７６】
例えば、図７（ａ）に示す（ｎ＋４）行目については、補間値は補間対象行の（ｎ＋４）行目と隣接行の（ｎ＋３）行目および（ｎ＋５）行目の信号を、図６と比較して求める。図７（ａ）に示す（ｎ＋４）行目を補間対象行とした場合には、補間対象行および周辺行の信号読み出しについては図６（ａ）で示すようになるので、Ａ＋Ｂ信号について（ｎ＋４行目）からＡ＋Ｂ信号を読み出し、Ａ信号およびＢ信号は出力しない。
【００７７】
続いて、図７（ｂ）を参照して、（ｎ＋４）行目から（ｎ＋１３）行目を用いて測距する場合、測距を行わない行、つまり、ｎ行目から（ｎ＋３）行目、（ｎ＋１４）行目から（ｎ＋１７）行目については、Ａ＋Ｂ信号が連続して読み出される。そして、測距を行う行、つまり、（ｎ＋４）行目から（ｎ＋１３行目）においては、Ａ信号およびＡ＋Ｂ信号が同色行において交互に読み出される。
【００７８】
これによって、（ｎ＋４）行目から（ｎ＋１３）行目の補間処理については、図６（ｃ）又は図６（ｄ）となって、Ａ＋Ｂ信号とＡ信号およびＢ信号とを得ることができる。
【００７９】
図８は、図１に示すカメラで行われる画素読み出しおよび補間処理を説明するための図である。なお、ここでは、補間対象行をｎ行、周辺行を（ｎ−２）およびｎ＋２行とする。
【００８０】
まず、同期制御部１０７は画像に測距領域を確定する（ステップＳ８０１）。なお、測距領域を確定する際には、ユーザが操作部１０８を用いて指定するか又は信号処理部１０３による被写体認識などに応じて確定される。
【００８１】
続いて、同期制御回部１０７は測距領域（に対応する行）において、Ａ＋Ｂ信号とＡ信号およびＢ信号において補間可能な読み出し信号順を撮像駆動回路部１０２に送信する（ステップＳ８０２）。撮像駆動回路部１０２は読み出し信号順を受信して（ステップＳ８０３）、当該読み出し信号順に応じて撮像素子１０１を読み出し制御する（ステップＳ８０４）。これによって、撮像素子１０１は読み出し信号順に応じて選択的にＡ＋Ｂ信号とＡ信号およびＢ信号を出力する。つまり、撮像素子１０１は行信号を順次信号処理部１０３に送信する（ステップＳ８０５）。この際には、図５で説明した識別コードを付加して、行毎に信号（行信号）が信号処理部１０３に送信される。
【００８２】
信号処理部１０３は撮像素子１０１から送信された行信号を順次受信する（ステップＳ８０６）。そして、信号処理部１０３は補間対象行（ｎ行目）と周辺行（（ｎ−２）および（ｎ＋２）行目）の識別コードおよび読み出し信号を補間回路（図示せず）に入力する。
【００８３】
続いて、信号処理部１０３は、補間対象行および周辺行の識別コードに基づいて補間対象行における補間処理を選択する（ステップＳ８０８）。そして、信号処理部１０３はステップＳ８０８で選択した補間処理に基づいて補間対象行について補間処理を実行する（ステップＳ８０９）。
【００８４】
当該補間処理によって信号処理部１０３は補間処理後のＡ＋Ｂ信号（撮像信号）を出力する（ステップＳ８１０）。そして、信号処理部１０３はＡ＋Ｂ信号について所定の信号処理を行って画像データを生成する（ステップＳ８１１）。信号処理部１０３は画像データに応じた画像を画像表示部１０４に表示するとともに画像データを画像記録部１０６に記録する（ステップＳ８１２）。
【００８５】
ステップＳ８１０の処理と並行して、信号処理部１０３は補間処理後のＡ信号およびＢ信号（位相差検出用信号（位相差信号）を出力する（ステップＳ８１３）。そして、同期制御部１０３はＡ信号およびＢ信号に基づいて測距処理を行って測距の目標値を求める（ステップＳ８１４）。同期制御部１０３は目標値に応じて光学駆動回路部１１０（ここでは、フォーカスモータ）を制御してフォーカスレンズを光軸に沿って駆動して焦点調節を行う（ステップＳ８１５）。
【００８６】
このように、本発明の第１の実施形態では、補間処理によって撮像信号（画像信号）および位相差検出用信号を生成するようにした。これによって、フレームレートを低下させることなく、しかも撮像素子の読み出し駆動およびフレーム間の電荷蓄積時間の制約を受けることなく位相差検出用信号を得ることができる。
【００８７】
［第２の実施形態］
続いて、本発明の第２の実施形態に係るカメラの一例について説明する。なお、第２の実施形態に係るカメラの構成および撮像素子の構成は図１〜図３に示すカメラおよび撮像素子と同様である。
【００８８】
前述第１の実施形態では、撮像素子からＡ＋Ｂ信号を読み出して、同期制御部１０７によって指定された行のＡ信号又はＢ信号を読み出す例について説明した。一方、第１の実施形態で説明したように、Ａ＋Ｂ信号とＡ信号又はＢ信号との差によってＢ信号又はＢ信号を求めるようにした場合には、Ａ信号およびＢ信号Ｂを読み出す場合に比べてランダムノイズが増加する。つまり、第１の実施形態においては、ランダムノイズが多くなって信号品質が低下し、測距に悪影響を与えることがある。
【００８９】
図９は、本発明の第２の実施形態によるカメラで行われる補間処理の一例を説明するための図である。図９（ａ）は全ての行においてＡ＋Ｂ信号を読み出し場合を示す図であり、図９（ｂ）は補間対象行と周辺行の一方についてＡ＋Ｂ信号を読み出し、他方の周辺行についてＡ信号を読み出した場合を示す図である。また、図９（ｃ）は補間対象行についてＡ信号を読み出し、周辺行の一方および他方についてそれぞれＡ＋Ｂ信号およびＢ信号を読み出した場合の一例を示す図であり、図９（ｄ）は同色行の一行毎にＡ信号およびＢ信号を交互に読み出した場合の一例を示す図である。さらに、図９（ｅ）は同色行の一行毎にＡ信号およびＢ信号を交互に読み出した場合の他の例を示す図である。
【００９０】
図９において、図９（ａ）および図９（ｂ）に示す例は、図６（ａ）および（ｂ）に示す例と同様であるので、ここでは説明を省略する。
【００９１】
図９（ｃ）に示す例では、補間処理は次のように行われる。ＩｍｇＳｉｇ＝（［Ａ１＋Ｂ１］＋Ｂ２＋Ａ３）／２、Ａ＿Ｓｉｇ＝Ａ２、そして、Ｂ＿Ｓｉｇ＝（［Ａ１＋Ｂ１］−Ａ２＋Ｂ３）／２となる。
【００９２】
図９（ｄ）においては、補間対象行についてＢ信号を読み出し、周辺行についてＡ信号を読み出す。ここでは、補間処理は次のようになる。ＩｍｇＳｉｇ＝（Ａ１＋Ａ３）／２＋Ｂ２、Ａ＿Ｓｉｇ＝（Ａ１＋Ａ３）／２、Ｂ＿Ｓｉｇ＝Ｂ２となる。
【００９３】
図９（ｅ）においては、補間対象行についてＡ信号を読み出し、周辺行についてＢ信号を読み出す。ここでは、補間処理は次のようになる。ＩｍｇＳｉｇ＝（Ｂ１＋Ｂ３）／２＋Ａ２、Ａ＿Ｓｉｇ＝Ａ２、そして、Ｂ＿Ｓｉｇ＝（Ｂ１＋Ｂ３）／２となる。
【００９４】
図１０は、本発明の第２の実施形態によるカメラに備えられた撮像素子において画素の読み出しパターンの一例を説明するための図である。そして、図１０（ａ）は測距不要の例を示す図であり、図１０（ｂ）は測距が必要な場合の例を示す図である。
【００９５】
図１０においては、行毎に画素から読み出された信号の種類と当該信号から選択される補間処理（図１０（ａ）〜図１０（ｄ）に示す補間処理）が示されている。なお、ここでは、ｎから（ｎ＋１７）行は同色の画素であるものとする。
【００９６】
通常、図１０（ａ）に示すように、Ａ＋Ｂ信号のみが読み出されるので、ｎ行目から順にＡ＋Ｂ信号を出力する。補間処理については、補間対象行および周辺行の信号の種類に応じて決定される。
【００９７】
例えば、図１０（ａ）に示す（ｎ＋４）行目については、補間値は補間対象行の（ｎ＋４）行目と隣接行の（ｎ＋３）行目および（ｎ＋５）行目の信号を、図９と比較して求める。図１０（ａ）に示す（ｎ＋４）行目を補間対象行とした場合には、補間対象行および周辺行の信号読み出しについては図１０（ａ）で示すようになるので、Ａ＋Ｂ信号について（ｎ＋４行目）からＡ＋Ｂ信号を読み出し、Ａ信号およびＢ信号は出力しない。
【００９８】
続いて、図１０（ｂ）を参照して、（ｎ＋４）行目から（ｎ＋１３）行目を用いて測距する場合、測距を行わない行、つまり、ｎ行目から（ｎ＋３）行目、（ｎ＋１４）行目から（ｎ＋１７）行目については、Ａ＋Ｂ信号が連続して読み出される。そして、測距を行う行、つまり、（ｎ＋４）行目から（ｎ＋１３行目）においては、Ａ信号およびＢ信号が同色行において交互に読み出される。
【００９９】
これによって、（ｎ＋４）から（ｎ＋１３）行目の補間処理については、図９（ｃ）、図９（ｄ）、又は図９（ｅ）のいずれかとなって、Ａ＋Ｂ信号とＡ信号およびＢ信号とを得ることができる。
【０１００】
図１１は、本発明の第２の実施形態によるカメラで行われる画素読み出しおよび補間処理を説明するための図である。なお、ここでは、補間対象行をｎ行、周辺行を（ｎ−２）および（ｎ＋２）行とする。
【０１０１】
図１１において、ステップＳ１１０１の処理は図８に示すステップＳ８０１の処理と同様の処理である。同期制御部１０７は、被写体に係る信号値（例えば、輝度）に基づいて、確定した測距領域について測距に必要な精度（測距制度）を求める（ステップＳ１１０２）。被写体が明るく測距領域の信号値が高ければ、同期制御部１０７はＡ＋Ｂ信号の品質を優先して、図７で説明した読み出しを行う。一方、被写体が暗く測距領域の信号値が低ければ、同期制御部１０７はＡ信号およびＢ信号の品質を優先して、図１０で説明した読み出しを行う。
【０１０２】
ステップＳ１１０３〜Ｓ１１１６の処理は、図８で説明したステップＳ８０２〜Ｓ８１５の処理と同様の処理である。
【０１０３】
このように、本発明の第２の実施形態では、補間処理によって撮像信号（画像信号）および位相差検出用信号を生成するようにした。これによって、ランダムノイズを低減して、しかもフレームレートを低下させず、撮像素子の読み出し駆動およびフレーム間の電荷蓄積時間の制約を受けることなく位相差検出用信号を得ることができる。
【０１０４】
［第３の実施形態］
続いて、本発明の第３の実施形態に係るカメラの一例について説明する。なお、第３の実施形態によるカメラの構成は図１に示すカメラと同様である。
【０１０５】
前述の第１および第２の実施形態では、画素毎にＰＤを２つ備えて、転送パルスＴｘＡｎおよびＴｘＢｎを制御することによって、行単位で読み出す信号を選択した。一方、測距のために必要な信号は１行の全てで得る必要はなく、被写体領域およびその周辺で読み出せば十分である。
【０１０６】
さらには、補間対象行についてＡ信号およびＢ信号を読み出す場合には、Ａ＋Ｂ信号について周辺行から補間すればよい。この場合、補間処理によって得られたＡ＋Ｂ信号は解像感が低下することがあるので、Ａ信号およびＢ信号の読み出しは必要最小限とすることが望ましい。
【０１０７】
図１２は、本発明の第３の実施形態に係るカメラで用いられる撮像素子の一例についてその構成を示す図である。なお、図１２において、図２に示す撮像素子と同一の構成要素については同一の参照番号を付して説明を省略する。
【０１０８】
図１２においては、図２に示す撮像素子と比べて転送Ｔｒに係る制御線の数が異なる。図２においては、転送Ｔｒの制御線は、例えば、ｎ行については、転送パルスＴｘＡｎおよびＴｘＢｎの制御線があり、これによって、ｎ行の画素に備えられた２つのＰＤのどちらについて読み出しを行うかを選択する。
【０１０９】
図１２においては、転送Ｔｒの制御線は、例えば、ｎ行については、転送パルスＴｘＲＡｎおよびＴｘＲＢｎと転送パルスＴｘＬＡｎおよびＴｘＬＢｎの制御線があり、これによって、画素の転送Ｔｒを制御する。
【０１１０】
ここでは、後述するように転送パルスＴｘＲＡｎおよびＴｘＲＢｎと転送パルスＴｘＬＡｎおよびＴｘＬＢｎによって選択可能な領域はそれぞれ撮像面において左右の領域である。例えば、撮像面の右側画素に備えられた転送Ｔｒを制御する場合には、転送パルスＴｘＲＡｎおよびＴｘＲＢｎによってＡ＋Ｂ信号とＡ信号およびＢ信号の読み出しを選択する。同様に、撮像面の左側画素に備えられた転送Ｔｒを制御する場合には、転送パルスＴｘＬＡｎおよびＴｘＬＢｎによってＡ＋Ｂ信号とＡ信号およびＢ信号の読み出しを選択する。
【０１１１】
図１３は、図１２に示す画素の構成についてその一例を示す図である。なお、図１３においては、図１２に示すｎ行目の画素２０１Ｌおよび２０１Ｒが示されている。また、画素２０１Ｌおよび２０１Ｒの構成は、図３に示す画素と同様であるが、ここでは、画素２０１Ｌおよび２０１Ｒの構成要素について、それぞれ符号「Ｌ」および「Ｒ」が付されている。
【０１１２】
図１３において、制御線ＴｘＲＡｎは画素２０１Ｒに備えられた転送Ｔｒ３０２Ｒａのゲートを制御する制御線である。制御線ＴｘＲＢｎは画素２０１Ｒに備えられた転送Ｔｒ３０２Ｒｂのゲートを制御する制御線である。また、制御線ＴｘＬＡｎは画素２０１Ｌに備えられた転送Ｔｒ３０２Ｌａのゲートを制御する制御線である。制御線ＴｘＬＢｎは画素２０１Ｌに備えられた転送Ｔｒ３０２Ｌｂのゲートを制御する制御線である。
【０１１３】
図１４は、図１３に示す画素から画素信号を読み出すタイミングを説明するためのタイミングチャートである。そして、図１４（ａ）は図１３に示す２つのＰＤの双方からＡ＋Ｂ信号の読み出しを行う際のタイミングを示す図である。また、図１４（ｂ）は図１３に示す２つのＰＤの一方からＡ信号およびＢ信号を読み出し、他方からＡ＋Ｂ信号を読み出す際のタイミングを示す図である。また、図１４（ｃ）は、図１３に示す２つのＰＤの一方からＡ＋Ｂ信号を読み出し、他方からＡ信号およびＢ信号を読み出す際のタイミングを示す図である。
【０１１４】
転送パルスΦＴｘＲＡｎ、ΦＴｘＲＢｎ、ΦＴｘＬＡｎ、およびΦＴｘＬＢｎ、リセットパルスΦＲＥＳｎ、および選択パルスΦＳＥＬｎは、それぞれ垂直走査回路２０６から制御線ＴｘＲＡｎ、ＴｘＲＢｎ、ＴｘＬＡｎ、およびＴｘＬＢｎ、ＲＥＳｎ、およびＳＥＬｎに与えられる。
【０１１５】
まず、図１４（ａ）を参照して、画素２０１Ｌおよび２０１Ｒの双方の読み出しを行う際には、垂直走査回路２０６は時間ｔ４０１において選択パルスΦＳＥＬｎをＨＩＧＨとして、選択Ｔｒ３０５Ｌおよび３０５ＲをＯＮとする。そして、時間ｔ４０２において、垂直走査回路２０６はリセットパルスΦＲＥＳｎをＨＩＧＨとして、ＦＤ３０３Ｒおよび３０３Ｌをリセットする。
【０１１６】
時間ｔ４０３において、垂直走査回路２０６はリセットパルスΦＲＥＳｎをＬＯＷとして、ＦＤ３０３Ｒおよび３０３Ｌのリセットを終了する。時間ｔ４０４において、垂直走査回路２０６は転送パルスΦＴｘＬＡｎ、ΦＴｘＬＢｎ、ΦＴｘＲＡｎ、およびΦＴｘＲＢｎをＨＩＧＨとして、ＰＤ３０１Ｌａ、３０１Ｌｂ、３０１Ｌａ、および３０１Ｌｂから電荷信号をＦＤ３０３Ｌおよび３０３Ｒに転送する。
【０１１７】
時間ｔ４０５において、垂直走査回路２０６は転送パルスΦＴｘＬＡｎ、ΦＴｘＬＢｎ、ΦＴｘＲＡｎ、およびΦＴｘＲＢｎをＬＯＷとして、ＰＤ３０１Ｌａ、３０１Ｌｂ、３０１Ｌａ、および３０１ＬｂからからＦＤ３０３Ｌおよび２０２Ｒへの信号転送を終了する。時間ｔ４０６において、垂直走査回路２０６は選択パルスΦＳＥＬｎをＬＯＷとして、選択Ｔｒ３０５Ｌおよび３０５ＲをＯＦＦとし、対象画素の信号読み出しを終了する。
【０１１８】
続いて、図１４（ｂ）を参照して、ここでは、図１３に示す画素２０１ＬからＡ＋Ｂ信号が読み出され、画素２０１ＲからＡ信号およびＢ信号が読み出される。図１４（ｂ）においては、時間ｔ４０４およびｔ４０５において転送パルスΦＴｘＲＢｎはＨＩＧＨとされない。よって、ＰＤ３０１Ｒｂの出力である電荷信号は転送されず、ＰＤ３０１Ｒａの出力である電荷信号のみがＦＤ３０３Ｒに転送される。なお、他の動作は図１４（ａ）と同様である。
【０１１９】
図１４（ｃ）を参照して、時間ｔ４０４およびｔ４０５において転送パルスΦＴｘＲＡｎはＨＩＧＨとされない。よって、ＰＤ３０１Ｒａの出力である電荷信号は転送されず、ＰＤ３０１Ｒｂの出力である電荷信号のみがＦＤ３０Ｒ３に転送される。なお、他の動作は図１４（ａ）と同様である。
【０１２０】
図１４（ａ）〜図１４（ｃ）においては、読み出し時間は変わらないので、いずれの電荷信号が選択されても水平信号の読み出し期間は変わらない。また、図１４（ｂ）および図１４ｃ）においては画素１２０１ＲについてＡ信号およびＢ信号を読み出した。一方、転送パルスΦＴｘＬＡｎおよびΦＴｘＬＢｎを制御して画素１２０１ＬについてＡ信号、Ｂ信号を読み出すようにしても、水平信号の読み出し期間は変わらない。
【０１２１】
図１５は、図１２に示す撮像素子において読み出しが行われた画素の出力信号に付加される識別コードを示す図である。
【０１２２】
識別コードは行毎に設定されおり、画素毎に複数備えられた転送Ｔｒ３０２Ｒａ、３０２Ｒｂ、Ｔｒ３０２Ｌａ、および３０２Ｌｂの制御結果を符号化したものである。ここでは、識別コードは８ビットデータとする。
【０１２３】
図１４で説明したように、時間ｔ４０４およびｔ４０５において、転送Ｔｒ３０２Ｒａ、３０２Ｒｂ、Ｔｒ３０２Ｌａ、および３０２Ｌｂは転送パルスΦＴｘＲＡｎ、ΦＴｘＲＢｎ、ΦＴｘＬＡｎ、およびΦＴｘＬＢｎによって制御される。そして、転送ΦＴｘＲＡｎおよびΦＴｘＲＢｎ、転送ΦＴｘＬＡｎおよびΦＴｘＬＢｎがそれぞれＨＩＧＨになる場合、そして、いずれか一方がＨＩＧＨになる場合のパターンがある。これらパターンを、図１５（ａ）に示すように、”ＦＦ”、”ＣＣ”、”３３”、”ＣＦ”、”３Ｆ”、”ＦＣ”、”Ｆ３”の識別コードで表す。そして、識別コードは行毎に画素信号とともに補間処理部に送られる。なお、識別コードおよび画素の送信順についてはは、図５（ｂ）に示す例と同様である。
【０１２４】
このように、本発明の第３の実施形態では、補間処理によって撮像信号（画像信号）および位相差検出用信号を生成するようにした。これによって、フレームレートを低下させることなく、しかも撮像素子の読み出し駆動およびフレーム間の電荷蓄積時間の制約を受けることなく位相差検出用信号を得ることができる。
【０１２５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２６】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１２７】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２８】
１０１  撮像素子
１０２  撮像駆動回路部
１０３  信号処理部
１０４  画像表示部
１０５  撮像メモリ部
１０６  画像記録部
１０７  同期制御部
１０８  操作部
１０９  撮像光学系（光学系）
１１０  光学駆動回路部
【図１】
2019009491.tif 000003
【図２】
2019009491.tif 000004
【図３】
2019009491.tif 000005
【図４】
2019009491.tif 000006
【図５】
2019009491.tif 000007
【図６】
2019009491.tif 000008
【図７】
2019009491.tif 000009
【図８】
2019009491.tif 000010
【図９】
2019009491.tif 000011
【図１０】
2019009491.tif 000012
【図１１】
2019009491.tif 000013
【図１２】
2019009491.tif 000014
【図１３】
2019009491.tif 000015
【図１４】
2019009491.tif 000016
【図１５】
2019009491.tif 000017