(57)【特許請求の範囲】
【請求項１】
複数の画素を行列状に配列した画素群を有する撮像素子において、
前記画素群の中に離散的に配置された複数の位相差画素と、
前記画素群の中の前記位相差画素以外の画素である複数の通常画素と、
前記複数の通常画素でなる通常画素群が電荷蓄積を開始するタイミングおよび電荷蓄積を終了するタイミングを制御する通常露光制御部と、
前記複数の位相差画素でなる位相差画素群が電荷蓄積を開始するタイミングおよび電荷蓄積を終了するタイミングを、前記通常露光制御部とは独立に制御する位相差露光制御部と、
を具備し、
前記位相差露光制御部は、前記位相差画素群が電荷蓄積を開始してから終了するまでの位相差露光時間を、前記通常画素群が電荷蓄積を開始してから終了するまでの通常露光時間と同一の第１の露光時間と、第２の露光時間と、に分割して、前記第１の露光時間に蓄積された第１電荷と、前記第２の露光時間に蓄積された第２電荷と、を分けて読み出すように制御することを特徴とする撮像素子。
【請求項２】
前記位相差露光制御部は、前記通常露光制御部が電荷蓄積を開始するタイミングから、前記第２の露光時間だけ遡ったタイミングを電荷蓄積を開始するタイミングとして、電荷蓄積の開始から前記第２の露光時間が経過した時点で前記第２電荷の読み出しを行い、該第２電荷の読み出しタイミングから前記第１の露光時間が経過した時点で前記第１電荷の読み出しを行うように制御することを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記位相差露光制御部は、前記通常露光制御部が電荷蓄積を開始するタイミングと同一のタイミングを電荷蓄積を開始するタイミングとして、電荷蓄積の開始から前記第１の露光時間が経過した時点で前記第１電荷の読み出しを行い、該第１電荷の読み出しタイミングから前記第２の露光時間が経過した時点で前記第２電荷の読み出しを行うように制御することを特徴とする請求項１に記載の撮像素子。
【請求項４】
前記通常画素群が蓄積した電荷を保持する通常メモリ部と、前記位相差画素群が前記第１の露光時間において蓄積した電荷を保持する第１位相差メモリ部と、前記位相差画素群が前記第２の露光時間において蓄積した電荷を保持する第２位相差メモリ部と、を含むメモリ部をさらに具備することを特徴とする請求項１に記載の撮像素子。
【請求項５】
前記位相差露光制御部は、あるライン上に配置された全ての位相差画素の前記第１の露光時間の開始タイミングおよび終了タイミングが、該あるライン上に配置された全ての通常画素の電荷蓄積の開始タイミングおよび終了タイミングと等しくなるように制御を行うことを特徴とする請求項１に記載の撮像素子。
【請求項６】
複数の画素から読み出された信号をミックスするミックス処理部をさらに具備し、
該ミックス処理部は、前記位相差画素から読み出された信号をミックスする場合には、前記第１電荷に係る信号を用いることを特徴とする請求項１に記載の撮像素子。
【請求項７】
前記第１電荷と前記第２電荷とを加算する加算部をさらに具備することを特徴とする請求項１に記載の撮像素子。
【請求項８】
請求項１に記載の撮像素子と、
前記撮像素子から出力された前記位相差画素の信号に基づき位相差ＡＦを行うＡＦ処理部と、
前記撮像素子から出力された前記通常画素の信号、あるいは前記通常画素の信号と前記位相差画素の信号がミックスされた信号に基づき、記録用画像を生成する画像処理部と、
を具備したことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行列状に配列された複数の画素の中に位相差画素を離散的に配置した撮像素子、撮像装置に関する。
【背景技術】
【０００２】
従来より、行列状に配列された複数の画素の中に位相差画素を離散的に配置して、位相差画素から出力される電荷を位相差検出用の情報として用いることができるようにした撮像素子が実用化され、商品化されている。
【０００３】
この位相差画素は、撮像素子の撮像面中の所定配置範囲内にある割合で配置されていて、例えば８画素に１画素の割合等で配置されている。そして、位相差画素の所定配置範囲は、撮像面内の特定の一部だけでなく、近年では撮像面のほぼ全体へと拡大される傾向にある。
【０００４】
ここに、位相差画素は、レンズの瞳の一部を通過した光のみを光電変換する画素であり、具体的には、通常画素の画素開口の一部を遮光構造にすることで特定方向から入射する光線を遮光し、他の特定方向から入射する光線のみを光電変換することで位相差情報を与える電荷を生成する構成のものとなっている。
【０００５】
従って、位相差画素により生成される電荷量は、通常画素により生成される電荷量よりも原理的に小さくなるために、位相差画素により生成された信号電荷のＳ／Ｎは、通常画素により生成された信号電荷のＳ／Ｎよりも低くなる。
【０００６】
ところで、撮像素子には、複数の光電変換画素で生成された電荷をミックスしてから読み出すミックス読出モードで動作するものがある。こうしたミックス読出モードは、例えば、通常、静止画像よりも画素数は少なくて良いが比較的速い一定のフレームレート（６０ｆｐｓ等）で読み出す必要がある動画撮影やライブビュー撮影、あるいは、コントラストＡＦなどに用いられる。
【０００７】
上述したような位相差画素を備える撮像素子においてミックス読出モードの動作を行う場合に、位相差画素の取り扱いとして、画像用の画素データから除外する方法と、通常画素と区別することなく画像用の画素データとして通常画素とミックスして読み出す方法と、がある。
【０００８】
これらの内の位相差画素をミックス読み出しの対象から除外する方法は、処理回路を複雑にして消費電力の増加等も招くだけでなく、位相差画素位置の空間情報を間引くことになるために、位相差パターンに起因したモアレの発生、色付き、線の縮れ化等の画質劣化を引き起こしてしまう。画素全体における位相差画素の割合が極めて低いときにはこうした影響を無視することも可能であったが、位相差画素の割合が高まってきている近年の撮像素子に対しては無視することができない。
【０００９】
そこで、ミックス読出モードの動作を行う際には、位相差画素により生成された電荷もミックスして読み出すと共に、位相差画素がミックスされたミックス画素の画質劣化（感度低下、フォーカスがずれている被写体上に発生する例えばギザギザ状の幾何学模様、等の位相差画素に起因する画質劣化）を、後段のデジタル処理により補正するようにしている。
【００１０】
具体例として、特開２０１５−２３３１２号公報には、位相差画素により生成された電荷もミックスして読み出す撮像素子が記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１５−２３３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述したような位相差画素の電荷量が通常画素の電荷量よりも小さくなる点に対応する方法として、例えば、通常画素に対する電子シャッタと位相差画素に対する電子シャッタとを独立に制御して、位相差画素の露光時間と通常画素の露光時間とを異ならせ、それぞれの画素に最適な電荷蓄積時間となるようにすることが考えられる。
【００１３】
しかし、撮影範囲内に移動被写体が存在する場合は、露光時間が異なる位相差画素と通常画素とで被写体の移動量（ぶれ量）が異なるために、位相差画素の配置パターンを反映した被写体の不自然なブレ像の画像データが得られることとなってしまう。従って、こうした画像データを、位相差画素を含むようにミックス読み出しする場合には、ミックス画素に位相差画素が含まれるか否か、さらに含まれる場合には１つのミックス画素に何画素分の位相差画素が含まれるか、といったパターンが反映された画像が撮像素子から出力されてしまう。
【００１４】
本発明は上記事情に鑑みてなされたものであり、通常画素から適切な露光量の電荷を得られると共に、位相差検出を行うのにより好ましい露光量の電荷を位相差画素から得られ、さらに移動被写体が存在しても不自然なブレが生じない画像を得ることができる撮像素子、撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１５】
本発明のある態様による撮像素子は、複数の画素を行列状に配列した画素群を有する撮像素子において、前記画素群の中に離散的に配置された複数の位相差画素と、前記画素群の中の前記位相差画素以外の画素である複数の通常画素と、前記複数の通常画素でなる通常画素群が電荷蓄積を開始するタイミングおよび電荷蓄積を終了するタイミングを制御する通常露光制御部と、前記複数の位相差画素でなる位相差画素群が電荷蓄積を開始するタイミングおよび電荷蓄積を終了するタイミングを、前記通常露光制御部とは独立に制御する位相差露光制御部と、を備え、前記位相差露光制御部は、前記位相差画素群が電荷蓄積を開始してから終了するまでの位相差露光時間を、前記通常画素群が電荷蓄積を開始してから終了するまでの通常露光時間と同一の第１の露光時間と、第２の露光時間と、に分割して、前記第１の露光時間に蓄積された第１電荷と、前記第２の露光時間に蓄積された第２電荷と、を分けて読み出すように制御する。
【００１６】
本発明のある態様による撮像装置は、上記撮像素子と、前記撮像素子から出力された前記位相差画素の信号に基づき位相差ＡＦを行うＡＦ処理部と、前記撮像素子から出力された前記通常画素の信号、あるいは前記通常画素の信号と前記位相差画素の信号がミックスされた信号に基づき、記録用画像を生成する画像処理部と、を備えている。
【発明の効果】
【００１７】
本発明の撮像素子、撮像装置によれば、通常画素から適切な露光量の電荷を得られると共に、位相差検出を行うのにより好ましい露光量の電荷を位相差画素から得られ、さらに移動被写体が存在しても不自然なブレが生じない画像を得ることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１における撮像素子の構成を示すブロック図。
【図３】上記実施形態１の画素部における通常画素および複数の位相差画素の配列の一例を示す図。
【図４】上記実施形態１において、通常画素および位相差画素に関連する回路構成の概要を示す図。
【図５】上記実施形態１の撮像素子においてグローバルシャッタ撮像動作を行ったときの各部の動作を示すタイミングチャート。
【図６】本発明の上記実施形態２における撮像素子の構成を示すブロック図。
【図７】上記実施形態２において、通常画素および位相差画素に関連する回路構成の概要を示す図。
【図８】上記実施形態２の撮像素子においてローリングシャッタ撮像動作を行ったときの各部の動作を示すタイミングチャート。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００２０】
図１から図５は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００２１】
この撮像装置は、図１に示すように、レンズ１と、撮像素子２と、画像処理部３と、ＡＦ（オートフォーカス）評価値演算部４と、表示部５と、手振検出部７と、手振補正部８と、露出制御部９と、フォーカス制御部１０と、カメラ操作部１１と、カメラ制御部１２と、を備えている。なお、図１にはメモリカード６も記載されているが、このメモリカード６は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。
【００２２】
レンズ１は、被写体の光学像を撮像素子２の撮像領域に結像する撮像光学系である。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本実施形態においては手振補正機能も備えたものとなっている。
【００２３】
撮像素子２は、レンズ１により結像された被写体の光学像を光電変換して画像信号として出力する。なお、本実施形態においては、撮像素子２が原色ベイヤー配列のカラーフィルタを備えたカラー撮像素子であるとして説明するが、もちろんその他の構成であっても構わない。そして、本実施形態の撮像素子２は、後で図３を参照して説明するように、原色ベイヤー配列の通常画素２４ａ（図３参照）中に、位相差画素２５ａ（図３参照）を離散的に配置して構成されている。また、撮像素子２は、レンズ１の撮影光軸に垂直な面内を移動可能に構成されていて、手振補正機能を備えたものとなっている。
【００２４】
画像処理部３は、撮像素子２から出力される画像信号に各種の画像処理を行うものである。この画像処理部３は、撮像素子２から出力された通常画素２４ａの信号に基づき（少なくとも通常画素２４ａの信号を用いて、あるいはさらに位相差画素２５ａの信号を用いて）、記録用画像を生成する画像処理を行う。また、画像処理部３は、例えば通常画素２４ａと位相差画素２５ａとをミックス読み出しした場合には、位相差画素２５ａの画素開口が通常画素２４ａよりも小さいことに起因する画素信号低下分の増幅、および非合焦位置にある位相差画素２５ａに起因する画素信号変動分（幾何学模様等）の補正を行う。
【００２５】
ＡＦ評価値演算部４は、撮像素子２から出力された画像信号に基づいてＡＦ評価値を算出し、カメラ制御部１２へ出力するものである。具体的にＡＦ評価値演算部４は、撮像素子２の位相差画素２５ａから読み出された信号に基づいて位相差を算出し、ＡＦ評価値として出力するようになっている。なお、ＡＦ評価値演算部４は、さらに、撮像素子２から出力された画像信号に基づいてコントラスト値を算出し、ＡＦ評価値として出力するものであっても構わない（つまり、位相差ＡＦに加えて、さらにコントラストＡＦを行っても構わない）。
【００２６】
表示部５は、画像処理部３により表示用に画像処理された信号に基づき、画像を表示するものである。この表示部５は、ライブビュー表示や静止画像表示、動作再生表示等を行うとともに、この撮像装置に係る各種の情報等も表示するようになっている。
【００２７】
メモリカード６は、画像処理部３により記録用に画像処理された信号（静止画像信号、動画像信号など）を保存するための記録媒体である。
【００２８】
手振検出部７は、加速度センサや角速度センサ等を有して構成され、この撮像装置の手振れを検出してカメラ制御部１２へ出力するものである。
【００２９】
手振補正部８は、カメラ制御部１２の制御に基づいて、検出された手振れを相殺するようにレンズ１と撮像素子２との少なくとも一方を移動させ、撮像素子２の撮像領域上に結像される光学的な被写体像に手振れの影響が生じるのを軽減するものである。
【００３０】
露出制御部９は、カメラ制御部１２により決定されたシャッタ速度（露光時間）に基づいて、該カメラ制御部１２の制御の下に、撮像素子２の素子シャッタ（この素子シャッタには、グローバルシャッタやローリングシャッタが含まれている）を制御し、画像を取得させるものである。さらに、露出制御部９は、カメラ制御部１２により決定された絞り値に基づいて、レンズ１に含まれる絞りの制御等も行うようになっている。また、露出制御部９は、撮像素子２の駆動情報をカメラ制御部１２へ出力するようになっている。
【００３１】
フォーカス制御部１０は、焦点を調節するためにレンズ１を駆動するものである。すなわち、フォーカス制御部１０は、ＡＦ評価値演算部４からＡＦ評価値を受けたカメラ制御部１２の制御に基づいて、レンズ１に含まれるフォーカスレンズを駆動し、撮像素子２に結像される被写体像が合焦に至るようにする。また、フォーカス制御部１０は、レンズ位置などのレンズ駆動情報をカメラ制御部１２へ出力するようになっている。
【００３２】
上述したＡＦ評価値演算部４、フォーカス制御部１０、およびカメラ制御部１２により、撮像素子２から出力された位相差画素２５ａの信号に基づき位相差ＡＦを行うＡＦ処理部が構成されている。
【００３３】
カメラ操作部１１は、この撮像装置に対する各種の操作入力を行うための操作部である。このカメラ操作部１１には、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影、動画撮影などを指示入力するためのレリーズボタン、静止画撮影モードや動画撮影モード、ライブビューモードなどを設定するためのモードボタン等の操作部材が含まれている。
【００３４】
カメラ制御部１２は、フォーカス制御部１０からのレンズ駆動情報やＡＦ評価値演算部４からのＡＦ評価値、露出制御部９からの駆動情報、画像処理部３からの処理情報、手振検出部７からの手振情報、カメラ操作部１１からの操作入力などに基づいて、画像処理部３、メモリカード６、手振補正部８、露出制御部９、フォーカス制御部１０等を含むこの撮像装置全体を制御するものである。
【００３５】
そして、カメラ制御部１２は、自動露出制御に基づき、あるいはカメラ操作部１１から入力された設定値に基づき、シャッタ速度（露光時間）を決定して、決定したシャタ速度の情報を露出制御部９へ出力する。
【００３６】
図２は撮像素子２の構成を示すブロック図である。
【００３７】
撮像素子２は、画素露光制御部２０と、画素部２３と、メモリ部２６と、ミックス処理部３０と、加算部３１と、アナログデジタルコンバータ（ＡＤＣ）３２と、を備えている。
【００３８】
まず、画素部２３は、複数の画素を行列状に配列した画素群を有しており、画素群は、複数の通常画素２４ａでなる通常画素群２４と、複数の位相差画素２５ａでなる位相差画素群２５と、を含む。
【００３９】
ここに、図３は画素部２３における通常画素２４ａおよび複数の位相差画素２５ａの配列の一例を示す図である。
【００４０】
複数の位相差画素２５ａは、画素部２３に行列状に配列された画素群の中に離散的に配置されている。ここに、位相差画素２５ａは、レンズ１の瞳の一部を通過した光のみを光電変換する画素であり、具体的には、通常画素２４ａの画素開口の一部を遮光構造にすることで特定方向から入射する光線を遮光し、他の特定方向から入射する光線のみを光電変換することで位相差情報を与える電荷を生成する構成のものとなっている。この図３に示す例では、位相差画素２５ａは、水平方向に４画素に１画素の割合、垂直方向に２画素に１画素の割合で、画素部２３のほぼ全面に渡って配置されている。
【００４１】
また、複数の通常画素２４ａは、画素部２３に行列状に配列された画素群の中の、位相差画素２５ａ以外の画素である。なお、この図３に示す例では、画素部２３に通常画素２４ａおよび位相差画素２５ａのみを配列しているが、その他の機能を備えた画素をさらに配置するようにしても構わない。
【００４２】
画素露光制御部２０は、通常画素群２４を制御する通常露光制御部２１と、位相差画素群２５を制御する位相差露光制御部２２と、を備えている。
【００４３】
通常露光制御部２１は、図４に記載の制御線２１ａを介して通常画素群２４と接続されていて、複数の通常画素２４ａでなる通常画素群２４が電荷蓄積を開始するタイミングおよび電荷蓄積を終了するタイミングを制御する。
【００４４】
位相差露光制御部２２は、上述した図４に記載の制御線２１ａとは独立に設けられた制御線２２ａを介して位相差画素群２５と接続されていて、複数の位相差画素２５ａでなる位相差画素群２５が電荷蓄積を開始するタイミングおよび電荷蓄積を終了するタイミングを、通常露光制御部２１とは独立に制御する。
【００４５】
メモリ部２６は、通常メモリ部２７と、第１位相差メモリ部２８と、第２位相差メモリ部２９と、を含んでいる。
【００４６】
通常メモリ部２７は、通常画素群２４が蓄積した電荷を保持する。
【００４７】
第１位相差メモリ部２８は、位相差画素群２５が図５に記載の第１の露光時間Ｔ１において蓄積した電荷を保持する。
【００４８】
第２位相差メモリ部２９は、位相差画素群２５が図５に記載の第２の露光時間Ｔ２において蓄積した電荷を保持する。
【００４９】
ミックス処理部３０は、複数の画素から読み出された信号をミックスするものである。ここに、ミックス処理は、隣接する複数の同一色の画素信号（例えば、同一色の２×２画素、あるいは３×３画素など）を、例えば、加算（あるいは重み付け加算）、または平均（あるいは重み付け平均）等する処理である。そして、ミックス処理部３０は、位相差画素２５ａから読み出された信号をミックスする場合には、第１の露光時間Ｔ１に蓄積された第１電荷に係る信号を用いる。
【００５０】
加算部３１は、第１の露光時間Ｔ１に蓄積された第１電荷と、第２の露光時間Ｔ２に蓄積された第２電荷と、を加算する。
【００５１】
ＡＤＣ３２は、ミックス処理部３０から出力された信号、および加算部３１から出力された信号を、アナログ信号からデジタル信号へ変換するものであり、例えば列並列型ＡＤ変換器（列並列型ＡＤＣ）として構成されている。ただし、ＡＤＣ３２は列並列型ＡＤＣに限定されるものではなく、ライン単位の処理を所望の時間で完了することができれば他の構成のものでも構わない。
【００５２】
なお、図２に示す構成例では、ＡＤＣ３２の前段にミックス処理部３０および加算部３１を設けている（従って、ミックス処理部３０および加算部３１はアナログ処理部となる）が、この構成に限定されるものではなく、例えば、ＡＤＣ３２の後段にミックス処理部３０および加算部３１を設けても構わない（この場合には、ミックス処理部３０および加算部３１はデジタル処理部となる）。
【００５３】
次に、図４は通常画素２４ａおよび位相差画素２５ａに関連する回路構成の概要を示す図である。この図４の左側に通常画素２４ａに関連する回路構成を、図４の右側に位相差画素２５ａに関連する回路構成を示している。
【００５４】
通常画素２４ａと位相差画素２５ａは、何れも、光を受光して光電変換を行い電荷を生成するフォトダイオードＰＤを備えている。
【００５５】
通常画素２４ａのフォトダイオードＰＤは、第１スイッチＳＷ１を介して通常メモリ部２７内に設けられたメモリＭ０に接続され、第１スイッチＳＷ１および第２スイッチＳＷ２を介して電圧源ＶＤＤに接続されている。第１スイッチＳＷ１は通常露光制御部２１からの制御線２１ａにより制御され、第２スイッチＳＷ２も同様に通常露光制御部２１からの図示しない制御線により制御されるようになっている。
【００５６】
位相差画素２５ａのフォトダイオードＰＤは、第１スイッチＳＷ１および第３スイッチＳＷ３を介して、第１位相差メモリ部２８内に設けられたメモリＭ１および第２位相差メモリ部２９内に設けられたメモリＭ２に接続されている。また、位相差画素２５ａのフォトダイオードＰＤは、第１スイッチＳＷ１および第２スイッチＳＷ２を介して電圧源ＶＤＤに接続されている。位相差画素２５ａに係る第１スイッチＳＷ１は、位相差露光制御部２２からの制御線２２ａにより制御され、第２スイッチＳＷ２も同様に位相差露光制御部２２からの図示しない制御線により制御されるようになっている。また、第３スイッチＳＷ３も、位相差露光制御部２２からの図示しない制御線により制御され、第１スイッチＳＷ１を介して、フォトダイオードＰＤをメモリＭ１とメモリＭ２とへ切り替え可能に接続する。
【００５７】
このような構成において、第１スイッチＳＷ１および第２スイッチＳＷ２を共にオンすることで、フォトダイオードＰＤがリセットされる。このリセット状態から、第１スイッチＳＷ１および第２スイッチＳＷ２を共にオフすることで、フォトダイオードＰＤへの電荷蓄積が開始される。また、メモリＭ０，Ｍ１，Ｍ２もスイッチＳＷ２，ＳＷ３の制御を通して電圧源ＶＤＤと接続しリセットされる。
【００５８】
また、通常画素２４ａに関して、第２スイッチＳＷ２をオフにした状態で、第１スイッチＳＷ１のみをオンすることで、通常画素２４ａのフォトダイオードＰＤに蓄積された電荷がメモリＭ０へ転送される。
【００５９】
さらに、位相差画素２５ａに関して、第２スイッチＳＷ２をオフにした状態で、第１スイッチＳＷ１をオンし、さらに第３スイッチＳＷ３をメモリＭ１側へ切り替えれば、位相差画素２５ａのフォトダイオードＰＤに蓄積された電荷がメモリＭ１へ転送される。また、第２スイッチＳＷ２をオフにした状態で、第１スイッチＳＷ１をオンし、さらに第３スイッチＳＷ３をメモリＭ２側へ切り替えれば、位相差画素２５ａのフォトダイオードＰＤに蓄積された電荷がメモリＭ２へ転送される。
【００６０】
次に、図５は、撮像素子２においてグローバルシャッタ撮像動作を行ったときの各部の動作を示すタイミングチャートである。
【００６１】
通常画素２４ａと位相差画素２５ａは、上述したように、独立な制御線２１ａ，２２ａを介して独立に制御されるようになっている。このような構成を用いて、画素露光制御部２０は、この図５に示すような制御を行う。
【００６２】
すなわち、全ての通常画素２４ａは、垂直同期信号ＶＤの立ち上がりタイミングからカメラ制御部１２により決定された露光時間Ｔｅｘｐだけ遡った時点で、フォトダイオードＰＤのリセットＲＳＴを一斉に終了することにより、同時に露光を開始する。
【００６３】
そして、全ての通常画素２４ａは、垂直同期信号ＶＤの立ち上がりタイミングで、フォトダイオードＰＤに蓄積された電荷の通常メモリ部２７への転送ＭＴを一斉に行うことにより、同時に露光を終了する。
【００６４】
一方、画素露光制御部２０は位相差画素群２５が電荷蓄積を開始してから終了するまでの位相差露光時間Ｔを、通常画素群２４が電荷蓄積を開始してから終了するまでの通常露光時間（つまり、上述した露光時間Ｔｅｘｐ）よりも長くなるように設定する。
【００６５】
そして、位相差露光制御部２２は、位相差画素群２５が電荷蓄積を開始してから終了するまでの位相差露光時間Ｔを、通常画素群２４が電荷蓄積を開始してから終了するまでの通常露光時間Ｔｅｘｐと同一の第１の露光時間Ｔ１と、第２の露光時間Ｔ２と、に分割して、第１の露光時間Ｔ１に蓄積された第１電荷と、第２の露光時間Ｔ２に蓄積された第２電荷と、を分けて読み出すように制御する。
【００６６】
すなわち、位相差露光制御部２２は、通常露光制御部２１が電荷蓄積を開始するタイミング（通常画素２４ａのリセットＲＳＴ終了タイミング）から、第２の露光時間Ｔ２だけ遡ったタイミングで、全ての位相差画素２５ａのフォトダイオードＰＤのリセットＲＳＴを一斉に終了することにより、全ての位相差画素２５ａの露光（電荷蓄積）を同時に開始する。
【００６７】
その後、位相差露光制御部２２は、電荷蓄積の開始から第２の露光時間Ｔ２が経過した時点（つまり、通常画素群２４が一斉に露光を開始するのと同じ時点）で、第２の露光時間Ｔ２にフォトダイオードＰＤに蓄積された第２電荷の第２位相差メモリ部２９への転送ＭＴ２（つまり、位相差画素２５ａの読み出し）を一斉に行う。この第２電荷の読み出し時点が、続く第１電荷の蓄積開始時点となる。
【００６８】
そして、位相差露光制御部２２は、第２電荷の読み出しタイミングから第１の露光時間Ｔ１が経過した時点（つまり、通常画素群２４が一斉に露光を終了するのと同じ時点）で、第１の露光時間Ｔ１にフォトダイオードＰＤに蓄積された第１電荷の第１位相差メモリ部２８への転送ＭＴ１（つまり、位相差画素２５ａの読み出し）を一斉に行う。この第１電荷の読み出し時点が、全ての位相差画素２５ａが同時に露光を終了する時点となる。
【００６９】
メモリ部２６に各電荷が保持された後は、メモリ部２６からの電荷の読み出しＲＤは、ＡＤＣ３２の１ライン毎のＡＤ変換に従って、順次に行われ、撮像素子２からデータ出力が行われる。
【００７０】
このときミックス処理部３０は、例えばライブビュー画像用あるいは動画像用などのためにミックス処理を行う際に、通常メモリ部２７に保持されている信号と第１位相差メモリ部２８に保持されている信号とを用いてミックス読み出しパターンに応じてミックスする。こうして、ミックス処理部３０は、第２位相差メモリ部２８に保持されている信号をミックス処理には用いない。
【００７１】
また、加算部３１は、同一の位相差画素位置毎に、第１の露光時間Ｔ１に蓄積された第１電荷と、第２の露光時間Ｔ２に蓄積された第２電荷と、を加算することで、ＡＦ評価値演算部４が位相差ＡＦを行うための信号を生成する。これにより、通常画素２４ａよりも画素開口が小さい位相差画素２５ａの感度低下を補って、適切な露光量（あるいはより適切に近付けた露光量）の位相差信号を得ることができる。
【００７２】
なお、上述した図５に示す例においては、第１の露光時間Ｔ１に先立つように第２の露光時間Ｔ２を設定したが、これとは逆に、第１の露光時間Ｔ１の後に第２の露光時間Ｔ２を設定しても構わない。
【００７３】
この場合には、位相差露光制御部２２は、通常露光制御部２１が電荷蓄積を開始するタイミングと同一のタイミングを電荷蓄積を開始するタイミングとして、電荷蓄積の開始から第１の露光時間Ｔ１が経過した時点で第１電荷の読み出しを行い、第１電荷の読み出しタイミングから第２の露光時間Ｔ２が経過した時点で第２電荷の読み出しを行うように制御することになる。
【００７４】
このような実施形態１によれば、通常画素２４ａと位相差画素２５ａとを有する撮像素子２において、通常画素群２４の電荷蓄積開始／終了タイミングを制御する通常露光制御部２１と、位相差画素群２５の電荷蓄積開始／終了タイミングを通常露光制御部２１とは独立に制御する位相差露光制御部２２と、を備えたために、通常画素２４ａに適した露光量と位相差画素２５ａに適した露光量とを独立に制御することが可能となる。
【００７５】
また、位相差露光制御部２２が、位相差画素群２５が電荷蓄積を開始してから終了するまでの位相差露光時間を、通常画素群２４が電荷蓄積を開始してから終了するまでの通常露光時間Ｔｅｘｐと同一の第１の露光時間Ｔ１と、第２の露光時間Ｔ２と、に分割して、第１の露光時間Ｔ１に蓄積された第１電荷と、第２の露光時間Ｔ２に蓄積された第２電荷と、を分けて読み出すように制御するために、第１電荷を画像用に用いることで、通常画素２４ａの露光時間と位相差画素２５ａの露光時間とを同じにすることができ、撮影範囲内に移動被写体が存在するときにミックス読み出しを行っても不自然なブレ像の画像データとなることはない。さらに、第１電荷と第２電荷とを加算したものを位相差検出用に出力すれば、通常画素２４ａよりも画素開口が小さい位相差画素２５ａの感度低下を補うことができる。
【００７６】
さらに、位相差露光制御部２２が、通常露光制御部２１が電荷蓄積を開始するタイミングから、第２の露光時間Ｔ２だけ遡ったタイミングを電荷蓄積を開始するタイミングとして、電荷蓄積の開始から第２の露光時間Ｔ２が経過した時点で第２電荷の読み出しを行い、第２電荷の読み出しタイミングから第１の露光時間Ｔ１が経過した時点で第１電荷の読み出しを行うように制御する場合には、位相差検出用の信号も画像用の信号と同時に取得することができる。
【００７７】
一方、位相差露光制御部２２が、通常露光制御部２１が電荷蓄積を開始するタイミングと同一のタイミングを電荷蓄積を開始するタイミングとして、電荷蓄積の開始から第１の露光時間Ｔ１が経過した時点で第１電荷の読み出しを行い、第１電荷の読み出しタイミングから第２の露光時間Ｔ２が経過した時点で第２電荷の読み出しを行うように制御する場合には、画像用の信号の取得を優先して行うことができる。
【００７８】
そして、通常画素群２４が蓄積した電荷を保持する通常メモリ部２７と、位相差画素群２５が第１の露光時間Ｔ１において蓄積した電荷を保持する第１位相差メモリ部２８と、位相差画素群２５が第２の露光時間Ｔ２において蓄積した電荷を保持する第２位相差メモリ部２９と、を含むメモリ部２６をさらに備えたために、ミックス処理および加算処理を容易に行うことができ、さらに全画素のＡＤ変換に時間を要する場合でもグローバルシャッタを実現することが可能となる。
【００７９】
加えて、ミックス処理部３０が、位相差画素２５ａから読み出された信号をミックスする場合に、第１電荷に係る信号を用いるために、ミックスされる通常画素２４ａの露光時間と位相差画素２５ａの露光時間とを同一とすることができる。
【００８０】
また、撮像素子２が第１電荷と第２電荷とを加算する加算部３１をさらに備えたために、撮像素子２から位相差検出用の信号を出力する時点で、既により適切な露光量の信号となり、撮像素子２の外部において加算処理を行うことが不要となる。
【００８１】
さらに、ミックス処理と加算処理との少なくとも一方、好ましくは両方をＡＤ変換の前段において行うことで、ＡＤ変換する画素数を減らし、処理負荷を軽減することができる。
【００８２】
そして、撮像装置において、ＡＦ処理部が撮像素子２から出力された位相差画素２５ａの信号（第１電荷と第２電荷とを加算して得られた信号）に基づき位相差ＡＦを行うことで、ＳＮ比の高い信号を用いることができ、位相差ＡＦの精度を向上することが可能となる。
【００８３】
加えて、撮像装置において、画像処理部３が撮像素子２から出力された通常画素２４ａの信号に基づき記録用画像を生成することで、画像を得ることができる。このとき、撮像素子２からミックス処理された信号が出力される場合には、通常画素２４ａの電荷と第１電荷とがミックス処理されているために、画像処理部３が生成した記録用画像に不自然なブレが生じることはない。
［実施形態２］
【００８４】
図６から図８は本発明の実施形態２を示したものであり、図６は撮像素子２の構成を示すブロック図である。
【００８５】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【００８６】
上述した実施形態１の撮像装置ではグローバルシャッタ撮像動作を行っていたが、本実施形態の撮像装置はローリングシャッタ撮像動作を行うものとなっている。
【００８７】
撮像素子２は、図６に示すように、画素露光制御部２０と、画素部２３と、列並列型ＡＤＣ３２Ａと、ミックス処理部３０Ａと、加算部３１Ａと、を備えている。なお、本実施形態においては、上述した実施形態１と異なり、メモリ部２６は設けられていない。ただし、ＡＤＣは列並列型ＡＤＣに限定されるものではなく、ライン単位の処理を所望の時間で完了することができれば他の構成のものでも構わない。例えば画素単位でＡＤ変換を行う構成の場合には、一般的に１ライン分のメモリを設けて、メモリ内の画素データを順次にＡＤ変換することになる。
【００８８】
列並列型ＡＤＣ３２Ａは、ライン単位でＡＤ変換を行う。
【００８９】
また、ミックス処理部３０Ａおよび加算部３１Ａは、列並列型ＡＤＣ３２Ａの後段に設けられているために、デジタル処理部となっている。
【００９０】
次に、図７は通常画素２４ａおよび位相差画素２５ａに関連する回路構成の概要を示す図である。この図７の左側に通常画素２４ａに関連する回路構成を、図４の右側に位相差画素２５ａに関連する回路構成を示している。
【００９１】
本実施形態においては、通常画素２４ａおよび位相差画素２５ａのフォトダイオードＰＤは、上述した実施形態１においてメモリに接続されていたのに代えて、列並列型ＡＤＣ３２Ａ内に配列されているＡＤＣに接続されている。
【００９２】
ここに、通常画素２４ａに蓄積された電荷、および位相差画素２５ａに蓄積された第１電荷は、列並列型ＡＤＣ３２Ａ内のＡＤコンバータＡＤＣ１によりＡＤ変換される。また、位相差画素２５ａに蓄積された第１電荷は、第３スイッチＳＷ３の切替により、列並列型ＡＤＣ３２Ａ内のＡＤコンバータＡＤＣ２によりＡＤ変換される。
【００９３】
続いて、図８は、撮像素子２においてローリングシャッタ撮像動作を行ったときの各部の動作を示すタイミングチャートである。
【００９４】
本実施形態においてはローリングシャッタ撮像動作を行っているために、通常画素２４ａのリセットＲＳＴおよび読み出しＲＤと、位相差画素２５ａのリセットＲＳＴ、第２電荷の読み出しＲＤ２、および第１電荷の読み出しＲＤ１とは、ライン単位でタイミングをずらしながら順次に行われる。このライン単位のタイミングズレ量は、列並列型ＡＤＣ３２Ａの変換速度に依存する。
【００９５】
ここに、位相差露光制御部２２が、位相差画素群２５が電荷蓄積を開始してから終了するまでの位相差露光時間Ｔを、通常画素群２４が電荷蓄積を開始してから終了するまでの通常露光時間Ｔｅｘｐと同一の第１の露光時間Ｔ１と、第２の露光時間Ｔ２と、に分割して、第１の露光時間Ｔ１に蓄積された第１電荷と、第２の露光時間Ｔ２に蓄積された第２電荷と、を分けて読み出すように制御するのは上述した実施形態１と同様である。
【００９６】
また、本実施形態においても、第１の露光時間Ｔ１に先立つように第２の露光時間Ｔ２を設定するに限るものではなく、第１の露光時間Ｔ１の後に第２の露光時間Ｔ２を設定しても構わない。
【００９７】
このような実施形態２によれば、ローリング撮像動作においても、上述した実施形態１とほぼ同様の効果を奏することができる。
【００９８】
そして、本実施形態においては、位相差露光制御部２２は、あるライン上に配置された全ての位相差画素２５ａの第１の露光時間Ｔ１の開始タイミングおよび終了タイミングが、該あるライン上に配置された全ての通常画素２４ａの電荷蓄積の開始タイミングおよび終了タイミングと等しくなるように制御を行うことになる。これにより、撮影範囲内に移動被写体が存在するときにミックス読み出しを行った場合の、画像の不自然なブレを軽減することができる。
【００９９】
なお、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行う撮像方法であっても良いし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０１００】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１０１】
１…レンズ
２…撮像素子
３…画像処理部
４…ＡＦ評価値演算部
５…表示部
６…メモリカード
７…手振検出部
８…手振補正部
９…露出制御部
１０…フォーカス制御部
１１…カメラ操作部
１２…カメラ制御部
２０…画素露光制御部
２１…通常露光制御部
２１ａ，２２ａ…制御線
２２…位相差露光制御部
２３…画素部
２４…通常画素群
２４ａ…通常画素
２５…位相差画素群
２５ａ…位相差画素
２６…メモリ部
２７…通常メモリ部
２８…第１位相差メモリ部
２９…第２位相差メモリ部
３０，３０Ａ…ミックス処理部
３１，３１Ａ…加算部
３２…アナログデジタルコンバータ（ＡＤＣ）
３２Ａ…列並列型ＡＤＣ
ＡＤＣ１，ＡＤＣ２…ＡＤコンバータ
Ｍ０，Ｍ１，Ｍ２…メモリ
ＰＤ…フォトダイオード
ＳＷ１，ＳＷ２，ＳＷ３…第１，第２，第３スイッチ
ＶＤＤ…電圧源
【図１】
0006579614.tif 000002
【図２】
0006579614.tif 000003
【図３】
0006579614.tif 000004
【図４】
0006579614.tif 000005
【図５】
0006579614.tif 000006
【図６】
0006579614.tif 000007
【図７】
0006579614.tif 000008
【図８】
0006579614.tif 000009