(57)【要約】【課題】画像用画素を構成可能で、像面位相差による焦点検出も可能な、低消費電力の撮像素子等を提供する。【解決手段】行列状に配列されたカラーの画像用画素が、複数の焦点検出用画素に分割されている画素部２２と、カラー画像を構成可能な第１フレームと位相差情報を含む第２フレームとを画素部２２から読み出す垂直走査部２１および素子制御部３０と、第２フレームの色情報を減らしてデータ量を小さくするデジタル処理部２７と、第１，第２フレームを各出力するのに必要な第１，第２レーン数の内の小さくない方のレーン数で、第１および第２フレームを出力する出力部２８と、を備える撮像素子４。【選択図】図２
2019096923.tif 000002
【特許請求の範囲】
【請求項１】
複数レーンの伝送経路を介してデータを出力する撮像素子であって、
カラーの画像用画素が行列状に配列され、前記画像用画素が複数の焦点検出用画素に分割されている画素部と、
前記画素部から、カラー画像を構成可能な第１フレームと、位相差情報を含む第２フレームと、を読み出す読出部と、
前記第２フレームの色情報を減らすことでデータ量を小さくする処理を行う信号処理部と、
前記第１フレームを出力するのに必要な第１レーン数と、前記信号処理部により処理された前記第２フレームを出力するのに必要な第２レーン数と、の内の小さくない方のレーン数で、前記第１フレームと前記第２フレームとの両方を出力する出力部と、
を備えることを特徴とする撮像素子。
【請求項２】
複数の画素信号から１つの画素信号を生成するミックス処理を行うものであって、前記第１フレームに第１ミックス処理を行い、前記第２フレームに第２ミックス処理を行うミックス処理部をさらに備え、
前記出力部は、前記第１ミックス処理を行った後の前記第１フレームを出力するのに必要な第１レーン数と、前記第２ミックス処理および前記信号処理部の処理を行った後の前記第２フレームを出力するのに必要な第２レーン数と、の内の小さくない方のレーン数で、前記第１フレームと前記第２フレームとの両方を出力することを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記信号処理部は、前記カラーの画像用画素から読み出される複数の色の画素信号の内の１つ以上の色の画素信号を削除することで、前記第２フレームの色情報を減らしてデータ量を小さくする処理を行うことを特徴とする請求項１に記載の撮像素子。
【請求項４】
前記複数の色の画素信号はＲ画素信号、Ｇ画素信号、およびＢ画素信号であり、前記信号処理部は、Ｒ画素信号およびＢ画素信号を削除して、Ｇ画素信号のみで前記第２フレームを構成することで、前記第２フレームの色情報を減らしてデータ量を小さくする処理を行うことを特徴とする請求項３に記載の撮像素子。
【請求項５】
前記信号処理部は、前記カラーの画像用画素から読み出される複数の色の画素信号を加算して加算信号を生成し、生成した前記加算信号のみで前記第２フレームを構成することで、前記第２フレームの色情報を減らしてデータ量を小さくする処理を行うことを特徴とする請求項１に記載の撮像素子。
【請求項６】
前記信号処理部は、前記複数の色の画素信号を加算する際に、各色毎の重みを付けることで、前記加算信号を輝度信号として生成することを特徴とする請求項５に記載の撮像素子。
【請求項７】
前記画素部は、２×２画素でなるベイヤー配列を基本配列として前記カラーの画像用画素が配列されており、
前記信号処理部は、前記基本配列を単位として前記加算信号を生成することを特徴とする請求項５に記載の撮像素子。
【請求項８】
前記画素部は、２×２画素でなるベイヤー配列を基本配列として前記カラーの画像用画素が配列されており、
前記信号処理部は、前記基本配列と、前記基本配列を行方向と列方向との少なくとも一方に１画像用画素分移動させた移動基本配列と、のそれぞれを単位として前記加算信号を生成することを特徴とする請求項５に記載の撮像素子。
【請求項９】
前記信号処理部よりも前段側に設けられ、前記読出部により前記画素部から読み出されたアナログ信号をデジタル信号に変換するＡＤＣ処理部をさらに備え、
前記信号処理部は、前記第２フレームの色情報を減らすことでデータ量を小さくする処理を、デジタル処理により行うことを特徴とする請求項１に記載の撮像素子。
【請求項１０】
請求項１に記載の撮像素子と、
前記撮像素子から出力されたデータを伝送する複数レーンの伝送経路と、
を備え、前記複数レーンの内の、データの伝送に用いられないレーンの動作を停止することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像用画素が複数の焦点検出用画素に分割された撮像素子と、撮像素子を備える撮像装置と、に関する。
【背景技術】
【０００２】
画像用画素が複数の焦点検出用画素に分割され、画像用の画素信号と焦点検出用の画素信号とを読み出す撮像装置は、従来より種々のものが提案されている。
【０００３】
例えば、特開２０１５−１６１９０６号公報には、所定の走査方向に沿って配列され、走査方向に関する焦点検出信号を出力する焦点検出用画素列を含む第１画素列と、走査方向に沿って配列され、画像信号を出力する画像用画素列を含み焦点検出用画素列を含まない第２画素列と第１画素列からの焦点検出信号の読み出しと第２画素列からの画像信号の読み出しとを択一的に且つ非同期に行う信号読出部と、信号読出部により読み出された画像信号に基づき画像データを生成する画像データ生成部と、信号読出部により読み出された焦点検出信号に基づき結像光学系の焦点調節状態を検出する焦点検出部と、を備え、画像信号の読み出しと焦点検出信号の読み出しとを非同期的に制御する撮像装置が記載されている。
【０００４】
また、特開２０１５−５８５３号公報には、第１および第２の光電変換部を有する単位画素と、単位画素から出力される、第１の光電変換部に係る第１の信号と、第２の光電変換部に係る第２の信号と、第１の信号と第２の信号とを合成した第３の信号と、の内の何れか１つの信号を保持する読出回路と、を有し、第１の信号の読み出しと第２の信号の読み出しとを行う第１の連続駆動と、第３の信号の読み出しを行う第２の連続駆動と、を所定のタイミングで切り替える撮像素子が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１６１９０６号公報
【特許文献２】特開２０１５−５８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、焦点検出用画素は、画像用画素を複数に分割する構成となっているために、焦点検出用画素の画素数は、画像用画素の画素数の複数倍となる。従って、焦点検出用画素を読み出す場合には、画像用画素を読み出す場合の複数倍の読出時間を要する。一方、例えばライブビューでは、焦点検出を行いながら、ほぼリアルタイムで被写体を観察してフレーミングを行う必要があるために、例えば６０ｆｐｓ等のフレームレートが求められる。そこで、読出時間を短縮するために、複数レーンの伝送経路を介して撮像素子からデータを転送する技術が用いられている。
【０００７】
このとき、多くのレーンを常時可動させると消費電力が大きくなるために、データ伝送量が少ないフレームについては動作不要なレーンの動作を停止して消費電力を抑制することが好ましいが、データ転送に必要なレーン数が例えば１フレーム毎に変動したとしても、レーンの動作／停止を１フレーム単位で追従させることは困難であるために、結局、最も大きい動作レーン数で常時動作させることになり、消費電力の抑制は困難であった。
【０００８】
本発明は上記事情に鑑みてなされたものであり、画像用画素を構成可能で、像面位相差による焦点検出も可能な、低消費電力の撮像素子、撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明の一態様による撮像素子は、複数レーンの伝送経路を介してデータを出力する撮像素子であって、カラーの画像用画素が行列状に配列され、前記画像用画素が複数の焦点検出用画素に分割されている画素部と、前記画素部から、カラー画像を構成可能な第１フレームと、位相差情報を含む第２フレームと、を読み出す読出部と、前記第２フレームの色情報を減らすことでデータ量を小さくする処理を行う信号処理部と、前記第１フレームを出力するのに必要な第１レーン数と、前記信号処理部により処理された前記第２フレームを出力するのに必要な第２レーン数と、の内の小さくない方のレーン数で、前記第１フレームと前記第２フレームとの両方を出力する出力部と、を備える。
【００１０】
本発明の他の態様による撮像装置は、前記撮像素子と、前記撮像素子から出力されたデータを伝送する複数レーンの伝送経路と、を備え、前記複数レーンの内の、データの伝送に用いられないレーンの動作を停止する。
【発明の効果】
【００１１】
本発明の撮像素子、撮像装置によれば、低消費電力で、画像用画素を構成可能、かつ像面位相差による焦点検出も可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１における撮像素子の構成を示すブロック図。
【図３】上記実施形態１において、１つのマイクロレンズに２つまたは４つのフォトダイオードが配置される画素構造の例を示す図表。
【図４】上記実施形態１における４ＰＤ画素構造の画素の構成例を示す回路図。
【図５】上記実施形態１において、第１フレームに対して行われる第１ミックス処理の例を示す図。
【図６】上記実施形態１において、第２フレームに対して行われる第２ミックス処理の例を示す図。
【図７】上記実施形態１において、画素部から読み出されミックス処理された後の第２フレームの画素配列を示す図。
【図８】上記実施形態１において、デジタル処理部により第２フレームに対して行われる処理を示すフローチャート。
【図９】上記実施形態１において、デジタル処理部に入力されるデジタル処理前の第２フレームのデータの例を示す図。
【図１０】上記実施形態１において、デジタル処理部から出力されるデジタル処理後の第２フレームのデータの例を示す図。
【図１１】上記実施形態１において、デジタル処理部により処理を行うことなく出力部から画素データを出力するときの各レーンの使用状態を示す図。
【図１２】上記実施形態１において、デジタル処理部により処理を行って出力部から画素データを出力するときの各レーンの使用状態を示す図。
【図１３】本発明の実施形態２において、デジタル処理部により第２フレームに対して行われる処理を示すフローチャート。
【図１４】上記実施形態２において、デジタル処理部から出力されるデジタル処理後の第２フレームのデータの例を示す図。
【図１５】上記実施形態２において、デジタル処理部により処理を行って出力部から画素データを出力するときの各レーンの使用状態を示す図。
【図１６】本発明の実施形態３において、デジタル処理部により第２フレームに対して行われる処理を示すフローチャート。
【図１７】上記実施形態３において、デジタル処理部から出力されるデジタル処理後の第２フレームのデータの例を示す図。
【図１８】上記実施形態３において、デジタル処理部により処理を行って出力部から画素データを出力するときの各レーンの使用状態を示す図。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１４】
図１から図１２は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００１５】
図１に示すように、撮像装置１は、撮像レンズ２と、シャッタ３と、撮像素子４と、入力部５と、データバス６と、メモリ７と、焦点検出用信号処理部８と、画像信号処理部９と、表示部１０と、記録部１１と、入力インタフェース（入力ＩＦ）１２と、システム制御部１３と、伝送経路１４と、を備え、いわゆるカメラとしての機能を備えている。
【００１６】
撮像レンズ２は、被写体の光学像を撮像素子４上に結像するための撮影光学系である。この撮像レンズ２は、フォーカス位置を調節するためのフォーカスレンズと、撮像レンズ２を通過する光束の範囲を制御する光学絞りとを備え、例えば焦点距離を可変なズームレンズとして構成されている。撮像レンズ２の、フォーカス位置、光学絞りの開口径（Ｆ値）、および焦点距離は、システム制御部１３の駆動制御により変更される。
【００１７】
シャッタ３は、撮像レンズ２からの光束が撮像素子４へ到達する時間を制御するものであり、例えばフォーカルプレーンシャッタなどの、シャッタ幕を走行させる構成のメカニカルシャッタとなっている。このシャッタ３の開閉動作は、システム制御部１３により駆動制御される。
【００１８】
撮像素子４は、複数のカラーの画像用画素が２次元状（行列状）に配列された画素部２２（図２参照）を有する。画像用画素は、マイクロレンズＬ（図３参照）に対応し、複数の焦点検出用画素に分割された構成となっている。ここに、焦点検出用画素は、撮影光学系である撮像レンズ２の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成するものである。こうして、画素部２２には、複数の焦点検出用画素が２次元状（行列状）に配列されているともいえる。
【００１９】
そして、撮像素子４は、システム制御部１３の制御に基づき、シャッタ３を通して撮像レンズ２により結像された被写体の光学像を、上述したように光電変換して複数の光電変換信号を生成する。
【００２０】
こうした撮像素子４は、例えば、原色ベイヤ配列のカラーフィルタを備える単板式ＣＭＯＳ撮像素子として構成されているが、もちろんこの構成に限定されるものではない。
【００２１】
この撮像素子４は、同一色である複数の画像用画素をミックス処理（画素加算（単純加算でも、重み付け加算（正規化された同一重みの場合に該当する画素加算平均を含む）でも構わない）と画素間引きとの少なくとも一方を行って撮像素子４から出力する画素数を少なくする処理）して読み出すミックス（ＭＩＸ）読み出しを行うことができるようになっている。このミックス処理は、撮像素子４から出力する画像が、ライブビュー（ＬＶ）用の画像であるか、動画用の画像であるか、静止画用の画像であるか、等に応じて（つまり、画像の用途に応じて）、異なるミックス数が設定されるようになっている。
【００２２】
この撮像素子４は、複数レーンの伝送経路１４を介してデータを出力するように構成されている。すなわち、撮像素子４により生成された画素データ（画素信号）を出力する伝送経路１４は複数レーン設けられており、後述ではレーン（Ｌａｎｅ）０〜１１までの１２レーン設けられている例を説明する。
【００２３】
入力部５は、撮像素子４からのデータが入力されるものであり、上述した複数レーンの伝送経路１４を介して撮像素子４と接続されている。
【００２４】
こうして、撮像装置１は、撮像素子４と、撮像素子４から出力されたデータを伝送する複数レーンの伝送経路１４と、を備えて構成されていて、後述するように、複数レーンの内の、データの伝送に用いられないレーンの動作を停止することで、消費電力の低減を図るようになっている。
【００２５】
データバス６は、各種のデータや制御信号を、撮像装置１内のある場所から他の場所へ転送するための転送路である。本実施形態におけるデータバス６は、入力部５と、メモリ７と、焦点検出用信号処理部８と、画像信号処理部９と、表示部１０と、記録部１１と、入力ＩＦ１２と、システム制御部１３と、に接続されている。
【００２６】
メモリ７は、撮像素子４により生成された画素信号を一時的に記憶する記憶部であり、例えばＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）等により構成されている。このメモリ７は、撮像装置１内の各部が例えば画像処理や焦点検出等の各種の処理を行う際の、ワークメモリや画像のバッファメモリとしても用いられる。
【００２７】
焦点検出用信号処理部８は、撮像素子４から出力された一対の焦点検出用画素信号に基づいて、像面位相差検出を行うものである。
【００２８】
また、本実施形態における焦点検出用信号処理部８は、焦点検出用画素信号に基づく位相差検出方式の焦点検出（位相差ＡＦ）に加えて、さらに、画像用画素信号のコントラストに基づく焦点検出（コントラストＡＦ）を行うことができるようになっている。
【００２９】
そして、焦点検出用信号処理部８は、焦点検出の結果に基づいて、撮像レンズ２のフォーカス位置を合焦位置へ移動するためのレンズ制御パラメータを算出する。加えて、焦点検出用信号処理部８は、焦点検出用画素信号に対する演算を行って、例えば、３Ｄ情報、デプスマップ、あるいは深度補正情報などを算出することも可能であり、これらを算出した場合にはその結果を画像信号処理部９へ送信する。
【００３０】
画像信号処理部９は、撮像素子４から出力された画像用画素信号に画像処理を行って表示用および／または記録用の画像（例えば、表示部１０に表示するための画像、記録部１１に記録するための画像など）を生成するものである。
【００３１】
具体的に、画像信号処理部９は、画像用画素信号に対して、例えば、ＯＢ減算、ホワイトバランス（ＷＢ）ゲイン、デモザイク、ノイズ低減、色変換、ガンマ変換、拡大縮小などの画像処理（いわゆる現像処理を含む）を行う。なお、静止画や動画を記録部１１に記録する際あるいは記録部１１から読み出す際のデータ圧縮／データ伸張は、この画像信号処理部９により行っても構わないし、専用の圧縮伸張部を設けて行うようにしてもよい。
【００３２】
表示部１０は、画像を表示すると共に、撮像装置１に係る各種の情報を表示する表示装置である。この表示部１０は、例えば、ＬＣＤパネルあるいは有機エレクトロルミネッセンス（有機ＥＬ）ディスプレイ等のデバイスを有している。表示部１０の具体的な配置や構成としては、電子ビューファインダ（ＥＶＦ）、撮像装置１の背面パネル、撮像装置１と無線接続されている携帯デバイスの表示装置などが挙げられる。従って、表示部１０は、撮像装置１に固有の構成であることに限定されない。
【００３３】
記録部１１は、複数の画素信号で構成される画像データ（静止画像データ、動画像データなど）を不揮発に記憶する記録媒体であり、例えば、撮像装置１本体に内蔵されているフラッシュメモリ、あるいは撮像装置１本体に着脱可能なメモリカード等により構成されている。従って、記録部１１は、撮像装置１に固有の構成であることに限定されない。
【００３４】
入力ＩＦ１２は、この撮像装置１に対する各種の操作入力を行うためのものである。入力ＩＦ１２は、例えば、撮像装置１の電源をオン／オフするための電源ボタン、静止画像等の撮影開始を指示するための例えば２段式のスイッチ（ファーストレリーズ（１Ｒ）スイッチおよびセカンドレリーズ（２Ｒ）スイッチ）を有するレリーズボタン、動画像の撮影を指示するための動画ボタン、記録画像の再生を行うための再生ボタン、撮像装置１の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。
【００３５】
ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、例えば、撮影モード（静止画モード、動画モード等）、記録モード（ＪＰＥＧ記録、ＲＡＷ＋ＪＰＥＧ記録など）、再生モードなどが含まれている。
【００３６】
入力ＩＦ１２に対して操作が行われると、操作内容に応じた信号がシステム制御部１３へ出力される。
【００３７】
なお、入力ＩＦ１２の具体的な配置や構成としては、カメラ本体の外装に配設されたボタンやスイッチ類、あるいは表示部１０における背面パネルの表示面に設けられたタッチパネル、遠隔操作するためのリモートレリーズ装置や携帯デバイスなどが挙げられる。従って、入力ＩＦ１２も、撮像装置１に固有の構成であることに限定されない。
【００３８】
システム制御部１３は、例えばＣＰＵを含んで構成され、撮像装置１内の各部を統括的に制御する制御部である。
【００３９】
システム制御部１３は、所定の処理プログラム（撮像プログラムを含む）に従って、入力ＩＦ１２からの操作入力に応じた各種のシーケンスを実行する。ここに、処理プログラムは、システム制御部１３内に不揮発に記憶されていてもよいし、メモリ７に不揮発に記憶されていてシステム制御部１３により読み込まれる構成であっても構わない。
【００４０】
例えば、システム制御部１３は、焦点検出用信号処理部８により算出されたレンズ制御パラメータに基づいて、撮像レンズ２のフォーカスレンズを制御し、システム制御部１３内で行った露出演算の結果に基づいて撮像レンズ２の絞りおよびシャッタ３の制御を行い、撮像素子４を制御して撮像を行わせ画素信号を出力させる。また、システム制御部１３は、表示部１０に各種情報を表示する制御、および記録部１１へデータを記録しまたは記録部１１からデータを読み出す制御なども行う。
【００４１】
次に、図２は、撮像素子４の構成を示すブロック図である。
【００４２】
撮像素子４は、複数の焦点検出用画素に分割された画像用画素を有し、焦点検出用画素により光束を光電変換して生成された光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成するものである。
【００４３】
撮像素子４は、図２に示す例においては、垂直走査部２１と、画素部２２と、アナログ処理部２３と、ＡＤＣ処理部２４と、メモリ部２５と、水平走査部２６と、デジタル処理部２７と、出力部２８と、素子入力部２９と、素子制御部３０と、を備えている。
【００４４】
画素部２２は、上述したように、画像用画素（ひいては焦点検出用画素）が行列状（垂直方向（列方向）および水平方向（行方向））に配列された画素アレイ部であり、例えば、２×２画素でなるベイヤー配列を基本配列としてカラーの画像用画素が配列されている（図７等も参照）。そして、光電変換信号に基づく画像用画素信号と焦点検出用画素信号との生成は、後述する図４に示すような回路の動作により行われるようになっている。
【００４５】
ここで、図３は、１つのマイクロレンズＬに２つまたは４つのフォトダイオードＰＤが配置される画素構造の例を示す図表である。
【００４６】
画像用画素の構造として、この図３には、１つのマイクロレンズＬに対して２つのフォトダイオードＰＤが配置される２ＰＤ画素構造と、１つのマイクロレンズＬに対して４つのフォトダイオードＰＤが配置される４ＰＤ画素構造と、を例示している。
【００４７】
画素は、物体側から像側へ向かう積層方向の順に、マイクロレンズＬとカラーフィルタＦとフォトダイオードＰＤとが配設された構成となっている。ここに、マイクロレンズＬは、光を集めることにより画像用画素に到達する光量を増加させ、画像用画素の開口率を実質的に大きくするものである。また、カラーフィルタＦは、例えば原色ベイヤ配列のカラーフィルタの場合には、Ｒフィルタ、Ｇフィルタ、またはＢフィルタの何れかが、その画素位置に応じて配設されている。
【００４８】
ここで、図３に示す２ＰＤ画素構造の場合には、１つのマイクロレンズＬの結像範囲に２つのフォトダイオードＰＤが配設されている。２つのフォトダイオードＰＤは、水平方向の位相差を検出するためのものである場合には左右に２分割されており、垂直方向の位相差を検出するためのものである場合には上下に２分割されている。これにより２つの焦点検出用画素ａ，ｂが構成されている。
【００４９】
一方、図３に示す４ＰＤ画素構造の場合には、１つのマイクロレンズＬの結像範囲に４つのフォトダイオードＰＤが配設されている。４つのフォトダイオードＰＤは、水平方向および垂直方向の位相差を検出することができるように、上下左右に４分割されている（すなわち、４つのフォトダイオードＰＤが、左上、左下、右上、右下の位置にそれぞれ配置される）。これにより４つの焦点検出用画素ａ，ｂ，ｃ，ｄが構成されている。
【００５０】
また、以下では、画素部２２の全画素が４ＰＤ画素構造である場合を例に挙げて説明を行うこととする（ただし、画素部２２の一部の画素が、４ＰＤ画素構造、または２ＰＤ画素構造となることを妨げるものではない）。ここに、画素部２２の全画素が４ＰＤ画素構造である場合には、各フォトダイオードＰＤから出力される画素信号は焦点検出用画素信号である。
【００５１】
さらに、フォトダイオードＰＤの出力を例えば後述する図４の回路構成によって垂直２画素加算する場合、つまり、図３における（ａ＋ｂ）と（ｃ＋ｄ）とを算出する場合には、水平方向の位相差を検出（縦線検知）するための焦点検出用画素信号となる。
【００５２】
そして、フォトダイオードＰＤの出力を同様に水平２画素加算する場合、つまり、図３における（ａ＋ｃ）と（ｂ＋ｄ）とを算出する場合には、垂直方向の位相差を検出（横線検知）するための焦点検出用画素信号となる。
【００５３】
図３に示す４ＰＤ画素構造の場合には、縦線検知用の焦点検出用画素信号と、横線検知用の焦点検出用画素信号と、の内の、一方が第１の瞳分割方向における一対の焦点検出用画素信号、他方が第２の瞳分割方向における一対の焦点検出用画素信号となる。
【００５４】
加えて、フォトダイオードＰＤの出力を同様に４画素加算する場合、つまり、図３における（ａ＋ｂ＋ｃ＋ｄ）を算出する場合には、画像用画素信号となる。
【００５５】
垂直走査部２１は、画素部２２の画素の水平方向の並び（行）を選択することを順次行うことで、走査を垂直方向に行う回路である。この垂直走査部２１が、特定の行を選択して、選択された行にある各画素のリセットや転送を行うことで、画素の電荷蓄積時間（露光時間）が制御されるようになっている。垂直走査部２１および素子制御部３０は、画素部２２から、カラー画像を構成可能な第１フレームと、位相差情報を含む第２フレームと、を読み出す読出部として機能するようになっている。
【００５６】
アナログ処理部２３は、画素部２２から読み出されたアナログの画素信号をアナログ信号処理する回路である。このアナログ処理部２３は、例えば、画素信号を増幅するプリアンプ、黒レベルを調整するＯＢクランプ回路、画素信号からリセットノイズを低減する相関二重サンプリング（ＣＤＳ）回路などを含んでいる。また、アナログ処理部２３は、複数の同一色画素のミックス処理を行うミックス処理部としても機能するようになっている。すなわち、アナログ処理部２３は、複数の画素信号から１つの画素信号を生成するミックス処理を行うものであって、第１フレームに第１ミックス処理を行い、第２フレームに第２ミックス処理を行うミックス処理部となっている（ただし、第１フレームと第２フレームとの一方にミックス処理を行い、他方にはミックス処理を行わない場合があっても構わない）。
【００５７】
アナログデジタル変換処理部（ＡＤＣ処理部）２４は、垂直走査部２１および素子制御部３０により画素部２２から読み出され、アナログ処理部２３から出力されたアナログ信号（アナログの画素信号）をデジタル信号（デジタルの画素信号）に変換するものであり、デジタル処理部２７よりも前段側に設けられている。このＡＤＣ処理部２４は、例えば、カラムＡＤＣに代表されるような、画素部２２から読み出された画素信号を列毎のアナログ・デジタル・コンバータ（ＡＤＣ）でＡＤ変換する構成が採用されている。
【００５８】
メモリ部２５は、ＡＤＣ処理部２４で変換された画素信号を一時的に保持する揮発性メモリ回路等で構成されている。
【００５９】
水平走査部２６は、メモリ部２５から、画素信号（画像用画素信号と焦点検出用画素信号）を列順に読み出す。
【００６０】
デジタル処理部２７は、水平走査部２６により読み出された画素信号に対してデジタル演算処理を行う。このデジタル処理部２７は、読出部により画素部２２から読み出された、カラー画像を構成可能な第１フレームと、位相差情報を含む第２フレームと、の内の、第２フレームの色情報を減らすことでデータ量を小さくする処理を行う信号処理部である。なお、デジタル処理部２７に代えて、例えばアナログ処理部２３により第２フレームの色情報を減らす処理を行っても構わないが、アナログ処理では回路構成が複雑になるために、ここではデジタル処理を採用している。
【００６１】
出力部２８は、デジタル処理部２７から出力された画素信号を配列して画素信号列を生成し、シリアル信号や差動信号などの出力信号形式に変換して、撮像素子４の出力端子から出力する。この出力部２８は、撮像装置１内の上述した入力部５と、上述したように、複数レーンの伝送経路１４を介して接続されている。
【００６２】
素子入力部２９は、システム制御部１３から、撮像素子４の制御に係る同期信号、基準クロック、動作設定の情報（例えば、動作モードの情報）などを受信する。
【００６３】
素子制御部３０は、素子入力部２９を介して受信した同期信号および基準クロックに合わせて、動作設定の情報に基づき撮像素子４内の各ブロックを制御するものである。出力部２８が伝送経路１４のどのレーンを介してデータを出力するかは、システム制御部１３と連携する素子制御部３０により制御される。また、伝送経路１４のどのレーンの動作を停止するかは、システム制御部１３により制御される。
【００６４】
次に、図４は、４ＰＤ画素構造の画素の構成例を示す回路図である。
【００６５】
４ＰＤ画素構造の画素においては、１つのマイクロレンズＬに対応する位置に４つのフォトダイオードＰＤ１〜ＰＤ４が配置され、具体的には、マイクロレンズＬの光学像が結像される範囲内の左上、左下、右上、右下位置に４つのフォトダイオードＰＤ１〜ＰＤ４がそれぞれ配置されている。
【００６６】
４つのフォトダイオードＰＤ１〜ＰＤ４には、スイッチとして機能するトランジスタＴｒ１〜Ｔｒ４がそれぞれ接続されており、垂直走査部２１から制御信号ＴＸ１〜ＴＸ４をそれぞれ印加することにより、トランジスタＴｒ１〜Ｔｒ４のオン／オフがそれぞれ制御されるようになっている。
【００６７】
各トランジスタＴｒ１〜Ｔｒ４は、フローティングディフュージョンＦＤに接続されていて、オンされたトランジスタＴｒに対応するフォトダイオードＰＤの信号電荷が、フローティングディフュージョンＦＤに転送されるようになっている。
【００６８】
また、フローティングディフュージョンＦＤおよびトランジスタＴｒ１〜Ｔｒ４には、スイッチとして機能するトランジスタＴｒ５の一端が接続されており、トランジスタＴｒ５の他端は電源電圧ＶＤＤに接続されている。そして、トランジスタＴｒ５にリセット信号ＲＥＳを印加することにより、電源電圧ＶＤＤ側とフローティングディフュージョンＦＤ側とのオン／オフが制御されるようになっている。このような構成により、トランジスタＴｒ５をオンにすることで、フローティングディフュージョンＦＤのリセットが行われる。また、トランジスタＴｒ１〜Ｔｒ４をオンにした状態で、さらにトランジスタＴｒ５をオンにすることで、フォトダイオードＰＤ１〜ＰＤ４のリセットが行われる。
【００６９】
フローティングディフュージョンＦＤは、スイッチとして機能するトランジスタＴｒ６と、電源電圧ＶＤＤに接続され増幅部として機能するトランジスタＴｒ７と、を介して出力端子ＯＵＴに接続されている。
【００７０】
トランジスタＴｒ６に選択信号ＳＥＬを印加することで、フローティングディフュージョンＦＤの電圧値がトランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出されるようになっている。
【００７１】
このような４ＰＤ画素構造の画素回路において、トランジスタＴｒ１〜Ｔｒ４の何れか１つのみをオンにすれば、対応するフォトダイオードＰＤ１〜ＰＤ４の何れか１つの電荷がフローティングディフュージョンＦＤに転送され、出力端子ＯＵＴから読み出すことができる。
【００７２】
また、例えばトランジスタＴｒ１，Ｔｒ２をオンにし、トランジスタＴｒ３，Ｔｒ４をオフにすれば、フォトダイオードＰＤ１，ＰＤ２の電荷がフローティングディフュージョンＦＤに転送されて加算され、出力端子ＯＵＴから読み出すことができる。
【００７３】
同様に、例えばトランジスタＴｒ３，Ｔｒ４をオンにし、トランジスタＴｒ１，Ｔｒ２をオフにすれば、フォトダイオードＰＤ３，ＰＤ４の電荷がフローティングディフュージョンＦＤに転送されて加算され、出力端子ＯＵＴから読み出すことができる。
【００７４】
こうして、垂直２画素加算、つまり、図３における（ａ＋ｂ）と（ｃ＋ｄ）とを算出することで、水平方向の位相差を検出（縦線検知）するための焦点検出用画素信号を得ることができる。
【００７５】
さらに、例えばトランジスタＴｒ１，Ｔｒ３をオンにし、トランジスタＴｒ２，Ｔｒ４をオフにすれば、フォトダイオードＰＤ１，ＰＤ３の電荷がフローティングディフュージョンＦＤに転送されて加算され、出力端子ＯＵＴから読み出すことができる。
【００７６】
同様に、例えばトランジスタＴｒ２，Ｔｒ４をオンにし、トランジスタＴｒ１，Ｔｒ３をオフにすれば、フォトダイオードＰＤ２，ＰＤ４の電荷がフローティングディフュージョンＦＤに転送されて加算され、出力端子ＯＵＴから読み出すことができる。
【００７７】
こうして、水平２画素加算、つまり、図３における（ａ＋ｃ）と（ｂ＋ｄ）とを算出することで、垂直方向の位相差を検出（横線検知）するための焦点検出用画素信号を得ることができる。
【００７８】
加えて、トランジスタＴｒ１〜Ｔｒ４を全てオンにすることで、フォトダイオードＰＤ１〜ＰＤ４の電荷がフローティングディフュージョンＦＤに転送されて加算され、出力端子ＯＵＴから読み出すことができる。
【００７９】
こうして、水平２画素×垂直２画素加算、つまり、図３における（ａ＋ｂ＋ｃ＋ｄ）を算出することで、画像用画素信号を得ることができる。
【００８０】
次に、図５は第１フレームに対して行われる第１ミックス処理の例を示す図、図６は第２フレームに対して行われる第２ミックス処理の例を示す図である。
【００８１】
第１フレームは、上述したように、カラー画像を構成可能なフレームであり、第１フレームを構成する２つのサブフレーム（あるいはフィールドと称しても構わない）の、一方において例えば（ａ＋ｂ＋ｃ＋ｄ）の画像用画素信号が読みされ、他方において例えば（ａ＋ｃ）の焦点検出用画素信号Ｔが読み出されるようになっている。
【００８２】
このような方式で読み出した場合に、撮像装置１の焦点検出用信号処理部８において、（ａ＋ｂ＋ｃ＋ｄ）−（ａ＋ｃ）の演算を行うことで、（ａ＋ｃ）の焦点検出用画素信号Ｔと一対となる（ｂ＋ｄ）の焦点検出用画素信号Ｂを得ることができる。この読出方式は減算読出方式と呼ばれる。
【００８３】
なお、横線検知を行うに際して、（ａ＋ｂ＋ｃ＋ｄ）と（ｂ＋ｄ）とを読み出して、（ａ＋ｃ）を演算により求めても構わない。
【００８４】
また、減算読出方式に代えて、（ａ＋ｃ）の焦点検出用画素信号Ｔと、（ｂ＋ｄ）の焦点検出用画素信号Ｂと、を読み出す単純読出方式を採用しても構わない。この場合には、撮像装置１の画像信号処理部９において、（ａ＋ｃ）＋（ｂ＋ｄ）の演算を行うことで、（ａ＋ｂ＋ｃ＋ｄ）の画像用画素信号を得ることができる。
【００８５】
次に、第２フレームは、上述したように、位相差情報を含むフレームであり、第１フレームで横線検知用の焦点検出用画素信号を取得しているために、ここでは縦線検知用の焦点検出画素信号を取得するようになっている（ただし、第１フレームで縦線検知用の焦点検出用画素信号を取得し、第２フレームで横線検知用の焦点検出用画素信号を取得しても構わない）（さらにあるいは、縦線検知用の焦点検出用画素信号と、横線検知用の焦点検出用画素信号と、の何れか一方のみを、第１フレームおよび第２フレームで取得しても構わない）。
【００８６】
具体的に、第２フレームを構成するサブフレームの一方において例えば（ａ＋ｂ）の焦点検出用画素信号Ｌが読みされ、他方において例えば（ｃ＋ｄ）の焦点検出用画素信号Ｒが読み出されるようになっている。
【００８７】
以下では、一例としてライブビューを想定し、第１フレームと第２フレームとが交互に読み出されるものとする（ただし、これに限定されるものではない）。
【００８８】
画素部２２から読み出された第１フレームに対して、例えば図５に示すような、水平方向３画素×垂直方向３画素のＨ３×Ｖ３ミックス処理が行われるようになっている。ここに、図５に示す画素配列は、画素部２２から読み出されたカラー画素信号の内の、何れかの色の画素信号のみを再配置したときの配列を示している（あるいは、任意の色について、図５に示す画素配列が行われるといってもよい）。
【００８９】
従って、第１フレームを構成する一対のサブフレームの一方で読み出された焦点検出用画素信号Ｔが、各色毎に、Ｈ３×Ｖ３ミックス処理される。さらに、第１フレームを構成する一対のサブフレームの他方で読み出された画像用画素信号が、各色毎に、Ｈ３×Ｖ３ミックス処理される。このＨ３×Ｖ３ミックス処理は、例えば、ライブビュー用の表示画像を想定した（そして、画素数を減らすことで消費電力の低減も図ることを想定した）処理である。
【００９０】
これにより、第１フレームについては画素数が１／９に減少する。
【００９１】
また、画素部２２から読み出された第２フレームに対して、例えば図６に示すような、垂直方向３画素のＨ１×Ｖ３ミックス処理が行われるようになっている。図６に示す画素配列が、画素部２２から読み出されたカラー画素信号の内の、何れかの色の画素信号のみを再配置したときの配列を示している（あるいは、任意の色について、図６に示す画素配列が行われる）のは、上述した図５と同様である。
【００９２】
従って、第２フレームを構成する一対のサブフレームの一方で読み出された焦点検出用画素信号Ｒが、各色毎に、Ｈ１×Ｖ３ミックス処理される。さらに、第１フレームを構成する一対のサブフレームの他方で読み出された焦点検出用画素信号Ｌが、各色毎に、Ｈ１×Ｖ３ミックス処理される。このＨ１×Ｖ３ミックス処理は、水平方向のミックスを行っておらず（ただし、水平方向のミックス数を少なくする処理でも構わない）、水平方向の位相差を高精度に検出することを想定した処理である。
【００９３】
これにより、第２フレームについては画素数が１／３に減少する。
【００９４】
図７は、画素部２２から読み出されミックス処理された後の第２フレームの画素配列を示す図である。なお、図７の画素配列の上側および左側には、ミックス処理後の行番号および列番号（何れも、画像用画素に対応する番号）を示している。また、配列されている画素内において、上段は画素の色（Ｒ（赤），ＧＲ（赤と同一行の緑），ＧＢ（青と同一行の緑），Ｂ（青））を示し、下段は焦点検出用画素信号の種類（Ｒ（右），Ｌ（左））を示している。
【００９５】
ミックス処理は同一色画素同士で行われるために、ミックス処理後の画素配列もベイヤー配列のままである。
【００９６】
次に、図８〜図１０を参照して、デジタル処理部２７により第２フレームに対して行われる処理について説明する。図８はデジタル処理部２７により第２フレームに対して行われる処理を示すフローチャート、図９はデジタル処理部２７に入力されるデジタル処理前の第２フレームのデータの例を示す図、図１０はデジタル処理部２７から出力されるデジタル処理後の第２フレームのデータの例を示す図である。
【００９７】
図８に示す処理を開始すると、デジタル処理部２７は、水平走査部２６から図９に示すような第２フレームのデータを受信する（ステップＳ１）。
【００９８】
すると、デジタル処理部２７は、カラーの画像用画素から読み出される複数の色の画素信号の内の１つ以上の色の画素信号、すなわち、入力された各色の画素信号の内の特定色の画素信号を削除することで、第２フレームの色情報を減らしてデータ量を小さくする。そして、デジタル処理部２７は、削除されなかった画素信号を、例えばデジタル処理部２７内のメモリに保存する（ステップＳ２）。
【００９９】
具体的に、複数の色の画素信号は赤（Ｒ）画素信号、緑（Ｇ）画素信号、および青（Ｂ）画素信号であり、デジタル処理部２７は、Ｒ画素信号およびＢ画素信号を削除して、Ｇ画素信号（より詳しくは、ＧＲ色の右（Ｒ）焦点検出用画素信号、ＧＲ色の左（Ｌ）焦点検出用画素信号、ＧＢ色の右（Ｒ）焦点検出用画素信号、およびＧＢ色の左（Ｌ）焦点検出用画素信号）のみで第２フレームを構成することで、第２フレームの色情報を減らしてデータ量を小さくするようになっている。
【０１００】
なお、Ｇ画素信号は輝度相当信号であり、一般的な被写体の場合にはＲ，Ｇ，Ｂ各色の画素信号の内で、Ｇ画素信号が最も効率的に位相差情報を担っていると考えられるために、ここではＲ画素信号およびＢ画素信号を削除してＧ画素信号を残したが、これに限定されるものではない。例えば、生体内等ではＲ画素信号が効率的に位相差情報を担っている場合があり、さらにＢ画素信号が効率的に位相差情報を担っている被写体も考えられる。従って、削除する色信号はカラー画像を構成するどの信号でもよいし、被写体に応じて適応的に設定するようにしても構わない。
【０１０１】
その後、デジタル処理部２７は、メモリに保存した画素信号を図１０に示すように出力部２８へ送信し（ステップＳ３）、図示しないメイン処理にリターンする。
【０１０２】
図９と図１０を比較すれば分かるように、デジタル処理部２７から出力されるデータの量は、デジタル処理部２７に入力されるデータの量の半分となっている。
【０１０３】
次に、図１１および図１２を参照して、撮像素子４の出力部２８と、撮像装置１内の入力部５と、を接続する複数レーンの伝送経路１４の動作について説明する。
【０１０４】
まず、図１１は、デジタル処理部２７により処理を行うことなく出力部２８から画素データを出力するときの各レーンの使用状態を示す図である。
【０１０５】
デジタル処理部２７により処理を行わない場合には、図９に示したような、デジタル処理部２７に入力されるデータがそのまま出力部２８から出力される。
【０１０６】
次に、図１２は、デジタル処理部２７により処理を行って出力部２８から画素データを出力するときの各レーンの使用状態を示す図である。
【０１０７】
ここでは、撮像素子４が、アスペクト比４：３の１２メガピクセル（Ｍｐｉｘ）の画素部２２を備えている場合を例に挙げて説明する。
【０１０８】
また、上述したように、第１フレーム（カラー画像を構成可能で、例えば、垂直方向の位相差情報（ＴＢ）を取得可能なフレーム）は例えばＨ３×Ｖ３ミックス処理され、第２フレーム（例えば、水平方向の位相差情報（ＲＬ）を取得可能なフレーム）は例えばＨ１×Ｖ３ミックス処理されていて、第１フレームと第２フレームとが交互に取得される場合を想定する。
【０１０９】
このとき、第１フレームの画像のピクセル数は、
（１２メガピクセル）／９×２＝２．６７メガピクセル
になり、第２フレームの画像のピクセル数は、
（１２メガピクセル）／３×２＝８メガピクセル
になる。
【０１１０】
そして、第１フレームと第２フレームの何れも６０ｆｐｓのフレームレートを達成するためには、第１フレームは、
（２．６７メガピクセル／フレーム）×（６０ｆｐｓ）＝１６０メガピクセル／秒
のデータ転送速度が必要であり、第２フレームは、
（８メガピクセル）×（６０ｆｐｓ）＝４８０メガピクセル／秒
のデータ転送速度が必要である。
【０１１１】
一方、撮像素子４の出力インタフェース（出力ＩＦ）である出力部２８が、例えば１レーンあたり４０メガピクセル／秒（Ｍｐｉｘ／ｓｅｃ）で出力できるものである（図１１等参照）とすると、第１フレームは４レーンを使うことになり、第２フレームは１２レーンを使うことになる。従って、消費電力を低減する観点からは、第１フレームに関して、１２レーンの内の、使用しない８レーンを停止させることが好ましい。
【０１１２】
しかしながら、撮像素子４の出力部２８では、フレーム毎のモード切替を行うのが困難である。上述した例では、第１フレーム６０ｆｐｓ、かつ第２フレーム６０ｆｐｓであるために、１／１２０（秒）毎にフレームのモード切替を行う必要があるが、撮像素子４の出力ＩＦである出力部２８の回路規模の観点等から、このような高速切り替えが困難となり、第１フレームも第２フレームのレーン数に合わせて（つまり、少ない方のレーン数を、多い方のレーン数に合わせて）１２レーンで動作させることになる（このときには、第１フレームにおいて使用しない８レーンは、ダミーデータを出力することになる）。
【０１１３】
すなわち、出力部２８は、第１フレームを出力するのに必要な第１レーン数と、第２フレームを出力するのに必要な第２レーン数と、の内の小さくない方のレーン数で、第１フレームと第２フレームとの両方を出力する。
【０１１４】
このような状態を示すのが図１１であり、第１フレーム（ＬＶフレーム＋位相差情報（ＴＢ））については、レーン０〜３は画素データを出力するが、レーン４〜１１はダミーデータを出力している。また、第２フレーム（位相差情報（ＲＬ））については、レーン０〜１１で画素データを出力している。
【０１１５】
こうして、第１フレームと第２フレームとを切り替えて出力する際に、何れか多い方の使用レーン数に合わせて、使用レーン数が少ない方もダミーデータを出力する動作が必要となり、出力ＩＦである出力部２８の消費電力が大きいだけでなく、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）（あるいは、ＤＳＰ（Digital Signal Processor：デジタル・シグナル・プロセッサ））などの受け側（例えば、システム制御部１３、画像信号処理部９、焦点検出用信号処理部８等を含む）である入力部５においても常に１２レーンＲＸ（Receiver：レシーバ）動作となるために消費電力が大きくなる。
【０１１６】
そこで、本実施形態においては図８〜図１０を参照して説明したように、デジタル処理部２７により、Ｒ画素信号とＢ画素信号とを削除して、Ｇ画素信号のみを出力するように処理することで、データ量を半分に削減している。これにより、第２フレームに求められるデータ転送速度は、
（４８０メガピクセル／秒）／２＝２４０メガピクセル／秒
となり、第２フレームに対して６レーンを使えば足りる。従って、第１フレームも、４レーンを使い、２レーンでダミーデータを送ればよい。
【０１１７】
こうして、出力部２８は、第１ミックス処理を行った後の第１フレームを出力するのに必要な第１レーン数と、第２ミックス処理およびデジタル処理部２７の処理を行った後の第２フレームを出力するのに必要な第２レーン数と、の内の小さくない方のレーン数で、第１フレームと第２フレームとの両方を出力するようになっている。
【０１１８】
具体的に、図１２に示すように、第１フレーム（ＬＶフレーム＋位相差情報（ＴＢ））については、レーン０〜３で画素データを出力し、レーン４〜５でダミーデータを出力する。また、第２フレーム（位相差情報（ＲＬ））については、レーン０〜５で画素データを出力している。そして、第１フレームと第２フレームの何れも、レーン６〜１１（データの伝送に用いられないレーン）は動作を停止させることができる。このときには、停止レーンに対応する、出力部２８の動作、および入力部５の動作も停止される。
【０１１９】
このような実施形態１によれば、位相差情報を含む第２フレームの色情報を減らすことでデータ量を小さくし、カラー画像を構成可能な第１フレームを出力するのに必要な第１レーン数と、色情報を減らした第２フレームを出力するのに必要な第２レーン数と、の内の小さくない方のレーン数で、第１フレームと第２フレームとの両方を出力するようにしたために、第１フレームと第２フレームとに共通して動作を停止させることができるレーン数を増加させることができ、消費電力の低減を図ることができる。
【０１２０】
これにより、画像用画素を構成可能で、像面位相差による焦点検出も可能な、低消費電力の撮像素子、撮像装置を構成することができる。
【０１２１】
また、第１フレームに第１ミックス処理を行い、第２フレームに第２ミックス処理を行って、ミックス処理後の第１レーン数と第２レーン数との内の小さくない方のレーン数で、第１フレームと第２フレームとの両方を出力するようにしたために、さらに撮像素子４から出力される画素数を低減して、消費電力を有効に削減することができる。
【０１２２】
そして、カラーの画像用画素から読み出される複数の色の画素信号の内の１つ以上の色の画素信号を削除することで、第２フレームの色情報を減らしてデータ量を小さくするようにした場合には、複雑な信号演算を要することなく、簡単な処理でデータ量を削減しながら、必要な位相差情報を適切に取得することが可能となる。
【０１２３】
このとき、Ｒ画素信号およびＢ画素信号を削除して、Ｇ画素信号のみで第２フレームを構成することで、輝度相当信号であるＧ画素信号から位相差情報を取得することができ、一般的な被写体に対して広く好適となる。
【０１２４】
また、第２フレームの色情報を減らすことでデータ量を小さくする処理を、デジタル処理部２７のデジタル処理により行うようにしたために、アナログ処理として行う場合よりも回路構成を簡単にすることができる。
【０１２５】
加えて、撮像素子４と、撮像素子４から出力されたデータを伝送する複数レーンの伝送経路１４と、を備える撮像装置１において、伝送経路１４自体、さらに伝送経路１４を介してデータを受信する入力部５などの消費電力も、適切に低減することが可能となる。
［実施形態２］
【０１２６】
図１３から図１５は本発明の実施形態２を示したものであり、図１３はデジタル処理部２７により第２フレームに対して行われる処理を示すフローチャート、図１４はデジタル処理部２７から出力されるデジタル処理後の第２フレームのデータの例を示す図、図１５はデジタル処理部２７により処理を行って出力部２８から画素データを出力するときの各レーンの使用状態を示す図である。
【０１２７】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１２８】
上述した実施形態１では、Ｒ画素信号およびＢ画素信号を削除して輝度相当信号であるＧ画素信号を残す処理をデジタル処理部２７が行ったが、本実施形態は、Ｒ画素信号、Ｂ画素信号、およびＧ画素信号から加算信号を算出して、算出した加算信号を第２フレームの信号として出力するようにしたものとなっている。
【０１２９】
まず、撮像装置１や撮像素子４等の構成は、上述した実施形態１と基本的に同様であるが、デジタル処理部２７により行われる処理が異なっている。
【０１３０】
すなわち、図１３に示す処理を開始して、ステップＳ１により第２フレームのデータを受信すると、デジタル処理部２７は、カラーの画像用画素から読み出される複数の色の画素信号を加算して加算信号を生成し、生成した加算信号のみで第２フレームを構成することで、第２フレームの色情報を減らしてデータ量を小さくする処理を行う。ここに、複数の色の画素信号を加算して加算信号を算出する際に、単純加算を行っても（あるいは、後述する重みｈ，ｉ，ｊ，ｋを全て等しく１／４にしても）構わないが、本実施形態においては、各色毎の重みを付けることで（つまり、重み付け加算を行うことで）、加算信号を例えば輝度信号として生成するようにしている（ステップＳ１２）。
【０１３１】
具体的に、図９に示したようなデジタル処理部２７への入力データに基づいて、デジタル処理部２７は、左（Ｌ）焦点検出用画素信号について次のような演算を行うことで（そして、右（Ｒ）焦点検出用画素信号についても同様の演算を行うことで）、図１４に示すような出力データを算出するようになっている。
Ｙ（０，０）Ｌ＝｛ｈ×Ｒ（０，０）Ｌ＋ｉ×ＧＲ（１，０）Ｌ
＋ｊ×ＧＢ（０，１）Ｌ＋ｋ×Ｂ（１，１）Ｌ｝
Ｙ（２，０）Ｌ＝｛ｈ×Ｒ（２，０）Ｌ＋ｉ×ＧＲ（３，０）Ｌ
＋ｊ×ＧＢ（２，１）Ｌ＋ｋ×Ｂ（３，１）Ｌ｝
・・・
Ｙ（２ｎ，０）Ｌ＝｛ｈ×Ｒ（２ｎ，０）Ｌ＋ｉ×ＧＲ（２ｎ＋１，０）Ｌ
＋ｊ×ＧＢ（２ｎ，１）Ｌ＋ｋ×Ｂ（２ｎ＋１，１）Ｌ｝
・・・
Ｙ（２ｎ，２ｍ）Ｌ＝｛ｈ×Ｒ（２ｎ，２ｍ）Ｌ
＋ｉ×ＧＲ（２ｎ＋１，２ｍ）Ｌ
＋ｊ×ＧＢ（２ｎ，２ｍ＋１）Ｌ
＋ｋ×Ｂ（２ｎ＋１，２ｍ＋１）Ｌ｝
【０１３２】
ここに、（ｘ，ｙ）は図７に示すミックス処理後の座標（行番号，列番号）を表し、座標（ｘ，ｙ）の左側は色信号の種類Ｒ（赤），ＧＲ（赤と同一行の緑），ＧＢ（青と同一行の緑），Ｂ（青）を示し、座標（ｘ，ｙ）の右側は焦点検出用画素の右（Ｒ）左（Ｌ）を示している。また、ｎ＝０，１，２，…、ｍ＝０，１，２，…、重みｈ，ｉ，ｊ，ｋはｈ＋ｉ＋ｊ＋ｋ＝１の正規化条件を満たす０以上１以下の実数（好ましくは、０より大きく１より小さい実数）である。
【０１３３】
こうして、デジタル処理部２７は、２×２画素でなるベイヤー配列の基本配列（ただし、デジタル処理部２７よりも前段でミックス処理を行う場合には、ミックス処理後の基本配列）を単位（加算信号を生成する元となる画素信号の組）として、加算信号を生成するようになっている。ここで生成した加算信号は、上述した実施形態１と同様に、デジタル処理部２７内のメモリに一旦保存しても構わない。
【０１３４】
その後、デジタル処理部２７は、ステップＳ３の処理を行って、加算信号を図１４に示すように出力部２８へ送信し、図示しないメイン処理にリターンする。
【０１３５】
図９と図１４を比較すれば分かるように、デジタル処理部２７から出力されるデータの量は、デジタル処理部２７に入力されるデータの量の１／４となっている。
【０１３６】
この場合には、第２フレームに求められるデータ転送速度は、
（４８０メガピクセル／秒）／４＝１２０メガピクセル／秒
となり、第２フレームに対して３レーンを使えば足りる。一方、第１フレームは、上述したように、４レーンを使う必要がある。そこで、第２フレームにおいては、１つのレーンでダミーデータを送ることになる。
【０１３７】
この場合にも、出力部２８が、第１ミックス処理を行った後の第１フレームを出力するのに必要な第１レーン数と、第２ミックス処理およびデジタル処理部２７の処理を行った後の第２フレームを出力するのに必要な第２レーン数と、の内の小さくない方のレーン数で、第１フレームと第２フレームとの両方を出力するのは同様である。
【０１３８】
具体的に、図１５に示すように、第１フレーム（ＬＶフレーム＋位相差情報（ＴＢ））については、レーン０〜３で画素データを出力する。また、第２フレーム（位相差情報（ＲＬ））については、レーン０〜２で画素データを出力し、レーン３でダミーデータを出力する。そして、第１フレームと第２フレームの何れも、レーン４〜１１（データの伝送に用いられないレーン）は動作を停止させることができる。
【０１３９】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、複数の色の画素信号を加算して生成した加算信号のみで第２フレームを構成することで、第２フレームの色情報を減らしてデータ量を小さくするようにしたために、動作を停止させるレーン数を増やすことができ、より一層の低消費電力化を図ることができる。
【０１４０】
また、各色毎の重みを付けて、加算信号を輝度信号として生成することで、一般的な被写体に対して、より適切に位相差情報を担う焦点検出用画素信号を取得することができ、より精度の高い像面位相差検出を行うことが可能となる。
【０１４１】
そして、２×２画素でなるベイヤー配列の基本配列を単位として加算信号を生成する場合には、演算処理が簡便となる。
【０１４２】
また、加算信号を単純加算、または各色の画素信号に対する重みｈ，ｉ，ｊ，ｋを全て等しく１／４として行う場合には、より一層、演算処理の負荷を軽減することが可能となる。
［実施形態３］
【０１４３】
図１６から図１８は本発明の実施形態３を示したものであり、図１６はデジタル処理部２７により第２フレームに対して行われる処理を示すフローチャート、図１７はデジタル処理部２７から出力されるデジタル処理後の第２フレームのデータの例を示す図、図１８はデジタル処理部２７により処理を行って出力部２８から画素データを出力するときの各レーンの使用状態を示す図である。
【０１４４】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１４５】
上述した実施形態２では、ベイヤー配列の基本配列を単位として加算信号を生成したが、本実施形態は、基本配列と、基本配列を行方向と列方向との少なくとも一方に１画像用画素分移動させた移動基本配列と、のそれぞれを単位として加算信号を生成することで、より精密に位相差情報を検出することができるようにしたものとなっている。
【０１４６】
そして、撮像装置１や撮像素子４等の構成は、上述した実施形態１，２と基本的に同様であるが、デジタル処理部２７により行われる処理が異なっている。
【０１４７】
すなわち、図１６に示す処理を開始して、ステップＳ１により第２フレームのデータを受信すると、デジタル処理部２７は、カラーの画像用画素から読み出される複数の色の画素信号を加算して加算信号を生成し、生成した加算信号のみで第２フレームを構成することで、第２フレームの色情報を減らしてデータ量を小さくする処理を行う。ただし、加算信号を生成する単位は、例えばベイヤー配列の基本配列と、基本配列を行方向と列方向との少なくとも一方に１画像用画素分移動させた移動基本配列と、のそれぞれである。
【０１４８】
また、複数の色の画素信号を加算して加算信号を算出する際に、単純加算を行っても（あるいは、後述する重みｈ，ｉ，ｊ，ｋを全て等しく１／４にしても）構わないが、本実施形態においても上述した実施形態２と同様に、各色毎の重みを付けることで（つまり、重み付け加算を行うことで）、加算信号を例えば輝度信号として生成するようにしている。
【０１４９】
従って、本実施形態では、デジタル処理部２７は、ベイヤー配列の基本配列を構成する色信号Ｒ，Ｇｒ，Ｇｂ，Ｂの、移動平均処理を伴う重み付け加算平均値を算出する処理を行う（ステップＳ２２）。
【０１５０】
具体的に、図９に示したようなデジタル処理部２７への入力データに基づいて、デジタル処理部２７は、左（Ｌ）焦点検出用画素信号について次のような演算を行うことで（そして、右（Ｒ）焦点検出用画素信号についても同様の演算を行うことで）、図１７に示すような出力データを算出するようになっている。
Ｙ（０，０）Ｌ＝｛ｈ×Ｒ（０，０）Ｌ＋ｉ×ＧＲ（１，０）Ｌ
＋ｊ×ＧＢ（０，１）Ｌ＋ｋ×Ｂ（１，１）Ｌ｝
Ｙ（１，０）Ｌ＝｛ｉ×ＧＲ（１，０）Ｌ＋ｈ×Ｒ（２，０）Ｌ
＋ｋ×Ｂ（１，１）Ｌ＋ｊ×ＧＢ（２，１）Ｌ｝
Ｙ（２，０）Ｌ＝｛ｈ×Ｒ（２，０）Ｌ＋ｉ×ＧＲ（３，０）Ｌ
＋ｊ×ＧＢ（２，１）Ｌ＋ｋ×Ｂ（３，１）Ｌ｝
・・・
Ｙ（２ｎ，０）Ｌ＝｛ｈ×Ｒ（２ｎ，０）Ｌ＋ｉ×ＧＲ（２ｎ＋１，０）Ｌ
＋ｊ×ＧＢ（２ｎ，１）Ｌ＋ｋ×Ｂ（２ｎ＋１，１）Ｌ｝
Ｙ（２ｎ＋１，０）Ｌ＝｛ｉ×ＧＲ（２ｎ＋１，０）Ｌ＋ｈ×Ｒ（２ｎ＋２，０）Ｌ
＋ｋ×Ｂ（２ｎ＋１，１）Ｌ＋ｊ×ＧＢ（２ｎ＋２，１）Ｌ｝
・・・
Ｙ（２ｎ，２ｍ）Ｌ＝｛ｈ×Ｒ（２ｎ，２ｍ）Ｌ
＋ｉ×ＧＲ（２ｎ＋１，２ｍ）Ｌ
＋ｊ×ＧＢ（２ｎ，２ｍ＋１）Ｌ
＋ｋ×Ｂ（２ｎ＋１，２ｍ＋１）Ｌ｝
Ｙ（２ｎ＋１，２ｍ）Ｌ＝｛ｉ×ＧＲ（２ｎ＋１，２ｍ）Ｌ
＋ｈ×Ｒ（２ｎ＋２，２ｍ）Ｌ
＋ｋ×Ｂ（２ｎ＋１，２ｍ＋１）Ｌ
＋ｊ×ＧＢ（２ｎ＋２，２ｍ＋１）Ｌ｝
【０１５１】
ここに、（ｘ，ｙ）は図７に示すミックス処理後の座標（行番号，列番号）を表し、座標（ｘ，ｙ）の左側は色信号の種類Ｒ（赤），ＧＲ（赤と同一行の緑），ＧＢ（青と同一行の緑），Ｂ（青）を示し、座標（ｘ，ｙ）の右側は焦点検出用画素の右（Ｒ）左（Ｌ）を示している。また、ｎ＝０，１，２，…、ｍ＝０，１，２，…、重みｈ，ｉ，ｊ，ｋはｈ＋ｉ＋ｊ＋ｋ＝１の正規化条件を満たす０以上１以下の実数（好ましくは、０より大きく１より小さい実数）である。
【０１５２】
こうして、デジタル処理部２７は、２×２画素でなるベイヤー配列の基本配列（ただし、デジタル処理部２７よりも前段でミックス処理を行う場合には、ミックス処理後の基本配列）と、基本配列を行方向と列方向との少なくとも一方に１画像用画素分移動させた移動基本配列と、のそれぞれを単位として、加算信号を生成するようになっている。
【０１５３】
本実施形態に示す例では、第２フレームは水平方向の位相差情報Ｒ，Ｌを取得するものとなっているために、基本配列を行方向にのみ１画像用画素分移動させた移動基本配列を用いている（すなわち、基本配列と移動基本配列とは、水平方向にのみ１画像用画素分重複するが、垂直方向には重複していない）。ただし、第２フレームが垂直方向の位相差情報Ｔ，Ｂを取得するものである場合には、基本配列を列方向にのみ１画像用画素分移動させた移動基本配列を用いればよい（すなわち、基本配列と移動基本配列とは、垂直方向にのみ１画像用画素分重複するが、水平方向には重複しないようにすればよい）。
【０１５４】
そして、ここで生成した加算信号は、上述した実施形態１，２と同様に、デジタル処理部２７内のメモリに一旦保存しても構わない。
【０１５５】
その後、デジタル処理部２７は、ステップＳ３の処理を行って、加算信号を図１７に示すように出力部２８へ送信し、図示しないメイン処理にリターンする。
【０１５６】
図９と図１７を比較すれば分かるように、デジタル処理部２７から出力されるデータの量は、デジタル処理部２７に入力されるデータの量の１／２となっている。
【０１５７】
この場合には、第２フレームに求められるデータ転送速度は、
（４８０メガピクセル／秒）／２＝２４０メガピクセル／秒
となり、第２フレームに対して６レーンを使えば足りる。従って、第１フレームも、４レーンを使い、２レーンでダミーデータを送ればよい。
【０１５８】
この場合にも、出力部２８が、第１ミックス処理を行った後の第１フレームを出力するのに必要な第１レーン数と、第２ミックス処理およびデジタル処理部２７の処理を行った後の第２フレームを出力するのに必要な第２レーン数と、の内の小さくない方のレーン数で、第１フレームと第２フレームとの両方を出力するのは同様である。
【０１５９】
具体的に、図１８に示すように、第１フレーム（ＬＶフレーム＋位相差情報（ＴＢ））については、レーン０〜３で画素データを出力し、レーン４〜５でダミーデータを出力する。また、第２フレーム（位相差情報（ＲＬ））については、レーン０〜５で画素データを出力している。そして、第１フレームと第２フレームの何れも、レーン６〜１１（データの伝送に用いられないレーン）は動作を停止させることができる。
【０１６０】
このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、基本配列と、基本配列を行方向と列方向との少なくとも一方に１画像用画素分移動させた移動基本配列と、のそれぞれを単位として加算信号を生成するようにしたために、基本配列のみを単位として加算信号を生成する場合に比べて、より高精度な位相差情報を取得することが可能となる。
【０１６１】
なお、上述した各実施形態においては、第２フレームの色情報を減らすことでデータ量を小さくする処理を行う信号処理部の前段において（具体的にはアナログ処理部２３において）ミックス処理を行う例を説明したが、信号処理部の後段であって出力部の前段（信号処理部と出力部との間）においてミックス処理を行う場合であっても、出力部が、第１ミックス処理を行った後の第１フレームを出力するのに必要な第１レーン数と、第２ミックス処理および信号処理部の処理を行った後の第２フレームを出力するのに必要な第２レーン数と、の内の小さくない方のレーン数で、第１フレームと第２フレームとの両方を出力することで、上述と同様の効果を奏することができる。
【０１６２】
また、上述した各実施形態においては、ライブビューを想定したために、第１フレームおよび第２フレームの両方にミックス処理を行う例を説明したが、何れか一方のフレームのみにミックス処理を行う場合、あるいは何れにもフレームにミックス処理を行わない場合であっても、動作を停止させるレーン数を増やす上述した技術を適用することができる（すなわち、出力部２８が、第１フレームを出力するのに必要な第１レーン数と、信号処理部により処理された第２フレームを出力するのに必要な第２レーン数と、の内の小さくない方のレーン数で、第１フレームと第２フレームとの両方を出力するようにすればよい）。第１フレームと第２フレームとの何れにもミックス処理を行わない一例を挙げれば、第１フレームで画像用画素を全画素出力し、第２フレームで水平方向（または垂直方向）の位相差を検出するための焦点検出用画素を全画素出力する場合には、第２フレームの出力画素数は第１フレームの出力画素数の２倍となる。従って、上述した技術を適用して第２フレームの出力画素数を減らすことで、第１フレームと第２フレームとで共通して動作を停止させることができるレーン数を増やすことができる。
【０１６３】
さらに、上述した各部の処理は、ハードウェアとして構成されたプロセッサが行うようにしてもよい。
【０１６４】
そして、上述では主として撮像素子および撮像装置について説明したが、撮像素子（または撮像装置）を上述したように制御する制御方法であってもよいし、コンピュータに撮像素子（または撮像装置）と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０１６５】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１６６】
１…撮像装置
２…撮像レンズ
３…シャッタ
４…撮像素子
５…入力部
６…データバス
７…メモリ
８…焦点検出用信号処理部
９…画像信号処理部
１０…表示部
１１…記録部
１２…入力ＩＦ
１３…システム制御部
１４…伝送経路
２１…垂直走査部
２２…画素部
２３…アナログ処理部
２４…ＡＤＣ処理部
２５…メモリ部
２６…水平走査部
２７…デジタル処理部
２８…出力部
２９…素子入力部
３０…素子制御部
ａ，ｂ，ｃ，ｄ…焦点検出用画素
Ｆ…カラーフィルタ
Ｌ…マイクロレンズ
ＰＤ，ＰＤ１〜ＰＤ４…フォトダイオード
Ｔｒ１〜Ｔｒ７…トランジスタ
ＴＸ１〜ＴＸ４…制御信号
ＦＤ…フローティングディフュージョン
ＯＵＴ…出力端子
ＲＥＳ…リセット信号
ＳＥＬ…選択信号
ＶＤＤ…電源電圧
【図１】
2019096923.tif 000003
【図２】
2019096923.tif 000004
【図３】
2019096923.tif 000005
【図４】
2019096923.tif 000006
【図５】
2019096923.tif 000007
【図６】
2019096923.tif 000008
【図７】
2019096923.tif 000009
【図８】
2019096923.tif 000010
【図９】
2019096923.tif 000011
【図１０】
2019096923.tif 000012
【図１１】
2019096923.tif 000013
【図１２】
2019096923.tif 000014
【図１３】
2019096923.tif 000015
【図１４】
2019096923.tif 000016
【図１５】
2019096923.tif 000017
【図１６】
2019096923.tif 000018
【図１７】
2019096923.tif 000019
【図１８】
2019096923.tif 000020