(57)【要約】【課題】十分なオートフォーカス性能を確保しつつ、動画像の撮影時においても高画質の撮像画像を得る。【解決手段】  撮像装置は、撮像用画素が２次元状に配列されると共に、該配列の一部に複数の焦点検出用画素が配列された撮像部と、上記撮像部から、第１期間に、上記撮像用画素のうちの第１の画素及び上記焦点検出用画素を読み出し、第２期間に、上記撮像用画素のうちの第２の画素及び上記焦点検出用画素を読み出す読出し部と、上記読出し部によって読み出された上記第１及び第２の画素に基づいて動画像を生成する動画像処理部と、上記読出し部によって読み出された上記焦点検出用画素に基づいて上記撮像部のフォーカス制御を行うフォーカス制御部とを具備する。【選択図】図１
2013061479.tif 000002
【特許請求の範囲】
【請求項１】
撮像用画素が２次元状に配列されると共に、該配列の一部に複数の焦点検出用画素が配列された撮像部と、
上記撮像部から、第１期間に、上記撮像用画素のうちの第１の画素及び上記焦点検出用画素を読み出し、第２期間に、上記撮像用画素のうちの第２の画素及び上記焦点検出用画素を読み出す読出し部と、
上記読出し部によって読み出された上記第１及び第２の画素に基づいて動画像を生成する動画像処理部と、
上記読出し部によって読み出された上記焦点検出用画素に基づいて上記撮像部のフォーカス制御を行うフォーカス制御部と
を具備したことを特徴とする撮像装置。
【請求項２】
上記第１及び第２の画素は、上記焦点検出用画素が配置された行以外の行に配置される
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記第１及び第２の画素は、相互に異なる行に配置される
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
上記フォーカス制御部は、上記焦点検出用画素が配置されていない行の各画素の電荷蓄積期間とは別に、上記焦点検出用画素が配置された行の各画素の電荷蓄積期間を行毎に制御可能である
ことを特徴とする請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像等を撮像可能な撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮影機能付き携帯機器（撮像装置）は、静止画のみならず、動画撮影機能を有するものが多い。この種の撮像装置には、撮像用画素の他にＡＦ（オートフォーカス）用センサ（瞳分割機能を有するＡＦ画素）を配置した撮像素子を採用して、瞳分割位相差法によりオートフォーカスを行うものがある。この手法を採用することにより高速なオートフォーカスが可能である。
【先行技術文献】
【特許文献】
【０００３】
特開２００９−６３９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＡＦ用センサを内蔵した撮像素子は、ピント制御が高速となるメリットがある反面、撮像用画素とＡＦ用画素とが混在していることから、十分な画質を維持するように撮像素子の制御を行った場合には、必ずしもＡＦ用画素によって得られるＡＦ画素信号が位相制御に最適な値となるとは限らず、ＡＦ精度が低下することがある。
【０００５】
そこで、特許文献１の提案において、ＡＦ画素を集中的に配置して、ＡＦ画素と撮像用画素の光電変換部を別々に制御することにより、ＡＦ精度を向上させるようにした発明が開示されている。
【０００６】
しかしながら、特許文献１の装置では、ＡＦ画素を集中させたことにより、狭い領域でしかピントが合わせられず、また、ＡＦ画素が集中することからその部分の画質劣化が著しいという問題があった。
【０００７】
本発明は、十分なオートフォーカス性能を確保しつつ、動画像の撮影時においても高画質の撮像画像を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、撮像用画素が２次元状に配列されると共に、該配列の一部に複数の焦点検出用画素が配列された撮像部と、上記撮像部から、第１期間に、上記撮像用画素のうちの第１の画素及び上記焦点検出用画素を読み出し、第２期間に、上記撮像用画素のうちの第２の画素及び上記焦点検出用画素を読み出す読出し部と、上記読出し部によって読み出された上記第１及び第２の画素に基づいて動画像を生成する動画像処理部と、上記読出し部によって読み出された上記焦点検出用画素に基づいて上記撮像部のフォーカス制御を行うフォーカス制御部とを具備する。
【発明の効果】
【０００９】
本発明によれば、十分なオートフォーカス性能を確保しつつ、動画像の撮影時においても高画質の撮像画像を得ることができるという効果を有する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る撮像装置の回路構成を示すブロック図。
【図２】瞳分割位相差法を説明するためのための説明図である。
【図３】撮像素子の画素配列の一例を示す説明図。
【図４】インターレース方式の撮像画像を出力するためのタイミング信号を示す説明図。
【図５】動画撮影時において図３の画素配列の撮像素子からの撮像画像用の読み出しを説明するための説明図。
【図６】動画撮影時において図３の画素配列の撮像素子からのＡＦ画素の読み出しを説明するための説明図。
【図７】図１中の受光部１４ａの具体的な構成の一例を示す回路図。
【図８】静止画信号抽出部１１ｂによる信号抽出及び静止画像処理部１１ｈによる処理を説明するための説明図。
【図９】動画撮像時における撮像部１４の蓄積及び読み出し制御を説明するための説明図。
【図１０】動画撮像時における撮像部１４の蓄積及び読み出し制御を説明するための説明図。
【図１１】ＡＦ画素の蓄積期間の制御を説明するための説明図。
【図１２】本実施の形態におけるカメラ制御を説明するためのフローチャート。
【図１３】図１２中の動画画素読み出し処理を具体的に示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１２】
図１は本発明の一実施の形態に係る撮像装置の回路構成を示すブロック図である。
【００１３】
本実施の形態の撮像装置に採用される撮像素子には、撮像用画素の他にＡＦ検出用の画素(以下、ＡＦ画素という）が配置されている。ＡＦ画素は、撮像素子の所定の行数毎、例えば３行毎に配置されており、本実施の形態においては、ＡＦ画素を含む行については、ＡＦ画素に適した制御を行うことで、オートフォーカス性能を向上させるようになっている。また、動画撮影時においては、ＡＦ画素を含まない行の撮像用画素のみを用いて画像を構成すると共に、間引き読み出しによってインターレース方式の映像信号を得ることにより、解像度を低下させることなくフレームレートを高くして、高画質化を図るようになっている。
【００１４】
先ず、図２乃至図６を参照して、本実施の形態における動画撮像時の手法について説明する。図２は瞳分割位相差法を説明するためのための説明図である。
【００１５】
被写体３１から各光路を介して撮像装置に入射する光学像は撮影レンズ３２によって撮像素子３３の入射面に結像する。ＡＦ画素として２つの撮像部（例えば、Ｒ撮像部とＬ撮像部）を構成し、各光路を射出瞳において例えば右方向と左方向とに分割して、右方向からの光（右光）と左方向からの光（左光）とを、Ｒ撮像部とＬ撮像部とにそれぞれ入射する。例えば、図２において、撮像素子３３の一部３３ａを拡大して示すように、撮影レンズ３２の光軸に対してＲ，Ｌ撮像部を偏心させることで、右光と左光とを各Ｒ，Ｌ撮像部にそれぞれ入射させることができる。
【００１６】
ピントが合っている場合には、Ｒ，Ｌ撮像部には被写体の略同一点からの光が入射する。従って、水平方向に配置したＡＦ検出用の複数のＲ撮像部によって得られる画像信号と複数のＬ撮像部によって得られる画像信号とは同一となる。ピントがずれると、図２に示すように、被写体の略同一点からの光は、ピントのずれ量に応じてずれた位置のＲ撮像部とＬ撮像部とに入射する。従って、水平方向に配置したＡＦ検出用の複数のＲ撮像部によって得られる画像信号（実線）３４と複数のＬ撮像部によって得られる画像信号（破線）３５とは位相がずれ、位相のずれ量はピントのずれ量に対応する。Ｒ，Ｌ撮像部によって得られる画像信号３４，３５同士の位相差（相関）に基づいて、ピント調整用のレンズを駆動することで、オートフォーカスを実現することができる。
【００１７】
なお、図２は読み出し回路をＡＦ画素と撮像用画素とで共通化するために、１画素にＲ，Ｌ撮像部の両方を構成することなく、Ｒ撮像部のみを有する画素（以下、Ｒ画素という）とＬ撮像部のみを有する画素（以下、Ｌ画素という）によってＡＦ画素を構成した例を示している。更に、Ｌ画素を省略し、ＡＦ画素としてＲ画素のみを用いて、複数の撮像用画素によって得られる画像信号とＲ撮像部によって得られる画像信号との相関によって、ピントのずれ量を求めるようにしてもよい。
【００１８】
図３は本実施の形態において採用される撮像素子の画素配列の一例を示す説明図である。
【００１９】
本実施の形態においては、画素配列としてベイヤー配列を採用する例について説明する。図３において密なハッチングは、青色のフィルタが配置された青色の画素を示し、粗なハッチングは赤色のフィルタが配置された赤色の画素を示し、無地は緑色のフィルタが配置された緑色の画素を示し、枠内に文字がある画素はＡＦ画素を示している。
【００２０】
図３に示すように、ベイヤー配列では、水平及び垂直２×２画素を単位として同一の配列が繰り返される。即ち、２×２画素のうち斜めに青と赤の画素が配置され、残りの斜めの２画素には緑の画素が配置される。なお、図３のＲはＲ画素を示し、ＬはＬ画素を示しており、Ｒ画素及びＬ画素の位置には、緑色の画素を得るための緑色のフィルタが配置されている。
【００２１】
静止画撮影時には、各画素から読み出した信号をそのまま撮像画像の各画素値として用い、撮像後に画素補間等の画像処理を行う。  
一方、動画撮像時には、ＡＦ画素が配置された行以外の行の撮像用画素のみを用いて撮像画像を構成する。即ち、図３の例では、第１，３，４，６，７，９，１０，…行の撮像用画素を用いて撮像画像を構成する。また、第２，５，８，…行を間引いた場合でもベイヤー配列が維持されるように、第１，４，７，１０，１３，…行の撮像用画素を用いて撮像画像を構成するか又は第３，６，９，１２，１５，…行の撮像用画素を用いて撮像画像を構成した方がよい。
【００２２】
動画撮影時には、フレームレートを高くするために、画素の読み出し時間を短縮するための間引き読み出しを行うことが考えられる。そこで、本実施の形態においては、解像度を低下させることなくフレームレートを高くするために、第１，４，７，１０，１３，…行の撮像用画素を用いた撮像画像と第３，６，９，１２，１５，…行の撮像用画素を用いたインターレース方式の撮像画像を生成するようになっている。
【００２３】
また、ＡＦ画素が含まれる行には撮像用画素も配置されている。しかし、上述したように、ＡＦ画素が含まれる行の撮像用画素は撮像画像に用いないことから、撮像素子のＡＦ画素が含まれる行の画素について、ＡＦ画素が含まれない行の画素に対する制御と異なる制御を行った場合でも、撮像画像に対して影響を与えることはない。そこで、本実施の形態においては、ＡＦ画素が含まれる行の画素については、ＡＦ性能を考慮した最適の制御、例えば、画像の明るさに応じた蓄積時間の制御を行うようになっている。
【００２４】
図４はインターレース方式の撮像画像を出力するためのタイミング信号を示す説明図であり、図５は動画撮影時において図３の画素配列の撮像素子からの撮像画像用の読み出しを説明するための説明図である。また、図６は動画撮影時において図３の画素配列の撮像素子からのＡＦ画素の読み出しを説明するための説明図である。
【００２５】
インターレースの第１期間と第２期間とは、図４にタイミング信号によって規定される。図４に示すように、第１期間と第２期間とは１／６０秒周期で切換るようになっている。図５は図３と同様の記載方法によって画素の読み出し及び読み出した画素を用いた撮像画像の出力を説明するものである。図５は縦方向に撮像素子の第１，２，３，…行を示し、縦方向の同一位置は同一行に関する処理を行ったことを示している。
【００２６】
本実施の形態においては、図５に示すように、第１期間においては、第３，６，９，…行を間引いて、第１，２，４，５，７，８，１０，１１，…行の画素を読み出す。読み出された連続する２行のうち、下方の行には、ＡＦ画素が含まれる。ＡＦ画素が含まれない行、即ち、第１，４，７，１０，…行の撮像用画素のみを用いて、第１期間の撮像画像を生成する。
【００２７】
また、図５に示すように、第２期間においては、第１，４，７，１０，…行を間引いて、第２，３，５，６，８，９，１１，１２，…行の画素を読み出す。読み出された連続する２行のうち、上方の行には、ＡＦ画素が含まれる。ＡＦ画素が含まれない行、即ち、第３，６，９，１２，…行の撮像用画素のみを用いて、第２期間の撮像画像を生成する。第１，第２期間のいずれの撮像画像も夫々ベイヤー配列を維持している。
【００２８】
図４に示すように、第１期間と第２期間とは、１／６０秒周期で交互に繰り返される。図５に示すように、第１期間と第２期間とでは、撮像画像の生成に用いる撮像用画素としては異なる画素が読み出されるが、第１期間と第２期間とを合わせると、撮像画像は、撮像素子のＡＦ画素を含まない全ての行の撮像用画素の情報を含んでおり、十分な解像度が得られる。また、第１及び第２期間の各期間の読み出し時には、３行に１行の間引き処理が行われるので、高速読み出しが可能でありフレームレートを高くすることが可能である。これにより、十分な画質の撮像画像を得ることができる。
【００２９】
一方、図６に示すように、第１期間において、読み出された第１，２，４，５，７，８，１０，１１，…行の画素のうち、連続する２行の下方の行には、ＡＦ画素が含まれる。このＡＦ画素が含まれる行、即ち、第２，５，８，１１，…行の画素からＡＦ画素のみを取り出して、第１期間のＡＦ画素信号を生成する。
【００３０】
同様に、第２期間において、読み出された第２，３，５，６，８，９，１１，１２，…行の画素のうち、連続する２行の上方の行には、ＡＦ画素が含まれる。このＡＦ画素が含まれる行、即ち、第２，５，８，１１，…行のＡＦ画素のみを取り出して、第２期間のＡＦ画素信号を生成する。
【００３１】
図６に示すように、第１期間と第２期間とで、同一のＡＦ画素が読み出される。読み出したＡＦ画素の一方を単独で用いてＡＦ画素信号を生成してもよく、また、第１，２期間の同一位置のＡＦ画素同士を加算してＡＦ画素信号を生成してもよい。上述したように、ＡＦ画素については、撮像画像に用いる撮像用画素とは異なる制御が可能であり、電荷蓄積期間を適宜制御することで、ＡＦ制御に適した最適なＡＦ画素信号を得ることができる。
【００３２】
（回路構成）
図１に示すように、撮像装置１の図示しない本体筐体内には本体回路部１０が設けられ、本体筐体に着脱自在に取り付けられる交換レンズ部２０には交換レンズ回路部２１が設けられている。本体回路部１０には、通信部１２が設けられており、交換レンズ回路部２１には通信部２３が設けられている。本体回路部１０の通信部１２は、交換レンズ回路部２１の通信部２３との間で、相互に情報を送受することができるようになっている。
【００３３】
交換レンズ２０は、撮影レンズ２６を有している。撮影レンズ２６は、駆動部２５に駆動されることで合焦を可能にするオートフォーカス機能を備えている。交換レンズ２０のレンズ制御部２２は、本体回路部１０からの信号により又はユーザ操作に基づく操作部２４からの信号によって、駆動部２５を制御して、撮影レンズ２６を駆動し、撮影レンズ２６における絞り、ピント、ズーム等を制御することができるようになっている。
【００３４】
レンズ制御部２２の通信部２３は、所定の伝送路を介して本体回路部１０の通信部１２との間で情報の送受を行う。レンズ制御部２２は、本体回路部１０の通信部１２との間の通信が確立すると、レンズに関する情報を通信部２３によって本体回路部１０に送信させることができる。これにより、本体回路部１０は、交換レンズ２０のズーム倍率、焦点距離、明るさナンバー等を認識することができる。
【００３５】
本体回路部１０は、ＣＭＯＳセンサ等の撮像素子によって構成された撮像部１４を有している。撮像部１４は、交換レンズ２０からの被写体の光を受光する受光部１４ａを有する。交換レンズ２０からの被写体の光学像は、受光部１４ａに結像するようになっている。受光部１４ａは、上述した図３のベイヤー配列の画素を有するものとする。撮像部１４は、信号処理及び制御部１１によって駆動制御される。
【００３６】
図７は図１中の受光部１４ａの具体的な構成の一例を示す回路図である。受光部１４ａは、マトリクス状に配置された複数の画素によって構成されており、図７ではそのうちの２行２列の画素（破線）の構成のみを示している。
【００３７】
図７においては、破線で囲った領域が画素を示しており、各画素は相互に同一構成である。即ち、各画素はフォトダイオードＰＤ、リセットトランジスタＴ１、増幅トランジスタＴ２によって構成される。タイミング回路４１は、信号処理及び制御部１１に制御されて、リセット信号ＲＳＴ（ＲＳＴ−１，ＴＳＴ−２，…）及び転送信号ＲＥ（ＲＥ−１，ＲＥ−２，…）を発生する。同一行のリセットトランジスタＴ１には、同一の信号線を介してリセット信号ＲＳＴが供給される。同一行の転送トランジスタＴ３には、同一の信号線を介して転送信号ＲＥが供給される。
【００３８】
フォトダイオードＰＤは受光した光に応じて電荷を発生する。フォトダイオードＰＤはリセットトランジスタＴ１によって電荷がリセットされる。フォトダイオードＰＤに発生した電荷は、増幅トランジスタＴ２により増幅され、転送トランジスタＴ３によって各列の信号線に転送される。
【００３９】
各画素は、リセット信号ＲＳＴに基づくリセットタイミングから転送信号ＲＥに基づく転送タイミングまでの蓄積期間において蓄積した電荷を、各列の信号線を介して出力する。同一列の各画素からの電荷は、夫々各列の信号線を介してラッチ回路４２（４２−１，４２−２，…）に供給される。各列のラッチ回路４２は、各画素からの信号電荷を出力する。同一列の各画素からの電荷を共通の信号線を介して出力するので、各画素からの読み出しタイミングは、行毎にずらすようになっている。
【００４０】
図７の受光部１４ａにおいては、リセットタイミング及び転送タイミングに基づいて各画素の光電荷蓄積期間が設定され、行毎にリセット信号及び転送信号を各画素に供給することで、行毎に蓄積期間を設定することが可能である。これにより、ＡＦ画素を含む行については、ＡＦ画素を含まない行と異なる電荷蓄積期間を設定することが可能である。撮像画像に用いる撮像用画素はＡＦ画素が含まれない行の画素であるので、撮像画像に影響を与えることなく、ＡＦ制御に適した蓄積期間の設定が可能である。
【００４１】
タイミング回路４１は、信号処理及び制御部１１によって制御される。信号処理及び制御部１１は、タイミング回路４１を制御することで、ＡＦ画素を含む行とＡＦ画素を含まない行の電荷蓄積期間を行毎に設定することができるようになっている。また、信号処理及び制御部１１は、撮像部１４に駆動信号を出力すると共に、撮像部１４からの画素信号を取り込む。信号処理及び制御部１１には動画信号抽出部１１ａ及び静止画信号抽出部１１ｂが設けられている。静止画信号抽出部１１ｂは、静止画撮影時における撮像画像を取得するものであり、受光部１４ａからの画素信号をそのまま撮像画像として静止画像処理部１１ｈに出力する。
【００４２】
図８は静止画信号抽出部１１ｂによる信号抽出及び静止画像処理部１１ｈによる処理を説明するための説明図である。図８（ａ），（ｂ）は図３と同一の記載方法によって各画素を示している。静止画信号抽出部１１ｂは、静止画撮影時には、図８（ａ）に示す全ての画素を読み出す。静止画信号抽出部１１ｂは、読み出した画素信号を撮像画像として静止画像処理部１１ｈに出力する。
【００４３】
静止画像処理部１１ｈは、入力された撮像画像に対して所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。また、ＡＦ画素からは本来の緑色成分の信号電荷を取り出すことはできない。そこで、静止画像処理部１１ｈは、周囲の画素を用いた補間処理を行って、撮像用画素として用いるようにしてもよい。例えば、静止画像処理部１１ｈは、図８（ａ）の矢印に示すように、ＡＦ画素を囲む近傍の４つの緑色画素を用いた補間処理によって、ＡＦ画素位置において撮像用画素を構成した場合の画素値を求めて、図８（ｂ）に示すように、全画素を撮像用画素で構成した場合と同様の撮像画像を得る。
【００４４】
一方、動画信号抽出部１１ａは動画撮影時における撮像画像を取得するものであり、第１期間において、受光部１４ａからの画素信号のうち第１，２，４，５，７，８，…行の画素の画素信号を読み出し、第２期間において第２，３，５，６，８，９，…行の画素の画素信号を読み出して、ＡＦ画素抽出部１１ｃ及び動画画素抽出部１１ｄに出力する。
【００４５】
ＡＦ画素抽出部１１ｃは、図６に示した処理によって、ＡＦ画素の画素信号のみを抽出してＡＦ信号算出部１１ｆに出力する。ＡＦ信号算出部１１ｆは、Ｒ画素の画素信号とＬ画素の画素信号との相関を求め、相関結果に基づいて瞳分割位相差法によるＡＦ信号を生成する。信号処理及び制御部１１は、ＡＦ信号算出部１１ｆによって算出されたＡＦ信号を通信部１２，２３を介して駆動部２５に供給することで、ピント合わせを行うようになっている。上述したように、本実施の形態においては、ＡＦ画素はＡＦ信号として適切なレベルの信号が得られるように例えば蓄積期間が設定されており、高精度のフォーカス制御が可能である。
【００４６】
一方、動画画素抽出部１１ｄは、図５に示した処理によって、ＡＦ画素が含まれない行の撮像用画素のみを抽出して動画像処理部１１ｇに出力する。動画像処理部１１ｇは、入力された撮像画像に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。上述したように、動画像処理部１１ｇは、間引き読み出しをすると共に、インターレース方式の撮像画像を得ており、十分な解像度で高いフレームレートの画像を得ることができる。
【００４７】
なお、動画像処理部１１ｇ及び静止画像処理部１１ｈは、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。
【００４８】
また、本体回路部１０には、時計部１５、操作判定部１６も配設されている。時計部１５は信号処理及び制御部１１が用いる時間情報を発生する。操作判定部１６は、撮像装置１に設けられた撮像開始終了ボタンや撮影モード設定等の図示しない各種スイッチに対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部１１に出力するようになっている。信号処理及び制御部１１は、操作信号に基づいて、各部を制御する。
【００４９】
また、本体回路部１０には、記録再生部１７及び表示部１８が設けられている。記録再生部１７は、信号処理及び制御部１１からの画像情報及び音声情報を図示しない記録媒体に記録することができるようになっている。なお、記録再生部１７としては例えばカードインターフェースを採用することができ、記録再生部１７はメモリカード等に画像情報及び音声情報等を記録可能である。また、記録再生部１７は、記録媒体に記録された画像情報及び音声情報を読み出して信号処理及び制御部１１に供給することができる。信号処理及び制御部１１は、記録再生部１７からの画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。
【００５０】
表示部１８は、撮像部１４からの撮像画像や記録再生部１７からの再生画像が信号処理及び制御部１１から供給されて、これらの画像表示を行うことができる。また、表示部１８は信号処理及び制御部１１に制御されて、撮影機器１の操作を行うためのメニュー表示等を表示することもできるようになっている。
【００５１】
信号処理及び制御部１１は、生成した映像信号を記録再生部１７に与えて記録させる場合には、ユーザ操作に基づいて記録した映像信号のファイル化を行うようになっている。なお、ファイル化によって、記録再生部１７に記録されてファイル化された映像信号（以下、映像ファイルという）に対してユーザ操作に基づく各種処理、例えば再生処理が可能となる。
【００５２】
図９及び図１０は動画撮像時における撮像部１４の蓄積及び読み出し制御を説明するための説明図である。図９（ａ），（ｃ），（ｅ）は夫々撮像素子１４の第１行〜第３行の画素に供給されるリセット信号を示し、図９（ｂ），（ｄ），（ｆ）は夫々撮像素子１４の第１行〜第３行の画素に供給される読み出し信号を示し、図９（ｇ）は実線で蓄積電荷のラッチ出力を示し破線で電荷蓄積の無い画素からの読み出しを示している。なお、図９においては、転送信号及びラッチ出力の時間幅は見やすさを考慮した幅で記載しており、図９（ｇ）の各枠は各行の全画素の読み出しを示し、第１期間において第１期間に読み出されるべき全ての行の画素信号が読み出され、第２期間において第２期間に読み出されるべき全ての行の画素信号が読み出されるものとする。
【００５３】
リセット信号ＲＳＴによってフォトダイオードＰＤはリセットされ、転送信号ＲＥによって蓄積電荷が出力される。即ち、リセット信号ＲＳＴの立ち下がりタイミングから転送信号ＲＥの立ち上がりタイミングまでが、各画素の蓄積期間となる。
【００５４】
図９の例では、第１期間に対応して、第１，２，４，５，７，８，…行の各画素の電荷蓄積及び読み出しが行われ、第２期間に対応して、第２，３，５，６，８，９，…行の各画素の電荷蓄積及び読み出しが行われる。即ち、ＡＦ画素が含まれる行の各画素は第１期間及び第２期間の両方で読み出され、ＡＦ画素が含まれない行の画素は、第１期間又は第２期間に読み出される。
【００５５】
図９に示すように、ＡＦ画素が含まれる第２行の画素の蓄積期間は、ＡＦ画素が含まれない第１，第３行の画素の蓄積期間と異なる期間長に設定されている。なお、図９では図示されていないが、ＡＦ画素が含まれない行の画素については、全ての画素の蓄積期間は同一に設定される。一方、ＡＦ画素が含まれる行の各画素については、リセット信号ＲＳＴ及び転送信号ＲＥによって、行毎に蓄積期間が設定されるようになっている。
【００５６】
図９の例では、ＡＦ画素が含まれる第２行の各画素の蓄積期間を、ＡＦ画素が含まれない行の各画素の蓄積期間よりも短くした例を示している。図１０は図９と同様の記載方法によって、ＡＦ画素が含まれる第２行の各画素の蓄積期間を、ＡＦ画素が含まれない行の各画素の蓄積期間よりも長くした例を示している。
【００５７】
図１０の例は、リセット信号ＲＳＴ及び転送信号ＲＥを省略することで、ＡＦ画素が含まれる第２行の各画素の蓄積期間を、ＡＦ画素が含まれない行の各画素の蓄積期間よりも長くしている。従って、この場合には、ＡＦ画素は、第２期間のみに読み出されることになる。リセット信号ＲＳＴ及び転送信号ＲＥの設定によっては、ＡＦ画素を第１期間に読み出すことも可能であり、第１及び第２期間の両方のタイミングで読み出すことも可能である。更に、リセット信号ＲＳＴ及び転送信号ＲＥの設定によっては、第１期間及び第２期間の和の期間よりも長い蓄積期間を設定し、第１及び第２期間の数期間毎にＡＦ画素の読み出しを行うようにすることも可能である。
【００５８】
また、図９及び図１０の例では、撮像用画素の読み出しが行われない期間には蓄積を行わない例を示しているが、第１及び第２期間の両方の期間に夫々蓄積を行い、ラッチ回路によっていずれか一方の期間のみに撮像用画素の読み出しを行うようにしてもよい。また、図９及び図１０の例では、撮像用画素については、第１期間（第２期間）の期間長、例えば、１／６０秒よりも短い期間で蓄積を行う例について示しているが、撮像用画素の蓄積期間を、第１及び第２期間の和の期間、例えば１／３０秒よりも短い期間で蓄積を行うようにしてもよい。
【００５９】
図１１はＡＦ画素の蓄積期間の制御を説明するための説明図である。図１１（ａ）は背景５３と人物５２の画像を含む撮像画像５１を示している。図１１（ｂ）は横軸に撮像画像５１の所定の垂直位置における水平位置をとり縦軸に輝度レベルをとって、所定の水平ラインにおける輝度変化を示している。即ち、撮像画像５１は、背景５３の画像部分に比べて、人物５２の画像部分の輝度が極めて高い例を示している。この場合には、人物５２の画像部分に対応する位置に配置されたＡＦ画素については、蓄積期間を短くする。これにより、ＡＦ画素信号のレベルが飽和することを防止することができる。
【００６０】
逆に、図１１（ｃ）は太陽６４を有する背景６３と人物６２との画像を含む撮像画像６１を示している。図１１（ｄ）は横軸に撮像画像６１の所定の垂直位置における水平位置をとり縦軸に輝度レベルをとって、所定の水平ラインにおける輝度変化を示している。即ち、撮像画像６１は、太陽６４の影響により、背景６３の画像部分に比べて、人物６２の画像部分の輝度が極めて低い例を示している。この場合には、人物６２の画像部分に対応する位置に配置されたＡＦ画素については、蓄積期間を長くする。これにより、ＡＦ画素信号のレベルとして十分なレベルを確保することができる。
【００６１】
次に、このように構成された実施の形態の作用について図１２及び図１３を参照して説明する。図１２は本実施の形態におけるカメラ制御を説明するためのフローチャートであり、図１３は図１２中の動画画素読み出し処理を具体的に示すフローチャートである。
【００６２】
撮像装置１に電源が投入されると、信号処理及び制御部１１は、図１２のステップＳ２１において、撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、信号処理及び制御部１１は、ステップＳ２２において、再生モードが指示されたか否かを判定する。再生モードが指示されると、信号処理及び制御部１１は、ステップＳ２３において、サムネイルの一覧表示を行う。サムネイル一覧を参照したユーザによる画像の選択が行われると、ステップＳ２４からステップＳ２５に処理を移行して、信号処理及び制御部１１は選択画像の再生を行う。ファイル選択が行われない場合には、ステップＳ２６において再生モードの終了を判定する。
【００６３】
一方、撮影モードが指示されると、信号処理及び制御部１１は、ステップＳ３１において、撮像部１４から動画画素の読み出しを行うと共に、読み出した画素信号に基づいて、表示部１８に撮像画像（スルー画）をライブビュー表示させる。
【００６４】
即ち、動画信号抽出部１１ａは、図１３のステップＳ６１，Ｓ６２において、第１期間であるか、第２期間であるかを判定する。第１期間である場合には、動画信号抽出部１１ａは、ステップＳ６３において、ＡＦ画素を含む行とその上の行の画素、即ち、図５に示す第１，２，４，５，７，８，…行の画素の読み出しを行う。次に、動画画素抽出部１１ｄは、読み出された画素のうちＡＦ画素を含む行の上の行の画素の信号を抽出して動画像処理部１１ｇに与える。こうして、動画像処理部１１ｇは、図５の第１，４，７，１０，…行の画素を用いて、第１期間の撮像画像を生成する。この撮像画像が第１期間の撮像画像として表示部１８に表示される（ステップＳ６４）。
【００６５】
また、ＡＦ画素抽出部１１ｃは、図６に示すように、第２，５，８，１１，…行からＡＦ画素を抽出して、画素信号をＡＦ信号算出部１１ｆに与える。ＡＦ信号算出部１１ｆは、積算処理のためにＡＦ画素を記憶する（ステップＳ６５）。
【００６６】
なお、ＡＦ画素の受光部のサイズが撮像用画素の受光部のサイズよりも小さいことから、ＡＦ画素の画素信号のレベルは撮像用画素の画素信号のレベルよりも低いことが考えられる。図１２及び図１３の例は、この点を考慮して、ＡＦ画素信号のレベルを適正なレベルとするために、同一位置のＡＦ画素の画素信号を積算することで、十分なレベルのＡＦ画素信号を得るようにしたものである。なお、本実施の形態においては、ＡＦ画素については蓄積時間を十分に長く設定することができるので、必ずしもＡＦ画素信号を積算する必要はなく、その場合には後述するＡＦ画素の積算処理は省略可能である。
【００６７】
第２期間においては、動画信号抽出部１１ａは、ステップＳ６６において、ＡＦ画素を含む行とその下の行の画素、即ち、図５に示す第２，３，５，６，８，９，…行の画素の読み出しを行う。次に、動画画素抽出部１１ｄは、読み出された画素のうちＡＦ画素を含む行の下の行の画素の信号を抽出して動画像処理部１１ｇに与える。こうして、動画像処理部１１ｇは、図５の第３，６，９，１２，…行の画素を用いて、第２期間の撮像画像を生成する。この撮像画像が第２期間の撮像画像として表示部１８に表示される（ステップＳ６７）。
【００６８】
また、ＡＦ画素抽出部１１ｃは、図６に示すように、第２，５，８，１１，…行からＡＦ画素を抽出して、画素信号をＡＦ信号算出部１１ｆに与える。ＡＦ信号算出部１１ｆは、積算処理のためにＡＦ画素を記憶する（ステップＳ６８）。
【００６９】
ＡＦ信号算出部１１ｆは、ステップＳ６９において、積算されたＡＦ画素信号のレベルが適正なレベルになったか否かを判定する。ＡＦ信号算出部１１ｆは、適正でない場合には、ステップＳ７０において、ＡＦ画素抽出部１１ｃからの同一位置のＡＦ画素信号を積算し、適正となった場合には、ステップＳ７１において、ＡＦ画素信号の積算処理を終了する。こうして、ＡＦ信号算出部１１ｆは、適正なレベルのＡＦ画素信号を用いて、ＡＦ信号を生成する。
【００７０】
信号処理及び制御部１１は、図１２のステップＳ３２において、ＡＦ信号が算出されたか否かを判定する。ＡＦ信号が算出されると、信号処理及び制御部１１は、ステップＳ４１において、算出されたＡＦ信号に基づいてピント制御を行う。即ち、ＡＦ信号は、通信部１２，２３を介して交換レンズ回路２１の駆動部２５に供給され、駆動部２５はＡＦ信号に基づいて撮影レンズ２６を駆動して、ピント合わせを行う。次に、ＡＦ信号算出部１１ｆは、ステップＳ４２において、ＡＦ画素信号の積算値をクリアする。
【００７１】
信号処理及び制御部１１は、ステップＳ３３において、ユーザが動画撮影を指示したか否かを判定する。動画撮影が指示された場合には、動画像処理部１１ｇは、第１及び第２期間の撮像画像に基づいて記録用の動画像を生成し、記録再生部１７に与えて記録させる（ステップＳ４３）。信号処理及び制御部１１は、ステップＳ４４において動画撮影の終了が指示されたか否かを判定する。動画撮影の終了指示がされていない場合には、信号処理及び制御部１１は、処理をステップＳ３１に戻す。動画撮影の終了が指示された場合には、信号処理及び制御部１１は、処理をステップＳ３７に移行して、動画像の画像ファイル化を行う。
【００７２】
一方、信号処理及び制御部１１は、ステップＳ３４において、静止画撮影が指示されたものと判定すると、静止画信号抽出部１１ｂによって受光部１４ａの全画素の読み出しを行う。読み出された画素信号は、静止画像処理部１１ｈに供給される。静止画像処理部１１ｈは、ＡＦ画素について画素補間を行い、ＡＦ画素の画素位置に撮像用画素が構成された場合と同様の撮像画像を得る。
【００７３】
信号処理及び制御部１１は、ＡＦ画素の画素値が補正された撮像画像を記録再生部１７に与えてファイル化する（ステップＳ３７）。また、信号処理及び制御部１１は、記録した撮像画像を表示部１８に与えて、レックビュー表示を行う（ステップＳ３８）。
【００７４】
信号処理及び制御部１１は、ステップＳ５１において、電源オフ操作が行われた否かを判定する。電源オフ操作が行われていない場合には、信号処理及び制御部１１は、撮影・再生モードの変更操作を受付けた後、処理をステップＳ２１に戻す。電源オフ操作が行われた場合には、信号処理及び制御部１１は電源をオフにする（ステップＳ５３）。
【００７５】
このように本実施の形態においては、動画撮影時においては、ＡＦ画素を含まない行の撮像用画素のみを用いて画像を構成するようになっている。これにより、撮像画像に影響を与えることなく、撮像素子のＡＦ画素に対する制御、例えば、電荷蓄積期間の期間長の制御等を行うことができ、画像に拘わらず適正なＡＦ画素信号を得て、オートフォーカス精度を向上させることが可能である。
また、動画撮影時には、間引き処理によって読み出しを高速化してフレームレートを高くすると共に、インターレース方式による２回の読み出しによって第１期間と第２期間の撮像画像を得ることで間引き処理による解像度の低下を抑制しており、高画質の動画像を得ることができる。また、ＡＦ画素については、第１期間及び第２期間のいずれにも読み出しを行うこともでき、高速なオートフォーカスが可能である。
【００７６】
このように、本実施の形態は、撮像画像に影響を与えることなくＡＦ画素に対して最適な制御を行うことを可能にするものである。動画撮影時には撮像画像の生成に用いる撮像用画素を第１期間と第２期間の２回に分けて読み出す例を説明したが、１回の読み出しで全ての撮像用画素を読み出すようにしてもよい。更に、第１期間と第２期間のうち第１期間に読み出した撮像用画素のみを用いて、撮像画像を生成するようにしてもよい。
【００７７】
なお、上記各実施の形態においては、ＡＦ画素として水平左右方向からの光を受光するＬ，Ｒ撮像部を有する画素を用いる例について説明したが、ＡＦ画素として垂直上下方向や、斜め方向からの光を受光する２つの撮像部を有する画素を用いる例についても、同様に適用できることは明らかである。  
また、今回の実施例は、いわゆるベイヤー配列の撮像素子を利用して説明したが、色成分を撮像素子の光軸方向で検出するような積層型の撮像素子に、本発明を応用してもよい。
【００７８】
さらに、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【００７９】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【符号の説明】
【００８０】
１０…本体回路部、１１…信号処理及び制御部、１１ａ…動画信号抽出部、１１ｂ…静止画信号抽出部、１１ｃ…ＡＦ画素抽出部、１１ｄ…動画画素抽出部、１１ｆ…ＡＦ信号算出部、１１ｇ…動画像処理部、１１ｈ…静止画像処理部、１４…撮像部、１４ａ…受光部、１７…記録再生部、１８…表示部。
【図１】
2013061479.tif 000003
【図２】
2013061479.tif 000004
【図３】
2013061479.tif 000005
【図４】
2013061479.tif 000006
【図５】
2013061479.tif 000007
【図６】
2013061479.tif 000008
【図７】
2013061479.tif 000009
【図８】
2013061479.tif 000010
【図９】
2013061479.tif 000011
【図１０】
2013061479.tif 000012
【図１１】
2013061479.tif 000013
【図１２】
2013061479.tif 000014
【図１３】
2013061479.tif 000015