(57)【特許請求の範囲】
【請求項１】
複数の画素ラインを有する撮像部の、前記複数の画素ラインのうち第１の画素ライン群で生成された第１の画像信号と、第２の画素ライン群で生成された第２の画像信号とを並列的に読み出すように、前記撮像部の読み出し制御を実行するように構成された制御部と、
前記撮像部から読み出された前記第１の画像信号に対してＡＥ（Automatic Exposure）又はＡＦ（Automatic Focus）に関する処理である第１の画像処理を行うように構成された第１の画像処理部と、
前記撮像部から読み出された前記第２の画像信号に対して前記第１の画像処理とは処理条件の異なるＡＥ又はＡＦに関する処理である第２の画像処理を行うように構成された第２の画像処理部と
を具備する撮像制御装置。
【請求項２】
請求項１に記載の撮像制御装置であって、
前記制御部は、前記第１の画素ライン群からの行間引き読み出しによる間引き画像を、前記第１の画像信号として読み出すように構成され、かつ、前記第２の画素ライン群で生成される全体画像のうち一部の領域の画像であって間引かれない画像である部分画像を、前記第２の画像信号として読み出すように構成される
撮像制御装置。
【請求項３】
請求項２に記載の撮像制御装置であって、
前記第１の画像処理部は、前記間引き画像に対してスルー画像を生成するための処理を実行する
撮像制御装置。
【請求項４】
請求項１から３のうちいずれか１つに記載の撮像制御装置であって、
前記処理条件は、露光条件である
撮像制御装置。
【請求項５】
請求項１から４のうちいずれか１項に記載の撮像制御装置であって、
前記制御部は、前記撮像部に接続された第１の出力経路を介して前記第１の画像信号を読み出し、前記撮像部に接続された第２の出力経路を介して前記第２の画像信号を読み出すように構成される
撮像制御装置。
【請求項６】
複数の画素ラインを有する撮像部と、
前記複数の画素ラインのうち第１の画素ライン群で生成された第１の画像信号と、第２の画素ライン群で生成された第２の画像信号とを並列的に読み出すように、前記撮像部の読み出し制御を実行するように構成された制御部と、
前記撮像部から読み出された前記第１の画像信号に対してＡＥ（Automatic Exposure）又はＡＦ（Automatic Focus）に関する処理である第１の画像処理を行うように構成された第１の画像処理部と、
前記撮像部から読み出された前記第２の画像信号に対して前記第１の画像処理とは処理条件の異なるＡＥ又はＡＦに関する処理である第２の画像処理を行うように構成された第２の画像処理部と
を具備する撮像装置。
【請求項７】
複数の画素ラインを有する撮像部と、
前記複数の画素ラインのうち第１の画素ライン群で生成された第１の画像信号と、第２の画素ライン群で生成された第２の画像信号とを並列的に読み出すように、前記撮像部の読み出し制御を実行するように構成された制御部と、
前記撮像部から読み出された前記第１の画像信号に対してＡＥ（Automatic Exposure）又はＡＦ（Automatic Focus）に関する処理である第１の画像処理を行うように構成された第１の画像処理部と、
前記撮像部から読み出された前記第２の画像信号に対して前記第１の画像処理とは処理条件の異なるＡＥ又はＡＦに関する処理である第２の画像処理を行うように構成された第２の画像処理部と
を具備する撮像システム。
【請求項８】
複数の画素ラインを有する撮像部の、前記複数の画素ラインのうち第１の画素ライン群で生成された第１の画像信号と、第２の画素ライン群で生成された第２の画像信号とを並列的に読み出すように、前記撮像部の読み出し制御を実行し、
前記撮像部から読み出された前記第１の画像信号に対してＡＥ（Automatic Exposure）又はＡＦ（Automatic Focus）に関する処理である第１の画像処理を行い、
前記撮像部から読み出された前記第２の画像信号に対して前記第１の画像処理とは処理条件の異なるＡＥ又はＡＦに関する処理である第２の画像処理を行う
撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像素子による撮像を制御する撮像制御装置および撮像制御方法、また、その撮像制御装置を含む撮像装置および撮像システムに関する。
【背景技術】
【０００２】
一般に、カメラのＡＥ（Automatic Exposure）処理やＡＦ（Automatic Focus）処理等における検波処理では、カメラは、複数回の露光によって、最適な露光状態、また、合焦状態を得ている。このように露出が複数回行われるので、検波処理には時間がかかる。検波処理とは、ＡＥ処理では測光処理（例えば輝度値の算出）、または、ＡＦ処理では測距処理（例えばコントラスト値の算出）である。【０００３】
特許文献１に記載の撮像装置は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサの画素領域を第１〜８の分割エリアに分け、それらの分割エリアからそれぞれ並列に画像信号を読み出して処理を行う。具体的には、この撮像装置は、アナログエンドからの画像信号の読み出し、画像信号のメモリへの格納、およびＡＦ評価値の算出を、単純に並列に行っている（例えば、特許文献１の明細書段落［００２８］参照）。【０００４】
特許文献２に記載の撮像装置は、固体撮像素子の画素ごとに、低感度および高感度の２つの感光領域を設けている。これにより、１回の測光（露出）時において、それぞれの感光領域からの信号の明るさのレンジを広く取ることができ、適正な露出パラメータが１回の測光で得られる可能性がある（例えば、特許文献２の明細書段落［００４５］、図２、３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2007-281887号公報
【特許文献２】特開2004-56422号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のように、撮像に関連する処理の高速化あるいは高精度化の要求は、今後ますます強くなると考えられる。
本技術の目的は、撮像処理の高速化または高精度化を図ることができる撮像制御装置、撮像装置、撮像システムおよび撮像制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本技術に係る撮像制御装置は、制御部と、複数の画像処理部とを具備する。
前記制御部は、複数の画素ラインを有する撮像部の、前記複数の画素ラインのうち画素ライン群ごとに異なる撮像条件でそれぞれ生成された画像信号を並列的に読み出すように、前記撮像部の読み出し制御を実行するように構成される。
前記複数の画像処理部は、前記撮像部から読み出された前記画像信号をそれぞれ処理するように構成される。
制御部は、画素ライン群ごとに異なる撮像条件でそれぞれ生成された画像信号を並列的に読み出す制御を実行し、複数の画像処理部がそれらの画像信号をそれぞれ処理する。したがって、画像処理部の処理内容に応じて、処理の高速化または高精度化を図ることができる。【０００８】
前記制御部は、各画素ライン群から行間引き読み出しを実行するように構成され、前記複数の画像処理部は、前記行間引き読み出しにより読み出された間引き画像をそれぞれ処理するように構成されてもよい。【０００９】
前記制御部は、前記画素ライン群ごとに異なる露光条件で生成された画像信号を前記撮像部から読み出す制御を実行するように構成されてもよい。また、前記複数の画像処理部は、ＡＥ（Automatic Exposure）処理における評価処理をそれぞれ実行するように構成されてもよい。
異なる露光条件で生成された画像信号について、ＡＥにおける評価処理が並列的に実行されるので、高速な評価処理（測光処理）を実現できる結果、ＡＥ処理の高速化を図ることができる。【００１０】
あるいは、上記の場合、前記複数の画像処理部は、ＡＦ（Automatic Focus）処理における評価処理をそれぞれ実行するように構成されてもよい。
例えば１つの画像処理部が、ＡＦ処理に適した露光条件で設定された画像について評価処理を実行することにより、高精度または最適なＡＦ処理を実現できる。【００１１】
前記制御部は、前記複数の画素ラインのうち第１の画素ライン群から行間引き読み出しを実行し、前記第１の画素ライン群とは異なる第２の画素ライン群で生成される全体画像のうち一部の領域の画像であって間引かれない画像である部分画像の読み出しを実行するように構成されてもよい。また、前記複数の画像処理部は、前記行間引き読み出しにより読み出された前記間引き画像、および前記部分画像をそれぞれ処理するように構成されてもよい。【００１２】
前記制御部は、前記画素ライン群ごとに異なる露光条件で生成された画像信号を前記撮像部から読み出す制御を実行するように構成され、前記複数の画像処理部は、ＡＥ処理における評価処理をそれぞれ実行するように構成されてもよい。
間引き画像の解像度に比べて部分画像の解像度は高いので、ＡＥ処理において部分画像内の測光精度を高めることができる結果、部分的に高精度なＡＥ処理を行うことができる。【００１３】
あるいは、上記の場合、前記複数の画像処理部は、ＡＦ処理における評価処理をそれぞれ実行するように構成されてもよい。
例えば間引き画像が表示部に表示されるいわゆるスルー画として用いられる場合、ＡＦに適した露光条件で生成された、表示部に表示されない部分画像について、複数の画像処理部のうちの１つがＡＦ処理の評価処理を実行することができる。その結果、高精度または最適なＡＦ処理を実現できる。【００１４】
前記制御部は、前記画像信号を所定の読み出し周期で読み出し、並列的なその読み出しのタイミングを前記読み出し周期より短い時間分（例えば半周期）ずらすように、前記読み出し制御を実行するように構成されてもよい。また、前記複数の画像処理部は、ＡＦ処理における評価処理を実行するように構成されてもよい。
これにより、複数の画像処理部は、これら画像処理部の全体で、読み出し周期より短い時間（例えば半周期）ごとに処理を実行することができるので、ＡＦ処理の高速化を図ることができる。【００１５】
前記制御部は、前記撮像部に接続された複数の出力経路を介して画像信号を並列的にそれぞれ読み出すように構成されてもよい。【００１６】
本技術の他の撮像制御装置は、制御部と、複数の画像処理部とを具備する。
前記制御部は、複数の画素ラインを有する撮像部の、前記複数の画素ラインの画素ライン群ごとに生成された画像信号を所定の読み出し周期で読み出すように構成され、前記画像信号の並列的な読み出しのタイミングを前記読み出し周期より短い時間分（例えば半周期）ずらすように、前記撮像部の読み出し制御を実行するように構成される。
複数の画像処理部は、前記撮像部から読み出された前記画像信号をそれぞれ処理するように構成される。
複数の画像処理部により、読出し周期より短い時間（例えば半周期）ごとに処理を実行することができるので、処理の高速化を図ることができる。【００１７】
前記複数の画像処理部は、ＡＦ（Automatic Focus）処理における評価処理を実行するように構成されてもよい。
これにより、ＡＦ処理の高速化を図ることができる。【００１８】
本技術に係る撮像装置は、撮像部と、複数の出力経路と、制御部と、複数の画像処理部とを具備する。
前記撮像部は、複数の画素ラインを有する。
前記複数の出力経路は、前記複数の画素ラインのうち画素ライン群ごとに前記撮像部に接続可能に構成される。
前記制御部は、前記画素ライン群ごとに異なる撮像条件を設定するように構成され、前記異なる撮像条件で前記画素ライン群でそれぞれ生成された画像信号を、前記複数の出力経路を介して読み出すように、前記撮像部の読み出し制御を実行するように構成される。
前記複数の画像処理部は、前記撮像部から読み出された前記画像信号をそれぞれ処理するように構成される。【００１９】
本技術に係る撮像システムは、上記撮像装置の、撮像部、複数の出力経路、制御部、および複数の画像処理部を具備する。【００２０】
本技術に係る撮像制御方法は、複数の画素ラインを有する撮像部の、前記複数の画素ラインのうち画素ライン群ごとに異なる撮像条件でそれぞれ生成された画像信号を並列的に読み出すように、前記撮像部の読み出し制御を実行することを含む。
前記撮像部から読み出された前記画像信号がそれぞれ処理される。
【発明の効果】
【００２１】
以上、本技術によれば、撮像に関連する処理の高速化または高精度化を図ることができる。【００２２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２３】
【図１】図１は、本技術の一実施形態に係る撮像装置の構成を示すブロック図である。
【図２】図２は、例えば固体撮像素子がＣＭＯＳイメージセンサである場合の、固体撮像素子の構成例を示す。
【図３】図３は、主に画像処理回路の構成を示すブロック図である。
【図４】図４は、第１の実施形態に係る処理を示すフローチャートである。
【図５】図５は、第１の実施形態を説明するための画像例を示す。
【図６】図６は、第２の実施形態を説明するための画像例を示す。
【図７】図７は、第３の実施形態を説明するための画像例を示す。
【図８】図８は、第３の実施形態において読み出される画像フレームごとのタイミングを示す図である。
【図９】図９は、第３の実施形態の処理を示すフローチャートである。
【図１０】図１０は、第４の実施形態を説明するための画像例を示す。
【図１１】図１１は、本技術の他の構成例に係る固体撮像素子の構成を示す。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら、本技術の実施形態を説明する。
１．撮像装置の構成例１
【００２５】
図１は、本技術の一実施形態に係る撮像装置の構成を示すブロック図である。
【００２６】
撮像装置１００は、光学部品１０、固体撮像素子２０、画像処理回路３０、出力部５１、表示部５２、駆動部５３、タイミングジェネレータ５４、および制御部４０等を主に備える。
【００２７】
光学部品１０は、レンズ１１、絞り１２等を有し、その他、図示しない光学フィルタ等を有していてもよい。被写体からの光は、この光学部品１０を介して固体撮像素子２０に入射される。
【００２８】
固体撮像素子２０は、「撮像部」として機能し、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサである。この場合、画素アレイと駆動回路とが積層される積層型であってもよいし、そうでなくてもよい。
【００２９】
画像処理回路３０は、固体撮像素子２０から出力された画像信号を取り込み、所定の画像処理を実行する。本実施形態に係る画像処理回路３０は、後述するように並列処理型の回路であり、例えば２つの画像処理部が並列的に画像処理を実行する。
【００３０】
出力部５１は、画像処理回路３０を介して得られるデジタル信号を表示部５２に出力するために必要な変換処理を行う。表示部５２は、出力部５１で処理された画像を表示する。本実施形態に係る表示部５２は、主に、後述するように画像処理回路３０で間引かれて読み出された間引き画像をそのまま表示する、いわゆるスルー画の表示を行う。
【００３１】
駆動部５３は、例えば制御部４０によるＡＦ（Automatic Focus）処理を実行するために、制御部４０からの指示に基づいてレンズ１１を駆動する。駆動部５３は、さらにＡＥ（Automatic Exposure）処理のために、制御部４０の指示に基づいて、絞り１２を駆動する場合もある。
【００３２】
図２は、例えば固体撮像素子２０がＣＭＯＳイメージセンサである場合の、固体撮像素子２０の構成例を示す。
【００３３】
タイミングジェネレータ５４（図１参照）は、制御部４０からの指示に基づき、固体撮像素子２０の駆動同期信号を生成する。また、制御部４０は固体撮像素子２０内部に存在する、内部動作を決定するためのレジスタ群に対し、シリアル通信にてレジスタ値の設定を行う。
固体撮像素子２０はタイミングジェネレータ５４からの駆動同期信号と制御部４０からのレジスタ設定に基づいて、固体撮像素子２０内部にてフォトダイオード２２で蓄積された電荷を取り出すために必要なパルスを生成する。例えば、画素２１ごとに設けられた垂直転送用の画素選択スイッチ２４のON/OFFが画素ライン（つまり行）２０５ごとに制御される。また、垂直信号線２１３ａ、２１３ｂを選択するための水平転送用の列選択スイッチ２８ａ、２８ｂのON/OFFが制御される。
【００３４】
したがって、例えば制御部４０からのレジスタ設定に基づいてＡＥ処理を実行するための、電子シャッタスピード、つまり各画素の露光時間を制御することができる。
【００３５】
図１を参照して、制御部４０は、図示しないＣＰＵ（Central Processing Unit）およびメモリを主に有する。制御部４０は、固体撮像素子２０、画像処理回路３０、出力部５１、駆動部５３、およびタイミングジェネレータ５４の各部の動作を制御する。
【００３６】
少なくとも制御部４０および画像処理回路３０（の主に各画像処理部）が、「撮像制御装置」として機能する。
【００３７】
撮像装置１００は、上記各要素の他、ユーザによる操作が入力される操作部や、画像処理回路３０で処理された画像を外部機器へ出力するための外部端子等を備える場合もある。
【００３８】
図３は、主に画像処理回路３０の構成を示すブロック図である。画像処理回路３０は、並列処理が可能に構成された複数の画像処理部３１、３２を有する。説明の便宜上、画像処理部は２つあるとして、これらを第１の画像処理部３１および第２の画像処理部３２と称する。また、画像処理回路３０は、第１の画像処理部３１および第２の画像処理部３２のうち一方の処理の状況に応じて他方に処理の指示を送り、判断を行う判断／指示部３５を有する。判断／指示部３５の動作は、制御部４０によって制御される。
【００３９】
なお、判断／指示部３５は、制御部内に組み込まれた要素であってもよい。
【００４０】
固体撮像素子２０には、画像信号を出力する複数の出力経路３６、３７が接続されている。説明の便宜上、出力経路は２つあるとして、これらを第１の出力経路３６および第２の出力経路３７と称する。固体撮像素子２０で生成された画像信号は、第１の出力経路３６を介して第１の画像処理部３１に入力され、また、第２の出力経路３７を介して第２の画像処理部３２に入力される。
【００４１】
図２に示すように、固体撮像素子２０の画素アレイ２０１は、垂直方向に配列された上述の複数の画素ライン２０５を有する。１つの画素ライン２０５は、水平方向に配列された複数の画素２１により構成される。各画素２１は、上記フォトダイオード２２および増幅器２３を備える。
【００４２】
第１の出力経路３６は、例えば１、３、５、・・・、２ｎ−１の行である奇数行の画素ライン群に、画素選択スイッチ２４により接続可能に構成されている。説明の便宜上、これら奇数行の画素ライン群を画素ライン群Ａとする。一方、第２の出力経路３７は、例えば２、４、６、・・・、２ｎの行である偶数行の画素ライン群に、画素選択スイッチ２４により接続可能に構成されている。説明の便宜上、これら偶数行の画素ライン群を画素ライン群Ｂとする。
【００４３】
第１の画素ライン群Ａを奇数行の画素ラインとし、第２の画素ライン群Ｂを偶数行の画素ラインとして、１行おきに画素ライン群Ａ、Ｂの各ラインが配置される形態に限られない。例えば、２行おきまたは数行おきなど、所定数行おきに、画素ライン群Ａのラインと画素ライン群Ｂのラインとが配置されていてもよい。
【００４４】
固体撮像素子２０は、列ごと、すなわち垂直信号線２１３ａごと、また垂直信号線２１３ｂごとにＣＤＳ（Correlated Double Sampling）回路２５およびＡＤＣ（Analog to Digital Converter）２６を備える。また、ＡＤＣ２６は内部にＰＧＣ（Programmable Gain Control）回路を備えており、制御部４０からのレジスタ設定に基づいてゲインを制御することができる。ＣＤＳ回路２５により画素信号のノイズが除去され、ＡＤＣ２６によりアナログ信号からデジタル信号に変換される。各垂直信号線２１３ａ、２１３ｂは、列選択スイッチ２８ａ、２８ｂを介して、水平信号線２１４ａ、２１４ｂにそれぞれ接続可能に構成されている。
【００４５】
水平信号線２１４ａは、例えば第１の出力経路３６に接続されている。水平信号線２１４ｂは、例えば第２の出力経路３７に接続されている。
【００４６】
２．撮像制御装置による処理の各実施形態
次に、上記のように構成された撮像装置１００における主に画像処理回路３０による処理の各実施形態について説明する。
１）第１の実施形態
図４は、制御部４０および画像処理回路３０によるＡＥ処理を示すフローチャートである。
【００４７】
制御部４０は、画素ライン群Ａおよび画素ライン群Ｂにそれぞれ異なる撮像条件、つまり露光条件を設定する（ステップ１０１）。露光条件は、上述した電子シャッタスピード、および、ＡＤＣ２６によるゲインのうち、少なくとも一方により設定される。説明の便宜上、画素ライン群Ａに設定された露光条件を設定Ａ、画素ライン群Ｂに設定された露光条件を設定Ｂとする。
【００４８】
設定Ａは、最初は、露光量が最も少なくなる設定であり、設定Ｂは、最初は、露光量が最も多くなる設定である。もちろん、これらは互いに逆であってもよい。
【００４９】
次に、制御部４０は、第１の出力経路３６および第２の出力経路３７を介して、並列的に、画素ライン群Ａおよび画素ライン群Ｂから画素信号を読み出す（ステップ１０２）。すなわち、設定Ａの露光条件による画素ライン群Ａからの画素信号の読み出しタイミングと、設定Ｂの露光条件による画素ライン群Ｂからの画素信号の読み出しタイミングとが同時となる。
【００５０】
第１の実施形態では、各画像処理部は、所定の間引き率（後述）で間引いて、画像信号を読み出すようになっている。すなわち、行間引き読み出しが実行される。例えば、第１の画像処理部３１へは、画素ライン群Ａのうち、画素ライン群Ａの行数より少ない行数の画素ライン２０５の画素信号が読み出される。また、第２の画像処理部３２へは、画素ライン群Ｂのうち、画素ライン群Ｂの行数より少ない行数の画素ライン２０５の画素信号が読み出される。
【００５１】
間引き率は、例えば３、５、７、あるいはそれ以上等に設定され得る。例えば間引き率が５の場合、奇数行のうち５行ごとに１行、また、偶数行のうち５行ごとに１行の画素ライン２０５から画像信号が読み出される。間引き率は、第１の画像処理部３１と第２の画像処理部３２とで同じでもよいし、異なっていてもよい。
【００５２】
なお、画素ライン群Ａ（またはＢ）の画素ライン数と同じライン数で生成された画像は、画素アレイ２０１全体で生成された画像に対して１／２のサイズとなるが、これは、本明細書でいう「間引き」された画像には当たらないものとする。
【００５３】
判断／指示部３５は、ＡＥにおける評価処理を、第１の画像処理部３１と第２の画像処理部３２において並列的に独立して実行させる（ステップ１０２）。この評価処理は、分割測光方式、中央部重点測光方式、平均測光方式、特定部分測光方式など、任意の測光方式による測光処理を含む。撮像装置１００は、ユーザの操作によりこれの方式のうち１つを選択できるようなプログラムを有していてもよい。
【００５４】
例えば、図５に示すように、山と空を背景として人物を撮影する場合について説明する。第１の画像処理部３１および第２の画像処理部３２は、１フレームの画像を例えば縦横４×４の領域に分割した分割測光方式を用いて測光処理を実行する。図では、第１の画像処理部３１側において、丸印が付された領域の露光量（輝度）が、例えば参照基準となる閾値を超え、合格（ＯＫ）とされる。第２の画像処理部３２側において、丸印が付された領域の輝度が、例えば参照基準となる閾値以下となりＯＫとされる。このように、各画像処理部３１、３２は、測光処理の結果、その領域がＯＫかＮＧかを示す評価値を作成する。
【００５５】
なお、閾値は、第１の画像処理部３１と第２の画像処理部３２とで同じでもよいし、異なっていてもよい。閾値は範囲（幅）を持っていてもよく、この場合、測定対象の輝度が所定の範囲内に収まっているか否かにより、評価値が作成される。
【００５６】
第１の画像処理部３１では、人物の画像領域付近の輝度が閾値以下となりＮＧとされ、それ以外の領域の輝度は、閾値を超えてＯＫとされる。一方、第２の画像処理部３２では、人物の画像領域付近の輝度は、閾値以下となりＯＫとされ、それ以外の領域の輝度は、閾値を超えてＮＧとされる。
【００５７】
判断／指示部３５は、すべての分割領域の評価値のうち少なくとも１つのＮＧがあると判断した場合（ステップ１０３のNo）、その情報を制御部４０に送る。この場合、制御部４０は、設定Ａについて、上述の最初の設定に比べ露光量を一段階高くなるように設定し、設定Ｂについて、上述の最初の設定に比べ露光量を一段階低くなるように設定する（ステップ１０４）。そして、画像処理回路３０は、ステップ１０２、１０３を順にさらに実行する。
【００５８】
ステップ１０２〜１０４のループ処理では、評価値を作成するための閾値は、ループごとに変わっていくようにしてもよい。
【００５９】
２順目のステップ１０２では、判断／指示部３５は、前回（１順目）のステップ１０２で第１の画像処理部３１および第２の画像処理部３２の両方でＮＧとされた分割領域のみを測光するようにしてもよい。あるいは、各画像処理部は、前回のステップ１０２における各画像処理部での評価結果に関わらず、すべての分割領域の評価値を再度作成するようにしてもよい。
【００６０】
ステップ１０３で、すべての分割領域の評価値がＯＫとなった場合、制御部４０は、ＡＥ処理を終了する。
【００６１】
なお、ＡＥ処理では、制御部４０は、上記電子シャッタおよび／またはゲインの制御に加えて、駆動部５３により絞り１２の絞り値を制御してもよい。
【００６２】
以上のように、制御部４０は、画素ライン群Ａごと、および画素ライン群Ｂごとに異なる露光条件でそれぞれ生成された画像信号についての並列的な読み出し制御を実行し、第１の画像処理部３１および第２の画像処理部３２がそれらの画像信号をそれぞれ並列的に処理する。すなわち、第１の画像処理部３１および第２の画像処理部３２における、ＡＥの評価処理が並列的に高速に実行されるので、ＡＥ処理の高速化を図ることができる。
【００６３】
なお、第１の実施形態では、制御部４０は、第１の画像処理部３１および第２の画像処理部３２のうちいずれか一方で処理された画像を、スルー画として表示部５２に表示させることができる。
【００６４】
２）第２の実施形態
図６は、第２の実施形態として、制御部４０および画像処理部によるＡＥ処理の他の処理例を説明するための図である。ここでは、上記第１の実施形態と異なる点を中心に説明し、同様の事項は省略しまたは簡略化して説明する。
【００６５】
第２の実施形態では、制御部４０は、第１の出力経路３６を介して、上記第１の実施形態と同様に画素ライン群Ａのうち所定の画素ライン群（第１の画素ライン群）から行間引き読み出しを実行する。
【００６６】
一方、制御部４０は、第２の出力経路３７を介して、画素ライン群Ｂで生成された全体画像のうち一部の領域（一部の画素ライン）の画像であって、間引かれない画像である部分画像を読み出す。
【００６７】
部分画像は、例えば画素ライン群Ｂで生成される全体画像のうち、次のような領域の画像である。その領域とは、例えば、中央部の領域、上端部の領域、下端部の領域、ユーザにより設定された任意の領域、または、これらのように静的に設定された領域ではなく、制御部４０が所定のアルゴリズムにしたがって動的に設定した領域である。制御部４０が動的に設定した領域とは、例えば、顔検出、自動車のナンバープレート検出等、特定の物体検出等のアルゴリズムによって検出した対象物の画像を含む領域である。
【００６８】
部分画像を生成する画素ライン数は、典型的には、第１の画像処理部３１での間引き率に応じて決定される。例えばその画素ライン数は、第１の画像処理部３１で間引き率が５である場合、部分画像のサイズが、画素ライン群Ｂで生成される全体画像の１／５のサイズとなるようなライン数である。
【００６９】
図６に示した例では、第２の画像処理部３２へ読み出される部分画像は、上記顔検出のアルゴリズムによって検出された人物の顔を含む領域の画像である。ただし、この場合、第２の画像処理部３２では、顔検出処理によって、第１の画像処理部３１による処理に比べ１フレーム分の遅延が発生する。
【００７０】
各画像処理部でのＡＥにおける評価処理は、上記第１の実施形態と基本的に同様であり、例えば分割測光方式により、評価値が作成される（図４参照）。
【００７１】
第２の実施形態では、第２の画像処理部３２で処理された部分画像は、間引かれていない高解像度の画像であるので、ＡＥ処理において部分画像内の測光精度を高めることができる。その結果、部分的に高精度なＡＥ処理を行うことができる。
【００７２】
第２の実施形態では、制御部４０は、第１の画像処理部３１から出力された間引き画像を、スルー画として表示部５２に表示させることができる。
【００７３】
３）第３の実施形態
次に、撮像装置１００における主に画像処理回路３０によるＡＦ処理の例について説明する。図７は、そのＡＦ処理を説明するための図である。
【００７４】
第３の実施形態では、制御部４０は、画素ライン群Ａから第１の出力経路３６を介して第１の画像処理部３１へ読み出される画像、および、画素ライン群Ｂから第２の出力経路３７を介して第２の画像処理部３２へ読み出される画像は、上記第１の実施形態と同様に、間引き画像である。
【００７５】
第３の実施形態では、画素ライン群Ａでの露光条件の設定Ａと、画素ライン群Ｂでの露光条件の設定Ｂは、同じでもよいし、異なっていてもよい。異なる場合については、後述の第６の実施形態で説明する。
【００７６】
第３の実施形態では、制御部４０および画像処理回路３０は、ＡＦ処理（例えばコントラストＡＦ処理）を実行する。ＡＦ処理では、制御部４０は駆動部５３に指示を送り、例えば所定の方向に光学部品１０を移動させる。光学部品１０の移動により、固体撮像素子２０は、フォーカスの異なる画像フレームを出力する。
【００７７】
図８は、制御部４０の指示に基づき読み出される画像フレームごとのタイミングを示す図である。図に示すように、第１の画像処理部３１への画像フレームの読み出し周期は、タイミングジェネレータ５４から発生する同期信号Ａに同期する。第２の画像処理部３２への画像フレームの読み出し周期は、同期信号Ｂに同期する。同期信号Ｂは、例えば同期信号Ａに基づき固体撮像素子２０の内部で生成される信号である。同期信号ＡおよびＢの周期は同じであるが、それら同期信号の発生タイミングは、その周期より短い期間内で、互いにずれている。典型的には、１／２周期分ずれている。
【００７８】
すなわち、制御部４０は、２つの出力経路３６、３７間で、読み出し周期より短い時間分（例えば１／２周期）ずらすように、読み出し制御を実行する。
【００７９】
２つの出力経路３６、３７間での読み出し周期のずれは、１／２周期でなくてもよく、１／３や１／４であってもよい。例えば、出力経路数がｎである場合、それらの出力経路間での読み出し周期のずれは、１／ｎとされてもよい。
【００８０】
図９は、第３の実施形態における、制御部４０および画像処理回路３０による動作を示すフローチャートである。
【００８１】
上述したように、制御部４０は、２つの出力経路３６、３７間で、読み出し周期をずらして、各画像信号を読み出す（ステップ２０１）。上記のように第１の画像処理部３１および第２の画像処理部３２は、制御部４０から送られる同期信号に基づき固体撮像素子２０から出力される、フォーカスの異なる画像フレームを順次取得する。
【００８２】
画像処理回路３０は、コントラストＡＦ処理における評価処理を実行する（ステップ２０２）。ステップ２０２では、第２の画像処理部３２は、第１の画像処理部３１の処理より１／２周期分遅れて、以下のステップ２０２−１、２０２−２、２０２−３、２０２−４をそれぞれ実行する。
【００８３】
両画像処理部３１、３２は、例えば画像内の特定領域を検出し（ステップ２０２−１）、ここでは上述のような顔検出処理をそれぞれ実行し、その顔の画像を含む領域にフォーカス位置を設定する（ステップ２０２−２）。もちろん、顔検出に限られず、第２の実施形態で説明したように静的または動的に設定された領域にフォーカス位置が設定されてもよい。両画像処理部３１、３２は、設定されたフォーカス位置を含む所定領域内の輝度のコントラスト値（評価値）を算出し（ステップ２０２−３）、その評価値を制御部４０に出力する（ステップ２０３−４）。
【００８４】
コントラスト値の算出アルゴリズムは、公知の種々のものを適用することができる。
【００８５】
制御部４０は、判断／指示部３５から得た評価値が最大となるように、光学部品１０の駆動を制御する。
【００８６】
以上のように、制御部４０は、２つの出力経路間で１／２周期分ずらすように、読み出し制御を実行することにより、読み出しおよび評価処理のフレームレートが、１つの画像処理部による場合に比べて２倍となる。その結果、画像処理回路３０内での評価処理の速度が、１つの画像処理部による評価処理の速度の２倍になる。その結果、ＡＦ処理の高速化を図ることができる。
【００８７】
なお、第３の実施形態においても、画素ライン群Ａ、Ｂの画像信号の読み出しの間引き率は同じであってもよいし、異なっていてもよい。
【００８８】
４）第４の実施形態
図１０は、第４の実施形態として、制御部４０および画像処理回路３０によるＡＦ処理の他の処理例を説明するための図である。ここでは、上記第３の実施形態と異なる点を中心に説明し、同様の事項は省略しまたは簡略化して説明する。
【００８９】
第４の実施形態では、制御部４０は、第１の出力経路３６を介して行間引き読み出しを実行する。また、制御部４０は、第２の出力経路３７を介して、間引かれない画像であって、画素ライン群Ｂで生成された全体画像のうち部分画像を並列的に（同じタイミングで受ける同期信号に応じて）読み出す。すなわち、第２の実施形態と同様である。
【００９０】
第４の実施形態では、画素ライン群Ａでの露光条件の設定Ａと、画素ライン群Ｂでの露光条件の設定Ｂは、同じでもよいし、異なっていてもよい。
【００９１】
画像処理回路３０は、図９のステップ２０２と同様なＡＦ処理のための評価処理を実行する。ただし第４の実施形態では、第３の実施形態とは異なり、第１の画像処理部３１および第２の画像処理部３２は、同じタイミングで受ける同期信号に応じて各処理を実行する。
【００９２】
第４の実施形態では、第２の画像処理部３２で処理される部分画像が、間引かれていない高解像度の画像である。したがって、ＡＦ処理において部分画像内の評価精度を高めることができる。その結果、部分的に高精度なＡＦ処理を行うことができる。
【００９３】
５）第５の実施形態
第５の実施形態に係る処理として、上記した第４の実施形態と第３の実施形態とを組み合わせてもよい。すなわち、制御部４０は、第１の出力経路３６を介して行間引き画像を読み出し、読み出し周期を第３の実施形態のようにずらして、第２の出力経路３７を介して部分画像を読み出す。そして、画像処理回路３０は、それら行間引き画像および部分画像に対して、第３の実施形態のようにタイミングをずらして各処理を実行する。これにより、部分的に高精度なＡＦ処理および高速なＡＦ処理を実現できる。
【００９４】
６）第６の実施形態
第６の実施形態に係る処理として、例えば、撮像制御装置は、上述した第４の実施形態等のＡＦ処理前に測光処理（ＡＥ処理における評価処理）を実行することもできる。
【００９５】
ＡＦ処理において、上記第４の実施形態に示したように、制御部４０は、第１の出力経路３６を介して間引き画像を読み出し、第２の出力経路３７を介して部分画像を読み出す。これら間引き画像および部分画像の明るさ（例えば分割測光により測定した値の平均値や代表値など）が閾値以下の場合、つまり両画像の明るさがあまり変わらない場合、上述した露光条件の設定Ａと設定Ｂは同じ設定になる。
【００９６】
しかし例えば、行間引き読み出しの時の間引き画像の画角（画の範囲）と、部分画像の画角とが異なる場合、それぞれの明るさが異なる場合が予想される。例えば、第２の実施形態の図５で説明したように、間引き画像では背景として山頂まで映り込んでおり、かつ例えばその山頂付近が非常に明るい場合がある。この場合、間引き画像の測光処理結果と、山頂が映り込んでいない部分画像の測光処理結果が違いが生じる、したがって、最適な露光状態でＡＦ処理が行われるためには、露光条件である設定ＡとＢを異ならせるようにすることが望ましい。
【００９７】
したがってこの場合、撮像制御装置は、第２の実施形態のように、露光条件の設定ＡとＢを異なる設定として測光処理し、その設定ＡおよびＢの露光条件において、第４の実施形態または５のＡＦ処理を実行することができる。これにより、高速および／または高精度で、かつ、最適な露光条件におけるＡＦ処理の実現が可能となる。
【００９８】
７）第７の実施形態
第７の実施形態は、上記第６の実施形態と同様に、ＡＦ処理前に測光処理（ＡＥ処理における評価処理）を実行する例について説明する。
【００９９】
例えば、第１の画像処理部３１はＡＦ処理のための評価処理を実行し、間引き画像をスルー画として出力部５１を介して表示部５２に出力する。一方、第２の画像処理部３２は、第４の実施形態のように、部分画像を取得しその部分画像は表示部５２には表示されずに（バックグランドで）高精度ＡＦ処理のための評価処理を実行する。
【０１００】
ここで、暗時の撮影を想定すると、スルー画は暗すぎてＡＦ処理に適さない。しかし、部分画像はスルー画として出力されないため、制御部４０は、ＡＦ処理に適した、露光量を増やすような設定Ｂを設定することができる。これにより、高精度なＡＦ処理が可能となる。
【０１０１】
２．撮像装置の構成例２
【０１０２】
図１１は、本技術の他の構成例に係る固体撮像素子の構成を示す。上記第１の実施形態に係る固体撮像素子２０では、各画素ライン２０５とその出力経路３６または３７とが予め１対１で決まっていた。しかし、この構成例に係る固体撮像素子１２０では、各画素２１が複数の出力線２９ａ、２９ｂを有し、これらが画素選択スイッチ２４ａ、２４ｂにより、垂直信号線２１３ａ、２１３ｂにそれぞれ接続可能となっている。垂直信号線２１３ａは、列選択スイッチ２８ａを介して水平信号線２１４ａに接続可能とされ、垂直信号線２１３ｂは、列選択スイッチ２８ｂを介して水平信号線２１４ｂに接続可能とされる。
【０１０３】
このような構成によれば、画素選択スイッチ２４ａと２４ｂとが切り替えられることにより、１つの画素ライン２０５の出力経路を切り替えることができる。
【０１０４】
なお、画素選択スイッチ２４ａ、２４ｂの両方がONとされることにより、１つの画素ライン２０５で生成された画像信号を、両出力経路に同時に出力することができる。
【０１０５】
本実施形態に係る固体撮像素子１２０の変形例として、１列の画素群に対して垂直信号線が３本以上設けられ、それらの垂直信号線が、１つの画素に対して画素選択スイッチによりそれぞれ接続可能とされてもよい。この場合において、例えば２つの出力経路が設けられる場合には、垂直信号線数が多いほど、画像信号を出力させるべき画素ラインの選択の自由度を高めることができる。
【０１０６】
３．その他の実施形態
【０１０７】
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【０１０８】
固体撮像素子２０は、ＣＣＤ（Charge Coupled Device）イメージセンサであってもよい。この場合も、撮像装置１００は、複数の出力経路および複数の画像処理部を備えることにより、上記の各実施形態を実現することができる。
【０１０９】
上記第１〜７の実施形態において、少なくとも一方の出力経路から行間引き読み出しが実行された。しかし、例えば画素ライン群Ａで生成されたすべての画像信号が出力経路が読み出され、これが第１の画像処理部３１で処理されてもよい。
【０１１０】
固体撮像素子２０は、２つの出力経路を有していたが、例えば４つ以上の出力経路を有していてもよい。その場合、画像処理回路３０は、出力経路数に応じて４つ以上の画像処理部を有していてもよい。
【０１１１】
上記実施形態に係る固体撮像素子は、画素ライン群の選択がハードウェアにより制限を受けていた。しかし、固体撮像素子が生成した画像信号をフレーム単位でバッファリングできるフレームバッファを備えていてもよい。この場合、制御部がフレームバッファにアクセスして、ソフトウェア処理により出力経路３６、３７から出力させる画素ラインを自由に選択するように構成することができる。
【０１１２】
図１に示した撮像装置１００が備える各要素が、物理的に少なくとも２つの別体の装置に組み込まれていてもよい。この場合、撮像装置は撮像システムを構成する。
【０１１３】
以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。
【０１１４】
本技術は以下のような構成もとることができる。
（１）
複数の画素ラインを有する撮像部の、前記複数の画素ラインのうち画素ライン群ごとに異なる撮像条件でそれぞれ生成された画像信号を並列的に読み出すように、前記撮像部の読み出し制御を実行するように構成された制御部と、
前記撮像部から読み出された前記画像信号をそれぞれ処理するように構成された複数の画像処理部と
を具備する撮像制御装置。
（２）
前記（１）に記載の撮像制御装置であって、
前記制御部は、各画素ライン群から行間引き読み出しを実行するように構成され、
前記複数の画像処理部は、前記行間引き読み出しにより読み出された間引き画像をそれぞれ処理するように構成される
撮像制御装置。
（３）
前記（２）に記載の撮像制御装置であって、
前記制御部は、前記画素ライン群ごとに異なる露光条件で生成された画像信号を前記撮像部から読み出す制御を実行するように構成され、
前記複数の画像処理部は、ＡＥ（Automatic Exposure）処理における評価処理をそれぞれ実行するように構成される
撮像制御装置。
（４）
前記（２）に記載の撮像制御装置であって、
前記制御部は、前記画素ライン群ごとに異なる露光条件で生成された画像信号を前記撮像部から読み出す制御を実行するように構成され、
前記複数の画像処理部は、ＡＦ（Automatic Focus）処理における評価処理をそれぞれ実行するように構成される
撮像制御装置。
（５）
前記（１）に記載の撮像制御装置であって、
前記制御部は、前記複数の画素ラインのうち第１の画素ライン群から行間引き読み出しを実行し、前記第１の画素ライン群とは異なる第２の画素ライン群で生成される全体画像のうち一部の領域の画像であって間引かれない画像である部分画像の読み出しを実行するように構成され、
前記複数の画像処理部は、前記行間引き読み出しにより読み出された前記間引き画像、および前記部分画像をそれぞれ処理するように構成される
撮像制御装置。
（６）
前記（５）に記載の撮像制御装置であって、
前記制御部は、前記画素ライン群ごとに異なる露光条件で生成された画像信号を前記撮像部から読み出す制御を実行するように構成され、
前記複数の画像処理部は、ＡＥ処理における評価処理をそれぞれ実行するように構成される
撮像制御装置。
（７）
前記（５）に記載の撮像制御装置であって、
前記制御部は、前記画素ライン群ごとに異なる露光条件で生成された画像信号を前記撮像部から読み出す制御を実行するように構成され、
前記複数の画像処理部は、ＡＦ処理における評価処理をそれぞれ実行するように構成される
撮像制御装置。
（８）
前記（１）に記載の撮像制御装置であって、
前記制御部は、前記画像信号を所定の読み出し周期で読み出し、並列的なその読み出しのタイミングを、前記読み出し周期より短い時間分ずらすように、前記読み出し制御を実行するように構成され、
前記複数の画像処理部は、ＡＦ処理における評価処理を実行するように構成される
撮像制御装置。
（９）
前記（１）から（８）のうちいずれか１つに記載の撮像制御装置であって、
前記制御部は、前記撮像部に接続された複数の出力経路を介して画像信号を並列的にそれぞれ読み出すように構成される
撮像制御装置。
（１０）
複数の画素ラインを有する撮像部の、前記複数の画素ラインの画素ライン群ごとに生成された画像信号を所定の読み出し周期で読み出すように構成され、前記画像信号の並列的な読み出しのタイミングを前記読み出し周期より短い時間分ずらすように、前記撮像部の読み出し制御を実行するように構成された制御部と、
前記撮像部から読み出された前記画像信号をそれぞれ処理するように構成された複数の画像処理部と
を具備する撮像制御装置。
（１１）
前記（９）に記載の撮像制御装置であって、
前記複数の画像処理部は、ＡＦ（Automatic Focus）処理における評価処理を実行するように構成される
撮像制御装置。
（１２）
複数の画素ラインを有する撮像部と、
前記複数の画素ラインのうち画素ライン群ごとに前記撮像部に接続可能に構成された複数の出力経路と、
前記画素ライン群ごとに異なる撮像条件を設定するように構成され、前記異なる撮像条件で前記画素ライン群でそれぞれ生成された画像信号を、前記複数の出力経路を介して読み出すように、前記撮像部の読み出し制御を実行するように構成された制御部と、
前記撮像部から読み出された前記画像信号をそれぞれ処理するように構成された複数の画像処理部と
を具備する撮像装置。
（１３）
複数の画素ラインを有する撮像部と、
前記複数の画素ラインのうち画素ライン群ごとに前記撮像部に接続可能に構成された複数の出力経路と、
前記画素ライン群ごとに異なる撮像条件を設定するように構成され、前記異なる撮像条件で前記画素ライン群でそれぞれ生成された画像信号を、前記複数の出力経路を介して読み出すように、前記撮像部の読み出し制御を実行するように構成された制御部と、
前記撮像部から読み出された前記画像信号をそれぞれ処理するように構成された複数の画像処理部と
を具備する撮像システム。
（１４）
複数の画素ラインを有する撮像部の、前記複数の画素ラインのうち画素ライン群ごとに異なる撮像条件でそれぞれ生成された画像信号を並列的に読み出すように、前記撮像部の読み出し制御を実行し、
前記撮像部から読み出された前記画像信号をそれぞれ処理する
撮像制御方法。
【符号の説明】
【０１１５】
２０、１２０…固体撮像素子
３０…画像処理回路
３１…第１の画像処理部
３２…第２の画像処理部
３６…第１の出力経路
３７…第２の出力経路
４０…制御部
１００…撮像装置
２０１…画素アレイ
２０５…画素ライン
【図１】
0006583268.tif 000002
【図２】
0006583268.tif 000003
【図３】
0006583268.tif 000004
【図４】
0006583268.tif 000005
【図５】
0006583268.tif 000006
【図６】
0006583268.tif 000007
【図７】
0006583268.tif 000008
【図８】
0006583268.tif 000009
【図９】
0006583268.tif 000010
【図１０】
0006583268.tif 000011
【図１１】
0006583268.tif 000012