(57)【要約】【課題】関心領域（ＲＯＩ）のみを高解像度で出力する撮像素子の消費電力を低減する。【解決手段】撮像素子は、所定方向に配置された画素行を所定方向の垂直方向に配置した２次元の画素アレイにおいて、所定の領域を含む第１の画素行については高解像度による撮像を行い、それ以外の第２の画素行については低解像度による撮像を行う。第１の画像処理部は、第１の画素行の撮像信号に基づいて所定の領域の画像を生成する。画素加算部は、第１の画素行の撮像信号について画素間の加算処理を施して、第２の画素行の撮像信号と同じ解像度にする。第２の画像処理部は、第２の画素行の撮像信号および加算処理が施された第１の画素行の撮像信号に基づいて全領域の画像を生成する。【選択図】図１
2019134202.tif 000002
【特許請求の範囲】
【請求項１】
所定方向に配置された画素行を前記所定方向の垂直方向に配置した２次元の画素アレイにおいて所定の領域を含む第１の画素行については所定の解像度による撮像を行い、前記第１の画素行以外の第２の画素行については前記所定の解像度よりも低い解像度による撮像を行う撮像素子と、
前記第１の画素行の撮像信号に基づいて前記所定の領域の画像を生成する第１の画像処理部と、
前記第１の画素行の撮像信号について画素間の加算処理を施して前記第２の画素行の撮像信号と同じ解像度にする画素加算部と、
前記第２の画素行の撮像信号および前記加算処理が施された前記第１の画素行の撮像信号に基づいて全領域の画像を生成する第２の画像処理部と
を具備する撮像装置。
【請求項２】
前記全領域の画像の時系列の変化に従って動きを検出する動き検出処理部と、
前記動きが検出されている領域を前記所定の領域として前記第１の画素行を撮像するよう前記撮像素子を制御する制御部と
をさらに具備する請求項１記載の撮像装置。
【請求項３】
前記制御部は、前記動きが検出されていない状態から前記動きが検出されている状態に遷移したときにフレームレートを上げるよう前記撮像素子を制御する
請求項２記載の撮像装置。
【請求項４】
前記制御部は、前記動きが検出されている領域の移動速度に応じてフレームレートを変化させるよう前記撮像素子を制御する
請求項２記載の撮像装置。
【請求項５】
前記制御部は、前記全領域の画像において移動速度の異なる動体が複数検出された場合にはそれら動体を包含する領域を前記所定の領域として前記第１の画素行を撮像するよう前記撮像素子を制御する
請求項２記載の撮像装置。
【請求項６】
前記全領域の画像において前記動きが検出されている領域を基準として露光評価値を生成する露光評価値生成部をさらに具備し、
前記制御部は、前記露光評価値に基づいて露光を行うよう前記撮像素子を制御する
請求項２記載の撮像装置。
【請求項７】
前記撮像素子は、前記動きが検出されている状態においては、前記第１の画素行について前記所定の解像度による撮像を行うとともに前記第２の画素行については撮像を行わない第１のフレーム期間と、全ての画素行について前記所定の解像度よりも低い解像度による撮像を行う第２のフレーム期間とを交互に繰り返す
請求項２記載の撮像装置。
【請求項８】
前記撮像素子は、前記動きが検出されている状態においてのみ前記第１の画素行について前記所定の解像度による撮像を行う
請求項２記載の撮像装置。
【請求項９】
前記第１の画像処理部によって生成された前記所定の領域の画像を出力する出力処理部をさらに具備する請求項１記載の撮像装置。
【請求項１０】
所定方向に配置された画素行を前記所定方向の垂直方向に配置した２次元の画素アレイにおいて所定の領域を含む第１の画素行については所定の解像度による撮像を行い、前記第１の画素行以外の第２の画素行については前記所定の解像度よりも低い解像度による撮像を行う撮像素子において、
前記第１の画素行の撮像信号に基づいて前記所定の領域の画像を生成する第１の画像処理手順と、
前記第１の画素行の撮像信号について画素間の加算処理を施して前記第２の画素行の撮像信号と同じ解像度にする画素加算手順と、
前記第２の画素行の撮像信号および前記加算処理が施された前記第１の画素行の撮像信号に基づいて全領域の画像を生成する第２の画像処理手順と
を具備する撮像素子の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置に関する。詳しくは、画像を撮像する撮像素子を備える撮像装置およびその撮像素子の制御方法に関する。
【背景技術】
【０００２】
画像処理等を行う際、画像内の特定の領域に着目して処理が行われることがある。この場合の領域は関心領域（ＲＯＩ：Region Of Interest）と呼ばれる。撮像装置において、このような特定の領域に絞って撮像を行えば消費電力を低減することが期待される。そのため、例えば、第１の撮像部で得られた第１の画像において注目被写体領域を判別し、その注目被写体領域に応じて第２の撮像部を制御して、第２の画像を得る撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２１９９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、注目被写体領域に応じて画像を撮像するよう制御を行っていた。しかしながら、注目被写体領域を判別する第１の画像の撮像と注目被写体領域に応じた第２の画像の撮像とを分けて行うため、消費電力を十分に低減することができなくなるおそれがある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、関心領域のみを高解像度で出力する撮像素子の消費電力を低減することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定方向に配置された画素行を上記所定方向の垂直方向に配置した２次元の画素アレイにおいて所定の領域を含む第１の画素行については所定の解像度による撮像を行い、上記第１の画素行以外の第２の画素行については上記所定の解像度よりも低い解像度による撮像を行う撮像素子と、上記第１の画素行の撮像信号に基づいて上記所定の領域の画像を生成する第１の画像処理部と、上記第１の画素行の撮像信号について画素間の加算処理を施して上記第２の画素行の撮像信号と同じ解像度にする画素加算部と、上記第２の画素行の撮像信号および上記加算処理が施された上記第１の画素行の撮像信号に基づいて全領域の画像を生成する第２の画像処理部とを具備する撮像装置および撮像素子の制御方法である。これにより、所定の領域のみを高解像度で撮像して出力し、全領域の画像については低高解像度で撮像することにより、撮像素子の消費電力を低減するという作用をもたらす。
【０００７】
また、この第１の側面において、上記全領域の画像の時系列の変化に従って動きを検出する動き検出処理部と、上記動きが検出されている領域を上記所定の領域として上記第１の画素行を撮像するよう上記撮像素子を制御する制御部とをさらに具備してもよい。これにより、低高解像度で撮像した全領域の画像において動きを検出して所定の領域として追従させるという作用をもたらす。
【０００８】
また、この第１の側面において、上記制御部は、上記動きが検出されていない状態から上記動きが検出されている状態に遷移したときにフレームレートを上げるよう上記撮像素子を制御するようにしてもよい。これにより、フレームレートを上げて領域予測をさせるという作用をもたらす。
【０００９】
また、この第１の側面において、上記制御部は、上記動きが検出されている領域の移動速度に応じてフレームレートを変化させるよう上記撮像素子を制御するようにしてもよい。これにより、移動速度に応じてフレームレートをダイナミックに変化させるという作用をもたらす。
【００１０】
また、この第１の側面において、上記制御部は、上記全領域の画像において移動速度の異なる動体が複数検出された場合にはそれら動体を包含する領域を上記所定の領域として上記第１の画素行を撮像するよう上記撮像素子を制御するようにしてもよい。これにより、複数の動体をまとめて取り扱うという作用をもたらす。
【００１１】
また、この第１の側面において、上記全領域の画像において上記動きが検出されている領域を基準として露光評価値を生成する露光評価値生成部をさらに具備し、上記制御部は、上記露光評価値に基づいて露光を行うよう上記撮像素子を制御するようにしてもよい。これにより、動きが検出されている領域を基準として露光を行うという作用をもたらす。
【００１２】
また、この第１の側面において、上記撮像素子は、上記動きが検出されている状態においては、上記第１の画素行について上記所定の解像度による撮像を行うとともに上記第２の画素行については撮像を行わない第１のフレーム期間と、全ての画素行について上記所定の解像度よりも低い解像度による撮像を行う第２のフレーム期間とを交互に繰り返すようにしてもよい。これにより、フレーム期間毎に画素行の制御を共通化するという作用をもたらす。
【００１３】
また、この第１の側面において、上記撮像素子は、上記動きが検出されている状態においてのみ上記第１の画素行について上記所定の解像度による撮像を行うようにしてもよい。これにより、動き検出というイベントにより駆動するという作用をもたらす。
【００１４】
また、この第１の側面において、上記第１の画像処理部によって生成された上記所定の領域の画像を出力する出力処理部をさらに具備してもよい。これにより、所定の領域の画像のみを出力するという作用をもたらす。
【発明の効果】
【００１５】
本技術によれば、関心領域のみを高解像度で出力する撮像素子の消費電力を低減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本技術の実施の形態における撮像装置の構成例を示す図である。
【図２】本技術の実施の形態における撮像装置の基本的な動作例を示す図である。
【図３】本技術の実施の形態における撮像装置の画素読出しのタイミング例を示す図である。
【図４】本技術の実施の形態における領域予測の例を示す図である。
【図５】本技術の実施の形態における撮像装置の画素読出しの他のタイミング例を示す図である。
【図６】本技術の実施の形態において複数の動体が検出された場合の動作例を示す図である。
【図７】本技術の実施の形態において通常撮像とセンシング撮像を異なるフレームについて行う場合の動作例を示す図である。
【図８】本技術の実施の形態における画像内の各領域の撮像制御の判断例を示す流れ図である。
【図９】本技術の実施の形態における撮像装置の画素駆動の第１の例を示す図である。
【図１０】本技術の実施の形態の画素駆動の第１の例において想定する画素回路の一例を示す図である。
【図１１】本技術の実施の形態における画素駆動の第１の例において、ＲＯＩを含まないブロック行を読み出す際のタイミング例を示す図である。
【図１２】本技術の実施の形態における画素駆動の第１の例において、ＲＯＩを含むブロック行を読み出す際のタイミング例を示す図である。
【図１３】本技術の実施の形態における撮像装置の画素駆動の第２の例を示す図である。
【図１４】本技術の実施の形態の画素駆動の第２の例において想定する画素回路の一例を示す図である。
【図１５】本技術の実施の形態における画素駆動の第２の例において、ＲＯＩを含むブロック行を読み出す際のタイミング例を示す図である。
【図１６】本技術の実施の形態の画素駆動の第２の例において想定する画素回路の列駆動分割回路の一例を示す図である。
【図１７】本技術の実施の形態の画素駆動の第３の例において想定する画素回路の一例を示す図である。
【図１８】本技術の実施の形態における画素駆動の第３の例において、ＲＯＩを含むブロック行を読み出す際のタイミング例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．構成（撮像装置の構成例）
２．動作（撮像装置の動作例）
３．回路（画素駆動の実装例）
【００１８】
＜１．構成＞
［撮像装置の構成］
図１は、本技術の実施の形態における撮像装置の構成例を示す図である。この撮像装置は、撮像素子１００と、信号処理部２００と、システム制御部３００と、駆動部４００とを備える。
【００１９】
撮像素子１００は、被写体を撮像する画素を２次元に配置した画素アレイである。この撮像素子１００は、所定方向に配置された画素行を、所定方向の垂直方向に配置することにより画素アレイを構成する。画素行は、一般に水平方向に並ぶラインまたはライン群であり、この画素行を単位として露光および撮像が行われる。ただし、この画素行を垂直方向に並べて露光および撮像を行うようにしてもよい。
【００２０】
この撮像素子１００は、システム制御部３００からの制御に従って、駆動部４００によって駆動される。この撮像素子１００は、関心領域（ＲＯＩ）については高解像度による通常撮像を行い、他の領域については低解像度によるセンシング撮像を行う。
【００２１】
ここで、通常撮像は、画像を記録および表示等するための撮像であり、例えば２５６０画素×１４４０画素などの高解像度による撮像を行うものである。この通常撮像では、６０ｄＢ程度の通常のダイナミックレンジで、Ａ／Ｄ変換の際には例えば１０ビット程度の高いビットレートが想定される。また、例えばＲＧＢ等のカラー撮像が想定される。また、６０ｆｐｓ（フレーム／秒）程度の高フレームレートが想定される。
【００２２】
一方、センシング撮像は、動体を検出するための撮像であり、例えば１６画素×５画素などの低解像度による撮像を行うものである。このセンシング撮像では、１００ｄＢ程度の高いダイナミックレンジで、Ａ／Ｄ変換の際には例えば８ビット程度の低いビットレートが想定される。また、モノクロ撮像による、３０ｆｐｓ程度の低フレームレートが想定される。
【００２３】
なお、後述するように、撮像素子１００においては、領域を単位とするのではなく、画素行を単位として撮像が行われるため、ＲＯＩを含む画素行については高解像度により読み出した後に画素加算による低解像度化が行われる。
【００２４】
信号処理部２００は、撮像素子１００から読み出された撮像信号に対して信号処理を施すものである。この信号処理部２００は、高解像度領域画像処理部２１０と、画素加算部２２０と、低解像度領域画像処理部２３０と、動き検出処理部２４０と、露光評価値生成部２５０と、出力処理部２６０とを備える。
【００２５】
高解像度領域画像処理部２１０は、撮像素子１００において高解像度による通常撮像が行われたＲＯＩについて信号処理を行うものである。なお、高解像度領域画像処理部２１０は、特許請求の範囲に記載の第１の画像処理部の一例である。
【００２６】
画素加算部２２０は、撮像素子１００において高解像度による通常撮像が行われた画素行について、画素加算を行って低解像度化するものである。この画素加算部２２０による結果は、低解像度領域画像処理部２３０に供給される。
【００２７】
低解像度領域画像処理部２３０は、撮像素子１００において低解像度によるセンシング撮像が行われた撮像信号および画素加算部２２０によって低解像度化された撮像信号について信号処理を行うものである。この低解像度領域画像処理部２３０は、撮像素子１００において低解像度によるセンシング撮像が行われた撮像信号と、画素加算部２２０によって低解像度化された撮像信号とを併せた、低解像度の全領域について信号処理を行う。なお、低解像度領域画像処理部２３０は、特許請求の範囲に記載の第２の画像処理部の一例である。
【００２８】
動き検出処理部２４０は、低解像度領域画像処理部２３０により信号処理が施された全領域の画像の時系列の変化に従って、動きを検出するものである。この動き検出処理部２４０によって動きが検出された領域は、システム制御部３００および露光評価値生成部２５０に供給される。
【００２９】
露光評価値生成部２５０は、露光制御のための露光評価値（ＡＥ（Auto Exposure) 評価値）を生成するものである。この露光評価値生成部２５０は、低解像度領域画像処理部２３０により信号処理が施された全領域の画像において、動き検出処理部２４０によって動きが検出されている領域を基準として露光評価値を生成する。この露光評価値生成部２５０によって生成された露光評価値は、システム制御部３００に供給される。
【００３０】
出力処理部２６０は、高解像度領域画像処理部２１０によって信号処理が施されたＲＯＩの撮像信号を後段の処理に出力するものである。ここで、後段の処理としては、例えば、表示装置に出力するための表示制御や、記録媒体に記録するための記録制御などが想定される。なお、ここではＲＯＩの撮像信号を出力することを想定したが、低解像度領域画像処理部２３０によって信号処理が施された全領域の画像の撮像信号を出力するようにしてもよい。
【００３１】
システム制御部３００は、撮像装置全体を制御するものである。このシステム制御部３００は、例えば、動き検出処理部２４０によって動きが検出されている領域をＲＯＩとして高解像度により撮像するよう制御する。また、このシステム制御部３００は、例えば、露光評価値生成部２５０によって生成された露光評価値に基づいて撮像するよう制御する。なお、システム制御部３００は、特許請求の範囲に記載の制御部の一例である。
【００３２】
駆動部４００は、システム制御部３００からの制御に従って撮像素子１００を駆動するものである。
【００３３】
＜２．動作＞
［基本的な動作］
図２は、本技術の実施の形態における撮像装置の基本的な動作例を示す図である。
【００３４】
この例では、時刻Ｔ２からＴ４において、被写体中に動体が検出される。撮像素子１００は、動き検出処理部２４０によって動きが検出されている領域をＲＯＩとして、ＲＯＩを含む画素行について高解像度による画素読出しを行う。一方、ＲＯＩを含まない画素行については低解像度による画素読出しを行う。
【００３５】
撮像素子１００において高解像度による通常撮像が行われたＲＯＩについて高解像度領域画像処理部２１０が信号処理を行い、出力処理部２６０が出力する。すなわち、同図におけるセンサ出力が示すように、動きが検出されている期間に、動きが検出されている領域（ＲＯＩ）について出力が行われる。したがって、動きが検出されていない期間においては、画像は出力されない。換言すれば、撮像素子１００は、動き検出というイベントによって駆動されるイベントドリブンの撮像素子である。
【００３６】
撮像素子１００において高解像度による通常撮像が行われた画素行については画素加算部２２０による低解像度化が行われる。また、ＲＯＩを含まない画素行については低解像度による画素読出しが行われる。これにより、低解像度領域画像処理部２３０には、全領域の画像が低解像度により供給される。この低解像度の全領域の画像は、低解像度領域画像処理部２３０によって信号処理が行われ、動き検出処理部２４０による動き検出の処理対象となる。そのため、直前のＲＯＩ以外の領域に新たな動体が侵入した場合でも、全領域の画像から動きを検出することができる。また、動き検出処理部２４０は、一旦動きを検出した後は動体追跡を行い、時系列の次画像（フレーム）においてＲＯＩが移動する領域を予測しながら追従していく。
【００３７】
また、露光評価値生成部２５０は、動きが検出されている領域（ＲＯＩ）を基準として露光評価値を生成する。これにより、ＲＯＩにおいて適切な露光により、高解像度の撮像を行うことができる。
【００３８】
［動体検出直後のフレームレート］
図３は、本技術の実施の形態における撮像装置の画素読出しのタイミング例を示す図である。
【００３９】
この例では、時刻Ｔ３からＴ７において、被写体中に動体が検出される。時刻Ｔ１および時刻Ｔ２においては、被写体中に動きが検出されないため、低解像度によるセンシング読出し７０１のみが行われる。このとき、撮像された画像は出力されない。
【００４０】
時刻Ｔ３において動体（人物）が侵入すると、動き検出処理部２４０は、これを検出する。動体が検出されると、動体の動きを予測するため、高フレームレートによりセンシング撮像が行われる。すなわち、時刻Ｔ３からＴ５の間は、フレームレートが倍速になっている。これにより、動体の動きを正確に予測することが可能となり、時刻Ｔ５においてＲＯＩについて高解像度による通常読出し７０２が行われる。このようにして撮像されたＲＯＩの画像は、高解像度領域画像処理部２１０および出力処理部２６０を介して出力される。
【００４１】
その後、動体が追従されて、ＲＯＩの画像が出力されていく。その間、予測した領域とずれが生じた場合には、その予測の軌道を修正する。時刻Ｔ８において動体が検出されなくなると、高解像度による撮像は行われなくなり、画像は出力されなくなる。
【００４２】
図４は、本技術の実施の形態における領域予測の例を示す図である。
【００４３】
動体を追従する際には領域の移動方向および移動速度を予測する必要がある。この予測を行うための手法の一例として、まず、動体の重心を推定する。この動体の重心は、例えば、動体の領域の中央の座標としてもよく、また、輝度値の濃度による重み付けを考慮した中心座標としてもよい。
【００４４】
時系列の次のフレームにおいて同様に動体の重心が推定され、その差分から動体重心の移動方向および移動速度が推定される。これにより、さらにその次のフレームにおける動体の重心および動体の領域を予測することができる。
【００４５】
上述の例では、時刻Ｔ３において動体の侵入が検出されると、時刻Ｔ３およびＴ４における動体の重心に基づいて、時刻Ｔ５における動体の重心および動体の領域が予測される。上述のように、時刻Ｔ３からＴ５の間は、フレームレートを倍速にして撮像を行うため、速やかに動体の追従を行うことができる。
【００４６】
［動体の移動速度とフレームレート］
図５は、本技術の実施の形態における撮像装置の画素読出しの他のタイミング例を示す図である。この例では、高解像度による撮像時のフレームレートをダイナミックに変更する場合のタイミング例を示している。
【００４７】
上述の例と同様に、時刻Ｔ３において動体が検出されると、動体の動きを予測するため、高フレームレートによりセンシング撮像が行われる。その後、その動体の移動速度が低速であると判断されると、システム制御部３００は、時刻Ｔ６から低フレームレートによる撮像を行うよう撮像素子１００を制御する。
【００４８】
その後、時刻Ｔ７において新たな動体が検出されると、再び、動体の動きを予測するため、高フレームレートによりセンシング撮像が行われる。そして、その新たな動体の移動速度が高速であると判断されると、システム制御部３００は、時刻Ｔ８から高フレームレートによる撮像を行うよう撮像素子１００を制御する。このようにして、動体の移動速度に合わせて、フレームレートをダイナミックに変更することができる。
【００４９】
［複数の動体が検出された場合］
図６は、本技術の実施の形態において複数の動体が検出された場合の動作例を示す図である。
【００５０】
この例では、時刻Ｔ２において被写体中に動体が検出され、その後、時刻Ｔ３において別の動体が検出される。すなわち、時刻Ｔ３以降は、それぞれ移動速度および移動方向の異なる複数の動体が被写体中に存在する。
【００５１】
このような場合、撮像素子１００は、対象となる動体が全て収まるように領域を選択して、高解像度による画素読出しを行う。そして、高解像度領域画像処理部２１０は、時刻Ｔ３のセンサ出力に示すように、それぞれの動体が存在する領域をＲＯＩとして切り出して、出力処理部２６０を介して複数の領域を出力する。
【００５２】
ただし、時刻Ｔ４に示すように、複数の領域が互いに重なる場合においては、両者を包含する領域をＲＯＩとして切り出してもよい。その後、複数の領域間で重なりがなくなると、時刻Ｔ５に示すように、別々の領域がＲＯＩとして切り出される。
【００５３】
なお、このように複数の領域をＲＯＩとした場合においても、これら複数の領域について露光評価値生成部２５０が露光評価値を生成して、その露光評価値に基づいて撮像の制御が行われる。
【００５４】
［通常撮像とセンシング撮像を異なるフレームについて行う変形例］
図７は、本技術の実施の形態において通常撮像とセンシング撮像を異なるフレームについて行う場合の動作例を示す図である。
【００５５】
上述の実施の形態においては、１つのフレームにおいて通常撮像とセンシング撮像を画素行毎に切り替えていたが、ここではそのような切替えを行わない変形例について説明する。
【００５６】
この変形例では、時刻Ｔ３からＴ１１において、被写体中に動体が検出される。時刻Ｔ１および時刻Ｔ２においては、被写体中に動きが検出されないため、低解像度によるセンシング読出し７０１のみが行われる。このとき、撮像された画像は出力されない。その後、時刻Ｔ３において動体が侵入すると、高フレームレートによりセンシング撮像が行われる点は、上述の実施の形態と同様である。
【００５７】
この変形例では、１つのフレームにおいては通常撮像とセンシング撮像の何れか一方のみが行われる。すなわち、時刻Ｔ６においてはＲＯＩについて高解像度による通常読出し７０２が行われ、そのＲＯＩの画像が高解像度領域画像処理部２１０および出力処理部２６０を介して出力される。続く時刻Ｔ７においては、画像全体について低解像度によるセンシング読出し７０１が行われる。このとき、時刻Ｔ７の画像は出力されない。
【００５８】
以降は同様に、時刻Ｔ８においてはＲＯＩについて高解像度による通常読出し７０２が行われ、そのＲＯＩの画像が出力される。続く時刻Ｔ９においては、画像全体について低解像度によるセンシング読出し７０１が行われ、その画像は出力されない。
【００５９】
この変形例の動作によれば、１つのフレームにおいて通常撮像とセンシング撮像を画素行毎に切り替えることなく、通常撮像とセンシング撮像を繰り返すことができる。ただし、ＲＯＩが出力されるフレームレートは半分になる。
【００６０】
［領域毎の撮像制御］
図８は、本技術の実施の形態における画像内の各領域の撮像制御の判断例を示す流れ図である。
【００６１】
この例では、画像内の領域を領域＃０から領域＃（Ｎ−１）のＮ個に分けて、各領域について撮像制御の内容を判断する。ここでは、変数ｎを用いて、各領域について判断を繰り返す。変数ｎの初期値は「０」である（ステップＳ９１１）。
【００６２】
領域＃ｎにおいて動体の存在が予想されると（ステップＳ９１２：Ｙｅｓ）、撮像素子１００は領域＃ｎを高解像度で撮像し、高解像度領域画像処理部２１０および出力処理部２６０を介してＲＯＩの撮像信号が出力される（ステップＳ９１３）。また、高解像度で撮像された領域＃ｎの撮像信号は、画素加算部２２０によって低解像度化されて（ステップＳ９１４）、低解像度領域画像処理部２３０を介して動き検出処理部２４０に供給される。
【００６３】
このとき、動き検出処理部２４０は、領域＃ｎにおいて動体を検出しない場合（ステップＳ９１５：Ｎｏ）、これまで領域＃ｎにおいて検出されていた動きがなくなったものと判断し、次のフレームのために動きの追従を修正する（ステップＳ９２６）。一方、領域＃ｎにおいて動体を検出した場合（ステップＳ９１５：Ｙｅｓ）、動体の検出に変化はないと判断し、変数ｎに「１」を加算して（ステップＳ９２７）、次の領域の処理に進む。すなわち、変数ｎがＮより小さい間は（ステップＳ９２８：Ｙｅｓ）、ステップＳ９１２以降の処理を繰り返す。
【００６４】
領域＃ｎにおいて動体の存在が予想されない場合（ステップＳ９１２：Ｎｏ）、撮像素子１００は領域＃ｎを低解像度で撮像する（ステップＳ９２３）。低解像度で撮像された領域＃ｎの撮像信号は、低解像度領域画像処理部２３０を介して動き検出処理部２４０に供給される。
【００６５】
このとき、動き検出処理部２４０は、領域＃ｎにおいて動体を検出した場合（ステップＳ９２５：Ｙｅｓ）、領域＃ｎに新たな動体が侵入したものと判断し、次のフレームのために動きの追従を修正する（ステップＳ９２６）。一方、領域＃ｎにおいて動体を検出しない場合（ステップＳ９２５：Ｎｏ）、動体の検出に変化はないと判断し、変数ｎに「１」を加算して（ステップＳ９２７）、次の領域の処理に進む。すなわち、変数ｎがＮより小さい間は（ステップＳ９２８：Ｙｅｓ）、ステップＳ９１２以降の処理を繰り返す。
【００６６】
なお、ここでは、領域毎に撮像制御の内容を判断する手順について説明したが、実際の回路においては、画素行を単位として露光および撮像が行われる。その詳細については、以下に説明する。
【００６７】
＜３．回路＞
［画素駆動の第１の例］
図９は、本技術の実施の形態における撮像装置の画素駆動の第１の例を示す図である。
【００６８】
この画素駆動の第１の例では、水平方向に並ぶライン群であるブロック行を単位として画素を駆動する。その際、ＲＯＩ７１０を含むブロック行は、高解像度読出しにより駆動される（高解像度撮影駆動）。一方、ＲＯＩ７１０を含まないブロック行は、画素加算により、低解像度読出しにより駆動される(センシング撮影駆動)。
【００６９】
図１０は、本技術の実施の形態の画素駆動の第１の例において想定する画素回路の一例を示す図である。
【００７０】
ここでは、４つの画素１１１乃至１１４によってＦＤ（Floating Diffusion）１１９を共有したＦＤ共有型の画素回路を想定している。４つの画素１１１乃至１１４は、受けた光を電荷に変換するフォトダイオードである。ＦＤ１１９は、電荷を電圧信号に変換する拡散層領域である。
【００７１】
４つの画素１１１乃至１１４は、例えばベイヤー配列の色が割り当てられ、赤画素、青画素、２つの緑画素により構成される。４つの画素１１１乃至１１４を単位として、水平方向に並ぶラインをＦＤ行と呼称する。そして、ＦＤ行を垂直方向にＮ個配置したものをブロック行と呼称する。
【００７２】
４つの画素１１１乃至１１４の各々には、転送トランジスタ１２１乃至１２４が接続される。この転送トランジスタ１２１乃至１２４のゲートには転送ゲート信号ＴＧ０乃至ＴＧ３が供給され、ＦＤ１１９への転送が制御される。
【００７３】
また、ＦＤ１１９には、リセットトランジスタ１３１が接続される。このリセットトランジスタ１３１のゲートには、リセット信号ＲＳＴが供給され、画素１１１乃至１１４およびＦＤ１１９のリセットが制御される。
【００７４】
また、ＦＤ１１９には、増幅トランジスタ１３２が接続される。この増幅トランジスタ１３２は、画素１１１乃至１１４からＦＤ１１９に転送された電荷に基づく電圧信号を増幅するものである。この増幅トランジスタ１３２には選択トランジスタ１４１が接続される。この選択トランジスタ１４１のゲートには選択信号ＳＥＬが供給され、垂直信号線（ＶＳＬ：Vertical Signal Line）１５０への出力が制御される。
【００７５】
また、ＦＤ１１９には、加算トランジスタ１５１が接続される。この加算トランジスタ１５１のゲートには、加算有効信号ＡＬＳＥＮが供給され、これにより、垂直方向のＦＤ接続による電荷の加算が制御される。
【００７６】
４つの画素１１１乃至１１４からの出力は列毎に垂直信号線１５０に供給され、Ａ／Ｄ変換器１８０によってデジタル信号に変換される。また、垂直信号線１５０は、スイッチ１６０により選択的に接続され、水平方向に加算を行うことができるようになっている。すなわち、この撮像素子１００において、垂直方向のＦＤ接続による画素加算と、スイッチ１６０による水平方向の画素加算とをアナログレベルで行うことができ、これにより低解像度の読出しを行うことができる。
【００７７】
図１１は、本技術の実施の形態における画素駆動の第１の例において、ＲＯＩを含まないブロック行を読み出す際のタイミング例を示す図である。
【００７８】
この画素駆動の第１の例では、ＲＯＩを含まないブロック行については、センシング撮影駆動が適用される。すなわち、アナログレベルで画素加算が行われ、低解像度読出しが行われる。
【００７９】
同図に示すように、１つのブロック行の全てのＦＤ行において同時にシャッタ動作が行われ、露光が開始される。そして、露光期間経過後に、１つのブロック行の全てのＦＤ行において同時にリード動作が行われる。このとき、加算有効信号ＡＬＳＥＮが有効（ハイレベル）になり、１つのブロック行の垂直方向の画素加算が行われる。また、スイッチ１６０が導通（オン）状態になり、水平方向の画素加算が行われる。
【００８０】
図１２は、本技術の実施の形態における画素駆動の第１の例において、ＲＯＩを含むブロック行を読み出す際のタイミング例を示す図である。
【００８１】
この画素駆動の第１の例では、ＲＯＩを含むブロック行については、高解像度撮影駆動が適用される。すなわち、同図に示すように、ＦＤ行のそれぞれの画素１１１乃至１１４において時間をずらして転送ゲート信号ＴＧ０乃至ＴＧ３が有効（ハイレベル）になり、露光が開始される。そして、それぞれの画素１１１乃至１１４において露光期間経過後に、読出しが行われる。
【００８２】
この高解像度撮影駆動においては、センシング撮影駆動のような画素加算は行われない。したがって、動き検出処理部２４０のために低解像度による画像を生成するために、信号処理部２００の画素加算部２２０によってデジタルレベルの低解像度化を行う。
【００８３】
［画素駆動の第２の例］
図１３は、本技術の実施の形態における撮像装置の画素駆動の第２の例を示す図である。
【００８４】
この画素駆動の第２の例では、ＲＯＩ７１０を含むブロック行については、時間違いでセンシング撮影駆動と高解像度撮影駆動の両方を行う。その際、カラムイネーブル信号ＣＬＭＥＮにより、ブロック列毎に対象となる駆動を選択する。また、一方、ＲＯＩ７１０を含まないブロック行については、第１の例と同様に、センシング撮影駆動を行う。
【００８５】
図１４は、本技術の実施の形態の画素駆動の第２の例において想定する画素回路の一例を示す図である。
【００８６】
この画素回路は、第１の例について説明したものと同様の構成を備える。ただし、垂直方向の画素列群からなるブロック列毎にカラムイネーブル信号ＣＬＭＥＮが接続され、ブロック列毎に駆動が制御される。すなわち、１ブロック列目にはＣＬＭＥＮ（０）が接続され、２ブロック列目にはＣＬＭＥＮ（１）が接続され、同様に、Ｍブロック列目にはＣＬＭＥＮ（Ｍ−１）が接続されて、ブロック列を単位とした制御が行われる。
【００８７】
図１５は、本技術の実施の形態における画素駆動の第２の例において、ＲＯＩを含むブロック行を読み出す際のタイミング例を示す図である。
【００８８】
ここでは、１ブロック列目がＲＯＩを含まず、２ブロック列目がＲＯＩを含む場合を想定している。そのため、センシング撮影駆動のタイミングでは、ＣＬＭＥＮ（０）を有効（ハイレベル）にする。一方、高解像度撮影駆動のタイミングでは、ＣＬＭＥＮ（１）を有効（ハイレベル）にする。これにより、適用される駆動内容をブロック列毎に選択することができる。
【００８９】
なお、ＲＯＩを含まないブロック行を読み出す際のタイミング例については、上述の第１の例と同様であるため、詳細な説明は省略する。
【００９０】
図１６は、本技術の実施の形態の画素駆動の第２の例において想定する画素回路の列駆動分割回路の一例を示す図である。
【００９１】
この列駆動分割回路は、カラムイネーブル信号ＣＬＭＥＮに応じてＦＤ行の転送ゲート信号ＴＧ０乃至ＴＧ３を生成する回路である。ＦＤ行の転送ゲート信号とカラムイネーブル信号との論理積を生成することにより、分割後の転送ゲート信号が生成される。ここでは、分割後の転送ゲート信号をＴＧ＃（ブロック列，ＦＤ行，ＦＤ列）として表している。
【００９２】
［画素駆動の第３の例］
図１７は、本技術の実施の形態の画素駆動の第３の例において想定する画素回路の一例を示す図である。
【００９３】
上述の第１の例では、ベイヤー配列の画素配置を想定していたが、この第３の例では、２つの緑画素のうちの１つをセンシング加算のための画素として用いる。このセンシング加算のための画素は、ベイヤー配列における緑画素のまま使用してもよく、また、カラーフィルタ無しの白画素にしてもよい。この例では、画素１１４に代えてセンシング加算のための画素１１５を設けている。また、この画素１１５には転送トランジスタ１２５を接続し、この転送トランジスタ１２５のゲートには転送ゲート信号ＴＧＷを供給している。
【００９４】
図１８は、本技術の実施の形態における画素駆動の第３の例において、ＲＯＩを含むブロック行を読み出す際のタイミング例を示す図である。
【００９５】
この画素駆動の第３の例では、ＲＯＩを含むブロック行については、センシング撮影と高解像度撮影の両者が行われる。すなわち、センシング撮影時にはＴＧＷのみを駆動し、他のＴＧ０乃至２を駆動しない。一方、高解像度撮影駆動時には、ＴＧＷを駆動せずに、他のＴＧ０乃至２のみを駆動する。これにより、画素を独立に制御して、センシング撮影と高解像度撮影の両者を行うことができる。
【００９６】
なお、ＲＯＩを含まないブロック行を読み出す際のタイミング例については、上述の第１の例と同様であるため、詳細な説明は省略する。
【００９７】
［効果］
このように、本技術の実施の形態によれば、関心領域（ＲＯＩ）のみを高解像度で撮影して出力し、全体画像については低高解像度で撮影してＲＯＩを追尾することにより、撮像素子１００の消費電力を低減することができる。
【００９８】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００９９】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１００】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１０１】
なお、本技術は以下のような構成もとることができる。
（１）所定方向に配置された画素行を前記所定方向の垂直方向に配置した２次元の画素アレイにおいて所定の領域を含む第１の画素行については所定の解像度による撮像を行い、前記第１の画素行以外の第２の画素行については前記所定の解像度よりも低い解像度による撮像を行う撮像素子と、
前記第１の画素行の撮像信号に基づいて前記所定の領域の画像を生成する第１の画像処理部と、
前記第１の画素行の撮像信号について画素間の加算処理を施して前記第２の画素行の撮像信号と同じ解像度にする画素加算部と、
前記第２の画素行の撮像信号および前記加算処理が施された前記第１の画素行の撮像信号に基づいて全領域の画像を生成する第２の画像処理部と
を具備する撮像装置。
（２）前記全領域の画像の時系列の変化に従って動きを検出する動き検出処理部と、
前記動きが検出されている領域を前記所定の領域として前記第１の画素行を撮像するよう前記撮像素子を制御する制御部と
をさらに具備する前記（１）に記載の撮像装置。
（３）前記制御部は、前記動きが検出されていない状態から前記動きが検出されている状態に遷移したときにフレームレートを上げるよう前記撮像素子を制御する
前記（２）に記載の撮像装置。
（４）前記制御部は、前記動きが検出されている領域の移動速度に応じてフレームレートを変化させるよう前記撮像素子を制御する
前記（２）または（３）に記載の撮像装置。
（５）前記制御部は、前記全領域の画像において移動速度の異なる動体が複数検出された場合にはそれら動体を包含する領域を前記所定の領域として前記第１の画素行を撮像するよう前記撮像素子を制御する
前記（２）から（４）のいずれかに記載の撮像装置。
（６）前記全領域の画像において前記動きが検出されている領域を基準として露光評価値を生成する露光評価値生成部をさらに具備し、
前記制御部は、前記露光評価値に基づいて露光を行うよう前記撮像素子を制御する
前記（２）から（５）のいずれかに記載の撮像装置。
（７）前記撮像素子は、前記動きが検出されている状態においては、前記第１の画素行について前記所定の解像度による撮像を行うとともに前記第２の画素行については撮像を行わない第１のフレーム期間と、全ての画素行について前記所定の解像度よりも低い解像度による撮像を行う第２のフレーム期間とを交互に繰り返す
前記（２）から（６）のいずれかに記載の撮像装置。
（８）前記撮像素子は、前記動きが検出されている状態においてのみ前記第１の画素行について前記所定の解像度による撮像を行う
前記（２）から（７）のいずれかに記載の撮像装置。
（９）前記第１の画像処理部によって生成された前記所定の領域の画像を出力する出力処理部をさらに具備する前記（１）から（８）のいずれかに記載の撮像装置。
（１０）所定方向に配置された画素行を前記所定方向の垂直方向に配置した２次元の画素アレイにおいて所定の領域を含む第１の画素行については所定の解像度による撮像を行い、前記第１の画素行以外の第２の画素行については前記所定の解像度よりも低い解像度による撮像を行う撮像素子において、
前記第１の画素行の撮像信号に基づいて前記所定の領域の画像を生成する第１の画像処理手順と、
前記第１の画素行の撮像信号について画素間の加算処理を施して前記第２の画素行の撮像信号と同じ解像度にする画素加算手順と、
前記第２の画素行の撮像信号および前記加算処理が施された前記第１の画素行の撮像信号に基づいて全領域の画像を生成する第２の画像処理手順と
を具備する撮像素子の制御方法。
【符号の説明】
【０１０２】
１００  撮像素子
１１１〜１１５  画素（フォトダイオード）
１２１〜１２５  転送トランジスタ
１３１  リセットトランジスタ
１３２  増幅トランジスタ
１４１  選択トランジスタ
１５０  垂直信号線
１５１  加算トランジスタ
１６０  スイッチ
１８０  Ａ／Ｄ変換器
２００  信号処理部
２１０  高解像度領域画像処理部
２２０  画素加算部
２３０  低解像度領域画像処理部
２４０  動き検出処理部
２５０  露光評価値生成部
２６０  出力処理部
３００  システム制御部
４００  駆動部
【図１】
2019134202.tif 000003
【図２】
2019134202.tif 000004
【図３】
2019134202.tif 000005
【図４】
2019134202.tif 000006
【図５】
2019134202.tif 000007
【図６】
2019134202.tif 000008
【図７】
2019134202.tif 000009
【図８】
2019134202.tif 000010
【図９】
2019134202.tif 000011
【図１０】
2019134202.tif 000012
【図１１】
2019134202.tif 000013
【図１２】
2019134202.tif 000014
【図１３】
2019134202.tif 000015
【図１４】
2019134202.tif 000016
【図１５】
2019134202.tif 000017
【図１６】
2019134202.tif 000018
【図１７】
2019134202.tif 000019
【図１８】
2019134202.tif 000020