(57)【要約】  画像データの画質を向上させる。  動体検出部は、撮像部により撮像された入力フレームが入力されるたびに入力フレームから動体の領域を動体領域として検出する。予測部は、入力フレームが入力されるたびに入力フレームの次の入力フレーム内の動体領域に対応する領域を予測領域として動体領域から予測する。統計情報生成部は、入力フレームが入力されるたびに入力フレーム内の特定の処理領域から予測された予測領域を除いた領域と前記処理領域内の前記予測領域に重なる領域とのいずれかにおける内の画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する。制御情報生成部は、統計情報が生成されるたびに統計情報に基づいて撮像部を制御するための所定の制御情報を生成する。制御部は、制御情報が生成されるたびに制御情報に基づいて撮像部を制御して次の入力フレームを撮像させる。
2016031403.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により撮像された入力フレームが入力されるたびに当該入力フレームから動体の領域を動体領域として検出する動体検出部と、
前記入力フレームが入力されるたびに当該入力フレームの次の入力フレーム内の前記動体領域に対応する領域を予測領域として前記動体領域から予測する予測部と、
前記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から前記予測された予測領域を除いた領域と前記処理領域内の前記予測領域に重なる領域とのいずれかにおける画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成部と、
前記統計情報が生成されるたびに前記統計情報に基づいて前記撮像部を制御するための所定の制御情報を生成する制御情報生成部と、
前記制御情報が生成されるたびに前記制御情報に基づいて前記撮像部を制御して前記次の入力フレームを撮像させる制御部と
を具備する撮像制御装置。
【請求項２】
前記入力フレームにおいて前記処理領域の少なくとも一部を含む抽出領域を抽出する画像抽出部をさらに具備する
請求項１記載の撮像制御装置。
【請求項３】
前記画像抽出部は、前記入力フレームが複数回入力されるたびに前記抽出領域を抽出する
請求項２記載の撮像制御装置。
【請求項４】
前記抽出領域は、前記処理領域の全てを含む
請求項２記載の撮像制御装置。
【請求項５】
前記処理領域は、前記抽出領域の全てを含む
請求項２記載の撮像制御装置。
【請求項６】
入力フレームを複数回撮像する撮像部と、
前記入力フレームが入力されるたびに当該入力フレームの次の入力フレーム内の前記動体領域に対応する領域を予測領域として前記動体領域から予測する予測部と、
前記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から前記予測された予測領域を除いた画像内の画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成部と、
前記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から、前記入力フレームの前の入力フレームにおいて予測された予測領域を除いた領域と前記処理領域内の前記予測領域に重なる領域とのいずれかにおける画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成部と、
前記統計情報が生成されるたびに前記統計情報に基づいて前記撮像部を制御するための所定の制御情報を生成する制御情報生成部と、
前記制御情報が生成されるたびに前記制御情報に基づいて前記撮像部を制御して前記次の入力フレームを撮像させる制御部と
を具備する撮像装置。
【請求項７】
前記撮像部は、絞り値に従って調節した光量により露光時間に亘って露光を行い、
前記制御情報は、露光量を含み、
前記制御部は、前記露光量に基づいて前記絞り値および前記露光時間の少なくとも一方を制御する
請求項６記載の撮像装置。
【請求項８】
前記撮像部は、フォーカスレンズを備え、
前記制御情報は、被写体までの距離情報を含み、
前記制御部は、前記距離情報に基づいて前記フォーカスレンズの位置を制御する
請求項６記載の撮像装置。
【請求項９】
前記撮像部は、
互いに色の異なる複数の画素データを生成する撮像素子と、
前記画素データを所定のゲインで増幅する信号処理部と
を備え、
前記制御情報は、色ごとの前記画素データの画素値の統計量を含み、
前記制御部は、前記統計量に基づいて前記ゲインを色ごとに制御する
請求項６記載の撮像装置。
【請求項１０】
動体検出部が、撮像部により撮像された入力フレームが入力されるたびに当該入力フレームから動体の領域を動体領域として検出する動体検出手順と、
予測部が、前記入力フレームが入力されるたびに当該入力フレームの次の入力フレーム内の前記動体領域に対応する領域を予測領域として前記動体領域から予測する予測手順と、
統計情報生成部が、前記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から前記予測された予測領域を除いた領域と前記処理領域内の前記予測領域に重なる領域とのいずれかにおける画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成手順と、
制御情報生成部が、前記統計情報が生成されるたびに前記統計情報に基づいて前記撮像部を制御するための所定の制御情報を生成する制御情報生成手順と、
制御部が、前記制御情報が生成されるたびに前記制御情報に基づいて前記撮像部を制御して前記次の入力フレームを撮像させる制御手順と
を具備する撮像制御装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像制御装置、撮像装置、および、撮像装置の制御方法に関する。詳しくは、トリミングを行う撮像制御装置、撮像装置、および、撮像装置の制御方法に関する。
【背景技術】
【０００２】
従来より、撮像装置においては、画像を撮像する際に、必要に応じてパン、チルトまたはズームの制御が行われる。ここで、パンは、モニタの表示範囲を左右に移動させる制御であり、チルトは表示範囲を上下に動かす制御であり、ズームは表示範囲の一部を拡大する制御である。これらのパンやズームは、撮像装置を載せる雲台やレンズ制御モータなどを駆動させて撮像装置の向きやレンズ位置を物理的に変える方法（例えば、特許文献１参照。）、または、トリミングにより電子的に行う方法により実現される。前者の方法では、雲台などの機械部品によりコストや消費電力が上昇するおそれや、その機械部品の故障に起因して信頼性が低下するおそれがある。一方、後者の方法では、画質が低下するおそれがあるものの、コストや消費電力が小さく、信頼性は高い。このため、コストや消費電力等についての利点を重視する際には、トリミングによる電子的なパンやズームが行われることが多い。【０００３】
例えば、露光制御により適正な露光量で画像データを撮像し、その画像データの一部を抽出する（すなわち、トリミングする）撮像装置が提案されている（例えば、特許文献２参照。）。この撮像装置は、画像データを撮像する前に露光量を測定し、その測定値が適正な値になるように、絞り値や露光時間（いわゆる、シャッタースピード）などの撮像パラメータを制御して撮像を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１６４４２０号公報
【特許文献２】特開２００８−１４１２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の撮像装置では、露光量が急激に変化した際に、画像データの画質が低下する問題がある。例えば、輝度の高い動体が、画像を抽出する抽出領域内へ移動すると、その抽出領域内の露光量が急激に変化する。この場合には、輝度の高い方の動体に合わせて絞り値やシャッタースピードが制御され、抽出領域内の動体以外の部分は露光不足になって抽出領域の画質が低下するおそれがある。また、被写体までの距離やホワイトバランスが急激に変化した際にも、同様に画質が低下するおそれがある。【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、画像データの画質を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、撮像部により撮像された入力フレームが入力されるたびに当該入力フレームから動体の領域を動体領域として検出する動体検出部と、上記入力フレームが入力されるたびに当該入力フレームの次の入力フレーム内の上記動体領域に対応する領域を予測領域として上記動体領域から予測する予測部と、上記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から上記予測された予測領域を除いた領域と前記処理領域内の前記予測領域に重なる領域とのいずれかにおける画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成部と、上記統計情報が生成されるたびに上記統計情報に基づいて上記撮像部を制御するための所定の制御情報を生成する制御情報生成部と、上記制御情報が生成されるたびに上記制御情報に基づいて上記撮像部を制御して上記次の入力フレームを撮像させる制御部とを具備する撮像制御装置、および、その制御方法である。これにより、入力フレーム内の特定の処理領域から予測領域を除いた画像の統計情報に基づいて制御情報が生成されるという作用をもたらす。【０００８】
また、この第１の側面において、上記入力フレームにおいて上記処理領域の少なくとも一部を含む抽出領域を抽出する画像抽出部をさらに具備してもよい。これにより、処理領域の少なくとも一部を含む抽出領域が抽出されるという作用をもたらす。【０００９】
また、この第１の側面において、上記画像抽出部は、上記入力フレームが複数回入力されるたびに上記抽出領域を抽出してもよい。これにより、入力フレームが複数回入力されるたびに抽出領域が抽出されるという作用をもたらす。【００１０】
また、この第１の側面において、上記抽出領域は、上記処理領域の全てを含んでもよい。これにより、処理領域の全てを含む抽出領域が抽出されるという作用をもたらす。【００１１】
また、この第１の側面において、上記処理領域は、上記抽出領域の全てを含んでもよい。これにより、処理領域に含まれる抽出領域が抽出されるという作用をもたらす。【００１２】
また、本技術の第２の側面は、入力フレームを複数回撮像する撮像部と、前記入力フレームが入力されるたびに当該入力フレームの次の入力フレーム内の前記動体領域に対応する領域を予測領域として前記動体領域から予測する予測部と、前記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から前記予測された予測領域を除いた領域と前記処理領域内の前記予測領域に重なる領域とのいずれかにおける画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成部と、前記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から、前記入力フレームの前の入力フレームにおいて予測された予測領域を除いた画像内の画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成部と、前記統計情報が生成されるたびに前記統計情報に基づいて前記撮像部を制御するための所定の制御情報を生成する制御情報生成部と、前記制御情報が生成されるたびに前記制御情報に基づいて前記撮像部を制御して前記次の入力フレームを撮像させる制御部とを具備する撮像装置である。これにより、入力フレーム内の特定の処理領域から予測領域を除いた画像の統計情報に基づいて制御情報が生成されるという作用をもたらす。【００１３】
また、この第２の側面において、上記撮像部は、絞り値に従って調節した光量により露光時間に亘って露光を行い、上記制御情報は、露光量を含み、上記制御部は、上記露光量に基づいて上記絞り値および上記露光時間の少なくとも一方を制御してもよい。これにより、露光量に基づいて絞り値および露光時間の少なくとも一方が制御されるという作用をもたらす。【００１４】
また、この第２の側面において、上記撮像部は、フォーカスレンズを備え、上記制御情報は、被写体までの距離情報を含み、上記制御部は、上記距離情報に基づいて上記フォーカスレンズの位置を制御してもよい。これにより、距離情報に基づいてフォーカスレンズの位置が制御されるという作用をもたらす。【００１５】
また、この第２の側面において、上記撮像部は、互いに色の異なる複数の画素データを生成する撮像素子と、上記画素データを所定のゲインで増幅する信号処理部とを備え、上記制御情報は、色ごとの上記画素データの画素値の統計量を含み、上記制御部は、上記統計量に基づいて上記ゲインを色ごとに制御してもよい。これにより、統計量に基づいてゲインが色ごとに制御されるという作用をもたらす。
【発明の効果】
【００１６】
本技術によれば、画像データの画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態における撮像システムの一構成例を示すブロック図である。
【図２】第１の実施の形態における撮像部の一構成例を示すブロック図である。
【図３】第１の実施の形態における撮像素子の一構成例を示すブロック図である。
【図４】第１の実施の形態における画素回路の一構成例を示す回路図である。
【図５】第１の実施の形態における動体検出部の一構成例を示すブロック図である。
【図６】第１の実施の形態における動体検出領域、抽出領域、および、処理領域の一例を示す図である。
【図７】第１の実施の形態における動体の検出結果の一例を示す図である。
【図８】第１の実施の形態における動体領域および予測領域の一例を示す図である。
【図９】第１の実施の形態におけるマスクデータの一例を示す図である。
【図１０】第１の実施の形態における露光制御を説明するための図である。
【図１１】第１の実施の形態におけるフレームの一例を示す図である。
【図１２】第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１３】第１の実施の形態の第１の変形例における撮像装置の動作の一例を示すフローチャートである。
【図１４】第１の実施の形態の第１の変形例におけるフレームの一例を示す図である。
【図１５】第１の実施の形態の第２の変形例における撮像装置の動作の一例を示すフローチャートである。
【図１６】第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１７】第２の実施の形態におけるパラメータ制御処理の一例を示すフローチャートである。
【図１８】第２の実施の形態における表示出力処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（予測領域をマスクして露光量を求める例）
２．第２の実施の形態（予測領域をマスクして露光量を求め、複数のフレームごとに抽出画像を生成する例）
【００１９】
＜１．第１の実施の形態＞
［撮像システムの構成例］
図１は、実施の形態における撮像システムの一例を示すブロック図である。この撮像システムは、撮像装置１００および表示装置３００を備える。この撮像装置１００は、撮像部１１０、画像抽出部１２０、画質調整部１３０、動体検出部１４０、予測部１５０、統計情報生成部１６０、制御情報生成部１７０および制御部１８０を備える。
【００２０】
撮像部１１０は、制御部１８０の制御に従って、画像（フレーム）を複数回撮像するものである。この撮像部１１０は、撮像したフレームのそれぞれを入力フレームとして画像抽出部１２０、動体検出部１４０および統計情報生成部１６０へ順に信号線１１９を介して供給する。
【００２１】
画像抽出部１２０は、入力フレーム内の一部の抽出領域内の画像を抽出画像として抽出（すなわち、トリミング）して画質調整部１３０へ信号線１２９を介して供給するものである。この抽出領域の位置および形状は、例えば、ユーザの操作に従って予め設定される。また、画像抽出部１２０は、抽出領域の位置や形状を、ユーザの操作に従って変更することができる。また、画像抽出部１２０は、抽出領域の位置および形状を示す抽出領域情報を統計情報生成部１６０へ信号線１４８を介して供給する。例えば、抽出領域が矩形の範囲である場合、抽出領域の対角の２つの座標が抽出領域情報として送信される。あるいは、抽出領域のアスペクト比が固定である場合、抽出領域内の特定の座標（中心座標など）と、抽出領域のサイズ（面積や一辺の長さ）とが抽出領域情報として送信される。
【００２２】
画質調整部１３０は、抽出画像に対して所定の画像処理を行って、抽出画像の画質を調整するものである。例えば、ノイズを低減する処理や、解像度を変更する処理などの画像処理が行われる。画質調整部１３０は、画質を調整した抽出画像を信号線１３９を介して表示装置３００へ出力する。
【００２３】
動体検出部１４０は、入力フレームが入力されるたびに、その入力フレーム内の所定の動体検出領域において、動体の領域を動体領域として検出するものである。この動体検出部１４０は、例えば、背景差分アルゴリズムやフレーム間差分アルゴリズムを使用して動体領域を検出し、ラベル情報、位置情報および形状情報などを含む検出結果をフレームごとに生成する。ここで、ラベル情報は、動体領域を識別するための識別情報であり、動体領域ごとに固有のラベル情報が割り当てられる。また、位置情報は、動体領域の位置を示す情報であり、動体領域の重心の座標や、動体領域の全画素の座標が位置情報として用いられる。形状情報は、動体領域の形状およびサイズを特定するための情報である。ただし、位置情報が動体領域の全画素の座標を含む際には、形状情報は不要である。
【００２４】
背景差分アルゴリズムを使用する際には、動体検出部１４０は、例えば、撮像された入力フレームと所定の背景フレームとの差分のフレームを生成する。その差分のフレームにおいて、撮像装置は、例えば、差分値が所定の閾値以上の画素値の画素が連続する領域にラベル情報を割り当てるラべリング処理を行う。このラべリング処理では、水平または垂直方向に連続する画素を連結する４連結アルゴリズムや、水平、垂直または斜め方向に連続する画素を連結する８連結アルゴリズムなどが用いられる。これらの処理により、動体領域が検出される。動体検出部１４０は、検出結果を予測部１５０へ信号線１４９を介して供給する。
【００２５】
予測部１５０は、複数の入力フレームで検出された動体領域から、それらの入力フレームの次の入力フレーム内の動体領域に対応する領域を予測領域として予測するものである。予測部１５０は、複数の動体領域から動きベクトルを検出し、例えば、その動きベクトルと、時系列順において最新の動体領域とを含むデータを予測結果として統計情報生成部１６０に信号線１５９を介して供給する。この動きベクトルは、その方向が動体の移動方向を示し、その大きさが動体の移動速度を示すベクトルである。なお、予測部１５０は、最も新しい動体領域を動きベクトルに従って移動させて予測領域を生成し、その予測領域のみを予測結果として供給してもよい。
【００２６】
ここで、動きベクトルの生成の際には、予測部１５０は、最新の入力フレームの１つ前の入力フレームの動体領域を対象領域として、その対象領域に類似する動体領域を、最新の入力フレームにおいて探索する。探索においては、対象領域の基準座標（重心座標など）を中心として、Ｍ（Ｍは２以上の整数）×Ｍ画素の領域が探索領域として設定される。予測部１５０は、その探索領域内に基準座標が含まれる動体領域のそれぞれにおいて、対象領域内の各画素と相対座標が同一の画素を対応する画素として求める。そして、予測部１５０は、対応する画素の画素値の差分の二乗和（ＳＳＤ：Sum of Squared Difference）や差分の絶対値の和（ＳＡＤ：Sum of Absolute Difference）などを類似度として求める。
【００２７】
予測部１５０は、探索領域内において類似度が最も高い動体領域を、対象領域に対応する動体領域として取得する。そして、予測部１５０は、対象領域の基準座標を始点とし、取得した動体領域の基準座標を終点とするベクトルを過去のベクトルとして検出する。予測部１５０は、この過去のベクトルと方向および大きさが同一であり、かつ、取得した動体領域の基準座標を始点とするベクトルを、予測領域を示す動きベクトルとして検出する。また、予測部１５０は、取得した動体領域のラベル情報を対象領域と同じ値に更新する。
【００２８】
統計情報生成部１６０は、入力フレームが入力されるたびに、その入力フレーム内の所定の処理領域に対して統計処理を行って統計情報を生成するものである。例えば、抽出領域内の特定の領域が処理領域として設定される。また、統計情報として、例えば、処理領域内の画素の画素値（輝度値など）の分布が生成される。ただし、前のフレームで予測された予測領域の少なくとも一部が処理領域と重なる場合に統計情報生成部１６０は、その予測領域と重なる部分を除いて（すなわち、マスクして）統計処理を行う。マスクした部分の分布は、例えば、周囲の画素値から補間される。あるいは、マスクした部分の各画素値に特定の画素値を設定して分布が生成される。統計情報生成部１６０は、生成した統計情報を制御情報生成部１７０に信号線１６９を介して供給する。
【００２９】
制御情報生成部１７０は、統計情報が生成されるたびに、その統計情報に基づいて、撮像部１１０を制御するための制御情報を生成するものである。この制御情報生成部１７０は、例えば、統計情報から輝度値の統計量（積算値など）を求め、撮像部１１０内の撮像素子の感度と統計量とから露光量を制御情報として生成する。露光量の生成（言い換えれば、測光）においては、中央重点測光方式、評価測光方式、平均測光方式およびスポット測光方式などが用いられる。制御情報生成部１７０は、制御情報を制御部１８０に信号線１７９を介して供給する。
【００３０】
制御部１８０は、制御情報に基づいて撮像部１１０を制御して入力フレームを撮像させるものである。この制御部１８０は、例えば、制御情報生成部１７０からの露光量と、設定値とを比較し、露光量が設定値になる値に、絞り値および露光時間の少なくとも一方の撮像パラメータを制御する制御信号を生成する。ここで、絞り値および露光時間は、絞り優先モードやシャッター優先モードにより制御される。この絞り優先モードは、絞り値を固定とし、露光時間を制御するモードであり、シャッター優先モードは、露光時間を固定とし、絞り値を制御するモードである。制御部１８０は、生成した制御信号を撮像部１１０に信号線１８９を介して供給する。
【００３１】
なお、画像抽出部１２０、画質調整部１３０、動体検出部１４０、予測部１５０、統計情報生成部１６０、制御情報生成部１７０および制御部１８０を備える装置は、特許請求の範囲に記載の画像制御装置の一例である。
【００３２】
表示装置３００は、撮像装置１００からの抽出画像を表示するものである。
【００３３】
［撮像部の構成例］
図２は、第１の実施の形態における撮像部１１０の一構成例を示すブロック図である。この撮像部１１０は、撮像レンズ１１１、絞り羽根１１２、撮像素子２００および信号処理部１１３を備える。
【００３４】
撮像レンズ１１１は、光を集光して撮像素子２００に導くレンズである。この撮像レンズ１１１は、例えば、フォーカスレンズを含む。撮像レンズ１１１は、制御部１８０の制御に従って、その位置を変更する。
【００３５】
絞り羽根１１２は、制御部１８０の制御に従って通過する光の量を調節する遮蔽物である。この光量の調節により、絞り値が制御される。
【００３６】
撮像素子２００は、光を電気信号に変換してフレームを撮像するものである。撮像素子２００として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）センサーが設けられる。なお、撮像素子２００は、ＣＭＯＳセンサーに限定されず、ＣＣＤ（Charge Coupled Device）センサーであってもよい。撮像素子２００は、フレームを撮像して信号処理部１１３に供給する。
【００３７】
信号処理部１１３は、フレームに対して所定の信号処理を施すものである。例えば、ホワイトバランス制御処理やデータ圧縮処理などが信号処理として行われる。この信号処理部１１３は、信号処理後のフレームを入力フレームとして画像抽出部１２０、動体検出部１４０および統計情報生成部１６０へ供給する。
【００３８】
［撮像素子の構成例］
図３は、第１の実施の形態における撮像素子２００の一構成例を示すブロック図である。この撮像素子２００は、行走査回路２１０、画素アレイ部２２０、タイミング制御回路２５０、ＡＤ（Analog to Digital）変換部２６０および列走査回路２７０を備える。画素アレイ部２２０には、２次元格子状に複数の画素回路２３０が設けられる。
【００３９】
タイミング制御回路２５０は、行および列の走査のタイミングを制御するものである。ここで、行は画素アレイ部２２０において、ある一方向に複数の画素回路２３０が配列されたものであり、ラインとも呼ばれる。また、列は画素アレイ部２２０において行と直交する方向に複数の画素回路２３０が配列されたものである。画素アレイ部２２０には、ｎ行、ｍ列の画素回路２３０が配列される。ここで、ｎおよびｍは整数である。
【００４０】
タイミング制御回路２５０は、垂直同期信号Ｖｓｙｎｃに同期して行を走査するタイミングを指示する水平同期信号Ｈｓｙｎｃを生成し、行走査回路２１０に供給する。また、タイミング制御回路２５０は、水平同期信号Ｈｓｙｎｃに同期して列を走査するタイミングを指示するタイミング信号を生成し、列走査回路２７０に供給する。
【００４１】
行走査回路２１０は、水平同期信号Ｈｓｙｎｃに同期して行の各々を選択するものである。この行走査回路２１０は、行選択信号を行の各々へ信号線２１９を介して順に出力することにより行を選択する。
【００４２】
また、行走査回路２１０は、行を選択するたびに、その行を露光させる。この行走査回路２１０は、垂直同期信号の示す撮像タイミングから、垂直同期信号の周期未満の一定時間が経過したときに１行目の露光を開始する。２行目以降の露光は、直前の行の露光開始から１／ｆｓ秒が経過したときに開始される。ここで、ｆｓは、水平同期信号Ｈｓｙｎｃの周波数である。そして、行走査回路２１０は、各行の露光開始から、制御部１８０により設定された露光時間が経過したときに、その行の露光を終了する。ここで、露光時間は、制御部１８０により設定された時間である。
【００４３】
画素回路２３０は、露光時間に応じた電位の画素信号を生成するものである。画素回路２３０は、対応する列の信号線２３９を介して、生成した画素信号をＡＤ変換部２６０に供給する。
【００４４】
ＡＤ変換部２６０は、画素信号をＡＤ変換して画素データを生成するものである。ＡＤ変換部２６０は、列ごとに設けられる。列走査回路２７０により選択された列のＡＤ変換部２６０は、生成した画素データを信号処理部１１３に供給する。なお、ＡＤ変換部２６０を撮像素子２００内に設けているが、この構成に限定されず、撮像素子２００の外部の信号処理部１１３内にＡＤ変換部２６０を設ける構成であってもよい。
【００４５】
列走査回路２７０は、タイミング信号に従って、行の各々を選択するものである。この列走査回路２７０は、タイミング信号に従って、列選択信号をＡＤ変換部２６０のそれぞれに順に出力することにより列を選択する。
【００４６】
［画素回路の構成例］
図４は、第１の実施の形態における画素回路２３０の一構成例を示す回路図である。この画素回路２３０は、フォトダイオード２３１、転送トランジスタ２３２、リセットトランジスタ２３３、浮遊拡散層２３４、増幅トランジスタ２３５および選択トランジスタ２３６を備える。転送トランジスタ２３２、リセットトランジスタ２３３、増幅トランジスタ２３５および選択トランジスタ２３６として、例えば、ｎ型のＭＯＳ（metal-oxide-semiconductor）トランジスタが用いられる。
【００４７】
フォトダイオード２３１は、転送トランジスタ２３２のソースに接続される。転送トランジスタ２３２のゲートは、行走査回路２１０に接続され、ドレインは浮遊拡散層２３４に接続される。リセットトランジスタ２３３のゲートは行走査回路２１０に接続され、ソースは浮遊拡散層２３４に接続され、ドレインは電源に接続される。増幅トランジスタ２３５のゲートは浮遊拡散層２３４に接続され、ソースは電源に接続され、ドレインは選択トランジスタ２３６のソースに接続される。選択トランジスタ２３６のゲートは行走査回路２１０に接続され、ドレインはＡＤ変換部２６０に接続される。
【００４８】
フォトダイオード２３１は、光を電荷に変換するものである。転送トランジスタ２３２は、フォトダイオード２３１により変換された電荷を浮遊拡散層２３４に転送するものである。リセットトランジスタ２３３は、浮遊拡散層２３４の電荷の量を初期値にリセットするものである。浮遊拡散層２３４は、転送された電荷の量に応じたレベルの電位を生成するものである。増幅トランジスタ２３５は、浮遊拡散層２３４の電位を増幅するものである。選択トランジスタ２３６は、画素回路２３０が選択された際に、増幅された電位の電気信号を画素信号としてＡＤ変換部２６０に出力するものである。
【００４９】
行走査回路２１０は、ハイレベルの電圧を選択トランジスタ２３６に印加することにより、画素回路２３０を選択する。また、行走査回路２１０は、一定のパルス期間の間、ハイレベルの電圧をリセットトランジスタ２３３に印加することにより露光を開始させる。そして、行走査回路２１０は、露光時間が経過すると、一定のパルス期間の間、ハイレベルの電圧を転送トランジスタ２３２に印加することにより露光を終了させる。これらの制御により、露光時間に応じた電位の電気信号が生成される。
【００５０】
このように、画素回路２３０を制御して、電子的に露光時間を制御する方式は、電子シャッター方式と呼ばれる。なお、撮像装置１００は、電子シャッター方式の代わりに、メカニカルシャッター方式を用いてもよい。メカニカルシャッター方式では、撮像レンズ１１１および撮像素子２００の間にフォーカルプレーンシャッターなどのシャッターが設けられ、そのシャッターの開閉のタイミングを制御部１８０が制御する。
【００５１】
［動体検出部の構成例］
図５は、第１の実施の形態における動体検出部１４０の一構成例を示すブロック図である。この動体検出部１４０は、背景記憶部１４１および差分領域検出部１４２を備える。
【００５２】
背景記憶部１４１は、背景フレームを記憶するものである。ここで、背景フレームは、動体領域が検出されていないフレームである。例えば、撮像前に予め設定されたフレームが背景フレームとして用いられる。あるいは、複数の過去フレームにおいて画素値の平均値を座標が同一の画素毎に求めておき、その平均値の画素からなるフレームが背景フレームとして用いられる。
【００５３】
差分領域検出部１４２は、背景記憶部１４１から背景フレームを読み出して、背景フレームと、撮像部１１０からの入力フレームとの差分の領域を動体領域として検出するものである。この差分領域検出部１４２は、例えば、入力フレームおよび背景フレームのそれぞれの露光量マップを生成して、それらの差分を求める。ここで、露光量マップは、フレームを複数のブロックに分割した際に、輝度値に応じた露光量をブロックごとに示すデータである。それぞれのブロックは、３×３や５×５などの複数の画素から構成される。また、背景フレームの露光量マップは、入力フレームの撮像前に予め生成しておいたものが用いられる。露光量マップの差分を求めることにより、画素ごとの差分を求める場合よりも、処理量を低減することができる。
【００５４】
なお、差分領域検出部１４２は、入力フレームおよび背景フレームのそれぞれの輝度値マップを生成して差分を求めてもよい。ここで、輝度値マップは、輝度値の統計量（平均や合計）をブロックごとに示すデータである。それぞれのブロックは、３×３や５×５などの複数の画素から構成される。また、差分領域検出部１４２は、露光量マップを生成せずに、画素ごとに画素値の差分を求めてもよい。
【００５５】
差分領域検出部１４２は、入力フレームから背景フレームを減算した差分と所定の閾値とを比較して、差分が閾値よりも高い領域を動体の領域として検出する。閾値との比較により、背景フレームに対して明るさがある程度異なる領域が入力フレームにおいて動体の領域として検出される。なお、差分領域検出部１４２は、差分を閾値と比較せず、差分の領域をそのまま動体領域として検出してもよい。
【００５６】
図６は、第１の実施の形態における動体検出領域、抽出領域、および、測定領域の一例を示す図である。同図に示すように、入力フレーム５０１内において、動体検出領域５１０、抽出領域５２０および処理領域５３０が設定される。例えば、フレーム５０１の外周から一定距離だけ離れた線分により囲まれた領域が動体検出領域５１０として設定される。なお、フレーム全体が動体検出領域として設定される構成であってもよい。
【００５７】
また、例えば、動体検出領域５１０内の所定の領域が抽出領域５２０として設定される。また、例えば、抽出領域５２０の外周から一定距離だけ離れた線分により囲まれた、抽出領域５２０内の領域が処理領域５３０として設定される。なお、抽出領域５２０の全てを含む領域が、処理領域５３０として設定されてもよいし、抽出領域５２０外の領域も含めて処理領域５３０として設定されてもよい。
【００５８】
図７は、第１の実施の形態における動体の検出結果の一例を示す図である。同図におけるａは、撮像部１１０により生成された入力フレーム５５１の一例である。同図におけるｂは、背景フレーム５６１の一例である。入力フレーム５５１において、背景フレーム５６１に写っていない、自動車のサーチライトが写されている。なお、動体検出においては、露光量マップが生成されるが、この露光量マップは同図において省略されている。
【００５９】
図７におけるｃは、入力フレーム５５１および背景フレーム５６１の差分から検出された動体領域５７１の一例を示す図である。入力フレーム５５１において、自動車のサーチライトの部分が、動体領域５７１として検出されている。
【００６０】
図８は、第１の実施の形態における動体領域および予測領域の一例を示す図である。同図におけるａは、ある入力フレームＦ１において検出された動体領域５７１の一例を示す図であり、同図におけるｂは、入力フレームＦ１の次のフレームＦ２において検出された動体領域５７２の一例を示す図である。同図におけるｃは、動体領域５７１および５７２から求められた動きベクトル５８１の一例を示す図である。同図におけるｄは、動体領域５７２とと動きベクトル５８１とから予測された、入力フレームＦ２の次の入力フレームＦ３における動体の予測領域５７３の一例を示す図である。
【００６１】
図８に例示したように、撮像装置１００は、入力フレームＦ１およびＦ２の動体領域５７１および５７２から、予測領域を示す動きベクトル５８１を求めることができる。また、その動体領域５７２と動きベクトル５８１とから、入力フレームＦ２の次の入力フレームＦ３における予測領域５７３が求められる。この予測領域５７３は、同図におけるｄに示すように、処理領域５３０と重なっているものとする。この場合、撮像装置１００は、その重なる部分をマスクして輝度分布を取得し、その輝度分布から露光量を求める。
【００６２】
なお、図８において撮像装置１００は、２枚の入力フレームと背景フレームとから動きベクトルを求めているが、３枚以上の入力フレームと背景フレームとから動きベクトルを求めてもよい。３枚以上の入力フレームを用いる場合には、時系列上で連続する２つの入力フレームから検出された複数のベクトルのそれぞれの方向および大きさを平均したベクトルが最終的な動きベクトルとして検出される。
【００６３】
図９は、第１の実施の形態におけるマスクデータの一例を示す図である。予測領域５７３が処理領域５３０と重なる場合には、制御情報生成部１７０は、同図に例示するように、重なる部分をマスクするマスクデータを生成する。同図において、黒く塗りつぶした部分は、マスクされる部分を示す。制御情報生成部１７０は、このマスクデータにより、処理領域５３０の一部をマスクして、露光量などの制御情報を生成する。
【００６４】
図１０は、第１の実施の形態における露光制御を説明するための図である。同図におけるａは、入力フレーム５５１の一例である。同図におけるｂは、入力フレーム５５１の次の入力フレーム５５２の一例である。同図におけるｃは、入力フレーム５５１および５５２から検出された動体領域５７２および移動ベクトル５８１の一例である。同図におけるｄは、入力フレーム５５２の次の入力フレーム５５３の一例である。
【００６５】
入力フレーム５５１においては、背景フレームに写っていない自動車のサーチライトが写されており、そのサーチライトは処理領域５２０と重なってはいない。入力フレーム５５２においてもサーチライトが写っており、そのサーチライトは処理領域５２０と重なってはいないが、入力フレーム５５１のときよりも処理領域５２０に近づいている。
【００６６】
撮像装置１００は、入力フレーム５５１および５５２から、動体領域５７２としてサーチライトの領域を検出し、また、その動きベクトル５８１を検出する。そして、撮像装置１００は、それらの動体領域５７２および動きベクトル５８１から、次のフレーム５５３内の動体に対応する領域を予測して予測領域５７３を求める。この予測領域５７３は、処理領域５２０と重なるものとする。この場合に、撮像装置１００は、処理領域５２０において、その重なる部分をマスクして輝度分布を生成し、その輝度分布から露光量を含む制御情報を生成する。撮像装置１００は、その露光量に基づいて絞り値や露光時間を制御して、次の入力フレーム５５４を撮像する。
【００６７】
図１０におけるｄは、入力フレーム５５４の一例である。入力フレーム５５３において、撮像装置１００は、輝度値の高いサーチライトの部分をマスクして露光量を求めて露光制御を行ったため、その次の入力フレーム５５４において動体（サーチライトなど）以外の部分の露光量が適正な値となる。この結果、動体以外の部分の露光不足による画質の低下を防止することができる。
【００６８】
図１１は、第１の実施の形態における入力フレームの一例を示す図である。同図におけるａは、図１０におけるｄの入力フレーム５５４を拡大した図である。その前の入力フレーム５５３において、撮像装置１００は輝度値の高い動体（サーチライト）の部分をマスクして露光量を求め、その露光量により露光制御して入力フレーム５５４を撮像している。このため、入力フレーム５５４において、サーチライトの部分以外の背景は露光不足にならず、画質が向上している。
【００６９】
図１１におけるｂは、輝度値の高い動体の部分をマスクせずに露光制御して撮像された比較例の入力フレームの一例である。輝度値の高い動体の部分をマスクせずに露光制御した場合には、マスクしない場合よりも高い露光量が生成され、その高い露光量に基づいて絞り値等が制御される。この結果、輝度の比較的低い、背景の部分が露光不足になり、画質が低下してしまう。
【００７０】
［撮像装置の動作例］
図１２は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、動画を撮像させるための操作が行われたときに開始する。まず、撮像装置１００は、入力フレームを撮像する（ステップＳ９０１）。撮像装置１００は、入力フレームの抽出領域を抽出して抽出画像を生成し、表示装置３００へ出力する（ステップＳ９０２）。
【００７１】
また、撮像装置１００は、入力フレームと背景フレームとを比較して、動体領域を検出する（ステップＳ９０３）。撮像装置１００は、入力フレームが２フレーム目以降のフレームであるか否かを判断する（ステップＳ９０４）。２フレーム目以降のフレームであれば（ステップＳ９０４：Ｙｅｓ）、撮像装置１００は、次の入力フレーム内の動体に対応する領域を予測領域として予測する（ステップＳ９０５）。また、撮像装置１００は、入力フレームが３フレーム目以降のフレームであるか否かを判断する（ステップＳ９０６）。３フレーム目以降のフレームであれば（ステップＳ９０６：Ｙｅｓ）、撮像装置１００は、処理領域において、前のフレームで予測された予測領域をマスクして露光量を含む制御情報を生成する（ステップＳ９０７）。ただし、処理領域および予測領域が重ならない場合には、撮像装置１００は、マスクせずに制御情報を生成する。
【００７２】
一方、２フレーム目以降でない場合（ステップＳ９０４：Ｎｏ）、または、３フレーム目以降でない場合（ステップＳ９０６：Ｎｏ）、撮像装置１００は、露光量を含む制御情報を生成する（ステップＳ９０８）。
【００７３】
ステップＳ９０７またはＳ９０８の後、撮像装置１００は、露光量に基づいて絞り値や露光時間を制御し（ステップＳ９０９）、ステップＳ９０１に戻る。
【００７４】
このように、本技術の第１の実施の形態によれば、撮像装置１００は、動体に対応する領域を予測し、処理領域において予測領域を除いて制御情報を生成するため、動体が処理領域と重なる場合であっても、適切な制御情報を生成することができる。これにより、動体以外の部分の画質を向上させることができる。
【００７５】
［第１の変形例］
第１の実施の形態では、撮像装置１００は露光制御を行ってフレームを撮像していたが、露光制御の代わりにフォーカス制御を行ってフレームを撮像してもよい。第１の変形例の撮像装置１００は、フォーカス制御を行ってフレームを撮像する点において第１の実施の形態と異なる。
【００７６】
第１の変形例の制御情報生成部１７０は、被写体までの距離を示す距離情報を含む制御情報を統計情報から生成する。例えば、コントラストなどが距離情報として生成される。
【００７７】
また、第２の変形例の制御部１８０は、距離情報に基づいて、撮像レンズ１１１内のフォーカスレンズの位置を制御する。コントラストに基づいて位置を制御する場合、コントラストが最も高くなる位置にフォーカスレンズの位置が制御される。
【００７８】
図１３は、第１の実施の形態の第１の変形例における撮像装置１００の動作の一例を示すフローチャートである。第１の変形例の撮像装置１００の動作は、ステップＳ９０７乃至Ｓ９０９の代わりに、ステップＳ９１１乃至Ｓ９１３を実行する点において第１の実施の形態と異なる。
【００７９】
３フレーム目以降の入力フレームであれば（ステップＳ９０６：Ｙｅｓ）、撮像装置１００は、予測領域をマスクしてコントラストを含む制御情報を生成する（ステップＳ９１１）。また、２フレーム目以降でない場合（ステップＳ９０４：Ｎｏ）、または、３フレーム目以降でない場合（ステップＳ９０６：Ｎｏ）、撮像装置１００は、コントラストを含む制御情報を生成する（ステップＳ９１２）。
【００８０】
ステップＳ９１１またはＳ９１２の後、撮像装置１００は、コントラストに基づいてフォーカスレンズの位置を制御し（ステップＳ９１３）、ステップＳ９０１に戻る。
【００８１】
なお、撮像装置１００は、露光制御およびフォーカス制御の両方を行ってもよい。
【００８２】
図１４は、第１の実施の形態における入力フレーム５９１の一例を示す図である。入力フレーム５９１の前のフレームにおいて、撮像装置１００は、背景と距離が大きく異なる動体５９２の部分をマスクしてコントラストを求め、そのコントラストによりフォーカス制御して入力フレーム５９１を撮像している。このため、動体５９２の部分以外の背景に焦点の合った入力フレーム５９１が得られる。
【００８３】
図１４におけるｂは、距離が大きく異なる動体の部分をマスクせずにフォーカス制御して撮像された比較例のフレームの一例である。距離が異なる動体の部分をマスクせずにフォーカス制御した場合には、マスクしない場合と異なるコントラストが生成され、そのコントラスに基づいてフォーカスレンズの位置が制御される。この結果、距離の異なる背景の部分に焦点が合わず、画質が低下してしまう。
【００８４】
このように、第１の変形例によれば、撮像装置１００は、動体領域を予測して、処理領域において予測領域を除いてコントラストを生成するため、動体が処理領域と重なる場合であっても、適切なコントラストを生成することができる。これにより、撮像装置１００は、動体以外の部分に焦点の合った画像を抽出することができる。
【００８５】
［第２の変形例］
第１の実施の形態では、撮像装置１００は露光制御を行ってフレームを撮像していたが、露光制御の代わりにホワイトバランス制御を行ってフレームを撮像してもよい。第１の変形例の撮像装置１００は、ホワイトバランス制御を行ってフレームを撮像する点において第１の実施の形態と異なる。
【００８６】
第２の変形例の統計情報生成部１６０は、輝度分布を色ごとに生成する。また、第２の変形例の制御情報生成部１７０は、統計情報から、色ごとの画素値の統計量（合計や平均）を色成分量として含む制御情報を生成する。
【００８７】
また、第２の変形例の制御部１８０は、信号処理部１１３に制御信号を送信して、それぞれの色成分量の比率が設定値になる値に色ごとのゲインを変更させる。例えば、赤の画素データに対するＲゲインや、青の画素データに対するＢゲインなどが制御される。信号処理部１１３は、制御部１８０により制御されたゲインで画素データを増幅する。
【００８８】
図１５は、第１の実施の形態の第２の変形例における撮像装置１００の動作の一例を示すフローチャートである。第２の変形例の撮像装置１００の動作は、ステップＳ９０７乃至Ｓ９０９の代わりに、ステップＳ９２１乃至Ｓ９２３を実行する点において第１の実施の形態と異なる。
【００８９】
３フレーム目以降のフレームであれば（ステップＳ９０６：Ｙｅｓ）、撮像装置１００は、予測領域をマスクして色成分量を含む制御情報を生成する（ステップＳ９２１）。また、２フレーム目以降でない場合（ステップＳ９０４：Ｎｏ）、または、３フレーム目以降でない場合（ステップＳ９０６：Ｎｏ）、撮像装置１００は、色成分量を含む制御情報を生成する（ステップＳ９２２）。
【００９０】
ステップＳ９２１またはＳ９２２の後、撮像装置１００は、色成分量に基づいてＲゲインやＢゲインを制御し（ステップＳ９２３）、ステップＳ９０１に戻る。
【００９１】
なお、撮像装置１００は、露光制御、フォーカス制御およびホワイトバランス制御のうち２つ以上を行ってもよい。
【００９２】
このように、第２の変形例によれば、撮像装置１００は、動体に対応する領域を予測して、処理領域において予測領域を除いて色成分量を生成するため、動体以外の部分のホワイトバランスを適切な値に制御することができる。
【００９３】
［第３の変形例］
第１の実施の形態では、統計情報生成部１６０は予測領域と重なる部分を除いて（すなわち、マスクして）統計処理をしていたが、予測領域と重なる部分を除いた統計処理の代わりに予測領域と重なる部分のみ（すなわち、マスクして）統計処理してもよい。第３の変形例の統計情報生成部１６０は、予測領域と重なる部分のみ統計処理する点において第１の実施の形態と異なる。
【００９４】
第３の変形例の撮像装置１００の動作はステップＳ９０７において予測領域をマスクする代わりに、予測領域以外をマスクする点において第１の実施の形態と異なる。
【００９５】
なお、撮像装置１００は、露光制御、フォーカス制御およびホワイトバランス制御のうち２つ以上を行ってもよい。
【００９６】
このように、第３の変形例によれば、撮像装置１００は、動体に対応する領域を予測して、処理領域において予測領域と重なる領域のみを対象として露光量を含む制御情報を生成するため、動体部分の露光量を含む制御情報を適切な値に制御することができる。
【００９７】
＜２．第２の実施の形態＞
第１の実施の形態では、撮像装置１００は、フレームを撮像するたびに、露光制御を行って抽出画像を抽出して出力していた。言い換えれば、撮像装置１００は、抽出画像を出力するフレームレートを、露光制御のフレームレートと同一にしていた。この構成では、露光量を求めたタイミングから、その露光量で露光制御して撮像するタイミングまでの間に露光量が急激に変化すると、その変化に追随することができずに抽出画像の画質が低下するおそれがある。
【００９８】
しかし、抽出画像を出力するフレームレートを、露光制御のフレームレートより小さくすれば、露光量の急激な変化による抽出画像の画質の低下を抑制することができる。例えば、偶数フレームで露光制御と抽出画像の出力との両方を行い、奇数フレームで露光制御のみを行う構成を想定する。この場合、ある偶数フレームＦ２から、その次の奇数フレームＦ３の間に露光量が変わっても、そのフレームＦ３では抽出画像が出力されないため、抽出画像の画質に影響はない。そのフレームＦ３から次の偶数フレームＦ４までの間に露光量の急激な変化がなければ、撮像装置１００は、適正な露光量によりフレームＦ４を撮像して、画質の高い抽出画像を出力することができる。第２の実施の形態の撮像装置１００は、複数のフレームが撮像されるたびに、抽出画像を抽出する点において第１の実施の形態と異なる。
【００９９】
図１６は、第２の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。撮像装置１００は、入力フレームを撮像し（ステップＳ９０１）、入力フレームが奇数番目の奇数フレームであるか否かを判断する（ステップＳ９３１）。奇数フレームであれば（ステップＳ９３１：Ｙｅｓ）、撮像装置１００は、パラメータ制御処理を行う（ステップＳ９４０）。一方、偶数フレームであれば（ステップＳ９３１：Ｎｏ）、撮像装置１００は、表示出力処理を行う（ステップＳ９５０）。ステップＳ９４０またはＳ９５０の後、撮像装置１００は、ステップＳ９０１に戻る。
【０１００】
図１７は、第２の実施の形態におけるパラメータ制御処理の一例を示すフローチャートである。撮像装置１００は、動体領域を検出し（ステップＳ９４１）、入力フレームが３フレーム目以降のフレームであるか否かを判断する（ステップＳ９４２）。３フレーム以降であれば（ステップＳ９４２：Ｙｅｓ）、次のフレームの動体に対応する領域を予測領域として予測する（ステップＳ９４３）。そして、撮像装置１００は、処理領域において予測領域をマスクして露光量を含む制御情報を生成する（ステップＳ９４４）。
【０１０１】
一方、３フレーム目以降でない場合（ステップＳ９４２：Ｎｏ）、撮像装置１００は、露光量を含む制御情報として生成する（ステップＳ９４５）。
【０１０２】
ステップＳ９４４またはＳ９４５の後、撮像装置１００は、露光量に基づいて絞り値や露光時間を制御し（ステップＳ９４６）、パラメータ制御処理を終了する。
【０１０３】
図１８は、第２の実施の形態における表示出力処理の一例を示すフローチャートである。撮像装置１００は、フレームの抽出領域を抽出して抽出画像を生成し、表示装置３００へ出力する（ステップＳ９５１）。また、撮像装置１００は、動体領域を検出し（ステップＳ９５２）、次のフレーム内の動体に対応する領域を予測領域として予測する（ステップＳ９５３）。また、撮像装置１００は、入力フレームが４フレーム目以降のフレームであるか否かを判断する（ステップＳ９５４）。４フレーム目以降であれば（ステップＳ９５４：Ｙｅｓ）、撮像装置１００は、処理領域において予測領域をマスクして露光量を含む制御情報を生成する（ステップＳ９５５）。
【０１０４】
一方、４フレーム目以降でない場合（ステップＳ９５４：Ｎｏ）、撮像装置１００は、露光量を含む制御情報として生成する（ステップＳ９５６）。
【０１０５】
ステップＳ９５５またはＳ９５６の後、撮像装置１００は、露光量に基づいて絞り値や露光時間を制御し（ステップＳ９５７）、表示出力制御処理を終了する。なお、撮像装置１００は、２枚の入力フレームが撮像されるたびに抽出画像を生成しているが、３枚以上の入力フレームが撮像されるたびに抽出画像を生成してもよい。
【０１０６】
このように、第２の実施の形態によれば、撮像装置１００は、複数の入力フレームが撮像されるたびに、抽出画像を抽出するため、露光量が急激に変化しても抽出画像の画質を維持することができる。
【０１０７】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１０８】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１０９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【０１１０】
なお、本技術は以下のような構成もとることができる。
（１）撮像部により撮像された入力フレームが入力されるたびに当該入力フレームから動体の領域を動体領域として検出する動体検出部と、
前記入力フレームが入力されるたびに当該入力フレームの次の入力フレーム内の前記動体領域に対応する領域を予測領域として前記動体領域から予測する予測部と、
前記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から前記予測された予測領域を除いた領域と前記処理領域内の前記予測領域に重なる領域とのいずれかにおける画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成部と、
前記統計情報が生成されるたびに前記統計情報に基づいて前記撮像部を制御するための所定の制御情報を生成する制御情報生成部と、
前記制御情報が生成されるたびに前記制御情報に基づいて前記撮像部を制御して前記次の入力フレームを撮像させる制御部と
を具備する撮像制御装置。
（２）前記入力フレームにおいて前記処理領域の少なくとも一部を含む抽出領域を抽出する画像抽出部をさらに具備する
前記（１）記載の撮像制御装置。
（３）前記画像抽出部は、前記入力フレームが複数回入力されるたびに前記抽出領域を抽出する
前記（２）記載の撮像制御装置。
（４）前記抽出領域は、前記処理領域の全てを含む
前記（２）記載の撮像制御装置。
（５）前記処理領域は、前記抽出領域の全てを含む
前記（２）記載の撮像制御装置。
（６）入力フレームを複数回撮像する撮像部と、
前記入力フレームが入力されるたびに当該入力フレームの次の入力フレーム内の前記動体領域に対応する領域を予測領域として前記動体領域から予測する予測部と、
前記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から前記予測された予測領域を除いた領域と前記処理領域内の前記予測領域に重なる領域とのいずれかにおける画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成部と、
前記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から、前記入力フレームの前の入力フレームにおいて予測された予測領域を除いた画像内の画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成部と、
前記統計情報が生成されるたびに前記統計情報に基づいて前記撮像部を制御するための所定の制御情報を生成する制御情報生成部と、
前記制御情報が生成されるたびに前記制御情報に基づいて前記撮像部を制御して前記次の入力フレームを撮像させる制御部と
を具備する撮像装置。
（７）前記撮像部は、絞り値に従って調節した光量により露光時間に亘って露光を行い、
前記制御情報は、露光量を含み、
前記制御部は、前記露光量に基づいて前記絞り値および前記露光時間の少なくとも一方を制御する
前記（６）記載の撮像装置。
（８）前記撮像部は、フォーカスレンズを備え、
前記制御情報は、被写体までの距離情報を含み、
前記制御部は、前記距離情報に基づいて前記フォーカスレンズの位置を制御する
前記（６）または（７）に記載の撮像装置。
（９）前記撮像部は、
互いに色の異なる複数の画素データを生成する撮像素子と、
前記画素データを所定のゲインで増幅する信号処理部と
を備え、
前記制御情報は、色ごとの前記画素データの画素値の統計量を含み、
前記制御部は、前記統計量に基づいて前記ゲインを色ごとに制御する
前記（６）から（８）のいずれかに記載の撮像装置。
（１０）動体検出部が、撮像部により撮像された入力フレームが入力されるたびに当該入力フレームから動体の領域を動体領域として検出する動体検出手順と、
予測部が、前記入力フレームが入力されるたびに当該入力フレームの次の入力フレーム内の前記動体領域に対応する領域を予測領域として前記動体領域から予測する予測手順と、
統計情報生成部が、前記入力フレームが入力されるたびに当該入力フレーム内の特定の処理領域から前記予測された予測領域を除いた領域と前記処理領域内の前記予測領域に重なる領域とのいずれかにおける画素の画素値のそれぞれに対して所定の統計処理を行って統計情報を生成する統計情報生成手順と、
制御情報生成部が、前記統計情報が生成されるたびに前記統計情報に基づいて前記撮像部を制御するための所定の制御情報を生成する制御情報生成手順と、
制御部が、前記制御情報が生成されるたびに前記制御情報に基づいて前記撮像部を制御して前記次の入力フレームを撮像させる制御手順と
を具備する撮像制御装置の制御方法。
【符号の説明】
【０１１１】
１００  撮像装置
１１０  撮像部
１１１  撮像レンズ
１１２  絞り羽根
１１３  信号処理部
１２０  画像抽出部
１３０  画質調整部
１４０  動体検出部
１４１  背景記憶部
１４２  差分領域検出部
１５０  予測部
１６０  統計情報生成部
１７０  制御情報生成部
１８０  制御部
２００  撮像素子
２１０  行走査回路
２２０  画素アレイ部
２３０  画素回路
２３１  フォトダイオード
２３２  転送トランジスタ
２３３  リセットトランジスタ
２３４  浮遊拡散層
２３５  増幅トランジスタ
２３６  選択トランジスタ
２５０  タイミング制御回路
２６０  ＡＤ変換部
２７０  列走査回路
３００  表示装置
【図１】
2016031403.tif 000003
【図２】
2016031403.tif 000004
【図３】
2016031403.tif 000005
【図４】
2016031403.tif 000006
【図５】
2016031403.tif 000007
【図６】
2016031403.tif 000008
【図７】
2016031403.tif 000009
【図８】
2016031403.tif 000010
【図９】
2016031403.tif 000011
【図１０】
2016031403.tif 000012
【図１１】
2016031403.tif 000013
【図１２】
2016031403.tif 000014
【図１３】
2016031403.tif 000015
【図１４】
2016031403.tif 000016
【図１５】
2016031403.tif 000017
【図１６】
2016031403.tif 000018
【図１７】
2016031403.tif 000019
【図１８】
2016031403.tif 000020
【国際調査報告】
2016031403.tif 000021
2016031403.tif 000022
2016031403.tif 000023
2016031403.tif 000024
2016031403.tif 000025
2016031403.tif 000026