(57)【要約】【課題】間引き撮影の結果に基づいて、必要な領域のみを撮影する。【解決手段】撮像装置は、撮像素子と、アナログデジタル変換器と、変換制御部とを備える。撮像素子は、各々が複数の画素を含む複数の画素ブロックについて、複数の画素のアナログ信号を生成する。アナログデジタル変換器は、アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行う。変換制御部は、複数の画素ブロックのうちの所定の画素ブロックにおける代表画素のデジタル信号と所定の基準値との差分に応じて、所定の画素ブロックに含まれる複数の画素のアナログデジタル変換処理を制御する。【選択図】図１
2019213020.tif 000002
【特許請求の範囲】
【請求項１】
各々が複数の画素を含む複数の画素ブロックについて前記複数の画素のアナログ信号を生成する撮像素子と、
前記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器と、
前記複数の画素ブロックのうちの所定の画素ブロックにおける代表画素の前記デジタル信号と所定の基準値との差分に応じて前記所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を制御する変換制御部と
を具備する撮像装置。
【請求項２】
前記変換制御部は、前記代表画素の前記デジタル信号と前記基準値との差分が所定の閾値以上である第１の画素ブロックについては前記第１の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記複数の画素の前記デジタル信号を生成させ、前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値未満である第２の画素ブロックについては前記第２の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させないように制御する
請求項１記載の撮像装置。
【請求項３】
前記変換制御部は、前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値未満である前記第２の画素ブロックであっても、前記第２の画素ブロックの周囲の画素ブロックの前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値以上であれば、前記第２の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記複数の画素の前記デジタル信号を生成させるように制御する
請求項２記載の撮像装置。
【請求項４】
前記変換制御部は、前記複数の画素ブロックの前記代表画素についてのみ前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記デジタル信号を生成させる間引き撮影モードと、前記代表画素の前記デジタル信号と前記基準値との差分に応じて前記所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させる領域制御撮影モードとの切替えを行う撮影モード切替部を備える
請求項１記載の撮像装置。
【請求項５】
前記変換制御部は、
前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号と前記基準値との差分が所定の閾値以上である画素ブロックの座標を判定結果として出力する間引き判定部と、
前記領域制御撮影モードにおいて前記アナログデジタル変換処理を行う画素ブロックの座標を前記判定結果に基づいて設定する座標設定部と
を備える
請求項４記載の撮像装置。
【請求項６】
前記変換制御部は、前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号に基づいて、前記領域制御撮影モードにおいて前記所定の画素ブロックに含まれる前記複数の画素の露光時間を制御する
請求項４記載の撮像装置。
【請求項７】
前記変換制御部は、時系列に配列される複数の動画フレームについて前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号に基づいて、前記間引き撮影モードとは異なるフレームレートにより前記領域制御撮影モードによる動作を行う
請求項４記載の撮像装置。
【請求項８】
前記基準値は、予め設定された固定値である
請求項１記載の撮像装置。
【請求項９】
前記基準値は、時系列に配列される動画フレームにおける対応する画素の値から設定される値である
請求項１記載の撮像装置。
【請求項１０】
前記アナログデジタル変換器は、前記画素の各々に対応して画素単位で前記アナログデジタル変換処理を行う
請求項１記載の撮像装置。
【請求項１１】
前記アナログデジタル変換器は、前記画素を複数個ずつまとめた領域単位で前記アナログデジタル変換処理を行う
請求項１記載の撮像装置。
【請求項１２】
前記アナログデジタル変換器は、前記画素を列毎にまとめて列単位で前記アナログデジタル変換処理を行う
請求項１記載の撮像装置。
【請求項１３】
前記撮像素子は、非破壊読出しにより前記アナログ信号を生成する
請求項１記載の撮像装置。
【請求項１４】
各々が複数の画素を含む複数の画素ブロックについて前記複数の画素のアナログ信号を生成する撮像素子と、前記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器とを備える撮像装置において、
前記複数の画素ブロックにおける代表画素についてのみ前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記デジタル信号を生成させる間引き撮影手順と、
前記代表画素の前記デジタル信号と所定の基準値との差分に応じて所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させる領域制御撮影手順と
を具備する撮像制御方法。
【請求項１５】
前記間引き撮影手順において生成された前記代表画素の前記デジタル信号に基づいて、前記領域制御撮影手順において前記所定の画素ブロックに含まれる前記複数の画素の露光時間を制御する
請求項１４記載の撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置に関する。詳しくは、間引き撮影を行う撮像装置および撮像制御方法に関する。
【背景技術】
【０００２】
従来、撮像装置においては、消費電力低減などのために間引き撮影モードを備えるものが知られている。例えば、動体検知を行う際には間引き読出しを行い、動きが検出された際には全画面読出しを行う固体撮像素子の駆動方法が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７１６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、間引き読出しにより動体検知を行って、動きの検出を契機としてイベントドリブンにより全画面読出しを行っている。しかしながら、この従来技術では、間引き読出しの後、画像を撮影する際に撮像素子の全画素で撮影するため、消費電力の増加、データ量の増加や、データ転送の帯域の増加を伴うという問題がある。一方、現実の用途としては、顔認識や物体認識のように画面の一部のみを鮮明に撮影できれば十分な場合があり、全画面の撮影は無駄になることがある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、間引き撮影の結果に基づいて、必要な領域のみを撮影することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、各々が複数の画素を含む複数の画素ブロックについて上記複数の画素のアナログ信号を生成する撮像素子と、上記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器と、上記複数の画素ブロックのうちの所定の画素ブロックにおける代表画素の上記デジタル信号と所定の基準値との差分に応じて上記所定の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を制御する変換制御部とを具備する撮像装置である。これにより、複数の画素ブロックにおける代表画素のデジタル信号と基準値との差分に応じて、所定の画素ブロックに含まれる複数の画素のアナログデジタル変換処理を制御するという作用をもたらす。
【０００７】
また、この第１の側面において、上記変換制御部は、上記代表画素の上記デジタル信号と上記基準値との差分が所定の閾値以上である第１の画素ブロックについては上記第１の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させて上記複数の画素の上記デジタル信号を生成させ、上記代表画素の上記デジタル信号と上記基準値との差分が上記閾値未満である第２の画素ブロックについては上記第２の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させないように制御するようにしてもよい。これにより、代表画素のデジタル信号と基準値との差分に応じてアナログデジタル変換処理の要否を制御するという作用をもたらす。
【０００８】
また、この第１の側面において、上記変換制御部は、上記代表画素の上記デジタル信号と上記基準値との差分が上記閾値未満である上記第２の画素ブロックであっても、上記第２の画素ブロックの周囲の画素ブロックの上記代表画素の上記デジタル信号と上記基準値との差分が上記閾値以上であれば、上記第２の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させて上記複数の画素の上記デジタル信号を生成させるように制御するようにしてもよい。これにより、画素ブロックの周囲の画素ブロックに拡大してアナログデジタル変換処理を制御するという作用をもたらす。
【０００９】
また、この第１の側面において、上記変換制御部は、上記複数の画素ブロックの上記代表画素についてのみ上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させて上記デジタル信号を生成させる間引き撮影モードと、上記代表画素の上記デジタル信号と上記基準値との差分に応じて上記所定の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させる領域制御撮影モードとの切替えを行う撮影モード切替部を備えるようにしてもよい。これにより、間引き撮影モードと領域制御撮影モードとの切替えを行うという作用をもたらす。
【００１０】
また、この第１の側面において、上記変換制御部は、上記間引き撮影モードにおいて生成された上記代表画素の上記デジタル信号と上記基準値との差分が所定の閾値以上である画素ブロックの座標を判定結果として出力する間引き判定部と、上記領域制御撮影モードにおいて上記アナログデジタル変換処理を行う画素ブロックの座標を上記判定結果に基づいて設定する座標設定部とを備えるようにしてもよい。これにより、間引き撮影モードにおいて生成された代表画素のデジタル信号と基準値との差分に応じて、領域制御撮影モードのための座標を設定するという作用をもたらす。
【００１１】
また、この第１の側面において、上記変換制御部は、上記間引き撮影モードにおいて生成された上記代表画素の上記デジタル信号に基づいて、上記領域制御撮影モードにおいて上記所定の画素ブロックに含まれる上記複数の画素の露光時間を制御するようにしてもよい。これにより、間引き撮影モードにおいて生成された代表画素のデジタル信号に基づいて、領域制御撮影モードにおける露光時間を制御するという作用をもたらす。
【００１２】
また、この第１の側面において、上記変換制御部は、時系列に配列される複数の動画フレームについて上記間引き撮影モードにおいて生成された上記代表画素の上記デジタル信号に基づいて、上記間引き撮影モードとは異なるフレームレートにより上記領域制御撮影モードによる動作を行うようにしてもよい。これにより、間引き撮影モードにおいて生成された代表画素のデジタル信号に基づいて、異なるフレームレートにより領域制御撮影モードによる動作を行うという作用をもたらす。
【００１３】
また、この第１の側面において、上記基準値は、予め設定された固定値であってもよく、また、時系列に配列される動画フレームにおける対応する画素の値から設定される値であってもよい。
【００１４】
また、この第１の側面において、上記アナログデジタル変換器は、上記画素の各々に対応して画素単位で上記アナログデジタル変換処理を行う画素ＡＤＣ型であってもよい。また、上記アナログデジタル変換器は、上記画素を複数個ずつまとめた領域単位で上記アナログデジタル変換処理を行うエリアＡＤＣ型であってもよい。また、上記アナログデジタル変換器は、上記画素を列毎にまとめて列単位で上記アナログデジタル変換処理を行うカラムＡＤＣ型であってもよい。
【００１５】
また、この第１の側面において、上記撮像素子は、非破壊読出しにより上記アナログ信号を生成してもよい。
【００１６】
また、本技術の第２の側面は、各々が複数の画素を含む複数の画素ブロックについて上記複数の画素のアナログ信号を生成する撮像素子と、上記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器とを備える撮像装置において、上記複数の画素ブロックにおける代表画素についてのみ上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させて上記デジタル信号を生成させる間引き撮影手順と、上記代表画素の上記デジタル信号と所定の基準値との差分に応じて所定の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させる領域制御撮影手順とを具備する撮像制御方法である。これにより、間引き撮影における複数の画素ブロックにおける代表画素のデジタル信号と基準値との差分に応じて、領域制御撮影において所定の画素ブロックに含まれる複数の画素のアナログデジタル変換処理を制御するという作用をもたらす。
【００１７】
また、この第２の側面において、上記間引き撮影手順において生成された上記代表画素の上記デジタル信号に基づいて、上記領域制御撮影手順において上記所定の画素ブロックに含まれる上記複数の画素の露光時間を制御するようにしてもよい。間引き撮影において生成された代表画素のデジタル信号に基づいて、領域制御撮影における露光時間を制御するという作用をもたらす。
【発明の効果】
【００１８】
本技術によれば、間引き撮影の結果に基づいて、必要な領域のみを撮影することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】本技術の実施の形態における撮像装置１００の構成例を示す図である。
【図２】本技術の実施の形態の固体撮像部１２０におけるアナログデジタル変換器１２５と画素との関係を示す図である。
【図３】本技術の第１の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
【図４】本技術の第１の実施の形態における間引き撮影と判定の具体例を示す図である。
【図５】本技術の第１の実施の形態における領域制御撮影の撮像領域の拡大の具体例を示す図である。
【図６】本技術の第１の実施の形態における領域制御撮影の撮像領域の拡大の具体例の全体を示す図である。
【図７】本技術の第１の実施の形態における間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【図８】本技術の第２の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
【図９】本技術の第２の実施の形態における間引き撮影と判定の具体例を示す図である。
【図１０】本技術の第３の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
【図１１】本技術の第３の実施の形態における間引き撮影と判定の具体例を示す図である。
【図１２】本技術の第３の実施の形態における間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【図１３】本技術の第４の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
【図１４】本技術の第５の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
【図１５】本技術の第５の実施の形態における、エリアＡＤＣ型および画素ＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【図１６】本技術の第５の実施の形態における、カラムＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【図１７】本技術の第６の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
【図１８】本技術の第６の実施の形態における、エリアＡＤＣ型および画素ＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【図１９】本技術の第６の実施の形態における、カラムＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【図２０】本技術の実施の形態が適用される分野の例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画素単位でアナログデジタル変換処理を行う例）
２．第２の実施の形態（エリア単位でアナログデジタル変換処理を行う例）
３．第３の実施の形態（カラム単位でアナログデジタル変換処理を行う例）
４．第４の実施の形態（動画フレームの適用例）
５．第５の実施の形態（座標の推定を行う例）
６．第６の実施の形態（非破壊読出しを行う例）
７．適用例
【００２１】
＜１．第１の実施の形態＞
［撮像装置］
図１は、本技術の実施の形態における撮像装置１００の構成例を示す図である。
【００２２】
この撮像装置１００は、レンズ群１１０と、固体撮像部１２０と、撮影モード切替部１３１と、座標設定部１３２と、ホワイトバランス制御部１３３と、オートエクスポージャ制御部１３４と、間引き判定部１３５とを備える。また、この撮像装置１００は、間引き撮影メモリ１４１と、領域制御撮影メモリ１４２と、信号処理部１５１と、表示部１５２と、操作部１５３と、記録部１５４と、電源部１５５とを備える。これらは、バスライン１９０によって接続される。
【００２３】
レンズ群１１０は、被写体から入射した光を集光して結像させる光学系素子である。固体撮像部１２０は、レンズ群１１０によって結像された被写体の像を撮像する半導体素子である。
【００２４】
撮影モード切替部１３１は、固体撮像部１２０における撮影モードとして、間引き撮影モードおよび領域制御撮影モードの一方を選択して切り替えるものである。ここで、間引き撮影モードは、固体撮像部１２０において、画素を間引いて撮影するモードである。領域制御撮影モードは、固体撮像部１２０において、指定した領域だけを撮影するモードである。
【００２５】
座標設定部１３２は、固体撮像部１２０における撮影に必要な座標を設定するものである。間引き撮影モードでは、間引き撮影をしたい座標を設定する。一方、領域制御撮影モードでは、領域制御撮影した座標を設定する。
【００２６】
ホワイトバランス制御部１３３は、間引き撮影モードと領域制御撮影モードにおいて、色信号からホワイトバランス（ＷＢ：White Balance）を決定するものである。
【００２７】
オートエクスポージャ制御部１３４は、間引き撮影モードと領域制御撮影モードにおいて、輝度信号からシャッター速度とゲインを自動的に決定する自動露光（ＡＥ：Auto Exposure）制御を行い、固体撮像部１２０の撮影条件に反映させるものである。
【００２８】
間引き判定部１３５は、間引き撮影モードで撮影した輝度信号の出力値を判定して、所定条件の座標を出力するものである。
【００２９】
なお、撮影モード切替部１３１、座標設定部１３２、ＷＢ制御部１３３、ＡＥ制御部１３４、間引き判定部１３５は、特許請求の範囲に記載の変換制御部の一例である。
【００３０】
間引き撮影メモリ１４１は、間引き撮影で判定された座標と、その座標の輝度信号および色信号とを格納するメモリである。領域制御撮影メモリ１４２は、領域制御撮影モードで撮影する座標と、その座標の輝度信号および色信号とを格納するメモリである。なお、間引き撮影メモリ１４１および領域制御撮影メモリ１４２は、物理的に同じメモリによって構成してもよい。また、これらは例えば、ラインメモリやフレームメモリによって構成してもよい。
【００３１】
信号処理部１５１は、固体撮像部１２０によって撮像された信号に対して所定の信号処理を施すものである。表示部１５２は、信号処理部１５１によって信号処理が施された画像信号を表示するものである。操作部１５３は、ユーザによる操作入力を受け付けるものである。記録部１５４は、撮像された画像信号を所定の記録媒体に記録するものである。電源部１５５は、撮像装置１００の各部に電源を供給するものである。
【００３２】
図２は、本技術の実施の形態の固体撮像部１２０におけるアナログデジタル変換器１２５と画素との関係を示す図である。
【００３３】
固体撮像部１２０は、フレーム６００に対応する複数の画素を平面状に配置した撮像素子１２１を備える。この撮像素子１２１の画素の各々は、光電変換部となる例えばフォトダイオードと、複数の画素トランジスタを含む。撮像素子１２１の画素は、複数の画素ブロックに区分けされる。そして、複数の画素ブロックの各々は、複数の画素からなる。
【００３４】
撮像素子１２１の出力はアナログ信号であり、これを電子回路において扱うため、アナログ信号をデジタル信号に変換するアナログデジタル変換処理が必要になる。このアナログデジタル変換処理を行うのがアナログデジタル（ＡＤ：Analog-to-Digital）変換器１２５である。撮像素子１２１における画素とＡＤ変換器１２５との対応関係はいくつか考えられ、これまでも提案されている。
【００３５】
第１に、１つの画素に１つのＡＤ変換器１２５を割り当てる方式が考えられる。以下では、これを画素ＡＤＣ（Analog-to-Digital Converter）型と称する。第２に、平面上の四角形のエリアに含まれる複数の画素を、１つのＡＤ変換器１２５に割り当てる方式が考えられる。以下では、これをエリアＡＤＣ型と称する。第３に、アレイ状に配置された複数の画素をカラム（Column：列）単位で、１つのＡＤ変換器１２５に割り当てる方式が考えられる。以下では、これをカラムＡＤＣ型と称する。以下の第１の実施の形態では、画素ＡＤＣ型を想定して説明する。他のＡＤＣ型については、他の実施の形態において順次説明する。
【００３６】
［駆動方式］
以下の各実施の形態においては、間引き撮影モードと領域制御撮影モードを繰り返すことによって撮影が行われる。
【００３７】
間引き撮影モードでは、間引き撮影したい座標のみにより撮影が行われる。固体撮像部１２０において間引き撮影された座標の輝度信号と色信号が、間引き撮影メモリ１４１に格納される。間引き判定部１３５は、輝度信号の値を判定し、座標を決定する。決定された座標は間引き撮影メモリ１４１に格納される。
【００３８】
領域制御撮影モードでは、間引き判定部１３５によって決定された座標に基づいて、領域制御撮影モードの座標が決定される。このとき、領域制御撮影モードの座標は、後述するように、ＡＤＣ型に応じて、周囲の座標も追加される。
【００３９】
この領域制御撮影モードでは、各画素および各エリアにおいて、間引き撮影モードで撮影した輝度信号を用いたＡＥ制御を行い、シャッター速度およびゲインを決定する。このとき、エリアＡＤＣ型では、間引き撮影モードにてエリア内の一つの画素で撮影した輝度信号をそのエリアのＡＥ制御に使用する。また、画素ＡＤＣ型では、間引き撮影モードにて撮影した輝度信号を、その画素の周囲の画素においてＡＥ制御に使用する。また、カラムＡＤＣ型では、間引き撮影モードにてエリア内の一つの画素で撮影した輝度信号をそのエリアのＡＥ制御に使用する。
【００４０】
また、領域制御撮影モードでは、各画素および各エリアにおいて、間引き撮影モードで撮影した輝度信号を用いてＷＢ制御を行い、色温度を決定する。
【００４１】
領域制御撮影モードにおいて領域制御撮影で撮影された座標と輝度信号および色信号は、領域制御撮影メモリ１４２に格納される。
【００４２】
このようにして、間引き撮影メモリ１４１と領域制御撮影メモリ１４２に格納された信号は、信号処理部１５１から、記録部１５４、表示部１５２、操作部１５３などに受け渡される。
【００４３】
［間引き撮影と領域制御撮影］
図３は、本技術の第１の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
【００４４】
この例では、同図におけるａに示すように、指６０１のシーンを撮影することを想定する。また、この第１の実施の形態では、上述の画素ＡＤＣ型の撮像装置を想定する。
【００４５】
まず、間引き撮影モードでは、同図におけるｂに示すように、一例として、７画素×７画素の画素ブロック６１１においてその中心の１つの画素６１２を代表画素として撮影するように座標を設定する。このように、４９画素に１個の間引き撮影を行う。すなわち、縦方向（Vertical）は７つおきに座標を設定し、横方向（Horizontal）は７つおきに座標を設定する。
【００４６】
座標の設定後、例えば１０００ｆｐｓ（フレーム／秒）により撮影を行う。そして、撮影した画像を間引き撮影メモリ１４１に格納する。
【００４７】
そして、間引き撮影メモリ１４１から輝度信号を取り出す。ここでは、輝度信号として、「０」乃至「１０２３」の１０２４段階の階調を想定する。一例として、暗いシーンでは「５０」階調、明るい場所は「５００」階調の信号が得られたものとする。そして、「１００」階調より小さい座標と、「１００」階調以上の座標を判定する。これにより、「１００」階調より高い座標と輝度値を、領域制御撮影の中心値として決定し、間引き撮影メモリ１４１に格納する。なお、この実施の形態では間引き撮影メモリ１４１に座標を格納することを想定したが、一時的な他のメモリに格納するようにしてもよい。
【００４８】
この例では、背景である「５０」階調を基準値として、比較のための閾値を「５０」階調として想定した。すなわち、基準値（「５０」）と撮影された輝度信号との差分を生成し、その差分が閾値（「５０」）以上であれば、「１００」階調以上になり、物体として検出される。
【００４９】
次に、領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御撮影の座標を設定する。これにより、間引き撮影により得られた画素ブロックの代表画素のデジタル信号と基準値との差分に応じて、領域制御撮影においてその画素ブロックに含まれる画素のアナログデジタル変換処理が制御されることになる。
【００５０】
すなわち、代表画素のデジタル信号と基準値との差分が閾値以上である画素ブロックについては、その画素ブロックに含まれる画素のアナログデジタル変換処理を実行してデジタル信号を生成させる。一方、代表画素のデジタル信号と基準値との差分が閾値未満である画素ブロックについては、その画素ブロックに含まれる画素のアナログデジタル変換処理を実行しない。
【００５１】
この場合の座標は、同図におけるｃに示すように、７画素×７画素となるように、中心の画素６１２から水平方向および垂直方向にそれぞれ３画素ずつを設定する。
【００５２】
そして、間引き撮影メモリ１４１から輝度信号を読み出し、この７画素×７画素におけるＡＥ制御により、シャッタースピードおよびゲインを設定する。
【００５３】
座標の設定後、例えば１０００ｆｐｓにより撮影を行う。そして、撮影した画像を領域制御撮影メモリ１４２に格納する。領域制御撮影メモリ１４２からは、座標と輝度信号および色信号が出力される。
【００５４】
図４は、本技術の第１の実施の形態における間引き撮影と判定の具体例を示す図である。
【００５５】
間引き撮影により、間引き撮影メモリ１４１には、同図におけるａに示すように輝度信号が得られる。この例では、７画素×７画素の中心の画素６１２のみを代表画素として間引き撮影して、輝度信号を格納したイメージであり、上述のように暗いシーンでは「５０」階調、明るい場所は「５００」階調の信号が得られたものと想定する。そして、同図におけるｂに示すように、「１００」階調以上の座標を判定して、その座標を設定する。
【００５６】
図５は、本技術の第１の実施の形態における領域制御撮影の撮像領域の拡大の具体例を示す図である。
【００５７】
同図におけるａに示すように、手全体を撮像する際、領域制御撮影において撮像領域を拡大する。例えば、指６０１を囲む領域６２０に着目すると、上述のような判定手法においては、中心の画素６２２の階調によって画素ブロック６２１の判定が行われるため、そのままでは領域制御撮影において指６０１の一部が撮影されなくなってしまうおそれがある。
【００５８】
そこで、これを解消するために、検出した領域の周囲を座標に加える。例えば、同図におけるｂに示すように、階調によって判定された画素ブロック６２１の周囲の画素ブロック６２３に拡大して座標を設定する。すなわち、中心の画素６２４の輝度信号が「１００」階調未満である画素ブロック６２３であっても、その画素ブロック６２３の周囲の画素ブロック６２１の中心の画素６２２の輝度信号が「１００」階調以上であれば、領域制御撮影の対象とする。
【００５９】
図６は、本技術の第１の実施の形態における領域制御撮影の撮像領域の拡大の具体例の全体を示す図である。
【００６０】
同図におけるａに示すように、中心の画素の階調によって画素ブロック６２１の判定を行った場合、そのままでは領域制御撮影において手の一部が撮影されなくなってしまうおそれがある。
【００６１】
それに対し、同図におけるｂに示すように、階調によって判定された画素ブロックの周囲の画素ブロックに拡大して座標を設定することにより、手全体の領域制御撮影を行うことができる。
【００６２】
［動作］
図７は、本技術の第１の実施の形態における間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【００６３】
この第１の実施の形態では、間引き撮影と領域制御撮影が交互に行われる。まず、間引き撮影モードにより（ステップＳ９０２：間引き撮影モード）、撮影が行われる（ステップＳ９３０）。画素ブロックのそれぞれにおいて、例えば中心の画素が間引き座標として設定される（ステップＳ９３１）。
【００６４】
そして、その設定された座標において、例えば１０００ｆｐｓにより、間引き撮影が行われる（ステップＳ９３２）。間引き撮影により撮影された画像は間引き撮影メモリ１４１に格納される（ステップＳ９３５）。
【００６５】
そして、間引き撮影メモリ１４１から輝度信号および色信号が取り出されて（ステップＳ９３６、Ｓ９３７）、物体検知が行われる（ステップＳ９３８）。すなわち、上述のように、基準値との差分を用いて、輝度信号の階調に応じて座標が決定されて、間引き撮影メモリ１４１に座標が設定される（ステップＳ９３９）。
【００６６】
次に、領域制御撮影モードにより（ステップＳ９０２：領域制御撮影モード）、撮影が行われる（ステップＳ９４０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定される（ステップＳ９４１）。そして、間引き撮影メモリ１４１から輝度信号が読み出され、その輝度信号を利用してＡＥ制御が行われ、シャッタースピードおよびゲインが設定される（ステップＳ９４２）。また、間引き撮影メモリ１４１から色信号が読み出され、その色信号からホワイトバランスが決定される（ステップＳ９４３）。
【００６７】
そして、その設定された座標において、例えば１０００ｆｐｓにより、領域制御撮影が行われる（ステップＳ９４４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ９４５）。
【００６８】
このように、本技術の第１の実施の形態によれば、画素ＡＤＣ型の撮像装置において、間引き撮影の結果に基づいて、領域制御撮影を行うことができる。すなわち、間引き撮影において得られた輝度信号に基づいて、領域制御撮影を行う座標を設定することができる。
【００６９】
また、この実施の形態では、物体検出に用いた信号を、ＡＥ制御に利用することができる。すなわち、通常であれば、間引いた全体の輝度信号によりＡＥ制御を行うが、この第１の実施の形態では、画素ＡＤＣ型を前提とするため、間引き撮影により得られた輝度信号により、各画素毎にＡＥ制御を行うことができる。例えば、太陽と陰の混在するシーンでは、太陽の領域を基準としてＡＥ制御を行って領域制御撮影を行い、陰の部分を基準としてＡＥ制御を行って領域制御撮影を行うことができる。これにより、明るい部分と暗い部分のそれぞれにおいて適切にＡＥ制御を行って画像を撮影することができる。
【００７０】
＜２．第２の実施の形態＞
上述の第１の実施の形態では画素ＡＤＣ型を想定したが、この第２の実施の形態ではエリアＡＤＣ型を想定する。なお、撮像装置１００の全体の構成は上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
【００７１】
［間引き撮影と領域制御撮影］
図８は、本技術の第２の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
【００７２】
この例では、同図におけるａに示すように、指６０１のシーンを撮影することを想定する。
【００７３】
まず、間引き撮影モードでは、同図におけるｂに示すように、一例として、８画素×８画素の画素ブロック６１１においてそのほぼ中心を代表画素として撮影するように座標６１２を設定する。このように、６４画素に１個の間引き撮影を行う。
【００７４】
この第２の実施の形態ではエリアＡＤＣ型を想定するため、８画素×８画素の画素ブロック６１１のうち、何れの画素を撮影してもよい。例えば、８画素×８画素内のうち、ランダムで画素を設定すれば、圧縮センシング（Compressive Sensing）に使うことができる。垂直方向はエリア毎に座標を設定し、水平方向もエリア毎に座標を設定する。
【００７５】
座標の設定後、例えば１０００ｆｐｓにより撮影を行う。そして、撮影した画像を間引き撮影メモリ１４１に格納する。
【００７６】
そして、間引き撮影メモリ１４１から輝度信号を取り出して、その輝度信号の階調に応じて座標が設定される。これにより、同図におけるｃに示すように、領域制御撮影モードにより指６０１の領域の撮影が行われる。なお、上述の第１の実施の形態と同様に、周囲の画素ブロックに撮像領域を拡大してもよい。
【００７７】
図９は、本技術の第２の実施の形態における間引き撮影と判定の具体例を示す図である。
【００７８】
間引き撮影により、間引き撮影メモリ１４１には、同図におけるａに示すように輝度信号が得られる。この例では、８画素×８画素のほぼ中心を代表画素として間引き撮影して、輝度信号を格納したイメージであり、上述のように暗いシーンでは「５０」階調、明るい場所は「５００」階調の信号が得られたものと想定する。そして、同図におけるｂに示すように、「１００」階調以上の座標を判定して、その座標を設定する。
【００７９】
なお、全体的な処理手順については、上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
【００８０】
このように、本技術の第２の実施の形態によれば、エリアＡＤＣ型の撮像装置において、間引き撮影の結果に基づいて、領域制御撮影を行うことができる。
【００８１】
＜３．第３の実施の形態＞
上述の第１の実施の形態では画素ＡＤＣ型を想定したが、この第３の実施の形態ではカラムＡＤＣ型を想定する。なお、撮像装置１００の全体の構成は上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
【００８２】
［間引き撮影と領域制御撮影］
図１０は、本技術の第３の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
【００８３】
この例では、同図におけるａに示すように、ブーメラン状の物体を撮影することを想定する。
【００８４】
間引き撮影において、例えば、垂直方向の８ラインおきに撮影するように座標を設定する。また、水平方向の８ラインおきに撮影するように座標を設定する。このようにして、６４画素に１個の代表画素について間引き撮影を行う。
【００８５】
これにより、同図におけるｂに示すように、ブーメラン状の物体を含む領域全体を、領域制御撮影により撮影することができる。
【００８６】
図１１は、本技術の第３の実施の形態における間引き撮影と判定の具体例を示す図である。
【００８７】
間引き撮影により、間引き撮影メモリ１４１には、同図におけるａに示すように輝度信号が得られる。
【００８８】
この第３の実施の形態ではカラムＡＤＣ型を想定するため、同図におけるｂに示すように、垂直方向および水平方向において所定の判定値Ｈ＿ａｌｌおよびＶ＿ａｌｌを検出する。この判定値は、例えば最大値または最小値などの統計的な値である。
【００８９】
そして、判定値Ｈ＿ａｌｌおよびＶ＿ａｌｌにおいて、同図におけるｃに示すように、例えば「１００」階調以上の座標を判定して、その座標を設定する。
【００９０】
すなわち、同図におけるｄに示すように、判定の結果に従って垂直方向および水平方向の座標が設定され、領域制御撮影が行われる。
【００９１】
［動作］
図１２は、本技術の第３の実施の形態における間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【００９２】
この第３の実施の形態では、間引き撮影と領域制御撮影が交互に行われる。まず、間引き撮影モードにより（ステップＳ９０３：間引き撮影モード）、撮影が行われる（ステップＳ９５０）。画素ブロックのそれぞれにおいて、１つの画素が間引き座標として設定される（ステップＳ９５１）。
【００９３】
そして、その設定された座標において、例えば１０００ｆｐｓにより、間引き撮影が行われる（ステップＳ９５２）。間引き撮影により撮影された画像は間引き撮影メモリ１４１に格納される（ステップＳ９５３）。
【００９４】
そして、間引き撮影メモリ１４１から輝度信号および色信号が取り出され（ステップＳ９５５、Ｓ９５６）、垂直方向および水平方向において判定値（例えば最大値または最小値）が検出される（ステップＳ９５７）。そして、これら判定値を用いて物体検知が行われる（ステップＳ９５８）。すなわち、上述のように判定値を用いて、輝度信号の階調に応じて座標が決定されて、間引き撮影メモリ１４１に座標が設定される（ステップＳ９５９）。
【００９５】
次に、領域制御撮影モードにより（ステップＳ９０３：領域制御撮影モード）、撮影が行われる（ステップＳ９６０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定される（ステップＳ９６１）。そして、間引き撮影メモリ１４１から輝度信号が読み出され、その輝度信号を利用してＡＥ制御が行われ、シャッタースピードおよびゲインが設定される（ステップＳ９６２）。また、間引き撮影メモリ１４１から色信号が読み出され、その色信号からホワイトバランスが決定される（ステップＳ９６３）。
【００９６】
そして、その設定された座標において、例えば１０００ｆｐｓにより、領域制御撮影が行われる（ステップＳ９６４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ９６５）。
【００９７】
このように、本技術の第３の実施の形態によれば、カラムＡＤＣ型の撮像装置において、間引き撮影の結果に基づいて、領域制御撮影を行うことができる。
【００９８】
＜４．第４の実施の形態＞
上述の第１乃至第３の実施の形態では、各フレームについて同じ条件で物体検出を行う例について説明したが、動画フレームの性質を積極的に利用することにより、以下のように、より精度の高い物体検知を行うことができる。なお、撮像装置１００の全体の構成は上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
【００９９】
［間引き撮影と領域制御撮影］
図１３は、本技術の第４の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。この例では、鳥が空を飛ぶシーンを想定する。
【０１００】
まず、間引き撮影モードでは、例えば１０００ｆｐｓにより撮影を行う。この間引き撮影モードでは、短畜によりシャッター時間を短くして撮影を行う。撮影座標は、上述の画素ＡＤＣ型、エリアＡＤＣ型、カラムＡＤＣ型の何れかによって、そのＡＤＣ型に応じた所望の座標を設定する。
【０１０１】
また、この間引き撮影モードでは、ＡＥ制御およびＷＢ制御において、１フレーム目については一様に設定を行う。そして、２フレーム目以降については、座標別に１フレーム前の輝度値および色信号に基づいてＡＥ制御およびＷＢ制御を行う。
【０１０２】
次に、領域制御撮影では、長蓄で、領域制御で、例えば１０００ｆｐｓにより撮影を行う。間引き撮影メモリ１４１から領域制御の座標を読み出して、これに従って領域制御撮影を行う。間引き撮影の輝度信号でＡＥ制御を行い、間引き撮影の色信号に基づいてＷＢ制御を行う。
【０１０３】
［背景と物体］
動画フレームにおいて物体検知を行うために、背景となる基準値を想定し、その基準値との差分が所定の閾値以上であるか否かを判断する。ここで、基準値としては、予め固定値として設定しておいてもよく、また、一定フレーム（例えば１００フレーム）変化しない場合にその輝度信号を基準値として設定してもよい。
【０１０４】
基準値および物体の輝度値が既知であれば、間引き撮影において輝度信号が物体の輝度値になっている画素を、物体として判断することができる。また、物体の輝度値が予め判明していなくても、間引き撮影において輝度信号と基準値との差分が所定の閾値以上であれば、物体として判断することができる。このような背景と物体の関係は、他の実施の形態においても共通する。
【０１０５】
このように、本技術の第４の実施の形態によれば、動画フレームについて精度の高い物体検知を行い、それに従って領域制御撮影を行うことができる。
【０１０６】
＜５．第５の実施の形態＞
上述の第４の実施の形態では、間引き撮影と領域制御撮影を同じフレームレートにより行うことを想定した。一方、間引き撮影のフレームレートよりも領域制御撮影のフレームレートを低くすることによって物体検出の精度を向上させることが可能である。この第５の実施の形態では、間引き撮影の結果に基づいて物体の座標を推定して、その推定された座標について領域制御撮影を行う例について説明する。なお、撮像装置１００の全体の構成は上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
【０１０７】
［間引き撮影と領域制御撮影］
図１４は、本技術の第５の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。この例では、鳥が空を飛ぶシーンを想定する。
【０１０８】
まず、間引き撮影モードでは、例えば２４０ｆｐｓにより撮影を行う。撮影座標は、上述の画素ＡＤＣ型、エリアＡＤＣ型、カラムＡＤＣ型の何れかによって、そのＡＤＣ型に応じた所望の座標を設定する。
【０１０９】
この例では、３フレーム分の間引き撮影を行い、各座標で基準値との差分と閾値との比較を行い、それぞれ間引き撮影メモリ１４１の異なるアドレスに格納する。背景と物体の関係は、上述の第４の実施の形態と同様である。
【０１１０】
このとき、この間引き撮影モードでは、ＡＥ制御およびＷＢ制御において、１フレーム目については一様に設定を行う。そして、２フレーム目以降については、座標別に１フレーム前の輝度値および色信号に基づいてＡＥ制御およびＷＢ制御を行う。
【０１１１】
そして、間引き撮影メモリ１４１に格納された過去３フレーム分の値から、４フレーム目の座標を推定する。また、輝度値についても、過去３フレーム分の間引き撮影メモリ１４１に格納された値から、４フレーム目の輝度値を推定する。これら４フレーム目の座標および輝度値を間引き撮影メモリ１４１に格納する。ただし、この例では、４フレーム目の間引き撮影は行わない。
【０１１２】
次に、領域制御撮影では、例えば６０ｆｐｓにより撮影を行う。すなわち、間引き撮影モードにおいて３つ分のフレームが間引き撮影された次の４フレーム目のタイミングにおいて、間引き撮影を行わずに領域制御撮影を行う。このとき、間引き撮影メモリ１４１から領域制御の座標を読み出して、これに従って領域制御撮影を行う。間引き撮影の輝度信号でＡＥ制御を行い、間引き撮影の色信号に基づいてＷＢ制御を行う。
【０１１３】
なお、この例では４フレーム目の間引き撮影は行わないことを想定したが、他の例として４フレーム目の間引き撮影も行って４フレーム分の座標を用いて４フレーム目のタイミングの領域制御撮影を行うようにしてもよい。その際、４フレーム分の座標の平均やＯＲ（論理和）などにより４フレーム目のタイミングの領域制御撮影の座標を求めるようにしてもよい。
【０１１４】
［動作］
図１５は、本技術の第５の実施の形態における、エリアＡＤＣ型および画素ＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【０１１５】
この第５の実施の形態では、上述のように３フレーム分の間引き撮影と１フレーム分の領域制御撮影が順に行われる。まず、間引き撮影モードにより（ステップＳ９０４：間引き撮影モード）、撮影が行われる（ステップＳ９７０）。画素ブロックのそれぞれにおいて、１つの画素が間引き座標として設定される（ステップＳ９７１）。
【０１１６】
そして、その設定された座標において、例えば２４０ｆｐｓにより、間引き撮影が行われる（ステップＳ９７２）。間引き撮影により撮影された画像は間引き撮影メモリ１４１に格納される（ステップＳ９７３）。そして、物体検知が行われ（ステップＳ９７５）、その結果が間引き撮影メモリ１４１に格納される（ステップＳ９７６）。
【０１１７】
その後、３フレーム分の間引き撮影が繰り返される（ステップＳ９７７：Ｎｏ）。３フレーム分の間引き撮影が行われると（ステップＳ９７７：Ｙｅｓ）、３フレーム分の間引き撮影の結果から、次のフレームにおける移動座標が推定され（ステップＳ９７８）、その推定された座標が間引き撮影メモリ１４１に格納される（ステップＳ９７９）。
【０１１８】
３フレーム分の間引き撮影が終了すると、領域制御撮影モードにより（ステップＳ９０４：領域制御撮影モード）、撮影が行われる（ステップＳ９８０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定され（ステップＳ９８１）、その座標に従って、例えば６０ｆｐｓにより、領域制御撮影が行われる（ステップＳ９８４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ９８５）。
【０１１９】
図１６は、本技術の第５の実施の形態における、カラムＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【０１２０】
この第５の実施の形態では、カラムＡＤＣ型についても上述のように３フレーム分の間引き撮影と１フレーム分の領域制御撮影が順に行われる。まず、間引き撮影モードにより（ステップＳ９０５：間引き撮影モード）、撮影が行われる（ステップＳ８１０）。画素ブロックのそれぞれにおいて、１つの画素が間引き座標として設定される（ステップＳ８１１）。
【０１２１】
そして、その設定された座標において、例えば２４０ｆｐｓにより、間引き撮影が行われる（ステップＳ８１２）。間引き撮影により撮影された画像は一時スタックメモリに保持される（ステップＳ８１３）。
【０１２２】
そして、垂直方向および水平方向において判定値（例えば最大値または最小値）が検出され（ステップＳ８１４）、これら判定値を用いて物体検知が行われる（ステップＳ８１５）。すなわち、上述のように判定値を用いて、輝度信号の階調に応じて座標が決定されて、間引き撮影メモリ１４１に座標が設定される（ステップＳ８１６）。
【０１２３】
その後、３フレーム分の間引き撮影が繰り返される（ステップＳ８１７：Ｎｏ）。３フレーム分の間引き撮影が行われると（ステップＳ８１７：Ｙｅｓ）、３フレーム分の間引き撮影の結果から、次のフレームにおける移動座標が推定され（ステップＳ８１８）、その推定された座標が間引き撮影メモリ１４１に格納される（ステップＳ８１９）。
【０１２４】
３フレーム分の間引き撮影が終了すると、領域制御撮影モードにより（ステップＳ９０５：領域制御撮影モード）、撮影が行われる（ステップＳ８２０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定され（ステップＳ８２１）、その座標に従って、例えば６０ｆｐｓにより、領域制御撮影が行われる（ステップＳ８２４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ８２５）。
【０１２５】
このように、本技術の第５の実施の形態によれば、動画フレームについて精度の高い座標推定を行い、それに従って領域制御撮影を行うことができる。また、これにより、動く物体を追跡したトラッキング座標を取得することができる。
【０１２６】
＜６．第６の実施の形態＞
上述の各実施の形態では、固体撮像部１２０における信号の読出しは、通常の破壊読出しを想定していた。これに対し、この第６の実施の形態では、固体撮像部１２０において非破壊読出しを行う例について説明する。なお、撮像装置１００の全体の構成は上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
【０１２７】
非破壊読み出し方式は、光電変換素子から電荷（画素信号）を読み出すときに、光電変換素子に蓄積された電荷を空にせずに蓄積状態を維持したままで読み出すものである。つまり、電荷読出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、それぞれ異なる露光時間で露光時の電荷の読出しを何度でも行うことができる。したがって、非破壊読み出し方式には、多段階露光を容易に実現することができるという利点がある。
【０１２８】
［間引き撮影と領域制御撮影］
図１７は、本技術の第６の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。この例では、鳥が空を飛ぶシーンを想定する。
【０１２９】
まず、間引き撮影モードでは、例えば６０ｆｐｓにより非破壊読み出し方式で撮影を行う。撮影座標は、上述の画素ＡＤＣ型、エリアＡＤＣ型、カラムＡＤＣ型の何れかによって、そのＡＤＣ型に応じた所望の座標を設定する。
【０１３０】
次に、領域制御撮影では、例えば６０ｆｐｓにより非破壊読み出し方式で撮影を行う。このとき、間引き撮影メモリ１４１から領域制御の座標を読み出して、これに従って領域制御撮影を行う。間引き撮影の輝度信号でＡＥ制御を行い、間引き撮影の色信号に基づいてＷＢ制御を行う。
【０１３１】
［動作］
図１８は、本技術の第６の実施の形態における、エリアＡＤＣ型および画素ＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【０１３２】
この第６の実施の形態では、間引き撮影と領域制御撮影が交互に行われる。まず、間引き撮影モードにより（ステップＳ９０６：間引き撮影モード）、撮影が行われる（ステップＳ８３０）。画素ブロックのそれぞれにおいて、１つの画素が間引き座標として設定される（ステップＳ８３１）。
【０１３３】
そして、その設定された座標において、例えば６０ｆｐｓにより、間引き撮影が行われる（ステップＳ８３２）。間引き撮影により撮影された画像は一時スタックメモリに格納される（ステップＳ８３３）。そして、物体検知が行われ（ステップＳ８３５）、その結果が間引き撮影メモリ１４１に格納される（ステップＳ８３９）。
【０１３４】
次に、領域制御撮影モードにより（ステップＳ９０６：領域制御撮影モード）、撮影が行われる（ステップＳ８４０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定され（ステップＳ８４１）、その座標に従って、例えば６０ｆｐｓにより、領域制御撮影が行われる（ステップＳ８４４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ８４５）。
【０１３５】
図１９は、本技術の第６の実施の形態における、カラムＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
【０１３６】
この第６の実施の形態では、カラムＡＤＣ型についても上述のように間引き撮影と領域制御撮影が交互に行われる。まず、間引き撮影モードにより（ステップＳ９０７：間引き撮影モード）、撮影が行われる（ステップＳ８５０）。画素ブロックのそれぞれにおいて、１つの画素が間引き座標として設定される（ステップＳ８５１）。
【０１３７】
そして、その設定された座標において、例えば６０ｆｐｓにより、間引き撮影が行われる（ステップＳ８５２）。間引き撮影により撮影された画像は一時スタックメモリに保持される（ステップＳ８５３）。
【０１３８】
そして、垂直方向および水平方向において判定値（例えば最大値または最小値）が検出され（ステップＳ８５４）、これら判定値を用いて物体検知が行われる（ステップＳ８５５）。すなわち、上述のように判定値を用いて、輝度信号の階調に応じて座標が決定されて、間引き撮影メモリ１４１に座標が設定される（ステップＳ８５９）。
【０１３９】
次に、領域制御撮影モードにより（ステップＳ９０７：領域制御撮影モード）、撮影が行われる（ステップＳ８６０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定され（ステップＳ８６１）、その座標に従って、例えば６０ｆｐｓにより、領域制御撮影が行われる（ステップＳ８６４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ８６５）。
【０１４０】
このように、本技術の第６の実施の形態によれば、固体撮像部１２０において非破壊読出しを行うことにより、多段階露光を実現することができる。すなわち、ワイドダイナミックレンジ化、駆動の省略化が可能となり、消費電力を低減することができる。
【０１４１】
＜７．適用例＞
上述の本技術の実施の形態は、以下に例示するように様々な技術に適用することができる。
【０１４２】
図２０は、本技術の実施の形態が適用される分野の例を示す図である。
【０１４３】
本技術の実施の形態における撮像装置は、例えば、デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置として用いられ得る。
【０１４４】
また、この撮像装置は、自動停止等の安全運転や運転者の状態の認識等のために自動車の周囲または車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置として用いられ得る。
【０１４５】
また、この撮像装置は、ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビ、冷蔵庫、エアーコンディショナ等の家電に供される装置として用いられ得る。
【０１４６】
また、この撮像装置は、内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置として用いられ得る。
【０１４７】
また、この撮像装置は、防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置として用いられ得る。
【０１４８】
また、この撮像装置は、肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置として用いられ得る。
【０１４９】
また、この撮像装置は、スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置として用いられ得る。
【０１５０】
また、この撮像装置は、畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置として用いられ得る。
【０１５１】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１５２】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１５３】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１５４】
なお、本技術は以下のような構成もとることができる。
（１）各々が複数の画素を含む複数の画素ブロックについて前記複数の画素のアナログ信号を生成する撮像素子と、
前記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器と、
前記複数の画素ブロックのうちの所定の画素ブロックにおける代表画素の前記デジタル信号と所定の基準値との差分に応じて前記所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を制御する変換制御部と
を具備する撮像装置。
（２）前記変換制御部は、前記代表画素の前記デジタル信号と前記基準値との差分が所定の閾値以上である第１の画素ブロックについては前記第１の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記複数の画素の前記デジタル信号を生成させ、前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値未満である第２の画素ブロックについては前記第２の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させないように制御する
前記（１）に記載の撮像装置。
（３）前記変換制御部は、前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値未満である前記第２の画素ブロックであっても、前記第２の画素ブロックの周囲の画素ブロックの前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値以上であれば、前記第２の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記複数の画素の前記デジタル信号を生成させるように制御する
前記（２）に記載の撮像装置。
（４）前記変換制御部は、前記複数の画素ブロックの前記代表画素についてのみ前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記デジタル信号を生成させる間引き撮影モードと、前記代表画素の前記デジタル信号と前記基準値との差分に応じて前記所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させる領域制御撮影モードとの切替えを行う撮影モード切替部を備える
前記（１）から（３）のいずれかに記載の撮像装置。
（５）前記変換制御部は、
前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号と前記基準値との差分が所定の閾値以上である画素ブロックの座標を判定結果として出力する間引き判定部と、
前記領域制御撮影モードにおいて前記アナログデジタル変換処理を行う画素ブロックの座標を前記判定結果に基づいて設定する座標設定部と
を備える
前記（４）に記載の撮像装置。
（６）前記変換制御部は、前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号に基づいて、前記領域制御撮影モードにおいて前記所定の画素ブロックに含まれる前記複数の画素の露光時間を制御する
前記（４）または（５）に記載の撮像装置。
（７）前記変換制御部は、時系列に配列される複数の動画フレームについて前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号に基づいて、前記間引き撮影モードとは異なるフレームレートにより前記領域制御撮影モードによる動作を行う
前記（４）から（６）のいずれかに記載の撮像装置。
（８）前記基準値は、予め設定された固定値である
前記（１）から（７）のいずれかに記載の撮像装置。
（９）前記基準値は、時系列に配列される動画フレームにおける対応する画素の値から設定される値である
前記（１）から（８）のいずれかに記載の撮像装置。
（１０）前記アナログデジタル変換器は、前記画素の各々に対応して画素単位で前記アナログデジタル変換処理を行う
前記（１）から（９）のいずれかに記載の撮像装置。
（１１）前記アナログデジタル変換器は、前記画素を複数個ずつまとめた領域単位で前記アナログデジタル変換処理を行う
前記（１）から（９）のいずれかに記載の撮像装置。
（１２）前記アナログデジタル変換器は、前記画素を列毎にまとめて列単位で前記アナログデジタル変換処理を行う
前記（１）から（９）のいずれかに記載の撮像装置。
（１３）前記撮像素子は、非破壊読出しにより前記アナログ信号を生成する
前記（１）から（１２）のいずれかに記載の撮像装置。
（１４）各々が複数の画素を含む複数の画素ブロックについて前記複数の画素のアナログ信号を生成する撮像素子と、前記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器とを備える撮像装置において、
前記複数の画素ブロックにおける代表画素についてのみ前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記デジタル信号を生成させる間引き撮影手順と、
前記代表画素の前記デジタル信号と所定の基準値との差分に応じて所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させる領域制御撮影手順と
を具備する撮像制御方法。
（１５）前記間引き撮影手順において生成された前記代表画素の前記デジタル信号に基づいて、前記領域制御撮影手順において前記所定の画素ブロックに含まれる前記複数の画素の露光時間を制御する
前記（１４）に記載の撮像制御方法。
【符号の説明】
【０１５５】
１００  撮像装置
１１０  レンズ群
１２０  固体撮像部
１２１  撮像素子
１２５  アナログデジタル変換器
１３１  撮影モード切替部
１３２  座標設定部
１３３  ホワイトバランス制御部
１３４  オートエクスポージャ制御部
１３５  間引き判定部
１４１  間引き撮影メモリ
１４２  領域制御撮影メモリ
１５１  信号処理部
１５２  表示部
１５３  操作部
１５４  記録部
１５５  電源部
１９０  バスライン
【図１】
2019213020.tif 000003
【図２】
2019213020.tif 000004
【図３】
2019213020.tif 000005
【図４】
2019213020.tif 000006
【図５】
2019213020.tif 000007
【図６】
2019213020.tif 000008
【図７】
2019213020.tif 000009
【図８】
2019213020.tif 000010
【図９】
2019213020.tif 000011
【図１０】
2019213020.tif 000012
【図１１】
2019213020.tif 000013
【図１２】
2019213020.tif 000014
【図１３】
2019213020.tif 000015
【図１４】
2019213020.tif 000016
【図１５】
2019213020.tif 000017
【図１６】
2019213020.tif 000018
【図１７】
2019213020.tif 000019
【図１８】
2019213020.tif 000020
【図１９】
2019213020.tif 000021
【図２０】
2019213020.tif 000022