(57)【要約】【課題】フレームを撮像する撮像装置において、フレームの処理量を低減する。【解決手段】撮像装置は、測距センサ、制御部および撮像部を具備する。この撮像装置において測距センサは、撮像対象となる複数の領域のそれぞれについて距離を測定する。また、制御部は、複数の領域のそれぞれについてデータレートを指示する信号を距離に基づいて生成して制御信号として供給する。また、撮像部は、その制御信号に従って前記複数の領域を含むフレームを撮像する。【選択図】図１
2018098613.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象となる複数の領域のそれぞれについて距離を測定する測距センサと、
前記複数の領域のそれぞれについてデータレートを指示する信号を前記距離に基づいて生成して制御信号として供給する制御部と、
前記制御信号に従って前記複数の領域を含むフレームを撮像する撮像部と
を具備する撮像装置。
【請求項２】
前記データレートは、解像度を含む
請求項１記載の撮像装置。
【請求項３】
前記データレートは、フレームレートを含む
請求項１記載の撮像装置。
【請求項４】
前記制御部は、前記距離が撮像レンズの被写界深度内であるか否かにより前記データレートを変更する
請求項１記載の撮像装置。
【請求項５】
前記制御部は、前記距離から錯乱円の直径を算出して当該直径に応じた前記データレートを指示する
請求項１記載の撮像装置。
【請求項６】
前記フレームに対して所定の信号処理を実行する信号処理部をさらに具備する
請求項１記載の撮像装置。
【請求項７】
前記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、
前記撮像部は、光を受光する複数の通常画素を備え、
前記信号処理部は、前記複数の位相差検出画素と前記複数の通常画素とのそれぞれの受光量から前記フレームを生成する
請求項６記載の撮像装置。
【請求項８】
前記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、
前記信号処理部は、前記複数の位相差検出画素のそれぞれの受光量から前記フレームを生成する
請求項６記載の撮像装置。
【請求項９】
撮像対象となる複数の領域のそれぞれについて距離を測定する測距手順と、
前記複数の領域のそれぞれについてデータレートを指示する信号を前記距離に基づいて生成して制御信号として供給する制御手順と、
前記制御信号に従って前記複数の領域を含むフレームを撮像する撮像手順と
を具備する撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、および、撮像装置の制御方法に関する。詳しくは、画像データの撮像および測距を行う撮像装置、および、撮像装置の制御方法に関する。
【背景技術】
【０００２】
従来より、デジタルビデオカメラなどの撮像装置においては、画像データを撮像するために固体撮像素子が用いられている。この固体撮像素子では、一般的に、画素アレイ内の複数の行を順に読み出してＡＤ（Analog to Digital）変換するために、列ごとにＡＤＣ（Analog to Digital Converter）が設けられる。ただし、この構成では、行や列を間引いてフレーム全体の解像度を変更することができるが、フレームの一部のみの解像度を変更することができない。そこで、フレームの一部の解像度を変更するなどの目的で、例えば、画素アレイを複数のエリアに分割し、エリアごとにＡＤＣを配置した固体撮像素子が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−０１９０７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、一定の解像度および撮像間隔により複数の画像データ（フレーム）を順に撮像して、それらのフレームからなる動画データを生成することができる。しかしながら、この従来技術では、フレーム全体の解像度や、動画データのフレームレートが高くなるほど、フレームの処理量が増大してしまうという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、フレームを撮像する撮像装置において、フレームの処理量を低減することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、撮像対象となる複数の領域のそれぞれについて距離を測定する測距センサと、上記複数の領域のそれぞれについてデータレートを指示する信号を上記距離に基づいて生成して制御信号として供給する制御部と、上記制御信号に従って上記複数の領域を含むフレームを撮像する撮像部とを具備する撮像装置、および、制御方法である。これにより、複数の領域のそれぞれについて、距離に基づいてデータレートが制御されるという作用をもたらす。
【０００７】
また、この第１の側面において、上記データレートは、解像度を含んでもよい。これにより、距離に基づいて解像度が制御されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記データレートは、フレームレートを含んでもよい。これにより、距離に基づいてフレームレートが制御されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記制御部は、上記距離が撮像レンズの被写界深度内であるか否かにより上記データレートを変更してもよい。これにより、被写界深度内であるか否かによりデータレートが変更されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記制御部は、上記距離から錯乱円の直径を算出して当該直径に応じた上記データレートを指示してもよい。これにより、錯乱円の直径に応じてデータレートが制御されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記フレームに対して所定の信号処理を実行する信号処理部をさらに具備してもよい。これにより、所定の信号処理が実行されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、上記撮像部は、光を受光する複数の通常画素を備え、上記信号処理部は、上記複数の位相差検出画素と上記複数の通常画素とのそれぞれの受光量から上記フレームを生成してもよい。これにより、複数の位相差検出画素と複数の通常画素とのそれぞれの受光量からフレームが生成されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、上記信号処理部は、上記複数の位相差検出画素のそれぞれの受光量から上記フレームを生成してもよい。これにより、複数の位相差画素のそれぞれの受光量からフレームが生成されるという作用をもたらす。
【発明の効果】
【００１４】
本技術によれば、フレームを撮像する撮像装置において、フレームの処理量を低減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における測距センサの一構成例を示すブロック図である。
【図４】本技術の第１の実施の形態における静止した被写体までの距離の一例を示す図である。
【図５】本技術の第１の実施の形態における解像度の設定例を説明するための図である。
【図６】本技術の第１の実施の形態における動被写体までの距離の一例を示す図である。
【図７】本技術の第１の実施の形態におけるフレームレートの設定例を説明するための図である。
【図８】本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図９】本技術の第２の実施の形態における撮像装置の一構成例を示すブロック図である。
【図１０】本技術の第２の実施の形態におけるレンズユニットの一構成例を示すブロック図である。
【図１１】本技術の第２の実施の形態における撮像制御部の一構成例を示すブロック図である。
【図１２】本技術の第２の実施の形態における解像度の設定例を説明するための図である。
【図１３】本技術の第２の実施の形態における焦点位置および被写界深度の一例を示す図である。
【図１４】本技術の第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１５】本技術の第３の実施の形態における錯乱円の算出方法について説明するための図である。
【図１６】本技術の第４の実施の形態における撮像装置の一構成例を示すブロック図である。
【図１７】本技術の第４の実施の形態における画素アレイ部の一構成例を示す平面図である。
【図１８】本技術の第４の実施の形態における位相差画素の一構成例を示す平面図である。
【図１９】本技術の第４の実施の形態の変形例における画素アレイ部の一構成例を示す平面図である。
【図２０】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２１】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（距離に基づいてデータレートを制御する例）
２．第２の実施の形態（被写界深度内のデータレートを低下させる例）
３．第３の実施の形態（距離から算出した錯乱円の直径に応じたデータレートに制御する例）
４．第４の実施の形態（位相差画素により求めた距離に基づいてデータレートを制御する例）
５．移動体への応用例
【００１７】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データ（フレーム）を撮像する装置であり、撮像レンズ１１１、固体撮像素子２００、信号処理部１２０、設定情報記憶部１３０、撮像制御部１４０、測距センサ１５０および測距演算部１６０を備える。撮像装置１００としては、デジタルビデオカメラや監視カメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータなどが想定される。
【００１８】
撮像レンズ１１１は、被写体からの光を集光して固体撮像素子２００に導くものである。
【００１９】
固体撮像素子２００は、撮像制御部１４０の制御に従って、所定の垂直同期信号ＶＳＹＮＣに同期してフレームを撮像するものである。この垂直同期信号ＶＳＹＮＣは、撮像のタイミングを示す信号であり、所定の周波数（例えば、６０ヘルツ）の周期信号が垂直同期信号ＶＳＹＮＣとして用いられる。固体撮像素子２００は、撮像したフレームを信号処理部１２０に信号線２０９を介して供給する。このフレームは、複数の単位エリアに分割される。ここで、単位エリアは、フレームにおいて解像度またはフレームレートを制御する単位であり、固体撮像素子２００は、単位エリアごとに解像度またはフレームレートを制御することができる。なお、固体撮像素子２００は、特許請求の範囲に記載の撮像部の一例である。
【００２０】
測距センサ１５０は、垂直同期信号ＶＳＹＮＣに同期して、撮像対象となる複数の単位エリアのそれぞれについて被写体までの距離を測定するものである。この測距センサ１５０は、例えば、ＴｏＦ（Time-of-Flight）方式で距離の測定を行う。ここで、ＴｏＦ方式は、照射光を照射して、照射光に対する反射光を受光し、それらの光の位相差から距離を測定する測距方式である。測距センサ１５０は、単位エリアのそれぞれの受光量を示すデータを測距演算部１６０に信号線１５９を介して供給する。
【００２１】
測距演算部１６０は、単位エリアごとの受光量から、その単位エリアに対応する距離を演算するものである。この測距演算部１６０は、単位エリアごとの距離を配列したデプスマップを生成し、撮像制御部１４０および信号処理部１２０に信号線１６９を介して出力する。また、デプスマップは、必要に応じて撮像装置１００の外部へ出力される。なお、測距演算部１６０を測距センサ１５０の外部に配置しているが、測距センサ１５０の内部に配置する構成であってもよい。
【００２２】
なお、測距センサ１５０は、ＴｏＦ方式で測距を行っているが、単位エリアごとに距離を測定することができるのであれば、ＴｏＦ方式以外の方式で距離を測定してもよい。
【００２３】
設定情報記憶部１３０は、データレートの制御に用いられる基準値を示す設定情報を記憶するものである。ここで、データレートは、単位時間当たりのデータ量を示すパラメータであり、具体的には、フレームレートや解像度などである。設定情報として、例えば、最大の解像度の下で特定の物体（顔など）を信号処理部１２０が検知することができる距離の最大値Ｌmaxが設定される。もしくは、撮像装置１００から所定距離Ｌｃの位置を所定速度で通過する特定の物体（車両など）を信号処理部１２０が検知することができるフレームレートの最小値Ｆminと、その距離Ｌｃとが設定される。
【００２４】
撮像制御部１４０は、フレーム内の単位エリアのそれぞれについて、そのエリアに対応する距離に基づいてデータレートを制御するものである。この撮像制御部１４０は、信号線１３９を介して設定情報記憶部１３０から設定情報を読み出し、その設定情報とデプスマップとに基づいて単位エリアごとにデータレートを制御する。ここで、撮像制御部１４０は、解像度およびフレームレートのいずれか一方のみを制御してもよいし、両方を制御してもよい。
【００２５】
解像度を制御する場合、撮像制御部１４０は、例えば、距離が長いほど、その距離に対応する単位エリアの画素数（すなわち、解像度）を高くする。具体的には、解像度の最大値をＲmaxとし、測定された距離をＬｍとすると、撮像制御部１４０は、対応する単位エリアの解像度を次の式により表される値Ｒｍに制御する。
Ｒｍ＝（Ｌｍ／Ｌmax）×Ｒmax                              ・・・式１
上式において、距離ＬｍおよびＬmaxの単位は例えば、メートル（ｍ）である。なお、式１の右辺が最大値Ｒmaxを越えた場合には、解像度にＲmaxが設定されるものとする。
【００２６】
また、フレームレートを制御する場合、撮像制御部１４０は、例えば、距離が長いほど、その距離に対応する単位エリアのフレームレートを低くする。具体的には、測定された距離をＬｍとすると、撮像制御部１４０は、対応する単位エリアの解像度を次の式により表されるＦｍに制御する。
Ｆｍ＝Ｆmin×Ｌｃ／Ｌｍ                                  ・・・式２
上式において、フレームレートＦｍおよびＦminの単位は、例えば、ヘルツ（Ｈｚ）である。なお、式２の右辺がフレームレートの下限値より小さくなった場合には、その下限値がＦｍに設定されるものとする。
【００２７】
なお、撮像制御部１４０は、距離が長いほど解像度を高くしているが、逆に解像度を低くしてもよい。また、撮像制御部１４０は、距離が長いほどフレームレートを低くしているが、逆に解像度を高くしてもよい。解像やフレームレートの制御方法は、フレームを利用するアプリケーションの要求に応じて決定される。
【００２８】
撮像制御部１４０は、式１や式２で求めたデータレートの値を指示する制御信号や、垂直同期信号ＶＳＹＮＣを生成して固体撮像素子２００に信号線１４８を介して供給する。また、撮像制御部１４０は、データレートを指示する制御信号などを信号処理部１２０に信号線１４９を介して供給する。また、撮像制御部１４０は、垂直同期信号ＶＳＹＮＣを測距センサ１５０に信号線１４６を介して供給する。なお、撮像制御部１４０は、特許請求の範囲に記載の制御部の一例である。
【００２９】
信号処理部１２０は、固体撮像素子２００からのフレームに対して所定の信号処理を実行するものである。例えば、デモザイク処理や、特定の物体（顔や車両など）を検知するための処理が実行される。信号処理部１２０は、処理結果を信号線１２９を介して外部に出力する。
【００３０】
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、積層された上側基板２０１および下側基板２０２を備える。上側基板２０１には、走査回路２１０および画素アレイ部２２０が設けられる。また、下側基板２０２には、ＡＤ変換部２３０が設けられる。
【００３１】
画素アレイ部２２０は、複数の単位エリア２２１に分割される。それぞれの単位エリア２２１には、二次元格子状に複数の画素が配列される。画素のそれぞれは、走査回路２１０の制御に従って光を光電変換してアナログの画素データを生成し、ＡＤ変換部２３０に出力する。
【００３２】
走査回路２１０は、画素のそれぞれを駆動して画素データを出力させるものである。この走査回路２１０は、制御信号に従って単位エリア２２１のそれぞれについて、フレームレートおよび解像度の少なくとも一方を制御する。例えば、垂直同期信号ＶＳＹＮＣのフレームレートの１／Ｊ（Ｊは、実数）倍にフレームレートを制御する場合、走査回路２１０は、垂直同期信号ＶＳＹＮＣの周期のＪ倍の周期が経過するたびに、対応する単位エリア２２１を駆動する。また、単位エリア２２１内の画素数をＭ（Ｍは、整数）個とし、解像度を最大値の１／Ｋ（Ｋは、実数）倍に制御する場合、走査回路２１０は、対応する単位エリア内のＭ画素のうちＭ／Ｋ個のみを選択して駆動する。
【００３３】
ＡＤ変換部２３０には、単位エリア２２１と同じ個数のＡＤＣ２３１が設けられる。ＡＤＣ２３１のそれぞれは、互いに異なる単位エリア２２１と１対１で接続されている。単位エリア２２１の個数をＰ×Ｑ個とすると、ＡＤＣ２３１もＰ×Ｑ個、配置される。ＡＤＣ２３１は、対応する単位エリア２２１からのアナログの画素データをＡＤ変換してデジタルの画素データを生成する。これらのデジタルの画素データを配列したフレームが信号処理部１２０へ出力される。
【００３４】
［測距センサの構成例］
図３は、本技術の第１の実施の形態における測距センサ１５０の一構成例を示すブロック図である。この測距センサ１５０は、走査回路１５１、画素アレイ部１５２およびＡＤ変換部１５４を備える。
【００３５】
画素アレイ部１５２は、複数の測距エリア１５３に分割される。測距エリア１５３のそれぞれは、互いに異なる単位エリア２２１と１対１で対応するものとする。それぞれの測距エリア１５３には、二次元格子状に複数の画素が配列される。画素のそれぞれは、走査回路１５１の制御に従って光を光電変換してアナログの受光量を示すデータを生成し、ＡＤ変換部１５４に出力する。
【００３６】
なお、測距エリア１５３と単位エリア２２１との対応関係は１対１に限定されない。例えば、１つの測距エリア１５３に複数の単位エリア２２１が対応する構成であってもよい。また、１つの単位エリア２２１に複数の測距エリア１５３が対応する構成であってもよい。この場合には、単位エリア２２１の距離として、対応する複数の測距エリア１５３のそれぞれの距離の平均が用いられる。
【００３７】
ＡＤ変換部１５４は、画素アレイ部１５２からのアナログのデータをＡＤ変換して測距演算部１６０に供給するものである。
【００３８】
図４は、本技術の第１の実施の形態における静止した被写体までの距離の一例を示す図である。例えば、被写体５１１、５１２および５１３を撮像装置１００が撮像するものとする。また、撮像装置１００から被写体５１１までの距離がＬ１である。さらに、撮像装置１００から被写体５１２までの距離がＬ２であり、撮像装置１００から被写体５１３までの距離がＬ３である。例えば、距離Ｌ１が最も大きく、距離Ｌ３が最も小さいものとする。
【００３９】
図５は、本技術の第１の実施の形態における解像度の設定例を説明するための図である。図４に例示した被写体を撮像したフレームにおいて、被写体５１１を含む矩形の領域５１４の解像度をＲ１とし、被写体５１２を含む矩形の領域５１５の解像度をＲ２とする。また、被写体５１３を含む矩形の領域５１６の解像度をＲ３とし、領域５１４、５１５および５１６以外の残りの領域５１０の解像度をＲ０とする。これらの領域のそれぞれは、単位エリア２２１からなる。
【００４０】
撮像制御部１４０は、式１を用いて、それぞれの領域に対応する距離から、解像度Ｒ０，Ｒ１、Ｒ２およびＲ３を算出する。この結果、解像度Ｒ０、Ｒ１、Ｒ２およびＲ３のうち、Ｒ０に最も高い値が設定され、Ｒ１、Ｒ２およびＲ３の順で低い値が設定される。このように、距離が短いほど解像度を低くするのは、一般に、距離が短い（言い換えれば、近い）ほど被写体が大きく写り、解像度が低くても物体の検知に失敗するおそれが低いためである。
【００４１】
図６は、本技術の第１の実施の形態における動被写体までの距離の一例を示す図である。例えば、車両５２１および５２２を撮像装置１００が撮像するものとする。また、車両５２２の方が、車両５２１より撮像装置１００に近いものとする。
【００４２】
図７は、本技術の第１の実施の形態におけるフレームレートの設定例を説明するための図である。図６の被写体を撮像したフレームにおいて、車両５２１を含む矩形の領域５２３のフレームレートをＦ１とし、車両５２２を含む矩形の領域５２４のフレームレートをＦ２とする。また、領域５２３および５２４以外の背景の領域のうち、比較的近い場所からなる領域５２５のフレームレートをＦ３とし、領域５２３、５２４および５２５以外の残りの領域５２０のフレームレートをＦ０とする。
【００４３】
撮像制御部１４０は、式２を用いて、それぞれの領域に対応する距離からフレームレートＦ０、Ｆ１、Ｆ２およびＦ３を算出する。この結果、フレームレートＦ０、Ｆ１、Ｆ２およびＦ３のうち、Ｆ３に最も高い値が設定され、Ｆ２、Ｆ１およびＦ０の順で低い値が設定される。このように、距離が短いほどフレームレートを高くするのは、一般に、距離が近いほど被写体が撮像装置１００を通過する時間が短くなり、フレームレートが低いと物体の検知に失敗するおそれがあるためである。
【００４４】
［撮像装置の動作例］
図８は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像装置１００において、撮像を開始させるための操作（シャッターボタンの押下など）が行われたときに開始する。撮像装置１００は、まず、デプスマップを生成する（ステップＳ９０１）。そして、撮像装置１００は、デプスマップに基づいて単位エリアごとにデータレート（解像度やフレームレート）を制御する（ステップＳ９０２）。
【００４５】
撮像装置１００は、画像データ（フレーム）を撮像し（ステップＳ９０３）、そのフレームに対して信号処理を実行する（ステップＳ９０４）。そして、撮像装置１００は、撮像を終了させるための操作が行われたか否かを判断する（ステップＳ９０５）。撮像終了のための操作が行われていない場合に（ステップＳ９０５：Ｎｏ）、撮像装置１００は、ステップＳ９０１以降を繰り返し実行する。一方、撮像終了のための操作が行われた場合に（ステップＳ９０５：Ｙｅｓ）、撮像装置１００は、撮像のための動作を終了する。
【００４６】
このように、本技術の第１の実施の形態によれば、撮像装置１００は、単位エリアごとに距離に基づいてデータレートを制御するため、単位エリアごとのデータレートを必要最小限の値に制御して、処理量の増大を抑制することができる。
【００４７】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、撮像装置１００は、距離が短いほど被写体が大きく写り、視認性が向上すると仮定して解像度を低くしていたが、距離が長い場合であっても、被写体の視認性が高くなる場合がある。例えば、距離が長い場合であっても、その距離が被写界深度内である場合には、ピントが合うために視認性が高くなる。したがって、距離が被写界深度内であるか否かにより、解像度を変更することが望ましい。この第２の実施の形態における撮像装置１００は、距離が被写界深度内であるか否かにより解像度を変更する点において第１の実施の形態と異なる。
【００４８】
図９は、本技術の第２の実施の形態における撮像装置１００の一構成例を示すブロック図である。この第２の実施の形態の撮像装置１００は、レンズユニット１１０を備える点において第１の実施の形態と異なる。
【００４９】
図１０は、本技術の第２の実施の形態におけるレンズユニット１１０の一構成例を示すブロック図である。このレンズユニット１１０は、撮像レンズ１１１、絞り１１２、レンズパラメータ保持部１１３、レンズ駆動部１１４および絞り制御部１１５を備える。
【００５０】
撮像レンズ１１１は、例えば、フォーカスレンズやズームレンズなどの様々なレンズを含む。絞り１１２は、通過する光の量を調整する遮蔽部材である。
【００５１】
レンズパラメータ保持部１１３は、許容錯乱円の直径ｃ０や焦点距離ｆの制御範囲などの各種のレンズパラメータを保持するものである。
【００５２】
レンズ駆動部１１４は、撮像制御部１４０の制御に従って撮像レンズ１１１内のフォーカスレンズやズームレンズを駆動するものである。
【００５３】
絞り制御部１１５は、撮像制御部１４０の制御に従って、絞り１１２の絞り量を制御するものである。
【００５４】
図１１は、本技術の第２の実施の形態における撮像制御部１４０の一構成例を示すブロック図である。この第２の実施の形態の撮像制御部１４０は、レンズパラメータ取得部１４１、露光制御部１４２、オートフォーカス制御部１４３、ズーム制御部１４４およびデータレート制御部１４５を備える。
【００５５】
レンズパラメータ取得部１４１は、撮像前において、レンズユニット１１０からレンズパラメータを予め取得するものである。このレンズパラメータ取得部１４１は、取得したレンズパラメータを設定情報記憶部１３０に記憶させる。
【００５６】
第２の実施の形態において設定情報記憶部１３０は、レンズパラメータと、解像度ＲＨおよびＲＬとを設定情報として記憶する。ここで、ＲＬは、被写界深度内の被写体を撮像する際の解像度であり、ＲＨは、被写界深度外の被写体を撮像する際の解像度である。解像度ＲＨは、例えば、解像度ＲＬよりも高い値に設定される。
【００５７】
露光制御部１４２は、測光量に基づいて、露光量を制御するものである。この露光制御部１４２は、露光制御において、例えば、絞り値Ｎを決定し、その値を指示する制御信号を信号線１４７を介してレンズユニット１１０に供給する。また、露光制御部１４２は、絞り値Ｎをデータレート制御部１４５に供給する。なお、露光制御部１４２は、固体撮像素子２００に制御信号を供給してシャッタースピードを制御してもよい。
【００５８】
オートフォーカス制御部１４３は、ユーザの操作に従って被写体にピントを合わせるものである。このオートフォーカス制御部１４３は、ユーザによりフォーカスポイントが指定されると、そのフォーカスポイントに対応する距離ｄＯをデプスマップから取得する。そして、オートフォーカス制御部１４３は、その距離ｄＯにピントが合う位置までフォーカスレンズを駆動させるための駆動信号を生成してレンズユニット１１０に信号線１４７を介して供給する。また、オートフォーカス制御部１４３は、ピントを合わせた被写体までの距離ｄＯをデータレート制御部１４５に供給する。
【００５９】
ズーム制御部１４４は、ユーザのズーム操作に従って焦点距離ｆを制御するものである。このズーム制御部１４４は、ズーム操作に従ってレンズパラメータの示す制御範囲内で焦点距離ｆを設定する。そして、ズーム制御部１４４は、設定した焦点距離ｆに対応する位置までズームレンズおよびフォーカスレンズを駆動するための駆動信号を生成してレンズユニット１１０に供給する。ここで、フォーカスレンズおよびズームレンズは、焦点を合わせた状態でズームレンズを駆動するときの軌跡を示すカムカーブに沿って制御される。また、ズーム制御部１４４は、設定した焦点距離ｆをデータレート制御部１４５に供給する。
【００６０】
データレート制御部１４５は、距離に基づいて単位エリア２２１ごとにデータレートを制御するものである。このデータレート制御部１４５は、レンズパラメータを参照して例えば、次の式により、被写界深度の前端ＤＮおよび後端ＤＦを算出する。
Ｈ≒ｆ／（Ｎｃ０）                                        ・・・式３
ＤＮ≒ｄＯ（Ｈ−ｆ）／（Ｈ＋ｄＯ−２ｆ）                    ・・・式４
ＤＦ≒ｄＯ（Ｈ−ｆ）／（Ｈ−ｄＯ）                          ・・・式５
【００６１】
そして、データレート制御部１４５は、デプスマップを参照して、単位エリア２２１ごとに、対応する距離Ｌｍが前端ＤＮから後端ＤＦまでの範囲内（すなわち、被写界深度内）であるか否かを判断する。データレート制御部１４５は、被写界深度内である場合に低い方の解像度ＲＬを、その単位エリア２２１に設定し、被写界深度外である場合に高い方の解像度ＲＨを設定する。そして、データレート制御部１４５は、それぞれの単位エリア２２１の解像度を指示する制御信号を固体撮像素子２００および信号処理部１２０に供給する。
【００６２】
なお、撮像制御部１４０は、被写界深度内であるか否かにより解像度などを切り替えているが、一般には、ピントの合った距離ｄＯに近いほど、鮮明さの度合いが大きくなり、遠いほどボケの度合いが大きくなる。このため、撮像制御部１４０は、距離ｄＯに近いほど解像度を低くし、遠いほど解像度を高くしてもよい。また、撮像制御部１４０は、被写界深度内であるか否かにより解像度を変更しているが、解像度の代わりにフレームレートを変更してもよい。
【００６３】
図１２は、本技術の第２の実施の形態における解像度の設定例を説明するための図である。フレーム５３０において、被写体５３１にピントが合わせられたものとする。このため、被写体５３１を含む領域５３２は鮮明であり、それ以外の領域はぼやけている。この領域５３２に対応する距離（デプス）は、被写界深度内である。撮像装置１００は、その被写界深度内の領域５３２に低い方の解像度ＲＬを設定し、それ以外の領域に高い方の解像度ＲＨを設定する。このように被写界深度内の領域の解像度を低下させるのは、その領域はピントが合って鮮明に映り、解像度を低下させても検知精度が不足するおそれが低いためである。
【００６４】
図１３は、本技術の第２の実施の形態における焦点位置および被写界深度の一例を示す図である。被写体５３１にピントを合わせたい場合にユーザは、撮像装置１００を操作して、その被写体５３１の位置までフォーカスポイントを移動させる。そのフォーカスポイントに対応する距離ｄＯにピントが合うように撮像装置１００はフォーカスレンズを駆動させる。この結果、距離ｄＯの手前の前端ＤＮから、後端ＤＦまでの被写界深度内にピントが合った像が固体撮像素子２００に結像される。撮像装置１００は、そのピントの合った領域の解像度を低下させたフレームを撮像する。
【００６５】
図１４は、本技術の第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。撮像装置１００は、デプスマップを生成し（ステップＳ９０１）、距離ｄＯや焦点距離ｆなどのパラメータを取得する（ステップＳ９１１）。そして、撮像装置１００は、式３乃至式５を用いて被写界深度の前端ＤＮおよび後端ＤＦを算出し、デプスマップ内の距離（デプス）Ｌｍが被写界深度内であるか否かによりデータレートを変更する（ステップＳ９１２）。ステップＳ９１２の後に撮像装置１００は、ステップＳ９０３以降を実行する。
【００６６】
このように、本技術の第２の実施の形態では、距離が被写界深度内であるか否かにより解像度を変更するため、ピントの合った領域のデータレートを変更することができる。
【００６７】
＜３．第３の実施の形態＞
上述の第２の実施の形態では、撮像装置１００は、被写界深度内であれば鮮明に映ると想定してデータレート（例えば、解像度）を一定の値ＲＬに低下させていたが、鮮明さの度合いは一定とは限らない。一般にピントの合う距離（デプス）ｄＯに、被写体が近づくほど錯乱円が小さくなって鮮明さの度合いが高くなるが、その距離ｄＯから離れるほど鮮明さの度合いが低下する。このため、鮮明さの度合いに応じて解像度を変更することが望ましい。この第３の実施の形態の撮像装置１００は、鮮明さの度合いに応じて解像度を制御する点において第２の実施の形態と異なる。
【００６８】
図１５は、本技術の第３の実施の形態における錯乱円の算出方法について説明するための図である。撮像装置１００は、ある距離ｄＯにピントを合わせたものとする。その距離ｄＯより撮像レンズ１１１に近い距離をｄｎとする。同図において一点鎖線は、距離ｄＯの位置Ｏからの光線を示す。この位置Ｏからの光は、撮像レンズ１１１により、その撮像レンズ１１１よりも像側の位置Ｌに集光される。撮像レンズ１１１から位置Ｌまでの距離はｄｉである。
【００６９】
また、点線は、距離ｄｎの位置Ｏｎからの光線を示す。この位置Ｏｎからの光は、撮像レンズ１１１により、その撮像レンズ１１１よりも像側の位置Ｌｎに集光される。撮像レンズ１１１から位置Ｌｎまでの距離はｄｃである。
【００７０】
ここで、撮像レンズ１１１の開口径をａとし、位置Ｌｎの錯乱円の直径をｃとする。また、開口径の両端の一方をＡとし、他方をＢとする。錯乱円の両端の一方はＡ'とし、他方をＢ'とする。この場合、Ａ'、Ｂ'およびＬｎからなる三角形と、Ａ、ＢおよびＬｎからなる三角形とが相似であるため、次の式が成立する。
ａ：ｃ＝ｄｃ：ｄｃ−ｄｉ                                  ・・・式６
【００７１】
式６は、次の式に変形することができる。
ｃ＝ａ（ｄｃ−ｄｉ）／ｄｃ                                ・・・式７
【００７２】
ここで、レンズの公式より、次の式が得られる。
ｄｃ＝ｄｎｆ／（ｄｎ−ｆ）                                ・・・式８
ｄｉ＝ｄＯｆ／（ｄＯ−ｆ）                                ・・・式９
【００７３】
式８および式９の右辺を式７に代入することにより、次の式が得られる。
ｃ＝ａｆ（ｄＯ−ｄｎ）／｛ｄｎ（ｄＯ−ｆ）｝                ・・・式１０
【００７４】
第３の実施の形態の撮像制御部１４０の構成は、第２の実施の形態と同様である。ただし、撮像制御部１４０は、単位エリア２２１ごとに、そのエリアに対応する距離Ｌｍの値を式１０のｄｎに代入し、錯乱円の直径ｃを算出する。そして、撮像制御部１４０は、次の式により、解像度Ｒｍを算出する。
Ｒｍ＝（ｃ／ｃ０）×ＲＨ                                ・・・式１１
上式においてｃ０は、許容錯乱円の直径であり、このｃ０は、設定情報記憶部１３０に保持される。
【００７５】
式１１により、被写界深度内において錯乱円の直径が小さいほど低い解像度が設定される。このように制御するのは、錯乱円が小さいほど像の鮮明さの度合いが高くなり、解像度を低くしても検知精度が低下するおそれが少ないためである。
【００７６】
なお、錯乱円の直径ｃが許容錯乱円の直径ｃ０を超える場合には、被写界深度外であるため、高い解像度ＲＨが設定される。また、撮像制御部１４０錯乱円の直径に応じて解像度を制御しているが、解像度の代わりにフレームレートを制御することもできる。
【００７７】
このように、本技術の第３の実施の形態では、撮像装置１００は、錯乱円の直径が小さい（すなわち、像の鮮明さの度合いが高い）ほど低い解像度に制御するため、鮮明さの度合いに応じてデータレートを制御することができる。
【００７８】
＜４．第４の実施の形態＞
上述の第１の実施の形態では、固体撮像素子２００の外部に設けられた測距センサ１５０により距離を測定していたが、像面位相差方式により測距センサ１５０を設けずに距離を測定することもできる。ここで、像面位相差方式は、瞳分割された一対の像の位相差を検出するための複数の位相差画素を固体撮像素子内に配置して、その位相差から距離を測定する方式である。この第４の実施の形態における撮像装置１００は、像面位相差方式により距離を測定する点において第１の実施の形態と異なる。
【００７９】
図１６は、本技術の第４の実施の形態における撮像装置１００の一構成例を示すブロック図である。この第４の実施の形態の撮像装置１００は、固体撮像素子２００および測距センサ１５０の代わりに固体撮像素子２０５を備え、測距演算部１６０の代わりに位相差検出部１６１を備える点において第１の実施の形態と異なる。また、第４の実施の形態の撮像装置１００は、信号処理部１２０の代わりに信号処理部１２１を備える。
【００８０】
固体撮像素子２０５内の画素アレイ部２２０には、複数の位相差画素と、位相差画素以外の画素（以下、「通常画素」と称する。）とが配列される。固体撮像素子２０５は、位相差画素の受光量を示すデータを位相差検出部１６１に供給する。
【００８１】
位相差検出部１６１は、複数の位相差画素のそれぞれの受光量から、瞳分割された一対の像の位相差を検出するものである。この位相差検出部１６１は、測位エリアごとの距離を位相差から算出し、デプスマップを生成する。
【００８２】
また、信号処理部１２１は、位相差画素の受光量から、その画素の画素データを生成する。
【００８３】
図１７は、本技術の第４の実施の形態における画素アレイ部２２０の一構成例を示す平面図である。この画素アレイ部２２０には、複数の通常画素２２２と、複数の位相差画素２２３とが配列される。通常画素２２２として例えば、赤色の光を受光するＲ（Red）画素と、緑色を受光するＧ(Green)画素と、青色を受光するＢ(Blue)画素とがベイヤー配列で配置される。また、位相差画素２２３は、例えば、単位エリア２２１ごとに２つ配置される。これらの位相差画素２２３により、固体撮像素子２０５は、像面位相差方式で距離を測定することができる。
【００８４】
なお、位相差画素２２３、走査回路２１０およびＡＤ変換部２３０からなる回路は、特許請求の範囲に記載の測距センサの一例であり、通常画素２２２、走査回路２１０およびＡＤ変換部２３０からなる回路は、特許請求の範囲に記載の撮像部の一例である。
【００８５】
図１８は、本技術の第４の実施の形態における位相差画素２２３の一構成例を示す平面図である。この位相差画素２２３には、マイクロレンズ２２４、Ｌ側フォトダイオード２２５、および、Ｒ側フォトダイオード２２６が配置される。
【００８６】
マイクロレンズ２２４は、Ｒ、ＧおよびＢのいずれかの光を集光するものである。Ｌ側フォトダイオード２２５は、瞳分割された２つの像の一方からの光を光電変換するものであり、Ｒ側フォトダイオード２２６は、その２つの像の他方からの光を光電変換するものである。
【００８７】
位相差検出部１６１は、所定の方向に沿って配列された複数のＬ側フォトダイオード２２５のそれぞれの受光量から左側の像を取得し、その方向に沿って配列された複数のＲ側フォトダイオード２２６のそれぞれの受光量から右側の像を取得する。これらの一対の像の位相差は、一般に距離が近いほど大きくなる。この性質に基づいて位相差検出部１６１は、一対の像の位相差から、距離を算出する。
【００８８】
また、信号処理部１２１は、位相差画素２２３ごとに、その内部のＬ側フォトダイオード２２５の受光量とＲ側フォトダイオード２２６の受光量との加算値または加算平均を演算して、Ｒ、ＧおよびＢのいずれかの画素データとする。
【００８９】
ここで、一般的な位相差画素では、位相差画素の一部が遮光され、フォトダイオードは１つしか配置されない。このような構成では、画像データ（フレーム）を生成する際に、位相差画素の画素データが欠けてしまうため、周囲の画素から補間する必要がある。これに対して、遮光せずにＬ側フォトダイオード２２５およびＲ側フォトダイオード２２６を設ける位相差画素２２３の構成では、画素データが欠けることが無く、補間処理を行わなくてよいため、フレームの画質を向上させることができる。
【００９０】
このように、本技術の第４の実施の形態では、撮像装置１００が、位相差画素２２３により検出された位相差から距離を測定するため、測距センサを配置せずにデプスマップを生成することができる。これにより、測距センサの分、コストや回路規模を削減することができる。
【００９１】
［変形例］
上述の第４の実施の形態では、単位エリア２２１ごとに２つの位相差画素２２３を配置していたが、単位エリア２２１ごとに２つでは、測距精度が不足するおそれがある。この第４の実施の形態における変形例の撮像装置１００は、測距精度を向上させた点において第４の実施の形態と異なる。
【００９２】
図１９は、本技術の第４の実施の形態の変形例における画素アレイ部２２０の一構成例を示す平面図である。この第４の実施の形態の変形例の画素アレイ部２２０は、位相差画素２２３のみが配置され、通常画素２２２が配置されない点において第４の実施の形態と異なる。このように、通常画素２２２の代わりに位相差画素２２３が配置されるため、その分、位相差画素２２３の画素数が多くなり、測距精度が向上する。
【００９３】
また、第４の実施の形態の変形例の信号処理部１２１は、位相差画素２２３ごとに、加算または加算平均の演算により画素データを生成する。
【００９４】
このように、本技術の第４の実施の形態における変形例では、通常画素２２２の代わりに位相差画素２２３を配置したため、その分、位相差画素２２３の画素数を多くして測距精度を向上させることができる。
【００９５】
＜５．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【００９６】
図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【００９７】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【００９８】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【００９９】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１００】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１０１】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１０２】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１０３】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０１０４】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１０５】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１０６】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１０７】
図２１は、撮像部１２０３１の設置位置の例を示す図である。
【０１０８】
図２１では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１０９】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１１０】
なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１１１】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１１２】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１１３】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１１４】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１１５】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０および撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１内に図１の撮像レンズ１１１、固体撮像素子２００および撮像制御部１４０が配置され、車外情報検出ユニット１２０３０内に、図１の信号処理部１２０、測距センサ１５０および測距演算部１６０が配置される。車外情報検出ユニット１２０３０および撮像部１２０３１に本開示に係る技術を適用することにより、フレームの処理量を低減することができる。
【０１１６】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１１７】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１１８】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１１９】
なお、本技術は以下のような構成もとることができる。
（１）撮像対象となる複数の領域のそれぞれについて距離を測定する測距センサと、
前記複数の領域のそれぞれについてデータレートを指示する信号を前記距離に基づいて生成して制御信号として供給する制御部と、
前記制御信号に従って前記複数の領域を含むフレームを撮像する撮像部と
を具備する撮像装置。
（２）前記データレートは、解像度を含む
前記（１）記載の撮像装置。
（３）前記データレートは、フレームレートを含む
前記（１）または（２）に記載の撮像装置。
（４）前記制御部は、前記距離が撮像レンズの被写界深度内であるか否かにより前記データレートを変更する
前記（１）から（３）のいずれかに記載の撮像装置。
（５）前記制御部は、前記距離から錯乱円の直径を算出して当該直径に応じた前記データレートを指示する
前記（１）から（４）のいずれかに記載の撮像装置。
（６）前記フレームに対して所定の信号処理を実行する信号処理部をさらに具備する
前記（１）から（５）のいずれかに記載の撮像装置。
（７）前記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、
前記撮像部は、光を受光する複数の通常画素を備え、
前記信号処理部は、前記複数の位相差検出画素と前記複数の通常画素とのそれぞれの受光量から前記フレームを生成する
前記（６）記載の撮像装置。
（８）前記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、
前記信号処理部は、前記複数の位相差検出画素のそれぞれの受光量から前記フレームを生成する
前記（６）記載の撮像装置。
（９）撮像対象となる複数の領域のそれぞれについて距離を測定する測距手順と、
前記複数の領域のそれぞれについてデータレートを指示する信号を前記距離に基づいて生成して制御信号として供給する制御手順と、
前記制御信号に従って前記複数の領域を含むフレームを撮像する撮像手順と
を具備する撮像装置の制御方法。
【符号の説明】
【０１２０】
１００  撮像装置
１１０  レンズユニット
１１１  撮像レンズ
１１２  絞り
１１３  レンズパラメータ保持部
１１４  レンズ駆動部
１１５  絞り制御部
１２０、１２１  信号処理部
１３０  設定情報記憶部
１４０  撮像制御部
１４１  レンズパラメータ取得部
１４２  露光制御部
１４３  オートフォーカス制御部
１４４  ズーム制御部
１４５  データレート制御部
１５０  測距センサ
１５３  測距エリア
１６０  測距演算部
１６１  位相差検出部
２００、２０５  固体撮像素子
２０１  上側基板
２０２  下側基板
２１０、１５１  走査回路
２２０、１５２  画素アレイ部
２２１  単位エリア
２２２  通常画素
２２３  位相差画素
２２４  マイクロレンズ
２２５  Ｌ側フォトダイオード
２２６  Ｒ側フォトダイオード
２３０、１５４  ＡＤ変換部
２３１  ＡＤＣ
１２０３０  車外情報検出ユニット
１２０３１  撮像部
【図１】
2018098613.tif 000003
【図２】
2018098613.tif 000004
【図３】
2018098613.tif 000005
【図４】
2018098613.tif 000006
【図５】
2018098613.tif 000007
【図６】
2018098613.tif 000008
【図７】
2018098613.tif 000009
【図８】
2018098613.tif 000010
【図９】
2018098613.tif 000011
【図１０】
2018098613.tif 000012
【図１１】
2018098613.tif 000013
【図１２】
2018098613.tif 000014
【図１３】
2018098613.tif 000015
【図１４】
2018098613.tif 000016
【図１５】
2018098613.tif 000017
【図１６】
2018098613.tif 000018
【図１７】
2018098613.tif 000019
【図１８】
2018098613.tif 000020
【図１９】
2018098613.tif 000021
【図２０】
2018098613.tif 000022
【図２１】
2018098613.tif 000023