(57)【特許請求の範囲】
【請求項１】
輸送機器に搭載され、照射光を照射する光源と、被写体を撮像して露光量を示す撮像信号を出力する固体撮像素子と、前記撮像信号を用いて前記被写体に係る被写体情報を演算する演算部とを備える撮像装置であって、
前記固体撮像素子は、前記照射光が前記被写体により反射した反射光を用いて撮像する第１画素と、前記被写体を撮像する第２画素とを有し、
前記固体撮像素子が撮像する撮像領域は、少なくとも前記第１画素で撮像する第１領域と、前記第２画素で撮像する第２領域とからなり、
前記第１領域又は前記第２領域は、他方となる前記第２領域又は前記第１領域の周囲に備わり、
前記演算部は、前記第１領域からの情報と前記第２領域からの情報とに基づいて、前記被写体情報の演算を行い、
前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭く、
前記輸送機器は路面を走行する車両であって、
前記第１領域からの情報は、前記路面の傾きに係る情報であり、
前記第２領域からの情報は、前記路面の外観に係る情報であり、
前記演算部が行う前記演算は、前記第２領域における前記路面の傾きを推定する処理を含み、
前記被写体情報は、前記第２領域における前記路面の、推定される傾きを示す情報を含む
撮像装置。
【請求項２】
前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の水平方向における前記撮像領域の画角と異なる
請求項１に記載の撮像装置。
【請求項３】
前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記照射光の照射角度よりも大きい
請求項１又は２に記載の撮像装置。
【請求項４】
前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、
前記固体撮像素子は、前記撮像を逐次行い、
前記物体が、第１時刻に前記第１領域で撮像され、前記第１時刻から一定期間経過後となる第２時刻に前記第２領域が撮像される場合に、
前記第２時刻における前記被写体情報の演算に、前記第１時刻における前記物体までの距離に係る情報を用いる
請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、
前記固体撮像素子は、前記撮像を逐次行い、
前記物体が、第１時刻に前記第２領域で撮像され、前記第１時刻から一定期間経過後となる第２時刻に前記第１領域が撮像される場合に、
前記第２時刻における前記被写体情報の演算に、前記第１時刻における前記物体の外観に係る情報を用いる
請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記固体撮像素子は、前記撮像を逐次行い、
前記演算部が行う前記演算は、第１時刻における前記第１領域又は前記第２領域からの情報と、前記第１時刻とは異なる第２時刻における前記他方となる前記第２領域又は前記第１領域からの情報とを関連付ける処理を含む
請求項１〜３のいずれか１項に記載の撮像装置。
【請求項７】
前記第１領域からの情報は、前記被写体までの距離に係る情報であり、
前記第２領域からの情報は、前記被写体の外観に係る情報であり、
前記演算部が行う前記演算は、前記第２領域における前記被写体までの距離を推定する処理を含み、
前記被写体情報は、前記第２領域における前記被写体までの、推定される距離を示す情報を含む
請求項６に記載の撮像装置。
【請求項８】
前記被写体が、前記第１領域と前記第２領域に連続して備わる物体である場合、
前記第２領域における前記被写体情報の演算に、前記第１領域の演算結果を関連付ける
請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１領域は、前記輸送機器が走行する路面によって前記照射光が反射する反射光が前記固体撮像素子に到達する第１ａ領域と、前記反射光が前記固体撮像素子に到達しない第１ｂ領域を有する
請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記被写体が、前記第１領域と前記第２領域に連続して備わる物体である場合、
前記第１ａ領域以外の領域における前記被写体情報の演算に、前記第１ａ領域の演算結果を関連付ける
請求項９に記載の撮像装置。
【請求項１１】
前記照射光は、赤外光であり、
前記第１画素は、赤外光を受光し
前記第２画素は、可視光を受光する
請求項１〜１０のいずれか１項に記載の撮像装置。
【請求項１２】
更に、
前記照射角度を調整する拡散板を備える
請求項１〜１１のいずれか１項に記載の撮像装置。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像する撮像装置に関する。
【背景技術】
【０００２】
従来、被写体を撮像する撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−６４４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像装置において、被写体の測距精度、及び／又は被写体の検知精度の向上が望まれる。【０００５】
そこで、本発明は、従来よりも、被写体の測距精度、及び／又は被写体の検知精度を向上し得る撮像装置、及びそれに用いられる固体撮像素子を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る撮像装置は、輸送機器に搭載され、照射光を照射する光源と、被写体を撮像して露光量を示す撮像信号を出力する固体撮像素子と、前記撮像信号を用いて前記被写体に係る被写体情報を演算する演算部とを備える撮像装置であって、前記固体撮像素子は、前記照射光が前記被写体により反射した反射光を用いて撮像する第１画素と、前記被写体を撮像する第２画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第１画素で撮像する第１領域と、前記第２画素で撮像する第２領域とからなり、前記第１領域又は前記第２領域は、他方となる前記第２領域又は前記第１領域の周囲に備わり、前記演算部は、前記第１領域からの情報と前記第２領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。【０００７】
本発明の一態様に係る固体撮像素子は、輸送機器に搭載され、照射光を照射する光源と、露光量を示す撮像信号を用いて被写体に係る被写体情報を演算する演算部とを備える撮像装置に用いられる、前記被写体を撮像して前記撮像信号を出力する固体撮像素子であって、前記照射光が前記被写体により反射した反射光を用いて撮像する第１画素と、前記被写体を撮像する第２画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第１画素で撮像する第１領域と、前記第２画素で撮像する第２領域とからなり、前記第１領域又は前記第２領域は、他方となる前記第２領域又は前記第１領域の周囲に備わり、前記演算部は、前記第１領域からの情報と前記第２領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
【発明の効果】
【０００８】
上記構成の撮像装置、及び固体撮像素子によると、従来よりも、被写体の測距精度、及び／又は被写体の検知精度を向上し得る。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】図２は、実施の形態に係る固体撮像素子が有する画素アレイを示す模式図である。
【図３】図３は、ＴＯＦ測距方式による測距時における、発光タイミングと露光タイミングとの関係を示すタイミング図である。
【図４】図４は、実施の形態に係る撮像装置が、車両に搭載されて利用される一例を示すブロック図である。
【図５Ａ】図５Ａは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す側面図である。
【図５Ｂ】図５Ｂは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す側面図である。
【図６】図６は、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す側面図である。
【図７Ａ】図７Ａは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す平面図である。
【図７Ｂ】図７Ｂは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す平面図である。
【図７Ｃ】図７Ｃは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す平面図である。
【図８】図８は、実施の形態に係る撮像装置が路面を撮像する様子を示す模式図である。
【図９Ａ】図９Ａは、実施の形態に係る撮像装置が他の車両を撮像する様子を示す模式図である。
【図９Ｂ】図９Ｂは、実施の形態に係る撮像装置が他の車両を撮像する様子を示す模式図である。
【図１０】図１０は、実施の形態に係る撮像装置が路面を撮像する様子を示す模式図である。
【図１１】図１１は、ＩＲ撮像画像の出力順と、Ｗ撮像画像の出力順との関係の一例を示す模式図である。
【図１２Ａ】図１２Ａは、ＩＲ撮像画像の出力順と、ＩＲ補間撮像画像の出力順との関係の一例を示す模式図である。
【図１２Ｂ】図１２Ｂは、Ｗ撮像画像の出力順と、Ｗ補間撮像画像の出力順との関係の一例を示す模式図である。
【発明を実施するための形態】
【００１０】
本開示の一態様に係る撮像装置は、輸送機器に搭載され、照射光を照射する光源と、被写体を撮像して露光量を示す撮像信号を出力する固体撮像素子と、前記撮像信号を用いて前記被写体に係る被写体情報を演算する演算部とを備える撮像装置であって、前記固体撮像素子は、前記照射光が前記被写体により反射した反射光を用いて撮像する第１画素と、前記被写体を撮像する第２画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第１画素で撮像する第１領域と、前記第２画素で撮像する第２領域とからなり、前記第１領域又は前記第２領域は、他方となる前記第２領域又は前記第１領域の周囲に備わり、前記演算部は、前記第１領域からの情報と前記第２領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
【００１１】
また、上記撮像装置において、前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の水平方向における前記撮像領域の画角と異なるとしてもよい。
【００１２】
また、上記撮像装置において、前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記照射光の照射角度よりも大きいとしてもよい。
【００１３】
また、上記撮像装置において、前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、前記固体撮像素子は、前記撮像を逐次行い、前記物体が、第１時刻に前記第１領域で撮像され、前記第１時刻から一定期間経過後となる第２時刻に前記第２領域が撮像される場合に、前記第２時刻における前記被写体情報の演算に、前記第１時刻における前記物体までの距離に係る情報を用いるとしてもよい。
【００１４】
また、上記撮像装置において、前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、前記固体撮像素子は、前記撮像を逐次行い、前記物体が、第１時刻に前記第２領域で撮像され、前記第１時刻から一定期間経過後となる第２時刻に前記第１領域が撮像される場合に、前記第２時刻における前記被写体情報の演算に、前記第１時刻における前記物体の外観に係る情報を用いるとしてもよい。
【００１５】
また、上記撮像装置において、前記固体撮像素子は、前記撮像を逐次行い、前記演算部が行う前記演算は、第１時刻における前記第１領域又は前記第２領域からの情報と、前記第１時刻とは異なる第２時刻における前記他方となる前記第２領域又は前記第１領域からの情報とを関連付ける処理を含むとしてもよい。
【００１６】
また、上記撮像装置において、前記第１領域からの情報は、前記被写体までの距離に係る情報であり、前記第２領域からの情報は、前記被写体の外観に係る情報であり、前記演算部が行う前記演算は、前記第２領域における前記被写体までの距離を推定する処理を含み、前記被写体情報は、前記第２領域における前記被写体までの、推定される距離を示す情報を含むとしてもよい。
【００１７】
また、上記撮像装置において、前記被写体が、前記第１領域と前記第２領域に連続して備わる物体である場合、前記第２領域における前記被写体情報の演算に、前記第１領域の演算結果を関連付けるとしてもよい。
【００１８】
また、上記撮像装置において、前記第１領域は、前記輸送機器が走行する路面によって前記照射光が反射する反射光が前記固体撮像素子に到達する第１ａ領域と、前記反射光が前記固体撮像素子に到達しない第１ｂ領域を有するとしてもよい。
【００１９】
また、上記撮像装置において、前記被写体が、前記第１領域と前記第２領域に連続して備わる物体である場合、前記第１ａ領域以外の領域における前記被写体情報の演算に、前記第１ａ領域の演算結果を関連付けるとしてもよい。
【００２０】
また、上記撮像装置において、前記輸送機器は路面を走行する車両であって、前記第１領域からの情報は、前記路面の傾きに係る情報であり、前記第２領域からの情報は、前記路面の外観に係る情報であり、前記演算部が行う前記演算は、前記第２領域における前記路面の傾きを推定する処理を含み、前記被写体情報は、前記第２領域における前記路面の、推定される傾きを示す情報を含むとしてもよい。
【００２１】
また、上記撮像装置において、前記照射光は、赤外光であり、前記第１画素は、赤外光を受光し前記第２画素は、可視光を受光するとしてもよい。
【００２２】
また、上記撮像装置において、前記照射角度を調整する拡散板を備えるとしてもよい。
【００２３】
本開示の一態様に係る固体撮像素子は、輸送機器に搭載され、照射光を照射する光源と、露光量を示す撮像信号を用いて被写体に係る被写体情報を演算する演算部とを備える撮像装置に用いられる、前記被写体を撮像して前記撮像信号を出力する固体撮像素子であって、前記照射光が前記被写体により反射した反射光を用いて撮像する第１画素と、前記被写体を撮像する第２画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第１画素で撮像する第１領域と、前記第２画素で撮像する第２領域とからなり、前記第１領域又は前記第２領域は、他方となる前記第２領域又は前記第１領域の周囲に備わり、前記演算部は、前記第１領域からの情報と前記第２領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
【００２４】
以下、本開示の一態様に係る撮像装置の具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【００２５】
（実施の形態）
図１は、実施の形態に係る撮像装置１の構成を示すブロック図である。
【００２６】
図１に示されるように、撮像装置１は、光源１０と、固体撮像素子２０と、演算部３０と、制御部４０と、拡散板５０と、レンズ６０と、バンドパスフィルタ７０とを含んで構成される。
【００２７】
光源１０は、照射光を照射する。より具体的には、光源１０は、制御部４０で生成された発光信号によって示されるタイミングで、被写体に照射する照射光を発光する。
【００２８】
光源１０は、例えば、コンデンサ、駆動回路、及び発光素子を含んで構成され、コンデンサに蓄積された電気エネルギーで発光素子を駆動することで発光する。発光素子は、一例として、レーザダイオード、発光ダイオード等により実現される。なお、光源１０は、１種類の発光素子を含む構成であっても構わないし、目的に応じた複数種類の発光素子を含む構成であっても構わない。
【００２９】
以下では、発光素子は、例えば、近赤外線光を発光するレーザダイオード、近赤外線光を発光する発光ダイオード等であって、光源１０が照射する照射光は、近赤外線光であるとして説明する。しかしながら、光源１０が照射する照射光は、近赤外線光に限定される必要はない。光源１０が照射する照射光は、例えば、近赤外線光以外の周波数帯の赤外線光であっても構わない。
【００３０】
固体撮像素子２０は、被写体を撮像して露光量を示す撮像信号を出力する。より具体的には、固体撮像素子２０は、制御部４０で生成された露光信号によって示されるタイミングで露光を行い、露光量を示す撮像信号を出力する。
【００３１】
固体撮像素子２０は、照射光が被写体により反射した反射光を用いて撮像する第１画素と、被写体を撮像する第２画素とがアレイ状に配置されてなる画素アレイを有する。固体撮像素子２０は、例えば、必要に応じて、カバーガラス、ＡＤコンバータ等のロジック機能を有していても構わない。
【００３２】
以下では、照射光と同様に、反射光は、近赤外線光であるとして説明するが、反射光は、照射光が被写体により反射した光であれば、近赤外線光に限定される必要はない。
【００３３】
図２は、固体撮像素子２０が有する画素アレイ２を示す模式図である。
【００３４】
図２に示されるように、画素アレイ２は、照射光が被写体により反射した反射光を用いて撮像する第１画素２１（ＩＲ画素）と、被写体を撮像する第２画素２２（Ｗ画素）とが列単位で交互に並ぶように、アレイ状に配置されて構成される。
【００３５】
また、図２では、画素アレイ２において、第２画素２２と第１画素２１が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されているが、これに限定されず、複数行置き（一例として、２行置き）に配置されていてもよい。つまり、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置されてもよい。更に、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、異なる行置き（第１の行はＮ行、第２の行はＬ行を交互に繰り返す（ＮとＬは、異なる自然数））に配置されていてもよい。
【００３６】
第１画素２１は、例えば、反射光である近赤外線光に感度を有する近赤外線光画素で実現される。第２画素２２は、例えば、可視光に感度を有する可視光画素で実現される。
【００３７】
近赤外線光画素は、例えば、近赤外線光のみを透過させる光学フィルタ、マイクロレンズ、光電変換部としての受光素子、受光素子で生成された電荷を蓄積する蓄積部等を含んで構成される。また、可視光画素は、例えば、可視光のみを透過させる光学フィルタ、マイクロレンズ、光電変換部としての受光素子、受光素子で変換された電荷を蓄積する蓄積部等含んで構成される。なお、可視光画素の光学フィルタは、可視光と近赤外線光との双方を透過させても構わないし、可視光のうち、赤（Ｒ）、緑（Ｇ）、青（Ｂ）等の特定の波長帯域の光だけを透過させても構わない。
【００３８】
再び図１に戻って、撮像装置１の説明を続ける。
【００３９】
演算部３０は、固体撮像素子２０によって出力された撮像信号を用いて、被写体に係る被写体情報を演算する。
【００４０】
演算部３０は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、演算部３０は、ＦＰＧＡやＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。
【００４１】
演算部３０は、例えば、固体撮像素子２０の第１画素２１からの撮像信号を用いて行うＴＯＦ測距方式により、被写体までの距離を算出する。
【００４２】
以下、図面を参照しながら、演算部３０が行うＴＯＦ測距方式による被写体までの距離の算出について説明する。
【００４３】
図３は、演算部３０が、ＴＯＦ測距方式を用いて行う被写体までの距離の算出を行う際における、光源１０の発光素子の発光タイミングと、固体撮像素子２０の第１画素２１の露光タイミングとの関係を示すタイミング図である。
【００４４】
図３において、Ｔｐは光源１０の発光素子が照射光を発光する発光期間であり、Ｔｄは、光源１０の発光素子が照射光を発光してから、その照射光が被写体により反射した反射光が、固体撮像素子２０に戻ってくるまでの遅延時間である。そして、第１露光期間は、光源１０が照射光を発光する発光期間と同じタイミングとなっており、第２露光期間は、第１露光期間の終了時点から、発光期間Ｔｐが経過するまでのタイミングとなっている。
【００４５】
図３において、ｑ１は、第１露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示し、ｑ２は、第２露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示す。
【００４６】
光源１０の発光素子による照射光の発光と、固体撮像素子２０の第１画素２１による露光とを、図３に示されるタイミングで行うことで、被写体までの距離ｄは、光速をｃとして、次式（式１）で表すことができる。
【００４７】
ｄ＝ｃ×Ｔｐ／２×ｑ１／（ｑ１＋ｑ２）                      …式１
【００４８】
このため、演算部３０は、式１を利用することで、固体撮像素子２０の第１画素２１からの撮像信号を用いて、被写体までの距離を算出することができる。
【００４９】
再び図１に戻って、撮像装置１の説明を続ける。
【００５０】
演算部３０は、例えば、固体撮像素子２０の第２画素２２からの撮像信号を用いて、被写体の検知、及び被写体までの距離の算出を行う。
【００５１】
すなわち、演算部３０は、第１の時刻において、固体撮像素子２０の複数の第２画素２２によって撮像された第１可視光画像と、第２の時刻において、固体撮像素子２０の複数の第２画素２２によって撮像された第２可視光画像とを比較し、これら可視光画像間の差分に基づいて、被写体の検知、及び被写体までの距離の算出を行う。ここで、被写体の検知は、例えば、被写体の特異点のエッジ検出によりパターン認識で形状の判別を行なうことで実現してもよい。また、被写体までの距離の算出は、世界座標変換を用いて行ってもよい。
【００５２】
演算部３０が行う他の演算例については、後述する。
【００５３】
制御部４０は、発光するタイミングを示す発光信号と、露光するタイミングを示す露光信号とを生成する。そして、制御部４０は、生成した発光信号を光源１０へ出力し、生成した露光信号を固体撮像素子２０へ出力する。
【００５４】
制御部４０は、例えば、所定の周期で光源１０を発光させるように発光信号を生成して出力し、所定の周期で固体撮像素子２０を露光させるように露光信号を生成して出力することで、撮像装置１に、所定のフレームレートによる連続撮像を実現させてもよい。
【００５５】
制御部４０は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、制御部４０は、ＦＰＧＡやＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されても構わない。
【００５６】
拡散板５０は、照射光の角度を調整する。
【００５７】
レンズ６０は、撮像装置１の外部から入る光を、固体撮像素子２０の画素アレイ２の表面に集光する光学レンズである。
【００５８】
バンドパスフィルタ７０は、反射光である近赤外線光と、可視光とを透過させる光学フィルタである。
【００５９】
上記構成の撮像装置１は、輸送機器に搭載されて利用される。以下では、撮像装置１は、路面を走行する車両に搭載されて利用されるとして説明するが、撮像装置１が搭載される輸送機器は、必ずしも車両に限定される必要はない。撮像装置１は、例えば、オートバイ、ボート、飛行機等といった、車両以外の輸送機器に搭載されて利用されても構わない。
【００６０】
なお、演算部３０は、上述したＴＯＦ測距方式により算出する被写体までの距離と比べて、その精度は低下してしまうものの、固体撮像素子２０の第１画素２１からの撮像信号を用いずに、被写体までの距離を算出することも可能である。
【００６１】
図４は、撮像装置１が、車両１００に搭載されて利用される一例を示すブロック図である。
【００６２】
図４に示されるように、撮像装置１は、例えば、車両１００に搭載されるＡＤＡＳ（Advanced Driver Assistance System）／ＡＤ−ＥＣＵ（Automated Driving - Engine Control Unit）１１０に接続されて利用される。
【００６３】
ＡＤＡＳ／ＡＤ−ＥＣＵ１１０は、車両１００に搭載される、撮像装置１、及びセンサ１２Ａ〜１２Ｃからの信号を利用して、車両１００の自動運転を制御するシステムであって、車両の位置を特定するロケイタ部１１１、及び、ブレーキ、ハンドル、エンジン等を制御するコントロール部１１２等を含む。
【００６４】
撮像装置１は、車両１００の様々な位置に搭載され得る。例えば、撮像装置１は、車両１００の前面中央部、すなわち、両ヘッドライト間の中央部に搭載され、車両１００の前方をその撮像領域とすることができる。
【００６５】
図５Ａは、撮像装置１が、車両１００の前方監視用に、車両１００の前面中央部に搭載された場合において、外部環境が、晴れの日の昼間といった、可視光による撮像距離の方が、反射光による撮像距離よりも長いときにおける、撮像装置１の撮像領域の一例を模式的に示す側面図である。
【００６６】
図５Ａにおいて、第１領域１１０は、少なくとも第１画素２１で撮像する領域である。すなわち、第１領域１１０は、光源１０から照射された照射光が被写体により反射し、反射した反射光が、固体撮像素子２０に到達し得る領域である。
【００６７】
図５Ａにおいて、第２領域１２０は、第２画素２２で撮像する領域である。すなわち、第２領域１２０は、可視光である環境光が、固体撮像素子２０に到達し得る領域である。
【００６８】
図５Ａに示される例では、車両１００の垂直方向における照射光の照射角度は、拡散板５０により適切に調整されることで、車両１００の垂直方向における撮像領域の画角よりも狭くなっている。例えば、車両１００の垂直方向における照射光の照射角度は２０度程度であってよく、車両１００の垂直方向における撮像領域の画角は３０度程度であってよい。
【００６９】
このように、照射光の照射範囲を、撮像領域の画角よりも狭く調整することで、光源１０の発する有限エネルギーの照射光を、特に着目したい範囲内に絞って照射することができる。これにより、その着目したい範囲内における、反射光の到達距離を、照射光を絞らない場合にくらべて、より長くすることができる。
【００７０】
図５Ａに示されるように、可視光による撮像距離の方が、反射光による撮像距離よりも長くなる外部環境の場合には、第１領域１１０よりも遠方側に第２領域１２０が存在する。すなわち、このような外部環境の場合には、第２領域１２０は、他方となる第１領域１１０の周囲に備わる。
【００７１】
また、第１領域１１０は、図５Ａに示されるように、第１ａ領域１１０ａと、第１ｂ領域１１０ｂとからなる。
【００７２】
第１ａ領域１１０ａは、第１領域１１０のうち、路面１３０（基準面）からの反射光、及び路面１３０よりも仰角方向上方の被写体からの反射光が、固体撮像素子２０に到達し得る領域である。
【００７３】
第１ｂ領域１１０ｂは、第１領域１１０のうち、路面１３０よりも仰角方向上方の被写体からの反射光が、固体撮像素子２０に到達し得るが、路面からの反射光が、固体撮像素子２０に到達しない領域である。
【００７４】
また、第２領域１２０は、図５Ａに示されるように、第２ａ領域１２０ａと、第２ｂ領域１２０ｂとからなる。
【００７５】
第２ａ領域１２０ａは、第２領域１２０のうち、第１ａ領域１１０ａと第１ｂ領域１１０ｂとの境界面よりも仰角方向上方側の領域である。
【００７６】
第２ｂ領域１２０ｂは、第２領域１２０のうち、第１ａ領域１１０ａと第１ｂ領域１１０ｂとの境界面よりも仰角方向下方側の領域である。
【００７７】
図５Ｂは、撮像装置１が、車両１００の前方監視用に、車両１００の前面中央部に搭載された場合において、反射光による撮像距離の方が、可視光による撮像距離よりも長い場合（一例として、外部環境が、夜間、雨天、濃霧時等の場合）における、撮像装置１の撮像領域の一例を模式的に示す側面図である。
【００７８】
図５Ｂに示されるように、反射光による撮像距離の方が、可視光による撮像距離よりも長くなる外部環境の場合には、第２領域１２０よりも遠方側に第１領域１１０が存在する。すなわち、このような外部環境の場合には、第１領域１１０は、他方となる第２領域１２０の周囲に備わる。
【００７９】
図５Ａ、図５Ｂで説明したように、第２領域１２０は外部要因（一例として外部環境）により、その範囲が変化し得る。また、同様に、第１領域１１０は、外部要因（一例として外部環境）により、その範囲が変化し得る。
【００８０】
撮像装置１は、図５Ａ、図５Ｂで示されるように、車両１００の前方監視用に利用される場合に限定されない。例えば、車両１００の後方監視用にも利用されても構わない。すなわち、撮像装置１は、例えば、車両の背面中央部、すなわち、両テールライト間の中央部に搭載され、車両１００の後方をその撮像領域とすることもできる。
【００８１】
図６は、撮像装置１が、車両１００の後方監視用に、車両１００の背面中央部に搭載された場合において、外部環境が、晴れの日の昼間といった、可視光による撮像距離の方が、反射光による撮像距離よりも長いときにおける、撮像装置１の撮像領域の一例を模式的に示す側面図である。
【００８２】
図７Ａは、撮像装置１が、車両１００の前方監視用に、車両１００の前面中央部に搭載された場合において、可視光による撮像距離の方が、反射光による撮像距離よりも長い場合（一例として、外部環境が、晴れの日の昼間等の場合）における、撮像装置１の撮像領域の一例を模式的に示す平面図である。
【００８３】
図７Ａで示される例では、車両の水平方向における第１領域１１０の角度は、車両の水平方向における第２領域１２０の角度と略等しくなっている。すなわち、車両１００の水平方向における照射光の照射角度は、拡散板５０により適切に調整されることで、車両１００の水平方向における撮像領域の画角と略等しくなっている。例えば、車両１００の水平方向における照射光の照射角度は９０度程度であってよく、車両１００の水平方向における撮像領域の範囲は９０度程度であってよい。
【００８４】
このように、車両１００の水平方向における照射光の照射角度を、車両１００の水平方向における撮像領域の画角と略等しくすることで、車両の水平方向における画角一杯までの範囲の被写体を、第１画素２１で撮像することができる。
【００８５】
なお、車両１００の水平方向における照射光の照射角度を、車両１００の水平方向における撮像領域の画角と異ならせても良い。一例として、車両の水平方向における画角一杯までの範囲の被写体を、より確実に第１画素２１で撮像することができるように、車両１００の水平方向における照射光の照射角度を、車両１００の水平方向における撮像領域の画角よりも広くしても構わない。例えば、車両１００の水平方向における撮像領域の範囲は９０度程度である場合に、車両１００の水平方向における照射光の照射角度は９２度程度であってよい。
【００８６】
さらに、撮像装置１は、車両１００の斜方監視用にも利用されても構わないし、車両１００の側方監視用として利用されても構わない。
【００８７】
なお、図７Ａは、車両１００の緊急ブレーキ制御を行うための複数のセンシング装置の一つとして用いられることがより好ましい。
【００８８】
さらに、図７Ａは、後述する図７Ｂ及び図７Ｃの場合よりも、遠距離を測定するセンシング装置として用いられることがより好ましい。
【００８９】
図７Ｂは、撮像装置１が、車両１００の斜方監視用に、車両１００のヘッドライト付近に搭載された場合において、可視光による撮像距離の方が、反射光による撮像距離よりも長い場合（一例として、外部環境が、晴れの日の昼間等の場合）における、撮像装置１の撮像領域の一例を模式的に示す平面図である。
【００９０】
図７Ｃは、撮像装置１が、車両１００の側方監視用に、車両１００のドアミラー側面に搭載された場合において、可視光による撮像距離の方が、反射光による撮像距離よりも長い場合（一例として、外部環境が、晴れの日の昼間等の場合）における、撮像装置１の撮像領域の一例を模式的に示す平面図である。
【００９１】
なお、図７Ｂ及び図７Ｃは、車両１００の自動運転制御を行うための複数のセンシング装置の一つとして用いられることがより好ましい。
【００９２】
さらに、図７Ｂ及び図７Ｃは、図７Ａの場合よりも、短距離から中距離を測定するセンシング装置として用いられることがより好ましい。
【００９３】
特に、撮像装置１を、車両１００の斜方監視用、又は側方監視用に利用する場合には、車両１００の水平方向における照射光の照射角度と、車両１００の水平方向における撮像領域の画角と略等しくすることが好ましい。
【００９４】
図８は、第１領域１１０と第２領域１２０との関係が、図５Ａ、図７Ａで示される関係である場合において、撮像装置１が、路面１３０を撮像する様子の一例を示す模式図であって、撮像装置１の撮像視点による模式図である。
【００９５】
図８に示されるように、車両１００の垂直方向において、第２領域１２０は、撮像画像の画角上端から画角下端まで存在しているが、第１領域１１０は、撮像画像の画角上端よりも下方から画角下端よりも上方に限って存在している。
【００９６】
一方で、図８に示されるように、車両１００の水平方向において、第１領域１１０と第２領域１２０との双方は、撮像画像の左端から右端まで存在している。
【００９７】
図８において、第２ｃ領域１２０ｃは、第２ａ領域１２０ａ内でかつ第１ａ領域１１０ａ外の領域のうち、反射光が固体撮像素子２０に到達する可能性がある領域であるが、反射光の到達が不安定となる領域である。このため、演算部３０は、第２ｃ領域１２０ｃに該当する第１画素２１からの撮像信号を、演算部３０が行う演算において利用しない。
【００９８】
また、図８において、第２ｄ領域１２０ｄは、第２ｂ領域１２０ｂ内でかつ第１ｂ領域１１０ｂ外の領域のうち、反射光が固体撮像素子２０に到達する可能性がある領域であるが、反射光の到達が不安定となる領域である。このため、演算部３０は、第２ｃ領域１２０ｃと同様に、第２ｄ領域１２０ｄに該当する第１画素２１からの撮像信号を、演算部３０が行う演算において利用しない。
【００９９】
図９Ａ、図９Ｂは、第１領域１１０と第２領域１２０との関係が、図５Ａ、図７Ａで示される関係である場合において、撮像装置１が、第１時刻と、第１時刻よりも後の第２時刻とにおいて、路面１３０を走行中の他の車両２００を撮像する様子の一例を示す模式図であって、撮像装置１の撮像視点による模式図である。
【０１００】
図９Ａ、図９Ｂにおいて、車両２００ａ、車両２００ｃは、第１時刻において撮像される他の車両２００であり、車両２００ｂ、車両２００ｄは、第１時刻よりも後の時刻である第２時刻において撮像される他の車両２００である。
【０１０１】
図９Ａ、図９Ｂで示される例は、第１時刻から時間が経過して第２時刻になる間に、車両１００と他の車両２００との距離が接近するシーンに対応する例となっている。但し、他の車両２００までの距離は、図９Ａで示される例と、図９Ｂで示される例とで異なっている。
【０１０２】
図９Ａに示される例において、他の車両２００ａは、第１領域１１０内でかつ第２領域１２０内に存在している。
【０１０３】
このため、演算部３０は、第２領域１２０からの情報、すなわち、第１時刻における第２画素２２からの撮像信号に基づいて、被写体である他の車両２００ａの検知を行い、かつ、第１領域１１０からの情報、すなわち、第１時刻における第１画素２１からの撮像信号に基づいて、ＴＯＦ測距方式により、被写体である他の車両２００ａまでの距離を、比較的精度良く算出する。
【０１０４】
一方、図９Ａに示される例において、他の車両２００ｂは、第１領域１１０外でかつ第２領域１２０内に存在している。
【０１０５】
このため、演算部３０は、第２領域１２０からの情報、すなわち、第２時刻における第２画素２２からの撮像信号に基づいて、被写体である他の車両２００ｂの検知を行う一方で、第１領域１１０からの情報、すなわち、第１画素２１からの撮像信号に基づく、ＴＯＦ測距方式による、被写体である他の車両２００ｂまでの距離を算出しない。替わりに、演算部３０は、第２領域１２０からの情報、すなわち、第２画素２２からの撮像信号に基づいて、ＴＯＦ測距方式によらず、被写体である他の車両２００ｂまでの距離を算出する。
【０１０６】
そして、演算部３０は、第１時刻における第１領域１１０からの情報と、第２時刻における第２領域１２０からの情報とを関連付ける。より具体的には、演算部３０は、第１時刻における車両２００ａの検知結果と、第２時刻における車両２００ｂの検知結果を比較して、車両２００ａと車両２００ｂとが同一の車両２００であると判定する場合に、第１時刻における、ＴＯＦ測距方式により算出された他の車両２００ａまで距離を示す情報と、第２時刻における、車両２００ｂの検知結果とを関連付ける（紐付けする）。
【０１０７】
そして、演算部３０は、第２領域における被写体までの距離を推定する。より具体的には、演算部３０は、第１時刻における、ＴＯＦ測距方式により算出された他の車両２００ａまで距離を示す情報と、第２時刻における、他の車両２００ｂの検知結果と、第２時刻における、ＴＯＦ測距方式によらず算出された他の車両２００ｂまでの距離を示す情報とに基づいて、第２時刻における車両２００ｂまでの距離を推定する。
【０１０８】
これにより、演算部３０は、第２時刻による車両２００ｂまでの距離を、第２時刻における第２画素２２からの撮像信号のみに基づいて算出する場合よりも、より精度良く推定し得る。
【０１０９】
図９Ｂに示される例において、他の車両２００ｃは、第１領域１１０外でかつ第２領域１２０内に存在している。
【０１１０】
このため、演算部３０は、第２領域１２０からの情報、すなわち、第１時刻における第２画素２２からの撮像信号に基づいて、被写体である他の車両２００ｃの検知と、ＴＯＦ測距方式によらない、被写体である他の車両２００ｃまでの距離の算出とを行う。
【０１１１】
つまり、図９Ａで示される例において、被写体は、輸送機器が走行する路面上に存在する物体（車両２００ａまたは車両２００ｂ）であり、固体撮像素子２０は、撮像を逐次行い、上述の物体が、第１時刻に第１領域１１０で撮像され、第１時刻から一定期間経過後となる第２時刻に第２領域１２０が撮像される場合に、第２時刻における被写体（車両２００ｂ）情報の演算に、第１時刻における上述の物体（車両２００ａ）までの距離に係る情報を用いる。
【０１１２】
一方、図９Ｂに示される例において、他の車両２００ｄは、第１領域１１０内でかつ第２領域１２０内に存在している。
【０１１３】
このため、演算部３０は、第２領域１２０からの情報、すなわち、第２時刻における第２画素２２からの撮像信号に基づいて、被写体である他の車両２００ｄの検知を行い、かつ、第１領域１１０からの情報、すなわち、第２時刻における第１画素２１からの撮像信号に基づいて、ＴＯＦ測距方式により、被写体である他の車両２００ｄまでの距離を、比較的精度良く算出する。但し、演算部３０は、上記検知と上記算出とを、第１時刻における他の車両２００ｃの検知結果にも基づいて行う。
【０１１４】
すなわち、演算部３０は、例えば、第１時刻における他の車両２００ｃの検知結果に基づいて、上記検知と上記算出とを、その探索範囲を一部の領域に限定して行う。
【０１１５】
これにより、演算部３０は、上記検知と上記算出とを、車両２００ｃの検知結果に基づくことなく行う場合よりも、より短時間で実現し得る。
【０１１６】
また、演算部３０は、例えば、第１時刻における他の車両２００ｃの検出結果と、第２時刻における第２画素２２からの撮像信号とに基づいて、第２時刻における他の車両２００ｄの検知を行う。
【０１１７】
これにより、演算部３０は、第２時刻における他の車両２００ｄの検知を、第１時刻における他の車両２００ｃの検知結果に基づくことなく行う場合よりも、より精度良く実現し得る。
【０１１８】
つまり、図９Ｂで示される例において、被写体は、輸送機器が走行する路面上に存在する物体（車両２００ｃまたは車両２００ｄ）であり、固体撮像素子２０は、撮像を逐次行い、上述の物体が、第１時刻に第２領域１２０で撮像され、第１時刻から一定期間経過後となる第２時刻に第１領域１１０が撮像される場合に、第２時刻における被写体（車両２００ｄ）情報の演算に、第１時刻における前記物体（車両２００ｃ）の外観に係る情報を用いる。
【０１１９】
以上、図９Ａ、図９Ｂを用いて説明したように、第１時刻から第２時刻の経過において、被写体（車両２００ａ〜２００ｄ）の位置が（１）第１領域１１０から第２領域１２０に変わる場合、（２）第２領域１２０から第１領域１１０に変わる場合、のいずれの場合においても、第１時刻における第１領域１１０又は第２領域１２０からの情報と、第１時刻とは異なる第２時刻における他方となる前記第２領域１２０又は第１領域１１０からの情報とを関連付けを行うことにより、第２時刻時における被写体のセンシング（測距、検知、等）を、短時間に、かつ／または、精度良く行うことが出来る。
【０１２０】
図１０は、第１領域１１０と第２領域１２０との関係が、図５Ａ、図７Ａで示される関係である場合において、撮像装置１が、路面１３０を撮像する様子の一例を示す模式図であって、撮像装置１の撮像視点による模式図である。すなわち、図１０に示す例は、図８に示す例と同様のシーンに対応する図面になっている。しかしながら、図１０は、演算部３０の動作をより分かりやすく説明するために、その図示内容の一部を、図８において図示する内容とは一部異なる方法で図示している。
【０１２１】
図１０で示される例において、路面１３０の路肩を示す路肩境界線１４０は、第１ａ領域１１０ａに含まれる路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂと、第１ａ領域１１０ａに含まれない路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆとを含んでいる。
【０１２２】
上述したように、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂは、第１ａ領域１１０ａに含まれる。このため、演算部３０は、第２領域１２０からの情報、すなわち、第２画素２２からの撮像信号に基づいて、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）の検知を行い、かつ、第１ａ領域１１０ａからの情報、すなわち、第１画素２１からの撮像信号に基づいて、ＴＯＦ測距方式により、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）までの距離を、比較的精度良く算出する。
【０１２３】
これにより、演算部３０は、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）についての、外観、及び傾きを算出することができる。
【０１２４】
一方、上述したように、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆは、第１ａ領域１１０ａに含まれない。このため、演算部３０は、第２領域１２０からの情報、すなわち、第２画素２２からの撮像信号に基づいて、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の検知を行う一方で、第１ａ領域１１０ａからの情報、すなわち、第１画素２１からの撮像信号に基づく、ＴＯＦ測距方式による、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）までの距離を算出しない。替わりに、演算部３０は、第２領域１２０からの情報、すなわち、第２画素２２からの撮像信号に基づいて、ＴＯＦ測距方式によらず、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）までの距離を算出する。
【０１２５】
そして、演算部３０は、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）についての外観を算出する一方で、第１ａ領域１１０ａからの情報と、第２領域１２０からの情報とを関連付ける。より具体的には、演算部３０は、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）の検知結果と、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の検知結果とを比較して、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）と、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）とが、同一の路肩境界線１４０における路面１３０（すなわち、路肩領域）の一部であると判定する場合に、ＴＯＦ測距方式により算出された、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）までの距離を示す情報と、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の検知結果とを関連付ける（紐付ける）。
【０１２６】
そして、演算部３０は、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の傾きを推定する。より具体的には、演算部３０は、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）についての、外観、及び傾きと、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の外観とから、路肩形状の連続性を推定し、推定した路肩形状の連続性に基づいて、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の傾きを推定する。
【０１２７】
これにより、演算部３０は、第１ａ領域１１０ａ以外の領域における路面１３０の傾きを、第２画素２２からの撮像信号のみに基づいて算出する場合よりも、より精度良く推定し得る。
【０１２８】
つまり、被写体が、第１領域１１０と第２領域１２０に連続して備わる物体（路肩境界線１４０）である場合、第２領域１２０における被写体情報の演算に、第１領域１１０の演算結果を関連付ける。
【０１２９】
または、被写体が、第１領域１１０と第２領域１２０に連続して備わる物体（路肩境界線１４０）である場合、第１ａ領域１１０ａ以外の領域（第２領域１２０、第１ｂ領域１１０ｂ）における被写体情報の演算に、第１ａ領域１１０ａの演算結果を関連付ける。
【０１３０】
また、撮像装置１は、例えば、第１画素２１による撮像と第２画素２２による撮像とを、所定のフレームレートにおける互いにずれたタイミングで行い、第１画素２１による撮像信号（以下、「ＩＲ撮像信号」とも呼ぶ。）の出力と第２画素２２による撮像信号（以下、「Ｗ撮像信号とも呼ぶ」）の出力とを、上記所定のフレームレートにおける互いにずれたタイミングで行う構成であっても構わない。
【０１３１】
図１１は、撮像装置１が上記構成である場合における、ＩＲ撮像信号の出力順と、Ｗ撮像信号の出力順との関係の一例を示す模式図である。
【０１３２】
さらに、撮像装置１は、例えば、ＩＲ撮像信号を、Ｗ撮像信号で補間する構成であっても構わない。
【０１３３】
図１２Ａは、撮像装置１が上記構成である場合における、ＩＲ撮像信号の出力順と、Ｗ撮像信号でＩＲ撮像信号を補完することで得られる撮像信号（以下、「ＩＲ補間撮像信号」とも呼ぶ。）の出力順との関係の一例を示す模式図である。
【０１３４】
図１２Ａにおいて、ＩＲ補間撮像信号ａ５００ａは、Ｗ撮像信号ａ４００ａに基づいて生成される、ＩＲ撮像信号ａ３００ａとＩＲ撮像信号ｂ３００ｂとの間を補完するＩＲ補間撮像信号である。ＩＲ補間撮像信号ｂ５００ｂは、Ｗ撮像信号ｂ４００ｂに基づいて生成される、ＩＲ撮像信号ｂ３００ｂとＩＲ撮像信号ｃ３００ｃとの間を補完するＩＲ補間撮像信号である。ＩＲ補間撮像信号ｃ５００ｃは、Ｗ撮像信号ｃ４００ｃに基づいて生成される、ＩＲ撮像信号ｃ３００ｃとＩＲ撮像信号ｄ（図示されず）との間を補完するＩＲ補間撮像信号である。
【０１３５】
図１２Ａに示されるように、上記構成の撮像装置１は、実質的に、ＩＲ撮像信号の出力フレームレートを高めることができる。これにより、上記構成の撮像装置１は、被写体の測距精度、及び／又は被写体の検知精度を、さらに向上し得る。
【０１３６】
また、撮像装置１は、例えば、ＩＲ補間撮像信号（例えば、ＩＲ補間撮像信号ａ５００ａ）を生成する際に、対応するＷ撮像信号（例えば、Ｗ撮像信号ａ４００ａ）に加えて、その前後のＩＲ撮像信号（例えば、ＩＲ撮像信号ａ３００ａとＩＲ撮像信号ｂ３００ｂと）にも基づいて生成する構成であっても構わない。これにより、上記構成の撮像装置１は、より精度良くＩＲ補間撮像信号を生成することができるようになる。
【０１３７】
さらに、撮像装置１は、例えば、Ｗ撮像信号を、ＩＲ撮像信号で補間する構成であっても構わない。
【０１３８】
図１２Ｂは、撮像装置１が上記構成である場合における、Ｗ撮像信号の出力順と、ＩＲ撮像信号でＷ撮像信号を補完することで得られる撮像信号（以下、「Ｗ補間撮像信号」とも呼ぶ。）の出力順との関係の一例を示す模式図である。
【０１３９】
図１２Ｂにおいて、Ｗ補間撮像信号ｂ６００ｂは、ＩＲ撮像信号ｂ３００ｂに基づいて生成される、Ｗ撮像信号ａ４００ａとＷ撮像信号ｂ４００ｂとの間を補完するＷ補間撮像信号である。Ｗ補間撮像信号ｃ６００ｃは、ＩＲ撮像信号ｃ３００ｃに基づいて生成される、Ｗ撮像信号ｃ４００ｂとＷ撮像信号ｃ４００ｃとの間を補完するＷ補間撮像信号である。
【０１４０】
図１２Ｂに示されるように、上記構成の撮像装置１は、実質的に、Ｗ撮像信号の出力フレームレートを高めることができる。これにより、上記構成の撮像装置１は、被写体の測距精度、及び／又は被写体の検知精度を、さらに向上し得る。
【０１４１】
また、撮像装置１は、例えば、Ｗ補間撮像信号（例えば、Ｗ補間撮像信号ｂ６００ｂ）を生成する際に、対応するＩＲ撮像信号（例えば、ＩＲ撮像信号ｂ３００ｂ）に加えて、その前後のＷ撮像信号（例えば、Ｗ撮像信号ａ４００ａとＷ撮像信号ｂ４００ｂと）にも基づいて生成する構成であっても構わない。これにより、上記構成の撮像装置１は、より精度良くＷ補間撮像信号を生成することができるようになる。
【０１４２】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態について説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
【０１４３】
（１）本開示において、演算部３０、及び制御部４０は、マイクロプロセッサ等の演算処理装置によって実現される構成の例であるとして説明した。しかしながら、演算部３０、及び制御部４０は、上記実現例と同等の機能を有していれば、必ずしも上記実現例通りに実現される構成の例に限定される必要はない。例えば、演算部３０、及び制御部４０は、演算部３０、及び制御部４０を構成する構成要素の一部又は全部が、専用回路によって実現される構成の例であっても構わない。
【０１４４】
（２）撮像装置１における各構成要素は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０１４５】
（３）上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
【産業上の利用可能性】
【０１４６】
本発明は、被写体を撮像する撮像装置に広く利用可能である。
【符号の説明】
【０１４７】
１  撮像装置
１０  光源
２０  固体撮像素子
２１  第１画素
２２  第２画素
３０  演算部
４０  制御部
５０  拡散板
１１０  第１領域
１１０ａ  第１ａ領域
１１０ｂ  第１ｂ領域
１２０  第２領域
１２０ａ  第２ａ領域
１２０ｂ  第２ｂ領域
【図１】
0006541119.tif 000002
【図２】
0006541119.tif 000003
【図３】
0006541119.tif 000004
【図４】
0006541119.tif 000005
【図５Ａ】
0006541119.tif 000006
【図５Ｂ】
0006541119.tif 000007
【図６】
0006541119.tif 000008
【図７Ａ】
0006541119.tif 000009
【図７Ｂ】
0006541119.tif 000010
【図７Ｃ】
0006541119.tif 000011
【図８】
0006541119.tif 000012
【図９Ａ】
0006541119.tif 000013
【図９Ｂ】
0006541119.tif 000014
【図１０】
0006541119.tif 000015
【図１１】
0006541119.tif 000016
【図１２Ａ】
0006541119.tif 000017
【図１２Ｂ】
0006541119.tif 000018