(57)【要約】  撮像装置は、対象物からの反射光を露光し信号電荷として蓄積する固体撮像素子（１０６）と、赤外光源（１０３）からの照射と固体撮像素子（１０６）の露光を制御する制御演算装置（１０７）とを備え、固体撮像素子（１０６）は、対象物からの反射光を信号電荷に変換する複数の光電変換部（４）と、信号電荷を蓄積する複数の電荷蓄積部と、を備え、撮像装置は、照射および露光を制御するためのｍ種類（ｍは４以上の整数）の露光シーケンスを１フレーム期間内に行い、ｍ種類の露光シーケンスに排他的に電荷蓄積部を割り当て、ｍ種類の露光シーケンスのうち少なくとも１種類の露光シーケンスにおいて、ｎ個（ｎは３以上の整数）の光電変換部（４）から得られる信号電荷を、電荷蓄積部に蓄積する。
2020121705.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
対象物に対して光を照射する光源と、
前記対象物からの反射光を露光し信号電荷として蓄積する固体撮像素子と、
前記光源からの照射と前記固体撮像素子の露光を制御する制御部と、を備え、
前記固体撮像素子は、
前記対象物からの反射光を前記信号電荷に変換する複数の光電変換部と、
前記信号電荷を蓄積する複数の電荷蓄積部と、を備え、
前記撮像装置は、前記照射および露光を制御するためのｍ種類（ｍは４以上の整数）の露光シーケンスを１フレーム期間内に行い、
前記ｍ種類の露光シーケンスに排他的に電荷蓄積部を割り当て、
前記ｍ種類の露光シーケンスのうち少なくとも１種類の露光シーケンスにおいて、ｎ個（ｎは３以上の整数）の前記光電変換部から得られる前記信号電荷を、前記電荷蓄積部に蓄積する
撮像装置。
【請求項２】
前記撮像装置は、前記少なくとも１種類の露光シーケンスを１フレーム期間内に繰り返し行う
請求項１に記載の撮像装置。
【請求項３】
前記撮像装置は、前記ｎ個の前記光電変換部の組合せと１個の前記電荷蓄積部とを対応させ、前記ｎ個の前記光電変換部から得られる前記信号電荷を、対応する前記電荷蓄積部に蓄積する
請求項１または２に記載の撮像装置。
【請求項４】
前記撮像装置は、前記少なくとも１種類の露光シーケンスにおいて、前記ｎ個の前記光電変換部から得られる前記信号電荷を加算して対応する前記電荷蓄積部に蓄積する
請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記ｍ種類の露光シーケンスは、互いに
前記光源からの照射強度、照射時間、照射波長、および前記固体撮像素子の露光期間のうち少なくとも１つが異なる
請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像装置は、ｋ種類（ｋは１以上の整数）の前記露光シーケンス毎に、前記ｎ個の光電変換部の組合せを変更する
請求項１から４のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像装置は、前記ｍ種類の露光シーケンスの繰り返し回数を、前記光源からの照射強度、照射時間、照射波長、および前記固体撮像素子の露光期間に基づいて設定する
請求項２に記載の撮像装置。
【請求項８】
前記撮像装置は、フレーム毎に前記信号電荷の加算を行う前記ｎ個の光電変換部の組合せを変更する
請求項１から６のいずれか１項に記載の撮像装置。
【請求項９】
前記ｍは５または６であり、
前記複数の光電変換部は行列上に配置され、
前記撮像装置は、５または６種類からなる前記露光シーケンスを１フレーム期間にそれぞれ複数回繰り返し、
前記ｎ個の光電変換部は、２行２列に配置された４個の前記光電変換部の組合せである、
請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記撮像装置はＴＯＦ（Time Of Flight）型の測距装置であり、
前記撮像装置は、前記ｍ種類の露光シーケンスのうち、少なくとも２種類の露光シーケンスにおいて前記電荷蓄積部に蓄積された前記信号電荷を用いて対象物までの距離を算出する距離算出部を備える
請求項５に記載の撮像装置。
【請求項１１】
前記ｍ種類の露光シーケンスは、長露光シーケンスと短露光シーケンスとを含み、
前記長露光シーケンスは、前記短露光シーケンスよりも、前記光源からの照射時間と前記固体撮像素子の露光期間がそれぞれ長く設定され、
前記距離算出部は、前記ｍ種類の露光シーケンスに基づいて対象物までの距離を少なくとも２種類算出する
請求項１０に記載の撮像装置。
【請求項１２】
前記撮像装置はＴＯＦ型の測距装置であり、
前記光電変換部は行列上に配置され、
前記ｍ種類の露光シーケンスは、第１から第３の長露光シーケンス、および、第１から第３の短露光シーケンスを含み、
前記第１から第３の長露光シーケンスにおける前記光源からの照射時間および前記固体撮像素子の露光期間はそれぞれ、前記第１から第３の短露光シーケンスよりも長く、
前記第２の長露光シーケンスにおける露光期間は、前記第１の長露光シーケンスにおける露光期間と異なり、
前記第２の短露光シーケンスにおける露光期間は、前記第１の短露光シーケンスにおける露光期間と異なり、
前記第３の長露光シーケンスおよび前記第３の短露光シーケンスは、前記光源からの照射による反射光成分を含まない背景光を露光し、
前記第１から第３の長露光シーケンス、および、第１から第３の短露光シーケンスを１フレーム期間内にそれぞれ複数回繰り返し、
前記ｎ個の光電変換部は、２行２列からなる４個の前記光電変換部であり、
前記第１から第３の長露光シーケンスにおいて蓄積した前記信号電荷、および、前記第１から第３の短露光シーケンスにおいて加算蓄積した前記信号電荷のそれぞれを用いて対象物までの距離を２種類算出する距離算出部を備える
請求項１から９のいずれか１項に記載の撮像装置。
【請求項１３】
前記第３の長距離シーケンスおよび前記第３の短距離シーケンスにおいて、前記光源からの照射を行い、反射光が消滅した後の期間を前記露光期間とする
請求項１２に記載の撮像装置。
【請求項１４】
前記長露光シーケンス、または、前記第１から第３の長露光シーケンスより算出した距離を、前記短露光シーケンス、または、前記第１から第３の短露光シーケンスより算出した距離を用いて補正する距離補正部を備える
請求項１１または１２に記載の撮像装置。
【請求項１５】
前記長露光シーケンス、または、前記第１から第３の長露光シーケンスより算出した距離の一部と、
前記短露光シーケンス、または、前記第１から第３の短露光シーケンスより算出した距離との差分が規定の範囲を超えた場合に異常を通知する異常通知部を備える
請求項１１または１２に記載の撮像装置。
【請求項１６】
前記短露光シーケンス、または、前記第１から第３の短露光シーケンスにおける露光期間を短露光期間とすると、
前記短露光期間は、フレーム毎に変更され、
前記短露光期間のフレーム毎の変更によって、前記短露光シーケンス、または、前記第１から第３の短露光シーケンスより算出される距離範囲は、前記長露光シーケンス、または、前記第１から第３の長露光シーケンスより算出される距離範囲の一部と重なるよう制限されたうえで走査される
請求項１１または１２に記載の撮像装置。
【請求項１７】
前記短露光シーケンス、または第１から第３の短露光シーケンスにおける露光期間は、過去フレームの前記第１から第３の長露光シーケンスより算出した距離に基づいて設定される
請求項１１または１２に記載の撮像装置。
【請求項１８】
前記撮像装置はＴＯＦ型の測距装置であり、
前記光電変換部は行列上に配置され、
前記ｍ種類の露光シーケンスは、第１の強露光シーケンス、第２の強露光シーケンス、第１の弱露光シーケンス、第２の弱露光シーケンスおよび背景露光シーケンスを含み、
前記第１の強露光シーケンスおよび第２の強露光シーケンスにおける光源の照射強度は、前記第１の弱露光シーケンスおよび第２の強露光シーケンスよりも強く、
前記第２の強露光シーケンスにおける露光期間は、前記第１の強露光シーケンスにおける露光期間と異なり、
前記第２の弱露光シーケンスにおける露光期間は、前記第１の弱露光シーケンスにおける露光期間と異なり、
前記背景露光シーケンスは、前記反射光を含まない背景光を露光し、
第１の強露光シーケンス、第２の強露光シーケンス、第１の弱露光シーケンス、第２の弱露光シーケンスおよび背景露光シーケンスを１フレーム期間内にそれぞれ複数回繰り返し、
前記ｎ個の光電変換部は、２行２列からなる４個の前記光電変換部であり、
前記ｎ個の光電変換部毎に前記第１の強露光シーケンスおよび第２の強露光シーケンスにおける信号電荷と、前記第１の弱露光シーケンスおよび第２の弱露光シーケンスにおける信号電荷の、いずれか一方、および、前記背景露光シーケンスにおける信号電荷を用いて距離を算出する距離算出部を備える
請求項１から９のいずれか１項に記載の撮像装置。
【請求項１９】
前記対象物からの反射光の強度が増加を開始してから増加が終了するまでの期間を立ち上がり期間とし、前記対象物からの反射光の強度が減少を開始してから減少が終了するまでの期間を立ち下がり期間としたとき、
前記ｍ種類の露光シーケンスにおいて、前記固体撮像素子の露光期間は、
前記立ち下がり期間を含まず前記立ち上がり期間の少なくとも一部を含む第１期間と、
前記立ち上がり期間を含まず前記立ち下がり期間の一部を含む第２期間とのいずれかと期間が一致するように設定される
請求項１から９のいずれか１項に記載の撮像装置。
【請求項２０】
前記ｍ種類の露光シーケンスは、互いに異なる照射波長の光を照射する露光シーケンスを含む
請求項１９に記載の撮像装置。
【請求項２１】
前記撮像装置は時間分解イメージングを応用した光散乱体内部の観測装置であり、
前記光電変換部は行列上に配置され、
前記ｍ種類の露光シーケンスは、第１から第３の長波長シーケンス、および、第１から第３の短波長シーケンスを含み、
前記第１から第３の長波長シーケンスにおける照射波長は、前記第１から第３の短波長シーケンスよりも長く、
前記第１の長波長シーケンスおよび前記第１の短波長シーケンスはそれぞれ、前記第１期間を露光期間とし、
前記第２の長波長シーケンスおよび前記第２の短波長シーケンスはそれぞれ、前記第２期間を露光期間とし、
前記第３の長波長シーケンスおよび前記第３の短波長シーケンスはそれぞれ、前記光源からの照射による反射光成分を含まない背景光を露光し、
前記第１から第３の長波長シーケンス、および、前記第１から第３の短波長シーケンスを１フレーム期間内にそれぞれ複数回繰り返し、
前記ｎ個の光電変換部は、２行２列からなる４個の前記光電変換部であり、
前記第１から第３長波長シーケンスにおいて蓄積した前記信号電荷、および前記第１から第３短波長シーケンスにおいて蓄積した前記信号電荷のそれぞれを用いて、光散乱体内部の構造及び状態を演算により求める演算部を備える
請求項１９または２０に記載の撮像装置。
【請求項２２】
前記第３の長波長シーケンスおよび前記第３の短波長シーケンスにおいて、前記光源からの照射を行い、反射光が消滅した後の期間を前記露光期間とする
請求項２１に記載の撮像装置。
【請求項２３】
前記演算部は、前記第１から第３の長波長シーケンスより撮像した結果と、前記第１から第３の短波長シーケンスより撮像した結果とを用いて、光散乱体深部の構造および状態と光散乱体表層部の構造及び状態とを求める
ことを特徴とする請求項２１または２２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、光源から光を照射し、反射光を電気信号に変換して出力する撮像装置に関する。
【背景技術】
【０００２】
障害物などの物体を検知する用途において、光源と対象物の間で光が往復する飛行時間を利用して測距を行うＴＯＦ（Time Of Flight）方式が用いられている。例えば、特許文献１では、対象物にパルス光を照射し、異なる２つの期間において反射光を測定し、それら反射光の比率から対象物までの距離を算出している。また、生体計測及び材料分析の分野では、対象物に光を照射し、対象物内部で拡散反射した光の情報から、対象物の内部情報を非接触で取得する方式が用いられている。例えば、特許文献２では、対象物にパルス光を照射し、反射光が増加する期間と減少する期間のそれぞれにおいて反射光を測定することで、対象物の浅部と深部の内部情報を取得している。【０００３】
一般に前記２つの方式における反射光の測定は、イメージセンサを用いて測定の対象となる期間Δｔだけ露光を行うことで実現している。即ち、反射光は行列状に配置された光電変換部（ＰＤ）で信号電荷に変換され、電荷蓄積部に蓄積される。なお、電荷蓄積部は、ＣＣＤ型のイメージセンサの場合は垂直転送部（ＶＣＣＤ）、ＭＯＳ型イメージセンサの場合は浮遊拡散容量（ＦＤ）により構成される。ここで期間Δｔは、測定にかかる光の移動距離ｚ＝ｃ×Δｔ（ｃは光速を表す）を決定し、前記２つの方式における測距精度、及び浅部と深部の内部情報の分離精度を左右するため、数ｐｓから十数ｎｓ程度の短時間であることが要求される。よって、測定に十分な信号電荷を得るためには、パルス光の照射と露光の組合せを１フレーム期間に複数回繰り返し、信号電荷の蓄積を行う必要がある。また、複数の異なる期間において反射光を測定するためには、各測定にかかる信号電荷を独立して蓄積させるだけの電荷蓄積部が必要となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００２−５００３６７号公報
【特許文献２】特許第６００８１４８号公報
【特許文献３】特開２０１８−９６９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記２つの方式において、反射光を測定する期間や、その他の条件を変えて追加の測定を行いたい場合がある。例えば、パルス光の照射にかかわらず入射する光（背景光）の影響を打ち消すために、パルス光を照射せずに測定を行い、これをパルス光照射時の測定結果から減算することがある。また、測定する期間を細分化することで、より精度の高い情報を取得することや、パルス光の強度や波長を変えることで測定対象の性質に応じた測定を行うことが考えられる。しかしながら、既に述べたように測定を行う期間または条件の追加は、各測定にかかる信号電荷を独立して蓄積するための機構の増加、即ち開口率の低下をもたらし、光電変換部から出力される信号電荷が減少する。加えて、１フレーム期間を複数の期間または条件で分割して露光するため、総じて各測定における信号電荷は大幅に減少する。したがって、これら信号電荷から算出される情報の精度も大幅に低下するという課題を有する。【０００６】
これらの課題に対し特許文献３では、垂直方向、または水平方向に隣接する２つの光電変換部から出力される信号電荷を加算して垂直転送部に蓄積することで、光電変換部４の１つ当りに必要な垂直転送部の相数を節約するとともに、分割露光において蓄積される信号電荷の増量を図っている。また、信号電荷を加算する光電変換部の組合せを偶数列と奇数列、または偶数行と奇数行で変えることで、信号電荷の加算による空間解像度の低下を緩和している。しかしながら、測定を行う期間または条件が４種類以上になると、信号電荷量が不十分になる。【０００７】
本開示の目的は、測定を行う期間または条件が４種類以上であっても十分な量の信号電荷を蓄積し、対象物の距離あるいは内部情報を高精度に算出するための撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本開示の一態様に係る撮像装置は、対象物に対して光を照射する光源と、前記対象物からの反射光を露光し信号電荷として蓄積する固体撮像素子と、前記光源からの照射と前記固体撮像素子の露光を制御する制御部と、を備え、前記固体撮像素子は、前記対象物からの反射光を前記信号電荷に変換する複数の光電変換部と、前記信号電荷を蓄積する複数の電荷蓄積部と、を備え、前記撮像装置は、前記照射および露光を制御するためのｍ種類（ｍは４以上の整数）の露光シーケンスを１フレーム期間内に行い、前記ｍ種類の露光シーケンスに排他的に電荷蓄積部を割り当て、前記ｍ種類の露光シーケンスのうち少なくとも１種類の露光シーケンスにおいて、ｎ個（ｎは３以上の整数）の前記光電変換部から得られる前記信号電荷を、前記電荷蓄積部に蓄積する。
【発明の効果】
【０００９】
本開示によれば、対象物の距離あるいは内部情報を高精度に算出する撮像装置を実現できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１から第３の実施形態に係るＴＯＦ（Time Of Flight）型の撮像装置の概略構成を示す図である。
【図２Ａ】図２Ａは、第１から第２の実施形態に係る撮像装置における動作タイミング例及び動作原理を説明する図である。
【図２Ｂ】図２Ｂは、第１から第２の実施形態に係る撮像装置における他の動作タイミング例及び動作原理を説明する図である。
【図２Ｃ】図２Ｃは、第１から第２の実施形態に係る撮像装置におけるさらに他の動作タイミング例及び動作原理を説明する図である。
【図３】図３は、第１から第２の実施形態に係る撮像装置における動作タイミングを説明する図である。
【図４Ａ】図４Ａは、第１から第４の実施形態に係る固体撮像素子の構成例を示す図である。
【図４Ｂ】図４Ｂは、第１から第４の実施形態に係る固体撮像素子の他の構成例を示す図である。
【図５】図５は、第１から第２の実施形態に係る光電変換部及び垂直転送部の駆動タイミングを説明する図である。
【図６】図６は、第３の実施形態に係る光電変換部及び垂直転送部の駆動タイミングを説明する図である。
【図７】図７の（ａ）、（ｂ）及び（ｃ）は、第１から第２の実施形態に係る長露光シーケンスＬ１、及び第３の実施形態に係る強露光シーケンスＫ１、及び第４の実施形態に係る７５０ｎｍシーケンスＰ１における信号電荷の加算と転送を説明する図である。
【図８】図８の（ａ）、（ｂ）及び（ｃ）は、第１から第２の実施形態に係る短露光シーケンスＳ１、及び第３の実施形態に係る弱露光シーケンスＪ１、及び第４の実施形態に係る８５０ｎｍシーケンスＱ１における信号電荷の加算と転送を説明する図である。
【図９】図９の（ａ）、（ｂ）及び（ｃ）は、第１から第２の実施形態に係る長露光シーケンス２、及び第３の実施形態に係る強露光シーケンスＫ２、及び第４の実施形態に係る７５０ｎｍシーケンスＰ２における信号電荷の加算と転送を説明する図である。
【図１０】図１０の（ａ）、（ｂ）及び（ｃ）は、第１から第２の実施形態に係る短露光シーケンスＳ２、及び第３の実施形態に係る弱露光シーケンスＪ２、及び第４の実施形態に係る８５０ｎｍシーケンスＱ２における信号電荷の加算と転送を説明する図である。
【図１１】図１１の（ａ）、（ｂ）及び（ｃ）は、第１から第２の実施形態に係る長露光シーケンス３、及び第３の実施形態に係る背景露光シーケンスＢ０、及び第４の実施形態に係る７５０ｎｍシーケンスＰ３における信号電荷の加算と転送を説明する図である。
【図１２】図１２の（ａ）、（ｂ）及び（ｃ）は、第１から第２の実施形態に係る短露光シーケンスＳ３、及び第４の実施形態に係る８５０ｎｍシーケンスＱ３における信号電荷の加算と転送を説明する図である。
【図１３Ａ】図１３Ａは、第２の実施形態に係る距離範囲設定部の動作例を説明する図である。
【図１３Ｂ】図１３Ｂは、第２の実施形態に係る距離範囲設定部の他の動作例を説明する図である。
【図１３Ｃ】図１３Ｃは、第２の実施形態に係る距離範囲設定部の他の動作例の一部を説明する図である。
【図１４】図１４は、第２の実施形態に係る距離補正部の動作を説明する図である。
【図１５】図１５は、遠方対象物からの反射光の観測範囲を説明する図である。
【図１６Ａ】図１６Ａは、第３の実施形態に係る撮像装置における動作タイミング例及び動作原理を説明する図である。
【図１６Ｂ】図１６Ｂは、第３の実施形態に係る撮像装置における他の動作タイミング例及び動作原理を説明する図である。
【図１７】図１７は、第３の実施形態に係る撮像装置における動作タイミングを説明する図である。
【図１８】図１８は、第３の実施形態に係る距離信号の選択フローを説明する図である。
【図１９】図１９は、第４の実施形態に係る脳血流測定装置の概略構成を説明する図である。
【図２０】図２０は、対象物の表面反射と内部拡散を示す図である。
【図２１】図２１は、第４の実施形態に係る脳血流測定装置の光学フィルタの透過特性のグラフである。
【図２２Ａ】図２２Ａは、第４の実施形態に係る脳血流測定装置における動作タイミング例及び動作原理を説明する図である。
【図２２Ｂ】図２２Ｂは、第４の実施形態に係る脳血流測定装置における他の動作タイミング例及び動作原理を説明する図である。
【図２２Ｃ】図２２Ｃは、第４の実施形態に係る脳血流測定装置におけるさらに他の動作タイミング例及び動作原理を説明する図である。
【図２３】図２３は、第４の実施形態に係る脳血流測定装置における動作タイミングを説明する図である。
【図２４】図２４は、第４の実施形態に係る光電変換部及び垂直転送部の駆動タイミングを説明する図である。
【図２５】図２５は、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの近赤外領域における分子吸光スペクトルのグラフである。
【図２６】図２６は、第１から第４の実施形態の各露光シーケンスを組み合わせた動作例を説明する図である。
【発明を実施するための形態】
【００１１】
以下、本開示の実施形態について、図面を参照して説明する。なお、添付の図面を用いて説明を行うが、これは例示を目的としており、本開示がこれらに限定されることを意図しない。図面において実質的に同一の構成、動作及び効果を表す要素については、同一の符号を付す。
【００１２】
（第１の実施形態）
第１の実施形態では、測定を行う期間または条件が４種類以上であっても十分な量の信号電荷を蓄積し、対象物の距離を高精度に算出するための撮像装置について説明する。具体的には、撮像装置は、長い露光期間と短い露光期間光とを利用することにより測距可能な距離範囲を拡大し、近くから遠くまで広い距離範囲で精度を向上させる構成例について説明する。
【００１３】
図１は、第１から第３の実施形態に係るＴＯＦ（Time Of Flight）型の測距装置及び周辺物の構成を模式的に示す図である。図１に示すように、撮影対象空間１００にて対象物１０１に背景光照明１０２のもと、赤外光源１０３から波長８５０ｎｍあるいは９４０ｎｍのパルス状の照射光１１０が照射される。その反射光１１１を光学レンズ１０４と、８５０ｎｍあるいは９４０ｎｍ近傍の近赤外波長領域を透過する光学フィルタ１０５とを介して、例えばＣＣＤ型イメージセンサである固体撮像素子１０６で受け、結像された画像を信号電荷に変換し（以下、この動作を露光と呼ぶ）、信号電荷量１１４を制御演算装置１０７に出力する。制御演算装置１０７は、赤外光源１０３の照射タイミングの制御１１２及び、固体撮像素子１０６の露光タイミングの制御１１３を行うことで、固体撮像素子１０６より６種類の信号電荷量１１４を得て、対象物１０１までの距離を２種類算出し、距離信号１１５として出力する。赤外光源１０３と、光学レンズ１０４と、光学フィルタ１０５と、固体撮像素子１０６と、制御演算装置１０７が、測距装置を構成する。なお、制御演算装置１０７は、例えば、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＦＥ（Analog Front End）などを組み合わせることで実現される。
【００１４】
同図において、赤外光源１０３は、対象物に対して光を照射する。固体撮像素子１０６は、対象物からの反射光を露光し信号電荷として蓄積する。制御演算装置１０７は、赤外光源１０３から照射と固体撮像素子１０６の露光を制御する。
【００１５】
以下、固体撮像素子１０６及び制御演算装置１０７について、さらに説明する。
【００１６】
図４Ａは、本実施形態に係る固体撮像素子１０６の構成図である。ここでは、図面の簡略化のために、垂直方向に４画素分、水平方向に４画素分のみ示している。固体撮像素子１０６は、半導体基板に行列状に配置され、対象物１０１からの反射光１１１を信号電荷に変換する複数の光電変換部（フォトダイオード）４と、光電変換部４から読み出された信号電荷を蓄積し、列方向（垂直方向）に転送する垂直転送部５と、垂直転送部５によって転送された信号電荷を行方向（水平方向）に転送する水平転送部１０と、水平転送部１０によって転送された信号電荷を出力する電荷検出部１１とを備える。
【００１７】
固体撮像素子１０６は、対象物からの反射光を信号電荷に変換する複数の光電変換部４と、信号電荷を蓄積する複数の電荷蓄積部とを備える。複数の電荷蓄積部は、図４Ａの構成例では、垂直転送部５に電位の井戸として形成される信号パケットである。
【００１８】
制御演算装置１０７は、照射および露光を制御するためのｍ種類（ｍは４以上の整数）の露光シーケンスを１フレーム期間内に行う。その際、ｍ種類の露光シーケンスに排他的に電荷蓄積部を割り当てる。ｍ種類の露光シーケンスのうち少なくとも１種類の露光シーケンスにおいて、ｎ個（ｎは３以上の整数）の光電変換部から得られる信号電荷を、電荷蓄積部に蓄積する。
【００１９】
ここで、固体撮像素子１０６はインターライントランスファー方式のＣＣＤであり、例えば、垂直転送部５は、垂直方向に隣接する２つの光電変換部４あたりに垂直転送電極８が１０ゲートある１０相駆動であり、水平転送部１０は２相駆動である。垂直転送電極８のうちφＶ１及びφＶ３は奇数列の垂直転送部５に接続された４つの光電変換部４に対する読出し電極を兼ねており、φＶ２及びφＶ４は偶数列の垂直転送部５に接続された４つの光電変換部４に対する読出し電極を兼ねた構成になっている。これにより、４つの光電変換部４に溜まった信号電荷は、φＶ１及びφＶ３に高電圧が印可されている場合は、奇数列の垂直転送部５の、例えば信号パケット９ａで表される位置に加算して読出され、φＶ２及びφＶ４に高電圧が印可されている場合は、偶数列の垂直転送部５の、例えば信号パケット９ｂで表される位置に加算して読出される。その後、垂直転送部５上の信号電荷は、垂直転送電極８への電圧印可により列方向に転送される。
【００２０】
また、光電変換部４には、信号電荷を掃き捨てるためのＶＯＤ（縦型オーバーフロードレイン）１２が備えられている。ただし、本開示の理解を容易とするため、ＶＯＤ１２は画素の面横方向に記載しているが、実際には画素のバルク方向（半導体基板の深さ方向）に構成されている。ＶＯＤ１２の基板に接続されている電極φＳｕｂに高電圧が印加されると全ての光電変換部４の信号電荷は一括して基板に排出される構成となっている。
【００２１】
以上の構成により、固体撮像素子１０６は、４つの光電変換部４に蓄積された信号電荷を加算し、奇数列及び偶数列のいずれかの垂直転送部５に振り分けて蓄積することで、特許文献３に記載の固体撮像素子に対して、感度を維持したまま蓄積できる信号電荷の種類が２倍となる。ここで、垂直転送部５が１０相駆動であるため、最小２相で信号電荷を蓄積するとして、奇数列及び偶数列の垂直転送部５それぞれにおいて３種類、計６種類の信号電荷を蓄積することが可能である。
【００２２】
なお、図４Ｂに示すように、奇数列の垂直転送部５に信号電荷を読み出す光電変換部４と、偶数列の垂直転送部５に信号電荷を読み出す光電変換部４とが列方向にずれるように垂直転送部５を配置してもよい。この場合、奇数列の垂直転送部５に蓄積された信号電荷と、偶数列の垂直転送部５に蓄積された信号電荷を用いて補間処理を行うことにより、図４Ａに示す構成に比べて垂直方向の空間解像度の向上が期待できる。
【００２３】
また、信号電荷を加算して読み出す光電変換部４の数を、例えば６などに増やし、さらに感度を向上させてもよい。ただし、感度の向上とトレードオフで空間解像度が低下する。
【００２４】
図２Ａから図２Ｃは、本実施形態に係る測距装置の動作タイミング及び動作原理を説明する図である。図２Ａ及び図２Ｂに示すように、測距装置の動作は、長露光シーケンスＬ１からＬ３及び、短露光シーケンスＳ１からＳ３の、計６種類の露光シーケンスを有する。これら露光シーケンスは、制御演算装置１０７が赤外光源１０３の照射タイミングの制御１１２及び、固体撮像素子１０６の露光タイミングの制御１１３を行うことで実現され、各露光シーケンスそれぞれにおいて１種類の信号電荷を得る。ここで、照射光１１０のパルス幅（照射時間）をＴｐ及びＴｐ’＜Ｔｐ、照射光１１０と反射光１１１との間の遅延をΔｔ、露光期間幅をＴｅ及びＴｅ’＜Ｔｅとする。
【００２５】
まず、図２Ａに示すように、長露光シーケンスＬ１において、制御演算装置１０７は、露光期間が照射光１１０の立ち上がりから反射光１１１の立下りまでを含むように照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷Ｓ０＋ＢＧを得る。次に、長露光シーケンスＬ２において、制御演算装置１０７は、露光期間が照射光１１０の立ち下がりから開始するように照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷Ｓ１＋ＢＧを得る。また、長露光シーケンスＬ３において、制御演算装置１０７は、照射光１１０を照射せずに露光だけを行うよう照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷ＢＧを得る。その後、制御演算装置１０７は、Ｓ０＋ＢＧ及びＳ１＋ＢＧからＢＧを減算することにより、背景光に依存しない信号電荷Ｓ０及びＳ１を取り出す。
【００２６】
同様に、図２Ｂに示すように、短露光シーケンスＳ１において、制御演算装置１０７は、露光期間が照射光１１０の立ち上がりのΔＴｅ’後から反射光１１１の立下りまでを含むように照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷Ｓ０’＋ＢＧ’を得る。次に、短露光シーケンスＳ２において、制御演算装置１０７は、露光期間が照射光１１０の立ち下がりのΔＴｅ’後から開始するように照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷はＳ１’＋ＢＧ’を得る。また、短露光シーケンスＳ３において、制御演算装置１０７は、照射光１１０を照射せずに露光だけを行うよう照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷ＢＧ’を得る。その後、制御演算装置１０７は、Ｓ０’＋ＢＧ’及びＳ１’＋ＢＧ’からＢＧ’を減算することにより、背景光に依存しない信号電荷Ｓ０’及びＳ１’を取り出す。
【００２７】
なお、図２Ａ及び図２Ｂでは、長露光シーケンスＬ３及び短露光シーケンスＳ３において、照射光１１０の照射を行っていないが、図２Ｃに示すように照射は行ったうえで、反射光１１１に含まれる照射光成分が無視できるレベルまで減衰する時間ΔＴｂｇ及びΔＴｂｇ’だけ露光期間の開始時間を遅延させることで、背景光成分のみを露光するようにしてもよい。
【００２８】
また、図２Ａ及び図２Ｂでは説明の都合上、各露光シーケンスをそれぞれ１回のみ示しているが、実施上はＳ／Ｎの観点から十分な量の信号電荷を得るため、図３に示すように長露光シーケンスＬ１からＬ３を１フレーム期間にαＬｏｎｇ×β回、短露光シーケンスＳ１からＳ３をαＳｈｏｒｔ×β回繰り返し行う。ここで、短露光シーケンスＳ１からＳ３は長露光シーケンスＬ１からＬ３に対して照射時間及び露光期間が短いため、例えば、αＳｈｏｒｔ＝αＬｏｎｇ×Ｔｐ／Ｔｐ’とすることで、Ｓ０とＳ０’及びＳ１とＳ１’の感度差を軽減する。
【００２９】
なお、測距対象物が動体の場合に、距離の時間変化が各露光シーケンスに均等に影響を及ぼすように、各露光シーケンスにおいてαＬｏｎｇ回及びαＳｈｏｒｔ回ずつ繰り返したものを１セットとしてβ回繰り返しているが、対象物１０１が静止体である場合はこの限りではない。
【００３０】
次に、図５及び図７から図１２を用いて、各露光シーケンスにおける固体撮像素子１０６の動作タイミングについて説明する。図５は、１フレーム期間を構成する６種類の露光シーケンスにおける、光電変換部４及び垂直転送部５の駆動タイミングの一例を示しており、図７から図１２は、信号電荷の加算及び転送のイメージを示している。なお、図５では、説明を簡単にするため、β＝１回分の動作を抜き出しており、各露光シーケンスの繰り返しを２回ずつ（αＬｏｎｇ＝αＳｈｏｒｔ＝２）としている。また、図７から図１２では、信号電荷の読出し及び転送の方向を矢印で示している。
【００３１】
まず、図５の長露光シーケンスＬ１では、φＶ１及びφＶ３の電圧をＨｉｇｈレベル、φＶ２及びφＶ４の電圧をＬｏｗレベルにすることで、奇数列の垂直転送部５のＶ１及びＶ３に接続された４つの光電変換部４から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間ＴｅだけφＳｕｂの電圧をＬｏｗレベルにすることで、図７（ａ）に示すように、４つの光電変換部４からの信号電荷３１が奇数列の垂直転送部５に蓄積される。なお、信号電荷３１には照射光成分３１ａ、背景光成分３１ｂが含まれる。また、信号電荷３１は垂直転送部５のＶ１及びＶ３に分かれて蓄積されており、図５の時刻Ｔ１においてφＶ１、φＶ２、及びφＶ３の電圧をＭｉｄｄｌｅレベルにすることで、図７（ｂ）に示すように１パケットとなり、４つの光電変換部４からの信号電荷を加算したことになる。その後、図７（ｃ）に示すように、信号電荷３１は順方向（図面下方向）に垂直転送され、Ｖ２からＶ４に蓄積された状態になる。
【００３２】
次に、図５の短露光シーケンスＳ１では、φＶ２及びφＶ４の電圧をＨｉｇｈレベル、φＶ１及びφＶ３の電圧をＬｏｗレベルにすることで、偶数列の垂直転送部５のＶ２及びＶ４に接続された４つの光電変換部４から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間Ｔｅ’だけφＳｕｂの電圧をＬｏｗレベルにすることで、図８（ａ）に示すように、４つの光電変換部４からの信号電荷３２が偶数列の垂直転送部５に蓄積される。なお、信号電荷３２には照射光成分３２ａ、背景光成分３２ｂが含まれる。また、信号電荷３１及び信号電荷３２は、垂直転送部５のＶ２及びＶ４に分かれて蓄積されており、図５の時刻Ｔ２においてφＶ２、φＶ３、及びφＶ４の電圧をＭｉｄｄｌｅレベルにすることで、図８（ｂ）に示すように、それぞれが１パケットとなる。その後、図８（ｃ）に示すように、信号電荷３１及び信号電荷３２は順方向（図面下方向）に垂直転送され、Ｖ５及びＶ６に蓄積された状態になる。
【００３３】
次に、図５の長露光シーケンスＬ２では、露光期間の開始時刻をずらして長露光シーケンスＬ１と同様の駆動を行うことで、図９（ａ）に示すように、４つの光電変換部４からの信号電荷３３が奇数列の垂直転送部５に蓄積される。このとき、信号電荷３１は、先の順方向転送によりＶ５及びＶ６に移動しているため、信号電荷３３と混合されることはない。なお、信号電荷３３には照射光成分３３ａ、背景光成分３３ｂが含まれる。また、信号電荷３３は垂直転送部５のＶ１及びＶ３に分かれて蓄積されており、図５の時刻Ｔ３においてφＶ１、φＶ２、及びφＶ３の電圧をＭｉｄｄｌｅレベルにすることで、図９（ｂ）に示すように１パケットとなり、４つの光電変換部４からの信号電荷を加算したことになる。その後、図９（ｃ）に示すように、信号電荷３３は順方向（図面下方向）に垂直転送され、Ｖ２からＶ４に蓄積された状態になる。
【００３４】
次に、図５の短露光シーケンスＳ２では、露光期間の開始時刻をずらして長露光シーケンスＬ２と同様の駆動を行うことで、図１０（ａ）に示すように、４つの光電変換部４からの信号電荷３４が偶数列の垂直転送部５に蓄積される。このとき、信号電荷３２は、先の順方向転送によりＶ５及びＶ６に蓄積されているため、信号電荷３４と混合されることはない。なお、信号電荷３４には照射光成分３４ａ、背景光成分３４ｂが含まれる。また、信号電荷３３及び信号電荷３４は、垂直転送部５のＶ２及びＶ４に分かれて蓄積されており、図５の時刻Ｔ４においてφＶ２、φＶ３、及びφＶ４の電圧をＭｉｄｄｌｅレベルにすることで、図１０（ｂ）に示すように、それぞれが１パケットとなる。その後、図１０（ｃ）に示すように、信号電荷３３及び信号電荷３４は順方向（図面下方向）に垂直転送され、Ｖ５及びＶ６に蓄積された状態になる。
【００３５】
次に、図５の長露光シーケンスＬ３では、赤外光源からの照射を行わずに長露光シーケンスＬ１と同様の駆動を行うことで、図１１（ａ）に示すように、４つの光電変換部４からの信号電荷３５が奇数列の垂直転送部５に蓄積される。このとき、信号電荷３３は、先の順方向転送によりＶ５及びＶ６に移動しているため、信号電荷３５と混合されることはない。また、信号電荷３５は垂直転送部５のＶ１及びＶ３に分かれて蓄積されており、図５の時刻Ｔ５においてφＶ１、φＶ２、及びφＶ３の電圧をＭｉｄｄｌｅレベルにすることで、図１１（ｂ）に示すように１パケットとなり、４つの光電変換部４からの信号電荷を加算したことになる。その後、図１１（ｃ）に示すように、信号電荷３５は順方向（図面下方向）に垂直転送され、Ｖ２からＶ４に蓄積された状態になる。
【００３６】
最後に、図５の短露光シーケンスＳ３では、赤外光源からの照射を行わずに短露光シーケンスＳ１と同様の駆動を行うことで、図１２（ａ）に示すように、４つの光電変換部４からの信号電荷３６が偶数列の垂直転送部５に蓄積される。このとき、信号電荷３４は、先の順方向転送によりＶ５及びＶ６に蓄積されているため、信号電荷３６と混合されることはない。また、信号電荷３５及び信号電荷３６は、垂直転送部５のＶ２及びＶ４に分かれて蓄積されており、図５の時刻Ｔ６においてφＶ２、φＶ３、及びφＶ４の電圧をＭｉｄｄｌｅレベルにすることで、図１０（ｂ）に示すように、それぞれが１パケットとなる。その後、図１２（ｃ）に示すように、信号電荷３１から信号電荷３６は逆方向（図面上方向）に垂直転送され、信号電荷３１及び信号電荷３２がＶ１からＶ３に蓄積された状態、即ち再び長露光シーケンスＬ１が実行可能な状態となる。
【００３７】
以上の動作をβ回の繰りし行うことで、１フレーム期間分の反射光１１１に対する６種類の信号電荷を、高感度かつ独立に垂直転送部５に蓄積することが可能である。
【００３８】
なお、信号電荷３１、信号電荷３３、及び信号電荷３５の蓄積を偶数列の垂直転送部５で行い、信号電荷３２、信号電荷３４、及び信号電荷３６の蓄積を奇数列の垂直転送部５で行ってもよい。この場合、奇数列の光電変換部４に対する読出し電極はφＶ６およびφＶ８となる。さらに、奇数列の垂直転送部５で蓄積する信号電荷と、偶数列の垂直転送部５で蓄積する信号電荷を１フレーム毎に入れ替えてもよい。この場合、フレーム間で信号電荷が列方向にインタレースされるため、距離信号１１５における水平方向の空間解像度の改善が期待できる。
【００３９】
また、固体撮像素子１０６はＣＣＤ型イメージセンサの例で説明したが、ＣＭＯＳ型イメージセンサであってもよい。
【００４０】
式１及び式２は、本実施例に係る制御演算装置１０７における２種類の距離ｚ及びｚ’の算出部を示す式である。光速をｃとすると、式１より、距離ｚは長露光シーケンスＬ１からＬ３より得られる背景光の影響を除去した信号電荷Ｓ０及びＳ１を用いて算出される。同様に、式２より、距離ｚ’は短露光シーケンスＳ１からＳ３より得られる背景光の影響を除去した信号電荷Ｓ０’及びＳ１’を用いて算出される。また、ΔＴｅ’は距離ｚ’の下限となり、距離ｚ及びｚ’の距離範囲の重なり具合を決定するパラメータとなっている。
【００４１】
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×（Ｓ１／Ｓ０）  ・・・式１
ｚ’＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ’／２）×（Δｔ／Ｔｐ’）
＝（ｃ×Ｔｐ’／２）×（Ｓ１’／Ｓ０’＋ΔＴｅ’／Ｔｐ’）
＝（ｃ×Ｔｐ’／２）×（Ｓ１’／Ｓ０’）＋（ｃ×ΔＴｅ’／２）  ・・・式２
【００４２】
ここで、ΔＴｅ’＝０の場合を考えると、距離ｚ及びｚ’は理想的には同値であるが、実際には有限の分解能で量子化された信号電荷量を用いて計算を行うため、精度に差が生じる。例えば、Ｓ１／Ｓ０及びＳ１’／Ｓ０’がＮbit整数精度で量子化されているとすると、距離ｚの単位距離＝（ｃ×Ｔｐ／２）／２Ｎ、距離ｚ’の単位距離＝（ｃ×Ｔｐ’／２）／２Ｎとなり、距離精度は距離ｚ’の方が高い。一方、距離ｚの最大値＝（ｃ×Ｔｐ／２）×（２Ｎ−１）／２Ｎ、距離ｚ’の最大値＝（ｃ×Ｔｐ’／２）×（２Ｎ−１）／２Ｎとなるため、距離範囲は距離ｚの方が広い。したがって、２種類の距離ｚ及びｚ’を算出することで、広い距離範囲の測距と、高い距離精度の測距との両立が可能となる。
【００４３】
なお、長露光シーケンスＬ１からＬ３と短露光シーケンスＳ１からＳ３の照射時間及び露光期間の幅を揃え（即ち、Ｔｐ＝Ｔｐ’、Ｔｅ＝Ｔｅ’）、かつ、ΔＴｅ’＝Ｔｐとして信号電荷の蓄積および、距離算出を行ってもよい。この場合、距離ｚとｚ’が同一距離精度で、距離ｚとｚ’の組合せによる距離範囲が距離ｚの距離範囲の２倍となる。
【００４４】
以上の動作により、１フレーム期間に６種類の信号電荷を垂直転送部に独立に蓄積することができる。また、４つの光電変換部の信号電荷を加算しているため、従来の２つの光電変換部の信号電荷を加算する方法に比べて感度が実質的に２倍になり、蓄積する信号電荷の種類が増加したことによる各電荷量の減少を相殺できる。したがって、６種類の信号電荷から、距離範囲と距離精度が異なる２種類の距離を高精度に算出することができ、広い距離範囲の測距と、高い距離精度の測距との両立が可能となる。
【００４５】
以上説明してきたように第１の実施形態に係る撮像装置は、対象物からの反射光を露光し信号電荷として蓄積する固体撮像素子１０６と、赤外光源１０３からの照射と固体撮像素子１０６の露光を制御する制御演算装置１０７とを備え、固体撮像素子１０６は、対象物からの反射光を信号電荷に変換する複数の光電変換部４と、信号電荷を蓄積する複数の電荷蓄積部と、を備え、撮像装置は、照射および露光を制御するためのｍ種類（ｍは４以上の整数）の露光シーケンスを１フレーム期間内に行い、ｍ種類の露光シーケンスに排他的に電荷蓄積部を割り当て、ｍ種類の露光シーケンスのうち少なくとも１種類の露光シーケンスにおいて、ｎ個（ｎは３以上の整数）の光電変換部から得られる信号電荷を、電荷蓄積部に蓄積する。
【００４６】
ここで、制御演算装置１０７は、少なくとも１種類の露光シーケンスを１フレーム期間内に繰り返し行ってもよい。
【００４７】
ここで、制御演算装置１０７は、ｎ個の光電変換部の組合せと１個の電荷蓄積部とを対応させ、ｎ個の光電変換部から得られる信号電荷を、対応する電荷蓄積部に蓄積してもよい。
【００４８】
ここで、制御演算装置１０７は、少なくとも１種類の露光シーケンスにおいて、ｎ個の光電変換部から得られる信号電荷を加算して対応する電荷蓄積部に蓄積してもよい。
【００４９】
また、ｍ種類の露光シーケンスは、互いに、光源からの照射強度、照射時間、照射波長、および撮像素子の露光期間のうち少なくとも１つが異なっていてもよい。
【００５０】
制御演算装置１０７は、ｋ種類（ｋは１以上の整数）の露光シーケンス毎に、ｎ個の光電変換部の組合せを変更してもよい。
【００５１】
ここで、前記撮像装置は、前記ｍ種類の露光シーケンスの繰り返し回数を、前記光源からの照射強度、照射時間、照射波長、および前記固体撮像素子の露光期間に基づいて設定してもよい。
【００５２】
ここで、前記撮像装置は、フレーム毎に前記信号電荷の加算を行う前記ｎ個の光電変換部の組合せを変更してもよい。
【００５３】
ここで、前記ｍは５または６であり、前記複数の光電変換部は行列上に配置され、前記撮像装置は、５または６種類からなる前記露光シーケンスを１フレーム期間にそれぞれ複数回繰り返し、前記ｎ個の光電変換部は、２行２列に配置された４個の前記光電変換部の組合せであってもよい。
【００５４】
ここで、前記撮像装置はＴＯＦ（Time Of Flight）型の測距装置であり、前記撮像装置は、前記ｍ種類の露光シーケンスのうち、少なくとも２種類の露光シーケンスにおいて前記電荷蓄積部に蓄積された前記信号電荷を用いて対象物までの距離を算出する距離算出部を備えてもよい。
【００５５】
ここで、前記ｍ種類の露光シーケンスは、長露光シーケンスと短露光シーケンスとを含み、前記長露光シーケンスは、前記短露光シーケンスよりも、前記光源からの照射時間と前記固体撮像素子の露光期間がそれぞれ長く設定され、前記距離算出部は、前記ｍ種類の露光シーケンスに基づいて対象物までの距離を少なくとも２種類算出してもよい。
【００５６】
ここで、前記撮像装置はＴＯＦ型の測距装置であり、前記光電変換部は行列上に配置され、前記ｍ種類の露光シーケンスは、第１から第３の長露光シーケンス、および、第１から第３の短露光シーケンスを含み、前記第１から第３の長露光シーケンスにおける前記光源からの照射時間および前記固体撮像素子の露光期間はそれぞれ、前記第１から第３の短露光シーケンスよりも長く、前記第２の長露光シーケンスにおける露光期間は、前記第１の長露光シーケンスにおける露光期間と異なり、前記第２の短露光シーケンスにおける露光期間は、前記第１の短露光シーケンスにおける露光期間と異なり、前記第３の長露光シーケンスおよび前記第３の短露光シーケンスは、前記光源からの照射による反射光成分を含まない背景光を露光し、前記第１から第３の長露光シーケンス、および、第１から第３の短露光シーケンスを１フレーム期間内にそれぞれ複数回繰り返し、前記ｎ個の光電変換部は、２行２列からなる４個の前記光電変換部であり、前記第１から第３の長露光シーケンスにおいて蓄積した前記信号電荷、および、前記第１から第３の短露光シーケンスにおいて加算蓄積した前記信号電荷のそれぞれを用いて対象物までの距離を２種類算出する距離算出部を備えてもよい。
【００５７】
ここで、前記第３の長距離シーケンスおよび前記第３の短距離シーケンスにおいて、前記光源からの照射を行い、反射光が消滅した後の期間を前記露光期間としてもよい。
【００５８】
（第２の実施形態）
以下、第２の実施形態に係る撮像装置について、第１の実施形態と異なる点を中心に説明する。第２の実施形態では、直接波としての反射波と間接波としての反射波とが混在するいわゆるマルチパスが生じやすい環境において、マルチパスによる誤測定を抑制または警告する構成例について説明する。そのため、本実施形態に係る撮像装置は、第１の実施形態に係る撮像装置と同様に、図１に示す撮像装置の概略構成をとり、図４Ａ、図４Ｂに示す固体撮像素子を用い、図２Ａから図２Ｃに示す動作タイミング及び、図５に示す駆動タイミングで動作し、第１の実施形態に係る撮像装置に加え、制御演算装置１０７が、距離ｚ’の範囲を決定する距離範囲決定部と、距離ｚ’を用いて距離ｚの補正を行う距離補正部と、をさらに備える。ここで距離ｚは、長露光シーケンスＬ１からＬ３により測定された距離または測定可能な距離範囲をいう。距離ｚ’は、短露光シーケンスＳ１からＳ３により測定された距離または測定可能な距離範囲をいう。
【００５９】
距離範囲決定部は、１フレーム毎に距離ｚ’の距離範囲を一定量ずつシフトする全走査モードと、過去のフレームにおける距離ｚの分布に基づいて距離ｚ’の距離範囲を走査する選択走査モードと、を備える。
【００６０】
全走査モードでは、図１３Ａに示すように、距離ｚ’の距離範囲１２０が、距離ｚの距離範囲の一部と重なるようにΔＴｅ’を決定し（式２より、ΔＴｅ’＋Ｔｐ’≦Ｔｐ）、１フレーム毎に走査を行う。例えば、Ｔｐ＝４Ｔｐ’の場合、フレーム０ではΔＴｅ’＝０とすることで、距離ｚ’の距離範囲１２０を距離範囲Ａに設定し、フレーム１ではΔＴｅ’＝Ｔｐ’とすることで、距離ｚ’の距離範囲１２０を距離範囲Ｂに設定し、フレーム２ではΔＴｅ’＝２Ｔｐ’とすることで、距離ｚ’の距離範囲１２０を距離範囲Ｃに設定し、フレーム３ではΔＴｅ’＝３Ｔｐ’とすることで、距離ｚ’の距離範囲１２０を距離範囲Ｄに設定し、フレーム４では再びΔＴｅ’＝０とすることで、距離ｚ’の距離範囲１２０を距離範囲Ａに設定し、以下同様の動作を繰り返す。
【００６１】
以上の動作により、全走査モードでは、一定の周期で距離ｚ’の距離範囲１２０が走査されるため、広い距離範囲に渡り高精度な測距を行うことが可能となる。
【００６２】
一方、選択走査モードでは、図１３Ｂおよび図１３Ｃに示すように、一定の周期で距離ｚのヒストグラム１２１を算出し、その度数が閾値以上である距離範囲と重なるように距離ｚ’の距離範囲１２０を決定し、１フレーム毎に走査を行う。例えば、図１３Ｃの例のように、４フレーム毎に距離ｚのヒストグラム１２１を算出する場合、フレーム０における距離ｚのヒストグラム１２１では、距離範囲Ｂ，Ｄにおいて度数が閾値を超えるため、フレーム１から４における距離ｚ’の距離範囲は距離範囲Ｂ，Ｄのみを走査する。一方、フレーム４では、距離範囲Ａ，Ｃにおいて度数が閾値を超えるため、フレーム５から８における距離ｚ’の距離範囲は距離範囲Ａ，Ｃのみを走査する。
【００６３】
以上の動作により、選択走査モードでは、対象物の距離ｚに基づいて距離ｚ’の距離範囲を選択的に走査するため、全走査モードと比較して短い周期で高精度な測距を行うことが可能となり、移動する対象物に対する測距の追従性が高い。
【００６４】
なお、注目すべき対象物が撮像される領域が既知である場合、距離ｚのヒストグラム１２１を全撮像領域にわたって算出するのではなく、注目すべき対象物が撮像される領域に限定して算出してもよい。この場合、度数が注目すべき対象物の距離付近に集中するため、より効率的に距離ｚ’の距離範囲１２０を走査することができる。また、注目すべき対象物が複数存在する場合も、それぞれが撮像される領域に対する距離ｚのヒストグラム１２１を合算することで同様の動作が可能となる。
【００６５】
距離補正部は、距離ｚ’を用いて距離ｚの一部を高精度化する高精度モードと、距離ｚ’を用いて距離ｚにおけるマルチパスの影響を軽減するマルチパス補正モードと、を備える。距離補正部により補正された距離は距離信号１１５として出力される。
【００６６】
高精度モードでは、高精度化された距離ｚｈを複数フレームに渡って保持し、１フレーム毎に一部の領域を高精度の距離ｚ’で更新し、その他の領域については、距離の変化がある（或いは大きい）場合は低精度の距離ｚで更新し、距離の変化がない（或いは小さい）場合は元の距離を保持する。例えば、図１４に示すように、フレーム０では、距離ｚｈの全領域を距離ｚで初期化（矢印１３０）した後、距離ｚ’の距離範囲内となる領域Ａについて距離ｚｈを距離ｚ’で更新する（矢印１３１）。次にフレーム１では、距離ｚ’の距離範囲内となる領域Ｂについて距離ｚｈを距離ｚ’で更新し（矢印１３１）、領域Ａ及びＣについては距離ｚｈと距離ｚに差がないため更新しない。同様にフレーム２では、ｚ’の距離範囲内となる領域Ｃについて距離ｚｈを距離ｚ’で更新し（矢印１３１）、領域Ａ及びＢについては距離ｚｈと距離ｚに差がないため更新しない。またフレーム３では、距離ｚ’の距離範囲内となる領域Ａについて距離ｚｈを距離ｚ’で更新し（矢印１３１）、領域Ｂについては距離ｚｈと距離ｚに差があるため距離ｚで更新し（矢印１３２）、領域Ｃについては距離ｚｈと距離ｚに差がないため更新しない。
【００６７】
以上の動作により、高精度モードでは、移動する対象物に追従して測距を行いつつ、静止した対象物に対する高い距離精度の測距を行うことができる。
【００６８】
一方、マルチパス補正モードでは、マルチパスの影響が軽減された距離ｚｃを算出する。ここで、マルチパスとは照射光の多重反射のことで、ある対象物がさらに後方にある対象物からの反射光を受け反射することで、測定距離が実距離より後方にずれるという性質を有する。例えば、図１５に示すように、対象物Ａ及び対象物Ｂがそれぞれ距離ｃΔｔａ／２及び距離ｃΔｔｂ１／２〜ｃΔｔｂ２／２に存在しているとして、対象物Ｂからの反射光が対象物Ａを経由して観測される場合を考える。まず、長露光シーケンスＬ１及びＬ２における対象物Ｂからの反射光の観測範囲１４０は距離＝０〜ｃ（Ｔｐ＋Ｔｅ）／２となる。一方、短露光シーケンスＳ１及びＳ２における対象物Ｂからの反射光の観測範囲１４１は距離＝ｃΔＴｅ’／２〜ｃ（ΔＴｅ’＋Ｔｐ’＋Ｔｅ’）／２となる。ここで、Ｔｅ’＜Ｔｅ、かつΔＴｅ’＋Ｔｐ’≦Ｔｐより、（ΔＴｅ’＋Ｔｐ’＋Ｔｅ’）≦（Ｔｐ＋Ｔｅ）となり、境界条件を除き、観測範囲１４０と比べて観測範囲１４１の方が対象物Ｂからの反射光を含まないため、距離ｚ’は距離ｚよりもマルチパスの影響によるずれが少なくなる。したがって、マルチパス補正モードでは、距離ｚ’の距離範囲内にある領域について、距離ｚと距離ｚ’の差が、あらかじめ定めた値よりも大きければマルチパスの影響下にあると判断して、距離ｚｃ＝ｚ’とし、反対にマルチパスの影響下にないと判断した場合は、距離ｚｃ＝ｚとする。
【００６９】
以上の動作により、マルチパス補正モードでは、マルチパスの影響下にある領域の検出を行い、マルチパスの影響がより少ない距離ｚ’を選択的に出力することで、マルチパスの影響を軽減することができる。
【００７０】
なお、マルチパスの影響下にある領域について、単純に距離ｚ’を選択し出力するのではなく、マルチパスの影響度に応じて距離ｚ’と距離ｚの加重平均を取り出力するようにしてもよい。また、マルチパスの影響下にあると判断した場合に、距離信号１１５とは別に異常を通知する信号を出力する異常通知部を備えてもよい。
【００７１】
以上の距離範囲決定部、及び距離補正部により、２種類の距離ｚ及びｚ’を組み合わせることで、広い距離範囲の測距と高精度な測距の両立が可能となる。また、マルチパスの影響を軽減することで、より正確な測距が行える。
【００７２】
以上説明してきたように、第２の実施形態に係る撮像装置は、前記長露光シーケンス、または、前記第１から第３の長露光シーケンスより算出した距離を、前記短露光シーケンス、または、前記第１から第３の短露光シーケンスより算出した距離を用いて補正する距離補正部を備える。
【００７３】
ここで、前記長露光シーケンス、または、前記第１から第３の長露光シーケンスより算出した距離の一部と、前記短露光シーケンス、または、前記第１から第３の短露光シーケンスより算出した距離との差分が規定の範囲を超えた場合に異常を通知する異常通知部を備えてもよい。
【００７４】
ここで、前記短露光シーケンス、または、前記第１から第３の短露光シーケンスにおける露光期間を短露光期間とすると、前記短露光期間は、フレーム毎に変更され、前記短露光期間のフレーム毎の変更によって、前記短露光シーケンス、または、前記第１から第３の短露光シーケンスより算出される距離範囲は、前記長露光シーケンス、または、前記第１から第３の長露光シーケンスより算出される距離範囲の一部と重なるよう制限されたうえで走査されてもよい。
【００７５】
ここで、前記短露光シーケンス、または第１から第３の短露光シーケンスにおける露光期間は、過去フレームの前記第１から第３の長露光シーケンスより算出した距離に基づいて設定されてもよい。
【００７６】
（第３の実施形態）
以下、第３の実施形態に係る撮像装置について、第１の実施形態と異なる点を中心に説明する。第３の実施形態では、強い照射光と弱い照射光とを利用することにより測距のダイナミックレンジを拡大する構成例について説明する。ダイナミックレンジの拡大は、例えば、近くの反射率の高い物体から遠く反射率の低い物体まで測距可能な範囲を広げることをいう。そのため、本実施形態に係る撮像装置は、第１の実施形態に係る撮像装置と同様に、図１に示す撮像装置の概略構成をとり、図４に示す固体撮像素子を用いるが、第１の実施形態に係る撮像装置と異なり、赤外光源１０３の照射強度が異なる複数の露光シーケンスを用いて測距を行う。
【００７７】
図１６は、本実施形態に係る撮像装置における動作タイミング及び動作原理を説明する図である。図１６Ａ及び図１６Ｂに示すように、撮像装置の動作は、強露光シーケンスＫ１からＫ２、弱露光シーケンスＪ１からＪ２、及び背景露光シーケンスＢ０の計５種類の露光シーケンスからなる。これら露光シーケンスは、制御演算装置１０７が赤外光源１０３の照射タイミングの制御１１２及び、固体撮像素子１０６の露光タイミングの制御１１３を行うことで実現され、各露光シーケンスそれぞれにおいて１種類の信号電荷を得る。ここで、照射光１１０のパルス幅（照射時間）をＴｐ、照射光１１０と反射光１１１との間の遅延をΔｔ、露光期間幅をＴｅとする。
【００７８】
まず、図１６Ａに示すように、強露光シーケンスＫ１において、制御演算装置１０７は、照射光１１０の照射強度がＡＨｉｇｈとなり、露光期間が照射光１１０の立ち上がりから反射光１１１の立下りまでを含むように照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷Ｓ０＋ＢＧを得る。次に、強露光シーケンスＫ２において、制御演算装置１０７は、照射光１１０の照射強度がＡＨｉｇｈとなり、露光期間が照射光１１０の立ち下がりから開始するように照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷Ｓ１＋ＢＧを得る。また、背景露光シーケンスＢ０において、制御演算装置１０７は、照射光１１０を照射せずに露光だけを行うよう照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷ＢＧを得る。その後、制御演算装置１０７は、Ｓ０＋ＢＧ及びＳ１＋ＢＧからＢＧを減算することにより、背景光に依存しない信号電荷Ｓ０及びＳ１を取り出す。
【００７９】
同様に、図１６Ｂに示すように、弱露光シーケンスＪ１において、制御演算装置１０７は、照射光１１０の照射強度がＡＬｏｗ＜ＡＨｉｇｈとなり、露光期間が照射光１１０の立ち上がりから反射光１１１の立下りまでを含むように照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷Ｓ０’＋ＢＧを得る。次に、弱露光シーケンスＪ２において、制御演算装置１０７は、照射光１１０の照射強度がＡＬｏｗとなり、露光期間が照射光１１０の立ち下がりから開始するように照射タイミングの制御１１２及び露光タイミングの制御１１３を行い、反射光１１１に基づく信号電荷はＳ１’＋ＢＧを得る。また、背景露光シーケンスＢ０の動作は図１６Ａと同様である。その後、制御演算装置１０７は、Ｓ０’＋ＢＧ及びＳ１’＋ＢＧからＢＧを減算することにより、背景光に依存しない信号電荷Ｓ０’及びＳ１’を取り出す。
【００８０】
また、図１６Ａ及び図１６Ｂでは説明の都合上、各露光シーケンスをそれぞれ１回のみ示しているが、実施上はＳ／Ｎの観点から十分な量の信号電荷を得るため、図１７に示すように各露光シーケンスを１フレーム期間にα×β回繰り返し行う。
【００８１】
なお、赤外光源１０３の特性上、ＡＨｉｇｈ、及びＡＬｏｗを所望の強度に調整することが困難な場合は、強露光シーケンスＫ１からＫ２の繰り返しをαＨｉｇｈ×β回、弱露光シーケンスＪ１からＪ２の繰り返しをαＬｏｗ×β回とすることで、１フレーム期間における総光量を個別に調整してもよい。この場合、強露光シーケンスＫ１からＫ２と、弱露光シーケンスＪ１からＪ２とで、信号電荷に含まれる背景光成分の電荷量が異なるため、減算するＢＧに対してαＨｉｇｈ：αＬｏｗの比率で補正を行う。
【００８２】
次に、図６及び図７から図１２を用いて、各露光シーケンスにおける固体撮像素子１０６の動作タイミングについて説明する。図５は、１フレーム期間を構成する６種類の露光シーケンスにおける、光電変換部４及び垂直転送部５の駆動タイミングの一例を示しており、図７から図１２は、信号電荷の加算及び転送のイメージを示している。なお、図５では、説明を簡単にするため、β＝１回分の動作を抜き出しており、各露光シーケンスの繰り返しを２回ずつ（αＨｉｇｈ＝αＬｏｗ＝２）としている。また、図７から図１２では、信号電荷の読出し及び転送の方向を矢印で示している。
【００８３】
まず、図６の強露光シーケンスＫ１では、φＶ１及びφＶ３の電圧をＨｉｇｈレベル、φＶ２及びφＶ４の電圧をＬｏｗレベルにすることで、奇数列の垂直転送部５のＶ１及びＶ３に接続された４つの光電変換部４から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間ＴｅだけφＳｕｂの電圧をＬｏｗレベルにすることで、図７（ａ）に示すように、４つの光電変換部４からの信号電荷３１が奇数列の垂直転送部５に蓄積される。なお、信号電荷３１には照射光成分３１ａ、背景光成分３１ｂが含まれる。また、信号電荷３１は垂直転送部５のＶ１及びＶ３に分かれて蓄積されており、図６の時刻Ｔ１においてφＶ１、φＶ２、及びφＶ３の電圧をＭｉｄｄｌｅレベルにすることで、図７（ｂ）に示すように１パケットとなり、４つの光電変換部４からの信号電荷を加算したことになる。その後、図７（ｃ）に示すように、信号電荷３１は順方向（図面下方向）に垂直転送され、Ｖ２からＶ４に蓄積された状態になる。
【００８４】
次に、図６の弱露光シーケンスＪ１では、φＶ２及びφＶ４の電圧をＨｉｇｈレベル、φＶ１及びφＶ３の電圧をＬｏｗレベルにすることで、偶数列の垂直転送部５のＶ２及びＶ４に接続された４つの光電変換部４から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間ＴｅだけφＳｕｂの電圧をＬｏｗレベルにすることで、図８（ａ）に示すように、４つの光電変換部４からの信号電荷３２が偶数列の垂直転送部５に蓄積される。なお、信号電荷３２には照射光成分３２ａ、背景光成分３２ｂが含まれる。また、信号電荷３１及び信号電荷３２は、垂直転送部５のＶ２及びＶ４に分かれて蓄積されており、図６の時刻Ｔ２においてφＶ２、φＶ３、及びφＶ４の電圧をＭｉｄｄｌｅレベルにすることで、図８（ｂ）に示すように、それぞれが１パケットとなる。その後、図８（ｃ）に示すように、信号電荷３１及び信号電荷３２は順方向（図面下方向）に垂直転送され、Ｖ５及びＶ６に蓄積された状態になる。
【００８５】
次に、図６の強露光シーケンスＫ２では、露光期間の開始時刻をずらして強露光シーケンスＫ１と同様の駆動を行うことで、図９（ａ）に示すように、４つの光電変換部４からの信号電荷３３が奇数列の垂直転送部５に蓄積される。このとき、信号電荷３１は、先の順方向転送によりＶ５及びＶ６に移動しているため、信号電荷３３と混合されることはない。なお、信号電荷３３には照射光成分３３ａ、背景光成分３３ｂが含まれる。また、信号電荷３３は垂直転送部５のＶ１及びＶ３に分かれて蓄積されており、図６の時刻Ｔ３においてφＶ１、φＶ２、及びφＶ３の電圧をＭｉｄｄｌｅレベルにすることで、図９（ｂ）に示すように１パケットとなり、４つの光電変換部４からの信号電荷を加算したことになる。その後、図９（ｃ）に示すように、信号電荷３３は順方向（図面下方向）に垂直転送され、Ｖ２からＶ４に蓄積された状態になる。
【００８６】
次に、図６の弱露光シーケンスＪ２では、露光期間の開始時刻をずらして弱露光シーケンスＪ１と同様の駆動を行うことで、図１０（ａ）に示すように、４つの光電変換部４からの信号電荷３４が偶数列の垂直転送部５に蓄積される。このとき、信号電荷３２は、先の順方向転送によりＶ５及びＶ６に蓄積されているため、信号電荷３４と混合されることはない。なお、信号電荷３４には照射光成分３４ａ、背景光成分３４ｂが含まれる。また、信号電荷３３及び信号電荷３４は、垂直転送部５のＶ２及びＶ４に分かれて蓄積されており、図６の時刻Ｔ４においてφＶ２、φＶ３、及びφＶ４の電圧をＭｉｄｄｌｅレベルにすることで、図１０（ｂ）に示すように、それぞれが１パケットとなる。その後、図１０（ｃ）に示すように、信号電荷３３及び信号電荷３４は順方向（図面下方向）に垂直転送され、Ｖ５及びＶ６に蓄積された状態になる。
【００８７】
最後に、図６の背景露光シーケンスＢ０では、赤外光源からの照射を行わずに強露光シーケンスＫ１と同様の駆動を行うことで、図１１（ａ）に示すように、４つの光電変換部４からの信号電荷３５が奇数列の垂直転送部５に蓄積される。このとき、信号電荷３３は、先の順方向転送によりＶ５及びＶ６に移動しているため、信号電荷３５と混合されることはない。また、信号電荷３５は垂直転送部５のＶ１及びＶ３に分かれて蓄積されており、図６の時刻Ｔ５においてφＶ１、φＶ２、及びφＶ３の電圧をＭｉｄｄｌｅレベルにすることで、図１１（ｂ）に示すように１パケットとなり、４つの光電変換部４からの信号電荷を加算したことになる。その後、図１２（ｃ）に示すように、信号電荷３１から信号電荷３５は逆方向（図面上方向）に垂直転送され、信号電荷３１及び信号電荷３２がＶ１からＶ３に蓄積された状態、即ち再び強露光シーケンスＫ１が実行可能な状態となる。なお、信号電荷３６の位置は空パケットとなり、使用されない。
【００８８】
以上の動作をβ回の繰りし行うことで、１フレーム期間分の反射光１１１に対する５種類の信号電荷を、高感度かつ独立に垂直転送部５に蓄積することが可能である。
【００８９】
なお、強露光シーケンスＫ１からＫ２、及び弱露光シーケンスＪ１からＪ２における照射光１１０の照射強度の違いから、信号電荷量Ｓ０＋ＢＧ及びＳ１＋ＢＧと、Ｓ０’＋ＢＧ及びＳ１’＋ＢＧは、対象物の反射率及び距離に対して感度差を持つ。
【００９０】
式１及び式３は、本実施形態に係る制御演算装置１０７における２種類の距離ｚ及びｚ’の算出部を示す式である。光速をｃとすると、式１より、距離ｚは強露光シーケンスＫ１から２及び背景露光シーケンスＢ０より得られる背景光の影響を除去した信号電荷Ｓ０及びＳ１を用いて算出される。同様に、式３より、距離ｚ’は弱露光シーケンスＪ１からＪ２及び背景露光シーケンスＢ０より得られる背景光の影響を除去した信号電荷Ｓ０’及びＳ１’を用いて算出される。なお、Ｓ０＝零レベルの場合は除算が正しく行えないため、距離ｚは算出不可である。また、Ｓ０＋ＢＧ及びＳ１＋ＢＧ＝飽和レベルの場合は、Ｓ０及びＢＧが正しく取り出せないため、距離ｚは算出不可である。同様に、Ｓ１＝零レベル、Ｓ０’＋ＢＧ及びＳ１’＋ＢＧ＝飽和レベルの場合、距離ｚ’は算出不可である。
【００９１】
ｚ＝（ｃ×Ｔｐ／２）×（Ｓ１／Ｓ０）  ・・・式１（再掲）
ｚ’＝（ｃ×Ｔｐ／２）×（Ｓ１’／Ｓ０’）  ・・・式３
【００９２】
よって、制御演算装置１０７は、５種類の信号電荷の量に応じて、２種類の距離ｚ及びｚ’のいずれを算出すべきかを選択する。例えば図１８に示すように、まず条件１において、Ｓ０＋ＢＧまたはＳ１＋ＢＧが飽和レベルの場合は条件２へ、そうでなければ条件３へ進む。次に条件２において、Ｓ０’＋ＢＧが飽和レベル、またはＳ０’が零レベルの場合は測距不可とし、そうでなければｚ’を採用する。また条件３において、Ｓ０が零レベルの場合はｚを採用し、そうでなければ測距不可とする。
【００９３】
以上の距離算出部の選択により、対象物の反射率や距離の影響で信号電荷が飽和レベル及び零レベルになり、測距不可となる領域を最小限に抑えることができる。
【００９４】
以上の動作により、１フレーム期間に５種類の信号電荷を垂直転送部に独立に蓄積することができる。また、４つの光電変換部の信号電荷を加算しているため、従来の２つの光電変換部の信号電荷を加算する方法に比べて感度が実質的に２倍になり、蓄積する信号電荷の種類が増加したことによる各電荷量の減少を相殺できる。したがって、５種類の信号電荷から、対象物の反射率や距離に応じた距離算出部を選択することができ、撮影対象空間を選ばない測距装置を実現できる。
【００９５】
（第４の実施形態）
第４の実施形態の撮像装置は、対象物として、生体等の光散乱体を対象としている。より具体的には、本実施形態の撮像装置は、異なるピーク波長を有する２種類の赤外光を利用することにより、例えば、観測すべき被検者の表皮と脳内の血流変化量の分布と、その時間変化とを検出する。これにより、当該分布を示す、静止画像または動画像の２次元画像を生成することができる。当該画像の情報を利用することにより、例えば、被検者の脳活動（例えば、集中度または感情等）を推定することができる。
【００９６】
本実施形態の撮像装置は、上記のような生体情報を非接触でしかも同一フィールド内で検出することができるため、検出に伴う煩わしさを解消することができ、従来技術と比較して脳血流情報の検出精度を大きく向上させることができる。
【００９７】
以下、このような高精度の検出を可能とする本実施形態の撮像装置について説明する。
【００９８】
図１９は、本実施形態における撮像装置の構成を模式的に示す図である。図１９には、撮像装置だけでなく、検出対象である対象物１９０１（人体頭部）や撮影空間１９００も示されている。
【００９９】
本実施形態は、それぞれ互いに異なる波長のパルス光を出射する２つの光源を用いる点が実施形態１〜３と異なっている。実施形態４における撮像装置を用いて、血流のヘモグロビン情報を求める例について説明する。
【０１００】
本実施形態の撮像装置は第１の光源１９０３と、第２の光源１９０４と、光学系１９０５と、光学フィルタ１９０６と固体撮像素子１９０７と、制御演算装置１９０８とを備える。
【０１０１】
第１の光源１９０３、第２の光源１９０４は、対象物１９０１が位置する方向に向けてパルス光を出射する。本実施形態では、第１の光源１９０３は、中心波長が７５０ｎｍの狭帯域のパルス光を出射するレーザ光源であり、第２の光源は、中心波長が８５０ｎｍの狭帯域のパルス光を出射するレーザ光源である。対象物１９０１からは表面反射及び内部で拡散されたのち反射される反射光成分１９１２が光学系１９０５に入射される。光学フィルタ１９０６は、光学系１９０５と固体撮像素子１９０７との間に配置され、第１の光源１９０３、第２の光源１９０４からの光の波長に相当する波長の光のみを主に透過させる。制御演算装置１９０８は、第１の光源１９０３、第２の光源１９０４、および固体撮像素子１９０７に接続され、これらの動作を制御する。より具体的には、制御演算装置１９０８は、第１の光源１９０３、第２の光源１９０４の発光タイミング１９１３と、固体撮像素子１９０７の各画素の信号蓄積および信号排出のタイミング１９１４とを同期して制御する。
【０１０２】
制御演算装置１９０８は、固体撮像素子１９０７に接続され、固体撮像素子１９０７から出力された電気信号１９１５に基づいて、画像データ１９１６（例えば２次元の動画像のデータ）を生成して出力する。生成された画像データは、例えば不図示のディスプレイに送られ、脳血流の状態を示す画像がディスプレイに表示され得る。
【０１０３】
これにより、生体内部の頭皮および脳血流の情報を高い精度で検出することができ、特に、血流に含まれる酸素化ヘモグロビンと脱酸素化ヘモグロビンの変化量を検出することができる。
【０１０４】
以下、各構成要素とその動作をより詳細に説明する。
【０１０５】
本実施形態における第１の光源１９０３は、中心波長が７５０ｎｍの狭帯域のパルス光を出射、第２の光源１９０４は、中心波長が７５０ｎｍの狭帯域のパルス光を出射するレーザーパルス光源である。第１の光源１９０３及び第２の光源１９０４は、後述するように、制御演算装置１９０８によって決定された所定のパターンでパルス光を繰り返し出射する。第１の光源１９０３及び第２の光源１９０４が出射するパルス光は、例えば、立ち上り時間である立ち上りを開始してから完全に立ち上がるまでの時間と、立ち下り時間である立ち下りを開始してから完全に立ち下るまでの時間がゼロに近い矩形波状の光であり得る。
【０１０６】
第１の光源１９０３及び第２の光源１９０４は、パルス光の立ち上り部分と立ち下り部分が時間軸に対して垂直に近い（即ち、時間応答特性が急進な）レーザーダイオード（ＬＤ）などの光源であり得る。第１の光源１９０３及び第２の光源１９０４は、例えば半導体レーザ、固体レーザ、ファイバレーザなどの、パルス光を発する任意の種類の光源が用いられ得る。
【０１０７】
本実施形態の撮像装置では、対象物１９０１が人体であるため、網膜への影響が考慮された第１の光源１９０３及び第２の光源１９０４が用いられ得る。例えば、レーザ光源を使用する場合、各国で策定されているレーザ安全基準のクラス１を満足する光源が用いられ得る。クラス１が満足されている場合、被爆放出限界（ＡＥＬ）が１ｍＷを下回るほどの低照度の光が対象物１９０１に照射される。第１の光源１９０３及び第２の光源１９０４自体がクラス１を満たしていなくても、他の光学素子との組合せによってクラス１が満たされていてもよい。例えば、拡散板またはＮＤフィルタなどの素子が第１の光源１９０３及び第２の光源１９０４と対象物１０２との間に配置され、光が拡散または減衰されることによってレーザ安全基準のクラス１が満たされてもよい。
【０１０８】
第１の光源１９０３及び第２の光源１９０４が発する光の波長は、７５０ｎｍ及び８５０ｎｍに限定されない。例えば６５０ｎｍ以上９５０ｎｍ以下の波長範囲に含まれる任意の波長の光（赤色光または近赤外光）が用いられ得る。上記の波長範囲は、「生体の窓」と呼ばれており、生体内の水分および皮膚に比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。本実施形態のように、対象物１９０１の皮膚及び脳の血流変化を検出する場合、使用される光は主に酸素化ヘモグロビンおよび脱酸素化ヘモグロビンに吸収されると考えられ、それぞれ波長に対する光の吸収度合いは異なる。血流に変化が生じた場合、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの濃度が変化すると考えられるため、光の吸収度合いも変化する。したがって、血流が変化する前後では検出される光量も変化する。
【０１０９】
なお、本開示において、対象物１９０１は生体に限定されない。例えば、ガス、薬品、食品などの他の種類の光散乱体を対象物１９０１にすることも可能である。第１の光源１９０３及び第２の光源１９０４が発する光の波長域は、近赤外線の波長域（約７００ｎｍ以上約２５００ｎｍ以下）に限定されず、例えば可視光の波長域（約４００ｎｍ以上約７００ｎｍ以下）、紫外線の波長域（約１０ｎｍ以上約４００ｎｍ以下）であってもよい。用途によっては、中赤外線、遠赤外線、またはテラヘルツ波もしくはミリ波等の電波域の電磁波を使用することもできる。
【０１１０】
図２０で示す通り、第１の光源１９０３及び第２の光源１９０４から対象物１９０１に到達した光は、対象物１９０１の表面で反射する表面反射成分Ｉ１と、対象物１９０１の内部で１回反射もしくは散乱、または多重散乱する内部散乱成分Ｉ２とに分かれる。表面反射成分Ｉ１は、直接反射成分、拡散反射成分の２つを含む。直接反射成分は、入射角と等しい反射角で反射される成分である。拡散反射成分は、表面の凹凸形状に起因して拡散して反射される成分である。
【０１１１】
本開示では、対象物１９０１の表面で反射する表面反射成分Ｉ１は、これら２つの成分を含むものとする。また、内部散乱成分Ｉ２は、表面近傍の内部組織によって散乱して反射する成分を含む。表面反射成分Ｉ１および内部散乱成分Ｉ２は、反射または散乱によって進行方向が変化する。
【０１１２】
この時、対象物１９０１である頭部に照射された７５０ｎｍ及び８５０ｎｍの波長の光の大部分のエネルギーは、対象物１９０１の表面で反射される。しかし、ごく一部の成分は対象物１９０１の深部まで散乱しながら到達し、さらに散乱を継続して、極少量のエネルギー成分が内部散乱成分をより多く含んで、再び頭部の額表面に到達する。その光の一部は、光学系１９０５および光学フィルタ１９０６を透過して、固体撮像素子１９０７に到達する。
【０１１３】
ここで対象物１９０１の深部まで散乱しながら到達するのに時間を有するため、反射光の立ち上がり近傍を露光した信号には対象物１９０１の表面情報が多く含まれ、反射光の立ち下がり近傍を露光した信号には対象物１９０１の深部情報が多く含まれることが極めて重要である。
【０１１４】
本実施形態における光学系１９０５は、固体撮像素子１９０７に光を効率よく結像するためのものであり、複数枚数を組み合わせたものであってもよく、一枚のレンズであってもよい。また、テレセントリックな光学系であってもよい。対象物の画角を調節するために魚眼レンズや広角レンズを用いたり、ズームレンズを用いたりしても良い。また、明るさを調節するために、レンズの前後又は途中に瞳を設けても良い。
【０１１５】
図２１は、光学フィルタ１９０６の分光透過率の例を示すグラフである。図示されるように、光学フィルタ１９０６は、第１の光源１９０３から出射される７５０ｎｍを中心波長とする狭帯域の光と、第２の光源１９０４から出射される８５０ｎｍを中心波長とする狭帯域の光とを透過させ、それ以外の波長の光を遮光する。このような光学フィルタ１９０６を配置することにより、外乱光（例えば背景光１９１７）が固体撮像素子１９０７に入射することを抑制できる。
【０１１６】
固体撮像素子１９０７は、第１の光源１９０３及び第２の光源１９０４から出射され対象物１９０１で反射された光を受光する。固体撮像素子１９０７は、撮像面上に２次元に配列された複数の画素を有し、対象物１９０１の内部の２次元情報を取得する。固体撮像素子１９０７は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサであり得る。
【０１１７】
固体撮像素子１９０７は、電子シャッタを有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する１回の信号蓄積の期間である露光期間の長さに相当するシャッタ幅と、１回の露光期間が終了してから次の露光期間が開始するまでの時間とを制御する回路である。本実施例において、電子シャッタが露光している状態を「ＯＰＥＮ」と表現し、電子シャッタが露光を停止している状態を「ＣＬＯＳＥ」と表現する。固体撮像素子１９０７は、電子シャッタによって１回の露光期間が終了してから次の露光期間が開始するまでの時間をサブナノ秒（例えば、３０ｐｓから１ｎｓ）の時間スケールで調整できる。
【０１１８】
対象物１９０１が例えば人の額であり、脳血流などの情報を検出する用途では、対象物１９０１の内部での光の減衰率は非常に大きく、例えば、１００万分の１程度に減衰し得る。このため、内部散乱成分Ｉ２を検出するには、１パルスの照射だけでは光量が不足する場合がある。この場合、第１の光源１９０３及び第２の光源１９０４がパルス光を複数回発光し、それに応じて固体撮像素子１９０７も電子シャッタによって複数回露光するようにしてもよい。そのような動作によれば、検出信号が積算されることにより、感度を向上させることができる。
【０１１９】
図４Ａは本実施例の固体撮像素子の構成図である。第１の実施例と同様の構成であるが動作が異なる。ここでは、図面の簡略化のために、垂直方向に４画素分、水平方向に４画素分のみ示している。
【０１２０】
この固体撮像素子は、半導体基板に行列状に配置され、入射光を信号電荷に変換する複数の光電変換部（フォトダイオード）４と、光電変換部４から読み出された信号電荷を蓄積し、列方向（垂直方向）に転送する垂直転送部５と、垂直転送部５によって転送された信号電荷を行方向（水平方向）に転送する水平転送部１０と、水平転送部１０によって転送された信号電荷を出力する電荷検出部１１とを備える。
【０１２１】
ここで、固体撮像素子はインターライントランスファー方式のＣＣＤであり、例えば、垂直転送部５は、垂直方向に隣接する２つの光電変換部４あたりに垂直転送電極８が１０ゲートある１０相駆動であり、水平転送部１０は２相駆動である。垂直転送電極８のうちφＶ１及びφＶ３は奇数列の垂直転送部５に接続された４つの光電変換部４に対する読出し電極を兼ねており、φＶ２及びφＶ４は偶数列の垂直転送部５に接続された４つの光電変換部４に対する読出し電極を兼ねた構成になっている。これにより、４つの光電変換部４に溜まった信号電荷は、φＶ１及びφＶ３に高電圧が印可されている場合は、奇数列の垂直転送部５の、例えば信号パケット９ａで表される位置に加算して読出され、φＶ２及びφＶ４に高電圧が印可されている場合は、偶数列の垂直転送部５の、例えば信号パケット９ｂで表される位置に加算して読出される。その後、垂直転送部５上の信号電荷は、垂直転送電極８への電圧印可により列方向に転送される。
【０１２２】
また、光電変換部４には、信号電荷を掃き捨てるためのＶＯＤ（縦型オーバーフロードレイン）１２が備えられている。ただし、本開示の理解を容易とするため、ＶＯＤ１２は画素の面横方向に記載しているが、実際には画素のバルク方向（半導体基板の深さ方向）に構成されている。ＶＯＤ１２の基板に接続されている電極φＳｕｂに高電圧が印加されると全ての光電変換部４の信号電荷は一括して基板に排出される構成となっている。
【０１２３】
図２２Ａ及び図２２Ｂは、第４の実施形態に係る脳血流測定装置における動作タイミング及び動作原理を説明する図である。動作は７５０ｎｍシーケンスＰ１からＰ３及び、８５０ｎｍシーケンスＱ１からＱ３の、計６種類の露光シーケンスからなり、各露光シーケンスにおいて得られる信号電荷量に基づき、２種類の信号を算出する。ここで、７５０ｎｍの照射光１９１０及び８５０ｎｍの照射光１９１１のパルス幅（照射時間）を各々Ｔｐ及びＴｐ’とする。７５０ｎｍシーケンスＰ１からＰ３の露光期間幅をＴｅ、８５０ｎｍシーケンスＱ１からＱ３の露光期間をＴｅ’、７５０ｎｍシーケンスＰ１からＰ３の第１光源の反射光に含まれる背景光成分をＢＧ、８５０ｎｍシーケンスＱ１からＱ３の第２光源の反射光に含まれる背景光成分をＢＧ’とする。
【０１２４】
まず、図２２Ａに示すように、７５０ｎｍシーケンスＰ１において、露光期間Ｔｅは、第１の光源１９０３から照射される照射光１９１０の反射光１９１２の立ち上がり近傍を含んでおり、反射光１９１２に基づく信号電荷の量はＳ０＋ＢＧである。一方、７５０ｎｍシーケンスＰ２において露光期間Ｔｅは、第１の光源１９０３から照射される照射光１９１０の反射光１９１２の立ち下がり近傍を含んでおり、反射光１９１２に基づく信号電荷の量はＳ１＋ＢＧである。また、７５０ｎｍシーケンスＰ３においては照射光１９１０がないため、反射光１９１２に基づく信号電荷の量はＢＧである。したがって、Ｓ０＋ＢＧ及びＳ１＋ＢＧからＢＧを減算することにより、背景光に依存しない信号電荷Ｓ０及びＳ１を取り出すことができる。
【０１２５】
同様に、図２２Ｂに示すように、８５０ｎｍシーケンスＱ１において露光期間Ｔｅ’は、第２の光源１９０４から照射される照射光１９１１の反射光１９１２の立ち上がり近傍を含んでおり、反射光１９１２に基づく信号電荷の量はＳ０’＋ＢＧ’である。一方、８５０ｎｍシーケンスＱ２において露光期間Ｔｅ’は、第２の光源１９０４から照射される照射光１９１１の反射光１９１２の立ち下がり近傍を含んでおり、反射光１９１２に基づく信号電荷の量はＳ１’＋ＢＧ’である。また、８５０ｎｍシーケンスＱ３においては照射光１９１１がないため、反射光１９１２に基づく信号電荷の量はＢＧ’である。したがって、Ｓ０’＋ＢＧ’及びＳ１’＋ＢＧ’からＢＧ’を減算することにより、背景光に依存しない信号電荷Ｓ０’及びＳ１’を取り出すことができる。
【０１２６】
また、図２２Ａ及び図２２Ｂでは、７５０ｎｍシーケンスＰ３及び８５０ｎｍシーケンスＱ３において、第１の光源１９０３及び第２の光源１９０４からの照射を行っていないが、図２２Ｃに示すように照射を行ったうえで、反射光１９１２に含まれる照射光成分が無視できるレベルまで減衰する時間ΔＴｂｇ及びΔＴｂｇ’だけ露光期間の開始時間を遅延させることで、背景光成分のみを露光するようにしてもよい。
【０１２７】
また、図２２Ａ及び図２２Ｂでは説明の都合上、各露光シーケンスをそれぞれ１回のみ示しているが、実施上はＳ／Ｎの観点から十分な量の信号電荷を得るため、図２３に示すように７５０ｎｍシーケンスＰ１からＰ３を１フレーム期間にα750nm×β回、８５０ｎｍシーケンスＱ１からＱ３をα850nm×β回繰り返し行う。ここで、７５０ｎｍシーケンスＰ１からＰ３と８５０ｎｍシーケンスＱ１からＱ３に対して光源パワーや固体撮像素子の感度等によるレベル差をα750nmとα850nmを各々独立に設定することで補正することも可能である。
【０１２８】
次に、図２４及び図７から図１２を用いて、図４Ａの固体撮像素子の動作タイミングについて説明する。図６は、１フレーム期間を構成する６種類の露光シーケンスにおける、光電変換部４及び垂直転送部５の駆動タイミングの一例を示しており、図７から図１２は、信号電荷の加算及び転送のイメージを示している。なお、図２４では、説明を簡単にするため、β＝１回分の動作を抜き出しており、各露光シーケンスの繰り返しを２回ずつ（α750nm＝α850nm＝２）としている。また、図７から図１２では、信号電荷の読出し及び転送の方向を矢印で示している。
【０１２９】
まず、図２４の７５０ｎｍシーケンスＰ１では、φＶ１及びφＶ３の電圧をＨｉｇｈレベル、φＶ２及びφＶ４の電圧をＬｏｗレベルにすることで、奇数列の垂直転送部５のＶ１及びＶ３に接続された４つの光電変換部４から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間ＴｅだけφＳｕｂの電圧をＬｏｗレベルにすることで、図７（ａ）に示すように、４つの光電変換部４からの信号電荷３１が奇数列の垂直転送部５に蓄積される。なお、信号電荷３１には照射光成分３１ａ、背景光成分３１ｂが含まれる。また、信号電荷３１は垂直転送部５のＶ１及びＶ３に分かれて蓄積されており、図２３の時刻Ｔ１においてφＶ１、φＶ２、及びφＶ３の電圧をＭｉｄｄｌｅレベルにすることで、図７（ｂ）に示すように１パケットとなり、４つの光電変換部４からの信号電荷を加算したことになる。その後、図７（ｃ）に示すように、信号電荷３１は順方向（図面下方向）に垂直転送され、Ｖ２からＶ４に蓄積された状態になる。
【０１３０】
次に、図２４の８５０ｎｍシーケンスＱ１では、φＶ２及びφＶ４の電圧をＨｉｇｈレベル、φＶ１及びφＶ３の電圧をＬｏｗレベルにすることで、偶数列の垂直転送部５のＶ２及びＶ４に接続された４つの光電変換部４から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間Ｔｅ’だけφＳｕｂの電圧をＬｏｗレベルにすることで、図８（ａ）に示すように、４つの光電変換部４からの信号電荷３２が偶数列の垂直転送部５に蓄積される。なお、信号電荷３２には照射光成分３２ａ、背景光成分３２ｂが含まれる。また、信号電荷３１及び信号電荷３２は、垂直転送部５のＶ２及びＶ４に分かれて蓄積されており、図６の時刻Ｔ２においてφＶ２、φＶ３、及びφＶ４の電圧をＭｉｄｄｌｅレベルにすることで、図８（ｂ）に示すように、それぞれが１パケットとなる。その後、図８（ｃ）に示すように、信号電荷３１及び信号電荷３２は順方向（図面下方向）に垂直転送され、Ｖ５及びＶ６に蓄積された状態になる。
【０１３１】
次に、図２４の７５０ｎｍシーケンスＰ２では、露光期間の開始時刻をずらして７５０ｎｍシーケンスＰ１と同様の駆動を行うことで、図９（ａ）に示すように、４つの光電変換部４からの信号電荷３３が奇数列の垂直転送部５に蓄積される。このとき、信号電荷３１は、先の順方向転送によりＶ５及びＶ６に移動しているため、信号電荷３３と混合されることはない。なお、信号電荷３３には照射光成分３３ａ、背景光成分３３ｂが含まれる。また、信号電荷３３は垂直転送部５のＶ１及びＶ３に分かれて蓄積されており、図２４の時刻Ｔ３においてφＶ１、φＶ２、及びφＶ３の電圧をＭｉｄｄｌｅレベルにすることで、図９（ｂ）に示すように１パケットとなり、４つの光電変換部４からの信号電荷を加算したことになる。その後、図９（ｃ）に示すように、信号電荷３３は順方向（図面下方向）に垂直転送され、Ｖ２からＶ４に蓄積された状態になる。
【０１３２】
次に、図２４の８５０ｎｍシーケンスＱ２では、露光期間の開始時刻をずらして８５０ｎｍシーケンスＱ１と同様の駆動を行うことで、図１０（ａ）に示すように、４つの光電変換部４からの信号電荷３４が偶数列の垂直転送部５に蓄積される。このとき、信号電荷３２は、先の順方向転送によりＶ５及びＶ６に蓄積されているため、信号電荷３４と混合されることはない。なお、信号電荷３４には照射光成分３４ａ、背景光成分３４ｂが含まれる。また、信号電荷３３及び信号電荷３４は、垂直転送部５のＶ２及びＶ４に分かれて蓄積されており、図２４の時刻Ｔ４においてφＶ２、φＶ３、及びφＶ４の電圧をＭｉｄｄｌｅレベルにすることで、図１０（ｂ）に示すように、それぞれが１パケットとなる。その後、図１０（ｃ）に示すように、信号電荷３３及び信号電荷３４は順方向（図面下方向）に垂直転送され、Ｖ５及びＶ６に蓄積された状態になる。
【０１３３】
次に、図２４の７５０ｎｍシーケンスＰ３では、赤外光源からの照射を行わずに７５０ｎｍシーケンスＰ１と同様の駆動を行うことで、図１１（ａ）に示すように、４つの光電変換部４からの信号電荷３５が奇数列の垂直転送部５に蓄積される。このとき、信号電荷３３は、先の順方向転送によりＶ５及びＶ６に移動しているため、信号電荷３５と混合されることはない。また、信号電荷３５は垂直転送部５のＶ１及びＶ３に分かれて蓄積されており、図６の時刻Ｔ５においてφＶ１、φＶ２、及びφＶ３の電圧をＭｉｄｄｌｅレベルにすることで、図１１（ｂ）に示すように１パケットとなり、４つの光電変換部４からの信号電荷を加算したことになる。その後、図１１（ｃ）に示すように、信号電荷３５は順方向（図面下方向）に垂直転送され、Ｖ２からＶ４に蓄積された状態になる。
【０１３４】
最後に、図２４の８５０ｎｍシーケンスＱ３では、赤外光源からの照射を行わずに８５０ｎｍシーケンスＱ１と同様の駆動を行うことで、図１２（ａ）に示すように、４つの光電変換部４からの信号電荷３６が偶数列の垂直転送部５に蓄積される。このとき、信号電荷３４は、先の順方向転送によりＶ５及びＶ６に蓄積されているため、信号電荷３６と混合されることはない。また、信号電荷３５及び信号電荷３６は、垂直転送部５のＶ２及びＶ４に分かれて蓄積されており、図２４の時刻Ｔ６においてφＶ２、φＶ３、及びφＶ４の電圧をＭｉｄｄｌｅレベルにすることで、図１０（ｂ）に示すように、それぞれが１パケットとなる。その後、図１２（ｃ）に示すように、信号電荷３１から信号電荷３６は逆方向（図面上方向）に垂直転送され、信号電荷３１及び信号電荷３２がＶ１からＶ３に蓄積された状態になる。これにより、再び７５０ｎｍシーケンスＰ１が実行可能となり、β回の繰りし動作を行う。
【０１３５】
このようにして、対象物１９０１の表面情報を多く含む精度の高いＳ０及びＳ０’、対象物１９０１の深部情報をより多く含む精度の高いＳ１及びＳ１’が固体撮像素子から出力されることになる。
【０１３６】
なお、本実施形態では、ＣＣＤ型のイメージセンサの例で説明したが、固体撮像素子１９０７はＣＭＯＳ型であっても、単一光子計数型素子であっても、増幅型イメージセンサであるＥＭＣＣＤ、ＩＣＣＤであっても構わない。
【０１３７】
制御演算装置１９０８は、例えば、マイクロプロセッサおよびメモリ、ハードロジック回路の組合せ、またはプロセッサおよびメモリを内蔵するマイクロコントローラ等の集積回路であり得る。
【０１３８】
また前期ハードロジック回路は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）等であり得る。
【０１３９】
制御演算装置１９０８は第１の光源１９０３及び第２の光源１９０４への点滅指示、固体撮像素子１９０７への撮像指示、及び固体撮像素子からの信号の演算処理も司る。
【０１４０】
制御演算装置１９０８の信号処理部は、固体撮像素子１９０７から出力された画像信号を処理する回路であり、本実施形態では固体撮像素子１９０７から出力された信号に基づき、皮膚及び脳血流の時間変化を示す動画像データを生成する。そのような動画像データに限らず、他の情報を生成してもよい。例えば、他の機器と同期させることで脳における血流量、血圧、血中酸素飽和度、または心拍数などの生体情報を生成してもよい。
【０１４１】
脳血流量または血流内成分（例えばヘモグロビン）の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の感情の変化に応じて神経細胞の活動が変化することにより、脳血流量または血液内の成分が変化する。したがって、脳血流量または血液内成分の変化などの生体情報を計測できれば、被検者の心理状態を推定することができる。被検者の心理状態とは、例えば、気分（例えば、快、不快）、感情（例えば、安心、不安、悲しみ、憤りなど）、健康状態（例えば、元気、倦怠）、温度感覚（例えば、暑い、寒い、蒸し暑い）などを意味する。また、これに派生して、脳活動の程度を表す指標、例えば熟練度、習熟度、および集中度なども心理状態に含まれる。制御演算装置１９０８の信号処理部は、脳血流量などの変化に基づいて、被検者の集中度などの心理状態を推定し、推定結果を示す信号を出力してもよい。
【０１４２】
固体撮像素子１９０７から制御演算装置１９０８に送られた、フレーム単位に蓄積された反射光の立ち上り近傍を露光した信号Ｓ０及びＳ０’には主に皮膚の血流変化の情報が含まれ、反射光の立ち下がり近傍を露光した信号Ｓ１及びＳ１’には主に皮膚と脳の血流変化の情報が含まれる。そのため、脳の血流変化の情報のみを抽出するには、これらの信号を用いて、皮膚の血流変化の情報と脳の血流変化の情報とを分離すればよい。
【０１４３】
図２５に示すように、７５０ｎｍと８５０ｎｍの２波長の光源を使用することで、酸素化ヘモグロビン（ＨｂＯ２の実線）と脱酸素化ヘモグロビン（Ｈｂの点線）の赤外線における分子吸収計数が８０５ｎｍを境に反転しており、８０５ｎｍの前後の２波長を照射して、その反射光を分析することにより、酸素化ヘモグロビンと脱酸素化ヘモグロビンの変化量を求めることが可能となる。なお、図２５は、文部科学省のウェブ・ページ中の「第３章  健康なくらしに寄与する光  3  光を用いた非侵襲生体診断」から引用している。
【０１４４】
本発明者らは、皮膚血流変化と脳血流変化はどちらも血管又は毛細血管の膨張・収縮活動に伴うものであり、皮膚及び脳それぞれの血管分布は異なることに着目し、皮膚の血流変化の分布と脳の血流変化の分布とは無相関の関係にあると考えた。この考えに基づき、反射光の立ち上がり成分の信号から作られる画像及び立ち下がり成分の信号から作られる画像にそれぞれ映し出される信号を用いた演算によって、皮膚の血流変化の画像と脳の血流変化の画像とを分離した。以下に、その詳細について説明する。
【０１４５】
立ち上がり成分の信号と立ち下がり成分の信号には、それぞれ皮膚血流変化の情報と脳血流変化の情報とが異なる比率で含まれ、以下の理論式（１）として表される。
【０１４６】
【数１】
2020121705.tif 000003
【０１４７】
【数２】
2020121705.tif 000004
【０１４８】
ここで、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈは係数を示し、Ｓｓ７５０ｎｍとＳｂ７５０ｎｍは７５０ｎｍの波長で照射した際の皮膚血流変化の成分と脳血流変化の成分を示し、Ｓｓ８５０ｎｍとＳｂ８５０ｎｍは８５０ｎｍの波長で照射した際の皮膚血流変化の成分と脳血流変化の成分を示す。すなわち、上記式の左辺は固体撮像素子で検出した既知の画素信号値であり、右辺は未知数である。
【０１４９】
例えば、立ち上がり成分は皮膚血流変化の成分で成り立つと仮定すると、ａ＝１、ｂ＝０、ｅ＝１、ｆ＝０、Ｓｓ７５０ｎｍ＝Ｓ０、Ｓｓ８５０ｎｍ＝Ｓ０’が代入され、ｃとｄ、ｇとｈ及びＳｂ７５０ｎｍ、Ｓｂ８５０ｎｍは未知数となる。このとき、左辺と右辺が等しくなるような未知数の組合せは多数存在する。ここで、皮膚血流変化の分布と脳血流変化の分布とは無相関であることを活かし、皮膚の血流変化Ｓｓ７５０ｎｍ、Ｓｓ８５０ｎｍと脳の血流変化Ｓｂ７５０ｎｍ、Ｓｂ８５０ｎｍの全画素成分において相関係数が０に最も近くなるような係数ｃとｄ、ｇとｈ及びＳｂ７５０ｎｍ、Ｓｂ８５０ｎｍの値を抽出する。
【０１５０】
これにより求まったＳｓ７５０ｎｍとＳｂ７５０ｎｍの信号は、それぞれ７５０ｎｍの波長の光を照射した際の皮膚の血流変化及び脳の血流変化を、Ｓｓ８５０ｎｍとＳｂ８５０ｎｍの信号は、それぞれ８５０ｎｍの波長の光を照射した際の皮膚の血流変化及び脳の血流変化を示す。
【０１５１】
今回、立ち上がり成分は皮膚血流変化の成分に等しい前提で説明したが、若干の脳血流成分も含むことも考えられるため、ａとｂ及びｅとｆを変数として扱ってもよい。
【０１５２】
式（１）及び式（２）では係数を求めるために皮膚血流変化と脳血流変化の分布の相関性を利用したが、独立成分分析等の多変量解析を用いても良い。また、ヒトと同じような光学特性を持つファントムを使って皮膚血流変化と脳血流変化を分離できる最適なａ、ｂ、ｃ、ｄ及びｅ、ｆ、ｇ、ｈを予め求めても良い。
【０１５３】
また、皮膚血流の変化と脳血流の変化は、それぞれ時間的に連続に変化すると考えられる。そのため、フレーム間の相関性が高いと考えられるためフレーム間の相関性及び画素ごとの動きベクトルも求めることで、式（１）、式（２）を満たすＳｓ７５０ｎｍとＳｂ７５０ｎｍ及びＳｓ７５０ｎｍとＳｂ７５０ｎｍを精度よく求めても良い。
【０１５４】
このような画像演算を行うことにより、立ち上がり成分と立ち下がり成分にそれぞれ異なる比率で含まれる皮膚血流変化の成分と脳血流変化の成分から、画像として皮膚血流中の酸素化ヘモグロビン変化及び脱酸素化ヘモグロビン変化と脳血流中の酸素化ヘモグロビン変化と脱酸素化ヘモグロビン変化を切り分けて出力することができる。
【０１５５】
本実施形態では２種類の波長の光を用いたが、３種類又はそれ以上の波長の光を用いても良い。
【０１５６】
以上の動作により、１フレーム期間に６種類の信号電荷を垂直転送部に独立に蓄積することができる。また、４つの光電変換部の信号電荷を加算しているため、従来の２つの光電変換部の信号電荷を加算する方法に比べて感度が実質的に２倍になり、蓄積する信号電荷の種類が増加したことによる各電荷量の減少を相殺できる。したがって、１フレーム内で皮膚血流変化と脳血流変化を分離して出力することが可能となり、連続して動作させれば動画像として表示することが可能となる。
【０１５７】
本撮像装置は頭部内部の散乱した光の変化を捉えることから、画像の２次元解像度を高める必要性は薄いが、頭部内部の散乱光が再び表面に帰って、固体撮像素子に到達するという極めて微弱な光検出が必要なため、２次元解像度を犠牲にすることで感度を高める手法は極めて合理的な方式であると言える。
【０１５８】
以上説明してきたように、第４の実施形態に係る撮像装置において、前記対象物からの反射光の強度が増加を開始してから増加が終了するまでの期間を立ち上がり期間とし、前記対象物からの反射光の強度が減少を開始してから減少が終了するまでの期間を立ち下がり期間としたとき、前記ｍ種類の露光シーケンスにおいて、前記固体撮像素子の露光期間は、前記立ち下がり期間を含まず前記立ち上がり期間の少なくとも一部を含む第１期間と、前記立ち上がり期間を含まず前記立ち下がり期間の一部を含む第２期間とのいずれかと期間が一致するように設定される。
【０１５９】
ここで、前記ｍ種類の露光シーケンスは、互いに異なる照射波長の光を照射する露光シーケンスを含んでもよい。
【０１６０】
ここで、前記撮像装置は時間分解イメージングを応用した光散乱体内部の観測装置であり、前記光電変換部は行列上に配置され、前記ｍ種類の露光シーケンスは、第１から第３の長波長シーケンス、および、第１から第３の短波長シーケンスを含み、前記第１から第３の長波長シーケンスにおける照射波長は、前記第１から第３の短波長シーケンスよりも長く、前記第１の長波長シーケンスおよび前記第１の短波長シーケンスはそれぞれ、前記第１期間を露光期間とし、前記第２の長波長シーケンスおよび前記第２の短波長シーケンスはそれぞれ、前記第２期間を露光期間とし、前記第３の長波長シーケンスおよび前記第３の短波長シーケンスはそれぞれ、前記光源からの照射による反射光成分を含まない背景光を露光し、前記第１から第３の長波長シーケンス、および、前記第１から第３の短波長シーケンスを１フレーム期間内にそれぞれ複数回繰り返し、前記ｎ個の光電変換部は、２行２列からなる４個の前記光電変換部であり、前記第１から第３長波長シーケンスにおいて蓄積した前記信号電荷、および前記第１から第３短波長シーケンスにおいて蓄積した前記信号電荷のそれぞれを用いて、光散乱体内部の構造及び状態を演算により求める演算部を備えてもよい。
【０１６１】
ここで、前記第３の長波長シーケンスおよび前記第３の短波長シーケンスにおいて、前記光源からの照射を行い、反射光が消滅した後の期間を前記露光期間としてもよい。
【０１６２】
ここで、前記演算部は、前記第１から第３の長波長シーケンスより撮像した結果と、前記第１から第３の短波長シーケンスより撮像した結果とを用いて、光散乱体深部の構造および状態と光散乱体表層部の構造及び状態とを求めてもよい。
【０１６３】
なお、第１の実施形態から第４の実施形態における種々の露光シーケンスを組み合わせてもよい。例えば、長露光シーケンスＬ１からＬ３、短露光シーケンスＳ１からＳ３、強露光シーケンスＫ１およびＫ２、弱露光シーケンスＪ１およびＪ２、背景露光シーケンスＢ０、７５０ｎｍシーケンスＰ１からＰ３、８５０ｎｍシーケンスＱ１からＱ３の全部または一部を組み合わせてもよい。
【０１６４】
図２６は、第１から第４の実施形態の各露光シーケンスを組み合わせた動作例を説明する図である。同図では、長露光シーケンスＬ１からＬ３、短露光シーケンスＳ１からＳ３、強露光シーケンスＫ１およびＫ２、弱露光シーケンスＪ１およびＪ２、背景露光シーケンスＢ０、７５０ｎｍシーケンスＰ１からＰ３、８５０ｎｍシーケンスＱ１からＱ３の全部を組み合わせた動作例を示している。
【産業上の利用可能性】
【０１６５】
本開示は、高精度の距離画像を効率良く得ることができるので、特に測距カメラ等の撮像装置に利用することができる。また、非接触で対象物の内部情報を効率よく得ることができるので、生体計測及び材料分析等に利用することができる。
【符号の説明】
【０１６６】
４  光電変換部（ＰＤ）
３１〜３６  信号電荷
３１ａ〜３４ａ  照射光成分
３１ｂ〜３４ｂ  背景光成分
１０１  対象物（被写体）
１０３  赤外光源
１０６  固体撮像素子
１０７  制御演算装置
【図１】
2020121705.tif 000005
【図２Ａ】
2020121705.tif 000006
【図２Ｂ】
2020121705.tif 000007
【図２Ｃ】
2020121705.tif 000008
【図３】
2020121705.tif 000009
【図４Ａ】
2020121705.tif 000010
【図４Ｂ】
2020121705.tif 000011
【図５】
2020121705.tif 000012
【図６】
2020121705.tif 000013
【図７】
2020121705.tif 000014
【図８】
2020121705.tif 000015
【図９】
2020121705.tif 000016
【図１０】
2020121705.tif 000017
【図１１】
2020121705.tif 000018
【図１２】
2020121705.tif 000019
【図１３Ａ】
2020121705.tif 000020
【図１３Ｂ】
2020121705.tif 000021
【図１３Ｃ】
2020121705.tif 000022
【図１４】
2020121705.tif 000023
【図１５】
2020121705.tif 000024
【図１６Ａ】
2020121705.tif 000025
【図１６Ｂ】
2020121705.tif 000026
【図１７】
2020121705.tif 000027
【図１８】
2020121705.tif 000028
【図１９】
2020121705.tif 000029
【図２０】
2020121705.tif 000030
【図２１】
2020121705.tif 000031
【図２２Ａ】
2020121705.tif 000032
【図２２Ｂ】
2020121705.tif 000033
【図２２Ｃ】
2020121705.tif 000034
【図２３】
2020121705.tif 000035
【図２４】
2020121705.tif 000036
【図２５】
2020121705.tif 000037
【図２６】
2020121705.tif 000038
【手続補正書】
【提出日】令和3年5月25日(2021.5.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置であって、
対象物に対して光を照射する光源と、
前記対象物からの反射光を露光し信号電荷として蓄積する固体撮像素子と、
前記光源からの照射と前記固体撮像素子の露光を制御する制御部と、を備え、
前記固体撮像素子は、
前記対象物からの反射光を前記信号電荷に変換する複数の光電変換部と、
前記信号電荷を蓄積する複数の電荷蓄積部と、を備え、
前記撮像装置は、前記照射および露光を制御するためのｍ種類（ｍは４以上の整数）の露光シーケンスを１フレーム期間内に行い、
前記ｍ種類の露光シーケンスに排他的に電荷蓄積部を割り当て、
前記ｍ種類の露光シーケンスのうち少なくとも１種類の露光シーケンスにおいて、ｎ個（ｎは３以上の整数）の前記光電変換部の組合せと１個の前記電荷蓄積部とを対応させ、
前記ｎ個の前記光電変換部から得られる前記信号電荷を、対応する前記電荷蓄積部に加算して蓄積し、
ｋ種類（ｋは１以上の整数）の前記露光シーケンス毎に、前記ｎ個の光電変換部の組合せを変更する
撮像装置。
【請求項２】
前記撮像装置は、前記少なくとも１種類の露光シーケンスを１フレーム期間内に繰り返し行う
請求項１に記載の撮像装置。
【請求項３】
前記ｍ種類の露光シーケンスは、互いに
前記光源からの照射強度、照射時間、照射波長、および前記固体撮像素子の露光期間のうち少なくとも１つが異なる
請求項１または２に記載の撮像装置。
【請求項４】
前記撮像装置は、前記ｍ種類の露光シーケンスの繰り返し回数を、前記光源からの照射強度、照射時間、照射波長、および前記固体撮像素子の露光期間に基づいて設定する
請求項２に記載の撮像装置。
【請求項５】
前記撮像装置は、フレーム毎に前記信号電荷の加算を行う前記ｎ個の光電変換部の組合せを変更する
請求項１から３のいずれか１項に記載の撮像装置。
【請求項６】
前記ｍは５または６であり、
前記複数の光電変換部は行列上に配置され、
前記撮像装置は、５または６種類からなる前記露光シーケンスを１フレーム期間にそれぞれ複数回繰り返し、
前記ｎ個の光電変換部は、２行２列に配置された４個の前記光電変換部の組合せである、
請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像装置はＴＯＦ（Time Of Flight）型の測距装置であり、
前記撮像装置は、前記ｍ種類の露光シーケンスのうち、少なくとも２種類の露光シーケンスにおいて前記電荷蓄積部に蓄積された前記信号電荷を用いて対象物までの距離を算出する距離算出部を備える
請求項３に記載の撮像装置。
【請求項８】
前記ｍ種類の露光シーケンスは、長露光シーケンスと短露光シーケンスとを含み、
前記長露光シーケンスは、前記短露光シーケンスよりも、前記光源からの照射時間と前記固体撮像素子の露光期間がそれぞれ長く設定され、
前記距離算出部は、前記ｍ種類の露光シーケンスに基づいて対象物までの距離を少なくとも２種類算出する
請求項７に記載の撮像装置。
【請求項９】
前記撮像装置はＴＯＦ型の測距装置であり、
前記光電変換部は行列上に配置され、
前記ｍ種類の露光シーケンスは、第１から第３の長露光シーケンス、および、第１から第３の短露光シーケンスを含み、
前記第１から第３の長露光シーケンスにおける前記光源からの照射時間および前記固体撮像素子の露光期間はそれぞれ、前記第１から第３の短露光シーケンスよりも長く、
前記第２の長露光シーケンスにおける露光期間は、前記第１の長露光シーケンスにおける露光期間と異なり、
前記第２の短露光シーケンスにおける露光期間は、前記第１の短露光シーケンスにおける露光期間と異なり、
前記第３の長露光シーケンスおよび前記第３の短露光シーケンスは、前記光源からの照射による反射光成分を含まない背景光を露光し、
前記第１から第３の長露光シーケンス、および、第１から第３の短露光シーケンスを１フレーム期間内にそれぞれ複数回繰り返し、
前記ｎ個の光電変換部は、２行２列からなる４個の前記光電変換部であり、
前記第１から第３の長露光シーケンスにおいて蓄積した前記信号電荷、および、前記第１から第３の短露光シーケンスにおいて加算蓄積した前記信号電荷のそれぞれを用いて対象物までの距離を２種類算出する距離算出部を備える
請求項１から６のいずれか１項に記載の撮像装置。
【請求項１０】
前記第３の長露光シーケンスおよび前記第３の短露光シーケンスにおいて、前記光源からの照射を行い、反射光が消滅した後の期間を前記露光期間とする
請求項９に記載の撮像装置。
【請求項１１】
前記長露光シーケンス、または、前記第１から第３の長露光シーケンスより算出した距離を、前記短露光シーケンス、または、前記第１から第３の短露光シーケンスより算出した距離を用いて補正する距離補正部を備える
請求項８または９に記載の撮像装置。
【請求項１２】
前記長露光シーケンス、または、前記第１から第３の長露光シーケンスより算出した距離の一部と、
前記短露光シーケンス、または、前記第１から第３の短露光シーケンスより算出した距離との差分が規定の範囲を超えた場合に異常を通知する異常通知部を備える
請求項８または９に記載の撮像装置。
【請求項１３】
前記短露光シーケンス、または、前記第１から第３の短露光シーケンスにおける露光期間を短露光期間とすると、
前記短露光期間は、フレーム毎に変更され、
前記短露光期間のフレーム毎の変更によって、前記短露光シーケンス、または、前記第１から第３の短露光シーケンスより算出される距離範囲は、前記長露光シーケンス、または、前記第１から第３の長露光シーケンスより算出される距離範囲の一部と重なるよう制限されたうえで走査される
請求項８または９に記載の撮像装置。
【請求項１４】
前記短露光シーケンス、または第１から第３の短露光シーケンスにおける露光期間は、過去フレームの前記第１から第３の長露光シーケンスより算出した距離に基づいて設定される
請求項８または９に記載の撮像装置。
【請求項１５】
前記撮像装置はＴＯＦ型の測距装置であり、
前記光電変換部は行列上に配置され、
前記ｍ種類の露光シーケンスは、第１の強露光シーケンス、第２の強露光シーケンス、第１の弱露光シーケンス、第２の弱露光シーケンスおよび背景露光シーケンスを含み、
前記第１の強露光シーケンスおよび第２の強露光シーケンスにおける光源の照射強度は、前記第１の弱露光シーケンスおよび第２の強露光シーケンスよりも強く、
前記第２の強露光シーケンスにおける露光期間は、前記第１の強露光シーケンスにおける露光期間と異なり、
前記第２の弱露光シーケンスにおける露光期間は、前記第１の弱露光シーケンスにおける露光期間と異なり、
前記背景露光シーケンスは、前記反射光を含まない背景光を露光し、
第１の強露光シーケンス、第２の強露光シーケンス、第１の弱露光シーケンス、第２の弱露光シーケンスおよび背景露光シーケンスを１フレーム期間内にそれぞれ複数回繰り返し、
前記ｎ個の光電変換部は、２行２列からなる４個の前記光電変換部であり、
前記ｎ個の光電変換部毎に前記第１の強露光シーケンスおよび第２の強露光シーケンスにおける信号電荷と、前記第１の弱露光シーケンスおよび第２の弱露光シーケンスにおける信号電荷の、いずれか一方、および、前記背景露光シーケンスにおける信号電荷を用いて距離を算出する距離算出部を備える
請求項１から６のいずれか１項に記載の撮像装置。
【請求項１６】
前記対象物からの反射光の強度が増加を開始してから増加が終了するまでの期間を立ち上がり期間とし、前記対象物からの反射光の強度が減少を開始してから減少が終了するまでの期間を立ち下がり期間としたとき、
前記ｍ種類の露光シーケンスにおいて、前記固体撮像素子の露光期間は、
前記立ち下がり期間を含まず前記立ち上がり期間の少なくとも一部を含む第１期間と、
前記立ち上がり期間を含まず前記立ち下がり期間の一部を含む第２期間とのいずれかと期間が一致するように設定される
請求項１から６のいずれか１項に記載の撮像装置。
【請求項１７】
前記ｍ種類の露光シーケンスは、互いに異なる照射波長の光を照射する露光シーケンスを含む
請求項１６に記載の撮像装置。
【請求項１８】
前記撮像装置は時間分解イメージングを応用した光散乱体内部の観測装置であり、
前記光電変換部は行列上に配置され、
前記ｍ種類の露光シーケンスは、第１から第３の長波長シーケンス、および、第１から第３の短波長シーケンスを含み、
前記第１から第３の長波長シーケンスにおける照射波長は、前記第１から第３の短波長シーケンスよりも長く、
前記第１の長波長シーケンスおよび前記第１の短波長シーケンスはそれぞれ、前記第１期間を露光期間とし、
前記第２の長波長シーケンスおよび前記第２の短波長シーケンスはそれぞれ、前記第２期間を露光期間とし、
前記第３の長波長シーケンスおよび前記第３の短波長シーケンスはそれぞれ、前記光源からの照射による反射光成分を含まない背景光を露光し、
前記第１から第３の長波長シーケンス、および、前記第１から第３の短波長シーケンスを１フレーム期間内にそれぞれ複数回繰り返し、
前記ｎ個の光電変換部は、２行２列からなる４個の前記光電変換部であり、
前記第１から第３長波長シーケンスにおいて蓄積した前記信号電荷、および前記第１から第３短波長シーケンスにおいて蓄積した前記信号電荷のそれぞれを用いて、光散乱体内部の構造及び状態を演算により求める演算部を備える
請求項１６または１７に記載の撮像装置。
【請求項１９】
前記第３の長波長シーケンスおよび前記第３の短波長シーケンスにおいて、前記光源からの照射を行い、反射光が消滅した後の期間を前記露光期間とする
請求項１８に記載の撮像装置。
【請求項２０】
前記演算部は、前記第１から第３の長波長シーケンスより撮像した結果と、前記第１から第３の短波長シーケンスより撮像した結果とを用いて、光散乱体深部の構造および状態と光散乱体表層部の構造及び状態とを求める
請求項１８または１９に記載の撮像装置。
【国際調査報告】
2020121705.tif 000039
2020121705.tif 000040
2020121705.tif 000041
2020121705.tif 000042
2020121705.tif 000043
2020121705.tif 000044