(57)【要約】  投光撮像装置（１００）は、パルス光発光部（１０２）と、光センサ部（１０４）と、動作基準タイミングを生成する基準タイミング発生部（１０８）と、制御部（１１０）と、信号演算部（１０６）とを備え、信号演算部（１０６）は、第２露光期間における光センサ部（１０４）からの出力信号と、第１露光期間における光センサ部（１０４）からの出力信号との差分信号を第１差分信号とし、第３露光期間における光センサ部（１０４）からの出力信号と、第１露光期間における光センサ部（１０４）からの出力信号との差分信号を第２差分信号とし、第１差分信号と第２差分信号とを含む少なくとも２つの差分信号の総和を出力する。
2018030318.tif 000002
【特許請求の範囲】
【請求項１】
パルス光発光部と、
光センサ部と、
動作基準タイミングを示す信号を生成する基準タイミング発生部と、
制御部と、
信号演算部とを備え、
１フレーム内の第１露光期間において、前記制御部は、前記光センサ部への露光制御を行い、
前記１フレーム内の第２露光期間において、前記制御部は、前記動作基準タイミングに同期してパルス光発光部を発光させるとともに、前記光センサ部への露光制御を行い、
前記１フレーム内の第３露光期間において、前記制御部は、前記動作基準タイミングに同期して、パルス光発光部を発光させるとともに、所定の遅延時間を加えたタイミングに同期して前記光センサ部への露光制御を行い、
前記パルス光発光部は、前記制御部からの発光制御に従い発光し、
前記光センサ部は、前記制御部からの露光制御に従い露光し、露光量を示す出力信号を前記信号演算部に出力し、
前記信号演算部は、
前記第２露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの出力信号との差分信号を第１差分信号とし、
前記第３露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの前記出力信号との差分信号を第２差分信号とし、
前記第１差分信号と前記第２差分信号とを含む少なくとも２つの差分信号の総和を出力する、
投光撮像装置。
【請求項２】
前記１フレームは、第１露光期間から第Ｎ露光期間（Ｎは４以上の整数）を含み、
前記１フレーム内の第Ｋ露光期間（Ｋは３以上Ｎ以下の整数）において、前記制御部は、第（Ｋ−１）露光期間の前記動作基準タイミングに同期して前記パルス光発光部を発光させるとともに、前記光センサ部への露光制御を行い、
前記信号演算部は、
前記第Ｋ露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの出力信号との差分信号を第（Ｋ−１）差分信号とし、
前記第１差分信号から第（Ｎ−１）差分信号までの総和を結果として出力する、
請求項１に記載の投光撮像装置。
【請求項３】
前記制御部は、前記第３露光期間から前記第Ｎ露光期間までの露光期間のうちの少なくとも１つの露光期間において、前記少なくとも１つの露光期間の開始直前に、前記第１露光期間と同じ制御を実施する期間を設ける、
請求項２に記載の投光撮像装置。
【請求項４】
前記信号演算部は、前記第１差分信号から前記第（Ｎ−１）差分信号のうち、所定の閾値より小さい差分信号を除外した前記総和を出力する、
請求項２または３に記載の投光撮像装置。
【請求項５】
前記信号演算部は、前記第１差分信号から前記第（Ｎ−１）差分信号毎に、前記所定の閾値を設定する、
請求項４に記載の投光撮像装置。
【請求項６】
前記制御部は、前記第２露光期間から前記第Ｎ露光期間までの露光期間のうち少なくとも１つの露光期間において、前記パルス光発光部の発光強度を直前の露光期間の発光強度から変更する、
請求項２から５のいずれか１項に記載の投光撮像装置。
【請求項７】
前記制御部は、前記第２露光期間から前記第Ｎ露光期間までの露光期間のうち少なくとも１つの露光期間において、前記光センサ部のセンサ感度を直前の露光期間のセンサ感度から変更する、
請求項２から６のいずれか１項に記載の投光撮像装置。
【請求項８】
前記制御部は、前記第２露光期間から前記第Ｎ露光期間までの露光期間のうち少なくとも１つの露光期間において、前記光センサ部の露光時間を直前の露光期間の露光時間から変更する、
請求項２から７のいずれか１項に記載の投光撮像装置。
【請求項９】
前記信号演算部は、
前記光センサ部の後段に直列に配置された第１キャパシタと、
前記第１キャパシタの後段に配置されたアンプと、
前記アンプの入力端子と出力端子とを短絡させる第１スイッチと、
前記アンプの出力信号によって制御される第２スイッチとを備え、
前記第１スイッチは、前記制御部からの信号により制御され、
前記第２スイッチがオンしたときに、前記信号演算部は、前記アンプの前記入力端子における電圧を出力する、
請求項１から８のいずれか１項に記載の投光撮像装置。
【請求項１０】
前記信号演算部は、さらに、
前記第２スイッチと前記信号演算部の出力との間にバッファを備え、
前記バッファは、前記アンプの前記入力端子における電圧が入力され、前記信号演算部からの出力信号として、前記電圧を出力する、
請求項９に記載の投光撮像装置。
【請求項１１】
前記信号演算部は、さらに、
前記第１キャパシタと、前記アンプの前記入力端子との間にバイアス電圧印加回路を備える、
請求項９または１０に記載の投光撮像装置。
【請求項１２】
前記バイアス電圧印加回路が生成するバイアス電圧は、前記制御部の制御により可変である、
請求項１１に記載の投光撮像装置。
【請求項１３】
前記信号演算部は、さらに、
前記第１キャパシタに並列に接続されたスルースイッチを備え、
前記スルースイッチの後段は、前記第２スイッチに接続されている、
請求項９から１２のいずれか１項に記載の投光撮像装置。
【請求項１４】
前記信号演算部は、さらに、
前記第２スイッチの後段にダイオード及び第２キャパシタを備える、
請求項９から１３のいずれか１項に記載の投光撮像装置。
【請求項１５】
制御部と、前記制御部からの発光制御に従い発光するパルス光発光部と、前記制御部からの露光制御に従い露光し、露光量を示す出力信号を生成する光センサ部と、動作基準タイミングを示す信号を生成する基準タイミング発生部と、信号演算部とを備える装置における投光撮像方法であって、
１フレーム内の第１露光期間において、前記制御部が、前記動作基準タイミングに同期して前記光センサ部への露光制御を行うステップと、
前記１フレーム内の第２露光期間において、前記制御部が、前記動作基準タイミングに同期して前記パルス光発光部を発光させるとともに、前記光センサ部への露光制御を行う、ステップと、
前記１フレーム内の第３露光期間において、前記制御部は、前記動作基準タイミングに同期して前記パルス光発光部を発光させるとともに、前記動作基準タイミングに所定の遅延時間を加えたタイミングに同期して前記光センサ部への露光制御を行うステップと、
前記信号演算部が、前記第２露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの出力信号との差分信号を第１差分信号として算出するステップと、
前記信号演算部が、前記第３露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの前記出力信号との差分信号を第２差分信号として算出するステップと、
前記信号演算部が、前記第１差分信号と前記第２差分信号とを含む少なくとも２つの差分信号の総和を算出するステップとを有する、
投光撮像方法。
【請求項１６】
パルス光発光部と、
光センサ部と、
動作基準タイミングを示す信号を生成する基準タイミング発生部と、
制御部と、
信号演算部とを備え、
１フレーム内の第１露光期間において、前記制御部は、前記動作基準タイミングに同期して前記光センサ部への露光制御を行い、
前記１フレーム内の第２露光期間において、前記制御部は、前記動作基準タイミングに同期して前記パルス光発光部を発光させるとともに、前記光センサ部への露光制御を行い、
前記１フレーム内の第３露光期間において、前記制御部は、前記動作基準タイミングに同期して前記パルス光発光部を発光させるとともに、前記動作基準タイミングに所定の遅延時間を加えたタイミングに同期して前記光センサ部への露光制御を行い、
前記パルス光発光部は、前記制御部からの発光制御に従い発光し、
前記光センサ部は、前記制御部からの露光制御に従い露光し、露光量を示す出力信号を前記信号演算部に出力し、
前記信号演算部は、
前記第２露光期間における前記光センサ部からの出力信号と、前記第３露光期間における前記光センサ部からの出力信号との平均値を演算し、
前記平均値から前記第１露光期間における前記光センサ部からの前記出力信号との差分信号を出力する、
投光撮像装置。
【請求項１７】
前記１フレームは、第１露光期間から第Ｎ露光期間（Ｎは４以上の整数）を含み、
前記１フレーム内の第Ｋ露光期間（Ｋは３以上Ｎ以下の整数）において、前記制御部は、前記動作基準タイミングに同期して前記パルス光発光部を発光させるとともに、第（Ｋ−１）露光期間の前記動作基準タイミングに所定の遅延時間を加えたタイミングに同期して前記光センサ部への露光制御を行い、
前記信号演算部は、
前記第１露光期間を除く前記光センサ部からの出力信号の平均値を演算し、
前記平均値から前記第１露光期間における前記光センサ部からの出力信号との差分信号を結果として出力する、
請求項１６に記載の投光撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、投光撮像装置および投光撮像方法に関する。
【背景技術】
【０００２】
従来、自発光装置と同期した撮像を行うことで、太陽光や街灯などの外乱光の影響を低減した安定した撮像が行える投光撮像装置が提案されている（特許文献１）。【０００３】
特許文献１では、投光装置からのパルス光と同期して撮像装置から得られた信号を加重平均することで、ノイズ除去した計測信号を得る技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５１６７７５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に係る撮像装置では、強大な外乱光が入った場合に、撮像装置の信号が飽和してしまい、正しい撮像が出来ないという課題がある。【０００６】
本開示は、強大な外乱光の影響を低減した投光撮像装置および投光撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の一態様に係る投光撮像装置は、パルス光発光部と、光センサ部と、動作基準タイミングを示す信号を生成する基準タイミング発生部と、制御部と、信号演算部とを備え、１フレーム内の第１露光期間において、前記制御部は、前記動作基準タイミングに同期して前記光センサ部への露光制御を行うとともに、前記パルス光発光部を消灯させておき、前記１フレーム内の第２露光期間において、前記制御部は、前記動作基準タイミングに同期して前記光センサ部への露光制御を行うとともに、前記動作基準タイミングに同期して前記パルス光発光部を発光させ、前記１フレーム内の第３露光期間において、前記制御部は、前記動作基準タイミングに所定の遅延時間を加えたタイミングに同期して前記光センサ部への露光制御を行うとともに、前記動作基準タイミングに同期して前記パルス光発光部を発光させ、前記パルス光発光部は、前記制御部からの発光制御に従い発光し、前記光センサ部は、前記制御部からの露光制御に従い露光し、露光量を示す出力信号を前記信号演算部に出力し、前記信号演算部は、前記第２露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの出力信号との差分信号を第１差分信号とし、前記第３露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの前記出力信号との差分信号を第２差分信号とし、前記第１差分信号と前記第２差分信号とを含む少なくとも２つの差分信号の総和を出力する。【０００８】
また、本開示の一態様に係る投光撮像方法は、制御部と、前記制御部からの発光制御に従い発光するパルス光発光部と、前記制御部からの露光制御に従い露光し、露光量を示す出力信号を生成する光センサ部と、動作基準タイミングを示す信号を生成する基準タイミング発生部と、信号演算部とを備える装置における投光撮像方法であって、１フレーム内の第１露光期間において、前記制御部が、前記動作基準タイミングに同期して前記光センサ部への露光制御を行うとともに、前記パルス光発光部を消灯させるステップと、前記１フレーム内の第２露光期間において、前記制御部が、前記動作基準タイミングに同期して前記光センサ部への露光制御を行うとともに、前記動作基準タイミングに同期して前記パルス光発光部を発光させるステップと、前記１フレーム内の第３露光期間において、前記制御部は、前記動作基準タイミングに所定の遅延時間を加えたタイミングに同期して前記光センサ部への露光制御を行うとともに、前記動作基準タイミングに同期して前記パルス光発光部を発光させるステップと、前記信号演算部が、前記第２露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの出力信号との差分信号を第１差分信号として算出するステップと、前記信号演算部が、前記第３露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの前記出力信号との差分信号を第２差分信号として算出するステップと、前記信号演算部が、前記第１差分信号と前記第２差分信号とを含む少なくとも２つの差分信号の総和を算出するステップとを有する。
【発明の効果】
【０００９】
本開示における投光撮像装置および投光撮像方法によれば、強大な外乱光の影響を低減することが出来る。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態に係る投光撮像装置の構成例を示すブロック図である。
【図２】図２は、実施形態に係る投光撮像装置の第１駆動モードを示すタイミングチャートである。
【図３】図３は、実施形態に係る投光撮像装置の第２駆動モードを示すタイミングチャートである。
【図４】図４は、自動車の進行方向を撮像した際の白線の見え方を示す模式図である。
【図５】図５は、自動車の進行方向を撮像した場合に白線の見え方を示す模式図である。
【図６】図６は、比較例と実施形態の発光タイミングおよび露光タイミングの違いを示すタイミングチャートである。
【図７】図７は、実施形態に係る投光撮像装置の第３駆動モードを示すタイミングチャートである。
【図８】図８は、実施形態に係る投光撮像装置の第４駆動モードを示すタイミングチャートである。
【図９】図９は、実施形態に係る投光撮像装置の第５駆動モードを示すタイミングチャートである。
【図１０】図１０は、実施形態に係る駆動方法を示すフローチャートである。
【図１１】図１１は、背景光に対して信号光の信号強度比が高いときのタイミングチャートである。
【図１２】図１２は、実施形態に係るパルス光発光部の回路構成例を示す回路図である。
【図１３】図１３は、実施形態に係る信号演算部の第１のブロック構成例を示すブロック図である。
【図１４】図１４は、実施形態に係る信号演算部の第２のブロック構成例を示すブロック図である。
【図１５】図１５は、実施形態に係る信号演算部の第１の回路構成例を示す回路図である。
【図１６】図１６は、実施形態に係る信号演算部の第２の回路構成例を示す回路図である。
【図１７】図１７は、実施形態に係る信号演算部の第３の回路構成例を示す回路図である。
【図１８】図１８は、実施形態に係る信号演算部の第４の回路構成例を示す回路図である。
【図１９】図１９は、実施形態に係る信号演算部の第５の回路構成例を示す回路図である。
【発明を実施するための形態】
【００１１】
以下、本開示の実施の形態に係る投光撮像装置を、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は当業者が本開示を十分に理解するためのものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
また、本開示の主旨を逸脱しない限り、以下の実施形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本開示に含まれる。また、本開示の主旨を逸脱しない範囲において、複数の実施例、構成例の少なくとも一部を組み合わせることも可能である。
【００１３】
（実施形態）
図１は、本実施形態に係る投光撮像装置１００の構成例を示すブロック図である。投光撮像装置１００は、パルス光発光部１０２と、光センサ部１０４と、信号演算部１０６と、基準タイミング発生部１０８と、制御部１１０とを備える。
【００１４】
パルス光発光部１０２は、制御部１１０からの発光制御に従いパルス光を発光する。
【００１５】
光センサ部１０４は、測定対象物で反射した光である反射光を受光して電気信号に変換する。
【００１６】
信号演算部１０６は、光センサ部１０４から出力された電気信号を蓄積し電気信号を演算する。
【００１７】
基準タイミング発生部１０８は、パルス光発光部１０２から発するパルス光と光センサ部１０４で受光する露光時間と露光タイミングを決定する基準タイミング信号を発生する。
【００１８】
制御部１１０は、パルス光の発光タイミング、発光時間幅、及び、出力、並びに、露光のタイミング、及び、露光時間幅を制御する。投光撮像装置１００は、複数の駆動モードを実現可能である。
【００１９】
また、光センサ部１０４は、イメージセンサの単一画素、イメージセンサの画素列、イメージセンサの画素行、イメージセンサの互いに隣接する任意の複数画素（たとえば、３行３列の９画素でも良いし、あるいは、対角線上に隣接している複数の画素もよい）、イメージセンサ全体の何れでも良い。
【００２０】
光センサ部１０４がイメージセンサの単一画素の場合、信号演算部１０６は、各画素回路に設けられていてもよいし、画素領域の外に配置されていてもよいし、撮像素子とは別の素子（例えば、ＩＳＰ：Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒやコンピュータ上のプログラム）として設けられてもよい。
【００２１】
光センサ部１０４がイメージセンサの画素列の場合は、各画素列に信号演算部１０６が設けられていてもよいし、画素領域の外に配置されていてもよいし、撮像素子とは別の素子（例えば、ＩＳＰやコンピュータ上のプログラム）として設けられてもよい。
【００２２】
光センサ部１０４がイメージセンサの画素行の場合は、各画素行に信号演算部１０６が設けられていてもよいし、画素領域の外に配置されていてもよいし、撮像素子とは別の素子（例えば、ＩＳＰやコンピュータ上のプログラム）として設けられてもよい。
【００２３】
光センサ部１０４がイメージセンサの任意の複数画素の場合は、信号演算部１０６は画素領域の外に配置されていてもよいし、撮像素子とは別の素子（例えば、ＩＳＰやコンピュータ上のプログラム）として設けられてもよい。
【００２４】
光センサ部１０４がイメージセンサ全体の場合は、信号演算部１０６は画素領域の外に配置されていてもよいし、撮像素子とは別の素子（例えば、ＩＳＰやコンピュータ上のプログラム）として設けられていてもよい。
【００２５】
図２は、投光撮像装置１００の第１駆動モードを示すタイミングチャートである。第１駆動モードでは、第１露光期間において背景光成分を光センサ部１０４が露光し信号演算部１０６に出力する。
【００２６】
そして第２露光期間においてパルス光発光部１０２の発光パルスと同期して光センサ部１０４が露光を行い信号演算部１０６に出力する。これにより、反射光のうち第２露光期間での露光タイミングと重なった成分と背景光成分との和が信号演算部１０６に出力される。発光パルスの反射光に対する露光を第２露光期間と第３露光期間とに分割することで、１露光あたりの露光時間が短くなり、露光する背景光成分を減らし、光センサ部１０４の信号が飽和しにくくなる。
【００２７】
そして第３露光期間においてパルス光発光部１０２の発光パルスのタイミングに所定の遅延時間を加えたタイミングに同期して光センサ部が露光を行い信号演算部１０６に出力する。ここでいう所定の遅延時間は露光の時間幅にするのが望ましいが、これに限定しない。これにより、反射光のうち第３露光での露光タイミングと重なった成分と背景光成分との和が信号演算部１０６に出力される。
【００２８】
そして、信号演算部１０６は、第２露光期間で得た信号と第３露光期間で得た信号のそれぞれから第１露光期間で得た信号を減算し、それぞれ第１差分信号および第２差分信号を得る。第１差分信号と第２差分信号とを足し合わせることで、発光パルスの反射光成分のみを得ることができる。
【００２９】
また、信号演算部１０６は、第２露光期間で得た信号と第３露光期間で得た信号の平均値を演算し、平均値から、第１露光期間で得た信号を減算して、発光パルスの反射光成分を得てもよい。
【００３０】
図３は、投光撮像装置１００の第２駆動モードを示すタイミングチャートである。第２駆動モードは、第１露光期間から第３露光期間まで、図２に示す第１駆動モードと同じである。
【００３１】
第２駆動モードは、撮像距離範囲を（Ｎ−１）分割（Ｎは、４以上の整数）した場合、第Ｋ露光期間（Ｋは３以上Ｎ以下の整数）においては、第（Ｋ−１）露光期間におけるパルス光発光部１０２の発光タイミングに所定の遅延時間を加えたタイミングに同期して光センサ部１０４が露光を行い信号演算部１０６に出力する。
【００３２】
信号演算部１０６は、第Ｋ露光期間における光センサ部１０４からの出力信号と、第１露光期間における光センサ部１０４からの出力信号との差分信号を第（Ｋ−１）差分信号とし、第１差分信号から第（Ｎ−１）差分信号までの総和を結果として出力する。
【００３３】
このとき、第１差分信号から第（Ｎ−１）差分信号のうち、所定の閾値以上である信号のみの総和を結果として出力するようにしてもよい。所定の閾値は、例えば、第１露光期間における背景光のショットノイズと等しい値でもよいし、または、各露光期間で撮像する距離範囲に応じて設定すればよい。
【００３４】
また、各露光期間でパルス光発光部１０２の発光強度を、各露光期間で撮像する距離範囲に応じて変化させてもよい。例えば近距離に対応する露光期間においては発光強度を弱めることで、近距離物体での強い反射光による光センサ部１０４の飽和やフレアを抑制することが出来る。
【００３５】
また、各露光期間で光センサ部１０４の感度を、各露光期間で撮像する距離範囲に応じて変化させても良い。例えば近距離に対応する露光期間においてはセンサ感度を下げることで、近距離物体での反射光を高感度で撮像することによる光センサ部１０４の飽和やフレアを抑制することが出来る。
【００３６】
また、各露光期間で光センサ部１０４の露光時間を、各露光期間で撮像する距離範囲に応じて変化させても良い。例えば近距離に対応する露光期間においては露光時間を短くすることで、近距離物体での強い反射光による光センサ部１０４の飽和やフレアを抑制することが出来る。
【００３７】
ここでいう所定の遅延時間は露光の時間幅にするのが望ましいが、これに限定しない。また、所定の遅延時間は各露光期間で異なっていても良い。このように複数の露光期間に分割することで背景光の影響を低減することができる。
【００３８】
また、背景光成分のみを露光する第１露光期間は図３においてはフレーム先頭のみで実施しているが、フレーム先頭に代えて、第Ｍ露光期間に背景光成分のみを露光してもよい。つまり、背景光成分のみを露光する期間を、いずれかの露光期間において、設ければよい。
【００３９】
また、背景光成分のみを露光する期間は、複数回設けてもよい。とくに第Ｋ露光期間、すなわち発光タイミングに所定の遅延時間を加えたタイミングに同期して光センサ部１０４が露光を行う期間の直前に背景光成分のみを露光することが好ましい。こうすることで、フレーム内の各露光タイミングと背景光成分の露光タイミングとの時間ズレによる動体ブレを抑制できる。
【００４０】
背景光成分のみの露光をフレーム先頭のみで行うと、例えば図４のように自動車の進行方向を撮像した場合には、白線が撮像中にずれていくため、特に白線の手前側および奥側の端部分で自発光成分に重畳する背景光と、フレーム先頭で露光した背景光との信号量の違いが生じてしまう。これに対し、各露光の直前に背景光成分のみの露光をし直して、背景光成分の信号を更新することで、図５のように背景光の時間的変化の影響を低減できる。同様に、トンネルの出入口付近のように背景光成分が大きく異なる複数の撮像範囲が、１フレーム内での移動範囲内で近接している場合においても、背景光の時間的変化の影響を低減できる。
【００４１】
図６は、比較例と本実施形態の発光タイミングおよび露光タイミングの違いを示すタイミングチャートである。図中の（ａ）発光パルスおよび（ｂ）露光パルスは、比較例における発光タイミングおよび露光タイミングを示す。比較例においては、発光撮像期間に発光パルスは１つであり、それに対応した露光パルスも一つである。通常、光源は単位時間あたりに発光するのに必要な電力は光源ごとで性能上限がある。そのため、連続発光させる場合、光出力は低い。
【００４２】
一方、図中の（Ａ）発光パルスおよび（Ｂ）露光パルスは、本実施形態における発光タイミングおよび露光タイミングを示す。本実施形態では、発光撮像期間において、複数の発光パルスを間欠的に発光させる。このように駆動することで、平均的な電力が比較例と実質同じでありながら、各発光パルスのピーク電力を高くできる。そのため、実質同じ光量を受光するための総蓄積時間を短くできる。結果的に背景光の影響を抑えながら自発光の反射光による画像を主成分として取得できる。
【００４３】
また、発光パルスに対して、Ｎ（Ｎは、２以上の整数）回の露光を実施することで近距離から遠距離までの自発光のみの撮像ができる。露光期間内に反射光が戻ってこない距離区間の信号は、背景光成分と背景光成分との差分になるので、実質無信号となる。一方、露光期間内に反射光が戻ってくる距離区間では、実質反射光のみによる信号が得られる。
【００４４】
露光期間が異なるＮ個の信号を加算することで、距離に依存すること無く、背景光の影響を抑えつつ自発光の照明が主成分の撮像ができる。この加算演算は、例えば後述する図１３、図１４に示す信号演算部１０６であれば、演算部３０４、３１４にフレームメモリを備えることで加算することができる。また、後述する図１５〜図１９に示す信号演算部１０６であれば、バッファ４０４または４１５の後段に蓄積部を設け、Ｎ回の露光結果を蓄積することで広い距離範囲で自発光の照明で撮像した結果の画像を得ることができる。
【００４５】
図７は、投光撮像装置１００の第３駆動モードを示すタイミングチャートである。第３駆動モードは、特定の区間の距離範囲のみを強調して撮像するモードである。第３駆動モードでは、第２露光期間において、発光パルスに対して、所定の時間（オフセット時間）だけ遅れて、露光を開始することで実現できる。この時、露光パルス幅は任意に設定することができ、その幅に応じて強調して撮像できる距離範囲が拡がる。第３露光期間においては、第１駆動モードと同様、パルス光発光部１０２の発光パルスのタイミングに、オフセット時間に加えて、さらに所定の遅延時間（例えば、露光時間）を加えたタイミングに同期して光センサ部が露光を行い信号演算部１０６に出力する。
【００４６】
なお、図示しないが、第１露光期間において、基準タイミングに対してオフセット時間だけ遅れて露光をして、背景光成分を取得してもよい。このように制御することで、第１露光期間での露光と、第２露光期間での露光の間における時間ズレを抑制し、これによって、動体ブレを抑制することができる。
【００４７】
図８は、投光撮像装置１００の第４駆動モードを示すタイミングチャートである。第４駆動モードは、近距離から遠距離まで自発光の照明に基づいた光で撮像できるモードである。第４駆動モードでは、発光時間より長い露光時間を基準タイミング発生部から設定し撮像することで、遠方も自発光の映像を撮像できる。対象とする最長の距離範囲に位置する物体から、パルス光発光部１０２が発光してから、反射光が戻ってくるまでの時間と、発光パルス幅時間との和が、露光パルスの最長幅となる。例えば、１００ｍを最大距離とするなら６６６ｎｓが光の往復時間となり、発光時間１００ｎｓとすると、この往復時間の和７６６ｎｓが最長の露光時間のパルス幅となる。
【００４８】
ただし、被写体に高輝度な光が重畳しているようなシーンでは問題が発生する。例えば、道路の白線を覆うような水たまりによって、対向車のヘッドランプの光が鏡面反射してしまうようなシーンである。この時、図９に示すように、背景光の輝度が高いため、観測したい白線からの戻り光（自発光が白線によって反射して自装置に戻ってきた光）の輝度が相対的に低くなる場合、信号演算部１０６で非発光時の信号と発光時の信号との差分を取ると、白線からの戻り光の信号劣化が大きい。これは、背景光の強度が高いほど、背景光のショットノイズが大きいので、「反射光＋背景光」による信号から「背景光」による信号を差し引いても、ノイズの影響が相対的に大きくなってしまうためである。
【００４９】
図１０は、本実施形態の駆動方法を示すフローチャートである。まず、輝度画像を観測し、高輝度物体が存在するか否かを判定する（Ｓ１１）。例えば、所定の信号量を超える画素が存在する場合や、飽和を検出した場合、高輝度物体が存在するとして（Ｓ１１でｙｅｓ）、発光強度を上げるために、パルス光発光部１０２の電圧を高電圧に切り替え、且つ、露光時間も短くする（Ｓ１２）。ここで、露光時間は、最短にしてもよい。また、パルス光発光部１０２の電圧が最大のときは、そのままにする。その結果、背景光に対して信号光の信号強度比が上がるので、図１１に示すような受光状態を実現できる。この駆動方法で光センサ部１０４からの、パルス光発光部１０２の発光時の出力と非発光時の出力とを、信号演算部１０６で減算処理することで信号劣化を抑えながら信号成分のみを抽出することが可能になる。
【００５０】
一方、輝度画像を観測し、例えば、所定の信号量を超える画素が無い場合や、飽和を検出していない場合には、高輝度物体が存在しないとして（Ｓ１１でｎｏ）、発光強度を下げるために、パルス光発光部１０２の電圧を低電圧に切り替え、且つ、露光時間も長くする（Ｓ１３）。ここで、露光時間は、最長にしてもよい。また、パルス光発光部１０２の電圧が最低のときは、そのままにする。その結果、高輝度物体が無い状況においては、光センサ部１０４が飽和しない範囲で露光時間を長くし、１フレーム内での露光回数を減らすことでフレームレートを上げることができる。
【００５１】
図１２は、上記の強度変調を実現するパルス光発光部１０２の構成例を示す。パルス光発光部１０２は、レーザダイオード２００と、レーザダイオード２００に電圧を印加する複数の電圧源とを備える。同図に示す構成例は、第１電圧源２０２、第２電圧源２０４、及び、第３電圧源２０６の３つの電圧源を備え、それぞれ供給する電圧の大きさが異なる。
【００５２】
レーザダイオード２００に接続する１つの電圧源を選択するための制御信号が、上記フローで判定された結果として、制御部１１０に入力される。スイッチ２１２、スイッチ２１４、スイッチ２１６は、その制御信号に応じて開閉する。基準タイミング発生部１０８は、発光期間にスイッチ２１８を導通させ、選択された電圧源とレーザダイオード２００とを接続することで、発光タイミングの制御を行う。なお、制御部１１０によるスイッチ２１２、スイッチ２１４、又はスイッチ２１６の制御において、発光タイミングの制御も含める場合は、スイッチ２１８は無くても良い。
【００５３】
図１３は、信号演算部１０６の第１ブロック構成例を示す。光センサ部１０４から出力される信号が、第１蓄積部３０１、第２蓄積部３０２、及び、第３蓄積部３０３に積算される。第１蓄積部３０１に蓄積される信号、第２蓄積部３０２に蓄積される信号、および、第３蓄積部に蓄積される信号は、全て異なる時間の信号である。例えば、第１蓄積部３０１には背景光のみに由来する信号（第１露光期間）、第２蓄積部３０２には反射光の発光パルスと同期した成分と背景光との和に由来する信号（第２露光期間）、第３蓄積部３０３には反射光の発光パルスと所定の遅延分の位相がずれた成分と背景光との和に由来する信号（第３露光期間）である。
【００５４】
演算部３０４は、例えば第２蓄積部３０２の信号から第１蓄積部３０１の信号を差分することで、発光パルスの反射光のうち、発光パルスと同期した成分（第１差分信号）を得ることができ、第３蓄積部３０３の信号から第１蓄積部３０１の信号を差分することで、発光パルスの反射光のうち、発光パルスに対して所定の遅延分の位相がずれた成分（第２差分信号）を得ることが出来る。このようにして得た２つの信号を合計することで、発光パルスによる反射光成分を得ることが出来る。第１蓄積部３０１、第２蓄積部３０２、第３蓄積部３０３及び、演算部３０４は、例えば撮像素子の画素内に配置されてもよいし、撮像領域とは異なる領域に配置されても良いし、撮像素子外の外部メモリに配置されても良い。
【００５５】
図１４は、信号演算部１０６の第２ブロック構成例を示す。第２ブロック構成例は、同一の時間の露光時間を蓄積するための構成例を示す。本構成例は、例えば光センサ部１０４Ａと光センサ部１０４Ｂが異なる波長の光を受光する構成になっており、パルス光発光部１０２が発光する光の波長は、一方の光センサ部のみで受光される。他方の光センサ部が受光する波長は、前記波長と近い波長（例えば、その差が約１０ｎｍ〜約５０ｎｍ）である。光センサ部１０４Ａ及び光センサ部１０４Ｂは、受光する波長範囲が重複せず、それぞれ排他的に異なる波長範囲の光を受光する関係が望ましいが、重複する波長範囲があってもよい。
【００５６】
光センサ部１０４Ａ及び光センサ部１０４Ｂは、別チップでもよいし、あるいは、行方向、列方向、対角方向のいずれかに隣接する単一画素でもよいし、あるいは、隣接する画素列、画素行である。別チップの場合は、同一対象物からの反射光が光センサ部１０４Ａと光センサ部１０４Ｂに入射するように光学系を構成する。例えば、光軸上にハーフミラーやプリズムを設置する方法がある。そして、パルス光発光部１０２を発光させずに、一方の光センサ部を露光することで背景光成分を得る。こうすることで同一時間の発光信号のみの映像を演算部で処理することで画像として得ることができる。
【００５７】
具体的には、パルス光発光部１０２を発光させて、光センサ部１０４Ａと光センサ部１０４Ｂとを同時に露光することで、光センサ部１０４Ａの出力を第１蓄積部３１１に蓄積し、光センサ部１０４Ｂの出力を第３蓄積部３１３に蓄積する。さらに、パルス光発光部１０２の発光タイミングに所定の遅延を加えたタイミングで光センサ部１０４Ａを露光し、第２蓄積部３１２に出力する。第１蓄積部３１１の信号から第３蓄積部３１３の信号を差分して得られた信号と、第２蓄積部３１２の信号から第３蓄積部３１３の信号を差分して得られた信号とを合計することで、発光パルスによる反射光成分を得ることが出来る。
【００５８】
図１５は、信号演算部１０６の第１の回路構成例を示す。信号演算部１０６は、光センサ部１０４の出力に対して直列に接続されたキャパシタ４００と、閾値が設定可能なアンプ４０２と、アンプ４０２の閾値電圧を設定するためのスイッチＴ１（第１スイッチ）と、アンプ４０２の出力信号によって制御されるスイッチＴ２（第２スイッチ）と、スイッチＴ２の後段に配置されたバッファ４０４とを備える。キャパシタ４００は、光センサ部１０４と端子Ｐ１で接続されている。アンプ４０２の入力側の端子Ｐ２と出力側の端子Ｐ３とは、スイッチＴ１を介して接続されている。スイッチＴ１は、制御部１１０によって、開閉する。アンプ４０２には電源電圧Ｖｄｄが印加されている。
【００５９】
スイッチＴ１がオンされると、光センサ部１０４からの出力電圧が、アンプ４０２の閾値電圧に設定される。この時、光センサ部１０４からの非発光時の出力電圧Ｖｂｇを閾値電圧と設定し、その後、パルス光が発光している期間の光センサ部１０４からの出力電圧Ｖｓｉｇをアンプ４０２の入力とする。このようにすることで、閾値電圧より光センサ部１０４の出力電圧が大きい場合、アンプ４０２の出力がハイレベルとなり、スイッチＴ２がオンされる。その結果、アンプ４０２とキャパシタ４００との接続点である端子Ｐ２の電位、（Ｖｄｄ／２＋Ｖｓｉｇ−Ｖｂｇ）が画素出力としてバッファ４０４に出力される。バッファ４０４からは画素出力として本装置の外に出力される。この構成によって、発光による信号のみがバッファ４０４から出力され、背景光の影響を低減できる。
【００６０】
キャパシタ４００、アンプ４０２、及び、バッファ４０４は、撮像素子の画素領域内、画素領域外、撮像素子外のいずれに配置されても良い。また、スイッチＴ１、及び、スイッチＴ２は、半導体のｎＭＯＳスイッチ、ｐＭＯＳスイッチであっても良く、アンプ４０２の極性に応じて選択する。
【００６１】
図１６は、信号演算部１０６の第２の回路構成例を示す。第２の回路構成例は、第１の回路構成例に対して、さらに、キャパシタ４００と端子Ｐ２との間に、バイアス電圧印加回路４０６を備える。この構成によって、光センサ部１０４からの非発光時の出力電圧Ｖｂｇに対してオフセット電圧を印加した電圧を閾値電圧と設定することができる。これにより、背景光のショットノイズの影響を低減することができる。
【００６２】
図１７は、信号演算部１０６の第３の回路構成例を示す。第３の回路構成例は、第１の回路構成例に対して、さらに、光センサ部１０４とキャパシタ４００との間に、制御部１１０と接続されたバイアス電圧印加用キャパシタ４０８を備える。バイアス電圧は、あらかじめ設定した所定の電圧を加えても良いし、または、撮像する距離範囲に応じて変化させても良い。印加する電圧は、撮像したい距離の二乗に反比例し、また、所定の切片を加えた電圧を加えることが望ましいが、特にこれに限定はしない。この構成によって、近傍の距離範囲を撮像するタイミングにおいて、近傍の物体での反射光によるフレアの発生を抑制することができる。
【００６３】
図１８は、信号演算部１０６の第４の回路構成例を示す。第４の回路構成例は、第１の回路構成例に対して、さらに、バッファ４０４の後段にダイオード４１２とキャパシタ４１４とバッファ４１５とを備える。この構成によって、各露光タイミングでの信号量のうち、最大の信号量を出力することができる。
【００６４】
図１９は、信号演算部１０６の第５の回路構成例を示す。第５の回路構成例は、機能安全を担保することも可能な信号演算部１０６の回路構成例である。たとえば、図１５に示す第１の回路構成例において、光センサ部１０４が、故障により同一の信号を出力する故障モードに入ってしまうと、信号演算部１０６の出力が実質無信号となる。これを検出するために閾値判定後の出力以外に光センサ部１０４からの出力電圧を、直接出力するパスが必要になる。
【００６５】
そこで、第５の回路構成例は、第１の回路構成例に対して、さらに、端子Ｐ１と、端子Ｐ２とを短絡させるスイッチＦ１を備える。制御部１１０が、スイッチＦ１およびスイッチＴ２をオンすることで、光センサ部１０４からの信号そのものを、信号演算部１０６から出力することが出来る。装置の起動時、または動作中に間欠的に、光センサ部１０４からの信号そのものを出力するフレームを入れ、後段の信号処理で出力を確認する。例えば、黒傷、白傷画素などがあれば、その画素のアドレスを処理側に記憶し、その画素は周辺画素から補間して処理することなどでシステムが安定して動作するように行うことが可能になる。
【００６６】
以上説明してきたように本開示における投光撮像装置は、パルス光発光部と、光センサ部と、動作基準タイミングを示す信号を生成する基準タイミング発生部と、制御部と、信号演算部とを備える。１フレーム内の第１露光期間において、前記制御部は、前記動作基準タイミングに同期して前記光センサ部への露光制御を行う。前記１フレーム内の第２露光期間において、前記制御部は、前記動作基準タイミングに同期して前記光センサ部への露光制御を行うとともに、前記動作基準タイミングに同期して前記パルス光発光部を発光させる。前記１フレーム内の第３露光期間において、前記制御部は、前記動作基準タイミングに所定の遅延時間を加えたタイミングに同期して前記光センサ部への露光制御を行うとともに、前記動作基準タイミングに同期して前記パルス光発光部を発光させる。前記パルス光発光部は、前記制御部からの発光制御に従い発光する。前記光センサ部は、前記制御部からの露光制御に従い露光し、露光量を示す出力信号を前記信号演算部に出力する。前記信号演算部は、前記第２露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの出力信号との差分信号を第１差分信号とし、前記第３露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの前記出力信号との差分信号を第２差分信号とし、前記第１差分信号と前記第２差分信号とを含む少なくとも２つの差分信号の総和を出力する。
【００６７】
ここで、前記１フレームは、第１露光期間から第Ｎ露光期間（Ｎは４以上の整数）を含み、前記１フレーム内の第Ｋ露光期間（Ｋは３以上Ｎ以下の整数）において、前記制御部は、第（Ｋ−１）露光期間の前記動作基準タイミングに所定の遅延時間を加えたタイミングに同期して前記光センサ部への露光制御を行うとともに、前記動作基準タイミングに同期して前記パルス光発光部を発光させ、前記信号演算部は、前記第Ｋ露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの出力信号との差分信号を第（Ｋ−１）差分信号とし、前記第１差分信号から第（Ｎ−１）差分信号までの総和を結果として出力してもよい。
【００６８】
ここで、前記制御部は、前記第３露光期間から前記第Ｎ露光期間までの露光期間のうちの少なくとも１つの露光期間において、前記少なくとも１つの露光期間の開始直前に、前記第１露光期間と同じ制御を実施する期間を設けてもよい。
【００６９】
ここで、前記信号演算部は、前記第１差分信号から前記第（Ｎ−１）差分信号のうち、所定の閾値より小さい差分信号を除外した前記総和を出力してもよい。
【００７０】
ここで、前記信号演算部は、前記第１差分信号から前記第（Ｎ−１）差分信号毎に、前記所定の閾値を設定してもよい。
【００７１】
ここで、前記制御部は、前記第２露光期間から前記第Ｎ露光期間までの露光期間のうち少なくとも１つの露光期間において、前記パルス光発光部の発光強度を直前の露光期間の発光強度から変更してもよい。
【００７２】
ここで、前記制御部は、前記第２露光期間から前記第Ｎ露光期間までの露光期間のうち少なくとも１つの露光期間において、前記光センサ部のセンサ感度を直前の露光期間のセンサ感度から変更してもよい。
【００７３】
ここで、前記制御部は、前記第２露光期間から前記第Ｎ露光期間までの露光期間のうち少なくとも１つの露光期間において、前記光センサ部の露光時間を直前の露光期間の露光時間から変更してもよい。
【００７４】
ここで、前記信号演算部は、前記光センサ部の後段に直列に配置された第１キャパシタと、前記第１キャパシタの後段に配置されたアンプと、前記アンプの入力端子と出力端子とを短絡させる第１スイッチと、前記アンプの出力信号によって制御される第２スイッチとを備え、前記第１スイッチは、前記制御部からの信号により制御され、前記第２スイッチがオンしたときに、前記信号演算部は、前記アンプの前記入力端子における電圧を出力してもよい。
【００７５】
ここで、前記信号演算部は、さらに、前記第２スイッチと前記信号演算部の出力との間にバッファを備え、前記バッファは、前記アンプの前記入力端子における電圧が入力され、前記信号演算部からの出力信号として、前記電圧を出力してもよい。
【００７６】
ここで、前記信号演算部は、さらに、前記第１キャパシタと、前記アンプの前記入力端子との間にバイアス電圧印加回路を備えてもよい。
【００７７】
ここで、前記バイアス電圧印加回路が生成するバイアス電圧は、前記制御部の制御により可変であってもよい。
【００７８】
ここで、前記信号演算部は、さらに、前記第１キャパシタに並列に接続されたスルースイッチを備え、前記スルースイッチの後段は、前記第２スイッチに接続されてもよい。
【００７９】
ここで、前記信号演算部は、さらに、前記第２スイッチの後段にダイオード及び第２キャパシタを備えてもよい。
【００８０】
また、本開示における投光撮像方法は、制御部と、前記制御部からの発光制御に従い発光するパルス光発光部と、前記制御部からの露光制御に従い露光し、露光量を示す出力信号を生成する光センサ部と、動作基準タイミングを示す信号を生成する基準タイミング発生部と、信号演算部とを備える装置における投光撮像方法であって、１フレーム内の第１露光期間において、前記制御部が、前記動作基準タイミングに同期して前記光センサ部への露光制御を行うステップと、前記１フレーム内の第２露光期間において、前記制御部が、前記動作基準タイミングに同期して前記光センサ部への露光制御を行うとともに、前記動作基準タイミングに同期して前記パルス光発光部を発光させるステップと、前記１フレーム内の第３露光期間において、前記制御部は、前記動作基準タイミングに所定の遅延時間を加えたタイミングに同期して前記光センサ部への露光制御を行うとともに、前記動作基準タイミングに同期して前記パルス光発光部を発光させるステップと、前記信号演算部が、前記第２露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの出力信号との差分信号を第１差分信号として算出するステップと、前記信号演算部が、前記第３露光期間における前記光センサ部からの出力信号と、前記第１露光期間における前記光センサ部からの前記出力信号との差分信号を第２差分信号として算出するステップと、前記信号演算部が、前記第１差分信号と前記第２差分信号とを含む少なくとも２つの差分信号の総和を算出するステップとを有する。
【産業上の利用可能性】
【００８１】
本開示は、例えば、車載カメラ等の投光撮像装置および投光撮像方法に適用できる。
【符号の説明】
【００８２】
１００  投光撮像装置
１０２  パルス光発光部
１０４、１０４Ａ、１０４Ｂ  光センサ部
１０６  信号演算部
１０８  基準タイミング発生部
１１０  制御部
２００  レーザダイオード
２０２  第１電圧源
２０４  第２電圧源
２０６  第３電圧源
２１２、２１４、２１６、２１８  スイッチ
３０１、３１１  第１蓄積部
３０２、３１２  第２蓄積部
３０３、３１３  第３蓄積部
３０４、３１４  演算部
４００  キャパシタ
４０２  アンプ
４０４  バッファ
４０６  バイアス印加回路
４０８  バイアス印加用キャパシタ
４１２  ダイオード
４１４  キャパシタ
４１５  バッファ
Ｔ１、Ｔ２、Ｆ１  スイッチ
【図１】
2018030318.tif 000003
【図２】
2018030318.tif 000004
【図３】
2018030318.tif 000005
【図４】
2018030318.tif 000006
【図５】
2018030318.tif 000007
【図６】
2018030318.tif 000008
【図７】
2018030318.tif 000009
【図８】
2018030318.tif 000010
【図９】
2018030318.tif 000011
【図１０】
2018030318.tif 000012
【図１１】
2018030318.tif 000013
【図１２】
2018030318.tif 000014
【図１３】
2018030318.tif 000015
【図１４】
2018030318.tif 000016
【図１５】
2018030318.tif 000017
【図１６】
2018030318.tif 000018
【図１７】
2018030318.tif 000019
【図１８】
2018030318.tif 000020
【図１９】
2018030318.tif 000021
【国際調査報告】
2018030318.tif 000022
2018030318.tif 000023
2018030318.tif 000024
2018030318.tif 000025