(57)【要約】  高いセンシング精度とセット制御を行うセンシングシステム等を提供する。被写体信号を出力するセンシングシステムであって、被写体からの第１の物理的対象及び当該第１の物理的対象と異なる第２の物理的対象をセンシングする固体撮像素子と、第１の物理的対象からの第１信号と第２の物理的対象からの第２信号を用いて被写体信号を算出する演算部とを備え、演算部は、センシングシステムが搭載される機器からの参照信号を用いて被写体信号を算出する。
2015182135.tif 000002
【特許請求の範囲】
【請求項１】
被写体信号を出力するセンシングシステムであって、
被写体からの第１の物理的対象及び当該第１の物理的対象と異なる第２の物理的対象をセンシングするセンサ素子と、
前記第１の物理的対象に基づき算出された第１信号と前記第２の物理的対象に基づき算出された第２信号を用いて前記被写体信号を算出する演算部とを備え、
前記演算部は、前記センシングシステムが搭載される機器からの参照信号を用いて前記被写体信号を算出する
センシングシステム。
【請求項２】
前記機器は、輸送機器であり、
前記参照信号は、
（ａ）前記輸送機器の位置情報、（ｂ）クラウド情報、及び（ｃ）前記輸送機器の動作情報または操作情報、の少なくとも１つである
請求項１に記載のセンシングシステム。
【請求項３】
前記クラウド情報は、
（ｂ１）水平方向及び／または垂直方向の地図情報、及び（ｂ２）走行箇所または走行予定箇所の環境情報、の少なくとも１つである
請求項２に記載のセンシングシステム。
【請求項４】
前記輸送機器の動作情報または操作情報は、
（ｃ１）前記輸送機器の走行速度、走行加速度、及び停止に関する情報、（ｃ２）前記輸送機器の操作情報、（ｃ３）前記輸送機器の荷重バランス情報、並びに（ｃ４）前記輸送機器の荷重バランスに関する情報、の少なくとも１つである
請求項２または３に記載のセンシングシステム。
【請求項５】
前記輸送機器の操作情報は、
（ｃ２１）アクセルペダル、ブレーキペダル等の踏込み情報、及び（ｃ２２）トランスミッションのギヤ位置情報、の少なくとも１つである
請求項４に記載のセンシングシステム。
【請求項６】
前記センシングシステムは、
前記被写体信号を選択的に前記機器に出力し、
前記被写体信号を出力しない場合は、当該被写体信号の消去、または、一時的記録あるいは一時的記憶を行う
請求項１〜５のいずれか１項に記載のセンシングシステム。
【請求項７】
前記演算部は、
（ｄ）被写体または特定被写体の検出及び認識、（ｅ）前記被写体または前記特定被写体までの距離、（ｆ）前記被写体または前記特定被写体の寸法、（ｇ）前記被写体または前記特定被写体の形状、（ｈ）前記被写体または前記特定被写体の速度、及び（ｉ）演算実行不可、の少なくとも１つの前記被写体信号を算出する
請求項１〜６のいずれか１項に記載のセンシングシステム。
【請求項８】
前記演算部は、
（ｊ）ノイズ減算処理、（ｋ）映像拡大高精細化処理または超解像処理、（ｌ）ハイダイナミックレンジ処理、（ｍ）信号圧縮処理、及び（ｎ）前記被写体信号の一部またはすべての出力判断処理、の少なくとも１つの信号処理を行う
請求項１〜７のいずれか１項に記載のセンシングシステム。
【請求項９】
前記第１の物理的対象は可視光であり、
前記第２の物理的対象は赤外光である
請求項１〜８のいずれか１項に記載のセンシングシステム。
【請求項１０】
前記第１の物理的対象は被写体または特定被写体からのパッシブ光であり、
前記第２の物理的対象は前記被写体または前記特定被写体からのアクティブ光である
請求項１〜９のいずれか１項に記載のセンシングシステム。
【請求項１１】
前記センシングシステムは、
前記アクティブ光を用いたタイムオブフライト演算により前記被写体信号を算出する
請求項１０に記載のセンシングシステム。
【請求項１２】
前記センシングシステムは、
前記パッシブ光を用いた現在のフレームと前のフレームを比較することにより前記被写体信号を算出する
請求項１０または１１に記載のセンシングシステム。
【請求項１３】
前記センシングシステムは、
光照射を指示する発光信号と露光を指示する露光信号とを発生する信号発生部と、前記発光信号に従ってパルス光を照射するパルス光源部と、を備え、
前記センサ素子は、単板の固体撮像素子であり、
当該固体撮像素子は前記露光信号に従って露光および撮像を行う
請求項１〜１２のいずれか１項に記載のセンシングシステム。
【請求項１４】
前記センシングシステムは、
センシング環境の状態に応じ、第１信号もしくは第２信号を選択して前記被写体信号を算出する、または、前記第１信号もしくは前記第２信号の一方を第１信号もしくは前記第２信号の他方により補正して前記被写体信号を算出する
請求項１〜１３のいずれか１項に記載のセンシングシステム。
【請求項１５】
前記センシングシステムは、
当該センシングシステムの記憶情報または記録情報に基づき、第１信号もしくは第２信号を選択して前記被写体信号を算出する、または、前記第１信号もしくは前記第２信号の一方を第１信号もしくは前記第２信号の他方により補正して前記被写体信号を算出する
請求項１〜１３のいずれか１項に記載のセンシングシステム。
【請求項１６】
請求項１〜１５のいずれか１項に記載のセンシングシステムと、
前記センシングシステムからの前記被写体信号を用いて前記機器の制御を行うセット制御部とを備える
運転支援システム。
【請求項１７】
前記センシングシステムは、運転制御システムを備えたメインセンシングシステムであり、
前記運転制御システムは、少なくとも１つのサブセンシングシステムを備える
請求項１６に記載の運転支援システム。
【請求項１８】
前記サブセンシングシステムは、
当該サブセンシングシステムがサブ被写体信号を出力する場合、前記メインセンシングシステムがメイン被写体信号の出力を判断する際に情報を与える
請求項１７に記載の運転支援システム。
【請求項１９】
前記機器は輸送機器であり、
前記機器の制御は、（ａ）前記機器が走行中の自動ブレーキ制御、（ｂ）前記機器が停車中の自動発進停止制御、（ｃ）緊急ブレーキシグナル制御、（ｄ）自動ステアリング制御、及び（ｅ）自動運転操作制御、の少なくとも１つを行う
請求項１６〜１８のいずれか１項に記載の運転支援システム。
【請求項２０】
前記運転制御システムは、情報信号を出力するための情報入手部を備える
請求項１６〜１９のいずれか１項に記載の運転支援システム。
【請求項２１】
前記セット制御部は、前記情報信号から、前記参照信号を作成する
請求項２０に記載の運転支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、センシングシステム及び運転支援システムに関する。
【背景技術】
【０００２】
被写体情報を習得する様々なセンシングシステム（撮像装置）が提案されている。【０００３】
例えば特許文献１に開示された従来技術の撮影装置１４０は、図１０に示すように、各部を統括的に制御する制御部１４１と、被写体に向けてＩＲ（Ｉｎｆｒａｒｅｄ）光を発するＩＲ発光部１４２と、被写体光を集光して固体撮像素子１１０に入射させるレンズ１４３と、固体撮像素子１１０と、固体撮像素子１１０を駆動するための各種の駆動パルスを発生するタイミングジェネレータ（ＴＧ）１４４と、固体撮像素子１１０から出力された撮像信号を信号処理して、可視光画像とＩＲ画像とを算出する信号処理部１４５と、信号処理部１４５によって算出された可視光画像とＩＲ画像とを記録するメモリ１４６とから構成されている。【０００４】
特許文献１によれば、単板構成にて可視光および赤外光を受光することができるとともに、シャッタ装置を必要とせず、赤外光の露光時間を、可視光の露光時間とは独立して制御を行うことができる固体撮像素子１１０を備える撮像装置１４０を提供することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−８７００号公報
【発明の概要】
【０００６】
しかしながら、特許文献１に開示された従来技術の撮像装置１４０は、いわゆるスタンドアロン型のシステム（固体撮像素子１１０で算出された可視光画像と距離画像（ＩＲ画像）はメモリ１４６に記録されると開示している）であり、センシング性能が低いという問題を有している。
【０００７】
上記問題に鑑み、高いセンシング精度とセット制御を行うセンシングシステム及び運転支援システムを提供する。
【０００８】
上記問題を解決するために、本開示の一態様に係るセンシングシステムは、被写体信号を出力するセンシングシステムであって、被写体からの第１の物理的対象及び当該第１の物理的対象と異なる第２の物理的対象をセンシングするセンサ素子と、第１の物理的対象に基づき算出された第１信号と第２の物理的対象に基づき算出された第２信号を用いて被写体信号を算出する演算部とを備え、演算部は、センシングシステムが搭載される機器からの参照信号を用いて被写体信号を算出する。
【０００９】
また、本開示の一態様に係るセンシングシステムにおいて、機器は、輸送機器であり、参照信号は、（ａ）輸送機器の位置情報、（ｂ）クラウド情報、及び（ｃ）輸送機器の動作情報または操作情報、の少なくとも１つであるとしてもよい。
【００１０】
また、本開示の一態様に係るセンシングシステムにおいて、クラウド情報は、（ｂ１）水平方向及び／または垂直方向の地図情報、及び（ｂ２）走行箇所または走行予定箇所の環境情報、の少なくとも１つであるとしてもよい。
【００１１】
また、本開示の一態様に係るセンシングシステムにおいて、輸送機器の動作情報または操作情報は、（ｃ１）輸送機器の走行速度、走行加速度、及び停止に関する情報、（ｃ２）輸送機器の操作情報、（ｃ３）輸送機器の荷重バランス情報、並びに（ｃ４）輸送機器の荷重バランスに関する情報、の少なくとも１つであるとしてもよい。
【００１２】
また、本開示の一態様に係るセンシングシステムにおいて、輸送機器の操作情報は、（ｃ２１）アクセルペダル、ブレーキペダル等の踏込み情報、及び（ｃ２２）トランスミッションのギヤ位置情報、の少なくとも１つであるとしてもよい。
【００１３】
また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、被写体信号を選択的に機器に出力し、被写体信号を出力しない場合は、当該被写体信号の消去、または、一時的記録あるいは一時的記憶を行うとしてもよい。
【００１４】
また、本開示の一態様に係るセンシングシステムにおいて、演算部は、（ｄ）被写体または特定被写体の検出及び認識、（ｅ）被写体または特定被写体までの距離、（ｆ）被写体または特定被写体の寸法、（ｇ）被写体または特定被写体の形状、（ｈ）被写体または特定被写体の速度、及び（ｉ）演算実行不可、の少なくとも１つの被写体信号を算出するとしてもよい。
【００１５】
また、本開示の一態様に係るセンシングシステムにおいて、演算部は、（ｊ）ノイズ減算処理、（ｋ）映像拡大高精細化処理または超解像処理、（ｌ）ハイダイナミックレンジ処理、（ｍ）信号圧縮処理、及び（ｎ）被写体信号の一部またはすべての出力判断処理、の少なくとも１つの信号処理を行うとしてもよい。
【００１６】
また、本開示の一態様に係るセンシングシステムにおいて、第１の物理的対象は可視光であり、第２の物理的対象は赤外光であるとしてもよい。
【００１７】
また、本開示の一態様に係るセンシングシステムにおいて、第１の物理的対象は被写体または特定被写体からのパッシブ光であり、第２の物理的対象は被写体または特定被写体からのアクティブ光であるとしてもよい。
【００１８】
また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、アクティブ光を用いたタイムオブフライト（Ｔｉｍｅ  ｏｆ  ｆｌｉｇｈｔ）演算により被写体信号を算出するとしてもよい。
【００１９】
また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、パッシブ光を用いた現在のフレームと前のフレームを比較することにより被写体信号を算出するとしてもよい。
【００２０】
また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、光照射を指示する発光信号と露光を指示する露光信号とを発生する信号発生部と、発光信号に従ってパルス光を照射するパルス光源部と、を備え、センサ素子は、単板の固体撮像素子であり、当該固体撮像素子は露光信号に従って露光および撮像を行うとしてもよい。
【００２１】
また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、センシング環境の状態に応じ、第１信号もしくは第２信号を選択して被写体信号を算出する、または、第１信号もしくは第２信号の一方を第１信号もしくは第２信号の他方により補正して被写体信号を算出するとしてもよい。
【００２２】
また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、当該センシングシステムの記憶情報または記録情報に基づき、第１信号もしくは第２信号を選択して被写体信号を算出する、または、第１信号もしくは第２信号の一方を第１信号もしくは第２信号の他方により補正して被写体信号を算出するとしてもよい。
【００２３】
また、本開示の一態様に係る運転制御システムは、本開示の一態様に係るセンシングシステムと、センシングシステムからの被写体信号を用いて機器の制御を行うセット制御部を備える。
【００２４】
また、本開示の一態様に係る運転制御システムにおいて、センシングシステムは運転制御システムを備えたメインセンシングシステムであり、運転制御システムは少なくとも１つのサブセンシングシステムを備えるとしてもよい。
【００２５】
また、本開示の一態様に係る運転制御システムにおいて、サブセンシングシステムは、当該サブセンシングシステムがサブ被写体信号を出力する場合、メインセンシングシステムがメイン被写体信号の出力を判断する際に情報を与えるとしてもよい。
【００２６】
また、本開示の一態様に係る運転制御システムにおいて、機器は輸送機器であり、機器の制御は、（ａ）機器が走行中の自動ブレーキ制御、（ｂ）機器が停車中の自動発進停止制御、（ｃ）緊急ブレーキシグナル制御、（ｄ）自動ステアリング制御、及び（ｅ）自動運転操作制御、の少なくとも１つを行うとしてもよい。
【００２７】
また、本開示の一態様に係る運転制御システムにおいて、運転制御システムは、情報信号を出力するための情報入手部を備えるとしてもよい。
【００２８】
本開示に係るセンシングシステム及び運転支援システムによれば、高いセンシング精度とセット制御を実現することができる。
【図面の簡単な説明】
【００２９】
【図１】実施の形態の基本構成に係るセンシングシステム及び運転支援システムの基本構成例の概略を示す機能ブロック図である。
【図２Ａ】実施の形態の基本構成に係るセンシングシステム及び運転支援システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。
【図２Ｂ】実施の形態の基本構成に係るセンシングシステム及び運転支援システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。
【図２Ｃ】実施の形態の基本構成に係るセンシングシステム及び運転支援システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。
【図２Ｄ】実施の形態の基本構成に係るセンシングシステム及び運転支援システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。
【図２Ｅ】実施の形態の基本構成に係るセンシングシステム及び運転支援システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。
【図３】実施の形態１に係るセンシングシステム及び運転支援システムの概略構成例を示す機能ブロック図である。
【図４Ａ】実施の形態１に係るセンシングシステム及び運転支援システムの第１の搭載例を示す概略搭載図である。
【図４Ｂ】実施の形態１に係るセンシングシステム及び運転支援システムの第２の搭載例を示す概略搭載図である。
【図５Ａ】実施の形態１に係るセンシングシステム及び運転支援システムに搭載される演算部の一構成例の機能ブロック図である。
【図５Ｂ】実施の形態１に係るセンシングシステム及び運転支援システムに搭載される演算部の他の一構成例の機能ブロック図である。
【図５Ｃ】実施の形態１に係るセンシングシステム及び運転支援システムに搭載される演算部のさらに他の一構成例の機能ブロック図である。
【図５Ｄ】実施の形態１に係るセンシングシステム及び運転支援システムに搭載される演算部のさらに他の一構成例の機能ブロック図である。
【図６】実施の形態１に係るセンシングシステム及び運転支援システムのフローチャート図である。
【図７Ａ】実施の形態２に係るセンシングシステム及び運転支援システムの概略構成例を示す機能ブロック図である。
【図７Ｂ】実施の形態２に係るセンシングシステム及び運転支援システムの概略構成例を示す機能ブロック図である。
【図８Ａ】実施の形態２に係るセンシングシステム及び運転支援システムの第１の搭載例を示す概略搭載図である。
【図８Ｂ】実施の形態２に係るセンシングシステム及び運転支援システムの第２の搭載例を示す概略搭載図である。
【図９】実施の形態２に係るセンシングシステム及び運転支援システムのフローチャート図である。
【図１０】従来技術の撮像装置の概略構成を示す機能ブロック図である。
【発明を実施するための形態】
【００３０】
以下、本開示の実施の形態に係るセンシングシステム、運転支援システム（操作支援システム）について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本開示を限定するものではない。
【００３１】
また、以下、説明する際に使用した、一例として（ａ）、（ｂ）、（ｃ）等の表現は、少なくとも１つの場合、少なくとも２つを組み合せた場合、等の意味を含むものである。
【００３２】
また、以下の説明では、本開示の実施の形態に係るセンシングシステムまたは運転支援システム（操作支援システム）が搭載されるセット（機器）は、自動車（輸送機器）を中心に説明するが、セットの種類は自動車に限定されるものではなく、例えば、その他の輸送機器（自転車、オートバイ、鉄道車両、飛行機、宇宙機等）、輸送機器とインフラ設備、重機（ショベルカー、ブルドーザー等）、住宅設備機器、通信情報端末、等のあらゆる機器に搭載することが可能である。
【００３３】
また、以下の説明では、本開示の実施の形態に係るセンシングシステムまたは運転支援システム（操作支援システム）は、自動車（輸送機器）の車外センシング用途を中心に説明するが、車室内センシング用途（例えば、運転者（被写体、特定被写体）の居眠り防止、わき見運転防止を目的とするセンシング、等）に用いることも可能である。
【００３４】
（実施の形態の基本構成）
図１は、実施の形態の基本構成に係るセンシングシステム１０または運転支援システム（操作支援システム）３０の基本構成例の概略を示す機能ブロック図である。
【００３５】
図１に示すように、センシングシステム１０は、固体撮像素子（イメージセンサ、センサ素子）２０と、演算部２１とを備えている。
【００３６】
固体撮像素子２０は、入射する第１光（第１の物理的対象）及び第２光（第２の物理的対象）により撮像（センシング）を行い、第１光から第１撮像信号（第１信号）を、第２光から第２撮像信号（第２信号）を出力する。ここで、物理的対象とは、一例として、光、電波（レーダー）、音、圧力、熱、等である。
【００３７】
また、固体撮像素子２０が受光する第１光及び第２光の一例を以下に説明する。（ａ）第１光及び第２光は異なる波長領域光であっても、例えば、第１光は可視領域の光であっても、第２光は可視以外領域（一例として、赤外領域の波長光）であってもよい。（ｂ）第１光は、太陽光、室内照明光などの外光による通常の被写体光であっても、言い換えると、照射アクティブ光に起因せず被写体から発せられる放射光であってもよい。また、第２光は、後述するパルス光源部２５からの照射アクティブ光の反射光（反射アクティブ光）であってもよい。なお、パッシブ光、反射アクティブ光の詳細については後述する。
【００３８】
なお、第１光及び第２光は、上記の一例に限定されるものではなく、例えば、第１光は可視領域光のパッシブ光、第２光は赤外領域光の反射アクティブ光、等としてもよい。また、第１の物理的対象及び第２の物理的対象は必ずしも光である必要はなく、例えば熱またはレーダー等であってもよい。
【００３９】
次に、図２Ａ〜図２Ｄは、実施の形態の基本構成に係る固体撮像素子２０の構成例の平面構造図である。
【００４０】
図２Ａに示すように固体撮像素子２０は、第１光を受光する画素（第１光用画素）と、第２光を受光する画素（第２光用画素）をそれぞれ備えている。
【００４１】
更に、図面を用いて、第１画素でパッシブ光を受光し、第２画素で反射アクティブ光を受光する場合の詳細を説明する。すなわち、図２Ｂに示すように、固体撮像素子２０は、第１光用画素としてパッシブ光を受光する画素（以下、パッシブ光用画素と呼ぶ）と、第１光用画素として反射アクティブ光を受光する画素（以下、アクティブ光用画素と呼ぶ）をそれぞれ備えるとしてもよい。
【００４２】
また、図２Ｃは、図２Ｂの固体撮像素子の具体的な一例を示す平面構造図である。図２Ｃに示すように、固体撮像素子２０は、パッシブ光用画素としてＲ（赤）、Ｇ（緑）、Ｂ（青）を透過する各フィルタを設置した画素と、アクティブ光用画素としてＩＲ（赤外線）を透過するフィルタを設置した画素とを備えるとしてもよい。つまり、図２Ｃに示す固体撮像素子２０をセンシングシステム１０に搭載した場合は、アクティブ光用画素は可視光以外の光であるＩＲ光を受光することができる。
【００４３】
なお、図２Ｄは、図２Ａの固体撮像素子の変形例を示す平面構造図である。本実施の形態では、固体撮像素子２０は、図２Ｂ及び図２Ｃの構成ではなく、図２Ｄに示すようにパッシブ光用画素とアクティブ光用画素とが兼用できる画素（パッシブ光アクティブ光兼用画素）を備えていてもよい。すなわち、パッシブ光用画素はさらに反射アクティブ光を受光してもよく、アクティブ光用画素は、さらにパッシブ光を受光してもよい。この場合は、固体撮像素子２０は、パッシブ光および反射アクティブ光を受光できるので、固体撮像素子２０内の受光面積（画素面積）が大きくなり、高感度撮像（高感度撮影）ができる等の利点を有する。
【００４４】
また、パッシブ光用画素では、Ｒ、Ｇ、Ｂの各々の画素にはフィルタ透過により、パッシブ光を受光する。つまり、Ｒ、Ｇ、Ｂの各々の画素にＲ成分、Ｇ成分、Ｂ成分として第１撮像信号を出力する。一方、ＩＲ画素は反射アクティブ光を受光し、第２撮像信号を出力する。
【００４５】
なお、パッシブ光用画素において、Ｒ、Ｇ、Ｂの各フィルタには赤外線カットフィルタを搭載してもよい。
【００４６】
また、パッシブ光用画素において、Ｒ、Ｇ、Ｂ各フィルタは、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、ＩＲの各フィルタで構成されるとしてもよい。この場合は、パッシブ光に含まれる赤外光も受光することができる。言い換えると、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲの各々の画素にＲ成分と上記一部の赤外成分、Ｇ成分と上記一部の赤外成分、Ｂ成分と上記一部の赤外成分を受光し、第１撮像信号を出力することができる。つまり、この場合は、パッシブ光をパッシブ光用画素で受光することで、可視光画像を撮像できると共に、例えば、暗闇の中でも画像撮像可能な赤外光画像を撮像することもできる。
【００４７】
なお、図２Ｅに示すように、固体撮像素子２０を構成するパッシブ光用画素は、Ｒ、Ｇ、Ｂの各色フィルタが構成されていないとしてもよい。この場合、固体撮像素子２０は、モノクローム（ＢＷ）画像として撮像することができる。
【００４８】
また、パッシブ光用画素は、各フィルタを形成せずにカラー画像ができる画素構造（例えば、画素（フォトダイオード）を構成する不純物領域深さの変更、または、不純物の種類あるいは濃度の変更、等）としてもよい。
【００４９】
また、パッシブ光用画素、アクティブ光用画素の配置、画素数比率及び受光面積は、上記の例に限定されるものはない。例えば、アクティブ光用画素の単位面積は、パッシブ光用画素の単位面積より大きくしてもよいし、パッシブ光用画素はアクティブ光用画素よりも画素数を多くしてもよい。
【００５０】
また、アクティブ光用画素は、フィルタを形成せずに反射パッシブ光が露光できる画素構造（例えば、画素（フォトダイオード）を構成する不純物領域の深さの変更、または、不純物の種類あるいは濃度の変更、等）としてもよい。
【００５１】
再び、図１を用いて、センシングシステム１０が備える演算部２１の詳細を説明する。
【００５２】
演算部２１は、被写体演算部２２と信号処理部２３とを備え、参照信号（リファレンス信号）をセット側より受け取る。なお、参照信号の詳細については後述する。
【００５３】
被写体演算部２２は、被写体（または被写体のなかで重視する特定被写体）のセンシングのための演算を行う部である。被写体演算部２２は、第１撮像信号、第２撮像信号、参照信号を用いて、被写体に関する情報として被写体信号を算出する。被写体に関する情報としては、例えば（ａ）特定被写体検出、つまり、被写体の中から特定被写体の検出、（ｂ）被写体認識または特定被写体認識、つまり被写体または特定被写体がどのような物体等であるかの認識、（ｃ）特定被写体（または被写体）までの距離、特定被写体（または被写体）の寸法、特定被写体（または被写体）の形状、特定被写体（または被写体）の速度の算出など、等である。
【００５４】
なお、特定被写体は一つとは限らず、複数及び／または複種類であってよい。
【００５５】
また、被写体演算部２２では、被写体信号を算出するため、第１撮像信号、第２撮像信号をそれぞれ単独で被写体信号の演算および算出することができると共に、各状況に合わせ、被写体信号を演算および算出することができる。各状況の一例としては、（ａ）第１撮像信号を補完するため第２撮像信号の一部を使用する場合、（ｂ）第２撮像信号を補完するため第１撮像信号の一部を使用する場合、（ｃ）第１撮像信号、第２撮像信号のそれぞれ一部を使用する場合、等がある。なお、第１撮像信号、第２撮像信号の使い方の詳細については、後述する。
【００５６】
信号処理部２３は、被写体演算部２２の演算の前後に、信号処理を行う部分である。なお、その詳細については後述する。
【００５７】
なお、演算部２１は、複数の処理部の一部または全ては集積回路であるＬＳＩ（Ｌａｒｇｅ  ｓｃａｌｅ  ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。
【００５８】
また、集積回路化はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００５９】
また、演算部２１の各構成要素（被写体演算部２２、信号処理部２３）は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（セントラルプロセッシングユニット）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。言い換えると、演算部２１（被写体演算部２２、信号処理部２３）は、一例として（ａ）汎用プロセッサにＤＳＰ（デジタルシグナルプロセッサ）を組み合せる構成、（ｂ）汎用プロセッサに複数個のＤＳＰを備えるＦＰＧＡを組み合せる構成、（ｃ）汎用プロセッサに専用アクセラレータを組み合せた構成、等を適宜用いることができる。
【００６０】
運転支援システム３０のセット制御部４０は、運転支援システム３０が自動車用途の場合は、一例として（ａ）ＭＣＵ（メインコントロールユニット）、（ｂ）ＭＣＵを搭載するＥＣＵ（エレクトロニックコントロールユニット）、（ｃ）ナビゲーション、位置情報サービス、音声通信、インターネット接続のほか、音楽や動画などのマルチメディア再生、ニュース、電子メールなどへのアクセス・検索機能を備えたインフォテイメントシステム（Ｉｎｆｏｔａｉｎｍｅｎｔ  ｓｙｓｔｅｍ）、等である。
【００６１】
セット制御部４０は、被写体信号を受け取り、その被写体信号に基づいて、セット制御を行う。なお、その制御の詳細については後述する。
【００６２】
以上が実施の形態の基本構成であり、以下に実施の形態の更なる詳細を説明する。なお、後述する実施の形態では、第１光にパッシブ光、第２光にアクティブ光（反射アクティブ光）を用いた場合を中心に説明するが、第１光、第２光の選択はこれらに限定されるものではない。
【００６３】
（実施の形態１）
以下、図面を参照しながら、実施の形態１に係るセンシングシステム１０及び運転支援システム（操作支援システム）３０の構成及び動作について、これまでに説明した基本構成から異なる点を中心に詳細を説明する。
【００６４】
図３は、実施の形態１に係るセンシングシステム１０及び運転支援システム（操作支援システム）３０の概略を示す機能ブロック図である。図４Ａは実施の形態１に係るセンシングシステム及び運転支援システムの第１の搭載例を示す概略搭載図であり、図４Ｂは実施の形態１に係るセンシングシステム及び運転支援システムの第２の搭載例を示す概略搭載図である。
【００６５】
図３に示すように、実施の形態１に係るセンシングシステム１０は、固体撮像素子２０と、演算部２１とに加えて、パルス光源部２５と、露光／発光制御部２４とを備える。
【００６６】
ここで、センシングシステム１０は、例えば図４Ａに示すように、フロントガラス内上部（バックミラー付近）に設置することができるが、それに限定されるものではない。センシングシステム１０は、例えば、フロントグリル内、フロントバンパー内、等に設置することも可能である。つまり、詳細は後述するが実施の形態１に係るセンシングシステム１０は、ステレオカメラ等のセンシングシステムよりも小型化に優れており、設置場所を限定されることなく、様々な場所に設置することができるという利点を有している。
【００６７】
パルス光源部２５は、露光／発光制御部２４で発生する発光信号を受信するタイミングに従って被写体に対して光照射を行う。また、パルス光源部２５は、駆動回路、コンデンサ及び発光素子等を有し、コンデンサに保持した電荷を発光素子へ供給することでパルス光（以下、照射アクティブ光と呼ぶ）を発する。
【００６８】
ここで、例えば、照射アクティブ光は、近赤外光を含む赤外光（ＩＲ光）である。また、発光素子としては、レーザーダイオードや発光ダイオード（ＬＥＤ）等の様々な発光素子を用いることができる。発光素子は、単色の発光素子でなくてもよい。発光素子は、例えば、可視光を発振する発光素子から選択的に光（例えば、赤外光）を照射してもよい。つまり、赤色の発光素子、青色の発光素子、黄色の発光素子等による複数種類色の発光素子を組み合わせることにより、発振される光の波長領域の中から、選択的な光（例えば、赤外光）を照射することもできる。
【００６９】
なお、照射アクティブ光は、様々な方向に分散する光（いわゆる、一般的な光）の他に、指向性や収束性に優れ、また、発生する電磁波の波長を一定に保つことができるレーザー光またはレーダー光を照射アクティブ光として照射することもできる。
【００７０】
また、パルス光源部２５は、例えば図４Ｂに示すように、運転支援システム３０が搭載されるセットが自動車の場合は、車両に搭載されたヘッドライト２５ａ、２５ｂ、あるいはフォグライト２６ａ、２６ｂ等の既存ライトと兼用させることもできる。
【００７１】
露光／発光制御部２４は、パルス光源部２５に対して照射アクティブ光の照射を指示する発光信号を発生する。さらに、露光／発光制御部２４は、第２光（第２の物理的対象）であり照射アクティブ光の反射光（反射アクティブ光）の露光を指示する露光信号と、第１光（第１の物理的対象）であり太陽光、室内照明光などの外光による通常の被写体光であり、言い換えると、第１光であり照射アクティブ光に起因せず被写体（または特定被写体）から発せられる放射光（パッシブ光）の露光を指示する露光信号とを発生する。このように、露光／発光制御部２４は、光照射を指示する発光信号と露光を指示する露光信号とを発生する信号発生部としての機能を有する。
【００７２】
また、センシングシステム１０は、固体撮像素子２０を備え、露光信号に従って露光および撮像し、被写体からのパッシブ光を受光して第１撮像信号と、パルス光源部２５からの照射アクティブ光が被写体で反射した反射アクティブ光を受光して第２撮像信号を出力する。
【００７３】
また、演算部２１は、セット側（図３ではセット制御部４０）から参照信号を受け取る。この参照信号は、セット側に搭載されている情報入手部（各種センサ等）４１からの情報信号を元にしてセット側で作成され、センシング環境の状況（センシング環境の変化）を表す信号である。
【００７４】
また、参照信号または情報信号は、その内容（情報）の一例として（ａ）ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）センサ等からセット（自動車）の位置情報、（ｂ）クラウド情報（言い換えると、ネットワーク、特にインターネットから得られる情報（ネットワーク情報）であり、いわゆる、ビッグデータ（インターネットの普及とＩＴ技術の進化によって生まれたデータ（情報）であり、その特性は量、頻度（更新速度）、多様性（データの種類）により表されるデータ）も含む）、（ｃ）セット（自動車）自体の動作／操作情報、等に関する信号である。
【００７５】
また、上記の（ｂ）通信回線（インターネット回線）から得られるクラウド情報は、例えば、（ｂ１）最新更新の地図情報（なお、この地図情報は、平面上（水平方向）の情報と共に、地図上の物体（例えば、ビル、トンネルなどの建築物等）の高さ方向（垂直方向）に関する情報も含む）、（ｂ２）走行箇所（または走行予定箇所）の逐次変化する情報（時系列性、リアルタイム性のある情報）であり、例えば、走行経路上の工事情報、渋滞情報等、（ｂ３）一般道、高速道との違いや、道幅等までの含む高精細（地図）情報、（ｂ４）ＧＰＳセンサからの情報と組み合せることによる地図上のセット（自動車）位置情報、等である。
【００７６】
また、上記の（ｃ）セット（自動車）自体の動作／操作情報は、例えば、（ｃ１）セット（自動車）自体の走行速度、走行加速度、停止に関する情報、（ｃ２）アクセルペダル、ブレーキペダル等の踏込み情報（運転操作情報）、（ｃ３）変速ギヤ（トランスミッション）の位置（前進走行用ギヤ、後方走行用ギヤの選択等）、（ｃ４）トランク荷物積載量などの情報（つまり、自動車の荷重バランスに関する情報）、等に関する信号である。
【００７７】
なお、情報信号（及び、情報信号の情報を元とする参照信号）はこれらに限定されるものではない。また、本実施の形態は、情報信号に基づく制御用参照信号を露光／発光制御部２４が受け取ってもよい。
【００７８】
また、演算部２１内の被写体演算部２２は、被写体（または特定被写体）センシングのための演算を行う部であり、固体撮像素子２０からの第１撮像信号、第２撮像信号から特定被写体（または、被写体）に関する被写体信号を算出する。ここで、被写体信号の一例としては、（ａ）被写体の検出（以下、検出処理と呼ぶ）、（ｂ）被写体（または特定被写体）の認識（以下、認識処理と呼ぶ）、（ｃ）被写体（または特定被写体）までの距離、被写体（または特定被写体）の寸法（高さ、幅）、被写体（または特定被写体）の形状、被写体（または特定被写体）の速度、等である。
【００７９】
また、本実施の形態のセンシングシステム１０は、第２撮像信号（反射アクティブ光）を単独に用いた演算により、被写体信号を算出できる。その演算方法の一例として、ＴＯＦ（タイムオブフライト）方式がある。ＴＯＦ方式によれば、発光信号に対して、測定対象物からの反射アクティブ光を、露光信号として第一の露光信号と第二の露光信号の異なるタイミングの２パターンで固体撮像素子２０内のアクティブ光用画素で露光したそれぞれの光量の比に基づいて測定対象物（被写体）までの距離を算出することができる。言い換えると、被写体に対して、露光／発光制御部２４で発生する露光信号が示すタイミングに従って複数回の露光を行い、複数回の露光量の総和に対応した撮像信号を出力することができる。
【００８０】
例えば、第一の露光信号によって、測定対象物からの反射光の全てを含むように露光を行い、第二の露光信号によって、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような露光を行う。また背景光等のオフセット成分を検出するため、発光信号を停止させて第一の露光信号、第二の露光信号と同じ条件の露光を行う。
【００８１】
そして、第一の露光信号による露光量の総和Ｓ１、第二の露光信号による露光量の総和Ｓ０、背景光の露光量の総和ＢＧ、照射する直接光の発光信号の時間幅Ｔ０、光速度ｃの各値から被写体までの距離Ｌを、下記の（式１）を用いて算出する。
【００８２】
【数１】
2015182135.tif 000003
【００８３】
また、１画面における発光信号、第一の露光信号、第二の露光信号のタイミングでは、発光信号と第一の露光信号とを複数回繰り返し出力し、その後発光信号と第二の露光信号とを同じ回数だけ繰り返し出力し、その後発光信号を停止させて第一の露光信号や第二の露光信号と同じ条件の露光信号を同じ回数だけ繰り返し出力する。この一連のタイミングを１セットとし、これを複数セット繰り返し出力した後、蓄積された露光量を出力して被写体までの距離を（式１）により算出するようにしてもよい。
【００８４】
なお、本実施の形態のセンシングシステム１０は、ＴＯＦ方式以外の演算処理を用いることも可能である。一例として、センシングシステム１０は、照射アクティブ光を被写体に当てて、反射アクティブ光のひずみで、演算処理を行うパターン照射方式、等を用いることも可能である。
【００８５】
さらに、本実施の形態のセンシングシステム１０は、第１撮像信号（パッシブ光）を単独に用いた演算により、被写体信号を算出できる。この演算方法の一例としては、第１撮像信号による連続画像を撮影して、その連続画像の信号（画像撮像信号）を演算部２１に出力し、演算部２１では、現在のフレーム（画像）と前のフレーム（画像）を比較し、被写体信号の算出を行う方法がある。
【００８６】
このように、参照信号と、第１撮像信号及び／または第２撮像信号を用いて、操作環境条件（自動車では運転状況、または停止から始動への移行状況）において最も適した演算方法により、被写体信号の演算（算出）を行うことができる。
【００８７】
また、演算部２１内の信号処理部２３は、被写体（または特定被写体）センシング精度及び性能向上や信号量低減を目的とした信号処理を行う部であり、第１撮像信号、第２撮像信号、参照信号と共に、後述する処理信号または一次被写体信号、処理信号より、例えば以下に一例として示す信号処理を行う。
【００８８】
信号処理の一例としては、（ａ）検出処理、（ｂ）認識処理、（ｃ）ノイズとなりうる信号を減らすノイズ減算処理、（ｄ）低解像度の撮像を単数、あるいは他の複数の撮像を元に推定した値を使って、撮像情報（撮像画像）を高精細やクリアにする処理（映像拡大高精細化処理、超解像処理）、（ｅ）露出を変えつつ複数枚の撮像を行い、それらを合成することで白飛びや黒つぶれの少ない幅広いダイナミックレンジを持つ画像（ハイダイナミックレンジイメージ）を算出し、及び／または作成した撮像情報（画像）をトーンマッピング（手法としては画像全体のコントラストを下げる方法や、画像の局所的なコントラストを下げる方法）によりダイナミックレンジを縮小することで標準的なダイナミックレンジを持つ画像の算出を行う、いわゆるＨＤＲ（ハイダイナミックレンジ）処理、（ｆ）撮像情報から余分な部分を減らし、全体の信号量を減らす処理、いわゆる圧縮処理、（ｇ）第１撮像信号、第２撮像信号の選択処理（一部選択も含む）、（ｈ）被写体信号を後段（後述するセット制御部４０）に出力するかの判断処理、（ｉ）被写体信号を後段（後述するセット制御部４０）に出力する場合に、複種類の情報（特定被写体の種類、特定被写体までの距離、特定被写体の寸法、特定被写体の形状、特定被写体の速度、等）から、その一部またはすべてを出力するかの選択判断処理などである。
【００８９】
なお、信号処理は上述したものに限定されるものではない。
【００９０】
また、本実施の形態では、上述したように検出処理と認識処理は、被写体演算部２２と信号処理部２３のいずれでも行うことができる。
【００９１】
また、上記（ｆ）の圧縮処理については、可逆圧縮、非可逆圧縮（一例として、ＭＰＥＧ，ＪＰＥＧ）を用いることができる。特に、演算部２１からセット制御部４０へ非被写体信号の転送速度を重視する場合は可逆圧縮を用いることがより好ましく、一方、後述するセット制御部４０の信号処理負荷の低減を重視する場合は非可逆圧縮がより好ましい。
【００９２】
図５Ａ〜図５Ｄは、実施の形態１に係るセンシングシステム及び運転支援システムに搭載される演算部の構成例の機能ブロック図である。
【００９３】
演算部２１は、信号処理部２３を信号処理部２３ａ、２３ｂを搭載している。
【００９４】
演算部２１は、上記（ｆ）、（ｇ）、（ｈ）及び（ｉ）の信号処理を重視する場合は、図５Ａに示すように、被写体演算部２２の後段に信号処理部２３ｂを搭載することがより好ましい。一方、演算部２１は、上記（ｃ）、（ｄ）、（ｅ）及び（ｆ）の信号処理を重視する場合は、図５Ｂに示すように被写体演算部２２の前段に信号処理部２３ａを搭載することがより好ましい。
【００９５】
更に、演算部２１において、上記（ｆ）の信号処理において被写体演算部２２の負荷低減を重視すれば、図５Ｂのように、被写体演算部２２の前段に信号処理部２３ａに搭載されることがより好ましい。一方、演算部２１において、後段のセット（セット制御部４０）の負荷低減を重視すれば、図５Ａのように、被写体演算部２２の後段に信号処理部２３ｂを搭載するとしてもよい。
【００９６】
なお、被写体演算部２２と信号処置部と配置は、図５Ａまたは図５Ｂに限定されるものではない。例えば、図５Ｃのように、被写体処理部の前段および後段に信号処理部２３ａ、２３ｂを配置するとしてもよい。この場合は、演算の最適化を、より細やかに、正確に実施できる。
【００９７】
また、図５Ｄに示すように、信号処理部２３で処理された処理信号を用いて、被写体演算部２２で一次被写体信号を形成し、さらに信号処理部２３に戻して再度信号処理を行い（更に、これらを繰り返す場合もある）、被写体信号を出力するようにしてもよい。この場合は、演算の高精度化、演算部２１の小型化等が高い次元で実現できる。
【００９８】
また、演算部２１は、操作環境条件（自動車では運転状況、または停止から始動への移行状況）において、最も適した第１撮像信号、第２撮像信号の選択（または補完）により演算を行う。
【００９９】
この演算方法の使い分け（使い方）の一例について説明する。
【０１００】
（ａ）第１の使い方は、昼夜により、第１撮像信号または第２撮像信号を選択する方法であり、例えば、昼間などの場合、本実施の形態では第１撮像信号を主に用いる。一方、夜間などで明瞭な可視画像撮像ができない場合は、第２撮像信号を主に用いる。これにより、昼夜を問わずに正確にセンシングを行うことができる。
【０１０１】
（ｂ）第２の使い方は、扱われる天候や環境条件などにより、画像撮像信号または撮像信号を選択する方法である。例えば、夕方等の強い日差しを受けている場合、雨が降っている場合などは第２撮像信号を主に用い、それ以外の環境では、主に第１撮像信号を用いる。これによって、どのような天候、状況でも高い精度でセンシングを行うことができる。
【０１０２】
（ｃ）第３の使い方は、被写体までの距離により、第１撮像信号または第２撮像信号を選択する方法である。すなわち、広角画像となりやすい近距離では第２撮像信号を主に用い、中遠距離では主として第１撮像信号を主に用いる。これにより、どのような被写体までの距離の場合でも高い精度でセンシングを行うことができる。
【０１０３】
（ｄ）第４の使い方は、本システムが搭載された輸送機器（例えば、自動車）、または被写体の動き速度によって、第１撮像信号または第２撮像信号を選択する方法である。例えば輸送機器の速度が、例えば１００ｋｍ／ｈ以上の高速度では第２撮像信号を主に用いるのが、より好ましい。
【０１０４】
（ｅ）第５の使い方は、本システムが搭載された輸送機器（例えば、自動車）が停止中から走行発進（前方発進または後方発進）する際は、被写体（または特定被写体）までの距離測定精度を優先し、第１撮像信号を主に用いる。
【０１０５】
なお、本実施の形態では、上記測距環境（センシング環境）の状態に応じて第１撮像信号または第２撮像信号を選択したが、それに限定されない。例えば、一方の信号による演算結果を正確にするため、環境の状態に応じてもう片方の信号を補正に用いることも可能である。
【０１０６】
例えば、（ｄ）第４の使い方の詳細として、輸送機器の速度が、例えば３０ｋｍ／ｈまでの低速度では第２撮像信号の演算結果と第１撮像信号の演算結果のいずれかの演算結果を補完情報として用いて最終的な距離を算出するとしてもよい。また、例えば３０〜１００ｋｍ／ｈまでの中速度では第２撮像信号と第１撮像信号とをフレームごとに使い分け、例えば１００ｋｍ／ｈ以上の高速度では第２撮像信号を用いるとしてもよい。これにより、どのような被写体までの距離でも高い精度で測距することができる。
【０１０７】
（ｆ）第６の使い方としては、画像撮像信号（第１撮像信号）を用い被写体（または特定被写体）のエッジ線部を取得して検出処理（いわゆる、エッジ検出処理）を行う際に圧縮処理もあわせて行った結果、画像の輪郭（被写体のエッジ）がぼやけてエッジ線部の情報が十分に得られない場合、ＴＯＦ信号（第２撮像信号）を補完信号として（言い換えると、圧縮画像を用いた演算に対してＴＯＦによる演算を補完演算として）用いる場合である。これにより、被写体検知及びに被写体認識の精度を落とすことなく、信号量削減（信号圧縮、データ圧縮）を行うことができる。
【０１０８】
また、演算部２１は、被写体信号をセット制御部４０へ出力し、セット制御部４０はセット制御を行う。なお、この被写体信号は、例えば、後述するように撮像信号を十分に得ることができず、演算ができなかった結果も被写体信号として含まれるものである。
【０１０９】
また、センシングシステム１０から出力した被写体信号によるセット制御（セット操作）は、運転支援システム３０が搭載されるセットが自動車の場合、例えば（ａ）走行中に前方に障害物がある場合に衝突を回避する自動ブレーキ操作、（ｂ）停止中に障害物があるにも係らず、ブレーキペダルと間違えてアクセルペダルを踏んでいるとの場合に車両発進を止める発進停止操作、（ｃ）後続車両に対し、急ブレーキを行っていることを視覚で示すために緊急ブレーキシグナル操作、（ｄ）自動ブレーキのみでは間に合わないと判断した場合の自動ステアリング操作、（ｅ）車道の白線等に関する被写体信号を用い、運転者がステアリング操作等を行わずに走行できる、いわゆる自動運転操作、等などのセット制御を行う。なお、セット操作は上述したものに限定されるものではない。
【０１１０】
次に、図６を用いて、実施の形態１に係るセンシングシステム１０のプロセスフローについて説明する。ここで、図６は、実施の形態１に係るセンシングシステム及び運転支援システムのフローチャート図である。
【０１１１】
始めに、センシングシステム１０は、セット側より参照信号を受け取る（Ｓ１０）。
【０１１２】
次に、固体撮像素子２０は、第１光及び第２光それぞれに基づき、第１撮像信号及び第２撮像信号を算出する（Ｓ１１）。
【０１１３】
次に、第１撮像信号及び／または第２撮像信号を演算部２１に出力する（Ｓ１２）。
【０１１４】
次に、演算部２１は、第１撮像信号及び第２撮像信号に基づき、被写体演算処理及び信号処理を行い、被写体信号を算出する（Ｓ１３）。なお、演算部２１が参照信号を直接受け取り、その参照情報も用いて被写体信号を算出する場合もある。
【０１１５】
次に、算出した被写体信号を後段に出力するか判断を行う（Ｓ１４）。
【０１１６】
Ｓ１４において、算出した被写体信号を後段に出力するかの判断がｙｅｓの場合（つまり、被写体信号を出力すると判断した場合）は（Ｓ１４でＹｅｓ）、被写体信号をセット側に出力する（Ｓ１５）。
【０１１７】
次に、セット側では、被写体信号を用いて上述したようなセット制御を行う（Ｓ１６）。例えば、演算により被写体まで距離、寸法及び形状が把握でき、被写体が検知できた場合、被写体信号を使用して、自動ブレーキ操作、緊急ブレーキシグナル操作、自動ハンドリング操作、自動加速操作、等を行う。
【０１１８】
なお、被写体信号は、被写体まで距離、寸法及び形状が把握でき、被写体検出／認識ができた場合に限らず、被写体まで距離、寸法及び形状が演算できず、被写体検出／認識できない等の情報（信号）も含まれる。この場合、例えば、大雨、霧などの天候悪化、非常に混雑した場所での走行中の場合、被写体までの距離等を算出できないことを表す信号（被写体信号）を出力し、セット（自動車）側は、運転者に対して、視界が悪いこと、センシングシステム１０で被写体信号が算出できないような状態であることを示す警告音またはディスプレイ表示等が生じるようなセット制御を行う。
【０１１９】
以上で、被写体信号を後段に出力するかの判断がｙｅｓの場合は終了である。
【０１２０】
なお、算出した被写体信号を後段に出力するか判断がＮｏ（つまり、信号出力しても自動車制御を行うための情報として有益ではないとし、被写体信号を出力しないと判断した場合）である場合（Ｓ１４でＮｏ）、かつ、第１の場合、センシングシステム１０内で信号消去（または、一時的に情報を蓄積（記録あるいは記憶）するが、新たな被写体信号の算出により記録／記憶容量が不足等により、信号上書きにより旧信号を消去、または、一時的に情報を蓄積したが、一定の時間経過等により信号消去）などを行う。
【０１２１】
以上で、被写体信号を後段に出力するかの判断がＮｏの場合かつ第１の場合は終了である。
【０１２２】
また、算出した被写体信号を後段に出力するか判断がＮｏである場合（Ｓ１４でＮｏ）、かつ、第２の場合、例えば（ａ）新たに参照信号の入力（獲得）したうえで、再度撮像を行い、新たに第１撮像信号、第２撮像信号を獲得し、再度、被写体演算処理及び／または信号処理の再実行、（ｂ）新たな撮像動作による新たな第１撮像信号、第２撮像信号を獲得し、再度、被写体演算処理、信号処理の再実行、（ｃ）新たな参照信号の入力（獲得）した上で、再度、被写体演算処理、信号処理の再実行、（ｄ）再度、被写体演算処理、信号処理の再実行、のいずれかの動作を行う。
【０１２３】
その後、被写体信号を出力するかの再度判断を行いｙｅｓとなった場合は、被写体信号を出力し、その被写体信号に基づきセット制御を行う。
【０１２４】
以上で、被写体信号を後段に出力するかの判断がＮｏの場合かつ第２の場合は終了である。
【０１２５】
以上のように、図面を用いて説明した本実施の形態のセンシングシステム１０は、以下のような効果を備えている。
【０１２６】
本実施の形態によれば、センシングシステム１０の装置大型化、高コスト化を避けつつ、一般的なセンシングシステム（言い換えると、スタンドアロン型システム）よりも、高精度なセンシング及びセンシング演算（被写体信号の算出）を行うことができる。
【０１２７】
また、本実施の形態では、複数類の撮像信号（反射アクティブ光による第１撮像信号、パッシブ光による第２撮像信号）と参照信号を適宜用いて、被写体信号の算出を行うことにより、例えば、自動車では走行中は逐次変わる環境の変化に対しても、常に高精度に被写体信号を算出することができる。
【０１２８】
特に、図２Ａ〜図２Ｅで示したように、本実施の形態のセンシングシステム１０では、第１撮像信号と第２撮像信号とを出力する固体撮像素子２０が同じであり、つまり単板の固体撮像素子２０を用いている。そのため、各撮像信号の撮像中心（光学中心、光軸中心）等が同じであり、撮像信号間の位相差が少なく、撮像信号の同期などの精度が高いため、第１撮像信号と第２撮像信号とのそれぞれに基づく演算結果との互換性及び相関性が高く、より精度の高い被写体信号を算出することができる。
【０１２９】
また、本実施の形態では、センシングシステム１０は、演算部２１を備え、セット側からの参照信号、言い換えると、各種センサ（ＧＰＳセンサ、等）やクラウド等の情報を元とする参照信号を用いる。これにより、時間軸で逐次変化する環境状況（渋滞情報、工事情報）に対しても、常に最も適した撮像、演算を高精度に行うことができ、あらゆる場合でも高精度なセット制御（運転制御、操作制御）を行うことができる。
【０１３０】
例えば、本実施の形態のセンシングシステム１０を搭載する車両である本システム搭載車両は、高速道路を走行していることを参照信号（ＧＰＳセンサ、クラウド情報等と組み合せることによる地図上のセット（自動車）位置情報、セット（自動車）自体の動作／操作情報としての速度情報等）から判断した場合、前方物として高速移動を行っている前方車両に重視する被写体信号を算出し、その被写体信号をセット制御部４０に送ることで、セット制御部４０はその状況に適したセット制御を行うことができる。
【０１３１】
また、その他の例としては、本システム搭載車両は、参照情報から、例えば道幅が狭いような歩行者車両兼用道路を走行していると判断した場合は（言い換えると、本システム搭載車両は比較的低速で走行していることとなる）、被写体までが比較的近距離な範囲において多様な被写体または特定被写体（例えば、前方車両に加えて歩行者、自転車、動物、車道に入り込んできた障害物、など）を検出及び認識を重視した被写体信号を出力することができ、セット制御部４０はその状況に適したセット制御を行うことができる。
【０１３２】
また、本実施の形態では、信号処理部で信号処理を行うことにより、常に最適な撮像、演算を高精度に行うことができ、あらゆる環境条件でも高精度なセット制御（運転制御、操作制御）を行うことができる。
【０１３３】
また、本実施の形態では信号処理部で信号処理を行うことにより、被写体信号がギガビットオーダーの容量となり高速データ転送が必要となることを防ぐことが可能となる。
【０１３４】
また、本実施の形態では、センシングシステム１０は、被写体信号を選択的に出力することにより、演算部２１に対して大きな負荷をかけることなく連続撮像、連続演算を実現できる。
【０１３５】
さらに、本実施の形態では、演算部２１からの演算結果（被写体信号）は選択的に（適切なタイミングで）セット側制御部に送るため、セット側（セット制御部４０）に演算負荷を低減でき、演算の高精度化、高速演算、高速処理、低電力消費化を行うことができる。
【０１３６】
特に、自動車用途では、近年では、数多くの制御を行うためにセット制御部４０（集積回路）を高集積化（一例として、汎用プロセッサ（ＣＰＵ）の数を増やしていくこと）することになる。このようになると、セット全体で、消費電力の増加やコスト増加につながることになり、つまり、極めて負荷が大きくなるという問題を有するが、本実施の形態はこの問題を解決することができる。
【０１３７】
（実施の形態２）
以下、図面を参照しながら、実施の形態２に係るセンシングシステム（測距撮像システム）の構成及び動作について、基本構成から異なる点、及び、これまでの実施の形態で説明した内容との相違点を中心に詳細を説明する。
【０１３８】
図７Ａ及び図７Ｂは、実施の形態２に係るセンシングシステム及び運転支援システムの概略構成例を示す機能ブロック図である。
【０１３９】
図１の基本構成から異なる点、及び、図３との構成との違いを中心に説明すると、図７Ａ及び図７Ｂに示す本実施の形態に係る運転支援システム３０は、メインセンシングシステム１０ａとサブセンシングシステム１０ｂとを備える。
【０１４０】
図７Ａ及び図７Ｂに示すメインセンシングシステム１０ａは、図３で示したセンシングシステム１０と基本構成は同じである。但し、プロセスフローについては一部異なる点があり、この詳細は後述する。なお、メインセンシングシステム１０ａは、図３とは異なるシステムであってもよい。
【０１４１】
一方、図７Ａ及び図７Ｂのサブセンシングシステム１０ｂは、例えば（ａ）被写体の中から特定被写体の検出処理、（ｂ）被写体（または特定被写体）の認識処理、（ｃ）特定被写体（または、被写体）に関する距離、寸法、形状及び速度の算出、等を行う。
【０１４２】
なお、このサブセンシングシステム１０ｂは、メインセンシングシステム１０ａと同じもの用いることができるが、機能の絞込み、低コスト化、小型化等を重視してメインセンシングシステム１０ａとは異なる方式のセンシングシステム（一例として、ミリ波レーダー、レーザーレーダーを用いたセンシングシステム、等）を用いることもできる。
【０１４３】
さらに、図７Ａ及び図７Ｂでは、１台のサブセンシングシステム１０ｂを示したが、複数台のサブセンシングシステム１０ｂを設置することもできる。
【０１４４】
その詳細について、図８Ａ及び図８Ｂを用いて説明する。
【０１４５】
図８Ａは実施の形態２に係るセンシングシステム及び運転支援システムの第１の搭載例を示す概略搭載図であり、図８Ｂは実施の形態２に係るセンシングシステム及び運転支援システムの第２の搭載例を示す概略搭載図である。
【０１４６】
図８Ａに示すように、メインセンシングシステム１０ａは、走行において最も重視する前方センシングに用いるために設置され、サブセンシングシステム１０ｂは、車両の側面、後方をセンシングするように設置される。これによって、車両の全方向についてセンシングを行うことができる。
【０１４７】
一方、図８Ｂに示すように、サブセンシングシステム１０ｂをメインセンシングシステム１０ａと同じ方向のセンシングを行うために設置してもよい。これにより、同じ方向（前方方向）におけるセンシング精度がより高精度で行うことができる。
【０１４８】
なお、メインセンシングシステム１０ａとサブセンシングシステム１０ｂとの設置は、上記に限定されるものではなく、その他の箇所に設置することもでき、または、図８Ａと図８Ｂの設置を組み合わせることもできる。
【０１４９】
再び、図７Ａ及び図７Ｂを用いて説明する。図７Ａは、メインセンシングシステム１０ａが通常及び非通常時であり、サブセンシングシステム１０ｂが通常時である場合を表し、図７Ｂは、サブセンシングシステム１０ｂが非通常時である場合を表している。なお、非通常時とは、機器（輸送機器）が障害物と衝突する恐れがある場合、等である。
【０１５０】
図７Ａに示すように、サブセンシングシステム１０ｂは、通常時、演算結果をセット制御部４０に非出力とする。一方、図７Ｂに示すように、サブセンシングシステム１０ｂ側は、非通常時でありかつ注意すべき被写体情報を得た場合、セット側（セット制御部４０）にサブ被写体信号を出力する。
【０１５１】
また、サブ被写体信号が出力された場合、セット制御は、セットが自動車（輸送機器）の場合（特に、前方をセンシングするシステムとして用いた場合）、例えば（ａ）停止中に障害物があるにも係らず、ブレーキペダルを間違えてアクセルを踏んでいる等の場合は自動発進停止、（ｂ）後続車両に対し、急ブレーキを行っていることを視覚で示すために緊急ブレーキシグナル動作、（ｃ）自動ブレーキのみでは間に合わないと判断した場合、自動ステアリング操作、等などのセット制御を行う。ただし、セット操作は上述したものに限定されるものではない。
【０１５２】
なお、上記制御では、場合によっては、前方車両と衝突することも考えられるが、本実施の形態ではその回避することができる。その詳細について図９を用いて説明する。
【０１５３】
図９は、実施の形態２に係るセンシングシステム及び運転支援システムのフローチャート図である。
【０１５４】
以下、図９を用いて、実施の形態２に係るセンシングシステム１０のプロセスフローについて説明する。
【０１５５】
まず、メインセンシングシステム１０ａは、セット側より参照信号を受け取る（Ｓ２１）。
【０１５６】
次に、固体撮像素子２０により、第１光及び第２光それぞれに基づき、第１撮像信号及び第２撮像信号を算出する（Ｓ２２）。
【０１５７】
次に、第１撮像信号及び／または第２撮像信号を演算部２１に出力する（Ｓ２３）。
【０１５８】
次に、演算部２１は、第１撮像信号及び第２撮像信号に基づき、被写体演算処理及び信号処理を行い、メイン被写体信号を算出する（Ｓ２４）。なお、演算部２１が参照信号を直接受け取り、その参照情報も用いてメイン被写体信号を算出する場合もある。
【０１５９】
ここで、メインセンシングシステム１０ａと同タイミングに行うサブセンシングシステム１０ｂについて説明する。
【０１６０】
まずサブセンシングシステム１０ｂはサブ被写体信号を算出する（Ｓ３１）。
【０１６１】
次に、サブ被写体信号をセット側に出力するかを判断する（Ｓ３２）。なお、サブセンシングシステム１０ｂでは、Ｓ３３においてメイン被写体信号の出力停止を指示するどうかに係らず、サブ被写体信号をセット側（セット制御部４０）に出力する。
【０１６２】
Ｓ３２において、サブ被写体信号を後段に出力するか判断がＮｏ（つまり、サブ被写体信号を出力してもセット制御を行うための有益な情報ではないとし、サブ被写体信号を出力しないと判断した場合）の場合は（Ｓ３２でＮｏ）、サブ被写体信号の消去（または、一時的に情報を蓄積するが、新たなサブ被写体信号の算出により記録／記憶容量が不足等により、サブ被写体信号上書きにより旧信号を消去、または、一時的に情報を蓄積したが、一定の時間経過等により信号消去）等を行う（Ｓ３５）。
【０１６３】
以上で、サブ被写体信号を後段に出力するかの判断がＮｏの場合は終了である。
【０１６４】
一方、Ｓ３２において、サブ被写体信号を後段に出力するかの判断がｙｅｓ（つまり、サブ被写体信号を出力すると判断した場合）の場合は（Ｓ３２でＹｅｓ）、サブ被写体信号をセット側（セット制御部４０）に出力すると共に（Ｓ３３）、この判断に関する信号（出力判断信号）をメインセンシングシステム１０ａに出力する（Ｓ３３でＹｅｓ）。
【０１６５】
次に、メインセンシングシステム１０ａでは、出力判断信号も考慮して、メイン被写体信号を後段に出力するか判断を行う（Ｓ２５）。但し、この判断は、出力判断信号が入力されることを待つ必要はない。
【０１６６】
Ｓ２５において、メイン被写体信号を後段に出力するか判断がＮｏ（メイン被写体信号を出力しても自動車制御を行うための有益な情報ではない判断した場合、または、サブ被写体信号はメイン被写体信号よりも優先度が高いと判断した場合）の場合（Ｓ２５でＮｏ）、かつ、第１の場合、センシングシステム内でメイン被写体信号の消去（または、一時的に情報を蓄積するが、新たな被写体信号の算出により記録／記憶容量が不足等により、メイン被写体信号上書きにより旧信号を消去、または、一時的に情報を蓄積したが、一定の時間経過等により信号消去）等を行う（Ｓ２８）。
【０１６７】
また、Ｓ２５において、メイン被写体信号を後段に出力するか判断がＮｏの場合（Ｓ２５でＮｏ）、かつ、第２の場合、実施の形態１と同様に、例えば（ａ）新たに参照信号の入力（獲得）したうえで、再度撮像を行い、新たに第１撮像信号、第２撮像信号を獲得し、再度、被写体演算処理及び／または信号処理の再実行、（ｂ）新たな撮像動作による新たな第１撮像信号、第２撮像信号を獲得し、再度、被写体演算処理、信号処理の再実行、（ｃ）新たな参照信号の入力（獲得）した上で、再度、被写体演算処理、信号処理の再実行、（ｄ）被写体演算処理、信号処理の再実行、のいずれかの動作を行うこともできる。
【０１６８】
以上で、メイン被写体信号を後段に出力するかの判断がＮｏの場合（Ｓ２５でＮｏ）、かつ、第２の場合は終了である。
【０１６９】
一方、Ｓ２５において、メイン被写体信号を後段に出力するか判断がｙｅｓの場合は（Ｓ２５でＹｅｓ）、メイン被写体信号をセット側に出力する（Ｓ２６）。
【０１７０】
次に、セット側では、サブ被写体信号、またはメイン被写体信号を用いて、上述したようにセット制御を行う（Ｓ２７）。これにより、サブセンシングシステム１０ｂが監視する方向（後方）の危険を回避する際に、メインセンシングシステム１０ａが監視する方向（前方）の状況を考慮しながら、危険回避（セット制御）を行うことができる。
【０１７１】
以上、図面を用いて説明したように、本実施の形態に係る運転支援システムでは、複数方向に対する危険に対してセット制御を行うことができる。
【０１７２】
さらに、本実施の形態では、セット制御は、サブ被写体信号のみを使う場合と、サブ被写体信号とメイン被写体信号を使う場合を適切に使い分け、サブセンシングシステム１０ｂが監視する方向（後方）の危険を回避する際に、メインセンシングシステム１０ａが監視する方向（前方）の状況を考慮しながら、危険回避（セット制御）を行うことができる。
【０１７３】
また、本実施の形態では、サブ被写体信号のみを使う場合と、サブ被写体信号とメイン被写体信号を使う場合を適切に使い分ける、つまり、メイン被写体信号とサブ被写体信号を常に出力しない。これにより、複数方向のセンシングを行いつつも、セット側（セット制御部４０）に高負荷がかかることが防ぐことができ、演算の高制度化、高速演算、高速処理、低電力消費化を行うことができる。
【０１７４】
特に、自動車（輸送機器）用途では、近年では、数多くの制御を行うためにセット制御部４０（集積回路）を高集積化（一例として、汎用プロセッサ（ＣＰＵ）の数を増やしていくこと）することになる。このような場合、セット全体で、消費電力の増加やコスト増加につながることになり、つまり、極めて負荷が大きく、演算エラーや、演算の遅延を起こすことになるが、本実施の形態はこの問題を解決することができる。
【０１７５】
なお、本実施の形態ではサブセンシングシステム１０ｂは、メインセンシングシステム１０ａと同様に、セット制御部４０から参照信号を受け取るようにしてもよい。この場合、サブセンシングシステム１０ｂはより走行環境に適した判断を行うことができる。
【０１７６】
なお、本発明に係るセンシングシステム及び運転支援システムは、上記実施の形態に限定されるものではない。各実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、各実施の形態に対して本発明の趣旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本実施の形態に係るセンシングシステム及び運転支援システムを内蔵した各種機器も本発明に含まれる。
【産業上の利用可能性】
【０１７７】
本開示に係るセンシングシステム、運転支援システムは、測定対象物の高精度なセンシングが実現できるため、例えば、輸送機器への搭載に有用である。
【符号の説明】
【０１７８】
１０  センシングシステム
１０ａ  メインセンシングシステム
１０ｂ  サブセンシングシステム
２０  固体撮像素子（イメージセンサ、センサ素子）
２１  演算部
２２  被写体演算部
２３，２３ａ，２３ｂ  信号処理部
２４  露光／発光制御部
２５  パルス光源部
２５ａ，２５ｂ  ヘッドライト
２６ａ，２６ｂ  フォグライト
３０  運転支援システム（操作支援システム）
４０  セット制御部
４１  情報入手部
【図１】
2015182135.tif 000004
【図２Ａ】
2015182135.tif 000005
【図２Ｂ】
2015182135.tif 000006
【図２Ｃ】
2015182135.tif 000007
【図２Ｄ】
2015182135.tif 000008
【図２Ｅ】
2015182135.tif 000009
【図３】
2015182135.tif 000010
【図４Ａ】
2015182135.tif 000011
【図４Ｂ】
2015182135.tif 000012
【図５Ａ】
2015182135.tif 000013
【図５Ｂ】
2015182135.tif 000014
【図５Ｃ】
2015182135.tif 000015
【図５Ｄ】
2015182135.tif 000016
【図６】
2015182135.tif 000017
【図７Ａ】
2015182135.tif 000018
【図７Ｂ】
2015182135.tif 000019
【図８Ａ】
2015182135.tif 000020
【図８Ｂ】
2015182135.tif 000021
【図９】
2015182135.tif 000022
【図１０】
2015182135.tif 000023
【手続補正書】
【提出日】平成28年11月22日(2016.11.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
発光信号に従って光を照射する光源と、露光信号に従って撮像信号を出力する固体撮像素子と、前記撮像信号を用いて被写体に関する前記被写体信号を算出し、当該被写体信号を出力する演算部とを有するセンシングシステムと、
セット制御部とを備えた運転支援システムであって、
前記セット制御部は、
前記センシングシステムから送られる前記被写体信号を用いて、前記運転支援システムを搭載した輸送機器の運転制御を行う
運転支援システム。
【請求項２】
前記センシングシステムは、
前記輸送機器から送られる、前記輸送機器の位置情報、クラウド情報、及び前記輸送機器の動作情報または操作情報、の少なくとも１つ参照信号を用いてセンシングを行う
請求項１に記載の運転支援システム。
【請求項３】
前記センシングシステムは、
前記参照信号により、センシングの範囲を変更して、当該範囲に含まれる前記被写体に関するセンシングを行う
請求項２に記載の運転支援システム。
【請求項４】
前記クラウド情報は、
水平方向及び／または垂直方向の地図、及び走行箇所または走行予定箇所の逐次環境、の少なくとも１つの情報である
請求項２に記載の運転支援システム。
【請求項５】
前記輸送機器の動作情報は、
前記輸送機器の走行速度、前記輸送機器の走行加速度、前記輸送機器の停止、及び前記輸送機器の荷重バランス、の少なくとも１つの情報である
請求項２に記載の運転支援システム。
【請求項６】
前記輸送機器の操作情報は、
前記輸送機器のアクセルペダルの踏込み、前記輸送機器のブレーキペダルの踏込み、及び前記輸送機器のトランスミッションのギヤ位置、の少なくとも１つの情報である
請求項５に記載の運転支援システム。
【請求項７】
前記センシングシステムは、
前記被写体信号を選択的に前記セット制御部へ出力する
請求項１〜６のいずれか一項に記載の運転支援システム。
【請求項８】
前記センシングシステムは、
前記被写体信号を前記セット制御部に出力しない場合、当該被写体信号の消去、または、一時的記録あるいは一時的記憶を行う
請求項７に記載の運転支援システム。
【請求項９】
前記運転支援システムは、
少なくとも、第１の被写体信号を出力する第１のセンシングシステムと、第２の被写体信号を出力する第２のセンシングシステムと、から成る複数の前記センシングシステムを備える
請求項７に記載の運転支援システム。
【請求項１０】
前記第２のセンシングシステムは、
前記第２のセンシングシステムから前記セット制御部に前記第２の被写体信号を出力する場合に、出力判断信号を前記第１のセンシングシステムに出力し、
前記第１のセンシングシステムは、
前記出力判断信号を用いて、前記第１の被写体信号を前記セット制御部に出力する判断を行う
請求項９に記載の運転支援システム。
【請求項１１】
前記演算部は、
前記被写体の検出、前記被写体の認識、前記被写体までの距離、前記被写体の寸法、前記被写体の形状、及び前記被写体の速度、の少なくとも１つの被写体演算を行い、前記被写体信号を出力する
請求項１〜１０のいずれか一項に記載の運転支援システム。
【請求項１２】
前記演算部は、
ノイズ減算処理、超解像処理、ハイダイナミックレンジ合成処理、及び圧縮処理、の少なくとも１つの信号処理を行う
請求項１記載の運転支援システム。
【請求項１３】
前記演算部は、前記被写体までの距離、前記被写体の寸法、前記被写体の形状、及び前記被写体の速度、の少なくとも１つの被写体演算を行い、
前記圧縮処理を行う場合、
前記演算部は、前記被写体演算、前記信号処理の順序で行い、前記被写体信号を出力する
請求項１２記載の運転支援システム。
【請求項１４】
前記演算部は、前記被写体までの距離、前記被写体の寸法、前記被写体の形状、及び前記被写体の速度、の少なくとも１つの被写体演算を行い、
前記ノイズ減算処理、前記超解像処理、前記ハイダイナミックレンジ合成処理、前記圧縮処理、の少なくとも１つの前記信号処理を行う場合、
前記演算部は、前記信号処理、前記被写体演算の順序で行い、前記被写体信号を出力する
請求項１２記載の運転支援システム。
【請求項１５】
前記演算部は、前記被写体までの距離、前記被写体の寸法、前記被写体の形状、及び前記被写体の速度、の少なくとも１つの被写体演算を行い、
前記演算部は、前記信号処理と前記被写体演算を繰り返し行い、前記被写体信号を出力する
請求項１２記載の運転支援システム。
【請求項１６】
前記固体撮像素子は、前記撮像信号として可視光を受光した第１撮像信号と赤外光を受光した第２撮像信号を出力し、
前記センシングシステムは、第１撮像信号もしくは第２撮像信号を選択、または、前記第１撮像信号もしくは前記第２撮像信号の一方を第１信号もしくは前記第２撮像信号の他方により補正して、
前記被写体までの距離、前記被写体の寸法、前記被写体の形状、及び前記被写体の速度の少なくとも１つの被写体演算を行う
請求項１〜１５のいずれか一項に記載の運転支援システム。
【請求項１７】
前記第２撮像信号を用い、タイムオブフライト演算により前記被写体演算を行う
請求項１６に記載の運転支援システム。
【請求項１８】
前記第２撮像信号を用い、タイムオブフライト演算により前記被写体演算を行い、
前記第１撮像信号を用い、現在のフレームと前のフレームを比較することにより前記被写体演算を行う
請求項１６に記載の運転支援システム。
【請求項１９】
前記第２撮像信号を用いて、距離画像を生成する
請求項１６に記載の運転支援システム。
【請求項２０】
前記固体撮像素子は、単板の固体撮像素子であり、
前記第１撮像信号はＲ、Ｇ、Ｂ及びＢＷの少なくとも１つの画素から生じ、前記第２撮像信号はＩＲの画素から生じる
請求項１６記載の運転支援システム。
【国際調査報告】
2015182135.tif 000024
2015182135.tif 000025
2015182135.tif 000026
2015182135.tif 000027