(57)【要約】  第一左カメラユニット（１０２５）は、左灯室に収容されており、第一画角（θ１）を有している。第二左カメラユニット（１０２６）は、左灯室に収容されており、第一画角（θ１）よりも広い第二画角（θ２）を有している。第一右カメラユニット（１０３５）は、右灯室に収容されており、第三画角（θ３）を有している。第二右カメラユニット（１０３６）は、右灯室に収容されており、第三画角（θ３）よりも広い第四画角（θ４）を有している。画像認識部（１０４３）は、第一左カメラユニット（１０２５）により取得された第一左画像と第二左カメラユニット（１０２６）により取得された第二左画像の一方から選ばれた左画像、および第一右カメラユニット（１０３５）により取得された第一右画像と第二右カメラユニット（１０３６）により取得された第二右画像の一方から選ばれた右画像に基づいて、画像認識を実行する。
2019065218.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されるセンサシステムであって、
左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
前記左灯室に収容されており、第一画角を有している第一左カメラユニットと、
前記左灯室に収容されており、前記第一画角よりも広い第二画角を有している第二左カメラユニットと、
前記右灯室に収容されており、第三画角を有している第一右カメラユニットと、
前記右灯室に収容されており、前記第三画角よりも広い第四画角を有している第二右カメラユニットと、
前記第一左カメラユニットにより取得された第一左画像と前記第二左カメラユニットにより取得された第二左画像の一方から選ばれた左画像、および前記第一右カメラユニットにより取得された第一右画像と前記第二右カメラユニットにより取得された第二右画像の一方から選ばれた右画像に基づいて、画像認識を実行する画像認識部と、
を備えている、
センサシステム。
【請求項２】
前記左画像と前記右画像は、前記車両の車速に基づいて選ばれる、
請求項１に記載のセンサシステム。
【請求項３】
車両に搭載されるセンサシステムであって、
左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
前記左灯室に収容されており、第一画角を有する左カメラユニットと、
前記右灯室に収容されており、前記第一画角と異なる第二画角を有している右カメラユニットと、
前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像の少なくとも一方に基づいて、画像認識を実行する画像認識部と、
を備えている、
センサシステム。
【請求項４】
前記左画像と前記右画像の少なくとも一方は、前記車両の車速に基づいて選ばれる、
請求項３に記載のセンサシステム。
【請求項５】
車両に搭載されるセンサシステムであって、
第一方向を向いた第一光軸を有している第一カメラユニットと、
前記第一方向と異なる方向を向いた第二光軸を有している第二カメラユニットと、
前記第一カメラユニットにより取得された第一画像と前記第二カメラユニットにより取得された第二画像に基づいて、画像認識を実行する画像認識部と、
を備えている、
センサシステム。
【請求項６】
ランプユニットを収容する灯室の一部を区画しているランプハウジングを備えており、
前記第一カメラユニットと前記第二カメラユニットの少なくとも一方は、前記灯室内に収容されている、
請求項５に記載のセンサシステム。
【請求項７】
車両に搭載されるセンサシステムであって、
左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
前記左灯室に収容されている左カメラユニットと、
前記右灯室に収容されている右カメラユニットと、
基準光を出射する光源と、
前記左カメラユニットにより取得された左画像における前記基準光の像と前記右カメラユニットにより取得された右画像における前記基準光の像の少なくとも一方に基づいて、前記左カメラユニットの光軸と前記右カメラユニットの光軸の少なくとも一方のずれを検出する検出部と、
を備えている、
センサシステム。
【請求項８】
前記光源は、前記左カメラユニットの画像取得可能領域と前記右カメラユニットの画像取得可能領域が重なる領域に前記基準光を照射する、
請求項７に記載のセンサシステム。
【請求項９】
前記左ランプハウジングと前記右ランプハウジングの双方を支持しており、前記車両に取り付けられる支持体を備えている、
請求項７または８に記載のセンサシステム。
【請求項１０】
前記光源は、前記左ランプハウジングおよび前記右ランプハウジングに対して相対変位可能な位置に支持されている、
請求項７から９のいずれか一項に記載のセンサシステム。
【請求項１１】
車両に搭載されるセンサシステムであって、
前記車両の外部を含む左画像を取得する左カメラユニットと、
前記車両の外部を含む右画像を取得する右カメラユニットと、
前記左カメラユニットおよび前記右カメラユニットと通信可能である制御部と、
を備えており、
前記制御部は、
前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得し、
前記第一距離情報を、前記左カメラユニットおよび前記右カメラユニットとは独立して取得された当該対象物までの距離に対応する第二距離情報と比較し、
前記第一距離情報と前記第二距離情報の比較結果に基づいて、前記左カメラユニットと前記右カメラユニットの少なくとも一方を較正するための較正情報を生成する、
センサシステム。
【請求項１２】
前記車両に搭載されて前記制御部と通信可能であり、前記対象物までの距離を取得するセンサユニットを備えており、
前記第二距離情報は、前記センサユニットより取得される、
請求項１１に記載のセンサシステム。
【請求項１３】
通信を介してインフラ情報を取得する通信部を備えており、
前記第二距離情報は、前記通信部より取得される、
請求項１１または１２に記載のセンサシステム。
【請求項１４】
車両に搭載されるセンサシステムであって、
前記車両の外部を含む左画像を取得する左カメラユニットと、
前記車両の外部を含む右画像を取得する右カメラユニットと、
前記左カメラユニットおよび前記右カメラユニットと通信可能な制御部と、
を備えており、
前記制御部は、
前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得し、
前記第一距離情報を、前記左カメラユニットおよび前記右カメラユニットとは独立して取得された当該対象物までの距離に対応する第二距離情報と比較し、
前記第一距離情報と前記第二距離情報の比較結果に基づいて、前記左カメラユニットと前記右カメラユニットの少なくとも一方の異常を検出する、
センサシステム。
【請求項１５】
前記車両に搭載されて前記制御部と通信可能であり、前記対象物までの距離を取得するセンサユニットを備えており、
前記第二距離情報は、前記センサユニットより取得される、
請求項１４に記載のセンサシステム。
【請求項１６】
通信を介してインフラ情報を取得する通信部を備えており、
前記第二距離情報は、前記通信部より取得される、
請求項１４または１５に記載のセンサシステム。
【請求項１７】
前記左カメラユニットと前記右カメラユニットの一方に異常が検出された場合、前記制御部は、前記第一距離情報の取得を中止し、正常なカメラユニットから取得された画像に基づく前記対象物の認識処理を続行する、
請求項１４から１６のいずれか一項に記載のセンサシステム。
【請求項１８】
車両に搭載されるセンサシステムであって、
前記車両の外部を含む左画像を取得する左カメラユニットと、
前記車両の外部を含む右画像を取得する右カメラユニットと、
前記車両の外部に位置する物体の位置情報を取得するセンサユニットと、
前記左カメラユニット、前記右カメラユニット、および前記センサユニットと通信可能な制御部と、
を備えており、
前記制御部は、前記左カメラユニットにより取得された前記物体を含む前記左画像の処理範囲と前記右カメラユニットにより取得された前記物体を含む前記右画像の処理範囲の少なくとも一方を、前記位置情報に基づいて狭める、
センサシステム。
【請求項１９】
左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
を備えており、
前記左カメラユニットは、前記左灯室内に収容されており、
前記右カメラユニットは、前記右灯室内に収容されている、
請求項１１から１８のいずれか一項に記載のセンサシステム。
【請求項２０】
車両に搭載されるセンサシステムであって、
光源と、
前記光源から出射される光の照射方向を周期的に変化させる走査部と、
前記車両の外部を含む画像を周期的に取得するカメラユニットと、
前記走査部により前記光が基準方向へ照射される時点と、前記画像を取得するための露光期間内の基準時点とを一致させる制御部と、
を備えている、
センサシステム。
【請求項２１】
前記基準方向は、前記画像の端部に対応する方向である、
請求項２０に記載のセンサシステム。
【請求項２２】
車両に搭載されるセンサシステムであって、
光源と、
前記光源から出射される光の照射方向を周期的に変化させる走査部と、
前記車両の外部を含む画像を周期的に取得するカメラユニットと、
前記照射方向に対応する情報と前記画像を取得するための露光期間に対応する情報に基づいて、前記画像に含まれる前記光の像の位置を特定する制御部と、
を備えている、
センサシステム。
【請求項２３】
前記制御部は、前記画像に含まれる前記光の像の位置に基づいて、前記走査部の異常を判断する、
請求項２０から２２のいずれか一項に記載のセンサシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両に搭載されるセンサシステムに関する。より具体的には、ステレオカメラシステムを含むセンサシステムに関する。
【背景技術】
【０００２】
ステレオカメラシステムは、左カメラユニットと右カメラユニットを備えている。左カメラユニットと右カメラユニットは、それぞれ車両の外部の画像を取得する。両カメラの視野内に物体が存在する場合、両カメラの視差に基づき、三角法を利用して当該物体までの距離を特定できる。特許文献１に記載されたステレオカメラシステムにおいては、左カメラユニットと右カメラユニットは、車室内におけるルームミラーの近傍に配置されている。【０００３】
車両の運転支援技術を実現するためには、当該車両の外部の情報を検出するためのセンサを車体に搭載する必要がある。そのようなセンサの例としては、特許文献２に記載されたカメラユニットが挙げられる。【０００４】
車両の外部の情報を効率的に取得可能なカメラユニットの配置場所として、車体の四隅（左前隅、右前隅、左後隅、および右後隅）が検討されている。これらは、車両の外部に照明光を供給するランプ装置が搭載されている場所でもある。特許文献３は、そのようなランプ装置の一例を開示している。当該ランプ装置は、光源から出射される光の照射方向を周期的に変化させる走査部を備えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国特許出願公開２０１３−１１２３１４号公報
【特許文献２】日本国特許出願公開２０１７−０９４９６７号公報
【特許文献３】国際公開２０１２／１４４１４４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示の第一の課題は、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上することである。【０００７】
本開示の第二の課題は、ステレオカメラシステムを含むセンサシステムの情報取得能力の低下を抑制することである。【０００８】
本開示の第三の課題は、光源から出射される光の照射方向を周期的に変化させる走査部とともに使用されるカメラユニットを含むセンサシステムの情報取得能力の低下を抑制することである。
【課題を解決するための手段】
【０００９】
上記の第一の課題を達成するための第一態様は、車両に搭載されるセンサシステムであって、
左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
前記左灯室に収容されており、第一画角を有している第一左カメラユニットと、
前記左灯室に収容されており、前記第一画角よりも広い第二画角を有している第二左カメラユニットと、
前記右灯室に収容されており、第三画角を有している第一右カメラユニットと、
前記右灯室に収容されており、前記第三画角よりも広い第四画角を有している第二右カメラユニットと、
前記第一左カメラユニットにより取得された第一左画像と前記第二左カメラユニットにより取得された第二左画像の一方から選ばれた左画像、および前記第一右カメラユニットにより取得された第一右画像と前記第二右カメラユニットにより取得された第二右画像の一方から選ばれた右画像に基づいて、画像認識を実行する画像認識部と、
を備えている。【００１０】
左灯室に収容されている第一左カメラユニットと右灯室に収容されている第一右カメラユニットでステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長（両カメラの光軸間距離）を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。【００１１】
しかしながら、基線長が長くなることによって遠方の視認性能は向上するものの、近距離における死角領域が広くなることを避けられない。本態様においては、この死角領域を補うために、より画角の広い第二左カメラユニットと第二右カメラユニットからなるステレオカメラシステムを採用している。画角が広くなると、遠方の視認性能は低下する。しかしながら、近距離において広い視認可能領域を確保可能であり、第一左カメラユニットと第一右カメラユニットからなるステレオカメラシステムの死角領域がカバーされうる。【００１２】
上記の構成によれば、遠方の視認性能が相対的に高い第一左カメラユニットおよび第一右カメラユニットによって取得された画像と、近傍の視認性能が相対的に高い第二左カメラユニットと第二右カメラユニットによって取得された画像を適宜に組み合わせることにより、画像認識部により行なわれる画像認識を最適化できる。したがって、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。【００１３】
この場合、前記左画像と前記右画像は、前記車両の車速に基づいて選ばれうる。【００１４】
車速が上がるに連れて、より遠方の情報を確実に取得することが求められる。逆に車速が下がるに連れて、より近傍の情報を確実に取得することが求められる。この構成によれば、車速に応じて必要性が高まる領域の情報を精度よく取得できる。【００１５】
上記の第一の課題を達成するための第二態様は、車両に搭載されるセンサシステムであって、
左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
前記左灯室に収容されており、第一画角を有する左カメラユニットと、
前記右灯室に収容されており、前記第一画角と異なる第二画角を有している右カメラユニットと、
前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像の少なくとも一方に基づいて、画像認識を実行する画像認識部と、
を備えている。【００１６】
左灯室に収容されている左カメラユニットと右灯室に収容されている右カメラユニットでステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長（両カメラの光軸間距離）を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。【００１７】
しかしながら、第一態様に係るセンサシステムのように四つのカメラユニットを必要とする場合、レイアウトやコストに係る要求を満足できない場合がある。本態様においては、一定の条件下でステレオカメラシステムを成立させ、必要に応じて単眼カメラシステムに切り替える構成を採用している。この場合、レイアウトやコストに係る要求を満たしつつ、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。【００１８】
この場合、前記左画像と前記右画像の少なくとも一方は、前記車両の車速に基づいて選ばれうる。【００１９】
車速が上がるに連れて、より遠方の情報を確実に取得することが求められる。逆に車速が下がるに連れて、より近傍の情報を確実に取得することが求められる。この構成によれば、車速に応じて必要性が高まる領域の情報を精度よく取得できる。【００２０】
上記の第一の課題を達成するための第三態様は、車両に搭載されるセンサシステムであって、
第一方向を向いた第一光軸を有している第一カメラユニットと、
前記第一方向と異なる方向を向いた第二光軸を有している第二カメラユニットと、
前記第一カメラユニットにより取得された第一画像と前記第二カメラユニットにより取得された第二画像に基づいて、画像認識を実行する画像認識部と、
を備えている。【００２１】
このような構成によれば、第一カメラユニットの第一光軸と第二カメラユニットの第二光軸が異なる方向を向いているため、平行等位ステレオカメラシステムよりも画像認識に係る演算処理が複雑になるものの、より広い角度範囲にわたってステレオカメラシステムによる画像認識を成立させることが可能である。したがって、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。【００２２】
第三態様に係るセンサシステムは、以下のように構成されうる。
ランプユニットを収容する灯室の一部を区画しているランプハウジングを備えており、
前記第一カメラユニットと前記第二カメラユニットの少なくとも一方は、前記灯室内に収容されている。【００２３】
この場合、構成を平行等位ステレオカメラシステムに近づけることが可能であり、画像認識に係る負荷の増大を抑制できる。【００２４】
上記の第一課題を達成するための第四態様は、車両に搭載されるセンサシステムであって、
左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
前記左灯室に収容されている左カメラユニットと、
前記右灯室に収容されている右カメラユニットと、
基準光を出射する光源と、
前記左カメラユニットにより取得された左画像における前記基準光の像と前記右カメラユニットにより取得された右画像における前記基準光の像の少なくとも一方に基づいて、前記左カメラユニットの光軸と前記右カメラユニットの光軸の少なくとも一方のずれを検出する検出部と、
を備えている。【００２５】
検出結果は、保守業者などにより必要に応じて読み出され、車両に対する左ランプハウジングと右ランプハウジングの位置や姿勢を調整する作業に利用されうる。あるいは、左ランプハウジングと右ランプハウジングに機械的な調整を施すことなく、右画像が処理される際に検出結果を補正情報として利用してもよい。例えば、右カメラユニットの光軸にずれが検出された場合、右カメラユニットから出力される右画像信号に対して必要な調整に対応する補正が加えられ、補正された右画像信号に基づいて画像処理が行なわれる。【００２６】
左灯室に収容されている左カメラユニットと右灯室に収容されている右カメラユニットでステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長（両カメラの光軸間距離）を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。【００２７】
他方、車室内にステレオカメラシステムが設置される場合と比較して、各カメラユニットの光軸にずれが生じる可能性が生じる。左ランプハウジングと右ランプハウジングの車体に対する位置や姿勢のずれがランプハウジングごとに独立して生じうるからである。しかしながら、基準光を利用した調節や補正が可能とされることにより、結果としてステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。【００２８】
第四態様に係るセンサシステムは、以下のように構成されうる。
前記光源は、前記左カメラユニットの画像取得可能領域と前記右カメラユニットの画像取得可能領域が重なる領域に前記基準光を照射する。【００２９】
このような構成によれば、基準光の出射に必要な光源の数を必要最小限にできる。【００３０】
第四態様に係るセンサシステムは、以下のように構成されうる。
前記左ランプハウジングと前記右ランプハウジングの双方を支持しており、前記車両に取り付けられる支持体を備えている。【００３１】
このような構成によれば、各カメラユニットと光源の事前位置合わせを不要にできる。【００３２】
第四態様に係るセンサシステムは、以下のように構成されうる。
前記光源は、前記左ランプハウジングおよび前記右ランプハウジングに対して相対変位可能な位置に支持されている。【００３３】
このような構成によれば、左ランプハウジングと右ランプハウジングの相対変位に起因する左カメラユニットと右カメラユニットの光軸ずれを抑制できる。【００３４】
上記の第二の課題を達成するための第五態様は、車両に搭載されるセンサシステムであって、
前記車両の外部を含む左画像を取得する左カメラユニットと、
前記車両の外部を含む右画像を取得する右カメラユニットと、
前記左カメラユニットおよび前記右カメラユニットと通信可能である制御部と、
を備えており、
前記制御部は、
前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得し、
前記第一距離情報を、前記左カメラユニットおよび前記右カメラユニットとは独立して取得された当該対象物までの距離に対応する第二距離情報と比較し、
前記第一距離情報と前記第二距離情報の比較結果に基づいて、前記左カメラユニットと前記右カメラユニットの少なくとも一方を較正するための較正情報を生成する。【００３５】
較正情報は、第一距離情報を第二距離情報に一致させるために必要な調整量として生成される。較正情報は、制御部によって保持される。較正情報は、保守業者などにより必要に応じて読み出され、左カメラユニットと右カメラユニットの較正作業に利用されうる。あるいは、左カメラユニットと右カメラユニットに機械的な較正を施すことなく、制御部によって測距処理が行なわれる際に補正情報として利用されてもよい。例えば、左カメラユニットに較正が必要との情報が得られた場合、左カメラユニットから出力される左画像信号に対して必要な較正に対応する補正が加えられ、補正された左画像信号に基づいて測距処理が行なわれる。これにより、ステレオカメラシステムを含むセンサシステムの情報取得能力の低下を抑制できる。【００３６】
第五態様に係るセンサシステムは、以下のように構成されうる。
前記車両に搭載されて前記制御部と通信可能であり、前記対象物までの距離を取得するセンサユニットを備えており、
前記第二距離情報は、前記センサユニットより取得される。【００３７】
このような構成によれば、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。【００３８】
第五態様に係るセンサシステムは、以下のように構成されうる。
通信を介してインフラ情報を取得する通信部を備えており、
前記第二距離情報は、前記通信部より取得される。【００３９】
このような構成によっても、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。【００４０】
上記の第二の課題を達成するための第六態様は、車両に搭載されるセンサシステムであって、
前記車両の外部を含む左画像を取得する左カメラユニットと、
前記車両の外部を含む右画像を取得する右カメラユニットと、
前記左カメラユニットおよび前記右カメラユニットと通信可能な制御部と、
を備えており、
前記制御部は、
前記左カメラユニットにより取得された左画像と前記右カメラユニットにより取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得し、
前記第一距離情報を、前記左カメラユニットおよび前記右カメラユニットとは独立して取得された当該対象物までの距離に対応する第二距離情報と比較し、
前記第一距離情報と前記第二距離情報の比較結果に基づいて、前記左カメラユニットと前記右カメラユニットの少なくとも一方の異常を検出する。【００４１】
このような構成によれば、ユーザは、検出された異常を解消するために、透光カバーの洗浄やカメラユニットの保守点検を行ないうる。これにより、ステレオカメラシステムを含むセンサシステムの情報取得能力の低下を抑制できる。【００４２】
第六態様に係るセンサシステムは、以下のように構成されうる。
前記車両に搭載されて前記制御部と通信可能であり、前記対象物までの距離を取得するセンサユニットを備えており、
前記第二距離情報は、前記センサユニットより取得される。【００４３】
このような構成によれば、対象物までの距離情報を予め保持しておく必要がない。したがって、異常検出に使用される対象物の選定および異常検出を行なうタイミングに係る自由度が向上する。【００４４】
第六態様に係るセンサシステムは、以下のように構成されうる。
通信を介してインフラ情報を取得する通信部を備えており、
前記第二距離情報は、前記通信部より取得される。【００４５】
このような構成によっても、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。【００４６】
第六態様に係るセンサシステムは、以下のように構成されうる。
前記左カメラユニットと前記右カメラユニットの一方に異常が検出された場合、前記制御部は、前記第一距離情報の取得を中止し、正常なカメラユニットから取得された画像に基づく前記対象物の認識処理を続行する。【００４７】
このような構成によれば、左カメラユニットと右カメラユニットの少なくとも一方に異常が存在する場合であっても、センサシステムの情報取得能力の低下を最小限に抑えることができる。【００４８】
上記の第二の課題を達成するための第七態様は、車両に搭載されるセンサシステムであって、
車両に搭載されるセンサシステムであって、
前記車両の外部を含む左画像を取得する左カメラユニットと、
前記車両の外部を含む右画像を取得する右カメラユニットと、
前記車両の外部に位置する物体の位置情報を取得するセンサユニットと、
前記左カメラユニット、前記右カメラユニット、および前記センサユニットと通信可能な制御部と、
を備えており、
前記制御部は、前記左カメラユニットにより取得された前記物体を含む前記左画像の処理範囲と前記右カメラユニットにより取得された前記物体を含む前記右画像の処理範囲の少なくとも一方を、前記位置情報に基づいて狭める。【００４９】
このような構成によれば、左画像全体と右画像全体について画像処理を行なう場合と比較して、処理負荷の軽減と処理速度の向上が可能である。したがって、ステレオカメラシステムを含むセンサシステムの情報処理能力の低下を抑制できる。【００５０】
第五態様から第七態様の各々に係るセンサシステムは、以下のように構成されうる。
左ランプユニットを収容する左灯室の一部を区画している左ランプハウジングと、
右ランプユニットを収容する右灯室の一部を区画している右ランプハウジングと、
を備えており、
前記左カメラユニットは、前記左灯室内に収容されており、
前記右カメラユニットは、前記右灯室内に収容されている。【００５１】
左灯室に収容されている左カメラユニットと右灯室に収容されている右カメラユニットでステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長（両カメラの光軸間距離）を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。【００５２】
上記の第三の課題を達成するための第八態様は、車両に搭載されるセンサシステムであって、
光源と、
前記光源から出射される光の照射方向を周期的に変化させる走査部と、
前記車両の外部を含む画像を周期的に取得するカメラユニットと、
前記走査部により前記光が基準方向へ照射される時点と、前記画像を取得するための露光期間内の基準時点とを一致させる制御部と、
を備えている。【００５３】
このような構成によれば、光の照射方向が走査部により変化する周期と、カメラユニットによる画像の取得周期とが一致する。したがって、取得される画像に含まれる光の像の位置が一定となる。これにより、光の像が画像認識に与える影響の除去が容易となる。例えば、光が現れる特定の領域を画像認識の対象から除外するなどの処理が可能であり、取得された画像を用いて行なわれる画像認識処理の負荷増大を抑制できる。結果として、光源から出射される光の照射方向を周期的に変化させる走査部とともに使用されるカメラユニットを含むセンサシステムの情報取得能力の低下を抑制できる。【００５４】
第八態様に係るセンサシステムは、以下のように構成されうる。
前記基準方向は、前記画像の端部に対応する方向である。【００５５】
カメラユニットの視野は、その中央部に認識を要する対象物が位置するように設計されることが一般的である。換言すると、カメラユニットの視野の端部に含まれる情報は、当該視野の中央部に含まれる情報よりも重要度が低い傾向にある。そのような位置に光の像が常に現れるようにすることにより、当該光像が画像認識に与える影響をさらに抑制できる。【００５６】
上記の第三の課題を達成するための第九態様は、車両に搭載されるセンサシステムであって、
光源と、
前記光源から出射される光の照射方向を周期的に変化させる走査部と、
前記車両の外部を含む画像を周期的に取得するカメラユニットと、
前記照射方向に対応する情報と前記画像を取得するための露光期間に対応する情報に基づいて、前記画像に含まれる前記光の像の位置を特定する制御部と、
を備えている。【００５７】
光の照射方向が走査部により変化する周期と、カメラユニットによる画像の取得周期が既知であれば、例えば走査部による走査動作の回数とカメラユニットによる露光動作の回数をカウントすることにより、特定の露光動作時における光の照射方向を特定できる。結果として、取得される画像における光の像の位置を特定できる。このような構成によれば、光の像が現れる領域の予測に基づく画像認識処理を行なうことができる。したがって、光源から出射される光の照射方向を周期的に変化させる走査部とともに使用されるカメラユニットを含むセンサシステムの情報取得能力の低下を抑制できる。【００５８】
第八態様と第九態様の各々に係るセンサシステムは、以下のように構成されうる。
前記制御部は、前記画像に含まれる前記光の像の位置に基づいて、前記走査部の異常を判断する。【００５９】
走査部が正常に動作していれば、取得される画像に現れる光の像の位置は一定あるいは予測可能である。したがって、光の像の位置が所定の位置あるいは予測された位置からずれている場合、走査部に何らかの異常があると判断されうる。したがって、光源から出射される光を、走査部の異常検出にも利用できる。【００６０】
本明細書において、「ランプユニット」とは、所望の照明機能を備えつつ、それ自身が単体で流通可能な部品の構成単位を意味する。【００６１】
本明細書において、「カメラユニット」とは、所望の画像取得機能を備えつつ、それ自身が単体で流通可能な部品の構成単位を意味する。【００６２】
本明細書において、「センサユニット」とは、所望の情報取得機能を備えつつ、それ自身が単体で流通可能な部品の構成単位を意味する。
【図面の簡単な説明】
【００６３】
【図１】第一実施形態に係るセンサシステムの構成を示している。
【図２】図１のセンサシステムが搭載される車両を示している。
【図３】図１のセンサシステムの動作を説明するための図である。
【図４】第二実施形態に係るセンサシステムの一部の構成を示している。
【図５】図４のセンサシステムの動作を説明するための図である。
【図６】第三実施形態に係るセンサシステムの一部の構成を示している。
【図７】第四実施形態に係るセンサシステムの構成を示している。
【図８】第五実施形態に係るセンサシステムの構成を示している。
【図９】第六実施形態に係るセンサシステムの構成を示している。
【図１０】第七実施形態に係るセンサシステムの構成を示している。
【図１１】第八実施形態に係るセンサシステムの構成を示している。
【図１２】マーキング光源によるピッチング検出機能を説明する図である。
【図１３】第九実施形態に係るセンサシステムの構成を示している。
【図１４】図１３のセンサシステムの第一動作例を示すフローチャートである。
【図１５】図１３のセンサシステムの第二動作例を示すフローチャートである。
【図１６】図１３のセンサシステムの第三動作例を説明するための図である。
【図１７】第十実施形態に係るセンサシステムの構成を示している。
【図１８】図１７のセンサシステムの動作を説明するための図である。
【図１９】図１７のセンサシステムの変形例を示している。
【発明を実施するための形態】
【００６４】
添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。以下の説明に用いる各図面では、各部材を認識可能な大きさとするために縮尺を適宜変更している。
【００６５】
添付の図面において、矢印Ｆは、図示された構造の前方向を示している。矢印Ｂは、図示された構造の後方向を示している。矢印Ｌは、図示された構造の左方向を示している。矢印Ｒは、図示された構造の右方向を示している。以降の説明に用いる「左」および「右」は、運転席から見た左右の方向を示している。
【００６６】
図１は、第一実施形態に係るセンサシステム１００１の構成を模式的に示している。センサシステム１００１は、左ランプ装置１００２、右ランプ装置１００３、および制御装置１００４を備えている。
【００６７】
図２は、センサシステム１００１が搭載される車両１００を模式的に示している。左ランプ装置１００２は、車両１００の左前隅部ＬＦに搭載される。右ランプ装置１００３は、車両１００の右前隅部ＲＦに搭載される。制御装置１００４は、車両１００における適宜の箇所に配置される。
【００６８】
図１に示されるように、左ランプ装置１００２は、左ランプハウジング１０２１と左透光カバー１０２２を備えている。左透光カバー１０２２は、車両１００の外面の一部を形成する。左透光カバー１０２２は、左ランプハウジング１０２１とともに左灯室１０２３を区画している。すなわち、左ランプハウジング１０２１は、左灯室１０２３の一部を区画している。
【００６９】
左ランプ装置１００２は、左ランプユニット１０２４を備えている。左ランプユニット１０２４は、車両１００の前方を含む領域に向けて光を出射する灯具である。左ランプユニット１０２４は、例えば前照灯である。
【００７０】
左ランプ装置１００２は、第一左カメラユニット１０２５を備えている。第一左カメラユニット１０２５は、左灯室１０２３に収容されている。図３に示されるように、第一左カメラユニット１０２５は、第一画角θ１を有している。第一左カメラユニット１０２５は、第一画角θ１内に含まれる車両１００の外部の画像（第一左画像）を取得し、第一左画像に対応する第一左画像信号ＬＳ１を出力する。
【００７１】
図１に示されるように、左ランプ装置１００２は、第二左カメラユニット１０２６を備えている。第二左カメラユニット１０２６は、左灯室１０２３に収容されている。図３に示されるように、第二左カメラユニット１０２６は、第二画角θ２を有している。第二画角θ２は、第一画角θ１よりも広い。第二左カメラユニット１０２６は、第二画角θ２内に含まれる車両１００の外部の画像（第二左画像）を取得し、第二左画像に対応する第二左画像信号ＬＳ２を出力する。
【００７２】
図１に示されるように、右ランプ装置１００３は、右ランプハウジング１０３１と右透光カバー１０３２を備えている。右透光カバー１０３２は、車両１００の外面の一部を形成する。右透光カバー１０３２は、右ランプハウジング１０３１とともに右灯室１０３３を区画している。すなわち、右ランプハウジング１０３１は、右灯室１０３３の一部を区画している。
【００７３】
右ランプ装置１００３は、右ランプユニット１０３４を備えている。右ランプユニット１０３４は、車両１００の前方を含む領域に向けて光を出射する灯具である。右ランプユニット１０３４は、例えば前照灯である。
【００７４】
右ランプ装置１００３は、第一右カメラユニット１０３５を備えている。第一右カメラユニット１０３５は、右灯室１０３３に収容されている。図３に示されるように、第一右カメラユニット１０３５は、第三画角θ３を有している。第一右カメラユニット１０３５は、第三画角θ３内に含まれる車両１００の外部の画像（第一右画像）を取得し、第一右画像に対応する第一右画像信号ＲＳ１を出力する。
【００７５】
図１に示されるように、右ランプ装置１００３は、第二右カメラユニット１０３６を備えている。第二右カメラユニット１０３６は、右灯室１０３３に収容されている。図３に示されるように、第二右カメラユニット１０３６は、第四画角θ４を有している。第四画角θ４は、第三画角θ３よりも広い。第二右カメラユニット１０３６は、第四画角θ４内に含まれる車両１００の外部の画像（第二右画像）を取得し、第二右画像に対応する第二右画像信号ＲＳ２を出力する。
【００７６】
本実施形態においては、第一画角θ１と第三画角θ３は等しく、例えば４０°程度である。他方、第二画角θ２と第四画角θ４は等しく、例えば１００°を上回る。すなわち、第二左カメラユニット１０２６と第二右カメラユニット１０３６は、いわゆる広角カメラに分類されうる。
【００７７】
図１に示されるように、本実施形態においては、第一左カメラユニット１０２５の光軸ＡＬ１と第一右カメラユニット１０３５の光軸ＡＲ１は平行に延びている。車両１００の上下方向における光軸ＡＬ１と光軸ＡＲ１の高さ位置は一致している。すなわち、第一左カメラユニット１０２５と第一右カメラユニット１０３５は、平行等位ステレオカメラシステムを構成している。
【００７８】
他方、第二左カメラユニット１０２６の光軸ＡＬ２と第二右カメラユニット１０３６の光軸ＡＲ２は平行に延びている。車両１００の上下方向における光軸ＡＬ２と光軸ＡＲ２の高さ位置は一致している。すなわち、第二左カメラユニット１０２６と第二右カメラユニット１０３６は、平行等位ステレオカメラシステムを構成している。
【００７９】
第一左画像信号ＬＳ１、第二左画像信号ＬＳ２、第一右画像信号ＲＳ１、および第二右画像信号ＲＳ２は、制御装置１００４に入力される。制御装置１００４は、左セレクタ１０４１、右セレクタ１０４２、および画像認識部１０４３を備えている。
【００８０】
左セレクタ１０４１は、第一左画像信号ＬＳ１と第二左画像信号ＬＳ２のいずれか一方を選択可能に構成されている。すなわち、左セレクタ１０４１は、第一左画像と第二左画像のいずれか一方を、左画像として選択可能に構成されている。左画像に対応する選択された信号は、画像認識部１０４３に入力される。
【００８１】
右セレクタ１０４２は、第一右画像信号ＲＳ１と第二右画像信号ＲＳ２のいずれか一方を選択可能に構成されている。すなわち、右セレクタ１０４２は、第一右画像と第二右画像のいずれか一方を、右画像として選択可能に構成されている。右画像に対応する選択された信号は、画像認識部１０４３に入力される。
【００８２】
画像認識部１０４３は、左セレクタ１０４１から入力された信号と右セレクタ１０４２から入力された信号に基づいて、画像認識を実行するように構成されている。すなわち、画像認識部１０４３は、第一左画像と第二左画像の一方から選ばれた左画像、および第一右画像と第二右画像の一方から選ばれた右画像に基づいて、画像認識を実行する。
【００８３】
左灯室１０２３に収容されている第一左カメラユニット１０２５と右灯室１０３３に収容されている第一右カメラユニット１０３５でステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長（両カメラの光軸間距離）を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
【００８４】
しかしながら、図３に実線で示されるように、基線長が長くなることによって遠方の視認性能は向上するものの、近距離における死角領域が広くなることを避けられない。本実施形態においては、この死角領域を補うために、より画角の広い第二左カメラユニット１０２６と第二右カメラユニット１０３６からなるステレオカメラシステムを採用している。画角が広くなると、遠方の視認性能は低下する。しかしながら、図３に破線で示されるように、近距離において広い視認可能領域を確保可能であり、第一左カメラユニット１０２５と第一右カメラユニット１０３５からなるステレオカメラシステムの死角領域がカバーされうる。
【００８５】
本実施形態の構成によれば、遠方の視認性能が相対的に高い第一左カメラユニット１０２５および第一右カメラユニット１０３５によって取得された画像と、近傍の視認性能が相対的に高い第二左カメラユニット１０２６と第二右カメラユニット１０３６によって取得された画像を適宜に組み合わせることにより、画像認識部１０４３により行なわれる画像認識を最適化できる。したがって、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
【００８６】
例えば、不図示の車速センサから制御装置１００４に入力される車両１００の車速に応じた信号に基づいて、画像認識部１０４３において画像認識に使用される画像が切り替えられる。
【００８７】
具体的には、車速が所定の閾値以上である場合、遠方の視認性能が相対的に高い第一左カメラユニット１０２５と第一右カメラユニット１０３５が選択される。すなわち、左セレクタ１０４１は、第一左画像信号ＬＳ１を選択し、右セレクタ１０４２は、第一右画像信号ＲＳ１を選択する。画像認識部１０４３は、選択された第一左画像と第一右画像に基づいて画像認識を実行する。
【００８８】
車速が所定の閾値未満である場合、近傍の視認性能が相対的に高い第二左カメラユニット１０２６と第二右カメラユニット１０３６が選択される。すなわち、左セレクタ１０４１は、第二左画像信号ＬＳ２を選択し、右セレクタ１０４２は、第二右画像信号ＲＳ２を選択する。画像認識部１０４３は、選択された第二左画像と第二右画像に基づいて画像認識を実行する。
【００８９】
車速が上がるに連れて、より遠方の情報を確実に取得することが求められる。逆に車速が下がるに連れて、より近傍の情報を確実に取得することが求められる。上記の構成によれば、車速に応じて必要性が高まる領域の情報を精度よく取得できる。
【００９０】
相対的に画角が狭い第一左カメラユニット１０２５と相対的に画角が広い第二右カメラユニット１０３６の組合せ、または相対的に画角が広い第二左カメラユニット１０２６と相対的に画角が広い第一右カメラユニット１０３５の組合せを選択することも可能である。例えば、不図示のセンサ（ＬｉＤＡＲセンサ、ミリ波レーダなど）により検出された物体の位置と当該物体までの距離に応じて、適切なカメラユニットが選択されうる。
【００９１】
この場合、第一左カメラユニット１０２５と第二右カメラユニット１０３６もまた平行等位ステレオカメラシステムを構成していることが好ましい。同様に、第二左カメラユニット１０２６と第一右カメラユニット１０３５もまた平行等位ステレオカメラシステムを構成していることが好ましい。
【００９２】
制御装置１００４は、プロセッサとメモリを備えている。プロセッサの例としては、ＣＰＵ、ＭＰＵ、ＧＰＵが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ＲＯＭやＲＡＭが挙げられる。ＲＯＭには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ＲＯＭに記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上記の処理を実行しうる。
【００９３】
上述した左セレクタ１０４１、右セレクタ１０４２、および画像認識部１０４３の各機能の少なくとも一部は、上記のプロセッサおよびメモリとは異なる少なくとも一つのハードウェア資源（例えば、ＡＳＩＣやＦＰＧＡなどの集積回路）によって実現されてもよいし、上記のプロセッサおよびメモリによって実行されるソフトウェアの一機能として実現されてもよい。例えば、画像認識部１０４３は、第一左画像信号ＬＳ１、第二左画像信号ＬＳ２、第一右画像信号ＲＳ１、および第二右画像信号ＲＳ２を常時受け付けるＧＰＵとして構成されうる。この場合、左セレクタ１０４１と右セレクタ１０４２の機能は、当該ＧＰＵ内で行なわれる処理に統合されうる。
【００９４】
本実施形態においては、第一左画像信号ＬＳ１、第二左画像信号ＬＳ２、第一右画像信号ＲＳ１、および第二右画像信号ＲＳ２を、制御装置１００４が受動的に受け付けている。しかしながら、第一左カメラユニット１０２５、第二左カメラユニット１０２６、第一右カメラユニット１０３５、および第二右カメラユニット１０３６のいずれか二つに対し、制御装置１００４が能動的に必要な信号を出力させるように構成されてもよい。
【００９５】
本実施形態においては、制御装置１００４は、左ランプ装置１００２と右ランプ装置１００３が搭載される車両１００に配置されている。しかしながら、制御装置１００４は、左ランプ装置１００２と右ランプ装置１００３のいずれか一方に搭載されうる。
【００９６】
図４は、第二実施形態に係るセンサシステム１００１Ａの構成を模式的に示している。センサシステム１００１Ａは、左ランプ装置１００２Ａ、右ランプ装置１００３Ａ、および制御装置１００４Ａを備えている。第一実施形態に係るセンサシステム１００１の構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
【００９７】
左ランプ装置１００２Ａは、図２に示される車両１００の左前隅部ＬＦに搭載される。右ランプ装置１００３Ａは、車両１００の右前隅部ＲＦに搭載される。制御装置１００４Ａは、車両１００における適宜の箇所に配置される。
【００９８】
図４に示されるように、左ランプ装置１００２Ａは、左カメラユニット１０２７を備えている。左カメラユニット１０２７は、左灯室１０２３に収容されている。図５に示されるように、左カメラユニット１０２７は、第一画角θ１を有している。左カメラユニット１０２７は、第一画角θ１内に含まれる車両１００の外部の画像（左画像）を取得し、左画像に対応する左画像信号ＬＳを出力する。
【００９９】
図４に示されるように、右ランプ装置１００３Ａは、右カメラユニット１０３７を備えている。右カメラユニット１０３７は、右灯室１０３３に収容されている。図５に示されるように、右カメラユニット１０３７は、第二画角θ２を有している。右カメラユニット１０３７は、第二画角θ２内に含まれる車両１００の外部の画像（右画像）を取得し、右画像に対応する右画像信号ＲＳを出力する。
【０１００】
本実施形態においては、第二画角θ２は、第一画角θ１と異なる。第二画角θ２は、第一画角θ１よりも狭い。第一画角θ１は、例えば１００°を上回る。第二画角θ２は、例えば４０°程度である。すなわち、左カメラユニット１０２７は、いわゆる広角カメラに分類されうる。
【０１０１】
図４に示されるように、本実施形態においては、左カメラユニット１０２７の光軸ＡＬと右カメラユニット１０３７の光軸ＡＲは平行に延びている。車両１００の上下方向における光軸ＡＬと光軸ＡＲの高さ位置は一致している。すなわち、左カメラユニット１０２７と右カメラユニット１０３７は、平行等位ステレオカメラシステムを構成している。
【０１０２】
左画像信号ＬＳと右画像信号ＲＳは、制御装置１００４Ａに入力される。制御装置１００４Ａは、セレクタ１０４４と画像認識部１０４５を備えている。
【０１０３】
セレクタ１０４４は、左画像信号ＬＳと右画像信号ＲＳの少なくとも一方を選択可能に構成されている。すなわち、セレクタ１０４４は、左画像と右画像の少なくとも一方を選択可能に構成されている。選択された信号は、画像認識部１０４５に入力される。
【０１０４】
画像認識部１０４５は、セレクタ１０４４から入力された信号に基づいて、画像認識を実行するように構成されている。すなわち、画像認識部１０４５は、左画像と右画像の少なくとも一方に基づいて、画像認識を実行する。
【０１０５】
左灯室１０２３に収容されている左カメラユニット１０２７と右灯室１０３３に収容されている右カメラユニット１０３７でステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長（両カメラの光軸間距離）を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
【０１０６】
しかしながら、第一実施形態に係るセンサシステム１００１のように四つのカメラユニットを必要とする場合、レイアウトやコストに係る要求を満足できない場合がある。本実施形態においては、一定の条件下でステレオカメラシステムを成立させ、必要に応じて単眼カメラシステムに切り替える構成を採用している。この場合、レイアウトやコストに係る要求を満たしつつ、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
【０１０７】
例えば、不図示の車速センサから制御装置１００４Ａに入力される車両１００の車速に応じた信号に基づいて、画像認識部１０４５において画像認識に使用される画像が切り替えられる。
【０１０８】
具体的には、車速が所定の第一閾値以上である場合、遠方の視認性能が相対的に高い右カメラユニット１０３７が選択される。すなわち、セレクタ１０４４は、右画像信号ＲＳを選択する。画像認識部１０４５は、選択された右画像に基づいて画像認識を実行する。
【０１０９】
車速が所定の第二閾値未満である場合、近傍の視認性能が相対的に高い左カメラユニット１０２７が選択される。すなわち、セレクタ１０４４は、左画像信号ＬＳを選択する。画像認識部１０４５は、選択された左画像に基づいて画像認識を実行する。
【０１１０】
車速が第二閾値以上第一閾値未満である場合、左カメラユニット１０２７と右カメラユニット１０３７の双方が選択され、ステレオカメラシステムが成立する。すなわち、セレクタ１０４４は、左画像信号ＬＳと右画像信号ＲＳの双方を選択する。画像認識部１０４５は、左画像と右画像の双方に基づいて画像認識を実行する。
【０１１１】
車速が上がるに連れて、より遠方の情報を確実に取得することが求められる。逆に車速が下がるに連れて、より近傍の情報を確実に取得することが求められる。上記の構成によれば、車速に応じて必要性が高まる領域の情報を精度よく取得できる。
【０１１２】
あるいは、不図示のセンサ（ＬｉＤＡＲセンサ、ミリ波レーダなど）により検出された物体の位置と当該物体までの距離に応じて、適切なカメラユニットが選択されうる。
【０１１３】
制御装置１００４Ａは、プロセッサとメモリを備えている。プロセッサの例としては、ＣＰＵ、ＭＰＵ、ＧＰＵが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ＲＯＭやＲＡＭが挙げられる。ＲＯＭには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ＲＯＭに記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上記の処理を実行しうる。
【０１１４】
上述したセレクタ１０４４と画像認識部１０４５の各機能の少なくとも一部は、上記のプロセッサおよびメモリとは異なる少なくとも一つのハードウェア資源（例えば、ＡＳＩＣやＦＰＧＡなどの集積回路）によって実現されてもよいし、上記のプロセッサおよびメモリによって実行されるソフトウェアの一機能として実現されてもよい。例えば、画像認識部１０４５は、左画像信号ＬＳと右画像信号ＲＳを常時受け付けるＧＰＵとして構成されうる。この場合、セレクタ１０４４の機能は、当該ＧＰＵ内で行なわれる処理に統合されうる。
【０１１５】
本実施形態においては、左画像信号ＬＳと右画像信号ＲＳを、制御装置１００４Ａが受動的に受け付けている。しかしながら、左カメラユニット１０２７と右カメラユニット１０３７の少なくとも一方に対し、制御装置１００４Ａが能動的に必要な信号を出力させるように構成されてもよい。
【０１１６】
本実施形態においては、制御装置１００４Ａは、左ランプ装置１００２Ａと右ランプ装置１００３Ａが搭載される車両１００に配置されている。しかしながら、制御装置１００４Ａは、左ランプ装置１００２Ａと右ランプ装置１００３Ａのいずれか一方に搭載されうる。
【０１１７】
本実施形態においては、左カメラユニット１０２７の第一画角θ１の方が、右カメラユニット１０３７の第二画角θ２よりも広い。しかしながら、右カメラユニット１０３７の第二画角θ２の方が左カメラユニット１０２７の第一画角θ１よりも広い構成も採用されうる。好ましくは、対向車線により近い側に位置する灯室に配置されるカメラユニットの画角の方が狭く設定される。
【０１１８】
遠方の情報をカメラ以外のセンサ（ＬｉＤＡＲセンサやミリ波レーダなど）で取得するのであれば、左カメラユニット１０２７と右カメラユニット１０３７の双方を広角カメラユニットで構成してもよい。
【０１１９】
図６は、第三実施形態に係るセンサシステム１００１Ｂの構成を模式的に示している。センサシステム１００１Ｂは、右ランプ装置１００３Ｂと制御装置１００４Ｂを備えている。第一実施形態に係るセンサシステム１００１の構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
【０１２０】
右ランプ装置１００３Ｂは、車両１００の右前隅部ＲＦに搭載される。車両１００の左前隅部ＬＦには、右ランプ装置１００３Ｂと左右対称の構成を有する左ランプ装置が搭載される。制御装置１００４Ｂは、車両１００における適宜の箇所に配置される。
【０１２１】
右ランプ装置１００３Ｂは、第一カメラユニット１０３８を備えている。第一カメラユニット１０３８は、右灯室１０３３に収容されている。第一カメラユニット１０３８は、第一画角θ１を有している。第一カメラユニット１０３８は、第一画角θ１内に含まれる車両１００の前方を含む画像（第一画像）を取得し、第一画像に対応する第一画像信号Ｓ１を出力する。
【０１２２】
右ランプ装置１００３Ｂは、第二カメラユニット１０３９を備えている。第二カメラユニット１０３９は、右灯室１０３３に収容されている。第二カメラユニット１０３９は、第二画角θ２を有している。第二カメラユニット１０３９は、第二画角θ２内に含まれる車両１００の右方を含む画像（第二画像）を取得し、第二画像に対応する第二画像信号Ｓ２を出力する。
【０１２３】
本実施形態においては、第一画角θ１と第二画角θ２は等しい。第一画角θ１と第二画角θ２は、例えば１００°を上回る。すなわち、第一カメラユニット１０３８と第二カメラユニット１０３９は、いわゆる広角カメラに分類されうる。しかしながら、第一画角θ１と第二画角θ２は、異なっていてもよい。
【０１２４】
本実施形態においては、第一カメラユニット１０３８の第一光軸Ａ１と第二カメラユニット１０３９の第二光軸Ａ２は、異なる方向を向いている。
【０１２５】
第一画像信号Ｓ１と第二画像信号Ｓ２は、制御装置１００４Ｂに入力される。制御装置１００４Ｂは、画像認識部１０４６を備えている。
【０１２６】
画像認識部１０４６は、第一カメラユニット１０３８と第二カメラユニット１０３９から入力された信号に基づいて、画像認識を実行するように構成されている。すなわち、画像認識部１０４６は、第一画像と第二画像に基づいて、画像認識を実行する。
【０１２７】
このような構成によれば、第一カメラユニット１０３８の第一光軸Ａ１と第二カメラユニット１０３９の第二光軸Ａ２が異なる方向を向いているため、平行等位ステレオカメラシステムよりも画像認識に係る演算処理が複雑になるものの、より広い角度範囲にわたってステレオカメラシステムによる画像認識を成立させることが可能である。したがって、ステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
【０１２８】
本実施形態においては、第一カメラユニット１０３８と第二カメラユニット１０３９の双方が右灯室１０３３内に収容されている。この場合、構成を平行等位ステレオカメラシステムに近づけることが可能であり、画像認識に係る負荷の増大を抑制できる。
【０１２９】
しかしながら、第一光軸Ａ１と第二光軸Ａ２が異なる方向を向いていれば、第一カメラユニット１０３８と第二カメラユニット１０３９の少なくとも一方は、右灯室１０３３の外に配置されうる。
【０１３０】
制御装置１００４Ｂは、プロセッサとメモリを備えている。プロセッサの例としては、ＣＰＵ、ＭＰＵ、ＧＰＵが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ＲＯＭやＲＡＭが挙げられる。ＲＯＭには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ＲＯＭに記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上記の処理を実行しうる。
【０１３１】
上述した画像認識部１０４６の機能の少なくとも一部は、上記のプロセッサおよびメモリとは異なる少なくとも一つのハードウェア資源（例えば、ＡＳＩＣやＦＰＧＡなどの集積回路）によって実現されてもよいし、上記のプロセッサおよびメモリによって実行されるソフトウェアの一機能として実現されてもよい。
【０１３２】
本実施形態においては、制御装置１００４Ｂは、左ランプ装置と右ランプ装置１００３Ｂが搭載される車両１００に配置されている。しかしながら、制御装置１００４Ｂは、左ランプ装置と右ランプ装置１００３Ｂのいずれか一方に搭載されうる。
【０１３３】
上記の第一実施形態から第三実施形態は、本開示の理解を容易にするための例示にすぎない。第一実施形態から第三実施形態に係る各構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
【０１３４】
本明細書において、「左ランプハウジング」とは、車両側から見て右ランプハウジングよりも左側に位置しているランプハウジングを意味する。本明細書において、「右ランプハウジング」とは、車両側から見て左ランプハウジングよりも右側に位置しているランプハウジングを意味する。
【０１３５】
したがって、ステレオカメラシステムが成立するのであれば、左ランプハウジングは、車両１００の左部に配置される必要はなく、右ランプハウジングは、車両１００の右部に配置される必要はない。例えば、左ランプ装置１００２は、図２に示される車両１００の右後隅部ＲＢに配置されうる。この場合、右ランプ装置１００３は、車両１００の左後隅部ＬＢに配置されうる。あるいは、左ランプ装置１００２は、車両１００の左後隅部ＬＢに配置されうる。この場合、右ランプ装置１００３は、車両１００の左前隅部ＬＦに配置されうる。
【０１３６】
図７は、第四実施形態に係るセンサシステム２００１の構成を模式的に示している。センサシステム２００１は、左ランプ装置２００２と右ランプ装置２００３を備えている。
【０１３７】
左ランプ装置２００２は、図２に示される車両１００の左前隅部ＬＦに搭載される。右ランプ装置２００３は、車両１００の右前隅部ＲＦに搭載される。
【０１３８】
図７に示されるように、左ランプ装置２００２は、左ランプハウジング２０２１と左透光カバー２０２２を備えている。左透光カバー２０２２は、車両１００の外面の一部を形成する。左透光カバー２０２２は、左ランプハウジング２０２１とともに左灯室２０２３を区画している。すなわち、左ランプハウジング２０２１は、左灯室２０２３の一部を区画している。
【０１３９】
左ランプ装置２００２は、左ランプユニット２０２４を備えている。左ランプユニット２０２４は、車両１００の前方を含む領域に向けて光を出射する灯具である。左ランプユニット２０２４は、例えば前照灯である。
【０１４０】
左ランプ装置２００２は、左カメラユニット２０２５を備えている。左カメラユニット２０２５は、左灯室２０２３に収容されている。左カメラユニット２０２５は、視野内に含まれる車両１００の外部の画像（左画像ＬＩ）を取得し、左画像ＬＩに対応する左画像信号ＬＳを出力する。
【０１４１】
左ランプ装置２００２は、左マーキング光源２０２６を備えている。左マーキング光源２０２６は、左灯室２０２３に収容されている。左マーキング光源２０２６は、左カメラユニット２０２５の視野内に左マーキング光ＬＭを出射可能に構成されている。左マーキング光源２０２６の例としては、発光ダイオードやレーザダイオードが挙げられる。左マーキング光ＬＭの波長は、左カメラユニット２０２５が感度を有する波長として定められる。左マーキング光ＬＭは、基準光の一例である。
【０１４２】
右ランプ装置２００３は、右ランプハウジング２０３１と右透光カバー２０３２を備えている。右透光カバー２０３２は、車両１００の外面の一部を形成する。右透光カバー２０３２は、右ランプハウジング２０３１とともに右灯室２０３３を区画している。すなわち、右ランプハウジング２０３１は、右灯室２０３３の一部を区画している。
【０１４３】
右ランプ装置２００３は、右ランプユニット２０３４を備えている。右ランプユニット２０３４は、車両１００の前方を含む領域に向けて光を出射する灯具である。右ランプユニット２０３４は、例えば前照灯である。
【０１４４】
右ランプ装置２００３は、右カメラユニット２０３５を備えている。右カメラユニット２０３５は、右灯室２０３３に収容されている。右カメラユニット２０３５は、視野内に含まれる車両１００の外部の画像（右画像ＲＩ）を取得し、右画像ＲＩに対応する右画像信号ＲＳを出力する。
【０１４５】
左カメラユニット２０２５の視野と右カメラユニット２０３５の視野は、一部が重複している。したがって、左カメラユニット２０２５と右カメラユニット２０３５は、ステレオカメラシステムを構成している。
【０１４６】
右ランプ装置２００３は、右マーキング光源２０３６を備えている。右マーキング光源２０３６は、右灯室２０３３に収容されている。右マーキング光源２０３６は、右カメラユニット２０３５の視野内に右マーキング光ＲＭを出射可能に構成されている。右マーキング光源２０３６の例としては、発光ダイオードやレーザダイオードが挙げられる。右マーキング光ＲＭの波長は、右カメラユニット２０３５が感度を有する波長として定められる。右マーキング光ＲＭは、基準光の一例である。
【０１４７】
センサシステム２００１は、検出部２００４を備えている。検出部２００４は、左カメラユニット２０２５および右カメラユニット２０３５と通信可能である。左画像信号ＬＳと右画像信号ＲＳは、検出部２００４に入力される。
【０１４８】
検出部２００４は、プロセッサとメモリを備えている。プロセッサの例としては、ＣＰＵ、ＭＰＵ、ＧＰＵが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ＲＯＭやＲＡＭが挙げられる。ＲＯＭには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ＲＯＭに記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して所定の処理を実行する。検出部２００４は、ＡＳＩＣやＦＰＧＡなどの集積回路（ハードウェア資源）によって、あるいは当該ハードウェア資源と上記のプロセッサおよびメモリとの組合せによっても実現されうる。
【０１４９】
検出部２００４は、左カメラユニット２０２５により取得された左画像ＬＩにおける左マーキング光ＬＭの像に基づいて、左カメラユニット２０２５の光軸のずれを検出するように構成されている。また、検出部２００４は、右カメラユニット２０３５により取得された右画像ＲＩにおける右マーキング光ＲＭの像に基づいて、右カメラユニット２０３５の光軸のずれを検出するように構成されている。
【０１５０】
具体的には、左カメラユニット２０２５の視野内に配置された壁Ｗに向けて、左マーキング光源２０２６が左マーキング光ＬＭを出射する。壁Ｗと左カメラユニット２０２５の間の距離は、予め定められている。壁Ｗ上には、左マーキング光ＬＭの像が形成される。左マーキング光ＬＭの像は、左カメラユニット２０２５により取得される左画像ＬＩ内に含まれる。
【０１５１】
左カメラユニット２０２５と左マーキング光源２０２６の位置関係は予め調整されている。したがって、壁Ｗと左カメラユニット２０２５の間の距離が既知であれば、左画像ＬＩ内に現れる左マーキング光ＬＭの像の位置がわかる。左画像ＬＩ内に示される破線の円は、左マーキング光ＬＭの像が本来現れるべき位置を示している。
【０１５２】
図示のように左マーキング光ＬＭの像の位置が本来現れるべき位置からずれている場合、左カメラユニット２０２５の光軸が所定の位置または方向からずれていることがわかる。そのようなずれが生じる原因としては、左ランプ装置２００２が車両１００に搭載される際に生じたずれや、車両１００の使用に伴う左ランプ装置２００２の位置や姿勢の変化が挙げられる。検出部２００４は、このずれを検出する。検出結果は、検出部２００４により保持される。
【０１５３】
検出結果は、保守業者などにより必要に応じて読み出され、車両１００に対する左ランプ装置２００２の位置や姿勢を調整する作業に利用されうる。あるいは、左ランプ装置２００２に機械的な調整を施すことなく、左画像ＬＩが処理される際に検出結果を補正情報として利用してもよい。例えば、左カメラユニット２０２５の光軸にずれが検出された場合、左カメラユニット２０２５から出力される左画像信号ＬＳに対して必要な調整に対応する補正が加えられ、補正された左画像信号ＬＳに基づいて画像処理が行なわれる。
【０１５４】
同様に、右カメラユニット２０３５の視野内に配置された壁Ｗに向けて、右マーキング光源２０３６が右マーキング光ＲＭを出射する。壁Ｗと右カメラユニット２０３５の間の距離は、予め定められている。壁Ｗ上には、右マーキング光ＲＭの像が形成される。右マーキング光ＲＭの像は、右カメラユニット２０３５により取得される右画像ＲＩ内に含まれる。
【０１５５】
右カメラユニット２０３５と右マーキング光源２０３６の位置関係は予め調整されている。したがって、壁Ｗと右カメラユニット２０３５の間の距離が既知であれば、右画像ＲＩ内に現れる右マーキング光ＲＭの像の位置がわかる。右画像ＲＩ内に示される破線の円は、右マーキング光ＲＭの像が本来現れるべき位置を示している。
【０１５６】
図示のように右マーキング光ＲＭの像の位置が本来現れるべき位置からずれている場合、右カメラユニット２０３５の光軸が所定の位置または方向からずれていることがわかる。そのようなずれが生じる原因としては、右ランプ装置２００３が車両１００に搭載される際に生じたずれや、車両１００の使用に伴う右ランプ装置２００３の位置や姿勢の変化が挙げられる。検出部２００４は、このずれを検出する。検出結果は、検出部２００４により保持される。
【０１５７】
検出結果は、保守業者などにより必要に応じて読み出され、車両１００に対する右ランプ装置２００３の位置や姿勢を調整する作業に利用されうる。あるいは、右ランプ装置２００３に機械的な調整を施すことなく、右画像ＲＩが処理される際に検出結果を補正情報として利用してもよい。例えば、右カメラユニット２０３５の光軸にずれが検出された場合、右カメラユニット２０３５から出力される右画像信号ＲＳに対して必要な調整に対応する補正が加えられ、補正された右画像信号ＲＳに基づいて画像処理が行なわれる。
【０１５８】
左灯室２０２３に収容されている左カメラユニット２０２５と右灯室２０３３に収容されている右カメラユニット２０３５でステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長（両カメラの光軸間距離）を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
【０１５９】
他方、車室内にステレオカメラシステムが設置される場合と比較して、各カメラユニットの光軸にずれが生じる可能性が生じる。左ランプ装置２００２と右ランプ装置２００３の車両１００に対する位置や姿勢のずれがランプ装置ごとに独立して生じうるからである。しかしながら、前述のようにマーキング光を利用した調節や補正が可能とされることにより、結果としてステレオカメラシステムを含むセンサシステムの情報取得能力を向上できる。
【０１６０】
検出部２００４は、左ランプ装置２００２と右ランプ装置２００３が搭載される車両１００における適宜の位置に設けられてもよいし、左ランプ装置２００２と右ランプ装置２００３のいずれかに設けられてもよい。また、左カメラユニット２０２５の光軸のずれを検出する検出部と右カメラユニット２０３５の光軸のずれを検出する検出部が独立して設けられてもよい。
【０１６１】
図８は、第五実施形態に係るセンサシステム２００１Ａの構成を模式的に示している。センサシステム２００１Ａは、左ランプ装置２００２、右ランプ装置２００３、検出部２００４Ａ、およびマーキング光源２００５を備えている。第四実施形態に係るセンサシステム２００１の構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
【０１６２】
マーキング光源２００５は、左ランプ装置２００２の左灯室２０２３と右ランプ装置２００３の右灯室のいずれか一方に配置される。図示の例においては、マーキング光源２００５は、左灯室２０２３内に配置されている。マーキング光源２００５は、左カメラユニット２０２５の視野と右カメラユニット２０３５の視野が重複する領域Ａ内にマーキング光Ｍを出射可能に構成されている。マーキング光源２００５の例としては、発光ダイオードやレーザダイオードが挙げられる。マーキング光Ｍの波長は、左カメラユニット２０２５と右カメラユニット２０３５が感度を有する波長として定められる。マーキング光Ｍは、基準光の一例である。
【０１６３】
検出部２００４Ａは、左カメラユニット２０２５および右カメラユニット２０３５と通信可能である。左画像信号ＬＳと右画像信号ＲＳは、検出部２００４Ａに入力される。
【０１６４】
検出部２００４Ａは、プロセッサとメモリを備えている。プロセッサの例としては、ＣＰＵ、ＭＰＵ、ＧＰＵが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ＲＯＭやＲＡＭが挙げられる。ＲＯＭには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ＲＯＭに記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して所定の処理を実行する。検出部２００４Ａは、ＡＳＩＣやＦＰＧＡなどの集積回路（ハードウェア資源）によって、あるいは当該ハードウェア資源と上記のプロセッサおよびメモリとの組合せによっても実現されうる。
【０１６５】
検出部２００４Ａは、左カメラユニット２０２５により取得された左画像ＬＩにおけるマーキング光Ｍの像に基づいて、左カメラユニット２０２５の光軸のずれを検出するように構成されている。また、検出部２００４Ａは、右カメラユニット２０３５により取得された右画像ＲＩにおけるマーキング光Ｍの像に基づいて、右カメラユニット２０３５の光軸のずれを検出するように構成されている。
【０１６６】
具体的には、左カメラユニット２０２５の視野と右カメラユニット２０３５の視野が重複する領域Ａ内に配置された壁Ｗに向けて、マーキング光源２００５がマーキング光Ｍを出射する。壁Ｗと左カメラユニット２０２５の間の距離は、予め定められている。壁Ｗ上には、マーキング光Ｍの像が形成される。マーキング光Ｍの像は、左カメラユニット２０２５により取得される左画像ＬＩ内に含まれる（図７参照）。
【０１６７】
左カメラユニット２０２５とマーキング光源２００５の位置関係は予め調整されている。したがって、壁Ｗと左カメラユニット２０２５の間の距離が既知であれば、左画像ＬＩ内に現れるマーキング光Ｍの像の位置がわかる。左画像ＬＩ内に示される破線の円は、マーキング光Ｍの像が本来現れるべき位置を示している。
【０１６８】
図示のようにマーキング光Ｍの像の位置が本来現れるべき位置からずれている場合、左カメラユニット２０２５の光軸が所定の位置または方向からずれていることがわかる。そのようなずれが生じる原因としては、左ランプ装置２００２が車両１００に搭載される際に生じたずれや、車両１００の使用に伴う左ランプ装置２００２の位置や姿勢の変化が挙げられる。検出部２００４Ａは、このずれを検出する。検出結果は、検出部２００４Ａにより保持される。
【０１６９】
検出結果は、保守業者などにより必要に応じて読み出され、車両１００に対する左ランプ装置２００２の位置や姿勢を調整する作業に利用されうる。あるいは、左ランプ装置２００２に機械的な調整を施すことなく、左画像ＬＩが処理される際に検出結果を補正情報として利用してもよい。例えば、左カメラユニット２０２５の光軸にずれが検出された場合、左カメラユニット２０２５から出力される左画像信号ＬＳに対して必要な調整に対応する補正が加えられ、補正された左画像信号ＬＳに基づいて画像処理が行なわれる。
【０１７０】
他方、右カメラユニット２０３５により取得される右画像ＲＩ内にもマーキング光Ｍの像が含まれる。壁Ｗとマーキング光源２００５に対する右カメラユニット２０３５の位置関係は既知であれば、右画像ＲＩ内に現れるマーキング光Ｍの像の位置がわかる。右画像ＲＩ内に示される破線の円は、マーキング光Ｍの像が本来現れるべき位置を示している（図７参照）。
【０１７１】
図示のようにマーキング光Ｍの像の位置が本来現れるべき位置からずれている場合、右カメラユニット２０３５の光軸が所定の位置または方向からずれていることがわかる。そのようなずれが生じる原因としては、右ランプ装置２００３が車両１００に搭載される際に生じたずれや、車両１００の使用に伴う右ランプ装置２００３の位置や姿勢の変化が挙げられる。検出部２００４Ａは、このずれを検出する。検出結果は、検出部２００４Ａにより保持される。
【０１７２】
検出結果は、保守業者などにより必要に応じて読み出され、車両１００に対する右ランプ装置２００３の位置や姿勢を調整する作業に利用されうる。あるいは、右ランプ装置２００３に機械的な調整を施すことなく、右画像ＲＩが処理される際に検出結果を補正情報として利用してもよい。例えば、右カメラユニット２０３５の光軸にずれが検出された場合、右カメラユニット２０３５から出力される右画像信号ＲＳに対して必要な調整に対応する補正が加えられ、補正された右画像信号ＲＳに基づいて画像処理が行なわれる。
【０１７３】
本実施形態の構成によれば、第四実施形態を参照して説明した利点に加え、マーキングに必要な光源の数を必要最小限にできるというメリットがある。
【０１７４】
図９は、第六実施形態に係るセンサシステム２００１Ｂの構成を模式的に示している。第五実施形態に係るセンサシステム２００１Ａの構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
【０１７５】
本実施形態においては、マーキング光源２００５は、左ランプ装置２００２と右ランプ装置２００３が搭載される車両１００に固定されている。すなわち、左ランプ装置２００２と右ランプ装置２００３は、マーキング光源２００５に対して相対変位可能である。換言すると、マーキング光源２００５は、左ランプハウジング２０２１と右ランプハウジング２０３１に対して相対変位可能な位置に支持されている。
【０１７６】
本実施形態においても、マーキング光源２００５は、左カメラユニット２０２５の視野と右カメラユニット２０３５の視野が重複する領域Ａ内に配置された壁Ｗに向けて、マーキング光Ｍを出射する。マーキング光Ｍの像は、左カメラユニット２０２５により取得される左画像ＬＩ内と右カメラユニット２０３５により取得される右画像ＲＩ内に含まれる（図７参照）。
【０１７７】
壁Ｗとマーキング光源２００５に対する左カメラユニット２０２５と右カメラユニット２０３５の各位置が既知であれば、左画像ＬＩ内と右画像ＲＩ内に現れるマーキング光Ｍの像の位置がわかる。左画像ＬＩにおいてマーキング光Ｍの像の位置が本来現れるべき位置からずれている場合、左カメラユニット２０２５の光軸が所定の位置または方向からずれていることがわかる。同様に、右画像ＲＩにおいてマーキング光Ｍの像の位置が本来現れるべき位置からずれている場合、右カメラユニット２０３５の光軸が所定の位置または方向からずれていることがわかる。そのようなずれが生じる原因としては、左ランプ装置２００２と右ランプ装置２００３が車両１００に搭載される際に生じたずれや、車両１００の使用に伴う左ランプ装置２００２と右ランプ装置２００３の位置や姿勢の変化が挙げられる。検出部２００４Ａは、このずれを検出する。検出結果は、検出部２００４Ａにより保持される。
【０１７８】
検出結果は、保守業者などにより必要に応じて読み出され、車両１００に対する左ランプ装置２００２と右ランプ装置２００３の位置や姿勢を調整する作業に利用されうる。あるいは、左ランプ装置２００２と右ランプ装置２００３に機械的な調整を施すことなく、左画像ＬＩと右画像ＲＩが処理される際に検出結果を補正情報として利用してもよい。例えば、左カメラユニット２０２５の光軸にずれが検出された場合、左カメラユニット２０２５から出力される左画像信号ＬＳに対して必要な調整に対応する補正が加えられ、補正された左画像信号ＬＳに基づいて画像処理が行なわれる。右カメラユニット２０３５の光軸にずれが検出された場合、右カメラユニット２０３５から出力される右画像信号ＲＳに対して必要な調整に対応する補正が加えられ、補正された右画像信号ＲＳに基づいて画像処理が行なわれる。
【０１７９】
本実施形態の構成によれば、第四実施形態と第五実施形態を参照して説明した利点に加え、各灯室内におけるカメラユニットとマーキング光源の事前位置合わせ作業を不要にできるというメリットがある。
【０１８０】
図１０は、第七実施形態に係るセンサシステム２００１Ｃの構成を模式的に示している。第六実施形態に係るセンサシステム２００１Ｂの構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
【０１８１】
センサシステム２００１Ｃは、支持体２００６を備えている。支持体２００６は、左ランプ装置２００２の左ランプハウジング２０２１と右ランプ装置２００３の右ランプハウジング２０３１の双方を支持している。支持体２００６は、車両１００に取り付けられる。これにより、左ランプ装置２００２と右ランプ装置２００３の車両１００に対する位置が一括して定まる。マーキング光源２００５は、支持体２００６に支持されている。
【０１８２】
本実施形態においても、マーキング光源２００５は、左カメラユニット２０２５の視野と右カメラユニット２０３５の視野が重複する領域Ａ内に配置された壁Ｗに向けて、マーキング光Ｍを出射する。マーキング光Ｍの像は、左カメラユニット２０２５により取得される左画像ＬＩ内と右カメラユニット２０３５により取得される右画像ＲＩ内に含まれる（図７参照）。
【０１８３】
検出部２００４Ａは、左カメラユニット２０２５により取得された左画像ＬＩにおけるマーキング光Ｍの像と右カメラユニット２０３５により取得された右画像ＲＩにおけるマーキング光Ｍの像の少なくとも一方に基づいて、左カメラユニット２０２５の光軸と右カメラユニット２０３５の光軸の少なくとも一方のずれを検出する。
【０１８４】
本実施形態の構成によれば、第四実施形態と第五実施形態を参照して説明した利点に加え、左ランプハウジング２０２１と右ランプハウジング２０３１の相対変位に起因する左カメラユニット２０２５と右カメラユニット２０３５の光軸ずれを抑制できるというメリットがある。
【０１８５】
図１１は、第八実施形態に係るセンサシステム２００１Ｄの構成を模式的に示している。第七実施形態に係るセンサシステム２００１Ｃの構成要素と実質的に同一の構成や機能を有する構成要素については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
【０１８６】
本実施形態においては、マーキング光源２００５は、支持体２００６が搭載される車両１００に固定されている。すなわち、左ランプ装置２００２と右ランプ装置２００３は、マーキング光源２００５に対して相対変位可能である。換言すると、マーキング光源２００５は、左ランプハウジング２０２１と右ランプハウジング２０３１に対して相対変位可能な位置に支持されている。
【０１８７】
本実施形態においても、マーキング光源２００５は、左カメラユニット２０２５の視野と右カメラユニット２０３５の視野が重複する領域Ａ内に配置された壁Ｗに向けて、マーキング光Ｍを出射する。マーキング光Ｍの像は、左カメラユニット２０２５により取得される左画像ＬＩ内と右カメラユニット２０３５により取得される右画像ＲＩ内に含まれる（図７参照）。
【０１８８】
検出部２００４Ａは、左カメラユニット２０２５により取得された左画像ＬＩにおけるマーキング光Ｍの像と右カメラユニット２０３５により取得された右画像ＲＩにおけるマーキング光Ｍの像の少なくとも一方に基づいて、左カメラユニット２０２５の光軸と右カメラユニット２０３５の光軸の少なくとも一方のずれを検出する。
【０１８９】
本実施形態の構成によれば、第四実施形態、第五実施形態、および第七実施形態を参照して説明した利点に加え、各カメラユニットと支持体２００６に支持されたマーキング光源２００５の事前位置合わせ作業を不要にできるというメリットがある。
【０１９０】
第四実施形態から第八実施形態は、本開示の理解を容易にするための例示にすぎない。第四実施形態から第八実施形態に係る各構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
【０１９１】
第五実施形態から第八実施形態の各々においては、マーキング光Ｍは、左ランプ装置２００２と右ランプ装置２００３の前方に配置された壁Ｗに照射されている。しかしながら、マーキング光Ｍは、左カメラユニット２０２５の視野と右カメラユニット２０３５の視野が重複する領域Ａであれば、図１２の（Ａ）に示されるように、路面Ｇなどにも照射されうる。
【０１９２】
この場合、マーキング光Ｍを車両１００のピッチング検出に利用できる。路面Ｇ上におけるマーキング光Ｍの投影像ＭＩまでの距離は、左カメラユニット２０２５と右カメラユニット２０３５によって測定される。図１２の（Ａ）は、車両１００のピッチング角がゼロである場合を示している。当該距離を所定値として記憶しておくことにより、その変化から車両１００のピッチングを検出できる。図１２の（Ｂ）に示されるように、投影像ＭＩまでの距離が所定値よりも長ければ、車両１００が上方にピッチングしていることが判る。図１２の（Ｃ）に示されるように、投影像ＭＩまでの距離が所定値よりも短ければ、車両１００が下方にピッチングしていることが判る。
【０１９３】
前述の通り、本明細書において、「左ランプハウジング」とは、車両側から見て右ランプハウジングよりも左側に位置しているランプハウジングを意味する。本明細書において、「右ランプハウジング」とは、車両側から見て左ランプハウジングよりも右側に位置しているランプハウジングを意味する。
【０１９４】
したがって、ステレオカメラシステムが成立するのであれば、左ランプハウジングは、車両１００の左部に配置される必要はなく、右ランプハウジングは、車両１００の右部に配置される必要はない。例えば、左ランプ装置２００２は、図２に示される車両１００の右後隅部ＲＢに配置されうる。この場合、右ランプ装置２００３は、車両１００の左後隅部ＬＢに配置されうる。あるいは、左ランプ装置２００２は、車両１００の左後隅部ＬＢに配置されうる。この場合、右ランプ装置２００３は、車両１００の左前隅部ＬＦに配置されうる。
【０１９５】
図１３は、第九実施形態に係るセンサシステム３００１の構成を模式的に示している。センサシステム３００１は、左ランプ装置３００２、右ランプ装置３００３、および制御部３００４を備えている。
【０１９６】
左ランプ装置３００２は、図２に示される車両１００の左前隅部ＬＦに搭載される。右ランプ装置３００３は、車両１００の右前隅部ＲＦに搭載される。制御部３００４は、車両１００における適宜の箇所に配置される。
【０１９７】
図１３に示されるように、左ランプ装置３００２は、左ランプハウジング３０２１と左透光カバー３０２２を備えている。左透光カバー３０２２は、車両１００の外面の一部を形成する。左透光カバー３０２２は、左ランプハウジング３０２１とともに左灯室３０２３を区画している。すなわち、左ランプハウジング３０２１は、左灯室３０２３の一部を区画している。
【０１９８】
左ランプ装置３００２は、左ランプユニット３０２４を備えている。左ランプユニット３０２４は、車両１００の前方を含む領域に向けて光を出射する灯具である。左ランプユニット３０２４は、例えば前照灯である。
【０１９９】
左ランプ装置３００２は、左カメラユニット３０２５を備えている。左カメラユニット３０２５は、左灯室３０２３に収容されている。左カメラユニット３０２５は、画角内に含まれる車両１００の外部の画像（左画像）を取得し、左画像に対応する左画像信号ＬＳを出力する。
【０２００】
右ランプ装置３００３は、右ランプハウジング３０３１と右透光カバー３０３２を備えている。右透光カバー３０３２は、車両１００の外面の一部を形成する。右透光カバー３０３２は、右ランプハウジング３０３１とともに右灯室３０３３を区画している。すなわち、右ランプハウジング３０３１は、右灯室３０３３の一部を区画している。
【０２０１】
右ランプ装置３００３は、右ランプユニット３０３４を備えている。右ランプユニット３０３４は、車両１００の前方を含む領域に向けて光を出射する灯具である。右ランプユニット３０３４は、例えば前照灯である。
【０２０２】
右ランプ装置３００３は、右カメラユニット３０３５を備えている。右カメラユニット３０３５は、右灯室３０３３に収容されている。右カメラユニット３０３５は、画角内に含まれる車両１００の外部の画像（右画像）を取得し、右画像に対応する右画像信号ＲＳを出力する。
【０２０３】
左カメラユニット３０２５の視野と右カメラユニット３０３５の視野は、一部が重複している。したがって、左カメラユニット３０２５と右カメラユニット３０３５は、ステレオカメラシステムを構成している。
【０２０４】
制御部３００４は、左カメラユニット３０２５および右カメラユニット３０３５と通信可能である。左画像信号ＬＳと右画像信号ＲＳは、制御部３００４に入力される。
【０２０５】
制御部３００４は、プロセッサとメモリを備えている。プロセッサの例としては、ＣＰＵ、ＭＰＵ、ＧＰＵが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ＲＯＭやＲＡＭが挙げられる。ＲＯＭには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ＲＯＭに記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上記の処理を実行しうる。制御部３００４は、ＡＳＩＣやＦＰＧＡなどの集積回路（ハードウェア資源）によって、あるいは当該ハードウェア資源と上記のプロセッサおよびメモリとの組合せによって実現されうる。
【０２０６】
図１４は、制御部３００４により実行される処理の第一の例を示している。
【０２０７】
制御部３００４は、左カメラユニット３０２５により取得された左画像と右カメラユニット３０３５により取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得する（ＳＴＥＰ１）。対象物の例としては、車両１００の前方に設置された較正用の目標物が挙げられる。マッチング技術を用いたステレオカメラによる測距の方法それ自体は周知であるので、詳細な説明は省略する。
【０２０８】
次に制御部３００４は、取得された第一距離情報を、第二距離情報と比較する（ＳＴＥＰ２）。第二距離情報は、左カメラユニット３０２５および右カメラユニット３０３５とは独立して取得された上記対象物までの距離に対応する情報である。例えば較正用の目標物までの距離が予め定められている場合、第二距離情報は、制御部３００４が予め保持しうる。
【０２０９】
次に制御部３００４は、第一距離情報と第二距離情報の比較結果に基づいて、左カメラユニット３０２５と右カメラユニット３０３５の少なくとも一方を較正するための較正情報を生成する（ＳＴＥＰ３）。
【０２１０】
第一距離情報と第二距離情報が一致しない場合がある。その原因としては、左カメラユニット３０２５と右カメラユニット３０３５の少なくとも一方の光軸の位置や向きの所定値からのずれが挙げられる。そのようなずれが生じる原因としては、左ランプ装置３００２と右ランプ装置３００３を車両１００に搭載する際に生じる位置ずれや、車両１００の使用に伴う光軸の位置や姿勢の経年変化が挙げられる。
【０２１１】
較正情報は、第一距離情報を第二距離情報に一致させるために必要な調整量として生成される。較正情報は、制御部３００４によって保持される。較正情報は、保守業者などにより必要に応じて読み出され、左カメラユニット３０２５と右カメラユニット３０３５の較正作業に利用されうる。あるいは、左カメラユニット３０２５と右カメラユニット３０３５に機械的な較正を施すことなく、制御部３００４によって測距処理が行なわれる際に補正情報として利用されてもよい。例えば、左カメラユニット３０２５に較正が必要との情報が得られた場合、左カメラユニット３０２５から出力される左画像信号ＬＳに対して必要な較正に対応する補正が加えられ、補正された左画像信号ＬＳに基づいて測距処理が行なわれる。これにより、ステレオカメラシステムを含むセンサシステム３００１の情報取得能力の低下を抑制できる。
【０２１２】
図１３に示されるように、センサシステム３００１は、センサユニット３００５を備えている。センサユニット３００５は、車両１００の外部に位置する対象物までの距離を検出可能なセンサを備えている。そのようなセンサの例として、ＬｉＤＡＲセンサやミリ波レーダが挙げられる。
【０２１３】
上記の第二距離情報は、センサユニット３００５により取得されうる。すなわち、車両１００の外部に位置する同一の対象物について、左カメラユニット３０２５および右カメラユニット３０３５を用いた測距と、センサユニット３００５を用いた測距が行なわれ、両測距結果が比較される。比較結果に基づく較正情報の生成については、前述の例と同じである。
【０２１４】
このような構成によれば、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。
【０２１５】
図１３に示されるように、センサシステム３００１は、通信部３００６を備えている。通信部３００６は、制御部３００４と通信可能に構成されている。通信は、有線接続を介して電気的あるいは光学的に行なわれてもよいし、無線通信を介して非接触に行なわれてもよい。制御部３００４は、所定のタイミングで通信部３００６へ制御信号を出力するように構成されている。通信部３００６は、当該制御信号に応じてインフラ情報を取得するように構成されている。通信部３００６は、取得したインフラ情報を制御部３００４へ出力するように構成されている。
【０２１６】
インフラ情報は、道路に関する情報と道路上の建造物に関する情報の少なくとも一方を含みうる。道路に関する情報の例としては、車線数、交差点の存在、横断歩道の存在、高速道路の出入口の存在、カーブの存在などが挙げられる。建造物の例としては、信号機、カーブミラー、歩道橋、バス停、有料道路の料金所などが挙げられる。
【０２１７】
上記の第二距離情報は、通信部３００６より取得されうる。すなわち、インフラ情報を参照することにより距離を特定可能な対象物に対して、左カメラユニット３０２５および右カメラユニット３０３５を用いた測距が行なわれる。測距結果より得られる第一距離情報は、インフラ情報より得られる第二距離情報と比較される。比較結果に基づく較正情報の生成については、前述の例と同じである。
【０２１８】
このような構成によっても、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。
【０２１９】
図１５は、制御部３００４により実行される処理の第二の例を示している。
【０２２０】
制御部３００４は、左カメラユニット３０２５により取得された左画像と右カメラユニット３０３５により取得された右画像に基づいて、対象物までの距離に対応する第一距離情報を取得する（ＳＴＥＰ１１）。対象物の例としては、車両１００の前方に設置された異常検出用の目標物が挙げられる。マッチング技術を用いたステレオカメラによる測距の方法それ自体は周知であるので、詳細な説明は省略する。
【０２２１】
次に制御部３００４は、取得された第一距離情報を、第二距離情報と比較する（ＳＴＥＰ１２）。第二距離情報は、左カメラユニット３０２５および右カメラユニット３０３５とは独立して取得された上記対象物までの距離に対応する情報である。例えば異常検出用の目標物までの距離が予め定められている場合、第二距離情報は、制御部３００４が予め保持しうる。
【０２２２】
次に制御部３００４は、第一距離情報と第二距離情報の比較結果に基づいて、左カメラユニット３０２５と右カメラユニット３０３５の少なくとも一方について異常の有無を判断する（ＳＴＥＰ１３）。例えば、第一距離情報が示す対象物までの距離と第二距離情報が示す当該対象物までの距離の差異が所定の閾値を上回る場合、左カメラユニット３０２５と右カメラユニット３０３５の少なくとも一方に異常があると判断される（ＳＴＥＰ１３においてＹ）。異常がないと判断されると（ＳＴＥＰ１３においてＮ）、処理は終了する。
【０２２３】
異常の原因の例としては、左カメラユニット３０２５と右カメラユニット３０３５の少なくとも一方の故障、少なくとも測距に係る左カメラユニット３０２５の視野に含まれる左透光カバー３０２２上の傷や汚れ、少なくとも測距に係る右カメラユニット３０３５の視野に含まれる右透光カバー３０３２上の傷や汚れなどが挙げられる。
【０２２４】
続いて制御部３００４は、異常の報知を行なう（ＳＴＥＰ１４）。報知は、視覚的報知、聴覚的報知、および触覚的報知の少なくとも一つを通じてなされる。左カメラユニット３０２５と右カメラユニット３０３５のいずれかに異常がある事実のみが報知されてもよいし、異常の原因となるカメラユニットが特定されて報知されてもよい。
【０２２５】
異常な第一距離情報の原因となるカメラユニットの特定は、測距に用いられた各カメラユニットから対象物までの距離情報を、第二距離情報から推定される各カメラユニットから対象物までの距離情報と比較することにより行なわれうる。
【０２２６】
これに加えてあるいは代えて、異常な第一距離情報の原因となるカメラユニットの特定は、左カメラユニット３０２５により取得された左画像と右カメラユニット３０３５により取得された右画像に対して画像認識処理を実行し、傷や汚れを原因とする不鮮明な箇所や故障を原因とする欠損が画像中に存在するかを判断することにより行なわれうる。
【０２２７】
報知を受けたユーザは、異常を解消するために、透光カバーの洗浄やカメラユニットの保守点検を行ないうる。これにより、ステレオカメラシステムを含むセンサシステム３００１の情報取得能力の低下を抑制できる。
【０２２８】
上記の第二距離情報は、センサユニット３００５により取得されうる。すなわち、車両１００の外部に位置する同一の対象物について、左カメラユニット３０２５および右カメラユニット３０３５を用いた測距と、センサユニット３００５を用いた測距が行なわれ、両測距結果が比較される。比較結果に基づく異常の検出については、前述の例と同じである。
【０２２９】
このような構成によれば、対象物までの距離情報を予め保持しておく必要がない。したがって、異常検出に使用される対象物の選定および異常検出を行なうタイミングに係る自由度が向上する。例えば、図１５に破線で示されるように、異常が検出されなかった場合（ＳＴＥＰ１３においてＮ）において処理を終了するのではなく、定期的に処理を繰り返してもよい。
【０２３０】
上記の第二距離情報は、通信部３００６より取得されうる。すなわち、インフラ情報を参照することにより距離を特定可能な対象物に対して、左カメラユニット３０２５および右カメラユニット３０３５を用いた測距が行なわれる。測距結果より得られる第一距離情報は、インフラ情報より得られる第二距離情報と比較される。比較結果に基づく異常検出については、前述の例と同じである。
【０２３１】
このような構成によっても、対象物までの距離情報を予め保持しておく必要がない。したがって、較正情報の生成に使用される対象物の選定および較正情報の生成を行なうタイミングに係る自由度が向上する。例えば、図１５に破線で示されるように、異常が検出されなかった場合（ＳＴＥＰ１３においてＮ）において処理を終了するのではなく、インフラ情報を取得する度に処理を繰り返してもよい。
【０２３２】
図１５に破線で示されるように、左カメラユニット３０２５と右カメラユニット３０３５の少なくとも一方に異常があると判断された場合（ＳＴＥＰ１３においてＹ）、第一距離情報の取得を中止してもよい（ＳＴＥＰ１５）。このとき、異常がないと判断されたカメラユニットから取得された画像に基づく対象物の認識処理は続行される。すなわち、ステレオカメラシステムを用いた測距機能のみを無効にする。
【０２３３】
このような構成によれば、左カメラユニット３０２５と右カメラユニット３０３５の少なくとも一方に異常が存在する場合であっても、センサシステム３００１の情報取得能力の低下を最小限に抑えることができる。
【０２３４】
次に図１６を参照しつつ、制御部３００４により実行される処理の第三の例を説明する。図１６の（Ａ）は、左カメラユニット３０２５により取得された左画像ＬＩと右カメラユニット３０３５により取得された右画像ＲＩを示している。左画像ＬＩと右画像ＲＩの双方に、車両１００の外部に位置する物体ＯＢが含まれている。
【０２３５】
物体ＯＢまでの距離を測定するためには、物体ＯＢに対する左カメラユニット３０２５と右カメラユニット３０３５の視差を特定する必要がある。視差を取得するためには、左画像ＬＩと右画像ＲＩの各々において物体ＯＢの像の位置を特定する必要がある。物体ＯＢの位置の特定は、左画像ＬＩに含まれる画素の値と右画像ＲＩに含まれる画素の値を比較し、値が類似する画素の集合を特定することにより行なわれる。値が類似する画素の集合が、物体ＯＢの像に対応する。この画像処理は、ブロックマッチングと称される。
【０２３６】
本例においては、制御部３００４は、センサユニット３００５により特定された物体ＯＢの位置に係る情報に基づき、物体ＯＢを含む左画像ＬＩと右画像ＲＩの各処理範囲を狭めるように構成されている。
【０２３７】
具体的には、センサユニット３００５によって車両１００に対する物体ＯＢの位置が特定されることにより、左カメラユニット３０２５により取得される左画像ＬＩにおける物体ＯＢの位置が大まかに推定されうる。同様に、右カメラユニット３０３５により取得される右画像ＲＩにおける物体ＯＢの位置が大まかに推定されうる。
【０２３８】
図１６の（Ｂ）における領域ＬＡは、そのように推定された左画像ＬＩにおいて物体ＯＢが存在する可能性のある位置に対応している。同様に、領域ＲＡは、そのように推定された右画像ＲＩにおいて物体ＯＢが存在する可能性のある位置に対応している。この場合、制御部３００４は、領域ＬＡと領域ＲＡのみについて上述のブロックマッチングを実行する。
【０２３９】
このような構成によれば、左画像ＬＩ全体と右画像ＲＩ全体について画像処理を行なう場合と比較して、処理負荷の軽減と処理速度の向上が可能である。したがって、ステレオカメラシステムを含むセンサシステムの情報処理能力の低下を抑制できる。
【０２４０】
第九実施形態は、本開示の理解を容易にするための例示にすぎない。第九実施形態に係る構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
【０２４１】
第九実施形態において、制御部３００４は、左ランプ装置３００２と右ランプ装置３００３が搭載される車両１００に配置されている。しかしながら、制御部３００４は、左ランプ装置３００２と右ランプ装置３００３のいずれか一方に搭載されうる。
【０２４２】
上記の実施形態において、左カメラユニット３０２５は、左ランプ装置３００２の左灯室３０２３に収容されており、右カメラユニット３０３５は、右ランプ装置３００３の右灯室３０３３に収容されている。このような左カメラユニット３０２５と右カメラユニット３０３５でステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長（両カメラの光軸間距離）を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
【０２４３】
しかしながら、左カメラユニット３０２５と右カメラユニット３０３５は、車両１００における車室外の適宜の箇所に配置されうる。車室外に配置されることにより、長い基線長を確保できる一方で、各カメラユニットが熱や振動の影響を受けやすくなる。しかしながら、上述した較正情報の生成や異常検出を通じて、ステレオカメラシステムの情報処理能力の低下を抑制できる。
【０２４４】
前述のように、本明細書において、「左カメラユニット」とは、車両側から見て右カメラユニットよりも左側に位置しているカメラユニットを意味する。本明細書において、「右カメラユニット」とは、車両側から見て左カメラユニットよりも右側に位置しているカメラユニットを意味する。
【０２４５】
したがって、ステレオカメラシステムが成立するのであれば、左カメラユニット３０２５は、車両１００の左部に配置される必要はなく、右カメラユニット３０３５は、車両１００の右部に配置される必要はない。例えば、左カメラユニット３０２５は、図２に示される車両１００の右後隅部ＲＢに配置されうる。この場合、右カメラユニット３０３５は、車両１００の左後隅部ＬＢに配置されうる。あるいは、左カメラユニット３０２５は、車両１００の左後隅部ＬＢに配置されうる。この場合、右カメラユニット３０３５は、車両１００の左前隅部ＬＦに配置されうる。
【０２４６】
図１７は、第十実施形態に係るセンサシステム４００１の構成を模式的に示している。センサシステム４００１は、左ランプ装置４００２と右ランプ装置４００３を備えている。
【０２４７】
左ランプ装置４００２は、図２に示される車両１００の左前隅部ＬＦに搭載される。右ランプ装置４００３は、車両１００の右前隅部ＲＦに搭載される。
【０２４８】
図１７に示されるように、左ランプ装置４００２は、左ランプハウジング４０２１と左透光カバー４０２２を備えている。左透光カバー４０２２は、車両１００の外面の一部を形成する。左透光カバー４０２２は、左ランプハウジング４０２１とともに左灯室４０２３を区画している。すなわち、左ランプハウジング４０２１は、左灯室４０２３の一部を区画している。
【０２４９】
左ランプ装置４００２は、左光源４０２４を備えている。左光源４０２４は、車両１００の前方を含む領域に向けて所定の波長を有する光を出射する。左光源４０２４の例としては、発光ダイオードやレーザダイオードが挙げられる。左光源４０２４は、例えば前照灯やマーキング灯具の光源として使用される。左光源４０２４は、左灯室４０２３に収容されている。
【０２５０】
左ランプ装置４００２は、左走査部４０２５を備えている。左走査部４０２５は、左光源４０２４から出射される光の照射方向を周期的に変化させる機構である。左走査部４０２５の例としては、左光源４０２４から出射される光の反射方向を周期的に変化させるポリゴンミラー機構やブレードスキャン機構、左光源４０２４を支持する部材の方向を周期的に変化させるＭＥＭＳ機構が挙げられる。左走査部４０２５は、左灯室４０２３に収容されている。
【０２５１】
左ランプ装置４００２は、左カメラユニット４０２６を備えている。左カメラユニット４０２６は、左灯室４０２３に収容されている。左カメラユニット４０２６は、視野内に含まれる車両１００の外部の画像（左画像ＬＩ）を取得し、左画像ＬＩに対応する左画像信号ＬＳを出力する。
【０２５２】
左画像ＬＩの取得は、周期的に行なわれる。具体的には、左カメラユニット４０２６のシャッタが所定の周期で所定の時間だけ開放される。シャッタの開放時間は、左画像ＬＩの取得に必要な露出時間に対応している。シャッタは、機械的シャッタでも電子的シャッタでもよい。
【０２５３】
右ランプ装置４００３は、右ランプハウジング４０３１と右透光カバー４０３２を備えている。右透光カバー４０３２は、車両１００の外面の一部を形成する。右透光カバー４０３２は、右ランプハウジング４０３１とともに右灯室４０３３を区画している。すなわち、右ランプハウジング４０３１は、右灯室４０３３の一部を区画している。
【０２５４】
右ランプ装置４００３は、右光源４０３４を備えている。右光源４０３４は、車両１００の前方を含む領域に向けて所定の波長を有する光を出射する。右光源４０３４の例としては、発光ダイオードやレーザダイオードが挙げられる。右光源４０３４は、例えば前照灯やマーキング灯具の光源として使用される。右光源４０３４は、右灯室４０３３に収容されている。
【０２５５】
右ランプ装置４００３は、右走査部４０３５を備えている。右走査部４０３５は、右光源４０３４から出射される光の照射方向を周期的に変化させる機構である。右走査部４０３５の例としては、右光源４０３４から出射される光の反射方向を周期的に変化させるポリゴンミラー機構やブレードスキャン機構、右光源４０３４を支持する部材の方向を周期的に変化させるＭＥＭＳ機構が挙げられる。右走査部４０３５は、右灯室４０３３に収容されている。
【０２５６】
右ランプ装置４００３は、右カメラユニット４０３６を備えている。右カメラユニット４０３６は、右灯室４０３３に収容されている。右カメラユニット４０３６は、視野内に含まれる車両１００の外部の画像（右画像ＲＩ）を取得し、右画像ＲＩに対応する右画像信号ＲＳを出力する。
【０２５７】
右画像ＲＩの取得は、周期的に行なわれる。具体的には、右カメラユニット４０３６のシャッタが所定の周期で所定の時間だけ開放される。シャッタの開放時間は、右画像ＲＩの取得に必要な露出時間に対応している。シャッタは、機械的シャッタでも電子的シャッタでもよい
【０２５８】
左カメラユニット４０２６の視野ＬＶと右カメラユニット４０３６の視野ＲＶは、一部が重複している。したがって、左カメラユニット４０２６と右カメラユニット４０３６は、ステレオカメラシステムを構成している。
【０２５９】
センサシステム４００１は、制御部４００４を備えている。制御部４００４は、左カメラユニット４０２６および右カメラユニット４０３６と通信可能である。左画像信号ＬＳと右画像信号ＲＳは、制御部４００４に入力される。
【０２６０】
制御部４００４は、プロセッサとメモリを備えている。プロセッサの例としては、ＣＰＵ、ＭＰＵ、ＧＰＵが挙げられる。プロセッサは、複数のプロセッサコアを含みうる。メモリの例としては、ＲＯＭやＲＡＭが挙げられる。ＲＯＭには、上記の処理を実行するプログラムが記憶されうる。当該プログラムは、人工知能プログラムを含みうる。人工知能プログラムの例としては、ディープラーニングによる学習済みニューラルネットワークが挙げられる。プロセッサは、ＲＯＭに記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上記の処理を実行しうる。制御部４００４は、ＡＳＩＣやＦＰＧＡなどの集積回路（ハードウェア資源）によって、あるいは当該ハードウェア資源と上記のプロセッサおよびメモリとの組合せによって実現されうる。
【０２６１】
左光源４０２４から出射される光４０２４ａは、左カメラユニット４０２６の視野ＬＶ内を周期的に移動する。符号Ｐで示される直線は、左画像ＬＩに対応する投影面を示している。具体的には、光４０２４ａが方向Ｌ１に照射されるとき、光４０２４ａは、左カメラユニット４０２６の視野ＬＶ内に進入する。すなわち、光４０２４ａの照射方向が方向Ｌ１と方向Ｌ２の間の範囲内にあるとき、光４０２４ａの像が左画像ＬＩ内に含まれうる。
【０２６２】
図１８の（Ａ）は、左走査部４０２５による光４０２４ａの照射方向の経時変化を示している。同図において、斜線が付された矩形状の領域は、左カメラユニット４０２６が左画像ＬＩを取得している期間（すなわち左カメラユニット４０２６のシャッタが開放されている露光期間）を表している。
【０２６３】
同図においては、光４０２４ａの照射方向が左走査部４０２５により変化する周期と、左カメラユニット４０２６による左画像ＬＩの取得周期とが一致していない。したがって、光４０２４ａが投影面Ｐと交差する位置が、左画像ＬＩの取得タイミング毎に異なる。すなわち、左画像ＬＩに含まれる光４０２４ａの像の位置が、左画像ＬＩが取得される度に変化する。光４０２４ａの像が左画像ＬＩ中に含まれる画像認識を要する他の像に重なると、画像認識処理を妨げるおそれが生ずる。
【０２６４】
本実施形態に係る制御部４００４は、左走査部４０２５により光４０２４ａが基準方向へ照射される時点と、左画像ＬＩを取得するための露光期間内の基準時点を一致させるように構成されている。具体的には、図１７に示される基準方向Ｌ０へ光４０２４ａが照射される時点が検出され、当該時点を基準として左カメラユニット４０２６による左画像ＬＩの取得が行なわれる。例えば、左走査部４０２５を駆動するモータの回転量をエンコーダで検出するなどして方向Ｌ０へ光４０２４ａが照射される時点が検出されうる。この検出に際して生成される信号が、左カメラユニット４０２６による左画像ＬＩの取得のトリガとされうる。
【０２６５】
その結果、図１８の（Ｂ）に示されるように、光４０２４ａの照射方向が左走査部４０２５により変化する周期と、左カメラユニット４０２６による左画像ＬＩの取得周期とが一致する。したがって、光４０２４ａが投影面Ｐと交差する位置が、左画像ＬＩの取得タイミング毎に変化しない。すなわち、左画像ＬＩに含まれる光４０２４ａの像の位置が一定となる。
【０２６６】
これにより、光４０２４ａの像が画像認識に与える影響の除去が容易となる。例えば、光４０２４ａが現れる特定の領域を画像認識の対象から除外するなどの処理が可能であり、左画像ＬＩを用いて行なわれる画像認識処理の負荷増大を抑制できる。結果として、左光源４０２４から出射される光４０２４ａの照射方向を周期的に変化させる左走査部４０２５とともに使用される左カメラユニット４０２６を含むセンサシステム４００１の情報取得能力の低下を抑制できる。
【０２６７】
図１７に示されるように、上記の基準方向Ｌ０は、左画像ＬＩの左端部に対応する方向である。したがって、光４０２４ａの像は、常に左画像ＬＩの左端部に現れる。
【０２６８】
左カメラユニット４０２６の視野は、その中央部に認識を要する対象物が位置するように設計されることが一般的である。換言すると、左カメラユニット４０２６の視野の端部に含まれる情報は、当該視野の中央部に含まれる情報よりも重要度が低い傾向にある。そのような位置に光４０２４ａの像が常に現れるようにすることにより、当該光像が画像認識に与える影響をさらに抑制できる。
【０２６９】
制御部４００４は、左画像ＬＩに含まれる光４０２４ａの像の位置に基づいて、左走査部４０２５の異常を判断するように構成されうる。具体的には、左画像ＬＩに含まれる光４０２４ａの像の位置が、所定のタイミングで検出される。所定のタイミングの例としては、左画像ＬＩが取得される毎、所定時間の経過毎、ユーザの指示入力時などが挙げられる。
【０２７０】
左走査部４０２５が正常に動作していれば、左画像ＬＩに現れる光４０２４ａの像の位置は一定である。したがって、光４０２４ａの像の位置が所定の位置からずれている場合、左走査部４０２５に何らかの異常があると判断されうる。したがって、左光源４０２４から出射される光４０２４ａを、左走査部４０２５の異常検出にも利用できる。
【０２７１】
制御部４００４は、光４０２４ａの照射方向に対応する情報と左画像ＬＩを取得するための露光期間に対応する情報に基づいて、左画像ＬＩに含まれる光４０２４ａの像の位置を特定するようにも構成されうる。
【０２７２】
図１８の（Ａ）において、光４０２４ａの照射方向が左走査部４０２５により変化する周期と、左カメラユニット４０２６による左画像ＬＩの取得周期が既知であれば、例えば左走査部４０２５による走査動作の回数と左カメラユニット４０２６による露光動作の回数をカウントすることにより、特定の露光動作時における光４０２４ａの照射方向を特定できる。結果として、取得される左画像ＬＩにおける光４０２４ａの像の位置を特定できる。
【０２７３】
このような構成によれば、光４０２４ａの像が現れる領域の予測に基づく画像認識処理を行なうことができる。したがって、左光源４０２４から出射される光４０２４ａの照射方向を周期的に変化させる左走査部４０２５とともに使用される左カメラユニット４０２６を含むセンサシステム４００１の情報取得能力の低下を抑制できる。
【０２７４】
この場合においても、制御部４００４は、左画像ＬＩに含まれる光４０２４ａの像の位置に基づいて、左走査部４０２５の異常を判断するように構成されうる。左走査部４０２５が正常に動作していれば、左画像ＬＩに現れる光４０２４ａの像の位置は予測可能である。したがって、光４０２４ａの像の位置が予想された位置からずれている場合、左走査部４０２５に何らかの異常があると判断されうる。したがって、左光源４０２４から出射される光４０２４ａを、左走査部４０２５の異常検出にも利用できる。
【０２７５】
図１８の（Ａ）と（Ｂ）を参照する上記の説明は、右光源４０３４、右走査部４０３５、および右カメラユニット４０３６を含む右ランプ装置４００３についても同様に適用できる。すなわち、右画像ＲＩを用いて行なわれる画像認識処理の負荷増大を抑制できる。結果として、右光源４０３４から出射される光の照射方向を周期的に変化させる右走査部４０３５とともに使用される右カメラユニット４０３６を含むセンサシステム４００１の情報取得能力の低下を抑制できる。
【０２７６】
第十実施形態は、本開示の理解を容易にするための例示にすぎない。第十実施形態に係る構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
【０２７７】
第十実施形態において、制御部４００４は、左ランプ装置４００２と右ランプ装置４００３が搭載される車両１００に配置されている。しかしながら、制御部４００４は、左ランプ装置４００２と右ランプ装置４００３のいずれか一方に搭載されうる。
【０２７８】
上記の実施形態において、左カメラユニット４０２６は、左ランプ装置４００２の左灯室４０２３に収容されており、右カメラユニット４０３６は、右ランプ装置４００３の右灯室４０３３に収容されている。このような左カメラユニット４０２６と右カメラユニット４０３６でステレオカメラシステムを構成するメリットは、車室内のルームミラー近傍に設置されるステレオカメラシステムよりも長い基線長（両カメラの光軸間距離）を確保できる点にある。これにより、遠方の視認性能が向上する。また、ルームミラー近傍からステレオカメラシステムが取り除かれることにより、運転者の視界が広がる。
【０２７９】
しかしながら、左カメラユニット４０２６と右カメラユニット４０３６は、車両１００における車室外の適宜の箇所に配置されうる。車室外に配置されることにより、長い基線長を確保できる一方で、各カメラユニットが走査光の影響を受けやすくなる。しかしながら、上述した制御部４００４による処理を通じて、ステレオカメラシステムの情報処理能力の低下を抑制できる。
【０２８０】
図１９に二点鎖線で示されるように、上記の実施形態においては、左透光カバー４０２２の内面４０２２ａと外面４０２２ｂは、左カメラユニット４０２６の光軸Ａｘに対して傾斜している。同図に実線で示されるように、変形例に係る左透光カバー４０２２Ａにおいては、内面４０２２ａと外面４０２２ｂの少なくとも一方は、光軸Ａｘに直交する平坦面とされうる。これにより、左透光カバー４０２２の外側から入射する光（すなわち左カメラユニット４０２６による画像取得に関与する光）の挙動を単純化できる。特に内面４０２２ａが平坦面とされる場合、左カメラユニット４０２６を内面４０２２ａと接触するように配置できる。この場合、左光源４０２４から出射され左走査部４０２５により走査される光が左カメラユニット４０２６による画像取得に与える影響を抑制できる。左カメラユニット４０２６は、内面４０２２ａから離間して配置されてもよい。
【０２８１】
この説明は、右ランプ装置４００３における右透光カバー４０３２と右カメラユニット４０３６についても同様に適用可能である。
【０２８２】
前述の通り、本明細書において、「左カメラユニット」とは、車両側から見て右カメラユニットよりも左側に位置しているカメラユニットを意味する。本明細書において、「右カメラユニット」とは、車両側から見て左カメラユニットよりも右側に位置しているカメラユニットを意味する。
【０２８３】
したがって、ステレオカメラシステムが成立するのであれば、左カメラユニット４０２６は、車両１００の左部に配置される必要はなく、右カメラユニット４０３６は、車両１００の右部に配置される必要はない。例えば、左カメラユニット４０２６は、図２に示される車両１００の右後隅部ＲＢに配置されうる。この場合、右カメラユニット４０３６は、車両１００の左後隅部ＬＢに配置されうる。あるいは、左カメラユニット４０２６は、車両１００の左後隅部ＬＢに配置されうる。この場合、右カメラユニット４０３６は、車両１００の左前隅部ＬＦに配置されうる。
【０２８４】
本出願の記載の一部を構成するものとして、２０１７年９月２８日に提出された日本国特許出願２０１７−１８８５４８号、２０１７年９月２８日に提出された日本国特許出願２０１７−１８８５４９号、２０１７年９月２８日に提出された日本国特許出願２０１７−１８８５５０号、および２０１７年９月２８日に提出された日本国特許出願２０１７−１８８５５１号の内容が援用される。
【図１】
2019065218.tif 000003
【図２】
2019065218.tif 000004
【図３】
2019065218.tif 000005
【図４】
2019065218.tif 000006
【図５】
2019065218.tif 000007
【図６】
2019065218.tif 000008
【図７】
2019065218.tif 000009
【図８】
2019065218.tif 000010
【図９】
2019065218.tif 000011
【図１０】
2019065218.tif 000012
【図１１】
2019065218.tif 000013
【図１２】
2019065218.tif 000014
【図１３】
2019065218.tif 000015
【図１４】
2019065218.tif 000016
【図１５】
2019065218.tif 000017
【図１６】
2019065218.tif 000018
【図１７】
2019065218.tif 000019
【図１８】
2019065218.tif 000020
【図１９】
2019065218.tif 000021
【国際調査報告】
2019065218.tif 000022
2019065218.tif 000023
2019065218.tif 000024
2019065218.tif 000025