(57)【要約】  車載カメラシステム１００は、カメラ１１０およびプロセッサ１２０を備える。カメラ１１０は車両前方を撮像する。プロセッサ１２０は、カメラ１１０の出力画像ＩＭＧを受け、車両の遠方を検出する。プロセッサ１２０は、画像ＩＭＧを、水平方向に並ぶ複数の領域に分割し、複数の領域それぞれについて、遠方が含まれるか否かを判定する。
2019146514.tif 000002
【特許請求の範囲】
【請求項１】
車両前方を撮像するカメラと、
前記カメラの出力画像を受け、車両の遠方を検出するプロセッサと、
を備え、
前記プロセッサは、
車両前方を撮影した画像を、水平方向に並ぶ複数の領域に分割するステップと、
前記複数の領域それぞれについて、遠方が含まれるか否かを判定するステップと、
を実行することを特徴とする車載カメラシステム。
【請求項２】
前記複数の領域のうち、３つの領域について遠方を含む判定された場合、中央の領域に遠方が含まれると判定するステップをさらに備えることを特徴とする請求項１に記載の車載カメラシステム。
【請求項３】
前記複数の領域のうち、２以上の領域について遠方を含む判定された場合、前記２以上の領域の位置を重み付けして、前記遠方の位置を生成するステップをさらに備えることを特徴とする請求項１または２に記載の車載カメラシステム。
【請求項４】
前記プロセッサは、機械学習にもとづいて実装される識別器を含み、前記機械学習の教師データとして用いる画像データは、前記複数の領域のうち２以上に跨がるサイズを有することを特徴とする請求項１から３のいずれかに記載の車載カメラシステム。
【請求項５】
請求項１から４のいずれかに記載の車載カメラシステムを備えることを特徴とする車両用灯具。
【請求項６】
車両前方を撮影した画像を、水平方向に複数の領域に分割するステップと、
前記複数の領域それぞれについて、遠方が含まれるか否かを判定するステップと、
を備えることを特徴とする遠方の検出方法。
【請求項７】
前記複数の領域のうち、３つの領域について遠方を含む判定された場合、中央の領域に遠方が含まれると判定するステップをさらに備えることを特徴とする請求項６に記載の検出方法。
【請求項８】
前記複数の領域のうち、２以上の領域について遠方を含む判定された場合、前記２以上の領域の位置を重み付けして、前記遠方の位置を生成するステップをさらに備えることを特徴とする請求項６または７に記載の検出方法。
【請求項９】
請求項６から８のいずれかに記載の検出方法と、
前記検出方法によって検出された前記遠方の情報にもとづいて、物標を検出するステップと、
前記物標にもとづいて配光パターンを生成するステップと、
を備えることを特徴とする車両用灯具の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラシステムに関する。
【背景技術】
【０００２】
近年、車両の周囲の状態にもとづいて、ハイビームの配光パターンを動的、適応的に制御するＡＤＢ（Adaptive Driving Beam）技術の導入が進められている。ＡＤＢ技術は、車両の前方の先行車、対向車や歩行者の有無を検出し、車両あるいは歩行者に対応する領域を減光するなどして、車両あるいは歩行者に与えるグレアを低減するものである。【０００３】
ＡＤＢ機能を実現するためには、車両前方の状況を測定するセンサと、センサの出力を処理して配光パターンを生成するプロセッサと、配光パターンに応じて車両前方を照射する光源とが必要である。【０００４】
配光パターンの生成のためには、先行車、対向車や歩行者（以下、物標と総称する）の位置やそれを含む領域の検出が必要であるが、それらの検出のための補助的な情報として、消失点の位置が非常に有用である。たとえば消失点を知ることで、遠方の車両と道路照明を精度よく区別することができる。また消失点は、対向車が発生するポイントであるから、消失点が分かっていれば、対向車をいち早く検出することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−０２０６６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
自動車に利用されるセンサとしては、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどが候補として挙げられる。このなかで、カメラは最も安価であることから、カメラで遠方を正確かつ迅速に検出できれば、ＡＤＢランプの普及を後押しすることができる。【０００７】
本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、遠方を検出可能な車載カメラシステムの提供にある。
【課題を解決するための手段】
【０００８】
本発明のある態様は、車載カメラシステムに関する。車載カメラシステムは、車両前方を撮像するカメラと、カメラの出力画像を受け、車両の遠方を検出するプロセッサと、を備える。プロセッサは、車両前方を撮影した画像を、複数の領域に分割するステップと、複数の領域それぞれについて、遠方が含まれるか否かを判定するステップと、を実行する。【０００９】
本発明の別の態様は、車両用灯具に関する。車両用灯具は、上述の車載カメラシステムを備え、検出された遠方の情報にもとづいて、配光パターンを生成可能に構成される。
【発明の効果】
【００１０】
本発明によれば、遠方を検出可能な車載カメラシステムを提供できる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る車載カメラシステムのブロック図である。
【図２】学習に用いる教師データの一例を示す図である。
【図３】図３（ａ）、（ｂ）は、異なる走行シーンで撮影される車両前方の画像データの例を示す図である。
【図４】図４（ａ）、（ｂ）は、異なる走行シーンで撮影される車両前方の画像データの例を示す図である。
【図５】車載カメラシステムにおける遠方検出のフローチャートである。
【図６】実施の形態に係る車両用灯具のブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【００１３】
図１は、実施の形態に係る車載カメラシステム１００のブロック図である。車載カメラシステム１００は、カメラ１１０およびプロセッサ１２０を備える。車載カメラシステム１００は、「遠方」を検出する。検出対象となる「遠方」は、消失点と捉えてもよいが、厳密な意味での消失点に限定されるものでななく、それが搭載される車両が向かう遠方を検出する。
【００１４】
カメラ１１０は、車両前方を撮影する。プロセッサ１２０は、カメラ１１０の出力画像ＩＭＧを受け、車両の遠方を検出する。
【００１５】
プロセッサ１２０は、ＣＰＵ（Central Processing Unit）、ＧＰＧＰＵ（General Purpose Graphic Processor Unit）、ＤＳＰ（Digital Signal Processor）などを含んでおり、プログラムによりソフトウェア制御可能な汎用的なマイコンであってもよいし、ＡＩチップのような専用のハードウェアであってもよい。
【００１６】
プロセッサ１２０は、分割処理部１２２、複数の判定部１２４＿１〜１２４＿Ｎ、決定部１２６を備える。プロセッサ１２０を構成する複数のブロックは、一実施例において、ソフトウェアとプロセッサの組み合わせにより実現される機能を表しており、あるいは一実施例において、ハードウェアで実装された回路ブロックを表している。
【００１７】
分割処理部１２２は、車両前方を撮影した画像ＩＭＧを、水平方向に複数の領域ＲＧＮ１〜ＲＧＮＮに分割する。
【００１８】
複数の領域ＲＧＮ１〜ＲＧＮＮの画像データは、複数の判定部１２４＿１〜１２４＿Ｎに入力される。複数の判定部１２４は、ニューラルネットワークで構成され機械学習にもとづいて実装される識別器である。たとえば複数の判定部１２４は、隠れ層が多層化された深層学習（Deep Learning）のアーキテクチャで構成することができる。事前の学習では、遠方を含む（あるいは含まない）さまざまな画像を教師データ（訓練データ）として用意し、学習器に読み込ませることで、学習モデル（予測モデル）が生成される。判定部１２４はこうして得られた学習モデルにもとづいて設計される。教師データとしては、以下のようなものを用いるとよい。
・遠方が写っている画像で、遠方に先行車や対向車が位置している。
・遠方が写っている画像で、遠方に街路灯などが集中している。
・遠方が写っている画像で、白線が明瞭に写っている。
・近傍に明るい照明が多数存在し、または壁面が遠方まで続き、近傍が明瞭に見えており、遠方が暗いもの。
【００１９】
反対に、以下のような画像は教師データから除外してもよい。
・近傍に先行車が存在し、遠方が写っていない画像
・近傍に明るい照明が多数存在し、または壁面が遠方まで続き、近傍が明瞭に見えており、遠方も明るい画像
・車両が近傍から遠方まで連なっている
・車両が左右端両方に存在している
【００２０】
分割数Ｎを大きくしすぎると、遠方の位置検出の解像度が高まるが、１領域に含まれる情報量が減るため、判定部１２４の正解率が低下するかもしれない。反対に分割数Ｎを小さくしすぎると、１領域に含まれる情報量が増えるため、判定部１２４の正解率が高まるが、遠方の位置検出の解像度が低下する。画像の分割数Ｎは、３〜１６程度とすることが望ましい。
【００２１】
車載カメラシステムのチューニングのために、分割数Ｎや複数の領域のサイズを変更することが想定される。分割される領域ＲＧＮと、機械学習に用いる教師データのサイズを同じにしておくと、領域ＲＧＮのサイズを代えた場合に、過去の学習データを流用すると精度が低下するおそれがある。一方で、分割数を変更した後に学習をやり直すには、教師データを作り直すなどの膨大な作業が必要となる。
【００２２】
再学習が必要となるケースとして、分割数Ｎを増加した結果、教師データの１枚の画像に、検出対象（すなわち遠方）の一部のみが含まれる場合が挙げられる。この問題を解決するために、学習器に教師データとして与える画像データに工夫をこらすとよい。図２は、教師データの一例を示す図である。教師データａ〜ｅはそれぞれ、複数の領域ＲＧＮのうち２以上に跨がるサイズを有する。こうすることで、複数の教師データａ〜ｅのうち、少なくとも一枚は、領域ＲＧＮのサイズ（分割数Ｎ）によらずに、検出対象である遠方をすべて含むことができる。これにより、チューニングを行った場合の最学習を減らすことができ、あるいは無くすことができる。
【００２３】
図１に戻る。判定部１２４＿ｉ（ｉ＝１，２…，Ｎ）は、対応する領域ＲＧＮｉの画像データを受け、それに遠方が含まれるか否かを判定する。複数の判定部１２４＿ｉの出力である判定値ＤＶｉは、遠方が含まれるか否かを示す２値であってもよいし、あるいは含まれる確率を示す多値であってもよい。以下では、領域ＲＧＮｉに遠方が含まれるとき、判定値ＤＶｉは１を、含まれないとき、判定値ＤＶｉは０とるものとする。複数の領域ＲＧＮのサイズは同じであってもよいし、異なっていてもよい。
【００２４】
なお、複数の判定部１２４＿１〜１２４＿Ｎは、必ずしも並列処理を表すものではなく、複数の領域ＲＧＮ１〜ＲＧＮＮを時分割で処理してもよい。
【００２５】
決定部１２６は、複数の判定値ＤＶ１〜ＤＶＮを受け、遠方の位置情報を示すデータＤＰを生成する。たとえばデータＤＰは、遠方が含まれる領域ＲＧＮｊを示してもよい。
【００２６】
以上が車載カメラシステム１００の構成である。続いて遠方の検出処理を説明する。図３（ａ）、（ｂ）は、異なる走行シーンで撮影される車両前方の画像データＩＭＧの例を示す図である。これらの例では、画像ＩＭＧがＮ＝５の領域に分割されている。図３（ａ）の例では、消失点Ｐは領域ＲＧＮ３に含まれている。したがって判定値ＤＶ３が値１をとり、残りの判定値ＤＶ１，ＤＶ２，ＤＶ４，ＤＶ５は０をとる。したがって決定部１２６は、領域ＲＧＮ３に遠方が含まれると判定することができる。判定値ＤＶが示すのは、あくまでも、対応する領域に遠方が含まれるか否かの情報であり、領域内のどこに遠方が含まれるかは示していない。
【００２７】
図３（ｂ）の例では、消失点Ｐは領域ＲＧＮ４に含まれている。したがって判定値ＤＶ４が値１をとり、残りの判定値ＤＶ１，ＤＶ２，ＤＶ３，ＤＶ５は０をとる。したがって決定部１２６は、領域ＲＧＮ３に遠方が含まれると判定することができる。
【００２８】
図４（ａ）、（ｂ）は、異なる走行シーンで撮影される車両前方の画像データＩＭＧの例を示す図である。ここでは分割数Ｎ＝６としている。複数の判定部１２４は独立に処理を行うため、複数の判定値が同時に１となる場合もある。図４（ａ）の例では、消失点Ｐは、領域ＲＧＮ３とＲＧＮ４の境界の近傍に位置しており、領域ＲＧＮ３、ＲＧＮ４の判定値が１となり、残りが０となっている。このような場合、決定部１２６は、ＲＧＮ３とＲＧＮ４の境界を遠方と判定してもよい。図４（ｂ）のように、３つの領域ＲＧＮ３〜ＲＧＮ６の判定値が１となった場合、決定部１２６は、中央の領域ＲＧＮ５に遠方が存在するものと判定してもよい。
【００２９】
判定値ＤＶが、確率を表す多値で与えられる場合（２値の場合も含む）、決定部１２６は、遠方の位置Ｘを重み付けで決定してもよい。ｉは領域の番号を示す。
Ｘ＝Σｉ＝１：Ｎ（ＤＶｉ×ｉ）／（Σｉ＝１：ＮＤＶｉ）
【００３０】
座標軸の取り方は特に限定されないが、たとえばＸ＝ｊを、領域ＲＧＮｊのセンターに対応付けてもよい。具体的にはＸ＝２は、遠方が領域ＲＧＮ２のセンターに位置することを示し、Ｘ＝２．５は、遠方が領域ＲＧＮ２とＲＧＮ３の境界に位置することを示してもよい。
【００３１】
図５は、車載カメラシステム１００における遠方検出のフローチャートである。カメラ１１０によって車両前方の画像を撮影する（Ｓ１００）。そして、画像を複数の領域に分割する（Ｓ１０２）。複数の領域それぞれについて、遠方を含むか否かを判定する（Ｓ１０４）。領域毎の判定結果を統合し、遠方の位置を決定する（Ｓ１０６）。
【００３２】
以上が車載カメラシステム１００の動作である。
【００３３】
深層学習を用いたシステムにおける画像認識では、カメラから得られた画像ＩＭＧにおける対象物（ここでは遠方）の位置を検出しようとすると、ハードウェアの規模が大きくなり、またソフト構築の難易度が高まる。ローカルでの処理が難しい場合には、クラウド上に判定器を設けることとなり、通信設備の追加によるコスト増や、通信による遅延に起因してリアルタイム性が低下するかもしれない。
【００３４】
これに対して本実施の形態によれば、画像を複数の領域に分割し、領域毎に対象が存在する・しないの２値問題に置き換えることで、ローカルのプロセッサのマシンパワーで、遠方の位置情報を得ることができる。
【００３５】
上述の車載カメラシステム１００は、特に車両用灯具に好適に用いることができる。図６は、実施の形態に係る車両用灯具２００のブロック図である。車両用灯具２００は、上述の車載カメラシステム１００に加えて、配光パターン生成部２１０および配光可変ランプ２２０を備える。
【００３６】
配光可変ランプ２２０は、公知技術あるいは将来利用可能な技術を用いればよい。たとえば、配光可変ランプ２２０はアレイ方式やスキャン方式などが提案されている。アレイ方式のランプは、アレイ状に配置された複数の半導体光源を備え、複数の半導体光源それぞれのオン、オフあるいは輝度を制御する。スキャン方式のランプは、半導体光源と、半導体光源の出射光を車両前方で走査するスキャン光学系を備え、スキャンの動作と同期して、半導体光源のオン、オフや輝度を制御する。
【００３７】
配光パターン生成部２１０には、カメラ１１０によって撮影された画像ＩＭＧに加えて、車載カメラシステム１００によって検出された遠方の情報が供給される。配光パターン生成部２１０に入力する画像データＩＭＧは、カメラ１１０とは別のカメラによって撮影してもよい。
【００３８】
配光パターン生成部２１０は、遠方の情報ＤＰを活用しながら、配光パターンＰＡＴを生成する。配光パターン生成部２１０は、画像処理によって、画像ＩＭＧから、先行車、対向車、歩行者、標識などのオブジェクト（物標）を検出し、遮光領域（あるいは減光領域）と照射領域の組み合わせからなる配光パターンＰＡＴを生成する。遠方の情報ＤＰは、物標検出に、補助的にあるいは積極的に用いることができる。たとえば遠方の位置を知ることで、遠方の車両（オブジェクト）と道路照明を精度よく区別することができる。また遠方は、対向車が発生するポイントであるから、遠方が分かっていれば、対向車をいち早く検出することができる。
【００３９】
配光パターン生成部２１０は、車載カメラシステム１００のプロセッサ１２０と別のプロセッサに実装してもよいし、同一のプロセッサに実装してもよい。
【００４０】
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
【符号の説明】
【００４１】
１００  車載カメラシステム
１１０  カメラ
１２０  プロセッサ
１２２  分割処理部
１２４  判定部
１２６  決定部
２００  車両用灯具
２１０  配光パターン生成部
２２０  配光可変ランプ
【産業上の利用可能性】
【００４２】
本発明は、車載カメラシステムに関する。
【図１】
2019146514.tif 000003
【図２】
2019146514.tif 000004
【図３】
2019146514.tif 000005
【図４】
2019146514.tif 000006
【図５】
2019146514.tif 000007
【図６】
2019146514.tif 000008
【国際調査報告】
2019146514.tif 000009
2019146514.tif 000010
2019146514.tif 000011
2019146514.tif 000012