(57)【要約】      （修正有）【課題】周囲の状況に合わせて適切な点灯制御を行うことができるオートライト装置を提供する。【解決手段】オートライト装置１は、車両の周辺を撮像するカメラ１０と、カメラ１０にて撮像した画像に対してセグメンテーション識別を行うセグメンテーション識別器１３と、セグメンテーション識別器１３にて空の領域が検出された場合に、空の領域の明るさに基づいて、車両に搭載されたライト１２の点灯または消灯を判定する点灯判定部１４と、点灯判定部１４による判定結果に基づいて点灯または消灯するライト１２とを備える。【選択図】図１
2019026173.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮像するカメラ（１０）と、
前記カメラ（１０）にて撮像した画像に対してセグメンテーション識別を行うセグメンテーション識別器（１３）と、
前記セグメンテーション識別器（１３）にて空の領域が検出された場合に、前記空の領域の明るさに基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定する点灯判定部（１４）と、
前記点灯判定部（１４）による判定結果に基づいて点灯または消灯するライト（１２）と、
を備えるオートライト装置。
【請求項２】
前記点灯判定部（１４）は、前記セグメンテーション識別器（１３）にて空の領域が検出されなかった場合に、前記画像の所定の領域または全部の領域の明るさに基づいて前記ライト（１２）の点灯または消灯を判定する請求項１に記載のオートライト装置。
【請求項３】
前記セグメンテーション識別器（１３）は、車両周辺を撮像した大量の画像と当該画像のセグメンテーションラベルの正解値を学習データとして学習を行った学習済みモデル（１５）を用いて、撮像された画像のセグメンテーション識別を行う請求項１または２に記載のオートライト装置。
【請求項４】
車両の周辺を撮像するカメラ（１０）と、
前記カメラ（１０）にて撮像した画像に基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定する点灯判定部（１４）であって、前記撮像した画像に空が映っていないときに、前記画像の所定の領域または全部の領域の明るさに基づいてライト（１２）の点灯または消灯を判定する点灯判定部（１４）と、
前記点灯判定部（１４）による判定結果に基づいて点灯または消灯するライト（１２）と、
を備えるオートライト装置。
【請求項５】
車両の周辺を撮像するカメラ（１０）と、
前記カメラ（１０）にて撮像した画像に基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定する点灯判定部（１４）であって、前記撮像した画像に所定時間にわたって空が映っていないときにライト（１２）を点灯すると判定する点灯判定部（１４）と、
前記点灯判定部（１４）による判定結果に基づいて点灯または消灯するライト（１２）と、
を備えるオートライト装置。
【請求項６】
カメラ（１０）によって車両の周辺を撮像するステップと、
撮像された画像に対して、セグメンテーション識別器（１３）によってセグメンテーション識別を行うステップと、
前記セグメンテーション識別器（１３）にて空の領域が検出された場合に、前記空の領域の明るさに基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定するステップと、
前記判定の結果に基づいて、ライト（１２）を点灯または消灯させるステップと、
を備える点灯制御方法。
【請求項７】
カメラ（１０）によって車両の周辺を撮像するステップと、
撮像された画像に基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定するステップであって、前記撮像された画像に空が映っていないときに、前記画像の所定の領域または全部の領域の明るさに基づいてライト（１２）の点灯または消灯を判定するステップと、
前記判定の結果に基づいてライト（１２）を点灯または消灯させるステップと、
を備える点灯制御方法。
【請求項８】
カメラ（１０）によって車両の周辺を撮像するステップと、
前記撮像された画像に基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定するステップであって、前記撮像された画像に所定時間にわたって空が映っていないときにライト（１２）を点灯すると判定するステップと、
前記判定の結果に基づいてライト（１２）を点灯または消灯させるステップと、
を備える点灯制御方法。
【請求項９】
車両に搭載されたライト（１２）の点灯または消灯を制御するためのプログラムであって、コンピュータに、
カメラ（１０）によって撮像された車両の周辺の画像を取得するステップと、
撮像された画像に対して、セグメンテーション識別器（１３）によってセグメンテーション識別を行うステップと、
前記セグメンテーション識別器（１３）にて空の領域が検出された場合に、前記空の領域の明るさに基づいて、前記ライト（１２）の点灯または消灯を判定するステップと、
前記判定の結果に基づいて、ライト（１２）を点灯または消灯させるステップと、
を実行させるプログラム。
【請求項１０】
車両に搭載されたライト（１２）の点灯または消灯を制御するためのプログラムであって、コンピュータに、
カメラ（１０）によって撮像された車両の周辺の画像を取得するステップと、
撮像された画像に基づいて、前記ライト（１２）の点灯または消灯を判定するステップであって、前記撮像された画像に空が映っていないときに、前記画像の所定の領域または全部の領域の明るさに基づいてライト（１２）の点灯または消灯を判定するステップと、
前記判定の結果に基づいてライト（１２）を点灯または消灯させるステップと、
を実行させるプログラム。
【請求項１１】
車両に搭載されたライト（１２）の点灯または消灯を制御するためのプログラムであって、コンピュータに、
カメラ（１０）によって撮像された車両の周辺の画像を取得するステップと、
前記撮像された画像に基づいて、前記ライト（１２）の点灯または消灯を判定するステップであって、前記撮像された画像に所定時間にわたって空が映っていないときにライト（１２）を点灯すると判定するステップと、
前記判定の結果に基づいてライト（１２）を点灯または消灯させるステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オートライト装置、点灯制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から、自動車のライト類（灯火類）を周囲の明るさに応じて自動的に点灯・消灯するオートライト装置が提案されている。従来のオートライト装置は、周囲の明るさを検知する手段として照度センサを使用している。特許文献１は、リヤウィンドウガラスの下に配置された受光センサによって照度を検出し、照度に基づいて、オートライト装置を制御する。
【０００３】
また、自動車に搭載されたカメラにて撮影した画像に基づいて制御を行うオートライト装置も知られている。特許文献２は、撮像手段によって撮像した自車前方の画像に基づいて、運転者が見ている自車前方の明るさを認識し、その明るさに基づいてライト類を点灯または消灯する制御を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−８６２６８号公報
【特許文献２】特開２０１０−６１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された照度センサを用いたオートライト装置は、自車の前方を見て運転する運転者が感じる明るさと、照度センサが検出する明るさとが異なることがあった。この差異に起因して、ライトを点灯する必要のないときに点灯してしまったり、ライトを点灯すべきときに点灯しないといった不都合が生じる場合があった。
【０００６】
また、特許文献２のように画像に基づいて自車前方の明るさを認識する方式は、例えば、黒に近い建物や山肌が画像内にあると、実際には明るいにもかかわらず、周囲が暗いと誤判定して、ライトを点灯してしまうことがあった。
【０００７】
本発明は、上記背景に鑑み、周囲の状況に合わせて適切な点灯制御を行うことができるオートライト装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。
【０００９】
本発明のオートライト装置（１）は、車両の周辺を撮像するカメラ（１０）と、前記カメラ（１０）にて撮像した画像に対してセグメンテーション識別を行うセグメンテーション識別器（１３）と、前記セグメンテーション識別器（１３）にて空の領域が検出された場合に、前記空の領域の明るさに基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定する点灯判定部（１４）と、前記点灯判定部（１４）による判定結果に基づいて点灯または消灯するライト（１２）とを備える。
【００１０】
このように画像に空が写っている場合には空の領域の画像の明るさに基づいてライトの点灯または消灯を判定することで、障害物等によらずに、適切にライトの点灯制御を行うことができる。
【００１１】
本発明のオートライト装置（１）において、前記点灯判定部（１４）は、前記セグメンテーション識別器（１３）にて空の領域が検出されなかった場合に、前記画像の所定の領域または全部の領域の明るさに基づいて前記ライト（１２）の点灯または消灯を判定してもよい。
【００１２】
この構成により、空の領域が検出されなかった場合であっても、車両の周辺が十分に明るい場合にはライトを点灯しないという制御を行うことができる。例えば、屋内の駐車場においては、撮像画像に空は写らないがライトを点灯しなくてもよい場合があり、このような場合にも、ライトの点灯または消灯を適切に制御することができる。
【００１３】
本発明のオートライト装置（１）において、前記セグメンテーション識別器（１３）は、車両周辺を撮像した大量の画像と当該画像のセグメンテーションラベルの正解値を学習データとして学習を行った学習済みモデル（１５）を用いて、撮像された画像のセグメンテーション識別を行ってもよい。この構成により、画像の中から、空の領域を適切に検出することができる。
【００１４】
本発明のオートライト装置は、車両の周辺を撮像するカメラ（１０）と、前記カメラ（１０）にて撮像した画像に基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定する点灯判定部（１４）であって、前記撮像した画像に空が映っていないときに、前記画像の所定の領域または全部の領域の明るさに基づいてライト（１２）の点灯または消灯を判定する点灯判定部（１４）と、前記点灯判定部（１４）による判定結果に基づいて点灯または消灯するライト（１２）とを備える。
【００１５】
本発明のオートライト装置は、車両の周辺を撮像するカメラ（１０）と、前記カメラ（１０）にて撮像した画像に基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定する点灯判定部（１４）であって、前記撮像した画像に所定時間にわたって空が映っていないときにライト（１２）を点灯すると判定する点灯判定部（１４）と、前記点灯判定部（１４）による判定結果に基づいて点灯または消灯するライト（１２）とを備える。
【００１６】
本発明の点灯制御方法は、カメラ（１０）によって車両の周辺を撮像するステップと、撮像された画像に対して、セグメンテーション識別器（１３）によってセグメンテーション識別を行うステップと、前記セグメンテーション識別器（１３）にて空の領域が検出された場合に、前記空の領域の明るさに基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定するステップと、前記判定の結果に基づいて、ライト（１２）を点灯または消灯させるステップとを備える。
【００１７】
本発明の点灯制御方法は、カメラ（１０）によって車両の周辺を撮像するステップと、撮像された画像に基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定するステップであって、前記撮像された画像に空が映っていないときに、前記画像の所定の領域または全部の領域の明るさに基づいてライト（１２）の点灯または消灯を判定するステップと、前記判定の結果に基づいてライト（１２）を点灯または消灯させるステップとを備える。
【００１８】
本発明の点灯制御方法は、カメラ（１０）によって車両の周辺を撮像するステップと、前記撮像された画像に基づいて、前記車両に搭載されたライト（１２）の点灯または消灯を判定するステップであって、前記撮像された画像に所定時間にわたって空が映っていないときにライト（１２）を点灯すると判定するステップと、前記判定の結果に基づいてライト（１２）を点灯または消灯させるステップとを備える。
【００１９】
本発明のプログラムは、上記した点灯制御方法の各ステップをコンピュータに実行させるプログラムである。
【発明の効果】
【００２０】
本発明のオートライト装置は、適切にライトの点灯制御を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施の形態のオートライト装置の構成を示す図である。
【図２】セグメンテーション識別器にて用いる学習済みモデルを生成する動作を示すフローチャートである。
【図３】第１の実施の形態のオートライト装置の動作を示すフローチャートである。
【図４】（ａ）従来技術において明るさを検出するための領域の例を示す図である。（ｂ）本実施の形態のオートライト装置によって検出された空の領域の例を示す図である。
【図５】第２の実施の形態のオートライト装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態のオートライト装置について図面を参照しながら説明する。
（第１の実施の形態）
図１は、第１の実施の形態のオートライト装置１の構成を示す図である。オートライト装置１は、車両のライト１２を周辺の明るさの状況に応じて点灯または消灯させる装置である。制御の対象となるライト１２は、車両に搭載されたライトであり、例えば、ヘッドライト、スモールライト、ナンバー灯等であるが、これらに限定されるものではない。
【００２３】
オートライト装置１は、車両の前方または周辺を撮像するカメラ１０と、カメラ１０にて撮像された画像に基づいてライト１２の点灯または消灯の制御を行う制御部１１と、ライト１２とを備えている。
【００２４】
制御部１１は、セグメンテーション識別器１３と点灯判定部１４とを有している。セグメンテーション識別器１３は、カメラ１０にて撮像された画像に対して意味的なセグメンテーションを行い、画像の中にある空の領域を推定する機能を有する。セグメンテーション識別器１３は、機械学習によって生成された学習済みモデルを用いて、撮像された画像の中から空の領域を推定する。オートライト装置１は、学習済みモデルを記憶した学習済みモデル記憶部１５を有している。
【００２５】
図２は、学習済みモデルの生成の仕方を示すフローチャートである。学習済みモデルの生成にあたっては、学習に用いるための教師データを準備しておく。教師データは、大量の画像と各画像に付与されたセグメンテーションラベルの正解値のデータである。
【００２６】
学習を行うための装置（以下、「学習装置」という。）は、まず、教師データである大量の画像の中から処理対象の画像を取得し（Ｓ１０）、当該画像に対応するセグメンテーションラベルの正解値を入力する（Ｓ１１）。次に、学習装置は、入力された画像およびセグメンテーションラベルの正解値のデータを用いて、モデルパラメータを更新する（Ｓ１２）。学習装置は、学習を終了するかどうかを判定し（Ｓ１３）、学習を終了しないと判定された場合には（Ｓ１３でＮＯ）、別の教師データ（画像、セグメンテーションラベルの正解値）を入力するステップに戻る。学習を終了すると判定された場合には（Ｓ１３でＹＥＳ）、学習済みモデルの生成を終了する。
【００２７】
図１に戻って、点灯判定部１４は、セグメンテーション識別器１３にて求めた結果に基づいてライト１２を点灯させるか消灯させるかを判定する。点灯判定部１４の機能については、次に説明するオートライト装置１の動作の中で説明する。
【００２８】
図３は、オートライト装置１が行うライト１２の点灯または消灯の動作を示すフローチャートである。オートライト装置１は、まず、カメラ１０を用いて車両の周辺を撮像して画像を取得する（Ｓ２０）。次に、セグメンテーション識別器１３が、取得した画像を学習済みモデルに適用してセグメンテーション識別を行う（Ｓ２１）。
【００２９】
その結果、撮像された画像に空の領域がある場合には（Ｓ２２でＹＥＳ）、点灯判定部１４は、空の領域の画像の明るさが第１閾値以上であるか否かを判定する（Ｓ２３）。なお、画像内に空と識別される領域が少しでも存在するときに空の領域があると判定してもよいが、本実施の形態では、空の領域が所定の大きさ以上の場合に空の領域があると判定することとする。これにより、遠くの方にわずかだけ空の領域が見えているような場合を除くことができる。
【００３０】
空の領域の画像の明るさが第１閾値以上である場合には（Ｓ２３でＹＥＳ）、点灯判定部１４は、ライト１２を消灯すると判定し、ライト１２に消灯指示信号を出して消灯させる（Ｓ２５）。なお、ライト１２が消灯している状態では、消灯指示信号を出す必要はない。空の領域の画像の明るさが第１閾値以上ではない場合には（Ｓ２３でＮＯ）、点灯判定部１４は、ライト１２を点灯すると判定し、ライト１２に点灯指示信号を出して点灯させる（Ｓ２６）。なお、ライト１２が点灯している状態では、点灯指示信号を出す必要はない。
【００３１】
撮像された画像に空の領域があるか否かの判定（Ｓ２２）において、空の領域がないと判定された場合には（Ｓ２２でＮＯ）、画像内の所定領域の明るさが第２閾値以上であるか否かを判定する（Ｓ２４）。ここで、所定領域は、運転中の運転者が頻繁に見る領域であることが望ましい。例えば、画像の中央付近で消失点より下の領域とあらかじめ決めておく。所定領域の明るさが第２の閾値以上の場合には（Ｓ２４でＹＥＳ）、点灯判定部１４はライト１２を消灯すると判定し、ライト１２に消灯指示信号を出して消灯させる（Ｓ２５）。所定領域の明るさが第２の閾値以上でない場合には（Ｓ２４でＮＯ）、点灯判定部１４はライト１２を点灯すると判定し、ライト１２に点灯指示信号を出して点灯させる（Ｓ２６）。なお、本実施の形態では、空の領域がないと判定された場合に（Ｓ２２）、ライト１２の点灯制御を画像内の一部の領域の明るさに基づいて行う例を挙げたが、画像の全領域の明るさに基づいて点灯制御を行うことも可能である。
【００３２】
以上に説明したオートライト装置１の動作を実現する制御部１１の機能は、電子制御ユニット（ＥＣＵ）にてプログラムを実行することによって実現される。このようなプログラムも本発明の範囲に含まれる。
【００３３】
図４（ａ）は従来のオートライト装置によって明るさを検出するための領域の例を示す図であり、図４（ｂ）は、本実施の形態のオートライト装置１によって検出された空の領域の例を示す図である。図４（ａ）に示すように、従来のオートライト装置１では、画像の上方の領域Ｒ１の明るさに基づいて、オートライト装置の制御を行っていた。このため、この領域Ｒ１に橋梁物等が写り込んだ場合には、実際には十分に明るい場合であっても領域Ｒ１だけは暗くなり、誤ってライト１２が点灯してしまうことがあった。このような場合、ドライバが予想もしないときにライト１２が点灯して困惑し、また、周りの自動車も迷惑するおそれがあった。
【００３４】
これに対し、本実施の形態のオートライト装置１は、セグメンテーション識別器１３によって図４（ｂ）に示すように空の領域Ｒ２〜Ｒ４を検出し、当該空の領域の明るさに基づいてライト１２の点灯または消灯を制御するので、橋梁物が存在するといった状況に惑わされることなく、適切にライト１２の点灯または消灯を制御することができる。
【００３５】
（第２の実施の形態）
次に、第２の実施の形態のオートライト装置について説明する。第２の実施の形態のオートライト装置の基本的な構成は、第１の実施の形態のオートライト装置１と同じであるが（図１参照）、第２の実施の形態のオートライト装置は、撮像画像内に空の領域が検出されなかったときの処理が第１の実施の形態とは異なる。
【００３６】
図５は、第２の実施の形態のオートライト装置の動作を示すフローチャートである。カメラ１０にて撮像した画像を取得し（Ｓ３０）、撮像画像のセグメンテーション識別を行って（Ｓ３１）、空の領域があるかを判定すること（Ｓ３２）、及び、空の領域があるときの処理（Ｓ３３、Ｓ３５、Ｓ３６）は、第１の実施の形態のオートライト装置１と同じである。
【００３７】
第２の実施の形態のオートライト装置では、空の領域が検出されなかったときに、点灯判定部１４は、空の領域が検出されなかった時間が所定時間継続したか否かを判定する（Ｓ３４）。この判定の結果、まだ所定時間継続していないときには（Ｓ３４でＮＯ）、オートライト装置の動作は、画像を取得するステップＳ３０に戻る。所定時間継続して空の領域が検出されなかった場合には（Ｓ３４でＹＥＳ）、点灯判定部１４はライト１２を点灯すると判定し、ライト１２に点灯指示信号を送信して点灯させる（Ｓ３６）。
【００３８】
ここで、所定時間は、例えば、１秒〜１０秒である。ノイズ等を低減させて画像処理の精度を高めるために複数のフレームのセグメンテーション識別の結果を積算する場合があるが、本実施の形態における所定時間は、それよりも長いものである。所定時間にわたって空の領域が検出されない状態は、例えば、橋梁物の下を一時的にくぐったりしたのとは異なり、屋内の駐車場やトンネルに入った状況や、高い樹木の間を走行している状況等が考えられる。第２の実施の形態では、このような状況において適切にライト１２を点灯する処理を行うことができる。
【００３９】
以上、本発明のオートライト装置、及び点灯制御方法について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００４０】
上記した実施の形態においては、撮像画像中から空の領域が検出されたときには、空の領域の画像の明るさが第１閾値以上であるかを判定し、その結果に基づいてライト１２の点灯または消灯を制御する例を挙げたが、空の領域が検出されたときには、ライト１２を消灯するようにしてもよい。
【００４１】
本発明のオートライト装置は、上記した実施の形態のオートライト装置の制御に加え、時刻の情報を用いて制御してもよい。例えば、ネットワークを介して所定のサーバから日没の時刻の情報を取得し、現在時刻が日没の時刻の１時間より前であるときに、上記した実施の形態の方法によってオートライト装置を制御し、日没の時刻まで１時間を切ったときには強制的にライトを点灯するようにしてもよい。
【００４２】
また、本発明のオートライト装置は、上記した実施の形態のオートライト装置の制御に加え、方位の情報を用いて制御してもよい。例えば、車両が南向きに進行しているときと北向きに進行しているときとで、明るさの判定に用いる第１閾値及び第２閾値の値を変えてもよい。
【符号の説明】
【００４３】
１０・・・カメラ、１１・・・制御部、１２・・・ライト、
１３・・・セグメンテーション識別器、１４・・・点灯判定部、
１５・・・学習済みモデル
【図１】
2019026173.tif 000003
【図２】
2019026173.tif 000004
【図３】
2019026173.tif 000005
【図４】
2019026173.tif 000006
【図５】
2019026173.tif 000007