(57)【要約】【課題】  車両の自動照明装置に於いて、運転者が照明灯を点灯又は消灯する運転シーンを認識して、その認識された運転シーンに応じて照明灯を点灯又は消灯し、運転者ができるだけ違和感を覚えないように自動照明制御を実行すること。【解決手段】  本発明の装置は、車両の周囲の画像に基づいて車両の照明機器の点灯・消灯状態を制御する。照明機器の状態制御に於いては、運転者の操作により照明機器の点灯・消灯状態が設定されるときの画像と運転者の操作により設定された照明機器の点灯・消灯状態とを学習データとして用いて、学習データに於ける画像が入力されるとそのときの状態を出力するように機械学習モデルのアルゴリズムに従って学習する識別手段によって、撮像手段により撮像された画像に対して出力された点灯・消灯状態に照明機器を設定する。【選択図】        図１
2020179739.tif 000002
【特許請求の範囲】
【請求項１】
車両の照明制御装置であって、
車両の周囲の少なくとも一部を撮像する撮像手段と、
前記車両の運転者によって操作可能な前記車両の照明機器の点灯・消灯状態を設定する照明機器状態設定手段と
前記撮像手段により撮像された画像に基づいて前記車両の照明機器の点灯・消灯状態を制御する照明機器状態制御手段と、
を含み、
前記照明機器状態制御手段が、前記運転者の前記照明機器設定手段の操作により前記照明機器の点灯・消灯状態が設定されるときの前記撮像手段により撮像された画像である学習用画像と前記運転者の操作により設定された前記照明機器の点灯・消灯状態である正解状態とを学習データとして用いて、前記学習データに於ける前記学習用画像が入力されると前記正解状態を出力するように機械学習モデルのアルゴリズムに従って学習する識別手段を含み、前記撮像手段により撮像された画像に対して前記識別手段の出力した点灯・消灯状態に前記照明機器を設定する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車等の車両の照明制御装置に係り、より詳細には、車両の前照灯、尾灯等の車両の周囲を照明する照明機器（ライト類、灯火類）を自動的に点灯又は消灯する照明制御装置に係る。
【背景技術】
【０００２】
自動車等の車両の運転者の運転操作負担を軽減するための一つの手段として、車両の前照灯、尾灯等の車両の周囲を照明する照明機器を自動的に点灯又は消灯する構成（自動照明装置）が種々提案され、実用化されている。かかる自動照明装置に於いては、従来では、簡単には、車両周囲の明るさを検知する照度センサが車体の任意の部位に設けられ、照度センサが検知する照度が閾値よりも低下すると、照明機器が点灯され、照度センサが検知する照度が閾値を上回ると、照明機器が消灯されるといった構成が採用されていた。また、例えば、特許文献１では、カメラ等の撮像手段により撮像した自車前方の画像に基づいて、自車前方の明るさを認識し、その明るさに基づいて、照明機器の点灯及び消灯の制御を行う構成が提案されている。特許文献２に於いては、照度センサにより検出された車両上方の照度と、カメラに撮影された光源領域の車両前方の光源量と暗部領域の暗部量とをそれぞれ対応する閾値と比較し、比較結果に基づいて、前照灯の点灯と消灯の切り替え制御及び点灯時のロービームとハイビームの切り替え制御を行う構成が提案されている。かかる構成に於いては、自動的な切り替え制御中に運転者によるマニュアル操作があると、その時点での照度と光源量と暗部量とそれぞれの閾値との差分量が調整可能範囲内であるときには、それぞれの閾値がマニュアル操作のあったときの検出値に更新されるようになっている（学習）。特許文献３では、前照灯の照射状態の自動切換え制御に於いて、照射状態の切換えがマニュアル操作で行われた際の車速、照度、舵角、天候の検出結果に基づいて、ロービーム状態とハイビーム状態との切換判定用の閾値（車速閾値、照度閾値、舵角閾値、天候閾値）の学習を行って記録し、それらの閾値によって自動的な照射状態の切換えを行う構成が開示されている。特許文献４では、車両周囲を撮像するカメラ画像に於いて、自車の車体の一部を映り込ませて、その映り込んだ車体の一部の像の輝度から照度を取得し、取得した照度に基づき車両の点灯状態を制御する構成が開示されている。そして、特許文献５では、車載カメラによって撮像された画像のぼけ度合いによって霧または雨の有無を判定し、霧であると判定された場合に、フォグランプを点灯させる構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６１７２
【特許文献２】特開２０１４−１２４９４
【特許文献３】特開２００７−３０８０１２
【特許文献４】特開２０１８−１０３７５６
【特許文献５】特開２００６−３４９６３７
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実際の車両の運転中に於いては、運転者は、車両の前方をシーンとして認識して照明灯の点灯・消灯を実行するので、上記の如く自動的に車両の照明灯の点灯・消灯等を制御する自動照明制御の構成に於いて、車両の周囲の明るさだけに応じて点灯・消灯の切換制御を行うようになっている場合には、例えば、トンネル通行時などに、運転者は、自動照明制御の作動に対して違和感を覚えてしまうことがある。そして、自動照明制御による点灯又は消灯のタイミングが運転者の感覚に対して早過ぎたり遅過ぎたりする場合、運転者は、自動照明制御の作動を解除し、手動にて照明灯の点灯・消灯を実行することとなるであろう。その場合、再び自動照明制御による照明灯の点灯・消灯を実行しようするときには、運転者は、自動照明制御を復帰するための操作を行う必要があり、自動的な制御にもかかわらず、操作数が増加してしまうこととなる。この点に関し、例えば、上記の特許文献２、３のように、運転者が手動で照明灯の点灯・消灯操作をした際の前方照度や車両の状態量を照明灯の点灯・消灯の切換のための閾値として記憶しておき、その後、同様の状況においては記憶された閾値に基づいて照明灯の点灯・消灯を制御するようにして、操作数を増やすことなく自動照明制御の作動を運転者の好みに適合させる試みも為されているところ、実際の運転シーンは、トンネルの入り口や空が障害物に隠れている場合など、多様で複雑であり、また、運転者毎に照明灯の点灯・消灯に対する傾向や好みも異なり得るので、前方照度、画像内の輝度値、車両の状態量等の各値に対して閾値を定め、各値が閾値を超えるか否かを判定することにより照明灯の点灯・消灯を決定する構成では、運転者の好みに適合するように照明灯を点灯又は消灯することは極めて困難である。既に述べた如く、実際の車両の運転に於いては、運転者は、車両の前方をシーンとして認識して照明灯の点灯・消灯を実行するので、自動照明制御に於いても、車両周囲又は前方の明るさや天気などの独立した情報を個々に判定するのではなく、運転者が照明灯を点灯又は消灯する車両の走行状況、即ち、運転シーンを認識し、それに基づいて照明灯の状態が決定されるようになっていれば、複雑な運転状況においてもロバストで運転者の好みに最適化した照明灯の点灯・消灯が達成できると期待される。
【０００５】
かくして、本発明の一つの課題は、自動車等の車両の自動照明装置に於いて、運転者が照明灯を点灯又は消灯する運転シーンを認識して、その認識された運転シーンに応じて照明灯を点灯又は消灯し、運転者ができるだけ違和感を覚えないように自動照明制御を実行する照明制御装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明によれば、上記の課題は、車両の照明制御装置であって、
車両の周囲の少なくとも一部を撮像する撮像手段と、
前記車両の運転者によって操作可能な前記車両の照明機器の点灯・消灯状態を設定する照明機器状態設定手段と
前記撮像手段により撮像された画像に基づいて前記車両の照明機器の点灯・消灯状態を制御する照明機器状態制御手段と、
を含み、
前記照明機器状態制御手段が、前記運転者の前記照明機器設定手段の操作により前記照明機器の点灯・消灯状態が設定されるときの前記撮像手段により撮像された画像である学習用画像と前記運転者の操作により設定された前記照明機器の点灯・消灯状態である正解状態とを学習データとして用いて、前記学習データに於ける前記学習用画像が入力されると前記正解状態を出力するように機械学習モデルのアルゴリズムに従って学習する識別手段を含み、前記撮像手段により撮像された画像に対して前記識別手段の出力した点灯・消灯状態に前記照明機器を設定する装置によって達成される。
【０００７】
上記の構成に於いて、「撮像手段」は、自車両の前方、側方及び／又は後方を撮像することのできるカメラであってよく、専用のカメラであってもよいが、ドライブレコーダ、衝突防止やレーンキーピングアシストなどのための安全運転支援用カメラ、自動運転用カメラなど、その他の機能のための車載カメラが兼用されてもよい。車両の周囲の少なくとも一部の画像としては、典型的には、車両の運転者の視野領域である車両の前方領域〜前方上方領域であるが、これに限定されない。照明機器は、前照灯（ヘッドランプ、ヘッドライト）、尾灯（テールランプ、テールライト）、車幅灯（スモールランプ、スモールライト）、霧灯（フォグランプ）など、自車両の周囲を照明する任意の照明灯類であってよい。「照明機器の点灯・消灯状態」とは、照明機器を点灯している状態と消灯している状態との２状態のいずれかであってよく、更に、照明機器を点灯している状態に於いては、例えば、車幅灯のみを点灯した状態、前照灯をロービームにした状態、前照灯をハイビームにした状態など、複数の段階のいずれかの状態であってもよい。「照明機器状態設定手段」とは、車両の運転者が手動にて照明機器の点灯・消灯状態を上記のいずれかに切換えて設定できるようにするスイッチの如き手段であってよい。「照明機器状態制御手段」とは、車両の周囲の画像に基づいて自動的に照明機器の点灯・消灯状態を上記のいずれかに設定する手段であり、上記の如く学習により車両周囲の画像に対して、好ましい照明機器の点灯・消灯状態を出力するよう構成された識別手段を含む。識別手段の学習に於いて使用される「学習用画像」、「正解状態」は、上記の如く、運転者が照明機器設定手段を操作して照明機器の点灯・消灯状態を設定するときの撮像手段により撮像された画像（運転者の操作直前、操作時、操作後の画像を含む）とその操作により設定された照明機器の点灯・消灯状態であり、車両の運転中に於いて、照明機器の点灯・消灯状態を運転者が照明機器状態設定手段を操作して設定するモード（マニュアルモード）中に得られる画像と照明機器の点灯・消灯状態との組だけでなく、照明機器状態制御手段が照明機器の点灯・消灯状態を自動制御するモード（オートモード）中に運転者が照明機器状態制御手段の作動に凌駕して照明機器状態設定手段を操作して照明機器の点灯・消灯状態を設定したときの画像と照明機器の点灯・消灯状態との組が含まれてよい。照明機器状態制御手段の識別手段の学習に於いてされる機械学習モデルは、任意の、画像データから特徴量を抽出し、その特徴量に基づいて、画像データを複数の区分（照明機器の点灯・消灯状態）のいずれかに分類する分類問題を解くことのできる任意の学習モデルであってよく、典型的には、畳込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク、サポートベクターマシンなどが採用可能である。
【０００８】
上記の構成に於いては、撮像手段により撮像された車両周囲の画像に基づいて設定されるべき照明機器の点灯・消灯状態が識別手段により決定され、その決定された点灯・消灯状態に照明機器が自動的に設定される。かかる構成に於ける注目されるべき一つの特徴は、設定されるべき照明機器の点灯・消灯状態を決定する識別手段は、学習により、車両の周囲のシーンを撮像した車両周囲の画像に対して好ましい照明機器の点灯・消灯状態を決定するように構成されている点であり、これにより、車両周囲又は前方の明るさや天気などの独立した情報を個々に判定するのではなく、運転者が照明灯を点灯又は消灯する運転シーンを認識し、その認識された運転シーンに応じて照明灯を点灯又は消灯することが可能となっている。従って、多様で複雑な種々の運転シーンに対しても照明機器が適当な点灯・消灯状態に設定されることが期待される。
【０００９】
また、上記の本発明の構成に於ける注目されるべきもう一つの特徴は、識別手段の学習に於いて学習データとして用いられる「学習用画像」と「正解状態」とが運転者の照明機器設定手段の操作により照明機器の点灯・消灯状態が設定されるときの画像と照明機器の点灯・消灯状態であるので、識別手段は、運転者が実際の車両の運転に於いて照明灯を点灯又は消灯する運転シーンに対応して、設定されるべき照明機器の点灯・消灯状態を決定することが可能となっている点であり、これにより、決定された照明機器の点灯・消灯状態が、運転者にとって違和感ができるだけ少なくなることが期待される。特に、「学習用画像」と「正解状態」は、マニュアルモード中だけでなく、オートモード中に自動制御に凌駕して運転者が操作したときに収集されるようにして、そこに於いて収集された「学習用画像」と「正解状態」を用いて識別手段の学習が実行されるようになっていてよい。運転者が自動制御を凌駕して操作を行ったときは、そこに於ける照明機器状態制御手段による自動制御の作動が運転者の感覚に適合していないと考えられる。従って、運転者が自動制御を凌駕して操作したときに収集された「学習用画像」と「正解状態」を用いて識別手段の学習を行うことによれば、照明機器状態制御手段による自動制御の作動が運転者の感覚に適合していない部分を運転者の感覚に適合するように修正されることとなる。かくして、この構成によれば、車両の運転が種々の状況で繰り返される間に、識別手段の点灯・消灯状態の決定作動が運転者の感覚に近づくこととなり、運転者にとってより違和感が少なくなるように自動照明制御の性能が向上されることとなる。
【００１０】
ところで、車両の運転中に運転者が照明機器を点灯又は消灯する状況或いはタイミングには、個人差が存在する。従って、自動照明制御が個々の運転者にとってできるだけ違和感が少なくできるように、上記の識別手段は、運転者毎に、別々に構成されてよい。かくして、上記の本発明の装置に於いて、照明機器状態制御手段が個々の運転者を識別する運転者識別情報を取得する手段を含み、識別手段の学習が、運転者識別情報にて識別された運転者の照明機器設定手段の操作により照明機器の点灯・消灯状態が設定されるときの撮像手段により撮像された画像である学習用画像とその運転者の操作により設定された照明機器の点灯・消灯状態である正解状態とを学習データとして用いて実行されるようになっていてよい。かかる構成によれば、識別手段が運転者毎に構成され、自動照明制御が個々の運転者の好みに応じてカスタマイズできることとなる。
【００１１】
上記の本発明の装置の構成に於いて、識別手段の入力データとして、画像データに加えて、例えば、車速、加速度、ヨーレート、舵角などの車両の走行情報など、照明機器を点灯又は消灯する状況或いはタイミングに影響を与える情報（以下、車両走行情報と称する。）が採用されてもよい。これらの車両走行情報は、学習用には、学習用画像と共に収集され、識別手段の学習に於いて入力データの一部として使用されてよい。自動照明制御に於いては、車両走行情報が画像と共に識別手段に入力される。
【００１２】
上記の本発明の装置の構成に於いて、識別手段の学習処理は、マニュアルモード中、或いは、オートモード中に自動制御に凌駕して運転者が操作したときに収集された画像データと照明機器の点灯・消灯状態とを用いて適時実行されてよい。かかる識別手段の学習処理は、車載コンピュータ装置にて実行されてもよく、外部のサーバコンピュータ装置にて実行されてもよく、その場合、車両にて収集された学習データが車両からサーバへ送信され、学習処理後に識別手段の識別に用いられるパラメータ等がサーバから車両へ送信されるようになっていてよい。
【発明の効果】
【００１３】
かくして、上記の本発明の車両の照明制御装置に於いては、車両に於いて取得される車両周囲の画像と照明機器の点灯・消灯状態に対して機械学習技術を活用することで、運転者が照明灯を点灯又は消灯する運転シーンを認識し、その認識された運転シーンに応じて照明灯を点灯又は消灯するように自動照明制御が実行される。ここに於いて、撮像された画像に対して照明機器の点灯・消灯状態を決定する識別手段の構成は、学習により更新されるようになっているので、多様な運転状況においてもロバストで運転者の好み又は感覚に最適化するように識別手段の性能が向上され、運転者ができるだけ違和感を覚えないように自動照明制御が実行されるようになり、運転操作負担が軽減され、快適な運転環境が提供されることが期待される。また、本発明の装置に於いては、近年、車両に於いて搭載されることが多くなった車両周囲を撮像するカメラが用いられ、自動照明制御に専用の照度センサを車両に常備する必要がなくなるので、その分、車両の制御のための構成が簡単化され、また、コストも低減され点で有利である。
【００１４】
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
【図面の簡単な説明】
【００１５】
【図１】図１（Ａ）は、本発明による照明制御装置の実施形態が搭載される車両の模式図である。図１（Ｂ）は、本発明による照明制御装置の実施形態の内部の構成をブロック図の形式で表した図である。図１（Ｃ）は、照明機器の点灯・消灯、自動照明制御の実行の有無を切換えるための切換スイッチの構成の模式図である。
【図２】図２は、本発明による照明制御装置の実施形態の作動に於ける処理をフローチャートの形式にて示した図である。
【図３】図３は、本発明による照明制御装置の実施形態の識別器の、撮像された画像に対して照明機器の点灯・消灯状態を決定する構成に於いて採用される畳み込みニューラルネットワークの処理を説明する図である。
【符号の説明】
【００１６】
１０…車両
１２…制御装置
１４…切り替えスイッチ
１６…カメラ
１８…通信器
２０…前照灯
２１…車幅灯
２２…尾藤
２４…霧灯
３０…外部サーバ
【発明を実施するための最良の形態】
【００１７】
装置の構成
図１（Ａ）を参照して、本発明の照明制御装置の好ましい実施形態が組み込まれる自動車等の車両１０に於いては、前照灯２０、車幅灯２１及び尾灯２２（以下、「照明灯」と総称する。）の点灯及び消灯が、車両の運転者による切換スイッチ１４（照明機器状態設定手段）の操作の他、車載カメラ１６（撮像手段）により撮像された車両１０の周囲の画像から得られる情報に応じて、照明制御装置１２の作動によって実行される。なお、霧灯２４の点灯及び消灯も照明制御装置１２の作動によって実行されてよい。かかる構成に於いて、車載カメラ１６は、自車両１０の周囲、特に、前方領域を撮像するよう設置された通常のカメラであってよく、専用のカメラであってもよいが、ドライブレコーダ、衝突防止やレーンキーピングアシストなどのための安全運転支援用カメラ、自動運転用カメラなど、その他の機能のための車載カメラが兼用されてもよい。また、車載カメラは複数個備えてあってもよく、車両前方だけでなく、車両の後方や左右などを撮像してもよい。
【００１８】
切換スイッチ１４は、照明灯２０〜２２の点灯及び消灯の切換と共に、本実施形態による自動的な照明灯２０〜２２の点灯及び消灯の制御（自動照明制御）の実行／停止の切換が為されるようになっていてよい。切換スイッチ１４は、具体的には、例えば、図１（Ｃ）の模式的に例示されている如く、運転者により照明灯２０〜２２の設定が選択可能な回転式のスイッチであってよく、そこに於いて、例えば、ＯＦＦ（照明灯２０〜２２が消灯している状態）、ＡＵＴＯ（自動照明制御が実行される状態）、ＳＭＡＬＬ（車幅灯２１及び尾灯２２が点灯される状態）、ＦＵＬＬ（照明灯２０〜２２が点灯している状態）が設定可能な状態として用意され、回転部１４ａを回転して、印１４ｂをそれぞれの状態の印に合わせることにより、各状態が設定されることとなる。かかる切換スイッチ１４の設定に於いて、回転部１４ａの印１４ｂがＡＵＴＯに合わされているときには、照明灯の制御は、オートモード（照明機器の点灯・消灯状態が自動制御されるモード）であり、回転部１４ａの印１４ｂがＳＭＡＬＬ又はＦＵＬＬに合わされているときには、照明灯の制御は、マニュアルモード（照明機器の点灯・消灯状態を運転者が照明機器状態設定手段を操作して設定するモード）である。従って、照明灯の制御がオートモードに設定されている状態で、回転部１４ａの印１４ｂがＳＭＡＬＬ又はＦＵＬＬに切換えられると、オートモードが凌駕されてマニュアルモードに切り替わり（制御介入）、回転部１４ａの印１４ｂが再びＡＵＴＯに合わされると、オートモードが復帰されることとなる（制御復帰）。なお、図示していないが、照明灯の設定は、更に、照明灯２０〜２２の点灯状態に於いて、前照灯２０をロービームとハイビームとの間で切換えられるようになっていてよい。
【００１９】
また、車両１０には、車外のサーバ３０との間で通信を行うための通信器１８が備えられてよい。通信器１８は、種々の用途のための通信に使用されてよいところ、本実施形態の照明制御に於いては、切換スイッチ１４がＡＵＴＯ以外に設定されているときに記録された画像とそのときの照明灯の点灯・消灯状態の設定との組を学習データとして、車外のサーバ３０へ送信すると共に、車外のサーバ３０にて機械学習モデルに従って決定された、画像に基づいて照明灯の状態の設定を決定するための識別器のモデルパラメータを車外のサーバ３０から受信し、照明制御装置１２へ提供する。車両１０と車外のサーバ３０との間の信号通信は、任意の形式にて達成されてよい。
【００２０】
照明制御装置１２は、具体的には、図１（Ｂ）に示されている如く、点灯・消灯制御部、画像蓄積部、制御モード判定部及び信号通信部を含む。
【００２１】
点灯・消灯制御部は、画像に基づいて照明灯の状態の設定を決定するための識別器（識別手段）を有し、切換スイッチ１４の設定を参照し、切換スイッチ１４がＡＵＴＯに設定されているときには、車載カメラ１６からの車両１０の周囲の画像を受信し、後述の態様にて画像に基づいて識別器の決定した点灯・消灯状態に照明灯を設定する自動照明制御を実行し、切換スイッチ１４がＳＭＡＬＬ又はＦＵＬＬ（又は更にハイビーム）に設定されているときには、その設定に対応した状態にて照明灯２０〜２２を点灯するよう機能する（霧灯２４の点灯・消灯状態も同様に制御されてよい。）。なお、本実施形態に於いては、好適には、照明灯の自動照明制御の作動態様（どういう状況のときに照明灯の状態をどのように設定するか）は、運転者毎に個別に学習により調整できるようになっていてよい。そのために、点灯・消灯制御部は、運転者それぞれを識別するための個人ＩＤ情報を受信し、自動照明制御の実行に際しては、個人ＩＤ情報にて特定された運転者について学習され準備された自動照明制御の設定を用いて、照明灯の状態が制御されるようになっていてよい。運転者毎の自動照明制御を行うための識別器の設定（モデルパラメータ等−本明細書に於いて、「モデルパラメータ等」とは、識別器に於ける演算に使用される重み係数やフィルタなどの処理に於ける設定値やアルゴリズムであり、使用される機械学習モデルによって適宜選択されるパラメータや設定アルゴリズムを総称するものとする。）は、それぞれ、運転者それぞれの個人ＩＤ情報が登録されてメモリに記憶され、個々の運転者が車両を運転する際、その運転者の個人ＩＤ情報に対して登録された識別器の設定が呼び出されて、識別器に於いて使用されるようになっていてよい。
【００２２】
画像蓄積部は、車載カメラ１６からの車両１０の周囲の画像を記録し、切換スイッチ１４がＡＵＴＯ以外に設定されているときに記録された画像が後述の自動照明制御のための学習処理に用いられることとなる。制御モード判定部は、切換スイッチ１４がＡＵＴＯ以外の設定からＡＵＴＯへ切換えられたこと又は切換スイッチ１４がＡＵＴＯからＡＵＴＯ以外の設定へ切換えられたことを検出し、そのことを信号通信部へ送信するようになっていてよい。そして、信号通信部は、既に触れた如く、切換スイッチ１４がＡＵＴＯ以外に設定されているときに記録された画像（学習用画像）とそのときの照明灯の点灯・消灯状態の設定（正解状態）との組を学習データとして通信器１８を介して車外のサーバ３０へ送信し、また、車外のサーバ３０からの学習処理により決定されたモデルパラメータを受信し、点灯・消灯制御部へ送信するよう構成される。
【００２３】
一方、車外のサーバ３０に於いては、画像／操作データ蓄積部が、信号通信部を通じて車両１０からの学習データを受信し蓄積し、それらの学習データを用いて、自動照明制御モデル学習部が、後述の態様にて、学習用画像からそのときの照明灯の点灯・消灯状態の正解状態を出力する識別器のパラメータ等を算出し、算出された識別器のパラメータ等が信号通信部を通じて車両１０の照明制御装置１２の信号通信部へ送信される。
【００２４】
上記の車両１０に搭載される照明制御装置１２及びサーバ３０は、それぞれ、通常の態様のコンピュータ装置であってよく、双方向コモン・バスにより相互に連結されたＣＰＵ、記憶装置、入出力装置（Ｉ／Ｏ）が装備され、記憶装置は、本発明の演算で使用する演算処理を実行する各プログラムを記憶したメモリと、演算中に使用されるワークメモリ及びデータメモリを含む。上記の照明制御装置１２及びサーバ３０に於ける各部の作動は、メモリに記憶されたプログラムに従ったコンピュータ装置の作動により、実現されることは理解されるべきである。なお、自動照明制御モデル学習部による学習処理を行うコンピュータ装置は、車両１０に搭載されていてもよい。その場合、学習データ及び識別器パラメータの送受信は、信号通信部を介さずに実行されてよい。
【００２５】
装置の作動
（ａ）制御作動の概要
本実施形態の照明制御装置１２は、まず、切換スイッチ１４を通じて、運転者が照明灯２０〜２２（或いは更に霧灯２４）の点灯を指示したときには（ＳＭＡＬＬ又はＦＵＬＬ）、それらの照明灯を点灯し、消灯を指示したときには（ＯＦＦ）、それらの照明灯を消灯するよう各照明灯のｏｎ／ｏｆｆ状態を制御する（前照灯２０、車幅灯２１及び尾灯２２は、切換スイッチ１４により段階的に点灯・消灯が制御され、霧灯２４は、別途、スイッチが設けられ、点灯・消灯が制御されるようになっていてよい。）。
【００２６】
そして、運転者が切換スイッチ１４を通じて、自動照明制御の実行を指示したときには（ＡＵＴＯ）、運転者自身がスイッチを操作することなく、照明灯の点灯又は消灯される自動照明制御が実行される。特に、本実施形態の場合、点灯・消灯制御部は、既に述べた如く、車載カメラ１６の画像を入力データとして参照して、設定されるべき照明灯の点灯・消灯状態を決定する識別器を有しており、自動照明制御の実行に際しては、識別器は、時々刻々に入力される車両周囲の画像に対して、設定されるべき照明灯の点灯・消灯状態を出力し、その出力された点灯・消灯状態に照明灯が設定されることとなる。
【００２７】
ここに於いて、識別器は、学習により運転者が切換スイッチ１４を通じて照明灯の状態を設定したときに車載カメラ１６により撮像された画像（学習用画像）とその際の照明灯の点灯・消灯状態（正解状態）とを学習データとして、入力された学習用画像に対して、その際の照明灯の点灯・消灯状態の正解状態を設定すべき状態として出力するように構成されているので、出力される照明灯の設定すべき点灯・消灯状態は、運転者が画像に映っているシーンを認識したときに運転者が設定する照明灯の点灯・消灯状態となっていることが期待される。かくして、かかる識別器の出力に従って、照明灯の点灯・消灯状態を設定することにより、運転者が運転シーンを認識して照明灯を点灯又は消灯するのと同様に、自動的に照明灯が点灯又は消灯されることが期待される。
【００２８】
また、本実施形態に於いては、識別器の上記の学習処理は、車両の走行中に、運転者がマニュアルモードにて照明灯の点灯・消灯状態を設定したとき、特に、オートモードでの自動照明制御中にその自動照明制御に凌駕して運転者がマニュアルモードにて照明灯の点灯・消灯状態を設定したときの車載カメラ１６により撮像された画像とその際の照明灯の点灯・消灯状態とを学習データとして実行できるようになっていてよい（再学習可能）。「発明の概要」の欄に於いても触れた如く、運転者が自動制御を凌駕してマニュアルモードにて照明灯の操作を行った場合、運転者による操作は、そこに於ける自動制御の作動が運転者の感覚に適合していないため、自動制御の作動を修正するものであると考えられる。従って、上記の構成のように、運転者が自動照明制御に凌駕して操作した場合の画像とその際の照明灯の点灯・消灯状態とを学習データとして識別器の再学習を実行し、その再学習により決定された識別器のパラメータ等を使用して識別器が設定されるべき照明灯の点灯・消灯状態を出力する場合には、出力された照明灯の点灯・消灯状態は、それまでよりも、より運転者の感覚に近い照明灯の点灯・消灯状態の設定となっていることが期待され、運転者にとってより違和感が少なくなるように自動照明制御の性能が向上されることとなる。
【００２９】
更に、既に述べた如く、照明灯の点灯・消灯状態を切換える時期及び状況には、運転者に於ける個人差がある。そこで、本実施形態の構成に於いては、上記の如く、運転者の個人のＩＤ情報を参照し、上記の識別器の学習が運転者毎に実行され、運転者毎に異なるパラメータ等にて設定された識別器を用いて、設定されるべき照明灯の点灯・消灯状態の決定が為されるようになっていてよい。かかる構成によれば、自動照明制御の作動が運転者毎にカスタマイズできることとなる。なお、識別器の学習は、運転者の識別をせずに行ってもよく、そのような場合も本発明の範囲に属する。この場合、種々の画像に対して汎用的に適切な照明灯の点灯・消灯状態を出力する識別器が構成されることとなる。
【００３０】
（ｂ）処理の流れ
図２（Ａ）を参照して、車両１０の照明制御装置１２による自動照明制御の処理作動に於いては、切換スイッチ１４がＯＦＦからＡＵＴＯ又はＳＭＡＬＬ若しくはＦＵＬＬに切換えられた時、或いは、アクセサリ（ＡＣＣ）電源ＯＮ時、イグニッション（ＩＧ）電源ＯＮ時、エンジン回転始動時のいずれかによる車両１０の通電後、運転者毎に識別器を構成する場合には、運転者のＩＤ情報を参照することにより、運転者の個人が特定され（ステップ１）、特定されたＩＤの運転者のための照明制御モデル、即ち、識別器がメモリ内に既に存在しているか否かが検索される（ステップ２）。運転者のＩＤ情報の入力及び確認は、例えば、任意の入力装置（タッチパネル、操作パネル、音声入力など）を通じて任意の形式にて実行されてよい。ここで、特定されたＩＤの運転者のための照明制御モデルがメモリに於いて既に存在した場合には、その照明制御モデルの設定が呼び出され、識別器のモデルパラメータ等としてロードされる（ステップ３）。一方、新規の運転者又はメモリに照明制御モデルが記憶されていない運転者については、新規の個人ＩＤ情報が付与され登録され、識別器のモデルパラメータ等に於いては、予め万人向けに準備されたデフォルトのモデルパラメータ等がロードされるようになっていてよい（ステップ４）。デフォルトの識別器のモデルパラメータ等は、実験的に或いは経験に基づいて適宜設定されたものであってよい。なお、運転者に於いて個人を識別しない場合には、ステップ１〜４は、実行されず、スタート時にそれまでに使用された識別器のモデルパラメータ等がロードされ、使用されるように準備されてよい。
【００３１】
かくして、切換スイッチ１４がＡＵＴＯに設定されているときには（ステップ６）、自動照明制御が実行される。かかる自動照明制御に於いては、まず、車載カメラ１６にて撮像された画像の読み込みが実行され（ステップ９）、その画像に基づいて、識別器が上記のロードされたパラメータ等を用いて、設定されるべき照明灯の点灯・消灯状態を決定し、その決定された点灯・消灯状態に照明灯が設定される（ステップ１０）。ここで、決定され得る照明灯の点灯・消灯状態は、ＯＦＦ、ＳＭＡＬＬ、ＦＵＬＬであってよく、或いは、更に、ＦＵＬＬに於いて、ハイビームとロービームとが決定されてもよい。なお、決定され得る照明灯の点灯・消灯状態は、上記の態様以外の設定であってもよい（更に細かくレベル分けがされていてもよく、或いは、単にＯＦＦとＯＮの２段階であってもよい。）。
【００３２】
上記の識別器は、画像データを複数の区分（照明機器の点灯・消灯状態）のいずれかに分類する分類問題を解くことのできる任意の学習モデル、典型的には、畳込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク、サポートベクターマシンに従って構成されてよく、上記の如く、運転者が切換スイッチ１４を通じて照明灯の状態を設定したときに車載カメラ１６により撮像された画像とその際の照明灯の点灯・消灯状態とを学習データとして、入力された画像に対して、その際の照明灯の点灯・消灯状態を設定すべき状態として出力するように構成されている。画像から照明灯の点灯・消灯状態を出力する処理は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して実行されてよい。識別器を畳込みニューラルネットワークにより構成する場合には、図３に模式的に描かれている如く、画像が入力されると、畳込み層とプーリング層とに於いてそれぞれ処理されて画像に於ける特徴が抽出される。なお、この分野に於いて知られている如く、畳込み層とプーリング層の処理は、複数回実行されるようになっていてよい。そして、抽出された特徴が全結合層へ入力され、出力層に於いて、入力された画像が得られるときに、取り得る照明灯の点灯・消灯状態の各々が設定されるべき確率が出力され、かかる確率の最も高い状態が、設定されるべき点灯・消灯状態として決定される。
【００３３】
そして、上記の自動照明制御は、切換スイッチ１４がＡＵＴＯに設定されている間、後述の制御の終了条件が成立しない限り、継続されるところ、途中で、運転者によって切換スイッチ１４がＡＵＴＯからＯＦＦ又はＳＭＡＬＬ若しくはＦＵＬＬに切換えられると（運転者による制御介入）、自動照明制御が中断され、照明灯は、切換スイッチ１４にて指示された状態に設定される。この場合、既に触れた如く、運転者は、自動照明制御による照明灯の設定が運転者自身の感覚又は好みに適合しない判断して、自動照明制御を凌駕する制御介入を行ったものと考えられるので、そのとき及びそれ以降の切換スイッチ１４が再びＡＵＴＯへ切換えられるまで（制御がマニュアルモードにある間）に於ける車載カメラ１６の撮像した画像と、そのときの照明灯の点灯・消灯状態が記録され（ステップ７）、識別器の学習のための学習データとされる。なお、ここで記録する画像は、好適には、切換スイッチ１４がＡＵＴＯからＯＦＦ又はＳＭＡＬＬ若しくはＦＵＬＬに切換えられる直前の、任意に設定されてよい所定の期間に於ける画像が含まれていてよい。運転者が制御介入を行うということは、介入前の状態が運転者の好み又は感覚に適合しておらず、その状態に適合する状態、つまり、正解の状態は、切換スイッチ１４の切換後の状態であると考えられる。そこで、ステップ７に於いて記録されるデータには、切換スイッチ１４がＡＵＴＯからＯＦＦ又はＳＭＡＬＬ若しくはＦＵＬＬに切換えられる直前の画像とその正解の状態として切換直後の状態とが関連づけられたデータが含まれていてよい。また、切換スイッチ１４がＯＦＦ、ＳＭＡＬＬ又はＦＵＬＬから別のＯＦＦ、ＳＭＡＬＬ又はＦＵＬＬのいずれかに切換えられる場合についても、切換前の状態が運転者の好み又は感覚に適合しておらず、その状態に適合する状態、つまり、正解の状態は、切換スイッチ１４の切換後の状態であると考えられる。従って、切換スイッチ１４の切換前の画像とその正解の状態として切換直後の状態とが関連づけられたデータが含まれていてよい。
【００３４】
ステップ７に於いて記録された画像と状態のデータは、適時、サーバへ送信されてよい。一つの態様に於いては、切換スイッチ１４が再びＡＵＴＯへ切換えられたときにデータ送信が実行されてよい（即ち、切換スイッチ１４がＡＵＴＯからＯＦＦ又はＳＭＡＬＬ若しくはＦＵＬＬに切換えられる直前から切換スイッチ１４がＡＵＴＯへ切換えられるまでに収集されたデータが送信される。）。具体的な処理に於いては、図２（Ａ）を参照して、切換スイッチ１４が再びＡＵＴＯへ切換えられたとき（ステップ６）、制御モード判定部から信号通信部へそのことが伝達され、記録されたデータが存在するときには（ステップ８）、信号通信部を通じてサーバ３０へ記録されたデータが送信されてよい（ステップ１１）。なお、識別器のモデルパラメータ等を運転者毎に設定する場合には、運転者の個人ＩＤ情報も合わせて送信される。
【００３５】
図２（Ｂ）を参照して、サーバ３０は、信号通信部を介して車両側から上記の画像と状態と個人ＩＤ情報を受信し、受信したデータを画像／操作データ蓄積部に蓄積し（ステップ２１）、個人ＩＤ情報にて特定される運転者のための照明制御モデル、即ち、識別器がメモリ内に既に存在しているか否かが検索され、特定されたＩＤの運転者のための照明制御モデルがメモリに於いて既に存在した場合には、その照明制御モデルの設定が呼び出され、識別器のモデルパラメータ等としてロードされる（ステップ２２）。なお、新規の運転者又は記憶装置に照明制御モデルが記憶されていない運転者については、予め万人向けに準備されたデフォルトのパラメータ等がロードされるようになっていてよい。
【００３６】
そして、自動照明制御モデル学習部に於いて、画像／操作データ蓄積部に蓄積されたデータを学習データとして用いて、学習処理により、識別器のモデルパラメータ等を算出する（ステップ２３）。かかる学習処理は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して実行されてよい。識別器の機械学習モデルとして畳込みニューラルネットワークを採用した場合には、図３に示されている如く、学習用画像を識別器に入力して取り得る照明灯の点灯・消灯状態の各々が設定されるべき確率を算出し（順伝播）、しかる後、入力した学習用画像に対応する照明灯の状態の確率を１とし、その他の状態の確率を０として、各状態の確率間の誤差が算出され、その誤差が低減するように誤差逆伝播法等のアルゴリズムに従って各ニューロンの重み、バイアス、畳込み層に於けるフィルタ等のパラメータ（モデルパラメータ等）が更新される（逆伝播）。かくして、上記の順伝播と逆伝播の処理を学習データについて繰り返すことにより、画像のそれぞれに対してそのときに設定されるべき照明灯の状態を精度良く出力できるように、識別器の学習が達成されることとなる。なお、学習処理は、実施された学習処理に追加して実行されてもよく、また、過去に蓄積したデータ全てを含めて実行されてもよい。運転者に於いて個人を識別しない場合には、ステップ２２に於いて、それまでに使用された識別器のモデルパラメータ等がロードされ、上記と同様に学習処理が実行されてよい。
【００３７】
かくして、ステップ２３にて、識別器の新しいモデルパラメータ等（更新データ）が算出されると、それらが車両側へ送信されると共に（ステップ２４）、サーバ内のメモリ又は記憶装置（図示せず）に保存される（ステップ２５）。一方、車両側の照明制御装置１２に於いては、サーバから識別器の新しいモデルパラメータ等である更新データを受信すると（ステップ１２）、それまでの識別器のモデルパラメータ等を、送信されてきた新しいモデルパラメータ等（更新データ）に更新し（ステップ１３）、更新されたモデルパラメータ等を用いた識別器を用いて、上記の如く自動照明制御を実行する。更新されたモデルパラメータ等を用いた識別器は、更新前に比して、より運転者の感覚又は好みに近い照明灯の点灯・消灯状態を出力されるように修正され、これにより、運転者の感覚又は好みにより適合した自動照明制御が提供されることが期待される。
【００３８】
上記の自動照明制御は、基本的には、切換スイッチ１４がＯＦＦに切換えられると、終了される。この点に関し、切換スイッチ１４がＯＦＦにされても、再び、ＡＵＴＯ又は照明灯を点灯する状態に切換えられることとなるので、図２（Ａ）の処理は、切換スイッチ１４のＯＦＦへの切換後も継続して実行される（学習用の画像と状態データの蓄積は実行される。）。しかしながら、切換スイッチ１４がＯＦＦとなって状態が長く続いている間、常に画像データの収集を続けると、データ量が膨大となるので、任意に設定されてよい所定の期間に亙って切換スイッチ１４がＯＦＦのままとなっているときには、終了条件が成立したものとして、画像の蓄積も終了してよい（ステップ５）。また、アクセサリ（ＡＣＣ）電源ＯＦＦ時にも終了条件が成立し、制御が終了する。
【００３９】
上記の処理に於いて、切換スイッチ１４が最初にＯＦＦからＡＵＴＯを経ないでＳＭＡＬＬ又はＦＵＬＬに切換えられた場合には、自動照明制御に先立って、画像と状態のデータの記録（ステップ７）が実行され、そこで記録されたデータが学習に使用されてよい。また、識別器の入力として、画像データの他に、例えば、車速、加速度、ヨーレート、舵角などの車両の走行情報など、照明機器を点灯又は消灯する状況或いはタイミングに影響を与える情報が採用されてもよい。
【００４０】
上記の本実施形態の照明制御装置によれば、機械学習技術を活用することで、運転者が照明灯を点灯又は消灯する運転シーンを認識し、その認識された運転シーンに応じて照明灯を点灯又は消灯するように自動照明制御が実行される。特に、本実施形態では、車両の運転中に得られた画像に対して照明灯の点灯・消灯状態を決定する識別器が学習により更新されるようになっているので、車両を運転すればするほど、識別器の性能が向上し、運転者の感覚や好みにより近づくように最適化され、かくして、運転操作負担が軽減され、快適な運転環境が提供されることが期待される。
【００４１】
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。
【図１】
2020179739.tif 000003
【図２】
2020179739.tif 000004
【図３】
2020179739.tif 000005