(57)【要約】      （修正有）【課題】より正確に光源をトラッキングする光源検出装置、前照灯制御システム及び光源検出方法を提供する。【解決手段】光源検出装置２０は、車両の前方を撮像する撮像装置１０による撮像によって得られる画像を取得する画像取得部２１と、画像から光源の候補である光源候補を抽出する抽出部２２と、画像取得部２１が取得した１フレームまたは複数フレーム分の過去の画像における光源の特徴量に基づいて、光源の移動履歴を算出し、移動履歴に基づいて、現フレームの画像における光源の位置を推定する推定部２４と、推定部２４が推定した位置を含む所定の領域のウィンドウ内において、光源を探索する探索部２６と、を備える。【選択図】図２
2015210538.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、光源を検出する光源検出装置であって、
前記車両の前方を撮像する撮像装置による撮像によって得られる画像を取得する画像取得部と、
前記画像取得部が取得した前記画像から光源の候補である光源候補を抽出する抽出部と、
前記画像取得部が取得した１フレームまたは複数フレーム分の過去の画像における光源の特徴量に基づいて、光源の移動履歴を算出し、前記移動履歴に基づいて、現フレームの画像における前記光源の位置を推定する推定部と、
前記推定部が推定した前記位置を含む所定の領域のウィンドウ内において、光源を探索する探索部と、
を備える光源検出装置。
【請求項２】
請求項１記載の光源検出装置であって、
前記画像取得部が取得した１フレームまたは複数フレーム分の過去の画像を記憶する画像記憶部、
を更に備え、
前記推定部は、前記画像記憶部に記憶された前記１フレームまたは複数フレーム分の過去の画像に基づいて、光源の移動履歴を算出する、
光源検出装置。
【請求項３】
車両に搭載され、光源を検出する光源検出装置であって、
前記車両の前方を撮像する撮像装置による撮像によって得られる画像を取得する画像取得部と、
前記画像取得部が取得した現フレームより１フレーム前の第１画像および前記現フレームより２フレーム前の第２画像を記憶する画像記憶部と、
前記画像記憶部に記憶された前記第２画像と前記第１画像との画像のずれに基づいて、光源の移動履歴を算出し、前記移動履歴に基づいて、現フレームの画像における前記光源の位置を推定する推定部と、
前記推定部が推定した前記位置を基準に所定の領域のウィンドウを設け、前記ウィンドウ内において光源を探索する探索部と、
を備える光源検出装置。
【請求項４】
請求項１から請求項３いずれか一項記載の光源検出装置であって、
前記車両の走行状態を検出し、前記走行状態を示す走行状態情報を供給する走行状態検出装置から供給された前記走行状態情報を取り込む走行状態取得部、
を更に備え、
前記探索部は、前記走行状態取得部が取り込む前記走行状態情報に基づいて前記ウィンドウの領域を変更する、
光源検出装置。
【請求項５】
請求項１から請求項４いずれか一項記載の光源検出装置であって、
前記探索部は、
前記ウィンドウ内を探索することによって光源候補を抽出した場合、前記光源候補の属性および位置、ならびに、前記現フレームより１フレーム前の画像における光源である光源履歴の属性および位置のうち少なくともいずれか二つに基づいて、前記光源候補が固定物であるか移動体であるかを判別し、判別した結果に応じて前記ウィンドウの大きさを変更する、
光源検出装置。
【請求項６】
請求項１から請求項５いずれか一項記載の光源検出装置であって、
前記推定部が推定した前記光源の位置が前記画像の左端近傍または右端近傍である場合、
前記探索部は、前記ウィンドウを水平方向に広げる、
光源検出装置。
【請求項７】
請求項１から請求項５いずれか一項記載の光源検出装置であって、
前記推定部が推定した前記光源の位置が前記画像の下側である場合、
前記探索部は、前記ウィンドウを広げる、
光源検出装置。
【請求項８】
請求項１から請求項７いずれか一項記載の光源検出装置であって、
前記探索部は、
前記ウィンドウ内を探索することによって複数の光源候補を抽出した場合、前記複数の光源候補それぞれの属性および位置と前記現フレームより１フレーム前の画像における光源である光源履歴の属性と前記推定部が推定した前記位置とに基づいて、前記光源履歴に対する前記複数の光源候補それぞれの評価値を算出する評価部と、
前記評価部が算出した前記複数の光源候補それぞれの評価値のうち最も高い評価値に対応する光源候補を、前記光源履歴に対応する光源として判別する判別部と、
を更に備える光源検出装置。
【請求項９】
請求項１から請求項８いずれか一項記載の光源検出装置と、
前記光源検出装置が検出した光源への照射を抑制するよう、前記車両のヘッドライトの制御を行うヘッドライト制御部と、
を備える前照灯制御システム。
【請求項１０】
車両に搭載された光源検出装置による光源検出方法であって、
前記車両の前方を撮像する撮像装置による撮像によって得られる画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得した現フレームより１フレーム前の第１画像および前記現フレームより２フレーム前の第２画像を画像記憶部に記憶させる画像記憶ステップと、
前記画像記憶部に記憶させた前記第２画像と前記第１画像との画像のずれに基づいて、光源の移動履歴を算出し、前記移動履歴に基づいて、現フレームの画像における前記光源の位置を推定する推定ステップと、
前記車両の走行状態を検出する走行状態検出ステップと、
前記推定ステップにおいて推定した前記位置を基準に所定の領域のウィンドウを設け、前記走行状態検出ステップにおいて検出する前記走行状態に応じて前記ウィンドウの領域を変更し、前記ウィンドウ内において光源を探索する探索ステップと、
を有する光源検出方法。
【請求項１１】
請求項１０記載の光源検出方法であって、
前記推定ステップにおいて推定した前記光源の位置が前記画像の左端近傍または右端近傍である場合、前記探索ステップにおいては、前記ウィンドウを水平方向に広げ、
一方、前記光源の位置が前記画像の下側である場合、前記探索ステップにおいては、前記ウィンドウを広げる、
光源検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光源検出装置、前照灯制御システム、および光源検出方法に関する。
【背景技術】
【０００２】
従来、車両と移動物体との衝突回避を支援する装置として、車両の周辺が撮影された最新の画像と過去の複数の画像とを比較して移動物体の移動方向および移動速度の変化を認識し、移動方向および移動速度の変化に基づいて移動物体の進路を予測する運転支援装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８６１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１記載の技術を適用して車両のヘッドライト光源のトラッキングを行うと、類似する光源がヘッドライト光源の近傍に存在する場合に、トラッキングを失敗するおそれがある。
本発明は、上記問題を解決すべくなされたものであり、その目的は、より正確に光源をトラッキングすることができる、光源検出装置、前照灯制御システム、および光源検出方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記問題を解決するために、請求項１記載の発明は、車両（１）に搭載され、光源を検出する光源検出装置（２０）であって、前記車両の前方を撮像する撮像装置（１０）による撮像によって得られる画像を取得する画像取得部（２１）と、前記画像取得部が取得した前記画像から光源の候補である光源候補を抽出する抽出部（２２）と、前記画像取得部が取得した１フレームまたは複数フレーム分の過去の画像における光源の特徴量に基づいて、光源の移動履歴を算出し、前記移動履歴に基づいて、現フレームの画像における前記光源の位置を推定する推定部（２４）と、前記推定部が推定した前記位置を含む所定の領域のウィンドウ内において、光源を探索する探索部（２６）と、を備える光源検出装置である。
【０００６】
請求項２記載の発明は、請求項１記載の光源検出装置であって、前記画像取得部が取得した１フレームまたは複数フレーム分の過去の画像を記憶する画像記憶部（２３）、を更に備え、前記推定部は、前記画像記憶部に記憶された前記１フレームまたは複数フレーム分の過去の画像に基づいて、光源の移動履歴を算出する、光源検出装置である。
【０００７】
請求項３記載の発明は、車両（１）に搭載され、光源を検出する光源検出装置（２０）であって、前記車両の前方を撮像する撮像装置（１０）による撮像によって得られる画像を取得する画像取得部（２１）と、前記画像取得部が取得した現フレームより１フレーム前の第１画像および前記現フレームより２フレーム前の第２画像を記憶する画像記憶部（２３）と、前記画像記憶部に記憶された前記第２画像と前記第１画像との画像のずれに基づいて、光源の移動履歴を算出し、前記移動履歴に基づいて、現フレームの画像における前記光源の位置を推定する推定部（２４）と、前記推定部が推定した前記位置を基準に所定の領域のウィンドウを設け、前記ウィンドウ内において光源を探索する探索部（２６）と、を備える光源検出装置である。
【０００８】
請求項４記載の発明は、請求項１から請求項３いずれか一項記載の光源検出装置であって、前記車両の走行状態を検出し、前記走行状態を示す走行状態情報を供給する走行状態検出装置（３０）から供給された前記走行状態情報を取り込む走行状態取得部（２５）、を更に備え、前記探索部は、前記走行状態取得部が取り込む前記走行状態情報に基づいて前記ウィンドウの領域を変更する、光源検出装置である。
【０００９】
請求項５記載の発明は、請求項１から請求項４いずれか一項記載の光源検出装置であって、前記探索部は、前記ウィンドウ内を探索することによって光源候補を抽出した場合、前記光源候補の属性および位置、ならびに、前記現フレームより１フレーム前の画像における光源である光源履歴の属性および位置のうち少なくともいずれか二つに基づいて、前記光源候補が固定物であるか移動体であるかを判別し、判別した結果に応じて前記ウィンドウの大きさを変更する、光源検出装置である。
【００１０】
請求項６記載の発明は、請求項１から請求項５いずれか一項記載の光源検出装置であって、前記推定部が推定した前記光源の位置が前記画像の左端近傍または右端近傍である場合、前記探索部は、前記ウィンドウを水平方向に広げる、光源検出装置である。
【００１１】
請求項７記載の発明は、請求項１から請求項５いずれか一項記載の光源検出装置であって、前記推定部が推定した前記光源の位置が前記画像の下側である場合、前記探索部は、前記ウィンドウを広げる、光源検出装置である。
【００１２】
請求項８記載の発明は、請求項１から請求項７いずれか一項記載の光源検出装置であって、前記探索部は、前記ウィンドウ内を探索することによって複数の光源候補を抽出した場合、前記複数の光源候補それぞれの属性および位置と前記現フレームより１フレーム前の画像における光源である光源履歴の属性と前記推定部が推定した前記位置とに基づいて、前記光源履歴に対する前記複数の光源候補それぞれの評価値を算出する評価部（２６１）と、前記評価部が算出した前記複数の光源候補それぞれの評価値のうち最も高い評価値に対応する光源候補を、前記光源履歴に対応する光源として判別する判別部（２６２）と、を更に備える光源検出装置である。
【００１３】
請求項９記載の発明は、請求項１から請求項８いずれか一項記載の光源検出装置と、前記光源検出装置が検出した光源への照射を抑制するよう、前記車両のヘッドライトの制御を行うヘッドライト制御部（４０）と、を備える前照灯制御システムである。
【００１４】
請求項１０記載の発明は、車両（１）に搭載された光源検出装置（２０）による光源検出方法であって、前記車両の前方を撮像する撮像装置（１０）による撮像によって得られる画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得した現フレームより１フレーム前の第１画像および前記現フレームより２フレーム前の第２画像を画像記憶部（２３）に記憶させる画像記憶ステップと、前記画像記憶部に記憶させた前記第２画像と前記第１画像との画像のずれに基づいて、光源の移動履歴を算出し、前記移動履歴に基づいて、現フレームの画像における前記光源の位置を推定する推定ステップと、前記車両の走行状態を検出する走行状態検出ステップと、前記推定ステップにおいて推定した前記位置を基準に所定の領域のウィンドウを設け、前記走行状態検出ステップにおいて検出する前記走行状態に応じて前記ウィンドウの領域を変更し、前記ウィンドウ内において光源を探索する探索ステップと、を有する光源検出方法である。
【００１５】
請求項１１記載の発明は、請求項１０記載の光源検出方法であって、前記推定ステップにおいて推定した前記光源の位置が前記画像の左端近傍または右端近傍である場合、前記探索ステップにおいては、前記ウィンドウを水平方向に広げ、一方、前記光源の位置が前記画像の下側である場合、前記探索ステップにおいては、前記ウィンドウを広げる、光源検出方法である。
【発明の効果】
【００１６】
請求項１記載の発明によれば、過去の光源の移動履歴に基づいて光源の位置を推定し、この推定位置を含む所定のウィンドウ内で光源を探索するため、処理負荷を軽くして且つ高精度に光源のトラッキングを行うことができる。
【００１７】
請求項２記載の発明によれば、過去の画像の光源の移動履歴に基づいて光源の位置を推定し、この推定位置を含む所定のウィンドウ内で光源を探索するため、処理負荷を軽くして且つ高精度に光源のトラッキングを行うことができる。
【００１８】
請求項３記載の発明によれば、過去の第１画像および第２画像のずれによる光源の移動履歴に基づいて光源の位置を推定し、この推定位置を含む所定のウィンドウ内で光源を探索するため、処理負荷を軽くして且つ高精度に光源のトラッキングを行うことができる。
【００１９】
請求項４記載の発明によれば、走行状態に基づいてウィンドウの領域を変更するため、探索範囲をウィンドウ内に限定したことによる光源の探索漏れを、防止または低減することができる。
【００２０】
請求項５記載の発明によれば、光源候補が固定物であるか移動体であるかに応じてウィンドウの大きさを変更するため、例えば、固定物を除外することに応用可能であり、さらに精度の高い光源のトラッキングを実現することができる。
【００２１】
請求項６記載の発明によれば、光源の位置が画像の左端いずれかの近傍である場合にウィンドウを水平方向に広げるため、光源の探索漏れを防止または低減することができる。
【００２２】
請求項７記載の発明によれば、光源の位置が画像の下側である場合にウィンドウを広げるため、光源の探索漏れを防止または低減することができる。
【００２３】
請求項８記載の発明によれば、ウィンドウ内の複数の光源候補それぞれについて、光源履歴に対する評価を行い、最も評価が高い光源候補を光源として判別するため、外乱による光やトラッキング目標以外の別の光源がある場合でも、より正確な光源のトラッキングを行うことができる。
【００２４】
請求項９記載の発明によれば、本発明に係る光源検出装置により特定された光源への照射を抑制するように車両のヘッドライト制御を行うため、光源であるヘッドライトを搭載した車両の運転者が幻惑されるのを抑制することができる。
【００２５】
請求項１０記載の発明によれば、処理負荷を軽くして且つ高精度に光源のトラッキングを行うことができ、また、探索範囲をウィンドウ内に限定したことによる光源の探索漏れを、防止または低減することができる。
【００２６】
請求項１１記載の発明によれば、光源の位置が画像の左端いずれかの近傍である場合にウィンドウを水平方向に広げ、また光源の位置が画像の下側である場合にウィンドウを広げるため、光源の探索漏れを防止または低減することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施形態の光源検出装置を適用した前照灯制御システムの構成の例を示す図である。
【図２】前照灯制御システムの機能構成の例を示すブロック図である。
【図３】画像取得部が撮像装置から取り込んだ画像の例を模式的に示した図である。
【図４】探索部によってウィンドウが設けられた画像の例を模式的に示す図である。
【図５】探索部によってウィンドウが設けられた画像の別の例を模式的に示す図である。
【図６】探索部によってウィンドウが設けられた画像の別の例を模式的に示す図である。
【図７】現フレームより１フレーム前の画像における光源履歴の属性と、現フレームにおける光源候補の属性および位置と、現フレームにおける推定位置との例を模式的に示した図である。
【図８】実空間におけるヘッドライトの位置を模式的に示す図である。
【図９】光源検出装置の処理手順の例を示すフローチャートである。
【図１０】光源検出装置が実行する光源のトラッキング処理の手順の例を示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下、図面を参照し、本発明の光源検出装置、前照灯制御システム、および光源検出方法の実施形態について説明する。
【００２９】
［第１の実施形態］
図１は、第１の実施形態の光源検出装置を適用した前照灯制御システムの構成の例を示す図である。図１に示すように、前照灯制御システム５は、車両１に搭載される。前照灯制御システム５は、光源検出ユニット１００と、ヘッドライト制御部４０と、左ヘッドライトユニット６０と、右ヘッドライトユニット７０とを備える。
【００３０】
図２は、前照灯制御システム５の機能構成の例を示すブロック図である。光源検出ユニット１００は、撮像装置１０と、光源検出装置２０とを備える。撮像装置１０は、例えば、車両１のウインドシールド上部やルームミラー裏面等に設けられ、車両１の前方を撮像する。撮像装置１０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子を備えるカメラである。撮像装置１０は、車両１の前方を一定周期（例えば、３０ｍｓおき）で繰り返し撮像し、撮像した画像のデータを光源検出装置２０に供給する。以下、この繰り返し撮像される各画像を、フレームと呼ぶことがある。
【００３１】
光源検出装置２０は、例えば、ＣＰＵ（Central  Processing  Unit）等のプロセッサ、およびＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ等の記憶装置等がバスを介して相互に接続されたコンピュータである。光源検出装置２０は、例えば、画像取得部２１と、抽出部２２と、画像記憶部２３と、推定部２４と、走行状態取得部２５と、探索部２６と、観測位置算出部２７とを備える。これらの機能部は、例えば、ＣＰＵが記憶装置に記憶されたプログラムを実行することにより機能するソフトウェア機能部である。また、これらの機能部のうち一部または全部を、ＬＳＩ（Large  Scale  Integration）やＡＳＩＣ（Application  Specific  Integrated  Circuit）等のハードウェア機能部として構成してもよい。
【００３２】
光源検出装置２０の各機能部の説明に先立って、ヘッドライト制御部４０等について説明する。ヘッドライト制御部４０は、光源検出装置２０と同様、ＣＰＵ等を含むコンピュータである。光源検出装置２０とヘッドライト制御部４０とは、例えば、ＣＡＮ（Controller Area Network）通信線等の車内通信線、または無線通信網等で接続されている。ヘッドライト制御部４０は、車両１の運転者によって操作される各種スイッチ５０から供給される操作信号に基づいて、左ヘッドライトユニット６０および右ヘッドライトユニット７０またはいずれか一方を制御する。
【００３３】
左ヘッドライトユニット６０は、例えば、左ハイビーム用ヘッドライト６１と、左ロービーム用ヘッドライト６２とを備える。右ヘッドライトユニット７０は、例えば、右ハイビーム用ヘッドライト７１と、右ロービーム用ヘッドライト７２とを備える。
ヘッドライト制御部４０は、左ヘッドライトユニット６０や右ヘッドライトユニット７０に対して、点灯の有無、ハイビームとロービームとのいずれで照射するかを決定し、各ヘッドライトユニットの図示しない駆動部に対して制御信号を供給する。また、ヘッドライト制御部４０は、左ヘッドライトユニット６０および右ヘッドライトユニット７０が照射範囲を変更可能な構成を有している場合には、その照射範囲を決定し、駆動部に対して制御信号を供給してもよい。
【００３４】
ヘッドライト制御部４０は、光源検出装置２０から供給される光源の位置、言い換えるとその光源を有する車両（例えば、対向車両）の位置に基づいて、ハイビームの照射光が当該車両に当たると判断される場合には、ハイビームを自動的に（運転者の操作によらずに）ロービームに変更する制御を行う。これによって、対向車両の運転者がハイビームによって幻惑されるのを抑制することができる。なお、ヘッドライト制御部４０は、左ヘッドライトユニット６０や右ヘッドライトユニット７０の照射光が対向車両に当たると判断される場合には、照射範囲を変更して、対向車両への照射を抑制してもよい。
【００３５】
走行状態検出装置３０は、車両１の走行状態を検出する。具体的に、例えば、走行状態検出装置３０は、車両１のヨーレート、速度、加速度を検出し、これらの走行状態を示す走行状態情報を光源検出装置２０に供給する。
【００３６】
次に、光源検出装置２０の機能構成について説明する。
画像取得部２１は、撮像装置１０が供給する画像を取り込む。
図３は、画像取得部２１が撮像装置１０から取り込んだ画像の例を模式的に示した図である。図３に示すように、画像ＩＭ１には、ヘッドライトＬＬ，ＬＲを点灯させた対向車両Ｃの画像が含まれている。
抽出部２２は、画像取得部２１が取り込んだ画像から光源の候補である光源候補を抽出する。図３を例とすると、抽出部２２は、画像ＩＭ１を画像解析することによって光源候補を抽出する。例えば、抽出部２２は、画像ＩＭ１から所定レベルの輝度を越えるオブジェクトであるヘッドライトＬＬ，ＬＲを、光源候補として抽出する。
【００３７】
画像記憶部２３は、画像取得部２１が取り込んだ１フレームまたは複数フレーム分の過去の画像を記憶する。具体的に、例えば、画像記憶部２３は、画像取得部２１が取り込んだ、現フレーム（Ｎ）より１フレーム前（Ｎ−１）の第１画像と、現フレームより２フレーム前（Ｎ−２）の第２画像とを記憶する。
【００３８】
推定部２４は、画像記憶部２３に記憶された１フレームまたは複数フレーム分の過去の画像に基づいて、光源の移動履歴を算出し、この移動履歴に基づいて、現フレームにおける光源の位置を推定する。例えば、推定部２４は、画像記憶部２３に記憶された第２画像と第１画像との画像のずれに基づいて、光源の移動履歴を算出し、この移動履歴に基づいて、現フレームにおける光源の位置を推定してもよい。推定部２４が推定した位置を推定位置とも呼ぶ。具体的に、例えば、推定部２４は、画像記憶部２３に記憶された過去の画像に含まれる光源の画像上の位置に基づいて、最小二乗法による一次近似によって現フレームにおける光源の推定位置を求める。
【００３９】
走行状態取得部２５は、走行状態検出装置３０から供給される走行状態情報を取り込む。
【００４０】
探索部２６は、推定部２４が推定した推定位置を含む所定の領域のウィンドウ内において、光源を探索する。
図４は、探索部２６によってウィンドウが設けられた画像の例を模式的に示す図である。図４において、画像ＩＭ２における推定位置（Ｘ，Ｙ）は、推定部２４が推定した推定位置の座標である。符号Ｅは、推定位置（Ｘ，Ｙ）に便宜上設けられた推定光源である。図４は、推定位置（Ｘ，Ｙ）が画像ＩＭ２の中央付近にある場合の例である。探索部２６は、推定位置（Ｘ，Ｙ）を基準にウィンドウＷを設ける。具体的に、例えば、探索部２６は、推定位置（Ｘ，Ｙ）を中心に、画像ＩＭ２の縦横比と同一の比となる所定サイズの矩形状のウィンドウＷを設ける。ウィンドウＷのサイズ（面積）は、例えば、画像ＩＭ２のサイズの１／１６である。図４の例では、ウィンドウＷ内に、光源Ｌ１および光源Ｌ２が含まれている。
光源の探索範囲をフレーム全体ではなく所定の領域のウィンドウ内に限ることにより、探索部２６は処理負荷を軽く、且つ効率的に光源を探索することができる。
【００４１】
なお、探索部２６は、走行状態取得部２５から取り込む走行状態情報に基づいてウィンドウの領域を変更する。例えば、探索部２６は、走行状態情報から得られる速度が速くなるに従ってウィンドウの領域を広げ、走行状態情報から得られる速度が遅くなるに従ってウィンドウの領域を狭める。また、例えば、探索部２６は、走行状態情報から得られるヨーレートに応じて、画像における車両１の進行方向にウィンドウを広げる。
これにより、探索部２６は、探索範囲をウィンドウ内に限定したことによる光源の探索漏れを、防止または低減することができる。
【００４２】
また、推定部２４が推定した光源の推定位置が画像の左端近傍または右端近傍である場合、探索部２６は、ウィンドウを水平方向に広げる。
【００４３】
図５は、探索部２６によってウィンドウが設けられた画像の別の例を模式的に示す図である。図５の上図において、画像ＩＭ３における推定位置（Ｘ１，Ｙ１）は、推定部２４が推定した推定位置の座標である。符号Ｅ１は、推定位置（Ｘ１，Ｙ１）に便宜上設けられた推定光源である。推定位置（Ｘ１，Ｙ１）が画像ＩＭ３の左端近傍、例えば、画像ＩＭ３を水平方向（Ｘ方向）に４分割した場合の最も左側のブロック内に含まれる場合、探索部２６は、推定位置（Ｘ１，Ｙ１）を基準に、垂直方向（Ｙ方向）に対して水平方向に長い矩形状のウィンドウＷ１を設ける。ウィンドウＷ１の水平方向の長さは、例えば、画像ＩＭ３の左端から画像ＩＭ３の中心を通る垂直軸Ｊｘを含むまでの長さである。
推定位置が画像の左端近傍にある場合、その推定位置に対応する推定光源は右側に移動する可能性があり、ウィンドウを右方向に広げることによって、探索部２６は、光源の探索漏れを防止または低減することができる。
【００４４】
図５の下図において、画像ＩＭ４における推定位置（Ｘ２，Ｙ２）は、推定部２４が推定した推定位置の座標である。符号Ｅ２は、推定位置（Ｘ２，Ｙ２）に便宜上設けられた推定光源である。推定位置（Ｘ２，Ｙ２）が画像ＩＭ４の右端近傍、例えば、画像ＩＭ４を水平方向（Ｘ方向）に４分割した場合の最も右側のブロック内に含まれる場合、探索部２６は、推定位置（Ｘ２，Ｙ２）を基準に、垂直方向（Ｙ方向）に対して水平方向に長い矩形状のウィンドウＷ２を設ける。ウィンドウＷ２の水平方向の長さは、例えば、画像ＩＭ４の右端から画像ＩＭ４の中心を通る垂直軸Ｊｘを含むまでの長さである。
推定位置が画像の右端近傍にある場合、その推定位置に対応する推定光源は左側に移動する可能性があり、ウィンドウを左方向に広げることによって、探索部２６は、光源の探索漏れを防止または低減することができる。
【００４５】
また、推定部２４が推定した光源の推定位置が画像の下側である場合、探索部２６は、ウィンドウを広める。
図６は、探索部２６によってウィンドウが設けられた画像の別の例を模式的に示す図である。図６において、画像ＩＭ６における推定位置（Ｘ４，Ｙ４）は、推定部２４が推定した推定位置の座標である。符号Ｅ４は、推定位置（Ｘ４，Ｙ４）に便宜上設けられた推定光源である。推定位置（Ｘ４，Ｙ４）が画像ＩＭ６の下側、例えば、画像ＩＭ６を垂直方向（Ｙ方向）に３分割した場合の最も下側のブロック内に含まれる場合、探索部２６は、推定位置（Ｘ４，Ｙ４）を基準に、図４に示したウィンドウＷよりも大きな矩形状のウィンドウＷ４を設ける。ウィンドウＷ４の垂直方向の長さは、例えば、画像ＩＭ６の下端から画像ＩＭ６の中心を通る水平軸Ｊｙを含むまでの長さである。
推定位置が画像の下側にある場合、その推定位置に対応する推定光源は車両１から比較的近くにあり、相対速度が速い可能性があるため、ウィンドウを広めることによって、探索部２６は、光源の探索漏れを防止または低減することができる。
【００４６】
探索部２６は、評価部２６１と、判別部２６２とを備える。ウィンドウ内を探索することによって複数の光源候補（光源の候補）が抽出された場合、評価部２６１は、これら複数の光源候補それぞれの属性および位置と、現フレームより１フレーム前の画像（第１画像）における光源である光源履歴の属性と、推定位置とに基づいて、光源履歴に対する複数の光源候補それぞれの評価値を算出する。光源候補の属性とは、当該光源候補の画像上の特徴量である。例えば、光源候補の属性は、画像における光源候補重心の位置座標、光源候補の輝度、光源候補の画像上の面積等を含む。光源候補の輝度は、光源候補単体の平均輝度でも最高輝度でも輝度分布でもよい。光源候補の画像上の面積は、所定レベル値を超える輝度を有する画素の面積である。
【００４７】
図７は、現フレームより１フレーム前の画像（第１画像）における光源履歴の属性と、現フレームにおける光源候補の属性および位置と、現フレームにおける推定位置との例を模式的に示した図である。評価部２６１は、現フレーム（Ｎ）における光源候補Ｌの輝度Ｉｎ、面積Ｓｎ、および位置（Ｘｎ，Ｙｎ）と、第１画像（Ｎ−１）における光源履歴の輝度Ｉｎ−１および面積Ｓｎ−１と、推定光源の推定位置（Ｘ，Ｙ）とに基づいて、第１画像における光源履歴に対する光源候補Ｌの評価値を算出する。
【００４８】
評価部２６１は、例えば、下記の（１）式を計算することによって、第１画像における光源履歴に対する光源候補の評価値ｅを得る。（１）式において、Ｉｎ−１は第１画像における光源履歴の輝度、Ｓｎ−１はその光源履歴の面積、Ｉｎは現フレームにおける光源候補の輝度、Ｓｎはその光源候補の面積、（Ｘｎ，Ｙｎ）は現フレームにおける光源候補の重心の座標である。また、（Ｘ，Ｙ）は現フレームにおける推定位置の座標である。また、Ａ，Ｂ，Ｃは定数である。
【００４９】
【数１】
2015210538.tif 000003
【００５０】
（１）式によれば、評価部２６１は、光源候補と光源履歴との属性が類似し、相対距離が短い程、小さな評価値ｅを算出する。つまり、（１）式によれば、評価部２６１は、光源履歴に対する光源候補の評価が高いほど小さい評価値ｅを算出する。
【００５１】
判別部２６２は、評価部２６１が算出した複数の光源候補それぞれの評価値ｅのうち最も小さい評価値ｅ（最も高い評価）に対応する光源候補を、光源履歴に対応する光源として判別する。
【００５２】
なお、評価部２６１は、例えば、下記の（２）式を計算することによって、第１画像における光源履歴に対する光源候補の評価値ｅを得てもよい。（２）式において、例えば、Ｘｔは、ウィンドウＷにおける左端から推定位置Ｘまでの距離、Ｙｔは、ウィンドウＷにおける下端から推定位置Ｙまでの距離である。
【００５３】
【数２】
2015210538.tif 000004
【００５４】
観測位置算出部２７は、探索部２６が判別した光源の画像上の位置から、実空間上の光源の位置（観測位置）を算出する。
図８は、実空間におけるヘッドライトの位置を模式的に示す図である。ヘッドライトの位置は、例えば、光源である左ヘッドライトの位置と右ヘッドライトの位置の中間点である基準点Ｃ１として定められる。観測位置算出部２７は、ヘッドライトの位置を、車両１における基準点（例えば、撮像装置１０の位置）と、基準点Ｃ１との距離Ｄ、水平方位θ、および高さ方向の方位φとして算出する。なお、これに代えて、観測位置算出部２７は、ヘッドライトの位置を、車両１における基準点を原点とした直行座標系上の座標（Ｘ，Ｙ，Ｚ）とし、距離ＤをＸの値で表してもよい。観測位置算出部２７は、画像上の位置から実空間Ｓ上の位置に変換する際に、車両１のピッチ角を反映させた補正を行う。車両１のピッチ角は、傾斜角センサを用いて取得してもよいし、撮像装置１０の画像を解析することによって算出してもよい。
【００５５】
次に、第１の実施形態の光源検出装置２０の動作について説明する。
図９は、光源検出装置２０の処理手順の例を示すフローチャートである。
ステップＳ１において、画像取得部２１は、車両１の前方を撮像する撮像装置１０が供給する画像（撮像画像）を取り込む。
次に、ステップＳ２において、光源検出装置２０は、撮像装置１０から取り込んだ画像に基づいて、光源のトラッキング処理を実行する。このトラッキング処理の手順については、後述する。
次に、ステップＳ３において、画像取得部２１は、現フレームの画像を画像記憶部２３に記憶させる。具体的に、例えば、画像取得部２１は、画像記憶部２３に記憶された一つまたは複数の画像のうち、最も古い画像を削除させる。次に、画像取得部２１は、現フレームの画像が最も新しい過去の画像、つまり第１画像となるように、画像記憶部２３に現フレームの画像を記憶させる。
次に、ステップＳ４において、観測位置算出部２７は、探索部２６が判別した光源の画像上の位置から、実空間上の光源の位置（観測位置）を算出する。
次に、光源検出装置２０は、ステップＳ１の処理に戻す。
【００５６】
次に、光源検出装置２０が実行する光源のトラッキング処理について説明する。
図１０は、光源検出装置２０が実行する光源のトラッキング処理の手順の例を示すフローチャートである。
ステップＳ２１において、推定部２４は、画像記憶部２３に記憶された１フレームまたは複数フレーム分の過去の画像に基づいて、光源の移動履歴を算出し、この移動履歴に基づいて、現フレームにおける光源の位置（推定位置）を推定する。
次に、ステップＳ２２において、探索部２６は、推定部２４が推定した推定位置を含む所定の領域のウィンドウ内において、光源を探索する。
【００５７】
次に、ステップＳ２３において、評価部２６１は、光源候補の属性および位置と、現フレームより１フレーム前の画像（第１画像）における光源履歴の属性と、ステップＳ２１の処理において推定した推定位置とに基づいて、光源履歴に対する光源候補の評価値を算出する。評価部２６１は、算出した評価値をメモリに記憶させる。
【００５８】
評価部２６１は、現フレームにおける全ての光源候補について評価値を算出し、評価値をメモリに記憶させる（ステップＳ２４：ＮＯ→ステップＳ２３→ステップＳ２４：ＹＥＳ）。
【００５９】
次に、ステップＳ２５において、判別部２６２は、メモリに記憶された複数の光源候補それぞれの評価値のうち最も評価が高い評価値に対応する光源候補を、光源履歴に対応する光源として判別する。
【００６０】
以上説明した第１の実施形態の光源検出装置２０によれば、過去の光源の移動履歴に基づいて光源の位置を推定し、この推定位置を含む所定のウィンドウ内で光源を探索するため、処理負荷を軽くして且つ高精度に光源のトラッキングを行うことができる。
【００６１】
また、第１の実施形態の光源検出装置２０によれば、ウィンドウ内の複数の光源候補それぞれについて、光源履歴に対する評価を行い、最も評価が高い光源候補を光源として判別するようにした。これにより、雪道等における外乱による光やトラッキング目標以外の別の光源がある場合でも、より正確な光源のトラッキングを行うことができる。
【００６２】
また、第１の実施形態の前照灯制御システム５によれば、光源検出装置２０により特定された光源への照射を抑制するように車両１のヘッドライト制御を行うため、光源であるヘッドライトを搭載した車両の運転者が幻惑されるのを抑制することができる。つまり、光源検出装置２０が検出したヘッドライトの位置を用いることで、より適切にヘッドライトの照射制御を行うことができる。
【００６３】
［第２の実施形態］
第２の実施形態の光源検出装置２０は、探索部２６の処理内容のみ、第１の実施形態と相違する。よって、ここでは、探索部２６の処理内容についてのみ説明し、第１の実施形態との共通部分については、説明を省略する。
【００６４】
探索部２６は、現フレームのウィンドウ内を探索することによって光源候補を抽出した場合、光源候補の属性および位置、ならびに、現フレームより１フレーム前の画像（第１画像）における光源履歴の属性および位置のうち、少なくともいずれか二つに基づいて、光源候補が固定物であるか移動体であるかを判別する。具体的に、例えば、探索部２６は、光源候補の輝度、光源候補の面積、画像における光源候補重心の位置座標、第１画像における光源履歴の輝度、光源履歴の面積、画像における光源履歴重心の位置座標等のうち、少なくともいずれか二つに基づいて、光源候補が固定物であるか移動体であるかを判別する。
【００６５】
例えば、探索部２６は、１フレーム前から現フレームまでの移動量が少ない場合に、光源候補が固定物であると判別する。また、探索部２６は、第１画像における光源履歴の輝度、および現フレームにおける光源候補の輝度が所定レベル以下である場合に、光源候補が固定物であると判別する。
【００６６】
探索部２６は、識別した結果に応じてウィンドウの大きさを変更する。具体的に、例えば、探索部２６は、光源候補が固定物であると判別した場合に、その光源候補を範囲から除外するよう、ウィンドウを小さくする。
なお、探索部２６は、光源候補が移動体であると判別した場合に、ウィンドウを広げてもよい。
【００６７】
以上説明した第２の実施形態の光源検出装置２０によれば、光源候補に、ボッツドット、キャッツアイ、標識等の固定物の光源が含まれている場合に、その固定物を除外して移動体における光源のトラッキングに絞ることができる。よって、さらに精度の高い光源のトラッキングを実現することができる。
【００６８】
上述した各実施形態では、画像記憶部２３は、１フレームまたは複数フレーム分の過去の画像を記憶する例とした。また、推定部２４は、画像記憶部２３に記憶された１フレームまたは複数フレーム分の過去の画像に基づいて、光源の移動履歴を算出し、この移動履歴に基づいて、現フレームにおける光源の位置を推定する例とした。これ以外にも、例えば、画像記憶部２４は、１フレームまたは複数フレーム分の過去の画像における光源の特徴量を記憶するようにしてもよい。具体的に、例えば、画像記憶部２４は、画像取得部２１が取り込んだ、現フレーム（Ｎ）より１フレーム前（Ｎ−１）の第１画像、および現フレームより２フレーム前（Ｎ−２）の第２画像それぞれの、画像における光源重心の位置座標、光源の輝度、光源の画像上の面積を記憶する。そして、例えば、推定部２４は、画像記憶部２３に記憶された１フレームまたは複数フレーム分の光源の特徴量に基づいて、光源の移動履歴を算出し、この移動履歴に基づいて、現フレームにおける光源の位置を推定するようにしてもよい。
このように構成することにより、画像記憶部２３の記憶容量をより小さく抑えることができる。
【００６９】
以上詳述したように、各実施形態の光源検出装置２０によれば、対向車のヘッドライト等の移動体の光源のトラッキングを、処理負荷を軽くして精度よく行うことができる。
【００７０】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７１】
１  車両
５  前照灯制御システム
１０  撮像装置
２０  光源検出装置
２１  画像取得部
２２  抽出部
２３  画像記憶部
２４  推定部
２５  走行状態取得部
２６  探索部
３０  走行状態検出装置
４０  ヘッドライト制御部
５０  各種スイッチ
６０  左ヘッドライトユニット
６１  左ハイビーム用ヘッドライト
６２  左ロービーム用ヘッドライト
７０  右ヘッドライトユニット
７１  右ハイビーム用ヘッドライト
７２  右ロービーム用ヘッドライト
１００  光源検出ユニット
２６１  評価部
２６２  判別部
【図１】
2015210538.tif 000005
【図２】
2015210538.tif 000006
【図３】
2015210538.tif 000007
【図４】
2015210538.tif 000008
【図５】
2015210538.tif 000009
【図６】
2015210538.tif 000010
【図７】
2015210538.tif 000011
【図８】
2015210538.tif 000012
【図９】
2015210538.tif 000013
【図１０】
2015210538.tif 000014