(57)【要約】【課題】逆光画像の判定精度を向上する。【解決手段】画像処理装置２００は、撮影画像を取得し、撮影画像の撮影方向を推定し、太陽の方角を特定するための太陽方角情報を取得し、太陽方角情報に基づいて撮影画像の撮影位置からの太陽の方角を推定し、推定された撮影方向と太陽の方角とに基づいて、撮影画像が逆光画像であるかを推定し、この推定処理の推定結果に応じて用いるべき前記撮影画像の領域を決定し、前記決定された領域の画素の画素値に基づいて前記撮影画像が逆光画像であるか否かを判定する。【選択図】図６
2010226652.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
撮影画像を取得する撮影画像取得部と、
前記撮影画像の撮影方向と、前記撮影画像の撮影位置における太陽の方角との相対角度を推定し、該相対角度に基づいて、前記撮影画像が逆光画像であるか否かを推定する逆光推定部と、
前記逆光推定部の推定結果に応じて用いるべき前記撮影画像の領域を決定し、前記決定された領域の画素の画素値に基づいて前記撮影画像が逆光画像であるか否かを判定する逆光判定部と、
を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記撮影画像を複数の領域に分割する撮影画像分割部を備え、
前記逆光判定部は、少なくとも１つの前記領域の画素の画素値に基づいて判定する、画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記撮影画像分割部は、空が被写体である空領域とその他の領域とに前記撮影画像を分割し、
前記逆光判定部は、前記その他の領域の画素の画素値に基づいて判定する、画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記撮影画像は、道路を走行しながら前方を撮影した画像であり、
前記撮影画像分割部は、左領域、中領域および右領域に前記撮影画像を分割し、
前記逆光判定部は、前記左領域または右領域の画素の画素値に基づいて判定する、画像処理装置。
【請求項５】
画像処理方法であって、
（ａ）コンピュータが、撮影画像を取得する撮影画像取得工程と、
（ｂ）コンピュータが、前記撮影画像の撮影方向と、前記撮影画像の撮影位置における太陽の方角との相対角度を推定し、該相対角度に基づいて、前記撮影画像が逆光画像であるか否かを推定する逆光推定工程と、
（ｃ）コンピュータが、前記逆光推定工程の推定結果に応じて用いるべき前記撮影画像の領域を決定し、前記決定された領域の画素の画素値に基づいて前記撮影画像が逆光画像であるか否かを判定する逆光判定工程と、
を備える、画像処理方法。
【請求項６】
コンピュータに画像処理を実行させるためのコンピュータプログラムであって、
撮影画像を取得する撮影画像取得機能と、
前記撮影画像の撮影方向と、前記撮影画像の撮影位置における太陽の方角との相対角度を推定し、該相対角度に基づいて、前記撮影画像が逆光画像であるか否かを推定する逆光推定機能と、
前記逆光推定機能の推定結果に応じて用いるべき前記撮影画像の領域を決定し、前記決定された領域の画素の画素値に基づいて前記撮影画像が逆光画像であるか否かを判定する逆光判定機能と、
を前記コンピュータに実現させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および、コンピュータプログラムに関するものである。
【背景技術】
【０００２】
コンピュータで利用可能に電子化された地図データを利用して、車や歩行者に経路案内を行う技術を始めとして、地表上の施設や道路などの情報を電子機器の表示部に表示することは広く行われている。地図データの質を向上させるために、地図データに交通規制などの道路属性情報を正確かつ十分に記述することが望まれている。道路属性情報を迅速かつ精度良く充実するために、道路において撮影した画像をコンピュータで画像処理を行う技術が知られている。このような画像処理において撮影画像が逆光条件で撮影された逆光画像か否かを判断する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１２９２７７号公報
【特許文献２】特開２００７−３１５７９９号公報
【特許文献３】特開２００７−１１４３０号公報
【特許文献４】特開２００８−５１６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮影画像が逆光画像であるか否かを、画像処理により判定する判定精度の向上が求められている。
【０００５】
本発明は、画像処理によって撮影画像が逆光画像であるか否かを精度良く判定する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００７】
［適用例１］  画像処理装置であって、
撮影画像を取得する撮影画像取得部と、
前記撮影画像の撮影方向と、前記撮影画像の撮影位置における太陽の方角との相対角度を推定し、該相対角度に基づいて、前記撮影画像が逆光画像であるか否かを推定する逆光推定部と、
前記逆光推定部の推定結果に応じて用いるべき前記撮影画像の領域を決定し、前記決定された領域の画素の画素値に基づいて前記撮影画像が逆光画像であるか否かを判定する逆光判定部と、
を備える、画像処理装置。
【０００８】
こうすれば、撮影方向と太陽の方角とに基づいて、撮影画像が逆光画像か否かを推定し、さらに、撮影画像の画素を用いて逆光画像か否かを判定しているので、最終的に撮影画像が逆光画像か否かを精度良く判定することができる。さらに、逆光推定部の推定結果に応じて、逆光判定部において画素値を用いるべき領域を決定するので、撮影画像が逆光画像か否かを精度良く判定することができる。
【０００９】
［適用例２］適用例１に記載の画像処理装置であって、
前記撮影画像を複数の領域に分割する撮影画像分割部を備え、
前記逆光判定部は、少なくとも１つの前記領域の画素の画素値に基づいて判定する、画像処理装置。
こうすれば、道路を走行しながら撮影した撮影画像に特化して、撮影画像が逆光画像か否かを精度良く判定することができる。
【００１０】
［適用例３］適用例２に記載の画像処理装置であって、
前記撮影画像分割部は、空が被写体である空領域とその他の領域とに前記撮影画像を分割し、
前記逆光判定部は、前記その他の領域の画素の画素値に基づいて判定する、画像処理装置。
こうすれば、逆光画像において暗く写りやすい、空以外の領域の画素に基づいて逆光画像であるか否かを判定するので、判定精度を高くすることができる。
【００１１】
［適用例４］適用例２に記載の画像処理装置であって、
前記撮影画像は、道路を走行しながら前方を撮影した画像であり、
前記撮影画像分割部は、左領域、中領域および右領域に前記撮影画像を分割し、
前記逆光判定部は、前記左領域または右領域の画素の画素値に基づいて判定する、画像処理装置。
こうすれば、逆光画像において暗く写りやすい、空および道路以外の領域の画素に基づいて逆光画像か否かを判定するので、判定精度を高くすることができる。
【００１２】
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法、コンピュータに画像処理を行わせるためのコンピュータプログラム、当該コンピュータプログラムを記録した記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例としての画像処理システムの一部を構成する車両の概略構成を示す説明図である。
【図２】実施例としての画像処理システムの一部を構成する画像処理装置の概略構成を示す説明図である。
【図３】逆光画像選別処理の処理ステップを示すフローチャートである。
【図４】逆光推定処理の処理ステップを示すフローチャートである。
【図５】相対角度と出力されるフラグとの関係を示す図である。
【図６】逆光判定処理の処理ステップを示すフローチャートである。
【図７】逆光判定処理について説明する図である。
【図８】変形例におけるフレーム画像の分割について説明する第１の図である。
【図９】変形例におけるフレーム画像の分割について説明する第２の図である。
【図１０】変形例における撮像装置を示す図である。
【図１１】図１０に示す各撮像装置によって撮影された画像と、各撮像装置によって撮影された画像における逆光判定処理において用いられる画像の分割の態様を示す図である。
【図１２】撮像装置１１０Ｂの撮影方向とフラグとの関係を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照しながら、実施例に基づき説明する。
【００１５】
Ａ．実施例：
・画像処理システムの構成：
図１は、実施例としての画像処理システムの一部を構成する車両１００の概略構成を示す説明図である。図示するように、車両１００は、撮像装置１１０と、ＧＰＳ受信機１２０と、計算機１３０を備えている。
【００１６】
撮像装置１１０は、例えば、デジタルビデオカメラ、連続撮影可能なデジタルスチルカメラなど、所定の時間間隔でデジタルまたはアナログの画像データを生成できるカメラ装置である。撮像装置１１０は、計算機１３０の制御に従って動作可能であると共に、生成した画像データを計算機１３０に対して送信可能であるように、計算機１３０と通信可能に接続されている。撮像装置１１０は、例えば、車両１００のフロントウインドウ越しに車両１００の前方を撮影するように設置されている。撮像装置１１０は、自動露光調整機能を持つため、逆光画像では被写体の色が黒くなることがある。
【００１７】
ＧＰＳ受信機１２０は、ＧＰＳ（Global Positioning System／全地球測位システム）を構成する人工衛星から送信された電波を受信する装置である。ＧＰＳ受信機１２０は、人工衛星から受信した電波をデジタルデータ（ＧＰＳ情報）に変換して、計算機１３０に送信する。
【００１８】
計算機１３０は、ノートパソコンなどの周知のパーソナルコンピュータである。計算機１３０は、図示しない中央演算装置（ＣＰＵ）と、ＲＡＭやＲＯＭなどの内部記憶装置と、ハードディスクなどの外部記憶装置とを備えている。計算機１３０は、ＧＰＳ受信機１２０から取得したＧＰＳ情報に基づいて、車両１００の現在位置を表す現在位置情報（緯度、経度）と現在時刻を表す現在時刻情報を、一定間隔で生成し、車両１００の現在位置と現在時刻を常に認識している。車両１００はさらに走行距離計やジャイロセンサを搭載し、計算機１３０による現在位置の認識精度を高めても良い。計算機１３０は、撮像装置１１０から受信した画像データを、当該画像データが表す撮影画像の撮影位置および撮影時刻と関連付けて、外部記憶装置に記憶する。撮影位置は、撮影時刻における車両１００の現在位置とされる。
【００１９】
車両１００に、交通標識を整備したい対象の経路を走行させながら、撮像装置１１０による撮影を行うことにより、経路の撮影画像と撮影位置と撮影時刻をデータとして蓄積することができる。
【００２０】
図２は、実施例としての画像処理システムの一部を構成する画像処理装置の概略構成を示す説明図である。画像処理装置２００は、周知のコンピュータであり、ＣＰＵ２０１と、入出力部２０２と、ＲＯＭやＲＡＭなどの内部記憶装置２０３と、ハードディスクなどの外部記憶装置２０４とを備えている。入出力部２０２は、外部機器とデータを遣り取りするためのインターフェースであり、例えば、上述した計算機１３０と接続される。この結果、画像処理装置２００は、計算機１３０に記憶された撮影画像の画像データと、撮影画像の撮影位置を示す撮影位置情報および撮影時刻を示す撮影時刻情報を取得できる。
【００２１】
内部記憶装置２０３には、画像処理プログラムが格納されており、ＣＰＵ２０１が当該プログラムを実行することにより、図２の内部記憶装置２０３に図示した機能ブロックの機能を実現される。実現される機能ブロックは、撮影画像取得部Ｍ１１と、走行軌跡取得部Ｍ１２と、撮影方向推定部Ｍ１３と、太陽方角取得部Ｍ１４と、太陽方角推定部Ｍ１５と、撮影画像分割部Ｍ１６、逆光推定部Ｍ１７、逆光判定部Ｍ１８とを含む。
【００２２】
撮影画像取得部Ｍ１１は、入出力部２０２を介して、上述した撮像装置１１０によって撮影された画像データと画像データに関連付けられた撮影位置情報、および、撮影時刻情報を取得する。本実施例では、撮像装置１１０はビデオカメラであり、複数のフレーム画像からなる動画像と、各フレーム画像に関連付けられた撮影位置情報と、撮影時刻情報が取得されるものとする。走行軌跡取得部Ｍ１２は、撮影位置情報と、地図データ（図示省略）に基づき、撮像装置１１０を搭載した車両１００の走行軌跡を特定して、特定した走行軌跡を走行軌跡情報として取得する。撮影方向推定部Ｍ１３は、取得された走行軌跡情報に基づいて、撮像装置１１０の撮影方向を推定する。本実施例では、上述したように、撮像装置１１０は、車両１００の前方を撮影するよう車両１００に設置されているので、走行軌跡情報から容易に取得できる走行方向が撮影方向として推定される。撮像装置１１０が車両１００の前方ではなく、走行方向と所定の角度を有するように設置されている場合は、その搭載角度を加味して撮影方向が推定される。太陽方角取得部Ｍ１４は、太陽の方角を特定するための太陽方角情報として太陽位置データを取得する。取得される太陽位置データは、例えば、地域別、日時別の日の出、日の入り時刻、方位を示した日の出入りデータである。このような、日の出入りデータは、例えば、国立天文台・天文情報センターから信頼性の高いデータが入手できる。太陽方角推定部Ｍ１５は、撮影画像としての動画像の各フレーム画像が撮影された撮影時刻における撮影位置からみた太陽方向の方角を、太陽位置データに基づいて推定する。例えば、撮影位置が属する、または、近接する地域の日の出入りデータが太陽位置データとして取得されていれば、撮影時刻における太陽の方角は、周知の手法を用いて容易に推定できる。撮影画像分割部Ｍ１６は、画像処理による逆光判定（後述）を行う際に、フレーム画像を分割する。本実施例では、第１段階として、フレーム画像を、空を被写体とする空領域と、空以外を被写体（道、建築物など）とする他領域とに分割する。次に、第２段階として、フレーム画像を右領域と中領域と左領域の３領域に、縦の直線を分割線として分割する。分割は、エッジ抽出や色相による抽出などの周知の画像処理技術により実行される。逆光推定部Ｍ１７は、撮影方向と太陽の方角に基づいてフレーム画像が逆光画像か否かを推定する。逆光判定部Ｍ１８は、逆光推定結果を利用しつつ、フレーム画像に対する画像処理によってフレーム画像が逆光画像か否かを判定する。
【００２３】
外部記憶装置２０４は、撮影動画のフレーム画像を記憶するための撮影動画記憶領域Ｄ１１と、撮影動画のフレーム画像ごとに関連付けられた撮影位置情報および撮影時刻情報（撮影属性情報）を記憶するための撮影属性情報記憶領域Ｄ１２と、上述した太陽位置データを記憶するための太陽位置データ記憶領域Ｄ１３を有している。撮影位置情報は、例えば、地表上における座標を表す情報であり、例えば、（緯度、経度）で表される。
【００２４】
・画像処理装置２００の動作：
図３は、逆光画像選別処理の処理ステップを示すフローチャートである。逆光画像選別処理は、画像処理装置２００のＣＰＵ２０１が実行する処理である。逆光画像選別処理は、ＣＰＵ２０１が、計算機１３０から撮影動画のデータと撮影位置情報および撮影時刻情報（撮影属性情報）とを、入出力部２０２を介して取得し、撮影動画記憶領域Ｄ１１および撮影属性情報記憶部Ｄ１２に記憶すると共に、太陽位置データとして日の出入りデータを太陽位置データ記憶領域Ｄ１３に記憶した状態で実行される。
【００２５】
逆光画像選別処理が開始されると、ＣＰＵ２０１は、逆光判定の対象となる撮影動画の撮影属性情報と、太陽位置データを内部記憶装置２０３に読み込む（ステップＳ１１０）。次に、ＣＰＵ２０１は、逆光推定処理を実行する（ステップＳ２００）。
【００２６】
図４は、逆光推定処理の処理ステップを示すフローチャートである。逆光推定処理は、撮影動画が撮影された走行経路を直線道路単位（走行方向が同一と見なせる単位）で区間（撮影区間）に区切り、撮影区間単位で撮影動画を構成するフレーム画像が逆光画像であるか否かを一次的に判定する処理である。
【００２７】
逆光推定処理が開始されると、ＣＰＵ２０１は、処理対象の撮影区間について撮影位置情報と撮影時刻情報を取得する（ステップＳ２１０）。ＣＰＵ２０１は、次に、撮影位置情報により特定される撮影区間の位置（緯度、経度）に近い、または、撮影区間の位置の属する日の出入りデータ（太陽位置データ）を読み込み、撮影時刻情報により特定される撮影時刻の属する日の日の出入り時刻、方位を取得する（ステップＳ２２０）。
【００２８】
日の出入り時刻、方位を取得すると、ＣＰＵ２０１は、対象の撮影区間における撮影時刻の太陽の方角を算出する（ステップＳ２３０）。太陽の方角は、地表を平面とする座標系における方向ベクトルで、例えば、南北方向と東西方向を軸とする平面上のベクトルで算出される。次いで、ＣＰＵ２０１は、対象の撮影区間における撮像装置１１０の撮影方向を算出する（ステップＳ２４０）。上述したように、本実施例では、撮像装置１１０は車両１００の前方を撮影するように設置されているので、撮影方向は、撮影区間における車両１００の走行方向とされる。撮影方向は、太陽の方角と同様に、地表を平面とする座標系における方向ベクトルで、例えば、南北方向と東西方向を軸とする平面上のベクトルで算出される。次に、ＣＰＵ２０１は、太陽の方角と撮影方向との相対角度を算出する（ステップＳ２５０）。相対角度は、計算機上は、太陽方向を表すベクトルと、撮影方向を表すベクトルの内積として算出されるが、以下では理解の容易のため、一周を３６０等分した度数法で表記する。
【００２９】
相対角度が算出されると、ＣＰＵ２０１は、相対角度に応じて、対象の撮影区間に対して、逆光、順光に関するフラグを出力する。すなわち、対象の撮影区間に当該フラグが関連付けされる。図５は、相対角度と出力されるフラグとの関係を示す図である。図５において、撮像装置１１０の撮影方向は、垂直に上の方向である。図５において太陽のマークの中心に付された２桁の数値がフラグを示している。相対角度は、撮影方向と、撮影位置から見て太陽が位置する方角とが一致している場合を０度とし、撮影方向と、撮影位置から見て太陽が位置する方角とが正反対の場合を１８０度として説明する。相対角度が０度から右回りに３０度までおよび左周りに３０度までの６０度の範囲にある場合に、出力されるフラグは「１０」である。相対角度が右回りに３０度から６０度までの範囲にある場合に、出力されるフラグは「１１」である。相対角度が右回りに６０度から１２０度までの範囲にある場合に、出力されるフラグは「２１」である。相対角度が右回りに１２０度から１５０度までの範囲にある場合に、出力されるフラグは「０１」である。相対角度が右回りに１５０度から２１０度までの範囲にある場合に、出力されるフラグは「００」である。相対角度が左回りに３０度から６０度までの範囲にある場合に、出力されるフラグは「１２」である。相対角度が左回りに６０度から１２０度までの範囲にある場合に、出力されるフラグは「２２」である。相対角度が左回りに１２０度から１５０度までの範囲にある場合に、出力されるフラグは「０２」である。本実施例では、フラグ「１０」、「１１」、「１２」、「２２」、「２１」は、逆光を示すフラグであり、逆光フラグとも呼ぶ。本実施例では、フラグ「０２」、「００」、「０１」は、順光を示すフラグであり、順光フラグとも呼ぶ。フラグが出力されると逆光推定処理は終了される。
【００３０】
図３に戻って説明を続ける。逆光推定処理が終了されると、ＣＰＵ２０１は、対象の撮影区間において撮影されたフレーム画像を読み込む（ステップＳ３００）。フレーム画像を読み込むと、ＣＰＵ２０１は、これらのフレーム画像について逆光判定処理をそれぞれ行う（ステップＳ４００）。以下では、理解の容易のため、一つのフレーム画像についての逆光判定処理について説明する。
【００３１】
図６は、逆光判定処理の処理ステップを示すフローチャートである。逆光判定処理が開始されると、ＣＰＵ２０１は、対象の撮影区間が逆光区間か否かを撮影区間に関連付けられたフラグを参照して判断する（ステップＳ４１０）。ここで、逆光区間とは、先に説明した逆光推定処理において逆光フラグが関連付けられた撮影区間を言う。ＣＰＵ２０１は、対象の撮影区間が逆光区間ではない、すなわち、順光フラグが関連付けられている撮影区間であると判断すると（ステップＳ４１０：ＮＯ）、逆光推定処理を終了する。すなわち、順光フラグが関連付けられている撮影区間に撮影されたフレーム画像は、順光画像であると判断されることになる。
【００３２】
ＣＰＵ２０１は、対象の撮影区間が逆光区間ではあると判断すると（ステップＳ４１０：ＹＥＳ）、フレーム画像の画素値をＨＳＶ色空間に変換する（ステップＳ４２０）。本実施例では、撮影画像はＲＧＢ色空間で表現されているので、本ステップでは、ＲＧＢ色空間からＨＳＶ色空間に変換する処理が行われる。始めから撮影画像がＨＳＶ色空間で表現されていれば本ステップは必要ない。ＨＳＶ色空間は、色を色相(Hue)、彩度(Saturation)、明度(Value)の三つの成分からなる色空間である。ＨＳＢ色空間(Hue、Saturation、Brightness)とも言われる。本実施例では、各成分が０〜２５５の値で表されるＨＳＶ色空間を用いている。
【００３３】
次に、ＣＰＵ２０１は、処理対象のフレーム画像において、空領域を抽出し、空領域とその他の領域（他領域）とに分割する（ステップＳ４３０）。空領域の抽出条件は、以下のとおりである。
１．所定の画素値の範囲にある画素（空色画素）であること
２．フレーム画像の上端と他の空色画素を介して、または、直接に連続していること
なお、空色画素とされる画素値の範囲は、例えば、以下の１、または、２の範囲である。
１．明度Ｖが２２０≦Ｖ≦２５５の範囲にある
２．明度Ｖが１５０≦Ｖ≦２５５かつ彩度Ｓが２０≦Ｓ≦２５５かつ色相Ｈが１００≦Ｈ≦２５５の範囲にある
【００３４】
図７は、逆光判定処理について説明する図である。図７には、処理対象のフレーム画像５００が図示されている。フレーム画像５００において、太線で囲まれた部分が空領域として抽出された領域を示しており、太線で囲まれた部分を除く部分が他領域を示している。
【００３５】
ＣＰＵ２０１は、次いで、他領域を３つの領域に分割する。本実施例では、フレーム画像５００は、左領域５１０と中領域５２０と右領域５３０とに、縦方向の分割線（図７：破線の太線）で分割される。本実施例では、フレーム画像５００は、縦４８０ピクセル、横７８０ピクセルの大きさである。左領域５１０は、本実施例では、左から２５０ピクセル（横幅に対して約３２％）の範囲の領域であり、右領域５３０は右から２５０ピクセルの領域である。左領域５１０および右領域５３０の横幅に対する割合は、２５％〜４０％が好ましく、３０％〜３５％がより好ましい。以下における逆光判定では、左領域５１０と右領域５３０の画素の画素値が用いられる。理由は、本実施例における逆光判定は、交通標識を画像処理によって認識するための前処理であり、撮影動画は走行中の車から前方を撮影した動画を用いているからである。この場合、交通標識が存在する可能性が高いのは、左領域５１０または右領域５３０であり、中領域５２０には車両１００のボンネット、空、道路が被写体のほとんどを示す可能性が高い。このため、被写体が暗くなってしまう逆光画像であるか否かは、交通標識が存在する可能性が高い左領域５１０および右領域５３０の画素を用いて判定することが好ましいからである。
【００３６】
他領域を３つに分割すると、ＣＰＵ２０１は、左領域５１０と右領域５３０の画素の明度の平均値をそれぞれ算出する（ステップＳ４５０）。すなわち、ＣＰＵ２０１は、左領域５１０を構成する全ての画素の明度Ｖの平均値である左平均明度ＶＬと、右領域５３０を構成する全ての画素の明度Ｖの右平均明度ＶＲとを算出する。
【００３７】
左平均明度ＶＬと右平均明度ＶＲとが算出されると、ＣＰＵ２０１は逆光判定を行う（ステップＳ４６０）。本ステップの逆光判定は、フレーム画像５００の撮影区間に関連付けられた逆光フラグと、左平均明度ＶＬと、右平均明度ＶＲとに基づいて、フレーム画像５００が逆光画像であるか、準逆光画像であるかを判定するものである。準逆光画像は、例えば、太陽の方角から言えば、逆光である可能性が高いが被写体はそれほど暗くはなっていないと推定される画像である。
【００３８】
以下の条件を満たす場合、フレーム画像５００は逆光画像であると判断され、満たさない場合、フレーム画像５００は準逆光画像であると判断される。
１．逆光フラグ「１０」、かつ、右平均明度ＶＲと左平均明度ＶＬの平均値＜８５
２．逆光フラグ「１１」、かつ、右平均明度ＶＲ＜９８
３．逆光フラグ「１２」、かつ、左平均明度ＶＬ＜９８
４．逆光フラグ「２１」、かつ、右平均明度ＶＲ＜９８、かつ、左平均明度ＶＬ＞９８
５．逆光フラグ「２２」、かつ、左平均明度ＶＬ＜９８、かつ、右平均明度ＶＲ＞９８
【００３９】
逆光判定の結果、逆光画像であると判定された場合には（ステップＳ４６０：ＹＥＳ）、そのまま処理を終了する。すなわち、フレーム画像５００は、逆光フラグと関連付けられたままとなる。逆光判定の結果、準逆光画像であると判定された場合には（ステップＳ４６０：ＮＯ）、逆光フラグに代えて準逆光フラグを出力する、すなわち、フレーム画像５００に逆光フラグに代えて準逆光フラグを関連付けて（ステップＳ４７０）、処理を終了する。
【００４０】
以上説明した本実施例によれば、太陽の方角と撮影方向との相対角度を用いて、フレーム画像５００が逆光であるか否かを推定し、さらに、フレーム画像５００の画素値を用いた逆光判定処理と組み合わせて、最終的にフレーム画像５００が逆光画像であるか順光画像であるか準逆光画像であるか否かを判定する。この結果、フレーム画像５００が逆光画像か否かを精度良く判定することができる。また、本実施例では、左領域５１０と右領域５３０の画素値を用いて逆光画像であるか準逆光画像であるかを判断するので、道路を走行しながら撮影したフレーム画像５００に特化して、フレーム画像５００が逆光画像か否かを精度良く判定することができる。また、空領域を除く他領域の画素値を用いて逆光画像であるか準逆光画像であるかを判断するので、逆光画像において暗く写りやすい、空以外の領域の画素に基づいてフレーム画像５００が逆光画像か否かを精度良く判定することができる。また、太陽の方角と撮影方向に基づいた推定結果に応じて、逆光判定処理において逆光判定に適用する条件を変更するので、フレーム画像５００が逆光画像か否かを精度良く判定することができる。
【００４１】
Ｂ．変形例
・第１変形例：
上記実施例では、フレーム画像５００を左領域５１０と中領域５２０と右領域５３０とに３分割したが、フレーム画像５００の分割の手法は他にも各種考えられる。図８および図９は、変形例におけるフレーム画像の分割について説明する図である。例えば、図８に示すような形状にフレーム画像５００ａを左領域５１０ａと中領域５２０ａと右領域５３０ａとに３分割しても良い。フレーム画像５００ａの下部は、車両１００のボンネットや車道が写る可能性が高いので、その部分は逆光判定に考慮しない中領域５２０ａに含めることが好ましいからである。図９に示す例では、フレーム画像５００ｂの下半分を下領域５４０ｂとし、フレーム画像５００ｂの上半分を左領域５１０ｂと中領域５２０ｂと右領域５３０ｂとに３分割している。逆光判定において考慮するのは左領域５１０ｂと右領域５３０ｂである。フレーム画像５００ａの下部は、車両１００のボンネットや車道が写る可能性が高いので、その部分は逆光判定に考慮しない中領域５２０ａに含めることが好ましいからである。また、逆光判定の後に行う画像処理が交通標識の認識処理である場合には、交通標識は一般的に画面上部に写り込む可能性が高いことから当該領域が逆光になっているか否かを精度良く判定できることが好ましい。したがって、図９に示すように分割することがより好ましい場合がある。
【００４２】
・第２変形例：
上記実施例では、撮像装置１１０の設置方向（撮影方向）が車両１００の走行方向と同じであるが、車両１００の走行方向に対して撮像装置１１０の設置方向がある角度をなしていても良い。この場合、例えば、撮像装置１１０が設置方向の前方ではなく、少し右向きに設置されている場合には、フレーム画像５００において、道路や空が写り込む領域と、道路に沿った地物が写り込む領域とが変わってくるので、分割の分割比率、分割形状などを適宜変更することが好ましい。その例を図１０〜図１２を参照して説明する。
【００４３】
図１０は、変形例における撮像装置を示す図である。図１０には、撮像装置１１０Ａ〜１１０Ｅの５つの撮像装置が示されている。撮像装置１１０Ａは、実施例と同様に、走行方向と撮影方向が一致している。撮像装置１１０Ｂの撮像方向は、走行方向に対して、右回りに７２度の角度をなしている。撮像装置１１０Ｃの撮像方向は、走行方向に対して、右回りに１４４度の角度をなしている。撮像装置１１０Ｄの撮像方向は、走行方向に対して、左回りに１４４度の角度をなしている。撮像装置１１０Ｅの撮像方向は、走行方向に対して、左回りに７２度の角度をなしている。
【００４４】
図１１は、図１０に示す各撮像装置によって撮影された画像と、各撮像装置によって撮影された画像における逆光判定処理において用いられる画像の分割の態様を示す図である。図１１（Ａ）〜（Ｅ）は、それぞれ、撮像装置１１０Ａ〜１１０Ｅにおいて撮影された画像を示している。撮像装置１１０Ａにおいて撮影された画像は、実施例と同様に、逆光判定処理において３分割される。これに対して、撮像装置１１０Ｂ、１１０Ｅにおいて撮影された画像は、画像全体に建物、交通標識などの高さのある地物が被写体となる可能性がある（図１１（Ｂ）、（Ｅ））ので、逆光判定処理において分割されない。その結果、撮像装置１１０Ｂ、１１０Ｅにおいて撮影された画像の逆光判定処理では、画像全体の画素が考慮される。
【００４５】
一方、撮像装置１１０Ｃにおいて撮影された画像は、画像の右半分において、道路、空などが被写体になる可能性が高く、画像の左半分において、建物、交通標識などの高さのある地物が被写体となる可能性が高い。このため、撮像装置１１０Ｃにおいて撮影された画像の逆光判定処理では、撮影画像は左右に等分割される（図１１（Ｃ））。そして、撮像装置１１０Ｃにおいて撮影された画像の逆光判定処理では、左側の領域の画素のみが考慮され、右側の領域の画素は考慮されない。また、撮像装置１１０Ｄにおいて撮影された画像は、画像の左半分において、道路、空などが被写体になる可能性が高く、画像の右半分において、建物、交通標識などの高さのある地物が被写体となる可能性が高い。このため、撮像装置１１０Ｄにおいて撮影された画像の逆光判定処理では、撮影画像は左右に等分割される（図１１（Ｄ））。そして、撮像装置１１０Ｃにおいて撮影された画像の逆光判定処理では、右側の領域の画素のみが考慮され、左側の領域の画素は考慮されない。
【００４６】
図１２は、撮像装置１１０Ｂの撮影方向とフラグとの関係を示す図である。図１２に示すように、本変形例における逆光推定処理では、実施例と同様に、撮像装置１１０Ｂの撮影方向と太陽の方角との相対角度に対応して順光フラグまたは出力フラグが出力される。走行方向と太陽の方角との相対角度は無関係であり、撮影方向と太陽の方角との相対角度に対応してフラグが出力される。
【００４７】
・第３変形例：
上記実施例では、フレーム画像５００を左領域５１０と中領域５２０と右領域５３０とに分割し、空の領域を除いた左領域５１０と右領域５３０の明度を逆光の判定に用いているが、左領域５１０と右領域５３０の領域において、エッジ抽出などにより道路の領域をさらに除いた領域の明度を逆光の判定に用いても良い。立体の地物の部分が逆光画像であるか否かを判断するために好ましい被写体であり、道路などの平面の被写体は逆光画像であるか否かを判断するために好ましい被写体ではないからである。
【００４８】
・第４変形例：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしても良い。
【００４９】
以上、本発明の実施例および変形例について説明したが、本発明はこれらの実施例および変形例になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々の態様での実施が可能である。
【符号の説明】
【００５０】
１００…車両
１１０…撮像装置
１２０…ＧＰＳ受信機
１３０…計算機
２００…画像処理装置
２０１…ＣＰＵ
２０２…入出力部
２０３…内部記憶装置
２０４…外部記憶装置
５００…フレーム画像
【図１】
2010226652.tif 000003
【図２】
2010226652.tif 000004
【図３】
2010226652.tif 000005
【図４】
2010226652.tif 000006
【図５】
2010226652.tif 000007
【図６】
2010226652.tif 000008
【図７】
2010226652.tif 000009
【図８】
2010226652.tif 000010
【図９】
2010226652.tif 000011
【図１０】
2010226652.tif 000012
【図１１】
2010226652.tif 000013
【図１２】
2010226652.tif 000014