(57)【特許請求の範囲】
【請求項１】
路面の状態を判定する路面状態判定装置であって、
紫外線と赤外線を含む光が当たっている前記路面を撮像した紫外線画像にもとづき前記路面における紫外線特徴量を算出する紫外線特徴量算出手段と、
前記光が当たっている前記路面を撮像した赤外線画像にもとづき前記路面における赤外線特徴量を算出する赤外線特徴量算出手段と、
算出した前記紫外線特徴量、前記赤外線特徴量、および前記路面の温度分布画像にもとづいて、前記路面の前記状態を判定する路面状態判定手段と、
を備え、
前記路面の前記状態とは、前記路面上の雪、水、氷の状態および分布であり、
前記紫外線特徴量は、前記路面上での紫外線反射率であり、
前記赤外線特徴量は、前記路面上での赤外線吸収率であり、
前記紫外線特徴量算出手段は、
前記紫外線画像に含まれる天空の領域に含まれる画素の画素値の代表値である第１の天空画素値を算出し、前記紫外線画像に含まれる前記路面の領域に含まれる各画素について、前記第１の天空画素値と当該画素の画素値の比にもとづいて当該画素に対応する前記路面上の点における前記紫外線反射率を算出するか、または、
前記紫外線画像の前記路面の前記領域に含まれる各画素について、前記路面上において対応する点が当該画素と同じである画素の画素値を、前記路面を撮像した可視光線画像もしくは前記赤外線画像から得て、前記可視光線画像もしくは前記赤外線画像から得た前記画素値と前記紫外線画像の当該画素の画素値との比にもとづいて、前記紫外線画像の当該画素に対応する前記路面上の前記点における前記紫外線反射率を算出し、
前記赤外線特徴量算出手段は、
前記赤外線画像に含まれる天空の領域に含まれる画素の画素値の代表値である第２の天空画素値を算出し、前記赤外線画像に含まれる前記路面の領域に含まれる各画素について、前記第２の天空画素値と当該画素の画素値の比にもとづいて当該画素に対応する前記路面上の点における前記赤外線吸収率を算出するか、または、
前記赤外線画像の前記路面の前記領域に含まれる各画素について、前記路面上において対応する点が当該画素と同じである画素の画素値を、前記可視光線画像もしくは前記紫外線画像から得て、前記可視光線画像もしくは前記紫外線画像から得た前記画素値と前記赤外線画像の当該画素値との比にもとづいて、前記赤外線画像の当該画素に対応する前記路面上の前記点における前記赤外線吸収率を算出し、
前記路面状態判定手段は、
前記紫外線反射率を、前記紫外線反射率に関して定められている１つ以上の閾値と比較した結果と、
前記紫外線反射率が、前記紫外線反射率に関する最小の閾値未満の場合はさらに、前記赤外線吸収率を、前記赤外線吸収率に関して定められている１つ以上の閾値と比較した結果と、
前記温度分布画像が示す前記路面の温度を所定の温度と比較した結果と、
の組み合わせにもとづいて、予め定められた複数の分類項目のいずれかに前記路面の前記状態を分類することにより、前記路面の前記状態を判定するか、または、
前記路面上の同じ点に対応する、前記紫外線画像における第１の画素と、前記赤外線画像における第２の画素について、
前記第１の画素に対応して前記紫外線特徴量算出手段が算出した前記紫外線反射率と、前記第２の画素に対応して前記赤外線特徴量算出手段が算出した前記赤外線吸収率が入力される入力層と、
１層以上の中間層と、
前記路面の前記状態に応じた値を出力する出力層
を含むニューラルネットワークの前記出力層からの出力と、前記温度分布画像の画素値との組み合わせにもとづいて、前記第１の画素と前記第２の画素にともに対応する前記同じ点における前記路面の前記状態を判定する
ことを特徴とする路面状態判定装置。
【請求項２】
前記温度分布画像を生成する温度分布画像生成手段をさらに備え、
該温度分布画像生成手段は、前記路面を撮像した赤外線画像と、該撮影された前記路面上の２箇所で測定された温度にもとづいて前記温度分布画像を生成する、
ことを特徴とする請求項１に記載の路面状態判定装置。
【請求項３】
路面状態判定方法であって、
紫外線と赤外線を含む光が当たっている路面を撮像した紫外線画像にもとづき前記路面における紫外線特徴量を算出し、
前記光が当たっている前記路面を撮像した赤外線画像にもとづき前記路面における赤外線特徴量を算出し、
算出した前記紫外線特徴量、前記赤外線特徴量、および前記路面の温度分布画像にもとづいて、前記路面の前記状態を判定することを含み、
前記路面の前記状態とは、前記路面上の雪、水、氷の状態および分布であり、
前記紫外線特徴量は、前記路面上での紫外線反射率であり、
前記赤外線特徴量は、前記路面上での赤外線吸収率であり、
前記紫外線特徴量を算出する処理は、
前記紫外線画像に含まれる天空の領域に含まれる画素の画素値の代表値である第１の天空画素値を算出し、前記紫外線画像に含まれる前記路面の領域に含まれる各画素について、前記第１の天空画素値と当該画素の画素値の比にもとづいて当該画素に対応する前記路面上の点における前記紫外線反射率を算出する処理、または、
前記紫外線画像の前記路面の前記領域に含まれる各画素について、前記路面上において対応する点が当該画素と同じである画素の画素値を、前記路面を撮像した可視光線画像もしくは前記赤外線画像から得て、前記可視光線画像もしくは前記赤外線画像から得た前記画素値と前記紫外線画像の当該画素の画素値との比にもとづいて、前記紫外線画像の当該画素に対応する前記路面上の前記点における前記紫外線反射率を算出する処理
を含み、
前記赤外線特徴量を算出する処理は、
前記赤外線画像に含まれる天空の領域に含まれる画素の画素値の代表値である第２の天空画素値を算出し、前記赤外線画像に含まれる前記路面の領域に含まれる各画素について、前記第２の天空画素値と当該画素の画素値の比にもとづいて当該画素に対応する前記路面上の点における前記赤外線吸収率を算出する処理、または、
前記赤外線画像の前記路面の前記領域に含まれる各画素について、前記路面上において対応する点が当該画素と同じである画素の画素値を、前記可視光線画像もしくは前記紫外線画像から得て、前記可視光線画像もしくは前記紫外線画像から得た前記画素値と前記赤外線画像の当該画素値との比にもとづいて、前記赤外線画像の当該画素に対応する前記路面上の前記点における前記赤外線吸収率を算出する処理
を含み、
前記路面の前記状態を判定する処理は、
前記紫外線反射率を、前記紫外線反射率に関して定められている１つ以上の閾値と比較した結果と、
前記紫外線反射率が、前記紫外線反射率に関する最小の閾値未満の場合はさらに、前記赤外線吸収率を、前記赤外線吸収率に関して定められている１つ以上の閾値と比較した結果と、
前記温度分布画像が示す前記路面の温度を所定の温度と比較した結果と、
の組み合わせにもとづいて、予め定められた複数の分類項目のいずれかに前記路面の前記状態を分類することにより、前記路面の前記状態を判定する処理、または、
前記路面上の同じ点に対応する、前記紫外線画像における第１の画素と、前記赤外線画像における第２の画素について、
前記第１の画素に対応して算出した前記紫外線反射率と、前記第２の画素に対応して算出した前記赤外線吸収率が入力される入力層と、
１層以上の中間層と、
前記路面の前記状態に応じた値を出力する出力層
を含むニューラルネットワークの前記出力層からの出力と、前記温度分布画像の画素値との組み合わせにもとづいて、前記第１の画素と前記第２の画素にともに対応する前記同じ点における前記路面の前記状態を判定する処理
を含む
ことを特徴とする路面状態判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をもとに路面の状態を判定する技術に関する。
【背景技術】
【０００２】
冬期寒冷地は路面凍結によりスリップ事故が多発している。路面の状態（乾燥、湿潤、水膜、圧雪、凍結等）を把握する路面状況把握センサ（以下「路面センサ」）で凍結等の危険な路面状態を検知してドライバーや車両へ提供することにより、ドライバーや車両は減速等の危険回避制御を行い、スリップ事故を回避することができる。
【０００３】
また、冬期寒冷地において道路管理者は除雪作業や凍結防止剤散布作業を路面状態に応じて適切に行う必要がある。路面センサを道路管理業務に活用すれば、路面をリアルタイムで監視し、凍結等の危険事象発生時には直ちに道路管理作業を行うことができる。これにより道路管理業務を高品質に行うことが可能になり、道路管理者の作業負荷を軽減することもできる。
【０００４】
そのため、カメラ映像を画像処理することにより路面の状態を把握する多くの路面センサが開発されており、例えば以下のようなものがある。
特許文献１に記載されたシステムは、水と氷で吸収率が異なる波長の赤外線を、半導体レーザのように波長帯域の狭い光源を用いて路面に照射し、路面の反射光を赤外線センサで受光して、路面上の水と氷を弁別している。また、水と氷の双方に吸収されにくい波長帯域の光も組み合わせて用いることにより、乾燥・凍結・湿潤・積雪の判定をしている。
【０００５】
特許文献２に記載された装置は、ハロゲンランプなどで路面を照射し、光が正反射する領域とその他の領域における反射光の輝度値にもとづいて路面の鏡面化の度合いを検出することにより、「つるつる路面」の発生を検出している。つるつる路面は、路面上の氷や雪の表面が走行車両によって磨かれるなどして鏡面化した路面で、非常に滑りやすく危険な路面である。
【０００６】
特許文献３に記載された装置では、予め可視光線カメラで路面を撮像した画像を路面状態（乾燥・湿潤・積雪など）と環境状態（晴天・曇天・夜間など）の分類にしたがってデータベース化しておき、可視光線カメラで撮像した路面の画像がデータベース内のどの画像に最も近いかを、統計解析により算出した特徴量を用いて判定する。
【０００７】
これらの他にも、可視光線が水面により偏光される性質を利用し、カメラの前面に取り付けた偏光フィルタを通して得た画像を分析することにより路面状態を判定するセンサや、赤外線が水面で鏡面反射する性質を利用し、赤外線の反射光をカメラで捉えた画像から鏡面反射強度を算出することにより路面状態を判定するセンサが開発されている。また、これらの方式に共通する路面凍結判定方法として、ある箇所の路面温度を測定し、その路面温度が予め定めた温度より低い場合は路面状態を凍結とする判定手法が開発されている。
【０００８】
しかし、従来の路面センサには以下の問題があった。
特許文献１のシステムは、半導体レーザを使っており、広範囲の路面状態を判定することができない。特許文献２の装置はつるつる路面の判定に特化しており、乾燥、湿潤、水膜、圧雪、凍結等の細かい分類に応じて路面状態を判定することができない。特許文献３の装置は、センサを設置する場所ごと、路面状態ごと、環境状態ごとにデータベース化する必要があるため手間がかかり、データベースが不完全なうちは周辺の影や日照変化等の外乱により誤判定が生じやすいという問題があった。
【０００９】
また、偏光フィルタを利用する方法は、原理的に水分の検知しかできないという課題があり、赤外線の鏡面反射強度を分析する手法は、照明が届く範囲の狭い領域しか路面状態を判定することができないという課題があった。また、特定の箇所で測定した路面温度にもとづく凍結判定方式では、実際に凍結している箇所の路面温度よりも測定箇所の路面温度の方が高かった場合は、凍結していないと誤判定するという課題があった。
【００１０】
安全運転支援、道路管理業務支援用途において路面センサに要求されるのは、広範囲な路面の状態を検知することができ、しかも路面をいくつかの領域に分けて領域ごとに路面状態を検知可能なこと、誤判定が少ないこと、初期コストおよび調整コストが少ないこと、乾燥・湿潤・水膜・圧雪・凍結等の細分化された状態が判ること、などである。しかし、現状ではこれらの要件を全て満たす路面センサは存在しない。
【特許文献１】特開平９−３１８７６６号公報
【特許文献２】特開２００４−１５７０７３号公報
【特許文献３】特開２００２−１６２３４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の課題は、広範囲な路面の状態を検知することができ、細分化された路面状態が路面を分割した領域ごとに利用者に分かるようにでき、誤判定が少なく、初期コストおよび運用コストがなるべく少ない、路面状態判定の技術を提供することである。
【課題を解決するための手段】
【００１２】
図１は本発明の原理を示す図である。本発明による路面状態判定装置１は、状態を判定したい路面に紫外線と赤外線を含む光が当たっている状態でその路面を撮像した紫外線画像、赤外線画像、温度分布画像を用いて、その路面の状態を判定する。路面状態判定装置１は、紫外線画像にもとづいて路面における紫外線特徴量を算出する紫外線特徴量算出手段２と、赤外線画像にもとづいて路面における赤外線特徴量を算出する赤外線特徴量算出手段３と、算出した紫外線特徴量、赤外線特徴量、および温度分布画像にもとづいて路面の状態を総合的に判定する路面状態判定手段４とを備える。
【００１３】
以下で、路面の状態とは、路面上の雪、水、氷の状態、及びそれらの分布のことを指す。紫外線は物質に当たった時に散乱しやすく、特に雪表面では紫外線の大部分が散乱されることが知られている。したがって、路面上での紫外線に関する特徴量（強度や反射率など）の値から路面上の雪の状態を検知することができ、路面全体について検知すれば、路面上の雪の分布を検知することができる。また、赤外線は水に吸収されやすいため、路面上での赤外線の特徴量（強度や吸収率など）の値から路面上の水の状態を検知することができ、路面全体について検知すれば、路面上の水の分布を検知することができる。また、路面上の氷の状態（凍結の状態）は路面温度と相関関係を持つ。そこで、本発明による路面状態判定装置１は、紫外線や赤外線の特徴量の値を画像から算出し、路面の温度分布を画像から得て、路面の状態を判定する。
【００１４】
紫外線特徴量算出手段２における紫外線特徴量の算出方法として好ましい第一の方法は、天空と路面を含む構図で撮像された紫外線画像を用い、天空領域に対応する天空画素値と、路面領域に対応する路面画素値をそれぞれ算出し、天空画素値と路面画素値の比にもとづいて紫外線特徴量を算出する方法である。好ましい第二の方法は、さらに可視光線画像を用いて可視光線画像の画素値と紫外線画像の画素値にもとづいて紫外線特徴量を算出するか、赤外線画像の画素値と紫外線画像の画素値にもとづいて紫外線特徴量を算出する方法である。
【００１５】
紫外線特徴量として路面での紫外線強度を用いる場合、外乱（季節、時間帯、日陰か日向か、など）の影響を受ける。しかし、上記の第一の方法では、天空画素値と路面画素値の比にもとづいた紫外線特徴量を算出するため、季節や時間帯によって紫外線の日射量自体が異なっていても、その影響を受けずに判定することができる。また、上記の第二の方法では、日陰では紫外線だけでなく可視光線や赤外線の日射量も少なくなることに鑑み、可視光線画像または赤外線画像の画素値との比にもとづいた紫外線特徴量を算出するため、日陰か日向かという影響は小さい。
【００１６】
赤外線特徴量算出手段３における赤外線特徴量の算出方法として好ましい第一の方法は、天空と路面を含む構図で撮像された赤外線画像を用い、天空領域に対応する天空画素値と、路面領域に対応する路面画素値をそれぞれ算出し、天空画素値と路面画素値の比にもとづいて赤外線特徴量を算出する方法である。好ましい第二の方法は、さらに可視光線画像を用いて可視光線画像の画素値と赤外線画像の画素値にもとづいて赤外線特徴量を算出するか、紫外線画像の画素値と赤外線画像の画素値にもとづいて赤外線特徴量を算出する方法である。
【００１７】
赤外線特徴量として路面での赤外線強度を用いる場合、外乱（季節、時間帯、日陰か日向か、など）の影響を受ける。しかし、上記の第一の方法では、天空画素値と路面画素値の比にもとづいた赤外線特徴量を算出するため、季節や時間帯によって赤外線の日射量自体が異なっていても、その影響を受けずに判定することができる。また、上記の第二の方法では、日陰では赤外線だけでなく可視光線や紫外線の日射量も少なくなることに鑑み、可視光線画像または紫外線画像の画素値との比にもとづいた赤外線特徴量を算出するため、日陰か日向かという影響は小さい。
【００１８】
なお、本発明が利用する光は、紫外線と赤外線を含む光であれば、日光の路面による反射光（自然光）や、車のヘッドライトや投光器による光や道路に既設されている照明光などの路面による反射光など、いずれの光でも構わない。路面に照射する光については、上記ライトに限るものではなく、波長分布がわかるものであれば後で補正値を算出できるので、どのようなライトによるものであっても構わない。
【発明の効果】
【００１９】
本発明による路面状態判定装置１は、紫外線、赤外線、温度という３種類の情報を組み合わせて路面状態を判定しているため、路面状態を細かく分類して判定することができる。また、専用のレーザ光などを必要としないため、広範囲の路面を撮像し、その広範囲の路面について路面状態を判定することができる。また、画像から路面状態を判定するので、特定の箇所についてのみ状態を判定するのではなく、撮像した路面全体について判定することができ、路面を小領域に分割して小領域ごとに路面状態を判定することも可能である。さらに、紫外線特徴量算出手段２や赤外線特徴量算出手段３において、外乱の影響を排除するための算出方法を用いることにより、季節や時間帯に応じてパラメータ調整などを行わなくても、高い判定精度が得られる。また、データベースを使う手法に比べて必要な手間が少ない。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図２は、本発明の第一の実施形態による路面状態判定装置の機能ブロック図である。第一の実施形態では、紫外線画像、赤外線画像、温度分布画像をそれぞれ別のカメラを用いて撮像し、撮像したそれぞれの画像をもとに路面状態を判定する。第一の実施形態では、後の処理に必要となるため、状態を判定したい路面だけでなく天空も含む構図で上記画像を撮像する。また、本実施形態では紫外線特徴量として紫外線反射率を用い、赤外線特徴量として赤外線吸収率を用いる。そして、本実施形態では可視光線画像を撮像するカメラをさらに用いる。可視光線画像は本発明を実施するのに必須の要素ではないが、本実施形態では上記の赤外線特徴量の算出方法として好ましい第二の方法を採用しているので、可視光線画像が必要である。
【００２１】
第一の実施形態による路面状態判定装置は、紫外線カメラ撮像部１０１、紫外線画像生成部１０２、路面・天空領域抽出部１０３、紫外線反射率算出部１０４、投光判定部１０５、可視光線カメラ撮像部１０６、可視光線画像生成部１０７、第一の路面領域抽出部１０８、赤外線カメラ撮像部１０９、赤外線画像生成部１１０、第二の路面領域抽出部１１１、赤外線吸収率算出部１１２、赤外線サーモグラフィー撮像部１１３、路面状態判定部１１４、路面状態画像生成部１１５、路面判定結果出力部１１６、温度分布画像生成部１１７、を備える。
【００２２】
紫外線カメラ撮像部１０１で路面と天空をあわせて撮像し、紫外線画像生成部１０２でデジタルデータとしての紫外線画像を生成する。生成された紫外線画像は、路面・天空領域抽出部１０３において路面領域と天球領域を抽出される。例えば、紫外線カメラ撮像部１０１と紫外線画像生成部１０２は、紫外線ＣＣＤ（Charge Coupled Device；電荷結合素子）カメラとして公知の構成を使ってもよい。
【００２３】
路面・天空領域抽出部１０３における路面領域や天空領域の抽出方法には、例えば、以下のような様々な手法を用いることができる。路面上の白線を検出しその白線で囲まれた範囲内を路面としてもよい。カメラの設置位置や向きなどから、撮影された画像のどの領域が路面でどの領域が天空になるかを判定することとしてもよい。紫外線は天空に多く含まれるため、紫外線画像において画素値が所定の値よりも大きな箇所を天空としてもよい。天空を赤外線サーモグラフィー装置で撮像すると、赤外線放射がほぼ０だと認識されるため、赤外線サーモグラフィー画像において画素値が所定の値よりも小さな箇所を天空としてもよい。カメラが路側に固定された実施態様においては、晴天の昼間などに１回、上記の方法によって路面領域や天空領域を抽出して記憶しておき、以後は記憶した領域にもとづいて、路面領域や天空領域を判定してもよい。画素値としては、グレースケールの画像でその画素の明るさを示す値、カラー画像でその画素のＲＧＢ各成分のそれぞれの値（Ｒ画素値、Ｇ画素値、Ｂ画素値）、またはそれらをもとに算出される値、などを採用することができる。
【００２４】
紫外線反射率算出部１０４は、図１の紫外線特徴量算出手段２にあたる。紫外線反射率算出部１０４では、路面・天空領域抽出部１０３で抽出された路面領域に含まれる各画素について、その画素に対応する路面上の地点での紫外線反射率を算出する。具体的には、まず紫外線画像の天空領域に含まれる画素の画素値の平均値（「天空画素値」と呼ぶことにする）を算出する。そして、紫外線画像の路面領域に含まれる各画素の画素値を天空画素値で割った比にもとづいて、路面領域の各画素に対応する紫外線反射率を算出する。天空画素値の算出には、平均値ではなく、最頻値や中央値などを用いてもよい。算出された紫外線反射率は、路面状態判定部１１４で使われる。
【００２５】
前述のとおり、紫外線は物質に当たった時に散乱しやすく、特に雪表面では紫外線の大部分が散乱されるため、紫外線の情報から雪の状態を検知することができる。しかし、紫外線強度が所定の閾値以上なら雪が路面上に存在していると判定する場合、季節や時間帯による紫外線の日射量自体の変動の影響を受けて誤判定することがある。例えば、紫外線の日射量自体が多ければ、雪が存在しなくても紫外線強度が閾値を越え、雪が存在すると誤判定する場合がある。これを防ぐために閾値を大きめに設定しておくと、逆に、雪が存在していて紫外線の大部分が雪表面で散乱されているにもかかわらず、紫外線の日射量自体が少ないために雪が存在していないと誤判定することがある。よって、紫外線強度で雪の状態を検知しようとすると、季節や時間帯に応じた判断基準を設けることが必要になる（例えば季節や時間帯によって複数の閾値を切り替えて判断するなど）。
【００２６】
そこで、紫外線反射率算出部１０４では、紫外線強度よりも外乱の影響を受けにくい特徴量として紫外線反射率を採用し、上記のように、路面領域に含まれる各画素の画素値と天空画素値との比にもとづいて紫外線反射率を算出している。これにより、季節や時間帯による紫外線の日射量の変動の影響を抑えている。この方法によれば、季節や時間帯に応じて路面状態を判定するための閾値を変動させる必要がない。
【００２７】
なお、外乱の要因としては、紫外線の日射量自体の変動の他に日陰と日向の違いもあるが、本実施形態における紫外線反射率算出部１０４では考慮していない。もともと紫外線は大気で散乱されやすいため、太陽の直接光よりも天空に多く含まれる。そして、散乱されやすいという性質から、例えば可視光線の日陰と日向の強度差に比べれば、紫外線の日陰と日向の強度差は小さく、日陰か日向かの違いによらず比較的安定して雪の状態や分布を検知することができるためである。
【００２８】
可視光線カメラ撮像部１０６は、紫外線カメラ撮像部１０１で撮像したのと同じ路面と天空を撮像し、可視光線画像生成部１０７でデジタルデータとしての可視光線画像を生成する。可視光線画像は、本発明を実施するために必須のものではないが、本実施形態においては、後述する赤外線吸収率の算出および路面判定結果の出力のために必要である。可視光線カメラ撮像部１０６と可視光線画像生成部１０７は、例えば、ＣＣＤカメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor；相補型金属酸化膜半導体）画像センサとして公知の構成を利用することができる。生成された可視光線画像は、第一の路面領域抽出部１０８で路面領域が抽出される。路面領域の抽出方法は、路面・天空領域抽出部１０３と同様に、様々な手法を用いることができる。
【００２９】
赤外線カメラ撮像部１０９は、紫外線カメラ撮像部１０１や可視光線カメラ撮像部１０６で撮像したのと同じ路面を撮像し、赤外線画像生成部１１０でデジタルデータとしての赤外線画像を生成する。例えば、赤外線カメラ撮像部１０９と赤外線画像生成部１１０は、赤外線デジタルＣＣＤカメラとして公知の構成を利用することができる。生成された赤外線画像は、第二の路面領域抽出部１１１で路面領域が抽出される。路面領域の抽出方法は、路面・天空領域抽出部１０３と同様に、様々な手法を用いることができる。また、実施の態様によっては、第一の路面領域抽出部１０８と第二の路面領域抽出部１１１が共通であってもよい。
【００３０】
赤外線吸収率算出部１１２は、図１の赤外線特徴量算出手段３にあたる。赤外線吸収率算出部１１２では、第二の路面領域抽出部１１１で抽出された路面領域に含まれる各画素について、その画素に対応する路面上の地点での赤外線吸収率を算出する。具体的には、赤外線画像の路面領域に含まれる各画素について、その画素値と、その画素に対応する可視光線画像上の画素の画素値との比を求めることにより、各画素に対応する赤外線吸収率を算出する。算出された赤外線吸収率は、路面状態判定部１１４で使われる。
【００３１】
前述のとおり、赤外線は水に吸収されやすいという特徴をもち、実際に赤外線を利用した含水量計等が開発されている。本発明でも赤外線のこの特徴を利用して路面上の水の状態を検知している。この時参照する赤外線の波長領域は、水の吸収波長領域である０.９μｍ前後といったように限定してもよい。
【００３２】
赤外線吸収率算出部１１２で上記のように比を使うのは、日陰か日向かという外乱の影響を抑えるためである。水の状態を検知するのに、例えば赤外線強度を用いて、赤外線強度が小さければ水が存在していると判定する（水に赤外線が吸収された結果、赤外線強度が小さくなったと判断する）場合、実際には路面が乾燥していても、水があると誤判定してしまう場合がある。なぜなら、路面上の日陰部分では日射量が少ないため、日射に含まれる赤外線量も少なくなるからである。このような誤判定を避けるために、赤外線吸収率算出部１１２では、日陰部分では可視光線量、赤外線量ともに少なくなるため、可視光線量と赤外線量の比率が日陰部分と日向部分であまり変わらないということを利用している。すなわち、路面に水がなければ、可視光線画像の画素値と赤外線画像の画素値の比は日陰か日向かという違いによらずほぼ一定しているが、路面に水があれば、赤外線が水に吸収されてその比率が変化し、その変化の度合いから路面の水を検知することができる。また、比を用いることにより、季節や時間帯による日射量の変動の影響も抑えられる。
【００３３】
ところで、本発明は紫外線画像と赤外線画像を用いて路面状態を判定するため、路面に十分な量の紫外線と赤外線が当たっている必要がある。そこで、十分な日射があるとき（晴天の昼間など）は日射光が路面で反射した反射光を利用し、そうでないとき（夜間や雨天など）は投光器などの照明装置で路面に光を照射し、その光の反射光を利用する。そのため、第一の実施形態では、投光判定部１０５において、路面・天空領域抽出部１０３で抽出した天空領域の紫外線強度が所定の閾値より小さい場合は十分な日射がないと判定して照明装置から路面に光を照射し、天空領域の紫外線強度が所定の閾値以上の場合は十分な日射があると判定して照射を停止する。天空領域の紫外線強度は、例えば、紫外線反射率算出部１０４で求めた天空画素値を用いることができる。また、実施の態様によっては、投光判定部１０５は光を照射するか否かを決定するだけでなく、さらに天空領域の紫外線強度に応じて、照明装置から光を照射する場合の光量の調節を行うようにしてもよい。例えば、天空領域の紫外線強度が大きいほど照明装置から照射する光量を小さくし、天空領域の紫外線強度が所定の閾値以上のときは照明装置から光を照射しないように調節してもよい。
【００３４】
可視光線画像による従来の路面状態判定においては、昼と夜の境目で誤判定が生じやすいという課題があるが、このように日射光と照明装置による光を切り替えて使うことにより、昼夜を通じて高精度に路面の状態を判定することができる。なお、照明装置には、紫外線と赤外線を含む光を照射することができるものを用いる。照明装置は、キセノンランプのように分光分布が比較的一様なものを用いてもよいし、太陽光と分光分布が似ている太陽光照明を用いてもよい。路側にある既存の街灯や、車両のヘッドランプを用いてもよい。予め照明装置が発する光の分光分布が分かっていれば、分光分布にもとづき、紫外線反射率算出部１０４や赤外線吸収率算出部１１２での算出値を補正してもよい。
【００３５】
赤外線サーモグラフィー撮像部１１３も、紫外線カメラ撮像部１０１、可視光線カメラ撮像部１０６、赤外線カメラ撮像部１０９で撮像した路面を撮像し、温度分布画像生成部１１７でデジタルデータとしての温度分布画像を生成する。赤外線サーモグラフィー撮像部１１３および温度分布画像生成部１１７は、赤外線サーモグラフィー装置として公知の構成を利用することができる。温度分布画像は路面温度を表しており、路面状態判定部１１４で使われる。
【００３６】
赤外線は熱を持った物体からは必ず放射されており、赤外線の放射量と温度は相関関係を持つ。赤外線サーモグラフィー装置はこの性質を利用して撮像した領域の温度を測定するカメラである。
【００３７】
路面状態判定部１１４は、図１の路面状態判定手段４にあたる。路面状態判定部１１４は、紫外線反射率算出部１０４、赤外線吸収率算出部１１２、温度分布画像生成部１１７から、紫外線反射率、赤外線吸収率、温度分布画像を入力され、それらの入力にもとづいて路面状態を判定する。本実施形態における判定は、予め定められた路面状態の分類項目のいずれかに分類することに当たる。例えば、「圧雪、圧雪氷板、シャーベット、ザクレ、乾燥、湿潤、氷膜、水膜、氷板」という分類項目を予め定めておき、路面状態判定部１１４ではこれら分類項目のいずれに該当するのかを判定する。分類項目は任意に定めることができるので、判定結果を見る人間にとって分かりやすいように、また、路面状態の判定を行う地方の気候などに合わせて、適切に細分化して定めておくことが好ましい。
【００３８】
判定方法は、様々な方法を用いることができるが、第一の実施形態においては、予め決められた判定条件にしたがって路面状態を判定する。例えば、図３の（ａ）は、路面状態ごとに実験から得られた紫外線反射率の概略値を示しているが、この紫外線反射率にもとづき、紫外線反射率が８０％以上の場合を積雪と判定してもよい。本実施形態では、紫外線反射率が高い順に圧雪、シャーベットと判定し、紫外線反射率が低い場合は赤外線吸収率が高い順に水膜、湿潤、乾燥と判定することにする。図３の（ｂ）は、その判定条件を示したものであり、閾値Ａ、Ｂ、Ｃ、Ｄを用い（Ａ＜Ｂ、Ｃ＜Ｄ）、紫外線反射率がＤ以上の場合、Ｃ以上Ｄ未満の場合、Ｃ未満の場合に分けている。また、乾燥・湿潤・水膜の区別は紫外線反射率からは判断しにくいので、紫外線反射率がＣ未満の場合を、さらに、赤外線吸収率がＢ以上の場合、Ａ以上Ｂ未満の場合、Ａ未満の場合に分けている。そして、それぞれの分類について、凍結状態を判定するために、路面温度が０℃より高い場合と０℃以下の場合に分けている。Ａ、Ｂ、Ｃ、Ｄの値は、実験等により適切な値を求めて予め設定しておく（例えば図３の（ａ）の紫外線反射率から、Ｄ＝８０％と設定する）。図３の（ｂ）では、路面温度が０℃より高い場合を「／」の左に、０℃以下の場合を「／」の右に示してある。例えば、紫外線反射率がＣ以上Ｄ未満のときは赤外線吸収率に関係なく、路面温度が０℃より高ければ「シャーベット」（雪が融けかかって水と混じりドロドロになった状態）と判定し、路面温度が０℃以下なら「ザクレ」（ザクザクした氷の状態）と判定する。氷は路面温度と相関関係を持つため、例えば、紫外線反射率がＣ未満の場合は、赤外線吸収率の値から検知した水の分布と、温度分布画像生成部１１７で生成した温度分布画像から分かる路面温度とから、氷の状態（氷膜、氷板など）を判定することができる。
【００３９】
上記の閾値Ａ、Ｂ、Ｃ、Ｄや、図３の（ｂ）の各領域に対応する分類項目（「圧雪」など）のデータは、路面状態判定部１１４内の記憶手段または他の構成要素と共有している記憶手段に予め記憶されている。入力された紫外線反射率、赤外線吸収率、温度分布画像から路面状態の分類項目を求める工程は、上記の記憶手段に記憶されたプログラムによってソフトウエア的に実現してもよく、路面状態判定部１１４に専用のハードウエア回路を設けることにより実現してもよい。記憶手段はＲＯＭ（Read Only Memory）などの不揮発性メモリでもよい。あるいは、記憶手段はＲＡＭ（Random Access Memory）でもよく、この場合は、必要なデータやプログラムが予め記憶された可搬型記憶媒体（フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、光磁気ディスクなど）から、記憶内容をＲＡＭに予め読み込んでおくか、不図示の通信インタフェイスを通じてネットワークから必要なデータやプログラムをＲＡＭに予め読み込んでおく。
【００４０】
路面状態判定部１１４は、各画素に対して上記の判定を行ってもよく、路面を複数の領域に分割し、それぞれの領域ごとに上記の判定を行ってもよい。例えば、それぞれの領域が縦Ｎ画素×横Ｍ画素になるように路面を分割し、各領域に対して、Ｎ×Ｍ個の画素値の平均値を求め、その平均値を使って図３の判定条件にしたがって判定してもよい。平均値の代わりに最頻値など別の値を用いてもよい。
【００４１】
路面状態画像生成部１１５は、路面状態判定部１１４が判定した路面状態をもとに、路面状態画像を生成し、路面判定結果出力部１１６に出力する。
路面状態画像は、例えば、路面を複数の領域に分割し、それぞれの領域ごとに路面状態を色分けした画像である。例えば、乾燥を青、湿潤や水膜を黄色、シャーベットや圧雪をオレンジ色、圧雪氷板、ザクレ、氷膜、氷板を赤で表示する（危険度が高い路面状態ほど赤に近い色で表示する）など、人間が危険箇所とその危険の度合を把握しやすいように、予め路面状態に応じて表示色を決めておく。領域ごとではなく、画素ごとに色分けするのでもよい。
【００４２】
また、凍結事象は路面温度からの推測であるため、他の事象と区別して表現してもよい。例えば、紫外線や赤外線から判定した雪や水の状態を色で表現し、路面温度から判定した凍結の発生具合を色とは別の手段で表現してもよい。具体的には、例えば、路面温度が０℃以下の領域は立体的に高く見えるよう表現し、路面温度が０℃より高い領域は高さがない（平らに見える）ように表現する。このように路面に凹凸があるように画像で表現すると、ドライバーが路面の危険度を直感的に把握しやすくなる。また、色と高さの表現を組み合わせることにより、雪や水に関する路面状態と凍結に関する路面状態が複合した状態を一つの画像で表現することができ、路面の危険状態を人間が容易に把握することができる。あるいは、危険度が高い路面状態ほど高く表現するなど、高さによる表現のみを用いてもよい。
【００４３】
路面判定結果出力部１１６は、可視光線画像生成部１０７で生成された可視光線画像（本実施形態においてはカラー画像だが、グレースケール画像でもよい）と路面状態画像を合成して、路面状態判定結果画像を出力する。路面状態判定結果画像の例を図４に示す。図４は、路面を複数の領域に分割してそれぞれの領域ごとに路面状態を色分けした路面状態画像が、可視光線画像と合成された路面状態判定結果画像の例である。図４では圧雪を黄色、凍結を赤色で表示しており、路面の危険状態が把握しやすい。
【００４４】
なお、本実施形態では、紫外線カメラ撮像部１０１、可視光線カメラ撮像部１０６、赤外線カメラ撮像部１０９、赤外線サーモグラフィー撮像部１１３の視点位置の差は無視することができる程度だと仮定している。つまり、これらの撮像部で撮像され、紫外線画像生成部１０２、可視光線画像生成部１０７、赤外線画像生成部１１０、温度分布画像生成部１１７で生成された各画像において、各画像のサイズが同じなら、路面上の同じ１点が各画像の同じ座標の画素に対応すると見なすことができ、特に座標変換処理を必要としないものと仮定している。実施の態様によっては各撮像部の視点位置の差を無視することができない場合もあるが、その場合は、後述のように、路面上の同じ１点が各画像のどの座標に相当するのか対応をとる手段をさらに設ければよい。
【００４５】
図５は本発明の第二の実施形態による路面状態判定装置の機能ブロック図である。第二の実施形態では、紫外線画像、赤外線画像、可視光線画像を１つのステレオカラーカメラを用いて撮像する。紫外線画像と赤外線画像から路面状態を判定し、可視光線画像を路面判定結果出力などの用途に用いることができる。また、本実施形態でも、紫外線特徴量として紫外線反射率を用い、赤外線特徴量として赤外線吸収率を用いる。可視光線画像は本発明の実施に必須の要素ではないが、本実施形態では上記の赤外線特徴量の算出方法として好ましい第二の方法を採用しているので、可視光線画像も撮像して利用する。
【００４６】
第二の実施形態による路面状態判定装置は、青波長領域カット部３０１、第一の撮像部３０２、第一の画像生成部３０３、路面・天空領域抽出部３０４、紫外線反射率算出部３０５、投光判定部３０６、赤波長領域カット部３０７、第二の撮像部３０８、第二の画像生成部３０９、路面領域抽出部３１０、赤外線吸収率算出部３１１、相対位置算出部３１２、赤外線サーモグラフィー撮像部３１３、路面状態判定部３１４、路面状態画像生成部３１５、カラー画像合成部３１６、路面判定結果出力部３１７、温度分布画像生成部３１８、を備える。
【００４７】
第一の撮像部３０２と第二の撮像部３０８は、ステレオカラーカメラの２つの撮像部である。第一の撮像部３０２は少なくとも紫外線領域と可視光線領域（赤波長領域、緑波長領域、青波長領域の全てを含む）に感度を有し、第二の撮像部３０８は少なくとも赤外線領域と可視光線領域（赤波長領域、緑波長領域、青波長領域の全てを含む）に感度を有する。第一の撮像部３０２と第二の撮像部３０８がともに、紫外線領域から赤外線領域までの波長領域に感度を有する受光素子を用いた撮像部であってもよい。
【００４８】
例えば、一般的な可視光線画像撮影用のカメラ（ＣＣＤカラーカメラやＣＭＯＳカラーカメラなど）の中には、近紫外線領域から近赤外線領域までの波長領域に感度を有する受光素子を用いているものがある。そのようなカメラは、受光素子の分光感度特性が人間の眼とは異なるため、フィルタで紫外線と赤外線をカットしてから受光させ、撮像した可視光線画像が人間の眼で見た映像に近くなるようにしている。本実施形態では、例えば、そのようなカメラを２つ備えたステレオカラーカメラから、紫外線と赤外線をカットするフィルタを外し、第一の撮像部３０２と第二の撮像部３０８として利用することができる。
【００４９】
ところで、一般にＣＣＤやＣＭＯＳなどの固体撮像素子を用いたカメラでは、受光素子自体には色を識別する能力がないので、ＲＧＢ三色のカラーフィルタや分光プリズムを用いて光を赤（Ｒ）・緑（Ｇ）・青（Ｂ）に分解して受光素子に別々に受光させ、ＲＧＢそれぞれの画素値を得てカラー画像を生成することにより、カラー撮影を行っている。また、一般的な可視光線画像撮影用のＣＣＤカメラやＣＭＯＳカメラにおいて、色の分解は、前述した紫外線と赤外線をカットするフィルタを透過した後の光（つまり可視光線の光）に対して行う。よって、色の分解に用いるカラーフィルタや分光プリズムは、可視光線の赤・緑・青だけを選択するものでなくともよい。つまり、可視光線の赤波長領域の光とそれより長い波長領域の光（つまり赤外線）とを分別しないカラーフィルタや分光プリズムを使っても、赤外線が既にフィルタでカットされているため、このカラーフィルタまたは分光プリズムにより、可視光線の赤波長領域の光のみが取り出され、Ｒ画素値が得られる。同様に、可視光線の青波長領域の光とそれより短い波長領域の光（つまり紫外線）とを分別しないカラーフィルタや分光プリズムを使っても、紫外線が既にフィルタでカットされているため、このカラーフィルタまたは分光プリズムにより、可視光線の青波長領域の光のみが取り出され、Ｂ画素値が得られる。ただし、可視光線の緑波長領域の光に対応するＧ画素値だけは、可視光線の緑波長領域の光そのものをカラーフィルタや分光プリズムを用いて取り出す必要がある。
【００５０】
カラーフィルタや分光プリズムは、本実施形態においては第一の撮像部３０２や第二の撮像部３０８に構成要素として含まれている。カラーフィルタを使うものとして説明すると、本実施形態において、青（Ｂ）のカラーフィルタは可視光線の青波長領域の光およびそれより短い波長領域の光（つまり紫外線）を通すフィルタ、緑（Ｇ）のカラーフィルタは可視光線の緑波長領域の光を通すフィルタ、赤（Ｒ）のカラーフィルタは可視光線の赤波長領域の光およびそれより長い波長領域の光（つまり赤外線）を通すフィルタである。
【００５１】
第一の撮像部３０２と第二の撮像部３０８の前には、それぞれ青波長領域カット部３０１と赤波長領域カット部３０７が備えられている。青波長領域カット部３０１は、可視光線のうちの青波長領域の光をカットするフィルタであり、図６の（ｂ）のフィルタ手段に相当する。赤波長領域カット部３０７は、可視光線のうちの赤波長領域の光をカットするフィルタであり、図６の（ａ）のフィルタ手段に相当する。青波長領域カット部３０１と赤波長領域カット部３０７の機能および図６については、第一の画像生成部３０３と第二の画像生成部３０９の機能とあわせて後述する。なお、第一の撮像部３０２と第二の撮像部３０８として、前記のように一般的な可視光線画像用のＣＣＤカメラやＣＭＯＳカメラから紫外線と赤外線をカットするフィルタを外したものを用いる場合、外したフィルタのかわりにそれぞれ青波長領域カット部３０１と赤波長領域カット部３０７が撮像部の前に備えられる。
【００５２】
第一の実施形態と同様に、第一の撮像部３０２では路面と天空をあわせて撮像し、第一の画像生成部３０３でデジタルデータとしての画像を生成する。以下の処理では、ここで生成した画像のＲＧＢの各成分を使った計算を行うため、第一の画像生成部３０３では、フルカラーの画像ではなく、ＲＧＢの各要素に分解された画像（以下、それぞれ「Ｒ画像」、「Ｇ画像」、「Ｂ画像」と言う）をそれぞれ生成するものとして説明する。しかし、実施の態様によっては、第一の画像生成部３０３ではフルカラーの画像を生成し、紫外線反射率算出部３０５などで、ＲＧＢの各要素のうち必要な要素の画素値を画像データから求めることとしてもよい。
【００５３】
第一の画像生成部３０３で生成されたＢ画像は、紫外線画像に相当する。理由は以下のとおりである。
図６は、ステレオカラーカメラを用いて赤外線画像および紫外線画像を生成する原理を示す図で、このうち（ｂ）が、第一の画像生成部３０３で生成されたＢ画像が紫外線画像になることを説明している。図中のフィルタ手段は、青波長領域カット部３０１に相当し、青波長領域が遮断領域、紫外線領域が透過領域である。また、Ｂ画像は青のカラーフィルタを通過した光にもとづいて生成されるが、前述のとおり、青のカラーフィルタは可視光線の青波長領域の光およびそれより短い波長領域の光（つまり紫外線）を透過させる。よって、青波長領域カット部３０１を通過し、第一の撮像部３０２で青のカラーフィルタを通過して受光されるのは紫外線であるから、第一の画像生成部３０３で生成されたＢ画像は紫外線画像に相当する。
【００５４】
また、第一の画像生成部３０３で生成されたＧ画像は緑波長領域の光に対応する画像である。第一の画像生成部３０３で生成されたＲ画像は、第一の撮像部３０２が赤外線にも感度を有していれば赤波長領域の光と赤外線にもとづく画像となり、第一の撮像部３０２が赤外線に感度を有していなければ、赤波長領域の光にもとづく画像となる。
【００５５】
第一の画像生成部３０３で生成されたＢ画像は、路面・天空領域抽出部３０４において路面領域と天球領域を抽出される。路面・天空領域抽出部３０４における路面領域や天空領域の抽出方法は、第一の実施形態における路面・天空領域抽出部１０３の場合と同様である。
【００５６】
紫外線反射率算出部３０５は、図１の紫外線特徴量算出手段２にあたる。紫外線反射率算出部３０５では、路面・天空領域抽出部３０４で抽出された路面領域に含まれる各画素について、その画素に対応する路面上の地点での紫外線反射率を算出する。算出方法は、第一の実施形態における紫外線反射率算出部１０４と同様である。算出された紫外線反射率は、路面状態判定部３１４で使われる。
【００５７】
第二の実施形態においても、第一の実施形態と同様の投光判定部３０６を備えており、照明装置から光を照射するか否かを紫外線の日射量に応じて判定している。照明装置はこの判定結果にしたがって制御される。
【００５８】
赤波長領域カット部３０７、第二の撮像部３０８、第二の画像生成部３０９の動作原理は図６の（ａ）に示されており、図６の（ｂ）に示した青波長領域カット部３０１、第一の撮像部３０２、第一の画像生成部３０３の動作原理と同様である。動作原理が同様であることは、図６の（ａ）と（ｂ）が対称的であることからも明らかである。どちらも、撮像したい第一の波長領域（赤外線または紫外線）と、それに隣接した第二の波長領域（可視光線）に感度を有する撮像部（第二の撮像部３０８または第一の撮像部３０２）を用い、第二の波長領域に含まれる赤・緑・青の波長領域の中で第一の波長領域に最も近い波長領域である第三の波長領域を遮断領域とするフィルタ手段（赤波長領域カット部３０７または青波長領域カット部３０１）を透過させた光をＲＧＢの３色に分解することで、所望の赤外線画像または紫外線画像を得ている。
【００５９】
つまり、赤波長領域カット部３０７によって可視光線の赤波長領域の光がカットされるので、第二の画像生成部３０９で生成されたＲ画像は赤外線画像に相当する。第二の画像生成部３０９で生成されたＧ画像は緑波長領域の光に対応する画像である。第二の画像生成部３０９で生成されたＢ画像は、第二の撮像部３０８が紫外線にも感度を有していれば青波長領域の光と紫外線にもとづく画像となり、第二の撮像部３０８が紫外線に感度を有していなければ、青波長領域の光にもとづく画像となる。
【００６０】
ところで、人間の眼が最も明るさを感じる色は緑なので、路面状態を判定する過程で計算に用いる可視光線画像として、フルカラーの可視光線画像のかわりにＧ画像を用いても大きな問題はないと考えられる。そこで、第二の実施形態においては、路面領域抽出部３１０に赤外線画像として第二の画像生成部３０９で生成されたＲ画像を与え、可視光線画像として第二の画像生成部３０９で生成されたＧ画像を与える。そして、路面領域抽出部３１０で路面領域を抽出されたＲ画像とＧ画像を赤外線吸収率算出部３１１に与える。路面領域を抽出する方法および２つの画像から赤外線吸収率を算出する方法は、第一の実施形態と同様である。なお、赤外線吸収率算出部３１１は、図１の赤外線特徴量算出手段３にあたる。
【００６１】
相対位置算出部３１２は、第一の画像生成部３０３および第二の画像生成部３０９で生成された２つのＧ画像を比較し、ステレオカラーカメラ（２つの撮像部）で撮像された２つの画像の相対位置情報を算出する。算出手法は公知なので省略するが、例えば、２つのＧ画像の輪郭線を抽出し、テンプレートマッチングにより２つの画像のＸ軸およびＹ軸のずれを計算することにより、相対位置情報を算出する。
【００６２】
赤外線サーモグラフィー撮像部３１３と温度分布画像生成部３１８は、第一の実施形態における赤外線サーモグラフィー撮像部１１３、温度分布画像生成部１１７と同様である。
【００６３】
路面状態判定部３１４は、図１の路面状態判定手段４にあたる。路面状態判定部３１４は、紫外線反射率算出部３０５、赤外線吸収率算出部３１１、温度分布画像生成部３１８から、紫外線反射率、赤外線吸収率、温度分布画像を入力され、それらの入力にもとづいて路面状態を判定する。また、もともとステレオカラーカメラは立体画像認識などに利用されるものなので、２つの撮像部の視点の差を無視することができない程度に２つの撮像部の間隔があいている。紫外線反射率と赤外線吸収率は、このような２つの別の撮像部で撮像された画像にもとづいて算出されているため、路面上の同じ１点がそれぞれの画像では異なる座標の画素に対応している。そこで、ある箇所の紫外線反射率と赤外線吸収率からその箇所の路面状態を判定するためには、２つの画像の座標を対応させる必要がある。相対位置算出部３１２で算出した相対位置情報は、２つの撮像部の視点の差に対応する情報である。よって、相対位置算出部３１２で算出した相対位置情報を路面状態判定部３１４に与えている。
【００６４】
路面状態判定部３１４は第一の実施形態と同様の方法で判定してもよいが、第二の実施形態では路面状態判定部３１４がニューラルネットワークで構成されている。図７と図８を参照して、ニューラルネットワークを用いた路面状態判定方法を説明する。
【００６５】
図７は画像の画素配置構成の例を示す図である。以下では、路面状態判定部３１４は各画素各画素に対して路面状態を判定するものとし、塗りつぶされている画素（３,２）の路面状態を判定する場合の例を説明する。また、以下では、既に相対位置情報によって２つの画像の座標の対応が取られているものとする。例えば、赤外線吸収率の算出に使った画像の座標を相対位置情報によって変換して、紫外線反射率の算出に使った座標に合わせ、双方の画像で同じ座標の画素が路面上の同じ１点に対応するよう、処理を済ませた後であるとして説明する。後述するように、画素（３,２）の路面状態を判定するのに、その近傍の太線で囲まれた８つの画素、すなわち（２,１）から（４,３）の範囲にある画素の画素値も用いる。
【００６６】
図８は画素（３,２）に対してニューラルネットワークを構成した例を示す図である。路面状態判定部３１４は各画素各画素に対して路面状態を判定するので、図８と同様のニューラルネットワークが各画素に対して構成されている。ニューラルネットワークは入力層５０１、中間層５０２、出力層５０３からなる階層構造をなす。図８では中間層５０２が１層だが、多層としてもよい。
【００６７】
ニューラルネットワークの運用過程においては、路面状態判定の対象画素である（３,２）、および近傍の（２,１）から（４,３）の範囲にある８個の画素の、紫外線反射率と赤外線吸収率が入力層５０１に入力される。中間層５０２を経て出力層５０３に路面状態に応じた数値（例えば、乾燥は０.１、湿潤は０.３、水膜は０.５、シャーベットは０.７、圧雪は０.９、など）が出力される。対象画素だけでなく近傍画素の紫外線反射率、赤外線吸収率も入力することで、出力の精度をより高めることができる。なお、近傍画素として選ぶ画素の範囲は、実施の態様によって任意に定めてもよい。出力層５０３からの出力値と、温度分布画像から得られる温度にもとづいて、路面状態を判定する。例えば、出力層５０３からの出力が湿潤を表す値で路面温度が０℃より高いときは湿潤と判定し、路面温度が０℃以下のときは氷膜と判定する（図３の（ｂ）の判定条件で「湿潤／氷膜」という組になっているのを参照）。
【００６８】
ところで、ニューラルネットワークを運用するためには、まず中間層５０２および出力層５０３のノードでウェイト（重み付け）を学習させる必要がある。学習過程においては、ニューラルネットワークに対象画素（３,２）および近傍画素の紫外線反射率と赤外線吸収率を入力データとして与え、路面状態に応じた数値を教師データとして与えることによりウェイト変化量を算出する。これを繰り返すことにより最適なウェイトを算出することができる。路面状態に応じた数値は人間が与えてもよく、感雨計や積深計等の気象計器の出力値から算出した数値を自動的に与えてもよい。人間が目視によって路面状態を判定する基準は人によって異なるが、ニューラルネットワークにそれぞれの人に応じた教師データを与えて学習させれば、それぞれの人に応じた基準で路面状態を判定することができるようになる。
【００６９】
路面状態画像生成部３１５は、第一の実施形態における路面状態画像生成部１１５と同様に、路面状態判定部３１４が判定した路面状態をもとに、路面状態画像を生成し、路面判定結果出力部３１７に出力する。
【００７０】
カラー画像合成部３１６は、第一の画像生成部３０３および第二の画像生成部３０９で生成された画像と、相対位置算出部３１２で算出された相対位置情報を入力として受け取り、カラー画像を合成して路面判定結果出力部３１７に出力する。このカラー画像は、第一の実施形態において路面判定結果出力部１１６に入力として与えられる可視光線画像に相当する。
【００７１】
カラー画像の合成は、例えば、第一の撮像部３０２を視点とする画像を合成する場合、次のように行う。まず、第二の画像生成部３０９で生成されたＢ画像を相対位置情報にもとづいて第一の撮像部３０２を視点とするＢ画像に変換する。第二の撮像部３０８が紫外線にも感度を有する場合、このＢ画像は青波長領域の光と紫外線にもとづく画像なので、第一の画像生成部３０３で生成されたＢ画像（紫外線画像）との差分画像を求め、その差分画像を青波長領域の光に対応するＢ画像とする。緑波長領域の光に対応するＧ画像は、第一の画像生成部３０３で生成されたＧ画像を用いる。赤波長領域の光に対応するＲ画像も、Ｂ画像と似た手順で求められる。すなわち、第二の画像生成部３０９で生成されたＲ画像（赤外線画像）を相対位置情報にもとづいて第一の撮像部３０２を視点とするＲ画像に変換する。第一の撮像部３０２が赤外線にも感度を有する場合、第一の画像生成部３０３で生成されたＲ画像は赤波長領域の光と赤外線にもとづく画像なので、これと変換によってもとめたＲ画像との差分画像を求め、その差分画像を赤波長領域の光に対応するＲ画像とする。こうして得られたＲ画像、Ｇ画像、Ｂ画像から、カラー画像を合成する。
【００７２】
実施の態様によっては、第二の撮像部３０８を視点とする画像を合成するようにしてもよく、第一の撮像部３０２と第二の撮像部３０８の中間点を視点とする画像を合成するようにしてもよい。また、差分画像を求めずに、例えば第一の画像生成部３０３で生成されたＲ画像をそのまま、カラー画像を合成するためのＲ画像として用いてもよい。実施の態様に応じてカラー画像の合成に必要な画像が異なるが、カラー画像合成部３１６は第一の画像生成部３０３および第二の画像生成部３０９から、それらの必要な画像を入力として受け取るものとする。
【００７３】
路面判定結果出力部３１７は、第一の実施形態における路面判定結果出力部１１６と同様に、カラー画像合成部３１６で合成したカラー画像と路面状態画像生成部３１５で生成した路面状態画像を合成し、判定結果画像を出力する。
【００７４】
なお、障害物検知などのために車載のステレオカメラを用いるシステムなどがあるが、そのような既存のシステムと、カメラや撮像した画像を共有することにより、第二の実施形態による路面状態判定装置は、低コストで実現することができる。
【００７５】
図９は本発明の第三の実施形態による路面状態判定装置の機能ブロック図である。第三の実施形態では、一つの撮像装置（汎用カラーカメラ）で紫外線画像、可視光線画像、赤外線画像を撮像する。紫外線画像と赤外線画像から路面状態を判定し、可視光線画像を路面判定結果出力などの用途に用いることができる。また、本実施形態でも、紫外線特徴量として紫外線反射率を用い、赤外線特徴量として赤外線吸収率を用いる。可視光線画像は本発明の実施に必須の要素ではないが、本実施形態では上記の紫外線特徴量の算出方法として好ましい第二の方法を採用しているので、そのために撮像して利用する。
【００７６】
第三の実施形態による路面状態判定装置は、青波長領域・赤波長領域カット部４０１、撮像部４０２、画像生成部４０３、路面領域抽出部４０４、紫外線反射率算出部４０５、路面・天空領域抽出部４０６、投光判定部４０７、赤外線吸収率算出部４０８、赤外線画像撮像部４０９、温度測定部４１０、温度分布画像生成部４１１、路面状態判定部４１２、路面状態画像生成部４１３、路面判定結果出力部４１４、を備える。
【００７７】
青波長領域・赤波長領域カット部４０１は、可視光線のうちの青波長領域と赤波長領域の光をカットし、紫外線、可視光線のうちの緑波長領域の光、赤外線を通過させるトリプルバンドパスフィルタである。青波長領域・赤波長領域カット部４０１を、図１０に示すように、第二の実施形態における青波長領域カット部３０１と赤波長領域カット部３０７の双方（図６）の機能を兼ねたフィルタ手段と見なすこともできる。なお、図６と図１０の比較から明らかなとおり、実施の態様によっては、青波長領域・赤波長領域カット部４０１をトリプルバンドパスフィルタで実現するのではなく、第二の実施形態における青波長領域カット部３０１と赤波長領域カット部３０７と同様の２つのフィルタで構成して実現することも可能である。つまり、フィルタを２段構成にすることにより、青波長領域の光と赤波長領域の光の双方をそれぞれのフィルタでカットし、全体としてトリプルバンドパスフィルタと同等の効果を得るようにしてもよい。
【００７８】
撮像部４０２は青波長領域・赤波長領域カット部４０１を通過した光を受光して撮像する。撮像部４０２は紫外線から赤外線に感度を有するものを用いる。前述のとおり、一般的に可視光線画像用として用いられるＣＣＤカラーカメラやＣＭＯＳカラーカメラには、近紫外線から近赤外線に感度を有する受光素子を用いているものが多いので、そのような汎用的なカメラの部品を撮像部４０２に利用することができる。撮像部４０２は、第二の実施形態における第一の撮像部３０２や第二の撮像部３０８と同様に、撮像素子のほかに、カラーフィルタや分光プリズムなどをその構成要素として含んでいる。また、撮像部４０２として可視光線画像用のＣＣＤカラーカメラやＣＭＯＳカラーカメラの部品を利用する場合は、第二の実施形態と同様に、紫外線と赤外線をカットするフィルタを外して利用する。
【００７９】
第一および第二の実施形態と同様に、撮像部４０２では路面と天空をあわせて撮像し、画像生成部４０３でデジタルデータとしての画像を生成する。以下では、第二の実施形態と同様にＲ画像、Ｇ画像、Ｂ画像を画像生成部４０３が生成するものとして説明するが、フルカラーの画像を生成してもよい（この点も第二の実施形態と同様である）。
【００８０】
画像生成部４０３で生成されたＲ画像は赤外線画像に相当し、Ｇ画像は可視光線画像に相当し、Ｂ画像は紫外線画像に相当する。その理由は第二の実施形態で説明したのと同様で、図１０からも明らかである。このようにして、本実施形態では、一つの撮像部４０２から赤外線画像、可視光線画像、紫外線画像を得ている。
【００８１】
画像生成部４０３で生成されたＢ画像とＧ画像が路面領域抽出部４０４に入力され、前述したような方法でそれぞれ路面領域が抽出され、紫外線反射率算出部４０５に出力される。
【００８２】
紫外線反射率算出部４０５は、図１の紫外線特徴量算出手段２にあたる。紫外線反射率算出部４０５では、路面領域抽出部４０４で抽出された路面領域に含まれる各画素について、その画素に対応する路面上の地点での紫外線反射率を算出する。具体的には、Ｂ画像の路面領域に含まれる各画素について、その画素値を、その画素に対応するＧ画像上の画素の画素値で割った比にもとづき、各画素に対応する紫外線反射率を算出する。すなわち、可視光線と紫外線の強度の比にもとづき、紫外線反射率を算出している。路面に雪があると、紫外線が雪表面で多く散乱されて紫外線強度が大きくなる一方、可視光線の強度はそれほど大きく変化しないため、この比の値も大きくなる。そのため、この比にもとづいて紫外線反射率を算出している。比にもとづく算出方法により、日射量の変動による影響が抑えられる。算出された紫外線反射率は、路面状態判定部４１２で使われる。
【００８３】
なお、紫外線は可視光線や赤外線と比較すれば散乱されやすく、日陰と日向での強度差が相対的に小さいため、日陰と日向の差の影響を上記の方法で完全に排除できるわけではない。しかし、日陰と日向を比べれば、日陰では紫外線も可視光線も強度が小さく、日向では紫外線も可視光線も強度が大きいため、上記のように比にもとづいて算出することにより、日陰と日向の差による外乱の影響もある程度抑えられる。
【００８４】
画像生成部４０３で生成されたＲ画像が路面・天空領域抽出部４０６に入力され、前述したような方法で路面領域と天空領域が抽出され、赤外線吸収率算出部４０８と投光判定部４０７にそれぞれ出力される。
【００８５】
赤外線吸収率算出部４０８は、図１の赤外線特徴量算出手段３にあたる。赤外線吸収率算出部４０８では、路面・天空領域抽出部４０６で抽出された路面領域に含まれる各画素について、その画素に対応する路面上の地点での赤外線吸収率を算出する。具体的には、まずＲ画像の天空領域に含まれる画素の画素値の平均値（天空画素値）を算出し、Ｒ画像の路面領域に含まれる各画素の画素値を天空画素値で割った比にもとづいて、各画素に対応する赤外線吸収率を算出する。天空画素値の算出には、平均値のかわりに最頻値や中央値などを用いてもよい。算出された赤外線吸収率は、路面状態判定部４１２で使われる。
【００８６】
路面上の赤外線の強度から路面上の水に関する状態を判定しようとすると、季節や時間帯による日射量の変動の影響を受ける。そのため、例えば、乾燥か湿潤かを判別するための閾値を季節や時間帯に合わせて変動させる必要がある。しかし、上記のように比にもとづいた算出方法を用いれば、日射量の変動の影響を排除することができる。
【００８７】
第三の実施形態においても、第一および第二の実施形態と同様に、日射量に応じた判定を行う投光判定部４０７を備えている。ただし、第三の実施形態においては、紫外線の日射量ではなく赤外線の日射量にもとづいて判定する。よって、路面・天空領域抽出部４０６で抽出されたＲ画像の画素値を判定に用いる。例えば、路面領域の画素値の平均値を赤外線の日射量を示す値として用い、この値が所定の閾値より大きいか否かによって、照明装置から光を照射するか否かを投光判定部４０７が決定してもよい。投光判定部４０７は、照射するか否かを判定するだけでなく、赤外線の日射量を示す値に応じて照射する場合の光量を調節するようにしてもよい。
【００８８】
赤外線画像撮像部４０９と温度測定部４１０からの入力にもとづき、温度分布画像生成部４１１で温度分布画像を生成する。赤外線画像撮像部４０９は、具体的には、赤外線カメラである。
【００８９】
一般に、赤外線サーモグラフィー装置（赤外線サーモグラフィー撮像部１１３と温度分布画像生成部１１７、または赤外線サーモグラフィー撮像部３１３と温度分布画像生成部３１８に相当する）は、環境温度を測定するためのセンサなど、赤外線の放射エネルギー量を温度に対応づけるための機構を内部に有している。そのため単なる赤外線カメラよりも高価である。そこで、第三の実施形態においては、安価な手段を用いて温度分布画像を得るため、赤外線サーモグラフィー装置のかわりに赤外線画像撮像部４０９と温度測定部４１０を用いる。
【００９０】
具体的には、温度測定部４１０は熱電対や放射温度計などの温度センサであり、赤外線画像撮像部４０９で撮像している路面（撮像部４０２の撮像対象でもある）の範囲に含まれる２点の温度を測定する。温度分布画像生成部４１１は、まず、赤外線画像撮像部４０９により撮像された赤外線画像においてその２点に該当する箇所の画素値を求める（それぞれ、１つの画素の画素値を求めてもよいし、該当画素の近傍の小領域に含まれる画素の画素値の平均値などを求めてもよい）。そして、２点の温度（ｔ１、ｔ２）と２つの画素値（ｐ１、ｐ２）にもとづいて、赤外線画像の画素値を温度に変換するための値Ａを算出し、Ａの値にもとづいて、赤外線画像撮像部４０９により撮像された赤外線画像の各画素の画素値を変換し、温度分布画像を生成する。これにより、路面全体の温度分布を算出することができる。例えば、Ｂ、Ｃを定数として、ＡをＡ＝Ｂ×（ｔ１−ｔ２）／（ｐ１−ｐ２）により算出し、赤外線画像の画素値ｐをもとにｔ＝ｐ×Ａ＋Ｃにより変換して得た温度ｔから温度分布画像を生成してもよい。Ａとｔの算出式は、実施の態様によって任意に定めてよい。
【００９１】
路面状態判定部４１２は、図１の路面状態判定手段４にあたる。路面状態判定部４１２は、紫外線反射率算出部４０５、赤外線吸収率算出部４０８、温度分布画像生成部４１１から、紫外線反射率、赤外線吸収率、温度分布画像を入力され、それらの入力にもとづいて路面状態を判定する。第一または第二の実施形態と同様の方法で判定してもよく、その他の方法で判定してもよい。
【００９２】
路面状態画像生成部４１３は、第一および第二の実施形態と同様に路面状態画像を生成し、路面判定結果出力部４１４に出力する。
路面判定結果出力部４１４は、本実施形態においては、画像生成部４０３で生成されたＧ画像が可視光線画像として入力され、例えば、Ｇ画像（またはＧ画像をグレースケールに変換した画像）に、路面状態画像生成部４１３から入力された路面状態画像を合成して判定結果画像とし、出力する。
【００９３】
なお、道路上の車両監視システムなど既存のシステムとカメラを共有することにより、第三の実施形態による路面状態判定装置は、低コストで実現することができる。もちろん、カメラだけでなく撮像した画像も既存のシステムと共有することができる。
【００９４】
本発明による路面状態判定装置は、上記の実施形態に限られるものではなく、様々な変更を加えることが可能である。その主な変形例について、以下に具体的に説明する。
第一の実施形態において、紫外線カメラ撮像部１０１、可視光線カメラ撮像部１０６、赤外線カメラ撮像部１０９、赤外線サーモグラフィー撮像部１１３の視点位置の差を無視することができない場合、第二の実施形態における相対位置算出部３１２と類似の手段をさらに設けることとが望ましい。つまり、これら撮像部で撮像され、紫外線画像生成部１０２、可視光線画像生成部１０７、赤外線画像生成部１１０、温度分布画像生成部１１７において生成された各画像の相対位置情報を算出し、路面上の同じ１点が各画像のどの座標に相当するのかの対応をとるための手段を設け、該手段で算出した相対位置情報をも路面状態判定部１１４に与えることが望ましい。
【００９５】
同様に、第二、第三の実施形態においても、赤外線サーモグラフィー撮像部３１３や赤外線画像撮像部４０９と他の撮像部との視点位置の差を無視することができない場合、温度分布画像生成部３１８、４１１で生成された温度分布画像と他のＲ画像、Ｇ画像、Ｂ画像との相対位置情報を算出し、算出した相対位置情報をも路面状態判定部３１４、４１２に与えることが望ましい。
【００９６】
また、第一または第二の実施形態において路面・天空領域抽出部１０３、３０４と紫外線反射率算出部１０４、３０５からなる部分を、第三の実施形態における路面領域抽出部４０４、紫外線反射率算出部４０５と同様の構成に置き換えることができる。逆に、第三の実施形態における路面領域抽出部４０４と紫外線反射率算出部４０５を、第一または第二の実施形態と同様の構成に置き換えることもできる。
【００９７】
また、第一または第二の実施形態における路面領域抽出部１０８、１１１、３１０と赤外線吸収率算出部１１２、３１１からなる部分を、第三の実施形態における路面・天空領域抽出部４０６、赤外線吸収率算出部４０８と同様の構成に置き換えることができる。逆に、第三の実施形態における路面・天空領域抽出部４０６と赤外線吸収率算出部４０８を、第一または第二の実施形態と同様の構成に置き換えることもできる。
【００９８】
さらに、第一または第二の実施形態における赤外線サーモグラフィー撮像部１１３、３１３と温度分布画像生成部１１７、３１８からなる部分を、第三の実施形態における赤外線画像撮像部４０９、温度測定部４１０、温度分布画像生成部４１１と同様の構成に置き換えることができる。逆に第三の実施形態における赤外線画像撮像部４０９、温度測定部４１０、温度分布画像生成部４１１を、第一または第二の実施形態と同様の構成に置き換えることもできる。
【００９９】
また、紫外線反射率算出部４０５ではＢ画像とＧ画像を用いて紫外線反射率を算出しているが、Ｇ画像のかわりにＲ画像を用いるようにしてもよい。その場合、路面領域抽出部４０４への入力も、Ｂ画像とＧ画像ではなく、Ｂ画像とＲ画像とする。
【０１００】
また、赤外線吸収率算出部１１２、３１１において赤外線画像（Ｒ画像）と可視光線画像（Ｇ画像）を用いて赤外線吸収率算出部を算出しているが、可視光線画像のかわりに紫外線画像（Ｂ画像）を用いるようにしてもよい。その場合、路面領域抽出部１０８、３１０への入力も、可視光線画像のかわりに紫外線画像となる。
【０１０１】
上述の実施形態において、投光判定部１０５、３０６、４０７は、紫外線または赤外線の日射量にもとづく判定を行っているが、日の出・日の入りの時刻のデータなどにもとづいて判定してもよく、可視光線画像（または可視光線画像としてのＧ画像）の画素値から推定した日射量にもとづいて判定してもよい。例えば、第一の実施形態では投光判定部１０５が紫外線の日射量にもとづいた判定をしているが、これは、赤外線の日射量を考慮していないということではなく、「紫外線の日射量が少なければ太陽光全体の日射量も少なく、したがって赤外線の日射量も少ない」という前提にもとづき、簡単のため判定には紫外線の日射量のみを用いているにすぎない。赤外線の日射量など他の基準によって投光判定を行う場合も同様で、紫外線と赤外線の双方が十分な量、路面に当たっているかどうかが判定可能ならば、何にもとづいて判定するかは実施の態様に応じて適当に定めてよい。もちろん、投光判定部１０５、３０６、４０７において、紫外線と赤外線の双方の日射量に応じて判定してもよい。例えば、紫外線と赤外線それぞれに対して閾値を設定し、双方が閾値未満のときに照明装置から光を照射することとしてもよく、一方でも閾値未満になれば照明装置から光を照射することとしてもよい。また、照明装置から光を照射するか否かを判定するだけでなく、紫外線と赤外線の双方の日射量に応じて、照明装置から路面に照射する光量を調節するようにしてもよい。また、紫外線と赤外線の日射量は、天空領域の画素値にもとづいて算出しても、路面領域の画素値にもとづいて算出しても、双方の画素値にもとづいて算出してもよく、実施の態様に応じて適切に定めることができる。
【０１０２】
また、投光判定部１０５、３０６、４０７の判定にもとづいて投光器などの照明装置から光を路面に照射されているときは、紫外線や赤外線の日射量が不十分なときである。よって、このときは、紫外線反射率算出部１０４、３０５や赤外線吸収率算出部４０８において、照射した光量と路面領域の画素値にもとづいて紫外線反射率や赤外線吸収率を算出するようにすることが好ましい。
【０１０３】
なお、本発明の路面状態判定装置は、一つの筐体に収めた装置としてもよく、部分ごとに物理的に離して設置してもよい。例えば、路面状態判定装置全体を一つの筐体に収め、車載装置または路側設置用装置として実施してもよい。あるいは、各種の撮像部と画像生成部からなる部分を路側に設置し、残りの部分を道路管理事務所などに設置してもよい。具体的に第一の実施形態を例にして述べると、紫外線カメラ撮像部１０１、紫外線画像生成部１０２、可視光線カメラ撮像部１０６、可視光線画像生成部１０７、赤外線カメラ撮像部１０９、赤外線画像生成部１１０、赤外線サーモグラフィー撮像部１１３、温度分布画像生成部１１７からなる第一の部分を路側（第一の場所）に設置し、路面・天空領域抽出部１０３、紫外線反射率算出部１０４、投光判定部１０５、第一の路面領域抽出部１０８、第二の路面領域抽出部１１１、赤外線吸収率算出部１１２、路面状態判定部１１４、路面状態画像生成部１１５、路面判定結果出力部１１６からなる第二の部分を道路管理事務所など（第二の場所）に設置してもよい。この場合、第一の部分から画像データを第二の部分に送信する必要があるので、第一の部分は、有線または無線によるデータ送信手段をさらに備え、第二の部分は画像データを受信するためのデータ受信手段を備える。
【０１０４】
また、投光判定部１０５、３０６、４０７の判定結果にしたがって投光器などの照明装置を制御するために、必要に応じて通信手段を設けることとする。例えば、投光判定部が道路管理事務所にあって照明装置には街灯を用いる場合や、路面状態判定装置全体が車載装置として実施されており照明装置には車両のヘッドランプを用いる場合があるが、いずれにしろ、有線または無線による通信手段により、投光判定部１０５、３０６、４０７の判定結果が照明装置に送られて、照明装置を制御する。
【０１０５】
上記の実施形態においては、路面状態の判定は、所定の分類項目（「乾燥」、「水膜」など）のいずれに該当するかという離散的な判定であったが、路面状態を連続的な数値によって表現してもよい。つまり、例えば第二の実施形態において、路面状態判定のためのニューラルネットワークからの出力値である数値を、「乾燥」などの離散的な分類項目に当てはめることによって路面状態を判定してもよく、連続値である数値をそのまま路面状態の判定結果として用いてもよい。その場合、路面が危険なほど数値が大きくなるように定めてもよく、該数値の大小に応じて路面状態画像の画素値を決めてもよい。
【０１０６】
以上に述べた変形例は、任意に組み合わせることができる。
（付記１）路面の状態を判定する路面状態判定装置であって、
紫外線と赤外線を含む光が当たっている前記路面を撮像した紫外線画像にもとづき前記路面における紫外線特徴量を算出する紫外線特徴量算出手段と、
前記光が当たっている前記路面を撮像した赤外線画像にもとづき前記路面における赤外線特徴量を算出する赤外線特徴量算出手段と、
算出した前記紫外線特徴量、前記赤外線特徴量、および前記路面の温度分布画像にもとづいて、前記路面の状態を判定する路面状態判定手段と、
を備えた路面状態判定装置。
（付記２）前記紫外線画像は天空と前記路面を含む画像であって、
前記紫外線特徴量算出手段は、該紫外線画像の天空領域に対応する天空画素値と路面領域に対応する路面画素値を算出し、前記天空画素値と前記路面画素値の比にもとづいて前記紫外線特徴量を算出する、
ことを特徴とする付記１に記載の路面状態判定装置。
（付記３）前記紫外線特徴量算出手段は、前記路面を撮像した可視光線画像を前記紫外線特徴量の算出に用い、前記可視光線画像の画素値と前記紫外線画像の画素値の比にもとづいて、前記紫外線特徴量を算出する、
ことを特徴とする付記１に記載の路面状態判定装置。
（付記４）前記紫外線特徴量算出手段は、前記赤外線画像の画素値と前記紫外線画像の画素値の比にもとづいて、前記紫外線特徴量を算出する、
ことを特徴とする付記１に記載の路面状態判定装置。
（付記５）前記赤外線画像は天空と前記路面を含む画像であって、
前記赤外線特徴量算出手段は、該赤外線画像の天空領域に対応する天空画素値と路面領域に対応する路面画素値を算出し、前記天空画素値と前記路面画素値の比にもとづいて前記赤外線特徴量を算出する、
ことを特徴とする付記１に記載の路面状態判定装置。
（付記６）前記赤外線特徴量算出手段は、前記路面を撮像した可視光線画像を前記赤外線特徴量の算出に用い、前記可視光線画像の画素値と前記赤外線画像の画素値の比にもとづいて、前記赤外線特徴量を算出する、
ことを特徴とする付記１に記載の路面状態判定装置。
（付記７）前記赤外線特徴量算出手段は、前記紫外線画像の画素値と前記赤外線画像の画素値の比にもとづいて、前前記赤外線特徴量を算出する、
ことを特徴とする付記１に記載の路面状態判定装置。
（付記８）可視光線の青波長領域を遮断する第一のフィルタと、
紫外線から赤外線までの波長感度を有し、該第一のフィルタを透過した光を、可視光線の赤波長領域および赤外線に対応するＲと可視光線の緑波長領域に対応するＧと可視光線の青波長領域および紫外線に対応するＢの３つの成分に分解してそれぞれ受光し、カラー撮像する第一の撮像部と、
可視光線の赤波長領域を遮断する第二のフィルタと、
紫外線から赤外線までの波長感度を有し、該第二のフィルタを透過した光を、可視光線の赤波長領域および赤外線に対応するＲと可視光線の緑波長領域に対応するＧと可視光線の青波長領域および紫外線に対応するＢの３つの成分に分解してそれぞれ受光し、カラー撮像する第二の撮像部と、をさらに備え、
前記路面を前記第一の撮像部で撮像して、前記３つの成分のうちＢに対応して得られるＢ画素値にもとづいて、前記紫外線画像が生成され、
前記路面を前記第二の撮像部で撮像して、前記３つの成分のうちＲに対応して得られるＲ画素値にもとづいて、前記赤外線画像が生成される、
ことを特徴とする付記１に記載の路面状態判定装置。
（付記９）可視光線の青波長領域と赤波長領域の光を遮断するフィルタと、
紫外線から赤外線までの波長感度を有し、該フィルタを透過した光を、可視光線の赤波長領域および赤外線に対応するＲと可視光線の緑波長領域に対応するＧと可視光線の青波長領域および紫外線に対応するＢの３つの成分に分解してそれぞれ受光し、カラー撮像する撮像部と、をさらに備え、
前記路面を前記撮像部で撮像して、前記３つの成分のうちＢおよびＲにそれぞれ対応して得られるＢ画素値およびＲ画素値にもとづいて、それぞれ前記紫外線画像、前記赤外線画像が生成される、
ことを特徴とする付記１に記載の路面状態判定装置。
（付記１０）前記温度分布画像を生成する温度分布画像生成手段をさらに備え、
該温度分布画像生成手段は、前記路面を撮像した赤外線画像と、該撮影された前記路面上の２箇所で測定された温度にもとづいて前記温度分布画像を生成する、
ことを特徴とする付記１に記載の路面状態判定装置。
（付記１１）前記路面状態判定手段は、前記路面を１つ以上に分割した分割領域ごとに、該分割領域の路面状態が、予め定められた路面状態の分類項目のいずれに分類されるかを判定することを特徴とする付記１に記載の路面状態判定装置。
（付記１２）前記路面状態判定手段は、前記路面を分割した分割領域ごとに該領域の路面状態を判定し、
前記路面状態判定装置はさらに、前記路面の状態を表現する路面状態画像を生成する路面状態画像生成手段を備え、
該路面状態画像生成手段は、前記路面状態画像上で各分割領域を表現する路面表現としての画像上の高さおよび／または色を各分割領域の前記路面状態に応じて決定し、前記分割領域ごとの前記路面表現と前記路面の可視光線画像にもとづいて、前記路面状態画像を生成する、
ことを特徴とする付記１に記載の路面状態判定装置。
（付記１３）路面状態判定方法であって、
紫外線と赤外線を含む光が当たっている路面を撮像した紫外線画像にもとづき前記路面における紫外線特徴量を算出し、
前記光が当たっている前記路面を撮像した赤外線画像にもとづき前記路面における赤外線特徴量を算出し、
算出した前記紫外線特徴量、前記赤外線特徴量、および前記路面の温度分布画像にもとづいて、前記路面の状態を判定することを特徴とする路面状態判定方法。
【図面の簡単な説明】
【０１０７】
【図１】本発明の原理を示す図である。
【図２】第一の実施形態による路面状態判定装置の機能ブロック図である。
【図３】路面状態の判定条件の例を示す図である。
【図４】路面状態判定結果画像の例を示す図である。
【図５】第二の実施形態による路面状態判定装置の機能ブロック図である。
【図６】ステレオカラーカメラを用いて赤外線画像および紫外線画像を生成する原理を説明する図である。
【図７】画像の画素配置構成の例を示す図である。
【図８】ニューラルネットワークの構成例を示す図である。
【図９】第三の実施形態による路面状態判定装置の機能ブロック図である。
【図１０】トリプルバンドパスフィルタを用いて赤外線画像および紫外線画像を生成する原理を説明する図である。
【符号の説明】
【０１０８】
１  路面状態判定装置
２  紫外線特徴量算出手段
３  赤外線特徴量算出手段
４  路面状態判定手段
１０１  紫外線カメラ撮像部
１０２  紫外線画像生成部
１０３  路面・天空領域抽出部
１０４  紫外線反射率算出部
１０５  投光判定部
１０６  可視光線カメラ撮像部
１０７  可視光線画像生成部
１０８  第一の路面領域抽出部
１０９  赤外線カメラ撮像部
１１０  赤外線画像生成部
１１１  第二の路面領域抽出部
１１２  赤外線吸収率算出部
１１３  赤外線サーモグラフィー撮像部
１１４  路面状態判定部
１１５  路面状態画像生成部
１１６  路面判定結果出力部
１１７  温度分布画像生成部
３０１  青波長領域カット部
３０２  第一の撮像部
３０３  第一の画像生成部
３０４  路面・天空領域抽出部
３０５  紫外線反射率算出部
３０６  投光判定部
３０７  赤波長領域カット部
３０８  第二の撮像部
３０９  第二の画像生成部
３１０  路面領域抽出部
３１１  赤外線吸収率算出部
３１２  相対位置算出部
３１３  赤外線サーモグラフィー撮像部
３１４  路面状態判定部
３１５  路面状態画像生成部
３１６  カラー画像合成部
３１７  路面判定結果出力部
３１８  温度分布画像生成部
４０１  青波長領域・赤波長領域カット部
４０２  撮像部
４０３  画像生成部
４０４  路面領域抽出部
４０５  紫外線反射率算出部
４０６  路面・天空領域抽出部
４０７  投光判定部
４０８  赤外線吸収率算出部
４０９  赤外線画像撮像部
４１０  温度測定部
４１１  温度分布画像生成部
４１２  路面状態判定部
４１３  路面状態画像生成部
４１４  路面判定結果出力部
５０１  入力層
５０２  中間層
５０３  出力層
【図１】
0004814655.tif 000002
【図２】
0004814655.tif 000003
【図３】
0004814655.tif 000004
【図５】
0004814655.tif 000005
【図６】
0004814655.tif 000006
【図９】
0004814655.tif 000007
【図１０】
0004814655.tif 000008
【図４】
0004814655.tif 000009
【図７】
0004814655.tif 000010
【図８】
0004814655.tif 000011