(57)【要約】【課題】路面状態推定装置による路面状態の推定精度の悪化を抑制する。【解決手段】路面状態推定装置１０は、車両１００に搭載されたカメラ１によって撮影されたカメラ画像に基づいて、カメラ画像内のどの部分が道路領域であるかを判定する道路領域判定部１３２と、カメラ１の撮影領域と少なくとも一部が重複するように車両１００から照射された複数のレーザ光又は電波のうち、道路領域に照射された特定のレーザ光又は電波の反射光強度又は反射波強度を抽出する強度抽出部１３３と、特定のレーザ光の反射光強度又は特定の電波の反射波強度に基づいて、道路の路面状態を推定する路面状態推定部１３５と、を備える。【選択図】図５
2020066246.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラによって撮影された画像に基づいて、前記画像内のどの部分が道路領域であるかを判定する道路領域判定部と、
前記カメラの撮影領域と少なくとも一部が重複するように前記車両から照射された複数のレーザ光又は電波のうち、前記道路領域に照射された特定のレーザ光の反射光強度又は特定の電波の反射波強度を抽出する強度抽出部と、
前記特定のレーザ光の反射光強度又は前記特定の電波の反射波強度に基づいて、道路の路面状態を推定する路面状態推定部と、
を備える路面状態推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、路面状態推定装置に関する。
【背景技術】
【０００２】
特許文献１には、車両の高さ方向に照射した複数本のレーザ光の反射光強度に基づいて、道路が濡れているかの判断を行うものが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１５−５３５２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、レーザ光の反射光には、道路上の車両や落下物、また側壁や分離帯などの道路から反射光ではないものが含まれている場合がある。前述した特許文献１のものは、このような道路以外からの反射光を明確に除外せずに反射光強度を算出して路面状態を推定していたので、路面状態の推定精度が悪化するおそれがある。
【０００５】
本発明は、このような問題点に着目してなされたものであり、路面状態の推定精度の悪化を抑制することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様による路面状態推定装置は、車両に搭載されたカメラによって撮影された画像に基づいて、画像内のどの部分が道路領域であるかを判定する道路領域判定部と、カメラの撮影領域と少なくとも一部が重複するように車両から照射された複数のレーザ光又は電波のうち、道路領域に照射された特定のレーザ光の反射光強度又は特定の電波の反射波強度を抽出する強度抽出部と、特定のレーザ光の反射光強度又は特定の電波の反射波強度に基づいて、道路の路面状態を推定する路面状態推定部と、を備える。
【発明の効果】
【０００７】
本発明のこの態様による路面状態推定装置によれば、路面状態の推定精度の悪化を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の一実施形態による路面状態推定を備える車両のシステム概略図である。
【図２】図２は、測距センサの詳細について説明する図である。
【図３】図３は、カメラと測距センサとがキャリブレーションされていることを説明する図である。
【図４】図４は、路面状態推定装置のハードウェア構成を示す図である。
【図５】図５は、路面状態推定装置の処理部において実行される路面状態推定処理の機能ブロック図である。
【図６】図６は、カメラ画像と、このカメラ画像に対してセマンティックセグメンテーションを行ってカメラ画像を道路領域と非道路領域とに分けた画像と、を示す図である。
【図７】図７は、路面状態制御装置の処理部によって実行される路面状態推定処理の動作フローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
【００１０】
図１は、本発明の一実施形態による路面状態推定装置１０を備える車両１００のシステム概略図である。図２は、測距センサ２の詳細について説明する図である。図３は、カメラ１と測距センサ２とがキャリブレーションされていることを説明する図である。
【００１１】
車両１００は、カメラ１と、測距センサ２と、路面状態推定装置１０と、車両制御装置２０と、を備える。カメラ１及び測距センサ２と、路面状態推定装置１０と、車両制御装置２０とは、それぞれコントローラエリアネットワークといった規格に準拠した車内ネットワーク３を介して通信可能に接続されている。
【００１２】
カメラ１は、所定のフレームレート（例えば、５［Ｈｚ］〜２０［Ｈｚ］）で車両１００の前方領域を撮影し、その前方領域が写った画像（以下「カメラ画像」という。）を生成する。そしてカメラ１は、カメラ画像を生成する度に、生成したカメラ画像を、車内ネットワーク３を介して路面状態推定装置１０及び車両制御装置２０に送信する。カメラ画像は、カラー画像であってもよいし、グレー画像であってもよい。本実施形態ではカメラ１は、車両１００のフロントガラスの内側の上部中央付近に取り付けられている。
【００１３】
測距センサ２は、少なくともカメラ１の撮影領域（本実施形態では車両１００の前方領域）と重複する測距領域に対して、図２（Ａ）に示すように照射角度を異ならせた複数本のレーザ光又は電波を照射し、照射した各レーザ光の反射光又は照射した各電波の反射波を受信する。そして測距センサ２は、受信した反射光又は反射波に基づいて、測距領域内に存在する道路や障害物（例えば建物、道路上の先行車や後続車、対向車といった走行車両、停止車両、縁石、落下物、及び歩行者等）までの距離を計測する。また測距センサ２は、受信した反射光又は反射波に基づいて、反射光強度又は反射波強度を算出する。
【００１４】
この道路や障害物までの距離と、反射光強度又は反射波強度とは、図２（Ｂ）に示すように、それぞれレーザ光又は電波の照射点毎に取得されており、測距センサ２は、各照射点における道路や障害物までの距離と、各照射点における反射光強度又は反射波強度とを、各照射点の座標情報と対応付けた上で、それらを測距データとして車内ネットワーク３を介して路面状態推定装置１０及び車両制御装置２０に送信する。
【００１５】
レーザ光を照射する測距センサ２としては、例えばライダ（LiDAR；Laser Imaging Detection And Ranging）が挙げられる。また電波を照射する測距センサ２としては、例えばミリ波レーダセンサが挙げられる。本実施形態では、図２（Ａ）に示すように、測距センサ２として車両１００のルーフに取り付けられたライダを用いている。したがって本実施形態では、各照射点における道路や障害物までの距離と反射光強度とが、各照射点の座標情報と共に、測距データとして車内ネットワーク３を介して路面状態推定装置１０及び車両制御装置２０に送信されている。
【００１６】
なお本実施形態では、図３に示すように、カメラ１のカメラ画像（撮影領域）の各画素の座標と、このカメラ１の撮影領域と重複する測距領域における各照射点の座標と、が一致するように、カメラ１及び測距センサ２の取付位置が調整されており、カメラ１及び測距センサ２が予めキャリブレーションされて同定されている。
【００１７】
図１に戻り、路面状態推定装置１０は、カメラ画像及び測距データに基づいて、路面状態を推定する。具体的には本実施形態では、路面状態が乾燥状態（道路が乾いている状態）であるか、又は湿潤状態（道路が濡れいている状態）であるかを推定する。そして路面状態推定装置１０は、推定した路面状態に関する情報（以下「路面状態情報」という。）を、車内ネットワーク３を介して車両制御装置２０に送信する。
【００１８】
図４は、この路面状態推定装置１０のハードウェア構成を示す図である。
【００１９】
図４に示すように、路面状態推定装置１０は、通信インターフェース１１と、記憶部１２と、処理部１３と、を備える。
【００２０】
通信インターフェース１１は、路面状態推定装置１０を車内ネットワーク３に接続するためのインターフェース回路を備える。すなわち、通信インターフェース１１は、車内ネットワーク３を介して、カメラ１及び測距センサ２と接続される。そして通信インターフェース１１は、カメラ１及び測距センサ２から、それぞれカメラ画像及び測距データを受信する度に、受信したカメラ画像及び測距データを処理部１３にわたす。
【００２１】
記憶部１２は、揮発性メモリ（例えば、ＲＡＭ）及び不揮発性メモリ（例えば、ＲＯＭ）を備え、処理部１３において実行されるプログラムや各種のデータなどを記憶する。
【００２２】
処理部１３は、１個または複数個のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びその周辺回路を備える。処理部１３は、通信インターフェース１１を介して受信したカメラ画像及び測距データに基づいて、路面状態を推定するための路面状態推定処理を実行する。この路面状態推定処理の詳細については、図５から図７を参照して後述する。
【００２３】
図１に戻り、車両制御装置２０には、前述したカメラ画像や測距データ、路面状態情報の他にも、図示はしていないが、加速、操舵、及び制動に関する運転操作を自動的に行う自動運転を実施するために必要な各種の情報（例えば、ドライバの外観情報や車両１００の現在位置情報など）やパラメータ（例えば、車速や加速度など）が入力されている。そして車両制御装置２０は、これらに基づいて車両１００の運転計画を作成し、その運転計画に従って加速、操舵、及び制動に関する運転操作を自動的に行う。なお図示はしないが、車両制御装置２０も、路面状態推定装置１０と同様のハードウェア構成をしており、通信インターフェース、記憶部、及び処理部を備えている。
【００２４】
図５は、路面状態推定装置１０の処理部１３において実行される路面状態推定処理の機能ブロック図である。
【００２５】
路面状態推定装置１０の処理部１３は、同期部１３１と、道路領域判定部１３２と、反射光強度抽出部１３３と、統計値算出部１３４と、路面状態推定部１３５と、を備える。処理部１３が備えるこれらの各部は、例えば、処理部１３で動作するコンピュータプログラムにより実現される機能モジュールである。
【００２６】
同期部１３１には、通信インターフェース１１を介して受信したカメラ画像及び測距データが入力される。
【００２７】
同期部１３１は、カメラ画像と測距データとの同期をとった上で、カメラ画像を道路領域判定部１３２に出力すると共に、当該カメラ画像と同期のとれた測距データ、すなわち当該カメラ画像が撮影された時刻と同時刻に取得された測距データを反射光強度抽出部１３３に出力する。
【００２８】
道路領域判定部１３２には、同期部１３１から出力されたカメラ画像が入力される。
【００２９】
道路領域判定部１３２は、入力されたカメラ画像に対して例えばディープニューラルネットワークによる画像認識処理、具体的にはセマンティックセグメンテーション（Semantic Segmentation）を行うことによって、例えば図６に示すように、カメラ画像を少なくとも道路領域と、道路領域以外の領域（以下「非道路領域」という。）と、に分けて、カメラ画像の中の道路領域を判定する。なお図６に示す例では、非道路領域を、さらに白線領域、車両領域、側壁領域などの複数の領域に分けている。そして道路領域判定部１３２は、カメラ画像の道路領域内の各画素の座標情報を、反射光強度抽出部１３３に出力する。
【００３０】
反射光強度抽出部１３３には、道路領域判定部１３２から出力されたカメラ画像の道路領域内の各画素の座標情報と、同期部１３１から出力されてこのカメラ画像と同期のとれた測距データと、が入力される。
【００３１】
反射光強度抽出部１３３は、カメラ画像と同期のとれた測距データの中から、カメラ画像の道路領域内の各画素の座標と一致する座標の測距データに含まれる反射光強度を抽出する。すなわち反射光強度抽出部１３３は、道路領域判定部１３２において道路領域と判定された箇所の測距データに含まれる反射光強度を抽出する。したがって換言すれば、反射光強度抽出部１３３は、測距センサ２から照射された複数本のレーザ光のうち、道路領域判定部１３２において道路領域と判定された箇所に照射されたレーザ光（以下「特定レーザ光」という。）の反射光強度を抽出しているといえる。そして反射光強度抽出部１３３は、このようにして抽出された道路領域と判定された箇所の各反射光強度を、標本データとして統計値算出部に出力する。
【００３２】
統計値算出部１３４には、反射光強度抽出部１３３から出力された標本データ、すなわち道路領域と判定された箇所の各反射光強が入力される。
【００３３】
統計値算出部１３４は、標本データの統計値、すなわち道路領域と判定された箇所の各反射光強度の統計値を算出し、算出した統計値を路面状態推定部１３５に出力する。統計値は、標本データの特徴を表す指標であれば特に限られるものではなく、本実施形態では、標本データから異常値を除去した上で、その標本データの平均値、すなわち道路領域と判定された箇所の各反射光強度の平均値を算出し、このようにして算出した平均値を統計値としている。
【００３４】
路面状態推定部１３５には、標本データの統計値、すなわち道路領域と判定された箇所の各反射光強度の平均値が入力される。
【００３５】
路面状態推定部１３５は、標本データの統計値と、記憶部１２に予め記憶された基準統計値と、を比較して、路面状態を推定する。基準統計値は、路面状態が或る基準路面状態であるときの、標本データとして採用されたパラメータの標準的な値である。本実施形態では基準統計値は、路面状態が湿潤状態であるときの反射光強度の標準的な値とされている。
【００３６】
ここで路面状態が湿潤状態であるときの反射光強度と、路面状態が乾燥状態であるときの反射光強度と、を比較すると、反射光強度は、路面状態が乾燥状態であるときのほうが高くなる傾向にある。したがって本実施形態では、路面状態推定部１３５は、標本データの統計値、すなわち道路領域と判定された箇所の各反射光強度の平均値が、基準統計値よりも大きければ、路面状態が乾燥状態であると推定する。一方で路面状態推定部１３５は、標本データの統計値、すなわち道路領域と判定された箇所の各反射光強度の平均値が、基準統計値以下であれば、路面状態が湿潤状態であると推定する。
【００３７】
このようにして推定された路面状態に関する情報（路面状態情報）は、前述したように車両制御装置２０に送信され、自動運転のための運転計画を作成するために利用される。
【００３８】
例えば車両制御装置２０は、路面状態が湿潤状態である場合には、乾燥状態である場合に比べて制動距離が長くなる傾向にあるため、路面状態が乾燥状態である場合と比較して、制動開始位置を手前に設定した運転計画や、目標車速を低く設定した運転計画を作成する。また、例えば車両制御装置２０は、路面状態が湿潤状態である場合には、乾燥状態である場合に比べて横滑りしやすくなるので、路面状態が乾燥状態である場合と比較して、カーブ路に進入する際の目標車速を低く設定した運転計画を作成する。また、例えば車両制御装置２０は、路面状態が湿潤状態である場合には、乾燥状態である場合に比べてスリップしやすくなるので、路面状態が乾燥状態である場合と比較して、加速度や減速度が抑えられるような運転計画を作成する。
【００３９】
図７は、路面状態推定装置１０の処理部１３によって実行される路面状態推定処理の動作フローチャートである。
【００４０】
ステップＳ１において、処理部１３は、カメラ画像及び測距データを取得し、これらの同期をとる。
【００４１】
ステップＳ２において、処理部１３は、カメラ画像に対して前述した画像認識処理（セマンティックセグメンテーション）を施して、カメラ画像を道路領域と非道路領域とに分けて、カメラ画像の中のどの部分が道路領域であるかを判定する。
【００４２】
なお道路領域を判定するにあたっては、道路表面に描かれたペイントや道路表面に配置されたマンホールなどを除く道路素地（例えば、コンクリートやアスファルトなど）の部分を道路領域として分別し、ペイント等の道路素地以外の部分については非道路領域として分別できるようしたほうが好ましい。これは、道路素地に照射されたレーザ光の反射光強度は、ペイント等の道路素地以外の部分に照射されたレーザ光の反射光強度とは異なるため、ペイント等の道路素地以外の部分を非道路領域として分別しないと、路面状態の推定精度が悪化するためである。
【００４３】
ステップＳ３において、処理部１３は、測距センサ２から照射された複数本のレーザ光のうち、道路領域と判定された箇所に照射されたレーザ光（特定レーザ光）の各反射光強度を抽出する。
【００４４】
ステップＳ４において、処理部１３は、特定レーザ光の各反射光強度の平均値を算出する。
【００４５】
ステップＳ５において、処理部１３は、特定レーザ光の各反射光強度の平均値が、基準統計値（本実施形態では路面状態が湿潤状態であるときの反射光強度の標準的な値）よりも大きいか否かを判定する。処理部１３は、特定レーザ光の各反射光強度の平均値が、基準統計値よりも大きければ、ステップＳ６の処理に進む。一方で処理部１３は、特定レーザ光の各反射光強度の平均値が、基準統計値以下であれば、ステップＳ７の処理に進む。
【００４６】
ステップＳ６において、処理部１３は、路面状態が乾燥状態であると推定する。
【００４７】
ステップＳ７において、処理部１３は、路面状態が湿潤状態であると推定する。
【００４８】
以上説明した本実施形態による路面状態推定装置１０は、車両１００に搭載されたカメラ１によって撮影されたカメラ画像に基づいて、カメラ画像内のどの部分が道路領域であるかを判定する道路領域判定部１３２と、カメラ１の撮影領域と少なくとも一部が重複するように車両１００から照射された複数のレーザ光のうち、道路領域に照射された特定のレーザ光の反射光強度を抽出する反射光強度抽出部１３３と、特定のレーザ光の反射光強度に基づいて、道路の路面状態を推定する路面状態推定部１３５と、を備える。
【００４９】
これにより、車両１００から照射された複数のレーザ光のうち、道路に照射されたレーザ光の反射光強度に基づいて路面状態を推定することができるので、路面状態の推定精度の悪化を抑制することができる。
【００５０】
なお、道路領域判定部１３２においては、道路に描かれたペイントを除く道路素地の部分を道路領域として判定することが好ましい。これは、道路に描かれた道路区画線等のペイントからの反射光の強度は、道路素地からの反射光の強度と異なるためであり、したがって道路に描かれたペイントを除く道路素地の部分を道路領域として判定することで、路面状態の推定精度の悪化を一層抑制することができる。
【００５１】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【００５２】
例えば上記の実施形態の反射光強度抽出部１３３において、特定レーザ光のうち、さらに道路との入射角（図２（Ａ）のθ）が所定角度以上のレーザ光の反射光強度を抽出するようにしてもよい。これにより、道路との入射角が所定角度以上のレーザ光の反射光強度、すなわち、相対的に車両の手前側の道路に照射されたレーザ光の反射光強度を用いて路面状態を推定することができるので、路面状態の推定精度の悪化を一層抑制することができる。
【００５３】
また上記の実施形態では、路面状態が乾燥状態であるか、又は湿潤状態であるかを推定していたが、例えば半湿状態（路面が一部湿っていて乾ききっていない状態）や凍結状態（路面が凍結した状態）など、さらに細かく路面状態を推定できるようにしてもよい。この場合、路面状態が半湿状態であるときや凍結状態であるときの基準統計値を実験等によって求めておき、これら複数の基準統計値と標本データの統計値とを比較すればよい。
【符号の説明】
【００５４】
１    カメラ
１０    路面状態推定装置
１３２    道路領域判定部
１３３    反射光強度抽出部（強度抽出部）
１３５    路面状態推定部
【図１】
2020066246.tif 000003
【図２】
2020066246.tif 000004
【図３】
2020066246.tif 000005
【図４】
2020066246.tif 000006
【図５】
2020066246.tif 000007
【図６】
2020066246.tif 000008
【図７】
2020066246.tif 000009