(57)【要約】【課題】車両の進行方向の路面状態を精度よく検出できる路面状態検出装置を提供する。【解決手段】特徴量抽出部１４は、ＨＯＧ、自己符号化器及びＣＮＮの３方式の処理により、単眼カメラ１２で取得した画像データから特徴量を各々抽出する。ロードノイズ演算部１６は、３方式の処理の各々により抽出された特徴量から各々演算して得た演算ロードノイズスペクトルを、車両の実走行により得た実ロードノイズスペクトルと比較し、実ロードノイズスペクトルとの誤差が最小となる演算ロードノイズスペクトルを予測ロードノイズスペクトルとして出力する。【選択図】図１
2020149604.tif 000002
【特許請求の範囲】
【請求項１】
車両の進行方向の路面の画像データを取得する単眼カメラと、
各々異なる複数の処理により、前記単眼カメラで取得した画像データから特徴量を各々抽出する特徴量抽出部と、
前記複数の処理の各々により抽出された特徴量から各々演算して得た演算ロードノイズスペクトルを前記車両の実走行により得た実ロードノイズスペクトルと比較し、前記実ロードノイズスペクトルとの誤差が最小となる演算ロードノイズスペクトルを予測ロードノイズスペクトルとして出力するロードノイズ演算部と、
を備える路面状態検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の進行方向の路面状態を検出する路面状態検出装置に関する。
【背景技術】
【０００２】
車両が走行すると、路面の凹凸に応じてロードノイズが発生する。かかるロードノイズが車両の車室内に侵入すると、車室内の快適性が低下するのみならず、車室内でのオーディオ機器の音質に影響を及ぼす。
【０００３】
特許文献１には、ステレオカメラで撮影された路面の凹凸に基づいて、発生するロードノイズをキャンセルする車両用消音装置の発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】２０１８−１６９５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の車両用消音装置は、路面の凹凸の検出精度に改善の余地があるという問題があった。
【０００６】
本発明は、以上の事実を考慮して成されたもので、車両の進行方向の路面状態を精度よく検出できる路面状態検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために請求項１に記載の発明は、車両の進行方向の路面の画像データを取得する単眼カメラと、各々異なる複数の処理により、前記単眼カメラで取得した画像データから特徴量を各々抽出する特徴量抽出部と、前記複数の処理の各々により抽出された特徴量から各々演算して得た演算ロードノイズスペクトルを前記車両の実走行により得た実ロードノイズスペクトルと比較し、前記実ロードノイズスペクトルとの誤差が最小となる演算ロードノイズスペクトルを予測ロードノイズスペクトルとして出力するロードノイズ演算部と、を備える。
【０００８】
請求項１に記載の発明によれば、各々異なる複数の処理を用いて抽出した特徴量の各々について演算して得た演算ロードノイズスペクトルのうち、実ロードノイズスペクトルとの誤差が最小となる演算ロードノイズスペクトルを予測ロードノイズスペクトルとして選択する。予測ロードノイズスペクトルは、実ロードノイズスペクトルとの誤差が最小であるから、当該予測ロードノイズスペクトルの演算に用いた特徴量は、実際の路面の状態を高精度で検出している。
【発明の効果】
【０００９】
以上説明したように本発明によれば、車両の進行方向の路面状態を精度よく検出できるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る路面状態検出装置の一例を示す概略図である。
【図２】本発明の実施の形態に係る路面状態検出装置の一例を示すブロック図である。
【図３】路面の静止画像データからロードノイズスペクトルを推定する演算の流れの一例を示したデータフロー図である。
【図４】車両の進行方向の路面の静止画像データの抽出の一例を示した説明図である。
【図５】ＨＯＧ特徴量抽出の一例を示した概略図である。
【図６】ＨＯＧ特徴量抽出におけるセル及びブロックの設定の一例を示した説明図である。
【図７】自己符号化器特徴量抽出の一例を示した概略図である。
【図８】ＣＮＮ特徴量抽出の一例を示した概略図である。
【図９】本発明の実施の形態に係る路面状態検出装置の処理の一例を示したフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。図１は、本実施の形態に係る路面状態検出装置１００の一例を示す概略図であり、図２は、本実施の形態に係る路面状態検出装置１００の一例を示すブロック図である。
【００１２】
図１、２に示したように、本実施の形態に係る路面状態検出装置１００は、車両１０に搭載された装置であり、車両１０の進行方向の路面を撮影可能な単眼カメラ１２と、単眼カメラ１２で取得した静止画像データから車両１０の進行方向の路面の特徴量を抽出する特徴量抽出部１４と、特徴量抽出部１４で抽出した路面の特徴量に基づいてロードノイズを推定するロードノイズ演算部１６と、ロードノイズ演算部１６で推定したロードノイズをキャンセルする音声（以下、「キャンセル音」と呼称する）を出力、同ロードノイズのスペクトルに対応した周波数フィルタを適用して車両１０の音声認識システムの音声認識精度を改善する、同ロードノイズに対応してイコライザーを制御することによりオーディオ機器の音質を改善、又は同ロードノイズに対応して車両１０のアクティブアクチュエータを制御して車室内の騒音及び振動を軽減する出力部１８と、を含む。
【００１３】
一般に路面の凹凸の認識は立体的な画像データを取得可能なステレオカメラを要するとされるが、ステレオカメラは高価であるという問題がある。また、中、高周波のロードノイズの原因となる数ミリメートル単位の細かな路面の凹凸は、ステレオカメラでは認識することが困難であった。ステレオカメラは、左右の視差に基づく幾何学的な手法によって路面の凹凸を検出するが、数ミリメートル単位の細かな路面の凹凸を光学的に検出する用途には適していない。
【００１４】
本実施の形態は、後述するように静止画像データから機械学習による特徴量抽出と演算とによってロードノイズのスペクトル（以下、「ロードノイズスペクトル」と称す）を推定する。静止画像データを取得するのであれば、高価なステレオカメラは要さず、安価な単眼カメラ１２で足りる。
【００１５】
図３は、路面の静止画像データからロードノイズスペクトルを推定する演算の流れの一例を示したデータフロー図である。図３に示したように、単眼カメラ１２から車両１０の進行方向の路面の静止画像データが入力される。次いで、特徴量抽出部１４において、後述するＨＯＧ（Histograms of Oriented Gradients）、Autoencorder（自己符号化器）及びＣＮＮ（畳み込みニューラルネットワーク）の各々を用いて静止画像データから特徴量を抽出する。
【００１６】
ロードノイズ演算部１６では、いわゆるディープラーニングを用いてロードノイズスペクトルを推定する。特徴量抽出部１４が出力した路面の静止画像データの特徴量は、ロードノイズ演算部１６の入力層に入力され、中間層を経て出力層でロードノイズスペクトルとして出力される。本実施の形態では、後述するように、ＨＯＧ、自己符号化器及びＣＮＮの各々で抽出した特徴量を用いて演算して得たロードノイズスペクトルのうち、実走行に係るロードノイズスペクトルとの誤差が最小のものを採用する。
【００１７】
そして、出力部１８では、ロードノイズ演算部１６から入力されたロードノイズスペクトルに基づいて、前述のようにオーディオ機器の音質改善等を行う。
【００１８】
以下、特徴量抽出部１４における特徴量抽出のプロセスについて説明する。図４は、車両１０の進行方向の路面の静止画像データの抽出の一例を示した説明図である。図４に示したように、本実施の形態では、車両１０の前方の画像をトリミングして、路面のみが含まれる画像データを抽出する。特徴量を抽出する画像データに車両１０の前端部又はガードレール等の路面以外のものが含まれると機械学習が安定せず、精度よくロードノイズスペクトルを推定することができないためである。
【００１９】
トリミングによって抽出する画像データは、画素密度（ｐｐｉ）を高くすればするほど画像は鮮明になるが、ロードノイズスペクトルの推定の演算負荷が高くなると共に、機械学習の安定性に難が生じやすい。しかしながら、画素密度を低くすると路面の微細な特徴が抽出できなくなる。本実施の形態では、上記を考慮してトリミング後の画像の画素密度を設定する。本実施の形態では、一例として、画素密度を１０〜５０ｐｐｉ程度とする。
【００２０】
続いて、トリミングした路面の静止画像データ（以下、「オリジナル路面画像」と称する）から特徴量を抽出する処理について説明する。図５は、ＨＯＧ特徴量抽出の一例を示した概略図である。
【００２１】
ＨＯＧは、複数の画素が集まった局所領域 (セル) の輝度の勾配方向をヒストグラム化することにより、画像データの特徴量を抽出する。具体的には、オリジナル路面画像をグレイスケール化し、グレイスケール化した画像の各画素の輝度からセル毎にヒストグラムを求め、さらにセルの集合であるブロック毎に正規化し、特徴量を抽出する。
【００２２】
図５に示したように、ＨＯＧ特徴量は、輝度の勾配強度及び勾配方向に基づくパターンが抽出される。
【００２３】
ＨＯＧ特徴量の算出に際しては、セル、ブロック、そしてヒストグラムのビン数を適切に設定することを要する。図６は、セル及びブロックの設定の一例を示した説明図である。図６に示したように、本実施の形態では、一例として、１セルは５×５ピクセル、１ブロックは３×３セル、そしてビン数は９である。
【００２４】
図７は、自己符号化器特徴量抽出の一例を示した概略図である。自己符号化器は、オリジナル路面画像を、元の画像データの特徴を保持できる最小の次元へ圧縮することにより、画像の特徴量を抽出する。自己符号化器は、エンコーダによる画像の圧縮と、デコーダによる圧縮された画像の復元（復号）とを行い、元の画像と復号された画像とを随時確認しながら、元の画像の特徴を保持できる最小の次元までの圧縮を行う。
【００２５】
図８は、ＣＮＮ特徴量抽出の一例を示した概略図である。ＣＮＮは、コンクリート路面、アスファルト路面及び石畳等の路面の類型にラベルを付し、路面の類型とラベルとが紐づくように予め機械学習を行う。そして、機械学習済みのＣＮＮに基づいて、入力されたデータのＣＮＮ特徴量を抽出する。
【００２６】
図８に示したように、ＣＮＮでは、下流の層から特徴量を抽出するほど、より詳細な特徴量を抽出できるので、本実施の形態では、最下流の層の重みを用いることにより、路面の細かな凹凸の特徴を抽出する。
【００２７】
以上、本実施の形態における特徴量の抽出について説明した。本実施の形態では、ロードノイズ演算部１６において、上述のように３方式で算出した特徴量から演算ロードノイズスペクトルを演算すると共に、演算ロードノイズスペクトルのうち、実際のロードノイズスペクトル（実ロードノイズスペクトル）との誤差が最も小さいものを採用する。
【００２８】
誤差の算出に際しては、実路面を実車両で走行した際に採取した実ロードノイズスペクトルを用いるので、予め、実車両を用いた実験を通じて実ロードノイズスペクトルを用意する。
【００２９】
次いで、前述のように３方式で各々抽出した特徴量から、機械学習（深層学習）による演算により演算ロードノイズスペクトルを得る。
【００３０】
そして、実ロードノイズスペクトルと３方式の各々で抽出した特徴量から演算して得た演算ロードノイズスペクトルとを比較し、実ロードノイズスペクトルに対する誤差が最小となる演算ロードノイズスペクトルを予測ロードノイズスペクトルとして選択する。
【００３１】
予測ロードノイズスペクトルは実ロードノイズスペクトルとの誤差が最小であるから、予測ロードノイズスペクトルの演算に用いた特徴量は車両１０の進行方向の路面状態を精度よく検出しているものと考えられる。
【００３２】
誤差ＲＭＳＥは、下記の式で算出される。下記の式中のｎは全データ数、ｘiは教師データである実ロードノイズスペクトル、ｙiは演算ロードノイズスペクトルである。
2020149604.tif 000003
【００３３】
図９は、本実施の形態に係る路面状態検出装置１００の処理の一例を示したフローチャートである。ステップ９００では、単眼カメラ１２で取得した画像データを特徴量抽出部１４に入力する。
【００３４】
ステップ９０２では特徴量抽出部１４でのＨＯＧによる特徴量の抽出及びロードノイズ演算部１６でのロードノイズスペクトルの演算を、ステップ９０４では特徴量抽出部１４での自己符号化器による特徴量の抽出及びロードノイズ演算部１６でのロードノイズスペクトルの演算を、ステップ９０６では特徴量抽出部１４でのＣＮＮによる特徴量の抽出及びロードノイズ演算部１６でのロードノイズスペクトルの演算を、各々上述のように実行する。
【００３５】
ステップ９０８では、実ロードノイズスペクトルと上述の３方式の各々で抽出した特徴量から演算して得た演算ロードノイズスペクトルとを比較し、実ロードノイズスペクトルに対する誤差が最小となる演算ロードノイズスペクトルを選択する。
【００３６】
ステップ９１０では、ステップ９０８で選択した演算ロードノイズスペクトルを予測ロードノイズスペクトルとして出力して処理を終了する。
【００３７】
図９の処理で出力した予測ロードノイズスペクトルは、前述のように、ロードノイズをキャンセルするキャンセル音の生成に用いられるほか、予測ロードノイズスペクトルに対応した周波数フィルタを適用して車両１０の音声認識システムの音声認識精度を改善する等に応用できる。また、予測ロードノイズスペクトルに対応してイコライザーを制御することによりオーディオ機器の音質を改善、又は予測ロードノイズに対応して車両１０のアクティブアクチュエータを制御して車室内の騒音及び振動を軽減することができる。
【００３８】
以上説明したように、本実施の形態に係る路面状態検出装置１００によれば、単眼カメラ１２で取得した車両１０の進行方向の路面の画像データをＨＯＧ、自己符号化器及びＣＮＮの各々異なる３方式を用いて抽出した特徴量の各々について演算して得た演算ロードノイズスペクトルのうち、実ロードノイズスペクトルとの誤差が最小となる演算ロードノイズスペクトルを予測ロードノイズスペクトルとして選択する。予測ロードノイズスペクトルは、実ロードノイズスペクトルとの誤差が最小であるから、当該予測ロードノイズスペクトルの演算に用いた特徴量は、実際の路面の状態を高精度で検出していると考えられる。従って、本実施の形態に係る路面状態検出装置によれば、車両１０の進行方向の路面状態を精度よく検出できる。
【００３９】
また、本実施の形態に係る路面状態検出装置１００は、車両１０の進行方向の路面の画像データ取得に、安価な単眼カメラ１２を用いるので、ステレオカメラを要する装置よりも製造コストを抑制できる。ステレオカメラの視差に依存した装置では、路面状態の微小な変化を当該視差で検出するには限界があるが、本実施の形態に係る路面状態検出装置１００は、ＨＯＧ、自己符号化器及びＣＮＮ等で抽出した特徴量に基づいて路面状態を検出するので、ステレオカメラが検出可能な視差よりも微細な路面状態の変化を検出することが可能となる。
【００４０】
本実施の形態に係る路面状態検出装置１００では、路面の特徴量の抽出にＨＯＧ、自己符号化器及びＣＮＮの３方式を使用したが、他の方式を用いて路面の特徴量を抽出してもよいし、他の方式を加えて、４方式又は５方式で路面の特徴量を抽出してもよい。
【００４１】
なお、特許請求の範囲における車両は車両１０に、同単眼カメラは単眼カメラ１２に、同特徴量抽出部は特徴量抽出部１４に、同ロードノイズ演算部はロードノイズ演算部１６に、各々対応する。
【００４２】
本発明は、上記の形態例に限定されるものではなく、上記の形態例以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
【符号の説明】
【００４３】
１０   車両
１２   単眼カメラ
１４   特徴量抽出部
１６   ロードノイズ演算部
１８   出力部
１００ 路面状態検出装置
【図１】
2020149604.tif 000004
【図２】
2020149604.tif 000005
【図３】
2020149604.tif 000006
【図４】
2020149604.tif 000007
【図５】
2020149604.tif 000008
【図６】
2020149604.tif 000009
【図７】
2020149604.tif 000010
【図８】
2020149604.tif 000011
【図９】
2020149604.tif 000012