(57)【要約】      （修正有）【課題】改善された検出精度を有する路面推定装置を提供する。【解決手段】路面推定装置１００は、ステレオカメラまたは３次元計測が可能なカメラである撮像部１１０から入力された画像に基づいて路面の複数の３次元計測点を計測する空間計測部１２０と、地図の情報に基づいて作成された路面モデルに基づいて複数の３次元計測点にフィルタをかけて路面候補点を取得するフィルタ部１４０と、路面候補点に基づいて路面を推定する路面推定部１５０と、を備える。【選択図】図１
2018026058.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測する空間計測部と、
地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するフィルタ部と、
前記路面候補点に基づいて路面を推定する路面推定部と、
を備える路面推定装置。
【請求項２】
前記フィルタは、前記路面モデルが表す平面または曲面からの法線方向の幅であるフィルタ幅によって画定される範囲の内側にある３次元計測点を前記路面候補点として採用し、前記範囲の外側にある３次元計測点を外れ候補点として除外する、請求項１に記載の路面推定装置。
【請求項３】
前記フィルタ幅は、前記ステレオカメラからの距離に応じて幅を変更することを特徴とする、請求項２に記載の路面推定装置。
【請求項４】
請求項１から３のいずれかに記載の路面推定装置と、
搭載された車両を制御する制御部と、
を備え、
前記制御部は、前記路面推定装置が推定した推定路面に応じて、前記車両を制御する、車両制御装置。
【請求項５】
前記制御部は、前記推定路面に応じて、前記車両のサスペンションの堅さを調節する、請求項４に記載の車両制御装置。
【請求項６】
前記制御部は、前記推定路面に応じて、前記車両の速度を調節する、請求項４または５に記載の車両制御装置。
【請求項７】
ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測するステップと、
地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するステップと、
前記路面候補点に基づいて路面を推定するステップと、
を備える路面推定方法。
【請求項８】
コンピュータに、
ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測するステップと、
地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するステップと、
前記路面候補点に基づいて路面を推定するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、路面推定装置、車両制御装置、路面推定方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、コンピュータの処理能力の向上に伴い、カメラによって撮影された画像から、コンピュータを用いて道路形状等を推定する装置が考案されている。そのような装置の一例として、単眼カメラ画像より推定した道路形状と、デジタル道路地図の道路形状とを照合することにより、走行中の道路等の概略的な形状を推定する道路形状推定装置が提案されている（特許文献１参照）。
【０００３】
車載ステレオカメラに関する画像処理技術の研究において、路面の検出は重要なテーマである。路面を精度良く検出することによって、走行可能経路の探索や、通行人や自動車等の障害物認識をより効率的に行うことが出来るからである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３３１７８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、路面には段差や窪みがある。路面の段差や窪み等の立体的形状をレーザー光の照射等を行わない受動型３次元計測によって特定するためには、２以上のカメラ（ステレオカメラ）によって撮影された、視差を含む複数の画像を用いる必要がある。近年、大域マッチング方法であるＳｅｍｉ−Ｇｌｏｂａｌ  Ｍａｔｃｈｉｎｇ（ＳＧＭ）等の技術が開発され、ステレオカメラの画像から、路面上の白線等のエッジ情報を用いることなく路面情報を３次元空間内の点群として得ることができるようになった。しかしながら、ＳＧＭを用いて得られた点群には誤差が混入する。当該誤差のために、本来路面上に分布するはずの点群が、路面の上下方向に幅をもって分布してしまう。その結果、点群から路面の立体的形状を精度良く推定することができないという問題があった。
【０００６】
本開示の目的は、改善された検出精度を有する路面推定装置を提供することである。
【課題を解決するための手段】
【０００７】
本開示に係る路面推定装置は、ステレオカメラまたは３次元計測が可能なカメラから入力された画像に基づいて路面の複数の３次元計測点を計測する空間計測部と、地図の情報に基づいて作成された路面モデルに基づいて前記複数の３次元計測点にフィルタをかけて路面候補点を取得するフィルタ部と、前記路面候補点に基づいて路面を推定する路面推定部と、を備える構成を採る。
【０００８】
本開示に係る車両制御装置は、本開示に係る路面推定装置と、搭載された車両を制御する制御部と、を備え、前記制御部は、前記路面推定装置が推定した推定路面に応じて、前記車両を制御する、構成を採る。
【発明の効果】
【０００９】
本開示によれば、改善された検出精度を有する路面推定装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態に係る路面推定装置のブロック図である。
【図２】ｘ−ｙ−ｚ座標系とｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標系の間の座標変換の説明図である。
【図３】ｘ−ｙ−ｚ座標系におけるｙ−ｚ平面への路面モデルおよび３次元計測点の射影図である。
【図４】第１の実施の形態に係る路面推定装置の動作フローチャートである。
【図５】コンピュータ２１００のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本開示の実施の形態について、図面を参照しながら説明する。なお、全図を通して同一符号は同一又は相当部分を示すものとする。
【００１２】
（第１の実施の形態）
図１は、第１の実施の形態に係る路面推定装置１００のブロック図である。路面推定装置１００は、撮影部１１０、空間計測部１２０、路面モデル作成部１３０、フィルタ部１４０、路面推定部１５０、および車両制御部１６０を備える。
【００１３】
撮影部１１０は、自車両の前方の画像を撮影する。撮影部１１０は、一例において、左側カメラおよび右側カメラを備えるステレオカメラである。他の例において、撮影部１１０は、例えばＴＯＦカメラ等の３次元計測が可能なカメラである。
【００１４】
空間計測部１２０は、左側カメラおよび右側カメラの２台のカメラからそれぞれ同一対象物を撮影した左側画像および右側画像を入力し、それらの画像から、当該同一対象物の３次元位置を計測する。
【００１５】
図２は、ｘ−ｙ−ｚ座標系とｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標系の間の座標変換の説明図である。図２において、対象物の位置Ｐが、左側画像１１２の位置Ｑに映っており、右側画像１１４の位置Ｒに映っている。図２において、ｙ軸およびｖ軸は、紙面の奥行き方向に延在し、ｕ軸およびｖ軸は、左側画像１１２および右側画像１１４において、それぞれ左右方向および上下方向に延在する。
【００１６】
位置Ｑの左側画像１１２におけるｕ−ｖ座標値（ｕｌ，ｖｌ）は、左側カメラの焦点Ｏ’を中心とする位置Ｑのｘ−ｙ座標値（ｕｌ，ｖｌ）に一致する。位置Ｒの右側画像１１４におけるｕ−ｖ座標値（ｕｒ，ｖｒ）は、右側カメラの焦点Ｏを中心とする位置Ｒのｘ−ｙ座標値（ｕｒ，ｖｒ）に一致する。
【００１７】
まず、右側カメラの焦点Ｏを中心とした対象物の位置Ｐのｘ−ｙ−ｚ座標値（ｘ，ｙ，ｚ）を、対象物の位置Ｐのｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標値（ｕｒ，ｖｒ，ｄ）、カメラ間距離ｂ、および焦点距離ｆを用いて表す。ここで、ｄ＝ｕｌ−ｕｒは視差（ｄｉｓｐａｒｉｔｙ）値を表す。
【００１８】
線分Ｏ’Ｐを、Ｏを通るように平行移動した線分ＯＳと右側画像１１４との交点をＱ’とすると、Ｑ’はＯを中心とするｘ−ｙ座標値（ｕｌ，ｖｌ）を有する。三角形ＯＰＳに着目すると、次の式（１）が導かれる。
ｘ：ｂ＝ｕｒ：ｄ  …  （１）
【００１９】
ｙ座標（図２の奥行き方向）およびｚ座標についても同様の式が成立し、これらの式より、ｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標値（ｕｒ，ｖｒ，ｄ）からｘ−ｙ−ｚ座標値（ｘ，ｙ，ｚ）への変換式である次の式（２）が導かれる。
【数１】
2018026058.tif 000003
【００２０】
次に、対象物の位置Ｐのｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標値（ｕｒ，ｖｒ，ｄ）を、右側カメラの焦点Ｏを中心とした対象物の位置Ｐのｘ−ｙ−ｚ座標値（ｘ，ｙ，ｚ）、カメラ間距離ｂ、および焦点距離ｆを用いて表す。図２より、次の式（３）が導かれる。
ｘ：ｕｒ＝ｙ：ｖｒ＝ｚ：ｆ  …  （３）
【００２１】
式（３）より、ｘ−ｙ−ｚ座標値（ｘ，ｙ，ｚ）からｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標値（ｕｒ，ｖｒ，ｄ）への変換式である次の式（４）が導かれる。
【数２】
2018026058.tif 000004
【００２２】
このように、対象物の３次元計測点は、ｘ−ｙ−ｚ座標系およびｕ−ｖ−ｄｉｓｐａｒｉｔｙ座標系のいずれを用いても表されることに留意する。
【００２３】
空間計測部１２０は、左側画像および右側画像から同一対象物を検出し、当該同一対象物の３次元計測点を出力する。例えば、同一対象物を検出するために、左側画像または右側画像の各ピクセルに対して、当該ピクセルに対応する部分における視差をマッピングした視差マップ等の視差情報を用いる。例えば、ＳＧＭを用いて視差マップを取得する。なお、撮影部１１０が直接３次元計測を行うことが可能なカメラである場合、空間計測部１２０は、撮影部１１０が行った３次元計測の結果を、そのまま３次元計測点として出力してもよい。
【００２４】
空間計測部１２０が出力する３次元計測点には、視差情報の誤差等に起因する誤差が混入する。図３はｘ−ｙ−ｚ座標系におけるｙ−ｚ平面への路面モデル２１０および３次元計測点の射影図である。ここで、ｙ軸は鉛直方向に延在し、ｚ軸は車両前方方向に延在する。３次元計測点は、図３に示すように幅を持った分布を有する。誤差が混入した３次元計測点に基づいて路面推定部１５０が路面を推定すると、推定された当該路面にも誤差が混入してしまう。
【００２５】
そこで、第１の実施の形態においては、路面推定部１５０が推定路面を推定する前に、空間計測部１２０が出力する３次元計測点に、当該３次元計測点の情報とは異なる情報であって、路面を表す情報に基づいてフィルタ部１４０が図３を参照して後述されるフィルタをかけて、３次元計測点の集合に含まれる路面候補点を取得する。これにより、より精度の高い路面候補点に基づいて路面推定部１５０が路面を推定するので、推定された当該路面の精度も改善される。また、路面の推定に用いる３次元計測点の個数が減少するので、路面推定部１５０は路面をより高速に推定することができる。
【００２６】
路面モデル作成部１３０は、路面モデル２１０を作成する。一例において、路面モデル作成部１３０は、３次元地図の情報および自車両の位置情報に基づいて、路面を表す情報として３次元空間内の平面または曲面で表される路面モデル２１０を作成する。例えば、路面モデル作成部１３０は、地図の情報および自車両の位置情報から、撮影部１１０の道路の横断方向、道路の縦断方向、および撮影方向の傾きを検知する。また、路面モデル作成部１３０は、自車両の傾きを検知する傾きセンサからの傾き情報を入力し、入力した傾き情報に基づいて、撮影部１１０の道路の横断方向、道路の縦断方向、および撮影方向の傾きを検知してもよい。
【００２７】
３次元地図の情報は、例えば、道路の縦断勾配を示す情報、道路の横断勾配を示す情報、道路の幅員を示す情報であり、一般的にカーナビゲーションシステムで用いられる地図の情報よりも高精度であることが好ましい。道路の幅員情報は、道路の中心線より右部分の幅員である右幅員、中心線より左部分の幅員である左幅員を含んでもよい。路面モデル作成部１３０は、これらの情報に基づいて、撮影部１１０の撮影方向を基準として、２次元曲面で表される路面モデル２１０を生成する。一例において、路面モデル作成部１３０は、道路の幅員の範囲内で路面モデル２１０を作成するが、道路の幅員の範囲外においては、道路の横断勾配を延長することにより路面モデル２１０を作成してもよい。
【００２８】
フィルタ部１４０は、路面モデル作成部１３０が作成した路面モデル２１０を入力する。次いで、フィルタ部１４０は、路面２１０に基づいて、３次元計測点を路面候補点として採用するか外れ候補点として除去するかを判定するために用いるフィルタを決定する。一例において、フィルタは、路面２１０からの法線方向の幅であるフィルタ幅によって画定される範囲によって特徴付けられる。例えば、図３に示されるように、フィルタは破線２２０および破線２３０によって画定される範囲によって特徴付けられる。
【００２９】
一例において、フィルタ部１４０は、撮影部１１０の誤差特性に応じて、フィルタ幅を変更する。撮影部１１０がステレオカメラである場合、空間計測部１２０が計測する３次元計測点には、撮影部１１０からの距離の２乗に比例した誤差が混入する。すなわち、対象物が撮影部１１０から遠くにあるほど、３次元計測点により大きい誤差が混入する。したがって、例えば、図３に示されるように、撮影部１１０から離れるほどフィルタ幅を広げるように、撮影部１１０からの距離に応じて幅を変更することによって、遠方の点を過度に除外することを抑制することができる。また、フィルタ幅の変更は、図３に示されるように、撮影部１１０からの距離に応じて連続的に変更するものに限られない。例えば１０ｍ未満の距離に対してはフィルタ幅を１０ｃｍにし、１０ｍ以上の距離に対してはフィルタ幅を３０ｃｍにする等、撮影部１１０からの距離に応じてフィルタ幅がステップ状に広がるように変更してもよい。
【００３０】
路面モデル２１０を入力したフィルタ部１４０は、空間計測部１２０から入力した３次元計測点にフィルタをかけて、路面候補点を取得する。図３においては、入力した３次元計測点のうち、破線２２０および破線２３０によって画定される範囲の内側にある３次元計測点２４０を路面候補点として採用し、当該範囲の外側にある３次元計測点２５０を外れ候補点として除外する。
【００３１】
路面推定部１５０は、フィルタ部１４０から出力された路面候補点に基づいて、路面を推定する。前述したとおり、対象物が撮影部１１０から遠くにあるほど、３次元計測点により大きい誤差が混入する。ここで、対象物が撮影部１１０から遠くにあるほど、ｚ座標値は大きくなり、ｄｉｓｐａｒｉｔｙ座標値（視差値）は小さくなる。反対に、対象物が撮影部１１０から近くにあるほど、ｚ座標値は小さくなり、ｄｉｓｐａｒｉｔｙ座標値（視差値）は大きくなる。したがって、一例として、路面推定部１５０は、３次元計測点への誤差の混入がより少ない、大きいｄｉｓｐａｒｉｔｙ座標値から、小さいｄｉｓｐａｒｉｔｙ座標値に向かって路面を推定する。
【００３２】
例えば、ｄｉｓｐａｒｉｔｙ座標軸方向に空間を複数の区分に分割し、大きいｄｉｓｐａｒｉｔｙ値に対応する区分から始めて、隣接する区分の順に、次の式（５）
【数３】
2018026058.tif 000005
で表される２次曲面を用いて、当該区分に含まれる路面候補点との誤差を最小化するパラメータａ０〜ａ４を、例えば最小二乗法を用いて求めることができる。
【００３３】
複数の区分の全てのパラメータａ０〜ａ４を求めた後、路面推定部１５０は、それらのパラメータにより規定される２次曲面をつなぎ合わせることにより、路面を推定する。
【００３４】
路面推定部１５０が推定した推定路面においては、地図情報においては表現されていない路面も推定される。したがって、地図情報のみに基づいて路面を推定する場合と比較して、より実際の路面に忠実な推定路面を取得することができる。
【００３５】
車両制御部１６０は、推定路面に基づいて車両を制御する。例えば、車両制御部１６０は、推定路面および空間計測部１２０が出力した３次元計測点に基づいて車両前方の障害物を認識する認識部（図示せず）からの入力に基づき、障害物の回避行動をとるように、自車両を制御する。また、例えば道路が未舗装道路である、道路が工事中である、道路に段差や窪みがある等の理由により、推定路面の表面が凸凹している場合がある。そのような場合には、車両制御部１６０は、例えば車両の速度を減速するように、或いはサスペンションの堅さを例えば小さく調節して衝撃を吸収するように、自車両を制御する。推定路面に基づいて自車両を制御することにより、車両制御部１６０は、自車両がこれから通過する部分の路面の状態に併せて自車両を制御することができる。したがって、実際の自車両の振動に基づいて制御する場合と比較して、より柔軟な制御が可能となり、自車両の乗り心地をより良くすることができる。さらに、空間計測部１２０が出力した３次元計測点群から路面に相当する点群（例えばフィルタ部１４０から出力された路面候補点群）を差し引くことにより、前述の認識部は、路面以外の３次元物体を抽出することができる。路面以外の３次元物体を抽出することにより、路面推定装置１００は、走行可能経路探索や障害物認識の目的にも応用することができる。
【００３６】
図４は、路面推定装置１００の動作フローチャートである。まず、路面モデル作成部１３０が地図情報から路面モデル２１０を作成する（ステップＳ１１００）。次いで、空間計測部１２０は、撮影部１１０が撮影した画像に基づいて自車両前方の空間を計測する（ステップＳ１２００）。ここで、ステップＳ１１００およびステップＳ１２００の順序は逆でも構わない。次いで、路面モデル作成部１３０が作成した路面モデル２１０を用いて、空間計測部１２０が出力した３次元計測点にフィルタ部１４０がフィルタをかけて、路面候補点を取得する（ステップＳ１３００）。次いで、路面候補点を用いて、路面推定部１５０が路面を推定する（ステップＳ１４００）。次いで、路面推定部１５０が推定した推定路面に基づいて、車両制御部１６０が自車両を制御する（ステップＳ１５００）。
【００３７】
一例において、撮影部１１０が撮影する画像のフレーム毎に、路面モデル作成部１３０が路面モデル２１０を作成し、空間計測部１２０が自車両前方の空間を計測し、フィルタ部１４０が３次元計測点にフィルタをかけ、路面推定部１５０は、路面を推定する。こうすると、撮影部１１０の近くの点と比較して３次元計測点の推定の精度が低い撮影部１１０の遠くの点についても、自車両が走行して当該遠くの点に近づくにつれて、その３次元計測点の推定の精度を上げることができる。
【００３８】
図５は、コンピュータ２１００のハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。
【００３９】
図５に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。
【００４０】
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
【００４１】
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【産業上の利用可能性】
【００４２】
本開示に係る路面推定装置は、車両に備えたステレオカメラが撮影した画像から、路面を推定するのに好適である。
【符号の説明】
【００４３】
１００  路面推定装置
１１０  撮影部
１２０  空間計測部
１３０  路面モデル作成部
１４０  フィルタ部
１５０  路面推定部
１６０  車両制御部
２１００  コンピュータ
２１０１  入力装置
２１０２  出力装置
２１０３  ＣＰＵ
２１０４  ＲＯＭ
２１０５  ＲＡＭ
２１０６  記憶装置
２１０７  読取装置
２１０８  送受信装置
２１０９  バス
【図１】
2018026058.tif 000006
【図２】
2018026058.tif 000007
【図３】
2018026058.tif 000008
【図４】
2018026058.tif 000009
【図５】
2018026058.tif 000010