(57)【要約】      （修正有）【課題】カメラ等を利用して取得する道路情報の精度を向上させる技術を提供する。【解決手段】画像処理装置１は、カメラ４により車両の進行方向前方を撮影した撮影画像から、車両が走行する車線の幅を算出する車線幅算出部６と、ＧＰＳセンサ５から車両の位置を示す情報を取得する位置情報取得部７と、車両の位置に基づいて地図データから車両が走行する車線の幅を示す情報を取得する車線幅取得部８と、車線幅算出部６が算出した車線の幅と車線幅取得部８が地図データから取得した車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正するスケール修正部９と、を備える。【選択図】図２
2018013956.tif 000002
【特許請求の範囲】
【請求項１】
車両の進行方向前方が撮影された撮影画像から前記車両が走行する車線の幅を算出する車線幅算出部と、
前記車両の位置を示す情報を取得する位置情報取得部と、
前記車両の位置を示す情報に基づいて地図データから前記車両が走行する前記車線の幅を示す情報を取得する車線幅取得部と、
前記車線幅算出部が算出した前記車線の幅と前記車線幅取得部が前記地図データから取得した前記車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との関係を修正するスケール修正部と、
を備える画像処理装置。
【請求項２】
前記スケール修正部は、前記車線幅算出部が算出した前記車線の幅と前記車線幅取得部が取得した前記車線の幅との差が、所定の期間よりも長く前記所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との関係を修正する、
請求項１に記載の画像処理装置。
【請求項３】
前記所定の値は、前記車線幅取得部が取得した前記車線の幅と前記車両の車幅とに基づいて決定される、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記所定の値は、前記車線幅取得部が取得した前記車線の幅と前記車両の車幅との差が小さくなるほど、小さく決定される、
請求項３に記載の画像処理装置。
【請求項５】
車両の進行方向前方が撮影された撮影画像から前記車両が走行する車線の幅を算出するステップと、
前記車両の位置を示す情報を取得するステップと、
前記車両の位置を示す情報に基づいて地図データから前記車両が走行する前記車線の幅を示す情報を取得するステップと、
算出した前記車線の幅と前記地図データから取得した前記車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との関係を修正するステップと、
を含むプロセッサが実行する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出した車線の幅のズレを補正する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、撮像装置から走行路前方の道路情報を得て、当該道路情報を利用して車両を制御することが行われている。特許文献１には、地図情報をもとに得た第１の道路情報と撮像装置を利用して得た第２の道路情報とに基づいて、最終的な道路情報を得る技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２１１４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラ等を利用して車両の進行方向前方の道路情報を得ようとする場合、車両の振動等により、カメラの向きや高さなどが当初の設定からずれてしまい、正しい道路情報を得られなくなることがある。そのため、道路情報を利用する車線維持支援等の運転補助が効果的に使用できなくなるといった問題が生じていた。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、カメラ等を利用して取得する道路情報の精度を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様においては、車両の進行方向前方が撮影された撮影画像から前記車両が走行する車線の幅を算出する車線幅算出部と、前記車両の位置を示す情報を取得する位置情報取得部と、前記車両の位置を示す情報に基づいて地図データから前記車両が走行する前記車線の幅を示す情報を取得する車線幅取得部と、前記車線幅算出部が算出した前記車線の幅と前記車線幅取得部が前記地図データから取得した前記車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との関係を修正するスケール修正部と、を備える画像処理装置を提供する。
【０００７】
前記スケール修正部は、例えば、前記車線幅算出部が算出した前記車線の幅と前記車線幅取得部が取得した前記車線の幅との差が、所定の期間よりも長く前記所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との関係を修正する。
【０００８】
前記所定の値は、例えば、前記車線幅取得部が取得した前記車線の幅と前記車両の車幅とに基づいて決定される。
【０００９】
前記所定の値は、例えば、前記車線幅取得部が取得した前記車線の幅と前記車両の車幅との差が小さくなるほど、小さく決定される。
【００１０】
本発明の第２の態様においては、車両の進行方向前方が撮影された撮影画像から前記車両が走行する車線の幅を算出するステップと、前記車両の位置を示す情報を取得するステップと、前記車両の位置を示す情報に基づいて地図データから前記車両が走行する前記車線の幅を示す情報を取得するステップと、算出した前記車線の幅と前記地図データから取得した前記車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、前記撮影画像中の被写体の長さと前記撮影画像を構成する画素の画素数との関係を修正するステップと、を含むプロセッサが実行する画像処理方法を提供する。
【発明の効果】
【００１１】
本発明によれば、カメラ等を利用して取得する道路情報の精度を向上させるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】車両の進行方向前方が撮影された撮影画像を示す図である。
【図２】実施の形態に係る画像処理装置の構成を示す図である。
【図３】車線幅算出部が各時点で算出した車線の幅がプロットされた図である。
【図４】画像処理装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
［概要］
以下に、図１を参照しながら、実施の形態に係る画像処理装置を説明する。
図１は、車両の進行方向前方が撮影された撮影画像を示す図である。図１（ａ）及び図１（ｂ）には、区画線Ｃで区切られた走行車線と画素Ｐとが描かれている。図１（ａ）と図１（ｂ）とでは、撮影画像を撮影する領域が異なる。図１（ｂ）の撮影画像を撮影するカメラは、振動等の影響を受けて図１（ａ）の撮影画像を撮影するカメラの設定よりも下向きになっている。従って、図１（ａ）の撮影画像の方が図１（ｂ）の撮影画像よりも遠方が撮影されている。
【００１４】
画像処理装置は、例えば、被写体の大きさ又は長さ等を、被写体が撮影画像に占めるピクセルの数に基づいて算出する。図１（ａ）及び（ｂ）からわかるように、振動等によりカメラの向きが変わった場合、車線幅に対応するピクセル数が変わってしまい、画像処理装置は正しい車線幅を算出することができない。画像処理装置が正しい車線幅を算出できない場合、例えば、車両が走行するカーブの曲率の算出精度が下がり、画像処理装置はカーブ走行中の操舵支援を効果的に実施できなくなり得る。
【００１５】
実施の形態に係る画像処理装置は、撮影画像から算出した車線の幅と地図データから取得した車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正する。こうすることによって、車両がカメラ等を利用して取得する道路情報の精度を向上させることができる。なお、車線の幅の検出手段は、車線の幅を検出できればよく、カメラに限定されない。以下に、図２を参照しながら実施の形態に係る画像処理装置について説明する。
【００１６】
［画像処理装置の構成図］
図２は、実施の形態に係る画像処理装置１の構成を示す図である。画像処理装置１は、記憶部２、制御部３、カメラ４及びＧＰＳ（Global Positioning System）センサ５を備える。制御部３は、例えばＥＣＵ（Electronic Control Unit）であり、有線又は無線で記憶部２及びカメラ４と接続されている。カメラ４は、車両の進行方向前方の道路を撮影する。ＧＰＳセンサ５は、車両の位置情報を取得する。
【００１７】
記憶部２は、例えば、制御部３が実行するプログラムが記録されたＲＯＭ（Read Only Memory）とデータを一時的に記録するＲＡＭ（Random Access Memory）とを備える。ＲＯＭには、車両が走行する道路の車線の幅に関する情報を含む地図データが記録されている。また、ＲＯＭには、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正する目安となる誤差の大きさが記録されている。ＲＡＭには、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係が修正される都度記録される。また、ＲＡＭには、カメラ４が撮影した撮影画像が記録される。
【００１８】
記憶部２は、ＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）等を更に有し、地図データは上記ＳＳＤ又はＨＤＤに記録されてもよい。その場合、誤差修正後の、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係も同じＳＳＤ又はＨＤＤに記録することによって、エンジン停止後も修正したスケールで車線の幅を算出することができる。
【００１９】
制御部３は、記憶部２に記録されたプログラムを実行することによって、車線幅算出部６、位置情報取得部７、車線幅取得部８及びスケール修正部９として機能する。
【００２０】
車線幅算出部６は、車両の進行方向前方が撮影された撮影画像をカメラ４から取得し、上記撮影画像から車両が走行する車線の幅を算出する。具体的には、車線幅算出部６は、例えば、図１に示したように区画線上のある画素から別の区画線上の画素までに存在する画素数をカウントし、予め定められた画素数と距離との関係に基づいて車線の幅を算出する。
【００２１】
例えば車線幅算出部６は、１画素あたり１ｃｍの長さと定まっている場合、撮影画像に写された区画線と区画線との間に３００画素があれば、車線の幅は３ｍであると算出する。車線幅算出部６は、算出した車線の幅を記憶部２に記録して、スケール修正部９に通知する。なお、車線の幅は任意に定義してよい。車線幅算出部６は、太さがある区画線の外側から車線幅を計測してもよい。また、車線幅算出部６は、区画線の中央から車線幅を計測してもよい。また、車線幅算出部６は、区画線の内側から車線幅を計測してもよい。なお、区画線自体の検出は、例えば、既知の手法に基づいて行う。
【００２２】
位置情報取得部７は、ＧＰＳセンサ５から車両の位置を示す情報を取得する。位置情報取得部７は、車両の位置に関する情報を取得後、車線幅取得部８に通知する。
【００２３】
車線幅取得部８は、位置情報取得部７から通知された車両の位置を示す情報に基づいて、記憶部２に記録された地図データから車両が走行する車線の幅を取得する。車線幅取得部８は、地図データから取得した車線の幅を記憶部２に記録してスケール修正部９に通知する。
【００２４】
スケール修正部９は、車線幅算出部６が算出した車線の幅と車線幅取得部８が地図データから取得した車線の幅との差の絶対値が誤差を修正する目安となる所定の値よりも大きい場合に、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正する。上記所定の値は、例えば、区画線の太さと同じであるか又は１０ｃｍである。
【００２５】
例えば、図１（ｂ）に示した区画線と区画線との間に存在する画素数が２５０であり、一画素あたり１ｃｍに相当すると記録されており、車線幅算出部６は、車線の幅が２.５ｍであると算出したとする。一方、車線幅取得部８が地図データから取得した車線の幅が３ｍである場合、車線幅算出部６が算出した車線の幅と位置情報取得部７が取得した車線の幅との誤差は５０ｃｍとなる。
【００２６】
誤差５０ｃｍが上記所定の値よりも大きい場合、スケール修正部９は、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正する。この場合、スケール修正部９は、例えば、一画素あたり１.２ｃｍに相当するとして、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正し、記憶部２に記録する。
【００２７】
上記所定の値は、車線幅取得部８が取得した車線の幅と車両の車幅とに基づいて決定されてもよい。所定の値は、例えば、車線幅取得部８が取得した車線の幅と車両の車幅との差が小さくなるほど、小さく決定されてもよい。
【００２８】
例えば、車線の幅と車両の車幅との差が小さい場合、車両は車線外にはみ出しやすくなる。そのため、車線の幅と車両の車幅との差が小さい場合は、車線幅算出部６が算出した車線の幅と車線幅取得部８が地図データから取得した車線の幅との差が小さい値であっても、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正するようにする。こうすることによって、画像処理装置１は、高い精度で車線の幅を検出し、車線維持支援をより効果的に実行することができる。
【００２９】
また、上記所定の値は、例えば、車線幅取得部８が取得した車線の幅と車両の車幅との差が大きくなるほど、大きく決定されてもよい。この場合、車線幅算出部６が算出した車線の幅と車線幅取得部８が地図データから取得した車線の幅との差が小さい値であるとき、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正しない。こうすることによって、スケール修正部９は、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正する機会が減少する。その結果、運転者は長い時間に亘って、同じ動作をする車線維持支援を受けるため、運転体験が向上する。
【００３０】
上記所定の値は、撮影画像から検出した区画線の太さに応じて変更されてもよい。例えば、所定の値は、区画線が細いほど小さな値としてもよい。区画線が細い場合、車両が区画線を乗り越える可能性、即ち、車線を逸脱する可能性が高い。従って、区画線が細い場合には、誤差が小さい場合であっても撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正することによって、画像処理装置１は車線維持支援を効果的に実行することができる。
【００３１】
スケール修正部９は、車線幅算出部６が算出した車線の幅と車線幅取得部８が取得した車線の幅との差が、所定の期間よりも長く上記所定の値よりも大きい場合に、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正してもよい。このことを、図３を参照しながら説明する。
【００３２】
図３は、車線幅算出部６が各時点で算出した車線の幅がプロットされた図である。図３に示された座標系は、縦軸が車線の幅を示し、横軸が時間を示す。車線幅取得部８が地図データから取得する車線の幅が実線で表された値であり、許容できる誤差を示す上記所定の値は、図３において実線と破線との幅で表されている。
【００３３】
図３に示すように、車線幅算出部６が算出する車線の幅がある時刻から破線と破線とに挟まれた領域から外れ、係る状況が所定の時間継続した場合に、スケール修正部９は、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正する。ここで、上記所定の期間は、車両が走行する道路の歪んだ箇所を通過していると考えられる期間よりも長い期間であり、例えば５秒間である。
【００３４】
こうすると、例えば、道路が劣化して区画線が当初敷かれた位置からずれている箇所を一時的に車両が通過している場合に、スケール修正部９が撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正しなくなる。従って、撮影画像を撮影するカメラの位置がずれていないにも関わらず、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係が誤って修正されてしまうことを防ぐことができる。
【００３５】
［画像処理装置１の処理のフロー］
図４は、画像処理装置１の処理の流れを示すフローチャートである。フローチャートは、先ず車線幅算出部６が撮影画像に基づいて車線の幅を算出する処理から始まる（Ｓ４１）。続いて、位置情報取得部７が車両の位置情報を取得する（Ｓ４２）。続いて、車線幅取得部８が車両の位置情報に基づいて地図データから車線の幅を取得する（Ｓ４３）。
【００３６】
地図データから取得した車線の幅と車線幅算出部６が算出した車線の幅との誤差が所定の値より大きくない場合（Ｓ４４においてＮＯ）、画像処理装置１はＳ４１から再度処理を開始する。地図データから取得した車線の幅と車線幅算出部６が算出した車線の幅との誤差が所定の値より大きい場合（Ｓ４４においてＹＥＳ）、スケール修正部９は撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正する。
【００３７】
［画像処理装置１が奏する効果］
上述したとおり、実施の形態に係る画像処理装置１は、車線幅算出部６が算出した車線の幅と車線幅取得部８が地図データから取得した車線の幅との差が誤差を修正する目安となる所定の値よりも大きい場合に、撮影画像中の被写体の長さと撮影画像を構成する画素の画素数との関係を修正する。
【００３８】
こうすることによって、画像処理装置１は、カメラが撮影した撮影画像等に基づいて算出する、車線の幅及び曲率等を含む道路情報の精度を向上させることができる。その結果、画像処理装置１は、車両の車線維持支援の性能を向上させることができる。
【００３９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００４０】
Ｃ・・・区画線
Ｐ・・・画素
１・・・画像処理装置
２・・・記憶部
３・・・制御部
４・・・カメラ
５・・・ＧＰＳセンサ
６・・・車線幅算出部
７・・・位置情報取得部
８・・・車線幅取得部
９・・・スケール修正部
【図１】
2018013956.tif 000003
【図２】
2018013956.tif 000004
【図３】
2018013956.tif 000005
【図４】
2018013956.tif 000006