(57)【要約】【課題】ノイズが存在する場合でも、正確に車線区画線を検出することのできる、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムを提供する。【解決手段】走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、時刻ｔ０における原画像である第１画像の部分画像と、前記時刻ｔ０よりも過去における前記原画像である過去画像の前記部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定する、検定手段とを具備する。【選択図】図３
2010102427.tif 000002
【特許請求の範囲】
【請求項１】
走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、
前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、
時刻ｔ０に取得された前記原画像の部分画像と、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像とに基づいて、前記時刻ｔ０における前記車線区画線位置検出手段の検出結果を検定する、検定手段と、
を具備する
車線区画線検出装置。
【請求項２】
請求項１に記載された車線区画線検出装置であって、
更に、
前記車線区画線位置検出手段により検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断する、車線変更判断手段、
を具備し、
前記検定手段は、前記車線区画線位置検出手段の検出結果を検定することにより、前記車線変更判断手段の判断結果を検定する
車線区画線検出装置。
【請求項３】
請求項１又は２に記載された車線区画線検出装置であって、
前記検定手段は、前記第１画像の部分画像と前記過去画像の部分画像とに基づいて第２画像を生成する第２画像生成手段を備え、前記第２画像に基づいて検定を行う
車線区画線検出装置。
【請求項４】
請求項３に記載された車線区画線検出装置であって、
前記第２画像生成手段は、前記第２画像として、前記走行路を前記原画像における撮像方向とは異なる第１方向から見たときの画像を生成する、
車線区画線検出装置。
【請求項５】
請求項４に記載された車線区画線検出装置であって、
前記第１方向は、前記走行路を鉛直上方向から鉛直下方向に見たときの方向である
車線変更検出装置。
【請求項６】
請求項４又は５に記載された車線区画線検出装置であって、
前記検定手段は、
前記第２画像内に示される前記車線区画線の傾きを算出する傾き算出手段と、
前記傾きに基づいて、所定期間における前記車線区画線の相対位置の移動量を、推定移動量として算出する、推定移動量算出手段と、
前記推定移動量に基づいて、車線区画線位置検出手段における検出結果を検定する、比較手段とを備える
車線区画線検出装置。
【請求項７】
請求項１乃至６のいずれかに記載された車線区画線検出装置と、
前記検定手段による検定結果に基づいて、前記走行体の位置を把握する位置把握手段と、
前記位置把握部により把握された位置をユーザに通知する通知手段と、
を具備する
カーナビゲーションシステム。
【請求項８】
請求項１乃至６のいずれかに記載された車線変更検出装置と、
前記検定手段による検定結果に基づいて、前記走行体に設けられたウィンカを制御するウィンカ制御手段と、
を具備する
ウィンカシステム。
【請求項９】
走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得するステップと、
前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出するステップと、
時刻ｔ０における原画像である第１画像の部分画像と、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定するステップと、
を具備する
車線区画線検出方法。
【請求項１０】
走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得するステップと、
前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出するステップと、
時刻ｔ０における原画像である第１画像の部分画像と、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定するステップと、
をコンピュータに実行させるための、車線区画線検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムに関する。
【背景技術】
【０００２】
車両の車線変更を検出する車線変更検出装置が、特許文献１（特開２００７−２４１４６８）に記載されている。この車線変更検出装置は、車両の前方若しくは後方の路面を撮像する撮像手段と、当該撮像手段により撮像された画像を処理して路面の車線区分線を認識する認識手段と、車線変更の開始を検出する検出手段とを備える。前記検出手段が車線変更の開始を検出しない場合には、前記認識手段が、車両の両側に位置する車線区分線の双方を認識する。前記検出手段が車線変更の開始を検出した後は、前記認識手段が車線変更の開始時に車両の両側に位置する車線区分線のうち車線変更方向側に位置する車線区分線のみを認識する。
【０００３】
また、関連技術として、特許文献２（特開２００２−２９３４７）には、車線変更の判断を速やかに行うことができる車両用走行区分線検出装置を提供することを課題とした技術が記載されている。
【０００４】
他の関連技術として、特許文献３（特開２００６−１２１９１）には、走行区分線を精度良く正確に認識できることを課題とした技術が記載されている。
【０００５】
【特許文献１】特開２００７−２４１４６８号公報
【特許文献２】特開２００２−２９３４７号公報
【特許文献３】特開２００６−１２１９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
車線変更が行われたか否かは、精度良く識別されることが望まれる。しかし、撮像装置によって撮像した画面の中には、ノイズが含まれることがある。そのようなノイズにより、車線区画線が誤検出されてしまうことがある。
【０００７】
そこで、本発明の目的は、ノイズが存在する場合でも、正確に車線区画線を検出することのできる、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る車線区画線検出装置は、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、時刻ｔ０における原画像である第１画像から抽出された部分画像と、前記時刻ｔ０よりも過去における前記原画像である過去画像から抽出された部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定する、検定手段とを具備する。
【０００９】
本発明に係るカーナビゲーションシステムは、上述の車線区画線検出装置と、前記検定手段による検定結果に基づいて、前記走行体の位置を把握する位置把握手段と、前記位置把握部により把握された位置をユーザに通知する通知手段とを具備する。
【００１０】
本発明に係るウィンカシステムは、上述の車線変更検出装置と、前記検定手段による検定結果に基づいて、前記走行体に設けられたウィンカを制御するウィンカ制御手段とを具備する。
【００１１】
本発明に係る車線区画線検出方法は、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得するステップと、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出するステップと、時刻ｔ０における原画像である第１画像の部分画像と、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定するステップとを具備する。
【００１２】
本発明に係る車線区画線検出プログラムは、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得するステップと、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出するステップと、時刻ｔ０における原画像である第１画像の部分画像と、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定するステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、ノイズが存在する場合でも、正確に車線区画線を検出することのできる、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムが提供される。
【発明を実施するための最良の形態】
【００１４】
以下に、図面を参照しつつ、本発明の実施形態について説明する。
【００１５】
本実施形態に係る車線区画線検出装置１３は、車両（走行体）が車線変更を行ったか否かを検出する装置であり、車両１０に備えられる。図１は、走行路３を走行する車両１０を示す概略図である。走行路３には、車線を区分けする車線区分線２が設けられている。車両１０は、ウィンカ４と、カメラ１とを備えている。カメラ１は、車両１０の進行方向とは反対側に向かって、走行路３を撮像する。撮像された画像は、車線区画線検出装置１３に通知される。車線区画線検出装置１３は、撮像された画像に基づいて車線変更が行われたか否かを検出する。車線区画線検出装置１３による検出結果は、ウィンカ４の制御や、図示しないカーナビゲーションシステムに用いられる。
【００１６】
図２は、車線区画線検出装置１３の構成を示すブロック図である。車線区画線検出装置１３は、ＣＰＵ５、ＲＡＭ（Ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、記憶部８、及び入出力インタフェース９を有するコンピュータにより実現される。ＲＡＭには、車線区画線検出プログラム６が格納されている。車線区画線検出プログラム６は、例えばＣＤ−ＲＯＭなどの記憶メディアから、予めＲＡＭ６にインストールされている。車線区画線検出装置１３は、車線区画線検出プログラム６がＣＰＵ５によって実行されることにより、その機能を実現する。入出力インタフェース９は、カメラ１、カーナビゲーション装置２４、及びウィンカ制御装置１２に接続されている。車線区画線検出装置１３は、入出力インタフェース９を介して、カメラ１、カーナビゲーション装置２４、及びウィンカ制御装置１２との間の通信を行う。記憶部８は、ハードディスクやＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に例示される。記憶部８には、車線区画線検出プログラム６により使用される各種データが格納される。
【００１７】
図３は、車線区画線検出装置１３の機能構成を示す機能ブロック図である。車線区画線検出装置１３は、原画像取得部１４と、車線区画線位置検出部１５と、車線変更判断部１６と、検定部１９とを備えている。検定部１９は、第２画像生成部１８と、傾き算出部２１と、比較部２３とを備えている。
【００１８】
記憶部８には、原画像群と、相対位置データとが、それぞれ時刻と対応付けられて格納されている。
【００１９】
図４は、車線区画線検出装置１３の動作方法を示すフローチャートである。
【００２０】
ステップＳ１０；原画像の取得
原画像取得部１４は、カメラ１により撮像されて得られた画像を、原画像２８として取得する。図５は、原画像２８を示す概念図である。原画像２８中には、車両１０から離れた領域が写された遠方領域と、車両１０に近い領域が写された近傍領域とが含まれている。原画像取得部１４は、所定の時間間隔で、原画像を取得する。原画像取得部１４は、取得した原画像を、取得した時刻と対応付けて、記憶部８に格納する。これにより、記憶部８には、複数の原画像（原画像群）が、時刻と対応付けられて格納される。
【００２１】
ステップＳ２０；車線区画線の検出
現在時刻ｔ０において原画像が取得されたとする。時刻ｔ０における原画像が、以下、第１画像と記載される。車線区画線位置検出部１５は、第１画像に基づいて、車線区画線２の車両１０からの相対位置を検出する。車線区画線位置検出部１５は、検出した相対位置に現在時刻ｔ０を対応付け、相対位置データとして記憶部８に格納する。このような処理を所定の時間間隔で行うことにより、記憶部８には、複数の時刻のそれぞれについて、相対位置データが格納されることになる。
【００２２】
ステップＳ３０；車線区画線を越えたか否かの判断
車線変更判断部１６は、相対位置データに基づいて、時刻ｔ０までの相対位置を時系列的に追跡し、車線変更が行われたか否かを判断する。車線変更判断部１６は、車線変更が行われたと判断した場合、その旨を判断結果として検定部１９に通知する。
【００２３】
ステップＳ３０における車線変更が行われたか否かの判断は、時刻ｔ０における相対位置が正しく検出されていることが前提となる。そこで、以下のステップＳ４０以降の処理により、相対位置が正しく検出されているか否かが検定され、車線変更の判断結果が検定される。
【００２４】
ステップＳ４０；第２画像の生成
第２画像生成部１８が、第１画像の部分画像に基づいて、第２画像を生成する。第２画像は、原画像の撮像方向とは異なる視点で走行路３を見たときの画像である。具体的には、第２画像は、原画像２８に撮影されている風景を、実世界で鉛直方向下向きの視線で見た場合の画像である。第２画像は、現在時刻ｔ０に取得された第１画像の部分画像と、過去に取得された原画像の部分画像とに基づいて得られる。図６は、本ステップにおける動作を示す概念図である。本ステップの動作について以下に詳述する。
【００２５】
図６に示されるように、現在時刻ｔ０において原画像２８（ｔ０）（第１画像）が取得されたとする。また、現在時刻ｔ０よりも過去の時刻ｔ１に、原画像２８（ｔ１）が取得されたとする。また、時刻ｔ１において、原画像２８（ｔ１）に基づいて、第２画像２７（ｔ１）が生成されていたとする。
【００２６】
第２画像生成部１８は、前時刻ｔ１で生成された第２画像２７（ｔ１）の各画素を、車両１０の移動距離に対応する量だけ、遠方方向に移動させ、第２画像２７（ｔ１）＊を生成する。第２画像２７（ｔ１）＊の車両近傍領域は、ブランクになる。
【００２７】
次に、第２画像生成部１８は、第１画像２８（ｔ０）の近傍領域を、鉛直方向下向きの視線で見た場合の画像（すなわち鳥瞰画像）に変換し、第２画像２７（ｔ１）＊のブランク部分に付加する。これにより、時刻ｔ０における第２画像２７（ｔ０）が生成される。
【００２８】
上述の処理は、原画像２８が取得されるたびに実行される。すなわち、時刻ｔにて原画像２８（ｔ）が取得されるたびに、第２画像２７（ｔ）が生成されることになる。従って、時刻ｔ１における第２画像２７（ｔ１）も、時刻ｔ１以前に取得された原画像２８の部分画像に基づいて生成された画像である。すなわち、第２画像２７（ｔ０）は、第１画像の部分画像と、時刻ｔ０以前に取得された原画像２８の部分画像とが、画像として接続されたものであるといえる。
【００２９】
このようにして得られた第２画像２７（ｔ０）は、原画像２８における近傍領域だけを含み、遠方領域を含んでいない。原画像２８中において、遠方領域は、近傍領域よりも、ノイズが含まれている可能性が高い。従って、第２画像２７では、遠方領域に起因するノイズが排除されている。
【００３０】
尚、第２画像２７としては、原画像もしくは原画像の代わりに原画像から生成した（合成でない）鳥瞰画像、もしくはこれらにフィルタ等の処理を施した処理画像を用いることも可能である。また、第２画像２７としては、画像２７（ｔ０）に対して更にフィルタ処理などが施された画像が用いられてもよい。
【００３１】
第２画像生成部１８は、生成した第２画像２７を検定部１９へ通知する。
【００３２】
続いて、ステップＳ５０以降の処理について説明する。図７は、ステップＳ５０〜７０における動作を説明する為の概念図である。
【００３３】
ステップＳ５０；傾きの算出
時刻ｔ２から時刻ｔ０にかけて、車両１０が車線変更を行ったとする。このとき、図７（ａ）に示されるように、時刻ｔ２において原画像２８（ｔ２）が、時刻ｔ１において原画像２８（ｔ１）が、時刻ｔ０において第１画像２８（ｔ０）が、それぞれ生成される。車線変更が行われている場合、各原画像２８（ｔ２〜ｔ０）において、車線区画線２の車両１０に対する相対位置は移動する。車両１０の走行速度が適当な速度であれば、図７（ｂ）に示されるように、第２画像２７（ｔ０）内では、車線区画線２が斜めに延びるように示される。ステップＳ６０では、傾き算出部２１が、この車線区画線２の傾きを算出する。算出された傾きは、比較部２３に通知される。
【００３４】
ステップＳ６０；矛盾があるか否かの判断
ステップＳ５０で算出された傾きは、時刻と車線区画線２の相対位置との関係に対応するはずである。従って、比較部２３は、相対位置データを参照して、算出された傾きが相対位置データと矛盾しているか否かを判定する。
【００３５】
ステップＳ７０；比較
ステップＳ６０にて、矛盾がなければ、車線区画線位置検出部１５における検出結果は、正しいと考えられる。従って、車線変更判断部１６における判断結果も、正しいと考えられる。車線変更判断部１６が車線変更が行われたと判断した場合であれば、比較部２３は、その判断結果が正しいものであると検定する。すなわち、車線変更が行われた旨を出力する。一方、ステップＳ６０にて矛盾があった場合には、車線区画線位置検出部１５における検出結果は、誤りであると考えられる。そのため、比較部２３は、車線変更判断部１６における判断結果を、誤りであると検定する。比較部２３は、仮に車線変更判断部１６が車線変更が行われたと判断した場合であっても、車線変更は行われていないと判断する。
【００３６】
比較部２３は、車線変更が行われたと判断した場合には、その旨をウィンカ制御装置１２、及びカーナビゲーション装置２４に通知する。
【００３７】
ウィンカ制御装置１２は、ウィンカ４を制御する。例えば、車線変更開始時には、通常、ウィンカ４が点滅させられる。このような場合に、ウィンカ制御装置１２は、車線変更が行われた（終了した）旨の通知に応じて、ウィンカ４を消灯する。
【００３８】
カーナビゲーション装置２４は、位置把握部２５と、通知部２６と、表示装置１１（例えばディスプレイ）とを備えている。カーナビゲーション装置２４では、車線変更が行われた旨が通知されると、位置把握部２５が車両１０の現在位置を把握する。そして、通知部２６が、把握した現在位置に基づいて、表示装置１１に現在位置を表示させ、ドライバーに現在位置を通知する。
【００３９】
以上説明したように、本実施形態によれば、検定部１９が、第２画像２７に基づいて、車線区画線位置検出部１５で検出された相対位置が正しい位置であるか否かを検定する。第２画像２８は、ノイズが含まれ易い遠方領域を含んでいない。従って、車線区画線位置検出部１５による検出結果が遠方領域のノイズによって影響を受けていたとしても、検定部９によってそのノイズの影響を排除することができる。ノイズが存在する場合でも、正確に車線区画線２の相対位置を検出することができ、車線変更が行われたか否かを正確に判断することができる。
【００４０】
また、本実施形態では、原画像２８とは視点が異なる第２画像２７に基づいて、検定が行われる。原画像２８と第２画像２７とでは、その性質が異なっているため、それぞれの画像において出現するノイズに起因した誤検出を抑制することができる。この点について、以下に詳述する。
【００４１】
遠方領域に起因するノイズを削除する観点からは、第２画像２７だけを利用して、車線区画線２の位置を検出すればよいと考えられる。しかし、第２画像２７だけを利用した場合には、別の観点からノイズの影響を受けてしまい易くなることがある。例えば、図８（ａ）に示されるように、原画像２８中における手前部分（近傍領域）に、雨滴３６等が写っていたとする。このような雨滴等は、原画像２８の同一位置に留まりやすい。その結果、第２画像２７中においては、図８（ｂ）に示されるように、雨滴３６部分が、車線区画線２のように直線状に写ってしまいやすい。そのため、第２画像２７だけを利用して車線区画線２の位置を検出した場合には、このような雨滴３６等がノイズとなり、誤検出が発生しやすい。これに対して、雨滴３６等によるノイズは、原画像２８中では部分的なノイズであり、車線区画線２とは容易に区別される。
【００４２】
すなわち、本実施形態によれば、撮像方向とは異なる方向から走行路３を見たときの画像（第２画像）を用いることにより、原画像及び第２画像のそれぞれの画像に由来する誤検出の原因を相殺することができる。その結果、ノイズが存在する場合でも、正確に車線変更が行われたか否かを検出することができる。
【００４３】
（実施例）
次に、本発明をより詳細に説明する為に、実施例について説明する。
【００４４】
実施の形態にて説明したように、本実施例に係る車両１０には、後部に、進行方向とは逆方向を向いたカメラ１が備えられているものとする（図１参照）。本実施例に係る車線区画線検出装置１３は、車線区画線２が車両１０前方を相対的に横方向に通過する事象、すなわち、車両１０が車線区画線２を跨ぐ事象を検出する装置である。
【００４５】
本実施例に係る車両検出装置１３の構成は、概略的には、実施形態に係る車両検出装置１３（図３参照）と同様である。但し、本実施例では、各構成要素を、より具体的に説明する。
【００４６】
まず、車線区画線位置検出部１５及び車線変更部１６の構成、動作について詳述する。
【００４７】
図９は、車線区画線位置検出部１５を具体的に示す機能構成図である。車線区画線位置検出部１５は、原画像２値化部１５−１と、Ｈｏｕｇｈ変換部１５ー２と、左右自車車線区画線選択部１５−３とを含んでいる。
【００４８】
図１０は、車線区画線位置検出部１５及び車線変更判断部１６における動作を詳細に示すフローチャートである。すなわち、ステップＳ２０及びステップＳ３０の動作を詳細に示すフローチャートである。
【００４９】
ステップＳ２１；原画像の取得
時刻ｔにおいて、車線区画線位置検出部１５が、処理対象の原画像２８（ｔ）を取得したとする。
【００５０】
ステップＳ２２；２値化
原画像２値化部１５−１が、原画像２８（ｔ）を２値化し、原画像２８（ｔ）に含まれる各画素を、前景と背景とに分類する。例えば、原画像２８（ｔ）に含まれる各画素の階調数が２５６であったとする。この場合、原画像２値化部１５−１は、各画素の輝度値を求め、輝度値が２００以上である画素を前景に分類し、それ以外の画素を背景に分類する。
【００５１】
ステップＳ２３；Ｈｏｕｇｈ変換
次に、Ｈｏｕｇｈ変換部１５−２が、前景の画素を特徴点としてＨｏｕｇｈ変換を行い、直線群を検出する。
【００５２】
ステップＳ２４；車線区画線の識別
次に、左右車線区画線選択部１５−３が、検出された直線群に基づいて、車両１０に対して左右の車線区画線２を識別する。例えば、左右自車車線区画線選択部１５−３はＨｏｕｇｈ変換部１５−２により検出された直線群のうち、Ｈｏｕｇｈ時における投票値が多い直線を、左右の車両区画線２として識別する。又は、前時刻の左右の車線区画線２に最も近い直線を、左右の車両区画線２として識別する。そして、識別した車両区画線２の位置を、相対位置データとして、時刻ｔと対応付けて記憶部８に格納する。
【００５３】
車線区画線位置検出部１５は、以上のステップＳ２１〜２４までの処理を、原画像取得部１４によって原画像が取得されるたびに行う。
【００５４】
尚、車線区画線位置検出部１５の具体的構成は、上述の構成に限定されるものではない。車線区画線位置検出部１５は、左右の車線区画線２らしい高輝度の線分又は直線を検出することができるように構成されていればよい。
【００５５】
ステップＳ３０；車線区画線を跨いだか否かの判断
現在時刻ｔ０における処理に着目する。現在時刻ｔ０において、車線変更判断部１６は、車両１０が左右どちらかの車線区画線２を跨いだか否かを判断する。具体的には、車線変更判断部１６は、相対位置データを参照し、左右の車線区画線２の時刻ｔ０までの相対位置を、時系列に把握する。車線変更判断部１６は、時刻ｔ０において、左右の車線区画線２のうちのいずれかが車両１０の正面中央を含む所定の範囲（例えば、車両正面中央を中心とした±７０ｃｍの範囲）を超えた場合に、車両１０が車線区画線２を跨いだと判断する。
【００５６】
続いて、第２画像生成部１８及び傾き算出部２１の構成及び動作を詳述する。
【００５７】
図１１は、第２画像生成部１８を具体的に示す機能構成図である。第２画像生成部１８は、画素移動部１８−１と、鳥瞰化部１８−２と、領域付加部１８−３とを含んでいる。
【００５８】
図１２は、傾き算出部２１を具体的に示す機能構成図である。傾き算出部２１は、区画線位置変換部２１−１と、第２画像内傾き算出部２１−２とを含んでいる。
【００５９】
図１３は、第２画像生成部１８及び傾き算出部２１の動作を示すフローチャートである。すなわち、ステップＳ４０〜ステップＳ５０の動作を示すフローチャートである。
【００６０】
ステップＳ４１；画素の移動
時刻ｔ０における処理に着目する。画素移動部１８−１は、図６で示したように、時刻ｔ０よりも過去の時刻ｔ１に得られた第２画像２７（ｔ１）の各画素を、車両１０の移動量に応じて、遠方に移動させる。例えば、第２画像２７（ｔ１）の最下部（車両の近傍方向端部）が、カメラ１の先端から１ｍ離れた位置に対応するものとする。また、一つの画素が、道路面の縦５ｃｍ、横５ｃｍに対応するものとする。また、車両１０の前時刻ｔ１からの移動量が、５０ｃｍであったとする。このような場合には、画素移動部１８−１は、第２画像２７（ｔ１）中の各画素を、遠方方向側に１０ｐｉｘｅｌ移動させる。
【００６１】
ステップＳ４２；鳥瞰画像化
鳥瞰化部１８−２は、第１画像２８（ｔ０）の近傍領域を鳥瞰画像化する。この際、その近傍領域の範囲は、実世界における車両１０の移動量に対応する範囲でなければならない。
【００６２】
以下に、鳥瞰画像化について詳述する。図１４は、鳥瞰化部１８−２の動作を説明する為の説明図である。
【００６３】
図１４に示されるように、鳥瞰化部１８−２は、カメラ１の撮像座標系を定める。本実施例においては、撮像の際の実世界から原画像への変換は、透視変換であるものとする。また、レンズ等の歪み等による他の変換の要因はないものとする。図１４において、実世界の座標系がＸＹＺで表され、原画像座標系がｘｙと表される。ここで、Ｘ軸とｘ軸、Ｙ軸とｙ軸はそれぞれ平行である。また、透視変換における焦点距離が、ｆとして表される。また、道路面３２は、Ｙ軸に対して垂直な平面をなすものとする。実世界座標系の原点から道路面３２までの距離が、Ｈとして表される。この場合、道路面３２上の点（Ｘｉ、Ｈ、Ｘｉ）に対応する原画像内の座標（ｘｉ、ｙｉ）は、次式（１）により表現される。
【００６４】
【数１】
2010102427.tif 000003
【００６５】
鳥瞰画像は、道路面３２を実世界で鉛直方向下向きの視線で見た場合の画像である。すなわち、道路面３２上の実世界座標を、適当な間隔（例えば縦５ｃｍ、横５ｃｍ）により、量子化したものである。従って、部分画像を変換画像へ変換するために、鳥瞰化部１８−１は、上式（１）により、変換画像要素内の各画素が第１画像内のどの画素に対応しているかを求める。そして、鳥瞰化部１８−１は、変換画像要素内の各画素の輝度を、対応する第１画像内の画素の輝度に設定する。なお、カメラの撮像座標系において、透視変換以外の変換要因、例えばレンズの歪み等が存在する場合は、式（１）の代わりに、変換要因を考慮した変換式を用いればよい。
【００６６】
ステップＳ４３；ブランク部分に付加
領域付加部１８−３は、鳥瞰画像を、画素が移動された第２画像２７（ｔ１）＊のブランク部分に、付加する。これにより、時刻ｔ０における第２画像２７（ｔ０）が得られる。
【００６７】
続いて、傾き算出部２１の動作について説明する。
【００６８】
ステップＳ５１；車線区画線の位置の変換
前記区画線位置変換部２１−１は、相対位置データを参照し、原画像２８（ｔ０）に基づいて得られた車線区画線２の位置（時刻ｔ０の相対位置）を、例えば式（１）に基づき、第２画像２７（ｔ０）内における位置に変換する。
【００６９】
ステップＳ５２；車線区画線の像の角度の算出
第２画像内傾き算出部２１−２は、第２画像２７（ｔ０）内での車線区画線２の傾きを算出する。以下に、第２画像内傾き算出部２１−２の動作について詳述する。図１５は、以下に、第２画像内傾き算出部２１−２の動作を説明するための説明図である。
【００７０】
ステップＳ５１で得られた車線区画線２の第２画像２７（ｔ０）内における位置が、原画像内車線区画線位置３３と定義される。第２画像内傾き算出部２１−２は、原画像内車線区画線位置３３を、第２画像２７（ｔ０）における手前切片（車両近傍側端部）に設定する。第２画像内傾き算出部２１−１は、位置３３から延びるように、車両区画線２を設定する。第２画像内傾き算出部２１−１は、第２画像２７内に設定される中心軸線（車両近傍側から遠方側へ延びる線）と、設定した車線区画線２とが成す角度θを求める。ここで、角度θは、予め設定される角度範囲３５内で設定される。このようにして、第２画像２７（ｔ０）内において、車線区画線２の像の位置が表現される。車線区画線２は、例えば、車線区画線２における画素値の和が最大となるように、設定される。具体的な例を挙げれば、角度範囲３５が、中心軸線から±３０度の範囲に設定されたとする。第２画像内傾き算出部２１−１は、その角度範囲３５内で、１度刻みで、車線区画線２の候補を設定する。そして、車線区画線２の候補又は車線区画線２の候補の周辺（例示；車線区画線２の候補を中心とした左右２０ｃｍの範囲）における画素値の和を、計算する。そして、設定した車線区画線２の候補のうちで、画素値の和が最大となるような線を、車線区画線２として決定し、角度θを決定する。第２画像内傾き算出部２１−１は、決定した角度θを、時刻ｔ０における傾きとして出力する。
【００７１】
第２画像内傾き算出部２１−１は、上述の処理を、原画像２８が取得されるたびに行う。尚、角度θの決定にあたって用いられる評価値としては、必ずしも画素値の和が用いられる必要はない。その評価値としては、車線区画線らしさが表現された値が用いられればよい。
【００７２】
続いて、比較部２３の構成及び動作を詳述する。図１６は、比較部２３の構成を詳細に示す機能構成図である。比較部２３は、傾き変換部２３−１と、推定移動量検定部２３−２とを備えている。また、図１７は、比較部２３の動作を示すフローチャートであり、ステップＳ７０における動作を示すフローチャートである。
【００７３】
ステップＳ６１；推定移動量Ｄの計算
比較部２３では、傾き（角度θ）に基づいて、車線区画線２の横方向への推定移動量Ｄが計算される。
【００７４】
現在時刻ｔ０における処理について着目する。傾き変換部２３−１は、前時間ｔ１から現時刻ｔ０までの単位期間（時刻ｔ１〜ｔ０）における車両１０の走行距離をＲｔとして取得し、単位期間（時刻ｔ１〜ｔ０）における車線区画線２の相対位置の横方向への移動量Ｄｔを、角度θを用いて、下記式（２）により計算する。Ｒｔは、例えば、車両１０に備えられた走行距離測定器から得られる。
【００７５】
【数２】
2010102427.tif 000004
【００７６】
また、傾き変換部２３−１は、相対位置データを参照し、車両区画線２の相対位置が、車両１０の正面中央を含む所定の範囲（以下、第１範囲と記載する）に位置している期間を、第１期間として把握する。第１範囲は、例えば、車両１０の正面中央から±７０ｃｍの範囲であり、予め記憶部８などに設定されている。次に、傾き変換部２３−１は、第１期間における移動量Ｄｔの総和を、推定移動量Ｄとして計算する。
【００７７】
なお、推定移動量Ｄの計算方法は上述の方法に限定されるものではない。例えば、角度θに代えて、第１期間における角度θの平均値又は中央値が用いられてもよい。また、角度θに代えて、何らかの方法による角度θの推定値θａが用いられてもよい。また、傾き変換部２３−１は、車線区画線２が第１範囲を通過した段階で、第１期間における車両１０の走行距離Ｒを計算し、下記式（３）に従って推定移動量Ｄを求めてもよい。
【００７８】
【数３】
2010102427.tif 000005
【００７９】
ステップＳ６２；推定移動量の判定
推定移動量検定部２３−２は、推定移動量Ｄを第１範囲の長さ（例えば１４０ｃｍ）と比較する。ステップＳ２０にて車線区画線２の相対位置が正しく検出されていれば、推定移動量Ｄは第１範囲の長さに一致するはずである。従って、推定移動量検定部２３−２は、推定移動量Ｄと第１範囲の長さとの差を求め、その差が所定の値（例えば、第１範囲の長さの２０％）以内である場合には、車線区画線２の相対位置が正しく検出されていると判断する。そして、車線変更判断部１６の判断結果は正しいと判断する。一方、推定移動量Ｄと第１範囲の長さとの差が所定の値よりも大きい場合には、車線区画線２の相対位置が誤って検出されたと判断する。この場合には、車線変更判断部１６の判断結果が間違っていると判断する。
【００８０】
ステップＳ７０；検定結果の出力
その後、比較部２３は、ステップＳ６２の結果に基づいて、車線変更判断部１６における判断が正しいと判断した場合にだけ、車線変更が行われた旨を出力する。
【００８１】
以上、本発明の実施の形態、及び実施例について説明した。ただし、上述の実施の形態及び実施例は、本発明の趣旨を逸脱しない範囲内において、様々に変更可能である。例えば、上述の実施形態、及び実施例では、検出された車線区画線２の相対位置が、車線変更が行われたか否かの判断に用いられる場合について説明した。但し、本発明は、車線変更が行われたか否かの判断を行う装置に限定されるものではない。たとえば、検出された車線区画線２の相対位置が、車線区画線２が車両から相対的に移動したことを検出するために用いられてもよい。
【図面の簡単な説明】
【００８２】
【図１】走行路を走行する車両を示す概略図である。
【図２】車線区画線検出装置の構成を示すブロック図である。
【図３】車線区画線検出装置を示す機能構成図である。
【図４】車線区画線検出方法を示すフローチャートである。
【図５】原画像を示す概念図である。
【図６】第２画像の生成方法を示す概念図である。
【図７】傾きの算出方法を示す概念図である。
【図８】（ａ）雨滴が存在する場合の原画像であり、（ｂ）雨滴が存在する場合の第２画像である。
【図９】車線区画線位置検出部を示す機能構成図である。
【図１０】車線区画線位置検出部の動作を示すフローチャートである。
【図１１】第２画像生成部を示す機能構成図である。
【図１２】傾き算出部を示す機能構成図である。
【図１３】第２画像生成部及び傾き算出部の動作を示すフローチャートである。
【図１４】第２画像生成部の動作を説明するための説明図である。
【図１５】傾き算出部の動作を説明するための説明図である。
【図１６】比較部を示す機能構成図である。
【図１７】比較部の動作を示すフローチャートである。
【符号の説明】
【００８３】
１  カメラ
２  車線区画線
３  走行路
４  ウィンカ
５  ＣＰＵ
６  車線変更検出プログラム
７  記憶メディア
８  記憶部
９  入出力インタフェース
１０  走行体（車両）
１１  表示装置
１２  ウィンカ制御装置
１３  車線変更検出装置
１４  原画像取得部
１５  車線区画線位置検出部
１５−１  ２値化部
１５−２  Ｈｏｕｇｈ変換部
１５−３  左右自車車線区画線選択部
１６  車線変更判断部
１８  第２画像生成部
１８−１  画素移動部
１８−２  鳥瞰化部
１８−３  領域付加部
１９  検定部
２０  第１移動量算出部
２１  傾き算出部
２１−１  区画線位置変換部
２１−２  第２画像内傾き算出部
２３  比較部
２３−１  傾き変換部
２３−２  推定移動量検定部
２４  カーナビゲーション装置
２５  位置把握部
２６  通知部
２７  第２画像
２８  原画像
２８（ｔ０）  第１画像
２９  近傍画像要素
３０  画像面
３１  道路面の世界座標原点からの距離
３２  道路面
３３  原画像内車線区画線位置
３４  画像内角度
３５  区画線角度範囲
３６  水滴
【図１】
2010102427.tif 000006
【図２】
2010102427.tif 000007
【図３】
2010102427.tif 000008
【図４】
2010102427.tif 000009
【図５】
2010102427.tif 000010
【図６】
2010102427.tif 000011
【図７】
2010102427.tif 000012
【図８】
2010102427.tif 000013
【図９】
2010102427.tif 000014
【図１０】
2010102427.tif 000015
【図１１】
2010102427.tif 000016
【図１２】
2010102427.tif 000017
【図１３】
2010102427.tif 000018
【図１４】
2010102427.tif 000019
【図１５】
2010102427.tif 000020
【図１６】
2010102427.tif 000021
【図１７】
2010102427.tif 000022
【手続補正書】
【提出日】平成22年1月11日(2010.1.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、
前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、
前記車線区画線位置検出手段により検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断する車線変更判断手段と、
時刻ｔ０に取得された前記原画像である第１画像の部分画像を、前記原画像における撮像方向とは異なる第１方向から前記走行路を見たときの画像に変換して第１変換画像を生成し、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像を、前記第１方向から見たときの画像に変換して過去変換画像を生成し、前記第１変換画像と前記過去変換画像とを時刻順に画像として接続することにより第２画像を生成し、前記第２画像に基づいて前記車線変更判断手段の判断結果が正しいか否かを検定する、検定手段と、
を具備する
車線区画線検出装置。
【請求項２】
請求項１に記載された車線区画線検出装置であって、
前記検定手段は、
前記第２画像内に示される前記車線区画線の傾きを算出する傾き算出手段と、
前記傾きに基づいて、所定期間における前記車線区画線の相対位置の移動量を、推定移動量として算出する、推定移動量算出手段と、
前記推定移動量に基づいて、車線区画線位置検出手段における検出結果を検定する、比較手段とを備える
車線区画線検出装置。
【請求項３】
請求項１又は２に記載された車線区画線検出装置であって、
前記第１方向は、前記走行路を鉛直上方向から鉛直下方向に見たときの方向である
車線区画線検出装置。
【請求項４】
請求項１乃至３のいずれかに記載された車線区画線検出装置と、
前記検定手段による検定結果に基づいて、前記走行体の位置を把握する位置把握手段と、
前記位置把握手段により把握された位置をユーザに通知する通知手段と、
を具備する
カーナビゲーションシステム。
【請求項５】
請求項１乃至３のいずれかに記載された車線区画線検出装置と、
前記検定手段による検定結果に基づいて、前記走行体に設けられたウィンカを制御するウィンカ制御手段と、
を具備する
ウィンカシステム。
【請求項６】
走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得し、
前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出し、
前記検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断し、
時刻ｔ０に取得された前記原画像である第１画像の部分画像を、前記原画像における撮像方向とは異なる第１方向から前記走行路を見たときの画像に変換して第１変換画像を生成し、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像を、前記第１方向から見たときの画像に変換して過去変換画像を生成し、前記第１変換画像と前記過去変換画像とを時刻順に画像として接続することにより第２画像を生成し、前記第２画像に基づいて前記走行体が前記車線区画線を超えたか否かの判断結果が正しいか否かを検定する
車線区画線検出方法。
【請求項７】
走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得し、
前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出し、
前記検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断し、
時刻ｔ０に取得された前記原画像である第１画像の部分画像を、前記原画像における撮像方向とは異なる第１方向から前記走行路を見たときの画像に変換して第１変換画像を生成し、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像を、前記第１方向から見たときの画像に変換して過去変換画像を生成し、前記第１変換画像と前記過去変換画像とを時刻順に画像として接続することにより第２画像を生成し、前記第２画像に基づいて前記走行体が前記車線区画線を超えたか否かの判断結果が正しいか否かを検定する
車線区画線検出方法を、コンピュータに実行させるための、車線区画線検出プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明に係る車線区画線検出装置は、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、前記車線区画線位置検出手段により検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断する車線変更判断手段と、時刻ｔ０に取得された前記原画像である第１画像の部分画像を、前記原画像における撮像方向とは異なる第１方向から前記走行路を見たときの画像に変換して第１変換画像を生成し、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像を、前記第１方向から見たときの画像に変換して過去変換画像を生成し、前記第１変換画像と前記過去変換画像とを時刻順に画像として接続することにより第２画像を生成し、前記第２画像に基づいて前記車線変更判断手段の判断結果が正しいか否かを検定する、検定手段とを具備する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明に係るウィンカシステムは、上述の車線区画線検出装置と、前記検定手段による検定結果に基づいて、前記走行体に設けられたウィンカを制御するウィンカ制御手段とを具備する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明に係る車線区画線検出方法は、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得し、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出し、前記検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断し、時刻ｔ０に取得された前記原画像である第１画像の部分画像を、前記原画像における撮像方向とは異なる第１方向から前記走行路を見たときの画像に変換して第１変換画像を生成し、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像を、前記第１方向から見たときの画像に変換して過去変換画像を生成し、前記第１変換画像と前記過去変換画像とを時刻順に画像として接続することにより第２画像を生成し、前記第２画像に基づいて前記走行体が前記車線区画線を超えたか否かの判断結果が正しいか否かを検定する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明に係る車線区画線検出プログラムは、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得し、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出し、前記検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断し、時刻ｔ０に取得された前記原画像である第１画像の部分画像を、前記原画像における撮像方向とは異なる第１方向から前記走行路を見たときの画像に変換して第１変換画像を生成し、前記時刻ｔ０よりも過去における前記原画像である過去画像の部分画像を、前記第１方向から見たときの画像に変換して過去変換画像を生成し、前記第１変換画像と前記過去変換画像とを時刻順に画像として接続することにより第２画像を生成し、前記第２画像に基づいて前記走行体が前記車線区画線を超えたか否かの判断結果が正しいか否かを検定する車線区画線検出方法を、コンピュータに実行させるためのプログラムである。