(57)【要約】【課題】  複雑な形状をした道路を好適に認識する。【解決手段】  カメラ１０は、道路を撮像して画像データを生成し、道路検出部２２は、画像データを処理して道路を検出する。道路モデル記憶部には、複数種類の道路モデルが記憶されており、道路モデル適合処理部は、道路検出手段による道路検出結果に基づいて、道路モデルを射影変換するためのパラメータセットを求め、当該パラメータセットを用いて射影変換された道路モデルを求める。【選択図】      図１
2007011994.tif 000002
【特許請求の範囲】
【請求項１】
道路を撮像して画像データを生成する道路撮像手段と、
前記画像データを処理して前記道路を検出する道路検出手段と、
複数種類の道路モデルが記憶された道路モデル記憶手段と、
前記道路検出手段による道路検出結果に基づいて、前記道路モデルを射影変換するためのパラメータセットを求め、当該パラメータセットを用いて射影変換された道路モデルを求める道路モデル適合処理手段と、
を備えたことを特徴とする道路認識装置。
【請求項２】
前記道路モデル適合処理手段は、前記道路モデル記憶手段に記憶された複数種類の道路モデルのそれぞれについて、道路モデルを射影変換するためのパラメータセットを求め、当該パラメータセットを用いて射影変換された道路モデルを求めるものであり、
射影変換後の前記道路モデルのそれぞれと前記道路検出結果との適合度合の評価値を記憶する評価結果記憶手段と、
前記評価結果記憶手段に記憶された各道路モデルの適合度合の評価値に基づいて、複数種類の道路モデルからいずれかを選択する道路モデル選択手段と、
をさらに備えたことを特徴とする請求項１に記載の道路認識装置。
【請求項３】
道路モデル特定用の参照情報を取得する参照情報取得手段と、
当該参照情報により特定される道路モデルを、前記道路モデル記憶手段から読み出す道路モデル参照手段と、
をさらに備え、
前記道路モデル適合処理手段は、前記道路モデル参照手段により読み出された道路モデルについて、当該道路モデルを射影変換するためのパラメータセットを求め、当該パラメータセットを用いて射影変換された道路モデルを求めることを特徴とする請求項１に記載の道路認識装置。
【請求項４】
前記参照情報取得手段は、前記道路撮像手段により撮像される現在位置を任意の位置に対する相対位置または絶対位置として取得し、
前記道路モデル記憶手段は、任意の地点に対する相対位置または絶対位置に対する道路の形状を記憶し、
前記道路モデル参照手段は、前記道路モデル記憶手段から現在位置に対応する前記道路モデルを構成する道路データを複数取得することを特徴とする請求項３に記載の道路認識装置。
【請求項５】
道路を撮像して画像データを生成する道路撮像手段と、
前記画像データを処理して前記道路を検出する道路検出手段と、
前記道路撮像手段の現在位置を検出する位置検出手段と、
道路の形状データが記憶された地図記憶手段と、
前記地図記憶手段から前記現在位置付近の前記道路の形状データを取得することにより、道路モデルを生成する道路モデル生成手段と、
前記道路検出手段による道路検出結果に基づいて、前記道路モデルを射影変換するためのパラメータセットを求め、当該パラメータセットを用いて射影変換された道路モデルを求める道路モデル適合処理手段と、
を備えたことを特徴とする道路認識装置。
【請求項６】
前記道路モデル適合処理手段は、
前記複数種類の前記道路モデルを複数のパラメータセット候補を用いて射影変換してから、射影変換された道路モデルのそれぞれと前記道路検出手段による道路検出結果との適合度合の評価値を算出し、当該評価値に基づいて適合度合いの高い道路モデルとそのパラメータセットを求め、さらに、選択されたパラメータセットを用いて射影変換された道路モデルを求める、
ことを特徴とする請求項１〜５のいずれか１項に記載の道路認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路の形状を認識するための道路認識装置に関する。
【背景技術】
【０００２】
車線維持支援装置や車線逸脱警報装置等の走行支援装置では、自車両が走行している車線を認識するために道路認識装置が用いられている（例えば、特許文献１参照）。特許文献１に記載の道路認識装置では、カルマンフィルタを用いて、走行車線の幅、車両の白線に対する横変位や道路曲率等の幾何パラメータが推定される。
【特許文献１】特開２００２−１０９６９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の道路認識装置では、道路モデルを一つしか持たないため、当該道路モデルと類似した形状の道路を適切に認識できるものの、他の形状の道路を適切に認識することができない、という問題があった。例えば、道路モデルが一本道の形状データからなる場合には、三叉路や十字路などの形状の道路を適切に認識することができなかった。
【０００４】
本発明は、上記の課題を解消する為になされたものであり、道路形状を好適に認識する道路認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明に係る道路認識装置は、道路を撮像して画像データを生成する道路撮像手段と、画像データを処理して道路を検出する道路検出手段と、複数種類の道路モデルが記憶された道路モデル記憶手段と、道路検出手段による道路検出結果に基づいて、道路モデルを射影変換するためのパラメータセットを求め、当該パラメータセットを用いて射影変換された道路モデルを求める道路モデル適合処理手段と、を備えたことを特徴とする。
【０００６】
上述した道路認識装置の構成によれば、道路モデル記憶手段に複数種類の道路モデルが記憶されている。よって、道路検出手段による道路検出結果を、実際の道路形状に近い道路モデルと比較することで、道路形状の認識を好適に行うことができる。これによれば、道路認識装置は、例えば一本道、三叉路、十字路などの複数の異なる形状の道路を適切に認識することができる。
【０００７】
また、上述した道路認識装置において、道路モデル適合処理手段は、道路モデル記憶手段に記憶された複数種類の道路モデルのそれぞれについて、道路モデルを射影変換するためのパラメータセットを求め、当該パラメータセットを用いて射影変換された道路モデルを求めるものであり、射影変換後の道路モデルのそれぞれと道路検出結果との適合度合の評価値を記憶する評価結果記憶手段と、評価結果記憶手段に記憶された各道路モデルの適合度合の評価値に基づいて、複数種類の道路モデルからいずれかを選択する道路モデル選択手段と、をさらに備えることが好ましい。
【０００８】
この構成によれば、射影変換後の道路モデルと道路検出結果との適合度合の評価値は、道路モデル記憶手段に記憶された道路モデルのそれぞれについて算出されるため、道路認識装置は、これらの評価値に基づいて実際の道路形状に適合する道路モデルを選択することができる。よって、道路認識装置は、自ら道路認識に用いる道路モデルを選択して、道路形状の認識を好適に行うことができる。
【０００９】
また、上述した道路認識装置は、道路モデル特定用の参照情報を取得する参照情報取得手段と、当該参照情報により特定される道路モデルを、道路モデル記憶手段から読み出す道路モデル参照手段と、をさらに備え、道路モデル適合処理手段は、道路モデル参照手段により読み出された道路モデルについて、当該道路モデルを射影変換するためのパラメータセットを求め、当該パラメータセットを用いて射影変換された道路モデルを求めることが好ましい。
【００１０】
この構成によれば、参照情報取得手段により得られた参照情報により特定される道路モデルが道路モデル記憶手段から読み出される。よって、道路認識装置は、実際の道路形状に適合する道路モデルを読み出して、道路形状の認識を好適に行うことができる。この参照情報取得手段としては、道路モデルを特定する参照情報（道路モデル記憶手段に記憶されている道路モデルを特定可能なインデックスとして用いることができる情報）を取得する手段であり、例えば、ナビゲーション装置や外部の情報提供基地から送信された信号を受信する装置を用いることができる。
【００１１】
上記構成においては、参照情報取得手段は、道路撮像手段により撮像される現在位置を任意の位置に対する相対位置または絶対位置として取得し、道路モデル記憶手段は、任意の地点に対する相対位置または絶対位置に対する道路の形状を記憶し、道路モデル参照手段は、道路モデル記憶手段から現在位置に対応する道路モデルを構成する道路データを複数取得するようにするとよい。
【００１２】
この構成によれば、道路モデル記憶手段として例えば、地図データベースに記憶された道路の形状データを利用することで、現在位置付近の道路モデルが取得できる。現在位置はＧＰＳや外部の情報センサから送信された信号を受信する装置等の参照情報取得手段により取得する。現在位置での道路モデルと、道路検出手段による道路検出結果とを比較することで、道路形状の認識を好適に行うことができる。これによれば、道路認識装置は、例えば一本道、三叉路、十字路などの複数の異なる形状の道路を適切に認識することができる。ここで、参照手段で取得した現在位置の精度に応じて道路モデル（具体的にはそれを構成する道路データ）を複数取得することで、精度による誤りを少なくすることができる。
【００１３】
上述した目的を達成するために、本発明に係る道路認識装置は、道路を撮像して画像データを生成する道路撮像手段と、画像データを処理して道路を検出する道路検出手段と、道路撮像手段の現在位置を検出する位置検出手段と、道路の形状データが記憶された地図記憶手段と、地図記憶手段から現在位置付近の道路の形状データを取得することにより、道路モデルを生成する道路モデル生成手段と、道路検出手段による道路検出結果に基づいて、道路モデルを射影変換するためのパラメータセットを求め、当該パラメータセットを用いて射影変換された道路モデルを求める道路モデル適合処理手段と、を備えたことを特徴とする。
【００１４】
上述した道路認識装置の構成によれば、地図データベースに記憶された道路の形状データを利用して、現在位置付近の道路モデルが生成される。よって、道路検出手段による道路検出結果を、現在位置付近の道路モデルと比較して、道路形状の認識を好適に行うことができる。これによれば、道路認識装置は、例えば一本道、三叉路、十字路などの複数の異なる形状の道路を適切に認識することができる。
【００１５】
また、上述した道路認識装置では、道路モデル適合処理手段は、複数種類の道路モデルを複数のパラメータセット候補を用いて射影変換してから、射影変換された道路モデルのそれぞれと道路検出手段による道路検出結果との適合度合の評価値を算出し、当該評価値に基づいて各道路モデルに対して適合度合いの高い道路モデルとそのパラメータセットを求め、さらに、選択されたパラメータセットを用いて射影変換された道路モデルを求めることが好ましい。
【００１６】
この構成によれば、道路モデル適合処理手段により最適な道路モデルとパラメータセットが求められるため、最適なパラメータセットを用いて道路モデルを射影変換することで、道路モデルを実際の道路形状により近づけることができる。よって、道路形状の認識を好適に行うことができる。
【発明の効果】
【００１７】
本発明によれば、道路形状を好適に認識することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の好適な実施形態に係る道路認識装置について詳細に説明する。以下に説明する道路認識装置は、車両に搭載され、車両の前方の道路の形状を認識するために用いられる。このような道路認識装置は、白線認識、道路認識、道路環境シーン理解、レーン逸脱警報、レーンキープ、障害物衝突防止支援、カーナビゲーション、自動運転などに利用することができる。なお、以下の説明で、図中、同一又は相当部分には同一符号を用いることとする。
［第一の実施形態］
図１には、第一の実施形態に係る道路認識装置１の全体構成が示されている。道路認識装置１は、車両前方の風景を撮像して画像データを生成するカメラ１０と、画像データを処理して道路を認識する道路認識処理ＥＣＵ２０と、を備えている。
【００１９】
カメラ（道路撮像手段）１０は、例えばＣＣＤカメラ、赤外線カメラなどであり、自車両のフロントウィンドウ上部に前方を向いて設置されている。カメラ１０としては、車両前方を撮像して多数の画素データからなる画像データを生成するものであれば、ＣＣＤカメラ、赤外線カメラなどの一般的なカメラに限らず、レーザレーダなどを用いることもできる。また、これらを組み合わせて用いてもよい。カメラ１０で撮像された画像データの一例を図２に示す。
【００２０】
道路認識処理ＥＣＵ２０は、物理的には、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ、１２Ｖバッテリによってその記憶内容が保持されるバックアップＲＡＭ等により構成されている。また、道路認識処理ＥＣＵ２０は、機能的には、道路検出部２２と、道路モデル記憶部２４と、道路モデル適合処理部２６と、評価値算出部３８と、第二の評価結果記憶部４０と、出力部４２と、を備えている。道路認識処理ＥＣＵ２０のこれらの機能は、道路認識処理ＥＣＵ２０が、後述する道路認識プログラムを実行することにより実現される。
【００２１】
道路検出部２２は、カメラ１０によって撮像された画像データを処理することで、画像データに含まれる道路に対応する画素を検出し、道路検出結果を取得するものである。詳しくは、道路検出部２２は、エッジ抽出フィルタを用いて、カメラ１０によって撮像された画像データから輝度変化の大きいエッジを抽出することで、道路境界線に対応する画素を検出し、二値化されたエッジ画像を取得する。道路検出部２２が、図２の画像データに対してエッジ抽出処理を行ったときの道路検出結果を図３に示す。図３に示される道路検出結果では、道路境界線に対応する画素の輝度変化が検出され、検出された道路境界線に対応する画素が白画素として表示される一方で、他の画素は黒画素として表示されている。なお、エッジ抽出フィルタに代えて、学習により習得した識別器を用いて道路境界線を抽出してもよい。
【００２２】
道路モデル記憶部２４は、複数種類の道路モデルを記憶している。各道路モデルは、道路境界線の形状のデータと、自車位置を基準として道路境界線の相対位置を示すデータと、で構成される。図４（ａ）〜（ｃ）には、道路モデル記憶部２４に記憶された道路モデルの一部が示されている。道路モデル記憶部２４には、直進路の道路モデルＭ１、三叉路の道路モデルＭ２、十字路の道路モデルＭ３などの複数の形状の異なる道路モデルが記憶されている。なお、道路モデルは、図４に示されるような平面的な二次元モデルでもよいし、道路の勾配が考慮された立体的な三次元モデルでもよい。
【００２３】
道路モデル適合処理部２６は、道路検出部２２から道路検出結果を取り込み、これに基づいて道路モデルを最適に射影変換するための幾何パラメータを求めると共に、最適な幾何パラメータを用いて射影変換された道路モデルを求める。ここで、道路モデル適合処理部２６は、パーティクルフィルタやカルマンフィルタなどの処理を行うことで、最適な幾何パラメータを求めることが可能であり、本実施形態では、特に、道路モデル適合処理部２６がパーティクルフィルタの処理を行うことで、最適な幾何パラメータを求めている。
【００２４】
ここで、パーティクルフィルタについて、図５を参照して簡単に説明する。パーティクルフィルタとは、過去の情報と現在の観測情報から現在の状態を推定する手法である。即ち、パーティクルフィルタでは、まず、ある時刻での事後分布Ｐ１に応じてサンプリングされた一定数のパーティクルを追跡対象のダイナミクスに従って遷移させ、これにより次時刻でのパーティクルＰ２を求める（事前確率推定）。そして、次時刻でのパーティクルに現在の観測情報を用いて重みを付け、新しい事後分布Ｐ３を求める（事後確率推定）。この事後分布に応じてまた次時刻でのパーティクルをサンプリングし、これを繰り返すことでフィルタリングを行う。
【００２５】
具体的には、道路モデル適合処理部２６は、パラメータ生成部２８と、道路モデル変換部３０と、道路モデル評価部３２と、第一の評価結果記憶部３４と、最適パラメータ算出部３６と、で構成されている。道路モデル適合処理部２６は、これらの構成により、最適な幾何パラメータを求めるためのパーティクルフィルタとして機能している。以下、道路モデル適合処理部２６の各構成の処理について説明する。なお、以下に説明する処理は、所定のタイミングごとに繰り返し行われる。
【００２６】
道路モデル変換部３０は、道路モデルをカメラ１０の撮像面上に射影変換するための、複数の幾何パラメータからなるパラメータセットをパラメータ生成部２８から取り込むと、パラメータセットを用いて道路モデルを射影変換してカメラ１０の撮像面上に投影する。図６には、道路モデルが射影変換されて、カメラ１０の撮像面上に投影される様子が概念的に示されている。
【００２７】
図６において、カメラ１０は点Ｃ１に位置している。車両前方の水平面（Ｘｍ,Ｙｍ）上には道路モデルＭ３が展開されており、この道路モデルＭ３に対するカメラ１０の相対位置は、横位置ｘ、縦位置ｙ及び取付高さＺ０で規定される。また、カメラ１０の姿勢は、カメラ１０の車線に対するヨー角φ、ピッチ角θで規定される。カメラ１０の撮像面（Ｘｉ,Ｙｉ）は、カメラ１０を基準とした座標系（Ｘｃ,Ｙｃ,Ｚｃ）において、カメラ１０の注視方向Ｙｃにカメラ１０から焦点距離ｆだけ離れた位置に存在する。
【００２８】
道路モデル変換部３０は、横位置ｘ,縦位置ｙ, 取り付け高さＺ０,ヨー角φ,ピッチ角θ,焦点距離ｆ等の幾何パラメータからなるパラメータセットに基づいて、車両前方に展開された道路モデルＭ３を、カメラ１０の撮像面上に射影変換して、射影変換後の道路モデルＭ４を生成する。このように道路モデルＭ４が撮像面上に射影変換されることにより、道路モデルＭ４と道路検出結果（図３参照）との比較が可能となる。なお、取り付け高さＺ０及び焦点距離ｆは、共に既知の値であり、道路認識処理ＥＣＵ２０のＲＯＭ等にデータとして記憶されている。
【００２９】
道路モデル変換部３０は、所定のタイミングごとに、様々なパラメータセットを一定の個数（例えば１００個）含んだものをサンプルセットとして取り込み、サンプルセットに含まれる全てのパラメータセットについて、上記に説明した道路モデルを射影変換する処理を行う。なお、パラメータセット及びそれを構成する幾何パラメータがそれぞれ、図５におけるパーティクル及びその状態変数Ｘに対応する。
【００３０】
道路モデル評価部３２は、所定のタイミングごとに、道路検出部２２から道路検出結果を取り込むたびに、道路モデル変換部３０で射影変換された複数の道路モデルのそれぞれについて、道路モデルと道路検出結果との適合度合を示す評価値（重み）を計算する。道路モデル評価部３２による処理を、図７に示される画像を参照して説明する。図７に示される画像では、射影変換された道路モデルと道路検出結果とが重畳表示されている。
【００３１】
道路モデル評価部３２は、道路モデルの境界線上にある全ての黒画素及び白画素をカウントし、道路モデルの境界線と重なった画素数Ｎallを求める。また、道路モデル評価部３２は、道路モデルの境界線上にある全ての白画素をカウントし、道路モデルの境界線と重なった白画素の画素数Ｎwhiteを求める。そして、道路モデル評価部３２は、白画素の画素数Ｎwhiteを全画素の画素数Ｎallで除算して、道路モデルの境界線上の画素レベルの平均値Ｎwhite／Ｎallを算出する。なお、道路モデルの評価値である画素レベルの平均値は、１組のサンプルセットについて画素レベルの平均値の総計が１になるように正規化される。
【００３２】
このようにして算出された道路境界線上の画素レベルの平均値は、各パラメータセットを用いて射影変換された道路モデルと道路検出結果との適合度合を示す評価値となる。道路モデル評価部３２は、各パラメータセットについて算出した評価値を、パラメータセット及び射影変換された道路モデルと共に、互いに関連付けて第一の評価結果記憶部３４に記憶する。なお、道路モデル評価部３２による評価値を算出する処理は、パーティクルフィルタにおける事後確率推定に対応する（図５参照）。
【００３３】
パラメータ生成部２８は、第一の評価結果記憶部３４に記憶されたパラメータセットとその評価値に基づいてパラメータセットの存在確率の分布を算出し、さらに、パラメータセットの存在確率の分布に基づいて道路モデル変換部３０における次回の変換処理で利用するパラメータセットを算出する処理を行う。パラメータ生成部２８によるパラメータセットを算出する処理は、パーティクルフィルタにおける事前確率推定に対応する（図５参照）。パラメータ生成部２８による処理を図８を参照して説明する。
【００３４】
図８には、パラメータセットの存在確率の分布が示されている。図８のグラフにおいて、横軸は、パラメータセットを構成する幾何パラメータを状態変数Ｘとして表している。ここでは、理解容易のために状態変数Ｘを１次元としているが、実際にはパラメータセットを構成する幾何パラメータの数に応じて多次元のパラメータ空間が形成される。
【００３５】
図８のグラフにおいて、縦軸は、パラメータセットの存在確率を表している。パラメータセットの存在確率は、次のようにして得られる。パラメータ生成部２８は、第一の評価結果記憶部３４からパラメータセットとその評価値を読み出すと、パラメータ空間において幾何パラメータにより特定される位置を中心とし、評価値の大きさに応じた高さを有するガウシアン分布を求める。図８では、このガウシアン分布を、模式的に円Ｇで示している。パラメータ生成部２８は、このようにガウシアン分布を求める処理を、サンプルセットに含まれる全てのパラメータセットとその評価値について行い、全てのガウシアン分布を重ね合わせることによって、パラメータセットの存在確率の分布Ｐ１を得る。
【００３６】
次に、パラメータ生成部２８は、パラメータセットの存在確率の分布Ｐ１を参照し、パラメータセットの存在確率に応じた確率で、複数のパラメータセットを選択し、選択されたパラメータセットのそれぞれに対して、例えば（１）式で示されるダイナミカルモデルに従ってパラメータセットを遷移させることにより、次回の射影変換で用いるパラメータセットＰ２を推定する（図５参照）。これにより、車両の移動を考慮しつつ、次回の射影変換で用いるパラメータセットＰ２を求めることができる。なお、パラメータセットが存在確率に応じた確率で選択される際には、パラメータセットは総数が変化しないように選択される。また、その際、ある一定の確率で一部のパーティクルをランダムに生成してもよい。
【数１】
2007011994.tif 000003
【００３７】
道路モデル変換部３０、道路モデル評価部３２、第一の評価結果記憶部３４及びパラメータ生成部２８は、その後も、所定のタイミングごとに上述した処理を繰り返す。このような処理が繰り返されることにより、第一の評価結果記憶部３４には、所定のタイミングごとに算出されたパラメータセットとそれらの評価値が記憶される。この結果、図９に示されるように、所定のタイミング（ｔ,ｔ＋１,ｔ＋２,・・・）ごとのパラメータセットの存在確率の分布が得られる。時間の経過に伴って図中黒丸で示すパラメータセットの存在確率が高められ、そのパラメータセットにより射影変換された道路モデルが、道路検出結果に適合していることがわかる。
【００３８】
最適パラメータ算出部３６は、第一の評価結果記憶部３４に記憶された各パラメータセットと評価値に基づいて、上述したようなパラメータセットの存在確率の分布を求め、さらに、パラメータセットの存在確率の分布に基づいて最適なパラメータセットを求める。最適パラメータ算出部３６は、例えば、（２）式の演算を行って期待値Ｅを求めて、当該期待値Ｅに対応するパラメータセットを、道路モデルを道路検出結果に最も良く適合させる最適なパラメータセットとして選択する。
【数２】
2007011994.tif 000004
【００３９】
評価値算出部３８は、最適なパラメータセットを用いて射影変換された道路モデルと、道路検出結果との適合度合を示す評価値を算出する。ここで、道路モデルの評価値は、道路モデル評価部３２により算出された評価値をそのまま用いてもよいし、上述した確率分布においてパラメータセットの存在確率を評価値としてもよい。第二の評価結果記憶部４０は、評価値算出部３８により算出された評価値を、射影変換後の道路モデルのデータと共に、互いに関連付けて記憶する。なお、上述した処理は、全ての種類の道路モデルについて行われるため、全ての種類の道路モデルについて、射影変換後の道路モデルとその評価値とが互いに関連付けて記憶される。
【００４０】
出力部４２は、最適なパラメータセットを用いて射影変換された複数種類の道路モデルの中から、評価値が最大となる道路モデルを、最適な道路モデルとして選択する。そして、カメラ１０により撮像された撮像画像上に、最適な道路モデルを最適な幾何パラメータで射影変換した結果と、その評価値とが重畳表示されるように画像合成し、モニタ（不図示）に出力する。モニタに表示される合成画像の一例を、図１０に示す。
【００４１】
次に、道路認識装置１が道路認識プログラムを実行することによる処理を、図１１のフローチャートを参照して説明する。道路認識処理ＥＣＵ２０は、先ず、道路モデルを特定するための変数ｎに１を設定する（Ｓ１０１）。次に、道路認識処理ＥＣＵ２０は、カメラ１０に対して撮像処理の指令を与える。これにより、カメラ１０は、車両前方の道路を含む風景を撮像して画像データを取り込む（Ｓ１０２）。次に、道路認識処理ＥＣＵ２０は、カメラ１０により撮像された画像データを取り込んで、画像データを処理して道路境線界を検出する（Ｓ１０３）。
【００４２】
次に、道路認識処理ＥＣＵ２０は、道路モデル記憶部２４から変数ｎにより特定される道路モデルを読み出して、さらにパラメータ生成部２８からパラメータセットを取り込む。そして、道路認識処理ＥＣＵ２０は、読み出された道路モデルをパラメータセットを用いて射影変換する（Ｓ１０４）。道路認識処理ＥＣＵ２０は、射影変換された道路モデルと道路検出結果との適合度合の評価値を算出し、ＲＡＭに記憶する（Ｓ１０５）。続いて、道路認識処理ＥＣＵ２０は、前回の変換処理で用いられたパラメータセットから各パラメータセットの評価値に応じた確率でパラメータセットを選択し、選択されたパラメータセットそれぞれに対して、ダイナミカルモデルに従ってパラメータセットを遷移させることにより、次回の変換処理で用いるパラメータセットを算出する（Ｓ１０６）。
【００４３】
次に、道路認識処理ＥＣＵ２０は、同じ道路モデルについてステップ１０２〜ステップ１０６を繰り返すべきか否かを判定する（Ｓ１０７）。ここで、繰り返すべきと判定された場合には、ステップ１０２に戻る。一方、繰り返すべきでないと判定された場合には、ステップ１０８に進む。道路認識処理ＥＣＵ２０は、最適パラメータセットを算出してから（Ｓ１０８）、最適パラメータで射影変換した道路モデルの評価値を算出し（Ｓ１０９）、その結果を記憶する（Ｓ１１０）。
【００４４】
次に、道路認識処理ＥＣＵ２０は、変数ｎをインクリメント（＋１）してから（Ｓ１１１）、変数ｎが、道路モデル記憶部２４に記憶された道路モデルの総数Ｎを超えたか否かを判定する（Ｓ１１２）。ここで、道路認識処理ＥＣＵ２０は、変数ｎが総数Ｎより小さい場合には、ステップ１０２に戻って、インクリメントされた変数ｎにより特定される道路モデルについてステップ１０２〜ステップ１１１の処理を行う。一方、変数ｎが総数Ｎより大きい場合には、全ての種類の道路モデルについて１０２〜ステップ１１１の処理が済んでいるので、ステップ１１３に進む。ステップ１１３では、道路認識処理ＥＣＵ２０は、最適パラメータで射影変換した複数種類の道路モデルの中から、最適な道路モデルを選択し、当該道路モデルを撮像画像に重畳させて出力する。
【００４５】
本実施形態の道路認識装置１では、上述したように、全ての種類の道路モデルについて最適なパラメータセットを算出し、その最適なパラメータセットにより射影変換された道路モデルを求め、さらにその中から最適な道路モデルを求めている。これにより、道路認識装置１は、実際の道路形状に応じて、一本道、三叉路、十字路などの道路モデルの中から最適な道路モデルを選択して用いることができる。
［第二の実施形態］
【００４６】
次に、本発明の第二の実施形態に係る道路認識装置２について説明する。図１２には、道路認識装置２の全体構成が示されている。第二の実施形態に係る道路認識装置２は、ナビゲーション装置５０と、参照情報抽出部５２と、道路モデル記憶部２４と、道路モデル参照部５４と、を備えている点で、第一の実施形態と異なっている。
【００４７】
ナビゲーション装置５０は、車両の現在位置や目的地までの経路情報を、運転者に提供するための装置である。ナビゲーション装置５０は、ＧＰＳ（Global Positioning System）の検出値により車両の概略位置を検出し、車速センサ、ジャイロ、ヨーレートセンサ等を検出値により、検出された概略位置周辺の地図情報とマッチングを取りつつ、車両の正確な現在位置及び進行方向を検出している。ナビゲーション装置５０は、地図情報から、車両の進行方向における道路の形状や車線数などの道路情報を取り出して、モニターに表示する。
【００４８】
参照情報抽出部５２は、ナビゲーション装置５０から道路情報を取り込んで、道路情報の中から、車両進行方向の道路に適合する道路モデルを特定する参照情報（道路モデルのインデックス番号ｎ）を抽出する。なお、ナビゲーション装置５０からの道路情報に道路モデル特定用の参照情報が含まれない場合には、道路モデル情報抽出部５２は、道路情報に含まれる道路の形状の情報を処理することで、道路モデル特定用の参照情報を生成すればよい。
【００４９】
道路モデル参照部５４は、参照情報抽出部５２から道路モデル特定用の参照情報を取り込んで、その参照情報により特定される道路モデルを、複数種類の道路モデルが記憶された道路モデル記憶部２４から読み出す。そして、道路モデル参照部５４は、読み出した道路モデルを道路モデル適合処理部２６に出力する。その後、道路モデル適合処理部２６は、第一の実施形態と同じ処理を行い、最適なパラメータセットを算出し、このパラメータセットを用いて射影変換された道路モデルを求める。出力部４２は、射影変換後の道路モデルを撮像画像に重畳表示する。
【００５０】
本実施形態の道路認識装置２によれば、ナビゲーション装置５０の道路情報を利用することで、複数種類の道路モデルの中から、車両の現在位置の道路形状に対応する道路モデルを選択して参照することができる。このように道路モデルを選択可能としたことにより、一本道、三叉路、十字路など道路形状に応じて適切な道路モデルに切り替えて、道路の認識を行うことができる。
【００５１】
ここでは、ナビゲーション装置を利用して参照情報を特定する形態を説明してきたが、必ずしもこれに限られるものではない。例えば、路車間通信等を用いて現在位置に対応する道路モデルを特定する参照情報を自体を直接受信する形態や、路車間通信等を用いて車両の現在位置の位置情報（経度・緯度情報や任意の地点に対する相対位置を示す情報）を取得し、これを参照情報として用いたり、参照情報に変換したりする形態もまた同様に使用することが可能である。
［第三の実施形態］
【００５２】
次に、本発明の第三の実施形態に係る道路認識装置３について説明する。図１３には、道路認識装置３の全体構成が示されている。第三の実施形態に係る道路認識装置３は、位置検出部６０と、地図データベース６２と、道路モデル生成部６４と、を備えている点で、第一の実施形態と異なっている。
【００５３】
位置検出部６０は、ＧＰＳの検出値により車両の概略位置を検出し、車速センサ、ジャイロ、ヨーレートセンサ等を検出値により、検出された概略位置周辺の地図情報とマッチングを取りつつ、車両の正確な現在位置及び進行方向を検出している。位置検出部６０は、道路モデル生成部６４に、車両の正確な現在位置及び進行方向の検出値を出力する。
【００５４】
地図データベース６２は、道路の形状の情報が記憶されている。道路の形状の情報には、道路境界線を構成する点列の座標を含んでいる。地図の模式図を、図１４に示す。図１４に示されるように、地図には、一本道、三叉路、十字路などを含む道路の形状が表されている。なお、道路境界線を構成する点列の座標は、緯度及び経度を用いて表される場合もあるし、特定の基準点からの相対距離を用いて表される場合もある。
【００５５】
道路モデル生成部６４は、車両の現在位置及び進行方向の検出値に基づいて、地図データベース６２に記憶された道路の形状の情報を利用して、車両の進行方向の道路に適合する道路モデルを生成する。詳しくは、道路モデル生成部６４は、図１４に示されるように、取得した現在位置付近にモデル生成用の枠を設定し、枠内に存在する道路境界線のデータを抽出し、図１５に示されるような道路境界線の形状を表す道路モデルを生成する。なお、道路モデルは図示したように二次元のモデルでもよいし、標高データも利用して三次元のモデルを生成してもよい。そして、道路モデル生成部６４は、生成した道路モデルを道路モデル適合処理部２６に出力する。その後、道路モデル適合処理部２６は、第一の実施形態と同じ処理を行い、最適なパラメータセットを算出し、このパラメータセットを用いて射影変換された道路モデルを求める。出力部４２は、射影変換後の道路モデルを撮像画像に重畳表示する。
【００５６】
本実施形態の道路認識装置３によれば、地図データベースの地図情報を利用することで、車両の現在位置の道路形状に適合する道路モデルを生成して利用することができる。このように道路モデルを生成可能としたことにより、一本道、三叉路、十字路など道路形状に適合する道路モデルを生成して、道路の認識を行うことができる。
【００５７】
なお、上述した第一〜第三の実施形態では、道路検出部２２は画像データから道路境界線の画素を検出して、道路モデルに含まれる道路境界線の形状データとの適合度合を評価した。但し、他の実施形態では、色、テクスチャ、空間周波数等の特徴量を用いたフィルタを用いて画像データから道路領域の画素を検出し、また、道路モデルを道路領域の形状データとしてもよい。これによれば、道路領域の適合度合を評価することで、最適な道路モデルを求めることができる。
【図面の簡単な説明】
【００５８】
【図１】第一の実施形態に係る画像認識装置の全体構成を示すブロック図である。
【図２】カメラで撮像された画像データの一例を示す図である。
【図３】図２の画像データを画像処理した結果を示す図である。
【図４】複数種類の道路モデルを示す図である。
【図５】パラメータセットの確率分布の経時変化を示す図である。
【図６】幾何パラメータと撮像面上に投影される道路モデルとの関係を示す図である。
【図７】パラメータセットと確率分布との関係を示す図である。
【図８】パーティクルフィルタの動作を説明するための図である。
【図９】道路モデルが重畳表示された道路検出結果の一例を示す図である。
【図１０】道路モデルが重畳表示された撮像画像の一例を示す図である。
【図１１】画像認識装置による道路認識処理の手順を示すフローチャートである。
【図１２】第二の実施形態に係る画像認識装置の全体構成を示すブロック図である。
【図１３】第三の実施形態に係る画像認識装置の全体構成を示すブロック図である。
【図１４】地図データベースに記憶された地図情報を示す図である。
【図１５】地図情報から生成された道路モデルを示す図である。
【符号の説明】
【００５９】
１,２,３  道路認識装置、１０  カメラ、２２  道路検出部、２４  道路モデル記憶部、２６  道路モデル適合処理部、２８  パラメータ生成部、３０  道路モデル変換部、３２  道路モデル評価部、３４  第一の評価結果記憶部、３６  最適パラメータ算出部、３８  評価値算出部、４０  第二の評価結果記憶部、４２  出力部、５０  ナビゲーション装置、５２  参照情報抽出部、５２  道路モデル情報抽出部、５４  道路モデル参照部、６０  位置検出部、６２  地図データベース、６４  道路モデル生成部
【図１】
2007011994.tif 000005
【図２】
2007011994.tif 000006
【図３】
2007011994.tif 000007
【図４】
2007011994.tif 000008
【図５】
2007011994.tif 000009
【図６】
2007011994.tif 000010
【図７】
2007011994.tif 000011
【図８】
2007011994.tif 000012
【図９】
2007011994.tif 000013
【図１０】
2007011994.tif 000014
【図１１】
2007011994.tif 000015
【図１２】
2007011994.tif 000016
【図１３】
2007011994.tif 000017
【図１４】
2007011994.tif 000018
【図１５】
2007011994.tif 000019