(57)【特許請求の範囲】
【請求項１】
走行路上を走行して移動する車両に搭載され、車両前方の走行路を撮像する撮像手段と、その撮像手段にて撮像した画像に基づき前記走行路を検出する検出手段とを備える走行路検出装置であって、
前記検出手段は、
前記走行路を特定可能な特徴線が取り得る種々の形状を考慮して画像上での走行路モデルを複数設定し、前記画像を複数の小領域に分割したその分割領域毎に前記走行路モデルの連続する方向であるモデル対応方向を、各走行路モデル分だけ記憶しておくモデル対応方向記憶手段と、
前記撮像手段にて撮像した画像の前記分割領域毎に、その対象となる前記分割領域と、その周囲に存在する分割領域との間で画像パターンの相関計算を行って類似度を算出し、その類似度の最も高い分割領域の存在する方向を、当該対象となる分割領域が画像特徴的に連続する方向である画像対応方向とする画像対応方向算出手段と、
前記分割領域毎に、前記画像対応方向算出手段によって算出された画像対応方向と実質的に同じモデル対応方向を持つ全ての走行路モデルに対して１ずつ投票し、前記撮像画像中の全ての前記分割領域について前記投票を行った結果、最大投票数を得た走行路モデルを選択するモデル選択手段とを備え、
そのモデル選択手段にて特定された走行路モデルに基づいて前記走行路を検出すること、
を特徴とする走行路検出装置。
【請求項２】
請求項１記載の走行路検出装置において、
前記走行路モデルは、自車両の走行路だけでなく隣接する走行路を特定可能な特徴線も考慮して設定されていること、
前記画像対応方向算出手段は、対象となる前記分割領域と、その周囲に存在する分割領域との間で画像パターンの相関計算を行って類似度を算出し、その類似度の最も高い分割領域の存在する方向を、前記画像対応方向とすること、
を特徴とする走行路検出装置。
【請求項３】
請求項１又は２記載の走行路検出装置において、
前記モデル選択手段は、前記走行路モデルに対する投票を所定回数繰り返して行った場合の総投票数に基づいてモデル選択を行うこと、
を特徴とする走行路検出装置。
【請求項４】
請求項１〜３のいずれか記載の走行路検出装置において、
前記モデル選択手段は、過去のモデル選択結果に基づいて投票する走行路モデルを限定すること、
を特徴とする走行路検出装置。
【請求項５】
請求項４記載の走行路検出装置において、
前記モデル選択手段は、直前に選択された走行路モデルから変形し得る所定範囲の走行路モデルについてのみ投票対象とすること、
を特徴とする走行路検出装置。
【請求項６】
請求項１〜５のいずれか記載の走行路検出装置において、
前記分割領域は、前記画像中の上側であって、前記走行路を特定可能な特徴線が取り得ないと推定される領域については設定されていないこと、
を特徴とする走行路検出装置。
【請求項７】
請求項６記載の走行路検出装置において、
前記走行路を特定可能な特徴線が取り得ないと推定される領域は、撮像画像中における走行路の無限遠点よりも上側の領域であること、
を特徴とする走行路検出装置。
【請求項８】
請求項１〜７のいずれか記載の走行路検出装置と、
その走行路検出装置によって検出した走行路に沿って前記車両を走行させる車両走行制御装置。
【請求項９】
請求項１〜７のいずれか記載の走行路検出装置における前記画像対応方向算出手段及びモデル選択手段としてコンピュータシステムを機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両前方を撮影した画像中より走行路を検出する走行路検出装置、その検出した走行路に沿って車両を走行させる車両走行制御装置および走行路検出装置をコンピュータシステムにて実現するための記録媒体に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
従来より、例えば車両の自動操縦などを実現するためには車両の走行路を検出する必要があり、その走行路検出のため、車両前方を撮影した画像中より道路上に存在する白線などのレーンマークを検出する技術が開発されている。そのレーンマーク検出技術としては、原画像中より走行路のエッジを探索し、それらのエッジを連結することによってレーンマークを検出する手法や、撮像した２次元の画像中から線分を抽出し、その抽出した線分を３次元の実空間上に変換してから、その変換した線分を連結する手法などがある。
【０００３】
しかしながら、これら従来の検出手法には、次に示す根本的な問題点が内在する。つまり、撮像画像中において走行路が明瞭に存在していないと適切な検出ができないという問題である。
例えば、雨天の場合に、遠方では雨水によってレーンマークが見えにくくなることがあり、レーンマークのエッジが探索できないため、レーンマークの検出、すなわち走行路検出もできなくなる。また、レーンマークのエッジだけを確実に区別して抽出することは技術的にも困難な場合があり、例えば検出したいレーンマーク付近にそのレーンマーク以外のエッジが存在する場合には、その誤ったエッジを採用してしまい、容易に連結間違いが発生してしまう。例えばレーンマークとして道路上の白線を検出したい場合に、その道路上に白色の走行車両が存在すると、その走行車両によって上述した「別のエッジ」が生じることが考えられ、連結間違いの基となる。このように一度連結間違いが生じた場合には、復旧は難しく、適切なレーンマーク検出ができなくなってしまう。
【０００４】
また、２次元画像中から抽出した線分を３次元の実空間上に変換し、その変換した線分を連結する手法の場合には、線分の存在が前提となるため、線分が明瞭に存在しない場合には適切な検出が困難となる。したがって、上述した雨水によってレーンマークが見えにくくなっている場合には、やはり対応が困難である。
【０００５】
そこで本発明は、撮像画像中に走行路を示すためのレーンマークなどの明瞭な特徴がない場合であっても、走行路を適切に検出することのできる走行路検出装置を提供し、さらに、車両走行制御装置および走行路検出装置をコンピュータシステムにて実現するための記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段及び発明の効果】
上記課題を解決するためになされた請求項１記載の走行路検出装置は、例えば車両に搭載されたＣＣＤカメラなどの撮像手段によって車両前方の走行路を撮像し、その撮像した画像に基づき検出手段が走行路を検出するのであるが、検出手段は、次のようにして走行路検出を行う。
【０００７】
まず、検出手段が備えるモデル対応方向記憶手段には、走行路を特定可能な特徴線が取り得る種々の形状を考慮して画像上での走行路モデルを複数設定し、画像を複数の小領域に分割したその分割領域毎に走行路モデルの連続する方向である「モデル対応方向」が、各走行路モデル分だけ記憶されている。
【０００８】
一方、画像対応方向算出手段は、撮像手段にて撮像した画像の分割領域毎に、その対象となる分割領域と、その周囲に存在する分割領域との間で画像パターンの相関計算を行って類似度を算出し、その類似度の最も高い分割領域の存在する方向を、当該対象となる分割領域が画像特徴的に連続する方向（画像対応方向）とする。そして、モデル選択手段は、分割領域毎に、画像対応方向算出手段によって算出された画像対応方向と実質的に同じモデル対応方向を持つ全ての走行路モデルに対して１ずつ投票し、撮像画像中の全ての分割領域について投票を行った結果、最大投票数を得た走行路モデルを選択し、このモデル選択手段にて特定された走行路モデルに基づいて走行路を検出する。
【００１０】
このようにして算出した画像対応方向は、例えば画像中にレーンマークなどの明瞭な特徴があれば、当然そのレーンマークの存在する方向の分割領域が画像特徴的に連続する方向となる。したがって、分割領域毎に、画像対応方向と実質的に同じモデル対応方向を持つ走行路モデルに投票した場合に最大投票数を得る走行路モデルは、画像中に存在する実際の走行路に一致することとなる。
【００１１】
また、例えば上述した雨天の場合に、雨水によってレーンマークが見えにくくなるような場合であっても、分割領域単位で画像特徴的に連続すると推定される方向を算出している。つまり、画像中に存在するレーンマークなどの明瞭な特徴部分にだけ依存するのではなく、分割領域全体の画像を対象として画像特徴的に連続する方向を算出しているため、例えば上述のように雨水によってレーンマークが見えにくくなっていても、分割領域間で見た場合、レーンマークに対応する方向性がある程度得られるため、結果的に走行路の方向と一致した画像対応方向を算出する可能性が高い。
【００１２】
また、上述したように、レーンマークのエッジだけを確実に区別して抽出することは技術的にも困難な場合があり、例えば検出したいレーンマーク付近にそのレーンマーク以外のエッジが存在する場合には、その誤ったエッジを採用してしまい、容易に連結間違いが発生してしまうという問題があったが、分割領域全体の画像を対象として画像特徴的に連続する方向を算出する手法を用いることで、単にエッジがあるからといってそれをレーンマークのエッジとして採用することも防止できる。つまり、エッジがあっても、分割領域全体を見た場合にさらに類似している分割領域があれば、そちらの分割領域の方向が画像対応方向となるからである。
【００１３】
このように、本発明の走行路検出装置によれば、撮像画像中に走行路を示すためのレーンマークなどの明瞭な特徴がない場合であっても、走行路を適切に検出することができる。
なお、画像対応方向の算出は、画像パターンの相関計算を行って類似度を算出する以外にも考えられるが、相関計算にて算出する場合には、画像処理などの分野で一般的に用いられている自己相関を用いることによって簡単に実現でき、また画像全体の類似度を得る上で非常に適しているので好ましい。
【００１４】
また、走行路モデルを設定する上で考慮する「走行路を特定可能な特徴線」としては、例えばレーンマークや路肩、あるいはガードレールや側壁などの走行路の方向を示しているものを採用することが考えられる。さらには、このように定常的に存在する特徴線ではなく、例えば雨天時に得られる先行車の走行軌跡や轍（わだち）に溜まった雨水などのように、一時的に存在する特徴線によっても走行路を検出することができる。
【００１５】
そして、その走行路モデルについては、請求項２に示すように、自車両の走行路だけでなく、隣接する走行路を特定可能な特徴線も考慮して設定されていることが好ましい。これは、次の観点からの考慮である。つまり、実際の車両運転の際にも運転者が経験することであるが、例えば雨天や夜間の運転時に自車両の走行路を示すレーンマークなどが見えない、あるいは見えにくいために、対向車線の路肩やガードレールあるいは側壁などを見て運転することがある。したがって、自車両の走行路を検出する際にも、隣接する走行路の特徴線も考慮することが好ましい。例えば、自車レーンと左右の隣接レーンの組み合わせを１つの走行路モデルとすれば、対向車線や走行車線、あるいは追い越し車線などのデータがあれば、これらが隣接レーンのデータとして処理され、仮に自車レーンの情報がなかったとしても最適なモデルが選択され、従って、結果的に自車レーンも決定されるため、走行路を検出することができるのである。なお、この観点からすれば、自車両の走行路を直接的に示すレーンマークなどは考慮せず、例えば隣接する走行路のレーンマークなどのみによって自車両の走行路を間接的に定めることも可能ではある。
【００１６】
また、請求項３に示すように、モデル選択手段は、走行路モデルに対する投票を所定回数繰り返して行った場合の総投票数に基づいてモデル選択を行うようにしてもよい。１回の投票だけでは、例えば雨天や逆行などの突発的な外乱によって誤ったモデルを選択してしまう可能性もあるため、所定回数繰り返した場合の総投票数に基づけば、そのような突発的な外乱による影響を極力除去することができる。
【００１７】
また、請求項４に示すように、モデル選択手段は、過去のモデル選択結果に基づいて投票する走行路モデルを限定するようにしてもよい。この際、請求項５に示すように、直前に選択された走行路モデルから変形し得る所定範囲の走行路モデルについてのみ投票対象とすることが考えられる。
【００１８】
つまり、通常想定される処理サイクルを考えた場合、例えば大きく左にカーブしていた走行路が次の処理サイクルで大きく右にカーブすることはあり得ない。したがって、直前に選択された走行路モデルが左右にカーブしていた場合には、そのカーブ度合いが所定範囲で変化したものが「変形し得る所定範囲の走行路モデル」ということになる。また、直前に選択された走行路モデルが直進であった場合には、左右の所定範囲にカーブをする走行路までが「変形し得る所定範囲の走行路モデル」ということになる。
【００１９】
このように投票対象の走行路モデルを限定しておけば、計算量の削減を図ることができると共に、突発的なデータに対して（適切でない）突発的な解を出力してしまうことを軽減でき、誤検出を防止する点で有効である。つまり、上述したように直前の走行路モデルが大きく左にカーブする走行路であった場合、次の処理サイクルで大きく右にカーブする走行路に投票されることがなくなり、その右カーブの走行路モデルが誤って選択されることを防止できる。
【００２０】
また、実際の使用態様を鑑みると、カメラの撮影角度は、撮像した画像の最上部まで道路が含まれるのではなく、例えば前方に障害物がないとすると、画面最上部から３分の１程度下方の位置に地平線が来るような設定にすることが多い。その場合には、撮像画像の上側の所定範囲には検出すべき走行路自体が存在しないこととなる。したがって、請求項６に示すように、分割領域は、画像中の上側であって、走行路を特定可能な特徴線が取り得ないと推定される領域については設定しないことが好ましい。そして、この走行路を特定可能な特徴線が取り得ないと推定される領域は、請求項７に示すように、撮像画像中における走行路の無限遠点よりも上側の領域とすることが考えられる。
【００２１】
このようにすれば、走行路を特定可能な特徴線が取り得ないと推定される領域についての分割領域がないため、その分割領域については画像対応方向を算出しなくてよく、当然ながら、モデル選択のための投票にも関係しない。したがって計算量削減のために有効である。
【００２２】
また、請求項８に示すように、以上説明した走行路検出装置を用い、その走行路検出装置によって検出した走行路に沿って車両を走行させる車両走行制御装置として構成することもできる。走行路検出装置にて例えばレーンマークなどが明瞭に存在しない場合であっても適切に走行路が検出されるため、その検出した走行路に沿って車両を走行させる場合には、適切な車両走行制御が実現できる。
【００２３】
なお、走行路は道路には限定されず、例えば工場内において無人搬送車両を自動操縦にて走行させるような場合の床などであってもよい。この場合の走行路を特定可能な特徴線としては、例えば、床上にプリントした走行ガイド線のようなものとなる。
【００２４】
なお、このような走行路検出装置における画像対応方向算出手段及びモデル選択手段としてコンピュータシステムを機能させる機能は、例えば、コンピュータシステム側で起動するプログラムとして備えられる。このようなプログラムの場合、例えば、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク等の記録媒体に記録し、必要に応じてコンピュータシステムにロードして起動することにより用いることができる。この他、ＲＯＭやバックアップＲＡＭを記録媒体として前記プログラムを記録しておき、このＲＯＭあるいはバックアップＲＡＭをコンピュータシステムに組み込んで用いても良い。
【００２５】
【発明の実施の形態】
図１は、上述した発明が適用された実施の形態としての走行路検出装置２の概略構成を表すブロック図である。
本実施形態の走行路検出装置２は、車両に搭載され、車両前方の走行路を検出するための装置であり、例えば、このように検出した走行路に沿って自動走行制御などを実行する場合などに利用される。
【００２６】
本走行路検出装置２は、「撮像手段」としてのＣＣＤカメラ１０と、「検出手段」としての検出処理部２０とから構成されている。
ＣＣＤカメラ１０は、図２に示すように、例えば車両内部の運転席近傍の天井などに取り付けられており、車両前方の風景を撮像する。なお、この場合、例えば当該車両が道路上を走行しているのであれば、車両から所定距離だけ前方の道路もその撮像した風景内に含まれるように撮像範囲が設定されている。
【００２７】
一方、検出処理部２０は、図１に示すように、ＣＣＤカメラ１０から出力されるアナログの画像信号をディジタルの画像データに変換するアナログ・ディジタル変換器（ＡＤＣ）２１と、そのＡＤＣ２１から出力される画像データを記憶しておく画像メモリ２３と、その画像メモリ２３に記憶されている画像データに基づいて、画像データ中の走行路を検出する処理などを実行するものであり、「画像対応方向算出手段」及び「モデル選択手段」に相当するＣＰＵ２４と、ＣＰＵ２４の実行するプログラムなどを記憶しているＲＯＭ２５と、ＣＰＵ２４の作業領域として機能し、また「モデル対応方向記憶手段」にも相当するＲＡＭ２６と、ＣＰＵ２４から転送された例えば走行路の検出結果にかかるデータなどを外部へ出力するための通信ＩＣ２７などを備えている。
【００２８】
上述したように、ＣＰＵ２４は、画像メモリ２３に記憶されている画像データに基づいて画像データ中の走行路を検出する処理を実行するのであるが、この検出処理は概略次のように行う。ＣＣＤカメラ１０を介して取り込んだ画像を領域分割し、その領域毎に走行路モデルの方向データを算出する。そして、その方向データが、予め設定しておいた走行路モデルにいずれに該当するかを判断し、該当する走行路モデルに投票する。そして、全領域の投票結果に基づき、その投票数が最も多いものを走行路として扱うのである。
【００２９】
以下、この走行路検出の詳細な内容について、図３のフローチャートに示した処理手順に従いながら、随時図４〜図１０を参照しながら説明を進める。
最初に、画像上に走行路モデルを設定する（図３のＳ１参照）。
この走行路モデルの設定は、まず、実空間（３次元）上でのモデルを設定した後、それを画像（２次元）上のモデルに変換するという手順で実行される。
【００３０】
まず、実空間（３次元）上での折れ線道路モデルを、道路形状として想定されるだけ設定する。ここでは、自車レーンと左右の隣接レーンによって構成されるモデルを用いる。図４（ａ）には直線路の実空間モデル、図４（ｂ）には左カーブ道路の実空間モデルを、それぞれ道路を真上から見た概念図として示した。ここでは、自車レーンを中心にして左右に隣接する１レーンずつの３レーンの走行路を想定する。自車レーンの左境界線をＬ１、右境界線をＬ２で示すと共に、左隣接レーンの左境界線をＬ０、右隣接レーンの右境界線をＬ３で示した。
【００３１】
そして、この各ラインＬ０〜Ｌ３について、次の示す要領で想定ラインを設定する。つまり、図５に示すように、自車両の位置を起点（０ｍ）として、１５ｍの位置まで角度１．５度の間隔で５本の分岐直線を作成する。具体的には、直進方向に１本の分岐直線と、その直進方向の分岐直線に対して左右に角度１．５度及び３．０度の２本ずつの分岐直線による計５本の分岐直線を作成する。
【００３２】
次に、それら５本の分岐直線の１５ｍでの位置をそれぞれ起点として、同様に５本の分岐直線を作成して４０ｍの位置まで引く。これを、さらに７０ｍの値、１２０ｍの位置まで同様に５本ずつの分岐直線を作成することによって、０ｍ位置から１２０ｍ位置までを結ぶ想定ラインが、総計６２５（＝５4 ）本設定される。図５では１ラインについて示したが、これをＬ０〜Ｌ３の４レーンについてそれぞれ設定する。そして、各ラインＬ０〜Ｌ３についての想定ラインの内で同じ形状のラインの組み合わせたものを１つの走行路モデルとして取り扱う。
【００３３】
このように、自車レーンと左右の隣接レーンの組み合わせを１つのモデルとすることで、対向車線や走行車線、あるいは追い越し車線などのデータがあれば、これらが隣接レーンのデータとして処理され、仮に自車レーンの情報がなかったとしても最適なモデルが選択され、従って、結果的に自車レーンも決定されるため、走行路を検出することができるのである。
【００３４】
次に、上述した実空間（３次元）上でのモデルを画像（２次元）上のモデルに変換する処理について説明する。
３次元上において、自車の前方距離をｙ（ｍ）、水平方向距離をｘ（ｍ）、撮像系の高さをｚ（ｍ）とする。また、対応する２次元画面（ＣＣＤカメラ１０におけるＣＣＤ面）上での座標位置を、水平位置Ｘ（ドット）、垂直位置Ｙ（ドット）とする。撮像系を水平方向から見た場合の概念図を図６に示す。図６中の示すｙはレンズから路面上の点までの前方距離（単位ｍ）であり、ｚはＣＣＤカメラ１０の設定されている高さ（単位ｍ）である。詳しくはＣＣＤカメラ１０内のＣＣＤの中心位置である。また、図６中に示すｓはＣＣＤ面上での垂直位置（単位ｍ）であり、ｆはレンズの焦点距離（単位ｍ）である。
【００３５】
この図６の概念図に基づけば、幾何学的な相似より、ｓ／ｆ＝ｚ／ｙという関係式が導かれ、ｓはｙ，ｚ，ｆを用いて下記の式１のように表される。
ｓ＝ｚ・ｆ／ｙ                      ……（式１）
このｓ（ｍ）は、前方距離ｙ（ｍ）に対応するＣＣＤ面上での中心からの垂直距離を示しているため、このｓを、ＣＣＤ１セルの大きさで除算したものが、ＣＣＤ面上での垂直ドット位置Ｙとなる。また、ＣＣＤ面上での中心からの水平距離をｔとすれば、このｔを、ＣＣＤ１セルの大きさで除算したものが、ＣＣＤ面上での水平ドット位置Ｘとなる。したがって、水平ドット位置Ｘ、垂直ドット位置Ｙはそれぞれ下記の式２、式３のように表される。
【００３６】
Ｘ＝ｔ／ＣＣＤの横セルの大きさ      ……（式２）
Ｙ＝ｓ／ＣＣＤの縦セルの大きさ      ……（式３）
そこで、この式２，３を用いて、上述した実空間上で作成した走行路モデルを画像上に変換する。図７（ａ）は、車載のＣＣＤカメラ１０にて撮像された画像例を示すものであるが、このような撮像シーン例に対して、図７（ｂ）に示すような走行路モデルが設定される。なお、図７（ｂ）においては、自車走行路の境界線に対するモデルのみを示した。また、実際の道路の幅員には多少のばらつきがあるが、本走行路検出装置２は、自動走行制御を実行する場合などに利用されるものであり、この自動走行制御は主に高速道路での実施が想定される。したがって、高速道路における一般的な幅員を想定して、左右境界線の幅は設定すればよい。
【００３７】
このようにして走行路モデルが設定されたので、次に、図８に示すように画像をメッシュ状に領域分割する（図３のＳ２参照）。図８では概念的に示したが、実際には、解析対象の画像データが縦４８０ドット、横５１２ドットであり、分割した１領域は、縦４ドット、横１６ドットである。なお、図７（ａ）に例示したように、撮像した画像の最上部まで道路が含まれるのではなく、例えば前方に障害物がないとすると、画面最上部から３分の１程度下方の位置に地平線が来るよう、ＣＣＤカメラ１０の撮影角度を設定にすることが多い。その場合には、撮像画像の上側の所定範囲には道路がなく、その結果、検出すべき走行路も存在しないこととなる。したがって、図８に例示したように、撮像画像中の上側であって、走行路が存在しないと推定される領域については、画像の領域分割を行わず、その後の処理において取り扱わないこととする。これにより、不要な処理が実行されないようにすることができ、処理負荷軽減の点で好ましい。なお、この走行路が存在しないと推定される領域は、撮像画像中における走行路の無限遠点よりも上側の領域として設定することができる。
【００３８】
そして、分割した領域毎に走行路モデルの方向データを算出する（図３のＳ３参）。この方向データとしては、例えば画像の縦方向（垂直ドット方向）を基準とした角度で表すことが考えられる。
続いて、領域位置毎で、方向データと対応モデルをマップ化する（図３のＳ４参照）。具体的には、領域の水平位置をＢＸ、垂直位置をＢＹ、領域の方向をＢＫとして、これらを変数としたマップを作成する。下記の式４は、上述した３つの変数に対して、対応する走行路モデルの番号をＮとしてマップ化した関係を示している。
【００３９】
Ｎ＝Ｆ（ＢＸ，ＢＹ，ＢＫ）          ……（式４）
なお、ある領域位置（ＢＸ，ＢＹ）である方向データＢＫを持つ走行路モデルは複数存在することもある。特に、図７（ｂ）からも判るように画面下側、つまり自車位置に近い部分では多くの走行路モデルが一致する。
【００４０】
次に、走行路モデル毎に、そのモデルが次の処理サイクルに取り得るモデルの集合をマップ化しておく。具体的には、本実施形態の走行路モデルは図７（ｂ）に示すように折れ線形状をしているので、先端（１２０ｍ位置）と３つの関節部（１５ｍ位置，４０ｍ位置，７０ｍ位置）におけるモデル間の距離が所定値以下となるようなモデルを選択してマップ化しておき、モデル対応方向記憶手段としてのＲＡＭ２６内に記憶させておく。下記の式５は、選択モデルＥが、出力モデルＭに基づく次サイクルで変形し得るモデル集合Ｇによって定まることを示している。
【００４１】
Ｅ＝Ｇ（Ｍ）                        ……（式５）
これまでに説明した図３のＳ１〜Ｓ５の処理が、実際に走行路検出を行う前に実行しておく前処理的なものである。
そして、以下に説明する図３のＳ６〜Ｓ１１が、実際にＣＣＤカメラ１０にて撮像した画像データに基づいて走行路を検出する処理である。
【００４２】
まず、取り込んだ画像データについて、Ｓ２で分割した領域毎に、その領域が連続する方向（領域方向データ）を算出する（図３のＳ６参照）。本実施形態では、この領域方向データの算出にあたって相関計算を行う。相関計算は、画像処理などの分野で一般的に用いられている自己相関を用いることによって簡単に実現できる。対象となる領域の画像に対して、当該領域の周囲の画像との間で相関計算を行うことで、類似する画像領域が決定され、その領域の方向が画像の連続する方向となる。
【００４３】
図９には、この領域方向データの算出手法を概念的に示した。各領域は水平１６ドット、垂直４ドットの２次元データであるが、ここでは計算量削減のため、垂直４ドット分のデータは積算することによって、２次元データを１次元データ（G_data）に変換した状態で処理を進める。相関計算は、下記の式６に示すように、単純な輝度データの差分の絶対値の総和で評価する。
【００４４】
【数１】
0003945919.tif 000002
【００４５】
そして、下記の式７に従って相関位置を求め、その方向を領域方向データとする。
【００４６】
【数２】
0003945919.tif 000003
【００４７】
つまり、水平方向の探索位置ｓを−３２≦ｓ≦３２の範囲で探索した結果としての相関値SUM[s]の内の最小のものを、領域方向データｖとするのである。
なお、このように相関計算を用いるのは次の考え方に基づく。画像上の走行路については、道路上に描かれたレーンマーク、路肩などの道路の境界を定めるのに有効な線が基本的には連続して存在する。したがって、この道路境界線の連続する方向の画像領域が、相関計算によって類似する画像領域として算出される可能性が極めて高い。また、例えば雨水がたまって道路境界線のような明瞭な特徴が現れていなくても、画像領域同士での相関計算によって類似する画像領域を算出した場合には、やはり実際に道路境界線が連続している方向の画像領域が算出される可能性が高い。
【００４８】
このようにして、分割した各画像領域についての領域方向データを算出した後は、領域方向データを、走行路モデルに投票する（図３のＳ７参照）。
この投票方法は、各領域データについて、その位置（ＢＸ，ＢＹ）と方向データＢＫを上記式４に代入すると、走行路モデルの番号Ｎが得られる。したがって、その得られた走行路モデル番号Ｎに対して、投票数を１増加させる。なお、上述したように、１つの領域位置（ＢＸ，ＢＹ）、方向データＢＫに対して該当する走行路モデルは複数存在することがあるので、その場合には、該当する全ての走行路モデルについて投票数を１増加させる。この投票処理を例えば左上の分割領域から順番に全ての領域について行う。
【００４９】
つづいて、投票結果に基づいて最適なモデルを選択するのであるが、具体的には、Ｓ７にて実行される投票による投票数を５サイクル分保存しておき、その５サイクル分の投票数の総和を算出する（図３のＳ８参照）。そして、その５サイクル分の投票数の総和が最大となる走行路モデルを選択し（図３のＳ９参照）、その走行路モデルの番号Ｎを検出結果として出力する（図３のＳ１１参照）。図１０には、そのようにして出力された検出結果（走行路モデル）を示す。
【００５０】
なお、本実施形態では、Ｓ９にて最大投票数の走行路モデルを選択した後、その最大投票数となったモデルに対して、次サイクルに取り得るモデルを選択する（図３のＳ１０参照）。この取り得るモデルについては、上述したＳ５にてマップ化しておいたものを用いる。そして、Ｓ１０でのモデル選択がされた後、Ｓ６へ戻って、次の処理サイクルを開始する。
【００５１】
したがって、最初の５サイクルまでは、走行路モデルの選択を行わず、Ｓ１にて設定した全ての走行路モデルを対象としてＳ７での投票を行い、５サイクル分の投票数の総和が最大となるものを選択し、検出結果として出力する。そして、６サイクル以降の処理においては、Ｓ１０にて選択されたモデルについてのみ投票対象とすることで、計算量の削減を図ることができると共に、突発的なデータに対して（適切でない）突発的な解を出力してしまうことを軽減でき、誤検出を防止する点で有効である。
【００５２】
以上説明したように、本実施形態の走行路検出装置２によれば、ＣＣＤカメラ１０にて撮像した画像の分割領域毎に、その周囲に存在する分割領域との間で画像パターンの相関計算を行って類似度を算出し、その類似度の最も高い分割領域の存在する方向を、画像対応方向として算出する。そして、分割領域毎に、画像対応方向と実質的に同じモデル対応方向を持つ全ての走行路モデルに対して投票し、撮像画像中の全ての分割領域について投票を行った結果、最大投票数を得た走行路モデルを選択し、このモデル選択手段にて特定された走行路モデルに基づいて走行路を検出する。
【００５３】
このようにして算出した画像対応方向は、例えば画像中にレーンマークなどの明瞭な特徴があれば、当然そのレーンマークの存在する方向の分割領域が画像特徴的に連続する方向となる。したがって、分割領域毎に、画像対応方向と実質的に同じモデル対応方向を持つ走行路モデルに投票した場合に最大投票数を得る走行路モデルは、画像中に存在する実際の走行路に一致することとなる。
【００５４】
また、例えば上述した雨天の場合に、雨水によってレーンマークが見えにくくなるような場合であっても、分割領域単位で画像特徴的に連続すると推定される方向を算出している。つまり、画像中に存在するレーンマークなどの明瞭な特徴部分にだけ依存するのではなく、分割領域全体の画像を対象として画像特徴的に連続する方向を算出しているため、例えば上述のように雨水によってレーンマークが見えにくくなっていても、その雨水のたまり具合なども連続する分割領域間では似ているため、結果的に走行路の方向と一致した画像対応方向を算出する可能性が高い。また、上述したように、レーンマークのエッジだけを確実に区別して抽出することは技術的にも困難な場合があり、例えば検出したいレーンマーク付近にそのレーンマーク以外のエッジが存在する場合には、その誤ったエッジを採用してしまい、容易に連結間違いが発生してしまうという問題があったが、分割領域全体の画像を対象として画像特徴的に連続する方向を算出する手法を用いることで、単にエッジがあるからといってそれをレーンマークのエッジとして採用することも防止できる。つまり、エッジがあっても、分割領域全体を見た場合にさらに類似している分割領域があれば、そちらの分割領域の方向が画像対応方向となるからである。
【００５５】
なお、走行路を示す特徴線としては、レーンマーク以外にも路肩、あるいはガードレールや側壁などの走行路の方向を示しているものを採用することが考えられる。さらには、このように定常的に存在する特徴線ではなく、例えば雨天時に得られる先行車の走行軌跡や轍（わだち）に溜まった雨水などのように、一時的に存在する特徴線によっても走行路を検出することができる。
【００５６】
このように、本実施形態の走行路検出装置２によれば、撮像画像中に走行路を示すためのレーンマークなどの明瞭な特徴がない場合であっても、走行路を適切に検出することができる。
そして、このような走行路検出装置２を用い、その走行路検出装置によって検出した走行路に沿って車両を走行させる車両走行制御装置として構成すれば、走行路検出装置２にて例えばレーンマークなどが明瞭に存在しない場合であっても適切に走行路が検出されるため、その検出した走行路に沿って車両を走行させる場合には、適切な車両走行制御が実現できる。
【００５７】
［その他］
上記実施形態では、道路上を走行する車両を前提とした走行路検出装置２として説明したが、例えば工場内において無人搬送車両を自動操縦にて走行させるような場合にも適用できる。この場合の走行路は、例えば工場内の床上にプリントした走行ガイド線のようなものである。
【図面の簡単な説明】
【図１】  実施の形態としての走行路検出装置の概略構成を表すブロック図である。
【図２】  実施の形態としての走行路検出装置におけるＣＣＤカメラの配置などを示す概略説明図である。
【図３】  走行路検出に関する処理の概略を示すフローチャートである。
【図４】  実空間（３次元）上での折れ線道路モデルの説明図である。
【図５】  走行路モデルの想定ライン設定に関する説明図である。
【図６】  撮像系を水平方向から見た概念図である。
【図７】  （ａ）は車載のＣＣＤカメラにて撮像された画像例、（ｂ）は（ａ）の撮像シーン例に対して設定される走行路モデルの説明図である。
【図８】  分割領域の概念説明図である。
【図９】  領域方向データの算出に関する概念説明図である。
【図１０】  検出結果（走行路モデル）の説明図である。
【符号の説明】
２…走行路検出装置
１０…ＣＣＤカメラ
２０…検出処理部
２１…アナログ・ディジタル変換器（ＡＤＣ）
２３…画像メモリ
２４…ＣＰＵ
２５…ＲＯＭ
２６…ＲＡＭ
２７…通信ＩＣ
【図１】
0003945919.tif 000004
【図２】
0003945919.tif 000005
【図３】
0003945919.tif 000006
【図４】
0003945919.tif 000007
【図５】
0003945919.tif 000008
【図６】
0003945919.tif 000009
【図７】
0003945919.tif 000010
【図８】
0003945919.tif 000011
【図９】
0003945919.tif 000012
【図１０】
0003945919.tif 000013