(57)【要約】【課題】  エッジなどの局所情報だけに頼ることなく、精度よく検出対象の消失点を抽出することができる消失点抽出装置を提供する。【解決手段】  消失点抽出ＥＣＵ１における消失点候補設定部１２は、画像処理部１１で生成される画像中における道路に平行な線分から得られる消失点を求めるにあたり、事前情報を使用して、画像中の消失点の存在範囲を推定する。消失点確度算出部１３は、消失点存在範囲内における全部または所定の一部の画素から放射線状に複数の直線を引き、直線と、画像処理部１１から出力された処理画像中における直線との一致度を求める。これらの直線の一致度に基づいて各消失点候補の消失点らしさである消失点確度を算出する。消失点算出部１４は、消失点確度算出部１３から出力された各消失点候補における消失点確度に基づいて画像中における道路の消失点を抽出する。【選択図】  図１
2008225784.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮像する撮像装置によって撮像された画面中で検出対象となる道路が消失する点である消失点を抽出する消失点抽出装置であって、
前記撮像装置によって撮像された抽出対象画像の中から消失点候補位置を設定する消失点候補位置設定手段と、
前記消失点候補位置における消失点らしさを示す消失点確度を前記消失点候補位置ごとに求める消失点確度算出手段と、
前記消失点候補位置ごとの消失点確度に基づいて、前記抽出対象画像中における消失点の位置を求める消失点算出手段と、
を備えることを特徴とする消失点抽出装置。
【請求項２】
前記消失点候補位置設定手段は、前記検出対象と前記撮像装置とが実際に取りうる姿勢関係を満たす上で、前記抽出対象画像中で消失点が存在する範囲である消失点存在範囲を予め設定しておき、
前記消失点存在範囲内に消失点候補位置を設定する請求項１に記載の消失点抽出装置。
【請求項３】
前記消失点候補位置設定手段は、前記検出対象と前記撮像装置とが実際に取りうる姿勢関係に基づく前記抽出対象画像中における消失点位置を既抽出消失点位置として予め設定しておき、
前記既抽出消失点位置に所定の不確かさを加味した範囲を消失点存在範囲として設定し、
前記消失点存在範囲内に消失点候補位置を設定する請求項１に記載の消失点抽出装置。
【請求項４】
前記消失点候補位置設定手段は、前記検出対象に対して相対的に静止している２点以上の相対点について、前記抽出対象画像よりも以前に撮像された前画像と前記抽出対象画像とを比較し、前記２点以上の相対点における前記前画像から前記抽出対象画像に至るまでの位置変化を示すオプティカルフローを求め、
前記オプティカルフローを前記抽出対象画像で延長した際の交点を消失点予測位置として求め、
前記消失点予測位置と前記消失点との誤差を不確かさとして定量化した結果を用いて、前記消失点予測位置を中心として、前記不確かさ分を加味した範囲を消失点存在範囲として設定し、
消失点存在範囲内に消失点候補位置を設定する請求項１に記載の消失点抽出装置。
【請求項５】
前記消失点候補位置設定手段は、前記抽出対象画像上における複数のエッジ強度計測点をそれぞれ通り、前記エッジ強度計測点においてエッジ強度が最大となる方向であるエッジ方向を傾きとするエッジ検出線分を、前記複数のエッジ強度計測点のそれぞれに対して設定し、
前記各エッジ検出線分上の輝度分布の広さを評価した際に、前記輝度分布広さが所定のしきい値以下となるしきい値線分を抽出し、前記しきい値線分を延長した直線上を消失点存在範囲として設定し、
消失点存在範囲内に消失点候補位置を設定する請求項１に記載の消失点抽出装置。
【請求項６】
前記消失点候補位置設定手段は、前記抽出対象画像上における複数のエッジ強度計測点をそれぞれ通り、前記エッジ強度計測点においてエッジ強度が最大となる方向であるエッジ方向を傾きとするエッジ検出線分を、前記複数のエッジ強度計測点のそれぞれに対して設定し、
前記各エッジ検出線分上の輝度分布の広さを評価した際に、前記輝度分布広さが所定のしきい値以下となるしきい値線分を抽出し、前記しきい値線分を延長した線分が所定の本数以上通過する範囲を消失点存在範囲として設定し、
消失点存在範囲内に消失点候補位置を設定する請求項１に記載の消失点抽出装置。
【請求項７】
前記消失点候補位置設定手段は、前記検出対象と前記撮像装置とが実際に取りうる姿勢関係を満たす上で、前記抽出対象画像中で消失点が存在する範囲である予め設定された第１消失点存在範囲と、
前記検出対象と前記撮像装置とが実際に取りうる姿勢関係に基づく前記抽出対象画像中における消失点位置が既抽出消失点位置として予め設定され、前記既抽出消失点位置に所定の不確かさを加味した範囲をとして設定された第２消失点存在範囲と、
前記検出対象に対して相対的に静止している２点以上の相対点について、前記抽出対象画像よりも以前に撮像された前画像と前記抽出対象画像とを比較し、前記２点以上の相対点における前記前画像から前記抽出対象画像に至るまでの位置変化を示すオプティカルフローを求め、前記オプティカルフローを前記抽出対象画像で延長した際の交点を消失点予測位置として求め、前記消失点予測位置と前記消失点との誤差を不確かさとして定量化した結果を用いて、前記消失点予測位置を中心として、前記不確かさ分を加味した範囲として設定された第３消失点存在範囲と、
前記抽出対象画像上における複数のエッジ強度計測点をそれぞれ通り、前記エッジ強度計測点においてエッジ強度が最大となる方向であるエッジ方向を傾きとするエッジ検出線分を、前記複数のエッジ強度計測点のそれぞれに対して設定し、前記各エッジ検出線分上の輝度分布の広さを評価した際に、前記輝度分布広さが所定のしきい値以下となるしきい値線分を抽出し、前記しきい値線分を延長した線分上に設定された第４消失点存在範囲と、
前記抽出対象画像上における複数のエッジ強度計測点をそれぞれ通り、前記エッジ強度計測点においてエッジ強度が最大となる方向であるエッジ方向を傾きとするエッジ検出線分を、前記複数のエッジ強度計測点のそれぞれに対して設定し、前記各エッジ検出線分上の輝度分布の広さを評価した際に、前記輝度分布広さが所定のしきい値以下となるしきい値線分を抽出し、前記しきい値線分を延長した線分が所定の本数以上通過する範囲として設定された第５消失点存在範囲と、
のうちの少なくとも１つによって設定された消失点存在範囲内から消失点候補位置を決定する請求項１に記載の消失点抽出装置。
【請求項８】
前記消失点候補位置設定手段は、前記消失点存在範囲内に設定された各座標が取り出される確率を定義する確率密度関数を定義し、
前記消失点候補位置は、前記確率密度関数にしたがって取り出される確率変数に基づいて決定される請求項１〜請求項７のうちのいずれか１項に記載の消失点抽出装置。
【請求項９】
前記消失点確度算出手段は、前記消失点候補位置設定手段で設定した消失点候補位置を中心として放射状に伸びる複数の確度算出用線分を設定し、設定した複数の確度算出用線分の評価値を統合して、各消失点候補位置の確度を求める請求項１に記載の消失点抽出装置。
【請求項１０】
前記確度算出用線分上における画素の輝度分布に基づいて、前記確度算出用線分の評価値を算出する請求項９に記載の消失点抽出装置。
【請求項１１】
前記確度算出用線分に沿った順に取り出した線分上画素の輝度変化特性に基づいて、前記確度算出用線分の評価値を算出する請求項９に記載の消失点抽出装置。
【請求項１２】
前記確度算出用線分に沿った順に取り出した線分上画素の輝度パターンに基づいて、前記確度算出用線分の評価値を算出する請求項９に記載の消失点抽出装置。
【請求項１３】
前記消失点確度算出手段は、検出対象に対する消失点の位置が既知とされた画像である記憶画像中における既知の検出対象に対する消失点の位置から前記記憶画像中の前記検出対象上に放射状に線分を設定したときの各線分上の輝度分布となる検出対象輝度分布モデルを記憶しており、前記検出対象輝度分布モデルと、前記確度算出用線分上における画素の輝度分布とを比較することで消失点確度を算出する請求項１０に記載の消失点抽出装置。
【請求項１４】
前記消失点確度算出手段は、検出対象に対する消失点の位置が既知とされた画像である記憶画像中における既知の検出対象に対する消失点の位置から前記記憶画像中の前記検出対象上に放射状に線分を設定したときの各線分上の輝度特性変化となる検出対象輝度変化モデルを記憶しており、前記検出対象輝度変化モデルと、前記確度算出用線分上における画素の輝度変化特性とを比較することで消失点確度を算出する請求項１１に記載の消失点抽出装置。
【請求項１５】
前記消失点確度算出手段は、検出対象に対する消失点の位置が既知とされた画像である記憶画像中における既知の検出対象に対する消失点の位置から前記記憶画像中の前記検出対象上に放射状に線分を設定したときの各線分上の輝度パターンとなる検出対象輝度パターンモデルを記憶しており、前記検出対象輝度パターンモデルと、前記確度算出用線分上における画素の輝度パターンとを比較することで消失点確度を算出する請求項１２に記載の消失点抽出装置。
【請求項１６】
前記確度算出用線分上の画素の輝度分布の広さが小さいときに前記確度算出用線分の評価値を高く算出し、前記確度算出用線分上の画素の輝度分布の広さが大きいときに前記確度算出用線分の評価値を低く算出する請求項９に記載の消失点抽出装置。
【請求項１７】
前記確度算出用線分で、連続する画素の輝度分布が所定のしきい値以下となる区間を求め、前記区間の長さの最大値を前記確度算出用線分の評価値とする請求項９に記載の消失点抽出装置。
【請求項１８】
前記確度算出用線分で、連続する画素の輝度変化が所定のしきい値以下となる区間を求め、前記区間の長さの最大値を前記確度算出用線分の評価値とする請求項９に記載の消失点抽出装置。
【請求項１９】
前記検出対象輝度分布モデルと、前記確度算出用線分上における画素の輝度分布とを比較するにあたり、前記検出対象輝度分布モデルと前記確度算出用線分上における画素の輝度分布の類似度が所定のしきい値より高い区間の長さを用いる請求項１３に記載の消失点抽出装置。
【請求項２０】
前記検出対象輝度分布モデルと、前記確度算出用線分上における画素の輝度分布とを比較するにあたり、前記検出対象輝度分布モデルと前記確度算出用線分上における画素の輝度分布の類似度が所定のしきい値より高い区間の輝度分布を用いる請求項１３に記載の消失点抽出装置。
【請求項２１】
前記検出対象輝度分布モデルと、前記確度算出用線分上における画素の輝度分布とを比較するにあたり、前記検出対象輝度分布モデルと前記確度算出用線分上における画素の輝度分布との類似度合いが所定のしきい値より高い変化特性を有する区間の長さを用いる請求項１３に記載の消失点抽出装置。
【請求項２２】
前記検出対象輝度変化モデルと、前記確度算出用線分上における画素の輝度変化とを比較するにあたり、前記検出対象輝度変化モデルと前記確度算出用線分上における画素の輝度変化との類似度合いが所定のしきい値より高い変化特性を有する区間における輝度変化特性の類似度を用いる請求項１４に記載の消失点抽出装置。
【請求項２３】
前記検出対象輝度パターンモデルと、前記確度算出用線分上における画素の輝度パターンとを比較するにあたり、前記検出対象輝度パターンモデルと前記確度算出用線分上における画素の輝度パターンとの類似度合いが所定のしきい値より高い区間の長さを用いる請求項１５に記載の消失点抽出装置。
【請求項２４】
前記検出対象輝度パターンモデルと前記確度算出用線分上における画素の輝度パターンとの類似度合いが所定のしきい値より高い区間における輝度パターンの類似度を用いる請求項１５に記載の消失点抽出装置。
【請求項２５】
前記検出対象輝度分布モデル、検出対象輝度変化モデル、または検出対象輝度パターンモデルと、前記確度算出用線分上における画素の輝度分布、輝度変化特性、または輝度パターンとを比較するにあたり、前記検出対象輝度分布モデル、検出対象輝度変化モデル、または検出対象輝度パターンモデルで想定する撮像装置と検出対象との位置・姿勢関係と、前記検出対象を撮像した際の撮像装置と検出対象との位置・姿勢関係を近づける請求項１９〜請求項２４のうちのいずれか１項に記載の消失点抽出装置。
【請求項２６】
前記検出対象輝度分布モデル、検出対象輝度変化モデル、または検出対象輝度パターンモデルと、前記確度算出用線分上における画素の輝度分布、輝度変化特性、または輝度パターンとを比較するにあたり、前記確度算出用線分上における画素の輝度分布を正規化する請求項１９〜請求項２４のうちのいずれか１項に記載の消失点抽出装置。
【請求項２７】
前記確度算出用線分上における線分上画素の輝度値と、前記確度算出用線分から外れた位置における線分外画素の輝度値と、に基づいて、前記確度算出用線分の評価値を算出する請求項９に記載の消失点抽出装置。
【請求項２８】
前記線分外画素は、前記確度算出用線分上の各画素から実空間で前記確度算出用線分に直交する直交方向に所定間隔をおいて設定される画素である請求項２７に記載の消失点抽出装置。
【請求項２９】
前記確度算出用線分が定義される画像上における前記直交方向は、前記画像上における左隅下点を原点とし、前記原点を通る底辺をＸ軸および前記原点を通り前記Ｘ軸と直交する方向を向くＹ軸を定義し、前記原点周りにおける−９０度〜９０度の範囲の直線傾きとして半時計周りを正の回転角度として定義した場合に、前記確度算出用線分の傾きが−４５度以上４５度未満である場合には、Ｙ軸に平行な方向とし、前記確度算出用線分の傾きが４５度以上９０度以下または−９０度以上−４５度未満である場合にはＸ軸に平行な方向とする請求項２８に記載の消失点抽出装置。
【請求項３０】
前記線分上画素の輝度値と、前記線分上画素に対応する前記線分外画素の輝度値との大小関係を算出し、前記大小関係に基づいて前記確度算出用線分の評価値を算出する請求項２７に記載の消失点抽出装置。
【請求項３１】
前記確度算出用線分上における線分上画素の輝度値と、前記線分上画素に対応する前記線分外画素の輝度値との大小関係を算出し、前記確度算出用線分上で前記線分上画素が対応する前記線分外画素の輝度値よりも大きくなる回数と、前記線分上画素が対応する前記線分外画素の輝度値よりも小さくなる回数と、のうちの大きい方または小さい方を選択し、選択された回数が、前記確度算出用線分上で大小関係が算出された回数全体に対して占める割合に基づいて、前記確度算出用線分の評価値を算出する請求項２７に記載の消失点抽出装置。
【請求項３２】
前記確度算出用線分上における線分上画素の輝度値と、前記線分上画素に対応する前記線分外画素の輝度値との輝度値の差を算出し、輝度値の差に基づいて前記確度算出用線分の評価値を算出する請求項２７に記載の消失点抽出装置。
【請求項３３】
前記確度算出用線分上における線分上画素の輝度値と、前記線分上画素に対応する前記線分外画素の輝度値との輝度値の差を算出し、前記輝度値の差を前記確度算出用線分に沿って加算して前記確度算出用線分の評価値を算出する請求項３２に記載の消失点抽出装置。
【請求項３４】
前記確度算出用線分から外れた位置における線分外画素の輝度値に基づいて、前記確度算出用線分の評価値を算出する請求項９に記載の消失点抽出装置。
【請求項３５】
前記線分外画素は、前記確度算出用線分上の各画素から実空間で前記確度算出用線分に直交する２つの直交方向に所定間隔をおいて設定される画素である請求項３４に記載の消失点抽出装置。
【請求項３６】
前記確度算出用線分の各画素から前記２つの直交方向のうちの１つの方向に所定間隔をおいて設定された線分外画素と、前記確度算出用線分上における画素と前記線分外画素とを結ぶ線分上における各画素の輝度分布、輝度変化特性、または輝度パターンに基づいて、前記確度算出用線分上における画素と前記線分外画素とを結ぶ複数の線分の評価値を求め、前記複数の線分の評価値に基づいて前記確度算出用線分の評価値を算出する請求項３５に記載の消失点抽出装置。
【請求項３７】
前記複数の確度算出用線分の評価値の平均値、最大値、または所定のしきい値以上の評価値を有する確度算出用線分の持つ評価値を平均することにより、前記消失点確度を統合する請求項９に記載の消失点抽出装置。
【請求項３８】
前記消失点算出手段は、前記消失点確度に対するしきい値を記憶しており、前記消失点確度に対するしきい値よりも大きい消失点確度を有する消失点候補位置を消失点最終候補位置とし、
前記消失点最終候補位置に基づいて、前記抽出対象画像中における消失点の位置を求める請求項１に記載の消失点抽出装置。
【請求項３９】
前記消失点算出手段は、前記複数の消失点候補位置を消失点確度が高い方から順に並べ替えたときに、上位に位置付けられる所定個数の消失点候補位置を消失点最終候補位置とし、
前記消失点最終候補位置に基づいて、前記抽出対象画像中における消失点の位置を求める請求項１に記載の消失点抽出装置。
【請求項４０】
前記消失点算出手段は、前記消失点確度算出手段で求められた前記消失点候補位置ごとの消失点確度に基づく加重平均を求め、前記加重平均を用いて消失点位置を算出する請求項１に記載の消失点抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置によって撮像された画面中で検出対象が消失する点である消失点を抽出する消失点抽出装置に関するものである。
【背景技術】
【０００２】
たとえば車両においては、車両の周囲を撮像装置によって撮像し、得られた画像から物体を検出する技術が開発されている。このときの検出対象としてはたとえば道路があるが、道路を検出する際には、画像中の座標系における道路の消失点の座標を抽出することが求められる。消失点は、画像中から抽出された道路の両端となる２本の直線部の交わる点として求められる。消失点を抽出することにより、道路に対する車両の姿勢推定やシーンの三次元構造理解などが可能となる。
【０００３】
消失点を抽出する技術として、従来、消失点の候補値を３つ以上計算し、それらの候補値から最適な消失点を求めるものである。ここで最適な３つ以上の消失点の候補値から最適な消失点を求める際に、複比不変の法則を利用する計算方法や２次形式最小化問題として計算する方法などが開示されている（たとえば特許文献１）。
【特許文献１】特許第２９０３９６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１に開示された消失点を抽出する技術では、道路などの検出対象に平行なエッジを正確に求める必要がある。しかし、実際には検出対象に平行なエッジを正確に検出できなかったり、あるいは検出対象以外のものに平行なエッジを検出してしまったりすることがあり、正確なエッジの検出を行うことが困難であるという問題があった。
【０００５】
そこで、本発明の課題は、エッジなどの局所情報だけに頼ることなく、精度よく検出対象の消失点を抽出することができる消失点抽出装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決した本発明の請求項１に係る消失点抽出装置は、車両の周囲を撮像する撮像装置によって撮像された画面中で検出対象となる道路が消失する点である消失点を抽出する消失点抽出装置であって、撮像装置によって撮像された抽出対象画像の中から消失点候補位置を設定する消失点候補位置設定手段と、消失点候補位置における消失点らしさを示す消失点確度を消失点候補位置ごとに求める消失点確度算出手段と、消失点候補位置ごとの消失点確度に基づいて、抽出対象画像中における消失点の位置を求める消失点算出手段と、を備えることを特徴とするものである。
【０００７】
本発明に係る消失点抽出装置においては、消失点候補位置を設定し、この消失点候補位置における消失点確度を求めて、消失点を決定するようにしている。このため、エッジなどの局所情報のみに頼ることなく、全体的なテクスチャの差によって道路に平行な線分を抽出することができるので、局所解への落ち込みを回避することができ、精度よく消失点を抽出することができる。また、消失点候補位置を設定することから、必要十分な探索範囲に設定することができるので、処理時間を短縮することができる。さらに、消失点候補探索に好適な情報を用いていることから、外乱による影響を小さくすることができ、さらに精度よく消失点を抽出することができる。
【０００８】
請求項２に係る発明は、消失点候補位置設定手段は、検出対象と撮像装置とが実際に取りうる姿勢関係を満たす上で、抽出対象画像中で消失点が存在する範囲である消失点存在範囲を予め設定しておき、消失点存在範囲内に消失点候補位置を設定するものである。
【０００９】
このように、消失点存在範囲を設定することにより、消失点が存在する可能性が高い探索範囲を設定することができる。したがって、探索範囲を広げすぎないようにすることができるので、処理時間の短縮を図ることができるとともに、局所解への落ち込みを防止することができる。
【００１０】
請求項３に係る発明は、消失点候補位置設定手段は、消失点候補位置設定手段は、検出対象と撮像装置とが実際に取りうる姿勢関係に基づく抽出対象画像中における消失点位置を既抽出消失点位置として予め設定しておき、既抽出消失点位置に所定の不確かさを加味した範囲を消失点存在範囲として設定し、消失点存在範囲内に消失点候補位置を設定するものである。
【００１１】
このように、消失点存在範囲を設定することにより、探索範囲を広げすぎないようにすることができるので、処理時間の短縮を図ることができるとともに、局所解への落ち込みを防止することができる。
【００１２】
請求項４に係る発明は、消失点候補位置設定手段は、検出対象に対して相対的に静止している２点以上の相対点について、抽出対象画像よりも以前に撮像された前画像と抽出対象画像とを比較し、２点以上の相対点における前画像から抽出対象画像に至るまでの位置変化を示すオプティカルフローを求め、オプティカルフローを抽出対象画像で延長した際の交点を消失点予測位置として求め、消失点予測位置と消失点との誤差を不確かさとして定量化した結果を用いて、消失点予測位置を中心として、不確かさ分を加味した範囲を消失点存在範囲として設定し、消失点存在範囲内に消失点候補位置を設定するものである。
【００１３】
このように、消失点存在範囲を設定することにより、探索範囲を広げすぎないようにすることができるので、処理時間の短縮を図ることができるとともに、局所解への落ち込みを防止することができる。
【００１４】
請求項５に係る発明は、消失点候補位置設定手段は、抽出対象画像上における複数のエッジ強度計測点をそれぞれ通り、エッジ強度計測点においてエッジ強度が最大となる方向であるエッジ方向を傾きとするエッジ検出線分を、複数のエッジ強度計測点のそれぞれに対して設定し、各エッジ検出線分上の輝度分布の広さを評価した際に、輝度分布広さが所定のしきい値以下となるしきい値線分を抽出し、しきい値線分を延長した直線上を消失点存在範囲として設定し、消失点存在範囲内に消失点候補位置を設定するものである。
【００１５】
このように消失点存在範囲を設定することにより、探索範囲を広げすぎないようにすることによる、処理時間の短縮や局所解への落ち込みの防止を図ることができる。また、画像中で一定長さ以上のエッジのみを処理対象としているので、ノイズによる影響を受け難く、その分精度よく消失点存在範囲を設定することができる。
【００１６】
請求項６に係る発明は、消失点候補位置設定手段は、抽出対象画像上における複数のエッジ強度計測点をそれぞれ通り、エッジ強度計測点においてエッジ強度が最大となる方向であるエッジ方向を傾きとするエッジ検出線分を、複数のエッジ強度計測点のそれぞれに対して設定し、各エッジ検出線分上の輝度分布の広さを評価した際に、輝度分布広さが所定のしきい値以下となるしきい値線分を抽出し、しきい値線分を延長した線分が所定の本数以上通過する範囲を消失点存在範囲として設定し、消失点存在範囲内に消失点候補位置を設定するものである。
【００１７】
このように消失点存在範囲を設定することにより、探索範囲を広げすぎないようにすることによる、処理時間の短縮や局所解への落ち込みの防止を図ることができる。また、画像中で一定長さ以上のエッジのみを処理対象としているので、ノイズによる影響を受け難く、その分精度よく消失点存在範囲を設定することができる。
【００１８】
請求項７に係る発明は、消失点候補位置設定手段は、検出対象と撮像装置とが実際に取りうる姿勢関係を満たす上で、抽出対象画像中で消失点が存在する範囲である予め設定された第１消失点存在範囲と、検出対象と撮像装置とが実際に取りうる姿勢関係に基づく抽出対象画像中における消失点位置が既抽出消失点位置として予め設定され、既抽出消失点位置に所定の不確かさを加味した範囲をとして設定された第２消失点存在範囲と、検出対象に対して相対的に静止している２点以上の相対点について、抽出対象画像よりも以前に撮像された前画像と抽出対象画像とを比較し、２点以上の相対点における前画像から抽出対象画像に至るまでの位置変化を示すオプティカルフローを求め、オプティカルフローを抽出対象画像で延長した際の交点を消失点予測位置として求め、消失点予測位置と消失点との誤差を不確かさとして定量化した結果を用いて、消失点予測位置を中心として、不確かさ分を加味した範囲として設定された第３消失点存在範囲と、抽出対象画像上における複数のエッジ強度計測点をそれぞれ通り、エッジ強度計測点においてエッジ強度が最大となる方向であるエッジ方向を傾きとするエッジ検出線分を、複数のエッジ強度計測点のそれぞれに対して設定し、各エッジ検出線分上の輝度分布の広さを評価した際に、輝度分布広さが所定のしきい値以下となるしきい値線分を抽出し、しきい値線分を延長した線分上に設定された第４消失点存在範囲と、抽出対象画像上における複数のエッジ強度計測点をそれぞれ通り、エッジ強度計測点においてエッジ強度が最大となる方向であるエッジ方向を傾きとするエッジ検出線分を、複数のエッジ強度計測点のそれぞれに対して設定し、各エッジ検出線分上の輝度分布の広さを評価した際に、輝度分布広さが所定のしきい値以下となるしきい値線分を抽出し、しきい値線分を延長した線分が所定の本数以上通過する範囲として設定された第５消失点存在範囲と、のうちの少なくとも１つによって設定された消失点存在範囲内から消失点候補位置を決定するものである。
【００１９】
このように消失点存在範囲を設定することにより、探索範囲を広げすぎないようにすることによる、処理時間の短縮や局所解への落ち込みの防止を図ることができる。
【００２０】
請求項８に係る発明は、消失点候補位置設定手段は、消失点存在範囲内に設定された各座標が取り出される確率を定義する確率密度関数を定義し、消失点候補位置は、確率密度関数にしたがって取り出される確率変数に基づいて決定されるものである。
【００２１】
このように、確率密度関数を定義し、この確率密度関数にしたがって取り出される確率変数に基づいて消失点候補位置を決定することにより、有限回のランダムサンプリングで処理を実行することができる。したがって、その分処理時間の短縮を図ることができる。
【００２２】
請求項９に係る発明は、消失点確度算出手段は、消失点候補位置設定手段で設定した消失点候補位置を中心として放射状に伸びる複数の確度算出用線分を設定し、設定した複数の確度算出用線分の評価値を統合して、各消失点候補位置の確度を求めるものである。
【００２３】
このように、設定した複数の確度算出用線分の評価値を統合して、各消失点候補位置の確度を求めることにより、全体的な傾向で消失点候補位置の確度を求めることができるにで、ノイズによる影響を小さくすることができ、その分精度よく消失点確度を設定することができる。
【００２４】
請求項１０に係る発明は、確度算出用線分上における画素の輝度分布に基づいて、確度算出用線分の評価値を算出するものである。
【００２５】
このように、確度算出用線分上の画素の輝度分布や輝度変化特性に基づいて各確度算出用線分の評価値を求めることにより、全体的な傾向で消失点候補位置の確度を求めることができるので、ノイズによる影響を小さくすることができ、その分精度よく消失点確度を設定することができる。
【００２６】
請求項１１に係る発明は、確度算出用線分に沿った順に取り出した線分上画素の輝度変化特性に基づいて、確度算出用線分の評価値を算出するものである。
【００２７】
このように、確度算出用線分上の画素の輝度変化特性に基づいて各確度算出用線分の評価値を求めることにより、照明変動の影響を小さくすることができ、その分精度よく消失点確度を設定することができる。
【００２８】
請求項１２に係る発明は、確度算出用線分に沿った順に取り出した線分上画素の輝度パターンに基づいて、確度算出用線分の評価値を算出するものである。
【００２９】
このように、画素の輝度パターンに基づいて確度算出用線分の評価値を算出することにより、画素の単独の輝度に基づく評価値と比較してノイズの影響を小さくすることができる。
【００３０】
請求項１３に係る発明は、消失点確度算出手段は、検出対象に対する消失点の位置が既知とされた画像である記憶画像中における既知の検出対象に対する消失点の位置から記憶画像中の検出対象上に放射状に線分を設定したときの各線分上の輝度分布となる検出対象輝度分布モデルを記憶しており、検出対象輝度分布モデルと、確度算出用線分上における画素の輝度分布とを比較することで消失点確度を算出するものである。
【００３１】
このように、輝度分布モデルを用いることにより、精度よく消失点位置を抽出することができるとともに、検出対象となる道路を容易に判定することができる。
【００３２】
請求項１４に係る発明は、消失点確度算出手段は、検出対象に対する消失点の位置が既知とされた画像である記憶画像中における既知の検出対象に対する消失点の位置から記憶画像中の検出対象上に放射状に線分を設定したときの各線分上の輝度特性変化となる検出対象輝度変化モデルを記憶しており、検出対象輝度変化モデルと、確度算出用線分上における画素の輝度変化特性とを比較することで消失点確度を算出するものである。
【００３３】
このように、輝度変化モデルを用いることにより、精度よく消失点位置を抽出することができるとともに、検出対象となる道路を容易に判定することができる。
【００３４】
請求項１５に係る発明は、消失点確度算出手段は、検出対象に対する消失点の位置が既知とされた画像である記憶画像中における既知の検出対象に対する消失点の位置から記憶画像中の検出対象上に放射状に線分を設定したときの各線分上の輝度パターンとなる検出対象輝度パターンモデルを記憶しており、検出対象輝度パターンモデルと、確度算出用線分上における画素の輝度パターンとを比較することで消失点確度を算出するものである。
【００３５】
このように、輝度パターンモデルを用いることにより、精度よく消失点位置を抽出することができるとともに、検出対象となる道路を容易に判定することができる。
【００３６】
請求項１６に係る発明は、確度算出用線分上の画素の輝度分布の広さが小さいときに確度算出用線分の評価値を高く算出し、確度算出用線分上の画素の輝度分布の広さが大きいときに確度算出用線分の評価値を低く算出するものである。
【００３７】
このように、輝度分布の広さに応じて確度算出用線分の評価値を算出することにより、全体的な傾向で評価値を求めることができる。したがって、ノイズの影響を小さくすることができ、精度よく評価値を算出することができる。
【００３８】
請求項１７に係る発明は、確度算出用線分で、連続する画素の輝度分布が所定のしきい値以下となる区間を求め、区間の長さの最大値を確度算出用線分の評価値とするものである。
【００３９】
このように、所定のしきい値以下となる区間の長さの最大値に応じて確度算出用線分の評価値を算出することにより、全体的な傾向で評価値を求めることができる。したがって、ノイズの影響を小さくすることができ、精度よく評価値を算出することができる。
【００４０】
請求項１８に係る発明は、確度算出用線分で、連続する画素の輝度変化が所定のしきい値以下となる区間を求め、区間の長さの最大値を確度算出用線分の評価値とするものである。
【００４１】
このように、連続する画素の輝度変化が所定のしきい値以下となる区間の長さの最大値に基づいて各確度算出用線分の評価値を求めることにより、照明変動の影響を小さくすることができ、その分精度よく消失点確度を設定することができる。
【００４２】
請求項１９に係る発明は、検出対象輝度分布モデルと、確度算出用線分上における画素の輝度分布とを比較するにあたり、検出対象輝度分布モデルと確度算出用線分上における画素の輝度分布の類似度が所定のしきい値より高い区間の長さを用いるものである。
【００４３】
このように、検出対象輝度分布モデルと確度算出用線分上における画素の輝度分布の類似度が所定のしきい値より高い区間の長さを用いて確度算出用線分の評価値を算出することにより、全体的な分布傾向で評価値を求めることができる。したがって、ノイズの影響を小さくすることができ、精度よく評価値を算出することができる。
【００４４】
請求項２０に係る発明は、検出対象輝度分布モデルと、確度算出用線分上における画素の輝度分布とを比較するにあたり、検出対象輝度分布モデルと確度算出用線分上における画素の輝度分布の類似度が所定のしきい値より高い区間の輝度分布を用いるものである。
【００４５】
このように検出対象輝度分布モデルと確度算出用線分上における画素の輝度分布の類似度が所定のしきい値より高い区間の輝度分布を用いて確度算出用線分の評価値を算出することにより、全体的な分布傾向で評価値を求めることができる。したがって、ノイズの影響を小さくすることができ、精度よく評価値を算出することができる。
【００４６】
請求項２１に係る発明は、検出対象輝度分布モデルと、確度算出用線分上における画素の輝度分布とを比較するにあたり、検出対象輝度分布モデルと確度算出用線分上における画素の輝度分布との類似度合いが所定のしきい値より高い変化特性を有する区間の長さを用いるものである。
【００４７】
このように、検出対象輝度分布モデルと確度算出用線分上における画素の輝度分布との類似度合いが所定のしきい値より高い変化特性を有する区間の長さを用いて各確度算出用線分の評価値を求めることにより、照明変動の影響を小さくすることができ、その分精度よく消失点確度を設定することができる。
【００４８】
請求項２２に係る発明は、検出対象輝度変化モデルと、確度算出用線分上における画素の輝度変化とを比較するにあたり、検出対象輝度変化モデルと確度算出用線分上における画素の輝度変化との類似度合いが所定のしきい値より高い変化特性を有する区間における輝度変化特性の類似度を用いるものである。
【００４９】
このように、検出対象輝度変化モデルと確度算出用線分上における画素の輝度変化との類似度合いが所定のしきい値より高い変化特性を有する区間における輝度変化特性の類似度を用いて各確度算出用線分の評価値を求めることにより、照明変動の影響を小さくすることができ、その分精度よく消失点確度を設定することができる。
【００５０】
請求項２３に係る発明は、検出対象輝度パターンモデルと、確度算出用線分上における画素の輝度パターンとを比較するにあたり、検出対象輝度パターンモデルと確度算出用線分上における画素の輝度パターンとの類似度合いが所定のしきい値より高い区間の長さを用いるものである。
【００５１】
このように、検出対象輝度パターンモデルと確度算出用線分上における画素の輝度パターンとの類似度合いが所定のしきい値より高い区間の長さを用いることにより、画素の単独の輝度に基づく評価値と比較してノイズの影響を小さくすることができる。
【００５２】
請求項２４に係る発明は、検出対象輝度パターンモデルと確度算出用線分上における画素の輝度パターンとの類似度合いが所定のしきい値より高い区間における輝度パターンの類似度を用いるものである。
【００５３】
このように、検出対象輝度パターンモデルと確度算出用線分上における画素の輝度パターンとの類似度合いが所定のしきい値より高い区間における輝度パターンの類似度を用いることにより、画素の単独の輝度に基づく評価値と比較してノイズの影響を小さくすることができる。
【００５４】
請求項２５に係る発明は、検出対象輝度分布モデル、検出対象輝度変化モデル、または検出対象輝度パターンモデルと、確度算出用線分上における画素の輝度分布、輝度変化特性、または輝度パターンとを比較するにあたり、検出対象輝度分布モデル、検出対象輝度変化モデル、または検出対象輝度パターンモデルで想定する撮像装置と検出対象との位置・姿勢関係と、検出対象を撮像した際の撮像装置と検出対象との位置・姿勢関係を近づけるものである。
【００５５】
このように、検出対象輝度分布モデル、検出対象輝度変化モデル、または検出対象輝度パターンモデルで想定する撮像装置と検出対象との位置・姿勢関係と、検出対象を撮像した際の撮像装置と検出対象との位置・姿勢関係を近づけることにより、同じ条件下において評価を行うことができる。したがって、その分精度よく消失点確度を設定することができる。
【００５６】
請求項２６に係る発明は、検出対象輝度分布モデル、検出対象輝度変化モデル、または検出対象輝度パターンモデルと、確度算出用線分上における画素の輝度分布、輝度変化特性、または輝度パターンとを比較するにあたり、確度算出用線分上における画素の輝度分布を正規化するものである。
【００５７】
このように、確度算出用線分上における画素の輝度分布を正規化することにより、照明変動の影響を小さくすることができる。したがって、その分精度よく消失点確度を設定することができる。
【００５８】
請求項２７に係る発明は、確度算出用線分上における線分上画素の輝度値と、確度算出用線分から外れた位置における線分外画素の輝度値と、に基づいて、確度算出用線分の評価値を算出するものである。
【００５９】
このように、確度算出用線分上における線分上画素の輝度値と、確度算出用線分から外れた位置における線分外画素の輝度値と、に基づいて、確度算出用線分の評価値を算出することにより、確度算出用線分をはずれた位置にある、たとえば隣接画素の関係を利用するので、ノイズの影響を小さくすることができる。
【００６０】
請求項２８に係る発明は、線分外画素は、確度算出用線分上の各画素から実空間で確度算出用線分に直交する直交方向に所定間隔をおいて設定される画素であるものである。
【００６１】
このように、線分外画素として、確度算出用線分上の各画素から実空間で確度算出用線分に直交する直交方向に所定間隔をおいて設定される画素、たとえば隣接画素とすることにより、ノイズの影響を小さくすることができる。
【００６２】
請求項２９に係る発明は、確度算出用線分が定義される画像上における直交方向は、画像上における左隅下点を原点とし、原点を通る底辺をＸ軸および原点を通りＸ軸と直交する方向を向くＹ軸を定義し、原点周りにおける−９０度〜９０度の範囲の直線傾きとして半時計周りを正の回転角度として定義した場合に、確度算出用線分の傾きが−４５度以上４５度未満である場合には、Ｙ軸に平行な方向とし、確度算出用線分の傾きが４５度以上９０度以下または−９０度以上−４５度未満である場合にはＸ軸に平行な方向とするものである。
【００６３】
このように、直交方向を定義することにより、確度算出用線分の精度を維持した上で、処理の簡略化および処理時間の短縮を図ることができる。
【００６４】
請求項３０に係る発明は、線分上画素の輝度値と、線分上画素に対応する線分外画素の輝度値との大小関係を算出し、大小関係に基づいて確度算出用線分の評価値を算出するものである。
【００６５】
このように、確度算出用線分上の画素と線分外画素との関係を利用するので、ノイズの影響を小さくすることができる。
【００６６】
請求項３１に係る発明は、確度算出用線分上における線分上画素の輝度値と、線分上画素に対応する線分外画素の輝度値との大小関係を算出し、確度算出用線分上で線分上画素が対応する線分外画素の輝度値よりも大きくなる回数と、線分上画素が対応する線分外画素の輝度値よりも小さくなる回数と、のうちの大きい方または小さい方を選択し、選択された回数が、確度算出用線分上で大小関係が算出された回数全体に対して占める割合に基づいて、確度算出用線分の評価値を算出するものである。
【００６７】
このように、確度算出用線分上の画素と線分外画素との関係を利用するので、ノイズの影響を小さくすることができる。
【００６８】
請求項３２に係る発明は、確度算出用線分上における線分上画素の輝度値と、線分上画素に対応する線分外画素の輝度値との輝度値の差を算出し、輝度値の差に基づいて確度算出用線分の評価値を算出するものである。
【００６９】
このように、確度算出用線分上の画素と線分外画素との関係を利用するので、ノイズの影響を小さくすることができる。
【００７０】
請求項３３に係る発明は、確度算出用線分上における線分上画素の輝度値と、線分上画素に対応する線分外画素の輝度値との輝度値の差を算出し、輝度値の差を確度算出用線分に沿って加算して確度算出用線分の評価値を算出するものである。
【００７１】
このように、確度算出用線分上の画素と線分外画素との関係を利用するので、ノイズの影響を小さくすることができる。
【００７２】
請求項３４に係る発明は、確度算出用線分から外れた位置における線分外画素の輝度値に基づいて、確度算出用線分の評価値を算出するものである。
【００７３】
このように、確度算出用線分上の画素と線分外画素との関係を利用するので、ノイズの影響を小さくすることができる。
【００７４】
請求項３５に係る発明は、線分外画素は、確度算出用線分上の各画素から実空間で確度算出用線分に直交する２つの直交方向に所定間隔をおいて設定される画素であるものである。
【００７５】
このように、線分外画素を設定することにより、さらに精度よく確度算出用線分の評価値を求めることができる。
【００７６】
請求項３６に係る発明は、確度算出用線分の各画素から２つの直交方向のうちの１つの方向に所定間隔をおいて設定された線分外画素と、確度算出用線分上における画素と線分外画素とを結ぶ線分上における各画素の輝度分布、輝度変化特性、または輝度パターンに基づいて、確度算出用線分上における画素と線分外画素とを結ぶ複数の線分の評価値を求め、複数の線分の評価値に基づいて確度算出用線分の評価値を算出するものである。
【００７７】
このように、線分外画素と、確度算出用線分上における線分外画素とを結ぶ線分を用いることにより、使用する線分の数を増加させることができるので、その分ノイズの影響を小さくすることができる。
【００７８】
請求項３７に係る発明は、複数の確度算出用線分の評価値の平均値、最大値、または所定のしきい値以上の評価値を有する確度算出用線分の持つ評価値を平均することにより、消失点確度を統合するものである。
【００７９】
このように、複数の確度算出用線分の評価値の平均値、最大値、または所定のしきい値以上の評価値を有する確度算出用線分の持つ評価値を平均して消失点確度を統合することにより、全体的な傾向で確度算出用線分の評価値を求めることができる。したがって、ノイズの影響を小さくすることができ、精度よく評価値を算出することができる。
【００８０】
請求項３８に係る発明は、消失点算出手段は、消失点確度に対するしきい値を記憶しており、消失点確度に対するしきい値よりも大きい消失点確度を有する消失点候補位置を消失点最終候補位置とし、消失点最終候補位置に基づいて、抽出対象画像中における消失点の位置を求めるものである。
【００８１】
このように、消失点確度に対するしきい値よりも大きい消失点確度を有する消失点候補位置を消失点最終候補位置とすることにより、処理時間の短縮を図ることができるとともに、精度よく消失点の位置を求めることができる。
【００８２】
請求項３９に係る発明は、消失点算出手段は、複数の消失点候補位置を消失点確度が高い方から順に並べ替えたときに、上位に位置付けられる所定個数の消失点候補位置を消失点最終候補位置とし、消失点最終候補位置に基づいて、抽出対象画像中における消失点の位置を求めるものである。
【００８３】
このように、消失点最終候補位置に基づいて、抽出対象画像中における消失点の位置を求めることにより、処理時間の短縮を図ることができるとともに、精度よく消失点の位置を求めることができる。
【００８４】
請求項４０に係る発明は、消失点算出手段は、消失点確度算出手段で求められた消失点候補位置ごとの消失点確度に基づく加重平均を求め、加重平均を用いて消失点位置を算出するものである。
【００８５】
このように、加重平均を用いて消失点位置を算出することにより、全体的な傾向で消失点の位置を求めることができる。したがって、ノイズの影響を小さくすることができ、精度よく消失点の位置を求めることができる。
【発明の効果】
【００８６】
本発明に係る消失点抽出装置によれば、エッジなどの局所情報だけに頼ることなく、精度よく検出対象の消失点を抽出することができる。
【発明を実施するための最良の形態】
【００８７】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図示の便宜上、図面の寸法比率は説明のものと必ずしも一致しない。
【００８８】
図１は、本発明に係る消失点抽出装置の構成を示すブロック構成図である。図１に示すように、消失点抽出装置は、消失点抽出ＥＣＵ１を備えている。消失点抽出ＥＣＵ１には、撮像装置であるカメラ２および車両姿勢推定ＥＣＵ３が接続されている。
【００８９】
消失点抽出ＥＣＵ１は、車両に搭載され、車両を電子制御するデバイスのコンピュータであり、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、および入出力インターフェイスなどを備えて構成されている。消失点抽出ＥＣＵ１は、画像処理部１１、消失点候補設定部１２、消失点確度算出部１３、および消失点算出部１４を備えている。
【００９０】
カメラ２は、車両の前部または後部に設けられ、車両の周囲として、車両の前後を撮像する。カメラ２は、撮像して得られた抽出対象画像としての画像を消失点抽出ＥＣＵ１における画像処理部１１に送信する。
【００９１】
画像処理部１１は、カメラ２から送信された画像に画像処理を施すことにより、抽出対象画像となる処理画像を生成する。画像処理部１１は、画像処理の結果得られた処理画像を消失点候補設定部１２および消失点確度算出部１３に出力する。
【００９２】
消失点候補設定部１２は、画像処理部１１で生成される画像中における道路に平行な線分から得られる消失点を求めるにあたり、使用可能な道路とカメラ２との位置関係や過去における消失点の位置、画像処理部から出力される画像情報中のオプティカルフローやエッジパワーなどの事前情報を使用して、画像中の消失点の存在範囲を推定する。消失点候補設定部１２では、後に説明する方法によって消失点の候補となる画素が存在する範囲を推定しておき、推定した範囲を消失点存在範囲として消失点確度算出部１３に出力する。
【００９３】
消失点確度算出部１３では、消失点候補設定部１２から出力された消失点存在範囲を設定するとともに、消失点存在範囲内における全部または所定の一部の消失点候補となる画素から放射線状に複数の確度算出用線分を引く。これらの複数の確度算出用線分の輝度分布や輝度変化等に基づいて各消失点候補の消失点らしさである消失点確度を算出する。消失点確度算出部１３は、各消失点候補に対して算出した消失点確度を消失点算出部１４に出力する。
【００９４】
消失点算出部１４は、消失点確度算出部１３から出力された各消失点候補における消失点確度に基づいて画像中における道路の消失点を抽出する。消失点算出部１４は、抽出した消失点を車両姿勢推定ＥＣＵ３に送信する。
【００９５】
車両姿勢推定ＥＣＵ３は、消失点抽出ＥＣＵ１から送信された消失点に基づいて車両姿勢を推定する。
【００９６】
次に、本実施形態に係る消失点抽出装置の動作手順について説明する。図２は、本実施形態に係る消失点抽出装置の動作手順を示すフローチャートである。まず、消失点抽出装置において、消失点を抽出する際の全体の動作について説明する。
【００９７】
図２に示すように、本実施形態に係る消失点抽出装置は、消失点を抽出する前の段階として、画像処理部１１において、カメラ２から送信された画像から道路と考えられる直線部を抽出する。画像処理部１１は、処理画像の情報を消失点候補設定部１２に出力する。消失点候補設定部１２では、事前に使用可能な車両と道路との関係等に基づいて、道路の消失点の存在範囲を推定して設定する（Ｓ１）。ここで、カメラ２としては正規化カメラ（ｆ＝１）を用い、カメラ画像上の座標として正規化画像座標を用いる。消失点の存在範囲を設定したら、設定した消失点の存在範囲内における道路の消失点候補としての画素を抽出する（Ｓ２）。
【００９８】
消失点候補設定部１２は、複数の消失点候補を抽出したら、抽出した複数の消失点候補の情報を消失点確度算出部１３に出力する。消失点確度算出部１３では、複数の消失点候補のそれぞれについて、消失点としての確からしさとしての消失点確度を算出する（Ｓ３）。消失点確度を求める際には、複数の消失点候補である画素のそれぞれから放射状に伸びる複数の確度算出用線分を引き、この確度算出用線分と、画像中における直線との一致度合いを評価し、この一致度合いを消失点確度とする。消失点確度算出部１３は、各消失点候補についての消失点確度を算出したら、各消失点候補およびその消失点確度の情報を消失点算出部１４に出力する。
【００９９】
消失点算出部１４では、消失点確度算出部１３から出力された消失点候補およびその消失点確度の情報から消失点を算出する（Ｓ４）。その後、算出した消失点に関する情報を車両姿勢推定ＥＣＵ３に送信して消失点抽出装置による動作が終了する。上記の工程のうち、消失点存在範囲の設定（Ｓ１）、消失点候補の抽出（Ｓ２）、および消失点確度の算出（Ｓ３）について、それぞれ具体的な手順について説明する。
【０１００】
まず、消失点の存在範囲を設定する手順（Ｓ１）ついて説明する。消失点の存在範囲の設定は、図３〜図７に示すいずれかの手順によって行われる。以下、順にそれらの手順について説明する。
【０１０１】
＜第１の消失点存在範囲設定手順＞
【０１０２】
図３を参照して第１の消失点存在範囲設定手順を説明する。図３に示すように、第１の消失点存在範囲設定手順では、まず予め設定されたカメラに対する道路の方向の範囲を設定する（Ｓ１−１１）。
【０１０３】
いま、カメラに対する道路の方向の範囲を設定するにあたり、カメラ座標系を基準とする。このとき、検出対象となる道路と考えられる直線部に平行な線分上の点Ｐ（Ｘ，Ｙ，Ｚ）を下記（１）式で示すように三次元空間で定義する。
【数１】
2008225784.tif 000003
【０１０４】
また、直線部の消失点座標ｐ（ｘ、ｙ）は、正規化カメラ画像上では、下記（２）式で表される。
【数２】
2008225784.tif 000004
【０１０５】
（２）式から判るように、直線部の消失点座標はカメラ座標系における直線部の傾きによって決まる。この性質を利用して消失点存在範囲を推定する。
【０１０６】
また、車両にカメラ２が搭載されている場合において、道路とカメラ２とが実際に取りうる姿勢関係はある範囲内にあると考えられる。このことから、カメラ２で撮像される道路とカメラ２とが実際に取りうる姿勢関係に基づいて、道路の方向範囲を予め設定しておく。ここで設定される道路の方向範囲は、道路とカメラ２とが実際に取りうる姿勢関係に基づいて、所定の範囲内に設定される。
【０１０７】
カメラに対する道路の方向の範囲を設定したら、上記（２）式により、道路の各方向（Ｘ，Ｙ，Ｚ方向）をそれぞれ投影して消失点の存在範囲を算出する（Ｓ１−１２）。こうして算出された範囲を、消失点の存在範囲を設定することができる。
【０１０８】
＜第２の消失点存在範囲設定手順＞
【０１０９】
図４を参照して第２の消失点存在範囲設定手順を説明する。この手順では、カメラ２が車両に搭載されることから、カメラ座標系に対する道路方向や消失点位置の時系列変化が計測されている場合に用いられる。ここで、現在時刻である時刻（ｔ）における消失点存在範囲ｖ（ｔ）としては、カメラ座標系に対する道路の傾き（ΔＸ（ｔ）、ΔＹ（ｔ）、ΔＺ（ｔ））や消失点位置（＝ｘ（ｔ）、ｙ（ｔ））を用いる。
【０１１０】
第２の消失点存在範囲設定手順では、まず、予め設定したカメラ２に対する道路の方向の範囲を算出に用いるモデル式の確率変数ｗ（ｔ）を求める。（Ｓ１−２１）。カメラ２は、車両に搭載されており、消失点を抽出するためのカメラ２からの処理画像の出力は数ｍｓごとに行われる。ここでは、処理画像が出力される時間間隔で時刻（ｔ＋α）のαが１加算される。
【０１１１】
時刻（ｔ−１）から時刻（ｔ）に至るまでの間では、車両の移動距離が大きくなることはなく、カメラ２で撮影される画像には大きな変化がないことから、時刻（ｔ−１）の画像と時刻（ｔ）の画像は類似していると考えられる。このため、時刻（ｔ−１）の画像から抽出された消失点の存在範囲がある場合には、時刻（ｔ−１）における消失点の存在範囲ｖ（ｔ−１）を用いて時刻（ｔ）における消失点の存在範囲を下記（３）式に示すモデル式によって求めることができる。また、さらに以前の時刻（ｔ−２）や時刻（ｔ−３）における消失点の存在範囲ｖ（ｔ−２），ｖ（ｔ−３）の位置が判っている場合には、それぞれ下記（４）式、および（５）式に示すモデル式によって消失点の存在範囲ｖ（ｔ）を求めることができる。
【数３】
2008225784.tif 000005
【０１１２】
ここで、上記時刻（ｔ−１）におけるカメラ座標系に対する道路の傾き（ΔＸ（ｔ−１）、ΔＹ（ｔ−１）、ΔＺ（ｔ−１））が判っている場合には、時刻（ｔ）における消失点存在範囲ｖ（ｔ）、時刻（ｔ−１）における消失点の存在範囲ｖ（ｔ−１）、不確かさを加味するための確率変数ｗ（ｔ）は、それぞれ以下の通りとなる。
【数４】
2008225784.tif 000006
【０１１３】
また、消失点位置（ΔＸ／ΔＺ，ΔＹ／ΔＺ）が判っている場合には、時刻（ｔ）における消失点存在範囲ｖ（ｔ）、時刻（ｔ−１）における消失点の存在範囲ｖ（ｔ−１）、不確かさを加味するための確率変数ｗ（ｔ）は、それぞれ以下の通りとなる。
【数５】
2008225784.tif 000007
【０１１４】
ところで、上記（３）式〜（５）式ではいずれも確率変数ｗ（ｔ）を含んでいる。この確率変数ｗ（ｔ）は、たとえば、実際に走行する車両に搭載されたカメラ２で予め撮像された画像から取得された道路の傾きの計測結果や消失点位置の時系列データなどを含むカメラ２の周囲環境に基づいて決定することができる。ここでは、消失点の存在範囲ｖが消失点位置から求められる場合について説明するが、カメラ座標系に対する道路の傾きの場合についても同様である。
【０１１５】
ここでの確率変数ｗ（ｔ）は、下記（６）式で求められる。
【数６】
2008225784.tif 000008
【０１１６】
このとき、確率変数ｗ（ｔ）は、データ残差の最大値から決定する場合と、データ残差から得られる正規分布から決定する場合とが考えられる。確率変数ｗ（ｔ）をデータ残差から決定する場合、確率変数ｗｘ（ｔ），ｗｙ（ｔ）は、下記（７）式によって求めることができる。
【数７】
2008225784.tif 000009
【０１１７】
また、この場合における消失点の存在範囲の定義端点は、下記（８）式のように示すことができる。
【数８】
2008225784.tif 000010
【０１１８】
一方、確率変数ｗｘ（ｔ），ｗｙ（ｔ）をデータ残差から得られる正規分布から決定する場合、確率変数ｗｘ（ｔ），ｗｙ（ｔ）は下記（９）式によって求めることができる。
【数９】
2008225784.tif 000011
【０１１９】
また、この場合における消失点の存在範囲の定義端点は、下記（１０）式のように示すことができる。
【数１０】
2008225784.tif 000012
【０１２０】
上記（８）式または（１０）式によって定義される４つの端点を四隅とする領域を消失点の存在範囲として推定して決定することができる。
【０１２１】
モデル式の確率変数ｗ（ｔ）を求めたら、直線部の各方向を投影して消失点の存在範囲を算出する（Ｓ１−２２）。消失点の存在範囲は、上記（３）式〜（５）式のいずれかの式および上記（８）式または（１０）式を用いて算出する。こうして算出された範囲を、消失点の存在範囲を設定することができる。
【０１２２】
＜第３の消失点存在範囲設定手順＞
【０１２３】
図５を参照して第３の消失点存在範囲設定手順を説明する。ここでは、車両運動で用いられる画像上の湧き出し点（ＦＯＥ：Focus Of Expansion 以下「ＦＯＥ」という）が求められている場合における消失点の存在範囲の設定について説明する。第３の消失点存在範囲設定手順では、まず、走行状態として、カメラの移動状態を求める（Ｓ１−３１）。カメラの移動状態は、画像処理部１１から出力される画像に基づいて求めることができる。カメラの移動状態を求めたら、カメラ２で撮像された画像に画像処理を施して画像中のＦＯＥを検出する（Ｓ１−３２）。
【０１２４】
たとえば、道路の平行に車両が移動している状況において、画像内には静止物体しか存在せず、カメラを搭載した車両がその間に存在する道路を直進走行しているとする。このときに連続する画像間に対応付けから求められるオプティカルフローは、下記（１１）式のようになる。
【数１１】
2008225784.tif 000013
【０１２５】
ここで、画像座標（０，０）を画像の中心に設定し、車両の進行方向をＺ方向、左右方向をＸ方向、高さ方向をＹ方向とすると、カメラの移動状態には、次の４つのパターンがある。
〔パターン１〕Ｚ方向にのみ速度が存在する場合である。この場合には、ＦＯＥは画像の中心となる。
〔パターン２〕Ｚ方向およびＸ方向に速度が存在する場合である。この場合には、（１１）式の第２項の効果によってＦＯＥが画像のＸ軸に沿ってずれる。
〔パターン３〕Ｚ方向およびＹ方向に速度が存在する場合である。この場合には、（１１）式の第２項の効果によってＦＯＥが画像のＹ軸に沿ってずれる。
〔パターン４〕Ｚ方向、Ｘ方向、およびＹ方向に速度が存在する場合である。この場合には、（１１）式の第２項の効果によってＦＯＥが画像のＸ軸およびＹ軸に沿ってずれる。
【０１２６】
一方、消失点の座標はカメラ２に対する道路の方向によって決まるので、たとえば道路の方向が（０，０，１）の傾き、つまりカメラの光軸方向に伸びているとすると、消失点座標が画像に中心に位置する。
【０１２７】
画像中のＦＯＥを検出したら、ステップＳ１−３１で決定された上記〔パターン１〕〜〔パターン４〕のいずれかに基づいて、上記（１１）式を用いて消失点の存在範囲を決定する（Ｓ１−３３）。消失点の存在範囲は、次のように決定される。〔パターン１〕では、消失点の存在範囲はＦＯＥとなる。また、〔パターン２〕では、消失点の存在範囲はＸ軸に平行でかつＦＯＥのＹ座標を通る直線上となる。さらに、〔パターン３〕では、消失点の存在範囲はＹ軸に平行でかつＦＯＥのＸ座標を通る直線上となる。そして、〔パターン４〕では、想定される時刻ｔでのある点の各方向の速度を用いて上記（１１）式で算出される範囲となる。こうして算出された範囲を、消失点の存在範囲を設定することができる。
【０１２８】
＜第４の消失点存在範囲設定手順＞
【０１２９】
図６を参照して第４の消失点存在範囲設定手順を説明する。この手順では、画像上の消失点の位置は、道路に平行な線分を延長したときに交差する点として定義されるので、そのような線分を画像上のエッジとして取り出し、消失点存在範囲とすることができる。
【０１３０】
そのため、まず、画像上における任意の画素をエッジ強度計測点として取り出す。これらの各画素の局所的なエッジパワーが最大となる方向を推定する（Ｓ１−４１）。エッジパワーが最大となる方向は、たとえばガボールフィルタ（gabor-filter）を用いることで求めることができる。
【０１３１】
各画素における局所的なエッジパワーが最大となる方向を推定したら、各画素を通りその位置でのエッジパワーが最大となる方向を傾きとする線分を算出する（Ｓ１−４２）。続いて、算出した線分上における各画素の輝度特性としての輝度分布を抽出する（Ｓ１−４３）。それから、輝度分布の広がりを各点の評価値とし、評価値がしきい値以下となる点を抽出する（Ｓ１−４４）。その後、抽出した各点をとおり、各点のエッジパワー最大方向に伸びる線分を設定し、この直線を延長した直線上の範囲を消失点存在範囲として設定する（Ｓ１−４５）。こうして、消失点の存在範囲を設定することができる。
【０１３２】
あるいは、この直線が通過する回数が多く、所定のしきい値以上の直線が通過する点を抽出し、それらの点からなる領域を消失点の存在範囲とすることもできる。さらには、直線が通過した回数が相対的に多い点を抽出し、それらの点からなる領域を消失点の存在範囲として設定することもできる。
【０１３３】
＜第５の消失点存在範囲設定手順＞
【０１３４】
図７を参照して第５の消失点存在範囲設定手順を説明する。この手順では、上記第１〜第４の消失点存在範囲設定手順によって設定された消失点の存在範囲に基づいて、消失点の存在範囲を設定する。たとえば、上記第１〜第４の消失点存在範囲設定手順によって設定された消失点の存在範囲のすべてを消失点の存在範囲とすることもできるし、これらを組み合わせて消失点の存在範囲とすることもできる。
【０１３５】
また、これらの消失点の存在範囲を組み合わせて消失点の存在範囲を設定するにあたり、組み合わされた後の各消失点の存在範囲に信頼性（信頼度）を付与し、この信頼度の高い範囲を消失点の存在範囲とすることもできる。以下、その手順について説明する。
【０１３６】
まず、第１〜第４の消失点存在範囲設定手順によって、それぞれの消失点の存在範囲を推定する（Ｓ１−５１）。続いて、各手順で求められた消失点の存在範囲の信頼性に対して重み付けを行う（Ｓ１−５２）。存在範囲の信頼性に対する重み付けの度合いは、予め設定しておくことができる。重み付けの度合いは、たとえば第１，第２の消失点存在範囲設定手順のように、予め設定された情報のみに基づく設定手順よりも、第１，第２の消失点存在範囲設定手順のように、カメラ２によって撮像された画像から得られる情報を用いた設定手順の方が重み付けを高くするように設定することができる。
【０１３７】
消失点の存在範囲の信頼性に対して重み付けを行ったら、重み付けを行った結果に基づいて、各画素における消失点存在度を算出する（Ｓ１−５３）。消失点の存在範囲に複数含まれる画素は、それだけ消失点としての可能性が高いこととなるが、信頼度の低い手順で行われた画素については、それだけ消失点としての可能性が低められることになる。そのため、消失点の存在範囲の信頼性に対して重み付けを行うことにより、複数の消失点存在範囲として含まれる画素についても、消失点としての信頼性を平等に評価することができる。
【０１３８】
各画素における消失点存在度を算出したら、消失点信頼度が所定のしきい値以上となる画素を抽出し、最終的な消失点の存在範囲として設定する（１−５４）。また、消失点の信頼度がしきい値以上となる画素が少ない場合も想定されるので、相対的に消失点信頼度が高い画素を所定数抽出する態様などとすることもできる。こうして、消失点の存在範囲を設定することができる。
【０１３９】
次に、ステップＳ１で設定された消失点の存在範囲内から消失点候補を抽出する手順について説明する。図８は、消失点の存在範囲内から消失点候補を抽出する手順を示すフローチャートである。
【０１４０】
図８に示すように、消失点候補を抽出する際には、消失点存在範囲の各座標に対して、確率密度関数を定義する（Ｓ２−１１）。確率密度関数の定義としては、たとえば図９に示すように、消失点の存在範囲αに所定間隔の格子を想定することができる。ここで想定される格子は、図９に示す例では重なり合う線がそれぞれＸ方向Ｙ方向に平行であり、かつＸ方向Ｙ方向で同間隔とされているが、Ｘ方向Ｙ方向に平行でなくともよく、Ｘ方向Ｙ方向で異なる間隔とされていてもよい。図１０に示すように、消失点の存在範囲αの範囲内において、存在範囲重心を平均とする正規分布としたり、図１１に示すように、消失点の存在範囲α内で一様確率密度としたりすることができる。
【０１４１】
確率密度関数を定義したら、定義した確率密度変数で生起する確率変数を用意する（Ｓ２−１２）。確率変数としては、確率密度関数として格子を定義した場合に、その格子の交点座標を１、それ以外の座標を０とすることができる。また、図１０に示すように、消失点の存在範囲αの範囲内において、存在範囲重心を平均とする正規分布としたり、図１１に示すように、消失点の存在範囲α内で一様確率密度としたりする場合には、それぞれの分布に応じた確率変数とすることができる。
【０１４２】
確率変数を用意したら、この確率変数を用いて予め決定された回数の試行を行い、実現値を取り出す（Ｓ２−１３）。この実現値を、確率密度関数を定義した座標に与えて消失点候補を設定する（Ｓ２−１４）。
【０１４３】
あるいは、このような確率密度関数を用いる例によらず、たとえば上記第５消失点存在範囲設定手順のように各画素の信頼度を予測した場合には、その予測値に基づいて消失点候補に設定することができる。
【０１４４】
続いて、消失点の確度の算出について説明する。
【０１４５】
＜第１の消失点確度算出手順＞
【０１４６】
図１２を参照して第１の消失点確度算出手順を説明する。第１の消失点確度算出手順では、まず消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−１１）。次に、各確度算出用線分における画素の輝度分布を求め、この輝度分布の広さを算出する（Ｓ３−１２）。消失点候補から伸びる線分を引くと、実際の消失点から伸びる線分では、その線分の一部あるいは全部が画像中における道路に平行な直線が投影されたエッジと一致するはずである。その一方、道路に平行な直線が投影されたエッジと一致しない場合には、いろいろな領域を横切っていることから、輝度分布は相対的に大きくなると考えられる。
【０１４７】
したがって、道路に平行な直線が投影されたエッジでは、輝度分布が小さくなることから、各画素から伸ばした確度算出用線分の輝度分布を求め、この輝度分布が小さい方が、消失点確度が高いこととなる。そこで、確度算出用線分における輝度分布の広さを算出し、輝度分布の広さに逆比例する評価値を各確度算出用線分に付与する（Ｓ３−１３）。
【０１４８】
それから、各確度算出用線分における評価値を平均することによって、消失点候補となる画素の消失点確度として設定する（Ｓ３−１４）。あるいは、各確度算出用線分における評価値のうち、所定のしきい値を上回る評価値を有する確度算出用線分における評価値を加算したり、これを平均したりして消失点確度とすることもできる。こうして、各消失点候補における消失点確度を算出することができる。
【０１４９】
＜第２の消失点確度算出手順＞
【０１５０】
図１３を参照して第２の消失点確度算出手順を説明する。第２の消失点確度算出手順では、まず消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−２１）。次に、各確度算出用線分における画素の輝度分布を求め、この輝度分布の広さが所定のしきい値以下となる区間の長さが最大である最大区間長を算出する（Ｓ３−２２）。たとえば、輝度分布の広さが小さい場合でも、この輝度分布が１つの物体に対するものか、複数の物体に対するものかは不明である。ここで、道路に平行な直線が投影されたエッジでは、輝度変化の小さい画素が連続して長い区間に発生すると考えられる。このため、輝度分布の広さが所定のしきい値以下となる区間の長さが最大である最大区間長をその確度算出用線分の評価値とすることにより、精度よく道路に平行な直線が投影されたエッジを検出することができる。
【０１５１】
輝度分布の広さが所定のしきい値以下となる区間の長さが最大である最大区間長を算出したら、最大区間長の長さに比例する評価値を各確度算出用線分に付与する（Ｓ３−２３）。それから、各確度算出用線分における評価値を平均することによって、消失点候補となる画素の消失点確度として設定する（Ｓ３−２４）。あるいは、各確度算出用線分における評価値のうち、所定のしきい値を上回る評価値を有する確度算出用線分における評価値を加算したり、これを平均したりして消失点確度とすることもできる。こうして、各消失点候補における消失点確度を算出することもできる。
【０１５２】
＜第３の消失点確度算出手順＞
【０１５３】
図１４を参照して第３の消失点確度算出手順を説明する。この手順では、記憶画像である予め撮像した道路画像における消失点から放射状に伸ばした線分における輝度分布モデルを生成し、この輝度分布モデルを記憶しておく。この輝度分布モデルの輝度分布と、消失点候補となる画素から放射状に伸ばした確度算出用線分における輝度分布とを比較することにより、消失点確度を求める。
【０１５４】
輝度分布モデルを作成するにあたり、画像変換処理を行い（Ｓ３−３１）、続いて正規化処理を行う（Ｓ３−３２）。これらの画像変換処理および正規化処理については、第１１〜第１３の消失点確度算出手順において説明する。以下、第４、第９、第１０の消失点確度算出手順においても同様である。
【０１５５】
まず、予め生成した輝度分布モデルを読み出す（Ｓ３−３３）。次に、消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−３４）。続いて、輝度分布モデルにおける輝度分布と確度算出用線分における輝度分布とを比較して、両者の最大類似度を算出する（Ｓ３−３５）。ここでは各確度算出用線分における輝度分布と輝度分布モデルにおける輝度分布の中で、類似度が最大となる場合の類似度である最大類似度を算出する。この類似度は、適宜公知の確率分布間の類似度定義方法を用いることができる。
【０１５６】
この最大類似度が高い場合には、確度算出用線分が道路に平行な直線が投影されたエッジと一致する可能性が高いことになる。そこで、算出された最大類似度に比例する評価値を各確度算出用線分に付与する（Ｓ３−３６）。それから、各確度算出用線分における評価値を平均することによって、消失点候補となる画素の消失点確度として設定する（Ｓ３−３７）。あるいは、各確度算出用線分における評価値のうち、所定のしきい値を上回る評価値を有する確度算出用線分における評価値を加算したり、これを平均したりして消失点確度とすることもできる。こうして、各消失点候補における消失点確度を算出することもできる。
【０１５７】
＜第４の消失点確度算出手順＞
【０１５８】
図１５を参照して第４の消失点確度算出手順を説明する。この手順では、記憶画像である予め撮像した道路画像における消失点から放射状に伸ばした線分における輝度分布モデルを生成し、この輝度分布モデルを記憶しておく。この輝度分布モデルにおける輝度分布と、消失点候補となる画素から放射状に伸ばした確度算出用線分における輝度分布とを比較することにより、消失点確度を求める。輝度分布モデルを作成するにあたり、後に説明する画像変換処理を行い（Ｓ３−４１）、続いて正規化処理を行う（Ｓ３−４２）。
【０１５９】
それから、予め生成した輝度分布モデルを読み出す（Ｓ３−４３）。次に、消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−４４）。続いて、輝度分布モデルにおける輝度分布と確度算出用線分における輝度分布とを比較し、連続して類似度が所定のしきい値以上となる区間の最大区間長を抽出する（Ｓ３−４５）。確度算出用線分の輝度分布と輝度分布モデルの輝度分布の類似度は、上記第３の消失点確度算出手順と同様にして求めることができる。
【０１６０】
この類似度が所定のしきい値以上となる区間の最大区間長が長い場合には、確度算出用線分が道路に平行な直線が投影されたエッジと一致する可能性が高いことになる。そこで、算出された最大区間長に比例する評価値を各確度算出用線分に付与する（Ｓ３−４６）。それから、各確度算出用線分における評価値を平均することによって、消失点候補となる画素の消失点確度として設定する（Ｓ３−４７）。あるいは、各確度算出用線分における評価値のうち、所定のしきい値を上回る評価値を有する確度算出用線分における評価値を加算したり、これを平均したりして消失点確度とすることもできる。こうして、各消失点候補における消失点確度を算出することもできる。
【０１６１】
＜第５の消失点確度算出手順＞
【０１６２】
図１６を参照して第５の消失点確度算出手順を説明する。第５の消失点確度算出手順では、まず消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−５１）。次に、各確度算出用線分における画素の輝度特性としての輝度変化の激しさを算出する（Ｓ３−５２）。ここで、輝度変化の激しさとしては、たとえば線分上の隣り合う画素間での差分の二乗や絶対値の線分上にわたる累積和などとすることができる。道路に平行な直線が投影されたエッジでは、輝度変化の激しさは小さいと考えられることから、輝度変化の激しさが大きいと、道路に平行な直線が投影されたエッジの可能性が低いと考えられる。
【０１６３】
そこで、輝度変化の激しさを算出したら、輝度変化の逆数に比例する評価値を各確度算出用線分に付与する（Ｓ３−５３）。それから、各確度算出用線分における評価値を平均することによって、消失点候補となる画素の消失点確度として設定する（Ｓ３−５４）。あるいは、各確度算出用線分における評価値のうち、所定のしきい値を上回る評価値を有する確度算出用線分における評価値を加算したり、これを平均したりして消失点確度とすることもできる。こうして、各消失点候補における消失点確度を算出することもできる。
【０１６４】
＜第６の消失点確度算出手順＞
【０１６５】
図１７を参照して第６の消失点確度算出手順を説明する。第６の消失点確度算出手順では、まず消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−６１）。次に、各確度算出用線分における画素の輝度分布を求めるとともに、この輝度分布から輝度変化の激しさを求め、輝度変化の激しさが所定のしきい値以下となる区間の長さが最大である最大区間長を算出する（Ｓ３−６２）。たとえば、輝度変化の激しさが小さい場合でも、この輝度分布が１つの物体に対するものか、複数の物体に対するものかは不明である。ここで、道路に平行な直線が投影されたエッジでは、輝度変化の激しさが小さい画素が連続して長い区間に発生すると考えられる。このため、輝度変化の激しさが所定のしきい値以下となる区間の長さが最大である最大区間長をその確度算出用線分の評価値とすることにより、精度よく道路に平行な直線が投影されたエッジを検出することができる。
【０１６６】
輝度変化の激しさが所定のしきい値以下となる区間の長さが最大である最大区間長を算出したら、最大区間長の長さに比例する評価値を各確度算出用線分に付与する（Ｓ３−６３）。それから、各確度算出用線分における評価値を平均することによって、消失点候補となる画素の消失点確度として設定する（Ｓ３−６４）。あるいは、各確度算出用線分における評価値のうち、所定のしきい値を上回る評価値を有する確度算出用線分における評価値を加算したり、これを平均したりして消失点確度とすることもできる。こうして、各消失点候補における消失点確度を算出することもできる。
【０１６７】
＜第７の消失点確度算出手順＞
【０１６８】
図１８を参照して第７の消失点確度算出手順を説明する。この手順では、記憶画像である予め撮像した道路画像における消失点から放射状に伸ばした線分における輝度分布モデルを生成し、この輝度分布モデルに基づいて輝度変化モデルを作成し、この輝度変化モデルを記憶しておく。この輝度変化モデルにおける輝度変化と、消失点候補となる画素から放射状に伸ばした確度算出用線分における輝度分布の輝度変化とを比較することにより、消失点確度を求める。輝度変化モデルを作成するにあたり、後に説明する画像変換処理を行う（Ｓ３−７１）。
【０１６９】
次に、予め生成した輝度変化モデルを読み出す（Ｓ３−７２）。次に、消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−７３）。続いて、輝度変化モデルの輝度変化と確度算出用線分の輝度分布における輝度変化とを比較し、両者の最大類似度を算出する（Ｓ３−７４）。ここでは各確度算出用線分における輝度分布の輝度変化と輝度分布モデルの輝度変化の中で、類似度が最大となる場合の類似度である最大類似度を算出する。この類似度は、適宜公知の確率分布間の類似度定義方法を用いることができる。
【０１７０】
この最大類似度が高い場合には、確度算出用線分が道路に平行な直線が投影されたエッジと一致する可能性が高いことになる。そこで、算出された最大類似度に比例する評価値を各確度算出用線分に付与する（Ｓ３−７５）。それから、各確度算出用線分における評価値を平均することによって、消失点候補となる画素の消失点確度として設定する（Ｓ３−７６）。あるいは、各確度算出用線分における評価値のうち、所定のしきい値を上回る評価値を有する確度算出用線分における評価値を加算したり、これを平均したりして消失点確度とすることもできる。こうして、各消失点候補における消失点確度を算出することもできる。
【０１７１】
＜第８の消失点確度算出手順＞
【０１７２】
図１９を参照して第８の消失点確度算出手順を説明する。この手順では、記憶画像である予め撮像した道路画像における消失点から放射状に伸ばした線分における輝度分布モデルを生成し、この輝度分布モデルに基づいて輝度変化モデルを作成し、この輝度変化モデルを記憶しておく。この輝度変化モデルにおける輝度変化と、消失点候補となる画素から放射状に伸ばした確度算出用線分における輝度分布における輝度変化とを比較することにより、消失点確度を求める。輝度変化モデルを作成するにあたり、後に説明する画像変換処理を行う（Ｓ３−８１）。
【０１７３】
続いて、予め生成した輝度変化モデルを読み出す（Ｓ３−８２）。次に、消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−８３）。続いて、輝度変化モデルと確度算出用線分における輝度分布の輝度変化とを比較し、連続して輝度変化の類似度が所定のしきい値以上となる区間の最大区間長を算出する（Ｓ３−８４）。確度算出用線分における輝度分布の輝度変化と輝度変化モデルとの類似度は、上記第７の消失点確度算出手順と同様にして求めることができる。
【０１７４】
この類似度が所定のしきい値以上となる区間の最大区間長が長い場合には、確度算出用線分が道路に平行な直線が投影されたエッジと一致する可能性が高いことになる。そこで、算出された最大区間長に比例する評価値を各確度算出用線分に付与する（Ｓ３−８５）。それから、各確度算出用線分における評価値を平均することによって、消失点候補となる画素の消失点確度として設定する（Ｓ３−８６）。あるいは、各確度算出用線分における評価値のうち、所定のしきい値を上回る評価値を有する確度算出用線分における評価値を加算したり、これを平均したりして消失点確度とすることもできる。こうして、各消失点候補における消失点確度を算出することもできる。
【０１７５】
＜第９の消失点確度算出手順＞
【０１７６】
図２０を参照して第９の消失点確度算出手順を説明する。この手順では、記憶画像である予め撮像した道路画像における消失点から放射状に伸ばした線分における輝度分布モデルを作成し、この輝度分布モデルから輝度パターンモデルを生成し、この輝度パターンモデルを記憶しておく。この輝度パターンモデルの輝度分布と、消失点候補となる画素から放射状に伸ばした確度算出用線分における輝度パターンとを比較することにより、消失点確度を求める。輝度パターンモデルを作成するにあたり、後に説明する画像変換処理を行い（Ｓ３−９１）、続いて正規化処理を行い（Ｓ３−９２）、この輝度分布モデルから輝度パターンモデルを作成する。
【０１７７】
続いて、予め生成した輝度パターンモデルを読み出す（Ｓ３−９３）。次に、消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−９４）。続いて、確度算出用線分における輝度パターンを求め、輝度パターンモデルにおける輝度パターンと確度算出用線分における輝度パターンとを比較して、両者の最大類似度を算出する（Ｓ３−９５）。ここでは各確度算出用線分における輝度パターンと輝度パターンモデルにおける輝度パターンの中で、類似度が最大となる場合の類似度である最大類似度を算出する。この類似度は、適宜公知の確率分布間の類似度定義方法を用いることができる。
【０１７８】
この最大類似度が高い場合には、確度算出用線分が道路に平行な直線が投影されたエッジと一致する可能性が高いことになる。そこで、算出された最大類似度に比例する評価値を各確度算出用線分に付与する（Ｓ３−９６）。それから、各確度算出用線分における評価値を平均することによって、消失点候補となる画素の消失点確度として設定する（Ｓ３−９７）。あるいは、各確度算出用線分における評価値のうち、所定のしきい値を上回る評価値を有する確度算出用線分における評価値を加算したり、これを平均したりして消失点確度とすることもできる。こうして、各消失点候補における消失点確度を算出することもできる。
【０１７９】
＜第１０の消失点確度算出手順＞
【０１８０】
図２１を参照して第１０の消失点確度算出手順を説明する。この手順では、記憶画像である予め撮像した道路画像における消失点から放射状に伸ばした線分における輝度分布モデルを作成し、この輝度分布モデルから輝度パターンモデルを生成し、この輝度パターンモデルを記憶しておく。この輝度パターンモデルにおける輝度パターンと、消失点候補となる画素から放射状に伸ばした確度算出用線分における輝度パターンとを比較することにより、消失点確度を求める。輝度パターンモデルを作成するにあたり、後に説明する画像変換処理を行い（Ｓ３−１０１）、続いて正規化処理を行い（Ｓ３−１０２）、この輝度分布モデルから輝度パターンモデルを作成する。
【０１８１】
続いて、予め生成した輝度パターンモデルを読み出す（Ｓ３−１０３）。次に、消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−１０４）。続いて、確度算出用線分における輝度パターンを求め、輝度パターンモデルにおける輝度パターンと確度算出用線分における輝度パターンとを比較して、両者の類似度を算出する。両者の類似度の算出は、上記第９の消失点確度算出手順と同様、適宜公知の確率分布間の類似度定義方法を用いることができる。
【０１８２】
輝度パターンモデルにおける輝度パターンと確度算出用線分における輝度パターンとの類似度を算出したら、両者の類似度が所定のしきい値以上となる区間の最大区間長を算出する（Ｓ３−１０５）。この類似度が所定のしきい値以上となる区間の最大区間長が長い場合には、確度算出用線分が道路に平行な直線が投影されたエッジと一致する可能性が高いことになる。そこで、算出された最大区間長に比例する評価値を各確度算出用線分に付与する（Ｓ３−１０６）。それから、各確度算出用線分における評価値を平均することによって、消失点候補となる画素の消失点確度として設定する（Ｓ３−１０７）。あるいは、各確度算出用線分における評価値のうち、所定のしきい値を上回る評価値を有する確度算出用線分における評価値を加算したり、これを平均したりして消失点確度とすることもできる。こうして、各消失点候補における消失点確度を算出することもできる。
【０１８３】
＜第１１の消失点確度算出手順＞
【０１８４】
図２２を参照して第１１の消失点確度算出手順を説明する。ここでは、上記第３、第４、第７〜第１０の消失点確度算出手順における画像変換処理について主に説明する。
【０１８５】
画像変換処理を行うにあたり、予め撮像した道路画像における消失点から放射状に伸ばした線分における輝度特性モデル（輝度分布モデル、輝度変化モデル、輝度パターンモデル）を生成する際におけるカメラに対する道路の位置・姿勢関係を予め計測して記憶しておく。
【０１８６】
輝度分布モデル、輝度変化モデル、輝度パターンモデルを消失点候補から放射状に伸ばした線分上の輝度特性を比較するに当たり前提となる条件を揃えることが望ましい。この条件の１つとして、各モデルを作成する際のデータを取得したときのカメラの位置および道路の位置・姿勢関係と、抽出対象画像を撮像した時の道路およびカメラの位置・姿勢関係とがある。実際には、抽出対象画像における道路とカメラの位置・姿勢関係とは未知であるものの、たとえば、抽出対象画像を撮像する時刻（ｔ）の前の時刻（ｔ−１）における道路とカメラの位置・姿勢関係を時系列的に得ることにより、時刻（ｔ）における道路とカメラの位置・姿勢関係を推定することができる。そこで、以下の画像変換処理が行われる。
【０１８７】
画像変換処理では、まず、輝度特性モデルを作成した際のカメラに対する道路の位置・姿勢関係を読み出す（Ｓ３−１１１）。次に、時刻（ｔ−１）におけるカメラに対する道路の位置・姿勢関係に基づいて時刻（ｔ）におけるカメラに対する道路の位置・姿勢関係を算出する（Ｓ３−１１２）。時刻（ｔ−１）におけるカメラに対する道路の位置・姿勢関係に基づいて時刻（ｔ）におけるカメラに対する道路の位置・姿勢関係の算出は、たとえばカメラ２が搭載された車両の車速と、時刻（ｔ−１）と時刻（ｔ）との時間との関係から求めることができる。また、車速に代えて、カメラ２の速度や加速度を検出するセンサから検出されたカメラ２の速度や別途検出されるカメラ２の移動距離などに応じて求めることもできる。
【０１８８】
続いて、輝度特性モデルを作成した際のカメラに対する道路の位置・姿勢関係と、ステップＳ３−１１２で算出された時刻（ｔ）におけるカメラに対する道路の位置・姿勢関係に基づいて、抽出対象画像を画像変換する（Ｓ３−１１３）。この画像変化により、輝度特性モデルを作成した際の画像に時刻（ｔ）における抽出対象画像を近似させることができる。
【０１８９】
この画像変換処理を行った後、それぞれ、上記第３、第４、第７〜第１０の消失点確度算出手順における各ステップに移行する。こうして抽出対象画像を画像変換することにより、精度よく消失点確度を検出することができる。
【０１９０】
＜第１２の消失点確度算出手順＞
【０１９１】
図２３を参照して第１２の消失点確度算出手順を説明する。ここでは、上記第３、第４、第９、第１０の消失点確度算出手順における正規化処理について主に説明する。
【０１９２】
輝度特性モデルとして輝度分布モデルや輝度パターンモデルを用いた消失点確度算出手順では、上記第１１の消失点確度算出手順で示した画像変換処理を行った後、正規化処理を行う。正規化処理を行うにあたり、その前提として輝度特性モデルを作成する際に定めた平均値・分散となるように正規化しておく。
【０１９３】
正規化処理では、まず、輝度特性モデルを作成する際に事前に定めた平均値・分散を読み出す（Ｓ３−１２１）。次に、読み出した平均値・分散に基づいて、抽出対象画像における確度算出用線分の輝度分布を正規化する（Ｓ３−１２２）。それから、上記第３、第４、第９、第１０の消失点確度算出手順における各ステップに移行する。こうして確度算出用線分を正規化することにより、精度よく消失点確度を検出することができる。
【０１９４】
＜第１３の消失点確度算出手順＞
【０１９５】
図２４を参照して第１３の消失点確度算出手順を説明する。上記第１〜第１２の消失点確度算出手順では、消失点候補となる画素から放射状に伸ばした確度算出用線分上の輝度特性に着目していたが、本手順および第１４の消失点確度算出手順では、消失点候補となる画素から放射状に伸ばした確度算出用線分上における画素の輝度特性と、その近傍の非線分上における画素の輝度特性に着目する。
【０１９６】
本手順では、まず、消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−１３１）。次に、各確度算出用線分上における画素に対する線分外画素を設定する（Ｓ３−１３２）。線分外画素は、確度算出用線分との関係で、一定の関係を有する画素を定義することによって任意に設定することができるが、本実施形態では、線分外画素の決定は、次のようにして行う。たとえば、確度算出用線分上の各画素から実空間で確度算出用線分に直交する２つの直交方向に所定間隔をおいて設定される画素を線分外画素とする。
【０１９７】
この線分外画素を画像上で現すと、確度算出用線分が定義される画像上における左隅下点を原点として、原点を通るＸ軸および原点をとおり、Ｘ軸と直交するＹ軸を定義し、ここに確度算出用線分と交差する交差線分を定義する。交差線分は、原点周りにおける−９０度〜＋９０度の範囲の直線傾きとして半時計周りを正の回転確度として定義した場合に、確度算出用線分が−４５度以上＋４５度未満である場合には、Ｘ軸に平行な線分を交差線分として定義し、確度算出用線分の傾きが＋４５度以上＋９０度以下または−９０度以上−４５度未満である場合にはＹ軸に平行な線分を交差線分として定義する。
【０１９８】
こうして交差線分を定義したら、交差線分上に線分外画素を定義する。線分外画素は、交差線分上の画素であって、交差線分が通過する確度算出用線分上における画素から所定間隔をおいて設定される画素である。ここでの所定間隔として、本実施形態では隣接する画素を設定する。ただし、ここでの所定間隔は任意に設定することができ、たとえば２つまたは３つ隔てた画素などとすることもできる。これらの線分外画素を、確度算出用線分上における画素のそれぞれについて設定する。
【０１９９】
線分外画素を設定したら、確度算出用線分上の画素の輝度値と、この画素に対応する線分外画素の輝度値をそれぞれ比較し、確度算出用線分上の画素の輝度値が線分外画素の輝度値より大きくなった回数および確度算出用線分上の画素の輝度値が線分外画素の輝度値より小さくなった回数をそれぞれカウントする。ここで、線分外画素は、２通り存在するが、いずれを用いるかは予め定めておくことができる。具体的に、交差線分がＸ軸に平行である場合には、線分外画素は、確度算出用線分上の画素における左右にそれぞれ隣接する画素となるが、このうちのたとえば左側の画素を線分外画素として設定しておく。
【０２００】
その後、確度算出用線分上の画素の輝度値が線分外画素の輝度値より大きくなった回数および確度算出用線分上の画素の輝度値が線分外画素の輝度値より小さくなった回数のうち、大きい方の回数の値を、両者の回数の総和で除した値を求め、この値を確度算出用線分の評価値とする（Ｓ３−１３３）。
【０２０１】
以後、消失点候補から放射状に伸びる各確度算出用線分の評価値を同様の方法によって求める。これら各確度算出用線分の評価値の平均値を求めて消失点候補確度として設定する（Ｓ３−１３４）。こうして、各消失点候補における消失点確度を算出することもできる。
【０２０２】
＜第１４の消失点確度算出手順＞
【０２０３】
図２５を参照して第１４の消失点確度算出手順を説明する。この手順では、まず、消失点候補となる各画素から複数の確度算出用線分を放射状に伸ばし、画像上に設定する（Ｓ３−１４１）。次に、次に、各確度算出用線分上における画素に対する線分外画素を設定する（Ｓ３−１４２）。線分外画素は、上記第１３の手順におけるステップＳ３−１３２と同様の手順によって設定することができる。
【０２０４】
線分外画素を設定したら、確度算出用線分上における各画素の輝度値から、各画素に対応する線分外画素の輝度値を減算し、確度算出用線分上における各画素の輝度値と各画素に対応する線分外画素の輝度値との差を求める。確度算出用線分上における各画素の輝度値と各画素に対応する線分外画素の輝度値との差を、確度算出用線分上におけるすべての画素について求めて、その総和を求める。それから、確度算出用線分上における各画素の輝度値と各画素に対応する線分外画素の輝度値との差を求めた確度算出用線分の線分長を求め、差の総和を線分長で除して、この値を確度算出用線分の評価値とする（Ｓ３−１４３）。
【０２０５】
以後、消失点候補から放射状に伸びる各確度算出用線分の評価値を同様の方法によって求める。これら各確度算出用線分の評価値の平均値を求めて消失点候補確度として設定する（Ｓ３−１４４）。こうして、各消失点候補における消失点確度を算出することもできる。
【０２０６】
＜その他の消失点確度算出手順＞
【０２０７】
上記第１３、第１４の手順では、確度算出用線分上の画素と、その画素に対応する線分外画素との関係に基づいて、各消失点候補から放射状に伸びる確度算出用線分の評価値を決定している。これに対して、消失点候補から伸びる確度算出用線分上の画素に対応する線分外画素を定義し、その線分外画素を確度算出用線分上の画素と見立てて、上記第３、第４、第７、第８、第９、第１０に示す手順で消失点確度を求めることもできる。
【０２０８】
また、上記第１〜第１４の手順では、各消失点候補の消失点確度は、その消失点候補から放射状に伸びる確度算出用線分の評価値の平均値を用いているが、その他の態様とすることもできる。たとえば、確度算出用線分の評価値の平均値または最大値が、所定のしきい値を超える確度算出用線分のみについての評価値を用いたり、評価値の最大値を用いたりすることもできる。
【０２０９】
図２に示すフローに戻り、消失点確度の算出が済んだら、消失点の算出を行う（Ｓ４）。消失点の算出は、ステップＳ２で求めた消失点候補について、ステップＳ３で求めた消失点確度を用いて行う。以下にその手順を示すと、まず、消失点候補の各点における消失点確度に所定にしきい値を設定し、このしきい値を超える消失点確度を有する消失点候補を消失点最終候補として抽出する。またはすべての消失点候補について消失点確度の大きいものから順に所定個数の消失点候補を消失点最終候補として抽出する。こうして、消失点候補を絞り込む。
【０２１０】
消失点候補を絞り込んだら、各消失点最終候補の位置と、各消失点最終候補における消失点確度に基づいて、下記（１２）式を用いて加重平均を行い、最終的な消失点座標Ｐｆｉｎを算出する。
【数１２】
2008225784.tif 000014
【０２１１】
また、道路がカーブまたは異なる平面が混合してできている場合には、下記（１３）式に示すように、区間ごとに消失点を算出する態様とすることもできる。
【数１３】
2008225784.tif 000015
【０２１２】
なお、この態様では、消失点最終候補を求めてから加重平均を行い、最終的な消失点座標Ｐｆｉｎを算出しているが、消失点最終候補を求めることなく、消失点候補に基づいて消失点座標を算出することもできる。また、加重平均を行うことなく、消失点座標を求めることもできる。さらには、消失点確度がもっとも大きい消失点候補の座標をそのまま消失点座標とすることもできる。
【図面の簡単な説明】
【０２１３】
【図１】本発明に係る消失点抽出装置の構成を示すブロック構成図である。
【図２】消失点抽出装置の動作手順を示すフローチャートである。
【図３】第１の消失点存在範囲設定手順を示すフローチャートである。
【図４】第２の消失点存在範囲設定手順を示すフローチャートである。
【図５】第３の消失点存在範囲設定手順を示すフローチャートである。
【図６】第４の消失点存在範囲設定手順を示すフローチャートである。
【図７】第５の消失点存在範囲設定手順を示すフローチャートである。
【図８】消失点の存在範囲内から消失点候補を抽出する手順を示すフローチャートである。
【図９】消失点存在範囲の座標を示すグラフである。
【図１０】消失点存在範囲の座標と確率密度との関係を示すグラフである。
【図１１】消失点存在範囲の座標と確率密度との他の関係を示すグラフである。
【図１２】第１の消失点確度算出手順を示すフローチャートである。
【図１３】第２の消失点確度算出手順を示すフローチャートである。
【図１４】第３の消失点確度算出手順を示すフローチャートである。
【図１５】第４の消失点確度算出手順を示すフローチャートである。
【図１６】第５の消失点確度算出手順を示すフローチャートである。
【図１７】第６の消失点確度算出手順を示すフローチャートである。
【図１８】第７の消失点確度算出手順を示すフローチャートである。
【図１９】第８の消失点確度算出手順を示すフローチャートである。
【図２０】第９の消失点確度算出手順を示すフローチャートである。
【図２１】第１０の消失点確度算出手順を示すフローチャートである。
【図２２】第１１の消失点確度算出手順を示すフローチャートである。
【図２３】第１２の消失点確度算出手順を示すフローチャートである。
【図２４】第１３の消失点確度算出手順を示すフローチャートである。
【図２５】第１４の消失点確度算出手順を示すフローチャートである。
【符号の説明】
【０２１４】
１…消失点抽出ＥＣＵ、２…カメラ、３…車両姿勢推定ＥＣＵ、１１…画像処理部、１２…消失点候補設定部、１３…消失点確度算出部、１４…消失点算出部。
【図１】
2008225784.tif 000016
【図２】
2008225784.tif 000017
【図３】
2008225784.tif 000018
【図４】
2008225784.tif 000019
【図５】
2008225784.tif 000020
【図６】
2008225784.tif 000021
【図７】
2008225784.tif 000022
【図８】
2008225784.tif 000023
【図９】
2008225784.tif 000024
【図１０】
2008225784.tif 000025
【図１１】
2008225784.tif 000026
【図１２】
2008225784.tif 000027
【図１３】
2008225784.tif 000028
【図１４】
2008225784.tif 000029
【図１５】
2008225784.tif 000030
【図１６】
2008225784.tif 000031
【図１７】
2008225784.tif 000032
【図１８】
2008225784.tif 000033
【図１９】
2008225784.tif 000034
【図２０】
2008225784.tif 000035
【図２１】
2008225784.tif 000036
【図２２】
2008225784.tif 000037
【図２３】
2008225784.tif 000038
【図２４】
2008225784.tif 000039
【図２５】
2008225784.tif 000040