(57)【要約】【課題】走行中の車両から前方を撮像して画像処理を行うことにより、走行車両の安全を保つことが可能なナビゲーション装置を提供する。【解決手段】車両前方を撮像して、撮像された画像中の物体の時間ｔからｔ＋Δｔの動きを示す移動ベクトルを車両の走行中にＣＣＤカメラ１９にて得られる画像を比較することによって求め、当該検出された移動ベクトルに基づいて、走行中の道路の道路端までの余裕度を判定し、この判定結果に基づいて、ドライバーに告知させるようにしたナビゲーション装置は、上記移動ベクトルの検出結果に基づいてＣＣＤカメラ１９の撮像方向を校正する。【選択図】図２
2006268865.tif 000002
【特許請求の範囲】
【請求項１】
車両前方を撮像して画像を出力する撮像手段と、
前記画像中の物体の時間ｔからｔ＋Δｔの動きを示す移動ベクトルを前記車両の走行中に前記撮像手段にて得られる画像を比較することによって求める移動ベクトル検出手段と、
前記検出された移動ベクトルに基づいて、前記走行中の道路の道路端までの余裕度を判定する余裕度判定手段と、
前記余裕度判定手段の判定結果に基づいて、告知手段を制御する制御手段と、
を備え、
前記移動ベクトル検出手段の検出結果に基づいて前記撮像手段の撮像方向を校正する校正手段を有することを特徴とするナビゲーション装置。
【請求項２】
前記検出された移動ベクトルに基づいて、前記走行中の道路の道幅を算出する道幅算出手段と、前記算出された道幅に対応する道幅データを地図データと関連付けて記憶する道幅データ記憶手段とをさらに有することを特徴とする請求項１に記載のナビゲーション装置。
【請求項３】
前記検出された移動ベクトルと、前記地図データに含まれる車線数の情報と、前記算出された道幅と、目的地までの経路とに基づいて、走行すべき適切な車線を告知する車線告知手段をさらに備えたことを特徴とする請求項２に記載のナビゲーション装置。
【請求項４】
前記移動ベクトル検出手段は、比較する前記ｔ＋Δｔの画像のサーチ範囲を車速データに基づいて設定することを特徴とする請求項１に記載のナビゲーション装置。
【請求項５】
前記移動ベクトル検出手段は、前記撮像手段より得られる画像中に設けた基準水平ライン上の前記移動ベクトルの空間的な分布を検出し、
前記余裕度判定手段は、前記分布を構成する各移動ベクトルの変化量より前記基準水平ライン上の左右の道路端に対応する変曲点を特定し、この変曲点に基づいて前記走行中の道路の道路端までの余裕度を判定することを特徴とする請求項１に記載のナビゲーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行中の車両において、撮像手段からの画像に基づいて道路端を求めるナビゲーション装置等の技術分野に属する。
【背景技術】
【０００２】
従来から、移動体としての車両の現在位置を検出し、周辺の道路地図と共に検出された現在位置を表示画面に表示して経路案内を行うナビゲーション装置が広く用いられている。この種のナビゲーション装置においては、地図データが記憶された大容量の記録媒体を備えており、表示画面上の表示データを生成するために用いられる。記録媒体上の地図データには、道路形状に関するデータや表示用の各種データなどに加え、これに付随する道幅情報が含まれる。よって、走行中の道路に対応する道幅情報を読み出して、現在走行している道路の道幅を把握することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来のナビゲーション装置では、地図データに含まれる道幅情報は正確な道幅を示すものではなく、例えば５．５ｍ〜８ｍのように、その道路の概略の道幅を示すに過ぎなかった。よって、道路のポイントに対応したきめ細かく正確な道幅情報は取得することができなかった。
【０００４】
また、単に道路の道幅を知るだけではなく、道路端までの距離をリアルタイムに求め、これを車両の安全走行に役立てることへのニーズも強くなっている。一方、複数台のカメラを設置して三角測量の原理を応用すれば、立体的に距離を計測可能であり、道路端までの距離を求めることができるが、装置の構成が複雑となってコストアップの要因となる。
【０００５】
そこで、本発明はこのような問題に鑑みなされたものであり、簡単な構成で、走行中の車両から撮像した画像に基づき壁面等の道路端までの距離及び道幅を求めることができる画像処理装置、及び、画像処理の結果に応じて、ドライバーに対し安全走行を確保するための警告や案内を行うことが可能なナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載のナビゲーション装置は、車両前方を撮像して画像を出力する撮像手段と、前記画像中の物体の時間ｔからｔ＋Δｔの動きを示す移動ベクトルを前記車両の走行中に前記撮像手段にて得られる画像を比較することによって求める移動ベクトル検出手段と、前記検出された移動ベクトルに基づいて、前記走行中の道路の道路端までの余裕度を判定する余裕度判定手段と、前記余裕度判定手段の判定結果に基づいて、告知手段を制御する制御手段と、を備え、前記移動ベクトル検出手段の検出結果に基づいて前記撮像手段の撮像方向を校正する校正手段を有することを特徴とする。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の好適な実施の形態を図面に基づいて説明する。以下の実施の形態においては、本発明を車両に搭載されるナビゲーション装置に適用した場合について説明する。
【０００８】
図１は、本実施形態に係るナビゲーション装置の概略構成を示す図である。図１に示すナビゲーション装置は、制御部１１と、地図データ記憶部１２と、道幅データ記憶部１３と、センサ部１４と、現在位置検出部１５と、ディスプレイ１６と、スピーカ１７と、画像処理部１８と、ＣＣＤカメラ１９とを含んで構成されている。
【０００９】
以上の構成において、制御部１１は、ナビゲーション装置全体の動作を制御する。制御部１１はＣＰＵ等からなり、図示しないＲＯＭに格納される制御プログラムを読み出して実行し、ナビゲーション装置の各構成要素に制御信号を送出すると共に、データを入出力する。
【００１０】
地図データ記憶部１２は、地図データを格納する記憶容量の大きなメモリであり、例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭが用いられる。地図データ記憶部１２に格納される地図データは、道路形状データ、名称データ、背景データなどを含んで構成される。
【００１１】
道幅データ記憶部１３は、本発明に係る画像処理に伴って得られた車両走行中の道幅データを更新可能に記録するメモリである。上述の地図データ記憶部１２の地図データにも簡易な道幅情報が含まれるが、道幅データ記憶部１３に記憶される道幅データは更に詳細なデータであり、道路の位置に応じて変化する道幅を正確に求めたデータである。なお、道幅データの生成方法については後述する。
【００１２】
センサ部１４は、車両の現在位置を検出するために必要な各種センサを含んでいる。具体的には、車両の速度を検出する車速センサや、車両の方位変化量を検出する方位センサや、ＧＰＳ（Global Positioning System）衛星からの電波を受信するＧＰＳ受信部などを含んで構成される。
【００１３】
現在位置検出部１５は、センサ部１４からの出力信号に基づいて、車両の現在位置を算出し、現在位置データを出力する。なお、現在位置データは、制御部１１によって前述の地図データと照合されて、マップマッチング処理等により補正される。
【００１４】
ディスプレイ１６には、制御部１１の指示の下、地図データが種々の態様で表示されると共に、これに重畳して車両の現在位置がカーマークとして表示される。このディスプレイ１６は、例えばＣＲＴ、液晶表示素子などから構成される。また、スピーカ１７からは、車両の経路に沿った誘導情報が音声により出力されると共に、本発明に係る画像処理に関連して後述の案内音声が出力される。
【００１５】
画像処理部１８は、車両に設置されるＣＣＤカメラ１９からの画像信号を解析して、本実施形態に係る画像処理を行う手段である。ここで、図２を用いて、画像処理部１８の構成及び動作について説明する。
【００１６】
図２に示すように、画像処理部１８は、Ａ／Ｄコンバータ２１と、第１画像メモリ２２と、第２画像メモリ２３と、移動ベクトル検出部２４と、移動ベクトル処理部２５を含んで構成されている。また、画像制御部１８は、制御部１１からの制御信号に従って動作する。
【００１７】
図２において、Ａ／Ｄコンバータ２１は、ＣＣＤカメラ１９によって撮像された画像に基づくアナログ画像信号をディジタル画像信号に変換する。通常、Ａ／Ｄコンバータ２１から出力されるディジタル画像信号は、所定のフレーム周期ごとに１つのフレーム画像データを構成し、連続する複数のフレーム画像データからなる。
【００１８】
第１画像メモリ２２及び第２画像メモリ２３は、それぞれＡ／Ｄコンバータ２１から出力されるフレーム画像データを格納する。第１画像メモリ２２は最新のフレーム画像データを格納し、第２画像メモリ２３は１つ前のフレーム画像データを格納する。よって、画像処理部１８では、常に最新の２フレーム分の画像データが保持されており、これらを用いて後述の処理が行われる。
【００１９】
移動ベクトル検出部２４は、第１画像メモリ２２及び第２画像メモリ２３に格納されるフレーム画像データに基づいて、画像中の各領域ごとの移動ベクトルを検出する。この際、センサ部１４から出力された車速データを用いる。
【００２０】
また、移動ベクトル処理部２５は、移動ベクトル検出部２４により検出された移動ベクトルに基づいて、走行道路の前方側における壁面等の道路端までの水平方向の距離及びこれに基づく道幅を求め、道幅データ等として出力する。
【００２１】
なお、移動ベクトル検出部２４と移動ベクトル処理部２５における処理の詳細については後述する。
【００２２】
図１に戻って、本発明の撮像手段としてのＣＣＤカメラ１９は、車両の所定位置に設置され、車両の前方方向を撮像し、画像信号を出力する。ここで図３に、ＣＣＤカメラ１９の車両への設置状態を示す。
【００２３】
図３（ａ）は、車両上方から見たＣＣＤカメラ１９の設置状態を示す図である。図３（ａ）に示すように、ＣＣＤカメラ１９は車両室内上部の中央付近に取付けられている。ＣＣＤカメラ１９は、車両前方を真っ直ぐ向いて撮像可能な位置に固定される。
【００２４】
また、図３（ｂ）は、ＣＣＤカメラ１９に関し、車両側方からから見た設置状態を撮像範囲と共に示す図である。図３（ｂ）に示すように、ＣＣＤカメラ１９は車両前方に向かって画角θの範囲を撮像する。通常、撮像された画像の中心を道路面に対し水平方向に一致させる。また、ＣＣＤカメラ１９は、道路面からの高さＨの位置に取付けられる。例えば、Ｈ＝１．５（ｍ）程度になる。
【００２５】
次に、本実施形態に係る画像処理の原理について、図４〜図９を参照して説明する。
【００２６】
図４は、前述のＣＣＤカメラ１９により撮像された画像をピンホールカメラのモデルで表した図である。図４においては、ＣＣＤカメラ１９の受光素子部に対応する画像平面Ｐ０と、レンズ部に対応する焦点面Ｆとが焦点距離ｆを隔てて平行に配置されている。焦点面Ｆのレンズ中心Ｃがピンホールに対応し、このレンズ中心Ｃを中心に空間座標系（Ｘ，Ｙ，Ｚ）を考える。一方、画像平面Ｐ０では、空間座標（０，０，−ｆ）を画像中心ｃとして、カメラ座標系（ｘ，ｙ）を考える。
【００２７】
ここで、空間座標系の点Ｍ（Ｘｍ，Ｙｍ，Ｚｍ）を考える。この点Ｍは、例えば図３（ｂ）の視野内にある道路面や壁面上の所定の位置に対応させることができる。この点Ｍに対する中心射影を考えると、点Ｍから焦点面Ｆのレンズ中心Ｃを通って画像平面Ｐ０までが直線で結ばれ、カメラ座標系の点ｍ（ｘｍ，ｙｍ）に射影される。このとき、点Ｍ（Ｘｍ，Ｙｍ，Ｚｍ）と射影された点ｍ（ｘｍ，ｙｍ）の関係は次式で表される。
［数１］
ｘｍ  ＝  ｆ・Ｘｍ／Ｚｍ
ｙｍ  ＝  ｆ・Ｙｍ／Ｚｍ
【００２８】
次に図５は、図４に対応して、空間座標系（Ｘ，Ｙ，Ｚ）と画像データのピクセル座標系（ｕ，ｖ）の関係を表した図である。図５においては簡単のため、図４の画像平面Ｐ０を焦点面Ｆの前方側に配置させると共に、カメラ座標系（ｘ，ｙ）のｘ軸、ｙ軸をそれぞれ反転させてｕ軸、ｖ軸とすることにより、ピクセル画像系（ｕ，ｖ）としたものである。図４の配置を図５の配置に置き換えても、互いに等価であるため、同様の関係が成り立つ。
【００２９】
図５において、ピクセル画像系の画像平Ｐ１面は、水平方向の画素数Ｎｗと垂直方向の画素数Ｎｈの表示画像に対応しており、画像平面Ｐ１には全部でＮｗ×Ｎｈの画素が含まれる。一方、この画像平面Ｐ１は、サイズが横幅ｗ、高さｈとなるＣＣＤカメラ１９の受光領域に一致する。そして、図４と同様に空間座標系の点Ｍ（Ｘ，Ｙ，Ｚ）を考えると、図５に示すように、画像平面Ｐ１の点ｍ（ｕ，ｖ）を通って焦点面Ｆのレンズ中心Ｃまで直線で結ばれる。
【００３０】
ここで、図４と同様に、点ｍに対する中心射影を考えると、数１に対応して、点Ｍ（Ｘ，Ｙ，Ｚ）と射影された点ｍ（ｕ，ｖ）の関係は次式で表される。
［数２］
ｕ  ＝  （ｆ・Ｘ／Ｚ）・Ｎｗ／ｗ
ｖ  ＝  （ｆ・Ｙ／Ｚ）・Ｎｈ／ｈ
【００３１】
すなわち、数２は、点ｍ（ｕ，ｖ）の画像平面Ｐ１における画素位置を表している。数２において、ｕが水平方向の画素位置に対応し、ｖが垂直方向の画素位置に対応している。
【００３２】
本実施形態では、走行中の車両から撮像された画像を処理するので、画像平面Ｐ１内の物体の動きを想定する必要がある。そのため、画像平面Ｐ１におけるオプティカルフロー、すなわち移動ベクトルＶ（ｕ，ｖ）を求める必要がある。３次元空間の同一点の明るさＩが一定に保たれる場合、次の時空間微分方程式が成り立つ。
［数３］
ｄＩ／ｄｔ  ＝  Ｉｘ・ｕ＋Ｉｙ・ｖ＋Ｉｔ  ＝  ０
ただし、それぞれ画像平面Ｐ１内において、Ｉｘが水平方向の偏微分、Ｉｙが垂直方向の偏微分、Ｉｔが時間軸方向の偏微分、ｕ、ｖは上述の移動ベクトルＶの水平方向、垂直方向の成分である。
【００３３】
次に、図６及び図７を用いて移動ベクトルＶを求める方法について説明する。図６に示すように、時刻ｔにおける画像平面Ｐ１内に参照ブロックＲを定義する。この参照ブロックＲは、左上の画素ｐｒを起点として、ｕ軸にｍ画素、ｖ軸にｎ画素の範囲の矩形領域であり、全部でｍ×ｎ個の画素を含んでいる。そして、画像平面Ｐ１を複数の参照ブロックＲに分割し、各々の参照ブロックＲごとに移動ベクトルＶを求める。図６の例では、ｍ＝８、ｎ＝８となる参照ブロックＲを示している。
【００３４】
図７は、画像平面Ｐ１内の所定の参照ブロックＲに対する移動ベクトルＶの求め方を説明する図である。図７は、図６の時刻ｔからΔｔが経過した時刻ｔ＋Δｔにおける画像平面Ｐ１に対応する。そして、センサ部１４からの車速データ等に基づいて、画像平面Ｐ１内の所定の領域を予めサーチ範囲Ｓとして定めておく。サーチ範囲Ｓは、ｕ軸にＭ画素、ｖ軸にＮ画素となる矩形領域であって、通常は、Ｍ、Ｎがｍ、ｎに比べると十分大きくなる。
【００３５】
そして、サーチ範囲Ｓに対し、参照ブロックＲと同サイズの比較ブロックＣを所定の位置に定義する。サーチ範囲Ｓは参照ブロックＲに比べサイズが十分大きいため、比較ブロックＣの位置をサーチ範囲Ｓ内で少しづつ動かす必要がある。図７では、比較ブロックＣは参照ブロックＲと同様にｍ×ｎのサイズであり、参照ブロックの左上の画素ｐｒに対応する比較ブロックＣの左上の画素ｐｃを示している。最初はサーチ範囲Ｓの左上の画素を比較ブロックＣの画素ｐｃに設定し、その後はサーチ範囲Ｓの中で、ｕ軸方向又はｖ軸方向に画素ｐｃの位置を１画素づつ動かして、サーチ範囲Ｓ内に定義可能な全ての比較ブロックＣについて後述の演算を行う。
【００３６】
次いで、図６の時刻ｔにおける参照ブロックＲと、図７の時刻ｔ＋Δｔにおける比較ブロックＣの間で相関値を求める。ここで、画素の集合である画像データでは、ｍ×ｎ個の全ての画素に濃度値を対応させているので、参照ブロックＲと比較ブロックＣの対応する画素ごとの濃度値の差分を求める。この濃度値の各画素ごとの差分に対し、ｍ×ｎ個の画素についての和をとれば、相関値を計算することができる。
【００３７】
そして、参照ブロックＲに対し、サーチ範囲Ｓの中の全ての比較ブロックＣとの間の相関値を求め、最小の相関値を与える比較ブロックＣを探索する。例えば、図７に示す比較ブロックＣが最小の相関値を与えるとする。
【００３８】
この場合は、図７に示すように、画像平面Ｐ１において、点線で示した時刻ｔにおける参照ブロックＲから時刻ｔ＋Δｔにおける比較ブロックＣに向かうベクトルを移動ベクトルＶとして決定することができる。
【００３９】
図７では１つの移動ベクトルＶのみ示したが、実際には移動ベクトルＶを、画像平面Ｐ１に定義可能な全ての参照ブロックＲについて求める。これにより移動ベクトルＶの空間的な分布を求める。そして、この移動ベクトルＶの空間的な分布に基づいて後述の処理が行われる。
【００４０】
次に、図８〜図９を用いて、走行中の車両から撮像された画像における移動ベクトルの求め方、及び、車両から道路端までの距離、走行道路の道幅を算出する方法について説明する。
【００４１】
図８は、ＣＣＤカメラ１９から撮像した画像の一例を示す図である。図８では簡単のため、一定幅で直進する道路において両側の道路端に一定の高さの壁面があり、車両はセンターラインから所定距離だけ左側を走行している場合の画像を示している。また、道路面は、左側壁面と境界線ＢＬで接し、右側壁面と境界線ＢＲで接している。
【００４２】
図８に示すように、画像の中心をピクセル画像座標系（ｕ，ｖ）における原点（０，０）に対応させる。すなわち、画像の撮像方向が道路面及び壁面に対し平行になり、境界線ＢＬ、ＢＲなどが交わる消失点が、原点（０，０）に合致する。また、画像の全体は、左上の点（−Ｎｗ／２，Ｎｈ／２）と、右上の点（Ｎｗ／２，Ｎｈ／２）と、左下の点（−Ｎｗ／２，−Ｎｈ／２）と、右下の点（Ｎｗ／２，−Ｎｈ／２）の４画素を頂点とする矩形領域である。後述の画像処理を行うに際して、ＣＣＤカメラ１９の撮像方向や取り付け高さＨを予め正確に校正しておく必要がある。ただし、原点（０，０）と消失点が一致しない場合でも、校正により消失点の位置を正確に特定できれば、本発明に係る画像処理を行うことができる。
【００４３】
図８において、画像中にｖ＝ＶＲで表される基準水平ラインＬを設定する。基準水平ラインＬは、道路面と左右両側の壁面を横切る位置、すなわち道路端と交差する位置に設定する必要があり、ＶＲは負の値となる。例えば車両から１０ｍ前方の道路面上の相対位置に対応する画像位置に基準水平ラインＬを設定すればよい。そして、図８において、時刻ｔから時刻ｔ＋Δｔとなる間の基準水平ラインＬ上の移動ベクトルＶを求める。Δｔが経過するまで車両が一定距離だけ前方に進むと、基準水平ラインＬ上の撮像対象物はその分だけ車両に近づくので、基準水平ラインＬ上の移動ベクトルＶのｖ成分は負の値となる。
【００４４】
基準水平ラインＬを設定すべき車両との相対位置は、１０ｍに限られず適切な距離に設定できる。ただし、車両に近づき過ぎると、左右の壁面を横切らない配置となって不適切となる。また、車両から離れ過ぎると、道路面と壁面を横切るとしても距離が大きくなり過ぎて、道路のカーブ等の形状変化による誤差が生じやすくなる。そのため、道路面と壁面に十分重なる範囲で車両にできるだけ近距離の相対位置に設定することが望ましい。
【００４５】
ここで、速度ｖ０（ｍ／秒）で走行している車両において、フレーム周期Ｔ（秒）でＣＣＤカメラ１９による撮像を行うとする。この場合、１フレーム間の車両の移動距離ｄは、
［数４］
ｄ＝ｖ０・Ｔ（ｍ）
と表すことができる。一方、車両の移動に伴い基準水平ラインＬの移動ベクトルＶは、消失点である原点（０，０）から放射状に向かうベクトルとなる。そして、移動ベクトルＶの大きさは、基準水平ラインＬ上の撮像対象物と車両との距離が近いほど大きくなるように変化する。
【００４６】
このとき、基準水平ラインＬにおける移動ベクトルＶの分布をとると、道路面と左右の壁面とでは異なるパターンに従って変化する。よって、移動ベクトルＶのパターン変化を分析して、基準水平ラインＬと境界線ＢＬ、ＢＲとの交点の位置をそれぞれ求め、これに基づき車両の位置から左右の道路端までの距離ＤＬ、ＤＲを算出し、更に走行道路の道幅ＲＷを算出する。
【００４７】
ここで、図８の基準水平ラインＬにおけるピクセル画像座標系（ｕ，ｖ）と実際の空間座標系（Ｘ，Ｙ，Ｚ）の関係について、図９を参照して説明する。図８の撮像対象物の奥行きを表すＺは、数２に基づき次式で表される。
［数５］
Ｚ  ＝  Ｘ・ｆ・Ｎｗ／（ｕ・ｗ）
【００４８】
図９（ａ）は、画像横軸のｕに対する撮像位置から見た奥行きＺの変化を示す図である。図９（ａ）において、変曲点ＰＬは基準水平ラインＬと境界線ＢＬの交点に対応し、変曲点ＰＲは基準水平ラインＬと境界線ＢＲの交点に対応する。図９（ａ）に示すように、道路面ではＺが一定値となるのに対し、壁面では外側に行くほどＺが小さくなっていく。すなわち、数５からわかるように、道路面では基準水平ラインＬが水平面にあるため、ｕとＸが比例し、Ｚは一定値となる。一方、左右の壁面では基準水平ラインＬが垂直面にあるため、Ｘが固定値となって、Ｚはｕに反比例して変化する。
【００４９】
次に、図８の基準水平ラインＬにおける高さＹは、数２及び数５に基づき次式で表される。
［数６］
Ｙ  ＝  Ｚ・ｖ・ｈ／（ｆ・Ｎｈ）
【００５０】
図９（ｂ）は、画像横軸のｕに対する高さＹの変化を示す図である。図９（ｂ）においては、図９（ａ）と同様、変曲点ＰＬ及び変曲点ＰＲの間の道路面では、Ｙが一定値となる。一方、壁面では外側に行くほどＹが大きくなっていく。数６においてｕが負の値となるので、図９（ａ）の場合と逆の変化になっている。
【００５１】
次に、図８の状態から車両がΔＺ（ｍ）進んだ場合を考える。このとき、図８の基準水平ラインＬの垂直位置がΔｖ（ピクセル）動くとすると、ΔｖとΔＺの関係は、数６に基づき次式で表される。
［数７］
Δｖ  ＝  Ｙ・ｆ・Ｎｈ／（（Ｚ−ΔＺ）・ｈ）−Ｙ・ｆ・Ｎｈ／（Ｚ・ｈ）
【００５２】
図９（ｃ）は、画像横軸のｕに対し、車両がΔＺ（ｍ）進んだ時のΔｖの変化を示す図である。図９（ｃ）においては、図９（ａ）、（ｂ）と同様、変曲点ＰＬ及び変曲点ＰＲの間の道路面では、Δｖが一定値となる。一方、壁面では外側に行くほどΔｖが小さくなっていく。従って、数７に示されるΔｖの値に基づいて、後述の演算が行われる。
【００５３】
なお、上述の例では道路端全体に壁面が存在する場合を説明したが、例えばガードレールのように部分的な壁面となる場であっても、移動ベクトルＶが道路面とそれ以外の部分で変化する場合には、距離ＤＬ、ＤＲ、道幅ＲＷを算出することができる。
【００５４】
図１０は、移動ベクトルＶを数７に基づき評価して、車両から左右の道路端の壁面までの距離ＤＬ、ＤＲ等を算出する方法を示すフローチャートである。なお、以下の処理を行うに際しては、予めＣＣＤカメラ１９の撮像方向と取付け高さＨを校正しておくものとする。
【００５５】
図１０の処理において、ステップＳ１では、上述のように、基準水平ラインＬにおける移動ベクトルＶを算出する。すなわち、連続する２つのフレーム画像データの画像を比較して、フレーム周期Ｔの間の基準水平ラインＬにおける移動ベクトルＶを算出する。
【００５６】
ステップＳ２では、移動ベクトルＶのｖ成分を評価して、数７に基づき基準水平ラインＬ上の左側の変曲点ＰＬと右側の変曲点ＰＲを抽出する。このとき、変曲点ＰＬのｕ方向位置ｕｌと変曲点ＰＲのｕ方向位置ｕｒが得られるとする。
【００５７】
ステップＳ３では、抽出された変曲点ＰＬ、ＰＲのそれぞれのｕ方向位置ｕｌ、ｕｒを空間座標のＸ方向位置に変換する。具体的には、数２に基づく次式を計算すればよい。
［数８］
Ｘ  ＝  ｕ・Ｚ・ｗ／（Ｎｗ・ｆ）
ただし、数８のＺは、Ｚ＝−Ｈ・ｆ・Ｎｈ／（ｖ・ｈ）である。数８に示されるＸを、左右の変曲点ＰＬ、ＰＲについて計算する。
【００５８】
ステップＳ４では、左側壁面までの距離ＤＬ、右側壁面までの距離ＤＲ、道幅ＲＷを求める。すなわち、ステップＳ４にて計算結果に基づいて、左側の変曲点ＰＬのＸ方向位置が距離ＤＬに対応し、右側の変曲点ＰＲのＸ方向位置が距離ＤＲに対応する。これらを加えることにより道幅ＲＷを、
［数９］
ＲＷ  ＝  ＤＬ＋ＤＲ
と求めることができる。なお、距離ＤＬ、ＤＲの相対的関係に基づいて車両位置を知ることができる。
【００５９】
ステップＳ５では、カメラが車両の水平方向の中心に設置されていると考えて、左側壁面に対する余裕度ＭＬと右側壁面に対する余裕度ＭＲを次式により求める。
［数１０］
ＭＬ  ＝  ＤＬ−Ｗ／２
ＭＲ  ＝  ＤＲ−Ｗ／２
ただし、Ｗは車両の横幅を表している。数１０に示す左右の余裕度ＭＬ、ＭＲは、後述のようにドライバーに警告を与える際の判断基準となる。
【００６０】
以上のステップＳ１〜ステップＳ５の処理は、移動ベクトルＶのｖ成分を評価することにより行うものであるが、移動ベクトルＶのｕ成分も、同様に変曲点ＰＬ、ＰＲで特性が変わるので、これを評価して上述の処理を行うようにしてもよい。
【００６１】
なお、算出された道幅ＲＷに対応する道幅データを地図データと関連づけて道幅データ記憶部１３に更新可能に記憶すれば、後述の各種の処理に利用することができる。
【００６２】
更に、上述の画像処理における各数値の具体例としては、焦点距離ｆ＝４（ｍｍ）、水平方向の画素数Ｎｗ＝３２０（ピクセル）、受光領域の横幅ｗ＝４（ｍｍ）、フレーム周期Ｔ＝１／３０（秒）程度になる。
【００６３】
次に、本実施形態に係るナビゲーション装置における具体的な画像処理に関し、図１１及び図１２を参照して説明する。図１１は、走行中の車両が道路端に近接するのを防止するための処理を示すフローチャートであり、図１２は、複数車線の道路を走行中の車両が設定経路に対し適正な車線を走行させるための処理を示すフローチャートである。なお、図１１及び図１２は、主に制御部１１の制御に従って行われる処理である。
【００６４】
図１１に示す処理が開始されると、上述のような画像処理部１８の処理により、両側の壁面までの距離ＤＬ、ＤＲが求められ、これに基づき数９に従って道幅ＲＷが算出され、更に数１０に従って左右の壁面に対する余裕度ＭＬ、ＭＲが算出される（ステップＳ１１）。そして、ステップＳ１１にて算出された道幅ＲＷに対応する道幅データは、地図データと関連づけられて道幅データ記憶部１３に書き込まれる（ステップＳ１２）。このとき、予め設定された道路上の所定のポイントにおいて、道幅データの書き込みを行うようにしてもよい。
【００６５】
次いで、ステップＳ１１において得られた余裕度ＭＬ、ＭＲに基づいて、走行中の車両が道路端に寄り過ぎているか否かが判断される（ステップＳ１３）。すなわち、基準となる所定の値を設定しておき、余裕度ＭＬ又はＭＲがこの所定の値より小さくなるとき、車両が道路端に寄り過ぎであると判断すればよい。
【００６６】
ステップＳ１３の判断結果が「ＹＥＳ」である場合、車両が道路端に寄り過ぎであることをドライバーに警告する（ステップＳ１４）。例えば、道路端に寄り過ぎである旨を示す所定のメッセージを、スピーカ１７から音声として出力すればよい。あるいは、同様のメッセージ又は表示記号等をディスプレイ１６に表示してもよい。
【００６７】
ステップＳ１３の判断結果が「ＮＯ」である場合、あるいはステップＳ１４を終えると、車両が走行中であるか否かを判断する（ステップＳ１５）。車両が走行中でない場合（ステップＳ１５；ＮＯ）、画像処理を行う必要がないので処理を終える。一方、車両がまだ走行中である場合（ステップＳ１５；ＹＥＳ）、ステップＳ１１〜ステップＳ１５の処理を繰り返す。
【００６８】
ナビゲーション装置において、以上のステップＳ１１〜ステップＳ１５の処理を行うことにより、常に正確な道幅ＲＷをリアルタイムに求めることができる。そして、道路左右の壁面までの距離ＤＬ、ＤＲを監視し、走行中の車両が道路端に寄り過ぎた時に、つまり、車両が道路端に近接し過ぎて余裕がない状態を検知したときに、ドライバーに警告を行うようにしたので、ドライバーの運転を補助して走行中の安全を確保することができる。また、道幅データを道幅データ記憶部１３に適宜に書き込むようにしたので、後に同じ道路を走行する場合、有効に道幅データを活用することが可能となる。
【００６９】
次に、図１２に示す処理は、ナビゲーション装置に所望の目的地が設定され、経路が判断される状況下にて行われる。まず、ステップＳ１１と同様にして、両側の壁面までの距離ＤＬ、ＤＲが求められ、更に道幅ＲＷが算出される（ステップＳ２１）。
【００７０】
そして、地図データ記憶部１２の地図データに含まれる走行中の車線に対する車線情報を読み出す（ステップＳ２２）。この車線情報は、走行中の道路が何車線であるを示す情報であるため、車線情報に基づき走行中の道路が複数車線であるか否かを判断する（ステップＳ２３）。
【００７１】
ステップＳ２３の判断結果が「ＹＥＳ」である場合、ステップＳ２１の判断結果に基づいて、複数車線のうち現在どの車線を走行中であるかを判定する（ステップＳ２４）。この判定は、ステップＳ１１にて求めた車両の両側の壁面までの距離ＤＬとＤＲとの比に基づいて行うことができる。
【００７２】
続いて、ステップＳ２４で判定された車線が、目的地に達する経路に対応して適正な車線であるか否かを判断する（ステップＳ２５）。すなわち、例えば３車線の道路を走行している場合を例にとると、一般的には前方で右折するときは右側の車線が適正となり、前方で左折するときは左側の車線が適正となり、そのまま直進するときは何れの車線であってもよいことになる。あるいは予め左折、右折時の適正車線の情報を設定しておいてもよい。
【００７３】
ステップＳ２５の判定の結果、車両が適正な車線を走行している場合は（ステップＳ２５；ＹＥＳ）処理を終える。一方、車両が適正ではない車線を走行している場合は（ステップＳ２５；ＮＯ）、ドライバーに車線変更の案内を指示する（ステップＳ２６）。例えば、右折ポイントの手前で左側の車線を走行している場合、もう２車線右に移動することをドライバーに促す旨のメッセージを、スピーカ１７から音声として出力し、あるいはディスプレイ１６に表示すればよい。
【００７４】
ナビゲーション装置において、以上のステップＳ２１〜ステップＳ２６の処理を行うことにより、複数車線の道路において車両が位置する車線をリアルタイムに判定することができる。そして、右折や左折等を行うために適正な車線に位置しない場合のみ、ドライバーに車線変更の案内を行うようにしたので、必要な場合のみ案内が行われ、既に適正な車線を走行している場合は、不要な案内が行われずに済む。そのため、利便性が高く、ドライバーにとって一層快適なナビゲーションが実現可能となる。
【００７５】
なお、図１２の例では、車両が適正ではない車線を走行しているときにのみ車線変更の案内を指示する場合、すなわち、適正な車線を走行しているときに車線変更の案内を指示しない場合を説明したが、これに限られず、車両が適正な走行しているとき、何らかの案内を行うようにしてもよい。例えば、適正な車線を走行中に、「このままの車線を維持して下さい」などの案内を音声等により出力してもよい。これにより、運転中のドライバーに適正な車線を走行していることを把握させて安心感を与えることができる。
【００７６】
ここで、本実施形態におけるＣＣＤカメラ１９の校正方法について説明する。上述したように、良好な精度で画像処理を行うためにＣＣＤカメラ１９の校正が必要となる。特にＣＣＤカメラ１９の撮像方向がずれると、道幅ＲＷ等を正確に求められなくなる。従って、ＣＣＤカメラ１９の取付け時に撮像方向や取付け高さＨを計測し、これらの値を設定しておくことにより校正を行う。あるいは、カメラ取付け時だけではなく、ＣＣＤカメラ１９を撮像に用いつつ、その画像に基づき随時校正を行ってもよい。この場合、校正すべき各パラメータを統計的に求める必要がある。
【００７７】
また、ＣＣＤカメラ１９により撮像された画像中の移動ベクトルＶを、撮像方向の校正に利用することができる。すなわち、移動ベクトルＶを画像の広い範囲にわたって求めると、その方向は消失点に向かう。移動ベクトルＶの誤差等を考慮して平均化することにより、消失点を特定して、対応する画素位置を決定すれば、撮像方向を校正することができる。
【００７８】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。
【００７９】
以上説明したように、上記実施形態に係るナビゲーション装置によれば、車両前方を撮像して、撮像された画像中の物体の時間ｔからｔ＋Δｔの動きを示す移動ベクトルを車両の走行中にＣＣＤカメラ１９にて得られる画像を比較することによって求め、当該検出された移動ベクトルに基づいて、走行中の道路の道路端までの余裕度を判定し、この判定結果に基づいて、ドライバーに告知させる（例えば、判定された余裕度が所定の基準値より小さい場合、車両が道路端に近接したことを告知手段に告知させる）ようにしたので、ドライバーに対し安全走行を確保するための警告や案内を行うことができる。更に、上記移動ベクトルの検出結果に基づいてＣＣＤカメラ１９の撮像方向を校正（例えば、消失点を定めることにより撮像方向を校正）するようにしたので、ＣＣＤカメラ１９の取付け状態のばらつきを考慮した画像処理が行われると共に、当該構成に移動ベクトルを利用すればよいため、簡易な校正方法を提供することができる。
【００８０】
なお、走行中の道路の道路端は、ＣＣＤカメラ１９より得られる画像中に設けた基準水平ライン上の移動ベクトルの空間的な分布を検出し、当該分布を構成する各移動ベクトルの変化量より基準水平ライン上の左右の道路端に対応する変曲点を特定し、この変曲点に基づいて求められる。つまり、画像中に設定された基準水平ラインにおける移動ベクトルは、道路面及び道路端の構造物にそれぞれ対応する画素部分では特性が異なるため、移動ベクトルの変曲点を求めることにより道路端を判別でき、道路端までの距離が算出できる。
【００８１】
また、上記ナビゲーション装置によれば、上記検出された移動ベクトルに基づいて、走行中の道路の道幅を算出し、当該算出された道幅に対応する道幅データを地図データと関連付けて記憶するようにしたので、車両が走行した道路の道幅データを保持し、その後、再び同じ道路を通ったときに活用できるので、ナビゲーション装置の機能を支援することができる。
【００８２】
また、上記ナビゲーション装置によれば、上記検出された移動ベクトルと、上記地図データに含まれる車線数の情報と、算出された道路端までの道幅と、目的地までの経路とに基づいて、走行すべき適切（適正）な車線を告知するようにしたので、最適経路に対応する車線を走行させるためドライバーの注意を喚起することができ、快適なナビゲーション機能を実現できる。
【００８３】
以上のように、簡単な構成で、走行車両の安全確保や道幅データの取得など、車両の安全性と利便性を高めることが可能となり、本願をナビゲーション装置に適用すれば、車両の道路端近接時のドライバーへの告知、車線判定に基づく車線変更の告知、道幅データの記憶などにより、ナビゲーション装置を支援して機能向上を図ることが可能となる。
【図面の簡単な説明】
【００８４】
【図１】本実施形態に係るナビゲーション装置の概略構成を示す図である。
【図２】ナビゲーション装置の画像処理部の構成を示す図である。
【図３】ＣＣＤカメラの車両への設置状態を示す図であり、（ａ）は車両上方から見た設置状態、（ｂ）は車両側方の設置状態をそれぞれ示す図である。
【図４】ＣＣＤカメラにより撮像された画像をピンホールカメラのモデルで表した図である。
【図５】空間座標系と画像データのピクセル座標系の関係を表した図である。
【図６】移動ベクトルを求める際に画像平面内に定義する参照ブロックについて説明する図である。
【図７】画像平面内の所定の参照ブロックに対し、サーチ範囲内に比較ブロックを定義して、移動ベクトルを求める方法を説明する図である。
【図８】本実施形態に係る画像処理において、本発明のＣＣＤカメラから撮像した画像の一例を示す図である。
【図９】画像内の基準水平ラインにおけるピクセル画像座標系と空間座標系の関係を説明する図である。
【図１０】移動ベクトルに基づき車両から左右道路端の壁面までの距離等を算出する方法を示すフローチャートである。
【図１１】本実施形態に係るナビゲーション装置において、道幅検出に対応して、走行中の車両が道路端に近接するのを防止するための処理を示すフローチャートである。
【図１２】本実施形態に係るナビゲーション装置において、道幅検出に対応して、複数車線の道路を走行中の車両が設定経路に対し適正な車線を走行させるための処理を示すフローチャートである。
【符号の説明】
【００８５】
１１…制御部
１２…地図データ記憶部
１３…道幅データ記憶部
１４…センサ部
１５…現在位置検出部
１６…ディスプレイ
１７…スピーカ
１８…画像処理部
１９…ＣＣＤカメラ
２１…Ａ／Ｄコンバータ
２２…第１画像メモリ
２３…第２画像メモリ
２４…移動ベクトル検出部
２５…移動ベクトル処理部
Ｖ…移動ベクトル
Ｌ…基準水平ライン
ＰＬ、ＰＲ…変曲点
【図１】
2006268865.tif 000003
【図２】
2006268865.tif 000004
【図３】
2006268865.tif 000005
【図４】
2006268865.tif 000006
【図５】
2006268865.tif 000007
【図６】
2006268865.tif 000008
【図７】
2006268865.tif 000009
【図８】
2006268865.tif 000010
【図９】
2006268865.tif 000011
【図１０】
2006268865.tif 000012
【図１１】
2006268865.tif 000013
【図１２】
2006268865.tif 000014