(57)【特許請求の範囲】
【請求項１】
自車周辺の画像を表示する機能を備えた画像表示装置であって、
自車周辺を撮像する複数の撮像カメラを備えた撮像手段と、
前記撮像手段により撮像された撮像データを用いて自車の上方から見下ろすような視点変換された自車周辺画像を生成する生成手段と、
前記生成手段により生成された自車周辺画像を表示する表示手段と、
視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得する取得手段と、
前記参照パターンを保持する保持手段と、
横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出する抽出手段と、
前記走行パターンに基づき調整部位を判別する判別手段と、
前記判別手段により判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整する調整手段と、
を有する画像表示装置。
【請求項２】
前記判別手段は、前記走行パターンに含まれる各撮像カメラに対応する撮像領域の繋ぎ目において特徴点の遷移情報に不連続が存在するとき、当該繋ぎ目を調整部位として判別する、請求項１に記載の画像表示装置。
【請求項３】
前記判別手段は、前記繋ぎ目に隣接する個々の撮像領域の走行パターンを前記参照パターンの対応する撮像領域と比較し、走行パターンと参照パターンとの間に不一致を生じる撮像領域を調整部位として判別する、請求項２に記載の画像表示装置。
【請求項４】
前記調整手段は、前記参照パターンを抽出するときに設定された角度パラメータを予め決められた許容範囲内で変更する、請求項１ないし３いずれか１つに記載の画像表示装置。
【請求項５】
前記調整手段は、角度パラメータが異なる複数の調整パターンを有しており、前記複数の調整パターンの中から前記参照パターンとの差分が最小となる調整パターンを選択し、当該選択された調整パターンに基づき前記角度パラメータを変更する、請求項１ないし４いずれか１つに記載の画像表示装置。
【請求項６】
画像表示装置はさらに、前記撮像手段により撮像された横断歩道の撮像データを記憶する記憶手段と、前記調整手段により調整された角度パラメータを用いて前記記憶手段に記憶された横断歩道の撮像データを視点変換することにより自車周辺画像の生成をシミュレーションするシミュレーション手段とを含み、
前記判別手段は、前記シミュレーション手段によりシミュレーションされた自車周辺画像に基づき調整部位を判別し、前記調整手段は、前記判別手段により判別された調整部位の撮像カメラの角度パラメータを再調整する、請求項１ないし５いずれか１つに記載の画像表示装置。
【請求項７】
前記判別手段はさらに、角度パラメータが調整された自車周辺画像の走行パターンに基づき各撮像カメラに対応する撮像領域の繋ぎ目において特徴点の遷移情報に不連続が存在するかを判別し、
前記調整手段はさらに、繋ぎ目に不連続が存在すると判別された場合には、撮像カメラの高さの特性を示す高さパラメータを調整する、請求項１ないし６いずれか１つに記載の画像表示装置。
【請求項８】
前記調整手段は、横断歩道を走行するときの車両速度が一定値以下であり、かつ車両が直進していると判定された場合に、前記角度パラメータの調整を実行する、請求項１ないし７いずれか１つに記載の画像表示装置。
【請求項９】
請求項１ないし８いずれか１つに記載の画像表示装置を含むナビゲーション装置。
【請求項１０】
前記調整手段は、自車が横断歩道に接近している情報を入手したとき、実行可能になる、請求項９に記載のナビゲーション装置。
【請求項１１】
自車周辺を撮像する複数の撮像カメラを備えた撮像手段と、前記撮像手段により撮像された撮像データを用いて自車の上方から見下ろすような視点変換された自車周辺画像を生成する生成手段と、前記生成手段により生成された自車周辺画像を表示する表示手段とを有する画像表示装置が実行する撮像カメラのキャリブレーションプログラムであって、
視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得するステップと、
前記参照パターンを保持するステップと、
横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出するステップ、
前記走行パターンに基づき調整部位を判別するステップと、
判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整するステップと、
を有するキャリブレーションプログラム。
【請求項１２】
前記判別するステップは、前記走行パターンに含まれる各撮像カメラに対応する撮像領域の繋ぎ目において特徴点の遷移情報に不連続が存在するとき、当該繋ぎ目を調整部位として判別する、請求項１１に記載のキャリブレーションプログラム。
【請求項１３】
前記判別するステップは、前記繋ぎ目に隣接する個々の撮像領域の走行パターンを前記参照パターンの対応する撮像領域と比較し、走行パターンと参照パターンとの間に不一致を生じる撮像領域を調整部位として判別する、請求項１２に記載のキャリブレーションプログラム。
【請求項１４】
キャリブレーションプログラムはさらに、前記撮像手段により撮像された横断歩道の撮像データを記憶するステップと、
前記調整された角度パラメータを用いて前記記憶された横断歩道の撮像データを視点変換することにより自車周辺画像の生成をシミュレーションするステップと、
前記シミュレーションされた自車周辺画像に基づき調整部位を判別するステップと、
前記判別された調整部位の撮像カメラの角度パラメータを再調整するステップとを有する、請求項１１ないし１３いずれか１つに記載のキャリブレーションプログラム。
【請求項１５】
キャリブレーションプログラムはさらに、角度パラメータが調整された自車周辺画像の走行パターンに基づき各撮像カメラに対応する撮像領域の繋ぎ目において特徴点の遷移情報に不連続が存在するかを判別するステップと、
前記繋ぎ目に不連続が存在すると判別された場合には、撮像カメラの高さの特性を示す高さパラメータを調整するステップとを有する、請求項１１ないし１４いずれか１つに記載のキャリブレーションプログラム。
【請求項１６】
自車周辺を撮像する複数の撮像カメラを備えた撮像手段と、前記撮像手段により撮像された撮像データを用いて自車の上方から見下ろすような視点変換された自車周辺画像を生成する生成手段と、前記生成手段により生成された自車周辺画像を表示する表示手段とを有する画像表示装置における撮像カメラのキャリブレーション方法であって、
視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得するステップと、
前記参照パターンを保持するステップと、
横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出するステップ、
前記走行パターンに基づき調整部位を判別するステップと、
判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整するステップと、
を有するキャリブレーション方法。
【請求項１７】
前記判別するステップは、前記走行パターンに含まれる各撮像カメラに対応する撮像領域の繋ぎ目において特徴点の遷移情報に不連続が存在するとき、当該繋ぎ目を調整部位として判別する、請求項１６に記載のキャリブレーション方法。
【請求項１８】
前記判別するステップは、前記繋ぎ目に隣接する個々の撮像領域の走行パターンを前記参照パターンの対応する撮像領域と比較し、走行パターンと参照パターンとの間に不一致を生じる撮像領域を調整部位として判別する、請求項１７に記載のキャリブレーション方法。
【請求項１９】
キャリブレーション方法はさらに、前記撮像手段により撮像された横断歩道の撮像データを記憶するステップと、
前記調整された角度パラメータを用いて前記記憶された横断歩道の撮像データを視点変換することにより自車周辺画像の生成をシミュレーションするステップと、
前記シミュレーションされた自車周辺画像に基づき調整部位を判別するステップと、
前記判別された調整部位の撮像カメラの角度パラメータを再調整するステップとを有する、請求項１６ないし１８いずれか１つに記載のキャリブレーション方法。
【請求項２０】
キャリブレーション方法はさらに、角度パラメータが調整された自車周辺画像の走行パターンに基づき各撮像カメラに対応する撮像領域の繋ぎ目において特徴点の遷移情報に不連続が存在するかを判別するステップと、
前記繋ぎ目に不連続が存在すると判別された場合には、撮像カメラの高さの特性を示す高さパラメータを調整するステップとを有する、請求項１６ないし１９いずれか１つに記載のキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム関する。
【背景技術】
【０００２】
車両に撮像カメラを搭載し、自車周辺の撮像データを表示することで、運転支援を行うアプリケーションが実用化されている。その代表的なアプリケーションとして、車両の前後左右に取り付けた撮像カメラによって車両の水平方向を撮像し、この撮像データを視点変換して車両上方から見下した俯瞰画像としてディスプレイに表示する、いわゆるトップビュー画像の表示がある。
【０００３】
図１は、トップビュー画像を表示するための撮像カメラの配置例を示している。撮像カメラ１、２、３、４は、例えばＣＣＤ撮像素子と、広角の魚眼レンズを含む光学系を含んで構成される。撮像カメラ１は、前方バンパーのナンバープレート付近に設置され、前方を視野角θ１の範囲で撮像する。撮像カメラ２、３は、それぞれ左右のドアミラーに設置され、自車の左右方向を視野角θ２、θ３の範囲で撮像する。撮像カメラ４は、後方バンパーに設置され、後方を視野角θ４の範囲で撮像する。撮像カメラのそれぞれの視野角θ１〜θ４は、隣接する視野角と一部が重複するように調整され、４つの撮像カメラ１〜４により自車の全周囲を撮像する。
【０００４】
図２は、トップビュー画像を説明する図である。トップビュー画像１０は、前方画像１２、左右画像１４、１６、後方画像１８を、自車の上方の仮想視点から見下ろしたように合成して表示する。一例として、トップビュー画像１０の中央には、自車の平面画像が表示される。２０は、各画像の繋ぎ目である。
【０００５】
図３は、トップビュー画像の仮想視点と撮像カメラの位置関係を説明する図である。同図に示すように、撮像カメラの光軸Ｏは、地表または路面から高さＨｃにあり、撮像カメラは、魚眼レンズ等の広角レンズを用い、光軸Ｏを中心に一定の視野角θで撮像する。
仮想視点Ｖは、地表または路面から高さＨｔに設定される。トップビュー画像１０は、高さＨｃで撮像された撮像データを、仮想視点Ｖの高さＨｔに座標変換して表示される。
【０００６】
トップビュー画像は、前後左右の撮像カメラで撮像された撮像データを合成するため、各撮像カメラのキャリブレーション（校正）が適切になされていないと、トップビュー画像の繋ぎ目２０（図２）に不連続が生じたり、画像に映し出された物体に歪が生じてしまう。
【０００７】
撮像カメラのキャリブレーションは、カメラの取り付け角度、カメラの取り付け高さ、カメラのレンズ歪補正値、カメラのレンズの焦点距離等のカメラの特性を示すパラメータを補正するものであり、例えば、特許文献１では、そのようなパラメータを入力したり、あるいはパラメータを得るための特徴点を自動抽出している。また、撮像エリア内の認識マークの初期位置と、逐次撮像された認識マークの位置とを比較し、経時的変化による撮像カメラの取り付け位置の修正の必要性を報知したりこれを修正するような技術が特許文献２、３に開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開ＷＯ００／７３７３号公報
【特許文献２】特開平８−１６９９９号公報
【特許文献３】特開平８−２７６７８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
トップビュー画像を表示するための撮像カメラのキャリブレーションは、撮像カメラを車体に取り付け時に行われるが、その後、搭載車両の経年変化により車両に歪みが発生した場合や、軽度の接触事故、大きな振動が起こった場合、撮像カメラ自体にダメージはないまでも、撮像カメラの取り付け位置等が若干変化してしまうことがある。そのような場合、撮像カメラの取り付け位置や角度の調整が行われないと、トップビュー画像に歪みや乱れ、繋ぎ目に不整合が生じ、異常な表示のまま使用することになる。一方、撮像カメラの取り付け位置を再調整するためには、ディーラーや取り付け店等に車両を持ち込む必要があり、非常に手間とコストがかかる。このため、システム自体でキャリブレーションの必要性を判定し、自動的に撮像カメラのキャリブレーションを行う方法が望まれる。
【００１０】
本発明は、上記した従来の課題を解決し、撮像カメラのキャリブレーションを自動で行うことができる画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラムを提供することを目的とする。
さらに本発明は、撮像カメラのキャリブレーションを簡単に行うことができる画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像表示装置は、自車周辺の画像を表示する機能を備えたものであって、自車周辺を撮像する複数の撮像カメラを備えた撮像手段と、前記撮像手段により撮像された撮像データを用いて自車の上方から見下ろすような視点変換された自車周辺画像を生成する生成手段と、前記生成手段により生成された自車周辺画像を表示する表示手段と、視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得する取得手段と、前記参照パターンを保持する保持手段と、横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出する抽出手段と、前記走行パターンに基づき調整部位を判別する判別手段と、前記判別手段により判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整する調整手段とを有する。
【００１２】
好ましくは前記判別手段は、前記走行パターンに含まれる各撮像カメラに対応する撮像領域の繋ぎ目において特徴点の遷移情報に不連続が存在するとき、当該繋ぎ目を調整部位として判別する。好ましくは前記判別手段は、前記繋ぎ目に隣接する個々の撮像領域の走行パターンを前記参照パターンの対応する撮像領域と比較し、走行パターンと参照パターンとの間に不一致を生じる撮像領域を調整部位として判別する。好ましくは前記調整手段は、前記参照パターンを抽出するときに設定された角度パラメータを予め決められた許容範囲内で変更する。好ましくは前記調整手段は、角度パラメータが異なる複数の調整パターンを有しており、前記複数の調整パターンの中から前記参照パラメータとの差分が最小となる調整パターンを選択し、当該選択された調整パターンに基づき前記角度パラメータを変更する。好ましくは画像表示装置はさらに、前記撮像手段により撮像された横断歩道の撮像データを記憶する記憶手段と、前記調整手段により調整された角度パラメータを用いて前記記憶手段に記憶された横断歩道の撮像データを視点変換することにより自車周辺画像の生成をシミュレーションするシミュレーション手段とを含み、前記判別手段は、前記シミュレーション手段によりシミュレーションされた自車周辺画像に基づき調整部位を判別し、前記調整手段は、前記判別手段により判別された調整部位の撮像カメラの角度パラメータを再調整する。好ましくは前記判別手段はさらに、角度パラメータが調整された自車周辺画像の走行パラメータに基づき各撮像カメラに対応する撮像領域の繋ぎ目において特徴点の遷移情報に不連続が存在するかを判別し、前記調整手段はさらに、繋ぎ目に不連続が存在すると判別された場合には、撮像カメラの高さの特性を示す高さパラメータを調整する。好ましくは前記調整手段は、横断歩道を走行するときの車両速度が一定値以下であり、かつ車両が直進していると判定された場合に、前記角度パラメータの調整を実行する。
【００１３】
また、本発明に係るナビゲーション装置は、上記の画像表示装置を含んで構成されることができる。その場合、前記調整手段は、自車が横断歩道に接近している情報を入手したとき、実行可能になる。
【００１４】
本発明に係る画像表示装置が実行する撮像カメラのキャリブレーションプログラムは、視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得するステップと、前記参照パターンを保持するステップと、横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出するステップ、前記走行パターンに基づき調整部位を判別するステップと、判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整するステップとを有する。
【００１５】
本発明に係る画像表示装置における撮像カメラのキャリブレーション方法は、視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得するステップと、前記参照パターンを保持するステップと、横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出するステップ、前記走行パターンに基づき調整部位を判別するステップと、判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整するステップとを有する。
【発明の効果】
【００１６】
本発明によれば、横断歩道の画像から抽出された参照パターンおよび走行パターンを利用することで、撮像カメラのキャリブレーションを自動的にかつ簡単に行うことができる。これにより、経年変化等によって視点変換された画像の質の劣化を防止することができる。
【図面の簡単な説明】
【００１７】
【図１】トップビュー画像を表示するための撮像カメラの取付け位置を説明する図である。
【図２】トップビュー画像を説明する図である。
【図３】トップビュー画像の仮想視点と撮像カメラの位置関係を説明する図である。
【図４】本発明の実施例に係る画像表示装置の構成を示すブロック図である。
【図５】本発明の実施例に係るキャリブレーションプログラムの機能ブロック図である。
【図６】本発明の実施例に係るキャリブレーションの動作フローを示す図である。
【図７Ａ】本発明の実施例に係る自動キャリブレーションの詳細な動作フローを示す図である。
【図７Ｂ】本発明の実施例に係る自動キャリブレーションの詳細な動作フローを示す図である。
【図８】図８Ａ、８Ｂは、横断歩道の形状を示す図、図８Ｃは、特徴点を説明する図である。
【図９】トップビュー画像から参照パターンを取得する方法を説明する図である。
【図１０】トップビュー画像から走行パターンを抽出する方法を説明する図である。
【図１１】本発明の実施例に係る調整パターンに基づき角度パラメータを調整する例を示す図である。
【図１２】本発明の実施例に係るトップビュー画像の繋ぎ目を調整する例を示す図である。
【発明を実施するための形態】
【００１８】
次に、本発明の実施の形態について図面を参照して説明する。好ましくは、本発明に係る画像表示装置は、車両に搭載され、運転者の支援や障害物の監視等に供される。本発明に係る画像表示装置は、それ単体として車両に搭載される他、ナビゲーション装置やその他の車載用オーディオ装置やビデオ装置と組み合わせて用いることも可能である。
【実施例】
【００１９】
図４は、本発明の実施例に係る画像表示装置の構成を示すブロック図である。画像表示装置１００は、車両に搭載された複数の撮像カメラ１１０を備える。好ましい態様では、撮像カメラ１００は、図１に示したように、車両の前後左右の４箇所に取り付けられ、広角レンズを用いて自車の全周囲を撮像することができる。なお、撮像カメラ１００の数は、必ずしも４つに限定されるものではなく、それ以上もしくはそれ以下であってもよい。これらの４つの撮像カメラ１１０によって撮像されたデータは、図２に示すような自車の真上から見下ろすようなトップビュー画像に視点変換される。
【００２０】
画像表示装置１００はさらに、外部と信号の送受を行うインターフェース（Ｉ／Ｆ）部１２０、ユーザからの入力を受け取る入力部１３０、撮像カメラ１１０からの撮像データのトリミング、視点変換、合成などの処理を行う画像処理部１４０、画像処理部１４０で処理されたトップビュー画像などをディスプレイに表示する表示部１５０、画像表示のために各部を制御する制御部１６０、撮像カメラ１１０によって撮像された撮像データやキャリブレーションを実行するためのプログラム等を格納する記憶部１７０を包含する。但し、図４の構成は一例であり、画像表示装置１００は、他の構成、例えば音声出力部等を含むものであってもよい。
【００２１】
インターフェース部１２０は、例えば、車両バスを介して自車の車速情報やステアリング情報を入手することができる。好ましい態様では、車速情報やステアリング情報に基づきキャリブレーションの実行の可否が判定される。また、画像表示装置１００がナビゲーション装置と連動して用いられるとき、インターフェース部１２０は、ナビゲーション装置から自車位置周辺の道路地図データを受け取り、制御部１６０は、道路地図データを表示部１５０に表示させることができる。また、後述する横断歩道の位置情報を受け取り、横断歩道までの距離が一定に到達したとき、制御部１６０は、撮像カメラのキャリブレーションのための準備をさせることができる。
【００２２】
次に、制御部１６０の詳細について説明する。制御部１６０は、例えば、プログラムにより動作可能なコントローラから構成することができる。制御部１６０は、撮像カメラ１１０からの撮像データを視点変換してトップビュー画像を表示するためのプログラムや、撮像カメラ１１０のキャリブレーションを行うプログラム等を備え、これらのプログラムを実行することで各部の動作を制御する。また、これらのプログラムを実行するときに必要なデータを内部メモリまたは記憶部１７０に格納することができる。
【００２３】
図５は、制御部１６０に含まれるキャリブレーションプログラムの機能ブロック図である。本実施例のキャリブレーションプログラム２００は、以下の構成を含む。初期パラメータ保持部２１０は、撮像カメラ１１０が車両に搭載されたときに初期設定されたパラメータ（以下、初期パラメータという）を保持する。撮像カメラ１１０の特性を示すパラメータには、撮像カメラの取り付け角度に関する角度パラメータと、撮像カメラの取り付け高さに関する高さパラメータとが含まれる。角度パラメータは、好ましくは、ヨー（撮像カメラの光軸の水平方向の角度）、ピッチ（撮像カメラの光軸の垂直方向の角度）、ロール（撮像カメラの光軸の水平および垂直方向の回転角度）を含む。高さパラメータは、撮像カメラ１１０の光軸の鉛直方向の高さ（図３に示す高さＨｃ）を含む。
【００２４】
撮像カメラ１１０を車両に取り付けるとき、例えば、本出願人により出願された特開２０１０−２１９６６３号に記載されるように、撮像カメラ１１０は、ターゲットボードを用いて位置決めされる。ターゲットボードによる撮像カメラ１１０の位置決めは、誤差を含んでいるため、次に、電子的なキャリブレーションが行われる。電子的なキャリブレーションは、撮像カメラ１１０の取り付け位置（角度および高さ）、レンズ歪補正値、レンズの焦点距離等のカメラの特性を示すパラメータを、トップビュー画像を表示する上で、最適な値に設定する。好ましくは、撮像カメラ１１０からの撮像データを用いてトップビュー画像を生成し、トップビュー画像の繋ぎ目に不連続またはギャップが生じたりしないように、あるいはトップビュー画像に歪が生じないように、パラメータが設定される。こうして設定されたパラメータは、初期パラメータとして記憶部１７０に保持される。なお、ターゲットボードにより撮像カメラを位置決めした後に行われるキャリブレーションでは、一定の許容マージンが設定され、このマージンの範囲内でパラメータの初期設定が行われる。
【００２５】
参照パターン取得部２２０は、初期パラメータを用いて生成された、横断歩道を撮像したトップビュー画像から参照パターンを取得する。参照パターンは、後述するように、横断歩道の複数の特徴点の遷移を含む情報である。好ましい態様では、横断歩道を走行したときの撮像データが予め記憶部１７０に記憶されており、この撮像データからトップビュー画像を生成し、あたかも自車が横断歩道を走行したかの如く走行シミュレーションすることにより、参照パターンを取得する。横断歩道は、その形状が統一されており、国内では２種類存在する。図８Ａ、８Ｂにそれぞれの横断歩道の平面図を示す。いずれの横断歩道Ｐも、道路と平行な矩形状の白線部分Ｐ１を含み、白線部分Ｐ１の幅Ｌ１とその間隔Ｌ２は同じである。参照パターンを構成する特徴点は、好ましくは、図８Ｃに示すように白線部分Ｐ１のコーナーに設定される。参照パターンは、図８Ａ、図８Ｂのいずれの横断歩道Ｐから取得されるものであってもよい。
【００２６】
図９は、横断歩道からの参照パターンの抽出を説明する図である。図中、３００は、自車Ｍが横断歩道Ｐを直進したときの走行シミュレーションされた様子を表した平面図であり、３１０は、そのときのトップビュー画像から取得される参照パターンを表している。また、Ｍは自車位置を表し、Ｐは横断歩道、Ｑは横断歩道から抽出される特徴点の遷移または軌跡を表している。特徴点は、理解容易のため丸印で示される。図９Ａから図９Ｅに示すように自車Ｍが横断歩道上を走行したときに得られる特徴点Ｑの遷移は、横断歩道の白線部分のコーナー上を延びる互いに平行な直線の集合である。最終的に、図９Ｅに示すように、自車Ｍが横断歩道を走行し終わった時点の特徴点Ｑの遷移を含む参照パターン３１０が取得される。参照パターン３１０は、初期パラメータを用いて生成されたものであり、参照パターン３１０は、撮像カメラ１１０について正しくキャリブレーションされた初期パラメータを反映するものである。この参照パターンは、参照パターン保持部２３０によって記憶部１７０に保持される。なお、参照パターンは、上記のように横断歩道を走行した撮像データから走行シミュレーションすることにより取得する以外に、パラメータの初期設定後に、実際に横断歩道を走行することにより生成されたトップビュー画像から取得するものであってもよい。
【００２７】
走行パターン抽出部２４０は、初期パラメータの設定後に、実際に横断歩道を走行したときに撮像されたトップビュー画像から横断歩道の特徴点の遷移を含む走行パターンを抽出する。走行パターンの抽出は、自車が横断歩道を走行した際に行われるものであってもよいし、そのときの撮像データを記憶部１７０に保存しておき、そこから撮像データを読み出したときに生成されたトップビュー画像から走行パターンを抽出してもよい。
【００２８】
調整部位判別部２５０は、トップビュー画像の調整すべき部位を判別する。すなわち、経年変化、軽度な事故、あるいは振動などの要因により、トップビュー画像の繋ぎ目に不連続が生じたり、画像に歪が生じてしまうことがあり、こうした不具合を解消するために、初期パラメータを調整し直す必要が生じる。好ましい態様では、走行パターンの特徴点の遷移に不連続が存在するか否かがチェックされ、不連続が存在する部位が判別される。
【００２９】
パラメータ調整部２６０は、調整部位判別部２５０で判別された部位すなわち撮像カメラの初期パラメータを調整し、または既調整されたパラメータを再調整する。好ましい態様では、初期パラメータは、調整されたパラメータによって更新され、以後、調整されたパラメータによりトップビュー画像が生成される。こうして、経年変化等により歪、不連続が生じたトップビュー画像が修正される。
【００３０】
シミュレーション部２７０は、必要に応じて、撮像カメラ１１０により撮像された撮像データを記憶部１７０の保存し、記憶部１７０から撮像データを読出し、読み出された撮像データからトップビュー画像を生成させ、生成されたトップビュー画像を用いて走行シミュレーションを行い、参照パターンや走行パターンの抽出を可能にする。
【００３１】
次に、本発明の実施例に係るキャリブレーション動作を図６のフローを参照して説明する。先ず、撮像カメラが車両に取り付けられる（Ｓ１０１）。ここでは、４つの撮像カメラ１１０が図１に示すように車両の前後左右に取り付けられる。このとき、４つの撮像カメラは、ターゲットボードを用いて物理的に位置決めされる。
【００３２】
次に、電子的なキャリブレーションにより、撮像カメラ１１０の特性を示すパラメータの初期設定が行われ、記憶部１７０に保存される（Ｓ１０２）。この初期パラメータには、角度パラメータおよび高さパラメータが含まれる。次に、図９に示すように、予め用意された横断歩道の撮像データを用いてトップビュー画像の走行シミュレーションが行われ、そこから参照パターンが取得され、これが記憶部１７０に保存される（Ｓ１０３、Ｓ１０４）。
【００３３】
その後、実際に横断歩道を走行した際に、撮像カメラ１１０のキャリブレーションの必要性が自動判定され、必要であると判定されると、キャリブレーションが自動的に実施される（Ｓ１０５）。キャリブレーションの実行によって、初期パラメータ（または既調整パラメータ）が変更された場合には（Ｓ１０６）、初期パラメータ（または既調整パラメータ）が調整されたパラメータに更新される（Ｓ１０７）。以後のトップビュー画像の生成は、調整されたパラメータを用いて行われる。
【００３４】
図７Ａは、自動キャリブレーションの詳細な動作フローを示す図である。本実施例のキャリブレーションプログラム２００がどのようなタイミングで実施されるかは、特に、制限されるものではないが、１つの態様は、自車が横断歩道を走行したときに、キャリブレーションプログラム２００が動作される（Ｓ２０１）。横断歩道を走行したか否かの判別は、例えば、前方の撮像カメラ１１０により映し出された横断歩道の画像を認識すること、またはトップビュー画像に映し出された横断歩道の画像を認識することによって行われる。これ以外にも、横断歩道を走行することを視認したユーザが入力部１３０から指示を与えることによりキャリブレーションプログラム２００を起動させることができる。また、ナビゲーション装置と協働している場合には、自車位置が横断歩道の一定距離だけ手前に到達したときに起動されるようにしてもよい。さらに、自車が横断歩道を走行したときのトップビュー画像を記憶部１７０に保存しておき、記憶部１７０からトップビュー画像を読み出すときにキャリブレーションプログラム２００を実行するようにしてもよい。
【００３５】
また好ましい態様では、キャリブレーションプログラム２００は、インターフェース部１２０から、車速情報およびステアリング情報を取得し、車速が一定値以下および／またはステアリング情報からハンドル舵角が一定値以下であることを加重要件としてもよい。つまり、車速が高速になると、一定のサンプリング周期で捕獲される走行パターンにおける特徴点Ｑの遷移情報が粗くなり、また、車両が直進でないと走行パターンにおける特徴点Ｑの遷移の精度が劣化するためである。
【００３６】
キャリブレーションプログラム２００が起動されると、各撮像カメラ１１０で撮像された横断歩道の撮像データ（加工を施さない生データ）を記憶部１７０に保存する（Ｓ２０２）。次に、各撮像カメラ１１０で撮像された横断歩道の撮像データからトップビュー画像が生成され、横断歩道の白線のコーナー部の特徴点Ｑを捉えてトップビュー画像をスキャンすることで特徴点の遷移が測定される。こうして、トップビュー画像から走行パターンが抽出される（Ｓ２０３）。
【００３７】
次に、調整部位判別部２５０は、走行パターンを参照し、調整部位を判別する（Ｓ２０４）。好ましくは、調整部位判別部２５０は、各撮像カメラ１１０の画像の繋ぎ目部分に特徴点Ｑの遷移のギャップもしくは不連続が存在するか否かを判定する。もし、繋ぎ目部分にギャップが存在する場合、もしくはギャップが予め決められたしきい値よりも大きい場合には、調整部位判別部２５０は、異常ありと判定する。異常ありと判定された場合、繋ぎ目部分に隣接する撮像領域をもつ撮像カメラが特定される。また、他の判別方法として、走行パターンの特徴点Ｑの遷移と参照パターンの特徴点Ｑの遷移とを対比し、特徴点の遷移に差分が生じている撮像領域をもつ撮像カメラを特定するようにしてもよい。
【００３８】
図１０は、走行パターンから調整部位を判別する例を説明する図である。図１０の左側に示される走行パターン４００は、前方の撮像カメラの撮像領域ＣＦ、左サイドの撮像カメラの撮像領域ＣＬ、右サイドの撮像カメラの撮像領域ＣＲ、後方の撮像カメラの撮像領域ＣＢを含み、各撮像領域は、繋ぎ目４１０で合成されている。走行パターン４００の各撮像領域には、特徴点Ｑの遷移が含まれる（図中省略）。図１０の上段には、時刻Ｔ１〜Ｔ６にかけて自車が横断歩道を走行するイメージが示され、その下段の例１、例２には、走行状態Ｔ１〜Ｔ６に対応するように特徴点の遷移が示されている。但し、図面には、見易くするために２つの特徴点Ｑの遷移のみが示されている。
【００３９】
例１は、前方の撮像カメラに異常が発生している例を示している。横断歩道を通過した後の時刻Ｔ６の走行パターンにおいて、前方の撮像カメラの撮像領域ＣＦの特徴点Ｑの遷移が傾斜している。好ましい調整部位の判別方法では、撮像領域ＣＦと撮像領域ＣＬおよびＣＲとの繋ぎ目部分の特徴点Ｑの遷移にギャップが存在するため、前方の撮像カメラと左右の両サイドの撮像カメラのいずれかに異常があることが判定される。例１のように、前方の撮像カメラで撮像した特徴点Ｑの遷移が前方に向けて広がるように傾斜するのは、撮像カメラの光軸が上方に傾斜されていることにより生じ得る。
【００４０】
例２は、右サイドの撮像カメラに異常が発生している例を示しており、横断歩道を通過した後の時刻Ｔ６における走行パターンにおいて、右サイドの撮像カメラの撮像領域ＣＲにおいて特徴点Ｑの遷移が傾斜している。つまり、撮像領域ＣＲと撮像領域ＣＦおよびＣＢとの繋ぎ目部分における特徴点の遷移にギャップが存在するため、右サイドの撮像カメラ、前方の撮像カメラおよび後方の撮像カメラのいずれかに異常があることが判定される。例２のように、右サイドの撮像カメラで撮像した特徴点の遷移が傾斜していることは、右サイドの撮像カメラの光軸が後側にかつ上方に（つまり、後方の斜め上方に）傾斜していることにより生じる。
【００４１】
再び図７Ａに戻り、調整部位判別部２５０により調整部位すなわち調整すべき撮像カメラが特定されると、次に、パラメータ調整部２６０は、調整部位毎に走行パターンと参照パターンとを比較する（Ｓ２０５）。両パターンの特徴点の遷移が不一致であれば（Ｓ２０６）、パラメータ調整部２６０は、撮像カメラの取り付け角度を微調整すべく角度パラメータを調整する（Ｓ２０７）。一方、両パターンの特徴点の遷移が一致すれば（Ｓ２０６）、次の調整部位について走行パターンと参照パターンとが比較される。
【００４２】
走行パターンと参照パターンの特徴点の遷移が一致するか否かは、好ましくは、特徴点の遷移の幅、傾き、直線性等を比較することにより行われる。図１０の例１では、走行パターンの撮像領域ＣＦ、ＣＬ、ＣＲが参照パターンの撮像領域ＣＦ、ＣＬ、ＣＲとそれぞれ対比される。走行パターンの撮像領域ＣＬ、ＣＲの特徴点の遷移は、参照パターンの特徴点の遷移と一致するが、撮像領域ＣＦの特徴点の遷移は、参照パターンのそれと不一致と判定される。例１の撮像領域ＣＦの特徴点の遷移は、ほぼ左右対称にかつ前方に広がるように傾斜しているため、パラメータ調整部２６０は、前方の撮像カメラの光軸が下方に補正されるように角度パラメータを調整する。この調整は、初期パラメータを設定したときの許容マージンの範囲内で行われる。
【００４３】
図１０の例２では、走行パターンの撮像領域ＣＦ、ＣＲ、ＣＢが参照パターンの対応する撮像領域ＣＦ、ＣＲ、ＣＢとそれぞれ対比される。走行パターンの撮像領域ＣＦ、ＣＢの遷移は、参照パターンの特徴点の遷移と一致するが、撮像領域ＣＲの特徴点の遷移は、参照パターンと不一致と判定される。例２の撮像領域ＣＲの特徴点の遷移は、前方側から後方側へ向けて広がるように傾斜しているため、パラメータ調整部２６０は、右サイドの撮像カメラの光軸が前方にかつ下方に（つまり、前方の斜め下方に）に補正されるように角度パラメータを調整する。上記と同様に、この調整は、初期パラメータを設定したときの許容マージンの範囲内で行われる。
【００４４】
こうして、調整部位判別部２５０により判別された全ての調整部位について角度パラメータの調整が終了すると（Ｓ２０８）、次に、シミュレーション部２７０は、記憶部１７０に保存された各撮像カメラで撮像された横断歩道の撮像データを用いて、調整された角度パラメータに従い、トップビュー画像の生成および走行シミュレーションを実行する（Ｓ２０９）。走行シミュレーションにより得られた走行パターンをチェックし（Ｓ２１０）、適正に角度パラメータが調整されたか否かが判定され、適正でないと判定された場合には、再度、ステップＳ２０４からＳ２０８までの調整部位の判別および角度パラメータの調整が行われる。この処理を繰り返すことで、個別での角度パラメータが調整される（Ｓ２１０）。
【００４５】
角度パラメータは、上記したようにヨー、ピッチ、ロールの角度情報を含み、パラメータ調整部２６０は、初期設定したときの許容マージンの範囲内でヨー、ピッチ、ロールを調整することができる。また、図１０を参照して説明したように、走行パターンの特徴点の遷移を解析することで、ヨー、ピッチまたはロールのいずれを優先的に調整するかを判定することができる。このような調整は、リアルタイムの計算により行われるが、これ以外の方法で角度パラメータを調整する方法を説明する。
【００４６】
パラメータ調整部２６０は、角度パラメータを異にする複数の調整パターンを予め記憶部１７０に記憶し、複数の調整パターンの中から最適な調整パターンを選択する。好ましくは、ヨー、ピッチ、ロールのそれぞれの値が、許容マージンの最小値から最大値までの範囲で所定の離間した値をとるような複数の調整パターンが用意される。例えば、ヨーの角度θyが、最小値θmin、θ1、θ2、・・・θｎ、最大値θmaxで異なる、複数の調整パターンであってもよいし、ヨー、ピッチ、ロールのいずれかの組合せにおいて角度が異なる、複数の調整パターンであってもよい。
【００４７】
パラメータ調整部２６０は、複数の調整パターンのすべてを用いて角度パラメータを修正し、修正された角度パラメータの中から最適なものを選択することができる。この場合、角度パラメータが修正されるたびにシミュレーション部２７０により走行シミュレートが実施され、その走行パターンと参照パターンとが比較され、比較結果がメモリに保持される。そして、すべての調整パターンの中から、参照パターンとの差分が一番小さくなるものが選択され、この選択された調整パターンにより角度パラメータを調整する。あるいは、パラメータ調整部２６０は、調整パターンを順次選択していく中で、参照パターンとの差分がしきい値以下となるものが生じた場合には、当該調整パターンを選択し、これにより角度パラメータを調整するようにしてもよい。この場合、すべての調整パターンによる角度パターンの修正を行う必要がないので、キャリブレーション処理の高速化を図ることができる。
【００４８】
図１１は、複数の調整パターンから選択された調整パターンにより角度パラメータを決定する例を示している。図１１Ａは、前方の撮像カメラのヨーとピッチがずれていた場合のトップビュー画像を模式的示している。この場合、横断歩道Ｐは、前方に向けて広がるように表示される。図１１Ｂは、調整パターンＡ、Ｂ、Ｃにより角度パラメータが調整された走行パターンと参照パターンとの比較を示している。ラインで示すものが参照パターンの特徴点の遷移であり、●で示すものが走行パターンの特徴点である。
【００４９】
調整パターンＡ、Ｂの場合、走行パターンの特徴点の遷移は、参照パターンの遷移に一致しない例を示している。一方、調整パターンＣにより角度パラメータを調整された走行パターンの特徴点の遷移は、参照パターンの遷移にほぼ一致している例を示している。ここでは、調整パターンＣが選択され、その結果、図１１Ｃに示すように、前方の撮像カメラのヨーとピッチが修正されたことで、横断歩道Ｐの画像は白線部分が平行に延びるように適切に表示されている。
【００５０】
図７Ａに示す個別の調整部位での角度パラメータの調整が終了されると、次に、パラメータ調整部２６０は、トップビュー画像の繋ぎ目処理を行う。図７Ｂは、その処理フローを示している。シミュレーション部２７０により、部位別に角度パラメータが調整された撮像データからトップビュー画像が生成され、走行パターンが抽出される（Ｓ２１１）。次に、調整部位判別部２５０により走行パターンの繋ぎ目における特徴点の遷移のギャップまたは不連続の有無が判別される（Ｓ２１２）。パラメータ調整部２６０は、繋ぎ目のギャップを解消すべく、繋ぎ目に隣接する撮像領域をもつ撮像カメラの高さパラメータを調整する。高さパラメータは、撮像カメラの光軸の鉛直方向の高さであり、初期設定されたときの許容マージンの範囲内で高さパラメータが調整される。
【００５１】
図１２は、高さパラメータの調整例を示している。図１２の上段には、時刻Ｔ１〜Ｔ６にかけて自車が横断歩道を走行するシミュレーションが示され、その下段の例１、例２には、走行状態Ｔ１〜Ｔ６に対応するように特徴点Ｑの遷移が示されている。但し、図面には、見易くするために２つの特徴点の遷移のみが示されている。
【００５２】
例１では、前方の撮像カメラの高さに異常が存在する例を示している。横断歩道を通過した後の時刻Ｔ６の走行パターンにおいて、前方の撮像カメラの撮像領域ＣＦの特徴点Ｑの遷移が、左右の撮像カメラの撮像領域ＣＬ、ＣＲの特徴点の遷移からズレている。この場合、撮像領域ＣＬ、ＣＲの特徴点の遷移は、後方の撮像カメラの撮像領域ＣＢの特徴点の遷移と一致しているため、前方の撮像カメラに異常があると判別される。前方の撮像領域ＣＦの特徴点の遷移は、撮像領域ＣＬ、ＣＲの特徴点の遷移よりも内側に存在する。これは、前方の撮像カメラが幾分高い位置にあることを示している。このため、パラメータ調整部２６０は、前方の撮像カメラの高さパラメータが高くなるような調整を行う。
【００５３】
図１２の例２では、右サイドの撮像カメラの高さに異常が存在する例を示している。横断歩道を通過した後の時刻Ｔ６の走行パターンにおいて、右サイドの撮像領域ＣＲの特徴点の遷移が、前方および後方の撮像領域ＣＦ、ＣＢの特徴点の遷移からズレている。撮像領域ＣＲの特徴点の遷移が２つの繋ぎ目においてズレているため、右サイドの撮像カメラに異常があると判別される。右サイドの撮像領域ＣＲの特徴点の遷移は、前方および後方の撮像領域ＣＦ、ＣＢの特徴点の遷移よりも外側にズレている。これは、右サイドの撮像カメラが幾分低い位置にあることを示している。このため、パラメータ調整部２６０は、右サイドの撮像カメラの高さパラメータが低くなるような調整を行う。
【００５４】
高さパラメータの調整を行った後に、シミュレーション部２７０により生成された走行パターンに基づき調整部位判別部２５０により繋ぎ目が適正であるか否かが判定され（Ｓ２１４）、繋ぎ目にギャップが存在すれば、再度、高さパラメータの調整が行われる。こうして、すべての繋ぎ目が適正と判定されると（Ｓ２１５）、撮像カメラのキャリブレーションが終了する。
【００５５】
このように本実施例によれば、路面に形成された横断歩道を利用して、撮像カメラのキャリブレーションの必要性を自動で判定し、かつキャリブレーションを自動で実施するようにしたので、従来のように、ディーラー等へ出向いてキャリブレーションを行う必要がなくなり、キャリブレーションに要する時間およびコストを削減することができる。
【００５６】
また、横断歩道は、他の駐車場の白線等のパターンと比較して出現頻度が高いため、キャリブレーションを実行するための時間的制約が少なく、適宜、キャリブレーションを行うことができる。さらに横断歩道は、規格化された白色のパターンであるため、輝度判定による認識が容易であり、かつ特徴点も抽出し易すく、キャリブレーションの精度を高めることが可能である。さらに横断歩道は、車線の全体に存在するため、車両の全方向の撮像カメラのキャリブレーションを網羅することができる。さらに、横断歩道上を通過する車両の速度も遅い（徐行）ことが多く、これにより特徴点の抽出の精度も高まる。さらに横断歩道は、地図データベースにより識別可能であるため、ナビゲーション装置との連携において、横断歩道が接近したときに、キャリブレーションプログラム２００が動作可能になるように設計することができる。
【００５７】
さらに、撮像カメラのキャリブレーションを行うタイミングは、必ずしも、自車が横断歩道を走行した時点に限定されるものではない。例えば、撮像カメラにより横断歩道を走行したときの撮像データをメモリに記憶しておき、その後に、メモリから撮像データを読出し、シミュレーション部で撮像データに基づくトップビュー画像を生成し、そこから走行パターンを抽出し、キャリブレーションを実施するようにしてもよい。
【００５８】
また、トップビュー画像の繋ぎ目に不連続が生じていること、あるいは撮像領域に映し出された物体に歪が生じていることがユーザによって視認されたとき、ユーザは、キャリブレーションの実行の指示を与えるようにしてもよい。この指示に応じて、キャリブレーションプログラム２００が起動され、撮像カメラによって横断歩道が撮像されたとき、トップビュー画像から走行パターンを抽出するようにしてもよい。
【００５９】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００６０】
１００：画像表示装置                      １１０：撮像カメラ
１２０：Ｉ／Ｆ部                          １３０：入力部
１４０：画像処理部                        １５０：表示部
１６０：制御部                            １７０：記憶部
２００：キャリブレーションプログラム      ２１０：初期パラメータ保持部
２２０：参照パターン取得部                ２３０：参照パターン保持部
２４０：走行パターン抽出部                ２５０：調整部位判別部
２６０：パラメータ調整部                  ２７０：シミュレーション部
３００：走行シミュレーションの状態        ３１０：参照パターン
３２０：画像の繋ぎ目                      ４００：走行パターン
Ｐ：横断歩道                              Ｑ：特徴点
Ｍ：自車位置                              ＣＦ、ＣＲ、ＣＬ、ＣＢ：撮像領域
【図１】
0005971939.tif 000002
【図２】
0005971939.tif 000003
【図３】
0005971939.tif 000004
【図４】
0005971939.tif 000005
【図５】
0005971939.tif 000006
【図６】
0005971939.tif 000007
【図７Ａ】
0005971939.tif 000008
【図７Ｂ】
0005971939.tif 000009
【図８】
0005971939.tif 000010
【図９】
0005971939.tif 000011
【図１０】
0005971939.tif 000012
【図１１】
0005971939.tif 000013
【図１２】
0005971939.tif 000014