(57)【特許請求の範囲】
【請求項１】
自車両の周囲の状況を撮像する撮像手段と、
車速を検出する車両情報取得手段と、
前記車両情報取得手段で得た車速に基づき、前記撮像手段で用いられるカメラの姿勢を算出するカメラ姿勢推定部と、
前記撮像手段が撮像した画像と前記カメラ姿勢推定部が算出したカメラ姿勢の変化量から対象物までの距離を算出する距離算出部と、
前記距離算出部が算出した距離情報を記憶する距離情報記憶部と、
前記カメラ姿勢推定部で算出したカメラ姿勢の変化量が所定値より小さい場合は、前記距離算出部が算出した距離情報を用いて距離情報を更新し、前記変化量が所定値以上の場合は、前記距離情報記憶部にすでに記憶されている距離情報を用いて距離情報を更新すると判断する距離情報更新判断部と、
前記距離情報更新判断部が判断した内容に従い出力情報を生成する出力情報生成部と
を備えた車両周囲監視装置。
【請求項２】
前記距離情報更新判断部が前記距離情報記憶部にすでに記憶されている距離情報を用いて距離情報を更新する場合、運転者が新たな障害物に気をつけるように、対象物と自車の間のエリアについて注意を払う意図の表示を行う表示手段を設けた
請求項１記載の車両周囲監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラにより自車両周辺の障害物までの距離を算出する車両周囲監視装置に関するものである。
【背景技術】
【０００２】
従来の車両周囲監視装置として、車両にカメラを搭載し、撮像した車両周囲の映像から衝突の危険性がある障害物までの距離を検出するシステムがある。特に、車載カメラを用いた装置の場合には、車両の挙動によるピッチ（縦に揺れる動き）など、カメラの姿勢変化が生じた場合でも安定して検出できることが重要となる。【０００３】
そこで、カメラで撮像した画像から道路の境界線や、消失点を利用した画像処理により姿勢変化量を算出し、補正する方法が知られている（特許文献１、２参照）。【０００４】
また、カメラによって得られる画像から複数の対象物を抽出し、これらの複数の対象物の高さ方向の位置の変位量の平均値を、ピッチとして算出して座標を補正する方法が知られている。（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２５９９９５号公報
【特許文献２】特許第３８２０８７４号公報
【特許文献３】特許第３９１０３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の車両用監視装置においては、特許文献１、２にあるような左右の道路走行境界線の高さや、走行路の幅情報、また左右の境界線から算出される消失点情報を用いてピッチによるカメラ姿勢の変化を補正するため、境界線がないような道路を走行する場合、特に駐車場などの境界線が無い場合や、駐車枠が描かれていても後方カメラの撮像範囲に殆ど入らない場合など、境界線の情報は使うことができずピッチによる影響を排除することができない。また、特許文献３にあるような境界線を使わずに対象物の高さの変化により、ピッチを補正する方法は、原理的には対象物までの距離を正確に測る手段が必要であり、特許文献３では具体的にはステレオカメラ装置で説明されている。２台のカメラを並べたステレオ式の距離算出装置は、システム構成が複雑で大きくなり、さらにカメラ間の高い校正精度が要求されるため、システムコストや車両への設置コストが大きくなるという問題があった。また、対象物の中に移動体が混在する場合、カメラ姿勢のピッチでずれたのか、対象物が移動してずれたのか判断できず、正確に補正できないという課題があった。【０００７】
本発明の目的は、ピッチの発生などによるカメラ姿勢による距離誤差の影響を低減し、対象物までの距離を正確に表示することができる車両周囲監視装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の車両周囲監視装置は、自車両の周囲の状況を撮像する撮像手段と、車速を検出する車両情報取得手段と、前記車両情報取得手段で得た車速に基づき、前記撮像手段で用いられるカメラの姿勢を算出するカメラ姿勢推定部と、前記撮像手段が撮像した画像と前記カメラ姿勢推定部が算出したカメラ姿勢の変化量から対象物までの距離を算出する距離算出部と、前記距離算出部が算出した距離情報を記憶する距離情報記憶部と、前記カメラ姿勢推定部で算出したカメラ姿勢の変化量が所定値より小さい場合は、前記距離算出部が算出した距離情報を用いて距離情報を更新し、前記変化量が所定値以上の場合は、前記距離情報記憶部にすでに記憶されている距離情報を用いて距離情報を更新すると判断する距離情報更新判断部と、前記距離情報更新判断部が判断した内容に従い出力情報を生成する出力情報生成部とを有する。
【発明の効果】
【０００９】
本発明の車両周囲監視装置は、カメラ姿勢推定部で推定したカメラ姿勢の変化量に基づき、距離算出部が算出した距離情報か、距離情報記憶部に記憶されている距離情報を用いて距離情報を更新するかを判断する距離情報更新判断部を設けることにより、ピッチなどカメラ姿勢の変化による距離データへの影響を推定し、対象物までの距離を正確に出力することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態における車両周囲監視装置の構成を示すブロック図
【図２】同装置において、車両へのカメラ設置を示す図
【図３】同装置のカメラ−実世界間の関係を示す図
【図４】同装置の動作説明のためのフロー図
【図５】同装置のカメラの姿勢変化を示す図
【図６】同装置の車両の加速度とカメラ姿勢のピッチ角度変化の関係を示す図
【図７】同装置において、車両の走行環境を示す図
【図８】同装置の距離データ表示を示す図
【図９】同装置において、車両移動時の移動量を示す図
【図１０】同装置の過去の記憶情報を用いた距離データ表示を示す図
【図１１】同装置において、車両移動中に新たな対象物が接近した場合を示す図
【図１２】同装置において、車両移動中に新たな対象物が接近し、過去の記憶情報を用いた距離データ表示を示す図
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態の車両周囲監視装置について、図面を用いて説明する。
【００１２】
図１は、車両周囲監視装置の構成を示すブロック図である。撮像手段１は自車両の周囲の状況を撮像し、車両情報取得手段２は車速などを取得する。撮像手段１は、デバイスとしてＣＣＤカメラやＣＭＯＳカメラがあり、車両後部のナンバープレートやエンブレム付近、または最上部に設置され自車の後方を撮像するリアカメラや、サイドミラーに設置され自車の側方を撮像するサイドカメラなどがある。車両情報取得手段２は、例えば車両から得られる車速信号で、アナログ信号の場合はＡ／Ｄ変換Ｉ／Ｆ、ＣＡＮ情報の場合はＣＡＮ信号を取得するＩ／Ｆにより取得する。なお、この他にも車両情報として照度センサの情報やハンドル舵角の値を取得してもよい。
【００１３】
信号処理手段３は、撮像手段１で撮像された画像データと車両情報取得手段２で取得した車両情報を用いて、画像データを処理し、対象物までの距離情報を表示手段９へ出力する。信号処理手段３は、カメラ姿勢推定部４、距離情報更新判断部５、距離情報記憶部６、距離算出部７、出力情報生成部８から構成される。カメラ姿勢推定部４は、車両情報取得手段２で取得した車両速度が入力され、車両の挙動変化からカメラの姿勢を推定する。距離情報更新判断部５は、カメラ姿勢推定部４で推定された姿勢状態に基づいて、距離情報を撮像手段１で撮像された画像から算出するか、距離情報記憶部６に記憶されている距離情報を用いるかを判断する。距離情報記憶部６は、距離情報更新判断部５が撮像手段１で撮像した画像から距離情報を算出すると判断した場合に、距離算出部７が算出した距離情報を記憶する。出力情報生成部８は、距離算出部７が算出した距離情報、もしくは、距離情報記憶部６から読み出した距離情報を、出力情報としてデータを生成する。
【００１４】
以上のように構成された車両周辺監視装置について、以下でその動作を説明する。
【００１５】
まず最初に、カメラの車両への設置例と距離データの取得方法を説明する。図２はカメラの車両への設置例を示しており、カメラは路面から高さｈ２０に設置されている。またカメラの姿勢は、車両の前後方向で後退方向を正とし、かつ地面に並行な向きをＺ軸（カメラの光軸方向）、Ｚ軸方向に対して車両の幅方向かつ地面と並行な向きをＸ軸、Ｚ軸に対して鉛直方向下向きをＹ方向とした。
【００１６】
このように車両に設置されたカメラは、図３に示すように、その設置条件（路面からの高さ（ｈ）、光軸の向き）とカメラの特性（撮像素子の画素間隔（ｉｕ，ｉｖ）、焦点距離（ｆ）、レンズ歪補正データ）が既知であると、光学系の幾何学的な拘束条件により、撮像画面の座標（ｕ，ｖ）と路面の各地点の座標（ｘ，ｙ，ｚ）には以下の関係が成り立ち、距離を算出することができる。
【００１７】
ｕ＝ｆ／ｉｕ×ｘ／ｈ        （１）
ｖ＝ｆ／ｉｖ×ｙ／ｈ        （２）
【００１８】
この原理を利用して、予めカメラに、撮像画面内の各座標に対する距離データをメモリ上に有する。
【００１９】
図４は、本実施の形態の車両周囲監視装置における信号処理のフロー図を示す。
【００２０】
本信号処理の各回の実行時には、まずステップＳ４０で、信号処理手段３は撮像手段１から新たな画像データを読み込み、取得時の時刻とともにメモリに保存する。
【００２１】
ステップＳ４１で、車両情報取得手段２は車両速度を取得し、取得時の時刻とともに逐次メモリに保存する。
【００２２】
ステップＳ４２で、前回距離を算出した時刻からの時刻変化を基に単位時間あたりの車両速度を求め、加速度を算出する。
【００２３】
ステップＳ４３で、カメラ姿勢推定部４はステップＳ４２で算出した加速度から車両の挙動変化、すなわちカメラの姿勢を推定する。ここで加速度から推定される車両の挙動変化について説明する。
【００２４】
図５は車両に設置されたカメラの座標軸を示しており、車両の前後方向で後退方向を正とし、かつ地面に並行な向きをＺ軸（カメラの光軸方向）、Ｚ軸方向に対して車両の幅方向かつ地面と並行な向きをＸ軸、Ｚ軸に対して鉛直方向下向きをＹ方向とした例である。
【００２５】
一般的に車両の加速度が大きい場合、車両の挙動変化が大きくなり、例えば加速した場合は、カメラの姿勢としては、Ｘ軸周りにθ１変化し、車両の進行方向のＺ軸がｚ´方向（ピッチが＋方向）、鉛直方向Ｙ軸がｙ´にそれぞれ傾く。逆にブレーキ等をかけて車両を制動する場合はＸ軸周りにθ２変化し、Ｚ軸がｚ´´方向（ピッチが−方向）、鉛直方向Ｙ軸がｙ´´に傾く。
【００２６】
車両の挙動変化量の値は、図６に示すように車両の加速度と、ピッチ角度の変動量を予め関連付けたデータを準備してもよい。ところで、加速度が大きく車両挙動が激しく変動する場合は、微小時間あたりの挙動変化も大きくなり、他の姿勢センサを用いずカメラ撮像画像に対応した正確な車両の姿勢の変化量を算出することは困難となる。したがって地面に対して車両に取り付けたカメラの姿勢が既知であることを前提とした距離測定方法では誤差が大きくなる。
【００２７】
ステップＳ４４では、距離情報更新判断部５が、ステップＳ４３で推定した車両挙動変化量を基に、挙動変化が閾値以内であれば、ステップＳ４０で読み込んだ画像から距離を算出するためステップＳ４５へ進み、閾値以上であれば画像処理で距離を算出すると誤差が大きくなると判断してステップＳ４７へ進む。
【００２８】
閾値は、図６に示したような車両挙動変化（ピッチ角度）に対して、予めＲＯＭに設定された何パターン（ｅｘ．Ｌｏ：加速度０．５、Ｍｉｄ加速度：１．０、Ｈｉ：加速度１．５）かの値の中からユーザが選択してもよいし、あるいは車両の重量およびサスペンションのコイルやダンパーなどの車両特性を考慮して予め設定してもよい。
【００２９】
ステップＳ４５で、距離算出部７が、ステップＳ４０で読み込んだ画像から画像内に撮像されている対象物までの距離を算出する。距離の算出は、画像処理により対象物が路面に接する部分のエッジを抽出し、そのエッジの位置について、前述の光学系の幾何学的な拘束条件により、撮像画面の座標と、路面の各地点の座標の関係式（１）と（２）、およびステップＳ４３で推定したピッチ角を用いて算出する。
【００３０】
ステップＳ４６で、距離情報記憶部６は、ステップＳ４０で取得した画像データと、ステップＳ４３で推定した車両挙動変化量と、ステップＳ４５で算出した距離を、時刻情報とともに記憶する。
【００３１】
ステップＳ４７では、ステップＳ４４で距離情報更新判断部５が車両の挙動変化が閾値以上、すなわち画像から対象物までの距離を算出すると誤差が大きくなると判断した場合に、距離情報記憶部６が車両挙動変化が少ない状態時に記憶した距離データと記憶時の時刻情報を取得する。
【００３２】
ステップＳ４８では、出力情報生成部８が、ステップＳ４５で算出した距離情報、もしくはステップＳ４７で取得した距離情報を、自車から対象物までの距離情報として、出力情報を生成する。出力情報は、リアルタイムに算出された距離データなのか、過去の情報を用いて推定された距離データなのかに応じて、出力情報の内容を分けて生成する。
【００３３】
出力情報を図７のように、壁面と柱のある環境に対して、車両を後退させた場合を用いて示す。
【００３４】
図８内の左図では、リアルタイムに対象物までの距離情報を算出した場合の表示例である。リアルタイムに撮像画像から距離を算出しているので、表示手段９では表示画像に重畳する方法で対象物までの算出距離を表示している。
【００３５】
図８内の右図では、さらに距離算出時の挙動変化量から推定される誤差を考慮して、表示した例である。表示手段９は、車両挙動によりカメラ姿勢のピッチ方向の変動が発生すると、対象物までの距離が大きくなる（離れる）につれて誤差が大きくなるため、その信頼性を考慮した表示とする。
【００３６】
次に、過去の距離情報を使用した場合の表示例である。
【００３７】
まず、図９では過去の情報の距離情報は、ｄ９１に示すように距離データ算出時の時刻から現在の時刻までの車両の移動量を考慮して、図８内の左図に対して、図１０に示すように画像データを車両移動量ｄ９１だけシフトし、画像中の対象物に対して距離データが更新される（例では、図８の状態に対して３０ｃｍ）。移動量は、車両情報から取得してメモリに保存されている車速情報を経過時間分、積分することにより得られる。
【００３８】
また、リアルタイムの情報ではないため、対象物の消滅、新たな対象物の出現、対象物の移動等を考慮しなければならない。例えば、図１１内の左図に示すように距離データの算出時刻から現在時刻までの間に移動物体が接近してきた場合、本来は図１１の右図のように提示する必要があるが、過去の画像データを使用しているため、このような接近物をユーザに情報提示することができない。このような新たな障害物の存在の可能性に注意をはらうため、図１２ではｒ１２１に示すように対象物と自車の間のエリアについて特に注意を払う意図の表示を行っている。
【００３９】
なお、本実施の形態では、車両の速度の変化からピッチ方向の挙動変化を推定して、対象物までの距離を算出するか、過去の情報を距離情報として判断する例をあげたが、車両情報として、舵角（ハンドル回転角、もしくは、左右の各車輪パルスから算出）を用いて、車両のロール方向の挙動変化も考慮することにより、同様の効果を得る構成にしてもよい。
【００４０】
このような本実施の形態の車両周囲監視装置によれば、距離情報更新判断部５が、車両速度の変化からカメラの挙動変化を推定し、その挙動量により、撮像された映像からリアルタイムに対象物までの距離を算出するか、過去に記憶された距離データを用いるのか判判断するので、対象物までの距離を正確に算出することができる。
【００４１】
２００９年９月３０日出願の特願２００９−２２６９４２の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【００４２】
以上のように、本発明にかかる車両周囲監視装置は、車両情報を用いて、カメラの姿勢を推定する手段を設けることにより、ピッチなどカメラ姿勢の変化による距離データへの影響を推定し、対象物までの距離を安定して出力することができるという効果を有し、自車両周辺の障害物までの距離を算出する車両周囲監視装置として有用である。
【符号の説明】
【００４３】
１  撮像手段
２  車両情報取得手段
４  カメラ姿勢推定部
５  距離情報更新判断部
６  距離情報記憶部
７  距離算出部
８  出力情報生成部
９  表示手段
【図１】
0005538411.tif 000002
【図２】
0005538411.tif 000003
【図３】
0005538411.tif 000004
【図４】
0005538411.tif 000005
【図５】
0005538411.tif 000006
【図６】
0005538411.tif 000007
【図７】
0005538411.tif 000008
【図８】
0005538411.tif 000009
【図９】
0005538411.tif 000010
【図１０】
0005538411.tif 000011
【図１１】
0005538411.tif 000012
【図１２】
0005538411.tif 000013