(57)【要約】【課題】対象物と走路面との接点との輝度差がない場合でも、自車両と対象物との距離を算出することができる車載用距離算出装置を提供する。【解決手段】自車両の所定位置に配置され、自車両の近傍を撮像するカメラ１と、カメラ１により撮像された画像からその近傍領域と輝度差が大きいなどの特徴点を抽出するマイクロコンピュータ４とを有し、マイクロコンピュータ４により、抽出された特徴点の中から実空間上で走路面に存在する基準特徴点を抽出し、基準特徴点と特徴点の画像位置の時間的変化から、基準特徴点と特徴点の実空間位置を算出し、基準特徴点もしくは特徴点の実空間位置から自車両と対象物との距離を算出する。【選択図】    図１
2005030968.tif 000002
【特許請求の範囲】
【請求項１】
自車両の所定位置に配置され、上記自車両の近傍を撮像する撮像手段と、
上記撮像手段により撮像された画像から特徴点を抽出する特徴点抽出手段と、
上記特徴点抽出手段により抽出された上記特徴点の中から、実空間上で走路面に存在する基準特徴点を抽出する基準特徴点抽出手段と、
上記基準特徴点と上記特徴点の画像位置の時間的変化から、上記基準特徴点と上記特徴点の実空間位置を算出する実空間位置算出手段と、
上記実空間位置算出手段により算出された上記基準特徴点もしくは上記特徴点の上記実空間位置から、上記自車両と対象物との距離を算出する対象物距離算出手段と
を有することを特徴とする車載用距離算出装置。
【請求項２】
上記基準特徴点抽出手段において、上記基準特徴点として上記対象物の上記走路面における影を抽出することを特徴とする請求項１記載の車載用距離算出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両と対象物との距離を算出する車載用距離算出装置に関する。
【背景技術】
【０００２】
従来より、自車両にセンサを搭載し、自車両から該自車両の前方の対象物までの距離を算出する技術が研究されているが、単一カメラで撮像された画像から対象物までの距離を算出する方法は、ステレオカメラを用いて距離を算出する方法と比べて、安価であり、システム構成も簡単であるなどの利点がある。このように単一カメラから対象物までの距離を算出するには、次のように距離算出が行われる。すなわち、１つのカメラが走路面に対して高さＨ、角度θで車両に設置されている。このカメラにより撮像された画像上における対象物の上下方向の座標をｙｔ、カメラの焦点距離をｆとすると、対象物までの距離Ｌは、式（１）で計算される。  
Ｌ＝Ｈ（ｙｔ・ｔａｎθ＋ｆ）／（ｆ・ｔａｎθ−ｙｔ）      …（１）
【特許文献１】特開２００１−１１６５１２号公報
【特許文献２】特開平５−１５７５５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のような従来の技術にあっては、カメラの設置位置と、平面である走路面と、対象物と走路面との接点を用いて、三角測量法により自車両と対象物との距離を算出するため、対象物の影により、対象物と走路面の接点との輝度差がない場合など、対象物と走路面との接点を検出することができず、自車両と対象物との距離が算出できないことがあった。  
本発明の目的は、自車両と対象物との距離を安価に算出することができる車載用距離算出装置を提供することにある。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、本発明の車載用距離算出装置は、自車両の近傍を撮像する撮像手段と、この撮像手段の撮像画像から特徴点を抽出する特徴点抽出手段と、特徴点の中から実空間上で走路面に存在する基準特徴点を抽出する基準特徴点抽出手段と、基準特徴点と特徴点の画像位置の時間的変化から、基準特徴点と特徴点の実空間位置を算出する実空間位置算出手段と、基準特徴点もしくは特徴点の実空間位置から、自車両と対象物との距離を算出する対象物距離算出手段とを有するという構成になっている。
【発明の効果】
【０００５】
本発明によれば、自車両と対象物との距離を安価に算出することができる車載用距離算出装置を提供することができる。
【発明を実施するための最良の形態】
【０００６】
以下、図面に基づき本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。  
図１は、本発明の車載用距離算出装置の実施の形態の構成ブロックである。図１に示すようにカメラ１、車両センサ２、画像メモリ３、マイクロコンピュータ４、警報装置５が接続されている。  
カメラ１は、自車両の所定位置、例えば車両前部に設けられ、自車両前方を撮像する。車両センサ２は、自車両の挙動ここでは自車両の速度、操舵角を計測する。画像メモリ３は、カメラ１から入力された信号をデジタル値に変換し保持する。マイクロコンピュータ４は、画像メモリ３に保持されたデジタル画像を入力し、自車両から前方の対象物（障害物）までの距離を算出する。また、マイクロコンピュータ４は、車両センサ２から入力された自車両速度、操舵角から所定時間後の自車両位置を予測し、前方の対象物に衝突するか否かの判断をする。警報装置５は、マイクロコンピュータ４で前方障害物と衝突すると判断された場合、例えばブザーを鳴らして警報する。
【０００７】
図２、図３は、本実施の形態においてマイクロコンピュータ４により抽出された特徴点から実空間の走路面上に存在する基準特徴点を抽出する基本原理を示す図である。図２は、カメラ１で撮像した画像上の対象物１２とその影１５を示す。図３（ａ）は、自車両１０と先行車両１１の走路面上の走行シーンを示し、（ｂ）はそのときにカメラ１で撮像した撮像画像を示す。図２に示すように特徴点１３の近傍に所定サイズの基準特徴点判定窓１６を配置し（ここでは４個１組の構成となっている）、基準特徴点判定窓１６内の画像輝度値の平均値と分散値を算出する。基準特徴点判定窓１６ｂは走路面に投影された影であるため、走路面である基準特徴点判定窓１６ａと比較して平均輝度値は影によりオフセットして低くなり、分散値は同じ走路面（同じテクスチャ）であるため等しくなる。このようにして基準特徴点判定窓１６の分散値が等しく、平均輝度値が走路面輝度と影によりオフセットしている輝度値に２極化している特徴点を抽出することで、対象物自体を含む特徴点から影の特徴点のみを抽出することができる。また、図３に示すように、自車両１０の直前を基準走路面１７とし、撮像画像から基準走路面１７のパターンデータを記憶する。次に、このパターンと基準特徴点判定窓１６の相関度が高いもののみを抽出することで、抽出された影の特徴点から走路面上にある影の特徴点のみ抽出できる。
【０００８】
図４〜図８は、本実施の形態において走路面上の対象物１２の特徴点である基準特徴点１４と、対象物１２の特徴点１３の画像上の座標から、実空間上の基準特徴点１４と対象物１２の特徴点１３の位置関係を算出する基本原理を示している。  
図４（ａ）、（ｂ）はそれぞれ時刻Ｔ０と時刻Ｔ１における基準特徴点１４と特徴点１３の実空間位置と撮像画像座標を示し、図５（ａ）、（ｂ）はそれぞれ上方から見た実空間位置と撮像画像座標の関係を示し、図６（ａ）、（ｂ）はそれぞれ側方から見た実空間位置と撮像画像座標の関係を示し、図７は側方から見た実空間における基準特徴点１４と特徴点１３の時間的変化を示し、図８は側方から見た実空間における基準特徴点１４と特徴点１３の実空間位置を示す。  
図４（ａ）に示すように時刻Ｔ０における対象物１２の基準特徴点１４の画像座標を（ｘｂｏ,ｙｂ０）、実空間位置を（Ｘｂｏ,Ｙｂ０,０）とし、対象物１２の特徴点１３の画像座標を（ｘｆｏ,ｙｆ０）、実空間位置を（Ｘｆ０,Ｙｆ０,Ｚｆｏ）とする。また、図４（ｂ）に示すように時刻Ｔ１における対象物１２の基準特徴点１４の画像座標を（ｘｂ１,ｙｂ１）、実空間位置を（Ｘｂ１,Ｙｂ１,０）とし、対象物１２の特徴点１３の画像座標を（ｘｆ１,ｙｆ１）、実空間位置を（Ｘｆ１,Ｙｆ１,Ｚｆ１）とする。また、図５、図６より実空間における視軸からのずれ角（以下見え角と記す）（θx，θy）は画像位置（ｘ,ｙ）を用いて幾何学的に、以下のような式で表されることがわかる。  
θx＝ｆ（ｘ）
θy＝ｇ（ｙ）      …（２）
すなわち、視軸からのずれ画素−視軸からのずれ角の関係は、以下のような式で表される。  
θｘ＝２ｔａｎ−１（Ｃｘ／２・Ｆ）／Ｐｉｘ・Ｐｘ
θｙ＝２ｔａｎ−１（Ｃｙ／２・Ｆ）／Ｐｉｙ・Ｐｙ
図７は時刻Ｔ０と時刻Ｔ１における基準特徴点１４と特徴点１３の実空間位置を示している。このように高さＨに車載されたカメラ１から、実空間位置でｄＹ離れた基準特徴点１４と特徴点１３を撮像した場合、時刻Ｔ０における基準特徴点１４と特徴点１３の実空間位置は、
θｂＴ０＝Ｈ／Ｌ      …（３）
θｆＴ０＝（Ｈ−Ｚ）／（Ｌ＋ｄＹ）      …（４）
となる。  
また、これらの基準特徴点１４と特徴点１３が時刻Ｔ１までに相対距離ｄＹ移動した時の空間位置は、
θｂＴ１＝Ｈ／（Ｌ＋ｄＬ）      …（５）
θｆＴ１＝（Ｈ―Ｚ）／（Ｌ＋ｄＹ＋ｄＬ）      …（６）
となる。  
また、式（２）より、全ての見え角θｂＴ０，θｆＴ０，θｂＴ１，θｆＴ１は撮像した画像座標から算出できる。さらに、カメラの設置高さＨは既知であるため、式（３）（４）（５）（６）を用い、基準特徴点１４と特徴点１３の実空間位置差ｄＹと高さＺは、
ｄＹ＝（θｆＴ１／θｂＴ１−θｆＴ０／θｂＴ０）／（θｆＴ０−θｆＴ１）・Ｈ      …（７）
Ｚ＝(１−(θｆＴ０・θｆＴ１(θｂＴ０−θｂＴ１))／(θｂＴ０・θｂＴ１(θｆＴ０−θｆＴ１)))・Ｈ      …（８）
となる。  
図８は基準特徴点１４と特徴点１３のカメラ１の視軸から見て横方向の空間位置を示し、基準特徴点１４と特徴点１３の横位置Ｘｂ、Ｘｆおよび基準特徴点１４と特徴点１３の位置差ｄＸは、
Ｘｂ＝Ｌ・ｔａｎθｘｂ
Ｘｆ＝（Ｌ＋ｄＹ）・ｔａｎθｘｆ
ｄＸ＝Ｘｂ−Ｘｆ
となり、（３）（７）式を代入することで算出できる。  
すなわち、対象物１２の走路面上の基準特徴点１４と対象物１２の特徴点１３の時間的変化を計測することで、この２点の実空間的位置（配置）が算出できる。
【０００９】
図９は、以上述べた基本原理に従って対象物までの距離を算出する処理フローを示している。  
Ｓ１００はカメラ１から出力された信号をデジタル値に変換し保存してある画像メモリ２から画像輝度情報を読み出す処理である。  
Ｓ１０１はＳ１００で入力した画像輝度信号について縦方向と横方向のソベルフィルタをかけ、縦エッジ画像と横エッジ画像を算出する処理である。  
Ｓ１０２はＳ１０１で算出された縦エッジ画像と横エッジ画像の交点を特徴点として抽出する処理である。  
Ｓ１０３はＳ１０２で抽出された特徴点のフレーム間の動きに基づいて物体毎にラベルをつけるクラスタリング処理である。  
Ｓ１０４はＳ１０３でクラスタリングされた物体毎に抽出された特徴点の中から走路面上に投影さえた影の交点である基準特徴点を抽出する処理である。  
Ｓ１０５はＳ１０３でクラスタリングされた物体毎に、Ｓ１０４で抽出された基準特徴点と、Ｓ１０２で抽出されたそれ以外の特徴点の画像座標の時間的変化から実空間における基準特徴点の空間的位置を算出する処理である。  
Ｓ１０６は既知のカメラの設置位置と、自車両直前の基準走路面（図３の１７）と、Ｓ１０５で算出された対象物と走路面との接点である基準特徴点とを用いて、三角測量法により自車両から物体（対象物）までの距離を算出する処理である。  
Ｓ１０７は車両センサ２から自車両の速度および操舵角度を入力する処理である。  
Ｓ１０８はＳ１０７で入力した自車両挙動から所定時間後の自車両位置を算出する処理である。  
Ｓ１０９はＳＳ１０６で算出した物体までの距離と、Ｓ１０８で算出した自車両の所定時間後の位置から衝突するかどうか判定する処理である。  
Ｓ１１０はＳ１０９で衝突すると判定した場合は、Ｓ１１１処理を実施する。Ｓ１１１はドライバに警報装置５のブザーで物体への衝突を警報する処理である。
【００１０】
以上説明したように、本実施の形態の車載用距離算出装置は、自車両の所定位置に配置され、自車両の近傍を撮像するカメラ１と、カメラ１により撮像された画像から、その近傍領域と輝度差が大きいなどの特徴点を抽出するマイクロコンピュータ４と、上記マイクロコンピュータ４により抽出された特徴点の中から、実空間上で走路面に存在する基準特徴点を抽出する上記マイクロコンピュータ４と、基準特徴点と特徴点の画像位置の時間的変化から、基準特徴点と特徴点の実空間位置を算出する上記マイクロコンピュータ４と、上記マイクロコンピュータ４により算出された基準特徴点もしくは特徴点の実空間位置から、自車両と対象物との距離を算出する上記マイクロコンピュータ４とを有する（なお、マイクロコンピュータ４は通常１個である）。なお、マイクロコンピュータ４およびＳ１０２が特徴点抽出手段に、マイクロコンピュータ４およびＳ１０４が基準特徴点抽出手段に、マイクロコンピュータ４およびＳ１０５が実空間位置算出手段に、マイクロコンピュータ４およびＳ１０６が対象物距離算出手段に相当する。  
このように対象物の特徴点の中から走路面上にある特徴点を基準特徴点とし、基準特徴点と特徴点の時間的変化に着目することで、単一カメラを用いてそれぞれの特徴点の空間的配置が算出できるため、自車両から対象物までの距離が安価に算出でき、また、システム構成も簡単である。
【００１１】
また、本車載用距離算出装置は、基準特徴点を抽出するマイクロコンピュータ４において、基準特徴点として対象物の走路面における影を抽出する。このように対象物の走路面への影を基準特徴点としているため、例えば車影によりタイヤが認識できない場合等、対象物と走路面との接点との輝度差がない場合でも、対象物と走路面の接点が検出できない場合でも、対象物までの距離を算出することができる。
【００１２】
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態の車載用距離算出装置の構成を示すブロック図である。
【図２】本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。
【図３】本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。
【図４】本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。
【図５】本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。
【図６】本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。
【図７】本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。
【図８】本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。
【図９】本発明の実施の形態の車載用距離算出装置の動作の流れを説明するフローチャートである。
【符号の説明】
【００１４】
１…カメラ
２…車両センサ
３…画像メモリ
４…マイクロコンピュータ
５…警報装置
１０…自車両
１１…先行車両
１２…対象物
１３…特徴点
１４…基準特徴点
１５…対象物の影
１６、１６ａ、１６ｂ…基準特徴点判定窓
１７…基準走路面
【図１】
2005030968.tif 000003
【図２】
2005030968.tif 000004
【図３】
2005030968.tif 000005
【図４】
2005030968.tif 000006
【図５】
2005030968.tif 000007
【図６】
2005030968.tif 000008
【図７】
2005030968.tif 000009
【図８】
2005030968.tif 000010
【図９】
2005030968.tif 000011