(57)【要約】【課題】どのような外部環境においても障害物の誤検出を抑制することができる信頼性の高い障害物検出装置を提供する。【解決手段】本発明に係る障害物検出装置は、車両に設置された撮像手段と、撮像手段により撮像された画像に基づいて、道路上の白線を検出し、車両から白線を検出することができなくなる地点までの第１距離を求める白線検出手段と、撮像手段により撮像された画像に基づいて、障害物の有無を検出し、車両から障害物までの第２距離を求める障害物検出手段と、第１距離と第２距離とを比較し、その比較結果と障害物の検出結果とに基づいて、障害物の有無について判断する障害物判断手段とを備える。【選択図】  図１
2004220281.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置された撮像手段と、
前記撮像手段により撮像された画像に基づいて、道路上の白線を検出し、前記車両から前記白線を検出することができなくなる地点までの第１距離を求める白線検出手段と、
前記撮像手段により撮像された画像に基づいて、障害物の有無を検出し、前記車両から前記障害物までの第２距離を求める障害物検出手段と、
前記第１距離と前記第２距離とを比較し、その比較結果と前記障害物の検出結果とに基づいて、前記障害物の有無について判断する障害物判断手段と、
を備える
ことを特徴とする障害物検出装置。
【請求項２】
それぞれの光軸を互いに平行とし所定の距離をもって車両に設置された第１及び第２撮像手段と、
前記第１撮像手段により撮像された画像に基づいて、道路上の白線を検出し、前記車両から前記白線を検出することができなくなる地点までの第１距離を求める白線検出手段と、
前記第１撮像手段により撮像された画像と前記第２撮像手段により撮像された画像との差異に基づいて、障害物の有無を検出し、前記車両から前記障害物までの第２距離を求める障害物検出手段と、
前記第１距離と前記第２距離とを比較し、その比較結果と前記障害物の検出結果とに基づいて、前記障害物の有無について判断する障害物判断手段と、
を備える
ことを特徴とする障害物検出装置。
【請求項３】
前記障害物判断手段は、前記第１距離が前記第２距離より長いときには前記障害物の検出結果を肯定し、前記第１距離が前記第２距離より短いときには前記障害物の有無についての判断を保留する、
ことを特徴とする請求項１又は２に記載の障害物検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラを用いた障害物検出装置に関するものであり、特に、車両に搭載される車両用の障害物検出装置に関するものである。
【０００２】
【従来の技術】
従来、画像認識技術を用いた障害物検出装置では、雨、霧等により外部環境が悪化した場合に、カメラによって得られる画像が悪くなり、先行車等の検出の信頼性が低下するという問題点があった。
【０００３】
これを解消するために、下記特許文献１には、ワイパースイッチから供給される情報によって、雨、霧等の状態を認識し、外部環境が、カメラにおいて先行車を認識するのに適しているか否かを判定し、外部環境が好適であると判断された時には、カメラによる先行車の画像データに基づいてミリ波レーダの指向方向を決定する技術が記載されている。
【０００４】
【特許文献１】
特開平６−２０６５０７号公報（第３―５頁、第１図）
【０００５】
【発明が解決しようとする課題】
しかしながら、画像が認識できる範囲は、日照条件などの外部環境によっても時々刻々と変化するものであり、このような外部環境の変化に対し、上記の技術では画像認識の結果について高い信頼性を保つことができなかった。また、外部環境が好適と判断されたときであっても、検出結果の信頼性を評価することができないために、誤検出を生じる可能性があった。
【０００６】
本発明は、上記問題点を解消する為になされたものであり、どのような外部環境においても障害物の誤検出を抑制することができる信頼性の高い障害物検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る障害物検出装置は、車両に設置された撮像手段と、撮像手段により撮像された画像に基づいて、道路上の白線を検出し、車両から白線を検出することができなくなる地点までの第１距離を求める白線検出手段と、撮像手段により撮像された画像に基づいて、障害物の有無を検出し、車両から障害物までの第２距離を求める障害物検出手段と、第１距離と第２距離とを比較し、その比較結果と障害物の検出結果とに基づいて、障害物の有無について判断する障害物判断手段とを備えることを特徴とする。
【０００８】
白線検出手段による白線の検出結果の信頼性は高い。なぜなら、アスファルトと白線とのコントラストが大きく、また、白線は形状がおよそ一定でしかも比較的単純だからである。したがって、撮像手段により撮像された画像では、第１距離までは高い信頼性をもって物体を検出することが可能である。障害物判断手段では、障害物検出手段により検出された第２距離を第１距離と比較することにより検出結果の信頼性を考慮しつつ、障害物の有無が判断される。よって、障害物の誤検出を抑制することが可能となる。
【０００９】
本発明に係る障害物検出装置は、それぞれの光軸を互いに平行とし所定の距離をもって車両に設置された第１及び第２撮像手段と、第１撮像手段により撮像された画像に基づいて、道路上の白線を検出し、車両から白線を検出することができなくなる地点までの第１距離を求める白線検出手段と、第１撮像手段により撮像された画像と第２撮像手段により撮像された画像との差異に基づいて、障害物の有無を検出し、車両から障害物までの第２距離を求める障害物検出手段と、第１距離と第２距離とを比較し、その比較結果と障害物の検出結果とに基づいて、障害物の有無について判断する障害物判断手段とを備えることを特徴とする。
【００１０】
本発明に係る障害物検出装置によれば、障害物検出手段では、第１撮像手段により撮像された画像と第２撮像手段により撮像された画像との差異に基づいて第２距離が求められるので、より正確な距離の算出が可能となる。また、障害物判定手段では、第２距離を第１距離と比較することにより検出結果の信頼性を考慮しつつ、障害物の有無が判断される。よって、障害物の誤検出を抑制することができる。
【００１１】
また、本発明に係る障害物検出装置は、障害物判断手段が、第１距離が第２距離より長いときには障害物の検出結果を肯定し、第１距離が第２距離より短いときには障害物の有無についての判断を保留することが好ましい。
【００１２】
この場合、第１距離が第２距離より長いときには障害物の検出結果の信頼性が高いため検出結果が正しいと判断され、第１距離が第２距離より短いときには障害物の検出結果の信頼性が低いため障害物の有無についての判断が保留される。よって、障害物の誤検出を抑制することが可能となる。
【００１３】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１４】
まず、図１を用いて、本実施形態の構成について説明する。
【００１５】
障害物検出装置１は、車両前方の風景を撮像して画像データを取得するカメラ（第１撮像手段）１０及びカメラ（第２撮像手段）１１と、該画像データに対して画像処理を施すことにより障害物の有無についての判断結果を出力する画像処理ＥＣＵ２を備えている。
【００１６】
画像処理ＥＣＵ２は、画像データに基づいて白線の検出を行う白線検出部（白線検出手段）２０と、画像データに基づいて障害物の検出を行う障害物検出部（障害物検出手段）３０と、障害物の有無についての判断を行う障害物判断部（障害物判断手段）４０とを備えている。
【００１７】
カメラ１０及びカメラ１１それぞれは、例えば、ＣＣＤカメラであり、自車の前部に前方を向いて設置されており、両カメラの光軸は互いに平行（実質的に平行であればよい）で、かつ撮像面の水平軸が同じライン上に揃うように設置されている。そして、カメラ１０及びカメラ１１それぞれは、自車前方の風景を撮像して画像データを取得する。なお、カメラ１０により取得された画像データは、白線検出部２０及び障害物検出部３０それぞれに出力され、カメラ１１により取得された画像データは、障害物検出部３０のみに出力される。
【００１８】
白線検出部２０は、カメラ１０により得られた画像データに基づいて道路上の白線を検出し、さらに、自車から白線を検出することができなくなる地点までの距離（以下、白線検出可能距離という）を算出する。なお、本明細書では、道路上において、各レーン（車線）の区切りを示すために描画されている白色や黄色などの線（点線等も含む）を全て「白線」と称するものとする。
【００１９】
障害物検出部３０は、カメラ１０により得られた画像データとカメラ２０により得られた画像データとの差異に基づいて障害物を検出し、さらに、自車から障害物までの距離を算出する。
【００２０】
障害物判断部４０は、白線検出部２０により算出された白線検出可能距離と障害物検出部３０から出力された障害物までの距離情報とを比較し、この比較結果と障害物の検出結果とに基づいて、自車の進行方向上にある各種の障害物（例えば、他の車両、落下物、歩行者等）の有無についての判断を行う。具体的には、白線検出可能距離が障害物までの距離より長いときには障害物の検出結果を肯定し、白線検出可能距離が障害物までの距離より短いときには障害物の有無についての判断を保留する。
【００２１】
そして、障害物検出装置１には、車両制御ＥＣＵ５０が接続されており、障害物の有無についての情報（障害物情報）を入力された車両制御ＥＣＵ５０は、車速センサ５１で検出された車速、舵角センサ５２で検出されたハンドル舵角、ヨーレートセンサ５３で検出されたヨーレート及び障害物情報に基づいて車線変更（又は回避走行）するか、あるいは停止するかを決定してステアリングアクチュエータ５５、スロットルアクチュエータ５６及びブレーキアクチュエータ５７を制御する。
【００２２】
次に、図２に示すフローチャートに従って、障害物検出装置１の動作について説明する。
【００２３】
ステップＳ１００では、カメラ１０により撮像された画像データが白線検知部２０に取り込まれ、この画像データに基づいて道路上の白線の検出が行われる。
【００２４】
白線の検出では、まず、カメラ１０から得られた画像データを輝度によって２値化し、２値化後の画像において水平方向のライン毎に白線部分に該当すると考えられる画素（以下、白線候補点という）を選出する。
【００２５】
次に、各ライン毎に選出した白線候補点が白線部分に該当する点であるか否かについて判断する。ここで、この判断は、例えば、それぞれの白線候補点が直線状に並んでいるか否か、または、白線候補点の位置が前回の処理において白線と認識された箇所に近いか否か等に基づいて行われる。
【００２６】
そして、各ライン毎に選出された白線候補点が白線部分に該当するものであると判断された場合、この白線候補点の列に白線モデル（白線テンプレート）を当てはめる。ここで、白線モデルには、例えば、直線、曲線、円弧、２次曲線等が用いられる。
【００２７】
ステップＳ１１０では、ステップＳ１００で検出された白線について、白線検出可能距離の算出が行われる。図３を参照して、白線検出可能距離の算出方法について簡単に説明する。
【００２８】
まず、ステップＳ１００で白線部分に該当すると判断された白線候補点について、画像の高さ方向Ｈにおいて最も上方に位置する白線候補点を抽出する。ここで、自車の位置に対して左右に白線候補点が存在するときには、例えば、自車の左側に存在する白線候補点について、最も上方に位置する白線候補点を抽出してＡ点とし、自車の右側に存在する白線候補点について、最も上方に位置する白線候補点を抽出してＢ点とする。
【００２９】
次に、自車からＡ点までの距離及び自車からＢ点までの距離それぞれを算出する。ここで、カメラ１０の取り付け位置（地面からカメラ１０までの高さ）及び上下方向の取り付け角度が予め定められているときには、カメラ１０により取得された画像における高さ方向Ｈの位置と自車からの距離との関係が一意的に定まる。よって、画像上の高さ方向Ｈの位置に応じて自車からＡ点またはＢ点までの距離を求めることができる。例えば、図３において、ラインＬ３０は自車の前方３０ｍの位置にあるライン、ラインＬ５０は自車の前方５０ｍの位置にあるライン、ラインＬ７０は自車の前方７０ｍの位置にあるラインにそれぞれ対応する。
【００３０】
そして、自車からＡ点までの距離と自車からＢ点までの距離とを比較し、距離の長い方を白線の検出が可能な距離（白線検出可能距離）とする。ここで、距離の長い方を採択する理由は、点線等の白線を考慮するためである。
【００３１】
図３に示す例によれば、自車からＡ点までの距離は５０ｍであり、自車からＢ点までの距離も５０ｍである。よって、自車の前方５０ｍまでは白線の検出ができているが、５０ｍより遠方では白線の検出ができていないと判断され、この場合の白線検出可能距離は５０ｍとされる。以下、図２に戻り障害物検出装置１の動作を続けて説明する。
【００３２】
ステップＳ１２０では、カメラ１０及びカメラ１１から入力された画像データに基づいて障害物の検出が行われる。障害物の検出では、例えばステレオ視の技術によって、高さの有無を求め障害物領域と道路領域とを分離することができる。すなわち、カメラ１０及びカメラ１１を左右に配置し、３次元空間中で同一点である点を左右画像間で対応づけ、三角測量の要領で、その点の３次元位置を求めるものである。カメラ１０及び１１の道路平面に対する位置や姿勢等を予め求めておくと、ステレオ視によって画像中の任意の点の道路平面からの高さを求めることができる。
【００３３】
ステップＳ１３０では、ステップＳ１２０で障害物が検出されたか否かについて判断が行われる。ここで、障害物が検出されなかったときにはステップＳ１４０に処理が移る。一方、障害物が検出されたときには、ステップＳ１５０に処理が移行する。
【００３４】
ステップＳ１４０では、白線検出可能距離に応じて障害物の有無についての判断が行われる。ここで、白線検出可能距離内での障害物の検出結果は信頼性が高いと考えられるので、この距離内では障害物が存在しないと判断される。一方、白線を検出することができない距離における障害物の検出結果は信頼性が低いと考えられるため、白線検出可能距離より遠方では障害物が存在するか否かについての判断を行わずに処理を終了する。
【００３５】
ステップＳ１５０では、カメラ１０から入力された画像データとカメラ１１から入力された画像データとの差異に基づいて自車から障害物までの距離が算出される。障害物までの距離の算出は、例えばステレオ視の画像データを用い、三角測量の原理で求めることができる。次に、この距離の算出方法について図４を参照しながら簡単に説明する。
【００３６】
障害物が自車の前方にある場合、カメラ１０から得られた画像とカメラ１１から得られた画像とを重ね合わせると、障害物が左右横方向にずれた位置になる。そこで、片方の画像を１画素づつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をｎとする。また、図４に示すように、カメラ１０又は１１を構成するレンズＦの焦点距離をｆ，左右のカメラ１０、１１の光軸間の距離をＬ、画素ピッチをｄとすると、自車から障害物までの距離Ｒは、次の（１）式により計算できる。
【００３７】
Ｒ＝（ｆ・Ｌ）／（ｎ・ｄ）  ・・・（１）
以下、図２に戻り障害物検出装置１の動作を続けて説明する。
【００３８】
ステップＳ１６０では、ステップＳ１５０で算出された自車から障害物までの距離ＲがステップＳ１１０で算出された白線検知可能距離以下か否かについて判断される。ここで、距離Ｒが白線検知可能距離よりも短いと判断されたときには、ステップＳ１８０に処理が進む。一方、距離Ｒが白線検知可能距離よりも長いと判断されたときには、ステップＳ１７０に処理が移行する。
【００３９】
ステップＳ１７０では、障害物の有無についての判断が行われる。ここでは、白線検出可能距離より遠方における障害物の検出結果は信頼性が低いと考えられるため、障害物が存在するか否かについての判断を保留して処理を終了する。
【００４０】
一方、ステップＳ１８０では、白線検出可能距離内での障害物の検出結果は信頼性が高いと考えられるため、障害物が存在すると判断される。そして、その後処理を終了する。
【００４１】
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、本実施形態においては、得られた画像データを２値化し、白線候補点を求めたうえで白線モデルを当てはめることで白線検出を行っているが、白線検出の方法はこれに限定されることなく、他の方法を用いてもよい。また、カメラの台数は２台に限定されるものではない。
【００４２】
【発明の効果】
以上、詳細に説明したとおり、本発明によれば、白線検知可能距離と障害物までの距離とを比較することにより、検出結果の信頼性を考慮しつつ障害物の有無について判断する構成を備えているので、どのような外部環境においても障害物の誤検出を抑制することができる信頼性の高い障害物検出装置を提供することができる。
【図面の簡単な説明】
【図１】本実施形態の全体構成を示すブロック図である。
【図２】本実施形態に係る障害物検出装置の全体動作を説明するフローチャートである。
【図３】白線検出可能距離の算出方法を説明する図である。
【図４】ステレオ画像を用いて三角測量の原理で距離を求める原理を説明する図である。
【符号の説明】
１…障害物検出装置、２…画像処理ＥＣＵ、１０，１１…カメラ、２０…白線検出部、３０…障害物検出部、４０…障害物判断部。
【図１】
2004220281.tif 000003
【図２】
2004220281.tif 000004
【図３】
2004220281.tif 000005
【図４】
2004220281.tif 000006