(57)【特許請求の範囲】
【請求項１】
ステレオカメラに接続された画像前処理部により、前記ステレオカメラに含まれる左右のカメラから得られる左右各々の画像に対し、フィルタ処理，二値化処理，微分処理を行い微分画像を生成するカメラ画像前処理ステップと、
ラベリング処理部を用いて、前記微分画像に基づいて連結画像を生成するためのラベリング処理を行うラベリング処理ステップと、
前記ラベリング処理された出力を入力し、前記連結画像に対し、探索処理部を用いて探索処理を行い、特定の前記連結画像からグループ画像を求める探索処理ステップと、
座標変換処理部により路面座標系に変換された障害物座標出力を用いて、前記求められたグループ画像に対し、実空間画像とその大きさを分析する分析ステップと、
画像処理・制御装置において前記分析ステップの分析結果より求めた画像の大きさを用い、歩行者、二輪車またはその他の障害物か否かを判断する障害物判定ステップとを含み、
前記障害物判定ステップの出力により、ブレーキ・アクセル制御装置を制御して車両の加速・減速をコントロールすると同時に、パワーステアリング装置を制御してハンドルの操舵量をコントロールすること
を特徴とするステレオカメラによる障害物の認識方法。
【請求項２】
前記探索処理は、
前記カメラの画角から算出される直進状態における前方路面領域を仮の探索領域として障害物を探索する探索領域設定ステップと、
前記左のカメラが出力する左カメラ画像で前記探索領域を手前から探索し、最初の候補連結画像を求める左カメラ候補画像探索ステップと、
前記候補画像があるときには、前記候補画像が接地していると仮定して前記右のカメラが出力する右カメラ画像の対応位置にペアとなる画像が存在するか否かを探索する右カメラペア画像探索ステップと、
前記左カメラ候補画像探索ステップおよび前記右カメラペア画像探索ステップによって得られた左右の候補連結画像対が一致した連結画像か否かを判断する一致画像判定ステップと、
前記一致画像判定ステップで一致画像があるときには、前記ペアとなる画像を記録し、前記グループ画像の探索処理を行うグループ画像探索処理ステップと、
しかる後、前記グループ画像の探索処理が終了すると、前記左カメラ画像の探索領域で、次の接地連結画像としての候補連結画像を探索する次候補探索ステップとを有し、
繰返し処理で前記候補画像がないと判定されたときには、前記探索処理を終了させる
請求項１記載のステレオカメラによる障害物の認識方法。
【請求項３】
前記グループ画像探索処理は、
前記左カメラ画像より求められた一致連結画像の周囲に且つ所定の距離内に存在する接触画像がないか否かを探索する左カメラ接触画像探索ステップと、
前記左カメラ接触画像探索ステップで接触画像があるときには、前記右カメラ画像の一致連結画像に前記左カメラ画像と同じ位置関係の接触画像があるか否かを探索する右カメラ接触ペア画像探索ステップと、
このペア画像の探索の結果、対象となる画像を前記画像グループとして登録する登録ステップと、
しかる後、前記左カメラ画像で前記候補画像と接している次の画像を探索する次画像探索ステップとを有し、
繰返し処理で前記接触画像がないと判定されたときには、前記グループ画像探索処理を終了させる
請求項２記載のステレオカメラによる障害物の認識方法。
【請求項４】
ステレオカメラのカメラ画角から割り出される３次元空間座標上の路面座標を求め、前記路面座標より路面に接地している連結画像を探索する探索ステップと、
左右連結画像の一致判定を行うペアリング処理ステップと、
前記ペアリング処理ステップにおける一致連結画像を基準として、周囲に分散した障害物画像の全体像を探索する全体像探索ステップとを含み、
前記全体像探索ステップにより、他の探索処理対象連結画像の候補数を削減する
ことを特徴とするステレオカメラによる障害物の認識方法。
【請求項５】
車両の進行方向を任意の角度で撮影するステレオカメラと、
前記ステレオカメラの画像出力を処理する画像処理部とを有し、
前記画像処理部は、
前記ステレオカメラの画像出力をそれぞれ入力し、画像に対するフィルタ処理機能，二値化処理機能および微分回路を備えた一対の画像前処理部と、
前記一対の画像前処理部の出力をそれぞれ入力し、微分画像に基づいて連結画像を作成するためのラベリング処理を施す一対のラベリング処理部と、
前記一対のラベリング処理部の出力を入力し、前記連結画像に対し特定の画像を探索する探索処理部と、
前記探索処理部によって探索された画像を路面座標系に変換する座標変換処理部とを備えたことを特徴とする障害物の認識処理装置。
【請求項６】
前記画像処理部は、
前記座標変換処理部より出力される障害物座標出力を前記車両内の画像処理・制御装置に供給し、ブレーキ・アクセル制御装置およびパワーステアリング装置を制御する請求項５記載の障害物の認識処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はステレオカメラによる障害物の認識方法およびその認識処理装置に関し、特に左右のカメラの画角の違いを利用して歩行者画像等の探索を行うステレオカメラによる障害物の認識方法およびその認識処理装置に関する。
【０００２】
【従来の技術】
一般に、車載カメラによる障害物の認識装置は、道路上の白線ばかりでなく、先行車両や歩行者などの障害物の認識が必要とされている。
【０００３】
しかし、歩行者などの画像は白線画像と異なり、濃度変換処理、ノイズ除去フィルタ処理、微分処理、グルーピング処理、ラベリング処理などの前処理を経ても、得られる画像は複数のパーツに分かれてしまうケースが多い。しかも、この複数に分かれてしまった画像の相関関係は取りにくく、障害物の認識そのものが困難となっている。
【０００４】
図６は従来の一例を説明するための単眼式車載カメラを用いた際の歩行者と自動車の位置関係を表わす模式図である。図６に示すように、従来の単眼式（シングル）車載カメラは、実空間の位置に実際に存在する歩行者２０（例えば、１０メートル：ｍの位置）などを撮影したとき、歩行者画像が頭部，胴体部，足部などの複数の部分に分かれるため、角度の関係からその歩行者２０があたかも実空間の誤った位置２１に存在していた（例えば、４０ｍの位置）ものと認識してしまい易い。
【０００５】
図７は図６に用いた単眼式車載カメラで得られる遠近画像図である。図７に示すように、この単眼式車載カメラは、前述した歩行者２０などを撮影すると、遠近関係により、足部２０Ｂが実際の位置、例えば、１０ｍの位置にあるにも拘わらず、胴体部２０Ａが白線（太い実線）の位置、すなわち４０ｍの位置にあるように錯覚させてしまう。要するに、この場合、前処理を経て抽出された画像は、頭部、胴部２０Ａ、脚部、足部２０Ｂなどに分かれてしまうことが多い。
【０００６】
さらに、図８は従来の他の例を説明するためのステレオ車載カメラを用いた際の歩行者と自動車の位置関係を表わす模式図である。図８に示すように、従来のステレオ車載カメラは、左カメラ視線から実空間で足部２３の画像に対応する位置および左カメラ視線から実空間で胴部２４の画像に対応する位置に存在する歩行者（例えば、１０ｍの位置）などを撮影したとき、左カメラ視線から実空間で胴部２４の画像が接地していると仮定したときの誤った位置２５に存在している（例えば、４０ｍの位置）ものと認識してしまい易い。
【０００７】
図９は図８に用いたステレオ車載カメラの左カメラで得られる遠近画像図である。図９に示すように、左カメラで撮影すると、カメラ角度および遠近関係より、歩行者の足部（靴など）２６の画像は、例えば１０ｍの地点に存在し、また足部以外（胴など）２７の画像は、例えば４０ｍの白線の地点に存在していたものと認識してしまう。
【０００８】
また、図１０は図８に用いたステレオ車載カメラの右カメラで得られる遠近画像図である。図１０に示すように、右カメラで撮影すると、カメラ角度および遠近関係より、右カメラで対応する足部２８の画像は、例えば１０ｍの地点に存在し、また歩行者の足部以外（胴など）２９の画像は、例えば３０ｍの地点に存在していたものと認識してしまう。しかも、前述した図８の誤った位置２５に対応する個所には胴部３０の画像は存在しない。
【０００９】
このように、ステレオ車載カメラで得られる画像も、図９および図１０に示すように、頭部、胴部（２７，２９）、脚部、足部（２６，２８）などに分かれてしまうことが多い。
【００１０】
上述した障害物の認識装置は、これらのばらばらになった画像群をある一定の法則の基に連結し、歩行者などを障害物として認識しなければならない。かかる従来の技術では、その認識手法として、近傍にある画像をひとつの集合とみなし、それが目的の歩行者などの障害物画像であるか否かのパターンマッチングにより特定している。
【００１１】
【発明が解決しようとする課題】
しかし、上述した従来の認識方法あるいは認識装置は、連結した画像の過不足があったときには、パターンマッチングによっても歩行者などを障害物として特定することが難しく、確実な判定を行えない場合がある。
【００１２】
また、部分的に判定できたとしても、シングルカメラ（図７）では、足部２０Ｂなどの画像が前処理の段階で喪失してしまった場合には、胴部２０Ａと足部２０Ｂの連結ができないため、胴部２０Ａを単独で且つ路面に接地していると仮定して処理することになる。その結果、胴部２０Ａの路面座標系で実空間の位置（図６の歩行者２０の位置）にあるべきものが、誤った位置２１にあると勘違いしてしまう可能性がある。
【００１３】
さらに、ステレオカメラでも、図９で足部２６などの画像が前処理の結果喪失してしまった場合には、左カメラ画像で胴部２７と足部２６の連結ができないため、図１０で説明した右カメラ画像の胴部２９を厳密な一致性を持って探索しなければならなくなる。それが失敗した場合には、胴部２９が単独で且つ路面に接地していると仮定して処理することになる。その結果、胴部２９の路面座標系で図８の誤った位置２５に対する右カメラによる胴体画像３０が存在しないにもかかわらず、実空間の位置（図８の歩行者２４）にあるべきものが、誤った位置２５にあると勘違いしてしまう可能性がある。
【００１４】
したがって、シングルカメラ方式では、路面から浮上している画像単体での路面座標算出が不可能であるため、路面に接地した足部などの画像を確実に抽出しなければならない。
【００１５】
また、距離の異なる画像が隣接して存在するステレオカメラ場合、両方のカメラによる画像を結合してから判断せざるを得ないため、処理が複雑になり、確実な判断ができないという欠点がある。
【００１６】
かかる判定確度の向上には、無限にある障害物の形状を判断するためのマッチングパターンライブラリを必要とし、それを高速で処理する処理装置も必要となるので、実際には実現困難である。
【００１７】
本発明の目的は、ステレオカメラの特徴を生かし、汎用的なマッチングパターンライブラリを不要にするとともに、処理速度も高速なものを必要としないステレオカメラによる障害物の認識方法およびその認識処理装置を提供することにある。
【００１８】
【課題を解決するための手段】
本発明のステレオカメラによる障害物の認識方法は、ステレオカメラに接続された画像前処理部により、前記ステレオカメラから得られる左右各々の画像に対し、フィルタ処理，二値化処理，微分処理を行うカメラ画像前処理ステップと、前記画像前処理部の出力に対し、ラベリング処理部を用いて左右カメラの微分画像に対するラベリング処理を行うラベリング処理ステップと、前記ラベリング処理部で非部品化された左右の連結画像に対し、探索処理部を用いて探索処理を行う探索処理ステップと、座標変換部により座標化された障害物座標出力を用いて求められたグループ画像に対し、実空間画像とその大きさを分析する分析ステップと、画像処理・制御装置において前記分析ステップの分析結果より求めた画像の大きさを用い、歩行者，二輪車またはその他の障害物か否かを判断する障害物判定ステップとを含み、前記障害物判定ステップの出力により、ブレーキ・アクセル制御装置を制御して車両の加速・減速をコントロールすると同時に、パワーステアリング装置を制御してハンドルの操舵量をコントロールするように構成される。
【００１９】
また、本発明における前記探索処理は、カメラ画角から算出される直進状態における前方路面領域を仮の探索領域として障害物を探索する探索領域設定ステップと、左カメラ画像で前記探索領域を手前から探索し、最初の候補連結画像を求める左カメラ候補画像探索ステップと、前記候補画像があるときには、前記候補画像が接地していると仮定して右カメラ画像の対応位置にペアとなる画像が存在するか否かを探索する右カメラペア画像探索ステップと、前記左カメラ候補画像探索ステップおよび前記右カメラペア画像探索ステップによって得られた左右の候補連結画像対が一致した連結画像か否かを判断する一致画像判定ステップと、前記一致画像判定ステップで一致画像があるときには、前記ペアとなる画像を記録し、グループ画像の探索処理を行うグループ画像探索処理ステップと、しかる後、グループ画像の探索処理が終了すると、左カメラ画像の探索領域で、次の接地連結画像としての候補連結画像を探索する次候補探索ステップとを有し、繰返し処理で前記候補画像がないと判定されたときには、前記探索処理を終了させるように形成される。
【００２０】
また、本発明における前記グループ画像探索処理は、左カメラの画像より求められた一致連結画像の周囲に且つ所定の距離内に存在する接触画像がないか否かを探索する左カメラ接触画像探索ステップと、前記左カメラ接触画像探索ステップで接触画像があるときには、右カメラ画像の一致連結画像に左カメラ画像と同じ位置関係の接触画像があるか否かを探索する右カメラ接触ペア画像探索ステップと、このペア画像の探索の結果、対象となる画像を画像グループとして登録する登録ステップと、しかる後、前記左カメラ画像で前記候補画像と接している次の画像を探索する次画像探索ステップとを有し、繰返し処理で前記接触画像がないと判定されたときには、前記グループ画像探索処理を終了させるように形成される。
【００２１】
また、本発明のステレオカメラによる障害物の認識方法は、ステレオカメラのカメラ画角から割り出される３次元空間座標上の路面座標を求め、前記路面座標より路面に接地している連結画像を探索する探索ステップと、左右連結画像の一致判定を行うペアリング処理ステップと、前記ペアリング処理ステップにおける一致連結画像を基準として、周囲に分散した障害物画像の全体像を探索する全体像探索ステップとを含み、前記全体像探索ステップにより、他の探索処理対象連結画像の候補数を削減するように構成される。
【００２２】
さらに、本発明の障害物の認識処理装置は、車両の進行方向を任意の角度で撮影するステレオカメラと、前記ステレオカメラの画像出力を処理する画像処理部とを有し、前記画像処理部は、前記ステレオカメラの画像出力をそれぞれ入力し、画像に対するフィルタ処理機能，二値化処理機能および微分回路を備えた一対の画像前処理部と、前記一対の画像前処理部の出力をそれぞれ入力し、微分画像に基づいて連結画像を作成するためのラベリング処理を施す一対のラベリング処理部と、前記一対のラベリング処理部の出力を入力し、前記連結画像に対し特定の画像を探索する探索処理部と、前記探索処理部によって探索された画像を路面座標系に変換する座標変換処理部とを備えて構成される。
【００２３】
また、本発明の障害物の認識処理装置における前記画像処理部は、前記座標変換部より出力される障害物座標出力を前記車両内の画像処理・制御装置に供給し、ブレーキ・アクセル制御装置およびパワーステアリング装置を制御するように形成される。
【００２４】
【発明の実施の形態】
本発明の実施の形態は、ステレオカメラの特徴を生かし、左右のカメラ画角から割り出される３次元空間上の路面座標を利用するとともに、狭い範囲での接地連結画像を探索の基準にして、それに接触している画像を接続していくという簡単な処理を再帰的に使用することにより、汎用的なマッチング用ライブラリを不要にし且つ処理速度もそれほど高速なものを必要としない障害物認識処理を実現することにある。
【００２５】
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の一実施の形態を説明するためのステレオカメラおよび画像処理部のブロック構成図である。図１に示すように、本実施形態における障害物を認識するための認識処理装置は、車両の進行方向を任意の角度で撮影する右カメラＲおよび左カメラＬからなる二眼式（ステレオ）カメラ１と、このステレオカメラ１の画像出力を処理する画像処理部７とを含んでいる。この画像処理部７は、ステレオカメラ１における右カメラＲおよび左カメラＬの画像出力をそれぞれ入力し、画像に対するフィルタ処理機能，二値化処理機能および微分回路を備えた一対の画像前処理部２と、この一対の画像前処理部２の出力をそれぞれ入力し、微分画像に基づいて連結画像を作成するためのラベリング処理を施す一対のラベリング処理部３と、この一対のラベリング処理部３の出力を入力し、得られた連結画像に対し特定の画像を探索する探索処理部４と、この探索処理部４によって探索された画像を路面座標系に変換する座標変換処理部５とを有し、座標変換処理部５の障害物座標出力６を後述する画像処理・制御装置に供給するようにしている。
【００２６】
図２は図１に示す画像処理部を含む画像処理・制御装置を取り付けた自動車の前半分の断面図である。図２に示すように、かかる自動車においては、図１で説明した画像処理部７を実装し、ステレオカメラ１の出力を処理するとともに、内部の各装置へ指示するための画像処理・制御装置８と、この画像処理・制御装置８からそれぞれ制御信号を受け、車両の加速・減速を制御するブレーキ・アクセル制御装置９および操舵量を制御する電動パワーステアリング装置１０とを備えている。また、かかる画像処理部７は、ここではステレオカメラ１と一体化して示しているが、ステレオカメラ１とは切離し、画像処理・制御装置８側に一体化してもよい。
【００２７】
次に、上述した認識処理装置の動作を図３〜図５の処理フローを用い、図１，図２と前述した図８〜図１０の位置関係を参照しながら説明する。
【００２８】
図３は図２における画像処理・制御装置の処理フロー図である。図３に示すように、まず左右カメラ画像前処理ステップＳ１においては、画像前処理部２により、あらかじめステレオカメラ１から得られる左右各々の画像に対して、フィルタ処理、二値化処理、微分処理などの前処理を行う。ついで、ラベリング処理ステップＳ２において、ラベリング処理部３を用い、左右カメラの微分画像に対するラベリング処理を行っておく。その後、これらの処理で非部品化された左右の連結画像に対し、探索処理ステップＳ３において、探索処理部４により探索処理を行う。
【００２９】
次に、分析ステップＳ４において、座標変換部５により座標化された障害物座標出力６を用いて求められたグループ画像に対し、実空間画像やその大きさなどを分析する。さらに、画像処理・制御装置８は、障害物判定ステップＳ５において、分析結果より求められた画像の大きさによって、歩行者、二輪車またはその他の障害物か否かを判断する。
【００３０】
このような処理および判断に基づき、画像処理・制御装置８は、ブレーキ・アクセル制御装置９を制御して車両の加速・減速をコントロールすると同時に、電動パワーステアリング装置１０を制御してハンドルの操舵量をコントロールする。
【００３１】
上述した探索処理Ｓ３の詳細な動作は、つぎのとおりである。
【００３２】
図４は図３における探索処理のフロー図である。図４に示すように、探索処理（ステップＳ３）においては、まず探索領域設定ステップＳ６において、障害物を探索しなければならない領域として、固定されたカメラ画角から算出される３次元空間座標上の直進状態における前方路面領域を仮の探索領域とする。この場合、直進状態における前方路面領域の代りに、別の白線認識処理などにより前方路面領域を求め、これを探索領域とすることも可能である。いずれにしても、この仮の探索領域が設定されると、左カメラ候補画像探索ステップＳ７において、左カメラ画像で探索領域を手前（画面の下辺）から探索し、最初の候補連結画像としての足部２６（図９参照）を求める。
【００３３】
ついで、前述したステップＳ７で候補画像がある旨探索されたときは、繰返しステップＳ８において、繰返し処理（Ｗｈｉｌｅ：候補画像あり）を行う（候補画像がないときは、リターン）。すなわち、この繰返しステップＳ８で候補画像があるときは、まず右カメラ対応画像探索ステップＳ９において、その候補画像が路面に接地していると仮定して路面座標を算出し、右カメラ画像の対応する路面座標位置の連結画像としての足部２８（図１０参照）を探索する。
【００３４】
さらに、一致画像判定ステップＳ１０において、上述したステップＳ７およびＳ９によって得られた左右の候補連結画像対としての足部２６，２８が一致した連結画像か否かを判断する。例えば、具体的な判定手段としては、それぞれの連結画像のＸ方向、Ｙ方向の大きさ、総画素数などの値を比較し、左連結画像の値に対して±１０％以内に右連結画像の値が入っていれば、一致しているとみなす方法がある。要するに、片方を基準とし、他方が一定範囲内の値に収まっていることを確認する方法が最も簡便であり且つ効率が良い。その他の判定手段としては、左右の連結画像に対し、相関関数を用いて相関値を求め、相関値が一定値以上か否かを比較する方法、あるいは連結画像の特徴をスケルトン処理などを行って求め、相関値を比較する方法などが考えられる。
【００３５】
このように、一致画像判定ステップＳ１０で一致していると判定された一致連結画像対としての足部２６および２８に対しては、記録ステップＳ１１において、探索結果データベース（図示省略）にペア接地画像であることを記録すると同時に、それらの路面座標を登録する。さらに、一致画像があるときは、グループ画像探索処理ステップＳ１２において、近傍に部品化してバラバラになっているであろうグループ画像の探索処理を行う。一方、一致画像判定ステップＳ１０において、一致する画像がなくなったとき、もしくはないときは、次のステップＳ１３へ進む。
【００３６】
最後に、グループ画像探索処理ステップＳ１２におけるグループ画像の探索処理が終了すると、次候補探索ステップＳ１３において、左カメラ画像の探索領域で、次の接地連結画像としての候補連結画像（但し、前述した探索結果データベースに登録した連結画像は候補から除く）を探索する。このステップＳ１３において、次候補がないときは、リターンに戻って探索処理ステップＳ３を終了する。
【００３７】
図５は図４におけるグループ画像探索処理のフロー図である。図５に示すように、グループ画像探索処理ステップ（Ｓ１２：図４参照）では、左カメラ接触画像探索ステップＳ１４において、左カメラの画像より求められた一致連結画像としての足部２６の周囲に且つ一定の距離（空白画素数）以内に存在する連結画像（以下、接触画像とする）がないか否かを探索する。ここで、繰返しステップＳ１５は、接触画像がある間、以下の処理を繰返す。
【００３８】
次に、繰返しステップＳ１５で接触画像２６があるときには、その接触画像２６などに対し、ペア画像探索ステップＳ１６において、右カメラ画像の一致連結画像に左カメラ画像と同じ位置関係の接触画像があるか否かを探索する。ついで、このペア画像の探索の結果、得られた左右接触画像対２６，２９などに対し、対象画像判定ステップＳ１７において、前述した図４のステップＳ１４と同様の一致判定処理を行う。
【００３９】
しかる後、対象画像判定ステップＳ１７で対象画像があり、且つ一致していると判断された場合は、登録ステップＳ１８において先に登録した接地連結画像対２６，２８の子連結画像として探索結果データベースに画像グループを登録する。また、対象画像判定ステップＳ１７においては、対象画像がなくなるまで、続けられる。
【００４０】
さらに、ステップＳ１７において対象画像がなくなると、次候補探索ステップＳ１９において、グループ画像を基準として、頭部などの他の接触画像がないか否かを探索する。すなわち、左カメラ画像において、候補画像と接している次の画像を探索する。要するに、すべての接触画像に対して、ステップＳ１５からステップＳ１９までの繰返し処理を行う。
【００４１】
かかるすべての候補連結画像に対してこれらの処理を行い、すべての接地連結画像対、グループ画像対を探索すると、前述した図４のステップＳ８における候補画像の処理が完結する。
【００４２】
上述した本実施の形態によれば、左右のカメラ画角から割り出される３次元空間上の路面座標を利用し、足部などの接地連結画像を探索の基準としているため、次のような利点が挙げられる。
（Ａ）あらかじめ探索範囲を狭く設定でき、無駄な探索処理を必要としない。
（Ｂ）左右連結画像の一致性を簡便な方法で判定するだけで済み、パターンマッチング処理などで必要となる膨大なライブラリや超高速な処理を必要とせず、左右カメラ画像における些細な特徴相違に対する判定ミスを発生しない。
【００４３】
また、本実施の形態において、一致連結画像に対する接触画像  （グループ画像）の探索にあたり、次のような利点が挙げられる。
（Ａ）探索範囲を限定できるため、無駄な探索処理を必要としない。
（Ｂ）同様に、左右連結画像の一致性を簡便な方法で判定するだけで済むため、パターンマッチング処理などで必要となる膨大なライブラリや、超高速な処理を必要とせず、左右カメラ画像における些細な特徴相違に対する判定ミスを発生しない。
（Ｃ）グループ画像判定処理により、次の接地連結画像および接触連結画像の探索候補から対象をはずすことが可能であり、全体の処理を高速化できる。
（Ｄ）障害物の全体像に拘らず、障害物の有無を探索可能であり、その障害物が歩行者なのか、自転車なのか、その他の静止物なのかという判定の拡張に対しても余裕を与えることが可能である。
【００４４】
以上、本発明の一実施の形態を説明したが、この他にも以下のような変形例を形成することができる。
【００４５】
上述したステレオカメラにおける基準となる画像は、左右どちらのカメラ画像を基準としてもよい。また、左右の候補連結画像対に対し、一致した連結画像か否かを判断する判定手段として、それぞれの連結画像のＸ方向、Ｙ方向の大きさ、総画素数などの値を比較し、左連結画像の値に対して±１０％以内に右連結画像の値が入っていれば、一致しているとみなしてもよい。
【００４６】
さらに、左右の連結画像に対し、相関関数を用いて相関値を求め、その相関値が一定値以上かどうかを比較する方法や、連結画像の特徴をスケルトン処理などを行って求めて比較する方法を採用してもよい。
【００４７】
また、上述した一実施の形態における接触画像の探索方法として、一定の距離（空白画素数）以下という判断基準を設けたり、あるいは連結画像の重心の距離または接触辺〔一定の距離（空白画素数）以下の空隙〕の長さを判断基準としても可能である。
【００４８】
なお、上述した実施の形態では、ハンドルの操舵量を制御するために、電動パワーステアリング装置を例にとって説明したが、パワーステアリング装置としては、電気的に制御する他に油圧手段などを用いて制御することもできる。
【００４９】
【発明の効果】
以上説明したように、本発明のステレオカメラによる障害物の認識方法およびその認識処理装置は、左右のカメラ画角から割り出される３次元空間上の路面座標を利用し、連結画像が路面に接地しているとする仮定のもとに、他方のカメラ画像で同じ路面座標の探索および実際に路面に接地している画像の抽出を行い、さらにその連結画像と接触している連結画像を抽出して歩行者などの障害物の全体像を抽出し、同時に路面座標を求めることができるので、汎用的なマッチングパターンライブラリを不要にするとともに、処理速度も高速なものを必要としないで、正確な障害物判定を実現できるという効果がある。また、本発明によれば、抽出された障害物全体像の特徴を求めることにより、その障害物が歩行者なのか、自転車なのか、その他静止物なのかという判定にも拡張が可能である。
【図面の簡単な説明】
【図１】本発明の一実施の形態を説明するためのステレオカメラおよび画像処理部のブロック構成図である。
【図２】図１に示す画像処理部を含む画像処理・制御装置を取り付けた自動車の前半分の断面図である。
【図３】図２における画像処理・制御装置の処理フロー図である。
【図４】図３における探索処理のフロー図である。
【図５】図４におけるグループ画像探索処理のフロー図である。
【図６】従来の一例を説明するための単眼式車載カメラを用いた際の歩行者と自動車の位置関係を表わす模式図である。
【図７】図６に用いた単眼式車載カメラで得られる遠近画像図である。
【図８】従来の他の例を説明するためのステレオ車載カメラを用いた際の歩行者と自動車の位置関係を表わす模式図である。
【図９】図８に用いたステレオ車載カメラの左カメラで得られる遠近画像図である。
【図１０】図８に用いたステレオ車載カメラの右カメラで得られる遠近画像図である。
【符号の説明】
１    ステレオカメラ
２    画像前処理部
３    ラベリング処理部
４    探索処理部
５    座標変換部
６    障害物座標出力
７    画像処理部
８    画像処理・制御装置
９    ブレーキ・アクセル制御装置
１０    電動パワーステアリング装置
Ｓ３    探索処理ステップ
Ｓ１２    グループ画像探索処理ステップ
【図１】
0004509429.tif 000002
【図２】
0004509429.tif 000003
【図３】
0004509429.tif 000004
【図４】
0004509429.tif 000005
【図５】
0004509429.tif 000006
【図６】
0004509429.tif 000007
【図７】
0004509429.tif 000008
【図８】
0004509429.tif 000009
【図９】
0004509429.tif 000010
【図１０】
0004509429.tif 000011