(57)【特許請求の範囲】
【請求項１】
第１検出範囲の画像を取得する第１撮像手段と、
前記第１検出範囲と一部が重複する第２検出範囲の画像を取得する第２撮像手段と、
前記第１撮像手段、第２撮像手段の各々で取得した対応する２画像をステレオ視処理することで、第１検出範囲と第２検出範囲の重複範囲内に存在する物体の３次元情報を検出する検出手段と、
前記第１撮像手段、第２撮像手段のそれぞれで取得した画像から物体の輪郭線を抽出する輪郭線抽出手段と、
前記第１撮像手段で取得した画像中で第２検出範囲との重複範囲外に存在する物体と、重複範囲内に存在する物体との連続性を前記輪郭線抽出手段で抽出した輪郭線情報と、前記検出手段で検出した物体の３次元情報から求めた輪郭線情報の一致度に基づいて判定する連続性判定手段と、
前記連続性判定手段により重複範囲内に存在する物体と連続性を有すると判定された重複範囲外に存在する物体の３次元情報を、重複範囲内に存在する物体の３次元情報と判定した連続性に基づいて推定する推定手段と、
を備えていることを特徴とする画像処理装置。
【請求項２】
前記検出手段と推定手段で算出した３次元情報に基づいて所定の仮想視点から見た画像を作成する画像作成手段をさらに備えていることを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラ（撮像手段）を用いて取得した画像を基にして撮像対象の３次元情報を把握する技術に関する。
【背景技術】
【０００２】
車両に搭載したカメラによって車両周辺の画像を撮像し、運転者の周辺状況認知を支援するシステムが知られている（例えば、特許文献１参照）。特許文献１記載の技術は、複数のカメラで取得した画像を基にして仮想視点から見た画像を合成し、運転者に対して提供するものであり、走行状況に応じて視点位置、視線の向き、焦点距離などを変更可能としたことを特徴としている。
【特許文献１】特許第３３００３３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１における視点変換は、合成画像の画素位置に対応するカメラ取得画像とその画素位置をマッピングテーブルに格納しておき、その対応関係に基づいて合成画像を生成するものである。この手法は、撮像対象物に立体物が存在せず、全て道路平面上に位置している場合には、正確な変換画像を生成することができるが、対象物が立体である場合には、図２５のＩｘで示されるように、実際よりもそそり立った画像を生成してしまう。
【０００４】
そこで、本発明は、撮像対象物の３次元情報を把握可能な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明にかかる画像処理装置は、（１）第１検出範囲の画像を取得する第１撮像手段と、（２）この第１検出範囲と一部が重複する第２検出範囲の画像を取得する第２撮像手段と、（３）第１撮像手段、第２撮像手段の各々で取得した対応する２画像をステレオ視処理することで、第１検出範囲と第２検出範囲の重複範囲内に存在する物体の３次元情報を検出する検出手段と、（４）第１撮像手段、第２撮像手段のそれぞれで取得した画像から物体の輪郭線を抽出する輪郭線抽出手段と（５）第１撮像手段で取得した画像中で第２検出範囲との重複範囲外に存在する物体と、重複範囲内に存在する物体との連続性を輪郭線抽出手段で抽出した輪郭線情報と、前記検出手段で検出した物体の３次元情報から求めた輪郭線情報の一致度に基づいて判定する連続性判定手段と、（６）連続性判定手段により重複範囲内に存在する物体と連続性を有すると判定された重複範囲外に存在する物体の３次元情報を、重複範囲内に存在する物体の３次元情報と判定した連続性に基づいて推定する推定手段と、を備えていることを特徴とする。
【０００６】
同一の撮像対象物を異なる視点位置から撮像し、画像における対応関係を基にして撮像対象の空間位置（３次元位置）を検出するステレオ視処理が知られている。本発明にかかる画像処理装置は、第１撮像手段と第２撮像手段で取得した画像中の重複している領域については、検出手段において第１撮像手段で撮像した画像と、第２撮像手段で撮像した画像間でステレオ視処理を行うことにより、３次元位置を検出する。重複していない領域、つまり、第１撮像手段のみで撮像されている対象物で、重複範囲内の物体と連続性を有する物体、つまり、重複範囲内の物体と重複範囲外の物体とが所定の位置関係にあると判定した場合には、その位置関係と重複範囲内の物体の３次元情報から、重複範囲外の物体の位置関係を推測しうる。一致度としては、３次元情報から求めた輪郭線の延長線と抽出した輪郭位置との偏差等を用いて判定すればよい。
【０００８】
検出手段と推定手段で算出した３次元情報に基づいて所定の仮想視点から見た画像を作成する画像作成手段をさらに備えているとよい。所定の仮想視点としては、例えば、全体を上方から見た視点が挙げられ、この場合には、いわゆる俯瞰図が作成される。
【発明の効果】
【０００９】
２つの撮像手段で重複して撮像している領域については、ステレオ視によりその３次元情報を取得し、一方のみで撮像している領域については、重複領域との連続性を評価して、ステレオ視により得られた３次元情報と、連続性から３次元情報を推定することで、重複領域以外についても３次元情報を取得することができる。このため、ステレオ視を行う領域が全体の一部にすぎない場合でも、撮像した領域全体について３次元情報を取得できる。このため、３次元情報を取得するのに必要なカメラの台数を減らすことができる。
【００１０】
輪郭線情報を基にして一致度を判定することで、特に、直線上に延在している物体（道路境界線やガードレール等）を基に精度よく判定を行うことが可能となる。また、仮想視点から見た画像に変換することで、撮像対象物の位置関係や高さを把握しやすくなる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１２】
図１は、本発明にかかる画像処理装置の一実施形態の構成を示すブロック図である。この画像処理装置の画像処理手段２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されている。以下に説明する画像処理手段２内の各構成要素は、ハードウェア的に区分されていてもよいが、共通のハードウェア上で稼働するソフトウェアによって実現されていてもよい。これらのソフトウェアは別々のプログラム、サブルーチン等によって構成される場合もあるが、一部またはその大部分のルーチンを共有していてもよい。
【００１３】
画像処理手段２には、複数のカメラ、本実施形態では、前方カメラ１１、右側方カメラ１２、左側方カメラ１３、後方カメラ１４の画像が入力される。図２は、各カメラ１１〜１４の車両３への配置例を示す図である。各カメラ１１〜１４は、車両３の前方中央、右側方中央、左側方中央、後方中央の略同一高さの位置にそれぞれ配置されている高視野角のカメラであり、例えば、図３に示されるような画像ＩＬＯを取得する画角１８０°の全周魚眼レンズを備えたカメラが好ましい。図２に示されるａＦ、ａＲ、ａＬ、ａＢは撮像領域を示している。
【００１４】
例えば、車両３の左側にガードレール４が延びている場合、再前方のレール部分４０と最後方のレール部分４６は、カメラの視野領域外になる。そして、レール部分４１と４２は、前方カメラ１１の視野領域内に、レール部分４２〜４４が左側方カメラ１３の視野領域内に、レール部分４４、４５が後方カメラ１４の視野領域内にそれぞれ位置する。つまり、レール部分４１、４３、４５はそれぞれ前方カメラ１１、左側方カメラ１３、後方カメラ１４のいずれか一つのカメラのみにの視野領域に位置するが、レール部分４２は、前方カメラ１１と左側方カメラ１３の視野が重なる領域に、レール部分４４は、左側方カメラ１３と後方カメラ１４の視野が重なる領域に位置することになる。
【００１５】
各カメラ１１〜１４で取得した画像は、デジタル信号として画像取込部２０へと送られる。画像信号のデジタル変換は、カメラ１１〜１４内で行われてもよいが、カメラ１１〜１４と画像取込部２０の間にＡ／Ｄコンバータを設けて変換を行ってもよいし、画像取込部２０にＡ／Ｄコンバータを内蔵する構成としてもよい。画像取込部２０で取り込んだ画像は、処理結果記憶部２１に格納される。この処理結果記憶部２１は、ＲＡＭやフラッシュメモリ、ハードディスクなどの記憶媒体により構成される。
【００１６】
処理結果記憶部２１に格納された画像情報をもとに、視点変換部２２、エッジ処理部２３、ステレオ視処理部２４、連続性判定部２５、仮想画像作成部２６は、各々所定の画像処理を行い、必要ならば処理結果を処理結果記憶部２１に格納する。出力部２７は，仮想画像作成部２６で生成された仮想画像を出力し、図示していない表示装置等に表示させる。
【００１７】
視点変換部２２は、カメラ１１〜１４の撮像画像から特定の視点画像への変換を行う。エッジ処理部２３は、ある画像中から所定のエッジ抽出処理により輪郭であるエッジ部を抽出する。ステレオ視処理部２４は、同一被写体を別の方向から撮像した複数の画像をもとにしてステレオ視処理により被写体の空間位置を算出するものであり、複数の画像中において対応する画素位置を求める対応点探索部２４０と、対応点の画素位置と画像の投影位置とをもとにして対応点の空間位置を求める空間位置導出部２４１とを備えている。連続性判定部２５は、画像中の空間位置が既知のエッジと連続している、言い換えると、既知のエッジの延長線上にあるエッジを検出するものであり、対応エッジ探索部２５０と、空間位置判定部２５１とを備えている。そして、仮想画像作成部２６は、空間位置情報を基にして視点の異なる画像を作成するものである。
【００１８】
以下、この画像処理装置の動作を具体的に説明する。図４は、この動作の処理を示すフローチャートである。この処理は、車両の電源がオンにされてから所定のタイミングで繰り返し実行される。例えば、カメラ１１〜１４の画像取得レートに同期して、取得する画像１コマごと、あるいは、数コマおきに処理を行えばよい。
【００１９】
最初に、画像取込部２０が前方カメラ１１、右側方カメラ１２、左側方カメラ１３、後方カメラ１４のそれぞれで撮影した画像を取得し、処理結果記憶部２１に格納する（ステップＳ１）。次に、前方カメラ１１の画像と左側方カメラ１３の画像の視野が重なっている領域を対象に、被写体の３次元情報（空間位置情報）を導出する（ステップＳ２）。この導出処理の具体的な処理フローチャートを図５に示す。
【００２０】
最初に、左側方カメラ１３で取得した画像の処理範囲を設定する（ステップＳ２０１）。図６は、各カメラ１１〜１４の撮像領域を示している。ここでは、処理範囲として前方カメラ１１の撮像領域ａＦと、左側方カメラ１３の撮像領域ａＬとが重なっている領域ａＬＦを処理範囲として設定する。次に、視点変換部２２は、左側方カメラ１３の撮影画像ＩＬＯから前方４５°方向の仮想視点画像ＩＬＦを生成して、処理結果記憶部２１に格納する（ステップＳ２０２）。図７、図８は、この仮想視点画像生成を説明する図である。
【００２１】
魚眼レンズは通常のカメラ用レンズと異なり、正射影方式ではなく、等立体角射影や当距離射影方式を採用している。このため、画面中心を通る直線を除いて、図３に示されるように、空間上における直線形状（例えば、ガードレールの輪郭等）も画面には曲線として表示される。この画像から射影方式を正射影に変換し、その際の視線方向を変換することで、図８に示されるように直線を直線として表示させることができる。ここで、ＩＬは、左側方方向の仮想視点画像であり、ＩＬＢは、後方４５°方向の仮想視点画像を表す。
【００２２】
画像ＩＬＦを生成したら、エッジ処理部２３により、画像内のエッジを抽出する（ステップＳ２０３、図９参照）。このエッジ抽出処理は、既知の各種のエッジ抽出手法（Ｓｏｂｅｌフィルタや方向差分等）を用いればよい。
【００２３】
続いて、ステップＳ２０１と同様に、前方カメラ１１で取得した画像の処理範囲を設定する（ステップＳ２０４）。図６に示されるように、前方カメラ１１の撮像領域ａＦ中で、左側方カメラ１３の撮像領域ａＬと重なっている領域ａＬＦを処理範囲として設定する。次に、視点変換部２２は、前方カメラ１１の撮影画像ＩＦＯから左方４５°方向の仮想視点画像ＩＦＬを生成して、処理結果記憶部２１に格納する（ステップＳ２０５）。図１０は、この仮想視点画像生成を説明する図である。ここで、ＩＦは、前方向の仮想視点画像であり、ＩＦＲは、右方４５°方向の仮想視点画像を表す。画像ＩＦＬを生成したら、エッジ処理部２３により、画像内のエッジを抽出する（ステップＳ２０６）。
【００２４】
なお、ステップＳ２０４〜Ｓ２０６の処理は、ステップＳ２０１〜Ｓ２０３の処理とは独立した処理であるため、これらの処理と並列に行ってもよく、あるいは、ステップＳ２０１〜Ｓ２０３の処理に先立って行ってもよい。
【００２５】
次に、ステレオ視処理部２４の対応点探索部２４０は、画像ＩＬＦとＩＦＬの画素の対応点を探索する（ステップＳ２０７）。具体的には、図１１に示されるように、画像ＩＬＦ上の任意の小領域に対応する画像ＩＦＬ上の小領域は、エピポーラ極線ｅＦＬ上に存在する。そこで、画像ＩＦＬ中の、画像ＩＬＦのエッジ構成点を含む領域に対応するエピポーラ極線ｅＦＬ上に位置し、かつ、画像ＩＦＬのエッジ構成点に近い領域について画像ＩＬＦのエッジ構成点を含む領域との相関値を算出し、最も相関値の高い領域を求める。この最大相関値をＳＬとする。そして、ＳＬと閾値ＴＨｓとを比較し（ステップＳ２０８）、ＳＬが閾値ＴＨｓ以下の場合には、対応領域がないと判定し、後述するステップＳ２１１へと戻り、次のエッジ構成点の探索へと移行する。ＳＬが閾値ＴＨｓを超えている場合には、対応領域と判定し、ステップＳ２０９へと移行する。
【００２６】
ステップＳ２０９では、空間位置導出部２４１により、画像ＩＦＬと画像ＩＬＦ中の対応画素位置情報を基にして、被写体の当該画素に対応する部分の空間位置を算出する。図１２は、この空間位置算出の原理を説明する図である。
【００２７】
ここで、センサ座標系ＸｓＹｓＺｓをとり、左右のカメラはセンサ原点をはさんで、Ｘ軸方向に基線長ｂだけ離れて配置されているものとする。つまり、左カメラの光学中心は、座標位置（−ｂ／２，０，０）に、右カメラの光学中心は、座標位置（ｂ／２，０，０）に位置するものとする。両カメラの焦点距離をｆ、対象物Ｐの左カメラの画面上の位置をＰｌ（ｘｌ、ｙｌ）、右カメラの画面上の位置をＰｒ（ｘｒ、ｙｒ）とする（画面上のＸＬ、ＸＲ軸は、Ｘｓ軸と平行であり、ＹＬ、ＹＲ軸は、Ｚｓ軸と平行とする。）と、三角測量の原理により、対象物Ｐの空間位置（Ｘｐｓ，Ｙｐｓ，Ｚｐｓ）は、以下の式により表される。
【数１】
0004696925.tif 000002
なお、ｙｌとｙｒとは理想的には一致する。
【００２８】
さらに、このセンサ座標系から車両座標系への変換を行う。図１３は、この座標変換を説明する図である。車両重心を原点とし、センサ座標系と各軸が平行な座標系ＸｃＹｃＺｃを考える。このとき各軸Ｘｃ、Ｙｃ、Ｚｃは、センサ座標系の各軸Ｘｓ、Ｙｓ、Ｚｓをそれぞれａｘ、ａｙ、ａｚシフトさせたものとなる。さらに、同様に車両重心を原点とし、鉛直軸をＺｆ軸とし、軸Ｘｃ、Ｙｃをそれぞれ水平面に投影した軸をＸｆ、Ｙｆとした場合の座標系ＸｆＹｆＺｆを考える。ここで、ＸｆとＸｃのなす角度をロール角φ、ＹｆとＹｃのなす角度をピッチ角ρとすると、ＸｃＹｃＺｃ座標系における対象物Ｐの空間位置（Ｘｐｃ，Ｙｐｃ，Ｚｐｃ）およびＸｆＹｆＺｆ座標系における対象物Ｐの空間位置（Ｘｐｆ，Ｙｐｆ，Ｚｐｆ）は、以下の式により表される。
【数２】
0004696925.tif 000003
これにより、空間上の位置を表すことができる。なお、ａｘ、ａｙ、ａｚはカメラの配置位置に基づいて決まる定数であり、φ、ρは車両３の姿勢情報から求めることができる。このようにして求めた空間位置を画面上の画素位置と関連づけて処理結果記憶部２１に格納する。
【００２９】
次に、エッジの全ての構成点について空間位置情報の算出を終了したかを判定し（ステップＳ２１０）、終了していない場合には、ステップＳ２１１へ移行して、次のエッジ構成点についてステップＳ２０７〜Ｓ２０９の処理を行うことにより、画面内の全エッジについて空間位置情報の算出を行う。全ての構成点について算出が終了した場合には、図４のステップＳ２の処理を終了したことになる。
【００３０】
続く、ステップＳ３〜Ｓ５では、ステップＳ２において、前方カメラ１１と左側方カメラ１３の視野重なり領域ａＬＦについて行ったのと同様の処理を、前方カメラ１１と右側方カメラ１２の視野重なり領域ａＲＦ、後方カメラ１４と左側方カメラ１３の視野重なり領域ａＬＢ、後方カメラ１４と右側方カメラ１２の視野重なり領域ａＲＢのそれぞれについて実行する。これら、ステップＳ２〜Ｓ５の処理は、並行して行ってもよく、また、適宜順序を異ならせて行ってもよい。
【００３１】
ステップＳ６では、連続性判定部２５内の対応エッジ探索部２５０が左側方カメラ画像内の物体連続性を判定し、続くステップＳ７において、空間位置判定部２５１が左側方カメラ１３の画像領域（前方カメラ１１、後方カメラ１４と重複していない領域）の３次元情報を推測する。ステップＳ６、Ｓ７の具体的な処理フローチャートを図１４に示す。
【００３２】
最初に、変換範囲を設定する（ステップＳ６０１）。これは、魚眼レンズで得られた画像全体の変換を行うと範囲が広くなりすぎるためであり、例えば、前後５ｍの範囲に設定する。この範囲は、前方カメラ１１、後方カメラ１４それぞれの撮像領域ａＦ、ａＢとの重なり領域であるａＬＦ、ａＬＢの少なくとも一部を含むように設定される。
【００３３】
次に、視点変換部２２により、左側方カメラ１３の取得画像ＩＬＯから射影変換、視線変換により左９０°（左側方）方向の画像ＩＬを生成する（ステップＳ６０２、図７、図８、図１５参照）。次に、エッジ処理部２３が画像ＩＬ中のエッジ抽出処理を実施する（ステップＳ６０３）。抽出したエッジ中には、ノイズ成分が含まれている可能性があることから、面積フィルタ、エッジ線長さ、孤立点除去等の手法を用いてノイズ除去処理を行い、結果を処理結果記憶部２１に格納する（ステップＳ６０４）。
【００３４】
抽出したエッジについてその向き、位置、近接度合い等を参照してエッジをグループ分けして、それぞれにグループ識別番号であるＧｒＩＤを付す（ステップＳ６０５）。ＧｒＩＤは、０から始まる整数であり、以下、総数ＮＧｒのグループにグルーピングした場合を例に説明する。この場合、最もＧｒＩＤの数値の大きなグループのＧｒＩＤは、ＮＧｒ−１である。
【００３５】
グルーピング後、左側方方向の画像ＩＬ中のエッジと左前４５°方向の画像ＩＬＦ中のエッジとの対応をとり、対応する画素に３次元情報を記録する（ステップＳ６０６）。具体的には、画像ＩＬ内で領域ａＬＦに位置している画素について、画像ＩＬＦ上の画素位置を求める。これは、対応する元画像ＩＬＯとの対応から対応づけが可能である（図１６参照）。画像ＩＬＦ中のエッジについては、ステップＳ２０９において、空間位置情報が算出済みであるから、この空間位置情報を画像ＩＬのエッジ画素に対応づければよい。同様に左側方方向の画像ＩＬ中のエッジと左後４５°方向の画像ＩＬＢ中のエッジとの対応をとり、対応する画素に３次元情報を記録する（ステップＳ６０７）。
【００３６】
次に、変数ｉに初期値０を代入する（ステップＳ６０８）。この変数ｉは、後述の処理において連続性情報を判定するエッジのグループ識別番号ＧｒＩＤに対応するものである。そして、ｉとＮＧｒとを比較する（ステップＳ６０９）。上述したようにＧｒＩＤの最大値はＮＧｒ−１となるから、ｉがＮＧｒ以上の場合には、全てのエッジについて連続性情報判定処理が終了したことを意味する。そこで、この場合には以後の処理をスキップして終了する。ｉがＮＧｒ以上の場合には、連続性情報判定処理の終了していないエッジがあることを意味するので、後述の連続性情報判定処理を実行する。
【００３７】
連続性情報判定処理においては、まず、グループ識別番号ＧｒＩＤがｉのエッジで、すでにステップＳ６０６〜Ｓ６０７の処理において３次元情報が記録されている画素（ＰＬＢｉ，ｊ、ＰＬＦｉ，ｊ）からHough変換、最小自乗法等の処理により、それらの画素の近似直線ＬＬｉを表す３次元直線式Ｓ３Ｄを導出する（ステップＳ６１０、図１７参照）。
【００３８】
次に、導出した３次元直線式Ｓ３Ｄｉを画像ＩＬ中に投影する（ステップＳ６１１）。具体的には、画像ＩＬ中での近似直線ＬＬｉ位置を表す２次直線式Ｓ２Ｄｉを導出する。図１８は、こうして求めたＬＬｉを画像ＩＬ上に実際に投影して示した場合の表示例である。
【００３９】
画像ＩＬ中において前方カメラ１１による撮影画像との重なり領域ａＬＦ、後方カメラ１４による撮影画像との重なり領域ａＬＢのいずれにも該当しない領域（図１８における中央部分の領域）中で、かつ、グループ識別番号ＧｒＩＤがｉのエッジの構成点ＰＬｉについて、求めたＬＬｉとの距離ｄＬｉの平均値Ｄｉを算出する（ステップＳ６１２、図１９参照）。ここでは、単純平均値を用いたが、例えば、二乗平均等を用いてもよい。
【００４０】
次に求めた平均値Ｄｉを閾値ＴＨＤｉとを比較する（ステップＳ６１３）。Ｄｉが閾値ＴＨＤｉ以上の場合には、画像ＩＬの中間領域のエッジ構成物と両端のエッジ構成物とは不連続であると判定し、対応画素に不連続フラグを記録する（ステップＳ６１４）。具体的にはＧｒＩＤを−１に設定する。一方、Ｄｉが閾値ＴＨＤｉ未満の場合には、画像ＩＬの中間領域のエッジ構成物と両端のエッジ構成物とは連続であると判定し、空間位置判定部２５１が対応画素に３次直線式Ｓ３Ｄｉに基づいたＬＬｉ上の空間座標値を関連づけ、処理結果記憶部２１に記録する（ステップＳ６１５）。ステップＳ６１４、Ｓ６１５の処理終了後はステップＳ６１６へと移動し、変数ｉに１加算して、ステップＳ６０９へと戻る。これを繰り返すことで、注管理領域に存在する全てのエッジについてその連続性を判定し、空間位置を求める。
【００４１】
ステップＳ６、Ｓ７と同様の処理を右側方カメラ１２、前方カメラ１１、後方カメラ１４のそれぞれで単独で撮像した領域について実行する（ステップＳ８〜Ｓ１３）。これにより、ステレオ視処理が行えない単独のカメラのみで撮像した領域についてもエッジの空間位置情報を導出することができる。
【００４２】
空間位置情報を導出したら、ステップＳ１４へと移行し、仮想画像作成部２６により、エレベーションマップを作成する。このエレベーションマップは、車両３の周辺を上から見た俯瞰図に対応したものであり、図２０に示されるように、等間隔の格子で区切られたマス内に高さ情報Ｅ（ｘ，ｙ）が記録されたものである。高さ情報に加えて、エッジ画素の位置、輝度・色情報等も合わせて記録される。なお、３次元情報が記録されていない画素については、周囲の画素で３次元情報が記録されている画素から補間によりその３次元情報を求めるとよい。
【００４３】
求めたエレベーションマップを参考に、いずれのカメラ１１〜１４からも死角になっている部分を判定する（ステップＳ１５）。具体的な死角判定について図２１、図２２を参照して説明する。図２１は、死角を判定した俯瞰図の例である。車両３の周囲に、障害物として三角コーン５０、樹木５１、側溝５２、ガードレール５３が存在している。ここで、添字ｓを付した５０ｓ、５１ｓ、５３ｓは、それぞれの障害物により死角となっている影を表している。図２２は、この死角（影）部分を説明する図である。
【００４４】
車両３の乗っている水平面をＳ０、カメラ１０の設置高さをＨｃ、立体物５５の高さをｈ、カメラ１０と立体物５５との距離をｄとすると、死角５５ｓの長さＬは、下記の式で表せる。
【数３】
0004696925.tif 000004
なお、ｈ≧Ｈｃの場合には、死角５５ｓと水平面が交差することはない。求めた死角領域はエレベーションマップに記録される。
【００４５】
仮想画像作成部２６は、求めたエレベーションマップから図２１に示されるような俯瞰図を作成する（ステップＳ１６）。例えば、影部分は黒く塗りつぶして表示される。次に３次元情報を基にして道路構造物の判定と３次元位置姿勢情報の導出を行う（ステップＳ１７）。正射影に変換した画像（ＩＬやＩＬＦ等）を用い、３次元情報が記憶されている画素の周辺領域に対して、パターンマッチング（例えば、差分総和、正規化相関、ニュウラルネット等）手法等によって、白線、縁石、側溝、ガードレール等の道路構造物を認識する。そして、認識した道路構造物と、その輪郭部分の３次元情報を基にして構造物の位置・姿勢情報を算出する。図２３は、側溝５６について、判定を行った場合の例示である。
【００４６】
輪郭部分の３次元情報から、構造物の輪郭構成点の位置情報は把握されている。しかし、障害物回避や自動走行といった車両挙動制御を行うシステムへ個々の輪郭点の位置情報を伝達しても不要なデータが多いことから、必要なデータのみを提供することが望まれる。例えば、側溝５６の場合には、その幅Ｄ１２、車両３との距離ｄ、伸長方向の角度φを算出して伝達するとよい。
【００４７】
その後、駐車車両等のその他の障害物について、その位置・姿勢情報を同様の手法で算出する（ステップＳ１８）。例えば、駐車車両５７の場合には、図２４に示されるように、長方形とみなして、その幅Ｓ１、長さＳ２と、その高さ、および、自車両３との距離を算出して伝達するとよい。
【００４８】
ステップＳ１９では、出力部２７は、求めた俯瞰図および道路構造物や障害物の位置・姿勢情報を出力する。これらの情報は図示していない表示部へと出力したり、車両挙動制御装置に送り、障害物への接近警報や回避支援といった制御を行うとよい。
【００４９】
本実施形態によれば、複数のカメラで重ねて撮像している領域（例えば、ａＬＦ等）だけでなく、単独のカメラで撮像している領域についても対象物の３次元情報を把握することができる。このため、ステレオ視のみで３次元情報を把握しようとする場合と異なり、必ずしも全ての撮影領域について複数のカメラで撮影領域が重なり合うように配置する必要がなく、カメラの台数を減らすことができ、３、４台のカメラで全周の３次元情報を得ることが可能となる。
【００５０】
このようにして得られた３次元情報を基にして俯瞰図を作成することで、図２５に示されるように投影面を異ならせて俯瞰図を作成する場合と異なり、より現状に則した俯瞰図を作成することができるとともに、死角となる領域を区分することもでき、運転者に車両周囲の状況を適切に把握させることが可能となる。
【００５１】
以上の説明では、物体の連続性判定を直線により行ったが、もちろん、近似曲線を用いることもできる。また、ここでは、車両の全周を撮像対象とする場合を例に説明したが、本発明は、最低２台のカメラにより、その一部の撮像領域が重なり合うように配置した場合に適用可能である。また、俯瞰図に限らず、任意の視点からの画像を作成することが可能となる。
【図面の簡単な説明】
【００５２】
【図１】本発明にかかる画像処理装置の一実施形態の構成を示すブロック図である。
【図２】各カメラ１１〜１４の車両３への配置例を示す図である。
【図３】カメラ１１〜１４で得られる画像の一例を示す図である。
【図４】本発明にかかる画像処理装置の動作処理を示すフローチャートである。
【図５】図４のステップＳ２の処理の具体的な処理フローチャートである。
【図６】各カメラ１１〜１４の撮像領域の関係を示す図である。
【図７】ステップＳ２０２における仮想視点画像生成を説明する図である。
【図８】生成される仮想視点画像の一例を示す図である。
【図９】画像中の抽出エッジ位置を示す図である。
【図１０】ステップＳ２０５における仮想視点画像生成を説明する図である。
【図１１】エピポーラ極線を説明する図である。
【図１２】ステレオ視による空間位置算出原理を説明する図である。
【図１３】センサ座標系から車両座標系への変換を説明する図である。
【図１４】図４のステップＳ６、Ｓ７の処理の具体的な処理フローチャートである。
【図１５】視点変換により得られる画像ＩＬの一例を示す図である。
【図１６】異なる視点変換画像中における画素の対応づけを説明する図である。
【図１７】エッジの近似直線ＬＬｉの算出手法を説明する図である。
【図１８】エッジの近似直線ＬＬｉを画像ＩＬ中への投影例を示す図である。
【図１９】近似直線ＬＬｉとの距離に基づく連続性判定を説明する図である。
【図２０】エレベーションマップの一例を示す図である。
【図２１】死角を判定した俯瞰図の例である。
【図２２】死角領域部分の判定手法を説明する図である。
【図２３】側溝を例に、道路構造物の位置姿勢情報の算出手法を説明する図である。
【図２４】駐車車両の位置姿勢情報の把握例を説明する図である。
【図２５】従来の手法により作成した俯瞰図の問題点を説明する図である。
【符号の説明】
【００５３】
３…自車両、１０…カメラ、１１…前方カメラ、１２…右側方カメラ、１３…左側方カメラ、１４…後方カメラ、２０…画像取込部、２１…処理結果記憶部、２２…視点変換部、２３…エッジ処理部、２４…ステレオ視処理部、２５…連続性判定部、２６…仮想画像作成部、２７…出力部、４、４０〜４６…ガードレール、５０…三角コーン、５１…樹木、５２…側溝、５３…ガードレール、５５…立体物、５６…側溝、５７…駐車車両、２４０…対応点探索部、２４１…空間位置導出部、２５０…対応エッジ探索部、２５１…空間位置判定部。
【図１】
0004696925.tif 000005
【図２】
0004696925.tif 000006
【図３】
0004696925.tif 000007
【図４】
0004696925.tif 000008
【図５】
0004696925.tif 000009
【図６】
0004696925.tif 000010
【図７】
0004696925.tif 000011
【図８】
0004696925.tif 000012
【図９】
0004696925.tif 000013
【図１０】
0004696925.tif 000014
【図１１】
0004696925.tif 000015
【図１２】
0004696925.tif 000016
【図１３】
0004696925.tif 000017
【図１４】
0004696925.tif 000018
【図１５】
0004696925.tif 000019
【図１６】
0004696925.tif 000020
【図１７】
0004696925.tif 000021
【図１８】
0004696925.tif 000022
【図１９】
0004696925.tif 000023
【図２０】
0004696925.tif 000024
【図２１】
0004696925.tif 000025
【図２２】
0004696925.tif 000026
【図２３】
0004696925.tif 000027
【図２４】
0004696925.tif 000028
【図２５】
0004696925.tif 000029