(57)【要約】【構成】カメラＣ＿１〜Ｃ＿４のうちカメラＣ＿３およびＣ＿４に注目したとき、カメラＣ＿３およびＣ＿４は、共通視野ＶＷ＿３４を部分的に有するように路面を斜め上から捉える。ＣＰＵは、カメラＣ＿３およびＣ＿４からそれぞれ出力された被写界像Ｐ＿３およびＰ＿４を取り込み、取り込まれた被写界像Ｐ＿３およびＰ＿４を鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４にそれぞれ変換し、そして変換された鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４を共通視野ＶＷ＿３４に割り当てられた境界線を参照して合成する。共通視野ＶＷ＿３４に立体物が存在するとき、ＣＰＵは、鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４の各々に現れた立体物画像の間の大きさの相違を検出し、検出された相違を参照して境界線の設定を調整する。【効果】立体物の視認性が向上する。【選択図】図３
2010250640.tif 000002
【特許請求の範囲】
【請求項１】
共通視野を部分的に有するように基準面を斜め上から捉える複数のカメラからそれぞれ出力された複数の被写界像を取り込む取り込み手段、
前記取り込み手段によって取り込まれた複数の被写界像を前記基準面を真上から捉えた状態を表す複数の鳥瞰画像にそれぞれ変換する変換手段、
前記変換手段によって変換された複数の鳥瞰画像を前記共通視野に割り当てられた重みを参照して合成する合成手段、
前記共通視野に立体物が存在するとき前記変換手段によって変換された複数の鳥瞰画像にそれぞれ現れた複数の立体物画像の間の大きさの相違を検出する第１検出手段、および
前記第１検出手段によって検出された相違を参照して前記重みを調整する第１調整手段を備える、画像処理装置。
【請求項２】
前記第１調整手段はより大きな立体物画像が再現されるように前記重みを調整する、請求項１記載の画像処理装置。
【請求項３】
前記第１検出手段の検出処理に関連して前記立体物の動き量を検出する第２検出手段、
前記第２検出手段によって検出された動き量を参照して前記重みを調整する第２調整手段、および
前記第１検出手段によって検出された相違が基準を下回るとき前記第１調整手段に代えて前記第２調整手段を起動する制御手段をさらに備える、請求項１または２記載の画像処理装置。
【請求項４】
前記第２調整手段は前記立体物の移動方向に存在するカメラの立体物画像が再現されるように前記重みを調整する、請求項３記載の画像処理装置。
【請求項５】
前記重みは前記共通視野に定義される境界線をパラメータとして含み、
前記合成手段は、前記境界線よりも外方の部分画像を前記複数の鳥瞰画像の各々から削除する削除手段、および前記削除手段の削除処理の後に残った複数の部分鳥瞰画像を互いに結合する結合手段を含む、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記複数のカメラは移動体に設けられ、
前記合成手段によって作成された合成鳥瞰画像を前記移動体の操縦者に向けて表示する表示手段をさらに備える、請求項１ないし５のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に、共通視野を部分的に有するように基準面を斜め方向から捉える複数のカメラの各々から出力された被写界像を鳥瞰画像に変換する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、４つのカメラは、隣り合う２つのカメラの視野が部分的に重複するように車両に搭載される。車両の周囲はこのようなカメラによって捉えられ、各々のカメラから出力された被写界像は鳥瞰画像に変換される。
【０００３】
変換された鳥瞰画像のうち重複視野に対応する部分画像上には、境界線が割り当てられる。４つのカメラにそれぞれ対応する４つの鳥瞰画像は、このような境界線を参照したトリミング処理を経て、互いに合成される。ただし、重複視野から障害物つまり立体物が検出された場合、境界線の位置は立体物画像を回避するように変更される。これによって、立体物画像の品質が維持される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０４３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、鳥瞰画像は路面を基準に作成されるため、鳥瞰画像における立体物の再現性は、カメラと立体物との間の高さの相違やカメラから立体物までの距離などに起因して変動する。背景技術では、このような特性を考慮して境界線の位置が制御されることはなく、立体物の視認性に限界がある。
【０００６】
それゆえに、この発明の主たる目的は、立体物の視認性を向上させることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、共通視野を部分的に有するように基準面を斜め上から捉える複数のカメラ(C_3, C_4)からそれぞれ出力された複数の被写界像を取り込む取り込み手段(S1)、取り込み手段によって取り込まれた複数の被写界像を基準面を真上から捉えた状態を表す複数の鳥瞰画像にそれぞれ変換する変換手段(S3)、変換手段によって変換された複数の鳥瞰画像を共通視野に割り当てられた重みを参照して合成する合成手段(S7)、共通視野に立体物が存在するとき変換手段によって変換された複数の鳥瞰画像にそれぞれ現れた複数の立体物画像の間の大きさの相違を検出する第１検出手段(S35)、および第１検出手段によって検出された相違を参照して重みを調整する第１調整手段(S41, S43, S61)を備える。
【０００８】
好ましくは、第１調整手段はより大きな立体物画像が再現されるように重みを調整する。
【０００９】
好ましくは、第１検出手段の検出処理に関連して立体物の動き量を検出する第２検出手段(S45)、第２検出手段によって検出された動き量を参照して重みを調整する第２調整手段(S47~S55, S61)、および第１検出手段によって検出された相違が基準を下回るとき第１調整手段に代えて第２調整手段を起動する制御手段(S37, S39)がさらに備えられる。
【００１０】
さらに好ましくは、第２調整手段は立体物の移動方向に存在するカメラの立体物画像が再現されるように重みを調整する。
【００１１】
好ましくは、重みは共通視野に定義される境界線をパラメータとして含み、合成手段は、境界線よりも外方の部分画像を複数の鳥瞰画像の各々から削除する削除手段(S73)、および削除手段の削除処理の後に残った複数の部分鳥瞰画像を互いに結合する結合手段(S79)を含む。
【００１２】
好ましくは、複数のカメラは移動体に設けられ、合成手段によって作成された合成鳥瞰画像を移動体の操縦者に向けて表示する表示手段(16)がさらに備えられる。
【発明の効果】
【００１３】
この発明によれば、複数の鳥瞰画像を合成するときに参照される重みは、立体物画像の大きさのカメラ間での相違に注目して調整される。これによって、立体物の視認性を向上させることができる。
【００１４】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１５】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。
【図４】（Ａ）は前カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｃ）は左カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｄ）は後カメラの出力に基づく鳥瞰図画像の一例を示す図解図である。
【図５】全周鳥瞰図画像の作成動作の一部を示す図解図である。
【図６】作成された全周鳥瞰図画像の一例を示す図解図である。
【図７】表示装置によって表示される運転支援画像の一例を示す図解図である。
【図８】車両に取り付けられたカメラの角度を示す図解図である。
【図９】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図１０】車両とその周辺に存在する障害物の一例を示す図解図である。
【図１１】運転支援画像の作成動作の他の一部を示す図解図である。
【図１２】障害物画像を再現する動作の一例を示す図解図である。
【図１３】障害物画像の再現する動作の他の一例を示す図解図である。
【図１４】障害物画像の再現する動作のその他の一例を示す図解図である。
【図１５】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【発明を実施するための形態】
【００１６】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１７】
図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。取り込み手段２は、共通視野を部分的に有するように基準面を斜め上から捉える複数のカメラ１，１，…からそれぞれ出力された複数の被写界像を取り込む。変換手段３は、取り込み手段２によって取り込まれた複数の被写界像を、基準面を真上から捉えた状態を表す複数の鳥瞰画像にそれぞれ変換する。合成手段４は、変換手段３によって変換された複数の鳥瞰画像を、共通視野に割り当てられた重みを参照して合成する。第１検出手段５は、共通視野に立体物が存在するとき、変換手段３によって変換された複数の鳥瞰画像にそれぞれ現れた複数の立体物画像の間の大きさの相違を検出する。第１調整手段６は、第１検出手段によって検出された相違を参照して重みを調整する。
【００１８】
鳥瞰画像に現れる立体物画像の大きさは、基準面からの立体物の高さやカメラ１と立体物との間の高さの差分に応じて異なる。複数の鳥瞰画像を合成するときに参照される重みは、このような立体物画像の大きさのカメラ１間での相違に注目して調整される。これによって、立体物の視認性を向上させることができる。
［実施例］
【００１９】
図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通のタイミング信号に同期して被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２に与えられる。
【００２０】
図３を参照して、カメラＣ＿１は、カメラＣ＿１の光軸が車両１００の前方斜め下向きに延びる姿勢で、車両１００の前部中央に設置される。カメラＣ＿２は、カメラＣ＿２の光軸が車両１００の右方斜め下向きに延びる姿勢で、車両１００の右側上部に設置される。カメラＣ＿３は、カメラＣ＿３の光軸が車両１００の後方斜め下向きに延びる姿勢で、車両１００の後部中央に設置される。カメラＣ＿４は、カメラＣ＿４の光軸が車両１００の左方斜め下向きに延びる姿勢で、車両１００の左側上部に設置される。車両１００の周辺の被写界は、このようなカメラＣ＿１〜Ｃ＿４によって路面に斜め方向に交差する方向から捉えられる。
【００２１】
カメラＣ＿１は車両１００の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は車両１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は車両１００の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は車両１００の左方向を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。
【００２２】
図２に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図４（Ａ）に示す鳥瞰画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて図４（Ｂ）に示す鳥瞰画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて図４（Ｃ）に示す鳥瞰画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて図４（Ｄ）に示す鳥瞰画像ＢＥＶ＿４を生成する。
【００２３】
鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【００２４】
図４（Ａ）〜図４（Ｄ）によれば、鳥瞰画像ＢＥＶ＿１は鳥瞰座標系Ｘ１・Ｙ１を有し、鳥瞰画像ＢＥＶ＿２は鳥瞰座標系Ｘ２・Ｙ２を有し、鳥瞰画像ＢＥＶ＿３は鳥瞰座標系Ｘ３・Ｙ３を有し、そして鳥瞰画像ＢＥＶ＿４は鳥瞰座標系Ｘ４・Ｙ４を有する。このような鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は、メモリ１２ｍのワークエリアＷ１に保持される。
【００２５】
ＣＰＵ１２ｐは続いて、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の各々から境界線ＢＬよりも外方の一部の画像を削除し、削除の後に残った鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の一部（図５参照）を回転／移動処理によって互いに結合する。この結果、図６に示す全周鳥瞰画像がメモリ１２ｍのワークエリアＷ２内に得られる。
【００２６】
図６において、斜線で示す重複エリアＯＬ＿１２が共通視野ＶＷ＿１２に相当し、斜線で示す重複エリアＯＬ＿２３が共通視野ＶＷ＿２３に相当する。また、斜線で示す重複エリアＯＬ＿３４が共通視野ＶＷ＿３４に相当し、斜線で示す重複エリアＯＬ＿４１が共通視野ＶＷ＿４１に相当する。
【００２７】
運転席に設置された表示装置１６は、重複エリアＯＬ＿１２〜ＯＬ＿４１が四隅に位置する一部の画像Ｄ１をワークエリアＷ２上の全周鳥瞰画像から抽出し、車両１００の上部を模した車両画像Ｄ２を抽出された画像Ｄ１の中央に貼り付ける。この結果、図７に示す運転支援画像がモニタ画面に表示される。
【００２８】
なお、重複エリアＯＬ＿１２のうち画像Ｄ１を形成する一部のエリアを“再現重複エリアＯＬＤ＿１２”と定義し、重複エリアＯＬ＿２３のうち画像Ｄ１を形成する一部のエリアを“再現重複エリアＯＬＤ＿２３”と定義する。同様に、重複エリアＯＬ＿３４うち画像Ｄ１を形成する一部のエリアを“再現重複エリアＯＬＤ＿３４”と定義し、重複エリアＯＬ＿４１のうち画像Ｄ１を形成する一部のエリアを“再現重複エリアＯＬＤ＿４１”と定義する。
【００２９】
次に、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰画像ＢＥＶ３の作成要領を説明する。
【００３０】
図８を参照して、カメラＣ＿３は車両１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図７に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。
【００３１】
図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。
【００３２】
カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ路面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。
【００３３】
世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と路面との交点を原点Ｏｗとして、路面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。
【００３４】
カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。
【００３５】
カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。
【数１】
2010250640.tif 000003
【００３６】
ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。
【数２】
2010250640.tif 000004
【００３７】
また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元路面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。
【数３】
2010250640.tif 000005
【００３８】
また、図４（Ｃ）に示す鳥瞰画像ＢＥＶ＿３の座標系である鳥瞰座標系Ｘ３・Ｙ３が定義される。鳥瞰座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。
【００３９】
路面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。
【数４】
2010250640.tif 000006
【００４０】
さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。
【数５】
2010250640.tif 000007
【数６】
2010250640.tif 000008
【数７】
2010250640.tif 000009
【００４１】
撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰画像ＢＥＶ＿３に変換される。
【００４２】
図１０および図１１を参照して、車両１００の左後方の共通視野ＶＷ＿３４に障害物（立体物）２０１および２０２が存在する場合、カメラＣ＿３で捉えられた障害物２０１および２０２は、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿３＿２として鳥瞰画像ＢＥＶ＿３に現れる。同様に、カメラＣ＿４で捉えられた障害物２０１および２０２は、障害物画像ＯＢＪ＿４＿１およびＯＢＪ＿４＿２として鳥瞰画像ＢＥＶ＿４に現れる。
【００４３】
障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿１の姿勢は、カメラＣ＿３の視点とカメラＣ＿４の視点との相違に起因して互いに相違する。同様に、障害物画像ＯＢＪ＿３＿２およびＯＢＪ＿４＿２の姿勢も、カメラＣ＿３の視点とカメラＣ＿４の視点との相違に起因して互いに相違する。
【００４４】
つまり、障害物画像ＯＢＪ＿３＿１はカメラＣ＿３と障害物２０１の底部とを結ぶ直線に沿って倒れ込むように再現され、障害物画像ＯＢＪ＿４＿１はカメラＣ＿４と障害物２０１の底部とを結ぶ直線に沿って倒れ込むように再現される。同様に、障害物画像ＯＢＪ＿３＿２はカメラＣ＿３と障害物２０２の底部とを結ぶ直線に沿って倒れ込むように再現され、障害物画像ＯＢＪ＿４＿２はカメラＣ＿４と障害物２０２の底部とを結ぶ直線に沿って倒れ込むように再現される。
【００４５】
また、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は路面を基準に作成されることから、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿１の大きさは、カメラＣ＿３の高さとカメラＣ＿４の高さとの相違や、カメラＣ＿３から障害物２０１までの距離とカメラＣ＿４から障害物２０１までの距離との相違などに起因して、互いに相違する。同様に、障害物画像ＯＢＪ＿３＿２およびＯＢＪ＿４＿２の大きさも、カメラＣ＿３の高さとカメラＣ＿４の高さとの相違や、カメラＣ＿３から障害物２０２までの距離とカメラＣ＿４から障害物２０２までの距離との相違などに起因して、互いに相違する。
【００４６】
このような障害物２０１および２０２を全周鳥瞰画像上で再現するとき、ＣＰＵ１２ｐは、次のような処理を実行する。
【００４７】
まず、何らかの障害物が存在するか否かが共通視野ＶＷ＿１２〜ＶＷ＿４１の各々について判別される。図１０によれば、障害物は共通視野ＶＷ＿１２，ＶＷ＿２３およびＶＷ＿４１には存在しない。このため、境界線ＢＬは、共通視野ＶＷ＿１２，ＶＷ＿２３およびＶＷ＿４１の各々において初期状態で設定される。つまり、境界線ＢＬは、再現重複エリアＯＬＤ＿１２，ＯＬＤ＿２３およびＯＬＤ＿４１の各々の対角を結ぶように設定される（図１１参照）。
【００４８】
これに対して、共通視野ＶＷ＿３４には障害物２０１および２０２が存在し、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿３＿２が鳥瞰画像ＢＥＶ＿３に再現される一方、障害物画像ＯＢＪ＿４＿１およびＯＢＪ＿４＿２が鳥瞰画像ＢＥＶ＿４に再現される。このため、境界線ＢＬは次の要領で修正される。
【００４９】
まず、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿１のサイズ差が“ΔＳＺ＿１”として算出され、障害物画像ＯＢＪ＿３＿２およびＯＢＪ＿４＿２のサイズ差が“ΔＳＺ＿２”として算出される。サイズ差ΔＳＺ＿１は、障害物画像ＯＢＪ＿３＿１のサイズから障害物画像ＯＢＪ＿４＿１のサイズを減算することによって得られる。同様に、サイズ差ΔＳＺ＿２は、障害物画像ＯＢＪ＿３＿２のサイズから障害物画像ＯＢＪ＿４＿２のサイズを減算することによって得られる。
【００５０】
サイズ差ΔＳＺ＿１が基準値ＲＥＦを上回れば、障害物画像ＯＢＪ＿３＿１が選択画像ＯＢＪ＿１＿ＳＥＬとして設定される。一方、サイズ差ΔＳＺ＿１が基準値“−ＲＥＦ”を下回れば、障害物画像ＯＢＪ＿４＿１が選択画像ＯＢＪ＿１＿ＳＥＬとして設定される。つまり、障害物画像ＯＢＪ＿３＿１および障害物画像ＯＢＪ＿４＿１の間のサイズ差が十分に大きければ、より大きい方の障害物画像が選択される。
【００５１】
サイズ差ΔＳＺ＿１が基準値“−ＲＥＦ”〜基準値ＲＥＦの範囲内であれば、つまり障害物画像ＯＢＪ＿３＿１および障害物画像ＯＢＪ＿４＿１の間のサイズ差が小さければ、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿１に基づいて障害物２０１の動きベクトルが検出される。
【００５２】
検出された動きベクトルの量が閾値ＴＨｍｖを上回りかつ検出された動きベクトルの方向がカメラＣ＿３側であれば、障害物画像ＯＢＪ＿３＿１が選択画像ＯＢＪ＿１＿ＳＥＬとして設定される。検出された動きベクトルの量が閾値ＴＨｍｖを上回りかつ動きベクトルの方向がカメラＣ＿４側であれば、障害物画像ＯＢＪ＿４＿１が選択画像ＯＢＪ＿１＿ＳＥＬとして設定される。つまり、障害物２０１の動きが大きければ、障害物２０１が移動する方向のカメラに対応する障害物画像が選択される。
【００５３】
なお、検出された動きベクトルの量が閾値ＴＨｍｖ以下であれば、前回の選択画像ＯＢＪ＿Ｋ＿ＳＥＬの設定が維持される。
【００５４】
このような処理は障害物２０２についても実行され、これによって、障害物画像ＯＢＪ＿３＿２およびＯＢＪ＿４＿２のいずれか一方が選択画像ＯＢＪ＿２＿ＳＥＬとして設定される。境界線ＢＬは、こうして設定された選択画像ＯＢＪ＿１＿ＳＥＬ〜ＯＢＪ＿２＿ＳＥＬが再現されるように、共通視野ＶＷ＿３４に設定される。
【００５５】
したがって、図１２の上段に示すように、障害物２０１および２０２のいずれもがカメラＣ＿４に向かって移動する場合において、障害物画像ＯＢＪ＿３＿１のサイズが障害物画像ＯＢＪ＿４＿１のサイズよりも十分に大きく、障害物画像ＯＢＪ＿３＿２サイズが障害物画像ＯＢＪ＿４＿２のサイズとほぼ同じであれば、境界線ＢＬは、図１２の下段に示すように設定される。この結果、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿２が表示装置１２に再現される。
【００５６】
また、図１３の上段に示すように、障害物２０１および２０２が互いに近接し、障害物２０１がカメラＣ＿３に向かって移動する一方、障害物２０２がカメラＣ＿４に向かって移動する場合において、障害物画像ＯＢＪ＿３＿１のサイズが障害物画像ＯＢＪ＿４＿１のサイズとほぼ同じで、障害物画像ＯＢＪ＿３＿２サイズも障害物画像ＯＢＪ＿４＿２のサイズとほぼ同じであれば、境界線ＢＬは図１３の下段に示すように設定される。この結果、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿２が表示装置１２に再現される。
【００５７】
さらに、図１４の上段に示すように、障害物２０１および２０２が互いに近接し、障害物２０１および２０２のいずれもがカメラＣ＿３に向かって移動する場合において、障害物画像ＯＢＪ＿３＿１のサイズが障害物画像ＯＢＪ＿４＿１のサイズとほぼ同じで、障害物画像ＯＢＪ＿３＿２サイズも障害物画像ＯＢＪ＿４＿２のサイズとほぼ同じであれば、境界線ＢＬは図１４の下段に示すように設定される。この結果、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿３＿２が表示装置１２に再現される。
【００５８】
ＣＰＵ１２ｐは、具体的には図１５〜図２０に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ１４（図１参照）に記憶される。
【００５９】
図１５に示すステップＳ１では、カメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４を取り込む。ステップＳ３では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を作成する。作成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は、ワークエリアＷ１に確保される。ステップＳ５では、障害物検知処理を実行する。ステップＳ７では、ステップＳ３で作成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に基づいて全周鳥瞰画像を作成する。作成された全周鳥瞰画像は、ワークエリアＷ２に確保される。表示装置１６のモニタ画面には、ワークエリアＷ２に確保された全周鳥瞰画像に基づく運転支援画像が表示される。ステップＳ７の処理が完了すると、ステップＳ１に戻る。
【００６０】
ステップＳ５に示す障害物検知処理は、図１６〜図１９に示すサブルーチンに従う。まずステップＳ１１で変数ＭおよびＮをそれぞれ“１”および“２”に設定する。ここで、変数Ｍは“１”→“２”→“３”→“４”の順で更新される変数であり、変数Ｎは
“２”→“３”→“４”→“１”の順で更新される変数である。
【００６１】
ステップＳ１３では、カメラＣ＿Ｍの出力に基づく鳥瞰画像ＢＥＶ＿ＭとカメラＣ＿Ｎの出力に基づく鳥瞰画像ＢＥＶ＿Ｎとに基づいて、共通視野ＶＷ＿ＭＮにおける差分画像を作成する。ステップＳ１５では、共通視野ＶＷ＿ＭＮに障害物が存在するか否かを、ステップＳ１３で作成された差分画像に基づいて判別する。
【００６２】
共通視野ＶＷ＿ＭＮから障害物が検出されなければ、ステップＳ１７で境界線を初期設定する。一方、共通視野ＶＷ＿ＭＮから障害物が検出されれば、ステップＳ１９で境界線修正処理を実行する。ステップＳ１７またはＳ１９の処理が完了すると、変数Ｍが“４”を示すか否かをステップＳ２１で判別する。変数Ｍが“４”に満たなければ、変数ＭおよびＮをステップＳ２３で更新してからステップＳ１３に戻る。これに対して、変数Ｍが“４”であれば、上階層のルーチンに復帰する。
【００６３】
図１６に示すステップＳ１９の境界線修正処理は、図１７〜図１９に示すサブルーチンに従って実行される。
【００６４】
まずステップＳ３１で、共通視野ＶＷ＿ＭＮに存在する障害物の数を“Ｋｍａｘ”として特定する。ステップＳ３３では変数Ｋを“１”に設定し、ステップＳ３５では障害物画像ＯＢＪ＿Ｍ＿ＫおよびＯＢＪ＿Ｎ＿Ｋのサイズ差を“ΔＳＺ＿Ｋ”として算出する。サイズ差ΔＳＺ＿Ｋは、障害物画像ＯＢＪ＿Ｍ＿Ｋのサイズから障害物画像ＯＢＪ＿Ｎ＿Ｋのサイズを減算することによって得られる。
【００６５】
ステップＳ３７ではサイズ差ΔＳＺ＿Ｋが基準値ＲＥＦを上回るか否かを判別し、ステップＳ３９ではサイズ差ΔＳＺ＿Ｋが基準値“−ＲＥＦ”を下回るか否かを判別する。ステップＳ３７でＹＥＳであればステップＳ４１に進み、障害物画像ＯＢＪ＿Ｍ＿Ｋを選択画像ＯＢＪ＿Ｋ＿ＳＥＬとして設定する。ステップＳ３９でＹＥＳであればステップＳ４３に進み、障害物画像ＯＢＪ＿Ｎ＿Ｋを選択画像ＯＢＪ＿Ｋ＿ＳＥＬとして設定する。
【００６６】
ステップＳ３７およびＳ３９のいずれもＮＯであればステップＳ４５に進み、障害物画像ＯＢＪ＿Ｍ＿ＫおよびＯＢＪ＿Ｎ＿Ｋに基づいて障害物２０Ｋの動きベクトルを検出する。ステップＳ４７では検出された動きベクトルの量が閾値ＴＨｍｖを上回るか否かを判別し、ステップＳ４９では検出された動きベクトルの方向がカメラＣ＿Ｍ側であるか否かを判別する。
【００６７】
ステップＳ４７でＮＯであれば、選択画像ＯＢＪ＿Ｋ＿ＳＥＬの設定を前回と同じ設定とする。ステップＳ４７およびＳ５１のいずれもＹＥＳであればステップＳ５３に進み、障害物画像ＯＢＪ＿Ｍ＿Ｋを選択画像ＯＢＪ＿Ｋ＿ＳＥＬとして設定する。ステップＳ４７でＹＥＳである一方、ステップＳ５１でＮＯであれば、ステップＳ５５に進み、障害物画像ＯＢＪ＿Ｎ＿Ｋを選択画像ＯＢＪ＿Ｋ＿ＳＥＬとして設定する。
【００６８】
選択画像ＯＢＪ＿Ｋ＿ＳＥＬの設定が完了すると、変数ＫをステップＳ５７でインクリメントし、インクリメントされた変数Ｋが変数Ｋｍａｘを上回るか否かをステップＳ５９で判別する。ステップＳ５９でＮＯであればステップＳ３５に戻り、ステップＳ５９でＹＥＳであればステップＳ６１に進む。ステップＳ６１では、選択画像ＯＢＪ＿１＿ＳＥＬ〜ＯＢＪ＿Ｋｍａｘ＿ＳＥＬが再現されるように境界線ＢＬを共通視野ＶＷ＿ＭＮに設定する。境界線ＢＬの設定が完了すると、上階層のルーチンに復帰する。
【００６９】
図１５に示すステップＳ７の全周鳥瞰作成処理は、図２０に示すサブルーチンに従う。まずステップＳ７１で変数Ｍを“１”に設定する。上述と同様、変数Ｍは“１”→“２”→“３”→“４”の順で更新される変数である。ステップＳ７３では、境界線よりも外方の画像を鳥瞰画像ＢＥＶ＿Ｍから削除し、ステップＳ７５では変数Ｍが“４”に達したか否かを判別する。変数Ｍが“４”に満たなければ、ステップＳ７７で変数Ｍを更新してからステップＳ７３に戻る。一方、変数Ｍが“４”を示していればステップＳ７９に進み、ステップＳ７３の削除処理の後に残った鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の一部を座標変換によって互いに結合する。結合処理が完了すると、上階層のルーチンに復帰する。
【００７０】
以上の説明から分かるように、カメラＣ＿１〜Ｃ＿４のうちカメラＣ＿３およびＣ＿４に注目したとき、カメラＣ＿３およびＣ＿４は、共通視野ＶＷ＿３４を部分的に有するように路面を斜め上から捉える。ＣＰＵ１２ｐは、このようなカメラＣ＿３およびＣ＿４からそれぞれ出力された被写界像Ｐ＿３およびＰ＿４を取り込み(S1)、取り込まれた被写界像Ｐ＿３およびＰ＿４を鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４にそれぞれ変換し(S3)、そして変換された鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４を共通視野ＶＷ＿３４に割り当てられた境界線ＢＬ（＝重み）を参照して合成する(S7)。
【００７１】
共通視野ＶＷ＿３４に立体物が存在するとき、ＣＰＵ１２ｐは、鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４の各々に現れた立体物画像の間の大きさの相違を検出し(S35)、検出された相違を参照して境界線ＢＬの設定を調整する(S41, S43, S61)。境界線ＢＬは、より大きな立体物画像が再現されるように設定される。
【００７２】
鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４の各々に現れる立体物画像の大きさは、路面からの立体物の高さやカメラＣ＿３およびＣ＿４の各々と立体物との間の高さの差分に応じて異なる。鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４を合成するときに参照される境界線ＢＬは、このような立体物画像の大きさのカメラＣ＿３およびＣ＿４の間での相違に注目して調整される。これによって、立体物の視認性を向上させることができる。
【００７３】
なお、この実施例では、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を結合するにあたって、境界線ＢＬよりも外方の一部の画像を削除するようにしている（図５参照）。しかし、共通視野を表す２つの部分画像を加重加算によって合成し、加重加算の際に参照される重み付け量を立体物画像の大きさの相違に基づいて調整するようにしてもよい。
【００７４】
また、この実施例では、共通視野ＶＷ＿ＭＮについて作成した差分画像に基づいて共通視野ＶＷ＿ＭＮから障害物を検出するようにしている（図１７のステップＳ１３〜Ｓ１５参照）。しかし、障害物の検出にあたっては、ステレオ視手法またはオプティカルフロー手法を用いてもよく、さらには超音波センサ，ミリ波センサまたはマイクロ波センサを用いるようにしてもよい。
【００７５】
上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
【００７６】
実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。
【符号の説明】
【００７７】
１０  …操縦支援装置
Ｃ１〜Ｃ４  …カメラ
１２  …画像処理回路
１２ｐ  …ＣＰＵ
１２ｍ  …メモリ
１４  …フラシュメモリ
１６  …表示装置
１００  …車両
２００  …障害物
【図１】
2010250640.tif 000010
【図２】
2010250640.tif 000011
【図３】
2010250640.tif 000012
【図４】
2010250640.tif 000013
【図５】
2010250640.tif 000014
【図６】
2010250640.tif 000015
【図７】
2010250640.tif 000016
【図８】
2010250640.tif 000017
【図９】
2010250640.tif 000018
【図１０】
2010250640.tif 000019
【図１１】
2010250640.tif 000020
【図１２】
2010250640.tif 000021
【図１３】
2010250640.tif 000022
【図１４】
2010250640.tif 000023
【図１５】
2010250640.tif 000024
【図１６】
2010250640.tif 000025
【図１７】
2010250640.tif 000026
【図１８】
2010250640.tif 000027
【図１９】
2010250640.tif 000028
【図２０】
2010250640.tif 000029