(57)【要約】【構成】カメラＣ＿１〜Ｃ＿４は、路面を移動する車両に設けられて、路面を斜め上から捉える。ＣＰＵ１２ｐは、カメラＣ＿１〜Ｃ＿４から繰り返し出力される被写界像Ｐ＿１〜Ｐ＿４に基づいて、路面に対する全周鳥瞰画像を繰り返し作成する。作成された全集鳥瞰画像は、表示装置１６のモニタ画面に再現される。ＣＰＵ１２ｐは、車両の移動方向に直交する方向の側部に建築物のような立体物が存在するか否かを、上述の要領で作成された全周鳥瞰画像に基づいて判別する。ＣＰＵ１２ｐはまた、判別処理のために注目される側部に相当する部分画像がモニタ画面に再現される全周鳥瞰画像に占める割合を、判別結果に基づいて調整する。【効果】操縦支援性能が向上する。【選択図】図２
2010258691.tif 000002
【特許請求の範囲】
【請求項１】
基準面を移動する移動体に設けられて前記基準面を斜め上から捉える複数のカメラ、
前記複数のカメラの各々から繰り返し出力される被写界像に基づいて前記基準面に対する鳥瞰画像を繰り返し作成する作成手段、
前記作成手段によって作成された鳥瞰画像を再現する再現手段、
前記移動体の移動方向に直交する方向の側部に立体物が存在するか否かを前記作成手段によって作成された鳥瞰画像に基づいて判別する判別手段、および
前記判別手段によって注目される側部に相当する部分画像が前記再現手段によって再現される鳥瞰画像に占める割合を前記判別手段の判別結果に基づいて調整する調整手段を備える、操縦支援装置。
【請求項２】
前記判別手段は、前記鳥瞰画像のうち前記側部に相当する部分画像の動きベクトル量を繰り返し検出する検出手段、前記検出手段によって検出された動きベクトル量と閾値との大小関係に応じて異なる態様で変数を更新する更新手段、および前記更新手段によって更新された変数が既定条件を満足した時点で判別結果を確定させる確定手段を含む、請求項１記載の操縦支援装置。
【請求項３】
前記判別手段は前記移動体の移動速度を参照して前記閾値の大きさを調整する閾値調整手段をさらに含む、請求項２記載の操縦支援装置。
【請求項４】
前記調整手段は、前記部分画像のサイズを変更する変更手段、および前記判別結果が肯定的であるとき前記変更手段を起動する一方、前記判別結果が否定的であるとき前記変更手段を停止する制御手段を含む、請求項１ないし３のいずれかに記載の操縦支援装置。
【請求項５】
前記変更手段は前記移動体の移動方向に直交する方向におけるサイズを低減する、請求項４記載の操縦支援装置。
【請求項６】
前記再現手段は前記作成手段によって作成された鳥瞰画像のうち指定エリアに属する鳥瞰画像を画面に表示し、
前記調整手段は、前記部分画像のサイズに対応するサイズを有するように前記指定エリアを定義する定義手段、および前記指定エリアのサイズと前記画面のサイズとの相違が補償されるように前記指定エリアに属する鳥瞰画像の倍率を調整する調整手段をさらに含む、請求項４または５記載の操縦支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、操縦支援装置に関し、特に、移動体の周辺を表す鳥瞰画像を再現して移動体の操縦を支援する、操縦支援装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、車両の周辺の撮像画像は、車両に搭載されたカメラから取得される。表示装置の画面上には、第１の表示エリアと第２の表示エリアとが設けられる。第１の表示エリアは画面の中央に割り当てられ、第２の表示エリアは画面の周辺に割り当てられる。車両の周辺の第１の範囲の撮像画像は第１の表示エリアに表示され、第１の範囲より外にある第２の範囲の撮像画像は第２の表示エリアに圧縮状態で表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１７４０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、撮像画像の表示態様は、第１の表示エリアおよび第２の表示エリアのいずれにおいても固定的である。このため、背景技術では操縦支援性能に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、操縦支援性能を向上させることができる、操縦支援装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う操縦支援装置(10：実施例で相当する参照符号。以下同じ)は、基準面を移動する移動体(100)に設けられて基準面を斜め上から捉える複数のカメラ(C_1~C_4)、複数のカメラの各々から繰り返し出力される被写界像に基づいて基準面に対する鳥瞰画像を繰り返し作成する作成手段(S7~S9)、作成手段によって作成された鳥瞰画像を再現する再現手段(S61)、移動体の移動方向に直交する方向の側部に立体物が存在するか否かを作成手段によって作成された鳥瞰画像に基づいて判別する判別手段(S21~S45)、および判別手段によって注目される側部に相当する部分画像が再現手段によって再現される鳥瞰画像に占める割合を判別手段の判別結果に基づいて調整する調整手段(S47~S59)を備える。
【０００７】
好ましくは、判別手段は、鳥瞰画像のうち側部に相当する部分画像の動きベクトル量を繰り返し検出する検出手段(S23)、検出手段によって検出された動きベクトル量と閾値との大小関係に応じて異なる態様で変数を更新する更新手段(S25, S27, S35)、および更新手段によって更新された変数が既定条件を満足した時点で判別結果を確定させる確定手段(S29~S31, S37~S39)を含む。
【０００８】
さらに好ましくは、判別手段は移動体の移動速度を参照して閾値の大きさを調整する閾値調整手段(S21)をさらに含む。
【０００９】
好ましくは、調整手段は、部分画像のサイズを変更する変更手段(S51)、および判別結果が肯定的であるとき変更手段を起動する一方、判別結果が否定的であるとき変更手段を停止する制御手段(S49)を含む。
【００１０】
ある局面では、変更手段は移動体の移動方向に直交する方向におけるサイズを低減する。
【００１１】
他の局面では、再現手段は作成手段によって作成された鳥瞰画像のうち指定エリア(CT)に属する鳥瞰画像を画面に表示し、調整手段は、部分画像のサイズに対応するサイズを有するように指定エリアを定義する定義手段(S57)、および指定エリアのサイズと画面のサイズとの相違が補償されるように指定エリアに属する鳥瞰画像の倍率を調整する調整手段(S59)をさらに含む。
【発明の効果】
【００１２】
この発明によれば、移動体の移動方向に直交する方向の側部に相当する部分画像の割合は、この部分画像が立体物画像に相当するか否かによって異なるように調整される。つまり、立体物が鳥瞰画像において縦に伸びて見えることを抑制し、立体物の視認性を向上させるだけでなく、車両側面に立体物があるような狭い道路では走行路面を拡大して見せることができる。鳥瞰画像の再現性はこうして適応的に制御され、これによって操縦支援性能が向上する。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１４】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。
【図４】（Ａ）は前カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｃ）は後カメラの出力に基づく鳥瞰画像の一例を示す図解図であり、（Ｄ）は左カメラの出力に基づく鳥瞰画像の一例を示す図解図である。
【図５】全周鳥瞰画像の作成動作の一部を示す図解図である。
【図６】作成された全周鳥瞰画像の一例を示す図解図である。
【図７】表示装置によって表示される運転支援画像の一例を示す図解図である。
【図８】車両に取り付けられたカメラの角度を示す図解図である。
【図９】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図１０】動きベクトルの検出動作の一部を示す図解図である。
【図１１】全周鳥瞰画像とこれに対応する動きベクトル量の分布状態の一例を示す図解図である。
【図１２】（Ａ）は建築物の出現／消失の一例を示すタイミング図であり、（Ｂ）は変数Ｌ＿１およびＬ＿２の更新動作の一例を示すタイミング図であり、（Ｃ）はフラグＦＬＧ＿１およびＦＬＧ＿２の更新動作の一例を示すタイミング図である。
【図１３】全周鳥瞰画像の作成動作の他の一部を示す図解図である。
【図１４】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１８】他の実施例における全周鳥瞰画像の作成動作の一部を示す図解図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１６】
図１を参照して、この発明の操縦支援装置は、基本的に次のように構成される。複数のカメラ１，１，…は、基準面を移動する移動体に設けられて、基準面を斜め上から捉える。作成手段２は、複数のカメラ１，１，…の各々から繰り返し出力される被写界像に基づいて、基準面に対する鳥瞰画像を繰り返し作成する。作成手段２によって作成された鳥瞰画像は、再現手段３によって再現される。判別手段４は、移動体の移動方向に直交する方向の側部に立体物が存在するか否かを、作成手段２によって作成された鳥瞰画像に基づいて判別する。調整手段５は、判別手段４によって注目される側部に相当する部分画像が再現手段３によって再現される鳥瞰画像に占める割合を、判別手段４の判別結果に基づいて調整する。
【００１７】
移動体の移動方向に直交する方向の側部に相当する部分画像の割合は、この部分画像が立体物画像に相当するか否かによって異なるように調整される。鳥瞰画像の再現性はこうして適応的に制御され、これによって操縦支援性能が向上する。
［実施例］
【００１８】
図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通のタイミング信号に同期して被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２に与えられる。
【００１９】
図３を参照して、カメラＣ＿１は、カメラＣ＿１の光軸が車両１００の前方斜め下向きに延びる姿勢で、車両１００の前部中央に設置される。カメラＣ＿２は、カメラＣ＿２の光軸が車両１００の右方斜め下向きに延びる姿勢で、車両１００の右側上部に設置される。カメラＣ＿３は、カメラＣ＿３の光軸が車両１００の後方斜め下向きに延びる姿勢で、車両１００の後部中央に設置される。カメラＣ＿４は、カメラＣ＿４の光軸が車両１００の左方斜め下向きに延びる姿勢で、車両１００の左側上部に設置される。車両１００の周辺の被写界は、このようなカメラＣ＿１〜Ｃ＿４によって路面に斜め方向に交差する方向から捉えられる。
【００２０】
カメラＣ＿１は車両１００の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は車両１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は車両１００の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は車両１００の左方向を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。
【００２１】
図２に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図４（Ａ）に示す鳥瞰画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて図４（Ｂ）に示す鳥瞰画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて図４（Ｃ）に示す鳥瞰画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて図４（Ｄ）に示す鳥瞰画像ＢＥＶ＿４を生成する。
【００２２】
鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【００２３】
図４（Ａ）〜図４（Ｄ）によれば、鳥瞰画像ＢＥＶ＿１は鳥瞰座標系Ｘ１・Ｙ１を有し、鳥瞰画像ＢＥＶ＿２は鳥瞰座標系Ｘ２・Ｙ２を有し、鳥瞰画像ＢＥＶ＿３は鳥瞰座標系Ｘ３・Ｙ３を有し、そして鳥瞰画像ＢＥＶ＿４は鳥瞰座標系Ｘ４・Ｙ４を有する。このような鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は、メモリ１２ｍのワークエリアＷ１に保持される。
【００２４】
ＣＰＵ１２ｐは続いて、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の各々から境界線ＢＬよりも外方の一部の画像を削除し、削除の後に残った鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の一部（図５参照）を回転／移動処理によって互いに結合する。結合処理が完了すると、ＣＰＵ１２ｐは、車両１００の上部を模した車両画像Ｇ１を結合画像の中央に貼り付ける。この結果、図６に示す全周鳥瞰画像がメモリ１２ｍのワークエリアＷ２内に得られる。
【００２５】
図６において、斜線で示す重複エリアＯＬ＿１２が共通視野ＶＷ＿１２に相当し、斜線で示す重複エリアＯＬ＿２３が共通視野ＶＷ＿２３に相当する。また、斜線で示す重複エリアＯＬ＿３４が共通視野ＶＷ＿３４に相当し、斜線で示す重複エリアＯＬ＿４１が共通視野ＶＷ＿４１に相当する。
【００２６】
ＣＰＵ１２ｐは、ワークエリアＷ２に確保された全周鳥瞰画像上に切り出しエリアＣＴを定義し、運転席に設定された表示装置１６の画面サイズと切り出しエリアのサイズとの相違が補償されるズーム倍率を算出する。ＣＰＵ１２ｐはその後、定義された切り出しエリアＣＴおよび算出されたズーム倍率を記述した表示命令を作成し、作成された表示命令を表示装置１６に向けて発行する。
【００２７】
表示装置１６は、表示命令の記述を参照して、切り出しエリアＣＴに属する一部の全周鳥瞰画像をワークエリアＷ２から読み出し、かつ読み出された全周鳥瞰画像にズーム処理を施す。この結果、図７に示す運転支援画像がモニタ画面に表示される。
【００２８】
次に、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰画像ＢＥＶ３の作成要領を説明する。
【００２９】
図８を参照して、カメラＣ＿３は車両１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図８に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。
【００３０】
図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。
【００３１】
カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ路面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。
【００３２】
世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と路面との交点を原点Ｏｗとして、路面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。
【００３３】
カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。
【００３４】
カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。
【数１】
2010258691.tif 000003
【００３５】
ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。
【数２】
2010258691.tif 000004
【００３６】
また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元路面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。
【数３】
2010258691.tif 000005
【００３７】
また、図４（Ｃ）に示す鳥瞰画像ＢＥＶ＿３の座標系である鳥瞰座標系Ｘ３・Ｙ３が定義される。鳥瞰座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。
【００３８】
路面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。
【数４】
2010258691.tif 000006
【００３９】
さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。
【数５】
2010258691.tif 000007
【数６】
2010258691.tif 000008
【数７】
2010258691.tif 000009
【００４０】
撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰画像ＢＥＶ＿３に変換される。
【００４１】
続いて、切り出しエリアＣＴの定義動作、および定義された切り出しエリアＣＴに属する全周鳥瞰画像の再現動作について説明する。
【００４２】
切り出しエリアＣＴはまず、図６に示す重複エリアＯＬ＿１２〜ＯＬ＿４１を四隅とする矩形を有するように初期化される。次に、車両１００の現時点の速度のα倍が閾値ＴＨｍｖとして設定され、変数Ｋが“１”〜“６”の各々に設定される。
【００４３】
図１０を参照して、初期状態の切り出しエリアＣＴに相当するエリア上には、短冊状のブロックＢＬＫ＿１〜ＢＬＫ＿６が割り当てられる。車両１００の移動方向を縦方向と定義し、車両方向１００の移動方向に直交する方向を横方向と定義すると、ブロックＢＬＫ＿１〜ＢＬＫ＿６はいずれも縦長の形状を有し、ブロックＢＬＫ＿１〜ＢＬＫ＿３は車両１００の左側に横方向に並ぶように配置される一方、ブロックＢＬＫ＿４〜ＢＬＫ＿６は車両１００の右側に横方向に並ぶように配置される。
【００４４】
動きベクトル量ＭＶ＿１〜ＭＶ＿６は、ブロックＢＬＫ＿１〜ＢＬＫ＿６に属する部分画像ＩＭ＿１〜ＩＭ＿６を参照して検出される。鳥瞰変換特性から、検出された動きベクトル量ＭＶ＿１〜ＭＶ＿６の大きさは、ブロックＢＬＫ＿１〜ＢＬＫ＿６に立体物（建築物）が存在するか否かによって相違する。
【００４５】
図１１に示すように、路面に描かれた白線ＷＬ１およびＷＬ２に沿って走行する車両１００の左側に建築物ＢＬＤ１が存在し、建築物ＢＬＤ１を表す画像がブロックＢＬＫ＿１〜ＢＬＫ＿２に現れる一方、路面を表す画像がブロックＢＬＫ３＿ＢＬＫ＿６に現れる場合、動きベクトル量ＭＶ＿１〜ＭＶ＿２は閾値ＴＨｍｖを上回り、動きベクトル量ＭＶ＿３〜ＭＶ＿６は閾値ＴＨｍｖを下回る。
【００４６】
変数Ｌ＿Ｋは、動きベクトル量ＭＶ＿Ｋ（Ｋ：１〜６、以下同じ）が閾値ＴＨｍｖを上回るとき定数Ｌｍａｘを上限としてインクリメントされ、動きベクトル量ＭＶ＿Ｋが閾値ＴＨｍｖ以下のとき“０”を下限としてディクリメントされる。フラグＦＬＧ＿Ｋは、変数Ｌ＿Ｋが定数Ｌｍａｘを上回ったときに“１”に設定され、変数Ｌ＿Ｋが“０”を下回ったときに“０”に設定される。
【００４７】
したがって、図１１の状態が継続すると、フラグＦＬＧ＿１およびＦＬＧ＿２は“１”に設定され、フラグＦＬＧ＿４〜ＦＬＧ＿６は“０”に設定される。また、建築物ＢＬＤ１の出現／消失が図１２（Ａ）に示す要領で繰り返された場合、変数Ｌ＿１およびＬ＿２は図１２（Ｂ）に示す要領で更新され、フラグＦＬＧ＿１およびＦＬＧ＿２は図１２（Ｃ）に示す要領で更新される。
【００４８】
フラグＦＬＧ＿Ｋが“１”に設定されると、部分画像ＩＭ＿Ｋが縮小される。具体的には、部分画像ＩＭ＿Ｋの横方向のサイズが１／２に低減される。全周鳥瞰画像は、部分画像ＩＭ＿Ｋの縮小によって変形する。切り出しエリアＣＴは、こうして変形された全周鳥瞰画像の水平サイズを参照して再定義される。再定義された切り出しエリアＣＴは、全周鳥瞰画像の水平サイズに相当する水平サイズとモニタ画面のアスペクト比に相当するアスペクト比とを有し、切り出しエリアＣＴの中心位置は全周鳥瞰画像の中心位置と一致する。
【００４９】
したがって、図１３の左上に示す全周鳥瞰画像は図１３の右上に示す要領で変形され、切り出しエリアＣＴは図１３の右上に示す要領で再定義される。
【００５０】
切り出しエリアＣＴが再定義されると、全周鳥瞰画像のズーム倍率が算出される。ズーム倍率は、再定義された切り出しエリアＣＴのサイズとモニタ画面のサイズとの相違が補償される倍率に相当する。表示装置１６に向けて発行される表示命令には、再定義された切り出しエリアＣＴおよび算出されたズーム倍率が記述される。
【００５１】
表示装置１６は、このような表示命令に従って全周鳥瞰画像をモニタ画面に表示する。つまり、表示装置１６は、切り出しエリアＣＴに属する全周鳥瞰画像を図１３の左下に示す要領で切り出し、切り出された全周鳥瞰画像を図１３の右下に示す要領で拡大し、そして拡大された全周鳥瞰画像をモニタ画面に表示する。
【００５２】
ＣＰＵ１２ｐは、具体的には図１４〜図１７に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ１４（図１参照）に記憶される。
【００５３】
図１４を参照して、ステップＳ１では切り出しエリアＣＴを初期化し、ステップＳ３ではカメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４を取り込む。ステップＳ５では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を作成する。作成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４は、ワークエリアＷ１に確保される。ステップＳ７では、ステップＳ３で作成された鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４に基づいて全周鳥瞰画像を作成する。作成された全周鳥瞰画像は、ワークエリアＷ２に確保される。ステップＳ９では、ワークエリアＷ２に確保された全周鳥瞰図画像に画像変形処理を施す。表示装置１６のモニタ画面には、変形された全周鳥瞰画像に基づく運転支援画像が表示される。ステップＳ９の処理が完了すると、ステップＳ１に戻る。
【００５４】
ステップＳ７の全周鳥瞰作成処理は、図１５に示すサブルーチンに従う。まずステップＳ１１で変数Ｍを“１”に設定する。ステップＳ１３では、境界線よりも外方の画像を鳥瞰画像ＢＥＶ＿Ｍから削除し、ステップＳ１５では変数Ｍが“４”に達したか否かを判別する。変数Ｍが“４”に満たなければ、ステップＳ１７で変数ＭをインクリメントしてからステップＳ１３に戻る。変数Ｍが“４”に達すると、ステップＳ１９に進む。ステップＳ１９では、ステップＳ１３の削除処理の後に残った鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４の一部を座標変換によって互いに結合し、結合画像の中央に車両画像Ｇ１を貼り付ける。こうして全周鳥瞰画像が完成すると、上階層のルーチンに復帰する。
【００５５】
図１４のステップＳ９に示す画像変形処理は、図１６〜図１７に示すサブルーチンに従う。ステップＳ２１では、フラグＦＬＧ＿１〜ＦＬＧ＿６を“０”に設定し、閾値ＴＨｍｖを車両１００の現時点の速度のα倍に設定し、そして変数Ｋを“１”に設定する。
【００５６】
ステップＳ２３では部分画像ＩＭ＿Ｋの動きベクトル量をＭＶ＿Ｋとして検出し、ステップＳ２５では検出された動きベクトル量ＭＶ＿Ｋが閾値ＴＨｍｖを上回るか否かを判別する。
【００５７】
判別結果がＹＥＳであれば、ステップＳ２７で変数Ｌ＿Ｋをインクリメントし、インクリメントされた変数Ｌ＿Ｋが定数Ｌｍａｘを上回るか否かをステップＳ２９で判別する。変数Ｌ＿Ｋが定数Ｌｍａｘ以下であれば、そのままステップＳ４３に進む。変数Ｌ＿Ｋが定数Ｌｍａｘを上回れば、ステップＳ３１でフラグＦＬＧ＿Ｋを“１”に設定し、ステップＳ３３で変数Ｌ＿Ｋを定数Ｌｍａｘに設定してからステップＳ４３に進む。
【００５８】
ステップＳ２５の判別結果がＮＯであれば、ステップＳ３５で変数Ｌ＿Ｋをディクリメントし、ディクリメントされた変数Ｌ＿Ｋが“０”を下回るか否かをステップＳ３７で判別する。変数Ｌ＿Ｋが“０”以上であれば、そのままステップＳ４３に進む。変数Ｌ＿Ｋが“０”を下回れば、ステップＳ３９でフラグＦＬＧ＿Ｋを“０”に設定し、ステップＳ４１で変数Ｌ＿Ｋを“０”に設定してからステップＳ４３に進む。
【００５９】
ステップＳ４３では変数Ｋが“６”に達したか否かを判別する。判別結果がＮＯであればステップＳ４５で変数ＫをインクリメントしてからステップＳ２３に戻り、判別結果がＹＥＳであればステップＳ４７に進む。ステップＳ４７では変数Ｋを“１”に設定し、続くステップＳ４９ではフラグＦＬＧ＿Ｋが“１”を示すか否かを判別する。
【００６０】
判別結果がＮＯであればそのままステップＳ５３に進み、判別結果がＹＥＳであればステップＳ５１で部分画像ＩＭ＿Ｋを縮小してからステップＳ５３に進む。ステップＳ５１の処理は、具体的には部分画像ＩＭ＿Ｋの横方向のサイズを１／２低減する処理に相当する。ステップＳ５３では変数Ｋが“６”に達したか否かを判別し、判別結果がＮＯであればステップＳ５５で変数ＫをインクリメントしてからステップＳ４９に戻り、判別結果がＹＥＳであればステップＳ５７に進む。
【００６１】
ステップＳ５７では、ステップＳ５１の処理に起因して変形した全周鳥瞰画像の水平サイズを検出し、検出された水平サイズに適合するように切り出しエリアＣＴを再定義する。ステップＳ５９では、再定義された切り出しエリアＣＴのサイズを参照して、全周鳥瞰画像のズーム倍率を算出する。
【００６２】
再定義された切り出しエリアＣＴは、全周鳥瞰画像の水平サイズに相当する水平サイズとモニタ画面のアスペクト比に相当するアスペクト比とを有し、再定義された切り出しエリアＣＴの中心位置は全周鳥瞰画像の中心位置と一致する。また、算出されたズーム倍率は、再定義された切り出しエリアＣＴのサイズとモニタ画面のサイズとの相違が補償される倍率に相当する。
【００６３】
ステップＳ６１では、再定義された切り出しエリアＣＴおよび算出されたズーム倍率を記述した表示命令を作成し、作成された表示命令を表示装置１６に向けて発行する。ステップＳ６１の処理が完了すると、上階層のルーチンに復帰する。
【００６４】
以上の説明から分かるように、カメラＣ＿１〜Ｃ＿４は、路面を移動する車両１００に設けられて、路面を斜め上から捉える。ＣＰＵ１２ｐは、カメラＣ＿１〜Ｃ＿４から繰り返し出力される被写界像Ｐ＿１〜Ｐ＿４に基づいて、路面に対する全周鳥瞰画像を繰り返し作成する(S5, S7)。作成された全集鳥瞰画像は、表示装置１６のモニタ画面に再現される。
【００６５】
ＣＰＵ１２ｐは、車両１００の移動方向に直交する方向の側部に建築物のような立体物が存在するか否かを、上述の要領で作成された全周鳥瞰画像に基づいて判別する(S21~S45)。ＣＰＵ１２ｐはその後、判別処理のために注目される側部に相当する部分画像がモニタ画面に再現される全周鳥瞰画像に占める割合を、判別結果に基づいて調整する(S47~S59)。
【００６６】
このように、車両１００の移動方向に直交する方向の側部に相当する部分画像の割合は、この部分画像が立体物画像に相当するか否かによって異なるように調整される。鳥瞰画像の再現性はこうして適応的に制御され、これによって操縦支援性能が向上する。
【００６７】
なお、この実施例では、鳥瞰画像ＢＥＶ＿１〜ＢＥＶ＿４を結合するにあたって、境界線ＢＬよりも外方の一部の画像を削除するようにしている（図５参照）。しかし、共通視野を表す２つの部分画像を加重加算によって合成し、加重加算の際に参照される重み付け量を立体物画像の大きさの相違に基づいて調整するようにしてもよい。
【００６８】
また、この実施例では、立体物画像の横方向のサイズを１／２に圧縮するようにしているが、図１８に示すように立体物画像を非表示とするようにしてもよい。
【００６９】
上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
【００７０】
実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。
【符号の説明】
【００７１】
１０  …操縦支援装置
Ｃ＿１〜Ｃ＿４  …カメラ
１２  …画像処理回路
１２ｐ  …ＣＰＵ
１２ｍ  …メモリ
１４  …フラシュメモリ
１６  …表示装置
１００  …車両
【図１】
2010258691.tif 000010
【図２】
2010258691.tif 000011
【図３】
2010258691.tif 000012
【図４】
2010258691.tif 000013
【図５】
2010258691.tif 000014
【図６】
2010258691.tif 000015
【図７】
2010258691.tif 000016
【図８】
2010258691.tif 000017
【図９】
2010258691.tif 000018
【図１０】
2010258691.tif 000019
【図１１】
2010258691.tif 000020
【図１２】
2010258691.tif 000021
【図１３】
2010258691.tif 000022
【図１４】
2010258691.tif 000023
【図１５】
2010258691.tif 000024
【図１６】
2010258691.tif 000025
【図１７】
2010258691.tif 000026
【図１８】
2010258691.tif 000027