(57)【特許請求の範囲】
【請求項１】
自動車に搭載される周辺状況表示装置であって、
前記自動車周囲を撮影する周囲撮影カメラと、
前記自動車周囲の障害物までの、前記自動車からの距離を検出する障害物検出手段と、
表示装置と、
前記周囲撮影カメラが撮影した画像の、前記自動車からの距離が前記障害物検出手段が検出した距離にある地面上の地点が写り込む座標を、障害物画素座標として算定する障害物画素座標算定手段と、
複数の異なる視点に対応して各々備えられた複数のマッピングテーブルと、
視点変換画像生成手段と、
表示制御手段とを有し、
前記各マッピングテーブルは、当該マッピングテーブルに対応する視点から自動車周辺を観測したようすを表す視点変換画像の各座標と、当該座標の画素として用いるべき前記周囲撮影カメラが撮影した画像の画素の座標とを対応づけるものであり、
前記視点変換画像生成手段は、前記複数の異なる視点のうちから選定された視点に対応する前記マッピングテーブルをカレントマッピングテーブルとして、前記視点変換画像の各座標について、当該座標に対応づけられた前記周囲撮影カメラが撮影した画像の画素の座標を前記カレントマッピングテーブルに従って変換座標として抽出し、前記変換座標として前記障害物画素座標算定手段によって算定された障害物画素座標が抽出されていない前記視点変換画像の座標の画素として、前記周囲撮影カメラが撮影した画像の当該抽出された当該変換座標の画素を用いると共に、前記変換座標として前記障害物画素座標算定手段によって算定された障害物画素座標が抽出された前記視点変換画像の各座標に基づいて、障害物の前記自動車側の境界を表す図形を当該視点変換画像に描画することにより、当該視点変換画像を生成し、
前記表示制御手段は、前記視点変換画像生成手段が生成した視点変換画像を前記表示装置へ表示することを特徴とする周辺状況表示装置。
【請求項２】
請求項１記載の周辺状況表示装置であって、
前記視点変換画像生成手段は、前記視点変換画像の各座標について、当該座標に対応づけられた前記周囲撮影カメラが撮影した画像の画素の座標を前記カレントマッピングテーブルに従って変換座標として抽出し、当該変換座標が前記障害物画素座標算定手段によって障害物画素座標として算定されている場合に、前記視点変換画像の当該座標の画素を前記図形を構成する画素として描画することにより、前記図形を当該視点変換画像に描画することを特徴とする周辺状況表示装置。
【請求項３】
自動車に搭載される周辺状況表示装置において、自動車周囲を撮影する周囲撮影カメラによって撮影した画像を、複数の異なる視点に対応して各々備えられた、対応する視点から自動車周辺を観測したようすを表す視点変換画像の各座標と、当該座標の画素として用いるべき前記周囲撮影カメラが撮影した画像の画素の座標とを対応づける複数のマッピングテーブルを用いて、前記複数の異なる視点のうちから選定された視点から自動車周辺を観測したようすを表す視点変換画像に変換し表示する周辺状況表示方法であって、
前記自動車周囲の障害物までの、前記自動車からの距離を検出するステップと、
前記周囲撮影カメラが撮影した画像の、前記検出した距離にある地面上の地点が写り込む座標を、障害物画素座標として算定するステップと、
前記複数の異なる視点のうちから選定された視点に対応する前記マッピングテーブルをカレントマッピングテーブルとして、前記視点変換画像の各座標について、当該座標に対応づけられた前記周囲撮影カメラが撮影した画像の画素の座標を前記カレントマッピングテーブルに従って変換座標として抽出し、前記変換座標として前記算定された障害物画素座標が抽出されていない前記視点変換画像の座標の画素として、前記周囲撮影カメラが撮影した画像の当該抽出された当該変換座標の画素を用いると共に、前記変換座標として前記算定された障害物画素座標が抽出された前記視点変換画像の各座標に基づいて、障害物の前記自動車側の境界を表す図形を当該視点変換画像に描画することにより、当該視点変換画像を生成するステップと、
前記生成した視点変換画像を前表示するステップとを有することを特徴とする周辺状況表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者に対して自動車周辺を撮影した映像を提示することにより、自動車の運転を支援する技術に関するものである。
【背景技術】
【０００２】
運転者に対して自動車周辺を撮影した映像を提示することにより、自動車の運転を支援する技術としては、自動車周辺をカメラによって撮影した画像を自動車上方の視点から撮影した場合に得られる画像に視点変換し、視点変換した画像上に自車を表す図形を配置することにより、自動車周辺を俯瞰的に表す俯瞰画像を生成し、ユーザに提示する技術が知られている（たとえば、特許文献１、特許文献２）。
【特許文献１】特開2002-354468号公報
【特許文献２】特開2002-316602号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前記俯瞰画像をユーザに対して提示する技術によれば、ユーザは、自動車周辺のようすを、俯瞰画像より直感的に把握することができる。
しかしながら、俯瞰画像では、走行の障害物となる地面に対して高さ方向の変位を持つ物体や構造は、視点変換によって、実際に車両上方から車両周辺を観測した場合と異なる形態で表示されてしまうことになる。このために、ユーザは、俯瞰画像からでは、このような障害物の位置や形状を直感的かつ正確に把握することができない。
【０００４】
そこで、適当な手段によって車両周辺の障害物を検出し、検出した障害物の車両側境界を表すラインなどを、俯瞰画像上に描画して、ユーザが容易に障害物と自車との位置関係を把握できるようにすることが考えられる。
しかしながら、このようにすると、単一の視点ではなく、複数の視点からみた俯瞰画像を同時にまたは切り替えながら表示するような場合には、各俯瞰画像毎に、視点に応じた異なる処理によって、俯瞰画像の生成処理とラインの描画処理の双方を、それぞれ行う必要が生じるため、俯瞰画像の表示に必要な構成、処理の規模が増大化する。また、画像の視点変換誤差等に基づく、俯瞰画像中の障害物の表示と、ラインの描画位置との誤差が生じる場合もある。
【０００５】
そこで、本発明は、運転者に対して自動車周辺を撮影した画像を視点変換した画像を表示する装置において、より効率的に、運転者に対して障害物と自車との位置関係を提示することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題達成のために、本発明は、自動車に搭載される周辺状況表示装置を、前記自動車周囲を撮影する周囲撮影カメラと、前記自動車周囲の障害物を検出する障害物検出手段と、表示装置と、前記周囲撮影カメラが撮影した画像の前記障害物検出手段が検出した障害物が写り込む座標を障害物画素座標として算定する障害物画素座標算定手段と、設定された視点から自動車周辺を観測したようすを表す視点変換画像の各座標と、当該座標の画素として用いるべき前記周囲撮影カメラが撮影した画像の画素の座標とを対応づけるマッピングテーブルと、前記視点変換画像の各座標について、当該座標に対応づけられた前記周囲撮影カメラが撮影した画像の画素の座標を前記マッピングテーブルに従って変換座標として抽出し、当該変換座標が前記障害物画素座標算定手段によって障害物画素座標として算定されていない場合に、前記周囲撮影カメラが撮影した画像の当該変換座標の画素を、前記視点変換画像の当該座標の画素として用いると共に、前記障害物画素座標算定手段によって算定された障害物画素座標に前記マッピングテーブルにおいて対応づけられている前記視点変換画像の各座標に基づいて所定の図形を当該視点変換画像に描画することにより、視点変換画像を生成する視点変換画像生成手段と、前記視点変換画像生成手段が生成した視点変換画像を前記表示装置へ表示する表示制御手段とを含めて構成したものである。
【０００７】
このような周辺状況表示装置によれば、周囲撮影カメラが撮影した画像から、マッピングテーブルを用いて、設定された視点から自動車周辺を観測したようすを表す視点変換画像を生成して表示することによりユーザに周囲の状況を表示する際に、視点変換画像中に、障害物の位置を表す図形の表示を含めることができる。また、この図形の表示を、予め周囲撮影カメラが撮影した画像の前記障害物検出手段が検出した障害物が写り込む座標を算定し、算定した座標にマッピングされる視点変換画像の座標に基づいて図形を視点変換画像に描画する手順によって行う。したがって、複数の視点からみた視点変換画像を同時にまたは切り替えながら表示するような場合にも、視点毎に、それぞれ、障害物の位置から視点変換画像上に描くべき図形の位置等を算出する処理を行う必要がない。よって、効率的に、運転者に対して障害物と自車との位置関係を提示することができるようになる。
【０００８】
ここで、このような周辺状況表示装置は、前記視点変換画像生成手段において、前記視点変換画像の各座標について、当該座標に対応づけられた前記周囲撮影カメラが撮影した画像の画素の座標を前記マッピングテーブルに従って変換座標として抽出し、当該変換座標が前記障害物画素座標算定手段によって障害物画素座標として算定されている場合に、前記視点変換画像の当該座標の画素を前記図形を構成する画素として描画することにより、前記図形を当該視点変換画像に描画するように構成してもよい。また、このような周辺状況表示装置は、前記障害物検出手段において、前記自動車から前記障害物までの距離を計測し、前記障害物画素座標算定手段において、前記周囲撮影カメラが撮影した画像の、前記自動車からの距離が前記障害物検出手段が検出した距離にある地面上の地点が写り込む座標を、前記障害物画素座標として算定するようにしてもよい。また、前記マッピングテーブルを、複数の異なる視点に対応して備え、前記視点変換画像生成手段において、前記複数の異なる視点のうちから選定されたマッピングテーブルを用いて前記視点変換画像を生成するようにすることも好ましい。
【発明の効果】
【０００９】
以上のように、本発明によれば、運転者に対して自動車周辺を撮影した画像を視点変換した画像を表示する装置において、効率的に、運転者に対して障害物と自車との位置関係を提示することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る周辺状況表示装置の構成を示す。
図示するように、周辺状況表示装置は、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４、画像記憶部１０５、車両周囲の障害物を検出する１または複数の障害物センサ１０６、表示装置１０７、境界ライン設定部１０８、視点変換画像生成部１０９、表示装置１０７の表示を制御する表示処理部１１０、ユーザの操作を受け付ける操作部１１１、ユーザの自動車のトランスミッションのギヤ操作に応じて車両が後進状態（バックギヤ選択状態）にあるかどうかを検出する後進検出部１１２、以上各部を制御する制御部１１３を有している。また、周辺状況表示装置は、マッピングテーブルセット１１４と、ラインテーブル１１５とを備えている。
【００１１】
ここで、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４は、魚眼レンズを用いた広角のカメラであり、図１ｂに示すように、フロントカメラ１０１は車両前方向の斜下方を撮影、リアカメラ１０２は車両後方向の斜下方を撮影し、レフトサイドカメラ１０３は車両左方向の斜下方を撮影し、ライトサイドカメラ１０４は車両右方向の斜下方を撮影する。
【００１２】
図２は、このようなフロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４が撮影した画像の例を示したものであり、ａ０のような状況において、フロントカメラ１０１が撮影した画像はａ１のように、リアカメラ１０２が撮影した画像はａ２のように、レフトサイドカメラ１０３が撮影した画像はａ３のように、ライトサイドカメラ１０４が撮影した画像はａ４のようになる。そして、このような、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４が撮影した画像は、逐次、画像記憶部１０５に格納される。
【００１３】
次に、１または複数の障害物センサ１０６は左右前後方向に存在する障害物までの距離を検出するセンサであり、たとえば各カメラとセットでカメラ近傍に設置した４つのレーダセンサや超音波センサなどを用いて構成することができる。
次に、ラインテーブル１１５には、あらかじめ、前後左右の各方向毎に、障害物までの距離と、その方向を撮影するカメラが撮影した画像に対して設定する境界ラインとの対応が登録されている。ここで、この距離と境界ラインとの対応の例を図３ａに示す。
図３ａは、後方の障害物についての、障害物までの距離と、設定する境界ラインとの関係を示すものであり、図示するように、図３ａ１に示す障害物までの距離Ｄ１に対しては図３ａ２の境界ラインＬ１が、図３ａ１に示す障害物までの距離Ｄ２に対しては図３ａ２の境界ラインＬ２が、図３ａ１に示す障害物までの距離Ｄ３に対しては図３ａ２の境界ラインＬ３が、リアカメラ１０２が撮影した画像に対して設定すべきことがラインテーブル１１５に登録されていることを表している。
【００１４】
ここで、境界ラインＬ１は、車両の後方に、車両までの距離がＤ１の障害物の方向（ここでは、車両の後ろ方向）と垂直な方向（ここでは、車両の左右方向）に延びる直線が地面上に存在した場合に、リアカメラ１０２が撮影した画像中に含まれることになる当該直線を写し込んだラインを表すように設定される。同様に、境界ラインＬ２は、車両の後方に、車両までの距離がＤ２の車両の左右方向に延びる直線が地面上に存在した場合に、リアカメラ１０２が撮影した画像中に含まれることになる当該直線を写し込んだラインを表すように設定され、境界ラインＬ３は、車両の後方に、車両までの距離がＤ３の車両の左右方向に延びる直線が地面上に存在した場合に、リアカメラ１０２が撮影した画像中に含まれることになる当該直線を写し込んだラインを表すように設定される。なお、車両の前左右方向についても同様に、障害物までの距離と、その方向を撮影するカメラが撮影した画像に設定すべき境界ラインとの関係が規定される。
【００１５】
ここで、このような前後左右の各方向毎の、障害物までの距離と、境界ラインとの関係は、その方向を撮影するカメラの取付位置／方向とカメラのレンズ特性によって一義的に定めることができる。
次に、マッピングテーブルセット１１４について説明する。ここで、本周辺状況表示装置は、各カメラが撮影した画像を視点変換した視点変換画像を表示する。そして、ここで言う視点とは、この視点変換画像の視点であり、本周辺状況表示装置は、予め定めた複数の視点のうちの任意の視点による視点変換画像を表示することができる。
【００１６】
さて、視点毎のマッピングテーブルは、上記のような予め定めた複数の視点のそれぞれについて設けたマッピングテーブルと、ライン挿入テーブルがより構成される。
そして、図３ｂ１に示すように、各視点のマッピングテーブルは、その視点による視点変換画像の各画素の座標（xn,yn)と、その画素に表示したい地点が写り込んでいるカメラ画像の座標（cxn,cyn)との対応が登録されている。ここで、カメラ画像とは、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４によって撮影した画像を指すものとする。
【００１７】
次に、図３ｂ２に示すように、ライン挿入テーブルは、カメラ画像の各座標（cxn,cyn)の各々に対して設けられた挿入フラグを有している。また、挿入フラグは、ライン挿入を示す値（図ではＬで示す）と、ライン非挿入を示す値（図では０で示す）との値のいずれかをとることができる。
【００１８】
さて、このような構成において、操作部１１１を介してユーザから周辺状況提示が指示された場合や、後進検出部１１２が車両の後進状態を検出した場合、制御部１１３は、境界ライン設定部１０８に境界ライン設定処理を開始させると共に、視点変換画像生成部１０９に視点変換画像生成処理を開始させる。また、表示制御部に、視点変換画像生成部１０９が視点変換画像生成処理によって生成し画像記憶部１０５に格納する視点変換画像を表示装置１０７に表示させる。
【００１９】
以下、このようにして制御部１１３の制御下で開始される境界ライン設定部１０８が行う境界ライン設定処理と、視点変換画像生成部１０９が行う視点変換画像生成処理について説明する。
まず、境界ライン設定部１０８が行う境界ライン設定処理について説明する。
図４ａに、この境界ライン設定処理の手順を示す。
図示するように、この処理では、まず、ライン挿入テーブルの全ての挿入フラグをリセットする（ステップ４０２）。すなわち、ライン挿入テーブルのカメラ画像の全ての座標のライン挿入フラグの値をライン非挿入を示す値にする。
そして、障害物センサ１０６による障害物の検出の発生を監視し（ステップ４０４）、障害物の検出が発生したならば、障害物センサ１０６を参照して、障害物の方向と距離を取得する（ステップ４０６）。
また、取得した方向について取得した距離に対応して登録されている境界ラインをラインテーブル１１５より取得する（ステップ４０８）。そして、マッピングテーブルセット１１４のライン挿入テーブルの、境界ラインが表すラインが通るカメラ画像の座標に対して設けられている挿入フラグをライン挿入を示す値にセットする（ステップ４１０）。すなわち、いま、たとえば、図２ａ０のように車両の後方に、車両までの距離がＤの位置に壁が存在する場合には、障害物センサ１０６より障害物の方向として後方が障害物までの距離としてＤが取得される。そして、この障害物の方向と距離より、リアカメラ１０２が撮影した画像に対して設定する図３ａ３に示す境界ラインＬＤが、図３ａ４に示すようにリアカメラ１０２が撮影した画像に対して設定すべき境界ラインとしてラインテーブル１１５より取得される。ここで、この境界ラインＬＤは、図３ａ４に示すように、リアカメラ１０２が撮影した画像中の壁の車両側境界を通るライン３０１を表すものとなる。そこで、ステップ４１０では、境界ラインＬＤが表すリアカメラ１０２が撮影した画像上のライン３０１上の座標を取得し、ライン挿入テーブルの取得した座標の挿入フラグをライン挿入を示す値にセットする。
【００２０】
以上、境界ライン設定処理について説明した。
次に、視点変換画像生成部１０９が行う視点変換画像生成処理について説明する。
図４ｂに、この視点変換画像生成処理の手順を示す。
図示するように、この処理では、まず、視点変換画像を生成する視点を取得する（ステップ４５２）。ここで、視点としては、たとえば、予めユーザから操作部１１１を介して設定されている視点を取得する。次に、取得した視点に対応するマッピングテーブルをマッピングテーブルセット１１４より取得し、カレントマッピングテーブルとする（ステップ４５４）。
【００２１】
そして、カレントマッピングテーブルに登録されている視点変換画像の各画素座標について（ステップ４５６、４６４、４６８）、以下の処理を行う。
すなわち、視点変換画像の画素座標をカレントマッピングテーブルを用いてカメラ画像の画素座標に変換する（ステップ４５８）。そして、ライン挿入テーブルを参照し、変換したカメラ画像の画素座標に対して挿入フラグがライン挿入を示す値にセットされているかどうかを調べ（ステップ４６０）、セットされていなければ、画像記憶部１０５に格納されているカメラ画像から、変換したカメラ画像の画素座標の画素の色を抽出し、抽出した色で、視点変換画像の画素座標の画素を描画する（ステップ４６２）。一方、変換したカメラ画像の画素座標に対して挿入フラグがライン挿入を示す値にセットされていれば（ステップ４６０）、所定のライン描画色で、視点変換画像の画素座標の画素を描画する（ステップ４７０）。
【００２２】
そして、視点変換画像の各画素座標について以上の処理が終了したならば、視点変換画像に、自車を表す自車図形を視点変換画像毎に予め定められておいた形態で描画し（ステップ４６６）、視点変換画像を画像記憶部１０５に格納して、ステップ４５２からの処理に戻る。
【００２３】
ここで、このような視点変換画像処理の処理例を図５に示す。
いま、図２ａ０のような状況において、図５ａに示すように、フロントカメラ１０１が撮影した画像ａ１、リアカメラ１０２が撮影した画像ａ２、レフトサイドカメラ１０３が撮影した画像ａ３、ライトサイドカメラ１０４が撮影した画像ａ４が画像記憶部１０５に格納されたものとする。また、これらの各カメラが撮影したカメラ画像ａに対して境界ライン設定処理によって、図５ｂに示すようにライン挿入テーブルの挿入フラグが設定されたものとする。ここで、図５ｂに示したライン挿入テーブルは、縦横の座標が、カメラ画像ａの縦横座標を表している。また、各座標の挿入フラグの値は、その座標の点を、ライン挿入を示す値に挿入フラグがセットされている場合に黒色で示すことにより表している。
【００２４】
さて、この場合には、視点として車両上方から車両周辺を俯瞰する視点Ａが設定された場合には、図５ｄ１に示す視点変換画像を作成する。この作成において、視点変換画像の座標（x1,y1）の画素の描画は次のように行われる。まず、視点Ａ用のマッピングテーブルｃ１を用いて、座標（x1,y1）をカメラ画像上の座標（cx1,cy1）に変換し、この座標（cx1,cy1）に対して挿入フラグがライン挿入を示す値にセットされているかどうかを図５ｂのライン挿入テーブルを参照して調べる。そして、この場合には、挿入フラグがライン挿入を示す値にセットされていないので、図５ａのカメラ画像上の座標（cx1,cy1）の色を抽出し、抽出した色で図５ｄ１に示す視点変換画像の座標（x1,y1）の画素を描画する。
【００２５】
また、視点変換画像の座標（x2,y2）の画素の描画は次のように行われる。まず、視点Ａ用のマッピングテーブルｃ１を用いて、座標（x2,y2）をカメラ画像上の座標（cx2,cy2）に変換し、この座標（cx2,cy2）に対して挿入フラグがライン挿入を示す値にセットされているかどうかを図５ｂのライン挿入テーブルを参照して調べる。そして、この場合には、挿入フラグがライン挿入を示す値にセットされているので、図５ｄ１に示す視点変換画像の座標（x2,y2）の画素を、所定のライン描画色で描画する。
【００２６】
以下、同様に、図５ｄ１に示す視点変換画像の各座標の画素を描画し、最後に自車図形５０１を予め定めた形態で、図５ｄ１に示す視点変換画像に描画し、車両周辺を上方より俯瞰した視点変換画像を完成させる。
この結果、図５ｄ１の車両周辺を俯瞰したようすを表す視点変換画像は、車両後方の壁の画像部分の車両側境界にライン５０３が描画されたものとなる。
一方、視点として車両後部上方から車両後方を見下ろす視点Ｂが設定された場合には、図５ｄ２に示す視点変換画像を作成する。この作成において、視点変換画像の座標（x3,y3）の画素の描画は次のように行われる。まず、視点Ｂ用のマッピングテーブルｃ２を用いて、座標（x3,y3）をカメラ画像上の座標（cx3,cy3）に変換し、この座標（cx3,cy3）に対して挿入フラグがライン挿入を示す値にセットされているかどうかを図５ｂのライン挿入テーブルを参照して調べる。そして、この場合には、挿入フラグがライン挿入を示す値にセットされていないので、図５ａのカメラ画像上の座標（cx3,cy3）の色を抽出し、抽出した色で図５ｄ２に示す視点変換画像の座標（x3,y3）の画素を描画する。
【００２７】
また、視点変換画像の座標（x4,y4）の画素の描画は次のように行われる。まず、視点Ｂ用のマッピングテーブルｃ２を用いて、座標（x4,y4）をカメラ画像上の座標（cx4,cy4）に変換し、この座標（cx4,cy4）に対して挿入フラグがライン挿入を示す値にセットされているかどうかを図５ｂのライン挿入テーブルを参照して調べる。そして、この場合には、挿入フラグがライン挿入を示す値にセットされているので、図５ｄ２に示す視点変換画像の座標（x4,y4）の画素を、所定のライン描画色で描画する。
【００２８】
以下、同様に、図５ｄ２に示す視点変換画像の各座標の画素を描画し、最後に自車図形５０２を予め定めた形態で、図５ｄ２に示す視点変換画像に描画し、車両周辺を上方より俯瞰した視点変換画像を完成させる。
この結果、図５ｄ１の車両後方を見下ろしたようすを表す視点変換画像においても、車両後方の壁の画像部分の車両側境界にライン５０４が描画されたものとなる。
以上、本発明の実施形態を説明した。
以上のように、本実施形態によれば、図５ｄ１の視点変換画像と図５ｄ２の視点変換画像との、異なる視点について生成する二つの視点変換画像に境界ラインを含めるための処理は、境界ライン設定処理によってライン挿入テーブルに挿入フラグを設定する処理として共通化されており、各視点の視点変換画像毎に、それぞれ視点変換画像に境界ラインを含めるための処理を行う必要はない。
【００２９】
なお、以上の実施形態における視点変換画像の生成における自車図形の描画は、マップマッチングテーブルを利用して行うようにしてもよい。すなわち、視点変換画像の自車図形を描画する画素座標に対応して、マップマッチングテーブルに自車図形として用いる画像の座標を登録する。そして、マップマッチングテーブルによって、自車図形として用いる画像の座標に変換された視点変換画像の画素座標の画素については、自車図形として用いる画像の対応する画素座標の画素の色で描画する。または、視点変換画像の自車図形を描画する画素座標に対応して、マップマッチングテーブルにその画素座標の画素に、視点変換画像上に自車図形を形成するために描画する色を登録する。そして、マップマッチングテーブルによって、色に変換された視点変換画像の画素座標の画素については、当該色で描画する。
【００３０】
また、同様に、ライン挿入テーブルの挿入フラグに、ラインを挿入することを示す値をセットする代わりに、ラインの描画色をセットするようにし、ラインの描画色がセットされた座標にマップマッチングテーブルによって変換された視点変換画像の画素座標の画素については、その描画色で描画するようにしてもよい。
【００３１】
または、ラインの挿入を示す値の挿入フラグがセットされた座標にマップマッチングテーブルによって変換された視点変換画像の画素座標の画素をラインの描色で描画する代わりに、ラインの挿入を示す値の挿入フラグがセットされた座標に変換された視点変換画像上の座標群より、視点変換画像に描画すべきラインを算定し、算定したラインを描画するようにしてもよい。すなわち、たとえば、図６ａのように、ラインの挿入を示す値の挿入フラグがセットされた座標に変換された視点変換画像６００上の座標の画素が黒塗りの領域６０１内の画素であった場合、ヒストグラム法などを用いて、この領域６０１の位置形状より、描画すべきラインの向きや位置を図６ａの破線６０２のように算定する。そして、算定した向きや位置に従って、図６ｂに示すように、ライン６０３を視点変換画像６００に描画する。このようにすることにより、マッピングテーブルを用いた視点変換により、視点変換画像に描画するラインが変形してしまうことを防ぐことができる。
【００３２】
また、以上の実施形態では、障害物と車両との位置関係を視点変換画像において明示するために、障害物の車両側境界にラインを描画する場合について説明したが、本実施形態は、障害物と車両との位置関係を視点変換画像において明示するために任意の図形を描画する場合に同様に適用することができる。すなわち、たとえば、本実施形態は、障害物センサ１０６で障害物の位置を検出し、視点変換画像上で障害物の位置に所定マークを描画するような場合にも同様に適用することができる。
【００３３】
また、以上の実施形態では、車両の周囲の撮影に複数のカメラを用いたが、これは、自動車の全周囲を撮影する単一のカメラを用いるようにしてもよい。また、車両左右後方のみなど、自動車の周囲の一部のみを撮影するようにしてもよい。
また、以上の実施形態では、車両の周囲を撮影するカメラとは別に、車両周囲の障害物を検出する障害物センサ１０６を設けたが、これは、別途障害物センサを設けずに、車両の周囲を撮影するカメラの撮影画像から画像認識処理によって車両周囲の障害物を検出するようにしてもよい。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態に係る周辺状況表示装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る周辺状況表示装置における車両周辺の撮影のようすを示す図である。
【図３】本発明の実施形態に係る周辺状況表示装置が備えるテーブルの内容を示す図である。
【図４】本発明の実施形態に係る境界ライン設定処理と視点変換画像生成処理を示すフローチャートである。
【図５】本発明の実施形態に係る視点変換画像の生成例を示す図である。
【図６】本発明の実施形態に係る視点変換画像の他の生成例を示す図である。
【符号の説明】
【００３５】
１０１…フロントカメラ、１０２…リアカメラ、１０３…レフトサイドカメラ、１０４…ライトサイドカメラ、１０５…画像記憶部、１０６…障害物センサ、１０７…表示装置、１０８…境界ライン設定部、１０９…視点変換画像生成部、１１０…表示処理部、１１１…操作部、１１２…後進検出部、１１３…制御部、１１４…マッピングテーブルセット、１１５…ラインテーブル。
【図１】
0004730819.tif 000002
【図２】
0004730819.tif 000003
【図３】
0004730819.tif 000004
【図４】
0004730819.tif 000005
【図５】
0004730819.tif 000006
【図６】
0004730819.tif 000007