(57)【要約】【課題】効率的に、運転者に対して障害物と自車との位置関係を提示する「周辺状況表示装置及び周辺状況表示方法」を提供する。【解決手段】魚眼レンズを用いたカメラが車両周辺を撮影した画像ａ１-ａ４に、障害物センサ１０６が検出した障害物の車両側境界を表す境界ライン２０１を描画する。そして、境界ライン２０１の描画完了後に、画像ａ１-ａ４を、設定された視点に応じた視点変換処理を施して変換し、変換した画像ｂ１-ｂ４を自車を表す図形４０１と共に合成し、車両とその周辺を俯瞰した画像を視点変換画像ｃ１として生成する。【選択図】図４
2007038956.tif 000002
【特許請求の範囲】
【請求項１】
自動車に搭載される周辺状況表示装置であって、
前記自動車周囲を撮影する周囲撮影カメラと、
前記自動車周囲の障害物を検出する障害物検出手段と、
表示装置と、
前記周囲撮影カメラが撮影した画像の前記障害物検出手段が検出した障害物が写り込む位置に所定の図形を描画する図形描画手段と、
図形描画手段が前記図形を描画した画像を、設定された視点から自動車周辺を観測したようすを表す視点変換画像に変換する視点変換画像生成手段と、
前記視点変換画像生成手段が変換した視点変換画像を前記表示装置へ表示する表示制御手段とを有することを特徴とする周辺状況表示装置。
【請求項２】
請求項１記載の周辺状況表示装置であって、
前記障害物検出手段は、前記自動車から前記障害物までの距離を計測し、
前記図形描画手段は、前記周囲撮影カメラが撮影した画像の、前記自動車からの距離が前記障害物検出手段が検出した距離にある地面上の地点が写り込む位置を結ぶラインを、前記所定の図形として描画することを特徴とする周辺状況表示装置。
【請求項３】
請求項１または２記載の周辺状況表示装置であって、
前記視点として、複数の異なる視点の候補の内から選定した視点を設定する視点設定手段を有することを特徴とする周辺状況表示装置。
【請求項４】
自動車に搭載される周辺状況表示装置において、自動車周囲を撮影する周囲撮影カメラによって撮影した画像を、設定された視点から自動車周辺を観測したようすを表す視点変換画像に変換し表示する周辺状況表示方法であって、
前記自動車周囲の障害物を検出するステップと、
前記周囲撮影カメラが撮影した画像の、検出された障害物が写り込む位置に所定の図形を描画するステップと、
前記図形を描画した画像を、設定された視点から自動車周辺を観測したようすを表す視点変換画像に変換するステップと、
前記視点変換画像を表示するステップとを有することを特徴とする周辺状況表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者に対して自動車周辺を撮影した映像を提示することにより、自動車の運転を支援する技術に関するものである。
【背景技術】
【０００２】
運転者に対して自動車周辺を撮影した映像を提示することにより、自動車の運転を支援する技術としては、自動車周辺をカメラによって撮影した画像を自動車上方の視点から撮影した場合に得られる画像に視点変換し、視点変換した画像上に自車を表す図形を配置することにより、自動車周辺を俯瞰的に表す俯瞰画像を生成し、ユーザに提示する技術が知られている（たとえば、特許文献１、特許文献２）。
【特許文献１】特開2002-354468号公報
【特許文献２】特開2002-316602号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前記俯瞰画像をユーザに対して提示する技術によれば、ユーザは、自動車周辺のようすを、俯瞰画像より直感的に把握することができる。
しかしながら、俯瞰画像では、走行の障害物となる地面に対して高さ方向の変位を持つ物体や構造は、視点変換によって、実際に車両上方から車両周辺を観測した場合と異なる形態で表示されてしまうことになる。このために、ユーザは、俯瞰画像からでは、このような障害物の位置や形状を直感的かつ正確に把握することができない。
【０００４】
そこで、適当な手段によって車両周辺の障害物を検出し、検出した障害物の車両側境界を表すラインなどを、俯瞰画像上に描画して、ユーザが容易に障害物と自車との位置関係を把握できるようにすることが考えられる。
しかしながら、このようにすると、単一の視点ではなく、複数の視点からみた俯瞰画像を同時にまたは切り替えながら表示するような場合には、各俯瞰画像毎に、視点に応じた異なる処理によって、俯瞰画像の生成処理とラインの描画処理の双方を、それぞれ行う必要が生じるため、俯瞰画像の表示に必要な構成、処理の規模が増大化する。また、画像の視点変換誤差等に基づく、俯瞰画像中の障害物の表示と、ラインの描画位置との誤差が生じる場合もある。
【０００５】
そこで、本発明は、運転者に対して自動車周辺を撮影した画像を視点変換した画像を表示する装置において、効率的に、運転者に対して障害物と自車との位置関係を提示することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題達成のために、本発明は、自動車に搭載される周辺状況表示装置を、前記自動車周囲を撮影する周囲撮影カメラと、前記自動車周囲の障害物を検出する障害物検出手段と、表示装置と、前記周囲撮影カメラが撮影した画像の前記障害物検出手段が検出した障害物が写り込む位置に所定の図形を描画する図形描画手段と、図形描画手段が前記図形を描画した画像を、設定された視点から自動車周辺を観測したようすを表す視点変換画像に変換する視点変換画像生成手段と、前記視点変換画像生成手段が変換した視点変換画像を前記表示装置へ表示する表示制御手段とを含めて構成したものである。
【０００７】
このような周囲状況表示装置によれば、周囲撮影カメラが撮影した画像を、設定された視点から自動車周辺を観測したようすを表す視点変換画像に変換して表示することによりユーザに周囲の状況を表示する際に、視点変換画像中に、障害物の位置を表す図形の表示を含める。また、この図形を視点変換画像中に含める手順を、予め周囲撮影カメラが撮影した画像の前記障害物検出手段が検出した障害物が写り込む位置に図形を描画した上で、図形を描画した画像を視点変換することにより視点変換画像を生成するものとしている。したがって、複数の視点からみた視点変換画像を同時にまたは切り替えながら表示するような場合にも、視点毎に、それぞれ、視点に応じた処理によって図形を描画する必要がない。したがって、効率的に、運転者に対して障害物と自車との位置関係を提示することができるようになる。
【０００８】
ここで、このような周辺状況表示装置は、前記障害物検出手段において、前記自動車から前記障害物までの距離を計測し、前記図形描画手段において、前記周囲撮影カメラが撮影した画像の、前記自動車からの距離が前記障害物検出手段が検出した距離にある地面上の地点が写り込む位置を結ぶラインを、前記所定の図形として描画するようにしてもよい。
【０００９】
また、前記視点として、複数の異なる視点の候補の内から選定した視点を設定する視点設定手段を備えることも好ましい。
【発明の効果】
【００１０】
以上のように、本発明によれば、運転者に対して自動車周辺を撮影した画像を視点変換した画像を表示する装置において、効率的に、運転者に対して障害物と自車との位置関係を提示することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る周辺状況表示装置の構成を示す。
図示するように、周辺状況表示装置は、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４、画像記憶部１０５、車両周囲の障害物を検出する１または複数の障害物センサ１０６、表示装置１０７、境界ライン描画部１０８、視点変換画像生成部１０９、表示装置１０７の表示を制御する表示処理部１１０、ユーザの操作を受け付ける操作部１１１、ユーザの自動車のトランスミッションのギヤ操作に応じて車両が後進状態（バックギヤ選択状態）にあるかどうかを検出する後進検出部１１２、以上各部を制御する制御部１１３を有している。また、周辺状況表示装置には、視点変換画像生成部１０９が用いるマッピングテーブル１１４と、境界ライン描画部１０８が用いるラインテーブル１１５を予め備えられている。
【００１２】
ここで、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４は、魚眼レンズを用いた広角のカメラであり、図１ｂに示すように、フロントカメラ１０１は車両前方向の斜下方を撮影し、リアカメラ１０２は車両後方向の斜下方を撮影し、レフトサイドカメラ１０３は車両左方向の斜下方を撮影し、ライトサイドカメラ１０４は車両右方向の斜下方を撮影する。
【００１３】
図２ａは、このようなフロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４が撮影した画像の例を示したものであり、ａ０のような状況において、フロントカメラ１０１が撮影した画像はａ１のように、リアカメラ１０２が撮影した画像はａ２のように、レフトサイドカメラ１０３が撮影した画像はａ３のように、ライトサイドカメラ１０４が撮影した画像はａ４のようになる。そして、このような、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４が撮影した画像は、逐次、画像記憶部１０５に格納される。
【００１４】
次に、１または複数の障害物センサ１０６は左右前後方向に存在する障害物までの距離を検出するセンサであり、たとえば各カメラとセットでカメラ近傍に設置した４つのレーダセンサや超音波センサなどを用いて構成することができる。
さて、このような構成において、操作部１１１を介してユーザから周辺状況提示が指示された場合や、後進検出部１１２が車両の後進状態を検出した場合、制御部１１３は、境界ライン描画部１０８に境界ライン描画処理を開始させると共に、視点変換画像生成部１０９に視点変換画像生成処理を開始させる。また、表示処理部１１０に、視点変換画像生成部１０９が視点変換画像生成処理によって生成され画像記憶部１０５に格納される視点変換画像を表示装置１０７に表示させる。
【００１５】
以下、このようにして制御部１１３の制御下で開始される境界ライン描画部１０８が行う境界ライン描画処理と、視点変換画像生成部１０９が行う視点変換画像生成処理について説明する。
まず、境界ライン描画部１０８が行う境界ライン描画処理について説明する。
図３ａに、この境界ライン描画処理の手順を示す。
図示するように、この処理では、まず、障害物センサ１０６による障害物の検出の発生を監視する（ステップ３０２）。そして、障害物の検出が発生したならば、障害物センサ１０６を参照して、障害物の方向と距離を取得する（ステップ３０４）。
そして、取得した障害物の自車に対する方向より描画対象カメラ画像を選定する（ステップ３０６）。描画対象カメラ画像としては、取得した障害物の方向が車両前方であれば、画像記憶部１０５に格納されるフロントカメラ１０１が撮影した画像を描画対象カメラ画像として選定し、取得した障害物の方向が車両後方であれば、画像記憶部１０５に格納されるリアカメラ１０２が撮影した画像を描画対象カメラ画像として選定し、取得した障害物の方向が車両左方であれば、画像記憶部１０５に格納されるレフトサイドカメラ１０３が撮影した画像を描画対象カメラ画像として選定し、取得した障害物の方向が車両右方であれば、画像記憶部１０５に格納されるライトサイドカメラ１０４が撮影した画像を描画対象カメラ画像として選定する。
【００１６】
そして、選定した描画対象カメラ画像に、取得した障害物の距離に応じて境界ラインを描画し（ステップ３０８）、ステップ３０２からの処理に戻る。
ここで、この境界ラインの描画は、以下のように行う。
まず、ラインテーブル１１５には、あらかじめ、障害物までの距離と、描画対象カメラ画像に描画すべき境界ラインとの関係の定義が、前後左右の各方向毎に、登録されている。ここで、この関係の例を図２ｂに示す。
図２ｂは、後方の障害物についての、障害物までの距離と、描画対象カメラ画像に描画すべき境界ラインとの関係を示すものであり、図示するように、図２ｂ１に示す障害物までの距離Ｄ１に対しては図２ｂ２の境界ラインＬ１を、図２ｂ１に示す障害物までの距離Ｄ２に対しては図２ｂ２の境界ラインＬ２を、図２ｂ１に示す障害物までの距離Ｄ３に対しては図２ｂ２の境界ラインＬ３を、描画対象カメラ画像として選定されるリアカメラ１０２が撮影した画像上に描画すべきことがラインテーブル１１５で規定されていることを表している。
【００１７】
ここで、境界ラインＬ１は、車両の後方に、車両までの距離がＤ１の、障害物の方向（ここでは、車両の後方）と垂直な方向（ここでは、車両の左右方向）に延びる直線が地面上に存在した場合に、リアカメラ１０２が撮影した画像中に含まれることになる当該直線の画像部分に等しくなるように設定される。同様に、境界ラインＬ２は、車両の後方に、車両までの距離がＤ２の車両の左右方向に延びる直線が地面上に存在した場合に、リアカメラ１０２が撮影した画像中に含まれることになる当該直線の画像部分に等しくなり、境界ラインＬ３は、車両の後方に、車両までの距離がＤ３の車両の左右方向に延びる直線が地面上に存在した場合に、リアカメラ１０２が撮影した画像中に含まれることになる当該直線の画像部分に等しくなるように設定される。このような障害物までの距離と、描画対象カメラ画像上に描画すべき境界ラインとの関係は、その方向に障害物が存在したときに描画対象カメラ画像として選定される画像を撮影するカメラの取付位置／方向とカメラのレンズ特性によって一義的に定めることができる。
【００１８】
なお、車両の前左右方向についても同様に、障害物までの距離と、描画対象カメラ画像に描画すべき境界ラインとの関係が規定される。
以上、境界ライン描画部１０８が行う境界ライン描画処理について説明した。
このような境界ライン描画処理によれば、たとえば、図２ａ０のような車両の後方に、車両までの距離がＤの位置に壁が存在する場合には、以上の境界ライン描画処理によって、図２ａ２のリアカメラ１０２が撮影した画像上に、図２ｂ３に示すように、境界ライン２０１が描画されることになる。
次に、視点変換画像生成部１０９が行う視点変換画像生成処理について説明する。
図３ｂに、この視点変換画像生成処理の手順を示す。
図示するように、この処理では、まず、視点変換画像を生成する視点を取得する（ステップ３５２）。ここで、視点としては、たとえば、予めユーザから操作部１１１を介して設定されている視点を取得する。
次に、画像記憶部１０５に記憶されているフロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４の各カメラが撮影した画像に対して、ステップ３５２で取得した視点から撮影した場合に得られる画像に視点変換処理を施す（ステップ３５４）。ここで、各カメラが撮影した画像のうち前述した境界ライン描画処理において描画対象カメラ画像として選定された画像については、視点変換処理を施される画像は、境界ライン描画処理によって境界ライン２０１が描画された画像となる。なお、この視点と、各カメラが撮影した画像に施す視点変換規則との対応は、予め、マッピングテーブル１１４に登録しておく。
【００１９】
そして、視点変換処理を施した各画像を合成すると共に、合成した画像上に自車を表す図形を配置することにより、自動車周辺を自車を表す図形と共に示した視点変換画像を生成して画像記憶部１０５に格納し（ステップ３５６）、ステップ３５２からの処理に戻る。
ここで、このような視点変換画像処理の処理例を図４に示す。
いま、車両上方から下方を見下ろす視点、すなわち、車両を俯瞰する視点がステップ３５２で取得された場合、まず、図４ａ１のフロントカメラ１０１が撮影した車両前方の画像はステップ３５４で、取得した視点に応じた視点変換処理が施され図４ｂ１の画像に変換される。同様に、図４ａ２のリアカメラ１０２が撮影した車両後方の画像は視点変換処理が施され図４ｂ２の画像に、図４ａ３のレフトサイドカメラ１０３が撮影した車両左方の画像は視点変換処理が施され図４ｂ３の画像に、図４ａ４のライトサイドカメラ１０４が撮影した車両右方の画像は視点変換処理が施され図４ｂ４の画像に変換される。ここで、図４ａ２に示すように、リアカメラ１０２が撮影した画像に境界ライン描画処理によって、図２ａ０の車両後方の壁に対応する境界ライン２０１が描画されている場合、この境界ライン２０１を含んだ画像全体が視点変換処理されるため、図４ｂ２の視点変換処理後の画像にも、視点変換された境界ライン２０１が含まれることになる。
【００２０】
そして、図ステップ３５６では、図４ｃ１に示すように、図４ｂ１、ｂ２、ｂ３、ｂ４の画像を、自車を表す図形４０１と共に合成し、車両とその周辺を俯瞰した画像を視点変換画像として生成する。
この結果、図４ｃ１の視点変換画像は、車両上方から車両を俯瞰する画像中の、車両後方の壁の画像部分の車両側境界に境界ライン２０１が描画されたものとなる。
一方、ステップ３５２で取得された視点が、車両後方を上方から見下ろす視点である場合には、図４a２のリアカメラ１０２が撮影した車両前方の画像はステップ３５４で、取得した視点に応じた視点変換処理が施され、自車後部を表す図形４０２と共に合成され、図４ｃ２に示す視点変換画像が生成される。
【００２１】
図示するようにこの場合にも、図４ｃ２の視点変換画像は、車両後方の壁の画像部分の車両側境界に境界ライン２０１が描画されたものとなる。
このように、本実施形態によれば、図４ｃ１の視点変換画像と図４ｃ２の視点変換画像との、異なる視点について生成する二つの視点変換画像に境界ライン２０１を含めるための処理は、境界ライン描画処理によってカメラが撮影した画像に直接境界ラインを描画する処理として共通化されており、各視点の視点変換画像毎に、それぞれ視点変換画像に境界ライン２０１を含めるための処理を行う必要はない。
【００２２】
ところで、以上では、車両後方に障害物が存在する場合を具体例に用いながら本周辺状況表示装置の動作の説明を行ったが、以上の動作によれば、たとえば、車両を俯瞰する視点が設定されている場合において、車両左方に障害物が存在する場合には、図５ａに示すように、車両左方の障害物の車両側境界を示す境界ライン２０１を含む視点変換画像が、車両後方に障害物が存在する場合と同様に生成される。また、たとえば、車両後方と車両左方に障害物が存在するような場合には、図５ｂに示すように車両左方の障害物の車両側境界を示す境界ライン２０１と、車両後方の障害物の車両側境界を示す境界ライン２０１との二つの境界ライン２０１を含む視点変換画像が生成されることになる。
【００２３】
なお、先に説明した境界ライン描画処理においてカメラが撮影した画像に描画する境界ライン２０１の形状は、図５ｃに示すように、ライン幅を両端ほど狭くなるような形状とし、図５ｄに示すように、視点変換画像においてライン幅ができるだけ一定となるようにてもよい。
【００２４】
以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、車両の周囲の撮影に複数のカメラを用いたが、これは、自動車の全周囲を撮影する単一のカメラを用いるようにしてもよい。また、車両左右後方のみなど、自動車の周囲の一部のみを撮影するようにしてもよい。
また、以上の実施形態では、車両の周囲を撮影するカメラとは別に、車両周囲の障害物を検出する障害物センサ１０６を設けたが、これは、別途障害物センサを設けずに、車両の周囲を撮影するカメラの撮影画像から画像認識処理によって車両周囲の障害物を検出するようにしてもよい。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る周辺状況表示装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る周辺状況表示装置における車両周辺の撮影のようすと、境界ラインの描画法を示す図である。
【図３】本発明の実施形態に係る境界ライン描画処理と視点変換画像生成処理を示すフローチャートである。
【図４】本発明の実施形態に係る視点変換画像の生成例を示す図である。
【図５】本発明の実施形態に係る視点変換画像の生成例を示す図である。
【符号の説明】
【００２６】
１０１…フロントカメラ、１０２…リアカメラ、１０３…レフトサイドカメラ、１０４…ライトサイドカメラ、１０５…画像記憶部、１０６…障害物センサ、１０７…表示装置、１０８…境界ライン描画部、１０９…視点変換画像生成部、１１０…表示処理部、１１１…操作部、１１２…後進検出部、１１３…制御部、１１４…マッピングテーブル、１１５…ラインテーブル、２０１…境界ライン。
【図１】
2007038956.tif 000003
【図２】
2007038956.tif 000004
【図３】
2007038956.tif 000005
【図４】
2007038956.tif 000006
【図５】
2007038956.tif 000007