(57)【要約】【課題】障害物への接触の可能性を低減できる画像表示装置および画像表示方法を提供する。【解決手段】カメラ１ａ〜１ｎにより撮像した映像を視点変換した視点変換画像と、自車両の画像とを重畳して表示器８に表示する画像表示装置において、自車両の周囲の障害物までの距離を計測する測距センサ２と、測距センサ２の計測結果に基づいて算出した自車両の移動方向における障害物の存在情報を、視点変換画像に重畳表示する距離座標算出手段４、第２の画像処理装置５とを有し、測距センサ２の計測可能範囲が、自車両１０の投影範囲より狭い自車両１０の位置から自車両１０の移動を開始する場合、存在情報で示す位置よりも自車両１０側に障害物が存在する可能性を知らせる構成。【選択図】    図１
2004274114.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより撮像した映像を視点変換した視点変換画像と、自車両の画像とを重畳して表示手段に表示する画像表示装置において、
前記自車両の周囲の障害物までの距離を計測する測距手段と、
前記測距手段の計測結果に基づいて算出した前記障害物の存在情報を、前記視点変換画像に重畳表示する手段と
を有することを特徴とする画像表示装置。
【請求項２】
前記障害物の存在情報が、前記自車両の移動方向における前記障害物の存在情報であることを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記測距手段の計測可能範囲が、前記自車両の投影範囲より狭い前記自車両の位置から前記自車両の移動を開始する場合、
前記存在情報で示す位置よりも前記自車両側に前記障害物が存在する可能性を知らせることを特徴とする請求項１記載の画像表示装置。
【請求項４】
カメラにより撮像した映像を視点変換した視点変換画像と、自車両の画像とを重畳して表示する画像表示方法において、
前記自車両の周囲の障害物までの距離を計測し、
前記計測結果に基づいて算出した前記障害物の存在情報を、前記視点変換画像に重畳表示することを特徴とする画像表示方法。
【請求項５】
前記障害物の存在情報が、前記自車両の移動方向における前記障害物の存在情報であることを特徴とする請求項４記載の画像表示方法。
【請求項６】
前記計測可能範囲が、前記自車両の投影範囲より狭い前記自車両の位置から前記自車両の移動を開始する場合、
前記存在情報で示す位置よりも前記自車両側に前記障害物が存在する可能性を知らせることを特徴とする請求項４記載の画像表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子式のカメラにより撮像した映像を視点変換して表示する画像表示装置および画像表示方法に関する。
【０００２】
【従来の技術】
【特許文献】特開２００２−３１６６０２号公報。
【０００３】
カメラにより撮像した映像を視点変換した視点変換画像は、ある平面、例えば地面上に存在するものを同一視点から見たものとして変換するため、その平面上に存在しない物体は位置、大きさともに正確に変換されない、という原理的な特性が存在する。このため、例えば自車両の後部に設置した後方映像撮影用カメラで撮像した映像を、地面を基準としてあたかも自車両の真上から見た映像に変換する場合、自車両の近くに存在する物体が遠くに存在するように表示される場合がある。例えば壁面上に存在する突起物などは、位置、大きさともに正確に表示されないため、映像上の凸凹だけに着目して壁面に接近すると、壁面の突起物に接触してしまう可能性がある。
【０００４】
これに対し、上記特許文献では、自車両の視点変換画像の周りに、予め用意した自車両の画像を囲むような仮想警告線を重畳表示し、自車両の近くに物体が存在する可能性を警告し、不用意に周囲の物体に近づくことを避けさせることで、接触の可能性を低減することを提案している。
【０００５】
【発明が解決しようとする課題】
しかしながら、この仮想警告線は、事前に自車両の周囲の障害物をある大きさに仮定して用意したものであるため、障害物が全くない場合では本来さらに近づけるべき場合が近づけない、といった場合が発生し、また逆に、障害物が仮定に比べて大きい場合は、仮想警告線を信じても障害物に接触してしまう、という場合があり、根本的な解決になっていない。
【０００６】
本発明の目的は、障害物への接触の可能性を低減できる画像表示装置および画像表示方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明は、撮像した映像を視点変換した視点変換画像と、自車両の画像とを重畳して表示する画像表示装置において、自車両の周囲の障害物までの距離を計測する測距手段と、測距手段の計測結果に基づいて算出した障害物の存在情報を、視点変換画像に重畳表示する手段とを有するという構成になっている。
【０００８】
【発明の効果】
本発明によれば、障害物への接触の可能性を低減できる画像表示装置および画像表示方法を提供することができる。
【０００９】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図１は、本発明の一実施の形態の画像表示装置のシステム構成を示すブロック図である。
図１において、１は自車両の周囲を撮像する少なくとも１個の電子式のカメラで、ここでは自車両の適宜の複数箇所に設置された複数個のカメラ１ａ〜１ｎにより構成されている。複数個のカメラ１ａ〜１ｎの中には、自車両の後部に設置された後方映像撮影用のカメラが含まれる（ここではこれをカメラ１ａとする）。なお、後方映像撮影用のカメラとして、２台以上のカメラを設置してもよく、この場合は１台のカメラを用いた場合より視点変換画像の歪みを小さくすることができる。
２は自車両の後部に設置された自車両周囲の障害物までの距離を計測する測距センサ（例えばレーダー）である。
３は複数のカメラ１ａ〜１ｎで撮像された映像が入力され、視点変換画像が作成される第１の画像処理装置である。
４は測距センサ２の出力信号が入力され、距離座標を算出する距離座標算出装置である。
５は第１の画像処理装置３の出力信号と、距離座標算出装置４の出力信号が入力される第２の画像処理装置である。
８は自車両の車内に設置された表示器（ディスプレイ）である。
６は自車両の車内に設置され、表示器８の表示切り替えを行う表示切替スイッチである。
７は表示切替スイッチ６の操作により、表示器８において、第２の画像表示装置５の出力信号と他の映像の出力信号の表示が切り替えられる表示切替器である。
【００１０】
図２（ａ）は、本実施の形態における動作を説明する側面図、（ｂ）は視点変換画像を示す図である。図２において、１０は自車両、１１は自車両１０の後部、１２は壁面、１３は、壁面１２上に存在する突起物である。
図３（ａ）〜（ｃ）は、測距センサ２の計測可能範囲と自車両の後部投影範囲との関係を示す図で、測距センサ２の計測可能範囲が自車両の後部投影範囲をカバーできる位置（つまり、測距センサ２の計測可能範囲が、自車両の投影範囲と同じか自車両の投影範囲より広い自車両の位置）から駐車動作を開始する場合を示す。（ａ）、（ｂ）は側面図、（ｃ）は視点変換画像の図である。図３（ｃ）の視点変換画像において、１５は駐車場に引かれた白線、１６は視点変換された突起物、１７は実際の突起物の位置、２０は本発明に係る警告線である。
図４（ａ）〜（ｃ）は、同じく測距センサ２の計測可能範囲と自車両の後部投影範囲との関係を示す図で、測距センサ２の計測可能範囲が自車両の後部投影範囲をカバーできない位置（つまり、測距センサ２の計測可能範囲が、自車両の投影範囲より狭い自車両の位置）から駐車動作を開始する場合を示す。（ａ）、（ｂ）は側面図、（ｃ）は視点変換画像の図である。図４（ｂ）において、１４は突起物１３とは別の第２の突起物、図４（ｃ）において、１８は視点変換された第２の突起物、１９は実際の第２の突起物の位置、２１は本発明に係る警告表示である。
【００１１】
図５は、本実施の形態の処理の流れを示すフローチャートである。
【００１２】
以下、図１〜図５を用いて本実施の形態の画像表示装置の動作（画像表示方法の流れ）について説明する。
１）ドライバーは、自車両１０（図２）を例えば駐車場に駐車させるために、自車両１０を後退させる際、自車両１０の車内に設けられた表示切替スイッチ６（図１）を操作して、自車両１０の後部１１に設けられた後方映像撮影用のカメラ１ａにより撮像された後方映像を車内の表示器８に表示させる。なお、表示切替スイッチ６を設けないで、シフトレバーの連動による映像切り替えになっていても良い。すなわち、ドライバーがシフトレバーを操作して「後退（バック）」の位置に入れたときに、自動的に後方映像を車内表示器８に表示させるようになっていても良い。
【００１３】
２）複数のカメラ１ａ〜１ｎで撮像された映像は、第１の画像処理装置３に入力され、予め定められた画素の座標の移動ルールに従い、視点変換画像が作成される（図５のＳ１）。
【００１４】
３）自車両１０の後部１１に設けられた測距センサ２（図２）は、自車両１０から後方の壁面１２までの距離Ｌ（ＤＷ）を計測する（図５のＳ２）。
【００１５】
ここで、算出した自車両１０の後方の壁面１２までの距離Ｌと、自車両１０の後部投影範囲（投影範囲とは、自車両を自車両の移動方向と直角な面に投影した範囲、すなわち、自車両の車幅、車高に基づく範囲）ＰＡ（図３（ａ））が測距センサ２の壁面１２における計測可能範囲（検知領域）ＤＡ内に収まる最小の自車両１０と壁面１２との距離Ｌ０とを比較する（図５のＳ３）。
【００１６】
なお、距離Ｌ０は、測距センサ２の画角、自車両１０の後部１１の各部位の高さにより算出される。
【００１７】
図３（ａ）の例では、測距センサ２の垂直画角を２θ、自車両１０の後部１１のトランクの高さをｈ１、バンパー下部の高さをｈ２とすると、次式で算出される。
【００１８】
Ｌ０＝（ｈ１−ｈ２）／２ｔａｎθ
水平方向においても同様にして算出できるが、水平方向に関しては説明を省略する。
【００１９】
Ｌ≧Ｌ０の場合、下記の４）〜７）が実行される。
【００２０】
４）測距センサ２の出力信号は、距離座標算出装置４に入力され、実際の距離と表示距離との予め定められた縮尺率に従い、自車両１０から壁面１２までの距離ＤＷ（図２）、および自車両１０から壁面１２までの距離ＤＷと自車両１０から突起物１３までの距離ＤＯから算出した壁面１２から突起物１３までの距離ＤＤを、表示サイズに合った座標位置および距離として算出する（図５のＳ５）。
【００２１】
５）第１の画像処理装置３で得られた視点変換画像と、距離座標算出装置４で算出した距離座標情報は、第２の画像処理装置５に入力される。
【００２２】
６）警告線２０の表示器８上の表示座標を算出する（図５のＳ６）。第２の画像処理装置５は、視点変換画像上に、予め用意された自車両１０の後部１１のプランビュー画像（写真画像でもＣＧ画像でも良い）と、距離座標算出装置４で算出された壁面１２の座標から突起物１３までの距離分、自車両１０に近い位置に、自車両１０に平行に警告線２０を重畳する（図５のＳ７。図２（ｂ））。
【００２３】
７）第２の画像処理装置５の出力映像が車内の表示器８に表示される（図５のＳ８）。
【００２４】
８）一方、Ｌ＜Ｌ０の場合、上記４）〜７）の実施と同時に、５）で警告線２０より手前（自車両１０側）に障害物がある可能性がある旨の警告表示２１を画面に重畳表示（図５のＳ４）、もしくは音声ガイドを再生する。警告表示２１は、例えば図４（ｃ）に示すように、「警告線より手前に障害物がある可能性があります！」とする。
【００２５】
９）以降、表示切替スイッチ６で後退映像が選択されなくなるまで（図５のＳ９）、上記２）〜８）（Ｓ１〜Ｓ８）が繰り返される。表示切替スイッチ６がオフにされると、デフォルト画面に切り替えられる（図５のＳ１０）。
【００２６】
以上のように、本実施の形態の画像表示装置では、カメラ１ａ〜１ｎにより撮像した映像を視点変換した視点変換画像と、自車両１０の画像とを重畳して表示器８に表示する画像表示装置において、自車両１０の周囲の障害物までの距離を計測する測距センサ２と、測距センサ２の計測結果に基づいて算出した障害物の存在情報を、視点変換画像に重畳表示する距離座標算出手段４、第２の画像処理装置５とを有するという構成になっている。なお、図１の表示器８が、特許請求の範囲の表示手段に、測距センサ２が測距手段に、距離座標算出手段４および第２の画像処理装置５が、障害物の存在情報を視点変換画像に重畳表示する手段に相当する。
【００２７】
このように、自車両１０に後方障害物を検知する測距センサ２を設け、この測距センサ２により実測した位置に障害物があることを視点変換画像に警告情報としで重畳表示することにより、カメラ映像だけでは判断できない凹凸に対しても画面上で目視確認することができ、視点変換画像での目視確認のしやすさに加え、障害物への接触を回避することが可能となる。
【００２８】
また、本実施の形態の画像表示方法では、カメラ１ａ〜１ｎにより撮像した映像を視点変換した視点変換画像と、自車両１０の画像とを重畳して表示する画像表示方法において、自車両１０の周囲の障害物までの距離を計測し、この計測結果に基づいて算出した障害物の存在情報を、視点変換画像に重畳表示するという構成になっている。
【００２９】
このような構成により、カメラ映像だけでは判断できない凹凸に対しても画面上で目視確認することができ、視点変換画像での目視確認のしやすさに加え、障害物への接触を回避することが可能となる。
【００３０】
また、障害物の存在情報が、自車両１０の移動方向における障害物の存在情報であるという構成になっている。このような構成により、自車両１０の移動方向における障害物への接触を回避することができる。
【００３１】
また、測距センサ２の計測可能範囲が、自車両１０の投影範囲より狭い自車両１０の位置から自車両１０の移動を開始する場合、存在情報で示す位置よりも自車両１０側に障害物が存在する可能性を知らせるという構成になっている。
【００３２】
このように、測距センサ２が自車両１０の例えば後部投影範囲をカバーできない位置から駐車動作を開始して壁面１２に後退接近した場合、画面に実測表示してある警告線２０より手前に障害物がある可能性をドライバーに知らせることで、障害物への接触可能性を減らすことができる。
【００３３】
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。例えば、上記実施の形態においては、自車両１０の後部に設置した後方映像撮影用のカメラ１ａおよび測距センサ２を用いて、自車両を後退させて駐車させる例について説明したが、これに限定されず、自車両の後部以外に設けたカメラと測距センサを用いる場合にも適用可能であることは言うまでもない。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像表示装置のシステム構成を示すブロック図である。
【図２】本発明の実施の形態の効果を表す図である。
【図３】本発明の実施の形態の効果を表す図である。
【図４】本発明の実施の形態の効果を表す図である。
【図５】本発明の実施の形態の動作を示すフローチャートである。
【符号の説明】
１、１ａ〜１ｎ…カメラ
２…測距センサ
３…第１の画像処理装置
４…距離座標算出装置
５…第２の画像処理装置
６…表示切替スイッチ
７…表示切替器
８…表示器
１０…自車両
１１…後部
１２…壁面
１３…突起物
１４…第２の突起物
１５…白線
１６…視点変換された突起物
１７…実際の突起物の位置
１８…視点変換された第２の突起物
１９…実際の第２の突起物の位置
２０…警告線
２１…警告表示
【図１】
2004274114.tif 000003
【図２】
2004274114.tif 000004
【図３】
2004274114.tif 000005
【図４】
2004274114.tif 000006
【図５】
2004274114.tif 000007