(57)【特許請求の範囲】
【請求項１】
車両の周辺を撮像した映像を取得する映像取得部と、
前記映像取得部において取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成する生成部と、
前記車両の走行状況を取得する走行状況取得部と、
前記走行状況取得部において取得した走行状況が所定速度未満での走行または停止である場合に、前記車両の周辺における路面形状を取得する路面形状取得部と、
前記路面形状取得部が取得した路面形状をもとに、注意を要する路面形状が存在するか否かを判定する路面形状判定部と、
前記路面形状判定部において注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させる映像処理部と、
前記映像処理部において画像が重畳された俯瞰映像を表示部に表示させる表示制御部と、
を備えることを特徴とする車両用表示装置。
【請求項２】
車両の周辺を撮像した映像を取得する映像取得部と、
前記映像取得部において取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成する生成部と、
前記車両の周辺における路面形状を取得する路面形状取得部と、
前記路面形状取得部が取得した路面形状をもとに、注意を要する路面形状として、前記車両の走行が困難となる高低差のある路面形状が存在するか否かを判定する路面形状判定部と、
前記路面形状判定部において注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させる映像処理部と、
前記映像処理部において画像が重畳された俯瞰映像を表示部に表示させる表示制御部と、
を備えることを特徴とする車両用表示装置。
【請求項３】
前記路面形状判定部は、前記車両の走行が困難となる高低差のある路面形状として、前記車両から離れると低くなる段差形状が存在するか否かを判定することを特徴とする請求項２に記載の車両用表示装置。
【請求項４】
車両の周辺を撮像した映像を取得する映像取得部と、
前記映像取得部において取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成する生成部と、
前記車両の周辺における路面形状を取得する路面形状取得部と、
前記路面形状取得部が取得した路面形状をもとに、注意を要する路面形状として、前記車両のドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定する路面形状判定部と、
前記路面形状判定部において注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させる映像処理部と、
前記映像処理部において画像が重畳された俯瞰映像を表示部に表示させる表示制御部と、
を備えることを特徴とする車両用表示装置。
【請求項５】
前記車両における複数の座席に対する着座有無情報を取得する着座情報取得部をさらに備え、
前記路面形状判定部は、前記車両のドアのうち、前記着座情報取得部が取得した着座のあるドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定することを特徴とする請求項４に記載の車両用表示装置。
【請求項６】
前記路面形状取得部は、路面形状を取得可能な範囲において、前記車両の車体から路面までの距離を取得することによって路面形状を取得することを特徴とする請求項１から５のいずれか１項に記載の車両用表示装置。
【請求項７】
車両の周辺を撮像した映像を取得するステップと、
取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、
前記車両の走行状況を取得するステップと、
取得した走行状況が所定速度未満での走行または停止である場合に、前記車両の周辺における路面形状を取得するステップと、
取得した路面形状をもとに、注意を要する路面形状が存在するか否かを判定するステップと、
注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させるステップと、
画像が重畳された俯瞰映像を表示部に表示させるステップと、
を備えることを特徴とする車両用表示方法。
【請求項８】
車両の周辺を撮像した映像を取得するステップと、
取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、
前記車両の周辺における路面形状を取得するステップと、
取得した路面形状をもとに、注意を要する路面形状として、前記車両の走行が困難となる高低差のある路面形状が存在するか否かを判定するステップと、
注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させるステップと、
画像が重畳された俯瞰映像を表示部に表示させるステップと、
を備えることを特徴とする車両用表示方法。
【請求項９】
車両の周辺を撮像した映像を取得するステップと、
取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、
前記車両の周辺における路面形状を取得するステップと、
取得した路面形状をもとに、注意を要する路面形状として、前記車両のドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定するステップと、
注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させるステップと、
画像が重畳された俯瞰映像を表示部に表示させるステップと、
を備えることを特徴とする車両用表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用表示技術に関し、特に映像を表示する車両用表示装置および車両用表示方法に関する。
【背景技術】
【０００２】
車両に複数の車外撮影用カメラが搭載され、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような俯瞰映像が形成されてモニタに表示される。このような俯瞰映像表示において、障害物である立体物は、視点変換処理によって障害物の形状が正確に表示されないため、立体物か平面状の物であるかの区別を直感的に認識することが困難である。そのため、所定高さ以上の立体物が、他とは異なった態様で表示される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４９９４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の四方に設置された撮像部によって撮像された映像が、車両の上方から見下ろすように視点変換処理されることによって、俯瞰映像が生成される。車両の周辺に障害物が存在していなくても、車両の周辺の路面に段差が存在している場合、俯瞰映像では段差の有無の把握が困難である。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、俯瞰映像においても段差の有無の把握する技術を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の車両用表示装置は、車両の周辺を撮像した映像を取得する映像取得部と、映像取得部において取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成する生成部と、車両の走行状況を取得する走行状況取得部と、走行状況取得部において取得した走行状況が所定速度未満での走行または停止である場合に、車両の周辺における路面形状を取得する路面形状取得部と、路面形状取得部が取得した路面形状をもとに、注意を要する路面形状が存在するか否かを判定する路面形状判定部と、路面形状判定部において注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させる映像処理部と、映像処理部において画像が重畳された俯瞰映像を表示部に表示させる表示制御部と、を備える。
本発明の別の態様もまた、車両用表示装置である。この装置は、車両の周辺を撮像した映像を取得する映像取得部と、映像取得部において取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成する生成部と、車両の周辺における路面形状を取得する路面形状取得部と、路面形状取得部が取得した路面形状をもとに、注意を要する路面形状として、車両の走行が困難となる高低差のある路面形状が存在するか否かを判定する路面形状判定部と、路面形状判定部において注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させる映像処理部と、映像処理部において画像が重畳された俯瞰映像を表示部に表示させる表示制御部と、を備える。
本発明のさらに別の態様もまた、車両用表示装置である。この装置は、車両の周辺を撮像した映像を取得する映像取得部と、映像取得部において取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成する生成部と、車両の周辺における路面形状を取得する路面形状取得部と、路面形状取得部が取得した路面形状をもとに、注意を要する路面形状として、車両のドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定する路面形状判定部と、路面形状判定部において注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させる映像処理部と、映像処理部において画像が重畳された俯瞰映像を表示部に表示させる表示制御部と、を備える。
【０００７】
本発明のさらに別の態様は、車両用表示方法である。この方法は、車両の周辺を撮像した映像を取得するステップと、取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、車両の走行状況を取得するステップと、取得した走行状況が所定速度未満での走行または停止である場合に、車両の周辺における路面形状を取得するステップと、取得した路面形状をもとに、注意を要する路面形状が存在するか否かを判定するステップと、注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させるステップと、画像が重畳された俯瞰映像を表示部に表示させるステップと、を備える。
本発明のさらに別の態様もまた、車両用表示方法である。この方法は、車両の周辺を撮像した映像を取得するステップと、取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、車両の周辺における路面形状を取得するステップと、取得した路面形状をもとに、注意を要する路面形状として、車両の走行が困難となる高低差のある路面形状が存在するか否かを判定するステップと、注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させるステップと、画像が重畳された俯瞰映像を表示部に表示させるステップと、を備える。
本発明のさらに別の態様もまた、車両用表示方法である。この方法は、車両の周辺を撮像した映像を取得するステップと、取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、車両の周辺における路面形状を取得するステップと、取得した路面形状をもとに、注意を要する路面形状として、車両のドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定するステップと、注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させるステップと、画像が重畳された俯瞰映像を表示部に表示させるステップと、を備える。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、俯瞰映像においても段差の有無の把握できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１に係る車両の周辺に形成される撮像範囲を示す斜視図である。
【図２】図１の車両に搭載されるセンサを示す図である。
【図３】図１の車両に搭載される車両用表示装置の構成を示す図である。
【図４】図３の生成部において生成される俯瞰映像を示す図である。
【図５】図３の前方センサの配置を示す図である。
【図６】図３の左側方センサの配置を示す図である。
【図７】図３の路面形状取得部における処理の概要を示す図である。
【図８】図３の路面形状取得部における別の処理の概要を示す図である。
【図９】図３の路面形状取得部におけるさらに別の処理の概要を示す図である。
【図１０】図３の路面形状判定部において記憶されるテーブルのデータ構造を示す図である。
【図１１】図３の映像処理部において生成される俯瞰映像を示す図である。
【図１２】図３の映像処理部において生成される別の俯瞰映像を示す図である。
【図１３】図３の映像処理部において生成されるさらに別の俯瞰映像を示す図である。
【図１４】図３の映像処理部において生成されるさらに別の俯瞰映像を示す図である。
【図１５】図３の映像処理部において生成されるさらに別の俯瞰映像を示す図である。
【図１６】図１６（ａ）−（ｂ）は、図３の映像処理部において生成される映像を示す図である。
【図１７】図３の車両用表示装置による表示手順を示すフローチャートである。
【図１８】本発明の実施例２に係る車両用表示装置の構成を示す図である。
【図１９】図１８の路面形状取得部における処理の概要を示す図である。
【図２０】図１８の路面形状判定部において記憶されるテーブルのデータ構造を示す図である。
【図２１】図１８の映像処理部において生成される俯瞰映像を示す図である。
【図２２】図１８の映像処理部において生成される別の俯瞰映像を示す図である。
【発明を実施するための形態】
【００１１】
（実施例１）
本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例１は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰映像を生成し、生成した俯瞰映像を表示する車両用表示装置に関する。視点変換では、撮像した画像が地面上の平面にマッピングされるので、撮像した画像に含まれた各物体が地面の平面上に並んでいるように表示される。そのため、車両の周辺の路面に段差が存在する場合であっても、そのような段差は俯瞰映像において平面的に示される。これにより、運転者は、俯瞰映像を見ながら、段差の有無を把握することが困難である。特に、車両側から離れる方向において低くなる段差は、段差の垂直面が撮像部によって撮像されないので、把握がさらに困難になる。
【００１２】
これに対応するために、本実施例に係る車両用表示装置は、次の処理を実行する。車両には複数のセンサが設置され、複数のセンサでの検出結果をもとに、車両用表示装置は、車両の周辺の路面形状を取得する。車両用表示装置は、取得した路面形状において、周囲を要する路面形状が存在する場合、それを示す画像が重畳された俯瞰映像を表示する。ここで、周囲を要する路面形状とは、例えば、路面に存在する段差に相当する。
【００１３】
以下、本発明の実施例について、図面を参照しつつ説明する。実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
【００１４】
図１は、本発明の実施例１に係る車両１００の周辺に形成される撮像範囲を示す斜視図である。車両１００の前方部分、例えばバンパー、ボンネット等には、前方撮像部１２が設置される。前方撮像部１２は、前方撮像部１２から前方に向かうように前方撮像領域２０を形成し、前方撮像領域２０において映像を撮像する。車両１００の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部１４が設置される。左側方撮像部１４は、左側方撮像部１４から左方に向かうように左側方撮像領域２２を形成し、左側方撮像領域２２において映像を撮像する。
【００１５】
車両１００の後方部分、例えば、バンパー、トランク等には、後方撮像部１６が設置される。後方撮像部１６は、後方撮像部１６から後方に向かうように後方撮像領域２４を形成し、後方撮像領域２４において映像を撮像する。左側方撮像部１４と左右対称になるように、車両１００の右側部分には、図示しない右側方撮像部１８が設置される。右側方撮像部１８は、右側方撮像部１８から右方に向かうように、右側方撮像領域２６を形成し、右側方撮像領域２６において映像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６および右側方撮像部１８を撮像部１０とし、撮像部１０において撮像した映像によって、車両１００の周辺が撮像される。
【００１６】
図２は、車両１００に搭載されるセンサを示す。車両１００には、前方センサ１１２、左側方センサ１１４、後方センサ１１６、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６が配置される。左前方センサ１２０、前方センサ１１２、右前方センサ１２２は車両１００の前方部分に設置される。ここで、左前方センサ１２０は左側に配置され、前方センサ１１２は中央に配置され、右前方センサ１２２は右側に配置される。また、左側方センサ１１４は車両１００の左側部分に配置され、右側方センサ１１８は車両１００の右側部分に配置される。左後方センサ１２４、後方センサ１１６、右後方センサ１２６は車両１００の後方部分に設置される。ここで、左後方センサ１２４は左側に配置され、後方センサ１１６は中央に配置され、右後方センサ１２６は右側に配置される。
【００１７】
図３は、車両１００に搭載される車両用表示装置３０の構成を示す。車両用表示装置３０は、撮像部１０、表示部５０、センサ１１０に接続される。撮像部１０は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８を含み、センサ１１０は、前方センサ１１２、左側方センサ１１４、後方センサ１１６、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６を含む。車両用表示装置３０は、映像取得部３２、生成部３４、映像処理部４０、表示制御部４２、走行状況取得部４４、路面形状取得部４６、路面形状判定部４８を含む。
【００１８】
前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、前述のごとく、映像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、映像を映像取得部３２に出力する。映像取得部３２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから映像を取得する。つまり、映像取得部３２は、車両１００の周辺を撮像した映像を取得する。映像取得部３２は、取得した映像を生成部３４に出力する。
【００１９】
生成部３４は、映像取得部３２からの映像を入力する。生成部３４は、映像に対して、車両１００の上方から見たように視点を変換する処理を行うことによって俯瞰映像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に映像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した映像に相当する。
【００２０】
図４は、生成部３４において生成される俯瞰映像７８を示す。俯瞰映像７８の中央部分には、車両１００を示す画像である自車アイコン８０が配置される。自車アイコン８０は、車両１００を上方から見た画像であり、かつ俯瞰映像７８における車両１００のサイズを有する。自車アイコン８０の前方には前方画像７０が配置され、自車アイコン８０の左側方には左側方画像７２が配置され、車両１００の後方には後方画像７４が配置され、車両１００の右側方には右側方画像７６が配置される。図３に戻る。生成部３４は、俯瞰映像７８を映像処理部４０に出力する。
【００２１】
走行状況取得部４４は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を介してＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）から、走行状況に関する情報を取得する。走行状況に関する情報は、例えば、車両１００の走行速度の情報である。走行状況取得部４４は、走行状況に関する情報を路面形状取得部４６に出力する。
【００２２】
前方センサ１１２、左側方センサ１１４、後方センサ１１６、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６は、センサ１１０としてまとめられる。センサ１１０には、赤外線レーザ光を用いたセンサ、超音波を用いたセンサなどの既存技術が適用可能である。センサ１１０に赤外線レーザ光を使用する場合、赤外線レーザ光を走査ミラー等により所定範囲を走査させ、反射してきたレーザ光の位相差により、路面との距離を取得する。また、センサ１１０に超音波を使用する場合、超音波パルスを所定範囲に出力し、反射波との時間差により、路面との距離を取得する。
【００２３】
図５は、前方センサ１１２の配置を示す。前方センサ１１２は進行方向に穴や崖が存在するか否かを検出するために使用される。前方センサ１１２は、路面９０から「Ａ１」の高さに配置され、車両１００から「Ｂ１」離れた先を主として検出するように配置される。例えば、前方センサ１１２は車両１００の前端部におけるボンネットに近い位置に配置される。また、「Ｂ１」は２ｍに設定される。図示のごとく、車両１００から「Ｂ１」離れた先に、幅「ｔ」の溝９２が存在する場合、溝９２の壁面が検出される。図２の左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、後方センサ１１６、右後方センサ１２６も同様に配置される。左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６は、車両１００が曲がった先に穴や崖が存在するか否かを検出するために使用される。
【００２４】
図６は、左側方センサ１１４の配置を示す。左側方センサ１１４は、車両１００の左側に穴や崖が存在するか否かを検出するために使用される。左側方センサ１１４は、車両１００の乗員が車両１００の左側から降車する位置に穴や崖が存在するか否かを検出するためにも使用される。左側方センサ１１４は、路面９０から「Ａ２」の高さに配置され、車両１００から「Ｂ２」離れた先を主として検出するように配置される。例えば、左側方センサ１１４はドアの上あるいはドアミラーに配置される。また、「Ｂ２」は１０ｃｍに設定される。図示のごとく、車両１００から「Ｂ２」離れた先に、幅「ｔ」の溝９２が存在する場合、溝９２の底面が検出される。このように、左側方センサ１１４の配置される位置が高いほど、溝９２の深さが検出されやすくなる。図３に戻る。センサ１１０は、検出結果を路面形状取得部４６に出力する。
【００２５】
路面形状取得部４６は、センサ１１０からの検出結果を入力する。路面形状取得部４６は、センサ１１０からの検出結果を分析することによって、車両１００の周辺の路面形状を示すデータを取得する。路面形状を示すデータには、検出範囲の位置情報とセンサ１１０からの距離情報が含まれる。具体的に説明すると、路面形状取得部４６は、路面形状を取得可能な範囲において、車両１００の車体から路面までの距離を取得することによって路面形状を取得する。図７は、路面形状取得部４６における処理の概要を示す。ここでは、説明を明瞭にするために、センサ１１０として左側方センサ１１４を示し、左側方センサ１１４による車両１００の左右方向に対する路面形状の取得のみを例示する。なお、実際には、左側方センサ１１４による車両１００の前後方向に対する路面形状の取得も実行されており、左右方向に対して取得された路面形状と、前後方向に対して取得された路面形状とが組み合わされる。
【００２６】
車両１００の左側ドアミラーには、左側方撮像部１４、左側方センサ１１４が取りつけられる。左側方撮像部１４は左側方撮像領域２２において映像を撮像し、左側方センサ１１４は左側方検出領域１３０において距離を測定する。左側方検出領域１３０は、左側方センサ１１４によって路面形状を取得可能な範囲であり、それは、ポイントＰ１からポイントＰ２までのエリア「ＰＡ」として示される。また、エリア「ＰＡ」に含まれた中間ポイントしてポイントＰ３、ポイントＰ４が示される。なお、中間ポイントは、ポイントＰ３、ポイントＰ４に限定されない。さらに、ポイントＰ１に対する距離Ｌ１、ポイントＰ２に対する距離Ｌ２、ポイントＰ３に対する距離Ｌ３、ポイントＰ４に対する距離Ｌ４がそれぞれ示される。このような状況下において、路面形状を示すデータには、ポイントＰ１と距離Ｌ１との組合せ、ポイントＰ２と距離Ｌ２との組合せ、ポイントＰ３と距離Ｌ３との組合せ、ポイントＰ４と距離Ｌ４との組合せが含まれる。
【００２７】
図８は、路面形状取得部４６における別の処理の概要を示す。ここでは、路面９０から「ｈ」低くなる低段差部９４が存在する。図示のごとく、ポイントＰ１に対する距離Ｌ１’、ポイントＰ２に対する距離Ｌ２’、ポイントＰ３に対する距離Ｌ３’、ポイントＰ４に対する距離Ｌ４’がそれぞれ示される。そのため、路面形状を示すデータには、ポイントＰ１と距離Ｌ１’との組合せ、ポイントＰ２と距離Ｌ２’との組合せ、ポイントＰ３と距離Ｌ３’との組合せ、ポイントＰ４と距離Ｌ４’との組合せが含まれる。このようなデータによって、図８のような路面形状が示される。
【００２８】
図９は、路面形状取得部４６におけるさらに別の処理の概要を示す。ここでは、路面９０から「ｈ」低くなる低段差部９４が存在する。なお、図９における「ｈ」は、図８における「ｈ」よりも大きいとする。つまり、図９における段差は、図８における段差よりも大きい。図示のごとく、ポイントＰ１に対する距離Ｌ１’’、ポイントＰ２に対する距離Ｌ２’’、ポイントＰ３に対する距離Ｌ３’’、ポイントＰ４に対する距離Ｌ４’’がそれぞれ示される。そのため、路面形状を示すデータには、ポイントＰ１と距離Ｌ１’’との組合せ、ポイントＰ２と距離Ｌ２’’との組合せ、ポイントＰ３と距離Ｌ３’’との組合せ、ポイントＰ４と距離Ｌ４’’との組合せが含まれる。このようなデータによって、図９のような路面形状が示される。図３に戻る。
【００２９】
路面形状取得部４６は、走行状況に関する情報を走行状況取得部４４から入力する。路面形状取得部４６は、走行状況が所定速度未満での走行または停止である場合に、前述のごとく、路面形状を示すデータを取得する。これは、車両１００の周辺に対する路面形状を取得することに相当する。一方、路面形状取得部４６は、走行状況が所定速度よりも高速な走行である場合に、路面形状を示すデータを取得しない。路面形状取得部４６は、路面形状を示すデータを取得した場合、路面形状を示すデータを路面形状判定部４８に出力する。
【００３０】
路面形状判定部４８は、路面形状を示すデータを路面形状取得部４６から入力する。路面形状判定部４８は、路面形状取得部４６から入力したデータにおいて示された路面形状をもとに、注意を要する路面形状が存在するか否かを判定する。注意を要する路面形状とは、例えば、所定以上の幅を有する溝９２、所定以上の高低差のある段差である。なお、溝９２は、幅が大きくなると、下り段差と同一である。ここで、注意を要する路面形状が存在するか否かを判定するために、路面形状判定部４８は、路面形状において注意を要する路面形状の基準パターンをテーブルとして記憶する。
【００３１】
図１０は、路面形状判定部４８において記憶されるテーブルのデータ構造を示す。隣接したポイント間の距離の差異がしきい値以上である場合に、路面９０に段差が存在すると認識される。また、そのときの差異が高さｈとして取得される。この高さｈは、路面形状が下り段差あるいは上り段差である場合のパラメータとされる。また、路面形状が溝９２であれば、溝幅ｔがパラメータとされる。なお、隣接したポイント間における距離Ｌの差異がしきい値よりも小さい場合に、路面９０が平面あるいはスロープであると認識される。その場合、路面形状判定部４８での処理は実行されない。このように、距離Ｌが離散的に変化している場合に段差が存在し、距離Ｌが連続的に変化している場合に段差が存在しないと認識される。
【００３２】
パラメータの値に応じて、「安全」、「注意走行」、「走行不可」が規定される。「安全」、「注意走行」、「走行不可」に対するパラメータの値の範囲は、車両１００の形状、特に最低地上高やタイヤ幅等をもとに定められる。このように、路面形状判定部４８は、注意を要する路面形状として、車両１００の走行が困難となる高低差のある路面形状が存在するか否かを判定する。特に、路面形状判定部４８は、車両１００の走行が困難となる高低差のある路面形状として、車両１００から離れると低くなる段差形状が存在するか否かを判定する。図３に戻る。
【００３３】
路面形状判定部４８は、図１０に示したテーブルを参照し、路面形状取得部４６から入力したデータにおいて示された路面形状をもとに、「安全」、「注意走行」、「走行不可」のいずれかを特定する。その際、路面形状判定部４８は、「安全」、「注意走行」、「走行不可」のいずれかを特定した段差あるいは溝９２の位置情報も特定する。路面形状判定部４８は、「安全」、「注意走行」、「走行不可」のいずれかを特定した情報（以下、「特定結果」という）と、特定した段差あるいは溝９２の位置情報とを映像処理部４０に出力する。
【００３４】
映像処理部４０は、生成部３４から俯瞰映像７８を入力するとともに、路面形状判定部４８から特定結果および位置情報を入力する。特定結果が「注意走行」あるいは「走行不可」である場合、つまり注意を要する路面形状が存在すると判定された場合、映像処理部４０は、注意を要する路面形状を示す画像を俯瞰映像７８に重畳させる。図１１は、映像処理部４０において生成される俯瞰映像７８を示す。これは、特定結果が「注意走行」である場合に相当する。映像処理部４０は、俯瞰映像７８における一部の領域であって、かつ位置情報を含むような領域に示すべき注意走行通知画像８２を生成する。注意走行通知画像８２は、「注意走行」を知らせるための画像である。映像処理部４０は、俯瞰映像７８における当該領域に注意走行通知画像８２を重畳する。ここでは、自車アイコン８０の右側に注意走行通知画像８２が配置される。
【００３５】
図１２は、映像処理部４０において生成される別の俯瞰映像７８を示す。これは、特定結果が「走行不可」である場合に相当する。映像処理部４０は、俯瞰映像７８における一部の領域であって、かつ位置情報を含むような領域に示すべき走行不可通知画像８４を生成する。走行不可通知画像８４は、「走行不可」を知らせるための画像である。映像処理部４０は、俯瞰映像７８における当該領域に走行不可通知画像８４を重畳する。ここでは、自車アイコン８０の右側に走行不可通知画像８４が配置される。図３に戻る。映像処理部４０は、注意走行通知画像８２あるいは走行不可通知画像８４を重畳した俯瞰映像７８、あるいは注意走行通知画像８２および走行不可通知画像８４を重畳していない俯瞰映像７８を表示制御部４２に出力する。
【００３６】
表示制御部４２は、映像処理部４０からの俯瞰映像７８を入力する。表示制御部４２は、俯瞰映像７８を表示する処理を実行することによって、俯瞰映像７８を表示部５０に表示させる。表示部５０は、例えば、表示パネルである。注意走行通知画像８２あるいは走行不可通知画像８４が俯瞰映像７８に重畳されている場合、表示部５０には、図１１あるいは図１２のような俯瞰映像７８が表示される。
【００３７】
以下では、映像処理部４０において画像が重畳される俯瞰映像７８のさまざまな例を説明する。図１３は、映像処理部４０において生成されるさらに別の俯瞰映像７８を示す。ここで、車両１００は前進している。俯瞰映像７８には、左前方通知画像１５０、前方通知画像１５２、右前方通知画像１５４、左後方通知画像１５６、後方通知画像１５８、右後方通知画像１６０が示される。ここで、左前方通知画像１５０、前方通知画像１５２、右前方通知画像１５４は、自車アイコン８０の前方に配置され、左後方通知画像１５６、後方通知画像１５８、右後方通知画像１６０は、自車アイコン８０の後方に配置される。
【００３８】
左前方通知画像１５０は、左前方センサ１２０の検出結果が「段差なし」、「段差あり」、「崖」のいずれかであるかを示すための画像である。ここで、「段差あり」とは前述の「走行不可」に相当し、「段差なし」とは前述の「注意走行」あるいは「安全」に相当し、「崖」とは、前述の「段差あり」の場合のうち、高さｈが「３０ｃｍ」以上である場合に相当する。また、「崖」にはセンサ１１０が動作していない場合も含まれる。
【００３９】
前方通知画像１５２、右前方通知画像１５４、左後方通知画像１５６、後方通知画像１５８、右後方通知画像１６０は、前方センサ１１２、右前方センサ１２２、左後方センサ１２４、後方センサ１１６、右後方センサ１２６に対して同様に示される。ここでは、一例として、左前方通知画像１５０が「段差なし」を示し、前方通知画像１５２が「段差あり」を示し、右前方通知画像１５４から右後方通知画像１６０が「崖」を示す。車両１００が前進している場合、後方を検出するための左後方センサ１２４、後方センサ１１６、右後方センサ１２６が動作していなければ、左後方通知画像１５６から右後方通知画像１６０も「崖」を示す。
【００４０】
図１４は、映像処理部４０において生成されるさらに別の俯瞰映像７８を示す。例えば、車両１００の速度が時速４〜５ｋｍ以下になった場合、俯瞰映像７８には、図１３の左前方通知画像１５０等の代わりに、左側方通知画像１６２、右側方通知画像１６４が配置される。ここで、左側方通知画像１６２は自車アイコン８０の左方に配置され、右側方通知画像１６４は自車アイコン８０の右方に配置される。左側方通知画像１６２は、左側方センサ１１４の検出結果が「段差なし」、「段差あり」、「崖」のいずれかであるかを示すための画像である。右側方通知画像１６４は、右側方センサ１１８に対して同様に示される。ここでは、一例として、左側方通知画像１６２が「崖」を示し、右側方通知画像１６４が「段差あり」を示す。
【００４１】
図１５は、映像処理部４０において生成されるさらに別の俯瞰映像７８を示す。これは、左前方通知画像１５０から右後方通知画像１６０と、左側方通知画像１６２、右側方通知画像１６４が示される場合に相当する。これは、図１３と同様の状況において表示される。
【００４２】
図１６（ａ）−（ｂ）は、映像処理部４０において生成される映像を示す。これまで、映像処理部４０は、注意を要する路面形状を示す画像を俯瞰映像７８に重畳している。一方、ここでは、注意を要する路面形状を示す画像が、撮像部１０において撮像された映像に重畳される。図１６（ａ）では、前方撮像部１２において撮像された前方映像１７０に左前方通知画像１５０、前方通知画像１５２、右前方通知画像１５４が配置される。左前方通知画像１５０、前方通知画像１５２、右前方通知画像１５４はこれまでと同様である。図１６（ｂ）では、後方撮像部１６において撮像された後方映像１７２に後方通知画像１５８が配置される。後方通知画像１５８はこれまでと同様である。
【００４３】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００４４】
以上の構成による車両用表示装置３０の動作を説明する。図１７は、車両用表示装置３０による表示手順を示すフローチャートである。生成部３４は、俯瞰映像７８を生成する（Ｓ１０）。所定速度未満での走行または停止である場合（Ｓ１２のＹ）、路面形状取得部４６は、路面形状を取得する（Ｓ１４）。注意を要する路面形状が存在する場合（Ｓ１６のＹ）、映像処理部４０は、画像を俯瞰映像７８に重畳する（Ｓ１８）。表示部５０は、俯瞰映像７８を表示する（Ｓ２０）。所定速度未満での走行または停止でない場合（Ｓ１２のＮ）、あるいは注意を要する路面形状が存在しない場合（Ｓ１６のＮ）、ステップ２０までスキップされる。
【００４５】
本実施例によれば、注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させるので、注意を要する路面形状を知らせることができる。また、注意を要する路面形状が知らされるので、俯瞰映像においても段差の有無の把握できる。また、路面形状を取得可能な範囲において、車両の車体から路面までの距離を取得することによって路面形状を取得するので、センサにおいて測定した距離を利用できる。
【００４６】
また、取得した走行状況が所定速度未満での走行または停止である場合に、車両の周辺に対する路面形状を取得するので、車両から近距離に存在する段差あるいは崖を通知できる。また、注意を要する路面形状として、前記車両の走行が困難となる高低差のある路面形状が存在するか否かを判定するので、俯瞰映像には示されにくい段差を検出できる。また、車両から離れると低くなる段差形状が存在するか否かを判定するので、俯瞰映像において特に示されにくい段差の存在を通知できる。
【００４７】
（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、段差の有無が示された俯瞰映像を表示する車両用表示装置に関する。実施例２では、特に、車両のドア開時に注意を要する高低差のある路面形状が存在する場合を説明の対象にする。実施例２に係る車両１００は、図１、図２と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
【００４８】
図１８は、本発明の実施例２に係る車両用表示装置３０の構成を示す。車両用表示装置３０では、図３の車両用表示装置３０に対して着座情報取得部５２が追加される。着座情報取得部５２は、車両１００における複数の座席のそれぞれに配置された着座センサ（図示せず）に接続され、各着座センサからの検出結果を受けつける。着座センサには公知の技術が使用されればよい。着座センサからの検出結果は、座席に乗員が座っているか否かを示しており、着座有無情報といえる。このような着座有無情報により、着座情報取得部５２は、乗員が着座している座席を特定する。着座情報取得部５２は、乗員が着座している座席に関する情報を路面形状判定部４８に出力する。
【００４９】
路面形状取得部４６は、これまでと同様に、センサ１１０からの検出結果を分析することによって、車両１００の周辺の路面形状を示すデータを取得する。しかしながら、説明の前提となる路面形状がこれまでと異なる。図１９は、路面形状取得部４６における処理の概要を示す。ここでは、路面９０から「ｈ」高くなる高段差部９６が存在する。また、ドア開閉時の下端ライン１３２は、車両１００のドアが開閉する際にドアの下端が通過するラインを示す。
【００５０】
図示のごとく、ポイントＰ１に対する距離Ｌ１’’’、ポイントＰ２に対する距離Ｌ２’’’、ポイントＰ３に対する距離Ｌ３’’’、ポイントＰ４に対する距離Ｌ４’’’がそれぞれ示される。そのため、路面形状を示すデータには、ポイントＰ１と距離Ｌ１’’’との組合せ、ポイントＰ２と距離Ｌ２’’’との組合せ、ポイントＰ３と距離Ｌ３’’’との組合せ、ポイントＰ４と距離Ｌ４’’’との組合せが含まれる。このようなデータによって、図１９のような路面形状が示される。図１８に戻る。路面形状取得部４６は、路面形状を示すデータを取得した場合、路面形状を示すデータを路面形状判定部４８に出力する。
【００５１】
路面形状判定部４８は、路面形状を示すデータを路面形状取得部４６から入力する。また、路面形状判定部４８は、乗員が着座している座席に関する情報を着座情報取得部５２から入力する。路面形状判定部４８は、路面形状取得部４６から入力したデータにおいて示された路面形状をもとに、注意を要する路面形状として、車両１００のドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定する。特に、路面形状判定部４８は、車両１００のドアのうち、着座情報取得部５２が取得した着座のあるドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定する。これまでと同様に、注意を要する路面形状が存在するか否かを判定するために、路面形状判定部４８は、路面形状において注意を要する路面形状の基準パターンをテーブルとして記憶する。
【００５２】
図２０は、路面形状判定部４８において記憶されるテーブルのデータ構造を示す。路面形状が上り段差である場合、高さｈがパラメータとされる。また、パラメータの値に応じて、「安全」、「ドア開注意」、「ドア開不可」が規定される。ここで、ドアに対応する座席に、大人（例；体重７０〜１００ｋｇ）が着座している場合の地上高に対するドア開閉時の下端ライン１３２から５〜１０ｃｍ程度差し引いた値に近づく場合が「ドア開注意」に相当する。図１８に戻る。
【００５３】
路面形状判定部４８は、図２０に示したテーブルを参照し、路面形状取得部４６から入力したデータにおいて示された路面形状をもとに、乗員が着座した座席に近いドアに対して「安全」、「ドア開注意」、「ドア開不可」のいずれかを特定する。路面形状判定部４８は、「安全」、「ドア開注意」、「ドア開不可」のいずれかを特定した情報（以下、「特定結果」という）と、ドアの情報とを映像処理部４０に出力する。
【００５４】
映像処理部４０は、生成部３４から俯瞰映像７８を入力するとともに、路面形状判定部４８から特定結果およびドアの情報を入力する。特定結果が「ドア開注意」あるいは「ドア開不可」である場合、つまり注意を要する路面形状が存在すると判定された場合、映像処理部４０は、注意を要する路面形状を示す画像を俯瞰映像７８に重畳させる。図２１は、映像処理部４０において生成される俯瞰映像７８を示す。これは、特定結果が「ドア開注意」であり、かつ特定したドアの情報において、車両１００の右側のドアが示されている場合に相当する。映像処理部４０は、俯瞰映像７８における自車アイコン８０の右側のドアに重なる領域に示すべきドア開注意通知画像８６を生成する。ドア開注意通知画像８６は、「ドア開注意」を知らせるための画像である。映像処理部４０は、俯瞰映像７８における自車アイコン８０の右側のドアにドア開注意通知画像８６を重畳する。なお、ドアの情報において、右側かつ前側のドアが示されている場合、映像処理部４０は、自車アイコン８０の右側かつ前側のドアだけにドア開注意通知画像８６を重畳してもよい。
【００５５】
図２２は、映像処理部４０において生成される別の俯瞰映像７８を示す。これは、特定結果が「ドア開不可」である場合に相当する。映像処理部４０は、俯瞰映像７８における自車アイコン８０の右側のドアに重なる領域に示すべきドア開不可通知画像８８を生成する。ドア開不可通知画像８８は、「ドア開不可」を知らせるための画像である。映像処理部４０は、俯瞰映像７８における自車アイコン８０の右側のドアにドア開不可通知画像８８を重畳する。なお、ドアの情報において、右側かつ前側のドアが示されている場合、映像処理部４０は、自車アイコン８０の右側かつ前側のドアだけにドア開不可通知画像８８を重畳してもよい。図１８に戻る。映像処理部４０は、ドア開注意通知画像８６あるいはドア開不可通知画像８８を重畳した俯瞰映像７８、あるいはドア開注意通知画像８６およびドア開不可通知画像８８を重畳していない俯瞰映像７８を表示制御部４２に出力する。
【００５６】
本実施例によれば、車両のドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定するので、俯瞰映像では示されにくい路面形状を通知できる。また、車両のドアの開動作が困難となる高低差のある路面形状が画像として重畳されるので、ドアを段差にぶつける可能性を低減できる。また、着座のあるドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定するので、開かれる可能性の高いドアに対して画像を表示できる。また、開かれる可能性の高いドアに対して画像が表示されるので、俯瞰映像に重畳される画像の面積が広くなりすぎる状況の発生を抑制できる。
【００５７】
以上、実施例をもとに本発明を説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５８】
実施例１と２の組合せも有効である。本変形例によれば、実施例１と２を組み合わせた効果を得ることができる。
【符号の説明】
【００５９】
１０  撮像部、  １２  前方撮像部、  １４  左側方撮像部、  １６  後方撮像部、  １８  右側方撮像部、  ３０  車両用表示装置、  ３２  映像取得部、  ３４  生成部、  ４０  映像処理部、  ４２  表示制御部、  ４４  走行状況取得部、  ４６  路面形状取得部、  ４８  路面形状判定部、  ５０  表示部、  １００  車両、  １１０  センサ、  １１２  前方センサ、  １１４  左側方センサ、  １１６  後方センサ、  １１８  右側方センサ、  １２０  左前方センサ、  １２２  右前方センサ、  １２４  左後方センサ、  １２６  右後方センサ。
【図１】
0006720683.tif 000002
【図２】
0006720683.tif 000003
【図３】
0006720683.tif 000004
【図４】
0006720683.tif 000005
【図５】
0006720683.tif 000006
【図６】
0006720683.tif 000007
【図７】
0006720683.tif 000008
【図８】
0006720683.tif 000009
【図９】
0006720683.tif 000010
【図１０】
0006720683.tif 000011
【図１１】
0006720683.tif 000012
【図１２】
0006720683.tif 000013
【図１３】
0006720683.tif 000014
【図１４】
0006720683.tif 000015
【図１５】
0006720683.tif 000016
【図１６】
0006720683.tif 000017
【図１７】
0006720683.tif 000018
【図１８】
0006720683.tif 000019
【図１９】
0006720683.tif 000020
【図２０】
0006720683.tif 000021
【図２１】
0006720683.tif 000022
【図２２】
0006720683.tif 000023