(57)【要約】【課題】俯瞰映像においても路面状態を把握する技術を提供する。【解決手段】映像取得部３２は、車両の周辺を撮像した映像を取得する。生成部３４は、取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成する。車両用表示装置３０は、車両の周辺における路面状態を取得する。路面状態判定部６２は、取得した路面状態をもとに、注意を要する路面状態が存在するか否かを判定する。停止判定部６４は、車両が停止した場合、あるいは車両の速度が所定速度未満になった場合を車両の停止状態と判定する。映像処理部４０は、車両の停止状態が判定され、かつ注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させる。表示制御部４２は、画像が重畳された俯瞰映像を表示部５０に表示させる。【選択図】図３
2018001822.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮像した映像を取得する映像取得部と、
前記映像取得部において取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成する生成部と、
前記車両の周辺における路面状態を取得する路面状態取得部と、
前記路面状態取得部が取得した路面状態をもとに、注意を要する路面状態が存在するか否かを判定する路面状態判定部と、
前記車両が停止した場合、あるいは前記車両の速度が所定速度未満になった場合を前記車両の停止状態と判定する停止判定部と、
前記停止判定部において前記車両の停止状態が判定され、かつ路面状態判定部において注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させる映像処理部と、
前記映像処理部において画像が重畳された俯瞰映像を表示部に表示させる表示制御部と、
を備えることを特徴とする車両用表示装置。
【請求項２】
前記路面状態判定部において注意を要する路面状態が存在すると判定された場合、注意を要する路面状態の位置と前記車両のドアとの位置関係をもとに、注意を要する路面状態の位置が前記車両のドアの近傍に存在しているか否かを判定する位置関係判定部をさらに備え、
前記生成部は、前記車両の位置を示す自車アイコンを俯瞰映像に付加し、
前記映像処理部は、前記位置関係判定部において、注意を要する路面状態の位置が前記車両のドアの近傍に存在していると判定された場合、俯瞰映像での前記自車アイコンにおける前記車両のドアの位置に、注意を要する路面状態を示す画像を重畳させることを特徴とする請求項１に記載の車両用表示装置。
【請求項３】
前記路面状態取得部は、路面状態として路面での超音波反射状態を取得し、
前記路面状態判定部は、前記路面状態取得部が取得した路面の超音波反射状態をもとに、路面が濡れているか否かを判定することを特徴とする請求項１または２に記載の車両用表示装置。
【請求項４】
前記路面状態取得部は、路面状態として俯瞰画像での濃淡の変化状態を取得し、
前記路面状態判定部は、前記路面状態取得部が取得した濃淡の変化状態をもとに、路面が濡れているか否かを判定することを特徴とする請求項１から３のいずれかに記載の車両用表示装置。
【請求項５】
前記車両における複数の座席に対する着座有無情報を取得する着座情報取得部をさらに備え、
前記映像処理部は、前記車両のドアのうち着座のある座席に対応するドアの位置に、注意を要する路面状態を示す画像を重畳させることを特徴とする請求項１から４のいずれかに記載の車両用表示装置。
【請求項６】
車両の周辺を撮像した映像を取得するステップと、
取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、
前記車両の周辺における路面状態を取得するステップと、
取得した路面状態をもとに、注意を要する路面状態が存在するか否かを判定するステップと、
前記車両が停止した場合、あるいは前記車両の速度が所定速度未満になった場合を前記車両の停止状態と判定するステップと、
前記車両の停止状態が判定され、かつ注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させるステップと、
画像が重畳された俯瞰映像を表示部に表示させるステップと、
を備えることを特徴とする車両用表示方法。
【請求項７】
車両の周辺を撮像した映像を取得するステップと、
取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、
前記車両の周辺における路面状態を取得するステップと、
取得した路面状態をもとに、注意を要する路面状態が存在するか否かを判定するステップと、
前記車両が停止した場合、あるいは前記車両の速度が所定速度未満になった場合を前記車両の停止状態と判定するステップと、
前記車両の停止状態が判定され、かつ注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させるステップと、
画像が重畳された俯瞰映像を表示部に表示させるステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用表示技術に関し、特に映像を表示する車両用表示装置および車両用表示方法およびプログラムに関する。
【背景技術】
【０００２】
自車両のフロントガラスに、周囲に存在する他車両への注意を喚起するための表示像が表示されると、自車両の運転者が周囲に存在する物体を認識しやすくなる。フロントガラスに表示される表示像と横断歩道の白線が重複した場合、白線で表示された横断歩道は光の反射により輝度が高くなっているので、そこに表示像を表示しても、運転者は表示像を見にくい。そのため、表示像の表示領域と高輝度領域の視認領域が重複する場合、表示領域が変更される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２１１１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の四方に設置された撮像部によって撮像された映像が、車両の上方から見下ろすように視点変換処理されることによって、俯瞰映像が生成される。俯瞰映像を表示する場合において、路面状態が悪い部分を運転者に注意喚起することが望まれる。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、俯瞰映像においても路面状態を把握する技術を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の車両用表示装置は、車両の周辺を撮像した映像を取得する映像取得部と、映像取得部において取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成する生成部と、車両の周辺における路面状態を取得する路面状態取得部と、路面状態取得部が取得した路面状態をもとに、注意を要する路面状態が存在するか否かを判定する路面状態判定部と、車両が停止した場合、あるいは車両の速度が所定速度未満になった場合を車両の停止状態と判定する停止判定部と、停止判定部において車両の停止状態が判定され、かつ路面状態判定部において注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させる映像処理部と、映像処理部において画像が重畳された俯瞰映像を表示部に表示させる表示制御部と、を備える。
【０００７】
本発明の別の態様は、車両用表示方法である。この方法は、車両の周辺を撮像した映像を取得するステップと、取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、車両の周辺における路面状態を取得するステップと、取得した路面状態をもとに、注意を要する路面状態が存在するか否かを判定するステップと、車両が停止した場合、あるいは車両の速度が所定速度未満になった場合を車両の停止状態と判定するステップと、車両の停止状態が判定され、かつ注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させるステップと、画像が重畳された俯瞰映像を表示部に表示させるステップと、を備える。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、俯瞰映像においても路面状態を把握できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１に係る車両の周辺に形成される撮像範囲を示す斜視図である。
【図２】図１の車両に搭載されるセンサを示す図である。
【図３】図１の車両に搭載される車両用表示装置の構成を示す図である。
【図４】図３の生成部において生成される俯瞰映像を示す図である。
【図５】図３の左前方センサの配置を示す図である。
【図６】図３の左側方センサの配置を示す図である。
【図７】図３の映像処理部において生成される俯瞰映像を示す図である。
【図８】図３の映像処理部において生成される別の俯瞰映像を示す図である。
【図９】図３の映像処理部において生成されるさらに別の俯瞰映像を示す図である。
【図１０】図３の映像処理部において生成される映像を示す図である。
【図１１】図３の車両用表示装置による表示手順を示すフローチャートである。
【図１２】本発明の実施例２に係る車両用表示装置の構成を示す図である。
【発明を実施するための形態】
【００１１】
（実施例１）
本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例１は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰映像を生成し、生成した俯瞰映像を表示する車両用表示装置に関する。俯瞰映像を利用することによって、運転者は、車両の周囲の状況を把握しやすい。そのため、車両を停車させる場合に、周囲の障害物との接触が防止されやすくなる。一方、車両の周囲の状況には、周囲の障害物の存在の他に、路面状態も含まれる。路面状態では、例えば、路面が乾いているか、あるいは濡れているかが示される。ここで、車両のドアを開いた位置に水たまりが存在する場合、降車した運転者の靴や衣服が濡れるおそれがある。そのため、路面状態についても運転者等に注意喚起されることが望まれる。
【００１２】
これに対応するために、本実施例に係る車両用表示装置は、次の処理を実行する。車両には複数の超音波センサが設置される。超音波センサでは、送信器が超音波を路面に向かって送信し、その反射波を受信器が受信する。ここで、路面が濡れている場合の反射波の強度は、路面が乾いている場合の反射波の強度よりも小さい。そのため、車両用表示装置は、反射波の強度を測定することによって、路面が乾いているか、あるいは濡れているかを判定し、判定結果に対応した画像を俯瞰映像に重畳して表示する。
【００１３】
以下、本発明の実施例について、図面を参照しつつ説明する。実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
【００１４】
図１は、本発明の実施例１に係る車両１００の周辺に形成される撮像範囲を示す斜視図である。車両１００の前方部分、例えばバンパー、ボンネット等には、前方撮像部１２が設置される。前方撮像部１２は、前方撮像部１２から前方に向かうように前方撮像領域２０を形成し、前方撮像領域２０において映像を撮像する。車両１００の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部１４が設置される。左側方撮像部１４は、左側方撮像部１４から左方に向かうように左側方撮像領域２２を形成し、左側方撮像領域２２において映像を撮像する。
【００１５】
車両１００の後方部分、例えば、バンパー、トランク等には、後方撮像部１６が設置される。後方撮像部１６は、後方撮像部１６から後方に向かうように後方撮像領域２４を形成し、後方撮像領域２４において映像を撮像する。左側方撮像部１４と左右対称になるように、車両１００の右側部分には、図示しない右側方撮像部１８が設置される。右側方撮像部１８は、右側方撮像部１８から右方に向かうように、右側方撮像領域２６を形成し、右側方撮像領域２６において映像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６および右側方撮像部１８を撮像部１０とし、撮像部１０において撮像した映像によって、車両１００の周辺が撮像される。
【００１６】
図２は、車両１００に搭載されるセンサを示す。車両１００には、左側方センサ１１４、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６が配置される。左前方センサ１２０、右前方センサ１２２は車両１００の前方部分に設置される。ここで、左前方センサ１２０は左側に配置され、右前方センサ１２２は右側に配置される。また、左側方センサ１１４は車両１００の左側部分に配置され、右側方センサ１１８は車両１００の右側部分に配置される。左後方センサ１２４、右後方センサ１２６は車両１００の後方部分に設置される。ここで、左後方センサ１２４は左側に配置され、右後方センサ１２６は右側に配置される。
【００１７】
左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６は、車両１００のタイヤが移動する位置に水たまりが存在するかを検出するために配置される。左側方センサ１１４と右側方センサ１１８は、車両１００のドアの位置に配置される。なお、車両１００が４ドア車である場合、各ドアに対応するようにセンサが配置されてもよい。
【００１８】
図３は、車両１００に搭載される車両用表示装置３０の構成を示す。車両用表示装置３０は、撮像部１０、表示部５０、センサ１１０に接続される。撮像部１０は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８を含み、センサ１１０は、左側方センサ１１４、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６を含む。車両用表示装置３０は、映像取得部３２、生成部３４、映像処理部４０、表示制御部４２、路面状態取得部６０、路面状態判定部６２、停止判定部６４を含む。また、路面状態判定部６２は、位置関係判定部６６を含む。
【００１９】
前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、前述のごとく、映像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、映像を映像取得部３２に出力する。映像取得部３２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから映像を取得する。つまり、映像取得部３２は、車両１００の周辺を撮像した映像を取得する。映像取得部３２は、取得した映像を生成部３４に出力する。
【００２０】
生成部３４は、映像取得部３２からの映像を入力する。生成部３４は、映像に対して、車両１００の上方から見たように視点を変換する処理を行うことによって俯瞰映像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に映像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した映像に相当する。
【００２１】
図４は、生成部３４において生成される俯瞰映像７８を示す。俯瞰映像７８の中央部分には、車両１００を示す画像である自車アイコン８０が配置される。自車アイコン８０は、車両１００を上方から見た画像であり、かつ俯瞰映像７８における車両１００のサイズを有する。自車アイコン８０の前方には前方画像７０が配置され、自車アイコン８０の左側方には左側方画像７２が配置され、車両１００の後方には後方画像７４が配置され、車両１００の右側方には右側方画像７６が配置される。図３に戻る。生成部３４は、俯瞰映像７８を映像処理部４０に出力する。
【００２２】
左側方センサ１１４、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６は、センサ１１０としてまとめられる。センサ１１０には、例えば、超音波を用いたセンサなどの既存技術が適用可能である。センサ１１０に超音波を使用する場合、センサ１１０の送信器が超音波を所定範囲に送信し、所定範囲からの反射波をセンサ１１０の受信器が受信する。センサ１１０は、受信した反射波の強度を測定する。強度の測定には公知の技術が使用されればよいので、ここでは説明を省略する。
【００２３】
図５は、左前方センサ１２０の配置を示す。左前方センサ１２０は、進行方向に水たまり等が存在するか否かを検出するために使用される。左前方センサ１２０は、路面９０から「Ａ１」の高さに配置され、車両１００から「Ｂ１」離れた先を主として検出するように配置される。例えば、左前方センサ１２０は車両１００の前端の左側部におけるボンネットに近い位置に配置される。また、「Ｂ１」は２ｍに設定される。図２の右前方センサ１２２、左後方センサ１２４、右後方センサ１２６も同様に配置される。
【００２４】
図６は、左側方センサ１１４の配置を示す。左側方センサ１１４は、車両１００の乗員が車両１００の左側から降車する位置に水たまり等が存在するか否かを検出するために使用される。左側方センサ１１４は、路面９０から「Ａ２」の高さに配置され、車両１００から「Ｂ２」離れた先を主として検出するように配置される。例えば、左側方センサ１１４はドアの上あるいはドアミラーに配置される。また、「Ｂ２」は１０ｃｍに設定される。図３に戻る。センサ１１０は、測定した強度を路面状態取得部６０に出力する。
【００２５】
路面状態取得部６０は、センサ１１０から強度の情報を入力する。強度の情報は、路面９０での超音波反射状態に相当する。また、前述のごとく、強度が大きい場合に路面９０は乾いており、強度が小さい場合に路面９０は濡れているので、強度の情報は、車両１００の周辺における路面状態であるともいえる。路面状態取得部６０は、センサ１１０からの強度の情報を路面状態判定部６２に出力する。
【００２６】
路面状態判定部６２は、路面状態取得部６０から強度の情報を入力する。路面状態判定部６２は、強度の情報をもとに、路面９０が濡れているか否かを判定する。具体的に説明すると、路面状態判定部６２は、しきい値を予め保持しており、強度としきい値とを比較する。強度がしきい値よりも大きい場合、路面状態判定部６２は、路面９０が乾いていると判定する。一方、強度がしきい値以下である場合、路面状態判定部６２は、路面９０が濡れていると判定する。これは、センサ１１０として超音波センサを使用した場合、乾いた路面９０での反射よりも、濡れた路面９０での反射が弱いことにもとづく処理である。なお、濡れた路面９０には、水たまり、凍結が含まれる。ここで、路面９０が濡れていることとは、注意を要する路面状態が存在することに相当する。そのため、路面状態判定部６２は、路面状態、つまり超音波反射状態をもとに、注意を要する路面状態が存在するか否かを判定するといえる。
【００２７】
位置関係判定部６６は、路面状態判定部６２において、濡れた路面９０が存在すると判定された場合、濡れた路面９０の位置と車両１００のドアとの位置関係をもとに、濡れた路面９０の位置が車両１００のドアの近傍に存在しているか否かを判定する。左側方センサ１１４と右側方センサ１１８はドアの近傍に配置されており、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６はドアの近傍に配置されていない。そのため、位置関係判定部６６は、左側方センサ１１４あるいは右側方センサ１１８での強度に対して、濡れた路面９０が存在すると判定された場合、濡れた路面９０の位置が車両１００のドアの近傍に存在していると判定する。一方、位置関係判定部６６は、左前方センサ１２０から右後方センサ１２６のいずれかでの強度に対して、濡れた路面９０が存在すると判定された場合、濡れた路面９０の位置が車両１００のドアの近傍に存在していないと判定する。路面状態判定部６２と位置関係判定部６６は、判定結果を映像処理部４０に出力する。
【００２８】
停止判定部６４は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を介してＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）から、走行状況に関する情報を取得する。走行状況に関する情報は、例えば、車両１００の走行速度の情報である。停止判定部６４は、走行状況に関する情報をもとに、車両が停止した場合、あるいは車両の速度が所定速度未満になった場合を車両の停止状態と判定する。ここで、所定速度は、例えば、１０ｋｍ／ｈに設定される。停止判定部６４は、判定結果を映像処理部４０に出力する。
【００２９】
映像処理部４０は、路面状態判定部６２、位置関係判定部６６、停止判定部６４のそれぞれからの判定結果を入力する。映像処理部４０は、停止判定部６４において車両１００の停止状態が判定され、かつ路面状態判定部６２において濡れた路面９０が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像７８に重畳させる。特に、映像処理部４０は、位置関係判定部６６において、濡れた路面９０の位置が車両１００のドアの近傍に存在していると判定された場合、俯瞰映像７８での自車アイコン８０における車両１００のドアの位置に、注意を要する路面状態を示す画像を重畳させる。
【００３０】
図７は、映像処理部４０において生成される俯瞰映像７８を示す。これは、濡れた路面９０の位置が車両１００のドアの近傍に存在していないと判定され、かつ左前方センサ１２０での強度に対して、濡れた路面９０が存在すると判定された場合の俯瞰映像７８である。俯瞰映像７８には、左前方通知画像１５０、右前方通知画像１５４、左後方通知画像１５６、右後方通知画像１６０が示される。ここで、左前方通知画像１５０、右前方通知画像１５４は、自車アイコン８０の前方に配置され、左後方通知画像１５６、右後方通知画像１６０は、自車アイコン８０の後方に配置される。
【００３１】
左前方通知画像１５０は、左前方センサ１２０での強度に対して、「濡れた路面９０が存在する」あるいは「乾いた路面９０が存在する」を示すための画像である。「濡れた路面９０が存在する」場合、左前方通知画像１５０は「白色の無地」で示され、「乾いた路面９０が存在する」場合、左前方通知画像１５０は「網掛け模様」で示される。ここでは一例として前者である。このうちの「白色の無地」で示された場合の左前方通知画像１５０が、前述の注意を要する路面状態を示す画像に相当する。
【００３２】
右前方通知画像１５４、左後方通知画像１５６、右後方通知画像１６０は、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６に対して同様に示される。一例として、これらは「網掛け模様」で示されているので、「乾いた路面９０が存在する」場合に相当する。なお、車両１００が前進している場合、左後方通知画像１５６と右後方通知画像１６０での表示は必要ないので、左後方通知画像１５６と右後方通知画像１６０とが路面状態にかかわらず「網掛け模様」で示されてもよい。一方、車両１００が後進している場合、左前方通知画像１５０と右前方通知画像１５４での表示は必要ないので、左前方通知画像１５０と右前方通知画像１５４とが路面状態にかかわらず「網掛け模様」で示されてもよい。
【００３３】
図８は、映像処理部４０において生成される別の俯瞰映像７８を示す。これは、濡れた路面９０の位置が車両１００のドアの近傍に存在していると判定された場合の俯瞰映像７８である。俯瞰映像７８には、図７の左前方通知画像１５０等の代わりに、左側方通知画像１６２、右側方通知画像１６４が配置される。ここで、左側方通知画像１６２は自車アイコン８０の左方に配置され、右側方通知画像１６４は自車アイコン８０の右方に配置される。右側方通知画像１６４は、右側方センサ１１８での強度に対して、「濡れた路面９０が存在する」あるいは「乾いた路面９０が存在する」を示すための画像である。「濡れた路面９０が存在する」場合、右側方通知画像１６４は「白色の無地」で示され、「乾いた路面９０が存在する」場合、右側方通知画像１６４は「網掛け模様」で示される。
【００３４】
ここでは一例として前者である。このうちの「白色の無地」で示された場合の右側方通知画像１６４が、前述の注意を要する路面状態を示す画像に相当する。左側方通知画像１６２は、左側方センサ１１４に対して同様に示される。一例として、左側方通知画像１６２は「網掛け模様」で示されているので、「乾いた路面９０が存在する」場合に相当する。なお、左側方通知画像１６２と右側方通知画像１６４の表示は降車する場合に必要であるので、車両１００の速度が徐行以下になると、左側方通知画像１６２と右側方通知画像１６４の表示が開始されてもよい。
【００３５】
図９は、映像処理部４０において生成されるさらに別の俯瞰映像７８を示す。これは、左前方通知画像１５０から右後方通知画像１６０と、左側方通知画像１６２、右側方通知画像１６４が示される場合に相当する。また、車両１００の速度が徐行よりも速くなると、左側方センサ１１４と右側方センサ１１８のチルト角が、左前方センサ１２０等のチルト角と同様になるように変更される。
【００３６】
これまで、映像処理部４０は、注意を要する路面状態を示す画像を俯瞰映像７８に重畳している。一方、注意を要する路面状態を示す画像が、撮像部１０において撮像された映像に重畳されてもよい。図１０は、映像処理部４０において生成される映像を示す。ここでは、前方撮像部１２において撮像された前方映像１７０に左前方通知画像１５０、右前方通知画像１５４が配置される。左前方通知画像１５０、右前方通知画像１５４はこれまでと同様である。図３に戻る。
【００３７】
表示制御部４２は、映像処理部４０からの俯瞰映像７８を入力する。表示制御部４２は、俯瞰映像７８を表示する処理を実行することによって、俯瞰映像７８を表示部５０に表示させる。表示部５０は、例えば、表示パネルである。表示部５０には、図７から１０のいずれかのような俯瞰映像７８が表示される。
【００３８】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００３９】
以上の構成による車両用表示装置３０の動作を説明する。図１１は、車両用表示装置３０による表示手順を示すフローチャートである。生成部３４は、俯瞰映像７８を生成する（Ｓ１０）。路面状態取得部６０は、路面状態を取得する（Ｓ１２）。注意を要する路面状態が存在する場合（Ｓ１４のＹ）、停止判定部６４が停止状態を判定すれば（Ｓ１６のＹ）、映像処理部４０は、画像を俯瞰映像７８に重畳する（Ｓ１８）。注意を要する路面状態が存在しない場合（Ｓ１４のＮ）、あるいは停止判定部６４が停止状態を判定しない場合（Ｓ１６のＮ）、ステップ１８はスキップされる。表示部５０は、俯瞰映像７８を表示する（Ｓ２０）。
【００４０】
本実施例によれば、注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させるので、注意を要する路面状態を知らせることができる。また、注意を要する路面状態が知らされるので、俯瞰映像においても路面が濡れているか否かを把握できる。また、停止状態が判定され、かつ注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させるので、降車しようとしている運転者等に対して、俯瞰映像においても路面状態を把握させることができる。
【００４１】
また、注意を要する路面状態の位置がドアの近傍に存在していると判定された場合、俯瞰映像での自車アイコンにおけるドアの位置に画像を重畳させるので、降車しようとしている運転者等に対して、俯瞰映像においても路面状態を把握させることができる。また、路面での超音波反射状態をもとに、路面が濡れているか否かを判定するので、路面状態を特定できる。また、送信した超音波に対する反射波の強度をしきい値と比較するので、路面が濡れているか否かを判定できる。
【００４２】
（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、路面状態が示された俯瞰映像を表示する車両用表示装置に関する。実施例２では、特に、車両のドア開時に注意を要する路面状態が存在する場合を説明の対象にする。実施例２に係る車両１００は、図１、図２と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
【００４３】
図１２は、本発明の実施例２に係る車両用表示装置３０の構成を示す。車両用表示装置３０では、図３の車両用表示装置３０に対して着座情報取得部５２が追加される。着座情報取得部５２は、車両１００における複数の座席のそれぞれに配置された着座センサ（図示せず）に接続され、各着座センサからの検出結果を受けつける。着座センサには公知の技術が使用されればよい。着座センサからの検出結果は、座席に乗員が座っているか否かを示しており、着座有無情報といえる。このような着座有無情報により、着座情報取得部５２は、乗員が着座している座席を特定する。着座情報取得部５２は、乗員が着座している座席に関する情報を映像処理部４０に出力する。
【００４４】
映像処理部４０は、着座情報取得部５２から、乗員が着座している座席に関する情報を入力する。映像処理部４０は、情報をもとに、車両１００のドアのうち着座のある座席に対応するドアを特定する。また、映像処理部４０は、特定したドアの位置に、注意を要する路面状態を示す画像を重畳させる。例えば、特定したドアの位置が車両１００の右側のドアである場合、映像処理部４０は、右側方通知画像１６４だけを表示し、左側方通知画像１６２を表示しない。さらに、前述のごとく、右側方通知画像１６４が「白色の無地」で示された場合、注意を要する路面状態を示す画像が重畳されているといえる。一方、特定したドアの位置が車両１００の左側のドアである場合、同様の処理がなされる。
【００４５】
本実施例によれば、着座のある座席に対応するドアの位置に画像を重畳させるので、後者に使用される可能性の高いドアに対して画像を表示できる。また、後者に使用される可能性の高いドアに対して画像が表示されるので、注意を喚起できる。
【００４６】
以上、実施例をもとに本発明を説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４７】
本実施例１、２において路面状態取得部６０は、センサ１１０を使用して、路面状態として路面９０での超音波反射状態を取得している。しかしながらこれに限らず例えば、路面状態取得部６０は、生成部３４において生成した俯瞰映像７８を使用して、路面状態として俯瞰映像７８での濃淡の変化状態を取得してもよい。その際、路面状態判定部６２は、路面状態取得部６０が取得した濃淡の変化状態をもとに、路面９０が濡れているか否かを判定する。例えば、路面状態判定部６２は、隣接した画素毎に濃淡の変化を導出し、濃淡の変化がしきい値よりも大きくなった場合に、その部分が水たまり等の境界であると判定する。本変形例によれば、水たまり等の形状を特定できる。
【００４８】
また、路面状態取得部６０は、センサ１１０を使用して、路面状態として路面９０での超音波反射状態を取得するとともに、生成部３４において生成した俯瞰映像７８を使用して、路面状態として俯瞰映像７８での濃淡の変化状態を取得してもよい。その場合、路面状態判定部６２は、超音波反射状態をもとに、路面９０が濡れている部分を検出した後、検出した部分を中心にして、濃淡の変化状態をもとに、水たまり等の境界を検出する。本変形例によれば、水たまり等の形状を効率的に特定できる。
【００４９】
本実施例１、２において表示制御部４２は、注意を要する路面状態を示す画像を重畳させた俯瞰映像７８を表示部５０に表示させている。しかしながら、これに限らず例えば、ドアノブ付近にＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）が設けられ、表示制御部４２は、画面と同じような色でＬＥＤを表示してもよい。注意を要する路面状態が検出された場合、ドアのロックが解除できない、もしくはドアが強制的にロックされてもよい。乗車しようとする人に対してドア付近に悪路があることを教えてもよい。本変形例によれば、注意を要する路面状態を知らせることができる。
【符号の説明】
【００５０】
１０  撮像部、  １２  前方撮像部、  １４  左側方撮像部、  １６  後方撮像部、  １８  右側方撮像部、  ２０  前方撮像領域、  ２２  左側方撮像領域、  ２４  後方撮像領域、  ２６  右側方撮像領域、  ３０  車両用表示装置、  ３２  映像取得部、  ３４  生成部、  ４０  映像処理部、  ４２  表示制御部、  ５０  表示部、  ５２  着座情報取得部、  ６０  路面状態取得部、  ６２  路面状態判定部、  ６４  停止判定部、  ６６  位置関係判定部、  １００  車両、  １１０  センサ、  １１４  左側方センサ、  １１８  右側方センサ、  １２０  左前方センサ、  １２２  右前方センサ、  １２４  左後方センサ、  １２６  右後方センサ。
【図１】
2018001822.tif 000003
【図２】
2018001822.tif 000004
【図３】
2018001822.tif 000005
【図４】
2018001822.tif 000006
【図５】
2018001822.tif 000007
【図６】
2018001822.tif 000008
【図７】
2018001822.tif 000009
【図８】
2018001822.tif 000010
【図９】
2018001822.tif 000011
【図１０】
2018001822.tif 000012
【図１１】
2018001822.tif 000013
【図１２】
2018001822.tif 000014