(57)【特許請求の範囲】
【請求項１】
車両の周辺を撮像した第１種画像を取得する第１取得部と、
前記第１取得部において取得した第１種画像に対して、前記車両の上方から見たように視点を変換することによって、第１種俯瞰画像を生成する第１画像生成部と、
前記第１画像生成部において生成した第１種俯瞰画像を表示させる表示制御部と、
前記第１取得部において取得される第１種画像よりも高い位置から第１種画像より前記車両から離間した範囲を撮像した第２種画像を取得する第２取得部と、
前記第２取得部において取得した第２種画像に対して、前記車両の上方から見たように視点を変換することによって、第２種俯瞰画像を生成する第２画像生成部と、
前記車両の周辺の物体を検出する物体検出部とを備え、
前記表示制御部は、前記物体検出部が物体を検出した場合、前記第１種俯瞰画像に加えて、前記第２画像生成部において生成した第２種俯瞰画像であって、かつ検出した物体の方向に対応した第２種俯瞰画像も表示させることを特徴とする車両用表示装置。
【請求項２】
前記物体検出部は、前記第１取得部において取得した第１種画像の撮像範囲よりも遠くまでの検出範囲を有することを特徴とする請求項１に記載の車両用表示装置。
【請求項３】
前記表示制御部は、前記第１画像生成部において生成した第１種俯瞰画像のうち、前記物体検出部が物体を検出した方向に、前記第２画像生成部において生成した第２種俯瞰画像を表示させることを特徴とする請求項１または２に記載の車両用表示装置。
【請求項４】
前記表示制御部は、前記物体検出部が物体を検出した方向における第１種俯瞰画像の画角よりも、第２種俯瞰画像の画角を広く表示させることを特徴とする請求項１から３のいずれかに記載の車両用表示装置。
【請求項５】
前記表示制御部は、前記物体検出部が物体を検出した方向における第１種俯瞰画像の画角よりも、第２種俯瞰画像を拡大して表示させることを特徴とする請求項１から３のいずれかに記載の車両用表示装置。
【請求項６】
前記第２画像生成部は、前記第１画像生成部が生成した第１種俯瞰画像よりも前記車両から離間した範囲の第２種俯瞰画像を生成し、
前記表示制御部は、前記物体検出部が検出した物体が第１種俯瞰画像の範囲外かつ第２種俯瞰画像の範囲内であるときに、第１種俯瞰画像に加えて、検出した物体の方向に対応した第２種俯瞰画像の表示を開始させることを特徴とする請求項１から５のいずれかに記載の車両用表示装置。
【請求項７】
前記物体検出部が検出した物体の第１種俯瞰画像および第２種俯瞰画像における同一性を判定する同一性判定部をさらに備え、
前記表示制御部は、第１種俯瞰画像に加えて第２種俯瞰画像を表示する場合に、前記同一性判定部による判定結果に基づき、第１種俯瞰画像および第２種俯瞰画像の各々に表示されている物体の同一性が判定可能な表示を行うことを特徴とする請求項１から６のいずれかに記載の車両用表示装置。
【請求項８】
車両の周辺を撮像した第１種画像を取得するステップと、
取得した第１種画像に対して、前記車両の上方から見たように視点を変換することによって、第１種俯瞰画像を生成するステップと、
生成した第１種俯瞰画像を表示させるステップと、
第１種画像よりも高い位置から第１種画像より前記車両から離間した範囲を撮像した第２種画像を取得するステップと、
取得した第２種画像に対して、前記車両の上方から見たように視点を変換することによって、第２種俯瞰画像を生成するステップと、
前記車両の周辺の物体を検出するステップと、
物体を検出した場合、生成した第２種俯瞰画像であって、かつ検出した物体の方向に対応した第２種俯瞰画像も第１種俯瞰画像に加えて表示させるステップと、
を備えることを特徴とする車両用表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用表示技術に関し、特に画像を表示する車両用表示装置および車両用表示方法に関する。
【背景技術】
【０００２】
車両の複数個所にカメラを備え、撮影された画像を視点変換して合成し、俯瞰画像を得る技術が普及している。このような表示は、例えば車庫入れ時などに表示され、車両の周辺確認や位置把握の目的に用いられている。例えば、車庫入れ時に車両近傍に障害物がある場合、俯瞰画像にも障害物は表示されるが、視点変換処理がなされているので、障害物までの距離の把握が困難である。そのため、障害物を検知した場合に、障害物の検出領域を撮像した原画像が表示される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２３５５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
障害物を検知した場合に表示される原画像の撮像範囲は、俯瞰画像の撮像範囲と同一である。そのため、俯瞰画像に表示されない範囲に存在する障害物は、原画像においても表示されない。一方、遠くの障害物が表示されるほどの広範囲の俯瞰画像を表示した場合、運転者は車両近傍の状況を把握しにくくなる。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、車両近傍の状況、特に障害物となる物体の存在を運転者に把握させやすくする技術を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の車両用表示装置は、車両の周辺を撮像した第１種画像を取得する第１取得部と、第１取得部において取得した第１種画像に対して、車両の上方から見たように視点を変換することによって、第１種俯瞰画像を生成する第１画像生成部と、第１画像生成部において生成した第１種俯瞰画像を表示させる表示制御部と、第１取得部において取得される第１種画像よりも高い位置から第１種画像より前記車両から離間した範囲を撮像した第２種画像を取得する第２取得部と、第２取得部において取得した第２種画像に対して、車両の上方から見たように視点を変換することによって、第２種俯瞰画像を生成する第２画像生成部と、車両の周辺の物体を検出する物体検出部とを備える。表示制御部は、物体検出部が物体を検出した場合、第１種俯瞰画像に加えて、第２画像生成部において生成した第２種俯瞰画像であって、かつ検出した物体の方向に対応した第２種俯瞰画像も表示させる。
【０００７】
本発明の別の態様は、車両用表示方法である。この方法は、車両の周辺を撮像した第１種画像を取得するステップと、取得した第１種画像に対して、車両の上方から見たように視点を変換することによって、第１種俯瞰画像を生成するステップと、生成した第１種俯瞰画像を表示させるステップと、第１種画像よりも高い位置から第１種画像より前記車両から離間した範囲を撮像した第２種画像を取得するステップと、取得した第２種画像に対して、車両の上方から見たように視点を変換することによって、第２種俯瞰画像を生成するステップと、車両の周辺の物体を検出するステップと、物体を検出した場合、生成した第２種俯瞰画像であって、かつ検出した物体の方向に対応した第２種俯瞰画像も第１種俯瞰画像に加えて表示させるステップと、を備える。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、車両近傍の状況、特に障害物となる物体の存在を運転者に把握させやすくできる。
【図面の簡単な説明】
【００１０】
【図１】図１（ａ）−（ｂ）は、本発明の実施例１に係る車両の外観を示す図である。
【図２】本発明の実施例１に係る車両用表示装置の構成を示す図である。
【図３】図１（ａ）−（ｂ）の車両の周辺に形成される撮像範囲を示す斜視図である。
【図４】図２の第１画像生成部において生成された第１種俯瞰画像を示す図である。
【図５】図１（ａ）−（ｂ）の車両の周辺に形成される別の撮像範囲を示す斜視図である。
【図６】図２の表示制御部において生成された俯瞰画像を示す図である。
【図７】図２の表示制御部において生成された別の俯瞰画像を示す図である。
【図８】図２の車両用表示装置による表示手順を示すフローチャートである。
【図９】本発明の実施例２に係る車両用表示装置による表示手順を示すフローチャートである。
【図１０】本発明の実施例３に係る車両用表示装置の構成を示す図である。
【図１１】図１０の表示制御部において生成された俯瞰画像を示す図である。
【発明を実施するための形態】
【００１１】
（実施例１）
本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例１は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。俯瞰画像には、車両近傍に存在する物体が表示されるが、例えば、車両から１ｍ以上離れた位置に存在する障害物など、車両から離れて存在する物体が表示されない。本実施例に係る車両用表示装置は、車両から離れて存在する物体を表示させるために、次の処理を実行する。車両には、車両の下部に複数の第１撮像部が備えられ、車両用表示装置は、複数の第１撮像部のそれぞれにおいて撮像した第１種画像から、第１種俯瞰画像を生成する。また、車両には、第１撮像部よりも高い位置に複数の第２撮像部も備えられ、車両用表示装置は、複数の第２撮像部のそれぞれにおいて撮像した第２種画像から、第２種俯瞰画像を生成する。
【００１２】
さらに、車両には、センサも備えられ、車両用表示装置は、センサでの検出結果により、物体の存在を検出する。ここで、車両用表示装置は、物体の存在を検出していない場合に、第１種俯瞰画像を表示させているが、物体の存在を検出した場合に、第１種俯瞰画像に加えて第２種俯瞰画像を表示する。第２撮像部が設置されている高さは、第１撮像部が設置されている高さよりも高い位置であり、第１撮像部より遠方を撮影可能な位置に設置されている。そのため、第１種俯瞰画像よりも第２種俯瞰画像の方が、より遠方の物体を表示できる。一方、物体が存在しない場合、第２俯瞰画像の表示は不要になる。そのため、物体の存在の有無により、表示が切りかえられる。
【００１３】
以下、本発明の実施例について、図面を参照しつつ説明する。実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
【００１４】
図１（ａ）−（ｂ）は、本発明の実施例１に係る車両１００の外観を示す。図１（ａ）は、車両１００の上面図を示し、図１（ｂ）は、側面図を示す。車両１００の前方部分、例えばバンパー、ボンネット等には、第１前方撮像部１０が設置される。車両１００の後方部分、例えば、バンパー、トランク等には、第１後方撮像部１２が設置される。車両の左側方部分、例えば、左側ドアミラーの下部等には、第１左側方撮像部１４が設置される。第１左側方撮像部１４と左右対称になるように、車両の右側部分には、第１右側方撮像部１６が設置される。ここで、第１前方撮像部１０から第１右側方撮像部１６は、第１撮像部と総称される。
【００１５】
第２前方撮像部１８は、車両１００のルーフ前方付近の車内に配置され、第２後方撮像部２０は、車両１００のルーフ後方付近の車内に配置される。第２前方撮像部１８、第２後方撮像部２０は、第１撮像部よりも高い位置かつ遠方が撮影可能な向きに配置される。そのため、第２前方撮像部１８、第２後方撮像部２０は、第１撮像部よりも遠方の物体を撮像可能である。なお、第２前方撮像部１８、第２後方撮像部２０は、車両１００のルーフ付近の車室内に設置されているが、第１前方撮像部１０、第１後方撮像部１２に比して高い位置に設置されるのであれば、車両１００の前後のバンパーや前後のボディーであってもよい。ここで、第２前方撮像部１８、第２後方撮像部２０は、第２撮像部と総称される。また、図１（ａ）−（ｂ）において、第２撮像部は、車両１００の前後のみに配置されているが、前後左右に配置されてもよい。
【００１６】
前方センサ２２は、第１前方撮像部１０と同様に、車両１００の前方に配置され、後方センサ２４は、第１後方撮像部１２と同様に、車両１００の後方に配置される。例えば、前方センサ２２は、第１前方撮像部１０の近傍に配置され、後方センサ２４は、第１後方撮像部１２の近傍に配置される。
【００１７】
図２は、本発明の実施例１に係る車両用表示装置５０の構成を示す。車両用表示装置５０には、第１前方撮像部（第１前方カメラ）１０、第１後方撮像部（第１後方カメラ）１２、第１左側方撮像部（第１左側方カメラ）１４、第１右側方撮像部（第１右側方カメラ）１６、第２前方撮像部（第２前方カメラ）１８、第２後方撮像部（第２後方カメラ）２０、前方センサ２２、後方センサ２４、表示パネル５２が接続される。車両用表示装置５０は、第１取得部３０、第１画像生成部３２、表示制御部３４、第２取得部３６、第２画像生成部３８、物体検出部４０を含む。
【００１８】
第１前方撮像部１０、第１後方撮像部１２、第１左側方撮像部１４、第１右側方撮像部１６は、図１に示したように配置される。図３は、車両１００の周辺に形成される撮像範囲を示す斜視図である。第１前方撮像部１０は、第１前方撮像部１０から前方に向かうように前方撮像領域６０を形成し、前方撮像領域６０において画像を撮像する。第１後方撮像部１２は、第１後方撮像部１２から後方に向かうように後方撮像領域６２を形成し、後方撮像領域６２において画像を撮像する。第１左側方撮像部１４は、第１左側方撮像部１４から左方に向かうように左側方撮像領域６４を形成し、左側方撮像領域６４において画像を撮像する。第１右側方撮像部１６は、第１右側方撮像部１６から右方に向かうように、右側方撮像領域６６を形成し、右側方撮像領域６６において画像を撮像する。
【００１９】
図３に斜線で示される前方撮像領域６０は、第１前方撮像部１０が撮影可能な範囲において、斜線で示される範囲から車両１００における第１前方撮像部１０の設置位置の直下までの範囲が、第１画像生成部３２によって切り出されるとともに視点変換処理される範囲であることを示している。同様に後方撮像領域６２は、第１後方撮像部１２が撮影可能な範囲において、斜線で示される範囲から車両１００における第１後方撮像部１２の設置位置の直下までの範囲が、第１画像生成部３２によって切り出されるとともに視点変換処理される範囲であることを示している。同様に左側方撮像領域６４は、第１左側方撮像部１４が撮影可能な範囲において、斜線で示される範囲から車両１００における第１左側方撮像部１４の設置位置の直下までの範囲が、第１画像生成部３２によって切り出されるとともに視点変換処理される範囲であることを示している。同様に右側方撮像領域６６は、第１右側方撮像部１６が撮影可能な範囲において、斜線で示される範囲から車両１００における第１右側方撮像部１６の設置位置の直下までの範囲が、第１画像生成部３２によって切り出されるとともに視点変換処理される範囲であることを示している。これらの第１撮像部において撮像した画像によって、車両１００の周辺が撮像される。図２に戻る。
【００２０】
第１前方撮像部１０、第１後方撮像部１２、第１左側方撮像部１４、第１右側方撮像部１６は、前述のごとく、画像を撮像する。画像は動画像であるが、連続的に撮影される静止画像であってもよい。第１前方撮像部１０、第１後方撮像部１２、第１左側方撮像部１４、第１右側方撮像部１６は、撮像した画像を第１取得部３０に出力する。第１取得部３０は、第１前方撮像部１０、第１後方撮像部１２、第１左側方撮像部１４、第１右側方撮像部１６のそれぞれから画像（以下、「第１種画像」という）を取得する。つまり、第１取得部３０は、車両１００の周辺を撮像した第１種画像を取得する。第１取得部３０が取得した第１種画像は、第１画像生成部３２で処理される。
【００２１】
第１画像生成部３２は、第１取得部３０が取得した第１種画像の処理を実行する。第１画像生成部３２は、第１種画像に対して、車両１００の上方から見たように視点を変換し、第１種俯瞰画像を生成する処理を行う。当該変換および俯瞰画像生成処理には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に画像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した画像に相当する。生成した俯瞰画像の一例が、図４である。
【００２２】
図４は、第１画像生成部３２において生成された第１種俯瞰画像８０を示す。図４における第１種俯瞰画像８０の中央部分には、自車アイコン７８が配置される。自車アイコン７８は、車両１００の上面を示す画像である。自車アイコン７８の前方には前方画像７０が配置され、自車アイコン７８の後方には後方画像７２が配置され、自車アイコン７８の左側方には左側方画像７４が配置され、車両１００の右側方には右側方画像７６が配置される。図２に戻る。つまり、第１画像生成部３２は、第１取得部３０において取得した第１種画像に対して、車両１００の上方から見たように視点を変換することによって、第１種俯瞰画像８０を生成する。第１画像生成部３２が生成した第１種俯瞰画像８０は、表示制御部３４で処理される。
【００２３】
表示制御部３４は、第１画像生成部３２が生成した第１種俯瞰画像８０を表示する処理を実行する。表示制御部３４は、第１種俯瞰画像８０を表示パネル５２に表示させる。なお、第１種俯瞰画像８０を表示パネル５２に表示させるタイミングは、車両の周辺確認を要する任意のタイミングであり、例えば車庫入れ時など、車両１００のリバースギアが選択されている場合としてもよい。表示パネル５２には、図４のような第１種俯瞰画像８０が表示される。
【００２４】
第２前方撮像部１８、第２後方撮像部２０は、図１に示したように配置される。図５は、車両１００の周辺に形成される別の撮像範囲を示す斜視図である。第２前方撮像部１８は、第２前方撮像部１８から前方に向かうように前方撮像領域６３を形成し、前方撮像領域６３において画像を撮像する。前方撮像領域６３は、前方撮像領域６０よりも車両１００の前方に延びる。第２後方撮像部２０は、第２後方撮像部２０から後方に向かうように後方撮像領域６５を形成し、後方撮像領域６５において画像を撮像する。後方撮像領域６５は、後方撮像領域６２よりも車両１００の後方に延びる。
【００２５】
図５に斜線で示される前方撮像領域６３は、第２前方撮像部１８が撮影可能な範囲において、斜線で示される範囲から車両１００における第２前方撮像部１８の設置位置の直下までの範囲が、第２画像生成部３８によって切り出されるとともに視点変換処理される範囲であることを示している。同様に後方撮像領域６５は、第２後方撮像部２０が撮影可能な範囲において、斜線で示される範囲から車両１００における第２後方撮像部２０の設置位置の直下までの範囲が、第２画像生成部３８によって切り出されるとともに視点変換処理される範囲であることを示している。なお、第２前方撮像部１８および第２後方撮像部２０において撮像された画像と、第１前方撮像部１０および第１後方撮像部１２において撮像された画像との比較は後述する。これらの第２撮像部において撮像した画像によっても、車両１００の周辺が撮像される。図２に戻る。
【００２６】
第２前方撮像部１８は、第１前方撮像部１０よりも高い位置から前方に向かって画像を撮像する。そのため、第２前方撮像部１８において撮像した画像は、第１前方撮像部１０において撮像した画像よりも、車両１００から離れた場所が含まれる。つまり、第２前方撮像部１８は、第１前方撮像部１０よりも遠方を撮像可能である。第２前方撮像部１８の撮像範囲は、第１前方撮像部１０の撮像範囲と一部重なっていてもよく、第１前方撮像部１０の撮像範囲より重畳しない範囲であってもよい。
【００２７】
第２後方撮像部２０は、第１後方撮像部１２よりも高い位置から後方に向かって画像を撮像する。そのため、第２後方撮像部２０において撮像した画像は、第１後方撮像部１２において撮像した画像よりも、車両１００から離れた場所が含まれる。つまり、第２後方撮像部２０は、第１後方撮像部１２よりも遠方を撮像可能である。第２後方撮像部２０の撮像範囲は、第１後方撮像部１２の撮像範囲と一部重なっていてもよく、第１後方撮像部１２の撮像範囲より重畳しない範囲であってもよい。ここでも、画像は動画像であるが、連続的に撮影される静止画像であってもよい。第２前方撮像部１８、第２後方撮像部２０は、撮像した画像を第２取得部３６に出力する。
【００２８】
第２取得部３６は、第２前方撮像部１８、第２後方撮像部２０のそれぞれから画像（以下、「第２種画像」という）を取得する。つまり、第２取得部３６は、第１種画像よりも高い位置から撮像した第２種画像を取得する。第２取得部３６が取得した第２種画像は、第２画像生成部３８で処理される。
【００２９】
第２画像生成部３８は、第２取得部３６が取得した第２種画像の処理を実行する。第２画像生成部３８は、第２種画像に対して、車両１００の上方から見たように視点を変換し、第２種俯瞰画像を生成する処理を行う。第２画像生成部３８での処理は、第１画像生成部３２での処理と同様である。つまり、第２画像生成部３８は、第２取得部３６において取得した第２種画像に対して、車両の上方から見たように視点を変換することによって、第２種俯瞰画像８２を生成する。このような第２種俯瞰画像８２は、第１種俯瞰画像８０よりも車両１００から離間した範囲の俯瞰画像である。なお、第１種俯瞰画像８０では、前方画像７０から右側方画像７６の４方向の画像が合成されるが、第２種俯瞰画像８２は、１つの方向の第２種画像から生成されている。第２画像生成部３８が生成した第２種俯瞰画像８２は、表示制御部３４で処理される。
【００３０】
前方センサ２２、後方センサ２４は、図１に示したように配置される。前方センサ２２、後方センサ２４は、例えば、ミリ波センサ、赤外線センサである。また、第２撮像部であってもよい。前方センサ２２および後方センサ２４に第２撮像部を用いる場合、第２撮像部が撮像した画像に対して、物体検出部４０がエッジ検出処理等を行い、障害物を検出する。前方センサ２２と後方センサ２４のそれぞれには、識別するための識別番号が付与されている。
【００３１】
物体検出部４０は、前方センサ２２、後方センサ２４に接続され、車両１００の周辺の物体を検出する。物体の検出には公知の技術が使用されればよいので、ここでは具体的な説明を省略する。例えば、前方センサ２２または後方センサ２４に赤外レーザを用いた場合、車両１００の検出方向となる範囲に赤外レーザが照射され、物体に反射した赤外レーザを受光したときの時間差に基づいて、物体を検出する。なお、物体検出部４０の検出範囲は、第１取得部３０において取得した第１種画像の撮像範囲よりも遠くなるように設定されている。物体検出部４０は、前方センサ２２、後方センサ２４のいずれかにおいて物体を検出し、かつ検出した物体までの距離がしきい値よりも大きい場合、物体の検出を表示制御部３４に通知する。その際、物体を検出した前方センサ２２あるいは後方センサ２４の識別番号も通知される。ここで、しきい値は、第１種画像の撮像範囲の遠方側の値になるように設定される。
【００３２】
表示制御部３４は、第１画像生成部３２が生成した第１種俯瞰画像８０の表示処理を実行する。また、表示制御部３４は、第２画像生成部３８が生成した第２種俯瞰画像８２の表示処理も実行する。さらに、物体検出部４０において物体が検出された場合、表示制御部３４は、物体検出部４０からの通知、識別番号を取得する。表示制御部３４は、物体検出部４０からの通知が取得されない場合、それまでと同様に第１種俯瞰画像８０を表示パネル５２に表示させる。一方、表示制御部３４は、物体検出部４０からの通知を取得した場合、第１種俯瞰画像８０に加えて第２種俯瞰画像８２も表示パネル５２に表示させる。なお、表示パネル５２に第１種俯瞰画像８０に加えて第２種俯瞰画像８２を表示させるタイミングは、第１種俯瞰画像８０を表示した後に物体検出部４０からの通知を取得したタイミングである。
【００３３】
図６は、表示制御部３４において生成された俯瞰画像を示す。これは、物体検出部４０からの通知を取得した場合であり、かつ取得した識別番号が後方センサ２４を示す場合に相当する。取得した識別番号が後方センサ２４を示す場合、車両１００の後方に存在する物体が後方センサ２４によって検出されている。図示のごとく、表示制御部３４は、第１種俯瞰画像８０、特に後方画像７２の下側に、物体である障害物８４が表示された第２種俯瞰画像８２を配置させる。このように、表示制御部３４は、第１種俯瞰画像８０のうち、物体検出部４０が物体を検出した方向に、検出した物体の方向に対応した第２種俯瞰画像８２を表示させる。後方センサ２４が検出した物体に基づき図６のような表示を行う場合は、車両１００が後退しているときが適切である。
【００３４】
図７は、表示制御部３４において生成された別の俯瞰画像を示す。これは、物体検出部４０からの通知を取得した場合であり、かつ取得した識別番号が前方センサ２２を示す場合に相当する。取得した識別番号が前方センサ２２を示す場合、車両１００の前方に存在する物体が前方センサ２２によって検出されている。図示のごとく、表示制御部３４は、第１種俯瞰画像８０、特に前方画像７０の上側に、障害物８４が表示された第２種俯瞰画像８２を配置させる。ここでも、表示制御部３４は、第１種俯瞰画像８０のうち、物体検出部４０が物体を検出した方向に、検出した物体の方向に対応した第２種俯瞰画像８２を表示させる。前方センサ２２が検出した物体に基づき図７のような表示を行う場合は、車両１００が前進しているときが適切である。
【００３５】
ここでは、このような俯瞰画像を生成するための表示制御部３４の処理をさらに詳細に説明する。取得した識別番号が後方センサ２４を示す場合、表示制御部３４は、第２後方撮像部２０において撮像された第２種画像から生成した第２種俯瞰画像８２を選択する。表示制御部３４は、第２後方撮像部２０と同様に後方を向いた第１後方撮像部１２に対応した後方画像７２の下側に、選択した第２種俯瞰画像８２を配置させる。その際、表示制御部３４は、物体検出部４０が物体を検出した方向における第１種俯瞰画像８０の画角よりも、第２種俯瞰画像８２の画角を広く表示させてもよい。また、表示制御部３４は、物体検出部４０が物体を検出した方向における第１種俯瞰画像８０の画角よりも、第２種俯瞰画像８２を拡大して表示させてもよい。なお、画角を広く表示すること、拡大して表示することには公知の技術が使用されればよいので、ここでは説明を省略する。また、表示制御部３４は、図６に示すように、第１種俯瞰画像８０を上方に移動させ、第１種俯瞰画像８０の下方に第２種俯瞰画像８２を表示させてもよい。
【００３６】
一方、取得した識別番号が前方センサ２２を示す場合、表示制御部３４は、第２前方撮像部１８において撮像された第２種画像から生成した第２種俯瞰画像８２を選択する。表示制御部３４は、第２前方撮像部１８と同様に前方を向いた第１前方撮像部１０に対応した前方画像７０の上側に、選択した第２種俯瞰画像８２を配置させる。この場合も、表示制御部３４は、物体検出部４０が物体を検出した方向における第１種俯瞰画像８０の画角よりも、第２種俯瞰画像８２の画角を広く表示させてもよい。また、表示制御部３４は、物体検出部４０が物体を検出した方向における第１種俯瞰画像８０の画角よりも、第２種俯瞰画像８２を拡大して表示させてもよい。また、表示制御部３４は、図７に示すように、第１種俯瞰画像８０を下方に移動させ、第１種俯瞰画像８０の上方に第２種俯瞰画像８２を表示させてもよい。
【００３７】
図６および図７のような表示を行うことで、第１種俯瞰画像８０として表示される範囲より遠方に障害物８４が存在するとき、実質的に俯瞰画像の表示範囲を拡張するように、障害物８４が検出された方向に第２種俯瞰画像８２が表示される。このため、運転者は自己の目視に加えて俯瞰画像の表示を確認することで、より適切に障害物の存在および位置関係を把握することができる。
【００３８】
また、第１取得部３０が第１種画像を取得する第１撮像部より、第２取得部３６が第２種画像を取得する第２撮像部は高い位置に配置される。第２撮像部は、図１に示すように車両１００のルーフ付近に配置されている場合は、運転者の位置より高い位置に配置されているため、障害物８４を自己の視点より上方から見ることとなり、障害物８４の立体感などをより適切に把握することができる。
【００３９】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００４０】
以上の構成による車両用表示装置５０の動作を説明する。図８は、車両用表示装置５０による表示手順を示すフローチャートである。第１種俯瞰画像８０の表示条件を満たしている場合（Ｓ１０のＹ）、表示制御部３４は、表示パネル５２に第１種俯瞰画像８０を表示させる（Ｓ１２）。前方センサ２２あるいは後方センサ２４が障害物８４を検出しなければ（Ｓ１４のＮ）、ステップ１０に戻る。前方センサ２２あるいは後方センサ２４が障害物８４を検出した場合（Ｓ１４のＹ）、障害物８４が第１種俯瞰画像８０の範囲よりも遠方に存在しなければ（Ｓ１６のＮ）、ステップ１０に戻る。障害物８４が第１種俯瞰画像８０の範囲よりも遠方に存在すれば（Ｓ１６のＹ）、表示制御部３４は、第１種俯瞰画像８０における障害物８４の検出方向に、第２種俯瞰画像８２を重畳表示し（Ｓ１８）、ステップ１６に戻る。第１種俯瞰画像８０の表示条件を満たしていない場合（Ｓ１０のＮ）、処理が終了される。
【００４１】
本実施例によれば、物体の存在を検出しない場合、第１種俯瞰画像だけを表示するので、車両近傍の状況を運転者に把握させやすくできる。また、物体の存在を検出した場合、第１種俯瞰画像よりも高い位置から撮像された第２種俯瞰画像も表示するので、遠くの物体の存在を運転者に把握させやすくできる。また、検出した物体の方向に対応した第２種俯瞰画像を表示させるので、第１種俯瞰画像のサイズの縮小を抑制できる。また、第１種画像の撮像範囲よりも遠くまでの物体の存在を検出可能であるので、第１種俯瞰画像に含まれない物体の存在を検出できる。
【００４２】
また、第１種俯瞰画像のうち、物体を検出した方向に、第２種俯瞰画像を表示させるので、第１種俯瞰画像と第２種俯瞰画像との位置関係を容易に把握させることができる。また、第１種俯瞰画像の画角よりも、第２種俯瞰画像の画角を広く表示させるので、物体が存在する位置の把握を容易にさせることができる。また、第１種俯瞰画像の画角よりも、第２種俯瞰画像を拡大して表示させるので、物体の存在を容易に把握させることができる。
【００４３】
また、一般的に仮想視点は車両１００の中央付近の上方に設定されるが、第１種俯瞰画像８０と第２種俯瞰画像８２とで、仮想視点の位置が異なっていてもよい。例えば、第１種俯瞰画像８０を車両１００の中央付近の上方を仮想視点とした俯瞰画像とし、第２種俯瞰画像８２は、第１種俯瞰画像８０より車両１００の前方に偏移した仮想視点であってもよい。第２種俯瞰画像８２は、第１種俯瞰画像８０より車両１００の前方に広い範囲を表示する。このため、第２種俯瞰画像８２の仮想視点位置を車両１００の前方に設定することで、図７に示すような表示形態である場合、第１種俯瞰画像８０と第２種俯瞰画像８２との違和感が低減される。
【００４４】
（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。実施例１に係る車両用表示装置は、第１種俯瞰画像に含まれない物体の存在を検出した場合に、第１種俯瞰画像に加えて第２種俯瞰画像を表示する。一方、実施例２に係る車両表示装置は、第１種俯瞰画像に含まれない物体であって、かつ第２種俯瞰画像に含まれる物体の存在を検出した場合に、第１種俯瞰画像に加えて第２種俯瞰画像の表示を開始する。実施例２に係る車両１００、車両用表示装置５０は図１、図２と同様のタイプである。ここでは、実施例１との差異を中心に説明する。
【００４５】
物体検出部４０は、これまでと同様に、前方センサ２２、後方センサ２４に接続され、車両１００の周辺の物体を検出する。物体検出部４０は、前方センサ２２、後方センサ２４のいずれかにおいて物体を検出するとともに、検出した物体までの距離が、第１種画像の撮像範囲よりも遠方であり、かつ第２種画像の撮像範囲に含まれている場合に、物体の検出を表示制御部３４に通知する。
【００４６】
表示制御部３４は、物体検出部４０において物体が検出された場合、物体検出部４０からの通知、識別番号を取得する。表示制御部３４は、物体検出部４０からの通知を取得した場合、第１種俯瞰画像８０に加えて第２種俯瞰画像８２も表示パネル５２に表示させる。なお、ここでも表示パネル５２に第１種俯瞰画像８０に加えて第２種俯瞰画像８２を表示させるタイミングは、第１種俯瞰画像８０を表示した後に物体検出部４０からの通知を取得したタイミングである。つまり、表示制御部３４は、物体検出部４０が検出した物体が第１種俯瞰画像８０の範囲外かつ第２種俯瞰画像８２の範囲内であるときに、第１種俯瞰画像８０に加えて、検出した物体の方向に対応した第２種俯瞰画像８２の表示を開始させる。
【００４７】
以上の構成による車両用表示装置５０の動作を説明する。図９は、本発明の実施例２に係る車両用表示装置５０による表示手順を示すフローチャートである。第１種俯瞰画像８０の表示条件を満たしている場合（Ｓ１００のＹ）、表示制御部３４は、表示パネル５２に第１種俯瞰画像８０を表示させる（Ｓ１０２）。前方センサ２２あるいは後方センサ２４が障害物８４を検出しなければ（Ｓ１０４のＮ）、ステップ１００に戻る。前方センサ２２あるいは後方センサ２４が障害物８４を検出した場合（Ｓ１０４のＹ）、障害物８４が第１種俯瞰画像８０の範囲よりも遠方に存在しない場合、あるいは第２種俯瞰画像８２の範囲内に含まれない場合（Ｓ１０６のＮ）、ステップ１００に戻る。障害物８４が第１種俯瞰画像８０の範囲よりも遠方に存在し、かつ第２種俯瞰画像８２の範囲内に含まれる場合（Ｓ１０６のＹ）、表示制御部３４は、第１種俯瞰画像８０における障害物８４の検出方向に、第２種俯瞰画像８２を重畳表示し（Ｓ１０８）、ステップ１０６に戻る。第１種俯瞰画像８０の表示条件を満たしていない場合（Ｓ１００のＮ）、処理が終了される。
【００４８】
本実施例によれば、物体が第１種俯瞰画像の範囲外かつ第２種俯瞰画像の範囲内である場合、第１種俯瞰画像に加えて、検出した物体の方向に対応した第２種俯瞰画像を表示するので、第１種俯瞰画像に含まれず、第２種俯瞰画像に含まれる物体を確実に表示できる。また、第１種俯瞰画像のうち、物体を検出した方向に、第２種俯瞰画像を表示させるので、第１種俯瞰画像と第２種俯瞰画像との位置関係を容易に把握させることができる。
【００４９】
（実施例３）
次に、実施例３を説明する。実施例３は、これまでと同様に、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。これまでは、第１種俯瞰画像に物体が含まれる場合、第２種俯瞰画像が表示されない。一方、実施例３では、第１種俯瞰画像に物体が含まれる場合であっても、第１種俯瞰画像に加えて第２種俯瞰画像も表示される。その際、第１種俯瞰画像に含まれる物体と第２種俯瞰画像に含まれる物体とが同一であることが判定可能なような表示がなされる。実施例３に係る車両１００は図１と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
【００５０】
図１０は、本発明の実施例３に係る車両用表示装置５０の構成を示す。車両用表示装置５０は、図２に示された車両用表示装置５０において同一性判定部４２をさらに含む。物体検出部４０は、これまでと同様に、前方センサ２２、後方センサ２４に接続され、車両１００の周辺の物体を検出する。物体検出部４０は、前方センサ２２、後方センサ２４のいずれかにおいて物体を検出した場合に、物体の検出を表示制御部３４、同一性判定部４２に通知する。
【００５１】
同一性判定部４２では、物体検出部４０によって物体の検出が通知される。その際、検出された物体の位置も通知される。また、同一性判定部４２は、第１画像生成部３２から第１種俯瞰画像８０を受けつけるとともに、第２画像生成部３８から第２種俯瞰画像８２を受けつける。さらに、同一性判定部４２は、車両１００の位置情報および進行方向を取得する。なお、車両１００の位置情報および進行方向の取得には公知の技術が使用されればよいので、ここでは説明を省略する。同一性判定部４２は、第１種俯瞰画像８０の画角を予め認識しているので、車両１００の位置情報および進行方向と第１種俯瞰画像８０の画角とをもとに、第１種俯瞰画像８０に含まれた複数の画素のそれぞれに対する座標を取得する。また、同一性判定部４２は、第２種俯瞰画像８２に対しても同様の処理を実行することによって、第２種俯瞰画像８２に含まれた複数の画素のそれぞれに対する座標を取得する。
【００５２】
同一性判定部４２は、物体検出部４０が物体を検出した位置（座標）が、第１種俯瞰画像８０および第２種俯瞰画像８２に含まれている場合、同一の物体が含まれていると判定する。なお、同一性判定部４２は、第１種俯瞰画像８０および第２種俯瞰画像８２に対して画像認識処理を実行し、画像認識処理において取得した物体の形状も比較して、同一の物体が含まれていると判定してもよい。このように、同一性判定部４２は、物体検出部４０が検出した物体の第１種俯瞰画像８０および第２種俯瞰画像８２における同一性を判定する。同一性判定部４２は、同一の物体が含まれているか否かの判定結果を表示制御部３４に出力する。
【００５３】
表示制御部３４は、物体検出部４０が物体を検出した場合、第１種俯瞰画像８０に加えて第２種俯瞰画像８２を表示する。また、表示制御部３４は、第１種俯瞰画像８０に加えて第２種俯瞰画像８２を表示する場合に、同一性判定部４２による判定結果に基づき、第１種俯瞰画像８０および第２種俯瞰画像８２の各々に表示されている物体の同一性が判定可能な表示を行う。検出した物体が第２種俯瞰画像８２のみに表示されている場合、同一性を判定可能な表示は不要である。しかしながら、検出した物体に車両１００が近接していくことで、その物体が第２種俯瞰画像８２および第１種俯瞰画像８０の双方に表示される場合、同一性が判定可能な表示がなされる。
【００５４】
図１１は、表示制御部３４において生成された俯瞰画像を示す。これは、図６と同様に、物体検出部４０からの通知を取得した場合であり、かつ取得した識別番号が後方センサ２４を示す場合に相当する。図示のごとく、表示制御部３４は、第１種俯瞰画像８０、特に後方画像７２の下側に、物体である障害物８４が表示された第２種俯瞰画像８２を配置させる。また、障害物８４は、第１種俯瞰画像８０にも表示されている。ここで、第１種俯瞰画像８０に含まれた障害物８４と、第２種俯瞰画像８２に含まれた障害物８４とは、同一性判定部４２によって同一物と判定されている。そのため、第１種俯瞰画像８０に含まれた障害物８４と、第２種俯瞰画像８２に含まれた障害物８４には、同一物マーカ８６が示される。同一物マーカ８６は、物体の同一性が判定可能な表示であり、同一形状または同一色の枠で各々を囲う表示である。
【００５５】
本実施例によれば、第１種俯瞰画像に加えて第２種俯瞰画像を表示する場合に、第１種俯瞰画像および第２種俯瞰画像の各々に表示されている物体の同一性が判定可能な表示を行うので、第１種俯瞰画像および第２種俯瞰画像の各々に表示されている同一の物体を容易に認識できる。また、第１種俯瞰画像および第２種俯瞰画像の各々に表示されている同一の物体が容易に認識されるので、車両が物体に近づいてくる状況下において、物体の位置を容易に認識できる。
【００５６】
以上、実施例をもとに本発明を説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００５７】
１０  第１前方撮像部、  １２  第１後方撮像部、  １４  第１左側方撮像部、  １６  第１右側方撮像部、  １８  第２前方撮像部、  ２０  第２後方撮像部、  ２２  前方センサ、  ２４  後方センサ、  ３０  第１取得部、  ３２  第１画像生成部、  ３４  表示制御部、  ３６  第２取得部、  ３８  第２画像生成部、  ４０  物体検出部、  ５０  車両用表示装置、  ５２  表示パネル、  １００  車両。
【図１】
0006699427.tif 000002
【図２】
0006699427.tif 000003
【図３】
0006699427.tif 000004
【図４】
0006699427.tif 000005
【図５】
0006699427.tif 000006
【図６】
0006699427.tif 000007
【図７】
0006699427.tif 000008
【図８】
0006699427.tif 000009
【図９】
0006699427.tif 000010
【図１０】
0006699427.tif 000011
【図１１】
0006699427.tif 000012