(57)【要約】【課題】自車両の周辺を撮像するカメラの撮像画像に基づく表示によって、運転者等がカメラの死角に存在する自車両部分と撮像画像内の物体との位置関係等を適切に認識することが可能な車両用表示装置を提供すること。【解決手段】自車両の周辺を撮像する撮像部と、前記撮像部により撮像される撮像画像、又は前記撮像画像を視点変換して生成される前記自車両の室内の仮想視点から見た仮想視点画像に、前記撮像部の撮像範囲外の領域を表す画像及び前記撮像範囲外における前記自車両の輪郭を表す画像を合成した表示画像を生成する画像生成部と、前記表示画像を表示する表示部を備える。【選択図】図４
2016213708.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周辺を撮像する撮像部と、
前記撮像部により撮像される撮像画像、又は前記撮像画像を視点変換して生成される前記自車両の室内の仮想視点から見た仮想視点画像に、前記撮像部の撮像範囲外の領域を表す画像及び前記撮像範囲外における前記自車両の輪郭を表す画像を合成した表示画像を生成する画像生成部と、
前記表示画像を表示する表示部を備える、
車両用表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用表示装置に関する。
【背景技術】
【０００２】
従来、車載カメラにより撮像された周辺の画像の自車両が映る部分に、自車両が現在位置に到達する前に撮像された過去画像の対応する部分（自車両で見えない部分）を重ねた合成画像を車体の輪郭線と共に表示する技術が知られている（例えば、特許文献１）。
【０００３】
かかる技術により、運転者は、車両の陰になって見えない死角領域の状況を把握しながら、運転操作を行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２４４６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、カメラ自体の死角（撮像範囲外）に存在する自車両部分はそもそも表示されないため、運転者等は、かかる死角に存在する自車両部分と撮像画像内の物体との位置関係等を適切に認識することができないおそれがある。
【０００６】
そこで、上記課題に鑑み、自車両の周辺を撮像するカメラの撮像画像に基づく表示によって、運転者等がカメラの死角に存在する自車両部分と撮像画像内の物体との位置関係等を適切に認識することが可能な表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、一実施形態において、車両用表示装置は、
自車両の周辺を撮像する撮像部と、
前記撮像部により撮像される撮像画像、又は前記撮像画像を視点変換して生成される前記自車両の室内の仮想視点から見た仮想視点画像に、前記撮像部の撮像範囲外の領域を表す画像及び前記撮像範囲外における前記自車両の輪郭を表す画像を合成した表示画像を生成する画像生成部と、
前記表示画像を表示する表示部を備える。
【発明の効果】
【０００８】
本実施の形態によれば、自車両の周辺を撮像するカメラの撮像画像に基づく表示によって、運転者等がカメラの死角に存在する自車両部分と撮像画像内の物体との位置関係等を適切に認識することが可能な表示装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る表示装置の構成の一例を示すブロック図である。
【図２】カメラの撮像範囲を説明する図である。
【図３】ベース画像生成処理により生成されるベース画像の一例を示す図である。
【図４】ディスプレイ（表示領域）に表示される表示画像の一例を示す図である。
【図５】ディスプレイ（表示領域）に表示される表示画像の他の例を示す図である。
【図６】ディスプレイ（表示領域）に表示される表示画像の更に他の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して発明を実施するための形態について説明する。
【００１１】
図１は、本実施形態に係る表示装置１の構成の一例を示すブロック図である。
【００１２】
表示装置１は、カメラ１０、ＥＣＵ（Ｅｌｅｃｔｒｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）２０、ディスプレイ３０を含み、カメラ１０により撮像される自車両（表示装置１が搭載される車両）周辺の様子をディスプレイ３０に表示する。これにより、自車両の運転者は、ディスプレイ３０に表示される自車両周辺の様子を確認しながら、運転操作を行うことができる。
【００１３】
カメラ１０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を含み、自車両周辺を撮像する撮像手段である。カメラ１０は、それぞれ、自車両の前方、後方、左側方、及び右側方を撮像するカメラ１０ａ、カメラ１０ｂ、カメラ１０ｃ、及びカメラ１０ｄを含む。
【００１４】
カメラ１０ａは、例えば、自車両のフロントグリル中央部に設けられ、自車両の前方を撮像する。
【００１５】
カメラ１０ｂは、例えば、自車両のリアウインドウ上端中央部に設けられ、自車両の後方を撮像する。
【００１６】
カメラ１０ｃは、例えば、自車両左側のドアミラー下部に設けられ、自車両の左側方を撮像する。
【００１７】
カメラ１０ｄは、例えば、自車両右側のドアミラー下部に設けられ、自車両の右側方を撮像する。
【００１８】
カメラ１０ａ〜１０ｄは、それぞれ、一対一の通信線や車載ＬＡＮ等によりＥＣＵ２０と通信可能に接続され、撮像画像は、ＥＣＵ２０に送信される。
【００１９】
ここで、図２を用いて、カメラ１０の撮像範囲について説明する。
【００２０】
図２は、カメラ１０の撮像範囲の一例を表す図である。
【００２１】
なお、図中、カメラ１０ｂ、１０ｄは、自車両の陰になって視認することができない状態である。
【００２２】
図２を参照するに、カメラ１０ａ〜１０ｄは、それぞれ、自車両の前方、後方、左側方、及び右側方に隣接する路面部分Ａ１ａ〜Ａ１ｄを撮像可能な撮像範囲を有する。そのため、カメラ１０ａ〜１０ｄは、自車両の室内（以下、車室内と称する）からは視認できない領域（例えば、比較的車高の高い車両における運転者から見た助手席側のフロントフェンダーに隣接する路面部分等）の様子を撮像することができる。
【００２３】
また、路面部分Ａ１ａ〜Ａ１ｄを重ね合わせた路面部分Ａ１は、自車両を取り囲んでいる。即ち、カメラ１０は、自車両を３６０°取り囲む路面部分Ａ１を撮像可能な撮像範囲を有する。
【００２４】
但し、カメラ１０ａ〜１０ｄは、路面部分Ａ１の内側（自車両側）の路面部分Ａ２を撮像することができない。つまり、カメラ１０は、自車両周辺のうち、自車両に隣接する死角（撮像範囲外の領域）を有する場合がある。例えば、自車両の前端は、平面視で、ある程度の曲率を有する曲線で左右側面部分と繋がる外観形状を有するため、左右端に近づくほどカメラ１０ａの撮像範囲から離る傾向にある。そのため、カメラ１０ａの死角は、自車両前端の中央部の前方に隣接する路面部分よりも、左右端部の前方に隣接する路面部分で広くなり、かかる路面部分に存在する障害物をカメラ１０ａで撮像することができない場合がある。
【００２５】
図１に戻り、ＥＣＵ２０は、表示装置１における主たる制御処理を実行する電子制御ユニットである。ＥＣＵ２０は、例えば、マイクロコンピュータ等により構成され、ＲＯＭに格納される各種制御プログラムをＣＰＵ上で実行することにより各種制御処理を実現する。具体的には、カメラ１０ａ〜１０ｄから受信する各撮像画像に基づき、ディスプレイ３０（表示領域３０ａ）に表示する表示画像を生成する。ディスプレイ３０に表示する表示画像は、自車両から見た全方位の様子を表す画像であってもよいし、自車両から見た特定の方位角範囲の様子を表す画像であってもよい。即ち、ＥＣＵ２０は、カメラ１０ａ〜１０ｄにより撮像される画像の一部又は全部を用いて、表示画像を生成する。かかる表示画像の生成処理については、後述する。ＥＣＵ２０は、じか線や車載ＬＡＮ等によりディスプレイ３０と通信可能に接続され、生成される表示画像（に対応する画像信号）は、ディスプレイ３０に送信される。
【００２６】
なお、表示画像として、特定の方位角範囲の様子をディスプレイ３０に表示可能な場合、運転者等によって、ディスプレイ３０に表示させる方位角範囲の設定が可能な操作手段が設けられてよい。
【００２７】
ディスプレイ３０は、カメラ１０により撮像される自車両周辺の様子を表示する表示手段であり、例えば、液晶パネル等を含む。ディスプレイ３０は、ＥＣＵ２０から送信される画像信号に基づき、表示画像を自身の表示領域３０ａ（例えば、１６：９のアスペクト比を有する長方形領域）に表示させる。
【００２８】
なお、ディスプレイ３０は、車室内における運転者等が視認容易な任意の位置に設置されてよく、例えば、インパネのセンタースタック上部等に設けられる。
【００２９】
次に、ＥＣＵ２０による表示画像の生成処理について説明する。
【００３０】
まず、ＥＣＵ２０は、カメラ１０（１０ａ〜１０ｄ）から受信する撮像画像に対する既知の視点変換処理を施し、予め定められる車室内の仮想視点から見た画像（仮想視点画像ＶＰ）を生成する。仮想視点としては、例えば、統計上、標準的な運転者の体格に対応するアイポイント（目の位置）を設定してよい。
【００３１】
なお、本実施形態における視点変換処理は、カメラ１０（１０ａ〜１０ｄ）の撮像画像の各座標（の画素）を仮想視点から見た座標系の座標に変換する処理を意味し、後述するベース画像を生成する処理（ベース画像生成処理）を含まない。但し、実装上、ベース画像生成処理は、視点変換処理の一部として実現されてよい。
【００３２】
続いて、ＥＣＵ２０は、生成される仮想視点画像ＶＰとカメラ１０（１０ａ〜１０ｄ）の死角領域を表す画像（死角領域画像）を合成して、表示画像ＤＰのベースとなるベース画像ＢＰを生成する処理（ベース画像生成処理）を行う。
【００３３】
ここで、図３は、ベース画像生成処理により生成されるベース画像ＢＰの一例を示す図である。
【００３４】
なお、本例では、自車両の左前方に対応する方位角範囲の様子（右ハンドル車の運転席から死角になる左側のフロントフェンダー横の路面部分を含む方位角範囲）を表す表示画像をディスプレイ３０に表示させる場合のベース画像ＢＰを表している。
【００３５】
図３を参照するに、ベース画像ＢＰは、自車両が停車している駐車場の駐車区画線や駐車場内の歩行者等を映す仮想視点画像ＶＰに、死角領域画像ＢＳＰ１、ＢＳＰ２を合成することにより生成されている。死角領域画像ＢＳＰ１は、自車両に接近する側におけるカメラ１０ａ、１０ｃの死角領域（撮像範囲外の領域）に相当する。また、ベース画像ＢＰのうち、死角領域画像ＢＳＰ２は、自車両から離れる側におけるカメラ１０ｃの死角領域（撮像範囲外の領域）に相当する。
【００３６】
このように、仮想視点画像ＶＰに、カメラ１０（１０ａ、１０ｃ）の死角領域を表す死角領域画像ＢＳＰ１、ＢＳＰ２を合成することで、カメラ１０により撮像される自車両周辺の自車両に接近する側と離れる側に死角領域が存在することが明確になる。
【００３７】
最後に、ＥＣＵ２０は、生成されるベース画像ＢＰに、仮想視点から見た、カメラ１０（１０ａ〜１０ｄ）の死角領域（撮像範囲外の領域）における自車両の輪郭を表す画像（輪郭画像ＥＸＰ）を合成する処理を行い、最終的な表示画像ＤＰを生成する。以下、図４〜図６を参照しつつ、ベース画像ＢＰに輪郭画像ＥＸＰを合成して生成される表示画像ＤＰについて、具体例を用いて説明する。
【００３８】
まず、図４は、ディスプレイ３０（表示領域３０ａ）に表示される表示画像の一例を示す図である。
【００３９】
図４を参照するに、表示画像ＤＰは、図３に示したベース画像ＢＰに、仮想視点から見た、カメラ１０（１０ａ、１０ｃ）の死角における自車両の輪郭を表す輪郭画像ＥＸＰを合成することで、生成される。本例における輪郭画像ＥＸＰは、カメラ１０（１０ａ、１０ｃ）の死角に相当する死角領域画像ＢＳＰ１のうち、仮想視点から見た自車両の輪郭線ＥＸＬより仮想視点画像側（自車両から離れる側）の部分に上から重畳される（重ねて合成される）。また、輪郭画像ＥＸＰは、死角領域画像ＢＳＰ１と区別可能（例えば、異なる色、パターン等）な態様で表示される。これにより、運転者は、ディスプレイ３０（表示領域３０ａ）の表示画像を見て、カメラ１０（１０ａ、１０ｃ）の死角の存在を認識できると共に、輪郭画像ＥＸＰにより、自車両と仮想視点画像に映る周辺の物体との位置関係をより適切に把握することができる。
【００４０】
なお、輪郭画像ＥＸＰは、例えば、ＥＣＵ２０の内部メモリ等に予め格納されている。そのため、ＥＣＵ２０は、仮想視点画像ＶＰとして表示する自車両から見た方位角範囲に応じて決定される輪郭画像ＥＸＰを内部メモリ等から読み出すことで、表示画像ＤＰを生成することができる。
【００４１】
続いて、図５は、ディスプレイ３０（表示領域３０ａ）に表示される表示画像の他の例を示す図である。
【００４２】
なお、本例では、ＥＣＵ２０が自車両の左前方から右前方に渡る方位角範囲の様子を表す表示画像をディスプレイ３０に表示する場合について説明する。
【００４３】
図５を参照するに、表示画像ＤＰは、自車両が停車している駐車場の駐車区画線や自車両左側に隣接する駐車スペースに駐車する他車両を映す仮想視点画像ＶＰに、死角領域画像ＢＳＰ１、ＢＳＰ２と、輪郭画像ＥＸＰを合成して生成されている。具体的には、カメラ１０ａ、１０ｃ、１０ｄの自車両に接近する側の死角領域に相当する死角領域画像ＢＳＰ１上に、仮想視点から見た、かかる死角領域における自車両の輪郭線ＥＸＬである輪郭画像ＥＸＰが重畳されている（重ねて合成されている）。
【００４４】
このように、輪郭画像ＥＸＰは、単純な自車両の輪郭線ＥＸＬにより構成されてもよく、図４に示した実施例と同様の作用、効果を得ることができる。
【００４５】
続いて、図６は、ディスプレイ３０（表示領域３０ａ）に表示される表示画像の更に他の例を示す図である。
【００４６】
図６を参照するに、表示画像ＤＰは、図５に示した実施例における表示画像ＤＰに、情報画像Ｃ１〜Ｃ３を合成して生成されている。具体的には、輪郭線ＥＸＬの自車両前方に対応する方向に隣接する死角領域画像ＢＳＰ１の部分に、情報画像Ｃ１〜Ｃ３が重ねて合成される。
【００４７】
情報画像Ｃ１〜Ｃ３は、自車両の前端部に設けられるクリアランスソナー（障害物との距離を検出する手段の一例）の検出情報を表す画像である。本例では、自車両の前端部の３箇所（例えば、フロントバンパーの左端部、中央部、右端部）に設けられるクリアランスソナーにより検出された障害物との距離が所定閾値以下であるか否かを各情報画像Ｃ１〜Ｃ３の表示パターンの違いで表している。即ち、情報画像Ｃ１〜Ｃ３が白抜きの場合、障害物との距離は所定閾値以下でない（障害物がない状況を含む）状況を表し、情報画像Ｃ１〜Ｃ３が斜線パターンの場合、障害物との距離は所定閾値以下である状況を表す。
【００４８】
なお、情報画像Ｃ１〜Ｃ３は、例えば、ＥＣＵ２０の内部メモリ等に予め格納されている。そのため、ＥＣＵ２０は、仮想視点画像ＶＰとして表示する自車両から見た方位角範囲及びクリアランスソナー等の検出情報に応じて決定される情報画像Ｃ１〜Ｃ３を内部メモリ等から読み出すことで、表示画像ＤＰを生成することができる。
【００４９】
このように、クリアランスソナー等により検出される障害物との距離を表す情報画像を更に合成して表示画像を生成することにより、仮想視点画像ＶＰ上に表示される物体と自車両との直感的な位置関係に加えて、具体的な距離を把握することができる。また、仮想視点画像ＶＰ上には表示されないカメラ１０の死角領域に存在する障害物の存在やかかる障害物と自車両との距離を把握することもできる。
【００５０】
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００５１】
例えば、上述した実施形態では、仮想視点画像ＶＰに、カメラ１０の死角領域を表す画像（死角領域ＢＳＰ１、ＢＳＰ２）と、かかる死角領域における自車両の輪郭を表す画像（輪郭画像ＥＸＰ）を合成して表示画像ＤＰを生成するが、かかる態様には、限定されない。即ち、カメラ１０により撮像された画像そのものに、カメラ１０の死角領域を表す画像と、かかる死角領域における自車両の輪郭を表す画像を合成して表示画像を生成してもよい。これにより、上述した実施形態と同様の作用・効果（運転者がカメラの視点から見た自車両と撮像画像内の障害物との位置関係を把握することができる）を奏する。
【符号の説明】
【００５２】
１  表示装置（車両用表示装置）
１０、１０ａ〜１０ｄ  カメラ（撮像部）
２０  ＥＣＵ（画像生成部）
３０  ディスプレイ（表示部）
３０ａ  表示領域
【図１】
2016213708.tif 000003
【図２】
2016213708.tif 000004
【図３】
2016213708.tif 000005
【図４】
2016213708.tif 000006
【図５】
2016213708.tif 000007
【図６】
2016213708.tif 000008