(57)【要約】【課題】半ドアである場合でも、車体後方カメラ、車体左サイドカメラおよび車体右サイドカメラのそれぞれの撮像画像を用いた合成画像を適応的に補正して表示し、乗車者による車両後方の視認性の劣化を抑制する。【解決手段】映像表示装置５は、車両８の車体後方に配置され、車体後方を撮像するリアカメラ１１と、車両８の車体左側のドア近傍に配置され、車体左側の後方を撮像する左サイドカメラ１３と、車両８の車体右側のドア近傍に配置され、車体右側の後方を撮像する右サイドカメラ１２と、車体左側または車体右側のドアの一部が開扉している場合に、リアカメラ１１、左サイドカメラ１３および右サイドカメラ１２のそれぞれの撮像画像に基づく車体後方の周辺を映す合成画像を補正して電子バックミラー２１に表示するＥＣＵ３０と、を備える。【選択図】図１
2019171891.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載可能な映像表示装置であって、
前記車両の車体後方に配置され、前記車体後方を撮像するリアカメラと、
前記車両の車体左側のドア近傍に配置され、前記車体左側の後方を撮像する左サイドカメラと、
前記車両の車体右側のドア近傍に配置され、前記車体右側の後方を撮像する右サイドカメラと、
前記車体左側または前記車体右側のドアの一部が開扉している場合に、前記リアカメラ、前記左サイドカメラおよび前記右サイドカメラのそれぞれの撮像画像に基づく前記車体後方の周辺を映す合成画像を補正して表示部に表示するプロセッサと、を備える、
映像表示装置。
【請求項２】
前記車両の車体左側および車体右側のそれぞれのドアが閉扉している時の前記左サイドカメラおよび前記右サイドカメラの各参照撮像画像を記憶する記憶部、を更に備え、
前記プロセッサは、
前記左サイドカメラまたは前記右サイドカメラの参照撮像画像と、前記左サイドカメラまたは前記右サイドカメラの撮像画像との比較に応じて、前記車体左側または前記車体右側のドアの一部の開扉を判別する、
請求項１に記載の映像表示装置。
【請求項３】
前記プロセッサは、
前記車体左側または前記車体右側のドアの一部の開扉の割合を導出する、
請求項２に記載の映像表示装置。
【請求項４】
前記プロセッサは、
前記車体左側または前記車体右側のドアの一部の開扉の割合に応じて、前記左サイドカメラまたは前記右サイドカメラのずれ角度を導出し、そのずれ角度に基づいて、前記左サイドカメラまたは前記右サイドカメラの撮像画像の補正量を導出する、
請求項２または３に記載の映像表示装置。
【請求項５】
前記表示部は、
前記車両の運転席と助手席との間の空間上方に配置され、前記プロセッサからの制御信号に従って前記合成画像を表示する表示デバイスである、
請求項１に記載の映像表示装置。
【請求項６】
前記表示部は、
前記車両の運転席側に配置され、前記プロセッサからの制御信号に従って前記合成画像を表示する表示デバイスである、
請求項１に記載の映像表示装置。
【請求項７】
前記表示部は、
前記車両の助手席側に配置され、前記プロセッサからの制御信号に従って前記合成画像を表示する表示デバイスである、
請求項１に記載の映像表示装置。
【請求項８】
前記左サイドカメラは、
前記車体左側のドアに対して略垂直に設けられた左サイドミラーと一体的に配置される、
請求項１に記載の映像表示装置。
【請求項９】
前記右サイドカメラは、
前記車体右側のドアに対して略垂直に設けられた右サイドミラーと一体的に配置される、
請求項１に記載の映像表示装置。
【請求項１０】
車両に搭載可能な映像表示装置における映像表示方法であって、
前記車両の車体後方に配置されるリアカメラにより、前記車体後方を撮像するステップと、
前記車両の車体左側のドア近傍に配置される左サイドカメラにより、前記車体左側の後方を撮像するステップと、
前記車両の車体右側のドア近傍に配置される右サイドカメラにより、前記車体右側の後方を撮像するステップと、
前記車体左側または前記車体右側のドアの一部が開扉している場合に、前記リアカメラ、前記左サイドカメラおよび前記右サイドカメラのそれぞれの撮像画像に基づく前記車体後方の周辺を映す合成画像を補正するステップと、
補正後の前記合成画像を表示部に表示するステップと、を有する、
映像表示方法。
【請求項１１】
請求項１〜９のうちいずれか一項に記載の映像表示装置を含む、
車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両に搭載可能な映像表示装置、映像表示方法および車両に関する。
【背景技術】
【０００２】
従来、車両のサイドドアの近傍に設けられたカメラに車両右後方の周辺の撮影を指示し、その撮影された画像を表示部の該当領域に表示する車両周辺監視装置が知られている（例えば、特許文献１参照）。この車両周辺監視装置は、車両後方カメラで撮影された車両後方画像と、車両右サイドカメラで撮影された車両右後方画像と、車両左サイドカメラで撮影された車両左後方画像とを、表示部の分割された３つの領域にそれぞれ表示する。また、この車両周辺監視装置は、半ドア等、例えば右ハンドル車両の運転席側のドアが開扉であると判定された場合に、ドアが閉扉の状態で撮影された画像と誤って認識されないように、上述した撮影の指示から画像の表示までの一連の処理を中止する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２２４８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の車両周辺監視装置の構成では、表示部（例えば電子バックミラーもしくは電子ルームミラーのような表示デバイス）に車両後方の広域な画像を表示するために、３台のカメラ（つまり、上述した車両後方カメラ、車両右サイドカメラおよび車両左サイドカメラ）により撮像された撮像画像を用いて、広域な範囲を映す合成画像を生成することは行われていない。このため、特許文献１に記載の技術を用いても、上述したような半ドア等、ドアの開扉が検知されると、表示部（例えば電子バックミラーもしくは電子ルームミラーのような表示デバイス）にサイドカメラで撮影された画像が表示されなくなるので、運転者等の乗車者は十分に車両後方の確認を行うことが難しかった。
【０００５】
本開示は、上述した従来の状況に鑑みて案出され、車体の左右のドアの少なくとも一方が半ドアである場合でも、車体後方カメラ、車体左サイドカメラおよび車体右サイドカメラのそれぞれの撮像画像を用いた合成画像を適応的に補正して表示し、乗車者による車両後方の視認性の劣化を抑制する車両に搭載可能な映像表示装置、映像表示方法および車両を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示は、車両に搭載可能な映像表示装置であって、前記車両の車体後方に配置され、前記車体後方を撮像するリアカメラと、前記車両の車体左側のドア近傍に配置され、前記車体左側の後方を撮像する左サイドカメラと、前記車両の車体右側のドア近傍に配置され、前記車体右側の後方を撮像する右サイドカメラと、前記車体左側または前記車体右側のドアの一部が開扉している場合に、前記リアカメラ、前記左サイドカメラおよび前記右サイドカメラのそれぞれの撮像画像に基づく前記車体後方の周辺を映す合成画像を補正して表示部に表示するプロセッサと、を備える、車両に搭載可能な映像表示装置を提供する。
【０００７】
また、本開示は、車両に搭載可能な映像表示装置における映像表示方法であって、前記車両の車体後方に配置されるリアカメラにより、前記車体後方を撮像するステップと、前記車両の車体左側のドア近傍に配置される左サイドカメラにより、前記車体左側の後方を撮像するステップと、前記車両の車体右側のドア近傍に配置される右サイドカメラにより、前記車体右側の後方を撮像するステップと、前記車体左側または前記車体右側のドアの一部が開扉している場合に、前記リアカメラ、前記左サイドカメラおよび前記右サイドカメラのそれぞれの撮像画像に基づく前記車体後方の周辺を映す合成画像を補正するステップと、補正後の前記合成画像を表示部に表示するステップと、を有する、映像表示方法を提供する。
【０００８】
また、本開示は、車両に搭載可能な映像表示装置を含む、車両を提供する。
【発明の効果】
【０００９】
本開示によれば、車体の左右のドアの少なくとも一方が半ドアである場合でも、車体後方カメラ、車体左サイドカメラおよび車体右サイドカメラのそれぞれの撮像画像を用いた合成画像を適応的に補正して表示でき、乗車者による車両後方の視認性の劣化を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る映像表示装置が搭載された車両の概略構成例を示す模式図
【図２】実施の形態１に係る映像表示装置のハードウェア構成例を示すブロック図
【図３】車両に配置されたリアカメラ、右サイドカメラおよび左サイドカメラの画角、撮像エリアおよび電子バックミラーに表示されるズレ補正処理の前後の合成画像を示す図
【図４】実施の形態１に係る映像表示装置における半ドア検出に基づく画像補正手順を示すフローチャート
【図５】ズレ角度に対応する画素単位の補正量（例えば画素数）が登録されたズレ角度補正テーブルの登録内容を示す図
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、本開示に係る車両に搭載可能な映像表示装置、映像表示方法および車両を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
図１は、実施の形態１に係る映像表示装置５が搭載された車両８の概略構成例を示す模式図である。図１では、車両８を上方から見た場合、車両８を構成する主要部の配置が示される。図１の前、後、左、右の方向は、それぞれ図１の紙面の上、下、左、右の方向に従うとする。車両８は、前後左右に配置された４つのタイヤ８１，８２，８３，８４のうち、例えば駆動装置９０によって後方の左右のタイヤ８３，８４が駆動輪として回転する後輪駆動式の車両である。車室内には、運転席９４、助手席９５および後部座席９６が配置される。
【００１３】
映像表示装置５は、３台のカメラ（例えば、リアカメラ１１、右サイドカメラ１２および左サイドカメラ１３）と、３台のディスプレイ（例えば、電子バックミラー２１、右ディスプレイ２２および左ディスプレイ２３）と、電子制御ユニット（ＥＣＵ：Electronic Control Unit）３０とを含む構成である。電子バックミラーは電子ルームミラーとも称されることがある。
【００１４】
リアカメラ１１は、車体８ｚの後方に位置するリアウインドウの上部に配置され、車両後方の画像（中央後方画像）を撮像する。なお、リアカメラ１１は、リアウインドウの上部に限らず、リアウインドウの周辺に配置するようにしてもよい。
【００１５】
右サイドカメラ１２は、右ドア８０Ｒに設置された右サイドミラー８７に配置され、車両右後方の画像（右後方画像）を撮像する。
【００１６】
左サイドカメラ１３は、左ドア８０Ｌに設置された左サイドミラー８８に配置され、車両左後方の画像（左後方画像）を撮像する。
【００１７】
電子バックミラー２１は、運転者が視認し易い位置であるフロントガラスの中央上部に配置される。電子バックミラー２１は、例えば液晶モニタの前面に、通電状態で透過性を有し、非通電状態でミラー（つまり、鏡）となるガラス素材が積層された構造を有する。電子バックミラー２１は、ディスプレイとして機能し、また、通常のルームミラーのようにミラーとして機能する。電子バックミラー２１がミラーとして機能する場合、運転者は、電子バックミラー２１に映る車両後方の状況を視認できる。電子バックミラー２１が表示デバイス（つまり、ディスプレイ）として機能する場合、運転者は、ディスプレイに表示された各種の情報（例えば、車両の運転状態、拡張された車両後方の画像等）を視認できる。
【００１８】
右ディスプレイ２２は、インストルメントパネル８６の右サイドミラー８７側に配置され、各種の情報を表示する。例えば、右ディスプレイ２２には、右サイドミラー８７から見える車両後方の画像や後述する合成画像が表示される。
【００１９】
左ディスプレイ２３は、インストルメントパネル８６の左サイドミラー８８側に配置され、各種の情報を表示する。例えば、左ディスプレイ２３には、左サイドミラー８８から見える車両後方の画像や後述する合成画像が表示される。
【００２０】
ＥＣＵ３０は、例えば運転席９４と助手席９５との空間に配置される。ＥＣＵ３０は、各種の電子部品を実装した電子基板を内蔵し、車両８に搭載された各種の電子機器を制御する。実施の形態１では、ＥＣＵ３０は、上述した３台のカメラ（つまり、リアカメラ１１、右サイドカメラ１２、左サイドカメラ１３）、および３台のディスプレイ（電子バックミラー２１、右ディスプレイ２２、左ディスプレイ２３）の動作を制御する。また、ＥＣＵ３０は、例えば車両８に搭載されているパネルメータやルームライト等の動作を制御してもよい。なお、車両８のエンジン制御はＥＣＵ３０とは異なる他のＥＣＵによって行われてもよいし、ＥＣＵ３０によって行われてもよい。
【００２１】
図２は、実施の形態１に係る映像表示装置５のハードウェア構成例を示すブロック図である。映像表示装置５では、ＥＣＵ３０が、リアカメラ１１、右サイドカメラ１２、左サイドカメラ１３、電子バックミラー２１、右ディスプレイ２２および左ディスプレイ２３のそれぞれとの間でデータもしくは情報の入出力が可能に接続される。ＥＣＵ３０は、ＣＰＵ３１１、メモリ３１２、入力インターフェース３１３および出力インターフェース３１４を含む構成である。
【００２２】
メモリ３１２は、例えばＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）とを用いて構成され、ＣＰＵ３１１の動作の実行に必要なプログラムやデータ、更には、動作中に生成されたデータ又は情報を一時的に保持する。ＲＡＭは、例えばＣＰＵ３１１の動作時に使用されるワークメモリである。ＲＯＭは、例えばＣＰＵ３１１を制御するためのプログラム及びデータを予め記憶して保持する。
【００２３】
入力インターフェース３１３には、リアカメラ１１、右サイドカメラ１２および左サイドカメラ１３が接続され、リアカメラ１１、右サイドカメラ１２および左サイドカメラ１３から入力される撮像画像のデータを入力する。なお、図２では、インターフェースを便宜的に「Ｉ／Ｆ」と略記している。
【００２４】
出力インターフェース３１４には、電子バックミラー２１、右ディスプレイ２２および左ディスプレイ２３が接続され、電子バックミラー２１、右ディスプレイ２２および左ディスプレイ２３に対し、ＣＰＵ３１１により生成された合成画像または補正後の合成画像のデータを出力する。
【００２５】
なお、ディスプレイの代わりに、プロジェクタを用いることも可能である。その場合、ＥＣＵ３０には、プロジェクタ（図示略）が接続される。ＥＣＵ３０は、例えば、電子バックミラー２１をスクリーンとするために白色表示にしておく。プロジェクタは、電子バックミラー２１に向けて、電子バックミラー２１で表示される合成画像と同じ合成画像を投影する。これにより、電子バックミラー２１には、拡張された後方画像（つまり、後述する合成画像）が映し出される。
【００２６】
ＣＰＵ３１１は、映像表示装置５（言い換えると、ＥＣＵ３０）の制御部として機能し、映像表示装置５の各部の動作を全体的に統括するための制御処理、映像表示装置５の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。ＣＰＵ３１１は、メモリ３１２に記憶されたプログラムおよびデータに従って動作する。
【００２７】
ＣＰＵ３１１は、左右それぞれのドアが正常に閉じられた場合（つまり、閉扉された場合）に、右サイドカメラ１２および左サイドカメラ１３によってそれぞれ撮像された左右の後方画像を左右の初期後方画像として、メモリ３１２に保持しておく。
【００２８】
ＣＰＵ３１１は、画像合成部３１１ａ、ズレ角度算出部３１１ｂ、およびズレ補正部３１１ｃを有する。言い換えると、画像合成部３１１ａ、ズレ角度算出部３１１ｂ、およびズレ補正部３１１ｃは、ハードウェア資源であるＣＰＵ３１１およびメモリ３１２の協働により、ＣＰＵ３１１がメモリ３１２に記憶されるプログラムおよびデータを読み出して実行することで、機能的に実現可能となる。
【００２９】
画像合成部３１１ａは、リアカメラ１１で撮像された中央後方画像に、右サイドカメラ１２で撮像された右後方画像と、左サイドカメラ１３で撮像された左後方画像とを、それぞれの画像において重複する部分が一致するように重畳して、中央後方画像よりも広域な範囲が映る合成画像を生成する。画像の合成には、例えば公知技術である視点変換処理およびスティッチング処理の技術が用いられる。
【００３０】
画像合成部３１１ａは、視点変換処理において、例えば左サイドカメラ１３により撮像された左後方画像を、電子バックミラー２１の位置に左サイドカメラ１３が仮想的に配置されたような視点とする左後方画像に変換する。同様に、画像合成部３１１ａは、視点変換処理において、例えば右サイドカメラ１２により撮像された右後方画像を、電子バックミラー２１の位置に右サイドカメラ１２が仮想的に配置されたような視点とする右後方画像に変換する。
【００３１】
より具体的には、画像合成部３１１ａは、例えば次の手順で、視点変換処理を行う。画像合成部３１１ａは、複数のカメラで撮像して得られた２次元画像データを３次元投影面形状データにポリゴン単位で投影し、所定の視点方向から視た投影画像データを生成する。具体的に、画像合成部３１１ａは、あらかじめ複数の２次元画像データを合成して３次元画像データを生成するための３次元モデルを用意しておく。画像合成部３１１ａは、複数の２次元画像データを３次元モデルの各ポリゴンに貼り付けるテクスチャマッピングを行う。画像合成部３１１ａは、テクスチャマッピング処理を行い、複数の２次元画像データを１つの３次元画像データに合成する。画像合成部３１１ａは、３次元画像データを所定の視点から視た２次元投影画像データに変換する。画像合成部３１１ａは、２次元投影画像データを電子バックミラー２１等のディスプレイに表示するための表示用データに変換して出力する。
【００３２】
一方、スティッチング処理は、複数の画像を重ねる際、各画像に含まれる複数の特徴点を抽出し、複数の画像の中で重複する特徴点同士が一致するように、各画像の位置を画素単位で調整する技術である。
【００３３】
画像合成部３１１ａは、視点変換処理が行われた右後方画像（または左後方画像）と、中央後方画像とを用いてスティッチング処理を行う。画像合成部３１１ａは、２つの画像に同じ領域が映った共通部分がある場合、上述した画像中のそれぞれの特徴点を用いて、これらの共通部分が重なるように、合成画像を生成する。
【００３４】
また、画像合成部３１１ａは、電子バックミラー２１に表示される合成画像を右ディスプレイ２２あるいは左ディスプレイ２３でも表示可能なように、右ディスプレイ２２あるいは左ディスプレイ２３の視点に合わせるように、上述した合成画像に対して視点変換処理を行う。ＣＰＵ３１１は、視点変換処理後の上述した合成画像を右ディスプレイ２２および左ディスプレイ２３にそれぞれ表示させる。これにより、運転者は、電子バックミラー２１、右ディスプレイ２２および左ディスプレイ２３に表示される、各視点に適した異なる合成画像を見ることができ、車両の後方の状況を正確かつ十分に把握できる。
【００３５】
なお、画像合成部３１１ａは、右ディスプレイ２２あるいは左ディスプレイ２３に表示される合成画像を、電子バックミラー２１に表示される合成画像と同じにしてもよい。これにより、視点変換の処理を省くことができる。また、運転者および乗車者は、電子バックミラー２１、右ディスプレイ２２、左ディスプレイ２３のうち、近くにあるディスプレイを見れば、同じ後方画像を視認できる。
【００３６】
ズレ角度算出部３１１ｂは、半ドアを検知し、半ドアが検知された場合、正常に閉鎖された（閉扉）状態からドアが開かれている角度、つまりズレ角度を算出する。
【００３７】
ズレ補正部３１１ｃは、ドア（つまり、右ドア８０Ｒ，左ドア８０Ｌ）のズレ角度に応じて、中央後方画像に重畳される、右後方画像または左後方画像の位置（補正量）を画素単位で補正する。
【００３８】
図３は、車両８に配置されたリアカメラ１１、右サイドカメラ１２および左サイドカメラ１３の画角、撮像エリアＳＡおよび電子バックミラー２１に表示されるズレ補正処理の前後の合成画像ＭＧ０，ＭＧ１を示す図である。
【００３９】
リアカメラ１１によって画角ａｇ１で中央エリアＳＡ１が撮像された中央後方画像ＧＺ１には、車体８ｚの後部が写り込まない。右サイドカメラ１２によって右エリアＳＡ２が撮像された右後方画像ＧＺ２には、車体８ｚの後部が写り込む。したがって、右後方画像ＧＺ２のうち、車体８ｚの後部が写っていない、右サイドカメラ１２の画角ａｇ２に含まれる部分の画像が合成画像の生成に使用される。同様に、左サイドカメラ１３によって左エリアＳＡ３が撮像された左後方画像ＧＺ３には、車体８ｚの後部が写り込む。したがって、左後方画像ＧＺ３のうち、車体８ｚの後部が写っていない、左サイドカメラ１３の画角ａｇ３に含まれる部分の画像が合成画像の生成に使用される。
【００４０】
ＥＣＵ３０は、前述した視点変換処理およびスティッチング処理の技術を用いて、中央後方画像に、右後方画像および左後方画像の一部が重なるように、右後方画像および左後方画像を重畳して合成画像を生成する。生成された合成画像は、リアカメラ１１で撮像された中央後方画像だけと比べ、拡張された（つまり、広域の範囲が映る）後方画像として表示される。
【００４１】
半ドアが検知された場合には、正常に閉められた（つまり、右ドア８０Ｒおよび左ドア８０Ｌが完全に閉扉された）場合に生成された合成画像と比較すると、中央後方画像と、右後方画像または左後方画像との間にズレが生じる。図３では、右ドア８０Ｒが半ドアであり、合成画像ＭＧ０は、中央後方画像ＧＺ１と右後方画像ＧＺ２との間に画像ズレが生じている。例えば、合成画像ＭＧ０に映っている車両がダブっている。一方、左ドア８０Ｌは閉扉されている。
【００４２】
後述するズレ補正処理が施された合成画像ＭＧ１では、右ドア８０Ｒが半ドアであっても、中央後方画像ＧＺ１と、右後方画像ＧＺ２との間に生じた画像ズレが解消され、拡張された後方画像が広がるように表示される。
【００４３】
次に、実施の形態１に係る映像表示装置５の動作について、図４および図５を参照して説明する。図４は、実施の形態１に係る映像表示装置５における半ドア検出に基づく画像補正手順を示すフローチャートである。
【００４４】
図４において、ＥＣＵ３０のＣＰＵ３１１は、入力インターフェース３１３を介して右サイドカメラ１２および左サイドカメラ１３からそれぞれ右後方画像および左後方画像を取得する（Ｓ１）。また、ＣＰＵ３１１は、入力インターフェース３１３を介してリアカメラ１１から中央後方画像を取得する（Ｓ２）。これらの画像は、同時に撮像されるので、合成画像を生成した際、時間差による画像のズレは生じない。ＣＰＵ３１１は、取得した中央後方画像、右後方画像および左後方画像をメモリ３１２に記憶する。
【００４５】
ＣＰＵ３１１は、メモリ３１２に記憶された右後方画像および左後方画像から右ドア８０Ｒおよび左ドア８０Ｌを含む画像部分をそれぞれ抽出する（Ｓ３）。なお、以後の処理では、抽出されたドア部分を含む画像部分でなく、撮像された後方画像全体が用いられてもよい。
【００４６】
ズレ角度算出部３１１ｂは、右サイドカメラ１２で撮像された右後方画像（右の車体後方画像）と、メモリ３１２に保持された右の初期後方画像（右の初期車体後方画像）とを比較し、右サイドカメラ１２のズレ角度を算出する（Ｓ４）。同様に、ズレ角度算出部３１１ｂは、左サイドカメラ１３で撮像された左後方画像（左の車体後方画像）と、メモリ３１２に保持された左の初期後方画像（左の初期車体後方画像）とを比較し、左サイドカメラ１３のズレ角度を算出する。
【００４７】
ズレ角度算出部３１１ｂは、右サイドカメラ１２または左サイドカメラ１３で撮像された車体後方画像が占める面積が、初期車体後方画像が占める面積に対する割合を基に、ズレ角度を算出する。この割合が小さい程、ズレ角度が大きく、つまり半ドアの開き具合が大きくなる。
【００４８】
ズレ角度算出部３１１ｂは、右サイドカメラ１２のズレ角度が閾値を超えているか、つまり右サイドカメラ１２にズレが発生しているか否かを判別する（Ｓ５）。右サイドカメラ１２のズレ角度が閾値を超えている場合、ズレ角度算出部３１１ｂは、右ドア８０Ｒが半ドアであると判断する。同様に、ズレ角度算出部３１１ｂは、左サイドカメラ１３のズレ角度が閾値を超えているか、つまり左サイドカメラ１３にズレが発生しているか否かを判別する。左サイドカメラ１３のズレ角度が閾値を超えている場合、ズレ角度算出部３１１ｂは、左ドア８０Ｌが半ドアであると判断する。なお、半ドアが検知された場合、ＣＰＵ３１１は、出力インターフェース３１４を介して、３台のディスプレイ（電子バックミラー２１、右ディスプレイ２２、左ディスプレイ２３）のいずれかに半ドアであることを表示し、運転者に注意を促してもよい。
【００４９】
ズレが発生していない場合（Ｓ５、ＮＯ）、画像合成部３１１ａは、ステップＳ２で取得された中央後方画像に、ステップＳ１で取得された左後方画像および右後方画像を一部重畳させて合成画像を生成する（Ｓ７）。
【００５０】
一方、ズレが発生している場合（Ｓ５、ＹＥＳ）、ズレ補正部３１１ｃは、合成画像の生成に使用される前の左後方画像および右後方画像の少なくとも一方に対し、ズレ角度補正テーブル１５０（図５参照）を用いて、ズレ角度に相当する画素数分だけ画素位置をずらすズレ補正処理を行う（Ｓ６）。画像合成部３１１ａは、ステップＳ７において、ステップＳ２で取得された中央後方画像に、ステップＳ６で少なくとも一方に対してズレ補正処理が行われた左後方画像および右後方画像を一部重畳させて合成画像を生成する。
【００５１】
ＣＰＵ３１１は、出力インターフェース３１４を介して、電子バックミラー２１に制御信号を送出し、合成画像（例えば図３に示す合成画像ＭＧ１参照））を表示させる（Ｓ８）。また、ＣＰＵ３１１は、出力インターフェース３１４を介して、右ディスプレイ２２および左ディスプレイ２３に制御信号を送出し、合成画像を表示可能である。この後、ＣＰＵ３１１は図４に示す処理を終了する。
【００５２】
図５は、ズレ角度に対応する画素単位の補正量（例えば画素数）が登録されたズレ角度補正テーブル１５０の登録内容を示す図である。このズレ角度補正テーブル１５０は、メモリ３１２に保持されている。ズレ角度補正テーブル１５０には、例えばズレ角度５°、１０°、１５°等それぞれに対応する画素数１０、２０、３０ピクセル等が登録されている。ズレ角度補正テーブル１５０に登録されていない中間の値は、補間処理によって算出される。
【００５３】
例えば、右サイドカメラ１２のズレ角度が５°であると算出された場合には、ＣＰＵ３１１は、図５に示すズレ角度補正テーブル１５０に従って、右後方画像を右方向に１０ピクセル分の画素位置をずらすズレ補正処理を行う。また例えば、左サイドカメラ１３のズレ角度が５°であると算出された場合には、ＣＰＵ３１１は、図５に示すズレ角度補正テーブル１５０に従って、左後方画像を左方向に１０ピクセル分の画素位置をずらすズレ補正処理を行う。他のズレ角度においても同様であるため、他のズレ角度が生じた場合のＣＰＵ３１１によるズレ補正処理についての説明を省略する。
【００５４】
以上により、実施の形態１に係る映像表示装置５は、車両８に搭載可能である。映像表示装置５は、車両８の車体後方に配置され、車体後方を撮像するリアカメラ１１と、車両８の車体左側のドア近傍に配置され、車体左側の後方を撮像する左サイドカメラ１３と、車両８の車体右側のドア近傍に配置され、車体右側の後方を撮像する右サイドカメラ１２と、車体左側または車体右側のドアの一部が開扉している場合に、リアカメラ１１、左サイドカメラ１３および右サイドカメラ１２のそれぞれの撮像画像に基づく車体後方の周辺を映す合成画像を補正して電子バックミラー２１（表示部の一例）に表示するＥＣＵ３０と、を備える。
【００５５】
これにより、映像表示装置５または車両８は、車体の左右のドアの少なくとも一方が半ドアである場合でも、リアカメラ１１、左サイドカメラ１３および右サイドカメラ１２のそれぞれの撮像画像を用いた合成画像を適応的に補正して表示できるので、乗車者による車両後方の視認性の劣化を抑制できる。
【００５６】
また、映像表示装置５は、車両の車体左側および車体右側のそれぞれのドアが閉扉している時の左サイドカメラ１３および右サイドカメラ１２の各初期後方画像（各参照撮像画像の一例）を記憶するメモリ３１２（記憶部の一例）、を更に備える。ＥＣＵ３０（プロセッサの一例）は、左サイドカメラ１３または右サイドカメラ１２の初期後方画像（参照撮像画像の一例）と、左サイドカメラ１３または右サイドカメラ１２の撮像画像との比較に応じて、車体左側または車体右側のドアの一部の開扉を判別する。これにより、映像表示装置５または車両８は、左サイドカメラおよび右サイドカメラのうち少なくとも一方で半ドア状態を的確に検知できる。
【００５７】
また、ＥＣＵ３０は、車体左側または車体右側のドアの一部の開扉の割合を導出する。これにより、映像表示装置５または車両８は、車体左側のドアまたは車体右側のドアがどのくらいの割合で開扉しているかを定量的に導き出すことができる。
【００５８】
また、ＥＣＵ３０は、車体左側または車体右側のドアの一部の開扉の割合に応じて、左サイドカメラ１３または右サイドカメラ１２のズレ角度を導出し、そのズレ角度に基づいて、左サイドカメラ１３または右サイドカメラ１２の撮像画像の補正量を導出する。これにより、映像表示装置５または車両８は、車体左側または車体右側のドアの一部の開扉によって生じた左サイドカメラまたは右サイドカメラのズレ角度を的確に導き出せるので、開扉がない時に得られる参照撮像画像を取得可能な画像の補正量を正確に導き出せる。
【００５９】
また、電子バックミラー２１（表示部の一例）は、車両８の運転席９４と助手席９５との間のフロントガラスの上部（空間上方）に配置され、ＥＣＵ３０からの制御信号に従って合成画像を表示する表示デバイスである。これにより、ドライバーだけでなく助手席や後方座席等の乗車者も車両後方の様子を的確かつ安全に視認できる。ここでいう安全は、例えば車両８に乗車中に身体を傾けるように動かすことなくそれぞれのシートに座ったままでいう意味で安全であることを意味している。
【００６０】
また、右ディスプレイ２２は、車両の運転席９４側に配置され、ＥＣＵ３０からの制御信号に従って合成画像を表示する表示デバイスである。これにより、ドライバーは、例えばルームミラーを見なくても、右サイドディスプレイに表示された合成画像を見るだけで、車両後方の広域な様子を的確に把握できる。
【００６１】
また、左ディスプレイ２３は、車両の助手席９５側に配置され、ＥＣＵ３０からの制御信号に従って合成画像を表示する表示デバイスである。これにより、助手席の乗車者は、例えばルームミラー（＝バックミラー）を見なくても、左サイドディスプレイに表示された合成画像を見るだけで、車両後方の広域な様子を的確に把握できる。
【００６２】
また、左サイドカメラ１３は、車体左側のドアに対して略垂直に設けられた左サイドミラー８８と一体的に配置される。これにより、映像表示装置５または車両８は、左サイドカメラの撮像画像から車体左側のドアの半ドアを簡易に検知できる。
【００６３】
また、右サイドカメラ１２は、車体右側のドアに対して略垂直に設けられた右サイドミラー８７と一体的に配置される。これにより、映像表示装置５または車両８は、右サイドカメラの撮像画像から車体右側のドアの半ドアを簡易に検知できる。
【００６４】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【００６５】
本開示は、車体の左右のドアの少なくとも一方が半ドアである場合でも、車体後方カメラ、車体左サイドカメラおよび車体右サイドカメラのそれぞれの撮像画像を用いた合成画像を適応的に補正して表示し、乗車者による車両後方の視認性の劣化を抑制する車両に搭載可能な映像表示装置、映像表示方法および車両として有用である。
【符号の説明】
【００６６】
５  映像表示装置
８  車両
１１  リアカメラ
１２  右サイドカメラ
１３  左サイドカメラ
２１  電子バックミラー
３０  ＥＣＵ
３１１  
３１１ａ  画像合成部
３１１ｂ  ズレ角度算出部
３１１ｃ  ズレ補正部
３１２  メモリ
３１３  入力インターフェース
３１４  出力インターフェース
【図１】
2019171891.tif 000003
【図２】
2019171891.tif 000004
【図３】
2019171891.tif 000005
【図４】
2019171891.tif 000006
【図５】
2019171891.tif 000007