(57)【要約】【課題】後席のサイドガラス越しの後方視界の視認性を向上可能な車両用視認装置及び車両用視認画像表示方法を提供することを目的とする。【解決手段】インナーミラーカメラが設置された位置よりも車両前方に仮想視点２２を設定し、撮影画像を仮想視点２２から見た画像に変換する。その際に、車両後方の画像が投影される仮想スクリーン２４を設定し、仮想視点２２から見た後方視界に変換する。そして、仮想スクリーン２４に投影した画像をそのまま平面になるように広げて、車室内の画像に透明度を付与して合成してモニタ１６に表示する。【選択図】図３
2018030526.tif 000002
【特許請求の範囲】
【請求項１】
車外から車両後方を撮影する撮影部と、
前記撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が前記車室内撮影画像の撮影位置から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示する表示部と、
を備えた車両用視認装置。
【請求項２】
前記表示部は、前記撮影画像及び前記車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた仮想スクリーンに投影した撮影画像になるようにそれぞれ変換する画像処理を施して表示する請求項１に記載の車両用視認装置。
【請求項３】
前記表示部は、前記撮影画像及び前記車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた後方に凸の曲率を有する仮想スクリーンにそれぞれ投影した撮影画像になるようにそれぞれ変換し、変換したそれぞれの撮影画像を平面に展開した撮影画像に変換する画像処理を施して表示する請求項１に記載の車両用視認装置。
【請求項４】
前記車室内撮影画像を撮影する車室内撮影部を更に備えた請求項１〜３の何れか１項に記載の車両用視認装置。
【請求項５】
前記表示部は、インナーミラーの位置に配置されて表示面側に曲面形状のハーフミラーを有する請求項１〜３の何れか１項に記載の車両用視認装置。
【請求項６】
前記表示部は、インナーミラーの位置に配置され、表示された撮影画像と異なる視点のハーフミラーを表示面側に有する請求項１〜３の何れか１項に記載の車両用視認装置。
【請求項７】
車外から車両後方を撮影部によって撮影し、
前記撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が前記車室内撮影画像の撮影位置から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示部に表示する車両用視認画像表示方法。
【請求項８】
前記画像処理は、前記撮影画像及び前記車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた仮想スクリーンに投影した撮影画像になるようにそれぞれ変換する処理である請求項７に記載の車両用視認画像表示方法。
【請求項９】
前記画像処理は、前記撮影画像及び前記車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた後方に凸の曲率を有する仮想スクリーンにそれぞれ投影した撮影画像になるようにそれぞれ変換し、変換したそれぞれの撮影画像を平面に展開した撮影画像に変換する処理である請求項７に記載の車両用視認画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺を視認するために車両周辺を撮影して撮影画像を表示する車両用視認装置及び車両用視認画像表示方法に関する。
【背景技術】
【０００２】
特許文献１では、車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた車両の周辺領域を示す周辺画像を生成する生成手段と、前記仮想視点からみた車両を示す車両画像を取得する取得手段と、車両画像の一部分の特定領域の透過率を、他の部分の透過率より高める透過手段と、前記周辺画像と前記車両画像とを合成し合成画像を生成する合成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、を備えた画像処理装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６０６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のように画像を合成して、光学式のインナーミラーと同じような画像を表示する場合、後席のサイドガラスの見かけ上の幅が、光学ミラーと同様に、実際の後方ガラスと後席のサイドガラスの幅の比よりも狭く見える。そのため、光学ミラーと同様に、後席のサイドガラス越しに見える領域が狭くなってしまう。
【０００５】
本発明は、上記事実を考慮して成されたもので、後席のサイドガラス越しの後方視界の視認性を向上可能な車両用視認装置及び車両用視認画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために請求項１に記載の発明は、車外から車両後方を撮影する撮影部と、前記撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が前記車室内撮影画像の撮影位置から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示する表示部と、を備える。
【０００７】
請求項１に記載の発明によれば、撮影部では、車外から車両後方が撮影される。撮影部は、例えば、後方のバンパ等に設けられ、車両後方を撮影する。或いは、ドアミラー及び後方のバンパ等のそれぞれに設けて車両後方を撮影してもよい。
【０００８】
そして、表示部では、撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が第１撮影部から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示される。これにより、後席のサイドガラスが車室内撮影画像の撮影位置から実際に見た見かけ上の幅よりも長くなるので、後席のサイドガラス越しの後方視界の視認性を向上することができる。
【０００９】
なお、表示部は、請求項２に記載の発明のように、撮影画像及び車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた仮想スクリーンに投影した撮影画像になるようにそれぞれ変換する画像処理を施して表示してもよい。これにより、後席のサイドガラスが第１撮影部の位置から実際に見た見かけ上の幅よりも長くすることができる。
【００１０】
また、表示部は、請求項３に記載の発明のように、撮影画像及び車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた後方に凸の曲率を有する仮想スクリーンに投影した撮影画像になるようにそれぞれ変換し、変換したそれぞれの撮影画像を平面に展開した撮影画像に変換する画像処理を施して表示してもよい。これにより、後席のサイドガラスがインナーミラー位置から実際に見た見かけ上の幅よりも長くすることができる。
【００１１】
また、車室内撮影画像は、予め撮影しておいたものを用いてもよいが、請求項４に記載の発明のように、車室内撮影画像を撮影する車室内撮影部を更に備えてもよい。これにより、車室内の乗員も表示することが可能となり、実際の車室内を再現することが可能となる。
【００１２】
また、表示部は、請求項５に記載の発明のように、インナーミラーの位置に配置されて表示面側に曲面形状のハーフミラーを有してもよい。表示部が故障してもハーフミラーによって後方視界を確保できる。また、曲面形状であるため、後席のサイドガラスの幅が狭く見ることが多少緩和され、表示部に表示された画像と、ハーフミラーの画像の差が抑制されて、表示部が非表示の際の違和感が抑制される。
【００１３】
また、表示部は、請求項６に記載の発明のように、インナーミラーの位置に配置され、表示された撮影画像と異なる視点のハーフミラーを表示面側に有してもよい。
【００１４】
また、請求項７に記載の発明は、車外から車両後方を撮影部によって撮影し、前記撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が前記車室内撮影画像の撮影位置から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示部に表示する。
【００１５】
請求項７に記載の発明によれば、撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が第１撮影部から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示部に表示するので、後席のサイドガラス越しの後方視界の視認性を向上することができる。
【００１６】
なお、画像処理は、請求項８に記載の発明のように、撮影画像及び車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた仮想スクリーンに投影した撮影画像になるようにそれぞれ変換する処理を適用してもよい。これにより、後席のサイドガラスが第１撮影部の位置から実際に見た見かけ上の幅よりも長くすることができる。
【００１７】
また、画像処理は、請求項９に記載の発明のように、撮影画像及び車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた後方に凸の曲率を有する仮想スクリーンにそれぞれ投影した撮影画像になるようにそれぞれ変換し、変換したそれぞれの撮影画像を平面に展開した撮影画像に変換する処理を適用してもよい。これにより、後席のサイドガラスがインナーミラー位置から実際に見た見かけ上の幅よりも長くすることができる。
【発明の効果】
【００１８】
以上説明したように本発明によれば、後席のサイドガラス越しの後方視界の視認性を向上可能な車両用視認装置を提供することできる、という効果がある。
【図面の簡単な説明】
【００１９】
【図１】本実施形態に係る車両用視認装置の概略構成を示すブロック図である。
【図２】後席のサイドガラスの見かけ上の幅の方が狭く見えることを説明するための図である。
【図３】（Ａ）は仮想視点及び仮想スクリーンの一例を示す図であり、（Ｂ）は（Ａ）の上視図である。
【図４】車両のインナーミラーの位置から窓越しに見える仮想スクリーンの位置をマーキングした例を示す図であり、（Ａ）は仮想視点と車両の位置が近い場合を示し、（Ｂ）は仮想視点から車両が離れている場合を示す。
【図５】本実施形態に係る車両用視認装置のモニタに表示する表示画像の一例を示す図である。
【図６】本実施形態に係る車両用視認装置の制御装置で行われる処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る車両用視認装置の概略構成を示すブロック図である。
【００２１】
本実施形態に係る車両用視認装置１０は、インナーミラーカメラ１２、後方カメラ１４、モニタ１６、及び制御装置１８を備えている。
【００２２】
インナーミラーカメラ１２は、第１撮影部に対応し、車室内を含む車両後方を撮影して撮影結果を制御装置１８に出力する。インナーミラーカメラ１２は、例えば、車室内の前両席間中央前上方のフロントウインドシールドガラスの上部の天井付近に配置される。
【００２３】
後方カメラ１４は、第２撮影部に対応し、車両後方を撮影して撮影結果を制御装置１８に出力する。後方カメラ１４は、例えば、車外のリアバンパ等に配置される。
【００２４】
モニタ１６は、インナーミラー内に設けられると共に、制御装置１８に接続されており、制御装置１８の制御によって、インナーミラーカメラ１２及び後方カメラ１４の各々の撮影結果を用いて後方視認用画像を生成して表示する。なお、インナーミラーのモニタ１６の表示面側にはハーフミラーが設けられ、モニタ１６が非表示の場合にハーフミラーによって後方視界を確認することが可能とされている。また、モニタ１６及び制御装置１８は、表示部に対応する。
【００２５】
制御装置１８は、ＣＰＵ１８Ａ、ＲＯＭ１８Ｂ、ＲＡＭ１８Ｃ、及びＩ／Ｏ（入出力インタフェース）１８Ｄがそれぞれバス１８Ｅに接続されたマイクロコンピュータで構成されている。
【００２６】
ＲＯＭ１８Ｂには、後方視認用画像をモニタ１６に表示する表示制御を行うための車両用視認制御プログラム等の各種プログラムが記憶されている。ＲＯＭ１８Ｂに記憶されたプログラムをＲＡＭ１８Ｃに展開してＣＰＵ１８Ａが実行することにより、モニタ１６への表示制御が行われる。
【００２７】
Ｉ／Ｏ１８Ｄには、インナーミラーカメラ１２、後方カメラ１４、及びモニタ１６の各々が接続されている。
【００２８】
本実施形態では、制御装置１８が、インナーミラーカメラ１２の撮影結果と、後方カメラ１４の撮影結果とを用いて後方視認用画像を生成し、モニタ１６に表示するが、ここで後方視認用画像の生成方法について説明する。
【００２９】
本実施形態では、インナーミラーカメラ１２によって撮影した車室内の画像と、車外から車両後方を撮影した画像とを、透明度を変えて合成する。ここで、単に合成したのでは、インナーミラーカメラ１２の位置から前席の窓部を含めて車室内を見た場合に、後席のサイドガラスの窓越しに見える領域が少なくなってしまう。
【００３０】
具体的には、図２に示すように、インナーミラー２０付近から車両後方を広角に撮影した場合を想定し、リアガラスと後席のサイドガラスの視野角を仮に同一とする。リアガラスへは、視線の方向とガラスのなす角度θ１がほぼ直交するため、インナーミラーカメラ１２から見た見かけ上のガラスの幅ｄ１はほぼそのままである。
【００３１】
一方、後席のサイドガラスにおいては、視線の方向とガラスのなす角度がθ２となるため、幅ｄ２は見かけ上狭くなる。例えば、θ２を仮に３０度とすると、リアガラスの見かけ上の幅は、ｄ１×ｓｉｎθ１＝ｄ１×ｓｉｎ（９０°）＝ｄ１となる。一方、後方のサイドガラスの見かけ上の幅は、ｄ２×ｓｉｎθ２＝ｄ２×ｓｉｎ（３０°）＝ｄ２／２となる。ここで、ｄ１＝ｄ２であるとしても、必ず後席のサイドガラスの見かけ上の幅の方が狭く見える。なお、前席のサイドガラスについては、インナーミラーカメラ１２から見た場合、ほぼ真横になり、リアガラス同様に、見かけ上の幅は後席のサイドガラスよりは広く見える。このように見えるのは、撮影画像を表示する電子ミラーに限ったことではなく、平面の光学ミラーでも同様に見える。但し、曲面の光学ミラーでは、後席のサイドガラスの幅が狭く見ることが多少緩和される。
【００３２】
そこで、本実施形態では、それぞれの撮影画像を合成して表示する際に、制御装置１８が、後席の窓越しに見える領域を広くするような画像処理を施してそれぞれの撮影画像を合成してモニタ１６に表示するようになっている。
【００３３】
本実施形態では、後方視界の撮影方法として、１つの後方カメラ１４の撮影画像を用いる例を説明するが、車外から後方を撮影するカメラは１つに限るものではない。例えば、左右のドアミラー付近とリアガラス付近の少なくとも３つのカメラを搭載し、３つの撮影画像を合成して後方視認用の画像を作成してもよい。
【００３４】
本実施形態では、カメラの数や画像合成方法に関わらす、図３に示すように、後方視界は少なくともインナーミラーカメラ１２が設置された位置よりも車両前方に仮想視点２２を設定し、撮影画像を仮想視点２２から見た画像に変換する。その際に、車両後方の画像が投影される仮想スクリーン２４を設定し、仮想視点２２から見た後方視界に変換する。換言すると、仮想視点２２から車両後方を普通に見た場合と同じ風景が、仮想スクリーン２４に投影された状態の画像に変換する。なお、仮想スクリーン２４は平面でもよいが、車両後方に凸の曲率を有する楕円形状であることが望ましい。
【００３５】
また、仮想スクリーン２４に投影した画像を、そのまま平面になるように広げてモニタ１６に表示する。図３（Ｂ）は、図３（Ａ）の上視図である。仮想視点２２から投影した仮想スクリーン２４の曲率が高く、車両を包み込むような仮想スクリーン２４Ｂであるとインナーミラー２０のモニタ１６に表示される画像はより車両の横方向が映ることになる。仮想スクリーン２４Ａと仮想スクリーン２４Ｂとでは、仮想視点２２から見た場合には差異はないが、それぞれのスクリーンを広げてモニタ１６に表示した場合には、曲率が大きい仮想スクリーン２４Ｂの方が車両の横方向がより映る。
【００３６】
上述のように、仮想スクリーン２４は、仮想視点２２から車両後方を見たものである。車両のインナーミラー２０の位置から仮想スクリーン２４を見ると視点が違うため、窓越しに見える場所がどのようになるかは、車両のインナーミラー２０の位置から窓越しに見える仮想スクリーン２４の位置をマーキングすることで知ることができる。例えば、図４にマーキング（太線）した例を示す。図４（Ａ）は仮想視点２２と車両の位置が近い場合を示し、図４（Ｂ）は仮想視点２２から車両が離れている場合を示す。それぞれのパターンで仮想スクリーン２４Ａ、２４Ｂを２パターン重ねて示す。何れの場合においても後席のサイドガラス越しに見える視野角を同じにしているが、仮想視点２２と車両の位置関係に拘わらず、スクリーンの曲率が大きい場合は、少ない場合に比べて、大きな範囲にマーキングされる。図４の何れの場合であっても、マーキング位置が、スクリーンのどの位置が窓越しに見える場所であるかを示している。従って、仮想スクリーン２４を平面になるように広げて、車室内の撮影画像の後席のサイドガラスに対応する位置に重ねた後方視認用画像を生成して表示することで、後席のサイドガラスの幅を従来よりも広くした画像を表示することができる。
【００３７】
インナーミラー２０の位置から車両後方を見た場合には、特に後席のサイドガラスは見かけ上狭く見える。そこで、上述のように、仮想スクリーン２４に投影された画像を平面に展開した画像に、窓越しに見える部分を窓越しに視認可能に車室内の撮影画像を重ねて表示する。これにより、図５に示すように、窓越しに見える後方視界は通常の光学ミラーで見た場合のように見かけの幅が狭くなることなく、広い窓越しの視界を確保できる。
【００３８】
本実施形態では、基本的に仮想視点２２とインナーミラー２０の視点を重ねていない。仮想視点２２とインナーミラー２０の視点を重ねると仮想スクリーン２４の形状にもよるが、図５のモニタ１６の表示画像における窓の大きさが実際の窓の比率に近くなり、一見するとパノラマ写真のような見え方になる。車両の形状は、インナーミラー２０から見て縦長の長方形であるため、単純なパノラマ写真のような見え方よりも、奥行き感が欲しい。そこで、車両の横方向の映像がインナーミラー２０に多く含まれるように、上述したように車両前方に仮想視点２２を設けると、インナーミラー２０からみて縦長の長方形に見える。
【００３９】
続いて、上述のように構成された車両用視認装置１０の制御装置１８で行われる具体的な処理について説明する。図６は、本実施形態に係る車両用視認装置１０の制御装置１８で行われる処理の流れの一例を示すフローチャートである。なお、図６の処理は、図示しないイグニッションスイッチがオンされた場合に開始する。
【００４０】
ステップ１００では、ＣＰＵ１８Ａが、インナーミラーカメラ１２により車室内撮影を行うようにインナーミラーカメラ１２を制御し、車室内撮影画像を取得してステップ１０２へ移行する。
【００４１】
ステップ１０２では、ＣＰＵ１８Ａが、後方カメラ１４により後方撮影を行うように後方カメラ１４を制御し、後方撮影画像を取得してステップ１０４へ移行する。
【００４２】
ステップ１０４では、ＣＰＵ１８Ａが、仮想スクリーン２４への投影画像になるように、車室内撮影画像及び後方撮影画像を変換してステップ１０６へ移行する。すなわち、上記で図４を用いて説明したように、車両前方に設定した仮想視点２２から車両後方を普通に見える風景に窓位置が設定された風景が、仮想スクリーン２４に投影された状態の画像に変換する。
【００４３】
ステップ１０６では、ＣＰＵ１８Ａが、変換した車室内撮影画像及び後方撮影画像を合成してモニタ１６に表示するように制御してステップ１００に戻って上述の処理を繰り返す。例えば、車室内撮影画像の窓の部分に後方撮影画像が表示されるように合成する。これにより、窓越しに後方撮影画像を表示することができる。また、モニタ１６に表示された後席のサイドガラス越しの画像が、インナーミラー２０から実際に見た見かけ上の幅よりも長くなるので、後席のサイドガラス越しの後方視界の視認性を向上することができる。なお、車室内撮影画像及び後方撮影画像を合成する際には、車室内撮影画像に所定の透明度を付与して合成してもよい。これにより車室内撮影画像で隠れる周辺部分を表示することができ、車両周辺の視認性を向上できる。
【００４４】
なお、上記の実施形態では、インナーミラーカメラ１２を設けて乗員を含めて車室内を撮影する例を説明したが、これに限るものではない。例えば、乗員は表示できないが、インナーミラーカメラ１２は省略して、車室内を予め撮影した車室内撮影画像を記憶しておいて、ステップ１００の代わりに記憶した車室内撮影画像を読み出すようにしてもよい。
【００４５】
また、上記の実施形態では、インナーミラーカメラ１２をインナーミラー２０の位置に配置した例を説明したが、車室内を含めて車両後方が撮影可能な位置であれば他の位置に配置してもよい。
【００４６】
また、上記の実施形態における制御装置１８で行われる処理は、ソフトウエアの処理として説明したが、これに限るものではない。例えば、ハードウエアで行う処理としてもよいし、ハードウエアとソフトウエアの双方を組み合わせた処理としてもよい。
【００４７】
また、上記の実施形態における制御装置１８で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。
【００４８】
また、上記の実施形態におけるモニタ１６の表示面側に設けたハーフミラーは、平面鏡でもよいが、曲面の光学ミラーを用いることで、後席のサイドガラスの幅が狭く見ることが多少緩和されるので、曲面形状を適用してもよい。これにより、モニタ１６の画像とハーフミラーの画像の差が抑制されて、モニタ１６が非表示の際の違和感が抑制される。
【００４９】
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
【符号の説明】
【００５０】
１０    車両用視認装置
１２    インナーミラーカメラ
１４    後方カメラ
１６    モニタ
１８    制御装置
２２    仮想視点
２４    仮想スクリーン
【図１】
2018030526.tif 000003
【図２】
2018030526.tif 000004
【図３】
2018030526.tif 000005
【図４】
2018030526.tif 000006
【図５】
2018030526.tif 000007
【図６】
2018030526.tif 000008