(57)【特許請求の範囲】
【請求項１】
車両外部周辺を撮像する車外カメラと、
映像を表示するディスプレイと、
運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部と、
前記運転者の視点を検出するためのカメラであって、運転者の視点を含む顔を撮像する視点検出カメラと、を備え、
前記画像処理部は、
前記視点検出カメラから映像を取得して、運転者の視点の座標を計算する視点座標計算部と、
前記車外カメラの車両への取付位置および取付角度の情報、前記ディスプレイの取付位置および取付角度の情報、前記仮想ミラーの位置および角度の情報を保持する環境情報保持部と、
前記視点の座標のデータ、前記環境情報保持部で保持する各位置角度情報のデータに基づいて、前記仮想ミラーに表示されるミラー映像を計算するミラー映像計算部と、
前記視点の座標のデータおよび前記環境情報保持部で保持する各位置角度情報のデータに基づいて、前記ミラー映像の周囲を囲む前記ミラー枠を計算するミラー枠計算部と、
前記ミラー映像の情報および前記ミラー枠の情報に基づいて、前記仮想ミラーに表示する映像を作成するミラー表示映像作成部と、
を備え、
前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
【請求項２】
車両外部周辺を撮像する車外カメラと、
映像を表示するディスプレイと、
運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部とを備え、
前記画像処理部は、前記仮想ミラーに表示されるミラー映像の周囲を囲む前記ミラー枠の映像を、目盛を付したミラー枠の映像とし、
前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
【請求項３】
車両外部周辺を撮像する車外カメラと、
映像を表示するディスプレイと、
運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部とを備え、
前記画像処理部は、前記仮想ミラーに表示されるミラー映像の周囲を囲む前記ミラー枠の映像を、前記ミラー枠を表示する線に太さを与えたミラー枠の映像とし、
前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
【請求項４】
車両外部周辺を撮像する車外カメラと、
映像を表示するディスプレイと、
運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部とを備え、
前記画像処理部は、前記仮想ミラーに表示されるミラー映像の周囲を囲む前記ミラー枠の映像を、湾曲させたミラー枠の映像とし、
前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
【請求項５】
車両外部周辺を撮像する車外カメラと、
映像を表示するディスプレイと、
運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部とを備え、
前記画像処理部は、前記仮想ミラーに表示されるミラー映像の周囲を囲む前記ミラー枠の映像を、前記ミラー枠の傍に拡大率を表すシンボルを表示させたミラー枠の映像とし、
前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
【請求項６】
車両外部周辺を撮像する車外カメラと、
映像を表示するディスプレイと、
運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部とを備え、
前記画像処理部は、前記仮想ミラーに表示されるミラー映像の周囲を囲む前記ミラー枠を作成し、前記ミラー表示映像を特定の領域や物体を追従するように前記仮想ミラーの向きを合わせ、
前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、車両用周辺監視装置に関する。
【背景技術】
【０００２】
車両のサイドミラーの代わりに車両周辺をカメラで撮像し、撮像された映像を運転者に提示する装置が知られている。
【０００３】
例えば、運転者の視点とディスプレイの延長線上にカメラを設置している装置や、運転者の頭の位置によって表示範囲を変更するようにした車両周辺監視システムが提案されている。また、ディスプレイの大きさと位置に合わせて、表示内容の大きさが鏡に見えるように補正した車両表示装置や、障害物によって表示の一部の拡大率を変更するようにした表示システムが提案されている。
【０００４】
しかしながら、これらの装置では、実際に鏡を見ている距離感では表示できていない、という問題があった。
【０００５】
さらに、大きさは実際に鏡を見ている距離感で表示できるにしても、ディスプレイの位置や向きに限定されるものであったり、拡大表示しているだけであったり、実際の距離や位置関係などが分かりづらい、という問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−２２７６０５号公報
【特許文献２】特開平７−１２１７９９号公報
【特許文献３】特開２０１０−１７９８５０号公報
【特許文献４】特開２０１１−１８８０２８号公報
【特許文献５】特開２０１４−２３５６４０号公報
【特許文献６】特開２０１５−１３６０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、運転者に対し、表示される映像の距離感、位置関係、方向について容易に認識させることのできる車両用周辺監視装置を提供することである。
【課題を解決するための手段】
【０００８】
実施形態の車両用周辺監視装置は、車両外部周辺を撮像する車外カメラと、映像を表示するディスプレイと、運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部と、前記運転者の視点を検出するためのカメラであって、運転者の視点を含む顔を撮像する視点検出カメラと、を備え、前記画像処理部は、前記視点検出カメラから映像を取得して、運転者の視点の座標を計算する視点座標計算部と、前記車外カメラの車両への取付位置および取付角度の情報、前記ディスプレイの取付位置および取付角度の情報、前記仮想ミラーの位置および角度の情報を保持する環境情報保持部と、前記視点の座標のデータ、前記環境情報保持部で保持する各位置角度情報のデータに基づいて、前記仮想ミラーに表示されるミラー映像を計算するミラー映像計算部と、前記視点の座標のデータおよび前記環境情報保持部で保持する各位置角度情報のデータに基づいて、前記ミラー映像の周囲を囲む前記ミラー枠を計算するミラー枠計算部と、前記ミラー映像の情報および前記ミラー枠の情報に基づいて、前記仮想ミラーに表示する映像を作成するミラー表示映像作成部と、を備え、前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る車両用周辺監視装置の構成例を示すブロック図である。
【図２】車両用周辺監視装置の主要部を示す図である。
【図３】本実施形態に係る車両用周辺監視装置における各構成部分の位置関係を説明する図である。
【図４】視点から仮想ミラーで反射した直線を説明する図である。
【図５】ディスプレイに表示させるミラー枠の映像の変換処理の流れを示すフローチャートである。
【図６】ミラー枠に対して目盛を付する変形例を説明する図である。
【図７】ミラー枠を表示する線に太さを与える変形例を説明する図である。
【図８】ミラー枠を湾曲させて表示させる変形例を説明する図である。
【図９】ミラー枠の傍にレンズを表す枠を表示する変形例を説明する図である。
【図１０】ミラー枠の傍に拡大率を表す枠を表示する変形例を説明する図である。
【図１１】運転者の目の位置が閾値を超えて移動する変形例を説明する図である。
【図１２】ディスプレイおよびミラー表示面の配置に係る変形例を説明する図である。
【図１３】変形例その１０において、車外カメラの位置を変更した変形例を説明する図である。
【図１４】仮想ミラーの位置の変形例を説明する図である。
【図１５】ミラー枠表示映像の重畳に係る変形例を説明する図である。
【図１６】車両の透明化に係る変形例を説明する図である。
【図１７】運転者によるミラー枠映像の位置や傾きの変更に係る変形例を説明する図である。
【図１８】複数台の車外カメラを取り付ける変形例を説明する図である。
【図１９】複数台の車外カメラを取り付ける変形例を説明する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施の形態について、図面を参照して説明する。
【００１１】
図１は、本発明の実施形態に係る車両用周辺監視装置の構成例を示す図である。図１に示すように、車両用周辺監視装置１は、大別すると、車外カメラ２と、視点検出カメラ３と、画像処理部４と、ディスプレイ５を備えている。本実施形態においては、車外カメラ２で撮像した映像を、ディスプレイ５上に３次元位置を特定させたミラー枠を含んだミラー表示映像として表示させ、あたかも実際のミラー（例えば、サイドミラー）を見ている距離感で車両周辺を確認することができるようにするものである。
【００１２】
車外カメラ２は、車両外部周辺を撮像するもので、車両に取付けられる。
【００１３】
視点検出カメラ３は、車両の運転者の視点を検出するためのカメラであって、例えば、運転者の視点を含む顔を撮像する。視点検出カメラ３は、車両の運転席に対向する場所に配置される。尚、運転席に着席する運転者の位置がデフォルトの値として把握でき、運転者の視点も概算値として把握できる場合には、視点検出カメラ３は必須の構成でなくともよい。
【００１４】
画像処理部４は、ディスプレイ５上に表示する映像を作成するものである。本実施形態では、仮想ミラー（後述する）に表示される映像であってミラー枠（後述する）で周囲を囲んだミラー表示映像を作成する。画像処理部４は、例えば、視点座標計算部４１と、環境情報保持部４２と、ミラー映像計算部４３と、ミラー枠計算部４４と、ミラー表示映像作成部４５とから構成することができる。
【００１５】
視点座標計算部４１は、視点検出カメラ３で取得した映像に基づいて、運転者の視点の座標を計算する。計算した視点の座標のデータは、ミラー映像計算部４３に送られる。
【００１６】
環境情報保持部４２は、車外カメラ２の車両への取付位置および取付角度の情報、ディスプレイ５の取付位置および取付角度の情報、仮想ミラーの位置および角度の情報を保持する。ここで、仮想ミラーは、車外カメラ２で撮像した映像を視点から見た映像に幾何変換させる仮想のミラーである。仮想ミラーを設置する位置および角度は、視点やディスプレイ５の取付位置および取付角度を考慮して、任意に設定することができる。
【００１７】
尚、車外カメラ２およびディスプレイ５の取付位置・取付角度は、車種によってある程度限定されるため、デフォルトの値として予め設定しておいてもよい。環境情報保持部４２で保持する各情報は、ミラー映像計算部４３およびミラー枠計算部４４にて参照される。
【００１８】
ミラー映像計算部４３は、視点座標計算部４１から視点の座標のデータ、環境情報保持部４２で保持する各位置角度情報のデータに基づいて、仮想ミラーに表示されるミラー映像を計算する。計算したミラー映像の情報は、ミラー表示映像作成部４５に送られる。
【００１９】
ミラー枠計算部４４は、視点座標計算部４１から視点の座標のデータおよび環境情報保持部４２で保持する各位置角度情報のデータに基づいて、ミラー枠を計算する。ここで、ミラー枠は、ミラー映像の周囲を取り囲む輪郭である。係るミラー枠を表示することにより、ディスプレイ５上のミラー表示映像を見た運転者は、距離感、位置関係、方向の認識を的確に把握することができる。
【００２０】
ミラー枠計算部４４で計算したミラー枠の情報は、ミラー表示映像作成部４５に送られる。
【００２１】
ミラー表示映像作成部４５は、ミラー映像計算部４３からのミラー映像の情報、およびミラー枠計算部４４からのミラー枠の情報に基づいて、ディスプレイ５に表示する映像を作成するものである。作成したミラー表示映像は、ディスプレイ５に送られる。
【００２２】
ディスプレイ５は、ミラー表示映像作成部４５で作成したミラー表示映像を取り込んで、映像を表示するものである。
【００２３】
図２は、本発明の一実施形態に係る車両用周辺監視装置１の主要部を示す図である。本実施形態では、図２に示すように、車外カメラ２の取付位置に仮想ミラーAを配設し、車両の運転者の視点の位置から仮想ミラーAで反射した角度方向を車外カメラ２で撮像している。車外カメラ２で撮像して取得した映像を、仮想ミラーAを利用して視点から見た映像に幾何変換し、ミラー枠を含むミラー表示映像としてディスプレイ５に表示する。これにより、車両の運転者は、実際の鏡（ミラー）を見ている距離感で車両周辺を確認することができる。
【００２４】
次に、以上のように構成した車両用周辺監視装置１の画像処理部による処理について詳述する。
【００２５】
＜各構成部分の位置関係＞
図３は、本実施形態に係る車両用周辺監視装置１における各構成部分の位置関係を説明する図である。尚、図３に示す各構成部分の位置関係は、あくまでも説明のための一例であって、これに限定されるものではない。
【００２６】
図３は、各構成部分を上方から見た様子を示している。視点検出カメラ３の位置を表す座標は、F(Fx, Fy, Fz)で表されている。視点検出カメラ３に対向して、車両の運転者が着席しており、運転者の視点は左右の目の中心に設定する。視点の位置を表す座標は、E(Ex, Ey, Ez)で表されている。
【００２７】
図３に示す例では、車外カメラ２は車両の後方を撮像するように配設されており、その位置を表す座標は、C(Cx, Cy, Cz) で表されている。
【００２８】
運転者の視線方向にディスプレイ５が配設されており、その物理的な中心が、図３に示す例の3次元座標系（x,y,z）を成している。
【００２９】
図３に示す例では、車外カメラ２の各構成部分の位置関係に仮想ミラーAが設定されている。仮想ミラーAは略矩形を成しており、各頂点A1、A2、A3、A4の位置を表す座標は、A1(A1x, A1y, A1z)、A2(A2x, A2y, A2z)、A3(A3x, A3y, A3z)、A4(A4x, A4y, A4z) で表されている。
【００３０】
本実施形態においては、車外カメラ２で撮像した映像を表示するディスプレイ５上に３次元位置を特定させたミラー枠Dを表示させ、あたかも実際のミラー（例えば、サイドミラー）を見ている距離感で車両周辺を確認することができるようにするものである。
【００３１】
ディスプレイ５上に表示されるミラー枠は、仮想ミラーAの各頂点A1、A2、A3、A4の位置を表す座標と、運転者の視点の位置を表す座標とから、その位置を表す座標が決定される。ミラー枠の座標の決定の詳細については後述する。
【００３２】
ミラー枠Dの形状は略矩形に特段限定されるものではないが、ディスプレイ５上に表示されることから、ディスプレイ５の外形サイズよりも小さくなっている。例えば、図３に示す例では、ミラー枠Dの形状が略矩形であるとしたとき、各頂点D1、D2、D3、D4の位置を表す座標は、D1(D1x, D1y, D1z)、D2(D2x, D2y, D2z)、D3(D3x, D3y, D3z)、D4(D4x, D4y, D4z) で表される。
【００３３】
さらに、図３に示す例では、仮想ミラーAの面に対して視点から同じ角度αで反射し、仮想ミラーAから所定距離だけ離れた位置にミラー表示面Bを設置している。ここで、所定距離は、車外カメラ２で車両周辺のどの辺りまで撮像するのかによって設定するのが好適である。このように所定距離を設定することにより、次のように、ミラー表示面Bの３次元位置が特定される。
【００３４】
仮想ミラーAの端から端まで、すなわち各頂点A1、A2、A3、A4を含んで反射した略矩形の領域をミラー表示面Bの領域とする。図３に示す例では、ミラー表示面Bの領域を示すB1、B2、B3、B4の位置を表す座標は、B1(B1x, B1y, B1z)、B2(B2x, B2y, B2z)、B3(B3x, B3y, B3z)、B4(B4x, B4y, B4z)で表されている。
【００３５】
＜各要素の位置を表す座標の算出＞
以下、各要素の位置を表す座標の算出について詳述する。
【００３６】
まず、視点検出カメラ３（図３中では、Fと表記）によって、左右の目の３次元位置を視点検出カメラFの相対位置として特定し、その左右の目の中心位置をディスプレイ５の中心位置基準にした座標をEとする。ディスプレイ５に対する視点検出カメラFの位置角度は、予めメジャーや角度測定器を使用して測定して設定しておくのが好適である。そうすることにより、視点検出カメラFで検出した視点Eの位置を、ディスプレイ５に対する位置に変換することができる。
【００３７】
尚、車両によってディスプレイ５に対する視点Eの位置が決まっている場合やある程度のズレは許容してもよい場合には、ディスプレイ５を基準とした視点Eの位置に関し、視点検出カメラ３（F）を使用せず予めメモリに用意しておいた設定値を使用してもよい。
【００３８】
次に、仮想ミラーAの位置を決定する。仮想ミラーAの位置は、視点Eからディスプレイ５を見てその延長線上に設定する。図３に示すように、運転者が見たい方向(例えば、安全の確認を行いたい方向)が車両の真後ろ（後方）の場合には、真後ろになるように仮想ミラーAの向きを決定する。
【００３９】
この場合、仮想ミラーA上に任意の１点を選び、選んだ点の座標が車両の進行方向に対して真後ろになるように設定する。
【００４０】
仮想ミラーAの面上に位置する４つ角の頂点をそれぞれA1,A2,A3,A4とする。例えば、頂点A1(A1x, A1y,A1z)を通り、法線ベクトルが(Aa, Ab, Ac)であるときの平面の式は下記のようになる。
【００４１】
Aa・(x ―A1x) + Ab・(y ― A1y) + Ac・(z ―A1z) = 0
同様にして、上記の計算式を使用して、仮想ミラーAの４つ角の残りの頂点をそれぞれA2,A3,A4として計算して設定する。
【００４２】
次に、仮想ミラーAの１つの頂点位置A1を用いて計算すると、視点Eと仮想ミラーAを通る直線の式は、媒介変数t を使用して下記のようになる。
【００４３】
x = (Ex―A1x)・t + A1x
y = (Ey―A1y)・t + A1y
z = (Ez―A1z)・t + A1z
ディスプレイ５の面の垂線が車両の進行方向と逆側になるように取り付けられた場合（車両の後方を撮影）の座標はz = 0 であるので、ディスプレイ５上のA1の投影座標D1 は、t = A1z / (A1z―Ez)にした座標になる。
【００４４】
仮想ミラーAの残りの頂点位置A2,A3,A4の座標に対しても同様の処理を行うことにより、ディスプレイ５上のミラー枠Dの各頂点D1, D2, D3, D4 が計算され描画することができる。
【００４５】
尚、ディスプレイ５を斜めに取り付けた場合は、その平面の計算式を作成し上記の直線の式との交点を計算すればよい。ディスプレイ５の平面の位置角度は、車種によって決められていた場合その値を使用すればよい。そうでない場合には、メジャーや角度測定器を使用して測定して設定しておく。
【００４６】
次に、運転者の視点Eから見て仮想ミラーAを鏡（ミラー）として反射した直線の式を計算する。図４は、視点Eから仮想ミラーAで反射した直線を説明する図である。図４に示すように、視点Eを通り仮想ミラーA面と平行な面Gは、下記の式で表される。
【００４７】
Aa・(x ―Ex) + Ab・(y ―Ey) + Ac・(z ―Ez) = 0
((Aa, Ab, Ac)はこの面の法線ベクトル)
仮想ミラーA上の頂点A1を通り仮想ミラーAに対して垂直な直線の式は、媒介変数t を使用して下記のようになる。
【００４８】
x = Aa・t + A1x
y = Ab・t + A1y
z = Ac・t + A1z
この垂直な直線と視点Eを通り仮想ミラーA面と平行な面Gの交点Hを計算する。この交点H(Hx, Hy, Hz)を中心として、視点Eの逆側の座標I(Ix, Iy, Iz)が、視点Eから見て仮想ミラーA上の頂点A1を鏡（ミラー）として反射した先の座標となり、下記の式で表される。
【００４９】
Ix = Hx + (Hx−Ex)
Iy = Hy + (Hy−Ey)
Iz = Hz + (Hz−Ez)
この座標と仮想ミラーA上の頂点A1を通る直線が、視点Eから見て仮想ミラーAを鏡（ミラー）として反射した直線の式になる。
【００５０】
この直線の式の方向を、そのまま車外カメラ２から見える方向に映る座標としてディスプレイ５に表示してもよい。また、仮想ミラーAから反射した面であるミラー表示面Bを用意してもよい。この場合、ミラー表示面Bを表す平面の式は下記のように用意しておく。
【００５１】
Ba・(x ―Bx) + Bb・(y ―By) + Bc・(z ―Bz) = 0
ここで、(Ba, Bb, Bc)はこの平面の法線ベクトル、(Bx, By, Bz)はミラー表示面B上の1 点の座標である。
【００５２】
通常、ミラー表示面Bは、車外カメラ２から距離を離して車両の進行方向に対して垂直に配置する。ミラー表示面Bと視点Eから見て仮想ミラーAを鏡（ミラー）として反射した直線の交点B1を計算する。この座標B1を車外カメラ２から見た座標に変換し、そのカメラ映像上の座標をディスプレイ５に表示する。車外カメラ２から見た方向に対しての映像上の座標は、レンズパラメータや、カメラ取り付け時に行われるキャリブレーションによる外部カメラパラメータを予め測定し設定しておき、その設定値によって計算し特定することができる。
【００５３】
以上のように、本実施形態によれば、ディスプレイ５に仮想ミラーAを介して車両外部の映像を距離や位置の違和感を軽減して表示するので、車両の運転者は、実際の鏡を見ている距離感で車両周辺を確認することができる。
【００５４】
次に、以上のように構成した車両用周辺監視装置１において、ディスプレイ５に表示させるミラー枠Dの映像の変換処理の流れについて説明する。
【００５５】
図５は、ディスプレイ５に表示させるミラー枠Dの映像の変換処理の流れを示すフローチャートである。
【００５６】
まず、環境情報保持部４２から、車外カメラ２、仮想ミラーAおよびディスプレイ５の位置および角度の情報を取得する（ステップＳ５１）。
【００５７】
続いて、仮想ミラーAの配置を３次元座標で設定する（ステップＳ５２）。
【００５８】
次に、車外カメラ２で取得するカメラ映像の変換前の処理を行う（ステップＳ５３）。例えば、車外カメラ２で車両の真後ろ（後方）を撮像する場合の、座標変換処理用のルックアップテーブルを作成しておく。
【００５９】
次に、車外カメラ２からカメラ映像を取得する（ステップＳ５４）。
【００６０】
続いて、カメラ映像の変換処理を実行する（ステップＳ５５）。
【００６１】
カメラ映像の変換処理においては、まず、視点検出カメラ３により視点Eの位置を表す座標を取得する（ステップＳ５５１）。
【００６２】
次に、仮想ミラーAの位置を表す座標と視点Eの位置を表す座標に基づいて、ディスプレイ５上に表示されるミラー枠Dの位置を表す座標を計算する（ステップＳ５５２）。
【００６３】
続いて、視点Eから見て仮想ミラーAを鏡（ミラー）として反射した直線の式を計算する（ステップＳ５５３）。
【００６４】
続いて、反射した直線の式とミラー表示面Bの交点を計算する（ステップＳ５５４）。すべての交点によってミラー表示面Bが特定されることになる。
【００６５】
続いて、上記交点の座標を車外カメラ２から見た座標に変換し、車外カメラ２の映像上の座標に変換（ステップＳ５５５）し、カメラ映像の変換処理を終了する。
【００６６】
次に、変換処理後のデータをディスプレイ５に出力し、ミラー表示映像をディスプレイ５に表示する（ステップＳ５６）。
【００６７】
＜本実施形態の変形例その１＞
次に、本実施形態の変形例について説明する。
【００６８】
上記した所定距離を無限大に設定（無限遠）した場合、視点Eから反射した仮想ミラーAの反射角度と、車外カメラ２から見る角度は同じになるため、車外カメラ２からその角度で表示される領域をディスプレイ５に表示すればよい。このとき、ユーザーが見やすいようにディスプレイ５の傾きをユーザー寄りに傾けておいてもよい。
【００６９】
また、ミラー表示面Bの位置を予め決めておいて、それに合わせて仮想ミラーAの配置と角度を決定してもよい。また、ユーザーが仮想ミラーAの位置や角度やサイズを変えられるようにしておいてもよい。
【００７０】
＜本実施形態の変形例その２＞
図６は、ミラー枠Dに対して目盛を付する変形例を説明する図である。
【００７１】
ディスプレイ５に表示するミラー枠Dに対して、所定間隔で目盛を表示するのが好適である。目盛を付することによって、ディスプレイ５に表示される映像を見た運転者は、距離感をよりつかみ易くなる。尚、目盛の付与の仕方については、運転者の設定に委ねるようにしてもよい。
【００７２】
＜本実施形態の変形例その３＞
図７は、ミラー枠Dを表示する線に太さを与える変形例を説明する図である。
【００７３】
ミラー枠Dを表示する線の太さを一定にしておいて、表示する枠の太さでミラー枠Dの傾きの向きを分かりやすくするのが好適である。また、ミラー枠Dの長辺、短辺それぞれの長さを変えられるようにしてもよい。
【００７４】
係る変形例によれば、ミラー枠Dの映像によりミラーの傾きが分かる。
【００７５】
＜本実施形態の変形例その４＞
図８は、ミラー枠Dを湾曲させて表示させる変形例を説明する図である。図８示すように、ミラー枠Dを、凹形あるいは凸形に湾曲させて表示することも好適である。この際、湾曲具合を変えられるようにしてもよい。また、複数のミラー枠Dを用意し、同じ方向を複数の湾曲で表示してもよい。
【００７６】
係る変形例によれば、ミラー枠Dが湾曲していることから、運転者はミラー枠D映像も湾曲していることを認識し、ミラー枠Dの映像が拡大されていること、あるいは縮小されていることを把握できる。また、複数の拡大率で同時に確認することができる。
【００７７】
＜本実施形態の変形例その５＞
図９は、ミラー枠Dの傍にレンズを表す枠を表示する変形例を説明する図である。図１０は、ミラー枠の傍に拡大率を表す枠を表示する変形例を説明する図である。
【００７８】
ミラー枠D映像の近傍にレンズや拡大率を表す枠の表示を行うことが好適である。また、その拡大具合を変えられるようにしてもよい。
【００７９】
係る変形例によれば、ミラー枠Dの形状が平面でも、広範囲表示や狭い範囲の遠方表示を行い、拡大や縮小していることを把握できる。
【００８０】
＜本実施形態の変形例その６＞
ディスプレイ５を３次元ディスプレイにして構成することも好適である。このようなディスプレイ５において、ミラー枠Dの映像を立体的に表示することにより、奥行きが正しい位置に見えるように表示することが可能となる。
【００８１】
その際、立体視がし易いようにミラー枠Dの枠上の位置によって色を変えたり、ミラー枠Dに模様を描いたりしてもよい。また、ステレオカメラやミリ波レーダーによって車外カメラ２から見た３次元マップを生成し、視点から見た仮想ミラーAを反射した直線とその３次元マップとの交点を計算してその交点のカメラ映像上の座標を表示することにより、表示映像内の位置も正しく表示されるようにしてもよい。その場合、左右の目それぞれに対して、見える映像を計算して映像を作成すればよい。
【００８２】
係る変形例によれば、ミラー枠Dの位置により実際のミラー位置が分かる。また、それにより、反射した先の映像の位置も判別することができる。
【００８３】
＜本実施形態の変形例その７＞
運転者の目の位置をリアルタイムで取得して、取得した目の位置に応じて正しい距離にミラー枠Dの映像を表示することも好適である。
【００８４】
係る変形例によれば、ミラー枠Dの位置により実際のミラー位置がより正確に判別することができる。
【００８５】
＜本実施形態の変形例その８＞
運転者の目の位置をリアルタイムで取得して、表示したいミラー表示映像が所定の方向のみを表示する場合、同じ方向を示すためにミラー枠Dの映像の傾きを上下左右に変えてもよい。
【００８６】
係る変形例によれば、ミラー枠Dの映像の傾きが変わったことにより、ミラー表示映像範囲が変わらないことが分かる。
【００８７】
＜本実施形態の変形例その９＞
図１１は、運転者の目の位置が閾値を超えて移動する変形例を説明する図である。
【００８８】
運転者の目の位置をリアルタイムで取得して、敢えて所定の閾値を超えて大きく左右に移動した場合、ミラーに見える方向がよりその方向を見えるように、ミラー枠Dを傾けて見たい方向を簡単に表示するようにしてもよい。この際、目の位置の移動量が閾値以下の場合には、ミラーの傾きが変わらないようにする。
【００８９】
係る変形例によれば、運転者は、少しの動きでミラーの外側を見ることができ、簡単に広い視野を見ることができる。
【００９０】
＜本実施形態の変形例その１０＞
図１２は、ディスプレイ５およびミラー表示面Bの配置に係る変形例を説明する図である。
【００９１】
ディスプレイ５の延長線上に仮想ミラーAを配置し、視点位置から仮想ミラーAが反射する方向の延長線上の車両位置に車外カメラ２を配置するのが好適である。この場合、ミラー表示面の位置は、なるべく仮想ミラーAから遠くに配置する。もしくは無限遠点にし、車外カメラ２からの角度と視点位置を仮想ミラーAで反射する角度を同じにして表示してもよい。
【００９２】
係る変形例によれば、ディスプレイ５の位置を運転者寄りにすることができ、視線移動を少なくすることができる。表示の角度位置ずれの違和感を軽減される。
【００９３】
＜本実施形態の変形例その１１＞
図１３は、変形例その１０において、車外カメラ２の位置を変更した変形例を説明する図である。
【００９４】
ディスプレイ５の延長線上に仮想ミラーAを配置し、視点位置から仮想ミラーAが反射する逆側方向の延長線上の車両位置に車外カメラ２を配置してもよい。このときミラー表示面Bはなるべく遠くに配置すればよい。もしくは無限遠点にし、車外カメラ２からの角度と視点位置を仮想ミラーAで反射する角度を同じにして表示してもよい。
【００９５】
係る変形例によれば、仮想ミラーAを車両の外や中にも表示することができる。また、表示の角度位置ずれの違和感を軽減される。
【００９６】
＜本実施形態の変形例その１２＞
図１４は、仮想ミラーAの位置の変形例を説明する図である。図１４中、三角形のマークは、道路面に描かれた道路標識の一例を示している。図１４に示すように、仮想ミラーAを車外カメラ２の延長線上ではなくして、ミラー表示面Bを決めた距離、位置にし、仮想ミラーAをその位置が表示できるように傾けて、カメラ映像を変換させて表示してもよい。本変形例では、車外カメラ２を例えば魚眼カメラで構成する。
【００９７】
係る変形例によれば、ディスプレイ５の位置を見やすい位置にしたまま、見たい場所を表示できる。ただし広い範囲や遠い場所は違和感が大きいので、基本的には距離が分かっている地面、例えば道路面を表示することができる。
【００９８】
＜本実施形態の変形例その１３＞
車外カメラ２を２台取り付け、または、深度センサを取り付け、ステレオ視し３次元座標を特定し、見える位置を補正してミラー映像表示してもよい。このとき、左右の目をそれぞれの位置を取得し、３Ｄディスプレイにミラー映像表示してもよい。また、車外カメラ２を２台ではなく、１台の車外カメラ２と深度センサでもよい。
【００９９】
係る変形例によれば、仮想ミラーA位置に車外カメラ２が無くても、仮想ミラーAが車外カメラ２の延長線上でなくても、ミラー表示面Bに関係なく、より正しく距離感を表示することができる。
【０１００】
＜本実施形態の変形例その１４＞
図１５は、ミラー枠表示映像の重畳に係る変形例を説明する図である。図１５に示すように、ミラー枠を表示する映像の中にミラー枠を表示する映像を重ねて表示してもよい。また、ミラー枠を表示する映像は一つのカメラ映像を表示して、重ねて表示するミラー枠の表示映像は別のカメラ映像を表示してもよい。その際、重畳する方のミラー枠の表示映像は、少し上に配置するなどして重畳していない方のミラー枠の表示映像も表示してもよい。
【０１０１】
係る変形例によれば、左右反転や上下反転しない映像を表示することができる。また、複数個所を同じ表示で確認することができる。
【０１０２】
＜本実施形態の変形例その１５＞
運転者の正面に仮想ミラーAを配置し上に反射させて、真上に別の仮想ミラーAを配置し真下に反射させてトップビュー表示を行ってもよい。
【０１０３】
係る変形例によれば、トップビューもミラーで表示できる。
【０１０４】
＜本実施形態の変形例その１６＞
図１６は、車両の透明化に係る変形例を説明する図である。図１６に示すように、ミラー枠表示映像の延長線上に車両がある場合、その車両の先の逆側に車外カメラ２を取り付け、車両を透けさせるように表示してもよい。その場合、用意しておいた車両データにより車両を半透明にした表示をしてもよい。
【０１０５】
係る変形例によれば、車両が邪魔で見えない死角も表示することができる。
【０１０６】
＜本実施形態の変形例その１７＞
ディスプレイ５を、運転席正面ダッシュボードに組み付けられたインストルメントパネル（計器板）や、車載ヘッドアップディスプレイ（HUD）、あるいはヘッドマウントディスプレイにて構成してもよい。
【０１０７】
係る変形例によれば、ミラー枠の表示映像と、実際の車外を同時に見ることができる。
【０１０８】
＜本実施形態の変形例その１８＞
図１７は、運転者によるミラー枠Dの映像の位置や傾きの変更に係る変形例を説明する図である。図１７に示すように、ミラー枠Dの映像の位置や傾きをスイッチ（図示せず）などにより手動で変更して、それに連動してカメラ映像を表示してもよい。このとき、手のひらの向きに連動して鏡の向きをかえてもよい。また、指を広げたら拡大表示、指を狭くしたら縮小表示としてもよい。車両の進行方向に対して右を向いているミラーは左手で、左を向いているミラーは右手で向きを変えればよい。
【０１０９】
係る変形例によれば、運転者がミラー枠Dを見たい方向や大きさを容易に変えられるようになる。
【０１１０】
＜本実施形態の変形例その１９＞
図１８、図１９は、複数台の車外カメラ２を取り付ける変形例を説明する図である。図１８に示すように、車外カメラ２を複数台取り付け、視点Eとミラー表示映像位置関係により、カメラ映像を複数表示してもよい。その場合、それぞれの目に映る車外カメラ２やそのカメラ映像の範囲を変えて立体視表示を行ってもよい。
【０１１１】
このとき仮想映像位置はなるべく遠くに配置すればよい。もしくは無限遠点にし、視点E位置を仮想ミラーAで反射する角度とその延長線上にある車外カメラ２から同じの角度との表示をしてもよい。その場合、車外カメラ２のつなぎ目は、隣り合う２台の車外カメラ２の視点からの延長線上の中間の角度位置にすればよい。また、２台の車外カメラ２のつなぎ目は同じ映像となる特徴点を検索してスムーズにつなげてもよい。また、２台の車外カメラ２のつなぎ目は、αブレンドして重ねてもよい。また、複数台の車外カメラ２によりステレオ視を行い実際の見える位置に車外映像を補正して表示してもよい。
【０１１２】
図１９に示すように、車両の周り方向に複数台取り付けた場合は、ミラー枠D表示は横長にして横方向に車外カメラ２を切り替えて表示すればよい。車両の高さ方向に複数取り付けた場合は、その分ミラー枠D表示の高さを長くして縦方向に車外カメラ２を切り替えて表示すればよい。また、車外カメラ２が壊れた場合には、近くの別の車外カメラ２で補完すればよい。
【０１１３】
係る変形例によれば、カメラ映像の距離感が正しく表示できる。広い範囲を一つのミラー表示映像で見ることができる。
【０１１４】
＜本実施形態の変形例その２０＞
広い領域のディスプレイ５を用意し、ディスプレイ５上の領域ごとに表示されるミラー映像とその方向をあらかじめ決めておき、視線がディスプレイ５上の特定の領域になったときのみ特定の方向を表示するミラー映像を表示してもよい。
【０１１５】
係る変形例によれば、必要ないときに表示されている煩わしさを軽減することができる。また、ディスプレイ５上の視線位置を変えることにより、見たい方向を変更することができる。
【０１１６】
＜本実施形態の変形例その２１＞
ナビゲーション情報や車両情報や車外の障害物認識結果により、表示と非表示の切り替えや、特定の領域や障害物を追従して表示してもよい。追従する場合は、仮想ミラーAの位置や角度を変更すればよい。
【０１１７】
係る変形例によれば、必要ないときに表示されている煩わしさを軽減することができる。また、例えば交差点などで車両が動いても、交差する道の方向を表示し続けることができる。また、危険な障害物を表示し続けることができる。
【０１１８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１９】
１・・・車両用周辺監視装置
２・・・車外カメラ
３・・・視点検出カメラ
４・・・画像処理部
４１・・・視点座標計算部
４２・・・環境情報保持部
４３・・・ミラー映像計算部
４４・・・ミラー枠計算部
４５・・・ミラー表示映像作成部
５・・・ディスプレイ
F(Fx, Fy, Fz) ・・・視点検出カメラの位置を表す座標
E(Ex, Ey, Ez) ・・・視点の位置を表す座標
C(Cx, Cy, Cz)・・・車外カメラの位置を表す座標
A・・・仮想ミラー
D・・・ミラー枠
B・・・ミラー表示面
H・・・仮想ミラーA面と平行な面Gの交点
【図１】
0006669569.tif 000002
【図２】
0006669569.tif 000003
【図３】
0006669569.tif 000004
【図４】
0006669569.tif 000005
【図５】
0006669569.tif 000006
【図６】
0006669569.tif 000007
【図７】
0006669569.tif 000008
【図８】
0006669569.tif 000009
【図９】
0006669569.tif 000010
【図１０】
0006669569.tif 000011
【図１１】
0006669569.tif 000012
【図１２】
0006669569.tif 000013
【図１３】
0006669569.tif 000014
【図１４】
0006669569.tif 000015
【図１５】
0006669569.tif 000016
【図１６】
0006669569.tif 000017
【図１７】
0006669569.tif 000018
【図１８】
0006669569.tif 000019
【図１９】
0006669569.tif 000020