(57)【要約】【課題】できるだけ歪みなく後方車両の像を距離感を適切に把握可能に表示する「電子ミラーシステム」を提供する。【解決手段】表示画像と同形状の基本表示領域２１と、その下方の余裕領域２２にまたがる後方車両の像を含む撮影画像に対して、上辺の左右方向範囲が後方車両の像の左右方向範囲と一致し、後方車両が接近しているほど上下方向に大きな領域となるように、下辺が上辺より長い、基本表示領域２１と余裕領域２２にまたがる圧縮対象領域３を設定する（ｂ）。圧縮対象領域３の画像を上下方向に圧縮した圧縮画像を生成し（ｄ、ｅ）、圧縮画像の上辺が圧縮対象領域３の上辺に一致するように基本表示領域２１の画像（ｃ）に合成して（ｆ）表示画像を生成する。【選択図】図６
2020088405.tif 000002
【特許請求の範囲】
【請求項１】
自動車に搭載される、自動車後方のようすを表す画像をディスプレイに表示する電子ミラーシステムであって、
自動車後方を撮影するカメラと、
前記カメラで撮影した自動車後方の画像である撮影画像の下部の領域である余裕領域と、前記撮影画像の前記余裕領域の上方の領域である基本表示領域とにまたがるように圧縮対象領域を設定する圧縮対象領域設定手段と、
前記撮影画像の前記圧縮対象領域を少なくとも上下方向に圧縮した画像を、当該画像の上端が前記圧縮対象領域の上端に一致するように前記基本表示領域の画像の下部に重ねた画像を表示画像として生成し、生成した表示画像を前記ディスプレイに表示する画像表示手段とを有し、
前記圧縮対象領域設定手段は、前記圧縮対象領域の左右方向の範囲が前記基本表示領域の左右方向の範囲の一部となるように当該圧縮対象領域を設定すると共に、後方車両が所定レベル以上接近している場合には、前記圧縮対象領域の左右方向の範囲を、前記撮影画像に含まれる後方車両の像の左右方向の範囲が前記圧縮対象領域の左右方向の範囲に含まれるように設定することを特徴とする電子ミラーシステム。
【請求項２】
請求項１記載の電子ミラーシステムであって、
前記圧縮対象領域設定手段は、後方車両が所定レベル以上接近している場合には、前記圧縮対象領域の左右方向の範囲を、当該圧縮対象領域の左右方向の範囲の中心が、前記撮影画像に含まれる後方車両の像の左右方向の中心と一致するように設定することを特徴とする電子ミラーシステム。
【請求項３】
請求項１記載の電子ミラーシステムであって、
前記圧縮対象領域の形状は、下辺が上辺以上の長さを有する台形、もしくは、矩形であり、
前記圧縮対象領域設定手段は、後方車両が所定レベル以上接近している場合には、前記圧縮対象領域の左右方向の範囲を、前記圧縮対象領域の上辺の左右方向の範囲が前記撮影画像に含まれる後方車両の像の左右方向の範囲と同じとなるように設定することを特徴とする電子ミラーシステム。
【請求項４】
請求項１、２または３記載の電子ミラーシステムであって、
前記圧縮対象領域設定手段は、後方車両が所定レベル以上接近している場合には、前記圧縮対象領域の範囲を、後方車両が接近しているほど前記圧縮対象領域の上下方向の大きさが大きくなるように設定し、
前記画像表示手段は、前記撮影画像の前記圧縮対象領域を、上下方向の長さが前記圧縮対象領域の上端と前記基本表示領域の下端との間の長さに一致するように上下方向に圧縮した画像を、当該画像の上端が前記圧縮対象領域の上端に一致するように前記基本表示領域の画像の下部に重ねた画像を表示画像として生成することを特徴とする電子ミラーシステム。
【請求項５】
請求項１、２、３または４記載の電子ミラーシステムであって、
前記圧縮対象領域設定手段は、後方車両が所定レベル以上接近していない場合には、前記圧縮対象領域を、当該圧縮対象領域が、前記基本表示領域の左右方向について中央の、車道や車線の境界線の像が写り込まない領域となるように設定することを特徴とする電子ミラーシステム。
【請求項６】
請求項１、２、３、４または５記載の電子ミラーシステムであって、
前記モニタは、前記自動車のフロントシールドウインドウの上部の内側に表示面を自動車後方を向けて配置されていることを特徴とする電子ミラーシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車に搭載された電子ミラーシステムにおいて自動車後方の映像を表示する技術に関するものである。
【背景技術】
【０００２】
自動車に搭載された電子ミラーシステムにおいて自動車後方の映像を表示する技術としては、自動車後方を撮影するカメラとフロントウインドシールドの上方の位置に配置したルームミラー型モニタを備えた電子ミラーシステムにおいて、カメラで撮影した映像の下部領域を上下方向に圧縮した映像を生成してルームミラー型モニタに表示する技術が知られている（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６-１９５３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したカメラで撮影した映像の下部領域を上下方向に圧縮した映像を生成してルームミラー型モニタに表示する電子ムラーシステムによれば、表示された映像の下部の下部領域を圧縮した映像部分と、その上の映像部分との境界において、車線や車道の境界線などの直線状の被写体が不連続となって不自然な表示となる。
【０００５】
そこで、車線内を直進走行しているときには車線や車道の境界線が写り込まないこととなる、カメラで撮影した映像の下部領域中の部分を圧縮対象領域として、カメラの取付位置から求めて予め設定しておき、圧縮対象領域のみを上下方向に圧縮した映像を生成して表示することが考えられるが、このように圧縮領域を固定的に設定すると、後方から車両が接近してきたときに、後方車両の映像が圧縮領域からずれてしまって、後方車両の映像が歪んで表示されてしまうことがある。
【０００６】
また、後方車両の表示は、運転者が後方車両との距離感を適切に把握できるように行うことが望ましいが、圧縮領域を固定的に設定すると、後方車両との距離によって、後方車両の映像の圧縮が過度となったり不足したりしてしまい、運転者が後方車両との距離感を適切に把握できなくなる。
【０００７】
そこで、本発明は、後方の車線や車道の境界線や後方車両の映像をできるだけ歪みなく表示できる電子ミラーシステムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記課題達成のために、本発明は、自動車に搭載される、自動車後方のようすを表す画像をディスプレイに表示する電子ミラーシステムに、自動車後方を撮影するカメラと、前記カメラで撮影した自動車後方の画像である撮影画像の下部の領域である余裕領域と、前記撮影画像の前記余裕領域の上方の領域である基本表示領域とにまたがるように圧縮対象領域を設定する圧縮対象領域設定手段と、前記撮影画像の前記圧縮対象領域を少なくとも上下方向に圧縮した画像を、当該画像の上端が前記圧縮対象領域の上端に一致するように前記基本表示領域の画像の下部に重ねた画像を表示画像として生成し、生成した表示画像を前記ディスプレイに表示する画像表示手段とを設け、前記圧縮対象領域設定手段において、前記圧縮対象領域の左右方向の範囲が前記基本表示領域の左右方向の範囲の一部となるように当該圧縮対象領域を設定すると共に、後方車両が所定レベル以上接近している場合には、前記圧縮対象領域の左右方向の範囲を、前記撮影画像に含まれる後方車両の像の左右方向の範囲が前記圧縮対象領域の左右方向の範囲に含まれるように設定するようにしたものである。
【０００９】
ここで、このような電子ミラーシステムは、前記圧縮対象領域設定手段において、後方車両が所定レベル以上接近している場合には、前記圧縮対象領域の左右方向の範囲を、当該圧縮対象領域の左右方向の範囲の中心が、前記撮影画像に含まれる後方車両の像の左右方向の中心と一致するように設定するように構成してもよい。
【００１０】
以上のような電子ミラーシステムによれば、後方車両が所定レベル以上接近している場合には、上下方向に圧縮して表示する圧縮対象領域の左右方向の範囲を、前記撮影画像に含まれる後方車両の像の左右方向の範囲が前記圧縮対象領域の左右方向の範囲に含まれるように設定するので、後方車両の像が圧縮領域からずれて後方車両の像が歪んで表示されてしまうことがない。また、前記圧縮対象領域の左右方向の範囲が前記基本表示領域の左右方向の範囲の一部となるように当該圧縮対象領域を設定するので、できるだけ圧縮対象領域に車線や車道の境界線の像が含まれないように圧縮対象領域の左右方向の範囲を設定して、車線や車道の境界線の像が歪んで表示されてしまうことを抑制することができる。
【００１１】
すなわち、より具体的には、このような電子ミラーシステムにおいて、前記圧縮対象領域の形状を、下辺が上辺以上の長さを有する台形、もしくは、矩形とし、前記圧縮対象領域設定手段において、後方車両が所定レベル以上接近している場合には、前記圧縮対象領域の左右方向の範囲を、前記圧縮対象領域の上辺の左右方向の範囲が前記撮影画像に含まれる後方車両の像の左右方向の範囲と同じとなるように設定することにより、できるだけ圧縮対象領域に車線や車道の境界線の像が含まれないようにしてよい。
【００１２】
ここで、以上の電子ミラーシステムは、前記圧縮対象領域設定手段において、後方車両が所定レベル以上接近している場合には、前記圧縮対象領域の範囲を、後方車両が接近しているほど前記圧縮対象領域の上下方向の大きさが大きくなるように設定し、前記画像表示手段において、前記撮影画像の前記圧縮対象領域を、上下方向の長さが前記圧縮対象領域の上端と前記基本表示領域の下端との間の長さに一致するように上下方向に圧縮した画像を、当該画像の上端が前記圧縮対象領域の上端に一致するように前記基本表示領域の画像の下部に重ねた画像を表示画像として生成するように構成してもよい。
【００１３】
このようにすることにより、後方車両との距離が大きいときには後方車両の像を大きな歪みなく表示できると共に、後方車両が近くまで接近したときに、後方車両の像を後方車両のより下方の部分まで表れるように表示して、後方車両との距離感を適切に把握可能に表示することができる。
【００１４】
また、以上の電子ミラーシステムは、前記圧縮対象領域設定手段は、後方車両が所定レベル以上接近していない場合には、前記圧縮対象領域を、当該圧縮対象領域が、前記基本表示領域の左右方向について中央の、車道や車線の境界線の像が写り込まない領域となるように設定するように構成してもよい。
【００１５】
このようにすることにより、後方車両が所定レベル以上接近していないときに、圧縮対象領域に車線や車道の境界線の像が含まれないように圧縮対象領域を設定して、車線や車道の境界線の像が歪んで表示されてしまうことを抑制することができる。
【００１６】
また、以上の電子ミラーシステムにおいて、前記モニタは、前記自動車のフロントシールドウインドウの上部の内側に表示面を自動車後方を向けて配置されているものとしてもよい。
【発明の効果】
【００１７】
以上のように、本発明によれば、後方の車線や車道の境界線や後方車両の像をできるだけ歪みなく表示できる電子ミラーシステムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る電子ミラーシステムの構成を示すブロック図である。
【図２】本発明の実施形態に係るカメラとルームミラー型モニタの配置を示す図である。
【図３】本発明の実施形態に係る表示画像生成の手順を示す図ある。
【図４】本発明の実施形態に係る圧縮対象領域設定処理を示すフローチャートである。
【図５】本発明の実施形態に係る圧縮対象領域設定処理の処理例を示す図である。
【図６】本発明の実施形態に係る表示画像の生成例を示す図である。
【図７】本発明の実施形態に係る圧縮対象領域設定処理の他の処理例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について説明する。
図１に、本実施形態に係る電子ミラーシステムの構成を示す。
電子ミラーシステムは自動車に搭載されているシステムであり、図示するように、バックカメラ１１、障害物センサ１２、表示画像生成部１３、圧縮対象領域設定部１４、後方車両認識部１５、表示処理部１６、ルームミラー型モニタ１７を備えている。
【００２０】
ルームミラー型モニタ１７は、図２ａに示すように、自動車のフロントウインドシールドの内側の上方の位置、すなわち、伝統的にルームミラーが配置されてきた位置に、表示面を後方側に向けて配置された表示装置である。
【００２１】
また、バックカメラ１１は、たとえば、図２ｂに示すように、自動車のリアウインドシールドの上方の位置に配置され自動車の後方のようすを撮影する。
また、障害物センサ１２は、たとえば、ミリ波レーダ装置等であり、たとえば、図２ｂに示すように、自動車の後部に配置され自動車後方の物体の位置等を測定する。
図１に戻り、後方車両認識部１５は、障害物センサ１２が検出した自動車後方の物体の位置を参照しつつ、バックカメラ１１で撮影した画像である撮影画像中の後方車両の像の範囲を認識する。
【００２２】
圧縮対象領域設定部１４は、後方車両認識部１５が算定した撮影画像中の後方車両の像の範囲に基づいて、撮影画像中に圧縮対象領域を設定する。この圧縮対象領域の設定の詳細については後述する。
【００２３】
そして、表示画像生成部１３は、撮影画像から表示画像を生成する。
この表示画像の生成は次のように行う。
図３ａはバックカメラ１１で撮影した画像である撮影画像を表す。
撮影画像の形状は、ルームミラー型モニタ１７の表示画像の形状より上下方向に大きく、表示画像の生成においては、図３ｂのｘ１、ｘ２、ｘ３、ｘ４を頂点とする撮影画像の上部の、ルームミラー型モニタ１７の表示画像の形状と同じ形状の領域を基本表示領域２１に設定する。
【００２４】
そして、表示画像生成部１３は、撮影画像から図３ｃに示すように基本表示領域２１の画像を基本表示画像として抽出する。
ここで、後に詳述するように、圧縮対象領域設定部１４によって設定される圧縮対象領域３は、基本表示領域２１の下辺から上に所定の長さｄ離れたラインＬ１上に上辺を持ち、基本表示領域２１の下方の領域である余裕領域２２中に下辺を持つ可変の四角形の領域となる。
【００２５】
また、図３ｂは、ｙ１、ｙ２、ｙ３、ｙ４を頂点とする領域が圧縮対象領域３として設定されているようすを表している。
そして、表示画像生成部１３は、撮影画像から図３ｄに示すように圧縮対象領域３の画像を圧縮対象画像として抽出し、図３ｅに示すように圧縮対象画像を上下方向に上下方向の長さがｄとなるように圧縮し圧縮画像を生成する。このとき圧縮の中心は、圧縮対象画像の上辺の中点とする。
【００２６】
また、表示画像生成部１３は、図３ｆに示すように、図３ｃの基本表示画像に、図３ｅの圧縮画像を、圧縮画像の上辺が、基本表示画像中の圧縮対象領域３の上辺に対応する線分に一致するように合成し表示画像とする。
【００２７】
図１に戻り、表示処理部１６は、以上のように表示画像生成部１３が生成した表示画像をルームミラー型モニタ１７に表示する。
以下、圧縮対象領域設定部１４が行う圧縮対象領域３の設定の詳細について説明する。
図４に、圧縮対象領域設定部１４が行う圧縮対象領域設定処理の手順を示す。
図示するように圧縮対象領域設定処理では、後方車両認識部１５が算定した後方車両の像が撮影画像中の基本表示領域２１のラインＬ１より下方の部分を有しているかどうかを調べる（ステップ４０２）。
【００２８】
そして、後方車両の像が撮影画像中の基本表示領域２１のラインＬ１より下方の部分を有していなければ、予め定めた標準領域を圧縮対象領域３に設定し（ステップ４０４）、ステップ４０２からの処理に戻る。
【００２９】
ここで標準領域としては、バックカメラ１１の取付位置から求めた、車線内を直進走行しているときには車線や車道の境界線が写り込まないこととなる、撮影画像の左右方向について中央部分の、上下方向について図３ｂのラインＬ１より下方の、下辺が上辺より長い台形の領域を予め設定しておく。なお、図３ｂの、圧縮対象領域３は、このようにして予め設定した標準領域を表している。
【００３０】
ここで、このように、後方車両の像が撮影画像中の基本表示領域２１のラインＬ１より下方の部分を有していないときに標準領域を圧縮対象領域３に設定することにより、後方車両が接近していないときに、圧縮対象領域３に車線や車道の境界線の像が含まれないように圧縮対象領域３を設定して、車線や車道の境界線の像が歪んで表示されてしまうことを抑止することができる。
【００３１】
なお、ステップ４０４は、撮影画像から車線や車道の境界線を認識し、撮影画像上の左右方向について中央部分の車線や車道の境界線の間の部分であって、撮影画像の上下方向について図３ｂのラインＬ１より下方の領域を圧縮対象領域３として設定する処理としてもよい。
【００３２】
一方、後方車両の像が撮影画像中の基本表示領域２１のラインＬ１より下方の部分を有している場合には（ステップ４０２）、撮影画像中の後方車両の像の左右方向範囲と、後方車両の像の、余裕領域２２内の上下方向の長さの、後方車両の像の基本画像領域２１内の上下方向の長さに対する割合を算定する（ステップ４０６）。
【００３３】
そして、上辺の中点が後方車両の像の左右範囲中点となり、上辺長さが後方車両の像の左右範囲長となり、下辺の高さが、後方車両の像の余裕領域２２内の上下方向の長さの後方車両の像の基本画像領域内の上下方向の長さに対する割合が大きいほど下方となる高さとなり、下辺長が上辺長以上となり、かつ、できるだけ、車線、車道境界線を含まないように圧縮対象領域３を設定する（ステップ４０８）。そして、ステップ４０２からの処理に戻る。なお、下辺の高さがより下方となると、上述した上下方向の長さがｄとなるように圧縮される圧縮画像の上下方向圧縮率は大きくなるので、後方車両の像の余裕領域２２内の上下方向の長さの後方車両の像の基本画像領域内の上下方向の長さに対する割合が大きいほど、圧縮画像の圧縮率は大きくなる。
【００３４】
ここで、ステップ４０６、４０８では、たとえば、次のように圧縮対象領域３を設定する。
いま、後方車両が後方から徐々に接近し、撮影画像が図５ａ１、ａ２、ａ３、ａ４のように変化したものとする。
これらの撮影画像では、後方車両の像が撮影画像中の基本表示領域２１のラインＬ１より下方の部分を有しているのでステップ４０６で、図５ｂに示す後方車両の像の左右範囲のＷと、後方車両の像の余裕領域２２内の上下方向の長さＨＬの後方車両の像の基本画像領域内の上下方向の長さＨＨに対する割合ＨＬ/ＨＨが算定される。
【００３５】
そして、ステップ４０８では、圧縮対象領域３の上辺として、中点が後方車両の像の左右範囲中点となり、長さが後方車両の像の左右範囲長となる、基本表示領域２１の下辺から上に所定の長さｄ離れたラインＬ１上の辺が設定される。
【００３６】
また、圧縮画像の上下方向の圧縮率が割合ＨＬ/ＨＨが大きいほど大きくなるように、圧縮対象領域３の下辺の高さが、ラインＬの高さから撮影画像の下辺の高さの間に設定される。すなわち、図５ａ１、ａ２、ａ３、ａ４に示すように、割合ＨＬ/ＨＨが大きくなるほど、圧縮対象領域３の下辺の高さを、より低い位置に移動させて、圧縮画像の上下方向の圧縮率が割合ＨＬ/ＨＨが大きいほど大きくなるようにする。
【００３７】
ここで、このように上下方向の圧縮率を設定することにより、後方車両との距離が大きいときには後方車両の画像を大きな歪みなく表示できると共に、後方車両が近くまで接近したときに、後方車両の画像を後方車両のより下方の部分まで表れるように表示して、ユーザが、後方車両との距離感を適切に把握可能に表示することができる。
【００３８】
そして、圧縮対象領域３の下辺の中点を上辺の中点と同じ左右方向位置として、圧縮対象領域３の下辺の長さを、下辺の長さが上辺の長さ未満とならない範囲において、圧縮対象領域３内に車線、車道境界線を含まない最大長となるように、すなわち、圧縮対象領域３内に標準領域外の領域を含まない最大長となるように設定する。なお、下辺の長さが上辺の長さと同じ長さとしても、圧縮対象領域３内に車線、車道境界線を含む場合には、下辺の長さは上辺の長さと同じ長さとする。
【００３９】
ここで、このように圧縮対象領域３の上辺、下辺を設定することにより、後方車両の像の左右方向の範囲が前記圧縮対象領域３の左右方向の範囲に含まれることとなり、後方車両が接近している場合に、後方車両の像が圧縮対象領域３からずれて後方車両の画像が歪んで表示されてしまうことを抑止できる。
【００４０】
また、できるだけ圧縮対象領域３内に車線、車道境界線を含まないように圧縮対象領域３を設定することにより、後方車両が接近しているときにも、車線や車道の境界線の像が歪んで表示されてしまうことを抑制することができる。
【００４１】
以上、圧縮対象領域設定部１４が行う圧縮対象領域設定処理について説明した。
さて、ここで、図６は、このようにして後方車両の像が撮影画像中の基本表示領域２１のラインＬ１より下方の部分を有する撮影画像に対して圧縮対象領域３が設定されたときの表示画像の生成のようすを示したものである。なお、図６は、後方車両の像が基本表示領域２１と余裕領域２２にまたがる像であった場合を示している。
【００４２】
図６ａに示す基本表示領域２１と余裕領域２２にまたがる後方車両の像を含む撮影画像に対して、図６ｂに示すように圧縮対象領域３が設定されると、撮影画像から図６ｃに示すように基本表示領域２１の画像が基本表示画像として抽出される。
【００４３】
また、撮影画像から図６ｄに示すように圧縮対象領域３の画像が圧縮対象画像として抽出され、図６ｅに示すように圧縮対象画像を上下方向に上下方向の長さがｄとなるように圧縮し圧縮画像を生成される。このとき圧縮の中心は、圧縮対象画像の上辺の中点とする。このように圧縮の中心を設定することにより、圧縮アルゴリズムによらずに、圧縮によって後方車両の像が歪んでしまうことを抑制できる。
【００４４】
そして、図６ｆに示すように、図６ｃの基本表示画像に図６ｅの圧縮画像が、圧縮画像の上辺が、基本表示画像中の圧縮対象領域３の上辺に対応する線分に一致するように合成されて表示画像が生成される。
【００４５】
以上、本発明の実施形態について説明した。
なお、以上の実施形態における圧縮対象領域設定処理のステップ４０２は、後方車両との距離が所定距離以上であれば、ステップ４０４に進み、所定距離未満であればステップ４０６に進む処理としてもよい。
【００４６】
また、以上の実施形態における圧縮対象領域設定処理のステップ４０８では、台形または長方形の圧縮対象領域３を設定するようにしたが、ステップ４０８で設定する圧縮対象領域３の形状は、他の形状あってもよい。すなわち、たとえば、図７ａ、ｂ、ｃに示すように常に下辺の長さを上辺の長さと同じ長さとして圧縮対象領域３の形状を長方形としてもよい。
【００４７】
また、以上の実施形態における圧縮対象領域設定処理のステップ４０８における圧縮対象領域３の下辺の高さの設定は、後方車両との距離が小さいほど、圧縮画像の上下方向の圧縮率が大きくなるように、すなわち、後方車両との距離が小さいほど圧縮対象領域３の下辺の高さが低くなるように圧縮対象領域３の下辺の高さを設定することにより行うものとしてもよい。
【符号の説明】
【００４８】
３…圧縮対象領域、１１…バックカメラ、１２…障害物センサ、１３…表示画像生成部、１４…圧縮対象領域設定部、１５…後方車両認識部、１６…表示処理部、１７…ルームミラー型モニタ、２１…基本表示領域、２２…余裕領域。
【図１】
2020088405.tif 000003
【図２】
2020088405.tif 000004
【図３】
2020088405.tif 000005
【図４】
2020088405.tif 000006
【図５】
2020088405.tif 000007
【図６】
2020088405.tif 000008
【図７】
2020088405.tif 000009