(57)【要約】【課題】車両の後方及び側方の複数のカメラによって得られる映像を合成する画像合成装置及び画像合成方法を提供する。【解決手段】本発明の画像合成装置１は後方カメラ２１、右側後方カメラ２２及び左側後方カメラ２３と、各カメラの映像から、後方画像、右側後方画像及び左側後方画像を取得する画像取得手段３と、取得した各画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換手段４と、変換した各画像を合成することにより後方合成画像を得る画像合成手段７と、を備え、所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面が所定の仮想視点を中心とする楕円である筒状の楕円筒投影面６２及び地面投影面６３からなり、座標変換手段は、後方画像、右側後方画像及び左側後方画像を、それぞれ３次元座標における各カメラの位置から各投影面に投影することを特徴とする。【選択図】図５
2018081591.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方、右側後方及び左側後方における路面及び路上の映像を合成する画像合成装置であって、
前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得手段と、
前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換手段と、
前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成手段と、
を備え、
前記所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、
前記座標変換手段は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影することを特徴とする画像合成装置。
【請求項２】
前記仮想視点は、前記３次元座標空間において前記車両よりも前にあり、
前記楕円筒投影面は、水平断面において前記仮想視点から前記車両の後方を中心として所定角度の範囲内であり、
前記地面投影面は、前記楕円筒投影面に接する範囲内である請求項１記載の画像合成装置。
【請求項３】
前記座標変換手段は、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像における上方領域を前記楕円筒投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する請求項１又は２に記載の画像合成装置。
【請求項４】
前記画像合成手段は、それぞれ遷移領域を挟んで前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成した前記後方合成画像を生成する請求項１乃至３のいずれかに記載の画像合成装置。
【請求項５】
前記座標変換手段は、前記遷移領域において前記楕円筒投影面上の投影座標が前記地面投影面より下に位置する場合には、
前記後方カメラと前記右側後方カメラ又は左側後方カメラとを結ぶ線分上に基点を設定し、前記基点と前記楕円筒投影面上の前記投影座標とを結ぶ線分が前記地面投影面と交わる点を前記地面投影面上の投影座標とするように変換する請求項４に記載の画像合成装置。
【請求項６】
前記画像合成手段は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する請求項５記載の画像合成装置。
【請求項７】
車両の後方、右側後方及び左側後方における路面及び路上の映像を合成する画像合成方法であって、
前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得工程と、
前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換工程と、
前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成工程と、
を備え、
前記所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、
前記座標変換工程は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影することを特徴とする画像合成方法。
【請求項８】
前記仮想視点は、前記３次元座標空間において前記車両よりも前にあり、
前記楕円筒投影面は、水平断面において前記仮想視点から前記車両の後方を中心として所定角度の範囲内であり、
前記地面投影面は、前記楕円筒投影面に接する範囲内である請求項７載の画像合成方法。
【請求項９】
前記座標変換工程は、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像における上方領域を前記楕円筒投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する請求項７又は８に記載の画像合成方法。
【請求項１０】
前記画像合成工程は、それぞれ遷移領域を挟んで前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成した前記後方合成画像を生成する請求項７乃至９のいずれかに記載の画像合成方法。
【請求項１１】
前記座標変換手段は、前記遷移領域において前記楕円筒投影面上の投影座標が前記地面投影面より下に位置する場合には、
前記後方カメラと前記右側後方カメラ又は左側後方カメラとを結ぶ線分上に基点を設定し、前記基点と前記楕円筒投影面上の前記投影座標とを結ぶ線分が前記地面投影面と交わる点を前記地面投影面上の投影座標とするように変換する請求項１０に記載の画像合成方法。
【請求項１２】
前記画像合成工程は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する請求項１１記載の画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置及び画像合成方法に関する。詳しくは、車両の後方及び側方の複数のカメラによって得られる映像を合成する画像合成装置及び画像合成方法に関する。
【背景技術】
【０００２】
従来、車両のバックミラーの代わりに、車両の後方をカメラで撮影して、路面や接近する物体等を画面に表示する後方モニタが種々実用化されている。通常、後方モニタに用いられるカメラは広範囲を撮影するために、撮影される画像が大きく歪み、そのまま表示すると見づらいという問題がある。このため、補正テーブル等を用いて撮影された画像の歪をなくす手法が知られている（例えば、特許文献１を参照）。また、近年では、車両に複数のカメラを備え、各カメラを用いて得られる２次元画像データを１つの３次元投影面形状に合成する方法等を用いて、視認性を高めた画像処理装置が開発されている（例えば、特許文献２を参照）。
複数のカメラで撮影した画像を合成する場合、各画像の境界付近に同じ物体が位置すると、撮影位置が異なるために、合成画像には異なる見え方の物体が混じって表示される等の問題が生じる。このような問題を解消するため、例えば特許文献２に記載されている画像処理装置は、３次元投影面形状として、車両が配置される矩形の配置面から延設された平面と、平面から延設された曲面とからなり、各カメラで撮像して得られた複数の２次元画像データを１つの３次元投影面形状に合成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２７１４９０号公報
【特許文献２】特開２０１０−１２８９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数のカメラにより車両の後方を撮影すれば、死角を減らすことができる。しかし、前記のように、複数のカメラにより撮影した画像を合成して表示等する場合に、各カメラで撮影された画像の境界付近に位置する物体の全てを継ぎ目がなく、全体として歪みが少なく自然に見えるように表示することは困難である。例えば、各カメラで撮像して得られた複数の２次元画像を１つの３次元投影面上で合成するとしても、１つの物体の継ぎ目がなくなるように合成すると、カメラとの距離が異なる他の物体に不自然な継ぎ目や歪みが生じたり、物体が投影範囲から外れて表示されなくなったりする問題が生じる。
また、車両後方の映像をバックミラーのように表示等する用途においては、複数のカメラによって撮影された画像を処理して高速に合成することが必要とされる。更に、運転者が注意すべき後方の物体等を含む車両後方の映像を見易く表示することが求められる。
【０００５】
本発明は、上記実情に鑑みてなされたものであり、車両の後方及び側方の複数のカメラによって得られる映像を合成する画像合成装置及び画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
１．車両の後方、右側後方及び左側後方における路面及び路上の映像を合成する画像合成装置であって、
前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得手段と、
前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換手段と、
前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成手段と、
を備え、
前記所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、
前記座標変換手段は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影することを特徴とする画像合成装置。
２．前記仮想視点は、前記３次元座標空間において前記車両よりも前にあり、
前記楕円筒投影面は、水平断面において前記仮想視点から前記車両の後方を中心として所定角度の範囲内であり、
前記地面投影面は、前記楕円筒投影面に接する範囲内である前記１．記載の画像合成装置。
３．前記座標変換手段は、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像における上方領域を前記楕円筒投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する前記１．又は２．に記載の画像合成装置。
４．前記画像合成手段は、それぞれ遷移領域を挟んで前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成した前記後方合成画像を生成する前記１．乃至３．のいずれかに記載の画像合成装置。
５．前記座標変換手段は、前記遷移領域において前記楕円筒投影面上の投影座標が前記地面投影面より下に位置する場合には、
前記後方カメラと前記右側後方カメラ又は左側後方カメラとを結ぶ線分上に基点を設定し、前記基点と前記楕円筒投影面上の前記投影座標とを結ぶ線分が前記地面投影面と交わる点を前記地面投影面上の投影座標とするように変換する前記４．記載の画像合成装置。
６．前記画像合成手段は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する前記５．記載の画像合成装置。
７．車両の後方、右側後方及び左側後方における路面及び路上の映像を合成する画像合成方法であって、
前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得工程と、
前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換工程と、
前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成工程と、
を備え、
前記所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、
前記座標変換工程は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影することを特徴とする画像合成方法。
８．前記仮想視点は、前記３次元座標空間において前記車両よりも前にあり、
前記楕円筒投影面は、水平断面において前記仮想視点から前記車両の後方を中心として所定角度の範囲内であり、
前記地面投影面は、前記楕円筒投影面に接する範囲内である前記７．記載の画像合成方法。
９．前記座標変換工程は、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像における上方領域を前記楕円筒投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する前記７．又は８．に記載の画像合成方法。
１０．前記画像合成工程は、それぞれ遷移領域を挟んで前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成した前記後方合成画像を生成する前記７．乃至９．のいずれかに記載の画像合成方法。
１１．前記座標変換手段は、前記遷移領域において前記楕円筒投影面上の投影座標が前記地面投影面より下に位置する場合には、
前記後方カメラと前記右側後方カメラ又は左側後方カメラとを結ぶ線分上に基点を設定し、前記基点と前記楕円筒投影面上の前記投影座標とを結ぶ線分が前記地面投影面と交わる点を前記地面投影面上の投影座標とするように変換する前記１０．に記載の画像合成方法。
１２．前記画像合成工程は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する前記１１．記載の画像合成方法。
【発明の効果】
【０００７】
本発明によれば、前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得手段と、前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換手段と、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成手段と、を備えるため、３つのカメラで撮影される画像によって車両後方の広い視野を確保し、死角を低減することができる。前記所定の投影面は、３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、前記座標変換手段は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影するため、仮想視点の位置及び楕円筒投影面の形状を適宜設定することにより、最も自然に見える各投影画像を得ることができる。また、各投影画像を合成するため、合成時の各画像の境界部の処理により、違和感のない合成画像を生成することができる。
また、投影面として楕円筒投影面及び地面投影面を備えているため、車両後方の画像が占める広さと、車両左右側後方の画像が占める広さとの比率を楕円筒の楕円の楕円率に従って変えることにより、目的に応じて着目すべき画像の占める広さの割合を大きくするなどして、視認性を高めることが可能になる。
【０００８】
前記仮想視点は、前記３次元座標空間において前記車両よりも前にあり、前記楕円筒投影面は、水平断面において前記仮想視点から前記車両の後方を中心として所定角度の範囲内であり、前記地面投影面は、前記楕円筒投影面に接する範囲内である場合には、仮想視点が車両の位置又は車両より後ろの位置にあるときよりも各投影画像の歪みを軽減し、視認性に優れた画像を得ることができる。
【０００９】
前記座標変換手段は、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像における上方領域を前記楕円筒投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する場合には、各投影画像における上方領域と下方領域とをそれぞれの変換により形成することができる。
【００１０】
前記画像合成手段は、それぞれ遷移領域を挟んで前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成した前記後方合成画像を生成する場合には、後方合成画像に占める各投影画像の配分を最適にすることができ、各投影画像間の境界部分を滑らかにすることができる。
前記座標変換手段は、前記遷移領域において前記楕円筒投影面上の投影座標が前記地面投影面より下に位置する場合には、前記後方カメラと前記右側後方カメラ又は左側後方カメラとを結ぶ線分上に基点を設定し、前記基点と前記楕円筒投影面上の前記投影座標とを結ぶ線分が前記地面投影面と交わる点を前記地面投影面上の投影座標とするように変換する場合は、遷移領域の地面投影面において後方カメラの投影画像の投影を行う位置と、右側後方カメラ又は左側後方カメラの投影を行う位置と、を揃えることができる。これによって、遷移領域の地面部分の各路上物の位置がずれることなく重なった合成画像を得ることができる。
前記画像合成手段は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する場合は、後方合成画像において車両後端付近の地面投影画像が広くなるように合成され、車両後部付近の状況を広く表示することができる。これにより、車両を後退等させるとき等に必要な車両後部付近の識別性を向上させることができる。
【００１１】
以上は、本発明が装置として実現される場合について説明したが、かかる装置を実現する方法やプログラム、当該プログラムを記録した媒体としても発明は実現可能である。また、以上のような画像合成装置は単独で実現される場合もあるし、ある方法に適用され、あるいは同方法が他の機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。したがって、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。
【図面の簡単な説明】
【００１２】
【図１】画像合成装置の構成を説明するためのブロック図である。
【図２】各カメラの車両に設けられている位置及び撮影範囲を示す模式平面図である。
【図３】各カメラの車両に設けられている位置を示す模式側面図である。
【図４】各カメラによって得られた画像の例である。
【図５】３次元投影面を示す模式斜視図である。
【図６】（ａ）３次元投影面と車両との位置関係を示す図、及び（ｂ）（ａ）において合成画像に占める右側後方カメラ及び左側後方カメラにより撮影された画像の範囲を示す図である。
【図７】（ａ）比較例となる円筒形状の３次元投影面と車両との位置関係を示す図、及び（ｂ）（ａ）において合成画像に占める右側後方カメラ及び左側後方カメラにより撮影された画像の範囲を示す図である。
【図８】各側後方カメラの画像を合成した例である。
【図９】図８において、各カメラによって撮影された範囲及びその境界を示す図である。
【図１０】路面の後方画像の領域が長方形であるときの各カメラによって撮影された範囲及びその境界を示す図である。
【図１１】画像合成装置の処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
ここで示される事項は例示的なもの及び本発明の実施形態を例示的に説明するためのものであり、本発明の原理と概念的な特徴とを最も有効に且つ難なく理解できる説明であると思われるものを提供する目的で述べたものである。この点で、本発明の根本的な理解のために必要である程度以上に本発明の構造的な詳細を示すことを意図してはおらず、図面と合わせた説明によって本発明の幾つかの形態が実際にどのように具現化されるかを当業者に明らかにするものである。
【００１４】
本実施形態に係る画像合成装置（１）の構成例を図１に示す。画像合成装置（１）は自車両の後方、右側後方及び左側後方における路面及び路上の映像を合成する画像合成装置であって、車両（９１）の後方を撮影する後方カメラ（２１）、右側後方を撮影する右側後方カメラ（２２）、及び左側後方を撮影する左側後方カメラ（２３）によって撮影された映像から画像を取得する画像取得手段（３）と、座標変換手段（４）と、画像合成手段（７）と、を備える。
画像合成装置（１）を適用する車両の種類は特に限定されず、例えば、自動車、列車、自転車、自走式ロボット、遠隔操作式のロボット等を挙げることができる。また、車両の走行方法としてタイヤや車輪の他、無限軌道等も含めることができる。
【００１５】
画像取得手段（３）は、後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）によって撮影された映像（ａ、ｂ、ｃ）をキャプチャして、それぞれ後方画像（ａ’）、右側後方画像（ｂ’）及び左側後方画像（ｃ’）を取得する手段である。
座標変換手段（４）は、後方画像（ａ’）、右側後方画像（ｂ’）及び左側後方画像（ｃ’）をそれぞれ所定の投影面（Ｑ）に投影した投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）に変換する手段である。
画像合成手段（７）は、投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）を合成して、１つの後方合成画像を作成する手段である。
後方合成画像は、別途設けられる表示手段（８）により表示装置に表示することができる。
【００１６】
後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）は、それぞれ車両（９１）の後方、右側後方及び左側後方における路面及び路上の映像を取得することができればよく、その種類や設置位置を問わない。例えば、図２及び３に示すように、後方カメラ（２１）は車両（９１）の後面に固定して設けられる。また、右側後方カメラ（２２）及び左側後方カメラ（２３）（以下、側後方カメラと略す）は、車両（９１）の右側面及び左側面に固定して配設されている。具体的には、ドアミラー等の車両（９１）側方から突出する部位に配設することができる。
また、各カメラ（２１、２２、２３）は、それぞれ撮影する範囲（９２ａ、９３ａ、９４ａ）の一部が、隣のカメラの撮影する範囲の一部と重複するように配設される。それぞれ広範囲の映像を得るために、各カメラ（２１、２２、２３）には魚眼レンズ等が用いられることが好ましい。
【００１７】
図２は、車両に設けられている各カメラの位置及び撮影範囲を模式的に表している。後方カメラ（２１）は車両（９１）の後面部、側後方カメラ（２２、２３）は車両（９１）のドアミラー部に設けられている。本例では、右側後方カメラ（２２）の撮影範囲（９３ａ）と左側後方カメラ（２３）の撮影範囲（９４ａ）とは、車両後方で重なるようにされている。しかし、左右の側後方カメラのみを使用する場合には車両後方に死角が生じるため、車両の後方は後方カメラ（２１）の撮影範囲（９２ａ）によってカバーされている。尚、３つのカメラ（２１、２２、２３）によって車両の後方及び左右後方がカバーされればよく、右側後方カメラ（２２）の撮影範囲（９３ａ）と左側後方カメラ（２３）の撮影範囲（９４ａ）とは重ならないようにされていてもよい。
【００１８】
画像合成装置（１）は自車両の後方、左右側後方の路面及び路上の映像を合成するものであるが、「路面」は実際の道路の路面を意図するものではなく、車両が地面に接している平面上の車両周辺部をいう。各カメラ（２１、２２、２３）により撮影される映像に含まれる路面領域の割合（即ち各カメラの上下方向の向き）は適宜選択されればよい。また、後方合成画像における下方領域（路面領域）の画像は、主として後方カメラ（２１）によって得られる画像（ａ）から抽出するように構成されてもよい。
【００１９】
画像取得手段（３）は、各カメラ（２１、２２、２３）により撮影された映像をキャプチャして、それぞれの画像（ａ，ｂ，ｃ）を取得する（図４参照）。
レンズによって生じる画像の歪の補正は、その後適宜の段階で行うことができる。例えば、画像取得手段（３）により、画像（ａ，ｂ，ｃ）を球面画像（ａ’、ｂ’、ｃ’）に変換するように構成することができる。また、座標変換手段（４）により、各投影画像（ａ"、ｂ"、ｃ"）への変換と合わせて歪を補正するようにすることができる。
【００２０】
座標変換手段（４）は、後方画像（ａ）、右側後方画像（ｂ）及び左側後方画像（ｃ）を、それぞれ３次元座標空間における後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）の位置から所定の投影面（Ｑ）に投影するように座標変換を行う。
基準となる３次元座標系は任意に設定することができるが、以下の説明では、車両（９１）の左右方向をＸ軸、高さ方向をＹ軸、前後方向をＺ軸とする３次元直交座標（Ｘ，Ｙ，Ｚ）とする（図２、３を参照）。また、３次元座標の原点も任意に設定することができるが、以下の説明では、原点（０，０，０）を後方カメラ（２１）の位置とする。
この３次元直交座標において、車両（９１）の前方（例えば、側後方カメラの位置よりも前、後方合成画像が表示される位置よりも前等とすることができる。）であって、適宜の高さ（Ｐｘ，Ｐｙ，Ｐｚ）に、仮想視点（６５）を設定する。そして、水平（ＸＺ）断面の形状が仮想視点（６５）を中心とする楕円形状である筒状の楕円筒投影面（６３）、及び地面に対応する地面投影面（６２）を設定する。上記所定の投影面（Ｑ）は、楕円筒投影面（６３）及び地面投影面（６２）からなる（図５、６を参照）。仮想視点（６５）を通るＹ軸方向の直線を、楕円筒投影面（６３）の中心軸（６６）と呼ぶ。
【００２１】
投影面を楕円形状とすることにより、各カメラにより得られる画像中の路面領域以外の物体等が、投影面において滑らかに接合される。投影面（Ｑ）を構成する楕円筒投影面（６３）の長軸及び短軸の長さ、並びに筒の高さは、地面投影面（６２）との関係や合成する画像の大きさ等に応じて適宜設定される。
また、楕円筒投影面（６３）における楕円の長軸は、車両（９１）の前後方向とすることができる。そうすれば、自車両の側方の投影面（ｒ）が後方の投影面（ｔ）よりも近いこととなるため、後方から自車両に近づき、自車両の横を追い越していく他車両の軌道に対し適した投影面となる（図６、７を参照）。
【００２２】
楕円筒投影面（６３）は、水平断面において仮想視点（６５）から車両（９１）の後方を中心として所定角度（φ）の範囲内であり、地面投影面（６２）は、楕円筒投影面（６３）に接する範囲内であるように構成することができる（図６を参照）。上記所定角度（φ）は、必要な後方合成画像の範囲に応じて適宜決められればよい。また、楕円筒投影面（６３）の高さも任意に設定できる。
上記により、投影面（Ｑ）は、図５において実線により表された形状となる。すなわち、投影面（Ｑ）を構成する楕円筒投影面（６３）は、地面から一定の高さの範囲で、所定角度（φ）に含まれる楕円筒の範囲とすることができる。また、投影面（Ｑ）を構成する地面投影面（６２）は、仮想視点（６５）を中心とし所定角度（φ）に含まれる地面が楕円筒投影面（６３）に接するまでの区画とすることができる。
【００２３】
座標変換手段（４）は、後方画像（ａ）、右側後方画像（ｂ）及び左側後方画像（ｃ）を、それぞれ３次元座標空間における後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）の位置から投影面（Ｑ）に投影するように座標変換を行う。それにより、投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）を生成する。この座標変換は、投影と同時にカメラによる画像の歪みを補正するように構成することができる。また、投影と同時に画像の左右反転を行うように構成することができる。
各画像（ａ、ｂ、ｃ）を各投影面（６２、６３）に投影する具体的な手段は任意に選択することができ、例えば、予め座標変換の計算を行い、画像の各画素と投影面の各画素の対応表となるルックアップテーブル（４１）を参照することにより、画像変換を行うことができる。また、ルックアップテーブル（４１）は、座標変換計算、及びカメラによる画像の歪み補正計算が含まれた画像の各画素と投影面の各画素の対応表であってもよい。更に、ルックアップテーブル（４１）は、座標変換計算、カメラによる画像の歪み補正計算、及び画像の左右反転計算が含まれた画像の各画素と投影面の各画素の対応表であってもよい。
【００２４】
上記座標変換においては、楕円筒投影面（６３）上の投影座標（Ｕ）が地面投影面（６２）より下に位置する場合が生じる。この場合には、座標変換手段（４）は、後方カメラ（２１）と投影座標（Ｕ）とを結ぶ線分（Ｌ１、Ｌ５）が地面投影面（６２）と交わる点の座標（Ｐ１、Ｐ５）、若しくは右側後方カメラ（２２）又は左側後方カメラ（２３）と投影座標（Ｕ）とを結ぶ線分（Ｌ２、Ｌ６）が地面投影面（６２）と交わる点の座標（Ｐ２、Ｐ６）に変換するようにすることができる（図３を参照）。
後方画像（ａ）、右側後方画像（ｂ）及び左側後方画像（ｃ）を、後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）の配設位置の座標（（０，０，０）、（ＳＲｘ，ＳＲｙ，ＳＲｚ）、（ＳＬｘ，ＳＬｙ，ＳＬｚ））から投影することにより、カメラ（２１、２２、２３）間の位置や向きが異なっていても画像（ａ、ｂ、ｃ）間の縮尺や傾き等のずれが少ない楕円筒投影面（６３）及び地面投影面（６２）上の投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）が得られる。
【００２５】
座標変換手段（４）は、投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）における上方領域を、楕円筒投影面（６３）への投影画像から生成し、下方領域を地面投影面（６２）への投影画像から生成するようにすることができる。このようにすれば、その後、各投影画像（ａ"、ｂ"、ｃ"）を合成することにより生成される後方合成画像において、上方領域は楕円筒投影面（６３）へ投影した画像に相当し、下方領域は地面投影面（６２）へ投影した画像に相当することとなる。
【００２６】
画像合成手段（７）は、座標変換手段（４）で投影面（Ｑ）に投影された投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）を合成することにより、１つの後方合成画像を作成する。
具体的には、投影後方画像（ａ"）を中央（ｔ）に配し、その左右（ｒ）に投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）を配する。各投影画像（ａ"、ｂ"、ｃ"）からは、合成に必要な範囲が抽出される。後方合成画像において各投影画像（ａ"、ｂ"、ｃ"）が占める比率は、任意に設定することができる。
画像合成手段（７）は、それぞれ遷移領域（ｂ１、ｂ２）を挟んで、投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）を合成した前記後方合成画像を生成するようにすることができる（図６（ｂ）を参照）。
【００２７】
隣り合う画像の境目となる遷移領域は、境目部分の違和感をなくすように差異を低減する処理を施すことができる。例えば、境目を含む一定幅（ｂ１、ｂ２）において、所定の混合比率で各画像を混合することを挙げることができる。また、所定の混合比率は、一様の混合比率であってもよいし、漸次変化させてもよい。
【００２８】
遷移領域（ｂ１、ｂ２）において、楕円筒投影面（６３）上の投影座標（Ｕ）が地面投影面（６２）より下に位置する領域がある（図３を参照）。この領域において、後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）の後方画像（ａ）、右側後方画像（ｂ）及び左側後方画像（ｃ）を、座標変換手段（４）により変換すると、同じ地面の位置の画素が異なる地面投影面（６２）上の位置（図３に示すＰ１、Ｐ５、及びＰ２、Ｐ６を参照）に投影された各投影画像（ａ"、ｂ"、ｃ"）となる。そして、各投影画像（ａ"、ｂ"、ｃ"）を画像合成手段（７）により合成すると、異なる地面の位置の画素が重なった合成画像となるため、視認性が低下する。
そこで、座標変換手段（４）は、後方カメラ（２１）と右側後方カメラ（２２）又は左側後方カメラ（２３）とを結ぶ線分（Ｌ４、Ｌ８）上に基点（Ｐ４、Ｐ８）を設定し、基点（Ｐ４、Ｐ８）と楕円筒投影面（６３）上の投影座標（Ｕ）とを結ぶ線分（Ｌ３、Ｌ７）が地面投影面（６２）と交わる点（Ｕ’）を地面投影面（６２）上の投影座標とするように変換することができる。このように、後方画像（ａ）及び右側後方画像（ｂ）の投影座標、並びに後方画像（ａ）及び左側後方画像（ｃ）の投影座標を所定の点（Ｕ’）に揃えることにより、各画像上の各路上物の位置がずれることなく重なって合成された合成画像を得ることができる。
また、基点（Ｐ４、Ｐ８）を投影座標（Ｕ）の楕円筒投影面の周方向（Ｗ方向）に対応して漸次変化させることによって、遷移領域（ｂ１、ｂ２）内の合成画像の違和感を抑制することができる。即ち、投影座標（Ｕ）が後方画像（ａ）の右又は左端側に近づくに従い、基点（Ｐ４、Ｐ８）が右側後方カメラ（２２）又は左側後方カメラ（２３）側に近づくように漸次変化させる。
尚、前記地面投影面（６２）上の点（Ｕ’）は、後方カメラ（２１）と投影座標（Ｕ）とを結ぶ線分（Ｌ１、Ｌ５）が地面投影面（６２）と交わる点（Ｐ１、Ｐ５）と、右側後方カメラ（２２）又は左側後方カメラ（２３）と投影座標（Ｕ）とを結ぶ線分（Ｌ２、Ｌ６）が地面投影面（６２）と交わる点（Ｐ２、Ｐ６）と、の２点を結ぶ線分（Ｐ１−Ｐ２、Ｐ５−Ｐ６）上の点として求めても同じ点（Ｕ’）を求めることができる。
【００２９】
後方合成画像において各投影画像（ａ"、ｂ"、ｃ"）を配分する形態は、限定されない。例えば、後方合成画像を横方向に適宜の比率で３分割し、それぞれ投影画像（ａ"、ｂ"、ｃ"）を配置することができる。
また、画像合成手段（７）は、後方合成画像を上下方向に適宜の比率で２分割し、その上方領域（７１）と下方領域（７２）とで各投影画像（ａ"、ｂ"、ｃ"）の配分形態を変更することができる。例えば、後方合成画像の上方領域（７１）には適宜の比率により各投影画像（ａ"、ｂ"、ｃ"）の上方領域を配し、後方合成画像の下方領域（７２）には、上方領域（７１）と画像が連続し、且つ中央の投影後方画像（ａ"）の領域が下方に向けて広がる台形状に配することができる（図６（ｂ）を参照）。これにより、後方合成画像の下方領域（７２）においては、左右の投影画像（ｂ"、ｃ"）はそれぞれ下方に向けて狭まる台形状に配されることになる。
【００３０】
図６（ｂ）に示すように、後方合成画像の下方領域（７２）において、投影後方画像（ａ"）を下方に向けて広がる台形状（７６）に配するときは、その上底が投影後方画像（ａ"）の上方領域（７１）の下辺と同じ長さであり、下底の長さは少なくとも車両（９１）の車幅以上に対応させることが好ましい。車幅以上とすることで車両後方の路上物の画像が境界を越えて変形しにくくなり、車両（９１）が後進するときの視認性が高まるからである。尚、後方合成画像の下方領域（７２）において、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）は、それぞれ投影後方画像部（７６）の右左の残部分（７７、７８）に配される。
上記後方合成画像は、表示手段（８）により液晶ディスプレイ等の表示装置に表示するように出力される。
【００３１】
以上の画像取得手段（３）、座標変換手段（４）、画像合成手段（７）は、ハードウェア、ソフトウェアのいずれによって実現されてもよく、具体的な構成は問わない。例えば、図示しないＣＰＵ、メモリ（ＲＯＭ、ＲＡＭ等）、入出力回路等を備えるマイクロコントローラ（マイクロコンピュータ）を中心に、入出力インターフェース等周辺回路を備えることにより構成することができる。マイクロコントローラとして、画像処理に向いたプロセッサを使用することができる。また、プログラム可能な論理回路、ゲートアレーその他の論理回路を用いて構成されてもよい。
【００３２】
本実施形態に係る画像合成装置１はバックミラーの代わりに用いられる後方モニタであり、図１に示すように、後方カメラ２１、２つの側後方カメラ２２及び２３からそれぞれ後方画像、右側後方画像及び左側後方画像を取得する、画像取得手段３、座標変換手段（４）、画像合成手段（７）等を備えて構成されている。
図２は、各カメラ２１〜２３とその画角（撮影範囲）の例を示している。各カメラ２１〜２３は、いずれも魚眼レンズを用いたカメラである。後方カメラ２１は、図２、３に示すように、車両９１の後端であるバックドアのドアノブ付近に設けられ、車両９１の後方の範囲９２ａを撮影する。側後方カメラ２２、２３は、それぞれ車両９１の側面から延出するドアミラー部に設けられており、車両９１の後方を含む左右の範囲９３ａ、９４ａを撮影する。
【００３３】
画像合成装置１における情報処理方法及び動作を、図１１に示すフローチャートに基づき説明する。本発明は、車両の後方、右側後方及び左側後方における路面及び路上の映像を合成する画像合成方法としても実現可能である。本画像合成方法は、前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得工程と、前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換工程と、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成工程と、を備え、前記所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、前記座標変換工程は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影することを特徴とする。
上記画像取得工程は主として画像取得手段３により行われる。また、上記座標変換工程は主として座標変換手段４により、上記画像合成工程は主として画像合成手段７により行われる。
【００３４】
まず、画像取得工程において、後方カメラ２１、側後方カメラ２２及び２３によって撮影される映像をキャプチャすることによって、それぞれ画像（ａ、ｂ、ｃ）を取得する（ステップＳ１）。取得される各画像（ａ、ｂ、ｃ）は、例えば、図４に示すように魚眼レンズによる円形の画像となる。
画像取得工程において、各画像（ａ、ｂ、ｃ）をそれぞれ球面座標に変換して歪みを補正し、後方画像（ａ’）、右側後方画像（ｂ’）及び左側後方画像を生成するようにしてもよい。
【００３５】
次に、座標変換工程において、後方画像（ａ）、右側後方画像（ｂ）及び左側後方画像（ｃ）が、それぞれ図５に示した投影面Ｑに投影した画像（ａ"、ｂ"、ｃ"）に変換される（ステップＳ２）。投影面Ｑは、仮想視点６５を基準として設定されており、楕円筒投影面６３及び地面投影面６２から構成されている。また、後方モニタとして適した向きとなるよう、変換時に各画像の左右反転も同時に行われる。
各投影画像（ａ"、ｂ"、ｃ"）は、それぞれ３次元座標空間における後方カメラ２１、右側後方カメラ２２及び左側後方カメラ２３の位置から、楕円筒投影面６３及び地面投影面６２に投影される画像である。
投影画像への座標変換においては、図３に示すように、楕円筒投影面６３上の投影座標Ｕが地面投影面６２より下に位置する場合が生じる。この場合には、座標変換工程において、後方カメラ２１と投影座標Ｕとを結ぶ線分Ｌ１、Ｌ５、右側後方カメラ２２と投影座標Ｕとを結ぶ線分Ｌ６、及び左側後方カメラ２３と投影座標Ｕとを結ぶ線分Ｌ２が地面投影面６２と交わる点の地面投影面６２上の座標Ｐ１、Ｐ５、Ｐ６、Ｐ２に変換する。
また、遷移領域ｂ１、ｂ２において、楕円筒投影面６３上の投影座標Ｕが地面投影面６２より下に位置する場合は、後方カメラ２１と右側後方カメラ２２又は左側後方カメラ２３とを結ぶ線分Ｌ４、Ｌ８上に、遷移領域ｂ１、ｂ２のＷ方向の位置に比例する基点Ｐ４、Ｐ８を設定し、その基点Ｐ４、Ｐ８と楕円筒投影面６３上の投影座標Ｕとを結ぶ線分Ｌ３、Ｌ７が地面投影面６２と交わる点Ｕ’を地面投影面６２上の投影座標とするように変換する。
【００３６】
次に、画像合成工程において、投影後方画像、投影右側後方画像及び投影左側後方画像（ａ"、ｂ"、ｃ"）を合成することにより後方合成画像を生成する（ステップＳ３）。画像の合成は、図６（ｂ）に例示したように、各投影画像（ａ"、ｂ"、ｃ"）から合成に用いる所定の区画を切り出し、その境界が所定の幅で重なるように配置することによって行う。各投影画像から切り出した画像の境界部（遷移領域ｂ１、ｂ２）は、隣り合う画像の混合比率を幅方向で漸次変化させて各画像を混合することにより、画像間の継ぎ目の不自然さを軽減する。
これによって、図８に示すような後方合成画像が作成される。
【００３７】
後方合成画像の作成においては、その上下方向に適宜の比率で上方領域７１と下方領域７２に区分し、上方と下方とで各投影画像から切り出す割合を変えることができる。すなわち、図６（ｂ）に示したように、後方合成画像の下方領域７２においては、投影後方画像ａ"が下方に向けて広くなる台形状に切り出し、残る左右の領域に投影右側後方画像及び投影左側後方画像（ｂ"、ｃ"）から切り出した画像を配置することができる。図９は、このような方法で作成した後方合成画像の例である。一方、図１０は、後方合成画像の上下領域で各投影画像から切り出す割合を変えないで、各投影画像（ａ"、ｂ"、ｃ"）を配した例である。図９のように、後方合成画像における下方領域において投影後方画像ａ"を下方に広がるように配することによって、車両後部付近の路上が広く視認されるようにすることができる。
後方合成画像は、別途設けられる表示装置に出力して表示するようにすることができる（ステップＳ４、表示工程）。
【００３８】
尚、本発明においては、以上に示した実施形態に限られず、目的、用途に応じて本発明の範囲内で種々変更した態様とすることができる。
【符号の説明】
【００３９】
１；画像合成装置、２１；後方カメラ、２２；右側後方カメラ、２３；左側後方カメラ、３；画像取得手段、４；座標変換手段、６２；地面投影面、６３；楕円筒投影面、６５；仮想視点、６６；中心軸、７；画像合成手段、８；表示手段、９１；車両。
【図１】
2018081591.tif 000003
【図２】
2018081591.tif 000004
【図３】
2018081591.tif 000005
【図４】
2018081591.tif 000006
【図５】
2018081591.tif 000007
【図６】
2018081591.tif 000008
【図７】
2018081591.tif 000009
【図８】
2018081591.tif 000010
【図９】
2018081591.tif 000011
【図１０】
2018081591.tif 000012
【図１１】
2018081591.tif 000013