(57)【要約】【課題】車幅を正確に把握させることができる画像生成装置および画像生成方法を提供すること。【解決手段】実施形態に係る画像生成装置は、合成部と、重畳部とを備える。合成部は、車両に設けられた撮像部によって撮像された撮像画像に基づき、車両の側方の少なくとも一部を含むように車両の進行方向を見る仮想視点の俯瞰画像を合成する。重畳部は、合成部によって合成された俯瞰画像における車両の路面位置に車両を平面化した平面画像を重畳する。【選択図】図２
2018107754.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられた撮像部によって撮像された撮像画像に基づき、前記車両の側方の少なくとも一部を含むように前記車両の進行方向を見る仮想視点の俯瞰画像を合成する合成部と、
前記合成部によって合成された前記俯瞰画像における前記車両の路面位置に前記車両を平面化した平面画像を重畳する重畳部と
を備えることを特徴とする画像生成装置。
【請求項２】
前記合成部は、
前記車両の内部を前記仮想視点とする前記俯瞰画像を合成すること
を特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記重畳部は、
前記俯瞰画像における前記撮像部の死角領域に収まるように前記平面画像を重畳すること
を特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記車両の周辺に存在する物体を検出する物体検出部をさらに備え、
前記重畳部は、
前記物体検出部の検知範囲を示す検知範囲画像を前記俯瞰画像に重畳すること
を特徴とする請求項１〜３のいずれか一つに記載の画像生成装置。
【請求項５】
前記合成部は、
前記車両の側方に障害物が存在する場合に、前記俯瞰画像における前記障害物が存在する領域のうち前記進行方向側の一部を透過させた前記俯瞰画像を合成すること
を特徴とする請求項１〜４のいずれか一つに記載の画像生成装置。
【請求項６】
車両に設けられた撮像部によって撮像された撮像画像に基づき、前記車両の側方の少なくとも一部を含むように前記車両の進行方向を見る仮想視点の俯瞰画像を合成する合成工程と、
前記合成工程によって合成された前記俯瞰画像における前記車両の路面位置に前記車両を平面化した平面画像を重畳する重畳工程と
を含むことを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置および画像生成方法に関する。
【背景技術】
【０００２】
従来、車両のカメラ画像に基づいて車両の周辺を俯瞰した俯瞰画像を合成する画像生成装置がある。画像生成装置は、俯瞰画像において、車両が存在する路面位置に車両の三次元形状を示す画像を重畳することで、車両を仮想的に表示している（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１９２７７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術のように、車両を三次元形状で示した場合、仮想視点の位置によっては、車両の運転者が俯瞰画像において車幅を把握しづらくなるおそれがあった。
【０００５】
本発明は、上記に鑑みてなされたものであって、車幅を正確に把握させることができる画像生成装置および画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像生成装置は、合成部と、重畳部とを備える。合成部は、車両に設けられた撮像部によって撮像された撮像画像に基づき、前記車両の側方の少なくとも一部を含むように前記車両の進行方向を見る仮想視点の俯瞰画像を合成する。重畳部は、前記合成部によって合成された前記俯瞰画像における前記車両の路面位置に前記車両を平面化した平面画像を重畳する。
【発明の効果】
【０００７】
本発明によれば、車幅を正確に把握させることができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、実施形態に係る画像生成方法の概要を示す図である。
【図１Ｂ】図１Ｂは、実施形態に係る画像生成方法の概要を示す図である。
【図２】図２は、実施形態に係る画像生成装置の構成を示すブロック図である。
【図３】図３は、撮像部の配置例を示す図である。
【図４Ａ】図４Ａは、合成部の処理内容を示す図である。
【図４Ｂ】図４Ｂは、合成部の処理内容を示す図である。
【図５】図５は、俯瞰画像における撮像部の死角領域を示す図である。
【図６Ａ】図６Ａは、物体検出部の検知範囲を示す図である。
【図６Ｂ】図６Ｂは、物体検出部の検知範囲を示す図である。
【図７】図７は、実施形態に係る画像生成装置が実行する生成処理の処理手順を示すフローチャートである。
【図８Ａ】図８Ａは、変形例に係る合成部による透過処理を示す図である。
【図８Ｂ】図８Ｂは、変形例に係る合成部による透過処理を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する画像生成装置および画像生成方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【００１０】
まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像生成方法の概要について説明する。図１Ａおよび図１Ｂは、実施形態に係る画像生成方法の概要を示す図である。図１Ａには、壁Ｗに挟まれた狭路を車両Ｃが走行している状況を示している。車両Ｃには、実施形態に係る画像生成方法を実行する画像生成装置１が搭載される。
【００１１】
また、図１Ｂには、仮想視点ＶＰから見る俯瞰画像Ｐを示している。仮想視点ＶＰとは、俯瞰画像Ｐにおける仮想的な視点であり、視点位置および視線方向の情報を含む。
【００１２】
俯瞰画像Ｐは、仮想視点ＶＰから見下ろす合成画像であり、車両Ｃに設けられた撮像部１３ａ〜１３ｄ（図３参照）によって撮像された撮像画像に基づいて合成される。例えば、図１Ｂには、車両Ｃの側方の少なくとも一部を含むように車両Ｃの進行方向を見る俯瞰画像Ｐを示している。すなわち、俯瞰画像Ｐは、車両Ｃの進行方向を三次元的（３Ｄ；three-dimensional）に立体視した画像である。
【００１３】
ここで、従来の画像生成方法について説明する。従来の画像生成方法では、合成した俯瞰画像において、車両が存在する路面位置に車両の三次元形状を示す画像を重畳させることで、運転者が車両の位置を把握できるようにしていた。
【００１４】
しかしながら、従来のように、車両を三次元形状で示した場合、例えば車両の一方の側面を見る仮想視点の俯瞰画像では、車両の反対側の側面位置を把握しづらいため、俯瞰画像において車幅を正確に把握できないおそれがあった。
【００１５】
そこで、実施形態に係る画像生成方法では、俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを平面化した平面画像ＣＰを重畳する。つまり、実施形態に係る画像生成方法では、車両Ｃの画像を平面化することで、仮想視点ＶＰの視点位置によらず、常に、車両Ｃの両側の側面位置が２本の線で表される。なお、平面画像ＣＰとは、車両Ｃを二次元的（２Ｄ；two-dimensional）に平面状とした画像である。
【００１６】
したがって、実施形態に係る画像生成方法では、車両Ｃの運転者が車両Ｃの両側の側面位置を把握しやすくなるため、車幅を正確に把握することができる。また、車両Ｃを平面化した平面画像ＣＰを表示するので、運転者は俯瞰画像Ｐにおける車両Ｃの位置を直感的に把握しつつ、車幅を把握することができる。
【００１７】
なお、実施形態に係る画像生成装置１では、仮想視点ＶＰを車両Ｃの内部に設定することができるが、かかる点については、図４Ａおよび図４Ｂを用いて後述する。
【００１８】
また、実施形態に係る画像生成装置１では、平面画像ＣＰを撮像部１３ａ〜１３ｄの死角領域Ｒに収めるように重畳するが、かかる点については、図５を用いて後述する。
【００１９】
次に、図２を参照して、実施形態に係る画像生成装置１の構成について詳細に説明する。図２は、実施形態に係る画像生成装置１の構成を示すブロック図である。図２に示すように、実施形態に係る画像生成装置１は、超音波センサ１０ａ〜１０ｄと、入力装置１１と、車速センサ１２と、撮像部１３ａ〜１３ｄと、表示装置５０とに接続される。まず、画像生成装置１以外の構成について説明する。
【００２０】
超音波センサ１０ａ〜１０ｄは、送信した送信波が物体に反射した反射波を受信し、受信結果を画像生成装置１へ出力する。なお、超音波センサ１０ａ〜１０ｄの配置例および検知範囲Ｓａ〜Ｓｈについては、図６Ａおよび図６Ｂを用いて後述する。
【００２１】
入力装置１１は、例えばタッチパネルディスプレイや切替ボタンとった入力デバイスであり、例えば、車両Ｃの運転者が仮想視点ＶＰの視点位置を切り替える切替操作を入力するための入力デバイスである。車速センサ１２は、車両Ｃにおける車軸の回転数に応じたパルス信号を発生し、パルス信号を画像生成装置１へ出力する。
【００２２】
撮像部１３ａ〜１３ｄは、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備えた車載カメラである。また、撮像部１３ａ〜１３ｄは、魚眼レンズ等の広角レンズを備えており、車両Ｃの周囲を広範囲に撮像することが可能である。
【００２３】
ここで、図３を用いて、撮像部１３ａ〜１３ｄの車両Ｃにおける配置例について説明する。図３は、撮像部１３ａ〜１３ｄの配置例を示す図である。複数の撮像部１３ａ〜１３ｄは、それぞれ車両Ｃの前方、後方、右方および左方にそれぞれ配置される。
【００２４】
撮像部１３ａは、車両Ｃの前方を撮像し、撮像部１３ｂは、車両Ｃの左側方を撮像し、撮像部１３ｃは、車両Ｃの右側方を撮像し、撮像部１３ｄは、車両Ｃの後方を撮像する。これにより、車両Ｃのあらゆる方向の様子を撮像することができる。
【００２５】
なお、図３に示す配置例では、車両Ｃの路面位置に対応する車両Ｃの直下の領域（いわゆる、車両Ｃと路面との間の影ができる領域）は、撮像部１３ａ〜１３ｄの死角領域Ｒとなるが、かかる点については、図５を用いて後述する。
【００２６】
図２に戻って表示装置５０について説明する。表示装置５０は、例えば液晶パネルを備えたナビゲーション装置であり、画像生成装置１から出力される情報を表示する。なお、表示装置５０と入力装置１１とは、別体で構成されたが、例えば、表示装置５０および入力装置１１の機能を有する一つの電子装置として一体的に構成されてもよい。
【００２７】
次に、実施形態に係る画像生成装置１について説明する。実施形態に係る画像生成装置１は、制御部２と、記憶部３とを備える。制御部２は、物体検出部２１と、受付部２２と、速度算出部２３と、合成部２４と、重畳部２５とを備える。記憶部３は、重畳画像情報３１を記憶する。
【００２８】
ここで、画像生成装置１は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００２９】
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の物体検出部２１、受付部２２、速度算出部２３、合成部２４および重畳部２５として機能する。
【００３０】
また、制御部２の物体検出部２１、受付部２２、速度算出部２３、合成部２４および重畳部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３１】
また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、重畳画像情報３１や、各種プログラムの情報等を記憶することができる。なお、画像生成装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３２】
制御部２は、撮像画像に基づいて俯瞰画像Ｐを合成するとともに、合成した俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを平面化した平面画像ＣＰを重畳し、表示装置５０に表示させる。
【００３３】
物体検出部２１は、車両Ｃの周辺に存在する物体を検出する。具体的には、物体検出部２１は、超音波センサ１０ａ〜１０ｄ（いわゆるクリアランスソナー）から出力される反射波の受信結果に基づいて物体を検出する。
【００３４】
物体検出部２１は、検出した物体を合成部２４および重畳部２５へ出力する。なお、物体検出部２１は、クリアランスソナーに限定されず、例えばミリ波等を用いたレーダ装置によって物体を検出してもよい。あるいは、物体検出部２１は、撮像部１３ａ〜１３ｄの撮像画像に基づいて物体を検出することとしてもよい。
【００３５】
受付部２２は、例えば車両Ｃの運転者が入力装置１１に対して行う仮想視点ＶＰの切替操作を受け付ける。かかる切替操作は、仮想視点ＶＰの視点位置および視線方向のパラメータを決定する操作である。受付部２２は、受け付けた切替操作の情報を合成部２４へ出力する。
【００３６】
視点位置は、例えば３次元空間における座標位置で表現することができる。また、仮想視点ＶＰの視線方向は、角度αおよび角度β（図４Ａおよび図４Ｂ参照）として表現することができる。
【００３７】
速度算出部２３は、車速センサ１２のパルス信号に基づいて車両Ｃの走行速度を算出する。なお、速度算出部２３は、車速センサ１２に限らず、例えば撮像部１０の撮像画像に基づいて車両Ｃの走行速度を算出することとしてもよい。
【００３８】
合成部２４は、撮像部１３ａ〜１３ｄによって撮像された撮像画像に基づいて仮想視点ＶＰの視点位置から所定の視線方向を見る俯瞰画像Ｐを合成する。具体的には、合成部２４は、撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された入力画像のうち任意の仮想視点ＶＰから見て所定の視野角に含まれる領域の画像を俯瞰画像Ｐとする。
【００３９】
例えば、合成部２４は、撮像画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、撮像画像に含まれるデータを、所定の投影面の対応する位置に投影することができる。
【００４０】
かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両Ｃの位置であり、車両Ｃの位置の外側（例えば、お椀の底部分以外の部分）は、車両Ｃの周囲の領域に相当する。所定の投影面は、曲面でなく平面であってもよい。
【００４１】
例えば、合成部２４は、車両Ｃの側方の少なくとも一部を含むように車両Ｃの進行方向を見た仮想視点ＶＰの俯瞰画像Ｐを合成する。かかる点について図４Ａおよび図４Ｂを用いて説明する。
【００４２】
図４Ａおよび図４Ｂは、合成部２４の処理内容を示す図である。図４Ａには、初期位置となる仮想視点ＶＰ１と、視点切替後の仮想視点ＶＰ２と、仮想視点ＶＰ２の設定可能範囲１００とを示している。また、仮想視点ＶＰ１の視線方向は、鉛直方向とする。
【００４３】
ここで、仮想視点ＶＰ１から鉛直方向を見た場合の俯瞰画像Ｐが最初に表示され、その後、車両Ｃの運転者が入力装置１１に対して設定可能範囲１００内のいずれかの位置を指定することで仮想視点ＶＰの視点位置が切り替わる。
【００４４】
図４Ａに示すように、設定可能範囲１００は、初期位置となる仮想視点ＶＰ１よりも路面に近い位置に設定される。また、設定可能範囲１００は、車両Ｃの高さ、全長、幅長（図４Ｂ）によって構成される三次元空間の範囲である。
【００４５】
つまり、合成部２４は、車両Ｃの内部を仮想視点ＶＰ２とする俯瞰画像Ｐを生成する。これにより、仮想視点ＶＰ２の俯瞰画像Ｐは、仮想視点ＶＰ１の俯瞰画像Ｐに比べて拡大表示（ズーム表示）されるため、車両Ｃの運転者が車両Ｃと壁Ｗ等の障害物とのクリアランスを容易に把握することができる。
【００４６】
なお、仮想視点ＶＰ２の視点位置は、設定可能範囲１００のうち車両Ｃの運転者の視点位置に近いことが好ましい。これにより、実際に車両Ｃの運転者が見る景色に近い俯瞰画像Ｐを表示できるため、運転者が俯瞰画像Ｐを違和感なく受け入れることができる。
【００４７】
つづいて、合成部２４は、受付部２２が受け付けた角度αおよび角度βに基づいて仮想視点ＶＰ２の視線方向を設定する。具体的には、合成部２４は、まず、仮想視点ＶＰ２の鉛直方向（仮想視点ＶＰ１の視線方向に相当）から車両Ｃの進行方向側へ角度α回転させることで、仮想視点ＶＰ２の視線方向を設定する。
【００４８】
言い換えれば、合成部２４は、車両Ｃの進行方向とは反対側から進行方向を見るように仮想視点ＶＰ２の視線方向を設定する。これにより、例えば車両Ｃの進行方向に障害物等が存在する場合に、俯瞰画像Ｐから障害物を把握することができる。
【００４９】
つづいて、図４Ｂに示すように、合成部２４は、車幅方向側への視線方向を設定する。具体的には、合成部２４は、車両Ｃの進行方向と平行な向きから角度β（正または負の値）分だけ回転させる。
【００５０】
角度βは、０度以上、９０度以下の範囲（０≦β≦９０）で設定可能である。角度βがゼロ度の場合、俯瞰画像Ｐにおいて、車両Ｃの両側方の一部が視認できる。また、角度βが例えば＋９０度の場合、俯瞰画像Ｐにおいて、車両Ｃの左側方および進行方向の左側の一部が視認できる。
【００５１】
これにより、壁Ｗ等の障害物が存在する側の車両Ｃの側方を重点的に示した俯瞰画像Ｐが合成されるため、車両Ｃと壁Ｗとのクリアランスを容易に把握することができる。
【００５２】
なお、合成部２４は、運転者の手動操作によって角度αを設定したが、仮想視点ＶＰ２の位置に応じた最適な角度αを予め記憶しておき自動で設定してもよい。また、合成部２４は、車両Ｃの走行速度に応じて角度αを設定してもよい。
【００５３】
具体的には、合成部２４は、車両Ｃの走行速度が速い程、角度αを大きくする。これは、車両Ｃの運転者が、走行速度が速い程、進行方向のより遠方を見る必要があるためである。
【００５４】
これにより、車両Ｃの運転者は、例えば進行方向に存在する障害物を俯瞰画像Ｐから早期に把握できるため、障害物に対して余裕をもって対応することができる。
【００５５】
また、合成部２４は、車両Ｃの旋回角度に応じて角度βを自動で設定してもよい。具体的には、合成部２４は、旋回している側へ視線方向を傾けるとともに、例えば舵角センサ等から検出される旋回角度を角度βとして視線方向を回転させる。
【００５６】
これにより、車両Ｃが例えば狭路の曲がり角を曲がる際に、自転車等の巻き込みおよび車両Ｃの側面を壁Ｗで擦る等の状況を少なくできるため、車両Ｃの安全性をより向上させることができる。
【００５７】
なお、図４Ａでは、車両Ｃの内部を仮想視点ＶＰ２の設定可能範囲１００としたが、仮想視点ＶＰ１より路面に近い位置であれば、車両Ｃの外部を設定可能範囲１００としてもよい。
【００５８】
図２に戻って、制御部２についての説明をつづける。制御部２の重畳部２５は、合成部２４によって合成された俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを平面化した平面画像ＣＰを重畳する。
【００５９】
具体的には、重畳部２５は、記憶部３に記憶された重畳画像情報３１に基づいて平面画像ＣＰを生成する。重畳画像情報３１は、車両Ｃをあらゆる視点位置および視線方向の仮想視点ＶＰから見た平面画像ＣＰを含んだ情報である。重畳画像情報３１の平面画像ＣＰは、例えばクロマキー合成によって予め生成可能である。
【００６０】
つまり、重畳部２５は、合成部２４によって設定された仮想視点ＶＰ２の視点位置および視線方向に対応する平面画像ＣＰを重畳画像情報３１の中から選択する。
【００６１】
なお、重畳部２５は、重畳画像情報３１の中から平面画像ＣＰを選択したが、これに限らず重畳部２５が仮想視点ＶＰ２の視点位置および視線方向に基づいて平面画像ＣＰを随時生成してもよい。
【００６２】
つづいて、重畳部２５は、俯瞰画像Ｐにおける撮像部１３ａ〜１３ｄの死角領域Ｒに収まるように平面画像ＣＰを重畳する。かかる点について、図５を用いて説明する。
【００６３】
図５は、俯瞰画像Ｐにおける撮像部１３ａ〜１３ｄの死角領域Ｒを示す図である。死角領域Ｒとは、撮像部１３ａ〜１３ｄの撮像画像に含まれない領域である。撮像部１３ａ〜１３ｄの配置（図３参照）の場合、車両Ｃの直下（いわゆる、車両Ｃと路面との間の影ができる領域）が死角領域Ｒとなる。
【００６４】
つまり、死角領域Ｒは、車両Ｃの全長、幅長と略同じである。また、図５に示すように、俯瞰画像Ｐにおける死角領域Ｒは、上底Ｗ１、下底Ｗ２、高さＨによって構成される台形状となる。上底Ｗ１、下底Ｗ２、高さＨは、仮想視点ＶＰ２の視点位置および視線方向に応じて設定される。
【００６５】
具体的には、仮に、仮想視点ＶＰ２の視線方向が一定である場合、視点位置が高い程、死角領域Ｒの上底Ｗ１、下底Ｗ２、高さＨは、短くなる。また、視点位置が進行方向側に向かう程、高さＨは、短くなる。また、仮に、仮想視点ＶＰ２の視点位置が一定である場合、視線方向の角度αが大きい程、高さＨおよび上底Ｗ１が短くなる。
【００６６】
つまり、重畳部２５は、仮想視点ＶＰ２に基づいて平面画像ＣＰを死角領域Ｒの形状と略同じ形状になるように変形させる。これにより、車両Ｃを平面画像ＣＰによって視覚的に認識できるため、車両Ｃと壁Ｗ等の障害物とのクリアランスを容易に把握することができる。
【００６７】
なお、重畳部２５は、物体検出部２１の検知範囲Ｓを示す検知範囲画像を俯瞰画像Ｐに重畳してもよい。かかる点について、図６Ａおよび図６Ｂを用いて説明する。
【００６８】
図６Ａおよび図６Ｂは、物体検出部２１に接続される超音波センサ１０ａ〜１０ｄの検知範囲Ｓａ〜Ｓｈを示す図である。図６Ａには、車両Ｃを鉛直方向に見下ろした場合の超音波センサ１０ａ〜１０ｄの検知範囲Ｓａ〜Ｓｈを示し、図６Ｂには、検知範囲Ｓａ〜Ｓｄの外周を検知範囲Ｓとして示している。
【００６９】
図６Ａに示すように、例えば、超音波センサ１０ａ，１０ｂは、車両Ｃの前方側（例えばバンパー裏）に設けられ、超音波センサ１０ａが検知範囲Ｓａ，Ｓｂを有し、超音波センサ１０ｂが検知範囲Ｓｃ，Ｓｄを有する。
【００７０】
また、例えば、超音波センサ１０ｃ，１０ｄは、車両Ｃの後方側（例えばバンパー裏）に設けられ、超音波センサ１０ｃが検知範囲Ｓｅ，Ｓｆを有し、超音波センサ１０ｄが検知範囲Ｓｇ，Ｓｈを有する。
【００７１】
また、各検知範囲Ｓａ〜Ｓｈは、所定距離毎に複数の領域（図６Ａでは４つ）に区画され、検出した物体の位置に応じた領域が検出位置として物体検出部２１に通知される。さらに、検知範囲Ｓｂ，Ｓｃ，Ｓｆ，Ｓｇには、区画された領域の外側に付加領域が設けられる。これは、進行方向に存在する物体を早期に捉えるために設けられる。
【００７２】
例えば、図６Ｂに示すように、重畳部２５は、仮想視点ＶＰ２の視点位置および視線方向に基づいて検知範囲Ｓａ〜Ｓｈを変形させた検知範囲Ｓの検知範囲画像を生成する。具体的には、重畳部２５は、車両Ｃの先端形状（例えばバンパー形状）に合うように変形する。
【００７３】
つまり、重畳部２５は、俯瞰画像Ｐにおいて、検知範囲Ｓａ〜Ｓｈが車両Ｃの先端から等しい距離になるように変形した検知範囲Ｓを重畳することで、検知範囲Ｓに対する違和感を生じにくくすることができるとともに、車両Ｃの運転者が壁Ｗ等の障害物の存在および障害物までの距離を確実に把握することができる。
【００７４】
次に、図７を用いて、実施形態に係る画像生成装置１が実行する生成処理の処理手順について説明する。図７は、実施形態に係る画像生成装置１が実行する生成処理の処理手順を示すフローチャートである。
【００７５】
図７に示すように、まず、受付部２２は、車両Ｃの搭乗者が行う俯瞰画像Ｐの視点の切替操作を受け付ける（ステップＳ１０１）。つづいて、合成部２４は、車両Ｃに設けられた撮像部１３ａ〜１３ｄによって撮像された撮像画像に基づき、車両Ｃの側方の少なくとも一部を含むように車両Ｃの進行方向を見た仮想視点ＶＰの俯瞰画像Ｐを合成する（ステップＳ１０２）。
【００７６】
つづいて、重畳部２５は、合成部２４によって合成された俯瞰画像Ｐにおける車両Ｃの路面位置である死角領域Ｒに車両Ｃを平面化した平面画像ＣＰを重畳する（ステップＳ１０３）。つづいて、合成部２４は、車両Ｃの側方に壁Ｗ等の障害物が存在するか否かを判定する（ステップＳ１０４）。なお、障害物の有無は、例えば物体検出部２１によって検出可能である。
【００７７】
合成部２４は、車両Ｃの側方に壁Ｗ等の障害物が存在すると判定した場合（ステップＳ１０４，Ｙｅｓ）、車両Ｃの位置がＴ字路等の曲がり角の手前であるか否かを判定する（ステップＳ１０５）。なお、ステップＳ１０５以降の具体的な処理内容については、図８Ａおよび図８Ｂを用いて後述する。
【００７８】
合成部２４は、車両Ｃが曲がり角の手前である場合（ステップＳ１０５，Ｙｅｓ）、俯瞰画像Ｐにおける壁Ｗ（障害物）が存在する領域のうち進行方向側の一部を透過させた俯瞰画像Ｐを合成する（ステップＳ１０６）。
【００７９】
つづいて、重畳部２５は、俯瞰画像Ｐに平面画像ＣＰを重畳させた合成画像を表示装置５０に出力することで表示させ（ステップＳ１０７）、処理を終了する。
【００８０】
一方、ステップＳ１０４において、合成部２４は、車両Ｃの側方に壁Ｗ等の障害物が存在しないと判定した場合（ステップＳ１０４，Ｎｏ）、処理をステップＳ１０７に移行する。
【００８１】
また、ステップＳ１０５において、合成部２４は、車両Ｃの位置が曲がり角の手前でないと判定した場合（ステップＳ１０５，Ｎｏ）、処理をステップＳ１０７に移行する。
【００８２】
上述してきたように、実施形態に係る画像生成装置１は、合成部２４と、重畳部２５とを備える。合成部２４は、車両Ｃに設けられた撮像部１３ａ〜１３ｄによって撮像された撮像画像に基づき、車両Ｃの側方の少なくとも一部を含むように車両Ｃの進行方向を見る仮想視点ＶＰの俯瞰画像Ｐを合成する。重畳部２５は、合成部２４によって合成された俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを平面化した平面画像ＣＰを重畳する。これにより、壁Ｗ等の障害物と車両Ｃとの位置関係を容易に把握することができる。すなわち、立体的な俯瞰画像Ｐに車両Ｃを平面化した平面画像ＣＰを合成することで、車両Ｃを立体的な画像で表示した場合に比較して、俯瞰画像Ｐのうち特に車両Ｃ周辺を容易に把握することができる。
【００８３】
上述した実施形態では、合成部２４は、車両Ｃの運転者が実際に見える範囲の俯瞰画像Ｐを合成するが、例えば、俯瞰画像Ｐにおいて進行方向側の一部を透過させることで、車両Ｃの運転者が実際には見えない範囲を見えるようにした俯瞰画像Ｐを合成してもよい。かかる点について図８Ａおよび図８Ｂを用いて説明する。
【００８４】
図８Ａおよび図８Ｂは、変形例に係る合成部２４の処理内容を示す図である。図８Ａでは、車両Ｃが狭路の曲がり角の手前を走行し、曲がった先には物体２００が存在する状況を示している。なお、車両Ｃの運転者は、物体２００を視認できないものとする。
【００８５】
かかる場合、撮像部１３ａの撮像画像には、物体２００が含まれ、撮像部１３ｂの撮像画像には、物体２００が含まれない。通常、合成部２４は、車両Ｃの内部を仮想視点ＶＰとすると、俯瞰画像Ｐには、壁Ｗが含まれ、物体２００が含まれない。
【００８６】
そこで、変形例に係る合成部２４では、壁Ｗの一部を透過させて壁Ｗの裏側にある物体２００を運転者が視認できるようにした。具体的には、図８Ｂに示すように、合成部２４は、障害物である壁Ｗの一部を透過させた俯瞰画像Ｐを合成することで、俯瞰画像Ｐに物体２００が含まれるようにした。
【００８７】
例えば、合成部２４は、車両Ｃの側方に障害物である壁Ｗが存在する場合に、俯瞰画像Ｐにおける障害物が存在する領域のうち進行方向側の一部を透過させた俯瞰画像Ｐを合成する。より具体的には、合成部２４は、撮像部１３ａ〜１３ｄの撮像画像を投影面にマッピングする場合に、仮想視点ＶＰから見て物体２００と壁Ｗとが重なる領域を透過させる。
【００８８】
例えば、合成部２４は、撮像部１３ｂの撮像画像に含まれる壁Ｗの領域の透過率を高くする。これにより、図８Ｂに示すように、俯瞰画像Ｐにおいて、障害物である壁Ｗを透過させ、かつ、物体２００を含ませることができる。したがって、車両Ｃの運転者は、壁Ｗと車両Ｃとのクリアランスを把握しつつ、壁Ｗの裏側に存在する物体２００を早期に捉えることができる。
【００８９】
なお、図８Ａおよび図８Ｂでは、合成部２４は、車両Ｃの前方に曲がり角が存在する場合に、俯瞰画像Ｐの一部の領域を透過させたが、曲り角の状況に限定されるものではなく、壁Ｗ等の障害物の裏側を視認する必要がある状況であればよい。
【００９０】
また、上述した実施形態では、合成部２４は、受付部２２が例えば車両Ｃの運転者から手動で仮想視点ＶＰの切替操作を受け付けた場合に、俯瞰画像Ｐを合成したが、自動で仮想視点ＶＰに切り替えてもよい。
【００９１】
例えば、合成部２４は、撮像部１３ａ〜１３ｄの撮像画像に基づいて道路幅を特定し、特定した道路幅が所定距離以下まで狭くなった場合に、仮想視点ＶＰの俯瞰画像Ｐを合成してもよい。これにより、車両Ｃの運転者が切替操作をしなくてよいため、狭路での運転に集中することができる。
【００９２】
また、上述した実施形態では、重畳部２５は、合成部２４によって合成された俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを平面化した平面画像ＣＰを重畳するとした。しかし、重畳部２５は、合成部２４によって合成された俯瞰画像Ｐにおける車両Ｃの路面位置に車両Ｃを立体化した平面画像ＣＰを重畳し、車両Ｃが所定の走行位置又は所定の走行状態の場合に、立体的な平面画像ＣＰに代えて平面的な平面画像ＣＰを重畳してもよい。
【００９３】
すなわち、車両Ｃが所定の走行位置又は所定の走行状態の場合に、立体的な平面画像ＣＰに代えて平面的な平面画像ＣＰを重畳してもよい。すなわち、重畳部２５は、車両Ｃが狭路の曲がり角に位置した場合又は接近した場合に、立体的な平面画像ＣＰに代えて平面的な平面画像ＣＰを俯瞰画像Ｐに重畳してもよい。
【００９４】
また、重畳部２５は、車両Ｃの速度が低下して所定の低速度になった場合に、立体的な平面画像ＣＰに代えて平面的な平面画像ＣＰを俯瞰画像Ｐに重畳してもよい。
【００９５】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【００９６】
１    画像生成装置
２    制御部
３    記憶部
１３ａ〜１３ｄ    撮像部
２１    物体検出部
２２    受付部
２３    速度算出部
２４    合成部
２５    重畳部
Ｃ    車両
Ｐ    俯瞰画像
Ｒ    死角領域
Ｗ    壁
ＣＰ    平面画像
ＶＰ    仮想視点
【図１Ａ】
2018107754.tif 000003
【図１Ｂ】
2018107754.tif 000004
【図２】
2018107754.tif 000005
【図３】
2018107754.tif 000006
【図４Ａ】
2018107754.tif 000007
【図４Ｂ】
2018107754.tif 000008
【図５】
2018107754.tif 000009
【図６Ａ】
2018107754.tif 000010
【図６Ｂ】
2018107754.tif 000011
【図７】
2018107754.tif 000012
【図８Ａ】
2018107754.tif 000013
【図８Ｂ】
2018107754.tif 000014