(57)【要約】【課題】ユーザに車両の周囲を正確に把握させること。【解決手段】本発明は、画像生成部と、切替部とを備える。画像生成部は、車両の周囲を撮像する複数のカメラによって撮像された撮像画像から周囲画像を合成し、周囲画像上に車両を示すイメージ画像を重畳させて仮想視点からみた車両及び車両の周囲を示す仮想視点画像を生成する。切替部は、仮想視点画像における車両と路面との境界を含んだ少なくとも一部の領域についてイメージ画像と周辺画像とを切り替える。【選択図】図１Ｂ
2017220163.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮像する複数のカメラによって撮像された撮像画像から周囲画像を合成し、前記周囲画像上に前記車両を示すイメージ画像を重畳させて仮想視点からみた前記車両及び前記車両の周囲を示す仮想視点画像を生成する画像生成部と、
前記仮想視点画像における前記車両と路面との境界を含んだ少なくとも一部の領域について前記イメージ画像と前記周囲画像とを切り替える切替部と
を備えることを特徴とする画像生成装置。
【請求項２】
前記領域は、
前記車両の側面と路面との境界を含むこと
を特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記切替部は、
前記イメージ画像から前記周囲画像へ切り替える場合に、前記イメージ画像上に前記周囲画像を重畳させること
を特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記切替部は、
前記車両内に配置された操作部が操作された場合に、前記イメージ画像と前記周囲画像とを切り替えること
を特徴とする請求項１、２または３に記載の画像生成装置。
【請求項５】
前記切替部は、
前記車両が後進する場合に、前記イメージ画像から前記周囲画像へ切り替えること
を特徴とする請求項１〜４のいずれか一つに記載の画像生成装置。
【請求項６】
前記切替部は、
前記車両と前記車両の周囲の物体との距離が所定値以下である場合に、前記イメージ画像から前記周囲画像へ切り替えること
を特徴とする請求項１〜５のいずれか一つに記載の画像生成装置。
【請求項７】
請求項１〜６のいずれか一つに記載の画像生成装置と、
前記画像生成装置によって生成された画像を表示する表示装置と
を備えることを特徴とする画像表示システム。
【請求項８】
車両の周囲を撮像する複数のカメラによって撮像された撮像画像から周囲画像を合成し、前記周囲画像上に前記車両を示すイメージ画像を重畳させて仮想視点からみた前記車両及び前記車両の周囲を示す仮想視点画像を生成する画像生成工程と、
前記仮想視点画像における前記車両と路面との境界を含んだ少なくとも一部の領域について前記イメージ画像と前記周囲画像とを切り替える切替工程と
を含むことを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像表示システム及び画像生成方法に関する。
【背景技術】
【０００２】
従来、車両に搭載される画像表示システムにおいて、車両の上方の仮想視点から見下ろすように車両周囲を示す仮想視点画像を表示する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−４１３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、ユーザは車両の周囲を正確に把握できない場合があった。これは、車両を示す画像として実画像とは異なるイメージ画像を用いており、イメージ画像によって実画像の一部が隠されてしまうためである。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、ユーザに車両の周囲を正確に把握させることができる画像生成装置、画像表示システム及び画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した課題を解決し、目的を達成するために、本発明は、画像生成部と、切替部とを備える。画像生成部は、車両の周囲を撮像する複数のカメラによって撮像された撮像画像から周囲画像を合成し、前記周囲画像上に前記車両を示すイメージ画像を重畳させて仮想視点からみた前記車両及び前記車両の周囲を示す仮想視点画像を生成する。切替部は、前記仮想視点画像における前記車両と路面との境界を含んだ少なくとも一部の領域について前記イメージ画像と前記周囲画像とを切り替える。
【発明の効果】
【０００７】
本発明によれば、ユーザに車両の周囲を正確に把握させることが可能な画像生成装置、画像表示システム及び画像生成方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、本実施形態に係る画像生成装置の搭載例を示す図である。
【図１Ｂ】図１Ｂは、本実施形態に係る仮想視点画像の概要を示す図である。
【図２】図２は、本実施形態に係る画像表示システムの構成例を示すブロック図である。
【図３】図３は、検知部の配置例を示す図である。
【図４】図４は、重畳切替部による処理の具体例を示す図である。
【図５】図５は、イメージ画像切替部による処理の具体例を示す図である。
【図６】図６は、本実施形態に係る画像生成装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明に係る画像生成装置、画像表示システム及び画像生成方法の実施形態を添付図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。
【００１０】
まず、本実施形態に係る画像生成装置１の概要について図１Ａを用いて説明する。図１Ａは、本実施形態に係る画像生成装置１の搭載例を示す図である。
【００１１】
図１Ａに示すように、本実施形態に係る画像生成装置１は、車両１００に搭載される。かかる車両１００は、複数のカメラＣｆ、Ｃｂ、Ｃｌ，Ｃｒ（以下、総称して「カメラＣ」と記載する）を備える。
【００１２】
カメラＣとしては、例えば魚眼レンズなどの広角レンズが用いられる。そして、複数のカメラＣは、それぞれ車両１００の周囲の所定領域を撮像し、カメラＣ全体で車両１００の全周囲を撮像する。
【００１３】
具体的には、フロントカメラＣｆは、車両１００のフロントバンパーに設けられ、光軸Ａｆは車両１００の直進方向に向けられる。また、バックカメラＣｂは、車両１００のリアバンパーに設けられ、光軸Ａｂは、車両１００の進行方向の逆方向に向けられる。
【００１４】
そして、サイドカメラＣｌ、Ｃｒは、車両１００の左右に位置するサイドミラーの下端側に設けられ、サイドカメラＣｌの光軸Ａｌは、車両１００の左側方向に向けられる。また、サイドカメラＣｒの光軸Ａｒは、車両１００の右側方向に向けられる。
【００１５】
また、サイドカメラＣｌ、Ｃｒによって撮像される撮像画像は、車両１００の側面と路面との境界を含む。画像生成装置１は、複数のカメラＣで撮像された撮像画像を取得し、後述の処理によってかかる撮像画像から車両１００の周囲を示す周囲画像を合成する。
【００１６】
また、上述したようにサイドカメラＣｌ、Ｃｒによって撮像された撮像画像に車両１００の側面と路面との境界を含むことから、かかる撮像画像から合成される周囲画像にも上記した境界が含まれる。なお、以下の説明では、周囲画像において車両１００と路面との境界を含む領域を「境界領域」と記載する場合がある。
【００１７】
そして、画像生成装置１は、合成した周囲画像上に車両１００を示すイメージ画像を重畳し、仮想視点からみた車両１００及び車両１００の周囲を示す仮想視点画像を生成する。
【００１８】
かかるイメージ画像は、例えば車両１００に模したポリゴンを含み、かかるポリゴンは、車両１００を仮想視点からみた３次元の画像に相当する。なお、イメージ画像は、画像生成装置１に予め記憶された画像である。すなわち、周囲画像には、車両１００の現在の様子が反映され、イメージ画像には、車両１００の現在の周囲の様子が反映されないことになる。
【００１９】
ところで、従来の画像生成装置では、仮想視点画像において車両１００が実際に存在する範囲よりも広範囲にイメージ画像を重畳することにしている。すなわち、イメージ画像を車両１００の実際の大きさよりも大きめとしている。これは、仮想視点画像の見栄えを良くするためである。
【００２０】
具体的には、カメラＣの取り付け誤差や、周囲画像を合成する際の設定誤差などによって、周囲画像における車両１００の端部の位置に車両１００による個体差が生じるためである。すなわち、イメージ画像のサイズによっては、仮想視点画像にイメージ画像の端部と周囲画像の車両１００の端部とが二重に表示され兼ねない。かかる場合、仮想視点画像の見栄えが低下するだけでなく、端部が二重に表示されるため、ユーザを困惑させるおそれがある。
【００２１】
このため、従来の画像生成装置では、上記した個体差によらず端部が二重に表示されないように広範囲にイメージ画像を重畳することにしている。しかしながら、従来の画像生成装置では、イメージ画像を広範囲に重畳するため、ユーザに車両１００の周囲を把握させにくいといった問題が生じていた。
【００２２】
具体的には、従来の仮想視点画像には、上記した境界領域が表示されないため、ユーザは車両１００と車両１００の周囲の物体との実際の距離を把握しにくい。また、車両１００のドア直下やその近傍の物体は表示されないため、ユーザは、かかる物体を確認できず上記した物体を見落とす可能性がある。
【００２３】
そこで、本実施形態に係る画像生成装置１では、仮想視点画像における車両１００と路面との境界を含んだ少なくとも一部の領域についてイメージ画像と周囲画像とを切り替えることとした。これにより、ユーザに車両１００の周囲を正確に把握させることが可能となる。以下、図１Ｂを用いて本実施形態に係る画像生成装置１によって生成される仮想視点画像の概要について説明する。
【００２４】
図１Ｂは、本実施形態に係る仮想視点画像Ｌの概要を示す図である。なお、図１Ｂには、仮想視点画像Ｌとして、車両１００の上方の仮想視点から車両１００及びその周囲をみた画像である場合について説明する。
【００２５】
図１Ｂに示すように、本実施形態に係る画像生成装置１は、仮想視点画像Ｌにおける車両１００と路面との境界を含んだ少なくとも一部の領域について周囲画像Ｌｃとイメージ画像Ｌｉとを切り替える。換言すると、画像生成装置１は、生成する仮想視点画像Ｌを仮想視点画像Ｌ１と仮想視点画像Ｌ２とで切り替える。
【００２６】
仮想視点画像Ｌは、周囲画像Ｌｃと、イメージ画像Ｌｉとを含む。イメージ画像Ｌｉは、仮想視点画像Ｌの中央部に配置される。なお、図１Ｂでは、周囲画像Ｌｃとイメージ画像Ｌｉとを区別しやすくするため、イメージ画像Ｌｉにハッチング処理を施して表示している。
【００２７】
仮想視点画像Ｌ１において、イメージ画像Ｌｉは、例えば、従来の画像生成装置と同様に周囲画像Ｌｃにおいて車両１００が実在する領域よりも広い範囲に重畳される。一方、仮想視点画像Ｌ２には、車両１００の左右の側面と路面との境界を含む領域Ｒ（破線で囲った領域）に周囲画像Ｌｃが表示される。
【００２８】
ここで、領域Ｒに表示される周囲画像Ｌｃには、車両１００の側面を含むようにしている。これにより、ユーザに車両１００の側面とかかる側面方向の路面上のラインや、他車両などの物体との実際の距離を把握させやすくすることが可能となる。
【００２９】
画像生成装置１は、例えば図２にて後述する操作部が操作されたタイミングで、生成する仮想視点画像Ｌを、仮想視点画像Ｌ１と仮想視点画像Ｌ２とで切り替える。
【００３０】
具体的には、仮想視点画像Ｌが、仮想視点画像Ｌ１であった場合、仮想視点画像Ｌ２へ切り替えることになる。そして、画像生成装置１は、例えば上記の操作部が再度操作されると、仮想視点画像Ｌ２から仮想視点画像Ｌ１へ切り替えることとなる。
【００３１】
このように、画像生成装置１は、仮想視点画像Ｌにおける車両１００の側面と路面との境界を含む領域についてイメージ画像Ｌｉと周囲画像Ｌｃとを切り替える。領域Ｒについてイメージ画像Ｌｉを用いる場合、画像生成装置１は、車両１００とその周辺の物体との実際の距離が反映された仮想視点画像Ｌ２を生成する。
【００３２】
これにより、ユーザに車両１００とその周囲の物体との距離を正確に把握させることが可能となる。また、仮想視点画像Ｌ２には、車両１００のドア直下の現在の様子が反映された画像が表示される。したがって、本実施形態に係る画像生成装置１によれば、ユーザに車両１００の周囲を正確に把握させることができる。
【００３３】
また、仮想視点画像Ｌ２の領域Ｒに車両１００の側面と路面との境界を含む領域を表示させることで、かかる側面側の物体までの距離を正確に把握させることができる。これにより、ユーザは、仮想視点画像Ｌ２に基づいて車両１００を側面方向への正確な幅寄せを行うことが可能となる。これは、狭い駐車スペースに車両１００を幅寄せで駐車する場合や、狭い路地を走行する場合に特に有効である。
【００３４】
なお、上述した例では、仮想視点画像Ｌ２の２つの領域Ｒについて周囲画像Ｌｃへ切り替える場合について例示したが、これに限られず、２つの領域Ｒのうち少なくとも一方を周囲画像Ｌｃに切り替えることにしてもよい。また、かかる２つの領域Ｒをさらに分割して、分割した領域の中から任意の領域について周囲画像Ｌｃに切り替えることにしてもよい。
【００３５】
また、上述した例では、仮想視点の視点位置として車両１００の上方である場合について例示したが、仮想視点の視点位置は、例えば車室内や、車室外の別の視点位置であってもよい。
【００３６】
また、上述した例では、イメージ画像Ｌｉが車両１００の画像である場合について例示したが、これに限られず、イメージ画像Ｌｉは、車両１００が存在する領域をユーザに認識させ得る画像であれば、特にその形態は問わない。
【００３７】
なお、以下の説明では、境界領域が表示されていない仮想視点画像Ｌを仮想視点画像Ｌ１とし、境界領域が表示された仮想視点画像Ｌを仮想視点画像Ｌ２と記載する。以下、本実施形態に係る画像生成装置１、画像表示システム５０について詳細に説明する。
【００３８】
まず、本実施形態に係る画像表示システム５０の構成例について説明する。図２は、本実施形態に係る画像表示システム５０の構成例を示すブロック図である。なお、画像表示システム５０は、上記した画像生成装置１に加えて表示装置３０をさらに備える。
【００３９】
図２に示すように、画像生成装置１は、制御部１０と、記憶部２０とを備える。また、画像生成装置１には、上記したカメラＣ、シフトセンサ６、検知部７、操作部８及び表示装置３０が接続される。
【００４０】
シフトセンサ６は、車両１００のシフトレバーの現在のシフト位置を検出する。検知部７は、車両１００の周囲の物体を検知する。操作部８は、車両１００内の例えばハンドルなど、ユーザが操作しやすい箇所に配置され、ユーザ操作を受け付ける。
【００４１】
表示装置３０は、画像生成装置１によって生成された画像を表示する。また、表示装置３０は、例えば車両１００のインストルメントパネルなど、ユーザが視認しやすい場所に配置される。したがって、ユーザは、表示装置３０に表示された仮想視点画像Ｌから車両１００の周囲を容易に把握することができる。
【００４２】
制御部１０は、撮像画像から車両１００及び車両１００の周囲を示す仮想視点画像Ｌを生成する。また、制御部１０は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）及びＲＡＭ（Random  Access  Memory）、入出力ポートなどを有するマイクロコンピュータや各種の回路を含む。また、制御部１０は、画像生成部１１と、切替部１５とを備える。
【００４３】
画像生成部１１は、車両１００の周囲を撮像する複数のカメラＣによって撮像された撮像画像から周囲画像Ｌｃを合成し、かかる周囲画像Ｌｃ上に車両１００を示すイメージ画像Ｌｉを重畳させて仮想視点からみた車両１００及び車両１００の周囲を示す仮想視点画像Ｌを生成する。
【００４４】
具体的には、まず、画像生成部１１は、撮像画像に対して座標変換処理を行って、仮想視点からみた車両１００の周囲を示す周囲画像Ｌｃを合成する。かかる座標変換処理において、画像生成部１１は、例えば所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像のうち仮想視点からみて所定の視野角に含まれる領域の画像を周囲画像Ｌｃとする。
【００４５】
続いて、画像生成部１１は、上記の仮想視点からみた車両１００を示すイメージ画像Ｌｉを周囲画像Ｌｃ上に重畳させることで、仮想視点から車両１００及び車両１００の周囲をみた仮想視点画像Ｌ１を生成する。そして、画像生成部１１は、生成した仮想視点画像Ｌ１を画像データＤ１として表示装置３０あるいは切替部１５に出力する。
【００４６】
切替部１５は、仮想視点画像Ｌにおける車両１００と路面との境界を含んだ少なくとも一部の領域についてイメージ画像Ｌｉと周囲画像Ｌｃとを切り替える。また、切替部１５は、経路切替部１５ａと、重畳切替部１５ｂと、イメージ画像切替部１５ｃとを備える。
【００４７】
経路切替部１５ａは、シフトセンサ６、検知部７及び操作部８から所定の信号が入力された場合に、画像生成部１１によって生成される画像データＤ１の出力経路を表示装置３０と重畳切替部１５ｂとの間で切り替える。
【００４８】
ここで、出力経路が表示装置３０の場合、かかる画像データＤ１の仮想視点画像Ｌ１が表示装置３０に表示されることになる。また、画像データＤ１の出力経路が重畳切替部１５ｂの場合には、かかる画像データＤ１は、後述の処理によって上記した境界領域の少なくとも一部が表示された仮想視点画像Ｌ２に変換され、かかる仮想視点画像Ｌ２が表示装置３０に表示されることになる。
【００４９】
続いて、経路切替部１５ａによる出力経路の切り替え処理の詳細について説明する。例えば、ユーザが、操作部８を押下した場合に、操作部８は、経路切替部１５ａに切替要求信号を出力する。
【００５０】
経路切替部１５ａは、かかる切替要求信号を取得すると、画像データＤ１の出力経路を現在の出力経路から他方の出力経路へ切り替える。つまり、切替部１５は、操作部８が操作される場合に、仮想視点画像Ｌ１と仮想視点画像Ｌ２とを切り替える。したがって、ユーザの意図するタイミングで仮想視点画像Ｌの表示を切り替えることが可能となる。これにより、操作性を向上させることができる。
【００５１】
なお、操作部８と表示装置３０とを一体に構成することにしてもよい。この場合、表示装置３０及び操作部８は、例えば、タッチパネルディスプレイで構成される。また、操作部８を、車両内に配置されたスマートフォンなどの電子装置の操作部とし、経路切替部１５ａは、かかる電子装置から入力される切替要求信号を取得することにしてもよい。
【００５２】
また、経路切替部１５ａは、シフトセンサ６から車両１００の現在のシフト位置がリバースを示す信号が入力される場合に、画像データＤ１の出力経路を重畳切替部１５ｂ側に切り替える。一方、経路切替部１５ａは、シフトセンサ６からリバース以外（ドライブやパーキング等）の信号が入力される場合に、出力経路を表示装置３０側に切り替える。
【００５３】
換言すると、切替部１５は、車両１００のシフト位置に応じて仮想視点画像Ｌの表示を切り替える。そして、車両１００が後進する場合に、出力経路を切り替え境界領域が表示された仮想視点画像Ｌ２へ切り替える。
【００５４】
これは、車両１００が後進する場合は、前進する場合よりも進行方向側の死角が多く、幅寄せが困難なためである。したがって、車両１００が後進する場合に、ユーザに車両１００の周囲を正確に把握させることで、実際の車両１００の幅に合わせた後進方向への駐車支援が可能となる。
【００５５】
また、経路切替部１５ａは、検知部７から入力される信号に応じて出力経路を切り替えることにしてもよい。かかる検知部７は、例えばクリアランスソナーを含み、車両１００に複数配置される。
【００５６】
ここで、図３を用いて検知部７の配置例について説明しておく。図３は、検知部７の配置例を示す図である。図３に示すように、複数の検知部７ａ〜７ｄは、例えば車両１００の前方の左右端部及び後方の左右端部に設けられる。かかる複数の検知部７ａ〜７ｄは、所定の検知範囲Ｒａ〜Ｒｄを有している。
【００５７】
そして、検知部７ａ〜７ｄは、所定の検知範囲Ｒａ〜Ｒｄに対して超音波を発信し、周囲の物体で反射した反射波を受信することで、車両１００の周囲に存在する物体を検知する。そして、検知部７ａ〜７ｄは、検知した物体までの距離に応じた信号（以下、「距離信号」と記載する）を経路切替部１５ａに出力する。
【００５８】
図２の説明に戻って経路切替部１５ａによる処理について説明する。経路切替部１５ａは、検知部７から取得した距離信号が所定値以下であることを示す場合に、画像データＤ１の出力経路を重畳切替部１５ｂ側に切り替える。
【００５９】
換言すると、切替部１５は、車両１００と車両１００の周囲の物体との距離が所定値以下である場合に、境界領域を表示した仮想視点画像Ｌ２へ切り替える。つまり、車両１００と物体とが接触する恐れがある場合に、ユーザに車両１００の周囲を正確に把握させる。これにより、車両１００と物体との接触を回避しやすくすることができる。なお、上記した所定値は、例えば３０センチメートルであるが、任意の値へ設定可能であるものとする。
【００６０】
重畳切替部１５ｂは、画像データＤ１が入力される場合と、かかる画像データＤ１に含まれる周囲画像Ｌｃとイメージ画像Ｌｉとが重畳された順序を切り替える。ここで、図４を用いて重畳切替部１５ｂによる処理について説明する。図４は、重畳切替部１５ｂによる処理の具体例を示す図である。
【００６１】
図４に示すように、画像データＤ１は、周囲画像Ｌｃ上にイメージ画像Ｌｉが重畳された画像のデータである。また、イメージ画像Ｌｉは、例えば３つのイメージ画像Ｌｉ１〜Ｌｉ３に分割することができるものとする。なお、イメージ画像Ｌｉ２及びＬｉ３の左右方向の幅は、実際の距離で例えば１０〜２０センチメートルに相当するが、任意に変更可能であるものとする。
【００６２】
重畳切替部１５ｂは、入力された画像データＤ１のイメージ画像Ｌｉ上に周囲画像Ｌｃを重畳させる。具体的には、まず、重畳切替部１５ｂは、例えばイメージ画像Ｌｉを層Ａ及び層Ｂに分割する。
【００６３】
かかる層Ａは、イメージ画像Ｌｉの中央に位置するイメージ画像Ｌｉ２を含み、層Ｂは、イメージ画像Ｌｉ２の両端に位置するイメージ画像Ｌｉ１及びイメージ画像Ｌｉ３を含む。そして、重畳切替部１５ｂは、層Ｂよりも周囲画像Ｌｃが手前側、すなわち、層Ｂ上に周囲画像Ｌｃが重畳し、画像データＤ１から画像データＤ２へ切り替える。そして、重畳切替部１５ｂは、重畳の切り替えを行った画像データＤ２をイメージ画像切替部１５ｃへ出力する。
【００６４】
かかる画像データＤ２は、図１Ｂに示した仮想視点画像Ｌ２に相当する。すなわち、画像データＤ２では、図１Ｂに示した領域Ｒに周囲画像Ｌｃが表示されることとなる。なお、周囲画像Ｌｃを層Ａ上に重畳しないのは、イメージ画像Ｌｉ２が重畳された範囲の周囲画像Ｌｃが合成されないためである。
【００６５】
このように、重畳切替部１５ｂは、周囲画像Ｌｃとイメージ画像Ｌｉとを重畳させる順序を切り替えるだけでよいため、簡易に仮想視点画像Ｌを切り替えることができる。
【００６６】
なお、重畳切替部１５ｂは、周囲画像Ｌｃを、全てのイメージ画像Ｌｉ１〜Ｌｉ３上に重畳させることにしてもよいし、イメージ画像Ｌｉ１〜Ｌｉ３から任意の画像を抽出し、周囲画像Ｌｃを、抽出した画像上に重畳させることにしてもよい。また、イメージ画像Ｌｉをさらに分割し、分割した画像の中から任意の画像上に周囲画像Ｌｃを重畳させることにしてもよい。
【００６７】
図２に戻ってイメージ画像切替部１５ｃについて説明する。イメージ画像切替部１５ｃは、重畳切替部１５ｂから画像データＤ２が入力されると、画像データＤ２のイメージ画像Ｌｉを変更し、仮想視点画像Ｌ２の見栄えを良くする処理を行う。これは、仮想視点画像Ｌ２は、画像が重畳される順序を切り替えたにすぎず、仮想視点画像Ｌ１に比べて見栄えが低下するためである。
【００６８】
ここで、図５を用いてイメージ画像切替部１５ｃによる処理について説明する。図５は、イメージ画像切替部１５ｃによる処理の具体例を示す図である。同図に示すように、イメージ画像切替部１５ｃは、イメージ画像Ｌｉ２が重畳される範囲内の左右の端部に新たなイメージ画像Ｌｉ５を重畳させて、仮想視点画像Ｌ３を生成する。
【００６９】
かかるイメージ画像Ｌｉ５は、例えばイメージ画像Ｌｉ２にモザイク処理などを施してぼやかした画像や、端部から中央部に向かって車両１００の色からイメージ画像Ｌｉの色へと変化するグラデーションがかかった画像である。そして、イメージ画像切替部１５ｃは、仮想視点画像Ｌ３を画像データＤ３として表示装置３０に出力する。なお、かかるイメージ画像Ｌｉ５は、記憶部２０にイメージ画像情報２１として記憶される。
【００７０】
このように、イメージ画像Ｌｉを切り替えることで、周囲画像Ｌｃとイメージ画像Ｌｉ２との境界の違和感をなくし、見栄えを向上させることができる。したがって、仮想視点画像Ｌ３では、見栄えを良くしつつ、ユーザに車両１００の周囲を正確に把握させることができる。
【００７１】
なお、イメージ画像Ｌｉ５は、上記した例に限られず、仮想視点画像Ｌの見栄えを良くする画像であれば、その形態は問わない。また、上記した例では、イメージ画像Ｌｉ２上に新たにイメージ画像Ｌｉ５を重畳する場合について例示したが、イメージ画像Ｌｉ２を他のイメージ画像Ｌｉに切り替えることにしてもよい。
【００７２】
記憶部２０は、イメージ画像情報２１を記憶する。また、記憶部２０は、例えばＲＡＭ（Random  Access  Memory）、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。
【００７３】
続いて、図６を用いて画像生成装置１の処理手順について説明する。図６は、本実施形態に係る画像生成装置１の処理手順を示すフローチャートであり、画像生成装置１の制御部１０によって繰り返し実行される。
【００７４】
図６に示すように、まず、画像生成装置１の画像生成部１１は、仮想視点画像Ｌを生成する（ステップＳ１０１）。続いて、切替部１５の経路切替部１５ａは、仮想視点画像Ｌに境界領域を表示するか否かを判定する（ステップＳ１０２）。
【００７５】
ステップＳ１０２の判定において、仮想視点画像Ｌに境界領域を表示する場合（ステップＳ１０２、Ｙｅｓ）、切替部１５の重畳切替部１５ｂ及びイメージ画像切替部１５ｃは、境界領域を周囲画像Ｌｃへ切り替える（ステップＳ１０３）。そして、切替部１５は、仮想視点画像Ｌ２（あるいは仮想視点画像Ｌ３）を表示装置３０に出力し（ステップＳ１０４）、処理を終了する。
【００７６】
一方、ステップＳ１０２の判定において、仮想視点画像Ｌに境界領域を表示しない場合（ステップＳ１０２、Ｎｏ）、画像生成部１１は、仮想視点画像Ｌ１を表示装置３０に出力し（ステップＳ１０４）、処理を終了する。
【００７７】
上述してきたように、本実施形態に係る画像生成装置１は、画像生成部１１と、切替部１５とを備える。画像生成部１１は、車両１００の周囲を撮像する複数のカメラＣによって撮像された撮像画像から周囲画像Ｌｃを合成し、周囲画像Ｌｃ上に車両１００を示すイメージ画像Ｌｉを重畳させて仮想視点からみた車両１００及び車両１００の周囲を示す仮想視点画像Ｌを生成する。切替部１５は、仮想視点画像Ｌにおける車両１００と路面との境界を含んだ少なくとも一部の領域についてイメージ画像Ｌｉと周囲画像Ｌｃとを切り替える。したがって、本発明に係る画像生成装置１によれば、ユーザに車両１００の周囲を正確に把握させることができる。
【００７８】
ところで、上述した実施形態では、境界領域が、車両１００の側面と路面との境界である場合について例示したが、境界領域に車両１００の前方及び後方の端部を含めることにしてもよい。これにより、ユーザに車両１００の全周囲を正確に把握させることが可能となる。
【００７９】
また、切替部１５が、仮想視点画像Ｌが重畳される順序を切り替えることで、仮想視点画像Ｌに境界領域を表示するか否かを切り替える場合について例示したが、これに限られない。すなわち、イメージ画像Ｌｉの表示範囲の縮尺を切り替えて、仮想視点画像Ｌに境界領域を表示するか否かを切り替えることにしてもよい。
【００８０】
この場合に、単にイメージ画像の縮尺を縮小することで、仮想視点画像Ｌに境界領域を表示することにしてもよいし、あるいは、カメラＣが撮像した撮像画像から車両１００の端部の位置を検出する検出部を備えることとし、切替部１５は、かかる検出部が検出した端部の位置に合わせてイメージ画像Ｌｉの縮尺を小さくすることにしてもよい。
【００８１】
さらに、切替部１５は、イメージ画像Ｌｉの透過度を切り替えることで仮想視点画像Ｌに境界領域を表示するか否かを切り替えることにしてもよい。この場合、切替部１５は、イメージ画像Ｌｉの透過度を低下させて、境界領域を仮想視点画像Ｌに表示させることもできる。
【００８２】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【００８３】
１    画像生成装置
１０    制御部
１１    画像生成部
１５    切替部
１５ａ    経路切替部
１５ｂ    重畳切替部
１５ｃ    イメージ画像切替部
３０    表示装置
５０    画像表示システム
１００    車両
Ｌ    仮想視点画像
Ｌｃ    周囲画像
Ｌｉ    イメージ画像
【図１Ａ】
2017220163.tif 000003
【図１Ｂ】
2017220163.tif 000004
【図２】
2017220163.tif 000005
【図３】
2017220163.tif 000006
【図４】
2017220163.tif 000007
【図５】
2017220163.tif 000008
【図６】
2017220163.tif 000009