(57)【要約】【課題】画像に不具合がある場合でも、車両の後方をより適切に示す合成画像を生成する画像合成装置を提供する。【解決手段】画像合成装置１０は、２つの画像の取得処理をする取得部２１と、取得部２１が取得する画像についての不具合の検出処理をする検出部２３と、２つの画像のどちらにも検出部２３により不具合が検出されない場合に、２つの画像を所定の並び方向に並べて一部が重なる位置に配置し、所定位置の境界線を境界として２つの画像を合成することで、合成画像を生成し、２つの画像のうちの一方の画像だけに検出部２３により不具合が検出された場合には、２つの画像のうちの他方の画像を少なくとも配置し、所定位置から上記並び方向における一の向きへ移動させた境界線を境界として、合成画像を生成し、上記一の向きは、上記並び方向において上記一の向きに境界線を移動させるほど、合成画像に他方の画像がより大きく含まれる向きである。【選択図】図３
2020127077.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる撮像条件の下で共通の対象が少なくとも撮像された２つの画像を取得するための取得処理をする取得部と、
前記取得部が取得する画像についての不具合を検出するための検出処理をする検出部と、
前記２つの画像のどちらにも前記検出部により不具合が検出されない場合に、前記２つの画像を所定の並び方向に並べて一部が重なる位置に配置し、所定位置の境界線を境界として前記２つの画像を合成することで、合成画像を生成する合成部とを備え、
前記合成部は、さらに、
前記２つの画像のうちの一方の画像だけに前記検出部により不具合が検出された場合には、前記２つの画像のうちの他方の画像を少なくとも配置し、前記所定位置から前記並び方向における一の向きへ移動させた前記境界線を境界として、前記合成画像を生成し、
前記一の向きは、前記並び方向において前記一の向きに前記境界線を移動させるほど、前記合成画像に前記他方の画像がより大きく含まれる向きである
画像合成装置。
【請求項２】
前記取得部は、車両の後方を撮影する２つのカメラであって、前記車両の互いに異なる位置に搭載された２つのカメラを用いて前記２つの画像を取得するための前記取得処理をし、
前記合成部によって配置された前記２つの画像のうちの前記他方の画像において前記所定位置より前記一の向きに進んだ位置には、前記車両の一部が映っており、
前記合成部は、前記境界線が前記車両の一部と重ならない範囲内で、前記境界線を移動させる
請求項１に記載の画像合成装置。
【請求項３】
前記取得部は、車両の後方を撮影する、前記車両の互いに異なる位置に搭載されたカメラを用いて前記２つの画像を取得するための前記取得処理をし、
前記画像合成装置は、さらに、
前記車両の後方の物体を感知するセンサにより得られた、前記車両から前記物体までの距離情報を取得する距離取得部を備え、
前記合成部は、前記２つの画像のうちの一方の画像だけに前記検出部により不具合が検出された前記場合には、さらに、前記距離取得部が取得した前記距離情報に基づいて前記車両の後方の様子を示す第一補間画像を生成して前記２つの画像のうちの前記一方の画像を配置すべき位置に配置し、配置した前記第一補間画像と前記２つの画像のうちの前記他方の画像とを前記境界線を用いて合成する
請求項１に記載の画像合成装置。
【請求項４】
前記センサは、複数の前記センサを含み、
前記距離取得部は、
複数の前記センサのうち、前記車両の車速又はシフトポジションに応じて選択されたセンサにより得られた前記距離情報を取得する
請求項３に記載の画像合成装置。
【請求項５】
前記合成部は、
前記合成部は、前記２つの画像のうちの一方の画像だけに前記検出部により不具合が検出された場合には、前記不具合の内容を示す第二補間画像を生成して前記２つの画像のうちの前記一方の画像を配置すべき位置に配置し、配置した前記第二補間画像と前記２つの画像のうちの前記他方の画像とを前記境界線を用いて合成する
請求項１〜４のいずれか１項に記載の画像合成装置。
【請求項６】
画像合成装置の制御方法であって、
互いに異なる撮像条件の下で共通の対象が少なくとも撮像された２つの画像を取得するための取得処理をする取得ステップと、
前記取得ステップで取得する画像についての不具合を検出するための検出処理をする検出ステップと、
前記２つの画像のどちらにも前記検出ステップで不具合が検出されない場合に、前記２つの画像を所定の並び方向に並べて一部が重なる位置に配置し、所定位置の境界線を境界として前記２つの画像を合成することで、合成画像を生成する合成ステップとを含み、
前記合成ステップでは、さらに、
前記２つの画像のうちの一方の画像だけに前記検出ステップで不具合が検出された場合には、前記２つの画像のうちの他方の画像を少なくとも配置し、前記所定位置から前記並び方向における一の向きへ移動させた前記境界線を境界として、前記合成画像を生成し、
前記一の向きは、前記並び方向において前記一の向きに前記境界線を移動させるほど、前記合成画像に前記他方の画像がより大きく含まれる向きである
制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置、及び、制御方法に関する。
【背景技術】
【０００２】
車両が備える複数のカメラによって車両の後方を撮影し、撮影した画像を表示する画像表示装置がある。例えば、車両の後方が映った画像を運転者に視認させる画像表示装置、いわゆる車両用電子ミラーがある。
【０００３】
この画像表示装置は、車両の左側ドア近傍及び右側ドア近傍に固定されたカメラが撮影した車両の左側後方及び右側後方の画像と、車両のリアバンパー又はトランクフード付近などに固定されたカメラが撮影した車両の中央後方の画像とを取得する。そして、これらの画像をつなぎあわせることで、左側後方、中央後方及び右側後方が映った１つの画像を生成し、生成した画像をルームミラー型の表示装置に表示する。
【０００４】
従来、後側方カメラにより撮影される後側方撮像画像の一部に異常がある場合に、当該一部に相当する位置に、異常の一部に対応する領域を別の画像から切り出して幾何変換した画像を合成して表示する装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−１０７５７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の装置により合成される画像では、異常に対応する部分の画像を魚眼カメラ映像から切り出しているため、解像度が小さく、また、主に駐車用途のカメラであり、フレームレートが小さい場合が多いので、ユーザに適切な後方画像を提供できないという問題がある。
【０００７】
そこで、本発明は、画像に不具合がある場合でも、車両の後方をより適切に示す合成画像を生成する画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る画像合成装置は、互いに異なる撮像条件の下で共通の対象が少なくとも撮像された２つの画像を取得するための取得処理をする取得部と、前記取得部が取得する画像についての不具合を検出するための検出処理をする検出部と、前記２つの画像のどちらにも前記検出部により不具合が検出されない場合に、前記２つの画像を所定の並び方向に並べて一部が重なる位置に配置し、所定位置の境界線を境界として前記２つの画像を合成することで、合成画像を生成する合成部とを備え、前記合成部は、さらに、前記２つの画像のうちの一方の画像だけに前記検出部により不具合が検出された場合には、前記２つの画像のうちの他方の画像を少なくとも配置し、前記所定位置から前記並び方向における一の向きへ移動させた前記境界線を境界として、前記合成画像を生成し、前記一の向きは、前記並び方向において前記一の向きに前記境界線を移動させるほど、前記合成画像に前記他方の画像がより大きく含まれる向きである。
【０００９】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本発明に係る画像合成装置は、画像に不具合がある場合でも、車両の後方をより適切に示す合成画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態に係る画像合成装置が合成する画像を取得するカメラが搭載された車両の一例を示す模式図である。
【図２】図２は、実施の形態に係る画像合成装置による合成前の画像と合成後の画像を示す説明図である。
【図３】図３は、実施の形態に係る画像合成装置の機能構成を示すブロック図である。
【図４】図４は、実施の形態に係る取得部が取得し、合成部が幾何変換を行った画像を示す説明図である。
【図５】図５は、実施の形態に係る合成部が合成した画像の第一例を示す説明図である。
【図６】図６は、実施の形態に係る合成部が合成した画像の第二例を示す説明図である。
【図７】図７は、実施の形態に係る合成部が生成する補間画像の第一例を示す説明図である。
【図８】図８は、実施の形態に係る合成部が生成する補間画像の第二例を示す説明図である。
【図９】図９は、実施の形態に係る合成部が合成した画像の第三例を示す説明図である。
【図１０】図１０は、実施の形態に係る合成部が生成する補間画像の第三例を示す説明図である。
【図１１】図１１は、実施の形態に係る合成部が生成する補間画像の第四例を示す説明図である。
【図１２】図１２は、実施の形態に係る画像合成装置が行う処理を示すフロー図である。
【発明を実施するための形態】
【００１２】
本発明の一態様に係る画像合成装置は、互いに異なる撮像条件の下で共通の対象が少なくとも撮像された２つの画像を取得するための取得処理をする取得部と、前記取得部が取得する画像についての不具合を検出するための検出処理をする検出部と、前記２つの画像のどちらにも前記検出部により不具合が検出されない場合に、前記２つの画像を所定の並び方向に並べて一部が重なる位置に配置し、所定位置の境界線を境界として前記２つの画像を合成することで、合成画像を生成する合成部とを備え、前記合成部は、さらに、前記２つの画像のうちの一方の画像だけに前記検出部により不具合が検出された場合には、前記２つの画像のうちの他方の画像を少なくとも配置し、前記所定位置から前記並び方向における一の向きへ移動させた前記境界線を境界として、前記合成画像を生成し、前記一の向きは、前記並び方向において前記一の向きに前記境界線を移動させるほど、前記合成画像に前記他方の画像がより大きく含まれる向きである。
【００１３】
上記態様によれば、画像合成装置は、取得する２つの画像の１つだけに不具合がある場合に、不具合のない方の画像がより大きく合成画像に含まれるように境界線を移動させる。その結果、不具合のない方の画像が合成画像においてより大きな面積を有することになる。ユーザは、境界線を移動させずに不具合がない画像が表示される場合よりも、不具合がない画像がより大きな面積を占める合成画像を視認することで、車両の後方をより適切に認識することができる。よって、画像合成装置は、画像に不具合がある場合でも、車両の後方をより適切に示す合成画像を生成することができる。
【００１４】
例えば、前記取得部は、車両の後方を撮影する２つのカメラであって、前記車両の互いに異なる位置に搭載された２つのカメラを用いて前記２つの画像を取得するための前記取得処理をし、前記合成部によって配置された前記２つの画像のうちの前記他方の画像において前記所定位置より前記一の向きに進んだ位置には、前記車両の一部が映っており、前記合成部は、前記境界線が前記車両の一部と重ならない範囲内で、前記境界線を移動させる。
【００１５】
上記態様によれば、画像合成装置は、取得する画像に車両の一部が映っている場合に、その一部が映り込まない合成画像を生成する。仮に合成画像に車両の一部が映り込むと、後方画像として不自然な画像になり、ユーザの困惑を招き得る。よって、画像合成装置は、画像に不具合がある場合でも、ユーザを困惑させることなく、車両の後方をより適切に示す合成画像を生成することができる。
【００１６】
例えば、前記取得部は、車両の後方を撮影する、前記車両の互いに異なる位置に搭載されたカメラを用いて前記２つの画像を取得するための前記取得処理をし、前記画像合成装置は、さらに、前記車両の後方の物体を感知するセンサにより得られた、前記車両から前記物体までの距離情報を取得する距離取得部を備え、前記合成部は、前記２つの画像のうちの一方の画像だけに前記検出部により不具合が検出された前記場合には、さらに、前記距離取得部が取得した前記距離情報に基づいて前記車両の後方の様子を示す第一補間画像を生成して前記２つの画像のうちの前記一方の画像を配置すべき位置に配置し、配置した前記第一補間画像と前記２つの画像のうちの前記他方の画像とを前記境界線を用いて合成する。
【００１７】
上記態様によれば、画像合成装置は、取得する２つの画像のうちの不具合がある方の画像が表示されるべき位置に補間画像（第一補間画像）を配置して合成画像を生成する。第一補間画像は、実際にセンサを用いて取得した車両の後方の物体までの距離に基づいて生成された画像である。よって、ユーザは、不具合がある方の画像の代わりに、補間画像を視認することで、車両の後方の様子を知ることができる。このように、画像合成装置は、画像に不具合がある場合でも、車両の後方をより適切に示す合成画像を生成することができる。
【００１８】
例えば、前記センサは、複数の前記センサを含み、前記距離取得部は、複数の前記センサのうち、前記車両の車速又はシフトポジションに応じて選択されたセンサにより得られた前記距離情報を取得する。
【００１９】
上記態様によれば、画像合成装置は、車両が搭載している複数のセンサのうちから車速又はシフトポジションに応じて選択されたセンサを用いて補間画像を生成する。このように、画像合成装置は、画像に不具合がある場合でも、適切なセンサを用いて生成した画像を用いて、車両の後方をより適切に示す合成画像を生成することができる。
【００２０】
例えば、前記合成部は、前記合成部は、前記２つの画像のうちの一方の画像だけに前記検出部により不具合が検出された場合には、前記不具合の内容を示す第二補間画像を生成して前記２つの画像のうちの前記一方の画像を配置すべき位置に配置し、配置した前記第二補間画像と前記２つの画像のうちの前記他方の画像とを前記境界線を用いて合成する。
【００２１】
上記態様によれば、画像合成装置は、取得する２つの画像のうちの不具合がある方の画像が表示されるべき位置に、不具合の内容を示す補間画像（第二補間画像）を配置して合成画像を生成する。第二補間画像は、不具合の内容を示す画像である。よって、ユーザは、不具合がある方の画像の代わりに、補間画像を視認することで、不具合の内容を知ることができ、対処のための行動をとることができる。このように、画像合成装置は、画像に不具合がある場合でも、不具合の対処のための情報を提供し、その結果、車両の後方をより適切に示す合成画像を生成することができる。
【００２２】
本発明の一態様に係る画像合成装置の制御方法は、画像合成装置の制御方法であって、互いに異なる撮像条件の下で共通の対象が少なくとも撮像された２つの画像を取得するための取得処理をする取得ステップと、前記取得ステップで取得する画像についての不具合を検出するための検出処理をする検出ステップと、前記２つの画像のどちらにも前記検出ステップで不具合が検出されない場合に、前記２つの画像を所定の並び方向に並べて一部が重なる位置に配置し、所定位置の境界線を境界として前記２つの画像を合成することで、合成画像を生成する合成ステップとを含み、前記合成ステップでは、さらに、前記２つの画像のうちの一方の画像だけに前記検出ステップで不具合が検出された場合には、前記２つの画像のうちの他方の画像を少なくとも配置し、前記所定位置から前記並び方向における一の向きへ移動させた前記境界線を境界として、前記合成画像を生成し、前記一の向きは、前記並び方向において前記一の向きに前記境界線を移動させるほど、前記合成画像に前記他方の画像がより大きく含まれる向きである。
【００２３】
これにより、上記画像合成装置と同様の効果を奏する。
【００２４】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００２５】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００２６】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００２７】
（実施の形態）
本実施の形態において、画像に不具合がある場合でも、車両の後方をより適切に示す合成画像を生成する画像合成装置について説明する。
【００２８】
図１は、本実施の形態に係る車両１の一例を示す模式図である。図２は、本実施の形態に係る画像合成装置１０による合成前の画像と合成後の画像とを示す説明図である。
【００２９】
図１に示されるように、車両１は、画像合成装置１０と、カメラ１２、１３及び１４と、電子ミラー４０とを備える。なお、以降の説明において特に断らない場合には、前後左右の方向は、車両１の進行方向を前方とした場合の方向とし、これは車両１の運転者にとっての前後左右の方向ともいえる。
【００３０】
カメラ１２は、車両１の左側ドア付近に固定され、車両１の左側後方を撮影するカメラである。カメラ１２は、車両１の左側後方を撮影した上で電子ミラー用に左右反転して画像を生成する。カメラ１２が生成した画像を左側後方画像ともいう。  カメラ１３は、車両１の右側ドア付近に固定され、車両１の右側後方を撮影するカメラである。カメラ１３は、車両１の右側後方を撮影した上で電子ミラー用に左右反転して画像を生成する。カメラ１３が生成した画像を右側後方画像ともいう。
【００３１】
カメラ１４は、車両１のリアバンパー又はトランクフード付近などに固定され、車両１の中央後方を撮影するカメラである。カメラ１４は、車両１の中央後方を撮影した上で電子ミラー用に左右反転して画像を生成する。カメラ１４が生成した画像を中央後方画像ともいう。なお、左右反転した各画像の生成処理は、カメラ１２、１３及び１４ではなく、後段の画像合成装置１０（後述する取得部２１）で行ってもよい。
【００３２】
カメラ１２及び１４の撮影範囲の一部は重なっており、カメラ１３及び１４の撮影範囲の一部は重なっている。そのため、左側後方画像と中央後方画像との一部には共通の対象が映っている。また、右側後方画像と中央後方画像との一部には共通の対象が映っている。
【００３３】
また、カメラ１２が撮像し左右反転して生成した画像のうちの右側には、車両１の一部、より具体的には、車両１の左ドアの一部が映っている。また、カメラ１３が撮像し左右反転して生成した画像のうちの左側には、車両１の一部、より具体的には、車両１の右ドアの一部が映っている。
【００３４】
カメラ１２、１３及び１４のそれぞれは、互いに異なる撮影条件の下で撮像することで画像を生成する。具体的には、カメラ１２、１３及び１４のそれぞれは、互いに異なる位置に配置され、また、互いに異なる方向を向いて配置されており、例えば６０ｆｐｓで画像を取得する。また、カメラ１２、１３及び１４のそれぞれの光学系の光学特性は異なっていてもよい。
【００３５】
電子ミラー４０は、車両１の後方が映った画像である後方画像５０を表示する画像表示装置である。電子ミラー４０は、画像合成装置１０が出力する映像信号に基づいて画像を表示する。電子ミラー４０は、車両１の後方を、光の反射を利用して映す従来のルームミラーの代用として用いられ得る。
【００３６】
画像合成装置１０は、カメラ１２、１３及び１４それぞれが生成した画像を合成して電子ミラー４０が表示する画像を生成する装置である。カメラ１２、１３及び１４のそれぞれが生成する画像の一例を、図２に画像５１、５２及び５３（「画像５１等」ともいう）として示す。画像５１、５２及び５３は、実質的に同時にカメラ１２、１３及び１４のそれぞれにより撮像されたものである。なお、実質的に同時とは、厳密に同時である場合を含むほか、人間にとって同時とみなせる程度の時間差（例えば、撮像間隔と同じ程度の時間差）を有してもよい。また、画像５１、５２及び５３は、電子ミラーに使用するために、それぞれ、カメラ１２、１３及び１４で撮影し、左右反転して生成した画像である。
【００３７】
上記のとおり、カメラ１２、１３及び１４のそれぞれは、一の対象を互いに異なる撮像条件の下で撮像しているので、画像合成装置１０が、カメラ１２、１３及び１４それぞれが生成した画像を、配置すべき位置に配置して単純につなぎあわせただけでは、自然な後方画像５０は得られない。
【００３８】
ここで、「配置すべき位置」とは、カメラ１２が左右反転して生成した画像については後方画像５０内の左側の位置であり、カメラ１３が左右反転して生成した画像については後方画像５０内の右側の位置であり、カメラ１４が左右反転して生成した画像については後方画像５０内の左右中央の位置である。
【００３９】
自然な後方画像５０とは、車両１の運転者が従来のルームミラー（いわゆる物理ミラー）を通して見る、車両１の後方の光景と同じ画像をいう。具体的には、単純につなぎあわせただけの画像では、つなぎあわせの境界付近において、二重化又は消失が生じ得る。二重化とは、一の物が画像に二重に映ることをいい、消失とは、実際には存在するものが画像に映らないことをいう。
【００４０】
そこで、画像合成装置１０は、カメラ１２、１３及び１４それぞれが生成した画像に応じてこれらの画像に適切な処理を施した上でつなぎ合わせることで、二重化又は消失が抑制された自然な後方画像５０を生成し、電子ミラー４０に表示させる。
【００４１】
なお、カメラ１２、１３及び１４が生成した３つの画像は、そのうちの隣接する２つが合成された後に、その合成画像と残りの１つが合成されることで後方画像５０が生成されてもよい。また、カメラ１２、１３及び１４が生成した３つの画像が同時並行的に合成されることで後方画像５０が生成されてもよい。
【００４２】
以降において、画像合成装置１０の機能及び処理を説明する。
【００４３】
図３は、本実施の形態に係る画像合成装置１０の機能構成を示すブロック図である。ここでは、画像合成装置１０が、共通の対象が少なくとも撮像された２つの画像である第一画像及び第二画像を取得して合成する場合を例として説明する。この２つの画像は、左側後方画像と中央後方画像とであってもよいし、右側後方画像と中央後方画像とであってもよい。
【００４４】
以降では、第一画像が左後方画像であり、第二画像が中央後方画像である場合について詳しく説明する。この場合、画像合成装置１０は、カメラ１２及び１４により例えば６０ｆｐｓで第一画像及び第二画像を取得し、取得のたびに、第一画像及び第二画像の合成画像を生成して電子ミラー４０に表示する。
【００４５】
図３に示されるように、画像合成装置１０は、取得部２１と、距離取得部２２と、検出部２３と、合成部２４と、表示制御部２５とを備える。上記の各構成要素のそれぞれは、プロセッサがメモリ等を用いて所定のプログラムを実行することで実現されてもよいし、専用ハードウェアで実現されてもよい。
【００４６】
取得部２１は、互いに異なる撮像条件の下で共通の対象が少なくとも撮像された２つの画像を取得するための取得処理をする処理部である。取得部２１は、具体的には、車両１に搭載された２つのカメラ１２及び１４が撮像により生成した画像データを取得する。
【００４７】
ここで、取得処理において、画像の取得が正常になされないこともあり得る。例えば、カメラ１２又は１４の撮影動作が正常でない場合、カメラ１２又は１４から画像が得られない場合、カメラ１２又は１４のレンズに何らかの物体が付着したことにより正常に被写体が撮影され得ない場合に、画像の取得が正常になされない。
【００４８】
取得処理が正常になされない場合、取得部２１は、取得処理において、カメラ１２又は１４に不具合があることを示す情報（例えば所定のエラーメッセージ）を得たり、不具合を有する画像を得たりする。不具合を有する画像とは、全画素が所定の一色（例えば黒又は緑など）である画像、走行中にもかかわらず直前の画像と同じ画像、又は、時間的に所定数（例えば２）だけ前の画像と同じ画像などである。直前の画像と同じ画像が得られるのは、カメラ１２又は１４に何らかの物体（水滴、泥、雪又は露など）が付着したときに生じ得る現象である。また、時間的に所定数だけ前の画像と同じ画像が得られるのは、カメラ１２又は１４が取得した画像が所定数のメモリ領域に順次に格納された後に順次に読み出される実装である場合に、上記所定数のメモリ領域のうちの一部のメモリ領域に不具合があるときに生じ得る現象である。
【００４９】
距離取得部２２は、車両１の後方の物体を感知するセンサ２２Ａを用いて、車両１の後方の物体までの距離を取得する処理部である。センサ２２Ａは、少なくとも車両１の後方の物体までの距離を感知する測距センサである。センサ２２Ａは、具体的には、ソナー、レーダ（Ｒａｄａｒ）、ライダ（ＬＩＤＡＲ）、又は、ＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）センサなどであり、複数のセンサ２２Ａが車両１に備えられていてもよい。距離取得部２２は、センサ２２Ａによる感知によって取得した、上記物体までの距離を合成部２４に提供する。
【００５０】
なお、距離取得部２２は、上記距離とともに上記物体が存在する方向を合成部２４に提供してもよい。上記方向は、センサ２２Ａにより検出されたものであってもよいし、センサ２２Ａの取付位置及び方向などから定められるものであってもよい。
【００５１】
車両１が複数のセンサ２２Ａを備えている場合には、距離取得部２２は、複数のセンサ２２Ａのうち、車両１の車速又はシフトポジションに応じて選択されるセンサ２２Ａにより得られた距離情報を取得して、合成部２４に提供してもよい。車両１の車速又はシフトポジションは、車両１が備えるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）から取得可能である。
【００５２】
例えば、距離取得部２２は、車両１の車速が大きいときにはレーダを選択する一方、車速が小さいときにはソナーを選択してもよい。また、車両１のシフトポジションが高いときにはレーダを選択する一方、シフトポジションが低い又は後退ポジションであるときにはソナーを選択してもよい。
【００５３】
また、距離取得部２２は、天候に応じてセンサ２２Ａを選択してもよい。例えば、雨天時にはソナー以外のセンサ２２Ａを選択するようにしてもよい。雨天時にはソナーによる物体の検出が不適切になることが知られているからである。なお、天候が雨天であることを検出するには、例えば、ワイパーが作動していることにより検出可能である。
【００５４】
検出部２３は、取得部２１が取得する画像についての不具合を検出するための検出処理をする処理部である。「取得する画像についての不具合」とは、正常な画像の取得がなされないことをいい、取得した画像に不具合がある場合と、画像が正常に取得されない場合とを含む概念である。
【００５５】
具体的には、検出部２３は、取得部２１が取得した画像の全画素が所定の一色である画像である場合に、不具合があることを検出する。また、取得部２１が取得した画像が、走行中にもかかわらず直前の画像と同じ画像である、又は、時間的に所定数だけ前の画像と同じ画像である場合に、不具合があることを検出する。また、検出部２３は、取得部２１がカメラ１２又は１４からエラー情報を得た場合に、不具合があることを検出する。なお、検出部２３は、車両１が走行中であるか否かを判断するために、車両１が備えるＥＣＵから車速を取得する。
【００５６】
合成部２４は、取得部２１が取得した画像を合成することで合成画像を生成する処理部である。合成部２４は、取得部２１が取得した２つの画像それぞれに境界線を設定し、その境界線によって２つの画像それぞれを切断してつなぎ合わせる画像処理を行う。具体的には、合成部２４は、２つの画像が撮影されたときの撮像条件の差異を抑制するための画像処理である幾何変換処理を施したうえで、２つの画像をつなぎ合わせる画像処理を行う。幾何変換処理は、具体的には、平行移動、拡大、縮小、回転、せん断、又はこれらの組み合わせの処理を含む。
【００５７】
合成部２４は、取得部２１が２つの画像を取得し、かつ、取得した２つの画像のどちらにも検出部２３により不具合が検出されない場合に、２つの画像を所定の並び方向に並べて一部が重なる位置に配置し、所定位置の境界線を境界として２つの画像を合成することで、合成画像を生成する。
【００５８】
また、合成部２４は、上記２つの画像のうちの一方の画像だけに検出部２３により不具合が検出された場合には、２つの画像のうちの他方の画像を少なくとも配置し、所定位置から並び方向における一の向きへ移動させた境界線を境界として、合成画像を生成する。ここで、上記一の向きは、上記並び方向において上記一の向きに境界線を移動させるほど、合成画像に上記他方の画像がより大きく含まれる向きである。
【００５９】
また、合成部２４は、２つの画像のうちの一方の画像だけに不具合が検出された場合には、さらに、距離取得部２２が取得した距離情報に基づいて車両１の後方の様子を示す画像（補間画像ともいい、特に第一補間画像ともいう）を生成して２つの画像のうちの上記一方の画像を配置すべき位置に配置し、配置した補間画像と２つの画像のうちの他方の画像とを境界線を用いて合成してもよい。
【００６０】
また、上記の第一補間画像の代わりに、不具合の内容を示す画像（補間画像ともいい、特に第二補間画像ともいう）を生成して、２つの画像のうちの上記一方の画像を配置すべき位置に配置し、配置した補間画像と２つの画像のうちの他方の画像とを境界線を用いて合成してもよい。なお、第一補間画像と併せて第二補間画像を表示してもよい。
【００６１】
ここで、合成部２４は、境界線を移動させるときには、合成画像において境界線が車両１の一部と重ならない範囲内で境界線を移動させる。このようにすることで、合成部２４が合成する合成画像内に、車両１の一部が映り込むことが回避される。
【００６２】
表示制御部２５は、合成部２４が生成した合成画像の表示の制御をする処理部である。表示制御部２５は、表示装置である電子ミラー４０に合成画像を表示させるように、合成画像に含まれる各画素の画素値を電子ミラー４０に出力する。
【００６３】
以降において画像の例を示しながら、画像合成装置１０による画像の合成処理について具体的に説明する。
【００６４】
ここでは、左後方画像と中央後方画像との合成、及び、右後方画像と中央後方画像との合成を並行して行う場合を例として説明する。この例では、左後方画像と右後方画像と中央後方画像とが一度に合成されるともいえる。
【００６５】
図４は、本実施の形態に係る取得部２１が取得し、合成部２４が幾何変換を行った画像を示す説明図である。より具体的には、図４には、車両１の左側後方画像の例である画像６１と、右側後方画像の例である画像６２と、中央後方画像の例である画像６３とが示されている。画像６１、６２及び６３は、それぞれ、カメラ１２、１３及び１４により撮像および左右反転され、さらに、合成部２４で幾何変換処理がなされた画像の一例である。
【００６６】
また、図４には、画像６１、６２及び６３を合成するときの境界線が示されている。具体的には、画像６１及び６２に、それぞれ、境界線６５Ａ及び境界線６６Ａが示されている。また、画像６３に境界線６５Ｂ及び６６Ｂが示されている。画像６３に示されている境界線６６Ｃは、後述するように、境界線６６Ｂから移動された境界線の位置を示している。
【００６７】
ここで、画像６１、６２及び６３の撮像時の撮像条件は、互いに異なる。撮像条件とは、カメラの位置、又は、光学系の光学特性を含む。具体的には、上記画像それぞれを撮像したカメラ（つまりカメラ１２、１３及び１４）の位置が少なくとも異なる。
【００６８】
そのため、画像６１、６２及び６１は、当該画像に映されている被写体の寸法、形状又は角度などが異なる。よって、何らかの変換を施すことなく画像６１と画像６３とをつなぎ合わせ、また、画像６３と画像６２とをつなぎ合わせることで自然な後方画像を得ることは難しい。そこで、合成部２４は、画像６１、６２及び６３に幾何変換処理を施したうえで、これらをつなぎ合わせることで合成画像を生成する。
【００６９】
図５は、本実施の形態に係る合成部２４が合成した画像の第一例である合成画像６０Ａを示す説明図である。合成画像６０Ａは、取得部２１が取得した画像に不具合がない場合に合成部２４によって合成される画像の一例である。
【００７０】
合成画像６０Ａには、画像６１Ａ、６２Ａ及び６３Ａが含まれている。また、画像６１Ａと画像６３Ａとの境界に境界線６５があり、画像６２Ａと画像６３Ａとの境界に境界線６６がある。
【００７１】
画像６１Ａは、幾何変換処理がなされた画像６１のうちの、境界線６５Ａより左側の部分を示した画像である。
【００７２】
画像６２Ａは、幾何変換処理がなされた画像６２のうちの、境界線６６Ａより右側の部分を示した画像である。
【００７３】
画像６３Ａは、幾何変換処理がなされた画像６３のうちの、境界線６５Ｂより右側であり、かつ、境界線６６Ｂより左側である部分を示した画像である。
【００７４】
合成画像６０Ａが電子ミラー４０に表示されると、合成画像６０Ａをユーザは、車両１の後方、より具体的には、左側後方から中央後方、さらに右側後方までの領域を認識することができる。
【００７５】
図６は、本実施の形態に係る合成部２４が合成した画像の第二例である合成画像６０Ｂを示す説明図である。合成画像６０Ｂは、取得部２１が取得した画像のうち、右側後方画像に不具合がある場合に合成部２４によって合成される画像の一例である。
【００７６】
合成画像６０Ｂには、画像６１Ａ及び６３Ｂ、並びに補間画像７２が含まれている。また、画像６１Ａと画像６３Ｂとの境界に境界線６５があり、補間画像７２と画像６３Ｂとの境界に境界線６６がある。
【００７７】
画像６１Ａは、図５における画像６１Ａと同じである。
【００７８】
画像６３Ｂは、画像６３（図４参照）のうちの一部である。より具体的には、画像６３のうちの境界線６５Ｂはそのままに、境界線６６Ｃは、境界線６６Ｂより右方向へ移動させた位置に設定した際の、境界線６５Ｂと境界線６６Ｃとの間の部分が図６の画像６３Ｂとなる。ここでの右方向は、「一の向き」に相当する。なぜなら、画像６３Ｂと補間画像７２の並び方向（紙面上の左右方向）において境界線を右方向に移動させるほど、合成画像６０Ｂに画像６３Ｂがより大きく含まれるからである。
【００７９】
補間画像７２は、合成部２４が生成した補間画像であり、距離取得部２２が取得した距離情報に基づいて生成された、車両１の後方の様子を示す画像である。以降において、補間画像について２つの例を挙げて説明する。
【００８０】
図７は、本実施の形態に係る合成部２４が生成する補間画像（第一補間画像）の第一例である補間画像７２を示す説明図である。補間画像７２は、例えばカメラ１３が取得した右側後方画像に不具合がある場合に合成部２４が生成する補間画像の第一例である。
【００８１】
補間画像７２は、車両１とその周辺（より特定的には車両１の右側後方の領域）を上から見た画像、いわゆるトップビューの画像を示している。補間画像７２において、紙面上の上方向が車両１にとっての前方に対応しており、紙面上の下方向が車両１にとっての後方に対応している。
【００８２】
補間画像７２において、車両Ｃ１は、自車両である車両１を示しており、車両Ｃ２及びＣ３は、車両１の右側後方に存在している車両を示している。車両Ｃ２及びＣ３は、センサ２２Ａが取得した車両１の後方の物体までの距離に基づいて、補間画像７２上で車両Ｃ１との相対位置及び距離が正しく表現されるように示されている。
【００８３】
また、補間画像７２では、車両１の前後方向の距離の目安を示す１以上の線Ｌが描画されている。線Ｌは、例えば、現実の１ｍに相当する間隔で描画されている。
【００８４】
ユーザは、補間画像７２を視認することで、トップビューにより、車両Ｃ２及びＣ３と、自車両である車両Ｃ１との位置関係及び相対距離を把握することができる。
【００８５】
なお、合成部２４は、車両１から所定距離以内に位置している車両Ｃ２の画像の近くに、注意喚起のためのマークＣ２Ａをさらに描画してもよい。ユーザは、マークＣ２Ａを視認すると、マークＣ２Ａの近くに位置している車両Ｃ２が、自車両である車両１から所定距離以内であることを認識し、運転の際に留意することができる。
【００８６】
図８は、本実施の形態に係る合成部２４が生成する補間画像の第二例である補間画像７４を示す説明図である。補間画像７４は、例えばカメラ１３が取得した右側後方画像に不具合がある場合に合成部２４が生成する補間画像の第二例である。
【００８７】
補間画像７４は、電子ミラー４０の位置から車両１の右側後方を見た場合の画像を示している。補間画像７４は、仮に、取得部２１が取得した画像に不具合がなければその位置に配置される画像に相当する補間画像である。
【００８８】
補間画像７４において、車両Ｃ２及びＣ３は、車両１の右側後方に存在している車両を示している。補間画像７４は、上記のとおり車両１から右側後方を見た場合の画像であるので、自車両を示す車両Ｃ１は示されていない。
【００８９】
また、補間画像７４では、車両１の前後方向の距離の目安を示す１以上の線Ｌが描画されている。線Ｌは、例えば、現実の１ｍに相当する間隔で描画されている。
【００９０】
補間画像７４は、電子ミラー４０の位置から後方を見た画像であるので、ユーザは、電子ミラー４０に表示されている不具合のない画像と同じ見方で補間画像７４を認識することができる。これにより、ユーザは、補間画像７４を視認することで、車両Ｃ２及びＣ３と、自車両である車両１との位置関係及び相対距離を把握することができる。
【００９１】
なお、補間画像７４においても、補間画像７２と同様に注意喚起のためのマークＣ２Ａがさらに描画されてもよい。
【００９２】
また、図７、図８では、車両１から所定距離以内の車両Ｃ２に注意喚起のためのマークＣ２Ａが描画されているが、それに限定されず、不具合が検出された画像に対する、不具合の内容を示す補間画像（第二補間画像）を、補間画像７２、７４に重畳して配置してもよい。不具合の内容は、例えば、画像信号の欠落、画像の固着（不変化）、異物付着などであり、これらの不具合を示す文言、または、マークにより第二補間画像が形成される。
【００９３】
さらに、図７、図８において、第二補間画像が補間画像７２、７４に重畳して配置される構成に限定されるものではなく、例えば、不具合の内容に対する重要度に応じて、例えばカメラの故障に起因する不具合であれば、第二補間画像のみを描画するようにしてもよい。
【００９４】
図９は、本実施の形態に係る合成部２４が合成した画像の第三例である合成画像６０Ｃを示す説明図である。合成画像６０Ｃは、取得部２１が取得した画像のうち、中央後方画像に不具合がある場合に合成部２４によって合成される画像の一例である。
【００９５】
合成画像６０Ｃには、画像６１Ｃ及び６２Ｃ、並びに補間画像７６が含まれている。また、画像６１Ｃと補間画像７６との境界に境界線６５があり、画像６２Ｃと補間画像７６との境界に境界線６６がある。
【００９６】
画像６１Ｃは、画像６１（図４参照）のうちの一部である。より具体的には、境界線６５は、図４の境界線６５Ａより右方向へ移動させた位置に設定されている。ここでの右方向は、「一の向き」に相当する。なぜなら、画像６１Ｃと補間画像７６の並び方向（紙面上の左右方向）において境界線を右方向に移動させるほど、合成画像６０Ｃに画像６１Ｃがより大きく含まれるからである。
【００９７】
画像６２Ｃは、画像６２（図４参照）のうちの一部である。より具体的には、境界線６６は、図４の境界線６６Ａより左方向へ移動させた位置に設定されている。ここでの左方向は、「一の向き」に相当する。なぜなら、画像６２Ｃと補間画像７６の並び方向（紙面上の左右方向）において境界線を左方向に移動させるほど、合成画像６０Ｃに画像６２Ｃがより大きく含まれるからである。
【００９８】
補間画像７６は、合成部２４が生成した補間画像であり、距離取得部２２が取得した距離情報に基づいて生成された、車両１の後方の様子を示す画像である。以降において、補間画像について２つの例を挙げて説明する。
【００９９】
図１０は、本実施の形態に係る合成部２４が生成する補間画像の第三例である補間画像７６を示す説明図である。補間画像７６は、例えばカメラ１４が取得した中央後方画像に不具合がある場合に合成部２４が生成する補間画像の第一例である。
【０１００】
補間画像７６は、車両１とその周辺（より特定的には車両１の中央後方の領域）を上から見た場合の画像、いわゆるトップビューの画像を示している。補間画像７６は、補間画像７２（図７参照）と同様の画像であるが、中央後方を撮影した画像に不具合があったことから、車両１の中央後方の領域に存在している車両を示したものである。
【０１０１】
補間画像７６において、補間画像７２（図７参照）と同様、車両Ｃ１は、自車両である車両１を示しており、車両Ｃ４及びＣ５は、車両１の中央後方に存在している車両を示している。また、補間画像７６では、車両１の前後方向の距離の目安を示す１以上の線Ｌが描画されている。線Ｌは、例えば、現実の１ｍに相当する間隔で描画されている。
【０１０２】
ユーザは、補間画像７２（図７参照）と同様、補間画像７６を視認することで、トップビューにより、車両Ｃ４及びＣ５と、自車両である車両Ｃ１との位置関係及び相対距離を把握することができる。
【０１０３】
図１１は、本実施の形態に係る合成部２４が生成する補間画像の第四例である補間画像７８を示す説明図である。補間画像７８は、例えばカメラ１４が取得した中央後方画像に不具合がある場合に合成部２４が生成する補間画像の第二例である。
【０１０４】
補間画像７８は、電子ミラー４０の位置から車両１の中央後方を見た場合の画像を示している。補間画像７８は、仮に、取得部２１が取得した画像に不具合がなければその位置に配置される画像に相当する補間画像である。
【０１０５】
補間画像７８において、車両Ｃ４及びＣ５は、車両１の中央後方に存在している車両を示している。補間画像７８は、上記のとおり車両１から中央後方を見た場合の画像であるので、自車両を示す車両Ｃ１は示されていない。
【０１０６】
また、補間画像７８では、車両１の前後方向の距離の目安を示す１以上の線Ｌが描画されている。線Ｌは、例えば、現実の１ｍに相当する間隔で描画されている。
【０１０７】
ユーザは、補間画像７４（図８参照）の場合と同様、補間画像７８を視認することで、車両Ｃ４及びＣ５と、車両１との位置関係及び相対距離を把握することができる。
【０１０８】
なお、図７、図１０において、車両Ｃ１（車両１）は補間画像７２、７６の上部に描画されているが、これは、ユーザの好みにより、補間画像７２、７６の下部に描画されるようにしてもよい。この場合、補間画像７２、７６は１８０度回転させて表示することにより、車両Ｃ２、Ｃ３、Ｃ４、Ｃ５との位置関係を維持することができる。
【０１０９】
以上のように構成された画像合成装置１０の処理について説明する。
【０１１０】
図１２は、本実施の形態に係る画像合成装置１０が行う処理を示すフロー図である。
【０１１１】
ステップＳ１０１において、取得部２１が２つの画像を取得する。２つの画像は、例えば左側後方画像と中央後方画像とである。
【０１１２】
ステップＳ１０２において、検出部２３は、ステップＳ１０１で取得部２１が取得する画像についての不具合を検出するための検出処理をする。
【０１１３】
ステップＳ１０３において、ステップＳ１０２での検出処理の結果に基づいて処理を分岐する。検出処理で２つの画像のいずれにも不具合が検出されない場合にはステップＳ１０４に進み、２つの画像の一方だけに不具合が検出された場合にはステップＳ１１１に進み、その他の場合にはステップＳ１２１に進む。
【０１１４】
ステップＳ１０４において、合成部２４は、合成の前処理として取得部２１が取得した画像の幾何変換処理を行い、所定位置に境界線を設定する。所定位置とは、車種、カメラの設置位置又は設置角度などにより予め定められた位置である。以降でも同様とする。
【０１１５】
ステップＳ１０５において、合成部２４は、ステップＳ１０４で設定した境界線を用いて２つの画像を合成することで合成画像を生成する。
【０１１６】
ステップＳ１０６において、表示制御部２５は、ステップＳ１０５又はステップＳ１１３で合成部２４が生成した画像を電子ミラー４０に表示する。ステップＳ１０６を終えたら図１２に示されている一連の処理を終了する。
【０１１７】
ステップＳ１１１において、合成部２４は、不具合のない画像の幾何変換処理を行い、所定位置から移動した位置に境界線を設定する。境界線は、所定位置から一の向きへ移動される。一の向きは、画像の並び方向において上記一の向きに境界線を移動させるほど、合成画像に他方の画像がより大きく含まれる向きである。
【０１１８】
ステップＳ１１２において、合成部２４は、距離取得部２２がセンサ２２Ａにより取得した後方の物体との距離に基づいて補間画像を生成する。
【０１１９】
ステップＳ１１３において、合成部２４は、ステップＳ１１２で生成した補間画像と、不具合のない画像とを、ステップＳ１１１で設定した境界線を用いて合成する。ステップＳ１１３を終えたらステップＳ１０６に進む。
【０１２０】
ステップＳ１２１において、画像合成装置１０は、所定のエラー処理を行う。所定のエラー処理は、例えば、２つの画像の両方に不具合が検出されたことを示す画像を生成して表示する処理などが含まれる。ステップＳ１２１を終えたら図１２に示されている一連の処理を終了する。
【０１２１】
なお、上記では、左側後方画像と中央後方画像との２つの画像を対象として画像合成装置１０が処理を実行する場合を例として説明したが、その代わりに、右側後方画像と中央後方画像との２つの画像を対象として処理を実行してもよい。
【０１２２】
さらに、画像合成装置１０は、左側後方画像と中央後方画像と右側後方画像との３つの画像のうちの左側後方画像と中央後方画像との２つの画像を対象として上記一連の処理を実行し、また、上記３つの画像のうちの右側後方画像と中央後方画像との２つの画像を対象として上記一連の処理を実行すれば、上記３の画像を対象として同時並行的に合成処理を行うことができる。
【０１２３】
図１２に示される一連の処理により、画像合成装置１０は、画像に不具合がある場合でも、車両1の後方をより適切に示す合成画像を生成することができる。
【０１２４】
以上のように、本実施の形態及び変形例に係る画像合成装置は、取得する２つの画像の１つだけに不具合がある場合に、不具合のない方の画像がより大きく合成画像に含まれるように境界線を移動させる。その結果、不具合のない方の画像が合成画像においてより大きな面積を有することになる。ユーザは、境界線を移動させずに不具合がない画像が表示される場合よりも、不具合がない画像がより大きな面積を占める合成画像を視認することで、車両の後方をより適切に認識することができる。よって、画像合成装置は、画像に不具合がある場合でも、車両の後方をより適切に示す合成画像を生成することができる。
【０１２５】
また、画像合成装置は、取得する画像に車両の一部が映っている場合に、その一部が映り込まない合成画像を生成する。仮に合成画像に車両の一部が映り込むと、後方画像として不自然な画像になり、ユーザの困惑を招き得る。よって、画像合成装置は、画像に不具合がある場合でも、ユーザを困惑させることなく、車両の後方をより適切に示す合成画像を生成することができる。
【０１２６】
また、画像合成装置は、取得する２つの画像のうちの不具合がある方の画像が表示されるべき位置に補間画像（第一補間画像）を配置して合成画像を生成する。第一補間画像は、実際にセンサを用いて取得した車両の後方の物体までの距離に基づいて生成された画像である。よって、ユーザは、不具合がある方の画像の代わりに、補間画像を視認することで、車両の後方の様子を知ることができる。このように、画像合成装置は、画像に不具合がある場合でも、車両の後方をより適切に示す合成画像を生成することができる。
【０１２７】
また、画像合成装置は、車両が搭載している複数のセンサのうちから車速又はシフトポジションに応じて選択されたセンサを用いて補間画像を生成する。このように、画像合成装置は、画像に不具合がある場合でも、適切なセンサを用いて生成した画像を用いて、車両の後方をより適切に示す合成画像を生成することができる。
【０１２８】
また、画像合成装置は、取得する２つの画像のうちの不具合がある方の画像が表示されるべき位置に、不具合の内容を示す補間画像（第二補間画像）を配置して合成画像を生成する。第二補間画像は、不具合の内容を示す画像である。よって、ユーザは、不具合がある方の画像の代わりに、補間画像を視認することで、不具合の内容を知ることができ、対処のための行動をとることができる。このように、画像合成装置は、画像に不具合がある場合でも、不具合の対処のための情報を提供し、その結果、車両の後方をより適切に示す合成画像を生成することができる。
【０１２９】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の画像合成装置などを実現するソフトウェアは、次のようなプログラムである。
【０１３０】
すなわち、このプログラムは、コンピュータに、画像合成装置の制御方法であって、互いに異なる撮像条件の下で共通の対象が少なくとも撮像された２つの画像を取得するための取得処理をする取得ステップと、前記取得ステップで取得する画像についての不具合を検出するための検出処理をする検出ステップと、前記２つの画像のどちらにも前記検出ステップで不具合が検出されない場合に、前記２つの画像を所定の並び方向に並べて一部が重なる位置に配置し、所定位置の境界線を境界として前記２つの画像を合成することで、合成画像を生成する合成ステップとを含み、前記合成ステップでは、さらに、前記２つの画像のうちの一方の画像だけに前記検出ステップで不具合が検出された場合には、前記２つの画像のうちの他方の画像を少なくとも配置し、前記所定位置から前記並び方向における一の向きへ移動させた前記境界線を境界として、前記合成画像を生成し、前記一の向きは、前記並び方向において前記一の向きに前記境界線を移動させるほど、前記合成画像に前記他方の画像がより大きく含まれる向きである制御方法を実行させる。
【０１３１】
以上、一つまたは複数の態様に係る画像合成装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１３２】
本発明は、車両に搭載したカメラの映像を合成して電子ミラーに表示する画像合成装置に利用可能である。
【符号の説明】
【０１３３】
１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５    車両
１０    画像合成装置
１２、１３、１４    カメラ
２１    取得部
２２    距離取得部
２２Ａ    センサ
２３    検出部
２４    合成部
２５    表示制御部
４０    電子ミラー
５０    後方画像
５１、５２、５３、６１、６１Ａ、６１Ｃ、６２、６２Ａ、６２Ｃ、６３、６３Ａ、６３Ｂ    画像
６０Ａ、６０Ｂ、６０Ｃ    合成画像
６５、６５Ａ、６５Ｂ、６６、６６Ａ、６６Ｂ、６６Ｃ    境界線
７２、７４、７６、７８    補間画像
Ｃ２Ａ    マーク
Ｌ    線
【図１】
2020127077.tif 000003
【図２】
2020127077.tif 000004
【図３】
2020127077.tif 000005
【図４】
2020127077.tif 000006
【図５】
2020127077.tif 000007
【図６】
2020127077.tif 000008
【図７】
2020127077.tif 000009
【図８】
2020127077.tif 000010
【図９】
2020127077.tif 000011
【図１０】
2020127077.tif 000012
【図１１】
2020127077.tif 000013
【図１２】
2020127077.tif 000014