(57)【要約】【課題】画像合成に伴う違和感を抑制しながら画像を合成する。【解決手段】画像合成装置１０は、同一の物を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した第一画像及び第二画像を一部が重なる所定の位置関係で配置する取得部２１と、第一画像に撮像された物を囲む第一枠を設定し、第二画像に撮像された物を囲む第二枠を設定する設定部２２と、第一画像及び第二画像の少なくとも一方に、第一枠及び第二枠のずれ量を小さくするように変換を施す変換部２３と、変換の後のずれ量が閾値以下であるか否かを判定する判定部２４と、ずれ量が閾値以下であると判定部２４が判定した場合に、変換の後の第一画像及び第二画像を合成することで合成画像を生成する合成部２５とを備える。【選択図】図３
2020092387.tif 000002
【特許請求の範囲】
【請求項１】
同一の物を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得部と、
前記第一画像に撮像された前記物を囲む第一枠を設定し、前記第二画像に撮像された前記物を囲む第二枠を設定する設定部と、
前記第一画像及び前記第二画像の少なくとも一方に、前記第一枠及び前記第二枠のずれ量を小さくするように変換を施す変換部と、
前記変換の後の前記ずれ量が閾値以下であるか否かを判定する判定部と、
前記ずれ量が前記閾値以下であると前記判定部が判定した場合に、前記変換の後の前記第一画像及び前記第二画像を合成することで合成画像を生成する合成部とを備える
画像合成装置。
【請求項２】
前記変換部は、前記ずれ量が前記閾値を超えていると前記判定部が判定した場合に、前記第一画像及び前記第二画像の少なくとも一方に新たな変換を施し、
前記判定部は、前記新たな変換の後の前記第一枠及び前記第二枠のずれ量を用いて前記判定をする
請求項１に記載の画像合成装置。
【請求項３】
前記画像合成装置は、さらに、
前記合成部が合成した前記合成画像の表示の制御をする表示制御部を備え、
前記表示制御部は、前記合成画像の表示の制御をする前に、前回の第一画像及び前回の第二画像を対象とした前記変換部による前回の変換の後に前記合成部により生成された前回の合成画像の表示の制御を行っており、かつ、前記ずれ量が前記閾値を超えていると前記判定部が所定回数以上判定したときには、前記前回の変換と同じ変換がなされた前記第一画像及び前記第二画像を合成した合成画像の表示の制御をする
請求項２に記載の画像合成装置。
【請求項４】
前記物は、複数の物を含み、
前記判定部は、前記複数の物それぞれについて設定された前記第一枠及び前記第二枠の前記ずれ量が前記閾値以下であるか否かを判定し、
前記変換部は、前記複数の物それぞれについての前記ずれ量が前記閾値以下であると前記判定部が判定するまで、前記第一画像及び前記第二画像の少なくとも一方に前記変換を施すことを繰り返す
請求項２に記載の画像合成装置。
【請求項５】
前記変換部は、前記第一枠及び前記第二枠のずれ量を小さくするように前記変換の種別又は変換量を決定し、決定した前記種別又は前記変換量で前記変換を施す
請求項１に記載の画像合成装置。
【請求項６】
前記物は、複数の物を含み、
前記設定部は、さらに、前記第一画像及び前記第二画像それぞれに撮像されている前記複数の物それぞれの優先度を決定し、
前記変換部は、前記複数の物のうち前記優先度がより高い物を囲む前記第一枠及び前記第二枠のずれ量を、より小さくするように、前記種別又は前記変換量を決定する
請求項５に記載の画像合成装置。
【請求項７】
前記設定部は、前記複数の物それぞれの前記第一画像又は前記第二画像における寸法を検出し、検出した寸法が大きい物ほど、より大きな優先度を決定する
請求項６に記載の画像合成装置。
【請求項８】
前記設定部は、前記第一画像又は前記第二画像の撮像時における前記物と、前記撮像をしたカメラとの距離をさらに検出し、検出した前記距離が小さい物ほど、より大きな優先度を決定する
請求項６又は７に記載の画像合成装置。
【請求項９】
前記第一画像及び前記第二画像は、一の車両に固定された２つのカメラにより同時に撮像された画像であり、
前記所定の位置関係は、前記２つのカメラの位置及び向きに応じて予め定められた位置関係である
請求項１〜８のいずれか１項に記載の画像合成装置。
【請求項１０】
前記画像合成装置は、
（ａ）一の車両の左側の後方を映す左カメラにより撮像された左後方画像と、
（ｂ）前記一の車両の右側の後方を映す右カメラにより撮像された右後方画像と、
（ｃ）前記一の車両の中央の後方を映す中央カメラにより撮像された中央後方画像と、
を取得し、
前記左後方画像と前記右後方画像との一方、及び、前記中央後方画像を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記合成部により前記合成画像として第三画像を生成し、
前記第三画像、及び、前記左後方画像と前記右後方画像との他方を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記合成部により前記合成画像として第四画像を生成する
請求項１〜９のいずれか１項に記載の画像合成装置。
【請求項１１】
画像合成装置の制御方法であって、
同一の物を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得ステップと、
前記第一画像に撮像された前記物を囲む第一枠を設定し、前記第二画像に撮像された前記物を囲む第二枠を設定する設定ステップと、
前記第一画像及び前記第二画像の少なくとも一方に、前記第一枠及び前記第二枠のずれ量を小さくするように変換を施す変換ステップと、
前記変換の後の前記ずれ量が閾値以下であるか否かを判定する判定ステップと、
前記ずれ量が前記閾値以下であると前記判定ステップで判定した場合に、前記変換の後の前記第一画像及び前記第二画像を合成することで合成画像を生成する合成ステップとを含む
制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置、及び、制御方法に関する。
【背景技術】
【０００２】
車両が備える複数のカメラによって車両の後方を撮影し、撮影した画像を表示する画像表示装置がある。例えば、車両の後方が映った画像を運転者に視認させる画像表示装置、いわゆる車両用電子ミラーがある。
【０００３】
この画像表示装置は、車両の左側ドア近傍及び右側ドア近傍に固定されたカメラが撮影した車両の左側後方及び右側後方の画像と、車両のリアバンパー又はトランクフード付近などに固定されたカメラが撮影した車両の中央後方の画像とを取得する。そして、これらの画像をつなぎあわせることで、左側後方、中央後方及び右側後方が映った１つの画像を生成し、生成した画像をルームミラー型の表示装置に表示する。
【０００４】
従来、画像をつなぎあわせることで合成する画像合成装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２１５３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の画像合成装置による画像の合成では、合成する画像の境界付近において生ずる二重化によって違和感が生じ得る。二重化とは、一の物が画像に二重に映ることをいう。
【０００７】
そこで、本発明は、画像合成に伴う違和感を抑制しながら画像を合成する画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る画像合成装置は、同一の物を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得部と、前記第一画像に撮像された前記物を囲む第一枠を設定し、前記第二画像に撮像された前記物を囲む第二枠を設定する設定部と、前記第一画像及び前記第二画像の少なくとも一方に、前記第一枠及び前記第二枠のずれ量を小さくするように変換を施す変換部と、前記変換の後の前記ずれ量が閾値以下であるか否かを判定する判定部と、前記ずれ量が前記閾値以下であると前記判定部が判定した場合に、前記変換の後の前記第一画像及び前記第二画像を合成することで合成画像を生成する合成部とを備える。
【０００９】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本発明に係る画像合成装置は、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態に係る画像合成装置が合成する画像を取得するカメラが搭載された車両の一例を示す模式図である。
【図２】図２は、実施の形態に係る画像合成装置による合成前の画像と合成後の画像を示す説明図である。
【図３】図３は、実施の形態に係る画像合成装置の機能構成を示すブロック図である。
【図４】図４は、実施の形態に係る取得部が取得した画像を示す説明図である。
【図５】図５は、実施の形態に係る画像の配置の第一例を示す説明図である。
【図６】図６は、実施の形態に係る設定部が画像に設定した枠を示す説明図である。
【図７】図７は、実施の形態に係る枠のずれ量の検出を示す説明図である。
【図８】図８は、実施の形態に係る画像の配置の第二例を示す説明図である。
【図９】図９は、実施の形態に係る画像の配置の第三例を示す説明図である。
【図１０】図１０は、実施の形態に係る合成部により合成される合成画像とを示す説明図である。
【図１１】図１１は、実施の形態に係る画像合成装置が行う処理を示すフロー図である。
【発明を実施するための形態】
【００１２】
本発明の一態様に係る画像合成装置は、同一の物を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得部と、前記第一画像に撮像された前記物を囲む第一枠を設定し、前記第二画像に撮像された前記物を囲む第二枠を設定する設定部と、前記第一画像及び前記第二画像の少なくとも一方に、前記第一枠及び前記第二枠のずれ量を小さくするように変換を施す変換部と、前記変換の後の前記ずれ量が閾値以下であるか否かを判定する判定部と、前記ずれ量が前記閾値以下であると前記判定部が判定した場合に、前記変換の後の前記第一画像及び前記第二画像を合成することで合成画像を生成する合成部とを備える。
【００１３】
上記態様によれば、画像合成装置は、同一の物が撮像された２つの画像の少なくとも一方に、その物を囲む枠のずれ量を小さくすることを目的とした変換を施したうえで当該２つの画像を合成する。この変換によって、当該２つの画像それぞれに設定される枠のずれ量が閾値以下になっていることにより、合成画像における物の二重化が回避されている。このように、画像合成装置は、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【００１４】
例えば、前記変換部は、前記ずれ量が前記閾値を超えていると前記判定部が判定した場合に、前記第一画像及び前記第二画像の少なくとも一方に新たな変換を施し、前記判定部は、前記新たな変換の後の前記第一枠及び前記第二枠のずれ量を用いて前記判定をする。
【００１５】
上記態様によれば、画像合成装置は、画像の変換によって枠のずれ量を閾値以下にすることができなかった場合に新たな変換を施し、新たな変換によって得た枠のずれ量が閾値以下であるか否かを改めて判定する。このようにすることで、画像合成装置は、一度の変換によっては枠のずれ量を閾値以下にすることができなかった場合であっても、その後の変換によって、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【００１６】
例えば、前記画像合成装置は、さらに、前記合成部が合成した前記合成画像の表示の制御をする表示制御部を備え、前記表示制御部は、前記合成画像の表示の制御をする前に、前回の第一画像及び前回の第二画像を対象とした前記変換部による前回の変換の後に前記合成部により生成された前回の合成画像の表示の制御を行っており、かつ、前記ずれ量が前記閾値を超えていると前記判定部が所定回数以上判定したときには、前記前回の変換と同じ変換がなされた前記第一画像及び前記第二画像を合成した合成画像の表示の制御をする。
【００１７】
上記態様によれば、画像合成装置は、複数回の変換によっても枠のずれ量が閾値以下に収束しない場合に、画像の表示が遅延してしまうことを回避し得る。一度の画像の変換によって枠のずれ量を閾値以下に抑えることができず、その後に変換を繰り返し行うと、その結果として表示すべき合成画像の生成及び表示が遅延することになる。一方、一般的な電子ミラーの用途を鑑みれば、合成画像を生成できないからといって画像を表示しないことは許容されない。かといって、不適切な変換がなされた画像を用いた、不適切な合成画像を生成して表示することもまた許容されない。そこで、画像合成装置は、所定数回数の変換を施しても適切な合成画像を生成できない場合には、前回の合成画像についてなされた前回の変換と同じ変換を用いて合成画像を生成する。「前回の変換と同じ変換」とは、前回の変換と同じ、変換の種別及び変換量などを用いた変換を意味する。このようにして、画像合成装置は、電子ミラーに画像を表示できない事態、及び、不適切な合成画像を合成して表示してしまう事態を回避することによって、画像合成に伴う違和感をより一層抑制しながら画像を合成する。
【００１８】
例えば、前記物は、複数の物を含み、前記判定部は、前記複数の物それぞれについて設定された前記第一枠及び前記第二枠の前記ずれ量が前記閾値以下であるか否かを判定し、前記変換部は、前記複数の物それぞれについての前記ずれ量が前記閾値以下であると前記判定部が判定するまで、前記第一画像及び前記第二画像の少なくとも一方に前記変換を施すことを繰り返す。
【００１９】
上記態様によれば、画像合成装置は、第一画像及び第二画像に、同一の物として複数の物が含まれている場合には、合成画像における複数の物それぞれの二重化が回避される。よって、画像合成装置は、画像に複数の物が含まれている場合にも、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【００２０】
例えば、前記変換部は、前記第一枠及び前記第二枠のずれ量を小さくするように前記変換の種別又は変換量を決定し、決定した前記種別又は前記変換量で前記変換を施す。
【００２１】
上記態様によれば、画像合成装置は、変換の種別又は変換量を調整することによって、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【００２２】
例えば、前記物は、複数の物を含み、前記設定部は、さらに、前記第一画像及び前記第二画像それぞれに撮像されている前記複数の物それぞれの優先度を決定し、前記変換部は、前記複数の物のうち前記優先度がより高い物を囲む前記第一枠及び前記第二枠のずれ量を、より小さくするように、前記種別又は前記変換量を決定する。
【００２３】
上記態様によれば、画像合成装置は、第一画像及び第二画像に同一の物として複数の物が含まれている場合には、その物に設定される優先度に応じて、その物に設定される枠のずれ量を収束させる度合いを調整することができる。例えば、車両の走行に影響を与える蓋然性を優先度とすれば、上記蓋然性が高い物ほど、合成画像における二重化をより一層抑制できるとともに、上記蓋然性が低い物に関する画像処理を省略することで処理量の低減、及び、消費電力の低減の効果がある。よって、画像合成装置は、画像合成に伴う違和感を、複数の物それぞれに応じた度合いで抑制しながら画像を合成することができる。
【００２４】
例えば、前記設定部は、前記複数の物それぞれの前記第一画像又は前記第二画像における寸法を検出し、検出した寸法が大きい物ほど、より大きな優先度を決定する。
【００２５】
上記態様によれば、画像合成装置は、より大きく画像に映っている物ほど、画像合成に伴う違和感を、より一層抑制することができる。
【００２６】
例えば、前記設定部は、前記第一画像又は前記第二画像の撮像時における前記物と、前記撮像をしたカメラとの距離をさらに検出し、検出した前記距離が小さい物ほど、より大きな優先度を決定する。
【００２７】
上記態様によれば、画像合成装置は、画像を撮像した時の物と、その撮像をしたカメラとの距離が小さい物ほど、画像合成に伴う違和感を、より一層抑制することができる。
【００２８】
例えば、前記第一画像及び前記第二画像は、一の車両に固定された２つのカメラにより同時に撮像された画像であり、前記所定の位置関係は、前記２つのカメラの位置及び向きに応じて予め定められた位置関係である。
【００２９】
上記態様によれば、画像合成装置は、車両に搭載されたカメラの位置及び向きを用いて、第一画像と第二画像とが配置される位置関係を予め定める。よって、画像合成装置は、予め定められた位置関係を用いて、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【００３０】
例えば、前記画像合成装置は、（ａ）一の車両の左側の後方を映す左カメラにより撮像された左後方画像と、（ｂ）前記一の車両の右側の後方を映す右カメラにより撮像された右後方画像と、（ｃ）前記一の車両の中央の後方を映す中央カメラにより撮像された中央後方画像と、を取得し、前記左後方画像と前記右後方画像との一方、及び、前記中央後方画像を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記合成部により前記合成画像として第三画像を生成し、前記第三画像、及び、前記左後方画像と前記右後方画像との他方を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記合成部により前記合成画像として第四画像を生成する。
【００３１】
上記態様によれば、画像合成装置は、車両に当該された左カメラ、右カメラ及び中央カメラそれぞれにより撮像された画像を合成する。これにより、画像合成装置は、画像合成に伴う違和感を抑制しながら、車両の左側後方から中央後方を経て右側後方まで、あるいは、車両の右側後方から中央後方を経て左側後方までの広い範囲を合成した画像を合成することができる。
【００３２】
本発明の一態様に係る画像合成装置の制御方法は、同一の物を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得ステップと、前記第一画像に撮像された前記物を囲む第一枠を設定し、前記第二画像に撮像された前記物を囲む第二枠を設定する設定ステップと、前記第一画像及び前記第二画像の少なくとも一方に、前記第一枠及び前記第二枠のずれ量を小さくするように変換を施す変換ステップと、前記変換の後の前記ずれ量が閾値以下であるか否かを判定する判定ステップと、前記ずれ量が前記閾値以下であると前記判定ステップで判定した場合に、前記変換の後の前記第一画像及び前記第二画像を合成することで合成画像を生成する合成ステップとを含む。
【００３３】
これにより、上記画像合成装置と同様の効果を奏する。
【００３４】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００３５】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００３６】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３７】
（実施の形態）
本実施の形態において、画像合成に伴う違和感を抑制しながら画像を合成する画像合成装置について説明する。
【００３８】
図１は、本実施の形態に係る車両１の一例を示す模式図である。図２は、本実施の形態に係る画像合成装置１０による合成前の画像と合成後の画像とを示す説明図である。
【００３９】
図１に示されるように、車両１は、画像合成装置１０と、カメラ１２、１３及び１４と、電子ミラー４０とを備える。なお、以降の説明において特に断らない場合には、前後左右の方向は、車両１の進行方向を前方とした場合の方向とし、これは車両１の運転手にとっての前後左右の方向ともいえる。
【００４０】
カメラ１２は、車両１の左側ドア付近に固定され、車両１の左側後方を撮影するカメラである。カメラ１２は、車両１の左側後方を撮影して画像を生成する。カメラ１２が生成した画像を左側後方画像ともいう。
【００４１】
カメラ１３は、車両１の右側ドア付近に固定され、車両１の右側後方を撮影するカメラである。カメラ１３は、車両１の右側後方を撮影して画像を生成する。カメラ１３が生成した画像を右側後方画像ともいう。
【００４２】
カメラ１４は、車両１のリアバンパー又はトランクフード付近などに固定され、車両１の中央後方を撮影するカメラである。カメラ１４は、車両１の中央後方を撮影して画像を生成する。カメラ１４が生成した画像を中央後方画像ともいう。
【００４３】
カメラ１２及び１４の撮影範囲の一部が重なっており、カメラ１３及び１４の撮影範囲の一部が重なっている。そのため、左側後方画像と中央後方画像との一部には共通の対象が映っている。また、右側後方画像と中央後方画像との一部には共通の対象が映っている。
【００４４】
カメラ１２、１３及び１４のそれぞれは、互いに異なる撮影条件の下で撮像することで画像を生成する。具体的には、カメラ１２、１３及び１４のそれぞれは、互いに異なる位置に配置され、また、互いに異なる方向を向いて配置されており、例えば６０ｆｐｓで画像を取得する。また、カメラ１２、１３及び１４のそれぞれの光学系の光学特性は異なっていてもよい。
【００４５】
電子ミラー４０は、車両１の後方が映った画像である後方画像５０を表示する画像表示装置である。電子ミラー４０は、画像合成装置１０が出力する映像信号に基づいて画像を表示する。電子ミラー４０は、車両１の後方を、光の反射を利用して映す従来のルームミラーの代用として用いられ得る。
【００４６】
画像合成装置１０は、カメラ１２、１３及び１４それぞれが生成した画像を合成して電子ミラー４０が表示する画像を生成する装置である。カメラ１２、１３及び１４のそれぞれが生成する画像の一例を、図２に画像５１、５２及び５３（「画像５１等」ともいう）として示す。
【００４７】
上記のとおり、カメラ１２、１３及び１４のそれぞれは、一の対象を互いに異なる撮像条件の下で撮像しているので、画像合成装置１０が、カメラ１２、１３及び１４それぞれが生成した画像を単純につなぎあわせただけでは、自然な後方画像５０は得られない。自然な後方画像５０とは、車両１の運転手が従来のルームミラー（いわゆる物理ミラー）を通して見る、車両１の後方の光景と同じ画像をいう。具体的には、単純につなぎあわせただけの画像では、つなぎあわせの境界付近において二重化が生じ得る。二重化とは、一の物が画像に二重に映ることをいう。
【００４８】
そこで、画像合成装置１０は、カメラ１２、１３及び１４それぞれが生成した画像に応じてこれらの画像に適切な処理を施した上でつなぎ合わせることで、二重化が抑制された自然な後方画像５０を生成し、電子ミラー４０に表示させる。なお、カメラ１２、１３及び１４が生成した３つの画像は、そのうちの隣接する２つが合成された後に、その合成画像と残りの１つが合成されることで後方画像５０が生成されてもよい。また、カメラ１２、１３及び１４が生成した３つの画像が同時並行的に合成されることで後方画像５０が生成されてもよい。
【００４９】
以降において、画像合成装置１０の機能及び処理を説明する。
【００５０】
図３は、本実施の形態に係る画像合成装置１０の機能構成を示すブロック図である。ここでは、画像合成装置１０が、一の対象が撮像された２つの画像である第一画像及び第二画像を取得して合成する場合を例として説明する。この２つの画像は、左側後方画像と中央後方画像とであってもよいし、右側後方画像と中央後方画像とであってもよい。
【００５１】
以降では、第一画像が左後方画像であり、第二画像が中央後方画像である場合について詳しく説明する。この場合、画像合成装置１０は、カメラ１２及び１４により例えば６０ｆｐｓで第一画像及び第二画像を取得し、原則として、取得のたびに、第一画像及び第二画像の合成画像を生成して電子ミラー４０に表示する。
【００５２】
図３に示されるように、画像合成装置１０は、取得部２１と、設定部２２と、変換部２３と、合成部２５と、表示制御部２６とを備える。変換部２３は、判定部２４を有する。上記の各構成要素のそれぞれは、プロセッサがメモリ等を用いて所定のプログラムを実行することで実現されてもよいし、専用ハードウェアで実現されてもよい。
【００５３】
取得部２１は、一の対象、言い換えれば同一の物（単に「物」ともいう）を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した第一画像及び第二画像を一部が重なる所定の位置関係で配置する処理部である。
【００５４】
取得部２１は、コンピュータによる演算により、仮想的な空間内に第一画像及び第二画像を配置する。取得部２１が第一画像及び第二画像を仮想的な空間内に配置するときには、配置する画像に対して、当該画像を撮影したカメラ等の光学系の光学特性に応じた補正をかけた上で、画像を配置してもよい。補正は、具体的には、レンズのゆがみに基づく修正、並びに、画角の広さ及びカメラの角度の調整のための補正を含む。この補正をかけることで、カメラごとの光学系の差異を抑制し、つなぎ合わせて生成される後方画像５０に含まれる、第一画像に由来する画像と、第二画像に由来する画像との間の色、形状又は大きさ等の差異を、より小さくすることができる。第一画像及び第二画像が配置される所定の位置関係は、第一画像及び第二画像を取得したカメラの位置及び向きに応じて定められたものである。
【００５５】
設定部２２は、第一画像に撮像された物を囲む第一枠を設定し、第二画像に撮像された物を囲む第二枠を設定する処理部である。設定部２２は、第一画像及び第二画像それぞれにおいて、パターンマッチングなどの画像認識処理により物を検出し、さらにその物の上端、下端、左端、及び、右端の位置を検出する。
【００５６】
第一枠は、具体的には矩形の枠であり、矩形を構成する各辺は、第一画像における水平方向又は垂直方向に平行である。第一枠の水平方向の２つの辺は、第一画像における物の上端の位置と下端の位置とに設定される。また、第一枠の垂直方向の２つの辺は、第一画像における物の左端の位置と右端の位置とに設定される。
【００５７】
また、第二枠は、第一枠と同様に、具体的には矩形の枠であり、矩形を構成する各辺は、第二画像における水平方向又は垂直方向に平行である。第二枠の水平方向の２つの辺、及び、垂直方向の２つの辺についても第一枠と同様である。
【００５８】
なお、「設定部２２が第一枠又は第二枠を設定する」という文言は、少なくとも、第一枠又は第二枠の位置を決定することを意味する。また、上記文言は、上記のように第一枠又は第二枠の位置を決定した後に、第一画像又は第二画像に描画する、言い換えれば、第一枠又は第二枠が配置される位置の画素値を第一枠又は第二枠の色に変更することまで含むとしてもよい。
【００５９】
変換部２３は、第一画像及び第二画像の少なくとも一方に変換を施す処理部である。変換部２３は、変換部２３による変換の後の第一枠及び第二枠のずれ量が閾値以下であるか否かを判定する処理部である判定部２４を有する。
【００６０】
変換部２３は、設定部２２が第一枠及び第二枠を設定した後の第一画像及び第二画像の少なくとも一方に変換を施す。この変換によって、上記一方の画像とともに、上記一方の画像に設定されている枠、つまり第一枠及び第二枠の少なくとも一方も変換される。この変換は、例えばアフィン変換であり、変換の種別と変換量とによって決定される。変換の種別は、平行移動、拡大、縮小、回転、又は、せん断などを含む。また、変換の変換量は、例えば平行移動であれば移動量であり、拡大、縮小又はせん断であれば倍率であり、回転であれば回転角度である。
【００６１】
変換部２３は、上記変換を施す際に、予め第一枠及び第二枠のずれ量を検出し、そのずれ量を小さくするように変換を施す。より具体的には、変換部２３は、第一枠及び第二枠のずれ量を小さくするように変換の種別又は変換量を決定し、決定した種別又は変換量で変換を施すようにしてもよい。
【００６２】
変換部２３は、ずれ量が閾値を超えていると判定部２４が判定した場合には、第一画像及び第二画像の少なくとも一方に新たな変換を施してもよい。そして、この新たな変換の際にも上記と同様に、ずれ量を小さくするように変換の種別又は変換量を決定してもよい。新たな変換をした場合、判定部２４は、新たな変換の後の第一枠及び第二枠のずれ量を用いて判定をする。このようにすると、変換部２３は、変換後のずれ量が閾値を超えている場合に、繰り返し変換を施し、変換後の第一枠及び第二枠のずれ量を変化させることができる。なお、繰り返し施される変換では、変換のたびに異なるずれ量が得られるように、変換の種別又は変換量が決定される。
【００６３】
なお、第一画像及び第二画像に物が複数撮像されている場合には、判定部２４は、複数の物それぞれについて設定された第一枠及び第二枠のずれ量が閾値以下であるか否かを判定してもよい。この場合、変換部２３は、複数の物それぞれについてのずれ量が閾値以下であると判定部２４が判定するまで、第一画像及び第二画像の少なくとも一方に変換を施すことを繰り返す。
【００６４】
なお、新たな変換を施すことは、既になされたすべての変換と、新たな変換とを合成した変換を、取得部２１が取得した当初の第一画像又は第二画像に施すことであるともいえる。
【００６５】
合成部２５は、ずれ量が閾値以下であると判定部２４が判定した場合に、変換の後の第一画像及び第二画像を合成することで合成画像を生成する処理部である。合成部２５は、例えば、第一画像及び第二画像に境界線を設定し、その境界線によって第一画像及び第二画像を切断してつなぎ合わせる画像処理によりなされる。その際、境界付近において、第一画像及び第二画像の画素値の加重平均をとるなどの処理を施してもよい。なお、境界線は、第一画像又は第二画像の端縁であってもよい。その場合、第一画像及び第二画像の重複部分は、第一画像及び第二画像のいずれか一方の画像になる。
【００６６】
表示制御部２６は、合成部２５が生成した合成画像の表示の制御をする処理部である。表示制御部２６は、表示装置である電子ミラー４０に合成画像を表示させるように、合成画像に含まれる各画素の画素値を電子ミラー４０に出力する。
【００６７】
なお、表示制御部２６は、一の合成画像の表示の制御をする前に、前回の第一画像及び前回の第二画像を対象とした変換部２３による前回の変換の後に合成部２５により生成された前回の合成画像の表示の制御を行っており、かつ、ずれ量が閾値を超えていると判定部２４が所定回数以上判定したときには、例外的に、前回の合成画像に対してなされた前回の変換と同じ変換がなされた第一画像及び第二画像を合成した合成画像の表示の制御をしてもよい。「前回の変換と同じ変換」とは、前回の変換と同じ、変換の種別及び変換量などを用いた変換を意味する。また、ここでは、前回の変換は、ずれ量が閾値以下となり、画像合成をなすことができた直近の変換であると定義する。また、所定回数は、例えば１０〜２０程度とすることができるがこれに限定されない。
【００６８】
また、第一画像及び第二画像に物が複数撮像されている場合には、設定部２２は、さらに、上記複数の物それぞれの優先度を決定してもよい。ここで、優先度とは、複数の物それぞれについて決定される指標であり、当該物に設定される第一枠及び第二枠のずれ量が、他の物のずれ量よりも優先して小さくされる度合いを示す指標である。言い換えれば、変換部２３は、複数の物のうち優先度がより高い物を囲む第一枠及び第二枠のずれ量を、より小さくするように、変換の種別又は変換量を決定する。
【００６９】
例えば、設定部２２は、複数の物それぞれの第一画像又は第二画像における寸法を検出し、検出した寸法が大きい物ほど、より大きな優先度を決定してもよい。また、設定部２２は、第一画像又は第二画像の撮像時における物と、その撮像をしたカメラとの距離をさらに検出し、検出した距離が小さい物ほど、より大きな優先度を決定してもよい。ここで、撮像時における物と、その撮像をしたカメラとの距離は、被写体までの距離を取得できる装置、例えばデプスセンサ、ステレオカメラなどにより取得可能である。
【００７０】
以降において画像の例を示しながら画像の合成処理について具体的に説明する。
【００７１】
ここでは、左後方画像と中央後方画像との合成、及び、右後方画像と中央後方画像をとの合成を並行して行う場合を例として説明する。この例では、左後方画像と右後方画像と中央後方画像とが一度に合成されるともいえる。
【００７２】
図４は、本実施の形態に係る取得部２１が取得した画像を示す説明図である。より具体的には、図４には、車両１の左側後方画像の例である画像５１と、右側後方画像の例である画像５２と、中央後方画像の例である画像５３とが示されている。
【００７３】
画像５１には、物の一例である車両Ａ（不図示）の一部が撮像された画像Ａ１が含まれている。
【００７４】
画像５２には、物の別の一例である車両Ｂ（不図示）の全体が撮像された画像Ｂ１が含まれている。
【００７５】
画像５３には、車両Ａ（不図示）の一部が撮像された画像Ａ２と、車両Ｂ（不図示）の全体が撮像された画像Ｂ２とが含まれている。
【００７６】
なお、画像５１、５２及び５３において、車両Ａ及びＢに対する背景部分、言い換えれば、車両Ａ及びＢを除く物体、例えば道路、建物、空などが映った部分の図示は省略されている。
【００７７】
ここで、画像５１、５２及び５３の撮像時の撮像条件は、互いに異なる。そのため、画像Ａ１と画像Ａ２とでは、画像に映されている物の寸法、形状又は角度などが異なるので、何らかの変換を施すことなく画像５１と画像５３とをつなぎ合わせ、また、画像５３と画像５２とをつなぎ合わせることで、自然な後方画像を得ることが難しい。
【００７８】
図５は、本実施の形態に係る画像６１、６２及び６３（「画像６１等」ともいう）の第一例を示す説明図である。画像６１等は、取得部２１によって取得された画像５１等が所定の位置関係で配置されたものであり、また、あらかじめカメラ等の光学系の光学特性に応じた補正がなされたものである。具体的には、画像６１及び６２は、それぞれ、図４における画像５１及び５２から拡大される補正がなされた画像である。また、画像６３は、図４における画像５３から縮小される補正がなされた画像である。これらの画像６１等は、例えば取得部２１で得られる。
【００７９】
また、画像６１と画像６３との境界、及び、画像６２と画像６３との境界は、ともに、画像６３の端縁としている。言い換えれば、画像６１及び６３より画像６２が手前にある状態で重ねあわせたように見える状態で画像６１等が配置されている。
【００８０】
図６は、本実施の形態に係る設定部２２が画像に設定した枠を示す説明図である。図６に示されるように、画像６１において、画像Ａ１を囲む枠Ａ３が設定されている。また、画像６２において、画像Ｂ１を囲む枠Ｂ３が設定されている。また、画像６３において、画像Ａ２を囲む枠Ａ４と、画像Ｂ２を囲む枠Ｂ４とが設定されている。
【００８１】
図７は、本実施の形態に係る枠のずれ量の検出を示す説明図である。
【００８２】
変換部２３は、図７に示されるように、枠Ａ３と枠Ａ４とのずれ量を検出する。具体的には、変換部２３は、枠Ａ３の上端の位置と枠Ａ４の上端の位置とのずれ量ａ１を検出し、また、枠Ａ３の下端の位置と枠Ａ４の下端の位置とのずれ量ｂ１を検出する。
【００８３】
また、変換部２３は、枠Ｂ３と枠Ｂ４とのずれ量を検出する。具体的には、変換部２３は、枠Ｂ３の上端の位置と枠Ｂ４の上端の位置とのずれ量ｃ１を検出し、また、枠Ｂ３の下端の位置と枠Ｂ４の下端の位置とのずれ量ｄ１を検出する。
【００８４】
なお、変換部２３が上下方向のずれ量を検出する場合を例として説明したが、左右方向のずれ量も同様に検出され得る。
【００８５】
なお、画像５１等に映されている車両Ａ又はＢなどの物が画像から収まりきらずに、画像からはみでている場合には、ずれ量の検出が適切になされない。その場合、画像５１等に対する画像認識処理によって予め車両Ａ又はＢなどの物が上下方向又は左右方向において画像から収まりきっていないことが検出され得る。このように、車両Ａ又はＢなどの物が画像から収まりきっていないことが検出された場合には、変換部２３は、上下方向又は左右方向において、ずれ量の検出を禁止するようにしてもよい。その場合、検出が禁止された方向のずれ量に関する後続する処理である、変換部２３による画像５１等の変換などはなされない。
【００８６】
変換部２３が上記のように検出したずれ量は、変換部２３による変換の種別又は変換量の決定に用いられ得る。すなわち、検出したずれ量に基づいて、変換部２３は、平行移動、拡大、縮小又は回転などの変換種別のうちのどの変換種別の変換を施せば、ずれ量を小さくすることができるかを決定し得る。また、決定した変換種別の変換を施す際の変換量をあわせて決定し得る。
【００８７】
図８は、本実施の形態に係る画像７１、７２及び７３の配置の第二例を示す説明図である。画像７１等は、変換部２３によって画像６１等が変換されて生成された画像が配置されたものである。
【００８８】
判定部２４は、画像７１等において、枠Ａ３と枠Ａ４とのずれ量を検出する。具体的には、判定部２４は、枠Ａ３の上端の位置と枠Ａ４の上端の位置とのずれ量ａ２を検出し、また、枠Ａ３の下端の位置と枠Ａ４の下端の位置とのずれ量ｂ２を検出する。
【００８９】
また、判定部２４は、枠Ｂ３と枠Ｂ４とのずれ量を検出する。具体的には、判定部２４は、枠Ｂ３の上端の位置と枠Ｂ４の上端の位置とのずれ量ｃ２を検出し、また、枠Ｂ３の下端の位置と枠Ｂ４の下端の位置とのずれ量ｄ２を検出する。
【００９０】
図８に示される画像７１等では、図７に示される画像６１等と比較して、画像７１及び７３の境界での枠Ａ３及び枠Ａ４のずれ量が小さくなっている。具体的には、ａ２＜ａ１、及び、ｂ２＜ｂ１が成立している。
【００９１】
一方、図８に示される画像７１等では、図７に示される画像６１等と比較して、画像７２及び７３の境界での枠Ｂ３及び枠Ｂ４のずれ量が大きくなっている。具体的には、ｃ２＞ｃ１、及び、ｄ２＜ｄ１が成立している。
【００９２】
なお、変換部２３が上下方向のずれ量を検出する場合を例として説明したが、左右方向のずれ量も同様に検出され得る。
【００９３】
判定部２４は、検出したずれ量ａ２、ｂ２、ｃ２及びｄ２が閾値以下であるか否かを判定し、そのずれ量が閾値以下になるまで変換部２３による変換が繰り返し行われる。変換部２３による変換がなされた結果、ずれ量ａ３、ｂ３、ｃ３及びｄ３が閾値以下になった状態を図９に示す。
【００９４】
図９は、本実施の形態に係る画像８１、８２及び８３の配置の第三例を示す説明図である。画像８１等は、変換部２３によって画像７１等が変換されて生成された画像が配置されたものである。
【００９５】
図９に、枠Ａ３と枠Ａ４とのずれ量であるａ３及びｂ３、並びに、枠Ｂ３と枠Ｂ４とのずれ量であるｃ３及びｄ３のそれぞれが示されている。
【００９６】
このとき、判定部２４は、ずれ量ａ３、ｂ３、ｃ３及びｄ３を検出し、これらのずれ量が閾値以下であるか否かを判定する。ここで、上記すべてのずれ量が閾値以下であると判定されると、合成部２５による合成画像を生成する処理がなされる。
【００９７】
図１０は、合成部２５による生成される合成画像である後方画像５０を示す説明図である。
【００９８】
図１０に示される画像８１等は、図９に示されるものと同じである。
【００９９】
合成部２５は、図１０に示される画像８１等を、図１０に示される位置関係で合成することで、合成画像としての後方画像５０を生成する。なお、後方画像５０は、図１０に示される合成された画像８１等の全部を用いる必要はなく、合成された画像８１等のうちの適切な一部だけを切り出して用いられ得る。
【０１００】
なお、設定部２２が第一枠及び第二枠を設定したときに、第一画像及び第二画像に第一枠及び第二枠を描画した場合には、合成部２５は、後方画像５０における第一枠及び第二枠を消去したあとで、後方画像５０を出力する。消去の処理は、第一枠及び第二枠を描画する前の画素値を予め保持しておき、その保持されている画素値を第一枠及び第二枠の位置に設定することでなされ得る。
【０１０１】
図１１は、本実施の形態に係る画像合成装置１０が行う処理を示すフロー図である。
【０１０２】
ステップＳ１０１において、取得部２１は、第一画像及び第二画像を取得し、取得した第一画像及び第二画像を一部が重なる所定の位置関係で配置する。
【０１０３】
ステップＳ１０２において、設定部２２は、第一画像に撮像された物を囲む第一枠を設定し、第二画像に撮像された物を囲む第二枠を設定する。
【０１０４】
ステップＳ１０３において、変換部２３は、第一画像及び第二画像の少なくとも一方に変換を施す。
【０１０５】
ステップＳ１０４において、判定部２４は、ステップＳ１０３の変換の後の第一枠及び第二枠のずれ量が閾値以下であるか否かを判定する。上記ずれ量が閾値以下である場合（ステップＳ１０４でＹｅｓ）にはステップＳ１０５に進み、そうでない場合（ステップＳ１０４でＮｏ）には、ステップＳ１０３に進む。
【０１０６】
ステップＳ１０５において、合成部２５は、ステップＳ１０３の変換の後の第一画像及び第二画像を合成することで合成画像を生成する。
【０１０７】
図１１に示される一連の処理により、合成画像に生ずる二重化を抑制することによって、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【０１０８】
なお、画像合成装置１０は、第一画像及び第二画像の背景部分の画像については、第一画像及び第二画像の重複部分に設定される適切な境界線を用いて切断してつなぎあわせることによって、生成することができる。一般に、第一画像及び第二画像の背景部分の画像について何らの処理を施さずに画像を合成すると物の二重化又は消失が生じ得ることにより、自然な後方画像が得られない。これに対して、画像合成装置１０は例えば、第一画像及び第二画像において同一物が撮像された特徴点を抽出し、対応する特徴点同士を結ぶ仮想線分の長さが比較的小さい特徴点の近傍を通過する境界線を用い得る。このような境界線を用いて第一画像及び第二画像を合成すれば、背景部分の画像の二重化又は消失を低減することができる。
【０１０９】
なお、２つの画像である第一画像及び第二画像を合成する方法を利用することで、３つの画像を合成することも可能である。例えば、画像合成装置１０が、（１）左側後方画像と中央後方画像とを、それぞれ、第一画像及び第二画像として合成して画像を得た後に、（２）その得た画像と右側後方画像とを、それぞれ、改めて第一画像及び第二画像として合成すれば、最終的に、左側後方画像、中央後方画像及び右側後方画像をすべてつなぎあわせた後方画像が得られる。ここで、第一画像と第二画像とを合成した画像を第三画像ともいい、第三画像と右後方画像とを合成した画像を第四画像ともいう。
【０１１０】
ここで、上記した３つの画像の合成については、画像合成装置１０が、（１）左側後方画像と中央後方画像とを、それぞれ、第一画像及び第二画像として合成して画像を得た後に、（２）その得た画像と右側後方画像とを、それぞれ、改めて第一画像及び第二画像として合成しているが、この合成に限定されるものではない。例えば、画像合成装置１０が、（１）右側後方画像と中央後方画像とを、それぞれ、第一画像及び第二画像として合成して画像を得た後に、（２）その得た画像と左側後方画像とを、それぞれ、改めて第一画像及び第二画像として合成してもよい。ここで、第一画像と第二画像とを合成した第三画像と、左後方画像とを合成した画像が第四画像に相当する。
【０１１１】
つまり、画像合成装置１０は、左後方画像と右後方画像との一方、及び、中央後方画像を、それぞれ、第一画像及び第二画像として取得部２１により取得し、合成部２５により合成画像として第三画像を生成し、第三画像、及び、左後方画像と右後方画像との他方を、それぞれ、第一画像及び第二画像として取得部２１により取得し、合成部２５により合成画像として第四画像を生成し、表示制御部２６は、合成画像として第四画像の表示の制御をする。
【０１１２】
以上のように、本実施の形態の画像合成装置は、同一の物が撮像された２つの画像の少なくとも一方に、その物を囲む枠のずれ量を小さくすることを目的とした変換を施したうえで当該２つの画像を合成する。この変換によって、当該２つの画像それぞれに設定される枠のずれ量が閾値以下になっていることにより、合成画像における物の二重化が回避されている。このように、画像合成装置は、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【０１１３】
また、画像合成装置は、画像の変換によって枠のずれ量を閾値以下にすることができなかった場合に新たな変換を施し、新たな変換によって得た枠のずれ量が閾値以下であるか否かを改めて判定する。このようにすることで、画像合成装置は、一度の変換によっては枠のずれ量を閾値以下にすることができなかった場合であっても、その後の変換によって、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【０１１４】
また、画像合成装置は、複数回の変換によっても枠のずれ量が閾値以下に収束しない場合に、画像の表示が遅延してしまうことを回避し得る。一度の画像の変換によって枠のずれ量を閾値以下に抑えることができず、その後に変換を繰り返し行うと、その結果として表示すべき合成画像の生成及び表示が遅延することになる。一方、一般的な電子ミラーの用途を鑑みれば、合成画像を生成できないからといって画像を表示しないことは許容されない。かといって、不適切な変換がなされた画像を用いた、不適切な合成画像を生成して表示することもまた許容されない。そこで、画像合成装置は、所定数回数の変換を施しても適切な合成画像を生成できない場合には、前回の合成画像についてなされた前回の変換と同じ変換を用いて合成画像を生成する。「前回の変換と同じ変換」とは、前回の変換と同じ、変換の種別及び変換量などを用いた変換を意味する。このようにして、画像合成装置は、電子ミラーに画像を表示できない事態、及び、不適切な合成画像を合成して表示してしまう事態を回避することによって、画像合成に伴う違和感をより一層抑制しながら画像を合成する。
【０１１５】
また、画像合成装置は、第一画像及び第二画像に、同一の物として複数の物が含まれている場合には、合成画像における複数の物それぞれの二重化が回避される。よって、画像合成装置は、画像に複数の物が含まれている場合にも、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【０１１６】
また、画像合成装置は、枠のずれ量を小さくすることを目的とした変換によって、より容易に、変換後の２つの画像における枠のずれ量を閾値以下に収束させることができる。よって、画像合成装置は、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【０１１７】
また、画像合成装置は、変換の種別又は変換量を調整することによって、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【０１１８】
また、画像合成装置は、第一画像及び第二画像に同一の物として複数の物が含まれている場合には、その物に設定される優先度に応じて、その物に設定される枠のずれ量を収束させる度合いを調整することができる。例えば、車両の走行に影響を与える蓋然性を優先度とすれば、上記蓋然性が高い物ほど、合成画像における二重化をより一層抑制できるとともに、上記蓋然性が低い物に関する画像処理を省略することで処理量の低減、及び、消費電力の低減の効果がある。よって、画像合成装置は、画像合成に伴う違和感を、複数の物それぞれに応じた度合いで抑制しながら画像を合成することができる。
【０１１９】
また、画像合成装置は、より大きく画像に映っている物ほど、画像合成に伴う違和感を、より一層抑制することができる。
【０１２０】
また、画像合成装置は、画像を撮像した時の物と、その撮像をしたカメラとの距離が小さい物ほど、画像合成に伴う違和感を、より一層抑制することができる。
【０１２１】
また、画像合成装置は、車両に搭載されたカメラの位置及び向きを用いて、第一画像と第二画像とが配置される位置関係を予め定める。よって、画像合成装置は、予め定められた位置関係を用いて、より容易に、画像合成に伴う違和感を抑制しながら画像を合成することができる。
【０１２２】
また、画像合成装置は、車両に当該された左カメラ、右カメラ及び中央カメラそれぞれにより撮像された画像を合成する。これにより、画像合成装置は、画像合成に伴う違和感を抑制しながら、車両の左側後方から中央後方を経て右側後方まで、あるいは、車両の右側後方から中央後方を経て左側後方までの広い範囲を合成した画像を合成することができる。
【０１２３】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の画像合成装置などを実現するソフトウェアは、次のようなプログラムである。
【０１２４】
すなわち、このプログラムは、コンピュータに、画像合成装置の制御方法であって、同一の物を互いに異なる撮像条件の下で撮像した第一画像及び第二画像を取得し、取得した前記第一画像及び前記第二画像を一部が重なる所定の位置関係で配置する取得ステップと、前記第一画像に撮像された前記物を囲む第一枠を設定し、前記第二画像に撮像された前記物を囲む第二枠を設定する設定ステップと、前記第一画像及び前記第二画像の少なくとも一方に、前記第一枠及び前記第二枠のずれ量を小さくするように変換を施す変換ステップと、前記変換の後の前記ずれ量が閾値以下であるか否かを判定する判定ステップと、前記ずれ量が前記閾値以下であると前記判定ステップで判定した場合に、前記変換の後の前記第一画像及び前記第二画像を合成することで合成画像を生成する合成ステップとを含む制御方法を実行させる。
【０１２５】
以上、一つまたは複数の態様に係る画像合成装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１２６】
本発明は、画像合成に伴う違和感を抑制しながら画像を合成する画像合成装置等に利用可能である。具体的には、車両に搭載したカメラの映像を合成して電子ミラーに表示する画像合成装置に利用可能である。
【符号の説明】
【０１２７】
１    車両
１０    画像合成装置
１２、１３、１４    カメラ
２１    取得部
２２    設定部
２３    変換部
２４    判定部
２５    合成部
２６    表示制御部
４０    電子ミラー
５０    後方画像
５１、５２、５３、６１、６２、６３、７１、７２、７３、８１、８２、８３、Ａ１、Ａ２、Ｂ１、Ｂ２    画像
Ａ３、Ａ４、Ｂ３、Ｂ４    枠
【図１】
2020092387.tif 000003
【図２】
2020092387.tif 000004
【図３】
2020092387.tif 000005
【図４】
2020092387.tif 000006
【図５】
2020092387.tif 000007
【図６】
2020092387.tif 000008
【図７】
2020092387.tif 000009
【図８】
2020092387.tif 000010
【図９】
2020092387.tif 000011
【図１０】
2020092387.tif 000012
【図１１】
2020092387.tif 000013