(57)【要約】【課題】ドライバの死角となる領域をなくすとともに、周辺物と自車両との距離をドライバに認識させることが可能であり、かつ、合成画像における画像の合成部分を目立たないようにする。【解決手段】電子ミラーシステムが、移動体の後側方の画像である後側方画像１５を撮像する第１の撮像部１０と、移動体の後方の画像である後方画像２５を撮像する第２の撮像部２０と、後側方画像１５と、後方画像２５と、移動体の側面画像１０１とを合成して合成画像４５を生成する画像処理部４０と、画像処理部４０が生成した合成画像４５を表示する表示部５０と、を備え、合成画像４５は、後側方画像１５と後方画像２５とを合成した境界を表わす合成領域５５に移動体の側面画像１０１の少なくとも一部が重畳された画像であって、かつ、移動体の側面の後方が透けて見える画像であり、合成領域５５は、側面画像１０１における移動体の外形に沿って設定されている。【選択図】図４Ｃ
2020124989.tif 000002
【特許請求の範囲】
【請求項１】
移動体に設置され、前記移動体の後側方の画像である後側方画像を撮像する第１の撮像部と、
前記移動体に設置され、前記移動体の後方の画像である後方画像を撮像する第２の撮像部と、
前記後側方画像と、前記後方画像と、前記移動体の側面画像とを合成して合成画像を生成する画像処理部と、
前記画像処理部が生成した前記合成画像を表示する表示部と、を備え、
前記合成画像は、前記後側方画像と前記後方画像とを合成した境界を表わす合成領域に前記移動体の前記側面画像の少なくとも一部が重畳された画像であって、かつ、前記移動体の側面の後方が透けて見える画像であり、
前記合成領域は、前記側面画像における前記移動体の外形に沿って設定されていることを特徴とする電子ミラーシステム。
【請求項２】
前記画像処理部は、前記側面画像における前記外形に隣接するように前記合成領域を設定することを特徴とする請求項１に記載の電子ミラーシステム。
【請求項３】
前記画像処理部は、前記側面画像の少なくとも一部の透過率を変更可能であることを特徴とする請求項１または２に記載の電子ミラーシステム。
【請求項４】
前記画像処理部は、前記側面画像における前記外形を検出することを特徴とする請求項１〜３の何れか１項に記載の電子ミラーシステム。
【請求項５】
前記画像処理部は、前記後側方画像から第１の範囲の画像を抽出し、前記後方画像から第２の範囲の画像を抽出することを特徴とする請求項１〜４の何れか１項に記載の電子ミラーシステム。
【請求項６】
前記画像処理部は、前記第１の範囲および前記第２の範囲を変更可能であることを特徴とする請求項５に記載の電子ミラーシステム。
【請求項７】
前記側面画像は、前記第１の撮像部が撮像した画像のうち第３の範囲の画像であり、前記画像処理部は、前記第１の範囲および前記第２の範囲を変更した場合、前記第１の範囲および前記第２の範囲に合わせて前記第３の範囲を変更することを特徴とする請求項６に記載の電子ミラーシステム。
【請求項８】
前記側面画像は、前記画像処理部に予め記憶された第４の範囲の画像であり、前記画像処理部は、前記第１の範囲および前記第２の範囲を変更した場合、前記第１の範囲および前記第２の範囲に合わせて前記第４の範囲を変更することを特徴とする請求項６に記載の電子ミラーシステム。
【請求項９】
前記第１の撮像部は、前記移動体の左後側方の画像である左後側方画像を撮像する左後側方撮像部と、前記移動体の右後側方の画像である右後側方画像を撮像する右後撮像部とを備えることを特徴とする請求項１〜８の何れか１項に記載の電子ミラーシステム。
【請求項１０】
移動体に設置された第１の撮像部から前記移動体の後側方の画像である後側方画像の入力を受け付け、かつ、前記移動体に設置された第２の撮像部から前記移動体の後方の画像である後方画像の入力を受け付ける入力部と、
前記後側方画像と、前記後方画像と、前記移動体の側面画像とを合成して合成画像を生成する画像処理部と、
前記画像処理部が生成した前記合成画像を表示部に出力する出力部と、を備え、
前記合成画像は、前記後側方画像と前記後方画像とを合成した境界を表わす合成領域に前記移動体の前記側面画像の少なくとも一部が重畳された画像であって、かつ、前記移動体の側面の後方が透けて見える画像であり、
前記合成領域は、前記側面画像における前記移動体の外形に沿って設定されていることを特徴とする電子ミラー制御装置。
【請求項１１】
移動体に設置された第１の撮像部で前記移動体の後側方の画像である後側方画像を撮像するとともに、前記移動体に設置された第２の撮像部で前記移動体の後方の画像である後方画像を撮像する撮像ステップと、
前記後側方画像と、前記後方画像と、前記移動体の側面画像とを合成して合成画像を生成する画像処理ステップと、
前記画像処理ステップで生成した前記合成画像を表示する表示ステップと、を備え、
前記合成画像は、前記後側方画像と前記後方画像とを合成した境界を表わす合成領域に前記移動体の前記側面画像の少なくとも一部が重畳された画像であって、かつ、前記移動体の側面の後方が透けて見える画像であり、
前記合成領域は、前記側面画像における前記移動体の外形に沿って設定されていることを特徴とする電子ミラーシステム制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載される電子ミラーシステム、電子ミラー制御装置、および、電子ミラーシステム制御方法に関するものである。
【背景技術】
【０００２】
近年、車両におけるドアミラーやルームミラーの代替として、ビデオカメラで撮像した画像をディスプレイに表示して自車両の周囲の状況をドライバに確認させる電子ミラーを搭載することが提案されている。
【０００３】
電子ミラーは、車両に搭載された複数ビデオカメラで撮像された画像を合成することにより、従来のドアミラーやルームミラーでは死角となっていた領域をなくすことが可能である。
【０００４】
また、車両に電子ミラーを搭載する場合、従来、車両の側方に張り出していたドアミラーを設ける必要がなくなり、車両の車幅を小さくすることができる。
【０００５】
さらに、車両に電子ミラーを搭載する場合、車両の空気抵抗が低減したり、デザイン性が向上するといった利点もある。
【０００６】
特許文献１には、後方カメラで撮像した画像と後側方カメラで撮像した画像の境界の位置を適切に設定して画像を合成することで、車両の後方にある移動体を合成画像に確実に表示する画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−１４１１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、後側方カメラと、後方カメラでは、撮像範囲や画角が異なるため、これらの各カメラで撮像された画像を合成する場合、境界部分の画像がうまくつながらない場合がある。
【０００９】
また、境界部分の画像をなめらかにつなげるために、画像の加工処理を行うと、合成画像にゆがみが生じる場合がある。
【００１０】
また、後側方カメラで撮像した画像において自車両と周囲に存在する周辺物との距離をドライバに把握させるためには、撮像画像の中に、周辺物ととともに自車両の側面部を映し出す必要がある。しかしながら、自車両の側面部を映し出すと、自車両の側面部の背後に位置する領域は、ドライバにとって死角領域となる。
【００１１】
本発明は、ドライバの死角となる領域をなくすとともに、周辺物と自車両との距離をドライバに認識させることが可能であり、かつ、合成画像における画像の合成部分を目立たないように合成画像を生成することが可能な電子ミラーシステム、電子ミラー装置、および、電子ミラー制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、電子ミラーシステムは、移動体に設置され、移動体の後側方の画像である後側方画像を撮像する第１の撮像部と、移動体に設置され、移動体の後方の画像である後方画像を撮像する第２の撮像部と、後側方画像と、後方画像と、移動体の側面画像とを合成して合成画像を生成する画像処理部と、画像処理部が生成した合成画像を表示する表示部と、を備え、合成画像は、後側方画像と後方画像とを合成した境界を表わす合成領域に移動体の側面画像の少なくとも一部が重畳された画像であって、かつ、移動体の側面の後方が透けて見える画像であり、合成領域は、側面画像における移動体の外形に沿って設定されている。
【００１３】
また、上記目的を達成するために、本発明の電子ミラー制御装置は、移動体に設置された第１の撮像部から移動体の後側方の画像である後側方画像の入力を受け付け、かつ、移動体に設置された第２の撮像部から移動体の後方の画像である後方画像の入力を受け付ける入力部と、後側方画像と、後方画像と、移動体の側面画像とを合成して合成画像を生成する画像処理部と、画像処理部が生成した合成画像を表示部に出力する出力部と、を備え、合成画像は、後側方画像と後方画像とを合成した境界を表わす合成領域に移動体の側面画像の少なくとも一部が重畳された画像であって、かつ、移動体の側面の後方が透けて見える画像であり、合成領域は、側面画像における移動体の外形に沿って設定されている。
【００１４】
また、上記目的を達成するために、本発明の電子ミラーシステム制御方法は、移動体に設置された第１の撮像部で移動体の後側方の画像である後側方画像を撮像するとともに、移動体に設置された第２の撮像部で移動体の後方の画像である後方画像を撮像する撮像ステップと、後側方画像と、後方画像と、移動体の側面画像とを合成して合成画像を生成する画像処理ステップと、画像処理ステップで生成した合成画像を表示する表示ステップと、を備え、合成画像は後側方画像と後方画像とを合成した境界を表わす合成領域に移動体の側面画像の少なくとも一部が重畳された画像であって、かつ、移動体の側面の後方が透けて見える画像であり、合成領域は、側面画像における移動体の外形に沿って設定されている。
【発明の効果】
【００１５】
本発明によれば、ドライバの死角となる領域をなくすとともに、周辺物と自車両との距離をドライバに認識させることが可能であり、かつ、合成画像における画像の合成部分を目立たないように合成画像を生成することが可能である。
【図面の簡単な説明】
【００１６】
【図１】本実施の形態に係る電子ミラーシステムの各部の機能の一例を示すブロック図
【図２】本実施の形態に係る電子ミラーシステムの各撮像部、および、各表示部の設置位置の一例を示す図
【図３】本実施の形態に係る電子ミラーシステムの各画像抽出部が抽出する画像の抽出範囲を説明する図
【図４Ａ】第１の画像抽出部が抽出する第１の画像のイメージの一例を示す図
【図４Ｂ】第２の画像抽出部が抽出する第２の画像のイメージの一例を示す図
【図４Ｃ】画像合成部が生成する左後合成画像のイメージの一例を示す図
【図５】画像合成部が生成する後合成画像のイメージの一例を示す図
【図６】制御部が行う合成処理の流れ示すフローチャート
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、同じ構成要素には同じ符号を付している。また、図面は、理解しやすくするためにそれぞれの構成要素を模式的に示している。また、本発明の実施の形態では、車両に対して、図３の矢印で示す方向をそれぞれ、前、後、左、右と定義する。
【００１８】
図１は、本実施の形態に係る電子ミラーシステムの各部の機能の一例を示すブロック図である。図２は、本実施の形態に係る電子ミラーシステムの各撮像部、および、各表示部の設置位置の一例を示す図である。図３は、本実施の形態に係る電子ミラーシステムの各画像抽出部が抽出する画像の抽出範囲を説明する図である。
【００１９】
本実施の形態に係る電子ミラーシステムは、例えば、各種車両に搭載される電子ミラーシステムである。ただし、本電子ミラーシステムは、車両に限らず、各種移動体に適用できる。
【００２０】
本実施の形態に係る電子ミラーシステムは、第１の撮像部１０と、第２の撮像部２０と、第３の撮像部３０と、制御部４０と、第１の表示部５０と、第２の表示部６０と、第３の表示部７０と、を備える。
【００２１】
第１の撮像部１０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像装置である。
【００２２】
第１の撮像部１０は、有線または無線により、制御部４０と通信可能に接続される。第１の撮像部１０は、撮像した画像の画像データをリアルタイムで制御部４０に対して出力する。
【００２３】
第１の撮像部１０は、図２に示すように、例えば、車両の左フロントドアの外側に設けられており、車両の左後側方を撮像する。
【００２４】
第２の撮像部２０は、例えばＣＣＤカメラ、ＣＭＯＳカメラなどの撮像装置である。
【００２５】
第２の撮像部２０は、有線または無線により、制御部４０と通信可能に接続される。第２の撮像部２０は、撮像した画像の画像データをリアルタイムで制御部４０に対して出力する。
【００２６】
第２の撮像部２０は、例えば、車両のリアウィンドウ（不図示）の内側に設置され、車両の後方を撮像する。
【００２７】
第３の撮像部３０は、例えば、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像装置である。
【００２８】
第３の撮像部３０は、有線または無線により、制御部４０と通信可能に接続される。第３の撮像部３０は、撮像した画像の画像データをリアルタイムで制御部４０に対して出力する。
【００２９】
第３の撮像部３０は、図２に示すように、例えば、車両の右フロントドアの外側に設けられており、車両の右後側方を撮像する。
【００３０】
制御部４０は、第１の撮像部１０、第２の撮像部２０、および、第３の撮像部３０からの画像データの入力を受け付ける入力部４１と、第１の撮像部１０、第２の撮像部２０、および、第３の撮像部３０が撮像した画像に画像処理を施す画像処理部４２と、画像処理を施した画像の画像データを第１の表示部５０、第２の表示部６０、または、第３の表示部７０に出力する出力部４３とを備える。
【００３１】
画像処理部４２は、第１の画像抽出部１１と、第２の画像抽出部２１と、第３の画像抽出部３１と、画像合成部４４とを有する。
【００３２】
第１の画像抽出部１１は、第１の撮像部１０が撮像した画像から所定の範囲の第１の画像１５（図４Ａ参照）を抽出する画像抽出部である。第１の画像抽出部１１は第１の撮像部１０が撮像した画像から、例えば、図３においてαで示される角度範囲に含まれる領域の第１の画像１５を抽出する。
【００３３】
なお、第１の画像抽出部１１は、第１の撮像部１０が撮像した画像から抽出する第１の画像１５の範囲を変更することができる。例えば、第１の画像抽出部１１は、図３においてαで示される角度よりも大きいまたは小さい角度範囲に含まれる領域の第１の画像１５を抽出することができる。
【００３４】
また、第１の画像抽出部１１は、第１の撮像部１０が撮像した画像から抽出する第１の画像１５の位置を変更することもできる。例えば、第１の画像抽出部１１は、図３においてαで示される角度範囲に含まれる領域よりも車両の右寄りまたは左寄りの領域を映し出す第１の画像１５を抽出することができる。
【００３５】
第１の画像抽出部１１は、抽出した第１の画像１５の解像度の変更や色調の調整などを行ってもよい。この場合、第１の撮像部１０が撮像する画像の解像度や色調が、後述する第２の撮像部２０または第３の撮像部３０が撮像する画像の解像度や色調と異なる場合、これらを一致させることができる。
【００３６】
また、第１の画像抽出部１１は、抽出した第１の画像１５における画像の歪みなどを小さくするために、抽出した第１の画像１５の一部に回転、拡大、縮小などの処理を施してもよい。
【００３７】
第２の画像抽出部２１は、第２の撮像部２０が撮像した画像から所定範囲の第２の画像２５（図４Ｂ参照）を抽出する画像抽出部である。第２の画像抽出部２１は、例えば、図３においてβで示される角度範囲に含まれる領域の第２の画像２５を抽出する。
【００３８】
なお、第２の画像抽出部２１は、第２の撮像部２０が撮像した画像から抽出する第２の画像２５の範囲を変更することができる。例えば、第２の画像抽出部２１は、図３において示されるβの角よりも大きいまたは小さい角度範囲に含まれる領域の第２の画像２５を抽出することができる。
【００３９】
また、第２の画像抽出部２１は、第２の撮像部２０が撮像した画像から抽出する第２の画像２５の位置を変更することもできる。例えば、図３においてβで示される角度範囲に含まれる領域よりも車両の右寄りまたは左寄りの領域を映し出す第２の画像２５を抽出することができる。
【００４０】
第２の画像抽出部２１は、抽出した第２の画像２５の解像度の変更や色調の調整などを行ってもよい。この場合、第２の撮像部２０が撮像する画像の解像度や色調が、第１の撮像部１０または第３の撮像部３０が撮像する画像の解像度や色調と異なる場合、これらを一致させることができる。
【００４１】
第３の画像抽出部３１は、第３の撮像部３０が撮像した画像から所定の範囲の第３の画像３５（図５参照）を抽出する画像抽出部である。第３の画像抽出部３１は、上述した第１の画像抽出部１１と同様に、所定の角度範囲に含まれる領域の第３の画像３５を抽出する。
【００４２】
また、第３の画像抽出部３１は、第１の画像抽出部１１と同様、抽出する第３の画像３５の範囲を変更することができる。第３の画像抽出部３１は、第１の画像抽出部１１と同様、抽出する第３の画像３５の位置を変更することもできる。
【００４３】
第３の画像抽出部３１は、第１の画像抽出部１１および第２の画像抽出部２１と同様、抽出した第３の画像３５の解像度の変更や色調の調整などを行ってもよい。また、第３の画像抽出部３１は、抽出した第３の画像３５の歪みなどを小さくするために、抽出した第３の画像３５の一部に回転、拡大、縮小などの処理を施してもよい。
【００４４】
画像合成部４４は、第１の画像抽出部１１が抽出した第１の画像１５、第２の画像抽出部２１が抽出した第２の画像２５、および、第３の画像抽出部３１が抽出した第３の画像３５のうち、少なくとも２つの画像と、次に説明する、車両の左側面を示す左側面画像１０１または車両の右側面を示す右側面画像１０２とを合成する。
【００４５】
左側面画像１０１は、第１の撮像部１０が設置される位置から後方を見たときの視界に映る車両の左側面を示す画像を透過させた半透明画像である。左側面画像１０１は、例えば、第１の撮像部１０が撮像した画像に映る車両の左側面の画像を透過させた画像である。また、左側面画像１０１はグラフィック画像であってもよい。
【００４６】
右側面画像１０２は、第３の撮像部３０が設置される位置から後方を見たときの視界に映る車両の右側面を示す画像を透過させた半透明画像である。右側面画像１０２は、例えば、第３の撮像部３０が撮像した画像に映る車両の右側面の画像を透過させた画像である。また、右側面画像１０２はグラフィック画像であってもよい。
【００４７】
なお、画像合成部４４は、左側面画像１０１および右側面画像１０２の透過率を全体的または部分的に変更することができる。画像合成部４４は、全体的にまたは部分的に透過率の異なる複数種類の左側面画像１０１および右側面画像１０２を予め記憶していてもよい。
【００４８】
画像合成部４４は、第１の画像抽出部１１が抽出した第１の画像１５、第２の画像抽出部２１が抽出した第２の画像２５、および、左側面画像１０１を合成した左後合成画像４５を生成し、出力部４３は、生成された左後合成画像４５の画像データを第１の表示部５０に出力する。
【００４９】
画像合成部４４は、第１の画像抽出部１１が抽出した第１の画像１５、第２の画像抽出部２１が抽出した第２の画像２５、第３の画像抽出部３１が抽出した第３の画像３５、並びに、左側面画像１０１および右側面画像１０２を合成した後合成画像４６を生成し、出力部４３は、生成された後合成画像４６の画像データを第２の表示部６０に出力する。
【００５０】
画像合成部４４は、第２の画像抽出部２１が抽出した第２の画像２５、第３の画像抽出部３１が抽出した第３の画像３５、および、右側面画像１０２を合成した右後合成画像を生成し、出力部４３は、生成された右後合成画像の画像データを第３の表示部７０に出力する。
【００５１】
第１の表示部５０は、制御部４０から入力された左後方合成画像の画像データから左後方合成画像を生成してディスプレイに表示する表示装置である。
【００５２】
第１の表示部５０は、図２に示すように、例えば、左フロントドアのドアライニングパネル部に設けられる。ただし、第１の表示部５０の配置は、これに限られず、例えば、インストルメントパネル部の左端部付近に設けられてもよい。
【００５３】
第２の表示部６０は、制御部４０から入力された後方合成画像の画像データから後方合成画像を生成してディスプレイに表示する表示装置である。
【００５４】
第２の表示部６０は、図２に示すように、例えば、フロントガラスの中央上部に設けられる。ただし、第２の表示部６０の配置は、これに限られず、例えば、インストルメントパネル部の中央付近に設けられてもよい。
【００５５】
第３の表示部７０は、制御部４０から入力された右後方合成画像の画像データから右後方合成画像を生成してディスプレイに表示する表示装置である。
【００５６】
第３の表示部７０は、図２に示すように、例えば、右フロントドアのドアライニングパネル部に設けられる。ただし、第３の表示部７０の配置は、これに限られず、例えば、インストルメントパネル部の右端部付近に設けられてもよい。
【００５７】
ここで、画像合成部４４が生成する左後合成画像４５について図４Ａ、図４Ｂおよび図４Ｃを用いて説明する。なお、画像合成部４４が生成する右後合成画像についての説明は省略するが、右後合成画像は、以下に説明する左後合成画像４５を左右に反転させたものと同様の視認態様の画像である。
【００５８】
図４Ａは、第１の画像抽出部１１が抽出する第１の画像１５のイメージの一例示す図である。図４Ｂは、第２の画像抽出部２１が抽出する第２の画像２５のイメージの一例示す図である。図４Ｃは、画像合成部４４が生成する左後合成画像４５のイメージの一例を示す図である。
【００５９】
第１の画像１５は、車両の左後側方の領域を映し出す画像であり、第１の画像抽出部１１が抽出した画像を左右に反転させた画像である。
【００６０】
第１の画像１５における右側の端部は、左側面画像１０１における車両の外形の形状に沿う形状となるように抽出される。ここで、沿う形状とは、完全に一致した形状である必要なく、類似した形状であればよい。
【００６１】
第２の画像２５は、車両の後方の領域を映し出す画像であり、第２の画像抽出部２１が抽出した画像を左右に反転させたものである。
【００６２】
第２の画像２５における左側の端部は、左側面画像１０１における車両の外形の形状に沿う形状となるように抽出される。
【００６３】
左後合成画像４５では、第１の画像１５の右側の端部付近の領域と第２の画像２５の左側の端部付近の領域とが合成領域５５において重畳している。
【００６４】
上述したように、第１の画像１５の右側の端部の形状および第２の画像２５の左側の端部は、左側面画像１０１における車両の外形の形状に沿う形状となるように抽出される。したがって、左後合成画像４５における合成領域５５は、左右方向に一定の幅を有し、左側面画像１０１における車両の外形に沿う形状となる。
【００６５】
なお、合成領域５５において第１の画像１５と第２の画像２５は、例えば、アルファブレンドによって合成される。その際、合成領域５５における第１の画像１５のα値を、第２の画像２５に向かうにつれて減少させ、第２の画像２５のα値を、第１の画像１５に向かうにつれて減少させる。これにより、左後合成画像４５における合成領域５５を目立たないようにすることができる。
【００６６】
左側面画像１０１は、合成領域５５を含む第２の画像２５に重なるように合成される。また、左側面画像１０１は、車両の外形を示す輪郭部分１０１ａが合成領域５５と隣接または近接するように第２の画像２５に合成される。
【００６７】
これにより、左後合成画像４５において、左側面画像１０１の車両の外形を示す輪郭部分１０１ａと合成領域５５とを一体化することで、合成領域５５をさらに目立たないようにすることができる。
【００６８】
以上説明したように左後合成画像４５を形成することにより、本電子ミラーシステムでは、第１の撮像部１０と第２の撮像部２０で撮像した広範囲にわたる領域の画像を第１の表示部５０に表示することができる。
【００６９】
また、本電子ミラーシステムでは、左側面画像１０１を透過させているため、ドライバにとって死角となる領域をなくした左後合成画像４５を第１の表示部５０に表示することができる。
【００７０】
また、本電子ミラーシステムでは、左後合成画像４５において左側面画像１０１を表示させているため、車両の左後側方を走行する車両、および、車両の周辺に存在する物体と車両との距離をドライバに認識させることができる。
【００７１】
また、本電子ミラーシステムでは、合成領域５５を左側面画像１０１における車両の外形を示す輪郭部分１０１ａに沿った形状にしているため、左後合成画像４５において合成領域５５を目立たないようにすることができる。
【００７２】
上述したように、画像合成部４４は、左側面画像１０１の透過率を部分的に変更することができる。したがって、例えば、左側面画像１０１の合成領域５５付近の透過率を小さくし、合成領域５５から離れた領域の透過率を大きくすることができる。
【００７３】
これにより、左後合成画像４５における合成領域５５付近の画像の歪みなどを目立たないようにし、かつ、車両の後方の領域を示す画像を鮮明に表示することができる。
【００７４】
本電子ミラーシステムでは、合成領域５５の両端を左側面画像１０１における車両の外形に沿う形状とした。しかし、合成領域５５の右側の端部、すなわち、第１の画像１５の右側の端部は、必ずしも、左側面画像１０１における車両の外形を示す輪郭部分１０１ａに沿う形状でなくてもよい。
【００７５】
また、本電子ミラーシステムでは、第１の画像抽出部１１が抽出する第１の画像１５と第２の画像抽出部２１が抽出する第２の画像２５の範囲とを連動させて変更することにより、あたかも、従来のドアミラーの角度を変更したときように、左後合成画像４５に映し出される画像を変更することができる。
【００７６】
このとき、左後合成画像４５に重畳する左側面画像１０１も変更する必要がある。したがって、画像合成部４４は、予め、複数の左側面画像１０１を記憶し、抽出される第１の画像１５および第２の画像２５の範囲に合わせて、左後合成画像４５に利用する左側面画像１０１を選択すればよい。
【００７７】
あるいは、抽出される第１の画像１５および第２の画像２５の範囲に合わせて、予め記憶した一つの左側面画像１０１から所定の範囲の画像を抽出して利用してもよい。あるいは、抽出される第１の画像１５および第２の画像２５の範囲が変更されるごとに、第１の撮像部１０が左後合成画像４５に利用する左側面画像１０１を撮像してもよい。
【００７８】
次に、画像合成部４４において、第１の画像１５、第２の画像２５、第３の画像３５、左側面画像１０１、および、右側面画像１０２を合成して生成する後合成画像４６について説明する。
【００７９】
図５は、画像合成部４４が生成する後合成画像４６のイメージの一例を示す図である。
【００８０】
上述したように、第１の画像１５は、車両の左後側方の領域を映し出す画像であり、第１の画像抽出部１１が抽出した画像を左右に反転させた画像である。
【００８１】
第１の画像１５における右側の端部は、左側面画像１０１における車両の外形の形状に沿う形状となるように抽出される。
【００８２】
第２の画像２５は、車両の後方の領域を映し出す画像であり、第２の画像抽出部２１が抽出した画像を左右に反転させたものである。
【００８３】
第２の画像２５における左側の端部は、左側面画像１０１における車両の外形の形状に沿う形状となるように抽出される。
【００８４】
また、第２の画像２５における右側の端部は、右側面画像１０２における車両の外形の形状に沿う形状となるように抽出される。
【００８５】
第３の画像３５は、車両の右後側方の領域を映し出す画像であり、第３の画像抽出部３１が抽出した画像を左右に反転させた画像である。
【００８６】
第３の画像３５における左側の端部は、右側面画像１０２における車両の外形の形状に沿う形状となるように抽出される。
【００８７】
後合成画像４６では、第１の画像１５の右側の端部付近の領域と第２の画像２５の左側の端部付近の領域とが合成領域５５において重畳している。
【００８８】
上述したように、第１の画像１５の右側の端部の形状および第２の画像２５の左側の端部は、左側面画像１０１における車両の外形の形状に沿う形状となるように抽出される。したがって、後合成画像４６における合成領域５５は、左右方向に一定の幅を有し、左側面画像１０１における車両の外形に沿う形状となる。
【００８９】
また、後合成画像４６では、第２の画像２５の右側の端部付近の領域と第３の画像３５の左側の端部付近の領域とが合成領域５６において重畳している。
【００９０】
上述したように、第２の画像２５の右側の端部の形状および第３の画像３５の左側の端部は、右側面画像１０２における車両の外形の形状に沿う形状となるように抽出される。したがって、後合成画像４６における、第２の画像２５と第３の画像３５との合成領域５６は、左右方向に一定の幅を有し、右側面画像１０２における車両の外形に沿う形状となる。
【００９１】
左側面画像１０１は、合成領域５５を含む第２の画像２５の左寄りの領域に重なるように合成される。また、左側面画像１０１は、車両の外形を示す輪郭部分１０１ａが合成領域５５に隣接または近接するように第２の画像２５に合成される。
【００９２】
これにより、後合成画像４６において、左側面画像１０１の車両の外形を示す輪郭部分１０１ａと合成領域５５とを一体化することで、合成領域５５を目立たないようにすることができる。
【００９３】
右側面画像１０２は、第２の画像２５と第３の画像３５との合成領域５６を含む第２の画像２５の右寄りの領域に重なるように合成される。また、右側面画像１０２は、車両の外形を示す輪郭部分１０２ａが、第２の画像２５と第３の画像３５との合成領域５６に隣接または近接するように第２の画像２５に合成される。
【００９４】
これにより、後合成画像４６において、右側面画像１０２の車両の外形を示す輪郭部分１０２ａと、合成領域５６とを一体化することで、合成領域５６を目立たないようにすることができる。
【００９５】
以上説明したように後合成画像４６を生成することにより、本電子ミラーシステムでは、第１の撮像部１０、第２の撮像部２０、および、第３の撮像部３０で撮像した広範囲にわたる画像を第２の表示部６０に表示することができる。
【００９６】
また、本電子ミラーシステムでは、左側面画像１０１および右側面画像１０２を透過させているため、ドライバにとって死角となる領域をなくした後合成画像４６を第２の表示部６０に表示することができる。
【００９７】
また、本電子ミラーシステムでは、後合成画像４６において左側面画像１０１および右側面画像１０２を表示させているため、車両の左後側方または車両の右後側方を走行する車両、並びに、車両の周辺に存在する物体と車両との距離をドライバに認識させることができる。
【００９８】
また、本電子ミラーシステムでは、合成領域５５、５６を左側面画像１０１または右側面画像１０２における車両の外形を示す輪郭部分１０１ａ、１０２ａに沿った形状にしているため、後合成画像４６において合成領域５５、５６を目立たないようにすることができる。
【００９９】
上述したように、画像合成部４４は、左側面画像１０１および右側面画像１０２の透過率を部分的に変更することができる。したがって、例えば、左側面画像１０１および右側面画像１０２の合成領域５５、５６付近の透過率を小さくし、合成領域５５、５６から離れた領域の透過率を大きくすることができる。
【０１００】
これにより、後合成画像４６における合成領域５５、５６付近の画像の歪みなどを目立たないようにし、かつ、車両の後方の領域を示す画像を鮮明に表示することができる。
【０１０１】
本電子ミラーシステムでは、合成領域５５、５６の両端を左側面画像１０１または右側面画像１０２における車両の外形に沿う形状とした。しかし、合成領域５５の右側の端部、すなわち、第１の画像１５の右側の端部は、必ずしも、左側面画像１０１における車両の外形を示す輪郭部分１０１ａに沿う形状でなくてもよい。また、第２の画像２５と第３の画像３５との合成領域５６の左側の端部、すなわち、第３の画像３５の左側の端部は、必ずしも、右側面画像１０２における車両の外形を示す輪郭部分１０２ａに沿う形状でなくてもよい。
【０１０２】
また、本電子ミラーシステムでは、第１の画像抽出部１１が抽出する第１の画像１５、第２の画像抽出部２１が抽出する第２の画像２５、および、第３の画像抽出部３１が抽出する第３の画像３５の範囲を連動させて変更することにより、あたかも、従来のルームミラーの角度を変更したときように、後合成画像４６に映し出される画像を変更することができる。
【０１０３】
このとき、後合成画像４６に重畳する左側面画像１０１と右側面画像１０２も変更する必要がある。したがって、画像合成部４４は、予め、複数の左側面画像１０１と右側面画像１０２とを記憶し、抽出される第１の画像１５、第２の画像２５、および、第３の画像３５の範囲に合わせて、後合成画像４６に利用する左側面画像１０１と右側面画像１０２とを選択すればよい。
【０１０４】
あるいは、抽出される第１の画像１５、第２の画像２５、および、第３の画像３５の範囲に合わせて、予め記憶した一つの左側面画像１０１および一つの右側面画像１０２から所定の範囲の画像を抽出して利用してもよい。
【０１０５】
あるいは、抽出される第１の画像１５、第２の画像２５、および、第３の画像３５の範囲が変更されるごとに、第１の撮像部１０または第３の撮像部３０が左後合成画像４５に利用する左側面画像１０１または右側面画像１０２を撮像してもよい。
【０１０６】
次に、制御部４０が行う画像の合成処理の流れについて説明する。図６は、制御部４０が行う合成処理の流れ示すフローチャートである。
【０１０７】
制御部４０は、例えば、電源が入力されたときに合成処理を開始する。
【０１０８】
合成処理が開始されると、制御部４０は、初期設定処理（ステップＳ１０）を実行する。初期設定処理（ステップＳ１０）では、第１の撮像部１０、第２の撮像部２０、および、第３の撮像部３０が撮像した画像から、第１の画像抽出部１１、第２の画像抽出部２１、および、第３の画像抽出部３１が抽出する画像の範囲を設定する。
【０１０９】
また、制御部４０は、合成画像に重畳する左側面画像１０１および右側面画像１０２の決定およびこれらの画像の透過率の設定を行う。
【０１１０】
次に、制御部４０は、画像入力処理（ステップＳ２０）を実行する。制御部４０は、第１の撮像部１０、第２の撮像部２０、および、第３の撮像部３０からの画像データの入力を受け付ける。
【０１１１】
制御部４０は、画像入力処理（ステップＳ２０）が終了すると、画像抽出処理（ステップＳ３０）を実行する。
【０１１２】
画像抽出処理（ステップＳ３０）において、第１の画像抽出部１１は、第１の撮像部１０が撮像した画像から、初期設定処理（ステップＳ１０）において設定された範囲の画像を抽出する。また、第２の画像抽出部２１は、第２の撮像部２０が撮像した画像から、初期設定処理において設定された範囲の画像を抽出する。また、第３の画像抽出部３１は、第３の撮像部３０が撮像した画像から、初期設定処理において設定された範囲の画像を抽出する。
【０１１３】
このとき、画像合成部４４が生成する各合成画像における各合成領域付近の画像の歪みなどを小さくするために、第１の画像抽出部１１、第２の画像抽出部２１、および、第３の画像抽出部３１は、抽出した画像の一部に回転、拡大、縮小などの処理を施してもよい。
【０１１４】
制御部４０は、画像抽出処理（ステップＳ３０）が終了すると、画像合成処理（ステップＳ４０）を実行する。画像合成部４４は、画像合成処理（ステップＳ４０）において、第１の画像抽出部１１が抽出した第１の画像１５と第２の画像抽出部２１が抽出した第２の画像２５とを合成し、該合成した画像に左側面画像１０１を重畳した左後合成画像４５を生成する。
【０１１５】
また、画像合成部４４は、第２の画像抽出部２１が抽出した第２の画像２５と第３の画像抽出部３１が抽出した第３の画像３５とを合成し、該合成した画像に右側面画像１０２を重畳した右後合成画像を生成する。
【０１１６】
また、画像合成部４４は、第１の画像抽出部１１が抽出した第１の画像１５、第２の画像抽出部２１が抽出した第２の画像２５、および、第３の画像抽出部３１が抽出した第３の画像３５を合成し、該構成した画像に、左側面画像１０１および右側面画像１０２を重畳した後合成画像４６を生成する。
【０１１７】
画像合成部４４は、画像合成処理（ステップＳ４０）が終了すると、画像出力処理（ステップＳ５０）を実行する。
【０１１８】
制御部４０は、画像出力処理（ステップＳ５０）において、左後合成画像４５を第１の表示部５０に出力し、後合成画像４６を第２の表示部６０に出力し、右後合成画像を第３の表示部７０に出力する。
【０１１９】
制御部４０は、画像出力処理（ステップＳ５０）が終了すると、合成処理を終了するか否かを判定する（ステップＳ６０）。
【０１２０】
制御部４０は、合成処理を終了すると判定した場合（ステップＳ６０においてＹｅｓの場合）、合成処理を終了する。制御部４０は、例えば、制御部４０に供給される電源の供給が停止される場合、合成処理を終了すると判定する。
【０１２１】
制御部４０は、合成処理を終了しないと判定した場合（ステップＳ６０においてＮｏの場合）、第１の画像抽出部１１、第２の画像抽出部２１、または、第３の画像抽出部３１が抽出する画像の範囲を変更するか否かを判定する（ステップＳ７０）。
【０１２２】
制御部４０は、第１の画像抽出部１１、第２の画像抽出部２１、または、第３の画像抽出部３１が抽出する画像の範囲を変更しないと判定した場合（ステップＳ７０においてＮｏの場合）、初期設定処理（ステップＳ１０）で設定された情報に基づいてステップＳ２０以降の処理を繰り返す。
【０１２３】
制御部４０は、第１の画像抽出部１１、第２の画像抽出部２１、または、第３の画像抽出部３１が抽出する画像の範囲を変更すると判定した場合（ステップＳ７０においてＹｅｓの場合）、設定変更処理（ステップＳ８０）を実行する。
【０１２４】
制御部４０が、第１の画像抽出部１１、第２の画像抽出部２１、または、第３の画像抽出部３１が抽出する画像の範囲を変更すると判定する場合とは、例えば、電子ミラーシステムに接続された操作装置において、これらの抽出部が抽出する画像の範囲を変更する操作がなされた場合である。
【０１２５】
制御部４０は、設定変更処理（ステップＳ８０）において、操作装置から入力された操作信号に基づいて、第１の画像抽出部１１が抽出する画像の範囲、第２の画像抽出部２１が抽出する画像の範囲、第３の画像抽出部３１が抽出する画像の範囲、使用する左側面画像１０１および右側面画像１０２の変更を行う。
【０１２６】
その後、制御部４０は、ステップＳ２０以降の処理を繰り返し実行する。制御部４０は、このような合成処理を実行することにより、左後合成画像４５、右後合成画像、および、後合成画像４６を生成する。
【０１２７】
なお、上述した実施の形態では、第１の画像１５と第２の画像２５を合成した画像に左側面画像１０１を重畳して左後合成画像４５を生成した。また、第１の画像１５、第２の画像２５、および、第３の画像３５を合成した画像に、左側面画像１０１および右側面画像１０２を重畳した。しかし、これらの画像を合成する順序は特に限定されるものではない。
【産業上の利用可能性】
【０１２８】
本発明は、移動体における電子ミラーシステム、電子ミラー装置、および、電子ミラー制御方法に広く利用可能である。
【符号の説明】
【０１２９】
１０  第１の撮像部
１１  第１の画像抽出部
１５  第１の画像
２０  第２の撮像部
２１  第２の画像抽出部
２５  第２の画像
３０  第３の撮像部
３１  第３の画像抽出部
３５  第３の画像
４０  制御部
４１  入力部
４２  画像処理部
４３  出力部
４４  画像合成部
４５  左後合成画像
４６  後合成画像
５０  第１の表示部
５５  合成領域
５６  合成領域
６０  第２の表示部
７０  第３の表示部
１０１  左側面画像
１０１ａ  輪郭部分
１０２  右側面画像
１０２ａ  輪郭部分
【図１】
2020124989.tif 000003
【図２】
2020124989.tif 000004
【図３】
2020124989.tif 000005
【図４Ａ】
2020124989.tif 000006
【図４Ｂ】
2020124989.tif 000007
【図４Ｃ】
2020124989.tif 000008
【図５】
2020124989.tif 000009
【図６】
2020124989.tif 000010