(57)【要約】【課題】本発明によれば、運転者による車両の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる画像生成装置、画像生成装置を備えたカメラ及び表示システム、並びに、これを備える車両を提供する。【解決手段】車両の後方の後方画像を取得する画像取得部と、前記車両の後進運転を補助する補助線が重畳される画像領域と、特定の対象物が位置する画像領域との重複部分が前記後方画像に含まれている場合、少なくとも前記重複部分において、前記補助線が重畳されていない又は半透明状態で重畳された画像を生成し、前記後方画像に前記重複部分が含まれていない場合、前記後方画像に前記補助線が重畳された画像を生成する画像生成部と、を備える画像生成装置。【選択図】図３
2020161866.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方の後方画像を取得する画像取得部と、
前記車両の後進運転を補助する補助線が重畳される画像領域と、特定の対象物が位置する画像領域との重複部分が前記後方画像に含まれている場合、少なくとも前記重複部分において、前記補助線が重畳されていない又は半透明状態で重畳された画像を生成し、前記後方画像に前記重複部分が含まれていない場合、前記後方画像に前記補助線が重畳された画像を生成する画像生成部と、
を備える画像生成装置。
【請求項２】
前記補助線は複数の線から構成されており、
前記画像生成部は、前記後方画像に前記重複部分が含まれている場合、前記補助線の中の第１の線が重畳され、かつ、前記複数の線の中の第２の線が前記後方画像に重畳されていない又は半透明状態で重畳された画像を生成し、
前記第１の線が重畳される画像領域は、前記重複部分を含まず、
前記第２の線が重畳される画像領域は、前記重複部分を含む、
請求項１に記載の画像生成装置。
【請求項３】
前記後方画像に含まれる前記特定の対象物の数の増減を検知する対象物検知部を更に備え、
前記対象物検知部が検知した前記特定の対象物の数が、１以上の数である第１の数から前記第１の数よりも大きい第２の数に増加した場合、前記画像生成部は、前記補助線が前記後方画像に重畳されていない又は半透明状態で重畳された画像を生成する請求項２に記載の画像生成装置。
【請求項４】
前記対象物検知部が検知した前記特定の対象物の数が、２以上の数である第３の数から１以上の数であって前記第３の数よりも小さい数である第４の数に減少した場合、前記画像生成部は、前記第１の線が重畳され、かつ、前記第２の線が前記後方画像に重畳されていない又は半透明状態で重畳された画像を生成する請求項３に記載の画像生成装置。
【請求項５】
前記画像生成部は、前記後方画像に前記重複部分が含まれている場合、前記重複部分から離れる程透明度が低くなるように前記補助線が重畳された画像を生成する請求項１から４のいずれか一項に記載の画像生成装置。
【請求項６】
前記画像生成部は、前記後方画像に前記重複部分が含まれている場合、前記補助線を前記後方画像に重畳されていない又は半透明状態で重畳された画像を生成する請求項１に記載の画像生成装置。
【請求項７】
車両の後方の後方画像を撮像する撮像部と、
請求項１から６のいずれか一項に記載の画像生成装置と、
を備えるカメラ。
【請求項８】
車両の後方の後方画像を撮像する撮像部と、
請求項１から６のいずれか一項に記載の画像生成装置と、
前記画像生成装置によって生成された画像を表示する表示部と、
を備える表示システム。
【請求項９】
請求項７のカメラ又は請求項８に記載の表示システムを備える車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、カメラ、表示システム及び車両に関する。
【背景技術】
【０００２】
バックビューモニタ装置は、車両の後方に設置されたカメラで撮像された画像を車内のモニタに表示する装置である。バックビューモニタ装置の中には、特許文献１に開示されているように車両の後進時に車両の進行方向を表す補助線を車両の後方の画像に重畳して表示する運転支援機能を備えたものもある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１４７２８５公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像に補助線が重畳される場合、補助線が人などの回避すべき対象物に重畳されるために、車両の運転者にとって該対象物が見にくくなることがある。この場合、運転者は該対象物の認識が遅れ、安全な後進運転ができなくなる。
【０００５】
他方、画像に補助線が全く重畳されないと、バックビューモニタ装置は、運転者による後進運転を支援することができないため、利便性を欠くことになる。
【０００６】
本発明はこのような状況に鑑み、運転者による車両の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる画像生成装置、画像生成装置を備えたカメラ及び表示システム、並びに、これを備える車両を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像生成装置は、車両の後方の後方画像を取得する画像取得部と、前記車両の後進運転を補助する補助線が重畳される画像領域と、特定の対象物が位置する画像領域との重複部分が前記後方画像に含まれている場合、少なくとも前記重複部分において、前記補助線が重畳されていない又は半透明状態で重畳された画像を生成し、前記後方画像に前記重複部分が含まれていない場合、前記後方画像に前記補助線が重畳された画像を生成する画像生成部と、を備える。
【０００８】
本発明に係るカメラは、車両の後方の後方画像を撮像する撮像部と、上述の画像生成装置と、を備える。
【０００９】
本発明に係る表示システムは、車両の後方の後方画像を撮像する撮像部と、上述の画像生成装置と、上述の画像生成装置によって生成された画像を表示する表示部と、を備える。
【００１０】
本発明に係る車両は、上述のカメラ又は上述の表示システムを備える。
【発明の効果】
【００１１】
本発明によれば、運転者による車両の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像生成装置、画像生成装置を備えたカメラ及び表示システム、並びに、これを備える車両を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の第１実施形態に係るリアカメラを備える車両を示す模式図である。
【図２】図２は、車両の後方の画像（後方画像）に補助線が重畳された画像（運転支援画像）の一例を示す図である。
【図３】図３は、本発明の第１実施形態に係る表示システムの構成を示すブロック図である。
【図４】図４は、本発明の第１実施形態に係る画像生成装置が行う動作を示すフローチャートを示す図である。
【図５】図５は、本発明の第１実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。
【図６】図６は、本発明の第１実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。
【図７】図７は、変形例に係る画像生成装置によって生成される運転支援画像の一例を示す図である。
【図８】図８は、本発明の第２実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。
【図９】図９は、本発明の第３実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。
【図１０】図１０は、本発明の第４実施形態に係る画像生成装置が行う動作を示すフローチャートを示す図である。
【図１１】図１１は、本発明の第４実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。
【図１２】図１２は、本発明の第４実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。
【図１３】図１３は、本発明の第５実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。
【図１４】図１４は、本発明の第６実施形態に係る表示システムの構成を示すブロック図である。
【図１５】図１５は、リアカメラが車両の設計位置に搭載された場合における、従来の画像生成装置によって生成された運転支援画像の一例を示す図である。
【図１６】図１６は、リアカメラが車両の設計位置からずれた位置に搭載された場合における、従来の画像生成装置によって生成された運転支援画像の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を図面を参照して説明する。
【００１４】
（第１実施形態）
図１は、本発明の第１実施形態に係るリアカメラ１０を備える車両１を示す模式図である。
【００１５】
車両１は、リアカメラ１０を車両１の後方に備えている。リアカメラ１０は、車両１の後方の画像を撮像する。リアカメラ１０によって撮像された画像は、車両１内の表示部５０（図３参照）に表示される。また、車両１の運転者が後進運転する場合、リアカメラ１０によって撮像された画像は、運転者の後進運転を補助するための補助線が重畳された後、車両１内の表示部５０に表示される。
【００１６】
図２は、車両１の後方の画像（後方画像）に補助線１００が重畳された画像（運転支援画像Ｐ１）の一例を示す図である。
【００１７】
補助線１００は、複数の線から構成されている。例えば、補助線１００は、車幅延長線１０１、１０２、及び後方距離目安線１０３、１０４、１０５から構成されている。車幅延長線１０１、１０２は、車両１が後進したときの車幅の一方端及び他方端の位置を示す。後方距離目安線１０３、１０４、１０５は、車両１の後方端から所定の距離離れた位置を示す。例えば、後方距離目安線１０３は、車両１の後方端からＸ１メートル、後方距離目安線１０４は、車両１の後方端からＸ２（＞Ｘ１）メートル、後方距離目安線１０５は、車両１の後方端からＸ３（＞Ｘ２）メートルの位置を示す。以下、車幅延長線及び後方距離目安線を単に「線」と呼ぶ。
【００１８】
このように、車両１の後方画像に補助線１００が重畳された画像が車内１の表示部５０に表示されることで、運転者は、車庫入れや駐車時の後進運転を容易に行うことできる。
【００１９】
しかしながら、図２に示されているように、車両１の後方画像に補助線１００が重畳された場合、後方画像に映っている歩行者Ｗ１や自転車の運転者Ｄ１に補助線１００が重なることがある。この場合、運転者は、運転支援画像Ｐ１を見た時に歩行者Ｗ１や自転車の運転者Ｄ１が存在することを認識しにくい。
【００２０】
本発明によれば、車両１の後方に人などの特定の対象物が存在する場合、車両１の運転者による特定の対象物の認識を妨げないような運転支援画像を表示することができる。以下、本発明の第１実施形態について説明する。
【００２１】
図３は、本発明の第１実施形態に係る表示システム２の構成を示すブロック図である。表示システム２は、図１に示されている車両１が備えている。表示システム２は、リアカメラ１０、ＥＣＵ（車両制御装置：Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）２０、及び表示部５０を備える。なお、本実施形態において、ＥＣＵ２０は、補助線１００が重畳された運転支援画像を生成する画像生成装置３として機能する。
【００２２】
リアカメラ１０は、車両１の後方画像を撮像する。また、リアカメラ１０は、撮像した画像をＥＣＵ２０に送信する。
【００２３】
ＥＣＵ２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＯＭ及びＲＡＭを含むメモリとを備える。ＣＰＵがＲＯＭに記憶されている制御プログラムを読みだして、ＲＡＭに展開し、展開したプログラムを実行することでＣＰＵは、撮像制御部３１、画像取得部３２、対象物検知部３３、画像生成部３４及び通信部３５として機能する。
【００２４】
撮像制御部３１は、リアカメラ１０による後方画像の撮像を制御する。具体的には、撮像制御部３１は、車両１の運転モードが後進運転モードに設定された場合に、リアカメラ１０に画像の撮像を開始させる信号（撮像開始信号）を送信する。また、撮像制御部３１は、車両１の運転モードが後進運転モードから他の運転モードに切り替えられた場合に、リアカメラ１０に画像の撮像を停止させる信号（撮像停止信号）を送信する。
【００２５】
運転モードは、車両１が前進するための前進運転モード、車両１が後進するための後進運転モード、車両１を停止するための停止モード等がある。運転モードが後進運転モードに設定されることには、前進運転モードから後進運転モードに切り替えられること、停止モードから後進運転モードに切り替えられることが含まれる。
【００２６】
画像取得部３２は、通信部３５を介してリアカメラ１０によって撮像された車両１の後方画像を取得する。
【００２７】
対象物検知部３３は、画像取得部３２が取得した後方画像に映っている特定の対象物及び特定の対象物の後方画像中の位置を検知する。特定の対象物は、予め設定されたものであり、例えば、歩行者、自転車の運転者（以下、自転車の運転者）等の人、及び移動体である。特定の対象物に関する設定は、ＥＣＵ２０のメモリに記憶されている。
【００２８】
画像生成部３４は、表示部５０に表示させる画像を生成する。具体的には、画像生成部３４は、対象物検知部３３の検知結果及び後方画像に基づいて、運転支援画像を生成する。また、画像生成部３４は、通信部３５を介して生成した運転支援画像を表示部５０に送信する。画像生成部３４については、後に詳細に説明する。
【００２９】
通信部３５は、リアカメラ１０、及び表示部５０等の車両１が備える機器とＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の車内ネットワークを介して通信可能である。
【００３０】
表示部５０は、車両１内に設けられたモニタである。表示部５０は、ＥＣＵ２０によって生成された運転支援画像を表示する。
【００３１】
次に、本発明の第１実施形態に係る表示システム２の動作について、図４、図５及び図６を参照して説明する。図４は、本発明の第１実施形態に係る画像生成装置３が行う動作を示すフローチャートを示す図である。図５及び図６は、画像生成装置３によって生成される運転支援画像の一例を示す図である。
【００３２】
撮像制御部３１は、車両１の運転モードが後進運転モードに設定されたか否かを判定する（ステップＡ１１）。ここで、撮像制御部３１は、トランスミッションのギアがバックギアに設定されたか否かを検知することで、車両１の運転モードが後進運転モードに設定されたか否かを判定できる。
【００３３】
車両１の運転モードが後進運転モードに設定されていない場合（ステップＡ１１のＮＯ）、画像生成装置３の動作は終了する。
【００３４】
車両１の運転モードが後進運転モードに切り替えられた場合（ステップＡ１１のＹＥＳ）、撮像制御部３１は、リアカメラ１０に撮像開始信号を送信する（ステップＡ１２）。リアカメラ１０は撮像開始信号を受信すると、車両１の後方画像の撮像を開始する。撮像された後方画像は順次ＥＣＵ２０に送信される。
【００３５】
次に、画像取得部３２はリアカメラ１０で撮像された後方画像を取得する（ステップＡ１３）。そして、対象物検知部３３は、メモリに記憶されている特定の対象物が後方画像に含まれているか否かを判定する（ステップＡ１４）。
【００３６】
後方画像に特定の対象物が含まれていない場合（ステップＡ１４のＮＯ）、画像生成部３４は、後方画像に補助線１００が重畳された画像を生成する（ステップＡ１６）。
【００３７】
ここで、画像生成部３４は、車両１の舵角に基づいて車両１の進行方向を推定する。次に、画像生成部３４は、その推定結果及び車両１の全幅等に基づいて後方画像中に補助線１００を重畳させる画像領域を決定する。そして、画像生成部３４は、決定した画像領域に補助線１００を重畳する。
【００３８】
次に、画像生成部３４は、生成された運転支援画像を表示部５０に送信する（ステップＡ１７）。ＥＣＵ２０から送信された運転支援画像は、表示部５０で表示される。ＥＣＵ２０から運転支援画像が送信された後は、ステップＡ２０に移る。
【００３９】
後方画像に特定の対象物が含まれている場合（ステップＡ１４のＹＥＳ）、画像生成部３４は、後方画像において補助線１００が重畳される画像領域と、特定の対象物が位置する画像領域との重複部分が後方画像に含まれているか否かを判定する（ステップＡ１５）。以下、後方画像における補助線１００が重畳される画像領域と、後方画像における特定の対象物が位置する画像領域との重複部分を「重複部分」と呼ぶ。
【００４０】
ここで、対象物検知部３３は、特定の対象物を検知するとともに、後方画像における特定の対象物の位置を検知する。また、画像生成部３４は、上述した方法で、補助線１００を重畳させようとする画像領域を決定する。そして、画像生成部３４は、対象物検知部３３が検知した特定の対象物が位置する画像領域と、決定した補助線１００を重畳させようとする画像領域とに基づいて、重複部分が後方画像中にあるか否を判定する。
【００４１】
重複部分が後方画像に含まれていない場合（ステップＡ１５のＮＯ）、画像生成部３４は、後方画像に補助線１００を重畳して運転支援画像を生成する（ステップＡ１６）。次いで、画像生成部３４は、生成した運転支援画像を表示部５０に送信する（ステップＡ１７）。ＥＣＵ２０から送信された運転支援画像は、表示部５０で表示される。
【００４２】
このときに表示部５０に表示される運転支援画像の一例である運転支援画像Ｐ２は図５に示されている。運転支援画像Ｐ２には、補助線１００が重畳されており、歩行者Ｗ１が映っている。なお、後方画像中に特定の対象物が含まれておらず、ステップＡ１６で生成される運転支援画像には、運転支援画像Ｐ２に含まれている歩行者Ｗ１が含まれない。
【００４３】
ＥＣＵ２０から運転支援画像Ｐ２が送信された後は、ステップＡ２０に移る。
【００４４】
重複部分が後方画像に含まれている場合（ステップＡ１５のＹＥＳ）、画像生成部３４は、後方画像に補助線１００を重畳しない運転支援画像を生成する（ステップＡ１８）。次いで、画像生成部３４は、生成した運転支援画像を表示部５０に送信する（ステップＡ１９）。その後、運転支援画像は、表示部５０に表示される。
【００４５】
このときに表示部５０に表示される運転支援画像の一例である運転支援画像Ｐ３は図６に示されている。図６の画像領域１００Ｒは、後方画像において補助線１００が重畳される画像領域、つまり、補助線１００が後方画像に重畳されたとした場合の画像領域を示している。図６の画像領域１００Ｒの境界である破線は、説明の都合上示されているだけであり、実際には運転支援画像Ｐ３中に表示されない。したがって、運転支援画像Ｐ３には、補助線１００が全く含まれない。
【００４６】
ＥＣＵ２０から運転支援画像Ｐ３が送信された後は、ステップＡ２０に移る。
【００４７】
ステップＡ２０において、撮像制御部３１は後進運転モードが解除されたか否か、つまり、車両１の運転モードが後進運転モードから他の運転モードに切り替えられたか否かを判定する（ステップＡ２０）。ここで、他の運転モードは、例えば、前進運転モードや停止モードである。撮像制御部３１は、ステップＡ１１で説明した方法と同様にして判定する。
【００４８】
後進運転モードが解除されていない場合（ステップＡ２０のＮＯ）、ステップＡ１３に移る。他方、後進運転モードが解除された場合（ステップＡ２０のＹＥＳ）、撮像制御部３１は、リアカメラ１０に撮像停止信号を送信する（ステップＡ２１）。リアカメラ１０は、撮像停止信号を受信した場合、後方画像の撮像を停止する。撮像が停止されると、画像生成装置３は、リアカメラ１０から後方画像を取得できないため、表示部５０に表示されるべき運転支援画像を表示部５０に送信することができなくなり、表示部５０での運転支援画像の表示が停止する。その後、画像生成装置３の動作は終了する。
【００４９】
なお、補助線１００は、必ずしも、線１０１、１０２、１０３、１０４、１０５から構成されていなくてもよい。例えば、補助線１００には、線１０４が含まれていなくてもよい。
【００５０】
以上説明したように、第１実施形態によれば、重複部分が後方画像に含まれている場合には、後方画像に補助線１００を重畳しない運転支援画像Ｐ３が生成される。このため、運転支援画像Ｐ３を車両１内の表示部５０に表示することで、車両１の運転者が、歩行者などの特定の対象物を認識しやすくなり、運転者は車両１の安全な後進運転を行うことができる。
【００５１】
一方、後方画像に重複部分が含まれていない場合には、後方画像に補助線１００が重畳されている運転支援画像（運転支援画像Ｐ２等）が生成される。このため、運転支援画像Ｐ２を車両１内の表示部５０に表示することで運転者が補助線１００を見ながら後進運転を行うことができるため、運転者は容易に後進運転することができる。
【００５２】
つまり、第１実施形態によれば、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。
【００５３】
なお、本実施形態において、補助線１００が重畳されていない運転支援画像Ｐ３を生成することに替えて、図７に示されている運転支援画像Ｐ４を生成してもよい。図７は、変形例に係る画像生成装置３によって生成される運転支援画像の一例を示す図である。
【００５４】
運転支援画像Ｐ４は、後方画像に半透明状態で補助線１００が重畳された画像である。補助線１００が半透明状態であれば、特定の対象物である歩行者Ｗ１及び自転車の運転者Ｄ１に重畳したとしても、車両１の運転者は、特定の対象物を認識しやすい。また、特定の対象物が位置していない画像領域では、運転者にとって半透明の補助線１００は視認可能である。したがって、重複部分が後方画像に含まれている場合、後方画像に補助線１００が半透明状態で重畳された運転支援画像を生成することでも、上述した実施形態と同様の作用効果を奏する。
【００５５】
（第２実施形態）
以下、図８を参照して本発明の第２実施形態を説明する。以下に説明する実施形態において、上述した第１実施形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。なお、第２実施形態の表示システム２及び画像生成装置３の構成は、図３に示されている構成と同様である。
【００５６】
図８は、後方画像において車両１の後進運転を補助する補助線１００が重畳される画像領域と、特定の対象物が位置する画像領域とが重複する場合に、本発明の第２実施形態に係る画像生成装置３によって生成される画像の一例である。
【００５７】
第２実施形態では、画像生成部３４は、後方画像に重複部分が含まれている場合、線１０１〜１０４が重畳され、線１０５が重畳されていない運転支援画像Ｐ５を生成する。このとき、線１０１、１０２、１０３、１０４が重畳される後方画像中の画像領域には、重複部分が含まれていない。一方、線１０５が重畳される後方画像中の画像領域には、重複部分を含む。
【００５８】
つまり、画像生成部３４は、後方画像に重畳したとすると特定の対象物が位置する画像領域に重畳されてしまう線のみを後方画像に重畳せずに、補助線１００の中のその他の線を後方画像に重畳する。
【００５９】
このため、運転支援画像Ｐ５には、線１０１、１０２、１０３、１０４が含まれる。図８の画像領域１０５Ｒは、後方画像において線１０５が重畳される画像領域、つまり、後方画像に重畳された場合に線１０５が位置する画像領域である。図８の画像領域１０５Ｒの境界を示す破線は、説明の都合上示されているだけであり、実際には運転支援画像Ｐ５中には表示されない。
【００６０】
第２実施形態の画像生成装置３の動作は、図４のステップＡ１８において、上述した運転支援画像Ｐ５を生成すること以外は、図４に示されている動作と同様である。
【００６１】
以上説明したように、第２実施形態によれば、重複部分が後方画像に含まれている場合、後方画像に重畳したとすると特定の対象物が位置する画像領域に重畳されてしまう線１０５が重畳されていない運転支援画像Ｐ５を生成する。したがって、第２実施形態においても第１実施形態と同様、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。また、運転支援画像Ｐ５を表示部５０に表示することで、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
【００６２】
更に、第２実施形態で生成される運転支援画像Ｐ５には、特定の対象物が位置する画像領域に重畳しない線１０１〜１０４が含まれている。このため、線１０１〜１０５すべてが重畳されていない運転支援画像Ｐ３と比べて、車両１の運転者に対してより効果的な運転支援を行うことができる画像を生成できる。
【００６３】
なお、画像生成部３４は、運転支援画像Ｐ５を生成することに替えて、後方画像に線１０１〜１０４が重畳されており、かつ、線１０５を半透明状態にして重畳されている運転支援画像を生成してもよい。この場合においても、上述した第２実施形態と同様の作用効果を奏する。
【００６４】
（第３実施形態）
以下、図９を参照して本発明の第３実施形態を説明する。以下に説明する実施形態において、上述した第１実施形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。なお、第３実施形態の表示システム２及び画像生成装置３の構成は、図３に示されている構成と同様である。
【００６５】
図９は、後方画像において車両１の後進運転を補助する補助線１００が重畳される画像領域と、特定の対象物が位置する画像領域とが重複する場合に、本発明の第３実施形態に係る画像生成装置３によって生成される運転支援画像の一例を示す図である。
【００６６】
第３実施形態では、画像生成部３４は、後方画像に重複部分が含まれている場合、重複部分において補助線１００が重畳されていない運転支援画像Ｐ６を生成する。
【００６７】
運転支援画像Ｐ６は、後方画像に線１０１、１０２、１０３、１０４が重畳され、重複部分以外の画像領域に線１０５が重畳された画像である。このため、運転支援画像Ｐ６は、あたかも、歩行者Ｗ１及び自転車の運転者Ｄ１が線１０５よりも前側に配置されているかのように見える。
【００６８】
第３実施形態の画像生成装置３の動作は、図４のステップＡ１８において、上述した運転支援画像Ｐ６を生成すること以外は、図４に示されている動作と同様である。
【００６９】
以上説明したように、第３実施形態によれば、重複部分が後方画像に含まれている場合、該重複部分において補助線が重畳されていない運転支援画像Ｐ６を生成する。したがって、第３実施形態においても第１実施形態と同様、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。また、運転支援画像Ｐ６を表示部５０に表示することで、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
【００７０】
更に、第３実施形態において生成される運転支援画像Ｐ６は、画像領域中の該重複部分以外については補助線１００が重畳されている。このため、第３実施形態においても第２実施形態と同様に、車両１の運転者に対してより効果的な運転支援を行うことができる画像を生成できる。
【００７１】
なお、画像生成部３４は、運転支援画像Ｐ６に替えて、重複部分において半透明状態にして補助線１００が重畳されている運転支援画像を生成してもよい。この場合においても、上述した第３実施形態と同様の作用効果を奏する。
【００７２】
（第４実施形態）
以下、本発明の第４実施形態を説明する。以下に説明する実施形態において、上述した第１実施形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。なお、第４実施形態の表示システム２及び画像生成装置３の構成は、図３に示されている構成と同様である。
【００７３】
第４実施形態の対象物検知部３３は、後方画像に含まれる特定の対象物の数の増減を検知する。第４実施形態の画像生成部３４は、後方画像に含まれる特定の対象物の数の増減に応じて、画像生成モードを切り替える。画像生成モードには、第１画像生成モードと第２画像生成モードとがある。第１画像生成モードは、後方画像に重複部分が含まれている場合、後方画像に重畳したとすると特定の対象物が位置する画像領域に重畳されてしまう線のみが重畳されずに、その他の線が重畳された運転支援画像を生成する画像生成モードである。即ち、第１画像生成モードは、第２実施形態における運転支援画像Ｐ５を生成する画像生成モードである。第２画像生成モードは、後方画像に重複部分が含まれている場合に、補助線１００が重畳されていない運転支援画像を生成する画像生成モードである。即ち、第２画像生成モードは、第１実施形態における運転支援画像Ｐ３を生成する画像生成モードである。
【００７４】
以下、図１０、図１１及び図１２を参照して第４実施形態に係る表示システム２の動作を説明する。図１０は、本発明の第４実施形態に係る画像生成装置３が行う動作を示すフローチャートを示す図である。図１１及び図１２は、本発明の第４実施形態に係る画像生成装置３によって生成される運転支援画像の一例を示す図である。なお、図１１及び図１２において、画像領域１０１Ｒ、１０２Ｒ、１０３Ｒ、１０４Ｒ、１０５Ｒはそれぞれ、線１０１、１０２、１０３、１０４、１０５が後方画像に重畳されるとしたときの画像領域を示している。図１１における画像領域１０５Ｒの境界を示す破線は、実際の運転支援画像Ｐ７には表示されない。また、図１２における画像領域１０１Ｒ、１０２Ｒ、１０２Ｒ、１０４Ｒ、１０５Ｒの境界（画像領域１００Ｒの境界）を示す破線は、実際の運転支援画像Ｐ８には表示されない。
【００７５】
なお、図１０において、図４に示されているフローチャートの処理と同じ処理については、同じ参照符号が付されている。第４実施形態における画像生成装置３は、図４に破線枠で囲まれているステップＡ１８及びＡ１９に替えて、ステップＢ１１〜Ｂ１９を実行する。
【００７６】
後方画像に特定の対象物が含まれている場合（ステップＡ１４のＹＥＳ）、画像生成部３４は、重複部分が後方画像に含まれているか否かを判定する（ステップＡ１５）。重複部分が後方画像に含まれている場合（ステップＡ１５のＹＥＳ）、画像生成部３４は、現在の画像生成モードを判定する（ステップＢ１１）。
【００７７】
現在の画像生成モードが第１画像生成モードである場合（ステップＢ１１のＹＥＳ）、対象物検知部３３は、後方画像に含まれる特定の対象物の数が増加したか否かを判定する（ステップＢ１２）。
【００７８】
なお、ステップＡ１４において、後方画像に特定の対象物が含まれていることが検知されているため、ステップＢ１２の処理が行われるときには、必ず後方画像中に少なくとも１つの特定の対象物が含まれていることになる。したがって、ステップＢ１２において、特定の対象物の数の増加とは、１以上の第１の数から第１の数よりも大きい第２の数に増加することを意味する。
【００７９】
後方画像に含まれている特定の対象物の数が増加していない場合（ステップＢ１２のＮＯ）、画像生成部３４は、図１１に例示されている一部の補助線が重畳された運転支援画像Ｐ７を生成する（ステップＢ１８）。ここで一部の補助線とは、補助線１００の中の後方画像に重畳したとすると特定の対象物が位置する画像領域に重畳されてしまう線（線１０５）以外の線（線１０１〜１０４）のことである。運転支援画像Ｐ７が生成された後、画像生成部３４は、生成された運転支援画像を表示部５０に送信する（ステップＢ１９）。その後、ステップＡ２０に移る。
【００８０】
後方画像に含まれている特定の対象物の数が増加した場合（ステップＢ１２のＹＥＳ）、以下の処理が行われる。例えば、図１１に示すように、後方画像には特定の対象物として歩行者Ｗ１のみが含まれていたが、他の歩行者Ｗ２、Ｗ３、Ｗ４、Ｗ５が車両１の後方を横切ろうとして、図１２に示すように歩行者Ｗ２、Ｗ３、Ｗ４、Ｗ５が後方画像に映り込むようになったとする。
【００８１】
画像生成部３４は、画像生成モードを、第１画像生成モードから第２画像生成モードに切り替える（ステップＢ１３）。そして、画像生成部３４は、図１２に例示されている補助線１００が重畳されていない運転支援画像Ｐ８を生成する（ステップＢ１４）。運転支援画像Ｐ８が生成された後、画像生成部３４は、生成された運転支援画像Ｐ８を表示部５０に送信する（ステップＢ１５）。その後、ステップＡ２０に移る。
【００８２】
現在の画像生成モードが第２画像生成モードである場合（ステップＢ１１のＮＯ）、対象物検知部３３は、後方画像に含まれる特定の対象物の数が減少したか否かを判定する（ステップＢ１６）。
【００８３】
なお、ステップＡ１４において、後方画像に特定の対象物が含まれていることが検知されているため、ステップＢ１６の処理が行われるときには、必ず後方画像中に少なくとも１つの特定の対象物が含まれていることになる。したがって、ステップＢ１６において、特定の対象物の数の減少とは、２以上の数である第３の数から１以上であって第３の数よりも小さい数である第４の数に減少することを意味する。
【００８４】
後方画像に含まれている特定の対象物の数が減少していない場合（ステップＢ１６のＮＯ）、画像生成部３４は、図１２に例示されている補助線１００が生成されていない運転支援画像を生成する（ステップＢ１４）。そして、画像生成部３４は、生成した運転支援画像を表示部５０に送信する（ステップＢ１５）。その後、ステップＡ２０に移る。
【００８５】
一方、後方画像に含まれている特定の対象物の数が減少した場合（ステップＢ１６のＹＥＳ）、画像生成部３４は、画像生成モードを、第２画像生成モードから第１画像生成モードに切り替える（ステップＢ１７）。そして、画像生成部３４は、図１１に例示されている一部の補助線１００が重畳されている運転支援画像Ｐ７を生成し（ステップＢ１８）、生成した運転支援画像を表示部５０に送信する（ステップＢ１９）。その後、ステップＡ２０に移る。
【００８６】
以上説明したように、第４実施形態によれば、重複部分が後方画像に含まれている場合、特定の対象物が位置する画像領域に重畳されない線１０１〜１０４が重畳されている運転支援画像Ｐ７又は、補助線１００が重畳されていない運転支援画像Ｐ８が生成される。したがって、第４実施形態においても第１実施形態と同様、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。また、運転支援画像Ｐ７及びＰ８を表示部５０に表示させることで、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
【００８７】
更に、第４実施形態によれば、後方画像に含まれる特定の対象物の増減に応じて画像生成モードを切り替える。このため、車両１の後方を横切る人が増えた場合には、しばらくは車両１が後進できない状態であると推測されるので、補助線１００が重畳しない画像を表示することで、運転支援を停止し、しばらくは車両１を停止することを促すことができる。他方、車両１の後方を横切る人が減少した場合には、まもなく車両１を後進できる状態になると推測できるので、一部の補助線を重畳した画像を表示することで、運転支援を開始し、車両１の運転者に車両１を発進するための準備を促すことができる。
【００８８】
なお、画像生成部３４は、運転支援画像Ｐ７を生成することに替えて、後方画像に線１０１〜１０４が重畳されており、かつ、線１０５が半透明状態で重畳されている運転支援画像を生成してもよい。また、画像生成部３４は、運転支援画像Ｐ８を生成することに替えて、後方画像に補助線１００が半透明状態にされて重畳されている運転支援画像を生成してもよい。この場合においても、上述した第４実施形態と同様の作用効果を奏する。
【００８９】
（第５実施形態）
以下、図１３を参照して本発明の第５実施形態を説明する。以下に説明する実施形態において、上述した第１実施形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。なお、第５実施形態の表示システム２及び画像生成装置３の構成は、図３に示されている構成と同様である。
【００９０】
第５実施形態では、画像生成部３４は、後方画像に重複部分が含まれている場合、図１３に例示されているような、重複部分から離れる程透明度が低くなるように補助線１００が重畳された運転支援画像Ｐ９を生成する。図１３は、本発明の第５実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。
【００９１】
運転支援画像Ｐ９において、補助線１００に含まれる線、及び線の部分の透明度は、以下に示す順に高い値となっている。
【００９２】
（１）線１０５
（２）線１０１の一部分である部分１０１ａ、及び線１０２の一部分である部分１０２ａ
（３）線１０４、線１０１の一部分である部分１０１ｂ、及び線１０２の一部分である部分１０２ｂ
（４）線１０３、線１０１の一部分である部分１０１ｃ、及び線１０２の一部分である部分１０２ｃ
【００９３】
つまり、重複部分に重畳している線１０５の透明度が最も高く、重複部分から離れるにしたがって、線の透明度は低くなり、重複部分から最も離れている線１０３、部分１０１ｃ及び部分１０２ｃの透明度が最も低い。なお、補助線１００に対する透明度の決め方は、これに限られない。例えば、上述したような線単位や線の部分単位で透明度が決定されるのではなく、同じ線又は線の部分においても、重複部分に近づくにつれて連続的に透明度が高まっていくように補助線１００の透明度が決定されてもよい。
【００９４】
以上説明したように、第５実施形態によれば、後方画像に重複部分が含まれている場合、重複部分に近いほど補助線１００の透明度を高くした運転支援画像Ｐ９を生成する。このため、運転支援画像Ｐ９が表示部５０に表示されたときに、車両１の運転者にとって重複部分近傍の画像領域の特定の対象物を認識することの妨げにならない。したがって、第５実施形態においても第１実施形態と同様、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。また、運転支援画像Ｐ９を表示部５０に表示することで、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
【００９５】
更に、第５実施形態によれば、運転支援画像Ｐ９は、重複部分から遠いほど補助線の透明度を低くした画像である。このため、運転支援画像Ｐ９が表示部５０に表示されたときに、重複部分から離れた画像領域において、車両１の運転者は補助線１００を認識しやすい。したがって、線１０１〜１０５すべてが重畳されていない運転支援画像Ｐ３を生成する又は線１０１〜１０５すべてが半透明状態で重畳された運転支援画像を生成する場合と比べて、車両１の運転者に対してより効果的な運転支援を行うことができる。
【００９６】
なお、第２、第３、及び第４実施形態において生成される運転支援画像Ｐ５、Ｐ６、Ｐ７に替えて、重複部分に近づくほど透明度が高くなるように補助線１００の一部が重畳された運転支援画像が生成されてもよい。
【００９７】
（第６実施形態）
以下、図１４を参照して本発明の第６実施形態を説明する。以下に説明する実施形態において、上述した第１実施形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。
【００９８】
図１４は、本発明の第６実施形態に係る表示システム２の構成を示すブロック図である。第６実施形態の表示システム２は、リアカメラ６０と、表示部５０とを備える。
【００９９】
リアカメラ６０は、撮像部７０と画像生成装置８０とを備える。第１実施形態では、ＥＣＵ２０が画像生成装置３として機能したが、第６実施形態では、リアカメラ６０に画像生成装置８０が内蔵されている。
【０１００】
撮像部７０は、車両１の後方画像を撮像する。画像生成装置８０は、撮像部７０で撮像された後方画像に基づいて運転支援画像を生成し、生成した運転支援画像を表示部５０に送信する。
【０１０１】
画像生成装置８０は、ＣＰＵと、ＲＯＭ及びＲＡＭを含むメモリを備える。ＣＰＵがＲＯＭに記憶されている制御プログラムを読みだして、ＲＡＭに展開し、展開したプログラムを実行することでＣＰＵは、撮像制御部８１、画像取得部８２、対象物検知部８３、画像生成部８４及び通信部８５として機能する。
【０１０２】
なお、撮像制御部８１、画像取得部８２、対象物検知部８３、画像生成部８４及び通信部８５はそれぞれ、第１実施形態における、撮像制御部３１、画像取得部３２、対象物検知部３３、画像生成部３４及び通信部３５と同様の機能を有する。
【０１０３】
以上説明したように、第６実施形態のように、リアカメラ６０内で運転支援画像が生成される場合でも第１実施形態と同様、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
【０１０４】
後方画像中に重複部分が含まれる場合、少なくとも重複部分において、本発明の画像生成装置が、補助線１００が重畳されていない画像又は補助線１００が半透明状態で重畳された画像を生成することによるさらなる利点について以下、説明する。
【０１０５】
図１５は、リアカメラ１０が車両１の設計位置に搭載された場合における、従来の画像生成装置によって生成された運転支援画像の一例を示す図である。図１５に示すようにポールＰＬ１、ＰＬ２、ＰＬ３、ＰＬ４、ＰＬ５、ＰＬ６、ＰＬ７が配置されている場所に車両１を後進運転することで車庫入れすることを想定する。
【０１０６】
運転支援画像Ｐ１０は、リアカメラ１０で撮像された画像に補助線１００が重畳されて生成されている。リアカメラ１０は車両１の設計通りの位置に搭載されているため、補助線１００は、ポールＰＬ１〜ＰＬ７に重なっていない。
【０１０７】
しかしながら、リアカメラ１０の車両１に対する取付位置が設計位置からずれた場合、従来の画像生成装置によって生成される運転支援画像では、補助線１００がポールＰＬ１〜ＰＬ７に重なることがある。
【０１０８】
図１６は、リアカメラ１０が車両１の設計位置からずれた位置に搭載された場合における、従来の画像生成装置によって生成された運転支援画像の一例を示す図である。運転支援画像Ｐ１１では、補助線１００が左側にシフトして、ポールＰＬ２に重なっている。
【０１０９】
即ち、リアカメラ１０が設計位置に搭載されたときには補助線１００が特定の対象物に重ならなかったとしても、リアカメラ１０の搭載位置が設計位置からずれることで、特定の対象物に補助線１００が重なってしまうことがある。特定の対象物に補助線１００が重なった画像が生成された場合、表示部５０にその画像が表示されたとしても運転者は特定の対象物を認識しにくい。
【０１１０】
しかしながら、本発明の画像生成装置によれば、後方画像中の特定の対象物が位置する画像領域には補助線１００が重畳されていない、又は半透明状態で補助線１００が重畳された運転支援画像を生成する。このため、リアカメラ１０の搭載位置が設計位置からずれた場合であっても、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。また、該画像を表示部に表示させることで運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
【０１１１】
＜注釈＞
その他、上記各実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【０１１２】
本発明は、運転者による車両の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる画像生成装置に好適に利用される。
【符号の説明】
【０１１３】
１  車両
２  表示システム
３，８０  画像生成装置
１０，６０  リアカメラ
２０  ＥＣＵ
３１，８１  撮像制御部
３２，８２  画像取得部
３３，８３  対象物検知部
３４，８４  画像生成部
３５，８５  通信部
５０  表示部
７０  撮像部
Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１  運転支援画像
ＰＬ１，ＰＬ２，ＰＬ３，ＰＬ４，ＰＬ５，ＰＬ６，ＰＬ７  ポール
１００  補助線
１０１，１０２  車幅延長線
１０３，１０４，１０５  後方距離目安線
１０１ａ，１０１ｂ，１０１ｃ，１０２ａ，１０２ｂ，１０２ｃ  部分
Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５  歩行者
Ｄ１  自転車の運転者
１００Ｒ，１０１Ｒ，１０２Ｒ，１０３Ｒ，１０４Ｒ，１０５Ｒ  画像領域
【図１】
2020161866.tif 000003
【図２】
2020161866.tif 000004
【図３】
2020161866.tif 000005
【図４】
2020161866.tif 000006
【図５】
2020161866.tif 000007
【図６】
2020161866.tif 000008
【図７】
2020161866.tif 000009
【図８】
2020161866.tif 000010
【図９】
2020161866.tif 000011
【図１０】
2020161866.tif 000012
【図１１】
2020161866.tif 000013
【図１２】
2020161866.tif 000014
【図１３】
2020161866.tif 000015
【図１４】
2020161866.tif 000016
【図１５】
2020161866.tif 000017
【図１６】
2020161866.tif 000018