(57)【要約】【課題】重畳画像を表示させる位置が適切に設定され、運転者が見やすい画像が表示される電子ミラーシステムを構築可能な画像処理装置、画像処理方法、及び、画像処理プログラムを提供する。【解決手段】画像処理装置は、車両に搭載された撮像装置、および表示装置に接続される画像処理装置であって、当該画像処理装置の動作を制御する制御回路を備え、前記制御回路は、前記撮像装置によって撮影された前記車両の後側方画像のデータと、前記車両が走行している車線を示す車線情報を取得し、前記後側方画像上の重畳位置に重畳表示される重畳画像のデータを生成し、前記後側方画像のデータと前記重畳画像のデータとを前記表示装置へ出力し、前記重畳位置は、前記車線情報に基づいて設定される。【選択図】図５
2019009599.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像装置、および表示装置に接続される画像処理装置であって、
当該画像処理装置の動作を制御する制御回路を備え、
前記制御回路は、
前記撮像装置によって撮影された前記車両の後側方画像のデータと、前記車両が走行している車線を示す車線情報を取得し、
前記後側方画像上の重畳位置に重畳表示される重畳画像のデータを生成し、
前記後側方画像のデータと前記重畳画像のデータとを前記表示装置へ出力し、
前記重畳位置は、前記車線情報に基づいて設定される、
画像処理装置。
【請求項２】
前記制御回路は、前記車線情報によって前記車両が進行方向左側の車線を走行していることが示される場合、前記後側方画像の左側に前記重畳位置を設定し、前記車線情報によって前記車両が進行方向右側の車線を走行していることが示される場合、前記後側方画像の右側に前記重畳位置を設定する、
請求項１に記載の画像処理装置。
【請求項３】
前記制御回路は、
前記車両の運転者が注目する方向を示す情報である注目方向情報を更に取得し、
前記注目方向情報に基づいて前記重畳位置を再設定する、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記車両に搭載された方向指示器と更に接続し、
前記注目方向情報は、前記方向指示器が指示する方向を示す情報である、
請求項３に記載の画像処理装置。
【請求項５】
前記制御回路は、前記後側方画像の一部を利用して前記重畳画像を生成する、
請求項１乃至４の何れかに記載の画像処理装置。
【請求項６】
前記制御回路は、前記後側方画像の一部の拡大画像を利用して前記重畳画像を生成する、
請求項５に記載の画像処理装置。
【請求項７】
車両に搭載され前記車両の後側方を撮影する撮像装置によって撮影された後側方画像を取得し、
前記車両が走行している車線を示す情報である車線情報を取得し、
前記後側方画像上の重畳位置に重畳表示される重畳画像を生成し、
前記車線情報に基づいて前記重畳位置を設定し、
前記後側方画像と前記重畳画像を前記車両に搭載された表示器に出力する、
画像処理方法。
【請求項８】
車両に搭載され前記車両の後側方を撮影する撮像装置によって撮影された後側方画像を取得する後側方画像取得手順と、
前記車両が走行している車線を示す情報である車線情報を取得する車線情報取得手順と、
前記後側方画像上の重畳位置に重畳表示される重畳画像を生成する重畳画像生成手順と、
前記車線情報に基づいて前記重畳位置を設定し、前記後側方画像と前記重畳画像を前記車両に搭載された表示器に出力する画像処理手順と、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置によって撮影された画像を、車両に搭載された表示器に出力する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、車両の運転者は、ルームミラーやサイドミラー又はフェンダーミラーといった鏡を介して車両の後側方を視認していた。しかしながら、これらの鏡を利用して後側方視認する場合、比較的大きな死角が生じやすい。死角は小さい方が望ましい。
【０００３】
そこで近年、電子ミラーシステムの開発が進められている。電子ミラーシステムとは、車両に搭載された撮像装置によって撮影された後側方画像を、車両に搭載された表示器に表示させるものである。
【０００４】
電子ミラーシステムに用いられる画像処理装置の一例が特許文献１に開示されている。特許文献１に開示された画像処理装置は、後側方の画像の中の、煩雑な画像を映し出す煩雑領域に、運転者の関心の対象となる関心領域の画像を拡大して貼り付けた上で、後側方の画像を表示器に表示させるものである。
【０００５】
なお、煩雑領域とは、表示器に表示される車両の後側方の画像に含まれる、運転者にとって煩わしく感じられやすい領域である。具体的には、車両の側方を相対的に後方に高速移動していく防音壁やガードレールなどの道路脇に設置された静止物体が映し出される領域である。
【０００６】
特許文献１に記載された画像処理装置は、時系列に沿って取得される一連の撮像画像を画像解析することにより煩雑領域を設定する。具体的には、連続する撮像画像に含まれる被撮影物の動きの速い領域が煩雑領域に設定される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１６−２２００１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載された画像処理装置を用いた場合、画像解析を適切に行うことができず、煩雑領域を適切に設定できない状況が生じる可能性がある。例えば以下のような場合、被撮影物の動きの速さを正しく解析できない状況が生じる可能性がある。
【０００９】
すなわち、撮像画像の取得周期の間に車両が移動する距離と、ガードレールや街灯の支柱等、互いに同じ形状を有する複数の被撮影物の配置間隔とが等しい場合、複数の撮像画像中の同じ位置に当該被撮影物が写っていることとなる。この場合、被撮影物は停止していると判断される恐れがある。また、撮像画像の取得周期の間に車両が移動する距離と、互いに同じ形状を有する複数の被撮影物の配置間隔との差が小さい場合、複数の撮像画像中に同じ形状を有する複数の被撮影物が少しずつずれて写り込むことになる。この場合、被撮影物の動きは遅いと判断される恐れがある。
【００１０】
本発明はこのような状況に鑑みなされたものであり、重畳画像を表示させる位置が適切に設定され、運転者が見やすい画像が表示される電子ミラーシステムを構築可能な画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、車両に搭載された撮像装置、および表示装置に接続される画像処理装置であって、当該画像処理装置の動作を制御する制御回路を備え、前記制御回路は、前記撮像装置によって撮影された前記車両の後側方画像のデータと、前記車両が走行している車線を示す車線情報を取得し、前記後側方画像上の重畳位置に重畳表示される重畳画像のデータを生成し、前記後側方画像のデータと前記重畳画像のデータとを前記表示装置へ出力し、前記重畳位置は、前記車線情報に基づいて設定される。
【００１２】
また、本発明に係る画像処理方法は、車両に搭載され前記車両の後側方を撮影する撮像装置によって撮影された後側方画像を取得し、前記車両が走行している車線を示す情報である車線情報を取得し、前記後側方画像上の重畳位置に重畳表示される重畳画像を生成し、前記車線情報に基づいて前記重畳位置を設定し、前記後側方画像と前記重畳画像を前記車両に搭載された表示器に出力する。
【００１３】
また、本発明に係る画像処理プログラムは、車両に搭載され前記車両の後側方を撮影する撮像装置によって撮影された後側方画像を取得する後側方画像取得手順と、前記車両が走行している車線を示す情報である車線情報を取得する車線情報取得手順と、前記後側方画像上の重畳位置に重畳表示される重畳画像を生成する重畳画像生成手順と、前記車線情報に基づいて前記重畳位置を設定し、前記後側方画像と前記重畳画像を前記車両に搭載された表示器に出力する画像処理手順と、をコンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、重畳画像を表示させる位置が適切に設定され、運転者が見やすい画像が表示される電子ミラーシステムを構築可能な画像処理装置、画像処理方法、及び、画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】車両の平面図
【図２】撮影された画像例
【図３】表示器が配置された運転席の一例を示す模式図
【図４】画像処理装置のハードウェア構成図
【図５】画像処理装置の機能ブロック図
【図６】車両が左側車線を走行している時の画像例
【図７】車両が右側車線を走行している時の画像例
【図８】画像処理のフローチャート
【図９】他の実施形態に係る画像処理装置の機能ブロック図
【図１０Ａ】重畳位置が再設定される前の表示画像例
【図１０Ｂ】重畳位置が再設定された後の表示画像例
【図１１】他の実施形態に係る画像処理のフローチャート
【発明を実施するための形態】
【００１６】
まず、本発明に係る画像処理装置を搭載する車両について説明する。
【００１７】
図１は車両１０の平面図である。車両１０の左側方には、車両１０の左側方を撮影する第１撮像装置１１が取り付けられている。車両１０の右側方には、車両１０の右側方を撮影する第２撮像装置１２が取り付けられている。車両１０の後方には、車両１０の後方画像を撮影する第３撮像装置１３が取り付けられている。本明細書では、車両１０の側方画像及び後方画像を総称して、後側方画像と記載する。第１撮像装置１１、第２撮像装置１２、及び第３撮像装置１３は、例えば、ＣＣＤ又はＣＭＯＳ等のイメージセンサを有するカメラである。
【００１８】
また、車両１０は、上空の人工衛星から送信され車両１０の位置を示す信号である測位用信号を受信できる位置に測位用信号受信機１６を搭載している。
【００１９】
図２は、車両１０が３車線道路の左側の車線を走行している際の、車両１０の後側方画像４１であり、左から順に、第１撮像装置１１、第３撮像装置１３及び第２撮像装置１２によって撮影された後側方画像４１を並べて配置した図である。図２中には、重畳画像として利用される部分４２、煩雑領域４３及び重畳位置４４が示されている。これらについては後述する。
【００２０】
図３は車両１０の運転席を示す模式図である。運転席には左側に第１表示器１４が、右側に第２表示器１５が配置されている。第１表示器１４及び第２表示器１５は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイである。
【００２１】
第１表示器１４には、例えば、第１撮像装置１１によって撮影された後側方画像４１、又は、第１撮像装置１１によって撮影された後側方画像４１と第３撮像装置１３によって撮影された後側方画像４１に基づいて生成された画像が表示される。第２表示器１５には、例えば、第２撮像装置１２に撮影された後側方画像４１、又は、第２撮像装置１２によって撮影された後側方画像４１と第２撮像装置１２によって撮影された後側方画像４１に基づいて生成された画像が表示される。
【００２２】
図４は車両１０に搭載される画像処理装置２０のハードウェア構成図である。画像処理装置２０は、ＣＰＵ２１、ＧＰＵ２２、記憶装置２３、情報の入出力を行うインターフェース（Ｉ／Ｆ）２４、およびこれらを接続するバス２５を有する。なお、画像処理装置２０は、各撮像装置及び各表示器と通信可能であれば、車両１０の外部に配置されていても良い。
【００２３】
記憶装置２３に記憶されたプログラムをＣＰＵ２１及びＧＰＵ２２が実行することにより、画像処理装置２０は図５に示される各機能ブロックを構築する。
【００２４】
すなわち、画像処理装置２０は、後側方画像取得部３１、車線情報取得部３２、重畳画像生成部３３及び画像処理部３４を構築する。
【００２５】
後側方画像取得部３１は、第１撮像装置１１、第２撮像装置１２及び第３撮像装置１３によって撮影された車両１０の後側方画像４１のデータを取得する。
【００２６】
車線情報取得部３２は、測位用信号受信機１６から、車両１０の位置を示す測位用信号を取得する。後に説明する画像処理部３４は、取得した測位用信号と、記憶装置２３に記憶されたデータベースを参照することにより、車両１０が片側何車線の道路のどの車線を走行しているのかを特定する。すなわち、本実施形態において、測位用信号は車両１０が走行している車線を示す情報である車線情報でもある。
【００２７】
重畳画像生成部３３は、後側方画像４１（図２参照）上の重畳位置４４（図２参照）に重畳される重畳画像４５（図６参照）のデータを生成する。本実施形態において、重畳画像４５は後側方画像４１の一部（図２の符号４２）の拡大画像である。具体的には、後側方画像４１中に含まれる、運転者の関心を引く被撮影物及びその周辺を切り出した画像が重畳画像４５として利用される。運転者の関心を引く被撮影物とは、例えば、自動車や歩行者等の移動体である。
【００２８】
画像処理部３４は、前述のとおり、車線情報に基づいて、車両１０が片側何車線の道路のどの車線を走行しているのかを特定し、特定された車線に基づき、重畳位置４４を設定する。重畳位置４４は、後側方画像４１中の煩雑領域４３が存在すると想定される位置に設定される。
【００２９】
例えば、車両１０が進行方向左側の車線を走行している場合、車両１０は車両１０の右側に設置されている静止物体よりも、車両１０の左側に設置されている静止物体に近い。そのため、後側方画像４１の左側に煩雑領域４３が生じると想定される。よって、車線情報によって車両１０が進行方向左側の車線を走行していることが示される場合、画像処理部３４は、図２に示されるように、後側方画像４１の左側に重畳位置４４を設定する。
【００３０】
一方、車両１０が進行方向右側の車線を走行している場合、車両１０は車両１０の左側に設置されている静止物体よりも、車両１０の右側に設置されている静止物体に近い。そのため、後側方画像４１の右側に煩雑領域４３が生じやすい。よって、車線情報によって車両１０が進行方向右側の車線を走行していることが示される場合、画像処理部３４は、後側方画像４１の右側に重畳位置４４を設定する。
【００３１】
なお、車線数が１である道路や、車線数が奇数である道路の中央の車線を車両１０が走行している場合は、あらかじめ定められた位置に重畳位置４４が設定される。本実施形態では後側方画像４１の左側に重畳位置４４が設定されるが、後側方画像４１の右側に重畳位置４４が設定されても良い。
【００３２】
また、画像処理部３４は、後側方画像４１のデータと重畳画像４５のデータとを第１表示器１４及び第２表示器１５に出力する。本実施形態においては、第１表示器１４には、第１撮像装置１１によって撮影された後側方画像４１が出力され、第２表示器１５には第２撮像装置１２によって撮影された後側方画像４１が出力される。なお、第３撮像装置１３によって撮影された後側方画像４１は、例えばフロントウィンドウの中央上部に設置された図示されない第３表示器に出力されてもよい。
【００３３】
画像処理部３４は、重畳位置４４が後側方画像４１の左側に設定された場合は、重畳画像４５のデータを第１表示器１４に出力する。また、画像処理部３４は、重畳位置４４が後側方画像４１の右側に設定された場合は、重畳画像４５のデータを第２表示器１５に出力する。
【００３４】
図６は、車両１０が３車線道路の左側の車線を走行している際に、画像処理装置２０に扱われる画像を並べて配置した図であり、図２に対応している。図６には、画像処理部３４から出力され第１表示器１４に表示される表示画像４６が左側に、第３撮像装置１３によって撮影された後側方画像４１が中央に、画像処理部３４から出力され第２表示器１５に表示される表示画像４６が右側に配置されている。図６に示されるように、重畳位置４４（図２参照）には重畳画像４５が重畳されている。すなわち、車線情報に基づいて設定された重畳位置４４に、重畳画像４５が表示されるように、画像処理部３４から第１表示器１４及び第２表示器１５に後側方画像４１のデータ及び重畳画像４５のデータが出力されている。
【００３５】
また、図７は、車両１０が３車線道路の右側の車線を走行している際に、画像処理装置２０に扱われる画像を並べて配置した図である。図７には、画像処理部３４から出力され第１表示器１４に表示される表示画像４６が左側に、第３撮像装置１３によって撮影された後側方画像４１が中央に、画像処理部３４から出力され第２表示器１５に表示される表示画像４６が右側に配置されている。図７に示されるように、重畳画像４５は表示画像４６の右側に配置されている。すなわち、車線情報に基づいて後側方画像４１の右側に重畳位置４４が設定されるとともに、当該重畳位置４４に重畳画像４５が配置された状態で、第１表示器１４及び第２表示器１５に後側方画像４１のデータ及び重畳画像４５のデータが出力されている。
【００３６】
なお、運転者の関心を引く被撮影物が車両１０から遠く離れる程、撮影された後側方画像４１に含まれる当該被撮影物の画像は小さくなる。しかしながら、本実施形態においては、後側方画像４１から切り出された画像は拡大されて重畳画像４５とされている。よって、煩雑領域４３を十分に覆うことが可能である。また、運転者の関心を引く被撮影物を運転者は容易に識別することができる。
【００３７】
次に、図８を参照しながら、画像処理装置２０による画像処理のフローを説明する。
【００３８】
まず、第１撮像装置１１、第２撮像装置１２及び第３撮像装置１３によって撮影された車両１０の後側方画像４１のデータを後側方画像取得部３１が取得する（Ｓ１１）。
【００３９】
続いて、測位用信号受信機１６によって受信された測位用信号（車線情報）を車線情報取得部３２が取得する（Ｓ１２）。
【００４０】
次に、重畳画像生成部３３は、後側方画像４１のデータ一部を利用して重畳画像４５のデータを生成する（Ｓ１３）。
【００４１】
続いて、画像処理部３４は、測位用信号と記憶装置２３に記憶されたデータベースに基づき、車両１０が何車線道路のどの車線を走行しているのかを特定し、特定された車線に基づいて、重畳位置４４を設定する（Ｓ１４）。
【００４２】
引き続き、画像処理部３４は、重畳位置４４に重畳画像４５が表示されるように、後側方画像４１のデータ及び重畳画像４５のデータを第１表示器１４及び第２表示器１５に出力する（Ｓ１５）。
【００４３】
第１表示器１４及び第２表示器１５への後側方画像４１及び重畳画像４５の出力は、例えば、車両１０のエンジン等の動力源が停止されてから所定時間が経過すると終了される。そのような画像出力の終了条件が成立したか否かが画像処理部３４によって判断される（Ｓ１６）。画像出力の終了条件が成立していない（Ｓ１６でＮＯ）と判断されると、本フローは繰り返される。画像出力の終了条件が成立した（Ｓ１６でＹＥＳ）と判断されると、本フローは終了する。
【００４４】
以上のフローにより、後側方画像４１中の煩雑領域４３が存在すると想定される位置に設定された重畳位置４４に重畳画像４５が重畳された状態で、後側方画像４１及び重畳画像４５が第１表示器１４及び第２表示器１５に表示される。
【００４５】
続いて、本発明に係る画像処理装置２０の他の実施形態について、先に説明した実施形態とは異なる点を中心に説明する。図９は他の実施形態に係る画像処理装置２０の機能ブロック図である。記憶装置２３に記憶されたプログラムをＣＰＵ２１及びＧＰＵ２２が実行することによって注目方向情報取得部３５が構築される点で、本実施形態は先の実施形態と異なる。
【００４６】
注目方向情報取得部３５は、車両１０の運転者が注目する方向を示す情報である注目方向情報を取得する。一般に、運転者は方向指示器が指示している方向を注目する。よって本実施形態においては、注目方向情報取得部３５は、車両１０に搭載された方向指示器（不図示）が指示する方向を示す情報を、方向指示器の動作を制御する方向指示装置１７から取得する。すなわち、本実施形態において、方向指示器が指示する方向を示す情報が注目方向情報に相当する。なお、方向指示器が指示する方向を示す情報は、方向指示器が作動した瞬間に１度出力される信号であってもよいし、方向指示器の作動中継続して出力される信号であっても良い。
【００４７】
本実施形態に係る画像処理部３４は、注目方向情報取得部３５によって取得された注目方向情報に基づいて、重畳位置４４を再設定する。すなわち、車線情報に基づいて設定された重畳位置４４がいずれの位置であっても、注目方向情報が左方向を示す情報である場合、画像処理部３４は、重畳位置４４を後側方画像４１の右側に再設定する。また、車線情報に基づいて設定された重畳位置４４がいずれの位置であっても、注目方向情報が右方向を示す情報である場合、画像処理部３４は、重畳位置４４を後側方画像４１の左側に再設定する。
【００４８】
一例として、３車線道路の中央の車線を走行している車両１０が左側の方向指示器を作動させた場合を説明する。なお、３車線道路の中央の車線を走行している場合、重畳位置４４は後側方画像４１の左側に設定される。
【００４９】
図１０Ａは、左から順に、第１撮像装置１１によって撮影された後側方画像４１に重畳画像４５が重畳された画像である表示画像４６、第３撮像装置１３によって撮影された後側方画像４１、及び、第２撮像装置１２によって撮影された後側方画像４１に基づく画像である表示画像４６である。左側の表示画像４６が第１表示器１４に表示され、右側の表示画像４６が第２表示器１５に表示される。
【００５０】
各画像がこのような状態である時に、左側の方向指示器が作動すると、注目方向情報取得部３５は、左側の方向指示器が作動したという情報を取得する。すると、画像処理部３４は、重畳位置４４を、後側方画像４１の右側に再設定する。よって、各表示器に表示される表示画像４６は、図１０Ｂのように変化する。すなわち、図１０Ｂの左側に示される表示画像４６が第１表示器１４に表示されるとともに、図１０Ｂの右側に示される表示画像４６が第２表示器１５に表示される。
【００５１】
よって、車両１０の運転者は、変更後の車線である左側の車線の状況を、重畳画像４５に遮られることなく確認することができる。すなわち、本実施形態に係る画像処理装置２０によれば、重畳画像４５がいずれの位置に表示されていても、重畳位置４４を再設定するとともに再設定された重畳位置４４に重畳画像４５を表示させることにより、運転者が注目する方向の後側方画像を表示器に表示させることができる。
【００５２】
次に、図１１を参照しながら、本実施形態に係る画像処理装置２０による画像処理のフローを説明する。
【００５３】
まず、第１撮像装置１１、第２撮像装置１２及び第３撮像装置１３によって撮影された車両１０の後側方画像４１のデータを後側方画像取得部３１が取得する（Ｓ２１）。
【００５４】
続いて、測位用信号受信機１６によって受信された測位用信号（車線情報）を車線情報取得部３２が取得する（Ｓ２２）。
【００５５】
次に、重畳画像生成部３３は、後側方画像４１のデータの一部を利用して重畳画像４５のデータを生成する（Ｓ２３）。
【００５６】
続いて、画像処理部３４は、測位用信号と記憶装置２３に記憶されたデータベースに基づき、車両１０が何車線道路のどの車線を走行しているのかを特定し、特定された車線に基づいて、重畳位置４４を設定する（Ｓ２４）。
【００５７】
引き続き、画像処理部３４は、重畳位置４４に重畳画像４５が表示されるように、後側方画像４１のデータ及び重畳画像４５のデータを第１表示器１４及び第２表示器１５に出力する（Ｓ２５）。
【００５８】
次に、画像処理部３４は、注目方向情報取得部３５によって注目方向情報が取得されたか否かを判断する（Ｓ２６）。注目方向情報が取得された（Ｓ２６でＹＥＳ）と判断された場合、画像処理部３４は、注目方向情報に基づいて、重畳位置４４を再設定する（Ｓ２７）。注目方向情報に基づいて重畳位置４４が再設定されると、再設定された重畳位置４４に重畳画像４５が表示されるように、画像処理部３４は後側方画像４１のデータと重畳画像４５のデータを第１表示器１４及び第２表示器１５に出力する（Ｓ２５）。
【００５９】
一方、注目方向情報が取得されていない（Ｓ２６でＮＯ）と判断された後、画像出力の終了条件が成立したか否かが画像処理部３４によって判断される（Ｓ２８）。なお、画像出力の終了条件は、例えば、車両１０のエンジン等の動力源が停止されてから所定時間が経過した時に成立したと判断される。画像出力の終了条件が成立していない（Ｓ２８でＮＯ）と判断されると、本フローは繰り返される。画像出力の終了条件が成立した（Ｓ２８でＹＥＳ）と判断されると、本フローは終了する。
【００６０】
以上のフローにより、煩雑領域４３の位置に対応した重畳位置４４に重畳画像４５が重畳された状態で、後側方画像４１及び重畳画像４５が第１表示器１４及び第２表示器１５に表示される。また、重畳画像４５は、運転者が注目する方向に基づいて再設定された重畳位置４４に表示される。
【００６１】
本実施形態に係る画像処理装置２０においては、注目方向情報に基づいて重畳位置４４が再設定される。よって、運転者が注目する方向に重畳画像４５が表示されることが防止される。すなわち、運転者が注目する方向の画像の一部が重畳画像４５によって覆い隠され、運転者に違和感を与えることが防止される。
【００６２】
以上、本発明に係る画像処理装置の実施形態について詳細に説明したが、本発明に係る画像処理装置が上に説明したものに限られないことは勿論である。例えば、後側方画像のデータは、１つ、２つ、又は４つ以上の撮像装置から取得したものであっても良いし、図１に示される位置以外の位置に設置された撮像装置から取得したものであっても良い。また、後側方画像のデータ及び重畳画像のデータは、１つ又は３つ以上の表示器に出力されても良いし、図３に示される位置以外の位置に設置された表示器に出力されても良い。例えば、これらの画像データは左右方向に広がる細長い１つの表示器に出力されても良い。
【００６３】
測位用信号は、車両が搭載しているカーナビゲーション装置から取得しても良い。また、車両に取り付けられ車両の前方を撮影可能な撮像装置によって撮影された車両の前方の画像を、車線情報取得部３２が取得及び解析することにより、車両が走行している車線が特定されてもよい。すなわち、その場合、車両の前方の画像のデータが車線情報となる。また、車両が走行する道路または当該道路の周辺に設置された設備から無線通信等によって取得することができる車両の位置情報を、車線情報取得部３２が取得及び解析することにより、車両が走行している車線が特定されてもよい。すなわち、その場合、当該位置情報が車線情報となる。
【００６４】
なお、重畳画像は、後側方画像の一部の画像またはその拡大画像ではない他の画像であってもよい。また、後側方画像の一部の画像またはその拡大画像と当該他の画像の組み合わせであっても良い。当該他の画像としては、例えば、カーナビゲーション装置の表示画面又はカーオーディオ装置の表示画面、若しくはそれらの一部等を利用することができる。
【００６５】
また、注目方向情報取得部３５は、運転者が目視している位置に関する情報を、注目方向情報として取得しても良い。運転者が目視している位置に関する情報は、車両に搭載される又は運転者に装着されている運転者の視線を検知する視線検知装置から得ることができる。例えば、運転者から見て左側に配置されている第１表示器１４に表示されている表示画像４６を運転者が目視している場合、画像処理部３４は、重畳位置４４を後側方画像４１の右側に再設定する。よって、運転者が目視している箇所及びその周辺の画像に影響を与えずに重畳画像４５を表示することができ、運転者による運転に支障を与えることを防止できる。
【００６６】
なお、運転者から見て左側に配置されている第１表示器１４に表示されている表示画像４６を運転者が目視している場合、画像処理部３４は、重畳位置４４を後側方画像４１の左側であって、且つ、運転者が目視している位置以外の位置に再設定してもよい。その場合、運転者はわずかな視線移動で重畳画像４５を目視することが可能となる。
【産業上の利用可能性】
【００６７】
本発明によれば、重畳画像を表示させる位置が適切に設定され、運転者が見やすい画像が表示される電子ミラーシステムを構築可能な画像処理装置、画像処理方法、及び、画像処理プログラムを提供することができる。よって、その産業上の利用可能性は多大である。
【符号の説明】
【００６８】
１０  車両
１１  第１撮像装置
１２  第２撮像装置
１３  第３撮像装置
１４  第１表示器
１５  第２表示器
１６  測位用信号受信機
１７  方向指示装置
２０  画像処理装置
２１  ＣＰＵ
２２  ＧＰＵ
２３  記憶装置
２４  インターフェース
２５  バス
３１  後側方画像取得部
３２  車線情報取得部
３３  重畳画像生成部
３４  画像処理部
３５  注目方向情報取得部
４１  後側方画像
４２  重畳画像として利用される部分
４３  煩雑領域
４４  重畳位置
４５  重畳画像
４６  表示画像
【図１】
2019009599.tif 000003
【図２】
2019009599.tif 000004
【図３】
2019009599.tif 000005
【図４】
2019009599.tif 000006
【図５】
2019009599.tif 000007
【図６】
2019009599.tif 000008
【図７】
2019009599.tif 000009
【図８】
2019009599.tif 000010
【図９】
2019009599.tif 000011
【図１０Ａ】
2019009599.tif 000012
【図１０Ｂ】
2019009599.tif 000013
【図１１】
2019009599.tif 000014