(57)【要約】【課題】障害物の画像を、注意を要する画像部分を隠蔽しないように撮影画像に合成表示する「周辺監視システム」を提供する。【解決手段】第１の表示モードで、バックカメラ７の視点から後方を観察したようすを表す後方案内画像を表示し（ｂ１）、第２の表示モードで上方の視点から後方を観察したようすを表す後方案内画像を表示する（ｃ１）。撮影画像から抽出した障害物の画像部分である障害物画像５０２を、第１の表示モードでは、後方案内画像の下部の自車のリアバンパーの像３０１が表れる部分に配置した小窓内に表示し、第２の表示モードでは、、後方案内画像の上下方向について中央、左右方向について左右端の位置に配置した小窓内に表示する。【選択図】図５
2019134371.tif 000002
【特許請求の範囲】
【請求項１】
自動車に搭載される周辺監視システムであって、
ディスプレイと、
自動車の周辺を撮影するカメラと、
前記カメラが撮影した画像である撮影画像の少なくとも一部から生成した、前記自動車の周辺のようすを表す周辺画像を前記ディスプレイに表示する周辺画像表示手段と、
少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、
前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段と、
複数の表示モードのうちのいずれかを選択的に現用表示モードとして設定する表示モード設定手段とを有し、
前記周辺画像表示手段は、前記周辺画像として、現用表示モードとして設定されている表示モードに対して定まる形態で前記自動車の周辺を観察したようすを表す画像を生成し、
前記障害物画像表示手段は、現用表示モードとして設定されている表示モードに応じて、前記小窓の周辺画像上の配置位置を変更し、
表示モードに対して定まる形態は、前記表示モード毎に異なることを特徴とする周辺監視システム。
【請求項２】
請求項１記載の周辺監視システムであって、
前記複数の表示モードは、当該表示モードに対して定まる形態が、前記自動車の周辺を上方より観察する形態である第１の表示モードと、前記自動車の周辺を前記カメラの位置から観察する形態である第２の表示モードとを含み、
前記障害物画像表示手段は、
前記障害物画像として画像部分を抽出した障害物が前記自動車の左側に位置しているときには左方向を障害物方向とし、当該障害物が前記自動車の右側に位置しているときには右方向を障害物方向として、
前記現用表示モードとして第１の表示モードが設定されているときには、前記小窓の周辺画像上の配置位置を、上下方向について前記周辺画像の中央の位置、左右方向について、前記周辺画像の前記障害物方向側の端の位置とし、
前記現用表示モードとして第２の表示モードが設定されているときには、前記小窓の周辺画像上の配置位置を、上下方向について周辺画像の下端の位置、左右方向について、前記周辺画像の前記障害物方向側の端の位置とすることを特徴とする周辺監視システム。
【請求項３】
請求項１記載の周辺監視システムであって、
前記複数の表示モードは、当該表示モードに対して定まる形態が、前記自動車の周辺を上方より観察する形態である第１の表示モードと、前記自動車の周辺を前記カメラの位置から観察する形態である第２の表示モードとを含み、
前記障害物画像表示手段は、
前記障害物画像として画像部分を抽出した障害物が前記自動車の左側に位置しているときには左方向を障害物方向とし、当該障害物が前記自動車の右側に位置しているときには右方向を障害物方向として、
前記現用表示モードとして第１の表示モードが設定されているときには、前記小窓の周辺画像上の配置位置を、上下方向について、前記障害物がより自動車の後方に位置しているほどより上方となるように定まる位置、左右方向について、前記周辺画像の前記障害物方向側の端の位置とし、
前記現用表示モードとして第２の表示モードが設定されているときには、前記小窓の周辺画像上の配置位置を、上下方向について周辺画像の下端の位置、左右方向について、前記周辺画像の前記障害物方向側の端の位置とすることを特徴とする周辺監視システム。
【請求項４】
請求項１、２または３記載の周辺監視システムであって、
前記カメラは前記自動車の周辺として、当該自動車の後方の周辺を撮影することを特徴とする周辺監視システム。
【請求項５】
自動車に搭載される周辺監視システムであって、
ディスプレイと、
自動車の後方の、当該自動車のリアバンパを含む範囲を撮影するカメラと、
前記カメラが撮影した画像である撮影画像の少なくとも一部から生成した、前記自動車の周辺のようすを表す周辺画像を前記ディスプレイに表示する周辺画像表示手段と、
少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、
前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを有し、
前記周辺画像は、当該自動車のリアバンパの画像部分を下部に含み、
前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の下部の前記リアバンパの画像部分に少なくとも部分的に重なるように前記小窓を配置し、当該小窓に前記障害物画像を表示することを特徴とする周辺監視システム。
【請求項６】
自動車に搭載される周辺監視システムであって、
ディスプレイと、
自動車の周辺を撮影するカメラと、
前記カメラが撮影した画像である撮影画像の少なくとも一部から前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成し、生成した俯瞰画像に、前記自動車を表す図形を合成した周辺画像を前記ディスプレイに表示する周辺画像表示手段と、
少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、
前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを有し、
前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の前記自動車を表す図形上に前記小窓を配置し、当該小窓に前記障害物画像を表示することを特徴とする周辺監視システム。
【請求項７】
請求項５または６記載の周辺監視システムであって、
前記障害物画像表示手段は、
前記障害物画像として画像部分を抽出した障害物が前記自動車の左側に位置しているときには左方向を障害物方向とし、当該障害物が前記自動車の右側に位置しているときには右方向を障害物方向として、前記小窓の周辺画像上の配置位置を、前記障害物方向が左方向であるときには周辺画像上の左よりの位置とし、前記障害物方向が右方向であるときには周辺画像上の右よりの位置とすることを特徴とする周辺監視システム。
【請求項８】
請求項１、２、３、４、５、６または７記載の周辺監視システムであって、
前記障害物画像抽出手段は、前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分のみを障害物画像として抽出することを特徴とする周辺監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車周辺の障害物をユーザに提示する技術に関するものである。
【背景技術】
【０００２】
自動車周辺の障害物をユーザに提示する技術としては、自動車の後方を撮影するバックカメラの撮影画像の一部の領域である狭視野領域の画像である注目撮影画像を表示装置に表示すると共に、撮影画像の狭視野領域外に含まれる障害物の画像を抽出し、表示している注目撮影画像上に合成表示する技術が知られている（たとえば、特許文献１）。
【０００３】
また、この技術では、注目撮影画像上の障害物の画像の合成位置を、上下方向について注目撮影画像の上部、左右方向について障害物が存在している方向側としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許５４９５０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した、自動車の後方を撮影するバックカメラの撮影画像の一部の領域である狭視野領域の画像である注目撮影画像上の、上下方向について注目撮影画像の上部、左右方向について障害物が存在している方向側の位置に、障害物の画像を合成して表示する技術によれば、狭視野領域の設定如何によっては、障害物の画像によって注目撮影画像のユーザにとって注意を要する画像部分（たとえば、他車両の像）が隠されてしまうことがある。
【０００６】
そこで、本発明は、車両周辺を撮影するカメラの撮影画像から抽出した障害物の画像部分を、撮影画像から生成した周辺のようすを表す画像上に、ユーザにとって注意を要する画像部分を隠蔽しないように合成して表示する周辺監視システムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題達成のために、自動車に搭載される周辺監視システムに、ディスプレイと、自動車の周辺を撮影するカメラと、前記カメラが撮影した画像である撮影画像の少なくとも一部から生成した、前記自動車の周辺のようすを表す周辺画像を前記ディスプレイに表示する周辺画像表示手段と、少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段と、複数の表示モードのうちのいずれかを選択的に現用表示モードとして設定する表示モード設定手段とを備えたものである。ここで、前記周辺画像表示手段は、前記周辺画像として、現用表示モードとして設定されている表示モードに対して定まる形態で前記自動車の周辺を観察したようすを表す画像を生成する。また、前記障害物画像表示手段は、現用表示モードとして設定されている表示モードに応じて、前記小窓の周辺画像上の配置位置を変更する。そして、表示モードに対して定まる形態は、前記表示モード毎に異なる。
【０００８】
このような周辺監視システムによれば、ディスプレイに表示する周辺画像が、どのような形態で観察した自動車の周辺のようすを表すものであるかに応じて、障害物画像の表示位置を変更することができるので、当該観察の形態毎に、当該形態にで観察したようすを表す周辺画像において、ユーザにとって注意を要する画像部分が表れる部分を隠蔽しない位置に障害物画像を表示することができるようになる。
【０００９】
ここで、このような周辺監視システムは、より具体的には、前記複数の表示モードを、当該表示モードに対して定まる形態が、前記自動車の周辺を上方より観察する形態である第１の表示モードと、前記自動車の周辺を前記カメラの位置から観察する形態である第２の表示モードとを含むものとし、前記障害物画像表示手段において、前記障害物画像として画像部分を抽出した障害物が前記自動車の左側に位置しているときには左方向を障害物方向とし、当該障害物が前記自動車の右側に位置しているときには右方向を障害物方向として、前記現用表示モードとして第１の表示モードが設定されているときには、前記小窓の周辺画像上の配置位置を、上下方向について周辺画像の中央の位置、左右方向について、前記周辺画像の前記障害物方向側の端の位置とし、前記現用表示モードとして第２の表示モードが設定されているときには、前記小窓の周辺画像上の配置位置を、上下方向について周辺画像の下端の位置、左右方向について、前記周辺画像の前記障害物方向側の端の位置とするものであってもよい。
【００１０】
または、具体的には、このような周辺監視システムは、前記複数の表示モードを、当該表示モードに対して定まる形態が、前記自動車の周辺を上方より観察する形態である第１の表示モードと、前記自動車の周辺を前記カメラの位置から観察する形態である第２の表示モードとを含むものとし、前記障害物画像表示手段において、前記障害物画像として画像部分を抽出した障害物が前記自動車の左側に位置しているときには左方向を障害物方向とし、当該障害物が前記自動車の右側に位置しているときには右方向を障害物方向として、前記現用表示モードとして第１の表示モードが設定されているときには、前記小窓の周辺画像上の配置位置を、上下方向について、前記障害物がより自動車の後方に位置しているほどより上方となるように定まる位置、左右方向について、前記周辺画像の前記障害物方向側の端の位置とし、前記現用表示モードとして第２の表示モードが設定されているときには、前記小窓の周辺画像上の配置位置を、上下方向について周辺画像の下端の位置、左右方向について、前記周辺画像の前記障害物方向側の端の位置とするものであってもよい。
【００１１】
ここで、以上のような周辺監視システムにおいて、前記カメラは前記自動車の周辺として、当該自動車の後方の周辺を撮影するものであってもよい。
また、前記課題達成のために、本発明は、自動車に搭載される周辺監視システムに、ディスプレイと、自動車の後方の、当該自動車のリアバンパを含む範囲を撮影するカメラと、前記カメラが撮影した画像である撮影画像の少なくとも一部から生成した、前記自動車の周辺のようすを表す周辺画像を前記ディスプレイに表示する周辺画像表示手段と、少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを備えたものである。ここで、前記周辺画像は、当該自動車のリアバンパの画像部分を下部に含む。また、前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の下部の前記リアバンパの画像部分に少なくとも部分的に重なるように前記小窓を配置し、当該小窓に前記障害物画像を表示する。
【００１２】
このような周辺監視システムによれば、ディスプレイに表示されている周辺画像の下部の前記リアバンパの画像部分に少なくとも部分的に重なるように前記小窓を配置して障害物画像を表示するので、障害物画像の表示によって、周辺画像のユーザにとって注意を要する画像部分が隠蔽されてしまうことが抑止される。
【００１３】
また、前記課題達成のために、本発明は、自動車に搭載される周辺監視システムに、ディスプレイと、自動車の周辺を撮影するカメラと、前記カメラが撮影した画像である撮影画像の少なくとも一部から前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成し、生成した俯瞰画像に、前記自動車を表す図形を合成した周辺画像を前記ディスプレイに表示する周辺画像表示手段と、少なくとも前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分を障害物画像として抽出する障害物画像抽出手段と、前記ディスプレイに表示されている周辺画像上に小窓を配置し、小窓に前記障害物画像を表示する障害物画像表示手段とを備えたものである。ここで、前記障害物画像表示手段は、前記ディスプレイに表示されている周辺画像の前記自動車を表す図形上に前記小窓を配置し、当該小窓に前記障害物画像を表示する。
【００１４】
このような周辺監視システムによれば、ディスプレイに表示されている周辺画像の自動車を表す図形上に小窓を配置して障害物画像を表示するので、障害物画像の表示によって、周辺画像のユーザにとって注意を要する画像部分が隠蔽されてしまうことが抑止される。
【００１５】
ここで、これらの周辺監視システムは、前記障害物画像表示手段において、前記障害物画像として画像部分を抽出した障害物が前記自動車の左側に位置しているときには左方向を障害物方向とし、当該障害物が前記自動車の右側に位置しているときには右方向を障害物方向として、前記小窓の周辺画像上の配置位置を、前記障害物方向が左方向であるときには周辺画像上の左よりの位置とし、前記障害物方向が右方向であるときには周辺画像上の右よりの位置とするように構成してもよい。
【００１６】
なお、以上の周辺監視システムは、前記障害物画像抽出手段において、前記撮影画像に含まれ前記周辺画像に含まれていない障害物の画像部分のみを障害物画像として抽出するように構成してもよい。
【発明の効果】
【００１７】
以上のように、本発明によれば、車両周辺を撮影するカメラの撮影画像から抽出した障害物の画像部分を、撮影画像から生成した周辺のようすを表す画像上に、ユーザにとって注意を要する画像部分を隠蔽しないように合成して表示する周辺監視システムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る周辺監視システムの構成を示すブロック図である。
【図２】本発明の実施形態に係る周辺監視システムのディスプレイとバックカメラの配置を示す図である。
【図３】本発明の実施形態に係る周辺監視システムの表示モードを示す図である。
【図４】本発明の実施形態に係る障害物情報合成処理を示すフローチャートである。
【図５】本発明の実施形態に係る周辺監視システムの表示例を示す図である。
【図６】本発明の実施形態に係る周辺監視システムの他の表示例を示す図である。
【図７】本発明の実施形態に係る周辺監視システムの他の表示例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について説明する。
図１に、本実施形態に係る周辺監視システムの構成を示す。
周辺監視システムは自動車に搭載されているシステムであり、図示するように、周辺監視システムは、ディスプレイ１、合成画像生成部２、障害物検出部３、障害物画像生成部４、ビュー変換処理部５、画像メモリ６、自動車後方を撮影するバックカメラ７、自動車の変速器の状態やシフトレバーの位置等から自動車が後進状態にあるかどうかを検出する後進検出センサ８、入力装置９、制御部１０を備えている。
【００２０】
ここで、このような周辺監視システムは、ＣＰＵやメモリや各種周辺装置を備えたコンピュータを用いて構成されるものであってよく、この場合、合成画像生成部２、障害物検出部３、障害物画像生成部４、ビュー変換処理部５、制御部１０などは、ＣＰＵが所定のコンピュータプログラムを実行することにより具現化するものであってよい。
【００２１】
ここで、図２ａに示すように、ディスプレイ１は、車内のフロントシート前方の左右方向について中央の位置においてダッシュボード内に設置されている。
また、バックカメラ７は、魚眼レンズや広角レンズ等の水平方向に画角の広いレンズを備えたカメラであり、図２ｂに示すように、自動車の後部に設置され、自動車後方の撮影する。
【００２２】
このような構成において、制御部１０は、後進検出センサ８が自動車が後進状態にあることを検出すると後進モードを設定し、後進検出センサ８が自動車が後進状態にあることを検出しなくなったならば後進モードを解除する。
【００２３】
そして、後進モードが設定されている期間中、バックカメラ７が撮影した撮影画像は画像メモリ６に格納され、障害物検出部３は、画像メモリ６に格納された撮影画像に対して画像認識処理を施して、撮影画像中の、他車両などの障害物の像の領域を検出する。また、後進モードが設定されている期間中、障害物画像生成部４は、障害物検出部３が検出した障害物の像の領域に従って、撮影画像中の障害物の像の画像部分を障害物画像として抽出する。
【００２４】
次に、後進モードが設定されている期間中、ビュー変換処理部５は、表示モードに応じた変換処理を施した画像である後方画像を生成する。
ここで、制御部１０は、入力装置９を介したユーザ操作に従って、表示モードとして、ワイドビュー、ノーマルビュー、トップビューのいずれかを設定する。
そして、ビュー変換処理部５は、表示モードがワイドビューのときには、バックカメラ７で図３ａ１に示すバックカメラ７の画角θ１の範囲を撮影した画像である撮影画像を、図３ａ２に示すように、そのまま後方案内画像として生成する。
【００２５】
また、ビュー変換処理部５は、表示モードがノーマルビューのときには、バックカメラ７の撮影画像から、図３ｂ１に示すバックカメラ７の画角θ１内の角度θ２の範囲を撮影した画像部分を抽出して歪みを補正した、図３ｂ２に示すような画像を後方画像として生成する。
【００２６】
また、ビュー変換処理部５は、表示モードがトップビューのときには、バックカメラ７の撮影画像から、図３ｃ１に示す自動車後方の領域Ａの範囲を撮影した画像部分を抽出し、抽出した画像部分を、視点変換処理によって、領域Ａの範囲を上方より観察したようすを表す画像に変換した、図３ｃ２に示すような画像を後方画像として生成する。
【００２７】
ここで、図３ａ２、ｂ２、ｃ２に示すように、本実施形態では、各表示モードにおいて、自車のリアバンパーの像３０１が後方画像の下部に表れるように、バックカメラ７の配置や、ノーマルビューやトップビューにおいて撮影画像から抽出し後方画像に含める範囲を設定している。
【００２８】
また、後進モードが設定されている期間中、合成画像生成部２は、ビュー変換処理部５が生成した後方画像に、図３ａ３、ｂ３、ｃ３に示す、車幅の延長線や自動車後端からの自動車の前後方向に所定距離となる地点を後方画像上で表すガイド図形３０２を合成した後方案内画像を生成し、ディスプレイ１に表示する。
【００２９】
また、後進モードが設定されている期間中、合成画像生成部２は、障害物の情報をユーザに提示するために、障害物情報合成処理を行う。
以下、この合成画像生成部２が行う障害物情報合成処理について説明する。
図４に、この障害物情報合成処理の手順を示す。
図示するように、合成画像生成部２は、障害物情報合成処理において、表示モードを調べる（ステップ４０２、４０４、４０６）。
そして、表示モードがワイドビューであるときには（ステップ４０６）、まず、後述する検知枠の表示が行われているときには、これを消去する（ステップ４１２）。そして、障害物検出部３が障害物を検知しているかどうかを調べ（ステップ４１４）、検知していなければ、ステップ４０２からの処理に戻る。
【００３０】
一方、障害物検出部３が障害物を検知している場合には（ステップ４１４）、障害物検出部３が検出している撮影画像中の障害物の像の領域に基づいて、後方案内画像上において、後方案内画像中の障害物の像の領域を囲む枠である検知枠を、ディスプレイ１に表示されている後方案内画像上に合成表示する（ステップ４１６）。そして、ステップ４０２からの処理に戻る。
【００３１】
このような処理によれば、表示モードがワイドビューであるときには、他車などの障害物の像がバックカメラ７の撮影画像に含まれているときには、図５ａ１、図５ａ２に示すように、ディスプレイ１に表示されている後方案内画像上に、後方案内画像中の障害物の像の部分を囲む検知枠５０１が合成表示される。そして、この検知枠５０１により、ユーザの障害物への注意が喚起される。
【００３２】
図４に戻り、次に、表示モードがノーマルビューであるときには（ステップ４０４）、まず、後述する小窓の表示が行われているときには、これを消去する（ステップ４２２）。そして、障害物検出部３が検出した障害物の像の領域であって、当該領域のｎ％以上が後方案内画像の内に含まれていない障害物の像の領域が存在するかどうかを調べる（ステップ４２４）。ｎ％としては、領域のｎ％以上が後方案内画像の内に含まれていれば、障害物の像のおおよその部分が、後方案内画像中に表れることとなる値を設定する。具体的には、たとえば、ｎ％としては、80%≦ｎ％≦100％）を満たす値を設定する。
【００３３】
そして、領域のｎ％以上が後方案内画像の内に含まれていない障害物の像の領域が存在しない場合には（ステップ４２４）、ステップ４０２からの処理に戻る。
一方、領域のｎ％以上が後方案内画像の内に含まれていない障害物の像の領域が存在する場合には（ステップ４２４）、撮影画像から、歪みを補正した障害物の像を含む所定サイズの矩形の画像を障害物画像として生成し、後方案内画像上に配置した所定サイズの小窓（子画面、ワイプ）中に表示する（ステップ４２６）。ここで、小窓を配置する後方案内画像上の位置は、上下方向について下部とする。また小窓を配置する後方案内画像上の位置は、左右方向について、その障害物の像の領域が存在する方向側端の位置、すなわち、その障害物の像の領域が自動車の左側の領域であれば、後方案内画像上の左側端の位置、右側の領域であれば右側端の位置とする。
【００３４】
そして、ステップ４０２からの処理に戻る。
このような処理によれば、表示モードがノーマルビューであるときに、後方案内画像によっておおよその部分が表れていない障害物が、バックカメラ７の撮影画像中に含まれている場合には、図５ｂ１に示すように、障害物画像５０２が後方案内画像上に配置した小窓内に合成表示される。ここで、図５ｂ１は、障害物が自動車の右側にある場合を示しており、この場合、図示するように、障害物画像５０２が表示される小窓の位置は、後方案内画像の右下隅となる。
【００３５】
そして、このような小窓内の障害物画像５０２の表示によって、障害物画像５０２が表す障害物が、自動車の右側に存在することがユーザに提示される。
そして、その後、図５ｂ２に示すように、障害物のおおよその部分が後方案内画像中に表れるようになると小窓による障害物画像５０２の表示は消去される。また、障害物の像がバックカメラ７の撮影画像中に含まれなくなった場合にも、小窓による障害物画像５０２の表示は消去される。
【００３６】
なお、図５ｂ３は、障害物が自動車の左側にあるときの、障害物画像５０２の表示を表している。図示するように、この場合には、障害物画像５０２が表示される小窓は、後方案内画像の左下隅に配置され、小窓内の障害物画像５０２によって、障害物画像５０２が表す障害物が自動車の左側に存在することがユーザに提示される。
【００３７】
ここで、以上のように、本実施形態では、表示モードがノーマルビューであるときには、障害物画像５０２を表示する小窓を後方案内画像の下部の、おおよそ自車のリアバンパーの像３０１が表れる部分に配置しているので、障害物画像５０２によって、後方案内画像中の障害物の画像部分等のユーザにとって注意を要する画像部分が隠蔽されてしまうことは抑制される。
【００３８】
図４に戻り、次に、表示モードがトップビューであるときには（ステップ４０２）、小窓の表示が行われているときには、これを消去する（ステップ４３２）。そして、障害物検出部３が検出した障害物の像の領域であって、全体が後方案内画像外に含まれている障害物の像の領域、すなわち、部分的にも後方案内画像の内に含まれていいない障害物の像の領域が存在するかどうかを調べる（ステップ４３４）。
【００３９】
そして、全体が後方案内画像の外に含まれている障害物の像の領域が存在しない場合には（ステップ４３４）、ステップ４０２からの処理に戻る。
一方、全体が後方案内画像の外に含まれている障害物の像の領域が存在する場合には（ステップ４３４）、撮影画像から、歪みを補正した障害物の像を含む矩形の画像を障害物画像５０２として生成し、後方案内画像上に配置した所定サイズの小窓（子画面、ワイプ）中に表示する（ステップ４３６）。ここで、小窓を配置する後方案内画像上の位置は、上下方向について中央とする。また、小窓を配置する後方案内画像上の位置は、左右方向について、その障害物の像の領域が存在する方向側端の位置とする。
【００４０】
そして、ステップ４０２からの処理に戻る。
このような処理によれば、表示モードがトップビューであるときに、後方案内画像に表れていない障害物が、バックカメラ７の撮影画像中に含まれている場合には、図５ｃ１に示すように、障害物画像５０２が後方案内画像上に配置した小窓内に表示される。ここで、図５ｃ１は、障害物が自動車の右側にある場合を示しており、この場合、図示するように、障害物画像５０２が表示される小窓の位置は、後方案内画像上の上下方向について中央の、左右方向について右端の位置となる。
【００４１】
そして、このような小窓内の障害物画像５０２の表示によって、障害物画像５０２が表す障害物が、自動車の右側に存在することがユーザに提示される。
そして、その後、図５ｃ２に示すように、障害物の部分が後方案内画像中に表れるようになると小窓による障害物画像５０２の表示は消去される。また、障害物の像がバックカメラ７の撮影画像中に含まれなくなった場合にも、小窓による障害物画像５０２の表示は消去される。
【００４２】
なお、図５ｃ３は、障害物が自動車の左側にあるときの、障害物画像５０２の表示を表している。図示するように、この場合には、障害物画像５０２が表示される小窓は、後方案内画像上の上下方向について中央の、左右方向について左端の位置に表示され、小窓内の障害物画像５０２によって、障害物画像５０２が表す障害物が、自動車の左側に存在することがユーザに提示される。
【００４３】
ここで、以上のように、本実施形態では、表示モードがトップビューであるときには、障害物画像５０２を後方案内画像の左右端の、自車の後進の進路上に重ならない位置に表示しているので、障害物画像５０２によって、ユーザにとって注意を要する、後方案内画像中の進路のようすを表す画像部分等が隠蔽されてしまうことは抑制される。
【００４４】
以上、合成画像生成部２が行う障害物情報合成処理について説明した。
以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、表示モードがノーマルビューであるときに、障害物画像５０２として障害物の像を含む矩形の画像を後方案内画像の左下隅や右下隅に配置した矩形の小窓内に表示したが、これは、図６ａ、ｂに示すように、小窓や障害物画像５０２の形状を、後方案内画像中の自車のリアバンパーの像３０１の小窓を配置する部分の形状に倣った形状としてもよい。
【００４５】
また、以上の実施形態では、表示モードがトップビューであるときに、障害物画像５０２を表示する小窓の後方案内画像上の位置を、上下方向について中央の位置としたが、この小窓の上下方向の位置は、自車に対する障害物の方向に応じて変化させるようにしてもよい。
【００４６】
すなわち、たとえば、図７ａ１に示すように、障害物７０１が自車７００の真後ろ方向にあるときには、図７ａ２に示すように、障害物画像５０２を表示する小窓の上下方向の位置を後方案内画像の上方の位置とし、図７ｂ１に示すように、障害物７０１が自車７００の斜め後ろ方向にあるときには、図７ｂ２に示すように、障害物画像５０２表示する小窓の上下方向の位置を後方案内画像の中央の位置とし、図７ｃ１に示すように、障害物７０１が自車７００の側方方向にあるときには、図７ｃ２に示すように、障害物画像５０２表示する小窓の上下方向の位置を後方案内画像の下方の位置とするようにしてもよい。
【００４７】
ここで、このような表示位置の制御は、たとえば、図７ａ１、ｂ１、ｃ１に示す自車７００の左右方向に対する、障害物検出部３が検出した障害物の方向の角度γが０度から９０度に変化するに従って、障害物画像５０２表示する小窓の上下方向の位置が、後方案内画像の下端の位置から上端の位置まで変化するように、障害物画像５０２表示する小窓の上下方向の位置を定めることにより行うことができる。
【００４８】
また、以上の実施形態は、表示モードがトップビューであるときに、図７ｄ１、ｄ２に示すように、後方案内画像に、自車の後部を表す図形７１０を合成して表示するものとし、障害物画像５０２の表示位置を、自車の後部を表す図形７１０に重なる位置とするようにしてもよい。
【００４９】
なお、この場合にも、図７ｄ１、ｄ２に示すように、障害物の方向が自車の左方向であるときには自車の後部を表す図形７１０上の左よりの位置に、障害物の方向が自車の右方向であるときには自車の後部を表す図形７１０上の右よりの位置に障害物画像５０２を表示する小窓を配置する。
【００５０】
また、以上の実施形態は、バックカメラ７を用いて自動車後方のようすをユーザに提示する場合について示したが、本実施形態は、任意方向について、カメラを用いて自動車の周辺のようすをユーザに提示する場合について同様に適用可能である。
【符号の説明】
【００５１】
１…ディスプレイ、２…合成画像生成部、３…障害物検出部、４…障害物画像生成部、５…ビュー変換処理部、６…画像メモリ、７…バックカメラ、８…後進検出センサ、９…入力装置、１０…制御部、３０２…ガイド図形、５０２…障害物画像、７０１…検知枠。
【図１】
2019134371.tif 000003
【図２】
2019134371.tif 000004
【図３】
2019134371.tif 000005
【図４】
2019134371.tif 000006
【図５】
2019134371.tif 000007
【図６】
2019134371.tif 000008
【図７】
2019134371.tif 000009