(57)【要約】【課題】  自車後方前向き画像と実景との関連をより分かり易くすること。【解決手段】  車両用周辺監視装置は、処理装置と、自車に搭載されるカメラとを含み、前記処理装置は、現時点の自車位置より所定距離後方に自車が位置するときに前記カメラにより撮像した過去画像に基づいて、自車の前進走行中に、自車内の表示装置に、自車後方から前方に自車を視た画像（自車後方前向き画像）を出力し、前記自車後方前向き画像は、前記過去画像に、前記カメラにより撮像した現時点の現在画像を合成して生成されることを特徴とする。【選択図】  図２
2018122823.tif 000002
【特許請求の範囲】
【請求項１】
処理装置と、
自車に搭載されるカメラとを含み、
前記処理装置は、現時点の自車位置より所定距離後方に自車が位置するときに前記カメラにより撮像した過去画像に基づいて、自車の前進走行中に、自車内の表示装置に、自車後方から前方に自車を視た画像を出力し、該画像は、前記過去画像に、前記カメラにより撮像した現時点の現在画像を合成して生成されることを特徴とする、車両用周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両用周辺監視装置に関する。
【背景技術】
【０００２】
現時点の自車位置より所定距離後方に自車が位置するときに自車搭載カメラにより撮像した過去画像に基づいて、自車の前進走行中に、自車内の表示装置に、自車後方から前方に自車を視た画像（以下、自車後方前向き画像という）を出力する車両用周辺監視装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2013-107580号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来技術では、自車後方前向き画像と実景との関連が分かり難い場合があり、改善の余地がある。
【０００５】
そこで、一側面によれば、本発明は、自車後方前向き画像と実景との関連をより分かり易くすることを目的とする。
【課題を解決するための手段】
【０００６】
一側面によれば、処理装置と、
自車に搭載されるカメラとを含み、
前記処理装置は、現時点の自車位置より所定距離後方に自車が位置するときに前記カメラにより撮像した過去画像に基づいて、自車の前進走行中に、自車内の表示装置に、自車後方から前方に自車を視た画像を出力し、該画像は、前記過去画像に、前記カメラにより撮像した現時点の現在画像を合成して生成されることを特徴とする、車両用周辺監視装置が提供される。
【発明の効果】
【０００７】
一側面によれば、自車後方前向き画像と実景との関連をより分かり易くすることができる。
【図面の簡単な説明】
【０００８】
【図１】一実施例による車両用周辺監視装置１の構成を示す図である。
【図２】自車後方前向き画像の説明図である。
【図３】自車と周辺移動体とが走行している状況の説明図である。
【図４】運転者に対して車両用周辺監視装置１により自車後方前向き画像が提供される様子を模式的に示す図である。
【図５】前方カメラ４０、後方カメラ６２１，６４１の各視野の関係の説明図である。
【図６】車両用周辺監視装置１の処理装置１０により実行されてもよい主要処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら各実施例について詳細に説明する。以下の説明において、「画像」とは、映像を含む概念である。即ち、映像は、画像の一種である。
【００１０】
本発明による車両用周辺監視装置は、自車前方を撮影する車載のカメラ（図示せず）と、処理装置（図示せず）とを有する。処理装置は、例えばコンピュータである。
【００１１】
カメラは、自車に搭載された前方カメラ（自車前方を前向きに撮像するカメラ）である。従って、現時点の自車位置より所定距離Ｌ０後方に自車が位置したときの前方カメラにより前方を撮像した画像は、現時点よりも前の画像（以下、「過去画像」とも称する）である。
【００１２】
処理装置は、現時点の自車位置より所定距離Ｌ０後方に位置する自車が位置するときの車載のカメラにより前方を撮像した画像に基づいて、自車の前進走行中に、自車後方から前方に自車を視た画像（以下、自車後方前向き画像という）を、車内のディスプレイに出力する。自車内の表示部は、備え付けのディスプレイであってもよいし、運転者が車内に持ち込む携帯端末のディスプレイであってもよい。備え付けのディスプレイは、液晶ディスプレイやＨＵＤ（ヘッドアップディスプレイ）のような任意の表示装置であってよい。
【００１３】
所定距離Ｌ０は、自車からその後方の視点までの距離に対応し、視点の相対位置に関するパラメータである。所定距離Ｌ０は、任意であり、固定値（例えば３０ｍ等）であってもよいし、可変値であってもよい。例えば、所定距離Ｌ０は、自車後方の監視すべき距離（可変距離又は固定距離）の最大値に対応してもよい。また、所定距離Ｌ０は、車速や、一般道路や高速道路等のような道路属性、法定速度等に応じて可変されてもよい。例えば、所定距離Ｌ０は、自車の車速が相対的に低速である場合は、相対的に高速である場合に比べて、短く設定されてもよい。
【００１４】
自車の前進走行中か否かは、車速センサの出力に基づいて判定されてもよい。車速センサの出力に加えて又は代えて、ＧＰＳ（Global Positioning System）に基づいて自車位置の変化やトランスミッションのアウトプットシャフトの回転状態等の情報、アクセルペダルやブレーキペダルの操作情報が使用されてもよい。また、自車の前進走行中か否かは、シフトギアの位置（Ｄレンジや、Ｒレンジ等）の情報やアクセルペダルの操作量（スロットル開度）等を用いて判定されてもよい。尚、処理装置は、自車の前進走行中に加えて、自車停止時においても、同様の自車後方前向き画像をディスプレイに出力してもよい。即ち、処理装置１０は、後退走行時においては、自車後方前向き画像をディスプレイに出力しないこととしてよい。このような構成では、車速センサからの情報は実質的に必須でなく、シフトギアの位置に関する情報が利用されてもよい。また、処理装置は、運転者からの指示（例えばスイッチ操作）に応じて、自車後方前向き画像をディスプレイに出力するモードと、ディスプレイに他の情報（ＴＶやナビゲーションの地図表示等）を表示するモードを切り替えてもよい。
【００１５】
図１は、好ましい一実施例による車両用周辺監視装置１の構成を示す図である。以下、車両用周辺監視装置１は、図１に示す構成を備えるものとして説明を続ける。
【００１６】
車両用周辺監視装置１は、処理装置１０、ディスプレイ２０、車速センサ３０、及び周辺レーダセンサ５０を備える。処理装置１０は、メモリ１１を備える。処理装置１０は、機能部として判定部１１０を含む。
【００１７】
前方カメラ４０は、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により自車前方風景を撮像して、前方環境画像を取得する。前方カメラ４０は、暗視等の目的で設けられる近赤外カメラであってもよいが、好ましくは、運転者が実際に見た状態に近い可視カラー画像を取得することができるカメラである。前方カメラ４０は、自車の任意の場所（例えば、車体の例えばバンパ付近のような車室外の場所を含む）に設けられてよいが、好ましくは、車室内に設けられる。前方カメラ４０は、例えば、フロントウインドシールドの上縁付近や下縁付近に設けられてよい。また、インナミラーを搭載する場合は、前方カメラ４０は、インナミラーの裏側（自車前側の面）に取り付けられてもよい。前方カメラ４０は、専用のカメラであってもよいが、他の用途（例えばドライブレコーダ用、白線認識処理を伴うレーンキープアシスト制御用、歩行者検知用）で使用されるカメラであってもよい。前方カメラ４０は、自車走行中にリアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で処理装置１０に供給するものであってよい。尚、前方環境画像は、所定の処理（例えば座標変換処理等）を行った上で処理装置１０に供給されてもよい。
【００１８】
処理装置１０は、前方カメラ４０から供給される時系列の前方環境画像を所定のメモリ１１に記憶する。尚、前方環境画像は、最新の所定周期分の前方環境画像がメモリ１１にＦＩＦＯ（first-in, first-out）方式で記憶されてもよい。所定周期分は、現時点の自車位置より所定距離Ｌ０後方に自車位置が位置したときに前方カメラ４０により撮像された前方環境画像(過去画像)を読み出せるように決定されてもよい。
【００１９】
処理装置１０には、周辺レーダセンサ５０が接続される。尚、処理装置１０と周辺レーダセンサ５０との接続は、有線であっても無線であってもよく、また、直接的な態様であっても間接的な態様であってもよい。また、処理装置１０の機能の一部又は全部が周辺レーダセンサ５０内の処理装置により実現されてもよい。
【００２０】
周辺レーダセンサ５０は、電波（例えばミリ波）、光波（例えばレーザー）又は超音波を検出波として用いて、自車周辺における周辺移動体（典型的には、周辺車両）の存在及びその状態を検出する。周辺レーダセンサ５０は、周辺移動体と自車との相対位置関係を示す情報、例えば自車を基準とした周辺移動体の相対速度や相対距離、方位（横位置）を所定の周期で検出する。尚、周辺レーダセンサ５０がミリ波レーダセンサの場合、ミリ波レーダセンサは、例えば電子スキャン型のミリ波レーダであってよく、この場合、電波のドップラー周波数（周波数シフト）を用いて周辺移動体の相対速度が検出され、反射波の遅れ時間を用いて周辺移動体の相対距離が検出され、複数の受信アンテナ間での受信波の位相差に基づいて周辺移動体の方位が検出される。尚、周辺レーダセンサ５０は、自車周辺の周辺移動体との衝突予知を行うために使用されるプリクラッシュシステム用のレーダセンサやレーンチェンジアシスト制御用のレーダセンサと共用であってもよい。周辺レーダセンサ５０の検出データは、処理装置１０に所定の周期で送信される。
【００２１】
処理装置１０は、周辺レーダセンサ５０から得られる情報を用いて、周辺移動体に対する自車の相対関係（相対速度、距離、方位等）を検出し、この検出結果に基づいて、前方環境画像に、周辺移動体を表す表示（周辺移動体表示）を重畳（合成）することで、自車後方前向き画像を生成する。処理装置１０は、生成した自車後方前向き画像をディスプレイ２０に表示する。自車後方前向き画像は、メモリ１１から適当な過去画像を順次取り出して生成され、リアルタイムに更新・表示される。
【００２２】
ここで、自車後方前向き画像を生成するのに用いる前方環境画像は、メモリ１１に記憶された過去の前方環境画像（過去画像）である。即ち、自車後方前向き画像を生成するのに用いる前方環境画像は、上述の如く、現時点の自車位置より所定距離Ｌ０後方に位置するカメラにより前方を撮像した画像であり、自車に搭載される前方カメラ４０の場合、自車が現時点の自車位置より所定距離Ｌ０後方の地点を通過したときに前方カメラ４０により撮像された前方環境画像である。
【００２３】
図２は、自車後方前向き画像の説明図である。
【００２４】
自車後方前向き画像は、自車後方から前方に自車を視た画像であり、過去画像と、前方カメラの現時点の画像（以下、「現在画像」と称する）とを含む。即ち、自車後方前向き画像は、過去画像と現在画像とを合成して生成される。図２では、現在画像は、範囲３０２内の画素を形成し、過去画像は、範囲３０２の外側の範囲３００の画素を形成する。但し、範囲３０２内の画素や範囲３０２の画素の一部は、後述のように、他の表示等で生成される場合がある。また、範囲３００を形成する過去画像は、後述のように（図９のステップＳ９０６参照）、移動体消去処理を経て用いられる。
【００２５】
現在画像と過去画像の境界には、境界線表示３０４が出力される。これにより、運転者は現在画像と過去画像との境を把握し易くなる。なお、現在画像と過去画像を見分けやすくするための方法は、種々の形態が考えられる。例えば、現在画像はカラーで表現され、過去画像はモノクロで表現されてもよい。この場合、色が失われることで、過去のものであるという感覚的な分かり易さがある。その他、過去画像については、ぼかす、解像度を下げる（軽いモザイク風）、淡い色調にする、セピア色フィルタをかける等の処理を行うことで、現在画像と過去画像を見分けやすくできる。
【００２６】
自車後方前向き画像における現在画像の位置は、例えば図２に示すように、自車後方前向き画像の中央部である。尚、自車後方前向き画像における現在画像の位置は、常に画面中央部の固定領域であってもよい。この場合、過去画像の合成部分は、過去画像と現在画像の境界がシームレスに繋がる態様で決定される。
【００２７】
自車後方前向き画像は、自車を表す自車表示７０を含む。自車表示７０は、いわゆるＣＧ（Computer Graphics）であり、実像ではない。過去画像には、当然ながら自車は映っていないためである。自車表示７０は、好ましくは、半透明に描画される。
【００２８】
自車後方前向き画像における自車表示７０の合成位置は、現在画像上の所定の位置であってよい。従って、図２に示すように、自車表示７０は、現在画像上に重畳する態様で配置されうる。但し、自車表示７０が半透明であるので、運転者は、自車前方の状態を、自車表示７０の背後で可視の現在画像にて視認できる。合成される自車表示７０は、自車の車種が予め既知であるので、自車の背面視を表す態様で予め生成することができる。尚、図２に示す例では、自車表示７０は、前方消失点を覆う位置に描画されている。尚、過去画像における自車表示７０の大きさは、所定距離Ｌ０が固定値である場合は一定であってよいが、所定距離Ｌ０が可変値である場合は、それに応じて変化（縮小・拡大）されてもよい。尚、自車表示７０の一部は、過去画像上に合成されてもよい。
【００２９】
自車後方前向き画像は、更に、周辺移動体表示７２を含む。
【００３０】
前方環境画像における周辺移動体表示７２の合成位置及び大きさは、現時点の周辺移動体と自車との相対位置関係に基づいて決定され、その他、前方カメラ４０の光軸方向等が考慮されてもよい。即ち、処理装置１０は、周辺移動体と自車との相対位置関係に基づいて、前方カメラ４０の光軸方向等を考慮して予め決定された所定の変換式（実空間内の位置と前方環境画像内の各画素位置との間の関係式）を用いて、周辺移動体表示７２の合成位置（画素位置）を算出してもよい。また、前方環境画像における周辺移動体表示７２の大きさは、現時点の周辺移動体の位置と、使用する前方環境画像の取得時点の自車位置との相対関係に基づいて、縮小・拡大されてもよい。また、前方環境画像における周辺移動体表示７２の向きについては、道路区画線方向又は自車進行方向に沿った固定の向きであってもよいし、周辺レーダセンサ５０から得られる情報に基づいて可変されてもよい。
【００３１】
周辺移動体表示７２は、範囲３０２の外側の範囲３００においては、ＣＧによりアニメーション化して生成される（図２参照）。これにより、より現実感のある周辺移動体表示７２を出力することができる。また、周辺移動体表示７２が実際に前方カメラ４０により捕捉された像でないことを考慮して、周辺移動体表示７２は、アニメーションとワイヤフレームとの組み合わせにより生成されてもよい。範囲３０２においては、周辺移動体表示７２は、現在画像により生成される（図２の範囲７５参照）。また、周辺移動体表示７２は、境界線表示３０４を跨ぐ場合は、図２に示すように、範囲３０２内は現在画像により形成され、範囲３００内はＣＧで形成されることになる。これにより、より現実感のある周辺移動体表示７２を出力しつつ、運転者に、周辺移動体表示７２が示す周辺移動体が、仮想的な像であり、実際の像（現実の周辺移動体の像）でないこと、即ち現実の周辺移動体とは異なるものが描画されていることを知らせることができる。また、周辺移動体の属性は、必ずしも取得される必要はなく、この場合、周辺移動体表示７２は、例えば、ワイヤフレームのみで表現されてもよい。
【００３２】
また、周辺移動体表示７２は、周辺移動体の属性（車種や大きさ、形状、色等）に応じて異なる態様で生成されてもよい。例えば、周辺移動体の属性は、車車間通信や路車間通信（インフラとの通信）を介して取得されてもよい。また、周辺移動体の大きさ、形状については、ある程度であるが、周辺レーダセンサ５０からの情報（周辺移動体の存在する範囲や反射する電波の量）に基づいて把握することができる。周辺移動体の属性が取得される場合には、例えば周辺移動体の属性毎に予め用意された周辺移動体表示７２が使用されてよい。
【００３３】
また、周辺移動体表示７２は、警報としての側面を有してもよい。この場合、自車が追い越した周辺移動体に係る周辺移動体表示７２については、注意喚起力の低い色で表現されてもよい。他方、接近車両のような自車よりも早い周辺移動体に係る周辺移動体表示７２については、注意喚起力の高い色（例えば赤）で表現されてもよい。周辺移動体表示７２に色を付けることで、モノクロの過去画像内における周辺移動体表示７２の識別性も向上する。また、接近車両のような自車よりも早い周辺移動体に係る周辺移動体表示７２は、図２に示すように、検出枠表示７４が併せて出力されてもよい。なお、図２に示す例では、検出枠表示７４に係る周辺移動体の一部は、現在画像でも表現されている（符号７５の範囲参照）。
【００３４】
図３は、自車と周辺移動体とが走行している状況を上面視（Ａ）と側面視（Ｂ）で概略的に示す図であり、自車後方前向き画像を生成するのに用いる前方環境画像の取得時点の前方カメラ４０の位置と、自車後方前向き画像に合成される周辺移動体の一例を示す図である。尚、図３において、符号１０１乃至１０３は、周辺レーダセンサ５０からの検出波を模式的に示し、符合１０４乃至１０７は、前方カメラ４０の撮像範囲（画角）の一例を模式的に示している。
【００３５】
図３においては、現時点の自車が実線で描かれ、現時点よりも前の自車（現時点の自車位置より所定距離Ｌ０後方に位置したときの自車）が点線で示されている。上述の如く、現時点の表示用の自車後方前向き画像を生成するのに用いる前方環境画像は、点線の自車位置（前方カメラ４０の位置）で得られた前方環境画像であり、メモリ１１から取り出される。例えば、定常走行時においては、車速センサ３０に基づく現時点の車速ｖ（ｍ／ｓ）と所定距離Ｌ０（ｍ）から、現時点よりもＬ０／ｖ（ｓ）前に撮像された前方環境画像が使用される。尚、車速は一定でない場合があるので、平均値が使用されてもよい。但し、上述の如く、所定距離Ｌ０は一定である必要はないので、メモリ１１から所定距離Ｌ０後方に対応する前方環境画像を厳密な精度で取り出す必要はない。従って、ある実施例では、現時点のフレーム周期から一定の所定フレーム周期前の前方環境画像が利用されてもよい。この場合、現時点のフレーム周期から所定フレーム周期前までの自車の走行距離が、所定距離Ｌ０に実質的に対応し、従って、所定距離Ｌ０は、その間の走行態様（特に車速）に応じて可変することになる。
【００３６】
図４は、運転者に対して車両用周辺監視装置１により自車後方前向き画像が提供される様子を模式的に示す図である。
【００３７】
図示の例では、ディスプレイ２０は、インストルメントパネルの中央部に設けられている。当然ながら、ディスプレイ２０は、運転者よりも前方の他の箇所（例えばインナミラーのような上方の位置）に設けられてもよい。自車の前進走行中、運転者がフロントウインドシールドを介して直接的に視認する自車前方の環境は、図４にて矢印Ｙ１で示すように、前方から後方へ向かう方向に流れる。この際、運転者がディスプレイ２０を介して視認する自車後方の環境も、図４にて矢印Ｙ２で示すように、前方から後方へ向かう方向に流れる。このように、自車の前進走行中、運転者がフロントウインドシールドを介して直接的に視認する自車前方の環境の流れる方向と、運転者がディスプレイ２０を介して視認する自車後方の環境の流れる方向とが実質的に一致する。
【００３８】
このように車両用周辺監視装置１によれば、自車の前進走行中に、自車後方から前方に自車を視た画像（自車後方前向き画像）をディスプレイ２０に出力することによって、運転者がフロントウインドシールドを介して直接的に視認する自車前方の環境の流れる方向と、運転者がディスプレイ２０を介して視認する自車後方の環境の流れる方向とを実質的に一致させることができる。これにより、自車前方の環境と後方の環境とで同一方向の動きとなり、運転者が直感的に瞬時に周辺環境を把握することが容易となる。また、これにより、運転中の煩わしさ（ディストラクション）を大幅に低減することができ、安全性にも大きく寄与することができる。また、周辺移動体を含みうる実像（現在画像）も、図４にて矢印Ｙ２で示すように、前方から後方へ向かう方向に流れ、前方カメラ４０の画角外（死角）に入ると過去画像においてアニメーション化して表現される。これにより、運転者は、アニメーション化の意図するものが何であるか（即ち実景でないこと）を直感的に理解できる。
【００３９】
また、車両用周辺監視装置１によれば、合成された周辺移動体表示を含む前方環境画像をディスプレイ２０に表示することで、運転者は、自車に接近してくる他車（自動二輪車や二輪車を含む）の状況や、死角に入って見え難い位置の他車を容易に把握することができる。従って、究極的には、バックミラー（インナミラー６０やサイドミラー６２，６４）を廃止することも可能である。但し、バックミラーと組み合わせで使用することも可能である。尚、インナミラー６０やサイドミラー６２，６４は、電子ミラーであってもよいし、物理ミラーであってもよい。尚、サイドミラー６２，６４が電子ミラーである場合は、サイドミラー６２，６４には後方カメラ６２１，６４１（図５参照）の画像が出力される。図５には、後方カメラ６２１，６４１の各視野がＳ３，Ｓ４で示される。
【００４０】
図５は、前方カメラ４０、後方カメラ６２１，６４１の各視野の関係の説明図である。図５においては、現時点の自車が実線で描かれ、現時点よりも前の自車（現時点の自車位置より所定距離Ｌ０後方に位置したときの自車）が点線で示されている。図５では、Ｓ１は、前方カメラ４０の視野を示し、Ｓ２は、過去画像の範囲を示し、Ｓ３，Ｓ４は、左右の後方カメラ６２１，６４１の各視野を示す。図５から、自車は左右の後方カメラ６２１，６４１を備え、過去画像と、現在画像と、左右の後方カメラ６２１，６４１の各画像との組み合わせで、自車周辺の死角をカバーした走行支援を実現できることが分かる。
【００４１】
図６は、車両用周辺監視装置１の処理装置１０により実行される主要処理の一例を示すフローチャートである。図６に示す処理は、概略であり、例えば自車の前進走行中に所定周期毎（例えば、前方カメラ４０のフレーム周期毎）に繰り返し実行されてもよいし、イグニッションスイッチがオンである間（自車の停止時を含む）所定周期毎に繰り返し実行されてもよい。但し、後者の場合、自車後退時には実行されなくてよい。この際には、後方向きカメラによる通常のバックモニタ画像に切り替えられてもよい。また、図６に示す各ステップの処理（特にステップＳ９０６乃至ステップＳ９２３の処理）は、必ずしも図６に示す順序で実行される必要はなく、順序が適宜変更されてもよいし、幾つかが同時（並列）に実行されてもよい。
【００４２】
ステップＳ９００では、今回周期で出力すべき自車後方前向き画像を生成する際の視点の位置が決定される。ここでは、特に、自車後方の所定距離Ｌ０の値が決定される。所定距離Ｌ０の値が固定値である場合は、ステップＳ９００は省略されてもよい。
【００４３】
ステップＳ９０１では、判定部１１０は、自車が所定距離Ｌ０以上走行したか否かを判定する。自車が所定距離Ｌ０以上走行した場合は、ステップＳ９０３に進み、それ以外の場合は、ステップＳ９０２に進む。
【００４４】
ステップＳ９０２では、通常のバックモニタ画像がディスプレイ２０に出力（表示）される。尚、通常のバックモニタ画像に代えて、図２における範囲３０２のみからなる画像（範囲３００が真っ黒な画像）がディスプレイ２０に出力（表示）されてもよい。
【００４５】
ステップＳ９０３では、今回周期で出力すべき自車後方前向き画像を生成するために用いる過去画像の時刻ｔ０が決定される。過去画像の時刻ｔ０は、ＧＰＳの測位データに基づく過去の自車位置や、定常走行時においては、現在の車速をｖとして、上述の如く、現時点の車速ｖ（ｍ／ｓ）と所定距離Ｌ０（ｍ）から、現時刻からＬ０／ｖ（ｓ）だけ過去の時刻から推定されてもよい。
【００４６】
ステップＳ９０４では、メモリ１１から、上記ステップＳ９０３で決定された過去の時刻に前方カメラ４０により撮像された前方環境画像（過去画像）が取り出される。
【００４７】
ステップＳ９０６では、上記ステップＳ９０４で取り出された前方環境画像に対して、移動体消去処理が実行される。移動体消去処理は、前方環境画像内の移動体部分を除去する処理である。移動体消去処理に必要な固定物と周辺移動体の判別は、ＭＰＥＧ（Moving Picture Experts Group）などの動画圧縮記録においては一般的な手法であり、これらの手法が利用されてもよい。また、このような移動体消去処理は、処理自体も非常に軽く、リアルタイムで実行することができる。尚、移動体消去処理が前方環境画像の取得時点（メモリ１１に記憶する前）に実行されている場合は、本ステップＳ９０６は省略される。
【００４８】
尚、前方環境画像の動画（連続した複数フレーム）において、一般的に、固定物又は自車の走行速度に対して十分低速である準固定物は、前方消失点から放射状に延在する線分に沿って、その位置に応じた（前方カメラ４０からの位置）移動ベクトルで動く。一方、走行する車両等のような周辺移動体は、前方消失点から放射状に延在する線分に沿ったベクトルと、周辺移動体自身の移動ベクトルとを合成したベクトルで動く。従って、前方環境画像の動画における動き（ベクトル）の相違点を利用して、周辺移動体と固定物（又は準固定物）とを容易に判別することができる。従って、処理装置１０は、移動体消去処理として、前方環境画像のフレーム間の比較を行い、固定物（又は準固定物）の画像範囲のみを残し、周辺移動体の像を消去すればよい。尚、周辺移動体の像が消去された領域には、他の時点で取得された前方環境画像の像（固定物の像）が組み込まれてもよい。
【００４９】
このような移動体消去処理を行うことにより、過去画像を使用して自車後方前向き画像を生成する場合であっても、生成される自車後方前向き画像に、現時点で自車周辺に実際には存在しない周辺移動体の像が含まれることが防止され、信頼性の高い自車後方前向き画像を運転者等に提供することができる。
【００５０】
ステップＳ９１０では、周辺レーダセンサ５０からの最新の検出データに基づいて、周辺移動体の有無、及び存在する場合には、その相対位置等が算出（把握）される。
【００５１】
ステップＳ９１２では、上記ステップＳ９１０の処理結果に基づいて、周辺移動体が存在する場合には、上記ステップＳ９０４で取り出された前方環境画像に、当該周辺移動体を表す周辺移動体表示７２（図２参照）が合成される。
【００５２】
ステップＳ９２０では、メモリ１１から、現時点の前方環境画像（現在画像）が取り出される。
【００５３】
ステップＳ９２２では、上記ステップＳ９０４で取り出された前方環境画像（過去画像）又は上記ステップＳ９０４で取り出され周辺移動体表示７２が合成された前方環境画像（過去画像）に、現在画像（図２参照）が合成される。
【００５４】
ステップＳ９２３では、上記ステップＳ９２２で現在画像が合成された前方環境画像に、半透明の自車表示７０が合成され（図２参照）、これにより、自車後方前向き画像が生成される。
【００５５】
ステップＳ９２４では、生成された自車後方前向き画像がディスプレイ２０に出力（表示）される。このようにして自車後方前向き画像がリアルタイムにディスプレイ２０に出力される。
【００５６】
尚、図７に示す例では、過去画像の上位レイヤに現在画像が合成されているが、現在画像の周辺に過去画像の対応部分を組み込む態様で自車後方前向き画像が生成されてもよい。
【００５７】
本実施例によれば、過去画像から移動体消去処理により周辺移動体の像が消去されるものの、現在画像が合成されるので、自車後方前向き画像と実景との関連が運転者にとって分かり易くなる。例えば、特許文献１に記載の構成では、過去画像から移動体消去処理により周辺移動体の像が全て消去されアニメーション化されるので、自車後方前向き画像と実景との関連が運転者にとって分かり難くなり得るが、本実施例によれば、かかる点を改善できる。
【００５８】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【００５９】
例えば、上述した実施例では、周辺レーダセンサ５０が周辺移動体を検出するための手段として用いられているが、周辺移動体を検出する手段は、多種多様であり、カメラ以外の任意の手段又はその組み合わせが使用されてもよい。例えば、路側施設（例えばサーバ）が周辺車両（周辺移動体）のＧＰＳに基づく現在位置情報を集約する場合、かかる路側施設から自車の周辺車両の位置情報が取得されてもよい（即ち、各車両が自身の位置情報を路側施設に送信し、路側施設が、自車を中心とした周辺車両の位置情報を送信してくるシステム）。この場合、路側施設は、周辺車両の属性（上述の周辺移動体表示７２の生成に利用できる属性）に関する情報を有してもよく、かかる情報についても自車が路側施設から取得してもよい。また、周辺移動体を検出する手段は、車両後方を撮像する後方カメラであってもよい。また、周辺移動体を検出する手段は、周辺車両と位置情報を通信する車車間通信装置であってもよい。
【００６０】
また、上述した実施例では、周辺レーダセンサ５０としての後方レーダセンサにより主に車両後方の周辺移動体（後方移動体）が検出されて、周辺移動体表示７２として合成されているが、他の周辺移動体についても同様に検出されて、同様の周辺移動体表示として合成されてもよい。例えば、自車側方の移動体や自車前方の移動体についても、例えば側方レーダセンサや前方レーダセンサ等により検出し、この検出結果に基づいて、自車側方の移動体を表す表示を、前方環境画像（過去画像）に合成することで、自車後方前向き画像を生成してもよい。このように、自車後方前向き画像の画角内に現時点で存在する周辺移動体であれば、自車に対してどの位置に存在するかに関係なく、検出されて、その表示が前方環境画像（過去画像）に合成されてもよい。
【符号の説明】
【００６１】
１    車両用周辺監視装置
１０    処理装置
１１    メモリ
２０    ディスプレイ
３０    車速センサ
４０    前方カメラ
５０    周辺レーダセンサ
７０    自車表示
７２    周辺移動体表示
【図１】
2018122823.tif 000003
【図２】
2018122823.tif 000004
【図３】
2018122823.tif 000005
【図４】
2018122823.tif 000006
【図５】
2018122823.tif 000007
【図６】
2018122823.tif 000008