(57)【要約】【課題】予測進路情報が表示される表示画面を見た運転者が、車両の進行方向の状況を容易に把握することができる技術を提供する。【解決手段】運転支援装置は、車両の周辺を撮影するカメラで撮影された撮影画像に前記車両の予測進路を重ねて画面に表示させる。運転支援装置は、前記予測進路を立体的に示す左右一対の予測面を生成する予測面生成部と、前記撮影画像の中から前記予測面と重なる物体を検出する検出部と、前記予測面の透過率を設定する設定部と、前記設定部によって設定された前記透過率に基づいて前記撮影画像と前記一対の予測面とが合成された合成画像を生成する合成画像生成部と、を備え、前記設定部は、前記合成画像にて前記予測面と前記物体とが重なる重畳領域において、前記予測面と前記物体の位置関係に応じて前記透過率を変更する。【選択図】図１
2018149869.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮影するカメラで撮影された撮影画像に前記車両の予測進路を重ねて画面に表示させる運転支援装置であって、
前記予測進路を立体的に示す左右一対の予測面を生成する予測面生成部と、
前記撮影画像の中から前記予測面と重なる物体を検出する検出部と、
前記予測面の透過率を設定する設定部と、
前記設定部によって設定された前記透過率に基づいて前記撮影画像と前記一対の予測面とが合成された合成画像を生成する合成画像生成部と、
を備え、
前記設定部は、前記合成画像にて前記予測面と前記物体とが重なる重畳領域において、前記予測面と前記物体の位置関係に応じて前記透過率を変更する、運転支援装置。
【請求項２】
前記重畳領域において、前記物体が、前記一対の予測面の間に位置する第１領域と、前記予測面を基準として前記第１領域の反対側に位置する第２領域とを有する場合に、
前記設定部は、前記予測面の前記第１領域に重なる部分の前記透過率を、前記予測面の前記第２領域に重なる部分の前記透過率に比べて大きくする、請求項１に記載の運転支援装置。
【請求項３】
前記第１領域の検出を報知するための処理を行う報知処理部を更に備える、請求項２に記載の運転支援装置。
【請求項４】
前記報知処理部は、前記第１領域の前記車両からの距離に応じて報知形態を変更する、請求項３に記載の運転支援装置。
【請求項５】
前記設定部は、前記物体の種類に応じて、前記予測面の前記第２領域と重なる部分の前記透過率を変更する、請求項２から４のいずれか１項に記載の運転支援装置。
【請求項６】
前記設定部は、前記予測面の曲率に基づいて前記予測面の透過率を複数種類に分けて設定する、請求項１から５のいずれか１項に記載の運転支援装置。
【請求項７】
前記設定部は、前記車両からの距離に基づいて前記予測面の透過率を複数種類に分けて設定する、請求項１から５のいずれか１項に記載の運転支援装置。
【請求項８】
前記予測面生成部は、異なる時刻に撮影された複数の前記撮影画像に基づいて前記一対の予測面を生成する、請求項１から７のいずれか１項に記載の運転支援装置。
【請求項９】
車両の周辺を撮影するカメラで撮影された撮影画像に前記車両の予測進路を重ねて画面に表示させる運転支援方法であって、
前記予測進路を立体的に示す左右一対の予測面を生成する予測面生成工程と、
前記撮影画像の中から前記予測面と重なる物体を検出する検出工程と、
前記予測面の透過率を設定する設定工程と、
前記設定工程によって設定された前記透過率に基づいて前記撮影画像と前記一対の予測面とが合成された合成画像を生成する合成画像生成工程と、
を備え、
前記設定工程は、前記合成画像にて前記予測面と前記物体とが重なる重畳領域において、前記予測面と前記物体との位置関係に応じて前記透過率を変更する、運転支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置及び運転支援方法に関する。
【背景技術】
【０００２】
車載カメラで撮像した画像を車載モニタに表示し、車両運転を支援する運転支援装置が知られる。運転支援装置は、車載カメラによる撮像画像に加え、車幅ラインを示すガイド線を車両後方に延びる様にモニタ画面に重畳表示し、このガイド線の向きをハンドル操作に合せて移動させ、車両進行方向を運転者に容易に認識できるようにしている。また、従来においては、車幅ラインを示すガイド線のうち車両が曲がる内側すなわち他車と接触する可能性の高い側のガイド線を、地面からバンパ位置まで立ち上がる曲面で表示し、車両の最も出っ張っている部分であるバンパが障害物に接触するか否かの判断を容易にしようとしている。このような技術は、例えば特許文献１に開示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４７０８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
運転者が、地面上のガイド線からバンパ位置まで立ち上がる三次元の曲面で表示するガイドを見て車両の進行方向の状況を即座に把握できない場合、運転者は車両の進行方向の状況を誤認識する可能性がある。運転者が車両の進行方向の状況を誤認識すると、運転車両が歩行者や他の車両等と衝突を起す可能性がある。
【０００５】
本発明は、上記課題に鑑みて、予測進路情報が表示される表示画面を見た運転者が、車両の進行方向の状況を容易に把握することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の運転支援装置は、車両の周辺を撮影するカメラで撮影された撮影画像に前記車両の予測進路を重ねて画面に表示させる運転支援装置であって、前記予測進路を立体的に示す左右一対の予測面を生成する予測面生成部と、前記撮影画像の中から前記予測面と重なる物体を検出する検出部と、前記予測面の透過率を設定する設定部と、前記設定部によって設定された前記透過率に基づいて前記撮影画像と前記一対の予測面とが合成された合成画像を生成する合成画像生成部と、を備え、前記設定部は、前記合成画像にて前記予測面と前記物体とが重なる重畳領域において、前記予測面と前記物体の位置関係に応じて前記透過率を変更する構成（第１の構成）である。
【０００７】
上記第１の構成の運転支援装置は、前記重畳領域において、前記物体が、前記一対の予測面の間に位置する第１領域と、前記予測面を基準として前記第１領域の反対側に位置する第２領域とを有する場合に、前記設定部が、前記予測面の前記第１領域に重なる部分の前記透過率を、前記予測面の前記第２領域に重なる部分の前記透過率に比べて大きくする構成（第２の構成）であることが好ましい。
【０００８】
上記第２の構成の運転支援装置は、前記第１領域の検出を報知するための処理を行う報知処理部を更に備える構成（第３の構成）であることが好ましい。
【０００９】
上記第３の構成の運転支援装置において、前記報知処理部は、前記第１領域の前記車両からの距離に応じて報知形態を変更する構成（第４の構成）であってよい。
【００１０】
上記第２から第４のいずれかの構成の運転支援装置において、前記設定部は、前記物体の種類に応じて、前記予測面の前記第２領域と重なる部分の前記透過率を変更する構成（第５の構成）であってよい。
【００１１】
上記第１から第５のいずれかの構成の運転支援装置において、前記設定部は、前記予測面の曲率に基づいて前記予測面の透過率を複数種類に分けて設定する構成（第６の構成）であってよい。
【００１２】
上記第１から第５のいずれかの構成の運転支援装置において、前記設定部は、前記車両からの距離に基づいて前記予測面の透過率を複数種類に分けて設定する構成（第７の構成）であってよい。
【００１３】
上記第１から第７のいずれかの構成の運転支援装置において、前記予測面生成部は、異なる時刻に撮影された複数の前記撮影画像に基づいて前記一対の予測面を生成する構成（第８の構成）であることが好ましい。
【００１４】
本発明の運転支援方法は、車両の周辺を撮影するカメラで撮影された撮影画像に前記車両の予測進路を重ねて画面に表示させる運転支援方法であって、前記予測進路を立体的に示す左右一対の予測面を生成する予測面生成工程と、前記撮影画像の中から前記予測面と重なる物体を検出する検出工程と、前記予測面の透過率を設定する設定工程と、前記設定工程によって設定された前記透過率に基づいて前記撮影画像と前記一対の予測面とが合成された合成画像を生成する合成画像生成工程と、を備え、前記設定工程は、前記合成画像にて前記予測面と前記物体とが重なる重畳領域において、前記予測面と前記物体との位置関係に応じて前記透過率を変更する構成（第９の構成）である。
【発明の効果】
【００１５】
本発明によると、予測進路情報が表示される表示画面を見た運転者が、車両の進行方向の状況を容易に把握することができる技術を提供することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る運転支援システムの構成を示す図
【図２】合成画像生成部によって生成された合成画像を示す模式図
【図３】報知処理部によって行われる処理を説明するための模式図
【図４】運転支援装置の動作例を示すフローチャート
【図５】運転支援装置の第１変形例を説明するための模式図
【図６】運転支援装置の第２変形例を説明するための模式図
【図７】運転支援装置の第３変形例を説明するための模式図
【発明を実施するための形態】
【００１７】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」と呼ぶ。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」と呼ぶ。
【００１８】
＜１．運転支援システム＞
図１は、本発明の実施形態に係る運転支援システムＳＹＳ１の構成を示す図である。運転支援システムＳＹＳ１は、運転支援装置１と、カメラ２と、表示装置３と、音声出力装置４と、を備える。運転支援装置１は、車両の周辺を撮影するカメラ２で撮影された撮影画像に車両の予測進路を重ねて画面に表示させる。本実施の形態では、運転支援装置１は車両のバック駐車を支援する装置である。運転支援装置１の詳細については後述する。
【００１９】
本実施の形態では、カメラ２は、車両の後端部に設けられて車両の後方を撮影するバックカメラで構成される。ただし、カメラ２は、バックカメラに限定される趣旨ではない。例えば、運転支援装置１がバック駐車の支援に限定されない場合には、カメラ２は、車両の前方を撮影するフロントカメラを含んで構成されてもよい。カメラ２は撮影画像を運転支援装置１に出力する。以下において、特に断りなく記載される「撮影画像」は、カメラ２によって撮影された画像のことを意味する。
【００２０】
表示装置３は、例えばタッチパネル等の操作機能を有する、液晶等で構成されるディスプレイを備える。表示装置３は、運転支援装置１から出力される画像を表示する。表示装置３は、車両の乗員（代表的には運転手）がディスプレイの表示画面を視認できる位置に設けられる。表示装置３は、例えば車両のインストルメントパネル等に設置される。
【００２１】
音声出力装置４は、スピーカやアンプ等の音声を出力するための装置を有して構成される。音声出力装置４は、運転支援装置１から音声情報を取得して車両の室内に音声を出力する。音声出力装置４は、表示装置３に内蔵される構成であってよいし、表示装置３とは別に設けられる構成であってもよい。
【００２２】
＜２．運転支援装置＞
運転支援装置１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含むコンピュータによって構成される。コンピュータは、ＲＯＭに記憶されたプログラムに基づいて情報の処理及び送受信を行う。本実施の形態では、運転支援装置１は、取得部１１と、予測面生成部１２と、検出部１３と、設定部１４と、合成画像生成部１５と、報知処理部１６と、画像出力部１７と、音声出力部１８と、を備える。運転支援装置１が備えるこれら各部１１〜１７の機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。
【００２３】
取得部１１は、カメラ２からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。取得した撮影画像がアナログの場合には、取得部１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。取得部１１は、取得した撮影画像、或いは、取得及び変換した撮影画像を、予測面生成部１２に出力する。取得部１１から出力される１つの撮影画像が１つのフレーム画像となる。
【００２４】
予測面生成部１２は、車両の予測進路を立体的に示す左右一対の予測面を生成する。検出部１３は、撮影画像の中から予測面と重なる物体を検出する。設定部１４は、予測面の透過率を設定する。合成画像生成部１５は、設定部１４によって設定された透過率に基づいて撮影画像と一対の予測面とが合成された合成画像を生成する。
【００２５】
図２は、合成画像生成部１５によって生成された合成画像ＣＰを示す模式図である。図２を適宜参照しながら、予測面生成部１２、検出部１３、設定部１４、及び、合成画像生成部１５の詳細について説明する。なお、図２おいて破線で示される車両５は、運転支援装置１、カメラ２、表示装置３、及び、音声出力装置４を搭載する車両である。図２おいて、車両５は、発明の理解を容易とするために便宜的に示されており、合成画像ＣＰ中に映った状態を示すものではない。また、図２において破線で示される矢印は、発明の理解を容易とするために便宜的に示されており、車両５の進行方向を模式的に示す。当該矢印も、合成画像ＣＰ中に映った状態を示すものではない。
【００２６】
本実施の形態では、車両５の予測進路は、車両５がバックを行う場合における予測進路である。車両５の後輪が左右一対存在することに対応して、予測面生成部１２は、図２に示すように、左右一対の予測面２０ａ、２０ｂを生成する。一対の予測面２０ａ、２０ｂは、車両の後方に延びるように生成される。
【００２７】
詳細には、予測面生成部１２は、車両５の移動中に異なる時刻で撮影された２つの撮影画像から車両の移動方向及び単位時間当たりの移動量を推定する。具体的には、予測面生成部１２は、２つのフレーム画像内の路面上に位置する特徴点のオプティカルフロー（動きベクトル）から車両５の移動方向及び単位時間当たりの移動量を推定する。特徴点は、例えば、路面上に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等である。
【００２８】
なお、移動方向が特異である特徴点は、推定処理で用いる特徴点のサンプルから除外されることが好ましい。これにより、例えば移動物に由来する特徴点を、推定処理で用いる特徴点のサンプルから除外することができるので、オプティカルフローを利用した車両５の移動方向及び単位時間当たりの移動量の推定精度が向上する。除外するタイミングは、例えば各特徴点のオプティカルフローを算出した後、その算出結果を用いて推定処理を行う前であってもよく、また例えば各特徴点のオプティカルフローを算出して、その算出結果を用いて推定処理を行った後であってもよい。除外するタイミングが後者である場合には、除外した結果が次回以降の推定処理に反映され、次回以降の推定処理の精度が向上する。なお、移動方向が特異であるか否かの判断は、例えば全ての特徴点の移動方向の平均を求め、その平均からのずれが所定の許容レベルを超えている場合に特異であると判断すればよい。
【００２９】
予測面生成部１２は、推定された車両５の移動方向に基づいて、撮影画像の路面上に引かれる車両５の予測進路線を生成する。予測進路線は、例えば、車両５の後輪が通る予測位置を示す線である。予測進路線は左右一対生成される。そして、予測面生成部１２は、左右のそれぞれの予測進路線を鉛直方向に拡張して、車両５の予測進路を立体的に示す一対の予測面２０ａ、２０ｂを生成する。鉛直方向に拡張する量は、特に限定されないが、少なくとも車両のバンパを超える量であることが好ましい。これにより、駐車時に発生し易い車両との衝突が起こる可能性を低減することができる。
【００３０】
本実施の形態では、以上に説明したように、予測面生成部１２は、異なる時刻に撮影された複数の撮影画像に基づいて一対の予測面２０ａ、２０ｂを生成する。このために、本実施の形態では、車速情報やステアリングの舵角情報等を取得することなく、画像処理のみで予測面を生成することができる。ただし、これは例示であり、予測面生成部１２は、例えば、車速センサ及び舵角センサによって取得される情報を、ＣＡＮバス等を介して取得し、これらの情報に基づいて一対の予測面を生成する構成であってもよい。
【００３１】
一対の予測面２０ａ、２０ｂは、撮影画像中に映る物体２１と重なる場合がある。図２においては、物体２１の一例として車両を示している。物体２１は、例えば人、ポール、建物の壁等、車両以外であってよい。本実施の形態では、検出部１３は、不図示の記憶部に予め記憶されている物体に関する画像情報を用いたパターンマッチング処理によって、物体２１を検出する。検出部１３は、合成画像にて予測面２０ａ、２０ｂと重なる物体２１を検出すればよい。このために、検出部１３は、撮影画像中において、一対の予測面２０ａ、２０ｂが占める領域、又は、当該領域及びその周辺に限定して物体２１の検出を行うことが好ましい。これによって必要な情報を効率良く取得することができる。
【００３２】
設定部１４は、予測面２０ａ、２０ｂの透過率を０％から１００％の範囲で設定することができる。ここで、「透過率」とは、予測面２０ａ、２０ｂに重なる撮影画像の色彩及び線が予測面２０ａ、２０ｂの色彩を透過する割合である。予測面２０ａ、２０ｂの透過率を高めると、予測面２０ａ、２０ｂの色彩が薄く表示され、撮影画像が予測面２０ａ、２０ｂを透過する。例えば、予測面２０ａ、２０ｂの透過率を５０％とすると、予測面２０ａ、２０ｂの色彩が薄く表示され、薄く表示された予測面２０ａ、２０ｂを通して撮影画像が表示される。すなわち、予測面２０ａ、２０ｂが半透明の状態になる。また、予測面２０ａ、２０ｂの透過率を１００％とすると、予測面２０ａ、２０ｂの色彩は表示されず、撮影画像のみが表示される。また、予測面２０ａ、２０ｂの透過率を０％とすると、予測面２０ａ、２０ｂの色彩が濃く表示され、予測面２０ａ、２０ｂと重なる撮影画像は表示されない。
【００３３】
本実施の形態においては、設定部１４は、基本的には、予測面２０ａ、２０ｂの透過率を標準透過率に設定する。標準透過率は不図示の記憶部に記憶される。標準透過率は、例えば２０％とされ、予測面２０ａ、２０ｂに重なる撮影画像は、予測面２０ａ、２０ｂを通して薄く表示される。ただし、設定部１４は、所定の条件下において、予測面２０ａ、２０ｂの特定領域の透過率を標準透過率から変更する場合がある。
【００３４】
なお、本実施の形態においては、予測面２０ａ、２０ｂの標準透過率として、１つの値のみが準備されている。ただし、これは例示であり、予測面２０ａ、２０ｂの標準透過率として、複数の値が準備され、複数の値が状況に応じて使い分けられる構成としてもよい。例えば、車両５の予測進路が曲がっている場合に、車両５の進行方向内側における予測面の標準透過率と、進行方向外側における予測面の標準透過率とが異なる値に設定される構成としてもよい。この場合、進行方向内側の方が危険な状況を生じやすいことを考慮して、進行方向内側の予測面が進行方向外側の予測面に比べて大きな透過率に設定される構成としてもよい。なお、図２に示す例では、予測面２０ａが進行方向内側の予測面であり、予測面２０ｂが進行方向外側の予測面である。例えば、進行方向内側の予測面２０ａの標準透過率を４０％とし、進行方向外側の予測面２０ｂの標準透過率を２０％としてもよい。
【００３５】
設定部１４は、合成画像ＣＰにて予測面２０ａ、２０ｂと物体２１とが重なる重畳領域２２において、予測面２０ａ、２０ｂと物体２１の位置関係に応じて予測面２０ａ、２０ｂの透過率を変更する。これによれば、例えば、物体２１の一部あるいは全部が障害物となって車両５の予測進路上に存在することを、運転者に対して分かりやすく表示することが可能になる。なお、図２に示す例では、２つの予測面２０ａ、２０ｂのうち、進行方向外側の予測面２０ｂのみが、物体２１と重なる重畳領域２２を有する。そして、進行方向外側の予測面２０ｂの一部において、透過率が標準透過率と異なる設定とされた部分が生じている。ただし、進行方向内側の予測面２０ａに重なる物体が存在する場合には、当該予測面２０ａにおいても、進行方向外側の予測面２０ｂと同様に、透過率の変更設定がなされる。
【００３６】
詳細には、重畳領域２２において、物体２１が、一対の予測面２０ａ、２０ｂの間に位置する第１領域２１ａと、予測面２０ａ、２０ｂを基準として第１領域２１ａの反対側に位置する第２領域２１ｂとを有する場合に、設定部１４は、予測面２０ａ、２０ｂの第１領域２１ａに重なる部分の透過率を、予測面２０ａ、２０ｂの第２領域２１ｂに重なる部分の透過率に比べて大きくする。すなわち、車両５の予測進路内に存在する物体２１の一部に重なる予測面２０ａ、２０ｂの透過率を、予測進路外に存在する物体２１の一部に重なる予測面２０ａ、２０ｂの透過率よりも大きくする。本構成によれば、運転者は、合成画像ＣＰを見ることによって、物体２１の予測面２０ａ、２０ｂの内側に突き出した部分をはっきりと認識できる。すなわち、運転者は、予測進路上に障害物が存在するか否かを即座に判断することができ、障害物との衝突を回避することができる。
【００３７】
なお、重畳領域２２において、物体２１が第１領域２１ａのみを有する場合も生じ得る。すなわち、物体２１の全部が予測進路内に存在する場合である。本実施の形態では、この場合には、設定部１４は、予測面２０ａ、２０ｂの第１領域２１ａと重なる部分の透過率を、予測面２０ａ、２０ｂの他の領域の透過率に比べて大きくする。また、重畳領域２２において、物体２１が第２領域２１ｂのみを有する場合も生じ得る。すなわち、物体２１の全部が予測進路外に存在する場合である。本実施の形態では、この場合には、設定部１４は、予測面２０ａ、２０ｂの透過率を全ての領域において一律の値に設定する。更に、重畳領域２２において、物体２１が予測面２０ａ、２０ｂ上に位置する第３領域２１ｃを有する場合もある。すなわち、物体２１の一部が予測進路内と予測進路外の境界に存在する場合である。図２に示す例では、物体２１は第３領域２１ｃを有する。本実施の形態では、設定部１４は、予測面２０ａ、２０ｂの第３領域２１ｃに重なる部分の透過率を、予測面２０ａ、２０ｂの第１領域２１ａに重なる部分の透過率と同じにする。
【００３８】
図２に示す例において、設定部１４は、予測面２０ｂの第１領域２１ａに重なる部分の透過率を１００％に設定している。すなわち、予測面２０ｂの第１領域２１ａに重なる部分においては、予測面２０ｂの色彩は表示されておらず、結果的に、物体２１ａの第１領域２１ａの色彩及び線のみが表示される。また、設定部１４は、予測面２０ｂの第２領域２１ｂに重なる部分の透過率を標準透過率（本例では２０％）に設定している。このために、物体２１の第２領域２１ｂは予測面２０ｂを通して薄く表示されている。なお、予測面２０ｂの第１領域２１ａに重なる部分の透過率は１００％以外であってもよい。また、予測面２０ｂの第２領域２１ｂに重なる部分の透過率は、標準透過率以外の透過率であってもよく、例えば標準透過率より大きな透過率（例えば５０％等）であってよい。
【００３９】
図２に示す例では、物体２１の第１領域２１ａと第２領域２１ｂとが一目で区別でき、物体２１の第１領域２１ａが目立って見える。一対の予測面２０ａ、２０ｂの間は、車両５の予測進路に該当するために、図２に示す例では、運転者は、合成画像ＣＰを見ることによって、物体２１の一部が車両５の予測進路に障害物となって存在することを即座に認識できる。
【００４０】
なお、本実施の形態では、設定部１４は、重畳領域２２中の各画素位置について、実空間における、車両５の所定位置から予測面２０ａ、２０ｂまでの第１距離と、車両５の所定位置から物体２１までの第２距離とを算出する。設定部１４は、重畳領域２２中の各画素位置について算出結果を比較する。設定部１４は、第１距離が第２距離より大きい画素位置に対して第１領域２１ａを割り当てる。すなわち、予測進路内に存在する物体像の画素位置に対して第１領域２１ａを割り当てる。設定部１４は、第１距離が第２距離より小さい画素位置に対して第２領域２１ｂを割り当てる。すなわち、予測進路外に存在する物体像の画素位置に対して第２領域２１ｂを割り当てる。設定部１４は、第１距離と第２距離が同じ画素位置に対して第３領域２１ｃを割り当てる。すなわち、予測進路内と予測進路外との境界に存在する物体像の画素位置に対して第３領域２１ｃを割り当てる。
【００４１】
撮影画像における各画素の座標は、実際の空間における車両に対する座標（いわゆるワールド座標）に１対１で対応している。このために、撮影画像上で検出した重畳領域２２の座標値をワールド座標に変換することで、物体２１の各画素位置について、車両５の所定位置からの実空間上の距離を算出できる。また、上述のように、予測面２０ａ、２０ｂは、撮影画像における路面上に引かれた進行予測線を鉛直方向に拡張したものである。進行予測線上の各点までの実空間における距離は上述の座標変換によって算出でき、予測面２０ａ、２０ｂの鉛直方向の長さは実空間の長さに変換可能である。このために、予測面２０ａ、２０ｂの各画素位置について、車両５の所定位置からの実空間上の距離を算出できる。なお、車両５の所定位置は、例えば車両５の左右方向に延びる後輪軸の中央等であってよい。
【００４２】
合成画像生成部１５は、予測面２０ａ、２０ｂの透過率が設定部１４によって設定された透過率となるように、予測面２０ａ、２０ｂの画像と、撮影画像とを合成する。本実施の形態では、合成画像生成部１５は、撮影画像に予測面２０ａ、２０ｂを重ねる部分についてアルファブレンドを行う。具体的には、透過率をα（％）とし、
合成後の画素値＝予測面の画素値×（１−α/１００）＋撮影画像の画素値×α/１００の算出式で合成画像における各画素値を算出する。合成画像生成部１５は、算出した各画素値によって合成画像ＣＰを生成する。なお、予測面の画素値は、予め設定された画素値であり、当該画素値は記憶部に記憶されている。ただし、予測面の画素値の設定は、適宜変更できる構成であってもよい。
【００４３】
図２に示す例では、進行方向外側の予測面２０ｂの第１領域２１ａ及び第３領域２１ｃと重なる画素位置については、透過率αは１００％とされる。進行方向外側の予測面２０ｂの残りの部分の画素位置、及び、進行方向内側の予測面２０ａの全ての画素位置については、透過率αは標準透過率（透過率２０％）にされる。
【００４４】
報知処理部１６は、第１領域２１ａの検出を報知するための処理を行う。本実施の形態では、報知処理部１６は、第１領域２１ａが検出された場合に、そのことを画面表示及び音声によって運転者に知らせるための処理を行う。これによって、運転者が危険な状態が生じていることを的確に認識することができ、事故の発生確率を低減することができる。なお、本実施の形態では、報知処理部１６は、第３領域２１ｃが検出された場合にも報知処理を行う。
【００４５】
図３は、報知処理部１６によって行われる処理を説明するための模式図である。図３に示すように、報知処理部１６は、第１領域２１ａを囲う枠２３を表示させるための画像処理を行う。枠２３は、危険状態が発生していることを運転者に認識させるために、例えば赤等の目立つ色で構成することが好ましい。図３に示す例では、枠２３の形状は矩形状である。ただし、枠の形状は、例えば円形状等、他の形状であってもよい。また、本実施の形態では、枠２３を表示することにより、第１領域２１ａの検出を報知する構成としているが、例えば矢印の表示等、枠以外の図形を利用して第１領域２１ａの検出が報知されてもよい。また、場合によっては、危険を知らせる文字を利用して第１領域２１ａの検出が報知されてもよい。
【００４６】
また、報知処理部１６は、第１領域２１ａが検出された場合に、不図示の記憶部に記憶される音声データを読み出す。本実施の形態では、報知処理部１６は、画像処理及び音声に関する処理を行う構成としているが、これは例示であり、これら２つの処理のうちのいずれか一方のみを行う構成であってもよい。また、場合によっては、報知処理部１６は設けられなくてもよい。
【００４７】
報知処理部１６は、第１領域２１ａの車両５からの距離に応じて報知形態を変更してよい。例えば、報知処理部１６は、車両５の所定位置から第１領域２１ａまでの最短距離を算出する。報知処理部１６は、この最短距離と、予め設定した少なくとも１つの閾値とを比較して報知形態を変更する。これによって、運転者は危険な状態のレベルを的確に認識することができ、危険回避の行動を適切に行うことが可能になる。
【００４８】
報知形態の変更としては、例えば枠２３の色を変更することが挙げられる。例えば、車両５から第１領域２１ａまでの距離が近くなるにつれて、枠２３の色が緑、黄色、赤といった具合に変更される構成としてよい。また、報知形態の変更としては、音声の大小を変更したり、音色を変更したりすることが挙げられる。例えば、車両５から第１領域２１ａまでの距離が近くなるにつれて、報知音の大きさが徐々に大きくされる構成としてよい。
【００４９】
画像出力部１７は、合成画像生成部１５によって生成された合成画像ＣＰ、或いは、合成画像ＣＰに報知処理が行われた画像の画像データを表示装置３に出力する。表示装置３は、入力された画像データに応じた画像を画面表示する。運転者は、表示装置３に表示される予測面２０ａ、２０ｂ付きの画像を見ることによって、立体的に車の進行方向の状況を確認することができる。このために、駐車が苦手な運転者でも、駐車枠内に綺麗に駐車を行うことができる。また、予測面２０ａ、２０ｂの透過率の変更によって、車両５の予測進路中に障害物があるか否かを一目で把握することができるために、駐車時に事故が起こる可能性を低減することができる。
【００５０】
音声出力部１８は、報知処理部１６から音声データが入力された場合に、音声データを音声出力装置４に出力する。音声出力装置４は、入力された音声データに応じた音声を出力する。運転者は、音声出力装置４によって出力される警告音によって、危険回避行動を行うことができる。
【００５１】
＜３．運転支援処理＞
図４は、運転支援装置１の動作例を示すフローチャートである。  運転支援装置１は、動作開始イベントが発生すると、図４に示すフローチャートの動作を開始する。動作開始イベントとしては、例えば、車両５のシフトレバーの位置がリバースレンジに切り替わったこと等が挙げられる。
【００５２】
まず、予測面生成部１２による予測面生成処理が実行される（ステップＳ１）。予測面生成処理は、車両５の予測進路を立体的に示す左右一対の予測面２０ａ、２０ｂを生成する処理である。本実施の形態では、一対の予測面２０ａ、２０ｂは、撮影画像の画像処理を利用して生成される。次に、検出部１３による検出処理が実行される（ステップＳ２）。検出処理は、予測面２０ａ、２０ｂと重なる物体２１を検出する処理である。次に、設定部１４による設定処理が実行される。設定処理は、予測面２０ａ、２０ｂの透過率を設定する処理である。
【００５３】
詳細には、設定部１４は、検出部１３の検出処理の結果に基づいて、合成画像ＣＰにて予測面２０ａ、２０ｂと物体２１とが重畳する重畳領域２２が生じるか否かを確認する（ステップＳ３）。重畳領域２２がない場合（ステップＳ３でＹｅｓ）、設定部１４は、予測面２０ａ、２０ｂの透過率を一律に標準透過率（本例では２０％）とする通常設定を行う（ステップＳ４）。
【００５４】
設定部１４によって予測面２０ａ、２０ｂの透過率の設定が行われると、合成画像生成部１５が、撮影画像に一対の予測面２０ａ、２０ｂを合成する処理を行う（ステップＳ５）。なお、重畳領域２２がない場合には、物体２１が車両５の予測進路に障害物となって存在する状態が生じていないと判断されるために、報知処理部１６による処理は実行されない。
【００５５】
合成画像生成部１５によって合成画像ＣＰが生成されると、画像出力部１７が、合成画像ＣＰの画像データを表示装置３に出力する（ステップＳ６）。その後、運転支援装置１は、動作終了イベントが発生しているか否かを確認する（ステップＳ７）。動作終了イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジから他のレンジに切り替わったこと等を挙げることができる。動作終了イベントが発生していなければ（ステップＳ７でＮｏ）、ステップＳ１に戻る。これにより、新たなフレーム画像に基づいた処理が繰り返される。一方、動作終了イベントが発生していれば（ステップＳ７でＹｅｓ）、運転支援装置１は図４に示すフローチャートの動作を終了する。
【００５６】
一方、重畳領域２２がある場合（ステップＳ３でＮｏ）、設定部１４は、重畳領域２２において、物体２１が第２領域２１ｂのみを有するか否かを確認する（ステップＳ８）。第２領域２１ｂは、予測面２０ａ、２０ｂを基準として、一対の予測面２０ａ、２０ｂの間に位置する第１領域２１ａの反対側に位置する領域である。物体２１が第２領域２１ｂのみである場合（ステップＳ８でＹｅｓ）、駐車支援装置１は、ステップＳ４以降の動作を行う。
【００５７】
重畳領域２２において、物体２１が第１領域２１ａ及び第３領域２１ｃのうち少なくともいずれか一方を有する場合（ステップＳ８でＮｏ）、設定部１４は、予測面２０ａ、２０ｂの透過率を特別設定とする（ステップＳ９）。なお、第１領域２１ａは、一対の予測面２０ａ、２０ｂの間に位置する領域である。第３領域２１ｃは、物体２１が予測面２０ａ、２０ｂ上に位置する領域である。設定部１４は、第１領域２１ａ及び第３領域２１ｃについて、予測面２０ａ、２０ｂの透過率を１００％に設定する。設定部１４は、予測面２０ａ、２０ｂの他の領域について標準透過率に設定する。
【００５８】
設定部１４によって予測面２０ａ、２０ｂの透過率の設定が行われると、合成画像生成部１５が、撮影画像に一対の予測面２０ａ、２０ｂを合成する処理を行う（ステップＳ１０）。当該合成処理には、報知処理部１６による枠２３の追加処理も含まれる。
【００５９】
合成画像に報知処理を施した画像が生成されると、画像出力部１７が、生成した画像データを表示装置３に出力する。また、報知処理部１６からの指令によって音声出力部１８は音声出力装置４に音声を出力する（ステップＳ１１）。その後、運転支援装置１は、動作終了イベントが発生しているか否かを確認する（ステップＳ７）。この後の処理は先に説明したので、説明を省略する。
【００６０】
なお、ステップＳ７を実施する代わりに、動作終了イベントが発生しているか否かを運転支援装置１がフローチャートの動作中常時監視し、動作終了イベントが発生すれば直ちにフローチャートの動作を終了する構成としてもよい。この場合、ステップＳ６及びステップ１１の処理が終わるとステップＳ１に戻るようにすればよい。
【００６１】
＜４．変形例＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で適宜組み合わせて実施されてよい。
【００６２】
（４−１．第１変形例）
設定部１４は、物体２１の種類に応じて、予測面２０ａ、２０ｂの第２領域２１ｂと重なる部分の透過率を変更してよい。これによれば、車両５の予測進路の外側に存在するとともに予測面２０ａ、２０ｂと重なる部分の見え方を、物体２１の種類に応じて異なる状態にできる。例えば、物体２１が車両と人とでは、大きさや形状等が異なるために、本変形例の構成は有効である。
【００６３】
本変形例について、図５に示す例を参照して更に説明する。図５は、運転支援装置１の第１変形例を説明するための模式図である。図５に示す例では、撮影画像の中に予測面２０ｂと重なる２つの物体２１Ａ、２１Ｂが検出される。第１物体２１Ａは車両である、第２物体２１Ｂは人である。予測面２０ｂと第１物体２１Ａとは第１重畳領域２２Ａを有する。第１重畳領域２２Ａにおいて、第１物体２１Ａは、一対の予測面２０ａ、２０ｂの間に位置する第１領域２１Ａａと、予測面２０ｂを基準として第１領域２１ａの反対側に位置する第２領域２１Ａｂと、予測面２０ｂ上に位置する第３領域２１Ａｃとを有する。予測面２０ｂと第２物体２１Ｂとは第２重畳領域２２Ｂを有する。第２重畳領域２２Ｂにおいて、第２物体２１Ｂは、一対の予測面２０ａ、２０ｂの間に位置する第１領域２１Ｂａと、予測面２０ｂを基準として第１領域２１Ｂａの反対側に位置する第２領域２１Ｂｂと、予測面２０ｂ上に位置する第３領域２１Ｂｃとを有する。
【００６４】
図５に示す例では、設定部１４は、例えば、パターンマッチ処理によって認識した物体２１Ａ、２１Ｂについて、予め記憶部に記憶される情報に基づいて物体の種類を判別する。設定部１４は、判別された物体の種類が複数ある場合には、予め記憶される分類情報に応じて、物体の種類に対応した透過率の設定を行う。本例では、設定部１４は、第１物体２１Ａと第２物体２１Ｂとは異なる種類の物体として扱う。
【００６５】
設定部１４は、第１物体２１Ａと第２物体２１Ｂとで、予測面２０ｂの第２領域２１Ａｂ、２１Ｂｂと重なる部分の透過率を変更する。詳細には、設定部１４は、予測面２０ｂの第２領域２１Ｂｂと重なる部分の透過率（人２１Ｂ側の透過率）を、予測面２０ｂの第２領域２１Ａｂと重なる部分の透過率（車両２１Ａ側の透過率）よりも大きく設定する。
【００６６】
より詳細には、設定部１４は、予測面２０ｂの第２領域２１Ａｂと重なる部分（車両２１Ａ側）の透過率を標準透過率（本例では２０％）に設定する。設定部１４は、予測面２０ｂの第２領域２１Ｂｂと重なる部分（人２１Ｂ側）の透過率を標準透過率より大きな透過率（本例では５０％）に設定する。なお、設定部１４は、予測面２０ｂの、第１領域２１Ａａ、２１Ｂａ及び第３領域２１Ａｃ、２１Ｂｃと重なる部分の透過率を１００％に設定する。また、設定部１４は、予測面２０ｂの残りの部分の透過率は標準透過率とする。また、本例では、設定部１４は、撮影画像中において物体と重なる領域を有さない予測面２０ａについては、全ての領域を標準透過率に設定する。
【００６７】
本変形例の構成では、車両５の予測進路の外側に存在するとともに予測面２０ａ、２０ｂと重なる部分について、第１物体２１Ａ（車両）に比べて第２物体２１Ｂ（人）の方が見易くなる。このために、運転者は、合成画像ＣＰを一目見て、車両５の進行方向の危険性について簡単に把握することができる。
【００６８】
なお、本変形例では、物体２１の種類として人と車両とを示したが、これは例示である。例えば物体の種類は２種類より多くてもよい。また、物体の種類として、例えば移動物と静止物といったグループ分けの形式としてもよい。移動物と静止物で分ける場合、予測面２０ａ、２０ｂの第２領域と重なる部分の透過率は、静止物側に比べて移動物側が大きくなる構成としてよい。なお、移動物には、例えば人や車両が含まれる。静止物には、例えばポールや建物の壁が含まれる。
【００６９】
（４−２．第２変形例）
設定部１４は、予測面２０ａ、２０ｂの曲率に基づいて予測面２０ａ、２０ｂの透過率を複数種類に分けて設定してよい。これによれば、撮影画像に重畳される予測面２０ａ、２０ｂの形状を運転者が把握し易くできる。
【００７０】
本変形例について、図６に示す例を参照して更に説明する。図６は、運転支援装置１の第２変形例を説明するための模式図である。図６に示す例では、撮影画像中に予測面２０ｂと重なる物体２１が検出される。物体２１は、一対の予測面２０ａ、２０ｂの間に位置する第１領域２１ａと、予測面２０ｂを基準として第１領域２１ａと反対側に位置する第２領域２１ｂと、予測面２０ｂ上に位置する第３領域２１ｃとを有する。
【００７１】
設定部１４は、予測面２０ｂの第１領域２１ａ及び第３領域２１ｃと重なる部分の透過率を１００％とする。設定部２０ｂは、予測面２０ｂの残りの部分及び予測面２０ａについて、予測面２０ａ、２０ｂの曲率に基づいて透過率を設定する。本例では、設定部１４は、予め記憶部に記憶される曲率に関する閾値との大小比較によって透過率を設定する。設定部１４は、閾値より小さな曲率を有する部分に比べて、閾値以上の曲率を有する部分の透過率を小さく設定する。すなわち、曲率が大きな部分について透過率を他より小さくする。図６に示す例では、車両５の手前側の透過率を４０％として、車両５の奥側の透過率を２０％（標準透過率）に設定している。これによれば、予測面２０ａ、２０ｂの曲率の大きな部分を壁としてイメージし易くできる。
【００７２】
なお、本変形例では、予測面２０ａ、２０ｂの曲率に基づいて予測面２０ａ、２０ｂの透過率を２種類に分ける構成としているが、これは例示であり、３種類以上に分けられてもよい。また、一対の予測面２０ａ、２０ｂの一方と他方とで、曲率に基づく予測面２０ａ、２０ｂの透過率の変化のさせ方を変えてもよい。
【００７３】
（４−３．第３変形例）
設定部１４は、車両５からの距離に基づいて予測面２０ａ、２０ｂの透過率を複数種類に分けて設定してよい。これによれば、運転者が特に注意すべき位置と、そうでない位置とで予測面と重なる物体の見え方が変わり、運転者は車両５の進行方向の状況を簡単に把握することが可能になる。
【００７４】
本変形例について、図７に示す例を参照して更に説明する。図７は、運転支援装置１の第３変形例を説明するための模式図である。図７に示す例では、撮影画像中に予測面２０ｂと重なる物体２１が検出される。物体２１は、一対の予測面２０ａ、２０ｂの間に位置する第１領域２１ａと、予測面２０ｂを基準として第１領域２１ａの反対側に位置する第２領域２１ｂと、予測面２０ｂ上に位置する第３領域２１ｃとを有する。
【００７５】
設定部１４は、予測面２０ｂの第１領域２１ａ及び第３領域２１ｃと重なる部分の透過率を１００％とする。設定部２０ｂは、予測面２０ｂの残りの部分及び予測面２０ａについて、車両５からの距離に基づいて透過率を設定する。本例では、設定部１４は、車両５からの距離が近い側の透過率を遠い側に比べて大きな透過率に設定する。詳細には、設定部１４は、車両５からの距離が近い側から遠い側に向けて透過率を４段階で変更する。例えば、透過率は、車両５からの距離が近い側から、８０％、６０％、４０％、２０％に設定される。本変形例によれば、車両５からの距離が近いほど、予測面２０ａ、２０ｂを通して車両５の予測進路の外側に位置する物体をはっきりと認識することができる。
【００７６】
なお、本変形例では、予測面２０ａ、２０ｂの透過率は段階的に変化する構成であるが、これは例示であり、予測面２０ａ、２０ｂの透過率は連続的に変化する構成であってよい。また、予測面２０ａ、２０ｂの透過率が段階的に変化する構成の場合、４段階以外の数で変化する構成であってよい。
【００７７】
（４−４．その他）
以上に示した実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの少なくとも一部は電気的なハードウェア回路により実現されてもよい。ハードウェアとしては、例えばＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等が利用されてよい。
【符号の説明】
【００７８】
１  運転支援装置
２  カメラ
５  車両
１２  予測面生成部
１３  検出部
１４  設定部
１５  合成画像生成部
１６  報知処理部
２０ａ、２０ｂ  予測面
２１  物体
２１ａ  第１領域
２１ｂ  第２領域
２２  重畳領域
ＣＰ  合成画像
【図１】
2018149869.tif 000003
【図２】
2018149869.tif 000004
【図３】
2018149869.tif 000005
【図４】
2018149869.tif 000006
【図５】
2018149869.tif 000007
【図６】
2018149869.tif 000008
【図７】
2018149869.tif 000009