(57)【要約】【課題】運転者に特定の対象物を早く認識させる技術を提供する。【解決手段】運転者の前方に画像を投影することにより虚像である画像を実景に重畳して表示するヘッドアップディスプレイを制御する表示制御装置において、制御部は、車載カメラを含む車両用センサの出力にもとづく車両の走行状況に関する走行状況情報から検出された車両前方にある特定の対象物によって走行に緊急を要する状況が生じている場合に、特定の対象物を強調する強調画像を表示させる。【選択図】図２
2019120994.tif 000002
【特許請求の範囲】
【請求項１】
運転者の前方に画像を投影することにより虚像である画像を実景に重畳して表示するヘッドアップディスプレイを制御する表示制御装置であって、
車載カメラを含む車両用センサの出力にもとづく車両の走行状況に関する走行状況情報、をもとに検出された車両前方にある特定の対象物を運転者に警告する場合に、特定の対象物を強調する強調画像を表示させる制御部と、を備えることを特徴とする表示制御装置。
【請求項２】
前記制御部は、強調画像を特定の対象物に重ねてまたは近傍に表示させることを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記制御部は、強調画像を特定の対象物から特定の対象物の進行方向にずらした位置に表示させることを特徴とする請求項２に記載の表示制御装置。
【請求項４】
前記制御部は、特定の対象物に応じた形状をもつ強調画像を表示させることを特徴とする請求項２または３に記載の表示制御装置。
【請求項５】
前記制御部は、走行状況情報にもとづいて緊急度を導出し、緊急度に応じて強調画像を変化させることを特徴とする請求項１から４のいずれかに記載の表示制御装置。
【請求項６】
前記制御部は、緊急度が高いほど特定の対象物を目立たせる強調画像を表示させる請求項５に記載の表示制御装置。
【請求項７】
運転者の前方に画像を投影することにより虚像である画像を実景に重畳して表示するヘッドアップディスプレイを制御する表示制御方法であって、
車載カメラを含む車両用センサの出力にもとづき車両の走行状況に関する走行状況情報を取得する取得ステップと、
走行状況情報から検出された車両前方にある特定の対象物を運転者に警告する場合に、特定の対象物を強調する強調画像を表示させる制御ステップと、を含むことを特徴とする表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種情報の表示を制御する表示制御装置および表示制御方法に関する。
【背景技術】
【０００２】
特許文献１には、自車両の進行を妨げる物体がある場合に、物体の存在を知らせるキャラクターをヘッドアップディスプレイにより投影させる車両用表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−９４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、キャラクターにより物体の存在を知らせるが、運転者はキャラクターを視認した後、視線を物体に移動させて物体を認識するため、物体を認識するまでに時間がかかるおそれがある。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、運転者に特定の対象物を早く認識させる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様は、運転者の前方に画像を投影することにより虚像である画像を実景に重畳して表示するヘッドアップディスプレイを制御する表示制御装置であって、車載カメラを含む車両用センサの出力にもとづく車両の走行状況に関する走行状況情報、をもとに検出された車両前方にある特定の対象物を運転者に警告する場合に、特定の対象物を強調する強調画像を表示させる制御部と、を備える。
【０００７】
この態様によると、走行に緊急を要する状況が生じている場合に実景にある特定の対象物を強調する強調画像を表示させることで、運転者に特定の対象物の存在を素早く認識させることができる。
【０００８】
制御部は、強調画像を特定の対象物に重ねてまたは近傍に表示させてもよい。また、制御部は、強調画像を特定の対象物から特定の対象物の進行方向にずらした位置に表示させてもよい。また、制御部は、特定の対象物に応じた形状である強調画像を表示させてもよい。
【０００９】
制御部は、走行状況情報にもとづいて緊急度を導出し、緊急度に応じて強調画像を変化させてもよい。また、制御部は、緊急度が高いほど特定の対象物を目立たせる強調画像を表示させてもよい。
【００１０】
本発明の別の態様は、表示制御方法である。この方法は、運転者の前方に画像を投影することにより虚像である画像を実景に重畳して表示するヘッドアップディスプレイを制御する表示制御方法であって、車載カメラを含む車両用センサの出力にもとづき車両の走行状況に関する走行状況情報を取得する取得ステップと、走行状況情報から検出された車両前方にある特定の対象物を運転者に警告する場合に、特定の対象物を強調する強調画像を表示させる制御ステップと、を含む。
【００１１】
この態様によると、走行に緊急を要する状況が生じている場合に実景にある特定の対象物を強調する強調画像を表示させることで、運転者に特定の対象物の存在を素早く認識させることができる。
【発明の効果】
【００１２】
本発明によれば、運転者に特定の対象物を早く認識させる技術を提供できる。
【図面の簡単な説明】
【００１３】
【図１】実施例の表示システムの機能構成を説明するための図である。
【図２】運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す図である。
【図３】運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す図であって、緊急度に応じて変化させる強調画像を示す図である。
【図４】運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す図であって、対象物の進行方向に応じた強調画像を示す図である。
【発明を実施するための形態】
【００１４】
図１は、実施例の表示システム１の機能構成を説明するための図である。表示システム１は、表示制御装置１０、車両用センサ１２およびヘッドアップディスプレイ（以下、「ＨＵＤ」と呼ぶ場合がある）１４を備える。表示システム１は、車両走行中に車両前方に注意喚起すべき対象物を検出したときに、その対象物を目立たせて運転者に早く認識させるようにＨＵＤ１４の表示を制御する。
【００１５】
図１に示す表示制御装置１０において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００１６】
車両用センサ１２は、例えば、車外状況を検出するセンサであり、少なくとも車両前方を撮像する車載カメラを含み、他にはミリ波レーダ、音波センサ、赤外線レーザなどを含む。車両用センサ１２の検出結果により、自車両の前方の壁、建物、看板、車両、人などの特定の対象物を検出できる。
【００１７】
また、車両用センサ１２は、車両の走行状況を検出するセンサ、例えば、車速検出センサや操舵量検出センサを含んでよく、車両の進行を予測できる情報を検出する。
【００１８】
ＨＵＤ１４は、運転者の前方に画像を投影することにより虚像である表示画像を実景に重畳して表示する。具体的に、ＨＵＤ１４は、自車両の車室内に搭載され、表示制御装置１０から出力された制御信号にもとづいて、自車両のフロントガラスに各種情報の画像を投影する。この画像は、虚像である。フロントガラスに投影された虚像は、フロントガラスでは結像せず、運転者には車外に表示されているように認識され、ＨＵＤ１４の表示に奥行きがあるように見せる。よって、虚像は、車両前方の実像に重なるように表示される。そのため、運転者は、車両の走行中に視線をほとんど動かすことなく虚像の情報を得ることができる。
【００１９】
表示制御装置１０は、ＨＵＤ１４に制御信号を出力し、ＨＵＤ１４を制御して、車両前方の対象物に重畳する画像を表示させる。表示制御装置１０は、取得部１６、検出部１８、制御部２０および強調画像保持部２２を備える。
【００２０】
取得部１６は、車両用センサ１２の出力にもとづいて車両の走行状況に関する走行状況情報を取得する。走行状況情報は、車両前方の撮像画像やミリ波レーダや音波センサなどの検出結果を含む。
【００２１】
検出部１８は、走行状況情報から車両前方にある特定の対象物を検出し、特定の対象物によって走行に緊急を要する状況が生じていることを検出する。検出部１８の検出結果により、特定の対象物の存在を運転者に警告すべきか判定できる。検出部１８は、車両前方を撮像した撮像画像を解析して、自車両の前方の壁、建物、標識、他車両、人などの対象物を抽出して、対象物の位置および対象物の種類を示す情報を取得する。対象物の位置情報は、撮像画像上の２次元の位置情報だけでなく、対象物と自車両との距離を示す情報も含む。また、検出部１８は、対象物と自車両との距離および自車両から対象物の方角を示す情報を、ミリ波レーダや音波センサなどの検出結果から取得してよい。なお、撮像画像から特定の対象物を抽出する処理、および／またはミリ波レーダや音波センサなどが対象物を検出する処理は、表示制御装置１０ではなく、車両用センサ１２で実行してもよい。いずれにしても、検出部１８は車両前方にある対象物の位置情報など対象物に関する情報を取得する。
【００２２】
検出部１８は、検出した特定の対象物を追跡して、特定の対象物の進行方向を検出する。検出部１８は、特定の対象物の変化によって進行方向を検出し、特定の対象物が車両左右方向のいずれに進行しているか、または、特定の対象物が車両進行方向の中心線に向かって進行しているか検出する。特定の対象物が車両進行方向の中心線に向かって進行していると、車両の走行の障害になる可能性がある。車両進行方向の中心線は、自車両の中心を通るように設定され、自車両の前後方向に延びる。
【００２３】
検出部１８は、検出した特定の対象物によって走行に緊急を要する状況が生じているか検出する。走行に緊急を要する状況には、対象物が自車両の走行の障害になる可能性が高いこと、交通違反をする可能性が高まっていること、交通違反をしていることなどが含まれる。
【００２４】
対象物が自車両の走行の障害になる可能性が高く、走行に緊急を要する状況が生じているかを、検出部１８は、特定の対象物と自車両との位置情報にもとづいて検出する。検出部１８は、特定の対象物と車両進行方向に延びる中心線との距離、特定の対象物と自車両との距離、および特定の対象物の進行方向にもとづいて、走行に緊急を要する状況であることを検出する。例えば、特定の対象物が自車両の車両進行方向に延びる中心線に向かって進行しており、自車両との距離が５メートル以内であれば、検出部１８は、走行に緊急を要する状況が生じていることを検出する。また、検出部１８は、特定の対象物と自車両の位置情報に加えて、特定の対象物と自車両の相対速度にもとづいて、走行に緊急を要する状況が生じているか検出する。
【００２５】
交通違反をする可能性が高く、または交通違反をしており、走行に緊急を要する状況が生じているかを、検出部１８は、特定の対象物から取得した情報にもとづいて検出する。例えば、検出部１８は、撮像画像から、右折禁止を示す標識、進入禁止を示す標識、制限速度を示す標識などの交通標識に示す情報を取得し、交通標識に示す情報と自車両の走行状況にもとづいて走行に緊急を要する状況であることを検出する。検出部１８は、走行に緊急を要する状況を生じていることを検出すると、注意喚起すべき特定の対象物の情報を制御部２０に送る。
【００２６】
制御部２０は、車両前方にある特定の対象物によって走行に緊急を要する状況が生じている場合に、すなわち、特定の対象物の存在を運転者に警告する場合に、車両前方の実景にある特定の対象物を強調する強調画像を、特定の対象物に重ねてまたは近傍に表示させる制御を実行する。制御部２０は、検出部１８から注意喚起すべき特定の対象物の情報を受け取ると、実景にある特定の対象物に重ねてまたは近傍に表示させるよう強調画像をＨＵＤ１４に投影させる。走行に緊急を要する状況が生じていることが検出部１８に検出されなければ、強調画像は表示されない。特定の対象物の近傍とは、特定の対象物に重なってはいないものの近接しており、運転者が強調画像を視認すれば、特定の対象物も視認される位置をいう。
【００２７】
制御部２０は、自車両前方にある注意喚起すべき特定の対象物に対して強調画像を重ねてまたは近傍に表示させることで、実景にある特定の対象物を目立たせて運転者に認識させる。運転者は、実景にあるように見える強調画像を視認すれば、それに重なるまたは近傍にある特定の対象物を素早く認識できる。走行に緊急を要する状況が生じている場合にのみ強調画像を投影することで、運転者に効果的に注意喚起できる。
【００２８】
強調画像保持部２２は、強調画像として、特定の対象物を囲む枠体の画像や、自動車、自転車および人の形状をした画像、注意を促すテキストの画像を保持する。
【００２９】
制御部２０は、特定の対象物が移動しない地物である場合、その地物を強調する強調画像として地物を囲む枠体を表示させ、特定の対象物が人や車両の移動体である場合、その移動体に応じた形状の強調画像を表示させてよい。つまり、制御部２０は、特定の対象物の種類に応じて強調画像の種類を替えてよい。
【００３０】
図２は、運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す。図２では、対象物である歩行者２８が車両前方に飛び出す状況を示す。
【００３１】
検出部１８は、車両用センサ１２の出力結果にもとづき歩行者２８を検出し、歩行者２８と自車両の位置および歩行者２８の進行方向を取得し、自車両の走行に緊急を要する状況が生じているか判定する。検出部１８が歩行者２８により自車両の走行に緊急を要する状況が生じていると判定し、制御部２０が、検出部１８から注意喚起すべき歩行者２８の情報を受け取ると、歩行者２８を目立たせる第１強調画像３０ａおよび第２強調画像３０ｂをＨＵＤ１４に投影させる。運転者は、第１強調画像３０ａおよび第２強調画像３０ｂを視認すると同時に歩行者２８を認識し、車速を低下させるなどの対応をとることができる。
【００３２】
第１強調画像３０ａは、歩行者２８およびその周囲に重なるように表示され、半透明の状態である。第２強調画像３０ｂは、歩行者２８の上方近傍にテキストで表示される。第１強調画像３０ａが歩行者２８の形状に応じた形状で表示されることで、運転者は注意喚起すべき対象物が歩行者２８であることを認識しやすくなる。注意喚起すべき対象物が自転車や自動車であれば、強調画像が自転車の形状や自動車の形状に応じた形状で表示されてよい。
【００３３】
図３は、運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す図であって、緊急度に応じて変化させる強調画像を示す図である。図３（ａ）に示す歩行者３２ａより、図３（ｂ）に示す歩行者３２ｂが緊急度が高い状態にある。
【００３４】
制御部２０は、走行状況情報にもとづいて緊急度を導出し、緊急度に応じて強調画像を変化させる。例えば、制御部２０は、自車両と対象物の距離と、対象物の進行方向と、車両進行方向に延びる中心線に対する対象物の距離とにもとづいて、緊急度を算出する。自車両と対象物の衝突の可能性が高いほど、緊急度が高くなるように算出される。また、制御部２０は、交通標識に示す情報にもとづいて緊急度を算出する。自車両が交通違反をしている場合は、自車両が交通違反をしていない場合より緊急度が高くなるように算出される。
【００３５】
図３（ａ）では、歩行者３２ａが車両前方に位置するが、車両進行が予測される軌跡にほとんど重なっていない位置にあり、図３（ｂ）では、歩行者３２ｂが歩行者３２ａより車両進行方向に延びる中心線に近い位置にある。そのため、図３（ｂ）に示す歩行者３２ｂは、図３（ａ）に示す歩行者３２ａより緊急度が高い。
【００３６】
図３（ａ）に示す第３強調画像３４ａと、図３（ｂ）に示す第４強調画像３４ｂは、ともに歩行者を囲む形状であるが、第４強調画像３４ｂが第３強調画像３４ａより大きく、歩行者３２ｂが目立つように強調して表示させる。つまり、制御部２０は、緊急度が高いほど特定の対象物を目立たせる強調画像を表示させる制御を実行する。これにより、緊急度が高いほど運転者が特定の対象物を認識しやすくなる。また、緊急度が高いほど強調画像を大きく表示させることで、運転者に対象物が近くにあるように感じさせ、奥行きのある強調画像を表示させることができる。
【００３７】
図３では、制御部２０が緊急度が高いほど、強調画像を大きく表示させる態様を示したが、この態様に限られない。例えば、制御部２０は、緊急度に応じて強調画像の画素値を変化させてよく、緊急度が高くなるほど、強調画像が青色から赤色になるように変化させてよい。
【００３８】
また、制御部２０は、緊急度に応じて強調画像の輝度を変化させてよく、緊急度が高くなるほど、強調画像を暗くしてよい。制御部２０は、半透明な強調画像を特定の対象物に重ねて表示させるとともに、特定の対象物を実景より暗くさせることで、運転者に特定の対象物が近くにあると感じさせる。
【００３９】
また、制御部２０は、緊急度に応じて強調画像が位置する高さを変化させてよく、緊急度が高くなるほど、強調画像が位置する高さを低くしてよい。強調画像が位置する高さは、ＨＵＤ１４により投影したフロントガラスの鉛直方向の高さであってよく、運転者に視認される実景での鉛直方向の高さであってよい。制御部２０が強調画像を特定の対象物に重ねつつ、特定の対象物より低くなるように位置ずれさせることで、運転者に特定の対象物が近くにあると感じさせることができる。
【００４０】
また、制御部２０は、緊急度に応じて強調画像にぼかし処理を施してよく、緊急度が高いほど、強調画像を鮮明に表示してよい。これにより、緊急度が高いほど運転者に強調画像を近くにあると感じさせることができる。
【００４１】
また、制御部２０は、デフォルトの強調画像を実景での鉛直方向に対して傾斜させてよく、実景上の消失点と特定の対象物を結ぶ直線の傾斜に沿ってデフォルトの強調画像を傾斜させて表示させてよい。実景上の消失点の位置情報は、撮像カメラの位置および撮像方向によって設定され、予め表示制御装置１０に記憶される。また、制御部２０は、特定の対象物の基準位置、例えば中心位置を撮像画像に表示された特定の対象物から算出し、特定の対象物の基準位置と消失点の位置を結ぶ直線を算出し、その直線の傾きに沿って強調画像を傾斜させる。これにより、強調画像に奥行き感を持たせて、運転者に特定の対象物の距離感を把握しやすくできる。
【００４２】
図４は、運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す図であって、対象物の進行方向に応じた強調画像を示す図である。第５強調画像４０は、歩行者３６に応じて人の形状であり、第６強調画像４２は、車両３８に応じて車両の部分形状であり、いずれの強調画像も特定の対象物の形状に模した形状である。
【００４３】
検出部１８は、車両用センサ１２の検出結果から歩行者３６が右方向に向かって移動し、車両３８が左方向に移動していることを検出する。制御部２０は、第５強調画像４０を歩行者３６から歩行者３６の進行方向にずらした位置に表示させ、第６強調画像４２を車両３８から車両３８の進行方向にずれた位置に表示させる。つまり、制御部２０は、強調画像を特定の対象物の進行方向に位置ずれさせて表示させる制御を実行する。なお、第５強調画像４０および第６強調画像４２は一部が対象物と重なっており、運転者が強調画像から視線をほとんど動かすことなく対象物を認識することができる。
【００４４】
強調画像を対象物からずらして表示させることで、実像（対象物）と虚像（強調画像）が結像して強調画像が目立たなくなることを抑えることができる。また、強調画像を進行方向に位置ずれさせて表示させることで、運転者が対象物の進行方向を認識しやすくなる。
【００４５】
また、制御部２０は、特定の対象物の基準位置と消失点の位置を結ぶ直線に沿って、強調画像を特定の対象物からずらして表示させてよい。また、制御部２０は、緊急度に応じて強調画像と特定の対象物の位置ずれ量を変化させてよい。制御部２０が強調画像を特定の対象物に重ねてまたは近傍に表示させつつ、強調画像を消失点に向かう直線に沿って位置ずれさせることで、強調画像に奥行き感を持たせて、運転者が特定の対象物の距離感を把握しやすくできる。
【００４６】
制御部２０は、強調画像と特定の対象物の位置ずれ量を、特定の対象物の速度にもとづいて設定してよい。位置ずれ量を設定するための特定の対象物の速度は、車両左右方向の速度であって、自車両と特定の対象物の相対的な速度であってよく、車両用センサ１２の検出結果をもとに算出される。制御部２０は、強調画像と特定の対象物の位置ずれ量を、特定の対象物の速度が速いほど大きくなるように設定する。すなわち、制御部２０は、強調画像と特定の対象物の位置ずれ量を、特定の対象物の速度が比較的速い場合に、特定の対象物の速度が比較的遅い場合より大きくなるように設定する。これにより、運転者が特定の対象物と強調画像の位置関係から特定の対象物の動きを予測することができる。
【００４７】
制御部２０は、特定の対象物が車両進行方向に延びる中心線に接近している場合に、強調画像を特定の対象物の移動方向にずらして表示させてよい。一方で、制御部２０は、特定の対象物が車両進行方向に延びる中心線に接近していない場合には、強調画像を特定の対象物に合わせて、つまり強調画像が特定の対象物から位置ずれしないように表示させてよい。また、制御部２０は、特定の対象物が車両進行方向に延びる中心線に接近している場合に、特定の対象物が車両進行方向に延びる中心線に接近していない場合より、強調画像と特定の対象物の位置ずれ量が大きくなるように強調画像を表示してよい。これにより、強調画像の位置ずれによって特定の対象物が車両進行方向に延びる中心線に接近しているか運転者に示すことができる。
【００４８】
制御部２０は、特定の対象物の種類に応じて異なる色の強調画像を設定してよい。例えば、歩行者、自転車、自動車などの特定の対象物の種類毎にそれぞれ異なる色、すなわち異なる画素値の強調画像を設定する。これにより、運転者が強調画像の色を認識することで特定の対象物の種類を認識することができる。
【００４９】
以上、実施の形態をもとに本発明を説明した。実施の形態はあくまでも例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００５０】
１  表示システム、  １０  表示制御装置、  １２  車両用センサ、  １４  ＨＵＤ、  １６  取得部、  １８  検出部、  ２０  制御部、  ２２  強調画像保持部。
【図１】
2019120994.tif 000003
【図２】
2019120994.tif 000004
【図３】
2019120994.tif 000005
【図４】
2019120994.tif 000006