(57)【要約】【課題】ドライバが正常な状態であるか否かに応じて、ドライバ向けの表示と車外向けの表示を最適に制御する。【解決手段】車両の窓部に表示を行うＨＵＤ装置５００と、ドライバが正常な状態であるか否かを判定するドライバ状態判定部４０６と、ドライバが正常な状態であるか否かに応じてＨＵＤ装置５００による表示を制御し、ドライバが正常であればドライバ向けの表示を行い、ドライバが正常でなければ車外向けの表示を行うように制御するＨＵＤ制御部４１４と、を備える車両の表示システムが提供される。【選択図】図１
2018156172.tif 000002
【特許請求の範囲】
【請求項１】
車両の窓部に表示を行う表示装置と、
ドライバが正常な状態であるか否かを判定するドライバ状態判定部と、
ドライバが正常な状態であるか否かに応じて前記表示装置による表示を制御し、前記ドライバが正常であれば前記ドライバ向けの表示を行い、前記ドライバが正常でなければ車外向けの表示を行うように制御する表示制御部と、
を備えることを特徴とする、車両の表示システム。
【請求項２】
車外の環境情報を取得する環境情報取得部を備え、
前記表示制御部は、前記環境情報に基づいて車外に前記表示装置による表示を視認する対象が存在する場合に、前記ドライバ向け又は車外向けの前記表示を行うように制御することを特徴とする、請求項１に記載の車両の表示システム。
【請求項３】
前記ドライバが車外の前記対象を認識したか否かを判定するドライバ認識判定部を備え、
前記表示制御部は、前記ドライバが正常であり、且つ前記ドライバが車外の前記対象を認識した場合は、車外向けの表示を行うように制御することを特徴とする、請求項２に記載の車両の表示システム。
【請求項４】
前記表示制御部は、前記ドライバが車外の前記対象を認識していない場合は、前記窓部上で前記対象に対応する位置に所定の表示を行うように制御することを特徴とする、請求項３に記載の車両の表示システム。
【請求項５】
前記表示制御部は、前記所定の表示として、前記窓部上で前記対象を囲む枠を表示するように制御することを特徴とする、請求項４に記載の車両の表示システム。
【請求項６】
車外の前記対象までの距離を判定する距離判定部を備え、
前記表示制御部は、前記距離が所定値以下の場合は、前記所定の表示に加え、車外向けの表示を行うように制御することを特徴とする、請求項４又は５に記載の車両の表示システム。
【請求項７】
車外の状況を検出する車外センサを備え、
前記環境情報取得部は、前記車外センサが検出した情報に基づいて、前記環境情報を取得することを特徴とする、請求項２〜６のいずれかに記載の車両の表示システム。
【請求項８】
前記車外センサは、ステレオカメラから構成されることを特徴とする、請求項７に記載の車両の表示システム。
【請求項９】
車両内に前記ドライバ以外の同乗者が存在するか否かを判定する同乗者判定部を備え、
前記表示制御部は、前記ドライバが正常でない場合に、車両内に同乗者が存在する場合は、車外向けの表示に加えて、同乗者に向けた表示を行うことを特徴とする、請求項１〜８のいずれかに記載の車両の表示システム。
【請求項１０】
ドライバの状態を撮像するカメラと、
前記カメラから前記ドライバの画像情報を取得するドライバ情報取得部と、を備え、
前記ドライバ状態判定部は、前記画像情報に基づいて前記ドライバが正常な状態であるか否かを判定することを特徴とする、請求項１〜９のいずれかに記載の車両の表示システム。
【請求項１１】
前記ドライバ状態判定部は、前記画像情報に基づいて前記ドライバの覚醒状態が正常な状態であるか否かを判定することを特徴とする、請求項１０に記載の車両の表示システム。
【請求項１２】
車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、
ドライバが正常な状態であるか否かを判定するステップと、
前記ドライバが正常な状態であるか否かに応じて前記表示装置による表示を制御し、前記ドライバが正常であればドライバ向けの表示を行い、前記ドライバが正常でなければ車外向けの表示を行うように制御するステップと、
を備えることを特徴とする、車両の表示システムの制御方法。
【請求項１３】
車両の窓部に表示を行う表示装置と、
ドライバの状態を判定するドライバ状態判定部と、
車両外に存在する人物の状態を判定する判定部と、
前記ドライバの状態と車両外に存在する前記人物の状態に応じて車内向けの表示と車外向けの表示を切り換えるように前記表示装置による表示を制御する表示制御部と、
を備えることを特徴とする、車両の表示システム。
【請求項１４】
車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、
ドライバの状態を判定するステップと、
車両外に存在する人物の状態を判定するステップと、
前記ドライバの状態と車両外に存在する前記人物の状態に応じて車内向けの表示と車外向けの表示を切り換えるように前記表示装置による表示を制御するステップと、
を備えることを特徴とする、車両の表示システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の表示システム及び車両の表示システムの制御方法に関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、走行データを分析し、ドライバの運転行為が安全運転、疲労運転、注意力散漫運転、酒酔い運転のいずれであるかを示す安全運転信号を生成し、安全運転信号をドライバに対して表示し、ドライバにそのときの自身の運転行為の状態を判断させることが記載されている。
【０００３】
また、近時では、顔の画像情報に基づいて人の状態を認識する技術が一般的となっている。例えば、下記の非特許文献１には、顔認識により運転中のドライバの状態を監視する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１１４６６８号公報
【非特許文献】
【０００５】
【非特許文献１】丸山  勇人、松岡  敦子、“ドライバーモニタシステムの紹介”、２０１２年１１月、ＯＫＩテクニカルレビュー  第２２０号  Ｖｏｌ．７９  Ｎｏ．２
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載された技術では、安全運転、疲労運転、注意力散漫運転、酒酔い運転のいずれかであるかを示す安全運転信号をドライバに対して表示したとしても、ドライバが正常な状態でなければ、ドライバ自身が自身の運転行為を判断することは困難である。例えば、ドライバの覚醒度が低下している場合、ドライバが表示を認識できないことも想定される。このような場合、ドライバ自身が運転行為を判断することは困難である。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ドライバが正常な状態であるか否かに応じて、ドライバ向けの表示と車外向けの表示を最適に制御することが可能な、新規かつ改良された車両の表示システム及び車両の表示システムの制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、車両の窓部に表示を行う表示装置と、ドライバが正常な状態であるか否かを判定するドライバ状態判定部と、ドライバが正常な状態であるか否かに応じて前記表示装置による表示を制御し、前記ドライバが正常であれば前記ドライバ向けの表示を行い、前記ドライバが正常でなければ車外向けの表示を行うように制御する表示制御部と、を備える、車両の表示システムが提供される。
【０００９】
車外の環境情報を取得する環境情報取得部を備え、
前記表示制御部は、前記環境情報に基づいて車外に前記表示装置による表示を視認する対象が存在する場合に、前記ドライバ向け又は車外向けの前記表示を行うように制御するものであっても良い。
【００１０】
また、前記ドライバが車外の前記対象を認識したか否かを判定するドライバ認識判定部を備え、前記表示制御部は、前記ドライバが正常であり、且つ前記ドライバが車外の前記対象を認識した場合は、車外向けの表示を行うように制御するものであっても良い。
【００１１】
また、前記表示制御部は、前記ドライバが車外の前記対象を認識していない場合は、前記窓部上で前記対象に対応する位置に所定の表示を行うように制御するものであっても良い。
【００１２】
また、前記表示制御部は、前記所定の表示として、前記窓部上で前記対象を囲む枠を表示するように制御するものであっても良い。
【００１３】
また、車外の前記対象までの距離を判定する距離判定部を備え、前記表示制御部は、前記距離が所定値以下の場合は、前記所定の表示に加え、車外向けの表示を行うように制御するものであっても良い。
【００１４】
また、車外の状況を検出する車外センサを備え、前記環境情報取得部は、前記車外センサが検出した情報に基づいて、前記環境情報を取得するものであっても良い。
【００１５】
また、前記車外センサは、ステレオカメラから構成されるものであっても良い。
【００１６】
また、車両内に前記ドライバ以外の同乗者が存在するか否かを判定する同乗者判定部を備え、前記表示制御部は、前記ドライバが正常でない場合に、車両内に同乗者が存在する場合は、車外向けの表示に加えて、同乗者に向けた表示を行うものであっても良い。
【００１７】
また、ドライバの状態を撮像するカメラと、前記カメラから前記ドライバの画像情報を取得するドライバ情報取得部と、を備え、前記ドライバ状態判定部は、前記画像情報に基づいて前記ドライバが正常な状態であるか否かを判定するものであっても良い。
【００１８】
また、前記ドライバ状態判定部は、前記画像情報に基づいて前記ドライバの覚醒状態が正常な状態であるか否かを判定するものであっても良い。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、ドライバが正常な状態であるか否かを判定するステップと、前記ドライバが正常な状態であるか否かに応じて前記表示装置による表示を制御し、前記ドライバが正常であればドライバ向けの表示を行い、前記ドライバが正常でなければ車外向けの表示を行うように制御するステップと、を備える、車両の表示システムの制御方法が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置と、ドライバの状態を判定するドライバ状態判定部と、車両外に存在する人物の状態を判定する判定部と、前記ドライバの状態と車両外に存在する前記人物の状態に応じて車内向けの表示と車外向けの表示を切り換えるように前記表示装置による表示を制御する表示制御部と、を備える、車両の表示システムが提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、ドライバの状態を判定するステップと、車両外に存在する人物の状態を判定するステップと、前記ドライバの状態と車両外に存在する前記人物の状態に応じて車内向けの表示と車外向けの表示を切り換えるように前記表示装置による表示を制御するステップと、を備える、車両の表示システムの制御方法が提供される。
【発明の効果】
【００２２】
本発明によれば、ドライバが正常な状態であるか否かに応じて、ドライバ向けの表示と車外向けの表示を最適に制御することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る車両システムの構成を示す模式図である。
【図２】自発光中間膜を用いたＨＵＤ装置を示す模式図である。
【図３】ドライバセンサがドライバを撮影している状態を示す模式図である。
【図４】ドライバの顔領域に基づいて、顔が向いている角度等を算出する様子を示す模式図である。
【図５】ドライバの口が開いているか否かを判定する開口検知を示す模式図である。
【図６】ドライバ目が閉じているか否かを判定する様子を示す模式図である。
【図７】車内のドライバ向けに表示を行った例を示す模式図である。
【図８】助手席の同乗者に向けて表示を行った例を示す模式図である。
【図９】車外に向けた表示の例を示す模式図である。
【図１０】図９の表示を対象から見やすい位置に移動させた例を示す模式図である。
【図１１】ドライバが車両外の人物に気付いたか否かを判定する手法を示す模式図である。
【図１２】フロントガラス上において、車両外の人物と重畳する位置に枠を重畳表示した例を示す模式図である。
【図１３】フロントガラス上において、車両外の人物と重畳する位置に枠４２を重畳表示する手法を示す模式図である。
【図１４】図１２の表示に加えて、図１０に示した車外向けの表示を行った例を示す模式図である。
【図１５】本実施形態に係る車両システムで行われる処理を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２５】
図１は、本発明の一実施形態に係る車両システム１０００の構成を示す模式図である。車両システム１０００は、基本的には自動車などの車両に構成されるシステムである。図１に示すように、車両システム１０００は、車外センサ１００、ドライバセンサ２００、着座センサ３００、制御装置４００、ＨＵＤ装置５００、スピーカ６００、シート振動部７００を有して構成されている。
【００２６】
車外センサ１００は、ステレオカメラ、単眼カメラ、ミリ波レーダ、赤外線センサ等から構成され、自車両周辺の人や車両などの位置、速度を測定する。車外センサ１００がステレオカメラから構成される場合、ステレオカメラは、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を有する左右１対のカメラを有して構成され、車両外の外部環境を撮像し、撮像した画像情報を制御装置４００へ送る。一例として、ステレオカメラは、色情報を取得可能なカラーカメラから構成され、車両のフロントガラスの上部に設置される。
【００２７】
ＨＵＤ（Ｈｅａｄ−ｕｐ  Ｄｉｓｐｌａｙ）装置５００は、人間の視野に直接情報を映し出す表示装置であって、自動車のフロントガラスやリアガラスなどのガラス上に実像を表示する。ＨＵＤは虚像を表示する装置が一般的に知られているが、本実施形態では、実像を映し出す表示装置を用いる。ＨＵＤ装置５００は、実像を表示しているため、視野角がほぼ３６０°あり、車内外から表示を視認することが可能である。
【００２８】
ＨＵＤ装置５００として、より具体的には、図２に示すような自発光中間膜５１０を用いる装置を用いることができる。この場合、車両のフロントガラス、リアガラス等において、表裏の２枚のガラス５２０で挟むように自発光中間膜５１０を配置する。自発光中間膜５１０には発光材料が含まれており、車内に設置するプロジェクター５３０からレーザ光を照射すると、照射された部分が発光し、文字や画像が表示される。表示物は全角度からの視認性を有し、運転席以外の席や、車両外部からも視認することができる。なお、ＨＵＤ装置５００は、自発光タイプのデバイスを車両のガラスに配置することで構成することもできる。この場合、例えば有機ＥＬ素子を用いた透明スクリーン、または透過型液晶装置等を用いることもできる。また、表示デバイスとして、ＨＵＤ装置５００以外のデバイスを用いても良く、例えばインパネに設置した大型液晶装置やＬＥＤ表示装置などを用いても良い。なお、以下では、表示装置として車両の窓部（ガラス）に表示を行うＨＵＤ装置５００を例に挙げて説明するが、本発明に係る表示装置はこれに限定されるものではなく、車両の内部又は外部に設けられた表示装置の全ての態様を含む。例えば、本実施形態に係る表示装置は、車両外部の窓部以外（ボディーなど）に設けられていても良く、車両内部の窓部以外（インパネ、座席など）に設けられていても良い。また、車両の内部に設けられた表示装置と車両の外部に設けられた表示装置は一体であっても良いし、別体であっても良い。
【００２９】
ドライバセンサ２００は、カメラ、視線センサ、モーションセンサ等から構成され、ドライバ（運転者）の頭や腕の動き、視線方向などを測定する。ドライバセンサ２００がカメラから構成される場合、カメラが撮像した画像を画像処理することで、頭や腕の動き、視線方向などを取得する。ドライバセンサ２００が視線センサから構成される場合、角膜反射法などの方法により視線検出を行う。着座センサ３００は、車両内の各座席に設けられ、座席に人が座ったか否かを判定する。スピーカ６００は、ＨＵＤ装置５００によって車両の内外へ警告を表示する際に、車両の内外へ警告音を発生させる。シート振動部７００は、車両の座席に設けられ、ＨＵＤ装置５００によって車両内へ警告を表示する際に、座席を振動することでドライバ、同乗者へ警告を行う。
【００３０】
制御装置４００は、車外センサ１００、ドライバセンサ２００等が検出した情報に基づいて、ＨＵＤ装置５００による表示を制御する。このため、制御装置４００は、環境情報取得部４０２、ドライバ情報取得部４０４、ドライバ状態判定部４０６、環境状態判定部４０７、着座状態判定部（同乗者判定部）４０８、距離判定部４１０、ドライバ認識判定部４１２、ＨＵＤ制御部（表示制御部）４１４を有している。なお、制御装置４００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。
【００３１】
環境情報取得部４０２は、車外センサ１００を構成するステレオカメラの左右１組のカメラによって撮像した左右１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって対象物までの距離情報を生成して取得することができる。同時に、環境情報取得部４０２は、画像情報から被写体の位置情報を取得することができる。また、環境情報取得部４０２は、三角測量の原理によって生成した距離情報に対して、周知のグルーピング処理を行い、グルーピング処理した距離情報を予め設定しておいた三次元的な立体物データ等と比較することにより、立体物データや白線データ等を検出する。これにより、制御装置４００は、人物、他車両、一時停止の標識、停止線、ＥＴＣゲートなどを認識することもできる。
【００３２】
また、環境情報取得部４０２は、三角測量の原理によって生成した人物、他車両との距離情報を用いて、人物や他車両との距離の変化量、相対速度を算出することができる。距離の変化量は、単位時間ごとに検知されるフレーム画像間の距離を積算することにより求めることができる。また、相対速度は、単位時間ごとに検知される距離を当該単位時間で割ることにより求めることができる。
【００３３】
このように、環境情報取得部４０２は、車外センサ１００から得られる車両外の画像情報を取得して画像分析処理を行い、画像情報を分析して車両外の環境情報を取得する。
【００３４】
図３は、ドライバセンサ２００がカメラから構成される場合に、ドライバセンサ２００がドライバを撮影している状態を示す模式図である。図３に示すように、ドライバセンサ２００は、一例としてステアリングコラムの上部に設置される。
【００３５】
ドライバセンサ２００がカメラから構成される場合、ドライバセンサ２００によって撮影された画像は、制御装置４００に入力される。ドライバ情報取得部４０４は、入力画像からエッジ検出、顔検出等の画像処理技術を用いてドライバの顔領域を取得し、顔領域に基づいて顔向きを取得する。ドライバ状態判定部４０６は、顔向きに基づいてドライバが脇見をしているか否かを判定する。また、ドライバ情報取得部４０４は、目、鼻、口など顔の各部位の特徴点の位置情報を検知し、ドライバ状態判定部４０６は、位置情報に基づいて眠気、居眠りなど前方不注意の可能性などドライバの状態を判定する。
【００３６】
図４は、検出されたドライバの顔領域１０に基づいて、顔が向いている角度等を算出する様子を示す模式図である。画像情報から得られるドライバの顔領域１０に基づいて、ドライバの顔向きが予め定めた領域を外れているか否かをモニタリングすることで、脇見の可能性を判定することができる。なお、ドライバの顔領域１０は、目、鼻、口など顔の各部位の特徴点の位置情報から設定できる。また、顔向きは、一例として、正面から見た時の目の間隔を基準とし、この基準と画像情報から得られる目の間隔とを比較することで推定することができる。画像情報から得られる目の間隔が基準値よりも小さい程、顔向きが正面から横向きにずれていると判断できる。
【００３７】
図４の右下には、検知結果２０を示している。検知結果２０には、縦軸に「顔の上下方向の角度」、横軸に「顔の左右方向の角度」を表示しており、×印３０は検知された顔向きを示している。検知結果２０において斜線を付した中央部の矩形は、ドライバが正面を向いていると判断する正面領域２２を示し、検知された顔向き（×印３０）が正面領域２２から左右の脇見領域２４に変化した場合、脇見の可能性があると判定する。正面領域２２と脇見領域２４を区別するしきい値は左右±２０°程度とすることができるが、適宜変更可能である。脇見をしているか否かの判定は、例えば基準時間に対して顔向きが脇見領域２４になった時間の比率が所定のしきい値を超えたか否かによって判定することができる。また、例えば顔向き角度が予め設定した範囲を一定時間連続して超えた場合、もしくは連続して顔の検出ができない場合は、脇見と判定することも可能である。
【００３８】
図５は、ドライバの口が開いているか否かを判定する開口検知を示す模式図である。図５に示すように、口の上下の特徴点間の距離Ｄ１から口の開閉状態を判定し、特徴点間の距離Ｄ１が所定値を超える場合（図５に示す開口状態）では、ドライバの口が開いている可能性があり、あくびの可能性があると判定することができる。また、例えば開口状態のまま一定時間が経過する状況が複数回検知される場合は、居眠りの危険性が増大していると判断できる。
【００３９】
図６は、ドライバ目が閉じているか否かを判定する様子を示す模式図である。図６に示すように、目の上下の特徴点間の距離Ｄ２から目が閉じていることを検知し、特徴点間の距離Ｄ２が所定値以下の場合（図６に示す目閉じ状態）では、居眠りの可能性があると判定することができる。居眠りをしているか否かの判定は、例えば基準時間に対して目が閉じている時間の比率（閉眼率）が所定のしきい値を超えたか否かによって判定することができる。また、目閉じ検知が複数回検知されると居眠りの危険性が増大していると判断できる。また、画像処理により瞬きを検出し、瞬きの回数に基づいて居眠りをしているか否かの判定を行っても良い。図５、図６に示す判定は、ドライバ状態判定部４０６によって行われる。
【００４０】
制御装置４００の環境状態判定部４０７は、環境情報取得部４０２が取得した環境情報に基づいて、車両外の環境情報を判定する。特に、環境状態判定部４０７は、車両外の対象として人物の状態を判定することができる。
【００４１】
着座状態判定部４０８は、着座センサ３００から得られる情報に基づいて、車両内の各座席に人が座っているか否か判定する。距離判定部４１０は、環境情報取得部４０２が取得した距離情報に基づいて、車両外の対象と車両との距離が所定距離以下であるか否かを判定する。ドライバ認識判定部４１２は、環境情報取得部４０２が取得した車両外の対象（人物）の位置と、ドライバ情報取得部４０４が取得したドライバの顔向き（又は視線）の方向に基づいて、ドライバが対象に気付いたか否かを判定する。ＨＵＤ制御部（表示制御部）４１４は、ＨＵＤ装置５００による表示を制御する。ＨＵＤ制御部（表示制御部）４１４は、ドライバ状態判定部４０６、環境状態判定部４０７、着座状態判定部４０８、距離判定部４１０、ドライバ認識判定部４１２の判定結果に基づいて、ＨＵＤ装置５００による表示を制御することができる。
【００４２】
本実施形態では、車外センサ１００により、車両周辺に人物や車両などが存在することが検出された場合、ＨＵＤ装置５００を用いてドライバに対して警告表示を行う。例えば、車両の走行中に進行方向前方に人物や車両などが存在する場合、ＨＵＤ装置５００による警告表示を行うことで、ドライバに対して警告を行うことができる。警告表示は車両外からも認識することができるため、警告表示を車両外部の人物、車両等に対して行うこともできる。この際、本実施形態では、ドライバ情報取得部４０４がドライバセンサ２００からドライバの情報を取得し、ドライバ状態判定部４０６によるドライバが正常であるか否かの判定結果に応じてＨＵＤ装置５００による表示を制御する。
【００４３】
ドライバが正常であるか否かの判定では、脇見をしているか否かの判定結果、眠気、居眠りなど前方不注意の可能性の判定結果に基づいて、ドライバの覚醒状態を判定する。そして、ドライバの覚醒状態に応じてＨＵＤ装置５００による表示を最適に制御する。なお、覚醒度の判定は、眠気のレベルや病気起因の体調異常を基に行っても良い。
【００４４】
図７は、車内のドライバ向けに表示を行った例を示す模式図である。ドライバセンサ２００によりドライバの状態を判定し、ドライバが正常な状態であれば、ドライバに向けた表示を行う。この場合、図７に示すように、車両のフロントガラス８０２のドライバの正面に警告表示として「前方注意」が表示される。
【００４５】
図８は、助手席の同乗者に向けて表示を行った例を示す模式図である。ドライバが正常な状態でなければ、同乗者、及び外部に向けて表示が行われる。図８に示すように、同乗者に向けて表示を行う場合、例えばフロントガラス８０２の助手席側に警告表示が行われる。これにより、ドライバが正常な状態でない場合に、助手席の同乗者が適切な対応を行うことも可能となる。
【００４６】
また、図９は、車外に向けた表示の例を示す模式図である。ドライバが正常でなければ、図９に示すように、図７の表示の表裏を反転させて、フロントガラス８０２に車外への警告表示が行われる。これにより、車両外の対象である人物４０に対して警告を促すことができる。なお、図９では図７と同一の表示を車外向けに反転させているが、車外向けに図７とは異なる表示（例えば「車両接近中！」）をしても良い。図１０は、図９の表示を対象から見やすい位置に移動させた例を示す模式図である。
【００４７】
また、図７に示すドライバ向けの表示を行った後、ドライバが車両外の人物４０に気付いた場合は、ドライバに更なる警告を行う必要はないため、図９のように外部への警告表示に切り替える。
【００４８】
図１１は、ドライバが車両外の人物４０に気付いたか否かを判定する手法を示す模式図であって、車両の上方からフロントガラス８０２を見た状態を示している。図１１において、フロントガラス８０２は、任意の高さの水平面に沿った断面を示している。図１１に示すように、車外センサ１００により車両外の人物４０が検出されると、ドライバの目の位置Ｅと人物４０を結ぶ直線Ｌ１が定まる。一方、ドライバ情報取得部４０４によりドライバの顔向き、又は視線方向を取得することで、顔向きまたは視線方向を示す直線Ｌ２が定まる。直線Ｌ１の方向と直線Ｌ２の方向が一致した場合、または直線Ｌ１の方向を中心とする所定角度の範囲に直線Ｌ２が含まれる場合、ドライバが車両外の人物４０に気付いたと判断できる。なお、ドライバの目の位置Ｅは、平均的な値をデフォルトとして用いても良いし、ドライバセンサ２００をステレオカメラから構成することで、三角測量の原理により取得しても良い。
【００４９】
また、図１２は、フロントガラス８０２上において、車両外の人物４０と重畳する位置に枠４２を重畳表示した例を示す模式図である。図７に示すドライバ向けの表示を行ってから一定時間以上、ドライバが人物４０に気付かない場合は、図１２に示す表示を行う。車両外の人物４０と枠４２を重畳表示することでドライバが人物４０を確実に視認することが可能となる。
【００５０】
図１３は、フロントガラス８０２上において、車両外の人物４０と重畳する位置に枠４２を重畳表示する手法を示す模式図である。図１１と同様、図１３は、車両の上方からフロントガラス８０２を見た状態を示している。図１３において、フロントガラス８０２は、任意の高さの水平面に沿った断面を示している。車外センサ１００により車両外の人物４０が検出されると、ドライバの目の位置Ｅと人物４０の輪郭を結ぶ直線Ｌ３，Ｌ４が定まる。これにより、フロントガラス８０２と直線Ｌ３，Ｌ４との交点が求まり、この交点の位置を図１２に示した枠４２の長辺４２ａとすることができる。枠４２の短辺４２ｂについても同様の手法で求めることができる。
【００５１】
また、図１４は、図１２の表示に加えて、図１０に示した車外向けの表示を行った例を示す模式図である。車両から人物４０までの距離が所定のしきい値（Ｌ［ｍ］）以下の場合は、図１２の重畳表示に加えて、車外向けの表示を同時に行い、車両外の人物４０に対して警告を促す。
【００５２】
次に、図１５のフローチャートに基づいて、本実施形態に係る車両システム１０００で行われる処理について説明する。図１５に示す処理は、制御装置４００の各構成要素によって行われ、所定の制御周期毎に繰り返し行われる。先ず、ステップＳ１０では、ドライバ情報取得部４０４がドライバの情報を取得し、ドライバ状態判定部４０６が、ドライバが正常な状態であるか否かを判定する。そして、ドライバが正常な状態であれば、ステップＳ１２へ進み、図７に示したように、ドライバ向けの表示を行う。
【００５３】
ステップＳ１２の後はステップＳ１４へ進み、図１１に示した手法を用いて、ドライバ認識判定部４１２が、ドライバが車両外の人物４０を認識したか否かを判定する。そして、ドライバが人物４０を認識した場合は、ステップＳ１６へ進み、図９に示したように、車外向けに表示が切り換わるように表示を変化させる。
【００５４】
また、ステップＳ１０でドライバが正常な状態でない場合は、ステップＳ１８へ進む。ステップＳ１８では、着座状態判定部４０８が、着座センサ３００から得られる情報に基づいて、ドライバ以外の同乗者がいるか否かを判定し、ドライバ以外の同乗者がいる場合はステップＳ２０へ進む。ステップＳ２０では、同乗者及び車外向けに表示を行う。この場合、図８及び図９に示す表示が行われる。図８及び図９に示す表示は、同時に表示しても良いし、一定時間間隔で切り換えて表示しても良い。
【００５５】
また、ステップＳ１８でドライバ以外の同乗者がいない場合はステップＳ２２へ進む。ステップＳ２２では、図９に示す車外向けの表示が行われる。
【００５６】
また、ステップＳ１４でドライバが人物４０を認識していない場合は、ステップＳ２４へ進み、ドライバが人物４０に気付き易いように枠４２の重畳表示を行う。これにより、図１２に示す表示が行われる。
【００５７】
ステップＳ２４の後はステップＳ２６へ進む。ステップＳ２６では、距離判定部４１０が、対象までの距離がＬ［ｍ］以下であるか否かを判定し、対象までの距離がＬ［ｍ］以下の場合はステップＳ２８へ進む。ステップＳ２８では、図１４に示したように、図１２の表示に加え、車外向けの表示も同時に行う。
【００５８】
ステップＳ１６，Ｓ２２，Ｓ２８の後はステップＳ３０へ進む。また、ステップＳ２６で対象までの距離がＬ［ｍ］以下でない場合もステップＳ３０へ進む。ステップＳ３０では、対象との距離が所定値以上離れたか否かを判定し、対象との距離が所定値以上離れて警告を発する必要がなくなった場合はステップＳ３２へ進む。ステップＳ３２では、フロントガラス８０２への表示を終了し、処理を終了する（ＥＮＤ）。一方、ステップＳ３０で対象との距離が所定値以上離れていない場合は、表示を終了することなく本制御周期における処理を終了する（ＥＮＤ）。
【００５９】
上述した説明では、ドライバと同乗者の状態に応じてＨＵＤ装置５００による表示を制御するようにしたが、ドライバの状態と車両外の対象の状態の双方に応じてＨＵＤ装置５００による表示を制御するようにしても良い。この場合、ドライバセンサ２００から得られる情報に基づいて、上述した手法と同様にドライバの状態を判定する。また、車外センサ２００から得られる情報に基づいて、環境状態判定部４０７が車外の対象（人物）の状態を判定する。車外の人物が正常であるか否かの判定は、ドライバの状態判定と同様にして行うことができる。
【００６０】
そして、ドライバと車両外の対象の状態が正常であるか否かに応じて、ドライバ向けの表示を行うか、車外の対象向けの表示を行うかを制御する。例えば、ドライバの状態が正常でなく、車外の対象の状態が正常であれば、車外の対象に向けて表示を行うようにＨＵＤ制御部４１４がＨＵＤ装置５００による表示を制御する。また、ドライバの状態が正常であり、車外の対象の状態が正常でなければ、ドライバに向けて表示を行うようにＨＵＤ制御部４１４がＨＵＤ装置５００による表示を制御する。
【００６１】
また、ドライバ認識判定部４１２によりドライバが対象に気付いているか否かを判定し、ドライバが対象に気付いていない場合は、車内に向けた表示を行い、ドライバに対象が近くにいることを警告するようにする。この場合に、図１２に示した枠４２による重畳表示を行うようにしても良い。ドライバが車外の対象に気付いた場合は、車外の対象に向けた表示に切り換える。
【００６２】
また、ドライバ認識判定部４１２による判定と同様の手法を用いて、車両外の対象が車両に気付いているか否かを判定し、対象が車両に気付いていない場合は、車外に向けた表示を行い、車両が近づいていることを対象に警告するようにする。対象が車両に気付いた後は、ドライバ向けに表示を切り換えることもできる。
【００６３】
以上説明したように本実施形態によれば、ドライバの状態に応じてＨＵＤ装置５００による車内向け表示と車外向け表示を最適に制御し、ドライバが正常であれば車内のドライバに向けて表示を行い、ドライバが正常でなければ車外に向けて表示を行うようにした。これにより、ドライバが脇見をしていたり居眠りをしているなど正常な状態でない場合は、車外への表示に切り換えることで、車外に警告を発することが可能となる。
【００６４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６５】
４００    制御装置
４０２    環境情報取得部
４０４    ドライバ情報取得部
４０６    ドライバ状態判定部
４０７    環境状態判定部
４０８    着座状態判定部
４１０    距離判定部
４１２    ドライバ認識判定部
４１４    ＨＵＤ制御部
【図１】
2018156172.tif 000003
【図２】
2018156172.tif 000004
【図３】
2018156172.tif 000005
【図４】
2018156172.tif 000006
【図５】
2018156172.tif 000007
【図６】
2018156172.tif 000008
【図７】
2018156172.tif 000009
【図８】
2018156172.tif 000010
【図９】
2018156172.tif 000011
【図１０】
2018156172.tif 000012
【図１１】
2018156172.tif 000013
【図１２】
2018156172.tif 000014
【図１３】
2018156172.tif 000015
【図１４】
2018156172.tif 000016
【図１５】
2018156172.tif 000017