(57)【要約】【課題】  運転者が運転操作等により視聴中の映像から目を離しても、その間の映像の内容を把握することができる車両用表示装置を提供する。【解決手段】  本発明に係るヘッドアップディスプレイ装置１は、車両において運転者に映像を表示する表示部６と、表示部６により映像が表示されているときに、運転者が映像を視認しているか否かを判断し、運転者が映像を視認していないと判断した場合に、その映像に関する補助音声を再生する制御部８とを備える。また、制御部８は、運転者の視線、顔の向き若しくは姿勢により、運転者が映像を視認しているか否かを判断する。【選択図】  図２
2020045019.tif 000002
【特許請求の範囲】
【請求項１】
車両において運転者に映像を表示する表示手段と、
前記表示手段により映像が表示されているときに、前記運転者が前記映像を視認しているか否かを判断する判断手段と、
前記運転者が前記映像を視認していないと前記判断手段が判断した場合に、前記映像に関する補助音声を再生する補助音声再生手段とを備えることを特徴とする車両用表示装置。
【請求項２】
前記判断手段は、前記運転者の視線、顔の向き若しくは姿勢、又は、前記車両のウインカー操作、シフト操作若しくはナビゲーションシステムの操作の検出により、前記運転者が前記映像を視認しているか否かを判断することを特徴とする請求項１に記載の車両用表示装置。
【請求項３】
前記補助音声再生手段は、前記運転者が前記映像を視認していないと前記判断手段が判断した場合で、前記映像に人物その他の生物若しくはキャラクターの動き、又は、場面若しくは景色の変化があるときに、前記補助音声を再生することを特徴とする請求項１又は請求項２に記載の車両用表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設けられて運転者に映像を表示する車両用表示装置に関する。
【背景技術】
【０００２】
車両においては、一般に、インストルメントパネルに設置されたディスプレイ装置や、車両のフロントウインドシールドやコンバイナ等の反射透光部材を透過する実景（車両前方の風景）に重ねてその反射透光部材に反射された表示光により虚像を生成して表示するヘッドアップディスプレイ装置等の表示装置により、車両に関する各種の情報やナビゲーションシステムの経路情報、カメラで撮像した車両後方の画像情報等が運転者に視覚的に提供される。
【０００３】
また、特許文献１には、運転者にとって必ずしも必要な情報ではないエンタメ情報（エンタテイメント系車載機に対する操作時にその操作内容を示すために必要な情報）が表示装置（車載ディスプレイ）に表示されることが開示されている。同特許文献に記載の発明では、危険度の高い状態で運転をしている運転者の注意が殺がれないように、エンタメ情報の表示／非表示が状況に応じて制御される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−８１９０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、自動運転技術の発達により、運転者が常時運転に集中する必要性がなくなると、運転者も表示装置に表示される娯楽映像や電子書籍等のコンテンツ（以下、このように車両の運転に関係しない情報を「エンターテインメント情報」という。この「エンターテインメント情報」は、特許文献１に記載の「エンタメ情報」のように、車載機の操作内容を示すために必要な情報に限られない。）を運転中に楽しむことが可能となってくる。
【０００６】
一方、自動運転中ではあっても、自動運転のレベルにより、又は、運転者の意思等により、運転者が何らかの運転操作を行ったり、あるいは、エンターテイメント情報その他の表示装置に表示されている映像から注意をそらしたりすることはあり、その間、運転者は映像の内容を把握することができない。特に、運転者が視聴している映像が娯楽映像で、内容上、ストーリー上重要な部分を把握し損ねた場合には、自動運転により運転者が運転中に映像を楽しめるようになっても、その楽しみが減殺されるという問題がある。
【０００７】
本発明は、上記の事情に鑑みてなされたもので、運転者が運転操作等により視聴中の映像から目を離しても、その間の映像の内容を把握することができる車両用表示装置を提供することを課題としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る車両用表示装置は、車両において運転者に映像を表示する表示手段と、前記表示手段により映像が表示されているときに、前記運転者が前記映像を視認しているか否かを判断する判断手段と、前記運転者が前記映像を視認していないと前記判断手段が判断した場合に、前記映像に関する補助音声を再生する補助音声再生手段とを備えることを特徴とする。
【０００９】
前記判断手段は、前記運転者の視線、顔の向き若しくは姿勢、又は、前記車両のウインカー操作、シフト操作若しくはナビゲーションシステムの操作の検出により、前記運転者が前記映像を視認しているか否かを判断してもよい。
【００１０】
また、前記補助音声再生手段は、前記運転者が前記映像を視認していないと前記判断手段が判断した場合で、前記映像に人物その他の生物若しくはキャラクターの動き、又は、場面若しくは景色の変化があるときに、前記補助音声を再生してもよい。
【発明の効果】
【００１１】
本発明に係る車両用表示装置によれば、運転者が運転操作等により視聴中の映像から目を離しても、その間の映像の内容を把握することができる。
【図面の簡単な説明】
【００１２】
【図１】発明を実施するための形態に係るヘッドアップディスプレイ装置が設けられた車両を示す説明図である。
【図２】図１のヘッドアップディスプレイ装置の構成を示す説明図である。
【図３】図１のヘッドアップディスプレイ装置の制御部による制御を示す流れ図である。
【図４】図１のヘッドアップディスプレイ装置に表示される映像の例を示す説明図である。
【発明を実施するための形態】
【００１３】
本発明を実施するための形態について、図面に基づいて説明する。
【００１４】
図１に示すように、本実施の形態に係るヘッドアップディスプレイ装置（ＨＵＤ）１は、車両２のフロントウインドシールド３の下方に位置するダッシュボード４の内部に設けられている。ＨＵＤ１は、フロントウインドシールド３の一部に表示光Ｌを投影して、フロントウインドシールド３に反射された表示光Ｌにより虚像を生成し、車両２の運転者Ｄにフロントウインドシールド３を透過する実景に重ねてその虚像を視認させる。
【００１５】
ＨＵＤ１は、図２に示すように、透光部５ａが形成されたケース５の内部に設けられた表示部（表示手段）６及び反射鏡７と、表示部６の表示制御を行う制御部８と、視認情報取得部９とにより概略構成され、制御部８にはスピーカー１０が接続されている。
【００１６】
制御部８には、ＨＵＤ１により表示される表示情報についての画像信号が入力される。表示情報としては、車両２に関する各種の情報（速度、残燃料、シフトポジション、運転モード、警告等に関する情報）、ナビゲーションシステムの経路情報、カメラその他のセンサにより又は車車間通信若しくは路車間通信により取得した車両２の周囲に関する情報等の車両２の運転に関係する情報、及び、放送局からの電波受信によるテレビ映像、クラウドからのダウンロード映像、ＤＶＤ等の記録媒体に記録された映像等の車両２の運転に関係しないエンターテインメント情報があり、ここでは、エンターテイメント情報の一種である娯楽映像（エンターテイメント映像）の画像信号が制御部８に入力されるものとする。制御部８に入力された画像信号は、表示部６に出力される。
【００１７】
表示部６は、ＤＭＤやＬＣｏＳ等の反射型表示デバイスを用いたプロジェクタからなる投影部６ａと、投影部６ａからの投影光を受光し、反射鏡７に向けて出射するスクリーン６ｂとを備え、制御部８からの画像信号が投影部６ａに入力されると、娯楽映像についての表示光Ｌをスクリーン６ｂから出射する。
【００１８】
表示部６からの表示光Ｌは、凹状の反射鏡７に反射され、透光部５ａを透過してフロントウインドシールド３に投影される。フロントウインドシールド３に投影された表示光Ｌは、運転者Ｄの側に反射されて虚像を生成し、運転者Ｄに娯楽映像を表示する。
【００１９】
なお、表示部６の投影部６ａは、ＬＥＤ照明とＴＦＴ液晶との組み合わせ等により構成してもよく、反射鏡７は、図示を略す駆動機構により回動駆動されることによって、表示光Ｌのフロントウインドシールド３における投影位置を変更可能としてもよい。
【００２０】
視認情報取得部９は、車両２の車室内を撮像するカメラ１１、運転席に内蔵された圧力センサ１２、ウインカーレバーの操作を検出するウインカー操作検出部１３、シフトレバーの操作を検出するシフト操作検出部１４、及び、ナビゲーションシステムの操作を検出するナビゲーション操作検出部１５に接続され、カメラ１１により検出される運転者Ｄの視線や顔の向き、圧力センサ１２により検出される運転者Ｄの身体の姿勢変化（重心変化）、ウインカー操作検出部１３により検出されるウインカーレバーの操作、シフト操作検出部１４により検出されるシフトレバーの操作、ナビゲーション操作検出部１5により検出されるナビゲーションシステムの操作の情報を取得する。
【００２１】
ＨＵＤ１の制御部８は、図３に示すように、表示部６に画像信号を出力して娯楽映像をフロントウインドシールド３に表示させるとともに（ステップ１（図３において「Ｓ．１」と記載。以下同様。）、運転者Ｄがその娯楽映像を視認しているか否かを判断する（ステップ２）。具体的には、（１）カメラ１１により検出される運転者Ｄの視線や顔の向きが前方を向いていないか、（２）圧力センサ１２により検出される運転者Ｄの身体の姿勢変化で運転者Ｄの視線が前方を向いていないと推認されるか、（３）ウインカー操作検出部１３により検出されるウインカーレバーの操作で運転者Ｄが車線変更や右左折に注意を払っていると推認されるか、（４）シフト操作検出部１４により検出されるシフトレバーの操作で運転者Ｄが後退に注意を払っていると推認されるか、（５）ナビゲーション操作検出部１5により検出されるナビゲーションシステムの操作で運転者Ｄがナビゲーションシステムに注意を払っていると推認されるか、のいずれかの場合には、制御部８は運転者Ｄが娯楽映像を視認していないと判断する。あるいは、制御部８は、（１）?（５）の条件が複数揃ったときに、運転者Ｄが娯楽映像を視認していないと判断してもよい。
【００２２】
制御部８は、運転者Ｄが娯楽映像を視認していないと判断すると、娯楽映像に関する補助音声を生成して再生し、スピーカー１０により娯楽映像の内容を運転者Ｄに伝える（ステップ３）。補助音声は、制御部８が画像処理により映像の描写を解析し、解析した描写をテキスト化することによって生成され、運転者Ｄが映像の内容を理解することができるように、どこで／誰が／何をしているか等の情報を含んで情景を説明するものが望ましい。例えば図４に示すように女性Ｌが縁側１６に座って風鈴１７の下で夜空に上がる花火１８を見ている映像Ｖが流れる場合、制御部８は、「縁側で女性が花火を見ている」とのテキスト情報を生成し、これを音声としてスピーカー１０で再生する。
【００２３】
補助音声は、必ずしも画像処理により生成される必要はなく、例えばテレビ映像に副音声がある場合や視覚障害者用の音声がある場合には、それらを利用してもよく、ＤＶＤ等の記録媒体に記録された映像に字幕がある場合には、制御部８がそれを読み上げてもよい。
【００２４】
また、補助音声は、運転者Ｄが娯楽映像を視認していない間に、登場人物その他の生物又はキャラクターに表情の変化や動作、仕草等の動きがあったり、映像中の場面（シーン）が時間的、場所的に切り替わって変化したり、映像中の景色（風景、情景）に動きがあったり、映像中のテキスト情報等の視覚によらなければ把握することができない物に動きがあったりした場合に限り、再生されてもよく、例えば映像Ｖで風に揺られて風鈴１７が鳴っていることは、運転者Ｄが映像を視認していなくても聴覚で把握することができれば、あらためて補助音声を再生しなくてもよい。
【００２５】
本実施の形態に係るＨＵＤ１は、運転者Ｄに映像を表示する表示部６と、表示部６により映像が表示されているときに、運転者Ｄが映像を視認しているか否かを判断し、運転者Ｄが映像を視認していないと判断した場合に、その映像に関する補助音声を再生する制御部８とを備えているので、運転者Ｄは、運転操作等により視聴中の映像から目を離しても、その間の映像の内容を補助音声により聴覚的に把握することができる。
【００２６】
運転者Ｄが映像を視認しているか否かの制御部８による判断は、運転者Ｄの視線、顔の向き若しくは姿勢、又は、車両２のウインカー操作、シフト操作若しくはナビゲーションシステムの操作の検出により行われるので、補助音声が提供されずに運転者Ｄが映像の内容を把握し損ねることが効果的に抑制される。
【００２７】
さらに、制御部８が、運転者Ｄが映像を視認していない間に、人物その他の生物又はキャラクターの動きがあったり、場面又は景色の変化があったり、映像中のテキスト情報等の視覚によらなければ把握することができない物に変化があったりした場合に補助音声を再生することによって、運転者Ｄに提供される補助音声が過剰になることを回避し、運転者Ｄのみならず車両２の同乗者が補助音声を耳障りに感じる事態を防止することができる。
【００２８】
以上、本発明を実施するための形態について例示したが、本発明の実施形態は上述したものに限られず、発明の趣旨を逸脱しない範囲で適宜変更等してもよい。
【００２９】
例えば、上記実施の形態では、ＨＵＤ１の反射透光部材としてフロントウインドシールド３が用いられているが、コンバイナが用いられてもよく、表示装置がＨＵＤではなく、インストルメントパネルに設けられるディスプレイ装置等であってもよい。
【００３０】
また、制御部８は、他の優先度が高い音声情報、例えば、運転のための警報等が鳴っている場合には、その音声よりも小さい音量で補助音声を鳴らし、補助音声の再生が優先度の高い音声情報の聴取に差し支えないようにしてもよい。
【符号の説明】
【００３１】
１    ヘッドアップディスプレイ装置（車両用表示装置）
２    車両
６    表示部（表示手段）
８    制御部（判断手段、補助音声再生手段）
９    視認情報取得部
１０  スピーカー
Ｄ    運転者
Ｖ    映像
【図１】
2020045019.tif 000003
【図２】
2020045019.tif 000004
【図３】
2020045019.tif 000005
【図４】
2020045019.tif 000006