(57)【要約】【課題】周囲の状況に応じて、映像をシームレスに切り替えることができる表示装置を提供する。【解決手段】自動運転時に少なくとも映像が表示可能な透過型ディスプレイ９と、車両外部の状況を検出する外界センサ１等からの情報を取得する運転予測部５と、その状況を運転者が視認すべき状況である場合に、透過型ディスプレイ９に表示されている映像の視認性を低下させるよう制御する運転予測部５及び合成処理部７と、を備えている。【選択図】図１
2017174043.tif 000002
【特許請求の範囲】
【請求項１】
自動運転時に映像が表示可能かつ透過可能な表示手段と、
前記自動運転時の車両外部の状況を取得する状況取得手段と、
前記状況が運転者が視認すべき状況であるか判断し、当該状況が運転者が視認すべき状況である場合は、前記表示手段に表示されている前記映像の視認性を低下させるように制御する制御手段と、
を有することを特徴とする表示装置。
【請求項２】
前記表示手段は、前記車両のフロントガラスに設けられたスクリーン部に映像を投影することで表示されることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記制御手段は、少なくとも前記表示手段の透過率の変化、表示されている前記映像の縮小率の変化のいずれかを前記状況に応じて選択し、制御することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記制御手段は、前記透過率を更新する際には現在の透過率より減少させず、前記縮小率を更新する際には現在表示されている映像の大きさを拡大しないことを特徴とする請求項３に記載の表示装置。
【請求項５】
前記制御手段は、重要度が高い前記状況が検出された場合、当該状況が終了するまで他の前記状況に対応する制御を行わないことを特徴とする請求項１乃至４のうちいずれか一項に記載の表示装置。
【請求項６】
運転者の視線を検出する視線検出手段を更に備え、
前記制御手段は、前記視線に基づいて前記制御をすることを特徴とする請求項１乃至５のうちいずれか一項に記載の表示装置。
【請求項７】
前記運転者による運転操作を検出する運転検出手段を更に備え、
前記制御手段は、前記運転操作が検出された場合、前記映像の表示を停止させることを特徴とする請求項１乃至６のうちいずれか一項に記載の表示装置。
【請求項８】
前記制御手段は、少なくとも一度映像の視認性を低下させる制御を行った後に、前記運転操作が検出された場合、前記映像の表示を停止させることを特徴とする請求項７に記載の表示装置。
【請求項９】
前記制御手段は、前記表示手段のうち、前記状況が観察される部分について強調表示をすることを特徴とする請求項１乃至８のうちいずれか一項に記載の表示装置。
【請求項１０】
自動運転時に映像が表示可能かつ透過可能な表示手段の表示制御方法であって、
前記自動運転時の車両外部の状況を検出する状況検出手段が検出した前記状況が運転者が視認すべき状況である場合は、前記表示手段に表示されている映像の視認性を低下させるように制御する制御工程を含むことを特徴とする表示制御方法。
【請求項１１】
請求項１０に記載の表示制御方法を、コンピュータにより実行させることを特徴とする表示制御プログラム。
【請求項１２】
請求項１１に記載の表示制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を表示する表示装置に関する。
【背景技術】
【０００２】
自動車等の車両のフロントガラスに映像を投影して運転者に各種情報を提示する表示装置は知られている。
【０００３】
例えば特許文献１には、フロントガラスに経路の誘導情報や注意喚起情報等が表示されていることが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−７１０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、自動車等の自動運転の研究や開発が行われており、近い将来は実用化されると考えられる。自動運転中であっても、車両の周囲に注意すべき事象が発生していた場合は人間が何らかの介入をする必要が生じる場合もある。しかしながら、フロントガラスに表示されている情報に遮られて車両前方の状況を視認できなかったり、表示されている情報に集中してしたりして、上記した注意すべき事象に気付きにくいという問題がある。
【０００６】
そこで、本発明は、上述した問題に鑑み、例えば、周囲の状況に応じて、映像をシームレスに切り替えることができる表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載された発明は、自動運転時に映像が表示可能かつ透過可能な表示手段と、前記自動運転時の車両外部の状況を取得する状況取得手段と、前記状況が運転者が視認すべき状況であるか判断し、当該状況が運転者が視認すべき状況である場合は、前記表示手段に表示されている前記映像の視認性を低下させるように制御する制御手段と、を有することを特徴とする表示装置である。
【０００８】
請求項１０に記載された発明は、自動運転時に映像が表示可能かつ透過可能な表示手段の表示制御方法であって、前記自動運転時の車両外部の状況を検出する状況検出手段が検出した前記状況が運転者が視認すべき状況である場合は、前記表示手段に表示されている映像の視認性を低下させるように制御する制御工程を含むことを特徴とする表示制御方法である。
【０００９】
請求項１１に記載された発明は、請求項１０に記載の表示制御方法を、コンピュータにより実行させることを特徴とする表示制御プログラムである。
【００１０】
請求項１２に記載された発明は、請求項１１に記載の表示制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体である。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施例にかかる表示装置を備える車載システムの概略ブロック構成図である。
【図２】図１に示された表示装置の危険予測処理のフローチャートである。
【図３】図１に示された表示装置の状況判定処理のフローチャートである。
【図４】図１に示された表示装置のパラメータチェック処理のフローチャートである。
【図５】図１に示された表示装置の危険予測時の映像切替処理のフローチャートである。
【図６】本発明の第２の実施例にかかる表示装置の状況判定処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態にかかる表示装置を説明する。本発明の一実施形態にかかる表示装置は、自動運転時に映像が表示可能かつ透過可能な表示手段と、自動運転時の車両外部の状況を取得する状況取得手段と、その状況が運転者が視認すべき状況であるか判断し、その状況が運転者が視認すべき状況である場合は、表示手段に表示されている映像の視認性を低下させるように制御する制御手段と、を備えている。このようにすることにより、自動運転時に車両外部の状況が視認すべき状況である場合は、表示手段に様々な情報等の映像が表示されていたとしても当該映像の視認性を低下させることができる。したがって、周囲の状況に応じて、映像表示をシームレスに切り替えることができる。
【００１３】
また、表示手段は、車両のフロントガラスに設けられたスクリーン部に映像を投影するものであってもよい。このようにすることにより、車両のフロントガラスのスクリーン部に様々な情報が表示されていた場合であっても、映像をシームレスに切り替えることができる。
【００１４】
また、制御手段は、少なくとも表示手段の透過率の変化、表示されている映像の縮小率の変化のいずれかを状況に応じて選択し、制御してもよい。このようにすることにより、周囲の状況に応じた適切な制御で映像の切り替え等を行うことができる。
【００１５】
前記制御手段は、透過率を更新する際には現在の透過率より減少させず、縮小率を更新する際には現在表示されている映像の大きさを拡大しないようにしてもよい。このようにすることにより、一度視認すべき状況が発生した場合は、すべての状況が終了するまでは、映像の視認性を良くするような制御を行うようにして運転者に状況の把握と判断に集中させることができる。
【００１６】
また、制御手段は、重要度が高い状況が検出された場合、当該状況が終了するまで他の状況に対応する制御を行わないようにしてもよい。このようにすることにより、優先順位を設けて、より重要度が高い状況に対しては、他の状況の発生による影響を受けずに表示状態を維持することが可能となる。
【００１７】
また、運転者の視線を検出する視線検出手段を更に備え、制御手段は、視線に基づいて制御をしてもよい。このようにすることにより、運転者の視線が映像を視認しているのか、外部の状況を視認しているのかに応じて、透過率の増加等の更なる制御をすることが可能となる。
【００１８】
また、運転者による運転操作を検出する運転検出手段を更に備え、制御手段は、運転操作が検出された場合、映像の表示を停止させるようにしてもよい。このようにすることにより、運転者が運転操作をした場合には、映像の表示を停止させて、運転に集中できるようにすることができる。
【００１９】
また、制御手段は、少なくとも一度映像の視認性を低下させる制御を行った後に、運転操作が検出された場合、映像の表示を停止させるようにしてもよい。このようにすることにより、映像が徐々に切り替わるようになり、映像表示をシームレスに切り替えることができる。
【００２０】
また、制御手段は、表示手段のうち、状況が観察される部分について強調表示をするようにしてもよい。このようにすることにより、運転者が状況を認識し易くすることが可能となる。
【００２１】
また、本発明の一実施形態にかかる表示制御方法は、車両外部の状況を検出する状況検出手段が検出した状況を運転者が視認すべき状況である場合は、透過可能な表示手段に表示されている映像の視認性を低下させるよう制御する制御工程を含んでいる。このようにすることにより、車両外部の状況が視認すべき状況である場合は、表示手段に表示されている映像の視認性を低下させることができる。したがって、周囲の状況に応じて、映像をシームレスに切り替えることができる。
【００２２】
また、上述した表示制御方法を、表示制御プログラムとしてコンピュータにより実行させてもよい。このようにすることにより、コンピュータを利用して、車両外部の状況が視認すべき状況である場合は、表示手段に表示されている映像の視認性を低下させることができる。したがって、周囲の状況に応じて、映像をシームレスに切り替えることができる。
【００２３】
また、上述した表示制御プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。
【実施例１】
【００２４】
本発明の第１の実施例にかかる表示装置を図１乃至図５を参照して説明する。図１は、本実施例にかかる表示装置５０を備える車載システム１００の概略構成図である。
【００２５】
図１に示すように、車載システム１００は、外界センサ１と、ナビゲーション部２と、車外カメラ３と、車内カメラ４と、運転予測部５と、車両制御部６と、合成処理部７と、ＡＶ機器８と、透過型ディスプレイ９と、を備え、自動運転による走行が可能な自動車等の車両に搭載されている。
【００２６】
外界センサ１は、車両の前方等の車両の外界（外部）の状況を検出するためのセンサであり、例えばＬＩＤＡＲ（Light Detection and Ranging, Laser Imaging Detection and Ranging）等で構成される。即ち、自動運転時の車両外部の状況を検出する。
【００２７】
ナビゲーション部２は、現在位置から目的地までの経路を探索して、経路情報を生成する。そして、車両制御部６は当該経路情報に基づいて車両を走行させる。また、ナビゲーション部２により生成された経路情報は、合成処理部７へ出力されて透過型ディスプレイ９に表示される。
【００２８】
車外カメラ３は、車両の前方撮影カメラ、後方撮影カメラ、側面撮影カメラ等から構成され、車両の前方や後方、側面（左方、右方）を撮影する。即ち、少なくとも前方撮影カメラは自動運転時の車両外部（前方）の状況を検出する。
【００２９】
車内カメラ４は、車内に設置され、車両の後方座席を撮影するカメラである。
【００３０】
状況取得手段、制御手段としての運転予測部５は、外界センサ１の出力、ナビゲーション部２の案内情報及び現在位置情報、車外カメラ３の撮影した映像、車両制御部６に入力される車両に搭載された各種センサ等からの情報等を取得し、当該出力や映像等に基づいて、車両の周囲の状況を判断し、その状況に応じた運転情報を車両制御部６に出力するとともに、合成処理部７に前記状況に基づいたイベント情報を出力して後述する透過型ディスプレイ９の表示の変更を行わせる。
【００３１】
車両制御部６は、運転予測部５からの運転情報や経路情報等に基づいて、アクセルやブレーキ、ハンドル等の操作を自律的に行って車両を自動走行させる。
【００３２】
制御手段としての合成処理部７は、運転者等の搭乗者からの操作あるいは、運転予測部５からの制御に基づいてナビゲーション部２、車外カメラ３、車内カメラ４、ＡＶ機器８等の映像を透過型ディスプレイ９に出力する。また、運転予測部５からのイベント情報に基づいて、現在表示されている映像の表示の態様を変更する。変更の内容としては、例えば、透過率の変更、縮小又は拡大、部分消去、別画面表示、ソース（ナビゲーション部２、車外カメラ３、車内カメラ４、ＡＶ機器８）の切り換え、複数ソースを複数画面で表示する等である。なお、本実施例における運転者とは、手動運転に切り替えられた際にハンドルやアクセル、ブレーキ等の運転操作が可能な座席に着席している搭乗者をいう。即ち、本実施例では、透過型ディスプレイ９には、ナビゲーション部２、車外カメラ３、車内カメラ４、ＡＶ機器８のいずれかが出力する情報が表示される。なお、透過型ディスプレイ９には、これらの以外の情報、例えば、自動運転に関連する各種情報等が表示されてもよい。
【００３３】
ＡＶ機器８は、例えばテレビ放送受信機や記録媒体再生機器等のＡＶ（Audio Visual）情報を受信又は再生等する機器である。なお、携帯電話回線網やインターネット等を介して外部サーバ等に格納されたＡＶ情報を受信して再生してもよい。なお、以下の説明では、エンターテインメント情報としてＡＶ情報で説明するが、他のエンターテインメント情報として、例えばゲームやＷＥＢブラウザ、電子書籍、メールやメッセンジャー等の情報であってもよい。
【００３４】
表示手段としての透過型ディスプレイ９は、車両のフロントガラスで構成された表示部と合成処理部７から出力された映像情報をフロントガラスに投影する投影部とを含み、合成処理部７から出力された映像情報を表示する。表示部は、例えば、散乱状態と入射光の散乱が小さい透明な透過状態を変化させる調光スクリーン等がフロントガラスに重ねられて構成されている。或いは、フロントガラス自体がスクリーンとなる状態と透過状態とに変化するような構成としてもよい。即ち、透過型ディスプレイ９は、映像が表示可能かつ透過状態に変化可能な表示手段であって、前記した調光スクリーン等がフロントガラスに設けられたスクリーン部となる。また、透過型ディスプレイ９は、表示部の透過率を増加させたり（より透明に近づける）、表示を停止させることにより、透過型ディスプレイ９越しの前方の景色等が運転者から視認できるようになる。
【００３５】
本実施例における表示装置５０は、運転予測部５と、合成処理部７と、透過型ディスプレイ９と、から構成される。
【００３６】
次に、上述した構成の表示装置５０における動作を図２乃至図５を参照して説明する。図２乃至図４に示したフローチャートは運転予測部５で実行され、図５に示したフローチャートは合成処理部７で実行される。したがって、運転予測部５及び合成処理部７は、ＣＰＵやメモリ等を備えたコンピュータとして構成し、図２乃至図４に示したフローチャートの動作を当該コンピュータで動作するコンピュータプログラム（表示制御プログラム）として構成してもよい。
【００３７】
まず、図２に示したフローチャートを説明する。図２に示したフローチャートは危険予測処理にかかる動作である。まず、ステップＳ１０１において、危険検出処理を行ってステップＳ１０２に進む。本ステップでは、外界センサ１の出力や車外カメラ３の撮影した映像等に基づいて、前方の車両の急停車や、通行人や動物等の飛び出し、交差点での横断者や二輪車等の検出、或いは事故現場、冠水道路等のその他の異常等の緊急度の高いイベントを検出する。
【００３８】
次に、ステップＳ１０２において、ステップＳ１０１の処理の結果、危険を検出したか否かを判断し、危険を検出した場合（ＹＥＳの場合）はステップＳ１０３進み、危険を検出しない場合（ＮＯの場合）はステップＳ１０１に戻る。
【００３９】
次に、ステップＳ１０３において、ステップＳ１０２において危険が検出されたと判断されたので危険回避イベントをイベント情報として合成処理部７に送信してステップＳ１０４に進む。
【００４０】
次に、ステップＳ１０４において、危険解消検出処理を行ってステップＳ１０５に進む。本ステップでは、ステップＳ１０１で検出された緊急度の高いイベントが解消したことを検出する。
【００４１】
次に、ステップＳ１０５において、ステップＳ１０４の処理の結果、危険が解消したか否かを判断し、危険が解消した場合（ＹＥＳの場合）はステップＳ１０６に進み、危険が解消しない場合（ＮＯの場合）はステップＳ１０４に戻る。
【００４２】
次に、ステップＳ１０６において、再度危険検出処理を行ってステップＳ１０７に進む。本ステップでは、ステップＳ１０１と同様に緊急度の高いイベントを検出するが、ステップＳ１０１で検出されたイベントと異なるイベントが検出されたかを確認している。
【００４３】
次に、ステップＳ１０７において、ステップＳ１０６の処理の結果、危険を検出したか否かを判断し、危険を検出した場合（ＹＥＳの場合）はステップＳ１０４に戻り、危険を検出しない場合（ＮＯの場合）はステップＳ１０８に進む。
【００４４】
次に、ステップＳ１０８において、ステップＳ１０７においても危険を検出していないので、危険回避復帰イベントをイベント情報として合成処理部７に送信してステップＳ１０１に戻る。
【００４５】
次に、図３に示したフローチャートを説明する。図３に示したフローチャートは状況判定処理にかかる動作である。状況判定処理とは、図２に示した緊急度の高いイベントには該当しない状況にかかるイベントを検出する処理である。なお、図２のフローチャートと図３のフローチャートとはそれぞれ並列して実行される。まず、ステップＳ２０１において、現在状況の初期値として通常運行を設定してステップＳ２０２に進む。通常運行とは、以下に説明する状況が発生していない初期状態を示す。
【００４６】
次に、ステップＳ２０２において、状況判定処理を行ってステップＳ２０３に進む。本ステップでは、外界センサ１や車外カメラ３、車内カメラ４の撮影した映像等に基づいて、例えば誘導に関する状況、アクション待ちに関する状況、事後対処に関する状況、道路に関する状況、周囲への配慮に関する状況のなどの運転者が視認すべき状況を検出する。
【００４７】
誘導に関する状況としては、目的地付近に到着、 搭乗者に目的地設定を促す、駐車位置の確認、進路を他車に譲る／譲らないのシチュエーション判断等が含まれる。アクション待ちに関する状況としては、料金所、ドライブスルー等における指示などが含まれる。事後対処に関する状況としては、事故が発生したとき（後方車両からの追突）、パンク、ガス欠、各種車両トラブル等が含まれる。道路に関する状況としては狭い道、高速道路、トンネル、夜間等の走行の状況が含まれる。周囲への配慮に関する状況としては、水はね、歩行者との距離、右折のとき右に寄る等が含まれる。
【００４８】
次に、ステップＳ２０３において、検出したすべての状況を現在状況に格納してステップＳ２０４に進む。本ステップでは、ステップＳ２０２において検出されたすべての状況をメモリ等に格納する。つまり、ステップＳ２０２の状況は上記に例示したように複数の状況が発生する可能性があるので、発生した状況はすべて記憶し、以降の処理において利用する。
【００４９】
次に、ステップＳ２０４において、パラメータチェック処理を行いステップＳ２０５に進む。パラメータチェック処理については後述する。
【００５０】
次に、ステップＳ２０５において、パラメータチェック処理において決定したイベントをイベント情報として合成処理部７に送信してステップＳ２０２に戻る。
【００５１】
次に、図４に示したフローチャートを説明する。図４に示したフローチャートはパラメータチェック処理、即ち図３のステップＳ２０４にかかる動作である。まず、ステップＳ３０１において、パラメータを初期化する。なお、パラメータとは、透過型値ディスプレイ９の表示態様に関するパラメータであり、例えば、スクリーン部の透過率、映像の縮小率、スクリーン部における表示座標、部分消去座標、部分消去形状等である。本ステップでは、初期化によって透過率＝最小（フロントガラス越しに前方景色が透けて見えない）、縮小率＝なし（縮小せずにフロントガラスに表示）、表示座標＝初期値（運転席の正面位置、フロントガラスの中央等）、部分消去座標＝なし、部分消去形状＝なし、にそれぞれ設定される。
【００５２】
次に、ステップＳ３０２において、図３のステップＳ２０３でメモリ等に格納された状況（現在状況）が通常運行のみか否かを判断し、通常運行のみの場合（ＹＥＳの場合）はステップＳ３０３に進み、そうでない場合（ＮＯの場合）はステップＳ３０５に進む。
【００５３】
次に、ステップＳ３０３において、現在状況が通常運行のみであったのでパラメータをクリア（初期化）してステップＳ３０４に進む。
【００５４】
次に、ステップＳ３０４において、映像復帰イベントを発行イベントとしてリターンする。つまり、自動運転時の通常の表示態様に戻すイベントを発行する。
【００５５】
一方、ステップＳ３０５においては、すべての現在状況をチェック完了したか否かを判断し、チェック完了の場合（ＹＥＳの場合）はリターンし、チェック完了していない場合（ＮＯの場合）はステップＳ３０６に進む。なお、チェックとは、以下に説明するステップＳ３０６〜Ｓ３０９の処理を示す。
【００５６】
次に、ステップＳ３０６において、現在状況として格納されているメモリ等から状況を１つ選択し、その状況に対応したパラメータを抽出する。例えば、目的地付近に到着の場合は、縮小率のパラメータとして１６倍（現在の表示のサイズから１／１６にする）が抽出される、料金所の場合は透過率のパラメータとして２倍が抽出される等である。
【００５７】
次に、ステップＳ３０７において、ステップＳ３０６で抽出されたパラメータの値がそれまでの当該パラメータの値と異なる値であるか（更新ありか）否かを判断し、更新ありの場合（ＹＥＳの場合）はステップＳ３０８に進み、更新なしの場合（ＮＯの場合）はステップＳ３０５に戻る。なお、本ステップにおいては、パラメータがより大きな値に更新される場合（増加させるように変化する場合）にのみ更新ありと判断するようにしてもよい。例えば現在透過率４倍の状態で、透過率２倍の状況に対応するパラメータが抽出された場合は無視してもよい。つまり、映像の視認性を低下させる方向のみに更新してもよい。即ち、透過率を更新する際には現在の透過率より減少させず、縮小率を更新する際には現在表示されている映像の大きさを拡大しないようにしてもよい。
【００５８】
次に、ステップＳ３０８において、ステップＳ３０７においてパラメータ更新ありと判断されたので当該パラメータを更新してステップＳ３０９に進む。
【００５９】
次に、ステップＳ３０９において、ステップＳ３０８で更新したパラメータに対応したイベントを発行イベントとしてステップＳ３０５に戻る。つまり、透過率を更新した場合は映像透過イベントが発行イベントとなり、縮小率を更新した場合は映像縮小イベントが発行イベントとなり、部分消去を更新した場合は映像部分消去イベントが発行イベントとなり、別画面切替を更新した場合は別画面切替イベントが発行イベントとなる。そして、再度ステップＳ３０６で他の状況を選択し、その状況に対応したパラメータを抽出してステップＳ３０７以降を繰り返す。
【００６０】
次に、図５に示したフローチャートを説明する。図５に示したフローチャートは危険予測時の映像切替処理にかかる動作である。本フローチャートは、上述したように、運転予測部５で実行された図２〜図４のフローチャートの処理結果（イベント情報）に基づいて合成処理部７で実行される。
【００６１】
まず、ステップＳ４０１において、現在映像が透過型ディスプレイ９に表示されているか否かを判断し、表示されている場合（ＹＥＳの場合）はステップＳ４０２に進み、表示されていない場合（ＮＯの場合）は本ステップで待機する。
【００６２】
次に、ステップＳ４０２において、運転予測部５からイベント情報を受け取ってステップＳ４０３に進む。
【００６３】
次に、ステップＳ４０３において、ステップＳ４０２でイベント情報を受け取ったか否かを判断し、受け取った場合（ＹＥＳの場合）はステップＳ４０４に進み、受け取らなかった場合（ＮＯの場合）はステップＳ４０１に戻る。
【００６４】
次に、ステップＳ４０４において、受け取ったイベント情報に応じた処理を行う。受け取ったイベント情報が映像透過であった場合はステップＳ４０５に進んで映像透過処理、つまり、透過型ディスプレイ９の表示されている映像の透過率を変更してステップＳ４０１に戻る。受け取ったイベントが映像縮小であった場合はステップＳ４０６に進んで映像縮小処理、つまり、透過型ディスプレイ９の表示されている映像の縮小率を変更してステップＳ４０１に戻る。
【００６５】
受け取ったイベントが映像部分消去であった場合はステップＳ４０７に進んで映像部分消去処理、つまり、透過型ディスプレイ９の表示されている映像の形状等を変更して部分的に映像を消去した状態としステップＳ４０１に戻る。受け取ったイベントが別画面切替であった場合はステップＳ４０８に進んで別画面切替処理（別画面表示）、つまり、透過型ディスプレイ９の表示されている映像を別のソースに切り替えて（ＡＶ機器８から車外カメラ３等）ステップＳ４０１に戻る。受け取ったイベントが映像復帰であった場合はステップＳ４０９に進んで映像復帰処理、つまり、透過型ディスプレイ９の表示されている映像を元の映像に復帰（元のソースに復帰、透過率等のパラメータを初期化）してステップＳ４０１に戻る。
【００６６】
受け取ったイベントが危険回避であった場合はステップＳ４１０に進んで現在透過型ディスプレイ９に表示されている映像を消去してステップＳ４１１に進む。
【００６７】
次に、ステップＳ４１１において、運転予測部５からイベント情報を受け取ってステップＳ４１２に進む。
【００６８】
次に、ステップＳ４１２において、ステップＳ４１１で図２のステップＳ１０８で送信される危険回避復帰イベントを受け取ったか否かを判断し、受け取った場合（ＹＥＳの場合）はステップＳ４１３に進み、受け取らなかった場合（ＮＯの場合）はステップＳ４１１に戻る。
【００６９】
次に、ステップＳ４１３において、透過型ディスプレイ９の表示されている映像を元の映像に復帰（消去したソースを再度表示）してステップＳ４０１に戻る。
【００７０】
なお、ステップＳ４１０〜Ｓ４１３は、図２に示した危険予測処理の結果行われる処理であり、重要度の高い状況である。したがって、これらのステップを実行中は、ロックして他の状況によるイベントが発生しても無視するようにしてもよい。即ち、重要度が高い状況が検出された場合、当該状況が終了するまで他の状況に対応する制御を行わないようにしてもよい。
【００７１】
以上の説明から明らかなように、運転予測部５が実行する図２〜図４のフローチャートで状況が、運転者が視認すべき状況であるか判断し、状況を運転者が視認すべき状況である場合は、合成処理部７が実行する図５のフローチャートで過型表示手段に表示されている映像の視認性を低下させるように制御している。したがって、図２〜図５のフローチャートが、自動運転時の車両外部の状況を運転者が視認すべき状況である場合は、透過型ディスプレイ９（表示手段）に表示されている映像の視認性を低下させるように制御する制御工程として機能する。
【００７２】
本実施例によれば、自動運転時にＡＶ情報等の映像が表示可能な透過型ディスプレイ９と、自動運転時の車両外部の状況を検出する外界センサ１等からの情報を取得する運転予測部５と、その状況が運転者が視認すべき状況であるか判断し、その状況が運転者が視認すべき状況である場合は、透過型ディスプレイ９に表示されている映像の視認性を低下させるよう制御する運転予測部５及び合成処理部７と、を備えている。このようにすることにより、車両外部の状況が視認すべき状況である場合は、透過型ディスプレイ９にＡＶ情報等の自動運転と関連しない映像が表示されていたとしても当該映像の視認性を低下させることができる。したがって、周囲の状況に応じて、映像表示をシームレスに切り替えることができる。
【００７３】
また、透過型ディスプレイ９は、車両のフロントガラスに映像を投影するもので構成されている。このようにすることにより、車両のフロントガラスにＡＶ情報等が表示されていた場合であっても、映像をシームレスに切り替えることができる。
【００７４】
また、合成処理部７は、映像の透過率の増加、縮小率の増加、部分消去、別画面表示、危険回避のいずれかの制御を状況に応じて選択し、制御している。このようにすることにより、周囲の状況に応じた適切な制御で映像の切り替え等を行うことができる。
【００７５】
また、合成処理部７は、危険回避イベント情報が入力された場合、当該イベントにかかる状況が終了するまで他の状況にかかるイベント情報に対応する制御を行わないようにしてもよい。このようにすることにより、優先順位を設けて、より重要度が高い状況に対しては、他の状況の発生による影響を受けずに表示状態を維持することが可能となる。
【００７６】
また、合成処理部７は、透過率を更新する際には現在の透過率より減少させず、縮小率を更新する際には現在表示されている映像の大きさを拡大しないようにしてもよい。つまり、運転者に外部の状況をより注目させる方向に更新してもよい。このようにすることにより、映像の視認性を良くするような制御を行いようにして、一度視認すべき状況が発生した場合は、すべての状況が終了するまでは、運転者に状況の把握と判断に集中させることができる。
【実施例２】
【００７７】
次に、本発明の第２の実施例にかかる表示装置を図６を参照して説明する。前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。
【００７８】
本実施例では、一度外部の状況が検出された場合に、その状況を運転者が認識しているか、或いは、その状況に対処したか等を考慮して映像表示を変更する。
【００７９】
本実施例にかかる状況判定処理のフローチャートを図６に示す。図６において、ステップＳ２０１〜Ｓ２０５は、図３と同様である。ステップＳ２０１から進んだステップＳ２１１において、現在状況が通常運行のみか否かを判断し、通常運行のみの場合（ＹＥＳの場合）はステップＳ２０２に進み、そうでない場合（ＮＯの場合）はステップＳ２１２に進む。ステップＳ２０２に進んだ場合は、図３と同様にステップＳ２０３、Ｓ２０４、Ｓ２０５と進みステップＳ２１１に戻る。
【００８０】
一方、ステップＳ２１２においては、現在状況が通常運行のみでないので、誘導に関する状況、アクション待ちに関する状況等の何らかの状況が発生している。そこで、運転者がその状況を視認しているか検出するために運転者の視線を検出して、視線の方向が状況の方向と不一致か否かを判断し、不一致の場合（ＹＥＳの場合）はステップＳ２１３に進み、一致した場合（ＮＯの場合）はステップＳ２１４に進む。ここで、運転者の視線は、例えば車内カメラ４を後部座席を撮影するカメラに加えて運転席を撮影するカメラも設け、そのカメラで運転者の顔を撮影して視線を検出するようにすればよい。即ち、車内カメラ４が視線検出手段として機能する。また、状況の方向は、外界センサ１の検出結果や車外カメラ３が撮影した映像から運転席から当該状況の方向を推定すればよい。また、本ステップの判断は、完全に一致しない場合に限らず、所定の範囲以上視線と状況の方向がずれている場合を不一致と見做してもよい。
【００８１】
次に、ステップＳ２１３において、視線不一致を現在状況に格納してステップＳ２０４に進む。
【００８２】
一方、ステップＳ２１４においては、手動運転に切り替えられたか否かを判断し、手動運転に切り替えられた場合（ＹＥＳの場合）はステップＳ２１５に進み、切り替えられていない場合（ＮＯの場合）はステップＳ２０２に進む。ここで、手動運転に切り替えられたことは、例えば、車両制御部６が、ハンドルやアクセル、ブレーキ、ウインカ、ワイパー等の車両走行に関する操作が行われたことを検出することで判断すればよい。即ち、車両制御部６が運転検出手段として機能する。
【００８３】
次に、ステップＳ２１５において、手動運転を現在状況に格納してステップＳ２０４に進む。
【００８４】
したがって、視線不一致の場合や手動運転に切り替えられた場合は、それらの状況のみがパラメータチェック処理にて処理される。また、現在状況が通常運行のみでない場合であっても、視線一致の場合や手動運転に切り替えられない場合は、図３と同様にステップＳ２０２からの処理を実行する。
【００８５】
そして、図６のフローチャートで視線不一致が現在状況として格納された場合、図４のフローチャートのステップＳ３０６で抽出されるパラメータは、特定の値ではなく現在のパラメータを更に一段階進めるとする。例えば透過率が２倍になっている場合は４倍にする等である。即ち、運転予測部５及び合成処理部７は、視線に基づいて制御をする。このようにすると、視線不一致の場合は透過率が更に増加してより外部の状況を確認させ易くすることができる。
【００８６】
また、図６のフローチャートで手動運転が現在状況として格納された場合、図４のフローチャートのステップＳ３０６で抽出されるパラメータは、映像を消去するとする。即ち、運転予測部５及び合成処理部７は、運転操作が検出された場合、映像の表示を停止させる。また、ステップＳ２１１により、一度状況が発生した状態となっているので、一度透過率を低下させた後に映像が消去されるといったように映像が徐々に切り替わるようにすることができる。即ち、運転予測部５及び合成処理部７は、少なくとも一度映像の視認性を低下させる制御を行った後に、運転操作が検出された場合、映像の表示を停止させる。
【００８７】
なお、図６のフローチャートでは、視線不一致と手動運転の両方の処理を行っていたが、いずれか一方のみを行うようにしてもよい。
【００８８】
本実施例によれば、運転者の視線を検出する車内カメラ４を備え、運転予測部５及び合成処理部７は、その視線に基づいて制御をしている。このようにすることにより、運転者の視線が映像を視認しているのか、外部の状況を視認しているのかに応じて、透過率の増加等の更なる制御をすることが可能となる。
【００８９】
また、運転者による運転操作を検出する車両制御部６を備え、運転予測部５及び合成処理部７は、運転操作が検出された場合、映像の表示を停止させるようにしている。このようにすることにより、運転者が運転操作をした場合には、映像の表示を停止させて、運転に集中できるようにすることができる。
【００９０】
また、合成処理部７は、少なくとも一度映像の視認性を低下させる制御を行った後に、運転操作が検出された場合、映像の表示を停止させるようにしている。このようにすることにより、映像が徐々に切り替わるようになり、映像表示をシームレスに切り替えることができる。
【００９１】
なお、上述した２つの実施例において、外部の状況が検出された場合に、その状況の透過型ディスプレイ９における位置（状況が観察される部分）を強調するような表示（強調表示）を行ってもよい。強調表示としては、例えば、当該状況の範囲を枠で囲む、矢印等で指示する等が挙げられる。
【００９２】
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の表示装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。
【符号の説明】
【００９３】
１        外界センサ
３        車外カメラ
４        車内カメラ（視線検出手段）
５        運転予測部（状況取得手段、制御手段）
６        車両制御部（運転検出手段）
７        合成処理部（制御手段）
９        透過型ディスプレイ（表示手段）
５０      表示装置
【図１】
2017174043.tif 000003
【図２】
2017174043.tif 000004
【図３】
2017174043.tif 000005
【図４】
2017174043.tif 000006
【図５】
2017174043.tif 000007
【図６】
2017174043.tif 000008