(57)【要約】【課題】運転者の注意方向に応じて、運転者の頭部周辺空間の広い範囲に画像を表示する。【解決手段】空間表示装置１０は、取得部１１，１２と空間表示部１４とプロセッサ１３とを備える。取得部１１は、移動体の運転者の注意方向に関する第１情報を取得する。空間表示部１４は、運転者の頭部周辺空間に画像を表示する。プロセッサ１３は、第１情報に応じて、空間表示部１４による画像の表示位置を制御する。【選択図】図１
2018169481.tif 000002
【特許請求の範囲】
【請求項１】
移動体の運転者の注意方向に関する第１情報を取得する取得部と、
前記運転者の頭部周辺空間に画像を表示する空間表示部と、
前記第１情報に応じて、前記空間表示部による前記画像の表示位置を制御するプロセッサと
を備える空間表示装置。
【請求項２】
前記第１情報は、前記運転者の顔の向きおよび視線の向きの少なくとも何れかに関する情報を含む請求項１に記載の空間表示装置。
【請求項３】
前記取得部は、前記移動体の挙動に関する第２情報および前記移動体の周辺状況に関する第３情報の少なくとも何れか一方を取得し、前記プロセッサは、前記第１情報並びに前記第２情報および前記第３情報の少なくとも何れか一方に応じて、前記空間表示部による前記画像の前記表示位置を制御する請求項１または２に記載の空間表示装置。
【請求項４】
前記第２情報は、前記移動体の起動、停止、進行方向、および、操舵方向の何れか１つ以上を示す情報を含む請求項３に記載の空間表示装置。
【請求項５】
前記第３情報は、近接物、歩行者、他の移動体、交通標識および信号の何れか１つ以上を含む被検出物の識別情報および位置情報を含む請求項３または４に記載の空間表示装置。
【請求項６】
前記第２情報は、前記移動体の進行方向を示す情報を含み、
前記プロセッサは、前記運転者の頭部に対して、前記第１情報に基づく前記運転者の前記注意方向と、前記進行方向との間の方向に前記画像を表示する請求項４に記載の空間表示装置。
【請求項７】
前記プロセッサは、前記運転者の頭部に対して、前記第１情報に基づく前記運転者の前記注意方向と、前記第３情報に含まれる前記被検出物の前記位置情報に基づく前記被検出物の方向との間の方向に、前記画像を表示する請求項５に記載の空間表示装置。
【請求項８】
前記プロセッサは、前記第２情報および前記第３情報の何れか一方に基づいて、前記空間表示部による前記画像の表示を点灯させる請求項３から７の何れか一項に記載の空間表示装置。
【請求項９】
前記取得部は、前記移動体内における前記運転者の頭部の位置情報である第４情報を取得し、前記空間表示部は前記第４情報に基づいて、前記画像を表示する前記頭部周辺空間の範囲を決定する請求項１から８の何れか一項に記載の空間表示装置。
【請求項１０】
前記取得部は、前記運転者の運転状態に関係する第５情報を取得し、前記プロセッサは、前記第５情報に基づいて、前記空間表示部による前記画像の表示を点灯させる請求項１から９のいずれか一項に記載の空間表示装置。
【請求項１１】
前記第５情報は、前記運転者の瞬きの頻度、瞼の形状、または、頭部の傾きの少なくとも何れかに関する情報を含む請求項１０に記載の空間表示装置。
【請求項１２】
前記取得部は、前記運転者の所定動作に関する第６情報を取得し、前記プロセッサは、前記第６情報に基づいて、前記空間表示部による前記画像の表示を消灯させる請求項１から１１の何れか一項に記載の空間表示装置。
【請求項１３】
前記所定動作は、表示された前記画像を払いのける動作および表示された前記画像に触れる動作の少なくとも何れか一方を含む請求項１２に記載の空間表示装置。
【請求項１４】
前記第２情報は前記移動体の停止を示す情報を含み、前記プロセッサは前記移動体の前記停止を示す情報に基づいて、前記空間表示部による前記画像の表示を消灯させる請求項１から１３の何れか一項に記載の空間表示装置。
【請求項１５】
前記取得部は、少なくとも前記第１情報を取得する第１取得部、および、前記第２情報および前記第３情報の少なくとも何れか一方を取得する第２取得部を含む請求項３から８の何れか一項に記載の空間表示装置。
【請求項１６】
移動体の運転者の頭部を撮像し、前記運転者の注意方向を検出し第１情報として出力する撮像装置と、
前記撮像装置から前記第１情報を取得する取得部、前記運転者の頭部周辺空間に画像を表示する空間表示部、および、前記第１情報に応じて、前記空間表示部による前記画像の表示位置を制御するプロセッサを含む空間表示装置と
を備える空間表示システム。
【請求項１７】
運転者の注意方向に関する第１情報を取得する取得部、前記運転者の頭部周辺空間に画像を表示する空間表示部、および、前記第１情報に応じて、前記空間表示部による前記画像の表示位置を制御するプロセッサを含む空間表示装置を備える移動体。
【請求項１８】
移動体の運転者の注意方向に関する第１情報を取得し、
前記第１情報に応じて、空間表示部による画像の表示位置を決定し、
前記運転者の頭部周辺空間に画像を表示する
空間表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は空間表示装置、空間表示システム、移動体および空間表示方法に関する。
【背景技術】
【０００２】
移動体の運転者に対して、運転中に視線方向を大きく変えることなく、情報を提示するシステムとして、ヘッドアップディスプレイを挙げることができる（例えば、特許文献１参照）。ヘッドアップディスプレイは、運転者からみて前方に位置するコンバイナまたはウィンドシールドに、表示画像を虚像として視認可能に投影する。ヘッドアップディスプレイは、運転者が前方に視線を向けているとき、良好な視認性を提供する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−９０２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
運転者の注意が障害物の方向とは別の方向を向いている場合、または、運転者が居眠りをしている場合にも、運転者の視認可能な視認域内に、画像を表示できることが好ましい。そのためには、運転者から見て広範囲な方向に情報を表示できることが望ましい。しかし、従来の表示装置において運転者からみて広範囲な方向に情報を表示しようとすると、装置の表示部および画像の投影部が大型化するとともにコストが増大することが懸念される。
【０００５】
したがって、これらの点に着目してなされた本発明の目的は、運転者の注意方向に応じて、運転者の頭部周辺空間の広い範囲に画像を表示することができる空間表示装置、空間表示システム、移動体および空間表示方法を提供することにある。
【課題を解決するための手段】
【０００６】
複数の実施形態の１つに係る空間表示装置は、取得部と空間表示部とプロセッサとを備える。取得部は、移動体の運転者の注意方向に関する第１情報を取得する。空間表示部は、運転者の頭部周辺空間に画像を表示する。プロセッサは、第１情報に応じて、空間表示部による画像の表示位置を制御する。
【０００７】
複数の実施形態の１つに係る空間表示システムは、撮像装置と空間表示装置とを備える。撮像装置は、運転者の頭部を撮像し、運転者の注意方向を検出し第１情報として出力する。空間表示装置は、取得部と空間表示部とプロセッサとを含む。取得部は、移動体の運転者の注意方向に関する第１情報を取得する。空間表示部は、運転者の頭部周辺空間に画像を表示する。プロセッサは、第１情報に応じて、空間表示部による画像の表示位置を制御する。
【０００８】
複数の実施形態の１つに係る移動体は、空間表示装置を備える。空間表示装置は、取得部と空間表示部とプロセッサとを含む。取得部は、移動体の運転者の注意方向に関する第１情報を取得する。空間表示部は、運転者の頭部周辺空間に画像を表示する。プロセッサは、第１情報に応じて、空間表示部による画像の表示位置を制御する。
【０００９】
複数の実施形態の１つに係る空間表示方法は、移動体の運転者の注意方向に関する第１情報を取得し、第１情報に応じて、空間表示部による画像の表示位置を決定し、運転者の頭部周辺空間に画像を表示する。
【発明の効果】
【００１０】
本発明の実施形態によれば、運転者の注意方向に応じて、運転者の頭部周辺空間の広い範囲に画像を表示することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本開示の複数の実施形態の１つに係る空間表示システムの概略構成を示すブロック図である。
【図２】図２は、図１の空間表示システムを移動体に搭載した例を示す図である。
【図３】図３は、障害物表示画像の例を示す図である。
【図４】図４は、図３の方向表示画像を説明する図である。
【図５】図５は、図１の空間表示システムによる画像表示位置の一例を説明する図である。
【図６】図６は、障害物警告表示処理の一例を示すフローチャートである。
【図７】図７は、障害物警告表示終了処理の一例を示すフローチャートである。
【図８】図８は、居眠り警告時の画像の一例を示す図である。
【図９】図９は、居眠り警告時の画像表示位置の一例を示す図である。
【図１０】図１０は、居眠り警告表示処理の一例を示すフローチャートである。
【図１１】図１１は、居眠り警告表示終了処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本開示の複数の実施形態の１つである空間表示システム１について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
【００１３】
［空間表示システムの構成］
図１に示すように、空間表示システム１は、空間表示装置１０と撮像装置であるドライバ監視カメラ２０とを含む。空間表示装置１０は、取得部を構成する第１取得部１１および第２取得部１２と、プロセッサである制御部１３と、空間表示部１４とを含む。第１取得部１１は、ドライバ監視カメラ２０からの情報を受信可能に構成される。第２取得部１２は、移動体センサ３１、電子制御装置３２、周辺監視センサ３３からの情報を受信可能に構成される。なお、本開示において、「前方」は、移動体３０が直進時において通常移動する方向を意味する。「後方」は、「前方」と反対の方向である。移動体３０が通常移動する方向に進むことを「前進」とよぶ。通常移動する方向と反対方向に進むことを「後退」とよぶ。本開示において、「右」、「左」は、移動体３０の運転者５から見た方向を示す。
【００１４】
空間表示システム１は、図２に示すように移動体３０に搭載されうる。本開示における「移動体」は、車両およびその他の運転者を乗せて移動するものを含む。「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
【００１５】
空間表示装置１０は、例えば、移動体３０の内部であって移動体３０の天井の内側に設けることができる。空間表示装置１０は、運転者５の頭上または頭上前方に設けられてよい。ドライバ監視カメラ２０は、ダッシュボード上、ステアリングコラム上、またはインストルメントパネル内等に設けることができる。移動体センサ３１および電子制御装置３２は、移動体３０内の種々の場所に複数設けることができる。周辺監視センサ３３は、移動体３０内の前方のウィンドシールド近傍に設けることができる。これらの、空間表示システム１の各部の搭載位置は例示である。空間表示システム１の各部は、移動体３０内で種々の位置に配置することが可能である。空間表示装置１０は、図２に破線で示されるように、空間表示部１４を除く本体部１０ａを空間表示部１４とは別にダッシュボード内等に設けることができる。その場合、図２において空間表示装置１０は、空間表示部１４のみを含んでよい。空間表示システム１の各構成要素は、移動体３０の有する有線または無線の通信システムにより相互に情報の送受信が可能なように接続されてよい。
【００１６】
（取得部）
次に、空間表示システム１の各部について説明する。第１取得部１１は、ドライバ監視カメラ２０から、第１情報を取得する入力インタフェースである。第１取得部１１は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、IEC60603に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。
【００１７】
第１情報は、運転者５の注意方向に関する情報である。運転者５の注意方向は、例えば、運転者５の顔の向きまたは運転者５の視線の向きの方向である。運転者５の注意方向に関する情報は、運転者５の顔の向きに関する情報、および、運転者５の視線の向きに関する情報の少なくとも一方を含んでよい。運転者５の注意方向に関する情報は、運転者５の注意方向を直接示す情報、または、分析により運転者５の注意方向が得られる情報でありうる。例えば、第１取得部１１は、運転者５の注意方向をベクトル情報としてドライバ監視カメラ２０から取得してよい。あるいは、例えば、第１取得部１１は、運転者５の注意方向を分析可能な映像情報をドライバ監視カメラ２０から取得してよい。
【００１８】
ドライバ監視カメラ２０は、運転者５の頭部を含む領域を撮像領域とする撮像装置である。ドライバ監視カメラ２０は、撮像素子を含む。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。ドライバ監視カメラ２０は、夜間またはトンネル内でも撮像可能なように、近赤外線カメラを使用しうる。さらに、ドライバ監視カメラ２０は近赤外線を照射する近赤外ＬＥＤなどの発光素子を備えてよい。ドライバ監視カメラ２０は、撮像した画像を解析するための処理装置を備えてよい。処理装置は、運転者５の頭部を撮像した画像から、運転者５の眼を識別し、運転者５の視線方向を出力しうる。処理装置は、運転者５の頭部を撮像した画像から、運転者５の眼、鼻、口等の各部を識別し、顔の向きを出力しうる。ドライバ監視カメラ２０は、空間表示装置１０で処理するために、撮像した画像情報をそのまま、または、一部加工を施して、第１取得部１１へ出力してよい。
【００１９】
第２取得部１２は、移動体３０の挙動に関する第２情報および移動体３０の周辺状況に関する第３情報の少なくとも何れかを取得しうる。第２取得部１２は、第２情報および第３情報の少なくとも何れかを取得する入力インタフェースである。第２取得部１２は、第１取得部１１について上述したのと類似して種々の構成が可能である。
【００２０】
移動体３０の挙動に関する第２情報は、移動体３０の挙動に関する任意の情報を含んでよい。移動体３０の挙動に関する情報は、移動体３０の起動、停止、進行方向、および、操舵方向に関する情報を含みうる。移動体３０の起動に関する情報は、移動体３０が移動を開始した時に発せられる情報を含む。移動体３０の停止に関する情報は、移動体３０が移動を停止した時に発せられる情報を含む。移動体３０の進行方向に関する情報は、移動体３０が前進中であるか後退中であるかの情報を含みうる。移動体３０の操舵方向に関する情報は、移動体３０が直進中、左折中、右折中の何れの状態にあるかの情報、および、ステアリング舵角の情報を含みうる。移動体３０の操舵方向に関する情報は、運転者５の操作による方向指示器の指示方向の情報を含んでよい。さらに、第２情報は、速度情報、加速度情報等を含んでよい。第２情報は、移動体３０の各部に設けられた移動体センサ３１および移動体３０の有する各部の電子制御装置３２から取得しうる。移動体センサ３１には、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ等を含みうる。電子制御装置３２は、エンジン、ステアリング、ブレーキ等の移動体３０の各部を制御する電子制御装置を含む。電子制御装置３２は、ＥＣＵ（Electronic Control Unit）ともよぶことができる。
【００２１】
移動体３０の周辺状況に関する第３情報は、移動体３０の周辺状況に関する任意の情報を含んでよい。移動体３０の周辺状況に関する情報は、近接物、歩行者、他の移動体、交通標識および信号の何れか１つ以上を含む被検出物の識別情報および位置情報を含んでよい。以下に移動体３０の進行の妨げになりうる近接物、歩行者、他の移動体は、障害物と総称する。他の移動体には、自転車、自動車、大型貨物等を含む。識別情報は、近接物、歩行者、移動体、道路標識等の被検出物の種別を示す情報である。位置情報は、被検出物の絶対位置情報、移動体３０を基準にした座標情報および方位情報の何れかを含みうる。第３情報は、移動体３０に設けた周辺監視センサ３３により取得されうる。周辺監視センサ３３としては、周辺監視用のカメラ、ステレオカメラ、ミリ波レーダ、超音波レーダ、赤外線レーダ等を含みうる。第２取得部１２は、第３情報の一部を、他の移動体または道路インフラなどの移動体３０の外部から無線通信を介して取得しうる。無線通信を通じて取得しうる情報としては、制限速度などの規制情報、走行路前方の渋滞情報等を含みうる。周辺監視センサ３３が周辺監視用のカメラの場合、周辺監視センサ３３は、撮像素子を含む。撮像素子は、ＣＣＤイメージセンサ、及びＣＭＯＳイメージセンサを含む。さらに、周辺監視センサ３３は、撮像素子により撮像した画像を処理する処理装置を有してよい。
【００２２】
第１取得部１１または第２取得部１２は、さらに、第４情報、第５情報および第６情報の少なくとも一つ以上を取得してよい。
【００２３】
第４情報は、移動体３０内における運転者５の頭部の位置情報である。頭部の位置情報は、ドライバ監視カメラ２０を用いて取得してもよく、他のセンサを用いて取得してもよい。他のセンサには、超音波センサ、ステレオカメラ等を含みうる。ドライバ監視カメラ２０を用いる場合、ドライバ監視カメラ２０は、近赤外線光源を用いてＴｏＦ（Time-of-Flight）方式により運転者５の頭部までの距離を測定しうる。
【００２４】
第５情報は、運転者５の運転状態に関係する情報である。第５情報には、運転者５の漫然運転および／または居眠り運転に関する情報を含みうる。第５情報は、ドライバ監視カメラ２０を用いて取得してもよく、他のセンサを用いて取得してもよい。第５情報が運転者５の居眠り運転に関する情報のとき、ドライバ監視カメラ２０は、運転者５の瞬きの頻度、瞼の形状、および、頭部の傾きの少なくとも１つ以上に基づいて、居眠り状態またはそれに近い状態にあることを判定しうる。ドライバ監視カメラ２０は、予め運転者５の両眼間の距離を認識し、運転者５に応じた居眠りの判定をしてよい。ドライバ監視カメラ２０は、さらに、口の状態、頭の動き等の情報を用いて居眠り状態を判定してよい。あるいは、ドライバ監視カメラ２０は、運転者の瞬きの頻度、瞼の形状、および、頭部の傾き等の情報を空間表示装置１０へ送信し、空間表示装置１０の制御部１３が他の情報と共に分析して居眠り状態の判定をするようにしてよい。
【００２５】
第６情報は、運転者５の所定動作に関する情報を含む。所定動作は、空間表示部１４により表示される画像を払いのける動作、および、空間表示部１４により表示される画像に触れる動作の少なくとも何れかを含みうる。第６情報は、ドライバ監視カメラ２０を用いて取得してもよく、他のセンサを用いて取得してもよい。
【００２６】
第４情報、第５情報および第６情報の一部または全部は、ドライバ監視カメラ２０から取得される場合、第１取得部１１から第１情報と共に取得されうる。また、第１取得部１１は、ドライバ監視カメラ２０から、運転者５の頭部周辺の映像を取得し、取得した映像から制御部１３が第１情報、第４情報、第５情報および第６情報を抽出するようにしてもよい。
【００２７】
（制御部）
制御部１３は、１つ以上のプロセッサを含む。制御部１３の実行する処理は、プロセッサが行う処理と言い換えてよい。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。制御部１３は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。
【００２８】
制御部１３は、第１取得部１１により取得した第１情報に応じて、空間表示部１４による画像の表示位置を制御する。例えば、制御部１３は、運転者５の注意方向を中心に、運転者５が視認可能な視認域内に画像を表示する位置を決定する。運転者５の視認可能な視認域の視野は、注意方向を中心に水平方向に左右それぞれ５０°、垂直方向に上下それぞれ３５°の範囲とすることができる。制御部１３は、第１情報により運転者５の注意方向が、移動体３０の進行方向から大きく外れている場合、わき見運転と判断して後述するように視認域内の空間に警告表示用の画像を表示しうる。警告表示用の画像を以下に警告表示画像とよぶ。
【００２９】
制御部１３は、第１情報に加え、第２情報および第３情報の少なくとも何れか一方に応じて、警告表示画像等の画像の表示を決定する。制御部１３は、第１情報に加え、第２情報および第３情報の少なくとも何れか一つに応じて、空間表示部１４による表示位置を決定してよい。例えば、第２情報が移動体３０の進行方向に関する情報を含む場合、制御部１３は、運転者５の頭部に対して、第１情報に基づく運転者５の注意方向と、移動体３０の進行方向との間の方向の空間に画像の表示位置を決定してよい。あるいは、制御部１３は、運転者５の頭部に対して、第１情報に基づく運転者５の注意方向と、第３情報に含まれる被検出物の位置情報に基づく被検出物の方向との間の方向の空間に、障害物表示用の画像の表示位置を決定してよい。この場合、制御部１３は、表示すべき被検出物の情報とその表示位置を、空間表示部１４に出力する。障害物表示用の画像を以下に障害物表示画像とよぶ。
【００３０】
制御部１３は、第４情報を取得した場合、取得した移動体３０内における運転者５の頭部の位置情報に応じて、空間表示部１４が画像を表示する頭部周辺空間の範囲を変化させうる。第４情報がなくとも、移動体３０内での運転者５の位置がある程度定まっている場合、空間表示部１４による運転者５への画像表示は可能である。第４情報を用いることで、さらに精緻な画像位置の調整が可能になる。
【００３１】
制御部１３は、第５情報を取得した場合、運転者５の瞬きの頻度、瞼の形状、または、頭部の傾きの少なくとも何れかから、運転者５の運転状態を判定しうる。例えば、制御部１３は、運転者５の瞬きの頻度が低下している場合、または、瞼が閉じているとき、居眠り状態であると判定し、空間表示部１４による警告を示す画像の表示を点灯させてよい。同時に、制御部１３は、移動体３０のスピーカ等を通じて警告音を発生させてよい。
【００３２】
制御部１３は、第６情報を取得した場合、運転者５が表示されている警告表示画像または障害物表示画像を認識したと判断して、空間表示部１４による画像の表示を消灯させてよい。制御部１３は、画像の表示を消灯させるにあたって、第１情報に基づいて運転者５の注意方向が、表示された画像に係る障害物等の被検出物を向いたことを条件としうる。これにより、運転者５が被検出物を認識したことを確実にしたうえで、画像表示を消灯させることができる。
【００３３】
（空間表示部）
空間表示部１４は、運転者５の頭部周辺空間に画像を表示する。本願において、空間に画像を表示するとは、自由空間に実像としての画像を表示することを意味する。すなわち、空間表示部１４は、自由空間に実像としての画像を表示する表示装置である。表示される画像は、２次元画像でも３次元画像でもよい。空間表示部１４は、空中ディスプレイとも称することができる。本願の空間表示部１４は、運転者５の頭部周辺空間に、画像を表示させる。頭部周辺空間は、例えば、運転者５の頭部から３０ｃｍから１ｍ程度の距離までの空間とすることができるが、これに限られない。空間表示部１４が画像を表示させる空間は、運転者５の頭部の周りの広い範囲を含みうる。例えば、空間表示部１４が画像を表示する空間は、運転者５の頭部からみて移動体３０の前方を中心に水平方向に３６０°、鉛直方向に１２０°の範囲を含みうる。
【００３４】
空間表示部１４は、公知の空中ディスプレイを使用しうる。例えば、空間表示部１４は、プラズマ発光空間ディスプレイを採用しうる。プラズマ発光空間ディスプレイは、空中の分子がレーザ光を当てることで、プラズマ状態になって発光することを応用した表示装置である。プラズマ発光空間ディスプレイは、例えば、特開２００９−１８６６５４号公報に開示されている。また、例えば、米国特許第６８５７７４６号明細書、および、特開２０１６−１８９０００号公報等には、空中に霧などの微小粒子を用いた光透過性のスクリーン（フォグスクリーンまたは粒子クラウド）をつくりだし、映像を投影する方法が開示されている。何れの表示装置も、表示パネルに画像を表示するのではなく表示用の光を周りの空間に向けて射出する構成であるため、表示装置自体は表示可能な空間に比べて小型に構成されうる。
【００３５】
プラズマ発光空間ディスプレイを用いた場合、空間表示部１４は、空間表示のための短パルスレーザ、所望の位置にレーザを集光させる機構および光学系を含む。運転者５の頭部の上方に設けることにより、空間表示部１４は運転者５の頭部周辺の種々の位置に画像を表示できる。空間表示部１４は、レーザ光が直接運転者５の頭部に向かないように設計されうる。
【００３６】
［障害物に対する警告表示］
移動体３０が走行中に障害物となる被検出物を検出した場合の警告表示の例を図３および図４を用いて説明する。移動体３０の左側から接近してくる歩行者に関する第３情報を第２取得部１２から取得した場合、制御部１３は空間表示部１４に障害物表示画像４０を表示させる。障害物表示画像４０は、障害物を識別するための障害物識別画像４１と、障害物の方向を示す方向表示画像４２とを含みうる。障害物識別画像４１は、第３情報の被検出物の識別情報に基づき、歩行者（大人、子供）、自転車、自動二輪車、自動車、大型貨物車等の障害物の種別を示す画像である。方向表示画像４２は、障害物の移動体３０に対する位置を示す。図４に、移動体３０に対する位置ごとの方向表示画像４２ａ〜４２ｉの例を示す。方向表示画像４２ａ〜４２ｉを見ることにより、移動体３０の運転者５は障害物の位置する方向を知ることができる。方向表示画像４２ａ〜４２ｉの矢印の向きは、障害物が移動体３０に向かってくるときの方向を示している。
【００３７】
空間表示部１４は、障害物表示画像４０を、運転者５の注意方向と被検出物の方向との間の方向の空間に表示しうる。被検出物の方向は、第３情報に含まれる被検出物の位置情報または方向情報に基づく。障害物と移動体３０との位置関係が変化する場合、制御部１３は障害物表示画像４０の位置を変化させうる。例えば、左前方を横切るように障害物が近づく場合、空間表示部１４は障害物表示画像４０の空間での位置を左前側から中央へ時間とともに移動させる。また、空間表示部１４は、方向表示画像４２を左前方に対応する方向表示画像４２ｂから、正面に対応する方向表示画像４２ｃへ変化させうる。運転者５が視線の向きまたは顔の向きを変えることによって注意方向が変化する場合、空間表示部１４は注意方向の変化に応じて画像の空間内での表示位置を変化させてよい。
【００３８】
図５は、移動体３０の進行方向５１の左側から障害物５２として他の移動体が接近する場合の、画像表示位置の他の一例を説明する図である。図５は、移動体３０および障害物５２を上方より見た図となっている。障害物５２の進行方向５３は、移動体３０の進行方向５１と移動体３０の前方で交差している。移動体３０の運転者５の頭の位置からみた障害物５２の方向５４は、左前方となっている。また、このとき、運転者５は視線を右方向に向けている。すなわち、運転者５の注意方向５５は右方向となっている。この場合、空間表示部１４は、運転者５の視認域５６の範囲内で左側に、障害物５２の接近を知らせる警告表示画像５７（図において星印で示されている）を表示しうる。これによって、運転者５が障害物５２の方を向いていない場合でも、空間表示装置１０は、運転者５に対して警告を認識させることが可能になる。
【００３９】
次に、図６を用いて、障害物に対する警告表示の手順の例を説明する。まず、第２取得部１２が周辺監視センサ３３から第３情報を取得する（ステップＳ１０１）。第３情報の取得に並行して、第２取得部１２は、移動体センサ３１または電子制御装置３２から移動体３０の進行方向および操舵方向等の第２情報を取得してよい。続いて、第１取得部１１は、ドライバ監視カメラ２０から第１情報を取得する（ステップＳ１０２）。第３情報の取得と第１情報の取得の順序は、これとは逆であってもよく、また第３情報の取得と第１情報の取得とは同時に行われてもよい。
【００４０】
制御部１３は、取得した第３情報に含まれる被検出物の位置情報から障害物となる被検出物を認識した場合、運転者５の注意方向と被検出物の位置情報とから、障害物表示画像の空間での表示位置を決定する（ステップＳ１０３）。ステップＳ１０１で、第３情報とともに第２情報が取得されている場合、制御部１３は、第３情報とともに第２情報を用いて表示する画像およびその表示位置を決定しうる。例えば、第２情報が操舵方向の情報を含む場合、運転者５はこれから進もうとする方向に視線を向けるのが自然である。よって、制御部１３は、運転者５の注意方向の操舵方向側に表示位置を決定することができる。
【００４１】
制御部１３が、障害物表示画像の表示位置を決定すると、空間表示部１４は制御部１３が決定した位置に障害物表示画像を表示させる（ステップＳ１０４）。
【００４２】
次に、図７を用いて、障害物表示を終了させる手順について説明する。制御部１３は、第１取得部１１が取得した第６情報から運転者５の所定動作を検出する（ステップＳ２０１）。例えば、運転者５が障害物表示画像を表示された空間から障害物表示画像を払いのける動作をしたとき（ステップＳ２０１：Ｙ）は、制御部１３は、運転者５が障害物表示画像を消去しようとする意思を有するものと推定しうる。さらに、ステップＳ２０１と前後して、第１情報として得られる運転者５の注意方向が、第３情報から得られる障害物の方向と一致した場合（ステップＳ２０２：Ｙ）は、運転者５が障害物を認識しているものと判断しうるので、表示終了処理（ステップＳ２０４）に進む。
【００４３】
一方、ステップＳ２０１およびステップＳ２０２の何れでも条件に当てはまらない場合（ステップＳ２０１，Ｓ２０２：Ｎ）、制御部１３の処理は、ステップＳ２０３に進む。ステップＳ２０３において、運転者５が障害物を回避する動作を行ったことにより、または、移動体３０または障害物が進路変更、移動停止等を行ったことにより、障害物が回避された場合（ステップＳ２０３：Ｙ）、制御部１３は表示終了処理（ステップＳ２０４）に進む。制御部１３は、障害物が回避されたことを、第２取得部１２からの第３情報から判断しうる。例えば、被検出物として検出されなくなり第３情報に含まれなくなった障害物は、回避されたものとしうる。ステップＳ２０３で障害物を回避したと認識されない場合（ステップＳ２０３：Ｎ）、制御部１３の処理はステップＳ２０１に戻る。
【００４４】
以上のように、運転者５が障害物を認識したと判断される場合、または、障害物が回避されたと判断される場合の何れかの場合、表示終了処理（ステップＳ２０４）により警告表示が消灯される。なお、表示終了処理は、第２情報として得られる移動体の停止または減速などの情報を受け取ったときにも行ってよい。
【００４５】
［わき見運転、漫然運転、居眠り運転等の警告表示］
制御部１３は、取得した運転者５の注意方向に関する第１情報、移動体３０の挙動を示す第２情報、頭部の位置を示す第４情報および運転者５の運転状態を示す第５情報等から運転者５のわき見運転、漫然運転、居眠り運転等を判断しうる。例えば、第２情報である移動体３０の進行方向に対して、第１情報である運転者５の注意方向が大きくずれているとき、わき見運転と判断しうる。例えば、移動体３０の進行方向が後方（すなわち、バック）となっているにも関わらず、運転者５が前方を向いている場合も、わき見運転として扱いうる。制御部１３は、例えば第１情報の運転者５の注意方向が長時間変化しないこと、第３情報として得られる道路標識に対して注意方向が向かないこと、第５情報として得られる瞼および／または口等の動きが少ないこと等に基づいて、漫然運転状態か否かを判断しうる。制御部１３は、第５情報から得られる運転者５の瞬きの頻度、瞼の形に加え、第３情報から得られる移動体３０の加速、減速、操舵の動作等が不安定になっていること等に基づいて居眠り運転を判断しうる。
【００４６】
図８は、運転者５のわき見運転および漫然運転を検出した場合の、警告に用いられる警告表示画像６１の一例を示す図である。空間表示部１４は、運転者５の正面の空間に警告表示画像６１を表示しうる。図９は、運転者５の居眠りを検出した場合の目覚まし用の画像表示位置の一例を示す図である。空間表示部１４は、運転者５の顔の向き６２の正面に例えば扇状に広がる表示空間６３を発光させて、注意を喚起する。何れの場合も、表示を点滅させること、または、光量を徐々に増加させること等により、運転者５への認識率を向上させることができる。
【００４７】
図１０を用いて、居眠り警告表示の手順の一例を説明する。第１取得部１１は、瞬きの頻度および瞼の形等の情報を含む第５情報を取得する（ステップＳ３０１）。次に、第１取得部１１は、注意方向を示す第１情報および運転者５の頭部の位置情報を含む第４情報を取得する（ステップＳ３０２）。第１取得部１１は、第５情報と第１および第４情報を並行して取得してよく、第１および第４情報を取得した後に第５情報を取得してよい。また、別法として、第１取得部１１が、ドライバ監視カメラ２０から運転者５の頭部を含む画像を取得し、制御部１３が画像を解析して上記各情報を導出するようにしてもよい。
【００４８】
制御部１３は、第５情報から運転者５が居眠り状態にあると判断した場合、第４情報による運転者５の頭部の位置および運転者５の注意方向から、運転者５の正面に警告表示画像を表示する表示空間６３を決定する（ステップＳ３０３）。なお、運転者５が居眠り状態にあり、第１取得部１１が視線方向を取得できない場合は、移動体３０の前方または第１取得部１１で取得される顔の向きを中心として表示空間６３を決定してよい。
【００４９】
空間表示部１４は、制御部１３が決定した表示位置に警告表示画像を表示する（ステップ３０４）。これによって、運転者５が居眠り運転の状態にあるとき、空間表示装置１０は運転者５の間近に警告を表示させ、運転者５を起こすことができる。
【００５０】
次に、図１１を用いて、表示した居眠り警告表示を終了させる手順について説明する。制御部１３は、第１取得部１１が取得した第６情報から運転者５の所定動作を検出する（ステップＳ４０１）。所定動作については、図７のステップＳ２０１と同一である。運転者５が所定動作をした場合（ステップＳ４０１：Ｙ）、制御部１３は、運転者５が引き続き居眠り状態にあるか判断する（ステップＳ４０２）。運転者５が居眠りをしていない場合（ステップＳ４０２：Ｎ）、空間表示部１４は警告表示を終了する（ステップＳ４０３）。ステップＳ４０１で運転者５の所定動作を検出しない場合（ステップＳ４０１：Ｎ）、または、ステップＳ４０２で運転者５が居眠り状態にあると判断される場合（ステップＳ４０２：Ｙ）、制御部１３は再び処理をステップＳ４０１に戻し、以降の処理を繰り返す。
【００５１】
以上説明したように、本実施形態によれば、空間表示装置１０を大型化すること無く運転者５の頭部周辺空間の広い範囲に画像を表示することができる。また、運転者５の注意方向に応じて、適切な位置に画像を表示させることができるので、障害物表示、警告表示等の画像の見逃しの虞を低減し、運転者５が警告を認識する確率を高めることができる。
【００５２】
本発明を諸図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および／または修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。
【００５３】
例えば、上述した空間表示システム１の各構成要素、および／または、各機能は再配置してよい。空間表示装置１０の機能は、２つ以上の構成要素に分割して配置してよい。ドライバ監視カメラ２０、移動体センサ３１、電子制御装置３２、および周辺監視センサ３３と制御部１３との間では、情報の取得と取得した情報の分析処理を種々の分担で行うことができる。
【００５４】
空間表示システム１は、上述の例示した場合以外に種々の警告を発することが可能である。例えば、第２情報である操舵方向または方向指示器の情報から得られる移動体３０の曲がろうとする方向と、運転者５の視線方向とが異なる場合、制御部１３は空間表示部１４を制御して、運転者５に曲がろうとする方向を見るように促すことができる。また、移動体３０の進行方向が前進であるにも関わらず、運転者５が後ろを振り返っている場合、トランスミッションのギアの入れ間違いの可能性があるので、運転者５に対して警告をすることができる。その他、第２情報である移動体センサ３１または移動体３０の電子制御装置３２から得られる情報と、第１情報から得られる運転者５の注意方向との不一致がある場合に、制御部１３は空間表示部１４により運転者５に種々の警告用の画像を表示できる。
【００５５】
また、制御部１３は、第３情報として得られる車両周辺の交通標識に示される制限速度と、第２情報に含まれる移動体３０の速度情報とを比較してよい。移動体３０の速度が制限速度を超過していると判断される場合、制御部１３は、運転者５の注意方向と当該交通標識との間の視認域に、速度超過の警告を示す画像を表示しうる。また、制御部１３は、赤信号が接近しているにも関わらず、運転者５がわき見をしている場合、運転者５の視認域内に赤信号がある旨の警告を表示しうる。その他、第３情報として得られる車両周辺の情報から警告が必要な場合、制御部１３は空間表示部１４により運転者５の視認域内の適宜な位置に警告を表示しうる。
【００５６】
制御部１３は、上記に関わらず、第１情報から第５情報を種々の方法で組み合わせて、表示する画像および空間中の表示位置の判定に用いることが可能である。
【符号の説明】
【００５７】
１    空間表示システム
５    運転者
１０    空間表示装置
１０ａ    空間表示装置（本体部）
１１    第１取得部
１２    第２取得部
１３    制御部（プロセッサ）
１４    空間表示部
２０    ドライバ監視カメラ（撮像装置）
３０    移動体
３１    移動体センサ
３２    電子制御装置
３３    周辺監視センサ
４０    障害物表示画像
４１    障害物識別画像
４２、４２ａ−４２ｉ    方向表示画像
５１    進行方向
５２    障害物
５３    障害物の進行方向
５４    障害物の方向
５５    注意方向
５６    視認域
５７    警告表示領域
６１    警告表示画像
６２    顔の向き
６３    表示領域
【図１】
2018169481.tif 000003
【図２】
2018169481.tif 000004
【図３】
2018169481.tif 000005
【図４】
2018169481.tif 000006
【図５】
2018169481.tif 000007
【図６】
2018169481.tif 000008
【図７】
2018169481.tif 000009
【図８】
2018169481.tif 000010
【図９】
2018169481.tif 000011
【図１０】
2018169481.tif 000012
【図１１】
2018169481.tif 000013