(57)【要約】【課題】運転者が車両の周辺環境の状況を直感的に把握することができる運転支援装置、運転支援システム、運転支援方法およびプログラムを提供する。【解決手段】運転支援装置は、メモリと、ハードウェアを有するプロセッサと、を備え、このプロセッサは、車室内の運転者の視線に基づいて、前記車室内において仮想的に表示する画像であって、車両の周辺を撮像した画像データに対応する画像の表示位置および表示内容を設定して画像とともに出力する。【選択図】図１
2020080485.tif 000002
【特許請求の範囲】
【請求項１】
メモリと、
ハードウェアを有するプロセッサと、
を備え、
前記プロセッサは、
運転者の視線に関する視線情報および車両の周辺を撮像した画像データをそれぞれ取得し、
前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する、
運転支援装置。
【請求項２】
請求項１に記載の運転支援装置であって、
前記プロセッサは、
前記視線情報に基づいて、前記運転者の視線の向きが前記車両のルーフとフロントウィンドウの境界より上方であるか否かを判定し、
前記運転者の視線の向きが前記上方であると判定した場合、前記画像に基づいて、前記車両を俯瞰した仮想的な俯瞰画像であって、前記ルーフに表示するための俯瞰画像を生成して出力する、
運転支援装置。
【請求項３】
請求項２に記載の運転支援装置であって、
前記プロセッサは、
前記俯瞰画像を前記車両の車輪を含む情報に基づいて定まる基準面と平行な面であって、前記車両における所定の基準位置を通る面と前記視線の向きとが交差する位置へオフセットして出力する、
運転支援装置。
【請求項４】
請求項３に記載の運転支援装置であって、
前記プロセッサは、
前記俯瞰画像の含まれる前記基準位置を中心に所定の角度で回転して出力する、
運転支援装置。
【請求項５】
請求項４に記載の運転支援装置であって、
前記プロセッサは、
少なくとも前記俯瞰画像における前記車両における車室内から視て内装部品が写る領域を切り取るトリミング処理を行って出力する、
運転支援装置。
【請求項６】
請求項１に記載の運転支援装置であって、
前記プロセッサは、
前記視線情報に基づいて、前記運転者の視線の向きが前記車両内のフロントウィンドウ上方の中央であるか否かを判定し、
前記運転者の視線の向きが前記車両内のフロントウィンドウの上方の中央であると判定した場合、前記画像に基づいて、前記車両の背面から後方を撮像した後方画像であって、前記フロントウィンドウの中央の上方に表示するための後方画像を生成して出力する、
運転支援装置。
【請求項７】
請求項６に記載の運転支援装置であって、
前記プロセッサは、
前記車両の車速に関する車速情報を取得し、
前記車速情報に基づいて、前記車両が停止しているか否かを判定し、
前記車両が停止している場合、前記後方画像を前記フロントウィンドウ領域に相当する大きさに拡大して出力する、
運転支援装置。
【請求項８】
請求項１に記載の運転支援装置であって、
前記プロセッサは、
前記視線情報に基づいて、前記運転者の視線の向きが前記車両の側方であるか否かを判定し、
前記運転者の視線の向きが前記車両の側方である場合、前記画像に基づいて、前記車両の側方から後方を撮像した側方画像であって、サイドミラーに対応する位置、フェンダーミラーに対応する位置およびフロントウィンドウの上方の左右の位置のいずれか１つ以上に表示するための側方画像を生成して出力する、
運転支援装置。
【請求項９】
請求項８に記載の運転支援装置であって、
前記プロセッサは、
前記運転者の視線の向きが運転席から遠ざかる側の前記側方である場合、前記側方画像の表示タイミングを前記運転席から近い側の前記側方の表示タイミングと比して早くする、
運転支援装置。
【請求項１０】
請求項９に記載の運転支援装置であって、
前記プロセッサは、
前記運転者の視線の向きが運転席から遠ざかる側の前記側方である場合、前記側方画像を前記運転席から近い側の前記側方よりも拡大した拡大画像を生成して出力する、
運転支援装置。
【請求項１１】
請求項２に記載の運転支援装置であって、
前記プロセッサは、
前記運転者の視線の向きが前記上方であると判定した後にフロントウィンドウ近傍を見た場合、前記画像に基づいて、前記車両を上方から俯瞰した仮想的な俯瞰画像であって、前記ルーフもしくはフロントウィンドウに表示するための俯瞰画像を生成して出力する、
運転支援装置。
【請求項１２】
請求項１〜１１のいずれか一つに記載の運転支援装置と、
当該運転支援装置と双方向に通信可能であり、視野領域の光を透過しつつ、該視野領域に前記画像を仮想的に表示可能なウェアラブル装置と、
を備え、
前記ウェアラブル装置は、前記視線情報を検出する視線センサを備え、
前記プロセッサは、
前記視線情報に基づいて、前記ウェアラブル装置における前記画像の表示位置および前記表示内容を設定して前記画像とともに前記ウェアラブル装置に出力する、
運転支援システム。
【請求項１３】
運転支援装置が実行する運転支援方法であって、
運転者の視線に関する視線情報および車両の周辺を撮像した画像データをそれぞれ取得し、
メモリから読み出した前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する、
運転支援方法。
【請求項１４】
運転支援装置に実行させるプログラムであって、
運転者の視線に関する視線情報および車両の周辺を撮像した画像データを取得し、
前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置、運転支援システム、運転支援方法およびプログラムに関する。
【背景技術】
【０００２】
車両のインナーミラーやアウターミラー等の代わりに電子ミラーを設ける技術が知られている（例えば特許文献１参照）。電子ミラーは、車両に搭載した撮像装置が撮像した画像を用いて生成される仮想的な鏡像を液晶等のディスプレイによって表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−２２９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、高速大容量通信の発展に伴って、車車間通信や路車間通信等により大量の情報を取得できる車両が製造されるようになってきている。このような状況下では、車両が通信によって取得した情報をもとに、車両の周辺環境に関する多様な情報を運転者に対して直感的に把握させることが可能になると期待される。
【０００５】
本発明は、上記に鑑みてなされたものであって、運転者が車両の周辺環境を直感的に把握することができる運転支援装置、運転支援システム、運転支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る運転支援装置は、メモリと、ハードウェアを有するプロセッサと、を備え、前記プロセッサは、運転者の視線に関する視線情報および車両の周辺を撮像した画像データをそれぞれ取得し、前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する。
【０００７】
また、前記プロセッサは、前記視線情報に基づいて、前記運転者の視線の向きが前記車両のルーフとフロントウィンドウの境界より上方であるか否かを判定し、前記運転者の視線の向きが前記上方であると判定した場合、前記画像に基づいて、前記車両を俯瞰した仮想的な俯瞰画像であって、前記ルーフに表示するための俯瞰画像を生成して出力してもよい。
【０００８】
これによれば、運転者が車両の周辺環境を直感的に把握することができるうえ、視認性が高いため、危険回避を容易に行うことができる。
【０００９】
また、前記プロセッサは、前記俯瞰画像を前記車両の車輪を含む情報に基づいて定まる基準面と平行な面であって、前記車両における所定の基準位置を通る面と前記視線の向きとが交差する位置へオフセットして出力してもよい。
【００１０】
これによれば、運転者が無理な姿勢を取ることなく、俯瞰画像を容易に確認することができるうえ、運転者の首に掛かる負担を軽減することができる。
【００１１】
また、前記プロセッサは、前記俯瞰画像の含まれる前記基準位置を中心に所定の角度で回転して出力してもよい。
【００１２】
これによれば、運転者が車両の周辺環境を容易に把握することができる。
【００１３】
また、前記プロセッサは、少なくとも前記俯瞰画像における前記車両における車室内から視て内装部品が写る領域を切り取るトリミング処理を行って出力してもよい。
【００１４】
これによれば、ルーフ等の遮蔽物によって遮蔽物より距離が遠い領域を隠してしまうオクルージョンの状態が発生することを防止することができるので、運転者が俯瞰画像の遠近感に違和感を生じさせなく済む。
【００１５】
また、前記プロセッサは、前記視線情報に基づいて、前記運転者の視線の向きが前記車両内のフロントウィンドウ上方の中央であるか否かを判定し、前記運転者の視線の向きが前記車両内のフロントウィンドウの上方の中央であると判定した場合、前記画像に基づいて、前記車両の背面から後方を撮像した後方画像であって、前記フロントウィンドウの中央の上方に表示するための後方画像を生成して出力してもよい。
【００１６】
これによれば、車両からルームミラーを省略または小型化を図ることができるので、運転者の視野が広くなり、安全性を高めることができる。
【００１７】
また、前記プロセッサは、前記車両の車速に関する車速情報を取得し、前記車速情報に基づいて、前記車両が停止しているか否かを判定し、前記車両が停止している場合、前記後方画像を前記フロントウィンドウ領域に相当する大きさに拡大して出力してもよい。
【００１８】
これによれば、運転者が安全確認を容易にすることができるので、車両の後方の見落としを防止することができる。
【００１９】
また、前記プロセッサは、前記視線情報に基づいて、前記運転者の視線の向きが前記車両の側方であるか否かを判定し、前記運転者の視線の向きが前記車両の側方である場合、前記画像に基づいて、前記車両の側方から後方を撮像した側方画像であって、サイドミラーに対応する位置、フェンダーミラーに対応する位置およびフロントウィンドウの上方の左右の位置のいずれか１つ以上に表示するための側方画像を生成して出力してもよい。
【００２０】
これによれば、従来のインナーミラーの位置と同じため、運転者に違和感を生じさせることなく、車両の側方の後方を確認することができる。
【００２１】
また、前記プロセッサは、前記運転者の視線の向きが運転席から遠ざかる側の前記側方である場合、前記側方画像の表示タイミングを前記運転席から近い側の前記側方の表示タイミングと比して早くしてもよい。
【００２２】
これによれば、運転者が視線の向きを遠い側の側方に移した場合であっても、運転者に違和感を生じさせることなく、車両の側方の後方を確認することができる。
【００２３】
また、前記プロセッサは、前記運転者の視線の向きが運転席から遠ざかる側の前記側方である場合、前記側方画像を前記運転席から近い側の前記側方よりも拡大した拡大画像を生成して出力してもよい。
【００２４】
これによれば、運転席から遠い側方に視線を向けた場合であっても、運転者が容易に車両の側方の後方を確認することができる。
【００２５】
また、本発明に係る運転支援システムは、上記の運転支援装置と、当該運転支援装置と双方向に通信可能であり、視野領域の光を透過しつつ、該視野領域に前記画像を仮想的に表示可能なウェアラブル装置と、を備え、前記ウェアラブル装置は、前記視線情報を検出する視線センサを備え、前記プロセッサは、前記視線情報に基づいて、前記ウェアラブル装置における前記画像の表示位置および前記表示内容を設定して前記画像とともに前記ウェアラブル装置に出力する。
【００２６】
これによれば、視線の向きに応じた内容の画像が表示されるので、運転者が直感的に把握することができる。
【００２７】
また、本発明に係る運転支援方法は、運転者の視線に関する視線情報および車両の周辺を撮像した画像データをそれぞれ取得し、メモリから読み出した前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する。
【００２８】
また、本発明に係るプログラムは、運転者の視線に関する視線情報および車両の周辺を撮像した画像データを取得し、前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する。
【発明の効果】
【００２９】
本発明によれば、プロセッサが運転者の視線に関する視線情報に基づいて、車両の周辺を撮像した画像データを用いて生成される画像の表示位置および表示内容を設定して画像ともに出力することによって、運転者の視線を向けた位置に応じた内容の画像を運転者に提示することができるので、運転者が車両の周辺環境を直感的に把握することができるという効果を奏する。
【図面の簡単な説明】
【００３０】
【図１】図１は、実施の形態１に係る車両に搭載された運転支援装置の機能構成を示すブロック図である。
【図２】図２は、実施の形態１に係る運転支援装置が実行する処理の概要を示すフローチャートである。
【図３】図３は、トップビュー表示の一例を模式的に示す図である。
【図４】図４は、俯瞰画像の表示領域を説明する模式図である。
【図５】図５は、俯瞰画像のオフセットを説明する模式図である。
【図６Ａ】図６Ａは、俯瞰画像の別の一例を説明する模式図である。
【図６Ｂ】図６Ｂは、車両の部位名称に示す図である。
【図６Ｃ】図６Ｃは、車両の部位名称に示す図である。
【図７】図７は、バックビュー表示の表示位置を説明する模式図である。
【図８】図８は、バックビュー表示の後方画像の一例を示す模式図である。
【図９】図９は、拡大したバックビュー表示の表示位置を説明する模式図である。
【図１０】図１０は、サイドビュー表示の表示位置を説明する模式図である。
【図１１Ａ】図１１Ａは、サイドビュー表示の側方画像の一例を示す模式図である。
【図１１Ｂ】図１１Ｂは、サイドビュー表示の側方画像の一例を示す模式図である。
【図１２】図１２は、サイドビュー表示の別の表示位置を説明する模式図である。
【図１３】図１３は、サイドビュー表示の別の表示位置を説明する模式図である。
【図１４】図１４は、トップビュー表示の一例を上方から模式的に示す図である。
【図１５】図１５は、トップビュー表示の画像の一例を示す模式図である。
【図１６】図１６は、実施の形態２に係るウェアラブル装置の概略構成を示す図である。
【図１７】図１７は、実施の形態２に係る運転支援装置とウェアラブル装置を備える運転支援システムの機能構成を示すブロック図である。
【図１８】図１８は、実施の形態２に係る運転支援装置が実行する処理の概要を示すフローチャートである。
【図１９】図１９は、実施の形態２に係る別のウェアラブル装置の概略構成を示す図である。
【図２０】図２０は、実施の形態２に係る別のウェアラブル装置の概略構成を示す図である。
【図２１】図２１は、実施の形態２に係る別のウェアラブル装置の概略構成を示す図である。
【図２２】図２２は、実施の形態２に係る別のウェアラブル装置の概略構成を示す図である。
【図２３】図２３は、実施の形態３に係る運転支援システムの概要を示す模式図である。
【発明を実施するための形態】
【００３１】
以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものでない。また、以下において、同一の部分には同一の符号を付して説明する。
【００３２】
（実施の形態１）
〔運転支援装置の構成〕
図１は、実施の形態１に係る車両に搭載される運転支援装置の機能構成を示すブロック図である。図１に示す運転支援装置１は、車両に搭載され、この車両に搭載された他のＥＣＵ（Electronic  Control  Unit）と連携しながら車両内の運転者に対して運転を支援する。図１に示す運転支援装置１は、イグニッションスイッチ１０（以下、「ＩＧスイッチ１０」という）と、車速センサ１１と、撮像装置１２と、視線センサ１３と、通信部１４と、表示部１５と、ＥＣＵ（Electronic  Control  Unit）１６等と、を備える。
【００３３】
ＩＧスイッチ１０は、エンジンやモータ等の電気系統の始動および停止を受け付ける。ＩＧスイッチ１０は、オン状態となった場合、ＩＧ電源を始動させ、オフ状態となった場合、ＩＧ電源を停止させる。
【００３４】
車速センサ１１は、車両の走行時における車速を検出し、この検出結果をＥＣＵ１６へ出力する。
【００３５】
撮像装置１２は、車両の外部に複数、例えば撮像画角が３６０°となるように少なくとも前方、後方および両側方の４箇所に設けられる。撮像装置１２は、ＥＣＵ１６の制御のもと、車両の周辺を撮像することによって画像データを生成し、この画像データをＥＣＵ１６へ出力する。撮像装置１２は、１または複数のレンズで構成された光学系と、この光学系が集光した被写体像を受光することによって画像データを生成するＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を用いて構成される。
【００３６】
視線センサ１３は、運転者の視線を検出し、この検出結果をＥＣＵ１６へ出力する。視線センサ１３は、光学系と、ＣＣＤまたはＣＭＯＳと、メモリと、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等のハードウェアを有するプロセッサを用いて構成される。視線センサ１３は、例えば周知のテンプレートマッチングを用いて運転者の目の動かない部分を基準点（例えば目頭）として検出し、かつ、目の動く部分（例えば虹彩）を動点として検出し、この基準点と動点との位置関係に基づいて運転者の視線を検出する。なお、実施の形態１では、視線センサ１３を可視カメラによって運転者の視線を検出しているが、これに限定されることなく、赤外カメラによって運転者の視線を検出してもよい。視線センサ１３を赤外カメラによって構成する場合、赤外ＬＥＤ（Light  Emitting  Diode）等によって赤外光を運転者に照射し、赤外カメラで運転者を撮像することによって生成された画像データから基準点（例えば角膜反射）および動点（例えば瞳孔）を検出し、この基準点と動点との位置関係に基づいて運転者の視線を検出する。
【００３７】
通信部１４は、ＥＣＵ１６の制御のもと、基地局およびネットワークを介して所定の通信規格に従って各種情報を図示しないサーバへ送信するとともに、サーバから各種情報を受信する。また、通信部１４は、図示しないウェアラブル装置、他の車両またはユーザ端末装置等に対して所定の通信規格に従って各種情報を送信するとともに、各種情報をウェアラブル装置、他の車両またはユーザ端末装置等から受信する。通信部１４は、無線通信可能な通信モジュールを用いて構成される。
【００３８】
表示部１５は、車両の車室内、例えばルーフ、フロントウィンドウおよびサイドウィンドウ等に複数設けられ、ＥＣＵ１６の制御のもと、画像、映像および文字情報を車室内に表示または投影することによって表示する。表示部１５は、例えばＨＵＤ（Head-UP  Display）や車両のルーフに設けられた表示ディスプレイ等を用いて構成される。具体的には、表示部１５は、画像を投影する有機ＥＬ（Electro  Luminescence）や液晶等の表示パネルを有する画像表示機と、この画像表示機から投影された画像が中間像として結像される拡散板と、拡散板で結像された中間像を拡大してルーフ、フロントウィンドウおよびサイドウィンドウ等に投影する拡大鏡等を用いて構成される。
【００３９】
ＥＣＵ１６は、運転支援装置１を構成する各部の動作を制御する。ＥＣＵ１６は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。ＥＣＵ１６は、視線センサ１３から取得した運転者の視線に関する視線情報に基づいて、画像データを用いて生成される画像の表示位置および表示内容を設定して画像とともに出力する。具体的には、ＥＣＵ１６は、視線センサ１３が検出した運転者の視線の向きに基づいて、表示部１５に表示させる画像であって、撮像装置１２から取得した画像データに対応する画像の表示位置および表示内容を制御して出力する。なお、実施の形態１では、ＥＣＵ１６がプロセッサとして機能する。
【００４０】
〔運転支援装置の処理〕
次に、運転支援装置１が実行する処理について説明する。図２は、運転支援装置１が実行する処理の概要を示すフローチャートである。
【００４１】
図２に示すように、まず、ＥＣＵ１６は、視線センサ１３が検出した運転者の視線に関する視線情報、撮像装置１２が生成した画像データおよび車速センサ１１が検出した車両の車速情報を取得する（ステップＳ１０１）。
【００４２】
続いて、ＥＣＵ１６が視線センサ１３から取得した視線情報に基づいて、運転者の視線の向きが車両のフロントウィンドウとルーフとの境界より斜め上方であり（ステップＳ１０２：Ｙｅｓ）、ルーフであると判定した場合（ステップＳ１０３：Ｙｅｓ）、運転支援装置１は、ステップＳ１０４へ移行する。
【００４３】
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、車両を俯瞰した仮想的な俯瞰画像であって、車両のルーフに表示するための俯瞰画像を生成して表示部１５に出力することによって、表示部１５に俯瞰画像を車両のルーフに表示させるトップビュー表示を行う（ステップＳ１０４）。具体的には、ＥＣＵ１６は、図３に示すように、車両１００のルーフ１０１に表示するための俯瞰画像Ｐ１を表示部１５に表示させる。この場合、ＥＣＵ１６は、撮像装置１２が車両１００の上方から撮像した画像データに対応する実画像に対して、実画像の中心を通過して実画像と直交する軸周りに１８０°回転させた後に、車両１００の前後方向に対して左右反転処理および車両１００と運転者との距離間を調整するリサイズ処理等を行うことによって仮想的な俯瞰画像Ｐ１を生成し、この俯瞰画像Ｐ１を表示部１５に出力する。ここで、俯瞰画像Ｐ１には、車両１００の車輪の位置等によって定まる基準面と平行な対称面に対して車両１００の鏡像対象な像が含まれる。表示部１５は、ＥＣＵ１６の制御のもと、ＥＣＵ１６から入力された俯瞰画像Ｐ１を車両のルーフに向けて表示する。これにより、運転者は、ルーフ１０１に俯瞰画像Ｐ１が表示されるため、車両１００の周辺環境の状況を直感的に把握することができる。さらに、運転者は、俯瞰画像Ｐ１がルーフ１０１に表示されるため、車両１００の周辺に位置する対象物までの距離を把握し易いので、危険回避を容易に行うことができる。なお、ＥＣＵ１６は、俯瞰画像Ｐ１に対して左右反転処理を行うことなく、表示部１５へ出力してもよい。ステップＳ１０４の後、運転支援装置１は、ステップＳ１０５へ移行する。
【００４４】
ステップＳ１０４において、ＥＣＵ１６は、俯瞰画像Ｐ１が所定の表示範囲内で表示されるように表示部１５を制御してもよい。図４は、俯瞰画像Ｐ１の表示領域を説明する模式図である。図４において、車両１００の車輪の位置等によって定まる基準面Ｈ１とする。さらに、図４において、運転者Ｕ１の視線の角度を、運転者Ｕ１が運転席１０２に着座した状態で基準面と平行な方向を見ているときの視線方向を０°とする仰角を用いて説明する。なお、図４において、仰角は、運転者Ｕ１が０°の方向より上を向いているときの角度（図４で０°から反時計回りした角度）を正として説明する。
【００４５】
図４に示すように、ＥＣＵ１６は、俯瞰画像Ｐ１をルーフ１０１に表示させる際に、ルーフ１０１の全体に表示させなくてもよく、仰角が所定の角度範囲（θ１〜θ２）である領域に制御して表示部１５に表示させてもよい。ここで、角度θ１は、運転者Ｕ１の視線方向がルーフ１０１とフロントウィンドウＷ１との境界を通過するときの角度であり、車両の種類に応じて定まる角度である。また、角度θ２は、運転者Ｕ１が首を最も上向きにし、かつ視線を最も上向きにしたときの角度である。一般に、人間の首は、５０°程度上向きにすることができ、視線は、まっすぐな方向に対して６０°程度上に向けることができると考えられる。従って、この想定のもとでの角度θ２は、１１０°程度である。
【００４６】
また、ステップＳ１０４において、ＥＣＵ１６は、俯瞰画像Ｐ１を基準面Ｈ１と平行な面であって、車両１００における所定の基準位置を通る面と運転者Ｕ１の視線の向きとが交差する位置へオフセットして表示されるように表示部１５を制御してもよい。図５は、俯瞰画像Ｐ１のオフセットを説明する模式図である。
【００４７】
図５に示すように、ＥＣＵ１６は、基準面Ｈ１と平行な対称面Ｈ２に対して車両１００の鏡像対象な像１００Ａ（俯瞰画像Ｐ１）を前方にオフセットさせて表示部１５に表示させる。オフセット量Ｄ１は、オフセット後の俯瞰画像Ｐ１が上述した仰角の角度範囲θ１〜θ２に含まれることが条件である。即ち、ＥＣＵ１６は、像１００Ａが写る俯瞰画像を像１００Ａにおける所定の基準位置Ａ１を通る面Ｈ３と視線Ｌ１の向きとが交差する位置Ａ２へオフセットして表示部１５に出力する。この場合、ＥＣＵ１６は、視線センサ１３が検出した運転者Ｕ１の瞳孔の大きさに基づいて、俯瞰画像Ｐ１を拡大して表示部１５に表示させてもよい。さらに、図５に示すように、ＥＣＵ１６は、像１００Ａの基準位置Ａ１を中心に、例えば像１００Ａの前方を面Ｈ３から上に４５°回転させた像１００Ｂが写る俯瞰画像を表示部１５に出力してもよい。これにより、運転者Ｕ１は、首に掛かる負担を軽減することができるうえ、車両１００の周囲の環境をより容易に把握することができる。
【００４８】
また、図６Ａに示すように、ＥＣＵ１６は、表示部１５に撮像装置１２が車両１００の全周囲（３６０°）を撮像した円環状の俯瞰画像Ｐ１００を車両１００のルーフ１０１上に表示させてもよい。この場合において、ＥＣＵ１６は、上述したオフセット量で俯瞰画像Ｐ１００を表示部１５に表示させてもよい。このとき、ＥＣＵ１６は、少なくとも俯瞰画像Ｐ１００において、図６Ａ、図６Ｂまたは図６Ｃに示すように車両１００または車両１００’における車室内から視て内装部品が写る領域を切り取るトリミング処理を行って出力する。ここで、車室内から視て内装部品とは、図６Ｂの車両１００または図６Ｃの図の車両１００’のルーフ、ドア、フロントピラー（以下、「Ａピラー」という）、センターピラー（以下、「Ｂピラー」という）、クォータピラー（以下、「Ｃピラー」という）、リヤピラー（以下、「Ｄピラー」という）等である。即ち、ＥＣＵ１６は、少なくとも俯瞰画像Ｐ１００において、図６Ａ〜図６Ｃに示すように車両１００または車両１００’のルーフ、ドア、Ａピラー、Ｂピラー、Ｃピラー、Ｄピラー等の各々が写る領域Ｚ１，Ｚ２を切り取るトリミング処理を行い、トリミング処理を行った俯瞰画像Ｐ１００を車両１００または車両１００’のルーフに仮想的に表示部１５に表示させる。これにより、ＥＣＵ１６は、車両１００のルーフ、ドア、ＡピラーおよびＢピラー或いはＣピラー、Ｄピラー等の各々が写る領域Ｚ１，Ｚ２を切り取るトリミング処理を行うことで、ルーフ１０１等の遮蔽物より距離が遠い領域の画像が遮蔽物に隠れるオクルージョンの状態が発生するのを防止することができる。この結果、運転者Ｕ１は、俯瞰画像Ｐ１００に対する遠近感覚に違和感を生じさせなくて済む。
【００４９】
図２に戻り、ステップＳ１０５以降の説明を続ける。
ステップＳ１０５において、ＥＣＵ１６は、ＩＧスイッチ１０がオフ状態となったか否かを判定する。ＥＣＵ１６によってＩＧスイッチ１０がオフ状態であると判定された場合（ステップＳ１０５：Ｙｅｓ）、運転支援装置１は、本処理を終了する。これに対して、ＥＣＵ１６によってＩＧスイッチ１０がオフ状態でないと判定された場合（ステップＳ１０５：Ｎｏ）、運転支援装置１は、上述したステップＳ１０１へ戻る。
【００５０】
ステップＳ１０２において、ＥＣＵ１６が運転者の視線の向きが車両のフロントウィンドウとルーフとの間の斜め上方であり（ステップＳ１０２：Ｙｅｓ）、ルーフでないと判定した場合（ステップＳ１０３：Ｎｏ）、運転支援装置１は、ステップＳ１０６へ移行する。
【００５１】
続いて、ＥＣＵ１６は、車速センサ１１から取得した車速情報に基づいて、車両が走行中であるか否かを判定し（ステップＳ１０６）、ＥＣＵ１６によって車両が走行中であると判定された場合（ステップＳ１０６：Ｙｅｓ）、運転支援装置１は、ステップＳ１０７へ移行する。
【００５２】
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、表示部１５に車両の後方を撮像した後方画像を生成して表示部１５に出力することによって、表示部１５にフロントウィンドウ中央の上部に対応する位置に後方画像を投影させて表示させるバックビュー表示を行う（ステップＳ１０７）。具体的には、図７および図８に示すように、ＥＣＵ１６は、表示部１５に撮像装置１２が車両１００の後方を撮影した画像データに対応する後方画像Ｐ２を、フロントウィンドウＷ１中央の上部に対応する位置Ｍ１、例えば従来のバックミラーや電子ミラーが配置された領域に対応する位置に投影させるバックビュー表示を行う。この場合、ＥＣＵ１６は、撮像装置１２が車両１００の後方を撮影した画像データに対応する画像に対して、周知の左右反転処理および距離間を調整するリサイズ処理等を行った後方画像Ｐ２を表示部１５に出力する。これにより、運転者Ｕ１は、違和感なく後方画像Ｐ２を直感的に把握することができる。さらに、車両１００からルームミラーを省略または小型化が図ることができるので、運転者は、運転時の視野が広くなり、安全性を高めることができる。ステップＳ１０７の後、運転支援装置１は、ステップＳ１０５へ移行する。
【００５３】
ステップＳ１０６において、ＥＣＵ１６によって車両が走行中でないと判定された場合（ステップＳ１０６：Ｎｏ）、運転支援装置１は、ステップＳ１０８へ移行する。
【００５４】
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、車両の後方を撮像した後方画像Ｐ２をフロントウィンドウ領域に相当する大きさに拡大した拡大画像を表示部１５に出力することによって、表示部１５に拡大画像を投影させる拡大バックビュー表示を行う（ステップＳ１０８）。具体的には、図９に示すように、ＥＣＵ１６は、車両１００の後方を撮像した後方画像Ｐ２をフロントウィンドウＷ１領域に相当する位置Ｍ２に拡大した拡大画像を表示部１５に出力する。この場合、表示部１５は、ＥＣＵ１６の制御のもと、拡大画像をフロントウィンドウＷ１領域に相当する位置に拡大して投影する拡大バックビュー表示を行う。これにより、運転者Ｕ１は、車両の走行時に比べて車両の後方の死角を容易に把握することができる。この場合、ＥＣＵ１６は、車両の走行中よりも撮像装置１２の画角を広角側に変更させた状態で撮像装置１２に車両の後方を撮像させてもよい。さらに、ＥＣＵ１６は、拡大画像上に、撮像装置１２が車両の側方の後方を撮像した側方画像を重畳して表示部１５に表示させてもよい。ステップＳ１０８の後、運転支援装置１は、ステップＳ１０５へ移行する。
【００５５】
ステップＳ１０２において、ＥＣＵ１６によって運転者の視線の向きが車両の斜め上方でなく（ステップＳ１０２：Ｎｏ）、車両の側方であると判定された場合（ステップＳ１０９：Ｙｅｓ）、運転支援装置１は、ステップＳ１１０へ移行する。ここで、車両の側方とは、車両のサイドウィンドウ、従来のサイドミラーに相当する位置および車両のＡピラーのサイドウィンドウ側のいずれか１つである。
【００５６】
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、表示部１５に車両の側方後方を撮像した側方画像を生成して表示部１５へ出力することによって、表示部１５に、従来のサイドミラーが配置された領域に対応する位置に投影させるサイドビュー表示を行う（ステップＳ１１０）。具体的には、図１０および図１１Ａに示すように、ＥＣＵ１６は、運転者の視線の向きが運転席から遠い側のサイドウィンドウＷＬ１である場合、表示部１５に従来の左サイドミラーが配置された領域に対応する位置ＭＬ１に撮像装置１２が車両１００の左側後方を撮像した画像データに対応する側方画像Ｐ３を投影させて表示するサイドビュー表示を行う。この場合、ＥＣＵ１６は、撮像装置１２が車両１００の左側後方を撮像した画像データに対応する画像に対して周知の左右反転処理および距離間を調整するリサイズ処理等を行った側方画像Ｐ３を表示部１５に出力する。また、ＥＣＵ１６は、運転者の視線の向きが運転席から近い側のサイドウィンドウＷＲ１である場合、表示部１５に従来の右サイドミラーが配置された領域に対応する位置ＭＲ１に側方画像Ｐ３を表示部１５に投影させて表示するサイドビュー表示を行う。この場合において、ＥＣＵ１６は、運転者の視線の向きが運転席から遠い側のサイドウィンドウＷＬ１であるとき、側方画像Ｐ３の表示タイミングを運転席から近い側のサイドウィンドウＷＲ１の表示タイミングと比して早く表示部１５に表示させてもよい。これにより、運転者は、サイドウィンドウ間で視線の向きを移動させた場合であっても、ＥＣＵ１６が側方画像Ｐ３の表示タイミングを運転席から近い側のサイドウィンドウＷＲ１の表示タイミングと比して早く表示部１５に表示させるので、違和感なく両側方の後方を確認しながら運転することができる。ステップＳ１１０の後、運転支援装置１は、ステップＳ１０５へ移行する。
【００５７】
また、ステップＳ１１０において、ＥＣＵ１６は、運転者の視線の向きが運転席から遠い側のサイドウィンドウＷＬ１である場合、運転席から近い側のサイドウィンドウＷＲ１の側方画像Ｐ３よりも拡大した側方画像Ｐ３を表示部１５に出力することによって、表示部１５に拡大した側方画像Ｐ３を投影させて表示させるサイドビュー表示を行ってもよい。これにより、運転者は、視線の向きを左右で瞬時に切り替えた場合であっても、違和感なく両側方の側方画像を確認することができる。このとき、ＥＣＵ１６は、運転者の視線の向きの滞留時間に応じて、側方画像Ｐ３を徐々に拡大して表示部１５に出力してもよい。
【００５８】
また、図１１Ｂまたは図１２に示すように、ＥＣＵ１６は、運転者の視線の向きがフロントウィンドウＷ１の上方の左右またはＡピラー１０３方向である場合、側方画像Ｐ３を表示部１５に出力することによって、表示部１５にフロントウィンドウＷ１上方の位置ＭＬ４，ＭＲ４に側方画像Ｐ３や側方画像Ｐ４を投影させて表示させるサイドビュー表示を行ってもよい。これにより、運転者Ｕ１は、運転中における視線の移動量を小さくすることができる。また、ピラーレス表示には、側方画像Ｐ３がフロントウィンドウＷ１寄りであっても良い。
【００５９】
また、図１３に示すように、ＥＣＵ１６は、運転者の視線の向きがサイドウィンドウＷＬ１，ＷＲ１またはフロントウィンドウＷ１において従来のフェンダーミラーが配置された領域に対応する位置ＭＬ５，ＭＲ５である場合、表示部１５に側方画像Ｐ３を出力することによって、表示部１５にサイドウィンドウＷＬ１，ＷＲ１またはフロントウィンドウＷ１の位置ＭＬ５，ＭＲ５に側方画像Ｐ３を投影させて表示させるサイドビュー表示を行ってもよい。これにより、運転者Ｕ１は、運転中における視線の移動量を小さくすることができる。
【００６０】
また、ＥＣＵ１６は、車速センサ１１から取得した車両の車速情報に基づいて、表示部１５に表示させる側方画像Ｐ３の表示タイミングを変更してもよい。例えば、ＥＣＵ１６は、車両の車速が早いほど、表示部１５が側方画像Ｐ３を表示する表示タイミングを早くするように制御してもよい。
【００６１】
ステップＳ１０９において、ＥＣＵ１６によって運転者の視線が側方でないと判定された場合（ステップＳ１０９：Ｎｏ）、運転支援装置１は、ステップＳ１０５へ移行する。
【００６２】
以上説明した実施の形態１によれば、ＥＣＵ１６が運転者の視線に関する視線情報に基づいて、画像データを用いて生成される画像の表示位置および表示内容を設定して画像とともに出力するので、運転者の視線を向けた位置に、この位置に応じた内容の画像を表示することができるので、運転者が車両の周辺環境を直感的に把握することができる。
【００６３】
また、実施の形態１によれば、運転者の視線の向きが車両のルーフとフロントウィンドウとの間の斜め上方である場合、ＥＣＵ１６が車両の周辺を撮像した画像データに対応する画像に基づいて、車両を俯瞰した仮想的な俯瞰画像Ｐ１であって、ルーフに表示するための俯瞰画像Ｐ１を生成して表示部１５へ出力するので、運転者が車両の周辺環境を直感的に把握することができるうえ、車両の周辺に位置する対象物までの距離を把握し易いので、危険回避を容易に行うことができる。
【００６４】
また、実施の形態１によれば、ＥＣＵ１６が俯瞰画像Ｐ１を車両の車輪の位置によって定まる基準面と平行な面であって、車両における所定の基準位置を通る面と視線の向きとが交差する位置へオフセットして出力するので、運転者が無理な姿勢を取ることなく、俯瞰画像Ｐ１を容易に確認することができるうえ、運転者の首に掛かる負担を軽減することができる。
【００６５】
また、実施の形態１によれば、ＥＣＵ１６が俯瞰画像Ｐ１を車両における所定の基準位置を中心に所定の角度で回転して表示部１５へ出力するので、運転者が車両の周辺環境を容易に把握することができる。
【００６６】
また、実施の形態１によれば、ＥＣＵ１６が少なくとも俯瞰画像Ｐ１における車両のルーフ、ドア、ＡピラーおよびＢピラー或いはＣピラー、Ｄピラー等の各々が写る領域を切り取るトリミング処理を行って表示部１５に出力するので、ルーフ等の遮蔽物によって遮蔽物より距離が遠い領域を隠してしまうオクルージョンの状態が発生することを防止することができるので、運転者が俯瞰画像Ｐ１の遠近感に違和感を生じさせなくて済む。
【００６７】
また、実施の形態１によれば、ＥＣＵ１６が運転者の視線が車室内の斜め上方、かつ、車室内のフロントウィンドウの中央である場合、車両の周辺を撮像した画像データに対応する画像に基づいて、フロントウィンドウの中央の上方に表示するための後方画像Ｐ２を生成して表示部１５に出力するので、車両からルームミラーを省略、またはルームミラーの小型化を図ることができる。この結果、運転者は、運転時の視野が広くなり、安全性を高めることができる。
【００６８】
また、実施の形態１によれば、車両停止している場合、ＥＣＵ１６が車両の走行時と比べて拡大した後方画像Ｐ２を拡大した拡大画像を表示部１５に出力するので、運転者が安全確認を容易にすることができるので、車両の後方の見落としを防止することができる。
【００６９】
また、実施の形態１によれば、運転者の視線の向きが車両の側方である場合、ＥＣＵ１６が従来のサイドミラーが配置された領域に対応する位置ＭＲ３，ＭＬ３、従来のフェンダーミラーが配置された領域に対応する位置ＭＲ５，ＭＬ５およびフロントウィンドウＷ１の上方の左右の位置ＭＲ４，ＭＬ４のいずれか１つ以上に表示するための側方画像Ｐ３を生成して表示部１５に出力するので、従来のインナーミラーやアウターミラーが配置された位置と同じため、運転者に違和感を生じさせることなく、車両の側方の後方を確認することができる。また、図解されていないがＡピラー１０３の箇所に表示してもよい。
【００７０】
また、実施の形態１によれば、運転者の視線が運転席から遠い側の側方である場合、ＥＣＵ１６が側方画像Ｐ３を運転席から近い側方の表示タイミングと比して早く表示部１５へ出力するので、運転者が視線の向きを運転席から遠い側の側方に移した場合であっても、運転者に違和感を生じさせることなく、車両の側方の後方を確認することができる。
【００７１】
また、実施の形態１によれば、運転者の視線の向きが運転席から遠い側の側方である場合、ＥＣＵ１６が側方画像Ｐ３の表示領域を運転席から近い側の側方よりも拡大して表示部１５へ出力するので、運転者が運転席から遠い側の側方に視線を向けた場合であっても、運転者が容易に車両の側方の後方を確認することができる。
【００７２】
なお、実施の形態１では、ＥＣＵ１６が俯瞰画像Ｐ１、後方画像Ｐ２および側方画像Ｐ３に対して周知の左右反転処理やリサイズ処理を行って表示部１５に表示させているが、左右反転処理やリサイズ処理を行うことなく俯瞰画像Ｐ１、後方画像Ｐ２および側方画像Ｐ３を表示部１５に表示させてもよい。もちろん、ＥＣＵ１６は、図示しない操作部の操作に応じて俯瞰画像Ｐ１、後方画像Ｐ２および側方画像Ｐ３に対して左右反転処理やリサイズ処理を行うか否かを切り替えてもよい。
【００７３】
また、実施の形態１では、ＥＣＵ１６が運転者の視線の向きが車両１００のルーフ１０１とフロントウィンドウＷ１の境界より上方であると判定した後にフロントウィンドウＷ１近傍（例えばルーフ１０１とフロントウィンドウＷ１との境界）を見た場合、車両の周辺を撮像した画像データに用いて生成される画像に基づいて、車両１００を上方から俯瞰した仮想的な俯瞰画像であって、ルーフ１０１もしくはフロントウィンドウＷ１に表示するための俯瞰画像を生成して出力してもよい。具体的には、図１４および図１５に示すように、ＥＣＵ１６は、運転者の視線の向きが車両１００のルーフ１０１とフロントウィンドウＷ１の境界より上方であると判定した後にフロントウィンドウＷ１近傍を見た場合、車両１００の周辺を撮像した画像データに用いて生成される画像に基づいて、車両１００を上方から俯瞰した仮想的な俯瞰画像であって、ルーフ１０１もしくはフロントウィンドウＷ１に表示するための俯瞰画像を生成して出力してもよい。具体的には、図１４および図１５に示すように、ＥＣＵ１６は、運転者の視線の向きが車両１００のルーフ１０１とフロントウィンドウＷ１の境界より上方であると判定した後にフロントウィンドウＷ１近傍を見た場合、表示部１５にルーフ１０１またはフロントウィンドウＷ１の領域ＭＢ１に、車両１００を上方から俯瞰した仮想的な俯瞰画像Ｐ５を投影させて表示させる。これにより、運転者は、ルーフ１０１またはフロントウィンドウＷ１に俯瞰画像Ｐ５が表示されるため、車両１００の周辺環境の状況を直感的に把握することができる。さらに、運転者は、俯瞰画像Ｐ５がルーフ１０１またはフロントウィンドウＷ１に表示されるため、車両１００の周辺に位置する対象物までの距離を把握し易いので、危険回避を容易に行うことができる。
【００７４】
（実施の形態２）
次に、実施の形態２について説明する。上述した実施の形態１では、表示部１５が車両内に投影することによって画像を表示させていたが、実施の形態２では、ウェアラブル装置を用いて画像を表示する。以下において、上述した実施の形態１に係る運転支援装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
【００７５】
図１６は、実施の形態２に係るウェアラブル装置の概略構成を示す図である。図１７は、実施の形態２に係る車両とウェアラブル装置を備える運転支援システムの機能構成を示すブロック図である。
【００７６】
〔運転支援装置の構成〕
まず、運転支援装置１Ａの構成について説明する。図１６に示す運転支援装置１Ａは、上述した実施の形態１に係る運転支援装置１の構成のうち視線センサ１３および表示部１５を有しない点以外は、運転支援装置１と同様の構成を有する。
【００７７】
〔ウェアラブル装置の構成〕
次に、ウェアラブル装置２の構成について説明する。図１６および図１７に示すウェアラブル装置２は、運転者が装着自在であり、拡張現実（ＡＲ）を実現可能な眼鏡型の装置である。さらに、ウェアラブル装置２は、運転者の視野領域からの光を透過しつつ、運転者の視野領域内において仮想的な画像を視認できるように運転者の網膜の画像を結像させる装置である。ウェアラブル装置２は、通信部２０と、撮像装置２１と、９軸センサ２２と、投影部２４と、制御部２５と、を備える。
【００７８】
通信部２０は、制御部２５の制御のもと、ネットワークを介して所定の通信規格に従って各種情報を運転支援装置１Ａまたはサーバへ送信するとともに、運転支援装置１Ａまたはサーバから各種情報を受信する。通信部２０は、無線通信可能な通信モジュールを用いて構成される。
【００７９】
撮像装置２１は、図１６に示すように複数設けられる。撮像装置２１は、制御部２５の制御のもと、例えば車両の車室内に撮像することによって画像データを生成し、この画像データを制御部２５へ出力する。撮像装置２１は、１または複数のレンズで構成された光学系と、この光学系が集光した被写体像を受光することによって画像データを生成するＣＣＤやＣＭＯＳ等を用いて構成される。
【００８０】
９軸センサ２２は、３軸ジャイロセンサ、３軸加速度センサおよび３軸地磁気（コンパス）センサを用いて構成される。９軸センサ２２は、ウェアラブル装置２に生じる角速度および加速度を検出し、この検出結果を制御部２５へ出力する。また、９軸センサ２２は、地磁気を検出することによって絶対方向を検出し、この検出結果を制御部２５へ出力する。
【００８１】
視線センサ２３は、ウェアラブル装置２の装着者である運転者の視線の向きを検出し、この検出結果を制御部２５へ出力する。視線センサ２３は、光学系と、ＣＣＤまたはＣＭＯＳと、メモリと、ＣＰＵやＧＰＵ等のハードウェアを有するプロセッサを用いて構成される。視線センサ２３は、例えば周知のテンプレートマッチングを用いて運転者の目の動かない部分を基準点（例えば目頭）として検出し、かつ、目の動く部分（例えば虹彩）を動点として検出し、この基準点と動点との位置関係に基づいて運転者の視線の向きを検出する。
【００８２】
投影部２４は、制御部２５の制御のもと、画像、映像および文字情報をウェアラブル装置表示部（例えばレンズ部）や運転者の網膜に向けて投影する。投影部２４は、ＲＧＢの各々のレーザ光を照射するＲＧＢレーザビーム、レーザ光を反射するＭＥＭＳミラー、ＭＥＭＳミラーから反射されたレーザ光を運転者の網膜へ投影する反射ミラー等を用いて構成される。
【００８３】
制御部２５は、ウェアラブル装置２を構成する各部の動作を制御する。制御部２５は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。制御部２５は、運転支援装置１ＡのＥＣＵ１６の制御のもと、投影部２４が投影する画像の表示内容および表示位置を制御する。例えば、制御部２５は、ＥＣＵ１６から入力された運転支援装置１Ａの撮像装置１２が車両の周辺を撮像した画像データに対応する画像の表示位置および表示内容を設定して画像とともに出力された情報に基づいて、投影部２４のＭＥＭＳミラーの反射角度を制御することによって、運転者が視認可能な画像の表示位置を制御する。なお、制御部２５は、撮像装置２１から入力される画像データに対応する画像内から車両の車室の所定の箇所、例えばルーフ、フロントウィンドウおよびサイドウィンドウに設けられたマークを検出することによって運転者の視線を検出してもよい。さらに、制御部２５は、９軸センサ２２の検出結果に基づいて、運転者の視線を検出してもよい。
【００８４】
〔運転支援装置の処理〕
次に、運転支援装置１Ａが実行する処理について説明する。図１８は、運転支援装置１Ａが実行する処理の概要を示すフローチャートである。
【００８５】
図１８に示すように、まず、ＥＣＵ１６は、通信部１４を介してウェアラブル装置２の視線センサ２３が検出した運転者の視線に関する視線情報、撮像装置１２から画像データおよび車速センサ１１が検出した車両の車速情報を取得する（ステップＳ２０１）。
【００８６】
続いて、ＥＣＵ１６によって運転者の視線の向きが車両のフロントウィンドウとルーフとの間の斜め上方であり（ステップＳ２０２：Ｙｅｓ）、ルーフであると判定された場合（ステップＳ２０３：Ｙｅｓ）、運転支援装置１Ａは、ステップＳ２０４へ移行する。
【００８７】
続いて、ＥＣＵ１６は、車両の撮像装置１２から入力された画像データに基づいて、車両を俯瞰する俯瞰画像であって、運転者の網膜上における車両のルーフに対応する位置に表示するための俯瞰画像を生成して投影部２４に出力することによって、投影部２４に俯瞰画像を投影させるトップビュー表示を行う（ステップＳ２０４）。具体的には、ＥＣＵ１６は、上述した実施の形態１と同様に、実画像の中心を通過して実画像と直交する軸周りに１８０°回転させた後に、車両の前後方向に対して左右反転処理および車両と運転者との距離間を調整するリサイズ処理等を行うことによって仮想的な俯瞰画像Ｐ１を生成して投影部２４へ出力する。この場合、投影部２４は、俯瞰画像Ｐ１を運転者の網膜上のルーフに対応する位置に向けて投影する（例えば図３を参照）。さらに、ＥＣＵ１６は、俯瞰画像Ｐ１を上述した実施の形態１と同様にオフセットや傾斜した俯瞰画像Ｐ１を投影部２４に出力することによって、投影部２４に俯瞰画像Ｐ１を運転者の網膜のルーフからオフセットした位置に向けて投影させてもよい（図５を参照）。また、ＥＣＵ１６は、俯瞰画像の車両のルーフ、ドア、ＡピラーおよびＢピラー或いはＣピラー、Ｄピラー等の各々が写る領域を切り取るトリミング処理を行い、トリミング処理を行った俯瞰画像Ｐ１００を投影部２４に出力することによって、投影部２４に俯瞰画像Ｐ１００を運転者の網膜のルーフに対応する位置に向けて投影させてもよい（図６Ａを参照）。ステップＳ２０４の後、運転支援装置１Ａは、ステップＳ２０５へ移行する。
【００８８】
続いて、ＥＣＵ１６は、ＩＧスイッチ１０がオフ状態となったか否かを判定する。ＥＣＵ１６によってＩＧスイッチ１０がオフ状態であると判定された場合（ステップＳ２０５：Ｙｅｓ）、運転支援装置１Ａは、本処理を終了する。これに対して、ＥＣＵ１６によってＩＧスイッチ１０がオフ状態でないと判定された場合（ステップＳ２０５：Ｎｏ）、運転支援装置１Ａは、上述したステップＳ２０１へ戻る。
【００８９】
ステップＳ２０２において、ＥＣＵ１６によって運転者の視線の向きが車両の斜め上方であり（ステップＳ２０２：Ｙｅｓ）、ルーフでないと判定された場合（ステップＳ２０３：Ｎｏ）において、運転支援装置１Ａは、ステップＳ２０６へ移行する。
【００９０】
続いて、ＥＣＵ１６は、車速センサ１１から取得した車速情報に基づいて、車両が走行中であるか否かを判定し（ステップＳ２０６）、ＥＣＵ１６によって車両が走行中であると判定した場合（ステップＳ２０６：Ｙｅｓ）、運転支援装置１Ａは、ステップＳ２０７へ移行する。
【００９１】
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、車両の後方を撮像した後方画像であって、運転者の網膜上におけるフロントウィンドウ中央の上部に対応する位置に投影するための後方画像を生成して投影部２４に出力することによって、投影部２４に後方画像を投影させるバックビュー表示（例えば図８を参照）を行う（ステップＳ２０７）。
【００９２】
その後、ＥＣＵ１６によって運転者の視線が側方に変化したと判定された場合（ステップＳ２０８：Ｙｅｓ）、運転支援装置１Ａは、ステップＳ２０９へ移行し、ＥＣＵ１６によって運転者の視線が側方に変化していないと判定された場合（ステップＳ２０８：Ｎｏ）、運転支援装置１Ａは、ステップＳ２０５へ移行する。
【００９３】
ステップＳ２０９において、ＥＣＵ１６は、撮像装置１２から入力される画像データに基づいて、車両の側方後方を撮像した側方画像であって、運転者の網膜上における車両のサイドウィンドウに対応する位置に投影するための側方画像を生成して投影部２４に出力することによって、投影部２４に側方画像を投影させるサイドビュー表示を行う（例えば図１１Ａを参照）。ステップＳ２０９の後、運転支援装置１Ａは、ステップＳ２０５へ移行する。
【００９４】
ステップＳ２０６において、ＥＣＵ１６によって車両が走行中でないと判定されたとき（ステップＳ２０６：Ｎｏ）、運転支援装置１Ａは、ステップＳ２１０へ移行する。
【００９５】
続いて、ＥＣＵ１６は、撮像装置１２から入力された画像データに基づいて、車両の後方を撮像した後方画像であって、運転者の網膜上におけるフロントウィンドウ領域に相当する大きさに拡大した後方画像を投影部２４に出力することによって、投影部２４に拡大した後方画像を投影させるバックビュー表示（例えば図９を参照）を行う（ステップＳ２１０）。これにより、運転者は、ウェアラブル装置２を介して自身の目で車両の後方を直接見ている感覚となるので、安全性を高めることができる。ステップＳ２１０の後、運転支援装置１Ａは、ステップＳ２０５へ移行する。
【００９６】
ステップＳ２０２において、ＥＣＵ１６によって運転者の視線の向きが車両の斜め上方でなく（ステップＳ２０２：Ｎｏ）、側方であると判定された場合（ステップＳ２１１：Ｙｅｓ）において、運転者の視線の向きが所定の位置より下方であると判定されたとき（ステップＳ２１２：Ｙｅｓ）、運転支援装置１Ａは、ステップＳ２１３へ移行する。ここで、所定の位置とは、運転者が運転席に着座した状態で基準面と平行な方向を見ているときの視線方向を０°より下方の位置である。
【００９７】
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、車両のＡピラーの直下を撮像した仮想的な直下画像であって、運転者の網膜上における従来の車両のサイドウィンドウが配置された領域に対応する位置に表示するための直下画像を生成して投影部２４へ出力することによって、投影部２４に直下画像を投影させる直下サイドビュー表示を行う（ステップＳ２１３）。これにより、運転者は、視線を下げるだけで、Ａピラーによって隠れた領域を直感的に把握することができる。ステップＳ２１３の後、運転支援装置１Ａは、ステップＳ２０５へ移行する。
【００９８】
ステップＳ２１２において、ＥＣＵ１６によって運転者の視線の向きが所定の位置より下方でないと判定されたとき（ステップＳ２１２：Ｎｏ）、運転支援装置１Ａは、ステップＳ２１４へ移行する。
【００９９】
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、車両の後方側方を撮像した側方画像であって、運転者の網膜上における従来の車両のサイドウィンドウが配置された領域に対応する位置に表示するための側方画像を投影部２４へ出力することによって、投影部２４に側方画像を投影させるサイドビュー表示（図１１Ａを参照）を行う（ステップＳ２１４）。ステップＳ２１４の後、運転支援装置１Ａは、ステップＳ２０５へ移行する。
【０１００】
ステップＳ２１１において、ＥＣＵ１６によって運転者の視線の向きが側方でないと判定された場合（ステップＳ２１１：Ｎｏ）、運転支援装置１Ａは、ステップＳ２０５へ移行する。
【０１０１】
以上説明した実施の形態２によれば、ＥＣＵ１６が運転者の視線に関する視線情報に基づいて、ウェアラブル装置２で表示される画像の表示位置および表示内容設定して画像とともにウェアラブル装置２に出力するので、運転者が直感的に把握することができる。
【０１０２】
また、実施の形態２では、ＥＣＵ１６が運転者のジェスチャーに応じて、投影部２４に投影させる画像の表示位置、表示領域および表示角度を制御してもよい。この場合、ＥＣＵ１６は、ウェアラブル装置２の撮像装置２１が生成した画像データに対応する画像に写る運転者のジェスチャー、例えば画像の拡大または縮小する指示するピンチ操作、画像の移動を指示するフリック操作やスワイプ操作を検出し、この検出結果に応じて投影部２４に投影させる画像の表示位置、表示領域および表示角度を制御する。
【０１０３】
なお、実施の形態２では、運転者が装着可能な眼鏡型のウェアラブル装置２を用いた例を説明していたが、これに限定されることなく、種々のウェアラブル装置に適用することができる。例えば図１９に示すように撮像機能を有するコンタクトレンズ型のウェアラブル装置２Ａであっても適用することができる。さらに、図２０のウェアラブル装置２Ｂまたは図２１の脳内チップ型のウェアラブル装置２Ｃのように運転者Ｕ１の脳へ直接的に伝達する装置であっても適用することができる。さらにまた、図２２のウェアラブル装置２Ｄのように、例えばバイザーを備えたヘルメット形状に構成された装置であってもよい。この場合、上述したウェアラブル装置２を身に付けた上でヘルメットを被る必要がない。
【０１０４】
また、実施の形態２では、ウェアラブル装置２が運転者の網膜に投影することによって画像を視認させていたが、例えば眼鏡等のレンズに画像を投影して表示するものであってもよい。
【０１０５】
また、実施の形態２では、ＥＣＵ１６が撮像装置１２によって生成された画像データを用いてウェアラブル装置２の投影部２４に表示させる画像の表示内容および表示位置を制御していたが、例えばウェアラブル装置２の制御部２５が通信部２０を介して撮像装置１２から画像データを取得し、取得した画像データを用いて生成される画像の表示位置および表示内容を設定して画像とともに投影部２４に出力してもよい。
【０１０６】
（実施の形態３）
次に、実施の形態３について説明する。上述した実施の形態１，２では、ＥＣＵ１６が自車に搭載された撮像装置１２から取得した画像データを用いて画像の表示位置および表示内容を設定して画像とともに出力していたが、実施の形態３では、サーバが他車やＧＰＳ衛星から取得した画像データを用いて画像の表示位置および表示内容を設定して画像とともに出力する。なお、上述した実施の形態１に係る運転支援装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
【０１０７】
図２３は、実施の形態３に係る運転支援システムの概略構成を示す模式図である。図２３に示す運転支援システム１０００は、複数の車両２００と、サーバ３００と、を備える。複数の車両２００およびサーバ３００は、基地局４００およびネットワーク５００を介して相互に情報通信可能に構成されている。また、複数の車両２００は、複数のＧＰＳ衛星６００からの信号を受信し、受信した信号に基づいて車両２００の位置を算出する。また、サーバ３００は、基地局４００およびネットワーク５００を介してＧＰＳ衛星６００から車両２００の上空を撮像して画像データを取得する。
【０１０８】
〔車両の構成〕
まず、車両２００の構成について説明する。図２３に示す車両２００は、上述した実施の形態１に係る運転支援装置１を搭載し、この運転支援装置１の構成のうち、ＥＣＵ１６が撮像装置１２から取得した画像データを用いて画像の表示位置および表示内容を設定して画像とともに出力する機能を有しない点以外は、同様の機能を有する。
【０１０９】
〔サーバの構成〕
次に、サーバ３００の構成について説明する。サーバ３００は、図２３に示すサーバ３００は、通信部３０１と、制御部３０２と、を備える。
【０１１０】
通信部３０１は、制御部３０２の制御のもと、ネットワーク５００および基地局４００を介して所定の通信規格に従って各種情報を送信するとともに、各種情報を受信する。また、通信部３０１は、制御部３３の制御のもと、各車両２００に対して所定の通信規格に従って各種情報を送信するとともに、ＧＰＳ衛星６００や各車両２００から各種情報を受信する。通信部３０１は、無線通信可能な通信モジュールを用いて構成される。
【０１１１】
制御部３０２は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。制御部３０２は、通信部３０１を介して、画像の要求があった車両２００（以下、単に「要求車両２００」という）から運転者の視線に関する視線情報および画像の要求があった要求車両２００の周辺に位置する車両２００（以下、「他車両２００」という）またはＧＰＳ衛星６００から画像データを取得する。そして、制御部３０２は、要求車両２００から取得した視線情報に基づいて、他車両２００またはＧＰＳ衛星６００から取得した画像データを用いて要求車両２００の周辺状況を仮想的に生成した画像を生成し、この生成した画像の表示位置および表示内容を設定して画像とともに要求車両２００に出力することによって、要求車両２００の表示部１５に表示させる。なお、制御部３０２は、要求車両２００から取得した視線情報に基づいて、メモリに記録された複数の画像データ群を用いて要求車両２００の周辺状況を仮想的に生成した画像を生成し、この生成した画像の表示位置および表示内容を設定して画像とともに要求車両２００に出力することによって、要求車両２００の表示部１５に表示させてもよい。また、実施の形態３では、制御部３０２がプロセッサとして機能する。
【０１１２】
以上説明した実施の形態３によれば、制御部３０２が要求車両２００の周辺状況を仮想的に生成した画像を生成し、この生成した画像の表示位置および表示内容を設定して画像とともに要求車両２００に出力することによって、要求車両２００内における運転者の視線を向けた位置に、この位置に応じた内容の画像を要求車両２００内において表示することができるので、要求車両２００の運転者が車両の周辺環境を直感的に把握することができる。
【０１１３】
（その他の実施の形態）
また、実施の形態１〜３に係る運転支援装置では、上述してきた「部」は、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。
【０１１４】
また、実施の形態１〜３に係る運転支援装置では、ＥＣＵが運転者の視線に関する視線情報および車両の周辺を撮像した画像データをそれぞれ取得し、視線情報に基づいて、画像データを用いて生成される画像の表示位置および表示内容を設定して画像とともに出力していたが、これに限定されることなく、ＥＣＵやＧＰＵ（Graphics  Processing  Unit）に代えて、ＥＣＵやＧＰＵより適したデバイス、例えばＦＰＧＡ（Field  Programmable  Gate  Array）、ＤＳＰ（Digital  Signal  Processing）およびメモリ等で構成されるデバイスが行ってもよい。
【０１１５】
また、実施の形態１〜３に係る運転支援装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１１６】
また、実施の形態１〜３に係る運転支援装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
【０１１７】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０１１８】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施の形態に限定されるものではない。従って、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１１９】
１，１Ａ  運転支援装置
２，２Ａ，２Ｂ，２Ｃ  ウェアラブル装置
１１  車速センサ
１２，２１  撮像装置
１３，２３  視線センサ
１４，２０，３０１  通信部
１５  表示部
１６  ＥＣＵ
２２  ９軸センサ
２４  投影部
２５，３０２  制御部
１００，２００  車両
１０１  ルーフ
１０３  Ａピラー
３００  サーバ
６００  ＧＰＳ衛星
１０００  運転支援システム
Ｗ１  フロントウィンドウＷ１
ＷＬ１，ＷＲ１  サイドウィンドウ
Ｐ１，Ｐ５  俯瞰画像
Ｐ２  後方画像
Ｐ３，Ｐ４  側方画像
【図１】
2020080485.tif 000003
【図２】
2020080485.tif 000004
【図３】
2020080485.tif 000005
【図４】
2020080485.tif 000006
【図５】
2020080485.tif 000007
【図６Ａ】
2020080485.tif 000008
【図６Ｂ】
2020080485.tif 000009
【図６Ｃ】
2020080485.tif 000010
【図７】
2020080485.tif 000011
【図８】
2020080485.tif 000012
【図９】
2020080485.tif 000013
【図１０】
2020080485.tif 000014
【図１１Ａ】
2020080485.tif 000015
【図１１Ｂ】
2020080485.tif 000016
【図１２】
2020080485.tif 000017
【図１３】
2020080485.tif 000018
【図１４】
2020080485.tif 000019
【図１５】
2020080485.tif 000020
【図１６】
2020080485.tif 000021
【図１７】
2020080485.tif 000022
【図１８】
2020080485.tif 000023
【図１９】
2020080485.tif 000024
【図２０】
2020080485.tif 000025
【図２１】
2020080485.tif 000026
【図２２】
2020080485.tif 000027
【図２３】
2020080485.tif 000028