(57)【要約】【課題】運転中においても安全に操作対象を操作することができる表示装置を提供する。【解決手段】表示装置は、車両の前方風景と重なる虚像Ｖとしてユーザ５に視認される重畳画像を表示する。表示装置は、重畳画像の表示制御を行う表示制御部と、ユーザ５の手を検出する検出部からの検出信号に基づいて手によるジェスチャー動作を特定する特定部と、を備える。検出部は、車両に搭載されて互いに異なる位置にある複数の機器の各々に設けられている。特定部は、検出信号に基づいて複数の機器のうち所定機器に対してジェスチャー動作がなされたかを特定可能であり、表示制御部は、特定部によって所定機器に対してジャスチャー動作として予め設定されたメニュー表示動作がなされたことが特定されると、重畳画像の表示領域内に所定機器の操作を行うためのメニュー画像Ｍを表示する。【選択図】図５
2020030661.tif 000002
【特許請求の範囲】
【請求項１】
車両の前方風景と重なる虚像としてユーザに視認される重畳画像を表示する表示装置であって、
前記重畳画像の表示制御を行う表示制御部と、
ユーザの部位を検出する検出部から検出信号を取得し、取得した前記検出信号に基づいて前記部位によるジェスチャー動作を特定する特定部と、を備え、
前記検出部は、前記車両に搭載されて互いに異なる位置にある複数の機器の各々に設けられ、
前記特定部は、前記検出信号に基づいて前記複数の機器のうち所定機器に対して前記ジェスチャー動作がなされたかを特定可能であり、
前記表示制御部は、前記特定部によって前記所定機器に対して前記ジェスチャー動作として予め設定されたメニュー表示動作がなされたことが特定されると、前記重畳画像の表示領域内に前記所定機器の操作を行うためのメニュー画像を表示する、
表示装置。
【請求項２】
前記表示制御部は、前記メニュー画像の表示中に、前記特定部によって前記所定機器に対して前記ジェスチャー動作として予め設定された操作用動作がなされたことが特定されると、前記操作用動作に応じた画像を表示する、
請求項１に記載の表示装置。
【請求項３】
前記表示制御部は、前記メニュー画像の表示中に、前記特定部によって前記所定機器に対して前記ジェスチャー動作として予め設定されたメニュー消去動作がなされたことが特定されると、前記メニュー画像を消去する、
請求項１又は２に記載の表示装置。
【請求項４】
前記表示制御部は、前記特定部によって前記メニュー表示動作がなされたことが特定された前記所定機器が複数ある場合、当該複数の前記所定機器の各々に対応する複数の前記メニュー画像を表示する、
請求項１乃至３のいずれか１項に記載の表示装置。
【請求項５】
前記表示制御部は、複数の前記メニュー画像をレイヤー構成で表示し、
前記特定部によって直近に前記メニュー表示動作がなされたことが特定された前記所定機器に対応する前記メニュー画像を、前記レイヤー構成における最もユーザ側に表示する、
請求項４に記載の表示装置。
【請求項６】
前記メニュー表示動作は、前記所定機器の前記検出部に、ユーザが手を所定時間以上かざす動作である、
請求項１乃至５のいずれか１項に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に関する。
【背景技術】
【０００２】
従来の表示装置として、特許文献１には、ジェスチャー動作に基づいて操作可能な複数の機器に含まれる画像表示装置が開示されている。特許文献１に開示された技術は、制御装置が検出したジェスチャー動作に基づいて、操作対象の機器を特定するとともに特定した機器に対しての操作制御を可能とする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１７−５１６２４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術では、操作したい機器をジェスチャー動作によって容易に特定できるものの、特定した機器をさらにジェスチャー動作によって操作する場合には、ユーザは当該機器自体（例えば当該機器に表示されたメニュー）を視認する必要がある。ところで、近年、車両内のシステムにおいてもユーザにより操作可能な機器が増加傾向にある。しかしながら、特許文献１に開示された技術を単に車両内のシステムに適用しただけでは、例えば車両の運転者であるユーザが操作したい機器自体を視認しなければならなくなり、運転者の視線が運転中に注視すべき車両の前方風景から逸れやすいという事態が生じてしまう。
【０００５】
本発明は、上記実情に鑑みてなされたものであり、運転中においても安全に操作対象を操作することができる表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る表示装置は、
車両の前方風景と重なる虚像としてユーザに視認される重畳画像を表示する表示装置であって、
前記重畳画像の表示制御を行う表示制御部と、
ユーザの部位を検出する検出部から検出信号を取得し、取得した前記検出信号に基づいて前記部位によるジェスチャー動作を特定する特定部と、を備え、
前記検出部は、前記車両に搭載されて互いに異なる位置にある複数の機器の各々に設けられ、
前記特定部は、前記検出信号に基づいて前記複数の機器のうち所定機器に対して前記ジェスチャー動作がなされたかを特定可能であり、
前記表示制御部は、前記特定部によって前記所定機器に対して前記ジェスチャー動作として予め設定されたメニュー表示動作がなされたことが特定されると、前記重畳画像の表示領域内に前記所定機器の操作を行うためのメニュー画像を表示する。
【発明の効果】
【０００７】
本発明によれば、運転中においても安全に操作対象を操作することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係るヘッドアップディスプレイ（ＨＵＤ）装置の車両への搭載態様を説明するための図である。
【図２】本発明の一実施形態に係るＨＵＤ装置の車両への搭載態様を説明するための図である。
【図３】車両用表示システムのブロック図である。
【図４】メニュー表示制御処理の一例を示すフローチャートである。
【図５】（ａ）及び（ｂ）は、レイヤー構成で表示されるメニュー画像を説明するための図である。
【図６】（ａ）は、操作用動作に応じたメニュー画像の更新例であり、（ｂ）は、複数のメニュー画像を表示する際の変形例を説明するための図である。
【発明を実施するための形態】
【０００９】
本発明の一実施形態に係る表示装置について図面を参照して説明する。
【００１０】
本実施形態に係る表示装置は、図３に示す車両用表示システム１００に含まれるＨＵＤ（Head-Up Display）装置１０である。ＨＵＤ装置１０は、図１に示すように、車両１のダッシュボード２の内部に設けられ、車両１に関する情報（以下、車両情報と言う。）だけでなく、車両情報以外の情報も統合的にユーザ５に報知する。なお、車両情報は、車両１自体の情報だけでなく、車両１の運行に関連した車両１の外部の情報も含む。
【００１１】
車両用表示システム１００は、車両１内において構成されるシステムであり、ＨＵＤ装置１０と、第１機器４１、第２機器４２及び第３機器４３（以下、纏めて「複数の機器」とも言う。）と、を備える。
【００１２】
ＨＵＤ装置１０は、図１に示すように、フロントガラス４に向けて表示光Ｌを射出する。フロントガラス４で反射した表示光Ｌは、ユーザ５側へと向かう。ユーザ５は、視点をアイボックスＥ内におくことで、フロントガラス４の前方に、表示光Ｌが表す画像を虚像Ｖとして視認することができる。つまり、ＨＵＤ装置１０は、フロントガラス４の前方位置に虚像Ｖを表示する。これにより、ユーザ５は、虚像Ｖを前方風景と重畳させて観察することができる。
【００１３】
ＨＵＤ装置１０は、図３に示す表示部２０及び制御装置３０と、図示しない反射部とを備える。
【００１４】
表示部２０は、制御装置３０の制御により、虚像Ｖとしてユーザ５に視認される重畳画像を表示する。表示部２０は、例えば、ＴＦＴ（Thin Film Transistor）型のＬＣＤ（Liquid Crystal Display）や、ＬＣＤを背後から照明するバックライト等を有する。バックライトは、例えばＬＥＤ（Light Emitting Diode）から構成されている。表示部２０は、制御装置３０の制御の下で、バックライトに照明されたＬＣＤが画像を表示することにより表示光Ｌを生成する。生成した表示光Ｌは、反射部で反射した後に、フロントガラス４に向けて射出される。反射部は、例えば、折り返しミラーと凹面鏡の二枚の鏡から構成される。折り返しミラーは、表示部２０から射出された表示光Ｌを折り返して凹面鏡へと向かわせる。凹面鏡は、折り返しミラーからの表示光Ｌを拡大しつつ、フロントガラス４に向けて反射させる。これにより、ユーザ５に視認される虚像Ｖは、表示部２０に表示されている画像が拡大されたものとなる。なお、反射部を構成する鏡の枚数は設計に応じて任意に変更可能である。
【００１５】
なお、以下では、虚像Ｖとしてユーザ５に視認される画像を表示部２０が表示することを「重畳画像を表示する」とも言う。また、制御装置３０が表示部２０の表示制御を行うことを「重畳画像の表示制御を行う」とも言う。また、表示部２０は、重畳画像を表示することができれば、ＬＣＤを用いたものに限られず、ＯＬＥＤ（Organic Light Emitting Diodes）、ＤＭＤ（Digital Micro mirror Device）、ＬＣＯＳ（Liquid Crystal On Silicon）などの表示デバイスを用いたものであってもよい。
【００１６】
制御装置３０は、ＨＵＤ装置１０の全体動作を制御するマイクロコンピュータからなり、制御部３１と、記憶部３２とを備える。また、制御装置３０は、図示しない構成として、駆動回路や、車両１内の各種システムと通信を行うための入出力回路を備える。
【００１７】
記憶部３２は、動作プログラムや各種の画像データを予め記憶するＲＯＭ（Read Only Memory）や、各種の演算結果などを一時的に記憶するＲＡＭ（Random Access Memory）等から構成されている。特に、ＲＯＭには、後述のメニュー表示制御処理を行うための動作プログラムやジェスチャーパターンデータＧが予め記憶されている。
【００１８】
制御部３１は、ＲＯＭに記憶された動作プログラムを実行するＣＰＵ（Central Processing Unit）と、ＣＰＵと協働して画像処理を実行するＧＤＣ（Graphics Display Controller）とを備える。ＧＤＣは、例えば、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等から構成されている。なお、制御装置３０や制御部３１の構成は、以下に説明する機能を充足する限りにおいては任意である。
【００１９】
制御部３１は、表示部２０を駆動制御する。例えば、制御部３１は、ＣＰＵで表示部２０のバックライトを駆動制御し、ＣＰＵと協働して動作するＧＤＣで表示部２０のＬＣＤを駆動制御する。制御部３１のＣＰＵは、ＧＤＣと協働して、ＲＯＭに記憶された各種の画像データに基づき、重畳画像の制御を行う。ＧＤＣは、ＣＰＵからの表示制御指令に基づき、表示部２０の表示動作の制御内容を決定する。ＧＤＣは、表示部２０に表示する１画面を構成するために必要な画像パーツデータをＲＯＭから読み込み、ＲＡＭへ転送する。また、ＧＤＣは、ＲＡＭを使って、画像パーツデータやＨＵＤ装置１０の外部から通信により受け取った各種の画像データを元に、１画面分の絵データを作成する。そして、ＧＤＣは、ＲＡＭで１画面分の絵データを完成させたところで、画像の更新タイミングに合わせて、表示部２０に転送する。これにより、表示部２０に虚像Ｖとしてユーザ５に視認される重畳画像が表示される。また、虚像Ｖとして視認される画像を構成する各画像には予めレイヤーが割り当てられており、制御部３１は、各画像の個別の表示制御が可能となっている。この実施形態では特に、後述のメニュー画像Ｍを複数表示する際にレイヤーが割り当てられている。
【００２０】
制御部３１は、機能部として、上記のように重畳画像の表示制御を行う表示制御部３１ａと、後述のようにジェスチャー動作を特定する特定部３１ｂとを備える。一例として、表示制御部３１ａはＧＤＣにより実現され、特定部３１ｂはＣＰＵにより実現されるが、以下に説明する機能を充足する限りにおいて各々の構成は任意である。
【００２１】
表示制御部３１ａは、虚像Ｖの表示領域内におけるコンテンツ画像（図５（ａ）、（ｂ）に示す後述のメニュー画像Ｍなど）の表示位置と、コンテンツ画像の表示距離とを制御する。なお、図２や、図５（ａ）で虚像Ｖが示している枠は、虚像Ｖの表示領域を示し、コンテンツ画像は、当該表示領域内に虚像として視認される画像である。これは、虚像Ｖとしてユーザ５に視認される重畳画像を表示する表示部２０において、当該重畳画像の表示領域内にコンテンツ画像が表示されることと同義である。
【００２２】
表示位置の制御とは、ユーザ５から見て、虚像Ｖの表示領域内における任意の位置に画像が表示されるように表示制御部３１ａが表示部２０を制御することである。また、表示距離の制御とは、ユーザ５から見て、コンテンツ画像が車両１からどのくらい前方に表示されるかの制御である。つまり、表示距離の制御とは、車両１の前方に所定距離向かった位置にコンテンツ画像が視認されるように表示制御部３１ａが表示部２０を制御することである。表示距離の制御については、制御部３１が虚像Ｖの表示領域内におけるコンテンツ画像を、奥行きを持たせた態様で表示制御可能であることにより実現される。例えば、当該奥行きを持たせた態様でコンテンツ画像を表示するには、記憶部３２のＲＯＭに予め３Ｄ画像データを格納しておき、予め定められた車両１からの前方距離に基づいて、遠近法（例えば、一点透視図法）を用いてコンテンツ画像を描画制御する。また、表示部２０の表示面（ＬＣＤの表示面や、ＤＭＤやＬＣＯＳを用いた場合にはスクリーン）を傾けて配置することにより、虚像Ｖが表示される仮想面（表示部２０の表示面に対応する面）を車両１の上下方向に対して前方に傾けて設定することでコンテンツ画像に奥行きを持たせてもよい。この場合、ユーザ５の視点から視認させたい像の前記仮想面への射影を考慮して、表示制御部３１ａは、コンテンツ画像を奥行きを持たせた態様で描画制御すればよい。ユーザ５の視点位置として、制御部３１は、ＲＯＭ内に予め格納した想定される視点位置を用いてもよいし、ユーザ５の視点位置を検出する視点検出部（図示せず）からの視線情報を用いてもよい。
【００２３】
この実施形態では、上記のようにコンテンツ画像の表示位置と表示距離とを制御可能であることにより、表示制御部３１ａは、虚像Ｖの表示領域内に、図５（ａ）、（ｂ）に示すメニュー画像Ｍをレイヤー構成で表示可能となっている。この実施形態では、メニュー画像Ｍの表示レイヤーとして、図５（ｂ）に示すように、奥行き（ユーザ５からの前方距離）が互いに異なるレイヤーＬ１〜Ｌ３が予め設定されている。また、レイヤーＬ１〜Ｌ３の各々に表示されるメニュー画像Ｍは、ユーザ５が虚像Ｖを視認している場合に、図５（ａ）に示すように、互いにずれた位置に表示される。Ｌ１は、メニュー画像Ｍのレイヤー構成における最上位のレイヤーであり、最もユーザ５側に位置する。Ｌ２はＬ１よりも奥側（ユーザ５から見て前方）に、Ｌ３はＬ２よりも奥側に位置する。
【００２４】
メニュー画像Ｍは、複数の機器のうち所定機器の操作を行うための画像であり、この実施形態では、第１機器４１の操作を行うための第１メニュー画像Ｍ１、第２機器４２の操作を行うための第２メニュー画像Ｍ２、第３機器４３の操作を行うための第３メニュー画像Ｍ３が予め設定されている。第１〜第３メニュー画像Ｍ１〜Ｍ３の各々は、特定部３１ｂがジェスチャー動作としてメニュー表示動作を特定したことに応じて表示制御部３１ａにより表示され、特定部３１ｂがジェスチャー動作としてメニュー消去動作を特定したことに応じて表示制御部３１ａにより消去される。なお、ジェスチャー動作や特定部３１ｂについては、後述する。
【００２５】
全てのメニュー画像Ｍが非表示の状態から所定のメニュー画像Ｍが表示される場合、当該メニュー画像Ｍは最上位のレイヤーＬ１に表示される。また、複数のメニュー画像Ｍが同じ期間に表示される場合、メニュー表示動作の特定が遅いものほど（現在に近いものほど）上位のレイヤーに表示される。したがって、直近にメニュー表示動作がなされたことが特定された機器に対応するメニュー画像Ｍは、最上位のレイヤーＬ１に表示される。図５（ａ）は、レイヤーＬ１に第１機器４１に対応する第１メニュー画像Ｍ１が、レイヤーＬ２に第２機器４２に対応する第２メニュー画像Ｍ２が、レイヤーＬ３に第３機器４３に対応する第３メニュー画像Ｍ３が表示されている状態を示している。この状態は、第３機器４３、第２機器４２、第１機器４１の順でメニュー表示動作が行われた場合に実現される。
【００２６】
図３に戻って、制御部３１は、第１機器４１、第２機器４２、第３機器４３の各々と通信を行う。当該通信としては、例えば、ＣＡＮ（Controller Area Network）、Ｅｔｈｅｒｎｅｔ、ＭＯＳＴ（Media Oriented Systems Transport）、ＬＶＤＳ（Low Voltage Differential Signaling）などの通信方式が適用可能である。
【００２７】
第１機器４１は、例えば、車両１に搭載されたエア・コンディショナー（エアコン）装置の操作機器である。エアコン装置は、図示しないコンプレッサにより圧縮された冷媒を利用して車両１の室内温度を調整する。エアコン装置の操作機器としての第１機器４１は、図２に示すように、ダッシュボード２に設けられており、ステアリングホイール３の左側に位置している。第１機器４１には、検出部Ｄ１が設けられている。
【００２８】
検出部Ｄ１は、ユーザ５の手が自機から所定距離に位置した際に、当該手の動き（軌跡）や姿勢を示す特徴量を検出する非接触センサ（近接センサ）からなり、例えば、カメラ、赤外線センサ、静電容量センサ、電磁波型センサなどから構成されている。なお、検出部Ｄ１は、非接触センサと接触センサの組み合わせから構成されてもよいし、非接触センサに代えて接触センサを用いたものであってもよい。接触センサは、圧力センサや、静電容量式のタッチパネルなどから構成すればよい。非接触センサや接触センサは、ここで例示したものに限られず、ユーザ５の手を検出することができれば任意である。検出部Ｄ１は、検出したユーザ５の手の特徴量を示す検出信号を制御部３１へ出力する。
【００２９】
第２機器４２は、例えば、車両１に搭載されたカーナビゲーション（カーナビ）装置である。カーナビ装置は、人工衛星などから受信したＧＰＳ（Global Positioning System）信号に基づいて車両１の位置を算出するＧＰＳコントローラを含む。カーナビ装置は、地図データを記憶する記憶部を有し、ＧＰＳコントローラからの位置情報に基づいて、現在位置近傍の地図データを記憶部から読み出し、ユーザ５により設定された目的地までの案内経路を決定する。そして、カーナビ装置は、現在の車両１の位置や決定した案内経路に関する情報を制御部３１に出力する。また、カーナビ装置は、地図データを参照することにより、車両１の前方の施設の名称・種類や、施設と車両１との距離などを示す情報を制御部３１に出力する。カーナビ装置は、これらの各種情報を経路案内情報として、制御部３１に出力する。カーナビ装置としての第２機器４２は、図２に示すように、ダッシュボード２に設けられており、第１機器４１の上方に位置している。第２機器４２には、検出部Ｄ２が設けられている。
【００３０】
検出部Ｄ２は、検出部Ｄ１と同様に非接触センサと接触センサの少なくともいずれかから構成される。検出部Ｄ２は、ユーザ５の手が自機から所定距離に位置した際に、当該手の動き（軌跡）や姿勢を示す特徴量を検出し、検出したユーザ５の手の特徴量を示す検出信号を制御部３１へ出力する。
【００３１】
第３機器４３は、例えば、車両１に搭載された計器である。計器は、指針式のアナログ計器部や、ＴＦＴ型のＬＣＤなどから構成されるデジタル表示部を備え、車速、エンジン回転数、総走行距離、区間走行距離などの車両１に関する計測量を報知する。つまり、計器は、スピードメータ、タコメータ、オドメータ、トリップメータ等の各種表示が可能となっている。計器としての第３機器４３は、図２に示すように、ダッシュボード２に設けられており、ユーザ５から見てステアリングホイール３の前方に位置している。第３機器４３には、検出部Ｄ３が設けられている。
【００３２】
検出部Ｄ３は、検出部Ｄ１、Ｄ２と同様に非接触センサと接触センサの少なくともいずれかから構成される。検出部Ｄ３は、ユーザ５の手が自機から所定距離に位置した際に、当該手の動き（軌跡）や姿勢を示す特徴量を検出し、検出したユーザ５の手の特徴量を示す検出信号を制御部３１へ出力する。
【００３３】
また、車両用表示システム１００は、図示しない構成として、第１機器４１〜第３機器４３の各々や車両１の各部を制御するＥＣＵ（Electronic Control Unit）を備えている。例えば、制御部３１は、ユーザ５による室温調整操作を受け付けた場合には、第１機器４１やエアコン装置を制御するＥＣＵに当該操作内容に示す信号を出力し、これに応じてＥＣＵはエアコン装置を制御する。また、制御部３１は、ユーザ５による目的地設定操作を受け付けた場合には、カーナビ装置としての第２機器４２を制御するＥＣＵに当該操作内容を示す信号を出力し、これに応じてＥＣＵはカーナビ装置を制御する。また、制御部３１は、ユーザ５による車両情報確認操作を受け付けた場合には、計器としての第３機器４３を制御するＥＣＵに当該操作内容を示す信号を出力し、これに応じてＥＣＵは計器の表示モードを切り替えるなどの制御を行う。また、計器のＥＣＵは、車両１に搭載された各種のセンサから、車速、エンジン回転数、警告情報（燃料低下、エンジン油圧異常、タイヤ空気圧異常など）を取得し、計器の表示制御を行う。
【００３４】
ここで、制御部３１の機能として、ジェスチャー動作を特定する特定部３１ｂについて説明する。特定部３１ｂは、検出部Ｄ１〜Ｄ３の各々に対してなされたユーザ５の手によるジェスチャー動作を、検出部Ｄ１〜Ｄ３からのユーザ５の手の特徴量を示す検出信号と、記憶部３２に予め記憶されたジェスチャーパターンデータＧとに基づいて特定する。なお、検出部Ｄ１〜Ｄ３の各々に対してなされたジェスチャー動作の特定は同様であるため、以下では検出部Ｄ１を例に説明する。
【００３５】
ジェスチャーパターンデータＧは、行われているジェスチャー動作を特定するために必要となるデータであり、図３に示すように、複数のジェスチャー動作のパターンと、複数のパターンの各々に関連付けられた操作内容とから構成されている。なお、複数のパターンの各々は、検出部Ｄ１が検出可能な、手の動き（軌跡）や姿勢を示す特徴量と対応して予め設定されている。
【００３６】
ジェスチャー動作のパターンとしては、メニュー表示動作を示すパターンＰＸや、メニュー消去動作を示すパターンＰＹや、表示中のメニュー画像Ｍにおける選択、設定などの各種の操作用動作を示すパターンＰＺ１、ＰＺ２・・・などが予め設けられている。一例として、パターンＰＸは、ユーザ５が検出部Ｄ１（第１機器４１）に手をかざす動作である。また、パターンＰＹは、ユーザ５が検出部Ｄ１に手の甲を向ける動作である。なお、当該手の甲を向ける動作は、例えばカメラを用いた画像解析により検出可能である。また、パターンＰＺ１、ＰＺ２・・・は、例えば、手により所定の軌跡（直線状でも円弧状でもよい）を描く、スワイプ、スクロール、ピンチイン、ピンチアウトなどの種々の動作（当該動作は、ユーザ５の手が検出部Ｄ１と非接触のまま行われるものであってもよい）や、タップ動作などである。
【００３７】
特定部３１ｂは、検出部Ｄ１からの検出信号が示す特徴量に応じたジェスチャー動作のパターンがジェスチャーパターンデータＧにある場合には、当該パターンを特定し、特定したパターンに対応する操作内容を示す信号を表示制御部３１ａに出力する。
【００３８】
例えば、特定部３１ｂは、検出部Ｄ１からの検出信号に基づき、ユーザ５が検出部Ｄ１に所定期間以上手をかざしていると認識した場合に、メニュー表示動作を示すパターンＰＸを特定する。なお、所定期間は、予めＲＯＭ内に定められた数秒（例えば２〜３秒）といった期間であり、これにより動作の誤認識を防止することができる。特定部３１ｂは、メニュー表示動作を示すパターンＰＸを特定すると、メニュー表示動作を示す信号を表示制御部３１ａに出力する。これに応じた表示制御部３１ａは、虚像Ｖの表示領域内に第１機器４１を操作するためのメニュー画像Ｍ（具体的には、後述のメニュー画像Ｍ１）を表示する。
また、特定部３１ｂは、検出部Ｄ１からの検出信号に基づき、ユーザ５が検出部Ｄ１に一定期間以上手の甲を向けていると認識した場合に、メニュー消去動作を示すパターンＰＹを特定する。なお、一定期間は、予めＲＯＭ内に定められた数秒といった期間であり、前記所定期間と同じであっても異なっていてもよい。これにより動作の誤認識を防止することができる。特定部３１ｂは、メニュー画像Ｍの表示中にメニュー消去動作を示すパターンＰＹを特定すると、メニュー消去動作を示す信号を表示制御部３１ａに出力する。これに応じた表示制御部３１ａは、メニュー画像Ｍ（具体的には、後述のメニュー画像Ｍ１）を消去する。
また、特定部３１ｂは、検出部Ｄ１からの検出信号に基づき、ユーザ５が検出部Ｄ１に対してスワイプ動作などの操作用動作を行っていると認識した場合に、当該動作を示すパターンＰＺ１等を特定する。特定部３１ｂは、メニュー画像Ｍの表示中に当該動作を示すパターンを特定すると、当該動作に対応した操作内容を示す信号を表示制御部３１ａに出力する。これに応じた表示制御部３１ａは、メニュー画像Ｍ内において、またはメニュー画像Ｍをより詳細な設定画面などに切り替えた上で、操作用動作に応じた画像を表示する（例えば、メニュー画像Ｍに表示されたカーソル画像をスワイプ動作に応じて移動させるなど）。
なお、特定部３１ｂによるジェスチャー動作の特定手法は、目的に応じて任意であり、例えば、ＮＮ法（Nearest Neighbor algorithm）、ｋ-ＮＮ法（k-Nearest Neighbor algorithm）等の公知の手法や、パターンマッチングなどの公知の画像認識手法を用いればよい。
【００３９】
（メニュー表示制御処理）
続いて、制御部３１が実行するメニュー表示制御処理について、図４を参照して説明する。メニュー表示制御処理は、例えば、ＨＵＤ装置１０の起動中において継続して実行される。ＨＵＤ装置１０は、例えば、車両１のイグニッションのオンに伴い起動する。
【００４０】
まず、制御部３１は、複数の機器のいずれかの検出部に対して、メニュー表示動作があったか否かを判別する（ステップＳ１）。前記のように、例えば、制御部３１は、特定部３１ｂの機能によってユーザ５が所定の検出部に所定期間以上、手をかざしていると特定した場合に、メニュー表示動作があったと判別する。
【００４１】
メニュー表示動作がなされていない場合（ステップＳ１；Ｎｏ）、ステップ１の処理を所定周期で繰り返す。一方、メニュー表示動作があった場合（ステップＳ１；Ｙｅｓ）、制御部３１は、表示制御部３１ａの機能によって、メニュー表示動作がなされた機器に応じたメニュー画像Ｍを最上位のレイヤーＬ１に表示する（ステップＳ２）。例えば、第１機器４１の検出部Ｄ１に対してメニュー表示動作がなされた場合、エアコン装置を操作するための第１メニュー画像Ｍ１がレイヤーＬ１に表示される。
【００４２】
続いて、制御部３１は、現在表示中のメニュー画像Ｍに対応する機器の他の機器（ステップＳ１でメニュー表示動作がなされた機器とは別の機器）に対して、メニュー表示動作があったか否かを判別する（ステップＳ３）。当該判別手法は、ステップＳ１と同様である。
【００４３】
他の機器に対してメニュー表示動作がなされていない場合（ステップＳ３；Ｎｏ）、制御部３１は、処理をステップＳ５へ進める。一方、他の機器に対するメニュー表示動作があった場合（ステップＳ３；Ｙｅｓ）、制御部３１は、表示制御部３１ａの機能によって、当該他の機器に応じたメニュー画像Ｍを最上位のレイヤーＬ１に表示するとともに、既に表示されていた一つ又は複数のメニュー画像Ｍを、ステップＳ６の処理実行前よりも一つ分、下位のレイヤーに表示する。例えば、第１メニュー画像Ｍ１の表示中に、第２機器４２の検出部Ｄ２に対してメニュー表示動作がなされた場合、カーナビ装置を操作するための第２メニュー画像Ｍ２が最上位のレイヤーＬ１に表示され、エアコン装置を操作するための第１メニュー画像Ｍ１はレイヤーＬ２に表示される。
【００４４】
図５（ａ）は、ステップＳ３、Ｓ４の処理が繰り返されることによって実現されるメニュー画像Ｍの表示態様の一例である。同図は、レイヤーＬ１に第１機器４１に対応する第１メニュー画像Ｍ１が、レイヤーＬ２に第２機器４２に対応する第２メニュー画像Ｍ２が、レイヤーＬ３に第３機器４３に対応する第３メニュー画像Ｍ３が表示されている状態を示している。この状態は、第３機器４３、第２機器４２、第１機器４１の順でメニュー表示動作が行われた場合に実現される。
【００４５】
ステップＳ３でＮｏと判別した場合やステップＳ４の実行後、制御部３１は、複数の機器のいずれかの検出部に対して、メニュー消去動作があったか否かを判別する（ステップＳ５）。前記のように、例えば、制御部３１は、特定部３１ｂの機能によってユーザ５が所定の検出部に一定期間以上、手をかざしていると特定した場合に、メニュー消去動作があったと判別する。
【００４６】
メニュー消去動作がなされていない場合（ステップＳ５；Ｎｏ）、制御部３１は、処理をステップＳ７へ進める。一方、メニュー消去動作があった場合（ステップＳ５；Ｙｅｓ）、制御部３１は、表示制御部３１ａの機能によって、メニュー消去動作がなされた機器に応じたメニュー画像Ｍを消去する（ステップＳ６）。なお、複数のメニュー画像Ｍが表示されている際に所定のレイヤーに表示されているメニュー画像Ｍが消去された場合、当該レイヤーより下位のレイヤーに表示されている一つ又は複数のメニュー画像Ｍは、一つ分、上位のレイヤーに移動する。例えば、図５（ａ）に示す状態において、レイヤーＬ１の第１メニュー画像Ｍ１が消去された場合は、レイヤーＬ２に表示されていた第２メニュー画像Ｍ２がレイヤーＬ１に移動し、レイヤーＬ３に表示されていた第３メニュー画像Ｍ３がレイヤーＬ２に移動する。また、図５（ａ）に示す状態において、レイヤーＬ２の第２メニュー画像Ｍ１が消去された場合は、第１メニュー画像Ｍ１はそのままレイヤーＬ１に位置しつつ、レイヤーＬ３に表示されていた第３メニュー画像Ｍ３がレイヤーＬ２に移動する。
【００４７】
ステップＳ５でＮｏと判別した場合やステップＳ６の実行後、制御部３１は、現在表示中のメニュー画像Ｍがあるか否かを判別する（ステップＳ７）。メニュー画像Ｍがない場合（ステップＳ７；Ｎｏ）、制御部３１は、処理をステップＳ１に戻す。一方、メニュー画像Ｍがある場合（ステップＳ７；Ｙｅｓ）、現在表示中のメニュー画像Ｍに対応する機器の検出部に対して、操作用動作があったか否かを判別する（ステップＳ８）。
【００４８】
操作用動作がない場合（ステップＳ８；Ｎｏ）は処理をステップＳ１に戻す一方で、操作用動作があった場合（ステップＳ８；Ｙｅｓ）、制御部３１は、当該動作が示す操作に応じた画像を表示する（ステップＳ９）。
【００４９】
図６（ａ）は、第１メニュー画像Ｍ１の表示例である。この第１メニュー画像Ｍ１は、温度の高低を表すバーグラフと、バーグラフを指示するカーソル画像Ｃと、現在の設定室温を示す画像とを含んで構成されている。例えば、ステップＳ８において第１機器４１の検出部Ｄ１に対してなされた操作用動作として、ユーザ５の手（指も含む）による上下方向のスワイプ動作が特定された場合、カーソル画像Ｃが当該上下方向のスワイプ動作に応じて移動し、室温調整が可能となる。また、設定室温が変更されると、設定室温を示す画像が更新される。なお、第２機器４２の検出部Ｄ２に対して、所定の操作用動作（スワイプ、スクロール、ピンチイン、ピンチアウト、タップなど）がなされた場合、カーナビ装置を操作するための第２メニュー画像Ｍ２において、例えば、目的地の設定や地図の拡大又は縮小の操作が可能となり、当該操作に応じた画像が表示されればよい。また、第３機器４３の検出部Ｄ３に対して、所定の操作用動作がなされた場合、計器を操作するための第３メニュー画像Ｍ２において、例えば、各種メータの表示を切り替える操作や、メンテナンス履歴を表示する操作や、表示モードの切り替え操作が可能となり、当該操作に応じた画像が表示されればよい。
【００５０】
ステップＳ９の実行後、制御部３１は、処理をステップＳ１に戻す。制御部３１は、以上のメニュー表示制御処理を、例えば車両１のイグニッションがオフされるまで継続して実行する。
【００５１】
（１）以上に説明した表示装置の一例であるＨＵＤ装置１０は、車両１の前方風景と重なる虚像Ｖとしてユーザ５に視認される重畳画像を表示する。ＨＵＤ装置１０は、重畳画像の表示制御を行う表示制御部３１ａと、ユーザ５の手（部位の一例）を検出する検出部から検出信号を取得し、取得した検出信号に基づいて手によるジェスチャー動作を特定する特定部３１ｂと、を備える。検出部（検出部Ｄ１〜Ｄ３）は、車両１に搭載されて互いに異なる位置にある複数の機器（第１機器４１〜第３機器４３）の各々に設けられている。特定部３１ｂは、検出信号に基づいて複数の機器のうち所定機器に対してジェスチャー動作がなされたかを特定可能であり、表示制御部３１ａは、特定部３１ｂによって所定機器に対してジェスチャー動作として予め設定されたメニュー表示動作がなされたことが特定されると、重畳画像の表示領域内に所定機器の操作を行うためのメニュー画像Ｍを表示する。
この構成により、車両１の前方風景に重畳して表示される虚像Ｖの表示領域内にメニュー画像Ｍを表示することができるため、ユーザ５は前方風景を視認しつつ、車両１の運転中においても安全に操作対象を操作することができる。
【００５２】
（２）具体的に、表示制御部３１ａは、メニュー画像Ｍの表示中に、特定部３１ｂによって所定機器に対してジェスチャー動作として予め設定された操作用動作がなされたことが特定されると、操作用動作に応じた画像を表示する。
（３）また、表示制御部３１ａは、メニュー画像Ｍの表示中に、特定部３１ｂによって所定機器に対してジェスチャー動作として予め設定されたメニュー消去動作がなされたことが特定されると、メニュー画像Ｍを消去する。
（４）また、表示制御部３１ａは、特定部３１ｂによってメニュー表示動作がなされたことが特定された所定機器が複数ある場合、当該複数の所定機器の各々に対応する複数のメニュー画像Ｍを表示する。
（５）また、表示制御部３１ａは、複数のメニュー画像Ｍをレイヤー構成で表示し、特定部３１ｂによって直近にメニュー表示動作がなされたことが特定された所定機器に対応するメニュー画像Ｍを、レイヤー構成における最もユーザ側（レイヤーＬ１）に表示する。
（６）また、メニュー表示動作は、所定機器の検出部に、ユーザ５が手を所定時間以上かざす動作である。
【００５３】
なお、本発明は以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更（構成要素の削除も含む）を加えることが可能である。
【００５４】
複数のメニュー画像Ｍを表示する場合、以上に説明した、奥行きを用いたレイヤー構成を採用しなくともよい。例えば、図６（ｂ）に示すようにメニュー画像Ｍを上下方向に沿って並べてもよいし、左右方向や、マトリクス状に並べてもよい。なお、図６（ｂ）に示す例では、メニュー画像Ｍは、直近にメニュー表示動作がなされた機器に対応するものほど上方に表示される。
【００５５】
表示光Ｌの投射対象は、フロントガラス４に限定されず、板状のハーフミラー、ホログラム素子等により構成されるコンバイナであってもよい。また、以上に説明した虚像Ｖを表示する表示装置としては、ＨＵＤ装置１０に限られない。表示装置は、車両１のユーザ５の頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）として構成されてもよい。つまり、表示装置は、車両１に搭載されているものに限られず、車両１で使用されるものであればよい。
【００５６】
また、以上では、検出部（検出部Ｄ１〜Ｄ３）が検出する人体の部位が、ユーザ５の手である例を説明したが、これに限られない。車両１内において安全にジェスチャー動作が可能である部位であれば、足などであってもよい。なお、本明細書における「手」とは、人体の肩から先にある部分を言い、指や掌はもちろん、肘なども含む。
【００５７】
また、複数の機器は２つ以上あればよく、検出部は複数の機器の各々に設けられればよい。また、複数の機器の種類は、上記例に限られず任意であり、オーディオプレイヤーやメディアプレイヤーなどを含んで構成してもよい。
【００５８】
また、メニュー画像Ｍが表示された後の操作は、ジェスチャー動作として操作用動作によるものに限られず、ステアリングホイール３に設けられたステアリングスイッチやタッチパネルにてなされてもよい。
【００５９】
また、メニュー表示動作とメニュー消去動作の各々に、どのようなジャスチャー動作を設定するかも、目的に応じて任意である。例えば、メニュー表示動作とメニュー消去動作とが同じ動作であってもよいし、メニュー表示動作とメニュー消去動作との少なくともいずれかは、検出部に対してのタップ動作などであってもよい。
【００６０】
以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。
【符号の説明】
【００６１】
１００…車両用表示システム
１０…ＨＵＤ装置
２０…表示部
３０…制御装置
３１…制御部
３１ａ…表示制御部
３１ｂ…特定部
３２…記憶部、Ｇ…ジェスチャーパターンデータ
４１…第１機器、Ｄ１…検出部
４２…第２機器、Ｄ２…検出部
４３…第３機器、Ｄ３…検出部
１…車両、２…ダッシュボード、３…ステアリングホイール、４…フロントガラス
５…ユーザ、Ｅ…アイボックス、Ｌ…表示光、Ｖ…虚像
Ｍ…メニュー画像
Ｍ１…第１メニュー画像、Ｍ２…第２メニュー画像、Ｍ３…第３メニュー画像
Ｌ１〜Ｌ３…レイヤー
【図１】
2020030661.tif 000003
【図２】
2020030661.tif 000004
【図３】
2020030661.tif 000005
【図４】
2020030661.tif 000006
【図５】
2020030661.tif 000007
【図６】
2020030661.tif 000008