(57)【特許請求の範囲】
【請求項１】
車両に搭載された車載機器の操作用スイッチに対応した操作用スイッチ画像が、仮想的に前記車両の乗員の視線上に位置するように、前記乗員の網膜に投影表示するスイッチ投影表示手段と、
前記車両の乗員の身体の一部を検出対象として、その検出対象の位置を検出する位置検出手段と、
前記スイッチ投影表示手段により前記操作用スイッチ画像が投影表示されている際に、前記位置検出手段により検出される前記検出対象の位置および該位置の変化状態に基づいて、前記車載機器の前記操作用スイッチ画像が仮想的に操作されたか否かを判定するスイッチ操作判定手段と、
前記操作用スイッチ画像が仮想的に操作されたと判定された際に、該操作に対応した応答動作を実行する応答動作実行手段と、
を備え、
前記応答動作実行手段は、前記検出対象に対して送風を行う送風手段を含み、前記送風手段として前記車両の空調装置、および前記空調装置に含まれ前記車両のインスツメントパネル上面に設けられたデフロスタ吹き出し口を用い、
前記デフロスタ吹き出し口から、前記車両の乗員が仮想的に操作した操作用スイッチ画像に向けて送風を行うことを特徴とする車両用操作装置。
【請求項２】
前記送風手段の動作状態を取得する動作状態取得手段と、
取得した前記送風手段の動作状態に基づき、送風する風量を決定する風量決定手段と、
を備える請求項１に記載の車両用操作装置。
【請求項３】
前記車両の乗員の身体の一部である検出対象は、乗員の手ないし指であり、
前記送風手段は、前記デフロスタ吹き出し口から、前記乗員の手ないし指に、送風を行う請求項１または請求項２に記載の車両用操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用操作装置に関するものである。
【背景技術】
【０００２】
例えば車両のフロントウィンドウ上の所定領域に各種の情報を表示可能なヘッドアップディスプレイ（ＨＵＤ）を備え、このＨＵＤ上に複数の操作スイッチの画像を表示し、これらの操作スイッチに対する操作者による操作入力の有無を検出し、この検出結果に応じて各操作スイッチに対応した操作機器の動作を制御する車両用表示装置が知られている。
【０００３】
従来の車両用表示装置では、複数の操作スイッチの画像が表示される各位置は、車両のフロントウィンドウ上の所定位置に固定されていることから、操作者の視線が車両の運転状態に応じて変化する場合には、ＨＵＤ上の複数の操作スイッチを視認するために視線を移動させる必要が生じ、煩雑な手間がかかるとともに、操作者の外界に対する認識能力が低下してしまうおそれがある。そこで、運転者の眼球の位置および運転者の視線方向に応じて、操作用スイッチ画像が投射されるようにして、操作者が視線を移動させる必要なしに車載機器の操作を容易に実行させることが可能な車載機器の操作装置が考案されている（特許文献１参照）。
【０００４】
また、乗員の手など体の一部の動きにより表現されるコマンドの入力を受け付けるコマンド入力装置に関し、特に、虚像の操作スイッチを表示し、この操作スイッチに向けてエアーが吹き出される仮想スイッチを用いて、虚像の操作スイッチに対する視覚的認識とエアーによる物理的認識とにより、ユーザはどの部分を操作すればよいのかを認識でき、操作性を向上させたコマンド入力装置が考案されている（特許文献２参照）。
【０００５】
【特許文献１】特開２００６−３２７５２６号公報
【特許文献２】特開２００５−２５４８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の例では、一般のメカニカルスイッチのような、操作スイッチの画像を押したときに反力（押し応え）がなく、操作感が乏しいという問題がある。また、特許文献２の例では、スイッチがどこに存在するかの認識を確実にできる効果はあるものの、押し応えがないという問題は残る。さらに、操作が受け付けられたかどうかは、対応する車載機器の動作を確認しなければならない。
【０００７】
上記問題を背景として、本発明の課題は、ユーザの操作感を向上させることが可能な車両用操作装置を提供することにある。
【課題を解決するための手段および発明の効果】
【０００８】
上記課題を解決するための車両用操作装置は、車両に搭載された車載機器の操作用スイッチに対応した操作用スイッチ画像が、仮想的に車両の乗員の視線上に位置するように、乗員の網膜に投影表示するスイッチ投影表示手段と、車両の乗員の身体の一部を検出対象として、その検出対象の位置を検出する位置検出手段と、スイッチ投影表示手段により操作用スイッチ画像が投影表示されている際に、位置検出手段により検出される検出対象の位置および該位置の変化状態に基づいて、車載機器の操作用スイッチ画像が仮想的に操作されたか否かを判定するスイッチ操作判定手段と、操作用スイッチ画像が仮想的に操作されたと判定された際に、該操作に対応した応答動作を実行する応答動作実行手段と、を備えることを前提とする。
【０００９】
上記構成によって、操作用スイッチが仮想的に操作されたと判定されたときに反力（押し応え）を付勢するような応答動作を実行することができ、ユーザ（乗員）の操作感を向上させることが可能となる。
【００１０】
また、本発明の車両用操作装置における応答動作実行手段は、検出対象に対して送風を行う送風手段であるように構成される。
【００１１】
特許文献２の例では、操作用スイッチ（の画像）に空気が吹き付けられるので、操作用スイッチがどこに存在するかを認識できるのみであるが、上記構成によって、ユーザは、対応する車載機器の動作を確認しなくても、操作を受け付けられたことが分かるようになる。
【００１２】
また、本発明の車両用操作装置は、送風手段の動作状態を取得する動作状態取得手段と、取得した送風手段の動作状態に基づき、送風する風量を決定する風量決定手段と、を備えるように構成される。
【００１３】
上記構成によって、特許文献２のように、操作用スイッチ（の画像）に空気が吹き付けられる構成であっても、操作を受け付けられたときに風量を変化させることができるため、ユーザは、操作用スイッチがどこに存在するかを認識できるとともに、対応する車載機器の動作を確認しなくても、操作が受け付けられたことが分かるようになる。
【００１４】
また、本発明の車両用操作装置における送風手段は、車両の空調装置を用いるように構成される。
【００１５】
上記構成によって、新たな送風手段を設置することなく、低コストで本発明の構成を実現することができる。
【００２０】
また、本発明の車両用操作装置における車両の乗員の身体の一部である検出対象は、乗員の手ないし指であり、送風手段は、車両のインスツメントパネル上面に設けられたデフロスタ吹き出し口から、乗員の手ないし指に、送風を行うように構成される。
【００２１】
上記構成によって、手ないし指を使用して直感的に操作ができるとともに、乗員（ユーザ）の手ないし指に、デフロスタ吹き出し口から、送風することによって、乗員の操作に対する反力を与えることができ、操作感を向上できる。このとき、デフロスタ吹き出し口から送風を行うため、送風を乗員の手ないし指といった必要最小限の部分のみに送風することができ、乗員に不快感を与えることがない。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の車両用操作装置について図面を用いて説明する。
【実施例１】
【００２３】
図１のように、車両用操作装置１０は、眼球センサ１１と、操作指センサ１２と、網膜投影装置１３と、例えばナビゲーション装置，音響装置，および空調装置３０等を含む車載機器１４と、電子制御ユニット（以下、ＥＣＵと称する）１５と、表示スイッチ１６等を含んで構成されている。
【００２４】
眼球センサ１１は、例えば図２および図３に示すように、車室内のルームミラーから運転者側にずれた位置等の、少なくとも運転者の眼球を撮像可能な位置に設けられ、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等からなる眼球用カメラ１１ａと眼球画像処理部１１ｂとを含んで構成されている。
【００２５】
眼球用カメラ１１ａは、例えば可視光領域で撮像可能であれば、乗員の顔や眼球から反射された可視光を撮像し、例えば赤外線領域で撮像可能であれば、適宜の赤外線投光器（図示せず）から運転者の眼球に向けて照射された赤外線の反射を撮像する。また、眼球画像処理部１１ｂは、眼球用カメラ１１ａの撮像により得られた可視光画像または赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成してＥＣＵ１５へ出力する。
【００２６】
操作指センサ１２は、例えば図３に示すように、車両のルーフ等の少なくとも運転者が操作する指あるいは腕，肘，手（本発明の検出対象）を撮像可能な位置に設けられ、例えば可視光領域や近赤外線領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等のステレオカメラからなる操作指用カメラ１２ａと操作指画像処理部１２ｂとを含んで構成されている。
【００２７】
操作指用カメラ１２ａは、例えば可視光領域で撮像可能であれば、運転者の操作指から反射された可視光を撮像し、例えば近赤外線領域で撮像可能であれば、適宜の近赤外線投光器（図示せず）から照射された近赤外線の運転者の操作指からの反射を撮像する。また、操作指画像処理部１２ｂは、操作指用カメラ１２ａの撮像により得られた可視光画像または近赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成してＥＣＵ１５へ出力する。
【００２８】
網膜投影装置１３は、例えば図２および図３に示すように、眼球センサ１１から出力される画像データに基づくＥＣＵ１５の制御により、車載機器１４を構成する複数の装置（例えば、ナビゲーション装置，音響装置，および空調装置３０等）に対する複数の入力操作に対応した複数の操作用スイッチ画像Ｐ１，…，Ｐｎ（ｎは任意の自然数であって、例えば図２ではｎ＝６）を直接に運転者の網膜に投影する。なお、網膜投影装置１３が本発明のスイッチ投影表示手段に相当する。また、図２の例では、運転者の指がスイッチ画像Ｐ６を操作する状態を示している。
【００２９】
表示スイッチ１６は、図２のような例えばステアリングホイールのスポーク部等のように、車両運転時の運転者の手指が届く範囲内の適宜の位置に配置される。表示スイッチ１６は、例えば押しボタンスイッチとして構成され、運転者による入力操作に応じて、網膜投影装置１３による操作用スイッチ画像の投影開始および投影終了を指示する指示信号をＥＣＵ１５へ出力する。すなわち、表示スイッチ１６を押す毎に、投影開始と投影終了との指示が交互に繰り返される。
【００３０】
図１に戻り、ＥＣＵ１５は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，信号入出力回路等を含む、周知のコンピュータハードウェアとして構成される。ＥＣＵ１５は、例えば視線検知部２１と、投影制御部２２と、操作指検知部２３と、機器制御部２４とを備えて構成されている。これら各部は、ＣＰＵがＲＯＭに記憶されている制御プログラムを実行することで、関連する回路（図示せず）の動作により、以下に述べるような動作を行う。また、ＥＣＵ１５と車載機器１４とは、互いに通信可能に接続されている。
【００３１】
視線検知部２１は、眼球センサ１１から入力される画像データに対して、まず、運転者の顔や眼球を検知対象物とした所定の認識処理を行い、この認識結果に基づき、運転者の眼球の位置および運転者の視線ベクトル（視線方向）および視線の対象位置を検知する。
【００３２】
投影制御部２２は、視線検知部２１により検知される運転者の眼球の位置および運転者の視線ベクトル（視線方向）に応じて、操作用スイッチ画像が投影される運転者の網膜上の位置（投影位置）を設定し、この投影位置の情報を機器制御部２４へ出力すると共に、この投影位置の情報と表示スイッチ１６から入力される指示信号とに応じて網膜投影装置１３の投影動作を制御する。
【００３３】
投影制御部２２は、操作用スイッチ画像の投影位置を設定する際に、例えば図３に示すように、運転者の網膜上に操作用スイッチ画像を投影したときに、これらの操作用スイッチ画像が運転者の視線Ｑ上に設定された所定の仮想画像平面ＶＤ上に表示されていると、運転者により認識されるように設定する。
【００３４】
操作指検知部２３は、操作指センサ１２から入力される画像データに対して、運転者の手や指を検知対象物とした所定の認識処理を行い、この認識結果に基づき、例えば操作指用カメラ１２ａの焦点を原点としたカメラ座標（例えば、操作指用カメラ１２ａの光軸Ｒ上に設定された所定の操作平面ＲＤ）での運転者の操作指（例えば、人差し指等）の先端部の位置および該位置の時間変化を検知する。なお、操作指検知部２３が本発明の位置検出手段に相当する。
【００３５】
機器制御部２４は、操作指検知部２３により検知される運転者の操作指の先端部の位置および該位置の時間変化に基づき、複数の操作用スイッチ画像のうちの何れの操作用スイッチ画像が選択されたかを検知するとともに、複数の操作用スイッチ画像毎に対して予め記憶している複数の所定入力操作のうちのいずれの所定入力操作に相当する入力操作が実行されたかを検知し、これらの検知結果に応じて、例えばナビゲーション装置や空調装置３０や音響装置等からなる車載機器１４の動作を制御する。なお、機器制御部２４が本発明のスイッチ操作判定手段，動作状態取得手段，風量決定手段，振動状態取得手段，振動量決定手段に相当する。
【００３６】
機器制御部２４は、運転者により選択された操作用スイッチ画像（Ｐ１，…，Ｐｎ）に対して実行された運転者の入力操作に対する検知結果に応じて、車載機器１４の制御を行う。機器制御部２４の制御内容については、特許文献１に詳細が記載されているので、以下に概略のみを記す。
・  操作用スイッチ画像を仮想的に仮想画像平面ＶＤ上に表示した状態で、運転者の操作指が操作用スイッチ画像に重畳する位置で所定の押圧方向に沿って所定速度以上で往復移動したことを検知した場合には、この操作用スイッチ画像が一時的に選択されたと判断し、この動作に対応する車載機器１４の制御動作、例えば音響装置のＯＮあるいはＯＦＦ等を実行する。
・  運転者の操作指が操作用スイッチ画像に重畳する位置で所定の押圧方向に沿って所定速度以上で移動し、移動後の操作指の位置が維持される状態を検知した場合には、この操作用スイッチ画像が継続的に選択されたと判断し、この動作に対応する車載機器１４の制御動作、例えば音響装置の音量の増大あるいは減少等を実行する。
【００３７】
また、機器制御部２４は、運転者により選択された操作用スイッチ画像および操作用スイッチ画像に対して実行された運転者の入力操作を検知する際に、操作指検知部２３により検知された運転者の操作指の先端部の位置および該位置の時間変化に対して、例えば、操作指用カメラ１２ａの焦点を原点としたカメラ座標から運転者の視点を原点とした視点座標への座標変換と、所定の仮想画像平面ＶＤ上への投影変換とを行う。
【００３８】
図１に戻り、空調装置３０は、周知の車内の温度調整を行うためのもので、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，信号入出力回路等を含む、周知のコンピュータハードウェアであるエアコンＥＣＵ３１、およびエアコンＥＣＵ３１に接続された吹き出し口（図２の３５，図３の３６等）の方向を制御するエアコン吹き出し口方向制御用モータ３２，エアコン風量制御用モータ３３（いわゆるブロワモータ）とを含んで構成される。なお、空調装置３０が本発明の応答動作実行手段，送風手段に相当する。
【００３９】
空調装置３０を用いずに、専用の送風口，送風方向制御用モータ，風量制御用モータを備えた送風装置を用いてもよい。
【００４０】
また、機器制御部２４は、運転者により操作用スイッチ画像に対して実行された運転者の入力操作に対する検知結果に応じて、運転者に対して、操作用スイッチが操作されたことを認識させるための応答動作を行う。以下、図４を用いて、本発明の応答動作実行処理について説明する。
【００４１】
まず、表示スイッチ１６が押下されＯＮ状態となったか否かを判定する（Ｓ１１）。表示スイッチ１６がＯＮ状態でない場合（Ｓ１１：Ｎｏ）、本処理を終了する。
【００４２】
一方、表示スイッチ１６がＯＮ状態となった場合（Ｓ１１：Ｙｅｓ）、眼球センサ１１から出力される画像データから運転者の眼球の位置および運転者の視線ベクトル（視線方向）を検知し、これらの検知結果に基づき、操作用スイッチ画像（Ｐ１，…，Ｐｎ）が運転者の視線Ｑ上に設定された所定の仮想画像平面ＶＤ上に仮想的に表示されるようにして、操作用スイッチ画像が投影される運転者の網膜上の位置（投影位置）を設定し、この投影位置に操作用スイッチ画像の投影を開始する（Ｓ１２）。
【００４３】
次に、操作指センサ１２から出力される画像データからカメラ座標での運転者の操作指（例えば、人差し指等）の先端部の位置および該位置の時間変化を検知し、これらの検知結果を仮想的に操作用スイッチ画像が表示される所定の仮想画像平面ＶＤ上における運転者の操作指の位置および該位置の変化状態へと変換する（Ｓ１３）。
【００４４】
そして、操作用スイッチ画像（Ｐ１，…，Ｐｎ）に対する上述のような所定入力操作が仮想的に実行されたか否かを判定する（Ｓ１４）。所定入力操作が仮想的に実行されなかった場合（Ｓ１４：Ｎｏ）、表示スイッチ１６が押下されてＯＮ状態になったか否かを判定する（Ｓ１８）。
【００４５】
一方、所定入力操作が仮想的に実行された場合（Ｓ１４：Ｙｅｓ）、上述のような所定入力操作が仮想的に実行された操作用スイッチ画像（Ｐ１，…，Ｐｎ）に対して送風を行うための、エアー吹き出し方向および風量を決定する（Ｓ１５）。これは、空調装置３０からエアー吹き出し方向および風量に関する情報を取得し、取得した情報に基づいて、例えば以下のように決定する。
・  空調装置３０が作動していない場合、あるいは空調装置３０は作動しているが、エアー吹き出し方向が操作用スイッチ画像に向いていない場合、エアー吹き出し方向を所定入力操作が仮想的に実行された操作用スイッチ画像に向け、予め定められた風量とする。
・  空調装置３０が作動し、エアー吹き出し方向が操作用スイッチ画像に向いている場合、現在の風量とは異なる（現在よりも大きいあるいは小さい）風量に設定する。
【００４６】
また、このとき、吹き出し口３５あるいはデフロスタ吹き出し口３６のいずれから送風するかも決定する。送風を行う吹き出し口を予め定めておいてもよいし、送風を行っていない吹き出し口を選択する方法でもよい。
【００４７】
続いて、設定されたエアー吹き出し口および吹き出し方向，風量に関する情報とともに、この情報に基づいた動作を行うように、空調装置３０に指令を送る。空調装置３０は、機器制御部２４から送られてきた情報・指令に基づいて、エアコン吹き出し口方向制御用モータ３２およびエアコン風量制御用モータ３３を駆動制御して、エアー吹き出し方向および風量を調節し、吹き出し口３５あるいはデフロスタ吹き出し口３６から送風する（Ｓ１６）。
【００４８】
そして、実行された所定入力操作に応じた車載機器１４の制御動作を実行する（Ｓ１７）。すなわち、実行された所定入力操作に関する情報を車載機器１４へ送り、車載機器１４では、その所定入力操作に基づく動作を行う。このとき、エアー吹き出し方向および風量を、所定入力操作が仮想的に実行される前の状態に戻してもよい。続いて、表示スイッチ１６が押下されてＯＮ状態になったか否かを判定する（Ｓ１８）。
【００４９】
そして、表示スイッチ１６がＯＮ状態でない場合（Ｓ１８：Ｎｏ）、ステップＳ１４へ戻り、ステップＳ１４以降の処理を実行する。一方、表示スイッチ１６がＯＮ状態となった場合（Ｓ１８：Ｙｅｓ）、操作用スイッチ画像の投影を終了する（Ｓ１９）。そして、運転者の操作指の位置および該位置の変化状態を検知する処理を終了し（Ｓ２０）、一連の処理を終了する。
【実施例２】
【００５０】
図５を用いて、本発明の応答動作実行処理について説明する。なお、本実施例は、上述の実施例１の変形例であるため、実施例１と同一の構成のものについては同一の符号を付与し、ここでの詳細な説明は割愛する。
【００５１】
車載装置１４には、シート装置４０が含まれる。シート装置４０は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，信号入出力回路等を含む、周知のコンピュータハードウェアであるシートＥＣＵ４１、およびシートＥＣＵ４１に接続された、周知のバイブレータあるいはマッサージ装置等に含まれ、シート座部に対して突き上げ動作を行う、シート座部突き上げモータ４２を含んで構成される。なお、シート装置４０が本発明の応答動作実行手段，座席振動手段に相当する。シート座部以外の背もたれ部に突き上げモータを設けてもよい。
【００５２】
図６を用いて、図５の構成における応答動作実行処理について説明する。なお、本処理は図４の変形例であり、ステップＳ３１〜Ｓ３４およびステップＳ３７〜Ｓ４０は、それぞれ、図４のステップＳ１１〜Ｓ１４およびステップＳ１７〜Ｓ２０と同様であるため、ここでの詳細な説明は割愛する。
【００５３】
操作用スイッチ画像（Ｐ１，…，Ｐｎ：図２参照）に対する上述のような所定入力操作が仮想的に実行された場合（Ｓ３４：Ｙｅｓ）、例えば以下のようにしてシート座部の突き上げ量（あるいは振動量）を決定する（Ｓ３５）。
・  シート座部突き上げモータ４２が動作していない場合には、予め定められた突き上げ量を用いる。
・  シート座部突き上げモータ４２が動作している場合には、現在の突き上げ量とは異なる（現在よりも大きいあるいは小さい）突き上げ量を用いる。
【００５４】
そして、決定されたシート座部の突き上げ量に関する情報とともに、この情報に基づいた動作を行うように、シート装置４０に指令を送る。シート装置４０は、機器制御部２４から送られてきた情報・指令に基づいて、シート座部突き上げモータ４２を駆動制御する（Ｓ３６）。そして、実行された所定入力操作に応じた車載機器１４の制御動作を実行する（Ｓ３７）。このとき、突き上げ量を、所定入力操作が仮想的に実行される前の状態に戻してもよい。
【００５５】
なお、上述の車両用操作装置は、助手席側にも設置して、助手席乗員が操作可能な構成としてもよい。
【００５６】
以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。
【図面の簡単な説明】
【００５７】
【図１】車両用操作装置の構成を示すブロック図（実施例１）。
【図２】車両用操作装置を搭載した車両の車室内を後部から前部に向かい見た図。
【図３】車両用操作装置の眼球センサ，操作指センサ，および網膜投影装置の車室内での配置位置の一例を示す図。
【図４】応答動作実行処理を説明するフロー図（実施例１）。
【図５】車両用操作装置の構成の別例を示すブロック図（実施例２）。
【図６】応答動作実行処理の別例を説明するフロー図（実施例２）。
【符号の説明】
【００５８】
１０    車両用操作装置
１１    眼球用センサ
１１ａ  眼球用カメラ
１２    操作指センサ
１２ａ  操作指用カメラ
１３    網膜投影装置（スイッチ投影表示手段）
１４    車載機器
１６    表示スイッチ
２１    視線検知部
２３    操作指検知部（位置検出手段）
２４    機器制御部（スイッチ操作判定手段，動作状態取得手段，風量決定手段，振動状態取得手段，振動量決定手段）
３０    空調装置（応答動作実行手段，送風手段）
４０    シート装置（応答動作実行手段，座席振動手段）
【図１】
0005136948.tif 000002
【図２】
0005136948.tif 000003
【図３】
0005136948.tif 000004
【図４】
0005136948.tif 000005
【図５】
0005136948.tif 000006
【図６】
0005136948.tif 000007