(57)【特許請求の範囲】
【請求項１】
車両に搭載される操作システムであって、
前記車両のユーザが操作可能な位置に配置されたタッチセンサと、
前記車両の前方方向であって、前記タッチセンサとは異なる箇所に操作画面を表示する表示装置と、
前記ユーザの視線を検出する視線検出装置と、を備え、
ユーザの視線が、前記タッチセンサが配置されている領域外の、前記操作画面が表示されている領域内にある場合には、前記タッチセンサへの操作を有効にすることを特徴とする操作システム。
【請求項２】
請求項１に記載の操作システムにおいて、
前記タッチセンサには、ユーザに対して触感を付与する触感付与手段が設けられていることを特徴とする操作システム。
【請求項３】
請求項１に記載の操作システムにおいて、
前記車両が停車している場合には、ユーザの視線が、前記操作画面が表示されている領域内にない場合でも、前記タッチセンサへの操作の無効化を行わないことを特徴とする操作システム。
【請求項４】
請求項１に記載の操作システムにおいて、
前記表示装置は、ユーザの略正面のフロントガラス部分に、前記操作画面を投影して表示させるヘッドアップディスプレイ装置であることを特徴とする操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作システムに関する。
【背景技術】
【０００２】
従来のタッチパネルは、ユーザの操作によってタッチパネル自体が物理的に変位しないため、操作に対するフィードバックがなく、ユーザは操作感を得ることができなかった。このため、ユーザの操作があった際にタッチパネルを振動させて、操作に対するフィードバックをユーザに与える技術が知られている。なお、本発明と関連する技術としては、例えば特許文献１がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2012-027765号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、操作内容を示す表示画面とタッチセンサとが別の電子機器である場合には、フィードバックを与えることによってブラインドでの操作が可能になる。例えば、車両に用いた場合には、表示画面を前方にすることで運転中でも前方視界から目を離さずにタッチセンサの操作が可能になるという効果が期待できる。しかしながら、ドライバが自身の意思で又は無意識の内にタッチセンサを見てしまう可能性もあり、この場合には安全面での問題が生じることが懸念される。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、ユーザがタッチセンサを操作する際に安全面での問題が生じることを回避することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、車両に搭載される操作システムであって、前記車両のユーザが操作可能な位置に配置されたタッチセンサと、前記車両の前方方向であって、前記タッチセンサとは異なる箇所に操作画面を表示する表示装置と、前記ユーザの視線を検出する視線検出装置と、を備え、ユーザの視線が、前記タッチセンサが配置されている領域外の、前記操作画面が表示されている領域内にある場合には、前記タッチセンサへの操作を有効にする操作システムである。
【００１１】
また、請求項２の発明は、請求項１に記載の操作システムにおいて、前記タッチセンサには、ユーザに対して触感を付与する触感付与手段が設けられている。
【００１２】
また、請求項３の発明は、請求項１に記載の操作システムにおいて、前記車両が停車している場合には、ユーザの視線が、前記操作画面が表示されている領域内にない場合でも、前記タッチセンサへの操作の無効化を行わない。また、請求項４の発明は、請求項１に記載の操作システムにおいて、前記表示装置は、ユーザの略正面のフロントガラス部分に、前記操作画面を投影して表示させるヘッドアップディスプレイ装置である。
【発明の効果】
【００１３】
請求項１ないし４の発明によれば、ユーザの視線に応じてタッチセンサを有効又は無効にするため、車両のユーザが操作する場合においても安全面での問題が生じることを回避することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】図１は、操作システムの概要を示す図である。
【図２】図２は、操作システムの概要を示す図である。
【図３】図３は、制御装置の概要を示す図である。
【図４】図４は、遠隔操作装置の概要を示す図である。
【図５】図５は、タッチパネルの概要を示す図である。
【図６】図６は、ＨＵＤ装置の概要を示す図である。
【図７】図７は、視線検出装置の概要を示す図である。
【図８】図８は、操作システムの処理を示すフローチャートである。
【図９】図９は、操作システムの概要を示す図である。
【図１０】図１０は、制御装置の概要を示す図である。
【図１１】図１１は、操作システムの処理を示すフローチャートである。
【図１２】図１２は、操作システムの概要を示す図である。
【図１３】図１３は、操作システムの概要を示す図である。
【図１４】図１４は、制御装置の概要を示す図である。
【図１５】図１５は、操作システムの処理を示すフローチャートである。
【図１６】図１６は、操作システムの概要を示す図である。
【図１７】図１７は、操作システムの概要を示す図である。
【図１８】図１８は、制御装置の概要を示す図である。
【図１９】図１９は、操作システムの処理を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００１６】
＜１．第１の実施の形態＞
＜１−１．システムの概要＞
図１及び図２は、操作システム１の概要を示す図である。本実施の形態では、自動車などの車両に搭載された操作システム１を例に用いて説明する。図１は、操作システム１が搭載される車両の車室内の様子を示す図である。図２は、操作システム１の概略構成を示す図である。
【００１７】
図１及び図２に示すように、操作システム１は、制御装置１０と、遠隔操作装置２０と、ヘッドアップディスプレイ装置（以下「ＨＵＤ装置」と記載する）３０と、視線検出装置４０とを備えている。制御装置１０は、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０の各々と電気的に接続されており、各装置との間で信号の送受信が可能である。
【００１８】
制御装置１０は、車両に設けられた他の装置（例えば遠隔操作装置２０等）を制御する。本実施の形態では、ユーザ（代表的にはドライバ）の視線に応じて遠隔操作装置２０の動作状態を制御するようになっており、制御装置１０はこのような制御を行う。
【００１９】
遠隔操作装置２０は、タッチセンサを備えた操作装置であり、車両のセンターコンソールのユーザの手の届く範囲に設けられている。そして、この遠隔操作装置２０を用いた操作内容を示す画像は、ＨＵＤ装置３０にて表示される。操作システム１では、ユーザはＨＵＤ装置３０が表示した画面を見ながら手元の遠隔操作装置２０を操作するようになっている。つまり、操作システム１は、操作する手元を見ることなく（ブラインドで）、遠隔での操作が可能なシステムである。
【００２０】
さらに、ユーザが遠隔操作装置２０のタッチセンサを操作すると、タッチセンサが振動する。これにより、ユーザは触感を得ることができるようになっており、すなわち操作に対するフィードバックを得ることができる。
【００２１】
ＨＵＤ装置３０は、ユーザの略正面のフロントガラス部分に画像を投影する装置である。ユーザは、このＨＵＤ装置３０が投影した画面を見ながら遠隔操作装置２０のタッチセンサを操作する。
【００２２】
また、視線検出装置４０は、ユーザの視線を検出する装置である。視線検出装置４０は、例えばカメラでユーザの顔を撮影し、その画像を解析することでユーザの視線を検出する。視線検出装置４０が検出したユーザの視線情報は、制御装置１０が遠隔操作装置２０の動作状態を制御する際に用いられる。
【００２３】
このように、操作システム１は、タッチセンサと表示画面とが異なる位置にあり、ユーザが遠隔で操作可能なシステムであって、ユーザの視線方向に応じてタッチセンサの動作状態を制御するシステムである。以下、各構成の具体的な内容について説明する。
【００２４】
＜１−２．システムの構成＞
操作システム１の具体的な構成について図３ないし図７を用いて説明する。まず、制御装置１０の構成について説明する。図３は、制御装置１０の概略構成を示す図である。図３に示すように、制御装置１０は、通信部１１、記憶部１２、及び、制御部１３を備えている。
【００２５】
通信部１１は、Ｗｉ−Ｆｉ（ワイファイ：登録商標）等による無線通信により遠隔操作装置２０と通信可能に接続され、遠隔操作装置２０との間で各種データの送受信を行う。また、通信部１１は、ＣＡＮ（Controller Area Network）等の車載ＬＡＮ（Local Area Network）を介してＨＵＤ装置３０及び視線検出装置４０の各装置と通信可能に接続されており、ＨＵＤ装置３０及び視線検出装置４０の各装置と各種データの送受信を行う。なお、これらの接続は一例であり、有線及び無線のいずれであってもよい。
【００２６】
記憶部１２は、電気的にデータの読み書きが可能であって、電源を遮断されていてもデータが消去されない不揮発性の半導体メモリである。記憶部１２としては、例えば、ＥＥＰＲＯＭ（Electrical Erasable Programmable Read-Only memory）やフラッシュメモリを用いることができる。ただし、他の記憶媒体を用いてもよく、磁気ディスクを備えたハードディスクドライブで構成することもできる。記憶部１２には、プログラム１２ａなどが記憶されている。プログラム１２ａは、制御部１３により読みだされ、制御部１３が制御装置１０を制御するために実行される、いわゆるシステムソフトウェアである。
【００２７】
制御部１３は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭなどを備えるマイクロコンピュータであり、主として制御装置１０や遠隔操作装置２０などを制御する。制御部１３のＣＰＵが記憶部１２に記憶されたプログラム１２ａを実行する（プログラム１２ａに従った演算処理を行う）ことにより、制御部１３として必要な各種の機能が実現される。
【００２８】
図３に示す操作判別部１３ａ、画像生成部１３ｂ、振動制御部１３ｃ、視線判定部１３ｄ及び動作制御部１３ｅは、プログラム１２ａの実行により実現される制御部１３の機能のうちの一部である。
【００２９】
操作判別部１３ａは、ユーザの操作内容を判別する。具体的には、操作判別部１３ａは、遠隔操作装置２０からユーザがタッチした位置の情報を取得して、この位置情報に基づいてユーザが遠隔操作装置２０を操作したことや、ジェスチャーなどの操作内容を判別する。例えば、操作判別部１３ａは、遠隔操作装置２０から取得した時間的に連続する位置情報をつないだ結果に基づいてユーザのジェスチャーを判別する。
【００３０】
画像生成部１３ｂは、ＨＵＤ装置３０が投影する画像データを生成し、通信部１１を介してＨＵＤ装置３０に送信する。例えば、ユーザが遠隔操作装置２０を操作してエアコンやオーディオなどの設定の調整指示を入力すると、画像生成部１３ｂは、対応する調整画像のデータを生成してＨＵＤ装置３０に送信する。これにより、ＨＵＤ装置３０は、対応する調整画像を投影して表示することになる。
【００３１】
振動制御部１３ｃは、操作判別部１３ａの判別結果に応じて遠隔操作装置２０のタッチセンサの振動を制御する。具体的には、振動制御部１３ｃは、ユーザが遠隔操作装置２０を操作すると、後述する振動素子を振動させる。例えば、振動制御部１３ｃは、振動素子を一定の強度で振動させたり、一定の周期で強弱を変化させながら振動させる等の制御を行う。
【００３２】
視線判定部１３ｄは、ユーザの視線が、ＨＵＤ装置３０が投影した画像の方向を向いているか否かを判定する。具体的には、視線判定部１３ｄは、視線検出装置４０が検出した視線の情報を取得し、その視線方向とＨＵＤ装置３０の投影画面の位置とを比較して判定する。
【００３３】
動作制御部１３ｅは、ユーザの視線に応じて遠隔操作装置２０の動作状態を制御する。例えば、ユーザの視線がＨＵＤ装置３０の投影画面の方向を向いている場合に、動作制御部１３ｅが遠隔操作装置２０の操作を有効にする等である。
【００３４】
次に、遠隔操作装置２０の構成について説明する。図４は、遠隔操作装置２０の概略構成を示す図である。図４に示すように、遠隔操作装置２０は、タッチセンサ２１、タッチセンサコントローラ２２、通信部２３、及び、振動素子２４を備えている。
【００３５】
なお、遠隔操作装置２０は、表示機能を有していないため、いわゆるタッチパッドとして機能する。また、遠隔操作装置２０のタッチセンサ２１の位置と、ＨＵＤ装置３０による投影画面の位置とが対応付けられており、ユーザはＨＵＤ装置３０によって投影された画面を見ながらタッチセンサ２１を操作することができるようになっている。
【００３６】
タッチセンサ２１は、ユーザが入力操作を行う平板状のセンサーである。なお、遠隔操作装置２０自身は表示機能を有しておらず、タッチセンサ２１はいわゆるタッチパッドとして機能する。例えば、ＨＵＤ装置３０の投影画面に表示されたコマンドボタンに対応するタッチセンサ２１上の領域を指でタッチすると、コマンドボタンに関連付けられた指示を行うことができる。
【００３７】
タッチセンサ２１の方式としては、例えば、静電容量の変化を捉えて位置を検出する静電容量方式を採用することができる。ユーザは、タッチセンサ２１の操作面に対して、一点でタッチする操作のみならず、複数点でタッチする操作であるマルチタッチを行うことも可能になっている。
【００３８】
タッチセンサコントローラ２２は、例えば、ハードウェア回路であり、タッチセンサ２１の動作を制御する。タッチセンサコントローラ２２は、タッチセンサ２１で生じた信号に基づいて、タッチセンサ２１の操作面中のユーザがタッチした位置を検出するタッチ検出部２２ａを備えている。
【００３９】
タッチ検出部２２ａは、例えば、駆動電極及び受信電極の２電極間の静電容量の変化を測定する相互容量方式で、ユーザがタッチした位置（例えばＸＹ座標）を検出する。タッチ検出部２２ａは、ユーザの指での電界の遮断によって受信電極が受信する電荷が減少することに基づいて、ユーザがタッチしたか否かを検出する。
【００４０】
タッチ検出部２２ａは、タッチセンサ２１の操作面に、ユーザが一点及び複数点のいずれでタッチしたかを判別することができる。そして、タッチ検出部２２ａは、タッチセンサ２１の操作面にユーザが一点でタッチした場合にはその一点の位置を検出し、ユーザが複数点でタッチした場合にはその複数点のそれぞれの位置を検出する。
【００４１】
通信部２３は、Ｗｉ−Ｆｉ（ワイファイ：登録商標）等による無線通信により制御装置１０と通信可能に接続され、制御装置１０との間で各種データの送受信を行う。例えば、通信部２３は、タッチ検出部２２ａで検出したユーザがタッチした位置情報（例えばＸＹ座標）を制御装置１０に送信し、制御装置１０から振動素子２４を振動させる制御信号（以下「振動制御信号」という）を受信する。
【００４２】
振動素子２４は、タッチセンサ２１の操作面を振動させる部材である。振動素子２４は、図５に示すように、タッチセンサ２１の操作面の周囲に複数配置されている。そして、この振動素子２４自身が振動することでタッチセンサ２１の操作面を振動させる。振動素子２４は、制御装置１０からの振動制御信号に基づいて振動する。この振動素子２４としては、例えば、ピエゾ素子などの圧電素子を用いることができる。
【００４３】
このように、振動素子２４が振動してタッチセンサ２１を振動させることでタッチセンサ２１を操作しているユーザに対して触感を与えることができる。すなわち、操作に対するフィードバックを与えることができる。
【００４４】
次に、ＨＵＤ装置３０の構成について説明する。図６は、ＨＵＤ装置３０の概略構成を示す図である。図６に示すように、ＨＵＤ装置３０は、信号受信部３１、画像処理部３２、プロジェクタ３３、及び、制御部３４を備えている。
【００４５】
信号受信部３１は、制御装置１０から画像データを受信する。例えば、ユーザが遠隔操作装置３０のタッチセンサ２１を操作してエアコンやオーディオ等の設定を調整する指示を入力すると、制御装置１０から対応する調整画像のデータを受信する。
【００４６】
画像処理部３２は、信号受信部３１が受信した画像データに対して表示に必要な処理を行い、処理後の画像データをプロジェクタ３３に出力する。
【００４７】
プロジェクタ３３は、例えば、ＤＬＰ（登録商標）やＬＣＯＳなどの方式を用いて、画像データの画像を示す投影光をレンズから照射し、フロントガラスや専用のスクリーンに投影して画像を表示させる。
【００４８】
制御部３４は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えるマイクロコンピュータであり、ＨＵＤ装置３０全体を統括的に制御する。
【００４９】
次に、視線検出装置４０の構成について説明する。図７は、視線検出装置４０の概略構成を示す図である。図７に示すように、視線検出装置４０は、視線カメラ４１、制御部４２、及び、通信部４３を備えている。
【００５０】
視線カメラ４１は、視線検出用のカメラであり、ユーザの顔（特に目）を写すためのカメラである。したがって、この視線カメラ４１は、被写体となるユーザ（ドライバ）の略正面のインストルメントパネル付近に設けられている。視線カメラ４１としては、視線検出に用いることができるものであれば特に限定されるものではなく、可視光カメラや赤外線カメラを用いることができる。なお、赤外線カメラを用いる場合には、赤外線ＬＥＤなどを別途設け、ユーザの顔に赤外光を照射した状態で撮影する。
【００５１】
制御部４２は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えるマイクロコンピュータであり、視線検出装置４０全体を統括的に制御する。制御部４２は、視線カメラ４１の撮影データを用いてユーザの視線を検出する視線検出部４２ａを備えている。
【００５２】
視線検出部４２ａは、例えば、視線カメラ４１で撮影した撮影データの中からユーザの目に該当する画像データを抽出する。そして、目に該当する画像データの中から動きのない点と、動きのある点とを抽出する。そして、視線検出部４２ａは、これら各点の位置関係に基づいてユーザの視線を検出する。なお、視線の検出方法については後述する。
【００５３】
通信部４３は、ＣＡＮ等の車載ＬＡＮを介して制御装置１０と通信可能に接続されており、制御装置１０と各種データの送受信を行う。例えば、視線検出装置４０は、視線検出部４２ａで検出した視線情報を、通信部４３を介して制御装置１０に送信する。
【００５４】
＜１−３．触感の発生方法と種類＞
ここで、タッチセンサ２１を振動させることによって触感を発生させる方法と、触感の種類について説明する。
【００５５】
図５は、タッチセンサ２１を模式的に表した図である。上述したように、タッチセンサ２１の周囲には、複数の振動素子２４が配置されている。なお、本実施の形態では、対向する２辺に並べて配置しているが、これに限定されるものではなく、任意の辺に任意の数の振動素子２４を配置すればよい。
【００５６】
触感を発生させるためには、まず制御装置１０からの振動制御信号に基づいて振動素子２４を高速で振動させる。この高速での振動とは例えば超音波振動である。振動素子２４を超音波振動させることでタッチセンサ２１の表面を超音波振動させることができる。図５に示すような対向する２辺に配置した振動素子２４を振動させればタッチセンサ２１全面を略均一に振動させることができる。
【００５７】
タッチセンサ２１表面が超音波振動した状態でタッチセンサ２１表面を指で操作すると、指と高速で振動しているタッチセンサ２１表面との間に高圧の空気膜が発生して摩擦抵抗が減少する。これにより、ユーザは、振動していない状態に比べてツルツルと滑らかにすべる触感（以下「ツルツル感」という）を得ることができる。
【００５８】
また、タッチセンサ２１表面を超音波振動させた状態のときに振動素子２４の振動を停止させると、タッチセンサ２１表面の超音波振動も停止する。すると、タッチセンサ２１表面の摩擦抵抗は、減少していた状態から本来の状態（振動していない状態）に戻る。すなわち、低摩擦の状態から高摩擦の状態に変化する。この場合、ツルツル感のあった触感からひっかかりの感じる触感に変化する。ユーザは、このツルツル感からひっかかりの感じる触感に変化する際にカチッとした触感を得ることができる。このカチッとした触感を以下においては「クリック感」という。
【００５９】
また、振動素子２４の振動強度に変化をつけてタッチセンサ２１表面を超音波振動させると、タッチセンサ２１表面を相対的に大振幅で振動させたり小振幅で振動させたりすることが可能になる。これにより、タッチセンサ２１表面を高摩擦状態と低摩擦状態とが繰り返された状態にすることができる。つまり、ユーザは、ツルツル感とクリック感とを交互に触感として感じることになり、この場合凸凹した触感やザラザラした触感（以下「ザラザラ感」という）を得ることができる。
【００６０】
また、振動の強弱の大きさを変えたり、強弱を変化させる周期を変えることでザラザラ度合いを変化させることができる。これにより、ザラザラ度合いの強いザラザラ感や弱いザラザラ感、またザラザラ感の疎密度感など、段階的に複数種類のザラザラ感を実現することが可能になる。
【００６１】
このように、本実施の形態では、振動素子２４を超音波振動させてタッチセンサ２１表面を超音波振動させることで、ユーザに対して触感を与えることができる。また、超音波振動の開始や停止のタイミング、強弱などを適宜制御すれば、その表面の摩擦抵抗を変化させることができ、それを利用することで種々の触感を与えることが可能になっている。
【００６２】
＜１−４．視線の検出と動作状態の制御＞
次に、ユーザの視線を検出する処理について説明する。本実施の形態では、上述したように、カメラを用いて撮影した画像データからユーザの視線を検出している。以下、具体的に説明する。
【００６３】
視線検出装置４０は、既存のアルゴリズムを用いて、視線カメラ４１で撮影した画像データに含まれる人間の顔や目を抽出する。これら既存のアルゴリズムとしては、顔のパーツの形や大きさ、相対位置などを元にして認識するものや、テンプレートマッチングにより認識するもの、３次元の輪郭などの特徴を抽出するものなど、種々のものを用いることができる。
【００６４】
そして、視線検出装置４０は、目に該当する画像データの中から動きのない点を基準点として設定し、動きのある点を動点として設定する。視線カメラ４１として可視光カメラを用いた場合には、例えば、目頭を基準点として設定し、虹彩を動点として設定する。そして、視線検出部４２ａが、虹彩と目頭との位置関係に基づいてユーザの視線を検出する。つまり、ユーザがいずれの方向を見ているかを検出する。例えば、左目の虹彩が目頭から離れていれば、ユーザは左側を見ている等である。
【００６５】
また、視線カメラ４１として赤外線カメラを用いた場合には、例えば、赤外光を照射してできた反射光の角膜上の位置（角膜反射）を基準点として設定し、瞳孔を動点として設定する。そして、視線検出部４２ａが、角膜反射と瞳孔との位置関係に基づいてユーザの視線を検出する。つまり、ユーザがいずれの方向を見ているかを検出する。例えば、左目の角膜反射よりも瞳孔が目じり側にあれば、ユーザは左側を見ている等である。
【００６６】
視線検出装置４０は、視線を検出すると、その情報を制御装置１０に送信する。そして、制御装置１０は、視線情報を受信するとその情報に基づいて遠隔操作装置２０の動作状態を制御するようになっている。そこで、以下において、制御装置１０による遠隔操作装置２０の動作状態の制御について説明する。
【００６７】
制御装置１０は、視線検出装置４０から視線情報を受信すると、視線判定部１３ｄが、ＨＵＤ装置３０によって投影された画像が表示される領域（以下「投影画面領域」という）内にユーザの視線が含まれているか否かを判定する。投影画面領域の位置は予め定められているため、視線判定部１３ｄは、視線情報に基づいて導出したユーザの視線（の延長線）が投影画面領域内にあるか否かを判定する。
【００６８】
視線検出装置４０は、所定の間隔でユーザの視線を検出している。所定の間隔とは例えば１００ｍｓである。したがって、制御装置１０は、視線検出装置４０から１００ｍｓ毎に視線情報を受信して、各視線情報毎にユーザの視線が投影画面領域内にあるか否かを判定している。
【００６９】
視線判定部１３ｄは、ユーザの視線が投影画面領域内にあるとの判定結果が所定回数以上連続した場合に、ユーザは投影画面領域を見ていると判定する。視線判定部１３ｄは、それ以外の場合には、ユーザは投影画面領域を見ていないと判定する。所定回数は、ユーザが投影画面領域を見ていると判定可能な回数であればよく、適宜設定可能である。
【００７０】
ユーザが投影画面領域を見ている場合には、動作制御部１３ｅは、遠隔操作装置２０の操作を有効にする。例えば、動作制御部１３ｅが、遠隔操作装置２０の電源をオンにする制御をしたり、遠隔操作装置２０への操作を受け付ける制御をしたり、遠隔操作装置２０から受信した操作位置の情報を有効な情報として処理する等である。
【００７１】
一方、ユーザが投影画面領域を見ていない場合には、動作制御部１３ｅは、遠隔操作装置２０の操作を無効にする。例えば、動作制御部１３ｅが、遠隔操作装置２０の電源をオフにする制御をしたり、遠隔操作装置２０への操作を禁止する制御をしたり、遠隔操作装置２０から受信した操作位置の情報を無効な情報として処理する等である。
【００７２】
＜１−５．システムの処理＞
次に、操作システム１の処理について説明する。図８は、視線検出装置４０及び制御装置１０の処理を示すフローチャートである。視線検出装置４０及び制御装置１０は、電源が投入されて起動することにより処理を開始する。
【００７３】
まず、視線検出装置４０は、ユーザの視線を検出する（ステップＳ１０）。これは、上述したように、視線カメラ４１で撮影した画像データに基づいて視線検出部４２ａが基準点及び動点を設定して行う。そして、視線検出装置４０は、検出した視線に関する情報（視線情報）を制御装置１０に送信する（ステップＳ１１）。
【００７４】
視線検出装置４０は、この視線検出処理を所定の間隔で繰り返し実行する。所定の間隔とは、例えば１００ｍｓであるが、これに限定されるものではない。制御装置１０が、ユーザが投影画面領域を見ているか否かの判定を行うことができる程度の間隔であればよく、適宜設定可能である。なお、視線検出装置４０は、電源がオフしたり、処理の停止指示があると処理を終了する。
【００７５】
そして、制御装置１０が視線情報を受信し（ステップＳ２０）、判定処理を実行する（ステップＳ２１）。この判定処理は、ユーザの視線が投影画面領域内にあるか否かを判定する処理である。上述したように、投影画面領域の位置は予め定められているため、視線判定部１３ｄは、ユーザの視線（の延長線）がこの予め定められた領域内に含まれるか否かを判定する。なお、この判定処理は、定期的に受信する全視線情報に対して実行される。
【００７６】
そして、制御装置１０は、ユーザの視線が投影画面領域に含まれているとの判定結果が、所定回数連続したか否かを判定する（ステップＳ２２）。所定回数連続した場合には（ステップＳ２２でＹｅｓ）、視線判定部１３ｄは、ユーザが投影画面を見ていると判定し、動作制御部１３ｅが遠隔操作装置２０を有効にする（ステップＳ２３）。すなわち、動作制御部１３ｅは、動作状態の制御として、遠隔操作装置２０の電源のオンや、操作の受け付けや、遠隔操作装置２０からの受信信号の有効化等を実行する。
【００７７】
一方、所定回数連続していない場合には（ステップＳ２２でＮｏ）、視線判定部１３ｄは、ユーザが投影画面を見ていないと判定し、動作制御部１３ｅが遠隔操作装置２０を無効にする（ステップＳ２４）。すなわち、動作制御部１３ｅは、動作状態の制御として、遠隔操作装置２０の電源のオフや、操作の禁止や、遠隔操作装置２０からの受信信号の無効化等を実行する。
【００７８】
このように、前方の表示画面を見ながら手元のタッチセンサを操作するような遠隔操作のシステムにおいて、ユーザが表示画面を見ているときだけタッチセンサの操作を有効にするため、安全面での問題が生じることを回避することができると共に、誤操作を低減させることができる。
【００７９】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、ユーザの視線を検出し、ユーザが投影画面領域を見ているか否かに応じて遠隔操作装置２０の動作状態を制御する内容について説明したが、これに限定されるものではない。例えば、ユーザが遠隔操作装置２０を見ているか否かに応じて遠隔操作装置２０自身の動作状態を制御する内容としてもよい。以下においては、この内容について第１の実施の形態と異なる点を中心に説明する。
【００８０】
＜２−１．構成＞
図９は、本実施の形態にかかる操作システム２の概略構成を示す図である。図９に示すように、操作システム２は、第１の実施の形態で説明した操作システム１と略同様の構成を有しており、制御装置１４、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０を備えている。このうち、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０は、第１の実施の形態の各装置と同様の構成である。
【００８１】
そこで、制御装置１４の構成について第１の実施の形態との相違点を中心に図１０を用いて説明する。図１０は、制御装置１４の概略構成を示す図である。
【００８２】
図１０に示すように、制御装置１４は、通信部１１、記憶部１２、及び、制御部１３を備えている。このうち、通信部１１及び記憶部１２は、第１の実施の形態の各部と同様の構成である。また、制御部１３のうち、操作判別部１３ａ、画像生成部１３ｂ及び振動制御部１３ｃの機能は、第１の実施の形態で説明した各機能と同様である。これに対して、視線判定部１３ｆ及び動作制御部１３ｇの機能が、第１の実施の形態で説明した各機能と相違する。このため、以下においては、視線判定部１３ｆ及び動作制御部１３ｇについて説明する。
【００８３】
第１の実施の形態の視線判定部１３ｄは、ユーザの視線が投影画面領域内に含まれるか否かを判定するのに対して、本実施の形態の視線判定部１３ｆは、ユーザの視線が遠隔操作装置２０のタッチセンサ２１が配置された領域（以下「タッチセンサ領域」という）に含まれるか否かを判定する。
【００８４】
また、第１の実施の形態の動作制御部１３ｅは、ユーザが投影画面領域を見ている場合に遠隔操作装置２０を有効にし、見ていない場合に無効にするのに対して、本実施の形態の動作制御部１３ｇは、ユーザがタッチセンサ領域を見ている場合に遠隔操作装置２０を無効にし、見ていない場合に有効にする。
【００８５】
＜２−２．処理＞
次に、本実施の形態の操作システム２の処理について説明する。図１１は、本実施の形態にかかる操作システム２の処理を示すフローチャートである。
【００８６】
図１１に示すように、まず、視線検出装置４０がユーザの視線を検出し（ステップＳ１０）、その結果としての視線情報を制御装置１４に送信する（ステップＳ１１）。これらの処理は、第１の実施の形態と同様の処理である。
【００８７】
そして、制御装置１４は、視線情報を受信すると（ステップＳ３０）、判定処理を実行する（ステップＳ３１）。この判定処理は、ユーザの視線がタッチセンサ領域内にあるか否かを判定する処理である。本実施の形態においても、タッチセンサ領域の位置が予め定められており、視線判定部１３ｆは、ユーザの視線（の延長線）がこのタッチセンサ領域内に含まれるか否かを判定する。なお、この判定処理は、定期的に受信する全視線情報に対して実行される。
【００８８】
次に、制御装置１４は、ユーザの視線がタッチセンサ領域内にあるとの判定結果が所定回数連続したか否かを判定する（ステップＳ３２）。所定回数連続した場合には（ステップＳ３２でＹｅｓ）、視線判定部１３ｆは、ユーザがタッチセンサ領域を見ていると判定し、動作制御部１３ｇが遠隔操作装置２０を無効にする（ステップＳ３３）。すなわち、動作制御部１３ｇは、動作状態の制御として、遠隔操作装置２０の電源のオフや、操作の禁止や、遠隔操作装置２０からの受信信号の無効化等を実行する。
【００８９】
一方、所定回数連続していない場合には（ステップＳ３２でＮｏ）、視線判定部１３ｆでは、ユーザがタッチセンサ領域を見ていないと判定し、動作制御部１３ｇが遠隔操作装置２０を有効にする（ステップＳ３４）。すなわち、動作制御部１３ｇは、動作状態の制御として、遠隔操作装置２０の電源のオンや、操作の受け付けや、遠隔操作装置２０からの受信信号の有効化等を実行する。
【００９０】
以上のように、ユーザがタッチセンサ領域を見ている場合には、ユーザであるドライバが前方視界から目を離していることを示しているため、タッチセンサ２１の操作を有効にすると安全面の問題が懸念される。そこで、本実施の形態では、ユーザがタッチセンサ２１を見ている場合には、タッチセンサ２１の動作状態を無効にし、見ていない場合に有効にするような制御を行っている。
【００９１】
これにより、前方の表示画面を見ながら手元のタッチセンサを操作するような遠隔操作のシステムにおいて、ユーザがタッチセンサを見ていないときだけタッチセンサの操作を有効にするため、安全面での問題が生じることを回避することができると共に、誤操作を低減させることができる。
【００９２】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１の実施の形態では、ユーザの視線を検出し、ユーザが投影画面領域を見ているか否かに応じて遠隔操作装置２０の動作状態を制御する内容について説明した。本実施の形態では、他の操作装置をさらに備え、ユーザの視線に応じて遠隔操作装置２０及び他の操作装置の動作状態を併せて制御する内容である。以下においては、この内容について第１の実施の形態と異なる点を中心に説明する。
【００９３】
＜３−１．構成＞
図１２は、本実施の形態に係る操作システム３が搭載される車室内の様子を示す図である。図１３は、操作システム３の概略構成を示す図である。図１２及び図１３に示すように、操作システム３は、第１の実施の形態で説明した操作システム１とほぼ同様の構成を有しており、制御装置１５、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０を備えている。このうち、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０は、第１の実施の形態の各装置と同様の構成である。
【００９４】
そこで、制御装置１５の構成について第１の実施の形態との相違点を中心に説明する。制御装置１５は、車両のセンターコンソールなどのユーザが視認可能な位置に設けられ、少なくとも表示部とタッチセンサを有する電子機器である。また、制御装置１５は、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０の各々と電気的に接続されており、各装置との間で信号の送受信が可能である。
【００９５】
図１４は、制御装置１５の概略構成を示す図である。図１４に示すように、制御装置１５は、通信部１１、記憶部１２、制御部１３、表示部１６、タッチセンサ１７、及び、タッチセンサコントローラ１８を備えている。このうち、通信部１１及び記憶部１２は、第１の実施の形態で説明した各部と同様の構成である。
【００９６】
また、制御部１３のうち、操作判別部１３ａ、画像生成部１３ｂ、振動制御部１３ｃ及び視線判定部１３ｄは、第１の実施の形態で説明した制御部１３が有する各機能と同様である。これに対して、動作制御部１３ｈは、第１の実施の形態の動作制御部１３ｅとは一部異なる機能であり、表示制御部１３ｉは、本実施の形態の制御部１３にて新たに実現される機能である。
【００９７】
動作制御部１３ｈは、ユーザの視線に応じて遠隔操作装置２０及びタッチセンサ１７の動作状態を制御する。例えば、ユーザの視線がＨＵＤ装置３０の投影画面領域の方向を見ている場合に、動作制御部１３ｈは、遠隔操作装置２０のタッチセンサ２１（第１のタッチセンサ）の操作を有効にすると共にタッチセンサ１７（第２のタッチセンサ）の操作を無効にする等である。
【００９８】
表示制御部１３ｉは、エアコンやオーディオなどの設定値を調整するための調整画像を表示部１６に表示させる制御を行う。また、制御装置１５がナビゲーション機能を有している場合には、表示制御部１３ｉは、地図画像やナビゲーション画像を表示部１６に表示させる制御も行う。
【００９９】
表示部１６は、調整画像や地図画像などを表示する表示装置であり、例えば液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等である。
【０１００】
タッチセンサ１７は、ユーザが操作内容を入力する平板状のセンサーである。タッチセンサ１７は、表示部１６の表示面上に（ユーザ側の面上に）設けられている。すなわち、表示部１６及びその表示面上に設けられたタッチセンサ１７がいわゆるタッチパネルとして機能する。
【０１０１】
表示部１６の表示面には、適宜、ユーザの指示を受け付けるコマンドボタンが表示される。ユーザは、このようなコマンドボタンの領域に対応するタッチセンサ１７の操作面中の領域に指でタッチすることで、コマンドボタンに関連付けられた指示を制御装置１５に行うことができる。
【０１０２】
また、タッチセンサ１７に振動素子を配置して、ユーザのタッチセンサ１７の操作に応じて振動素子を振動させるようにしてもよい。振動素子が振動することでタッチセンサ１７の操作面も振動してユーザに対して触感を与えることができる。タッチセンサ１７の方式は、上記タッチセンサ２１と同様に、例えば静電容量方式を用いることができる。
【０１０３】
タッチセンサコントローラ１８も、上記タッチセンサコントローラ２２と同様の構成である。すなわち、タッチセンサコントローラ１８は、タッチセンサ１７で生じた信号に基づいて、タッチセンサ１７の操作面中のユーザがタッチした位置を検出するタッチ検出部１８ａを備えており、このタッチ検出部１８ａが、ユーザがタッチしたか否かと、タッチした位置とを検出する。
【０１０４】
＜３−２．処理＞
次に、本実施の形態の操作システム３の処理について説明する。図１５は、本実施の形態にかかる操作システム３の処理を示すフローチャートである。
【０１０５】
図１５に示すように、まず、視線検出装置４０がユーザの視線を検出し（ステップＳ１０）、その結果としての視線情報を制御装置１５に送信する（ステップＳ１１）。これらの処理は、第１の実施の形態と同様の処理である。
【０１０６】
そして、制御装置１５は、視線情報を受信すると（ステップＳ４０）、判定処理を実行して、ユーザの視線が投影画面領域に含まれているか否かを判定する（ステップＳ４１）。次いで、ユーザの視線が投影画面領域に含まれているとの判定結果が所定回数連続したか否かを判定する（ステップＳ４２）。これら各処理も、第１の実施の形態の処理（ステップＳ２０、Ｓ２１及びＳ２２）と同様の処理である。
【０１０７】
そして、所定回数連続した場合には（ステップＳ４２でＹｅｓ）、視線判定部１３ｄは、ユーザが投影画面を見ていると判定する。そして、動作制御部１３ｈが、遠隔操作装置２０を有効にする（ステップＳ４３）と共に、制御装置１５のタッチセンサ１７を無効にする（ステップＳ４４）。すなわち、動作制御部１３ｈは、動作状態の制御として、遠隔操作装置２０の電源のオンや、操作の受け付けや、遠隔操作装置２０からの受信信号の有効化等を実行する。また、動作制御部１３ｈは、動作状態の制御として、タッチセンサ１７への操作の禁止や、タッチ検出部１８ａが取得した情報の無効化等を実行する。また、タッチセンサ１７を無効にする際には、表示部１６が、黒画像や白画像などのタッチセンサ１７への操作ができないことをユーザに認識させる画像を表示してもよい。
【０１０８】
一方、所定回数連続していない場合には（ステップＳ４２でＮｏ）、視線判定部１３ｄは、ユーザが投影画面を見ていないと判定する。そして、動作制御部１３ｈが、遠隔操作装置２０を無効にする（ステップＳ４５）と共に、制御装置１５のタッチセンサ１７を有効にする（ステップＳ４６）。すなわち、動作制御部１３ｈは、動作状態の制御として、遠隔操作装置２０の電源のオフや、操作の禁止や、遠隔操作装置２０からの受信信号の無効化等を実行する。また、動作制御部１３ｈは、動作状態の制御として、タッチセンサ１７への操作の受け付けや、タッチ検出部１８ａが取得した情報の有効化等を実行する。
【０１０９】
このように、前方視界に表示された画面を見ながら手元のタッチセンサを操作するような遠隔操作装置と、前方視界以外の表示画面を見ながら操作する操作装置とを備えたシステムにおいても、ユーザが前方視界に表示された画面を見ているときだけ手元のタッチセンサの操作を有効にして、前方視界以外の表示画面の操作を無効にするため、安全面での問題が生じることを回避することができると共に、誤操作を低減させることができる。
【０１１０】
＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。本実施の形態に係る操作システムは、ユーザの視線を検出してユーザが見ている装置に関する操作を遠隔操作装置で行うことができるようにするシステムである。
【０１１１】
＜４−１．構成＞
図１６は、本実施の形態に係る操作システム４が搭載される車室内の様子を示す図である。図１７は、操作システム４の概略構成を示す図である。図１６及び図１７に示すように、操作システム４は、第３の実施の形態で説明した操作システム１とほぼ同様の構成を有しており、制御装置１９、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０を備えている。このうち、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０は、第１の実施の形態の各装置と同様の構成である。
【０１１２】
そこで、制御装置１９の構成について第３の実施の形態との相違点を中心に説明する。制御装置１９は、車両のセンターコンソールなどのユーザが視認可能な位置に設けられ、少なくとも表示部とタッチセンサを有する電子機器である。また、制御装置１９は、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０の各々と電気的に接続されており、各装置との間で信号の送受信が可能である。
【０１１３】
図１８は、制御装置１９の概略構成を示す図である。図１８に示すように、制御装置１９は、通信部１１、記憶部１２、制御部１３、表示部１６、タッチセンサ１７、及び、タッチセンサコントローラ１８を備えている。このうち、制御部１３以外の各部は第３の実施の形態で説明した各部と同様の構成である。
【０１１４】
また、制御部１３のうち、操作判別部１３ａ、画像生成部１３ｂ、振動制御部１３ｃ及び表示制御部１３ｉは、第３の実施の形態で説明した制御部１３が有する各機能と同様である。これに対して、視線判定部１３ｊ及び動作制御部１３ｋは、第３の実施の形態の各部とは一部異なる機能を有している。
【０１１５】
視線判定部１３ｊは、ユーザの視線方向が車両内のどの領域に含まれるのかを判定する。すなわち、ユーザが車両内のどの位置を見ているのかを判定する。また、視線判定部１３ｊは、ユーザの視線方向に配置されている電子機器や車両設備など（以下「装置等」という）を判定する。すなわち、ユーザが見ている装置等が何であるのかを判定する。
【０１１６】
具体的には、視線判定部１３ｊは、視線検出装置４０が検出した視線情報を取得すると、ユーザの視線方向が含まれる領域を判定する。そして、判定された領域と車両内の装置等の配置情報とを比較して、ユーザの視線方向に配置されている装置等を判定する。
【０１１７】
装置等とは、例えば、表示装置やエアコン吹き出し口やオーディオ装置などである。この例の場合、例えば、センターコンソールの中央部分に相当する位置には表示装置が配置されているという情報や、ダッシュボード左側に相当する位置にはエアコンの吹き出し口５０が配置されているという情報が配置情報となる。このように、配置情報は、装置等と、その装置等が配置されている車両内空間における位置とを対応付けた情報である。
【０１１８】
動作制御部１３ｋは、ユーザの視線方向に配置されている装置等の種類に応じて、遠隔操作装置２０の動作状態を制御する。例えば、ユーザの視線がエアコン吹き出し口の方向を向いている場合には、動作制御部１３ｋは、遠隔操作装置２０をエアコンの設定調整が可能なモードとなるように制御する等である。
【０１１９】
＜４−２．処理＞
次に、本実施の形態の操作システム４の処理について説明する。図１９は、本実施の形態にかかる操作システム４の処理を示すフローチャートである。
【０１２０】
図１９に示すように、まず、視線検出装置４０がユーザの視線を検出し（ステップＳ１０）、その結果としての視線情報を制御装置１９に送信する（ステップＳ１１）。これらの処理は、第１の実施の形態と同様の処理である。
【０１２１】
そして、制御装置１９は、視線情報を受信すると（ステップＳ５０）、領域判定処理を実行する（ステップＳ５１）。この領域判定処理は、ユーザの視線方向に対応する車両内の領域を判定する処理である。視線判定部１３ｊは、ユーザの視線の延長線が車両内のどの領域に含まれるかを判定する。なお、この領域判定処理は、定期的に受信する全視線情報に対して実行される。
【０１２２】
そして、制御装置１９は、ユーザの視線が同じ領域内にあるとの判定結果が、所定回数連続したか否かを判定する（ステップＳ５２）。つまり、ユーザが同じ領域を一定時間見ていたか否かを判定している。所定回数連続しない場合には（ステップＳ５２でＮｏ）、ユーザは同じ領域を見続けていないとして処理を終了する。
【０１２３】
一方、所定回数連続した場合には（ステップＳ５２）、制御装置１９は、装置判定処理を実行する（ステップＳ５３）。すなわち、視線判定部１３ｊは、ユーザの視線が所定回数連続して含まれた領域内に存在する装置等が何であるかを判定する。すなわち、ユーザが何の装置等を見ているかを判定する。本実施の形態では、車室内のどの領域に何の装置等が配置されているかの配置情報が予め定められており、視線判定部１３ｄは、この配置情報に基づいて、ユーザの視線方向に存在する装置等を判定する。
【０１２４】
そして、制御装置１９は、モード制御処理を実行する（ステップＳ５４）。すなわち、動作制御部１３ｋは、ユーザの視線方向に存在すると判定された装置等に対応したモードとなるように遠隔操作装置２０やＨＵＤ装置３０を制御する。
【０１２５】
例えば、視線判定部１３ｊが、ユーザの視線がダッシュボード左側の領域にあると所定回数連続して判定した場合には、視線判定部１３ｊは、さらに、配置情報に基づいてその領域にはエアコンの吹き出し口が存在すると判定する。すると、動作制御部１３ｋは、遠隔操作装置２０及びＨＵＤ装置３０をエアコンの操作が可能なモードに制御する。具体的には、動作制御部１３ｋのモード制御により、ＨＵＤ装置３０が温度調整や風量調整などの調整像を投影表示し、遠隔操作装置２０がタッチセンサ２１にて調整画像に対応した入力操作を受け付け可能な状態になる。すなわち、ユーザがエアコンの調整操作が可能なエアコン操作モードが起動する。
【０１２６】
そして、制御装置１９は、再び視線検出装置４０から視線情報を受信して（ステップＳ５５）、判定処理を実行する（ステップＳ５６）。そして、制御装置１９は、ユーザの視線が投影画面領域に含まれているとの判定結果が、所定回数連続したか否かを判定する（ステップＳ５７）。
【０１２７】
そして、判定結果が所定回数連続した場合には（ステップＳ５７でＹｅｓ）、動作制御部１３ｋが遠隔操作装置２０を有効にする（ステップＳ５８）。一方、判定結果が所定回数連続していない場合には（ステップＳ５７でＮｏ）、動作制御部１３ｋが遠隔操作装置２０を無効にする（ステップＳ５９）。これら各処理は、第１の実施の形態のステップＳ２０〜Ｓ２４と同様の処理である。
【０１２８】
なお、ステップＳ５２にて所定回数連続していないと判定した場合においても、遠隔操作装置２０への操作を無効にする。この場合、所定回数連続していないと判定されると、動作制御部１３ｋは、動作状態の制御として、遠隔操作装置２０の電源のオフや、操作の禁止や、遠隔操作装置２０からの受信信号の無効化等を実行する。
【０１２９】
このように、ユーザが実際に見ている装置に対応する操作モードが起動するため、ユーザは手元を見ることなく所望の装置を操作することが可能となり利便性が向上すると共に、誤操作を低減させることが可能になる。また、ユーザが表示画面を見ているときだけタッチセンサの操作を有効にするため、安全面での問題が生じることを回避することができると共に、誤操作を低減させることができる。
【０１３０】
なお、ステップＳ５２での所定回数とステップＳ５７での所定回数とでは、ステップＳ５７の所定回数を多くすることが好ましい。すなわち、ユーザが投影画面領域を見ているかの決定判断の時間は、ユーザが車両内のどの領域を見ているかの決定判断の時間よりも短くすることが好ましい。また、各判断の決定時には対応する効果音を出力することが好ましい。
【０１３１】
また、本実施の形態においては、制御装置１９がモード制御処理（ステップＳ５４）を実行すると、遠隔操作装置２０への操作を有効にする構成としてもよい。この場合、制御装置１９は、図１９のステップＳ５５〜Ｓ５９の処理は行わず、ユーザの操作を受け付け可能な状態となる。また、ステップＳ５２でＮｏの場合には処理は終了する。
【０１３２】
＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記各実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記各実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１３３】
上記各実施の形態では、操作システムは車両に搭載され、安全面での問題を回避するシステムの例について説明している。すなわち、例えば、ユーザがＨＵＤ装置の投影画面を見ていないときは遠隔操作装置への操作を無効にする等である。しかしながら、車両が停車しているときは、ユーザが遠隔操作装置を操作しても安全面に問題が生じることはないため、必ずしもこのような場合にまでも無効にする必要はない。
【０１３４】
したがって、上記各実施の形態における操作システムは、車両が停車している場合には、遠隔操作装置への操作の無効化処理は行わない構成としてもよい。車両が停車している場合とは、例えば、車速が０の場合やパーキングブレーキがオンの場合などである。
【０１３５】
また、上記各実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１３６】
１・２・３・４    操作システム
１０・１４・１５・１９    制御装置
２０    遠隔操作装置
３０    ＨＵＤ装置
４０    音声出力装置
【図１】
0006549839.tif 000002
【図２】
0006549839.tif 000003
【図３】
0006549839.tif 000004
【図４】
0006549839.tif 000005
【図５】
0006549839.tif 000006
【図６】
0006549839.tif 000007
【図７】
0006549839.tif 000008
【図８】
0006549839.tif 000009
【図９】
0006549839.tif 000010
【図１０】
0006549839.tif 000011
【図１１】
0006549839.tif 000012
【図１２】
0006549839.tif 000013
【図１３】
0006549839.tif 000014
【図１４】
0006549839.tif 000015
【図１５】
0006549839.tif 000016
【図１６】
0006549839.tif 000017
【図１７】
0006549839.tif 000018
【図１８】
0006549839.tif 000019
【図１９】
0006549839.tif 000020