(57)【要約】【課題】各画面を容易に選択できる車載用情報処理システムを提供する。【解決手段】車載用情報処理システム１０は、複数の画面を有する表示部１１と、操作者の操作手の少なくとも一部の動作を検出する操作部１４と、検出された動作に基づいて、操作者が表示内容を操作するための画面を選択する制御部１５と、を備える。【選択図】図１
2017197016.tif 000002
【特許請求の範囲】
【請求項１】
複数の画面を有する表示部と、
操作者の操作手の少なくとも一部の動作を検出する操作部と、
検出された前記動作に基づいて、前記操作者が表示内容を操作するための前記画面を選択する制御部と、を備える、
車載用情報処理システム。
【請求項２】
前記制御部は、現在選択されている前記画面から次に選択される前記画面への移動方向を、検出された前記動作の方向に対応させる、
請求項１に記載の車載用情報処理システム。
【請求項３】
前記表示部は、奥行き方向に異なる複数の表示レイヤを有する画面を含む、
請求項１又は２に記載の車載用情報処理システム。
【請求項４】
前記制御部は、現在選択されている前記表示レイヤから次に選択される前記表示レイヤへの移動方向を、検出された前記動作の方向に対応させる、
請求項３に記載の車載用情報処理システム。
【請求項５】
前記制御部は、選択されていない前記表示レイヤの表示の度合いを抑制する、
請求項３又は４に記載の車載用情報処理システム。
【請求項６】
前記制御部は、輝度を低下させることで前記表示の度合いを抑制する、
請求項５に記載の車載用情報処理システム。
【請求項７】
前記制御部は、グレーアウトにより前記表示の度合いを抑制する、
請求項５に記載の車載用情報処理システム。
【請求項８】
前記操作部は、パームレストに配置され、４方向スイッチにより構成される、
請求項１乃至７のいずれか一項に記載の車載用情報処理システム。
【請求項９】
車載用情報処理システムはさらに、
前記操作者の操作手による接触を検出するタッチ操作部と、
前記操作手の少なくとも一部と、前記タッチ操作部とを撮像する撮像部と、を備え、
前記制御部は、選択された前記画面上の操作領域内の位置座標と、前記タッチ操作部の所定の領域内の位置座標とを対応させて、前記撮像部により撮像された画像に基づいて、前記操作手の少なくとも一部を前記画面上に重畳表示させる、
請求項１乃至８のいずれか一項に記載の車載用情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に関する情報を制御するために車両に搭載される車載用情報処理システムに関する。
【背景技術】
【０００２】
従来、操作者は、センターコンソールに設置されたタッチパッド上でタッチ操作を行うことにより、１つの画面上に表示されたポインタ又はカーソルの操作、画面のスクロール操作、選択操作、及び入力操作などを行うことが可能である。
【０００３】
例えば、特許文献１に開示された操作入力装置は、走行中の車両の振動を含む外乱因子の影響を低減して、タッチパッド上でのタッチ操作に基づく表示部上のカーソル移動を滑らかにすることが可能である。
【０００４】
また例えば、特許文献２に開示された操作装置は、センターコンソールに設置されたタッチパッド上での操作者によるタッチ操作により、画面上に表示されたポインタ又はカーソルの操作、及び画面のスクロールを可能とする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１７４６４８
【特許文献２】特開２０１６−０１２３１３
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１及び２に開示された従来の装置は、１つの画面上にポインタ、カーソル、又は移動ベクトルなどを描画することで操作者の操作に対して応答する。一方で、複数の画面が設置される場合に、操作者が各画面をどのように選択するかは考慮されていない。従って、各画面を容易に選択できるインターフェースの実現が望まれる。
【０００７】
かかる観点に鑑みてなされた本発明の目的は、各画面を容易に選択できる車載用情報処理システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決する第１の観点に係る車載用情報処理システムは、
複数の画面を有する表示部と、
操作者の操作手の少なくとも一部の動作を検出する操作部と、
検出された前記動作に基づいて、前記操作者が表示内容を操作するための前記画面を選択する制御部と、を備える。
【０００９】
また、第２の観点に係る車載用情報処理システムでは、
前記制御部は、現在選択されている前記画面から次に選択される前記画面への移動方向を、検出された前記動作の方向に対応させる。
【００１０】
また、第３の観点に係る車載用情報処理システムでは、
前記表示部は、奥行き方向に異なる複数の表示レイヤを有する画面を含む。
【００１１】
また、第４の観点に係る車載用情報処理システムでは、
前記制御部は、現在選択されている前記表示レイヤから次に選択される前記表示レイヤへの移動方向を、検出された前記動作の方向に対応させる。
【００１２】
また、第５の観点に係る車載用情報処理システムでは、
前記制御部は、選択されていない前記表示レイヤの表示の度合いを抑制する。
【００１３】
また、第６の観点に係る車載用情報処理システムでは、
前記制御部は、輝度を低下させることで前記表示の度合いを抑制する。
【００１４】
また、第７の観点に係る車載用情報処理システムでは、
前記制御部は、グレーアウトにより前記表示の度合いを抑制する。
【００１５】
また、第８の観点に係る車載用情報処理システムでは、
前記操作部は、パームレストに配置され、４方向スイッチにより構成される。
【００１６】
また、第９の観点に係る車載用情報処理システムはさらに、
前記操作者の操作手による接触を検出するタッチ操作部と、
前記操作手の少なくとも一部と、前記タッチ操作部とを撮像する撮像部と、を備え、
前記制御部は、選択された前記画面上の操作領域内の位置座標と、前記タッチ操作部の所定の領域内の位置座標とを対応させて、前記撮像部により撮像された画像に基づいて、前記操作手の少なくとも一部を前記画面上に重畳表示させる。
【発明の効果】
【００１７】
第１の観点に係る車載用情報処理システムによれば、各画面を容易に選択できる。
【００１８】
また、第２の観点に係る車載用情報処理システムによれば、直感的に次の画面を選択できる。
【００１９】
また、第３の観点に係る車載用情報処理システムによれば、より多くの情報を１つの画面上に表示できる。
【００２０】
また、第４の観点に係る車載用情報処理システムによれば、直感的に次の表示レイヤを選択できる。
【００２１】
また、第５の観点に係る車載用情報処理システムによれば、選択されている表示レイヤの視認性を高めることができる。
【００２２】
また、第６の観点に係る車載用情報処理システムによれば、選択されている表示レイヤを明瞭に表示させることができる。
【００２３】
また、第７の観点に係る車載用情報処理システムによれば、選択されている表示レイヤの視認性を相対的に高めることができる。
【００２４】
また、第８の観点に係る車載用情報処理システムによれば、簡易な動作で各画面又は各表示レイヤを選択できる。
【００２５】
また、第９の観点に係る車載用情報処理システムによれば、直感的な操作が可能である。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係る車載用情報処理システムの全体を示す模式図である。
【図２】図１の車載用情報処理システムの概略構成を示す機能ブロック図である。
【図３】表示部に表示される画像の一例を示した模式図である。
【図４】タッチ操作部を側面方向から見たときの断面を模式的に示す図である。
【図５】操作部を上面方向から見たときの模式図である。
【図６】タッチ操作部の所定の領域と、表示部を構成する画面上の操作領域との対応関係の一例を示す模式図である。
【図７】車載用情報処理システムが行う画像処理の様子を示した模式図である。
【図８】図１に示した表示部の拡大図である。
【図９】図１の車載用情報処理システムの動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以降、諸図面を参照しながら、本発明の実施形態について詳細に説明する。
【００２８】
図１は、本実施形態に係る車載用情報処理システム１０の全体を示す模式図である。図２は、図１の車載用情報処理システム１０の概略構成を示す機能ブロック図である。車載用情報処理システム１０は、表示部１１と、タッチ操作部１２と、撮像部１３と、操作部１４と、制御部１５と、記憶部１６とを有する。図３は、表示部１１に表示される画像の一例を示した模式図である。図３（ａ）は、メニュー画面の一例を示し、図３（ｂ）は、地図画面の一例を示す。図４は、タッチ操作部１２を側面方向から見たときの断面を模式的に示す図である。図５は、操作部１４を上面方向から見たときの模式図である。
【００２９】
車載用情報処理システム１０は、表示部１１を構成する画面上の操作領域内の位置座標と、タッチ操作部１２の所定の領域内の位置座標とを対応させて、撮像部１３により撮像した画像に基づいて、操作者の操作手を画面上に重畳表示する。すなわち、タッチ操作部１２上での操作者によるタッチ操作に基づいて、画面上に重畳表示した操作手が、対応する位置で仮想的に画面を操作する。車載用情報処理システム１０は、画面上に重畳表示した操作手の動きを、撮像部１３によって撮像した実際の操作者の操作手の動きと対応させる。ここで、操作者とは、例えば車両を運転する運転者又は助手席に座っている同乗者であり、操作手とは、例えばセンターコンソール側の運転者又は同乗者自身の手である。
【００３０】
図１に示すとおり、表示部１１は、少なくとも１つの画面を有する。表示部１１は、液晶ディスプレイなどの任意の表示装置により構成されてもよい。表示部１１は、液晶ディスプレイによって構成される場合、例えばインストルメントパネルに配置される。表示部１１を構成する表示装置は、タッチパネルディスプレイであってもよいし、タッチ操作不能のディスプレイであってもよい。以下では、表示部１１は、タッチ操作不能のディスプレイであるとして説明する。
【００３１】
また、車載用情報処理システム１０は、表示部１１に加えて又は代えて、いわゆるヘッドアップディスプレイ型の装置を有してもよい。この場合、ヘッドアップディスプレイ型の装置は、表示情報を表示光として発生する発光部を有し、発生した表示光を運転者等の観察者へ向かうように反射して、フロントウィンドシールド越しに虚像を表示する。なお、観察者は運転者に限らず助手席に座っている同乗者等でもよい。
【００３２】
表示部１１は、車両に関する情報若しくは当該情報を制御するための機能項目、又はこれらの組合せを表示する。以下では、これらをまとめて「表示内容」という。車両に関する情報は、例えば、空調、カーナビゲーション、オーディオ、電子ミラーによる車両周囲の画像、車速、複数車線における自車の走行位置、又は車間距離などの情報を含む。当該情報を制御するための機能項目は、例えば、「戻る」、「進む」、「ホーム」、「決定」、「各種メニュー」、「温度高い・低い」、「現在地」、「音量大・小」、「拡大・縮小」、「速度速い・遅い」、「車線変更」、又は「距離長い・短い」などの項目を含む。表示部１１は、各項目を文字として表示してもよいし、アイコンとして表示してもよい。
【００３３】
例えば、図３（ａ）に示すとおり、表示部１１は、車両に関する情報を制御するための機能項目として、各種メニューを１つの画面上に表示する。具体的には、表示部１１は、各種アプリを表示するための項目として「ＡＰＰＳ」を、電話を使用するための項目として「ＴＥＬ」を、エアコンを制御するための項目として「Ａ／Ｃ」を、カーナビゲーションを使用するためのメニューとして「ＮＡＶＩ」を、オーディオを使用するためのメニューとして「ＡＵＤＩＯ」を表示する。同様に、表示部１１は、ホーム画面に戻るための項目として「ＨＯＭＥ」を表示し、１つ前の画面に戻るための項目として「ＲＥＴＵＲＮ」を表示する。
【００３４】
例えば、図３（ｂ）に示すとおり、表示部１１は、車両に関する情報として、カーナビゲーションシステムの一部である地図情報を１つの画面上に表示する。さらに、表示部１１は、車両に関する情報及び当該情報を制御するための機能項目の組合せとして、当該地図情報に重畳させるように、「目的地設定」、「ＨＯＭＥ」、及び「ＲＥＴＵＲＮ」などの機能項目を表示する。
【００３５】
表示部１１は、上記の表示内容と重畳させるように操作者の操作手を表示する。表示部１１は、図３に示すとおり、操作者の操作手を半透過にして、その背後に上記の表示内容を表示する。表示部１１は、これに限定されず、操作者の操作手が重畳したときに、背後の表示内容が一時的に隠れるように、不透明な操作手を表示してもよい。
【００３６】
以下では、半透過の度合い、すなわち透過率は、重畳させる位置に依存せず一定であるとして説明するが、これに限定されず、重畳させる位置ごとに変化してもよい。例えば、機能項目を表示している位置では、操作者がどの項目を選択すべきかを十分に視認可能なように、表示部１１は、透過率を所定値よりも上げて操作者の操作手を表示してもよい。逆に、単なる背景のみを表示している位置では、表示部１１は、透過率を所定値よりも下げて表示してもよい。
【００３７】
また、表示部１１は、グラデーションを付した操作者の操作手を表示してもよい。ここで述べるグラデーションは、明暗、色彩、若しくは透過率又はこれらの組合せに関する任意の段階的変化を含んでよい。表示部１１は、操作者が背後の表示内容を容易に視認可能な任意の方法によりグラデーション表示するのが好適である。例えば、表示部１１は、重畳表示した操作者の操作手の指先により近づくほど、操作手を徐々に明るくしたり、淡い色へと徐々に変えたり、透過率を徐々に上げたりして表示してもよい。
【００３８】
透過率が低いほど、重畳させる操作者の操作手のリアリティは向上するが、操作者は、背後の表示内容を視認することが困難となる。逆に、透過率が高いほど、操作者による背後の表示内容の視認は容易となるが、リアリティは低下する。従って、表示部１１は、重畳させる操作者の操作手のリアリティを確保しつつ、表示内容を操作者が容易に視認可能な任意の表示方法によりそれぞれを表示するのが好適である。
【００３９】
表示部１１は、上述の表示内容などが表示される仮想空間上に、現実世界の操作者の操作手を重畳させるものとして説明したが、これに限定されない。例えば、表示部１１は、いわゆるミックスドリアリティのように、画面上に表示した操作者の操作手の前面から、表示内容などを重畳表示してもよい。
【００４０】
タッチ操作部１２は、図１に示すとおり、例えばセンターコンソールに配置される。タッチ操作部１２は、図２に示すとおり、タッチパッド１２１と、タクトスイッチ１２２とを有する。図４に示すとおり、操作者は、アームレスト及びパームレストに自身の腕及び手首をそれぞれ乗せて、操作手の一部、例えば指をタッチパッド１２１に接触させる。
【００４１】
タッチパッド１２１は、操作者の操作手又はスタイラスペンなどの接触物による接触を、対応する接触位置において検出する。特に、タッチパッド１２１は、操作者の操作手の一部、例えば指による接触を対応する接触位置において検出する。操作者は、タッチ操作部１２、特にタッチパッド１２１上でタッチ操作を行うことにより、表示部１１を構成する各画面上に表示される情報を操作する。タッチパッド１２１は、例えば透明なガラスにより形成され、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、又は電磁誘導方式などの任意の方式により構成されたタッチセンサを用いることができる。以下では、タッチパッド１２１は、静電容量方式による静電タッチパッドであるものとして説明する。
【００４２】
タクトスイッチ１２２は、図４に示すとおり、タッチパッド１２１の直下に配置され、基板により支持される。タクトスイッチ１２２は、操作者の押込みによってタッチパッド１２１が下方へと変位した場合、その押圧によりオンになる。タクトスイッチ１２２は、操作者の押込みが解除されタッチパッド１２１が元の位置に戻った場合、オフになる。操作者は、タッチパッド１２１を押込むと、タクトスイッチ１２２がオンになることで、クリック感を得る。
【００４３】
図４では、タクトスイッチ１２２は、タッチパッド１２１の直下において、その中心部に１つ配置されているが、これに限定されず、タッチパッド１２１からの押圧を検出可能であれば、任意の個数で任意の場所に配置されてもよい。例えば、タクトスイッチ１２２は、タッチパッド１２１の直下において、その外周部に１つ配置されてもよいし、分散した位置に複数個配置されてもよい。例えば、タッチパッド１２１の直下に複数のタクトスイッチ１２２が配置されることで、タッチ操作部１２は、タッチパッド１２１の所定のエリアごとにタッチパッド１２１からの押圧を検出可能なように構成されてもよい。すなわち、タッチ操作部１２は、操作者の複数の指が同時にタッチパッド１２１に接触している場合に、タッチパッド１２１上のどの位置で操作者が押込んだかを検出可能なように構成されてもよい。
【００４４】
タッチパッド１２１の直下に配置される構成部は、タクトスイッチ１２２に限定されず、タッチパッド１２１からの押圧を検出可能であれば、任意の構成であってよい。例えば、タクトスイッチ１２２に代えて、圧電素子などの感圧センサがタッチパッド１２１の直下に配置されてもよい。
【００４５】
タッチ操作部１２は、タッチパッド１２１と、タクトスイッチ１２２とに加えて、車両走行中の振動によるタッチパッド１２１の不要な検出信号を除去するために、フィルターを有してもよい。
【００４６】
撮像部１３は、少なくとも１つのカメラを有し、例えば、ルーフパネルに配置される。撮像部１３を構成するカメラは、ルーフパネルから車内を撮像するように配置される。より具体的には、撮像部１３は、タッチ操作部１２でタッチ操作を行う操作者の操作手の少なくとも一部と、タッチ操作部１２とを上方から撮像する。
【００４７】
撮像部１３は、操作者の操作手の少なくとも一部、例えば５本の指のみを撮像してもよいが、手の甲なども含めた操作者の操作手全体を撮像するのが好適である。ここで、操作手全体とは、操作者の手首付近から指先までを含む部位全体である。この場合、撮像部１３は、操作者の操作手全体を容易に撮像するために、例えば、ルーフパネルなど、操作手の上方に配置されるのが好適である。
【００４８】
撮像部１３は、このような配置に限定されず、操作者の操作手の少なくとも一部を撮像可能であれば、任意の場所に配置されてもよい。例えば、撮像部１３は、透明なタッチパッド１２１の直下に配置され、タッチパッド１２１でタッチ操作を行っている操作者の操作手の一部を下方から撮像してもよい。この場合、例えば、図４のパームレスト部分を任意の透明な支持部材に変えることで、撮像部１３は、手の甲なども含めた操作者の操作手全体を撮像することも可能である。
【００４９】
撮像部１３は、昼間の明るい状態及び夜間の暗い状態の両方で操作者の操作手を鮮明に撮像可能なように、ダイナミックレンジの広いカメラで構成されるのが好適である。また、カメラにより撮像される画像は、白黒画像であってもよいし、カラー画像であってもよい。
【００５０】
撮像部１３は、ダイナミックレンジの広いカメラによる構成に限定されず、昼間の明るい状態で撮像可能なカメラにより構成されてもよい。この場合、撮像部１３は、夜間でも操作者の操作手を鮮明に撮像するために、タッチパッド１２１上の操作者の操作手に上方からスポットライトを照射してもよい。
【００５１】
車両が自動運転を行う場合、操作者は、リクライニングシートを倒して、リラックスした状態でシートに寄りかかることが想定される。この時、タッチ操作部１２の位置が固定されていると、操作者は、シートに寄りかかった状態で腕を伸ばしてタッチ操作を行う必要があり、不便性を感じる。従って、例えば、タッチ操作部１２が配置されたセンターコンソールを、リクライニングシートの動きに連動して後方に下がるように構成することで、操作者は腕を伸ばすことなく、容易にタッチ操作を行うことができる。このような構成の場合、撮像部１３は、リクライニングシートの動きに連動したタッチ操作部１２のそれぞれの位置に合わせて、タッチパッド１２１上の操作手を撮像する必要がある。
【００５２】
従って、撮像部１３は、上記に加えて、画角の広いカメラで構成されるのが好適である。撮像部１３は、これに限定されず、画角の狭いカメラであっても、タッチ操作部１２の位置の変化に連動してカメラ自体の角度が変化するように構成されてもよい。同様に、撮像部１３は、タッチ操作部１２の位置の変化に連動してカメラ自体が平行移動するように構成されてもよい。また、リクライニングシートの動きに連動して変化するタッチ操作部１２の位置を、例えば、手動運転時の位置及び自動運転時の位置の二カ所に限定して、各々の位置に対応するように二台のカメラが配置されてもよい。
【００５３】
操作部１４は、図１に示すとおり、例えばパームレストの上面に配置される。図４に示すとおり、操作者は、アームレスト及びパームレストに自身の腕及び手首をそれぞれ乗せて、操作手の一部を操作部１４の上面に接触させる。ここで述べる操作手の一部とは、例えば、手首の手のひら側、すなわち手根部である。
【００５４】
図５に示すとおり、操作部１４は、例えば、その上面に十字キーなどの４方向スイッチを有する。操作者は、操作部１４の上面、特に当該４方向スイッチの表面に操作手の一部を配置する。操作部１４は、４方向スイッチに接触している操作者の操作手の少なくとも一部の動作を検出する。例えば、操作者が、手根部で４方向スイッチを奥側に押込むと、操作部１４は、奥側への押込み動作を検出する。同様に、操作者が、手根部で４方向スイッチを手前側、左側、又は右側に押込むと、操作部１４は、手前側、左側、又は右側への押込み動作をそれぞれ検出する。すなわち、操作部１４は、操作者の手根部の４方向の動作を検出可能である。操作部１４は、検出された動作に基づく信号を、制御部１５に送信する。
【００５５】
操作部１４は、４方向スイッチを有するものとして、以降においても説明するが、これに限定されない。例えば、操作部１４は、８方向スイッチを有してもよい。この場合、操作部１４は、操作者の操作手の少なくとも一部の８方向の動作を検出可能である。また、操作部１４は、方向スイッチに限定されず、操作者の操作手の少なくとも一部の動作を検出可能であれば、任意の構成を有してもよい。
【００５６】
制御部１５は、車載用情報処理システム１０の各機能ブロックをはじめとして、車載用情報処理システム１０の全体を制御及び管理するプロセッサである。制御部１５は、制御手順を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成され、かかるプログラムは、例えば記憶部１６に格納される。
【００５７】
制御部１５は、タッチパッド１２１上で検出した接触情報を、入力信号としてタッチ操作部１２から取得する。具体的には、制御部１５は、接触物、例えば、操作者の指による接触及び対応する接触位置に関する検出情報を取得する。制御部１５は、対応する接触位置に関する検出情報に基づいて、タッチ操作が行われるタッチパッド１２１上の正確な位置座標を識別する。
【００５８】
制御部１５は、タクトスイッチ１２２のオン状態又はオフ状態に関する信号を、タッチ操作部１２から取得する。具体的には、操作者が、タッチパッド１２１を介して、タクトスイッチ１２２を押込んだ場合、制御部１５は、オン状態の信号を取得する。操作者が、タッチパッド１２１への押込みを止めて、タクトスイッチ１２２の押込みを解除した場合、制御部１５は、オフ状態の信号を取得する。制御部１５は、取得した信号に基づいて、タクトスイッチ１２２のオン状態又はオフ状態を識別する。
【００５９】
制御部１５は、操作者の操作手の一部による接触をタッチパッド１２１が検出した場合、表示部１１を構成する画面上の対応する項目を選択する。この時、制御部１５は、当該項目をハイライトさせる。ハイライトとは、所定の項目を強調して表示することである。制御部１５は、ハイライトにより上記の項目が選択状態にあることを操作者にフィードバックする。例えば、図３（ａ）に示すとおり、操作者の指による接触をタッチパッド１２１の対応する位置で検出した場合、制御部１５は、画面上の「ＮＡＶＩ」の機能項目をハイライトさせる。この時、制御部１５は、撮像部１３により撮像された画像に基づいて、操作者の操作手を対応する位置に重畳表示させる。
【００６０】
続いて、制御部１５は、操作者の操作手の一部によるタッチパッド１２１の押込みによりタクトスイッチ１２２がオンになった場合、画面上の所定の項目の選択を確定させる。画面上の所定の項目の選択を確定させる操作は、これに限定されず、例えば、タッチパッド１２１上でのダブルタップなど、任意の操作であってよい。この場合、タッチ操作部１２は、タクトスイッチ１２２を有さなくてもよい。
【００６１】
例えば、図３（ａ）では、操作者の操作手の一部による押込みによりタクトスイッチ１２２がオンになった場合、制御部１５は、画面上に表示された「ＮＡＶＩ」の項目の選択を確定させる。この時、制御部１５は、タッチパッド１２１に接触している操作者の操作手の一部、例えば人差し指の押込み又はダブルタップなどに合わせて、同様の動きを画面上に表示させる。
【００６２】
制御部１５は、車両に関する情報若しくは当該情報を制御するための機能項目、又はこれらの組合せを表示部１１に表示させる。また、制御部１５は、後述する画像処理により、表示部１１を構成する画面上の操作領域の大きさに基づいた表示倍率で、操作者の操作手の少なくとも一部をその画面上に重畳表示させる。
【００６３】
制御部１５は、操作部１４により検出された、操作者の操作手の少なくとも一部、例えば手根部の動作に基づく信号を取得する。制御部１５は、取得した信号に基づいて、例えば当該動作の方向を識別する。制御部１５は、検出された動作に基づいて、操作者が表示内容を操作するための画面を選択する。
【００６４】
制御部１５は、記憶部１６に格納された種々の情報を参照する。具体的には、制御部１５は、上記の車両に関する情報又は当該情報を制御するための機能項目に関する情報を参照する。制御部１５は、タクトスイッチ１２２のオン状態又はオフ状態に関する情報を参照する。制御部１５は、撮像部１３により撮像された画像情報を参照する。制御部１５は、表示部１１に最終的に重畳表示させる、画像処理された操作者の操作手に関する情報を参照する。
【００６５】
記憶部１６は、半導体メモリ又は磁気メモリ等で構成することができ、上述した各種情報及び車載用情報処理システム１０を動作させるためのプログラムなどを記憶する。また、記憶部１６は、ワークメモリとしても機能する。一例を挙げると、記憶部１６は、表示部１１に最終的に重畳表示させる、画像処理された操作者の操作手に関する情報などを記憶する。
【００６６】
以下では、図６及び図７を参照して、車載用情報処理システム１０が行う画像処理について詳細に説明する。
【００６７】
図６は、タッチ操作部１２の所定の領域と、表示部１１を構成する画面上の操作領域との対応関係の一例を示す模式図である。図６（ａ）は、タッチ操作部１２の所定の領域Ｒ１を示す。図６（ｂ）は、表示部１１を構成する画面上の操作領域Ｒ２を示す。
【００６８】
制御部１５は、タッチ操作部１２の所定の領域Ｒ１及び表示部１１を構成する画面上の操作領域Ｒ２を設定する。タッチ操作部１２の所定の領域Ｒ１とは、操作者が操作手の一部によりタッチ操作を行うための領域である。例えば、タッチ操作部１２の所定の領域Ｒ１は、タッチパッド１２１の一部又は全体の領域である。表示部１１を構成する画面上の操作領域Ｒ２とは、画面上に重畳表示された操作者の操作手が仮想的に操作可能な画面上の領域である。例えば、表示部１１を構成する画面上の操作領域Ｒ２は、当該画面の一部又は全体の領域である。
【００６９】
図６（ａ）に示すとおり、タッチ操作部１２の所定の領域Ｒ１は、タッチ操作部１２全体に操作者の操作手が重畳するように、タッチ操作部１２の奥側に設定されるのが好適である。タッチ操作部１２の奥側とは、例えば、タッチ操作部１２を構成するタッチパッド１２１の奥側である。すなわち、図４及び図６に示すとおり、タッチ操作部１２の奥側とは、操作者の腕及び手首をアームレスト及びパームレストにそれぞれ配置したときに、手首から最も離れるタッチパッド１２１上の領域である。
【００７０】
タッチ操作部１２の所定の領域Ｒ１は、これに限定されず、上述のとおり、タッチパッド１２１上の任意の一部の領域であってもよいし、全体領域であってもよい。タッチ操作部１２の所定の領域Ｒ１がタッチパッド１２１上の任意の一部の領域である場合、所定の領域Ｒ１以外のタッチパッド１２１上の領域は、タッチ操作に対して反応しないように構成されてもよい。
【００７１】
一方で、表示部１１を構成する画面上の操作領域Ｒ２は、タッチパッド１２１の奥側に上記の所定の領域Ｒ１が設定されたとき、対応するように、画面の上部に設定される。すなわち、タッチパッド１２１の奥側及び手前側が、画面の上部及び下部にそれぞれ対応する。このように各々を対応させるのが最も直感的であるが、タッチパッド１２１と、表示部１１を構成する画面との対応関係はこれに限定されない。例えば、上記の対応関係を逆にして、タッチパッド１２１の手前側及び奥側が、画面の上部及び下部にそれぞれ対応してもよい。この場合、タッチ操作部１２全体に操作者の操作手を重畳させるために、タッチ操作部１２の奥側の所定の領域Ｒ１に対応させて、表示部１１を構成する画面上の操作領域Ｒ２は、その下部に設定されてもよい。
【００７２】
制御部１５は、設定したタッチ操作部１２の所定の領域Ｒ１内の位置座標と、表示部１１を構成する画面上の操作領域Ｒ２内の位置座標とを対応させる。例えば、タッチ操作部１２の所定の領域Ｒ１が、タッチパッド１２１の一部又は全体の四角の領域であり、画面上の操作領域Ｒ２が、当該画面の一部又は全体の四角の領域である場合を考える。この場合、制御部１５は、所定の領域Ｒ１の４つの頂点と操作領域Ｒ２の４つの頂点とをそれぞれ対応させる。制御部１５は、４つの頂点の位置座標の対応関係を識別することで、各頂点を結ぶ四角の領域内に位置する各点の位置座標の対応関係を決定することができる。
【００７３】
このような処理は、例えば、車載用情報処理システム１０が車両に搭載された初期の段階でキャリブレーションとして実行されてもよいし、随時実行されてもよい。
【００７４】
図７は、車載用情報処理システム１０が行う画像処理の様子を示した模式図である。図７（ａ）は、タッチ操作部１２上でタッチ操作を行っている操作者の操作手の様子を示す。図７（ｂ）は、表示部１１を構成する画面上に重畳表示させた操作者の操作手の様子を示す。
【００７５】
制御部１５は、カメラによって撮像された画像情報を、撮像部１３から取得する。図７の領域Ｒ３により示すとおり、撮像された画像は、タッチ操作部１２でタッチ操作を行う操作者の操作手の少なくとも一部と、タッチ操作部１２、特にタッチパッド１２１とを含む。すなわち、撮像部１３は、タッチ操作部１２と操作者の操作手との位置関係を撮像する。加えて、上述のとおり、制御部１５は、所定の領域Ｒ１内の位置座標と操作領域Ｒ２内の位置座標とを対応させるので、タッチ操作部１２における操作者の操作手の位置と対応するように、当該操作手の少なくとも一部を画面上に重畳表示させることが可能である。
【００７６】
制御部１５は、表示部１１に操作者の操作手を重畳表示させるとき、上記の画像に基づいて、操作者の操作手の一部又は全体を抽出する画像処理を行う。すなわち、制御部１５は、操作者の操作手の輪郭よりも外部の背景等の画像情報を除去する。なお、タッチパッド１２１の周囲を黒色の縁により囲むことで、制御部１５は、撮像された画像に基づいて容易に操作者の操作手を抽出することができる。
【００７７】
さらに、制御部１５は、撮像された画像が白黒画像の場合、画像処理によって操作手部分を着色してもよいし、着色しなくてもよい。表示部１１に表示される操作者の操作手のリアリティをより向上させるためには、制御部１５は、画像処理により着色するのが好適である。
【００７８】
一方で、制御部１５は、撮像された画像がカラー画像の場合、操作者の操作手の実際の色彩及び明暗などに合わせて、画面上にそのまま重畳表示させるのが好適である。制御部１５は、これに限定されず、背後の表示内容をより容易に視認可能とするために、操作手部分の色彩及び明暗などを排除して、代わりに例えば所定の一色を付す画像処理を行ってもよい。また、制御部１５は、操作手部分の色彩及び明暗などを排除して、操作手部分を完全に無色透明とする画像処理を行ってもよい。この場合、制御部１５は、操作手の輪郭近傍の部位のみを画面上に表示させる。
【００７９】
以下では、撮像部１３によって撮像された画像はカラー画像であり、制御部１５は、操作者の操作手の実際の色彩及び明暗などに合わせて、画面上にそのまま重畳表示させるものとして説明する。すなわち、制御部１５は、色彩及び明暗などに関する画像処理を行う必要はないものとして説明する。
【００８０】
制御部１５は、撮像された画像中のタッチ操作部１２の所定の領域Ｒ１と、表示部１１を構成する画面上の操作領域Ｒ２との間の大きさの比率に基づいて、操作者の操作手の表示倍率を決定する。例えば、タッチ操作部１２の所定の領域Ｒ１が、タッチパッド１２１の一部又は全体の四角の領域であり、画面上の操作領域Ｒ２が、当該画面の一部又は全体の四角の領域である場合を考える。この場合、制御部１５は、タッチ操作部１２の所定の領域Ｒ１の各辺の長さと、画面上の操作領域Ｒ２の対応する各辺の長さとの比率をそれぞれ算出する。制御部１５は、当該比率に基づいて、表示部１１に重畳表示させる操作者の操作手の表示倍率を決定する。
【００８１】
制御部１５は、決定した表示倍率に基づいて、撮像された操作者の操作手を、拡大若しくは縮小した状態、又はそのままの状態で表示部１１に重畳表示させる。
【００８２】
制御部１５は、操作者の操作手の表示倍率を上記の比率と同一としてもよいし、上記の比率に基づく異なる値としてもよい。また、表示倍率の決定処理は、例えば、車載用情報処理システム１０が車両に搭載された初期の段階で上述のキャリブレーションと同時に実行されてもよいし、随時実行されてもよい。制御部１５は、表示倍率を一度決定すると、その倍率を固定してもよいし、状況に応じて可変としてもよい。例えば、制御部１５は、昼間と夜間とで操作者の操作手の表示倍率を変えてもよいし、操作者の設定により表示倍率を適宜変えてもよい。
【００８３】
例えば、表示部１１が複数の画面により構成される場合、制御部１５は、各々の画面の操作領域Ｒ２の大きさに基づいて、重畳表示させる操作者の操作手の表示倍率をそれぞれ変えてもよい。これに限定されず、制御部１５は、各々の画面の操作領域Ｒ２の大きさに基づいて、例えば、その平均値を導出し、当該平均値に基づいて、重畳表示させる操作者の操作手の表示倍率を一定にしてもよい。
【００８４】
制御部１５は、画面上の操作領域Ｒ２の大きさのみならず、画面上に表示する内容に応じて、操作者の操作手の表示倍率を変化させてもよい。例えば、表示部１１が地図又は機能項目などを表示して、操作者が各々を操作する場合、制御部１５は、操作者が操作しやすいようにその操作手の表示倍率を通常よりも低下させて、表示部１１に重畳表示させてもよい。
【００８５】
また、制御部１５は、例えば、操作手の大きさの異なる操作者間で、表示部１１に重畳表示される操作手の大きさを一致させるために、操作者ごとに表示倍率を変えてもよい。一方で、制御部１５は、操作手の大きさの異なる操作者間で、表示部１１に重畳表示される操作手の表示倍率を一定にして、現実の操作者の操作手の大きさに合わせて重畳表示させてもよい。
【００８６】
制御部１５は、撮像部１３により撮像された画像に基づいて、所定の時間内で画像処理を行うのが好適である。所定の時間とは、操作者の実際の操作手による操作のタイミングと、画面上に重畳表示させた操作者の操作手の動きのタイミングとの間の時間遅れであって、操作者が意識しない程度の時間遅れを意味する。すなわち、制御部１５は、操作者の反応速度及び認知能力などによって操作者が操作に違和感を感じる時間遅れよりも十分に短い時間内で画像処理を完結するのが好適である。例えば、制御部１５は、上述した、撮像された操作者の操作手の抽出及び表示倍率の調整のみに画像処理を限定するのが好適である。
【００８７】
すなわち、操作者の操作手によるタッチ操作が検出されるタッチ操作部１２の所定の領域Ｒ１内の位置座標は、撮像部１３による撮像画像の画像処理により識別されるのではなく、上述したとおり、タッチ操作部１２、特にタッチパッド１２１からの検出情報に基づいて識別されるのが好適である。
【００８８】
制御部１５は、上記のように２つの画像処理を行うものとして説明するが、これに限定されず、所定の時間内であれば、３つ以上の画像処理を行ってもよい。この場合、例えば、操作者の操作手によるタッチ操作が検出されるタッチ操作部１２の所定の領域Ｒ１内の位置座標は、撮像部１３による撮像画像の画像処理により識別されてもよい。
【００８９】
制御部１５は、上記の画像処理を行うにあたり、タッチ操作部１２の所定の領域Ｒ１及び表示部１１を構成する画面上の操作領域Ｒ２に関する情報を、記憶部１６より参照する。すなわち、制御部１５は、検出情報に対応させた、タッチパッド１２１の所定の領域Ｒ１内の位置座標に関する情報を参照する。制御部１５は、表示部１１を構成する各画面の操作領域Ｒ２内の位置座標に関する情報を参照する。制御部１５は、キャリブレーションなどにより決定された、重畳表示させる操作者の操作手の表示倍率に関する情報を参照する。
【００９０】
以下では、図８を参照して、操作者が表示部１１を構成する複数の画面のうち操作対象とする任意の１つの画面を選択する操作の一例を詳細に説明する。
【００９１】
図８は、図１に示した表示部１１の拡大図である。表示部１１は、４つの画面１１１、１１２、１１３、及び１１４を有する。また、画面１１１は、奥行き方向に異なる２つの表示レイヤ１１１１及び１１１２を有する。例えば、画面１１１の表示レイヤ１１１１は、操作画面を表示し、表示レイヤ１１１２は、車速、複数車線における自車の走行位置、又は車間距離などの車両に関する情報を表示する。例えば、画面１１２及び１１３は、電子ミラーによる車両周囲の画像を表示する。例えば、画面１１４は、カーナビゲーションに関する地図情報、及び車両に関する情報を制御するための機能項目を表示する。
【００９２】
図８では、表示部１１を構成する画面の数は４つであり、画面１１１の表示レイヤの数は２つであるものとして説明するが、これに限定されない。表示部１１は、任意の数の画面により構成されてもよいし、画面１１１は、任意の数の表示レイヤにより構成されてもよい。また、画面１１１のみ表示レイヤを有するものとして説明するが、これに限定されず、表示部１１を構成する他の画面についても、複数の表示レイヤを有してもよい。また、各画面に表示されるコンテンツは、上記に限定されず、任意の画面が、任意のコンテンツを表示してもよい。
【００９３】
制御部１５は、操作部１４より取得した信号に基づいて、現在選択されている画面から次に選択される画面への移動方向を、検出された操作者の操作手の少なくとも一部（手根部）の動作の方向に対応させる。例えば、画面１１１が選択されている状態で、操作者が手根部で４方向スイッチを左側に押込むと、制御部１５は、画面１１１の左側に設置された画面１１２を選択する。同様に、画面１１１が選択されている状態で、操作者が手根部で４方向スイッチを右側に押込むと、制御部１５は、画面１１１の右側に設置された画面１１３を選択する。この状態で、操作者が手根部で４方向スイッチを再度右側に押込むと、制御部１５は、画面１１３の右側に設置された画面１１４を選択する。
【００９４】
表示部１１の左端に配置された画面１１２を選択した状態で、操作者が４方向スイッチをさらに左側に押込んだ場合、制御部１５は、右端に戻って画面１１４を選択してもよいし、選択を変更せず、依然として画面１１２にとどまるように制御してもよい。表示部１１の右端に配置された画面１１４を選択した状態で、操作者が４方向スイッチをさらに右側に押込んだ場合も、制御部１５は同様の制御を行ってもよい。
【００９５】
制御部１５は、操作部１４より取得した信号に基づいて、現在選択されている表示レイヤから次に選択される表示レイヤへの移動方向を、検出された操作者の操作手の少なくとも一部の動作の方向に対応させる。例えば、表示レイヤ１１１１が選択されている状態で、操作者が手根部で４方向スイッチを奥側に押込むと、制御部１５は、表示レイヤ１１１１の奥側に配置された表示レイヤ１１１２を選択する。逆に、表示レイヤ１１１２が選択されている状態で、操作者が手根部で４方向スイッチを手前側に押込むと、制御部１５は、表示レイヤ１１１２の手前側に配置された表示レイヤ１１１１を選択する。
【００９６】
例えば、車載用情報処理システム１０が表示部１１に加えてヘッドアップディスプレイ型の装置を有する場合、上記の動作により選択される対象は、各画面及び各表示レイヤに加えて、虚像を表示するフロントウィンドシールドであってもよい。この場合、例えば、表示レイヤ１１１２が選択されている状態で、操作者が手根部で４方向スイッチを奥側に押込むと、制御部１５は、表示レイヤ１１１２の奥側に配置されたフロントウィンドシールドを選択する。すなわち、制御部１５は、表示レイヤ１１１１、１１１２及びフロントウィンドシールドを、１つのまとまった階層構造として識別する。
【００９７】
表示部１１の奥端に配置された表示レイヤ１１１２又はフロントウィンドシールドを選択した状態で、操作者が４方向スイッチをさらに奥側に押込んだ場合、制御部１５は、前端に戻って表示レイヤ１１１１を選択してもよいし、選択を変更せず、依然として表示レイヤ１１１２又はフロントウィンドシールドにとどまるように制御してもよい。表示部１１の前端に配置された画面１１１を選択した状態で、操作者が４方向スイッチをさらに手前側に押込んだ場合も、制御部１５は同様の制御を行ってもよい。
【００９８】
なお、表示レイヤ１１１２又はフロントウィンドシールドを選択した状態で、操作者が４方向スイッチを左側に押込んだ場合、制御部１５は、左側に設置された画面１１２を選択する。また、表示レイヤ１１１２又はフロントウィンドシールドを選択した状態で、操作者が４方向スイッチを右側に押込んだ場合、制御部１５は、右側に設置された画面１１３を選択する。
【００９９】
画面１１２又は１１３を選択した状態で、操作者が画面１１１を選択する方向に４方向スイッチを押込むと、制御部１５は、予め定められた特定の表示レイヤ又はフロントウィンドシールド（例えば、前端の表示レイヤ１１１１）に選択を戻してもよいし、直前に選択されていた表示レイヤ又はフロントウィンドシールドに選択を戻してもよい。
【０１００】
画面、表示レイヤ、又はフロントウィンドシールドの選択の方法は上記に限定されず、検出された操作者の操作手の少なくとも一部の動作の方向に対応していれば、任意の方法であってよい。
【０１０１】
制御部１５は、画面１１１において選択していない表示レイヤの表示の度合いを抑制してもよいし、抑制しなくてもよい。操作者の視認容易性に鑑みると、制御部１５は、選択していない表示レイヤの表示の度合いを抑制するのが好適である。
【０１０２】
具体的には、制御部１５は、画面１１１において選択していない表示レイヤの輝度を低下させてもよい。また、制御部１５は、グレーアウトにより表示の度合いを抑制してもよい。また、制御部１５は、選択していない表示レイヤのＲＧＢ全てを排除してもよいし、ＲＧＢの任意の１つ又は２つの要素のみを排除してもよい。また、制御部１５は、選択していない表示レイヤをぼやかしてもよい。さらに、制御部１５は、選択していない表示レイヤをそもそも表示しなくてもよい。これらの方法に限定されず、制御部１５は、選択していない表示レイヤの視認性を低下させることで、選択している表示レイヤの視認性を相対的に高めることのできる任意の方法により制御してもよい。
【０１０３】
図９は、車載用情報処理システム１０の動作の一例を示すフローチャートである。
【０１０４】
初めに、制御部１５は、キャリブレーションを行う。すなわち、制御部１５は、設定されたタッチ操作部１２の所定の領域Ｒ１内の位置座標と、表示部１１を構成する画面上の操作領域Ｒ２内の位置座標とを対応させる（ステップＳ１０）。
【０１０５】
続いて、制御部１５は、キャリブレーションなどによって、表示部１１に重畳表示させる操作者の操作手の表示倍率を決定する（ステップＳ１１）。
【０１０６】
次に、制御部１５は、撮像部１３により撮像された画像に基づいて、タッチ操作部１２上に操作者の操作手が重畳しているかを判別する（ステップＳ１２）。
【０１０７】
制御部１５は、タッチ操作部１２上に操作者の操作手が重畳していると判別した場合、ステップＳ１３に進む。制御部１５は、タッチ操作部１２上に操作者の操作手が重畳していないと判別した場合、再度ステップＳ１２に戻り、操作者の操作手が重畳するまで待機する。
【０１０８】
制御部１５は、タッチ操作部１２上に操作者の操作手が重畳していると判別した場合、操作者の操作手の一部又は全体を抽出する画像処理を行う（ステップＳ１３）。
【０１０９】
続いて、制御部１５は、ステップＳ１１で決定された表示倍率に基づいて、撮像された操作者の操作手を重畳表示させる（ステップＳ１４）。
【０１１０】
続いて、制御部１５は、操作部１４から操作者の操作手の少なくとも一部の動作に関する検出情報を取得したかを判別する（ステップＳ１５）。
【０１１１】
制御部１５は、検出情報を取得した場合、ステップＳ１６に進む。制御部１５は、検出情報を取得しない場合、ステップＳ１８に進む。
【０１１２】
制御部１５は、検出情報を取得した場合、識別した動作の方向に対応する画面を新たに選択する（ステップＳ１６）。
【０１１３】
制御部１５は、新たに選択された画面に合わせた表示倍率に基づいて、撮像された操作者の操作手を重畳表示させる（ステップＳ１７）。
【０１１４】
続いて、制御部１５は、タッチ操作部１２からタッチ操作に関する検出情報を取得したかを判別する（ステップＳ１８）。
【０１１５】
制御部１５は、検出情報を取得した場合、ステップＳ１９に進む。制御部１５は、検出情報を取得しない場合、再度ステップＳ１８に戻り、検出情報を取得するまで待機する。
【０１１６】
制御部１５は、検出情報を取得した場合、現在選択されている画面上で、タッチ操作部１２でのタッチ操作に基づく操作を実行する（ステップＳ１９）。
【０１１７】
その後、フローは終了する。
【０１１８】
以上により、本実施形態に係る車載用情報処理システム１０は、表示部１１に表示された操作者の操作手が仮想的に画面上で情報を操作するので、操作者に対して直感的な操作を可能とする。すなわち、操作者は、実際の感覚により近い状態で画面内にアクセスできる。また、操作者は、操作手の実際の位置と画面上の位置関係とを直感的に認識できる。従って、車載用情報処理システム１０は、ポインタなどを表示させる従来の装置と比べて、操作者が画面を注視する時間を低減させることが可能である。
【０１１９】
車載用情報処理システム１０は、画像処理を行う時間を限定するので、最小限の遅延により、操作者の操作手を重畳表示させることが可能である。すなわち、車載用情報処理システム１０は、実際の操作手と画面上に重畳表示された操作手との間で、時間的な動きのズレを低減することができる。これにより、操作者は、より違和感なく画面上に表示される情報を操作可能である。
【０１２０】
車載用情報処理システム１０は、撮像部１３により撮像された操作者の操作手を抽出する画像処理を行うので、画面上で操作者の操作手を忠実に重畳表示させることが可能である。これにより、操作者は、画面上に重畳表示された操作手を、自身の手であると直感的に認識することができる。
【０１２１】
車載用情報処理システム１０は、撮像部１３により撮像された操作者の操作手の表示倍率を変更する画像処理を行うので、各画面に合わせた最適な大きさで操作者の操作手を重畳表示させることが可能である。これにより、操作者は、画面上に重畳表示されている操作手にリアリティを感じつつ、その背後に表示された表示内容を容易に視認可能である。
【０１２２】
車載用情報処理システム１０は、タッチ操作が検出される所定の領域Ｒ１内の位置座標を画像処理により識別する場合と比べて、最小限の遅延により、操作者の操作手を重畳表示させることが可能である。また、車載用情報処理システム１０は、撮像部１３により撮像された画像に基づいて間接的に位置座標を識別するのではなく、タッチ操作部１２により直接識別するので、精度良く位置座標を識別することができる。すなわち、車載用情報処理システム１０は、タッチ操作部１２により操作手が実際に接触している位置を検出するので、操作者が画面上に表示された機能項目などを選択する際に、誤動作を引き起こす可能性が低い。
【０１２３】
車載用情報処理システム１０では、撮像部１３が操作者の操作手全体を撮像することで、操作者は、画面上に重畳表示された操作手が自身の手であることを容易に認識できる。さらに、操作者は、操作手のどの部分を動かしているのかを、画面上の表示に基づいて容易に認識できる。また、操作者は、実際の操作手の位置と、画面上の位置との関係を正確に認識するので、操作手の移動量及び移動可能な画面上の領域を容易に把握できる。
【０１２４】
車載用情報処理システム１０は、撮像部１３により操作者の操作手全体を撮像することで、タッチパッド１２１上の操作者の操作手を精度良く識別することが可能である。すなわち、車載用情報処理システム１０は、操作者の操作手を人の手として精度良く認識することが可能である。さらに、車載用情報処理システム１０は、操作者の操作手の各部の識別をより精度良く行うことが可能である。すなわち、車載用情報処理システム１０は、撮像された画像中の指がどの指に対応するかを精度良く識別することが可能である。また、車載用情報処理システム１０は、操作手全体を撮像することで、操作手全体の大きさ、操作手全体に占める各部の大きさの割合などを精度良く識別することが可能である。これにより、車載用情報処理システム１０は、画面中での操作者の操作手の移動量、移動可能な画面上の領域を、タッチパッド１２１上の実際の操作手の動きと対応させて精度良く識別することが可能である。
【０１２５】
車載用情報処理システム１０は、タッチパッド１２１の奥側に所定の領域Ｒ１を設定し、画面上の上部に操作領域Ｒ２を設定することで、操作者は、必然的にタッチ操作部１２全体に自身の操作手を重畳させることになる。この時、車載用情報処理システム１０は、撮像部１３により、必然的に操作者の操作手全体を撮像可能である。なお、所定の領域Ｒ１以外のタッチパッド１２１上の領域をタッチ操作に対して無反応とすることで、操作者の意識は所定の領域Ｒ１により集中することになる。この時、車載用情報処理システム１０は、より確実に操作者の操作手全体を撮像可能である。
【０１２６】
車載用情報処理システム１０は、操作者が接触により選択した項目をハイライトさせることで、どの指がタッチパッド１２１に接触しているかを、視覚情報としても明瞭に認識することができる。また、操作者は、重畳表示された操作手が画面上のどの位置で接触しているのか、又はどの項目が選択されているのかを容易に視認可能である。
【０１２７】
車載用情報処理システム１０は、タクトスイッチ１２２がオンになるときに操作者に対してクリック感を与えるので、操作者は、自身の動作による触感的なフィードバックを得ることができ、より直感的な操作が可能である。換言すると、タクトスイッチ１２２が選択の確定に用いられることで、操作者は、自然な動作で選択した項目を確定させることができる。加えて、操作者は、指に働く反力によって、画面上に重畳表示された操作手に対してよりリアリティを感じる。すなわち、操作者は、自身の実際の操作手があたかも直接画面に触れているような錯覚を覚えやすくなる。
【０１２８】
車載用情報処理システム１０は、重畳表示させる操作者の操作手を半透過にするので、リアリティを確保しつつ、操作者は、画面上に表示される情報を容易に視認可能である。すなわち、操作者は、より直感的に画面上に表示される情報を操作可能である。
【０１２９】
車載用情報処理システム１０は、タッチ操作部１２の上方に撮像部１３を設置することで、操作者の操作手全体をより容易に撮像可能である。
【０１３０】
車載用情報処理システム１０では、操作者は、操作部１４上で自身の操作手の少なくとも一部を動作させるので、各画面を容易に選択できる。すなわち、操作者は、表示部１１の各画面を目視しながら得る視覚情報に基づいて、自身の操作手に視線を変更することなく、各画面を選択できる。従って、車載用情報処理システム１０は、操作者の画面選択操作をより簡便にし、操作者の利便性を向上させる。
【０１３１】
車載用情報処理システム１０は、現在選択されている画面から次に選択される画面への移動方向を、検出された動作の方向に対応させるので、直感的な画面選択操作を可能とする。すなわち、操作者は、次の画面を選択するために、視覚により識別した各画面の位置情報に基づいて、通常の感覚により、自身の操作手の少なくとも一部を動作させることができる。
【０１３２】
車載用情報処理システム１０は、奥行き方向に異なる複数の表示レイヤを有する画面を含むので、より多くの情報を１つの画面上に表示させることが可能である。すなわち、車載用情報処理システム１０は、異なる種類の情報であっても、表示レイヤを分けることによって、１つの画面上で同時に表示させることが可能である。
【０１３３】
車載用情報処理システム１０は、現在選択されている表示レイヤから次に選択される表示レイヤへの移動方向を、検出された動作の方向に対応させるので、直感的な表示レイヤ選択操作を可能とする。すなわち、操作者は、次の表示レイヤを選択するために、視覚により識別した各表示レイヤの位置情報に基づいて、通常の感覚により、自身の操作手の少なくとも一部を動作させることができる。
【０１３４】
車載用情報処理システム１０は、選択されていない表示レイヤの表示の度合いを抑制するので、選択されている表示レイヤの視認性を高めることができる。
【０１３５】
車載用情報処理システム１０は、輝度を低下させることで表示の度合いを抑制するので、選択されている表示レイヤを明瞭に表示させることができる。すなわち、車載用情報処理システム１０は、選択されていない表示レイヤの輝度を低下させることで、選択されている表示レイヤの輝度を相対的に高めることができ、明瞭な表示を可能とする。
【０１３６】
車載用情報処理システム１０は、グレーアウトにより選択されてない表示レイヤの表示の度合いを抑制するので、選択されている表示レイヤの視認性を相対的に高めることができる。
【０１３７】
車載用情報処理システム１０は、選択されていない表示レイヤを上記の任意の方法により表示させる場合、全く表示しない場合に比べて、表示レイヤ構造に対する操作者の視認性を向上させることができる。すなわち、操作者は、画面上のどの位置にどの数の表示レイヤが設けられているかを容易に視認できる。
【０１３８】
車載用情報処理システム１０は、パームレストに配置され、４方向スイッチにより構成される操作部１４を有するので、操作者は、簡易な動作で各画面又は各表示レイヤを選択できる。すなわち、操作者は、視覚により識別した各画面又は各表示レイヤに関する奥、手前、左、及び右の方向に基づいて、４方向スイッチを対応する方向に押込むだけで、各画面を選択できる。また、車載用情報処理システム１０は、各画面又は各表示レイヤに関する奥、手前、左、及び右の方向を、４方向スイッチの奥側、手前側、左側、及び右側のスイッチとそれぞれ対応させるので、操作者は、直感的に選択操作を行うことができる。
【０１３９】
なお、本実施形態では、撮像部１３により撮像された画像に基づいて、操作者の操作手の少なくとも一部を画面上に重畳表示させる例を示したがこれに限定されない。車載用情報処理システム１０は、操作手を画面上に重畳表示する代わりに、ポインタ、カーソル等により操作者の操作に応答してもよい。
【０１４０】
本発明は、その精神又はその本質的な特徴から離れることなく、上述した実施形態以外の他の所定の形態で実現できることは当業者にとって明白である。従って、先の記述は例示的なものであり、これに限定されるものではない。発明の範囲は、先の記述によってではなく、付加した請求項によって定義される。あらゆる変更のうちその均等の範囲内にあるいくつかの変更は、その中に包含されるものとする。
【符号の説明】
【０１４１】
１０  車載用情報処理システム
１１  表示部
１１１、１１２、１１３、１１４  画面
１１１１、１１１２  表示レイヤ
１２  タッチ操作部
１２１  タッチパッド
１２２  タクトスイッチ
１３  撮像部
１４  操作部
１５  制御部
１６  記憶部
Ｒ１  所定の領域
Ｒ２  操作領域
Ｒ３  領域
【図１】
2017197016.tif 000003
【図２】
2017197016.tif 000004
【図３】
2017197016.tif 000005
【図４】
2017197016.tif 000006
【図５】
2017197016.tif 000007
【図６】
2017197016.tif 000008
【図７】
2017197016.tif 000009
【図８】
2017197016.tif 000010
【図９】
2017197016.tif 000011