(57)【要約】【課題】操作時間の短縮、操作負荷の低減および表示部の視認性向上を図ることができる車両用操作装置を提供する。【解決手段】手指を撮像するカメラ（４１）とタッチパネル（４２）が設けられた操作部（４０）と、操作部（４０）から離れて設置される表示部（５０）とが設けられた車両用操作装置おいて、カメラ（４１）で撮像した画像から操作部（４０）に接近している対象が手か否かを判定する手指判定処理部（６３）と、手指判定処理部（６３）の判定信号を表示指示信号に変換する変換処理部（６５）と、変換処理部（６５）が出力した表示指示信号により、表示部（５０）に操作ボタンまたは操作画面を手がタッチパネル（４２）に触れる前に表示するポップアップ処理部（６４）と、が備えられる。【選択図】図２
2011054138.tif 000002
【特許請求の範囲】
【請求項１】
手指を撮像するカメラとタッチパネルが設けられた操作部と、前記操作部から離れて設置される表示部とが設けられた車両用操作装置おいて、
前記カメラで撮像した画像から前記操作部に接近している対象が手か否かを判定する手指判定処理部と、
前記手指判定処理部の判定信号を表示指示信号に変換する変換処理部と、
前記変換処理部が出力した前記表示指示信号により、前記表示部に操作ボタンまたは操作画面を手が前記タッチパネルに触れる前に表示するポップアップ処理部と、が備えられることを特徴とする車両用操作装置。
【請求項２】
前記手指判定処理部に指の本数を判定する処理がさらに設けられ、前記ポップアップ処理部は、前記手指判定処理部が判定した指の本数に対応する操作ボタンまたは操作画面を表示中の画面に合成して表示するもしくは表示中の画面に換えて表示することを特徴とする請求項１に記載の車両用操作装置。
【請求項３】
前記変換処理部は、操作者の手が前記操作部から離れ、電子制御ユニットがあらかじめ決められた運転操作を検出中の場合、前記操作ボタンまたは前記操作画面を消去せずに表示を継続することを特徴とする請求項１に記載の車両用操作装置。
【請求項４】
前記変換処理部は、操作者の手が前記操作部から離れ、前記操作ボタンまたは前記操作画面の表示を継続する条件がない場合、所定の時間が経過した後に前記操作ボタンまたは前記操作画面の消去指示信号を前記ポップアップ処理部へ出力することを特徴とする請求項３に記載の車両用操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用操作装置に係り、より詳細には、操作時間の短縮と操作負荷の低減と表示部の視認性の向上を図ることができる車両用操作装置に関する。
【背景技術】
【０００２】
特許文献１には、運転中に車載機器の操作を行なう場合、指をタッチパネルに置き、表示装置に表示された指の画像を見ながら、表示された操作ボタンに指を合わせてタッチパネルを押すと、その操作ボタンの押下信号がタッチパネルから出て操作が実行される操作装置が示されている。
【０００３】
操作を行なう車載機器には、オーディオ装置、エアコンディショナー装置、カナーナビゲーション装置などがあり、最初に特許文献１の図６に示されるような車載機器を選択するメニュー画面を呼び出す。次に操作したい車載機器を選択して、操作ボタンが並んだ操作画面を呼び出す。この操作画面の中に、例えば音量アップなどの操作ボタンが設けられる。そのため、目的の操作までに時間がかかり、操作の手順が面倒であった。また、操作が終了すれば、操作中の操作画面を消したり、再びカーナビゲーション装置を選択して地図画面を表示させたりする操作もあり、手間のかかる操作となっていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２６９０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、上記の事情に鑑みてなされたもので、操作時間の短縮、操作負荷の低減および表示部の視認性向上を図ることができる車両用操作装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明による車両用操作装置は、手指を撮像するカメラとタッチパネルが設けられた操作部と、前記操作部から離れて設置される表示部とが設けられた車両用操作装置おいて、前記カメラで撮像した画像から前記操作部に接近している対象が手か否かを判定する手指判定処理部と、前記手指判定処理部の判定信号を表示指示信号に変換する変換処理部と、前記変換処理部が出力した前記表示指示信号により、前記表示部に操作ボタンまたは操作画面を手が前記タッチパネルに触れる前に表示するポップアップ処理部と、が備えられたものである。
【０００７】
前記手指判定処理部に指の本数を判定する処理がさらに設けられ、前記ポップアップ処理部は、前記手指判定処理部が判定した指の本数に対応する操作ボタンまたは操作画面を表示中の画面に合成して表示するもしくは表示中の画面に換えて表示することが好ましい。
【０００８】
前記変換処理部は、操作者の手が前記操作部から離れ、電子制御ユニットがあらかじめ決められた運転操作を検出中の場合、前記操作ボタンまたは前記操作画面を消去せずに表示を継続することが好ましい。
【０００９】
前記変換処理部は、操作者の手が前記操作部から離れ、前記操作ボタンまたは前記操作画面の表示を継続する条件がない場合、所定の時間が経過した後に前記操作ボタンまたは前記操作画面の消去指示信号を前記ポップアップ処理部へ出力することが好ましい。
【発明の効果】
【００１０】
本発明による車両用操作装置によれば、手指判定処理部がカメラで撮像した画像から操作部に接近している対象が手であることを検出すると、タッチパネルに手が触れる前にポップアップ処理部が操作ボタンまたは操作画面を表示部に表示するようにしたので、操作者の手が操作部に置かれた時には操作したい画面が表示されており、操作時間を大幅に短縮できる。
【００１１】
手指判定処理部に指の本数を判定する処理を設け、指の本数に対応する操作ボタンまたは操作画面をポップアップして表示するようにしたので、操作ボタンまたは操作画面の選択の幅を拡げることができる。また、操作ボタンの形状を大きくして視認性を大幅に向上させることができる。例えば、地図画面の上に操作ボタンをポップアップして表示すると、地図の視認性は多少低下するが、操作者の意思でポップアップ表示するので問題はない。
【００１２】
操作中にハンドル操作等が必要になり、操作者の手が操作部から離れるような場合、操作ボタンまたは操作画面を消さずに表示を継続するようにしたので、ハンドル操作等が終了すれば続けて操作ができる。
【００１３】
操作ボタンまたは操作画面を消す場合、所定の時間が経過した後に消すようにしたので、例えばサンバイザの角度を変えるといった短時間の操作を行なっても、途切れることなく操作画面の操作を続行できる。
【図面の簡単な説明】
【００１４】
【図１】本発明による車両用操作装置の構成図である。
【図２】指の本数で操作画面または操作ボタンが表示される説明図である。
【図３】カメラで撮像された指の画像の例である。
【図４】本発明による操作制御部のフローチャート（１／３）である。
【図５】本発明による操作制御部のフローチャート（２／３）である。
【図６】本発明による操作制御部のフローチャート（３／３）である。
【図７】操作ボタンまたは操作画面が消去されずに継続表示される場合の説明図（例１）である。
【図８】操作ボタンまたは操作画面が消去されずに継続表示される場合の説明図（例２）である。
【図９】操作ボタンまたは操作画面が消去されずに継続表示される場合の説明図（例３）である。
【図１０】操作ボタンまたは操作画面が消去されずに継続表示される場合の説明図（例４）である。
【図１１】操作ボタンまたは操作画面が消去されずに継続表示される場合の説明図（例５）である。
【発明を実施するための形態】
【００１５】
以下、図面を参照にして本発明による車両用操作装置を詳しく説明する。
【実施例】
【００１６】
図１は、本発明による車両用操作装置の構成図である。本発明による車両用操作装置１００は、操作部４０と表示部５０が設けられ、画像処理部６１、手指判定処理部６３、変換処理部６５、ポップアップ処理部６４、合成処理部６２、を有する。操作部４０はタッチパネル４２が装備される。表示部５０は、操作部４０から離され、モニタがインストルメントパネルの中央に設置される。操作部４０には、操作者の手２５を撮像するカメラ４１が設けられている。シフトレバー１２が中央にあり、ハンドル１６は左ハンドルの例を示している。表示部５０には、操作ボタン１０や操作者の指の画像１１も重ねて表示される。操作者は、タッチパネル４２上の指を動かして、操作ボタン１０に指の画像１１を重ね、タッチパネルを押下することによって操作を行なう。なお、タッチパネル４２は、感圧式、静電容量式に限定されず、どのような方式のものでもよい。
【００１７】
画像処理部６１は、カメラ４１からの撮像信号２を受け、撮像された指のエッジ処理を行なう。指の画像処理信号４は合成処理部６２に送られる。合成処理部６２は、表示中の画面（例えば地図、あらかじめカーナビゲーションが設定されていると想定）に、指の画像を合成する。そして合成画像信号１を表示部５０に送付する。画像処理部６１は、指の画像処理信号を手指判定処理部６３にも送付する。手指判定処理部６３は操作部４０に接近したものが手かどうかを判定する。接近したものが手である場合、指の本数を判定し指判定信号７を変換処理部６５に伝える。変換処理部６５は、指判定信号７をポップアップすべき操作ボタンまたは操作画面の表示指示信号８ａに変換し、ポップアップ処理部６４に伝える。
【００１８】
ポップアップ処理部６４は、指示された操作ボタンまたは操作画面をポップアップする。ポップアップ処理部６４は、本実施例では、カーナビゲーション、オーディオ、電話などを備えるカーマルチメディア機器８０の中で実現されるものとする。合成処理部６２は、この画面に指の画像を合成し表示部５０に送る。ポップアップ処理部６４は、手が操作部４０から離れ所定の時間が経過した後、変換処理部６５から操作ボタンまたは操作画面の消去指示信号８ｂが出力された場合、ポップアップ中の操作ボタンまたは操作画面を消去する。
【００１９】
電子制御ユニット（ＥＣＵ）７０は、ターンシグナル（方向指示器）、ハンドルの舵角、シフトポジション、パワーウィンドウ、エアコンなどの操作状況を車両制御信号６で変換処理部６５に出力する。座標信号３は、タッチパネル４２の押下位置を示す信号であり、詳細は述べないが、カーマルチメディア機器８０で処理される。
【００２０】
変換処理部６５は、例えば指が５本と判定された場合は５番、指が１本と判定された場合は１番、指が０本なら０番という指示信号を生成し、これを表示指示信号８ａとしてポップアップ処理部６４に出力する。また、操作ボタンまたは操作画面を消去するような場合、例えば６番が生成され、これを消去指示信号８ｂとしてポップアップ処理部６４に出力する。ポップアップ処理部６４は、５番なら簡易操作画面の地図の拡大縮小ボタンや音量調整ボタンなどを、１番ならオーディオ操作画面を、２番ならカーナビの目的地設定画面を、０番なら５番と同じ地図の拡大縮小ボタンや音量調整ボタンなどをポップアップする。６番なら操作ボタンまたは操作画面を消去する。変換処理部６５は、指が３本の場合、指が５本の場合と同じ番号１を生成するようにしてもよい。変換処理部６５には、電子制御ユニット（ＥＣＵ）７０からの車両制御信号６が入力されているので、指が操作部４０から離れたことの通知が手指判定処理部６３からあっても、６番の指示信号をポップアップ処理部６４に出力せず、操作ボタンまたは操作画面が消去されないようにできる。
【００２１】
図１の構成によれば、操作者は指の本数を示して、手２５を操作部に接近させると、指の本数で示す操作ボタンまたは操作画面がポップアップできる。図１では人差し指で指示を出す場合である。指の画像１１は、表示中の画面と合成されて表示部５０に表示される。
【００２２】
図２は、指の本数で操作ボタンまたは操作画面がポップアップ表示される説明図である。図２では、指の本数に対応して、上段が地図の拡大縮小操作などの簡易操作を行なう場合を、中段がオーディオ操作の場合を、下段がカーナビの目的地設定操作を行なう場合を示す。ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）である操作画面１５には、簡易操作画面１５ｂ、オーディオの操作画面１５ｃ、カーナビの目的地設定画面１５ｄがある。操作ボタン１０には、地図の拡大縮小ボタン、音量調節ボタン、目的地設定ボタンなどがある。
【００２３】
図２の上段は指が５本の場合である。表示中の画面１５ａは、あらかじめ設定されたカーナビゲーションの地図とする。‘操作画面のポップアップ’欄に示すように５本指が判定されると簡易操作画面１５ｂがポップアップされる。この例では、表示中の画面１５ａに簡易操作画面１５ｂが置きかえられるのではなく、操作ボタン１０が表示中の画面１５ａに合成されるように表示される。指を動かして、撮像し合成表示された指の画像１１を操作ボタン１０に重ね、タッチパネル４２を押下すれば、操作ができる。手を操作部４０から離すと、‘手が操作部から移動’欄に示すように、指の画像１１が消える。引き続いて、‘操作画面の消去’欄に示すように、操作ボタン１０が消え、地図の画面が継続表示される。
【００２４】
例えば操作ボタン１０は、地図の画面に常時表示しておくこともできるが、その場合、地図の画面の領域を占有するので地図の表示エリアが小さくなる。これを避けるため操作ボタン１０の形状を小さくすると操作がしにくくなる。これに対して、上記のように指の本数で指定した操作ボタン１０を操作者の意思により表示させることで、地図画面の視認性は多少低下させても問題はなく、操作ボタン１０の形状を大きくできるので、画面の視認性が向上できる。
【００２５】
図２の中段は、指が１本の場合である。指が操作部４０に接近すると、カメラ４１にとらえられて‘手の接近’欄に示すように、指の画像１１が表示中の画面１５ａに合成される。指が１本の場合、この実施例では、‘ポップアップ’欄に示すように、オーディオの操作画面１５ｃがポップアップされる。オーディオの操作画面１５ｃは、音量を上げ下げするボタンや局を変更する操作ボタン１０が設けられる。指を動かして撮像し合成された指の画像１１を操作ボタン１０に重ね、タッチパネル４２を押下すれば、音量の調節などができる。手を操作部４０から離すと‘手が操作部から移動’欄に示すように、指の画像１１が消える。引き続いて、‘操作画面の消去’欄に示すように、オーディオの操作画面１５ａが消え、表示は地図の画面に戻る。
【００２６】
図２の下段は、指が２本の場合である。指が操作部４０に接近すると、カメラ４１にとらえられて‘手の接近’欄に示すように指の画像１１が表示中の画面１５ａに合成される。指が２本の場合、この実施例では、‘ポップアップ’欄に示すように、カーナビの目的地設定画面１５ｄがポップアップされる。カーナビの目的地設定画面１５ｄには目的地設定の操作ボタン１０が表示される。タッチパネル４２上の指を動かして撮像し合成された指の画像１１を操作ボタン１０に重ね、タッチパネル４２を押下すれば、目的地の設定ができる。手を操作部４０から離すと‘手が操作部から移動’欄に示すように、指の画像１１が消える。引き続いて、‘操作画面の消去’欄に示すように、カーナビの目的地設定画面１５ｄが消え、表示は地図の画面に戻る。
【００２７】
図２において、ハンドル操作などを行なうため手が操作部４０から離れた場合、操作画面１５または操作ボタン１０を消さずに継続表示するようにしている。これを符号１４の矢印で示している。
【００２８】
図３は、カメラで撮像された指の画像の例である。ハンドル１８を握っていた操作者の手２５が、操作のため操作部４０に向って移動する場合を示す。Ａ〜Ｄの画像は手の動きを順番にカメラ４１で見たものである。下側の灰色部分がフロントガラスの外側の風景で、上側の黒い部分がインストルメントパネルである。Ａは、手の画像が不鮮明で指の判別が困難であることを示す。Ｂは、手とは認識されるが指の本数までは判別しにくい。Ｃ、Ｄは、手として認識でき指の本数も判別できることがわかる。操作者の手２５が操作部４０に接近していることは、手の画像が次第に大きくなることでわかる。このように、指の本数は、画像を解析することにより、手が操作部４０のタッチパネル４２に触れる前に認識できる。
【００２９】
図４〜６は、本発明による制御部のフローチャートである。図４に示すように、ステップ１は装置の起動でありイグニッションスイッチをオンした時を示す。ステップ２は、カメラ４１が物体を撮像したかの判定である。ステップ３は、カメラ４１で撮像された物体が手かの判定である。ステップ２〜３は、図１の手指判定処理部６３が行なう。
【００３０】
図４に示すように、ステップ４、６、８は指の本数判定である。これは図１の手指判定処理部６３が行っている。ステップ４は指が３本以上かの判定で、Ｙｅｓならステップ５へ進み、Ｎｏならステップ６へ進む。ステップ６は指が２本かの判定で、Ｙｅｓならステップ７へ進み、Ｎｏならステップ８へ進む。ステップ８は指が１本かの判定で、Ｙｅｓならステップ９へ進み、Ｎｏならステップ１０へ進む。ステップ５、７、９、１０では、指の本数に応じてそれぞれ、地図拡大縮小ボタンや音量調節ボタンを含む簡易操作画面１５ｂの操作ボタン、カーナビの目的地設定画面１５ｄ（目的地設定ボタンを含む）、オーディオの操作画面１５ｃ（オーディオ操作ボタンを含む）がポップアップされる。ステップ１０は指の本数が認識できない場合を示す。詳細には、手が握りこぶしとなっている場合や指と指とがくっついている場合がある。ステップ１０は、ステップ５と同じ簡易操作画面１５ｂの操作ボタンがポップアップされるとした。
【００３１】
ステップ１１は、操作ボタンまたは操作画面と指の画像が合成されて表示するステップである。ステップ１１は、図１の合成処理部６２が行なう。ステップ１２は合成処理部６２が合成した画面を表示部５０に出力するステップである。
【００３２】
図５に示すように、ステップ１３は、手の撮像を続けているかの判定である。ＹｅｓならＢに戻る。その間、タッチパネル４２の上の指を動かして、撮像し合成表示された指の画像１１を操作ボタン１０に重ね、タッチパネル４２を押下すれば指示が出せる。なお、操作ボタンの押下はフローチャートに示していない。ステップ１３がＮｏならステップ１４に進む。
【００３３】
ステップ１４〜１６は、手が操作部４０から離れ、撮像されなくなった場合の判定である。ステップ１４は、ターンシグナル（方向指示器）がオンかを判定する。オンであればターンシグナルを出すため手が操作部から離れたと判断する。左右折の待機中で操作部での操作はできない状態にある。ステップ１５は、ハンドル１８が３０度以上の旋回中かを判定する。旋回中であれば、ハンドル操作のため手が操作部から離れたと判断する。ステップ１６は、ギアチェンジ中かを判定する。ギアチェンジ中であれば、シフトレバー１２をつかむため手が操作部から離れたと判断する。ステップ１４〜１６のいずれかがＹｅｓなら、Ｅに進んで操作画面が消されずに表示が継続される。ステップ１４〜１６がすべてＮｏならＤに進む。このような判断は、図１において電子制御ユニット（ＥＣＵ）７０からの車両制御信号６に基づき、変換処理部６５が行なう。
【００３４】
図６に示すように、ステップ１７〜１９は、手が操作部４０から離れ、撮像されなくなった場合の判定である。ステップ１７は、ギアがＲ（リバース）になっているかを判定する。ギアがＲ（リバース）なら、ハンドル操作のため手が操作部から離れていると判断する。ステップ１８はパワーウィンドウ操作中かを判定する。パワーウィンドウ操作中なら、左手でウィンドウスイッチを操作し、右手でハンドルをつかむため、右手が操作部から離れていると判断する。ステップ１９はエアコン操作中かを判定する。エアコン操作中なら、インストルメントパネルに設けられたエアコンを操作するため、手が操作部４０から離れていると判断する。本実施例では、エアコンは、操作部４０と表示部５０による操作ではないものとする。
【００３５】
ステップ１７〜１９がすべてＮｏなら、ステップ２０に進んで、５秒経過した後に、操作ボタンまたは操作画面を消去する。例えばサンバイザの角度を調節するために手を動かしたような場合、サンバイザにセンサがなくても、５秒以内に手を戻せば操作ボタンまたは操作画面は消されずに表示が継続される。ステップ１７〜１９のいずれかがＹｅｓなら、ステップ２１に進み、操作ボタンまたは操作画面を所定の時間（例えば１分間）保持し、ステップ２２で手が再撮像されたか判定する。ここで所定の時間（例えば１分間）以内に手が再撮像されていなければ、ステップ２３に進み、操作ボタンまたは操作画面を消去する。手が再撮像されていればＣへ戻る。
【００３６】
図７〜１１は、操作ボタンまたは操作画面が消去されずに継続表示される場合の説明図である。運転操作中であることは、各種センサなどによって検出できる。図７（例１）は左折（または右折）の操作中または待機中を示す。ターンシグナル（方向指示器）がオンかどうかはターンシグナル信号から判定される。図８（例２）は旋回操作中を示す。旋回中かどうかは操舵角のセンサで判定される。図９（例３）はシフトレバー操作中を示す。シフトレバー操作中かどうかはシフトポジションセンサで判定される。図１０（例４）はパワーウィンドウ操作中を示す。パワーウィンドウを操作中かどうかは、パワーウィンドウスイッチのＯＮ／ＯＦＦ信号で判定される。ここではパワーウィンドウ操作も運転操作とする。図１１（例５）はエアコンの操作中を示す。これも運転操作とする。操作中かどうかはスイッチの押下信号で判定される。いずれも手を操作部４０に置くことが困難で、例えば所定の時間５秒には終わらない操作を検出している。
【産業上の利用可能性】
【００３７】
本発明は、操作時間が短く運転者の負担が少ない車両用操作装置として好適である。
【符号の説明】
【００３８】
１    合成画像信号
２    撮像信号
３    座標信号
４    指の画像処理信号
５    カーマルチメディア機器画像信号
６    車両制御信号
７    指判定信号
８ａ  表示指示信号
８ｂ    消去指示信号
９    エアコン操作パネル
１０    操作ボタン
１１    指の画像
１２    シフトレバー
１４    操作画面の継続表示
１５    操作画面
１５ａ    表示中の画面
１５ｂ    簡易操作画面
１５ｃ    オーディオの操作画面
１５ｄ    カーナビの目的地設定画面
１８    ハンドル
２５    手
４０    操作部
４１    カメラ
４２    タッチパネル
５０    表示部
６１    画像処理部
６２    合成処理部
６３    手指判定処理部
６４    ポップアップ処理部
６５    変換処理部
７０    電子制御ユニット（ＥＣＵ）
８０    カーマルチメディア機器
１００    車両用操作装置
【図１】
2011054138.tif 000003
【図２】
2011054138.tif 000004
【図３】
2011054138.tif 000005
【図４】
2011054138.tif 000006
【図５】
2011054138.tif 000007
【図６】
2011054138.tif 000008
【図７】
2011054138.tif 000009
【図８】
2011054138.tif 000010
【図９】
2011054138.tif 000011
【図１０】
2011054138.tif 000012
【図１１】
2011054138.tif 000013