(57)【特許請求の範囲】
【請求項１】
ユーザの操作手指が接触するタッチパネルと、
前記タッチパネルを撮影する撮影手段と、
前記撮影手段により撮影された撮影画像に基づいてユーザの操作手指の輪郭を抽出する輪郭抽出手段と、
ユーザの操作手指が前記タッチパネルに接触している接触部分を検出する接触部分検出手段と、
ユーザの操作手指が前記タッチパネル上に略静止されている状態での前記輪郭抽出手段により抽出されたユーザの操作手指の輪郭と前記接触部分検出手段により検出された接触部分とに基づいてユーザの操作手指の輪郭内での手指毎の接触部分の相対位置として、操作手指の先端から手のひらに向かって下がった腹部分を特定する相対位置特定手段と、
前記輪郭抽出手段により抽出されたユーザの操作手指の輪郭をスイッチ操作画面に重畳して合成画像を作成する合成画像作成手段と、
前記合成画像作成手段により作成された合成画像を表示手段に表示させる場合に、そのユーザの操作手指の輪郭の表示位置に対応して前記相対位置特定手段により特定された相対位置を前記表示手段に強調表示させる表示制御手段とを備えたことを特徴とする車載操作システム。
【請求項２】
請求項１に記載した車載操作システムにおいて、
動作モードとして少なくとも入力モードと補正モードとを実行するように構成され、
前記相対位置特定手段は、動作モードが入力モードから補正モードに切換わった旨をトリガとして、ユーザの操作手指が前記タッチパネル上に略静止されている状態での前記輪郭抽出手段により抽出されたユーザの操作手指の輪郭と前記接触部分検出手段により検出された接触部分とに基づいてユーザの操作手指の輪郭内での手指毎の接触部分の相対位置として、操作手指の先端から手のひらに向かって下がった腹部分を特定することを特徴とする車載操作システム。
【請求項３】
請求項１に記載した車載操作システムにおいて、
前記相対位置特定手段は、ユーザが入力を訂正した回数が規定回数に到達した旨をトリガとして、ユーザの操作手指が前記タッチパネル上に略静止されている状態での前記輪郭抽出手段により抽出されたユーザの操作手指の輪郭と前記接触部分検出手段により検出された接触部分とに基づいてユーザの操作手指の輪郭内での手指毎の接触部分の相対位置として、操作手指の先端から手のひらに向かって下がった腹部分を特定することを特徴とする車載操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが操作手指を接触させるタッチパネルと、スイッチ操作画面を表示する表示装置とを備え、ユーザの操作手指を撮影して輪郭を抽出し、その抽出したユーザの操作手指の輪郭をスイッチ操作画面に重畳した合成画像を表示装置に表示する車載操作システムに関する。
【背景技術】
【０００２】
ユーザが操作手指を接触させるタッチパネルと、スイッチ操作画面を表示する表示装置とを備え、ユーザの操作手指を撮影して輪郭を抽出し、その抽出したユーザの操作手指の輪郭をスイッチ操作画面に重畳した合成画像を表示装置に表示する車載操作システムが供されている。このものでは、ユーザの操作手指の輪郭がスイッチ操作画面に重畳されて表示されるので、ユーザは、スイッチ操作画面上で操作手指の輪郭を見ることができ、目線や姿勢を変えることなく、スイッチ操作画面を容易に操作することができる（例えば特許文献１参照）。
【特許文献１】特開平１０−２６９０１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、ユーザは、操作手指の輪郭を見ながらスイッチ操作画面で所望のボタン（キー）を選択するものであるが、操作手指の輪郭の先端を所望のボタンに重ねるように操作手指をタッチパネル上で移動させ、操作手指の輪郭の先端を所望のボタンに重ねた状態で当該ボタンを確定する操作（押圧操作）を行うのが一般的である。
【０００４】
しかしながら、ユーザの操作手指のうちタッチパネルに接触する部分は実際には手指の先端ではなく、いわゆる腹と称される部分であり、先端から手のひらに向かって少し下がった部分である。したがって、ユーザが操作手指の輪郭の先端を所望のボタンに重ねた状態で当該ボタンを確定する操作を行ったとしても、タッチパネル上では当該ボタンから手のひら側に少し外れた座標を選択したことになるので、ユーザが所望のボタン操作を行うことができなかったり、所望のボタンから手のひら側に別のボタンが配置されていると、ユーザが意図しない誤ったボタンを確定しまったりするという問題があり、操作性に劣るものであった。特に、ユーザが爪を伸ばしていたり付け爪を装着していたりすると、ユーザの操作手指の輪郭の先端と実際にタッチパネルに接触する部分との距離差が大きく、影響が大きいものであった。
【０００５】
本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザが所望のボタン操作を適切に行うことができ、操作性を高めることができる車載操作システムを提供することにある。
【課題を解決するための手段】
【０００６】
請求項１に記載した発明によれば、相対位置特定手段は、ユーザの操作手指がタッチパネル上に略静止されている状態で、撮影手段により撮影された撮影画像に基づいてユーザの操作手指の輪郭が輪郭抽出手段により抽出され、ユーザの操作手指がタッチパネルに接触している接触部分が接触部分検出手段により検出されると、それら輪郭抽出手段により抽出されたユーザの操作手指の輪郭と接触部分検出手段により検出された接触部分とに基づいてユーザの操作手指の輪郭内での手指毎の接触部分の相対位置として、操作手指の先端から手のひらに向かって下がった腹部分を特定する。また、合成画像作成手段は、輪郭抽出手段により抽出されたユーザの操作手指の輪郭をスイッチ操作画面に重畳して合成画像を作成する。そして、表示制御手段は、合成画像作成手段により作成された合成画像を表示手段に表示させる場合に、そのユーザの操作手指の輪郭の表示位置に対応して相対位置特定手段により特定された相対位置を表示手段に強調表示させる。
【０００７】
これにより、ユーザの操作手指がタッチパネル上に略静止されている状態でユーザの操作手指の輪郭内での手指毎の接触部分の相対位置として、操作手指の先端から手のひらに向かって下がった腹部分を特定し、ユーザの操作手指の輪郭をスイッチ操作画面に重畳して合成画像を表示する場合に、そのユーザの操作手指の輪郭の表示位置に対応する相対位置を強調表示するので、ユーザが操作手指をタッチパネル上で移動させることに追従してユーザの操作手指が実際にタッチパネルに接触している位置または接触する位置をユーザに常に知らせることができ、よって、ユーザが所望のボタン操作を適切に行うことができ、操作性を高めることができる。
【０００８】
請求項２に記載した発明によれば、相対位置特定手段は、動作モードが入力モードから補正モードに切換わった旨をトリガとして、ユーザの操作手指がタッチパネル上に略静止されている状態で、輪郭抽出手段により抽出されたユーザの操作手指の輪郭と接触部分検出手段により検出された接触部分とに基づいてユーザの操作手指の輪郭内での手指毎の接触部分の相対位置として、操作手指の先端から手のひらに向かって下がった腹部分を特定する。
【０００９】
これにより、例えばユーザが入力を訂正する回数が増えた旨を感じて動作モードを入力モードから補正モードに切換え、ユーザが操作手指をタッチパネル上に略静止させると、ユーザの操作手指の輪郭内での手指毎の接触部分の相対位置として、操作手指の先端から手のひらに向かって下がった腹部分を特定するので、ユーザが動作モードを入力モードから補正モードに切換え、ユーザが操作手指をタッチパネル上に略静止させることにより、ユーザの操作手指が実際にタッチパネルに接触している位置または接触する位置を特定し直すことができ、これ以降に、ユーザが所望のボタン操作を適切に行うことができる。
【００１０】
請求項３に記載した発明によれば、相対位置特定手段は、ユーザが入力を訂正した回数が規定回数に到達した旨をトリガとして、ユーザの操作手指がタッチパネル上に略静止されている状態で、輪郭抽出手段により抽出されたユーザの操作手指の輪郭と接触部分検出手段により検出された接触部分とに基づいてユーザの操作手指の輪郭内での手指毎の接触部分の相対位置として、操作手指の先端から手のひらに向かって下がった腹部分を特定する。
【００１１】
これにより、ユーザが入力を訂正した回数が規定回数に到達し、例えば警告が表示された旨を受けて、ユーザが操作手指をタッチパネル上に略静止させると、ユーザの操作手指の輪郭内での手指毎の接触部分の相対位置として、操作手指の先端から手のひらに向かって下がった腹部分を特定するので、ユーザが入力を訂正した回数が規定回数に到達し、ユーザが操作手指をタッチパネル上に略静止させることにより、ユーザの操作手指が実際にタッチパネルに接触している位置または接触する位置を特定し直すことができ、これ以降に、ユーザが所望のボタン操作を適切に行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態について、図面を参照して説明する。車載操作システム１は、タッチスイッチ装置２、撮影カメラ３（本発明でいう撮影手段）、制御装置４（本発明でいう輪郭抽出手段、接触部分検出手段、相対位置特定手段、合成画像作成手段、表示制御手段）、表示装置５（本発明でいう表示手段）及びナビゲーション装置６を備えて構成されている。
【００１３】
タッチスイッチ装置２は、ユーザが操作手指を接触させるタッチパネル７と、タッチパネル７を照射するバックライト８とを備えて構成され、例えば右ハンドル車両であれば、ユーザが右手でステアリングを握った状態で姿勢を変えることなく左手を置く（接触させる）ことが可能となるように例えばセンターコンソールなどに配置されており、ユーザの操作手指がタッチパネル７に接触している状態では当該接触位置を表す接触位置座標を制御装置４に出力する。
【００１４】
撮影カメラ３は、ＣＣＤカメラやＣＭＯＳカメラから構成され、タッチパネル７の全体を撮影することが可能となるように例えば車室内ルーフやインストルメントパネルやバックライト８の背面に配置されており、撮影画像を制御装置４に出力する。尚、撮影カメラ３は、ＣＣＤカメラやＣＭＯＳカメラなどの光学式カメラに限らず、赤外線カメラであっても良い。
【００１５】
表示装置５は、例えば液晶ディスプレイから構成され、ユーザが運転中に目線を変えることなく視認することが可能な位置に配置されており、制御装置４から合成画像を入力すると、その入力した合成画像を表示する。尚、上記したタッチパネル７のサイズと表示装置５のサイズとは略同じであることが望ましい。ナビゲーション装置６は、スイッチ操作画面（例えばメニュー画面や目的地設定画面や検索画面など）を制御装置４に出力すると共に、制御装置４からスイッチ制御信号を入力すると、その入力したスイッチ制御信号に基づいた処理を実施する。
【００１６】
制御装置４は、ＣＰＵ、ＲＡＭ及びＲＯＭなどから構成され、その機能毎に、輪郭抽出モジュール、接触部分検出モジュール、相対位置特定モジュール、合成画像作成モジュール及び表示制御モジュールを実行し、車載操作システム１の動作全般を制御する。具体的には、制御装置４は、撮影カメラ３から撮影画像を入力すると、輪郭抽出モジュールを実行することにより、撮影カメラ３により撮影されたユーザの操作手指の撮影画像に基づいてユーザの操作手指の輪郭を抽出する。尚、ユーザの操作手指の画像を処理する画像処理方法としては例えばクロマキー処理を実施する。この場合、肌色の捕色である青色をタッチパネル７の表面色とし、バックライト８がタッチパネル７を照射することにより、外乱光による影響を軽減する。
【００１７】
また、制御装置４は、タッチスイッチ７から接触位置座標を入力すると、接触部分検出モジュールを実行することにより、そのユーザの操作手指がタッチパネル７に接触している接触部分を検出する。そして、制御装置４は、ユーザの操作手指がタッチパネル７上に略静止されている状態での撮影画像を撮影カメラ３から入力すると共に、ユーザの操作手指がタッチパネル７上に略静止されている状態での接触位置座標をタッチパネル７から入力すると、相対位置特定モジュールを実行することにより、その抽出したユーザの操作手指の輪郭と検出した接触部分とに基づいてユーザの操作手指の輪郭内での接触部分の相対位置を特定する。
【００１８】
具体的に説明すると、制御装置４は、図２に示すように、ユーザが操作手指の先端でタッチパネル７に接触するのではなく、ユーザがいわゆる腹と称される先端から手のひらに向かって少し下がった部分でタッチパネル７に接触するような場合には、操作手指の先端ではなく、操作手指の先端から手のひらに向かって少し下がった部分を相対位置として特定する。
【００１９】
また、制御装置４は、合成画像作成モジュールを実行することにより、抽出したユーザの操作手指の輪郭をナビゲーション装置６から入力したスイッチ操作画面に重畳して合成画像を作成する。そして、制御装置４は、表示制御モジュールを実行することにより、合成画像を表示装置５に出力して表示させる場合に、図３に示すように、そのユーザの操作手指の輪郭の表示位置に対応して、これよりも先に特定した接触部分の相対位置を表示装置５に出力して強調表示させる。この場合の強調表示は、例えば着色表示や点滅表示などである。
【００２０】
ところで、上記した構成において、制御装置４がユーザの操作手指の輪郭内での接触部分の相対位置を特定するタイミングとしては、例えばユーザがシステムの動作モードを入力モードから補正モードに切換えたタイミングや、ユーザが入力を訂正した回数が規定回数に到達したタイミングである。
【００２１】
すなわち、制御装置４は、ユーザがシステムの動作モードを入力モードから補正モードに切換え、ユーザが操作手指をタッチパネル７上に静止させると、撮影カメラ３から入力した撮影画像からユーザの操作手指の輪郭を抽出すると共に、タッチパネル７から入力した接触位置座標を判定して接触部分を検出し、その抽出したユーザの操作手指の輪郭と検出した接触部分とに基づいてユーザの操作手指の輪郭内での接触部分の相対位置を特定する。
【００２２】
また、制御装置４は、ユーザが入力を訂正した回数が規定回数に到達すると、例えば「誤操作が多発しています  補正処理を行って下さい」という警告を表示させ、警告が表示された旨を受けて、ユーザが操作手指をタッチパネル７上に静止させると、撮影カメラ３から入力した撮影画像からユーザの操作手指の輪郭を抽出すると共に、タッチパネル７から入力した接触位置座標を判定して接触部分を検出し、その抽出したユーザの操作手指の輪郭と検出した接触部分とに基づいてユーザの操作手指の輪郭内での接触部分の相対位置を特定する。
【００２３】
以上に説明したように本実施形態によれば、車載操作システム１において、ユーザの操作手指がタッチパネル７上に略静止されている状態でユーザの操作手指の輪郭内での接触部分の相対位置を特定し、ユーザの操作手指の輪郭をスイッチ操作画面に重畳して合成画像を表示する場合に、そのユーザの操作手指の輪郭の表示位置に対応する相対位置を強調表示するように構成したので、ユーザが操作手指をタッチパネル７上で移動させることに追従してユーザの操作手指が実際にタッチパネル７に接触している位置または接触する位置をユーザに常に知らせることができ、よって、ユーザが所望のボタン操作を適切に行うことができ、操作性を高めることができる。特に、例えば５０音入力画面などのボタンのサイズが小さく且つボタン同士の間隔が狭いスイッチ操作画面に対して多大な効果を発揮することができる。
【００２４】
また、タッチパネル７のサイズと表示装置５のサイズとを略同じに構成すれば、ユーザが操作手指をタッチパネル７上で移動させる移動量と、表示装置５に表示されるユーザの操作手指の輪郭の移動量とを略同じとすることができ、操作感覚の違和感（ずれ）が発生してしまうことを回避することができる。
【００２５】
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
制御装置、表示装置及びナビゲーション装置は、ナビゲーションシステムとして一体化されている構成であっても良い。
表示による警告に限らず、音声出力による警告であっても良く、また、それら表示による警告と音声出力による警告とを併用しても良い。
ユーザ毎の相対位置を予め登録しておき、ユーザがシステムを使用する前にユーザＩＤを入力することにより、そのユーザＩＤに対応する相対位置を強調表示するように構成しても良く、そのように構成すれば、１台の車両（１つのシステム）を複数人で共有する場合であっても、使用するユーザの操作手指が実際にタッチパネルに接触している位置または接触する位置を適切に知らせることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態を示す機能ブロック図
【図２】ユーザの操作手指がタッチパネルに接触している態様を概略的に示す図
【図３】ユーザが操作手指をタッチパネル上で移動させている態様及びユーザの操作手指の接触部分に対応する相対位置が強調表示されている態様を概略的に示す図
【符号の説明】
【００２７】
図面中、１は車載操作システム、３は撮影カメラ（撮影手段）、４は制御装置（輪郭抽出手段、接触部分検出手段、相対位置特定手段、合成画像作成手段、表示制御手段）、５は表示装置（表示手段）、７はタッチパネルである。
【図１】
0004788455.tif 000002
【図２】
0004788455.tif 000003
【図３】
0004788455.tif 000004