(57)【要約】【課題】  撮影手段から入力した画像を基にユーザの入力操作位置を特定する場合であっても、その際に要する処理が簡単で、しかもより的確に操作位置を特定することができる操作入力装置を提供する。【解決手段】  半透明スクリーン３に背面からプロジェクタ４で各種選択ボタン５を投影し、半透明スクリーン３を背面からカメラ６で撮影する。ＣＰＵ１０はカメラ６の撮影画像の輝度に基づき、ユーザが半透明スクリーン３に触れている接触領域と、ユーザの手の部分に相当する手領域とを算出する。ＣＰＵは算出した手領域において、プロジェクタ４が画像を投影する領域で手領域の重心を求め、同じくカメラ６の撮影領域とボタン投影領域との差の領域で手領域の重心を求める。ＣＰＵ１０はこれら重心から先端方向ベクトルを算出し、この先端方向ベクトルにおいて最先端に位置する接触領域をユーザの操作位置として選別する。【選択図】      図３
2007080187.tif 000002
【特許請求の範囲】
【請求項１】
半透明スクリーンと、
前記半透明スクリーンに背面側から表示物を投影する投影手段と、
前記半透明スクリーンを背面側から撮影する撮影手段と、
前記撮影手段が取得した画像データを用い、前記半透明スクリーンに映る画像の輝度を基に表示面における操作位置を検出し、当該操作位置が複数検出された際には、該輝度から求まる特性値の最も高い操作位置をユーザが意図する操作位置として検出する操作位置検出手段と、
前記操作位置検出手段が検出した前記操作位置と、前記投影手段が投影した前記表示物の座標位置とを比較し、これら位置が一致したことを条件に前記表示物に応じた処理を実行させる実行手段と
を備えたことを特徴とする操作入力装置。
【請求項２】
前記操作位置検出手段は、前記輝度が閾値以上となる領域を前記ユーザが前記表示面に触れている接触領域として検出し、前記ユーザが前記表示物を選択操作する際の操作方向に対し、当該操作方向の最先端に位置する前記接触領域を前記操作位置として検出することを特徴とする請求項１に記載の操作入力装置。
【請求項３】
前記操作位置検出手段は、前記半透明スクリーンの区画域である第１領域及び第２領域の各々において、前記輝度が当該閾値よりも低い値の第２閾値以上で、かつ当該閾値よりも低い値となる領域を前記操作部位の画像として認識し、前記第１領域に表示される第１操作部位画像と、前記第２領域に表示される第２操作部位画像との各々で画像の重心を算出し、これら重心を通るとともに前記第２操作部位画像の重心から前記第１操作部位画像の重心に向かう先端方向ベクトルを前記操作方向として算出することを特徴とする請求項２に記載の操作入力装置。
【請求項４】
前記第１領域は、前記投影手段による前記表示物の投影領域であり、前記第２領域は、前記撮影手段の撮影領域と前記投影領域との差の領域であることを特徴とする請求項３に記載の操作入力装置。
【請求項５】
前記操作位置検出手段は、前記接触領域を前記先端方向ベクトルに写像することによって、複数の前記接触領域の中から最先端に位置する接触領域を指定することを特徴とする請求項３又は４に記載の操作入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが機器を稼働させる際に行なう入力操作を、撮影画像を用いて検出する操作入力装置に関する。
【背景技術】
【０００２】
従来、ユーザにより行なわれるカーナビゲーションシステム等の車載機器への入力操作を検出する操作入力装置として、例えば車両に配設された画面へのタッチ操作を入力操作としてタッチセンサで検出するタッチ操作入力装置が使用されている。このタッチ操作入力装置としては、例えば画面の入力操作位置を絶対位置で検出する絶対位置検出式のものや、或いは画面への入力操作時の操作量及び操作方向を相対位置で検出する相対位置検出式のものがある。
【０００３】
しかし、このタッチ操作入力装置は、ユーザによる画面へのタッチ操作をタッチセンサで検出するものであるため、ユーザの指等が触れる接触部分においてタッチセンサが劣化する問題は否めない。従って、操作入力装置の耐久性を向上させるために、この種のタッチセンサを用いずにユーザの入力操作を検出可能な構成の操作入力装置が望まれていた。
【０００４】
そこで、スクリーンに各種選択ボタンを映し出し、そのスクリーンをカメラで撮影して、ユーザによるスクリーン上の選択ボタンの操作を、カメラからの撮影画像を基に検出するカメラ撮影式の操作入力装置が例えば特許文献１〜３に開示されている。この種のカメラ撮影式の操作入力装置を使用すれば、ユーザが指等でセンサに触れる等の操作が必要ないため、その接触部分におけるセンサの劣化等の問題が生じず、操作入力装置の高い耐久性が確保される。
【特許文献１】特開平２−１３２５１０号公報
【特許文献２】特開２００２−１５７０７９号公報
【特許文献３】特開平４−２７１４２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の技術については、操作入力装置がユーザによる入力操作の操作位置を特定するに際して、カメラで取り込んだ画像データ（画像信号）の２値化処理、細線化処理、画像端点の検出処理等の複雑で多工程に亘る画像処理が必要となるため、その操作位置特定処理の煩雑化を招く。よって、入力操作が行なわれてから操作位置が特定されるまでに時間を要する場合があり、入力操作から実際に操作入力装置が稼働するまでに間が生じて、スムーズな操作感覚を確保できない場合がある。また、特許文献２に関しても、画像データのピクセル変換、ピクセル変化の傾向分析、物件動作の移行判断等の画像処理が必要となるため、特許文献１と同様の問題が生じる。
【０００６】
次いで、特許文献３は、指示目標物体を指し示す先端点と、指示操作を行なう際の基準位置となる基準点との直線をとり、この直線上の先端にある位置を指示目標物体として検出する技術である。しかし、この技術においては基準点のキャリブレーションが必要であるため、特許文献１，２と同様に操作位置指定処理の煩雑化を招く。また、この種のキャリブレーションが必要であるとすると、面倒な作業をユーザに課すことになり、操作入力装置の使い勝手をよくするためには、この種の作業を不要にしたい要望もある。特に、この技術を車載機器に用いた場合、運転者にキャリブレーションを毎回課すのは酷であり、実用には向かない。
【０００７】
また、場合によっては、同時に複数箇所で入力操作が検出され、複数の選択ボタンが同時に選択される状況になる場合も考えられる。入力操作に際して同時入力が生じた場合、ユーザが意図しない操作位置が入力位置として判別され、必要としない処理が実行されてしまうことにもなりかねないため、装置の使い勝手をよくするためにも、同時入力に関して何らかの対応策を施す必要もある。
【０００８】
本発明の目的は、撮影手段から入力した画像を基にユーザの入力操作位置を特定する場合であっても、その際に要する処理が簡単で、しかもより的確に操作位置を特定することができる操作入力装置を提供することにある。
【課題を解決するための手段】
【０００９】
この発明によれば、半透明スクリーンと、前記半透明スクリーンに背面側から表示物を投影する投影手段と、前記半透明スクリーンを背面側から撮影する撮影手段と、前記撮影手段が取得した画像データを用い、前記半透明スクリーンに映る画像の輝度を基に表示面における操作位置を検出し、当該操作位置が複数検出された際には、該輝度から求まる特性値の最も高い操作位置をユーザが意図する操作位置として検出する操作位置検出手段と、前記操作位置検出手段が検出した前記操作位置と、前記投影手段が投影した前記表示物の座標位置とを比較し、これら位置が一致したことを条件に前記表示物に応じた処理を実行させる実行手段とを備えたことを要旨とする。
【００１０】
この構成によれば、半透明スクリーンには、各種機器を作動させる際に選択操作される各種表示物（例えば選択ボタン等）が投影手段によって表示される。この表示物としては、例えば機器の電源オンボタン、作動モード選択ボタン、電源オフボタン等がある。機器を作動させるには、ユーザが半透明スクリーン上の所望の表示物を指等で触れる入力操作を行なう。
【００１１】
ところで、半透明スクリーンは背面が撮影手段によって常時撮影され、その画像データが操作位置検出手段に転送される。ここで、半透明スクリーン上の表示物が入力操作された際には、投影手段から出された光がユーザの指や手等で反射し、その反射光が半透明スクリーンに到達していく過程で拡散するため、指（手）が半透明スクリーンに近い部位ほど輝度が高くなる。よって、操作位置検出手段は、撮影手段から取得した画像データを用い、輝度の上昇した部分をユーザによる操作位置として検出する。そして、操作位置検出手段が検出した操作位置と、投影手段が投影した表示物の座標位置とが実行手段によって比較され、これら両位置が一致した際には、その操作位置にある表示物に応じた処理が実行手段によって実行される。
【００１２】
従って、本発明においては、ユーザが半透明スクリーンの表示体を選択操作する際に半透明スクリーンに生じる輝度の変化を見て入力操作位置を判断するという簡単な手法で、ユーザによる入力操作位置を認識することが可能となる。このため、場合によっては、入力操作が行なわれてから操作位置が特定されるまでに要する処理時間を短く済ますことも可能となり、入力操作から実際に操作入力装置が稼働するまでに間が生じ難くなって、スムーズな操作感覚を確保することも可能となる。
【００１３】
また、ユーザが半透明スクリーンに触れて入力操作を行なう際、ユーザが意図しない部位が半透明スクリーンに触れて、複数箇所で同時に入力操作が行なわれる場合がある。しかし、このように複数の操作位置でユーザが半透明スクリーンに触れても、各操作位置の輝度に関して特性値（例えば、操作方向における位置、半透明スクリーンに触れた際の接触面積等）が最も高いものを、ユーザが意図する入力位置として検出する。よって、同時入力が生じても、ユーザが意図しない操作位置を入力位置として検出し難くなる。
【００１４】
この発明によれば、前記操作位置検出手段は、前記輝度が閾値以上となる領域を前記ユーザが前記表示面に触れている接触領域として検出し、前記ユーザが前記表示物を選択操作する際の操作方向に対し、当該操作方向の最先端に位置する前記接触領域を前記操作位置として検出することを要旨とする。
【００１５】
この構成によれば、ユーザが半透明スクリーンに触れて入力操作を行なう際には、例えば手の最先端部位（例えば人差し指の先端）で半透明スクリーンを触るが、この入力操作においては、この操作部位以外の部位も同時に半透明スクリーンに触れてしまう場合がある。しかし、このような同時入力が生じても、これら複数ある接触領域のうち操作方向の最先端に位置するものを、ユーザが入力操作として行なった部位の接触領域として認識する。よって、操作方向の最先端に位置するものは、ユーザが意図して入力する操作位置である確率が高いため、より的確に操作位置を選別することが可能となる。
【００１６】
この発明によれば、前記操作位置検出手段は、前記半透明スクリーンの区画域である第１領域及び第２領域の各々において、前記輝度が当該閾値よりも低い値の第２閾値以上で、かつ当該閾値よりも低い値となる領域を前記操作部位の画像として認識し、前記第１領域に表示される第１操作部位画像と、前記第２領域に表示される第２操作部位画像との各々で画像の重心を算出し、これら重心を通るとともに前記第２操作部位画像の重心から前記第１操作部位画像の重心に向かう先端方向ベクトルを前記操作方向として算出することを要旨とする。
【００１７】
この構成によれば、先端方向ベクトルはその時々の入力操作の際に、その操作部位の操作方向に応じて適宜算出されるため、例えば先端方向ベクトルを固定値データとした場合に比べて、先端方向ベクトルの精度がよくなる。従って、ユーザが入力を行なうに際して同時入力が発生しても、ユーザが意図しない間違った接触領域を、ユーザが入力操作として行なった部位の接触領域として認識し難くなり、誤入力発生防止に一層効果がある。
【００１８】
この発明によれば、前記第１領域は、前記投影手段による前記表示物の投影領域であり、前記第２領域は、前記撮影手段の撮影領域と前記投影領域との差の領域であることを要旨とする。
【００１９】
この構成によれば、第１領域を表示体の表示領域、第２領域を撮影領域及び表示領域の差の領域とすると、例えば第１領域が半透明スクリーンの中央寄り領域となり、第２領域が第１領域の周囲を囲む周縁の領域となる。このような位置関係があれば、先端方向ベクトルを算出する際に必要となる２点が同一領域に位置してしまう状況になり難く、先端方向ベクトルの算出に際して好ましい領域分布となる。
【００２０】
この発明によれば、前記操作位置検出手段は、前記接触領域を前記先端方向ベクトルに写像することによって、複数の前記接触領域の中から最先端に位置する接触領域を指定することを要旨とする。
【００２１】
この構成によれば、複数の接触領域が存在する場合、これら接触領域を先端方向ベクトルに写像して接触領域の位置を比較するため、複数の接触領域から最先端に位置するものを選別する際の精度が高まり、このことも誤入力発生防止に一層効果がある。
【発明の効果】
【００２２】
本発明によれば、撮影手段から入力した画像を基にユーザの入力操作位置を特定する場合であっても、その際に要する処理が簡単で、しかもより的確に操作位置を特定することができる。
【発明を実施するための最良の形態】
【００２３】
図１に示すように、操作入力装置１は、各種機器を作動させる際の操作パネルとして機能する装置であり、例えば車両２のカーナビゲーションシステム、オーディオ機器、空調装置等の車載機器を動作させる際に入力操作される。操作入力装置１は、半透明スクリーン３に背面側からプロジェクタ４（図２参照）で各種選択ボタン５を表示するとともに、半透明スクリーン３を背面側からカメラ６（図２参照）で撮影し、その選択ボタン５がユーザの指等で選択操作された際に変わる輝度Ｋの変化を撮影画像から求めて、半透明スクリーン３上における操作位置Ｐｘを特定する。なお、プロジェクタ４が投影手段に、選択ボタン５が表示物に、カメラ６が撮影手段に各々相当する。
【００２４】
図２に示すように、車両運転席の前部にはセンタークラスター７が配設され、そのセンタークラスター７の中央部に半透明スクリーン３が取り付けられている。半透明スクリーン３は、例えば四角形状の平板状をなしており、像性能を示す拡散性のプラスティック材のシートで構成されている。
【００２５】
半透明スクリーン３の背面３ａには、プロジェクタ４が車体に固着された状態で取り付けられている。プロジェクタ４はＲＧＢ各々のフィルタを通した光を合成して画像を投影する装置であり、例えば液晶プロジェクタが用いられ、車両機器を作動させるための各種選択ボタン５を半透明スクリーン３の背面３ａから投影する。これにより、半透明スクリーン３の表面が表示面３ｂとなり、この表示面３ｂに各種選択ボタン５の文字が表向き状態で表示される。
【００２６】
同じく半透明スクリーン３の背面３ａには、カメラ６がプロジェクタ４に並設状態で車体に固着されている。カメラ６は、画像を可視光で撮影可能なＣＭＯＳ(Complementary Metal Oxide Semiconductor)カメラ等が使用され、半透明スクリーン３の背面３ａを撮影する。本例においてはカメラ６によって取得した画像で輝度の変化を見て半透明スクリーン３における入力操作の有無を判断するため、カメラ６で取得した撮影画像においては輝度の変化が見られれば充分であることから、カメラ６の画素数は例えば数十万画素程度あればよい。
【００２７】
図３に示すように、車体には、操作入力装置１を統括制御する操作位置検出用制御回路８、車載機器を作動させる車載機器用制御回路９が取り付けられている。操作位置検出用制御回路８は、同回路８のメイン制御を司るＣＰＵ(Central processing Unit)１０、各種プログラム群及びデータ群を記憶したＲＯＭ(Read-Only Memory)１１、プログラム実行時におけるＣＰＵ１０の作業領域となるＲＡＭ(Random Access Memory)１２、各種データの入出口となるインターフェース１３を備えている。これらデバイスは、操作位置検出用制御回路８内のバス１４を通じて相互接続されている。なお、ＣＰＵ１０が操作位置検出手段及び実行手段を構成する。
【００２８】
ＲＯＭ１１には、車両機器を動作させるべくユーザが半透明スクリーン３で行なう入力操作を検出する操作位置検出プログラムＰprが記憶されている。この操作位置検出プログラムＰprは、プロジェクタ４を駆動して半透明スクリーン３に選択ボタン５を表示させ、ユーザが半透明スクリーン３上の選択ボタン５を選択操作する際に、その画像をカメラ６で撮影し、その画像データＤａを基にユーザの操作位置Ｐｘを検出するプログラムである。
【００２９】
ＣＰＵ１０は、エンジンスイッチ（図示略）がアクセサリ位置又はイグニッション位置に操作された際に起動を開始して操作位置検出プログラムＰprを立ち上げ、インターフェース１３を介してプロジェクタ４に起動開始指令及び表示データＤｂを出力する。プロジェクタ４は操作位置検出用制御回路８から起動開始指令を受けると起動を開始し、操作位置検出用制御回路８から入力する表示データＤｂに基づく表示画面（選択ボタン５）を半透明スクリーン３に投影する。
【００３０】
ＣＰＵ１０は、プロジェクタ４に起動開始指令を出力するのと同様に、インターフェース１３を介してカメラ６にも起動開始指令を出力する。カメラ６は操作位置検出用制御回路８から起動開始指令を受けると起動を開始し、半透明スクリーン３を背面３ａから撮影して、その画像データＤａを操作位置検出用制御回路８に出力する。カメラ６はＣＰＵ１０から起動開始指令を受ける度に数十〜数百μｓの時間範囲で画像撮影を行ない、起動開始信号を連続的に受け取ることで、操作位置検出用制御回路８に連続画像を出力する。
【００３１】
ＣＰＵ１０は、インターフェース１３内のノイズ除去回路１３ａでノイズを取り去った後に画像データＤａを取り込み、その画像データＤａを基に半透明スクリーン３上の輝度Ｋを算出する。ここで、ユーザが半透明スクリーン３を指等で触れると、図３に示すようにプロジェクタ４から投影される光が指や手等で反射し、その反射光が拡散するため、指が半透明スクリーン３に近い部分ほど、カメラ６で入力する画像の輝度Ｋが高く（光が明るく）なる。よって、ＣＰＵ１０は半透明スクリーン３上で輝度Ｋが高い部分をユーザによる入力操作の操作位置Ｐｘとして導出する。ＣＰＵ１０はこの操作位置Ｐｘを見ることで選択ボタン５が操作されたか否かを判断し、選択ボタン５が操作された際には、その選択ボタン５に応じた処理を車両機器に実行させるべく、作動要求信号Ｓを車載機器用制御回路９に出力する。
【００３２】
車載機器用制御回路９は、操作位置検出用制御回路８から作動要求信号Ｓを入力すると、その作動要求信号Ｓに応じた車載機器を作動させる。例えば、半透明スクリーン３でカーナビゲーションシステムの電源オンボタンが操作された場合には、カーナビゲーションシステムが起動し、カーナビゲーションシステムの起動下で行き先入力ボタンが操作された場合には、カーナビゲーションシステムの作動モードが行き先入力モードに切り換わる。
【００３３】
次に、操作位置Ｐｘの検出手順の詳細を説明する。
図３及び図４に示すように、半透明スクリーン３上で選択ボタン５を表現する各ドットの座標位置（ｘ，ｙ）は、選択ボタン５の表示サイズや、プロジェクタ４の設置位置及び設置角度に基づく選択ボタン５の表示位置等によって決まる。よって、操作位置検出プログラムＰprにこの座標位置（ｘ，ｙ）に関する座標位置データを組み込んでおけば、ＣＰＵ１０は表示データＤｂをプロジェクタ４に投影させる際、各選択ボタン５，５…が半透明スクリーン３上でどの座標位置（ｘ，ｙ）に位置しているかを認識することが可能である。
【００３４】
カメラ６が半透明スクリーン３の背面３ａを撮影し、ＣＰＵ１０がその撮影画像を取得すると、ＣＰＵ１０は半透明スクリーン３の画像の中で輝度Ｋが第１閾値Ｋａ以上（Ｋ≧Ｋａが成立）となる領域を判別する。この第１閾値Ｋａは、輝度Ｋがこの値以上となれば、ユーザが半透明スクリーン３に触れていると判断可能な値に設定されている。よって、ＣＰＵ１０は、輝度Ｋが第１閾値Ｋａ以上となる領域を、ユーザが半透明スクリーン３に触れている接触領域１５として判別する。
【００３５】
また、ＣＰＵ１０は閾値Ｋａを用いた輝度判別とともに、輝度Ｋが第１閾値Ｋａよりも小さく第２閾値Ｋｂ以上となる範囲（Ｋｂ≦Ｋ＜Ｋａが成立）となる領域を判別する。この第２閾値Ｋｂは、図５に示すように第１閾値Ｋａよりも低い値として設定された閾値であり、輝度ＫがＫｂ≦Ｋ＜Ｋａの範囲内にあれば、その部分が入力操作を行なっているユーザの手であると判断可能な値に設定されている。ＣＰＵ１０は、輝度Ｋが第１閾値Ｋａよりも小さく第２閾値Ｋｂ以上となる範囲となる領域を、ユーザの手が位置する手領域１６として判別する。
【００３６】
ここで、図４に示すように、ユーザが例えば人差し指で選択ボタン５を操作する際、人差し指以外の手の部分が半透明スクリーン３に同時に触れてしまうと、接触領域１５が複数検出されてしまうことになる。このように、入力操作が複数箇所で同時に行なわれてしまうと、ユーザの意図しない選択ボタン５が入力操作されることになるため、このような状況下においては、これら複数の接触領域１５ａ，１５ｂ…のうち人差し指に相当する接触領域１５ａを選別する必要がある。
【００３７】
そこで、ＣＰＵ１０は以下の手順によって接触領域１５を選別する。まず前提条件として、予めＣＰＵ１０は、半透明スクリーン３の背面３ａのうちプロジェクタ４が選択ボタン５を投影している領域をボタン投影領域Ｅ１として認識している。本例においてプロジェクタ４は半透明スクリーン３の中央上部寄りに各種選択ボタン５を投影しているため、この領域がボタン投影領域Ｅ１となっている。また、本例においては半透明スクリーン３の背面全体をカメラ６の撮影領域としており、ＣＰＵ１０はこのカメラ撮影領域とボタン投影領域Ｅ１との差の部分を差領域Ｅ２として認識している。なお、ボタン投影領域Ｅ１が第１領域に相当し、差領域Ｅ２が第２領域に相当する。
【００３８】
続いて、ＣＰＵ１０は、ユーザが半透明スクリーン３を操作する際の手の操作方向（以下、先端方向ベクトルＢと記す）を算出する。この先端方向ベクトルＢの算出処理として、ＣＰＵ１０は先程算出した手領域１６をボタン投影領域Ｅ１と差領域Ｅ２とで区分し、ボタン投影領域Ｅ１の手領域である第１手領域１６ａにおいて重心Ｇ１を算出し、差領域Ｅ２の手領域である第２手領域１６ｂおいて重心Ｇ２を算出する。重心Ｇ１，Ｇ２は半透明スクリーン３の画素単位の値として算出され、重心座標を（ｘｇ，ｙｇ）、画像データＤａから得られた手領域１６ａ（１６ｂ）の画素数をｎ、各画素のｘ座標値をｘｋ、各画素のｙ座標値をｙｋとすると次式によって求められる。
【００３９】
【数１】
2007080187.tif 000003
即ち、上式からも分かるように、ｘ座標値及びｙ座標値の各々において和をとり、これら和をそれぞれ画素数で割ることによってｘ座標値及びｙ座標値の平均値を算出し、以上によって求まったｘ座標平均値とｙ座標平均値を重心座標としている。なお、第１手領域１６ａが第１操作部位画像に相当し、第２手領域１６ｂが第２操作部位画像に相当する。
【００４０】
続いて、ＣＰＵ１０は、重心Ｇ１と重心Ｇ２を通るとともに、差領域Ｅ２の重心Ｇ２からボタン投影領域Ｅ１の重心Ｇ１に向かうベクトルを先端方向ベクトルＢとして算出する。即ち、２点の座標が分かれば、この座標を減算すればベクトルが算出可能であるため、本例においては重心Ｇ１から重心Ｇ２を減算することによって先端方向ベクトルＢ（＝Ｇ１−Ｇ２）を算出する。
【００４１】
先端方向ベクトルＢの算出後、ＣＰＵ１０は接触領域１５が複数ある場合、各接触領域１５ａ，１５ｂ…の写像をとることによって、接触領域１５ａ，１５ｂ…を先端方向ベクトルＢ上に置き換える。写像をとる手順として、各手領域１６ａ，１６ｂで重心Ｇ１，Ｇ２を算出した場合と同様の手順で、ＣＰＵ１０は各々の接触領域１５ａ，１５ｂ…において重心Ｇs1，Ｇs2，…をとる。続いて、ＣＰＵ１０はこれら重心Ｇs1，Ｇs2，…から先端方向ベクトルＢに下ろした垂線の足の座標を接触点Ｐs1，Ｐs2…として算出する。これら接触点Ｐs1，Ｐs2…も、半透明スクリーン３の画素単位の値として算出される。ＣＰＵ１０は、これら接触点Ｐs1，Ｐs2…の中から先端方向ベクトルＢに対して最先端に位置する接触点（本例はＰs1）を、ユーザが意図する操作位置Ｐｘとして選別する。なお、先端方向ベクトルＢ上の座標位置が特性値に相当する。
【００４２】
ＣＰＵ１０は、選別した操作位置Ｐｘと、半透明スクリーン３に表示された選択ボタン５の座標位置（ｘ，ｙ）とを比較する。ところで、１つの選択ボタン５は複数のドットから成り立っているため、ＣＰＵ１０は操作位置Ｐｘがこれら座標位置（ｘ，ｙ）のどれかに重なっていれば、それをユーザが選択した選択ボタン５と選定し、その選択ボタン５に応じた作動要求信号Ｓを車載機器用制御回路９に出力する。車載機器用制御回路９は、操作位置検出用制御回路８から作動要求信号Ｓを入力すると、その作動要求信号Ｓに基づき車載機器を作動させる。
【００４３】
従って、本例においては、ユーザが半透明スクリーン３の選択ボタン５を操作する際には、半透明スクリーン３に輝度Ｋの変化が生じるため、この輝度Ｋの変化を見て入力操作時の操作位置Ｐｘを判断するという簡単な手法で、ユーザによる半透明スクリーン３上の操作位置Ｐｘを認識することが可能となる。このように、入力操作が行なわれてから操作位置Ｐｘが特定されるまでにＣＰＵ１０が行なう処理が簡単になれば、その分だけ操作位置判定に要する時間が短く済むことになり、入力操作から車載機器作動までに間が生じ難くなって、スムーズな操作感覚が確保される。
【００４４】
また、ユーザが半透明スクリーン３に触れて入力操作を行なう際、ユーザが意図しない指や手等が半透明スクリーン３に触れて、複数の箇所で接触領域１５が生じる場合がある。ところで、ユーザが選択ボタン５を操作する際には人差し指の先端を用いて行なうため、これら接触領域１５ａ，１５ｂ…のうち先端方向ベクトルＢの最先端位置にあるものを操作位置Ｐｘとして選別すれば、それはユーザが意図する操作位置Ｐｘである確率が高い。従って、より的確にユーザの操作位置Ｐｘを選別することが可能となる。
【００４５】
本実施形態の構成によれば、以下に記載の効果を得ることができる。
（１）半透明スクリーン３上に生じる輝度Ｋの変化を見るという簡単な手法で、ユーザが選択ボタン５を操作する際の操作位置Ｐｘを認識することができる。従って、選択ボタン５の入力操作が行なわれてから操作位置Ｐｘを特定するまでの処理が簡単になり、操作位置判定に要する処理時間の短時間化、スムーズな操作感覚の確保、ＣＰＵ１０の処理負担軽減等の効果を得ることができる。また、ユーザが選択ボタン５を選択するに際して複数箇所で半透明スクリーン３に触れたとしても、これら複数の接触領域１５ａ，１５ｂ…のうち先端方向ベクトルＢの最先端に位置するものがユーザの意図する操作位置Ｐｘとして選択される。従って、ユーザが選択ボタン５の選択に際して、意図しない箇所で半透明スクリーン３に触れても、より的確にユーザの操作位置Ｐｘを選別することができる。
【００４６】
（２）ユーザが選択ボタン５を操作する際には人差し指の先端を用いて行なうため、接触領域１５が複数存在する場合、これら接触領域１５ａ，１５ｂ…のうち先端方向ベクトルＢの最先端位置にあるものを操作位置Ｐｘとして選別すれば、それはユーザが意図する操作位置Ｐｘである確率が高い。よって、本例はそれをユーザが意図する操作位置Ｐｘとして指定するので、より的確にユーザの操作位置Ｐｘを選別することができる。
【００４７】
（３）先端方向ベクトルＢは、操作位置Ｐｘを指定するに際して毎回算出されるため、例えばこのベクトルを固定値データとした場合に比べて、ベクトル値の精度がよくなる。従って、この先端方向ベクトルＢを用いて操作位置Ｐｘを選別した場合に、ユーザが入力操作として行なわなかった接触領域１５を操作位置Ｐｘとして選別し難くなり、誤入力発生防止に効果が高い。
【００４８】
（４）２つの重心Ｇ１，Ｇ２をとる領域が、半透明スクリーン３中央上部寄りの領域であるボタン投影領域Ｅ１と、このボタン投影領域Ｅ１及びカメラ撮影領域の差領域Ｅ２とである。従って、ユーザが半透明スクリーン３の選択ボタン５を操作する際には、手が２つの領域に亘って映り易いため、例えば１つの領域にのみ手が映って２つの重心Ｇ１，Ｇ２が算出できないような状況になり難い。
【００４９】
（５）複数の接触領域１５ａ，１５ｂ…が生じた場合、これら接触領域１５ａ，１５ｂ…を先端方向ベクトルＢに写像して、最先端に位置する接触領域１５ａを選別する。従って、これら接触領域１５ａ，１５ｂ…のうち先端方向ベクトルＢに対して最先端に位置するものを選別する際の精度が一層向上し、誤入力発生防止効果に一層寄与する。
【００５０】
なお、本実施形態は上記構成に限定されず、以下の態様に変更してもよい。
・  プロジェクタ４に赤外線光源を並設し、半透明スクリーン３の背面のうち差領域Ｅ２部分に赤外線塗料を塗布して、ボタン投影領域Ｅ１の画像は可視光で取得し、差領域Ｅ２の画像は赤外線で取得するようにしてもよい。このとき、カメラ６は可視光のみ受光可能なものではなく、赤外線も受光可能なものを用いる必要がある。この場合、ボタン投影領域Ｅ１と差領域Ｅ２とで各々用いる光の種類が異なるため、領域分けが明確になり、精度よく重心Ｇ１，Ｇ２を算出することができる。
【００５１】
・  複数の接触領域１５ａ，１５ｂ…が存在する場合、そのうちユーザが意図するものを選ぶ方法は、先端方向ベクトルＢの最先端に位置するものを操作位置Ｐｘとして選別する方法に限定されない。例えば、各接触領域１５ａ，１５ｂ…において接触面積を算出し、この中から接触面積が最も大きいものを、ユーザが意図する操作位置Ｐｘとして算出してもよい。
【００５２】
・  先端方向ベクトルＢは、操作位置Ｐｘを算出する際、その度に毎回求めることに限定されず、ユーザの存在する方向が特定できる場合には固定値データでもよい。
・  第１領域はボタン投影領域Ｅ１に限定されず、第２領域はカメラ撮影領域及びボタン投影領域Ｅ１の差をとった差領域Ｅ２であることに限定されず、自由に変更してもよい。
【００５３】
・  本例の操作入力装置１は、車載用であることに限定されず、例えば映像機器、オーディオ、デジタルカメラ、電話機、パーソナルコンピュータ、プリンタ等の入力パネルとして使用してもよい。
【００５４】
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
（１）請求項２〜５のいずれかにおいて、前記先端方向ベクトルは固定値データである。この場合、先端方向ベクトルを逐一計算によって求める必要がないため、画面の操作位置算出時において操作位置検出手段にかかる処理負担を軽減することが可能となる。
【００５５】
（２）請求項３〜５のいずれかにおいて、前記半透明スクリーンの背面には赤外線光源が設けられ、前記半透明スクリーンの背面のうち前記第２領域に対応する領域には赤外線透過材が設けられ、前記操作位置検出手段は、可視光で受ける領域を前記第１領域として判定し、赤外線で受ける領域を前記第２領域として判定する。この場合、第１領域と第２領域とでは受ける光の種類が違うため、第１領域と第２領域と各領域を明確に区分けして認識することが可能となり、これら領域を取り違える領域誤判定が生じ難くなる。
【図面の簡単な説明】
【００５６】
【図１】一実施形態における車室内を示す斜視図。
【図２】操作入力装置の半透明スクリーンを分解した状態の車室内の斜視図。
【図３】操作入力装置の概略構成を示す構成図。
【図４】操作位置の選別方法を説明するための半透明スクリーンを背面から見た説明図。
【図５】輝度判定時に用いる第１閾値及び第２閾値の関係を示す一軸座標図。
【符号の説明】
【００５７】
１…操作入力装置、３…半透明スクリーン、３ａ…背面、３ｂ…表示面、４…投影手段としてのプロジェクタ、５…表示物としての選択ボタン、６…撮影手段としてのカメラ、１０…操作位置検出手段及び実行手段を構成するＣＰＵ、１５（１５ａ〜１５ｆ）…接触領域、１６ａ…第１操作部位画像としての第１手領域、１６ｂ…第２操作部位画像としての第２手領域、Ｄａ…画像データ、Ｋ…輝度、Ｐｘ…操作位置、（ｘ、ｙ）…座標位置、Ｋａ…第１閾値、Ｋｂ…第２閾値、Ｂ…操作方向としての先端方向ベクトル、Ｅ１…第１領域としてのボタン投影領域、Ｅ２…第２領域としての差領域、Ｇ１，Ｇ２…重心。
【図１】
2007080187.tif 000004
【図２】
2007080187.tif 000005
【図３】
2007080187.tif 000006
【図４】
2007080187.tif 000007
【図５】
2007080187.tif 000008