(57)【要約】【課題】  指先などの向かっている目的地を直観的にかつ正確に知ることができ、正確な操作が容易な座標入力装置を提供する。【解決手段】  制御部３は、表示部１の表示面の近傍の空間内に所在する指先などの３次元位置をセンサ２により検出する３次元位置検出処理３１と、検出される３次元位置に基づき、記憶部４に３次元位置の移動履歴４ａを記憶させるとともに、移動履歴４ａを解析することにより指先などが向かいつつある表示面上の目的地を求める移動履歴の更新および解析処理３２と、求められた表示面上の目的地に、案内情報を表示させる案内情報出力処理３３とを実行する。【選択図】      図１
2006235859.tif 000002
【特許請求の範囲】
【請求項１】
表示手段と、
座標入力用操作子または指先の３次元位置を検出する３次元位置検出手段と、
記憶手段と、
前記３次元位置検出手段により検出される３次元位置に基づき、前記記憶手段に３次元位置の移動履歴を記憶させるとともに、前記移動履歴を解析することにより前記座標入力用操作子または指先が向かいつつある前記表示面上の目的地を求める移動履歴更新解析手段と、
前記移動履歴更新解析手段により求められた前記表示面上の目的地に、前記座標入力用操作子または指先の操作を案内する案内情報を表示させる案内情報出力手段と
を具備することを特徴とする座標入力装置。
【請求項２】
前記案内情報出力手段は、前記３次元位置の高さ方向成分に応じて前記案内情報の表示態様を変化させることを特徴とする請求項１に記載の座標入力装置。
【請求項３】
前記案内情報出力手段は、前記３次元位置の高さ方向成分に応じた効果音を発生することを特徴とする請求項１または２に記載の座標入力装置。
【請求項４】
前記３次元位置検出手段により検出される３次元位置の高さ方向成分が所定値以下になったときに該３次元位置に基づき２次元位置の検出を行い、２次元位置を特定位置として出力する２次元位置出力手段をさらに具備することを特徴とする請求項１〜３のいずれか１の請求項に記載の座標入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人間の指先やスタイラスなどにより指示された２次元位置座標を検出する座標入力装置に関する。
【背景技術】
【０００２】
現在、この種の座標入力装置を備えたＰＤＡ（Personal Digital Assistant）などの各種の電子機器が提供されている。この種の電子機器では、表示パネルにソフトボタンなどの各種の指示対象物が表示される。ユーザが指先などにより表示パネルに表示された所望の指示対象物を指示した場合には、その指示位置の２次元座標値が座標入力装置により検出される。そして、この２次元座標値に基づき、ユーザによって指示された指示対象物が特定され、この指示対象物に対応付けられた情報処理が実行される。このような座標入力装置は、表示パネル上の任意の位置にソフトボタンなどを表示し、ユーザの選択指示を受け取ることができる。しかし、ユーザは、指などが表示パネルに触れるまで、自分がどの位置を指示しているのか分かり辛いため、操作が簡単でなく、誤った操作をすることもある。ユーザの操作を補助する機能を持たせた座標入力装置に関する文献として特許文献１がある。この特許文献１に開示された座標入力装置では、表示面からやや離れた位置に指先が達したときに表示面上の指先の接近位置にカーソルを表示する。
【特許文献１】特開平６−１１０６１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に開示された技術によれば、指先を表示面に接近させたときにその接近位置にカーソルが表示されるので、ユーザはその時点における指先の位置を知ることができる。しかし、通常、ユーザは、指先を表示面から遠く離れたところから表示面に向けて移動させ、表示面に到達させるので、表示面上のある高さの位置においてカーソルを表示するだけでは、指先がどこに向かっているかを知り、正確な操作を行うのが依然として困難である。
【０００４】
本発明は、以上説明した事情に鑑みてなされたものであり、指先などの向かっている目的地を直観的にかつ正確に知ることができ、正確な操作が容易な座標入力装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
この発明は、表示手段と、座標入力用操作子または指先の３次元位置を検出する３次元位置検出手段と、記憶手段と、前記３次元位置検出手段により検出される３次元位置に基づき、前記記憶手段に３次元位置の移動履歴を記憶させるとともに、前記移動履歴を解析することにより前記座標入力用操作子または指先が向かいつつある前記表示面上の目的地を求める移動履歴更新解析手段と、前記移動履歴更新解析手段により求められた前記表示面上の目的地に、前記座標入力用操作子または指先の操作を案内する案内情報を表示させる案内情報出力手段とを具備することを特徴とする座標入力装置を提供する。
かかる発明によれば、座標入力用操作子や指先の３次元位置の移動履歴に基づき、座標入力用操作子や指先が向かいつつある表示面上での目的地が求められ、表示面上のその目的地に案内情報が表示されるので、ユーザは座標入力用操作子や指先を正確に所望の位置に到達させることができる。
【発明を実施するための最良の形態】
【０００６】
以下、本発明を実施するための最良の形態について図面を参照しつつ説明する。
図１は、この発明の一実施形態である座標入力装置の構成を示す図である。なお、この座標入力装置は、ＰＤＡなどの各種の電子機器の一部を構成するものであっても良いし、それらの電子機器とは別体の独立した座標入力装置であっても良い。
【０００７】
図１において、表示部１は、例えば液晶表示パネルであり、ソフトボタンなどの各種のユーザインタフェースの表示を行う。センサ２は、表示部１の表示面近傍に人間の指先やスタイラスなどの標的の３次元位置の検出に必要な情報を外界から取得する装置である。どのようなセンサ２を用いるかは、３次元位置を検出すべき標的に合わせて選択すればよい。
例えば、人間の指先を標的とする場合には、ＣＭＯＳセンサなどのイメージセンサがセンサ２として好適である。また、永久磁石が埋め込まれたスタイラスの先端を標的とする場合には、スタイラスの先端から発生される磁界を検出可能な磁気センサがセンサ２として好適である。センサ２の個数は、必要とされる３次元位置検出の精度などに合わせて決定すればよい。なお、センサ２として、イメージセンサと磁気センサとを併設し、指先の位置を検出するときにはイメージセンサを用い、スタイラスの先端位置を検出するときには磁気センサを用いる、という具合に２種類のセンサを切り換えて使用するようにしてもよい。また、スタイラスの先端位置もＣＭＯＳセンサなどのイメージセンサにより検出するようにしてもよい。
【０００８】
制御部３は、制御プログラムを実行することによりこの座標入力装置の各部を制御する制御中枢である。記憶部４は、揮発性メモリと不揮発性メモリとにより構成されている。ここで、揮発性メモリは、制御部２によりワークエリアとして使用される。この揮発性メモリに記憶される情報のうち本実施形態に特有のものとして、移動履歴４ａがある。移動履歴４ａは、センサ２の出力信号に基づいて作成される人間の指先やスタイラスの先端などの標的の３次元位置座標を過去一定個数集めた時系列データである。不揮発性メモリには、制御部３により実行される制御プログラムと制御プログラムの実行の際に参照される固定の制御データが記憶される。不揮発性メモリに記憶される情報のうち本実施形態に特有の情報として、案内情報データベース４ｂがある。本実施形態では、指先やスタイラスの先端などの標的の移動履歴４ａを解析し、その解析結果に応じて、ユーザが所望の位置に指先またはスタイラスの先端を移動させるのに役立つ案内情報を出力する。案内情報データベース４ｂは、出力すべき案内情報を移動履歴４ａの解析結果から求めるための基礎となるデータの集合体である。音声発生部５は、音声信号を形成する音源と、この音声信号を音声として出力するスピーカにより構成されている。なお、案内情報およびその出力態様の詳細については後述する。
【０００９】
図１には、制御部３により実行される処理のうち本実施形態に特有のものが示されている。３次元位置検出処理３１は、センサ２の出力信号に基づき、標的の３次元位置を検出する処理であり、制御部３により繰り返し実行される。如何なる方法によりこの３次元位置の検出を行うか、センサ２の種類、配置などにより異なったものとなる。
【００１０】
図２および図３は、センサ２として２個のイメージセンサ２１ａおよび２１ｂを用いた座標入力装置の構成例を示している。ここで、図２は同装置の平面図、図３は同装置の側面図である。この例では、矩形をなす表示部１の隣り合った２つの角部の各位置にイメージセンサ２１ａおよび２１ｂが配置されている。イメージセンサ２１ａおよび２１ｂは、表示部１の中央のやや上空の位置を視野の中心として撮像を行い、画像信号を出力する。この場合、３次元位置検出処理３１では、各イメージセンサ２１ａおよび２１ｂからの画像信号に基づき、イメージセンサ２１ａから見た標的たる指先の方角とイメージセンサ２１ｂから見た標的たる指先の方角とを求め、その結果に基づき指先の３次元位置座標を求める。
【００１１】
図４および図５は、センサ２として４個の磁気センサ２２ａ、２２ｂ、２２ｃおよび２２ｄを用いた座標入力装置の構成例を示している。ここで、図４は同装置の平面図、図５は同装置の側面図である。この例では、矩形をなす表示部１の４つの角部の各位置に各磁気センサが配置されている。座標入力用操作子であるスタイラス６の先端には、永久磁石が埋め込まれている。磁気センサ２２ａ、２２ｂ、２２ｃおよび２２ｄは、この永久磁石によって発生される磁界の各々の位置における磁界強度を検出し、磁界強度を示す信号を出力する。この場合、３次元位置検出処理３１では、磁気センサ２２ａ、２２ｂ、２２ｃおよび２２ｄからの出力信号に基づき、標的たるスタイラス６の先端位置の３次元位置座標を求める。なお、磁気センサを用いた位置検出の原理については、従来から行われている方法でよい。
【００１２】
図１において、標的の移動履歴の更新および解析処理３２は、３次元位置検出処理３１により標的の３次元位置座標が一組得られる度に実行される。この処理３２では、３次元位置検出処理３１により新たに得られた標的の３次元位置座標が移動履歴４ａにおける最近の３次元位置座標と異なる場合に、新たに得られた３次元位置座標を移動履歴４ａに追加し、揮発性メモリの容量に応じて移動履歴４ａにおける最も古い3次元位置座標を廃棄する更新処理を行う。また、この処理３２では、移動履歴４ａを解析し、標的が向かいつつある表示部１の表示面上の位置、標的の表示面からの高さ、移動の速さなどの標的の状態を求める。
【００１３】
案内情報出力処理３３では、記憶部４内の案内情報データベース４ｂと処理３２における移動履歴の解析結果とに基づき、ユーザに提供する案内情報を決定する。決定された案内情報は、表示部１に表示され、あるいは音声発生部５から音声として出力される。２次元位置検出処理３４は、３次元位置検出処理３１により検出される標的の３次元位置座標の高さ方向成分が所定の閾値以下となり、標的が表示面のソフトボタンを選択したとみなしてよい状態になったときに実行される。この２次元位置検出処理３４では、その実行時点における３次元位置座標から高さ方向成分を除いた２次元位置座標を標的により入力された座標として確定し、例えば押圧されたソフトボタンの判定を行うルーチンなど、座標を用いた処理を行うルーチンに引き渡す。なお、２次元位置検出処理３４を起動するための基準となる高さ方向成分の閾値をユーザが自由に設定し得るように構成してもよい。
【００１４】
以上説明した各処理は、図６にそのフローを示すメインルーチンにおいて起動される。以下、図６のフローチャートを参照し、本実施形態の動作を説明する。まず、ステップＳ１において、制御部３は、表示部１の表示面の近くに標的があるか否かを判定する。センサ２としてイメージセンサを用いる態様では、例えばイメージセンサにより撮像された画像中に標的たる指先の画像があるか否かに基づいて、この判断が行われる。また、センサ２として磁気センサを用いる態様では、磁気センサにより検出される磁界強度が所定値以上か否かにより、この判断が行われる。この判断結果が「ＮＯ」である場合、制御部３は、再びこのステップＳ１を繰り返す。
【００１５】
標的たる指先またはスタイラス６の先端が表示部１の表示面に近づき、ステップＳ１の判断結果が「ＹＥＳ」となると、制御部３の処理はステップＳ２に進む。このステップＳ２において、制御部３は、上述した３次元位置検出処理３１を実行し、標的たる指先またはスタイラス６の先端の３次元位置座標を取得する。次にステップＳ３に進み、制御部３は、上述した標的の移動履歴の更新および解析処理３２を実行する。次にステップＳ４に進み、制御部３は、記憶部４に記憶された案内情報データベース４ｂを参照し、上述した案内情報出力処理３３を実行する。次にステップＳ５に進み、制御部３は、ユーザの指先またはスタイラス６によるタッチ操作が終了したか否かの判断を行う。この判断では、ステップＳ２において得られた３次元位置座標の高さ方向成分が所定値以下か否かに基づいて行われる。この判断結果が「ＮＯ」である場合、制御部３は、再びステップＳ１に戻って、以上説明した処理を繰り返す。また、この判断結果が「ＹＥＳ」である場合、制御部３は、上述した２次元位置検出処理を起動して、このメインルーチンを終了する。
【００１６】
図７〜図９は、以上のような処理により実現される第１の動作例、図１０および図１１は第２の動作例を示している。これらの例では、表示部１に表示された“ＰＵＳＨ”なるソフトボタンに向かって指先が移動しており、この移動の目的地および現在の指先の表示面からの高さが繰り返し求められ（図６におけるステップＳ２およびＳ３）、指先の目的地および表示面からの高さの変化に応じて、表示部１の表示に連続的な変化が与えられる（図６におけるステップＳ４）。
【００１７】
第１の例において、指先が表示面から少し離れた場所にあるときは、図７に示すように、大きくて薄い影が指先の目的地を示す案内情報として表示される。その後、指先が表示面に近づくに従い、この影は、連続的に範囲を狭めつつ濃度を増してゆく（図８参照）。そして、指先が表示面から所定距離内に入った場合には、図６におけるステップＳ５の判断結果が「ＹＥＳ」となり、ソフトボタンの選択が確定する。この結果、図９に示すように、選択が確定してソフトボタンが塗り潰し表示あるいは強調表示される。
【００１８】
第２の例において、指先が表示面から少し離れた場所にあるときは、図１０に示すように、目的地を示す案内情報として、大きな“×”形の照準が青色で表示される。その後、指先が表示面に近づくに従い、この照準は回転して“＋”形になってゆき、また、小さくなり、かつ、太さを増しながら色がピンク色に変化してゆく（図１１参照）。そして、指先が表示面に触れ、または表示面から所定距離内に入った場合には、第１の動作例と同様、選択が確定してソフトボタンが塗り潰し表示あるいは強調表示される（図９参照）。以上のように表示を変化させるためには、例えば指先の高さに応じて影や照準などの案内情報を変化させる関数を案内情報データベース４ｂに設けておき、この関数により求めた案内情報を指先の目的地に表示すればよい。
【００１９】
本実施形態では、ユーザが所定の設定操作をした場合に、図６のステップＳ４において効果音が音声発生部５から出力される。具体的には次の通りである。まず、例えば指先やスタイラスの先端が表示面から所定の距離の範囲内を移動しているときには効果音が発生される。この効果音は、指先やスタイラスの先端が表示面に近づくに従い、連続的に音量を増し、あるいは音高を増し、あるいは音色を変化させる。そして、指先やスタイラスの先端が表示面に到達し、選択が確定したときには、効果音が消え、クリック音が音声発生部５から出力される。なお、効果音の出力を行う場合には、効果音の変化により指先やスタイラスの先端の表示面からの高さが分かるので、ユーザによる所定の設定操作があった場合には、指先やスタイラスの先端の表示面からの高さが変わっても影や照準などの案内情報の表示態様を変化させないようにしてもよい。
【００２０】
以上説明した実施形態によれば、指先やスタイラスの先端が向かいつつある目的地が表示面に表示させるので、ユーザは、自分がどのソフトボタン等を指そうとしているのかを容易に把握することができ、正確な操作を容易に行うことができるという効果が得られる。
【００２１】
＜他の実施形態＞
以上、本発明の実施形態を説明したが、本発明にはこれ以外にも他の実施形態が考えられる。例えば次の通りである。
（１）ユーザが指先やスタイラスにより表示面上の空間内に四角や丸の軌跡を一定時間連続して描いた場合に、表示面におけるその直下の領域に所定の処理に対応したソフトボタンを表示させ、ユーザが指先やスタイラスによりこのソフトボタンにタッチした場合には、このソフトボタンに対応した処理を実行する機能を上記実施形態に追加してもよい。
（２）ユーザが所定の設定操作をした場合には、指先やスタイラスが向かっている目的地に案内情報を表示する代わりに、その目的地付近を他の領域よりも大きな倍率で拡大表示し、ソフトボタン等の選択操作を容易にする機能を上記実施形態に追加してもよい。
（３）表示部１を覆うように透明なタッチパネルを設けてもよい。この場合、制御部３による２次元位置検出処理３４は、このタッチパネルの出力信号を用いて実行される。
【図面の簡単な説明】
【００２２】
【図１】この発明の一実施形態である座標入力装置の構成を示すブロック図である。
【図２】同実施形態におけるイメージセンサの設置例を示す平面図である。
【図３】同実施形態におけるイメージセンサの設置例を示す側面図である。
【図４】同実施形態における磁気センサの設置例を示す平面図である。
【図５】同実施形態における磁気センサの設置例を示す側面図である。
【図６】同実施形態の動作を示すフローチャートである。
【図７】同実施形態の動作例を示す図である。
【図８】同実施形態の動作例を示す図である。
【図９】同実施形態の動作例を示す図である。
【図１０】同実施形態の動作例を示す図である。
【図１１】同実施形態の動作例を示す図である。
【符号の説明】
【００２３】
１…表示部、２…センサ、３…制御部、４…記憶部、５…音声発生部。
【図１】
2006235859.tif 000003
【図２】
2006235859.tif 000004
【図３】
2006235859.tif 000005
【図４】
2006235859.tif 000006
【図５】
2006235859.tif 000007
【図６】
2006235859.tif 000008
【図７】
2006235859.tif 000009
【図８】
2006235859.tif 000010
【図９】
2006235859.tif 000011
【図１０】
2006235859.tif 000012
【図１１】
2006235859.tif 000013