(57)【要約】【課題】クリック、ダブルクリック、ドラッグなどの２次元マウスの機能を、機械的メカニズムを利用せずに３次元情報を用いて実行する。【解決手段】画面の前面に広がる空間を３つの領域に分割し、ユーザの視覚に訴えるような拡張カーソル３２（焦点メタファー）によって、ユーザが装着するＬＥＤ１０が各領域の境界を通過したことを認知させつつ、半押し層と全押し層との境界をある一定時間内に一度だけ往復した場合には、２次元マウスのクリックの動作を実行し、一定時間内に二度往復した場合には、２次元マウスのダブルクリックの動作を実行し、半押し層から全押し層に移動しても一定時間半押し層に戻らない場合には、アイコン等のオブジェクトをドラッグし、ＬＥＤ１０が半押し層に戻ったときに、ドラッグしたオブジェクトをドロップする動作を実行する。【選択図】        図１
2004303000.tif 000002
【特許請求の範囲】
【請求項１】
指示入力者に装着可能な発光手段と、
前記発光手段から発光された光を受光すると共に、受光した位置に基づいて前記発光手段の３次元位置を計測する計測手段と、
所定の情報を表示する画面の前面に、該画面から前記指示入力者方向に向かって分割された複数の空間を想定し、前記計測手段によって計測された３次元位置に基づいて、前記発光手段が前記複数の空間の境界を通過する状態を判断し、判断した状態に応じて前記指示入力者の五感の少なくとも１つに訴えるフィードバック変化させることによって２次元マウスとしての機能を実行する実行手段と、
を含む３次元指示入力装置。
【請求項２】
指示入力者の手または指に装着可能な発光手段と、
前記発光手段から発光された光を受光すると共に、前記発光手段の３次元位置を前記受光した光から計測する計測手段と、
所定の情報を表示する画面に略一致する平面をｘ−ｙ平面とし、前記画面の前面の空間を、該ｘ−ｙ平面に対して垂直なｚ軸方向に前記画面から近い順に第１の領域、第２の領域、第３の領域の３つの領域に分割して捉え、前記計測手段により得られる前記発光手段の３次元位置のｚ座標値から前記３つの領域を分割する各境界に対する前記発光手段の通過の仕方を判断し、この通過の仕方に応じて異なり、かつ前記指示入力者の五感の少なくとも１つに訴えるフィードバックが掛かるようにして、選択、クリック、ダブルクリック、ドラッグ・アンド・ドロップを含む２次元マウスの機能を実行する実行手段と、
を含む３次元指示入力装置。
【請求項３】
前記実行手段は、前記フィードバックとして、前記画面に前記発光手段のｘ−ｙ平面上の位置に小ウィンドウを表示させ、該小ウィンドウ内には、前記画面に表示される画像のうち、前記発光手段のｘ−ｙ平面上の位置を含む所定の領域の画像を拡大して表示させると共に、前記発光手段のｚ座標値に応じて前記小ウィンドウ内に表示する画像の拡大率を変化させることにより前記指示入力者の視覚に訴える請求項２記載の３次元指示入力装置。
【請求項４】
前記実行手段は、前記発光手段が前記第２の領域側から前記第１の領域と前記第２の領域との境界に接近する場合に、該境界に接近するに従って前記拡大率を低減させ、該境界の通過時には前記拡大率が１となるようにして該境界を指示入力者に認知させる請求項３記載の３次元指示入力装置。
【請求項５】
前記実行手段は、前記小ウィンドウ内に表示される画像の色相、彩度、明度の少なくともいずれか１つを、前記発光手段のｚ座標値に応じて変化させる請求項３または請求項４記載の３次元指示入力装置。
【請求項６】
前記実行手段は、前記発光手段が前記第３の領域から前記第２の領域に向かって移動する場合には、前記発光手段の移動に従って前記小ウィンドウ内の明度を連続的に急激に大きくし、前記発光手段の移動により明度が所定の大きさとなった時点でその値を一定に維持し、前記発光手段が移動して所定のｚ座標値を越えたときには、前記第２の領域と前記第１の領域との境界に近づくに従って明度を再び小さくし、該境界を含む該境界前後の所定の領域では前記小ウィンドウ内の明度を前記画面の対応する部分画像の明度と同じにして前記画面に表示される画像がそのまま見えるようにし、前記発光手段が前記第２の領域と前記第１の領域の境界を通過して前記第１の領域に移動した後には、前記小ウィンドウ内の色相を前記第２の領域とは異なる色相に変え、前記発光手段が前記第２の領域と前記第１の領域の境界から離れて前記画面に近づくに従って急激に明度を上げ、前記小ウィンドウ内の色相が明らかになるようにして前記指示入力者の視覚に訴える請求項５記載の３次元指示入力装置。
【請求項７】
前記実行手段は、前記小ウィンドウ内に表示される画像の凹凸状態を、前記発光手段のｚ座標値に応じて変化させる請求項３乃至請求項６のいずれか１項記載の３次元指示入力装置。
【請求項８】
前記実行手段は、前記小ウィンドウの大きさまたは／および形状を、前記発光手段のｚ座標値に応じて変化させる請求項３乃至請求項７のいずれか１項記載の３次元指示入力装置。
【請求項９】
前記小ウィンドウの輪郭の色を任意に設定可能にした請求項３乃至請求項８のいずれか１項記載の３次元指示入力装置。
【請求項１０】
前記実行手段は、前記任意に設定された前記小ウィンドウの輪郭の色と、前記画面に表示される画像における前記小ウィンドウの境界域の色との排他的論理和をとって前記小ウィンドウの輪郭の色を定める請求項９記載の３次元指示入力装置。
【請求項１１】
前記実行手段は、前記フィードバックとして、前記発光手段が前記各境界を通過する際に、音を用いて前記指示入力者の聴覚に訴える請求項２乃至請求項１０のいずれか１項記載の３次元指示入力装置。
【請求項１２】
前記実行手段は、前記発光手段が前記第２の領域側から前記第１の領域と前記第２の領域との境界を通過したときに、２次元マウスにおける選択の機能を実行する請求項２乃至請求項１１のいずれか１項記載の３次元指示入力装置。
【請求項１３】
前記実行手段は、前記発光手段が前記第２の領域内に定義されている別の境界を所定の時間内に１回一方向に通過したときに、２次元マウスにおけるの選択の機能を実行する請求項２乃至請求項１１のいずれか１項記載の３次元指示入力装置。
【請求項１４】
前記実行手段は、前記第２の領域を、前記第１の領域に近い領域と前記第３の領域に近い領域とに分割して捉え、前記発光手段が該２つの領域の境界を所定の時間内に１回一方向に通過したときに、２次元マウスにおけるの選択の機能を実行する請求項２乃至請求項１１のいずれか１項記載の３次元指示入力装置。
【請求項１５】
前記実行手段は、前記発光手段が、前記第１の領域と前記第２の領域との境界を所定の時間内に１回一方向に通過した後、逆方向に通過したときに、２次元マウスにおけるクリックの機能を実行する請求項２乃至請求項１１のいずれか１項記載の３次元指示入力装置。
【請求項１６】
前記実行手段は、前記発光手段が前記第１の領域と前記第２の領域との境界を所定の時間内に２回同方向に通過したときに、２次元マウスにおけるダブルクリックの機能を実行する請求項２乃至請求項１１のいずれか１項記載の３次元指示入力装置。
【請求項１７】
前記第１の領域は、前記画面に近い領域と前記第２の領域に近い領域とに分割されており、
前記実行手段は、前記発光手段が該２つの領域の境界を一方向に通過したときに、２次元マウスにおけるドラッグの機能を実行し、該境界を逆方向に通過したときに、２次元マウスにおけるドロップの機能を実行する請求項１２乃至請求項１４のいずれか１項記載の３次元指示入力装置。
【請求項１８】
前記実行手段は、前記発光手段が前記第２の領域のうち前記第１の領域に近い所定の領域内を通過しているときは、前記指示入力者により指示入力されるｘ−ｙ平面上の位置を該所定の領域に入った時点の前記発光手段のｘ−ｙ平面上の位置に維持する請求項２乃至請求項１７のいずれか１項記載の３次元指示入力装置。
【請求項１９】
前記所定の時間を変更可能にした請求項１２乃至請求項１８のいずれか１項記載の３次元指示入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元指示入力装置に関し、特に、発光手段の３次元情報に基づいて指示入力する３次元指示入力装置に関するものである。
【０００２】
【従来の技術】
パソコン等に対して指示入力するためのデバイスとして、従来より２次元マウスが広く用いられている。２次元マウスはｘ−ｙ座標値を相対座標値としてパソコンに指示入力する。近年、この２次元マウスを用いて３つ目の座標値を入力する技術が提案されている。
【０００３】
例えば、発光体としてＬＥＤを指に装着し、ＬＥＤからの光を受光する受光部をパソコンの画面の上部に取付けることにより、容易に３次元マウスが達成される（例えば、特許文献１参照。）。ここで用いられるセンサは、光源のセンサに対する角度を求め、三角測量の原理により光源の３次元位置を求めるものである。ＬＥＤは光源としてのパワーをパソコンから受け取り、またマウスの基本動作であるクリックなどのシグナルは有線を通してパソコンの基本ソフトに送られる。即ち、発光体のそばに指で押すことのできるスイッチが装備されている。
【０００４】
また、２次元上の２つのボールを回転させることによって、ｘ、ｙ軸方向の移動量を入力できるのみならず、角度や回転角も入力でき、ｚ軸方向に対する入力も可能となるポインティングデバイス（例えば、特許文献２参照。）や、第一の方向に光変換素子を配列した第１の光センサアレイと、第１の方向とは別の第二の方向に光変換素子を配列した第２の光センサアレイとが移動するときに両者の出力変化に応じた信号を生成し、それにより（カーソルなどの）移動量や移動方向を決定する非接触方式の位置検出装置（例えば、特許文献３参照。）が知られている。
【０００５】
さらに、指標をＣＣＤカメラで認識してパソコンなどに対するコマンドとして解釈するリモコン装置（例えば、特許文献４参照。）や、電子ペンのなかに指で回転されるロータリースイッチが設けられ、その回転度合いによってグラフィカルパラメター（線分の太さ、色、陰影、グレイスケール）の変化の度合いを決定する座標入力用電子ペン（例えば、特許文献５参照。）や、ユーザの手首に装着されたＲＦＩＤの動きをアンテナにより認識させてから、ＲＦＩＤの動きのパターンを他のデバイスへの入力コマンドとして解釈する。同様にアンテナが一つの場合、ＲＦＩＤが認識されたりされなかったりする時系列のパターンをコマンドとして解釈する指示入力システム（例えば、特許文献６参照。）が知られている。
【０００６】
また、米国Ｇｙｒａｔｉｏｎ  Ｉｎｃ．社のＧｙｒｏｍｏｕｓｅは、オートジャイロを内臓しており、空中操作でレーザーの方向を変えることができるポインティングデバイスであるが、重量が比較的大きく、大きさもジャイロのために比較的大きく、また多少高価である。
【０００７】
さらに近年、カメラのシャッタ操作における半押しの概念を応用した、パソコンのキーボードで、カメラのシャッタのように強く押さないと文字が入力されないという特性を生かし、キーボードとノートバッドを重ねたデバイスが試作された。
【０００８】
【特許文献１】
特開平１０−９８１２号公報
【特許文献２】
特開平５−１５０９００号公報
【特許文献３】
特開平１１−２４８３２号公報
【特許文献４】
特開平１１−１１０１２５号公報
【特許文献５】
特開２０００−４７８０５号公報
【特許文献６】
特開２００１−３０６２３５号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の３次元マウスは、クリックなどのシグナルが有線でパソコンの基本ソフトに送られることから明らかなように、２次元マウスと同様の操作性を有している。また、上述した従来のポインティングデバイスや指示入力システム等の他の指示入力デバイスも２次元マウスと同様の操作性を有している。
【００１０】
さらに、米国Ｇｙｒａｔｉｏｎ  Ｉｎｃ．社のＧｙｒｏｍｏｕｓｅ  Ｐｒｅｓｅｎｔｅｒも、クリック等の操作は通常の２次元マウス同様、指による機械的操作に依存している。また、キーボードとノートバッドを重ねたデバイスでも、カーソルの操作は２次元情報に拘束されており、３次元情報を利用しているわけではない。
【００１１】
すなわち、従来の指示入力デバイスの操作性は２次元上に拘束されている、という問題がある。
【００１２】
本発明は、上述した問題を解決するためになされたものであり、クリック、ダブルクリック、ドラッグなどの２次元マウスの機能を、機械的メカニズムを利用せずに３次元情報を用いて実行することができる３次元指示入力装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明の３次元指示入力装置は、指示入力者に装着可能な発光手段と、前記発光手段から発光された光を受光すると共に、受光した位置に基づいて前記発光手段の３次元位置を計測する計測手段と、所定の情報を表示する画面の前面に、該画面から前記指示入力者方向に向かって分割された複数の空間を想定し、前記計測手段によって計測された３次元位置に基づいて、前記発光手段が前記複数の空間の境界を通過する状態を判断し、判断した状態に応じて前記指示入力者の五感の少なくとも１つに訴えるフィードバック変化させることによって２次元マウスとしての機能を実行する実行手段と、を含んで構成されている。
【００１４】
また、本発明の３次元指示入力装置は、指示入力者の手または指に装着可能な発光手段と、前記発光手段から発光された光を受光すると共に、前記発光手段の３次元位置を前記受光した光から計測する計測手段と、所定の情報を表示する画面に略一致する平面をｘ−ｙ平面とし、前記画面の前面の空間を、該ｘ−ｙ平面に対して垂直なｚ軸方向に前記画面から近い順に第１の領域、第２の領域、第３の領域の３つの領域に分割して捉え、前記計測手段により得られる前記発光手段の３次元位置のｚ座標値から前記３つの領域を分割する各境界に対する前記発光手段の通過の仕方を判断し、この通過の仕方に応じて異なり、かつ前記指示入力者の五感の少なくとも１つに訴えるフィードバックが掛かるようにして、選択、クリック、ダブルクリック、ドラッグ・アンド・ドロップを含む２次元マウスの機能を実行する実行手段と、を含んで構成することもできる。
【００１５】
発光手段は、指示入力者に装着可能であり、指や手などに装着されることが好ましい。発光手段は、光を発するものであれば特に限定されず、例えばＬＥＤとすることができる。計測手段は、発光手段からの光を受光すると共に、発光手段の３次元位置を受光した光から計測する。
【００１６】
一方、指示入力者が視認する画面には所定の情報が表示される。実行手段は、画面に略一致する平面をｘ−ｙ平面とし、画面の前面の空間を、該ｘ−ｙ平面に対して垂直なｚ軸方向に画面から近い順に第１の領域、第２の領域、第３の領域の３つの領域に分割して捉える。更に、実行手段は、計測手段により得られる発光手段の３次元位置のｚ座標値から３つの領域の各境界に対する発光手段の通過の仕方を判断し、この通過の仕方に応じて異なり、かつ指示入力者の五感の少なくとも１つに訴えるフィードバックが掛かるようにする。
【００１７】
すなわち、計測手段により指示入力者の指や手の動きに応じて変化する発光手段の３次元位置を計測することによって、実行手段は、発光手段の各境界に対する通過の仕方を判断できる。さらに、実行手段は、指示入力者に発光手段の３次元位置をフィードバックにより認識させことができるため、指示入力者は発光手段の位置を確認しながら、すなわち、画面前面の空間を３つの領域に分割する各境界に対する通過状態を確認しながら、発光手段を装着した指や手を動かすことができる。
【００１８】
実行手段は、このようにフィードバックを掛けつつ、発光手段の各境界に対する通過の仕方に応じて、選択、クリック、ダブルクリック、ドラッグ・アンド・ドロップを含む２次元マウスの機能を実行する。
【００１９】
従って、本発明によれば、２次元マウスの機能を、機械的メカニズムを利用せずに３次元情報により実行することができる。
【００２０】
本発明の前記実行手段は、前記フィードバックとして、前記画面に前記発光手段のｘ−ｙ平面上の位置に小ウィンドウを表示させ、該小ウィンドウ内には、前記画面に表示される画像のうち、前記発光手段のｘ−ｙ平面上の位置を含む所定の領域の画像を拡大して表示させると共に、前記発光手段のｚ座標値に応じて前記小ウィンドウ内に表示する画像の拡大率を変化させることにより前記指示入力者の視覚に訴えることができる。
【００２１】
実行手段は、フィードバックとして、画面に発光手段のｘ−ｙ平面上の位置に小ウィンドウを表示させる。小ウィンドウの形は特に限定されず、矩形であってもよいし、円形であってもよい。実行手段は、小ウィンドウ内に、画面に表示される画像のうち、発光手段のｘ−ｙ平面上の位置を含む所定の領域の画像を拡大して表示させる。さらに、発光手段のｚ座標値に応じて小ウィンドウ内に表示する画像の拡大率を変化させて指示入力者の視覚に訴える。
【００２２】
このように、発光手段のｚ座標値に応じて小ウィンドウ内に表示する画像の拡大率を変化させることにより、指示入力者は、発光手段のｚ軸方向の位置を認識することができる。
【００２３】
前記実行手段は、前記発光手段が前記第２の領域側から前記第１の領域と前記第２の領域との境界に接近する場合に、該境界に接近するに従って前記拡大率を低減させ、該境界の通過時には前記拡大率が１となるようにして該境界を指示入力者に認知させることができる。
【００２４】
これにより、拡大率の変化によって、指示入力者は発光手段が境界に接近しつつある状態を認知できる。また、拡大率が１となったときには、発光手段が境界を通過中であることを認知できる。従って、指示入力者は、明確に発光手段のｚ軸方向の位置を認識することができ、発光手段を装着した指または手を好適に動かして、２次元マウスの機能を実行させることができる。
【００２５】
また、本発明の前記実行手段は、前記小ウィンドウ内に表示される画像の色相、彩度、明度の少なくともいずれか１つを、前記発光手段のｚ座標値に応じて変化させることができる。
【００２６】
これにより、指示入力者は、発光手段のｚ軸方向の位置を認識することができる。
【００２７】
さらに、本発明の前記実行手段は、前記発光手段が前記第３の領域から前記第２の領域に向かって移動する場合には、前記発光手段の移動に従って前記小ウィンドウ内の明度を連続的に急激に大きくし、前記発光手段の移動により明度が所定の大きさとなった時点でその値を一定に維持し、前記発光手段が移動して所定のｚ座標値を越えたときには、前記第２の領域と前記第１の領域との境界に近づくに従って明度を再び小さくし、該境界を含む該境界前後の所定の領域では前記小ウィンドウ内の明度を前記画面の対応する部分画像の明度と同じにして前記画面に表示される画像がそのまま見えるようにし、前記発光手段が前記第２の領域と前記第１の領域の境界を通過して前記第１の領域に移動した後には、前記小ウィンドウ内の色相を前記第２の領域とは異なる色相に変え、前記発光手段が前記第２の領域と前記第１の領域の境界から離れて前記画面に近づくに従って急激に明度を上げ、前記小ウィンドウ内の色相が明らかになるようにして前記指示入力者の視覚に訴えるようにすることができる。
【００２８】
これにより、発光手段のｚ座標値に応じて小ウィンドウの属性（色相、明度、彩度など）は変化するが、画面の画像が小ウィンドウ内に見える状態は維持される。
【００２９】
具体的には、発光手段が第３の領域から第２の領域に向かって移動する場合には、発光手段の移動に従って小ウィンドウの明度を連続的に急激に大きくする。これにより、指示入力者は、発光手段が第２の領域に向かいつつあることを認識できる。
【００３０】
更に、実行手段は、発光手段の移動により明度が所定の大きさとなった時点で明度の値を一定に維持する。これにより指示入力者は第２の領域を移動中であることを認識できる。
【００３１】
更に、実行手段は、発光手段が移動して所定のｚ座標値を越えたときには、第２の領域と第１の領域との境界に近づくに従って明度を再び小さくしていく。これにより、指示入力者は、発光手段が第１の領域に接近しつつあることを認識できる。
【００３２】
更に、実行手段は、発光手段が第２の領域と第１の領域との境界を含む該境界前後の所定の領域にあるときには小ウィンドウ内の明度を画面の対応する部分画像の明度と同じにして画面に表示される画像がそのまま見えるようにする。これにより、指示入力者は発光手段が境界付近に位置することを認識できる。
【００３３】
更に、実行手段は、発光手段が第２の領域と第１の領域の境界を通過して第１の領域に移動した後には、小ウィンドウ内の色相を第２の領域とは異なる色相に変える。これにより、指示入力者は、発光手段が第２の領域から第１の領域に移動したことを認識できる。
【００３４】
更に、実行手段は、発光手段が第２の領域と第１の領域の境界から離れて画面に近づくに従って急激に明度を上げ、小ウィンドウ内の色相が明らかになるようにする。これにより、指示入力者は、発光手段が、第１の領域を移動中であることを認識できる。
【００３５】
本発明の前記実行手段は、前記小ウィンドウ内に表示される画像の凹凸状態を、前記発光手段のｚ座標値に応じて変化させることができる。また、本発明の前記実行手段は、前記小ウィンドウの大きさまたは／および形状を、前記発光手段のｚ座標値に応じて変化させることもできる。
【００３６】
なお、小ウインドウの大きさは、境界領域をこえる時には少なくともローカルで最小とし、ある同じ属性の領域をＬＥＤなどの発光手段が移動中である場合には変化をさせないようにすれば、より一層距離感が認識しやすくなる。
【００３７】
これにより、指示入力者は、発光手段のｚ軸方向の位置を認識することができる。
【００３８】
本発明において、前記小ウィンドウの輪郭の色を任意に設定可能とすることもできる。なお、前記実行手段は、前記任意に設定された前記小ウィンドウの輪郭の色と、前記画面に表示される画像における前記小ウィンドウの境界域の色との排他的論理和をとって前記小ウィンドウの輪郭の色を定めることもできる。
【００３９】
これにより、設定された小ウィンドウの輪郭の色が、画面に表示される画像における小ウィンドウの境界域の色と同一となった場合であっても、その色と異なる色で輪郭が表示されるため、指示入力者が小ウィンドウを見失うことを防止できる。
【００４０】
なお、小ウィンドウによるフィードバックに限らず、本発明の前記実行手段は、前記フィードバックとして、前記発光手段が前記各境界を通過する際に、音を用いて前記指示入力者の聴覚に訴えるようにすることもできる。
【００４１】
これにより、小ウィンドウによるフィードバックと同様に、指示入力者は、発光手段のｚ軸方向の位置を認識することができる。
【００４２】
本発明の前記実行手段は、前記発光手段が前記第２の領域側から前記第１の領域と前記第２の領域との境界を通過したときに、２次元マウスにおける選択の機能を実行することができる。また、前記実行手段は、前記発光手段が前記第１の領域と前記第２の領域との境界を所定の時間内に１回一方向に通過したときに、２次元マウスにおけるの選択の機能を実行するようにしてもよい。前記実行手段は、前記発光手段が前記第２の領域内に定義されている別の境界を所定の時間内に１回一方向に通過したときに、２次元マウスにおけるの選択の機能を実行するようにしてもよい。
【００４３】
本発明の前記実行手段は、前記発光手段が、前記第１の領域と前記第２の領域との境界を所定の時間内に１回一方向に通過した後、逆方向に通過したときに、２次元マウスにおけるクリックの機能を実行することができる。
【００４４】
また、本発明の前記実行手段は、前記発光手段が前記第１の領域と前記第２の領域との境界を所定の時間内に２回同方向に通過したときに、２次元マウスにおけるダブルクリックの機能を実行することができる。
【００４５】
さらに、本発明において、前記第１の領域は、前記画面に近い領域と前記第２の領域に近い領域とに分割されており、前記実行手段は、前記発光手段が該２つの領域の境界を一方向に通過したときに、２次元マウスにおけるドラッグの機能を実行し、該境界を逆方向に通過したときに、２次元マウスにおけるドロップの機能を実行することができる。
【００４６】
このように、発光手段の各境界に対する通過の仕方に応じて、選択、クリック、ダブルクリックや、ドラッグ・アンド・ドロップといった２次元マウスの機能を実行するため、機械的メカニズムを利用せずにすむ。
【００４７】
また、本発明の前記実行手段は、前記発光手段が前記第２の領域のうち前記第１の領域に近い所定の領域内を通過しているときは、前記指示入力者により指示入力されるｘ−ｙ平面上の位置を該所定の領域に入った時点の前記発光手段のｘ−ｙ平面上の位置に維持することもできる。
【００４８】
これにより、第２の領域のうち第１の領域に近い所定の領域内を通過しているときに、指示入力者により指示入力されるｘ−ｙ平面上の位置が固定されるため、該位置にあるアイコンなどのオブジェクトを選択したり、オブジェクトをクリックしたりするなどの２次元マウスの機能を実行することができる。
【００４９】
本発明において、前記所定の時間を変更可能にしてもよい。これにより、指示入力者の使い勝手を向上させることができる。
【００５０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００５１】
図１は、本発明の実施の形態に係る３次元指示入力装置の構成およびデータの流れを示すブロック図である。図示されるように、３次元指示入力装置は、ユーザの指や手等に装着された発光体（ＬＥＤ）１０と、ＬＥＤ１０からの光を受光することによりＬＥＤ１０の３次元位置を計測する３Ｄ計測装置１２と、３Ｄ計測装置１２で計測された３次元位置を示す座標値のうちｚ座標値の軌跡からクリック、ダブルクリック、ドラッグ・アンド・ドロップのコマンド（マウス・コマンドと呼称する）を生成してｘ−ｙ座標値と共にパソコン２２に出力する３Ｄマウス・コマンド生成装置１４とを備えている。更に、パソコン２２には、３Ｄマウス・コマンド生成装置１４からｘ−ｙ座標値と共にマウス・コマンドを入力するマウスドライバ１６と、画像処理を行うイメージドライバ２０と、マウスドライバ１６に入力されたコマンドに基づいて、イメージドライバ２０を必要に応じて起動させる等して指示入力に関する処理を行うＯＳ１８とが格納されている。
【００５２】
ここで、ｘ−ｙ座標値は、パソコン２２の画面（図２参照）に略一致する平面をｘ−ｙ平面とした場合の座標値であり、ｚ座標値は、ｘ−ｙ平面に垂直なｚ軸方向の座標値である。
【００５３】
なお、上述した３次元指示入力装置のハードウェアは、特開平１０−９８１２号公報に記載された位置検出の技術を用いて構成されている。もちろん、３次元位置計測ができるものであれば何でも良いが、特開平１０−９８１２号公報に記載の方式によれば比較的安価に実現できる。
【００５４】
図２は、パソコン２２を横から見た図である。パソコン２２の画面はＭで示されている。パソコン２２の画面Ｍの前面に広がる３次元空間のうち、最も画面Ｍに近い層を全押し下層、次に近い層を全押し上層とし、あわせて全押し層（第１の層）と呼ぶ。その両者の境界を境界Ｂと呼ぶ。さらに手前の層二層を半押し層（第２の層）と呼び、それぞれ画面Ｍに近い方から半押し下層、半押し上層と呼ぶ。その両者の境界を境界Ａと呼ぶ。また、半押し層と全押し層の境界を境界Ｋと呼ぶ。ユーザに最も近い層、すなわち、画面Ｍから最も遠い層を自由層（第３の層）と呼ぶ。自由層と半押し層の境界を境界Ｆと呼ぶ。
【００５５】
自由層は、ＬＥＤ１０をどのように動かそうとも単にカーソルがその動きに対応して動くだけでなんのアクションもなされない層である。２次元マウスにおいてマウスクリックをせずにマウスを動かしている状態に相当する。
【００５６】
半押し層の手前の層（半押し上層）にＬＥＤ１０がある場合は、後に説明する拡張カーソルの属性に変化があり、ユーザがオブジェクトを選択しつつある状態である。また、ＬＥＤ１０が半押し層の画面側（半押し下層）に移動したときには、カーソルのｘ−ｙ座標値は、境界Ａを通過した時の値に固定される。
【００５７】
半押し層と全押し層との間をＬＥＤ１０が通過する仕方によって、マウス・コマンドが生成される。
【００５８】
ここで、拡張カーソルについて説明する。本実施の形態において、拡張カーソルは従来のカーソルとは異なり、パソコン２２のデスクトップ上で従来のカーソルが指示している点（以下、カーソル点と呼称する）を含む小領域を円弧などで囲い、改めて小ウインドウとして表示したものである。図３（ａ）及び図３（ｂ）に示されるように、カーソル点３０を中心とする円形の内部が小ウィンドウ（拡張カーソル）３２に表示されている。従来のカーソル３４は、その拡張カーソル３２の内部、特に中心部に重ねて表示されている。
【００５９】
なお、図３（ａ）は、向かって右側の２列のアイコンの中心部分を拡張カーソル３２が指示している状態を表しており、幾分デスクトップ状のアイコンが拡大されているのが分かる。
【００６０】
また、図３（ｂ）は、ＬＥＤ１０が境界Ｋに近づいたときの画面上の拡張カーソル３２の状態を表している。図示されるように、拡張カーソル３２の半径は最小になっており、円形内の画像も背景と同じ、即ち拡大率が１となっている。
【００６１】
このように拡張カーソル３２は、半押し層でＬＥＤ１０が外側から境界Ｋに近づくにつれて、カメラの焦点を合わせるように画像が拡大された状態から実際の大きさに変化したり、あるいは半径が小さくなることによって絞りが絞られていくことを連想させる焦点メタファーを構成している。
【００６２】
この拡張カーソル３２は、ＯＳがイメージドライバ２０を用いて表示する。また、従来のカーソル３４は、ＯＳがマウスドライバ１６を用いて拡張カーソル３２に重ねて表示する。
【００６３】
次に、マウス・コマンドが生成される場合の３次元指示入力装置の処理の流れについて説明する。
【００６４】
図１に示されるように、ＬＥＤ１０が３Ｄ計測装置１２の前にあると、その位置が３Ｄ計測装置１２で測定される。ここでマウス・コマンド生成のために必要なものはＬＥＤ１０のｚ座標値である。ｚ座標値は３Ｄ計測装置１２からの距離で測られるが、パソコン２２の画面Ｍと３Ｄ計測装置１２の位置が一致していれば、この距離は画面Ｍからの距離となる。図１の矢印で示されるように、手前に伸びる方向がｚ座標値の正の方向である。
【００６５】
ユーザが手を動かすとそれにつれて手に装着されたＬＥＤ１０の位置が変わり、そのｚ座標値を含む３次元座標値が３Ｄ計測装置１２を通じて３Ｄマウス・コマンド生成装置１４に送られる。
【００６６】
３Ｄマウス・コマンド生成装置１４は、そのｚ座標値の時系列から画面Ｍ手前の各境界領域をある一定時間内にどのような形で通過したかを調べる。なお、この時間は、ユーザにより任意に設定可能である。３Ｄマウス・コマンド生成装置１４では、その仕方によって、クリック、ダブルクリック、ドラッグの３つの重要なコマンドに解釈される。解釈されたコマンドのシグナルはパソコン２２のマウスドライバ１６に送られる。この時点でマウスドライバ１６は２次元マウスであろうと、３次元マウスであろうと同じデータタイプを受け取ることができる。従って、後はパソコン２２側の処理になる。本実施の形態では拡張カーソル３２を小ウインドウで表現するので、ＯＳは画像を処理しているイメージドライバ２０等を必要に応じて起動させ、図３（ａ）及び図３（ｂ）に示されるようにパソコン２２の画面Ｍに拡張カーソル３２を表示させる。また、マウスドライバ１６も同時に起動されており、ＯＳはマウスドライバ１６により拡張カーソル３２の画像に従来のカーソル３４を重ねて画面Ｍ上に表示する。
【００６７】
この拡張カーソル３２内部の画像はＬＥＤ１０が自由層にあるときには本来の画像と変わらず、ＬＥＤ１０が半押し層に入ると拡大表示（拡張カーソルそのものの大きさと内部表示される画像）される。また、ＬＥＤ１０が半押し層から全押し層へ向かうにつれて、即ち境界Ｋに向かうにつれて、拡大画像の倍率が１になる。特に、境界Ｋの寸前の所定距離内では多少ＬＥＤ１０のｚ座標値が動いても倍率は１とする。これはカメラのシャッタの半押し状態を再現したもので、特にシャッタが下りる直前はシャッタの硬さが増し、変化がないことも表現されている。
【００６８】
以下、図４を用いて、ＬＥＤ１０の動きと、生成されるマウス・コマンドとの対応関係について詳細に説明する。
【００６９】
図４は、パソコン２２を上から見た図である。また、図に示される太実線及び点線はＬＥＤ１０の動きに対応した軌跡を示している。なお、太実線はカーソル点３０のｘ−ｙ座標値が固定されている（ロックされている）ことを示し、点線部分はｘ−ｙ座標値は固定されていない（ロック解除されている）ことを示している。
【００７０】
ＬＥＤ１０が半押し上層から境界Ａを越して半押し下層に入ると、境界Ａを通過する時点の値でカーソル点３０のｘ−ｙ座標値がロックされる。このとき、オブジェクトが指示されていれば、後にＬＥＤがＫを通過すれば通過時の通過点のｘ−ｙ座標値に関わらずそのオブジェクトが選択される。即ち、ＬＥＤ１０が移動して境界Ｋを通過した後、境界Ｂには到達せずに、再び境界Ｋを逆方向に通過して半押し上層に戻ると、「クリック」のコマンドがパソコン２２のマウスドライバ１６に送られる（軌跡４０）。
【００７１】
また、ＬＥＤ１０が、半押し上層から境界Ａを越して半押し下層に入った後、半押し層上部に戻らず、もう一度境界Ｋを越し、しかし、境界Ｂに到達せず、再び境界Ｋを逆方向に戻ると、「ダブルクリック」のコマンドがパソコン２２に送られる。（軌跡４２）。
【００７２】
また、ＬＥＤ１０が半押し上層から境界Ａ、境界Ｋを通り過ぎ、次の境界Ｂを越すと、ドラッグが可能な領域（全押し下層）に入る。この時点でカーソル点３０のｘ−ｙ座標値のロックが解除され、全押し下層でカーソル点３０で指示されているオブジェクトがＬＥＤ１０のｘ−ｙ座標の動きに従ってドラッグされる。即ち、「ドラッグ」のコマンドがパソコン２２に送られる。ＬＥＤ１０が再び全押し下層からが境界Ｂを逆方向に通過し、また境界Ｋをさらに通過して半押し層に戻ると、その時点でｘ−ｙ座標値がロックされ、オブジェクトがドロップされる。即ち、「ドロップ」のコマンドがパソコン２２に送られる（軌跡４４）。
【００７３】
ｘ−ｙ座標値のロックの状態と各境界との対応関係について詳細に説明する。基本的には、どの場合でもｘ−ｙ座標値がロックされるのは、ＬＥＤ１０が半押し上層から半押し下層へ境界Ａを越したときである。また、ロックが解除されるのは、クリックの場合には同じく境界Ａを逆方向に通過したときであり、ダブルクリックの場合は境界Ｋを２回目に逆方向に戻ってきた時点である。また、ＬＥＤ１０が境界Ｂを越えて全押し下層に入るとｘ−ｙ座標のロックははずされる。これはドラッグ可能な領域に入ったためで、当然である。ドラッグを行ってオブジェクトを移動した後、ＬＥＤ１０が再び全押し上層に戻ってきたときには、再びロックされる。これはカーソルからオブジェクトをはずすための便宜である。さらにＬＥＤ１０が境界Ｋを越して半押し層に戻ると、再びロックははずされる。この時点ではＬＥＤ１０が半押し上層に戻ってきていないので、オブジェクトの選択がなされることはない。
【００７４】
なお、図４において、クリックとダブルクリックの際のＬＥＤ１０の軌跡は、ｘまたはｙ座標値を動いているように見えるが、これらは誇張して表現したものであり、実際は殆ど同じ位置にある。また、実線部分ではパソコン２２のマウスドライバ１６に対する値は一定値である。
【００７５】
以上説明したように、画面の前面に広がる空間を３つの領域に分割し、ユーザの視覚に訴えるような拡張カーソル（焦点メタファー）によって、ユーザが装着するＬＥＤ１０が各領域の境界を通過したことを認知させつつ、半押し層と全押し層との境界をある一定時間内に一度だけ往復した場合には、２次元マウスのクリックの動作を実行し、一定時間内に二度往復した場合には、２次元マウスのダブルクリックの動作を実行し、半押し層から全押し層に移動しても一定時間半押し層に戻らない場合には、カーソルが指示するアイコン等のオブジェクトをドラッグし、ＬＥＤ１０が半押し層に戻ったときに、ドラッグしたオブジェクトをドロップするようにしたため、クリック、ダブルクリック、ドラッグなどのマウスの基本動作を、機械的メカニズムを利用せずに空中でのＬＥＤ１０の動き（３次元座標値）により実行させることができる。
【００７６】
なお、上述した実施の形態では、拡張カーソル３２を用いてＬＥＤ１０が３次元空間上の境界を通過したことをユーザに認知させる例について説明したが、例えば、各境界を通過する際それに固有な音を発生させて操作の助けとすることも可能である。さらに、各層での最大拡大率や、色相などの色情報、拡張カーソル３２の大きさ（半径等）をユーザが自由に自分の好みや使い勝手に応じて変更することが可能である。
【００７７】
図５は、ＬＥＤ１０のｚ座標位置に応じた拡張カーソル３２の明度及び色相の変化の一例を示した図である。図示されるように、色相が境界Ｋを境にして緑から赤に変わる。即ち、ユーザが境界Ｋ前後にＬＥＤ１０を動かすと色が変わることになり、ユーザに対して境界がどこにあるのかの認知度を高める。また、半押し層（図５において境界Ｋの左側）や全押し層（図５において境界Ｋの右側）において明度を変化させる。特に、半押し層では、境界Ｋに向かって拡張カーソルに取り込まれた画像の拡大率を１に近づけると共に、色を拡張カーソルに取り込んだ画像の色相に近づけることによって、焦点を合わせてはっきり見える焦点メタファーを構成することも可能である。
【００７８】
また、上述した実施の形態における境界や層は一例であり、境界を削除して２つの層を合体させることも可能である。この場合には、層に依存する属性を隣接する層についても同じに設定することによって可能となる。また、境界を定めるｚ座標値もユーザが自由に設定しなおすことも可能である。さらに、各層の意味を別に解釈することによって、例えば、極端な例としては、半押し層と全押し層を逆転させることも可能である。この場合も、マウス・コマンドを起動させるには、ＬＥＤ１０がどの境界をどのように通過したかによって決定するようにすればよい。
【００７９】
なお、拡張カーソルに表示される画像の色相、彩度、明度の少なくともいずれか１つを、ＬＥＤ１０のｚ座標値に応じて変化させるようにすることもできる。また、拡張カーソルに表示される画像の凹凸状態を、ＬＥＤ１０のｚ座標値に応じて変化させるようにすることもできる。さらに、拡張カーソルの大きさや形状を、ＬＥＤ１０のｚ座標値に応じて変化させるようにしてもよい。
【００８０】
また、拡張カーソルの輪郭の色はユーザが任意に設定してもよい。さらに、任意に設定された拡張カーソルの輪郭の色と、画面に表示される画像における拡張カーソルの境界域の色との排他的論理和をとって拡張カーソルの輪郭の色を定めるようにしてもよい。これにより、拡張カーソルに予め設定された輪郭の色と、画面に表示される画像における拡張カーソルの輪郭の境界域に占める色とが同一となった場合に、拡張カーソルの輪郭の色を異ならせて表示するため、拡張カーソルが明瞭に視認される。
【００８１】
また、それぞれの操作が完了するまでの最大許容時間もユーザが設定可能であるが、空中操作によるクリック操作の識別に要するクリック間隔時間は２次元マウスの設定値にくらべて時間を長くすることが好ましい。具体的には、ダブルクリックは基本ソフトＯＳで設定可能な０．５秒を越して、約１．９秒くらいが実験的に現在のところ妥当であった。
【００８２】
【発明の効果】
本発明に係る３次元指示入力装置は、五感の少なくとも１つに訴えるようなフィードバック（焦点メタファーや色相等の変化）によって、画面の前面に広がる３次元空間上の分割された複数の領域の各境界に対する発光手段の通過状態をユーザに認知させ、機械的メカニズムを利用せずに、発光手段の各領域の境界に対する通過の仕方に応じて、クリック、ダブルクリック、ドラッグなどの２次元マウスの機能を実行することができる、という効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る３次元指示入力装置の構成およびデータの流れを示すブロック図である。
【図２】パソコンを横から見た場合の空間分割を説明する図である。
【図３】図３（ａ）は、向かって右側の２列のアイコンの中心部分を拡張カーソルが指示している状態を表した図であり、図３（ｂ）は、ＬＥＤが境界Ｋに近づいたときの画面上の拡張カーソルの状態を表した図である。
【図４】パソコンを上から見た場合の空間分割とＬＥＤの空間上での動きを説明する図である。
【図５】画面に表示される拡張カーソル内の画像の色相及び明度の変化の一例を示した図である。
【符号の説明】
１０  ＬＥＤ
１２  ３Ｄ計測装置
１４  ３Ｄマウス・コマンド生成装置
１６  マウスドライバ
１８  ＯＳ
２０  イメージドライバ
２２  パソコン
３２  拡張カーソル
【図１】
2004303000.tif 000003
【図２】
2004303000.tif 000004
【図３】
2004303000.tif 000005
【図４】
2004303000.tif 000006
【図５】
2004303000.tif 000007