(57)【要約】【課題】投影距離など、設置条件が異なっても適切な大きさのキーボードを投影可能な投影入力装置、投影入力装置を備えた情報端末及び充電器を提供する。【解決手段】投影されるキーボードの大きさが、適切な大きさになり、投影されるキーボードの位置が適切な方向に投影されるように、手の特徴点サイズ（例えば指の長さや間隔）を検出し、投影されるキーボードの大きさの相対的比率を一定にし、また、投影方向を正しく調整するように制御する。【選択図】図１
2007219966.tif 000002
【特許請求の範囲】
【請求項１】
平面上に光学的な仮想キーボードを投影するキーイメージ投影部と、前記仮想キーボードが投影される前記平面のわずか上方に、平面状に広がる赤外線ビームを投影する位置検出用赤外レーザー投影部と、前記仮想キーボード上の操作者の指からの赤外線ビームの反射を検出するカメラと、前記カメラからの信号により特定のキー入力を判定するキー入力判定部を備えた投影入力装置において、
前記平面上に配置された対象物の特徴を判定する対象物判定部と、前記対象物判定部により検出された特徴点の情報により、前記投影入力装置又は前記投影入力装置を備えた情報端末の入力装置の設定を制御することを特徴とする投影入力装置。
【請求項２】
請求項１に記載の投影入力装置において、
前記対象物判定部が手の特徴点判定部であり、前記手の特徴点判定部により、前記仮想キーボード上に配置された操作者の手の特徴点を検出し、検出された特徴点の情報に基づいて、前記仮想キーボードの投影方向と投影位置及び投影サイズを調整することを特徴とする投影入力装置。
【請求項３】
請求項２に記載の投影入力装置において、
前記手の特徴点として、Ｖ字型に切れ込んだ指の長さを用いることを特徴とする投影入力装置。
【請求項４】
請求項２に記載の投影入力装置において、
前記手の特徴点として、手のひらの形状を用いることを特徴とする投影入力装置。
【請求項５】
請求項２に記載の投影入力装置において、
前記手の特徴点として、隣り合うツメの間の距離を用いることを特徴とする投影入力装置。
【請求項６】
請求項２に記載の投影入力装置において、
前記手の特徴点として、ツメの大きさを用いることを特徴とする投影入力装置。
【請求項７】
請求項２に記載の投影入力装置において、
前記キーボードの投影方向と投影位置及び投影サイズの調整は、前記キーイメージ投影部の投影可能範囲が光学的に広角であり、必要に応じて投影画像の内容を変化させることにより行うことを特徴とする投影入力装置。
【請求項８】
請求項２に記載の投影入力装置において、
前記キーボードの投影方向と投影位置及び投影サイズの調整は、前記キーイメージ投影部の光学軸の左右上下角を可変させる機構を用いて前記光学軸の向きを変更することにより行うことを特徴とする投影入力装置。
【請求項９】
請求項２に記載の投影入力装置において、
前記キーボードの投影方向と投影位置及び投影サイズの調整は、前記位置検出用赤外レーザー投影部、前記キーイメージ投影部、及び前記カメラの光学的設定が可変することが可能なことを特徴とする投影入力装置。
【請求項１０】
請求項１または請求項２に記載の投影入力装置において、
前記手の特徴点判定部により、手の特徴点の情報に基づき検出された手の大きさと、前記仮想キーボードの投影サイズの比率を一定にすることを特徴とする投影入力装置。
【請求項１１】
請求項１に記載の投影入力装置において、
前記対象物判定部が、前記平面上に複数の指が配置されていると判定した場合にキャリブレーションモードと判断することを特徴とする投影入力装置。
【請求項１２】
請求項１に記載の投影入力装置において、
前記対象物判定部が、前記平面上に複数の指が配置され、一定時間変化が無い場合にキャリブレーションモードと判断することを特徴とする投影入力装置。
【請求項１３】
請求項１に記載の投影入力装置において、
初期設定モードと通常操作モードとを別途設定可能であり、前記初期設定モードでは、前記対象物判定部が前記平面上に複数の指が配置されていると判定した場合にキャリブレーションモードでの初期設定の動作が行われ、前記通常操作モードでは、前記仮想キーボード上でのキーボード操作時の複数キーの入力操作が行われることを特徴とする投影入力装置。
【請求項１４】
請求項１に記載の投影入力装置において、
指からなる手の特定形状とキーボードモードとを対応させ、初期設定時に指の形を変化させることにより、自動的に投影する前記仮想キーボードのキー配列と前記仮想キーボードの動作モードとを認識して設定し、特定のキーボードモードの仮想キーボードを投影することを特徴とする投影入力装置。
【請求項１５】
請求項１に記載の投影入力装置において、
前記対象物判定部がマウス判定部であり、前記マウス判定部により、前記仮想キーボード上に配置された操作者の複数の指の密着を検出してマウス操作モードを判定し、前記密着した複数の指の移動によりポインティング動作を行うことを特徴とする投影入力装置。
【請求項１６】
請求項１５に記載の投影入力装置において、
前記マウス判定部は、隣り合う指のツメの間の距離Ｌｍが一定の閾値より小さいことを検出して、Ｌｍが実質的に０であると判定することを特徴とする投影入力装置。
【請求項１７】
請求項１５に記載の投影入力装置において、
前記マウス判定部からの信号が転送され、前記キーモード設定部により、前記投影キーボードが一点に凝縮されて、通常のマウス操作によるポインティング入力と同様に、指先を閉じた手を上下左右に移動すれば、ポインティング入力点を示す光スポットも上下左右に移動し、この上下左右の移動点を示す情報が転送されて、ポインティング動作がなされることを特徴とする投影入力装置。
【請求項１８】
請求項１７に記載の投影入力装置において、
前記指先を閉じた手の特定点が中指のツメの位置であり、前記特定点に一点に凝縮された光のスポットが投影され、ツメの位置からの反射光が検出されて、指先を閉じた手の上下左右の移動が検出されて、ポインティング動作がなされることを特徴とする投影入力装置。
【請求項１９】
請求項１５に記載の投影入力装置において、
前記マウス判定部からの信号が転送され、前記投影キーボードはそのまま残して、前記投影キーボード上に置かれた前記指先を閉じた手の特定点に一点に凝縮された光を照射／反射してポインティング動作を行い、前記ポインティング動作と前記投影キーボードによるキーボード入力とを切り換え可能であることを特徴とする投影入力装置。
【請求項２０】
請求項１に記載の投影入力装置において、
前記対象物判定部がマウス判定部であり、前記マウス判定部により、前記仮想キーボード上に配置された操作者の複数の指の接近と移動を検出してマウス操作モードを判定し、複数の接近した指の移動によりポインティング動作を行うことを特徴とする投影入力装置。
【請求項２１】
請求項２０に記載の投影入力装置において、
前記複数の接近している指の特定動作を検出することにより、マウス操作のクリックボタンの動作とすることができることを特徴とする投影入力装置。
【請求項２２】
請求項１５または請求項２０に記載の投影入力装置において、
ポインティング動作を行うと認識した場合には、仮想キーボードへの入力とは異なる入力音を発生するように制御することを特徴とする投影入力装置。
【請求項２３】
請求項１に記載の投影入力装置において、
前記対象物判定部がシート判定部であり、前記シート判定部により、前記仮想キーボード上に配置されたシートの位置と大きさを検出し、検出されたシートの位置と大きさの情報に基づいて、前記シート上に投影される前記仮想キーボードの投影方向と投影位置を調整することを特徴とする投影入力装置。
【請求項２４】
請求項２３に記載の投影入力装置において、
前記シート判定部が前記シートの外形の特徴部分を認識し、前記仮想キーボードのキーイメージを前記シートの外形に合わせて投影することを特徴とする投影入力装置。
【請求項２５】
請求項２３に記載の投影入力装置において、
机面上に配置された使いやすい大きさのキーボードの外形を示す紙や、布などのシートの各辺の部分で赤外線ビームが反射され、検出された反射位置の情報が投影入力装置の前記シート判定部に入力され、前記シート判定部により前記シートの位置及び寸法等の情報が投影サイズ可変部及び投影位置調整部により、前記シートの位置及び前記シートの大きさに合わせた、前記仮想キーボードの投影サイズと投影位置の調整が行われることを特徴とする投影入力装置。
【請求項２６】
請求項２３に記載の投影入力装置において、
前記シートの特徴点（外形、切れ込みなど）と前記仮想キーボードの種類を対応させることを特徴とする投影入力装置。
【請求項２７】
請求項２５に記載の投影入力装置において、
前記シートの特徴点（外形、切れ込みなど）と前記仮想キーボードの種類を対応させることでキーボードモードを自動認識し、前記キーモード設定部が認識したキーボードモードを設定して、対応するキー配列を有する特定のキーボードモードの仮想キーボードの光学像をシート上に投影するように設定することを特徴とする投影入力装置。
【請求項２８】
請求項２５に記載の投影入力装置において、
上記の枠だけのシートを使う場合には、更に、シートの上に操作者の手を配置して、特定の手の形状を認識してキーボードモードを自動認識して、対応するキー配列を有する特定のキーボードモードの仮想キーボードの光学像をシート上に、投影するように設定することを特徴とする投影入力装置。
【請求項２９】
請求項２３に記載の投影入力装置において、
予め設定した特定のキーボードモードのキーボード配列を印刷した紙や、布などのシートを投影面へ配置して、上記シートの外形は検出するが、投影映像なしに仮想キーボードを構成することを特徴とする映像入力装置。
【請求項３０】
請求項２に記載の投影入力装置において、
前記手の特徴点判定部により検出された手の特徴が、特定の大きさ以下であったならば、子供用のキーイメージを投影することを特徴とする投影入力装置。
【請求項３１】
平面上に光学的な仮想キーボードを投影するキーイメージ投影部と、前記仮想キーボードが投影される前記平面のわずか上方に、平面状に広がる赤外線ビームを投影する位置検出用赤外レーザー投影部と、前記仮想キーボード上の操作者の指からの赤外線ビームの反射を検出するカメラと、前記カメラからの信号により特定のキー入力を判定するキー入力判定部と、前記平面上に配置された対象物の特徴を判定する対象物判定部と、入力装置の設定を制御する制御部を有する投影入力装置を備えた情報端末において、
前記対象物判定部により検出された情報により、前記投影入力装置又は前記情報端末の入力装置の設定を制御することを特徴とする投影入力装置を備えた情報端末。
【請求項３２】
平面上に光学的な仮想キーボードを投影するキーイメージ投影部と、前記仮想キーボードが投影される前記平面のわずか上方に、平面状に広がる赤外線ビームを投影する位置検出用赤外レーザー投影部と、前記仮想キーボード上の操作者の指からの赤外線ビームの反射を検出するカメラと、前記カメラからの信号により特定のキー入力を判定するキー入力判定部と、前記平面上に配置された対象物の特徴を判定する対象物判定部と、入力装置の設定を制御する制御部を有する投影入力装置を備えた情報端末用の充電器において、
前記対象物判定部により検出された情報により、前記投影入力装置又は前記情報端末の入力装置の設定を制御することを特徴とする投影入力装置を備えた情報端末用の充電器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キーボードイメージを投影して入力装置として使用可能な投影入力装置及びその投影入力装置を備えた情報端末及び充電器に関する。
【背景技術】
【０００２】
文字、数字等を情報端末に入力する装置として、キーボード或いはテンキー等、物理的な入力デバイスを利用するキー入力装置以外に、表示画面上にキーを表示し、接触を検知して入力を行なうタッチパネルによる入力装置が存在する。また、近年、キーボードを平面に投影し、投影されたキーボードを入力装置とする製品が存在する。これら投影入力装置は物理的なキーを必要としないため、情報端末が小型化できるというメリットがあり、今後携帯情報端末への搭載が進むと考えられる。
【０００３】
特許文献１には、表示装置にキーボードイメージを表示し、操作者の指の位置を表示して入力相当の作業を行えるようにするキーボードシステムが記載されている。指先センサーからの検出信号によってキー入力が行われたことを検知し、前記キートップイメージに表示された前記指先の位置のキーを特定し、検知された入力キーのキーコードを生成してコンピュータ応用機器に伝達することが開示されている。しかし、上記のキーボードは表示装置に表示されるものであって、適切な大きさの投影キーボードを平面上に投影することを目的としたものではない。
【０００４】
また、特許文献２には、タッチパネルを用いた文字入力装置及び文字入力方法が記載されている。初期設定時に使用者の文字を打つタッチパネル上の配列位置を登録しておき、この登録したタッチパネル上の文字配列位置で文字を入力することにより使用者の手の大きさ，キーを打つ時の癖等に対応した使いやすい文字入力装置とすることが開示されている。しかし、上記の文字入力装置及び文字入力方法は、キーボードの大きさを可変するものではない。
【０００５】
また、非特許文献１には、一般的な投影型の仮想キーボード製品について記載されている。しかし、非特許文献１に記載の仮想キーボード製品は、投影された仮想キーボードの大きさを可変するものではない。
【０００６】
図７は、従来の投影入力装置のブロック図を示しており、図８及び図９は、従来の投影入力装置の配置関係を示す模式図を示している。図８は、特に、キーボードのイメージを投影する場合の配置関係を示しており、図９は、特に、操作者の指の位置を検出する場合の配置関係を示している。
図７に示すように、キーボードのイメージの投影はキーイメージ投影部１により行われ、キーボードのイメージの投影が行われ、操作者の指の位置の検出は、検出位置検出用赤外レーザー投影部２と、カメラ３とキー入力判定部４により行われる。
図８において、従来の投影入力装置では、キーイメージ投影部１から机面等の平面上にキーボードイメージの光学像が投影される。
図９において、操作者は、机面上に投影されたキーボードの光学像（仮想キーボード）のキー配列上で、キーボード操作を行うと、キーボードイメージの光学像が投影された机面のわずか上方の平面上には、位置検出用赤外レーザー投影部２からの平面状に広がる赤外線ビームが投影されており、操作者が仮想キーボードの特定のキーにタッチするように指を配置すると、赤外線ビームが、例えば、指のつめの部分により反射され、反射された赤外線ビームは、ＣＣＤ（Charge Coupled Device）等を用いた赤外線センサーからなるカメラ３により検出され、カメラ３により検出された信号は、キー入力判定部４により処理が行われて、投影されたキーボード上でタッチされたキー入力の判定がなされる。
【特許文献１】特開２０００−２４２３９４号公報
【特許文献２】特開２００５−１１５８０８−号公報
【非特許文献１】バーチャルキーボード  ＶＫＢ（Virtual Keyboard）インターネット＜URL：http://park16.wakwak.com/~ex4/kb/main_vkb.htm＞
【発明の開示】
【発明が解決しようとする課題】
【０００７】
例えば、携帯情報端末に従来の投影入力装置を装備した場合を想定した場合には、携帯情報端末を使用する環境はさまざまであり、キーボードを投影する場所も様々である。必ずしも操作者の希望する位置へ投影機器が設置可能であるとは限らないし、適切な大きさのキーボードが投影可能とは限らない。
【０００８】
本発明の目的は、投影距離など、設置条件が異なっても適切な大きさのキーボードを投影可能な投影入力装置、投影入力装置を備えた情報端末及び充電器を提供することである。
【課題を解決するための手段】
【０００９】
本発明は、投影入力装置を備えた情報端末において、投影されるキーボードの大きさが、適切な大きさになり、投影されるキーボードの位置が適切な方向に投影されるように、手の特徴点サイズ（例えば指の長さや間隔）と投影されるキーボードの大きさの相対的比率を一定にし、また、投影方向／投影位置／投影サイズを正しく調整するように制御できる投影入力装置及び投影入力装置を備えた情報端末を提供する。また、複数の指の密着を検出してポインティング動作を行い、シートを検出して投影方向／投影位置／投影サイズを正しく調整するように制御できる投影入力装置及び投影入力装置を備えた情報端末を提供する。
【発明の効果】
【００１０】
本発明によれば、投影距離が異なっても適切な大きさのキーボードを投影可能である。
また、簡易な識別手段にて、キーボードの動作モードを認識させる事が可能である。また、例えば、同じキーボード上から、手を移動させなくとも、キーボード操作によるキー入力とマウス操作によるポインティング入力を切替えて使用可能であり、また、シートを検出して適切な大きさのキーボードを投影可能である投影入力装置、投影入力装置を備えた情報端末及び充電器とすることができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を用いて、本発明の実施の形態について説明する。
【実施例１】
【００１２】
図１は、本発明の実施例１の投影入力装置のブロック図である。図１に記載された投影入力装置１０において、１はキーイメージ投影部、２は位置検出用赤外レーザー投影部、３は、ＣＣＤ等の赤外線検出用のカメラ、４はキー入力判定部、５は制御部、６はＩ／Ｆ（インターフェイス）、１１は手の特徴点判定部、１２はマウス判定部、１３シート判定部、１４は、キーモード設定部、投影サイズ可変部及び投影位置調整部を示している。
【００１３】
図１に記載された本発明の実施例１の投影入力装置１０では、従来の投影入力装置と同様に、キーイメージ投影部１から机面上にキーボードイメージの光学像が投影される、操作者は、机面上に投影されたキーボードの光学像（仮想キーボード）のキー配列上で、キーボードの操作を行う。キーボードイメージの光学像が投影された机面のわずか上方の平面上には、位置検出用赤外レーザー投影部２からの平面状の赤外線ビームが投影されており、操作者が仮想キーボードの特定のキーにタッチするように指を配置すると、赤外線ビームが、例えば、指のつめの部分により反射され、反射された赤外線ビームは、ＣＣＤ等の赤外線検出用のカメラ３により検出され、キー入力判定部４により、タッチされたキー入力の判定がなされる。
【００１４】
本発明の実施例１の投影入力装置１０は、従来の投影入力装置の構成に加え、更に、手の特徴点判定部１１、マウス判定部１２、シート判定部１３、キーモード設定部、投影サイズ可変部及び投影位置調整部１４を備えている。投影入力装置１０のキーイメージが投影される机面に、特定の対象物が配置されると、ＣＣＤ等の赤外線検出用のカメラ３が、その対象物の位置と寸法を検出し、これらの位置と寸法の情報を用いて、投影入力装置、あるいは、投影入力装置を備えた情報端末の動作条件の設定の制御が行われる。
仮想キーボードの投影方向と位置と投影サイズを調整するためには、例えば、以下の具体的手段を用いることができる。
手段例１）キーイメージ投影部１の投影可能範囲が、光学的に広範囲であり、必要に応じて投影画像の内容を変化させる。
手段例２）キーイメージ投影部１の光学軸の左右上下角を可変させる機構を設ける。
なお、仮想キーボードの投影方向と位置の調整に対応するためには、撮像側であるカメラ３も対応する必要があり、例えば、カメラ３を広角のものとする必要がある。
手段例３）キーイメージ投影部１、位置検出用赤外レーザー投影部２、及びカメラ３の光学的設定を可変する。
具体的には、キーイメージ投影部１、位置検出用赤外レーザー投影部２、カメラ３を、モーターなどで駆動（上下、左右、ズーム）することによって光学的設定を可変とするが、この光学的設定を可変する駆動手段として周知の任意の駆動手段を組み合わせて構成することができる。
【００１５】
ＣＣＤ等の赤外線検出用のカメラ３で検出された信号は、従来どおり、キー入力判定部４で、仮想キーボード上のキー入力が判定されるほか、特定の対象物の位置と寸法等の情報が、手の特徴点判定部１１、マウス判定部１２、シート判定部１３等で検出され、これらの判定部で検出された情報による制御信号を用いて、キーモード設定部、投影サイズ可変部、投影位置調整部１４の制御が行われて、投影入力装置自体の動作条件の設定、又は投影入力装置を備えた情報端末の動作条件の設定、例えば、特定のキーモードの設定、投影サイズの変更及び投影位置の調整等が行われる。
【００１６】
図２は、本発明の実施例１の投影入力装置を備えた情報端末のブロック図である。本発明の実施例１の投影入力装置を備えた情報端末１００において、１０は投影入力装置、２０は主制御部、２１は無線部、２２は通信制御部、２３は操作部、２４は撮像部、２５は映像処理、２６は表示部、２７はＲＡＭ、２８は不揮発性メモリ、２９はマイク、３０はスピーカを示している。
【００１７】
携帯端末１００の小型化に伴い、操作部２３、表示部２６の大きさには制限があり、十分な大きさの表示部や十分な大きさのキーボード操作部の設置は困難であるが、携帯端末の１００に投影入力装置１０を備えることにより、携帯端末１００が備える操作部２３及び表示部２６等の大きさの制約を克服して、十分な大きさと操作性を備えた入力手段とすることができる。従来の投影入力装置では、主として仮想キーボードのキー入力手段としての機能に限られていたが、本発明の実施例１の投影入力装置１０は、手の特徴点判定部１１、マウス判定部１２、シート判定部１３と、キーモード設定部、投影サイズ可変部及び投影位置調整部１４とを備えることにより、投影入力装置１０を用いて、投影入力装置１０の設定や投影入力装置１０を備えた情報端末１００の設定などの操作性を格段に向上させることができる。
【００１８】
また、以上の説明では、投影入力装置１０は情報端末１００に備えられていたが、例えば、携帯電話などの情報端末１００では、携帯電話に充電するための机面上に立設する充電器が用いられることが多く、投影入力装置１０のキーイメージ投影部１、位置検出用赤外レーザー投影部２、ＣＣＤ等の赤外線検出用のカメラ３等を充電器に設置することにより、投影入力装置１０を情報端末の充電器に備えるようにすることができる。
【００１９】
図３は、キー入力時の手の特徴点の判定を示す図である。（指先は開いている。）投影入力装置１０において、机面のわずか上方の平面上に位置検出用赤外レーザー投影部２からの平面状の赤外線ビームが投影され、机面上に対象物である操作者の手が配置されると、手の各部から投影された赤外線ビームが反射され、反射された赤外線ビームがＣＣＤ等の赤外線検出用のカメラ３で検出される。
【００２０】
赤外線検出用のカメラ３で検出された信号から、手の特徴点判定部１１により、机面上に配置された手の特徴点、例えば、位置と寸法が検出される。手の特徴点の寸法としては、例えば、図３に示すように、Ｖ字型に切れ込んだ指の長さＬ１を用いる場合、手のひらの形状からの寸法を用いる場合、隣り合う指のツメの間の距離Ｌｍを用いる場合、ツメの大きさＬ２を用いる場合が考えられる。
【００２１】
手の特徴点判定部１１で検出された寸法、例えば、隣り合う指のツメの間の距離Ｌｍの値と、仮想キーボードの長さ寸法の値との相対的な比が一定になるように、投影サイズ可変部を制御すれば、キーイメージ投影部１から投影される仮想キーボードの光学像の大きさを操作者の手の大きさに合わせたものに設定することができる。
【００２２】
また、手の特徴点判定部１１で検出する手の位置については、例えば、隣り合う指のツメの間の距離Ｌｍを検出する場合の一方の指（例えば、右手の中指）の位置が、投影する仮想キーボードの特定のキー（例えば、Ｋのキー）に対応するように、投影位置調整部で、キーイメージ投影部の投影方向を調整すれば、操作者の右手の中指が、投影されたキーボードの光学像のＫのキーの位置に来るように、仮想キーボードの位置を設定することができる。
【００２３】
このようにして、投影入力装置１０の仮想キーボードが投影される机面等の面上に、指を開いた手を配置すれば、例えば、中指の位置が仮想キーボードのＫのキーになり、中指と薬指のツメの間の距離が、ＫのキーとＬのキーの距離と対応するように、投影されるキーボードの大きさＬ３が調整される。即ち、中指の位置を変更すれば、それに合わせて投影されるキーボード光学像の投影方向が調整され、中指と薬指の間隔を広げれば、それに合わせてＫのキーとＬのキーの距離が中指と薬指の間隔に対応するように、投影されるキーボード光学像の全体の大きさＬ３が調整される。
【００２４】
このように投影されるキーボード光学像の配置を設定した後は、操作者が仮想キーボードの特定のキーにタッチするように指を配置すると、赤外線ビームが、例えば、タッチされた指のつめの部分により反射され、反射された赤外線ビームは、ＣＣＤ等の赤外線検出用のカメラ３により検出され、キー入力判定部４により、タッチされたキー入力の判定がなされる。
【００２５】
以上のように、本発明の実施例１では、複数の指が、投射平面上に接触している時、（初期設定）キャリブレーションモードと判断しているが、初期設定モードと通常操作モードとを別途設定することにより、投影キーボード上でのキーボード操作時の複数のキーの同時入力と初期設定時の複数の指の位置の検出とを区別し、投影キーボード上のキーボード操作時の複数キー入力操作に対応することができる。また、前記平面状に配置され、一定時間変化が無い場合にキャリブレーションモードと判断するようにすることが可能である。
【００２６】
また、上記の説明では、手の指の位置と間隔により、投影するキーボードの位置と大きさを調整していたが、更に、指からなる手の特定形状と、キーボードモード（ＱＷＥＲＴＹ、１０１、１０６等のキー配列）を対応させることで、初期設定の時に指の形を変化させることにより、自動的に投影する光学的キーボードのキー配列とキーボードの動作モードを自動認識して設定し、特定のキーボードモードの光学的キーボードを投影するようにすることが可能である。
【００２７】
図４は、キー入力時のマウスの判定を示す図である。（マウスを持つように、指先は閉じている。）図４に示すように、例えば、投影入力装置１０の仮想キーボードが投影される机面等の面上に、指先を閉じた手を配置すれば、投影入力装置１０のマウス判定部１２は、例えば、隣り合う指のツメの間の距離Ｌｍが一定の閾値より小さいことを検出して、Ｌｍが実質的に０であると判定する。
【００２８】
この場合には、マウス判定部１２からの信号は制御部５に転送され、キーモード設定部１４により、通常の投影キーボードによるキー入力モードが変更される。投影キーボードが一点に凝縮され、例えば、指先を閉じた手の特定点である中指のツメの位置に光のスポットが投影され、通常のマウス操作によるポインティング入力と同様に、指先を閉じた手を上下左右に移動すれば、ポインティング入力点を示す光スポットも上下左右に移動する。この上下左右の移動点を示す情報は制御部５に転送され、Ｉ／Ｆ（インターフェイス）６を介して情報端末１００に入力される。
【００２９】
なお、以上の説明では、マウス操作のポインティング入力の場合に、投影キーボードが一点の光スポットに集まり、ポインティング操作により、光スポットが移動するとしたが、ポインティング操作時に、投影されるキーボードはそのまま残して、同じキーボード上でポインティング動作を行い、ポインティング操作とキーボード入力とを容易に切り換えるようにすることもできる。
【００３０】
また、以上の説明では、複数の指の接近を検出してマウスの判定を行ったが、複数の指の接近だけでなく、その動作をも検出して、同時に同じ方向へ動作する場合、ポインティングデバイスと認識することもできる。また、複数の接近している指の特定動作を検出することにより、マウス操作のクリックボタンの動作とすることができる。また、ポインティングデバイスとして認識した場合には、キーボードとは異なる入力音を発生するように制御することができる。
【００３１】
図５は、シートの判定を示す図である。（シートの外形の特徴部分を認識、シートの外形に合わせてキーイメージを投影する。）投影入力装置１０において、机面のわずか上方の平面上に位置検出用赤外レーザー投影部２からの平面状の赤外線ビームが投影されている場合、机面上に配置される対象物は、操作者の手に限らず、予め登録された他の対象物の特徴点を検出することができる。
【００３２】
図５に示されているように、例えば、操作者が使いやすい大きさのキーボードの外形を示す紙や、布などのシートを平面状の赤外線ビームが投影されている机面上に配置すれば、シートの各辺の部分で赤外線ビームが反射され、反射された赤外線ビームがＣＣＤ等の赤外線検出用のカメラ３で検出される。赤外線検出用のカメラ３で検出された反射位置の情報は、投影入力装置１０のシート判定部１３に入力され、シートの位置及び寸法等の情報がシート判定部１３により判定されて、投影サイズ可変部及び投影位置調整部１４により、シートの位置及びシートの大きさＬ３に合わせた、光学的な投影キーボードの投影サイズと投影位置の調整が行われる。
【００３３】
また、上記シートの特徴点（外形、切れ込みなど）とキーボードの種類を対応させる事で、キーボードモード（ＱＷＥＲＴＹ、１０１、１０６等のキー配列）を自動認識し、キーモード設定部が認識したキーボードモードを設定して、対応するキー配列を有する特定のキーボードモードの仮想キーボードの光学像をシート上に、投影するように設定することができる。また、上記の枠だけのシートを使う場合には、更に、シートの上に操作者の手を配置して、特定の手の形状を認識してキーボードモード（ＱＷＥＲＴＹ、１０１、１０６等のキー配列）を自動認識して、対応するキー配列を有する特定のキーボードモードの仮想キーボードの光学像をシート上に、投影するように設定することができる。指のサイズが、特定の大きさ以下であった場合、子供用の操作の容易な簡略化したキーボードイメージを投影することもできる。
【００３４】
なお、上記の説明では、キーボードの外形を示す紙や、布などのシートを投影面へ敷き、該シートの外形を検出することで、対応する仮想キーボードの光学像を無地のシート上に投影していたが、予め設定した特定のキーボードモードのキーボード配列を印刷した紙や、布などのシートを投影面へ配置して、該シートの外形は検出するが、投影映像なしに仮想キーボードを構成することもできる。
【００３５】
図６は、本発明の実施例１の投影入力装置１０の動作フローを示すチャート図である。ステップＳ１において動作が開始され、ステップＳ２において初期設定がなされる。ステップＳ３においてＣＣＤ等の赤外線検出用のカメラ３による撮像が行われる。
【００３６】
ステップＳ４においてシート判定部１３によりシートの有無の判定がなされる。シートがあると判定された場合には、ステップＳ５においてキーイメージが消灯され、ステップＳ６においてシート判別が行われる。シートに印刷が無い場合にはシートの大きさが判定され、対応した大きさのキーイメージが投影される。シートに印刷が有る場合には、キーボードのモード判定がなされ、例えば、英文対応のキーモードあるいは日本文対応のキーモード等が設定され、ステップ１０に移行する。
【００３７】
ステップ４においてシートが無いと判定された場合には、ステップＳ９において初期設定がなされ、キーイメージが投影される。次いで、ステップＳ１０において、操作者の手の特徴が手の特徴点判定部１１で検出され、例えば、仮想キーボードの大きさＬ３と手の特徴点の寸法である隣り合う指のツメの間の距離Ｌｍとの比率（Ｌ３／Ｌｍ）が比率設定値よりも小さいかどうかが判定される。Ｙｅｓの場合、即ち、Ｌ３／Ｌｍが比率設定値よりも小さくて、仮想キーボードの大きさＬ３の方が指の寸法Ｌｍより比較的小さい場合には、ステップＳ１１で投影キーボードを拡大してステップ１３に移行する。一方、Ｎｏの場合、即ち、Ｌ３／Ｌｍが比率設定値よりも大きくて、仮想キーボードの大きさＬ３の方が指の寸法Ｌｍより比較的大きい場合には、ステップＳ１２で投影キーボードを縮小してステップＳ１３に移行する。
【００３８】
ステップＳ１３では、マウス判定部１２により指が集まっているかどうかの入力モードの判定が行われる。Ｎｏの場合、即ち、指が集まっていない場合には、ステップＳ１４においてキー入力がなされて、キー入力判定部４によりキー入力が検出される。一方、Ｙｅｓの場合、即ち、指が集まっている場合には、ステップＳ１５においてマウス判定部１２においてポインティング入力が判定され、マウス操作と同様のポインティング入力がなされる。ステップＳ１４とステップＳ１５のキー入力とポインティング入力の終了後は、ステップＳ２に戻って、初期設定からの動作が繰り返される。
【００３９】
以上の説明では、動作フローの手順の中で、シートの判定、手の特徴点の判定、マウスの判定、キー入力の判定が一定の順番で行われる例が示されたが、これらの判定の順番は上記の順番に限定されず、他の順番に変更することが可能である。また、これらの判定は、それぞれ、単独で動作させることや他の判定と組み合わせて動作させることが可能である。
【図面の簡単な説明】
【００４０】
【図１】図１は、本発明の実施例１の投影入力装置のブロック図である。
【図２】図２は、本発明の実施例１の投影入力装置を備えた情報端末のブロック図である。
【図３】図３は、キー入力時の手の特徴点の判定を示す図である。（指先は開いている。）
【図４】図４は、キー入力時のマウスの判定を示す図である。（マウスを持つように、指先は閉じている）である。
【図５】図５は、シートの判定を示す図である。（シートの外形の特徴部分を認識、シートの外形に合わせてキーイメージを投影）
【図６】図６は、本発明の実施例の動作フローを示すチャート図である。
【図７】図７は、従来の投影入力装置のブロック図である。
【図８】図８は、従来の投影入力装置のキーボードのイメージを投影する場合の配置関係を示す図である。
【図９】図９は、従来の投影入力装置の操作者の指の位置を検出する場合の配置関係を示す図である。
【符号の説明】
【００４１】
１    キーイメージ投影部
２    位置検出用赤外レーザー投影部
３    カメラ
４    キー入力判定部
５    制御部
６    Ｉ／Ｆ
１０    投影入力装置
１１    手の特徴点判定部
１２    マウス判定部
１３    シート判定部
１４    キーモード設定部、投影サイズ可変部、投影位置調整部
２０    主制御部
２１    無線部
２２    通信制御部
２３    操作部
２４    撮像部
２５    映像処理
２６    表示部
２７    ＲＡＭ
２８    不揮発性メモリ
２９    マイク
３０    スピーカ
１００    投影入力装置を備えた情報端末
【図１】
2007219966.tif 000003
【図２】
2007219966.tif 000004
【図３】
2007219966.tif 000005
【図４】
2007219966.tif 000006
【図５】
2007219966.tif 000007
【図６】
2007219966.tif 000008
【図７】
2007219966.tif 000009
【図８】
2007219966.tif 000010
【図９】
2007219966.tif 000011