(57)【要約】【課題】操作者微小部分を基準に簡易な文字入力と情報選択法を提供する情報端末装置【解決手段】手で持ち自由に動かせる情報端末機器のカメラで操作者の一部を捕らえ、撮像した濃淡パターンの移動具合でデジタルシグナルプロセッサーが数値化した操作者の動きから、情報端末の動きを操作者と相対的に検出し、その数値化データーで端末に表示した仮想キーボードのキーあるいは情報選択キーを仮選択し、情報端末機器に具備した一つのキー、あるいはディスプレイ上の一つの仮想キーを打つことにより確定することで、１キーでの文字入力と情報選択を可能にした。【選択図】図２
2005092839.tif 000002
【特許請求の範囲】
【請求項１】
手で持ち自由に動かせる情報端末において、少なくとも１つの入力キーを持ち、操作者の少なくとも一部を捕らえる２次元撮像素子を具備し、撮像素子の縦５×横５画素以上で捕らえた濃淡パターンを記憶し、記憶した濃淡パターンの動きをデジタル画像処理により求め、素子のアドレス上で操作者が動かした情報端末の動きを数値化し、あらかじめ表示してあるキーボードのキーあるいは情報選択キーを、数値化した情報端末の動きで仮選択し、入力キーで確定することを特徴とする情報端末装置。
【発明の詳細な説明】
【発明の詳細な説明】
【技術分野】
【０００１】本発明は、パーソナルコンピュータの入力端末やテレビゲーム機、携帯電話等の情報端末機器への文字入力装置と情報選択装置に関する。
【背景技術】
【０００２】大別して、情報端末機器に１２個程度のキーを持つ装置、機器内の傾きセンサーや加速度センサーによる情報選択を行なう装置、人の手振りなどの動作を撮像素子で検知して情報選択を行なう装置、撮像素子の情報で操作者と背景との境の輪郭、目、鼻、口などの特徴的な部分の動きを認識して情報選択を行なう装置の４つがある。
【発明が解決しようとする課題】
【０００３】しかしながら、１番目の装置はもちろん多くのキーを数多く操作しなければならないし、そのスペースは情報端末機器の大きなスペースを占めることになってしまう。またディスプレイ上に仮想キーボードを表示する方式では、小型の端末になるほどキーの大きさが小さくなり押しずらい。
２番目の装置は情報端末機器を操作するときのいろいろな姿勢、例えば椅子に座った状態、立った状態、寝た状態等機器の定常の傾きが一様ではなく、またセンサーに指向性があり、センサーの性質に合わせようとすると通常の使用法とは違う不自然な体勢での操作を強いていた。
３番目の装置は携帯性に乏しい。
４番目の装置は、特徴部分の識別のため横３２０×縦２４０画素などの解像度の撮像素子が使われるが情報量が多いため処理が重く、操作が緩慢なものになるか、高度な処理部と消費電力の大きいシステムを必要とする欠点があった。
本発明は上述した問題点を解決し簡易な文字入力、あるいは情報選択を提供することを目的としている。
【課題を解決するための手段】
【０００４】この目的を達成するために、本発明の請求項１に記載の装置によれば、情報端末機器とそれを見る操作者の自然な状態が基準となり、情報端末機器と操作者との関係は相対的なものであることから自然な操作が可能になり、キーの数が一つでも操作が可能になるため、情報端末機器に広いキーボードスペースがいらなくなる。
操作者は特別なジェスチャーをすることもない。
ハード的には濃淡パターンの動きの検出を５×５画素程度の撮像素子でおこなっても実用になり、よってデジタル画像処理装置が処理する情報量も少なくなるので、装置を小型化できる。
【発明を実施するための最良の形態】
【０００５】以下、本発明の実施の形態について、図面を参照して説明する。
図１のように手で持ち自由に動かせる情報端末１に面状のＣＭＯＳ、ＣＣＤ（電荷結合素子）などの可視光、あるいは赤外線カメラ２で操作者の画像を捕らえる。カメラは自然な操作状態のとき、操作者の顔や服装を数ミリから数センチ角で捕らえる。このとき画像には１１ａのような濃淡パターンがあり、このデジタル画像の情報を情報端末内部のＤＳＰ（デジタルシグナルプロセッサー）が濃淡パターンとして記憶し、このパターンの移動を検出する。【０００６】加えて情報端末１には、情報が表示されるディスプレイ３に、ソフトウェアでつくられた仮想キーボード４が表示されていて、そのキーボードの中心付近のキー５が太字枠で表示され仮選択されていることを表示する。
このとき入力キー６を押すと太字枠のキーが確定する。
この入力キーはタッチパネルディスプレイ上に表示されたキーでも良い。【０００７】操作と処理の関係は、操作者８が情報端末９の角度と位置を操作者と相対的に変化させることで、カメラ画像内の操作者の画像も数千分の１秒後に１１ｂのように変化するので、ＤＳＰが１１ａのパターンの移動７ｂで情報端末の動きを数値化し仮想キーボードの太枠で選択するキーを１３のように数十分の一秒単位で替え、操作者はこの表示を見ながら情報端末を調整し、キー６を押し文字入力や、文字入力時に推測変換された文字列の確定、あるいは情報の選択操作をおこなう。
またＤＳＰは７ｃを新たなパターンとして記憶し数千分の１秒後の移動具合をみる。これ繰り返す。
画像上での濃淡パターンの動きと仮選択キーとの関係は、操作者に自然な感じを与えるように、濃淡パターンが上に移動したとき仮想キーボードの仮選択キーは下方向にあるキーに替える。【０００８】図３はペン状の実施例であり、表示キー１５は固定表示にして選択キーを発光させる。
図４は腕時計状の実施例であり、この場合１９のように情報端末の上下を指で持ち、腕から若干浮かせることで自由に動かせる。
図５は腕時計状の実施例であり、撮像素子２０ａは腕側にあり、照明２０ｂが腕の皮膚を照らす。この場合も図４のように情報端末の上下を指で持ち、腕から若干浮かせることで自由に動かせる。
図７は情報端末が９個のキー２２を持つ場合で、このキーそれぞれの働きを、端末を動かすことで２１ａ，２１ｂ，２１ｃの３組に変化させ端末のディスプレイに表示し、操作者はこれを見ながら打ちたい英字の位置のキーを押すことで文字入力ができる。【０００９】上記の実施例で仮想キーボード４を表示するためのディスプレイ３が情報端末にはなく、情報端末と情報的に連携させたパソコンのディスプレイ、あるいはテレビなど他の情報機器と関連したディスプレイにあり、操作者がこの表示を見ながら入力をしていく装置も有効である、例えば図３に示したペン状の装置の場合には、ディスプレイ部をこの装置とワイヤレスで連携したパソコンのディスプレイに表示することで選択情報の視認性を向上させることができる。またこの場合デジタル画像処理部をパソコン側に装備すれば、単体での使用はできなくなるが情報端末は小型化できる。【００１０】図６に本案の概略をフローチャートで示し説明する。
情報端末のマイコンとＤＳＰがカメラで撮像した操作者の動きから情報端末の動きを数値化した情報で、ディスプレイ上の仮想キーボードの選択部位を動的に変化させ操作者に示し、操作者は希望のキーが選択された表示を確認して入力キーを押すことで１文字を入力し、これを繰り返すことで文字入力ができる。
【発明の効果】
【００１１】以上に説明したように、本発明の請求項１に記載の文字入力装置あるいは情報選択装置によれば、１キーでも操作が可能な簡易なものとなり、機器における入力のためのスペースも少なくなり、その分ディスプレイ部分を大きくするなどで使用者の利便性を増すことができ、またペン状の極小型の文字入力端末も実現できるなど従来にない形状の文字入力端末が実現可能になる。
【図面の簡単な説明】
【図１】  本案の情報端末機器の実施例
【図２】  カメラ画像と情報端末機器のディスプレイ画面の変化の関係
【図３】  ペン状情報端末機器の実施例
【図４】  腕時計状情報端末機器の実施例と操作法
【図５】  カメラを背面に持つ腕時計状情報端末機器の実施例
【図６】  本案の動作フロー図
【図７】  ９個のキーを持つ情報端末機器の実施例
【符号の説明】
１は情報端末、２はＣＭＯＳカメラ、２ａは操作者を照らす照明、３はディスプレイ部、４は仮想キーボード、５は仮選択されているキー、６は入力キー、７ａは撮像素子の濃淡パターン、７ｂは移動した７ａのパターン、７ｃは新たに登録された撮像素子の濃淡パターン、８は操作者、９はＣＭＯＳカメラ、１０は操作者の手、１１ａはカメラ画像、１１ｂはカメラ画像の変化、１２は仮想キーボード、１３は仮想キーボードの仮選択部位の変化、１４は仮選択されているキー、１５はキーボード表示、１６はＣＭＯＳカメラ、１７は入力キー、１８は腕時計状情報端末機器の例、１８ａはＣＭＯＳカメラ、１８ｂはディスプレイ上に表示された仮想キーボード、１９は１８の操作例、２０はＣＭＯＳカメラを背面に具備した腕時計状情報端末機器の側面図、２０ａは情報端末内部の操作者の皮膚を捕らえるＣＭＯＳカメラ、２０ｂは皮膚を照らす照明、２１ａは情報端末に表示表示されたＱｗｅｒｙタイプキーボードの左側の１２キー、２１ｂは情報端末に表示表示されたＱｗｅｒｙタイプキーボードの中央の１２キー、２１ｃは情報端末に表示表示されたＱｗｅｒｙタイプキーボード残りのキー、２２は情報端末のキーボード
【図１】
2005092839.tif 000003
【図２】
2005092839.tif 000004
【図３】
2005092839.tif 000005
【図４】
2005092839.tif 000006
【図５】
2005092839.tif 000007
【図６】
2005092839.tif 000008
【図７】
2005092839.tif 000009