(57)【要約】【課題】指を接触させて入力操作をする面に、視覚および触覚によるポジショニングを必要としない入力手に適合した仮想キーを配列し、片手の指１本更には複数本の組み合わせ入力が容易な入力装置と、携帯に優れた仮想キーによる入力装置を提供する。【解決手段】入力装置に、片手５指の接触の分布を感知する触覚センサ等を具備し、触覚センサ等への指の接触情報を画像あるいは信号処理して指の接触した分布位置を検知する手段に、設定操作に基づき複数のキーを設定する事により、キーの入力操作をする面に入力手に適合した仮想キーを配列する。また、プログラムの処理部と入力操作を行う入力部を分離できるものとし、入力部を携帯に優れたものとする。【選択図】        図２
2005025489.tif 000002
【特許請求の範囲】
【請求項１】
入力装置に具備する片手５指の接触の分布を感知できる触覚センサ等に、片手の指１本または複数本を接触させてキー入力を行う為の仮想キーの配列方法において、触覚画像を画像処理して指の接触した分布位置を検知する手段に設けたキーにより、片手５指それぞれに１個または複数個を割り当てたキーの入力を判断するものであり、前記手段に設けたキーを、前記触覚センサ等に片手５指を同時接触させた触覚画像を画像処理して得られる接触データと、予め記憶しておいたキーの配列データに基づき、分布位置を定めて設定する事により、入力装置の指を接触させてキーの入力操作をする面に、入力手に適合したキーを仮想的に配列することを特徴とする仮想キーの配列方法。
【請求項２】
指の接触した分布位置を検知する手段を、電気信号を信号処理するものに代えたことを特徴とする請求項１記載の仮想キーの配列方法。
【請求項３】
請求項１または請求項２に記載の処理によって片手の指１本または複数本を接触させてキーの入力操作をする入力装置の入力部において、片手５指の接触の分布を感知できる触覚センサ等を具備するものであり、前記処理を行う回路を具備する処理部と、着脱が可能なケーブル等によって接続する事により、携帯に優れたものとする事を特徴とする請求項１または請求項２に記載の仮想キーの配列方法によって入力操作を行う入力部。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、機器および装置等の入力操作において、キー位置に合わせたポジショニングを必要としないものとする為に、入力装置の指を接触させる面に入力手に適合させて仮想キーを配列する方法と、仮想キーの配列による入力装置に関するものである。
【０００２】
【従来の技術】
従来の機器及び装置等の入力装置におけるキーは、挿下構造式キー更には表示機と一体となったタッチパネル式キーがよく知られている。それらのキーは、入力操作を行うにあたって視覚あるいは触覚によるところのキー位置に合わせたポジショニングを必要とするものであった。
【０００３】
【発明が解決しようとする課題】
従来の挿下構造式キーによれば、多くの種類の入力を必要とする例えばコンピュータのキーボードにおいては、キーの数が多くなる事から小型化に問題があった。或は、入力装置の小型化の為に複数指による同時入力としたものにおいては、キーの位置に囚われやすくなる事から、スムーズな指の組合せ入力を困難とする問題があった。
【０００４】
また、表示機と一体となったタッチパネル式キーにおいては、視覚によるキー位置の確認を必要とする事から、視覚障害者の入力操作を困難なものとする問題があった。更に、視覚障害者のエレベータ等の操作では、点字による入力キーの確認を必要とする事から迅速な入力が行えないという問題があった。
【０００５】
本発明は、上記のような課題を解決する為になされたものである。入力装置のキー操作を行う為に指を接触させる面に、設定操作による指の接触位置に基づきキーを仮想的に配列するものとし、入力手に適合した仮想キーの配列となる事を目的とする。その事により、片手の複数指の組合せによる入力操作を容易なものとさせ、コンピュータ等のキーボードの小型化を達成して携帯が可能なものとなる事を目的としている。
【０００６】
また、視覚障害者の入力操作においては、視覚および触覚によるキー位置の確認を必要としないものとする事により、エレベータ等の操作においては点字表示に頼らない迅速な操作を可能なものとし、表示装置を必要としないタッチ式入力装置を提供する事を目的としている。
【０００７】
【課題を解決するための手段】
上記課題を解決する為の本発明の請求項１に係る仮想キーの配列方法は、入力装置に具備する片手５指の接触の分布を感知できる触覚センサ等に、片手の指１本または複数本を接触させてキーの入力操作を行うものとし、触覚センサ等に指が接触した触覚画像を画像処理して指の接触した分布位置を検知する手段に、前記触覚センサ等に片手５指を同時接触させた触覚画像を画像処理して得られる接触データと、予め記憶しておいたキーの配列データに基づき、片手５指それぞれに１個または複数個を割り当てたキーの分布位置を定めて設定しておく事により、入力装置の指を接触させてキーの入力操作をする面に入力手に適合した仮想キーを配列するものである。
【０００８】
本発明の請求項２に係る仮想キーの配列方法は、入力装置に具備する片手５指の接触の分布を感知できる触覚センサ等に、片手の指１本または複数本を接触させてキーの入力操作を行うものとし、触覚センサ等に指が接触した電気信号を信号処理して指の接触した分布位置を検知する手段に、前記触覚センサ等に片手５指を同時接触させた触覚画像を画像処理して得られる接触データと、予め記憶しておいたキーの配列データに基づき、片手５指それぞれに１個または複数個を割り当てたキーの分布位置を定めて設定しておく事により、入力装置の指を接触させてキーの入力操作をする面に入力手に適合した仮想キーを配列するものである。
【０００９】
本発明の請求項３に係る入力装置の入力部は、片手の指１本または複数本を接触させてキーの入力操作をする入力部を、片手５指の接触の分布を感知できる触覚センサ等とし、請求項１または請求項２に記載の処理を行う回路を具備する処理部と着脱が可能なケーブル等によって接続する事により、携帯に優れた仮想キーの配列によって入力操作を行う入力部とするものである。
【００１０】
【発明の実施の形態】
前提技術。
本発明に先立って、特願２００１−３５１３５８において片手入力装置を提示した。図１はその片手入力装置を示す斜視図である。
片手入力装置２１には、コンピュータのキーボードとしての１４個のキーが次の様に配列されている。左手５指の指先が自然に接する位置を、それぞれの指のホームポジションキーとしている。図１においては、キー１が親指、キー２が人差指、キー３が中指、キー４が薬指、キー５が小指のホームポジションキーである。
【００１１】
各指にはそれぞれのホームポジションキーからの移動方向を定めて、更に１方向に付き１個のキーを配列している。親指には、第１関節を開く方向にキー１１と閉じる方向にキー１２を、人差指は、中指に対して反対側ヘ広げる方向にＤｅｌｅｔｅキー６と指を伸ばす方向にＡｌｔキー７を、中指は、指を伸ばす方向にＳｈｉｆｔキー８と折り曲げる方向にＥｓｃキー１４を、薬指は、指を伸ばす方向にＣｔｒｌキー９と中指に対して反対側ヘ広げる方向にＮｕｍ  Ｌｏｃｋキー１０を、小指は、薬指に対して反対側ヘ広げる方向にＢａｃｋ  Ｓｐａｃｅキー１３をそれぞれ配列している。
【００１２】
親指に割り当てられた３個のキーと他の指のホームポジションキーは、単独または５個までの同時入力によってキーコードを入力する為のキーであり、親指に割り当てられた３個のキーは、何れも他の指のホームポジションキーとの組み合わせ入力を可能としたキー配列となっている。
本発明の仮想キーの配列による入力装置は、キーボタンおよびキー表示の為の表示器を具備せず、上記の例のようなキーを、キーの入力操作をする面に入力手に適合させて仮想的に配列するものである。（以降、キーの入力操作をする面に仮想的に配列したキーを「仮想キー配列」と称する。）その事により、キー位置に合わせたポジショニングが必要ないキー配列となり、片手の指の組合せによるキーの入力操作を容易なものとするものである。更には、視覚障害者の入力操作においてバリアフリー化を図るものである。
【００１３】
以下に、本発明の実施形態を図に基づいて説明する。本発明は、左右兼用の片手入力装置であるが、以下の説明においては左手入力を例としている。また、仮想キーの配列と定義付は様々に行う事が出来るものであるが、説明においては、図１に示した片手入力装置２１のキー配列を、或は左手５指のホームポジションキーだけのキー配列を例示しながら行う。
【００１４】
図２は、本発明の仮想キー配列による入力装置の斜視図である。仮想キー配列入力装置３１は、キーの入力操作を行う入力部と、プログラム処理を行う処理部によって構成されており、入力部には、センサ３２と入力モードスイッチ３３が具備されている。処理部は、プログラム処理する為の処理回路および記憶装置からなり、仮想キー配列入力装置３１の筐体内に具備されている。或は、プログラムを記憶媒体等によって提供することによってプログラム処理を出力先機器等の処理回路で行うものとし、処理部を具備しないものである。図２の仮想キー配列入力装置３１は、処理部を具備しないものとし、図示していない着脱可能なケーブル等によって出力先機器等と接続する事によって、センサ３２と入力モードスイッチ３３による入力部を携帯が可能な入力装置とするものである。
【００１５】
センサ３２は、触覚センサ等とするものであり、入力操作の為に指を接触させる接触面３４を有している。接触面３４に片手の指１本または複数本を接触させた時、指の接触した分布を感知できる構造としたものである。接触面３４の大きさは、片手５指の指先が自然な形態で同時に接触でき、更に図１に示す片手入力装置２１のキー配列においては、指先を移動させて接触させることが出来るものである。図２の仮想キー配列入力装置３１は、センサ３２をマトリックス型触覚センサとし、接触情報をアナログ波形信号として出力するものである。
【００１６】
入力モードスイッチ３３は、入力手を宛がうとＯＮとなり、離すとＯＦＦとなるスイッチ構造となっている。図２の仮想キー配列入力装置３１では、手首を宛がってレスト兼用となるものとしている。入力モードスイッチ３３がＯＮとなれば、後記するプログラムが起動する。ＯＦＦとなればプログラムを終了し、センサ３２からの接触情報を取り込まないものとしている。
【００１７】
入力モードスイッチ３３のＯＮによって起動するプログラムは、２組の工程から構成されている。仮想キー配列を設定する工程と、仮想キー配列に基づいて入力されたキーの判断をする工程の２組である。（以降、前記の工程を「仮想キー設定工程」、後記の工程を「入力キー判断工程」と称する。）
【００１８】
以上の様に構成された仮想キー配列入力装置３１の入力操作とプログラム処理の流れは、次のように行われる。
入力手を宛がって初めて入力モードスイッチ３３がＯＮとなれば、プログラムの仮想キー設定工程が起動する。仮想キー配列を設定する為に、入力モードスイッチ３３をＯＮにしたまま片手５指の指先を自然な形態で接触面３４に同時接触させる操作を１回だけ行う。（以降、この操作を「仮想キー設定操作」と称する。）仮想キー設定操作の接触情報は、電気信号を前処理して触覚画像にし、触覚画像としたものを画像処理して５指の接触した分布をデータ化する。そのデータと予め記憶しているキー配列のデータに基づき、接触面３４への各指の接触位置が各指に割り当てられたホームポジションキーの仮想キーの位置となるように、入力キー判断工程の指の接触した分布位置を検知する手段にキーを設定する。（以降、予め記憶しているキー配列のデータを「基準キー配列」と称する。）入力キー判断工程にキーが設定されると仮想キー設定工程は終了し、入力キー判断工程に移行する。
【００１９】
入力キー判断工程に移行してから、片手の指１本または複数本による接触面３４への入力操作を行えば（以降、この入力操作を「キー入力操作」と称する。）、接触情報を処理して指の接触した分布位置を検知し、検知した分布位置と手段に設定したキーとにより入力キーの判断を行うものである。
仮想キー設定工程は、入力モードスイッチ３３のＯＮ後１回だけ実行され、入力キー判断工程の処理は、入力モードスイッチ３３がＯＦＦとなるまで、キー入力操作ごとに繰返して実行される。
【００２０】
本発明は、片手の指１本または複数本が接触面３４に接触するごとに接触情報をプログラム処理して、入力キーの判断をするものである。その事からセンサ３２は、指の接触によるスイッチ機能を有するか、または、プログラム内で接触情報によって接触と非接触を判断するスイッチ機能を有するものとなっている。指が接触している時にスイッチはＯＮとなり、ＯＮの時の接触情報のみをプログラムが処理するものである。
片手の複数指を同時に接触面３４に接触させるには、時間差が生じ易い。しかし、同時に離す時にはその差も微少である事から、接触情報をキー情報として確定するのは、接触面３４から全ての指の接触が絶たれる時の若干遡ったデータを確定キー情報とする事が好ましい。
【００２１】
以上に説明したように本発明は、図２の仮想キー配列入力装置３１の接触面３４に指を接触させた触覚センサ等の接触情報を、２組の工程によるプログラム処理によって、入力手に適合した仮想キー配列による入力装置とするものである。その事により、片手の指１本または複数本の組み合わせによる入力操作を容易なものとさせるものである。
以下に、プログラム処理について説明する。説明に使用する画像は、データとして処理されるものであり、表示を必要としていない。更に、基準キー配列は、仮想キー配列の設定に必要なデータとしたものである。
【００２２】
はじめに、仮想キー設定工程について説明する。
仮想キー配列は、入力キー判断工程の指の接触した分布位置を検知する手段に、キーの入力を判断する分布位置を定めてキーに設定する事により、仮想キー配列入力装置３１の接触面３４にキーを仮想的に配列するものである。後記するが、入力キー判断工程における指の接触した分布位置を検知する手段は、数多くある。しかし、それぞれの分布位置を検知する手段におけるキーの設定は、仮想キー設定操作の接触情報を画像処理して得られる５指の接触した分布のデータと、それぞれの分布位置を検知する手段の基準キー配列のデータに基づいて行う。以下の仮想キー設定工程の説明は、仮想キー設定操作のデータを得る為の説明と、そのデータと基準キー配列に基づき、キーを設定する為のデータを作成する説明である。それぞれの分布位置を検知する手段におけるキーの設定方法は、後記する入力キー判断工程のそれぞれの説明の中において行う。
【００２３】
仮想キー配列を入力手および入力開始時点ごとに異なる指の接触位置に適合させて設定するには、仮想キー設定操作のデータと基準キー配列のデータによって、次のような処理が必要となる。入力手の、左右による処理、大小による処理、軸の傾きによる処理、更に、指ごとの接触位置による処理である。これらの処理は、キーの配列数あるいは割付方法によっては必要としないものもある。
【００２４】
図３は、仮想キー設定操作の接触情報を、座標によってデータ化する説明図である。仮想キー設定操作の接触情報は、片手５指が接触面３４に接触した部分の画素値が１、非接触面の画素値が０となる２値画像としての触覚画像に前処理を行っておく。２値化処理された触覚画像は、画像処理技術の連結法によって指の接触した面ごとに連結図形化する。図３の連結画像４１は、前記の処理を行った画像であり、片手５指の接触面を連結図形４２ａ〜４２ｅの平行斜線による実線に囲われた閉領域として表している。各連結図形４２ａ〜４２ｅに外接長方形４３ａ〜４３ｅを作成し、各外接長方形４３ａ〜４３ｅにはそれぞれの中心点４４ａ〜４４ｅを作成する。
【００２５】
連結画像４１に座標軸を設定することにより、連結図形４２ａ〜４２ｅ、外接長方形４３ａ〜４３ｅ、中心点４４ａ〜４４ｅは、座標データとすることができる。図３は、左手入力を例としたものであり、連結図形４２ａを親指、４２ｂを人差指、４２ｃを中指、４２ｄを薬指、４２ｅを小指によるものとしている。また、連結画像４１の下辺をｘ軸、左辺をｙ軸としている。
前記した仮想キー配列を入力手に適合させる各処理は、図３に示すデータを得ることにより、以下のように行うことが出来る。
【００２６】
仮想キー配列を入力手の左右に適合させる処理は、図３のデータから特徴を抽出することによって行う。自然な形態で片手５指を接触面３４に接触させた時、隣り合う指同志の間隔に差が生じる。或は、指の種類によって接触した面の形状が異なる。それらの特徴から、入力手の左右判別が行える。図３における例としては、親指と人差指の間隔は小指と薬指の間隔よりも大きい事から、両端とその隣の中心点４４ａと４４ｂ、４４ｅと４４ｄの間隔の大小によって左右の判別を行う。或は、親指の接触した面は小指の接触した面よりも大きい事から、両端の外接長方形４３ａと４３ｅを比較して、面積の大小によって左右の判別を行うこともできる。
【００２７】
入力手の左右判別に基づいて次の処理を行う。基準キー配列が左右別々のもので２組準備されている場合には、判別された側の基準キー配列を仮想キー配列の設定に使用するデータとする。左右どちらか一方の基準キー配列しか準備されていない場合には、同じ側と判別された時にはそのままの基準キー配列を、異なる側と判別された時には基準キー配列の左右反転処理を行ったものを仮想キー配列の設定に使用するデータとする。
【００２８】
仮想キー配列を入力手の大小に適合させる処理は、図３のデータから、指の接触した位置間の距離あるいは領域の面積を検出して行う。自然な形態で片手５指を接触面３４に接触させた時、指の接触した位置間の距離および接触面積は、入力手の大小に比例しやすい。その事から、接触位置間の距離あるいは接触領域の面積を検出し、検出した値によって基準キー配列の拡大または縮小率を算出し、算出した率によって基準キー配列を拡大または縮小処理するものである。
【００２９】
図３における例の距離の検出は、中心点４４ａ〜４４ｅの何れか２点間の距離によって行う。好ましくは、接触面３４に片手５指を接触させた時、中指と薬指の関係において同サイズでは間隔が安定し易く、サイズが異なる場合には差が生じることから、中心点４４ｃと４４ｄを使用すると良い。面積の検出は、指定した指１本あるいは複数本による外接長方形４３ａ〜４３ｅによって、あるいは連結図形４２ａ〜４２ｅの画素数によって行うことができる。
拡大あるいは縮小率の算出は、基準キー配列に同様にして求めておいたデータとの比率によって行う。算出した比率によって基準キー配列を拡大あるいは縮小処理し、入力手の大小に応じた仮想キー配列とするものである。
【００３０】
仮想キー配列を入力開始時点ごとに異なる手の軸方向に適合させる処理は、図３のデータから手の軸方向を検出して行う。自然な形態で片手５指を接触面３４に接触させた時、手の軸方向は、２本の指の接触位置を通過する直線によって定める事が出来る。その直線の方向に、同様にして定めておいた基準キー配列の軸方向が同じ方向となる様に、基準キー配列を回転処理して適合させるものである。図３における例としては、中心点４４ａ〜４４ｅの何れか２点を通過する直線がどちらかの座標軸と交わる角度を検出する。角度検出に使用する２点は、手の軸方向として人差指と薬指の関係が安定的であり、中心点４４ｂと４４ｄにするのが好ましい。基準キー配列にも同様の角度を求めておく。２つの角度の差を回転角度とし、基準キー配列の回転処理をする。
【００３１】
同じ入力手であっても指の種類によっては、仮想キー設定操作ごとに隣の指との接触位置の間隔が異なり易い。仮想キー配列をそれらの位置に適合させる処理は、図３のデータから各指の接触位置を検出して行う。検出した各指の接触位置に、基準キー配列の各ホームポジションキーの位置をそれぞれ一致させるように、基準キー配列の移動処理をするものである。その際、図１の片手入力装置２１に示すキー配列の例のように、１本の指に複数個のキーが割り当てられている場合には、基準キー配列の各キーのデータは、割り当てられた指ごとに関連付けて移動処理を行う。図３における例としては、各指の検出した接触位置を中心点４４ａ〜４４ｅとし、基準キー配列にも各指のホームポジションキーに同様の中心点を設けておく。基準キー配列の各中心点を、図３の中心点４４ａ〜４４ｅのそれぞれ該当する位置へ一致させる様に、関連するデータごとに移動させて処理するものである。
【００３２】
以上の入力手に適合させて仮想キー配列を設定する処理に関する説明は、キーの配列数等による必要に応じて、個別に処理を行う場合の例である。
次に示すアフィン変換の方法によれば、手の軸の傾きと指ごとの接触位置による処理を同時に行うことが出来る。例えば、基準キー配列のデータに各ホームポジションキーの中心点を図３と同様に設定しておく。図３の中心点４４ａ〜４４ｅに、基準キー配列の中心点をそれぞれ一致させるように基準キー配列全体を最小２乗法でアフィン変換して、仮想キー配列の設定を行うものである。
【００３３】
次に示す例は、キー配列をホームポジションキーだけとした場合であり、入力手の左右判別による処理以外を必要としないものである。更には、キーの割付を５枝択一の階層式等にして選択方向を固定化した場合には、左右判別による処理も必要しないものとなる。（参照、図６。）
仮想キー設定操作の接触情報を、図３に示す連結図形４２ａ〜４２ｅを有する連結画像４１となる様に処理する。入力手の左右判別による処理が必要な場合には、両端の連結図形４２ａと４２ｅの画素数の大小で入力手の左右判別を行えばよい。連結図形４２ａ〜４２ｅの画素値を０、その他の画素値が１となる様に連結画像４１をネガ化して、画素値が０の領域をキーとして設定するものである。
【００３４】
仮想キー設定工程は、入力モードスイッチ３３のＯＮ後１回だけ実行されると前記した。仮想キー設定操作は片手５指の同時接触によるものであり、この接触による操作は、後記する入力キー判断工程においても行う事が出来る。この事から、連続したキー入力操作中において指の接触位置が徐々にずれる可能性の問題解消を、次の様にして図る事も出来る。
入力キー判断工程において５指の同時接触を感知した場合に、仮想キー設定工程を起動させて入力キー判断工程と平行してその接触情報を処理し、記憶しているキー配列の設定の書換えを行うとするものである。
【００３５】
以上が、仮想キー設定工程の説明である。以上に説明した処理によって、後記する入力キー判断工程の画像処理または信号処理をして指の接触した分布位置を検知する手段にキーを設定する事により、入力手に適合した仮想キーの配列ができる。入力キー判断工程の手段に設定されたキー配列は、入力モードスイッチ３３がＯＦＦとなるまで記憶される。
【００３６】
入力キー判断工程について説明する。
本発明は、触覚センサ等に接触した指の分布位置を、触覚画像を画像処理あるいは電気信号を信号処理する手段によって検知するものであり、検知した指の分布位置と手段に設けたキーによって入力キーを判断するものである。触覚画像あるいは電気信号を処理して指の接触した分布位置を検知する手段は、多数あり、以下にキー配列を図示しながら数例説明する。
【００３７】
図４は、座標点によって入力キーの判断をする説明図である。図４に１４個の点で表すキー５２、５２ａ、５２ｄは、図１の片手入力装置２１のキー配列を例にしたものである。キー５２、５２ａ、５２ｄは、基準キー配列のそれぞれの位置関係のデータと、図３に示す中心点４４ａ〜４４ｅの座標に基づき、仮想キー設定工程の処理によって座標平面５１に配置している。キー５２ａは親指、キー５２ｄは薬指のホームポジションキーである。座標平面５１を仮想キー配列入力装置３１の接触面３４に対応させる事により、キー５２、５２ａ、５２ｄによって仮想キー配列を設定するものである。各キーには、それぞれに割り当てられたキーを判断する為の識別符号が付されている。
【００３８】
図４におけるキー入力操作の接触情報は、触覚画像にしたものを図３の処理と同様に画像処理して、指の接触した分布位置を座標によって検知する。図４の例は、外接長方形５３によるものとしており、親指と薬指によってそれぞれのホームポジションキーの入力が行われたものとしている。座標平面５１に配置したキーを外接長方形５３の座標によって検出し、検出したキーの識別符号によって入力キーの判断を行うものである。または、キーの座標によって外接長方形５３を検知し、入力されたキーを判断するものとしても良い。
【００３９】
図５は、キーを座標軸に関連付けた領域によって設定する例の説明図である。
図５に平行斜線で示すキー５６ａは、１本の放物線５４によって区画される開放領域であり、同様に平行斜線で示すキー５６ｂは、４本の直線５５によって区画される閉鎖領域である。それぞれの領域を区画する線は、式によって表す事の出来るものである。配列される各キーには、図５に座標点５７ａと５７ｂで示すように、座標による点を各１点設け、それぞれのキーを区画する線の式と、それぞれの座標点とを関連付ける事により、複数の識別符号を付した領域によるキーを座標軸に関連付けるものである。
【００４０】
その様に構成されるキーは、仮想キー設定工程において、図３に示す中心点４４ａ〜４４ｅの座標に基づき基準キー配列の各キーの座標点の座標を変更し、変更した座標点の座標に伴って領域を区画する線の式も変更する処理を行う。その事によって、仮想キー配列入力装置３１の接触面３４に入力手に適合した仮想キーを配列するものである。
入力キーの判断は、キー入力操作の接触情報を図３と同様に画像処理して、指の接触した分布位置を座標によって検知し、検知した座標によって識別符号を付したキーを検出する事によって行うものである。または、キーの座標によって指の接触した分布位置を検知して入力キーを判断しても良い。
【００４１】
以上に、指の接触した分布位置を検知する手段を座標によるものとした仮想キー配列を２例示したが、キーに設定する座標軸に関連付ける点または領域は、そのほかにも様々な方法で行う事が出来る。例えば、図３に示す２値画像の画素によって点または領域とするもの、或いは外接長方形によって領域とするもの、更には、点を図５に示す式の交点とすることや、座標格子によって点または領域とする事も可能である。それらの点または領域によるキーは、図４と図５に説明したのと同様の処理で、仮想キーの配列を行い、入力キーの判断が行えるものである。
【００４２】
図６は、画像変化を検知する事によって入力キーの判断をする説明図である。
２値画像５９は、仮想キー設定工程で説明した仮想キー設定操作の触覚画像をネガ化したものであり、平行斜線で示す領域の画素値を１、実線によって閉領域として示す５個のキー５８・５８ａ・５８ｄの画素値を０としている。キー配列は、左手５指のホームポジションキーだけを例としており、キー５８ａが親指、キー５８ｄが薬指のホームポジションキーである。ホームポジションキー以外のキー配列を有する場合には、図３のデータと基準キー配列のデータにより、仮想キー設定工程で説明した処理によってそれぞれの位置に画素値を０とする領域を作成してキーとする。各キーには、入力キーを判断する為の識別符号を付しておく。２値画像５９を、仮想キー配列入力装置３１の接触面３４に対応させる事により、入力手に適合させた仮想キー配列とするものである。
【００４３】
キー入力操作の接触情報は、指の接触した位置の画素値を１として２値画像５９に取り込む。図６の入力例は親指と薬指によるものとしており、キー５８ａと５８ｄに網目で示す画素値変化領域６０は、キー入力操作によって画素値が１に変化した領域を表している。キー入力操作が行われると、各キーの領域をセンシングして画像変化を検知し、画像変化を検知したキーの識別符号によって入力されたキーを判断するものである。或いは、仮想キー設定工程によって作成された２値画像とキー入力操作による２値画像との画像間差分によって、画像の変化した領域を検出して入力キーを判断しても良い。この様に、指の接触した分布位置を画像変化によって検知し、入力キーの判断を行うものである。
【００４４】
図７は、触覚画像の濃度値によって入力キーの判断をする説明図である。図中の画像６１は、センサ３２の接触情報を触覚画像とするものである。画像６１内に示す実線で囲われた閉領域と黒く塗りつぶした領域の合計１４個は、図１の片手入力装置２１のキー配列を図示している。図７の入力例は、親指と薬指のホームポジションキーの入力を行ったものとし、指の接触によって画像６１の濃度値が変化したことを濃度値変化領域６２ａと６２ｄによって表している。濃度値変化領域６２ａが親指、６２ｄが薬指によるものである。図７に示す水平方向の射影６３と垂直方向の射影６４は、画像処理技術の射影演算処理によって、画像６１の濃度値をそれぞれの方向に累積演算したものである。累積濃度値６５は、画像６１の濃度値変化領域６２ａと６２ｄの濃度値がそれぞれの方向に累積したものを表している。指の接触した分布位置の検知は、水平方向の射影６３と垂直方向の射影６４の２方向における累積濃度値６５によって行う。
【００４５】
キーの設定は、配列されたキーの数だけ水平方向の射影６３と垂直方向の射影６４それぞれ２方向に累積濃度値を検知する位置を設け、２方向の検知する位置を対としてキーにするものである。図７の例においては、キー６６ａと６６ａ´が親指、キー６６ｄと６６ｄ´が薬指のそれぞれホームポジションキーである。
入力キーの判断は、水平方向の射影６３と垂直方向の射影６４の２方向に設けられた対を成すキーにおいて、一定値以上の累積濃度値６５を検知する事によって行う。図７の入力例においては、キー６６ａと６６ａ´によって親指、キー６６ｄと６６ｄ´によって薬指のホームポジションキーの入力を判断するものである。図中の濃度値変化領域６２ａと６２ｄから水平方向と垂直方向へ示す破線は、それらの位置関係を示している。
【００４６】
その様に入力キーの判断をする為の複数のキーは、仮想キー設定工程で次の様に処理して位置の設定を行う。仮想キー設定操作による図３に示すデータと基準キー配列のデータに基づき、画像６１に各キーの指の接触位置を求める。図７の例の様にキーを点とする場合には、中心点による処理とすれば良い。求められた各キーの指の接触位置が、水平方向の射影６３と垂直方向の射影６４にそれぞれ射影される位置に、識別符号を付してキーに設定する。その事により、入力装置３１の接触面３４に入力手に適合した仮想キー配列を設定することが出来る。
【００４７】
図１の片手入力装置２１のキー配列においては、親指による３個のキーとその他の指のホームポジションキーとの同時入力が行えるものとしている。以上に説明した画像の射影演算の方法によれば、その様な場合において入力キーの判断を誤る可能性がある。例えば図７において、符号６２ａと符号２で示す位置に同時に指を接触した場合に、符号１２で示す指の接触位置のキーも入力を判断される可能性がある。（図中に、符号２と１２で示す指の接触位置のそれぞれの射影方向の位置関係を、点線によって示している。）その様な誤った判断がされる可能性のあるキー配列においては、図７に一点鎖線で示す分離線６７のように、画像６１の領域を分離して射影を行えば入力キーの誤った判断を防止できる。
【００４８】
図８は、図形による特徴を照合することによって入力キーの判断をする説明図である。図８に１４個の黒点で表す座標点７０と７０ｄは、図１の片手入力装置２１のキー配列の位置を点によって座標平面に配置したものであり、座標点７０ｄは、薬指のホームポジションキーの位置である。白丸で表す基準点７１ａと７１ｂは、１４個の座標点のそれぞれの位置を図形の特徴によって捉える為に、図形を作成する基準となる点である。各座標点７０と７０ｄによって、図８に△７１ａ・７１ｂ・７０ｄで示すように、基準点７１ａと７１ｂを２頂点とする三角形をそれぞれに作成し、作成したそれぞれの三角形に識別符号を付してキーに設定するものである。
【００４９】
図８の入力例は薬指のホームポジションキーが入力されたものとしており、入力キーの判断は、次の様に行われる。キー入力操作の接触情報から、図３の中心点の作成処理と同様にして図８に示す座標点７０ｄ´を作成する。上記と同様にして△７１ａ・７１ｂ・７０ｄ´を作成し、指の接触した分布位置の検知を三角形によって行う。指の接触した分布位置を検知する為に作成した三角形と、各キーとして設定した三角形とを照合し、最も近似するキーの三角形を検出する事によって入力キーの判断をするものである。
【００５０】
上記に説明する入力キーの判断は、三角形によって入力されたキーを個別に判断するものであるが、複数指による同時入力においては、基準点７１ａと７１ｂを２頂点とする多角形によって指の接触した分布位置を検知するものとし、多角形を照合することによって１個の図形から複数の入力キーの判断をすることも可能である。
或いは、図形の特徴を辺長および内角等によるものとし、それらの特徴を条件式にしたものをキーとする事により入力キーの判断をすることも可能である。その際、入力のブレが図９に点線で示す入力予想範囲７２のように想定される場合には、その巾を条件式に取り入れるとよい。
【００５１】
以上の様に図形の特徴によって入力キーの判断をする為に、仮想キー設定工程で次の様な処理を行っておく。図３に示す中心点４４ａ〜４４ｅと基準キー配列のデータに基づき、図８に示す座標点７０と７０ｄを座標平面に配置する。配置した各座標点と、基準点７１ａと７１ｂによって図形を作成する。基準点７１ａと７１ｂの位置はどこでもよいが、各座標点によって作成する各図形の特徴が顕著なものとなる位置に設定することが好ましく、また、それぞれの基準点は、仮想キー設定工程と入力キー判断工程では同じ位置とする。
その様に作成した複数の図形に識別符号を付してキーに設定する。或いは、それぞれの図形から辺長および内角等を算出し、算出したそれらによって識別符号を付した複数の条件式をキーに設定する。その事により、仮想キー配列入力装置３１の接触面３４に入力手に適合した仮想キー配列を設定するものである。
【００５２】
図９は、画像の特徴を照合して入力キーの判断をする説明図である。キー配列の例は、左手５指のホームポジションキーだけとしている。図中の２値画像７３は、キー入力操作の接触情報を２値化処理した画像であり、指の接触した位置の画素値を１としている。画像によって指の接触した分布位置を検知するものであり、入力例は、親指と薬指の同時入力としている。キー７４は、２値画像７３と同様に指の接触する位置の画素値を１とする２値化した画像であり、指の組み合わせによる入力パターンごとにテンプレートにしたものである。図９においては、片手５指による組み合わせパターンが３１通りあることから、その数のテンプレートに識別符号を付してキー７４としている。
キー入力操作が行われて２値画像７３が得られると、画像処理技術のテンプレートマッチングによって２値画像７３と各キー７４との照合を行い、最もマッチングするキー７４を検出する事によって、入力キーの判断をするものである。図９の例においては、図示するキー７４の上から４番目を検出し、親指と薬指のホームポジションキーの入力を判断するものである。
【００５３】
その様に入力キーの判断をする為のキー７４は、仮想キー設定工程で次の様に処理して設定する。仮想キー設定操作の接触情報から、図３に示す連結図形４２ａ〜４２ｅを有する連結画像４１を作成する。両端の連結図形４２ａと４２ｅの画素数から入力手の左右判別を行い、左右判別に基づき基準キー配列のデータによって各連結図形にラベル付を行う。それぞれのキー７４が基準キー配列のラベルの組合せとなる様に、不要な連結図形を削除したテンプレートを作成し、識別符号を付してキーに設定するものである。
キー配列が図１の片手入力装置２１のようにホームポジションキー以外にもある場合には、次の様に処理すればよい。図３に示すデータと基準キー配列のデータに基づき、キー入力操作での指の接触位置となる全ての連結図形を、仮想キー設定操作の２値画像にラベルを付して配置する。上記と同様に不要な連結図形を削除したテンプレートを作成してキーに設定する。その事により、仮想キー配列入力装置３１の接触面３４に入力手に適合した仮想キーを配列することが出来る。
【００５４】
図１０は、走査線の電圧の値によって入力キーの判断をする説明図である。走査線８１は、キー入力操作された仮想キー配列入力装置３１の接触面３４を走査して、電圧によるアナログ波形としたものであり、その一部を図示したものである。縦方向が電圧、横方向がマトリックスの位置を表している。走査線８１の波形でひときわ高くなった山の部分は、接触面３４に指が接触した事により電圧の値が高くなった事を示しており、指の接触した分布位置を接触面３４のマトリックスを走査した電気信号を信号処理する事により検知するものである。キー８２は、マトリックスの電圧の値を検知する位置であり、配列されたキーの数だけ識別符号を付して設けられている。キー入力操作が行われると、接触面３４を走査し、キー８２において電圧を検知し、一定値以上の電圧を示すキー８２を検出する事により入力キーの判断をするものである。
【００５５】
その様に入力キーの判断をする為のキー８２は、仮想キー設定工程で次の様に処理して位置の設定を行う。仮想キー設定操作の接触情報は、いったん触覚画像化して、図３に示すデータの作成をする。図３のデータと基準キー配列のデータに基づき、配列される各キーの中心点をそれぞれ１個の画素によって求める。求められた各キーの画素に対応する接触面３４のマトリックスの位置が、電圧の値を検知する位置となるように、図１０に示す電気信号の処理手段にキー８２として識別符号を付して設定する。
電気信号を信号処理して入力キーの判断をするその他の方法としては、画像処理技術のテンプレートマッチングで説明したのと同様にして、信号処理技術によるところのテンプレートを作成し、波形の特徴を照合して行うことも出来る。それらの方法により、入力装置３１の接触面３４に入力手に適合した仮想キーを配列するものである。
【００５６】
以上が、本発明の実施形態の説明である。片手５指の接触した分布を感知できる触覚センサ等を入力装置に具備し、その接触情報を画像処理あるいは信号処理して指の接触した分布位置を検知する手段に、仮想キー配列の設定操作に基づいて複数のキーを設定する事により、キーの入力操作を行う為に指を接触させる面に、視覚および触覚によるポジショニングを必要としない入力手に適合した仮想キーを配列することが出来る。また、入力部と処理部を分離する事により、仮想キーの配列による入力装置の入力部を、携帯性に優れた入力装置とすることが出来る。
【００５７】
【発明の効果】
本発明の請求項１と請求項２に係わる仮想キーの配列方法によれば、片手５指の接触した分布を感知できる触覚センサ等を具備する入力装置の指を接触させる面に、入力手に適合させて仮想キーを配列するものであり、その事によって、片手５指の組み合わせによる入力操作を容易なものとさせ、コンピュータ等のキーボードの小型化を図ることが出来る。更には、視覚および触覚によるポジショニングを必要としないものであるから、キーコードを指文字化する事により、視覚障害者に点字表示を必要としない入力装置を提供する事が出来る。
【００５８】
本発明の請求項３に係わる入力装置によれば、プログラム処理によって仮想キーを配列して入力キーの判断をする処理部と、片手５指の接触した分布を感知する触覚センサ等を具備した入力部とを分離し、ケーブル等で接続して着脱が可能なものとする事により、入力手に適合した仮想キーの配列による入力装置の入力部を、携帯性に優れた入力装置とすることが出来る。
【図面の簡単な説明】
【図１】片手入力装置を示す斜視図である。
【図２】仮想キー配列による入力装置の斜視図である。
【図３】仮想キー設定操作の接触情報を、座標によってデータ化する説明図である。
【図４】座標点によって入力キーの判断をする説明図である。
【図５】キーを座標軸に関連付けた領域によって設定する例の説明図である。
【図６】画像変化を検知する事によって入力キーの判断をする説明図である。
【図７】触覚画像の濃度値によって入力キーの判断をする説明図である。
【図８】図形による特徴を照合することによって入力キーの判断をする説明図である。
【図９】画像の特徴を照合して入力キーの判断をする説明図である。
【図１０】走査線の電圧の値によって入力キーの判断をする説明図である。
【符号の説明】
２１  片手入力装置、３１  仮想キー配列入力装置、３２  センサ、３３  入力モードスイッチ、３４  接触面、４１  連結画像、４２ａ〜４２ｅ  連結図形、４３ａ〜４３ｅ  外接長方形、４４ａ〜４４ｅ  中心点、５１  座標平面、５２・５２ａ・５２ｄ  キー、５３  外接長方形、５４  放物線、５５  直線、５６ａ・５６ｂ  キー、５７ａ・５７ｂ  座標点、５８・５８ａ・５８ｄ  キー、５９  ２値画像、６０  画素値変化領域、６１  触覚画像、６２ａ・６２ｄ  濃度値変化領域、６３  水平方向の射影、６４  垂直方向の射影、６５  累積濃度値、６６ａ・６６ａ´・６６ｄ・６６ｄ´  キー、６７  分離線、７０・７０ｄ・７０ｄ´  座標点、７１ａ・７１ｂ  基準点、７２  入力予想範囲、７３  ２値画像、７４  キー、８１  走査線、８２  キー。
【図１】
2005025489.tif 000003
【図２】
2005025489.tif 000004
【図３】
2005025489.tif 000005
【図４】
2005025489.tif 000006
【図５】
2005025489.tif 000007
【図６】
2005025489.tif 000008
【図７】
2005025489.tif 000009
【図８】
2005025489.tif 000010
【図９】
2005025489.tif 000011
【図１０】
2005025489.tif 000012