(57)【要約】【課題】周辺入力機器又は装置の複雑な一体型ユーザインタフェースを使用する必要なく、電子装置又はシステムとインタフェースすることのできる仮想キーボードを提供する。【解決手段】振動変換器アレイと（１００、２１２）、この変換器アレイ（１００、２１２）の出力に接続され、出力として、前記変換器アレイ（１００、２１２）により検出された振動（１４２、２０６）の突き止められた位置に対応するデータを提供する信号プロセッサ（１２０、２１４）とを備える仮想入力装置であって、前記変換器アレイ（１００、２１２）は音発生面（１４０、２０２）に接触した状態にあり、前記音発生面（１４０、２０２）は前記変換器アレイ（１１０、２１２）により検出される前記振動（１４２、２０６）を伝えることを特徴とする。【選択図】図１
2006323823.tif 000002
【特許請求の範囲】
【請求項１】
振動変換器アレイと、
この変換器アレイの出力に接続され、出力として、前記変換器アレイにより検出された振動の突き止められた位置に対応するデータを提供する信号プロセッサと、
を備える仮想入力装置であって、
前記変換器アレイは音発生面に接触した状態にあり、前記音発生面は前記変換器アレイにより検出される前記振動を伝えることを特徴とする仮想入力装置。
【請求項２】
前記変換器アレイに対する前記音発生面上の、仮想データを表す位置へのガイドを提供するテンプレートをさらに備え、
前記振動の位置は前記テンプレートの前記仮想データの位置に対応し、前記仮想データは前記信号プロセッサの出力からのデータに対応することを特徴とする請求項１に記載の仮想入力装置。
【請求項３】
前記テンプレートはキーボードテンプレートであり、このキーボードテンプレートのキーは前記仮想データを表し、前記キーボードテンプレートは、キーボードを模倣したキー位置が記された手で扱うことが可能なシート材料、及び前記仮想入力装置を備えた電子装置からの前記音発生面上への光学投影のうちのいずれか一方を含み、前記光学投影はキーボードを模倣したキー位置を提供することを特徴とする請求項２に記載の仮想入力装置。
【請求項４】
前記テンプレートは、対話式位置登録及び自動位置登録のうちの一方又は両方を使用して前記変換器アレイに対して位置登録されることを特徴とする請求項２又は３に記載の仮想入力装置。
【請求項５】
前記変換器アレイは、互いに離間された２つ以上の変換器を含み、これらの離間された変換器は平坦な幾何学的アレイパターンを形成するように配置され、それぞれの変換器は前記平坦な幾何学的アレイパターンの異なる頂点に配置されることを特徴とする請求項１から４のいずれか１つに記載の仮想入力装置。
【請求項６】
前記信号プロセッサは、三角測量法を用いて前記変換器アレイにより検出された前記振動の位置を突き止めることを特徴とする請求項１から５のいずれか１つに記載の仮想入力装置。
【請求項７】
前記信号プロセッサはマッピング機能を含み、このマッピング機能は、前記突き止められた位置を記憶されているキー構成にマッピングし、前記キー構成はキーボードの所定のキーであり、前記振動の前記突き止められた位置は前記キーボードのキーに対応することを特徴とする請求項１から６のいずれか１つに記載の仮想入力装置。
【請求項８】
前記信号プロセッサは、前記仮想入力装置を備えた電子装置のプロセッサであり、このプロセッサは、前記変換器アレイから入力を受け取っている間、前記仮想入力装置の前記信号プロセッサとして動作することを特徴とする請求項１から７のいずれか１つに記載の仮想入力装置。
【請求項９】
前記変換器アレイは、前記仮想入力装置を備えた電子装置内に組み込まれ、前記音発生面に直接接触するように前記電子装置の外面に隣接することを特徴とする請求項１から８のいずれか１つに記載の仮想入力装置。
【請求項１０】
電子装置内に組み込まれ、この電子装置は、この電子装置の機能及び制御を提供する装置電子部品をさらに備え、
前記音発生面に接触した状態の前記変換器アレイは、データを入力している前記電子装置のユーザが発生させた音の位置を検出して、前記装置電子部品に信号を提供し、この信号は処理されて、前記ユーザが入力しているデータに対応する、前記電子装置が理解可能なデータにされることを特徴とする、請求項１から９のいずれか１つに記載の仮想入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子装置及びシステムに関する。特に、本発明は電子装置及びシステムのデータ入力及び制御入力に関する。
【背景技術】
【０００２】
近頃の消費者電子装置、特にいわゆる「個人電子装置（ＰＥＤ）」は多くの場合、装置の携帯性という特徴を示す。そして装置の携帯性は、ますます小型サイズのこのような装置に向かう一般的な動向にこれまで拍車をかけてきたが、またこれからも拍車を掛け続ける。不都合なことに、小型装置サイズでは必然的に、装置に一体化されるユーザインタフェースを実装するために利用可能な装置自体のスペースは限られる。手短かに言えば、ＰＥＤ及び関連する近頃の消費者電子装置の通常小型の筐体上でのボタン、キー、キーパッド、タッチパッド、及びサムホイールのためのスペースは限られている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
より小型の装置サイズに向けての傾向には、ＰＥＤの高まり続ける操作洗練性及び全体の装置能力に向かう動向が付随する。結果として、このような近代装置の機能豊富なパフォーマンス特徴は、市場の需要を概ね満たしているが、装置に必要なユーザ対話の数量及び複雑性に必然的に影響を与える。機能が多くなることは一般に、ユーザの選択及びユーザからの入力が多くなることを意味する。そして、各選択はユーザインタフェースにより実施されなければならない。したがって、主に一体化されたユーザインタフェースを通してのデータ入力及び／又は制御入力の形態でのユーザ対話は多くの場合、ＰＥＤ及び関連する近代消費者電子装置にとって問題である。
【０００４】
ＰＥＤとの複雑なユーザ対話に対処するための、一体化型ユーザインタフェースに対する代替としては、従来のキーボード及び／又はコンピュータマウス等があるがこれらに限定されない周辺入力機器を使用することが挙げられる。不都合なことに、このような周辺入力機器は広く使用され、一般に多くの用途で受け入れられているが、ＰＥＤにあまり適さないことが多い。特に、周辺入力機器は、装置の携帯性に大きな悪影響を及ぼし得る。たとえば、個人情報端末（ＰＤＡ）とインタフェースするためにキーボードを携帯することは場合によっては不便であったり、まったく非実用的であったりする。したがって、周辺入力機器を使用することは多くの状況において単に実行可能な代替ではない。
【０００５】
したがって、周辺入力機器又は装置の複雑な一体型ユーザインタフェースを使用する必要なく、電子装置又はシステムとインタフェースしてデータ入力及び／又は制御入力を提供する方法を有することが有利であろう。このようなデータ入力装置及び方法は、ポータブル電子装置及び／又はシステムとのインタフェースの分野での長年の問題を解消するであろう。
【課題を解決するための手段】
【０００６】
本発明に係る仮想入力装置は、振動変換器アレイと、この変換器アレイの出力に接続され、出力として、前記変換器アレイにより検出された振動の突き止められた位置に対応するデータを提供する信号プロセッサとを備える仮想入力装置であって、前記変換器アレイは音発生面に接触した状態にあり、前記音発生面は前記変換器アレイにより検出される前記振動を伝えることを特徴とするものである。
【発明を実施するための最良の形態】
【０００７】
本発明の実施形態の各種特徴は、同様の参照符号が同様の構成要素を示す添付図面と併せて解釈される以下の詳細な説明を参照することにより、より容易に理解することができる。
【０００８】
本発明の実施形態は、電子装置へのデータ入力及び／又は制御入力を容易にする。特に、実施形態は本質的に、電子装置と対話するための「仮想キーボード」を提供する。仮想キーボードを通して、電子装置のユーザは、通常のキーボード、キーパッド、又は他の同様の周辺入力機器を使用して行われる対話と同様に、装置と対話することができる。しかし、通常の入力機器と異なり、この仮想キーボードは、本発明の実施形態によれば、電子装置の携帯性に悪影響を与えない。
【０００９】
本発明のいくつかの実施形態では、仮想入力装置が提供される。仮想入力装置は本質的に、入力に関連する音響イベント（たとえば、音又は振動）を検出して位置特定することによって入力の位置を突き止める。本発明の各種実施形態では、用語「音響（的）」、「音」、及び「振動」は同じ意味を有し、本明細書において別記されない限り互換性を持って用いられる。たとえば、仮想入力装置は入力として、限定はされないが卓上や表面等の「音発生面」上を指で「軽く叩く」ことに関連する音を採用する仮想キーボードであり得る。仮想キーボードは、データ又は「キーストローク」をたとえば電子装置に入力するために使用することができる。例を続けると、キーストロークを入力するには、ユーザは音発生面上の、仮想キーボードの所望のキーに関連する所定位置を軽く叩く。仮想キーボードは、軽く叩かれたことを音響入力イベントとして検出し、イベントに対応する位置を突き止める。
【００１０】
イベントの位置を突き止めた後、仮想キーボードは、イベント位置に特定のエントリ又は入力（たとえば、キーボードのキー）を関連付け、その入力を電子装置に送る。したがって、本発明のいくつかの実施形態によれば、仮想キーボードの動作は従来のキーボード又は関連する入力装置（たとえば、マウス）を使用してのデータ入力と同様である。しかし、従来のキーボードと異なり、本発明のこれらの実施形態では、実際の物理的なキーボード又は同様の扱いにくい入力機器は必要ない。本発明による仮想キーボードの実施形態は、電子装置の携帯性又は他の特徴に悪影響を与える恐れのある、実際の、すなわち物理的な入力機器が存在しない状態で、データ入力及び／又は制御入力を電子装置に提供する。
【００１１】
図１は、本発明の一実施形態による仮想キーボード装置１００のブロック図を示す。仮想キーボード装置１００は、音響又は振動変換器１１２のアレイ１１０を備える。いくつかの実施形態では、アレイ１１０は、２つ以上の振動変換器１１２を備える。たとえば、アレイ１１０は３つの振動変換器１１２を備え得る。アレイ１１０内の各振動変換器１１２は、アレイ１１０の他の変換器１１２から離間される。たとえば、３つの変換器１１２は、集合的に平坦な三角形アレイを形成するようにアレイ１１０内に配置することができる。特に、この例では、３つの変換器１１２をそれぞれ、限定はされないが二等辺三角形及び正三角形を含む三角形の３つの頂点の異なる１つに配置することができる。さらに、３つの変換器１１２の相対位置により平面が定義される。
【００１２】
別の例では、４つの振動変換器１１２を矩形アレイ１１０に、矩形の４つの頂点のそれぞれに１つずつ配置することができる。別の例では、２つ以上の振動変換器１１２を線形アレイ１１０に配置することができる。さらに別の例では、５つの変換器１１２を、五角形アレイ１１０を形成するように配置することができる。当業者は、アレイ１１０を形成する、任意の数の二次元構成及び三次元構成の離間された変換器１１２を容易に考案することができる。このような構成はすべて、本発明の実施形態の範囲内である。
【００１３】
変換器１１２を本質的に、入力に対応する振動を検出又は感知する任意の手段とすることができる。たとえば、変換器１１２は、限定はされないが、コンデンサーマイクロホン、ダイナミックマイクロホン、クリスタル又は圧電マイクロホン、及びリボンマイクロホン等であり得る。別の例では、変換器１１２は加速度計又は関連する動作検出器であり得る。さらに別の例では、振動変換器１１２は、限定はされないが、物質面（たとえば、平板ガラス窓）の振動を遠隔検出するために使用されるレーザベースの偏向センサ等の間接検出器又は非接触型検出器であり得る。レーザ検出センサは、表面にレーザ光を照射し、レーザ光の偏向として表面の振動を検出することによって表面上の振動を測定する。
【００１４】
一般に、検出される振動又は音としては、空気中又は別の物質中を伝搬し、且つ／又は物質の表面に沿って伝搬する縦音響波及び／又は横音響波を挙げることができるがこれらに限定されない。たとえば、振動は卓上の平坦な表面（すなわち、音発生面）を軽く叩くことによって発生する音であり得る。この場合、音は平坦な表面を取り巻く空気及びテーブルの材質のうちの一方又は両方を通って伝搬する。変換器１１２は振動を検出して、電気インパルス又は電気信号等の別のエネルギー形態に変換する。当業者は振動又は音の変換器について精通している。
【００１５】
仮想キーボード装置１００は信号プロセッサ１２０をさらに備える。信号プロセッサ１２０は、個々の変換器１１２が出力又は発生した信号を集めて処理する。たとえば、信号プロセッサ１２０は変換器１１２から電気信号を受け取ることができる。いくつかの実施形態では、信号プロセッサ１２０は受け取った信号に対して増幅及びフィルタリングのうちの一方又は両方を行う。特に、信号プロセッサ１２０は受け取った信号を増幅して、処理のために信号レベルを向上させるとともに、フィルタリングして雑音及び／又は他の干渉信号の影響を除去又は低減することができる。いくつかの実施形態では、信号プロセッサ１２０は、受け取った信号をデジタル処理するデジタル信号プロセッサである。特に、デジタル信号プロセッサ１２０は、個々の変換器１１２からの信号をサンプリングしてデジタル化し、その後、デジタル化された信号にデジタル処理を施すことができる。デジタル信号処理としては、デジタルフィルタリング、デジタル信号認識及びイベントタイミング、並びにデジタル信号源特定を挙げることができるがこれらに限定されない。
【００１６】
信号プロセッサ１２０は、変換器アレイ１１０が検出した振動／音イベントの位置又は源を突き止める。特に、信号プロセッサ１２０は、各種三角測量方法及び技法の任意の１つを採用してイベント位置を突き止めることができる。たとえば、信号プロセッサ１２０は当業者に馴染みのある到着時間アルゴリズム等を採用して、イベント位置を突き止めることができる。特に、到着時間アルゴリズムは、変換器１１２のそれぞれでの振動イベントの到着時間の差を求めることを利用してイベント位置を突き止める。到着時間の差から、振動イベント源の最も可能性の高い位置を突き止めることができる。たとえば、イベント源から変換器１１２までの振動の伝搬速度に関する情報及び既知の幾何学原理によりこのような突き止めが可能になる。
【００１７】
いくつかの実施形態では、信号プロセッサ１２０の出力は、単に振動イベント源又は音のポイント又は起点の位置である。他の実施形態では、信号プロセッサ１２０はさらに、突き止めた位置を「キー」構成にマッピングする。キー構成は、可能なイベント源とキーボード装置１００の仮想キーボードのキーとの間の所定の関係である。キー構成はたとえば、信号プロセッサ１２０が利用可能なメモリに記憶することができる。したがって、位置が突き止められると、信号プロセッサ１２０はその位置を記憶されているキー構成と比較することができる。この比較から特定のキーが選択され、これによってイベント位置のキー構成へのマッピングが完了する。このような実施形態では、信号プロセッサ１２０の出力は振動源位置に対応するキーの身元である。
【００１８】
たとえば、信号プロセッサ１２０は、突き止められた振動源の位置を、クワーティ（ＱＷＥＲＴＹ）キーボードのキーであるかのように配置された枠又は矩形としてキーの位置を定義する予め規定された座標のセットと比較することができる。予め規定されている枠の１つの中にあると突き止められたイベント位置は、キー構成内の枠に対応するキーにマッピングされる。別の例では、検出されるイベントは、指をテーブルすなわち音発生面上で引きずる、又は滑らせることに対応し得る。換言すれば、イベントは、時間の経過に伴って移動する音源である。したがって、マッピングされるキー構成は、卓上の指を辿る、又は指に追従する、移動中の位置に対応する。このようなマッピングは、コンピュータマウスの動作に似ている。当業者は、広い範囲のこのようなマッピングに精通しており、これらはすべて本発明の範囲内である。
【００１９】
いくつかの実施形態では、信号プロセッサ１２０は、特化された、又は専用の信号プロセッサとして識別可能な回路を備える。特に、信号プロセッサ１２０の機能は本質的に、専用信号プロセッサの回路要素又は回路構成によって決まる。このような専用信号プロセッサは、信号処理集積回路（ＩＣ）として、又は信号処理機能を提供する特定用途向け集積回路（ＡＳＩＣ）及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）の一部として実施することができる。このような実施形態では、信号プロセッサ回路はアナログ／デジタル変換器（ＡＤＣ）を回路の一部として備えることができる。
【００２０】
他の実施形態では、信号プロセッサ１２０は、限定はされないが、汎用コンピュータ又はマイクロプロセッサ／マイクロコントローラ及びプログラマブル信号プロセッサ等のプログラマブルプロセッサによって実行されるコンピュータプログラム又はその一部を備える。こういった実施形態では、信号プロセッサ１２０の機能はコンピュータプログラムの命令によって決まる、又はコンピュータプログラムの命令に具現される。このような実施形態では、ＡＤＣはプログラマブルプロセッサの一部として提供されてもよく、又はプログラマブルプロセッサとは別個の回路であってもよい。
【００２１】
さらに他の実施形態では、信号プロセッサ１２０は、音の起点の突き止め及び信号プロセッサ１２０のキーマッピング機能に専用の離散回路として実施することができる。さらに他の実施形態では、信号プロセッサ１２０は物理的な信号プロセッサ、コンピュータプログラム、及び離散回路のうちの１つ又は複数を備えることができる。
【００２２】
実施形態に関わりなく、信号プロセッサ１２０は、仮想キーボード装置１００に関連する機能に加えて他の機能を実行することもできる。たとえば、信号プロセッサ１２０は、仮想キーボード装置１００が装備された電子装置のプロセッサであることができ、この場合、プロセッサは、仮想キーボード装置１００への入力を受け取り且つ処理している間のみ信号プロセッサ１２０として動作する。
【００２３】
いくつかの実施形態では、仮想キーボード装置１００はキーボードテンプレート１３０をさらに備える。キーボードテンプレート１３０は、仮想キーの位置へのガイド又はマップをユーザに提供する。特に、キーボードテンプレート１３０は、信号プロセッサ１２０の所定のマッピングに関連する仮想キー位置に対応する「物理的な」位置を示す又は識別することにより、仮想キーボード装置１００により装置に入力を行う際にユーザを支援する。換言すれば、テンプレート１３０は、仮想キーボード装置１００のキーマッピングの物理的な視覚表現である。したがって、キーボードテンプレート１３０は、仮想キーボード装置１００の使用に関してユーザを支援する。いくつかの実施形態では、仮想キーボード装置１００は、ユーザの判断によりキーボードテンプレート１３０ありで、又はなしで使用することができる。たとえば、ユーザは、キーボードレイアウトを学習する間のみキーボードテンプレートを採用することを選択することができる。したがって、図１でのキーボードテンプレート１３０の包含はいくつかの実施形態の単なる例示にすぎない。
【００２４】
一例では、キーボードテンプレート１３０は、音発生面１４０上（たとえば、卓上）に配置される平坦な要素である。たとえば、キーボードテンプレート１３０は、キーボードをマッピング又は模倣したキー位置が記された、又はインプリントされた材料シート又は材料フィルムである。テンプレート１３０のシートは比較的可撓性があり、限定はされないが、紙、厚紙、Ｍｙｌａｒ（登録商標）、ビニル、布、又は別の材料等を含み得る。キーボードテンプレートは、使用されていないときにはコンパクトに収納するように操ることが可能である。
【００２５】
図２Ａは、本発明の一実施形態によるインプリントシートとしての例示的なキーボードテンプレート１３０を示す。図２Ａには、仮想キーボード装置１００を採用するための手段１５０も示す。装置１００を採用するための手段１５０は一般に、例として、変換器アレイ１１０及び信号プロセッサ１２０のうちの一方又は両方を組み込んだ筐体である。いくつかの実施形態では、装置１００を採用するための手段１５０は電子装置１５０である。
【００２６】
テンプレート１３０のシートは、仮想キーボード装置１００の使用に先立って音発生面１４０上に配置される。テンプレート１３０は、ユーザがテンプレート１３０に示されるキーボードマップの特定のキーを見つけるためのガイドとして機能する。キーボードマップは、仮想キーボード装置１００の特定のキー位置に対応する。したがって、テンプレート１３０は、ユーザによる仮想キーボード装置１００の使用を容易にする。
【００２７】
別の例では、キーボードテンプレート１３０は、光学的に投影又は提示されるテンプレートである。図２Ｂは、本発明の一実施形態による例示的なキーボードテンプレートを、光学的に投影されたパターンとして示す。たとえば、仮想キーボード装置１００には、キーボードテンプレート１３０を作り出して音発生面１４０上に光学的に投影するプロジェクタ１３２を設けることができる。プロジェクタ１３２は、図２Ｂに示す実施形態等のいくつかの実施形態では、装置１００を採用するための手段１５０内に収容することができる。このような実施形態では、テンプレート１３０は本質的に、音発生面上のどこにテンプレート１３０が投影されるかによって自動的に位置登録される。投影されるテンプレート１３０の例については、Rafii他による米国特許第６，６１４，４２２号及びArnonによる米国登録特許第６，６５０，３１８号にさらに説明されている。
【００２８】
いくつかの実施形態では、テンプレート１３０の位置登録は予め決められている。テンプレートの「位置登録」は、仮想キーボード装置１００（すなわち、採用するための手段１５０）に対するテンプレート１３０の位置及び／又は向きである。このような一実施形態では、ユーザは単に、仮想キーボード装置１００の使用に先立って、採用するための手段１５０の位置により決まる所定の位置および向きでテンプレート１３０を配置するだけである。たとえば、所定の位置は、ユーザにより事前に分かっており、採用するための手段１５０の１インチ手前で、手段１５０の中心線に中心合わせされ、この中心線に対して垂直な位置であり得る。換言すれば、ユーザは、採用するための手段１５０に対してテンプレート１３０を適宜配置し配向することにより装置１００にテンプレート１３０を「位置登録」する。
【００２９】
他の実施形態では、テンプレート１３０の位置登録は、ユーザと装置１００の間の対話により決められる。特に、テンプレートの位置登録中、ユーザはテンプレート１３０の位置、向き、及びオプションとしてサイズ又はスケールに対応する位置登録ポイントを入力する。仮想キーボード装置１００は入力された位置登録ポイントを採用して、入力された位置登録ポイントに対応するようにキーボードマップを調整する。したがって、テンプレート１３０の位置登録は、所定のテンプレート位置登録に基づくのではなくユーザ入力の位置登録ポイントに基づく。
【００３０】
たとえば、テンプレート１３０を位置登録するために、ユーザは音発生面１４０の２カ所以上の位置を軽く叩き（たとえば、シートテンプレート１３０の四つ角を軽く叩き）、キーボードテンプレート１３０の位置登録ポイントを示すことができる。軽く叩く位置は仮想キーボード装置１００により突き止められる。次いで、突き止められた位置を用いて、テンプレートの位置、向き、及びサイズを含む各種テンプレートパラメータが定義される。定義されたテンプレートパラメータから、仮想キーボード装置１００が使用するマッピングがそれに従って調整される。
【００３１】
対話での位置登録は、例示的なシート形態のテンプレート１３０又は光学的に投影された形態のテンプレート１３０に適用することができる。シート形態の場合、対話での位置登録によりテンプレート１３０の位置特定が簡略化される。特に、平坦なテンプレート１３０が本質的にいずれの位置及び向きであっても、対話での位置登録によって対応することができる。たとえば、シートテンプレート１３０をユーザが望む通りに卓上に位置決めすることができる。次いで角が軽く叩かれ、仮想キーボード装置１００は、対話での位置登録を通して位置決めされたシートテンプレート１３０を認識してこれに合わせる。光学的に投影されるテンプレート１３０の場合、たとえば、投影されたテンプレートの位置、さらにはそのサイズを、対話での位置登録に基づいて調整することができる。ユーザは卓上又は面１４０上のいくつかのポイントを軽く叩き、投影されるテンプレートをどこに位置決めすべきかを示す。ユーザがポイントを示すと、投影画像がそれに従ってスケーリングされ、音発生面１４０上に配置される。対話での位置登録はさらに、ユーザ定義テンプレートを採用することを可能とする。特に、いくつかの実施形態では、入力すべき特定のデータに対応する位置登録ポイントの位置を示すことにより、仮想キーボード１００はユーザがカスタムテンプレートを定義できるようにする。
【００３２】
さらに他の実施形態では、テンプレート１３０の要素又は特徴は、自動的な、すなわち本質的に非対話のテンプレート位置登録を容易にすることができる。たとえば、テンプレートは、仮想キーボード装置１００により検出される位置タグを含むことができる。たとえば、パッシブもしくはアクティブの無線周波数（ＲＦ）タグを採用して、装置１００に対してテンプレート１３０の位置を識別することができる。光学的タグ（たとえば、光学ターゲット）及び光学的パターン認識のうちの一方又は両方を仮想キーボード１００に採用することにより、テンプレート１３０を見つけ出して位置登録することができる。こういった実施形態のいくつかでは、仮想キーボード装置１００は光学タグを検出するための光センサをさらに備える。
【００３３】
仮想キーボード装置１００のいくつかの実施形態では、変換器アレイ１１０の変換器１１２は音発生面１４０に接する。このような実施形態では、音発生面１４０は、振動が伝搬する又は伝えられる物質である。変換器１１２は、空気を通じるのとは対照的に、又は空気を通じるのに加えて音発生面１４０との接触を通して振動を拾う、又は受け取る。
【００３４】
たとえば、音発生面１４０は、テーブル又は机上であり、装置１００は３つの変換器１１２を有するアレイ１１０を採用することができる。装置１００は、変換器１１２が卓上又は表面に接触した状態で静止するようにテーブル又は机上に対して位置決めされる。３つの変換器１１２を有するアレイ１１０は、アレイ１１０のすべての変換器１１２を卓上にしっかりと接触させやすくする。卓上を軽く叩くことによって発生する音はテーブルを通して変換器１１２に伝搬する。
【００３５】
いくつかの実施形態では、アレイ１１０と卓上の接触は直接的な接触であり得る。たとえば、変換器１１２は、たとえば卓上に関して上述したように、音発生面１４０と機械的又は物理的に接触した状態であることができる。他の実施形態では、アレイ１１０と卓上の接触は間接的なものである。たとえば、変換器１１２は、音発生面１４０と機械的又は物理的に接触した状態にある介在物質又は構造要素（たとえば、変換器１１２と音発生面１４０の間のゴムパッド又はシート）と機械的に接触した状態であり得る。このような実施形態では、介在物質又は構造要素が音発生面１４０からの振動を変換器１１２に伝える役割を果たす。いくつかの実施形態では、介在物質としてエアギャップを含むことができる。
【００３６】
図３は、本発明の一実施形態による仮想キーボード１００を採用した例示的な電子装置１５０の側面図を示す。特に、図３は変換器アレイ１１０の変換器１１２により支持されて音発生面１４０上に静止した電子装置１５０を示す。したがって、変換器１１２は本質的に電子装置１５０の「脚」として機能する。このような実施形態では、変換器１１２は、好ましくは、周囲の媒質の振動ではなくユーザによる入力（たとえば、音発生面１４０を軽く叩くこと）に関連する音発生面１４０の振動を検出することができる。音発生面１４０を軽く叩くことは垂直矢印１４４により示され、これにより図３では軽く叩いた（１４４）位置から出て行く湾曲線で示される音又は振動１４２が発生する。
【００３７】
たとえば、音発生面１４０は、仮想キーボード装置１００の使用中に電子装置１５０が配置されているテーブルであり、周囲の媒質は空気であり得る。テーブルを軽く叩くと、音波１４２がテーブル並びに空気を通って伝搬することになる。変換器１１２（たとえば、電子装置１５０の脚）はテーブルに物理的に接触しているため、アレイ１１０の変換器１１２は、空気を通って伝搬する音波よりも容易にテーブルを通って伝搬している音波１４２を検出することになる。
【００３８】
いくつかの実施形態では、装置１００は、対話式入力特徴付けを採用して、音発生面１４０を使用しての「実際の」音響入力イベントを環境からのランダム雑音及び／又は外部雑音からよりよく区別することができる。このような対話式入力特徴付けは、いくつかの実施形態では「学習モード」と呼ぶことができる。対話式入力特徴付け中、装置１００は本質的に、バックグラウンドノイズから実際の音響入力イベントを認識するように「学習」する。いくつかの実施形態では、対話式入力特徴付けはテンプレート位置登録と同時に行われる。
【００３９】
たとえば、装置１００は、指で軽く叩く特徴付けを採用して、音発生面１４０を指で軽く叩くこと又は引きずることとバックグラウンドノイズとを区別するように学習することができる。このような実施形態のいくつかでは、装置１００は、音発生面１４０で１つ又は複数のサンプル入力イベント（たとえば、指で軽く叩くこと）を行うようにユーザに指示する。装置１００は１つ又は複数のイベントを受け取り記録する。記録されたイベント又はそれが変換されたものを用いて、実際の入力イベントと雑音とを区別するのを助けることができる。記録されたイベントの変換されたものとしては、限定はされないが、増幅、フィルタリング、他の信号との結合、及び当該技術分野において既知の各種分解が含まれる。たとえば、記録されたイベントと潜在的な「実際の」入力イベントとのパターン又はテンプレートマッチングを採用することができる。他の例では、１つ又は複数の信号変換及び潜在的な実際のイベントの抽出された特徴にマッチングする抽出イベントを用いて、記録されたイベントの特徴識別子を抽出することができる。離散ウェーブレット変換が、識別子の抽出に用いることのできるこのような１つの信号変換の例である。他の実施形態では、適応フィルタリング又は同様の適応信号処理を採用して、実際の入力とバックグラウンドノイズとを区別するのを助けることができる。さらに他の例では、音声認識に採用される技法等を採用することができる。
【００４０】
図４は、本発明の一実施形態による音響仮想キーボードを使用する電子装置２００のブロック図を示す。特に、データは、入力データに対応する音の起点を音響的に検出し且つ突き止める仮想キーボード２１０を使用して、電子装置２００にエンター又は入力される。たとえば、音は、ユーザが入力中のデータに対応するテーブルの特定の位置又は一連の位置を指で軽く叩く又は引きずることによって発生させることができる。入力中のデータは、限定はされないが、キー／ボタン入力又はカーソル移動等の電子装置２００に通常関連する任意の入力に対応することができる。いくつかの実施形態では、電子装置２００は音発生面上に静止されるか、又は音発生面により支持され、検出される音は音の起点から音発生面を通して装置２００に伝えられる。他の実施形態では、音は、電子装置２００及び音発生面を取り巻く空気等の媒質を通して伝えられる。
【００４１】
電子装置２００は本質的に、動作中にユーザからのデータ入力を採用する任意の電子装置であり得る。特に、電子装置２００はポータブル個人電子装置（ＰＥＤ）であり得る。電子装置２００は、仮想キーボードに加えて一体型キーボード、キーパッド、又は同様の入力手段を備えることができる。たとえば、電子装置２００は、デジタルカメラ、個人情報端末（ＰＤＡ）、オーディオ／ビジュアルシステムの遠隔制御機構、携帯電話、ビデオゲームコンソール、ポータブルビデオゲームユニット、ＭＰ３プレーヤ、ＣＤプレーヤ、又はＤＶＤプレーヤであり得る。別の例では、電子装置２００は、上述したように、このようなＰＥＤのうちの任意のもののドッキングステーションである。
【００４２】
図５Ａは、本発明の一実施形態による例示的なデジタルカメラ２００の形態の図４の電子装置２００の下から見た斜視図を示す。図５Ｂは、図５Ａに示す例示的なデジタルカメラ２００の側面図を示す。特に、図５Ｂは、テーブルとして示す音発生面２０２上に静止し、音発生面２０２により支持されている例示的なデジタルカメラ２００を示す。矢印２０４で示すように音発生面２０２を軽く叩くと、軽く叩いた（２０４）位置から出て行く湾曲線で示す音２０６が発生する。
【００４３】
図６は、本発明の一実施形態によるＰＥＤ２０８とインタフェースするための例示的なドッキングステーション２００の形態の図４の電子装置２００の斜視図を示す。図６では、携帯電話２０８が、限定ではなく例としてドッキングステーション２００とインタフェースして、又はドッキングして示される。
【００４４】
再び図４を参照すると、電子装置２００は仮想キーボード２１０を備える。仮想キーボード２１０は、音２０４の起点を音響的に検出し突き止める（図５Ｂに示す）。仮想キーボード２１０はさらに、音２０４の突き止められた起点を特定のデータ入力型にマッピングする。たとえば、仮想キーボード２１０は、音２０４の起点をキーボード２１０により定義される複数のキーのうちの特定の１つ（たとえば、クワーティキーボードの「Ｅ」キー）にマッピングすることができる。別の例では、仮想キーボード２１０は、音の起点を時間の関数として、仮想キーボード２１０により定義されるカーソルの移動にマッピングすることができる。したがって、仮想キーボード２１０は、ユーザが特定の起点で音２０４を発生させる（たとえば、図５Ｂの音発生面２０２を軽く叩く）ことによりデータを電子装置２００に入力できるようにする。
【００４５】
いくつかの実施形態では、仮想キーボード２１０は本質的に、上述した仮想キーボード装置１００と同様である。特に、仮想キーボード２１０は、音２０４を検出する変換器２１２のアレイを備える。音響変換器２１２のアレイは本質的に、装置１００に関して上述したアレイ１１０であり得る。仮想キーボード２１０は、変換器２１２が検出した音２０４の起点を解決する信号プロセッサ２１４をさらに備える。いくつかの実施形態では、信号プロセッサ２１４は本質的に、装置１００に関して上述した信号プロセッサ１２０であり得る。いくつかの実施形態では、仮想キーボード２１０は、音と特定のデータ入力の間に意図される対応性が保たれるように音をどこに発生させるかに関してユーザを支援するテンプレート２１６をさらに備えることができる。いくつかの実施形態では、テンプレート２１６は本質的に、装置１００に関して上述したテンプレート１３０であり得る。
【００４６】
再び図５Ａを参照すると、変換器２１２は、例示的なデジタルカメラ２００の底面に配置された３つの円盤形の支持体又は脚として示される。図５Ｂは、音発生面２０２として機能する卓上に接触した状態の例示的なデジタルカメラ２００の変換器脚２１２を示す。同様に、変換器２１２は、図６に示すドッキングステーション２００に配置される、すなわちドッキングステーション２００の底面（図示せず）に配置されるそれぞれの脚である。仮想キーボード２１０の出力は、ドッキングステーション２００のドッキングインタフェース（図示せず）を通して、ドッキングされたＰＥＤ（たとえば、図６では携帯電話２０８）に送られる。図６では、いくつかの実施形態においてキーボードテンプレート２１６をドッキングステーション２００から音発生面２０２上に投影することができることも破線で示している。投影されるキーボードテンプレート２１６の実施形態は、上述の、図２Ｂに示した装置１００を採用するための手段１５０のプロジェクタ１３２から投影されるテンプレート１３０の実施形態と同様である。
【００４７】
再び図４を参照すると、電子装置２００は装置電子部品２２０をさらに備える。装置電子部品２２０は装置２００の機能を提供する。装置電子部品２２０は、仮想キーボード２１０の出力として入力キーデータを受け取る。たとえば、図５Ａ及び図５Ｂに示す例示的なデジタルカメラ２００のいくつかの実施形態では、装置電子部品２２０はコントローラ２２１、撮像サブシステム２２２、メモリサブシステム２２３、インタフェースサブシステム２２４、電源サブシステム２２５、及びメモリサブシステム２２３に記憶される制御プログラム２２６を備える。コントローラ２２１は制御プログラム２２６を実行し、デジタルカメラ２００の装置電子部品２２０の各種サブシステムの動作を制御する。仮想キーボード２１０を通してユーザが入力したデータは、入力を装置電子部品２２０に提供する。
【００４８】
コントローラ２２１は、装置電子部品２２０のサブシステムの制御及び調整を提供可能な任意の種類の構成要素又は構成要素群であり得る。たとえば、コントローラ２２１はマイクロプロセッサ又はマイクロコントローラであり得る。別の方法として、コントローラ２２１はＡＳＩＣ、又は離散構成要素の集合体としても実施することができる。コントローラ２２１は、撮像サブシステム２２２、メモリサブシステム２２３、インタフェースサブシステム２２４、及び電源サブシステム２２５とインタフェースする。いくつかの実施態様では、メモリサブシステム２２３の一部をコントローラ２２１と結合することができる。いくつかの実施形態では、仮想キーボード２１０は別個のサブシステムとして実施され、その出力がコントローラ２２１とインタフェースする。他の実施形態では、仮想キーボード２１０は、コントローラ２２１により実行される制御プログラム２２６の一部として部分的に実施される（たとえば、信号プロセッサ２１４は制御プログラム２２６の機能である）。
【００４９】
撮像サブシステム２２２は、光学系及び画像感知／記録部又は回路を備える。感知／記録部は電荷結合素子（ＣＣＤ）アレイを備えることができる。例示的なカメラ２００の動作中、光学系は光学画像を撮像サブシステム２２２の画像感知／記録部の画像面上に投影する。光学系は、可変フォーカス及び固定フォーカスのいずれか、並びに光学ズーム（すなわち、可変光学倍率）機能を提供することができる。光学画像は合焦されると、撮像サブシステム２２２の画像感知／記録部によって取り込まれ、且つデジタル化される。デジタル化によりデジタル画像が生成される。コントローラ２２１は、撮像サブシステム２２２の画像取り込み機能、合焦機能、及びズーム機能を制御する。コントローラ２２１が画像取り込み動作を開始すると、撮像サブシステム２２２は画像をデジタル化して記録する。次いで、デジタル画像はメモリサブシステム２２３に転送されて記憶される。
【００５０】
メモリサブシステム２２３は、デジタル画像を記憶するとともに、制御プログラム２２６を記憶するためのコンピュータメモリを備える。いくつかの実施形態では、メモリサブシステム２２３は読み取り専用メモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）の組み合わせを備える。ＲＯＭは制御プログラム２２６の記憶に使用され、ＲＡＭは撮像サブシステム２２２からデジタル画像を記憶するために使用される。メモリサブシステム２２３は、制御プログラム２２６に加えて、画像のディレクトリ及び／又は記憶されているコンピュータプログラムのディレクトリを記憶することもできる。いくつかの実施形態では、仮想キーボード２１０の一部はメモリサブシステム２２３に記憶される。たとえば、仮想キーボード２１０が使用するキーボードマップをメモリサブシステム２２３に記憶することができる。
【００５１】
インタフェースサブシステム２２４は、ユーザがコントローラ２２１により実行される制御プログラム２２６と対話し、それによって例示的なデジタルカメラ２００のユーザ始動制御に影響を与えるために使用するボタンを備える。たとえば、ボタンは、ユーザが録画（すなわち、「写真撮影」）を開始できるようにすることができる。別のボタンはオン／オフスイッチとして機能することができ、カメラの電源をオン又はオフできるようにする。さらに、ボタンは「矢印」キーとして機能して、値を増分して制御できるようにしたり、又はユーザがメニューをナビゲートして選択を行えるようにすることができる。当業者は、デジタルカメラにユーザインタフェースを提供するために使用されるボタンに精通している。
【００５２】
インタフェースサブシステム２２４は画像ディスプレイをさらに備える。画像ディスプレイは、ユーザがメモリサブシステム２２３に記憶されているデジタル画像を閲覧できるようにする。さらに、画像ディスプレイは、撮像サブシステム２２２の画像感知／記録部に入射した画像の「リアルタイム」ビューを提供することができる。画像の閲覧に加えて、画像ディスプレイは、ユーザが本発明の各種実施形態に関して各種動作モードを選択できるようにするメニューを表示する手段を提供する。さらに、画像ディスプレイは、ユーザがメモリサブシステム２２３の内容を閲覧し操作できるようにするディレクトリを提供する。画像ディスプレイは通常、液晶（ＬＣＤ）ディスプレイ又はデジタル画像の表示に有用な同様のディスプレイである。
【００５３】
いくつかの実施形態では、仮想キーボード２１０は、ボタンがサポートする機能にアクセスして制御プログラム２２６と対話するための代替手段を提供する。換言すれば、仮想キーボード２１０は、インタフェースサブシステム２２４のボタンが提供する機能のうちのいくつか又はすべてを実施することができる。いくつかの実施形態では、仮想キーボード２１０は、インタフェースサブシステム２２４のボタンが提供する機能を拡張する又は超えるデータ入力のための追加機能を導入する手段を提供する。たとえば、仮想キーボード２１０は、インタフェースサブシステム２２４の物理的なボタンには存在しないクワーティキーボード形態の入力を提供することができる。
【００５４】
電源サブシステム２２５は電源、モニタ、及びバッテリを備える。電源は、ＡＣアダプタポートに接続される入力、及び例示的なデジタルカメラ２００の残りの部分に電源を供給する出力を有する。さらに、電源はバッテリへの接続を有する。電源は、この接続を用いてバッテリから電力を取り出し、又はバッテリに電力を供給することができる。
【００５５】
制御プログラム２２６は、コントローラ２２１により実行されたときに、上述した各種制御機能を実施する命令を含む制御部を備える。制御プログラム２２６は、コントローラ２２１により実行されたときに、仮想キーボード２１０の変換器２１２により検出された音の位置を特定のデータタイプ、たとえば仮想キーボード２１０の対応するキーを表すデータへの変換を実施する命令を含む仮想キーボード部をさらに備える。いくつかの実施形態では、命令は、音発生面２０２を指で軽く叩く又は指を引きずることによって発生する音の位置を突き止めることをさらに実施する。たとえば、この突き止めでは、音響変換器２１２のアレイからのデータを採用して、到着時間差アルゴリズムを用いて、発生した音の起点を三角測量することができる。いくつかの実施形態では、命令は信号プロセッサ２１４により突き止められた位置を用いる。命令は、突き止められた音の位置の、データ入力へのマッピングをさらに実施する。たとえば、マッピングは、突き止められた位置を、音発生面２０２上の特定の位置に関連するデータの予め規定されたマップと比較することができる。この比較に基づいて、特定の入力が、関連するデータ（たとえば、予め規定されるマップは、音発生面上に配置された一連の枠として表されるクワーティキーボードのキーに対応することができる）から選択される。選択された入力又は「キー」は、命令の実行により生成されたデータ入力である。
【００５６】
図７は、本発明の一実施形態による音響仮想キーボードを使用するポータブル電子装置のデータ入力方法３００のフローチャートを示す。データ入力方法３００は、電子装置への入力又はデータ入力を表す音又は振動を発生させること（３１０）を含む。本明細書では、用語「音」は、別記しない限り雑音及び振動のうちの一方又は両方を意味するために用いられる。いくつかの実施形態では、音は、限定はされないが、テーブル、デスク、又はカウンタ等の音発生面を用いて発生させられる（３１０）。音発生面を用いるいくつかの実施形態では、ポータブル電子装置は、音発生面に接触しているか、又は音発生面により支持される。たとえば、音を発生させること（３１０）は音発生面を軽く叩くことを含み得る。別の例では、発生させること（３１０）は、音発生面で指を引きずることを含み得る。音発生面は、軽く叩かれる、又はその他の方法で触れられると振動し、且つ／又は雑音を発する。音は軽く叩いた、又は触れた位置の起点からたとえば波のように出て行き、電子装置の音感知手段により検出される。いくつかの実施形態では、音は、起点からポータブル電子装置に音発生面内、音発生面を通って、又は音発生面に沿って伝搬する。他の実施形態では、音は音発生面に隣接する空気を通って伝わる。
【００５７】
データ入力方法３００は、発生させられた（３１０）音の位置すなわち起点を突き止めること（３２０）をさらに含む。いくつかの実施形態では、起点は、仮想キーボードの変換器アレイ等の音感知手段を用いて突き止められる（３２０）。特に、変換器アレイを採用して、発生させられた（３１０）音の起点を三角測量する。たとえば、到着時間差アルゴリズムを採用して、アレイ内の変換器の既知の位置に基づいて位置を三角測量して突き止める（３２０）ことができる。
【００５８】
データ入力方法３００は、突き止められた（３２０）起点をデータ入力にマッピングすること（３３０）をさらに含む。特に、マッピングすること（３３０）は、突き止められた（３２０）起点を特定の位置に関連するデータの予め規定されたマップと比較することを含む。この比較に基づいて、特定の入力が関連するデータから選択される。たとえば、予め規定されるマップは、音発生面上に配置されているかのような一連の枠として表されるクワーティキーボードのキーに対応することができる。この例では、データは、クワーティキーボード内のキーに関連するキー値である。マッピング（３３０）では、音の突き止められた（３２０）起点を、音発生面上に仮想的に配置された一連の枠と比較し、突き止められた（３２０）位置に対応するキーを選択する。選択されたキーは、方法３００により生成されるデータ入力である。
【００５９】
いくつかの実施形態では、方法３００は、予め規定されたデータ入力マップ内の特定の位置に対応する起点で音を発生させる（３１０）ことを支援するテンプレートを採用することをさらに含む。このような実施形態では、方法３００はオプションとして、テンプレートを位置登録することをさらに含む。テンプレート、その使用法、及び位置登録に関してのさらなる詳細については、仮想キーボード装置１００に関して上述している。
【００６０】
いくつかの実施形態では、電子装置２００の制御プログラム２２６は方法３００の一部を実施する。特に、いくつかの実施形態では、制御プログラム２２６の仮想キーボード部は、音位置を突き止めること（３２０）及び音位置をデータ入力にマッピングすること（３３０）を実施する。
【００６１】
いくつかの実施形態では、変換器アレイ１１０、２１２を、仮想キーボード１００、２１０に関して上述した目的に加えて他の目的で使用することができる。たとえば、変換器アレイ２１２を、電子装置２００の指示的又は選択的に音を受け取る手段として採用することができる。指示的又は選択的な音の受け取りとしては、限定はされないが、雑音相殺及び空間フィルタリングを提供するものが含まれる。したがって、仮想キーボード２１０の変換器アレイ２１２は、入力手段に加えて、たとえば雑音相殺録音手段を電子装置２００に提供することができる。別の例では、限定はされないがデジタルカメラ２００等の電子装置２００に、仮想入力手段、及び内蔵変換器アレイ２１２により記録されている画像に関連する音を空間的にフィルタリングし録音する手段の両方を与えることができる。
【００６２】
このように、仮想キーボード装置及び電子装置と併せて仮想キーボードを使用する方法の実施形態について説明した。さらに、仮想キーボードを有する電子装置の実施形態について説明した。上記実施形態は単に、本発明の原理を表す多くの特定の実施形態のうちのいくつかの例示にすぎないことを理解されたい。明らかに、当業者は、添付の特許請求の範囲により規定される本発明の範囲から逸脱することなく多くの他の変形例を容易に考案することができる。
【図面の簡単な説明】
【００６３】
【図１】本発明の一実施形態による仮想キーボード装置のブロック図を示す。
【図２Ａ】本発明の一実施形態による例示的なキーボードテンプレートを示す仮想キーボード装置の斜視図を示す。
【図２Ｂ】本発明の一実施形態による例示的な別のキーボードテンプレートを示す仮想キーボード装置の斜視図を示す。
【図３】本発明の一実施形態による仮想キーボード装置を採用した電子装置の側面図を示す。
【図４】本発明による仮想キーボードを備えた電子装置のブロック図を示す。
【図５Ａ】本発明の一実施形態による例示的なデジタルカメラの形態の、図４の電子装置の斜視図を示す。
【図５Ｂ】図５Ａに示す例示的なデジタルカメラの側面図を示す。
【図６】本発明の一実施形態によるＰＥＤとインタフェースする例示的なドッキングステーションの形態の、図４の電子装置の斜視図を示す。
【図７】本発明の一実施形態による仮想キーボードを使用するポータブル電子装置のデータ入力方法のフローチャートを示す。
【符号の説明】
【００６４】
１００  仮想キーボード装置
１１０  アレイ
１１２  振動変換器
１２０  信号プロセッサ
１３０  テンプレート
１４０  音発生面
１５０、２００  電子装置
【図１】
2006323823.tif 000003
【図２Ａ】
2006323823.tif 000004
【図２Ｂ】
2006323823.tif 000005
【図３】
2006323823.tif 000006
【図４】
2006323823.tif 000007
【図５Ａ】
2006323823.tif 000008
【図５Ｂ】
2006323823.tif 000009
【図６】
2006323823.tif 000010
【図７】
2006323823.tif 000011