(57)【要約】      （修正有）【課題】ユーザの手を頻繁に動かさなくてすむ、非接触のタッチパッドの提供。【解決手段】非接触のタッチパッドの方法は、原画像を捕え、調整された画像を得るように原画像を調整するためにイメージセンサ１０を使用する。動画像は、調整された画像において検出される。動画像はデータベース３６に対応し、複数の分割部分に分割される。少なくとも一つの機能ブロックはデータベース３６において定められ、少なくとも一つの分割部分を含む。データベース３６は、機能ブロックのための対応するコンピュータ入力動作を定める。分割部分は、運動閾値によって運動部分であるか否かを決定される。最終的に、コンピュータ入力動作は、運動部分と関連した入力機能に関して実行され、データベース３６において定められる。【選択図】図６
2010267088.tif 000002
【特許請求の範囲】
【請求項１】
非接触のタッチパッド装置（３０）を実行する方法であって、
次のステップ：（ａ）イメージセンサ（１０）を用いた原画像の捕獲と；
（ｂ）調整された画像を得るための該原画像の調整と；
（ｃ）該調整された画像における該動画像の検出と；
（ｄ）該動画像を複数の分割部分に分割するためのデータベース（３６）の提供であって、機能ブロックが少なくとも一つの該分割部分を含むために定められるような提供、および、該データベース（３６）による該機能ブロックの対応するコンピュータ入力動作のさらなる規定と；
（ｅ）該分割部分の各々が運動閾値により運動部分であるか否かの決定と；
および（ｆ）該機能ブロックの該運動部分に対応した該対応するコンピュータ入力動作の実行と；を含む方法。
【請求項２】
前記手順（ｂ）が：（ｂ１）前記原画像の被処理サイズの調整と；（ｂ２）該原画像の色の転送と；および（ｂ３）該原画像のスペックルノイズのフィルタリングと；を含む、請求項１の方法。
【請求項３】
前記手順（ｂ２）が、２４ビットフルカラーのジェスチャ画像から８ビット・グレイ・レベル・ジェスチャ画像への前記原画像の色を転送する、請求項２の方法。
【請求項４】
前記手順（ｂ３）が画像ローパスフィルタによって前記スペックルノイズにフィルタをかける、請求項２の方法。
【請求項５】
前記動画像がジェスチャ画像である、請求項１の方法。
【請求項６】
前記手順（ｃ）が画像差異方法を用いて前記調整された画像の前記動画像を算出する、請求項１の方法。
【請求項７】
前記コンピュータ入力動作は、模倣された単一のキーと、模倣されたスライド・キーと、模倣されたトグル・キーと模倣されたホット・キーとを含む、請求項１の方法。
【請求項８】
前記イメージセンサがウェブカメラである、請求項１の方法。
【請求項９】
イメージセンサ（１０）に適用される非接触のタッチパッド装置（３０）であって：該イメージセンサ（１０）に電気的に連結されるイメージセンサ駆動ユニット（３２）と；該イメージセンサ駆動ユニット（３２）に電気的に連結される動画認識ユニット（３４）と；該動画認識ユニット（３４）に電気的に連結されるデータベース（３６）と;および、該動画認識ユニット（３４）に電気的に連結される入力装置駆動ユニット（３８）と；を含み、そこで、該イメージセンサ（１０）が原画像を捕え、該原画像が画像電気信号に変換されるように該イメージセンサ駆動ユニット（３２）に伝達され、該画像電気信号が、調整された画像の動画像を検出するため、該調整された画像として処理されるように該動画認識ユニット（３４）に伝達され；該データベース（３６）が、該動画像を複数の分割部分に分割するために提供され、機能ブロックが少なくとも一つの該分割部分を含むために定められ、該データベース（３６）が、該機能ブロックの対応するコンピュータ入力動作を定め；入力装置模倣信号が、該動画認識ユニットを該データベース（３６）と比較した後、コンピュータ・アプリケーションプログラム（４０）の対応するコンピュータ入力動作を実行するために該入力装置駆動ユニット（３８）に送信される；非接触のタッチパッド装置（３０）。
【請求項１０】
前記動画像がジェスチャ画像である、請求項９の非接触のタッチパッド装置。
【請求項１１】
前記対応するコンピュータ入力動作が、模倣された単一のキーと、模倣されたスライド・キーと、模倣されたトグル・キーと、模倣されたホット・キーとを含む、請求項９の非接触のタッチパッド装置。
【請求項１２】
前記イメージセンサがウェブカメラである、請求項９の非接触のタッチパッド装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はタッチパッド装置およびそれを作動する方法に関し、特に非接触のタッチパッド装置およびそれを作動する方法に関する。
【背景技術】
【０００２】
人間とコンピュータとの間でコンピュータ入力装置が使用され、例えば、キーボードまたはコンピュータ・マウスが最も一般的なコンピュータ入力装置である。ユーザは、ボタンをクリックし、ウインドウを上下にスクロールし、カーソルを制御してコンピュータ・マウスを作動することができる。さらにノート・パソコンにおいて、タッチパッドをコンピュータ・マウスの代わりにすることができる。しかしながら、多くのキーを使用してコンピュータ・アプリケーションプログラムが作動される場合、コンピュータ・マウスまたはタッチパッドを制御するのにしばしば彼／彼女の手を移動し、しばしばコンピュータ・マウスをクリックする（またはタッチパッドに触れる）ユーザには不便である。
【０００３】
近年、ユーザーフレンドリーなマンマシンインタフェースを提供するため、タッチ機能が携帯型装置および大きいサイズのモニタに組み込まれている。しかしながら、タッチ・インタフェースの作動領域は便利に使うにはあまりにも大きい。物理的なコンピュータ・マウスを使用する代わりにジェスチャ認識技術があるけれども、コンピュータ・アプリケーションプログラムの実行が多くのキーを含む場合には、ユーザの手を頻繁に動かさないようにするわけではない。
【発明の概要】
【０００４】
前述の不都合を改善するため、本発明は非接触のタッチパッドを作動する方法を提供する。
【０００５】
前述の不都合を改善するため、本発明は非接触のタッチパッド装置をさらに提供する。
【０００６】
前述の目的を達成するため、非接触のタッチパッドの方法は、原画像を捕え、調整された画像を得るために原画像を調整するようにイメージセンサを使用する。その後、動画像は、その調整された画像において検出される。動画像はデータベースに対応され、複数の分割部分に分割される。少なくとも一つの機能ブロックがデータベースにおいて定められ、少なくとも一つの分割部分を含む。データベースは、機能ブロックの対応するコンピュータ入力動作を定める。その後、分割部分は、運動部分が運動閾値に一致するかどうか決定される。最終的に、コンピュータ入力動作は、運動部分と関連する入力機能に関して実行され、データベースにおいて定められる。
【０００７】
前述の他の目的を達成するために、非接触のタッチパッド装置はイメージセンサに適用される。非接触のタッチパッド装置は、イメージセンサ駆動ユニット、動画像認識ユニット、データベース、および、入力装置駆動ユニットを含む。イメージセンサ駆動ユニットは電気的にイメージセンサに連結され、動画像認識ユニットは電気的にイメージセンサ駆動ユニットに連結され、データベースは電気的に動画像認識ユニットに連結され、入力装置駆動ユニットは電気的に動画像認識ユニットに連結される。そこでイメージセンサは原画像を捕え、原画像は、画像電気信号に変換されるようにイメージセンサ駆動ユニットに伝達される。その後、画像電気信号は、調整された画像において動画像を検出するため、調整された画像として処理されるように動画像認識ユニットに伝達される。データベースは、動画像を複数の分割部分に分割するために提供される。また、機能ブロックは少なくとも一つの分割部分を含むように定められ、データベースは、機能ブロックの対応するコンピュータ入力動作を定める。そこで、入力装置模倣信号は、データベースと動画像認識ユニットとを比較した後、コンピュータ・アプリケーションプログラムの対応するコンピュータ入力動作を実行するため、入力駆動ユニットに送られる。
【０００８】
前述の一般的な説明および以下の詳細な説明は例示的なものであり、請求の範囲に記載されるように本発明のさらなる説明を提供する意図を有すると理解される。本発明の他の利点および特徴は、以下の説明、図面および請求項から明瞭である。
【図面の簡単な説明】
【０００９】
新規性を有すると考えられる本発明の特徴は、特に添付の請求の範囲において記載される。本発明自体は、しかしながら、添付の図面とともに本発明の例示的な実施態様を記載する以下の本発明の詳細な説明を参照することで最もよく理解される可能性がある。そこで：
【図１】本発明の非接触のタッチパッドを作動するフローチャートである。
【図２】動態イメージ差異を利用する概略図である。
【図３】複数の分割部分の概略図である。
【図４】予測されたキーの位置の概略図である。
【図５】コンピュータ入力動作を実行するフローチャートである。
【図６】非接触のタッチパッド装置のブロック線図である。
【発明を実施するための形態】
【００１０】
非接触のタッチパッド装置およびそれを作動する方法は、ウェブカメラおよびパーソナルコンピュータのみを利用することによって完成することができる。自由領域のハンドジェスチャ運動は、コンピュータ・アプリケーションプログラムを実行するためにキーボードまたはコンピュータ・マウスを模倣することができ、コンピュータ・アプリケーションプログラムが修正される必要はない。ユーザの肌の色、服装および装飾と、環境の背景の複雑性により、非接触のマウス装置の作動は制限されない。またユーザは、特別な色またはパターンのあらゆる物体や携帯型照明装置を保持せずに、または、あらゆる特別なデータ・グローブを着用せずに手動で非接触のマウス装置を作動することができる。さらに、データベースは、異なるアプリケーションプログラムを作動するために提供される異なる主要な入力方式を定める。電子データ・グローブまたは特別な装置は、大規模なインタラクティブまたは３Ｄバーチャル・リアリティにおいてキーボードまたはコンピュータ・マウスを模倣するために適用される。しかしながら、その電子データ・グローブは、高価でありかつ様々なサイズの手に合わせるのが困難である。また、電子データ・グローブは重く、操作者の操作時間および動作を制限してしまう。
【００１１】
本発明の非接触のタッチパッドを作動するフローチャートである図１を参照する。まず、イメージセンサ（例えばウェブカメラ）は原画像を捕えるために提供される（Ｓ１０）。その後、原画像は、調整された画像を得るために調整される（Ｓ２０）。その後、動画像（例えばジェスチャ画像）は、調整された画像において検出される（Ｓ３０）。データベースは、動画像を複数の分割部分（図３に示すように）に分割するために提供される。また、機能ブロックは少なくとも一つの分割部分を含むように定められ、データベースは機能ブロックの対応するコンピュータ入力動作を定める。その後、分割部分は、運動閾値によって、運動部分であるか否かを決定される（Ｓ４０）。
【００１２】
好ましい実施態様において、分割部分の運動画素の量が運動閾値より大きい場合、言い換えれば、分割部分が運動部分と考えられる場合、その分割部分は明るい部分として設定される。これに反して、分割部分の運動画素の量が運動閾値より少ない場合、言い換えれば、分割部分が運動部分と考えられない場合、その分割部分は暗い部分として設定される。それゆえに、総運動またはわずかな運動は、誤動作の可能性を減少させるためにフィルタをかけることができる。例えば、１６０＊１２０画素を有する画像は、１９２（１６＊ １２＝１９２）分割部分に分割される；言い換えれば、各々の分割部分は１００（（１６０／１６ ）＊（１２０／１２）＝１００）画素を有する。運動閾値は５０に設定されるとみなされる。一つの分割部分の運動画素の量が運動閾値より大きい場合、分割部分は運動部分である。最終的に、コンピュータ入力動作は、運動部分と関連している入力機能に関して実行され、データベースにおいて定められる（Ｓ５０）。
【００１３】
調整された画像を得るために原画像を調整する手順は、以下のサブステップ：（１）原画像の被処理サイズの調整；（２）原画像の色の転送（例えば２４ビットのフルカラー画像から８ビットのグレイ・レベル画像への原画像の色の転送）；および（３）原画像のスペックルノイズのフィルタリングを含む。特に、原画像のスペックルノイズは、画像ローパスフィルタによってフィルタをかけることができる。データベースは、模倣された単一のキー、模倣されたスライド・キー、模倣されたトグル・キーおよび模倣されたホット・キーを含む対応するコンピュータ入力動作を定める。模倣された単一のキーは、キーの押圧および解除を模倣するために提供される。模倣されたスライド・キーは、下方への移動（負の移動）および上方への移動（正の移動）を模倣するために提供される。模倣されたトグル・キーは、模倣されたトグル・キーが一度押圧される場合にキーの押圧を保つのを模倣するために提供され、模倣されたトグル・キーがまた押圧される場合にキーの解除を模倣するために提供される。ホット・キーは、対応するコンピュータ・アプリケーションプログラムを実行するために提供される。また、データベースのコンテンツは、ユーザによって定められることができる。模倣された単一のキー、模倣されたスライド・キー、模倣されたトグル・キーおよび模倣されたスライド・キーの位置は、図３において示される割り当てられた数によって設定される。加えてキーの位置は図４において示され、キーは、五つの模倣された単一のキー（５２ａ、５２ｂ、… ５２ｅ）、二つの模倣されたスライド・キー（５４ａ、５４ｂ）、および、さらなるマウス・ブロック５６を含む。例えば、模倣された単一のキー５２ｂは、２０、２１、３６および３７の該割り当てられた数の分割部分に対応し、残りのキーは、類似した方法で設計される可能性がある。
【００１４】
手順（Ｓ３０）において、調整された画像の動画像は、画像差異法を用いて算出される。画像差異法を使用する概略図である図２を参照する。よりよい性能を得るために、三つの連続的ジェスチャ画像は、動画像を算出するために処理される。三つの連続的ジェスチャ画像はそれぞれ、現在のグレイ・レベル画像Ｉ２、現在のグレイ・レベル画像Ｉ２の前の先行するグレイ・レベル画像Ｉ１、および先行するグレイ・レベル画像Ｉ１の前のさらに先行するグレイ・レベル画像Ｉ０である。グレイ・レベル画像を２値画像へ変換するように、第一のグレイ・レベル閾値および第二のグレイ・レベル閾値は設定される。まず現在のグレイ・レベル画像Ｉ２は、第一のグレイ・レベル画像（図示せず）を得るため、先行するグレイ・レベル画像Ｉ１によって減じられる。その後、第一のグレイ・レベル画像の各々の画素の濃淡値は、第一のグレイ・レベル閾値と比較される。画素の濃淡値が第一のグレイ・レベル閾値より大きいまたは等しい場合、画素は明るい画素として設定され；これに反して、画素の濃淡値が第一のグレイ・レベル閾値より小さい場合、画素は暗い画素として設定される。それゆえに、第一の２値画像Ｉ３は、明るい画素および暗い画素で構成される。同様に、先行するグレイ・レベル画像Ｉ１は、第二のグレイ・レベル画像（図示せず）を得るためにさらに先行するグレイ・レベル画像Ｉ０によって減じられる。その後、第一のグレイ・レベル画像の各々の画素の濃淡値は、第二のグレイ・レベル閾値と比較される。画素の濃淡値が第二のグレイ・レベル閾値より大きいまたは等しい場合、画素は明るい画素として設定される；これに反して、画素の濃淡値が第二のグレイ・レベル閾値より小さい場合、画素は暗い画素として設定される。それゆえに、第二の２値画像Ｉ４は、明るい画素および暗い画素で構成される。最終的に、第三の２値画像Ｉ５を生じるため、第一の２値画像Ｉ３と第二の２値画像Ｉ４との間で論理ＡＮＤ演算は実行され、その第三の２値画像Ｉ５は、さらなる処理のための動画像である。
【００１５】
コンピュータ入力動作を実行するフローチャートである図５を参照する、すなわち、手順（Ｓ５０）を詳細に説明する。まずデータベースが読み込まれ、カウンタのループ数が設定される（Ｓ５００）。例示的な実施態様（図４に示すように）において、ループ数は（五つの単一のキー５２ａ‐５２ｅおよび二つのスライド・キー５４ａ‐５４ｂが提供されるので）７として設定される。その後、定められたキー・データが得られ（Ｓ５０２）、キー方式がチェックされる（Ｓ５０４）。そこから、七つのキー（五つの単一のキー５２ａ‐５２ｅおよび二つのスライド・キー５４ａ‐５４ｂ）の入力動作が選択されて、確認される。
【００１６】
その後、手順Ｓ１０は、模倣された単一のキーが手順（Ｓ５０４）において検出される場合キーが押圧されるか否かを決定する。これは、キーが押圧されない（運動部分が検出されない）場合、ループ数（Ｓ５４０）を確かめるためのものである。その後、ループ数は、１減じられて、割り当てられた数が１加えられ（Ｓ５４２）、手順は、ループ数がゼロより大きい場合、手順（Ｓ５０２）に戻る（ループ数がゼロである場合、手順は終わる）。キーが押圧され（運動部分が検出され）解除される場合、キー押圧コードが送信されて（Ｓ５１２）キー解除コードが送信される（Ｓ５１４）。その後、ループ数は、１減じられて、割り当てられた数が１加えられ（Ｓ５４２）、手順は、ループ数がゼロより大きい場合、手順（Ｓ５０２）に戻る（ループ数がゼロである場合、手順は終わる）。
【００１７】
その後、手順Ｓ５２０は、模倣されたスライド・キーが手順（Ｓ５０４）において検出される場合、キーが押圧されたか否かを決定する。これは、キーが押圧されない（運動部分が検出されない）場合、カウンタ（Ｓ５４０）のループ数を確かめるためのものである。その後、ループ数は、１減じられて、割り当てられた数が１加えられ（Ｓ５４２）、手順は、ループ数がゼロより大きい場合、手順（Ｓ５０２）に戻る（ループ数がゼロである場合、手順は終わる）。手順Ｓ５２２は、キーが押圧される（運動部分が検出される）場合、模倣されたスライド・キーの押圧方向を確かめる。方向が正である（上方移動である）（＊訳注１）場合、正の方向コードが送られる（Ｓ５２４）；方向が負である（下方移動である）（＊訳注１）場合、負の方向コードが送られる（Ｓ５２６）。その後、手順（Ｓ５２４）または手順（Ｓ５２６）の実行に関わらず、キー解除コードが送信される（Ｓ５２８）。その後、ループ数は、１減じられて、割り当てられた数が１加えられ（Ｓ５４２）、手順は、ループ数がゼロより大きい場合、手順（Ｓ５０２）に戻る（ループ数がゼロである場合、手順は終わる）。
【００１８】
その後、手順Ｓ５３０は、模倣されたトグル・キーが手順（Ｓ５０４）において検出される場合、キーが押圧されたか否かを決定する。キーが押圧されない（運動部分が検出されない）場合、手順Ｓ５４０はカウンタ（Ｓ５４０）のループ数を確かめる。そして、ループ数は、１減じられて、割り当てられた数が１加えられ（Ｓ５４２）、手順は、ループ数がゼロより大きい場合、手順（Ｓ５０２）に戻る（ループ数がゼロである場合、手順は終わる）。キーが押圧される（運動部分が検出される）場合、手順Ｓ５３２はキー（Ｓ５３２）のトグル状態を確かめる。トグル状態がＯｎである場合（言い換えれば、模倣されたトグル・キーが最初に押圧される場合）、キー解除コードは送信される（Ｓ５３６）；または、トグル状態がＯｆｆである場合（言い換えれば、模倣されたトグル・キーが最初に解除される場合）、キー押圧コードは送信される（Ｓ５３４）。その後、手順Ｓ５３８は、手順（Ｓ５３４）または手順（Ｓ５３６）の実行に関わらず、キーのトグル状態を逆転する（Ｓ５３８）。そして、ループ数は、１減じられて、割り当てられた数が１加えられ（Ｓ５４２）、手順は、ループ数がゼロより大きい場合、手順（Ｓ５０２）に戻る（ループ数がゼロである場合、手順は終わる）。
【００１９】
例えば、ユーザの指が模倣された単一のキー５２ａの機能ブロック上で移動する場合、機能ブロックの分割部分は、運動部分である。それゆえに、シングル・クリック機能は、手順（Ｓ５１０）から始まり実行される。
【００２０】
非接触のタッチパッド装置のブロック線図である図６を参照する。非接触のタッチパッド装置３０は、イメージセンサ１０（例えばウェブカメラ）に適用される。非接触のタッチパッド装置３０は、イメージセンサ駆動ユニット３２、動画像認識ユニット３４、データベース３６および入力装置駆動ユニット３８を含む。イメージセンサ１０は、電気的にイメージセンサ駆動ユニット３２に連結される。動画像認識ユニット３４は、電気的にイメージセンサ駆動ユニット３２、データベース３６および入力装置駆動ユニット３８に連結される。イメージセンサ１０は原画像（図示せず）を捕え、原画像は画像電気信号（図示せず）に変換されるようにイメージセンサ駆動ユニット３２に伝達される。その後、調整された画像で（ジェスチャ画像のように；図示せず）動画像を検出するために調整された画像（図示せず）として処理されるように、画像電気信号は、動画像認識ユニット３４に伝達される。データベース３６は、動画像を複数の分割部分に分割するために提供され、機能ブロックは少なくとも一つの分割部分を含むように定められる。また、データベース３６は、機能ブロックの対応するコンピュータ入力動作を定める。入力装置模倣信号（図示せず）は、動画像認識ユニット３４とデータベース３６とを比較した後、コンピュータ・アプリケーションプログラム４０の対応するコンピュータ入力動作を実行するために入力装置駆動ユニット３８に送信される。
【００２１】
原画像は、動画像認識ユニット３４によって調整された画像を得るため、以下のサブステップ：（１）原画像の被処理サイズの調整；（２）原画像の色の転送（例えば２４ビットのフルカラー画像から８ビットのグレイ・レベル画像への原画像の色の転送）；および（３）原画像のスペックルノイズのフィルタリングにより調整される。そこにおいて、原画像のスペックルノイズは、画像ローパスフィルタによってフィルタをかけることができる。データベース３６は、模倣された単一のキー、模倣されたスライド・キー、模倣されたトグル・キー、および、模倣されたホット・キーを含む対応するコンピュータ入力動作を定める。模倣された単一のキーは、キーの押圧および解除を模倣するために提供される。模倣されたスライド・キーは、下方への移動（正の移動）および上方への移動（負の移動）を模倣するために提供される。模倣されたトグル・キーは、模倣されたトグル・キーが一度押圧される場合にキーの押圧を保つのを模倣するために提供され、模倣されたトグル・キーがまた押圧される場合にキーの解除を模倣するために提供される。ホット・キーは、対応するコンピュータ・アプリケーションプログラムを実行するために提供される。それゆえに、コンピュータ入力装置２０（例えばキーボードまたはコンピュータ・マウス）のキー動作は、模倣されることができる。
【００２２】
また、データベース３６のコンテンツは、ユーザによって定められることができる。模倣された単一のキー、模倣されたスライド・キー、模倣されたトグル・キーおよび模倣されたスライド・キーの位置は、図３において示される割り当てられた数によって設定される。加えてキーの位置は図４において示され、キーは、五つの模倣された単一のキー（５２ａ、５２ｂ、… ５２ｅ）、二つの模倣されたスライド・キー（５４ａ、５４ｂ）、および、さらなるマウス・ブロック５６を含む。加えて、調整された画像の動画像は、画像差異方法を用いて算出される。
【００２３】
非接触のタッチパッド装置およびそれを作動する方法は、コンピュータ・アプリケーションプログラムを実行するために自由領域のジェスチャによってキーボードまたはコンピュータ・マウスを模倣するように、ウェブカメラおよびパーソナルコンピュータのみを利用することによって完成することができる。
【００２４】
本発明がその好ましい実施形態に関して記載されたけれども、本発明がその詳細に限定されないと理解される。様々な代替および変更は前述の説明において示唆され、従来技術の当業者により想起されるものである。したがって、すべてのそのような代替および変更は、添付の請求の範囲に記載のように本発明の範囲内に含まれる意図を有する。
【図１】
2010267088.tif 000003
【図２】
2010267088.tif 000004
【図３】
2010267088.tif 000005
【図４】
2010267088.tif 000006
【図５】
2010267088.tif 000007
【図６】
2010267088.tif 000008