(57)【要約】  監視ユニットは、対象物の少なくとも一部の挙動を監視する際に使用するために構成される。監視ユニットは、所定のセンシング表面に関連付けられている特定の座標系内の対象物の少なくとも一部の挙動を示す測定データを受信するように構成されたデータ入力モジュールと、前記測定データに応答し測定データを対象物の前記少なくとも一部分の近似的表現に変換し仮想座標系内に置くように構成され、かつそのように動作可能であるデジタルシグナルプロセッサであって、その変換は仮想点と対象物の前記少なくとも一部の中の対応する部分との間の位置関係を維持する、デジタルシグナルプロセッサとを備える。この技術は、前記近似的表現を特定の電子デバイスの所定のデータ入力フォーマットに整形することをさらに可能にする。
2012515966.tif 000002
【特許請求の範囲】
【請求項１】
対象物の少なくとも一部の挙動を監視するための方法であって、
(a)所定のセンシング表面に対する対象物の挙動を示す測定データを用意する段階と、
(b)前記センシング表面に対する前記対象物の挙動を示す前記測定データを処理し、それを仮想座標系内の前記挙動の近似的表現に変換する段階と、
を含み、
前記変換は、仮想点と、前記対象物の対応する部分と、の間の位置関係を維持していることを特徴とする方法。
【請求項２】
前記近似的表現を示すデータを、前記仮想座標系の遠隔位置に伝送する段階を含むことを特徴とする請求項1に記載の方法。
【請求項３】
前記測定データを、前記仮想座標系の遠隔位置に伝送し、これにより前記測定データの前記処理結果を前記遠隔位置における前記近似的表現にすることを可能にする段階を含むことを特徴とする請求項1に記載の方法。
【請求項４】
前記伝送は、IR、Bluetooth、無線周波(RF)、および音響伝達のうちの少なくとも1つを含む無線信号伝送を含むことを特徴とする請求項2または3に記載の方法。
【請求項５】
前記所定のセンシング表面は、近接センサマトリックスの表面であることを特徴とする請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記近似的表現を示すデータを、特定の電子デバイスに入力されるデータの所定のフォーマットに整形する段階を含むことを特徴とする請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記挙動を示す前記データは、前記所定のセンシング表面に対する前記対象物の前記部分の位置を含むことを特徴とする請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記挙動を示す前記データは、前記所定のセンシング表面に対する前記対象物の部分の位置の変化を含むことを特徴とする請求項1から7のいずれか一項に記載の方法。
【請求項９】
前記挙動を示す前記データは、前記所定のセンシング表面に対する前記対象物の部分の運動パターンを含むことを特徴とする請求項1から8のいずれか一項に記載の方法。
【請求項１０】
前記対象物の少なくとも一部の前記挙動を示すデータを用意する段階は、連続検出モードおよびサンプリング検出モードの一方または両方の組み合わせのいずれかを使用して前記物体の前記少なくとも一部の前記位置を検出する段階を含むことを特徴とする請求項8または9に記載の方法。
【請求項１１】
前記測定データは、三次元空間内の前記挙動を示すことを特徴とする請求項1から10のいずれか一項に記載の方法。
【請求項１２】
前記近似的表現は、前記三次元座標系内の前記対象物の前記少なくとも一部の前記挙動に対応することを特徴とする請求項1から11のいずれか一項に記載の方法。
【請求項１３】
前記変換は、前記仮想点のそれぞれと前記対象物の前記少なくとも一部の前記対応する部分のそれぞれとの間の距離を示すデータを決定する段階を含むことを特徴とする請求項1から12のいずれか一項に記載の方法。
【請求項１４】
前記対象物の前記少なくとも一部を識別し、それにより前記測定データを生成できるようにする段階を含むことを特徴とする請求項1から13のいずれか一項に記載の方法。
【請求項１５】
前記近接センサマトリックスの付近のノイズエネルギーを識別する段階と、
それに応じて前記近接センサマトリックスを操作する段階と、
を含むことを特徴とする請求項5から14のいずれか一項に記載の方法。
【請求項１６】
前記ノイズエネルギーは、周波数が前記近接センサマトリックスの動作周波数範囲内にあるか、または少なくとも部分的に重なり合うことによって識別され、
前記ノイズエネルギーを識別した後の前記近接センサマトリックスの動作は、前記近接センサマトリックスによる測定を妨げる段階または前記範囲を外れるように前記動作周波数をシフトする段階のいずれかを含むことを特徴とする請求項15に記載の方法。
【請求項１７】
前記対象物は、人体の少なくとも一部に関連付けられることを特徴とする請求項1から15のいずれか一項に記載の方法。
【請求項１８】
前記対象物は、人の少なくとも一方の手の複数の指に関連付けられることを特徴とする請求項17に記載の方法。
【請求項１９】
前記対象物は、人の手または指の少なくとも一部から所定の位置の人体の一部を含むことを特徴とする請求項17に記載の方法。
【請求項２０】
前記近似的表現は、前記対象物の前記少なくとも一部の形状を示すデータを含むことを特徴とする請求項1から19のいずれか一項に記載の方法。
【請求項２１】
前記近似的表現は、前記対象物の前記少なくとも一部に対応するパターンを示すデータを含むことを特徴とする請求項1から20のいずれか一項に記載の方法。
【請求項２２】
前記近似的表現は、前記対象物の前記少なくとも一部の色調を示すデータを含むことを特徴とする請求項1から21のいずれか一項に記載の方法。
【請求項２３】
前記近似的表現は、前記対象物の前記少なくとも一部の透明度レベルを示すデータを含むことを特徴とする請求項1から22のいずれか一項に記載の方法。
【請求項２４】
前記遠隔位置における前記座標系は、表示ユニットに関連付けられることを特徴とする請求項4から23のいずれか一項に記載のシステム。
【請求項２５】
前記測定データを用意する段階は、前記対象物の少なくとも一部の位置が前記センシング表面に対して変化する経路を示すデータを取得する段階を含むことを特徴とする請求項1から23のいずれか一項に記載の方法。
【請求項２６】
対象物の少なくとも一部の挙動を監視する際に使用するための監視ユニットであって、
所定のセンシング表面に関連付けられている特定の座標系内の前記対象物の少なくとも一部の挙動を示す測定データを受信するように構成されたデータ入力モジュールと、
前記変換が仮想点と前記対象物の前記少なくとも一部の中の対応する部分との間の位置関係を維持されるように、前記測定データに応答し前記測定データを前記対象物の少なくとも一部分の近似的表現に変換し仮想座標系内に置くように構成され、かつそのように動作可能であり、それにより前記近似的表現を特定の電子デバイスに入力されるデータの所定のフォーマットに整形することを可能にするデジタルシグナルプロセッサと、
を備えることを特徴とする監視ユニット。
【請求項２７】
対象物の挙動を監視する際に使用するためのデバイスであって、
請求項22に記載の前記監視ユニットと、
前記監視ユニットの前記入力データモジュールにリンクされ、前記センシング表面および前記特定の座標系を画定し、前記特定の座標系内の前記対象物の前記少なくとも一部の前記挙動を示す前記測定データを生成するように構成され、かつそのように動作可能である位置センサデバイスと、
を備えることを特徴とするデバイス。
【請求項２８】
前記位置センサデバイスは、接触モードと非接触モードのうちの一方またはその両方の組み合わせで前記測定データを生成することができる近接センサマトリックスを備えることを特徴とする請求項27に記載のデバイス。
【請求項２９】
前記対象物の少なくとも一部の前記表現を示すデータを前記仮想座標系の遠隔位置に伝送するように構成された送信機ユニットを備え、
前記データは、IRモード、Bluetoothモード、RFモード、および音響伝達モードのうちの少なくとも1つで伝送されることを特徴とする請求項27または28に記載のデバイス。
【請求項３０】
前記デジタルシグナルプロセッサの出力に接続可能であり、かつ、前記近似的表現を示すデータを受信し、前記データを特定の電子デバイスに入力されるデータの所定のフォーマットに変換するように構成されるとともにそのように動作可能であるフォーマッタユーティリティを備えることを特徴とする請求項27から29のいずれか一項に記載のデバイス。
【請求項３１】
前記送信機ユニットの出力に接続可能であり、かつ、前記近似的表現を示すデータを受信し、前記データを特定の電子デバイスに入力されるデータの所定のフォーマットに変換するように構成されるとともにそのように動作可能であるフォーマッタユーティリティを備えることを特徴とする請求項27から29のいずれか一項に記載のデバイス。
【請求項３２】
前記近接センサマトリックスは、前記挙動の近似的表現が適用される電子デバイスのキーパッドに関連付けられ、
前記測定データは、前記キーパッドの記号に対してユーザの指の前記挙動を示すことを特徴とする請求項28から31のいずれか一項に記載のデバイス。
【請求項３３】
対象物の挙動を監視する際に使用するためのデバイスであって、
請求項26に記載の前記監視ユニットと、
前記仮想座標系を定義するように構成されるデータ入力ユニットと、
を備え、
前記データ入力ユニットは、前記近似的表現を示すデータを受信するために前記デジタルシグナルプロセッサの出力にリンクされることを特徴とするデバイス。
【請求項３４】
前記デジタルシグナルプロセッサの前記出力と前記データ入力ユニットとの間に相互接続され、前記近似的表現を示すデータを受信し、前記データを前記データ入力ユニットに入力されるデータの所定のフォーマットに変換するように構成され、かつそのように動作可能であるフォーマッタユーティリティを備えることを特徴とする請求項33に記載のシステム。
【請求項３５】
前記センシング表面に対する前記挙動を示すとともに、IRデータ、Bluetoothデータ、RFデータ、および音響データのうちの少なくとも1つの形式である、前記測定データを受信し、前記デジタルシグナルプロセッサに入力される対応するデータを生成するように構成された信号受信機ユニットを備えることを特徴とする請求項33または34に記載のシステム。
【請求項３６】
対象物の少なくとも一部の挙動を監視するためのシステムであって、
(a)センシング表面および第1の座標系を定義し、前記特定の座標系内の前記センシング表面に対して前記対象物の少なくとも一部の前記挙動を示す測定データを生成するように構成され、かつそのように動作可能である位置センサデバイスと、
(b)第2の座標系を定義するデータ提示デバイスと、
(c)前記位置センサデバイスと前記データ提示デバイスとの間で相互リンクされ、前記変換が仮想点と前記対象物の前記少なくとも一部の中の対応する部分との間の位置関係を維持するように、前記測定データに応答し前記測定データを前記対象物の前記少なくとも一部の近似的表現に変換し前記第2の仮想座標系内に置くように構成され、かつそのように動作可能であるデジタルシグナルプロセッサと、
を備えることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物(physical object)の挙動を監視するためのデバイスおよび方法に関するものである。
【背景技術】
【０００２】
物体の挙動を監視するためにさまざまな技術が開発されている。このような技術の一種に、適切な視野を持つ1つまたは複数の撮像装置(カメラ)を利用して物体位置における物体運動を追跡するものがある。特定の種類の監視技術としてほかに、近接センサを利用して物体の付近での物体の移動を追跡するものもある。近接センサは、接触または非接触位置センサに基づくものである場合がある(例えば、いわゆる「タッチキーパッド」では、一連のボタンが予め定義された順序で配列され、それぞれのボタンに対し予め定義された機能が付与される)。近接センサは、物体の運動に関する2Dまたは3D情報を提供することができる種類のものとすることができ、また位置検出および追跡に電気的、磁気的、光学的、音響的メカニズムを利用することもできる。
【０００３】
知られているいくつかの技術は、例えば、米国特許第5,543,588号および国際公開第07/017848号において開示されている。米国特許第5,543,588号では、2つの対向する主要面を有する薄型エンクロージャを備えるハンドヘルドコンピューティングデバイスについて説明している。ディスプレイ画面が、エンクロージャの対向する主要面のうちの第1の面に配設され、タッチセンサ式物体位置検出器入力デバイスが、エンクロージャの対向する主要面のうちの第2の面に配設される。コンピューティングデバイス回路、タッチセンサ式物体位置検出器をコンピューティングデバイス回路にインターフェイスするための回路、およびディスプレイ画面を駆動するための回路は、すべてこのエンクロージャ内に配設される。国際公開07/017848号では、少なくとも1つの物体に関する情報を決定するためのシステムについて説明している。このシステムは、容量結合を感知するセンサと、少なくとも1つの信号がセンサに入力されたときにセンサとの容量結合を生じるように適合されている少なくとも1つの物体と、少なくとも1つの物体に関連付けられている前記センサの少なくとも1つの出力信号を測定するように適合された検出器と備え、少なくとも1つの物体に関連付けられている出力信号は、物体情報コードである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第5,543,588号
【特許文献２】国際公開第07/017848号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
直接的操作方法では、人の1回のアクション(物体をタップするだけ)でディスプレイ上の任意の位置をターゲットにすることができるが、これらは、ユーザから手の届く距離にディスプレイが配置されていなければならないという点で制限される。ほとんどの場合において、ディスプレイは携帯可能である。画面が静止している(したがって、ほとんどの場合において垂直に装着されている)場合、長時間にわたって手を不自由に吊り下げたままにしているときに人間工学的問題が生じる。間接的操作には、距離に関する制限はないが、ターゲットを決める際に、最初に位置決めをし(通常はカーソルを要求された位置へドラッグすることによって)、次いでアクティブ化する(通常はタップまたはホバリングなどの予め定義されたタッチジェスチャによって)というアクションが必要になる。仮想ボタンをアクティブ化するなどの単純なアクションは、非常に遅く、自然ではない。
【０００６】
タッチまたはマルチタッチインターフェイスが標準になりつつあるが、TVがユーザから離れた場所に置かれる標準的なリビングルームの配置構成の場合のように、ディスプレイがユーザから離れた場所にあるような状況は、さまざまなマルチタッチアプリケーションの障壁となる。
【０００７】
当技術分野では、物体の位置から離れて、物体の挙動を監視するための新規性のある監視システムが必要である。このようなニーズは、以下のものに関連する。電子デバイスへのユーザデータの入力/ユーザデータによる電子デバイスの制御を、典型的にはデータ入力方式、すなわち、データ入力ユーティリティ、例えば、キーボードベースのシンボル配置構成を通じて提供されるとデバイスによって識別可能である方式で、行うことはよくある。
【０００８】
例えば、発明者らは、携帯電子デバイス(例えば、電話デバイス)の最近開発されたモデルは、携帯デバイスをテレビ受像機またはホストコンピュータの適宜装備されている接続ポートに直接接続することを可能にする現代的な機能(就中、外部インターフェイスを含む)を装備し、それらの間のデータ交換を実行することを理解している。しかし、このことは、ユーザが携帯デバイスを通じてデータ入力を実行することを妨げ、またこれによりそうするのは事実上不可能である。
【０００９】
そこで、携帯電子デバイスをホストに接続しながら携帯電子デバイスの遠隔操作を実行するか、またはリモートコントローラからあたかも前記リモートコントローラがホストに接続されているかのようにしてホストの直接操作を実行することで、この現代的な技術の使用を可能にする単純で、費用効果の高い技術を実現することが望ましい。
【課題を解決するための手段】
【００１０】
そこで、本発明は、対象物の少なくとも一部の挙動を監視するための方法を提供する。この方法により、測定データは、所定のセンシング表面(sensing surface)に対して対象物の少なくとも一部の挙動を示すものとして用意され、測定データは処理され、仮想座標系内の前記挙動の近似的表現に変換され、その際にこの変換は仮想点と対象物の対応する部分との間の位置関係を維持する。
【００１１】
前記近似的表現を示すデータは、前記仮想座標系の遠隔位置に伝送されうる。あるいは、測定データは、前記仮想座標系の遠隔位置に伝送され、これにより、測定データの前記処理結果を前記遠隔位置における前記近似的表現に変換することができる。データの伝送は、IR、Bluetooth、無線周波(RF)、および音響伝達のうちの少なくとも1つを含む無線信号伝送を含むことができる。
【００１２】
本発明のいくつかの実施形態では、位置センサデバイスのセンシング表面は、近接センサマトリックスの表面である。しかし、一般的に、センシング表面は、能動センシングユーティリティ(active sensing utility)の表面でなくてもよいが、別のセンシングユーティリティ(知られている好適なタイプの)により測定の座標系を定義するものとみなされる基準表面とすることができる。
【００１３】
この方法は、前記近似的表現を示すデータを特定の電子デバイスに入力されるデータの所定のフォーマットに整形する段階をさらに含む。
【００１４】
物体(またはその一部)の挙動を示すデータは、前記所定のセンシング表面に関する対象物の部分の位置、前記所定のセンシング表面に関する対象物の部分の位置の変化、前記所定のセンシング表面に関する対象物の部分の位置の運動パターンのうちの1つまたは複数を含むことができることに留意されたい。
【００１５】
対象物の少なくとも一部の挙動を示すデータの用意は、連続検出モードおよび/またはサンプリング検出モードを使用して物体の前記少なくとも一部の位置の検出を含むことができる。
【００１６】
好ましくは、本発明は、三次元空間内の前記挙動を示す測定データを利用する。その近似的表現は、三次元座標系内の対象物の前記少なくとも一部の挙動に対応しうる。
【００１７】
変換は、仮想点のそれぞれと対象物の前記少なくとも一部の対応する部分のそれぞれとの間の距離を示すデータ、および/または対象物の前記少なくとも一部の位置がセンシング表面に対して変化する経路を示すデータの決定を含みうる。
【００１８】
この方法は、対象物の前記少なくとも一部を識別し、それにより、測定データを選択的に生成できるようにする段階も含みうる。
【００１９】
いくつかの実施形態では、本発明は、近接センサマトリックスの付近でノイズエネルギーを識別する段階と、それに応じて近接センサマトリックスを選択的に動作させる段階も含みうる。例えば、ノイズエネルギーは、周波数が前記近接センサマトリックスの動作周波数範囲内にあるか、または少なくとも部分的に重なり合うことによって識別され、その場合、ノイズエネルギーを識別した後の近接センサマトリックスの動作は、前記近接センサマトリックスによる測定を妨げる段階または前記範囲を外れるように動作周波数をシフトする段階のいずれかを含む。
【００２０】
対象物は、人体の少なくとも一部、例えば、手および/または指および/または複数の指に関連付けることができることにも留意されたい。近似的表現は、例えば、対象物の前記少なくとも一部の形状を示すデータ、および/または対象物の前記少なくとも一部に対応するパターンを示すデータ、および/または対象物の少なくとも一部の色調を示すデータ、および/または対象物の少なくとも一部の透明度レベルを示すデータを含むことができる。
【００２１】
本発明のいくつかの用途において、遠隔位置における座標系が表示ユニットに関連付けられる。
【００２２】
本発明の他の広範な態様によれば、対象物の少なくとも一部の挙動を監視する際に使用するための監視ユニットが実現される。監視ユニットは、所定のセンシング表面に関連付けられている特定の座標系内の対象物の少なくとも一部の挙動を示す測定データを受信するように構成されたデータ入力モジュールと、前記測定データに応答し測定データを対象物の前記少なくとも一部分の近似的表現に変換し仮想座標系内に置くように構成され、かつそのように動作可能であるデジタルシグナルプロセッサであって、その変換は仮想点と対象物の前記少なくとも一部の中の対応する部分との間の位置関係を維持し、それにより前記近似的表現を特定の電子デバイスに入力されるデータの所定のフォーマットに整形することを可能にする、デジタルシグナルプロセッサと、を備える。
【００２３】
本発明のさらに他の態様によれば、これは対象物の挙動を監視する際に使用するためのデバイスを実現し、このデバイスは、上述の監視ユニットと、監視ユニットの入力データモジュールにリンクされた位置センサデバイスとを備え、前記位置センサデバイスは前記センシング表面および前記特定の座標系を画定し、前記特定の座標系内の対象物の前記少なくとも一部の挙動を示す前記測定データを生成するように構成され、かつそのように動作可能である。
【００２４】
上に示されているように、位置センサデバイスは、接触モードと非接触モードのうちの一方またはその両方の組み合わせで前記測定データを生成することができる近接センサマトリックスを備えることができる。
【００２５】
物体を監視するためのデバイスは、対象物の前記少なくとも一部の前記近似的表現を示すデータを前記仮想座標系の遠隔位置に伝送するように構成された、前記データがIRモード、Bluetoothモード、RFモード、および音響伝達モードのうちの少なくとも1つで伝送される、送信機ユニットを備えることもできる。それに加えようと加えまいと、デバイスは、デジタルシグナルプロセッサの出力または送信機ユニットの出力に接続可能である、前記近似的表現を示すデータを受信し、前記データを特定の電子デバイスに入力されるデータの所定のフォーマットに変換するように構成され、かつそのように動作可能であるフォーマッタユーティリティを備えることができる。
【００２６】
位置センサデバイスの近接センサマトリックスは、電子デバイスのキーパッドに関連付けることができ、その場合、前記挙動の近似的表現が適用され、前記測定データはキーパッドの記号に対してユーザの指の挙動を示す。
【００２７】
本発明のさらに他の態様によれば、対象物の挙動を監視する際に使用するためのデバイスが実現され、このデバイスは、上述の監視ユニットと、前記仮想座標系を定義するように構成されたデータ入力ユニットとを備え、前記データ入力ユニットは前記近似的表現を示すデータを受信するために前記デジタルシグナルプロセッサの出力にリンクされる。
【００２８】
同様に、デバイスは、デジタルシグナルプロセッサの出力とデータ入力ユニットとの間に相互接続された上述のフォーマッタユーティリティを備えることができる。デバイスは、センシング表面に対して前記挙動を示す、IRデータ、Bluetoothデータ、RFデータ、および音響データのうちの少なくとも1つの形式である、測定データを受信し、前記デジタルシグナルプロセッサに入力される対応するデータを生成するように構成された信号受信機ユニットを備えることもできる。
【００２９】
そのさらなる態様の本発明は、対象物の少なくとも一部の挙動を監視するためのシステムを実現する。このシステムは、センシング表面および第1の座標系を定義し、前記特定の座標系内の前記センシング表面に対して対象物の少なくとも一部の挙動を示す測定データを生成するように構成され、かつそのように動作可能である位置センサデバイスと、第2の座標系を定義するデータ提示デバイスと、位置センサデバイスと前記データ提示デバイスとの間で相互リンクされ、前記測定データに応答し測定データを対象物の前記少なくとも一部の近似的表現に変換し第2の仮想座標系内に置くように構成され、かつそのように動作可能であるデジタルシグナルプロセッサであって、その変換は仮想点と対象物の前記少なくとも一部の中の対応する部分との間の位置関係を維持する、デジタルシグナルプロセッサとを備える。
【００３０】
本発明を理解するために、また本発明をどのように実用できるかを示すために、添付図面を参照しつつ、限定されない実施例のみを使って実施形態を説明することにする。
【図面の簡単な説明】
【００３１】
【図１Ａ】物体の位置から離れて物体の挙動を監視する際に使用するための本発明による監視ユニットのブロック図である。
【図１Ｂ】図1Aの監視ユニットによって実行される監視方法の流れ図である。
【図２Ａ】図1Aの監視ユニットが物体の付近で物体の挙動を感知することができる携帯電子デバイス内に組み込まれている、本発明のデバイスの一例のブロック図である。
【図２Ｂ】物体の挙動をこの挙動の発生元の位置から離れて監視/追跡するための本発明のシステムのブロック図である。
【図３】図1Aの監視ユニットが物体から離れて物体の挙動によって制御/操作される電子デバイス内に組み込まれている、本発明を利用する電子デバイスの一例を示す図である。
【図４】物体から離れた位置における物体の挙動を表示する段階を利用する本発明のシステムの一実施形態を例示する図である。
【図５Ａ】物体の挙動を遠隔追跡するために本発明をどのように使用するかを示す本発明のいくつかの特徴を例示する図である。
【図５Ｂ】物体の挙動を遠隔追跡するために本発明をどのように使用するかを示す本発明のいくつかの特徴を例示する図である。
【図５Ｃ】物体の挙動を遠隔追跡するために本発明をどのように使用するかを示す本発明のいくつかの特徴を例示する図である。
【図５Ｄ】物体の挙動を遠隔追跡するために本発明をどのように使用するかを示す本発明のいくつかの特徴を例示する図である。
【図６Ａ】静電容量式タッチセンシングパッドを利用する本発明の実施形態の、静電容量式センシングパッドを伴う例示的な回路図である。
【図６Ｂ】静電容量式タッチセンシングパッドを利用する本発明の実施形態の、等価回路の透視投影図である。
【図６Ｃ】静電容量式タッチセンシングパッドを利用する本発明の実施形態の、シャント静電容量性構成を示す図である。
【図６Ｄ】静電容量式タッチセンシングパッドを利用する本発明の実施形態の、ユーザの身体を介した信号伝送を利用する構成を示す図である。
【図６Ｅ】静電容量式タッチセンシングパッドを利用する本発明の実施形態の、近接センシングマトリックスへの近接度に対する電圧測定結果の関数を示す図である。
【図７Ａ】静電容量性センシングパッドの配置構成の一例を示す図である。
【図７Ｂ】その電気回路の一例を示す図である。
【図８Ａ】高さマップイメージを改善するために使用される近接センサマトリックスの電界保護構成を示す図である。
【図８Ｂ】高さマップイメージを改善するために使用される近接センサマトリックスの電界保護構成を示す図である。
【図９】同回路に時間内に切り替えられる複数の静電容量性センシングパッドを使用することによる、ハードウェア最適化の一例を示す図である。
【図１０】近接センサマトリックス内の分散スイッチシステムによるハードウェア簡素化を示す図である。
【図１１Ａ】センサマトリックスの付近の物体の挙動を示す測定データを生成するためにセンサマトリックスの出力に適用される処理技術の一例を示す図である。
【図１１Ｂ】センサマトリックスの付近の物体の挙動を示す測定データを生成するためにセンサマトリックスの出力に適用される処理技術の一例を示す図である。
【図１１Ｃ】センサマトリックスの付近の物体の挙動を示す測定データを生成するためにセンサマトリックスの出力に適用される処理技術の一例を示す図である。
【図１１Ｄ】センサマトリックスの付近の物体の挙動を示す測定データを生成するためにセンサマトリックスの出力に適用される処理技術の一例を示す図である。
【図１２】物体に依存しない処理を可能にする機能セットを使用して、前記近似的表現への変換を行えるように測定データを処理するための本発明の方法を例示する流れ図である。
【図１３Ａ】センシング表面の上の特定の手のシナリオおよび対応する高さマップデータの一例を示す図である。
【図１３Ｂ】センシング表面の上の特定の手のシナリオおよび対応する高さマップデータの一例を示す図である。
【図１４Ａ】指先の追跡情報を使用するジェスチャ認識技術を示す図である。
【図１４Ｂ】指先の追跡情報を使用するジェスチャ認識技術を示す図である。
【図１５】測定データの物体依存処理を利用する本発明の他の例を示す、手のモデルの一例の図である。
【図１６】測定データの物体依存処理を利用する本発明の他の例を示す、このモデルに基づく処理方法の流れ図である。
【発明を実施するための形態】
【００３２】
図1Aを参照すると、これはブロック図を使って対象物の挙動を監視するように、本発明により構成され、かつそのように動作可能な監視ユニット10の一例を示している。本発明は、物体の位置から離れて、すなわち、監視すべき挙動の発生元である位置から離れて物体の挙動を監視する段階を設定する。監視ユニット10は、データ入力モジュール12およびデジタルシグナルプロセッサ14を備える。
【００３３】
データ入力モジュール12は、位置センサデバイスから測定データ16を受信するように適合される。位置センサデバイスは、例えば近接センサマトリックスを含む、任意の知られている好適なタイプものとすることができる。本発明は、近接センサマトリックスを含む種類の位置センサデバイスを使用するものとして以下で例示される。しかし、本発明の概念は、物体位置検出の種類に制限されないことは理解されるであろう。
【００３４】
測定データは、近接センサマトリックスに関連付けられている第1の座標系内の特定の対象物の少なくとも一部の挙動を示す。対象物は、個人の手もしくは指の少なくとも一部分、または複数の指に関連付けられうる。対象物の挙動は、近接センサマトリックスに関する物体またはその物体の1つまたは複数の部分の位置を包含する。近接センサマトリックスは、典型的には、複数の相隔てて並ぶ近接センサの配列(一次元もしくは二次元配列)または一般的に空間的配置構成を含む。典型的には、近接センサマトリックスは、マトリックスまたはマトリックスが埋め込まれている単一のモノリシックの構成要素を支持する基材によって画成されるセンシング平面または曲面内のm行およびn列を含む行と列の構成で配置されたセンサを含む。センサのこの配置構成により、物体の挙動を検出するための第1の座標系が定義される。
【００３５】
近接センサは、センサの付近で、すなわち、センサの感度ゾーン内でセンサに関する点または領域を特定する(座標またはその相対的座標を決定する)ことが可能な、好適な種類のものとすることができる。このような特定は、好ましくは3D位置を決定することを目指すが、一般的には、2D位置スキームを使用することができるか、または2Dモデルと3Dモデルとの間で切り替え可能なものとすることができることに留意されたい。感度ゾーンはセンサから距離0のところにあり、センサは接触またはタッチ型センサであるか、または0より大きく、したがってセンサは非接触型センサであるものとすることができることも理解されるであろう。近接センサは、連続測定モードで、または特定のサンプリングモードにより動作し、物体またはその物体の点の距離(または一般的には3つの座標)を決定することができる。以下でさらに例示されるように、近接センサマトリックスは、静電容量性近接センサを利用することができる。このようなセンサの構造および動作の原理はそれ自体知られており、したがって、いわゆる「能動」センサでも「受動」センサでもよいことを指摘することを除いて、詳しく説明する必要がない。指定される種類の能動センサは、センサの付近に電界を発生し、対象物がセンサ(そのセンシング表面)に接近すると、これは電界の変化を引き起こし、その変化が検出され、前記センサに関する物体の位置を示す。受動センサは、一般的には、能動センサに似ているが、電界の発生を利用せず、むしろ、その付近の外部電界の(物体の相対的位置による)変化を感知する。
【００３６】
図1Bを参照すると、本発明による監視ユニット10によって実行される方法が示されている。特定の近接センサマトリックスに関する対象物の挙動を示す測定データ16が用意される(ステップI)。デジタルシグナルプロセッサ14は、データ入力モジュール12からの測定データ16に応答するように構成され、かつそのように動作可能である。このために、プロセッサ14はジュール12に、典型的には電線によってリンクされるが、一般的には、これは、無線接続を使用して、例えば、IR、RF、Bluetooth、または音響信号伝送を介して実装されうる。したがって、測定データは、監視ユニットのデジタルシグナルプロセッサ14によって受信される(ステップII)。以下で説明されるように、監視ユニット10は、近接センサマトリックスと、または物体の挙動を提示する遠隔電子デバイスと一体化されうる。デジタルシグナルプロセッサ14は、測定データを処理する動作をする(ステップIII)。デジタルシグナルプロセッサ14は、所定の第1の座標系に対応する測定データ16を所定の第2の(仮想)座標系内の対象物(またはその少なくとも一部分)の近似的表現に変換し、そのような近似的表現を示すデータを生成する(ステップIV)ように事前にプログラムされた変換モジュール18を備える。この変換は、第2の座標系内の仮想点と第1(物理的)座標系内で検出されるような物体(その物体の少なくとも一部/一部分)の対応する位置/点との間の位置関係を保持するような変換である。対象物の近似的表現は、物体の挙動、すなわち、物体の位置、その位置の変化、物体またはその位置の運動などに対応することは理解されるであろう。
【００３７】
シグナルプロセッサ14は、対象物の前記近似的表現に対応する出力データ20を生成する。出力データ20は、そのようなデータに応答するように構成された電子デバイスへの監視ユニットのデータリンクを可能にするような、例えば、データを表示するためのフォーマットに整形される。
【００３８】
監視ユニットは、出力データ20が物体の挙動に応答する離れた場所に配置されている電子デバイスへの無線信号伝送用にフォーマットされている、近接センサマトリックスを備える電子デバイスの一部であるか、または物体の挙動に応答するそのような電子デバイスの一部とすることができ、その場合、これは、離れた場所にある近接センサマトリックスからデータを受信するように構成される。言い換えると、監視は、挙動の発生元である位置または前記位置から離れた受信場所で物体の挙動を監視するように構成されうる。
【００３９】
上記の内容は、図2A、2B、および3のブロック図で具体的に例示されている。
【００４０】
図2Aは、対象物の挙動をその物体から離れた場所で監視する際に使用するための本発明のデバイス30を例示するものである。デバイス30は、上述の監視ユニット10および互いと一体化されている近接センサマトリックス32を備える。デバイス30は、他の電子デバイスの動作を制御するために使用される種類の携帯(例えば、ハンドヘルド型)電子デバイスとすることができる。例えば、本発明を中に組み込むのに適しているデバイスは、電話デバイス(携帯電話)、遠隔制御ユニットなどである。制御されるデバイスは、テレビ受像機、ホストコンピュータなどとすることができる。これは図2Bに例示されており、そこでは、上述のように構成され、監視すべき物体の付近で動作することが意図されている入力デバイス30、およびホスト電子システム40によって形成される、一般的に600と指定される、システムが示されている。本発明の例では、ホストシステム40は、コンピュータデバイス41Aおよびコンピュータに接続可能な表示ユニット41Bで構成される。
【００４１】
システム600は、以下ように動作する。デバイス30の近接センサマトリックス(図2Aでは32)は、センサマトリックス(すなわち、センシングユニット32によって画成されるセンシング表面)に対して物体の移動を追跡する(すなわち、物体の挙動を監視する)ように動作し、それを示すセンシングデータ(測定データ)を生成する。センサマトリックスは、追跡すべき運動が、実際に挙動が監視される特定の物理的部物体に関連付けられていることの予備的識別(例えば、特定のユーザの識別)によって追跡するように作動させることができることに留意されたい。この作動は、例えば、ユーザ側で開始することができる。あるいは、センシングデータに対し初期処理を実行して、「ノイズ」測定結果を無視し、特定の物体に関連付けられているものとしてさらに考えるべき測定データを選択することができる。例えば、センサマトリックスは、高さ測定を実行し、ユーザの指先の位置および/またはセンサマトリックス(センシング表面)からの各位置の認識を行うことができる。デバイス30内の監視ユニット(図1および2Aでは10)は、ホストコンピュータ41Aへの無線伝送に適したフォーマットで測定データを生成する。そこで、ユーザの関係する挙動情報(データ)がホストシステム41Aに伝送されると、ホストシステム41Aは、受信した情報に応答し、次いで、画面41Bを適切に操作してこの運動を表示する(イメージを提示する)か、またはユーザの挙動に従ってホストコンピュータ内の特定のアプライアンスを操作する。本発明の目的のために、ホストコンピュータには、測定データに応答し、このデータを従来のデータ入力ポートを介してホストに直接入力されたかのように識別することができる受信ユーティリティ/モジュール(ソフトウェアおよび/またはハードウェア)がインストールされる。
【００４２】
センサマトリックスは、AC電源に結合されるか、または付随するアクチュエータ(図示せず)に関連付けられていることに留意されたい。AC電源は、特定の周波数もしくは周波数範囲で動作することが意図されている。アクチュエータは、同じまたは重なり合う周波数範囲内にあり、外部エネルギー源に由来する、「ノイズ」エネルギーを識別するように構成され、かつそのように動作可能である。このような状態(ノイズエネルギーの存在)を識別した後、アクチュエータは、センサマトリックスの動作を妨げるか、または好ましくはAC電源の動作周波数をシフトするように動作する。
【００４３】
特には示されていないが、デバイスはデジタルシグナルプロセッサの出力を受け取り、その出力をIR、RF、Bluetooth、音響媒体などの無線信号伝送に適した伝送媒体に変換することができる種類の送信機を備えることができることにも留意されたい。
【００４４】
また、特には示されていないが、デバイスは、場合によってはデジタルシグナルプロセッサの出力または送信機の出力に接続されたフォーマッタユーティリティを備えることができることにも留意されたい。フォーマッタは、受信したデータを、物体の挙動の前記近似的表現が適用される(例えば、表示される)遠隔位置で使用される入力デバイスのデータ入力フォーマットである所定のフォーマットに変換するように事前にプログラムされる。
【００４５】
上に示されているように、監視ユニットは、ホストシステムの一部であってもよい。これは、図3に略図として示されており、電子デバイス40(物体の挙動に従って制御/操作され、および/またはこの挙動を検出するセンサマトリックスから離れた場所でそのような挙動を表示することが意図されているホストシステム9を構成する)が例示されている。この場合のセンサマトリックスは、ユーザの選好に応じて適宜位置決めされうる。デバイス40は、監視ユニット10および前記第2の(仮想)座標系を定義するように構成されたデータ入力ユニット42を備える。データ入力ユニット42は、典型的には、前記近似的表現を受信するために前記デジタルプロセッサ14の出力にリンクされる。デバイス40は、表示システムおよび遠隔操作するのに適したコンピュータベースのシステム、例えば、メディアセンタ、ホームシネマ機器などの一部とすることができる。
【００４６】
特には例示されていないが、デバイス40が無線タイプの媒体の受信データをデジタルシグナルプロセッサへの適切な入力に変換することができる種類の受信機ユニットを装備するような場合もあることは理解されるであろう。また、デバイス40は、デバイス40の入力ユニット42に従って事前にプログラムされた上述のフォーマッタユーティリティを備えることができる。
【００４７】
次に図4を参照すると、ユーザの指の運動の近似的表現を示すデータを表示するために本発明の原理を利用する技術が例示されている。したがって、例とされているユーザは、前記近似的表現を示すデータを表示するために本発明のシステムを操作する。システムは、一般的に、センサマトリックスを組み込んだハンドヘルドデバイスによって形成され、外部コンピュータデバイス(例えば、ディスプレイデバイス)に無線接続可能である上述のシステム600として構成され、本発明の監視ユニットは、ハンドヘルドデバイス内に組み込まれるか、またはディスプレイデバイスに関連付けられる(組み込まれるか、または結合される)。そこで、監視ユニットを組み込んだデバイスは、ハンドヘルドデバイス30またはディスプレイデバイス40とすることができる。
【００４８】
ユーザは、片手でデバイスを持ち、もう一方の手/指をハンドヘルドデバイス30の上に置き、タッチ、ホバリングを行うか、または離れた位置に置くことができる。例えば、指先は、ハンドヘルドデバイス30内のセンサマトリックス(図示せず)によって検出され、その挙動を示す変換された測定データ(表示できるようにフォーマットされている)が遠隔画面デバイス40に伝送されるか、または測定データ(生データ)がその画面に送られ、表示フォーマットに変換される。この図では、画面上に表示されるスポット403、403A、403B、403C、および403Dは、デバイス30のセンサマトリックス(センシング表面405)に対して特定の位置にあるユーザの指先に対応する。非限定的な例によれば、スポットの色および/または明るさは、対応する指先の絶対的な高さまたは相対的な高さを示す。したがって、ユーザの手もしくは指の挙動は、画面上に近似的に表現することができ、手/指の運動は、適切なセンシングおよび運動データ変換により、手/指の位置から離れた場所で追跡することができる(または一般的に、その挙動を監視することができる)。後者では、離れている場所の表面/形状上の近似的表現がユーザの手の各部分の間の位置関係、さらにはセンシングパッドに関する位置関係も維持する。これらのスポットを追跡して、ジェスチャを検出するか、または選択を実行するといったことを行える。
【００４９】
用途は、適宜、固定ディスプレイ402(ほとんどの場合、比較的大きい)が接続され、隔たった高さから複数の指を検出し、例えば、ユーザの指、手のひら、手、またはその一部の挙動を伝達することができるデバイス表面405上で指404を使ってシステムとやり取りするユーザ401から比較的離れた範囲内に適宜配置されているメディアセンタ、ビデオゲーム機、または通常のPCなどのコンピュータベースのシステム(またはホスト)である。例えば、ディスプレイ402は、ユーザの手の近似的表現をもたらす。この近似的表現は、ユーザの手の5つの部分、すなわち、指先の表現403、403A〜Dを含む。適宜、表現されるそれぞれの部分は、色、形状、シルエット、またはパターンおよび同様のものもしくはそれらの組み合わせなどの視覚的指示によって一意に識別される。それに加えて、1つまたは複数の部分の距離は、色、形状、シルエット、またはパターンおよび同様のものもしくはそれらの組み合わせによって示すことができる。指の挙動は、ベクトル空間の三次元座標による指先の位置、指先(または手のひらなど)の各高さ、識別されたジェスチャ(三次元空間内のモーションジェスチャを含む)、高さマップイメージ表現を含むことができ、ユーザの指の相対的配置は監視されている指の透視投影を含むものとすることができる。
【００５０】
例えば、図4は、ユーザの手の複数の部分が他の部分と比較して近接センサマトリックスに近いことを示している。この例では、中指部分403aおよび403bは、暗色で示すことによって近接センサマトリックスに近いとして示されている。
【００５１】
監視されている挙動は、ユーザの手の他の部分の相対的位置決めも含みうる。これらの指の挙動は、ホストに伝送することができ、ホストは、一実施形態では、受け取った挙動を表示する。ホスト上で実行される専用モジュールは、元イメージと重なる指部分などの対象物の挙動を、ユーザインタラクションおよび制御を目的としてユーザが下にある元イメージを見て、それぞれの指の挙動情報を使用することができるように表示することができる。例えば、この点で、画面の元イメージ上でのユーザの指先の挙動の半透明表示を想定することができる。一実施形態では、本発明のデバイスもしくはシステムは、指の挙動をコンピュータベースのシステムに無線伝送する。有線または無線の近接センサ表面も、本発明の範囲内に含まれる。ホストは、適宜、コンピュータベースのシステムと通信することができる。
【００５２】
本発明では、指先のタッチ(または非常に近い位置でのホバリング検出)を単に識別するのではなく、ユーザの手の挙動を場合によっては三次元空間の座標空間内のユーザの手またはその一部の近似的表現に変換し、これにより、リビングルームのシナリオにおける従来の制御装置を、例えば、新しいレベルの人間工学および設計へと改善する。
【００５３】
検出された指および手も、監視できる(または例えば、表示されるイメージの上に複数の記号403またはイメージとしてセンシング表面405からかなりの距離のところにある間に表示される)。この距離は、0から3cm、1から4cm、1から5cm、2から5cm、2から6cm、および3から7cmまでの範囲とすることができる。本発明のデバイスおよびセンシング表面405は、仮想物体、ボタン、または適宜表示できる任意の形状、寸法、配向、もしくはパターンの特徴をアクティブ化することができる。したがって、指などの対象物の1つまたは複数の部分を、タッチまたはタッチレスモード(センシング表面との近接度0)のいずれかで仮想物体、ボタン、または特徴の上に配置することができる近似的表現で表現または表示することが可能である。それに加えて、接触および非接触の移動もしくは離れた移動を含む挙動または対象物の監視を利用して、ディスプレイ画面上に表示される仮想物体の全方向へのドラッグ、移動、操作(ジェスチャによる)、ズームイン/アウト、3D回転、およびパニングを行うことができる。これに関して、「タッチ」および「ホバリング」という用語は、「接触」および「非接触」という用語とそれぞれ入れ替えて使用できる。いくつかの実施形態では、ドラッグ、移動、操作、ジェスチャ、および他の機能も三次元座標空間内で監視することができる。それに加えて、手を使った予め定義されたジェスチャを使用して、予め定義された、またはプログラムされているアクションを選択することができる。これらは、特定の表示される物体に向けられてもよいし、向けられなくてもよい。
【００５４】
視覚フィードバック、聴覚フィードバック、および感覚フィードバックは、物体およびその一部の挙動を示すために使用され、これらのフィードバックは、タッチまたは非タッチ操作、ホバリング挙動、離れた挙動、ドラッグ、ジェスチャ、および同様のものの検出を指示することができる。
【００５５】
ユーザの手および/または指などの、対象物の一部分を近似的に表現するための可能な別の方法では、シルエット、相対的位置および/または監視されている対象物の挙動に呼応して適応する形状を利用することができる。適宜、この表現のサイズは、監視されている対象物が近くなるにつれて、またはセンシング表面から遠ざかるにつれて増大または減少しうる。
【００５６】
本発明によれば、変換は仮想点(物体位置から離れた場所で使用される点)と物体の付近で感知されるような対象物の部分の対応する視点との間の位置関係を保持する。したがって、さらに他の可能な実装では、監視されている対象物の一部の相対的位置決めを保持する物体表現を構成するために形状、サイズ、または他の効果(視覚的などの)を利用することができる。
【００５７】
本発明は、特定の数の点(視点または仮想点のいずれか)に限定されないことに留意されたい。一般的に、これは、センサマトリックス内のセンサの個数、または場合によっては、適切な補間アルゴリズム(これは点の数を増やす)によっても定義されうる。
【００５８】
いくつかの実施形態では、この位置関係は、対象物の対応する部分からセンシング表面までの距離を含む。その代わりに、またはそれに加えて、この位置関係は、監視されている対象物の2つまたはそれ以上の対応する部分の間の距離を含む。言い換えると、位置関係は、対象物の対応する部分(透視投影)と仮想点との空間的(体積)配置構成を含む。また、位置関係は、(1)対象物のどの部分が近接センサマトリックスに最も近いか、(2)対象物のどの部分が近接センサマトリックスから最も遠いか、(3)それらの間の最も近い隣接要素である対象物の複数の対応する部分を示す比較データのうちのどれかを示すものとすることができる。センサマトリックスは、測定データを生成して処理し三次元表現を構成することができ、これにより対象物の少なくとも一部の奥行きを認知できることを理解されたい。
【００５９】
いくつかの実施形態では、監視ユニットのプロセッサは、代表的な幾何学的形状、形、パターン、および/または印を持つ対象物の一部分を割り当てるように事前にプログラムされる。これらは、仮想座標系内に位置(3D)を有することができる。
【００６０】
近似的表現は、射影表面(例えば、ディスプレイ)上に出現する所定のパターン(いわゆる「元（original）イメージ」)上への仮想点の射影を利用することができる。所定のパターンは、発明の用途が異なれば異なることがある。例えば、ユーザの手は、タッチ、ホバリング、3Dジェスチャ、回転などを含むユーザの手の挙動に関して2つの異なる記号または形状(または他の何らかの視覚効果)を有する専用のカーソルとして近似的に表現することができる。専用のカーソルまたは他の表現は、センシング表面からユーザの手の一部までの距離を反映しうる。この表現は、監視される物体の距離、透視投影、配向、セグメント分割の特徴を示す視覚効果の形態を取りうる。例えば、物体のホバリングは、センシング表面に近づくにつれて明るさを増す明るいイメージ内の物体として表示することができる。照明効果は、連続的でもよいし、光度を段階的に変化させるものであってもよい。
【００６１】
他の可能な方法では、物体が表面に近づくにつれてますます小さくなる(またその逆もある)適応的に変化する形状および/またはサイズを利用することができる。したがって、本発明は、専用のカーソルのターゲットを仮想的な特徴または点に定める操作を改善することができる。
【００６２】
次に図5Aから5Dを参照すると、そこではセンシングデータおよび対応する変換データまたは近似的表現の生成のため本発明で使用するのに適している技術が例示されている。図5Aに示されているように、ユーザの一方の手の指501は、センシング表面520の上に位置しているが、他方の手502の指は、センシング表面520に接触(タッチ)している。指部分501は、センシング表面に対して特定のゼロでない距離のところに配置されているが、指部分502は、距離ゼロのところに配置されている。図5Bは、センサマトリックスによって生成される測定データに対応する高さマップイメージデータを示している。異なる高さの値は、センシング表面520にある物体の、一般に501'で表される、点の輝度変化によって示すことができる。したがって、図5Bに示されているデータは、近接センサマトリックスを使用する近接度測定によって得られる3D測定データに対応する。次いで、このデータは、監視されている対象物の近似的表現に変換される。上に示されているように、このような変換は、近接マトリックス側に、または遠隔のディスプレイ側のいずれかにあるプロセッサによって実行される。図5Cおよび5Dに示されているように、計算された指先位置(変換結果)が遠隔の画面上に提示される。図5Cでは、この提示に異なる色(濃淡レベルまたは透明度レベル)を使用し、センシング表面に対して、したがって画面に対して、三次元空間内の物体の部分に対応する仮想点(異なる高さ値)を例示している。ここでは、物体の近似的表現は、半透明の記号504、504a〜dおよび505を使用して所定のパターン(背景の印)の上に形成される。この視覚に訴える技術は、所定のパターンに対するグラフィックの最小限度の干渉が必要な仮想的な特徴または物体のターゲット設定および制御の改善のためのものとすることができる。透明度レベルは、高さ/近接度を示すことができる。非制限的な例により、センシング表面520に手501よりも手502が近いと、その各記号505(指先部分を表す)は手501の指部分を表す記号504ほど透明でない。図5Dは、図5Bに示されているものに対応する測定データの近似的表現を表示するための他の可能な表示技術の例を示している。ここで、透視投影イメージ506は、引き延ばされ、元の画面イメージ(背景の印)
が差し挟まれている。表示(変換)データ506内の仮想点の位置関係は、センシング表面の付近の物体の部分/点(すなわち、本発明の例における実際の指と他の手の部分)の間の位置関係に対応する。
【００６３】
本発明は、さまざまな用途で使用することができることに留意されたい。例えば、本発明は、仮想ドメイン(または仮想座標系)内で対象物を近似的に表現するために使用することができ、またこの表現を使用して仮想物体を制御し、適宜操作することができる。他のいくつかの例では、本発明の技術を使用することで、仮想表示キーパッドを使用してキーボードを実装することができ、さらには、シングルタッチまたはマルチタッチのジェスチャ、ライティング/スケッチングパッド(writing/sketching pad)、アクティブ化および制御に使用できる3Dジェスチャデバイス、対象物の特定の一部/部分(ユーザの手の指)を認識するように構成されたジェスチャを使用して特徴をアクティブ化することができる。
【００６４】
仮想座標空間、または対象物の挙動の近似的表現を反映する表示内の領域および透視投影は、特定の用途に応じて動的に適合させることができる。例えば、カーソルを移動するために使用する場合、監視されている物理的オブジェクトの近似的表現を反映するためにディスプレイを使用することができる。適宜、仮想3Dキーボード上でタイピングするために使用する場合、仮想キーボードとの相対的関係において物体の表現をディスプレイに反映することができる。センサマトリックスが組み込まれ、センシング表面を画成する入力デバイスで使用される技術は、知られている任意の好適なタイプのものとすることができることに留意されたい。センサマトリックスは、プロセッサ内に内蔵されるか、または結合されるとともに、適切な処理ユーティリティ(ハードウェアおよびアルゴリズム)を使用し、図5Bの例に関して上で説明されているように近接度/高さ測定またはマップイメージを得る。センサマトリックスは、静電容量性近接センシング表面を使用することができる。この場合、マトリックスは、センサパッドの配列(例えば、二次元配列)で形成される。
【００６５】
静電容量性近接センサマトリックスは、Z次元(近接度/距離測定)だけでなくマトリックス平面(X,Y)またはセンシング表面にそった位置を与えることができる。静電容量方式は、さまざまな用途に幅広く使用されており、特に、位置/運動が、照明具が破壊される、機械的ストレスがかかるなどの極端な環境条件の下で追跡される場合に使用される。静電容量方式の原理は、それ自体知られており、本発明の一部をなさない。このような方法は、デバイスを単純でコンパクトなものにし、さらには費用効果を高めることができるという事実により、本発明のハンドヘルド入力デバイスにおいて有利に使用されうる。
【００６６】
静電容量センサベースのセンシング表面では、電気回路の静電容量の変化を引き起こす物理的本体部の能力を利用する。これに関して、図6A〜6Dを参照する。図6Aは、センサマトリックスのセンシングパッド603およびその関連する電気回路を例示している。図6Bに示されているように、導電性材料から作られるパッド（ＰＡＤ）603は、コンデンサ604の2つのプレートのうちの一方のプレートを提示する。パッド603は、近接センシングマトリックスによって画成されるX-Yセンシング表面内の知られている二次元位置に配置される。
【００６７】
ユーザの指601をパッド603に近づけると、アースに対し平板コンデンサが形成される。指がセンシングパッド603に近ければ近いほど、コンデンサ604上で測定される等価静電容量は大きくなる。電源602は、センシングパッド603に電気的に接続されており、AC電圧源とすることができる。等価静電容量が大きければ大きいほど、それが及ぼすインピーダンスは小さくなる。したがって、測定されたAC信号(すなわち、増幅器605の出力)の大きさも減少する。あるいは、電源は、DC電流源とすることもできる。等価静電容量が大きければ大きいほど、一定の電荷期間の終わりに測定される電位は小さくなる。図6Dに例示されているように、適宜、近接センサパッドの電源をユーザの身体に取り付ける(例えば、ユーザが近接センサ表面を手に持つ場合に、この取り付けは確実である)。指がパッドに近ければ近いほど、パッドにおける電界は強くなり、そのため、電圧測定値は高い値になる。回路素子は、同じ電位を基準とし、したがって、測定感度は上昇する。
【００６８】
図6Cは、「シャント静電容量」と呼ばれる技術が使用される一例に対応している。励起源(電源)611は、受信機パッド613への電界を発生する送信機パッド612に接続される。受信機パッド613で測定された電気力線614は、電圧測定値に翻訳される。指615、または他の接地された物体が、電界に緩衝する場合、電気力線の一部はアースへ分流され、受信機パッドには到達しない。したがって、電圧測定値は減少する。
【００６９】
センサマトリックス要素毎に(パッド毎に)、センシング表面からの距離/近接度に対する信号強度または電位の依存関係を記述する関数は、一般に知られ、例えば、較正手順で決定することができる。このような関数の例は、図6Eに示されている。この例は、静電容量測定に関して、電圧と高さの関数に対応しており、その場合、電源はAC電圧源であり、回路パラメータは、以下のとおりである。電源周波数Fは400KHzであり、電源の電圧Vは1Vであり、抵抗器Rは1MOhmであり、空気の誘電率ε0は8.85e-12であり、平板面積Aは64μmであり、平板の間の距離dは1から30mmまで変化する。コンデンサ上の測定電圧Vcapは、分圧器公式
Vcap=V・jXc/(jXc+R)
によって与えられ、Xcはコンデンサのインピーダンスである。
【００７０】
平板コンデンサ公式を使用すると、これは
Vcap=V・[d/sqrt(d2+(2π・F・R・ε0・A)2]
に展開できる。
【００７１】
したがって、距離/近接度の関数として測定信号に対し較正曲線を使用すると、センシングパッドからの対象物(例えば、手の指部分)の距離を決定することができる。AC電圧ベースの構成の場合、対象物の近接度は、測定信号の位相の変化に従って決定されうる。
【００７２】
影響のある静電容量は、ローパスフィルタの一部であってもよいことに留意されたい。測定位相は、等価静電容量の関数、すなわち、高さと近接度との関数である。この構成が使用される場合、位相シフトを計算するためにAC電源の位相が知られているか、または推定されなければならない。高さまたは近接度を計算するために、適宜、位相と大きさの両方が使用される。
【００７３】
位置データの第1のレベルまたは低レベルの処理は、いわゆる「高さマップイメージデータ」の形態で測定データを取得する(変換を受ける)ことを目的としている。これは、センサマトリックスユニット、または変換も実装する監視ユニットの前記プロセッサユニットもしくはコンピュータモジュールにあるデジタル処理ユニット(DSP)において実行されうる。上で示されているように、監視ユニットは、センサマトリックスも組み込んだ入力デバイスの一部であるか、または遠隔電子デバイス(例えば、ディスプレイ)の一部とすることができる。同じ、または異なるDSPは、こうして、近接センサマトリックスの付近で、近接センサマトリックスに対して対象物の挙動を示すデータを決定し、それを示す測定データを生成し、その測定データを仮想座標空間内の近似的表現に変換することができる。近似的表現は、いわゆる「透視投影」表現である場合もそうでない場合もある。
【００７４】
本発明の目的のために使用するのに適しているセンシングパッド配列には多数の配置構成が考えられる。しかし、簡単のため、特定の、ただし非制限的な例について以下で説明する。
【００７５】
これに関して、図7Aおよび7Bを参照すると、それぞれ、2Dセンサマトリックス配置構成701および関係する電気回路が示されている。それぞれのセンシングパッド706は、アナログ増幅器702を有する。AC電源信号707が、電気回路に供給される。増幅器の出力は、アナログ/デジタルコンバータ703によってサンプリングされ、それらのサンプルは、さらに分析するために、CPU 704に転送される。いくつかの実施形態では、信号源(給電電圧信号)は、正弦波または方形波発振器によって構成され、大きさの測定は、サンプル上で離散フーリエ変換(DFT)を実行することによって得られる。DFT法は、当技術分野で知られており、詳細に説明される必要はない。他のいくつかの実施形態では、静電容量測定値は、ハードウェアによってDCレベルに翻訳され、増幅器702の出力は整流され、出力の大きさに比例するDCレベルに合わせてフィルタ処理される。これは、サンプリング手順の前に実行することができる。
【００７６】
適宜、複数の増幅器をサポートするために、いくつかの入力チャネルを持つアナログ/デジタルコンバータ703を使用することができる。この例で必要な増幅器の数は、センシング表面の表面積によって決まる。適宜、複数のプロセッサ(CPU)が使用され、それぞれデバイスの異なる表面領域(パッドの異なるグループ)に対して使用される。処理結果は、送信機705を介して伝送される。
【００７７】
適宜、容量/デジタル変換チップを使用してそれぞれのセンシングパッドに関連する静電容量を推定する。
【００７８】
図8Aおよび8Bを参照すると、本発明で使用するのに適している近接センサユニットの構成および動作の一例が示されている。図8Aに示されているように、電圧信号811が、センシング表面(例えば、単一パッドのセンシング表面)812に印加されると、電気力線813はあらゆる方向に伝搬する、すなわち、電気力線は散乱する。これにより、センサ(パッドまたはマトリックス全体)の「視野」または「センシングゾーン」が広がり、これにより、センシング表面と正確には揃っていない物体の感知が可能になる。例えば、空間領域817の付近に配置されている、ユーザの手などの対象物は、セグメント819にある対象物を表す電気信号として検出されうる。その結果、位置逸脱821が生じ、センシング表面から抽出された位置情報がわかりにくくなる。逸脱821は、センシング表面を囲むフレームを利用することによって防止または実質的に排除することができる。これは、図8Bに例示されている。
【００７９】
図示されているように、1つまたは複数の導電性材料から作られたフレーム854は、近接センサマトリックスのセンシング表面(例えば、パッド)を(少なくとも部分的に)囲む。近接センサマトリックスおよびフレームは、DC電源もしくはAC電源のいずれかとすることができる電源ユニット851および855に電気的に接続される。電圧源855によって電流を流すことによって、電界853の集束力が高まるか、または平行度が高まる。読み出しにこの技術を利用することによって、位置と高さの両方の読み取りがより正確になる。フレームによって囲まれるセンシング表面が高さマップの取得に使用される場合、得られるイメージはより正確になる。センシング表面(パッド)とともにフレームを使用した場合も、デバイスを持つ手の影響がなくなる。図8Bに例示されているように電気力線を操作するために、センシング表面の裏部と側部は、センシングパッドそれ自体として電圧源855によって同じ電圧を印加される導電性フレーム854によって囲まれている。フレーム(ガード)とセンシングパッドとの間に電位差がないので、それらの間に電界もない。その結果、センシングパッドの脇または背後に配置されている、導電性の物体(例えば、デバイスを持っている手)は、センシングパッドとではなくむしろガードとともに電界を形成する。センシングパッドについては、そのガードされていない表面領域のみが、導電性の物体と電界を形成することが許される。
【００８０】
マトリックスのセンシング表面を囲む導電性フレームを使用することに加えて、またはその代わりに、他の技術を使用することもでき、これに従って、センサマトリックス内のそれぞれのパッドは本質的に類似のより集束度の高い電気力線をもたらす他のパッド(上述のフレームとして働く)で囲まれる。この効果は、すべてのパッドからの伝送または感知によって同時に引き起こされる。特定のセンシングパッドを囲むパッドが、前記特定のセンシングパッドの「電界ガード(electric field guard)」として働く。適宜、回路中間層ビア(PCB層を貫通する導電性スルーホール)を使用して上述のフレームの側部が実装される。
【００８１】
図7Aおよび7Bに戻って参照すると、すべてのセンシングパッド706に関連付けられているハードウェア回路は、増幅器702、A/Dコンバータ703(またはA/Dチャネル)、およびCPU 704とのインターフェイス線を備えていることがわかる。増幅器およびA/Dコンバータは、「センシングパッドインターフェイス」または「インターフェイス」とさらに称される。いくつかの実施形態では、高分解能近接センサマトリックスが必要になり、したがってマトリックス内のセンシングパッドの数をかなり増やす必要がある場合、近接センサマトリックス内のインターフェイスの数を減らすのが必須である。
【００８２】
図9は、センシングパッドの配列から読み出すのに適している時分割法の原理を説明した図である。1バッチ分のセンシングパッド901(2つ以上のパッド)が単一のインターフェイス903に接続される。与えられた時間に、そのバッチからのただ1つのセンシングパッドがインターフェイスに接続される。これは、スイッチ902を使用することによって行うことができ、その状態はCPU(図7Bの704)に知られている。バッチ901のサイズは、インターフェイスの必要総数を定める。バッチのサイズが大きければ大きいほど、インターフェイスの必要数は少ない。
【００８３】
本発明において使用するのに適している当技術分野で知られている別の技術は、周波数分割である。2つ以上のセンシングパッド901を共通のインターフェイスに同時に接続することができ、それぞれのパッドは互いに関して直交する周波数で励起される。この実施形態では、相互インターフェイスによって2つ以上のパッドを同時に処理することができる。その結果、インターフェイスは、信号の総和を生成する。直交しているため、それぞれの周波数は、その総和から分離されるか、またはそれと別に分析されうる。それぞれの周波数分析の結果は、それが由来する対応するパッドに関連付けられる。
【００８４】
使用するセンシングパッドの個数が多い場合(例えば、数百個もしくは数千個のセンサパッド)、信号線とスイッチ制御線の配線はかなり複雑なものになる。このような場合に配線を簡素化するために、複数のセンシングパッドの他の配置構成および動作を利用することができる。これは、図10に例示されている。ここでは、一般に1002で参照される、複数のパッドが、共通インターフェイス1004に結合されるように配列される。所望の時間枠を確保しやすくするために分散型シフトレジスタスキーム1005が使用されており、この時間枠内で、それぞれのパッドはインターフェイスに別々に結合され、これにより、異なる時間枠/スロットで相互インターフェイスを介して複数のセンシングパッドから測定結果を得ることができる。
【００８５】
これから詳述されるように、回路配線の簡素化および柔軟性のほかに、この構成には、静電容量がDCレベルに翻訳される実施形態において利用することができる別の利点がある。配線1001は、パッドの近くにある各スイッチ1003を介してセンシングパッドを接続し、インターフェイス1004に接続されている。スイッチ1003は、分散型シフトレジスタによって制御される。非制限的な例において、分散型シフトレジスタは、一般的には本明細書で説明されている機能を実現するフリップフロップ型配置構成であるDフリップフロップ1005構成を介して実装される。それぞれのDフリップフロップ1005(シフトレジスタの一構成要素)は、センシングパッドに近接して配置される。例示的な例として、パルス1006が第1のDフリップフロップ1020に送られると、第1のパッドがインターフェイス1004に電子的に結合される。次のクロックパルス1007の結果、第2のパッドのみがインターフェイスに結合され、というように続く。この実施形態の利点の1つは、中央スイッチングユニットおよび複雑な経路指定または配線が不要になることである。一構成において、経路指定は、単一層内において実行されうる。
【００８６】
いくつかの実施形態では、静電容量との特定の関係にある(例えば比例する)DCレベルを取得することによって静電容量測定が実行される。図10に例示されている配置構成では、リフレッシュサイクル時間全体を使用して測定値を積分する。これにより、静電容量測定の感度が向上する。特定のパッドがインターフェイスに結合されていない間であっても測定結果が得られる。したがって、リフレッシュサイクル全体を使用して、すべてのパッドに対する近接度測定結果を平行して得ることができる。この背景状況におけるリフレッシュサイクル時間は、高さマップイメージを更新するのに要する時間を意味する。積分時間が終わるまでに、結果として得られるDCレベルは、図10に例示されている配置構成を使用することでかなり高速に読み取られる。
【００８７】
ハードウェアおよびDSPアルゴリズムにより、安定した測定を保証するために必要なサンプリング時間およびセンシングパッドのバッチのサイズによって決定される速度で、センシング表面の平面内の物体の2D位置決めを行い、近接度(距離)測定結果をもたらす。例えば、安定した測定に必要なサンプリング時間がTであり、バッチのサイズがNである場合、リフレッシュ速度はおおよそ1/(T×N)である。安定した測定に必要な時間Tは、例えば、1ミリ秒程度とすることができるが、他の時間間隔も使用することができる。センシング表面に1000個のセンシングパッドが備えられ、バッチサイズがN=10(すなわち、100個のセンシングパッドインターフェイス)である場合、リフレッシュ速度は100Hzである。
【００８８】
次に図11A〜11Dを参照すると、センサマトリックスの付近(すなわち、センサマトリックスの座標系内)の物体の挙動を示す測定データを生成するためにセンサマトリックスの出力に適用される処理技術の一例が示されている。近接センサマトリックス内のセンシングパッドのセンシング表面積は、パッドの感度ゾーンの境界を画成する。特定のいくつかの実施形態では、表面積は、9mm2〜400mm2、36mm2〜400mm2、81mm2〜400mm2の範囲、さらには400mm2超である。それぞれのパッドの表面積を増やすことで、より遠くにある対象物を検出することが可能になるか、または言い換えると、感度ゾーンを広げることができる。この距離は、0から3cm、1から4cm、1から5cm、2から5cm、2から6cm、および3から7cmまでの範囲とすることができる。また、パッドの表面積を増やすと、エネルギー消費量を減らし、ハードウェアの複雑さを低減することもできる。その一方で、センシングパッドの感度ゾーンが広がると、X-Y平面内の測定の分解能が低下する(高さマップの分解能が低くなる)。図11Aは、近接センサマトリックスの上に置かれた手の高分解能マップイメージである。図11Bは、広い表面積のセンシングパッドを使用する結果として比較的低い分解能を有するセンサマトリックスから取得可能な低分解能マップイメージである。したがって、対象物の挙動は、単純なイメージ処理アルゴリズムを使用したのでは抽出できない。
【００８９】
発明者らは、対象物の姿勢またはその一部の位置を検出するための新規性のある処理スキームを開発した。図12を参照すると、そのような処理スキーム1200が例示されている。特定の一実施形態では、対象物は、ユーザの手であり、その一部は、指先である。この処理スキームでは、監視されている対象物のモデル、例えば、ユーザの手のモデルを利用する。このモデルにより、監視されているか、または追跡されている対象物のパラメータ化を行うことができる。近接度測定結果1205(すなわち、近接センサマトリックスの出力)が、例えば、図11A〜11Dにすでに例示されている、高さマップの形態で得られる。
【００９０】
非制限的な例では、手のモデルは、定義済みパラメータの集合体(または特徴集合)である。特徴集合の値は、手の特定の状態、構成、姿勢、および/または位置に対応する。このような特徴集合の例は、図11Cおよび11Dに例示されている。図11Dは、手が最大5つの手の部分によって表される手のモデルを示している。このモデルによる手の部分は、手のひら、および手のそれぞれの特定の指を記述する。特に、親指、人さし指、中指、薬指、および小指を記述する。手のこれら5つの指は、ユーザの手の挙動を表すために使用される。
【００９１】
当業者であれば、手のモデルは、限定はしないが、親指、人さし指、中指、薬指、および小指を含む手の部分の部分集合を含みうることを理解するであろう。例えば、定義済みパラメータ(または特徴集合)値の集合体である、予め定義された手のモデルは、手の空間状態を示すものとすることができる。以下でさらに詳しく説明するように、モデルは、物体に関係する測定データの「物体に依存しない」解釈を可能にし物体の挙動の近似的表現を構成するように選択されうる。このような特徴集合の例は、図11Dに例示されている。ベクトル空間の原点は、(追跡される)手根骨1170に設定される。抽出されるパラメータは、手のひらの方向を表すベクトルと(追跡される)指先の位置を通るベクトルとがなす角度である。一般に、手のモデルは、手のひら、人さし指、および中指を含むものとすることができる。他のいくつかの例では、手の部分の他の選択結果を利用することができる。特に、手のモデルは、手のひらの方向1190をさらに含むことができる。手のひらの上に4本の指を折って、仮想物体および同様のものを掴むことができる。
【００９２】
以下は、本発明の「物体(ユーザ)に依存しない」データ処理ユーティリティの動作の特定の、限定しない一例である。
【００９３】
図11Dは、手のひら1170と5本の指すべて、すなわち、人さし指1130、中指1140、薬指1150、および小指1160によって表される手のモデルを例示している。このモデルは、手のひらと指のそれぞれとの間の距離(または距離の範囲)を含む。このモデルは、例えば各指への手のひらについて引かれている距離線同士がなす可能な、また実際の角度も含む。
【００９４】
図11Dの実施形態など、いくつかの実施形態では、手の原点は、手根骨として定義される。したがって、手の原点を追跡することができる。抽出されたパラメータは、手のひらの方向1190を表すベクトル/直線と手のひら1170とそれぞれの指先の位置1120、1130、1140、1150、および1160との間に引かれたベクトル/直線とがなす角度1180とすることができる。いくつかの実施形態では、指先の位置と手のひらは、高さ(近接度)測定または例えば図11Bに示されている高さマップ信号強度から抽出される。いくつかの実施形態では、手のモデルでは、指先が一般的に手のひらの原点と比較して近接センサマトリックスにより近いような手の姿勢となることを想定し、したがって、信号強度は指先の位置を示す。
【００９５】
いくつかの実施形態では、位置の識別および対象物の一部の近接度は、位置(X,Y)と近接度(Z)の測定結果のフィルタ処理を必要とする。
【００９６】
図12を再び参照すると、いくつかの実施形態では、入力情報1205を取得した後に、イメージ1230の高画質化が望まれており、ノイズフィルタ処理を適用することによって実行されうる。その代わりに、またはそれに加えて、オフセットおよびドリフト補正が実行される。本発明におけるノイズ低減は、センシングパッドから得られた測定値の平均を計算することによって実行できる。典型的には、それぞれのセンサパッドの読み取り値は、複数の測定を行って平均することができる。
【００９７】
処理スキーム1200は、入力データ1205から情報を抽出する手順1240をさらに含む。この入力は、監視されている対象物の特徴を抽出するためにさらに処理することができる。抽出された特徴は、特徴ベクトルまたは集合と称することができる。これらの特徴は、対象物モデル内のそれぞれの要素の測定結果である。これらの測定は、連続的であるか、または量子化されうる。特徴ベクトルの要素は、物体の一部の位置とすることができる。
【００９８】
可能な1つの対象物は、ユーザの手であり、この場合、抽出される特徴は、図11Dの例に示されているものとすることができる(手のひらの方向1190を表すベクトル/直線と手のひら1170と観察可能な指の指先位置との間に引かれたベクトル/直線とがなす角度1180)。当業者であれば、それぞれの用途について好適な手のモデルまたは好適な対象物のモデルが考えられることを理解するであろう。手のひらの位置および手のひらの方向の特徴は、近接度測定結果または取得した高画質化イメージから抽出することができる。この方法で、手に基づくモデルにおける集合の特徴に対する値の測定を行うことができる。PCA(主成分分析)を使用して、図11Cに示されている手のひらの方向1190を測定することができる。第1の段階では、対象物に物体の部分の位置(または点)が割り当てられる。第1の段階の前、および/または後に、観察可能な指先(センサマトリックスの感度ゾーン内にある)または手のひらなどの対象物の位置の推定は、低分解能マップ、例えば、図11Bのものから計算することができる。
【００９９】
適宜、監視されている物体の部分の位置を推定する段階は、最高の極値、すなわち、近接センサマトリックスに最も近いとして検出された対象物の部分/点を見つけることによって実行されうる。他のいくつかの実施形態では、クラスタ化アルゴリズムを適用し、類似の輝度パターンを持つ、適宜複数の規則に従うクラスタを決定する。これらの規則は、監視されている物体のサイズ、およびそのエッジに対する近接度、または許容可能な限界を定義する規則であるものとすることができる。
【０１００】
クラスタ化の結果の一例は、図13A〜13Bに示されている。図13Aは、センシング表面1301の上にユーザの手1302がかざされていることを示している。図13Bは、さらに処理をするために得られた対応する近接度マップイメージ1303を示している。セグメント化アルゴリズムが適用され、類似の高さ/近接度またはパターンのピクセル(センシングパッド)のセグメント(例えば、破線の円でマークされているセグメント1304、1305、および1306)を見つける。次いで、重心を計算することができる。
【０１０１】
発明者らは、図11Dに示されているような角度に基づく特徴集合により、手の状態または姿勢を決定することができることを発見した。角度特徴は、「ユーザに依存しない」と判明していることに留意されたい。
【０１０２】
特徴ベクトル内の要素の個数(見つかった角度の個数など)は変化しうることに留意されたい。特徴ベクトル内の要素の個数は、観察可能な指の数に対応する(等しい)。
【０１０３】
処理スキーム1200を再び参照すると、監視されている対象物を追跡するために追跡手順1250が実行されることがわかる。
【０１０４】
追跡手順1250は、監視されている対象物の近似的姿勢を発見する段階を含みうる。典型的には、姿勢は、対象物の部分のうちのいくつかの部分の正確な位置決めを含む。対象物が手である場合、手順への入力は、前の段階で抽出された特徴集合および観察可能な指先の位置である。追跡手順は、以下の2つのサブステップに分けられる。
【０１０５】
1)測定結果に最良適合する手の姿勢を発見する手順。この手順は、さらに2つの要素からなる。
【０１０６】
a)目に見える指(特定の高さより低く、関心領域(ROI)内にある)のタグを発見する段階。この時点で、学習HMM(隠れマルコフモデル)を使用したが、その原理はそれ自体知られており、したがって、詳しく説明する必要はない。このモデルは、32個の隠れ状態(hidden states)を含み、それぞれの状態は目に見える指の部分集合のタグ付けを表す(5本の指のそれぞれが、目に見えるか、または見えないので、32個の状態が必要である)。観察結果は、上述の抽出された特徴集合(例えば、量子化された角度)である。典型的な手の動きに合うように、標準のHMM学習ルーチンに従って状態間の遷移確率および観察結果出力確率(observation emissions probabilities)をオフラインで学習する。
【０１０７】
現在の隠れ状態の探索は、オンラインでビタビ探索を実行することによって行われる。現在の観察は、一連の観察を終了するものであると考えられ、それにより、ビタビ経路を見つける(最大確率を持つ経路)。所望の隠れ状態がこの経路の最後の状態になるように選択される。HMMモデルを使用すると、親指は典型的には手のひらに垂直なレベルで90°回転させることができるが、対照的に、他の指はより限られた形でしか回転できないような効果を考えることができることに留意されたい。このモデルは、典型的には、指先と手のひらとの間の距離で適宜表される、骨のサイズを含むことができる。
【０１０８】
b)タグを指定された指先位置とのマッチングを行う。Lを、タグが与えられる前の位置ベクトルとし、Cを、タグ付けなしの現在の位置ベクトルとする。LとCとの間に完全な二部グラフを構築する。ハンガリアン法を使用して、目的関数が距離の最小総和である、LとCとの間の最適なマッチを見つける。タグ付けは、その結果得られるマッチングに応じて与えられる。適宜、Lは、マッチングを安定させるために位置ではなく予測位置を含む。適宜、この予測は、後述のカルマンフィルタから与えられる。
【０１０９】
2)フィルタ処理により位置を平滑化するための手順。高さマップイメージ上の、重心を使用して計算した指先位置、すなわち補間は、ノイズのために、かなり粗い。いくつかの実施形態では、平滑化は、履歴位置との平均を取ることによって行われ、履歴位置について与えられる重みは速度の増分とともに減少する。他のいくつかの実施態様では、平滑化は、カルマンフィルタによって行われる。状態遷移行列は、
【０１１０】
【数１】
2012515966.tif 000003
【０１１１】
によって与えら、式中、Xは位置を表し、Vは速度を表し、Aは加速度を表し、Δtはtと(t+1)との時間差を表し、これはリフレッシュサイクル時間に対応する。
【０１１２】
この行列は、等加速度運動に対応する。人間の挙動における加速度は典型的に一定ではないが、カルマンフィルタにより、加速度変化をホワイトノイズとしてモデル化することができる。
【０１１３】
図12の上述の例は、いわゆる「物体に依存しない」処理技術に対応する。以下は、図15および16を参照しつつ説明されている、「物体に依存する」処理方法の一例となっている。
【０１１４】
この技術は、挙動が監視されている特定のユーザの特徴の値の学習セッションを利用する。手1501は、ユーザ固有の寸法を有し、学習セッションにおいて測定される矩形1502の集合体に分解される。それぞれの矩形は、特定の手の部分を表し、チューニング用にいくつかのパラメータを有している。これらのパラメータで、矩形の空間姿勢を記述し、例えば、手のひらの矩形1503は、x、y、z、α、β、およびγの6個のパラメータ(自由度6)を有し、それぞれの指骨1504はその原点指関節に関して1つまたは2つの空間角度(その原点が手のひらであるか、指骨であるかに依存する)、例えば、指骨の矩形1507に対する角度1506を有する(したがって、指骨の矩形には自由度1または2しかない)。全体として、手の姿勢を記述するパラメータの有限集合がある。
【０１１５】
この処理技術で、図16に例示されているようにこれらのパラメータをチューニングする。初期推定値を与え(方法を以下でさらに詳述する)、これにより対応する高さマップイメージを生成する。この生成は、電界モデルに従って行われる。そのように生成される高さマップ(「仮想」高さマップ)を、ある種の計量、例えば、ユークリッド計量を使用して実際の測定された高さマップ(入力デバイスから受け取る)と比較し、現在の実際の手の姿勢に対応する、最適なパラメータの値に向けて推定値をチューニングするためにパラメータ探索最適化器(例えば、滑降シンプレックス)を誘導する際の誤差の結果を与える。これらの探索は、パラメータ修正が十分に小さくなるまで繰り返し続ける。
【０１１６】
初期推定値が最適値に近いほど、探索の収束は高速になる。したがって、推定値は、前の手の姿勢のパラメータとみなされる。手の挙動は連続しているので、この推定値は、最適値にかなり近く、収束は、数ステップ以内になされる(依存すべき履歴のない最初の探索を除外する)。これは、ユーザからの初期の手の姿勢を要求することによって解決することもできる。
【０１１７】
このアプローチは、従来のイメージ処理が十分でない低解像度イメージを通じて挙動を監視するシナリオに適している。
【０１１８】
ユーザに依存する方法とユーザに依存しない方法の両方が、時間が経過しても、また異なるセッションであっても変化しない一意のIDを指毎に保持し、例えば、小指は常にID「1」、人さし指は常にID「4」、などとなることに留意されたい。これにより、指固有のジェスチャに対するプラットフォームが使用可能になる。
【０１１９】
本発明は、追跡されるIDの軌跡を調べる際にジェスチャ認識を利用することができる。1つまたは複数の軌跡がある種のジェスチャに関連付けられている予め定義されたパターンに適合する場合、対応するデータが生成される。例は、図14A〜14Bに示されている。図14Aでは、点1402および1403の2つのID集合が「ズームアウト」ジェスチャ1401に適合しているかどうかを検査する。2つのID軌跡の原点が閉じており(例えば、点1404と点1405との間の距離が2cm未満)、軌跡の方向(例えば、1402および1403)が互いからほぼ180°をなしている場合に、ズームアウトジェスチャが生成される。図14Bでは、点の1つのID集合が「OK」ジェスチャ1406に適合しているかどうかを検査する。2つの隣接する点(例えば、1408)から作られたセグメントの方向が、ある点1407までの角度の範囲内にあり、その点からの、2つの隣接する点から作られたセグメントの方向が他の角度範囲内にある場合に、「OK」ジェスチャが生成される。他の単純な形状軌跡は、ハフ変換を使用して認識することができる。より複雑なジェスチャ認識では、HMM(隠れマルコフモデル)として手書き文字認識の分野で知られている統計的学習手法を使用することができる。上述の方法のいくつかは、二次元空間の代わりに三次元空間内で方向および長さを考えることによって、3Dジェスチャ認識に拡張することができる。
【０１２０】
位置センサマトリックスでは、対象物のタッチを感知するためのタッチセンサ(タッチ型近接マトリックス)およびセンサからの視線内にある標準的なカメラを使用することができることに留意されたい。この実施形態では、手のイメージは、センサ上でホバリングしているときに分離され、このイメージをタッチセンサの座標系に変換する。このイメージは、対象物の表現用に使用され、タッチセンサは、タッチとホバリングとを弁別するために使用される。
【０１２１】
一般に、カメラは、近接マトリックスセンサと組み合わせて使用することができる。カメラの視界は、ユーザの手および平坦な表面などの予め定義された対象物への視線と交差し、処理モジュール/ユーティリティはその予め定義された対象物に関する手の挙動を監視し、解釈することができる。撮像装置とタッチ型近接センサマトリックスとの併用は、三次元座標空間に対応する測定データの生成を可能にし/改善するために利用することも可能である。
【０１２２】
本発明は、上述の物体の挙動を監視することに加えてタッチ型センサを対象物の1つまたは複数の部分で圧迫する効果を測定することを可能にすることができる。これは、シリコンなどの可撓性材料から作られた柔軟な層を近接検出器マトリックスの上に追加することによって行うことができる。そうすることで、柔軟な層の幅より小さいすべての測定された高さは、圧力値に変換されうる。
【符号の説明】
【０１２３】
9  ホストシステム
10  監視ユニット
12  データ入力モジュール
14  デジタルシグナルプロセッサ
16  測定データ
18  変換モジュール
20  出力データ
30  デバイス
32  近接センサマトリックス
40  ホスト電子システム
41A  コンピュータデバイス
41B  表示ユニット
42  データ入力ユニット
601  ユーザの指
603  パッド
604  コンデンサ
611  励起源(電源)
612  送信機パッド
613  受信機パッド
614  電気力線
701  2Dセンサマトリックス配置構成
702  アナログ増幅器
703  アナログ/デジタルコンバータ
704  CPU
705  送信機
706  センシングパッド
707  AC電源信号
811  電圧信号
812  センシング表面(例えば、単一パッドのセンシング表面)
813  電気力線
817  空間領域
819  セグメント
821  位置逸脱
851、855  電源ユニット
853  電界
854  フレーム
855  電圧源
901  センシングパッド
902  スイッチ
903  単一のインターフェイス
1001  配線
1003  スイッチ
1004  共通インターフェイス
1005  Dフリップフロップ
1006  パルス
1007  クロックパルス
1020  第1のDフリップフロップ
【図１Ａ】
2012515966.tif 000004
【図１Ｂ】
2012515966.tif 000005
【図２Ａ】
2012515966.tif 000006
【図２Ｂ】
2012515966.tif 000007
【図３】
2012515966.tif 000008
【図４】
2012515966.tif 000009
【図５Ａ】
2012515966.tif 000010
【図５Ｂ】
2012515966.tif 000011
【図５Ｃ】
2012515966.tif 000012
【図５Ｄ】
2012515966.tif 000013
【図６Ａ】
2012515966.tif 000014
【図６Ｂ】
2012515966.tif 000015
【図６Ｃ】
2012515966.tif 000016
【図６Ｄ】
2012515966.tif 000017
【図６Ｅ】
2012515966.tif 000018
【図７Ａ】
2012515966.tif 000019
【図７Ｂ】
2012515966.tif 000020
【図８Ａ】
2012515966.tif 000021
【図８Ｂ】
2012515966.tif 000022
【図９】
2012515966.tif 000023
【図１０】
2012515966.tif 000024
【図１１Ａ】
2012515966.tif 000025
【図１１Ｂ】
2012515966.tif 000026
【図１１Ｃ】
2012515966.tif 000027
【図１１Ｄ】
2012515966.tif 000028
【図１２】
2012515966.tif 000029
【図１３Ａ】
2012515966.tif 000030
【図１３Ｂ】
2012515966.tif 000031
【図１４Ａ】
2012515966.tif 000032
【図１４Ｂ】
2012515966.tif 000033
【図１５】
2012515966.tif 000034
【図１６】
2012515966.tif 000035
【国際調査報告】
2012515966.tif 000036
2012515966.tif 000037
2012515966.tif 000038