(57)【特許請求の範囲】
【請求項１】
各々が多軸の角速度を検出する複数の多軸角速度検出手段と、
前記複数の多軸角速度検出手段のうち１つの多軸角速度検出手段が検出した多軸角速度の出力を基準として、前記基準と他の複数の多軸角速度検出手段の各々が検出した多軸角速度の出力との複数の差分を、各々、各軸毎に相対値として出力する相対値出力手段と、
前記相対値出力手段から、各々、各軸毎に相対値として出力された前記複数の差分の時間変化のデータを１組のデータとして、ジェスチャーを認識するジェスチャー認識手段とを備え、
前記ジェスチャー認識手段は、前記１組のデータと、各々のジェスチャーに特徴的な相対値の時間変化を示すサンプルデータの組を予め格納しておくジェスチャー辞書手段に格納されるデータとを比較判定することで、ジェスチャーの認識を行うことを特徴とするジェスチャー入力装置。
【請求項２】
前記多軸角速度検出手段は、２軸角速度検出手段であることを特徴とする請求項１記載のジェスチャー入力装置。
【請求項３】
各々が多軸の加速度を検出する複数の多軸加速度検出手段と、
前記複数の多軸加速度検出手段のうち１つの多軸加速度検出手段が検出した多軸加速度の出力を基準として、前記基準と他の複数の多軸加速度検出手段の各々が検出した多軸加速度の出力との複数の差分を、各々、各軸毎に相対値として出力する相対値出力手段と、
前記相対値出力手段から、各々、各軸毎に相対値として出力された前記複数の差分の時間変化のデータを１組のデータとして、ジェスチャーを認識するジェスチャー認識手段とを備え、
前記ジェスチャー認識手段は、前記１組のデータと、各々のジェスチャーに特徴的な相対値の時間変化を示すサンプルデータの組を予め格納しておくジェスチャー辞書手段に格納されるデータとを比較判定することで、ジェスチャーの認識を行うことを特徴とするジェスチャー入力装置。
【請求項４】
前記多軸加速度検出手段は、２軸加速度検出手段であることを特徴とする請求項３記載のジェスチャー入力装置。
【請求項５】
前記基準となる検出手段に併設され、音波や光を用いて固定した部材と移動部材との相対的距離を検出する測長手段を更に備えることを特徴とする請求項１又は３に記載のジェスチャー入力装置。
【請求項６】
ジェスチャー認識対象の複数箇所の各箇所で多軸の角速度を検出する角速度検出工程と、
１つの箇所で検出した多軸の角速度を基準として、前記基準と他の複数の箇所で検出した多軸の角速度との複数の差分を、各々、各軸毎に相対値として出力する相対値出力工程と、
前記各々、各軸毎に相対値として出力された前記複数の差分の時間変化のデータを１組のデータとして、ジェスチャーを認識するジェスチャー認識工程とを備え、
前記ジェスチャー認識工程では、前記１組のデータと、予め記憶された各々のジェスチャーに特徴的な相対値の時間変化を示すサンプルデータの組とを比較判定することで、ジェスチャーの認識を行うことを特徴とするジェスチャー入力方法。
【請求項７】
ジェスチャー認識対象の複数箇所の各箇所で多軸の加速度を検出する加速度検出工程と、
１つの箇所で検出した多軸の加速度を基準として、前記基準と他の複数の箇所で検出した多軸の加速度との複数の差分を、各々、各軸毎に相対値として出力する相対値出力工程と、
前記各々、各軸毎に相対値として出力された前記複数の差分の時間変化のデータを１組のデータとして、ジェスチャーを認識するジェスチャー認識工程とを備え、
前記ジェスチャー認識工程では、前記１組のデータと、予め記憶された各々のジェスチャーに特徴的な相対値の時間変化を示すサンプルデータの組とを比較判定することで、ジェスチャーの認識を行うことを特徴とするジェスチャー入力方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は電子情報機器のヒューマン・インタフェース、特に指や掌，腕の動きを入力するジェスチャー入力方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来の電子情報機器のヒューマン・インタフェースは、キーボードやペン入力、画像及び音声入力など、種々の媒体を使って年々技術的な進歩を遂げてきている。将来のヒューマン・インタフェースとして期待されているものに、ジェスチャー入力が上げられる。人と人とのコミュニケーション手段においては、言語に次いでジェスチャーが重要であり、人と機械との間にも人に優しいヒューマン・インタフェースとしてジェスチャー入力が望まれる。
【０００３】
ジェスチャー入力装置としては、空中超音波を利用した３次元座標入力装置や、手の指にひずみゲージを取り付けたパワーグローブ（ファミコン用ツールの商品名）が知られている。また、手話を画像として入力し、画像処理により手話言語として認識する装置も存在する。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のジェスチャー入力装置には、通常、次のような問題がある。
（１）空中超音波の３次元座標入力装置は、音波の干渉を防ぐために複数点の座標を同時に入力することが難しく、指なら１つの指だけ、腕なら腕全体の動きしか入力が不可能である。また、音波の速度が遅いので、測長のための音波の到達時間が必要になり、高速なサンプリングが不可能である。従って、人のジェスチャーの動きを忠実に入力するには技術的に適していない。
【０００５】
（２）ひずみゲージを利用したパワーグローブの構成を用いれば、関節の曲りを検出できるので、ある程度ジェスチャーを認識可能であるが、忠実に関節の曲がりを検出できない点に問題がある。すなわち、指や手の関節の動きに追随して伸び縮みさせても、密着性や伸び縮みの幅、更に分解能の点で限界がある。
（３）画像処理技術を用いる方法は、カメラを向ければ良いので入力装置自体の物理的な自由度があり、処理スピードが上がればリアルタイムの入力も可能となる。但し、入力される画像データそのもののデータ量が大きく、画像データからジェスチャーを特定するための特徴データを抽出するのに膨大な演算能力と時間が必要となり、装置自体が大型で高価なものになってしまう。
【０００６】
本発明は、前記従来の欠点を除去し、ジェスチャー入力を簡単にしかも正確・高精度に行うことを可能とし、さらに、装置全体が小型で構成でき、ジェスチャー入力データ自体が小さいために高速な動作が可能となるジェスチャー入力方法及びその装置を提供する。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明のジェスチャー入力装置は、各々が多軸の角速度を検出する複数の多軸角速度検出手段と、前記複数の多軸角速度検出手段のうち１つの多軸角速度検出手段が検出した多軸角速度の出力を基準として、前記基準と他の複数の多軸角速度検出手段の各々が検出した多軸角速度の出力との複数の差分を、各々、各軸毎に相対値として出力する相対値出力手段と、前記相対値出力手段から、各々、各軸毎に相対値として出力された前記複数の差分の時間変化のデータを１組のデータとして、ジェスチャーを認識するジェスチャー認識手段とを備え、前記ジェスチャー認識手段は、前記１組のデータと、各々のジェスチャーに特徴的な相対値の時間変化を示すサンプルデータの組を予め格納しておくジェスチャー辞書手段に格納されるデータとを比較判定することで、ジェスチャーの認識を行うことを特徴とする。
又、各々が多軸の加速度を検出する複数の多軸加速度検出手段と、前記複数の多軸加速度検出手段のうち１つの多軸加速度検出手段が検出した多軸加速度の出力を基準として、前記基準と他の複数の多軸加速度検出手段の各々が検出した多軸加速度の出力との複数の差分を、各々、各軸毎に相対値として出力する相対値出力手段と、前記相対値出力手段から、各々、各軸毎に相対値として出力された前記複数の差分の時間変化のデータを１組のデータとして、ジェスチャーを認識するジェスチャー認識手段とを備え、前記ジェスチャー認識手段は、前記１組のデータと、各々のジェスチャーに特徴的な相対値の時間変化を示すサンプルデータの組を予め格納しておくジェスチャー辞書手段に格納されるデータとを比較判定することで、ジェスチャーの認識を行うことを特徴とする。
【０００８】
又、前記基準となる検出手段に併設され、音波や光を用いて固定した部材と移動部材との相対的距離を検出する測長手段を更に備える。
【０００９】
又、本発明のジェスチャー入力方法は、ジェスチャー認識対象の複数箇所の各箇所で多軸の角速度を検出する角速度検出工程と、１つの箇所で検出した多軸の角速度を基準として、前記基準と他の複数の箇所で検出した多軸の角速度との複数の差分を、各々、各軸毎に相対値として出力する相対値出力工程と、前記各々、各軸毎に相対値として出力された前記複数の差分の時間変化のデータを１組のデータとして、ジェスチャーを認識するジェスチャー認識工程とを備え、前記ジェスチャー認識工程では、前記１組のデータと、予め記憶された各々のジェスチャーに特徴的な相対値の時間変化を示すサンプルデータの組とを比較判定することで、ジェスチャーの認識を行うことを特徴とする。
又、ジェスチャー認識対象の複数箇所の各箇所で多軸の加速度を検出する加速度検出工程と、１つの箇所で検出した多軸の加速度を基準として、前記基準と他の複数の箇所で検出した多軸の加速度との複数の差分を、各々、各軸毎に相対値として出力する相対値出力工程と、前記各々、各軸毎に相対値として出力された前記複数の差分の時間変化のデータを１組のデータとして、ジェスチャーを認識するジェスチャー認識工程とを備え、前記ジェスチャー認識工程では、前記１組のデータと、予め記憶された各々のジェスチャーに特徴的な相対値の時間変化を示すサンプルデータの組とを比較判定することで、ジェスチャーの認識を行うことを特徴とする。
【００１０】
【実施例】
図１に本実施例のジェスチャー入力装置の概略の構成を示す。
演算制御回路１は、コード化されたジェスチャー・データが入力され、いずれのジェスチャーかを判定し、判定されたジェスチャーに割り付けられた処理を実現する。差分サンプリング回路２は、２軸加速度センサ３の基準となるセンサ（例えば３ａ）とその他のセンサ（３ｂまたは３ｃ）との出力値の差を所定の時間内でサンプリングし、コード化したジェスチャー・データに変換して出力する。ここで、所定の時間とは、演算制御回路１からスタートとストップとのタイミングを差分サンプリング回路２へ出力しても良いし、２軸加速度センサ３の出力値のあるしきい値を超えた範囲を所定時間としたり、別途スタートとストップとの信号を発生するスイッチング手段を設けるなどして、時間幅を設定する。ここで、２軸加速度センサは１軸加速度センサを組合わせることで構成されることは既知である。
【００１１】
演算制御回路１がいずれのジェスチャーかを判定する際には、基準となるジェスチャーの基準コード化データをジェスチャー辞書４に保管しておき、差分サンプリング回路２の出力データとジェスチャー辞書４の保管データとを比較判定することで、より正確で豊富なジェスチャー判定が可能となる。尚、演算制御回路１は、例えば、演算制御用のＣＰＵと、ＣＰＵの制御手順あるいはスタートとストップ時間やしきい値等を格納するＲＯＭと、入力データの保存や比較判定時に使用される補助記憶用のＲＡＭとを含んで構成される。尚、適切なコード化したジェスチャー・データが入力されれば、ジェスチャー辞書４の保管データの最適化や、演算制御回路１での比較判定処理の手順は容易なので、ここでは詳細な説明はしない。
【００１２】
前記差分サンプリング回路２により２軸加速度センサ３の出力をコード化データに変換する方法、すなわち、センサ差分出力値の処理方法（抽出・選択方法）の幾つかの例を次に示す。
例１：センサ差分出力値を選択する。
例２：センサ差分出力値の中心周波数成分を選択する。
【００１３】
例３：センサ差分出力値があるしきい値を超えた範囲＝所定時間の幅（時間）を選択する。
例４：センサ差分出力値の積分値、或は、２回積分値を選択する。
例５：センサ差分出力値の最大値、或は、センサ差分出力の積分値、２回積分値の最大値を選択する。
【００１４】
差分サンプリング回路２で以上の様な処理の一部か全ての処理を行い、２軸加速度センサ３の出力をディジタルデータにコード化した出力値に変換する。本実施例においては、２軸加速度センサ３ａと３ｂ、及び２軸加速度センサ３ａと３ｃの２通りの組み合わせの差分出力の２軸分、計４種類の出力値を演算制御回路１に出力する。
【００１５】
図２に、本実施例を実際にコンピュータのインタフェースに応用した例を示す。
基準となる２軸加速度センサ３ａを掌に取り付け、残りの２センサ３ｃ，３ｂを人差し指と中指に設置する。２軸加速度センサ３の内の１軸は、掌の面に垂直な方向の加速度を検出するように配置し、もう１軸は掌に平行な方向の加速度を検出するように配置する。手の動きは指の動きであり、指の動きは手を握る・開く動きと、指の間を閉じる・開く動きとに分割して表現できるので、前記配置で手のジェスチャーを表現することが可能である。
【００１６】
しかし、通常の手話を考慮すると、手の動きだけを入力するだけでは不充分である。すなわち、腕全体の動きも抽出・入力する必要がある。図３にもうひとつの応用例を示す。尚、２軸加速度センサは同じ参照番号を付しているが、前記図２の配置と本図３の配置とは本質的には独立であり、判定されるジェスチャーに応じて多段に組合わされる。しかし、同一部位に設置された２軸加速度センサは、他段で共有されるのが好ましい。
【００１７】
基準となる２軸加速度センサ３ａを肩に取り付け、残りの２センサ３ｂ，３ｃを手首と人差し指に設置する。２軸加速度センサ３の内の１軸は図示の体の正面方向の加速度を検出するように配置し、もう１軸はそれに垂直な方向の加速度を検出するように配置する。前記配置で腕全体のジェスチャーを表現することが可能である。
【００１８】
いずれの構成においても、人のジェスチャー（＝動き）は関節の動きを伴っており、関節の動きは個々の関節により特定の方向にしか曲らないために、３次元方向の動きを検出する必要がない。腕全体や上半身、体全体の様に全体の動きを表現しようとすればするほど、多数の関節の動きを表現する必要があるために、複数段に前記ジェスチャー入力装置を組み合わせていく必要があるが、検出は容易である。
【００１９】
動きの検出手段として加速度センサを用いた利点として、第一にサンプリング・スピードの高速化がある。デバイス単体で加速度に応じた出力が得られるので、音波などを用いた３次元座標入力装置のように音波の伝播時間分の遅れがない。第２に、ジェスチャーの動きに対して、正確で高精度な出力が得られる。正確とは、指や腕の動きに正しく追随するので、ひずみゲージを手に付ける場合に問題であった『手の実際の動きからのズレ』が生じない。また、高精度とは、細かくセンサを配置すれば細かい指それぞれの動きについてもジェスチャー入力でき、人差し指と中指の動きの違いも判定可能となる。第３に、手や腕等、体に設置する要素を小型に構成することが可能となる。加速度センサはＩＣ程度の大きさのものが市販されており消費電力も小さい。大型のセンサで体を動かすことに、不自由さの感覚を与えてはならない。第４に最も重要な点であるが、ジェスチャーをコード化したデータに変換する場合、最小限の大きさに圧縮する変換がしやすいことが上げられる。従って、３次元座標でジェスチャーを入力する場合、得られるデータは刻一刻と変化する座標データの集合体であり、ジェスチャーを座標データで表現するには、細かなサンプリングが必要になる。しかし、加速度を用いると座標データの微分データを処理することから、時間に対しての次数が減るために、数学的に簡単なデータとしての処理が可能となる。すなわち、検出されるデータ量を考えると微分型センサが望ましい。
【００２０】
上記４点の利点の面から、加速度センサと同じ利点を持つ角速度センサ（ジャイロ）を検出手段として用いても良い。但し、検出するのが角速度であるため、設置方法は若干違ってくる。図２と同様、手のジェスチャーを入力する場合、２軸の内の１軸は手首から中指先端の方向を中心軸としてその周囲を回転する方向を検出する角度に設置し、残りの１軸を手を握る方向の角速度を検出する角度で設置して、実際の動きを現せるように設置する。腕のジェスチャー（図３参照）の場合も同様である。さらに、差分サンプリング回路２によりコード化データに変換する方法、すなわち、センサ差分出力値の処理方法（抽出・選択方法）も若干異なる。
【００２１】
前記例１〜３までは同じだが、例４，５は次の通りとなる。
例４：センサ差分出力値の積分値を選択する。
例５：センサ差分出力値の最大値、或は、センサ差分出力値の積分値最大値を選択する。
センサ差分出力値の２回積分値の値は速度の２回積分となり、意味を持たないので処理方法には含まれない。
【００２２】
さらに、差分出力を用いる利点についても説明する。すなわち、図２において、手のジェスチャーのみを抽出する時に、掌が体に対して、或は、コンピュータ（ジェスチャー入力したい情報機器）に対して、いずれの方向を向いているか、または、どんな動きをしているかを検出する必要、すなわち、手の絶対座標を入力する必要はない。とはいっても、入力する際、指だけ動かして掌全体は動かないように操作するのも大変である。つまり、必要な動きのみを検出するために差分処理が必要で、指の動きを入力したい場合は基準センサを掌に、腕の動きの場合は肩に、上半身の場合は腰に付けるなどして、ジェスチャーの動きのうち入力に最小限必要なデータだけを取り出すのに適している。
【００２３】
図５は、差分サンプリング回路２の構成例を示す回路図である。
２１ａ及び２１ｂは、＋入力端子の入力から−入力端子の入力を引いて、その差分を出力する差分回路、２２ａ及び２２ｂは、アナログデータをデジタルデータに変換するＡ／Ｄ変換器である。本例では、センサ３ａを基準にして、センサ３ｂ及び３ｃの差分デジタル出力（ａｂ差分，ａｃ差分）を得る構成となっている。
【００２４】
演算制御回路１からは、サンプリングのスタートのタイミングを知らせる。サンプリングの周期は、自励でＡ／Ｄ変換器２２ｂ，２２ｃ自体が内部にタイマを持っていても良いし、演算制御回路１からサンプリングの同期信号（トリガ）を送っても良い。出力するデジタル出力（ａｂ差分，ａｃ差分）は、時間的に連続・半無限のデータ列でも良いが、本例では、処理の容易さを考慮して４ビット／１サンプリングのデータのｎ回分のデータ列を認識する構成とした（図６参照）。尚、ストップのタイミングをセンサ側から送る構成（例えばスイッチ等設けて）とすれば、スタートからストップまでのデータ列を規格化（正規化）して、別のフォーマットのデータに変換してから認識しても良い。
【００２５】
図６は、図３のセンサ配置でジェスチャー入力する構成の場合に、ジェスチャー辞書４に格納される、ジェスチャーと差分出力データ（ａｂ差分，ａｃ差分）、及び判定出力（コマンド）との関係を示したテーブル例である。
前述したように、データは、４ビット／１サンプリングの４回分のデータ列を単位として、認識される。図中の差分出力データは、ジェスチャー辞書に格納してある典型的（特徴的）なジェスチャーに対応した出力データであり、認識処理では、図中の辞書の中で最も近いものを入力されたジェスチャーと判定する。図３では２軸分のセンサを設けており、１軸は取り付けた面に垂直方向で、もう１軸は水平にして横に振る方向としている。従って、手の指の甲に取り付けたセンサ（３ｃ）の場合、垂直軸差分出力とは手の甲に垂直な方向であり、水平磁区差分出力とは親指と小指を結ぶ方向である。図では、分かりやすいジェスチャー、すなわち出力データの差がつきやすいものを示したが、それでも、掌の向ける方向や回す方向（時計周りかどうか）、振る方向等でジェスチャーを簡単に増やせることが判る。
【００２６】
更にセンサ設置箇所を増やしたり、もう一方の腕に同じ構成で別のセンサを取り付けたりすることで、表現できるジェスチャーが無限に増えるのは自明である。また、センサ３ａを基準にして３ｂと３ｃそれぞれの差分出力としたが、３ａと３ｂ、３ｂと３ｃの差分をとる構成としてもよい。
【００２７】
【他の実施例】
本発明のジェスチャー入力装置の他の実施例について、図４を使って説明する。
手のジェスチャーを入力する場合、先にも述べたように指の動きを入力するのがあくまでも主体であるが、コンピュータに対して掌全体が近づいたり遠ざかったりする動きが入力できれば、入力できるジェスチャー種もさらに増加する。そのために、図４では、コンピュータと検出部６との距離を測長する距離センサ５を設ける。距離センサ５は、超音波センサや磁気センサ等を用いた比較的精度が劣るもので良く、基準となる２軸加速度センサ３ａとほぼ同じ位置に設置すれば良い。従来の３次元座標入力装置では、３次元の位置を入力する必要があったが、ジェスチャー入力の目的から考えれば、１次元の測長データのみで十分である。
【００２８】
尚、本実施例では２軸加速度センサ、あるいは２軸角速度センサを使用したが、これは手、あるいは腕等の動きが２軸で充分分析できるためであり、更に詳細な動きの分析や２軸では不充分な場合は、さらに他軸のセンサを使用すればよい。
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。
【００２９】
【発明の効果】
以上説明したように、基準の多軸の加速度センサ、或は、多軸の角速度センサの出力に対する、複数の多軸の加速度センサ、或は、多軸の角速度センサの出力との複数の差分の時間変化のデータを１組のデータとして、予め記憶された各々のジェスチャーに特徴的な相対値の時間変化を示すサンプルデータの組と比較判定することで、ジェスチャーを認識することにより、ジェスチャー入力を簡単にしかも正確・高精度に行うことが可能となり、さらに、装置全体が小型で構成でき、ジェスチャー入力データ自体が小さいため高速な動作が可能となるジェスチャー入力方法及びその装置を提供できる。
【図面の簡単な説明】
【図１】本実施例のジェスチャー入力装置のブロック構成図である。
【図２】本実施例のジェスチャー入力装置の使用形態例を示す図である。
【図３】本実施例のジェスチャー入力装置のもう１つの使用形態例を示す図である。
【図４】他の実施例のジェスチャー入力装置のブロック構成図である。
【図５】本実施例の差分サンプリング回路の構成例を示す回路図である。
【図６】ジェスチャー辞書４に格納されるジェスチャーと差分出力データ（ａｂ差分，ａｃ差分）及び判定出力（コマンド）との関係を示したテーブル例を示す図である。
【符号の説明】
１  演算制御回路
２  差分サンプリング回路
３  ２軸加速度センサ
４  ジェスチャー辞書
５  距離センサ
６  検出部
【図１】
0003630712.tif 000002
【図２】
0003630712.tif 000003
【図３】
0003630712.tif 000004
【図４】
0003630712.tif 000005
【図５】
0003630712.tif 000006
【図６】
0003630712.tif 000007