(57)【要約】  本開示の方法および装置は、複数の記録されたデータオブジェクトのジェスチャオブジェクトのジェスチャを認識するために提示され、記録されたデータオブジェクトは、時間の経過とともに記録される。一部の実施形態では、方法は、複数の記録されたデータオブジェクトを使用して、ジェスチャ角度の少なくとも1つの組を計算するステップであって、少なくとも1つの組のジェスチャ角度の各々は、ジェスチャオブジェクトの2つの位置の間の角度測定を含み、2つの位置は、複数の記録されたデータオブジェクトの連続するデータオブジェクトに記録されるステップと、ジェスチャ角度の少なくとも1つの組に基づいてジェスチャを認識するステップとを含む。一部の実施形態では、方法は、ジェスチャを認識するステップが、ジェスチャ角度の少なくとも1つの組をジェスチャモデルと比較することにさらに基づくことを含む。
2016534480.tif 000002
【特許請求の範囲】
【請求項１】
複数の記録されたデータオブジェクトのジェスチャオブジェクトのジェスチャを認識するための方法であって、前記記録されたデータオブジェクトは、時間の経過とともに記録され、前記方法は、
前記複数の記録されたデータオブジェクトを使用して、ジェスチャ角度の少なくとも1つの組を計算するステップであって、前記少なくとも1つの組の前記ジェスチャ角度の各々は、前記ジェスチャオブジェクトの2つの位置の間の角度測定を含み、前記2つの位置は、前記複数の記録されたデータオブジェクトの連続するデータオブジェクトに記録される、ステップと、
ジェスチャ角度の前記少なくとも1つの組に基づいて前記ジェスチャを認識するステップと
を含む方法。
【請求項２】
前記ジェスチャを認識するステップは、ジェスチャ角度の前記少なくとも1つの組をジェスチャモデルと比較するステップにさらに基づく請求項1に記載の方法。
【請求項３】
ジェスチャ角度の前記少なくとも1つの組に基づいて角度の頻度を表すヒストグラムを計算するステップをさらに含み、前記ジェスチャを認識するステップは、各々が認識可能なジェスチャを表す1つまたは複数のヒストグラムとの前記計算されたヒストグラムの比較にさらに基づく、請求項1に記載の方法。
【請求項４】
ジェスチャ角度の前記少なくとも1つの組は、時系列である請求項1に記載の方法。
【請求項５】
ジェスチャ角度の前記少なくとも1つの時系列の組は、ジェスチャ角度の第1の時系列の組およびジェスチャ角度の第2の時系列の組をさらに含み、ジェスチャ角度の前記第2の時系列の組は、ジェスチャ角度の前記第1の時系列の組の下位区分を含む請求項4に記載の方法。
【請求項６】
前記ジェスチャを認識するステップは、
ジェスチャ角度の前記第1の時系列の組をジェスチャモデルと比較するステップと、
ジェスチャ角度の前記第2の時系列の組を前記ジェスチャモデルの第1の下位区分と比較するステップと
にさらに基づく請求項5に記載の方法。
【請求項７】
ジェスチャ角度の前記少なくとも1つの時系列の組は、ジェスチャ角度の第3の時系列の組をさらに含み、ジェスチャ角度の前記第3の時系列の組は、ジェスチャ角度の前記第2の時系列の組の下位区分を含む請求項6に記載の方法。
【請求項８】
前記ジェスチャを認識するステップは、ジェスチャ角度の前記第3の時系列の組を前記ジェスチャモデルの前記第1の下位区分の下位区分と比較するステップにさらに基づく請求項7に記載の方法。
【請求項９】
ジェスチャ角度の前記少なくとも1つの時系列の組は、ジェスチャ角度の第3の時系列の組をさらに含み、ジェスチャ角度の前記第3の時系列の組は、ジェスチャ角度の前記第2の時系列の組を含むジェスチャ角度のいずれも含まないジェスチャ角度の前記第1の時系列の組の下位区分を含む請求項6に記載の方法。
【請求項１０】
前記ジェスチャを認識するステップは、ジェスチャ角度の前記第3の時系列の組を前記ジェスチャモデルの前記第1の下位区分のいずれも含まない前記ジェスチャモデルの第2の下位区分と比較するステップにさらに基づく請求項9に記載の方法。
【請求項１１】
前記ジェスチャを認識するステップは、
時系列のジェスチャ角度の連結された組を生成するために、ジェスチャ角度の前記第2の時系列の組をジェスチャ角度の前記第3の時系列の組に連結するステップと、
前記ジェスチャモデルの連結された下位区分を生成するために、前記ジェスチャモデルの前記第1の下位区分を前記ジェスチャモデルの前記第2の下位区分に連結するステップと、
時系列のジェスチャ角度の前記連結された組を前記ジェスチャモデルの前記連結された下位区分と比較するステップと
にさらに基づく請求項10に記載の方法。
【請求項１２】
前記ジェスチャモデルは、前記ジェスチャオブジェクトの前記ジェスチャを認識する前に生成されたジェスチャ角度の少なくとも1つのトレーニングされた時系列の組を含む請求項2に記載の方法。
【請求項１３】
時間の経過とともに複数のデータオブジェクトにジェスチャオブジェクトを記録するように構成された少なくとも1つの記録デバイスと、
前記複数の記録されたデータオブジェクトを使用して、ジェスチャ角度の少なくとも1つの組を計算し、
ジェスチャ角度の前記少なくとも1つの組に基づいてジェスチャを認識する
ように構成され、前記少なくとも1つの組の前記ジェスチャ角度の各々は、前記ジェスチャオブジェクトの2つの位置の間の角度測定を含み、前記2つの位置は、前記複数の記録されたデータオブジェクトの連続するデータオブジェクトに記録される、プロセッサと
を含む装置。
【請求項１４】
前記プロセッサは、ジェスチャ角度の前記少なくとも1つの組をジェスチャモデルと比較するようにさらに構成される請求項13に記載の装置。
【請求項１５】
前記プロセッサは、ジェスチャ角度の前記少なくとも1つの組に基づいて角度の頻度を表すヒストグラムを計算するようにさらに構成され、前記プロセッサは、前記ジェスチャが、各々が認識可能なジェスチャを表す1つまたは複数のヒストグラムとの前記計算されたヒストグラムの比較に基づくことを認識するように構成されている請求項13に記載の装置。
【請求項１６】
ジェスチャ角度の前記少なくとも1つの組は、時系列である請求項13に記載の装置。
【請求項１７】
ジェスチャ角度の前記少なくとも1つの時系列の組は、ジェスチャ角度の第1の時系列の組およびジェスチャ角度の第2の時系列の組をさらに含み、ジェスチャ角度の前記第2の時系列の組は、ジェスチャ角度の前記第1の時系列の組の下位区分を含む請求項16に記載の装置。
【請求項１８】
前記プロセッサは、
ジェスチャ角度の前記第1の時系列の組をジェスチャモデルと比較し、
ジェスチャ角度の前記第2の時系列の組を前記ジェスチャモデルの第1の下位区分と比較する
ようにさらに構成されている請求項17に記載の装置。
【請求項１９】
ジェスチャ角度の前記少なくとも1つの時系列の組は、ジェスチャ角度の第3の時系列の組をさらに含み、ジェスチャ角度の前記第3の時系列の組は、ジェスチャ角度の前記第2の時系列の組の下位区分を含む請求項18に記載の装置。
【請求項２０】
前記プロセッサは、ジェスチャ角度の前記第3の時系列の組を前記ジェスチャモデルの前記第1の下位区分の下位区分と比較するようにさらに構成される請求項19に記載の装置。
【請求項２１】
ジェスチャ角度の前記少なくとも1つの時系列の組は、ジェスチャ角度の第3の時系列の組をさらに含み、ジェスチャ角度の前記第3の時系列の組は、ジェスチャ角度の前記第2の時系列の組を含むジェスチャ角度のいずれも含まないジェスチャ角度の第1の時系列の組の下位区分を含む請求項18に記載の装置。
【請求項２２】
前記プロセッサは、ジェスチャ角度の前記第3の時系列の組を前記ジェスチャモデルの前記第1の下位区分のいずれも含まない前記ジェスチャモデルの第2の下位区分と比較するようにさらに構成される請求項21に記載の装置。
【請求項２３】
前記プロセッサは、
時系列のジェスチャ角度の連結された組を生成するために、ジェスチャ角度の前記第2の時系列の組をジェスチャ角度の前記第3の時系列の組に連結し、
前記ジェスチャモデルの連結された下位区分を生成するために、前記ジェスチャモデルの前記第1の下位区分を前記ジェスチャモデルの前記第2の下位区分に連結し、
時系列のジェスチャ角度の前記連結された組を前記ジェスチャモデルの前記連結された下位区分と比較する
ようにさらに構成される請求項22に記載の装置。
【請求項２４】
前記ジェスチャモデルは、前記ジェスチャオブジェクトの前記ジェスチャを認識する前に生成されたジェスチャ角度の少なくとも1つのトレーニングされた時系列の組を含む請求項14に記載の装置。
【請求項２５】
複数の記録されたデータオブジェクトのジェスチャオブジェクトのジェスチャを認識するための装置であって、前記記録されたデータオブジェクトは、時間の経過とともに記録され、前記装置は、
前記複数の記録されたデータオブジェクトを使用して、ジェスチャ角度の少なくとも1つの組を計算するための手段であって、前記少なくとも1つの組の前記ジェスチャ角度の各々は、前記ジェスチャオブジェクトの2つの位置の間の角度測定を含み、前記2つの位置は、前記複数の記録されたデータオブジェクトの連続するデータオブジェクトに記録される、手段と、
ジェスチャ角度の前記少なくとも1つの組に基づいて前記ジェスチャを認識するための手段と
を含む装置。
【請求項２６】
前記ジェスチャを認識するための前記手段は、ジェスチャ角度の前記少なくとも1つの組をジェスチャモデルと比較するための手段にさらに基づく請求項25に記載の装置。
【請求項２７】
ジェスチャ角度の前記少なくとも1つの組に基づいて角度の頻度を表すヒストグラムを計算するための手段をさらに含み、前記ジェスチャを認識するための前記手段は、各々が認識可能なジェスチャを表す1つまたは複数のヒストグラムとの前記計算されたヒストグラムの比較にさらに基づく、請求項25に記載の装置。
【請求項２８】
ジェスチャ角度の前記少なくとも1つの組は、時系列である請求項25に記載の装置。
【請求項２９】
ジェスチャ角度の前記少なくとも1つの時系列の組は、ジェスチャ角度の第1の時系列の組およびジェスチャ角度の第2の時系列の組をさらに含み、ジェスチャ角度の前記第2の時系列の組は、ジェスチャ角度の前記第1の時系列の組の下位区分を含む請求項28に記載の装置。
【請求項３０】
前記ジェスチャを認識するための前記手段は、
ジェスチャ角度の前記第1の時系列の組をジェスチャモデルと比較するための手段と、
ジェスチャ角度の前記第2の時系列の組を前記ジェスチャモデルの第1の下位区分と比較するための手段と
にさらに基づく請求項29に記載の装置。
【請求項３１】
ジェスチャ角度の前記少なくとも1つの時系列の組は、ジェスチャ角度の第3の時系列の組をさらに含み、ジェスチャ角度の前記第3の時系列の組は、ジェスチャ角度の前記第2の時系列の組の下位区分を含む請求項30に記載の装置。
【請求項３２】
前記ジェスチャを認識するための前記手段は、ジェスチャ角度の前記第3の時系列の組を前記ジェスチャモデルの前記第1の下位区分の下位区分と比較するための手段にさらに基づく請求項31に記載の装置。
【請求項３３】
ジェスチャ角度の前記少なくとも1つの時系列の組は、ジェスチャ角度の第3の時系列の組をさらに含み、ジェスチャ角度の前記第3の時系列の組は、ジェスチャ角度の前記第2の時系列の組を含むジェスチャ角度のいずれも含まないジェスチャ角度の前記第1の時系列の組の下位区分を含む請求項30に記載の装置。
【請求項３４】
前記ジェスチャを認識するための前記手段は、ジェスチャ角度の前記第3の時系列の組を前記ジェスチャモデルの前記第1の下位区分のいずれも含まない前記ジェスチャモデルの第2の下位区分と比較するための手段にさらに基づく請求項33に記載の装置。
【請求項３５】
前記ジェスチャを認識するための前記手段は、
時系列のジェスチャ角度の連結された組を生成するために、ジェスチャ角度の前記第2の時系列の組をジェスチャ角度の前記第3の時系列の組に連結するための手段と、
前記ジェスチャモデルの連結された下位区分を生成するために、前記ジェスチャモデルの前記第1の下位区分を前記ジェスチャモデルの前記第2の下位区分に連結するための手段と、
時系列のジェスチャ角度の前記連結された組を前記ジェスチャモデルの前記連結された下位区分と比較するための手段と
にさらに基づく請求項34に記載の装置。
【請求項３６】
前記ジェスチャモデルは、前記ジェスチャオブジェクトの前記ジェスチャを認識する前に生成されたジェスチャ角度の少なくとも1つのトレーニングされた時系列の組を含む請求項26に記載の装置。
【請求項３７】
プロセッサに、
時間の経過とともに複数のデータオブジェクトにジェスチャオブジェクトを記録し、
前記複数の記録されたデータオブジェクトを使用して、ジェスチャ角度の少なくとも1つの組を計算し、
ジェスチャ角度の前記少なくとも1つの組に基づいてジェスチャを認識する
ことを実行させるように構成されたプロセッサで読み取り可能な命令を含み、前記少なくとも1つの組の前記ジェスチャ角度の各々は、前記ジェスチャオブジェクトの2つの位置の間の角度測定を含み、前記2つの位置は、前記複数の記録されたデータオブジェクトの連続するデータオブジェクトに記録される、非一時的なプロセッサで読み取り可能な記録媒体。
【請求項３８】
前記命令は、前記プロセッサに、ジェスチャ角度の前記少なくとも1つの組をジェスチャモデルと比較することを実行させるようにさらに構成される請求項37に記載の非一時的なプロセッサで読み取り可能な記録媒体。
【請求項３９】
前記命令は、前記プロセッサに、ジェスチャ角度の前記少なくとも1つの組に基づいて角度の頻度を表すヒストグラムを計算することを実行させるようにさらに構成され、前記ジェスチャを認識するように構成された前記プロセッサは、各々が認識可能なジェスチャを表す1つまたは複数のヒストグラムとの前記計算されたヒストグラムの比較に基づく請求項37に記載の非一時的なプロセッサで読み取り可能な記録媒体。
【請求項４０】
ジェスチャ角度の前記少なくとも1つの組は、時系列である請求項37に記載の非一時的なプロセッサで読み取り可能な記録媒体。
【請求項４１】
ジェスチャ角度の前記少なくとも1つの時系列の組は、ジェスチャ角度の第1の時系列の組およびジェスチャ角度の第2の時系列の組をさらに含み、ジェスチャ角度の前記第2の時系列の組は、ジェスチャ角度の前記第1の時系列の組の下位区分を含む請求項40に記載の非一時的なプロセッサで読み取り可能な記録媒体。
【請求項４２】
前記命令は、前記プロセッサに、
ジェスチャ角度の前記第1の時系列の組をジェスチャモデルと比較し、
ジェスチャ角度の前記第2の時系列の組を前記ジェスチャモデルの第1の下位区分と比較する
ことを実行させるようにさらに構成される請求項41に記載の非一時的なプロセッサで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般的に、ユーザデバイスまたはシステムに関し、より具体的には、ジェスチャ認識に関する。
【背景技術】
【０００２】
技術は、非接触での人間と機械の対話に向けて急速に進んでいる。キーまたはボタンを押下することは必要とされない場合があるが、しかし、むしろ人間と機械の対話は、ジェスチャを介して達成され得る。現在使用可能ないくつかのジェスチャ認識システムは、事前にプログラムされた限られた数のジェスチャを認識することができる。これらの事前にプログラムされたジェスチャは、たとえば、一連のヒューリスティックを使用して、ジェスチャに関して事前にプログラムされた特性の組を認識することに基づいて、機械によって認識可能な場合がある。しかしながら、これらの手法には、ジェスチャの各々に対してヒューリスティックを事前にプログラムする必要がある、新しいジェスチャを生成する能力がないなど、いくつかの短所がある。場合によっては、ジェスチャ認識技術を前もって精巧に調整する必要があり、厄介な時間調整および較正が必要となる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、当技術分野において、ジェスチャを認識するための改善された方法およびシステムに対するニーズがある。
【課題を解決するための手段】
【０００４】
ジェスチャ認識システムの自動化されたトレーニングのための方法およびシステムが提示される。一部の実施形態では、システムは、前述のジェスチャを検出するためのルールまたはヒューリスティックを事前にプログラムする必要なくジェスチャを検出するようにトレーニングされ得る。トレーニングデータを介してジェスチャを学習したら、システムは、次に、実際の環境において前述のジェスチャを検出することができる。
【０００５】
一部の実施形態では、複数の記録されたデータオブジェクトにおいてジェスチャオブジェクトのジェスチャを認識するための方法が提示され、記録されたデータオブジェクトは、時間の経過とともに記録される。方法は、複数の記録されたデータオブジェクトを使用して、ジェスチャ角度の少なくとも1つの組を計算するステップを含むことができ、少なくとも1つの組のジェスチャ角度の各々は、ジェスチャオブジェクトの2つの位置の間の角度測定を含み、2つの位置は、複数の記録されたデータオブジェクトの連続するデータオブジェクトに記録される。方法は、また、ジェスチャ角度の少なくとも1つの組に基づいてジェスチャを認識するステップを含むことができる。一部の実施形態では、ジェスチャを認識するステップは、ジェスチャ角度の少なくとも1つの組をジェスチャモデルと比較することにさらに基づく。
【０００６】
一部の実施形態では、方法は、ジェスチャ角度の少なくとも1つの組に基づいて角度の頻度を表すヒストグラムを計算するステップをさらに含み、ジェスチャを認識するステップは、各々が認識可能なジェスチャを表す1つまたは複数のヒストグラムとの計算されたヒストグラムの比較にさらに基づく。
【０００７】
一部の実施形態では、ジェスチャ角度の少なくとも1つの組は、時系列である。一部の実施形態では、ジェスチャ角度の少なくとも1つの時系列の組は、ジェスチャ角度の第1の時系列の組およびジェスチャ角度の第2の時系列の組をさらに含み、ジェスチャ角度の第2の時系列の組は、ジェスチャ角度の第1の時系列の組の下位区分を含む。一部の実施形態では、ジェスチャを認識するステップは、ジェスチャ角度の第1の時系列の組をジェスチャモデルと比較するステップと、ジェスチャ角度の第2の時系列の組をジェスチャモデルの第1の下位区分と比較するステップとにさらに基づく。一部の実施形態では、ジェスチャ角度の少なくとも1つの時系列の組は、ジェスチャ角度の第3の時系列の組をさらに含み、ジェスチャ角度の第3の時系列の組は、ジェスチャ角度の第2の時系列の組の下位区分を含む。一部の実施形態では、ジェスチャを認識するステップは、ジェスチャ角度の第3の時系列の組をジェスチャモデルの第1の下位区分の下位区分と比較するステップにさらに基づく。
【０００８】
一部の実施形態では、ジェスチャ角度の少なくとも1つの時系列の組は、ジェスチャ角度の第3の時系列の組をさらに含み、ジェスチャ角度の第3の時系列の組は、ジェスチャ角度の第2の時系列の組に含まれるジェスチャ角度のいずれも含まないジェスチャ角度の第1の時系列の組の下位区分を含む。一部の実施形態では、ジェスチャを認識するステップは、ジェスチャ角度の第3の時系列の組をジェスチャモデルの第1の下位区分のいずれも含まないジェスチャモデルの第2の下位区分と比較するステップにさらに基づく。一部の実施形態では、ジェスチャを認識するステップは、時系列のジェスチャ角度の連結された組を生成するために、ジェスチャ角度の第2の時系列の組をジェスチャ角度の第3の時系列の組に連結するステップと、ジェスチャモデルの連結された下位区分を生成するために、ジェスチャモデルの第1の下位区分をジェスチャモデルの第2の下位区分に連結するステップと、時系列のジェスチャ角度の連結された組をジェスチャモデルの連結された下位区分と比較するステップとにさらに基づく。
【０００９】
一部の実施形態では、ジェスチャモデルは、ジェスチャオブジェクトのジェスチャを認識する前に生成されたジェスチャ角度の少なくとも1つのトレーニングされた時系列の組を含む。
【００１０】
一部の実施形態では、装置が提示される。装置は、時間の経過とともに複数のデータオブジェクトにジェスチャオブジェクトを記録するように構成された少なくとも1つの記録デバイスを含むことができる。装置は、また、複数の記録されたデータオブジェクトを使用して、ジェスチャ角度の少なくとも1つの組を計算し、少なくとも1つの組のジェスチャ角度の各々は、ジェスチャオブジェクトの2つの位置の間の角度測定を含み、2つの位置は、複数の記録されたデータオブジェクトの連続するデータオブジェクトに記録され、ジェスチャ角度の少なくとも1つの組に基づいてジェスチャを認識するように構成されたプロセッサを含むことができる。一部の実施形態では、プロセッサは、ジェスチャ角度の少なくとも1つの組をジェスチャモデルと比較するようにさらに構成される。
【００１１】
一部の実施形態では、別の装置が提示される。装置は、複数の記録されたデータオブジェクトを使用して、ジェスチャ角度の少なくとも1つの組を計算するための手段であって、少なくとも1つの組のジェスチャ角度の各々は、ジェスチャオブジェクトの2つの位置の間の角度測定を含み、2つの位置は、複数の記録されたデータオブジェクトの連続するデータオブジェクトに記録される手段と、ジェスチャ角度の少なくとも1つの組に基づいてジェスチャを認識するための手段とを含むことができる。一部の実施形態では、ジェスチャを認識するための手段は、ジェスチャ角度の少なくとも1つの組をジェスチャモデルと比較するための手段にさらに基づく。
【００１２】
一部の実施形態では、非一時的なプロセッサで読み取り可能な媒体が提示される。プロセッサで読み取り可能な媒体は、プロセッサに、時間の経過とともに複数のデータオブジェクトにジェスチャオブジェクトを記録し、複数の記録されたデータオブジェクトを使用して、ジェスチャ角度の少なくとも1つの組を計算し(少なくとも1つの組のジェスチャ角度の各々は、ジェスチャオブジェクトの2つの位置の間の角度測定を含み、2つの位置は、複数の記録されたデータオブジェクトの連続するデータオブジェクトに記録される)、ジェスチャ角度の少なくとも1つの組に基づいてジェスチャを認識することを実行させるように構成されたプロセッサで読み取り可能な命令を含むことができる。一部の実施形態では、命令は、プロセッサに、ジェスチャ角度の少なくとも1つの組をジェスチャモデルと比較することを実行させるようにさらに構成される。
【００１３】
様々な実施形態の性質および利点についての理解は、以下の図を参照することによって達成され得る。添付された図では、同様の構成要素または機能には、同じ参照ラベルが付されている場合がある。さらに、同じタイプの様々な構成要素は、ダッシュによる参照ラベルおよび同様の構成要素を識別する第2のラベルに従うことによって区別され得る。第1の参照ラベルのみが明細書において使用される場合、その記述は、第2の参照ラベルに関係なく同じ第1の参照ラベルを持つ同様の構成要素の任意の1つに適用可能である。
【図面の簡単な説明】
【００１４】
【図１】本開示の様々な実施形態を実装できる例示的なデバイスを示す図である。
【図２】一部の実施形態による例示的なデバイスと対話するユーザを示す図である。
【図３Ａ】一部の実施形態によるジェスチャの例示的なデータ分析を示す図である。
【図３Ｂ】一部の実施形態によるジェスチャの例示的なデータ分析を示す図である。
【図３Ｃ】一部の実施形態によるジェスチャの例示的なデータ分析を示す図である。
【図４】一部の実施形態により解決され得るジェスチャ認識の例示的な問題を示す図である。
【図５】一部の実施形態によるジェスチャの追加的な例示的なデータ分析を示す図である。
【図６】一部の実施形態により解決され得るジェスチャ認識の別の例示的な問題を示す図である。
【図７Ａ】一部の実施形態による方法を示す例示的な流れ図である。
【図７Ｂ】一部の実施形態による方法を示す例示的な流れ図である。
【図８】一部の実施形態によるコンピューティングデバイスを示すブロック図である。
【発明を実施するための形態】
【００１５】
ここで、複数の説明的な実施形態について、その一部を形成する、添付の図面に関して記述する。本開示の1つまたは複数の態様が実装され得る特定の実施形態について以下に記述するが、他の実施形態が使用され得て、また、本開示の範囲または添付された請求項の趣旨から逸脱することなく、様々な修正が行われ得る。
【００１６】
図1を参照すると、例示的なコンピューティングデバイス100は、本開示の1つまたは複数の態様を実装するように構成され得る。たとえば、コンピューティングデバイス100は、スマートフォン、タブレットコンピュータ、携帯情報端末、またはコンピューティングデバイス100が、ユーザ入力の形態として運動および/または他の検知された状態を取り込むことを可能にする1つまたは複数のセンサを装備する他のモバイルデバイスの場合がある。一部の実施形態では、コンピューティングデバイス100は、モバイルデバイスではなく、たとえば、デスクトップコンピュータ、ゲーム機、移動しないセンサもしくはカメラ、または無線もしくは有線でともに結合された機械のシステムの場合がある。コンピューティングデバイス100は、1つまたは複数のカメラ、マイクロフォン、近接センサ、ジャイロスコープ、加速度計、圧力センサ、グリップセンサ、タッチ画面、電流センサもしくは容量性センサ、超音波センサ、モーションセンサ、および/または他のセンサを装備、通信できるように結合、および/または別の方法で含むことができる。1つまたは複数のセンサを含むことに加えて、以下により詳しく記述するように、コンピューティングデバイス100は、また、1つまたは複数のプロセッサ、メモリユニット、および/または他のハードウェア構成要素を含むことができる。
【００１７】
1つまたは複数の構成では、コンピューティングデバイス100は、デバイスの1つまたは複数のユーザによって実行されたジェスチャを認識するために、単独または組み合わせて、これらのセンサのいずれかおよび/またはすべてを使用ことができる。たとえば、コンピューティングデバイス100は、他の可能な動作の中で手を振る(wave)動作または大きく振る(swipe)運動など、ユーザによって実行された手および/または腕の動作を取り込むために1つまたは複数のカメラを使用することができる。さらに、ユーザによって実行された全身の動作など、より複雑かつ/または大きい動作(たとえば、歩行、ダンスなど)は、同様に、1つまたは複数のカメラ(および/または他のセンサ)によって取り込まれ得て、そして次に、たとえば、コンピューティングデバイス100によってジェスチャと認識され得る。さらに他の実施例では、コンピューティングデバイス100は、他の可能な動作の中でピンチ、スワイプ、および回転(twirl)など、ユーザによって提供されるタッチベースのユーザ入力を取り込むために、1つまたは複数のタッチ画面を使用することができる。単独でジェスチャと考えられ、かつ/またはより複雑なジェスチャを形成するために他の動作もしくはアクションと組み合わせられ得る、これらのサンプルの動作は、ここでは実例として記述されるものであり、コンピューティングデバイス100など、本開示の1つまたは複数の態様を実装するコンピューティングデバイスによって、他の種類の運動、移動、アクション、または他のセンサに取り込まれたユーザ入力は、同様に、ジェスチャ入力として同様に受信され得る、かつ/またはジェスチャと認識され得る。
【００１８】
一部の構成では、ユーザのジェスチャまたはジェスチャの変更の認識に基づいて、たとえば、モーションセンサ、カメラ、または超音波センサなどのセンサは、コンピュータまたはハブを制御するために使用され得る。指紋の有害で不明瞭にする効果を受ける可能性がある一部のタッチ画面システムとは異なり、センサベースのジェスチャ入力は、ユーザの自然な体の動作または姿勢に基づいて、写真、ビデオ、または他のイメージが明確に表示されるか、別の方法で出力されることを可能にすることができる。この利点を念頭に、ユーザが、イメージオブジェクトを表示、パン(すなわち移動)、サイズ変更、回転、および他の操作を実行することを可能にするジェスチャが認識され得る。
【００１９】
本明細書で使用する場合、「ジェスチャ」は、人体の一部、または「ジェスチャオブジェクト」で作られた非言語コミュニケーションの形態を表すことを意図するものであり、音声などの言語コミュニケーションと対照をなすものである。ジェスチャは、また、人体の一部として、または旗、棒、杖など、人体の一部から伸びるものとして、ツールまたは機器から認識され得る。したがって、ジェスチャオブジェクトは、人体の一部および/または人体によって保持されるか、そこに付いているオブジェクトを含むことができる。ジェスチャは、第1の位置、姿勢、または表情と、第2の姿勢、位置、または表情との間の移動、変更(change)、または変化(transformation)によって定義され得る。日常の会話で使用される共通のジェスチャは、たとえば、「エアクオート(air quote)」ジェスチャ、お辞儀のジェスチャ、会釈、ほおへのキス、指または手の運動、ひざまずく動作、頭の上下運動または移動、ハイファイブ、うなずき、悲しい顔、高く上げた拳、敬礼、親指を立てる運動、つまむジェスチャ、手もしくは体をねじるジェスチャ、または指を指すジェスチャを含む。ジェスチャは、イメージセンサを使用して(ユーザのイメージを分析することによってなど)、チルトセンサを使用して(ユーザがデバイスを保持または傾けている角度を検出することによってなど)、超音波センサを使用して、または任意の他の手法によって検出され得る。
【００２０】
ジェスチャオブジェクトは、その位置を変更すること(すなわち振る運動)によってジェスチャを作る(または、「ジェスチャで伝える」)ことができるか、またはジェスチャオブジェクトは、その位置を変更することなく(すなわち握り締められた拳のジェスチャを作ることによって)ジェスチャで伝えることができる。一部の構成では、手および腕のジェスチャは、カメラ入力を介して機能の制御に影響するために使用され得る一方、他の構成では、他のタイプのジェスチャも使用され得る。加えて、またはあるいは、1つまたは複数のジェスチャを作る、かつ/または検出する際に、手および/または他の体の部分(たとえば腕、頭、胴、脚、足など)を動かされ得る。たとえば、一部のジェスチャは、1つまたは複数の手を移動させることによって実行され得る一方、他のジェスチャは、1つまたは複数の腕、1つまたは複数の脚などと組み合わせて、1つまたは複数の手を動かすことによって実行され得る。
【００２１】
ジェスチャ認識システムの自動化されたトレーニングのための方法および装置が提示される。典型的なジェスチャ認識アルゴリズムは、多くの場合、ジェスチャを識別するために事前にプログラムされたヒューリスティックに基づいて、手の運動のパターンなど、入力データの何らかの特性を探す。たとえば、右に移動する手のスワイプ動作を検出するために、事前にプログラムされたルール(またはヒューリスティック)が配置されて、特定の量の右方向への手の運動(200ミリ秒を通じて20cmの転移など)を探し得る。したがって、多数の異なるジェスチャを検出するために、各異なるジェスチャに対して、少なくとも1つのヒューリスティックを事前にプログラムする必要がある。反対に、特定のジェスチャに対してヒューリスティックが配置されていない場合、ジェスチャ認識システムは、その特定のジェスチャを検出することができない。また、何らかの新しいジェスチャが検出されることが望まれる場合、新しいジェスチャにリンクする新しいヒューリスティックを設計するために、ユーザまたは開発者による追加のプログラミングが必要である。
【００２２】
これとは対照的に、本開示の態様は、すべてのジェスチャに対する手作業での設計またはデータ特性の選択の必要性を排除することができる。代わりに、ジェスチャ認識システムは、トレーニングデータを使用して、それ自体をトレーニングする。一部の実施形態では、ジェスチャ認識システムは、それ自体のモデルまたはジェスチャのシグネチャを生成し、それにより、ユーザがジェスチャを実行した場合、システムは、ジェスチャがモデルまたはシグネチャの1つに一致するかどうかを認識することができる。
【００２３】
図2を参照すると、例示的なシナリオにおいて、本開示の少なくとも一部の態様をユーザがどのように利用できるかを示している。ここでは、ユーザは、様々な実施形態を実装するように構成されている、イメージ記録デバイス200の前でジェスチャ210を実行することができる。デバイス200は、時間の経過とともに連続的に記録される、一連のデータオブジェクトにおいてジェスチャ210を記録することができる。データオブジェクトは、時間の経過とともにジェスチャを実行するときに、各データオブジェクトのジェスチャオブジェクトの位置を識別することができる様々な媒体の場合がある。一部の実施形態では、データオブジェクトは、デジタル写真の場合がある。他の実施形態では、データオブジェクトは、赤外線ベースのイメージの場合がある。他の実施形態では、データオブジェクトは、超音波オブジェクトなどの場合がある。したがって、一部の実施形態では、デバイス200は、イメージ記録デバイスではない場合があり、その代わりに、赤外線イメージ、超音波オブジェクトなど、異なる媒体のデータオブジェクトを記録するように構成されたデバイスの場合がある。
【００２４】
さらに図2を参照すると、一部の実施形態では、ジェスチャ210が実行される前に、デバイス200は、ジェスチャ210を認識するように構成されなくてもよい。しかしながら、デバイス200は、ジェスチャ210を記録した後にジェスチャ210を「学習」し、ジェスチャ210に関する特定の特性を分析し、前述の特性に基づいてジェスチャ210を表すシグネチャまたはモデルを生成するように構成され得る。言い換えると、デバイス200は、トレーニングデータとして最初のジェスチャ210を実行することに基づいて、ジェスチャ210を認識するように「トレーニング」され得る。ジェスチャ210に関する特性の実例について、以下により詳細に記述する。デバイス210が、ジェスチャ210のシグネチャまたはモデルを生成すると、次いで、デバイス210は、次のジェスチャを記録し、それらのジェスチャの特性を分析し、それらの特性がジェスチャ210のモデルまたはシグネチャの属性に一致または本質的に類似するかを決定することができる。該当する場合、次いで、次のジェスチャは、ジェスチャ210として認識され得る。一部の実施形態では、アクションまたはコマンドは、ジェスチャ210に関連され、それにより、ジェスチャ210が認識されると常に、デバイス200は、アクションまたはコマンドを実行するように構成され得る。
【００２５】
ジェスチャ220は、ジェスチャ210とは異なるジェスチャの場合があり、同様に初めはデバイス200によって認識されない場合がある。デバイス200は、上に記述したのと同様の方法で、ジェスチャ220を認識するようにトレーニングされ得る。次いで、ジェスチャ210と220の両方に対してモデルまたはシグネチャを生成したら、デバイス200は、実際の環境でジェスチャオブジェクトデータを記録し、ジェスチャオブジェクトデータの特性を分析し、実際のジェスチャオブジェクトデータの特性が、それぞれジェスチャ210またはジェスチャ220のモデルまたはシグネチャに一致するか、または本質的に類似する場合、ジェスチャ210またはジェスチャ220のいずれかに一致するとしてジェスチャオブジェクトデータを認識するように構成される。
【００２６】
図3Aを参照すると、ブロック300に含まれているグラフは、まず、ジェスチャを最初に学習し、次いで、学習されたジェスチャのトレーニングされたモデルまたはシグネチャと、実際の環境で実行されているジェスチャを比較するために、分析され得る例示的な特性の組を示している。たとえば、グラフ300(a)は、ジェスチャオブジェクトによって実行されたジェスチャの2次元の経路を表すことができる。各円は、記録されたデータオブジェクトの組の特定のフレームでのジェスチャオブジェクトの位置を表すことができる。ジェスチャオブジェクトの実例は、開いた手、指、握った拳、杖の先端、または旗を含むことができる。例示的なジェスチャオブジェクトの一部は、円の形状に一致しない場合があるため、グラフ300(a)の円は、ジェスチャオブジェクトの中心、中間点、先端、または他の一貫した位置に基づく場合がある。記録されたデータオブジェクトの実例は、一連のデジタルイメージ、超音波映像、赤外線イメージ、またはジェスチャオブジェクトの位置を記録することができる任意の他のタイプのデータオブジェクトを含むことができる。円の各々の間にある一方向の矢印は、データオブジェクトへの時間的な態様を示し得る(矢印によって指し示されている円は、データオブジェクトの組において次の連続するフレームでジェスチャオブジェクトが移動した位置を示している)。したがって、グラフ300(a)は、実行されているジェスチャは、右に移動する一種の振る運動のように見える場合があることを示している。13個の円があるので、この振るジェスチャは、13個の記録されたデータオブジェクトに記録されている。明らかに、ジェスチャの速度およびデータオブジェクト記録デバイスのフレームレートに依存して、ジェスチャのより高いまたはより低い分解能が記録され得る。他の実施形態では、ジェスチャをマッピングするために、すべての記録されたデータオブジェクトのサブセットのみが使用される。たとえば、1つおき、または3つに1つのデータオブジェクトが使用される。
【００２７】
一部の実施形態では、3次元の位置が記録され得て、実施形態は、それほど制限されない。説明を目的として、2次元の実例のみが本明細書に記述されているが、望まれる場合には3次元の空間にこれらの開示を拡大する方法を当業者は容易に理解されるであろう。
【００２８】
チャート300(b)を参照すると、ジェスチャのモデルまたはシグネチャを生成するために使用され得る、ジェスチャの追加的な特性が分析されている。たとえば、円305および310に示されているように、データオブジェクトの組の2つの連続するフレームに記録されたジェスチャの位置の間で角度が測定される。この場合、角度シータ(θ)は、第1の円305の中心にある水平(x)軸から測定され、前述のx軸から第2の円310に到達するまで、反時計回りに回転する。θは、度もしくはラジアン、または角度を確実に測定するための任意の他の数値システムで測定され得る。たとえば、この場合、角度θは、約60度であると推測され得る。この角度測定は、本明細書において「ジェスチャ角度」と呼ばれ得る。ジェスチャ角度を測定するための他の手法が使用され得る。たとえば、2つの連続する円の間の角度は、第2の円310から始まり、第1の円305へと回転して測定され得る。一部の実施形態では、ジェスチャ角度は、0から360度に及ぶ場合がある。他の場合には、ジェスチャ角度は、-180から180度に及ぶ場合がある。
【００２９】
角度を測定するための同じ方法が、ジェスチャ角度の組を計算するために、円の各連続する対に対して繰返され得る。このようにして、グラフ300(a)に図で表されているジェスチャは、連続するデータオブジェクトに記録されたジェスチャの位置の各対のジェスチャ角度の組として記述され得る。一般的に、したがって、任意のジェスチャは、本開示に記述された概念により測定されたジェスチャ角度の組として記述され得ると見ることができる。言い換えると、ジェスチャを一意に特徴づけるか、または識別するモデルまたはシグネチャは、ジェスチャ角度のこの組に基づいて決定され得る。
【００３０】
これらの実例では、記録されたデータオブジェクトの連続するフレームは、ジェスチャの2つの位置の間の角度を測定するために使用されるが、一部の実施形態によると、一部のフレームは、ジェスチャ角度を測定する間にスキップされ得る。一般的に、本開示で使用される「連続する」という用語は、次のジェスチャ角度が2つのフレーム(次のジェスチャ角度の前のフレームが、前のジェスチャ角度の後のフレームの前に発生しない)から測定される限り、中間にある一部のフレームはジェスチャ角度を測定する間にスキップされ得る場合を含むことを意図するものである。
【００３１】
先ほど記述した概念によりジェスチャ角度のその組によってジェスチャを特徴づけたら、一部の実施形態では、ジェスチャ角度の組は、ジェスチャのシグネチャまたはモデルを生成するために使用され得て、これは次に、実際の環境で実行されるジェスチャと比較され得る。たとえば、上に記述された技術を使用して実際の環境で実行されたジェスチャから計算される、ジェスチャ角度の実際または同時発生の組は、ジェスチャ角度の以前に記録された組と比較され得る。2つの組が一致するか、または本質的に類似している場合、実際の環境で実行されたジェスチャは、シグネチャまたはモデルを作成するために記録されたのと同じジェスチャであることが決定され得る。したがって、それらが以前に記録された、または「トレーニングされた」ジェスチャのシグネチャまたはモデルに一致するか、または本質的に類似する場合、実際の環境で実行されたジェスチャは認識され得る。
【００３２】
一部の実施形態では、記録されたジェスチャモデルに一致するか、または本質的に類似するために実際のジェスチャを構成するものは変動する場合がある。たとえば、実際のジェスチャのジェスチャ角度の組は、ジェスチャモデルのジェスチャ角度の組に正確に一致する必要がある場合がある。他の場合には、角度の一部は、少し異なる場合がある。たとえば、ジェスチャ角度の25%は、ジェスチャモデルのジェスチャ角度から+/-15度、異なる場合がある。これらの感度および厳格さの設定は、高度に構成可能な場合があり、実施形態はそれほど制限されていない。
【００３３】
次に、本開示は、本明細書に記述された技術を使用して、あらゆるタイプのジェスチャを認識するようにトレーニングされ得ると見ることができる。さらに、本開示は、ジェスチャの時系列の経路を表す一連のデータオブジェクトを単に記録することができ、独自に上記の分析を実行するため、プログラミングは必要ない。
【００３４】
さらに、ジェスチャが、記録されたデータオブジェクトにおいてどこで実行されていても、ジェスチャは認識され得る。たとえば、ジェスチャは、データオブジェクトの中心で、側に向かって、またはデータオブジェクトの隅で記録され得る。そのように、様々な実施形態は、「変換不変(translation invariant)」であると記述され得る。さらに、距離または転移の変更ではなく、角度測定が利用されるので、ジェスチャの形状が同じか、本質的に類似している限り、小さいジェスチャは、大きいジェスチャと同様に認識され得る。言い換えると、本ジェスチャ認識技術は、「スケール不変(scale invariant)」であると記述され得る。さらに、ジェスチャは、ゆっくりまたは迅速に実行された場合に認識され得る。その理由は、角度測定は、フレームをスキップするか、または他の様々な技術を使用することによって正規化され得るためである。したがって、様々な実施形態は、「時間不変(time invariant)」であると記述され得る。
【００３５】
図3Aのグラフ300(c)を参照すると、一部の実施形態では、ジェスチャの一意的なモデルまたはシグネチャとして機能しているジェスチャ角度の組は、前述のジェスチャの角度の頻度を示しているヒストグラムプロットとして表され得る。グラフ300(c)は、グラフ300(a)およびグラフ300(b)に表されたジェスチャの例示的なヒストグラムを示している。水平軸は、この場合、0から360度というジェスチャ角度の度の範囲を表している。一部の実施形態では、スケールは-180から180度に変動するか、またはその他の変形の場合がある。ここでは度が使用されているが、ラジアンなど他の類似の単位も使用され得る。縦軸は、水平軸で表された範囲に当てはまるジェスチャ角度の数を表している。たとえば、ヒストグラム300(c)は、グラフ300(a)のジェスチャは、0〜30度の間で測定される2つのジェスチャ角度および60〜90度の間で測定される1つのジェスチャ角度を持つことができることを表している。さらに、300から330度の間で測定される4つのジェスチャ角度がある場合があり、これは、グラフ300(b)によると、0度は水平線を表すため、角度が下方に傾斜していることを意味するために示されている。したがって、グラフ300(a)のジェスチャは、ヒストグラム300(c)として表された一意的なシグネチャまたはモデルを持つと言うことができる。
【００３６】
同様に、次に、実際の環境で実行されるジェスチャは、ジェスチャ角度の組によって特徴づけられ得て、一部の実施形態では、グラフ300(c)に類似するヒストグラムとして表され得る。一部の実施形態では、次に、実際の環境で実行されたジェスチャは、それらのヒストグラムを記録されたジェスチャのヒストグラムと比較することによって認識され得る。ヒストグラムが、一部の感度基準に一致するか、または本質的に類似している場合(たとえば、ジェスチャ角度が、それぞれ+/-5度だけ変動し得る場合)、実際の環境で実行されたジェスチャは、記録されたモデルのジェスチャであると認識され得る。
【００３７】
図3Bを参照すると、その対応するジェスチャ角度特性が分析された、別の例示的なジェスチャが示されている。具体例330は、円形のジェスチャを示す(グラフ330(a)は、円形のジェスチャを実行するためにジェスチャオブジェクトが取ることができる例示的な経路を示している)。たとえば、ジェスチャオブジェクトは、データオブジェクト335の位置で開始し、時計回り方向に円運動をし、データオブジェクト335の位置に戻って終了することができる。
【００３８】
グラフ330(b)を参照すると、ジェスチャ角度の組は、図3Aで記述したものに似た技術および概念を使用して測定され得る。たとえば、第1のデータオブジェクト335と次の記録されたデータオブジェクト340との間の角度は、データオブジェクト335の水平軸から開始して、データオブジェクト340に到達するまで反時計回りに回転して測定され得る。この場合、データオブジェクト335と340との間のジェスチャ角度は、70度であると測定され得る。記録された位置の他の連続する対の各々の間のジェスチャ角度が取得され得て、ジェスチャ角度の組は、円形のジェスチャの一意的なシグネチャまたはモデルを表すことができる。
【００３９】
グラフ330(c)を参照すると、図示するようなヒストグラムは、円形のジェスチャを一意に特徴づけるジェスチャ角度の組を表すための一つの方法であり得る。たとえば、この場合、円形のジェスチャは、ジェスチャ角度のすべての範囲(たとえば0から30度、30から60度など)の各々(すなわち2)が等しい数を持つものと特徴づけられ得て、これは、ジェスチャが等速円運動であるので予想されるべきである。したがって、一部の実施形態では、実際の環境で実行されたジェスチャは、ジェスチャ角度のジェスチャの組が、記録された円形のジェスチャのヒストグラムに一致するか、または本質的に類似する場合、円運動であると認識され得る。
【００４０】
図3Cを参照すると、その対応するジェスチャ角度特性が分析された、さらに別の例示的なジェスチャが示されている。具体例360は、「S」型のジェスチャを示している一方、グラフ360(a)は、一方向の矢印に基づいて、「S」型のジェスチャを実行するためにジェスチャオブジェクトが取ることができる例示的な経路を示している。
【００４１】
グラフ360(b)を参照すると、ジェスチャ角度の組は、図3Aで記述したものに似た技術および概念を使用して測定され得る。たとえば、前のデータオブジェクト365の位置と、次のデータオブジェクト370の位置との間の角度は、データオブジェクト365の水平軸から開始して、データオブジェクト370に到達するまで反時計回りに回転して測定され得る。この場合、データオブジェクト365と370の間のジェスチャ角度は、130度であると測定され得る。記録されたデータオブジェクトの他の連続する対の各々の間のジェスチャ角度が取得され得て、ジェスチャ角度の組は、円形のジェスチャの一意的なシグネチャまたはモデルを表すことができる。
【００４２】
グラフ360(c)を参照すると、図示するようなヒストグラムは、「S」型のジェスチャを一意に特徴づけるジェスチャ角度の組を表すための一つの方法であり得る。目視検査だけで、図3A、図3B、および図3Cの間のヒストグラムにおいてはっきりした違いに気づくに違いない。したがって、一部の実施形態では、実際の環境で実行されたジェスチャは、ジェスチャ角度のジェスチャの組が、記録された「S」ジェスチャのヒストグラムに一致するか、または本質的に類似している場合、「S」運動であると認識され得る。
【００４３】
図4を参照すると、一部の場合において、ジェスチャ角度の一部の特徴は、単に発生順が異なるのみの、同じでないが、同一のジェスチャ角度を持つジェスチャについて、何らかのあいまい性を可能にすることができる。たとえば、グラフ400(a)に示すようなジェスチャ経路は、データオブジェクトの連続する対の間で、単に発生順が異なるのみの、グラフ400(b)に示しているジェスチャ経路と同一のジェスチャ角度を持つものと見られ得る。ジェスチャ角度のヒストグラムがジェスチャ全体に対して生成される場合、グラフ400(a)と400(b)の両方に対するヒストグラムは同一に見える場合がある。他の例では、反時計回り方向に動かされた円(図3Bのジェスチャなど)のジェスチャは、時計回り方向に動かされた円のジェスチャと、ジェスチャ角度の同一のヒストグラムを持つことができる。さらに他の例として、「上から下」のジェスチャ運動は、「下から上」のジェスチャ運動と、ジェスチャ角度の同じヒストグラムを持つことができる。一部の場合において、次いで、より効率よく正確なジェスチャを認識するために、ジェスチャ角度の組への追加的な分解能が必要な場合がある。
【００４４】
図5を参照すると、この課題の1つの解決策は、ジェスチャ角度の組をさらに細分化することである。一部の実施形態では、ジェスチャ角度の細分化された組は、ジェスチャのより詳細な一意のシグネチャまたはモデルを形成するために、ジェスチャ角度のオリジナルの組に添付または連結され得る。たとえば、具体例500は、様々なレベルの詳細で一連のヒストグラムを示している。ジェスチャ角度の詳細の第1のレベル505(「角錐(Pyramid)レベル0」と記載)は、図3Aのジェスチャを示し、対応するヒストグラム505aは、右に向けて、グラフ300(c)のヒストグラムに一致するジェスチャ角度の組全体に関連する。「角錐レベル1」と記載されている、ジェスチャ角度の詳細の第2のレベル510が決定され得る。ここでは、振る(wave)ジェスチャは、水平に線が引かれたデータオブジェクト515および「逆向きに線が引かれた」データオブジェクト520によって示されているように、二等分へと細分化される。データオブジェクト515および520の各細分化された組について、ジェスチャ角度の対応する組が決定され得る。たとえば、ヒストグラム515aおよび520aは、データオブジェクト515および520に対するジェスチャ角度の組をそれぞれ表すことができる。ヒストグラム515aおよび520aのジェスチャ角度の組合せから、全体的なジェスチャ505のヒストグラム505aが得られるであろう一方、上部に示されているように、相互に独立して測定された場合、ヒストグラム515aは、ヒストグラム520aとは異なるシグネチャを持つ。また、サブセット515のジェスチャ角度は、サブセット520のジェスチャ角度より前の時点で発生することが注意される。
【００４５】
次に、全体的なジェスチャ505のより詳細なシグネチャは、具体例530に示されているように、ヒストグラムのすべての連結として表され得る。この場合、角錐レベル0のヒストグラム(すなわちヒストグラム505a)は、角錐レベル1のヒストグラム(すなわちヒストグラム515a、次にヒストグラム520a)と連結される。他のジェスチャに対して同様の連結を実行する場合、ヒストグラムがともに連結される順序は一貫しているべきである。たとえば、この場合、ジェスチャ全体のヒストグラム505aが、最初に発生し、次いで、ジェスチャの前半のヒストグラム515aが、次に添付され、次いで、ジェスチャの後半のヒストグラム520aが、その後に添付される。したがって、ジェスチャ505とは異なるジェスチャが記録される場合、ジェスチャ角度は全体的に、ジェスチャ505と同じであるが、異なる順で発生し、変動する角錐レベルのより詳細な連結は、異なる連結されたジェスチャ角度のシグネチャを示すであろう。その理由は、ジェスチャ角度の下位区分は異なるであろうからである。たとえば、ジェスチャが、前半に実行されたジェスチャ505の後半を持ち、後半に実行されたジェスチャ505の前半を持つ場合、ジェスチャ角度の最終的な連結は、(具体例530のように)、逆順に添付されたヒストグラム520aおよび515aを持つであろう。したがって、この例示的なジェスチャを記録された連結530と比較する場合、ヒストグラムの連結が異なる順序にて現われるので、2つのジェスチャは、正しく区別され差別化されるであろう。
【００４６】
「角錐レベル0」、「角錐レベル1」などのラベルは、ジェスチャ角度の一連の階層的な組を記述することができ、角錐の各レベルは、角錐内のより高いレベルのより小さいサブセットまたは下位区分内のジェスチャ角度の記述を提供することができる。たとえば、図示するように、角錐レベル1は、より高いレベル0の二等分の下位区分を詳述しており、これはジェスチャ全体を詳述している。同様に、角錐レベル2は、ジェスチャ角度の4組を含むことができ、各組は、レベル1のジェスチャ角度の組の1つの半分を表している。より大きい粒度を示しているジェスチャ角度のこれらの組は、具体例530で行われたプロセスに類似して、ともに連結され得る。次いで、実際の環境で実行されたジェスチャは、同様の方法で分析され、ジェスチャ角度の連結された組を持ち、同じ方法で順位付けされ、記録されたモデルと比較され得る。このようにして、詳細の複数のレベルは、潜在的に曖昧なジェスチャを十分に区別するために取得され得る。詳細のこのレベルは、ユーザ設定または他の何らかの構成可能なオプションの場合があり、実施形態は、それほど制限されない。
【００４７】
一部の実施形態では、ジェスチャの特性は、「時系列」と呼ばれ得る。この用語は、一般的に、時系列の特性に基づいて任意のジェスチャが認識され得るという考えを表すことができる。時系列の特性の実例は、2つの連続するデータオブジェクトから測定されているジェスチャ角度を含むことができ、かつ/または一部の実施形態のジェスチャ角度の角錐の階層的レベルは、図5に記述されている概念により、下位区分がともに連結される順序に依存している。
【００４８】
図6を参照すると、グラフ600は、ジェスチャを認識するために一部の従来のシステムを用いる本開示の態様をさらに区別する例示的なシナリオを示している。具体的には、データオブジェクト605など一部のデータオブジェクトが取り除かれるか無視されても、グラフ600の例示的なジェスチャは正しく認識され得る。この理由は、ジェスチャ角度の組が、何らかの失われたジェスチャ角度を用いるまたは用いずに、ジェスチャ角度のヒストグラムから、または他の類似の手段を通じて分析されたように、十分に類似し得るからである場合がある。この場合、データオブジェクト605を用いる、または用いないジェスチャ角度は、同じままであろう。なぜなら、この例示的なジェスチャは、一定の角度で1つの上昇運動および1つの下降運動を単に示しているためである。比較によって、距離または転移における変更に基づいてジェスチャを分析するジェスチャを認識するための従来のシステムは、ジェスチャを正しく認識しないであろう。なぜなら、介在するデータオブジェクトが失われていることから、距離が非常に異なるであろうためである。
【００４９】
図7Aを参照すると、流れ図700は、一部の実施形態により、ジェスチャオブジェクトによって実行されたジェスチャを認識するための例示的な一連の方法のステップを示している。ブロック702で、方法は、ジェスチャ角度の少なくとも1つの組を計算するステップを含むことができ、ジェスチャ角度の各々は、ジェスチャオブジェクトの2つの位置の間の角度測定を含む。一部の実施形態では、ジェスチャオブジェクトは、複数のデータオブジェクトに記録され得る。データオブジェクトの実例は、デジタルイメージ、超音波オブジェクト、赤外線イメージなどを含む場合がある。例示的なジェスチャオブジェクトは、人の手、旗、杖、指などを含む場合がある。ブロック704で、ジェスチャは、ジェスチャ角度の少なくとも1つの組に基づいて認識され得る。ブロック702および704は、図1、図2、図3A、図3B、および図3Cのいずれかで提供される開示に一致している場合がある。
【００５０】
図7Bを参照すると、一部の実施形態では、ブロック704は、ジェスチャを認識するための他の方法ステップを含む。たとえば、一部の実施形態では、ブロック752で、ジェスチャを認識するステップは、ジェスチャ角度の少なくとも1つの組をジェスチャモデルと比較することに基づく場合がある。一部の実施形態では、ジェスチャモデルは、本明細書に記述した技術に基づいて生成され得る。
【００５１】
一部の実施形態では、ブロック754で、ブロック704は、ジェスチャ角度の少なくとも1つの組に基づいて角度の頻度を表すヒストグラムを計算するステップを含む場合がある。ブロック756で、ジェスチャは、各々が認識可能なジェスチャを表す1つまたは複数のヒストグラムとの計算されたヒストグラムの比較に基づき認識される場合がある。一部の実施形態では、1つまたは複数のヒストグラムは、1つまたは複数のジェスチャモデルに含まれている場合がある。一部の実施形態では、ヒストグラムを計算するステップは、図3A、図3B、および図3Cのいずれかに記述されているようなヒストグラムを生成するための記述に一致する場合がある。
【００５２】
一部の実施形態では、ブロック758で、ブロック704は、ジェスチャ角度の第1の時系列の組をジェスチャモデルと比較するステップに基づいてジェスチャを認識するステップを含むことができる。ジェスチャ角度の時系列の組は、本明細書の開示のいずれかに記述されている時系列の概念のいずれかに一致する場合がある。一部の実施形態では、ブロック760で、ジェスチャを認識するステップは、ジェスチャ角度の第2の時系列の組をジェスチャモデルの第1の下位区分と比較するステップにさらに基づく場合がある。一部の実施形態では、ブロック762で、ジェスチャを認識するステップは、ジェスチャ角度の第3の時系列の組をジェスチャモデルの第1の下位区分の下位区分と比較するステップにさらに基づく場合がある。ジェスチャ角度の第2の時系列の組の実例は、ジェスチャ角度の組全体を二等分へと細分化するステップと、二等分の1つにのみ基づいてジェスチャ角度の組を生成するステップとを含むことができる。ジェスチャモデルの第1の下位区分の一例は、図5に記述した下位区分のいずれかを含むことができる。ジェスチャ角度の第3の時系列の組の一例は、上に記述された、ジェスチャ角度の組の他方の半分、またはジェスチャ角度の前半の下位区分を含むことができる。一般的に、これらの記述は、図5に記述した概念に一致する場合がある。
【００５３】
他の実施形態では、ブロック764で、ジェスチャを認識するステップは、ジェスチャ角度の第3の時系列の組を、ジェスチャモデルの第1の下位区分のいずれも含まないジェスチャモデルの第2の下位区分と比較するステップにさらに基づく場合がある。たとえば、第2の下位区分は、ジェスチャモデルのジェスチャ角度の組全体の後半の場合があり、ジェスチャモデルの第1の下位区分は、ジェスチャ角度の組全体の前半である。一部の実施形態では、ブロック766で、方法は、時系列のジェスチャ角度の連結された組を生成するために、ジェスチャ角度の第2の時系列の組をジェスチャ角度の第3の時系列の組に連結するステップをさらに含むことができる。ブロック768で、方法は、ジェスチャモデルの連結された下位区分を生成するために、ジェスチャモデルの第1の下位区分を第2の下位区分に連結するステップをさらに含むことができる。ブロック770で、ジェスチャを認識するステップは、時系列の角度の連結された組をジェスチャモデルの連結された下位区分と比較するステップにさらに基づく場合がある。これらの連結の実例は、図5の記述を含む場合がある。
【００５４】
特定の要件に従って多くの実施形態が作られ得る。たとえば、カスタマイズされたハードウェアも使用することができるか、かつ/または特定の要素は、ハードウェア、ソフトウェア(アプレットなどの移植可能なソフトウェアを含む)、または両方で実装され得る。さらに、ネットワーク入力/出力デバイスなど他のコンピューティングデバイスへの接続を用いることができる。
【００５５】
屋内の測位のために平面図のマップにおいて支援データパラメータを改善する複数の態様を記述したので、本開示の様々な態様が実装され得るコンピューティングシステムの一例は、ここでは、図8に関して記述されるであろう。1つまたは複数の態様によると、図8に示したようなコンピュータシステムは、コンピューティングデバイスの一部として組み込まれ得て、これは、本明細書に記述した機能、方法、および/または方法のステップのいずれかおよび/またはすべてを実装、実行、および/または実施することができる。たとえば、コンピュータシステム800は、携帯デバイスの構成要素の一部を表すことができる。携帯デバイスは、ワイヤレス受信機またはモデムなど入力の感覚ユニットを備えた任意のコンピューティングデバイスの場合がある。携帯デバイスの実例は、限定しないが、ビデオゲームコンソール、タブレット、スマートフォン、テレビ、およびモバイルデバイスまたは移動局を含む。一部の実施形態では、システム800は、上に記述した方法のいずれかを実装するように構成される。図8は、本明細書に記述したように、様々な他の実施形態によって提供される方法を実行することができ、かつ/またはホストコンピュータシステム、リモートキオスク/端末、販売時点システムデバイス、モバイルデバイス、セットトップボックス、および/もしくはコンピュータシステムとして機能することができるコンピュータシステム800の一実施形態の概略図を提供するものである。図8は、様々な構成要素の一般化された具体例を提供することのみを意図するものであり、その一部および/またはすべては、適宜利用され得る。図8は、したがって、比較的分離された方法か、または比較的より統合された方法で、個々のシステム要素をどのように実装できるかを広く例証するものである。
【００５６】
バス805を介して電気的に結合され得る(または別の方法で適宜通信できる)ハードウェア要素を含むコンピュータシステム800が示されている。ハードウェア要素は、制限することなく、1つまたは複数の汎用プロセッサおよび/または1つまたは複数の専用プロセッサ(デジタル信号処理チップ、グラフィックス高速化プロセッサ、および/または同様のものなど)を含む、1つまたは複数のプロセッサ810、制限することなく、カメラ、ワイヤレス受信機、ワイヤレスセンサ、マウス、キーボード、および/または同様のものを含むことができる、1つまたは複数の入力デバイス815、ならびに、制限することなく、ディスプレイ装置、プリンタ、および/または同様のものを含むことができる、1つまたは複数の出力デバイス820を含むことができる。一部の実施形態では、1つまたは複数のプロセッサ810は、図7Aおよび図7Bに関して上に記述した機能のサブセットまたはすべてを実行するように構成され得る。プロセッサ810は、たとえば、一般的なプロセッサおよび/またはアプリケーションプロセッサを含むことができる。一部の実施形態では、プロセッサは、視覚的な追跡デバイスの入力およびワイヤレスセンサの入力を処理する要素に統合される。
【００５７】
コンピュータシステム800は、1つまたは複数の非一時的記憶デバイス825をさらに含むことができ(かつ/または通信することができ)、これは制限することなく、ローカルおよび/もしくはネットワークでアクセス可能な記憶域を含むことができ、かつ/または制限することなく、ディスクドライブ、ドライブアレー、光学記憶デバイス、ランダムアクセスメモリ(「RAM」)などソリッドステート記憶デバイス、および/もしくはプログラム可能、フラッシュ更新可能等であり得る読み取り専用メモリ(「ROM」)などを含むことができる。そのような記憶デバイスは、制限することなく、様々なファイルシステム、データベース構造などを含む、任意の適切なデータ記憶域を実装するように構成され得る。
【００５８】
コンピュータシステム800は、また、通信サブシステム830を含むことができ、これは制限することなく、モデム、ネットワークカード(無線または有線)、赤外線通信デバイス、ワイヤレス通信デバイスおよび/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー式通信設備など)などを含むことができる。通信サブシステム830は、データがネットワーク(一例を挙げると、以下に記述するネットワークなど)、他のコンピュータシステム、および/または本明細書に記述した任意の他のデバイスと交換されることを許可することができる。多くの実施形態では、コンピュータシステム800は、上に記述したように、RAMまたはROMデバイスを含むことができる、非一時的ワーキングメモリ835をさらに含む。一部の実施形態では、通信サブシステム830は、アクセスポイントまたはモバイルデバイスから信号を送信および受信するように構成された送受信機850とインターフェースをとることができる。一部の実施形態は、個別の1つまたは複数の受信機、および個別の1つまたは複数の送信機を含むことができる。
【００５９】
本明細書に記述されているように、コンピュータシステム800は、また、ワーキングメモリ835内に現在位置するとして示されている、ソフトウェア要素を含むことができ、オペレーティングシステム840、デバイスドライバ、実行可能なライブラリ、ならびに/または、様々な実施形態によって提供されるコンピュータプログラムを含み、および/もしくは他の実施形態によって提供され、方法を実装し、および/もしくはシステムを構成するように設計され得る、1つもしくは複数のアプリケーションプログラム845など他のコードを含む。単に例として挙げると、たとえば、図8に関して記述したように、上に記述した方法に関して記述した1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実装される場合があり、一態様では、次いで、そのようなコードおよび/または命令は、上記の方法に従って1つまたは複数の動作を実行するために、汎用コンピュータ(または他のデバイス)を構成および/または適応させるために使用され得る。
【００６０】
これらの命令および/またはコードの組は、上に記述した記憶デバイス825など、コンピュータ可読記憶媒体に格納され得る。場合によっては、記憶媒体は、コンピュータシステム800などコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと離れているか(たとえばコンパクトディスクなどのリムーバブル媒体)、かつ/または導入パッケージで提供され得るため、記憶媒体は、そこに格納された命令/コードを用いて、汎用コンピュータをプログラム、構成、かつ/または適応させるために使用され得る。これらの命令は、コンピュータシステム800によって実行可能である、実行可能コードの形を取る場合があるか、かつ/または、コンピュータシステム800でのコンパイルおよび/もしくはインストール時に(たとえば、様々な一般的に使用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを用いて)、実行可能コードの形を取る、ソースおよび/もしくはインストール可能なコードの形を取る場合がある。
【００６１】
本質的な変形形態は、特定の要件に従って作られ得る。たとえば、カスタマイズされたハードウェアも使用され得るか、かつ/または特定の要素がハードウェア、(アプレットなどの移植可能なソフトウェアを含む)ソフトウェア、または両方で実装され得る。さらに、ネットワーク入力/出力デバイスなど他のコンピューティングデバイスへの接続が用いられ得る。
【００６２】
一部の実施形態は、本開示に従って方法を実行するためにコンピュータシステム(コンピュータシステム800など)を用いることができる。たとえば、上記方法の手順の一部またはすべては、ワーキングメモリ835に含まれている1つまたは複数の命令(オペレーティングシステム840および/またはアプリケーションプログラム845など他のコードに組み込まれている場合がある)の1つまたは複数のシーケンスを実行するプロセッサ810に応じて、コンピュータシステム800によって実行され得る。そのような命令は、記憶デバイス825の1つまたは複数など、別のコンピュータ可読媒体からワーキングメモリ835に読み込むことができる。単に例として挙げると、ワーキングメモリ835に含まれている命令のシーケンスを実行すると、プロセッサ810が、たとえば、図8に関して記述した方法など、本明細書に記述した方法の1つまたは複数の手順を実行することを生じさせる場合がある。
【００６３】
「機械可読媒体」および「コンピュータ可読媒体」という用語は、本明細書で使用する場合、機械が特定の方法で動作することを生じさせるデータを提供することに関与する任意の媒体を表している。コンピュータシステム800を使用して実装された実施形態では、様々なコンピュータ可読媒体が、実行のためにプロセッサ810に命令/コードを提供することに関係する場合があり、ならびに/または、そのような命令/コード(たとえば信号)を格納および/もしくは運ぶために使用される場合がある。多くの実装では、コンピュータ可読媒体は、物理的かつ/または有形の記憶媒体である。そのような媒体は、制限しないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形を取ることができる。不揮発性の媒体は、たとえば、記憶デバイス825など、光学的および/または磁気的なディスクを含む。揮発性の媒体は、制限することなく、ワーキングメモリ835などの動的メモリを含む。送信媒体は、制限することなく、同軸ケーブル、バス805を含むワイヤを含む銅線および光ファイバ、さらには通信サブシステム830の様々な構成要素(および/または通信サブシステム830がそれによって他のデバイスに通信を提供する媒体)を含む。よって、伝送媒体は、また、波の形を取ることができる(制限することなく、電波および赤外線データ通信の間に生成されたものなどの無線、音響、および/または光波を含む)。
【００６４】
物理的および/または有形のコンピュータ可読媒体の共通の形態は、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを用いる任意の他の物理的な媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、以下に記述するような搬送波、またはコンピュータが命令および/もしくはコードを読み取ることができる他の媒体を含む。
【００６５】
コンピュータ可読媒体の様々な形態は、実行のためにプロセッサ810に1つまたは複数の命令の1つまたは複数のシーケンスを運ぶことに関係する場合がある。単に例として挙げると、命令は、リモートコンピュータの磁気ディスクおよび/または光ディスクを用いて最初に運ばれ得る。リモートコンピュータは、そのダイナミックメモリに命令をロードし、コンピュータシステム800によって受信および/または実行される伝送媒体を通じて信号として命令を送信することができる。電磁気信号、音響信号、光信号などの形をしている場合がある、これらの信号はすべて、本発明の様々な実施形態に従って、命令を符号化され得る搬送波の例である。
【００６６】
通信サブシステム830(および/またはその構成要素)は、一般的に、信号を受信し、次いで、バス805は、そこからプロセッサ810が命令を取得および実行するワーキングメモリ835に信号(および/または信号によって運ばれるデータ、命令など)を運ぶ場合がある。ワーキングメモリ835によって受信された命令は、プロセッサ810による実行の前または後に、非一時的記憶デバイス825にオプションとして格納され得る。メモリ835は、本明細書に記述したデータベースおよび方法のいずれかによる少なくとも1つのデータベースを含むことができる。メモリ835は、したがって、図1、図2、図3A、図3B、図3C、図4、図5、図6、図7A、図7B、および関係する記述を含む、本開示のいずれかに記述された値のいずれかを格納することができる。
【００６７】
図7Aおよび図7Bに記述した方法は、図8の様々なブロックによって実装され得る。たとえば、プロセッサ810は、流れ図700および704のブロックの機能のいずれかを実行するように構成され得る。記憶デバイス825は、本明細書で言及したブロックのいずれか内に記述したグローバルに一意の属性またはローカルに一意の属性など、中間結果を格納するように構成され得る。記憶デバイス825は、また、本開示のいずれかに一致するデータベースを含むことができる。メモリ835は、同様に、本明細書で言及したブロックのいずれかに記述した機能のいずれかを実行するのに必要な信号、信号の表現、またはデータベース値を記録するように構成され得る。一時メモリまたは揮発性メモリ(RAMなど)に格納される必要がある場合がある結果は、また、メモリ835に含まれ得て、記憶デバイス825に格納され得るものに類似する何らかの中間結果を含むことができる。入力デバイス815は、本明細書に記述した本開示により、衛星および/または基地局からワイヤレス信号を受信するように構成され得る。出力デバイス820は、本開示のいずれかにより、イメージを表示、テキストを印刷、信号を送信、および/または他のデータを出力するように構成され得る。
【００６８】
上に記述した方法、システム、およびデバイスは例である。様々な実施形態は、適宜様々な手順または構成要素を省略、交換、または追加することができる。たとえば、代替構成では、記述した方法は、記述したのとは異なる順に実行することができるか、ならびに/または様々な段階は、追加、省略、および/もしくは組み合わせることができる。また、特定の実施形態に関して記述した機能は、様々な他の実施形態と組み合わせることができる。実施形態の異なる態様および要素は、同様に組み合わせることができる。また、技術は発展するため、要素の多くは、本開示の範囲をそれらの特定の例に制限しない例である。
【００６９】
実施形態についての完全な理解を提供するために、特定の詳細について記述している。しかしながら、実施形態は、これらの特定の詳細なしで実施され得る。たとえば、よく知られている回路、プロセス、アルゴリズム、構造、および技術は、実施形態を不明瞭にするのを回避するために、不必要な詳細なしで示されている。この記述は、例示的な実施形態のみを提供するものであり、本発明の範囲、適用可能性、または構成を制限することを意図するものではない。むしろ、実施形態についての前述の説明は、本発明の実施形態を実装するために実施可能な記述を当業者に提供するものである。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成に様々な変更を行うことができる。
【００７０】
また、一部の実施形態は、流れ図またはブロック図として表したプロセスとして記述した。それぞれは連続するプロセスとして動作を記述することができるが、動作の多くは、並行でまたは同時に実行され得る。さらに、動作の順序は再配置され得る。プロセスは、図に含まれていない追加のステップを持つことができる。さらに、方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装された場合、関連するタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体などコンピュータ可読媒体に格納され得る。プロセッサは、関連するタスクを実行することができる。
【００７１】
いくつかの実施形態について記述したが、本開示の趣旨から逸脱することなく、様々な修正、代替構造、および等価物が使用され得る。たとえば、上記の要素は、単により大きいシステムの構成要素の場合があり、他のルールが、本発明の適用例より高い優先度を有し得る、または別の方法でそれを修正することができる。また、上記の要素について考慮する前、間、または後に、いくつかのステップに着手することができる。したがって、上記の記述は、本開示の範囲を制限するものではない。
【００７２】
様々な例について記述してきた。これらおよび他の例は、以下の請求項の範囲に入るものである。
【符号の説明】
【００７３】
100  コンピューティングデバイス
200  イメージ記録デバイス
210  ジェスチャ
220  ジェスチャ
300  ブロック
300(a)  グラフ
300(b)  チャート、グラフ
300(c)  グラフ
300(c)  ヒストグラム
305  第1の円
310  第2の円
330  具体例
330(a)  グラフ
330(b)  グラフ
330(c)  グラフ
335  データオブジェクト
340  データオブジェクト
360  具体例
360(a)  グラフ
360(b)  グラフ
360(c)  グラフ
365  データオブジェクト
370  データオブジェクト
400(a)  グラフ
400(b)  グラフ
500  具体例
505  ジェスチャ、ジェスチャ角度の詳細の第1のレベル
505a  ヒストグラム
510  ジェスチャ角度の詳細の第2のレベル
515  データオブジェクト、サブセット
515a  ヒストグラム
520  データオブジェクト、サブセット
520a  ヒストグラム
530  具体例、連結
600  グラフ
605  データオブジェクト
700  流れ図
704  流れ図
800  コンピュータシステム
805  バス
810  プロセッサ
815  入力デバイス
820  出力デバイス
825  記憶デバイス、非一時的記憶デバイス
830  通信サブシステム
835  非一時的ワーキングメモリ
840  オペレーティングシステム
845  アプリケーションプログラム
850  送受信機
【図１】
2016534480.tif 000003
【図２】
2016534480.tif 000004
【図３Ａ】
2016534480.tif 000005
【図３Ｂ】
2016534480.tif 000006
【図３Ｃ】
2016534480.tif 000007
【図４】
2016534480.tif 000008
【図５】
2016534480.tif 000009
【図６】
2016534480.tif 000010
【図７Ａ】
2016534480.tif 000011
【図７Ｂ】
2016534480.tif 000012
【図８】
2016534480.tif 000013
【国際調査報告】
2016534480.tif 000014
2016534480.tif 000015
2016534480.tif 000016