(57)【要約】一連の深度マップはシーンを画像化する。各深度マップが、複数のピクセルを含み、各ピクセルは、当該ピクセルによって画像化される面の深度を定義する。一連の深度マップ内において最も浅い深度を有する非静的ピクセルのセットが識別される。この非静的ピクセルのセットの位置が、カーソル位置にマップされる。
2015531526.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ入力を受け取る方法であって、
シーンを画像化する一連の深度マップを受け取るステップであって、各深度マップが複数のピクセルを含み、該複数のピクセルの各々が、そのピクセルによって画像化される面の深度を定義する、ステップと、
前記一連の深度マップ内において最も浅い深度を有する非静的ピクセルのセットを識別するステップと、
前記非静的ピクセルのセットの位置をカーソル位置にマッピングするステップと、
を含む、方法。
【請求項２】
前記非静的ピクセルのセットを識別するステップは、前記一連の深度マップ内において連続する閾値数の深度マップについて、前記最も浅い深度を保持する非静的ピクセルのセットを識別することを含む、
請求項１に記載の方法。
【請求項３】
前記非静的ピクセルのセットを識別するステップは、前記一連の深度マップから、異なる深度マップ内の対応するピクセルとの間の深度の差を定義することを含み、
各ピクセルについて、
そのピクセルについての前記の差が閾値未満の場合、当該ピクセルを静的ピクセルとして識別すること、あるいは
そのピクセルについての前記の差が閾値以上の場合、当該ピクセルを非静的ピクセルとして識別すること、
を含む、請求項１に記載の方法。
【請求項４】
前記非静的ピクセルのセットの位置は、前記非静的ピクセルのセットの深度に応じて変化するスケールを有するマッピング機能に従って、カーソル位置にマップされる、
請求項１に記載の方法。
【請求項５】
前記非静的ピクセルのセットによって画像化される前記の面は、カーソルを前記カーソル位置で表示しているディスプレイデバイスに近接する指であり、
前記非静的ピクセルのセットの位置を前記カーソル位置にマッピングするステップは、前記カーソル位置を、前記指の世界空間の位置から離すようにシフトさせることを含む、
請求項１に記載の方法。
【請求項６】
前記一連の深度マップ内の連続する複数の深度マップ全体を通して前記非静的ピクセルのセットをトラックするステップと、前記連続する複数の深度マップにおける前記非静的ピクセルのセットの１つ又は複数のパラメータからカーソル操作を認識するステップと、
を更に含む、請求項1に記載の方法。
【請求項７】
前記１つ又は複数のパラメータは、前記非静的ピクセルのセットの３次元のパスを含む、
請求項６に記載の方法。
【請求項８】
コンピューティングデバイスであって、
命令を実行するよう構成される論理サブシステムと、
前記論理サブシステムによって実行可能な命令を備えるストレージサブシステムと、
を備え、前記命令は、
深度カメラから、人間の対象者を含むシーンを画像化する一連の深度マップを受け取ることであって、各深度マップが複数のピクセルを備え、該複数のピクセルの各々が、当該ピクセルによって画像化される面の深度を定義し、
前記人間の対象者を、仮想的な手の関節を含む仮想骨格によりモデル化し、
前記仮想的な手の関節の位置を、前記一連の深度マップ内の１つ又は複数の深度マップの対応する部分にマップすることであって、前記１つ又は複数の深度マップの対応する部分は、前記仮想的な手の関節によってモデル化される人間の対象者の手を画像化し、
前記１つ又は複数の深度マップの対応する部分の深度マップ情報から１又は複数の指をモデル化し、
前記１又は複数の指によって行われる指のジェスチャを解釈する
ように実行可能である、コンピューティングデバイス。
【請求項９】
前記命令は更に、
実質的に線形のプロファイルを、前記１又は複数の指に対応するピクセルに適合させ、
前記線形のプロファイルから指の角度を計算する
ように実行可能である、請求項８に記載のデバイス。
【請求項１０】
前記命令は更に、前記人間の対象者の１つ又は複数の指紋をモデル化する
ように実行可能である、請求項８に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチレス入力に関する。
【背景技術】
【０００２】
指ベースのタッチ入力技術は、ユーザが、タッチスクリーン上に表示されるユーザインタフェースオブジェクトと直接対話することを可能にする。しかしながら、そのようなタッチ入力技術を効率的に実装するには、幾つかの課題がある。例えば指は、ユーザインタフェースの側面を視覚的に塞ぐことがある。別の例として、指の腹は比較的大きな面であるので、この面を単一の点に変化させることは難しい可能性がある。
【発明の概要】
【０００３】
この発明の概要における記載は、以下の発明を実施するための形態の項において更に説明される概念の選択を簡略化した形で紹介するために提供される。この発明の概要における記載は、特許請求に係る主題の主要な特徴又は本質的特徴を特定するようには意図されておらず、また特許請求に係る主題の範囲を限定するようにも意図されていない。さらに、特許請求に係る主題は、本開示のいずれかの部分において示される不利な点のいずれか又は全てを解決する実装に限定されない。
【０００４】
一連の深度マップはシーンを画像化(image)する。各深度マップは、複数のピクセルを含み、各ピクセルは、当該ピクセルによって画像化される面の深度を定義する。一連の深度マップ内において最も浅い深度を有する非静的ピクセルのセットを識別する。この非静的ピクセルのセットの位置が、カーソル位置にマップされる。
【図面の簡単な説明】
【０００５】
【図１Ａ】本開示の一実施形態に係る、人間の対象者の一部を画像化する例示のタッチレス入力しシステムを示す図である。
【図１Ｂ】本開示の一実施形態に係る、人間の対象者の一部を画像化する例示のタッチレス入力しシステムを示す図である。
【図２】本開示の一実施形態に係る、骨格トラッキングパイプラインの非限定的な例を示す図である。
【図３】本開示の一実施形態に係る、タッチレス入力を受け取る方法を示す図である。
【図４】本開示の一実施形態に係る、深度マップの視覚的表現を概略的に示す図である。
【図５】本開示の一実施形態に係る、様々なカーソルマッピングのストラテジを示す図である。
【図６】本開示の一実施形態に係る、深度マップの別の視覚的表現を概略的に示す図である。
【図７】本開示の一実施形態に係る、深度マップの更に別の視覚的表現を概略的に示す図である。
【図８Ａ】本開示の一実施形態に係る、様々なカーソルマッピングのストラテジを概略的に示す図である。
【図８Ｂ】本開示の一実施形態に係る、様々なカーソルマッピングのストラテジを概略的に示す図である。
【図９】本開示の一実施形態に係る、タッチレス入力を受け取る別の方法を示す図である。
【図１０】本開示の一実施形態に係る、指をモデリングする方法を示す図である。
【図１１】本開示の一実施形態に係る、タッチレス入力を受け取る別の方法を示す図である。
【図１２】本開示の一実施形態に係る、コンピューティングデバイスを示す図である。
【発明を実施するための形態】
【０００６】
本開示は、タッチレス入力を視覚的に検出することを対象とする。以下でより詳細に説明されるように、深度カメラ及び／又は他のソースを含むトラッキングシステムを使用して、１又は複数の人間の対象者を含むシーンを画像化する１つ又は複数の深度マップを受け取る。１つ又は複数の深度マップ内のピクセルを分析して、最も浅い深度を有する非静的ピクセルを識別する。非静的ピクセルの位置はその後、カーソル位置にマップされる。このようにして、ポイントされた指の位置を使用して、ディスプレイデバイス上におけるカーソルの位置を制御することができる。タッチレス入力を受け取り、カーソル操作及びマルチタッチジェスチャを制御するよう解釈することもある。
【０００７】
図１Ａ及び図１Ｂは、タッチレス入力システム１００の非限定的な例を示している。具体的には、図１Ａ及び図１Ｂは、ユーザ１０４からのタッチレス入力を受け取るのに使用され得るコンピューティングデバイス１０２を示す。本明細書で使用されるとき、「タッチレス入力」とは、画面への物理的な接触を必要としない入力（例えば指でのポインティング）である。
【０００８】
コンピューティングデバイス１０２は、一体型のディスプレイ画面１０６を含み、該ディスプレイ画面１０６を使用して、コンピューティングデバイスによって要求される演算機能に対応する映像を提示することができる。他の実施形態では、ディスプレイ画面は、コンピューティングデバイスに対する周辺機器であってよい。コンピューティングデバイスは、本開示の範囲から逸脱することなく、実質的に任意の演算機能を視覚的に提供するよう様々に構成され得る。さらに、コンピューティングデバイス１０２は、タブレットコンピューティングデバイスの形で図示されているが、タッチレス入力は、形に関わらず、実質的に任意のタイプのコンピューティングデバイスにおいて実装され得ることを理解されたい。
【０００９】
一部の実施形態において、タッチレス入力は、トラッキングシステム１０８によって受け取られることがある。図示された例では、トラッキングシステム１０８は、深度カメラ１１０及び可視光カメラ１１２を含む。トラッキングシステム１０８は、コンピューティングデバイス１０２内に内蔵されているように図示されているが、他の実施形態では周辺デバイスとして外部に提供されてもよい。トラッキングシステム１０８を使用して、ユーザ１０４を視覚的にモニタ及び／又はトラックすることができる。
【００１０】
タッチレス入力システムを使用して、１又は複数の人間のユーザ（例えばユーザ１０４）及び／又は周辺の物体（例えば入力スタイラス）を認識、分析及び／又はトラックすることができる。図１Ａ及び図１Ｂは、トラッキングシステム１０８がユーザ１０４の手をトラックし、その結果、手によって行われた動きをコンピューティングデバイス１０２によって解釈する、というシナリオを示している。特に、ユーザ１０４の動きは、コンピューティングデバイス１０２に作用するのに使用することができるコントロールとして解釈される。
【００１１】
図１Ａ及び図１Ｂに図示される例示のシナリオは、ユーザ１０４が、ディスプレイ画面１０６上に表示されるグラフィカルユーザインタフェース（ＧＵＩ１１４）をナビゲートする様子を示す。特に、図１Ａは、コンピューティングデバイス１０２が、物理的空間内でトラッキングシステム１０８によりユーザ１０４の位置をトラックする様子を示す。コンピューティングデバイス１０２は、指の物理的空間の位置を、ＧＵＩ内のカーソル１１６の位置にマップする。図１Ｂは、コンピューティングデバイス１０２が継続的に指の位置をトラックするとき、ユーザ１０４が、指を移動させることによって、カーソル１１６をフォルダ１１８に向けて動かすことができる様子を示している。
【００１２】
ユーザ１０４による他の移動も他のコントロールとして解釈してよい。非限定的な例として、ユーザ１０４は、クリック及びドラッグ操作を含め、複数のカーソル操作を実行することができる。さらに、ユーザ１０４は、ズームやパンのようなマルチタッチジェスチャを含め、カーソルに関連しない他の動作を実行してもよい。ＧＵＩ１１４を例として提供しているが、実質的に任意のＧＵＩ及び／又は他の態様のコンピューティングデバイスが、本明細書で説明されるタッチレス入力を用いて制御され得ることが理解されよう。人間以外の他の対象物をモデル化し、かつ／あるいはトラックしてもよい。そのような対象物は、人間の対象者とは別個にモデル化され、トラックされ得る。例えばスタイラスを保持しているユーザの動き及び／又はスタイラス自体の動きがトラックされ得る。
【００１３】
図２は、簡略化されたトラッキングパイプライン２００を図形的に示しており、コンピューティングデバイスは、このパイプライン２００によりタッチレス入力を受け取ることがある。説明の簡潔性のために、パイプライン２００は、図１Ａ及び図１Ｂのタッチレス入力システム１００との関連で説明される。しかしながら、パイプライン２００は、本開示の範囲から逸脱することなく、任意の適切なコンピューティングデバイスにおいて実装されてよい。例えばパイプライン２００は、図１２のコンピューティングデバイス１２００上で実装されてよい。さらに、本開示の範囲から逸脱することなく、タッチレス入力を受け取るために、パイプライン２００とは異なる方法又はパイプラインを使用してもよい。
【００１４】
２０２において、図２は、ユーザ１０４をトラッキングシステム１０８の視点から示している。トラッキングシステム１０８のようなトラッキングシステムは、ユーザ１０４のような人間の対象者を観察するように構成される１つ又は複数のセンサを含み得る。
【００１５】
２０４において、図２は、トラッキングシステム１０８のようなトラッキングシステムにより収集される観察データの図式的表現２０６を示す。収集される観察データのタイプは、トラッキングシステムに含まれるセンサの数及びタイプに応じて変化することとなる。図示される例では、トラッキングシステムは、深度カメラと可視光（例えば色）カメラを含む。
【００１６】
深度カメラは、当該深度カメラのピクセルごとに、観察されるシーン内の、深度カメラに対する面の深さを決定することができる。図２は、コンピューティングデバイス１０２の深度カメラのＤピクセル［ｖ，ｈ］について、観察された３次元のｘ／ｙ／ｚ座標２０８を図式的に示している。同様に、ｘ／ｙ／ｚ座標が深度カメラの全てのピクセルについて記録され得る。ピクセルの全てについての３次元のｘ／ｙ／ｚ座標が、集合的に深度マップを構成する。３次元のｘ／ｙ／ｚ座標は、本開示の範囲から逸脱することなく、任意の適切な手法により決定され得る。例示の深度発見技術は、図１２に関連してより詳細に議論される。
【００１７】
可視光カメラが含まれるとき、可視光カメラは、当該可視光カメラのピクセルごとに、１つ又は複数の光チャネル（例えば赤、緑、青、グレースケール等）について、観察されたシーン内の面の相対的な光強度を決定することができる。図２は、トラッキングシステム１０８の可視光カメラのＶ−Ｌピクセル［ｖ，ｈ］について、観察された赤／緑／青の色値２１０を図式的に示している。同様に、赤／緑／青の色値が可視光カメラの全てのピクセルについて記録され得る。ピクセルの全てについて赤／緑／青の色値が、集合的にデジタルカラー画像を構成する。赤／緑／青の色値は、本開示の範囲から逸脱することなく、任意の適切な手法により決定され得る。例示の色画像化技術は、図１２に関連してより詳細に議論される。
【００１８】
深度カメラ及び可視光カメラは、同じ解像度を有することがあるが、これは必須ではない。カメラが同じ解像度を有しているか異なる解像度を有しているかに関わらず、可視光カメラのピクセルは、深度カメラのピクセルに対して登録され得る。このようにして、可視光カメラ及び深度カメラからの登録されたピクセル（例えばＶ−Ｌピクセル［ｖ，ｈ］、Ｄピクセル［ｖ、ｈ］）を考慮することにより、色情報と深度情報の双方が、観察されたシーンの各部分について決定され得る。
【００１９】
収集されるデータは、実質的に任意の適切なデータ構造の形式をとってよく、このような形式は、これらに限られないが、深度カメラにより画像化される全てのピクセルについての３次元のｘ／ｙ／ｚ座標及び／又は可視光カメラによって画像化される全てのピクセルについての赤／緑／青の色値を含む、１つ又は複数の行列を含む。図２は、単一のフレームを示しているが、人間の対象者を継続的に観察してモデル化してもよい（例えば１秒ごとに３０フレーム）ことを理解されたい。したがって、データは、そのように観察されるフレームの各々について収集され得る。収集されたデータは、１つ又は複数のアプリケーションプログラミングインタフェース（ＡＰＩ）を介して利用可能にされ、かつ／あるいは以下で説明されるように更に分析され得る。
【００２０】
トラッキングシステム及び／又は協調するコンピューティングデバイスは、オプションにより、深度マップを分析して、トラックされる人間の対象者及び／又は他のターゲットを、観察された深度マップ内における非ターゲット要素から区別することができる。深度マップの各ピクセルは、対象インデックス２１４を割り当てられてよく、対象インデックス２１４は、そのピクセルを、特定のターゲット要素又は非ターゲット要素を画像化するものとして識別する。例として、第１の対象物に対応するピクセルには、１に等しい対象インデックスを割り当てることができ、第２の対象物に対応するピクセルには、２に等しい対象インデックスを割り当てることができ、ターゲットの対象物に対応しないピクセルには、ゼロに等しい対象インデックスを割り当てることができる。そのような対象インデックスは、本開示の範囲から逸脱することなく、任意の適切な手法で決定して割り当て、保存することができる。
【００２１】
トラッキングシステム及び／又は協調するコンピューティングデバイスは、オプションにより、人間の対象者の深度マップのピクセルを更に分析し、これにより、各ピクセルが、その対象者の身体のどの部分を画像化する可能性が高いかを決定してもよい。様々な異なる身体部分の割り当て技術を使用して、特定のピクセルが画像化する可能性が高いのは、人間の対象者の身体のどの部分であるかを評価することができる。適切な対象インデックスを有する深度マップの各ピクセルに、身体部分インデックス２１６を割り当ててよい。身体部分インデックスは、個別の識別子、信頼値（confidence  value）及び／又はピクセルが画像化する可能性が高い身体の１つ若しくは複数の部分を示す身体部分確率分布を含み得る。身体部分インデックスは、本開示の範囲から逸脱することなく、任意の適切な手法で決定して割り当て、保存することができる。
【００２２】
１つの非限定的な例として、機械学習を使用して、各ピクセルに身体部分インデックス及び／又は身体部分確率分布を割り当てることができる。機械学習アプローチは、以前にトレーニングされた既知の姿勢の集合から学習される情報を使用して人間の対象者を分析する。言い換えると、監督されるトレーニング段階中に、様々な異なる人々が、様々な異なる姿勢で観察され、人間のトレーナは、観察されたデータにおいて、異なる機械学習分類子をラベル付けするグラウンドトゥルース注釈（ground  truth  annotations）を提供する。観察されたデータ及び注釈を使用して、入力（例えばトラッキングシステムからの観察データ）を所望の出力（例えば関連するピクセルについての身体部分インデックス）にマップする１つ又は複数の機械学習アルゴリズムを生成する。
【００２３】
２１８において、図２は、ユーザ１０４の機械読取可能な表現として機能する仮想的な骨格２２０の図式的表現を示す。仮想骨格２２０は、２０個の仮想的な関節、すなわち｛頭、肩の中央、脊椎、腰の中央、右肩、右ひじ、右手首、右手、左肩、左ひじ、左手首、左手、右腰、右ひざ、右足首、右足、左腰、左ひざ、左足首、左脚｝を含む。この２０個の関節の仮想骨格は、非限定的な例として提供される。本開示に係る仮想骨格は、実質的に任意の数の関節を有してよい。具体的には、以下で説明されるように、仮想骨格は１つ又は複数の指の関節を含んでもよい。
【００２４】
様々な骨格関節は、人間の対象者の実際の関節、人間の対象者の身体部分の重心、人間の対象者の四肢の終端部及び／又は人間の対象者に対する直接的な解剖学的リンクのない点に対応してよい。各関節は、少なくとも３つの自由度（例えばｘ／ｙ／ｚの世界空間）を有する。したがって、仮想骨格の各関節は、３次元の位置で定義される。例えば左肩の仮想関節２２２は、ｘ座標位置２２３と、ｙ座標位置２２４と、ｚ座標位置２２５とにより定義される。ｚ座標位置２２５は、左肩の仮想関節２２２の深度をエンコードし得る。これらの関節の位置は、任意の適切な起点（origin）との関連で定義され得る。一例として、トラッキングシステムが起点として機能することがあり、全ての関節位置がトラッキングシステムとの関連で定義される。関節は、本開示の範囲から逸脱することなく、任意の適切な手法で３次元の位置により定義され得る。
【００２５】
様々な技術を使用して、各関節の３次元の位置を決定することができる。骨格適合技術は、深度情報、色情報、身体部分情報及び／又は以前にトレーニングされた解剖学的及び動力学的情報を使用して、人間の対象者を綿密にモデル化する１つ又は複数の骨格を推測することができる。１つの非限定的な例として、上述の身体部分インデックスを使用して、それぞれの骨格関節の３次元の位置を見つけることができる。
【００２６】
関節の位置及び／又は他の情報を、任意の適切なデータ構造でエンコードしてもよい。さらに、任意の特定の関節に関連付けられる位置及び／又は他のパラメータが、１つ又は複数のＡＰＩを介して利用可能にされ得る。
【００２７】
図３は、タッチレス入力を受け取るための方法３００を示している。方法３００は、例えばタッチレス入力システム１００によって実行され得る。３０２において、シーンを画像化する一連の深度マップを受け取る。シーンは、１若しくは複数の人間のユーザ及び／又は物理的な物体（object）を含み得る。図２に関連して上述したように、一連の深度マップ内の各深度マップは、複数のピクセルを含み、この複数のピクセルはそれぞれ、そのピクセルによって画像化される面の深度を定義する。
【００２８】
３０４において、一連の深度マップ内で最も浅い深度を有する非静的なピクセルのセットが、識別される。言い換えると、方法３００は、一連の深度マップ中を通して実質的に変化している１つ又は複数のピクセルを識別し、更に、ディスプレイやトラッキングシステムといった基準に最も近い１つ又は複数の非静的なピクセルのセットを識別する。
【００２９】
図４は、深度マップ４００を概略的に示している。深度マップは、シーンを画像化し、この例においてシーンはユーザ１０４の手を含む。深度マップは、複数のピクセル、例えばピクセル４０８を含む。ピクセル４０８は、ユーザ１０４の人差し指の面を画像化し、その面の深度を定義する。図４は、ピクセル４０８についてエンコードされた３次元のｘ／ｙ／ｚ座標４１０も概略的に示している。図４は、単一の深度マップを示しているが、深度マップ４００は、一連の深度マップ内の１つであり得ることを理解されたい。
【００３０】
深度マップ内の非静的ピクセルは、本開示の範囲から逸脱することなく、幾つかの方法で定義され得る。一例において、ピクセルは、その深度（例えばｘ／ｙ／ｚ座標内のｚ座標の位置）が、少なくとも（ノイズについて作成される許容範囲（allowance）及び／又は深度カメラからの他の誤差を有する）閾値によって変化する場合、非静的ピクセルとして識別される。第２の深度マップ内のピクセルの深度を、第１の深度マップ内の同じピクセルの深度から抽出することにより、連続する深度マップ内のピクセルについて深度差の値を定義することができる。閾値は、あるピクセルについての差分値が当該閾値未満である場合に、そのピクセルが静的ピクセルとして識別されるように確立されてよい。反対に、ピクセルについての差分値が、閾値以上である場合、そのピクセルは非静的ピクセルとして識別される。このようにして、タッチレス入力システム１００は、人間の対象者の動く部分又は動く物体（例えば入力スタイラス）に対応する非静的ピクセルを識別することができる。
【００３１】
本開示の範囲から逸脱することなく、非静的ピクセルを識別するための他の方法を使用してもよい。例えば一部の実施形態では、色値を評価して、閾値より大きく色が変化するピクセルを決定してもよい。
【００３２】
タッチレス入力システム１００は更に、一連の深度マップ内において最も浅い深度を有する非静的ピクセルのセットを識別することができる。言い換えると、ディスプレイ又は何らかの他の基準に最も近い非静的ピクセルが識別され得る。タッチレス入力システム１００は、最初に非静的ピクセルを識別し、続いて最も浅い深度を有する非静的ピクセルを識別することができる。あるいは、システムは、最初に最も浅い深度を有するピクセルを識別し、続いて非静的であるピクセルを識別してもよい。
【００３３】
非静的なピクセルは、複数の基準に基づいて、最も浅い深度を有するものとして識別され得る。一例において、一連の深度マップ内で最も浅い深度の非静的ピクセルが識別され、同じ最も浅い深度の深度を共有する２つ又はそれ以上の非静的ピクセルは存在しないと仮定する。そのような場合において、非静的ピクセルのセットは、１つの単一のピクセルを含む。あるいは、１つ又は複数の非静的ピクセルが、最も浅い深度を有する非静的ピクセルのセットとして識別され得る。この例では、最も小さい深度を有するピクセル（すなわち、ディスプレイ又は他の基準に最も近いピクセル）が識別され、閾値が、その深度に基づいて確立される。この深度の閾値内の深度を有する連続する非静的ピクセルを、最も浅い深度を有する非静的ピクセルのセットに割り当ててもよい。更に別の実施形態では、最も浅い深度を有するピクセルが識別され、１つ又は複数の近傍ピクセルが、最も浅い深度を有する非静的ピクセルのセットに追加されることがある。この例では、非静的ピクセルのセットが複数の連続するピクセルを含む。そのようなシナリオが図４に図示されており、この場合、ピクセル４０８は最も浅い深度を有するものとして識別される。３つの近傍ピクセルも、最も浅い深度を有する非静的ピクセルのセット内に含まれており、４つのピクセルが一緒に、非静的ピクセルの連続するセット４１２を形成する。
【００３４】
一部の実施形態において、特定の物体（例えば指）を画像化する非静的ピクセルのセットは、連続する複数の深度マップを通してトラックされ得る。物体をトラックする特定のピクセルは、あるフレームから次のフレームへ変化するが、ヒューリスティックを用いて、どのピクセルのセットが、各フレーム内の物体を画像化するかを決定することができる。一部の実施形態において、物体を画像化する非静的ピクセルのセットは単に、これらのピクセルが、一連の深度マップにおいて連続する閾値数の深度マップについて最も浅い深度を保持する場合、最も浅い深度を有する非静的ピクセルのセットとして識別されることになる。このようにして、ノイズに起因する不正確性を回避することができる。
【００３５】
最も浅い深度を有する非静的ピクセルの新たなセットが識別されたとしても、非静的ピクセルのセットは一連の深度マップの全体を通して継続的にトラックされ得る。このようにして、１より多くの指及び／又は他のオブジェクトがトラックされ、分析され得る（例えばマルチタッチジェスチャを解釈する）。
【００３６】
図３に戻ると、３０６において、方法３００は、識別された非静的ピクセルのセットの位置を、カーソル位置にマッピングすることを含む。方法３００は、例えばユーザの指の物理的空間の位置を、カーソル１１６の位置にマッピングすることができる。このようにして、ポイントされた指の位置を使用して、ディスプレイデバイス上のカーソルの位置を制御することができる。
【００３７】
一部の実施形態において、最も浅い深度を有する単一の非静的ピクセルの位置が、カーソル位置にマップされる。あるいは、複数のピクセルの位置の平均をカーソル位置にマッピングしてもよい。
【００３８】
図示される実施形態では、ユーザの指と手が、トラッキングシステムに比較的近接して置かれることが想定される。トラッキングシステム及びディスプレイデバイスが一緒にコンピューティングデバイス内に収まる場合、非静的ピクセルのセットによって画像化される面は、カーソルをカーソル位置に表示しているディスプレイデバイスに近接する指である。１つの非限定的な例として、ディスプレイデバイスがユーザの届く範囲内である場合、指は、ディスプレイデバイスに近接すると見なされてよい。
【００３９】
ユーザの指が、ディスプレイデバイスに近接する場合、一部のストラテジでは、カーソルは、実際の指の位置の出来るだけ近くのカーソル位置にマッピングされ得る。
【００４０】
図５は、そのようなシナリオを図示している。ユーザ１０４の手が、カーソル５０２とともに破線で示されている。しかしながら、カーソル５０２は、ユーザの視点からは塞がれている。
【００４１】
カーソル及び他のユーザインタフェース要素の閉塞は、指から離れるようカーソル位置をシフトすることにより低減され得る。図５は、シフトされたカーソル５０４を示しており、このカーソル５０４の位置は、ユーザ１０４の指の物理的な空間位置から離れるようシフトされている。
【００４２】
非静的ピクセルのセットは、カーソル位置でカーソルを表示しているディスプレイデバイスに近接しない指の面を画像化することもある。非限定的な例として、指は、ディスプレイデバイスがユーザの届く距離の範囲内にない場合、ディスプレイデバイスに近接しているとは見なされないことがある。ディスプレイデバイスに近接していない面は、外部の周辺トラッキングシステムにより画像化され得る。これは、例えばトラッキングシステムがコンピューティングデバイス内に内蔵されない場合の事例である。
【００４３】
非静的ピクセルのセットの位置をカーソル位置にマッピングすることは、マッピング機能により制御され得る。マッピング機能は、指及び／又は入力デバイスの動きがカーソル位置にどのようにマッピングされるかを制御する、スケール属性を含み得る。指を使用して入力を供給する場合、スケール属性は、例えば指が物理的空間の全体を動く際のカーソルの動きのスピードを制御する感度属性であってよい。
【００４４】
マッピング機能の一実施形態が図６に示されている。第１の手６０２と第２の手６０４とを含むシーンを画像化する、深度マップ６００が概略的に示されている。第１の手６０２を画像化する非静的ピクセルに対応する２１０という深度を使用して、マッピング機能のスケールを確立する。第１の手６０２は、トラッキングシステムに比較的近接しており、したがって、マッピング機能のスケールは、これに応じて高く設定され得る。高いスケールにより、カーソルは、指が物理的空間全体を動く際に比較的早いスピードで動くことになる。反対に、第２の手６０４は、第１の手６０２よりもトラッキングシステムから離れているので、相応に高くなる深度に関連する非静的ピクセルを有する。この非静的ピクセルは、スケールを低く設定し、この低いスケールにより、カーソルは、指が物理的空間全体を動く際に比較的遅いスピードで動くことになる。他の実施形態では、スケールは、より遠くにある指が、比較的近くにある指よりもより早くカーソルを移動させるように設定されてもよい。１つ又は複数のピクセルの深度を使用して、線形又は非線形関数によりスケールを設定することができる。
【００４５】
図７は、マッピング機能のスケールが、非静的ピクセルのセットのサイズに基づいてどのように設定され得るかを図示している。図示された例では、第１の手６０２及び第２の手６０４を画像化する深度マップ７００が概略的に示されている。第１の手６０２に対応する非静的ピクセルのセットは、４つのピクセルを備え、一方、第２の手６０４に対応する非静的ピクセルのセットは、２つのピクセルを備える。マッピング機能は、したがって、非静的ピクセルのセットのサイズに応じて変化するスケールを有する。非静的ピクセルのセットのサイズは、本開示の範囲から逸脱することなく、実質的に任意の手法で決定されてよい。１つの非限定的な例として、サイズは、非静的ピクセルの合計の数を計算することによって決定され得る。あるいは、サイズは、円形の口径（aperture）（例えば口径７０２及び７０４）を非静的ピクセルのセットの周囲の周りに適合させ、その直径を計算することによって決定され得る。
【００４６】
更に別の実施形態では、マッピング機能のスケールは、ユーザの手のどの指が、最も浅い深度を有する非静的ピクセルのセットに対応するものとして識別されるかに基づいて決定される。例えばタッチレス入力システム１００は、ユーザの２又はそれ以上の指を識別して、各指に異なるスケールを設定してよい。このようにして、ユーザは、指の間で用法を変更することにより、カーソルの感度及び動きを動的かつ容易に制御することができる。
【００４７】
図８Ａ及び図８Ｂは更に、どのようにマッピング機能のスケールが変化し、これにより、ユーザにより制御されるカーソルの感度において対応する変化が生じるかを図示する。図８Ａでは、ユーザ１０４は、手をコンピューティングデバイス１０２から比較的離して置いている。マッピング機能のスケールはこれに応じて低く設定され、これは、カーソル移動を遅くかつ正確なものにする。この低いスケールは、比較的小さい直径を有する口径８０２によって表されている。図８Ｂでは、ユーザ１０４は、手をコンピューティングデバイス１０２の比較的近くに移動させている。マッピング機能のスケールはこれに応じて高く設定され、これはカーソル移動を早くする。この高いスケールは、比較的大きい直径を有する口径８０４によって表される。このようにして、ユーザは、一連のカーソルの感度全体を通して、シームレスに遷移し得る。例示のスケーリングを例として提供したが、本開示の範囲から逸脱することなく、実質的に任意のスケーリング関数を使用してもよいことが理解されよう。例えば指がより遠くにあるときにカーソルをより早く移動させるスケーリング関数を使用してもよい。
【００４８】
タッチレス入力システム１００は、カーソル位置及び感度以外の演算態様を制御してもよい。上述のような連続する複数の深度マップ全体を通して非静的ピクセルのセットをトラックすることにより、トラックされるピクセルのセットに関連付けられる１つ又は複数のパラメータ（例えば深度）を評価して、実質的に任意のカーソル操作にマッピングしてもよい。パラメータは、トラックされるピクセルのセットの３次元のパス（path）（例えばｘ／ｙ／ｚ座標）を含み得る。カーソル操作は、クリック操作、ダブルクリック操作、トリプルクリック操作、選択操作、ハイライト操作、スクロール操作及びドラッグ操作を含み得る、しかしながら、これらの操作は単に、説明上の例として提供されるものにすぎず、いずれにおいても限定するようには意図されていない。実質的に任意のカーソル操作が、本明細書で説明される方法とともに解釈され、実行され得る。
【００４９】
図９は、タッチレス入力を受け取る方法９００を示している。方法９００は、例えばタッチレス入力システム１００によって実行され得る。９０２において、一連の深度マップが、図２に関連して上述したように、深度カメラから受け取られる。一連の深度マップは、人間の対象者を含むシーンを画像化する。
【００５０】
９０４において、人間の対象者が、特に図２に関連する上述の実施形態に従って、複数の仮想的な指の関節を含む、仮想骨格を用いてモデル化される。
【００５１】
一部の実施形態において、仮想的な指の関節は、以前にトレーニングされた機械学習アルゴリズムを用いてモデル化され得る。あるいは、図１０に示される方法１０００を用いて仮想的な指の関節をモデル化してもよい。１００２において、コンピューティングデバイスの内部又は外部に提供される深度カメラを使用して、ユーザの手を識別する。手は、パイプライン２００を含め、本開示の範囲から逸脱することなく任意の適切な方法を使用して識別され得る。１００４において、コンピューティングデバイスは、トラッキングシステムと識別された両手との間の深度を計算し、近い方の手を入力用に選択する。１００６において、コンピューティングデバイスは、識別された一方の手の各指先を識別し、オプションとして、識別された指の表現をディスプレイ画面によりユーザに提示する。１００８において、コンピューティングデバイスは、どの指が入力を制御するかを示す選択をユーザから受け取る。１０１０において、コンピューティングデバイスは、その指を３次元の空間でトラックして、その動きをジェスチャとして解釈する。
【００５２】
指は、実質的に線形のプロファイルを、１又は複数の指に対応するピクセルに適合させることによってモデル化されてもよい。言い換えると、指は、スティックのような形状により近似され得る。指先とトラッキングシステムとの間の指の角度が、その後、適合された線形プロファイルに基づいて計算され得る。このようにして、指の長さと先端部との双方が正確にモデル化され、トラックされ得る。
【００５３】
深度カメラが十分な解像度を有する実施形態では、人間の対象者の指紋が識別され、ユーザと照合され得る。このようにして、ユーザを識別することができ、カーソル制御又は他のコンピューティング属性が、識別されたユーザに関連するプリファレンスに対して設定され得る。
【００５４】
図９に戻ると、９０６において、１つ又は複数の深度カメラからモデル化された１つ又は複数の仮想的な指の関節の３次元の挙動が、指のジェスチャとして解釈される。３次元の挙動の解釈は、１つ又は複数の仮想的な指の関節のｘ／ｙ／ｚ座標を評価することを含むことがある。解釈は更に、上述のように連続する複数の深度マップ全体にわたって、仮想的な指の関節をトラッキングすることを含んでもよい。
【００５５】
本開示の範囲から逸脱することなく、実質的に任意の指又はマルチタッチジェスチャを解釈することができる。「マルチタッチ」とは、ここでは、１より多くの指を用いる指のジェスチャを示すのに使用されるが、本開示は、そのようなジェスチャがタッチレスの方法で実行されることを可能にすることを理解されたい。そのようなタッチレスのマルチタッチジェスチャの例には、タップジェスチャ、ダブルタップジェスチャ、プレスジェスチャ、スクロールジェスチャ、パンジェスチャ、フリックジェスチャ、２本指のタップジェスチャ、２本指のスクロールジェスチャ、ピンチジェスチャ、スプレッドジェスチャ及び回転ジェスチャが含まれる。しかしながら、これらの例は単に例示であり、いずれにおいても限定するよう意図されていないことが認識されよう。
【００５６】
指のジェスチャは更に、人間の対象者によって以前に行われた選択に基づいて解釈されてもよい。人間の対象者は、例えばタッチレス入力システム１００に、薬指と小指からの入力は無視するように指示し、指のジェスチャの解釈を人差し指と中指に限定することがある。
【００５７】
図１１は、タッチレス入力を受け取る別の方法１１００を示している。方法１１００は、例えばタッチレス入力システム１００によって実行され得る。１１０２において、一連の深度マップが、図２に関連して上述したように、深度カメラから受け取られる。
【００５８】
１１０４において、人間の対象者は、特に図２に関連して上述したように、仮想的な手の関節を含む仮想骨格を用いてモデル化される。
【００５９】
１１０６において、仮想的な手の関節の位置が、一連の深度マップにおける１つ又は複数の深度マップの対応する部分にマップされる。対応する部分は、人間の対象者の手を画像化し、この手もまた、仮想的な手の関節によりモデル化されている。
【００６０】
１１０８において、人間の対象者の１又は複数の指がモデル化される。特に、手を画像化する深度マップの部分が、仮想骨格の仮想的な手の関節によって識別されると、深度マップのその部分を分析して、画像化された手及び指をより正確にモデル化することができる。このようにして、任意の適切な技術を使用して手及び指をモデル化することができる。非限定的な例として、以前にトレーニングされた機械学習アルゴリズムは、指のジェスチャがトラックされ得る、機械読取可能な形式で手をモデル化する。別の例として、図１０の方法１０００が使用されてもよい。
【００６１】
１１１０において、１又は複数の指によって行われた指のジェスチャが解釈される。解釈は上述した通りに実行され得る。一部の実施形態において、「指のジェスチャ」は、モデル化される指の１又は複数で保持されるか他の方法で関連付けられる、物理的な物体によって行われるジェスチャを指すことがある。したがって、本明細書で説明されるとき、指のジェスチャを解釈することは、モデル化される指の１又は複数で保持されるか他の方法で関連付けられる、物理的な物体のジェスチャを解釈することを含むことがある。
【００６２】
方法１１００は、仮想的な手の関節を識別すると、仮想的な手の関節に対応しない深度マップの他の部分は処理及び分析する必要がないので、指をモデル化することの応答性を向上させることができる。
【００６３】
上記の方法は、限定するように意図されていないことを理解されたい。タッチレス入力は、本開示の範囲から逸脱することなく、様々な異なる方法により受け取られ、解釈され得る。
【００６４】
一部の実施形態において、上述の方法及び処理は、１つ又は複数のコンピューティングデバイスのうちのあるコンピューティングデバイスに結び付けられることがある。特に、そのような方法及び処理は、コンピュータアプリケーションプログラム若しくはサービス、アプリケーションプログラミングインタフェース（ＡＰＩ）、ライブラリ及び／又は他のコンピュータプログラム製品として実装されてよい。
【００６５】
図１２は、上述の方法及び処理の１つ又は複数を行うことができるコンピューティングデバイス１２００の非限定的な実施形態を概略的に示している。コンピューティングデバイス１２００は、簡略化された形で示されている。本開示の範囲から逸脱することなく、実質的に任意のコンピュータアーキテクチャを使用することができることが理解されよう。異なる実施形態において、コンピューティングデバイス１２００は、メインフレームコンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス（例えばスマートフォン）等の形を取ってもよい。
【００６６】
コンピューティングデバイス１２００は、論理サブシステム１２０２及びストレージサブシステム１２０４を含む。コンピューティングデバイス１２００は、オプションで入力サブシステム１２０６．ディスプレイサブシステム１２０８、通信サブシステム１２１０及び／又は図１２には図示されていない他のコンポーネントを含んでもよい。
【００６７】
論理サブシステム１２０２は、命令を実行するように構成された１つ又は複数の物理的なデバイスを含む。例えば論理サブシステムは、１つ又は複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、データ構造又は他の論理構造の一部である命令を実行するように構成され得る。そのような命令は、タスクを実行し、データタイプを実装し、１つ又は複数のコンポーネントの状態を変換し、あるいは他の方法で所望の結果を達成するように実装され得る。
【００６８】
論理サブシステムは、ソフトウェア命令を実行するように構成される１つ又は複数のプロセッサを含んでよい。あるいはまた、論理サブシステムは、ハードウェア又はファームウェア命令を実行するように構成される、１つ又は複数のハードウェア又はファームウェア論理マシンを含んでもよい。論理サブシステムのプロセッサは、シングルコアであってもマルチコアであってもよく、このプロセッサ上で実行されるプログラムは、逐次処理、並列処理又は分散処理用に構成され得る。論理サブシステムは、オプションとして、リモートに配置されるか及び／又は協調的な処理のために構成される可能性がある、２つ又はそれ以上のデバイス間で分散される個々のコンポーネントを含んでもよい。論理サブシステムの態様は、クラウドコンピューティングの構成で構成される、リモートからアクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化され、実行され得る。
【００６９】
ストレージサブシステム１２０４は、本明細書において説明される方法及び処理を実装するのに論理サブシステムによって実行可能なデータ及び／又は命令を保持するように構成される、１つ又は複数の物理的な非一時的デバイスを含む。そのような方法及び処理を実装するとき、ストレージサブシステム１２０４の状態は、例えば異なるデータを保持するように、変換され得る。
【００７０】
ストレージサブシステム１２０４は、取外し可能媒体及び／又は組み込みデバイスを含んでよい。ストレージサブシステム１２０４は、特に、光メモリデバイス（例えばＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｂｌｕ−Ｒａｙ（登録商標）ディスク等）、半導体メモリデバイス（例えばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）及び／又は磁気メモリデバイス（例えばハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、ＭＲＡＭ等）を含み得る。ストレージサブシステム１２０４は、揮発性、不揮発性、動的、静的、リード／ライト、読取専用、ランダムアクセス、順次アクセス、位置アドレス可能、ファイルアドレス可能及び／又はコンテンツアドレス可能なデバイスを含み得る。
【００７１】
ストレージサブシステム１２０４は、１つ又は複数の物理的な非一時的デバイスを含むことが認識されよう。しかしながら、一部の実施形態では、本明細書で説明される命令の態様は、物理的なデバイスによって有限の期間の間保持されない純粋な信号（例えば電磁気信号、光信号等）によって、一時的に伝播され得る。さらに、本開示に関連するデータ及び／又は他の形式の情報が、純粋な信号によって伝播されることもある。
【００７２】
一部の実施形態において、論理サブシステム１２０２及びストレージサブシステム１２０４の態様は一緒に、１つ又は複数のハードウェア論理コンポーネントに統合されてもよく、このハードウェア論理コンポーネントを通して、本明細書で説明される機能を定めることができる。そのようなハードウェア論理コンポーネントには、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラム及び特定用途向け集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラム及び特定用途向け規格品（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）システム及び結合プログラム可能論理回路（ＣＰＬＤ）が含まれ得る。
【００７３】
「モジュール」、「プログラム」及び「エンジン」という用語は、特定の機能を実行するよう実装されるコンピューティングデバイス１２００の態様を説明するのに使用され得る。一部の場合において、モジュール、プログラム又はエンジンは、ストレージサブシステム１２０４によって保持される命令を実行する論理サブシステム１２０２によりインスタンス化され得る。異なるモジュール、プログラム及び／又はエンジンが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数等からインスタンス化されてもよいことが理解されよう。同様に、同じモジュール、プログラム及び／又はエンジンが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数等によってインスタンス化されてもよい。「モジュール」、「プログラム」及び「エンジン」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等の個々又はグループを包含し得る。
【００７４】
本明細書で使用されるとき、「サービス」は、複数のユーザセッションにわたって実行可能なアプリケーションプログラムであることが認識されよう。サービスは、１つ若しくは複数のシステムコンポーネント、プログラム及び／又は他のサービスに対して利用可能であってよい。一部の実装において、サービスは、１つ又は複数のサーバ・コンピューティングデバイス上で動作し得る。
【００７５】
ディスプレイサブシステム１２０８が含まれるとき、ディスプレイサブシステム１２０８は、ストレージサブシステム１２０４によって保持されるデータの視覚的表現を提示するのに使用され得る。この視覚的表現は、グラフィカルユーザインタフェース（ＧＵＩ）の形式を取ることができる。本明細書で説明される方法及び処理は、ストレージサブシステムによって保持されるデータを変更するので、ストレージサブシステムの状態を変換し、ディスプレイサブシステム１２０８の状態も同様に、基礎となるデータの変化を視覚的に表すように変換され得る。ディスプレイサブシステム１２０８は、実質的に任意のタイプの技術を用いる１つ又は複数のディスプレイデバイスを含んでよい。そのようなディスプレイデバイスは、共有される筐体内において論理サブシステム１２０２及び／又はストレージサブシステム１２０４と結合されてよく、あるいはそのようなディスプレイデバイスは周辺ディスプレイデバイスであってよい。
【００７６】
入力サブシステム１２０６が含まれるとき、入力サブシステム１２０６は、キーボード、マウス、タッチスクリーン又はゲームコントローラのような１つ又は複数のユーザ入力デバイスを備えるか、あるいはこれとインタフェースすることができる。一部の実施形態において、入力サブシステムは、選択されたナチュラルユーザインプット（ＮＵＩ）の構成部品（例えばトラッキングシステム１０８）を備えるか、これとインタフェースしてよい。そのような構成部品は、統合されるか周辺機器であってよく、入力動作の変換及び／又は処理は、オンボード又はオフボードで処理され得る。例示のＮＵＩ構成部品には、音声及び／又は言語認識のためのマイクロフォン；マシンのビジョン及び／又はジェスチャ認識のための赤外線、色、立体及び／又は深度カメラ；動き検出及び／又は意図認識のためのヘッドトラッカ、アイトラッカ、加速度計及び／又はジャイロスコープ；並びに脳の活動を評価するための電界感知構成部品が含まれ得る。
【００７７】
一部の実施形態において、入力サブシステム１２０６は、「構造化された光（structured  light）」深度カメラを備えるか、これとインタフェースすることがあり、この構造化される光深度カメラは、様々な個別の特徴（例えば線又はドット）を備える、構造化された赤外線照明を投影するように構成され得る。カメラは、シーンから反射される構造化された照明を画像化するように構成され得る。画像化されたシーンの様々な領域内の近接する特徴の間の空間に基づいて、シーンの深度マップが構築され得る。
【００７８】
入力サブシステム１２０６は、「飛行時間（ＴＯＦ：time-of-flight）」型の深度カメラを備えるか、これとインタフェースしてよく、ＴＯＦ型のカメラは、パルス化された赤外線照明をシーン上に投影するように構成される光源を含み得る。２つのカメラが、シーンから反射されるパルス化された照明を検出するように構成され得る。カメラは、パルス化された照明と同期される電気シャッターを含み得るが、カメラの積分時間は、光源からシーンへ、そしてカメラへ向かうパルス化された照明のピクセル分解されるＴＯＦは、２つのカメラの対応するピクセルにおいて受け取られる光の相対的な量から識別できる。
【００７９】
通信サブシステム１２１０が含まれるとき、通信サブシステム１２１０は、コンピューティングデバイス１２００を、１つ又は複数の他のコンピューティングデバイスと通信可能に結合するように構成され得る。通信サブシステム１２１０は、１つ又は複数の異なる通信プロトコルと互換性のある有線及び／又は無線通信デバイスを含み得る。非限定的な例として、通信サブシステムは、無線電話ネットワーク又は有線若しくは無線のローカルエリアネットワーク若しくはワイドエリアネットワーク経由の通信のために構成され得る。一部の実施形態において、通信サブシステムは、コンピューティングデバイス１２００が、インターネットのようなネットワークを介して、他のデバイスへ及び／又は他のデバイスからのメッセージを送信及び／又は受信するのを可能にする。
【００８０】
本明細書で説明される構成及び／又はアプローチは例示的性質であり、様々な変形が可能であるので、これらの具体的な実施形態又は実施例は、限定の意味で解釈されるべきでないことが理解されよう。本明細書において説明される具体的なルーチン又は方法は、任意の数の処理ストラテジの１つ又は複数を表してよい。したがって、図示及び／又は説明される様々な動作を、図示及び／又は説明される順序で実行してもよく、あるいは他の順序や並行に実行してもよく、省略してもよい。同様に、上述の処理の順序を変更してもよい。
【００８１】
本開示の主題は、様々な処理、システム及び構成についての全ての新規かつ容易でない組合せ及び副次的組合せ、本明細書で説明される他の特徴、機能、動作及び／又は特性並びにこれらの均等物のいずれか及び全てを含む。
【図１Ａ】
2015531526.tif 000003
【図１Ｂ】
2015531526.tif 000004
【図２】
2015531526.tif 000005
【図３】
2015531526.tif 000006
【図４】
2015531526.tif 000007
【図５】
2015531526.tif 000008
【図６】
2015531526.tif 000009
【図７】
2015531526.tif 000010
【図８Ａ】
2015531526.tif 000011
【図８Ｂ】
2015531526.tif 000012
【図９】
2015531526.tif 000013
【図１０】
2015531526.tif 000014
【図１１】
2015531526.tif 000015
【図１２】
2015531526.tif 000016
【国際調査報告】
2015531526.tif 000017
2015531526.tif 000018
2015531526.tif 000019