(57)【特許請求の範囲】
【請求項１】
方法であって、
体積内に投影するために光源から光ビームを供給すること、
前記光ビームに光パターンを適用するための１つ以上の所定の特性で前記光ビームを符号化すること、
前記光パターンで符号化された光ビームを前記体積内に投影すること、
前記体積内の１つまたは複数の物体で反射された前記光パターンの光を検出器で検出すること、
前記体積内の前記１つまたは複数の物体で反射された前記光パターンの検出光を解析すること、
前記体積内の１つの物体によって反射された前記光パターンの検出光のコヒーレンス特性と、前記体積内の前記１つまたは複数の物体のうちの他の物体によって反射された前記光パターンの検出光のコヒーレンス特性との差を決定することによって前記１つの物体によって反射された前記光パターンの検出光のコヒーレンス特性に従って前記体積内の前記１つの物体を前記体積内の前記１つまたは複数の物体からセグメント化すること、
前記光源を調整して、前記１つの物体によって反射された前記光パターンの検出光のコヒーレンス特性と同じコヒーレンス特性により前記体積内の前記１つまたは複数の物体のうちの前記他の物体を識別すること、
を備える方法。
【請求項２】
前記光パターンが複数のストライプを含む、請求項１に記載の方法。
【請求項３】
前記１つの物体により反射された前記光パターンの検出光に基づいて前記１つの物体の深さ情報を生成することをさらに備える請求項１に記載の方法。
【請求項４】
前記１つの物体を関心物体として識別することをさらに備える請求項１に記載の方法。
【請求項５】
前記光パターンは、前記光ビームのプロファイルのコリメーション角、前記光ビームのプロファイルの強度、前記光ビームのプロファイルの均一性、前記光源のコヒーレンス、およびそれらの組み合わせからなる群から選択された光学特性を含む、請求項１に記載の方法。
【請求項６】
前記体積内の１つの物体は、前記１つの物体によって反射された前記光パターンの検出光の幅に基づいてセグメント化される、請求項１に記載の方法。
【請求項７】
前記体積内の１つの物体は、前記１つの物体によって反射された前記光パターンの検出光の強度プロファイルの変化に基づいてセグメント化される、請求項１に記載の方法。
【請求項８】
前記検出光の強度プロファイルの変化は、前記１つの物体によって反射された前記光パターンの光の局所的な均一プロファイルの変化を含む、請求項７に記載の方法。
【請求項９】
前記検出光の強度プロファイルの変化は、前記１つの物体によって反射された前記光パターンの光のスペックルの局所的な均一プロファイルの変化を含む、請求項７に記載の方法。
【請求項１０】
前記検出光の強度プロファイルの変化は、前記１つの物体によって反射された前記光パターンの光の散光または迷光プロファイルの変化を含む、請求項７に記載の方法。
【請求項１１】
前記体積内の前記１つまたは複数の物体で反射された前記光パターンの光を検出器で検出することは、前記体積内の前記１つまたは複数の物体で反射された前記光パターンを偏光構造と追加の偏光構造に従って偏光して、前記体積内の前記１つまたは複数の物体で反射された光の複数の画像を生成することを含み、
前記体積内の１つの物体を前記体積内の前記１つまたは複数の物体からセグメント化することは、
前記体積内の前記１つまたは複数の物体で反射され前記偏光構造を有する光の画像を、前記体積内の前記１つまたは複数の物体で反射され前記追加の偏光構造を有する光の画像から除去すること、
前記除去した画像から前記１つの物体を抽出すること、
を含む、請求項１に記載の方法。
【請求項１２】
前記１つの物体によって反射された前記光パターンの光の特徴を、前記体積内の追加の物体によって反射された前記光パターンの光の特徴と比較すること、
前記比較の結果に基づいて前記体積内の前記１つまたは複数の物体から前記追加の物体をセグメント化すること、
をさらに備える請求項１に記載の方法。
【請求項１３】
前記１つの物体はユーザの顔であり、前記追加の物体は前記ユーザの手である、請求項１２に記載の方法。
【請求項１４】
装置であって、
光ビームを生成するように構成された光源と、
１つの物体の物理的構造に応じて変化する所定の光学構造を前記光ビームに適用するように構成された少なくとも１つの光学素子と、
前記１つの物体を含む体積内の１つまたは複数の物体で反射された前記光ビームの複数の画像を取得するように構成された検出器と、
前記１つの物体を含む前記体積内の前記１つまたは複数の物体のうちの他の物体で反射された前記光ビームの前記所定の光学構造のコヒーレンス特性に対する、前記１つの物体で反射された前記光ビームの前記所定の光学構造のコヒーレンス特性の少なくとも１つの差に基づいて、前記複数の画像における前記１つまたは複数の物体から前記１つの物体を抽出するとともに、前記光源を調整して、前記１つの物体で反射された前記光ビームの前記所定の光学構造のコヒーレンス特性と同じコヒーレンス特性により前記体積内の前記１つまたは複数の物体のうちの前記他の物体を識別するように構成されたプロセッサと、
を備える装置。
【請求項１５】
前記光ビームに適用される前記所定の光学構造が光パターンを含む、請求項１４に記載の装置。
【請求項１６】
前記光ビームの前記所定の光学構造のコヒーレンス特性における差が、前記１つの物体を含む体積内の前記１つまたは複数の物体のうちの前記他の物体で反射された前記所定の光学構造の幅に対する、前記１つの物体で反射された前記所定の光学構造の幅の変化を含む、請求項１４に記載の装置。
【請求項１７】
前記光ビームの前記所定の光学構造のコヒーレンス特性における差が、前記１つの物体を含む体積内の前記１つまたは複数の物体のうちの前記他の物体で反射された前記所定の光学構造のガウシアン断面強度プロファイルに対する、前記１つの物体で反射された前記所定の光学構造のガウシアン断面強度プロファイルの変化を含む、請求項１４に記載の装置。
【請求項１８】
前記光ビームの前記所定の光学構造のコヒーレンス特性における差が、前記１つの物体を含む体積内の前記１つまたは複数の物体のうちの前記他の物体で反射された前記所定の光学構造の局所的な均一プロファイルに対する、前記１つの物体で反射された前記所定の光学構造の局所的な均一プロファイルの変化を含む、請求項１４に記載の装置。
【請求項１９】
前記光ビームの前記所定の光学構造のコヒーレンス特性における差が、前記１つの物体を含む体積内の前記１つまたは複数の物体のうちの前記他の物体で反射された前記所定の光学構造のスペックルプロファイルに対する、前記１つの物体で反射された前記所定の光学構造のスペックルプロファイルの変化を含む、請求項１４に記載の装置。
【請求項２０】
前記検出器の視野内に位置する偏光子をさらに備え、前記偏光子は、少なくとも２つの所定の偏光構造に従って、前記体積内の前記１つまたは複数の物体で反射された前記光ビームの光を偏光するように構成されている、請求項１５に記載の装置。
【請求項２１】
前記プロセッサは、偏光構造を有する前記１つの物体の画像を、異なる偏光構造を有する前記１つの物体の追加の画像から除去することによって、前記複数の画像から前記１つの物体を抽出するようにさらに構成されている、請求項２０に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、そのいくつかの実施形態では物体認識に関し、より詳しくは、排他的ではないが、シーン上への光学投影を使用して、例えばユーザの手などの物体を３次元（３Ｄ）で検出して追跡するシステムおよび方法に関する。
【背景技術】
【０００２】
ユーザが特定の装置を遠隔制御することが可能となる種々の方法が存在する。例えば、ユーザの身体部分（例えば、腕、脚）の所定のジェスチャまたは姿勢により装置を制御することができる。装置を制御するためにジェスチャまたは姿勢を用いる方法では、ユーザの身体部分が特定の位置に一致するときジェスチャが識別され、コンピュータまたは他の装置が機能を実行するか、または識別されたジェスチャに対応する動作を実行する。
【０００３】
いくつかの実施形態では、ユーザによるジェスチャは、画像撮像装置によってユーザの画像または動画を撮像し、その画像または動画のデータの複数の画素を解析することによって識別される。従来のジェスチャ検出方法は、画素の色の値をその画素に近接する他の画素の色の値と比較することによって、画像内の画素を解析する。したがって、これらの従来の方法は、ユーザの身体部分と画像の背景内の物体との間において色の値に大きな差があることに依存している。
【０００４】
ジェスチャ検出のための他の方法は、ユーザの１つ以上の身体部分の骨格モデル（例えば、ユーザの手の３次元モデル）を形成し、その骨格モデルを解析することでユーザによるジェスチャを識別する。あるいは、ジェスチャ検出のための代替方法は、各画素が深さカメラから画素に対応する物体の部分までの距離を含む３次元深さマップを使用する。深さマップは、種々の方法を使用して計算することができる。例えば、風景の深さマッピングは、既知の光パターン（すなわち、構造化光パターン）を風景に投影することによって行われ、画像撮像装置は、既知の光パターンが風景に投影されたときの風景の画像を撮像する。光パターンは一定であり予め分かっているので、光パターンの下位部分または固有の特徴を識別することができる。景観の部分と画像撮像装置との間の距離（すなわち、風景の部分の「深さ」）は、画像撮像装置によって撮像された画像内の光パターンの識別された特徴のずれに基づいて計算される。しかしながら、風景に投影された光パターンの画像を撮像する場合には、既知の光パターンの特徴と相関付けすることができる撮像画像内の光パターンの特徴を識別するために、より多くの量の撮像画像を解析する必要がある。加えて、既知の光パターンを投影するプロジェクタと画像撮像装置との間の分離が比較的大きい場合には、風景内における物体の深さずれに関して既知の光パターンの画像のより大きなずれを生成することによって、より高い分解能での深さ検出を提供する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、深さマップを決定するこれらの従来の方法は計算コストが高く、また、特定の物体の正確な決定を可能にする結果を生成しない。例えば、従来の深さマッピング方法は、密接に関連するジェスチャまたは姿勢を区別するための指または身体部分の正確な検出を可能としない。加えて、現在の姿勢、骨格モデル、ジェスチャ、認識方法およびシステムは、そのシステムのカメラによって識別される事前姿勢またはジェスチャを必要とする。例えば、ユーザは、システムに予め定義され認識される「停止」のサインの姿勢を提供するためには、カメラに手を提示しなければならない。この事前姿勢検出ステップは、ジェスチャ認識システムとの各相互作用の前にユーザが所定の姿勢を実行することを要求するので、ユーザの自然な挙動を制限し、ジェスチャ認識の手順を複雑にする。
【課題を解決するための手段】
【０００６】
光ビームに対して所定の光学構造を符号化するための１つ以上の所定の特性に従って符号化された光ビームを提供することにより体積内の物体が追跡される。一実施形態では、光ビームは、複数のストライプなどの構造化光である。符号化された光ビームは体積内に投影され、体積で反射された光が検出器によって検出される。光ビームに対して符号化された所定の光学構造の例は、光プロファイルのコリメーション角、光ビームのプロファイルの強度、光プロファイルの均一性、および光源のコヒーレンスを含む。検出された反射光が解析され、物体の少なくとも１つの光反射特性に従って物体がセグメント化される。このセグメント化に基づいて、物体が関心物体として識別され得る。いくつかの実施形態では、セグメント化された物体の深さマップが、検出された反射光から生成される。
【０００７】
物体は、検出された反射光のパターン内の反射された光の幅に従ってセグメント化され得る。あるいは、物体は、検出された反射光の強度プロファイルの変化に基づいてセグメント化される。強度プロファイルの変化は、検出された反射光のパターンの局所的な均一反射プロファイルの変化であってもよいし、検出された反射光のパターンのスペックルであってもよい。別の例として、強度プロファイルの変化は、検出された反射光のパターンの散光または迷光プロファイルの変化である。
【０００８】
一実施形態では、光ビームは、偏光構造と追加の偏光構造とに偏光されて、複数の画像を生成する。体積の偏光構造の画像が体積の追加の偏光構造の追加の画像から除去され、追加の偏光構造の追加の画像から偏光構造の画像を除去した結果から物体が抽出される。物体は、ユーザの身体の一部（例えば、手、腕）、ゲームツール、または任意の他の適切な物体とすることができる。
【０００９】
体積内の物体で反射された検出光の特徴と、体積内の追加の物体で反射された検出光の特徴とを比較することによって、体積内の追加の物体を識別することができる。この比較の結果に基づいて追加の物体がセグメント化される。例えば、物体はユーザの顔であり、追加の物体はユーザの手である。
【００１０】
種々の実施形態において、装置は、光パターンとすることができる光ビームを生成するように構成された光源を含む。光学素子は、物体の物理的構造に応じて変化する所定の光学構造を光ビームに適用するように構成されている。光ビームは、所定の光学構造が適用された後に体積内に投影される。検出器は、体積内に投影された光ビームの反射の複数の画像を取得するように構成されており、プロセッサは、検出器に接続され、体積内に投影された光ビームが物体によって反射された光のプロファイルの少なくとも１つの変化に基づいて、複数の画像から物体を抽出するように構成されている。例えば、光ビームの反射光のプロファイルの変化は、光ビームの反射に沿った光パターンの幅の変化であるか、または、光ビームの反射のガウシアン断面強度プロファイルの変化である。他の例では、この変化は光ビームの反射の局所的な均一プロファイルの変化であるか、または、光ビームの反射のスペックルプロファイルの変化である。
【００１１】
装置は、いくつかの実施形態では、検出器に近接して位置する偏光子を含み得る。偏光子は、少なくとも２つの所定の偏光構造に従って、体積で反射された光ビームを偏光するように構成されている。いくつかの実施形態では、プロセッサは、物体の偏光構造の画像を、物体の追加の偏光構造の追加の画像から除去することによって、検出器によって取得された画像から物体を抽出するように構成されている。
【図面の簡単な説明】
【００１２】
【図１Ａ】一実施形態による物体の光反射を示す概念図。
【図１Ｂ】一実施形態による物体の光反射を示す概念図。
【図２】一実施形態によるジェスチャを用いた装置とのユーザ相互作用の概念図。
【図３】一実施形態による物体をセグメント化するシステムのブロック図。
【図４】一実施形態によるユーザの手の上に投影された光パターンの概念図。
【図５】一実施形態による体積内の物体をセグメント化する方法のフローチャート。
【図６】一実施形態による光ビームを作動させる方法のフローチャート。
【図７】一実施形態による体積内に投影された光ビームから物体を識別する方法のフローチャート。
【図８Ａ】一実施形態による体積内の物体上への光ビームの投影例を示す図。
【図８Ｂ】一実施形態による体積内の物体上への光ビームの投影例を示す図。
【図８Ｃ】一実施形態による体積内の物体上への光ビームの投影例を示す図。
【図９Ａ】一実施形態による体積内に光ビームを投影することにより体積内の物体をセグメント化するシステムの例示的な構成図。
【図９Ｂ】一実施形態による体積内に光ビームを投影することにより体積内の物体をセグメント化するシステムの例示的な構成図。
【図９Ｃ】一実施形態による体積内に光ビームを投影することにより体積内の物体をセグメント化するシステムの例示的な構成図。
【図１０】一実施形態による体積内の物体をセグメント化する方法のフローチャート。
【図１１】一実施形態による手の上に投影された光ビームを撮像した偏光画像の例を示す図。
【図１２】一実施形態による光ビームを用いて体積内の物体をセグメント化するシステムのブロック図。
【図１３】一実施形態による仮想現実システムにおけるヘッドマウント装置の例を示す図。
【図１４】一実施形態によるハンドジェスチャを用いて仮想現実環境との相互作用をもたらす概念図。
【発明を実施するための形態】
【００１３】
図面は例示のみを目的として種々の実施形態を示しており、本明細書に記載される原理から逸脱することなく本明細書に例示される構造および方法の代替の実施形態が使用され得ることを、以下の説明から当業者は容易に認識し得る。
【００１４】
［概略］
シーンまたは風景などの体積内の物体を抽出するために体積の３次元深さマッピングが種々のシステム（例えば、骨格モデリング、ジェスチャ認識システム、ＶＲ（仮想現実）、拡張現実または遠隔制御検知アプリケーション）で使用される。例えば、深さマッピングは、体積からユーザの手やユーザの顔を抽出するために使用される。３次元深さマッピングからのデータによって、体積内の背景の風景から、ユーザの手、ユーザの顔、または他の物体をセグメント化することが可能となる。従来の方法は、体積からの物体のセグメント化を可能にするために体積全体の３次元深さマップを計算する。しかしながら、体積全体の３次元深さマップを生成するには多くの計算資源を必要とし、しばしば指定の処理ユニットが使用される。また、背景の風景から特定の物体（例えば、指）を抽出することを可能にする高分解能の３次元深さマップの抽出が周囲光条件によって制限を受ける場合があり、シーンからの特定の物体の効果的な抽出が所定の精度の制約に制限される。
【００１５】
体積内の物体によるジェスチャを認識するまたは骨格モデリングを行うための他の従来技術は、身体部分または他の物体を抽出するための２次元の赤、緑、青（ＲＧＢ）データを提供することである。例えば、ＲＧＢデータに基づく色の解析または画像差異が使用される。２次元ＲＧＢデータを使用する方法も大きな計算能力を消費し、体積内の光の条件に敏感である。また、２次元ＲＧＢデータを用いた場合には、複雑な姿勢や３次元データを抽出することができない。
【００１６】
また、他の従来のジェスチャ認識システムおよび方法では、検出される物体（例えば、ユーザの手）の所定の姿勢または形状に依存して、物体が確認され、撮像画像から物体が抽出される。しかしながら、物体を抽出するために所定の姿勢または形状を使用することはユーザの自然な振る舞いを制限し、ユーザがジェスチャ認識システムと相互作用する前にユーザの姿勢またはジェスチャを特定することでジェスチャ認識を複雑にする。なお、本明細書で使用する「ジェスチャ」とは、物体（例えば、ユーザの手、ユーザの身体）の所定の姿勢または位置、あるいは２次元または３次元での物体の所定の動きを指す。
【００１７】
ジェスチャを検出またはモデル化するために、送信機は、光源（例えば、レーザダイオード）と、所定の光パターンを生成するように構成された１つ以上の光学素子とを含む。光学素子は、回折光学素子、屈折光学素子、または所定の光パターンを提供することができる他の光構造素子とすることができる。送信機は、光パターンを体積内に投影することによってカメラセンサの視野内の体積を照明するように構成されている。投影された光パターンは、体積の種々の光特性で符号化されるか、またはその光特性によって定義される。例示的な光特性は、コリメーション角、強度変動、偏光、および光の１つ以上のコヒーレンス特性を含む。本明細書で使用する「符号化」とは、光の強度変動、偏光、１つ以上のコヒーレンス特性などの１つ以上の特性を含むように投影パターンを操作することとして定義される。投影された光パターンの特性は体積内の物体（例えば、身体）の表面によって影響を受け、物体で反射された光が解析されることにより背景（例えば、体積内の他の物体）から物体が検出および／またはセグメント化される。投影された光パターンの特性に影響を与える物体表面の特性の例は、物体の表面粗さ（例えば、散乱）、物体の透過性、物体の拡散特性、物体の吸光度、および物体の鏡面性を含む。
【００１８】
いくつかの実施形態では、投影された光パターンは、種々の深さまたは視野に応じて特定の所定のまたは既知の特性を有する。例えば、ユーザの手などは、特定の表面特性群を含む。ユーザの手の特性の例は、粗さ（例えば、散乱）、透過性、拡散特性、吸光度、および鏡面性を含む。ユーザの手の特性のために、ユーザの手によって反射された光パターンは、体積内の他の物体によって反射された光パターンのシグネチャとは異なる特定の固有のシグネチャを有する。ユーザの手によって反射された光パターンのシグネチャに基づいて、ユーザの手と同じまたは類似の表面特性を有する追加の物体（例えば、ユーザの手の皮膚と一致する他の皮膚の領域）も体積内で他の物体からセグメント化される。物体によって反射された光パターンに基づいて体積から物体をセグメント化することにより、物体を局所的にセグメント化することが可能となるとともに、光パターン全体または風景全体を解析することができない複雑な風景を有する体積内において物体をセグメント化することが可能となる。
【００１９】
また、反射光パターンを使用することにより、物体に関する事前情報（例えば、構造、形状）がなくてもシーン（例えば、種々の物体）を含む体積から１つ以上の物体をセグメント化することが可能となる。したがって、反射光パターンに基づいて物体をセグメント化することにより、物体の形状または姿勢を識別する情報が記憶されていなくても体積から物体をセグメント化することが可能となり、体積から物体を直接的に且つ直ちに識別することが可能となる。例えば、所定の形状または姿勢を使用する物体セグメント化の方法では、形状または姿勢を識別する記憶情報内に「停止」サインまたは「スワイプ」ジェスチャが含まれていない場合には、体積内のユーザの手による「停止」サインまたは「スワイプ」ジェスチャを識別することができない。しかしながら、ユーザの手で反射された光パターンを使用することにより、情報が記憶されていなくても、そのユーザの手を体積内で識別することが可能となる。物体で反射された光パターンに基づいて物体を識別することにより、システムとの相互作用のための姿勢およびジェスチャを拡張するための計算リソースを削減することができる。
【００２０】
［物体の反射率］
体積内に投影された光は、体積内の種々の物体で様々に反射される。物体の表面およびその物体を構成する１つ以上の材料は、その物体が光をどのように反射するかに影響を及ぼす。物体の種々の特性が、その物体による光の反射に影響を及ぼす。物体が光をどのように反射するかに影響を与える物体の特性の例は、テクスチャ、材料の種類、不透明度、粗さ、拡散性、および鏡面性を含む。
【００２１】
拡散反射は、入射光線が表面によって多くの角度で反射されるような表面での光の反射である。照明時において、理想的な拡散反射面は、表面に隣接する半分の空間においてすべての方向から等しい輝度（ランバート反射率）を有する。対照的に、表面での光の鏡面反射は、入射光線が単一の角度で反射されるような表面での光の反射である。
【００２２】
例えば、図１Ａは、光沢のある表面を含む物体２０（例えば、壁）に投影された光１０を示す。光１０は、物体２０によって、拡散光線１５および鏡面光線２５として反射される。拡散光線１５と鏡面光線２５は、理想的な拡散反射体におけるランバートの余弦則に従って変化する。
【００２３】
完全に不透明ではない材料または物体（例えば、人間の皮膚など）によって反射される光は、物体の表面下における散乱中心によって散乱される。例えば、図１Ｂは、皮膚表面１０２と皮膚の部分１１０，１２０，１３０とを含む人間の皮膚を示す。皮膚に入射する光線１１５は、皮膚表面１０２によって部分的に反射される一方、その光線１１５の一部は、皮膚表面１０２を通過して、部分１１０によって部分的に反射される。光線１１５の別の部分は部分１１０を通過して部分１２０に入り、この部分１２０は光線１１５の一部を反射する。同様に、光線１１５の一部は部分１２０を通過して部分１３０に入り、この部分１３０も光線１１５の一部を反射する。したがって、一連の「一次」散乱線は、皮膚に入射する光線１１５によって生じ、その一次散乱線は、上述のメカニズムを通じて（図１Ｂに点線で示される）多数の「二次」散乱線を生じさせる。また、この二次散乱線は、三次散乱線等を同様に生じさせる。種々の光線は、それらの光線の光を部分的に吸収する皮膚を通過して、それらの光線の一部は皮膚表面１０２に達するとランダムな方向に出射される。したがって、皮膚によって反射された光は、皮膚表面１０２に基づく固有の構造で複数の方向（例えば、すべての方向）に反射される。
【００２４】
反射率のクベルカ・ムンク（Kubelka-Munk）理論は、物体の反射率を解釈するための物理的モデルを提供する。クベルカ・ムンク理論を用いることにより、弱吸収サンプルにおける吸光種の反射率と濃度との相関が与えられる。クベルカ・ムンク関数は次式で与えられる。
【００２５】
Ｆ（Ｒ）＝（１−Ｒ）２／２Ｒ＝ｋ／ｓ＝Ａｃ／ｓ
ここで、
Ｒ＝反射率、
ｋ＝吸光係数、
ｓ＝散乱係数、
ｃ＝吸光種の濃度、
Ａ＝吸光度、
である。
【００２６】
したがって、人間の皮膚などの物体を含む体積内に投影された光パターンは、物体および体積の背景で様々に反射される。
［ジェスチャおよび姿勢の検出］
図２は、空中におけるユーザの手２１０の動きなどのジェスチャを使用して装置と相互作用するユーザ２００の概念図である。図２の例では、ユーザの手２１０の動きにより、ユーザ２００はスクリーン２６０上に表示された仮想キーボード２４０をタイプすることが可能となる。ジェスチャを検出するために、検出装置２５０は、光パターンを手２１０に照射して、手２１０からの光パターンの反射を検出する。反射光パターンに基づく三角測量により、検出装置２５０は手２１０を含む体積の深さマップを生成することが可能となる。
【００２７】
図３は、物体をセグメント化するためのシステムの一実施形態のブロック図である。図３の例では、システムは送信機３１１および受信機３１２を含む。種々の実施形態では、送信機３１１は光源３１３（例えば、レーザ光源）とともに１つ以上の光学素子３１４．１，３１４．２を含み、これらの光学素子３１４．１，３１４．２は、光源３１３からの光に対してパターンを符号化する。送信機３１１は、光パターンが符号化された光を体積３１５（例えば、シーン）に照射する。体積３１５内の物体（例えば、物体３１６）が光パターンを反射すると、反射光パターンが種々の特性を得るようになる。反射光パターンの例示的な特性は、コリメーション角、強度変動、偏光、および１つ以上のコヒーレンス特性を含む。受信機３１２（例えば、電荷結合ディスプレイ検出器、相補型金属酸化物半導体検出器を有するカメラ）は、体積３１５内の物体での反射光を撮像して反射光パターンを解析する。受信機３１２は、体積３１５内の物体で反射された光パターンのシグネチャを使用して、体積３１５内の物体が関心物体であるかどうかを判定する。例えば、受信機３１２は、反射光パターンに対してセグメント化処理を実行することで、体積３１５内の物体が関心物体であるかどうかを判定する。種々の実施形態では、体積３１５内の任意の適切な物体を関心物体とすることができる。例えば、テニスラケットが関心物体であったり、あるいは、ユーザの身体の一部（例えば、手、腕）が関心物体であったりする。また、いくつかの実施形態では、受信機３１２は、光パターンを反射する体積３１５内の種々の点の深さ情報を取得する。
【００２８】
図４は、ユーザの手４１０に投影された光パターンの概念図である。以下で詳しく説明するように、ユーザの手４１０によって反射された光パターンの特徴に基づいて手４１０を検出することが可能であり、手４１０に関する事前情報がなくても、手４１０の動きが追跡される。手の検出または追跡を可能にするために、手４１０に投影された光パターンが、追跡を可能にするように符号化される。種々の実施形態では、手４１０に投影された光パターンは、二次元動画データにおける動きの追跡を可能にするが、手４１０をユーザの身体の他の部分と区別する複雑さは距離に応じて増す。一実施形態によれば、光パターンは、二次元動画データ（例えば、従来のビデオカメラによる動画）での手４１０の指の動きを追跡するように特に設計されている。具体的に、光パターンは、以下で詳しく説明するように、物体によって反射された光パターンの歪みやサイズなど、物体によって反射された光パターンの所定のシグネチャの検出に従って、二次元動画データから、手４１０の指（例えば、親指や他の指）とともに、手４１０の手のひらの検出および追跡を可能とするように設計されている。図４に示す例では、光パターンは、互いに平行または実質的に平行な複数のストライプを含む。
【００２９】
カメラ（図３では、例えば受信機３１２）は、手４１０の上や、手４１０を含む体積の背景４２０（手４１０が存在する面など）の上に光パターン（図４では、例えばストライプ）を投影するプロジェクタ（例えば、送信機３１１）とともに配置される。カメラおよび送信機は、共通軸において互いに平行に配置されてもよいし、互いに直交して配置されてもよいし、あるいは、種々の実施形態では互いに任意の位置に配置されてもよい。カメラの位置は、カメラと、光プロジェクタと、手４１０および背景４２０からカメラに向けて反射される光プロジェクタからの光との間で三角測量効果を生成するように選択することができる。
【００３０】
体積内の手４２０などの物体は、種々の物体の表面（例えば、手４２０の皮膚）で反射された固有の光の特徴に従って識別またはセグメント化される。したがって、手４２０の皮膚によって散乱された光パターンの光は、手４２０に投影されたパターンのストリップに沿った点で光パターンの１つ以上の特徴を変化させる。手４２０での散乱による光パターンの１つ以上の特徴の変化に基づいて、プロセッサまたは他の装置は手４２０を識別する。
【００３１】
反射光パターンのセグメントの特徴の変化が識別されることにより、体積が２つ以上の部分または区域にセグメント化（例えば、分割）される。図４の例では、手４２０によって反射された光パターンのセグメントの変化により、手４２０を含む「皮膚」の区域と、手４２０以外の物体または材料を含む「背景」の区域とに体積が分割される。例えば、図４の区域４３１は、手４２０を含むとともに、皮膚で反射された光パターンの部分を識別する１つ以上の特定の特徴を有する反射光パターンの部分を含む。一方、図４の区域４３２は、皮膚以外の表面を有する物体（例えば、体積の背景内の物体）で反射された光パターンの部分を含む。
【００３２】
例えば、図３の送信機３１１は、ＤＯＥ（回折光学素子）またはＲＯＥ（屈折光学素子）などの複数の光学素子を含み、これにより、送信機３１１によって照射された光が異なる特性（例えば、強度コヒーレンスレベル、コリメーション角）で符号化される。照射光の特性は、手に照射された照射光（すなわち、区域４３１に照射された光）のストライプまたはその周囲にノイズを形成する。したがって、ユーザの手の皮膚で反射された光パターンの光の拡散により、区域４３１内の照射光パターンのストライプはきれいにはっきりと滑らかに見える一方、皮膚以外の表面を有する物体で反射されたストライプは裂けて細断されるように見える。
【００３３】
手４２０で反射された光パターン（例えば、ストライプ）の光の１つ以上の特徴に基づいて手４２０を識別可能であるとともに体積内の他の物体から手４２０をセグメント化することができる。反射光パターンの特徴の例は、反射パターン光の幅、反射光の強度プロファイルの変化（例えば、増加）（例えば、光パターンのガウシアン断面強度プロファイルの変化）、局所的な均一性（投影光パターンに対する反射光パターンのプロファイルにおいて反射光パターンの一部のパターン強度が平坦であるなどの変化）、反射光パターンの偏光の変化、表面の不透明さ、粗さ、コヒーレンスレベル、散光に起因した反射光パターンのスペックル、光パターンの各部分間のコントラストの変化（例えば、光パターンが半透明媒体（人間の皮膚などの光が内部を伝搬する媒体）上に照射される場合など）を含む。なお、図４は、複数のストライプ（例えば、線形パターン）を含む例示的な光パターンを示しているが、他の種類の光パターンを他の実施形態で使用することができる。代替の光パターンの例は、点、三角形、長方形、円を含む。種々の実施形態では、光パターンは単一の画素よりも大きい（例えば、光パターンは複数の画素を包含する）。
【００３４】
図５は、体積内の物体をセグメント化するための方法の一実施形態のフローチャートである。他の実施形態では、この方法は、図５に関して説明するものとは異なるまたは追加のステップを含む。また、種々の実施形態では、本方法のステップは、図５に関して説明する順序とは異なる順序で実行されてもよい。
【００３５】
以下で詳しく説明するように、光は体積内に投影される（５１０）。種々の実施形態において、投影光はスーパースペックルストライプなどの光パターンを含む。光が体積内に投影されると（５１０）、光パターンのストライプが関心物体上に形成される。図４に関して上述したように、関心物体のパターンは、関心物体によって反射された光パターン（例えば、ストライプ）の部分のノイズまたは１つ以上の他の特徴（例えば、パターン幅や形状や不一致性）によって示される。関心物体によって反射された（および他の物体によって反射された）光パターン（すなわち、「反射光パターン」）は、コンピュータプロセッサによって解析される（５２０）。例えば、関心物体を含む体積によって反射された光パターンの画像の画素が、各画素における１つ以上の反射光パターンの特徴に基づき検出アルゴリズムによって解析される。この反射光パターンの解析に基づいて、関心物体が体積からセグメント化される（５３０）。これにより、体積内の物体を迅速かつ直接的に発見可能となるとともに、体積内の関心物体（例えば、手、指）の迅速な識別が可能となる。例えば、体積によって反射された光の画像が走査されることで、画像内の各画素が「背景」または「物体」（例えば、手）として識別される。いくつかの実施形態では、関心物体を体積からセグメント化（５３０）した後に、関心物体が識別される（５４０）。物体の形状およびその物体を特徴付ける記憶情報（例えば、ユーザにユーザの手を上げさせ、特定のパターンでユーザの手を開かせることで、ユーザの手を識別するなど）に基づいて物体を体積から識別する従来の方法とは異なり、上述した方法では、物体の初期形状にかかわらず、関心物体を正確かつ直接的に識別することが可能となる。いくつかの実施形態では、関心物体をセグメント化（４３０）または識別（５４０）した後に、関心物体の種々の点についての深さ情報が決定される。
【００３６】
図６は、光ビームを操作する方法の一実施形態のフローチャートである。他の実施形態では、この方法は、図６に関して説明するものとは異なるまたは追加のステップを含む。また、種々の実施形態では、本方法のステップは、図６に関して説明する順序とは異なる順序で実行されてもよい。
【００３７】
光ビームを供給するために光源が作動される（６１０）。種々の実施形態では、光源は、半導体レーザアレイである。例えば、光源は垂直共振器面発光レーザ（ＶＣＳＥＬ）アレイである。アレイ内のレーザは個々に又は行単位で作動させることができ、行間で強度の周期的変動を与えるべく、異なる行でレーザの強度を変化させることによって光ビームを変化させることができる。
【００３８】
次いで、光ビームの光学特性が規定される（６２０）。これにより、光源が体積内の物体（例えば、体積内の手、体積内の壁）で反射されたときに、反射光の異なる特性の検出が可能となる。いくつかの実施形態では、さらに光ビームの追加の光学特性が定義される（６３０）。光学的な特徴を（いくつかの実施形態では追加の光学的な特徴とともに）定義（６２０）した後、その光学特性を有する光ビームが体積内に投影される（６４０）。
【００３９】
［反射率の比較方法］
種々の条件に基づく様々な物体での光の反射率の違いは、物体によって反射された光のシグネチャに基づいて物体を識別する複雑さを増加させる。例えば、皮膚によって反射される光は皮膚の老化に伴って変化するため、古い皮膚と若い皮膚との間で光の反射率が異なる。したがって、いくつかの実施形態では、体積内の物体によって反射された光の１つ以上の特徴をその体積内の追加の物体の１つ以上の特徴と比較することによって体積内での物体を識別する。このような比較により、物体による光の反射を特徴付ける事前情報がなくても、物体で反射された光に関する情報を提供することができる。
【００４０】
図７は、体積内に投影された光ビームから物体を識別する方法の一実施形態のフローチャートを示す。他の実施形態では、この方法は、図７に関して説明するものとは異なるまたは追加のステップを含むことができる。また、種々の実施形態では、本方法のステップは、図７に関して説明する順序とは異なる順序で実行されてもよい。
【００４１】
送信機は、物体および追加の物体などの複数の物体を含む体積内に光を投影する（７１０）。検出器は、物体で反射された光と追加の光を取得し、その物体により反射された光の１つ以上の特徴を識別するために反射光を解析する（７２０）。そして、物体により反射された光のシグネチャに基づいて、その物体により反射された光と同じシグネチャを有する光を反射している体積内の他の物体を識別するために送信機が調整される（７３０）。図７の例では、物体により反射された光と一致するシグネチャを追加の物体により反射された光が有している。このため、追加の物体により反射された光のシグネチャに基づいて、その追加の物体も識別される（７４０）。例えば、物体は、形状認識方法または画像処理方法に従って識別されたユーザの顔である。あるいは、以下で詳しく説明するように、ユーザの顔によって反射された光の特徴に基づいてユーザの顔が識別される。ユーザの顔を識別した後、ユーザの顔によって反射された光の特徴と共通の特徴を有する光を反射する体積内の物体を識別するために送信機が調整される（７３０）。このような調整により、ユーザの手や腕など、体積内において皮膚の表面を有する他の物体の識別が可能となる。
【００４２】
図８Ａは、手８２０および背景８１０によって反射された光パターンの複数のストライプの例示的な画像８００である。図８Ａの例では、手８１０および背景８２０によって反射された光パターンの１つ以上の特徴の変化に基づいて、背景８２０から手８２０を抽出することができる。手８１０または背景８２０により反射された光パターンの特徴の例としては、光パターンにおけるストライプの強度変動、光パターンにおけるストライプの幅変動、スペックル均一性、局所的均一性、および軸に沿ったストライププロファイルにおける拡散迷光が挙げられる。例えば、図８Ｂは、背景８１０および手８２０によって反射されたストライプの軸に沿ったストライププロファイルのグレーレベルの変化（例えば、強度と画素との関係）を示す。図８Ｂの例では、手８２０を表す曲線は、背景８１０を表す曲線に対して、強度８２１の変化と、ストライプ幅８２２の変化と、迷光８２３の変化とを示している。図８Ｃは、図８Ｃの左側における手８２０による光の反射率と、図８Ｃの右側における背景８１０による光の反射率との間の変化を示している。
【００４３】
［偏光］
偏光イメージングは、物体（例えば、皮膚）からの光の散乱によって引き起こされる非偏光の現れである。偏光システムおよび方法は、医療分野（例えば、皮膚癌検出）において広く使用されている。物体による非偏光の反射は物体の表面で反射された後方散乱光を含み、物体の表面層は物体を照明する光の直線偏光を保持し、物体のより深い層での後方散乱光は非偏光とされる。出力偏光子を入力偏光子に対して平行にまたは垂直に向けることで、後方散乱信号の深さを選択することが可能となる。
【００４４】
偏光スペックルパターンは、次式で表される。
【００４５】
【数１】
0006554638.tif 000002
ここで、
【００４６】
【数２】
0006554638.tif 000003
は、対応する平行偏光および垂直偏光の画素強度である。
【００４７】
したがって、いくつかの実施形態では、体積内の物体は、物体からの非偏光後方散乱光の反射率に基づいて、その物体を体積内の他の物体に対して抽出すなわちセグメント化することによって識別される。図９Ａは、ユーザの手９１０などの物体を体積から抽出し、その物体を識別するためのシステム９００の一実施形態のブロック図である。図９Ａに示す例では、システム９００は、体積に光を投影するレーザ送信機などの送信機９２０を含む。偏光子９３５（例えば、直線偏光子）は、電荷結合素子カメラなどのカメラ９３０に近接して配置される。カメラ９３０は、体積内に投影された送信機９１０からの光の画像を撮像し、偏光子９３５は、カメラ９３０の視野内に（例えば、カメラ９３０と体積との間に）位置する。いくつかの実施形態では、偏光子９３５は、カメラ９３０によって撮像された連続フレーム間で偏光子を９０度回転させるように構成された回転子に接続されている。
【００４８】
このように、カメラ９３０は、シーンの画像の直交偏光である２つの画像（例えば、連続フレーム）を撮像する。各画像の偏光スペックルパターンは、上記の偏光方程式に従って計算および解析される。そして、フィルタリングアルゴリズムを使用することで、物体が背景から抽出される。
【００４９】
図９Ｂは、体積に対してユーザの手９１０などの物体を識別するためのシステム９５０の代替の実施形態のブロック図を示す。図９Ｂに示すシステム９５０は、図９Ａに関して説明したような、体積内に光を投影するように構成された送信機９２０を含む。また、システム９５０はカメラ９６０と追加のカメラ９７０とを含む。この追加のカメラ９７０は電荷結合素子カメラとすることができる。偏光子９６５は、カメラ９６０と体積との間においてカメラ９６０に近接して配置される一方、追加の偏光子９７５は、追加のカメラ９７０と体積との間において追加のカメラ９７０に近接して配置される。偏光子９６５は、偏光配向を用いてカメラ９６０に体積を画像化させ、追加の偏光子９７５は、追加の偏光配向を用いてカメラ９７０に体積を画像化させる。例えば、偏光配向は、偏光子９６５の水平軸に対して＋４５度であり、追加の偏光配向は、追加の偏光子９７５の水平軸に対して−４５度である。
【００５０】
図９Ｃは、体積に対してユーザの手９１０などの物体を識別するためのシステム９７０の別の実施形態のブロック図である。図９Ｃに示す実施形態では、偏光ビームスプリッタ９８０が、カメラ９６０と体積との間に（例えば、カメラ９６０の視野内において）配置されるとともに、追加のカメラ９７０と体積との間に（例えば、追加のカメラ９７０の視野内において）配置される。偏光ビームスプリッタ９８０は、体積で反射された光を偏光し、シーンで反射された光の一部をカメラ９６０に導くとともに、シーンで反射された光の別の部分を追加のカメラ９７０に導く。カメラ９６０と追加のカメラ９７０とは互いに直交し、偏光ビームスプリッタ９８０の異なる側面９８１，９８２にそれぞれ取り付けられるかまたは近接している。
【００５１】
図１０は、体積内の物体を抽出する方法の一実施形態のフローチャートである。他の実施形態では、この方法は、図１０に関して説明するものとは異なるまたは追加のステップを含むことができる。また、種々の実施形態において、この方法のステップは、図１０に関して説明する順序とは異なる順序で実行されてもよい。
【００５２】
体積の少なくとも２つの画像が取得される（１０１０）。ここで、異なる画像は、異なる偏光配向を有している。例えば、画像は偏光配向を有し、追加の画像はその偏光配向とは異なる別の偏光配向を有している。図１１によって示す例では、ユーザの手を含む体積の偏光画像１１１０は、＋４５度の配向に偏光され、ユーザの手を含む体積の別の画像１１２０は、−４５度の配向に偏光される。
【００５３】
取得された画像から、取得された２つの偏光画像のスペックル偏光コントラストなどの複数化コントラストが、次式に従って計算される（１０２０）。
Ｃ＝（Ａ−Ｂ）／（Ａ＋Ｂ）
ここで、
Ａは、＋４５偏光配向の画像、
Ｂは、−４５偏光配向の画像、
である。
【００５４】
体積内の他の物体から物体を抽出するためにフィルタリング処理が実行される（１０３０）。例えば、図１１を参照すると、画像１１３０は、互いの閾値距離（例えば、９×９グリッドの標準偏差）内の画素の標準偏差を計算して、特定の閾値を超える画素を除去するフィルタリング処理の実行結果を示している。図１１の例では、画像１１３０は、背景１１３３に対して手１１３２が輝いた状態を示しており、関心物体である手１１３２の抽出および識別を可能としている。
【００５５】
図１２は、光ビームを用いて体積内の物体をセグメント化するためのシステム１２００の一実施形態のブロック図である。図１２によって示される実施形態では、システム１２００は、上述したように、光パターンで体積を照明するように構成された赤外線（ＩＲ）照明器１２０２を含む。ＩＲカメラ１２０６などのカメラは体積からのパターン光の反射を受信するように構成され、プリプロセッサ１２０４はＩＲカメラ１２０６からのデータの初期処理を実行するように構成されている。
【００５６】
また、システム１２００は、スマートフォンなどの演算装置１２１０を含み、この演算装置１２１０は、演算装置１２１０によって記憶または受信される命令１２１６を実行するプロセッサ１２１４を含む。演算装置１２１０は、合成シーンやユーザの身体部分（例えば、手）の画像などのコンテンツをユーザに提示するように構成されたニアアイディスプレイ１２２０に接続されている。他の実施形態では、演算装置１２１０は、ラップトップ、コンピュータ、タブレットコンピュータ、または任意の他の適切な演算装置であってもよい。
【００５７】
ＩＲカメラ１２０６は、ＩＲ照明器１２０２によって体積内に投影されたＩＲパターンの反射を撮像する。プリプロセッサ１２０４は、撮像された反射を最初に処理し、処理したＩＲパターンの反射を演算装置１２１０のプロセッサ１２１４に伝える。命令１２１６を実行することによって、プロセッサ１２１４は、受信したＩＲパターンの反射から物体（例えば、ユーザの身体部分）をセグメント化するか、または、受信したＩＲパターンの反射から体積内の様々な物体の深さを識別する深さマップを生成する。
【００５８】
いくつかの実施形態では、演算装置１２１０は、光パターンによって照明された体積内の物体（例えば、ユーザの身体部分）の２次元カラー画像を撮像するように構成された可視光カメラ１２１２を含む。これにより、プロセッサ１２１４は、ＩＲパターンの反射から生成された深さマップおよび体積内の物体の２次元カラー画像を使用して、体積内で識別された物体（例えば、ユーザの身体部分）の３次元カラー画像を生成することができる。プロセッサ１２１４は、物体（例えば、ユーザの身体部分）の反射光パターンの特徴および決定された反射率シグネチャを使用して、受信した体積の画像を処理し、体積から物体をセグメント化するように構成されている。また、プロセッサ１２１０は、特定した物体について生成した３次元カラー画像を、ニアアイディスプレイ１２２０によって提示された合成シーンに重ね合わせるように構成されている。これにより、ユーザは、合成シーンとともに、その合成シーン内に配置および配向されて体積から識別された物体（例えば、ユーザの身体部分）を、それらが現実世界に存在するかのように見ることが可能となる。
【００５９】
図１３は、仮想現実システムにおける例示的なヘッドマウント装置１３１０である。図１３の例では、ヘッドマウント装置１３１０は、モバイル装置１３２０（例えば、スマートフォン）とともに使用するように構成されたヘッドセット１３４０を備える。ヘッドマウント装置１３１０は、照明器１３１２（例えば、レーザ送信機、赤外線パターン照明器など）とカメラ１３１４（例えば、図１２のＩＲカメラ１２０６）を含み得る。ヘッドマウント装置１３１０に含まれるプリプロセッサは、図１２で上述したような初期画像処理を実行するように構成されている。ヘッドマウント装置１３１０はさらに、モバイル装置１３２０およびヘッドセット１３４０と物理的且つ電子的にインターフェースするように構成されている。種々の実施形態では、ヘッドマウント装置１３１０は、モバイル装置１３２０のディスプレイに送信するように構成された光学系と、カメラ１３２２を含むモバイル装置１３２０を保持するように構成されたスリーブ１３５０とを含む。また、ストラップ１３３０は、ヘッドマウント装置１３１０をユーザの頭部に固定可能とする。種々の実施形態では、ヘッドマウント装置１３１０は、ニアアイディスプレイとインターフェース可能である。
【００６０】
ヘッドマウント装置１３１０は、ヘッドマウント装置１３１０の周囲環境の物体（例えば、ユーザの身体部分）の３次元画像を仮想現実シーン内で見ることができるようにすることで仮想現実ヘッドセットを強化することができる。したがって、ヘッドマウント装置１３１０は、ニアアイディスプレイと接続するためのハードウェアを提供し、ヘッドマウント装置１３１０を制御して撮像データを解析するための命令を実行する。ヘッドマウント装置１３１０のいくつかの実施形態では、仮想現実シーンを仮想現実特有の装置なしで提示することが可能である。
【００６１】
図１４は、仮想現実環境と相互作用するためにハンドジェスチャを使用する概念図である。ユーザ１４１０は、図１３に関して上述したような装置１４００を搭載可能なニアアイディスプレイ１４３０を着用している。装置１４００は、照明器１４２０（例えば、レーザ送信機）と、ユーザの周囲における体積の画像を撮像するのに十分な視野幅を有する撮像ユニット１４１５（例えば、カメラ）とを含み得る。動作時、ニアアイディスプレイ１４３０は、ユーザ１４１０の両眼に合成シーンを投影するように構成されている。照明器１４２０は、ユーザ１４１０の周囲における体積内に光パターン１４２４を投影する。撮像ユニット１４１５によって撮像された光パターン１４２４の反射は、コンピュータプロセッサによって解析される。このコンピュータプロセッサは、装置１４００か、ニアアイディスプレイ１４３０か、または他の任意の適切な構成要素内に配置され得る。装置１４００の可視光カメラは、ユーザの手１４１２か、またはユーザ１４１０によって制御される別の物体の２次元画像を撮像するように構成されている。装置１４００のプロセッサは、ユーザの手１４１２などの体積内の物体を計算し識別するように構成されている。いくつかの実施形態では、プロセッサはさらに、ユーザの手１４１２またはジェスチャ物体の深さマップを決定するように構成されている。プロセッサは、深さマップと二次元画像とを、ユーザ１４１０に提示される仮想画像１４６０内における対応する位置１４６２に提示することが可能なユーザの手１４１２の三次元画像に結合することができる。したがって、ユーザの手１４１２の３次元属性を保持しながらユーザの手１４１２の３次元画像が合成シーンに重ね合わせられる。
【００６２】
［概要］
上述した実施形態の説明は、例示を目的として提示されるものであり、包括的であることまたは開示された正確な形態に特許権を限定することを意図するものではない。当業者であれば、上記の開示内容をもとに、多くの変更および変形が可能である。
【００６３】
この説明のいくつかの部分は、情報に関する操作のアルゴリズムおよび記号表現に関する実施形態を説明する。これらのアルゴリズム記述や表現は、データ処理技術の当業者によって一般的に使用され、その作業の実体を当業者に効果的に伝えるためのものである。これらの動作は、機能的に、計算的に、または論理的に記載されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実現される。さらに、これらの操作の構成は、一般性を失うことなく、モジュールと呼ばれる場合もある。記載された動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具体化されてもよい。
【００６４】
本明細書に記載のステップ、動作、または処理のいずれかは、単独で、または他の装置との組み合わせによって、１つ以上のハードウェアまたはソフトウェアモジュールで実行または実装することができる。一実施形態では、ソフトウェアモジュールは、記述されたステップ、動作、または処理のいずれかまたはすべてを実行するコンピュータプロセッサによって実行可能なコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で具現化される。
【００６５】
また、実施形態は、本明細書の動作を実行するための装置に関連し得る。この装置は、必要な目的のために特別に構成することができ、および／またはコンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成された汎用演算装置を含み得る。このようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するのに適しておりコンピュータシステムバスに接続され得る任意の種類の媒体に記憶され得る。さらには、本明細書で説明される任意の演算システムは、単一のプロセッサを含むことができ、または演算能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
【００６６】
また、実施形態は、本明細書で説明される演算プロセスによって生成される製品に関連し得る。そのような製品は、非一時的な有形のコンピュータ可読記憶媒体に情報が記憶される演算処理から得られる情報を含むことができ、本明細書で説明されるコンピュータプログラム製品または他のデータ組み合わせの任意の実施形態を含むことができる。
【００６７】
本明細書で使用される用語は、主として、読みやすさおよび教授目的のために選択されており、特許権を描写または制限するために選択されていない場合がある。したがって、本発明の範囲は、詳細な説明によって限定されるものではなく、本明細書に基づいた出願の任意の請求項によって限定されることが意図される。したがって、実施形態の開示内容は、特許請求の範囲に記載された特許権の範囲を例示するものであって、これに限定されるものではない。
【図１Ａ】
0006554638.tif 000004
【図１Ｂ】
0006554638.tif 000005
【図２】
0006554638.tif 000006
【図３】
0006554638.tif 000007
【図４】
0006554638.tif 000008
【図５】
0006554638.tif 000009
【図６】
0006554638.tif 000010
【図７】
0006554638.tif 000011
【図８Ａ】
0006554638.tif 000012
【図８Ｂ】
0006554638.tif 000013
【図８Ｃ】
0006554638.tif 000014
【図９Ａ】
0006554638.tif 000015
【図９Ｂ】
0006554638.tif 000016
【図９Ｃ】
0006554638.tif 000017
【図１０】
0006554638.tif 000018
【図１１】
0006554638.tif 000019
【図１２】
0006554638.tif 000020
【図１３】
0006554638.tif 000021
【図１４】
0006554638.tif 000022