(57)【特許請求の範囲】
【請求項１】
１個以上のプロセッサと、
撮像装置と、
投射機と、
１個以上のコンピュータ可読媒体であって、前記１個以上のプロセッサにより実行されたとき、前記１個以上のプロセッサに、
前記投射機で、複数のユーザが共同作業するための表示領域であって手持型表示面により形成される表示領域にコンテンツを投射することと、
前記撮像装置で、前記表示領域の上方から前記表示領域の複数の画像を、取込むことと、
前記取込んだ複数の画像のうちの少なくとも１つに少なくとも部分的に基づいて、前記表示領域内の前記複数のユーザのうちの特定のユーザの手の皮膚特質であって、皮膚の１個以上の可視特性を含む、皮膚特質を決定するために前記複数の画像のうちの１個以上の画像を分析することと、
前記決定された皮膚特質に基づいて前記特定のユーザを認識することと、
を含む行為を遂行させるコンピュータ実行可能命令を格納する、１個以上のコンピュータ可読媒体と、を備える、システム。
【請求項２】
前記行為は、前記特定のユーザの認識に応じて前記コンテンツを制御することを更に含む、請求項１に記載のシステム。
【請求項３】
前記複数の画像のうちの１個以上の画像の分析は、前記特定のユーザの手の前記皮膚特質のうちの１個以上の部位を決定するように、特性検出アルゴリズムを前記複数の画像のうちの１個以上の画像に適用することを含む、請求項１に記載のシステム。
【請求項４】
前記特定のユーザの認識は、
当該ユーザを特定すること、
前記複数のユーザの中から前記特定のユーザを識別すること、または
前記特定のユーザを認証すること、のうちの１個以上を含む、請求項１に記載のシステム。
【請求項５】
前記行為は前記コンテンツと共に非可視光を前記表示領域に投射することを更に含み、前記非可視光は前記手から反射し、前記複数の取り込んだ画像のうちの１個以上の画像は前記反射した非可視光の画像を含む、請求項１に記載のシステム。
【請求項６】
前記皮膚特質は、
色調および／または色彩
肌理、
傷、
天然の痣、
付けたマーキング、
皺、
毛髪、
毛髪密度、
毛髪の色、
線、または
パターン、のうちの１個以上を含む、請求項１に記載のシステム。
【請求項７】
ユーザ認識の方法であって、
投射機で、複数のユーザが共同作業するための表示領域であって手持型表示面により形成される表示領域にコンテンツを投射することと、
前記複数のユーザのうちの特定のユーザの手の画像が含まれる前記表示領域の複数の画像を、前記表示領域の上方から取込むことと、
前記複数の画像のうちの少なくとも１つに少なくとも部分的に基づいて前記手の皮膚特質を決定することと、
前記手の前記決定された皮膚特質に少なくとも部分的に基づいて前記特定のユーザを認識することと、
前記特定のユーザの認識に応じて前記コンテンツの提示を制御することと、を含む、方法。
【請求項８】
前記制御することは、前記特定のユーザを認識することに少なくとも部分的に基づいて前記コンテンツを選択することを含む、請求項７に記載の方法。
【請求項９】
前記特定のユーザの認識は、前記決定された皮膚特質を前記複数のユーザの予め決定された皮膚特質と比較することを含む、請求項７に記載の方法。
【請求項１０】
前記画像は、前記手の甲のものである、請求項７に記載の方法。
【請求項１１】
前記画像は、前記手の２次元画像を含む、請求項７に記載の方法。
【請求項１２】
前記特定のユーザの認識は、
当該ユーザを特定すること、
前記複数のユーザの中から前記特定のユーザを識別すること、または
前記特定のユーザを認証すること、のうちの１個以上を含む、請求項７に記載の方法。
【請求項１３】
非可視光画像を発生させるように前記手を非可視光で照射することを更に含み、前記画像が前記非可視光画像を示す、請求項７に記載の方法。
【請求項１４】
前記皮膚特質は、１個以上のカラーマーキングを含む、請求項７に記載の方法。
【請求項１５】
前記皮膚特質は、
色調および／または色彩
肌理、
傷、
天然の痣、
付けたマーキング、
皺、
毛髪、
毛髪密度、
毛髪の色、
線、または
パターン、のうちの１個以上を含む、請求項７に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
関連出願の相互参照
本出願は２０１２年６月２７日に提出された米国出願第１３／５３４，９１５号の利益を主張するものであり、その全開示が参照により本明細書に含まれる。
【０００２】
映画、画像、書籍、対話型コンテンツ等のデジタルコンテンツは、種々の方法で表示され消費され得る。ある状況では、コンテンツを環境内で受動面上に表示させて、手ぶり、音声指令、およびキーボードのような既存の入力デバイスを伴わない他のアクションに応じて、ユーザと対話することが望まれる場合がある。
【図面の簡単な説明】
【０００３】
詳細な説明を、添付図面を参照しながら記載する。図中、参照番号の左端の数字はその参照番号が最初に現れる図を特定している。別個の図中の同じ参照番号の使用は類似または同一の構成要素または特徴を示す。
【０００４】
【図１】コンテンツを表示面上に投射してユーザを手の皮膚特性に基づいて認識する拡張現実機能型ノード（ＡＲＦＮ）を含む環境を示す。
【図２】ＡＲＦＮにより表示面上に投射できる表示領域の上面図であり、表示領域の上のユーザの腕と手とを示している。
【図３】ユーザの手の皮膚特性に基づいてユーザを認識しているＡＲＦＮの例示的なフロー図である。
【発明を実施するための形態】
【０００５】
本開示では、環境の受動素子を用いてユーザと対話するためのシステムと技術とについて説明する。例えば、種々のコンテンツを、テーブルまたは手持型シートの上面など、室内の受動面上に投射することができる。コンテンツには、画像、映像、写真、映画、本文、書籍、線図、インターネットコンテンツ、ユーザインターフェース等が含まれる。
【０００６】
そのような環境内のユーザは、発話、手ぶり、コンテンツが表示された受動面の接触、およびキーボードなどの専用入力デバイスを伴わない他の方法で、コンテンツの提示を指図できる。
【０００７】
ユーザがこの環境内で行為を行って手ぶりで指令を発するとき、そのユーザの手の画像が取込まれて、このユーザを認識するために分析されてもよい。認識は、ユーザを特定するため、環境内の複数の併存ユーザの中からユーザを識別するため、および／または、ユーザを認証するために等の種々の目的で行われてもよい。
【０００８】
ユーザ認識には、手の種々の光学的または視覚的な特質を用いることができる。特に、システムによって、ユーザの手の甲のカラーマーキング等の皮膚特質または特性を決定するためにユーザの手の表面を分析してもよく、また、ユーザ認識をこれらの特質または特性に基づいて行ってもよい。
【０００９】
例示的な環境
図１は、例示的な環境１００を示し、１人以上のユーザ１０２が、本実施例ではテーブル１０６の水平上面を含む表示領域または表面１０４上に投射したコンテンツを視ている。コンテンツは、１個以上の拡張現実機能型ノード（ＡＲＦＮ）１０８（１）、．．．、１０８（Ｎ）（ある場合には、まとめて「ＡＲＦＮ１０８」と呼ぶ）によって発生させ投射させてもよい。本明細書に説明する技術は、単一のＡＲＦＮにより、任意の数のまとまったＡＲＦＮにより、あるいはその他の任意のデバイスまたはデバイスの組合せにより、遂行できることが分かる。
【００１０】
投射するコンテンツには、本文、カラー画像もしくは映像、ゲーム、ユーザインターフェース、またはその他任意の視覚コンテンツ等の任意の種類のマルチメディアコンテンツを含めてもよい。ある場合には、投射するコンテンツには、メニュー、コントロール、および選択可能または制御可能なオブジェクト等の対話型コンテンツを含めてもよい。
【００１１】
図示の実施例では、表示領域１１０は種々の別個の形状でもよいのだが、投射したコンテンツにより矩形の表示領域または作業域１１０を画成する。環境１００の壁部、環境１００内の他の物体の表面、および環境１００内でユーザ１０２が所持する受動表示面または媒体等の、環境の別個の部分または表面を表示領域１１０に利用してもよい。表示領域１１０の場所は、状況および／またはユーザの命令に応じて、その時々に変えてもよい。加えて、手持型表示面により形成される表示領域等の特定の表示領域が、ユーザが環境１００内で動くにつれて動くようにしてもよい。
【００１２】
各ＡＲＦＮ１０８には、１個以上の計算デバイス１１２ならびに１個以上のインターフェース構成要素１１４を含めてもよい。環境１００内でユーザ１０２と対話できるように計算デバイス１１２とインターフェース構成要素１１４とを相互に連動するように構成してもよい。特に、コンテンツをユーザ１０２の観覧のために表示面１０４上へ投射するように、ＡＲＦＮ１０８を構成してもよい。
【００１３】
本例示的なＡＲＦＮ１０８の計算デバイス１１２には、１個以上のプロセッサ１１６とコンピュータ可読媒体１１８とを含めてもよい。プロセッサ１１６は命令を遂行するように構成でき、それらの命令はコンピュータ可読媒体１１８内にまたは他の、プロセッサ１１６にアクセス可能な、コンピュータ可読媒体内に格納してもよい。プロセッサ１１６にはデジタル信号プロセッサ（ＤＳＰ）を含め、それを音声信号および／または映像信号を処理するように使用してもよい。
【００１４】
コンピュータ可読媒体１１８にはコンピュータ可読記憶媒体（「ＣＲＳＭ」）を含めてもよい。このＣＲＳＭは任意の入手可能な物理媒体でよく、内部に格納した命令を実施するように計算デバイスによるアクセスが可能である。ＣＲＳＭには、ランダムアクセスメモリ（「ＲＡＭ」）、読出し専用メモリ（「ＲＯＭ」）、電気的消去可能型プログラム可能読出し専用メモリ（「ＥＥＰＲＯＭ」）、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読出し専用メモリ（「ＣＤ−ＲＯＭ］）、デジタル多用途ディスク（［ＤＶＤ」）または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、または所望の情報を格納するように使用でき計算デバイス１１２によってアクセス可能な任意の他の媒体、を含め得るがこれらに限定はされない。コンピュータ可読媒体１１８を、ＡＲＦＮの筐体の内部、ローカル通信網上にアクセス可能な１個以上の記憶デバイス上、広域通信網を介してアクセス可能なクラウドストレージ（ｃｌｏｕｄ  ｓｔｏｒａｇｅ）上、または任意の他のアクセス可能な場所内に配置してもよい。
【００１５】
コンピュータ可読媒体１１８には、プロセッサ１１６上で遂行するように構成された命令、データ格納等の、種々のモジュールを格納させてもよい。例えば、コンピュータ可読媒体１１８が、オペレーティングシステムモジュール１２０とインターフェースモジュール１２２とを格納してもよい。
【００１６】
他のモジュールの便宜のために、オペレーティングシステムモジュール１２０をハードウエアとサービスとを管理できるように計算デバイス１１２内部におよびこれに結合させて構成してもよい。インターフェースモジュール１２２を、環境１００内でユーザ１０２からの指令を受信して解釈しかつその特定の環境により決まる種々の方法でそれらの指令に対して応答するように、構成してもよい。
【００１７】
図示していない他の機能モジュールに加えて、コンピュータ可読媒体１１８には、環境１００または表示領域１１０内の１個以上の手を検出するように実行できる手検出モジュール１２４を含めてもよい。例えば、手検出モジュール１２４は、本実施例では表示領域１１０上方に直接置かれるユーザの手１２６の存在と場所とを検出できればよい。
【００１８】
コンピュータ可読媒体１１８にはまた、可視皮膚諸特性のようなユーザの手の光学的または視覚的諸特性に基づいてユーザを認識するように実行可能なユーザ認識モジュール１２８を含めてもよい。特に、ユーザ認識モジュール１２８には、ユーザの手の皮膚特質に基づいてユーザを認識するための以下に説明する技術を実施させてもよい。
【００１９】
コンピュータ可読媒体１１８には他のモジュールも含めてもよく、それらはＡＲＦＮ１０８の種々の別個の機能性を実装するように構成すればよい。
【００２０】
ＡＲＦＮ１０８には、ユーザインターフェース構成要素、ならびに環境１００内での状態および事象を検出し評価するように用い得る他の構成要素等の、種々のインターフェース構成要素１１４を含めてよい。実施例としては、インターフェース構成要素１１４に、１台以上の投射機１３０および１台以上のカメラ１３２または他の撮像センサを含めてよい。インターフェース構成要素１１４には、ある種の実装では、マイクロフォン、スピーカー、距離センサ、および他のデバイスを含む、種々の他のタイプのセンサおよび変換器、コンテンツ発生デバイス等を含めてもよい。
【００２１】
投射機１３０は、コンテンツをユーザ１０２の観覧のための表示面１０４上に投射するように使用すればよい。加えて、投射機１３０からは、非可視の赤外光パターン等のパターンを投射させてもよく、それらをカメラ１３２により検出して環境１００についての分析、モデル化および／または物体検出のために使用できる。投射機１３０には、マイクロレーザ投射機、デジタル光投射機（ＤＬＰ）、陰極線管（ＣＲＴ）投射機、液晶ディスプレイ（ＬＣＤ）投射機、発行ダイオード（ＬＥＤ）投射機、またはその他のもの、を含めてもよい。
【００２２】
カメラ１３２は、環境１００内の物体を検出し特定するための形状分析を利用するなどにより、種々のタイプの情景分析に用いることができる。ある状況下で、ある目的のために、カメラ１３２を環境１００の３次元分析およびモデル化のために用いてもよい。特に、構造化光分析技術（ｓｔｒｕｃｔｕｒｅｄ  ｌｉｇｈｔ  ａｎａｌｙｓｉｓ  ｔｅｃｈｎｉｑｕｅｓ）は、環境の３Ｄ特性を決定するようにカメラ１３２により取込まれた画像に基づくものであってもよい。
【００２３】
カメラ１３２は、投射表示領域１１０とのユーザ対話の検出に用いてもよい。例えば、カメラ１３２を表示領域１１０内のユーザの手１２６の動きと手ぶりとを検出するように使用してもよい。環境とＡＲＦＮ１０８の所望の機能性とに応じて、ユーザ自身の場所を検出するためおよび他の観察環境状態を検出しまたは応答するため等の、他の目的に用いてもよい。
【００２４】
計算デバイス１１２とインターフェース構成要素１１４との間の結合は、電線、光ファイバーケーブル、無線接続等を介したものであればよい。更に、図１では計算デバイス１１２がＡＲＦＮ１０８の筐体内に存在しているように示しているが、計算デバイス１１２の構成要素の一部または全部は、ＡＲＦＮ１０８に動作有効に接続された別の場所に存在していてもよい。更に別の場合には、計算デバイス１１２のある種の構成要素、論理回路、および／またはその他、が投射機またはカメラの内部に存在していてもよい。従って、図１のＡＲＦＮ１０８の図示は説明目的のみであってＡＲＦＮ１０８の構成要素が他の任意の組合せおよび他の任意の位置で構成されてもよいことが分かる。
【００２５】
更に、構内通信網を介してアクセスできる別のＡＲＦＮ１０８内の情報源、広域通信網接続を介してアクセスできるクラウド情報源、またはこれらの組合せ等の、ＡＲＦＮ１０８の外部の追加の情報源にアクセスを行ってもよい。更に他の場合には、ＡＲＦＮ１０８が、テレビ、ステレオシステム、照明灯等の、環境内の他のデバイスに結合してそれらを制御してもよい。
【００２６】
他の実装では、ＡＲＦＮ１０８の構成要素を、環境１００内の１箇所以上の場所に分散配置させてよい。例えば、カメラと投射機とを、環境中にくまなくおよび／または別個のシャシに分散配置させてもよい。
【００２７】
動作に際して、ＡＲＦＮ１０８は画像を表示面１０４上に投射してもよく、画像を投射された領域が表示領域１１０を画成してもよい。ＡＲＦＮ１０８には、ユーザの手など、表示領域１１０上方に現れている物体を含めて環境１００をモニターさせてもよい。ユーザには、手ぶりによりまたは表示領域１１０の領域に触れることにより、ＡＲＦＮ１０８と対話させてもよい。例えば、ユーザ１０２が投射コンテンツの特定の場所を軽く叩いてコンテンツの当該領域に的を絞りまたは拡大するようにしてもよい。表示領域１１０の上方または内部で、または環境１００の他の領域内でのユーザ１０２による手ぶりを検出するように、ＡＲＦＮ１０８にその種々の能力を活用させてもよい。加えて、ユーザの手１２６の皮膚特性を決定しかつその皮膚特性に基づいてユーザを認識するために、ユーザ認識モジュール１２８が環境１００の取込み画像を分析してもよい。
【００２８】
図２は、表示領域１１０内のユーザ対話の実施例を示す。特に、図２は表示領域１１０の上方で手ぶりを行っているユーザ１０２の手１２６を示している。手１２６は、呈色、痣、パターン、およびその他等の、光学的または視覚的で弁別的な諸特性を有していても構わない。
【００２９】
ユーザにより行われる手ぶりに応答するとき、ＡＲＦＮ１０８は手ぶりをしているユーザの同一性を明らかにしたりユーザとの同一性に従って別個の応答を行ったりしてもよい。ある状況では、ＡＲＦＮ１０８が本明細書に説明するユーザ認識技術に基づいてユーザを認証してもよく、また認証され承認されたユーザにより指示されたときのみある種の操作を許容するようにしてもよい。他の状況では、環境内で複数の併存ユーザ１０２の間で識別するようにユーザ認識を用いてもよいので、システム応答が複数のユーザの各々に対して適切なものになる。
【００３０】
ユーザ認識
図３は、図１に示した環境１００内でユーザ１０２を認識する例示的な方法３００を示す。この例示的な方法３００は環境１００との関連で説明するが、説明する技術、または説明する技術の部分は、他の環境内で他の方法および工程と協働させて使用してもよい。
【００３１】
アクション３０２は、ＡＲＦＮ１０８のうちの１台の投射機１３０から表示領域１１０に照射または投射を行うことを含んでよい。これには、データ、本文、マルチメディア、映像、写真、メニュー、ツール、および他のタイプのコンテンツ等の画像の投射を含めてもよく、対話型コンテンツも含まれる。コンテンツを投射する表示領域には、手持型デバイス、壁部、および他の物体等の、環境１００内の任意の表面を含めてもよい。表示領域はある場合には可動であってもよい。例えば、表示面には、その上に画像を表示する白紙のような手持型物体または表面を含めてよい。ある実施形態では、複数のユーザ１０２が表示領域の周辺または近くに居てもよく、コンテンツに関する指令または命令を与えるように手ぶりを使ってもよい。コンテンツが表示されているときに、ユーザ１０２もまた表示領域の周囲を動いてもよい。
【００３２】
ある状況では、アクション３０２は、表示領域１１０または関連する何らかの他の領域を均一照明で照射を行って、続く手および皮膚特性の光学的検出を最適化させるとよい。このことは、そうしなかった場合には投射されているコンテンツに対する短時間の割込みとして行うことができる。これに替えて、アクション３０２には、視覚コンテンツの表示と同時に表示領域１１０を赤外光等の非可視光で照射することを含ませてもよい。ある場合には、特定の特性を最良に識別するように選択された可視または非可視光周波数を用いて、表示領域１１０または他の関係領域を照明してもよい。ある場合には、均一な照明を投射コンテンツのフレーム同士の間に投射してもよい。更に他の場合には、周囲の照明光を、投射コンテンツのフレーム同士の間にまたはコンテンツが投射されていないときに、用いてもよい。
【００３３】
アクション３０４は、表示領域１１０の１個以上の画像を取込むことなどにより、表示領域１１０を観察または撮像することを含んでもよい。このことは、ＡＲＦＮ１０８のカメラ１３２とプロセッサ１１６などの関連の計算用構成要素とによるなど、ＡＲＦＮ１０８の種々の構成要素により、行えばよい。例えば、表示領域１１０の静止画像をカメラ１３２により取込み、以降の分析のために手検出モジュール１２４に送るようにしてもよい。そのような静止画像の取込みは、ある実施形態では、表示領域１１０の照明と一致するように時間調整を行えばよい。例えば、表示領域１１０への均一照明の投射と、あるいはある種の皮膚特徴または特性を強調する所定の光周波数の投射と、同期して静止画像の取込みを行えばよい。ある場合には、アクション３０２によって投射された任意のコンテンツのフレーム同士の間から静止画像を取込むことも可能で、投射または周囲の照明光を上手く利用すればよい。取込み画像は、視覚光と、表示領域１１０から反射した赤外光などの非可視光と、のいずれかの、またはそれに基づいた、画像ならばよい。
【００３４】
アクション３０６は、カメラ１３２から提供された画像に応じて手検出モジュール１２４によって遂行でき、表示領域１１０内で手１２６の存在および／または位置を検出することを含んでもよい。手検出は、形状認識技術および手認識技術等の、種々の画像処理技術を用いて行えばよい。
【００３５】
アクション３０８は、手検出モジュール１２４による手１２６の検出に応じてユーザ認識モジュール１２８により遂行でき、手１２６の皮膚特質または他の視覚特性を決定するために手１２６の画像を分析することを含んでもよい。ある実施形態では、ユーザが手ぶりを行っているとき手１２６の甲がカメラ１３２に視認され、アクション３０８は手１２６の甲を表わす取込み画像の部分を分析することにより行える。分析された画像は二次元画像を含んでいてもよく、またカラー画像または白黒画像を含んでいてもよい。画像には、非光学的形状または肌理特性を伝える必要はない。
【００３６】
検出する皮膚特質には、任意の視覚的または光学的な特性を含めてよく、以下に列挙する特性を含み得るがそれらに限定はされない。
【００３７】
・色調および／または色彩
・肌理、
・傷、
・小班点、肝斑、ほくろなどの天然の痣、
・血管および毛細血管、
・皺、
・カラーマーキング、
・タトゥーなどの付けたマーキング、
・毛髪、
・毛髪密度、
・毛髪の色、ならびに
・上記のいずれかによって形成された線およびパターン。
【００３８】
皮膚特質には、特にユーザ認識の目的に適用したマーキング類を含めてもよい。例えば、タトゥーや他のマーキングをユーザの特定に有用なパターンに適用してもよい。ある状況では、通常の照明光では見えないが赤外照明などの特別な照明光条件下では見えるようになるマーキング類を用いてもよい。
【００３９】
皮膚特質は、光学的技術と各種センサ、検出器、およびその他、を含む二次元分析技術と、を用いて評価できる。皮膚特質は、特徴、機能、データ列、媒介変数、その他等の、抽象および／または数学的構成により表現してもよい。例えば、端縁または特徴検出アルゴリズムを手１２６の甲に適用して、端縁／特性の数、端縁／特性の密度、手の別個の部分に対する端縁／特性の分布等の、端縁または特性に関連した種々の媒介変数を検出してもよい。そのような特徴は種々のタイプの皮膚特性に対応するかもしれないが、特徴と皮膚特性との間の実際の対応を特定する必要はないのかもしれない。したがって、端縁または特性の検出を、検出端縁または特徴を発生した皮膚特性の性質上の分類を試みることなく、手の表面の特性付けに使用できる。
【００４０】
別の実施例として、皮膚色調のような特性を、赤、青、および緑、のような色の相対強さに対応する数または数の組として表現できる。
【００４１】
手１２６の皮膚特質を決定するアクション３０８に応じてユーザ認識モジュール１２８により行われるアクション３１０には、決定された皮膚特質をＡＲＦＮ１０８の一部またはそれにアクセスできるデータリポジトリまたはメモリ３１２に予め格納されている既知ユーザの手の皮膚特質と比較するなどにより、ユーザ１０２を認識することを含めてよい。比較３１０により、検出皮膚特質が事前に検出または既知になったユーザものと一致するかを決定する。ユーザが認識された場合は、ＡＲＦＮは手ぶり認識および／または状況に適した他のアクションに移行すればよい。そうでなく、ユーザが認識されない場合は、アクション３１４を遂行して、新規ユーザを追加および／または登録しかつ当該新規ユーザを検出皮膚特質に関連付けてもよい。この場合には、将来の参照用のデータリポジトリまたはメモリ３１２等に、手の皮膚特質等のユーザ情報を格納させてもよい。
【００４２】
図３の方法は、環境１００内にユーザを定期更新しながら検出および／または認識するように繰返して行われる。
【００４３】
アクション３１０での比較でユーザが認識される場合は、アクション３１６を行えばよく、ユーザの認識に応答することが含まれる。ＡＲＦＮ１０８を、環境と状況とＡＲＦＮ１０８により行われる機能とに従って種々の方法で応答するように構成すればよい。例えば、認識されたユーザの同一性または他の特質に基づいて提示すべきコンテンツを選択するなどにより環境で提示されたコンテンツを、ユーザ認識に応じて制御すればよい。
【００４４】
ある状況では、現時点でのユーザを特定するために認識を行えるので、ユーザの同一性に基づきアクションをカスタマイズできる。例えば、ユーザはＡＲＦＮ１０８にスケジュールを表示するように要求でき、またＡＲＦＮ１０８はその要求を開始させた特定ユーザのためのスケジュールを引出せばよい。
【００４５】
他の状況では、システムの複数の併存ユーザの間で識別するように認識を行えばよい。このような状況では、別個のユーザが別個の機能または処理を制御しまたはそれと対話していてもよく、またユーザが行った手ぶりに応じてシステムはユーザの手ぶりを特定の処理に関連付ければよい。
【００４６】
更に他の状況では、ユーザを認証するためにまた保護された情報源へのアクセスを許容するために、認識を行える。例えば、ユーザは自己の金銭記録へのアクセスを試みることができ、またＡＲＦＮはユーザに対する適正認証のみによりそのアクセスを許容できる。同様に、ＡＲＦＮは時には環境内で非承認のユーザの存在を検出してもよく、また非承認のユーザが表示コンテンツを視ることが可能なときには、機密のまたは保護された情報を隠してもよい。
【００４７】
ユーザ認識技術を表示領域内で手ぶりをしている手に応じて機能するように以上に説明したが、同様の技術を別個のタイプの環境に用いてもよい。例えば、ＡＲＦＮ１０８のようなシステムを、環境内の任意の箇所または表示領域１１０以外の場所に現れている手に基づいて認識するように構成してもよい。他の実施態様では、手の画像を得てその皮膚特質を決定するためにユーザに対して手を特定場所に置くように求めてもよい。
【００４８】
結び
主題の説明を構成上の特徴に特有な表現で行ったが、添付した特許請求の範囲に定義した主題は説明を行った特定の特徴に必ずしも限定されるわけではないことが分かる。正確には、それら特定の特徴は特許請求の範囲の実施の説明形態として開示したものである。
【００４９】
付記
本開示の実施形態は以下の付記の観点から説明できる。
【００５０】
付記１．１個以上のプロセッサと、
撮像センサと、
投射機と、
１個以上のコンピュータ可読媒体であって、１個以上のプロセッサにより実行されたとき、１個以上のプロセッサに、
コンテンツを投射機で表示領域に投射することと、
表示領域の１個以上の画像を撮像センサで取込むことと、
１個以上の取込んだ画像に少なくとも部分的に基づいて、表示領域内のユーザの手の皮膚特質であって、皮膚の１個以上の可視特性を含む、皮膚特質を決定するために１個以上の画像を分析することと、
決定された皮膚特質に基づいてユーザを認識することと、
を含む行為を遂行させるコンピュータ実行可能命令を格納する、１個以上のコンピュータ可読媒体と、
を備える、システム。
【００５１】
付記２．行為は、ユーザの認識に応じてコンテンツを制御することを更に含む、請求項１に記載のシステム。
【００５２】
付記３．１個以上の画像の分析は、ユーザの手の皮膚特質のうちの１個以上の部位を決定するように、特性検出アルゴリズムを１個以上の画像に適用することを含む、請求項１に記載のシステム。
【００５３】
付記４．ユーザの認識は、
ユーザを特定すること、
複数のユーザの中からユーザを識別すること、または
ユーザを認証すること、
のうちの１個以上を含む、請求項１に記載のシステム。
【００５４】
付記５．行為はコンテンツと共に非可視光を表示領域に投射することを更に含み、非可視光は手から反射し、１個以上の取込んだ画像は反射した非可視光の画像を含む、請求項１に記載のシステム。
【００５５】
付記６．皮膚特質は、
色調および／または色彩
肌理、
傷、
天然の痣、
付けたマーキング、
皺、
毛髪、
毛髪密度、
毛髪の色、
線、または
パターン、
のうちの１個以上を含む、請求項１に記載のシステム。
【００５６】
付記７．ユーザ認識の方法であって、
ユーザの手の画像を取込むことと、
画像に少なくとも部分的に基づいて手の皮膚特質を決定することと、
手の決定した皮膚特質に少なくとも部分的に基づいてユーザを認識することと、
ユーザの認識に応じてコンテンツの提示を制御することと、を含む、
方法。
【００５７】
付記８．制御することは、ユーザを認識することに少なくとも部分的に基づいてコンテンツを選択することを含む、請求項７に記載の方法。
【００５８】
付記９．ユーザの認識は、決定された皮膚特質を複数のユーザの予め決定された皮膚特質と比較することを含む、請求項７に記載の方法。
【００５９】
付記１０．画像は、手の甲のものである、請求項７に記載の方法。
【００６０】
付記１１．画像は、手の２次元画像を含む、請求項７に記載の方法。
【００６１】
付記１２．ユーザの認識は、
ユーザを特定すること、
複数のユーザの中からユーザを識別すること、または
ユーザを認証すること、
のうちの１個以上を含む、請求項７に記載の方法。
【００６２】
付記１３．非可視光画像を発生させるように手を非可視光で照射することを更に含み、画像が非可視光画像を示す、請求項７に記載の方法。
【００６３】
付記１４．皮膚特質は、１個以上のカラーマーキングを含む、請求項７に記載の方法。
【００６４】
付記１５．皮膚特質は、
色調および／または色彩
肌理、
傷、
天然の痣、
付けたマーキング、
皺、
毛髪、
毛髪密度、
毛髪の色、
線、または
パターン、
のうちの１個以上を含む、請求項７に記載の方法。
【００６５】
付記１６．１個以上のコンピュータ可読媒体であって、１個以上のプロセッサにより実行されたとき、１個以上のプロセッサに、
領域内の手を検出することと、
手の１個以上の皮膚特質を決定するために手を分析することと、
手の１個以上の皮膚特質に基づいてユーザを認識することと、
ユーザの認識に応じてコンテンツの提示を制御することと、
を含む行為を遂行させるコンピュータ実行可能命令を格納する、１個以上のコンピュータ可読媒体。
【００６６】
付記１７．制御することは、ユーザを認識することに少なくとも部分的に基づいてコンテンツを選択することを含む、請求項０に記載の１個以上のコンピュータ可読媒体。
【００６７】
付記１８．ユーザの認識は、決定された皮膚特質を複数のユーザの予め決定された皮膚特質と比較することを含む、請求項０に記載の１個以上のコンピュータ可読媒体。
【００６８】
付記１９．ユーザの認識は、
ユーザを特定すること、
複数のユーザの中からユーザを識別すること、または
ユーザを認証すること、
のうちの１個以上を含む、請求項０に記載の１個以上のコンピュータ可読媒体。
【００６９】
付記２０．行為は領域の画像を取込むことを更に含み、検出は画像内の手を検出することを含む、請求項０に記載の１個以上のコンピュータ可読媒体。
【００７０】
付記２１．分析は、ユーザの手の上に皮膚特質の１個以上の位置を決定するために特徴検出アルゴリズムを１個以上の画像に適用することを含む、請求項０に記載の１個以上のコンピュータ可読媒体。
【００７１】
付記２２．行為は、領域の非可視光画像を発生するために手を非可視光で照射することと、領域の非可視光画像を取込むことと、を更に含み、
検出は非可視光画像内の手を検出することを含む、請求項０に記載の１個以上のコンピュータ可読媒体。
【００７２】
付記２３．皮膚特質は、１個以上のカラーマーキングを含む、請求項０に記載の１個以上のコンピュータ可読媒体。
【００７３】
付記２４．皮膚特質は、
色調および／または色彩
肌理、
傷、
天然の痣、
付けたマーキング、
皺、
毛髪、
毛髪密度、
毛髪の色、
線、または
パターン、
のうちの１個以上を含む、請求項０に記載の１個以上のコンピュータ可読媒体。
【図１】
0006054527.tif 000002
【図２】
0006054527.tif 000003
【図３】
0006054527.tif 000004