(57)【要約】  ディスプレイ環境を装飾するためのシステム及び方法が本明細書において開示される。１つの実施態様において、ユーザは、１又は複数のジェスチャをすること、音声コマンドを用いること、適切なインターフェース装置を用いること、及び／又はそれらの組み合わせによって、ディスプレイ環境を装飾することができる。ディスプレイ環境を装飾するための例えば色、テクスチャ、オブジェクト、及び視覚効果等の芸術的特徴をユーザが選択するために、音声コマンドを検出することができる。ユーザはまた、装飾すべきディスプレイ環境の一部分を選択するためにジェスチャをすることもできる。次に、選択された芸術的特徴に従って、ディスプレイ環境の選択された一部分を変更することができる。ユーザの動作をディスプレイ環境においてアバターに反映させることができる。加えて、仮想キャンバス又は３次元オブジェクトをユーザによる装飾のためにディスプレイ環境に表示することができる。【選択図】図５
2013508866.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ環境を装飾するための方法であって、
ユーザのジェスチャ又は音声コマンドを検出して芸術的特徴を選択するステップと、
ユーザのジェスチャ又は音声コマンドを検出してディスプレイ環境の一部分に目標を定める又は選択するステップと、
前記選択された芸術的特徴に基づいて前記ディスプレイ環境の前記選択された一部分を変更するステップと、
を含む方法。
【請求項２】
ユーザのジェスチャ又は音声コマンドを検出して芸術的特徴を選択する前記ステップは、ジェスチャ又は音声コマンドを検出して色を選択するステップを含み、
前記ディスプレイ環境の前記選択された一部分を変更する前記ステップは、前記ディスプレイ環境の前記選択された一部分を前記選択された色で色塗りするステップを含む、
請求項１に記載の方法。
【請求項３】
ユーザのジェスチャ又は音声コマンドを検出して芸術的特徴を選択する前記ステップは、ジェスチャ又は音声コマンドを検出してテクスチャ、オブジェクト、及び視覚効果のうちの１つを選択するステップを含む請求項１に記載の方法。
【請求項４】
前記ディスプレイ環境の前記選択された一部分を変更する前記ステップは、前記選択された一部分を２次元画像で装飾するステップを含む請求項１に記載の方法。
【請求項５】
前記ディスプレイ環境の前記選択された一部分を変更する前記ステップは、前記選択された一部分を３次元画像で装飾するステップを含む請求項１に記載の方法。
【請求項６】
前記選択された一部分に３次元オブジェクトを表示するステップを含み、
前記ディスプレイ環境の前記選択された一部分を変更する前記ステップは、前記選択された芸術的特徴に基づいて前記３次元オブジェクトの外観を変更するステップを含む、
請求項１に記載の方法。
【請求項７】
ユーザの別のジェスチャ又は音声コマンドを取得するステップと、
ユーザの前記別のジェスチャ又は音声コマンドに基づいて前記３次元オブジェクトの形状を変更するステップと、
を含む請求項６に記載の方法。
【請求項８】
複数の入力に対応する複数のジェスチャデータを格納するステップを含み、
ユーザのジェスチャ又は音声コマンドを検出してディスプレイ環境の一部分に目標を定める又は選択する前記ステップは、ユーザの投げる動作、手首の動作、胴体の動作、手の動作、脚の動作、及び腕の動作のうちの少なくとも１つの特徴を検出するステップを含み、
前記ディスプレイ環境の前記選択された一部分を変更する前記ステップは、前記ユーザの動作の前記検出された特徴に基づいて前記ディスプレイ環境の前記選択された一部分を変更するステップを含む、
請求項１に記載の方法。
【請求項９】
画像キャプチャ装置を用いて前記ユーザのジェスチャを検出するステップを含む請求項１に記載の方法。
【請求項１０】
ディスプレイ環境を装飾するための方法であって、
ユーザのジェスチャ又は音声コマンドを検出するステップと、
前記ユーザのジェスチャ又は音声コマンドの特徴を決定するステップと、
前記ユーザのジェスチャ又は音声コマンドの前記特徴に基づいてディスプレイ環境の一部分を選択するステップと、
前記ユーザのジェスチャ又は音声コマンドの前記特徴に基づいて前記ディスプレイ環境の前記選択された一部分を変更するステップと、
を含む方法。
【請求項１１】
前記ユーザのジェスチャ又は音声コマンドの特徴を決定する前記ステップは、前記ユーザの腕の動きに関係するスピード、方向、開始姿勢、及び終了姿勢のうちの少なくとも１つを決定するステップを含み、
ディスプレイ環境の一部分を選択する前記ステップは、前記ユーザの腕の動きに関係するスピード及び方向のうちの前記少なくとも１つに基づいて、前記ディスプレイ環境における前記選択された一部分の位置、大きさ、及びパターンを選択するステップを含む、
請求項１０に記載の方法。
【請求項１２】
前記選択された一部分を変更する前記ステップは、前記ユーザの腕の動きに関係するスピード、方向、開始姿勢、及び終了姿勢のうちの前記少なくとも１つに基づいて、前記選択された一部分の色、テクスチャ、及び視覚効果のうちの１つを変更するステップを含む請求項１１に記載の方法。
【請求項１３】
前記ディスプレイ環境にアバターを表示するステップと、
前記ユーザのジェスチャを模擬するよう前記表示されたアバターを制御するステップと、
前記ユーザのジェスチャの前記特徴に基づいて、前記アバターが前記ディスプレイ環境の前記選択された一部分を変更するアニメーションを表示するステップと、
を含む請求項１０に記載の方法。
【請求項１４】
ユーザのジェスチャ又は音声コマンドを検出して芸術的特徴を選択するステップを含み、
前記ディスプレイ環境の前記選択された一部分を変更する前記ステップは、前記選択された芸術的特徴に基づいて前記ディスプレイ環境の前記選択された一部分を変更するステップを含む、
請求項１０に記載の方法。
【請求項１５】
ディスプレイ環境を装飾するためのコンピューター実行可能命令が格納されたコンピューター読み取り可能媒体であって、前記コンピューター実行可能命令は、
オブジェクトの画像をキャプチャするステップと、
前記キャプチャされた画像内の前記オブジェクトの少なくとも一部分のエッジを決定するステップと、
前記決定されたエッジに基づいてディスプレイ環境の一部分を定義するステップと、
前記ディスプレイ環境の前記定義された一部分を装飾するステップと、
を含む、コンピューター読み取り可能媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  コンピューターのユーザは、アートを創作するのに様々な描画ツールを使用してきた。通常、そのようなアートは、コンピューターの映像音声ディスプレイの表示画面上にマウスを用いて創作される。アーティストは、表示画面内でカーソルを動かし、一連のポイント・クリック動作を行うことによって、画像を生成することができる。加えて、アーティストは、キーボードやマウスを使って、生成した画像中の要素を装飾するため色を選択することもある。加えて、アート用のアプリケーションは、色や形等を追加し変更するための様々な編集ツールを有している。
【０００２】
[0002]  アーティストがマウス及びキーボード以外のアート創作用のコンピューター入力装置を使用することができるシステム及び方法が必要とされている。その上、アートの創作行為とのインタラクティブ性をユーザが感じる度合いを高めるシステム及び方法を提供することが望ましい。
【発明の概要】
【０００３】
[0003]  ディスプレイ環境を装飾するためのシステム及び方法が本明細書において開示される。１つの実施態様において、ユーザは、１又は複数のジェスチャをすること、音声コマンドを用いること、適切なインターフェース装置を用いること、及び／又はそれらの組み合わせによって、ディスプレイ環境を装飾することができる。ディスプレイ環境を装飾するための例えば色、テクスチャ、オブジェクト、及び／又は視覚効果等の芸術的特徴をユーザが選択するために、音声コマンドを検出することができる。例えば、ユーザは、ディスプレイ環境のエリア又は一部分を色塗りするために望みの色の選択を発声することができ、その発声は色の選択として認識されることができる。あるいはまた、音声コマンドは、ディスプレイ環境を装飾するためのテクスチャ、オブジェクト、又は視覚効果のうちの１つ又は複数を選択することができる。ユーザはまた、装飾すべきディスプレイ環境の一部分を選択又は目標を定めるためにジェスチャをすることもできる。例えば、ユーザは、ディスプレイ環境の一部分を選択するために腕で物を投げる動作をすることができる。この例では、ユーザの投げる動作で決まるスピードと軌道で物体が放たれたと想定した時その物体が当たる、映像音声装置の表示画面上のエリアが、選択された一部分となり得る。次に、選択された芸術的特徴に従って、ディスプレイ環境の選択された一部分を変更することができる。ユーザの動作をディスプレイ環境においてアバターに反映させることができる。加えて、仮想キャンバス又は３次元オブジェクトをユーザによる装飾のためにディスプレイ環境に表示することができる。
【０００４】
[0004]  別の実施態様において、ユーザのジェスチャの特徴に基づいてディスプレイ環境の一部分を装飾することができる。画像キャプチャ装置によってユーザのジェスチャを検出することができる。例えば、ユーザのジェスチャは、物を投げる動作、手首の動作、胴体の動作、手の動作、脚の動作、腕の動作等であり得る。ユーザのジェスチャの特徴を決定することができる。例えば、動作に関係するスピード、方向、開始姿勢、終了姿勢等のうちの１つ又は複数を決定することができる。これらの特徴のうちの１つ又は複数に基づいて、装飾すべきディスプレイ環境の一部分を選択することができる。ディスプレイ環境の選択された一部分をユーザのジェスチャの特徴に基づいて変更することができる。例えば、ディスプレイ環境内の選択された一部分の位置、大きさ、及び／又はパターンは、ユーザが物を投げる動作のスピード及び／又は方向に基づくものとすることができる。
【０００５】
[0005]  更に別の実施態様において、オブジェクトのキャプチャ画像をステンシルの手法で用いて、ディスプレイ環境を装飾することができる。画像キャプチャ装置はオブジェクトの画像をキャプチャすることができる。キャプチャされた画像内のオブジェクトの少なくとも一部分のエッジを決定することができる。決定されたエッジに従ってディスプレイ環境の一部分を定義することができる。例えば、ユーザ等のオブジェクトの輪郭を決定することができる。この例では、ディスプレイ環境の定義された一部分は、ユーザの輪郭にマッチした形状を有することができる。この定義された一部分は、例えば、色塗り、テクスチャの追加、及び／又は視覚効果によって装飾されることができる。
【０００６】
[0006]  この要約は、以下、詳細な説明において更に説明される概念から選抜されたものを、単純化した形で導入すべく提供されるものである。この要約は、請求された主題のキーとなる特徴又は本質をなす特徴を特定することを意図したものではなく、請求された主題の範囲を限定するために用いられることを意図したものでもない。その上、請求された主題は、如何なる又は全ての不都合な点を解決する、この開示の何れかの部分において言及された手段に限定されない。
【図面の簡単な説明】
【０００７】
【図１Ａ】アバターを操作しアプリケーションと対話するためのジェスチャを使っているユーザと共に、目標認識・分析・追跡システムの構成の一例の実施態様を示す図である。
【図１Ｂ】アバターを操作しアプリケーションと対話するためのジェスチャを使っているユーザと共に、目標認識・分析・追跡システムの構成の一例の実施態様を示す図である。
【図２】画像キャプチャ装置の一例の実施態様を示す図である。
【図３】ディスプレイ環境を装飾するのに用いることができる計算機環境の一例の実施態様を示す図である。
【図４】ディスプレイ環境を装飾するための１つ又は複数のジェスチャを開示された主題に従って解釈するのに用いられる計算機環境の別例の実施態様を示す図である。
【図５】ディスプレイ環境を装飾するための一例の方法のフロー図を示す図である。
【図６】ディスプレイ環境を装飾するための別例の方法のフロー図を示す図である。
【図７】キャプチャされた画像中のユーザの輪郭と同一の形状を持つ、ディスプレイ環境の定義された一部分の一例の画面表示である。
【図８】開示された主題に従って装飾されたディスプレイ環境の他の例の画面表示である。
【図９】開示された主題に従って装飾されたディスプレイ環境の他の例の画面表示である。
【図１０】開示された主題に従って装飾されたディスプレイ環境の他の例の画面表示である。
【図１１】開示された主題に従って装飾されたディスプレイ環境の他の例の画面表示である。
【発明を実施するための形態】
【０００８】
[0016]  本明細書において説明されるように、ユーザは、１又は複数のジェスチャを行い、音声コマンドを使用し、及び／又は適切なインターフェース装置を使用することによって、ディスプレイ環境を装飾することができる。１つの実施態様によれば、ユーザが芸術的特徴、例えば色、テクスチャ、オブジェクト、及び視覚効果等を選択するために、音声コマンドを検出することができる。例えば、ユーザは、ディスプレイ環境のエリア又は一部分を色塗りするために選択した望みの色を発声することができ、この発声は、色の選択として認識されることができる。あるいはまた、音声コマンドは、テクスチャ、オブジェクト、又は視覚効果のうち１つ又は複数を選択して、ディスプレイ環境を装飾することができる。ユーザはまた、装飾すべきディスプレイ環境の一部分を選択するためにジェスチャをすることもできる。例えば、ユーザは、ディスプレイ環境の一部分を選択するために、腕を動かして物を投げる動作をすることができる。この例では、ユーザの投げる動作で決まるスピードと軌道で物体が放たれたと想定した時その物体が当たる、映像音声装置の表示画面上のエリアが、選択された一部分となり得る。次に、選択された芸術的特徴に従って、ディスプレイ環境の選択された一部分を変更することができる。
【０００９】
[0017]  別の実施態様において、ユーザのジェスチャの特徴に従ってディスプレイ環境の一部分を装飾することができる。画像キャプチャ装置はユーザのジェスチャを検出することができる。例えば、ユーザのジェスチャは、物を投げる動作、手首の動作、胴体の動作、手の動作、脚の動作、腕の動作等であり得る。ユーザのジェスチャの特徴を決定することができる。例えば、動作に関係するスピード、方向、開始姿勢、終了姿勢等のうちの１つ又は複数を決定することができる。これらの特徴のうちの１つ又は複数に従って、装飾すべきディスプレイ環境の一部分を選択することができる。ディスプレイ環境の選択された一部分をユーザのジェスチャの特徴に従って変更することができる。例えば、ディスプレイ環境内の選択された一部分の位置、大きさ、及び／又はパターンは、ユーザが物を投げる動作のスピード及び／又は方向に基づくものとすることができる。
【００１０】
[0018]  更に別の実施態様において、オブジェクトのキャプチャ画像をステンシルの手法で用いて、ディスプレイ環境を装飾することができる。画像キャプチャ装置はオブジェクトの画像をキャプチャすることができる。キャプチャされた画像内のオブジェクトの少なくとも一部分のエッジを決定することができる。決定されたエッジに従ってディスプレイ環境の一部分を定義することができる。例えば、ユーザ等のオブジェクトの輪郭を決定することができる。この例では、ディスプレイ環境の定義された一部分は、ユーザの輪郭にマッチした形状を有することができる。この定義された一部分は、例えば、色塗り、テクスチャの追加、及び／又は視覚効果によって装飾されることができる。
【００１１】
[0019]  図１Ａ及び１Ｂは、アバター１３を操作しアプリケーションと対話するためのジェスチャを使っているユーザ１８と共に、目標認識・分析・追跡システム１０の構成の一例の実施態様を示している。本例の実施態様において、システム１０は、ユーザの手１５又はユーザ１８の他の肢体の動作を認識し、分析し、追跡することができる。更に、システム１０は、本明細書においてより詳細に説明されるように、ユーザ１８の動作を分析して、ユーザの手又は他の肢体の動作に基づいて、映像音声装置１６のディスプレイ１４内のアバター１３の外観及び／又は動きを決定することができる。システム１０はまた、本明細書においてより詳細に説明されるように、ユーザの手１５又は他の肢体の動作を分析して、仮想キャンバス１７を装飾することができる。
【００１２】
[0020]  図１Ａに示されるように、システム１０は、計算機環境１２を含むことができる。計算機環境１２は、コンピューター、ゲームシステム、コンソール等であり得る。一例の実施態様によれば、計算機環境１２は、ハードウェア部品及び／又はソフトウェア部品を含んでよく、ゲームアプリケーションや非ゲームアプリケーション等のアプリケーションを実行するように用いられ得る。
【００１３】
[0021]  図１Ａに示されるように、システム１０は、画像キャプチャ装置２０を含むことができる。画像キャプチャ装置２０は、例えば、ユーザ１８等の１又は複数のユーザをモニタするのに用いることができる検出器であり得る。以下においてより詳細に説明されるように、この１又は複数のユーザが行う動作は、キャプチャ、分析、及び追跡されて、アプリケーション内のアバター１３を操作する手の動作等の意図したジェスチャを決定することができる。加えて、１又は複数のユーザが行う動作は、キャプチャ、分析、及び追跡されて、キャンバス１７又はディスプレイ１４の別の一部分を装飾することができる。
【００１４】
[0022]  １つの実施態様によれば、システム１０を映像音声装置１６に接続することができる。映像音声装置１６は、ユーザ１８等のユーザに対してゲームやアプリケーションの映像及び／又は音声を提供することができるテレビ、モニタ、高精細テレビ（ＨＤＴＶ）等の、如何なるタイプのディスプレイシステムであってもよい。例えば、計算機環境１２は、ゲームアプリケーションや非ゲームアプリケーション等に関係する映像音声信号を供給することができるグラフィックカード等のビデオアダプタ及び／又はサウンドカード等のオーディオアダプタを含み得る。映像音声装置１６は、計算機環境１２からその映像音声信号を受け取り、次いで、当該映像音声信号に関係するゲーム又はアプリケーションの映像及び／又は音声をユーザ１８に対して出力することができる。１つの実施態様によれば、例えばＳビデオケーブル、同軸ケーブル、ＨＤＭＩケーブル、ＤＶＩケーブル、ＶＧＡケーブル等を介して、映像音声装置１６を計算機環境１２に接続することができる。
【００１５】
[0023]  図１Ｂに示されるように、一例の実施態様において、アプリケーションが計算機環境１２内で実行され得る。このアプリケーションを映像音声装置１６の表示空間内に表示することができる。ユーザ１８は、ジェスチャを用いて、アバター１３の動き及びディスプレイ環境内のキャンバス１７の装飾を制御し、アバター１３のキャンバス１７との対話を制御することができる。例えば、ユーザ１８は、図１Ｂに示されるように下手投げの動作で手１５を動かして、アバター１３の対応する手及び腕を同様に動かすことができる。更に、ユーザが投げる動作によって、キャンバス１７の一部分２１を定義された芸術的特徴に従って変更することができる。例えば、一部分２１は、色付けされ、テクスチャを付された外観を有するように変更され、物体（例えばパテ又は他の濃厚な物質）がぶつけられたように見えるように変更され、又は変化する効果（例えば３次元効果）を含むように変更され得る。加えて、ユーザが投げる動作に基づいて、アバターがペンキ等の物体又は物質をキャンバス１７に目がけて投げているように見えるよう、アニメーションを描画することができる。この例では、アニメーションの結果、芸術的特徴を含むようにキャンバス１７の一部分２１を変更することができる。このように、一例の実施態様によれば、システム１０の計算機環境１２及びキャプチャ装置２０を用いて物理空間におけるユーザ１８のジェスチャを認識及び分析して、そのジェスチャを、表示空間内のアバター１３がキャンバス１７を装飾する制御入力と解釈することができる。
【００１６】
[0024]  １つの実施態様において、計算機環境１２は、仮想環境内でペンキを放すタイミングをとるために、ユーザの手が開いた姿勢及び閉じた姿勢を認識することができる。例えば、上述されたように、キャンバス１７に目がけてペンキを“投げる”ようにアバターを操作することができる。アバターの動作は、ユーザが投げる動作を模擬したものとすることができる。投げる動作の間、アバターの手からペンキが放たれてキャンバスに目がけて投げられるタイミングは、ユーザが手を開いた時と一致するように定めることができる。例えば、ユーザは、ペンキを“掴む”ために手を閉じた状態で、投げる動作を開始することができる。この例では、ユーザが投げる動作の間のいずれの時点においても、ユーザは手を開いて、アバターが掴んでいるペンキを放してペンキがキャンバスに向けて飛んでいくようにアバターを操作することができる。アバターの手から放たれたペンキのスピード及び方向は、手が広げられた時のユーザの手のスピード及び方向と直接に関係付けられたものとすることができる。このように、仮想環境においてアバターがペンキを投げる動作は、ユーザの動作と対応させることができる。
【００１７】
[0025]  別の実施態様において、投げる動作で又はこの動作との組み合わせによりキャンバス１７にペンキを塗るのではなく、ユーザは、手首を振る動作を行って、キャンバスにペンキを塗ることができる。例えば、計算機環境１２は、手首の素早い動きを、キャンバス１７の一部分に少量のペンキを塗るコマンドであるとして認識することができる。アバターの動作は、ユーザの手首の動きを反映したものとすることができる。加えて、アバターが手首を使ってキャンバスに目がけてペンキを振っているように見えるよう、ディスプレイ環境にアニメーションを描画することができる。キャンバス上に結果として表れる装飾は、ユーザの手首の動きのスピード及び／又は方向に依存したものとすることができる。
【００１８】
[0026]  別の実施態様において、ユーザの空間内の１つの平面においてのみユーザの動作が認識されるようにすることができる。ユーザは、計算機環境１２がユーザに関するＸ−Ｙ平面又はＸ−Ｚ平面等においてのみユーザの動作を認識し、当該平面の外側におけるユーザの動作が無視されるように、コマンドを与えることができる。例えば、もしＸ−Ｙ平面の動作のみが認識されるのであれば、Ｘ方向の動作は無視される。この特徴は、ユーザの手の動きによってキャンバスに画を描くには有用となり得る。例えば、ユーザは、手をＸ−Ｙ平面で動かして、Ｘ−Ｙ平面のユーザの動作に直接対応した形状を持ちユーザの動作に対応した線を、キャンバス上に生成することができる。更に、代わりに、本明細書に説明されるように変化をもたらすために、他の平面において限定された動作を認識することができる。
【００１９】
[0027]  システム１０は、ユーザからの音声コマンドを検出するマイクロフォン又は他の相応しい装置を含むことができ、キャンバス１７を装飾するための芸術的特徴を選択するのに用いることができる。例えば、複数の芸術的特徴はそれぞれ、定義され、計算機環境１２に格納され、それを選択するための音声認識データと関連付けられることができる。カーソル１３の色及び／又はグラフィックスは、音声入力に基づいて変化し得る。一例において、ユーザの音声コマンドは、キャンバス１７に装飾を施すモードを変化させることができる。ユーザが“赤”という語を発声すると、計算機環境１２は、この語を、キャンバス１７を赤色で色塗りするモードに入るためのコマンドであると解釈することができる。ひとたび特定の色で色塗りするモードに入ると、ユーザは次に、キャンバス１７に目がけてペンキを手で“投げる”ための１又は複数のジェスチャをすることができる。アバターの動きはユーザの動作を模擬したものとすることができ、アバターがキャンバス１７に目がけてペンキを投げているように見えるようにアニメーションを描画することができる。
【００２０】
[0028]  図２は、システム１０に用いることができる画像キャプチャ装置２０の一例の実施態様を示している。本例の実施態様によれば、キャプチャ装置２０は、ユーザの動作の情報を有しジェスチャの値を含んだ１つ又は複数の画像を含む映像を、例えば飛行時間法、構造化ライト法、ステレオ画像法等を含む任意の適切な手法によってキャプチャするように構成されることができる。１つの実施態様によれば、キャプチャ装置２０は、計算されたジェスチャ情報をデカルト座標及び／又は極座標等の座標情報に編成することができる。本明細書において説明されるように、時間をかけてユーザモデルの座標をモニタして、ユーザの手又は他の肢体の動きを決定することができる。ユーザモデルの座標の動きに基づいて、計算機環境は、ユーザがキャンバス（又はディスプレイ環境の他の一部分）を装飾する及び／又はアバターを操作するための定義されたジェスチャをしているかどうかを決定することができる。
【００２１】
[0029]  図２に示されるように、一例の実施態様によれば、画像カメラ部品２２は、ユーザのジェスチャ画像をキャプチャするのに用いられ得るＩＲ光源部品２４、３次元（３Ｄ）カメラ２６、及びＲＧＢカメラ２８を含むことができる。例えば、キャプチャ装置２０のＩＲ光源部品２４は、赤外光をシーンに向けて放射し、次いでセンサ（不図示）を用いて、ユーザの手又は他の肢体の表面からの後方散乱された赤外光及び／又は可視光を例えば３Ｄカメラ２６及び／又はＲＧＢカメラ２８を用いることにより検出することができる。いくつかの実施態様において、赤外パルス光を用いることができ、出射する光パルスとこれに対応した到来する光パルスとの間の時間を測定し、その時間を用いてキャプチャ装置２０からユーザの手の上の特定の場所までの物理的な距離を決定することができる。加えて、他の例の実施態様において、出射する光波の位相を到来する光波の位相と比較して、位相シフトを決定することができる。次いでこの位相シフトを用いて、キャプチャ装置からユーザの手までの物理的な距離を決定することができる。またこの情報を用いて、キャンバス（又はディスプレイ環境の他の一部分）を装飾する及び／又はアバターを操作するユーザの手の動き及び／又はユーザの他の動きを決定することもできる。
【００２２】
[0030]  別例の実施態様によれば、３Ｄカメラを用いて、反射された光線の強度を例えばシャッター式光パルスイメージング法を含む様々な手法により時間をかけて分析することによって、画像キャプチャ装置２０からユーザの手までの物理的な距離を間接的に決定することができる。またこの情報を用いて、ユーザの手の動き及び／又はユーザの他の動きを決定することもできる。
【００２３】
[0031]  別例の実施態様において、画像キャプチャ装置２０は、構造化ライト法を用いてジェスチャ情報をキャプチャすることができる。このような分析において、パターンを有する光（即ち、格子パターンや縞状パターン等の既知のパターンとして表示される光）を例えばＩＲ光源部品２４によりシーン上に投射することができる。ユーザの手の表面に当たると、パターンはそれに応答して変形され得る。このようなパターンの変形を例えば３Ｄカメラ２６及び／又はＲＧＢカメラ２８によりキャプチャし次いで分析して、キャプチャ装置からユーザの手及び／又は他の体の一部分までの物理的な距離を決定することができる。
【００２４】
[0032]  別の実施態様によれば、キャプチャ装置２０は、シーンを異なった角度から捉えることができる２つ以上の物理的に離れたカメラを含んでよく、得られた映像ステレオデータを分離してジェスチャ情報を生成することができる。
【００２５】
[0033]  キャプチャ装置２０は更に、マイクロフォン３０を含んでよい。マイクロフォン３０は、音声を受けて電気信号に変換することができるトランスデューサ又はセンサを含み得る。１つの実施態様によれば、マイクロフォン３０を用いて、システム１０のキャプチャ装置２０と計算機環境１２の間のフィードバックを低減することができる。加えて、マイクロフォン３０を用いてユーザから与えられる音声信号をも受信して、アバターの動作及び／又は外観、及び／又は、キャンバス又はディスプレイ環境の他の一部分を装飾するためのモードを操作することができる。
【００２６】
[0034]  一例の実施態様において、キャプチャ装置２０は更に、画像カメラ部品２２と通信可能なプロセッサ３２を含むことができる。プロセッサ３２は、命令を実行することができる汎用プロセッサ、専用プロセッサ、マイクロプロセッサ等を含んでよい。この命令は、ユーザのジェスチャに関係した画像を取得し、ユーザの手又は他の体の一部分がジェスチャ画像の中に含まれるかどうかを決定し、その画像をユーザの手又は他の体の一部分の骨格表現又はモデルに変換する命令、又は任意の他の適切な命令を含み得る。
【００２７】
[0035]  キャプチャ装置２０は更に、プロセッサ３２によって実行される命令、３Ｄカメラ又はＲＧＢカメラによってキャプチャされた画像又は画像フレーム、任意の他の適切な情報や画像等を格納することができるメモリ部品３４を含んでよい。一例の実施態様によれば、メモリ部品３４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、キャッシュ、フラッシュメモリ、ハードディスク、又は任意の他の適切な記憶装置部品を含み得る。図２に示されるように、１つの実施態様において、メモリ部品３４は、画像キャプチャ装置２２及びプロセッサ３２と通信する独立した部品とすることができる。別の実施態様によれば、メモリ部品３４は、プロセッサ３２及び／又は画像キャプチャ部品２２に集積化されてもよい。
【００２８】
[0036]  図２に示されるように、キャプチャ装置２０は、通信リンク３６を介して計算機環境１２と通信することができる。通信リンク３６は、例えばＵＳＢ接続、ファイヤワイヤ接続、イーサネットケーブル接続等を含む有線接続、及び／又は無線の８０２．１１ｂ，ｇ，ａ，又はｎ接続等の無線接続であり得る。１つの実施態様によれば、計算機環境１２は、シーンをいつキャプチャすべきかを決定するのに用いられるクロックを、通信リンク３６を介してキャプチャ装置２０へ供給することができる。
【００２９】
[0037]  加えて、キャプチャ装置２０は、例えば３Ｄカメラ２６及び／又はＲＧＢカメラ２８によってキャプチャされたユーザのジェスチャ情報及び画像、並びにキャプチャ装置２０によって生成され得る骨格モデルを、通信リンク３６を介して計算機環境１２へ供給することができる。計算機環境１２は、次いで、骨格モデル、ジェスチャ情報、及びキャプチャされた画像を用いて、例えばアバターの外観及び／又は動作を制御することができる。例えば、図２に示されるように、計算機環境１２は、ジェスチャデータを格納するためのジェスチャライブラリ１９０を含むことができる。ジェスチャデータは、（ユーザの手又は他の体の一部分が動くにつれて）骨格モデルが行い得る、ジェスチャに関する情報でそれぞれが構成されたジェスチャフィルタの集合を含むことができる。カメラ及び装置２０によってキャプチャされた骨格モデル形式のデータ並びにこれに関係付けられた動作がジェスチャライブラリ１９０のジェスチャフィルタと比較されて、（骨格モデルで表現された）ユーザの手又は他の体の一部分がいつ１又は複数のジェスチャを行ったかを特定することができる。これらのジェスチャは、アバターの外観及び／又は動作、及び／又はキャンバスを装飾するアニメーションを制御する様々な入力と関係付けることができる。このように、計算機環境１２は、ジェスチャライブラリ１９０を用いて、骨格モデルの動きを解釈し、アバターの外観及び／又は動作、及び／又はキャンバスを装飾するアニメーションを変化させることができる。
【００３０】
[0038]  図３は、開示された主題に従ってディスプレイ環境を装飾するのに用いることができる計算機環境の一例の実施態様を示している。図１Ａ−２に関して上述された計算機環境１２のような計算機環境は、ゲームコンソール等のマルチメディアコンソール１００であり得る。図３に示されるように、マルチメディアコンソール１００は、１次キャッシュ１０２、２次キャッシュ１０４、及びフラッシュＲＯＭ（リードオンリメモリ）１０６を備えている中央処理装置（ＣＰＵ）１０１を有する。１次キャッシュ１０２及び２次キャッシュ１０４は、データを一時的に格納してメモリアクセスのサイクル数を削減し、これにより処理スピード及びスループットを改善する。ＣＰＵ１０１は、１つより多いコア、よって追加の１次及び２次キャッシュ１０２、１０４を備えるものとして提供することができる。フラッシュＲＯＭ１０６は、マルチメディアコンソール１００の電源がオンされた時の起動プロセスの初期段階の間にロードされる、実行可能なコードを格納することができる。
【００３１】
[0002]  画像処理装置（ＧＰＵ）１０８及びビデオエンコーダ／ビデオコーデック（コーダ／デコーダ）１１４は、高速高解像度の画像処理のための画像処理パイプラインを形成する。データは、画像処理装置１０８からバスを介してビデオエンコーダ／ビデオコーデック１１４へ伝送される。画像処理パイプラインは、テレビ又は他のディスプレイへの伝送のため、データをＡ／Ｖ（音声／映像）ポート１４０へ出力する。メモリコントローラ１１０はＧＰＵ１０８に接続されて、例えば、限定されないが、ＲＡＭ（ランダムアクセスメモリ）等の様々なタイプのメモリ１１２へのプロセッサのアクセスを容易にする。１つの例において、ＧＰＵ１０８は、（汎用ＧＰＵ即ちＧＰＧＰＵとして知られる）高並列汎用プロセッサであり得る。
【００３２】
[0003]  マルチメディアコンソール１００は、Ｉ／Ｏコントローラ１２０、システム管理コントローラ１２２、音声処理装置１２３、ネットワークインターフェースコントローラ１２４、第１ＵＳＢホストコントローラ１２６、第２ＵＳＢコントローラ１２８、及びフロントパネルＩ／Ｏサブアセンブリ１３０を含み、これらは好ましくはモジュール１１８上に実装される。ＵＳＢコントローラ１２６及び１２８は、周辺機器コントローラ１４２（１）−１４２（２）、無線アダプタ１４８、及び外部記憶装置１４６（例えば、フラッシュメモリ、外付けＣＤ／ＤＶＤ  ＲＯＭドライブ、リムーバブルメディア等）のためのホストとして機能する。ネットワークインターフェース１２４及び／又は無線アダプタ１４８は、ネットワーク（例えばインターネット、ホームネットワーク等）へのアクセスを提供し、イーサネットカード、モデム、ブルートゥースモジュール、ケーブルモデム等を含む広範な様々な有線又は無線のアダプタ部品のいずれであってもよい。
【００３３】
[0004]  システムメモリ１４３は、起動プロセスの間にロードされるアプリケーションデータを格納するために提供される。メディアドライブ１４４は提供され、ＤＶＤ／ＣＤドライブ、ハードドライブ、又は他のリムーバブルメディアドライブ等を含んでよい。メディアドライブ１４４は、マルチメディアコンソール１００の内部にあっても外部にあってもよい。マルチメディアコンソール１００による実行、再生等のために、メディアドライブ１４４を介してアプリケーションデータにアクセスすることができる。メディアドライブ１４４は、シリアルＡＴＡバス又は他の高速接続（例えばＩＥＥＥ１３９４）等のバスを介してＩ／Ｏコントローラ１２０に接続される。
【００３４】
[0005]  システム管理コントローラ１２２は、マルチメディアコンソール１００の有用性を保証することに関連する様々なサービス機能を提供する。音声処理装置１２３及びオーディオコーデック１３２は、高忠実度及びステレオ処理の対応する音声処理パイプラインを形成する。音声データは、通信リンクを介して音声処理装置１２３とオーディオコーデック１３２の間を伝送される。音声処理パイプラインは、オーディオ機能を有する外部のオーディオプレーヤ又は装置による再生のため、Ａ／Ｖポート１４０へデータを出力する。
【００３５】
[0006]  フロントパネルＩ／Ｏサブアセンブリ１３０は、マルチメディアコンソール１００の外表面上に露出したＬＥＤ（発光ダイオード）又は他の表示器に加えて、電源ボタン１５０及び取出しボタン１５２の機能をサポートする。システム電源供給モジュール１３６は、マルチメディアコンソール１００の要素へ電源を供給する。ファン１３８はマルチメディアコンソール１００内の電気回路を冷却する。
【００３６】
[0007]  ＣＰＵ１０１、ＧＰＵ１０８、メモリコントローラ１１０、及びマルチメディアコンソール１００内の様々な他の要素は、シリアル及びパラレルバス、メモリバス、周辺機器バス、及び様々なバスアーキテクチャのいずれかを用いたプロセッサ又はローカルバスを含む、１つ又は複数のバスを介して相互に接続される。例として、そのようなアーキテクチャは、周辺機器部品相互接続（ＰＣＩ）バス、ＰＣＩ−Ｅｘｐｒｅｓｓバス等を含むことができる。
【００３７】
[0008]  マルチメディアコンソール１００が電源オンされると、アプリケーションデータがシステムメモリ１４３からメモリ１１２及び／又はキャッシュ１０２，１０４へロードされて、ＣＰＵ１０１上で実行されることができる。アプリケーションは、マルチメディアコンソール１００上で利用可能な異なったタイプのメディアにナビゲートする時であっても一貫したユーザ体験を提供するグラフィカルユーザインターフェースを表示することができる。動作されると、アプリケーション及び／又はメディアドライブ１４４内に収容されている他のメディアは、ローンチされ、又はメディアドライブ１４４から再生されて、マルチメディアコンソール１００に付加的な機能を提供することができる。
【００３８】
[0009]  マルチメディアコンソール１００は、システムを単にテレビ又は他のディスプレイに接続することによりスタンドアロンシステムとして動作することができる。このスタンドアロンモードにおいて、マルチメディアコンソール１００は、１又は複数のユーザがシステムと対話し、映画を鑑賞し、音楽を聴くことを可能にする。しかしながら、ネットワークインターフェース１２４又は無線アダプタ１４８を通じて可能となる広帯域接続性を融合することで、マルチメディアコンソール１００は更に、より大きなネットワーク社会の参加者として動作することができる。
【００３９】
[0010]  マルチメディアコンソール１００が電源オンされると、規定量のハードウェアリソースがシステム使用のためにマルチメディアコンソールのオペレーティングシステムによって予約される。これらのリソースは、メモリ（例えば１６ＭＢ）、ＣＰＵ及びＧＰＵサイクル（例えば５％）、ネットワーク帯域幅（例えば８ｋｂｐｓ）等の予約を含み得る。これらのリソースはシステムの起動時に予約されるので、予約されたリソースはアプリケーションの一覧からは存在しない。
【００４０】
[0011]  特に、メモリの予約は、ローンチカーネル、並行して実行されるシステムアプリケーション及びドライバを収容するのに十分な大きさであることが好ましい。ＣＰＵの予約は、もし予約されたＣＰＵの利用率がシステムアプリケーションによって使用されていなければ、アイドル状態のスレッドが未使用のサイクルを消費するよう、一定量であることが好ましい。
【００４１】
[0012]  ＧＰＵの予約に関しては、システムアプリケーション（例えばポップアップ）により生成された軽いメッセージがＧＰＵの割り込みを用いて表示され、ポップアップをオーバーレイに描画するコードがスケジュールされる。オーバーレイに必要とされるメモリの量は、オーバーレイエリアの大きさに依存し、オーバーレイは画面の解像度に応じて定めるのが好ましい。並行して実行されるシステムアプリケーションがフルユーザインターフェースを用いている時は、アプリケーションの解像度に依らない解像度を用いることが好ましい。スケーラを用いて、周波数を変更すること及びＴＶの再同期を引き起こすことが不要となるよう、この解像度を設定することができる。
【００４２】
[0013]  マルチメディアコンソール１００が起動しシステムリソースが予約された後、並行してシステムアプリケーションが実行されてシステムの機能が提供される。システムの機能は、上述の予約されたシステムリソース内で実行されるシステムアプリケーションのセットに包含されている。オペレーティングシステムのカーネルは、ゲームアプリケーションのスレッドに対してシステムアプリケーションのスレッドであるスレッドを特定する。システムアプリケーションは、整合したシステムリソースの一覧をアプリケーションに提供するために、予め定められた回数及び時間間隔でＣＰＵ１０１上において実行されるようにスケジュールされることが好ましい。コンソールで実行されているゲームアプリケーションに対しては、キャッシュの破棄が最小化されるようにスケジュールが行われるべきである。
【００４３】
[0014]  並行して実行されるシステムアプリケーションが音声を要求すると、音声処理が時間的感度のため非同期でゲームアプリケーションにスケジュールされる。マルチメディアコンソールのアプリケーションマネージャ（後述）は、システムアプリケーションが稼動している時、ゲームアプリケーションの音量レベル（例えばミュート、音量を下げる）を制御する。
【００４４】
[0015]  入力装置（例えばコントローラ１４２（１）及び１４２（２））は、ゲームアプリケーション及びシステムアプリケーションにより共用される。入力装置は、予約されたリソースではないが、システムアプリケーションとゲームアプリケーションの間で切り替えを行って、それぞれが装置の主導権を持つようにすべきである。アプリケーションマネージャは、ゲームアプリケーションの情報を用いることなく入力ストリームの切り替えを制御することが好ましく、ドライバは主導権の切り替えに関する状態情報を保持する。カメラ２７，２８及びキャプチャ装置２０は、コンソール１００の付加的な入力装置を定義することができる。
【００４５】
[0016]  図４は、ディスプレイ環境を装飾するための１つ又は複数のジェスチャを開示された主題に従って解釈するのに用いられる、図１Ａ−２に示された計算機環境１２であり得る計算機環境２２０の別例の実施態様を示している。計算機システム環境２２０は、相応しい計算機環境の１つの例に過ぎず、ここに開示された主題の使用又は機能の範囲に関して如何なる限定も示唆することを意図するものではない。計算機環境２２０は、例示の動作環境２２０に描かれた構成要素のいずれか１つ又は組み合わせに関連する如何なる依存性又は要件を有するものと解釈されてもならない。いくつかの実施態様において、説明された様々な計算機要素は、本開示の特定の側面を例示するよう構成された電気回路を含むことができる。例えば、本開示で用いられる電気回路という用語は、ファームウェアやスイッチにより機能を果たすよう構成された専用のハードウェア部品を含むことができる。他の例の実施態様において、電気回路という用語は、機能を果たすように動作可能なロジックを具現化したソフトウェア命令によって構成された汎用の処理装置、メモリ等を含むことができる。電気回路がハードウェアとソフトウェアの結合を含む実施態様例において、実装者はロジックを具現化したソースコードを記述し、ソースコードは汎用の処理装置が処理することができる機械読み取り可能コードにコンパイルされることができる。当業者は技術水準がハードウェア、ソフトウェア、又はハードウェア／ソフトウェアの結合の間にほとんど差異がないところまで発展してきたことを認識することができるから、特定の機能を達成するためにハードウェアかソフトウェアかを選択することは、実装者に委ねられた設計的選択事項である。より明確に言えば、当業者は、ソフトウェア処理はそれと等価なハードウェア構造に変換可能であり、ハードウェア構造それ自体、それと等価なソフトウェア処理に変換可能であることを認識することができる。このように、ハードウェアの実装かソフトウェアの実装かの選択は、実装者に委ねられた設計的選択事項の１つである。
【００４６】
[0017]  図４において、計算機環境２２０はコンピューター２４１を含み、コンピューター２４１は一般に様々なコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、コンピューター２４１がアクセスすることができる利用可能な媒体のいずれであってもよく、揮発性及び不揮発性媒体、リムーバブル及び非リムーバブル媒体の両方を含むことができる。システムメモリ２２２は、リードオンリメモリ（ＲＯＭ）２２３及びランダムアクセスメモリ（ＲＡＭ）２６０等の揮発性及び／又は不揮発性メモリの形態のコンピューター記憶媒体を含む。基本入力／出力システム２２４（ＢＩＯＳ）は、スタートアップの間等にコンピューター２４１内の構成要素間で情報を転送する助けとなる基本ルーチンを収容するものであり、一般にＲＯＭ２２３に格納される。ＲＡＭ２６０は一般に、処理装置２５９によって直接アクセスでき及び／又は目下のところ実行されているデータ及び／又はプログラムモジュールを収容する。例として、また限定ではなく、図４は、オペレーティングシステム２２５、アプリケーションプログラム２２６、他のプログラムモジュール２２７、及びプログラムデータ２２８を示している。
【００４７】
[0018]  コンピューター２４１はまた、他のリムーバブル／非リムーバブルで揮発性／不揮発性のコンピューター記憶媒体を含むことができる。単なる例として、図４は、非リムーバブルで不揮発性の磁性媒体に対する読み出し又は書き込みを行うハードディスクドライブ２３８、リムーバブルで不揮発性の磁気ディスク２５４に対する読み出し又は書き込みを行う磁気ディスクドライブ２３９、及びＣＤ  ＲＯＭ又は他の光媒体等のリムーバブルで不揮発性の光ディスク２５３に対する読み出し又は書き込みを行う光ディスクドライブ２４０を示している。例示の動作環境で用いることができる他のリムーバブル／非リムーバブルで揮発性／不揮発性のコンピューター記憶媒体は、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭ等を含むが、これらに限定されない。ハードディスクドライブ２３８は、一般にインターフェース２３４等の非リムーバブルメモリインターフェースを通じてシステムバス２２１に接続され、磁気ディスクドライブ２３９及び光ディスクドライブ２４０は、一般にインターフェース２３５等のリムーバブルメモリインターフェースによってシステムバス２２１に接続される。
【００４８】
[0019]  上で議論され図４に示されたドライブ及びそれに関係付けられたコンピューター記憶媒体は、コンピューター２４１のためにコンピューター読み取り可能命令、データ構造、プログラムモジュール、及び他のデータの貯蔵所を提供する。図４において、例えば、ハードディスクドライブ２３８は、オペレーティングシステム２５８、アプリケーションプログラム２５７、他のプログラムモジュール２５６、及びプログラムデータ２５５を格納しているように示されている。これらの要素はオペレーティングシステム２２５、アプリケーションプログラム２２６、他のプログラムモジュール２２７、及びプログラムデータ２２８と同じものであっても異なるものであってもよいことに注意されたい。オペレーティングシステム２５８、アプリケーションプログラム２５７、他のプログラムモジュール２５６、及びプログラムデータは、最低でもそれらが異なるコピーであることを示すために、ここでは異なる符号を付与されている。ユーザは、キーボード２５１及び一般にはマウス、トラックボール、又はタッチパッドと呼ばれるポインティングデバイス２５２等の入力装置を通じて、コンピューター２４１にコマンド及び情報を入力することができる。他の入力装置（不図示）は、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ等を含むことができる。これらの及び他の入力装置は、システムバスに結合されたユーザ入力インターフェース２３６を通じて処理装置２５９に接続されることが多いが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ）等の他のインターフェース及びバス構造によって接続されてもよい。カメラ２７，２８及びキャプチャ装置２０は、コンソール１００のための追加の入力装置を定義することができる。モニタ２４２又は他のタイプの表示装置もまた、ビデオインターフェース２３２等のインターフェースを介してシステムバス２２１に接続される。モニタに加えて、コンピューターはまた、スピーカ２４４及びプリンタ２４３等の他の周辺機器出力装置を含むことができ、それらは出力周辺機器インターフェース２３３を通じて接続されることができる。
【００４９】
[0020]  コンピューター２４１は、リモートコンピューター２４６等の１つ又は複数のリモートコンピューターへの論理接続を用いたネットワーク環境において動作することができる。リモートコンピューター２４６は、パーソナルコンピューター、サーバ、ルータ、ネットワークＰＣ、ピア装置、又は他の一般的なネットワークノードであってよく、図４においてはメモリ記憶装置２４７のみが示されているが、コンピューター２４１に関して上述された構成要素の多数又は全てを一般には含む。図４に示された論理接続は、ローカルエリアネットワーク（ＬＡＮ）２４５及びワイドエリアネットワーク（ＷＡＮ）２４９を含むが、他のネットワークをも含んでよい。そのようなネットワーク環境は、オフィス、企業の広域コンピューターネットワーク、イントラネット、及びインターネットにおいて一般的なものである。
【００５０】
[0021]  ＬＡＮのネットワーク環境において用いられる場合、コンピューター２４１は、ネットワークインターフェース又はアダプタ２３７を通じてＬＡＮ２４５に接続される。ＷＡＮのネットワーク環境において用いられる場合、コンピューター２４１は一般に、インターネット等のＷＡＮ２４９を越えた通信を確立するためのモデム２５０又は他の手段を含む。モデム２５０は、内蔵型でも外付け型でもよく、ユーザ入力インターフェース２３６又は他の適切な仕組みを介してシステムバス２２１に接続されることができる。ネットワーク環境において、コンピューター２４１に関して説明されたプログラムモジュール又はその一部分を、リモートのメモリ記憶装置に格納することができる。例として、限定ではなく、図４は、メモリ装置２４７上に存在しているものとしてリモートアプリケーションプログラム２４８を示している。示されたネットワーク接続は例示であり、コンピューター間の通信リンクを確立する他の手段が用いられ得ることは、認識されるであろう。
【００５１】
[0022]  図５は、ディスプレイ環境を装飾するための一例の方法５００のフロー図を示している。図５を参照すると、５０５において、芸術的特徴を選択するためのユーザのジェスチャ及び／又は音声コマンドが検出される。例えば、ユーザは、図１Ｂに示されたディスプレイ環境において装飾を行うための色として緑を選択するために、“緑”という語を発声することができる。この例において、アプリケーションは、ペイントモードに入って緑色で色塗りを行うことができる。あるいはまた、例えば、アプリケーションは、ユーザが計算機環境によって認識される他の色を呼んだ場合にペイントモードに入ることができる。装飾するための他のモードは、例えば、キャンバスにテクスチャの外観を付加するテクスチャモード、キャンバスを装飾するためのオブジェクトを使用するオブジェクトモード、キャンバスに視覚効果（例えば、３次元視覚効果又は変化を与える視覚効果）を付加する視覚効果モード等を含む。モードに対する音声コマンドが一度認識されると、計算機環境は、ユーザがそのモードを抜ける又は別のモードを選択する入力を与えるまで、そのモードに留まることができる。
【００５２】
[0060]  ５１０において、ディスプレイ環境の一部分に目標を定める又は選択するために、ユーザのジェスチャ及び／又は音声コマンドの１つ又は複数が検出される。例えば、画像キャプチャ装置は、ユーザが次の動作の１又は複数、即ち投げる動作、手首の動作、胴体の動作、手の動作、脚の動作、腕の動作等を行う間に、ユーザの一続きの画像をキャプチャすることができる。検出されたジェスチャは、ディスプレイ環境において選択された一部分の位置、大きさ、パターン等を選択するのに用いることができる。更に、計算機環境は、キャプチャされた画像におけるユーザの姿勢の組み合わせが特定の動作に対応することを認識することができる。加えて、ユーザの動作を処理して、１つ又は複数の動作的特徴を検出することができる。例えば、計算機環境は、キャプチャされた画像内の腕の位置及び２以上の画像間の経過時間に基づいて、腕の動きのスピード及び／又は方向を決定することができる。別の例において、キャプチャされた画像に基づいて、計算機環境は、キャプチャされた画像の１つ又は複数におけるユーザの動作の姿勢的特徴を検出することができる。この例では、ユーザの動作の開始姿勢、終了姿勢、中間姿勢等が検出されて、装飾のためディスプレイ環境の一部分を選択することができる。
【００５３】
[0061]  １つの実施態様において、ユーザのジェスチャの当該１又は複数の検出された特徴を用いて、ディスプレイ環境の一部分を５０５で選択された芸術的特徴に従って装飾のために選択することができる。例えば、もしユーザが赤で色塗りしようとカラーモードを選択し図１Ａに示されるように投げる動作をすれば、キャンバス１７の一部分２１は赤で色塗りされる。計算機環境は、この投げる動作のスピード及び／又は方向を判定して、ディスプレイ環境における一部分２１の大きさ、形状、及び位置を決定することができる。更に、投げる動作の開始姿勢及び／又は終了姿勢を用いて、一部分２１の大きさ、形状、及び／又は位置を決定することができる。
【００５４】
[0062]  ５１５において、ディスプレイ環境の選択された一部分が選択された芸術的特徴に基づいて変更される。例えば、ディスプレイ環境の選択された一部分を、音声コマンドを用いてユーザが選択した赤又は任意の他の色で色塗りすることができる。別の例において、この選択された一部分を、ユーザが選択した如何なる他の２次元画像、例えば縞状パターン、水玉模様のパターン、任意の色の組み合わせや混合等で装飾してもよい。
【００５５】
[0063]  芸術的特徴は、ディスプレイ環境内のディスプレイに適した画像であれば如何なるものであってもよい。例えば、２次元画像をディスプレイ環境の一部分の中に表示することができる。別の例において、画像は、観察者に３次元的に見えるものであってよい。３次元画像は、テクスチャ及び奥行きを持つように観察者に見えるものとすることができる。別の例において、芸術的特徴は、時間と共に変化するアニメーション的特徴とすることができる。例えば、画像は、生物（例えば植物等）のように見えディスプレイ環境の選択された一部分の中で及び又は他の一部分に向かって時間と共に成長することができる。
【００５６】
[0064]  １つの実施態様において、ユーザは、仮想オブジェクトを選択してディスプレイ環境の装飾に用いることができる。オブジェクトは、例えば、ディスプレイ環境の一部分に視覚効果を創り出すためのパテ、ペンキ等であり得る。例えば、オブジェクトを選択した後に、ユーザを表しているアバターを、本明細書で説明されるように、ディスプレイ環境の一部分にそのオブジェクトを投げるように制御することができる。オブジェクトを投げるアバターのアニメーションを描画して、オブジェクトに当たったオブジェクトの効果を表示することができる。例えば、キャンバスに投げられたボール状のパテは、キャンバスに当たった衝撃で平たくなり、不規則な３次元形状のパテを示すことができる。別の例において、キャンバスにペンキを投げるようにアバターを制御することができる。この例では、キャンバスが選択された色で不規則な２次元形状に色塗りされるように、アバターがペンキをバケツから取り出してキャンバスに投げる様子を、アニメーションが表すことができる。
【００５７】
[0065]  １つの実施態様において、選択された芸術的特徴は、ユーザのジェスチャ又は他の入力によって整形することができるオブジェクトであり得る。例えば、ユーザは、音声コマンド又は他の入力を用いて、ディスプレイ環境で３次元に見えるオブジェクトを選択することができる。加えて、ユーザは、例えばユーザのジェスチャによりモールドすることができる粘土等のような、オブジェクトの種類を選択してもよい。初めは、このオブジェクトは、球状の形状、又はモールドに適した他の形状とすることができる。ユーザは、次いで、その形状をモールドするよう解釈されるジェスチャをすることができる。例えば、ユーザは、オブジェクトの側面を平らにすべく叩くジェスチャをすることができる。更に、このオブジェクトは、本明細書で説明されるように、色塗り、テクスチャ付け、視覚効果等により装飾され得るディスプレイ環境の一部分とみなすことができる。
【００５８】
[0066]  図６は、ディスプレイ環境を装飾するための別例の方法６００のフロー図を示している。図６を参照すると、６０５において、オブジェクトの画像がキャプチャされる。例えば、画像キャプチャ装置は、ユーザ又は別のオブジェクトの画像をキャプチャすることができる。ユーザは、音声コマンド又は他の適切な入力によって画像のキャプチャを開始することができる。
【００５９】
[0067]  ６１０において、キャプチャされた画像中のオブジェクトの少なくとも一部分のエッジが決定される。計算機環境は、ユーザ又は別のオブジェクトの輪郭を認識するように構成されることができる。ユーザ又はオブジェクトの輪郭は、計算機環境に格納され、及び／又は映像音声ディスプレイの表示画面上に表示されることができる。一例において、ユーザ又は別のオブジェクトの輪郭の一部分を決定又は認識することができる。別の例において、計算機環境は、ユーザのシャツの輪郭又はオブジェクトの異なる一部分の間の区画線等の、ユーザ又はオブジェクトにおける特徴を認識することができる。
【００６０】
[0068]  １つの実施態様において、ユーザの画像又は別のオブジェクトの画像の複数が一定期間にわたってキャプチャされて、そのキャプチャされた画像の輪郭がリアルタイムでディスプレイ環境に表示される。ユーザは、ディスプレイに表示された輪郭を格納するための音声コマンド又は他の入力を与えることができる。このようにして、ユーザは、画像を格納及び表示のためにキャプチャするのに先立って、現在の輪郭に対するリアルタイムのフィードバックを得ることができる。
【００６１】
[0069]  ６１５において、決定されたエッジに基づいてディスプレイ環境の一部分が定義される。例えば、キャプチャされた画像内のユーザ又は別のオブジェクトの輪郭に一致する形状を持つように、ディスプレイ環境の一部分を定義することができる。次いで、ディスプレイ環境の定義された一部分を表示することができる。例えば、図７は、キャプチャされた画像中のユーザの輪郭と同一の形状を持つ、ディスプレイ環境の定義された一部分２１の一例の画面表示である。図７において、定義された一部分２１を仮想キャンバス１７上に表示することができる。更に、図７に示されるように、アバター１３がキャンバス１７の前の前景に配置される。ユーザは、計算機環境がユーザの画像をキャプチャすると解釈し得る“チーズ”という音声コマンドにより、いつ自分の画像をキャプチャするかを選択することができる。
【００６２】
[0070]  ６２０において、ディスプレイ環境の定義された一部分が装飾される。例えば、この定義された一部分を、色塗り、テクスチャ付け、視覚効果の追加等の、本明細書で説明される様々な方法のいずれによって装飾してもよい。再び図７を参照すると、例えば、ユーザは、定義された一部分２１を示されたように黒で、又は任意の他の色若しくは多色のパターンで色塗りすることを選択することができる。あるいはまた、ユーザは、定義された一部分２１を取り囲んでいるキャンバス１７の一部分を、本明細書で説明される様々な方法のいずれかにより芸術的特徴で装飾することを選択することができる。
【００６３】
[0071]  図８−１１は、開示された主題に従って装飾されたディスプレイ環境の他の例の画面表示である。図８を参照すると、ユーザが色を選択し、キャンバス１７に向かって投げる動作をすることによって、ディスプレイ環境の装飾された一部分８０を生成することができる。図８に示されるように、投げる動作によって、アバター１３がキャンバス１７に目がけてペンキを投げたかのような“跳ね散らし”効果がもたらされる。それに続いて、ユーザの画像がキャプチャされて、ユーザの輪郭のような形状を与える一部分８０が定義される。色を選択するためのユーザの音声コマンドにより、一部分８０の色を選択することができる。
【００６４】
[0072]  図９及び１０を参照すると、キャプチャされた画像におけるユーザの輪郭によって一部分２１が定義される。定義された一部分２１は、ユーザが装飾した他の一部分で取り囲まれている。
【００６５】
[0073]  図１１を参照すると、キャンバス１７は、本明細書で説明されるようにユーザによって装飾された一部分を複数含む。
【００６６】
[0074]  １つの実施態様において、ユーザは、音声コマンド、ジェスチャ、又は他の入力を利用して、ディスプレイ環境において構成要素の追加及び除去を行うことができる。例えば、画像ファイルに含まれている形状、画像、又は他の芸術的特徴がキャンバスに追加され、又はキャンバスから除去されてもよい。別の例において、計算機環境は、ユーザの入力をライブラリ内の構成要素として認識し、その構成要素を検索し、ユーザによる変更及び／又は配置のためディスプレイ環境にその構成要素を表示することができる。加えて、ディスプレイ環境内のオブジェクト、一部分、又は他の構成要素を音声コマンド、ジェスチャ、又は他の入力により特定して、特定されたオブジェクト、一部分、又は構成要素の色や他の芸術的特徴を変化させてもよい。別の例において、ユーザは、モードに入ることを選択して、ペンキのバケツ、１つだけの染みの特徴、細い帯状模様等を利用することができる。この例では、モードの選択は、ユーザが認識されたジェスチャをした時にディスプレイ環境に描画される芸術的特徴のタイプに影響を与える。
【００６７】
[0075]  １つの実施態様において、芸術的環境におけるジェスチャによる制御を音声コマンドにより拡張することができる。例えば、ユーザは、音声コマンドを用いてキャンバス内の区画を選択することができる。この例では、ユーザは次いで投げる動作を行って、おおよそ音声コマンドを用いて選択された区画に対して、ペンキを投げることができる。
【００６８】
[0076]  別の実施態様において、絵を描くための３次元の空間を３次元及び／又は２次元の画像に変換することができる。例えば、図１１に示されたキャンバス１７を２次元画像に変換してファイルに保存することができる。更に、ユーザは、仮想オブジェクトを側面からの眺めが選択されるようにディスプレイ環境の中でパンさせて、その方向から見た２次元画像を生成することができる。例えば、ユーザは、本明細書で説明されるように３次元オブジェクトを整形して、そのオブジェクトの側面を選択しその方向から見た２次元画像を生成することができる。
【００６９】
[0077]  １つの実施態様において、計算機環境は、ユーザの肩の位置、伸ばした手、構え、姿勢等の１つ又は複数を分析することによって、ユーザの画面位置をユーザスペース内で動的に決定することができる。例えば、ディスプレイ環境の仮想空間におけるユーザの肩の位置がキャンバス表面をなす平面と平行となるように、ユーザの肩の位置をディスプレイ環境に表示されたキャンバス表面をなす平面と整合させることができる。ユーザの肩の位置、構え、及び／又は画面位置に関連したユーザの手の位置を分析して、ユーザが仮想の手を用いキャンバス表面と対話しようとしているかどうかを決定することができる。例えば、もしユーザが手を前に伸ばしたら、そのジェスチャを、キャンバス表面と対話してキャンバス表面の一部分を変更するコマンドとして解釈することができる。アバターがその手を伸ばしユーザの手の動きに対応した動作でキャンバス表面を触るように、アバターを表すことができる。アバターの手が一旦キャンバス表面に触れると、その手は、例えばその表面に表れている色（又はペンキ）を動かす等により、キャンバス上の要素に影響を与えることができる。更に、この例では、ユーザは、自分の手を動かしてアバターの手に動きを与え、キャンバス表面にペンキを塗る又は混合することができる。この例において、視覚効果は現実環境におけるフィンガーペインティングと似たものである。加えて、ユーザは、ディスプレイ環境の芸術的特徴を動かすように手を使うことを選択することができる。更に、例えば、現実空間におけるユーザの動作を仮想空間におけるアバターの動作に変換して、アバターをディスプレイ環境内のキャンバスの周りに動かすことができる。
【００７０】
[0078]  別の例において、ユーザは、身体の任意の一部分を用いてディスプレイ環境と対話することができる。手を用いる以外に、ユーザは、足、膝、頭、又は身体の他の部分を用いて、ディスプレイ環境に変化を生じさせることができる。例えば、ユーザは、手を動かすのと同じように、足を伸ばしてアバターの膝がキャンバス表面に触れるようにし、これにより、キャンバス表面上の芸術的特徴を変更することができる。
【００７１】
[0079]  １つの実施態様において、計算機環境は、ユーザの胴体のジェスチャを認識して、ディスプレイ環境に表示された芸術的特徴に影響を与えることができる。例えば、ユーザは、身体を前後に（即ち“揺れ動き”の動作で）動かして、芸術的特徴に影響を与えることができる。胴体の動きは、芸術的特徴に歪みを与え、又は表示された芸術的特徴を“渦を巻いたような状態にする”ことができる。
【００７２】
[0080]  １つの実施態様において、芸術補助特徴を提供して、ディスプレイ環境における現在の芸術的特徴を分析し、その特徴に関するユーザの意図を決定することができる。例えば、芸術補助特徴は、例えばキャンバス表面等の、空いている、即ち満たされていないディスプレイ環境の一部分は１つもないことを保証することができる。更に、芸術補助特徴は、ディスプレイ環境の一部分を一緒に“スナップする”ことができる。
【００７３】
[0081]  １つの実施態様において、計算機環境は、ディスプレイ環境に生成された装飾又はアートを編集するための編集ツールセットを保持する。例えば、ユーザは、音声コマンド、ジェスチャ、又は他の入力を用いた入力結果（例えば、ディスプレイ環境の一部分の変更、色の変更等）を元に戻す、又は繰り返すことができる。他の例において、ユーザは、優れた作品のために、ディスプレイ環境の芸術的特徴を階層化する、ズームする、ステンシルする、及び／又は利用する／拒絶することができる。ツールセットを用いるための入力は、音声コマンド、ジェスチャ、又は他の入力によるものとすることができる。
【００７４】
[0082]  １つの実施態様において、計算機環境は、いつユーザがアートを創り出すことを意図していないかを認識することができる。事実上、この特徴は、ユーザによるディスプレイ環境におけるアートの創作を一時停止させることができ、ユーザは休憩をとることができる。例えば、ユーザは、認識された音声コマンド、ジェスチャ等を生成して一時停止を行うことができる。ユーザは、認識された音声コマンド、ジェスチャ等によりアートの創作を再開することができる。
【００７５】
[0083]  更に別の実施態様において、開示された主題に従って生成されたアートを現実世界のオブジェクト上に複製することができる。例えば、仮想キャンバスの表面に創作された２次元画像をポスター、コーヒーマグ、カレンダー等の上に複製することができる。ユーザの計算機環境からサーバへそのような画像をダウンロードして、創作された画像をオブジェクト上に複製することができる。更に、アバター、ディスプレイの壁紙等の仮想世界のオブジェクト上に画像を複製することができる。
【００７６】
[0084]  本明細書において説明された構成及び／又は手法はその本質において例示であり、これらの特定の実施態様又は例は限定とみなされるべきでないことは、理解されなければならない。本明細書において説明された特定の手順又は方法は、多数の処理戦略の１つ又は複数を代表したものであり得る。それ故、説明された様々な動作は、説明された順序で、若しくは他の順序で、又は並行して実施されることができる。同様に、上述された処理の順番は変更されてもよい。
【００７７】
[0085]  加えて、本開示の主題は、その均等物のみならず、様々な処理、システム、及び構成、並びに他の特徴、機能、動作、及び／又は本明細書に開示された処理の、コンビネーション及びサブコンビネーションを含む。
【図１Ａ】
2013508866.tif 000003
【図１Ｂ】
2013508866.tif 000004
【図２】
2013508866.tif 000005
【図３】
2013508866.tif 000006
【図４】
2013508866.tif 000007
【図５】
2013508866.tif 000008
【図６】
2013508866.tif 000009
【図７】
2013508866.tif 000010
【図８】
2013508866.tif 000011
【図９】
2013508866.tif 000012
【図１０】
2013508866.tif 000013
2013508866.tif 000014
【国際調査報告】
2013508866.tif 000015
2013508866.tif 000016