(57)【要約】電気デバイスを待機電力モードから最大電力モードにアクティブ化するためのシステムおよび方法を開示する。このシステムは、電気デバイスの近傍内においてオーディオ信号を監視する１つ以上のマイクロフォンと、低電力マイクロプロセッサーおよび不揮発性メモリを含む待機電力アクティブ化ユニットとを含むことができる。１つ以上のマイクロフォンによって取り込まれたオーディオが、マイクロプロセッサーによって、ディジタル化され、不揮発性メモリに格納された既定のアクティブ化パターン（１つまたは複数）に対して比較される。ディジタル・オーディオ・パターンと既定のアクティブ化パターンとの間にパターン一致が検出された場合、電気デバイスがアクティブ化される。【選択図】図７
2015508516.tif 000002
【特許請求の範囲】
【請求項１】
電気デバイスを待機電力モードからアクティブ化する方法であって、
（ａ）待機電力モードにあるときに、前記電気デバイスにおいてオーディオ・ストリームを受けるステップと、
（ｂ）待機電力モードにあるときに、前記オーディオ・ストリームをオーディオ・パターンにディジタル化するステップと、
（ｃ）待機電力モードにあるときに、前記ステップ（ｂ）においてディジタル化した前記オーディオ・パターンを、不揮発性メモリに格納されたディジタル化アクティブ化フレーズと比較するステップと、
（ｄ）前記オーディオ・パターンが前記アクティブ化フレーズと既定の許容度の範囲内で一致した場合、前記電気デバイスをアクティブ化するステップと
を含む、方法。
【請求項２】
請求項１記載の方法において、マイクロフォンが、前記ステップ（ａ）のオーディオ・ストリームのために、継続的に周囲環境を監視する、方法。
【請求項３】
請求項１記載の方法であって、更に、前記ディジタル化オーディオ・パターンのディジタル化アクティブ化フレーズとの比較に先立って、前記受け取ったオーディオ・ストリームからノイズを除波するステップを含む、方法。
【請求項４】
請求項１記載の方法において、前記ディジタル化アクティブ化パターンが、ユーザーによる前記電気デバイスの初期使用の前に、前記電気デバイスの不揮発性メモリに格納される、方法。
【請求項５】
請求項１記載の方法において、前記ディジタル化アクティブ化パターンが、ユーザーによって、前記電気デバイスによって促されたときに選択される、方法。
【請求項６】
電気デバイスを待機電力モードからアクティブ化するための待機アクティブ化システムであって、
１つ以上のマイクロフォンの近傍においてオーディオ・ストリームを検出する１つ以上のマイクロフォンと、
待機アクティブ化ユニットであって、
１つ以上の格納されたアクティブ化パターンを含む不揮発性メモリと、
待機電力モードにおいて前記電気デバイスに利用可能な電力を用いて、前記１つ以上のマイクロフォンから受けたディジタル化オーディオ・パターンを、前記不揮発性メモリに格納された前記１つ以上の格納アクティブ化パターンと比較するプロセッサーであって、前記ディジタル化オーディオ・パターンが、前記不揮発性メモリに格納された前記１つ以上のアクティブ化フレーズの内１つのアクティブ化フレーズと、既定の許容度の範囲内で一致した場合、前記デバイスをアクティブ化する、プロセッサーと、
を含む、待機アクティブ化ユニットと
を含む、待機アクティブ化システム。
【請求項７】
請求項６記載の待機アクティブ化システムにおいて、待機電力モードにおいて前記ディジタル化オーディオ・パターンを前記１つ以上の格納されたアクティブ化パターンと比較する前記プロセッサーが、第１プロセッサーであり、前記電気デバイスが、前記第１プロセッサーとは別個に、前記電気デバイスがアクティブ化された最大電力モードで動作するときに前記デバイスの機能を制御する第２プロセッサーを含む、待機アクティブ化システム。
【請求項８】
請求項６記載の待機アクティブ化システムにおいて、１つ以上の格納されたアクティブ化パターンを含む前記不揮発性メモリが、第１不揮発性メモリであり、前記電気デバイスが、前記第１不揮発性メモリとは別個に、前記電気デバイスがアクティブ化された最大電力モードで動作するときに用いられる、前記電気デバイスのデータを格納する第２不揮発性メモリを含む、待機アクティブ化システム。
【請求項９】
請求項６記載の待機アクティブ化システムにおいて、待機電力モードにおいて前記電気デバイスに利用可能な電力が、０．５ワットである、待機アクティブ化システム。
【請求項１０】
ＮＵＩシステムの計算デバイスを待機電力モードからアクティブ化するための方法を実行するようにプロセッサーをプログラミングするためのコンピューター実行可能命令を有するコンピューター読み取り可能記憶媒体であって、前記方法が、
（ａ）待機電力モードにあるときに前記ＮＵＩシステムに関連付けられた１つ以上のマイクロフォンにおいてオーディオ・ストリームを受けるステップと、
（ｂ）待機電力モードにあるときに前記オーディオ・ストリームをオーディオ・パターンにディジタル化するステップと、
（ｃ）待機電力モードにあるときに、前記ディジタル化オーディオ・ストリームと前記計算デバイスの不揮発性メモリに格納された１つ以上のディジタル化アクティブ化フレーズとの照合を容易にするために、前記ディジタル化オーディオ・ストリームを処理するステップと、
（ｄ）待機電力モードにあるときに、前記ステップ（ｃ）において処理された前記オーディオ・パターンを、前記計算デバイスの不揮発性メモリに格納された１つ以上のディジタル化アクティブ化フレーズと比較するステップと、
（ｅ）前記オーディオ・パターンが前記１つ以上のアクティブ化フレーズの内１つのアクティブ化フレーズと、既定の許容度の範囲内で一致した場合、前記計算デバイスをアクティブ化するステップと
を含む、コンピューター読み取り可能記憶媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
待機電力モードで電子デバイスを不動作にしておく、即ち、オフに切り替えることは極普通の慣例であり、この場合デバイスが消費する電気量は減少する。電子デバイスの典型的な待機電力は、例えば、約８ワットまでである。しかしながら、使用中の数十億台もの電気デバイス全体で考えると、この少量であっても、合計すれば世界の総電気使用量のかなりの割合(fraction)になる。国際エネルギー庁（ＩＥＡ：International Energy Agency）は、電子デバイスにおける待機電力を２０１３年までに０．５ワットに低下させようとしている。０．５ワットで動作するにしても、待機電力モードにある電気デバイスのアクティブ化を簡略化できれば有利であろう。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
本技術は、一般的には、電気デバイスを待機電力モードから最大電力モードにアクティブ化するために、このデバイスに含まれるシステムに関するものである。このシステムは、１つ以上のマイクロフォンと、待機アクティブ化ユニットとを含む。待機アクティブ化ユニットは、マイクロプロセッサーのようなプロセッサーと、関連する不揮発性メモリとを含む。１つ以上のディジタル化アクティブ化フェーズをこの不揮発性メモリに格納することができる。これは、ユーザーによる最初の使用の前に予め記録されていてもよく、またはユーザーによって選択され入力されてもよい。
【課題を解決するための手段】
【０００３】
電気デバイスが待機電力モードで作動しているとき、１つ以上のマイクロフォンに給電して、このマイクロフォン近傍における音を検知する。待機電力モードにあるときに電気デバイスをアクティブ化するために、ユーザーは、不揮発性メモリに格納されたアクティブ化フレーズと一致する、予め記録されたまたはユーザーが選択したアクティブ化フレーズを発話することができる。１つ以上のマイクロフォンによってオーディオ・ストリームが検出され、オーディオ・パターンにディジタル化される。次いで、このオーディオ・パターンは、待機アクティブ化ユニットのプロセッサーによって、不揮発性メモリに格納された１つ以上のアクティブ化フレーズと比較される。発話されたフレーズが格納されたアクティブ化フレーズと一致した場合、プロセッサーは一致を識別し、電気デバイスを最大電力モードにアクティブ化する信号を電源回路に送る。受け取ったオーディオ・パターンと格納されたアクティブ化フレーズ（１つまたは複数）との間において、プロセッサーによって一致が識別されない場合、電子デバイスは、待機電力モードに留まる。
【０００４】
マイクロフォンおよび待機アクティブ化ユニットは、オーディオ・ストリームを受け、これをオーディオ・パターンにディジタル化し、入来オーディオ・パターンを格納されたアクティブ化フレーズ（１つまたは複数）と比較する照合動作を実行することができ、全てを待機モードで利用可能な電力によって行うことができる。一例では、この電力は０．５ワットにすることができる。
【０００５】
実施形態では、本技術は、電気デバイスを待機電力モードからアクティブ化する方法に関する。この方法は、（ａ）待機電力モードにあるときに、電気デバイスにおいてオーディオ・ストリームを受けるステップと、（ｂ）待機電力モードにあるときに、オーディオ・ストリームをオーディオ・パターンにディジタル化するステップと、（ｃ）待機電力モードにあるときに、上記ステップ（ｂ）においてディジタル化したオーディオ・パターンを、不揮発性メモリに格納されたディジタル化アクティブ化フレーズと比較するステップと、（ｄ）オーディオ・パターンがアクティブ化フレーズと既定の許容度の範囲内で一致した場合、電気デバイスをアクティブ化するステップを含む。
【０００６】
他の例では、本技術は、電気デバイスを待機電力モードからアクティブ化するための待機アクティブ化システムに関する。待機アクティブ化システムは、１つ以上のマイクロフォンの近傍においてオーディオ・ストリームを検出する１つ以上のマイクロフォンと、待機アクティブ化ユニットとを含む。待機アクティブ化ユニットは、１つ以上の格納されたアクティブ化パターンを含む不揮発性メモリと、待機電力モードにおいて電気デバイスに利用可能な電力を用いて、１つ以上のマイクロフォンから受けたディジタル化オーディオ・パターンを、不揮発性メモリに格納された１つ以上の格納アクティブ化パターンと比較するプロセッサーを含む。プロセッサーは、ディジタル化オーディオ・パターンが、不揮発性メモリに格納された１つ以上のアクティブ化フレーズの内１つ以上のアクティブ化フレーズと、既定の許容度の範囲内で一致した場合、デバイスをアクティブ化する。
【０００７】
更に他の例では、本技術は、自然ユーザー・インターフェースＮＵＩシステムの計算デバイスを待機電力モードからアクティブ化するための方法を実行するようにプロセッサーをプログラミングするためのコンピューター実行可能命令を有するコンピューター読み取り可能記憶媒体に関する。この方法は、（ａ）待機電力モードにあるときにＮＵＩシステムに関連付けられた１つ以上のマイクロフォンにおいてオーディオ・ストリームを受けるステップと、（ｂ）待機電力モードにあるときにオーディオ・ストリームをオーディオ・パターンにディジタル化するステップと、（ｃ）待機電力モードにあるときに、ディジタル化オーディオ・ストリームと計算デバイスの不揮発性メモリに格納された１つ以上のディジタル化アクティブ化フレーズとの照合を容易にするために、ディジタル化オーディオ・ストリームを処理するステップと、（ｄ）待機電力モードにあるときに、前記ステップ（ｃ）において処理されたオーディオ・パターンを、計算デバイスの不揮発性メモリに格納された１つ以上のディジタル化アクティブ化フレーズと比較するステップと、（ｅ）オーディオ・パターンが１つ以上のアクティブ化フレーズの内１つのアクティブ化フレーズと、既定の許容度の範囲内で一致した場合、計算デバイスをアクティブ化するステップ、を含む。
【０００８】
この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断するときに補助として用いられることを意図するのでもない。更に、特許請求する主題は、本開示のいずれの部分に記載されるいずれかの欠点を解決する実施態様にも、そして全ての欠点を解決する実施態様にも限定されない。
【図面の簡単な説明】
【０００９】
【図１Ａ】図１Ａは、目標認識、分析、および追跡システムの実施形態例を、ゲームをプレーするユーザーと共に示す。
【図１Ｂ】図１Ｂは、目標認識、分析、および追跡システムの実施形態例を、ゲームをプレーするユーザーと共に示す。
【図２】図２は、目標認識、分析、および追跡システムにおいて用いることができるキャプチャー・デバイスの一実施形態例を示す。
【図３Ａ】図３Ａは、目標認識、分析、および追跡システムにおいて１つ以上のジェスチャーを解釈するために用いることができる計算環境の一実施形態例を示す。
【図３Ｂ】図３Ｂは、目標認識、分析、および追跡システムにおいて１つ以上のジェスチャーを解釈するために用いることができる計算環境の他の実施形態例を示す。
【図４】図４は、アクティブ化フレーズを教え格納するための一実施形態のフローチャートである。
【図５】図５は、ディジタル化アクティブ化パターンの見本である。
【図６】図６は、待機電力モードにある電気デバイスをアクティブ化するための一実施形態のフローチャートである。
【図７】図７は、待機電力モードにある電気デバイスをアクティブ化するための一実施形態のブロック図である。
【発明を実施するための形態】
【００１０】
本技術の実施形態について、これより図１Ａから図７を参照して説明する。実施形態は、一般に、電気デバイスを待機電力モードから最大電力モードにアクティブ化するためにこの電気デバイスに含まれるシステムに関する。一例では、電気デバイスは、目標認識、分析、および追跡システム１０として以下で説明するＮＵＩシステムである。ＮＵＩシステムとは、ユーザーのジェスチャーを検出し、解釈し、画面上のキャラクタまたはソフトウェア・アプリケーションの他の複数の様態(aspects)を制御するために用いるシステムであってもよい。しかしながら、以下で更に説明するように、電気デバイスは、種々の他の計算デバイスおよびアプライアンスとすることができる。実施形態では、本開示のシステムは、電気デバイスの近傍においてオーディオ信号を監視する１つ以上のマイクロフォンと、低電力マイクロプロセッサーおよび不揮発性メモリを含む待機電力アクティブ化ユニットを含む。デバイスが待機電力モードにあるとき、マイクロフォンがオーディオを取り込み、このオーディをディジタル・オーディオ・パターンに変換する。次いで、このオーディオ・パターンは、マイクロプロセッサーによって、不揮発性メモリに格納された既定のアクティブ化パターン（１つまたは複数）と比較される。ディジタル・オーディオ・パターンと既定のアクティブ化パターンとの間にパターン一致が検出された場合、電気デバイスはアクティブ化される。
【００１１】
１つ以上のマイクロフォン、マイクロプロセッサー、および不揮発性メモリは、連携して、少量の電力、例えば、０．５ワットを用いて、オーディオ・パターンを得て、これらを格納されたアクティブ化パターンと比較することができる。つまり、本システムは、電気デバイスが待機電力モードにあるとき、即ち、不作動時またはシャットダウンされている間に、この電気デバイスをアクティブ化するために用いることができる。待機電力モードにあるとき、以下で説明する電気デバイスは待機電力を受電する。この待機電力は、例では、０．５ワットにすることができる。尚、待機電力は、他の実施形態ではこれよりも高くてもまたは低くてもよいこと、そして本システムはそのようなもっと高いまたはもっと低い待機電力設定でも動作可能であることは言うまでもない。
【００１２】
最初に図１Ａから図２を参照すると、本技術の一例を実現するためのハードウェアは、ユーザー１８のような人間の目標を認識し、分析し、および／または追跡するために用いることができる、目標認識、分析、および追跡システム１０を含む。目標認識、分析、および追跡システム１０の実施形態は、ゲーミング・アプリケーションまたは他のアプリケーションを実行する計算デバイス１２を含む。計算デバイス１２は、計算デバイス１２がゲーミング・アプリケーションまたはゲーム以外のアプリケーションのようなアプリケーションを実行するために用いることができるように、ハードウェア・コンポーネントおよび／またはソフトウェア・コンポーネントを含むことができる。一実施形態では、計算デバイス１２は、標準化プロセッサー、特殊プロセッサー、マイクロプロセッサー等のようなプロセッサーを含むことができる。このプロセッサーは、デバイス１０がアクティブであり最大電力で実行しているときにデバイス１０のプロセスを実行するために、プロセッサー読み取り可能記憶媒体上に格納された命令を実行することができる。
【００１３】
以下で説明するが、計算デバイス１２は、更に、デバイス１０が待機モードで作動しているときにデバイス１０のアクティブ化プロセスを実行するために不揮発性メモリに格納された命令を実行することができる、第２の低電力プロセッサーまたはマイクロプロセッサーも含むことができる。
【００１４】
更に、システム１０は、キャプチャー・デバイスによって検知された１人以上のユーザーおよび／または物体に関する画像およびオーディオ・データを取り込むキャプチャー・デバイス２０も含む。実施形態では、キャプチャー・デバイス２０は、１人以上のユーザーの身体および手の動きおよび／またはジェスチャーおよび音声に関する情報を取り込むために用いることができ、この情報は、計算環境によって受け取られ、ゲーミング・アプリケーションまたは他のアプリケーションの様態(aspects)をレンダリングするため、相互作用するために、および／または制御するために用いられる。計算デバイス１２およびキャプチャー・デバイス２０の例について以下で更に詳しく説明する。
【００１５】
目標認識、分析、および追跡システム１０の実施形態は、ディスプレイ１４を含むオーディオ／ビジュアル（Ａ／Ｖ）デバイス１６に接続することができる。デバイス１６は、例えば、テレビジョン、モニター、高品位テレビジョン（ＨＤＴＶ）等であってもよく、ユーザーにゲームまたはアプリケーションの映像(visual)および／またはオーディオを供給することができる。例えば、計算デバイス１２は、グラフィクス・カードのようなビデオ・アダプター、および／またはサウンド・カードのようなオーディオ・アダプターを含むことができ、これらは、ゲームまたは他のアプリケーションに関連付けられたオーディオ／ビジュアル信号を供給することができる。Ａ／Ｖデバイス１６は、オーディオ／ビジュアル信号を計算デバイス１２から受け取ることができ、次いでこのオーディオ／ビジュアル信号に関連付けられたゲームまたはアプリケーションの映像および／またはオーディオをユーザー１８に出力することができる。一実施形態によれば、オーディオ／ビジュアル・デバイス１６は、例えば、Ｓ−ビデオ・ケーブル、同軸ケーブル、ＨＤＭＩ（登録商標）ケーブル、ＤＶＩケーブル、ＶＧＡケーブル、コンポーネント・ビデオ・ケーブル等によって、計算デバイス１２に接続することができる。
【００１６】
実施形態では、計算デバイス１２、Ａ／Ｖデバイス１６、およびキャプチャー・デバイス２０は、協働してアバターまたは画面上キャラクタ(on-screen character)１９をディスプレイ１４上にレンダリングすることができる。例えば、図１Ａは、サッカー・ゲーム・アプリケーションをプレーするユーザー１８を示す。このユーザーの動きが追跡され、アバター１９の動きを動画化する(animate)ために用いられる。実施形態では、ユーザー１８が、ディスプレイ１４上におけるアバター１９の動きおよび行為(action)を制御する動きおよびジェスチャーを行うことができるように、アバター１９は、実世界空間におけるユーザー１８の動きを模擬する。図１Ｂでは、キャプチャー・デバイス２０は、ＮＵＩシステムにおいて用いられ、この場合、例えば、ユーザー１８はディスプレイ１４上に提示される種々のメニュー選択肢全体をスクロールし、これらによってユーザー・インターフェース２１を制御する。図１Ｂでは、計算デバイス１２およびキャプチャー・デバイス２０は、ユーザーの身体の動きおよびジェスチャーを認識および分析するために用いることができ、このような動きおよびジェスチャーは、ユーザー・インターフェースに対する制御として解釈することができる。
【００１７】
システム１０およびそのコンポーネントの適した例が、以下の同時係属中の特許出願において見出される。これらの全ては、ここに引用することにより、その内容全体が本願にも含まれるものとする。２００９年５月２９日に出願され"Environment And/or Target Segmentation"（環境および／または目標物のセグメント化）と題する米国特許出願第１２／４７５，０９４号、２００９年７月２９日に出願され"Auto Generating a Visual Representation"（視覚表現の自動生成）と題する米国特許出願第１２／５１１，８５０号、２００９年５月２９日に出願され"Gesture Tool"（ジェスチャー・ツール）と題する米国特許出願第１２／４７４，６５５号、２００９年１０月２１日に出願され"Pose Tracking Pipeline"（姿勢追跡パイプライン）と題する米国特許出願第１２／６０３，４３７号、２００９年５月２９日に出願され"Device for Identifying and Tracking Multiple Humans Over Time"（経時的に多数の人間を識別し追跡するデバイス）と題する米国特許出願第１２／４７５，３０８号、２００９年１０月７日に出願され"Human Tracking System"（人間追跡システム）と題する米国特許出願第１２／５７５，３８８号、２００９年４月１３日に出願され"Gesture Recognizer System Architecture"（ジェスチャー認識システム・アーキテクチャー）と題する米国特許出願第１２／４２２，６６１号、および２００９年２月２３日に出願され"Standard Gestures"（標準的ジェスチャー）と題する米国特許出願第１２／３９１，１５０号である。
【００１８】
図２は、目標認識、分析、および追跡システム１０において用いることができるキャプチャー・デバイス２０の一例を示す。一実施形態例では、キャプチャー・デバイス２０は、例えば、飛行時間、構造化光、ステレオ画像等を含む、いずれかの適した技法によって、深度値を含む深度画像を有するビデオを取り込むように構成することができる。一実施形態によれば、キャプチャー・デバイス２０は、計算された深度情報を「Ｚレイヤー」、即ち、その見通し線に沿って深度カメラから延びるＺ軸に対して垂直であるとよいレイヤーに編成することができる。Ｙ軸は垂直としてよく、Ｘ軸は水平としてよい。Ｘ，Ｙ，Ｚ軸が一緒になって、キャプチャー・デバイス２０によって取り込まれる３−Ｄ実世界空間を定める。
【００１９】
図２に示すように、キャプチャー・デバイス２０は撮像カメラ・コンポーネント２２を含むことができる。一実施形態例によれば、撮像カメラ・コンポーネント２２は、場面の深度画像を取り込むことができる深度カメラであってもよい。深度画像は、取り込まれる場面の２次元（２−Ｄ）画素エリアを含むことができ、この２−Ｄ画素エリアにおける各画素は、カメラから取り込まれた場面における物体の、例えば、センチメートル、ミリメートル等を単位とした、長さまたは距離というような、深度値を表すことができる。
【００２０】
図２に示すように、一実施形態例によれば、撮像カメラ・コンポーネント２２は、ＩＲ発光コンポーネント２４、三次元（３−Ｄ）カメラ２６、およびＲＧＢカメラ２８を含むことができ、これらは場面の深度画像を取り込むために用いることができる。例えば、飛行時間分析では、キャプチャー・デバイス２０のＩＲ発光コンポーネント２４が赤外線光を場面に放出することができ、次いでセンサー（図示せず）を用いて、この場面における１つ以上の目標および物体の表面からの後方散乱光を、例えば、３−Ｄカメラ２６および／またはＲＧＢカメラ２８を用いて検出することができる。
【００２１】
実施形態の中には、出射光パルスと対応する入射光パルスとの間の時間を測定し、キャプチャー・デバイス２０から場面における目標または物体上の特定の位置までの物理的距離を判定するために用いることができるように、パルス状赤外線光を用いるとよい場合がある。加えて、他の実施形態例では、出射光波の位相を、入射光波の位相と比較して、位相のずれを判定することもできる。次いで、この位相のずれを用いて、キャプチャー・デバイス２０から目標または物体に関連付けられる特定の位置までの物理的距離を判定することができる。
【００２２】
他の実施形態例によれば、飛行時間分析を用いて、例えば、散乱光パルス撮像(shuttered light pulse imaging)を含む種々の技法によって、経時的な光の反射ビームの強度を分析することにより、キャプチャー・デバイス２０から目標物または物体上の特定の場所までの物理的距離を間接的に判定することもできる。
【００２３】
他の一実施形態例では、キャプチャー・デバイス２０は、構造化光を用いて深度情報を取り込むことができる。このような分析では、パターン光（即ち、格子パターン、縞模様パターンのような既知のパターンとして表示される光）を、例えば、ＩＲ発光素子２４によって場面に向けて投射する。場面における１つ以上の目標物または物体の表面に衝突したときに、それに応答して、パターンが変形することができる。このようなパターンの変形を、例えば、３Ｄカメラ２６および／またはＲＧＢカメラ２８によって取り込むことができ、次いで分析して、キャプチャー・デバイス２０から目標物または物体上における特定の場所までの物理的距離を判定することができる。
【００２４】
他の実施形態によれば、キャプチャー・デバイス２０は、２つ以上の物理的に分離されたカメラを含むことができ、これらが異なる角度から１つの場面を捕らえて、視覚的な立体像を得て、これを解明することによって深度情報を生成することができる。他の実施形態例では、キャプチャー・デバイス２０は、ポイント・クラウド・データ(point cloud data)および目標ディジタル化技法を使用して、ユーザーの特徴を検出することもできる。
【００２５】
更に、キャプチャー・デバイス２０は、マイクロフォン３０を含むこともできる。マイクロフォン３０は、音響を受けて電気信号に変換する変換器またはセンサーを含むことができる。一実施形態によれば、マイクロフォン３０は、目標認識、分析、および追跡システム１０においてキャプチャー・デバイス２０と計算デバイス１２との間におけるフィードバックを減らすために使用することができる。加えて、マイクロフォン３０は、計算デバイス１２によって実行することができる、ゲーム・アプリケーション、ゲーム以外のアプリケーション等のようなアプリケーションを制御するために、ユーザーによって供給されてもよいオーディオ信号を受け取るために用いることもできる。１つのマイクロフォン３０の代わりに、本システムは２つ以上のマイクロフォンを採用することもできる。多数のマイクロフォンがあると、音響源定位によって音の発生源を特定することができる。
【００２６】
一実施形態例では、キャプチャー・デバイス２０は、更に、撮像カメラ・コンポーネント２２と動作可能に通信することができるプロセッサー３２も含むことができる。プロセッサー３２は、命令を実行することができる標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができる。これらの命令には、深度画像を受け取り、この深度画像に適した目標物が含まれ得るか否か判定を行い、適した目標物をその目標物の骨格表現またはモデルに変換する命令、またはあらゆる他の適した命令を含むことができる。
【００２７】
更に、キャプチャー・デバイス２０は、メモリ・コンポーネント３４も含むことができる。メモリ・コンポーネント３４は、プロセッサー３２が実行することができる命令、３−ＤカメラまたはＲＧＢカメラが取り込んだ画像または画像のフレーム、あるいは他のいずれかの適した情報、画像等を格納することができる。一実施形態例によれば、メモリ・コンポーネント３４は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、キャッシュ、フラッシュ・メモリ、ハード・ディスク、または他のいずれかの適した記憶コンポーネントを含むことができる。図２に示すように、一実施形態では、メモリ・コンポーネント３４は、撮像カメラ・コンポーネント２２およびプロセッサー３２と通信可能な別個のコンポーネントであってもよい。他の実施形態によれば、メモリ・コンポーネント３４をプロセッサー３２および／または撮像カメラ・コンポーネント２２に統合してもよい。
【００２８】
図２に示すように、キャプチャー・デバイス２０は、通信リンク３６を介して計算デバイス１２と通信することができる。通信リンク３６は、例えば、ＵＳＢ接続、Firewire接続、イーサネット（登録商標）・ケーブル接続等のような有線接続、および／またはワイヤレス８０２．１１ｂ，ｇ，ａ，ｎによる接続のようなワイヤレス接続であってもよい。一実施形態によれば、計算デバイス１２は、クロックをキャプチャー・デバイス２０に通信リンク３６を介して供給することができ、このクロックは、例えば、いつ場面を取り込むべきか判断するために用いることができる。
【００２９】
加えて、キャプチャー・デバイス２０は、例えば、３−Ｄカメラ２６および／またはＲＧＢカメラ２８によって取り込まれた深度情報および画像も供給することができる。これらのデバイスの補助によって、本技術にしたがって、部分的な骨格モデルを作り出し、結果的に得られたデータを計算デバイス１２に通信リンク３６を介して供給する。
【００３０】
更に、計算デバイス１２は、ジェスチャーを認識するジェスチャー認識エンジン１９０も含むことができる。本システムによれば、計算デバイス１２は、更に、パターン照合エンジン１９２を含むこともでき、更に実施形態では、音声認識エンジン１９４を含むこともできる。これら双方について以下に説明する。
【００３１】
[図３Ａは、目標認識、分析、および追跡システムにおいて１つ以上のジェスチャーを解釈するために使用可能な計算環境の一実施形態例を示す。図１Ａから図２に関して先に説明した計算環境１２のような計算環境は、ゲーミング・コンソールのような、マルチメディア・コンソール１００としてもよい。図３Ａに示すように、マルチメディア・コンソール１００は、レベル１キャッシュ１０２、レベル２キャッシュ１０４、およびフラッシュＲＯＭ１０６を有する中央処理ユニット（ＣＰＵ）１０１を有する。レベル１キャッシュ１０２およびレベル２キャッシュ１０４は、一時的にデータを格納し、こうしてメモリ・アクセス・サイクルの回数を減らすことによって、処理速度およびスループットを向上させる。ＣＰＵ１０１は、１つよりも多いコア、つまり、追加のレベル１およびレベル２キャッシュ１０２および１０４を有するものを設けてもよい。フラッシュＲＯＭ１０６は、実行可能コードを格納することができる。実行可能コードは、マルチメディア・コンソール１００に電源を入れたときに、ブート・プロセスの初期段階の間にロードされる。
【００３２】
図３Ａには示されないが、マルチメディア・コンソール１００は、更に、待機電力モードから本システムをアクティブ化させるためにマイクロプロセッサーのようなプロセッサーと、不揮発性メモリとを含むことができる。更に他の実施形態では、本システムを待機電力モードからアクティブ化するためのプロセッサーおよびメモリが、それぞれ、処理ユニット１０１およびＲＯＭ１０６とすることができる。
【００３３】
グラフィクス処理ユニット（ＧＰＵ）１０８およびビデオ・エンコーダー／ビデオ・コデック（コーダ／デコーダ）１１４は、高速および高解像度グラフィクス処理のためのビデオ処理パイプラインを形成する。データは、ＧＰＵ１０８からビデオ・エンコーダー／ビデオ・コデック１１４にバスを通じて搬送される。このビデオ処理パイプラインは、テレビジョンまたは他のディスプレイへの送信のためにデータをＡ／Ｖ（オーディオ／ビデオ）ポート１４０に出力する。メモリ・コントローラー１１０は、これに限定されないが、ＲＡＭのような種々のタイプのメモリ１１２にプロセッサーがアクセスし易くするために、ＧＰＵ１０８に接続される。
【００３４】
マルチメディア・コンソール１００は、Ｉ／Ｏコントローラー１２０、システム管理コントローラー１２２、オーディオ処理ユニット１２３、ネットワーク・インターフェース・コントローラー１２４、第１ＵＳＢホスト・コントローラー１２６、第２ＵＳＢコントローラー１２８、およびフロント・パネルＩ／Ｏサブアセンブリ１３０を含む。これらは、好ましくは、モジュール１１８上に実装される。ＵＳＢコントローラー１２６および１２８は、周辺コントローラー１４２（１）〜１４２（２）、ワイヤレス・アダプター１４８、および外部メモリ・デバイス１４６（例えば、フラッシュ・メモリ、外部ＣＤ／ＤＶＤ ＲＯＭドライブ、リムーバブル媒体等）のためのホストとしての役割を果たす。ネットワーク・インターフェース１２４および／またはワイヤレス・アダプター１４８は、ネットワーク（例えば、インターネット、家庭内ネットワーク等）へのアクセスを付与し、イーサネット（登録商標）・カード、モデム、Bluetooth（登録商標）モジュール、ケーブル・モデム等を含む広範囲にわたる種々の有線またはワイヤレス・アダプター・コンポーネントの内いずれのものとすることができる。
【００３５】
システム・メモリ１４３は、ブート・プロセスの間にロードされるアプリケーション・データを格納するために設けられている。メディア・ドライブ１４４が設けられており、ＤＶＤ／ＣＤドライブ、ハード・ドライブ、またはその他のリムーバブル・メディア・ドライブを備えることができる。メディア・ドライブ１４４は、マルチメディア・コンソール１００の内部にあっても外部にあってもよい。アプリケーション・データには、マルチメディア・コンソール１００が実行、再生等のために、メディア・ドライブ１４４を介してアクセスすることができる。メディア・ドライブ１４４は、シリアルＡＴＡバスまたはその他の高速接続（例えば、ＩＥＥＥ１３９４）のようなバスを介して、Ｉ／Ｏコントローラー１２０に接続される。
【００３６】
システム管理コントローラー１２２は、メディア・コンソール１００が利用可能であることを確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット１２３およびオーディオ・コデック１３２は、高忠実度およびステレオ処理を行う、対応のオーディオ処理パイプラインを形成する。オーディオ・データは、通信リンクを介して、オーディオ処理ユニット１２３とオーディオ・コデック１３２との間で搬送される。オーディオ処理パイプラインは、外部オーディオ・プレーヤーまたはオーディオ処理能力を有するデバイスによる再生のために、データをＡ／Ｖポート１４０に出力する。
【００３７】
フロント・パネルＩ／Ｏサブアセンブリ１３０は、電力ボタン１５０およびイジェクト・ボタン１５２の機能をサポートするだけでなく、あらゆるＬＥＤ（発光ダイオード）またはマルチメディア・コンソール１００の外面上に表出されるその他のインディケーターもサポートする。システム電源モジュール１３６は、マルチメディア・コンソール１００のコンポーネントに電力を供給する。ファン１３８は、マルチメディア・コンソール１００内部にある回路を冷却する。
【００３８】
ＣＰＵ１０１、ＧＰＵ１０８、メモリ・コントローラー１１０、およびマルチメディア・コンソール１００内部にある種々のその他のコンポーネントは、１系統以上のバスを介して相互接続される。これらのバスには、シリアルおよびパラレル・バス、メモリ・バス、周辺バス、ならびに種々のバス・アーキテクチャの内いずれかを用いるプロセッサー・バスまたはローカル・バスが含まれる。一例として、このようなアーキテクチャーは、ペリフェラル・コンポーネント相互接続（ＰＣＩ）バス、ＰＣＩ-Ｅｘｐｒｅｓｓバス等を含むことができる。
【００３９】
マルチメディア・コンソール１００に電源を入れると、システム・メモリ１４３からメモリ１１２および／またはキャッシュ１０２、１０４にアプリケーション・データがロードされ、ＣＰＵ１０１において実行することができる。アプリケーションは、グラフィカル・ユーザー・インターフェースを提示することができる。このグラフィカル・ユーザー・インターフェースは、マルチメディア・コンソール１００において利用可能な異なるタイプのメディアにナビゲートするときに、一貫性のあるユーザー体験を提供する。動作において、アプリケーションおよび／またはメディア・ドライブ１４４内に収容される他のメディアをメディア・ドライブ１４４から起動または再生して、マルチメディア・コンソール１００に追加の機能を設けることもできる。
【００４０】
マルチメディア・コンソール１００は、単にシステムをテレビジョンまたはその他のディスプレイに接続することによって、単体システムとして動作させることができる。この単体モードでは、マルチメディア・コンソール１００は、１人以上のユーザーがシステムと対話処理を行い、動画を見ること、または音楽を聞くことを可能にする。しかしながら、ネットワーク・インターフェース１２４またはワイヤレス・アダプター１４８によって利用可能となるブロードバンド接続機能を統合することにより、マルチメディア・コンソール１００を更に大きなネットワーク・コミュニティにおける関与個体(participant)として動作させることもできる。
【００４１】
マルチメディア・コンソール１００に電源を入れると、マルチメディア・コンソールのオペレーティング・システムによって、設定された量のハードウェア・リソースがシステムの使用のために確保される。これらのリソースは、メモリ（例えば、１６ＭＢ）、ＣＰＵおよびＧＰＵサイクル（例えば、５％）、ネットワーク接続帯域幅（例えば、８ｋｂｓ）等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。
【００４２】
特に、メモリの確保は、起動カーネル、コンカレント・システム・アプリケーション、およびドライバーを収容できる程に十分大きいことが好ましい。確保されたＣＰＵ使用枠(usage)がシステム・アプリケーションによって用いられない場合、アイドルのスレッドがいずれかの未使用サイクルを消費するように、ＣＰＵの確保は一定であることが好ましい。
【００４３】
ＧＰＵの確保に関して、ＧＰＵ割り込みを用いてポップアップをオーバーレイにレンダリングするコードをスケジューリングすることによって、システム・アプリケーション（例えば、ポップアップ）が生成する軽量メッセージ(lightweight message)を表示する。オーバーレイに用いられるメモリ量は、オーバーレイのエリア・サイズによって異なり、オーバーレイは画面の解像度に合わせて倍率調整する(scale)ことが好ましい。コンカレント・システム・アプリケーションによってフル・ユーザー・インターフェースが用いられる場合、アプリケーションの解像度とは独立した解像度を用いることが好ましい。周波数を変更してＴＶの同期を取り直す必要性をなくすように、この解像度を設定するためにスケーラー(scaler)を用いるとよい。
【００４４】
マルチメディア・コンソール１００がブートして、システム・リソースが確保された後、コンカレント・システム・アプリケーションが実行してシステム機能を提供する。システム機能は、前述の確保したシステム・リソースの内部で実行する１組のシステム・アプリケーションの中にカプセル化される。オペレーティング・システム・カーネルは、システム・アプリケーション・スレッドと、ゲーミング・アプリケーション・スレッドとの間でスレッドを識別する。一貫したシステム・リソース・ビューをアプリケーションに提供するために、システム・アプリケーションは、所定の時点および間隔でＣＰＵ１０１において実行するようにスケジューリングされることが好ましい。このスケジューリングは、コンソール上で実行しているゲーミング・アプリケーションに対するキャッシュ破壊(disruption)を最少に抑えるためにある。
【００４５】
コンカレント・システム・アプリケーションがオーディオを必要とする場合、時間に敏感であるため、ゲーミング・アプリケーションには非同期にオーディオ処理をスケジューリングする。マルチメディア・コンソール・アプリケーション・マネージャー（以下で説明する）は、システム・アプリケーションがアクティブのとき、ゲーミング・アプリケーションのオーディオ・レベル（例えば、無音化、減衰）を制御する。
【００４６】
入力デバイス（例えば、コントローラー１４２（１）および１４２（２））は、ゲーミング・アプリケーションおよびシステム・アプリケーションによって共有される。入力デバイスは、確保されるリソースではないが、各々がデバイスのフォーカス(focus)を有するように、システム・アプリケーションとゲーミング・アプリケーションとの間で切り換えられる。アプリケーション・マネージャーは、ゲーミング・アプリケーションの知識を用いずに入力ストリームの切換を制御し、ドライバーはフォーカス・スイッチ(focus switches)に関する状態情報を維持する。カメラ２６，２８およびキャプチャー・システム２０は、コンソール１００の追加の入力デバイスを定めることができる。
【００４７】
図３Ｂは、目標認識、分析、および追跡システムにおいて１つ以上のジェスチャーを解釈するために用いられる、計算環境２２０の他の実施形態例を示す。計算環境２２０は、図１Ａから図２に示した計算環境１２であってもよい。計算システム環境２２０は、適した計算環境の一例に過ぎず、本明細書において開示される主題の使用範囲または機能に関して、いかなる限定を示唆する意図もない。また、計算環境２２０が、操作環境例２２０において例示されるいずれの１つのコンポーネントまたはコンポーネントの組み合わせに関して何らかの依存性または要件を有するように解釈してはならない。実施形態によっては、図示する種々の計算エレメントが、本開示の特定の態様をインスタンス化するように構成される回路を含むこともあり得る。例えば、本開示において用いられる回路という用語は、ファームウェアまたはスイッチによって機能（１つまたは複数）を実行するように構成される特殊ハードウェア・コンポーネントを含むことができる。別の実施形態例では、回路という用語は、機能（１つまたは複数）を実行するために動作可能なロジックを具体化するソフトウェア命令によって構成される汎用演算装置、メモリ等を含むことができる。回路がハードウェアおよびソフトウェアの組み合わせを含む実施形態例では、実装者(implementer)は、ロジックを具体化するソース・コードを書くことができ、ソース・コードを機械読み取り可能コードにコンパイルすることができ、この機械読み取り可能コードを汎用演算装置によって処理することができる。技術的現状では、ハードウェア、ソフトウェア、またはハードウェア／ソフトウェアの組み合わせの間には殆ど差がないというところまで発展していることを当業者は認めることができる。このため、特定の機能を実行するためにハードウェアまたはソフトウェアのどちらを選択するかということは、実装者に委ねられた設計選択事項である。更に具体的には、ソフトウェア・プロセスを等価のハードウェア構造に変換することができ、更にハードウェア構造自体を等価のソフトウェア・プロセスに変換することができることを、当業者は認めることができる。つまり、ハードウェアの実施態様およびソフトウェアの実施態様のどちらを選択するかということは、実装者に委ねられた設計選択事項の１つである。
【００４８】
図３Ｂにおいて、計算環境２２０は、コンピューター２４１を含む。コンピューター２４１は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、コンピューター２４１がアクセス可能な入手可能な媒体であればいずれのものでも可能であり、揮発性および不揮発性の双方、リムーバブル、および非リムーバブル媒体を含む。システム・メモリ２２２は、リード・オンリー・メモリ（ＲＯＭ）２２３およびランダム・アクセス・メモリ（ＲＡＭ）２６０のような揮発性および／または不揮発性メモリの形態で、コンピューター記憶媒体を含む。基本入出力システム２２４（ＢＩＯＳ）は、起動中のように、コンピューター２４１内のエレメント間におけるデータ転送を補助する基本的なルーチンを含み、通例ＲＯＭ２２３内に格納される。ＲＡＭ２６０は、通例、演算装置２５９が直ちにアクセス可能であるデータおよび／またはプログラム・モジュール、または現在これによって処理されるデータおよび／またはプログラム・モジュールを収容する。一例として、そして限定ではなく、図３Ｂは、オペレーティング・システム２２５、アプリケーション・プログラム２２６、その他のプログラム・モジュール２２７、およびプログラム・データ２２８を示す。
【００４９】
[この計算環境は、更に、待機電力モードから本システムをアクティブ化するために、実施形態ではマイクロプロセッサーでもよいプロセッサー４６８と、不揮発性メモリ４７０とを含むことができる。メモリ４７０は、例えば、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュ・メモリを含む種々の不揮発性メモリの内いずれでもよい。実施形態では、本システムを待機電力モードからアクティブ化するためのプロセッサー４６８およびメモリ４７０が、それぞれ、中央処理ユニット（１つまたは複数）２５９およびＲＯＭ２２３の一部として統合されてもよい。他の実施形態では、プロセッサー４６８およびメモリ４７０が、いわゆるチップ上メモリに共に集積されてもよい。
【００５０】
また、コンピューター２４１は、その他のリムーバブル／非リムーバブル揮発性／不揮発性コンピューター記憶媒体も含むことができる。一例にすぎないが、図３Ｂは、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行なうハード・ディスク・ドライブ２３８、リムーバブル不揮発性磁気ディスク２５４からの読み取りおよびこれへの書き込みを行なう磁気ディスク・ドライブ２３９、ならびにＣＤ ＲＯＭまたはその他の光媒体のようなリムーバブル不揮発性光ディスク２５３からの読み取りおよびこれへの書き込みを行なう光ディスク・ドライブ２４０を示す。動作環境の一例において使用可能なその他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピューター記憶媒体には、限定する訳ではないが、磁気テープ・カセット、フラッシュ・メモリ・カード、ディジタル・バーサタイル・ディスク、ディジタル・ビデオ・テープ、ソリッド・ステートＲＡＭ、ソリッド・ステートＲＯＭ等が含まれる。ハード・ディスク・ドライブ２３８は、通例、インターフェース２３４のような非リムーバブル・メモリ・インターフェースを介してシステム・バス２２１に接続され、磁気ディスク・ドライブ２３９および光ディスク・ドライブ２４０は、通例、インターフェース２３５のようなリムーバブル・メモリ・インターフェースによって、システム・バス２２１に接続する。
【００５１】
先に検討し、図３Ｂに示すドライブおよびそれらと関連のあるコンピューター記憶媒体は、コンピューター読み取り可能命令、データ構造、プログラム・モジュール、およびコンピューター２４１のその他のデータを格納する。図３Ｂでは、例えば、ハード・ディスク・ドライブ２３８は、オペレーティング・システム２５８、アプリケーション・プログラム２５７、他のプログラム・モジュール２５６、およびプログラム・データ２５５を格納するように示されている。尚、これらの構成要素は、オペレーティング・システム２２５、アプリケーション・プログラム２２６、他のプログラム・モジュール２２７、およびプログラム・データ２２８と同じでも異なっていても可能であることを注記しておく。オペレーティング・システム２５８、アプリケーション・プログラム２５７、他のプログラム・モジュール２５６、およびプログラム・データ２５５は、ここで、少なくともこれらが異なるコピーであることを示すために、異なる符号が与えられている。ユーザーは、キーボード２５１、および一般にマウス、トラックボールまたはタッチ・パッドと呼ばれているポインティング・デバイス２５２のような入力デバイスによって、コマンドおよび情報をコンピューター２４１に入力することができる。他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲーム・パッド、衛星ディッシュ、スキャナー等を含むことができる。これらおよびその他の入力デバイスは、多くの場合、ユーザー入力インターフェース２３６を介して、演算装置２５９およびマイクロプロセッサー４６８に接続される。ユーザー入力インターフェース２３６は、システム・バスに結合されるが、パラレル・ポート、ゲーム・ポート、またはユニバーサル・シリアル・バス（ＵＳＢ）というような他のインターフェースおよびバス構造によって接続することも可能である。カメラ２６、２８およびキャプチャー・デバイス２０は、コンソール１００の追加入力デバイスを定めることができる。モニター２４２またはその他のタイプの表示装置も、ビデオ・インターフェース２３２のようなインターフェースを介して、システム・バス２２１に接続される。モニターに加えて、コンピューターは、スピーカー２４４およびプリンター２４３のような、その他の周辺出力装置も含むことができ、これらは出力周辺インターフェース２３３を介して接続することができる。
【００５２】
コンピューター２４１は、リモート・コンピューター２４６のような１つ以上のリモート・コンピューターへの論理接続を用いて、ネットワーク環境において動作することも可能である。リモート・コンピューター２４６は、パーソナル・コンピューター、サーバー、ルータ、ネットワークＰＣ、デバイス、またはその他の共通ネットワーク・ノードとすることができ、通例、コンピューター２４１に関して先に説明したエレメントの多くまたは全てを含むが、図３Ｂにはメモリ記憶装置２４７のみを示す。図３Ｂに示す論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）２４５およびワイド・エリア・ネットワーク（ＷＡＮ）２４９を含むが、他のネットワークも含むことができる。このようなネットワーク環境は、事務所、企業規模のコンピューター・ネットワーク、イントラネットおよびインターネットにおいては一般的である。
【００５３】
ＬＡＮネットワーク環境で用いる場合、コンピューター２４１は、ネットワーク・インターフェースまたはアダプター２３７を介してＬＡＮ２４５に接続する。ＷＡＮネットワーク環境で用いる場合、コンピューター２４１は、通例、モデム２５０、またはインターネットのようなＷＡＮ２４９を通じて通信を設定するその他の手段を含む。モデム２５０は、内蔵でも外付けでもよく、ユーザー入力インターフェース２３６またはその他の適切な機構を介してシステム・バス２２１に接続することができる。ネットワーク環境では、コンピューター２４１に関係付けて図示したプログラム・モジュール、またはその一部は、リモート・メモリ記憶装置に格納することもできる。一例として、そして限定ではなく、図１９Ｂは、リモート・アプリケーション・プログラム２４８がメモリ・デバイス２４７に存在するものとして示している。尚、図示のネットワーク接続は一例であり、コンピューター間で通信リンクを設定する他の手段も使用可能であることは認められよう。
【００５４】
計算デバイス１２は、キャプチャー・デバイス２０と共に、ユーザーの身体位置のコンピューター・モデルをフレーム毎に生成することができる。キャプチャー・デバイス２０の視野内にある１人以上のユーザーの骨格モデルを生成するこのようなパイプラインの一例が、２０１０年９月７日に出願され、"System For Fast, Probabilistic Skeletal Tracking"（高速確率的骨格追跡システム）と題する米国特許出願第１２／８７６，４１８号に開示されている。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。
【００５５】
次いで、本計算環境が骨格モデルを追跡し、骨格モデルに関連付けられたアバターをレンダリングすることができるように、骨格モデルを計算デバイス１２に供給することができる。更に、本計算環境は、例えば、骨格モデルから認識されたユーザーのジェスチャーに基づいて、コンピューター環境上で実行するアプリケーションにおいて実行する制御を決定することができる。例えば、図２に示すように、計算デバイス１２がジェスチャー認識エンジン１９０を含むのでもよい。ジェスチャー認識エンジン１９０は、一般に、ジェスチャー・フィルターの集合体を含むことができ、その各々が、骨格モデルによって（ユーザーが動くに連れて）行うことができるジェスチャーに関する情報を含む。
【００５６】
カメラ２６，２８、およびデバイス２０によって骨格モデルの形態で取り込まれるデータ、ならびにそれに伴う動き(movement)を、ジェスチャー認識エンジン１９０におけるジェスチャー・フィルターと比較して、ユーザー（骨格モデルによって表される）が１つ以上のジェスチャーを行ったときを識別することができる。これらのジェスチャーは、アプリケーションの種々の制御と関連付けることができる。このように、計算デバイス１２はジェスチャー認識エンジン１９０を用いて、骨格モデルの動きを解釈し、この動きに基づいてアプリケーションを制御することができる。
【００５７】
電力を保存しエネルギーを効率的に利用するために、システム１０は、所定の時間期間不動作のまま放置される場合、待機電力モードに落とす(power down)ことができる。あるいは、ユーザーがシステム１０を使い終えたときに、手動でシステム１０をオフに切り替えることもできる。オフに切り替えられても、本システムは待機電力モードで動作する。待機電力モードにあるとき、電源４７４（図６）は待機電力を計算デバイス１２に供給する。実施形態では、この待機電力は、例えば、０．３ワットから５．０ワットまでにすることができ、他の実施形態では０．５ワットにすることもできる。尚、待機電力モードにおいてシステム１０に供給される電力は、他の実施形態では、この範囲よりも高くてもまたは低くてもよいことは言うまでもない。
【００５８】
本システムによれば、ユーザーは可聴アクティブ化フレーズ(audible activation phrase)によって、システム１０の計算デバイス１２をアクティブ化することができる。アクティブ化フレームを認識すると、計算デバイス１２は待機電力モードから最大電力モードに切り替わることができ、最大電力モードでは、全てのシステム・リソースが利用可能になる。以下では、待機アクティブ化ユニット４６４を用いて計算デバイス１２をアクティブ化することについて説明する。Ａ／Ｖデバイス１６およびキャプチャー・デバイス２０に関して、これらのデバイスも待機電力モードになることもある範囲において、計算デバイス１２がアクティブ化される時点で、これらもアクティブ化することができる。Ａ／Ｖデバイス１６および／またはキャプチャー・デバイス２０は、計算デバイス１２から「ウェイクアップ」(wake-up)信号を受けることによってアクティブ化することができる。あるいは、Ａ／Ｖデバイス１６および／またはキャプチャー・デバイス２０が待機アクティブ化ユニット４６４を含むこともできる。この待機アクティブ化ユニット４６４は、以下で説明する計算デバイス１２と同様に、これらをアクティブ化する。
【００５９】
本システムが待機電力モードの間に供給される待機電力のみで動作するコンポによって、アクティブ化フレーズを認識できることは、本システムの特徴である。これらの特徴について以下で説明するが、概略的には、プロセッサー４６８およびメモリ４７０（図３Ｂおよび図６）は、待機電力のみを用いて、ディジタル化されたオーディオ・パターンを受け、メモリ４７０に格納されたアクティブ化パターンに対する限定的なパターン照合を実行して、アクティブ化フレーズが発話されたか否か判定することができる。
【００６０】
アクティブ化フレーズは、「システムをアクティブ化する」(activate system)というような、単純な２語フレーズとすることができる。システム１０が、例えば、Microsoft Corporation（マイクロソフト社）からのＸｂｏｘ（登録商標）ビデオ・ゲーム・コンソールである場合、アクティブ化フレーズは、例えば、「Ｘｂｏｘオン」(Xbox on)であってもよい。これらのフレーズは一例であり、アクティブ化フレーズは、メモリ４７０に格納された既定のフレーズであればいずれでもよい。他の実施形態では、アクティブ化フレーズは２語よりも短くても、または２語よりも長くてもよい。フレーズが短い方が、フレーズが長いよりも、擬陽性の一致を生ずる可能性が高くなるが、フレーズが長い程、照合動作を実行するためにプロセッサー４６８に待機電力からより多くの電力が必要となる場合がある。実施形態では、アクティブ化フレーズは、利用可能な待機電力に対して最適化された長さに設定することができる。即ち、アクティブ化フレーズは、擬陽性の一致を極力抑えるのには十分な長さであるが、プロセッサー４６８およびメモリ４７０が利用可能な待機電力を用いて、アクティブ化フレーズを受けたときを判定できるように十分に短くすることができる。
【００６１】
実施形態では、アクティブ化フレーズは、システム１０のユーザーによって、システム１０を待機電力からアクティブ化するために発話することができる。しかしながら、アクティブ化フレーズは、発話されるまたは発話以外の方法によって生成されるオーディオ・パターンであって、区別できるものであればいずれでもよいことは言うまでもない。更に、発話されるとき、アクティブ化フレーズが既知の語彙の中にある単語である必要はない。アクティブ化フレーズは、いずれかの区別できる音のパターンで構成されたオーディオ・パターンであればよい。アクティブ化フレーズが、「システムをアクティブ化する」または「Ｘｂｏｘオン」というような１つ以上の単語を含むとき、アクティブ化フレーズを１つの言語または多数の言語で格納することもできる。
【００６２】
実施形態では、アクティブ化フレーズは、システム１０の供給者によってメモリ４７０内に予め、即ち、エンド・ユーザーによるシステム１０の最初の使用前に、プログラミングされていてもよい。あるいは、アクティブ化フレーズはユーザーが定めるのでもよい。図４は、１人以上のユーザーが各々アクティブ化フレーズを生成し格納する場合におけるステップのシーケンスを示すフローチャートである。ステップ４００において、システム１０がアクティブである間に、ユーザーは、アクティブ化フレーズ学習モードに入るための制御ジェスチャーまたは選択を行うことができる。一旦学習モードに入ったなら、ユーザーはステップ４０６において所望のアクティブ化フレーズを発話することができる。ユーザーは所望のアクティブ化フレーズを１回発話すればよく、またはシステムが、ステップ４１０において、フレーズを発話するようにユーザーを促すこともできる。
【００６３】
ステップ４１４において、ユーザーによって供給されたアクティブ化フレーズが処理されてディジタル・アクティブ化フレーズになる。具体的には、アクティブ化フレーズの１つ以上の受け取られたインスタンスをＡ／Ｄ（アナログ−ディジタル）変換器に通過させて、このフレーズのディジタル・ストリームを供給する。例えば、フレーズが多数回供給された場合、異常な周波数および／または発音を除去して、多数の学習インスタンスにおいてユーザーによって供給されたアクティブ化フレーズを最良に近似するディジタル・アクティブ化フレーズを得ることができる。あるいは、多数の学習インスタンスからのアクティブ化フレーズの各発声を別個に格納し、後に、以下で説明するように、比較のために用いることもできる。一旦受け取られたアクティブ化フレーズが処理されたディジタル・アクティブ化パターンが得られたなら、ステップ４１８においてアクティブ化パターンがメモリ４７０に格納される。
【００６４】
図５に、格納されたディジタル化アクティブ化パターンの模式表現を示す。図５に示す模式表現は、時間（ｔ）の経過に連れて音波によって生ずる空気圧変化によるマイクロフォンのダイアフラムの変位（Ｄ）のプロットとして表すことができる、アナログ・オーディオ・ストリームのディジタル化表現である。図５に示すディジタル・アクティブ化パターンは一例に過ぎず、このパターンは、図４のフローチャートに関して先に説明したように、発話され処理されるアクティブ化フレーズに依存して様々に変化する。
【００６５】
図４のステップによって、１つのアクティブ化フレーズを生成し格納することができる。あるいは、多数のアクティブ化フレーズを生成し格納することもできる。注記したように、１人のユーザーが、同じフレーズの多数回の発声から得られる多数のディジタル化アクティブ化フレーズを生成することもできる。あるいは、異なるユーザーが異なるアクティブ化フレーズを生成することもできる。例えば、家族またはグループの構成員が各々システム１０を用いる場合、各ユーザーが彼／彼女自身のアクティブ化フレーズ（１つまたは複数）を生成し格納することもできる。各ユーザーによって生成および格納されたアクティブ化フレーズは、互いに同一でも、互いに異なってもよい。
【００６６】
このような実施形態では、各ユーザーは、彼らの特定のアクティブ化フレーズに基づいて認識されることが可能になる。つまり、システムがアクティブ化するとき、例えば、個人専用の挨拶をするというように、識別されたユーザーに合わせて、ＮＵＩシステム１０を個人用に設定することができる。更に、このような実施形態では、待機アクティブ化ユニット４６４が、知覚されたアクティブ化フレーズから識別されたユーザーに基づいて、異なる行為(action)を行うこともできる。一例として、子供が計算デバイス１２を使うことを親が欲しない特定の時間には、子供からのアクティブ化コマンドを無視するように、計算デバイス１２を設定することもできる。
【００６７】
アクティブ化フレーズがユーザーによってディジタル・アクティブ化パターンとして、予めプログラミングされたかまたは格納された後、ユーザーはこのアクティブ化フレーズを用いて、計算デバイス１２を待機モードからアクティブ・モードにアクティブ化することができる。図６は、アクティブ化フレーズを用いて計算デバイス１２をアクティブ化するステップのシーケンスを示し、図７は、アクティブ化フレーズを用いて計算デバイス１２をアクティブ化するためのコンポーネントを示すブロック図である。図７は、待機アクティブ化ユニット４６４に結合された１つ以上のマイクロフォン４６２を示す。待機アクティブ化ユニット４６４は、マイクロプロセッサー４６８と不揮発性メモリ４７０とを含む。マイクロフォン４６２は計算デバイス１２内に設けられてもよく、または図２に関して先に説明した１つ以上のマイクロフォン３０であってもよい。更に、図７は電源４７４も示す。電源４７４は、計算デバイス１２の全てのコンポーネントに電力を供給する。計算デバイス１２がアクティブ・モードにあるときは、これらのコンポーネントには、１つ以上のマイクロフォン４６２、待機アクティブ化ユニット４６４、およびＣＰＵ１０１／２５９が含まれる。電源４７４は、計算デバイス１２が待機モードにあるときには、電力を１つ以上のマイクロフォン４６２および待機アクティブ化ユニット４６４に供給する。
【００６８】
先に注記したように、待機アクティブ化ユニット４６４は、１つのチップ上システム上に実現することもできる。あるいは、マイクロプロセッサー４６８およびメモリ４７０が互いに通信する別個のコンポーネントであってもよい。更に他の実施形態では、別個のマイクロフォン４６８を省略してもよく、代わりに、以下で説明する待機アクティブ化プロセスが、システム１０のＣＰＵ（図３Ａのマルチメディア・コンソール１００のＣＰＵ１０１、または図３Ｂの計算環境２２０のＣＰＵ２５９）によって実行される。このような実施形態では、ＣＰＵ１０１／２５９は、計算デバイス１２が待機モードにあるとき、例えば、０．５ワットの待機電力を受電する。待機電力モードにあるとき、ＣＰＵ１０１／２５９は、限定された処理能力を有する。次いで、計算デバイス１２がアクティブ化されると、ＣＰＵ１０１／２５９はより高い電力で実行し、最大のシステム機能を提供する。
【００６９】
更に他の実施形態では、別個のメモリ４７０を省略してもよく、代わりに、アクティブ化フレーズの格納は、例えば、マルチメディア・コンソール１００のＲＯＭ１０６、または計算環境２２０のＲＯＭ２２３のような、計算デバイス１２内にある他の不揮発性メモリによって行うこともできる。このような実施形態では、待機モードで動作するときには不揮発性メモリの小部分のみがプロセッサーに利用可能にするように、ＲＯＭ１０６／２２３をセグメント化してもよい。
【００７０】
これより図６のフローチャートを参照すると、１つ以上のマイクロフォン４６２が周囲環境を監視して、オーディオ・ストリームを待つ。ステップ４２４において音が検出された場合、ステップ４３０においてオーディオをフィルター処理する。例えば、マルチチャネル・エコー・キャンセレーション技法を用いて、受け取ったオーディオ・ストリームから背景ノイズを除波することができる。ステップ４３０において受け取ったオーディオ・ストリームをフィルター処理するためには、他のノイズ除波技法を用いることもできる。
【００７１】
ステップ４３２において、Ａ／Ｄ変換器によって、受け取ったオーディオ・ストリームをディジタル化してディジタル・オーディオ・パターンを得る。次に、このパターンを、メモリ４７０に格納されたアクティブ化パターン（１つまたは複数）と比較する。この比較は、プロセッサー４６８において実行するパターン照合エンジン１９２によって実行される。ステップ４４０において、ストリーミング・ディジタル化オーディオ・パターンのいずれかの部分と、格納されたアクティブ化パターンとの間に、ある既定許容度の範囲内でパターン一致が発見された場合、パターン照合エンジン１９２は、デバイスをアクティブ化するように、最大電力を計算デバイス１２に供給するための信号を電源４７４に送る。
【００７２】
一方、ステップ４４０においてパターン一致が見つからなかった場合、パターン照合エンジン１９２は、ステップ４４４において、受け取ったディジタル化オーディオ・パターンの更なる処理を試みることができる。パターン一致が見つからない場合（ステップ４４０）、そしてパターン照合エンジン１９２がこれ以上オーディオ・パターンを処理することができない場合（ステップ４４４）、計算デバイス１２は待機電力モードに留まり、本フローはステップ４２０に戻って、他のオーディオを待つ。ステップ４４４において、パターン照合エンジン１９２が受け取ったディジタル化オーディオ・パターンを更に処理することができる場合、ステップ４４６においてこのオーディオ・パターンを処理し、ステップ４４０においてこれを再度格納されたアクティブ化パターン（１つまたは複数）と比較する。
【００７３】
ステップ４４６において受け取ったディジタル化オーディオ・パターンに対して実行することができる処理の一例として、パターン照合エンジン１９２は、受け取ったオーディオ・パターンを時間的に伸張および／または収縮して、格納されたアクティブ化パターン（１つまたは複数）と一致するか否か調べることもできる。格納されたアクティブ化パターン（１つまたは複数）と一致するか否か調べるためには、種々のフィルターおよびノイズ・キャンセレーション技法をオーディオ・パターンに適用することもできる。オーディオ・パターンの他の処理も考えられる。
【００７４】
ステップ４４６に関して説明したオーディオ・パターンの処理は、以上で説明したフローの代わりにまたはそれに加えて、ステップ４３６においてディジタル・オーディオ・パターンを格納されたディジタル・アクティブ化パターン（１つまたは複数）と比較する前に行われてもよい（ステップ４４６における処理は、ステップ４４０において比較によって一致が見つからなかった後にのみ実行される）。また、ステップ４４４および４４６を省略してもよいことも考えられる。この実施形態では、オーディオ・パターンの処理は行われない。ステップ４４０において、受け取ったディジタル・オーディオ・パターンと格納されたアクティブ化フレーズ（１つまたは複数）との間に一致が見つからない場合、デバイス１２はアクティブ化されない。
【００７５】
ステップ４４０においてパターン一致が見つかった場合、ステップ４５０において計算デバイス１２をアクティブ化する。この時点において、待機アクティブ化ユニット４６４は、最大電力を計算デバイス１２に供給するように電源に通知し、こうして全てのデバイス・リソースが利用可能になる。
【００７６】
[音声、例えば、アクティブ化フレーズを認識することができる豊富な音声認識システムが知られている。しかしながら、音声認識システムは、待機電力モードにおいて計算デバイス１２に利用可能な処理パワー量よりも多くの処理パワー量を必要とする。一方、待機アクティブ化ユニット４６４が行う比較は、受け取ったディジタル化オーディオ・パターンと１つ以上の格納されたアクティブ化フレーズとに限定され、比較的少量の処理パワーしか必要とせず、例えば、０．５ワットの電力が利用可能な待機モードでも実行することができる。
【００７７】
ステップ４３６における、受け取ったオーディオ・パターンと様々な格納されたアクティブ化パターンとの比較は、プロセッサー４６８によって大量の電力を消費することもあり得る。同様に、ステップ４４６において、受け取ったオーディオ・パターンの多大な(significant)処理が、プロセッサー４６８による大量の電力を消費する可能性がある。本システムの特定の実施態様が低い待機電力レベルで動作する場合、様々な格納されたアクティブ化パターンおよび受け取ったオーディオ・パターンの多大な処理の双方を有することは不可能な場合がある。この場合、異なる実施形態では、リソースの割り当てを異ならせることもできる。例えば、一実施形態では、多数の格納されたアクティブ化パターン、および受け取ったディジタル化オーディオ・パターンの比較的少ない処理を有するのでもよい。逆に、他の実施形態では、１つまたは比較的少数の格納されたアクティブ化パターンだけを有するが、受け取ったディジタル化オーディオ・パターンの処理を一層ロバストにして実行するのでもよい。格納されたアクティブ化パターンの数および長さ、ならびに受け取ったオーディオ・パターンに利用可能な処理量は、計算デバイス１２が待機電力モードにあるときにこれらの処理に利用可能な電力量に基づいて設定することができる。
【００７８】
先に注記したように、ある許容度の範囲内で２つのディジタル・パターンが互いに一致した場合に、受け取ったオーディオ・パターンは、格納されたアクティブ化パターンと一致したと見なすことができる。ここで、許容度とは、受け取ったディジタル化オーディオ・パターンが格納されたアクティブ化パターンと一致する必要がある度合いを言う。許容度は、異なる実施形態毎にいくつかの異なる方法で測定されてもよい。許容度は、ディジタル化オーディオ・パターンと格納されたアクティブ・パターンとにおける各データ点間で測定することができ、各点が、または全ての点を纏めて、何らかの既定の振幅差未満であることが要求される。あるいは、ディジタル化オーディオ・パターンおよび格納されたアクティブ化パターンにおけるデータ点のグループ間で比較を行ってもよい。
【００７９】
一例では、ディジタル化オーディオ・パターンと格納されたアクティブ化パターンとの間における一致が完全、またはほぼ完全でなければならないことが考えられる。しかしながら、同じ人物が同じフレーズを異なる時点では異なって発声することもあるので、完全な一致を要求すると、ユーザーが計算デバイス１２をアクティブ化しようとするのが難しくなる可能性がある。このため、実施形態では、許容度を比較的低くすることができる。これによって、擬陽性のアクティブ化が生ずる場合もある。即ち、真のアクティブ化フレーズが供給されなかったときに、待機アクティブ化ユニット４６４が計算デバイス１２をアクティブ化する。これは、ユーザーが計算デバイス１２をアクティブ化する意図がある場合を取り込むが、ユーザーがいないとき、またはユーザーが計算デバイス１２をアクティブ化する意図がないときにもシステムをアクティブ化する場合もある。
【００８０】
擬陽性(false positive)のアクティブ化が起こるように許容度を低くする場合、本システムの実施形態は、更に、アクティブ化確認プロセスを含むことができる。その一例を、図６のステップ４５４および４５６に示す。先に注記したように、豊富な音声認識エンジンは、待機モードで利用可能な弱い(sparse)電力では動作できない場合がある。しかしながら、一旦先に説明したように待機アクティブ化ユニット４６４によって計算システム１２がアクティブ化されたなら、音声認識エンジン１９４（図２）は、ステップ４５４において、ユーザーが実際に正しいアクティブ化フレーズを発話したか否か確認することができる。発話した場合、計算デバイスはアクティブ化されたままでいることができる。発話しなかった場合、ステップ４５６において、待機モードに戻るために、電源４７４に信号を送ることができる。次いで、本フローはステップ４２０に戻り、再度可能なアクティブ化フレーズを待つ。
【００８１】
ステップ４５４において、音声認識エンジン１９４は、ステップ４２０において受け取ったアナログ・オーディオ・ストリームを処理して、適正なアクティブ化フレーズが発話されたか否か判断することができる。あるいは、アクティブ化された計算デバイス１２が、音声認識エンジン１９４による分析のために、ユーザーに追加のフレーズを発話するように促すこともできる。音声認識エンジンは、待機アクティブ化ユニット４６４によって実行されるパターン照合よりも精緻化されたアルゴリズムを用いて、遙かに高い確実度でアクティブ化を確認することもできる。
【００８２】
尚、他の実施形態では、アクティブ化確認プロセスが、音声認識エンジン１９４の代わりにまたはこれに加えて、コンポーネントおよび／またはソフトウェア・エンジンを用いてもよいことは言うまでもない。例えば、一旦アクティブ化されたなら、ユーザーに、既定のアクティブ化確認ジェスチャーを行うように促すことができ、このジェスチャーがＮＵＩシステム１０によって認識され、計算システム１２をアクティブ化しシステム１０と対話処理することをユーザーが望むことを確認する。他のアクティブ化確認プロセスも考えられる。
【００８３】
更に、ステップ４５４および４５６の確認プロセスを纏めて省略してもよいことは言うまでもない。確認プロセスが省略される場合、計算デバイス１２は、アクティブ化フレーズを受けたことを確信することを検出したときに、アクティブ化することができる。次いで、所定の時間期間内にシステム１０との他の対話処理が検出されない場合、計算デバイス１２は再度待機電力モードに入るのでもよい。
【００８４】
以上で明記した実施形態の見本(sample)は、ＮＵＩシステム１０の計算デバイス１２内部に含まれる待機アクティブ化ユニット４６４について説明した。しかしながら、注記したように、待機アクティブ化ユニット４６４は、図３Ａおよび図３Ｂにおいてそれぞれ説明したような汎用ゲーミング・コンソールまたは計算環境を含む、他の電気デバイスの一部として設けられてもよい。このようなシステムは、ＰＣ、ラップトップ、スマート・フォン、コントローラー、および／または他のハンドヘルド計算デバイスであってもよい。更に他の実施形態では、待機アクティブ化ユニット４６４が、限定ではないが、洗濯機／乾燥機、コーヒー・メーカー、テレビジョンおよびステレオ・システム、ならびに電気ガレージ・ドア(electric garage door)というような、電気アプライアンス内に含まれてもよい。待機アクティブ化ユニットを有する電気デバイスは、更に、自動車、不法目的侵入者警報システム、および発光システムを含むこともできるが、これらに限定されるのではない。尚、他の実施形態では、パターン照合を用いる待機アクティブ化ユニット４６４が、多種多様な他の電気デバイスにおいて用いられてもよいことは言うまでもない。
【００８５】
以上で説明した実施形態は、計算デバイス１２の近傍内でオーディオを検出する１つ以上のマイクロフォンを開示する。しかしながら、待機アクティブ化ユニット４６４を含むデバイスが、待機電力モードで動作するときに、データ・ストリームの送信を送出するおよび／または受信することもできる場合もあり得る。このような実施形態では、オーディオ・ソースが計算デバイス１２から離れていてもよいことが考えられる。
【００８６】
例えば、オーディオ・ソースを第１の位置において検出し、次いで第２の位置にあるデバイスまで、例えば、ワイヤレス・ネットワーク、ローカル・エリア・ネットワーク、ブロードバンド・ネットワーク、および／またはインターネットというようなネットワークを通じて送信するのでもよい。オーディオ・ソースを第１または第２の位置においてディジタル化および／または処理してもよい。その後、第２の位置にあるデバイス内の待機アクティブ化ユニット４６４が、以上で説明した照合比較を実行して、第１の位置にあるデバイスから受信したオーディオが適正なアクティブ化フレーズであるか否か判定することもできる。適正なアクティブ化フレーズである場合、第２の位置にあるデバイスをアクティブ化することができる。代わりに、第２の位置にあるデバイスが第１の位置にあるデバイスに送信(transmission)を返送し、あるいは第１または第２の位置とは異なる第３の位置にあるデバイスに送信を送り、第１または第３の位置にあるデバイスをアクティブ化することもできる。
【００８７】
以上の本発明のシステムの詳細な説明は、例示および説明の目的に限って提示されたのである。これが、網羅的であることも、開示された形態そのものに本発明のシステムを限定することも意図していない。以上の教示に照らすと、多くの変更や変形が可能である。説明した実施形態は、本システムの原理およびその実用的用途について最良に説明することによって、当業者が本発明のシステムを種々の実施形態において、そして考えられる個々の使用に適するような種々の変更と共に最良に利用することを可能にするために選択されたのである。本システムの範囲は、添付される特許請求の範囲によって定められるものとする。
【図１Ａ】
2015508516.tif 000003
【図１Ｂ】
2015508516.tif 000004
【図２】
2015508516.tif 000005
【図３Ａ】
2015508516.tif 000006
【図３Ｂ】
2015508516.tif 000007
【図４】
2015508516.tif 000008
【図５】
2015508516.tif 000009
【図６】
2015508516.tif 000010
【図７】
2015508516.tif 000011
【国際調査報告】
2015508516.tif 000012
2015508516.tif 000013