(57)【要約】  本発明は、対話型コンピュータアプリケーションを制御するためのシステム、方法、および関連するデバイスに関し、システムは、対話型コンピュータアプリケーションを実行するように構成されたアプリケーション実行部分を含む。本発明のシステムは感知部分をさらに含み、感知部分は、感知部分のキャプチャ区域内の人の存在および動作の少なくとも一方を検出するように構成される。アプリケーション実行部分は、さらに、感知部分のキャプチャ区域内に人を最初に検出したときにアプリケーションを休止モードから受動／制御発見アプリケーションモードに切り替えることができ、人の存在が既定の期間の間検出される場合、アプリケーション実行部分は、アプリケーションを受動発見モードから対話モードに切り替えるように追加として構成され、アプリケーションが対話モードにある場合、アプリケーション実行部分は、アプリケーションのための制御コマンド／アプリケーションの制御コマンドとして人の動作を解釈するように構成される。
2015504204.tif 000002
【特許請求の範囲】
【請求項１】
対話型コンピュータアプリケーションを制御するためのシステムであって、前記システムがアプリケーション実行部分（ＰＰ）を含み、前記対話型コンピュータアプリケーションを実行するために前記システムが、
感知部分（ＳＰ）であり、前記感知部分（ＳＰ）のキャプチャ区域内の人の存在および動作の少なくとも一方を検出するように構成される、感知部分（ＳＰ）と、
前記感知部分の前記キャプチャ区域内に人を最初に検出したときに前記アプリケーションを休止モードから受動制御発見アプリケーションモードに切り替えるようにさらに構成された前記アプリケーション実行部分（ＰＰ）であり、前記人の前記存在が既定の期間の間検出される場合、前記アプリケーション実行部分（ＰＰ）が、前記アプリケーションを前記受動発見モードから対話モードに切り替えるように追加として構成され、前記アプリケーションが前記対話モードにある場合、前記アプリケーション実行部分（ＰＰ）が、前記アプリケーションのための制御コマンド／前記アプリケーションの制御コマンドとして前記人の動作を解釈するように構成される、前記アプリケーション実行部分（ＰＰ）と
をさらに備える、対話型コンピュータアプリケーションを制御するためのシステム。
【請求項２】
前記感知部分（ＳＰ）が、カメラを含み、前記カメラは前記カメラの前記キャプチャ区域の人の存在および動作を検出するように構成されている、請求項１に記載の対話型コンピュータアプリケーションを制御するためのシステム。
【請求項３】
前記感知部分（ＳＰ）が、前記カメラの前記キャプチャ区域の人の存在および動作を検出するためにデプスカメラを含む、請求項１に記載の対話型コンピュータアプリケーションを制御するためのシステム。
【請求項４】
前記対話型コンピュータアプリケーションが対話型広告アプリケーションである、請求項１に記載の対話型コンピュータアプリケーションを制御するためのシステム。
【請求項５】
前記対話型コンピュータアプリケーションが対話型ゲームアプリケーションである、請求項１に記載の対話型コンピュータアプリケーションを制御するためのシステム。
【請求項６】
前記対話型コンピュータアプリケーションが対話型マルチメディアレンダリングアプリケーションである、請求項１に記載の対話型コンピュータアプリケーションを制御するためのシステム。
【請求項７】
前記感知部分の前記キャプチャ区域内に人を最初に検出した後で前記受動制御発見アプリケーションモードにある前記対話型コンピュータアプリケーションが、結合されたディスプレイに前記人を表示する、請求項１に記載の対話型コンピュータアプリケーションを制御するためのシステム。
【請求項８】
コンピュータアプリケーションを制御する方法であって、前記コンピュータアプリケーションがアプリケーション実行部分によって実行され、
ａ．センサのカメラキャプチャ区域内の人の存在を検出するステップと、
ｂ．感知部分の前記キャプチャ区域内に人を最初に検出したときに前記アプリケーションを休止モードから受動制御発見アプリケーションモードに切り替えるステップと、
ｃ．前記人の前記存在が既定の期間の間検出される場合、前記アプリケーションを前記受動発見モードから対話モードに切り替えるステップと、
ｄ．前記アプリケーションが前記対話モードにある場合、前記人の検出された動作を前記アプリケーションの制御コマンドとして解釈するステップと
を含む、方法。
【請求項９】
請求項１に記載のシステムで使用するためのコンピューティングデバイスであって、前記デバイスがアプリケーション実行部分（ＰＰ）を含み、前記対話型コンピュータアプリケーションを実行するために前記デバイスが、
前記感知部分（ＳＰ）によって検出されたキャプチャ区域内の人の存在および動作の少なくとも一方を受け取るように構成された感知受取り部分（ＳＰ）と、
前記感知部分の前記キャプチャ区域内に人を最初に検出したときに前記アプリケーションを休止モードから受動制御発見アプリケーションモードに切り替えるようにさらに構成された前記アプリケーション実行部分（ＰＰ）であり、前記人の前記存在が既定の期間の間検出される場合、前記アプリケーション実行部分（ＰＰ）が、前記アプリケーションを前記受動発見モードから対話モードに切り替えるように追加として構成され、前記アプリケーションが前記対話モードにある場合、前記アプリケーション実行部分（ＰＰ）が、前記アプリケーションのための制御コマンド／前記アプリケーションの制御コマンドとして前記人の動作を解釈するように構成される、前記アプリケーション実行部分（ＰＰ）と
をさらに備える、コンピューティングデバイス。
【請求項１０】
前記対話型コンピュータアプリケーションが対話型広告アプリケーションである、請求項９に記載の対話型コンピュータアプリケーションを制御するためのコンピューティングデバイス。
【請求項１１】
前記対話型コンピュータアプリケーションが対話型ゲームアプリケーションである、請求項９に記載の対話型コンピュータアプリケーションを制御するためのコンピューティングデバイス。
【請求項１２】
前記対話型コンピュータアプリケーションが対話型マルチメディアレンダリングアプリケーションである、請求項９に記載の対話型コンピュータアプリケーションを制御するためのコンピューティングデバイス。
【請求項１３】
前記感知部分の前記キャプチャ区域内に人を最初に検出した後で前記受動制御発見アプリケーションモードにある前記対話型コンピュータアプリケーションが、結合されたディスプレイに前記人を表示する、請求項９に記載の対話型コンピュータアプリケーションを制御するためのコンピューティングデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータアプリケーションの対話型制御のための方法、関連するシステム、および関連するデバイスに関する。
【背景技術】
【０００２】
対話型アプリケーションがコンピュータシステム上で走っている対話型コンピュータアプリケーションの制御のためのそのような方法およびシステムは、当技術分野でよく知られている。そのような対話型コンピュータアプリケーションは、人が明確な開始コマンドを与えない場合、当初は休止状態で走っており、明確な開始コマンドは、例えば、コンピュータシステムでのボタン押し、またはそのような対話型コンピュータアプリケーションのアプリケーションインタフェースでの接触とすることができる。
【０００３】
カメラベース対話型アプリケーションシステムは、壁または床の映写と組み合わせることができる。しかし、現在、カメラベース対話型アプリケーションシステムは受動対話性のためにのみ使用されており、それは、歩行者がカメラのキャプチャ区域に入る場合、人が直接影響を及ぼすことができない何かが起こることを意味する。それは、大部分は一種の運動検出に基づく。カメラを介する実際の対話は、自然で直観的な人間の身振りの検出を必要とする。
【０００４】
そのような解決策は、潜在ユーザがボタンを押すことによるアプリケーションの明確な開始を依然として必要とするが、そのような潜在ユーザの参加者は、対話型コンピュータアプリケーションの存在に気づいていないことさえあり、気づいている場合、開始するのにどんな操作が必要であるかを知らないことがよくある。
【０００５】
この技術の問題は、潜在ユーザがコンピュータアプリケーションの存在およびその可能性に必ずしも気づいているとは限らないので、アプリケーションを開始するのにアプリケーションの潜在参加者またはユーザの明確な承認なしにどのようにコンピュータアプリケーションの制御を開始するかである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、上述の知られているタイプのアプリケーション制御方法およびシステムおよび関連するコンピューティングデバイスを提供することであり、しかし、制御はより柔軟でより直観的な方法で起動することができる
【課題を解決するための手段】
【０００７】
本発明によれば、この目的は、請求項１に記載のシステム、請求項８に記載の方法、請求項９に記載の関連するデバイスによって達成される。
【０００８】
実際には、本発明によれば、この目的は、存在および運動感知部分のキャプチャ区域の人の存在を最初に検出することによって、対話型コンピュータアプリケーションは、初期の休止モードから第２の受動制御発見アプリケーションモードに切り替えられ、その後、この人の存在がある一定の既定の期間の間依然として検出される場合、アプリケーションは第２の受動発見モードから第３の対話モードに切り替えられることによって達成され、存在が検出された人の身振りおよび動作が対話型アプリケーションの制御コマンドとして解釈され受け入れられ、人が感知部分のキャプチャ区域内にある一定の既定の期間の間とどまることが、アプリケーションと対話することへの興味として受け入れられ、結果として、対話型コンピュータアプリケーションとの対話の確認の役目をする。
【０００９】
本発明のさらなる特有の特徴が請求項２に記載される。
【００１０】
感知部分は、前記カメラのキャプチャ区域内の人の存在および動作を検出するように構成されたカメラを含む。
【００１１】
本発明のさらなる特有の特徴が請求項３に記載される。
【００１２】
感知部分（ＳＰ）は、前記カメラの前記キャプチャ区域の人の存在および動作を検出するためにデプスカメラを含む。そのようなデプスカメラは赤外線カメラとすることができる。その上、赤外線に基づくそのようなデプスカメラは、光の入射と関係なく暗い区域でその機能を行うことができる。
【００１３】
さらに、本発明のさらなる特有の特徴が請求項４および請求項１０に記載される。
【００１４】
対話型コンピュータアプリケーションは、対話型広告アプリケーションであり、システムは、広告掲示板であるインタフェースをさらに含むこともあり、含まないこともある。
【００１５】
さらに、本発明のさらなる特有の特徴が請求項５および請求項１１に記載される。
【００１６】
対話型コンピュータアプリケーションは対話型ゲームアプリケーションであり、対話型アプリケーションはゲーム掲示板であるインタフェースを含むことができる。代替として、インタフェースは任意のディスプレイとすることができる。
【００１７】
本発明の別のさらなる特有の特徴が請求項６および請求項１２に記載される。
【００１８】
対話型コンピュータアプリケーションは対話型マルチメディアレンダリングアプリケーションであり、対話型アプリケーションは、ゲーム掲示板であるインタフェースを含むことができる。代替として、インタフェースは任意のディスプレイとすることができる。
【００１９】
さらに、本発明のさらなる特有の特徴が請求項７および請求項１３に記載される。
【００２０】
感知部分のキャプチャ区域内に人を最初に検出した後で前記受動制御発見アプリケーションモードにある対話型コンピュータアプリケーションは、結合されたディスプレイに前記人を表示する。対話型アプリケーションは、例えば、結合されたディスプレイまたは掲示板にプレーヤーのアバターを示すことができる。したがって、検出された人は、実際の対話性への手引きを見ることになる。そのようなアバターの提示で、人は、示されたコンテンツへのある種類の影響または操作に気づくことになる。
【００２１】
特許請求の範囲において使用される「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、その後に列記される手段に限定されると解釈されるべきでないことに注意されたい。したがって、「手段ＡおよびＢを備えるデバイス」という表現の範囲は構成要素ＡおよびＢのみで構成されるデバイスに限定されるべきでない。それは、本発明に関して、デバイスの単に関連する構成要素がＡおよびＢであることを意味する。
【００２２】
同様に、特許請求の範囲においても使用される「結合された（ｃｏｕｐｌｅｄ）」という用語は、直接的な接続のみに限定されると解釈されるべきでないことに注意されたい。したがって、「デバイスＢに結合されたデバイスＡ」という表現の範囲は、デバイスＡの出力がデバイスＢの入力に直接接続されているデバイスまたはシステムに限定されるべきでない。それは、他のデバイスまたは手段を含む経路とすることができる、Ａの出力とＢの入力との間の経路が存在することを意味する。
【００２３】
添付図面に関連して行われる実施形態の以下の説明を参照することによって、本発明の上述および他の目的および特徴はより明らかになり、本発明自体は最もよく理解されるであろう。
【図面の簡単な説明】
【００２４】
【図１】本発明によるアプリケーション切替え方法が局所的に実行される本発明のモバイルデバイスの空間の概観を示す図である。
【図２】本発明による対話型コンピュータアプリケーションの制御が実行される、コンピューティングデバイスＣＤと感知部分とを含むシステムを示す図である。
【発明を実施するための形態】
【００２５】
以下のパラグラフでは、図面を参照して、本発明による対話型コンピュータアプリケーションを制御する方法、関連するシステム、および関連するデバイスの実施態様が説明される。
【００２６】
この説明の第１パラグラフでは、図２に示されるようなコンピューティングデバイスＣＤの主要な機能部分が説明される。第２パラグラフでは、前に述べた要素と説明した部分との間のすべての接続が定義される。続くパラグラフでは、セッション確立のためのアプリケーション切替え方法の実際の実施が説明される。
【００２７】
本発明の第１の必須な要素は感知部分ＳＰであり、感知部分ＳＰは、感知部分ＳＰのキャプチャ区域内の人の存在および動作の少なくとも一方を検出するように構成される。この感知部分は、一般に知られているカメラとするか、または赤外線カメラのようなデプスカメラとすることができる。
【００２８】
そのような感知部分ＳＰの特性は、それがある一定のキャプチャ区域を有することであり、キャプチャ区域は、感知部分が人の存在およびそのような人の動作を検出することができる限定された領域である。このキャプチャ角度は、特に、カメラレンズの角度により制限される。図１のキャプチャ区域はＣＡで表示され、キャプチャ区域の外側の区域はＮＣＡとして表示される。
【００２９】
本発明のさらなる関連要素は、対話型コンピュータアプリケーションを実行するようにまず最初に構成されるアプリケーション実行部分ＰＰをまず最初に含むコンピューティングデバイスである。アプリケーション実行部分ＰＰは、感知部分ＳＰ、すなわち、カメラのキャプチャ区域内に人を最初に検出したときにアプリケーションを休止モードから受動制御発見アプリケーションモードに切り替えるようにさらに構成される。その上、アプリケーション実行部分ＰＰは、人の存在が初期の存在検出から既定の期間の間検出される場合、対話型アプリケーションを対話型コンピュータアプリケーションの受動制御発見アプリケーションモードから対話モードに切り替えるように構成される。対話型コンピュータアプリケーションは、アプリケーションが対話モードにある場合のみ、アプリケーション実行部分ＰＰを用いて、前記人の動作をアプリケーションの制御コマンドとして解釈することができる。対話型コンピュータアプリケーションが休止モードにある場合、アプリケーションはいかなる対話性も提供しないが、マルチメディアアプリケーションの場合、ゲームアプリケーションまたは広告アプリケーションは、連続的に走って繰り返す基本的で標準のプレゼンテーションを提供する。
【００３０】
対話型コンピュータアプリケーションが受動発見モードにある後続の場合、アプリケーションは依然としていかなる対話性も提供しないが、マルチメディアアプリケーションの場合、ゲームアプリケーションまたは広告アプリケーションは、例えば、マルチメディアショー、ゲーム、または広告である対話型コンピュータアプリケーションに参加するように検出された人を招く基本的で標準のプレゼンテーションを提供する。
【００３１】
コンピューティングデバイスＣＤは、感知部分から信号を受け取るように構成された受取り部分をさらに含み、信号は、キャプチャ区域内にいる検出された人に関する存在および／または動作情報を含む信号である。感知部分がカメラである場合、信号は、例えば、カメラによって記録される映像信号である。
【００３２】
コンピューティングデバイスは、例えば、ディスプレイまたは掲示板であるユーザインタフェース部分ＵＩＰに接続するように構成された、デバイスインタフェース部分ＤＩＰをさらに含む。
【００３３】
ユーザインタフェース部分ＵＩＰは、例えば、マルチメディアレンダリング、ゲームレンダリング、または広告レンダリングである対話型コンピュータアプリケーションの情報がレンダリングされるシステムのユーザインタフェースである。
【００３４】
コンピューティングデバイスＣＤの受取り部分ＲＰは入力端子を有し、それは同時にコンピューティングデバイスＣＤの入力端子である。受取り部分ＲＰはアプリケーション実施部分ＡＥＰにさらに結合され、アプリケーション実施部分ＡＥＰは、次に、デバイスインタフェース部分ＤＩＰにさらに結合される。デバイスインタフェース部分ＤＩＰは出力端子をさらに有し、それは同時にコンピューティングデバイスＣＤの出力端子である。
【００３５】
本発明の実施を説明するために、ある歩行者がカメラのキャプチャ区域（図１参照）の外にいると仮定して、その歩行者が、対話型コンピュータおよび関連する掲示板アプリケーションを制御するために本発明のシステムの方向に歩いていることが仮定される。現在の状況で人がカメラによって検出されていないとき、人は、まだキャプチャ区域の外に、すなわち、ＮＣＡで表示された区域にいるので、対話型コンピュータアプリケーションは休止モードにあり、したがってアプリケーションはいかなる対話性も提供しない。対話型コンピュータアプリケーションがマルチメディアアプリケーション、ゲームアプリケーション、または広告アプリケーションである場合、対話型アプリケーションは、連続的に走って繰り返す基本的で標準のプレゼンテーションを提供する。
【００３６】
１つの可能なシナリオは対話型ゲーム掲示板である。この掲示板は３つの状態を有し、その状態は対話性の種類で異なる。カメラのキャプチャ区域内に誰も検出されない状態では、標準の広告ループが掲示板上で走っている。この区域に誰かが現われる場合、カメラは人を発見し、追跡し、見張ることになる。今では、対話性が可能であり、人がその一部となりうることを人に示すために、掲示板は受動的な方法で反応することになる。
【００３７】
その後、歩行者は、本発明のシステムに結合された掲示板に近づき、その結果、結合された感知部分、すなわち、カメラのキャプチャ区域ＣＡに入る。感知部分はキャプチャ区域ＣＡの歩行者の存在を検出し、すなわち、カメラは、歩行者の存在をキャプチャし、画像をコンピューティングデバイスＣＤの受取り部分ＲＰを介してアプリケーション実行部分ＰＰに送り、アプリケーション実行部分ＰＰは、引き続き、例えば人の顔または骨格を検出することによって、感知部分のキャプチャ区域に人を最初に検出したときにアプリケーションを休止モードから受動制御発見アプリケーションモードに切り替える。
【００３８】
受動制御発見アプリケーションモードにある対話型コンピュータアプリケーションは、対話型アプリケーションが、例えば、結合されたディスプレイまたは掲示板にプレーヤーのアバターを示すことができることは別として、依然としていかなる対話性も提供しない。したがって、検出された人は、本当の対話性への導入部を見ることになる。そのようなアバターの提示で、人は、示されたコンテンツへのある種類の影響または操作に気づくことになる。
【００３９】
マルチメディアアプリケーションの場合、ゲームアプリケーションまたは広告アプリケーションは、キャプチャ区域ＣＡにいる歩行者を、例えば、マルチメディアショー、ゲーム、または広告である対話型コンピュータアプリケーションに参加するように招く基本的で標準のプレゼンテーションを提供する。この受動状態では、ユーザのアバターが掲示板に提示され、それ故に、追跡されている人への対話性のフィードバックがある。現在、その人は動くことができるが、広告との対話はない。加えて、次に、対話型アプリケーションは、キャプチャ区域の人のより多くの注意を得て、その人にアプリケーション、例えばマルチメディアアプリケーション、ゲームまたは広告アプリケーションに参加するように説得するために表示される「ねえ、あなた！プレーしませんか」のような会話を使用することができる。そのような会話は、そのような人に、その人が人として広告の一部であることを知らせるために適用することができる。会話は、マニュアルまたはガイドラインよりも個人的な直接的交流である。
【００４０】
その後、歩行者がなんらかの理由でアプリケーションと対話することに興味があり、観察区域のキャプチャ区域内にとどまる場合、アプリケーション実行部分ＰＰによって、例えば、カメラでキャプチャされた一連のフレームにおいて人の顔または骨格を見直すことによって検出された特定の期間に、人の存在が、例えば、カメラでキャプチャされた一連のフレームにおいて人の顔を見直すことによって既定の期間検出される場合、アプリケーションを受動制御発見アプリケーションモードから対話モードに切り替える。
【００４１】
対話型コンピュータアプリケーションを対話モードに切り替えた後、アプリケーション実行部分ＰＰは、人の動作をアプリケーションの制御コマンドとして解釈する。
【００４２】
コンピュータアプリケーションのこの対話モードにおいて、ユーザのすべての動作がアプリケーションの制御信号としてキャプチャされ、分析され、引き続いて解釈される。対話状態では、アプリケーション、例えばゲームは自動的に導入されて始まることになる。今では、ユーザは動いてプレーし、体の動作でゲームを制御することができる。ゲームの終了では、結果が景品としてのＱＲ（登録商標）コードと一緒に目に見える。ユーザがキャプチャ区域に静止していると、ゲームが再び始まることになる。
【００４３】
今では、人は広告を制御する。この制御により、ゲームは、いかなる小道具もなしに人間の身振りによってのみプレーすることができる。この例では、身振りは横方向の体の動作になることになる。
【００４４】
カメラは、広告ソリューションに注目している人々を認識する。興味を持っている人はアプリケーションに直接向き合うので、際立った特徴として正面の顔が使用される。
【００４５】
カメラは、広告ソリューションに注目している人々を認識する。光の入射と関係なく安定したシステムを保証するために際立った特徴として人々の骨格も使用され、対話モードではそれは正面の顔なしで対話を可能にする。
【００４６】
人が検出されると、この人は、観察区域、すなわち、キャプチャ区域を去るまで合焦され追跡され、その後、アプリケーションは対話型アプリケーションの休止モードに切り替わって戻る。
【００４７】
合焦は、信頼できる結果を発生させるために時間ベース状態機械で行われる。
【００４８】
位置およびサイズの変化のような結果の追跡は広告アプリケーションによって使用されて、表示されたコンテンツがカスタマイズされうる。
【００４９】
人が特定の期間の間検出されない場合、システムは休止モード状態に切り替わる。
【００５０】
候補およびロック状態の両方において、結果を再び検出することができず、一致したタイムアウトが終了する場合、例えば、追跡したユーザがその区域を去ったとき、アルゴリズムは初期状態に変わる。
【００５１】
ゲーム目的以外に、さらに、探索モードも好機となることがあり、腕ぬぐい（ａｒｍ  ｗｉｐｅ）のような身振りが、画像間を変更するか、または仮想物体を使用するためにｉＰｈｏｎｅスクリーンナビゲーションと同様に使用されうる。
【００５２】
さらに、対話型ゲーム掲示板のあらゆる種類の広告キャンペーンにとって、拡張現実または３Ｄ効果は現実感の拡大となる。
【００５３】
本発明の感知部分は、人の存在および運動を検出することができる任意の他のデバイスで実施することができることに留意されたい。
【００５４】
最終的な注記は、本発明の実施形態が機能ブロックに関して上述されていることである。上述で与えられたこれらのブロックの機能の説明から、これらのブロックの実施形態をよく知られた電子構成要素でどのように製造することができるかは電子デバイスを設計する当業者にとって明らかであろう。したがって、機能ブロックの内容の詳細な構成は与えられない。
【００５５】
本発明の原理が特定の装置に関連して上述されたが、本説明は単に例としてなされており、添付の特許請求の範囲で定義されるような本発明の範囲を限定するものでないことを明確に理解されたい。
【図１】
2015504204.tif 000003
【図２】
2015504204.tif 000004
【国際調査報告】
2015504204.tif 000005
2015504204.tif 000006
2015504204.tif 000007