(57)【要約】「PiMovsシステム」は、立体空間の物理的な対話の発現（physically  interactive  manifestation  of  a  volumetric  space、すなわち「PiMovs」）を提供する。幾何学フレームワークの外周は、連続するディスプレイ面で包囲され、隣接するディスプレイ面で当該外周の各セクションを覆う。更なる連続ディスプレイ面が、フレームワークの上面及び／又は下面を覆ってもよく、これらのディスプレイ面の一部のエッジも、外周上のディスプレイ面のエッジに隣接する。センサは、フレームワークの周囲の所定のゾーン内のユーザの位置及びナチュラルユーザインタフェース（ＮＵＩ）入力を追跡する。連続する立体投影が生成され、各隣接ディスプレイ面の各エッジにまたがるシームレスな包囲としてディスプレイ面を介してフレームワーク上に表示される。この立体投影は、その後、追跡されたユーザの位置及びＮＵＩ入力に自動的に適合される。
2017536715.tif 000002
【特許請求の範囲】
【請求項１】
対話的ディスプレイであって：
３６０度の幾何学フレームワークの外周を覆うように配置される連続ディスプレイ面と；
前記幾何学フレームワークの周囲の所定の半径内の１人以上の人々の位置を追跡する１つ以上の位置感知デバイスと；
前記連続ディスプレイ面上に連続立体投影を一緒に生成する１つ以上のコンピューティングデバイスであって、前記連続立体投影は、前記連続ディスプレイ面を備えるいずれかの隣接ディスプレイ面のいずれかのエッジにまたがる前記連続立体投影のシームレスな包囲を備える、１つ以上のコンピューティングデバイスと；
を具備し、
前記連続立体投影は、１人以上の人々が前記幾何学フレームワークの外側の周囲を動くときに、当該人々の動きに応答して、前記連続立体投影を動的に調整することにより、前記追跡した位置を動的に適合する、
対話的ディスプレイ。
【請求項２】
前記連続立体投影は、前記１人以上の人々が前記幾何学フレームワークの外側の周囲を動くときに、前記連続立体投影内の物体が前記１人以上の人々に対して前記幾何学フレームワーク内の空間の一貫した位置を占めるように見えるよう、前記追跡した位置を動的に適合する、
請求項１に記載の対話的ディスプレイ。
【請求項３】
前記連続ディスプレイ面は、１つ以上の隣接エッジに沿って一緒に結合されて前記幾何学フレームワークの対応するセクションを形成する、１つ以上の背面投影ディスプレイパネルを含む、
請求項１に記載の対話的ディスプレイ。
【請求項４】
１つ以上のプロジェクタが前記幾何学フレームワークの内側に配置され、前記背面投影ディスプレイパネルの対応する部分の上に前記連続立体投影の部分を投影する、
請求項３に記載の対話的ディスプレイ。
【請求項５】
前記連続立体投影が、前記幾何学フレームワークの周囲の所定のゾーン内の１人以上の人々の動きに応答して、１つ以上の所定の立体投影のセットから自動的に選択される、
請求項１乃至３のいずれかに記載の対話的ディスプレイ。
【請求項６】
前記連続立体投影は、前記幾何学フレームワークの前記外周の周囲の所定の対話ゾーン内の１人以上の人々からの１つ以上のナチュラルユーザインタフェース（ＮＵＩ）入力に動的に適合する、
請求項１、２、３又は５に記載の対話的ディスプレイ。
【請求項７】
連続立体投影を各々が含む複数の対話的ディスプレイ間のリアルタイム対話を可能にする、通信インタフェースを更に備える、
請求項１、２、３、５又は６に記載の対話的ディスプレイ。
【請求項８】
立体投影を表示するためのシステムであって：
汎用のコンピューティングデバイスと；
前記コンピューティングデバイスによって実行可能なプログラムモジュールを備えるコンピュータプログラムと；
を備え、前記コンピューティングデバイスは、前記コンピュータプログラムの前記プログラムモジュールによって：
連続立体投影が、いずれかの隣接ディスプレイ面のいずれかの隣接エッジにまたがる前記連続立体投影のシームレスな包囲を提供するように、連続する幾何学フレームワークの外周を形成する１つ以上のディスプレイ面上に前記連続立体投影を描画し、
前記幾何学フレームワークの周囲の所定の半径内の１人以上の人々のセンサデータ受け取って位置を追跡し、
前記幾何学フレームワークの周囲の前記所定の半径内の前記人々のうちの１人以上からナチュラルユーザインタフェース（ＮＵＩ）入力を受け取り、
前記追跡した位置と前記ＮＵＩ入力に応答して、前記連続立体投影を動的に適合する、
ように指示される、システム。
【請求項９】
前記連続立体投影は、前記１人以上の人々が前記幾何学フレームワークの外側の周囲を動くときに、前記連続立体投影内の物体が前記１人以上の人々に対して前記幾何学フレームワーク内の空間の一貫した位置を占めるように見えるよう、前記追跡した位置を動的に適合する、
請求項８に記載のシステム。
【請求項１０】
立体ディスプレイデバイスであって：
連続する幾何学フレームワークの外周及び上部を形成するように一緒に結合される複数の隣接ディスプレイ面と；
各隣接ディスプレイ面の各隣接エッジにまたがるシームレスな包囲として連続立体投影を描画するためコンピューティングデバイスと；
を備え、
前記コンピューティングデバイスを使用して、前記幾何学フレームワークの周囲の所定の半径内の１人以上の人々の位置を追跡するためのセンサデータを受け取り、
前記コンピューティングデバイスを使用して、前記１人以上の人々が前記幾何学フレームワークの外側の周囲を動くときに、前記連続立体投影内の物体が前記１人以上の人々に対して前記幾何学フレームワーク内の空間の一貫した位置を占めるように見えるよう、前記追跡した位置に応答して、前記連続立体投影を動的に適合する、
立体ディスプレイデバイス。
【請求項１１】
前記ディスプレイ面の１つ以上が、１つ以上の隣接エッジに沿って一緒に結合される背面投影ディスプレイパネルであり、
１つ以上のプロジェクタが前記幾何学フレームワークの内側に配置され、前記背面投影ディスプレイパネルの対応する部分の上に前記立体投影の部分を投影する、
請求項８に記載のシステム。
【請求項１２】
通信インタフェースが、請求項８に記載のシステムの複数のインスタンス間のリアルタイム対話を可能にし、複数のインスタンスの各々が連続立体投影を含む、
請求項８又は１１に記載のシステム。
【請求項１３】
前記のシステムの２つ以上の立体投影が、これらのシステム間でリアルタイム通信をする１人以上の人々の動的な立体描画を提供する、
請求項１２に記載のシステム。
【請求項１４】
前記立体投影は、前記幾何学フレームワークの周囲の前記所定の半径内の１人以上の人々のＮＵＩ入力に対してリアルタイムで反応する、仮想アバターを提供する、
請求項８、１１、１２又は１３に記載のシステム。
【請求項１５】
前記コンピューティングデバイスは、前記所定の半径内の前記人々の１人以上から、ナチュラルユーザインタフェース（ＮＵＩ）入力を受け取り、
前記コンピューティングデバイスは、前記ＮＵＩ入力の１つ以上に応答して、前記連続立体投影を動的に適合する、
請求項１０に記載の立体ディスプレイデバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
立体写真は、２つ以上のレンズを有するカメラ（又は画像キャプチャの間に動く単一のカメラ）を使用して、シミュレートされた３Ｄ画像をキャプチャするために、人の両眼視をシミュレートする。結果として得られる立体画像を、３Ｄ眼鏡等とともに用いて、ユーザにその画像の３Ｄのビューを提示することができる。関連する研究では、立体ディスプレイは、特別な機器を使用して、３Ｄオブジェクト又はモデルの３Ｄ視覚表現をユーザに提供する。
【０００２】
対照的に、パノラマ写真は、特別な機器又はソフトウェアを使用して、最大３６０度までカバーすることができる、細長い視界（field  of  view）で画像をキャプチャする。そのようなパノラマは、部屋又は空間のインテリアや壁を覆うカーブしたスクリーン上に、あるいは複数のスクリーン又はディスプレイ上に投影されてよく、その部屋や空間内にいるユーザが、あたかもそのパノラマのシーン内にいるかのようにパノラマを見ることを可能にすることができる。
【発明の概要】
【０００３】
この発明の概要の記載は、発明の詳細な説明において以下で更に説明される概念の選択を簡単な形で導入するために提供される。この発明の態様の記載は、特許請求に係る主題の主要な特徴又は本質的特徴を特定するようには意図されておらず、特許請求に係る主題の範囲を決定する際の助けとして用いられるようにも意図されていない。さらに、本明細書において先行技術の特定の欠点が指摘又は検討されることがあるが、特許請求に係る主題は、そのような先行技術における欠点のいずれか又は全てを解決又は対処する実装に限定するよう意図されていない。
【０００４】
一般に、「PiMovsシステム」は、本明細書で説明されるように、立体空間の物理的な対話の発現（physically  interactive  manifestation  of  a  volumetric  space、すなわち「PiMovs」）を実装するための様々な技術を提供する。この対話的な立体投影は、複数のユーザが、幾何学フレームワーク（geometric  framework）を覆うか、これを備える、隣接ディスプレイ面上に描画される２Ｄ及び／又は３Ｄコンテンツを見て、対話することを可能にする。
【０００５】
より具体的には、PiMovsシステムは、幾何学フレームワークの外側の外周の周囲に連続配置で配置される複数の隣接ディスプレイ面を備える対話的立体ディスプレイを提供する。さらに、１つ以上の追加のディスプレイ面が任意選択で、幾何学フレームワークの上面及び／又は下面を覆うように配置されてもよい。言い換えると、幾何学フレームワークの少なくとも外側の外周と、任意選択により上面及び／又は下面が、連続する隣接ディスプレイ面で覆われる。PiMovsシステムは、幾何学フレームワークの外部でユーザに可視となる、連続立体投影（contiguous  volumetric  projection）をディスプレイ面上に一緒に生成するコンピューティングデバイスを使用する。この立体投影は、各隣接ディスプレイ面の各エッジにまたがって連続する連続立体投影のシームレスな包囲（seamless  wrapping）を表す。
【０００６】
また、実装において、この立体投影は、幾何学フレームワークの外周を覆う（又は形成する）単一のカーブした又は柔軟な３６０度のディスプレイの表面にまたがる連続立体投影のシームレスな包囲を表すことに留意されたい。したがって、説明の目的のために、以下の議論では、時々「連続ディスプレイ面（contiguous  display  surface）」というフレーズを使用することがある。このフレーズは、幾何学フレームワークの外周を覆う（又は備える）単一のカーブした又は柔軟な３６０度のディスプレイを覆う又は備える複数の隣接ディスプレイを含む双方の場合を指すものとして定義される。
【０００７】
様々な対話シナリオ及び能力を可能にするために、PiMovsシステムは、１つ以上のカメラ又は位置感知デバイス若しくは技術を使用して、幾何学フレームワークの周囲の所定の半径内の１人以上の人々の位置を追跡する。PiMovsシステムは、連続立体投影を、幾何学フレームワークの外側の周囲の人々の追跡した位置に対してリアルタイムで自動的に適合する。これにより、これらの人々が幾何学フレームワークの外側の周囲を動くときに、連続立体投影内の物体が、その人々に対して幾何学フレームワーク内の空間の一貫した位置を占めるように見えるようになる。いずれかの隣接する画面エッジ又はディスプレイ面にまたがって遷移することを含め、物又は物体の画像又はビデオが連続ディスプレイ面の周囲を動く又は遷移するとき、その遷移もシームレスであることに留意されたい。
【０００８】
上記の要約を考慮して、本明細書で説明されるPiMovsシステムは、幾何学フレームワークの外側を覆う連続ディスプレイ面を使用して、立体空間の物理的な対話的発現を実装するための様々な技術を提供する。ちょうど説明した利点に加えて、PiMovsシステムの他の利点は、添付の図面とともに考慮するときに以下に続く詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００９】
特許請求に係る主題の具体的な特徴、態様及び利点は、以下の説明、特許請求の範囲及び添付の図面との関連でより良く理解されるであろう。
【００１０】
【図１】本明細書で説明されるように、複数のユーザが、「PiMovsシステム」の幾何学フレームワーク上に配置されるディスプレイ面を覆っている連続立体投影を見ている様子を示す例示の図である。
【００１１】
【図２】本明細書で説明されるように、幾何学フレームワークの外側を覆う連続ディスプレイ面を使用して、立体空間の物理的な対話の発現を実装するための「PiMovsシステム」の例示のアーキテクチャフロー図である。
【００１２】
【図３】本明細書で説明されるように、コンピューティング、ディスプレイ及びナチュラルユーザインタフェース（ＮＵＩ）ハードウェアを示す、PiMovsシステムの例示のハードウェアレイアウトを示す例示のアーキテクチャフロー図である。
【００１３】
【図４】本明細書で説明されるように、単一の例示の立体形状のPiMovsユニットの部分的な内部ビューであり、コンピューティングデバイスと、追跡及びＮＵＩセンサは明確性のために省略されている。
【００１４】
【図５】本明細書で説明されるように、例示のコンピューティング、投影及びＮＵＩハードウェアを示す、不定形の外周形状を有する単一の例示のPiMovsユニットの上面図である。
【００１５】
【図６】本明細書で説明されるように、PiMovsユニットの外周の周りの何らかの最小距離の固定又は調整可能な対話ゾーンを示す、単一のPiMovsユニットの上面図である。
【００１６】
【図７】本明細書で説明されるように、複数のユーザが、任意の位置から通信する個々のPiMovsユニットと対話している様子を示す例示のPiMovsエコシステムの図である。
【００１７】
【図８】本明細書で説明されるように、PiMovsシステムによって可能にされる例示のデジタルアートアプリケーション（digital  art  application）と複数のユーザが対話している様子を示す図である。
【００１８】
【図９】本明細書で説明されるように、PiMovsシステムによって可能にされる例示のデジタルアートアプリケーションと複数のユーザが対話している様子を示す図である。
【００１９】
【図１０】本明細書で説明されるように、ローカルPiMovsユニットのユーザが、PiMovsシステムによって可能にされる例示の通信アプリケーションを介して異なるPiMovsユニットの別のユーザとのコンタクトを試みている様子を示す図である。
【００２０】
【図１１】本明細書で説明されるような、ローカルPiMovsユニットのユーザが、PiMovsシステムによって可能にされる例示の通信アプリケーションを介して、リモートPiMovsユニットのユーザと通信している様子を示す図である。
【００２１】
【図１２】本明細書で説明されるような、PiMovsシステムによって可能にされる例示の位置選択アプリケーションの例を示す図である。
【００２２】
【図１３】本明細書で説明されるような、PiMovsシステムの様々な実装を達成するための例示のハードウェア及び方法を示す一般的な動作フロー図である。
【００２３】
【図１４】本明細書で説明されるようなPiMovsシステムの様々な実装を達成する際に使用される、簡略化したコンピューティング及びＩ／Ｏ能力を有する簡略化した汎用コンピューティングデバイスを示す一般的なシステム図である。
【発明を実施するための形態】
【００２４】
特許請求に係る主題の様々な実装の以下の説明は、添付の図面への参照を行う。添付の図面は、その説明の一部を形成し、特許請求に係る主題を実施することができる例示の具体的実装よって示されている。現在の特許請求に係る主題の範囲から逸脱することなく、他の実装を利用してもよく、構造的変更を行ってもよいことを理解されたい。
【００２５】
１．０  導入
【００２６】
一般に、本明細書で説明されるとき、「PiMovsシステム」は、立体空間の物理的な対話発現（physically  interactive  manifestation  of  a  volumetric  space、すなわち「PiMovs」）を実装するための様々な技術を提供する。複数のPiMovsシステムが対話して通信することがあるので、個々のPiMovsシステムは、説明の目的で「PiMovsユニット」と呼ばれることがある。
【００２７】
様々な実装において、PiMovsシステムは、幾何学フレームワークの外面を覆うように、複数のディスプレイ面（例えばモニタ、投影面又は他のディスプレイデバイス）を編成することによって達成される。幾何学フレームワークは、これらには限定されないが、ピラミッド型、立体形、円形、不定形等を含め、側壁セクション（sidewall  sections）を有し、かつ任意選択で上部及び下部セクションのいずれか又は双方を有する任意の所望の形状で実装され、これにより、任意の所望のサイズの３６０度の幾何学フレームワークを形成する。この幾何学フレームワークの外周は連続ディスプレイ面で包囲され、隣接ディスプレイ面でその外周の各セクションを覆う。
【００２８】
様々な実装において、この立体投影は、幾何学フレームワークの外周を覆う（又は形成する）単一のカーブした又は柔軟な３６０度のディスプレイの表面にまたがる連続立体投影のシームレスな包囲を表すことに留意されたい。したがって、説明の目的のために、以下の議論では、時々「連続ディスプレイ面（contiguous  display  surface）」というフレーズを使用することがある。このフレーズは、幾何学フレームワークの外周を覆う（又は備える）単一のカーブした又は柔軟な３６０度のディスプレイを覆う又は備える複数の隣接ディスプレイを含む双方の場合を指すものとして定義される。
【００２９】
PiMovsシステムは、次いで、幾何学フレームワークを備える連続ディスプレイ面の包囲を介して幾何学フレームワーク上への連続立体投影を生成し、表示する。より具体的には、PiMovsシステムは、各隣接ディスプレイ面の各境界エッジにまたがるか、あるいは幾何学フレームワークの外側を覆う又は備える単一のディスプレイの連続する面（及びその面内に存在し得る任意のシーム）にまたがるシームレスな包囲として描画されるという点で連続的である。言い換えると、連続する立体投影は、幾何学フレームワークの側面と、任意選択で上部及び／又は下部の全ての隣接エッジにまたがる。その結果、幾何学フレームワークの側壁を形成する連続ディスプレイ面の周囲の連続する立体投影の３６０度のシームレスな包囲が生じ、これは任意選択で、幾何学フレームワークの任意選択の上部及び／又は下部を交差してこれを覆う、全ての側面からの同じ立体投影のシームレスな包囲も含む。
【００３０】
この包囲は、立体投影が、隣接するディスプレイエッジにまたがって連続するという点でシームレスであると考えられることに留意されたい。したがって、ディスプレイ面が、投影又は表示能力を限定するエッジベゼル又は他の境界を含む場合、これらのディスプレイ面の対応する可視線（visible  line）又はエッジが、他の方法では連続立体投影内に存在する可能性がある。しかしながら、様々な実装において、PiMovsシステムは、各ディスプレイ面の隣接エッジがシームレスな境界と視覚的に接続するように、ベゼル又はフレームのないディスプレイを使用するか、ベゼル又はフレームのない投影ディスプレイを使用する。
【００３１】
さらに、幾何学フレームワークの外側の１つ以上の領域をモニタリングするセンサを使用して、フレームワークの所定の半径内の人々の位置及びナチュラルユーザインタフェース（ＮＵＩ）入力を追跡する。ＮＵＩ入力には、これらに限定されないが、音声入力、空中及び接触ベースのジェスチャの双方又はその組合せを含むジェスチャベースの入力、様々な面、物体又は他のユーザ上のユーザタッチ、ホバリングベースの入力又はアクション等が含まれることに留意されたい。さらに、様々な実装において、追跡及び／又はジェスチャベースの入力は、連続ディスプレイ面に表示される生き物、人、デジタルのアバター等の表現が、幾何学フレームワークの周囲の所定の半径内の１人以上の人々を追跡及び／又は映し出す移動、動き又はジェスチャを行うことができるように、ユーザの動き又はジェスチャを映し出すこと（mirroring）を含んでもよい。
【００３２】
様々な実装において、PiMovsシステムは、１人以上のユーザの追跡された位置及び／又は１つ以上のＮＵＩ入力に応答して、連続立体投影を動的に適合する。例えば様々な実装において、この動的な適合は、これらに限定されないが、立体投影を、追跡された位置及び／又は任意の１つ以上のＮＵＩ入力に適合させることを含む能力を提供する。そのような動的な適合の一例は、様々な実装において、追跡される人々が幾何学フレームワークの外側の周囲を動くときに、その追跡される人々に対して幾何学フレームワーク内の空間の一貫した位置を占めるように投影内の物体を見せるようなやり方で、リアルタイムで自動的に適合される。
【００３３】
有利には、複数のPiMovsシステムが、有線又は無線ネットワーク、あるいは他の通信リンクを介して対話してよい。そのような対話は、対話するPiMovsシステムのいずれか１つ以上への連続立体投影に関連付けられる特定の適用及び／又はコンテンツに応じて、リアルタイムであってもよく、ディレイされてもよい。したがって、いずれかのPiMovsシステムと対話するユーザは、いずれかの場所で、他のPiMovsシステムと、あるいは他のPiMovsシステムの他のユーザと対話してもよい。これらの対話するPiMovsシステムのいずれか１つ以上の任意のセクションに表示される連続立体投影の少なくとも一部は、ユーザＮＵＩ入力、ユーザ追跡及びPiMovsシステム対話の任意の組合せの間の対話に動的に適合してもよい。そのような実装の結果として得られる効果にはユーザ対話効率の改善とユーザ対話性能の向上を提供することが含まれるが、これに限定されない。
【００３４】
有利には、様々な実装において、これらの能力は、PiMovsシステムが、世界中で（及び／又は軌道（orbital）若しくは他の空間ベースの場所で）ローカルコミュニティによって接続される日常環境内に配置されるシームレスなイメージのビジョンを提供することを可能にする。したがって、PiMovsシステムは、広範な対話及び通信能力を可能にする。例えばPiMovsシステムはどこにでも配置される可能性があるので、様々な実装において、PiMovsシステムは、キュレーション（例えば芸術作品の立体表示、アウトドアイベントや美術館、国際宇宙ステーション等の）３Ｄ位置への立体ポータル、のための対話的キャンバス（interactive  canvas）を提供する。そのような実装の結果として得られる効果にはユーザ対話効率の改善とユーザ対話性能の向上を提供することが含まれるが、これに限定されない。
【００３５】
さらに、PiMovsシステムの各ユーザ又はユーザ以外のビューアーの対話経験は、連続立体投影のコンテンツ、並びにそのコンテンツに対する任意の特定のユーザ対話又は動きに依存して、状況的に（contextually）異なってよい。したがって、PiMovsシステムは、教育的、仕事関連、公的又は私的なイベント、エンターテイメント、ゲーム、通信等の交換を介して、人々又は場所を接続する公的（又は私的な）物体を提供する。多くのそのような交換では、複数のユーザは、魅惑的なローカル又はグローバルな経験又はローカル又はグローバルな経験の双方の組合せを見せることができるような連続立体投影を作成し、共有し、これらを聞き、見て、対話することができる。そのような実装の結果として得られる効果にはユーザ対話効率の改善とユーザ対話性能の向上を提供することが含まれるが、これに限定されない。
【００３６】
１．１  システム概要：
【００３７】
上記のように、PiMovsシステムの幾何学フレームワークを、任意の所望の形状で形成することができる。しかしながら、説明の目的で、以下の議論では、概して、ディスプレイ面によって覆われる４つの側面と上部を有する立方体（cube）の形で形成されるバージョンの幾何学フレームワークについて言及する。やはり、PiMovsシステムの上部及び／又は下部のディスプレイ面は任意選択であることを理解されたい。
【００３８】
例えばPiMovsシステムのテストされる実装は、「背面投影ディスプレイパネル（rear  projective  display  panels）」を定義するよう柔軟な背面投影部材（flexible  rear-projection  material）でコーティングされるクリアなアクリルパネル、あるいは他の半透明又は透明なポリマー又はガラス部材で構築される側壁と上部を使用して、立方形で構築された。１つ以上のコンピューティングデバイスの制御下で、その立方体の５つの面（この例では、立方体の下部の除く）の各々について別個のプロジェクタが立方体の内部に配置されて、各アクリルパネルの背面を覆う背面投影部材の上に画像及び／又はビデオを投影していた。しかしながら、複数の面を覆う単一のプロジェクタを使用してもよく、あるいは単一の面を覆う複数のプロジェクタを使用してもよいことを理解されたい。これらの投影された画像及び／又はビデオは、その後、立方体の外側から明確に見えるようになった。さらに、様々な追跡及びＮＵＩセンサは、立方体の近くの複数のユーザに関連して追跡し、入力を受け取ることを可能にするよう、立方体の周囲に配置された。図１は、そのような立方体の外側の芸術描画（artistic  rendering）を示している。特に、図１は、立方形のPiMovsシステム１８０の外面を形成するディスプレイ面（１３０、１４０、１５０、１６０及び１７０）を覆う、連続立体投影１２０を見ている複数のユーザ（１００及び１１０）を示す例示の図を提供している。
【００３９】
図１の立体投影１２０は、立方体の外側上のディスプレイ面（１３０、１４０、１５０、１６０及び１７０）に描画されるが、ビューアー（１００及び１１０）には、立方体の内側に表示される芸術作品として見える。立方体の各面が異なる視点から芸術作品を表示し、かつ立体投影が、この例では立方体の外周全体及び上部を完全かつシームレスに包むので、この視覚的印象が維持される。その結果、この例では、ユーザが立方体の外側の周囲を動いたとしても、立体投影は、ユーザには、立方体の内部の３Ｄ物体の描画として見える。
【００４０】
上記で要約した処理の一部が、図２の一般的なシステム図によって例示される。特に、図２のシステム図は、本明細書で説明されるような、PiMovsシステムの様々な実装を達成するための様々なハードウェアコンポーネントとプログラムモジュールとの間の相互関係を図示している。さらに、図２のシステム図は、PiMovsシステムの様々な実装の高レベルのビューを示しているが、図２は、本明細書を通して説明されるような、PiMovsシステムの全ての可能性のある実装の包括的又は完全な例を提供するように意図されていない。
【００４１】
加えて、図２において、破線又は点線によって表されていることがあるいずれかのボックス及びボックス間の相互接続は、本明細書で説明されるPiMovsシステムの代替又は任意選択の実装を表すことに留意されたい。さらに、以下で説明されるように、これらの代替又は任意選択の実装のいずれか又は全てが、本明細書の全体を通して説明される他の代替的な実装と組み合わせて使用されてもよい。
【００４２】
一般に、図２によって示されるように、PiMovsシステムによって可能にされる処理は、ディスプレイ面を包む（又はディスプレイ面から形成される）幾何学フレームワーク２００を提供することによって動作を開始する。一般に、この幾何学フレームワーク２００は、３６０度幾何学フレームワークの外周セクションと上部及び／又は下部セクションの周囲の連続的配置として配置される複数のディスプレイ面、あるいは幾何学フレームワークの外周を覆う（又は形成する）単一のカーブ型又は柔軟な３６０度ディスプレイを含む。PiMovsシステムは、次いで立体投影モジュール２１０を使用して、連続立体投影のシームレスな被覆を描画、表示及び／又は投影することにより、ディスプレイ面上に連続立体投影を生成する。そのような連続立体投影は、各隣接ディスプレイ面の各エッジにまたがって流れるか、単一の連続ディスプレイ面上に流れる。
【００４３】
追跡モジュール２２０は、様々な位置感知デバイスを使用して、幾何学フレームワークの周囲の所定の半径内の１人以上の人々の位置を追跡する。代替的に、あるいは組合せとして、ＮＵＩ入力モジュール２４０は、１つ以上のＮＵＩ入力（例えば音声、ジェスチャ、顔の表情、タッチ等）を受け取り、かつ／又は任意選択で１つ以上のユーザデバイス（例えばスマートフォン、タブレット、ウェアラブルセンサ又はコンピューティングデバイス等）から、１人以上のユーザからの入力を受け取る。投影更新モジュール２３０は、次いで、PiMovsシステムの幾何学フレームワークの外側の周囲の所定のゾーン内の１人以上の人々の追跡された位置及び／又はＮＵＩ入力に応答して、立体投影を動的に適応させる。
【００４４】
最後に、PiMovs制御モジュール２５０は、表示されるかPiMovsシステムとの対話に使用されるべき１つ以上のアプリケーション及び／又はユーザインタフェースモードを選択するのに使用され、かつ／又はカスタマイズパラメータ等を入力するのに使用される、管理ユーザインタフェース等を提供する。PiMovs制御モジュール２５０との対話は、様々な通信技術のいずれかを使用して達成される。そのような通信技術は、管理ユーザがPiMovs制御モジュールへリモートからアクセスすることを可能にする有線又は無線の通信システムを含むが、これに限定されない。さらに、様々な実装において、PiMovs制御モジュール２５０は、複数のPiMovsユニットのうちのいずれかのPiMovs制御モジュール２５０へのアクセスを介して複数のPiMovsユニットを制御することができ、その結果、PiMovsユニット間でデータを共有することができるように、やはり任意の所望の有線又は無線通信技術を介してPiMovsユニット間の通信を可能にする。
【００４５】
様々な実装において、PiMovs制御モジュール２５０は、PiMovsシステムの様々な動作パラメータに対する管理コントロールも提供する。そのような動作パラメータの例には、これに限定されないが、ゲームや通信アプリケーション等といったアプリケーションのうちのいずれのアプリケーションが、PiMovsシステムによって実行又は実装さているかが含まれる。他の例には、これらには限定されないが、ローカル又はリモートアクセスを可能にすること、ユーザからの入力を追跡又は受信する対話ゾーンの距離を設定すること、PiMovsシステムが対話することになるユーザの最大人数を設定すること、アプリケーション又はアプリケーションパラメータを選択すること、連続ディスプレイ面上に表示されるテキストのオーバレイを設定又は選択すること、オーディオソースを設定又は調整すること、テーマを選択又は定義すること等を含め、設定動作パラメータ及び管理機能が含まれる。
【００４６】
２．０  PiMovsシステムの動作の詳細：
【００４７】
上述のプログラムモジュールは、PiMovsシステムの様々な実装形態を実装するために用いられる。上記で概説したように、PiMovsシステムは、幾何学フレームワークの外側を覆う連続ディスプレイ面を使用して立体空間の物理的な対話発現を実装するための様々な技術を提供する。以下のセクションは、PiMovsシステムの様々な実装の動作、及び図１及び図２に関連してセクション１で説明したプログラムモジュールを実装するための例示の方法についての詳細な議論を提供する。特に、以下のセクションは、PiMovsシステムの様々な実装の例及び詳細を提供し、以下のものが含まれる：
・PiMovsシステムの動作概要；
・PiMovsシステムの例示の幾何学フレームワーク；
・例示のPiMovs追跡、感知及び描画デバイス及びハードウェア；
・例示のPiMovsインタフェースフレームワークの考慮事項
・PiMovsの接続性（connectivity）
・立体投影
・例示のPiMovsベースのアプリケーション及び対話
【００４８】
２．１  動作の概要：
【００４９】
上記のように、本明細書で説明されるPiMovsシステムは、幾何学フレームワークの外側を覆う又は備える連続ディスプレイ面を使用して立体空間の物理的な対話発現を実装するための様々な技術を提供する。さらに、上記で概説した能力は、複数の利点及び興味深い用途を提供する。
【００５０】
例えばPiMovsシステムの幾何学フレームワークの各側面又はセクションは対話的である。この対話性は、部分的に、PiMovsシステムの周囲に配置される複数の追跡及びＮＵＩセンサ及び入力デバイスの使用を通して可能にされる。これは、PiMovsシステムが、該PiMovsシステムの幾何学フレームワークの側面又はセクションごとに複数の人々を同時に追跡し、そのような複数の人々からのＮＵＩ入力を受け取ることを可能にする。PiMovsシステムの側面又はセクションごとに複数の人々と対話して応答するというこの能力は、実質的に制限のない対話モードを実装することを可能にする。そのような実装の結果として得られる技術的効果には、これに限られないが、ユーザ対話効率の改善と、ユーザ対話性能の向上を提供することが含まれる。
【００５１】
例えばPiMovsシステムの立方形の実装の４つの側面の各々と対話している４人の人々がいる場合、１６の同時かつ潜在的に異なる対話経験が存在する可能性がある。この数は、ローカル又はリモートのPiMovsシステムと対話している人々のうちいずれか２人又はそれ以上が、異なるPiMovsシステムとの間で様々な対話を共有することを可能にすることにより、指数関数的に増加する。より具体的には、１つのPiMovsシステムの対話に対する１又は多数の人々に加えて、１つ以上のPiMovsシステムを介して１人以上の人々の間の対話の任意の組合せを可能にする、PiMovs対PiMovs対話（PiMovs-to-PiMovs  interactions）も存在する。また、様々な実装において、ユーザは、スマートフォン、タブレット、ウェアラブルコンピューティングデバイス又は他のポータブルコンピューティングデバイス上で動作するモバイルアプリケーション等を介して、PiMosシステムの１つ以上の特徴及び能力と対話することができることにも留意されたい。
【００５２】
２．２  幾何学フレームワーク：
【００５３】
上記のように、PiMovsシステムの幾何学フレームワークは、側面セクションと任意選択の上部及び／又は下部セクションを有する任意の所望の形状で実装され、これにより、任意の所望のサイズの３６０度の幾何学フレームワークを形成する。そのような形状は、正多角形（例えばピラミッド型、立方体、八角形等）、不規則な多角形、球形や楕円、不定形等のカーブした形状等を含むが、これに限定されない。幾何学フレームワークは、例えば半球体又は不定形の上部を有する立方体のように、そのような形状の任意の組合せを含んでもよい。
【００５４】
形状に関わらず、この幾何学フレームワークの外周は、連続ディスプレイ面で包囲され、隣接するディスプレイ面、あるいは単一の連続又はカーブした面でその外周の各セクションを覆う。そのようなディスプレイ面の例には、限定ではないが、背面投影のための半透明又は透明な部材、固定又は屈曲可能な画面又はディスプレイデバイス等が含まれる。言い換えると、外周上の各ディスプレイ面は、その外周上の少なくとも２つの他のディスプレイ面のエッジに隣接し、したがって、当該少なくとも２つの他のディスプレイ面のエッジに続くか接続するエッジを有している。上記のように、様々な実装において、連続ディスプレイ面は、幾何学フレームワークの３６０度の包囲を形成する１つ以上の単一連続又はカーブ型の面を含んでもよい。追加の隣接ディスプレイ面は、フレームワークの上部及び／又は下部セクションを任意選択で覆ってよい。さらに、様々な任意選択の実装では、任意選択の上部又は下部セクションの外側の境界に沿った各ディスプレイ面の少なくとも１つのエッジは、外周上の１つ以上のディスプレイ面のエッジに隣接するか、他の方法で接続してよい。言い換えると、そのような実装では、幾何学フレームワークの側面と上部（及び／又は下部）が、任意選択でディスプレイ面により包囲され、その結果、連続立体投影が、全ての隣接又は連続するディスプレイエッジにまたがって続く。
【００５５】
例えば基礎となる立方形の幾何学フレームワークの各セクション（例えば４つの側面セクションと上部セクション）とほぼ同じ寸法を有する５つの矩形のディスプレイ面を備える立方形のPiMovsシステムを考える。この実装では、各側面セクション上の各ディスプレイ面の２つの反対側にあるエッジの各々が、隣接する側面セクション上のディスプレイ面の対応するエッジに接続することになる。加えて、上部セクションのディスプレイ面の４つのエッジが、幾何学フレームワークの側面セクション上のディスプレイ面の各々のエッジのうちの１つに接続することになる。言い換えると、この例示の立方形のPiMovsシステムの側面及び上部は、ディスプレイ面で包囲され、隣接するエッジの全てが接続される。
【００５６】
さらに、ディスプレイ面（例えば半透明ガラス、アクリルパネル等のような投影部材）が十分な構造強度を有する場合、これらのディスプレイ面は、基礎となるフレームワークがディスプレイ面をサポートするという必要性をなくすようなやり方でそのような部材のエッジを結合することにより、一体的に形成されるか他の方法で結合されてよい。言い換えると、使用される部材に依存して、様々な実装では、ディスプレイ面自体が、PiMovsシステムの基礎となる幾何学フレームワークを形成する。
【００５７】
例えばPiMovsシステムのテストされる実装は、クリアなアクリルパネルで構築される側壁と上部を使用して立方体の形式で構築された。これらのクリアなアクリルパネルの各々の背面投影面（すなわち、立方体の内側のパネル面）は、ラミネートとして塗布される柔軟な背面投影の中間粒度の高コントラスト部材でコーティングされた。この構成は、PiMovsシステムが、立方体の内部に配置されるプロジェクタを使用して、画像及び／又はビデオを各アクリルパネルの背面上に投影することを可能にし、これらの画像及び／又はビデオはアクリルパネルの正面から（すなわち、立方体の外側から）明確に見ることができる。
【００５８】
加えて、このアクリル立方体のエッジ及び角は、これらのシーム部分でアクリルの光学的性質を保持するように注意深く結合され、これによりシーム部分における立体投影の光学的歪みを最小にしている。これは、PiMovsシステムが、上記のように立方体の内側のプロジェクタを使用して、立体投影の十分にシームレスな表示を立方体の投影面上に描画することを可能にした。さらに、様々な実装において、PiMovsシステムによって提供される立体投影を、連続ディスプレイ面のセクション間の角又は他の非平面的な接続部の近くで適応的に歪めて、これらの角又は非平面的な接続部の結果から生じる任意の光学的ひずみを最小にする。
【００５９】
様々な実装において、PiMovsシステムの幾何学フレームワークを、例えば固定式又は回転式のベースのような、地面（ground）又は他の面上に配置することができる。PiMovsシステムの幾何学フレームワークをベース上に配置することの利点の１つは、例えばプロジェクタ、コンピュータ、追跡システム、ＮＵＩセンサ及び入力デバイス、サウンドシステム、カメラ等のように、PiMovsシステムに関連付けられるハードウェアの一部又は全てを、そのベース上に配置するか他の方法で結合することができることにある。さらに、様々な実装では、ケーブル又は他のサポート構造を使用して、PiMovsシステムの幾何学フレームワークを持ち上げるか浮かせてもよい（suspend）。ベースと同様に、PiMovsシステムの幾何学フレームワークを持ち上げるか浮かせるための任意のケーブル又は他のサポート構造を使用して、幾何学フレームワークを動かすか回転させることができる。いずれの場合にも、幾何学フレームワークの移動又は回転は、何らかの所定のスケジュール又は経路（path）で実行されるか、PiMovsシステムとのユーザ対話に応答して実行される。そのような実装の結果として得られる技術的効果には、ユーザ対話効率の改善とユーザ対話性能の向上を提供することが含まれるが、これに限定されない。
【００６０】
２．３  PiMovs追跡、感知及び描画ハードウェア：
【００６１】
上記のように、PiMovsシステムの様々な実装は、各セクションがディスプレイ面で覆われる、幾何学フレームワークを含む。有利には、固定のフラットスクリーン又は屈曲可能なディスプレイ、あるいは背面投影ハードウェアとの使用のための投影ディスプレイ面の場合、PiMovsシステムの内側は、立体投影に干渉することなく、多様な機器を配置することができる空間を提供する。そのような実装の結果として得られる技術的効果には、これらに限定されないが、見えない場所又は他の安全な場所にそのようなハードウェアを配置することにより、物理的及び処理上のセキュリティを向上させるための物理的なパラメータ及びコントロールを提供することが含まれる。しかしながら、PiMovsユニットの内側にそのようなハードウェアを配置することは、そのハードウェアを保護し、かつ視界から隠すという双方の役割を果たすが、PiMovsシステムの一般的機能性を素材的に変更することなく、このハードウェアの一部又は全てをPiMovsシステムの外側上又はその近くの可視の位置に配置してもよいことを理解されたい。
【００６２】
例えば図３は、PiMovsシステムを実装する際に使用するためにPiMovsシステム内に配置される例示のハードウェアを図示している。この例示のハードウェアは、これらに限定されないが、様々なコンピューティング、ディスプレイ、追跡及びＮＵＩハードウェアデバイスを含む。この例では、複数のセクションごとのコンピューティングデバイス（per-section  computing  devices）（例えば３０５、３１０及び３１５）が、全体の立体投影の各個々のセクションを生成又は他の方法で描画する。しかしながら、ここでは図示されていないが、複数のＮＵＩハードウェアデバイスを単一のコンピューティングデバイスに接続してもよく、あるいは、単一のＮＵＩハードウェアデバイスを複数のコンピューティングデバイスに接続してもよいことを理解されたい。代替又は組合せとして、任意選択の全体コンピューティングデバイス３２０が、全体の立体投影の一部又は全てを生成又は他の方法で描画する。いずれの場合にも、結果として得られる立体投影が、PiMovsシステムの幾何学フレームワークを覆う（又は備える）ディスプレイデバイス上でのプレゼンテーションのために、複数のセクションごとのプロジェクタ又はディスプレイデバイス（例えば３２５、３３０及び３３５）に渡される。
【００６３】
表示された立体投影は、その後、１つ以上のセクションごとの追跡及びＮＵＩセンサ（例えば３４０、３４５及び３５０）を介して受け取られる追跡情報及び／ＮＵＩ入力に応答して、動的に更新される。代替又は組合せとして、全体追跡及びＮＵＩセンサ３５５のセットが、立体投影を動的に更新する際に使用するために、追跡情報及びＮＵＩ入力を任意選択の全体コンピューティングデバイス３２０に提供することができる。追跡及びＮＵＩセンサ（例えば３４０、３４５及び３５０）とコンピューティングデバイス（例えば３０５、３１０、３１５及び３２０）との間の通信は、任意の所望の有線又は無線脳通信プロトコル又はインタフェースを使用して達成される。そのような通信プロトコル及びインタフェースの例には、これらに限定されないが、有線又は無線のインタフェース（例えば近距離通信、リモートコントロールやＩＲ対応型スマートフォンのようなＩＲベースの入力デバイス、イーサーネット（登録商標）、ＵＳＢ、FireWire（登録商標）、Thunderbolt（登録商標）、IEEE  802.x等）上でＵＤＰ、ＴＣＰ／ＩＰ等によるデータストリーミングを感知することが含まれる。
【００６４】
PiMovsシステムの様々な実装は、様々な任意選択の通信又はネットワークインタフェース３６０を含むことにも留意されたい。任意選択の通信又はネットワークインタフェース３６０は、セクションごとのコンピューティングデバイス（例えば３０５、３１０及び３１５）のいずれか及び任意選択の全体コンピューティングデバイス３２０が、立体投影のセクションの描画及び投影又は表示を調整することを可能にする。さらに、任意選択の通信又はネットワークインタフェース３６０は、セクションごとのコンピューティングデバイス（例えば３０５、３１０及び３１５）のいずれか及び任意選択の全体コンピューティングデバイス３２０が、他のPiMovsユニットと対話するためにデータを送受信することを可能にする。
【００６５】
加えて、任意選択の通信又はネットワークインタフェース３６０は、セクションごとのコンピューティングデバイス（例えば３０５、３１０及び３１５）のいずれか及び任意選択の全体コンピューティングデバイス３２０が、任意の所望の目的又は用途のために、（例えばクラウドベースのストレージ、パブリック又はプライベートネットワーク、インターネット等の）様々なソースへデータを送信するか、様々なソースからデータを受信することを可能にする。コンピューティングデバイス（例えば３０５、３１０、３１５及び３２０）のうちのいずれかが、クライアント／サーバモデルで動作することができることに留意されたい。クライアント／サーバモデルでは、１つ以上のコンピューティングデバイスが、専用のセンサデバイスに関連付けられ、別のコンピューティングデバイスが、データを処理し、立体投影の生成を調整するようサーバとして動作する。
【００６６】
図４は、単一の例示の立体形状のPiMovsユニットの部分的な内部ビューを提供している。ここでは、明確性のために、コンピューティングデバイスと追跡及びＮＵＩセンサは省略されている。特に、ディスプレイ面（例えばディスプレイ面４００及び４１０）の背面上への背面投影の場合、１つ以上のセクションごとプロジェクタ（例えば４２０及び４３０）は、幾何学フレームワークを覆うディスプレイ面の１つ以上の対応するセクションへ全体の立体投影のセクションを投影するように、幾何学フレームワークの内側に配置される。これらのプロジェクタは、１つ以上のコンピューティングデバイスによって制御され、結果として得られる立体投影は、追跡されるユーザの動き及び／又はユーザのＮＵＩ入力に動的に適合される。加えて、図示されるように、PiMovsシステムは、任意選択で１つ以上のスピーカ又はオーディオデバイス４４０を含む。
【００６７】
同様に、図５は、例示のコンピューティング、投影及びＮＵＩハードウェアを示す単一の例示のPiMovsユニットの上面図を提供する。図４に図示される例示のPiMovsユニットとは対照的に、図５に図示されるPiMovsユニットは、不定形の外周形状５００を使用して達成される。複数のセクションごとの投影デバイス（例えば５１５から５７５）によって出力される立体投影は、追跡及びＮＵＩセンサ５１０から受け取られる追跡及びユーザＮＵＩ入力に応答して、コンピューティングデバイス５０５によって制御される。
【００６８】
２．３．１  追跡センサ：
【００６９】
上記のように、PiMovsシステムは、様々な追跡センサ及び技術のいずれかを使用して、人々が何をしているか、人々がどこにいるかをモニタし、彼らの動きを追跡する。そのような追跡は、顔又は他の識別情報がPiMovsシステムによって収集されず、考慮もされないように、匿名状態にデフォルト設定されていることに留意されたい。しかしながら、様々な実装では、ユーザが、PiMovsシステムに、特定のアプリケーション（applications）のために使用される異なるレベルの識別情報をキャプチャして使用することを許容する明示的な許可を与えてもよい。さらに、上記のように、様々な実装では、ユーザは、スマートフォンやタブレット、ウェアラブルコンピューティングデバイス又は他のポータブルコンピューティングデバイス上で動作するモバイルアプリケーション等を介して、PiMovsシステムの１つ以上の機能及び能力と対話することができる。
【００７０】
一般に、追跡及びＮＵＩ入力に使用されるセンサは、特定の距離又は範囲内で良好に動作する傾向がある。したがって、様々な実装において、PiMovsシステムは、任意選択で、ユーザ追跡及び／又はＮＵＩ入力を、個々のPiMovsユニットの周囲の特定の範囲又はゾーンに限定する。例えば図６に図示されるように、一実装では、八角形の外周を有するPiMovsユニット６００は、PiMovsユニットの周囲に固定又は調整可能な対話ゾーン６１０を含む。この例では、固定又は調整可能な対話ゾーン６１０によって示される最小距離の内側又は外側のいずれかにいるユーザは、ＮＵＩ入力について追跡又はモニタされない。
【００７１】
対話ゾーンが使用されるかどうかに関わらず、追跡センサ及び技術を使用して、PiMovsシステムのセンサ範囲内のPiMovsユニット、他のユーザ又は他の物体の位置との相対で、ユーザ骨格データ、身体の位置、動き及び姿勢、頭部の位置、注視等を追跡する。位置センサ又はセンサハードウェアとソフトウェアベースの技術の組合せを使用するいずれかの所望の追跡又は位置決定技術を、そのような目的に使用することができる。その例には、これらに限定されないが、２Ｄ又は立体カメラ、深度センサ、赤外カメラ及びセンサ、レーザベースのセンサ、マイクロ波ベースのセンサ、PiMovsユニットの周囲の圧力マット、様々なユーザ追跡の目的のために音声をキャプチャするか指向性オーディオ技術を使用するためのマイクロフォンアレイ、ユーザ装着又は携行型センサ（限定ではないが、ＧＰＳ感知又は追跡システム、ユーザによって装着又は携行されるモバイルデバイスに結合される加速度計、頭部装着型ディスプレイデバイス、頭部取付又は装着型仮想現実デバイス等を含む）の任意の所望の組合せが含まれる。
【００７２】
２．３．２  ＮＵＩセンサ：
【００７３】
様々な実装において、PiMovsシステムは、任意の所望の組合せのセンサを使用して、１人以上のユーザからのＮＵＩ入力をキャプチャ又は他の方法で受け取るか、これを導出する。有利には、PiMovsユニットとの相対でユーザを追跡するのに使用されるセンサ（セクション２．３．１の上記議論を参照されたい）の一部又は全てを使用して、ＭＵＩ入力を受け取ることもできる。そのような実装の結果として得られる技術的効果には、これらに限定されないが、追跡及びユーザ対話効率の改善及びユーザ対話性能の向上を提供することが含まれる。一般に、ＮＵＩ入力には、限定ではないが、以下のものが含まれることがある：
ａ．マイクロフォン又は他のセンサを介してキャプチャされるユーザ音声又は発声から導出されるＮＵＩ入力であり、１人以上のユーザを追跡するようマイクロフォンアレイ等を使用する指向性オーディオ追跡を任意選択で含む、；
ｂ．ユーザの顔の表情から、２Ｄ又は深度カメラ（例えば立体又は飛行時間カメラシステム、赤外カメラシステム、ＲＧＢカメラシステム、そのようなデバイスの組合せ等）のような撮像デバイスを使用してキャプチャされるユーザの手、指、手首、腕、脚、身体、頭部、目等の位置、動き又は向きから導出されるＮＵＩ入力；
ｃ．エア及び接触ベースのジェスチャの双方、ユーザによって保持される物体（例えば棒（wands）や、テニスラケット、卓球ラケット等のようなスポーツ用品）の動きから導出されるジェスチャを含め、ジェスチャ認識から導出されるＮＵＩ入力；  
ｄ．様々な表面、物体又は他のユーザの上のユーザタッチから導出されるＮＵＩ入力；
ｅ．ホバリングベースの入力又はアクション等から導出されるＮＵＩ入力；
ｆ．単独又は他のＮＵＩ情報との組合せのいずれかで現在又は過去のユーザの挙動、入力、アクション等を評価して、ユーザの意図、希望及び／又は予想されるアクションのような情報を予測する、予測マシンインテリジェンス処理から導出されるＮＵＩ入力。
【００７４】
ＮＵＩベースの情報又は入力のタイプ又はソースに関わらず、そのような入力はその後、PiMovsシステムの１つ以上の入力、出力、アクション若しくは機能的特徴を、かつ／又はPiMovsシステムに関連付けられるコンピューティングデバイスのいずれかによって実行されている任意のアプリケーションを、開始し、終了し、あるいは他の方法で制御するかこれらと対話するために使用される。
【００７５】
さらに、様々な実装では、PiMovsシステムの１つ以上のディスプレイ面は、直接ユーザ入力を可能にする。例えば様々な実装では、ディスプレイ面の１つ以上が、タッチ感知式（例えば抵抗式又は容量式タッチ、光学感知等）である。さらに、様々な実装では、ディスプレイ面の１つ以上は、ユーザがこれらの面を押すか引っ張り、あるいは他の方法で変形することを可能にするよう柔軟であり、この場合、結果として生じる変形は、これらのディスプレイ面上に表示されている基礎となる立体投影との直接対話を提供する。言い換えると、これらのタイプのタッチ及びユーザ変形を、ローカル及びリモートPiMovsシステムに関して、１つ以上のディスプレイ面上に描画されるコンテンツと対話するためのＮＵＩ入力として使用することができる。
【００７６】
２．４  PiMovsインタフェースフレームワーク：
【００７７】
一般に、PiMovsシステムのディスプレイ面上に描画される立体投影は、ユーザ追跡及びＮＵＩ入力に応答して変化するので、PiMovsシステム上で展開される全ての対話経験は、ユーザがこれらの立体投影にどのように応答又は対話するかに応じて、PiMovsシステム上のいずれかの他の対話経験とは異なる傾向があるだろう。
【００７８】
様々な実装において、PiMovsシステムは、広範囲の入力及びアプリケーション設計をサポートするインタフェースフレームワークを使用することにより、そのような異なる入力に適合する。例えば様々な実装では、PiMovsシステムは、広範なコーディング環境及びグラフィクスフレームワークを提供する。そのようなコーディング環境及びグラフィクスフレームワークは、これらに限られないが、任意の所望のオープンソースのコーディング環境又はグラフィクスフレームワークと、例えばJava（登録商標）ベースのコーディング及びフレームワーク、C++ベースのオープンフレームワーク、ユニティベース展開のエコシステム等のような多様な独占的なコーディング環境又はグラフィクスフレームワークのいずれかを含む。しかしながら、PiMovsシステムは、いずれかの特定のオープンソース又は独占的なコーディング環境又はグラフィクスフレームワークに限定されるよう意図されていないことを理解されたい。
【００７９】
様々な実装において、PiMovsシステムは、該PiMovsシステムによって実行されている様々なディスプレイアプリケーションに、追跡及びＮＵＩセンサデータストリームをブロードキャストするための統合的な処理を提供する、フレームワークユーティリティを提供する。例えば様々な実装において、PiMovsシステムに関連付けられるいずれかのコンピューティングデバイス上で動作する最小限のサーバタイプアプリケーションを使用して、センサのうちのいずれかからの入力を、PiMovsシステムに関連付けられるコンピューティングデバイスのいずれかによって消費し、作用することができる、消費しやすい柔軟なネットワークブロードキャストに変換する。そのようなブロードキャストのコンテンツの例には、立体投影の何らかの特定の部分に対する又は他の特定のユーザに対する、特定のユーザアクション、動き、ＮＵＩ入力等のような情報が含まれる。
【００８０】
さらに、様々な実装において、PiMovsシステムは、１つ以上のＮＵＩセンサデータストリームを組み合わせてPiMovsシステムの周囲の空間の結合ビュー（cohesive  view）にする。これは、限定ではないが、PiMovsシステムの周囲を歩いている１人以上の人が個々のＮＵＩセンサエリアには入らずに離れて行くが、常に結合ビュー内に留まっているように、PiMovsシステムの周囲を歩いている１人以上の人を追跡することを含め、広範囲の実装及び適用を可能にする。有利には、これは、PiMovsシステムの連続ディスプレイ面上に描画される立体投影のシームレスな性質に加えて、ＮＵＩデータを「シームレス」に維持する。そのような実装の結果として得られる技術的効果には、限定ではないが、ユーザ対話効率の改善と、ユーザ対話性能の向上を提供することが含まれる。
【００８１】
例えば様々な実装において、PiMovsシステムは任意選択で、サウンドシンセサイザ、コンピュータ及び他のマルチメディアデバイスをネットワーク化するためのオープンサウンドコントロール（ＯＳＣ：Open  Sound  Control）プロトコルが、センサデータをブロードキャストするためにPiMovsシステムによって使用されるように適合する。一般に、ＯＳＣは、様々な対話的分野のフレームワーク（interactive  art  frameworks）で有益なＴＣＰ／ＩＰ実装を提供するユーザデータグラムプロトコル（ＵＤＰ）の上に構築される。そのような場合、データメッセージは、変数のタイプされた引数に続くルーティングアドレスとともにフォーマットされる。
【００８２】
様々な実装において、PiMovsシステムは、PiMovsシステムのセンサ範囲内の手若しくは指の動き又は他のジェスチャＮＵＩ入力を、タッチスクリーン及び／又はポインティングデバイスイベント又は入力へ転換又は他の方法で変換するように動作する、アプリケーションプログラミングインタフェース（ＡＰＩ）又は他のアプリケーション又はインタフェースを提供する。これは、いずれかの既存のプログラム又はアプリケーションについて入力ソースが最初に何を意図又は予想されていたとしても、これらのプログラム又はアプリケーションが入力を受け取っているかのように、PiMovsシステムがこれらのプログラム又はアプリケーションを使用又はこれらと対話することを可能にする。例えば様々な実装において、PiMovsシステムは、ＮＵＩセンサから受け取った手の位置を変換し、マウスカーソルを移動させるよう、PiMovsシステムに関連付けられるオペレーティングシステムに指示する。同様に、様々な実装において、PiMovsシステムは、例えば握り拳のような手のジェスチャを、現在のカーソル位置におけるタッチイベント（タッチスクリーン又は他のタッチ感知面上でのユーザのタッチのような）として変換することができる。そのようなタッチイベントは、次いで、対応する「マウスダウン」又はクリックイベント等に変換されてよい。
【００８３】
２．５  PiMovs接続性（Connectivity）：
【００８４】
上記のように、様々な実装において、PiMovsシステムは、ネットワーク化された対話的な公開物体（public  object）を提供する。さらに、そのような対話は、いずれかの２つ以上のPiMovsユニット間で、これらのユニットがどこに配置されているかに関わらず、これらのPiMovsユニット間で通信又はネットワーキング経路が存在する限りにおいて起こる可能性がある。PiMovsユニット間のそのような対話の結果は、コンテンツ、対話及び経験を世界にまたがり、更には宇宙ベースの場所にいる複数のユーザによって共有することができる、対話的エコシステムである。
【００８５】
例えば図７は、任意の場所から通信する個々のPiMovsユニットと対話する複数のユーザを示す、例示のPiMovsエコシステムの図を提供する。例えば図７の図では、複数のユーザ７００が、シアトルでPiMovsユニット７１０上に描画された立体投影と対話している。また、図７は、ロンドンでPiMovsユニット７３０上に描画された立体投影と対話している複数のユーザ７２０も示している。また、図７は、北京でPiMovsユニット７５０上に描画された立体投影と対話している複数のユーザ７４０も示している。最後に、図７は、ニューヨークのタイムズスクエアで相対的にかなり大きいPiMovsユニット７７０上に描画された立体投影と対話している複数のユーザ７６０も示している。図７の例では、PiMovsユニット（７１０、７３０、７５０及び７７０）の各々が、有線及び／又は無線のネットワーク接続を介して通信している。有利には、PiMovsシステムの通信能力は、図７に図示されるPiMovsユニットの各々のユーザが一緒に、これらのPiMovsユニットの一部又は全てに表示され得る共通の立体投影と対話することを可能にする。
【００８６】
様々な実装において、１つのPiMovsシステムの任意の側面、面又はセクション上の立体投影のセクションと対話しているユーザは、別の場所でPiMovsシステムの任意の側面、面又はセクション上の立体投影のセクションと対話している、別の場所にいるユーザと対話することができる。さらに、任意のPiMovsシステムの各側面、面又はセクションが、異なるPiMovsシステムの側面、面又はセクションと対話してもよく、これにより、任意の特定のPiMovsシステムが、任意の時間に複数のPiMovsシステムと通信し対話してもよい。
【００８７】
上記のように、様々な実装において、PiMovsシステムは、限定ではないが、スマートフォンやタブレット、メディアデバイス、リモートコントロール、ポインティングデバイス等を含むポータブルコンピュータと対話するための様々な通信能力を提供する。PiMovsシステムとそのようなポータブルデバイスとの間の対話及び通信を可能にする通信技術は、これらに限定されないが、ＲＦＩＤ又は他の近距離通信、ＩＲベースの通信、Bluetooth（登録商標）、Ｗｉ−Ｆｉ（例えばIEEE  802.11（a/b/g/n/i等）ＧＳＭ（登録商標）（Global  System  for  Mobile）通信、ＧＰＲＳ（general  Packet  Radio  Service）、様々なＣＤＭＡ（various  code  division  multiple  access）無線ベース技術、ＥＶ−ＤＯ（Evolution-Data  Optimized）、ＥＤＧＥ（Enhanced  Data  Rates  for  GSM  Evolution）、ＵＭＴＳ（Universal  Mobile  Telecommunications  System）、ＤＥＣＴ（Digital  Enhanced  Cordless  Telecommunications）、デジタルＡＭＰＳ（すなわち、IS-136/TDMA)、ｉＤＥＮ（Integrated  Digital  Enhanced  Network）等を含む。
【００８８】
様々な実装において、上記したもののような通信能力は、PiMovsシステムが、ユーザによって担持される様々なポータブルコンピューティングデバイスへデータ又は情報をプッシュ又は他の方法で送信することを可能にし、また、これらのデバイスが、PiMovsシステムから情報をプルすることも可能にする。そのような能力の単なる一例は、スマートフォンのようなポータブルコンピューティングデバイスに組み込まれ、結合されるか又は他の方法で通信するセンサを使用して、例えばPiMovsシステムにセンサデータを提供するか、他のデータ又はユーザ個人化情報を入力又は共有することである。そのような能力の別の単なる一例は、限定ではないが、立体投影上にオーバレイとして、あるいは立体投影内に他の方法で含まれる画像要素として、１つ以上のＱＲ（Quick  Response）コード又は他のスキャン可能なコードを表示することを含む。ユーザは、その後、カメラ機能のあるポータブルコンピューティングデバイスを使用して、そのようなコードをスキャンして、これらのコンピューティングデバイスが第２の画面経験（second-screen  experience）を提供することを可能にするか、あるいは関連するデータを自動的に取り出す（例えばファイル、情報、リンク等をダウンロードし、あるいはウェブページ等を開く）ことを可能にすることができる。
【００８９】
２．６  立体投影：
【００９０】
既存のパノラマ又は仮想現実の「部屋」はしばしば、ユーザがあたかもその空間の内側にいるかのように見える、外側の空間又はシーンのビューを一緒にステッチ（stitch）する。言い換えると、パノラマ及び仮想現実の部屋はしばしば、何らかの空間のステッチされたパノラマビューを表す画像又はビデオの再生を提供する。
【００９１】
対照的に、PiMovsシステムによって提供される立体投影は、ビューアーに、幾何学フレームワークの内側に表示されるコンテンツとして見えるビューを表し、このビューは、ビューアーによって幾何学フレームワークの外側から観察可能である。幾何学フレームワークの各面又はセクションが、異なる視点からの立体投影のコンテンツを表示することができ、そして、立体投影が、幾何学フレームワークの外周全体と、任意選択により上面及び／又は下面を完全かつシームレスに包囲するので、この視覚的印象が維持される。その結果、ユーザがその幾何学フレームワークの外側の周囲を移動したとしても、ユーザには、立体投影の一部又は全てが、幾何学フレームワークの内側の２Ｄ及び／又は３Ｄコンテンツの描画として見える。
【００９２】
より具体的には、PiMovsシステムの立体投影は、２Ｄ又は３Ｄコンテンツ、あるいは２Ｄ又は３Ｄコンテンツの任意の所望の組合せを含んでよい。立体投影のコンテンツは、ユーザが動いて、その立体投影を見るか他の方法で対話すると、ユーザの追跡された位置に自動的に適合される。様々な実装において、立体投影のこの自動適合には、限定ではないが、ユーザの位置及びPiMovsシステムに対する視野角に基づいて、立体投影の視点を変更することも含まれる。
【００９３】
２．６．１  透視図（Perspective  Views）及び位置追跡：
【００９４】
上記のように、様々な実装において、ユーザがPiMovsシステムの周囲を歩くかPiMovsシステムに関連して動くと、その視点は、立体投影の仮想物体又は他のコンテンツが、幾何学フレームワークの内側の一貫した物理的な空間又は場所にあるように見えるように変化する。これは、単に各画面又はディスプレイ面上の異なるカメラアングルを示すものと同じではない。代わりに、PiMovs  システムに関連付けられる１つ以上のセンサが、個々の人々又は人々のグループ及び／又は各人の頭部を積極的に追跡し、次いで、画面又はディスプレイ面ごとに、人がPiMovsシステムに対して移動すると、個々の画面にまたがって視点が変化するように、仮想カメラアングルを積極的に変更する。様々な実装において、この同じ視点の問題は、ディスプレイ面ごとに複数のプロジェクタとの組合せによる偏光画面（polarized  screens）等、あるいはアクティブシャッターガラス等を使用することにより、画面又はディスプレイ面ごとの複数の人々について解決される。これは、同じディスプレイ画面を異なるアングルから見ている人々が、その相対的なビューアーングルに依存して、同じ画面の異なる画像又は異なる視点を見ることを可能にする。
【００９５】
説明の目的で、以下の例は、立方体のPiMovsシステムの場合を説明する。この場合、単一のユーザが、４つの側面を有する立方体のPiMovsシステムを見ている。以下の例は、側面ごとに追加のビューアーに挿入され、マルチサイドのPiMovsシステムの追加の側面に挿入されてもよいことに留意されたい。
【００９６】
例えば単一のユーザが４つの側面のPiMovsシステムを見ており、１つ以上のコンピュータが一緒に、各追跡センサ及び各ディスプレイ面上に描画される立体投影の部分を制御する場合を考える。この場合、センサデータストリームは、ユーザの目の位置、ユーザの頭部の位置及び／又はユーザの骨格位置に基づいてPiMovsシステムの周囲内のユーザの動きのリアルタイムの統一ビューに組み合わされる。このリアルタイムユーザ追跡情報はPiMovsシステムによって使用され、追跡されたユーザに可視の任意のディスプレイ面を修正し、そのユーザに対して立体投影のコンテンツの正しい視点のビューを表示する。言い換えると、この例では、立体投影のコンテンツは、ビューアーに対して、PiMovsシステムの内部に存在するように見え、かつユーザがPiMovsシステムの幾何学フレームの外側の周囲を動くとディスプレイ面の間をシームレスに遷移する、仮想空間のシームレスな表現として見えることになる。
【００９７】
そのような能力を実装することができる様々な方法の１つは、PiMovsシステムの各面又はセクション（例えば各ディスプレイ面）と同じサイズであり、したがって、これら覆う仮想境界のボックス（virtual  bounding  boxes）を考慮する。各仮想境界のボックスは、立体投影の対応する面又はセクション上に描画される１つ以上の物体、シーン又は他のコンテンツを囲む。説明の目的で、描画されているコンテンツ（すなわち、物体、シーン又は他のコンテンツ）を物体と呼ぶことがあることに留意されたい。
【００９８】
仮想光線トレーシングカメラ（virtual  ray-tracing  camera）が、追跡されるユーザのビューの始点に対応する空間内の点から物体の方に向けられる。より多数の仮想光線が、仮想光線トレーシングカメラから物体の方へ投影され、PiMovsシステムの対応するディスプレイ面を表す視界（field  of  view）を覆う。その後、各仮想光線が、立体投影の対応する面又はセクションを覆う仮想境界ボックスと交差する位置が、仮想光線が当たる任意の可視テクスチャの対応する色に沿って自動的に識別される。
【００９９】
次いで、各仮想光線の識別された交差の色を使用して、これらの光線が可視境界ボックスと交差した同じ場所で（立体投影の対応する面又はセクションを覆う）仮想可視ボックスを更新する。この可視ボックスの周囲には、固定の仮想位置には４つの仮想カメラがあり、立方体の各側面に対して１つである。各仮想カメラは、その固定の仮想位置から見える、更新された仮想可視ボックスの画像を実質的にキャプチャし、次いで、その実質的にキャプチャされた画像をPiMovsシステムの対応する物理ディスプレイに描画する。
【０１００】
次いでユーザが移動すると、仮想光線の追跡カメラは、ユーザの追跡されたビューポイントとともに動くが、引き続き物体の方へポイントする。上記で説明される処理は、ユーザがPiMovsシステムの幾何学フレームワークの外側の周囲を移動すると、実際の立体投影がリアルタイムで継続的に更新されるように、連続的に繰り返される。
【０１０１】
さらに、この立方体PiMovsシステムの例では、（ユーザが角に又は角の近くに立っていると想定すると）側面のうちの最大２つがユーザに可視となるであろう。したがって、様々な実装において、ユーザに可視でない側面は、デフォルトのビューを表示するか、ビューを表示せず、あるいは異なるユーザの追跡に基づいてそれぞれのビューを表示してもよい。
【０１０２】
２．６．２  立体及び３Ｄディスプレイの考慮事項：
一般に、任意の立体投影の任意の部分の一部又は全てのコンテンツは、立体画像及び／又はビデオを１つ以上のディスプレイ面に投影するよう、立体プロジェクタ等を使用して描画される３Ｄコンテンツを含み得る。そのような実装では、使用されている３Ｄ技術の特定のタイプに依存して、ユーザが装着している受動３Ｄ眼鏡又はアクティブシャッター眼鏡（例えば高速に左右目を切り替える眼鏡等）が、実際のコンテンツとして立体投影を見るであろう。さらに何らかの固定又は受動３Ｄディスプレイデバイスは、３Ｄモニタの特定の範囲又は表示角度内のユーザが、３Ｄ眼鏡又はアクティブシャッター眼鏡の使用なしに３Ｄのコンテンツを見ることを可能にする。したがって、PiMovsシステムの幾何学フレームワークのディスプレイ面の一部又は全てについて完全又は部分的な３Ｄ表示能力を含むように、幾何学フレームワークの１つ以上のセクション（又はサブセクション）を、そのような３Ｄタイプのデバイスを用いてタイル化し、包囲し、あるいは他の方法で覆うことができる。様々な実装において、PiMovsシステムは、一般的にコンピュータゲーム及び映画に使用される３Ｄの表示視点を変更するための技術に視差及び運動感覚を追加することにより、立体投影の立体コンテンツ又は３Ｄコンテンツを改善するように立体投影を修正する。さらに、各目について別個の左右画像を使用することにより、人間の脳に対して、立体投影内の深度又は３Ｄコンテンツを認識させる。
【０１０３】
興味深いことに、様々な実装において、１つ以上の３Ｄモニタを、幾何学フレームワークのより大きなディスプレイ面の異なるセクションに挿入するか、他の方法で統合することができる。したがって、個々のユーザの頭部及び／又は目の追跡を使用して、対応する３Ｄモニタ挿入に関して、これらの個々のユーザについての立体投影のシーンの「仮想カメラアングル」を変更することができる。したがって、ユーザが立っているか見ているかに依存して、個々のユーザは、全体の立体投影のより小さな部分への３Ｄウィンドウ（3D  window）を経験することがある。したがって、全体の幾何学フレームワークを、３Ｄモニタで包囲するか覆って、立体投影の一部又は全てを、これらの３Ｄモニタを介して描画して表示する。
【０１０４】
２．７  例示のアプリケーション（Exemplary  Applications）及びユーザ対話シナリオ：
【０１０５】
上記のように、PiMovsシステムの側面又はセクションごとに複数の人々と対話及び応答する能力は、実質的に無制限のモードの対話及びアプリケーション（適応）が実装されることを可能にする。そのようなアプリケーションの数例を以下の段落で議論する。提示される例示のアプリケーションは、単に説明の目的のために検討されるものであり、これらの例示のアプリケーションは、PiMovsシステムの使用を、説明される例示のアプリケーションのタイプに限定するように意図されていないことを理解されたい。
【０１０６】
２．７．１  形状シフターアプリケーション（Shape-Shifter  Application）：
【０１０７】
上記のように、PiMovsシステムによって可能にされる全ての対話経験は異なることになる。例えばPiMovsシステムによって可能にされる１つのアプリケーションは、形状シフトアプリケーションであり、この場合、ユーザは、動的に映し出されるが、変更された抽象化（mirrored  but  altered  abstraction）として自分自身を見る（例えば吸血鬼としてのユーザ、ケンタウロスとしてのユーザ、異なる衣服を着たユーザ、月の上を歩いているユーザ等）。
【０１０８】
様々な実装において、これらの変更された抽象化は、全体の立体投影上に描画される。そのような適用では、例えば移動すること、ジャンプすること、手を振ること又は単にPiMovsシステムを通り過ぎること等の動きにより、変更された抽象化の移動を、PiMovsシステムの追跡能力を介するユーザの移動にマップすることになる。さらに、この適用の様々な実装では、幾何学フレームワークの異なる側面へと移動するユーザは、他の様々な抽象化への更なる形状シフトを見ることになる。
【０１０９】
さらに、そのような目的に使用さされる抽象化のタイプは、１人以上のユーザの検出される年齢、性別、人種（race）等に依存して変えることができる。例えばユーザの映し出された画像（例えば変更された抽象化）を恐ろしいオオカミ男のように見えるように変えることは、十代のユーザには適しているが、より小さな子供には適していないことがある（蝶や何らか他の怖くない抽象化としてより適切に写し出される可能性がある）。
【０１１０】
形状シフトアプリケーションの幾つかの追加のオプション及びモードが以下で簡潔に説明される。
ａ．インビテーションモード（Invitation  Mode）：様々な実装において、各PiMovsユニットは、テーマに基づく立体投影を表示して、ユーザの注意及び対話を誘う。様々な実装において、このテーマは、PiMovsユニットの周囲の外部環境及び／又はその環境内の人々に応じて、手動で選択されるか自動的に選択される。例えばPiMovsユニットの周囲でアクティビティがないとき、特定のテーマ内の１以上の動物、生き物、人々等（例えばセレンゲティの平原地帯の絶滅寸前の動物、想像上の生き物、歴史上の有名人物、宇宙人等）が、PiMovsユニットの面にまたがって周期的に飛び、走り又は歩いて、通り過ぎる人々の好奇心を生み出す。
ｂ．オルタナティブユニバース（Alternative  Universe）：PiMovsシステムの周囲の空間がよりアクティブになると、動物が（幾何学フレームワークの面のそれぞれのディスプレイ面上で）そのグループから姿を現して、そのペース及び空間内の配置を範囲内の通行人（in-range  passersby）にマップする。ユーザがそのペースを落とすか止まると、これらの動物はこれを映し出すことになる。様々な実装において、ユーザは次いで、自然言語処理又は他の言語ベースのコンピュータ対話技術を使用して、その動物と会話してよい。例えばユーザは、最も近いBBQレストランがどこにあるかをイノシシに聞いてもよい。イノシシは、次いで、録音済みの音声又は合成音声で答えることができ、地図又はそのレストランまでの道を表示してもよい。
ｃ．マジックコーナー（Magic  Corners）：PiMovsシステムの幾何学フレームワークの周囲の流れを促進するために、様々なアプリケーションでは、コーナーを曲がることにより、PiMovsシステムテーマ内の別の動物への形状シフトをトリガすることになる。PiMovsシステムの他の面は、同じ対話モデルであるが（PiMovsシステムテーマに分類される）異なる動物を反映する。ユーザが離れるとき、あるいは特定の時間の後に、ある動物が、対話の終了を知らせるためにそのグループの外へ歩いて行くことになる。
ｄ．抽象又は芸術的表現（Abstract  or  Artistic  Representation）：別世界の遊び心のある経験を提示するよう、視覚的に人目を引く抽象的な芸術作品（artist  abstractions）として動物を表示することができる。
ｅ．アニマルパラダイス（Animal  Parades）：様々な実装では、１つ以上のPiMovsシステムが、動物又は生き物に、PiMovsシステム上に描画される立体投影にまたがってふざけて行進（march）させることにより、世界中の関連する異なるPiMovsシステムから動物又は生き物のパラダイスを描画することで、他のPiMovsシステムへの好奇心及び潜在的な訪問を促すように動作する。
ｆ．公開イベント（Public  Events）：PiMovsシステムを、オリンピックやバーニングマン（Burning  Man）のようなイベント会場に置くことができる。生き物又はテーマはこれに応じて変化してよい（例えばオリンピックのマスコットや、宇宙人、スポーツのスター等）。
【０１１１】
２．７．２  共有デジタルアートアプリケーション：
【０１１２】
PiMovsシステムによって可能にされる別のアプリケーションは、複数のユーザが、デジタル「クレイ（clay）」という仮想ブロックに対して、ローカルに又は世界中から、他者と対話又は協調することを可能にすることであり、リアルタイム対話を直接提示し、「アーティスト」の見解（notion）を分散化する。図８及び図９はこのアプリケーションの簡単な例を示す。
【０１１３】
特に、図８は、様々なハンドベースのジェスチャをＮＵＩ入力として使用して、PiMovsシステム８５０のディスプレイ面上の動的な立体投影として提示されるデジタルクレイ（digital  clay）８４０を形作る、複数のユーザ（８００、８１０、８２０及び８３０）を示している。同様に、図９は、同様のデジタルアート対話のクローズアップを示しており、複数のユーザ（９００及び９１０）が、様々なハンドベースのジェスチャをＮＵＩ入力として使用してデジタルクレイ９２０を形作っている。
【０１１４】
共有デジタルアートアプリケーションの様々な実装についての幾つかの追加のオプション及びモードを、以下で簡単に概説する。
ａ．協調的サンドボックス（Collaborative  Sandbox）としてのPiMovsシステム：異なる都市のPiMovsが１つの協調的プレイエリアへのポータルとしての役割を果たす。各都市は、より大きな複数都市協調の一部を表す、「クレイ」の特定の色付けされたセットと対話する。
ｂ．リアルタイム協調（Real-Time  Collaboration）：PiMovsユニットの周囲の多くの参加者が、（色を通して識別される）モデルの一部と対話し、彼らの都市のプッシュ及びプルが、より大きなピクチャにどのように影響するかを、動的に適合する立体投影を通して見ることができる。全ての参加者が、他の都市は協調のそれぞれの部分とどのように対話しているかを見ている。
ｃ．ジェスチャ操作（Gestural  Manipulation）：（例えば色によって識別される）「クレイ」の１つの都市のセクションを、ジェスチャによりプッシュ又はプルすることができ、リアルタイムで見ることができる。
ｄ．マザーディスプレイ（Mother  Display）：「マザー」又はプライマリPiMovsユニットは、異なる都市の各々にいるユーザによる「クレイ」の結合操作（joint  manipulation）によって作成される芸術作品の全体的な立体投影を描画する。様々な実装において、マザーPiMovsユニットは、数都市の間の芸術的協調の低速度撮影（time-lapse）を用いて美しい瞬間を作成することができる。この低速度撮影によって網羅されるタイムスパンは、分単位、時間単位、日単位、あるいは週単位でも測定され、したがって、世界中からの作品の連続的変形を生じる。
【０１１５】
２．７．３  仮想ポータル：
PiMovsシステムによって可能にされる別のアプリケーションは、ユーザに、大きなスケールで緊密なもの（intimate  one）と会話するよう新しい場所への仮想移送を提供し、自発的コミュニティを構築する。センサは人々を追跡し、カメラを使用するので、様々な実装において、PiMovsシステムは、プライバシを保護するために別のPiMovsユニットの立体投影で描画される人々を不鮮明にすることになることに留意されたい。結果として、ユーザは（別の場所からの立体投影を通して）別の人を見ることができるが、その別の人の顔を特定することはできない。しかしながら、ユーザは、他者がそのユーザを見ることができ、潜在的には対話することができるようにすることを望む場合、ユーザは、自身の顔からスクランブルアルゴリズムを除去することができる。仮想ポータルアプリケーションの様々な実装についての幾つかの具体的な例及び追加のオプション及びモードを、以下で簡潔に概説する。
ａ．場所選択「ルーレット」：PiMovsユニットに誰も近づいていないとき、世界中の他のPiMovsユニットへのポータルについて全ての可能性が生きているように見える。近づくと、あるいは人々が特定の範囲内にいる場合、PiMovsユニットは、検索基準に合致する異なる立方体へのポータルについて検索するように「ルーレット」モードに入る。そのような基準の例には、他のPiMovsユニットの周囲のアクティビティ、訪問者の年齢、したがって子供の場合には子供のみ、特定の場所の要求（例えば「パリをお願いします」又は「私をポルトガルに連れて行って」）、世界の別の場所のユーザに合致するシャツの色等が含まれるが、これらに限定されない。図１０はこの実装の例を示す。特に図１０は、PiMovsユニット１０１０への接近１０００を示している。PiMovsユニット１０１０は、世界中の他のPiMovsユニットへの利用可能なポータルの視覚的に回転するグリッドを表す、立体投影１０２０を表示している。
ａ．ルーブル（又は他の場所）へのポータル：「ルーレット」がセクションを作ると、異なるPiMovsユニットのビューへの次元ポータル（dimensional  portal）が、そのPiMovsユニットの場所に通じる。言い換えると、あるPiMovsユニットの立体投影を別のPiMovsユニットに移送する（transport）ことができる。様々な実装においては、人々を描くために、PiMovsユニットに対する訪問者の近さは、ポータル環境がどのくらい明確又は曖昧に見えるかを示す。様々な実装において、PiMovsシステムは、ポータル内の人々を分けて、人間のつながりを促進するようこれらの人々を明確に見えるようにする。立方形において、会話について直ぐに立ち上がる人がいない場合、訪問者は、手を振る（wave）することによりポータル内の誰かの注意を得ることが可能である。実際、図１１はそのような例を示している。特に、図１１は、女性１１００が、異なる場所におけるPiMovsユニット１１２０のポータルを通して、遠方にいる（立体投影として）可視の男性１１１０に手を振っている様子を図示している。図１２は、２つの別個のPiMovsユニットを介した女性１１００と男性１１１０との間の後続のフェーストゥーフェース通信（リアルタイムビデオ、オーディオ等）を示すことにより、この例を継続している。この例では女性１１００と男性１１１０の双方が、互いに対して、それぞれのローカルPiMovsユニットを介して立体投影として見える。さらに、これらの人々の各々の音声は、１つ以上のローカルPiMovsセンサ（例えばマイクロフォン）によってキャプチャされ、他のPiMovsユニットに送信され、１つ以上のオーディオ出力デバイス等を介して再生される。
ｂ．インタフェースの例：近接性に加えて、ウインクや笑顔、「ハロー」と言うことは、PiMovsユニット上の環境を反応させて、心地よくなり（crisp）、注意を引き、人々を引き込む。対話が終わるとき、あるいはユーザが新たな場所を見たいと思う場合、後退することは、ポータルを不鮮明なものにする。ルーレットが再び開始し、あるいは他の方法で誰かフレームへ足を踏み入れる場合、顔認識は、ポータルを開いたままにして、継続する会話が心地よいものになることを可能にするであろう。
ｃ．人間のつながり（Human  Connection）：人が、親密な会話のために正しい範囲内に入ると、立方体上のポータルはクリアになって、その状態にとどまる。外見的に異なる位置からの２人の人々が、立方形を使用してフェーストゥーフェースの会話を持つ。図１１及び図１２に関連して上記した議論及び例を参照されたい。
ｄ．仮想のつながり（Virtual  Connection）：「ルーレット」がいかなる結果も生成しない場合、PiMovsシステムは、ユーザが会話をすることができる「スマート」アバターを生成することになる。
ｅ．リアルタイムトランザクション：様々な二者通信シナリオでは、PiMovsシステムは、様々なリアルタイムマシン翻訳技術のいずれかを使用して、各ユーザの言語の音声の他のユーザの言語の音声へと翻訳する。例えばそのような能力は、ネイティブの英語の話者（又はいずれかの他の言語）が、それぞれのPiMovsユニットを介して他のユーザに提示される各ユーザの立体投影を介して、ネイティブの北京官話の話者（又はいずれかの他の言語）とリアルタイムで会話することを可能にする
ｆ．ポータル・ベースボールゲーム（Portal-Based  Ball  Game）：様々な実装において、多様な共有ゲームベースのアプリケーションが、PiMovsシステムによって可能にされる。例えば１つのそのようなゲームでは、ユーザは、ＮＵＩ入力（例えば空中の手のスワイプ等）をジェスチャとして使用して、仮想のボールを「打つ」。このボールは、次いでローカルのPiMovsユニットのいずれかの他の面にバウンドし、あるいは、そのローカルのPiMovsユニットの外に飛び出して、リモートのローカルPiMovsユニットへとバウンドし、その結果、複数の人々が、世界中の複数の異なるローカルPiMovsユニットから一緒にボールで遊ぶことができる。ユーザがボールを打つと、速度と指向性ベクトルが与えられる。特定の側面上にユーザがいない場合、この壁は固体になり、ボールが跳ね返ることになる。さらに、ボールは上部から飛び出して、別の立体形に向かう可能性がある。やはり、このボールは、全ての関連するPiMovsユニット内で、それ自体によって描画され得る立体投影として表され、PiMovsユニット内にどのような立体投影が表示されているとしても、仮想ボールがバウンスするそのような立体投影の上に重ね合される。
【０１１６】
３．０  PiMovsシステムの動作概要：
【０１１７】
図１〜図１２に関連し、更に上記セクション１及びセクション２で提供された詳細な説明に関して上述した処理は、図１３の一般的な動作フロー図によって更に図示される。具体的に、図１３は、PiMovsシステムの様々な実装の一部の動作を要約する、例示の動作フロー図を提供している。図１３は、本明細書で説明されるPiMovsシステムの様々な実装の全ての網羅的な表現であるようには意図されておらず、図１３に表現される実装は、単に説明の目的のために提供されていることに留意されたい。
【０１１８】
さらに、図１３内で破線又は点線によって表される任意のボックス又はボックス間の相互接続は、本明細書で説明されるPiMovsシステムの任意選択又は代替的実装を表すことに留意されたい。さらに、これらの任意選択又は代替的実装のいずれか又は全てが、以下で説明されるように、本明細書全体を通して説明される他の代替的な実装との組合せで使用されてもよい。
【０１１９】
一般に、図１３によって図示されるように、PiMovsシステムは、連続立体投影を受信及び／又は生成するよう、１つ以上のコンピューティングデバイス１３００を使用することにより動作を開始する。上記で検討したように、この連続立体投影は、連続ディスプレイ面の周囲に連続し、かつ隣接ディスプレイ面のいずれかの隣接エッジにまたがる、立体投影のシームレスな包囲として、ディスプレイ面１３１０上に描画される。様々な実装において、コンピューティングデバイス１３００は、立体投影のデータベース及び関連するコンテンツ又はライブラリから１つ以上の所定の立体投影１３５０を受け取る。
【０１２０】
また、１つ以上のコンピューティングデバイス１３００は、幾何学フレームワークの周囲の所定の半径内にいる１人以上の人の位置、骨格、身体の動き、頭部等を追跡する際に使用するためのセンサデータも追跡センサ１３２０から受け取る。同様に、１つ以上のコンピューティングデバイス１３００は、幾何学フレームワークの周囲の所定の半径内にいる１人以上のユーザからの、１つ以上のＮＵＩセンサ１３３０の入力（例えば発話又は音声、ジェスチャ、顔の表情、目の注視、タッチ等）も受け取る。１つ以上のコンピューティングデバイス１３００は次いで、幾何学フレームワークの外側の周囲の所定のゾーン内にいる１人以上の人々の追跡された位置及び／又はＮＵＩ入力に応答して、ディスプレイ面１３１０に描画、投影又は他の方法で表示されている立体投影を動的に適合する。
【０１２１】
様々な実装において、PiMovsユニットのローカル又はリモート管理を可能にするよう管理ユーザインタフェース１３４０が提供される。一般に、管理ユーザインタフェース１３４０は、システム管理者又はアクセス権を有するユーザが、様々な管理タスクを実行することを可能にする。そのような管理タスクには、限定ではないが、カスタマイズパラメータ等を含め、PiMovsユニットのコンピューティングデバイス１３００によって実行されるべきアプリケーションを（例えばPiMovsアプリケーションライブラリ１３６０から）選択することが含まれる。管理ユーザインタフェース１３４０は、システム管理者又はアクセス権を有するユーザが１つ以上のセンサ（例えば追跡センサ１３２０及び／又はＮＵＩセンサ１３３０）を構成することも可能にする。さらに、管理ユーザインタフェース１３４０は、システム管理者又はアクセス権を有するユーザがデフォルトのテーマを（例えば所定のPiMovsテーマ１３７０のデータベース又はライブラリから）定義又は選択することも可能にする。
【０１２２】
上記のように、様々な実施形態において、PiMovsシステムは、様々なオーディオ出力デバイス１３８０も含む。一般に、これらのオーディオ出力デバイス１３８０（例えばスピーカ又はオーディオ出力チャネル）は単に、立体投影に対応するオーディオを出力する。これらのオーディオ出力デバイス１３８０は、様々な通信タイプのアプリケーション（例えば図１２に関連するセクション２．７．２の上記の議論を参照されたい）とともに使用されてもよい。
【０１２３】
最後に、様々な実施形態において、PiMovsシステムは、１つ以上の通信又はネットワークインタフェースを使用して、様々なソースへデータを送信し、様々なソースからのデータを受信する、通信インタフェース１３９０等も含む。そのような様々なソースには、これらに限られないが、他のPiMovsユニット、クラウドベースのストレージ、パブリック又はプライベートネットワーク、インターネット、ユーザコンピューティングデバイス又はスマートフォン等が含まれる。
【０１２４】
４．０  クレームサポート：
【０１２５】
以下の段落では、本明細書において、特許請求される可能性がある実装の様々な例を要約する。しかしながら、以下で要約される実装は、特許請求に係る主題を限定するよう意図されておらず、PiMovsシステムの詳細な説明の観点で請求され得ることに留意されたい。さらに、以下で要約される実装のいずれか又は全ては、詳細な説明全体を通して説明される実装の一部又は全て及び図面の１つ以上に図示されるいずれかの実装との任意の所望の組合せで請求されてよい。加えて、以下の実装は、本明細書全体を通して説明される詳細な説明及び図面の観点から理解されるように意図されていることに留意されたい。
【０１２６】
様々な実装において、PiMovsシステムは、１人以上の人々が、対話ディスプレイシステムを備える幾何学フレームワークの外側の周囲を動くと、当該人々の追跡される位置に応答して、連続立体投影を動的に適合するための手段によって実装される対話ディスプレイシステムを提供する。
【０１２７】
例えば様々な実装において、対話ディスプレイは、３６０度の幾何学フレームワークの外周を覆うか作成するように配置される連続ディスプレイ面を提供することによって実装される。加えて、１つ以上の位置感知デバイスが、幾何学フレームワークの周囲の所定の半径内の１人以上の人々の位置を追跡するように適用される。１つ以上のコンピューティングデバイスが、ディスプレイ面上に連続立体投影を一緒に生成するように適用される。さらに、この連続立体投影は、連続ディスプレイ面を備えるいずれかの隣接ディスプレイ面のいずれかのエッジにまたがる前記連続立体投影のシームレスな包囲を提供する。加えて、連続立体投影は、１人以上の人々が幾何学フレームワークの外側の周囲を動くときに当該人々の動きに応答して、連続立体投影を動的に調整することにより、追跡した位置を動的に適合する。
【０１２８】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、１人以上の人々が幾何学フレームワークの外側の周囲を動くときに、連続立体投影内の物体が１人以上の人々に対して幾何学フレームワーク内の空間の一貫した位置（consistent  position）を占めるように見えるよう、追跡した位置に対して連続立体投影を動的に適合するための手段、処理又は技術と組み合わされてもよい。
【０１２９】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、１つ以上の隣接エッジに沿って一緒に組み合わされて幾何学フレームワークの対応するセクションを形成する、１つ以上の背面投影ディスプレイパネルを含めることにより、連続ディスプレイ面を実装するための手段、処理又は技術と組み合わされてもよい。
【０１３０】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、連続するディスプレイ面の１つ以上のディスプレイパネルを結合(join)して、対応するシーム部分におけるディスプレイパネルの光学特性を保持するための手段、処理又は技術と組み合わされてよく、これにより、対応するシーム部分における立体投影の光学的歪みを最小にする。
【０１３１】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、幾何学フレームワークの内側に１つ以上のプロジェクタを配列又は配置して、背面投影ディスプレイパネルの対応する部分の上に立体投影の部分を投影するための手段、処理又は技術と組み合わされてもよい。
【０１３２】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、幾何学フレームワークの周囲の所定のゾーン内の１人以上の人々の動きに応答して、１つ以上の所定の立体投影のセットから、連続立体投影を自動的に選択するための手段、処理又は技術と組み合わされてもよい。
【０１３３】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、連続立体投影を、１人以上の人々からの１つ以上のナチュラルユーザインタフェース（ＮＵＩ）入力に動的に適合させるための手段、処理又は技術と組み合わされてもよい。
【０１３４】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、幾何学フレームワークの外周の周囲の何らかの最小距離の所定の対話ゾーン内の１人以上の人々からのＮＵＩ入力を受け入れるための手段、処理又は技術と組み合わされてもよい。
【０１３５】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、連続立体投影を各々が含む複数の対話的ディスプレイ間のリアルタイム対話を可能にする、通信インタフェースを提供するための手段、処理又は技術と組み合わされてもよい。
【０１３６】
更なる実装では、連続立体投影が、いずれかの隣接ディスプレイ面のいずれかの隣接エッジにまたがる連続立体投影のシームレスな包囲を提供するように、連続幾何学フレームワークの外周を形成する１つ以上のディスプレイ面上に連続立体投影を描画するための手段、処理又は技術を介して、立体投影を表示するためのシステムが提供されるそのような実装は、幾何学フレームワークの周囲の所定の半径内の１人以上の人々のセンサデータ受け取って位置を追跡してもよい。加えて、そのような実装は、幾何学フレームワークの周囲の所定の半径内の人々のうちの１人以上からナチュラルユーザインタフェース（ＮＵＩ）入力を受け取ってもよい。さらに、そのような実装は、追跡した位置とＮＵＩ入力に応答して、連続立体投影を動的に適合してもよい。
【０１３７】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全ては、１人以上の人々が幾何学フレームワークの外側の周囲を動くときに、連続立体投影内の物体が１人以上の人々に対して幾何学フレームワーク内の空間の一貫した位置を占めるように見えるよう、１人以上の人々の追跡した位置に対して連続立体投影を動的に適合するための手段、処理又は技術と組み合わされてもよい。
【０１３８】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全ては、１つ以上の隣接エッジに沿って一緒に結合される背面投影ディスプレイパネルからディスプレイ面の１つ以上を構築するための手段、処理又は技術と組み合わされてもよい。
【０１３９】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、幾何学フレームワークの内側に１つ以上のプロジェクタを配列又は配置して、背面投影ディスプレイパネルの対応する部分の上に立体投影の部分を投影するための手段、処理又は技術と組み合わされてもよい。
【０１４０】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、立体投影を表示するためのシステムの複数のインスタンス間のリアルタイム対話を提供する通信インタフェースを実装するための手段、処理又は技術と組み合わされてよく、立体投影の各々は、別個の、関連する又は共有される立体投影を提供してよい。
【０１４１】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、立体投影を表示するためのシステムのうちの２つ以上の間で立体投影を共有して、人々がこれらのシステム間をリアルタイムで通信することを可能にする動的な立体描画を提供するための手段、処理又は技術と組み合わされてよい。
【０１４２】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、立体投影を表示するためのシステムのうちの２つ以上の間で立体投影を共有して、１人以上の人々がＮＵＩジェスチャを使用してシステムの異なるインスタンス間でボールで遊ぶことを可能にする、リアルタイム対話的仮想ボールゲームの動的な立体描画を提供するための手段、処理又は技術と組み合わされてよい。
【０１４３】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、幾何学フレームワークの周囲の所定の半径内の１人以上の人々のＮＵＩ入力に対してリアルタイムで反応する仮想アバターを提供するよう立体投影を適用するための手段、処理又は技術と組み合わされてよい。
【０１４４】
更なる実装では、連続幾何学フレームワークの外周及び上部を形成するように一緒に結合させるための手段、処理又は技術を介して、立体ディスプレイデバイスが提供される。立体ディスプレイデバイスは、各隣接ディスプレイ面の各隣接エッジにまたがるシームレスな包囲として連続立体投影を描画するためコンピューティングデバイスを適用する。コンピューティングデバイスは更に、幾何学フレームワークの周囲の所定の半径内の１人以上の人々の位置を追跡するためのセンサデータを受け取るように適用される。加えて、コンピューティングデバイスは、１人以上の人々が幾何学フレームワークの外側の周囲を動くときに、連続立体投影内の物体が１人以上の人々に対して何学フレームワーク内の空間の一貫した位置を占めるように見えるよう、追跡した位置に応答して、連続立体投影を動的に適合するように適用される。
【０１４５】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、所定の半径内の人々の１人以上から、ナチュラルユーザインタフェース（ＮＵＩ）入力を受け取るようにコンピューティングデバイスを適用するための手段、処理又は技術と組み合わされてよい。
【０１４６】
さらに、以前の段落のいずれかで説明された実装は、１つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、ＮＵＩ入力の１つ以上に応答して、連続立体投影を動的に適合するようにコンピューティングデバイスを適用するための手段、処理又は技術と組み合わされてよい。
【０１４７】
５．０  例示の動作環境：
【０１４８】
本明細書で説明されるPiMovsシステムは、様々なタイプの汎用又は専用のコンピューティングシステム環境又は構成で動作する。図１４は、本明細書で説明されるようなPiMovsシステムの様々な実装及び要素が実施されてよい汎用のコンピュータシステムの簡略化した例を図示している。図１４で破線又は点線で表される任意のボックスは、簡略化されたコンピューティングデバイスの代替的実装を表し、以下で説明される、これらの代替の実装のいずれか又は全てが、本明細書を通して説明される他の代替的実装との組合せで使用されてもよいことを認識されたい。
【０１４９】
例えば図１４は、簡略化されたコンピューティングデバイス１４００の一般的なシステム図を示している。PiMovsシステムとともに動作可能なそのようなデバイスの例には、ポータブル電子デバイス、ウェアラブルコンピューティングデバイス、ハンドヘルドコンピューティングデバイス、ラップトップ又はモバイルコンピュータ、携帯電話やスマートフォン及びＰＤＡといった通信デバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能家庭用電子機器、ネットワークＰＣ、ミニコンピュータ、オーディオ又はビデオメディアプレイヤ、ハンドヘルドリモートコントロールデバイスとが含まれるが、これらに限定されない、また、PiMovsシステムは、広範な電子デバイス又は物体と通信するか他の方法で結合される任意のタッチスクリーン又はタッチ感知面とともに実装されてもよいことを認識されたい。
【０１５０】
デバイスがPiMovsシステムを実装することを可能にするために、コンピューティングデバイス１４００は、基本の演算動作を可能にするよう十分な演算能力及びシステムメモリを有するべきである。加えて、コンピューティングデバイス１４００は１つ以上のセンサ１４０５を含んでよい。１つ以上のセンサは、これらに限定されないが、加速度計、カメラ、容量式センサ、近接性センサ、マイクロフォン、マルチスペクトルセンサ等を含む。さらに、コンピューティングデバイス１４００は、PiMovsシステムの様々な実装形態を実装する際に使用するための動作システムファームウェア１４２５（あるいは他のファームウェア又はプロセッサアクセス可能なメモリ又はストレージ）も含んでよい。
【０１５１】
図１４によって図示されるように、コンピューティングデバイス１４００の演算能力は一般に、１つ以上の処理ユニット１４１０によって例示されており、１つ以上のＧＰＵ１４１５も含んでよい。そのいずれか又は双方がシステムメモリ１４２０と通信する。コンピューティングデバイス１４００の処理ユニット１４１０は、ＤＳＰ、ＶＬＩＷ又は他のマイクロコントローラのような専用のマイクロプロセッサであってよく、あるいはマルチコアＣＰＵ内の専用のＧＰＵベースのコアを含め、１つ以上の処理コアを有する従来的なＣＰＵとすることができる。
【０１５２】
加えて、簡略化したコンピューティングデバイス１４００は、例えば通信インタフェース１４３０のような他のコンポーネントも含んでよい。簡略化したコンピューティングデバイス１４００は、１つ以上の従来的なコンピュータ入力デバイス１４４０又はそのようなデバイス（例えばタッチスクリーン、タッチ感知面、ポインティングデバイス、キーボード、オーディオ入力デバイス、音声又はスピーチベースの入力及び制御デバイス、ビデオ入力デバイス、触覚入力デバイス、有線又は無線データ伝送用のデバイス）の組合せも含んでよい。
【０１５３】
同様に、簡略化されたコンピューティングデバイス１４００との様々な対話、並びに１人以上のユーザ又はPiMovsシステムに関連付けられる他のデバイス若しくはシステムに対する入力、出力、制御、フィードバック及び応答を含め、PiMovsシステムの任意の他のコンポーネント又は特徴との様々な対話が、様々なナチュラルユーザインタフェース（ＮＵＩ）シナリオによって可能にされる。PiMovsシステムによって可能にされるＮＵＩ技術及びシナリオは、マウスやキーボード、リモートコントロール等のような入力デバイスによって課される人工制約から解放されて、１人以上のユーザがPiMovsシステムと「自然な」方法で対話することを可能にする技術を含むが、これに限定されない。
【０１５４】
そのようなＮＵＩ実装は、これに限定されないが、マイクロフォン又は他のセンサを介してキャプチャされるユーザのスピーチ又は発声から導出されるか、ＮＵＩ情報を使用することを含め、様々な技術の使用によって可能にされる。そのようなＮＵＩ実装は、これに限定されないが、ユーザの顔の表情から、２Ｄ又は深度カメラ（例えば立体又は飛行時間カメラシステム、赤外カメラシステム、ＲＧＢカメラシステム、そのようなデバイスの組合せ等）のような撮像デバイスを使用してキャプチャされるユーザの手、指、手首、脚、身体、頭部、目等の位置、動き又は向きから導出される情報を含め、様々な技術の使用によっても可能にされる。更なる例には、タッチ及びスタイル認識から、ジェスチャ認識（オンスクリーン上と、画面又はディスプレイ面に近接するものとの双方）、エア及び接触ベースのジェスチャ、様々な表面、物体又は他のユーザ上のユーザタッチ、ホバリングベースの入力又はアクション等から導出されるＮＵＩ情報を含むが、これらに限定されない。加えて、ＮＵＩ実装は、単独又は他のＮＵＩ情報との組合せのいずれかで現在又は過去のユーザの挙動、入力、アクション等を評価して、ユーザの意図、希望及び／又は目標のような情報を予測する、様々な予測マシンインテリジェンス処理の使用も含むが、これに限定されない。ＮＵＩベース情報のタイプ又はソースに関わらず、そのような情報を使用して、PiMovsシステムの１つ以上の入力、出力、アクション又は機能的特徴を開始、終了、又は他の方法で制御するか対話する。
【０１５５】
しかしながら、そのようなＮＵＩシナリオは、ＮＵＩ入力の任意の組合せとともに人工制約（artificial  constraints）又は追加の信号の使用を組み合わせることによって、更に増補することができる。そのような人工制約又は追加の信号は、マウスやキーボード、リモートコントロール等のような入力デバイスによって、あるいは加速度計、ユーザの筋肉によって生じる電気信号を表す筋電信号を受け取るための筋電図検査（ＥＭＧ）センサ、心拍モニタ、ユーザの汗を測定するためのガルバニック皮膚伝導センサ、ユーザの体温変化又は差を測定するためのウェアラブル又はリモートバイオセンサ等のような様々なリモート又はユーザ装着センサによって課されるか、これらによって生じることがある。これらのタイプの人工制約又は追加の信号から導出される任意のそのような情報を、いずれか１つ以上のＮＵＩ入力と組み合わせて、PiMovsシステムの１つ以上の入力、出力、アクション又は機能的特徴を開始、終了又は他の方法で制御するか対話することができる。
【０１５６】
簡略化したコンピューティングデバイス１４００は、例えば１つ以上の従来的なコンピュータ出力デバイス１４５０（例えばディスプレイデバイス１４５５、オーディオ出力デバイス、ビデオ出力デバイス、有線又は無線データ伝送のためのデバイス等）のような、他の任意選択のコンポーネントも含んでよい。汎用コンピュータのための典型的な通信インタフェース１４３０、入力デバイス１４４０、出力デバイス１４５０及びストレージデバイス１４６０は、当業者には周知であり、本明細書では詳細には説明されないことに留意されたい。
【０１５７】
簡略化したコンピューティングデバイス１４００は、様々なコンピュータ読取可能媒体も含んでよい。コンピュータ読取可能媒体は、ストレージデバイス１４６０を介してアクセス可能な任意の利用可能媒体とすることができ、コンピュータ読取可能又はコンピュータ実行可能命令、データ構造、プログラムモジュール又は他のデータのような情報の格納のために、取外し可能１４７０及び／又は取外し不可能１４８０のいずれかの揮発性媒体と不揮発性媒体の双方を含む。
【０１５８】
限定ではなく例として、コンピュータ読取可能媒体は、コンピュータ記憶媒体及び通信媒体を備える。コンピュータ記憶媒体は、有形のコンピュータ又はマシン読取可能媒体又はストレージデバイスを指す。例えばＤＶＤ、ＣＤ、フロッピーディスク、テープドライブ、ハードドライブ、光学デバイス、半導体メモリデバイス、ＲＡＭ，ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気ストレージデバイス、あるいは所望の情報を格納するのに使用することができ、１つ以上のコンピューティングデバイスによってアクセスすることができる任意の他のデバイス等である。
【０１５９】
対照的に、コンピュータ読取可能又はコンピュータ実行可能命令、データ構造、プログラムモジュール等のような情報の記憶又は保持を、様々な上述の通信媒体のいずれかを使用して、１つ以上の変調データ信号又は搬送波を保持すること、あるいは他のトランスポート機構又は通信プロトコルを使用することによって達成することもでき、いずれかの有線又は無線情報伝達機構を含む。「変調データ信号」又は「搬送波」という用語は、情報を支合内にエンコードするような方法で設定又は変更される特性のうちの１つ以上を有する信号を指すことに留意されたい。例えば通信媒体は、１つ以上の変調データ信号を担持する有線ネットワーク又は直接優先接続のような有線媒体と、音響、ＲＦ、赤外線、レーザ及び１つ以上の変調データ信号又は搬送波を送受信するための他の無線媒体を含む。上記の任意の組合せも通信媒体の範囲内に含まれるべきである。
【０１６０】
さらに、本明細書で説明されるPiMovsシステム又はその一部の様々な実装の一部又は全てを具現化するソフトウェア、プログラム及び／又はコンピュータプログラム製品を、コンピュータ実行可能命令又は他のデータ構造の形で、コンピュータ又はマシン読取可能媒体又は記憶デバイスと通信媒体の任意の所望の組合せから格納し、受信し、送信し又は読み出してもよい。
【０１６１】
最後に、本明細書で説明されるPiMovsシステムは、コンピューティングデバイスによって実行される、プログラムモジュールのようなコンピュータ実行可能な命令の一般的コンテキストで説明されてもよい。一般に、プログラムモジュールは、特定のタスクを実行するか特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。
【０１６２】
本明細書で説明される実装は、１つ以上のタスクが１つ以上のリモート処理デバイスによって実行される分散コンピューティング環境で実施されてよく、１つ以上の通信ネットワークを通してリンクされる１つ以上のデバイスのクラウド内で実施されてもよい。分散コンピューティング環境では、プログラムモジュールが、メディア記憶デバイスを含め、ローカルとリモート双方のコンピュータ記憶媒体に配置されてよい。またさらに、上述の命令は、部分的又は全体的にハードウェア論理回路として実装されてもよく、ハードウェア論理回路は、プロセッサを含んでもよく、含まなくてもよい。
【０１６３】
代替又は追加として、本明細書で説明される機能の一部又は全てを、少なくとも部分的に１つ以上のハードウェア論理コンポーネントによって実施することができる。例えば限定ではないが、使用することができる例示のタイプのハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、特定用途向け集積回路（ＡＳＩＣｓ）、特定用途向け規格品（ＡＳＳＰｓ）、システムオンチップシステム（ＳＯＣｓ）、結合プログラム可能論理回路（ＣＰＬＤｓ）等を含む。
【０１６４】
PiMovsシステムの上記説明は、例示及び説明の目的で提示されている。これは包括的であるように意図されておらず、特許請求に係る主題を、開示される正確な形に限定するように意図されていない。上記の教示の観点から多くの修正及び変形が可能である。さらに、上述の代替的実装のいずれか又は全てが、PiMovsシステムの追加のハイブリッド実装を形成するよう所望の任意の組合せで使用してもよいことに留意されたい。本発明の範囲は、この詳細な説明によって限定されないが、添付の特許請求の範囲によって限定されるように意図される。本主題は、構造的特徴及び／又は方法的動作に特有の言語で説明されているが、添付の特許請求の範囲で定義される主題は、必ずしも上述の具体的な特徴又は動作に限定されないことが理解されよう。むしろ、上述の具体的な特徴及び動作は、特許請求に係る発明を実装するための例示の形式として開示されており、他の均等な特徴及び動作は、特許請求の範囲内にあるように意図される。
【図１】
2017536715.tif 000003
【図２】
2017536715.tif 000004
【図３】
2017536715.tif 000005
【図４】
2017536715.tif 000006
【図５】
2017536715.tif 000007
【図６】
2017536715.tif 000008
【図７】
2017536715.tif 000009
【図８】
2017536715.tif 000010
【図９】
2017536715.tif 000011
【図１０】
2017536715.tif 000012
【図１１】
2017536715.tif 000013
【図１２】
2017536715.tif 000014
【図１３】
2017536715.tif 000015
【図１４】
2017536715.tif 000016
【国際調査報告】
2017536715.tif 000017
2017536715.tif 000018
2017536715.tif 000019
2017536715.tif 000020
2017536715.tif 000021
2017536715.tif 000022