(57)【要約】  本発明は仮想現実アトラクション制御方法及びシステムに関するものである。これは利用者が乗る機械コンポーネントの動きと利用者に映像コンポーネントを通じて表示される映像データに基づいて利用者に仮想現実を体験することができるようにする仮想現実アトラクションの制御方法であって、使用者の移動端末機で撮影された実写映像データと前記実写映像データを撮影した時点の時間データ及び位置データを含んだメタデータを含む実写映像コンテンツを生成する段階と、前記実写映像コンテンツが制御コンテンツとして仮想現実アトラクションで受信される段階、及び前記仮想現実アトラクションは、前記メタデータに基づいて前記機械コンポーネントの動きを駆動する一方、前記実写映像データを前記メタデータに基づいて同期化させて前記映像コンポーネントに表示するように制御する段階を含む。
2019535090.tif 000002
【特許請求の範囲】
【請求項１】
利用者が乗る機械コンポーネントの動きと前記利用者に映像コンポーネント通じて表示される映像データに基づいて前記利用者に仮想現実を体験することができるようにする仮想現実アトラクションの制御方法であって、
使用者の移動端末機で撮影された実写映像データと、少なくとも前記移動端末機が前記実写映像データを撮影した時点の時間データ、前記移動端末機の位置データを含むメタデータを含む実写映像コンテンツを生成する実写映像コンテンツ製作段階と、
生成された実写映像コンテンツが前記移動端末機から、前記移動端末機と前記仮想現実アトラクションが何れも通信網を通じて接続すれば前記実写映像コンテンツを前記通信網を通じてアップロードするかダウンロードすることができるサービスを提供するコンテンツサーバーを経由して、制御コンテンツとして前記仮想現実アトラクションで受信される制御コンテンツ入力段階と、
前記仮想現実アトラクションは、前記入力された実写映像コンテンツのメタデータに基づいて前記機械コンポーネントの動きを駆動し、前記入力された実写映像コンテンツの実写映像データを前記メタデータ内に含まれた時間データに基づいて同期化させて前記映像コンポーネントに表示するように制御するアトラクション駆動段階と、を含むことを特徴とする仮想現実アトラクション制御方法。
【請求項２】
前記移動端末機はプロセッサ、メモリー、カメラ、時間感知センサー及び位置感知センサーを含み、
前記移動端末機には、前記カメラによって撮影された実写映像データ、及び少なくとも前記時間感知センサー及び位置感知センサーから前記実写映像データが撮影された時点の時間及び位置データを含んで生成されたメタデータを結合して前記実写映像コンテンツを生成する動作が前記プロセッサによって実行されるようにコーディングされた仮想現実アトラクション制御用実写映像コンテンツ生成用コンピューターが実行可能なアプリケーションが設置され、また前記移動端末機は、前記アプリケーションが前記プロセッサによって実行される時に生成された前記実写映像コンテンツを保存するストレージ、または前記実写映像コンテンツを外部装置に送信する送信モジュールを含むことを特徴とする請求項１に記載の仮想現実アトラクション制御方法。
【請求項３】
前記メタデータは、前記時間データ及び位置データ以外に、前記移動端末機の姿勢を表す姿勢データ、及び前記移動端末機の動きを表す加速度または速度の中の少なくとも一つをさらに含むことを特徴とする請求項１に記載の仮想現実アトラクションの制御方法。
【請求項４】
前記移動端末機で実行される前記実写映像コンテンツ製作段階と、製作された実写映像コンテンツが前記コンテンツサーバーにアップロードされる段階と、
アップロードされた実写映像コンテンツが前記コンテンツサーバーから前記仮想現実アトラクションにダウンロードされる段階と、
ダウンロードされた実写映像コンテンツに基づいて前記仮想現実アトラクションが駆動される段階と、がリアルタイムで行われることを特徴とする請求項１に記載の仮想現実アトラクション制御方法。
【請求項５】
前記コンテンツサーバーは前記実写映像コンテンツに付加コンテンツを含ませてダウンロードされるように提供し、前記仮想現実アトラクションは前記付加コンテンツが前記映像コンポーネント通じて利用者に表示されるように処理することを特徴とする請求項１に記載の仮想現実アトラクション制御方法。
【請求項６】
前記アトラクション駆動段階は、前記機械コンポーネント通じて前記利用者が入力したフィードバックデータに基づいて、前記仮想現実アトラクションが前記メタデータに基づいた前記機械コンポーネントの動きを調節し、調節された機械コンポーネントの動きに基づいて前記映像コンポーネントに表示される前記映像データを調節する仮想現実調節段階をさらに含むことを特徴とする請求項１に記載の仮想現実アトラクション制御方法。
【請求項７】
前記アトラクション駆動段階は、前記機械コンポーネント通じて前記利用者が入力したフィードバックデータと、前記仮想現実アトラクションが前記メタデータに基づいて駆動される前記機械コンポーネントの動きデータを比較し、前記比較に基づいて前記利用者を評価し、その評価結果を前記利用者に表示する評価段階をさらに含むことを特徴とする請求項１に記載の仮想現実アトラクション制御方法。
【請求項８】
請求項１〜７の何れか一項に記載された仮想現実アトラクション制御方法が実行されることを特徴とする仮想現実アトラクションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は仮想現実アトラクション制御技術に関し、さらに詳しくは、一般使用者が製作した実写映像データを仮想現実を体験するように構成された仮想現実アトラクションの制御コンテンツとして提供することによって、現実で撮影した実写映像に基づいた仮想現実アトラクションの制御コンテンツが容易に製作されることができるようにした新しい仮想現実アトラクション制御方法及びシステムに関するものである。
【背景技術】
【０００２】
一般に、アトラクション（ａｔｔｒａｃｔｉｏｎ）は遊園地などに設置された乗り物で、使用者が乗った状態で回転運動、傾斜運動、等速運動、加速移動、水平移動、上下移動などを多様に組み合わせた動きを提供することによって使用者に楽しみを提供する器具を指称する。最近、使用者が乗った器具を機械的方式で駆動すると同時に所定のシナリオによる映像を使用者に提供することによって、沒入感のある仮想現実（ＶＲ、ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ）を体験することができるようにするアトラクション（以下、『仮想現実アトラクション』と称する）が発展している。さらに、このような仮想現実アトラクションに関る技術は、最近ヘッドマウントディスプレイ（ＨＭＤ、ｈｅａｄ  ｍｏｕｎｔ  ｄｉｓｐｌａｙ）、３次元映像技術、３６０度ＶＲ映像などの発展につれて乗り物だけでなく、シミューレーター、運動器具、ゲーム機などの多様な分野に拡大されている。
【０００３】
図１には通常の仮想現実アトラクション１００の構成が概略的に示される。図示したように、仮想現実アトラクション１００は利用者が乗る機械コンポーネント１３０と、利用者に映像を表示する映像コンポーネント１５０とを含み、これらを制御するためのアトラクション制御部１１０を含む。制御部１１０には制御コンテンツ（ｃｏｎｔｒｏｌ  ｃｏｎｔｅｎｔｓ）が入力されたりストレージから読み取って、この制御コンテンツに基づいて機械コンポーネント１３０と映像コンポーネント１５０を制御することができる。
【０００４】
この例で、制御部１１０は制御コンテンツに含まれている機械駆動データに基づいて、例えば一つ以上のモーターを駆動することによって使用者が乗っている機械コンポーネント１３０の動きを制御することができる。機械駆動データは、例えば機械コンポーネント１３０を３次元上で所定方向に並進移動させるか、所定方向に回転させるか、所定姿勢を保持するか、姿勢を変化させるなどの動きのために必要なデータを含む。このような機械駆動データに基づいて制御されることによって、機械コンポーネント１３０は所定の姿勢を保持または変更するか、上下（Ｚ軸）に動くか、左右（Ｙ軸）に動くか、前後（Ｘ軸）に動くか、ローリング（Ｘ軸を中心に回転）するか、ピッチング（Ｙ軸を中心に回転）するか、ヨーイング（Ｚ軸を中心に回転）するなどの動きまたはこれらの組合に制御されることができる。
【０００５】
一方、制御部１１０は制御コンテンツに含まれている映像データに基づいて、例えば利用者前方のスクリーンまたは利用者が頭に着用したＨＭＤのような映像コンポーネント１５０に所定の映像が表示されるようにすることができる。
【０００６】
さらに、制御部１１０は機械コンポーネント１３０に乗った利用者が、例えば機械コンポーネント１３０内に設置されたハンドルを動かしたり、ペダルを踏むなどの作用によって入力されるフィードバックデータを受け、このような利用者のフィードバックに応答して機械コンポーネント１３０の動きと映像コンポーネント１５０に表示される映像を調節することによって、使用者と相互作用する仮想現実アトラクションを構成することができる。
【０００７】
しかしながら、従来の仮想現実アトラクションにおいて、制御コンテンツは機械を動作させるための機械駆動データと映像と表示するための映像データが個別にプログラミングされることが一般的であった。そして、仮想現実を提供するための映像データは、部分的に実写映像を含むとしても、一般的にコンピュータグラフィック（ＣＧ）に基づいて生成された。そこで、従来の仮想現実アトラクションの制御コンテンツは、所定の仮想現実シナリオの企画を要するだけでなく、ＣＧ製作のための専門的な人力を必要とするため、時間及び費用がたくさんかかる過程によって提供されるという限界があった。それによって、従来の仮想現実アトラクションは、利用者に多様な仮想現実に対する経験のためのコンテンツが多くなく、ひいてはこのようなコンテンツが容易に提供されることができなく、さらにコンテンツが多様な方式で共有されることもできないという面で限界があった。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は上述した従来の仮想現実アトラクションの制御コンテンツ提供技術の問題点を解消ために案出されたものであり、さらに詳しくは、一般使用者が移動端末機を利用して生成した実写映像データを仮想現実アトラクションの制御コンテンツ（即ち、機械コンポーネントを制御するためのデータと映像コンポーネントのための映像データを含むコンテンツ）として提供することによって、一般使用者によって現実で撮影された実写映像に基づいて仮想現実アトラクションの制御コンテンツが容易に製作され、多様な方式で共有されることができるようにした新しい仮想現実アトラクションの制御方法及びシステムを目的とする。
【０００９】
本明細書で用いる『仮想現実アトラクション』という用語は、利用者が仮想現実を体験することができるようにする機械的コンポーネント及び映像を表示するための映像コンポーネントを含む装置を意味し、特に制限されなく、技術的に可能な広範囲の装置を意味する。例えば、その機械的コンポーネントには乗り物だけでなく、シミューレーター、運動器具、またはゲーム機などの多様な分野の機器を含む。一方、その映像表示用コンポーネントにはスクリーン、モニター、ヘッドマウントディスプレイ、スマートガラス、別途のディスプレイ装置（例えば、スマートフォン）を装着して利用するヘッドギアなどの多様な機器を含む。
【００１０】
具体的に、本発明は一般使用者が、例えばスマートフォンに「仮想現実アトラクションの制御コンテンツ」として実写映像コンテンツを生成することができるようにするアプリケーションを設置することによって、スマートフォンに内蔵されたカメラまたは外部カメラを利用して撮影された実写映像データにスマートフォンに内臓／外装された複数のセンサー（例えば、ＧＰＳセンサー、近接センサー、モーションセンサー、気圧センサー、地磁気センサーなど）から得られる時間、位置、角度、傾斜度、姿勢、加速度、速度、緯度、方位を表す値の中の少なくとも一部値を含むメタデータを結合した実写映像コンテンツを生成することができるようにし、このように生成された実写映像コンテンツを仮想現実アトラクションの制御コンテンツとして提供することによって、一般使用者が仮想現実アトラクションの制御コンテンツを容易に製作して提供することができるようにする新しい仮想現実アトラクションの制御方法及びシステムを目的とする。
【００１１】
さらに、本発明は一般使用者が映像を表示するための実写映像データと機械を駆動するためのメタデータを含む実写映像コンテンツを例えばインターネットのようなネットワーク上で運営されるウェブサーバーの形態のコンテンツサーバーにアップロードするかこのコンテンツサーバーからダウンロードするように提供することによって、仮想現実アトラクションのための多様な制御コンテンツが容易に共有され、さらに多様な方式（例えば一対一、一対多、多対一）で共有されることができるようにする新しい仮想現実アトラクション制御方法及びシステムを目的とする。
【課題を解決するための手段】
【００１２】
前述した目的は本発明によって提供される仮想現実アトラクション制御方法及びシステムによって達成される。
【００１３】
本発明の一様相によって提供される仮想現実アトラクション制御方法は、利用者が乗る機械コンポーネントの動きと前記利用者に映像コンポーネント通じて表示される映像データに基づいて前記利用者に仮想現実を体験することができるようにする仮想現実アトラクションの制御方法であって、使用者の移動端末機で撮影された実写映像データと、少なくとも前記移動端末機が前記実写映像データを撮影した時点の時間データ、前記移動端末機の位置データを含むメタデータを含む実写映像コンテンツを生成する実写映像コンテンツ製作段階と、前記実写映像コンテンツが前記制御コンテンツとして前記仮想現実アトラクションで受信される制御コンテンツ入力段階と、前記仮想現実アトラクションは、前記入力された実写映像コンテンツのメタデータに基づいて前記機械コンポーネントの動きを駆動し、前記入力された実写映像コンテンツの実写映像データを前記メタデータ内に含まれた時間データに基づいて同期化させて前記映像コンポーネントに表示するように制御するアトラクション駆動段階と、を含む。
【００１４】
前記移動端末機はプロセッサ、メモリー、カメラ、時間感知センサー及び位置感知センサーを含むことができる。前記移動端末機には、前記カメラによって撮影された実写映像データ、及び少なくとも前記時間感知センサー及び位置感知センサーから前記実写映像データが撮影された時点の時間及び位置データを含んで生成されたメタデータを結合して前記実写映像コンテンツを生成する動作が前記プロセッサによって実行されるようにコーディングされた仮想現実アトラクション制御用実写映像コンテンツ生成用コンピューターが実行可能なアプリケーションが設置されることができる。また、前記移動端末機は、前記アプリケーションが前記プロセッサによって実行される時に生成された前記実写映像コンテンツを保存するストレージ、または前記実写映像コンテンツを外部装置に送信する送信モジュールを含むことができる。
【００１５】
前記メタデータは、前記時間データ及び位置データ以外に、前記移動端末機の姿勢を表す姿勢データ、及び前記移動端末機の動きを表す加速度または速度の中の少なくとも一つをさらに含むことができる。
【００１６】
前記制御コンテンツ入力段階は、移動式メモリー媒体を利用して実行されることができる。
【００１７】
前記制御コンテンツ入力段階は、前記移動端末機と前記仮想現実アトラクションが何れも通信網を通じて接続すれば、前記実写映像コンテンツを前記通信網を通じてアップロードするかダウンロードすることができるサービスを提供するコンテンツサーバーを経由して実行されることができる。
【００１８】
前記移動端末機で実行される前記実写映像コンテンツ製作段階と、製作された実写映像コンテンツが前記コンテンツサーバーにアップロードされる段階と、アップロードされた実写映像コンテンツが前記コンテンツサーバーから前記仮想現実アトラクションにダウンロードされる段階と、ダウンロードされた実写映像コンテンツに基づいて前記仮想現実アトラクションが駆動される段階と、が同時に行われることができる。
【００１９】
前記コンテンツサーバーは前記実写映像コンテンツに付加コンテンツを含ませてダウンロードされるように提供し、前記仮想現実アトラクションは前記付加コンテンツが前記映像コンポーネント通じて利用者に表示されるように処理することができる。
【００２０】
前記アトラクション駆動段階は、前記機械コンポーネント通じて前記利用者が入力したフィードバックデータに基づいて、前記仮想現実アトラクションが前記メタデータに基づいた前記機械コンポーネントの動きを調節し、調節された機械コンポーネントの動きに基づいて前記映像コンポーネントに表示される前記映像データを調節する仮想現実調節段階をさらに含むことができる。
【００２１】
前記アトラクション駆動段階は、前記機械コンポーネント通じて前記利用者が入力したフィードバックデータと、前記仮想現実アトラクションが前記メタデータに基づいて駆動される前記機械コンポーネントの動きデータとを比較し、前記比較に基づいて前記利用者を評価し、その評価結果を前記利用者に表示する評価段階をさらに含むことができる。
【００２２】
また、本発明の他の様相によって提供される仮想現実アトラクション制御システムは、前述した仮想現実アトラクション制御方法の何れか一つが実行されるように構成された仮想現実アトラクションシステムに関する。
【発明の効果】
【００２３】
本発明によれば、仮想現実アトラクションの機械的駆動及び映像を表示するための制御コンテンツを誰でも容易に製作することができるようにし、また多様な方式で共有することができるという独特な効果を奏する。
【００２４】
より詳しくは、本発明によれば、一般使用者が移動端末機を利用して生成した実写映像データを仮想現実体験用アトラクション装置の制御コンテンツとして提供することによって、現実で撮影された実写映像に基づいた制御コンテンツが容易に製作され、多様な方式で共有されることができるようにする。
【００２５】
具体的に、本発明によれば、一般使用者が例えばスマートフォンにアトラクション制御コンテンツとして映像コンテンツを生成することができるようにするアプリケーションを設置することによって、スマートフォンに内蔵されたカメラまたは外部カメラを利用して撮影された実写映像データにスマートフォンに内臓／外装された複数のセンサー（例えば、ＧＰＳセンサー、近接センサー、モーションセンサー、気圧センサー、地磁気センサーなど）から得られる時間、位置、角度、傾斜度、姿勢、加速度、速度、緯度、方位を表す値の中の少なくとも一部値を含むメタデータを結合した実写映像コンテンツを生成することができ、このように生成された実写映像コンテンツを仮想現実アトラクションの制御コンテンツとして提供することができる。このように本発明は専門家ではない一般の使用者でも容易に仮想現実アトラクションの制御コンテンツを製作することができるようにする。
【００２６】
さらに、本発明によれば、一般使用者が製作した実写映像コンテンツを例えばインターネットのようなネットワーク上で運営されるウェブサーバーの形態のコンテンツサーバーにアップロードするかこのコンテンツサーバーからダウンロードするように提供する。このように、本発明は仮想現実アトラクションのための多様な制御コンテンツが容易に製作されるだけでなく、容易に共有され、ひいては多様な方式で共有されることができるようにする。
【図面の簡単な説明】
【００２７】
【図１】通常の仮想現実アトラクションの構成が示された概路図である。
【図２】本発明の実施例による仮想現実アトラクションシステムの全体構成が例示された概路図である。
【図３】本発明の実施例による仮想現実アトラクションシステムで、制御コンテンツを製作するための移動端末機の構成を例示する概路図である。
【図４】本発明の実施例によって移動端末機側で制御コンテンツとして実写映像コンテンツが製作される過程を説明するための概路図である。
【図５】本発明の実施例によって製作された実写映像コンテンツが映像データとメタデータを含む構成を例示する概路図である。
【図６】本発明の実施例による仮想現実アトラクション制御システムで、仮想現実アトラクション装置の構成を例示する概路図である。
【図７】本発明の実施例による仮想現実アトラクション制御方法の流れが例示された流れ図である。
【図８】本発明の実施例によって提供される実写映像コンテンツを共有する例として、特に一つの仮想現実アトラクションでコンテンツサーバーから複数の実写映像コンテンツの中で所望のコンテンツを選択して共有する例を示す概路図である。
【図９】本発明の実施例によって提供される映像コンテンツを共有する例として、特に複数の仮想現実アトラクションでコンテンツサーバーを通じて一つの映像コンテンツを同時に共有する例を示す概路図である。
【発明を実施するための形態】
【００２８】
以下、添付された図面を参照して本発明を具体的な例を挙げて説明すれば次の通りである。
【００２９】
図２は本発明の実施例による仮想現実アトラクションシステムの全体的な構成が例示された概路図である。
【００３０】
図２を参照すれば、仮想現実アトラクションシステム２００は、移動端末機２１０、仮想現実アトラクション２３０、及びコンテンツサーバー２５０を含む。本発明によって仮想現実アトラクションシステム２００は、一般使用者が移動端末機２１０を通じて実写撮影した映像コンテンツを利用して仮想現実アトラクション２３０を制御するシステムである。
【００３１】
移動端末機２１０は、例えば使用者が所持したり着用するスマートフォン、スマートウォッチ、スマートガラスなどの端末機のように、プロセッサ、メモリー、コンピュータソフトウェア、通信モジュール、外装メモリー連結ポートなどを備えた携帯用コンピュータ装置であってもよい。特に、この場合、移動端末機２１０はそのプロセッサによって実行されれば、実写映像コンテンツを生成する動作が実行されるようにコーディングされた仮想現実アトラクション制御用実写映像コンテンツ生成用コンピューターが実行可能なアプリケーション（以下、単純に『コンテンツ生成アプリケーション』と指称する）が設置されることができる。
【００３２】
この例で、コンテンツ生成アプリケーションは移動端末機２１０の撮影部２１６によって撮影された実写映像データにメタデータを結合することによって、仮想現実アトラクション制御用実写映像コンテンツを生成する。ここで、メタデータは、時間センサー２１２及び位置センサー２１４から撮影部２１６によって実写映像データが撮影された時点の時間と及び移動端末機の位置を表すデータに基づいて生成されたデータであってもよい。このようなメタデータは時間値、例えば３次元座標（緯度、経度及び高度）内の位置値、勾配や傾斜度のような移動端末機の姿勢を表す値、移動端末機の移動速度を表す値、移動端末機の加速度を表す値などをさらに含むことができる。
【００３３】
図示の例で、移動端末機２１０は例えばスマートフォンに内蔵されたカメラまたはケーブルやブルートゥース（登録商標）のような近距離無線通信網で連結された外装カメラのような撮影部２１６と、カメラによって映像が撮影された時の時間と移動端末機の位置を感知するセンサー時間センサー２１２及び位置センサー２１４を含む。位置センサー２１４は例えばグローバル・ポジショニング・システム（ＧＰＳ）衛星から位置情報を受信して現在の移動端末機の位置を計算するＧＰＳモジュールを含むことができる。
【００３４】
仮想現実アトラクション２３０は、利用者が乗る機械コンポーネント２３４と利用者に映像データを提供するための映像コンポーネント２３６、及びこれらを制御する制御部２３２を含む。制御部２３２は機械コンポーネント２３４の動きを制御し、映像コンポーネント２３６を通じて映像を表示するように制御することによって機械コンポーネント２３４に乗って映像コンポーネント２３６を通じて映像を視聴する利用者に仮想現実を体験することができるようにする。
【００３５】
特に本発明によれば、仮想現実アトラクション２３０の制御部２３２は、移動端末機２１０によって製作された実写映像コンテンツを受けて、それに基づいて制御動作を実行することができる。言い替えれば、制御部２３２は実写映像コンテンツの中に含まれているメタデータに基づいて機械コンポーネント２３４の動きを駆動する一方、実写映像コンテンツの中に含まれている実写映像データを映像コンポーネント２３６を通じて表示されるように制御する。機械コンポーネント２３４の動きと映像コンポーネント２３６を通じて表示される実写映像データは、メタデータ内に含まれた時間データに基づいて同期化されることができる。
【００３６】
図面で移動端末機２１０から仮想現実アトラクション２３０に直接向かう矢印は、移動端末機２１０で製作された実写映像コンテンツが仮想現実アトラクション２３０に直接入力されることを表す。例えば、使用者は自分の移動端末機２１０で撮影して製作した実写映像コンテンツを移動端末機２１０内のストレージに保存しておき、例えば有線ケーブルで連結した状態で、または汎用直列バス（ＵＳＢ）メモリーカードを利用して、またはブルートゥースのような近距離無線通信を利用して、仮想現実アトラクション２３０に送信することができる。
【００３７】
このようなシステムによれば、特別な知識や経験のない一般の人誰でも容易に仮想現実アトラクション２３０の制御コンテンツを提供することができるという長所が提供される。例えば、使用者は３６０度映像撮影可能なカメラをスマートフォンに連結した状態で頭に着用したり自転車に付着した状態で、自転車に乗って移動しながら自転車前方で時々刻々変化する風景を所定時間の間連続的に撮影することによって実写映像コンテンツを製作することができ、このように製作した実写映像コンテンツを仮想現実アトラクション２３０を制御するための制御コンテンツとして提供することができる。
【００３８】
また、本発明の実施例によって、使用者が移動端末機２１０を利用して製作した実写映像コンテンツは、例えばインターネットのウェブ環境で動作するウェブサーバー形態のコンテンツサーバー２５０を経由して仮想現実アトラクション２３０に提供されることができる。この場合、コンテンツサーバー２５０は複数の移動端末機２１０と複数の仮想現実アトラクション２３０によって接続され、仮想現実アトラクション２３０を制御するために用いられることができる制御コンテンツをアップロードしてダウンロードすることができるように提供することができる。
【００３９】
このために、例えばコンテンツサーバー２５０はコンテンツ受信部２５２を通じてアップロードされた実写映像コンテンツを仮想現実アトラクションの制御コンテンツとしてストレージ２５６に保存することができる。この場合、コンテンツ受信部２５２はアップロードされた実写映像コンテンツを所定のタッグ情報とともに保存することによって、検索を容易にすることができる。タッグ情報としては例えば自転車、スキー、エキストリームスポーツ、自動車競走．．．などのようにアトラクション装置の種類によって適切なコンテンツが選択されることができるようにする単語や、製作者の識別情報などが含まれることができる。
【００４０】
また、コンテンツサーバー２５０はコンテンツ提供部２５４を通じてストレージ２５６に保存されている実写映像コンテンツを仮想現実アトラクション２３０の制御コンテンツとして仮想現実アトラクション２３０にダウンロードされるように提供することができる。ここで、コンテンツ提供部２５６はダウンロードされる実写映像コンテンツに所定の付加コンテンツ（例えば、広告用コンテンツ）を追加することができる。
【００４１】
たとえ図面では、仮想現実アトラクション２３０が直接コンテンツサーバー２５０から実写映像コンテンツをダウンロードすることに表現されているが、これは説明を単純にするためのことに過ぎず、本発明がこのような形態のダウンロードのみに制限されるのではない。例えば、実写映像コンテンツはコンテンツサーバー２５６から仮想現実アトラクション２３０を利用しようとする利用者の移動端末機２１０にダウンロードされた後、その移動端末機２１０から仮想現実アトラクション２３０に送信されることもできる。
【００４２】
このようなシステムによれば、特別な知識や経験のない一般の人の誰でも容易に仮想現実アトラクション２３０の制御コンテンツを製作することができるだけでなく、これを誰もが接近可能なコンテンツサーバー２５０を通じて多様な方式で共有することができるという長所が提供される。例えば、使用者は自動車競走に参加した選手として車に移動端末機のカメラを付着した状態で、特定自動車競走の間に車の前方で時々刻々変化する風景を所定時間の間連続的に撮影することによって実写映像コンテンツを製作することができる。その後、使用者はこのように製作した実写映像コンテンツをコンテンツサーバー２５０に『自動車競走』というタッグ情報とともにアップロードすることができる。その後、自動車競走と係わる仮想現実を体験することができるように構成された仮想現実アトラクション２３０の利用者たちがコンテンツサーバー２５０に接続した後『自動者競走』というタッグ情報を利用して所望の実写映像コンテンツを検索してダウンロードして、制御コンテンツとして利用することができる。
【００４３】
さらに、このようなシステムによれば、仮想現実ライブ放送も可能である。例えば、自動者競走に参加している使用者がリアルタイムで撮影中の実写映像コンテンツをコンテンツサーバー２５０にストリーミング方式でアップロードしながら仮想現実体験用放送をすることができる。同時に、この仮想現実体験用放送を受信する複数の自動車競走体験用仮想現実アトラクション２３０の複数の利用者がストリーミング方式で該当の実写映像コンテンツをコンテンツサーバー２５０からダウンロードして制御コンテンツとして利用することによって、複数の利用者が一人の自動車選手の自動車競走をリアルタイムで体験することができる。
【００４４】
このように、本発明によれば、誰でも現実で撮影された実写映像に基づいて仮想現実アトラクションの制御コンテンツを容易に製作することができ、また多様な方式で共有されることができるようにするという長所が提供される。
【００４５】
図３は本発明の実施例による仮想現実アトラクションシステムで、制御コンテンツを製作するための移動端末機の構成を例示する概路図である。
【００４６】
図３を参照すれば、移動端末機３１０はスマートフォン３１２、ケーブルで外装連結された３６０度映像撮影用カメラ３１４、及びアプリケーション提供サーバーでダウンロードして設置したコンテンツ生成用アプリケーションを含む。近来のスマートフォン３１２はプロセッサ、大容量メモリーカード、タッチスクリーン、高性能カメラ、時間センサー及び位置センサー、ジャイロセンサー、ＧＰＳモジュール、ブルートゥース送受信モジュール、無線インターネット通信モジュールなどの多様な機能を具現する高性能の移動型コンピュータ装置である。このようなスマートフォン３１２はＳＤメモリーカードやＵＳＢメモリー装置のような移動型メモリー装置を連結することができ、ケーブルによって他のコンピュータ装置と連結すればデータを取り交わすこともできる。
【００４７】
本発明によれば、使用者はカメラによって撮影された映像データだけでなく、映像データに関する時間、位置、速度、加速度、姿勢などのメタデータを含む実写映像コンテンツを生成するように構成されたコンテンツ生成アプリケーションをスマートフォンに設置するだけでも、別途の高価の特別な装備なしに、容易に仮想現実アトラクションを制御することができる制御コンテンツを製作することができる。この場合、コンテンツ生成アプリケーションは、例えば図２に例示されたコンテンツサーバーで提供することもでき、例えばグーグルプレイのような既存のスマートフォン専用アプリケーションダウンロードサーバーで提供することもできる。
【００４８】
図４は本発明の実施例によって移動端末機側で制御コンテンツとして実写映像コンテンツが製作される過程を説明するための概路図である。
【００４９】
図４を参照すれば、図示の例で、移動端末機４１０は時間センサー４１２、位置センサー４１４、撮影部４１６、コンテンツ生成アプリケーション４１１、通信モジュール４１５、ストレージ４１３を含む。このような構成は図３を参照して説明したように、既存のスマートフォンを利用して容易に具現することができる。
【００５０】
コンテンツ生成アプリケーション４１１は移動端末機４１０のプロセッサによって実行されれば、撮影部４１６によって生成された映像データにメタデータを結合して実写映像コンテンツを生成する。メタデータは時間センサー４１２と位置センサー４１４によって感知された時間、座標、姿勢に関するデータを含むか、これらを利用して計算した速度、加速度などの追加データを含むことができる。生成された実写映像コンテンツは、生成と同時に、通信モジュール４１５を通じてコンテンツサーバーに送信されることができる。他の方式で実写映像コンテンツは一旦ストレージ４１３に保存された後、後でコンテンツサーバーにアップロードされることができる。
【００５１】
図示した例で、センサーとして時間及び位置を感知するセンサーのみ示されたが、これはただ例示に過ぎず、多様なセンサーが利用されることができることは自明である。また複数のセンサーが撮影部４１６と別途に示されたが、これはただ概念的な区別のためのものに過ぎず、物理的にはカメラ装置内にセンサーが内蔵された場合もあり得る。
【００５２】
図５は本発明の実施例によって製作された実写映像コンテンツが映像データとメタデータを含む構成を例示する概路図である。
【００５３】
図５を参照すれば、本発明による実写映像コンテンツ５００の構成要素である映像データ５１０とメタデータ５３０を示す。図示の例でメタデータ５３０は時間値５３２、速度値５３４、姿勢値５３６を含むことに示されたが、これはただ例示的なものに過ぎず、メタデータとして機械的駆動に用いられることができる他の値も含まれることができることは自明である。
【００５４】
ここで、映像データ５１０は例えば実写動画データとして例えば１秒に２４個の静止画像フレームまたは３０個の静止画像フレームで構成される動画であり得る。本発明によって、実際に撮影した映像である条件を充足すれば、映像データ５１０は特に制限されなく、例えばアナログ映像及びデジタル映像を全部含むことができ、静止映像、動画、２次元映像、３次元映像、３６０度映像も可能である。
【００５５】
一方、本発明の実施例によって、メタデータ５３０に含まれる値は、対応する映像データ５１０が撮影された時点の時間値、映像データが撮影された時点の移動端末機の位置、瞬間速度、瞬間加速度、瞬間姿勢を表す値が含まれることができる。このように、メタデータ５３０は映像データ５１０が撮影された時点にセンサーによって感知されるか、これら感知された値によって計算された値を含む条件を充足すれば、特に制限されない。言い替えれば、メタデータ５３０は時間値によって映像データ５１０と同期化された移動端末機の座標（または位置）関連データとも言える。
【００５６】
図６は本発明の実施例による仮想現実アトラクションシステムで、仮想現実アトラクションの構成を例示する概路図である。
【００５７】
図６を参照すれば、図２で簡略に示された仮想現実アトラクション２３０についてさらに詳しく説明するために、仮想現実アトラクション６００の詳細な構成が例示される。図示の例で、仮想現実アトラクション６００はアトラクション制御部６１０、機械コンポーネント６２０、映像コンポーネント６３０、制御コンテンツ受信部６４０、レベル設定部６５０、評価部６６０、ローカルストレージ６７０、リムーバブルストレージ６８０、フィードバックライン６９０を含む。
【００５８】
アトラクション制御部６１０は、本発明によって図５で説明したような実写映像コンテンツを制御コンテンツとして利用して機械コンポーネント６２０の動きを制御し、このような動きと同期化された映像データを映像コンポーネント６３０を通じて表示するように制御する。
【００５９】
制御コンテンツ受信部６４０は例えば図２に示されたコンテンツサーバーから実写映像コンテンツを制御コンテンツとして受信する通信モジュールであってもよい。一方、制御コンテンツはローカルストレージ６７０に保存され、アトラクション制御部６１０によって読み取られることができる。例えば、アトラクション制御部６１０は制御コンテンツ受信部６４０を通じて受信されるかまたは例えばＵＳＢメモリーカードのようなリムーバブルストレージ６８０を通じて入力された実写映像コンテンツをローカルストレージ６７０に保存することができる。ローカルストレージ６７０に保存された実写映像コンテンツは、例えば仮想現実アトラクション６００の利用者が入力する命令によって、コンテンツサーバーにアップロードされることもでき、リムーバブルストレージ６８０に複写されることもでき、または機械コンポーネント６２０と映像コンポーネント６３０の制御のために利用されることもできる。
【００６０】
図示された例で、仮想現実アトラクション６００は機械コンポーネント６２０から利用者のフィードバック命令を受けることができるフィードバックライン６９０を含む。例えば、仮想現実アトラクション６００が自転車関連仮想現実を体験する装置である場合、機械コンポーネント６２０は利用者が乗った状態で方向を操作することができる操縦装置、即ちハンドルと速度を操作することができるペダルを含むことができる。この場合、使用者がハンドルとペダルを操作することによって生成される所定のフィードバック信号は、フィードバックライン６９０を通じて機械コンポーネント６２０からアトラクション制御部６１０に伝達されることができる。このフィードバック信号はアトラクション制御部６１０で機械コンポーネント６２０の動きと映像コンポーネント６３０で表示される映像を制御することができるようにし、それによって、利用者と相互作用が可能な仮想現実体験を提供することができるようにする。言い替えれば、利用者のフィードバック信号によってアトラクション制御部６１０が瞬間仮想現実を利用者のレベルに合わせて調節することができる。
【００６１】
レベル設定部６５０は利用者が体験する仮想現実のレベルを予め適切なレベルに制限することができるようにする。例えば、スキー関連仮想現実の場合、制御コンテンツとして中級レベルの使用者が製作した実写映像コンテンツを選択するとしても、実際に仮想現実アトラクション６００の利用者は、仮想現実の体験レベルを、レベル設定部６５０で、初級レベルまたは高級レベルに設定することが可能である。このようにレベルが設定されると、アトラクション制御部６１０は選択した中級レベルの実写映像コンテンツ中のデータの中で例えば速度を全体的に遅くまたはより早く全体的に調節することによって、機械コンポーネント６２０の動きを初級レベルまたは高級レベルに制御し、同時に映像コンポーネント６３０で表示される映像の速度も同じく初級または高級レベルに調節することができる。
【００６２】
また、図示の例で、仮想現実アトラクション６００は評価部６６０をさらに含む。評価部６６０は使用者のフィードバック信号によって機械コンポーネント６２０の動きが調節される状態と調節される前の機械コンポーネント６２０の動きを比較することによって、利用者の動きを評価して点数を付けることができる。
【００６３】
図７は本発明の実施例による仮想現実アトラクション制御方法の流れが例示された流れ図である。
【００６４】
図７を参照すれば、本発明の一例によって、仮想現実アトラクション制御方法７００は、まず使用者の移動端末機で実写映像コンテンツが生成される（７０１）。生成される実写映像コンテンツは実写映像データだけでなくメタデータを含む。
【００６５】
このような実施映像コンテンツの生成または製作は、例えば使用者が自分のスマートフォンに本発明によってメタデータと映像データを結合させることができるコンテンツ生成アプリケーションを設置して実行させた状態で、例えばスマートフォンに内蔵されたカメラを利用して例えばスキをする間に前方の変化する風景を撮影することによって容易に行うことができる。
【００６６】
使用者は、例えば無線インターネットを通じてコンテンツサーバーに接続して自分が製作した実写映像コンテンツを特定カテゴリーの仮想現実を体験することができる仮想現実アトラクションを制御する制御コンテンツとしてアップロードして保存することができる（７０３）。このようなコンテンツサーバーは、例えばＹｏｕｔｕｂｅ（ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ）のように使用者製作型コンテンツ（ＵＣＣ、Ｕｓｅｒ−Ｃｒｅａｔｅｄ  Ｃｏｎｔｅｎｔｓ）を共有するサイトであってもよい。
【００６７】
そこで、コンテンツサーバーはアップロードして保存されている実写映像コンテンツを検索に提供することができる（７０５）。この時、コンテンツサーバーは使用者がアップロードしたそれぞれの実写映像コンテンツに付加コンテンツ（例えば、広告コンテンツ）を含ませることができる。このような広告コンテンツは検索時のみに表示されることもでき、実写映像コンテンツとともに制御コンテンツの一部としてダウンロードされるようにすることもできる。
【００６８】
コンテンツサーバーで所望の実写映像コンテンツを検索した利用者は、制御コンテンツとして利用するために仮想現実アトラクションに実写映像コンテンツをダウンロードすることができる（７０７）。
【００６９】
そこで、仮想現実アトラクションはダウンロードされた実写映像コンテンツから映像データとメタデータを抽出し（７０９）、抽出されたメタデータに基づいて機械コンポーネントの動きを制御し、抽出された映像データを映像コンポーネントを通じて表示することができる（７１１）。この場合、広告コンテンツは映像データの一部として含まれることができ、それによって映像コンポーネントを通じて映像データとともに表示されることができる。
【００７０】
図８は本発明の実施例によって提供される実写映像コンテンツを共有する例を示す。
【００７１】
図８を参照すれば、図示の例（８００）で、特に一つの仮想現実アトラクション８３０の制御部８３２はコンテンツサーバー８５０に保存されている複数の実写映像コンテンツＵＣＣ１、ＵＣＣ２、ＵＣＣ３、．．．から所望のコンテンツの一つを選択してダウンロードし、機械コンポーネント８３４を制御し、利用者が着用したＨＭＤ８３６に映像を表示する。この例は、特に利用者が運動のために自転車に乗る仮想現実を体験するようにする例である。図示した例によれば、利用者は田舎道、都市、海辺など多様な風景の中の一つを選択して仮想現実として楽しみながら運動ができるという長所が提供される。
【００７２】
一方、図９は本発明の実施例によって提供される映像コンテンツを共有する例（９００）を示す。
【００７３】
図９を参照すれば、特に複数の仮想現実アトラクションＡＴＲ０１〜ＡＴＲ０４，．．．９３０でコンテンツサーバー９５０を通じて一つの実写映像コンテンツＵＣＣ０を同時に共有する例を示す。この場合、実写映像コンテンツＵＣＣ０がコンテンツサーバー９５０にストリーミング方式で製作されると同時にアップロードされることができ、アップロードと同時にストリーミング方式でコンテンツサーバー９５０から複数の仮想現実アトラクションＡＴＲ０１〜ＡＴＲ０４，．．．９３０にダウンロードされることができる。このような共有は一種の仮想現実ライブ放送の形態を示す。
【００７４】
以上、本発明を具体的な実施例を通じて説明したが、本発明が属する技術分野において通常の知識を有する者であれば、本明細書で説明された様々な特徴を組み合わせて多様に変形された施工法が可能である。従って、本発明の範囲が説明された実施例に制限されるのではなく、特許請求範囲によって解釈されるべきである。
【図１】
2019535090.tif 000003
【図２】
2019535090.tif 000004
【図３】
2019535090.tif 000005
【図４】
2019535090.tif 000006
【図５】
2019535090.tif 000007
【図６】
2019535090.tif 000008
【図７】
2019535090.tif 000009
【図８】
2019535090.tif 000010
【図９】
2019535090.tif 000011
【国際調査報告】
2019535090.tif 000012
2019535090.tif 000013
2019535090.tif 000014
2019535090.tif 000015