(57)【特許請求の範囲】
【請求項１】
３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムをモバイルデバイスによって実行する工程と、
前記モバイルデバイスによって前記パラメータデータを更新用のパラメータデータとしてサーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新する工程と、
前記ユーザーインターフェースによって、前記３Ｄ拡張現実物体に対応するドラック動作を受信すると、前記ドラック動作の経路に基づいて前記３Ｄ拡張現実物体を移動することと、前記３Ｄ拡張現実物体の移動過程を記録して、前記３Ｄ拡張現実物体のユーザーの自己定義の動画とすることと、を含む動画作成機能を更に提供する工程と、
を備えるモバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法。
【請求項２】
前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整する場合、調整過程を録画で記録して、録画データを生成するための録画機能を前記ユーザーインターフェースによって提供する工程と、
前記モバイルデバイスによって前記録画データを前記サーバーに伝送する工程と、
を更に備える請求項１に記載の操作方法。
【請求項３】
前記パラメータデータは、前記３Ｄ拡張現実物体の前記３Ｄ環境映像における相対サイズ、回転角、相対位置及び動画の情報の少なくとも１つを決めることに用いる請求項１又は２に記載の操作方法。
【請求項４】
撮影素子によって実環境に対して映像捕捉を行い、前記３Ｄ環境映像を取得する工程と、
前記３Ｄ環境映像に基づいて、前記撮影素子と前記実環境との位置関係を取得する工程と、
前記ユーザーインターフェースによって、前記３Ｄ拡張現実物体に対応するイベント編集コマンドを受信すると、前記位置関係に基づいて前記３Ｄ拡張現実物体に対応するイベントを決める工程と、
を更に備える請求項１〜３の何れかに記載の操作方法。
【請求項５】
ネットワーク素子と、
処理素子と、
を含み、
前記処理素子は、３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムを実行することと、
前記ネットワーク素子によって前記パラメータデータを更新用のパラメータデータとしてサーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新することと、に用い、
前記ユーザーインターフェースは、
前記３Ｄ拡張現実物体に対応するドラック動作を受信すると、前記ドラック動作の経路に基づいて前記３Ｄ拡張現実物体を移動することと、前記処理素子が前記３Ｄ拡張現実物体の移動過程を記録して、前記３Ｄ拡張現実物体のユーザーの自己定義の動画とすることと、を含む動画作成機能を更に提供する、
３Ｄ拡張現実物体を修正可能なモバイルデバイス。
【請求項６】
前記ユーザーインターフェースは、前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整する場合、調整過程を録画で記録して、録画データを生成するための録画機能を更に提供し、
前記処理素子は、更に、前記ネットワーク素子によって前記録画データを前記サーバーに伝送することに用いる請求項５に記載のモバイルデバイス。
【請求項７】
前記パラメータデータは、前記３Ｄ拡張現実物体の前記３Ｄ環境映像における相対サイズ、回転角、相対位置及び動画の情報の少なくとも１つを決めることに用いる請求項５又は６に記載のモバイルデバイス。
【請求項８】
前記モバイルデバイスは、撮影素子を更に含み、
前記処理素子は、更に、前記撮影素子によって実環境に対して映像捕捉を行い、前記３Ｄ環境映像を取得することと、前記３Ｄ環境映像に基づいて、前記撮影素子と前記実環境との位置関係を取得することと、前記ユーザーインターフェースによって前記３Ｄ拡張現実物体に対応するイベント編集コマンドを受信すると、前記位置関係に基づいて前記３Ｄ拡張現実物体に対応するイベントを決めることと、に用いる請求項５〜７の何れかに記載のモバイルデバイス。
【請求項９】
モバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法を実行するためのコンピュータプログラムが格納される非一時的なコンピュータ読取可能な記憶媒体において、
前記操作方法は、
３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムをモバイルデバイスによって実行する工程と、
前記モバイルデバイスによって前記パラメータデータを更新用のパラメータデータとしてサーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新する工程と、
前記ユーザーインターフェースによって、前記３Ｄ拡張現実物体に対応するドラック動作を受信すると、前記ドラック動作の経路に基づいて前記３Ｄ拡張現実物体を移動することと、前記３Ｄ拡張現実物体の移動過程を記録して、前記３Ｄ拡張現実物体のユーザーの自己定義の動画とすることと、を含む動画作成機能を更に提供する工程と、
を備える非一時的なコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイルデバイス、操作方法及び非一時的なコンピュータ読取可能な記憶媒体に関し、具体的には、３Ｄ拡張現実物体を修正可能なモバイルデバイス、モバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法及び非一時的なコンピュータ読取可能な記憶媒体に関する。
【背景技術】
【０００２】
科学技術の進歩に伴って、拡張現実技術（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ｔｅｃｈｎｏｌｏｇｙ）は、既に、人たちの生活に広く適用される。
【０００３】
拡張現実は、仮想物体を実環境映像に即時に重ね合わせ、重ね合わせ映像をユーザーに表示する技術である。拡張現実技術を適用することによって、人間の生活を豊かにすることができる。
【０００４】
先行出願のＷＯ２０１３０２３７０５  Ａ１では、拡張現実物体の作成方法が開示されている。また、先行出願のＵＳ２０１４００４３３５９  Ａ１では、拡張現実物体の特徴点を改善する方法が開示されている。
【０００５】
しかしながら、これらの先行出願を適用しても、設計者は、容易に仮想物体を精細に実環境映像に重ね合わせず、特に、拡張現実ソフトウェアを実行する電子装置（例えば、モバイルデバイス）によって、拡張現実物体を直接修正することはできない。このように、拡張現実は、製作と修正に不便となる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の一実施態様の目的は、モバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法を提供することに関する。
【０００７】
本発明の別の実施態様の目的は、３Ｄ拡張現実物体を修正可能なモバイルデバイスを提供することに関する。
【０００８】
本発明の別の実施態様の目的は、モバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法を実行するためのコンピュータプログラムが格納される非一時的なコンピュータ読取可能な記憶媒体を提供することに関する。
【課題を解決するための手段】
【０００９】
本発明の一実施例によると、モバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法は、３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムをモバイルデバイスによって実行する工程と、前記モバイルデバイスによって前記パラメータデータを更新用のパラメータデータとしてサーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新する工程と、を備える。
【００１０】
本発明の一実施例によると、前記操作方法は、前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整する場合、調整過程を録画で記録して、録画データを生成するための録画機能を前記ユーザーインターフェースによって提供する工程と、前記モバイルデバイスによって前記録画データを前記サーバーに伝送する工程と、を更に備える。
【００１１】
本発明の一実施例によると、前記パラメータは、前記３Ｄ拡張現実物体の前記３Ｄ環境映像における相対サイズ、回転角、相対位置及び動画の情報の少なくとも１つを決めることに用いる。
【００１２】
本発明の一実施例によると、前記操作方法は、撮影素子によって実環境に対して映像捕捉を行い、前記３Ｄ環境映像を取得する工程と、前記３Ｄ環境映像に基づいて、前記撮影素子と前記実環境との位置関係を取得する工程と、前記ユーザーインターフェースによって前記３Ｄ拡張現実物体に対応するイベント編集コマンドを受信すると、前記位置関係に基づいて前記３Ｄ拡張現実物体に対応するイベントを決める工程と、を更に備える。
【００１３】
本発明の一実施例によると、前記操作方法は、前記ユーザーインターフェースによって、前記３Ｄ拡張現実物体に対応するドラック動作を受信すると、前記ドラック動作の経路に基づいて前記３Ｄ拡張現実物体を移動することと、前記３Ｄ拡張現実物体の移動過程を記録して、前記３Ｄ拡張現実物体のユーザーの自己定義の動画とすることと、を含む動画作成機能を更に提供する工程を更に備える。
【００１４】
本発明の一実施例によると、ネットワーク素子と、処理素子と、を含み、前記処理素子は、３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムを実行することと、前記ネットワーク素子によって前記パラメータデータを更新用のパラメータデータとして前記サーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新することと、に用いる３Ｄ拡張現実物体を修正可能なモバイルデバイス。
【００１５】
本発明の一実施例によると、前記ユーザーインターフェースによって、前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整する場合、調整過程を録画で記録して、録画データを生成するための録画機能を更に提供し、前記処理素子は、更に、前記ネットワーク素子によって前記録画データを前記サーバーに伝送することに用いる。
【００１６】
本発明の一実施例によると、前記パラメータは、前記３Ｄ拡張現実物体の前記３Ｄ環境映像における相対サイズ、回転角、相対位置及び動画の情報の少なくとも１つを決めることに用いる。
【００１７】
本発明の一実施例によると、前記モバイルデバイスは、撮影素子を更に含み、前記処理素子は、更に、前記撮影素子によって実環境に対して映像捕捉を行い、前記３Ｄ環境映像を取得することと、前記３Ｄ環境映像に基づいて、前記撮影素子と前記実環境との位置関係を取得することと、前記ユーザーインターフェースによって前記３Ｄ拡張現実物体に対応するイベント編集コマンドを受信すると、前記位置関係に基づいて前記３Ｄ拡張現実物体に対応するイベントを決めることと、に用いる。
【００１８】
本発明の一実施例によると、前記ユーザーインターフェースは、前記３Ｄ拡張現実物体に対応するドラック動作を受信すると、前記ドラック動作の経路に基づいて前記３Ｄ拡張現実物体を移動することと、前記３Ｄ拡張現実物体の移動過程を記録して、前記３Ｄ拡張現実物体のユーザーの自己定義の動画とすることと、を更に含む動画作成機能を更に提供する。
【００１９】
本発明の一実施例によると、前記非一時的なコンピュータ読取可能な記憶媒体に格納される前記コンピュータプログラムの実行する操作方法は、３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムをモバイルデバイスによって実行することと、前記モバイルデバイスによって前記パラメータデータを更新用のパラメータデータとしてサーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新することと、を備える。
【発明の効果】
【００２０】
上記実施例を適用すれば、設計者は、３Ｄ環境映像にしたがって、３Ｄ拡張現実物体を即時に編集することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施例に係るモバイルデバイスを示す模式図である。
【図２】本発明の一適用例に係るモバイルデバイスと実環境を示す模式図である。
【図３Ａ】本発明の一操作例に係るモバイルデバイスのユーザーインターフェースを示す模式図である。
【図３Ｂ】本発明の一操作例に係るモバイルデバイスのユーザーインターフェースを示す模式図である。
【図４】本発明の一操作例に係るモバイルデバイスのユーザーインターフェースを示す模式図である。
【図５】本発明の一操作例に係るモバイルデバイスのユーザーインターフェースを示す模式図である。
【図６】本発明の一操作例に係るモバイルデバイスと実環境物体を示す模式図である。
【図７】本発明の一実施例に係るモバイルデバイスの操作方法を示すフロー図である。
【発明を実施するための形態】
【００２２】
以下、図面及び詳しい説明で本発明の精神を明らかに説明する。当業者であれば、本発明の実施例を理解した上で、本発明の教示した技術によって、本発明の精神と範囲から逸脱せずに、変更や修正を加えることができる。
【００２３】
本明細書に使用される「第１の」、「第２の」等については、順序又は順位を特定するものではなく、本発明を限定するためのものでもなく、同一の技術用語で記述される素子又は操作を区別するためのものだけである。
【００２４】
本明細書に用いる「電気的に接続」とは、２つ又は複数の素子が互いに直接的に物理又は電気的に接触し、又は互いに間接的に物理又は電気的に接触してもよく、２つ又は複数の素子が互いに操作又は作動してもよい。
【００２５】
次に、本明細書に用いる「含む」、「備える」、「有する」、「含有」等は、何れも開放性の用語であり、つまり、含むがそれのみに限定されないことを指す。
【００２６】
本明細書に用いる「及び／又は」については、上述の事物の如何なる又は全部の組み合わせを含む。
【００２７】
本明細書に用いる用語（ｔｅｒｍｓ）については、特に明記される以外、通常、用語ごとにこの分野、この開示の内容と特殊内容に使用される一般的な意味を持つ。当業者に本開示に関する記述における規定外の案内を提供するように、本開示を記述するためのある用語について、以下又はこの明細書の別所で検討する。
【００２８】
本発明の一実施態様は、モバイルデバイスである。このモバイルデバイスに、３Ｄ環境映像と３Ｄ拡張現実物体が表示される。明らかに説明するために、下記では、タブレットコンピュータ又はスマートフォンを例として説明するが、本発明はこれに制限されない。
【００２９】
図１を参照されたい。図１は、本発明の一実施例に係るモバイルデバイス１００を示す模式図である。本実施例において、モバイルデバイス１００は、主に、ネットワーク素子１４０と、処理素子１６０と、を備える。本実施例において、処理素子１６０は、ネットワーク素子１４０に電気的に接続されてよい。ネットワーク素子１４０は、主に、モバイルデバイス１００が無線通信ネットワーク及びリモートサーバーを介して繋げられるようにするものであり、例えば、無線信号チップによって実現することができる。処理素子１６０は、３Ｄ環境映像及び３Ｄ拡張現実物体を現すユーザーインターフェース、更に、ユーザーが３Ｄ環境映像において３Ｄ拡張現実物体のサイズ、角度又は位置を調整することを可能にする操作機能を提供するモバイルデバイスのアプリケーションプログラム（例えば、ＡＰＰプログラム）を実行することができる。その後、モバイルデバイスのアプリケーションプログラムは、ユーザーに実行を選択させる後で、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶する確認機能を更に提供し、その後、ネットワーク素子１６０を介してパラメータデータを更新用のパラメータデータとしてリモートのサーバーに伝送する。サーバーは、更新用のパラメータデータに基づいて、前記モバイルデバイス１００（又は、拡張現実ソフトウェアが取り付けられ、３Ｄ環境映像及び３Ｄ拡張現実物体を現すことのできる他のモバイルデバイス）におけるパラメータデータを更新してもよい。
【００３０】
図１と図２を同時に参照されたい。図１は、本発明の別の実施例に係るモバイルデバイス１００を示す模式図である。図２は、本発明の一適用例によるモバイルデバイス１００と実環境ＲＷＤ（ｒｅａｌ  ｗｏｒｄ  ｄａｔａ）を示す模式図である。本実施例において、モバイルデバイス１００は、表示素子１１０と、入力素子１２０と、撮影素子１３０と、ネットワーク素子１４０と、格納素子１５０と、処理素子１６０と、を備える。本実施例において、処理素子１６０は、別々に表示素子１１０、入力素子１２０、撮影素子１３０、ネットワーク素子１４０及び格納素子１５０に電気的に接続されてもよい。
【００３１】
本実施例において、表示素子１１０は、例えば、液晶ディスプレイ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ；ＬＣＤ）、能動式有機ＥＬディスプレー、タッチ表示パネル又は表示機能を有する他の表示素子によって実現される。入力素子１２０は、例えば、タッチパネル又は入力機能を有する他の入力素子によって実現される。撮影素子１３０は、例えば、撮影レンズ、カメラ、撮影カメラ又は関連する素子によって実現される。ネットワーク素子１４０は、例えば、無線信号チップによって実現される。格納素子１５０は、例えば、記憶体、携帯型格納媒体、又は他の好適な格納デバイスによって実現される。処理素子１６０は、例えば、中央処理器、マイクロプロセッサ又は他の好適な計算デバイスによって実現される。一実施例において、入力素子１２０と表示素子１１０とは、同一の素子として一体化されたもの（例えば、タッチ表示パネル）であってもよい。
【００３２】
本実施例において、表示素子１１０は、映像を表示することに用いる。入力素子１２０は、ユーザーからのユーザーコマンドを受信することに用いる。撮影素子１３０は、実環境ＲＷＤに対して映像捕捉を行うことに用いる。ネットワーク素子１４０は、ネットワーク（図示せず）を介してサーバー１０とのデータ伝送を行うことに用いる。格納素子１５０は、データを格納することに用いる。処理素子１６０は、モバイルデバイスのアプリケーションプログラムを実行して、ユーザーが表示素子１１０に表示された拡張現実物体を入力素子１２０によって即時に修正できるようにすることに用いる。
【００３３】
下記では、一実施例に係るモバイルデバイス１００の具体的な細部が提供されるが、本発明はこの実施例に制限されない。
【００３４】
特に、図２を参照されたい。本発明の一実施例において、処理素子１６０は、撮影素子１３０によって実環境ＲＷＤに対して映像捕捉を行って、３Ｄ環境映像（例えば、図３Ａに示す３Ｄ環境映像ＩＭＧ１）を取得することができる。
【００３５】
本実施例において、実環境ＲＷＤに実物体ＲＷＴがある。３Ｄ環境映像ＩＭＧ１に実物体映像（例えば、図３Ａに示す実物体映像ＩＭＧ２）がある。処理素子１６０は、実物体映像ＩＭＧ２の複数の特徴点ＦＴＲを取得し、これらの特徴点ＦＴＲに基づいてデータベースＤＢＳにおいて対応する３Ｄ拡張現実物体（例えば、図３Ｂに示す３Ｄ拡張現実物体ＡＲＴ）を検索することができる。一実施例において、データベースＤＢＳは、格納素子１５０の中に位置してもよいが、本発明はこれに制限されない。他の実施例において、データベースＤＢＳは、サーバー１０の中に位置してもよい。
【００３６】
また、本実施例において、処理素子１６０は、更に、前記特徴点ＦＴＲ及びデータベースＤＢＳにおける対応するデータに基づいて、モバイルデバイス１００の撮影素子１３０と実環境ＲＷＤとの間の位置関係を取得することができる。具体的には、本実施例において、処理素子１６０は、これらの特徴点ＦＴＲ及びデータベースＤＢＳにおける対応するデータに基づいて、撮影素子１３０と実物体ＲＷＴとの間の距離ＤＳＴ、及び撮影素子１３０と実物体ＲＷＴとの方位（ｏｒｉｅｎｔａｔｉｏｎ）ＯＲＴの相対角度ＡＮＧを取得することができる。一実施例において、距離ＤＳＴを撮影素子１３０と実物体ＲＷＴとの中心点ＣＮＴによって計算できるが、本発明はこれに制限されない。一実施例において、距離ＤＳＴと相対角度ＡＮＧを位置変換マトリクスＴＲＭによって記憶できるが、本発明はこれに制限されない。
【００３７】
特に、図３Ａ、図３Ｂを参照されたい。本実施例において、処理素子１６０は、モバイルデバイスのアプリケーションプログラムを実行できる。このモバイルデバイスのアプリケーションプログラムは、ユーザーインターフェースＵＩを提供して、（例えば、図３Ａに示すように）実環境ＲＷＤに対応する３Ｄ環境映像ＩＭＧ１を表示素子１１０に現す。３Ｄ環境映像ＩＭＧ１に、実環境ＲＷＤにおける実物体ＲＷＴに対応する実物体映像ＩＭＧ２がある。処理素子１６０は、ユーザーインターフェースＵＩにおいて、（例えば、図３Ｂに示すように）３Ｄ環境映像ＩＭＧ１及び実物体映像ＩＭＧ２に対応する３Ｄ拡張現実物体ＡＲＴを表示素子１１０に同時に現すことができる。
【００３８】
一実施例において、格納素子１５０は、３Ｄ拡張現実物体ＡＲＴの実物体映像ＩＭＧ２に対するサイズ、角度、位置及び動画の情報の少なくとも１つに対応するパラメータデータを格納することができる。処理素子１６０は、このパラメータデータに基づいて、３Ｄ拡張現実物体ＡＲＴを表示素子１１０に現す。つまり、上述のパラメータデータは、３Ｄ拡張現実物体ＡＲＴの３Ｄ環境映像ＩＭＧ１における実物体映像ＩＭＧ２の相対サイズ、回転角、相対位置、及び動画の情報の少なくとも１つを決めることに用いる。
【００３９】
本実施例において、ユーザーインターフェースＵＩは、３Ｄ環境映像ＩＭＧ１において３Ｄ拡張現実物体ＡＲＴのサイズ、角度、位置、及び動画の何れかを調整する操作機能を提供することができる。
【００４０】
例えば、ユーザーは、ボタンＢ１をクリックすると、３Ｄ環境映像ＩＭＧ１において、３Ｄ拡張現実物体ＡＲＴの実物体映像ＩＭＧ２に対するサイズを調整することができる。ユーザーは、ボタンＢ２をクリックすると、３Ｄ環境映像ＩＭＧ１において、３Ｄ拡張現実物体ＡＲＴの実物体映像ＩＭＧ２に対する角度を調整することができる。ユーザーは、ボタンＢ３をクリックすると、３Ｄ環境映像ＩＭＧ１において、３Ｄ拡張現実物体ＡＲＴの実物体映像ＩＭＧ２に対する位置を調整することができる。ユーザーは、ボタンＢ４をクリックすると、処理素子１６０が３Ｄ環境映像ＩＭＧ１において、３Ｄ拡張現実物体ＡＲＴに対応するプリセット動画のどの時間帯の動画セグメントを実行するか（例えば、全長１００秒のプリセット動画において第５秒〜第１５秒の時間帯の動画セグメントを行う）を決める。
【００４１】
また、本実施例において、ユーザーインターフェースＵＩは、調整済の３Ｄ拡張現実物体ＡＲＴのサイズ、角度、位置及び動画に対応するパラメータデータを記憶する確認機能を更に提供する。一実施例において、このパラメータデータは、格納素子１５０の中に格納されてもよい。
【００４２】
調整済の３Ｄ拡張現実物体ＡＲＴのサイズ、角度、位置及び動画に対応するパラメータデータを記憶した後、処理素子１６０は、ネットワーク素子１４０を介してこのパラメータデータを更新用のパラメータデータとしてサーバー１０に伝送し、実環境ＲＷＤ外の設計者がこの更新用のパラメータデータを読み取って、この更新用のパラメータデータに基づいて、３Ｄ拡張現実物体ＡＲＴの更なる修正を行い、サーバー１０におけるパラメータデータを更に更新することを可能にする。
【００４３】
また、処理素子１６０は、モバイルデバイスのアプリケーションプログラムを実行するたびに、サーバー１０から更新用のパラメータデータ（通常、最新のパラメータデータ）をダウンロードして、モバイルデバイス１００におけるパラメータデータを更新する。つまり、サーバー１０は、更新用のパラメータデータに基づいて、モバイルデバイス１００におけるパラメータデータを更新することができる。
【００４４】
上記の設置によれば、設計者は、３Ｄ環境映像ＩＭＧ１にしたがって、３Ｄ拡張現実物体ＡＲＴを即時に編集することができる。
【００４５】
特に、図４を参照されたい。一実施例において、ユーザーインターフェースＵＩは、３Ｄ拡張現実物体ＡＲＴのサイズ、角度、位置、及び動画の何れかを調整する場合に、調整過程を録画で記録して、録画データを生成する録画機能を更に提供する。録画データが生成した後、処理素子１６０は、ネットワーク素子１４０を介して録画データをサーバー１０に伝送してもよい。
【００４６】
一実施例において、ユーザーインターフェースＵＩは、前記録画データに修正マークＭＴＧを挿入するマーク機能を更に提供する。修正マークＭＴＧは、前記録画データが再生される同時に、視覚化に示される。このように、実環境ＲＷＤ外の設計者は、録画データにおける修正マークＭＴＧに基づいて、３Ｄ拡張現実物体ＡＲＴの修正を行うことができる。
【００４７】
一実施例において、処理素子１６０は、ネットワーク素子１４０を介して録画データをサーバー１０に伝送する同時に、更に、録画途中の３Ｄ拡張現実物体ＡＲＴのサイズ、角度、位置及び動画に対応するパラメータデータ、前記撮影素子１３０と実環境ＲＷＤとの間の位置関係、及び３Ｄ拡張現実物体ＡＲＴの素材等の情報をサーバー１０に伝送して、実環境ＲＷＤ外の設計者に録画途中の関連のパラメータデータを知らせる。
【００４８】
特に、図５を参照されたい。一実施例において、ユーザーインターフェースＵＩは、動画作成機能を更に提供する。動画作成機能は、処理素子１６０が入力素子１２０を介して３Ｄ拡張現実物体ＡＲＴに対するドラック動作を受信すると、ドラック動作の経路ＴＲＣに基づいて、表示素子１１０において３Ｄ拡張現実物体ＡＲＴを移動させることと、処理素子１６０が３Ｄ拡張現実物体ＡＲＴの移動過程を記録して、３Ｄ拡張現実物体ＡＲＴのユーザーの自己定義の動画とすることと、を含む。
【００４９】
例えば、一実施例において、ユーザーが経路ＴＲＣに沿って３Ｄ拡張現実物体ＡＲＴを第１の位置ＰＬＣ１から第２の位置ＰＬＣ２までドラックする場合、処理素子１６０は、３Ｄ拡張現実物体ＡＲＴが経路ＴＲＣに沿って移動する過程を記憶して、３Ｄ拡張現実物体ＡＲＴのユーザーの自己定義の動画とする。
【００５０】
特に、図６を参照されたい。一実施例において、ユーザーインターフェースＵＩは、イベント編集機能を更に提供する。処理素子１６０は、ユーザーインターフェースＵＩを介して３Ｄ拡張現実物体ＡＲＴに対応するイベント編集コマンドを受信すると、モバイルデバイス１００の撮影素子１３０と実環境ＲＷＤとの間の位置関係に基づいて、３Ｄ拡張現実物体ＡＲＴに対応するイベントを決めることができる。
【００５１】
例としては、撮影素子１３０と実環境物体ＲＷＴとの方位ＯＲＴの相対角度が第１の角度区間ＩＮＶ１（例えば、１〜１２０度）にある場合、処理素子１６０は、３Ｄ拡張現実物体ＡＲＴに対応する第１のイベントを実行する（例えば、３Ｄ拡張現実物体ＡＲＴのプリセット動画での第１０秒〜第２０秒を実行する）。撮影素子１３０と実環境物体ＲＷＴとの方位ＯＲＴの相対角度が第２の角度区間ＩＮＶ１２（例えば、１２１〜２４０度）にある場合、処理素子１６０は、３Ｄ拡張現実物体ＡＲＴに対応する第２のイベントを実行する（例えば、３Ｄ拡張現実物体ＡＲＴのプリセット動画での第２０秒〜第３０秒を実行する）。撮影素子１３０と実環境物体ＲＷＴとの方位ＯＲＴの相対角度が第３の角度区間ＩＮＶ３（例えば、１２１〜２４０度）にある場合、処理素子１６０は、３Ｄ拡張現実物体ＡＲＴに対応する第３のイベントを実行する（例えば、３Ｄ拡張現実物体ＡＲＴのサイズを１．２倍に拡大する）。第１の角度区間、第２の角度区間と第３の角度区間が互いに異なり、第１のイベント、第２のイベント、第３のイベントも互いに異なる。
【００５２】
このように設置すれば、３Ｄ拡張現実物体ＡＲＴの表現をより多様化にすることができる。
【００５３】
図７は、本発明の一実施例に係るモバイルデバイスの操作方法７００を示すフロー図である。操作方法７００は、図１に示す構造と同じ又は同様なモバイルデバイスに適用される。説明をより簡単にするために、以下、本発明の一実施例によって、図１に示すモバイルデバイス１００を例として、操作方法を説明するが、本発明はこの適用に制限されない。
【００５４】
注意すべきなのは、操作方法７００は、モバイルデバイス１００によって実現されてもよく、又は、コンピュータプログラムとして、非一時的なコンピュータ読取可能な記憶媒体に格納されて、コンピュータ又は電子装置によってこの記憶媒体を読み取った後操作方法７００を実行してもよい。非一時的なコンピュータ読取可能な記憶媒体としては、ＲОＭ、フラッシュメモリー、フロッピー（登録商標）ディスク、ハードディスク、ＵＳＢフラッシュディスク、テープ、ネットワークでアクセス可能なデータベース、又は当業者が容易に想到できる同一機能を具する非一時的なコンピュータ読取可能な記憶媒体であってもよい。
【００５５】
また、理解すべきなのは、本実施形態に言及される操作方法の工程は、特にその順序が述べられた以外、いずれも実際の要求に応じて、その前後順序を調整してもよく、更に同時で又は部分的に同時で実行されてもよい。
【００５６】
なお、実施例によっては、これらの工程を適当に増加、置換及び／又は省略してもよい。
【００５７】
本実施例において、操作方法７００は、以下の工程を備える。
【００５８】
工程Ｓ１において、３Ｄ環境映像ＩＭＧ１及び３Ｄ拡張現実物体ＡＲＴを現すためのユーザーインターフェースＵＩと、３Ｄ環境映像ＩＭＧ１において３Ｄ拡張現実物体ＡＲＴのサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体ＡＲＴのサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムを実行する。
【００５９】
工程Ｓ２において、モバイルデバイス１００のネットワーク素子１４０によってパラメータデータを更新用のパラメータデータとしてサーバー１０に伝送し、サーバー１０が更新用のパラメータデータに基づいてモバイルデバイス１００におけるパラメータデータを更新する。
【００６０】
注意すべきなのは、操作方法７００における関連細部については、図１〜図６に示す実施態様を参照してよいが、ここで重複な部分について詳しく説明しない。
【００６１】
本発明を実施例で前述の通り開示したが、これは本発明を限定するためのものではなく、当業者であれば、本発明の精神と範囲から逸脱しない限り、各種の変更や修正を加えることができる。従って、本発明の保護範囲は、特許請求の範囲で指定した内容を基準とするものである。
【符号の説明】
【００６２】
１００  モバイルデバイス
１１０  表示素子
１２０  入力素子
１３０  撮影素子
１４０  ネットワーク素子
１５０  格納素子
１６０  処理素子
１０  サーバー
ＤＳＴ  距離
ＯＲＴ  方位
ＡＮＧ  角度
ＤＢＳ  データベース
ＲＷＤ  実環境
ＲＷＴ  実物体
ＣＮＴ  中心点
ＴＲＭ  位置変換マトリクス
ＵＩ  ユーザーインターフェース
ＩＭＧ１  ３Ｄ環境映像
ＩＭＧ２  実物体映像
Ｂ１、Ｂ２、Ｂ３、Ｂ４  ボタン
ＡＲＴ  ３Ｄ拡張現実物体
ＭＴＧ  マーク
ＴＲＣ  経路
ＰＬＣ１、ＰＬＣ２  位置
ＩＮＶ１、ＩＭＧ２、ＩＭＧ３  区間
７００  操作方法
Ｓ１、Ｓ２  工程
【図１】
0006006820.tif 000002
【図２】
0006006820.tif 000003
【図３Ａ】
0006006820.tif 000004
【図３Ｂ】
0006006820.tif 000005
【図４】
0006006820.tif 000006
【図５】
0006006820.tif 000007
【図６】
0006006820.tif 000008
【図７】
0006006820.tif 000009