(57)【要約】  モバイル装置、映像表示装置及びその動作に係り、該モバイル装置は、通信インターフェースと、ディスプレイと、１以上のインストラクションを保存するメモリと、メモリに保存された１以上のインストラクションを実行するプロセッサと、を含み、該プロセッサは、１以上のインストラクションを実行することにより、映像表示装置と通信するように、通信インターフェースを制御し、入力に対応し、３６０°映像の視点を制御し、３６０°映像において視点に対応する映像、または３６０°映像の視点に対応する視点制御情報のうち少なくとも一つを、映像表示装置に伝送する。
2020502851.tif 000002
【特許請求の範囲】
【請求項１】
モバイル装置において、
通信インターフェースと、
ディスプレイと、
１以上のインストラクションを保存するメモリと、
前記メモリに保存された前記１以上のインストラクションを実行する少なくとも１つのプロセッサと、を含み、前記プロセッサは、前記１以上のインストラクションを実行することにより、
映像表示装置と通信するように、前記通信インターフェースを制御し、
前記映像表示装置に表示された３６０°映像の視点を制御するために球状映像を表示するように、前記ディスプレイを制御し、
前記球状映像を制御するための入力を受信し、
前記球状映像を制御するための前記入力に基づいて、前記視点に係わる情報を生成し、
前記映像表示装置が前記視点に係わる情報に基づいて、前記３６０°映像の視点を選択するように、前記映像表示装置に前記視点に係わる情報を伝送するように、前記通信インターフェースを制御するモバイル装置。
【請求項２】
前記プロセッサは、前記１以上のインストラクションを実行することにより、
前記映像表示装置から前記３６０°映像を受信し、
前記３６０°映像を球にマッピングすることにより、前記球状映像を生成することを特徴とする請求項１に記載のモバイル装置。
【請求項３】
前記プロセッサは、前記１以上のインストラクションを実行することにより、
前記映像表示装置から、前記球状映像を受信するように、前記通信インターフェースを制御することを特徴とする請求項１に記載のモバイル装置。
【請求項４】
前記プロセッサは、前記１以上のインストラクションを実行することにより、
前記ユーザ入力による画角に対応し、前記球状映像を回転させたり、ユーザ入力によるズームサイズに対応し、前記球状映像を拡大したりすることにより、前記球状映像の視点を制御することを特徴とする請求項１に記載のモバイル装置。
【請求項５】
前記３６０°映像の視点に係わる情報は、前記３６０°映像の前記視点に対応する映像、及び前記３６０°映像の前記視点に対応する視点制御情報のうち少なくとも一つを含むことを特徴とする請求項１に記載のモバイル装置。
【請求項６】
前記プロセッサは、前記１以上のインストラクションを実行することにより、
第１状態または第２状態のうち一つを示すアイテムを前記ディスプレイに表示し、
前記第１状態により、前記３６０°映像の視点に係わる情報を、前記映像表示装置に伝送することを中断し、
前記第２状態により、前記３６０°映像の視点に係わる情報を、前記映像表示装置に伝送することを再開することを特徴とする請求項１に記載のモバイル装置。
【請求項７】
前記プロセッサは、前記１以上のインストラクションを実行することにより、
前記３６０°映像についての情報、及び前記映像表示装置についての情報のうち少なくとも一つにさらに基づいて、前記視点に対応するイメージを決定することを特徴とする請求項１に記載のモバイル装置。
【請求項８】
前記プロセッサは、前記１以上のインストラクションを実行することにより、
前記映像表示装置の画面比に基づいて、前記視点に対応する映像を処理することを特徴とする請求項１に記載のモバイル装置。
【請求項９】
前記プロセッサは、前記１以上のインストラクションを実行することにより、
スクリーンミラーリングのための前記３６０°映像についての情報を交換するために、前記通信インターフェースを制御し、
前記スクリーンミラーリングのための１以上のタスクを生成し、前記モバイル装置と前記映像表示装置とのプロセッシング資源を考慮し、前記１以上のタスクのそれぞれを、前記モバイル装置または前記映像表示装置に委任することを特徴とする請求項１に記載のモバイル装置。
【請求項１０】
映像表示装置において、
通信インターフェースと、
ディスプレイと、
１以上のインストラクションを保存するメモリと、
前記メモリに保存された前記１以上のインストラクションを実行するプロセッサと、を含み、
前記プロセッサは、前記１以上のインストラクションを実行することにより、
モバイル装置と通信するように、前記通信インターフェースを制御し、
前記ディスプレイに３６０°映像を表示し、
前記モバイル装置に表示された球状映像を制御する入力に基づいて生成された視点についての情報を、前記モバイル装置から受信し、
前記視点についての情報に基づいて、前記３６０°映像の視点を選択し、
前記選択された３６０°映像の視点に対応する映像を表示するように、前記ディスプレイを制御する映像表示装置。
【請求項１１】
前記３６０°映像の視点についての情報は、前記３６０°映像の視点に対応する映像及び前記３６０°映像の視点に対応する視点制御情報のうち少なくとも一つを含むことを特徴とする請求項１０に記載の映像表示装置。
【請求項１２】
前記視点制御情報は、前記３６０°映像の画角またはズームサイズのうち少なくとも一つを含むことを特徴とする請求項１１に記載の映像表示装置。
【請求項１３】
モバイル装置の動作方法において、
映像表示装置と通信する動作、
前記映像表示装置に表示された３６０°映像の視点を制御するために球状映像を表示する動作と、
前記球状映像を制御する入力を受信する動作と、
前記球状映像を制御する入力に基づいて、前記視点についての情報を生成する動作と、
前記映像表示装置が前記視点についての情報に基づいて、前記３６０°映像の視点を選択するように、前記視点についての情報を、前記映像表示装置に伝送する動作と、を含むモバイル装置の動作方法。
【請求項１４】
映像表示装置の動作方法において、
３６０°映像を表示する動作と、
モバイル装置に表示された球状映像を制御するための入力に基づいて生成された視点についての情報を、前記モバイル装置から受信する動作と、
前記視点についての情報に基づいて、前記３６０°映像の視点を選択する動作と、
前記３６０°映像のうちから選択された視点に対応する映像を表示する動作と、を含む映像表示装置の動作方法。
【請求項１５】
請求項１３に記載の方法を遂行するコンピュータ可読プログラムが記録されたコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置、モバイル装置及びその動作方法に関する。
【背景技術】
【０００２】
映像表示装置は、ユーザが視聴することができる映像を表示する機能を備えた装置である。ユーザは、該映像表示装置を介して、放送プログラムのような多様な映像やビデオを視聴することができる。デジタル放送機能に加え、多様なコンテンツを提供するスマートテレビが提供されている。３６０°映像は、全方向カメラ、または複数のカメラセットを利用し、全方向へのビューが同時に記録された映像を言う。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする課題は、映像表示装置上において、さらに便利であって効果的に３６０°映像を制御する技術を提供することである。
【課題を解決するための手段】
【０００４】
多様な実施形態は、３６０°映像の制御をさらに便利であって効果的に提供することができる映像表示装置、モバイル装置及びその動作方法を提供する。
【発明の効果】
【０００５】
本実施形態により、３６０°映像を、モバイル装置と映像表示装置との間にミラーリングさせながら表示するとき、３６０°映像の視点制御をモバイル装置を介して便利に行うことができる。
【図面の簡単な説明】
【０００６】
【図１】一実施形態による、３６０°映像を表示する映像表示装置及び制御装置を示す図面である。
【図２】３６０°映像の画角について説明するための図面である。
【図３】開示された一実施形態による、３６０°映像を表示する方法を示す図面である。
【図４】一実施形態により、映像表示装置とモバイル装置とを利用し、３６０°映像を表示する概念について説明するための参照図である。
【図５】一実施形態により、３６０°映像の原本映像、球状映像、指定された視点の映像について説明するための参照図である。
【図６】一実施形態による、映像表示装置とモバイル装置との概略的なブロック図である。
【図７】一実施形態による、ミラーリングで連結されたモバイル装置での動作過程を示すフローチャートである。
【図８】一実施形態による、ミラーリングで連結された映像表示装置での動作過程を示すフローチャートである。
【図９】一実施形態による、３６０°映像を保有しているモバイル装置と映像表示装置とのミラーリング動作を示すフローチャートである。
【図１０Ａ】一実施形態によって、モバイル装置で表示される球状３６０°映像の一例を示す図面である。
【図１０Ｂ】一実施形態によって、モバイル装置で表示される球状３６０°映像の一例を示す図面である。
【図１１】一実施形態によって、モバイル装置にアイテムが表示されたモードでの動作について説明するための参照図である。
【図１２】一実施形態によって、モバイル装置にアイテムが表示されたモードでの動作について説明するための参照図である。
【図１３】一実施形態によって、３６０°映像を保有している映像表示装置とモバイル装置とのミラーリング動作を示すフローチャートである。
【発明を実施するための形態】
【０００７】
一実施形態によってモバイル装置は、通信インターフェースと、ディスプレイと、１以上のインストラクションを保存するメモリと、前記メモリに保存された前記１以上のインストラクションを実行する少なくとも１つのプロセッサと、を含み、前記プロセッサは、前記１以上のインストラクションを実行することにより、映像表示装置と通信するように、前記通信インターフェースを制御し、前記映像表示装置に表示された３６０°映像の視点を制御するために球状映像を表示するように、前記ディスプレイを制御し、前記球状映像を制御するための入力を受信し、前記球状映像を制御するための前記入力に基づいて、前記視点に係わる情報を生成し、前記映像表示装置が前記視点に係わる情報に基づいて、前記３６０°映像の視点を選択するように、前記映像表示装置に前記視点に係わる情報を伝送するように、前記通信インターフェースを制御する。
【０００８】
前記プロセッサは、前記１以上のインストラクションを実行することにより、前記映像表示装置から前記３６０°映像を受信し、前記３６０°映像を球にマッピングすることにより、前記球状映像を生成することができる。
【０００９】
前記プロセッサは、前記１以上のインストラクションを実行することにより、前記映像表示装置から、前記球状映像を受信するように、前記通信インターフェースを制御することができる。
【００１０】
前記プロセッサは、前記１以上のインストラクションを実行することにより、前記ユーザ入力による画角に対応し、前記球状映像を回転させたり、ユーザ入力によるズームサイズに対応し、前記球状映像を拡大したりすることにより、前記球状映像の視点を制御することができる。
【００１１】
前記プロセッサは、前記１以上のインストラクションを実行することにより、前記入力に基づいて、前記視点に対応する映像を決定することができる。
【００１２】
前記プロセッサは、前記１以上のインストラクションを実行することにより、前記３６０°映像に基づいて、球状３６０°映像を生成し、球状３６０°映像を映像表示装置に伝送するように、通信インターフェースを制御することができる。
【００１３】
前記プロセッサは、前記１以上のインストラクションを実行することにより、前記３６０°映像についての情報、及び前記映像表示装置についての情報のうち少なくとも一つに基づいて、前記視点に対応する映像を決定することができる。
【００１４】
前記プロセッサは、前記１以上のインストラクションを実行することにより、前記映像表示装置の画面比に基づいて、前記視点に対応する映像を処理することができる。
【００１５】
前記プロセッサは、前記１以上のインストラクションを実行することにより、スクリーンミラーリングのための前記３６０°映像についての情報を交換するために、前記通信インターフェースを制御し、前記スクリーンミラーリングのための１以上のタスクを生成し、前記モバイル装置と前記映像表示装置とのプロセッシング資源を考慮し、前記１以上のタスクのそれぞれを、前記モバイル装置または前記映像表示装置に委任することができる。
【００１６】
他の実施形態によって映像表示装置は、通信インターフェースと、ディスプレイと、１以上のインストラクションを保存するメモリと、前記メモリに保存された前記１以上のインストラクションを実行するプロセッサと、を含み、前記プロセッサは、前記１以上のインストラクションを実行することにより、モバイル装置と通信するように、前記通信インターフェースを制御し、前記ディスプレイに３６０°映像を表示し、前記モバイル装置に表示された球状映像を制御する入力に基づいて生成された視点についての情報を、前記モバイル装置から受信し、前記視点についての情報に基づいて、前記３６０°映像の視点を選択し、前記選択された３６０°映像の視点に対応する映像を表示するように、前記ディスプレイを制御する。
【００１７】
前記プロセッサは、前記１以上のインストラクションを実行することにより、入力に基づいて、視点に対応する視点制御情報、及び前記入力によって視点に対応する３６０°映像の領域のイメージのうち少なくとも一つを、モバイル装置から受信し、前記視点制御情報、及び前記領域のイメージのうち少なくとも一つに基づいて、３６０°映像の視点を決定することができる。
【００１８】
前記視点制御情報は、前記３６０°映像の画角またはズームサイズのうち少なくとも一つを含んでもよい。
【００１９】
前記視点に対応する映像は、前記３６０°映像についての情報、及び前記映像表示装置についての情報のうち少なくとも一つに対応する。
【００２０】
さらに他の実施形態によってモバイル装置の動作方法は、映像表示装置と通信する動作、前記映像表示装置に表示された３６０°映像の視点を制御するために球状映像を表示する動作、前記球状映像を制御する入力を受信する動作、前記球状映像を制御する入力に基づいて、前記視点についての情報を生成する動作、及び前記映像表示装置が前記視点についての情報に基づいて、前記３６０°映像の視点を選択するように、前記視点についての情報を、前記映像表示装置に伝送する動作を含む。
【００２１】
前記方法は、映像表示装置から前記３６０°映像を受信する動作をさらに含んでもよい。
【００２２】
前記方法は、前記入力により、前記３６０°映像を回転させたり拡大したりする動作のうち少なくとも一つを含んでもよい。
【００２３】
前記方法は、３６０°映像に基づいて、球状３６０°映像を生成する動作、及び前記球状３６０°映像によって視点に対応する映像を決定する動作をさらに含んでもよい。
【００２４】
前記方法は、球状３６０°映像に対応する視点制御情報を映像表示装置に伝送する動作をさらに含んでもよい。
【００２５】
さらに他の実施形態によって映像表示装置の動作方法は、３６０°映像を表示する動作、モバイル装置に表示された球状映像を制御するための入力に基づいて生成された視点についての情報を、前記モバイル装置から受信する動作、前記視点についての情報に基づいて、前記３６０°映像の視点を選択する動作、及び前記３６０°映像のうちから選択された視点に対応する映像を表示する動作を含む。
【００２６】
前記方法は、モバイル装置に表示された３６０°映像の視点を制御する入力に基づいて生成された視点制御情報、及び前記視点に対応する３６０°映像領域のイメージのうち少なくとも一つを、モバイル装置から受信する動作、並びに前記視点制御情報、及び前記領域のイメージのうち少なくとも一つに基づいて、３６０°映像の視点に対応する映像を表示する動作をさらに含んでもよい。
【００２７】
さらに他の実施形態によって映像表示装置は、通信インターフェースと、ディスプレイと、１以上のインストラクションを保存するメモリと、前記メモリに保存された前記１以上のインストラクションを実行するプロセッサと、を含み、前記プロセッサは、前記１以上のインストラクションを実行することにより、前記ディスプレイに３６０°映像を表示し、外部装置から制御信号を受信するように、前記通信インターフェースを制御し、前記制御信号に基づいて、３６０°映像のセクションを表示するように、前記ディスプレイを制御する。
【００２８】
前記ディスプレイは、タッチ入力信号を生成するように構成されたタッチスクリーンを含んでもよく、前記プロセッサは、前記１以上のインストラクションを実行することにより、前記タッチ入力信号及び前記制御信号に基づいて、前記３６０°映像のセクションを表示するように、前記ディスプレイを制御することができる。
【００２９】
前記少なくとも１つのプロセッサは、１以上のインストラクションを実行することにより、３６０°映像のセクションの位置を示す３Ｄインジケータを表示することができる。
【００３０】
前記少なくとも１つのプロセッサは、１以上のインストラクションを実行することにより、映像表示装置のリソースと、前記外部装置のリソースとに基づいて、前記映像表示装置と前記外部装置とのうち一つを決定し、前記決定された映像表示装置及び外部装置のうち一つをして、前記３６０°映像に基づいて、球状３６０°映像を生成させるように制御し、映像表示装置と外部装置との間で、前記球状３６０°映像を通信させる。
【００３１】
本明細書で使用される用語について簡略に説明し、本発明について具体的に説明する。
【００３２】
本発明で使用される用語は、本発明での機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それは、当分野当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分において、詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本発明の全般にわたる内容とを基に定義されなければならない。
【００３３】
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書に記載された「…部」、「モジュール」というような用語は、少なくとも１つの機能や動作を処理する単位を意味し、それは、ハードウェアまたはソフトウェアによって具現されるか、あるいはハードウェアとソフトウェアとの結合によっても具現される。
【００３４】
以下では、添付された図面を参照し、実施形態について、本本発明が属する技術分野において当業者が、容易に実施することができるように詳細に説明する。しかし、本発明は、さまざまな異なる形式にも具現され、ここで説明する実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明と関係ない部分は、省略し、明細書全体を通じて、類似した部分については、類似図面符号を付した。
【００３５】
本明細書の実施形態において「ユーザ」という用語は、制御装置を利用し、映像表示装置の機能または動作を制御する者を意味し、視聴者、管理者または設置技士を含んでもよい。
【００３６】
図１は、一実施形態による３６０°映像を表示する映像表示装置及び制御装置を示す図面である。図１を参照すれば、一実施形態による映像表示装置１００は、３６０°映像を表示することができる。一実施形態による３６０°映像は、３６０°の画角（angle  of  view）を有する映像でもある。該３６０°映像は、静止映像、動画またはパノラマ映像でもある。例えば、該３６０°映像は、少なくとも１つのカメラを利用し、３６０°方向に撮影された複数の映像に基づいて生成された映像でもある。そのとき、撮影された複数の映像は、球（sphere）にマッピングされ、マッピングされた映像の接点が連結（スティッチング（stitching））され、球（sphere）状の３６０°映像が生成される。また、球状の３６０°映像は、他のデバイスに伝送されたり保存されたりするために、図１に図示されているように、平面状の３６０°映像５０にも変換される。
【００３７】
一実施形態による映像表示装置１００は、平面状の３６０°映像５０にグラフィック処理を施し、平面状の３６０°映像５０を、球状３６０°映像７０に変換することができる。映像表示装置１００は、変換された球状３６０°映像において、ある画角に対応する一部領域８０を選択し、選択された領域８０に対応する映像を、ディスプレイ部に表示することができる。そのとき、映像表示装置１００は、選択された領域８０に対応する映像を、ディスプレイの解像度によってスケーリングして表示することができる。また、一実施形態による、映像表示装置１００は、３６０°映像内において、一部領域８０の位置を示す三次元状のインジケータ２０を表示することができる。該３６０°映像の画角に係わる詳細な説明は、図２を参照して後述する。
【００３８】
一方、一実施形態による映像表示装置１００は、ＴＶ（television）でもあるが、それは、一実施形態に過ぎず、ディスプレイを含む電子装置によって具現される。例えば、映像表示装置１００は、携帯電話、タブレットＰＣ（personal  computer）、デジタルカメラ、カムコーダ、ノート型パソコン（laptop  computer）、デスクトップ、電子書籍端末機、デジタル放送用端末機、ＰＤＡ（personal  digital  assistant）、ＰＭＰ（portable  multimedia  player）、ナビゲーション、ＭＰ３プレイヤ、着用型機器（wearable  device）のような多様な電子装置としても具現される。特に、一実施形態は、ＴＶのように、ディスプレイが大型であるディスプレイ装置において、容易に具現されるが、それに限定されるものではない。また、映像表示装置１００は、固定型または移動型でもあり、デジタル放送受信が可能なデジタル放送受信機でもある。
【００３９】
映像表示装置１００は、平面（flat）ディスプレイ装置だけではなく、曲率を有する画面である曲面（curved）ディスプレイ装置、または曲率を調整することができる可変型（flexible）ディスプレイ装置としても具現される。映像表示装置１００の出力解像度は、例えば、ＨＤ（high  definition）、full  ＨＤ、ultra  ＨＤの解像度、またはultra  ＨＤよりさらに鮮明は解像度を含んでもよい。
【００４０】
一方、映像表示装置１００は、制御装置３０によっても制御され、制御装置３０は、リモコンまたは携帯電話のように、映像表示装置１００を制御するための多様な形態の装置としても具現される。
【００４１】
また、制御装置３０は、赤外線（infrared）またはブルートゥース（登録商標（Bluetooth））を含む近距離通信を利用し、映像表示装置１００を制御することができる。制御装置３０は、具備されたキー（ボタンを含む）、タッチパッド（touchpad）、ユーザ音声の受信が可能であるマイク（図示せず）、及び制御装置３０のモーション認識が可能なセンサ（図示せず）のうち少なくとも一つを利用し、映像表示装置１００の機能を制御することができる。
【００４２】
一実施形態による制御装置３０は、４方向キー（または、４方向ボタン）を含んでもよい。該４方向キーは、３６０°映像内において、ディスプレイ部に表示される一部領域８０の位置を移動させるところにも利用される。
【００４３】
また、制御装置３０は、ポインティング装置でもある。例えば、制御装置３０は、特定キー入力を受信する場合、ポインティング装置として動作することができる。制御装置３０がポインティング装置として動作する場合、映像表示装置１００は、制御装置３０を上下左右に動かすか、あるいは任意の方向に傾けるユーザ入力によっても制御される。制御装置３０のセンサを介して感知された制御装置３０の動きについての情報は、映像表示装置１００にも伝送される。映像表示装置１００は、制御装置３０の動きについての情報に基づいて、３６０°映像内において、ディスプレイ部に表示される一部領域８０を移動させることができる。
【００４４】
または、制御装置３０がタッチパッドを含む場合、該タッチパッド上で動くユーザの指のような被写体の変位値により、３６０°映像内において、ディスプレイ部に表示される一部領域８０の位置を移動させることができる。
【００４５】
図２は、３６０°映像の画角について説明するための図面である。
【００４６】
前述のように、３６０°映像は、少なくとも１台のカメラを利用し、３６０°方向に撮影された複数の映像に基づいて生成された映像でもある。そのとき、撮影された複数の映像は、球にもマッピングされ、マッピングされた映像の接点が連結（スティッチング）され、球状の３６０°映像が生成される。
【００４７】
そして、３６０°映像は、３６０°の画角を有する映像を意味することができる。３６０°映像を、球状の映像２００で表現するとき、３６０°映像の画角は、ｘ軸座標とｙ軸座標とからも構成される。ｘ軸座標は、球の中心を通る縦平面が、球の表面に沿って回転しながら形成される角度を示す。ｙ軸座標は、球の中心を通る横平面が、球の表面に沿って回転しながら形成される角度を示す。例えばｘ軸座標は、０°から３６０°の範囲を有することができる。例えば、ｙ軸座標は、−９０°から９０°、または０°から１８０°の範囲を有することができる。
【００４８】
例えば、図２を参照すれば、球状の映像２００において、球の表面に位置する所定の地点２２１の画角（ｘ，ｙ）を（０°，０°）と設定するとき、地点２２２の画角は、（３０°，３０°）にもなる。
【００４９】
図３は、開示された一実施形態による３６０°映像を表示する方法を示す図面である。
【００５０】
ユーザは、３６０°映像において、所望角度に対応する映像を見るために、３６０°映像をナビゲーションすることができる。図３を参照すれば、例えば、ユーザが、画角が０°に対応する領域３１１に対応する映像３２０を見ていて、さらに右側方向にある領域の映像を見たいとき、ユーザは、制御装置３０を利用して画角を調整するユーザ入力を選択することができる。例えば、ユーザが、画角を６０°に変更するユーザ入力を選択するとき、映像表示装置１００は、画角が６０°に対応する領域３１２に対応する領域３２１を表示することができる。
【００５１】
一実施形態によってユーザは、制御装置３０の４方向キーを利用し、３６０°映像の画角を移動させることができる。例えば、４方向キーの左右方向キーを利用し、３６０°映像を左右方向に移動させることができる。例えば、該４方向キーの上下方向キーを利用し、３６０°映像を上下方向に移動させることができる。
【００５２】
一実施形態によってユーザは、加速度センサやジャイロスコープを含む制御装置３０を、上下左右、または任意の方向に動かすことにより、３６０°映像の画角を調整することができる。
【００５３】
一実施形態によってユーザは、制御装置３０に設けられたタッチパッドに、ユーザの指をタッチさせながら動かす方向により、３６０°映像の画角を調整することができる。
【００５４】
一実施形態により、映像表示装置１００がタッチセンシティブスクリーンで構成された場合、ユーザは、映像表示装置１００のタッチセンシティブスクリーン上でのユーザの指のタッチ動きを利用し、３６０°映像の画角を調整することができる。
【００５５】
一実施形態によってユーザは、制御装置３０の特定のキー、ボタン、または制御装置３０を利用したジェスチャを介して、３６０°映像をズームインしたりズームアウトしたりする。該ズームイン入力に応答し、映像表示装置１００は、現在表示される領域を拡大させて表示することができる。該ズームアウト入力に応答し、映像表示装置１００は、現在表示される領域を縮小させて表示することができる。一例によってズームアウト程度が既定の臨界値を超えれば、映像表示装置１００は、映像を球状に表示することができる。一例としてズームは、−４倍から４倍までの範囲を有することができる。
【００５６】
図４は、一実施形態により、映像表示装置１００とモバイル装置６００とを利用し、３６０°映像を表示する概念について説明するための参照図である。図４を参照すれば、映像表示装置１００とモバイル装置６００は、多様なミラーリング技術を利用しても連結される。多様なミラーリング技術は、例えば、スクリーンミラーリング、ＤＬＮＡ（登録商標（digital  living  network  alliance））、ブルートゥース（Bluetooth）、ミラキャスト、Ｗｉ−Ｆｉ（wireless  fidelity）ダイレクト  、ＤＭＲ（digital  mobile  radio）などを含んでもよい。ミラーリング技術とは、１つの電子機器の画面に表示される映像を、他の電子機器の画面においても、同一に表示されるように送受信することを言う。例えば、スマートフォンの画面に表示される映像を、スマートテレビの画面に出力することもあり、ここで、反対に、スマートテレビの画面に表示される映像を、スマートフォンの画面に出力することも可能であるということは言うまでもない。
【００５７】
モバイル装置６００は、３６０°原本映像から生成された球状３６０°映像４３０を表示することができる。球状３６０°映像は、３６０°映像の全面全体、すなわち、左右に８０°、及び上下に−９０°から＋９０°まで示すので、ユーザは、球状３６０°映像４３０から、さらに広い範囲の領域を見ることができる。ある画角に対応する３６０°映像領域より、さらに広い範囲の領域を同時に見ることができるので、ユーザは、３６０°映像の関心領域を一層便利に探したり制御したりすることができる。ユーザは、モバイル装置６００に表示された球状３６０°映像４３０の視点を制御することにより、球状３６０°映像４３０を回転させることができる。例えば、初期に、球状３６０°映像４３０が、Ｘ軸上で、−９０°から＋９０°までの領域を示した状態で、ユーザが画角を＋３０°ほど移動させたのであるならば、モバイル装置は、球状３６０°映像４３０を＋３０°ほど回転させることにより、−６０°から＋１２０°までの領域で示すことができる。
【００５８】
映像表示装置１００は、球状３６０°映像４３０において、指定された視点に対応する領域を表示することができる。指定された視点は、多様にも決定される。
【００５９】
３６０°映像の原本映像は、映像表示装置１００とモバイル装置６００とのうちいずれか一つに位置することができる。映像表示装置１００とモバイル装置６００は、多様なミラーリング技術を利用し、３６０°映像、３６０°映像の一部領域に対応する映像、３６０°映像の視点を制御する情報を互いに送受信することができる。
【００６０】
図４に図示された実施形態のように、ミラーリング技術を利用し、映像表示装置１００とモバイル装置６００とに、３６０°映像を表示するが、映像表示装置１００は、３６０°映像の決定された領域に対応する映像４５０を表示し、モバイル装置６００は、球状３６０°映像４３０を表示することにより、ユーザは、モバイル装置６００に表示された球状３６０°映像４３０からさらに広い範囲の領域を見ることができ、またそれを利用し、３６０°映像の視点をより容易に制御することができる。
【００６１】
図５は、一実施形態により、３６０°映像の原本映像、球状映像、指定された視点の映像について説明するための参照図である。図５を参照すれば、原本映像４１０は、二次元（２Ｄ：two-dimensional）になる３６０°映像であり、その原本映像４１０は、映像表示装置１００にも存在しモバイル装置６００にも存在する。
【００６２】
球状３６０°映像４３０は、３６０°映像の原本映像４１０から球へのマッピングを介して生成された球状の映像を示す。球状３６０°映像４３０は、モバイル装置６００にも表示される。
【００６３】
指定された視点に対応する映像４５０は、球状３６０°映像４３０の領域Ａ，Ｂ，Ｃのうち、指定された視点に対応する領域Ｂの映像を示す。指定された視点は、多様にも決定される。例えば、指定された視点は、映像表示装置１００により、デフォルトと決定されるか、３６０°映像の情報によって決定されるか、あるいはモバイル装置６００に表示された球状３６０°映像４３０を制御するユーザ入力によっても決定される。指定された視点に対応する映像４５０は、映像表示装置１００にも表示される。
【００６４】
原本映像４１０から球状３６０°映像４３０にマッピングする処理や、球状３６０°映像４３０から指定された視点に対応する領域の映像４５０をプロジェクションする処理には、多くのグラフィック処理資源を要する。従って、マッピング処理やプロジェクション処理は、ミラーリングで連結された映像表示装置１００とモバイル装置６００との間で、プロセッシング資源性能を考慮し、いずれがその処理を行うかということを決定することができる。
【００６５】
図６は、一実施形態による、映像表示装置１０とモバイル装置６００との概略的なブロック図である。図６を参照すれば、モバイル装置６００は、制御部６１０、通信インターフェース６２０、ビデオ処理部６３０、ディスプレイ６４０、感知部６５０、メモリ６６０を含む。
【００６６】
通信インターフェース６２０は、スクリーンミラーリング、ＤＬＮＡ、ブルートゥース、ミラキャスト、Ｗｉ−Ｆｉダイレクトなど多様なミラーリング技術を利用し、モバイル装置６００として、映像表示装置１００と通信させる。
【００６７】
ビデオ処理部６３０は、ディスプレイ６４０によって表示される映像を信号処理し、ビデオデータに対するデコーディング、スケーリング、ノイズフィルタリング、フレームレート変換、解像度変換のような多様なイメージ処理を行うことができる。
【００６８】
特に、グラフィック処理部６３１は、２Ｄ  ３６０°映像から球状３６０°映像をマッピングするか、あるいは球状３６０°映像において指定された視点に対応する領域の映像をプロジェクションすることができる。ここで、そのようなマッピング処理やプロジェクション処理は、モバイル装置６００のグラフィック処理部６３１のプロセッシング資源が不足するならば、映像表示装置１００のグラフィック処理部１３１によっても行われるということは言うまでもない。
【００６９】
ディスプレイ６４０は、ビデオ処理部６３０で処理された映像信号、データ信号、ＯＳＤ（on-screen  display）信号、制御信号などを変換し、駆動信号を生成する。ディスプレイ部６４０は、ＰＤＰ（plasma  display  panel）、ＬＣＤ（liquid  crystal  display）、ＯＬＥＤ（organic  light  emitting  diode）、フレキシブルディスプレイなどによっても具現され、また、三次元ディスプレイ（３Ｄ  display）によっても具現される。また、ディスプレイ６４０は、タッチスクリーンで構成され、出力装置以外に、入力装置としても使用される。
【００７０】
一実施形態によってディスプレイ６４０は、ミラーリング技術を利用して表示する３６０°映像から生成された球状３６０°映像を表示することができる。
【００７１】
一実施形態によってディスプレイ６４０は、球状３６０°映像の視点を制御するユーザ入力に応答し、球状３６０°映像を回転させて表示することができる。
【００７２】
感知部６５０は、ユーザ入力を感知し、感知された信号を制御部６１０に伝達することができる。感知部６５０は、ユーザの音声を受信するマイク、ユーザの映像を受信するカメラ、またはユーザのインタラクションを感知する光受信部も、タッチパッドを含んでもよい。
【００７３】
一実施形態による感知部６５０は、３６０°映像において、ディスプレイ６４０に表示される一部領域の位置を移動させるための入力、すなわち、３６０°映像の視点を制御するためのユーザ入力、ディスプレイ部に表示される映像をズームインさせたりズームアウトさせたりするための入力、３６０°映像において、特定位置の領域に対応する映像を表示させるための入力などを感知することができる。
【００７４】
メモリ６６０は、オペレーティングシステム、制御部６１０で処理されるデータ、制御部６１０で実行される１以上のインストラクションを含んでもよい。
【００７５】
特に、一実施形態によるメモリ６６０は、ミラーリングのために連結された映像表示装置と、３６０°映像を送受信するように、前記通信インターフェースを制御し、３６０°映像から生成された球状３６０°映像をディスプレイに出力し、ディスプレイされた球状３６０°映像の視点を制御するユーザ入力に対応させ、球状３６０°映像の視点を制御し、映像表示装置において３６０°映像の表示のために、前記３６０°映像、３６０°映像において指定された視点に対応する映像、または３６０°映像の視点制御情報のうち少なくとも一つを映像表示装置に伝送する１以上のインストラクションを含んでもよい。
【００７６】
一実施形態において、「メモリ」という用語は、保存所、制御部のＲＯＭ（read-only  memory）またはＲＡＭ（random  access  memory）、あるいはモバイル装置６００に装着されるメモリカード（例えば、micro  ＳＤカード、ＵＳＢメモリ、図示せず）を含む。また、メモリ６６０は、不揮発性メモリ、揮発性メモリ、ハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）を含んでもよい。
【００７７】
制御部６１０は、モバイル装置６００の全般的な動作、及びモバイル装置６００の内部構成要素間の信号フローを制御し、データを処理する機能を遂行する。制御部６１０は、ユーザの入力があるか、あるいは既設定の保存された条件を満足する場合、メモリ１２０に保存されたＯＳ及び多様なアプリケーションを実行することができる。
【００７８】
制御部６１０は、モバイル装置６００の外部から入力される信号またはデータを保存したり、モバイル装置６００で遂行される多様な作業に対応する保存領域で使用されたりするＲＡＭ、モバイル装置６００制御のための制御プログラムが保存されたＲＯＭ、及びプロセッサを含んでもよい。
【００７９】
一実施形態によって制御部６１０は、メモリに保存された１以上のインストラクションを遂行することにより、本明細書に開示されたミラーリング動作を遂行することができる。
【００８０】
一実施形態によって制御部６１０は、ミラーリングのために連結された映像表示装置１００と、３６０°映像を送受信するように、前記通信インターフェースを制御し、前記３６０°映像から生成された球状３６０°映像を前記ディスプレイに出力し、前記ディスプレイされた球状３６０°映像の視点を制御するユーザ入力に対応させ、前記球状３６０°映像の視点を制御し、前記映像表示装置１００において、前記３６０°映像を表示するために、前記３６０°映像、前記３６０°映像において指定された視点に対応する映像、または前記３６０°映像の視点制御情報のうち少なくとも一つを、前記映像表示装置１００に伝送することができる。
【００８１】
一実施形態によって制御部６１０は、３６０°映像を獲得し、前記獲得された３６０°映像を球状３６０°に変更し、前記球状３６０°映像を生成することができる。
【００８２】
一実施形態によって制御部６１０は、ミラーリングのために連結された映像表示装置１００から、前記３６０°映像、または前記３６０°映像に基づいて生成された球状３６０°映像を受信することができる。
【００８３】
一実施形態によって制御部６１０は、ユーザ入力による画角に対応し、前記球状３６０°映像を回転させて表示するか、あるいはユーザ入力によるズームサイズに対応し、前記球状３６０°映像を拡大することにより、前記球状３６０°映像の視点を制御することができる。
【００８４】
一実施形態により、指定された視点に対応する映像は、前記球状３６０°映像の視点を制御するユーザ入力によって決定された視点に対応する映像を含んでもよい。
【００８５】
一実施形態によって制御部６１０は、前記球状３６０°映像の視点を制御するユーザ入力に対応する視点制御情報を、前記映像表示装置１００に伝送することができる。
【００８６】
一実施形態により、指定された視点に対応する映像は、前記電子装置、または前記３６０°映像についての情報によって決定された視点に対応する映像を含んでもよい。
【００８７】
一実施形態によって制御部６１０は、前記３６０°映像において指定された視点に対応する映像を、前記映像表示装置１００に伝送するとき、前記映像表示装置１００の画面比を考慮し、前記指定された視点に対応する映像を処理することができる。
【００８８】
一実施形態によって制御部６１０は、前記３６０°映像のスクリーンミラーリングのための１以上のタスクに分け、前記モバイル装置６００と前記映像表示装置１００とのプロセッシング資源を考慮し、前記１以上のタスクを、前記モバイル装置６００または前記映像表示装置１００に委任することができる。
【００８９】
前述の、制御部６１０によって遂行される機能は、制御部６１０が、メモリ６６０に保存された１以上のアプリケーションを実行することによっても具現される。
【００９０】
モバイル装置６００は、図６に図示された構成以外にも、オーディオデータに対する処理を行うオーディオ処理部、オーディオを出力するオーディオ出力部、モバイル装置６００の外部から、ビデオ、オーディオ及び付加情報などを受信する入出力部をさらに含んでもよい。
【００９１】
また、モバイル装置６００は、その用語に限定されず、プロセッサ及びメモリを含み、アプリケーションを実行する装置であるならば、ラップトップ、スマートフォン、タブレット、ウェアラブル装置、ＰＤＡ（personal  digital  assistant）などいかなる電子装置でも可能である。
【００９２】
映像表示装置１００は、制御部１１０、通信インターフェース１２０、ビデオ処理部１３０、ディスプレイ１４０、メモリ１５０を含む。
【００９３】
通信インターフェース１２０は、スクリーンミラーリング、ＤＬＮＡ、ブルートゥース、ミラキャスト、Ｗｉ−Ｆｉダイレクトなど多様なミラーリング技術を利用し、映像表示装置１００がモバイル装置６００と通信することができるようにする。
【００９４】
ビデオ処理部１３０は、ディスプレイ１４０によって表示される映像を信号処理し、ビデオデータに対するデコーディング、スケーリング、ノイズフィルタリング、フレームレート変換、解像度変換のような多様なイメージ処理を行うことができる。
【００９５】
特に、グラフィック処理部１３１は、２Ｄ  ３６０°映像から球状３６０°映像をマッピングするか、あるいは球状３６０°映像で指定された視点に対応する領域の映像をプロジェクションすることができる。ここで、そのようなマッピング処理やプロジェクション処理は、映像表示装置１００のグラフィック処理部１３１のプロセッシング資源が不足するならば、モバイル装置６００のグラフィック処理部６３１によって遂行されるということは言うまでもない。
【００９６】
ディスプレイ１４０は、ビデオ処理部１３０で処理された映像信号、データ信号、ＯＳＤ信号、制御信号などを変換して駆動信号を生成する。ディスプレイ部１４０は、ＰＤＰ、ＬＣＤ、ＯＬＥＤ、フレキシブルディスプレイなどによっても具現され、また、三次元ディスプレイ（３Ｄ  display）によっても具現される。また、ディスプレイ１４０は、タッチスクリーンで構成され、出力装置以外に、入力装置としても使用される。
【００９７】
一実施形態によってディスプレイ１４０は、ミラーリング技術を利用して表示する３６０°映像の指定された視点に対応する領域の映像を表示することができる。
【００９８】
一実施形態によってディスプレイ１４０は、モバイル装置６００に表示された球状３６０°映像の視点を制御するユーザ入力に対応し、変更された視点に対応する領域の映像を表示することができる。
【００９９】
メモリ１５０は、オペレーティングシステム、制御部６１０で処理されるデータ、制御部６１０で実行される１以上のインストラクションを含んでもよい。
【０１００】
特に、一実施形態によるメモリ１５０は、ミラーリングのために、モバイル装置と連結するように、前記通信インターフェースを制御し、３６０°映像から生成された球状３６０°映像を表示する前記モバイル装置から、前記３６０°映像を受信するか、あるいは前記モバイル装置において、前記球状３６０°映像が表示されるように、前記３６０°映像または前記球状３６０°映像を伝送し、前記３６０°映像において指定された視点に対応する映像を表示するように、前記ディスプレイを制御する１以上のインストラクションを含んでもよい。
【０１０１】
一実施形態において、「メモリ」という用語は、保存所、制御部のＲＯＭまたはＲＡＭ、あるいはモバイル装置６００に装着されるメモリカード（例えば、micro  ＳＤカード、ＵＳＢメモリ）を含む。また、メモリ１５０は、不揮発性メモリ、揮発性メモリ、ハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）を含んでもよい。
【０１０２】
制御部１１０は、映像表示装置１００の全般的な動作、及び映像表示装置１００の内部構成要素間の信号フローを制御し、データを処理する機能を遂行する。制御部１１０は、ユーザの入力があるか、あるいは既設定の保存された条件を満足する場合、メモリ１２０に保存されたＯＳ、及び多様なアプリケーションを実行することができる。
【０１０３】
制御部１１０は、映像表示装置１００の外部から入力される信号またはデータを保存するか、あるいは映像表示装置１００で遂行される多様な作業に対応する保存領域で使用されるＲＡＭ、映像表示装置１００の制御のための制御プログラムが保存されたＲＯＭ、及びプロセッサを含んでもよい。
【０１０４】
一実施形態によって制御部１１０は、メモリに保存された前記１以上のインストラクションを実行することにより、ミラーリングのためにモバイル装置と連結するように、前記通信インターフェースを制御し、３６０°映像から生成された球状３６０°映像を表示する前記モバイル装置から前記３６０°映像を受信するか、あるいは前記モバイル装置において、前記球状３６０°映像が表示されるように、前記３６０°映像または前記球状３６０°映像を伝送し、前記３６０°映像において指定された視点に対応する映像を表示するように、前記ディスプレイを制御することができる。
【０１０５】
一実施形態によって制御部１１０は、前記モバイル装置にディスプレイされた前記球状３６０°映像の視点を制御するユーザ入力に対応する視点制御情報、または前記ユーザ入力による視点に対応する領域の３６０°映像を前記モバイル装置から受信し、前記視点制御情報、または前記視点に対応する領域の３６０°映像を基に、前記３６０°映像において指定された視点に対応する映像を表示することができる。
【０１０６】
前述の制御部１１０によって遂行される機能は、制御部１１０が、メモリ１５０に保存された１以上のアプリケーションを実行することによっても具現される。
【０１０７】
映像表示装置１００は、図６に図示された構成以外にも、オーディオデータに対する処理を行うオーディオ処理部、オーディオを出力するオーディオ出力部、映像表示装置１００の外部からビデオ、オーディオ及び付加情報などを受信する入出力部、放送信号を受信するチューナ部、ユーザの音声、ユーザの映像、ユーザのインタラクションを感知する感知部をさらに含んでもよい。
【０１０８】
一方、図６に図示された映像表示装置１００やモバイル装置６００のブロック図は、一実施形態のためのブロック図である。該ブロック図の各構成要素は、実際に具現される映像表示装置１００やモバイル装置６００の仕様により、統合されたり追加されたり省略されたりする。すなわち、必要により、２以上の構成要素が１つの構成要素に合わされたり、１つの構成要素が２以上の構成要素に細分されたりしても構成される。また、各ブロックで遂行する機能は、一実施形態について説明するためのものであり、その具体的な動作や装置は、本発明の権利範囲を制限するものではない。
【０１０９】
図７は、一実施形態による、ミラーリングで連結されたモバイル装置での動作過程を示すフローチャートである。図７を参照すれば、Ｓ７１０において、モバイル装置６００は、ミラーリングのために連結された映像表示装置１００と、３６０°映像を送受信するように、通信インターフェース６２０を制御することができる。
【０１１０】
モバイル装置６００が３６０°映像を有している場合、モバイル装置６００は、映像表示装置１００に、３６０°映像を伝送することができる。または、映像表示装置１００が３６０°映像を有している場合、モバイル装置６００は、映像表示装置１００から３６０°映像を受信することができる。
【０１１１】
Ｓ７２０において、モバイル装置６００は、３６０°映像から生成された球状３６０°映像を、ディスプレイ６４０に出力することができる。
【０１１２】
一実施形態によってモバイル装置６００は、３６０°映像から生成された球状３６０°映像を、映像表示装置１００から受信することができる。
【０１１３】
一実施形態によってモバイル装置６００は、グラフィック処理部６３１を利用し、３６０°映像から球状３６０°映像を生成するマッピング処理を行うこともできる。
【０１１４】
一実施形態によって、３６０°映像から球状３６０°映像を生成するマッピング処理を、モバイル装置６００のグラフィック処理部６３１で行うか、あるいは映像表示装置１００のグラフィック処理部１３１で行うかということは、モバイル装置６００と映像表示装置１００とのプロセッシング資源を考慮し、流動的にも決定される。
【０１１５】
Ｓ７３０において、モバイル装置６００は、ディスプレイされた球状３６０°映像の視点を制御するユーザ入力に対応し、球状３６０°映像の視点を制御することができる。
【０１１６】
具体的には、モバイル装置６００は、球状３６０°映像をディスプレイに表示し、表示された球状３６０°映像について視点を制御するユーザ入力を感知することができる。該視点は、ユーザが３６０°映像を見る画角またはズームサイズを含んでもよい。モバイル装置６００が視点を制御するユーザ入力を感知することにより、モバイル装置６００は、ディスプレイに表示される球状３６０°映像を制御することができる。すなわち、画角を制御するユーザ入力によってモバイル装置６００は、ユーザ入力に対応する画角ほど球状３６０°映像を回転させて表示することができる。ズームサイズを制御するユーザ入力によってモバイル装置６００は、ディスプレイに表示される球状３６０°映像を拡大させたり縮小させたりすることができる。
【０１１７】
Ｓ７４０において、モバイル装置６００は、３６０°映像、３６０°映像において指定された視点に対応する映像、３６０°映像の視点制御情報のうち少なくとも一つを、映像表示装置１００に伝送することができる。
【０１１８】
一実施形態によって、モバイル装置６００が３６０°原本映像を有している場合、モバイル装置６００は、３６０°映像を、映像表示装置１００に伝送することができる。
【０１１９】
一実施形態によって、モバイル装置６００においては、視点を制御するユーザ入力により、モバイル装置６００に表示された球状３６０°映像の回転制御を行い、映像表示装置１００においては、モバイル装置１００でのユーザ入力と係わりなく、指定された視点に対応する領域の映像を表示することができる。その場合、モバイル装置６００は、３６０°映像や、３６０°映像において指定された視点に対応する領域の映像を、映像表示装置１００に伝送することで十分である。
【０１２０】
一実施形態によって、モバイル装置６００において視点を制御するユーザ入力により、モバイル装置６００に表示された球状３６０°映像の回転制御を行うだけではなく、映像表示装置１００においても、モバイル装置１００でのユーザ入力に対応する視点に対応する領域の映像を表示することができる。その場合、モバイル装置６００は、ユーザ入力に対応する視点制御情報または３６０°映像において、ユーザ入力による視点に対応する領域の映像を、映像表示装置１００に伝送することができる。
【０１２１】
一実施形態により、モバイル装置６００が映像表示装置１００の画面比に係わる情報を有している場合、モバイル装置６００は、ユーザ入力による視点に対応する領域を、３６０°映像でプロジェクションするとき、映像表示装置１００の画面比を考慮することができる。
【０１２２】
図８は、一実施形態により、ミラーリングで連結された映像表示装置での動作過程を示すフローチャートである。図８を参照すれば、Ｓ８１０において、映像表示装置１００は、ミラーリングのために連結されたモバイル装置３６０°映像を送受信するように、通信インターフェース１２０を制御することができる。
【０１２３】
映像表示装置１００が３６０°映像を有している場合、映像表示装置１００は、モバイル装置６００に、３６０°映像を伝送することができる。または、モバイル装置６００が３６０°映像を有している場合、映像表示装置１００は、モバイル装置６００から３６０°映像を受信することができる。
【０１２４】
Ｓ８２０において、映像表示装置１００は、３６０°映像から生成された球状３６０°映像を表示するモバイル装置から３６０°映像を受信するか、あるいはモバイル装置で球状３６０°映像が表示されることができるように、３６０°映像をモバイル装置６００に伝送することができる。
【０１２５】
一実施形態によって、映像表示装置１００が３６０°映像を有している場合、映像表示装置１００は、３６０°映像をモバイル装置６００に伝送するか、あるいは３６０°映像を球状３６０°映像にマッピングし、球状３６０°映像をモバイル装置６００に伝送することができる。３６０°映像をそのまま伝送するか、あるいは球状３６０°映像にマッピングして伝送するかということは、映像表示装置１００とモバイル装置６００とのプロセッシング資源を考慮して適切に決定することができる。
【０１２６】
Ｓ８３０において、映像表示装置１００は、３６０°映像において、指定された視点に対応する映像をディスプレイに表示することができる。
【０１２７】
指定された視点は、固定的であっても可変であってもよい。具体的には、映像表示装置１００は、モバイル装置６００でのユーザ入力による視点制御と関係なく、固定的に、３６０°映像において固定された視点に対応する映像をディスプレイすることができる。または、映像表示装置１００は、モバイル装置６００でのユーザ入力によって可変的に、すなわち、モバイル装置６００でのユーザ入力による視点制御を反映させ、ユーザ入力による視点に対応する領域の映像をディスプレイすることができる。
【０１２８】
一実施形態によって映像表示装置１００は、３６０°映像において、映像表示装置１００またはモバイル装置６００によって指定された視点に対応する映像を、固定的にディスプレイに表示することができる。例えば、モバイル装置６００または映像表示装置１００は、デフォルトとして、３６０°映像においてディスプレイする領域の視点を決定することができる。
【０１２９】
一実施形態によって映像表示装置１００は、３６０°映像についての情報により、指定された視点に対応する映像を固定的にディスプレイに表示することができる。例えば、映像表示装置１００は、３６０°映像自体において、デフォルトとして決定された視点に対応する映像をディスプレイすることができる。
【０１３０】
一実施形態によって映像表示装置１００は、モバイル装置６００から、３６０°映像において、ユーザ入力による視点に対応する領域の映像を受信し、それをディスプレイに表示することができる。
【０１３１】
一実施形態によって映像表示装置１００は、モバイル装置６００から、ユーザ入力による視点に対応する視点制御情報を受信し、受信された視点制御情報を利用し、３６０°映像から、視点制御情報において示す視点に対応する領域をプロジェクションし、プロジェクションされた領域の映像を、ディスプレイに表示することができる。例えば、視点制御情報は、ユーザ入力に対応する画角情報またはズームサイズ情報を含んでもよい。
【０１３２】
一実施形態によって映像表示装置１００が、モバイル装置６００から視点制御情報を受信し、視点制御情報により、３６０°映像をプロジェクションするか、あるいは映像表示装置１００が、モバイル装置６００から視点制御情報に基づいて、プロジェクションされた領域の映像を受信するかということは、モバイル装置６００と映像表示装置１００とのプロセッシング資源を考慮しても決定される。
【０１３３】
図９は、一実施形態により、３６０°映像を保有しているモバイル装置６００と映像表示装置１００とのミラーリング動作を示すフローチャートである。図９を参照すれば、動作９１０において、モバイル装置６００と映像表示装置１００は、ミラーリングのための連結動作を遂行することができる。
【０１３４】
動作９２０において、モバイル装置６００は、３６０°映像のミラーリングのために、３６０°映像を映像表示装置１００に伝送することができる。モバイル装置６００は、３６０°映像原本を伝送することもでき、モバイル装置６００のプロセッシング資源が利用可能であるならば、３６０°映像から、指定された視点に対応する領域をプロジェクションし、プロジェクション処理された領域の映像を表示することができる。また、モバイル装置６００は、映像表示装置１００の画面比に係わる情報を有している場合、プロジェクション処理時、映像表示装置１００の画面比を考慮することができる。
【０１３５】
動作９３０において、映像表示装置１００は、モバイル装置１００から受信した３６０°映像において指定された視点に対応する領域をプロジェクションし、プロジェクション処理された領域の映像を表示することができる。
【０１３６】
動作９４０において、モバイル装置６００は、３６０°映像を球状３６０°映像にマッピングすることができる。
【０１３７】
動作９５０において、モバイル装置６００は、球状３６０°映像をディスプレイに表示することができる。
【０１３８】
動作９６０において、モバイル装置６００は、球状３６０°映像を制御するユーザ入力を受信することができる。
【０１３９】
図１０Ａ、図１０Ｂは、一実施形態による、モバイル装置６００で表示される球状３６０°映像の一例を示す。
【０１４０】
図１０Ａを参照すれば、モバイル装置６００のディスプレイは、球状３６０°映像１０００だけでなく、１以上のコントロールメニューを表示することができる。該コントロールメニューは、３６０°映像の全体長において、現在再生視点を示すプログレスバー１０１０、ボリュームを制御することができるボリュームバー１０２０、リワインドメニュー１０３０、停止メニュー１０４０、ファーストフォワードメニュー１０５０、アイテム１０６０などを含んでもよい。該コントロールメニューに対応するユーザ入力を受信すれば、モバイル装置１００は、該コントロールメニューに対応するユーザ入力に基づいて、モバイル装置１００に表示された球状３６０°映像の表示を制御するだけでなく、そのコントロールメニューに対応するユーザ入力に基づいた制御情報を映像表示装置１００に伝送することができる。映像表示装置１００は、モバイル装置６００から受信したコントロールメニューに基づいた制御情報を利用し、映像表示装置１００に表示される３６０°映像の表示を制御することができる。
【０１４１】
またユーザは、球状３６０°映像の視点を制御することができる。例えば、モバイル装置１００がタッチスクリーンからなる場合、ユーザは、タッチスクリーンに表示された球状３６０°映像１０００を、指または他の入力ツールを利用し、タッチ、ドラッグ、ジェスチャなどを介して視点を移動させたり変更したり選択したりすることができる。例えば、ユーザは、球状３６０°映像を左に回転させるために、指で球状３６０°映像１０００上で左にドラッグする動作を遂行し、モバイル装置１００は、そのようなユーザ入力を受信することができる。
【０１４２】
動作９７０において、モバイル装置１００は、ユーザ入力により、球状３６０°映像の表示を制御することができる。
【０１４３】
例えば、図１０Ａにおいて、球状３６０°映像１０００上で左にドラッグするユーザ入力を受信した場合、モバイル装置６００は、球状３６０°映像が左に回転されるように表示を制御することができる。球状３６０°映像１０００において、視点に対応する領域が領域Ｂである状態において、左に回転制御した場合、領域Ｃが視点に対応する領域にもなる。
【０１４４】
動作９８０において、モバイル装置６００は、視点制御情報を、映像表示装置１００に伝送することができる。該視点制御情報は、ユーザ入力によって決定された視点を制御するための情報として、例えば、ユーザ入力による画角情報またはズームサイズ情報などを含んでもよい。
【０１４５】
一実施形態により、モバイル装置６００のプロセッシング資源が十分である場合、モバイル装置１００は、視点制御情報の代わりに、視点制御情報によって決定された領域をプロジェクション処理し、プロジェクションされた領域の映像を、直接映像表示装置１００に伝送することができる。
【０１４６】
動作９９０において、映像表示装置１００は、モバイル装置６００から視点制御情報を受信し、それにより、３６０°映像において、視点に対応する領域をプロジェクションし、プロジェクションされた領域の映像を表示することができる。
【０１４７】
一実施形態により、図１０Ａを参照すれば、モバイル装置６００に表示されるコントロールメニューは、映像表示装置１００の画面に表示される３６０°映像の視点が、モバイル装置１００の３６０°映像の視点によって可変であるということを示すアイテム１０６０を含んでもよい。すなわち、アイテム１０６０が表示された状態で、モバイル装置６００での球状３６０°映像の視点制御は、映像表示装置１００に表示された３６０°映像の視点制御にも利用され、ユーザがモバイル装置６００を利用し、３６０°映像の視点を調節すれば、それにより、映像表示装置１００の視点が調節される。
【０１４８】
図１１は、一実施形態により、モバイル装置６００にアイテム１０６０が表示された状態での動作について説明するための参照図である。図１１の１１００ａを参照すれば、モバイル装置６００には、球状３６０°映像１０００において、領域Ｂが視点に対応する領域として表示されており、アイテム１０６０が表示されている。また、映像表示装置１００°モバイル装置６００に表示された球状３６０°映像１０００の視点に対応する領域Ｂがプロジェクションされて表示されている。モバイル装置６００において、アイテム１０６０が表示された状態で、ユーザがモバイル装置６００に表示された球状３６０°映像１０００を左にドラッグすることにより、図１１の１１００ｂに図示されているように、モバイル装置６００は、球状３６０°映像を左に回転させて表示することにより、例えば、領域Ｃが、球状３６０°映像１０００が視点に対応する領域として表示されている。またモバイル装置６００は、アイテム１０６０が表示された状態なので、すなわち、モバイル装置での視点制御情報を映像表示装置１００に伝送するモードなので、モバイル装置６００は、領域Ｃに対応する視点制御情報を映像表示装置１００に伝送することによって映像表示装置１００°領域Ｃに対応する映像を表示することができる。
【０１４９】
図１０Ａに図示されたアイテム１０６０は、トグリング形態であると定義される。すなわち、ユーザが、図１０Ａの画面に表示されたアイテム１０６０を１回タッチすれば、アイテム１０６０は、図１０Ｂのように、アイテム１０７０にも変更される。アイテム１０７０は、モバイル装置６００での３６０°映像の視点制御は、映像表示装置１００に表示される３６０°映像の視点制御に利用されず、映像表示装置１００に表示される３６０°映像の視点は、固定されるということを示す。
【０１５０】
図１２の１２００ａを参照すれば、モバイル装置６００にアイテム１０７０が表示された状態においては、ユーザがモバイル装置６００に表示された球状３６０°映像を左にドラッグすれば、それにより、図１２の１２００ｂのように、モバイル装置６００に表示される球状３６０°映像が左に回転され、領域Ｃが視点に対応する領域にも表示される。しかし、アイテム１０７０が表示されたモードにより、すなわち、映像表示装置１００に表示される３６０°映像の視点が固定されるモードであるので、映像表示装置１００は、モバイル装置６００での視点制御に影響を受けず、そのまま領域Ｂに対応する映像が続けて表示される。
【０１５１】
すなわち、アイテム１０６０をタッチする入力により、映像表示装置１００での画面は固定させ、モバイル装置６００の画面だけ動かし、他角度の映像を見ることができる。また、映像表示装置１００においても、モバイル装置６００の映像制御によって動く画面を見たい場合には、アイテム１０７０をタッチすることができる。
【０１５２】
図１３は、一実施形態による、３６０°映像を保有している映像表示装置１００と、モバイル装置６００とのミラーリング動作を示すフローチャートである。図９での動作と類似した部分に係わる説明は、簡略に説明する。図１３を参照すれば、動作１３１０において、モバイル装置６００と映像表示装置１００は、ミラーリングのための連結動作を遂行することができる。
【０１５３】
動作１３２０において、映像表示装置１００は、３６０°映像のミラーリングのために、３６０°映像をモバイル装置６００に伝送することができる。映像表示装置１００は、モバイル装置６００のプロセッシング資源を考慮し、３６０°映像原本を伝送することもでき、または３６０°映像を球状３６０°映像にマッピング処理し、球状３６０°映像を伝送することもできる。
【０１５４】
動作１３３０において、映像表示装置１００は、３６０°映像において指定された視点に対応する領域をプロジェクションし、プロジェクション処理された領域の映像を表示することができる。
【０１５５】
動作１３４０において、モバイル装置６００は、映像表示装置１００から受信した３６０°映像を、球状３６０°映像にマッピングすることができる。
【０１５６】
動作１３５０において、モバイル装置６００は、球状３６０°映像をディスプレイに表示することができる。
【０１５７】
動作１３６０において、モバイル装置６００は、球状３６０°映像を制御するユーザ入力を受信することができる。
【０１５８】
動作１３７０において、モバイル装置６００は、ユーザ入力により、球状３６０°映像の表示を制御することができる。
【０１５９】
動作１３８０において、モバイル装置６００は、視点制御情報を映像表示装置１００に伝送することができる。該視点制御情報はユーザ入力によって決定された視点を制御するための情報であり、例えば、ユーザ入力による画角情報またはズームサイズ情報などを含んでもよい。
【０１６０】
一実施形態により、モバイル装置１００のプロセッシング資源が十分である場合、モバイル装置６００は、視点制御情報の代わりに、視点制御情報によって決定された領域をプロジェクション処理し、プロジェクションされた領域の映像を、直接映像表示装置１００に伝送することができる。
【０１６１】
動作１３９０において、映像表示装置１００は、モバイル装置６００から視点制御情報を受信し、それにより、３６０°映像において、視点に対応する領域をプロジェクションし、プロジェクションされた領域の映像を表示することができる。
【０１６２】
図１３に図示された例においては、映像表示装置１００において、３６０°映像の表示前に、モバイル装置６００と映像表示装置１００とのミラーリング連結が完了した例について説明したが、映像表示装置１００において、３６０°映像を表示している状態で、モバイル装置６００からの連結要請がある場合にも、同様に動作することができる。すなわち、映像表示装置１００が３６０°映像を表示している状態において、モバイル装置６００からの連結要請を検出すれば、映像表示装置１００は、３６０°映像の原本映像をモバイル装置６００に伝送するか、あるいは３６０°映像を球にマッピングし、球状３６０°映像を生成し、それをモバイル装置６００に伝送することができる。
【０１６３】
一実施形態によるモバイル装置及び映像表示装置の動作方法は、多様なコンピュータ手段を介しても遂行されるプログラム命令形態に具現され、コンピュータ可読媒体にも記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものでもあり、コンピュータソフトウェア当業者に公知されて使用可能なものでもある。該コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（magnetic  media）；ＣＤ−ＲＯＭ（compact  disc  read  only  memory）、ＤＶＤ（digital  versatile  disc）のような光記録媒体（optical  media）、フロプティカルディスク（floptical  disk）のような磁気・光媒体（magneto-optical  media）；及びＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。該プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードを含む。
【０１６４】
以上、一実施形態について詳細に説明したが、本発明の権利範囲は、それらに限定されるものではなく、特許請求の範囲で定義している本発明の基本概念を利用した当業者のさまざまな変形及び改良形態も、本発明の権利範囲に属する。
【図１】
2020502851.tif 000003
【図２】
2020502851.tif 000004
【図３】
2020502851.tif 000005
【図４】
2020502851.tif 000006
【図５】
2020502851.tif 000007
【図６】
2020502851.tif 000008
【図７】
2020502851.tif 000009
【図８】
2020502851.tif 000010
【図９】
2020502851.tif 000011
【図１０Ａ】
2020502851.tif 000012
【図１０Ｂ】
2020502851.tif 000013
【図１１】
2020502851.tif 000014
【図１２】
2020502851.tif 000015
【図１３】
2020502851.tif 000016
【国際調査報告】
2020502851.tif 000017
2020502851.tif 000018