(57)【要約】      （修正有）【課題】より便利で、臨場感のあるエンターテイメント効果を達成することができる、全景リアリティシミュレーションシステムを提供する。【解決手段】全景リアリティシミュレーションシステムは、全景撮影装置１を含み、全景撮影装置がネットワークアクセス空間２にデータ接続され、ネットワークアクセス空間が撮影された全景映像にアクセスし、ネットワークアクセス空間に少なくとも１つの電子機器３が接続され、電子機器にモバイルアプリケーションプログラム３１と、ＡＲ処理部３２と、少なくとも１つの映像調整制御部材３３が設置される。視聴者は全景映像を読み取り、３Ｄ立体空間を生成し、移動したい位置と方向を検出して、対応する３Ｄ立体空間中の表示画面を生成し、使用者に３Ｄ立体空間中を任意に移動させ、臨場感のあるエンターテイメントを実現する。【選択図】図１
0003229221.tif 000002
【実用新案登録請求の範囲】
【請求項１】
全景リアリティシミュレーションシステムであって、主に、少なくとも１つの全景撮影装置と、ネットワークアクセス空間と、モバイルアプリケーションプログラムと、ＡＲ処理部と、少なくとも１つの映像調整制御部材を含み、
該ネットワークアクセス空間が、該全景撮影装置とデータ接続され、該全景撮影装置が撮影した全景映像を受け取り、少なくとも１つの電子機器を該ネットワークアクセス空間に接続させ、該全景映像を読み取らせ、
該モバイルアプリケーションプログラムが、該電子機器内に設置され、該電子機器に該モバイルアプリケーションプログラムを通じて該全景映像を読み取らせ、
該ＡＲ処理部が、該電子機器内に設置され、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、拡張現実）技術を通じて該全景撮影装置が撮影した全景映像を処理し、３Ｄ立体空間を生成し、
該映像調整制御部材が、該電子機器内に設置され、該電子機器の表示画面が対応する位置を調整制御し、これにより該ＡＲ処理部を組み合わせて該３Ｄ立体空間内の位置に対応する表示画面を該電子機器上に表示し、該映像調整制御部材により該電子機器が３Ｄ立体空間に対応する表示画面を移動させたことが検出されると、該ＡＲ処理部が該映像調整制御部材に合わせて連続して間断なくリアルタイムで位置を変えた後３Ｄ立体空間中の表示画面に対応する、
ことを特徴とする、全景リアリティシミュレーションシステム。
【請求項２】
前記映像調整制御部材が操作制御モジュールの接続に提供され、該操作制御モジュールの制御信号を受け取る、ことを特徴とする、請求項１に記載の全景リアリティシミュレーションシステム。
【請求項３】
前記ネットワークアクセス空間が受け取る全景映像が、該全景撮影装置により撮影されたリアルタイムライブ映像、事前収録映像、または静態写真の画像のいずれかである、ことを特徴とする、請求項１に記載の全景リアリティシミュレーションシステム。
【請求項４】
前記全景撮影装置に電子製品が接続される、ことを特徴とする、請求項１に記載の全景リアリティシミュレーションシステム。
【請求項５】
前記モバイルアプリケーションプログラムが、視聴者による支援に用いられるユーザーファンディング支援ユニットと、視聴者によるメッセージ入力に用いられるメッセージ入力ユニットを有する、ことを特徴とする、請求項１に記載の全景リアリティシミュレーションシステム。
【考案の詳細な説明】
【技術分野】
【０００１】
本考案は全景リアリティシミュレーションシステムに関し、特に、鑑賞と使用上より便利で臨場感を体感できる、全景リアリティシミュレーションシステムに関する。
【背景技術】
【０００２】
ウェブキャストは、オンラインビデオプラットフォームの台頭に伴い登場した、インターネット上でライブ映像を配信するエンターテイメントの一形態である。ウェブキャストは現在も、エンターテイメント関連コンテンツ配信に最もよく応用されており、中でもウェブキャストの出演者や司会者である主役のことを一般に「生放送主」、「放送主」、「ライブ配信者」、「実況主」と呼んでいる。ライブストリーミングと従来の自己録画ビデオの最大の違いは、視聴者がポップアップメッセージを通じてリアルタイムでライブ配信者と対話できることである。ライブ配信者は視聴者のフィードバックに基づきリアルタイムでプログラム内容を調整したり、視聴者を喜ばせたりすることができる。
【０００３】
一般的なライブストリーミングでは、ほとんどがカメラでライブ配信者の画面やコンピューター画面を撮影し、視聴者と交流しているが、時代の進歩に伴い、撮影方法も多様化している。例えば、ＶＲを使用して撮影し、視聴者に対応する３Ｄ画面を見せることができるが、このようなＶＲ技術は使用上手間がかかり、ライブ配信側に複数のカメラを増設する必要があり、交互に撮影する方式で様々な角度の画面を生成し、対応する３Ｄ画面を生成することができるが、このような方法は使用上面倒であるだけでなく、ライブ配信時のコストが大幅に増加する。また、一般的なＶＲ技術はヘッドマウントディスプレイと組み合わせなければ完全な視聴効果を得ることができない。このため、視聴設備と視聴環境に対する要求が比較的高く、３６０度のパノラマ写真を使う場合、読取方式で見るしかなく、かつスライドさせる方式で写真を回動させたり、拡大・縮小したりすることしかできず、視聴者に臨場感を与えることはできない。
【考案の概要】
【考案が解決しようとする課題】
【０００４】
本考案の主な目的は、ＡＲ処理部で全景映像を処理することで、３Ｄ立体空間を生成し、使用者が映像調整制御部材を組み合わせて３Ｄ立体空間で対応する表示画面を生成でき、使用上より便利で、臨場感のあるエンターテイメント効果を達成することができる、全景リアリティシミュレーションシステムを提供することにある。
【課題を解決するための手段】
【０００５】
上述の目的を達成するため、本考案の全景リアリティシミュレーションシステムの主な構造は、少なくとも１つの全景撮影装置と、該全景撮影装置にデータ接続されたネットワークアクセス空間と、該ネットワークアクセス空間に接続された少なくとも１つの電子機器と、該電子機器内に設置されたモバイルアプリケーションプログラムと、該電子機器内に設置されたＡＲ処理部と、該電子機器内に設置された少なくとも１つの映像調整制御部材を含む。
【０００６】
上述の構造により、可架設全景撮影装置を撮影場所に設置し、かつ全景撮影装置を通じて撮影場所の画像を全景映像として撮影してから、ネットワークアクセス空間に伝送し、視聴者が観賞するときは、自ら電子機器中のモバイルアプリケーションプログラムを通じてネットワークアクセス空間に接続し、関連の全景映像を読み取り、かつＡＲ処理部を通じて全景映像を解析演算処理し、撮影場所に対応する３Ｄ立体空間を生成すると同時に、映像調整制御部材を組み合わせ、視聴者が３Ｄ立体空間中にいる位置と方向を検出することにより、対応する表示画面を電子機器上に表示し、かつ視聴者が３Ｄ立体空間中の表示画面を移動したいときは、映像調整制御部材が使用者の希望する移動の方向と移動の位置を検出し、これによりＡＲ処理部を組み合わせ対応する３Ｄ立体空間中の表示画面を生成して、電子機器上に表示する。これにより、視聴者は電子機器さえあれば、電子機器を通じてあらゆる位置に対応する表示画面を視聴でき、かつ表示画面を３Ｄ立体空間中で任意に移動させることができ、撮影場所にいるかのような、臨場感の効果を達成することができる。
【０００７】
以下この考案について説明する。請求項１に記載する全景リアリティシミュレーションシステムは、主に、少なくとも１つの全景撮影装置と、ネットワークアクセス空間と、モバイルアプリケーションプログラムと、ＡＲ処理部と、少なくとも１つの映像調整制御部材を含み、
該ネットワークアクセス空間が、該全景撮影装置とデータ接続され、該全景撮影装置が撮影した全景映像を受け取り、少なくとも１つの電子機器を該ネットワークアクセス空間に接続させ、該全景映像を読み取らせ、
該モバイルアプリケーションプログラムが、該電子機器内に設置され、該電子機器に該モバイルアプリケーションプログラムを通じて該全景映像を読み取らせ、
該ＡＲ処理部が、該電子機器内に設置され、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、拡張現実）技術を通じて該全景撮影装置が撮影した全景映像を処理し、３Ｄ立体空間を生成し、
該映像調整制御部材が、該電子機器内に設置され、該電子機器の表示画面が対応する位置を調整制御し、これにより該ＡＲ処理部を組み合わせて該３Ｄ立体空間内の位置に対応する表示画面を該電子機器上に表示し、該映像調整制御部材により該電子機器が３Ｄ立体空間に対応する表示画面を移動させたことが検出されると、該ＡＲ処理部が該映像調整制御部材に合わせて連続して間断なくリアルタイムで位置を変えた後３Ｄ立体空間中の表示画面に対応する。
【０００８】
請求項２に記載する全景リアリティシミュレーションシステムは、請求項１における映像調整制御部材が操作制御モジュールの接続に提供され、該操作制御モジュールの制御信号を受け取る。
【０００９】
請求項３に記載する全景リアリティシミュレーションシステムは、請求項１におけるネットワークアクセス空間が受け取る全景映像が、該全景撮影装置により撮影されたリアルタイムライブ映像、事前収録映像、または静態写真の画像のいずれかである。
【００１０】
請求項４に記載する全景リアリティシミュレーションシステムは、請求項１における全景撮影装置に電子製品が接続される。
【００１１】
請求項５に記載する全景リアリティシミュレーションシステムは、請求項１におけるモバイルアプリケーションプログラムが、視聴者による支援に用いられるユーザーファンディング支援ユニットと、視聴者によるメッセージ入力に用いられるメッセージ入力ユニットを有する。
【００１２】
上述の技術により、本考案は従来の全景映像の使用時に手間がかかるという問題点を打破し、上述の利点を達成することができ、実用性と進歩性を備えている。
【図面の簡単な説明】
【００１３】
【図１】本考案の最良の実施例の立体透視図である。
【図２】本考案の最良の実施例の構造を示すブロック図である。
【図３】本考案の最良の実施例のライブストリーミングを示す概略図１である。
【図４】本考案の最良の実施例のライブストリーミングを示す概略図２である。
【図５】本考案の最良の実施例のライブストリーミングを示す概略図３である。
【図６】本考案の最良の実施例のライブストリーミングを示す概略図４である。
【図７】本考案の最良の実施例の読取りを示す概略図である。
【図８】本考案の別の最良の実施例のライブストリーミングを示す概略図１である。
【図９】本考案の別の最良の実施例のライブストリーミングを示す概略図２である。
【図１０】本考案の別の最良の実施例のライブストリーミングを示す概略図３である。
【図１１】本考案のさらに別の最良の実施例の立体透視図である。
【図１２】本考案のさらに別の最良の実施例の構造を示すブロック図である。
【図１３】本考案のさらに別の最良の実施例のライブストリーミングを示す概略図である。
【図１４】本考案のさらに別の最良の実施例のファンディング支援を示す概略図である。
【図１５】本考案のさらに別の最良の実施例の会話を示す概略図である。
【図１６】本考案のまた別の最良の実施例の立体透視図である。
【図１７】本考案のまた別の最良の実施例のライブストリーミングを示す概略図１である。
【図１８】本考案のまた別の最良の実施例のライブストリーミングを示す概略図２である。
【図１９】本考案のまた別の最良の実施例のライブストリーミングを示す概略図３である。
【考案を実施するための形態】
【実施例１】
【００１４】
図１から図７に示す本考案の最良の実施例の立体透視図から読取りを示す概略図までを参照する。これらの図からはっきりと分かるように、本考案は、少なくとも１つの全景撮影装置１と、ネットワークアクセス空間２と、少なくとも１つの電子機器３と、ＡＲ処理部３２と、映像調整制御部材３３と、を含む。
【００１５】
本実施例の少なくとも１つの該全景撮影装置１は、３６０度カメラを例とする。
【００１６】
該ネットワークアクセス空間２は、本実施例においてネットワークサーバーを例とし、全景撮影装置１にデータ接続させ、全景撮影装置１が撮影した全景映像をネットワークアクセス空間２に伝送することができる。本実施例において、全景撮影装置１自体がワイヤレス接続部材１１を備え、本実施例のワイヤレス接続部材１１はネットワーク接続機能を有するアンテナを例とするが、これに限定されず、全景映像をネットワークアクセス空間２に伝送するために用いられる。
【００１７】
少なくとも１つの該電子機器３は、携帯電話またはタブレットのいずれかとすることができるが、これらに限定されず、該電子機器３がモバイルアプリケーションプログラム３１を備え、かつ該モバイルアプリケーションプログラム３１を通じて該ネットワークアクセス空間２に接続し、モバイルアプリケーションプログラム３１は電子機器３にインストールされたアプリを例とする。
【００１８】
該ＡＲ処理部３２は該電子機器３内に設置され、ＡＲ技術（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、拡張現実）を通じて全景映像を処理するが、その技術の内容は限定されず、ＡＲＫｉｔまたはＡＲｃｏｒｅのいずれかとすることができる。
【００１９】
少なくとも１つの該映像調整制御部材３３は該電子機器３内に設置され、該映像調整制御部材３３は限定されず、ジャイロスコープ、ＧＰＳのいずれかとすることができるが、これらに限定されず、本実施例はジャイロスコープを例とする。
【００２０】
上述の説明から、本技術の構造を理解することができるであろう。この構造の組み合わせにより、使用上より便利な優位性を得ることができ、以下でより詳細に説明する。
【００２１】
全景撮影装置１を各種撮影現場に応用することができる。例えば図３に示すように、本実施例はライブストリーミングのコンサートにおける応用を例としており、かつ全景撮影装置１の数量は複数を例としているが、数量は限定されず、全景撮影装置１はそれぞれコンサート舞台上の各相対する位置上に配置され、これにより全舞台の全景映像を撮影する。全景撮影装置１は一般的な撮影装置が撮影できる角度よりもより完全であるため、より死角なくコンサート舞台全体のあらゆる画面を収録することができ、より少ない数量の撮影装置でより完全に必要な角度と画面を撮影することができる。かつワイヤレス接続部材１１を通じてこの全景映像をネットワークアクセス空間２中に伝送し、視聴者が自分の電子機器３（本実施例は携帯電話を例とする）中のモバイルアプリケーションプログラム３１を通じてネットワークアクセス空間２中に接続して全景映像を読み取り、携帯電話中のＡＲ処理部３２がＡＲ技術を通じて全景映像の演算処理動作を行い、これにより撮影現場に対応する３Ｄ立体空間を生成する。このとき、使用者は映像調整制御部材３３を組み合わせ、使用者の３Ｄ立体空間中における位置を検出し、かつＡＲ処理部３２を組み合わせて該位置で見える表示画面を生成し、電子機器３上に表示する。図３に示すように、視聴者Ａが舞台中のこの位置にいると仮定すると、ＡＲ処理部３２と映像調整制御部材３３を通じて検出を行い、これにより対応する画面が得られ、図４に示すように、電子機器３上に表示する。
【００２２】
視聴者Ａが自身の空間で移動すると、映像調整制御部材３３が視聴者Ａの移動距離、位置、方向を検出し、かつネットワークアクセス空間２を組み合わせて隨時移動時の相対する表示画面を更新し、間断なく連続更新して電子機器３上に表示する。図５と図６に示すように、視聴者Ａが該位置まで移動すると、該位置の表示画面が電子機器３上に表示され、視聴者Ａがコンサートの現場にいるかのように、任意に移動して、対応する表示画面を見ることができる。
【００２３】
本考案の使用する方式は、ＡＲ技術を通じて直接全景映像の画面を処理・演算し、これにより３Ｄ立体空間を生成して映像調整制御部材３３を組み合わせ使用者が任意に移動することができる。ＡＲ技術はいずれも画像または影像に対して距離と方位の演算を行い、これにより３Ｄ立体空間を生成するものであるが、現在市販されているものはこの３Ｄ立体画像を携帯電話に送信し、携帯電話自体の画像表示機能を利用してスワイプ動作を行い、それにより表示画面中の項目を拡大または縮小して、画面中の項目を使用者の前方まで拡大移動するだけであり、一方本考案の応用方式は異なり、直接映像調整制御部材３３にＡＲ処理部３２を組み合わせることで、電子機器３上の表示画面を現場環境に類似した３Ｄ立体空間中で移動させることができ、かつ表示画面の移動時、画面を間断なく連続更新して電子機器上に表示し、これにより使用者に直接歩いて項目の前方まで移動する感覚を提供できる。かつ表示画面中の３Ｄ立体空間中の各項目間の距離を変化させるため、使用者が観察できる視角も完全に異なり、図３から図６に示すように、立っている位置が異なると、見える角度も完全に異なる。ＶＲ技術と比較して、本考案はいかなるヘッドマウント設備も必要とせずに見ることができ、ＡＲ処理部３２と映像調整制御部材３３を有する電子機器３があれば、この観賞効果を達成でき、視聴者に簡易な条件下で臨場感を提供し、全景映像中を任意に移動する効果を与え、より高いエンターテイメント機能を達成することができる。
【００２４】
かつ図７に示すように、ライブストリーミングの終了後、全景映像がネットワークアクセス空間２中に保存され、使用者が必要な時に読取りを行うことができる。例えば「ＸＸＸコンサートＶＯＤ、ＸＸＸコンサートライブストリーミング会場、ＸＸＸコンサート全景写真」などと表示し、これにより使用者がすぐにライブストリーミングを見ることができないときもＶＯＤを鑑賞する、または静態写真を選択することができ、これにより同様に臨場感を楽しむことができる。
【実施例２】
【００２５】
さらに図８から図１０に示す、本考案の別の最良の実施例のライブストリーミングを示す概略図１からライブストリーミングを示す概略図３を同時に参照する。これらの図からはっきりと分かるように、本実施例は上述の実施例とほぼ同じであるが、本実施例は料理教室を例としており、これにより本考案の使用方式は限定されないことを示している。料理人Ｂの傍に複数の全景撮影装置１ａが設置されており、これにより料理人Ｂの料理画面を撮影し、視聴者Ａは自身の空間で任意に移動して電子機器３ａを見ることができ、視聴者Ａが料理人Ｂの傍で移動し、異なる角度から料理人Ｂの動作を観察しているかのように、料理のポイントを完全に学ぶことができる。
【実施例３】
【００２６】
図１１から図１５に示す、本考案のさらに別の最良の実施例の立体透視図から会話を示す概略図までを同時に参照する。これらの図からはっきりと分かるように、本実施例は上述の実施例とほぼ同じであるが、本実施例において、全景撮影装置１ｂは電子製品４ｂ上に設置した３６０度カメラを例とし、電子製品４ｂは携帯電話を例としており、これにより、電子製品４ｂを通じて撮影した全景映像をネットワークアクセス空間２ｂに伝送するもので、全景撮影装置１ｂの種類は限定されないことを示している。
【００２７】
かつ本実施例において、モバイルアプリケーションプログラム３１ｂにはユーザーファンディング支援ユニット３１１ｂと、メッセージ入力ユニット３１２ｂがあり、視聴者は上述のユニットを通じてライブストリーミング時に相互作用を行うことができる。例えば、視聴者が支援をしたいとき、ユーザーファンディング支援ユニット３１１ｂが生成する支援アイコン３１３ｂをタップし、クレジットカードやインターネットバンキング等の仮想取引システムを通じて送金することで、好きなライブ配信者を支援したり、メッセージ入力ユニット３１２ｂが形成するメッセージウィンドウ３１４ｂにメッセージを入力し、このメッセージをライブ配信者の電子製品４ｂに送信し、ライブ配信者にメッセージを見せる（例えば、料理人に料理のコツを尋ねる）ことができ、上述の動作を通じてライブストリーミング時の相互作用性と楽しみを大幅に高めることができる。
【実施例４】
【００２８】
さらに図１６から図１９に示す、本考案のまた別の最良の実施例の立体透視図からライブストリーミングを示す概略図３までを同時に参照する。これらの図からはっきりと分かるように、本実施例は上述の実施例とほぼ同じであるが、本実施例は映像調整制御部材３３ｃの数量が２つであり、そのうち１つがジャイロスコープで、電子機器３ｃの移動位置と方向を検出でき、もう１つの映像調整制御部材３３ｃが操作制御モジュール（本実施例の操作制御モジュールは電子機器３ｃ上に表示された十字キー３４ｃとスワイプ可能な画面３５ｃを例とするが、これらに限定されず、その他種類のリモートコントローラで制御してもよい）の制御信号を受信できるレシーバーを例とし、かつ本実施例の電子機器３ｃは携帯電話を例とするが、携帯不可のモニター（テレビやコンピューターモニター）とすることもできる。これにより、使用者の移動空間が不足する場合も、それ以外に操作制御モジュールで対応する３Ｄ立体空間中の表示画面を移動でき、使用者は電子機器３ｃを移動して表示画面を変えることができる。歩いてそれ以上移動できない位置まできたときは、図１８と図１９に示すように、スワイプ可能な画面３５ｃ上を通じてモニターをスライドさせ、視角を変えることができ、また電子機器３ｃ上の十字キー３４ｃを押して前に移動することができる。このように、本考案は使用上の利便性を大幅に高めることができ、また視聴者の移動可能な場所が小さすぎるために娯楽上の効果が低下することがない。
【符号の説明】
【００２９】
１、１ａ、１ｂ    ３６０度撮影装置
１１        ワイヤレス接続部材
２、２ｂ    ネットワークアクセス空間
３、３ａ、３ｃ    電子機器
３１、３１ｂ    モバイルアプリケーションプログラム
３１１ｂ    ユーザーファンディング支援ユニット
３１２ｂメッセージ入力ユニット
３１３ｂ    支援アイコン
３１４ｂ    メッセージウィンドウ
３２        ＡＲ処理部
３３、３３ｃ    映像調整制御部材
３４ｃ        十字キー
３５ｃ        スワイプ可能な画面
４ｂ        電子製品
Ａ        視聴者
Ｂ        料理人
【図１】
0003229221.tif 000003
【図２】
0003229221.tif 000004
【図３】
0003229221.tif 000005
【図４】
0003229221.tif 000006
【図５】
0003229221.tif 000007
【図６】
0003229221.tif 000008
【図７】
0003229221.tif 000009
【図８】
0003229221.tif 000010
【図９】
0003229221.tif 000011
【図１０】
0003229221.tif 000012
【図１１】
0003229221.tif 000013
【図１２】
0003229221.tif 000014
【図１３】
0003229221.tif 000015
【図１４】
0003229221.tif 000016
【図１５】
0003229221.tif 000017
【図１６】
0003229221.tif 000018
【図１７】
0003229221.tif 000019
【図１８】
0003229221.tif 000020
【図１９】
0003229221.tif 000021