【誤訳訂正書】
【提出日】令和3年6月8日(2021.6.8)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【発明の詳細な説明】
【発明の名称】ビデオ処理方法、装置および記憶媒体
【技術分野】
【０００１】
本発明は、２０１７年９月１４日に出願された中国特許出願：出願番号２０１７１０８２９２３０．２に対して当該中国特許出願の優先権の利益を主張するものであり、ここで、援用することにより、当該中国特許出願の内容のすべてが本出願に含まれる。
【０００２】
本発明は、通信分野に関し、具体的に、ビデオ処理方法、装置および記憶媒体に関する。
【背景技術】
【０００３】
従来のビデオ会議またはモニタリングなどのビデオアプリケーションシステムは、表示スクリーンの解像度およびサイズ、会議室の物理の空間、システムのコストなどに制限されるので、同時に２つまたは３つのビデオストリーム画面しか実現することができない。システムはより多くのビデオストリームをサポートする必要があれば、解像度およびサイズが極めて大きいスクリーンまたは複数のディスプレーが必要となるか、或いは画面を縮小させて同時に複数のビデオストリームを表示する必要がある。前者は、コストが高く、後者は、解像度が低下し、いずれもユーザがビデオを自在、且つ便利に閲覧することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
関連技術におけるユーザがビデオを自在、且つ便利に閲覧することができないという問題に対して、未だ解決方案が提出されていない。
【課題を解決するための手段】
【０００５】
本発明の実施例において、関連技術におけるユーザがビデオを自在、且つ便利に閲覧することができないという問題を少なくとも解決するために、ビデオ処理方法、装置および記憶媒体が提供される。
【０００６】
本発明の一実施例によれば、
閲覧待ちの１つまたは複数のビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信することと、
前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成することと、
仮想現実／拡張現実（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ／Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、ＶＲ／ＡＲ）インタフェースにおいて前記画面レイアウトストリームを表示させることと、を含み、
前記ビデオストリームは、１つまたは複数であり、１つまたは複数の端末から得られ、
前記シーンサムネイルは、前記ＶＲ／ＡＲインタフェースにおいて表示されたシーンに基づいて生成されるものである、ビデオ処理方法が提供される。
【０００７】
一実施例において、閲覧待ちの１つまたは複数のビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信する前に、前記方法は、１つまたは複数のビデオストリームに基づいてビデオストリームサムネイルを生成すること、或いは、１つまたは複数のビデオストリームのキーフレームを取得し、前記１つまたは複数のビデオストリームのキーフレームに基づいてキーフレームサムネイルを生成することをさらに含み、１つのビデオストリームは、１つのビデオストリームサムネイルを生成し、１つのビデオストリームのキーフレームは、１つのキーフレームサムネイルを生成する。
【０００８】
一実施例において、１つまたは複数のビデオストリームのキーフレームを取得することは、ネットワーク機器において予め設定されたキーフレームキューから前記１つまたは複数のビデオストリームのキーフレームを取得することを含み、前記１つまたは複数のビデオストリームのキーフレームは、前記ネットワーク機器が前記１つまたは複数のビデオストリームをデコードする過程中において、収集されたコードワード情報および量子化パラメータ情報に基づいて生成し保存したキーフレームである。
【０００９】
一実施例において、前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成する前に、前記方法は、前記シーンサムネイルを選定する選定指令を受信することと、前記選定指令に基づいて前記シーンサムネイルを所定の倍数に拡大し、前記ＶＲ／ＡＲインタフェースにおいて表示させることと、をさらに含む。
【００１０】
一実施例において、前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成することは、前記選定指令に基づいて前記ビデオストリームサムネイルまたは前記キーフレームサムネイルの大きさを調整することと、仮想テレビのタイプを選択し、前記仮想テレビを前記シーンサムネイルにレンダリングすることと、前記シーンサムネイルの前記ＶＲ／ＡＲインタフェースにおける座標に基づき、１つまたは複数のビデオストリーム、および前記仮想テレビを前記ＶＲ／ＡＲインタフェースにレンダリングし、前記シーンサムネイルを更新することと、を含む。
【００１１】
一実施例において、前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成する前に、前記方法は、ＶＲ／ＡＲカメラで、ジェスチャーにより所定の方向に沿って形成された仮想ボックスを採集することと、計算によって前記仮想ボックスの前記ＶＲ／ＡＲインタフェースにおける座標およびサイズを得ることと、前記ＶＲ／ＡＲインタフェースにおいて前記仮想ボックスにより標識された仮想テレビをレンダリングすることと、をさらに含む。
【００１２】
一実施例において、前記方法は、ＶＲ／ＡＲカメラからフィードバックされたユーザの現在の視線方向およびリアルタイム画面のレイアウト情報を受信することと、前記レイアウト情報に基づき、前記１つまたは複数のビデオストリームのうち、各ビデオストリームにおける解像度、フレームレート、およびコードレートのうちの少なくとも１つのパラメータを調整することと、をさらに含む。
【００１３】
本発明の他の実施例によれば、ＶＲ／ＡＲ機器に適用されるビデオ処理装置であって、
閲覧待ちのビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信するように構成される第１の受信モジュールと、
前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成するように構成される第１の生成モジュールと、
ＶＲ／ＡＲインタフェースにおいて前記画面レイアウトストリームを表示させるように構成される表示モジュールと、含み、
前記ビデオストリームは、１つまたは複数であり、１つまたは複数の端末から得られ、
前記シーンサムネイルは、前記ＶＲ／ＡＲインタフェースにおいて表示されたシーンに基づいて生成されるものである、ビデオ処理装置がさらに提供される。
【００１４】
一実施例において、前記装置は、
１つまたは複数のビデオストリームに基づいてビデオストリームサムネイルを生成するように構成される第２の生成モジュール、或いは、
１つまたは複数のビデオストリームのキーフレームを取得し、前記１つまたは複数のビデオストリームのキーフレームに基づいてキーフレームサムネイルを生成するように構成される取得モジュールをさらに含み、
１つのビデオストリームは、１つのビデオストリームサムネイルを生成し、
１つのビデオストリームのキーフレームは、１つのキーフレームサムネイルを生成する。
【００１５】
一実施例において、前記取得モジュールは、さらに、ネットワーク機器において予め設定されたキーフレームキューから前記１つまたは複数のビデオストリームのキーフレームを取得するように構成され、前記１つまたは複数のビデオストリームのキーフレームは、前記ネットワーク機器が前記１つまたは複数のビデオストリームをデコードする過程中において、収集されたコードワード情報および量子化パラメータ情報に基づいて生成し保存したキーフレームである。
【００１６】
一実施例において、前記装置は、
前記シーンサムネイルを選定する選定指令を受信するように構成される第２の受信モジュールと、
前記選定指令に基づいて前記シーンサムネイルを所定の倍数に拡大し、前記ＶＲ／ＡＲインタフェースにおいて表示させるように構成される拡大モジュールと、をさらに含む。
【００１７】
一実施例において、前記第１の生成モジュールは、さらに、前記選定指令に基づいて前記ビデオストリームサムネイルまたは前記キーフレームサムネイルの大きさを調整し、仮想テレビのタイプを選択し、前記仮想テレビを前記シーンサムネイルにレンダリングし、前記シーンサムネイルの前記ＶＲ／ＡＲインタフェースにおける座標に基づき、１つまたは複数のビデオストリーム、および前記仮想テレビを前記ＶＲ／ＡＲインタフェースにレンダリングし、前記シーンサムネイルを更新するように構成される。
【００１８】
一実施例において、前記装置は、
ＶＲ／ＡＲカメラで、ジェスチャーにより所定の方向に沿って形成された仮想ボックスを採集するように構成される採集モジュールと、
計算によって前記仮想ボックスの前記ＶＲ／ＡＲインタフェースにおける座標およびサイズを得るように構成される計算モジュールと、
前記ＶＲ／ＡＲインタフェースにおいて前記仮想ボックスにより標識された仮想テレビをレンダリングするように構成されるレンダリングモジュールと、をさらに含む。
【００１９】
一実施例において、前記装置は、
ＶＲ／ＡＲカメラからフィードバックされたユーザの現在の視線方向およびリアルタイム画面のレイアウト情報を受信するように構成される第３の受信モジュールと、
前記レイアウト情報に基づき、前記１つまたは複数のビデオストリームのうち、各ビデオストリームにおける解像度、フレームレート、およびコードレートのうちの少なくとも１つのパラメータを調整するように構成される調整モジュールと、をさらに含む。
【００２０】
本発明の別の実施例によれば、記憶されたプログラムを含む記憶媒体であって、前記プログラムを実行すると、上述したいずれか一項に記載の方法を実行する、記憶媒体が提供される。
【００２１】
本発明の別の実施例によれば、プログラムを実行するために用いられるプロセッサであって、前記プログラムを実行すると、上述したいずれか一項に記載の方法を実行するプロセッサが提供される。
【発明の効果】
【００２２】
本発明の実施例によれば、閲覧待ちの１つまたは複数のビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信し、前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成し、そのうち、前記シーンサムネイルは、ＶＲ／ＡＲインタフェースにおいて表示されたシーンに基づいて生成され、前記ＶＲ／ＡＲインタフェースにおいて前記画面レイアウトストリームが表示される。仮想の複数ビデオストリーム画面のレイアウトインタフェースを提供することにより、関連技術におけるユーザがビデオを自在、且つ便利に閲覧することができないという問題を解決し、ユーザは、ハンドルまたはジェスチャーによって全レイアウトインタフェースにおける複数のビデオストリーム画面を操作するように制御することができる。
【００２３】
ここで説明される図面は、本発明をさらに理解したり、本発明の一部を構成したりするために用いられる。本発明の例示的な実施例およびその説明は、本発明を解釈するために用いられ、本発明を不適切に限定するものではない。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施例に係るビデオ処理方法のフローチャートである。
【図２】本発明の実施例に係るビデオ処理のシステムアーキテクチャ図である。
【図３】本発明の実施例に係る端末がビデオストリームを自在に選択する模式図である。
【図４】本発明の実施例に係るサーバーからすべての端末のビデオストリームサムネイルを取得するフローチャートである。
【図５】本発明の実施例に係るローカルから現在受信されたビデオストリームサムネイルを取得するフローチャートである。
【図６】本発明の実施例に係るローカルから受信されたあるビデオストリームのキーフレームを取得するフローチャートである。
【図７】本発明の実施例に係るローカルから複数受信されたビデオストリームのキーフレームを取得するフローチャートである。
【図８】本発明の実施例に係る仮想現実における複数のビデオストリームの表示およびレイアウトの形態を示すフローチャートである。
【図９】本発明の実施例に係る拡張現実における複数のビデオストリームの表示およびレイアウトの形態を示すフローチャートである。
【図１０】本発明の実施例に係る仮想現実インタフェースにおける仮想テレビの模式図である。
【図１１】本発明の実施例に係るビデオ処理装置の構造ブロック図である。
【発明を実施するための形態】
【００２５】
以下は、図面を参照し、実施例を結び付けて本発明について詳細に説明する。なお、矛盾しない前提で、本発明における実施例および実施例における特徴は、互いに組み合わせることができる。
【００２６】
なお、本発明の明細書、特許請求の範囲、および上述した図面における「第１」、「第２」などは、類似する対象を区別するために用いられるが、特定の順番または前後順番を説明するために用いられるものではない。
【００２７】
実施例１
【００２８】
本実施例においてネットワーク機器に実行されるビデオ処理方法が提供される。図１は、本発明の実施例に係るビデオ処理方法のフローチャートである。図１に示すように、当該フローは、
閲覧待ちの１つまたは複数のビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信するステップＳ１０２と、
前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成するステップＳ１０４と、
前記ＶＲ／ＡＲインタフェースにおいて前記画面レイアウトストリームを表示させるステップＳ１０６と、を含み、
前記ビデオストリームは、１つまたは複数であり、１つまたは複数の端末から得られ、
前記シーンサムネイルはＶＲ／ＡＲインタフェースに表示されたシーンに基づいて生成される。
【００２９】
上述したステップによれば、閲覧待ちの１つまたは複数のビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信し、前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成し、そのうち、前記シーンサムネイルは、仮想現実／拡張現実ＶＲ／ＡＲインタフェースにおいて表示されたシーンに基づいて生成され、前記ＶＲ／ＡＲインタフェースにおいて前記画面レイアウトストリームが表示される。仮想の複数ビデオストリーム画面のレイアウトインタフェースを提供することにより、関連技術におけるユーザがビデオを自在、且つ便利に閲覧することができないという問題を解決し、ユーザは、ハンドルまたはジェスチャーによって全レイアウトインタフェースにおける複数のビデオストリーム画面を操作するように制御することができる。
【００３０】
一実施例において、閲覧待ちの１つまたは複数のビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信する前に、前記方法は、
１つまたは複数のビデオストリームに基づいてビデオストリームサムネイルを生成すること、或いは、
１つまたは複数のビデオストリームのキーフレームを取得し、前記１つまたは複数のビデオストリームのキーフレームに基づいてキーフレームサムネイルを生成すること、をさらに含み、
１つのビデオストリームは、１つのビデオストリームサムネイルを生成し、
１つのビデオストリームのキーフレームは、１つのキーフレームサムネイルを生成する。
【００３１】
一実施例において、１つまたは複数のビデオストリームのキーフレームを取得することは、ネットワーク機器において予め設定されたキーフレームキューから前記１つまたは複数のビデオストリームのキーフレームを取得することを含んでもよく、前記１つまたは複数のビデオストリームのキーフレームは、前記ネットワーク機器が前記１つまたは複数のビデオストリームをデコードする過程中において、収集されたコードワード情報および量子化パラメータ情報に基づいて生成し保存したキーフレームである。そのうち、前記ネットワーク機器は、１つまたは複数のビデオストリームのキーフレームを提供し、サービスを取得することができる機器である。例示として、ネットワーク機器は、サーバーであってもよい。
【００３２】
一実施例において、前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成する前に、前記方法は、前記シーンサムネイルを選定する選定指令を受信することと、前記選定指令に基づいて前記シーンサムネイルを所定の倍数に拡大し、前記ＶＲ／ＡＲインタフェースにおいて表示させることと、をさらに含む。
【００３３】
一実施例において、前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成することは、
前記選定指令に基づいて前記ビデオストリームサムネイルまたは前記キーフレームサムネイルの大きさを調整することと、
仮想テレビのタイプを選択し、前記仮想テレビを前記シーンサムネイルにレンダリングすることと、
前記シーンサムネイルの前記ＶＲ／ＡＲインタフェースにおける座標に基づき、１つまたは複数のビデオストリーム、および前記仮想テレビを前記ＶＲ／ＡＲインタフェースにレンダリングし、前記シーンサムネイルを更新することと、を含む。
【００３４】
一実施例において、前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成する前に、前記方法は、
ＶＲ／ＡＲカメラで、ジェスチャーにより所定の方向に沿って形成された仮想ボックスを採集することと、
計算によって前記仮想ボックスの前記ＶＲ／ＡＲインタフェースにおける座標およびサイズを得ることと、
前記ＶＲ／ＡＲインタフェースにおいて前記仮想ボックスにより標識された仮想テレビをレンダリングすることと、をさらに含む。
【００３５】
一実施例において、前記方法は、
ＶＲ／ＡＲカメラからフィードバックされたユーザの現在の視線方向およびリアルタイム画面のレイアウト情報を受信することと、
前記レイアウト情報に基づき、前記１つまたは複数のビデオストリームのうち、各ビデオストリームにおける解像度、フレームレート、およびコードレートのうちの少なくとも１つのパラメータを調整することと、をさらに含む。
【００３６】
本発明の実施例においては、複数のビデオストリームの表示形態が提出され、仮想現実または拡張現実技術によって表示機器を仮想し、１つまたは複数のビデオストリームを受信し表示する。安価のＶＲ／ＡＲメガネにより、ユーザエクスペリエンスがよりよい複数のビデオストリームの表示を実現することができる。
【００３７】
本発明の実施例における各端末は、１つまたは複数のビデオストリームを送信することができ、受信した各ビデオストリームを制御することもできる。仮想の複数ビデオストリーム画面のレイアウトインタフェースを提供することにより、ユーザは、ハンドルまたはジェスチャーによって全レイアウトインタフェースにおける複数のビデオストリーム画面を操作するように制御することができる。ＶＲ／ＡＲの視野が広いため、画面をより便利に操作するように、ユーザは、シーンサムネイルを用いて複数のビデオストリームの全ＶＲ／ＡＲ視野における全インタフェースレイアウトを調整することができ、さらに、ビデオストリームサムネイルを用いて複数のビデオストリーム画面に対して画面の選択、画面の切り替え、ならびに画面のバックトラッキングおよび比較などの操作を行うことができる。また、システムは、眼球焦点の追跡またはユーザイベントの検出により、各ビデオストリームの符号化帯域幅を動的に調整し、全システムの伝送帯域幅を低下させる。
【００３８】
本発明の実施例においては、仮想現実／拡張現実に基づいて複数のビデオストリームを表示するシステムが提供され、各端末が１つまたは複数の端末から送信された１つまたは複数のビデオストリームを選択可能に受信することを許容し、同時に複数のビデオストリームを表示することができると共に、複数のビデオストリームに対してレイアウト、切り替え、バックトラッキングおよび比較を便利に行い、ビデオ表示システムのユーザビリティおよび没入感を向上させることができる。
【００３９】
図２は、本発明の実施例に係るビデオ処理のシステムアーキテクチャ図である。図２に示すように、主に、多重画面レイアウトモジュール２２、キーフレーム抽出モジュール２４、および帯域幅動的調整モジュール２６という３つの機能モジュールが含まれる。
【００４０】
多重画面レイアウトモジュール２２は、端末が受信した複数のビデオストリーム画面のサムネイル、またはサーバーから取得された、すべての端末が送信した複数のビデオストリーム画面のサムネイル、またはあるビデオストリームまたは複数のビデオストリームの複数のキーフレームサムネイルを生成し、ユーザにより閲覧待ちのビデオストリームまたはキーフレームを選択してシーンサムネイルにセットしてレイアウトを行い、最終にシステムによりシーンサムネイルに基づいてＶＲ／ＡＲインタフェースにおいて対応する画面レイアウトストリームを生成してユーザに表示させるように構成される。当該モジュールは、ビデオストリームサムネイル、キーフレームサムネイルおよびシーンサムネイルという３つの部分を含む。ビデオストリームサムネイルの実現ステップは、各端末における１つまたは複数のビデオストリームを取得し、ビデオストリームサムネイルを生成し、ビデオストリームサムネイルからビデオストリーム画面を選択して操作することである。
【００４１】
キーフレームサムネイルの実現ステップは、ある１つまたは複数のビデオストリームのキーフレームを取得し、キーフレームサムネイルを生成し、キーフレームサムネイルからキーフレーム画面を選択して操作することである。
【００４２】
シーンサムネイルの実現ステップは、現在のＶＲ／ＡＲインタフェースレイアウトに基づいてシーンサムネイルを生成し、ビデオストリームサムネイル、キーフレームサムネイルから表示したい画面を選択してシーンサムネイルにセットし、シーンサムネイルのレイアウトを検出し更新し、ＶＲ／ＡＲインタフェースにおける対応する位置において画面表示を行うことである。
【００４３】
キーフレーム抽出モジュール２４は、デコード過程中にコードワード、量子化パラメータなどの情報を収集し、これらの情報に基づき、現在のビデオストリームのキーフレームを生成して、対応するキーフレームキューに保存するように構成される。
【００４４】
帯域幅動的調整モジュール２６は、ユーザの眼球焦点を追跡するか、或いは現在のレイアウト位置に基づき、ユーザの注目するビデオストリームの帯域幅を向上させ、解像度、フレームレートなどのパラメータを増大させ、ユーザの注目していないビデオストリームの帯域幅を低減させ、解像度、フレームレートなどのパラメータを低減させ、全帯域幅を不変に保持する場合、最大限でユーザの視感を補強させるように構成される。当該モジュールの実現ステップは、ＶＲ／ＡＲメガネの眼球追跡機能により、ユーザの現在の視線方向を追跡しながら、ユーザがレイアウトの調整を行うか否かを検出し、眼球焦点およびリアルタイム画面レイアウトをネットワーク機器にフィードバックし、
ネットワーク機器は、端末がリアルタイムにフィードバックするレイアウト情報に基づき、各ビデオストリームの解像度、フレームレート、コードレートなどのパラメータを調整し、非注目画面の帯域幅を低下させ、注目画面の帯域幅を向上させることである。
【００４５】
本発明の実施例は、仮想現実／拡張現実技術に基づき、複数のビデオストリームの表示形態およびシステムを実現し、各端末は、閲覧待ちのビデオストリームを便利に選択し、仮想現実／拡張現実においてビデオストリーム画面レイアウトを便利に調整することができ、ビデオストリーム画面に対してバックトラッキングおよび比較を行うこともでき、且つ符号化帯域幅を著しく増加しないことを基に、各端末が１つまたは複数の端末から送信された１つまたは複数のビデオストリームを受信することを実現することができる。
【００４６】
キーフレーム抽出モジュール２４は、ビデオストリームをデコードする過程中にＭＢまたは最大の符号化ユニット（Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ、ＬＣＵ）レベルのコードワード、量子化パラメータなどの情報収集し、これらの情報に基づき、現在のビデオストリームのキーフレームを生成してキーフレームキューに保存する。
【００４７】
多重画面レイアウトモジュール２２は、まず、ＶＲ／ＡＲ視野における全インタフェースを１つのシーンサムネイルとして生成し、そして、受信したビデオストリームをビデオストリームサムネイルとして生成し、キーフレーム画面をキーフレームサムネイルとして生成する。ユーザは、自分のニーズに応じて、見たいビデオストリームおよびキーフレームをシーンサムネイルにセットしてレイアウト調整を行い、最終にシーンサムネイルのレイアウト結果をＶＲ／ＡＲ視野における全インタフェースの対応する位置において表示させる。
【００４８】
帯域幅動的調整モジュール２６は、ＶＲ／ＡＲメガネの眼球追跡機能により、ユーザの現在の視線方向を追跡する。システムは、結果をネットワーク機器にフィードバックし、ネットワーク機器は、フィードバック結果に基づいて当該端末に送信された対応するビデオストリームのフレームレート、解像度などのパラメータを調整して帯域幅を増加／低下させる。
【００４９】
図３は、本発明の実施例に係る端末がビデオストリームを自在に選択する模式図である。図３に示すように、ビデオ会議を例として、マルチポイント会議を開き、端末Ｔ１、端末Ｔ２、端末Ｔ３、端末Ｔ４という４つの端末が会議に参与する。４つの端末は、それぞれ１つまたは複数のビデオストリームを送信し、他の端末のビデオストリームを自在に選択し閲覧してもよいし、自分のビデオストリームを閲覧してもよい。例えば、端末Ｔ１は、端末Ｔ１、端末Ｔ２、端末Ｔ３、端末Ｔ４のビデオストリームを閲覧し、端末Ｔ２は、端末Ｔ１、端末Ｔ２、端末Ｔ３、端末Ｔ４のビデオストリームを閲覧し、端末Ｔ３は、端末Ｔ１、端末Ｔ２のビデオストリームを閲覧し、端末Ｔ４は、端末Ｔ１のビデオストリームを閲覧する。
【００５０】
図４は、本発明の実施例に係るサーバーからすべての端末のビデオストリームサムネイルを取得するフローチャートである。図４に示すように、
各端末は、会議に参与してビデオストリームをサーバーに送信し、サーバーは、各ビデオストリームのコードストリームにインスタントデコードリフレッシュ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ、ＩＤＲ）フレームが存在するか否かを検出し、現在のビデオストリームに新たなＩＤＲフレームが存在すれば、サーバーは、当該ＩＤＲフレームをデコードし、縮小させて現在のビデオストリームのサムネイルを得るステップ４０１と、
現在の端末は、サーバーにメッセージを送信し、サーバーからすべての端末のビデオストリームサムネイルを取得したいステップ４０２と、
サーバーは、すべての端末におけるビデオストリームのサムネイルを一定の順番で配列しレイアウトして１つの大きいサムネイル画面を形成した後、符号化して端末に送信するステップ４０３と、
現在の端末Ｔ３は、受信しデコードしてサムネイル画面を得た後、サムネイル画面における各サブ画面をトリミングし、各ビデオストリームが対応するサムネイルを得るステップ４０４と、
現在のＶＲ／ＡＲメガネにおいて表示されたシーンを縮小させてシーンサムネイルを生成するステップ４０５と、
各ビデオストリームが対応するサムネイルを適当な形態でレイアウトインタフェースに表示させながら、シーンサムネイルをレイアウトインタフェースに表示させるステップ４０６と、
ユーザは、ハンドルまたはジェスチャーなどの形態で操作し、選択したビデオストリームサムネイルをシーンサムネイルにセットして当該ビデオストリーム画面を見たいことを示し、対応する位置に表示させるステップ４０７と、
ユーザは、シーンサムネイルのレイアウトを確定した後、システムは、ＶＲ／ＡＲインタフェースにおける対応するビデオストリームの位置に表示するステップ４０８と、
ユーザは、最終の多重画面レイアウトを確定した後、システムは、ユーザが選択したビデオストリームの番号、表示したい位置、サイズなどの情報をサーバーにフィードバックし、サーバーは、上述した情報に基づいて帯域幅を動的に調整し、対応するコードストリームを現在の端末に転送するステップ４０９と、を含む。
【００５１】
図５は、本発明の実施例に係るローカルから現在受信されたビデオストリームサムネイルを取得するフローチャートである。図５に示すように、
すべてのビデオストリーム画面をローカルで取得するステップ５０１と、
システムは、ローカルで受信されたすべてのビデオストリーム画面を縮小させて各ビデオストリームのサムネイルを得るステップ５０２と、
現在のＶＲ／ＡＲメガネにおいて表示されたシーンを縮小させてシーンサムネイルを生成するステップ５０３と、
各ビデオストリームが対応するサムネイルを適当な形態でレイアウトインタフェースに表示させながら、シーンサムネイルをレイアウトインタフェースに表示させるステップ５０４と、
ユーザは、ハンドルまたはジェスチャーなどの形態で操作し、選択したビデオストリームサムネイルをシーンサムネイルにセットして当該ビデオストリーム画面を見たいことを示し、対応する位置に表示させるステップ５０５と、
ユーザは、シーンサムネイルのレイアウトを確定した後、システムは、ＶＲ／ＡＲインタフェースにおける対応するビデオストリームの位置に表示するステップ５０６と、
ユーザは、最終の多重画面レイアウトを確定した後、システムは、ユーザが選択したビデオストリームの番号、表示したい位置、サイズなどの情報をサーバーにフィードバックし、サーバーは、上述した情報に基づいて帯域幅を動的に調整し、対応するコードストリームを現在の端末に転送するステップ５０７と、を含む。
【００５２】
図６は、本発明の実施例に係るローカルから受信されたあるビデオストリームのキーフレームを取得するフローチャートである。図６に示すように、
受信されたあるビデオストリームをローカルで取得するステップ６０１と、
システムは、現在のＶＲ／ＡＲメガネにおいて表示されたシーンを縮小させてシーンサムネイルを生成するステップ６０２と、
システムは、当該１つのビデオストリームの歴史キーフレームキューから、一定の数のキーフレームを抽出してサムネイルを生成し、適当な形態でレイアウトインタフェースに表示させるステップ６０３と、
ユーザは、ハンドルまたはジェスチャーなどの形態で操作し、選択したキーフレームサムネイルをシーンサムネイルにセットして当該キーフレーム画面を見たいことを示し、対応する位置に表示させるステップ６０４と、
システムは、ユーザが設定したキーフレームのレイアウトに基づき、ＶＲ／ＡＲインタフェースにおける対応する位置に、選定されたキーフレーム画面を表示させるステップ６０５と、を含む。
【００５３】
図７は、本発明の実施例に係るローカルから複数受信されたビデオストリームのキーフレームを取得するフローチャートである。図７に示すように、
システムは、現在のＶＲ／ＡＲメガネにおいて表示されたシーンを縮小させてシーンサムネイルを生成するステップ７０１と、
システムは、当該１つのビデオストリームの歴史キーフレームキューから、一定の数のキーフレームを抽出してサムネイルを生成し、適当な形態でレイアウトインタフェースに表示させ、例えば、ビデオストリーム１のキーフレームキューから幾つかのキーフレームを抽出してビデオストリーム１のキーフレームサムネイルを生成し、レイアウトインタフェースに表示させるステップ７０２と、
ユーザは、ハンドルまたはジェスチャーなどの形態で操作し、選択したキーフレームサムネイルをシーンサムネイルにセットして当該キーフレーム画面を見たいことを示し、対応する位置に表示するステップ７０３と、
ステップ７０２〜７０３を繰り返し、ユーザは、他のビデオストリームのキーフレームサムネイルをシーンサムネイルにセットするステップ７０４と、
システムは、ユーザが設定したキーフレームのレイアウトに基づき、ＶＲ／ＡＲインタフェースにおける対応する位置に、選定されたキーフレーム画面を表示させるステップ７０５と、を含む。
【００５４】
図８は、本発明の実施例に係る仮想現実における複数のビデオストリームの表示およびレイアウトの形態を示すフローチャートである。図８に示すように、
全ＶＲ視野における３Ｄシーンサムネイルを、一定の割合でユーザのＶＲ視野における真正面であるがユーザの視線を影響しない位置に表示させるステップ８０１と、
ユーザは、シーンサムネイルを選定し、サムネイルを操作しやすいサイズまでに拡大し、レイアウトインタフェースに表示させるステップ８０２と、
ユーザは、上述した方法に応じて、ビデオストリームサムネイルを取得するステップ８０３と、
ユーザは、見たいビデオストリームのサムネイルをシーンサムネイルにおける適当な位置にドラッグするステップ８０４と、
ユーザは、シーンサムネイルの参照物に基づき、ビデオストリームサムネイルの位置およびサイズを調整し、当該ビデオストリームを放送する仮想テレビのタイプ（例えば、平面テレビ、曲面テレビなどである。図１０は、仮想テレビの例であり、２つの曲面テレビおよび１つの平面テレビを含む。）を選択するステップ８０５と、
ユーザが見たいすべてのビデオストリームをシーンサムネイルにドラッグして調整を完了したまで、ユーザは、上述したステップ８０３〜８０５を繰り返し、調整完了を確定するステップ８０６と、
シーンサムネイルを更新し、仮想テレビをシーンサムネイルにレンダリングするステップ８０７と、
システムは、シーンサムネイルとＶＲ視野の座標関係に基づき、ビデオストリームおよび仮想テレビをＶＲ視野にレンダリングするステップ８０８と、
シーンサムネイルを更新し縮小させ、ユーザの視線を影響しない位置にリアルタイム表示させるステップ８０９と、を含む。
【００５５】
図９は、本発明の実施例に係る拡張現実における複数のビデオストリームの表現およびレイアウトの形態を示すフローチャートである。図９に示すように、
ユーザは、ジェスチャーによって空中で１つのボックスを描き、ＡＲメガネのカメラは、ユーザの動作を採集するステップ９０１と、
ＡＲメガネは、計算分析により、ＡＲ座標系に対するユーザが描いたボックスの座標およびサイズを得、ＡＲメガネにおいて当該ボックスにより標識された１つの仮想テレビをレンダリングするステップ９０２と、
ユーザは、上述した方法に応じて、１つのビデオストリームのサムネイルを選択するステップ９０３と、
ユーザは、見たいビデオストリームのサムネイルを仮想テレビにドラッグするステップ９０４と、
ユーザは、ビデオストリームのサムネイルのサイズおよび位置を調整し、仮想テレビのタイプを選択する（例えば、平面テレビ、曲面テレビなどである。図１０は、本発明の実施例に係る仮想現実インタフェースにおける仮想テレビの模式図であり、図１０に示すように、２つの曲面テレビと、１つの平面テレビとが含まれる。）ステップ９０５と、
ユーザが見たいすべてのビデオストリームに対してサイズおよび位置を調整したまで、ユーザは、上述したステップ９０１〜９０５を繰り返し、調整完了を確定するステップ９０６と、
ＡＲメガネは、仮想テレビの座標およびサイズに基づいてユーザが選択したビデオストリームをレンダリングし放送するステップ９０７と、を含む。
【００５６】
上述した実施形態の説明により、当業者にとっては、上述した実施例に係る方法は、ソフトウェアプラス必要となる汎用ハードウェアプラットフォームの形態で実現されてもよく、もちろんハードウェアで実現されてもよいが、多数の場合で、前者がより良い実施形態であることをはっきりと知ることができる。このような理解を基に、本発明の技術方案、或いは従来技術に貢献する部分は、実質的に、ソフトウェア製品の形態で表現されてもよい。当該コンピュータソフトウェア製品は、１つの記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、コンパクトディスク）に記憶され、１台の端末機器（携帯電話、コンピュータ、サーバー、またはネットワーク機器などであってもよい）が本発明の各実施例に記載される方法を実行するために用いられる幾つかの指令を含む。
【００５７】
実施例２
【００５８】
本実施例は、ビデオ処理装置をさらに提供する。当該装置は、上述した実施例および好ましい実施形態を実現するために用いられ、既に説明されたものについて繰り返し説明しない。以下に用いられる「モジュール」という用語とは、所定の機能を実現できるソフトウェアおよび／またはハードウェアの組合せを指す。以下の実施例に記載される装置は、ソフトウェアで実現されることが好ましいが、ハードウェア、またはソフトウェアとハードウェアの組合せによる実現は、可能で、構想されるものである。
【００５９】
本発明の他の実施例によれば、ビデオ処理装置がさらに提供される。図１１は、本発明の実施例に係るビデオ処理装置の構造ブロック図である。図１１に示すように、ＶＲ／ＡＲ機器に適用される当該装置は、
閲覧待ちのビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信するように構成される第１の受信モジュール１１２と、
前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成するように構成される第１の生成モジュール１１４と、
ＶＲ／ＡＲインタフェースにおいて前記画面レイアウトストリームを表示させるように構成される表示モジュール１１６と、を含み、
前記ビデオストリームは、１つまたは複数であり、１つまたは複数の端末から得られ、
前記シーンサムネイルは、前記ＶＲ／ＡＲインタフェースにおいて表示されたシーンに基づいて生成される。
【００６０】
一実施例において、前記装置は、
１つまたは複数のビデオストリームに基づいてビデオストリームサムネイルを生成するように構成される第２の生成モジュール、或いは、
１つまたは複数のビデオストリームのキーフレームを取得し、前記１つまたは複数のビデオストリームのキーフレームに基づいてキーフレームサムネイルを生成するように構成される取得モジュールをさらに含み、
１つのビデオストリームは、１つのビデオストリームサムネイルを生成し、
１つのビデオストリームのキーフレームは、１つのキーフレームサムネイルを生成する。
【００６１】
一実施例において、前記取得モジュールは、ネットワーク機器において予め設定されたキーフレームキューから前記１つまたは複数のビデオストリームのキーフレームを取得するように構成され、
前記１つまたは複数のビデオストリームのキーフレームは、前記ネットワーク機器が前記１つまたは複数のビデオストリームをデコードする過程中において、収集されたコードワード情報および量子化パラメータ情報に基づいて生成し保存したキーフレームである。
【００６２】
一実施例において、前記装置は、
前記シーンサムネイルを選定する選定指令を受信するように構成される第２の受信モジュールと、
前記選定指令に基づいて前記シーンサムネイルを所定の倍数に拡大し、前記ＶＲ／ＡＲインタフェースにおいて表示させるように構成される拡大モジュールと、をさらに含む。
【００６３】
一実施例において、前記第１の生成モジュールは、さらに、前記選定指令に基づいて前記ビデオストリームサムネイルまたは前記キーフレームサムネイルの大きさを調整し、仮想テレビのタイプを選択し、前記仮想テレビを前記シーンサムネイルにレンダリングし、前記シーンサムネイルの前記ＶＲ／ＡＲインタフェースにおける座標に基づき、１つまたは複数のビデオストリーム、および前記仮想テレビを前記ＶＲ／ＡＲインタフェースにレンダリングし、前記シーンサムネイルを更新するように構成される。
【００６４】
一実施例において、前記装置は、
ＶＲ／ＡＲカメラで、ジェスチャーにより所定の方向に沿って形成された仮想ボックスを採集するように構成される採集モジュールと、
計算によって前記仮想ボックスの前記ＶＲ／ＡＲインタフェースにおける座標およびサイズを得るように構成される計算モジュールと、
前記ＶＲ／ＡＲインタフェースにおいて前記仮想ボックスにより標識された仮想テレビをレンダリングするように構成されるレンダリングモジュールと、をさらに含む。
【００６５】
一実施例において、前記装置は、
ＶＲ／ＡＲカメラからフィードバックされたユーザの現在の視線方向およびリアルタイム画面のレイアウト情報を受信するように構成される第３の受信モジュールと、
前記レイアウト情報に基づき、前記１つまたは複数のビデオストリームのうち、各ビデオストリームにおける解像度、フレームレート、およびコードレートのうちの少なくとも１つのパラメータを調整するように構成される調整モジュールと、をさらに含む。
【００６６】
なお、上述した各モジュールは、ソフトウェアまたはハードウェアにより実現され、後者に対しては、上述したモジュールがそれぞれ同一のプロセッサに位置するか、或いは上述した各モジュールがいずれの組合せの形態でそれぞれ異なるプロセッサに位置するように実現されてもよいが、それに限定されない。
【００６７】
実施例３
【００６８】
本発明の実施例は、記憶されたプログラムを含む記憶媒体であって、上記プログラムを実行すると、上述したいずれか一項に記載の方法を実行する記憶媒体をさらに提供する。
【００６９】
好ましくは、本実施例において、上述した記憶媒体は、閲覧待ちの１つまたは複数のビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信するステップと、前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成するステップと、仮想現実／拡張現実ＶＲ／ＡＲインタフェースにおいて前記画面レイアウトストリームを表示させるステップとを実行するためのプログラムコードを記憶するように構成され、そのうち、前記ビデオストリームは、１つまたは複数であり、１つまたは複数の端末から得られ、前記シーンサムネイルは、前記ＶＲ／ＡＲインタフェースにおいて表示されたシーンに基づいて生成されるものである。
【００７０】
好ましくは、本実施例において、上述した記憶媒体は、Ｕフラッシュドライブ、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）、モバイルハードディスク、磁気ディスクまたはコンパクトディスクなどのプログラムコードを記憶可能な媒体を含んでもよいが、それに限定されない。
【００７１】
実施例４
【００７２】
本発明の実施例は、プログラムを実行するために用いられプロセッサであって、当該プログラムを実行すると、上述したいずれか一項の方法におけるステップを実行するプロセッサをさらに提供する。
【００７３】
好ましくは、本実施例において、上述したプログラムは、閲覧待ちの１つまたは複数のビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信するステップと、前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成するステップと、仮想現実／拡張現実ＶＲ／ＡＲインタフェースにおいて前記画面レイアウトストリームを表示させるステップとを実行するために用いられ、そのうち、前記ビデオストリームは、１つまたは複数であり、１つまたは複数の端末から得られ、前記シーンサムネイルは、前記ＶＲ／ＡＲインタフェースにおいて表示されたシーンに基づいて生成されるものである。
【００７４】
好ましくは、本実施例における具体的な例示は、上述した実施例および好ましい実施形態に記載される例示を参照してもよく、ここで本実施例を繰り返し説明しない。
【００７５】
明らかに、当業者であれば、上述した本発明の各モジュールまたは各ステップは、汎用の計算装置により実現されてもよく、これらは単一の計算装置に集積されてもよいか、或いは２つの計算装置からなるネットワークに分布されてもよい。好ましくは、これらは計算装置の実行可能プログラムコードで実現されてもよいことで、記憶装置に記憶されて計算装置により実行されてもよいと共に、ある場合に、ここでの順番と異なるもので、示されているか或いは記載されているステップを実行してもよく、或いはこれらをそれぞれ各集積回路モジュールとして製作し、或いはこれらうちの２つのモジュールまたはステップを単一の集積回路モジュールとして製作することにより実現されてもよいことを理解すべきである。このように、本発明は、いずれの特定のハードウェアとソフトウェアとの組合せに限定されない。
【００７６】
以上の説明は、本発明の好ましい実施例に過ぎず、本発明を限定するためのものではない。当業者にとって、本発明は、様々な変更および変化を行うことができる。本発明の原則以内に行われるいずれの修正、等価置換、改良などは、本発明の保護範囲に含まれるべきである。
【誤訳訂正２】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
閲覧待ちの１つまたは複数のビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信することと、
前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成することと、
仮想現実／拡張現実（ＶＲ／ＡＲ）インタフェースにおいて前記画面レイアウトストリームを表示させることと、を含み、
前記ビデオストリームは、１つまたは複数であり、１つまたは複数の端末から得られ、
前記シーンサムネイルは、前記ＶＲ／ＡＲインタフェースにおいて表示されたシーンに基づいて生成されるものである、ビデオ処理方法。
【請求項２】
閲覧待ちの１つまたは複数のビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信する前に、前記ビデオ処理方法は、
１つまたは複数のビデオストリームに基づいてビデオストリームサムネイルを生成すること、或いは、
１つまたは複数のビデオストリームのキーフレームを取得し、前記１つまたは複数のビデオストリームのキーフレームに基づいてキーフレームサムネイルを生成すること、をさらに含み、
１つのビデオストリームは、１つのビデオストリームサムネイルを生成し、
１つのビデオストリームのキーフレームは、１つのキーフレームサムネイルを生成する、請求項１に記載のビデオ処理方法。
【請求項３】
１つまたは複数のビデオストリームのキーフレームを取得することは、
ネットワーク機器において予め設定されたキーフレームキューから前記１つまたは複数のビデオストリームのキーフレームを取得することを含み、
前記１つまたは複数のビデオストリームのキーフレームは、前記ネットワーク機器が前記１つまたは複数のビデオストリームをデコードする過程中において、収集されたコードワード情報および量子化パラメータ情報に基づいて生成し保存したキーフレームである、請求項２に記載のビデオ処理方法。
【請求項４】
前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成する前に、前記ビデオ処理方法は、
前記シーンサムネイルを選定する選定指令を受信することと、
前記選定指令に基づいて前記シーンサムネイルを所定の倍数に拡大し、前記ＶＲ／ＡＲインタフェースにおいて表示させることと、をさらに含む、請求項１に記載のビデオ処理方法。
【請求項５】
前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成することは、
前記選定指令に基づいて前記ビデオストリームサムネイルまたは前記キーフレームサムネイルの大きさを調整することと、
仮想テレビのタイプを選択し、前記仮想テレビを前記シーンサムネイルにレンダリングすることと、
前記シーンサムネイルの前記ＶＲ／ＡＲインタフェースにおける座標に基づき、１つまたは複数のビデオストリーム、および前記仮想テレビを前記ＶＲ／ＡＲインタフェースにレンダリングし、前記シーンサムネイルを更新することと、を含む、請求項４に記載のビデオ処理方法。
【請求項６】
前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成する前に、前記ビデオ処理方法は、
ＶＲ／ＡＲカメラで、ジェスチャーにより所定の方向に沿って形成された仮想ボックスを採集することと、
計算によって前記仮想ボックスの前記ＶＲ／ＡＲインタフェースにおける座標およびサイズを得ることと、
前記ＶＲ／ＡＲインタフェースにおいて前記仮想ボックスにより標識された仮想テレビをレンダリングすることと、をさらに含む、請求項５に記載のビデオ処理方法。
【請求項７】
前記ビデオ処理方法は、
ＶＲ／ＡＲカメラからフィードバックされたユーザの現在の視線方向およびリアルタイム画面のレイアウト情報を受信することと、
前記レイアウト情報に基づき、前記１つまたは複数のビデオストリームのうち、各ビデオストリームにおける解像度、フレームレート、およびコードレートのうちの少なくとも１つのパラメータを調整することと、をさらに含む、請求項１〜６のいずれか一項に記載のビデオ処理方法。
【請求項８】
仮想現実／拡張現実（ＶＲ／ＡＲ）機器に適用されるビデオ処理装置であって、
閲覧待ちのビデオストリームまたはビデオストリームのキーフレームを選定する選定指令を受信するように構成される第１の受信モジュールと、
前記選定指令に基づき、前記ビデオストリームが生成したビデオストリームサムネイルまたは前記キーフレームが生成したキーフレームサムネイルをシーンサムネイルにセットして画面レイアウトストリームを生成するように構成される第１の生成モジュールと、
前記ＶＲ／ＡＲインタフェースにおいて前記画面レイアウトストリームを表示させるように構成される表示モジュールと、含み、
前記ビデオストリームは、１つまたは複数であり、１つまたは複数の端末から得られ、
前記シーンサムネイルは、前記ＶＲ／ＡＲインタフェースにおいて表示されたシーンに基づいて生成されるものである、ビデオ処理装置。
【請求項９】
前記ビデオ処理装置は、
１つまたは複数のビデオストリームに基づいてビデオストリームサムネイルを生成するように構成される第２の生成モジュール、或いは、
１つまたは複数のビデオストリームのキーフレームを取得し、前記１つまたは複数のビデオストリームのキーフレームに基づいてキーフレームサムネイルを生成するように構成される取得モジュールをさらに含み、
１つのビデオストリームは、１つのビデオストリームサムネイルを生成し、
１つのビデオストリームのキーフレームは、１つのキーフレームサムネイルを生成する、請求項８に記載のビデオ処理装置。
【請求項１０】
前記取得モジュールは、さらに、ネットワーク機器において予め設定されたキーフレームキューから前記１つまたは複数のビデオストリームのキーフレームを取得するように構成され、
前記１つまたは複数のビデオストリームのキーフレームは、前記ネットワーク機器が前記１つまたは複数のビデオストリームをデコードする過程中において、収集されたコードワード情報および量子化パラメータ情報に基づいて生成し保存したキーフレームである、請求項９に記載のビデオ処理装置。
【請求項１１】
前記ビデオ処理装置は、
前記シーンサムネイルを選定する選定指令を受信するように構成される第２の受信モジュールと、
前記選定指令に基づいて前記シーンサムネイルを所定の倍数に拡大し、前記ＶＲ／ＡＲインタフェースにおいて表示させるように構成される拡大モジュールと、をさらに含む、請求項８に記載のビデオ処理装置。
【請求項１２】
前記第１の生成モジュールは、さらに、
前記選定指令に基づいて前記ビデオストリームサムネイルまたは前記キーフレームサムネイルの大きさを調整し、
仮想テレビのタイプを選択し、前記仮想テレビを前記シーンサムネイルにレンダリングし、
前記シーンサムネイルの前記ＶＲ／ＡＲインタフェースにおける座標に基づき、１つまたは複数のビデオストリーム、および前記仮想テレビを前記ＶＲ／ＡＲインタフェースにレンダリングし、前記シーンサムネイルを更新するように構成される、請求項１１に記載のビデオ処理装置。
【請求項１３】
前記ビデオ処理装置は、
ＶＲ／ＡＲカメラで、ジェスチャーにより所定の方向に沿って形成された仮想ボックスを採集するように構成される採集モジュールと、
計算によって前記仮想ボックスの前記ＶＲ／ＡＲインタフェースにおける座標およびサイズを得るように構成される計算モジュールと、
前記ＶＲ／ＡＲインタフェースにおいて前記仮想ボックスにより標識された仮想テレビをレンダリングするように構成されるレンダリングモジュールと、をさらに含む、請求項１２に記載のビデオ処理装置。
【請求項１４】
前記ビデオ処理装置は、
ＶＲ／ＡＲカメラからフィードバックされたユーザの現在の視線方向およびリアルタイム画面のレイアウト情報を受信するように構成される第３の受信モジュールと、
前記レイアウト情報に基づき、前記１つまたは複数のビデオストリームのうち、各ビデオストリームにおける解像度、フレームレート、およびコードレートのうちの少なくとも１つのパラメータを調整するように構成される調整モジュールと、をさらに含む、請求項８〜１３のいずれか一項に記載のビデオ処理装置。
【請求項１５】
記憶されたプログラムを含むコンピュータ可読記憶媒体であって、
プロセッサにより前記プログラムを実行すると、請求項１〜７のいずれか一項に記載のビデオ処理方法を実行する、記憶媒体。
【請求項１６】
プログラムを実行するために用いられるプロセッサであって、
前記プログラムを実行すると、請求項１〜７のいずれか一項に記載のビデオ処理方法を実行する、プロセッサ。
【誤訳訂正３】
【訂正対象書類名】図面
【訂正対象項目名】図１
【訂正方法】変更
【訂正の内容】
【図１】
2020527883.tif 000001
【誤訳訂正４】
【訂正対象書類名】図面
【訂正対象項目名】図４
【訂正方法】変更
【訂正の内容】
【図４】
2020527883.tif 000002
【誤訳訂正５】
【訂正対象書類名】図面
【訂正対象項目名】図５
【訂正方法】変更
【訂正の内容】
【図５】
2020527883.tif 000003
【誤訳訂正６】
【訂正対象書類名】図面
【訂正対象項目名】図６
【訂正方法】変更
【訂正の内容】
【図６】
2020527883.tif 000004
【誤訳訂正７】
【訂正対象書類名】図面
【訂正対象項目名】図７
【訂正方法】変更
【訂正の内容】
【図７】
2020527883.tif 000005
【誤訳訂正８】
【訂正対象書類名】図面
【訂正対象項目名】図８
【訂正方法】変更
【訂正の内容】
【図８】
2020527883.tif 000006