(57)【特許請求の範囲】
【請求項１】
シンクライアントデバイスによるデスクトップクラウドベースのメディア制御方法であって、
クラウドサーバと通信するステップであって、前記クラウドサーバは、前記シンクライアントデバイスのために対応するクラウドデスクトップを構築し、前記シンクライアントデバイスは、前記クラウドデスクトップを使用して前記クラウドサーバにアクセスする、ステップと、
前記シンクライアントデバイスに接続されている周辺機器からマルチメディアデータストリームを取得するステップと、
前記マルチメディアデータストリームを復号し、復号したマルチメディアデータストリームを表示するステップと、
前記クラウドサーバによって送信された制御命令を受信し、前記制御命令に従って前記表示されているマルチメディアデータストリームについての対応する制御操作を行うステップであって、前記制御命令は前記クラウドデスクトップを使用して前記クラウドサーバにユーザによって配信された命令である、ステップとを含む、方法。
【請求項２】
前記復号したマルチメディアデータストリームを表示するステップは、
表示ウィンドウの位置を決定するステップであって、前記表示ウィンドウは前記復号したマルチメディアデータストリームを表示するために使用され、前記表示ウィンドウの前記位置はマルチメディア表示エリアに対応しており、前記マルチメディア表示エリアは前記クラウドデスクトップ上のマルチメディアデータストリームを表示するためのエリアである、ステップと、
前記表示ウィンドウを使用して前記復号したマルチメディアデータストリームを表示するステップとを含む、請求項1に記載の方法。
【請求項３】
前記表示ウィンドウの位置を決定するステップは、
前記クラウドデスクトップ上の前記マルチメディア表示エリアについての、前記クラウドサーバによって送信された位置情報を受信するステップと、
前記表示ウィンドウの前記位置が前記クラウドデスクトップ上の前記マルチメディア表示エリアの位置と同一となるように、前記マルチメディア表示エリアの前記位置情報に従って前記表示ウィンドウの前記位置を決定するステップとを含む、請求項2に記載の方法。
【請求項４】
前記クラウドサーバによって送信された制御命令を受信し、前記制御命令に従って前記表示されているマルチメディアデータストリームについての対応する制御操作を行うステップは、
前記クラウドサーバによって送信されたウィンドウ調整命令を受信するステップと、
前記ウィンドウ調整命令に従って前記表示ウィンドウを調整するステップとを含む、請求項3に記載の方法。
【請求項５】
前記クラウドサーバによって送信された制御命令を受信し、前記制御命令に従って前記表示されているマルチメディアデータストリームについての対応する制御操作を行うステップは、
前記クラウドサーバによって送信された第1の操作命令を受信するステップと、
前記第1の操作命令に従って第1のマルチメディアデータサブストリームを決定するステップと、
前記第1のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得するステップと、
前記クラウドサーバに前記マルチメディアファイルを送信するステップとを含む、請求項4に記載の方法。
【請求項６】
前記クラウドサーバによって送信された制御命令を受信し、前記制御命令に従って前記表示されているマルチメディアデータストリームについての対応する制御操作を行うステップは、
前記クラウドサーバによって送信された第2の操作命令を受信するステップと、
前記第2の操作命令に従って第2のマルチメディアデータサブストリームを決定するステップと、
前記クラウドサーバが前記第2のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得することができるように、前記クラウドサーバに前記第2のマルチメディアデータサブストリームを送信するステップとを含む、請求項4に記載の方法。
【請求項７】
前記方法は、
マルチメディアプラグインを設定するステップをさらに含み、
前記マルチメディアデータストリームを表示するステップは、
前記マルチメディアプラグインを使用して前記マルチメディアデータストリームを表示するステップを含み、
前記クラウドサーバによって送信された制御命令を受信するステップは、
前記マルチメディアプラグインを使用して、前記クラウドサーバによって送信された前記制御命令を受信するステップを含む、請求項1から6のいずれか一項に記載の方法。
【請求項８】
シンクライアントデバイスであって、
クラウドサーバと通信するように構成される、通信インターフェースであって、前記クラウドサーバは、前記シンクライアントデバイスのために対応するクラウドデスクトップを構築し、前記シンクライアントデバイスは、前記クラウドデスクトップを使用して前記クラウドサーバにアクセスする、通信インターフェースと、
前記シンクライアントデバイスに接続されている周辺機器からマルチメディアデータストリームを取得するように構成される、取得ユニットと、
前記取得ユニットによって取得した前記マルチメディアデータストリームを復号し、復号したマルチメディアデータストリームを表示するように構成される、表示ユニットであって、
前記取得ユニットは、前記クラウドサーバによって送信された制御命令を受信するようにさらに構成される、表示ユニットと、
前記取得ユニットによって受信した前記制御命令に従って前記表示されているマルチメディアデータストリームについての対応する制御操作を行うように構成される、処理ユニットであって、
前記制御命令は前記クラウドデスクトップを使用して前記クラウドサーバにユーザによって配信された命令である、処理ユニットとを備える、シンクライアントデバイス。
【請求項９】
前記表示ユニットは、表示ウィンドウの位置を決定し、前記表示ウィンドウを使用して前記復号したマルチメディアデータストリームを表示するように特に構成され、
前記表示ウィンドウは前記復号したマルチメディアデータストリームを表示するために使用され、前記表示ウィンドウの前記位置はマルチメディア表示エリアに対応しており、前記マルチメディア表示エリアは前記クラウドデスクトップ上のマルチメディアデータストリームを表示するためのエリアである、請求項8に記載のシンクライアントデバイス。
【請求項１０】
前記表示ユニットは、前記クラウドデスクトップ上の前記マルチメディア表示エリアについての、前記クラウドサーバによって送信された位置情報を受信し、前記表示ウィンドウの前記位置が前記クラウドデスクトップ上の前記マルチメディア表示エリアの位置と同一となるように、前記マルチメディア表示エリアの前記位置情報に従って前記表示ウィンドウの前記位置を決定するように特に構成される、請求項9に記載のシンクライアントデバイス。
【請求項１１】
前記取得ユニットは、前記クラウドサーバによって送信されたウィンドウ調整命令を受信するようにさらに構成され、
前記処理ユニットは、前記ウィンドウ調整命令に従って前記表示ウィンドウを調整するようにさらに構成される、請求項9または10に記載のシンクライアントデバイス。
【請求項１２】
前記取得ユニットは、前記クラウドサーバによって送信された第1の操作命令であって、前記第1の操作命令は前記クラウドデスクトップを使用して前記クラウドサーバに前記ユーザによって配信された命令である、第1の操作命令を受信するようにさらに構成され、
前記処理ユニットは、前記取得ユニットによって取得した前記第1の操作命令に従って第1のマルチメディアデータサブストリームを決定し、前記第1のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得するようにさらに構成され、
前記シンクライアントデバイスは、前記クラウドサーバに前記処理ユニットによって取得した前記マルチメディアファイルを送信するように構成される、第1の送信ユニットをさらに備える、請求項8から11のいずれか一項に記載のシンクライアントデバイス。
【請求項１３】
前記取得ユニットは、前記クラウドサーバによって送信された第2の操作命令であって、前記第2の操作命令は前記クラウドデスクトップを使用して前記クラウドサーバに前記ユーザによって配信された命令である、第2の操作命令を受信するようにさらに構成され、
前記処理ユニットは、前記第2の操作命令に従って第2のマルチメディアデータサブストリームを決定するようにさらに構成され、
前記シンクライアントデバイスは、前記クラウドサーバが前記第2のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得することができるように、前記クラウドサーバに前記処理ユニットによって決定された前記第2のマルチメディアデータサブストリームを送信するように構成される、第2の送信ユニットをさらに備える、請求項8から11のいずれか一項に記載のシンクライアントデバイス。
【請求項１４】
前記処理ユニットは、
マルチメディアプラグインを設定するようにさらに構成され、
前記表示ユニットは、前記処理ユニットによって設定された前記マルチメディアプラグインを使用して前記マルチメディアデータストリームを表示するように特に構成され、
前記取得ユニットは、前記処理ユニットによって設定された前記マルチメディアプラグインを使用して、前記クラウドサーバによって送信された前記制御命令を受信するように特に構成される、請求項8から13のいずれか一項に記載のシンクライアントデバイス。
【請求項１５】
シンクライアントデバイスであって、
プロセッサと、通信インターフェースと、メモリと、通信バスとを備え、前記プロセッサと、前記通信インターフェースと、前記メモリとは、前記通信バスを使用して相互通信を達成し、
前記メモリは、プログラムコードであって、コンピュータ操作命令を含む、プログラムコードを記憶するように構成され、
前記プロセッサは、前記プログラムコードを実行して、
クラウドサーバと通信するステップであって、前記クラウドサーバは、前記シンクライアントデバイスのために対応するクラウドデスクトップを構築し、前記シンクライアントデバイスは、前記クラウドデスクトップを使用して前記クラウドサーバにアクセスする、ステップと、
前記シンクライアントデバイスに接続されている周辺機器からマルチメディアデータストリームを取得するステップと、
前記マルチメディアデータストリームを復号し、マルチメディアデータストリームを表示し、クラウドサーバによって送信された制御命令であって、前記制御命令はクラウドデスクトップを使用して前記クラウドサーバにユーザによって配信された命令である、制御命令を受信し、前記制御命令に従って前記表示されているマルチメディアデータストリームについての対応する制御操作を行うステップとを行う、シンクライアントデバイス。
【請求項１６】
コンピュータに請求項1から7のいずれか一項に記載の方法を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、その全体が参照により本明細書に組み込まれている、2013年9月13日に中国特許庁に出願した、「DESKTOP-CLOUD-BASED MEDIA CONTROL METHOD AND DEVICE」と題する、中国特許出願第201310418721.Xに対する優先権を主張する。
【０００２】
本発明は、デスクトップクラウドアプリケーションの分野に関し、詳細には、デスクトップクラウドベースのメディア制御方法およびデバイスに関する。
【背景技術】
【０００３】
デスクトップクラウド適用シナリオにおいて、ユーザは、シンクライアントを使用してクラウドサーバにアクセスし得るし、クラウドサーバは、対応するクラウドデスクトップをシンクライアントに提供し、ユーザは、シンクライアント使用してクラウドデスクトップにアクセスしてクロスプラットフォームアプリケーションプログラムへのアクセスを実施する。すなわち、あるシンクライアントデバイスだけがまたはネットワークに接続され得る任意の他のデバイスが必要となり、クラウドサーバによってシンクライアントに提供されているクラウドデスクトップおよびクラウドサーバによってシンクライアントに提供されている様々なアプリケーションは、専用のプログラムまたはブラウザを使用してアクセスされ得る。
【０００４】
従来技術では、シンクライアントは、マルチメディア周辺機器(カメラまたはマイクロフォンなど)に外部接続され、マルチメディア周辺機器を使用してマルチメディアデータストリームを取得し得るし、静止画面画像、マウスデバイスデータ、キーボードデータ、およびマルチメディア周辺機器を使用して取得されるマルチメディアデータストリームが、シンクライアントとクラウドサーバとの間で伝送され得るし、ここで、マルチメディアデータストリームは、ビデオデータストリームまたはオーディオデータストリームであり得る。マルチメディアデータストリームの伝送に関して、シンクライアントは、クラウドサーバにマルチメディアデータストリームを伝送し、クラウドサーバは、マルチメディアデータストリームを復号してシンクライアントに復号したマルチメディアデータストリームを伝送し、シンクライアントは、復号したマルチメディアデータストリームを表示する。加えて、ユーザが表示されているマルチメディアデータストリームについての制御(例えば、ビデオの録画)を行う必要がある場合には、ユーザは、クラウドデスクトップを使用してクラウドサーバに制御命令を送信し、クラウドサーバは、制御命令に従ってマルチメディアデータストリームについての処理を行う。
【０００５】
マルチメディアデータストリームがシンクライアントによってクラウドサーバに伝送され、クラウドサーバによって復号され、その後、シンクライアントによって表示されるためにシンクライアントに伝送される必要があることが、前述から学び取れるであろう。マルチメディアデータストリームの伝送プロセスは大幅な帯域幅を一般的に占有するので、例えば、高解像度マルチメディアカメラの適用シナリオに関しては、シンクライアントとクラウドサーバとの間で送信されるビデオの帯域幅は、マルチメディアデータストリームの滑らかな伝送を保証するためには20Mbps以上が必要となる。低帯域幅の状況では、遅延が、マルチメディアデータストリームの伝送において発生し得るし、マルチメディアデータストリームが表示されている際には明らかな一時的中断が生じる、そのことが、ユーザエクスペリエンスを低減している。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の実施形態は、マルチメディアデータストリームの制御プロセスにおけるマルチメディアデータストリームの伝送によって占有される帯域幅を低減する、デスクトップクラウドベースのメディア制御方法およびデバイスを提供している。
【０００７】
前述の目的を実現するために、以下の技術的解決手法を本発明の実施形態において使用する。
【０００８】
第1の態様によれば、デスクトップクラウドベースのメディア制御方法を提供しており、デスクトップクラウドベースのメディア制御方法は、
クライアントによって、マルチメディアデータストリームを取得するステップであって、クライアントはデスクトップクラウドシナリオを適用されたクライアントを含み、デスクトップクラウドシナリオにおいて、クラウドサーバは、クライアントのために対応するクラウドデスクトップを構築し、クライアントは、クラウドデスクトップを使用してクラウドサーバにアクセスする、ステップと、
クライアントによって、マルチメディアデータストリームを表示するステップと、
クライアントによって、クラウドサーバによって送信された制御命令を受信し、制御命令に従って、表示されているマルチメディアデータストリームについての対応する制御操作を行うステップであって、制御命令はクラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令である、ステップ。
【０００９】
第1の態様の第1の可能な実施様態においては、クライアントによって、マルチメディアデータストリームを表示するステップは、
クライアントによって、マルチメディアデータストリームを復号し、復号したマルチメディアデータストリームを表示するステップを含む。
【００１０】
第1の態様の第1の可能な実施様態に準拠している、第2の可能な実施様態においては、復号したマルチメディアデータストリームを表示するステップは、
表示ウィンドウの位置を決定するステップであって、表示ウィンドウは復号したマルチメディアデータストリームを表示するために使用され、表示ウィンドウの位置はマルチメディア表示エリアに対応しており、マルチメディア表示エリアはクラウドデスクトップ上のマルチメディアデータストリームを表示するためのエリアである、ステップと、
表示ウィンドウを使用して復号したマルチメディアデータストリームを表示するステップとを含む。
【００１１】
第1の態様の第2の可能な実施様態に準拠している、第3の可能な実施様態においては、表示ウィンドウの位置を決定するステップは、
クラウドデスクトップ上のマルチメディア表示エリアについての、クラウドサーバによって送信された位置情報を受信するステップと、
表示ウィンドウの位置がクラウドデスクトップ上のマルチメディア表示エリアの位置と同一となるように、マルチメディア表示エリアの位置情報に従って表示ウィンドウの位置を決定するステップとを含む。
【００１２】
第1の態様の第2の可能な実施様態または第3の可能な実施様態に準拠している、第4の可能な実施様態においては、クラウドサーバによって送信された制御命令を受信し、制御命令に従って、表示されているマルチメディアデータストリームについての対応する制御操作を行うステップは、
クラウドサーバによって送信されたウィンドウ調整命令を受信するステップと、
ウィンドウ調整命令に従って表示ウィンドウを調整するステップとを含む。
【００１３】
第1の態様の第1の態様から第4の可能な実施様態のうちのいずれか1つに準拠している、第5の可能な実施様態においては、クラウドサーバによって送信された制御命令を受信し、制御命令に従って、表示されているマルチメディアデータストリームについての対応する制御操作を行うステップは、
クラウドサーバによって送信された第1の操作命令を受信するステップと、
第1の操作命令に従って第1のマルチメディアデータサブストリームを決定するステップと、
第1のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得するステップと、
クラウドサーバにマルチメディアファイルを送信するステップとを含む。
【００１４】
第1の態様または第1の態様の第1から第4の可能な実施様態のうちのいずれか1つに準拠している、第6の可能な実施様態においては、クラウドサーバによって送信された制御命令を受信し、制御命令に従って、表示されているマルチメディアデータストリームについての対応する制御操作を行うステップは、
クラウドサーバによって送信された第2の操作命令を受信するステップと、
第2の操作命令に従って第2のマルチメディアデータサブストリームを決定するステップと、
クラウドサーバが第2のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得することができるように、クラウドサーバに第2のマルチメディアデータサブストリームを送信するステップとを含む。
【００１５】
第1の態様または第1の態様の第1から第6の可能な実施様態のうちのいずれか1つに準拠している、第7の可能な実施様態においては、方法は、
マルチメディアプラグインを設定するステップをさらに含み、
クライアントによって、マルチメディアデータストリームを表示するステップは、
マルチメディアプラグインを使用してマルチメディアデータストリームを表示するステップを含み、
クラウドサーバによって送信された制御命令を受信するステップは、
マルチメディアプラグインを使用して、クラウドサーバによって送信された制御命令を受信するステップを含む。
【００１６】
第2の態様によれば、クライアントを提供しており、クライアントは、
マルチメディアデータストリームを取得するように構成される、取得ユニットであって、クライアントはデスクトップクラウドシナリオを適用されたクライアントを含み、デスクトップクラウドシナリオにおいて、クラウドサーバは、クライアントのために対応するクラウドデスクトップを構築し、クライアントは、クラウドデスクトップを使用してクラウドサーバにアクセスする、取得ユニットと、
取得ユニットによって取得したマルチメディアデータストリームを表示するように構成される、表示ユニットであって、
取得ユニットは、クラウドサーバによって送信された制御命令を受信するようにさらに構成される、表示ユニットと、
取得ユニットによって受信した制御命令に従って、表示されているマルチメディアデータストリームについての対応する制御操作を行うように構成される、処理ユニットであって、
制御命令はクラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令である、処理ユニットとを備える。
【００１７】
第2の態様の第1の可能な実施様態においては、表示ユニットは、取得ユニットによって取得したマルチメディアデータストリームを復号し、復号したマルチメディアデータストリームを表示するように特に構成される。
【００１８】
第2の態様の第1の可能な実施様態に準拠している、第2の可能な実施様態においては、表示ユニットは、表示ウィンドウの位置を決定し、表示ウィンドウを使用して復号したマルチメディアデータストリームを表示するように特に構成され、
表示ウィンドウは復号したマルチメディアデータストリームを表示するために使用され、表示ウィンドウの位置はマルチメディア表示エリアに対応しており、マルチメディア表示エリアはクラウドデスクトップ上のマルチメディアデータストリームを表示するためのエリアである。
【００１９】
第2の態様の第2の可能な実施様態に準拠している、第3の可能な実施様態においては、表示ユニットは、クラウドデスクトップ上のマルチメディア表示エリアについての、クラウドサーバによって送信された位置情報を受信し、表示ウィンドウの位置がクラウドデスクトップ上のマルチメディア表示エリアの位置と同一となるように、マルチメディア表示エリアの位置情報に従って表示ウィンドウの位置を決定するように特に構成される。
【００２０】
第2の態様の第2の可能な実施様態または第3の可能な実施様態に準拠している、第4の可能な実施様態においては、取得ユニットは、クラウドサーバによって送信されたウィンドウ調整命令を受信するようにさらに構成され、
処理ユニットは、ウィンドウ調整命令に従って表示ウィンドウを調整するようにさらに構成される。
【００２１】
第2の態様または第2の態様の第1から第4の可能な実施様態のうちのいずれか1つに準拠している、第5の可能な実施様態においては、取得ユニットは、クラウドサーバによって送信された第1の操作命令であって、第1の操作命令はクラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令である、第1の操作命令を受信するようにさらに構成され、
処理ユニットは、取得ユニットによって取得した第1の操作命令に従って第1のマルチメディアデータサブストリームを決定し、第1のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得するようにさらに構成され、
クライアントは、クラウドサーバに処理ユニットによって取得したマルチメディアファイルを送信するように構成される、第1の送信ユニットをさらに備える。
【００２２】
第2の態様から第2の態様の第4の可能な実施様態に準拠している、第6の可能な実施様態においては、取得ユニットは、クラウドサーバによって送信された第2の操作命令であって、第2の操作命令はクラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令である、第2の操作命令を受信するようにさらに構成され、
処理ユニットは、第2の操作命令に従って第2のマルチメディアデータサブストリームを決定するようにさらに構成され、
クライアントは、クラウドサーバが第2のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得することができるように、クラウドサーバに処理ユニットによって決定された第2のマルチメディアデータサブストリームを送信するように構成される、第2の送信ユニットをさらに備える。
【００２３】
第2の態様または第2の態様の第1から第6の可能な実施様態のうちのいずれか1つに準拠している、第7の可能な実施様態においては、処理ユニットは、
マルチメディアプラグインを設定するようにさらに構成され、
表示ユニットは、処理ユニットによって設定されたマルチメディアプラグインを使用してマルチメディアデータストリームを表示するように特に構成され、
取得ユニットは、処理ユニットによって設定されたマルチメディアプラグインを使用して、クラウドサーバによって送信された制御命令を受信するように特に構成される。
【００２４】
前述の解決手法を使用して、クライアントは、マルチメディアデータストリームを取得し、マルチメディアデータストリームを復号し、復号したマルチメディアデータストリームを表示し、クラウドサーバから受信した制御命令を使用して表示されているマルチメディアデータストリームについての制御を実施する。このように、クライアントは、クラウドサーバにマルチメディアデータストリームをもはや送信する必要が無くなり、その代わりに、クライアントが、取得したマルチメディアデータストリームを直接復号し、制御命令だけがクライアントとサーバとの間で伝送される、それによって、メディア制御プロセスにおけるマルチメディアデータストリームの伝送によって占有される帯域幅を低減し、マルチメディアデータストリームが表示されている際に生じる明らかな一時的中断を解消し、ユーザエクスペリエンスを改善している。
【００２５】
本発明の実施形態または従来技術における技術的解決手法をより明確に記載するために、実施形態を記載するために必要となる添付の図面を以下に簡潔に紹介する。以下の記載における添付の図面は本発明の一部の実施形態を示しているにすぎず、当業者が創造的努力なしにこれらの添付の図面から他の図面をさらに導出し得ることは明らかであろう。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態によるデスクトップクラウドベースのメディア制御システムの図である。
【図２】本発明の実施形態によるデスクトップクラウドベースのメディア制御方法の概略フローチャートである。
【図３】本発明の実施形態による別のデスクトップクラウドベースのメディア制御方法の概略フローチャートである。
【図４】本発明の実施形態によるクライアントの概略構造図である。
【図５】本発明の実施形態による別のクライアントの概略構造図である。
【図６】本発明の実施形態による別のクライアントの概略構造図である。
【図７】本発明の実施形態による別のクライアントの概略構造図である。
【発明を実施するための形態】
【００２７】
本発明の実施形態における添付の図面を参照して、本発明の実施形態における技術的解決手法を以下に明確かつ完全に記載する。記載した実施形態が本発明の実施形態のすべてではなく一部にすぎないことは明らかであろう。創造的努力なしに本発明の実施形態に基づいて当業者によって得られる他の実施形態のすべては、本発明の保護範囲に含まれるものとする。
【００２８】
本発明の以下の実施形態をデスクトップクラウドシナリオにおけるメディア制御に基づいて記載する、ここで、デスクトップクラウドシナリオは、リモートデスクトップシナリオまたは仮想デスクトップシナリオであってもよく、デスクトップクラウドシナリオにおいて、クラウドサーバは、クライアントのために対応するクラウドデスクトップを構築し、クライアントは、クラウドデスクトップを使用してクラウドサーバにアクセスする。図1に示したように、デスクトップクラウドシナリオは、
シンクライアント11に接続され、マルチメディアデータストリームをシンクライアントに提供する、周辺機器10と、
クラウドサーバ12に接続され、取得したマルチメディアデータストリームを復号して復号したマルチメディアデータストリームを表示するように構成され、サーバによって送信された制御命令を受信し、制御命令に従って復号したマルチメディアデータストリームの表示を制御するようにさらに構成される、シンクライアント11と、
仮想マシン121を含むクラウドサーバ12であって、クラウドサーバがシンクライアントに仮想マシンを割り振り、仮想マシンは、クラウドデスクトップをシンクライアントに提供するために使用され、クラウドサーバおよびシンクライアントがリモートデスクトップ伝送プロトコルを使用してデータ伝送を行い、ユーザによって配信された制御命令を受信し、シンクライアントに制御命令を送信するためにさらに使用される、クラウドサーバ12とを含む。
【００２９】
本発明の実施形態は、デスクトップクラウドベースのメディア制御方法を提供している。図2に示したように、方法はクライアントによって実行され、方法は以下を含む。
【００３０】
S201. クライアントが、マルチメディアデータストリームを取得する。
【００３１】
クライアントはデスクトップクラウドシナリオを適用されたクライアントを含み、デスクトップクラウドシナリオにおいて、クラウドサーバは、クライアントのために対応するクラウドデスクトップを構築し、クライアントは、クラウドデスクトップを使用してクラウドサーバにアクセスする。
【００３２】
特に、クライアントは、デスクトップクラウドシナリオを適用されたクライアントを含む、例えば、クライアントは、シンクライアントであってもよい。シンクライアントは、既存のクライアント-サーバネットワークシステムにおけるアプリケーションプログラムを有していないコンピュータ端末を指す。シンクライアントは、いくつかのプロトコルを使用してサーバと通信し、その後、ローカルエリアネットワークにアクセスする。シンクライアントは、処理のために、マウスデバイスおよびキーボードを使用してデータ入力をサーバに伝送する。その後、サーバは、処理結果をクライアントに返送する。
【００３３】
さらに、クライアントは、マルチメディア周辺機器(カメラまたはマイクロフォンなど)に外部接続されていてもよく、クライアントは、マルチメディア周辺機器を使用してマルチメディアデータストリームを取得する。
【００３４】
例えば、マルチメディア周辺機器がカメラである場合には、カメラは、マルチメディアデータストリームを使用してクライアントに撮影動画ビデオを送信する。
【００３５】
S202. クライアントが、マルチメディアデータストリームを表示する。
【００３６】
特に、クライアントは、マルチメディアデータストリームを復号し、復号したマルチメディアデータストリームを表示する。
【００３７】
特に、クライアントは、表示ウィンドウの位置を決定し、表示ウィンドウを使用して復号したマルチメディアデータストリームを表示する。
【００３８】
表示ウィンドウは復号したマルチメディアデータストリームを表示するために使用され、表示ウィンドウの位置はマルチメディア表示エリアに対応しており、マルチメディア表示エリアはクラウドデスクトップ上のマルチメディアデータストリームを表示するためのエリアである。
【００３９】
本発明の可能な実施様態においては、クライアントは、クラウドデスクトップ上のマルチメディア表示エリアについての、クラウドサーバによって送信された位置情報を受信し、表示ウィンドウの位置がクラウドデスクトップ上のマルチメディア表示エリアの位置と同一となるように、マルチメディア表示エリアの位置情報に従って表示ウィンドウの位置を決定する。
【００４０】
クラウドサーバは、デスクトップクラウドプラットフォームの仮想化サーバ、すなわち、複数の仮想マシンをシミュレートする物理コンピュータであってもよく、各仮想マシンは、1つのクライアントに対応している。クラウドサーバは、クラウドデスクトップをクライアントに提供することを担当しており、ユーザは、クラウドデスクトップを使用してクラウドサーバ内の対応する仮想マシンにアクセスして、ネットワークリソースにアクセスすることまたはアプリケーションデータを保存することなどの操作を実施し得る。
【００４１】
特に、クライアントによって表示されているクラウドデスクトップを使用してユーザによって配信された初期化命令を受信した後に、クラウドサーバは、クライアントにマルチメディア表示エリアの位置情報を送信し、クライアントは、位置情報に従って表示ウィンドウの位置を決定する。
【００４２】
一例として、ユーザがクラウドデスクトップを使用してクラウドサーバにビデオアプリケーションプログラムに関する起動命令を送信した後に、クラウドサーバは、起動命令に従って対応するビデオアプリケーションプログラムを起動する。この場合には、クラウドサーバは、クライアントにクラウドデスクトップ上のビデオ表示エリア(すなわち、マルチメディア表示エリア)の位置情報を送信し、例えば、クラウドサーバは、クライアントにクラウドデスクトップ上のビデオ表示エリアの座標情報を送信してもよく、位置情報を受信した後に、クライアントは、位置情報に従ってクラウドデスクトップ上のビデオ表示エリアの位置を決定する、それによって、表示ウィンドウの位置がクラウドデスクトップ上のビデオ表示エリアの位置であることを決定している。すなわち、表示ウィンドウは、クラウドデスクトップ上のビデオ表示エリアをカバーしており、ユーザにとって、クライアントによって表示されているクラウドデスクトップを使用して、表示ウィンドウおよびクラウドデスクトップが同一平面にあるようにユーザには見える。
【００４３】
S203. クライアントが、クラウドサーバによって送信された制御命令を受信し、制御命令に従って、表示されているマルチメディアデータストリームについての対応する制御操作を行う。
【００４４】
制御命令はクラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令であり、制御命令は、ウィンドウ調整命令および操作命令を含む。
【００４５】
さらに、クライアントは、マルチメディアプラグインを用いて設定されるとともに、クライアントは、マルチメディアプラグインを使用してマルチメディアデータストリームを表示し、マルチメディアプラグインを使用して、クラウドサーバによって送信された制御命令を受信し、制御命令に従って、表示されているマルチメディアデータストリームについての対応する制御操作を行う。
【００４６】
特に、マルチメディアプラグインは、クライアントがマルチメディアプラグインを使用して復号したマルチメディアデータストリームを表示することができるように、取得したマルチメディアデータストリームを復号することができる。ユーザによって配信された制御命令を取得した後に、クラウドサーバは、クラウドサーバにおいて設定されているプラグインを使用して、クライアントにおいて設定されているマルチメディアプラグインに制御命令を送信してもよく、クライアントは、設定されているマルチメディアプラグインを使用して、クラウドサーバによって送信された制御命令を受信して、マルチメディアプラグインを使用して、表示されている復号したマルチメディアデータストリームについての対応する制御操作を行う。
【００４７】
このように、クライアント内のマルチメディアプラグインが、取得したマルチメディアデータストリームを復号および表示しているので、クラウドサーバにおいて設定されているプラグインは、クライアント内のマルチメディアプラグインに制御命令を送信して、表示されているマルチメディアデータストリームについての制御を実施することだけが必要となる。すなわち、クラウドサーバ内のプラグインは、クライアントから受信したマルチメディアデータストリームを復号することなどの操作を行う必要は無くなり、マルチメディアデータストリームを取得した後に、クライアントは、クラウドサーバにマルチメディアデータストリームを送信する必要も無くなり、その代わりに、クライアントにおいて設定されているマルチメディアプラグインが、取得したマルチメディアデータストリームを復号および表示して、クラウドサーバ内のプラグインは、クライアント内のマルチメディアプラグインに制御命令を送信するだけで、もはやマルチメディアデータストリームを復号することなどの操作を行わない。制御命令の伝送によって占有される帯域幅はマルチメディアデータストリームの伝送によって占有される帯域幅より少ないため、メディア制御プロセスにおけるマルチメディアデータストリームの伝送によって占有される帯域幅は低減される。
【００４８】
本発明の本実施形態の可能な実施様態においては、クライアントは、受信したウィンドウ調整命令に従って対応する操作を行い、ウィンドウを調整する。
【００４９】
特に、クライアントは、クラウドサーバによって送信されたウィンドウ調整命令を受信し、ウィンドウ調整命令に従って表示ウィンドウを調整する。
【００５０】
さらに、ユーザが表示ウィンドウについての操作を行う必要がある場合には、クライアントは、クラウドサーバによって送信されたウィンドウ調整命令を受信し、ウィンドウ調整命令に従って表示ウィンドウについての対応する操作を行う。
【００５１】
ウィンドウ調整命令は、クラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令であり、ウィンドウ調整命令は、ドラッグ命令、ウィンドウ拡大命令、またはウィンドウ縮小命令であってもよく、ここで、ドラッグ命令は表示ウィンドウの位置を変更するための命令であってもよく、ウィンドウ拡大命令は現在の表示ウィンドウのサイズを増大させるための命令であってもよく、ウィンドウ縮小命令は現在の表示ウィンドウのサイズを低減するための命令であってもよい。
【００５２】
例えば、ユーザが現在の表示ウィンドウのサイズを増大させることを決定した場合には、ユーザは、マウスデバイスなどの入力デバイスを使用して、クライアントによって表示されているクラウドデスクトップ上の表示ウィンドウの境界線をドラッグしてもよく、それによって、クラウドサーバにウィンドウ拡大命令を配信し、その後、ウィンドウ拡大命令を受信した後に、クラウドサーバは、ウィンドウ拡大命令に従ってマルチメディア表示エリアのサイズを増大し、クライアントにウィンドウ拡大命令を送信する、その結果、クライアントがウィンドウ拡大命令に従って表示ウィンドウのサイズを増大することが可能となり、それによって、マルチメディア表示エリアと表示ウィンドウとの同期拡大を保証している。前述において記載したウィンドウ拡大命令は、図に関する例示にすぎず、限定を意図していない。本発明の本実施形態におけるウィンドウ調整命令はさらに、ドラッグ命令またはウィンドウ縮小命令であってもよく、そのことについての具体的な実施様態は、ウィンドウ拡大命令に関する前述の記載と類似しており、本明細書に再び記載することはしない。
【００５３】
本発明の本実施形態の別の可能な実施様態においては、クライアントが操作命令を受信した後に、方法は、以下の2つの実施様態を含んでいてもよい。
【００５４】
様式1: クライアントが、クラウドサーバによって送信された第1の操作命令を受信し、第1の操作命令に従って第1のマルチメディアデータサブストリームを決定するとともに、クライアントが、第1のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得し、クラウドサーバにマルチメディアファイルを送信する。
【００５５】
第1の操作命令は、クラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令である、例えば、第1の操作命令は、撮影命令または録画命令であってもよい。
【００５６】
一例として、マルチメディアデータストリームがビデオデータストリームである例示を説明のために使用する。ユーザは、クライアントによってユーザに表示されているクラウドデスクトップを使用してクラウドサーバに録画命令を配信し、クラウドサーバは、クライアントに録画命令を送信し、クライアントは、録画命令に従って第1のマルチメディアデータサブストリームを決定する。例えば、ユーザは、クライアントによってユーザに表示されているクラウドデスクトップを使用してクラウドサーバに録画開始命令を配信し、クラウドサーバは、クライアントに録画開始命令を送信し、クライアントは、録画開始命令に従ってビデオの録画を実行することを開始して、クライアントが録画終了命令を受信するまでビデオの録画を実行することを停止しない、ここで、録画されているビデオに対応するビデオデータストリームは、前述の第1のマルチメディアデータサブストリームであり、クライアントは、ビデオデータストリームを符号化して対応するビデオデータファイル(すなわち、前述のマルチメディアファイル)を取得して、クラウドサーバにビデオデータファイルを送信し、ビデオデータファイルを受信した後に、クラウドサーバは、ビデオデータファイルを保存してもよい。
【００５７】
様式2: クライアントが、クラウドサーバによって送信された第2の操作命令を受信し、第2の操作命令に従って第2のマルチメディアデータサブストリームを決定し、クラウドサーバが第2のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得することができるように、クラウドサーバに第2のマルチメディアデータサブストリームを送信する。
【００５８】
第2の操作命令は、クラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令である、例えば、第2の操作命令は、撮影命令または録画命令であってもよい。
【００５９】
一例として、マルチメディアデータストリームがビデオデータストリームである例示を説明のために使用する。ユーザは、クライアントによってユーザに表示されているクラウドデスクトップを使用してクラウドサーバに録画命令を配信し、クラウドサーバは、クライアントに録画命令を送信し、クライアントは、録画命令に従って第2のマルチメディアデータサブストリームを決定する。例えば、ユーザは、クライアントによってユーザに表示されているクラウドデスクトップを使用してクラウドサーバに録画開始命令を配信し、クラウドサーバは、クライアントに録画開始命令を送信し、クライアントは、録画開始命令に従ってビデオの録画を実行することを開始して、クライアントが録画終了命令を受信するまでビデオの録画を実行することを停止せず、ここで、録画されているビデオに対応するビデオデータストリームは、前述の第2のマルチメディアデータサブストリームであり、クライアントは、クラウドサーバに第2のマルチメディアデータサブストリームを送信し、クラウドサーバは、ビデオデータストリームを符号化して対応するビデオデータファイル(すなわち、前述のマルチメディアファイル)を取得し、ビデオデータファイルを受信した後に、クラウドサーバは、ビデオデータファイルを保存してもよい。例示的な記載を本明細書において与えただけであり、限定を意図していない。
【００６０】
前述の様式1と様式2との違いは次の通りであり、様式1では、クライアントがマルチメディアデータサブストリームを符号化してクラウドサーバに符号化したマルチメディアデータサブストリームを送信しており、様式2では、クライアントがクラウドサーバにマルチメディアデータサブストリームに送信して、クラウドサーバがマルチメディアデータサブストリームを符号化していることが、前述から学び取れるであろう。
【００６１】
様式1では、クライアントによってクラウドサーバに送信される符号化したマルチメディアデータサブストリームによって占有される帯域幅は、符号化する前にマルチメディアデータサブストリームによって占有されるものより少なく、したがって、伝送プロセスにおいて占有される帯域幅が低減されており、様式2では、クライアントがクラウドサーバにマルチメディアデータサブストリームを送信し、クラウドサーバがマルチメディアデータサブストリームを符号化しており、クライアントがクラウドサーバにマルチメディアデータサブストリームを送信した後は、クラウドサーバは、クライアントによって表示されるようにするためにクライアントへの符号化したマルチメディアデータサブストリームをもはや送信する必要が無くなり、したがって、占有される帯域幅も低減されていることに留意されたい。
【００６２】
加えて、前述の操作命令および制御命令のインタラクションは、クラウドサーバに存在しクライアントに対応している仮想マシンを使用して、クラウドサーバとクライアントとの間で実施される。
【００６３】
実行の主体がクライアントである前述の解決手法を使用して、クライアントは、クラウドサーバにマルチメディアデータストリームをもはや送信する必要が無くなり、その代わりに、クライアントが、取得したマルチメディアデータストリームを直接復号する、それによって、マルチメディアデータストリームの表示プロセスにおけるマルチメディアデータストリームの伝送によって占有される帯域幅を低減し、マルチメディアデータストリームが表示されている際に生じる明らかな一時的中断を解消し、ユーザエクスペリエンスを改善している。
【００６４】
本発明の実施形態は、デスクトップクラウドベースのメディア制御方法を提供している。図3に示したように、本発明の本実施形態におけるクライアントは、シンクライアントであってもよく、方法は以下を含む。
【００６５】
S301. シンクライアントが、マルチメディアデータストリームを取得する。
【００６６】
クライアントはデスクトップクラウドシナリオを適用されたクライアントを含み、デスクトップクラウドシナリオにおいて、クラウドサーバは、クライアントのために対応するクラウドデスクトップを構築し、クライアントは、クラウドデスクトップを使用してクラウドサーバにアクセスする。
【００６７】
特に、シンクライアントは、マルチメディア周辺機器(カメラまたはマイクロフォンなど)に外部接続されていてもよく、シンクライアントは、マルチメディア周辺機器を使用してマルチメディアデータストリームを取得する。
【００６８】
例えば、マルチメディア周辺機器がカメラである場合には、カメラは、マルチメディアデータストリームを使用してシンクライアントに撮影動画ビデオを送信する。
【００６９】
S302. マルチメディアデータストリームを受信した後に、シンクライアントが、マルチメディアデータストリームを復号し、復号したマルチメディアデータストリームに対応する表示ウィンドウの位置を決定する。
【００７０】
表示ウィンドウは復号したマルチメディアデータストリームを表示するために使用され、表示ウィンドウの位置はマルチメディア表示エリアに対応しており、マルチメディア表示エリアはクラウドデスクトップ上のマルチメディアデータストリームを表示するためのエリアである。
【００７１】
特に、シンクライアントによって表示されているクラウドデスクトップを使用してユーザによって配信された初期化命令を受信した後に、クラウドサーバは、シンクライアントにマルチメディア表示エリアの位置情報を送信し、シンクライアントは、表示ウィンドウの位置がクラウドデスクトップ上のマルチメディア表示エリアの位置と同一となるように、マルチメディア表示エリアの位置情報に従って表示ウィンドウの位置を決定する。
【００７２】
一例として、ユーザがクラウドデスクトップを使用してクラウドサーバにビデオアプリケーションプログラムに関する起動命令を送信した後に、クラウドサーバは、起動命令に従って対応するビデオアプリケーションプログラムを起動する。この場合には、クラウドサーバは、シンクライアントにクラウドデスクトップ上のビデオ表示エリア(すなわち、マルチメディア表示エリア)の位置情報を送信し、例えば、クラウドサーバは、シンクライアントにクラウドデスクトップ上のビデオ表示エリアの座標情報を送信してもよく、位置情報を受信した後に、シンクライアントは、位置情報に従ってクラウドデスクトップ上のビデオ表示エリアの位置を決定する、それによって、表示ウィンドウの位置がクラウドデスクトップ上のビデオ表示エリアの位置であることを決定している。すなわち、表示ウィンドウは、クラウドデスクトップ上のビデオ表示エリアをカバーしており、ユーザにとって、シンクライアントによって表示されているクラウドデスクトップを使用して、表示ウィンドウおよびクラウドデスクトップが同一平面にあるようにユーザには見える。
【００７３】
S303. シンクライアントが、表示ウィンドウを使用して復号したマルチメディアデータストリームを表示する。
【００７４】
特に、ユーザが表示ウィンドウについての制御操作を行う必要がある場合には、以下のステップS304からステップS305を行う。
【００７５】
シンクライアントは、マルチメディアプラグインを用いて設定されるとともに、シンクライアントは、マルチメディアプラグインを使用してマルチメディアデータストリームを表示し、マルチメディアプラグインを使用して、クラウドサーバによって送信された制御命令を受信し、制御命令に従って、表示されているマルチメディアデータストリームについての対応する制御操作を行うことに留意されたい。
【００７６】
特に、マルチメディアプラグインは、シンクライアントがマルチメディアプラグインを使用して復号したマルチメディアデータストリームを表示することができるように、取得したマルチメディアデータストリームを復号することができる。ユーザによって配信された制御命令を取得した後に、クラウドサーバは、クラウドサーバにおいて設定されているプラグインを使用して、シンクライアントにおいて設定されているマルチメディアプラグインに制御命令を送信してもよく、シンクライアントは、設定されているマルチメディアプラグインを使用して、クラウドサーバによって送信された制御命令を受信して、マルチメディアプラグインを使用して、表示されている復号したマルチメディアデータストリームについての対応する制御操作を行う。
【００７７】
このように、シンクライアント内のマルチメディアプラグインが、取得したマルチメディアデータストリームを復号および表示しているので、クラウドサーバにおいて設定されているプラグインは、シンクライアント内のマルチメディアプラグインに制御命令を送信して、表示されているマルチメディアデータストリームについての制御を実施することだけが必要となる。すなわち、クラウドサーバ内のプラグインは、シンクライアントから受信したマルチメディアデータストリームを復号することなどの操作を行う必要は無くなり、マルチメディアデータストリームを取得した後に、シンクライアントは、クラウドサーバにマルチメディアデータストリームをもはや送信する必要も無くなり、その代わりに、シンクライアントにおいて設定されているマルチメディアプラグインが、取得したマルチメディアデータストリームを復号および表示して、クラウドサーバ内のプラグインは、シンクライアント内のマルチメディアプラグインに制御命令を送信するだけで、もはやマルチメディアデータストリームを復号することなどの操作を行わない。制御命令の伝送によって占有される帯域幅はマルチメディアデータストリームの伝送によって占有される帯域幅より少ないため、メディア制御プロセスにおけるマルチメディアデータストリームの伝送によって占有される帯域幅は低減される。
【００７８】
S304. シンクライアントが、クラウドサーバによって送信されたウィンドウ調整命令を受信する。
【００７９】
ウィンドウ調整命令は、クラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令であり、ウィンドウ調整命令は、ドラッグ命令、ウィンドウ拡大命令、またはウィンドウ縮小命令であってもよく、ここで、ドラッグ命令は表示ウィンドウの位置を変更するための命令であってもよく、ウィンドウ拡大命令は現在の表示ウィンドウのサイズを増大させるための命令であってもよく、ウィンドウ縮小命令は現在の表示ウィンドウのサイズを低減するための命令であってもよい。
【００８０】
S305. シンクライアントが、ウィンドウ調整命令に従って表示ウィンドウを調整する。
【００８１】
例えば、ユーザが現在の表示ウィンドウのサイズを増大させることを決定した場合には、ユーザは、マウスデバイスなどの入力デバイスを使用して、シンクライアントによって表示されているクラウドデスクトップ上の表示ウィンドウの境界線をドラッグしてもよく、それによって、クラウドサーバにウィンドウ拡大命令を配信し、その後、ウィンドウ拡大命令を受信した後に、クラウドサーバは、ウィンドウ拡大命令に従ってマルチメディア表示エリアのサイズを増大し、シンクライアントにウィンドウ拡大命令を送信する、その結果、シンクライアントがウィンドウ拡大命令に従って表示ウィンドウのサイズを増大することが可能となり、それによって、マルチメディア表示エリアと表示ウィンドウとの同期拡大を保証している。前述において記載したウィンドウ拡大命令は、図に関する例示にすぎず、限定を意図していない。本発明の本実施形態におけるウィンドウ調整命令はさらに、ドラッグ命令またはウィンドウ縮小命令であってもよく、そのことについての具体的な実施様態は、ウィンドウ拡大命令に関する前述の記載と類似しており、本明細書に再び記載することはしない。
【００８２】
必要に応じて、ユーザが、マルチメディアデータストリームの一部についての制御操作を行うことを決定した(例えば、ユーザが、ビデオデータストリームに対応するビデオからのビデオファイルの一部を録画する必要がある、またはオーディオデータストリームに対応するオーディオからのオーディオファイルの一部を録音する必要がある)場合には、以下のステップS306からステップS308を行う。
【００８３】
S306. シンクライアントが、クラウドサーバによって送信された操作命令を受信し、操作命令に従ってマルチメディアデータサブストリームを決定する。
【００８４】
操作命令は、クラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令である、例えば、操作命令は、撮影命令または録画命令であってもよい。
【００８５】
S307. シンクライアントが、マルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得し、クラウドサーバにマルチメディアファイルを送信する。
【００８６】
S308. クラウドサーバが、マルチメディアファイルを保存する。
【００８７】
例えば、ユーザは、シンクライアントによってユーザに表示されているクラウドデスクトップを使用してクラウドサーバに録画開始命令を配信し、クラウドサーバは、シンクライアントに録画開始命令を送信し、シンクライアントは、録画開始命令に従ってビデオの録画を実行することを開始し、クライアントが録画終了命令を受信するまでビデオの録画を実行することを停止せず、ここで、録画されているビデオに対応するビデオデータストリームは、前述のマルチメディアデータサブストリームであり、シンクライアントは、ビデオデータストリームを符号化して対応するビデオデータファイル(すなわち、前述のマルチメディアファイル)を取得して、クラウドサーバにビデオデータファイルを送信し、クラウドサーバは、ビデオデータファイルを保存する。
【００８８】
当然のことながら、クラウドサーバによって送信された操作命令を受信した後に、シンクライアントはまた、操作命令に従ってマルチメディアデータサブストリームを決定し、クラウドサーバがマルチメディアデータストリームを符号化して対応するマルチメディアファイルを取得するとともにマルチメディアファイルを保存することができるように、クラウドサーバにマルチメディアデータサブストリームを送信してもよい。
【００８９】
例えば、ユーザは、シンクライアントによってユーザに表示されているクラウドデスクトップを使用してクラウドサーバに録画開始命令を配信し、クラウドサーバは、シンクライアントに録画開始命令を送信し、シンクライアントは、録画開始命令に従ってビデオの録画を実行することを開始し、クライアントが録画終了命令を受信するまでビデオの録画を実行することを停止せず、ここで、録画されているビデオに対応するビデオデータストリームは、前述の第2のマルチメディアデータサブストリームであり、シンクライアントは、クラウドサーバに第2のマルチメディアデータサブストリームを送信し、クラウドサーバは、ビデオデータストリームを符号化して対応するビデオデータファイル(すなわち、前述のマルチメディアファイル)を取得して、クラウドサーバにビデオデータファイルを送信し、クラウドサーバは、ビデオデータファイルを保存する。例示的な記載を本明細書において与えただけであり、限定を意図していない。
【００９０】
前述の解決手法を使用して、シンクライアントは、クラウドサーバにマルチメディアデータストリームをもはや送信する必要が無くなり、その代わりに、シンクライアントが、取得したマルチメディアデータストリームを直接復号する、それによって、マルチメディアデータストリームの表示プロセスにおけるマルチメディアデータストリームの伝送によって占有される帯域幅を低減し、マルチメディアデータストリームが表示されている際に生じる明らかな一時的中断を解消し、ユーザエクスペリエンスを改善している。
【００９１】
前述の方法の実施形態に関して、記載を簡潔にするために、直列の動作の組合せを記載していることに留意されたい。しかしながら、当業者は、記載した動作シーケンスによって本発明が限定されないことを理解すべきである。加えて、当業者はまた、本明細書に記載のすべての実施形態は例示的な実施形態であり、関連する動作およびモジュールが本発明にとって必ずしも必須ではないことを理解すべきである。
【００９２】
本発明の実施形態は、クライアント40を提供している。図4に示したように、クライアント40は、取得ユニット41、表示ユニット42、および処理ユニット43を備える。
【００９３】
取得ユニット41は、マルチメディアデータストリームを取得するように構成される。
【００９４】
クライアントはデスクトップクラウドシナリオを適用されたクライアントを含み、デスクトップクラウドシナリオにおいて、クラウドサーバは、クライアントのために対応するクラウドデスクトップを構築し、クライアントは、クラウドデスクトップを使用してクラウドサーバにアクセスする。
【００９５】
表示ユニット42は、取得ユニット41によって取得したマルチメディアデータストリームを表示するように構成される。
【００９６】
取得ユニット41は、クラウドサーバによって送信された制御命令を受信するようにさらに構成される。
【００９７】
処理ユニット43は、取得ユニットによって受信した制御命令に従って、表示されているマルチメディアデータストリームについての対応する制御操作を行うように構成される。
【００９８】
必要に応じて、表示ユニット42は、取得ユニットによって取得したマルチメディアデータストリームを復号し、復号したマルチメディアデータストリームを表示するように特に構成される。
【００９９】
必要に応じて、表示ユニット42は、表示ウィンドウの位置を決定し、表示ウィンドウを使用して復号したマルチメディアデータストリームを表示するように特に構成される。
【０１００】
表示ウィンドウは復号したマルチメディアデータストリームを表示するために使用され、表示ウィンドウの位置はマルチメディア表示エリアに対応しており、マルチメディア表示エリアはクラウドデスクトップ上のマルチメディアデータストリームを表示するためのエリアである。
【０１０１】
さらに、表示ユニット42は、クラウドデスクトップ上のマルチメディア表示エリアについての、クラウドサーバによって送信された位置情報を受信し、表示ウィンドウの位置がクラウドデスクトップ上のマルチメディア表示エリアの位置と同一となるように、マルチメディア表示エリアの位置情報に従って表示ウィンドウの位置を決定するように特に構成される。
【０１０２】
特に、クライアントによって表示されているクラウドデスクトップを使用してユーザによって配信された初期化命令を受信した後に、クラウドサーバは、クライアントにマルチメディア表示エリアの位置情報を送信し、クライアントは、位置情報に従って表示ウィンドウの位置を決定する。
【０１０３】
一例として、ユーザがクラウドデスクトップを使用してクラウドサーバにビデオアプリケーションプログラムに関する起動命令を送信した後に、クラウドサーバは、起動命令に従って対応するビデオアプリケーションプログラムを起動する。この場合には、クラウドサーバは、クライアントにクラウドデスクトップ上のビデオ表示エリア(すなわち、マルチメディア表示エリア)の位置情報を送信し、例えば、クラウドサーバは、クライアントにクラウドデスクトップ上のビデオ表示エリアの座標情報を送信してもよく、位置情報を受信した後に、クライアントは、位置情報に従ってクラウドデスクトップ上のビデオ表示エリアの位置を決定する、それによって、表示ウィンドウの位置がクラウドデスクトップ上のビデオ表示エリアの位置であることを決定している。すなわち、表示ウィンドウは、クラウドデスクトップ上のビデオ表示エリアをカバーしており、ユーザにとって、クライアントによって表示されているクラウドデスクトップを使用して、表示ウィンドウおよびクラウドデスクトップが同一平面にあるようにユーザには見える。
【０１０４】
さらにその上、取得ユニット41は、クラウドサーバによって送信されたウィンドウ調整命令を受信するようにさらに構成される。
【０１０５】
処理ユニット43は、取得ユニット41によって取得したウィンドウ調整命令に従って表示ウィンドウを調整するようにさらに構成される。
【０１０６】
ウィンドウ調整命令は、クラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令であり、ウィンドウ調整命令は、ドラッグ命令、ウィンドウ拡大命令、またはウィンドウ縮小命令であってもよく、ここで、ドラッグ命令は表示ウィンドウの位置を変更するための命令であってもよく、ウィンドウ拡大命令は現在の表示ウィンドウのサイズを増大させるための命令であってもよく、ウィンドウ縮小命令は現在の表示ウィンドウのサイズを低減するための命令であってもよい。
【０１０７】
例えば、ユーザが現在の表示ウィンドウのサイズを増大させることを決定した場合には、ユーザは、マウスデバイスなどの入力デバイスを使用して、クライアントによって表示されているクラウドデスクトップ上の表示ウィンドウの境界線をドラッグしてもよく、それによって、クラウドサーバにウィンドウ拡大命令を配信し、その後、ウィンドウ拡大命令を受信した後に、クラウドサーバは、ウィンドウ拡大命令に従ってマルチメディア表示エリアのサイズを増大し、クライアントにウィンドウ拡大命令を送信する、その結果、クライアントがウィンドウ拡大命令に従って表示ウィンドウのサイズを増大することが可能となり、それによって、マルチメディア表示エリアと表示ウィンドウとの同期拡大を保証している。前述において記載したウィンドウ拡大命令は、図に関する例示にすぎず、限定を意図していない。本発明の本実施形態におけるウィンドウ調整命令はさらに、ドラッグ命令またはウィンドウ縮小命令であってもよく、そのことについての具体的な実施様態は、ウィンドウ拡大命令に関する前述の記載と類似しており、本明細書に再び記載することはしない。
【０１０８】
必要に応じて、図5に示したように、取得ユニット41は、クラウドサーバによって送信された第1の操作命令を受信するようにさらに構成される。
【０１０９】
処理ユニット43は、取得ユニット41によって取得した第1の操作命令に従って第1のマルチメディアデータサブストリームを決定し、第1のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得するようにさらに構成される。
【０１１０】
第1の操作命令は、クラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令である、例えば、第1の操作命令は、撮影命令または録画命令であってもよい。
【０１１１】
クライアント40は、クラウドサーバに処理ユニット43によって取得したマルチメディアファイルを送信するように構成される、第1の送信ユニット44をさらに備える。
【０１１２】
一例として、マルチメディアデータストリームがビデオデータストリームである例示を説明のために使用する。ユーザは、クライアントによってユーザに表示されているクラウドデスクトップを使用してクラウドサーバに録画命令を配信し、クラウドサーバは、クライアントに録画命令を送信し、クライアントは、録画命令に従って第1のマルチメディアデータサブストリームを決定する。例えば、ユーザは、クライアントによってユーザに表示されているクラウドデスクトップを使用してクラウドサーバに録画開始命令を配信し、クラウドサーバは、クライアントに録画開始命令を送信し、クライアントは、録画開始命令に従ってビデオの録画を実行することを開始して、クライアントが録画終了命令を受信するまでビデオの録画を実行することを停止しない、ここで、録画されているビデオに対応するビデオデータストリームは、前述の第1のマルチメディアデータサブストリームであり、クライアントは、ビデオデータストリームを符号化して対応するビデオデータファイル(すなわち、前述のマルチメディアファイル)を取得して、クラウドサーバにビデオデータファイルを送信し、クラウドサーバは、ビデオデータファイルを保存する。
【０１１３】
必要に応じて、図6に示したように、取得ユニット41は、クラウドサーバによって送信された第2の操作命令を受信するようにさらに構成される。
【０１１４】
処理ユニット43は、第2の操作命令に従って第2のマルチメディアデータサブストリームを決定するようにさらに構成される。
【０１１５】
第2の操作命令は、クラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令である、例えば、第2の操作命令は、撮影命令または録画命令であってもよい。
【０１１６】
クライアント40は、クラウドサーバが第2のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得することができるように、クラウドサーバに処理ユニット43によって決定された第2のマルチメディアデータサブストリームを送信するように構成される、第2の送信ユニット45をさらに備える。
【０１１７】
一例として、マルチメディアデータストリームがビデオデータストリームである例示を説明のために使用する。ユーザは、クライアントによってユーザに表示されているクラウドデスクトップを使用してクラウドサーバに録画命令を配信し、クラウドサーバは、クライアントに録画命令を送信し、クライアントは、録画命令に従って第2のマルチメディアデータサブストリームを決定する。例えば、ユーザは、クライアントによってユーザに表示されているクラウドデスクトップを使用してクラウドサーバに録画開始命令を配信し、クラウドサーバは、クライアントに録画開始命令を送信し、クライアントは、録画開始命令に従ってビデオの録画を実行することを開始して、クライアントが録画終了命令を受信するまでビデオの録画を実行することを停止せず、ここで、録画されているビデオに対応するビデオデータストリームは、前述の第2のマルチメディアデータサブストリームであり、クライアントは、クラウドサーバに第2のマルチメディアデータサブストリームを送信し、クラウドサーバは、ビデオデータストリームを符号化して対応するビデオデータファイル(すなわち、前述のマルチメディアファイル)を取得して、クラウドサーバにビデオデータファイルを送信し、ビデオデータファイルを受信した後に、クラウドサーバは、ビデオデータファイルを保存してもよい。例示的な記載を本明細書において与えただけであり、限定を意図していない。
【０１１８】
さらに、処理ユニット43は、マルチメディアプラグインを設定するようにさらに構成され、表示ユニットは、処理ユニットによって設定されたマルチメディアプラグインを使用してマルチメディアデータストリームを表示するように特に構成され、取得ユニットは、処理ユニットによって設定されたマルチメディアプラグインを使用して、クラウドサーバによって送信された制御命令を受信するように特に構成される。
【０１１９】
特に、マルチメディアプラグインは、シンクライアントがマルチメディアプラグインを使用して復号したマルチメディアデータストリームを表示することができるように、取得したマルチメディアデータストリームを復号することができる。ユーザによって配信された制御命令を取得した後に、クラウドサーバは、クラウドサーバにおいて設定されているプラグインを使用して、シンクライアントにおいて設定されているマルチメディアプラグインに制御命令を送信してもよく、シンクライアントは、設定されているマルチメディアプラグインを使用して、クラウドサーバによって送信された制御命令を受信して、マルチメディアプラグインを使用して、表示されている復号したマルチメディアデータストリームについての対応する制御操作を行う。
【０１２０】
このように、シンクライアント内のマルチメディアプラグインが、取得したマルチメディアデータストリームを復号および表示しているので、クラウドサーバにおいて設定されているプラグインは、シンクライアント内のマルチメディアプラグインに制御命令を送信して、表示されているマルチメディアデータストリームについての制御を実施することだけが必要となる。すなわち、クラウドサーバ内のプラグインは、シンクライアントから受信したマルチメディアデータストリームを復号することなどの操作を行う必要は無くなり、マルチメディアデータストリームを取得した後に、シンクライアントは、クラウドサーバにマルチメディアデータストリームをもはや送信する必要も無くなり、その代わりに、シンクライアントにおいて設定されているマルチメディアプラグインが、取得したマルチメディアデータストリームを復号および表示して、クラウドサーバ内のプラグインは、シンクライアント内のマルチメディアプラグインに制御命令を送信するだけで、もはやマルチメディアデータストリームを復号することなどの操作を行わない。制御命令の伝送によって占有される帯域幅はマルチメディアデータストリームの伝送によって占有される帯域幅より少ないため、メディア制御プロセスにおけるマルチメディアデータストリームの伝送によって占有される帯域幅は低減される。
【０１２１】
クライアントを使用して、クライアントは、クラウドサーバにマルチメディアデータストリームをもはや送信する必要が無くなり、その代わりに、クライアントが、取得したマルチメディアデータストリームを直接復号する、それによって、マルチメディアデータストリームの表示プロセスにおけるマルチメディアデータストリームの伝送によって占有される帯域幅を低減し、マルチメディアデータストリームが表示されている際に生じる明らかな一時的中断を解消し、ユーザエクスペリエンスを改善している。
【０１２２】
簡便かつ簡潔な記載を目的とし、前述のクライアントの詳細な動作プロセスに関して、前述の方法の実施形態において対応するプロセスを参照してもよいので、その詳細を本明細書では再び記載していないことを、当業者は明確に理解すべきであろう。
【０１２３】
本発明の実施形態は、クライアント70を提供している。図7に示したように、クライアントは、
プロセッサ(processor)71、通信インターフェース(Communications Interface)72、メモリ(memory)73、および通信バス74を備える、ここで、プロセッサ71、通信インターフェース72、およびメモリ73は通信バス74を使用して相互通信を達成している。
【０１２４】
プロセッサ71は、中央処理ユニットCPU、または特定用途向け集積回路ASIC(Application Specific Integrated Circuit)、または本発明の本実施形態を実施するように構成される1つまたは複数の集積回路であってもよい。
【０１２５】
メモリ73は、プログラムコードを記憶するように構成される、ここで、プログラムコードはコンピュータ操作命令を含む。メモリ73は、高速RAMメモリを備えていてもよく、不揮発性メモリ(non-volatile memory)、例えば、少なくとも1つのディスクメモリをさらに備えていてもよい。
【０１２６】
通信インターフェース72は、これらの装置間の接続通信を実施するように構成される。
【０１２７】
プロセッサ71は、プログラムコードを実行するとともに、マルチメディアデータストリームを取得し、マルチメディアデータストリームを表示し、クラウドサーバによって送信された制御命令を受信し、制御命令に従って、表示されているマルチメディアデータストリームについての対応する制御操作を行うように構成される、ここで、制御命令はクラウドデスクトップを使用してクラウドサーバにユーザによって配信された命令である。
【０１２８】
クライアントはデスクトップクラウドシナリオを適用されたクライアントを含み、デスクトップクラウドシナリオにおいて、クラウドサーバは、クライアントのために対応するクラウドデスクトップを構築し、クライアントは、クラウドデスクトップを使用してクラウドサーバにアクセスする。
【０１２９】
必要に応じて、プロセッサ71は、マルチメディアデータストリームを復号し、復号したマルチメディアデータストリームを表示するようにさらに構成される。
【０１３０】
必要に応じて、プロセッサ71は、表示ウィンドウの位置を決定し、表示ウィンドウを使用して復号したマルチメディアデータストリームを表示するようにさらに構成される。
【０１３１】
表示ウィンドウは復号したマルチメディアデータストリームを表示するために使用され、表示ウィンドウの位置はマルチメディア表示エリアに対応しており、マルチメディア表示エリアはクラウドデスクトップ上のマルチメディアデータストリームを表示するためのエリアである。
【０１３２】
必要に応じて、プロセッサ71は、クラウドデスクトップ上のマルチメディア表示エリアについての、クラウドサーバによって送信された位置情報を受信し、表示ウィンドウの位置がクラウドデスクトップ上のマルチメディア表示エリアの位置と同一となるように、マルチメディア表示エリアの位置情報に従って表示ウィンドウの位置を決定するようにさらに構成される。
【０１３３】
必要に応じて、プロセッサ71は、クラウドサーバによって送信されたウィンドウ調整命令を受信し、ウィンドウ調整命令に従って表示ウィンドウを調整するようにさらに構成される。
【０１３４】
必要に応じて、プロセッサ71は、クラウドサーバによって送信された第1の操作命令を受信し、第1の操作命令に従って第1のマルチメディアデータサブストリームを決定し、第1のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得し、クラウドサーバにマルチメディアファイルを送信するように特に構成される。
【０１３５】
必要に応じて、プロセッサ71は、クラウドサーバによって送信された第2の操作命令を受信し、第2の操作命令に従って第2のマルチメディアデータサブストリームを決定し、クラウドサーバが第2のマルチメディアデータサブストリームを符号化して対応するマルチメディアファイルを取得することができるように、クラウドサーバに第2のマルチメディアデータサブストリームを送信するようにさらに構成される。
【０１３６】
必要に応じて、プロセッサ71は、マルチメディアプラグインを設定し、マルチメディアプラグインを使用してマルチメディアデータストリームを表示し、マルチメディアプラグインを使用して、クラウドサーバによって送信された制御命令を受信するようにさらに構成される。
【０１３７】
前述の記載は、本発明の特定の実施様態にすぎず、本発明の保護範囲を限定することを意図していない。本発明に開示の技術的範囲において当業者が容易に想到する任意の変形または置換は、本発明の保護範囲に含まれるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
【符号の説明】
【０１３８】
10  周辺機器
11  シンクライアント
12  クラウドサーバ
121  仮想マシン
40  クライアント
41  取得ユニット
42  表示ユニット
43  処理ユニット
44  第1の送信ユニット
45  第2の送信ユニット
70  クライアント
71  プロセッサ
72  通信インターフェース
73  メモリ
74  通信バス
【図１】
0006288594.tif 000002
【図２】
0006288594.tif 000003
【図３】
0006288594.tif 000004
【図４】
0006288594.tif 000005
【図５】
0006288594.tif 000006
【図６】
0006288594.tif 000007
【図７】
0006288594.tif 000008