(57)【特許請求の範囲】
【請求項１】
移動端末と、パーソナルコンピュータ(PC)と、符号化サーバと、ストリーミングサーバと、再生デバイスと
を備えたビデオ同期再生システムであって、
前記移動端末はユニバーサルシリアルバス(USB)を用いて前記PCに接続されており、前記PCは前記符号化サーバとデータ交換を行うことができ、前記符号化サーバは前記ストリーミングサーバとデータ交換を行うことができ、前記ストリーミングサーバは前記再生デバイスとデータ交換を行うことができ、
前記移動端末は、再生ビデオの現在の表示フレームをキャプチャして第1の画像を取得し、前記第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得し、前記第2の画像に対して画像圧縮処理を行って第3の画像を取得し、前記PCへ前記第3の画像を送信するように構成され、前記PCが前記符号化サーバへ前記第3の画像を送信し、
前記符号化サーバは、前記第3の画像を受信した後、前記第3の画像をビットマップ画像に復元して第4の画像を取得し、前記第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得し、前記第5の画像に対してフォーマット変換、符号化処理、およびカプセル化を行ってビデオストリームを取得し、前記ストリーミングサーバへ前記ビデオストリームを送信するように構成され、前記ストリーミングサーバがターゲット再生デバイスへ前記ビデオストリームを送信する、ビデオ同期再生システム。
【請求項２】
移動端末によって再生ビデオの現在の表示フレームをキャプチャして、ビットマップ画像である第1の画像を取得するステップと、
前記移動端末の現在の解像度に従って前記第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得するステップと、
前記第2の画像に対して画像圧縮処理を行って第3の画像を取得するステップと、
符号化サーバへ前記第3の画像を送信するステップと、
前記移動端末によって送信された、受信した第3の画像を、前記符号化サーバによってビットマップ画像に復元して第4の画像を取得するステップと、
予め設定された解像度に従って前記第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得するステップと、
前記第5の画像に対してフォーマット変換、符号化処理、およびカプセル化を行ってビデオストリームを取得するステップと、
ターゲット再生デバイスへ前記ビデオストリームを送信するステップと
を含む、ビデオ同期再生方法。
【請求項３】
前記移動端末の現在の解像度に従って前記第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得する前記ステップは、
解像度とスケーリング比との間の対応テーブルを照会して前記移動端末の前記現在の解像度に対応するスケーリング比を決定するステップと、
前記対応するスケーリング比に従って前記第1の画像に対してビットマップスケーリング処理を行って前記第2の画像を取得するステップと
を含む、請求項2に記載の方法。
【請求項４】
前記第2の画像に対して画像圧縮処理を行って第3の画像を取得する前記ステップは、
前記第2の画像をジョイントフォトグラフィックエキスパートグループ(JPEG)形式の第3の画像に圧縮するステップ
を含む、請求項2に記載の方法。
【請求項５】
前記符号化サーバは、前記移動端末によって送信された画像が、前記符号化サーバが前記ビデオストリームを送信した後、事前構成された期間内に受信されなかった場合、前記第4の画像を用いてフレーム補間処理を行うステップ
をさらに含む、請求項2に記載の方法。
【請求項６】
命令モジュールを実行する1つまたは複数のプロセッサ
を備えた符号化サーバであって、前記命令モジュールは、
移動端末によって送信された、受信された第3の画像をビットマップ画像に復元して第4の画像を取得するように構成された復元モジュールと、
前記復元モジュールが前記第4の画像を取得した後、予め設定された解像度に従って前記第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得するように構成されたビットマップスケーリングモジュールと、
前記ビットマップスケーリングモジュールが前記第5の画像を取得した後、前記第5の画像に対してフォーマット変換、符号化処理、およびカプセル化を行ってビデオストリームを取得するように構成された処理モジュールと、
前記処理モジュールが前記ビデオストリームを取得した後、ターゲット再生デバイスへ前記ビデオストリームを送信するように構成されたビデオストリーム送信モジュールと
を備える、符号化サーバ。
【請求項７】
前記移動端末によって送信された画像が、前記符号化サーバが前記ビデオストリームを送信した後、事前構成された期間内に受信されなかった場合、前記第4の画像を用いてフレーム補間処理を行うように構成されたフレーム補間モジュール
をさらに備える、請求項6に記載の符号化サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、通信技術の分野に関し、詳細には、ビデオ同期再生方法、装置、およびシステムに関する。
【背景技術】
【０００２】
ユーザが携帯電話上でビデオを見るときに、ユーザがこのビデオを別のユーザと共に同時に見たいと望む場合、ユーザは、ビデオの再生画像を別のユーザによって使用されているビデオ再生デバイスへ送信することができ、それによってユーザと別のユーザが同じ場所にはいなくても、それにもかかわらずユーザおよび別のユーザは同じビデオを同時に見ることができる。
【０００３】
既存の技術では、前述のビデオ同期再生を実行するやり方は、一般に、携帯電話によって現在再生されているビデオ画像をその携帯電話がキャプチャし、この画像をパーソナルコンピュータ(PC)へ送り、PCがこの画像をストリーミングサーバへ送り、ストリーミングサーバがこの画像をターゲット再生デバイス(target playback device)へ送信するというものである。しかしながら、携帯電話によってキャプチャされた画像は大きく、送信過程において大きな帯域幅を占め、伝送速度は遅く、ターゲット再生デバイスの大きなフレーム待ち時間を引き起こし、画面はしばしば動かなくなる、したがって、ユーザの体験は低下する。
【発明の概要】
【課題を解決するための手段】
【０００４】
例示的なビデオ同期再生システムは、
移動端末と、PCと、符号化サーバと、ストリーミングサーバと、再生デバイスとを備え、
移動端末はユニバーサルシリアルバス(USB)を用いてPCに接続されており、PCは符号化サーバとデータ交換を行うことができ、符号化サーバはストリーミングサーバとデータ交換を行うことができ、ストリーミングサーバは再生デバイスとデータ交換を行うことができ、
移動端末は、再生ビデオの現在の表示フレームをキャプチャして第1の画像を取得し、第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得し、第2の画像に対して画像圧縮処理を行って第3の画像を取得し、PCへ第3の画像を送信するように構成され、PCが符号化サーバへ第3の画像を送信し、
符号化サーバは、第3の画像をビットマップ画像に復元して第4の画像を取得し、第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得し、第5の画像に対してフォーマット変換、符号化処理、およびカプセル化を行ってビデオストリームを取得し、ストリーミングサーバへビデオストリームを送信するように構成され、ストリーミングサーバが、ターゲット再生デバイスへビデオストリームを送信する。
【０００５】
例示的なビデオ同期再生方法は、
移動端末によって再生ビデオの現在の表示フレームをキャプチャして、ビットマップ画像である第1の画像を取得するステップと、
移動端末の現在の解像度に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得するステップと、
第2の画像に対して画像圧縮処理を行って第3の画像を取得するステップと、
ターゲット再生デバイスへ第3の画像を送信するステップと
を含む。
【０００６】
符号化サーバは、
移動端末によって送信された、受信した第3の画像をビットマップ画像に復元して第4の画像を取得するように構成された復元モジュールと、
復元モジュールが第4の画像を取得した後、予め設定された解像度に従って第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得するように構成されたビットマップスケーリングモジュールと、
ビットマップスケーリングモジュールが第5の画像を取得した後、第5の画像に対してフォーマット変換、符号化処理、およびカプセル化を行ってビデオストリームを取得するように構成された処理モジュールと、
処理モジュールがビデオストリームを取得した後、ターゲット再生デバイスへビデオストリームを送信するように構成されたビデオストリーム送信モジュールと
を備える。
【図面の簡単な説明】
【０００７】
【図１】本開示の一実施形態によるビデオ同期再生システムの概略構成図である。
【図２】本開示の一実施形態によるビデオ同期再生方法の概略図である。
【図３】本開示の一実施形態によるビデオ同期再生方法の別の概略図である。
【図４】本開示の一実施形態による移動端末の概略図である。
【図５】本開示の一実施形態による符号化サーバの概略図である。
【図６】本開示の一実施形態によるビデオ同期再生システムにおけるビデオ同期再生のためのインタラクション方法の概略図である。
【発明を実施するための形態】
【０００８】
本開示の目的、特徴、および利点をより理解できるものにさせるために、以下には、本開示の実施形態における解決策が、本開示の各実施形態において添付図面を参照して明確かつ十分に説明される。明らかに、以下の説明における実施形態は、本開示の各実施形態の全部ではなくほんの一部である。本開示の各実施形態に基づいて当業者が得た全ての他の実施形態は、創作的な努力がなくても、本開示の保護範囲内に含まれるものとする。
【０００９】
本明細書、特許請求の範囲、本開示の添付図面において、(存在する場合には)用語「第1の」、「第2の」、「第3の」、「第4の」などは、特定の順序を説明するのではなく同様の対象を区別することが意図されている。このように使用されるデータは、適切な状況において交換することができ、したがって、本開示の各実施形態は、図に示された順序または本明細書に説明された順序以外の他の順序において実施することができることを理解されたい。また、用語「含む、備える(include)」、「含む(contain)」、および任意の他の変形体は、非排他的包含を含むことを意味する。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品、またはデバイスは、必ずしもこれらのステップまたはユニットに限定されず、明示的に挙げられていないまたはそのようなプロセス、方法、製品、またはデバイスに固有の他のステップまたはユニットを含んでもよい。
【００１０】
図1を参照すると、図1は、移動端末、PC、符号化サーバ、ストリーミングサーバ、および再生デバイスを含む、本開示の一実施形態によるビデオ同期再生システムの概略構成図である。移動端末は、USBインターフェイスを用いてPCに接続されている。PCは符号化サーバとデータ交換を行うことができ、符号化サーバはストリーミングサーバとデータ交換を行うことができ、ストリーミングサーバは再生デバイスとデータ交換を行うことができる。
【００１１】
本開示の本実施形態では、移動端末は、再生ビデオの現在の表示フレームをキャプチャして第1の画像を取得し、第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得し、第2の画像に対して画像圧縮処理を行って第3の画像を取得し、PCを用いて第3の画像を符号化サーバへ送信するように構成されている。移動端末は、キャプチャした第1の画像を処理することによって第3の画像を取得し、その結果、第3の画像は小さく、第3の画像を符号化サーバへ送信する伝送速度は高く、狭い帯域幅が占められる。
【００１２】
符号化サーバは、第3の画像をビットマップ画像に復元して第4の画像を取得し、第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得し、第5の画像に対してフォーマット変換、符号化処理、およびカプセル化を行ってビデオストリームを取得し、ストリーミングサーバを用いてターゲット再生デバイスへビデオストリームを送信するように構成されており、それによって画像をターゲット再生デバイスに表示してビデオ同期再生を実現することができる。
【００１３】
本開示の各実施形態における技術的解決策をより良く理解するために、本開示の一実施形態によるビデオ同期再生方法の一実施形態を示す図2を参照すると、以下のものが含まれる。
【００１４】
201:移動端末は、再生ビデオの現在の表示フレームをキャプチャして第1の画像を取得し、ただし、第1の画像はビットマップ画像である。
【００１５】
本開示の本実施形態では、移動端末がビデオを再生する間に移動端末とターゲット再生デバイスとの間の同期ビデオ再生を実現するために、移動端末は、再生ビデオの現在の表示フレームをキャプチャして、ビットマップ画像である第1の画像を取得する。
【００１６】
202:移動端末の現在の解像度に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得する。
【００１７】
本開示の本実施形態では、移動端末は、移動端末の現在の解像度に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得することができる。具体的には、移動端末は、解像度とスケーリング比との間の対応テーブルを照会して移動端末の現在の解像度に対応するスケーリング比を決定し、対応するスケーリング比に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得することができる。解像度とスケーリング比との間の対応テーブルは移動端末内に存在し、対応テーブルは、解像度とスケーリング比との間の対応関係、例えば、画面高さが800ピクセル以下であるときに対応するスケーリング比が1:1であり、画面高さが800ピクセルよりも大きくかつ1920ピクセル以下であるときに対応するスケーリング比が2:1であり、画面高さが1920ピクセルよりも大きいときに対応するスケーリング比が3:1であることを含む。
【００１８】
本開示の本実施形態では、第1の画像がスケーリングされるとき、いずれの画像圧縮ライブラリも使用せず、インターレース式読み込みまたはビットマップ特徴に従った別の数学的アルゴリズムを使用して、第1の画像をスケーリングして第2の画像を取得することが可能である。
【００１９】
203:第2の画像に対して画像圧縮処理を行って第3の画像を取得する。
【００２０】
本開示の本実施形態では、第2の画像を取得した後、移動端末は、第2の画像に対して画像圧縮処理を行って第3の画像を取得し、特に第2の画像をジョイントフォトグラフィックエキスパートグループ(JPEG)形式の第3の画像に圧縮することができる。第2の画像が圧縮されるとき、第2の画像は、JPEG形式以外の別の形式、例えば、ポータブルネットワークグラフィックス(PNG)形式の画像に圧縮することもできることに留意されたい。
【００２１】
本開示の本実施形態では、前述のビットマップスケーリングおよび画像圧縮処理の後、取得した第3の画像のサイズは、キャプチャした第1の画像のサイズよりも小さい。移動端末の平面の解像度が1080*1920である一例では、第1の画像に対してビットマップスケーリングが行われることによって得られた第2の画像のサイズが8Mである場合には、第2の画像に対して画像圧縮を行うことによって取得される第3の画像のサイズは、ほんの約50Kにすぎない。これは、第3の画像を送信するために占められる帯域幅を有効に減少させ、画像の伝送速度を増大させ、それによって少ないフレーム待ち時間および滑らかな再生を画面上において実現することができる。
【００２２】
204:ターゲット再生デバイスへ第3の画像を送信する。
【００２３】
本開示の本実施形態では、第2の画像を圧縮することによって第3の画像を取得した後、移動端末はターゲット再生デバイスへ第3の画像を送信し、第3の画像は、PCを用いて符号化サーバへ送信することができ、また、符号化サーバによって処理された後に、ストリーミングサーバを用いてターゲット再生デバイスへ送信することができる。
【００２４】
本開示の本実施形態では、移動端末は、再生ビデオの現在の表示フレームをキャプチャして、ビットマップ画像である第1の画像を取得し、移動端末の現在の解像度に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得し、第2の画像に対して画像圧縮処理を行って第3の画像を取得し、第3の画像をターゲット再生デバイスへ送信する。ビットマップスケーリングおよび画像圧縮処理は、キャプチャした第1の画像に対して行われ、それによって送信画像のサイズを有効に減少させることができ、そのため画像を送信するために占められる帯域幅は狭く、伝送速度は高く、フレーム待ち時間は少なく、画面上の再生は滑らかである。
【００２５】
移動端末がキャプチャした第1の画像を処理して第3の画像を取得し、第3の画像を送信してビデオ同期再生を実行する方法は、図2に示した実施形態に説明されており、以下に、符号化サーバが第3の画像を処理してビデオストリーム取得し、それによってビデオ同期再生を実行する方法を説明する。図3を参照すると、図3は、以下のステップを含む、本開示の一実施形態によるビデオ同期再生方法の一実施形態を示す。
【００２６】
301:符号化サーバは、移動端末によって送信された、受信した第3の画像をビットマップ画像に復元して第4の画像を取得する。
【００２７】
本開示の本実施形態では、符号化サーバは、PCを用いて移動端末によって送信された第3の画像を受信し、符号化サーバは、受信した第3の画像をビットマップ画像に復元して第4の画像を取得し、例えば、第3の画像のフォーマットがJPEG形式である場合、JPEG形式の第3の画像はビットマップ画像形式の第4の画像に変換される。
【００２８】
302:予め設定された解像度に従って第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得する。
【００２９】
本開示の本実施形態では、符号化サーバは解像度を予め設定し、符号化サーバは予め設定された解像度に従って第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得し、例えば、予め設定された解像度は400ピクセルの画面高さであり、第4の画像は400ピクセルの画面高さを用いて第5の画像にスケーリングされ、具体的にはエリア補間法(area interpolation method)が使用され得る。
【００３０】
本開示の本実施形態では、ビットマップスケーリング処理が第4の画像に対して行われ、これにより第4の画像のエイリアシングを有効に排除することができる。
【００３１】
303:第5の画像に対してのフォーマット変換処理、符号化処理、およびカプセル化を行ってビデオストリームを取得する。
【００３２】
304:ターゲット再生デバイスへビデオストリームを送信する。
【００３３】
本開示の本実施形態では、符号化サーバは、第5の画像に対してのフォーマット変換処理、符号化処理、およびカプセル化をさらに行ってビデオストリームを取得し、ターゲット再生デバイスへビデオストリームを送信し、ビデオストリームは、ストリーミングサーバによってターゲット再生デバイスへ送られる。
【００３４】
本開示の本実施形態では、符号化サーバは、赤、緑、青(RGB)形式からルーマおよびクロミナンス(YUV)形式への変換公式を用いて第5の画像に対してフォーマット変換を行い、それによってビットマップ画像の第5の画像をYUV形式の画像に変換することができ、YUV形式に変換された第5の画像に対して符号化処理およびカプセル化を行ってビデオストリームを取得する。
【００３５】
符号化処理中、エンコーディングは、x264ライブラリを用いてリアルタイムに行うことができ、パラメータ設定は、出力フレーム周波数が毎秒25フレームであり、キーフレームの最大間隔が29フレームであり、一定のビットレートが使用されるものとすることができる。
【００３６】
好ましくは、本開示の本実施形態では、移動端末によって送信された画像が、符号化サーバがビデオストリームを送信した後、事前構成された期間内に受信されなかった場合、符号化サーバは、第4の画像を用いてフレーム補間処理を行う。例えば、Android 4.Xシステムを用いた携帯電話については、キャプチャ速度が毎秒15フレームに届かない場合、符号化サーバはフレーム補間処理を行い、50m秒ごとに以前送信したビデオストリームを繰り返し送信して、リアルタイムコードストリームが出力されることを確実にする。
【００３７】
本開示の本実施形態では、符号化サーバは、YUV形式に変換された第5の画像に対して符号化処理を行った後にコードストリームを取得し、符号化サーバは、コードストリームに対してルーティングテーブルメンテナンスプロトコル(RTMP: Routing Table Maintenance Protocol)カプセル化処理を行ってビデオストリームを取得する。
【００３８】
本開示の本実施形態では、符号化サーバがビデオストリームを送信した後、ビデオストリームはRTMP再生する能力におけるFlashの特徴に従ってストリーミングサーバによってターゲット再生デバイスへ送られ、ターゲット再生デバイスはAction Scriptを用いることでプレイヤを展開することができ、ビデオアドレスは、JavaScript(登録商標)を用いて送信することができ、プレイヤのバッファ時間は0に設定される。加えて、Flashは、実際の携帯電話の外形の画像をさらに読み込んで携帯電話の画面上にビデオストリームを表示することができ、これにより望ましいユーザの体験をもたらし、回転、一時停止、および全画面操作を容易にすることができる。
【００３９】
図2に示された実施形態では、モバイルハイデフニションリンク(MHL)インターフェイスをサポートする移動端末の場合、符号化サーバは、高精細度マルチメディアインターフェイス(HDMI(登録商標))ビデオキャプチャカードを使用してビデオストリームを取得することができ、それによって図3に示された実施形態における技術的解決策は、ソフトウェアエンコーディングの代わりにハードウェアエンコーディングによって実現することができることに留意されたい。
【００４０】
本開示の本実施形態では、PCを用いて移動端末によって送信された第3の画像を受信した後、符号化サーバは、第3の画像をビットマップ画像に復元して第4の画像を取得し、現在の解像度に従って第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得し、符号化サーバは、第5の画像に対してフォーマット変換処理、符号化処理、およびカプセル化を行ってビデオストリームを取得し、ターゲット再生デバイスへビデオストリームを送信する。ビットマップスケーリング処理が第4の画像に対して行われ、これにより画像におけるエイリアシングを有効に排除することができ、それによって再生フレームはより鮮明になる。
【００４１】
図4を参照すると、図4は、本開示の一実施形態による移動端末の概略構成図であり、
再生ビデオの現在の表示フレームをキャプチャして、ビットマップ画像である第1の画像を取得するように構成された画像キャプチャモジュール401と、
画像キャプチャモジュールが第1の画像を取得した後、移動端末の現在の解像度に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得するように構成されたスケーリングモジュール402と、
スケーリングモジュールが第2の画像を取得した後、第2の画像に対して画像圧縮処理を行って第3の画像を取得するように構成された圧縮モジュール403と、
ターゲット再生デバイスへ第3の画像を送信するように構成された送信モジュール404と
を備える。
【００４２】
本開示の本実施形態では、スケーリングモジュール402は、
画像キャプチャモジュール401が第1の画像を取得した後、解像度とスケーリング比との間の対応テーブルを照会して移動端末の現在の解像度に対応するスケーリング比を決定するように構成された照会モジュール4021と、
照会モジュール4021が対応するスケーリング比を決定した後、対応するスケーリング比に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得するように構成されたスケーリング処理モジュール4022と
を備える。
【００４３】
本開示の本実施形態では、圧縮モジュール403は、第2の画像をJPEG形式の第3の画像に圧縮するように特に構成されている。
【００４４】
本開示の本実施形態では、移動端末における画像キャプチャモジュール401は再生ビデオの現在の表示フレームをキャプチャして、ビットマップ画像である第1の画像を取得し、次に、スケーリングモジュール402中の照会モジュール4021は解像度とスケーリング比との間の対応テーブルを照会して移動端末の現在の解像度に対応するスケーリング比を決定し、スケーリング処理モジュール4022は対応するスケーリング比に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得し、次に、圧縮モジュール403は第2の画像に対して画像圧縮処理を行って第3の画像を取得し、ここで具体的には、圧縮モジュール403は第2の画像をJPEG形式の第3の画像に圧縮し、最終的に送信モジュール404は第3の画像をターゲット再生デバイスへ送信する。
【００４５】
本開示の本実施形態では、移動端末は、再生ビデオの現在の表示フレームをキャプチャして、ビットマップ画像である第1の画像を取得し、移動端末の現在の解像度に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得し、第2の画像に対して画像圧縮処理を行って第3の画像を取得し、第3の画像をターゲット再生デバイスへ送信する。ビットマップスケーリングおよび画像圧縮処理は、キャプチャした第1の画像に対して行われ、それによって送信画像のサイズを有効に減少させることができ、そのため画像を送信するために占められる帯域幅は狭く、伝送速度は高く、フレーム待ち時間は少なく、画面上の再生は滑らかである。
【００４６】
図5を参照すると、図5は、本開示の一実施形態による符号化サーバの概略構成図であり、この符号化サーバは、
移動端末によって送信された、受信した第3の画像をビットマップ画像に復元して第4の画像を取得するように構成された復元モジュール501と、
復元モジュールが第4の画像を取得した後、予め設定された解像度に従って第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得するように構成されたビットマップスケーリングモジュール502と、
ビットマップスケーリングモジュールが第5の画像を取得した後、第5の画像に対してフォーマット変換、符号化処理、およびカプセル化を行ってビデオストリームを取得するように構成された処理モジュール503と、
処理モジュールがビデオストリームを取得した後、ターゲット再生デバイスへビデオストリームを送信するように構成されたビデオストリーム送信モジュール504と
を備える。
【００４７】
本開示の本実施形態では、符号化サーバは、
移動端末によって送信された画像が、符号化サーバがビデオストリームを送信した後、事前構成された期間内に受信されなかった場合、第4の画像を用いてフレーム補間処理を行うように構成されたフレーム補間モジュール505をさらに備える。
【００４８】
本開示の本実施形態では、符号化サーバにおける復元モジュール501は移動端末によって送信された、受信した第3の画像をビットマップ画像に復元して第4の画像を取得し、次に、ビットマップスケーリングモジュール502は予め設定された解像度に従って第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得し、処理モジュール503は第5の画像に対してフォーマット変換、符号化処理、およびカプセル化を行ってビデオストリームを取得し、最後に、ビデオストリーム送信モジュール504はターゲット再生デバイスへビデオストリームを送信する。さらに、移動端末によって送信された画像が、符号化サーバがビデオストリームを送信した後、事前構成された期間内に受信されなかった場合、フレーム補間モジュール505は、第4の画像を用いてフレーム補間処理を行う。
【００４９】
本開示の本実施形態では、PCを用いて移動端末によって送信された第3の画像を受信した後、符号化サーバは、第3の画像をビットマップ画像に復元して第4の画像を取得し、予め設定された解像度に従って第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得し、符号化サーバは、第5の画像に対してフォーマット変換処理、符号化処理、およびカプセル化を行ってビデオストリームを取得し、ターゲット再生デバイスへビデオストリームを送信する。ビットマップスケーリング処理は第4の画像に対して行われ、これにより画像におけるエイリアシングを有効に排除することができ、それによって再生フレームはより鮮明になる。
【００５０】
本開示の各実施形態におけるビデオ同期再生方法をより良く理解するために、以下に、図1に示した実施形態に説明されているビデオ同期再生システムに基づいて、ビデオ同期再生におけるシステム中のデバイスのインタラクションプロセスを説明する。図7を参照すると、このプロセスは以下のものを備えている。
【００５１】
601:移動端末は、再生ビデオの現在の表示フレームをキャプチャして第1の画像を取得し、ただし、第1の画像はビットマップ画像である。
【００５２】
本開示の本実施形態では、移動端末がビデオを再生する間に移動端末とターゲット再生デバイスとの間の同期ビデオ再生を実現するために、移動端末は、再生ビデオの現在の表示フレームをキャプチャして、ビットマップ画像である第1の画像を取得する。
【００５３】
602:移動端末は、移動端末の現在の解像度に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得する。
【００５４】
本開示の本実施形態では、移動端末は、移動端末の現在の解像度に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得することができる。具体的には、移動端末は、解像度とスケーリング比との間の対応テーブルを照会して移動端末の現在の解像度に対応するスケーリング比を決定し、対応するスケーリング比に従って第1の画像に対してビットマップスケーリング処理を行って第2の画像を取得することができる。解像度とスケーリング比との間の対応テーブルは移動端末内に存在し、対応テーブルは、解像度とスケーリング比との間の対応関係、例えば、画面高さが800ピクセル以下であるときに対応するスケーリング比が1:1であり、画面高さが800ピクセルよりも大きくかつ1920ピクセル以下であるときに対応するスケーリング比が2:1であり、画面高さが1920ピクセルよりも大きいときに対応するスケーリング比が3:1であることを含む。
【００５５】
本開示の本実施形態では、第1の画像がスケーリングされるとき、いずれの画像圧縮ライブラリも使用せず、インターレース式読み込みまたはビットマップ特徴に従った別の数学的アルゴリズムを使用して第1の画像をスケーリングして第2の画像を取得することが可能である。
【００５６】
603:移動端末は、第2の画像に対して画像圧縮処理を行って第3の画像を取得する。
【００５７】
本開示の本実施形態では、第2の画像を取得した後、移動端末は、第2の画像に対して画像圧縮処理を行って第3の画像を取得し、具体的には第2の画像をJPEG形式の第3の画像に圧縮することができる。第2の画像が圧縮されるとき、第2の画像は、JPEG形式以外の別の形式、例えば、PNG形式の画像に圧縮することもできることに留意されたい。
【００５８】
本開示の本実施形態では、前述のビットマップスケーリングおよび画像圧縮処理の後、取得した第3の画像のサイズは、キャプチャした第1の画像のサイズよりも小さい。移動端末の平面の解像度が1080*1920である一例では、第1の画像に対してビットマップスケーリングが行われることによって得られた第2の画像のサイズが8Mである場合には、第2の画像に対して画像圧縮を行うことによって取得される第3の画像のサイズは、ほんの約50Kにすぎない。これは、第3の画像を送信するために占められる帯域幅を有効に減少させ、画像の伝送速度を増大させ、それによって少ないフレーム待ち時間および滑らかな再生を画面上において実現することができる。
【００５９】
604:移動端末は、PCへ第3の画像を送信する。
【００６０】
本開示の本実施形態では、第3の画像を取得した後、移動端末は、移動端末とPCとの間にUSBインターフェイスを用いることで第3の画像をPCへ送信することができる。
【００６１】
605:PCは、符号化サーバへ第3の画像を送信する。
【００６２】
本開示の本実施形態では、第3の画像を取得した後、PC符号化サーバへ第3の画像を送信する。第3の画像は移動端末によって処理された画像であるので、画像はかなり小さく、画像を符号化サーバへ送信するためにPCによって占められる帯域幅は小さく、伝送速度は高い。
【００６３】
606:符号化サーバは、移動端末によって送信された、受信した第3の画像をビットマップ画像に復元し、第4の画像を取得する。
【００６４】
本開示の本実施形態では、符号化サーバは、PCを用いて移動端末によって送信された第3の画像を受信し、符号化サーバは、受信した第3の画像をビットマップ画像に復元して第4の画像を取得し、例えば、第3の画像のフォーマットがJPEG形式である場合、JPEG形式の第3の画像はビットマップ画像形式の第4の画像に変換される。
【００６５】
607:符号化サーバは、予め設定された解像度に従って第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得する。
【００６６】
本開示の本実施形態では、符号化サーバは解像度を予め設定し、符号化サーバは予め設定された解像度に従って第4の画像に対してビットマップスケーリング処理を行って第5の画像を取得し、例えば、予め設定された解像度は400ピクセルの画面高さであり、第4の画像は400ピクセルの画面高さを用いて第5の画像にスケーリングされ、具体的にはエリア補間法が使用され得る。
【００６７】
本開示の本実施形態では、ビットマップスケーリング処理が第4の画像に対して行われ、これにより第4の画像のエイリアシングを有効に排除することができる。
【００６８】
608:符号化サーバは、第5の画像に対してフォーマット変換、符号化処理、およびカプセル化を行ってビデオストリームを取得する。
【００６９】
本開示の本実施形態では、符号化サーバは、第5の画像に対してのフォーマット変換処理、符号化処理、およびカプセル化をさらに行ってビデオストリームを取得するものであり、ここで符号化サーバは、RGB形式からYUV形式への変換公式を用いて第5の画像に対してフォーマット変換を行い、それによってビットマップ画像の第5の画像をYUV形式の画像に変換することができ、YUV形式に変換された第5の画像に対して符号化処理およびカプセル化を行ってビデオストリームを取得する。
【００７０】
符号化処理中、エンコーディングは、x264ライブラリを用いてリアルタイムに行うことができ、パラメータ設定は、出力フレーム周波数が毎秒25フレームであり、キーフレームの最大間隔が29フレームであり、一定のビットレートが使用されるものとすることができる。
【００７１】
好ましくは、本開示の本実施形態では、移動端末によって送信された画像が、符号化サーバがビデオストリームを送信した後、事前構成された期間内に受信されなかった場合、符号化サーバは、第4の画像を用いてフレーム補間処理を行う。例えば、Android 4.Xシステムを用いた携帯電話については、キャプチャ速度が毎秒15フレームに届かない場合、符号化サーバはフレーム補間処理を行い、50m秒ごとに以前送信したビデオストリームを繰り返し送信して、リアルタイムコードストリームが出力されることを確実にする。
【００７２】
本開示の本実施形態では、符号化サーバは、YUV形式に変換された第5の画像に対して符号化処理を行った後にコードストリームを取得し、符号化サーバは、コードストリームに対してRTMPカプセル化処理を行ってビデオストリームを取得する。
【００７３】
609:符号化サーバは、ストリーミングサーバへビデオストリームを送信する。
【００７４】
610:ストリーミングサーバは、ターゲット再生デバイスへビデオストリームを送信する。
【００７５】
本開示の本実施形態では、ビデオストリームを取得した後、符号化サーバは、ストリーミングサーバへビデオストリームを送信することができる。画像が移動端末および符号化サーバによって処理されるので、ビデオストリームは小さく、ビデオストリームを送信するために占められる帯域幅は狭く、伝送速度は高い。
【００７６】
ビデオストリームを受信した後、ストリーミングサーバは、ビデオストリームのターゲット再生デバイスを決定し、ターゲット再生デバイスへビデオストリームを送信する。第3の画像およびビデオストリームを送信するプロセスにおいて占められる帯域幅は狭く、伝送速度は高いので、ターゲット再生デバイスの再生はより滑らかである。
【００７７】
前述の実施形態による方法のステップの全部または一部がプログラムが命令する関連ハードウェアによって実現することができることを当業者は理解できよう。プログラムは、コンピュータ可読記憶媒体に記憶することができ、記憶媒体は、リードオンリメモリ、磁気ディスク、光ディスクなどであり得る。
【００７８】
本開示によって提供されたビデオ同期再生方法、装置、およびシステムは、詳細に上述されている。当業者は、本開示の各実施形態の概念による特定の実施のやり方および応用範囲に対する修正を行うことができる。結論として、本明細書は、本開示に限定されるものとして解釈されるべきではない。
【符号の説明】
【００７９】
401  画像キャプチャモジュール
402  スケーリングモジュール
403  圧縮モジュール
404  送信モジュール
4021  照会モジュール
4022  スケーリング処理モジュール
501  復元モジュール
502  ビットマップスケーリングモジュール
503  処理モジュール
504  ビデオストリーム送信モジュール
505  フレーム補間モジュール
【図１】
0006338688.tif 000002
【図２】
0006338688.tif 000003
【図３】
0006338688.tif 000004
【図４】
0006338688.tif 000005
【図５】
0006338688.tif 000006
【図６】
0006338688.tif 000007