(57)【要約】  本出願は、ビデオ伝送の分野に属し、ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体を開示する。方法は、ターゲットビデオデータセグメントを取得するステップと、t個の参照データセットを取得するステップと、各参照データセットを使用してターゲットビデオデータセグメントを符号化して、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するステップであって、t個の符号化データブロック内の任意のk個の符号化データブロックと、t個の参照データセット内の、任意のk個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとで、連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである、ステップと、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップであって、各第1の参照データグループが1つの符号化データブロックおよび対応する参照データセットを含む、ステップとを含む。本出願では、ライブビデオにおいてフリーズおよび遅延が発生する確率を下げることができる。
2021505081.tif 000002
【特許請求の範囲】
【請求項１】
ライブブロードキャストネットワークにおいてビデオ符号化デバイスで使用される、ビデオ伝送方法であって、前記ライブブロードキャストネットワークが、前記ビデオ符号化デバイスと、ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記方法が、
ターゲットビデオデータセグメントを取得するステップであって、前記ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、ステップと、
t個の参照データセットを取得するステップであって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、ステップと、
各参照データセットを使用して前記ターゲットビデオデータセグメントを符号化して、前記t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するステップであって、前記t個の参照データセット内の任意のk個の参照データセットと、前記任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、前記連立方程式行列の解行列のデータが前記ターゲットビデオデータセグメントのデータである、ステップと、
n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信するステップであって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、ステップと
を含む、方法。
【請求項２】
各参照データセットが、前記k個のデータブロックと一対一の対応関係にあるk個の参照データを含み、
各参照データセットを使用して前記ターゲットビデオデータセグメントを符号化して、前記t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得する前記ステップが、
参照データセットごとに、前記参照データセットに含まれる各参照データを対応するデータブロックで乗算して、k個の積を取得するステップと、
前記k個の積を加算して、前記参照データセットに対応する符号化データブロックを取得するステップと
を含む、請求項1に記載の方法。
【請求項３】
ターゲットビデオデータセグメントを取得する前記ステップが、
前記送信されるべきライブビデオの前記ビデオデータストリームを取得するステップと、
前記ビデオデータストリームからデータブロックを取得するステップと、
第1の事前設定時間において、取得されたデータブロックの数がk以上である場合、前記取得されたk個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成するステップ、または
取得されたデータブロックの前記数が前記第1の事前設定時間の終了時にk未満である場合、事前設定データを使用して前記取得されたデータブロックをパディングして、k個のデータブロックを取得し、パディングによって取得された前記k個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成するステップと
を含む、請求項1に記載の方法。
【請求項４】
前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された（p＋1）番目のビデオデータセグメントであり、pが1以上の正の整数であり、
t個の参照データセットを取得する前記ステップの前に、前記方法が、
前記ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信するステップであって、前記p個の履歴復号差分が、前記ビデオデータストリームにおいて前記ターゲットビデオデータセグメントに先行するp個のビデオデータセグメントと一対一の対応関係にあり、各履歴復号差分が、復号によって対応するビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時に前記ビデオ復号デバイスに不足している参照データグループの数を表すために使用される、ステップと、
前記p個の履歴復号差分に基づき、取得される必要のある参照データセットの前記数tの値を決定するステップと
をさらに含む、請求項1に記載の方法。
【請求項５】
前記p個の履歴復号差分内のi番目の履歴復号差分diが、
前記ビデオ復号デバイスが、復号によって前記第2の事前設定時間において、前記ビデオデータストリーム内の、前記i番目の履歴復号差分に対応するi番目のビデオデータセグメントを正常に取得する場合、di＝0を満たし、
前記ビデオ復号デバイスが、前記第2の事前設定時間の終了時に復号による前記i番目のビデオデータセグメントの取得に失敗する場合、di＝y−xを満たし、式中、yが、復号によって前記i番目のビデオデータセグメントを正常に取得するために前記ビデオ復号デバイスによって必要とされる参照データグループの数であり、xが、前記第2の事前設定時間の終了時に前記ビデオ復号デバイスによって取得される前記i番目のビデオデータセグメントに対応する参照データグループの数であり、1≦i≦pである、請求項4に記載の方法。
【請求項６】
前記p個の履歴復号差分に基づき、取得される必要のある参照データセットの前記数tの値を決定する前記ステップが、
前記p個の履歴復号差分と第1の式とに基づき、取得される必要のある参照データセットの前記数tの前記値を計算するステップであって、前記第1の式が、
【数１】
2021505081.tif 000043
であり、式中、
【数２】
2021505081.tif 000044
であり、式中、gが、重みパラメータであり、diが、前記p個の履歴復号差分内のi番目の履歴復号差分であり、tpが、前記ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前に前記ビデオ符号化デバイスによって取得された参照データセットの数である、ステップ
を含む、請求項4または5に記載の方法。
【請求項７】
前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された最初のビデオデータセグメントであり、
t個の参照データセットを取得する前記ステップの前に、前記方法が、
前記ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの前記数tの値を決定するステップ
をさらに含む、請求項1に記載の方法。
【請求項８】
前記ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの前記数tの値を決定する前記ステップが、
前記ライブブロードキャストネットワークの前記平均パケット損失率と第2の式とに基づき、取得される必要のある参照データセットの前記数tの前記値を計算するステップであって、前記第2の式が、
【数３】
2021505081.tif 000045
であり、式中、ρが、前記ライブブロードキャストネットワークの前記平均パケット損失率であり、
【数４】
2021505081.tif 000046
が、切り捨て演算子である、ステップ
を含む、請求項7に記載の方法。
【請求項９】
n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信する前記ステップの前に、前記方法が、
前記ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバを決定するステップであって、rがn以上の正の整数である、ステップと、
前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間のデータ伝送速度に基づいて前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを決定するステップであって、前記n台のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質が別のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質よりも良好である、ステップと
をさらに含む、請求項1に記載の方法。
【請求項１０】
前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間のデータ伝送速度に基づいて前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを決定する前記ステップが、
第3の式と、前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間の前記データ伝送速度とに基づいて各フロントエンドサーバの利用価値を計算するステップであって、前記第3の式が、
【数５】
2021505081.tif 000047
であり、式中、ujが、前記r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、1≦j≦rであり、thrjが、前記ビデオ符号化デバイスと前記j番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjが、前記ビデオ符号化デバイスと前記j番目のフロントエンドサーバとの間のパケット損失率であり、ρが、前記ライブブロードキャストネットワークの平均パケット損失率であり、βが、定数である、ステップと、
前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを利用価値の降順に決定するステップと
を含む、請求項9に記載の方法。
【請求項１１】
n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信する前記ステップが、
第4の式に基づき、前記n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を決定するステップであって、前記第4の式が、
【数６】
2021505081.tif 000048
であり、式中、ylが、前記n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulが、前記最初のフロントエンドサーバの利用価値であり、
【数７】
2021505081.tif 000049
が、前記n台のフロントエンドサーバの利用価値の和であり、1≦l≦nである、ステップと、
各フロントエンドサーバが受信した第1の参照データグループを前記ビデオ復号デバイスに送信するように、各フロントエンドサーバに対応する数の第1の参照データグループを送信するステップと
を含む、請求項10に記載の方法。
【請求項１２】
ターゲットビデオデータセグメントを取得する前記ステップの前に、前記方法が、
データブロックの前記数kに対応する伝送遅延が事前設定伝送遅延範囲内に収まるように、伝送遅延とデータブロックの数との間の事前設定対応関係に基づいて前記ターゲットビデオデータセグメント内のデータブロックの前記数kを決定するステップであって、前記伝送遅延が、アンカ端末が前記ビデオ復号デバイスに前記ビデオデータセグメントを送信するときに存在している伝送遅延である、ステップ
をさらに含む、請求項1に記載の方法。
【請求項１３】
ライブブロードキャストネットワークにおいてビデオ復号デバイスで使用される、ビデオ伝送方法であって、前記ライブブロードキャストネットワークが、ビデオ符号化デバイスと、前記ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記方法が、
u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップであって、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、前記ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、前記ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、前記参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、ステップと、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと前記受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するステップと、
前記連立方程式行列の計算された解行列のデータを、前記ターゲットビデオデータセグメントのデータとして決定するステップと
を含む、方法。
【請求項１４】
前記方法が、
受信した第1の参照データグループの前記数が前記第2の事前設定時間の終了時にk未満である場合、受信した第1の参照データグループの前記数とkとの差分の絶対値を取得するステップと、
前記絶対値を現在の復号差分として前記ビデオ符号化デバイスに送信するステップと
をさらに含む、請求項13に記載の方法。
【請求項１５】
前記方法が、
前記第2の事前設定時間において、受信した第1の参照データグループの前記数がkに達した後、前記ビデオ符号化デバイスに現在の復号差分を送信するステップであって、前記現在の復号差分が0である、ステップ
をさらに含む、請求項13に記載の方法。
【請求項１６】
符号化データブロックと前記受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築する前記ステップが、
前記受信したk個の第1の参照データグループをパースして、k個の符号化データブロックと、前記k個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとを取得するステップと、
前記k個の符号化データブロックを使用して前記連立方程式行列の定数項行列を構築するステップであって、各符号化データブロックが前記定数項行列の1行として使用される、ステップと、
前記k個の参照データセットを使用して前記連立方程式行列の係数行列を構築するステップであって、各参照データセットが前記係数行列の1行として使用され、各参照データセットが前記係数行列において位置する前記行の階数が、対応する符号化データブロックが前記定数項行列において位置する行の階数と同じである、ステップと
を含む、請求項13に記載の方法。
【請求項１７】
u台のフロントエンドサーバによって送信された第1の参照データグループを受信する前記ステップの後に、前記方法が、
前記第1の参照データグループを事前設定記憶場所に格納するステップであって、
前記事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、前記ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて決定され、
前記最大遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、前記最小遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに前記参照データグループを送信するために必要とされる最小時間である、ステップ
をさらに含む、請求項13に記載の方法。
【請求項１８】
前記事前設定記憶場所の前記記憶空間サイズが第6の式を満たし、前記第6の式が、
【数８】
2021505081.tif 000050
であり、式中、Qが、前記事前設定記憶場所の前記記憶空間サイズであり、max（delay）が、前記最大遅延時間であり、min（delay）が、前記最小遅延時間であり、generate_timeが、前記ビデオデータストリーム内の前記ビデオデータセグメントの前記生成時間であり、sが、前記ビデオデータセグメントのデータ量サイズである、請求項17に記載の方法。
【請求項１９】
ライブブロードキャストネットワークにおいてビデオ符号化デバイスで使用される、ビデオ伝送装置であって、前記ライブブロードキャストネットワークが、前記ビデオ符号化デバイスと、ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記装置が、
ターゲットビデオデータセグメントを取得するように構成された第1の取得モジュールであって、前記ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、第1の取得モジュールと、
t個の参照データセットを取得するように構成された第2の取得モジュールであって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、第2の取得モジュールと、
各参照データセットを使用して前記ターゲットビデオデータセグメントを符号化して、前記t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するように構成された符号化モジュールであって、前記t個の参照データセット内の任意のk個の参照データセットと、前記任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、前記連立方程式行列の解行列のデータが前記ターゲットビデオデータセグメントのデータである、符号化モジュールと、
n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信するように構成された送信モジュールであって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、送信モジュールと
を含む、装置。
【請求項２０】
各参照データセットが、前記k個のデータブロックと一対一の対応関係にあるk個の参照データを含み、
前記符号化モジュールが、
参照データセットごとに、前記参照データセットに含まれる各参照データを対応するデータブロックで乗算して、k個の積を取得することと、
前記k個の積を加算して、前記参照データセットに対応する符号化データブロックを取得することと
を行うように構成される、請求項19に記載の装置。
【請求項２１】
前記第1の取得モジュールが、
前記送信されるべきライブビデオの前記ビデオデータストリームを取得することと、
前記ビデオデータストリームからデータブロックを取得することと、
第1の事前設定時間において、取得されたデータブロックの数がk以上である場合、前記取得されたk個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成すること、または
取得されたデータブロックの前記数が前記第1の事前設定時間の終了時にk未満である場合、事前設定データを使用して前記取得されたデータブロックをパディングして、k個のデータブロックを取得し、パディングによって取得された前記k個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成することと
を行うように構成される、請求項19に記載の装置。
【請求項２２】
前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された（p＋1）番目のビデオデータセグメントであり、pが1以上の正の整数であり、
前記装置が、第1の決定モジュールをさらに含み、
前記第1の決定モジュールが、
前記ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信することであって、前記p個の履歴復号差分が、前記ビデオデータストリームにおいて前記ターゲットビデオデータセグメントに先行するp個のビデオデータセグメントと一対一の対応関係にあり、各履歴復号差分が、復号によって対応するビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時に前記ビデオ復号デバイスに不足している参照データグループの数を表すために使用される、ことと、
前記p個の履歴復号差分に基づき、取得される必要のある参照データセットの前記数tの値を決定することと
を行うように構成される、請求項19に記載の装置。
【請求項２３】
前記p個の履歴復号差分内のi番目の履歴復号差分diが、
前記ビデオ復号デバイスが、復号によって前記第2の事前設定時間において、前記ビデオデータストリーム内の、前記i番目の履歴復号差分に対応するi番目のビデオデータセグメントを正常に取得する場合、di＝0を満たし、
前記ビデオ復号デバイスが、前記第2の事前設定時間の終了時に復号による前記i番目のビデオデータセグメントの取得に失敗する場合、di＝y−xを満たし、式中、yが、復号によって前記i番目のビデオデータセグメントを正常に取得するために前記ビデオ復号デバイスによって必要とされる参照データグループの数であり、xが、前記第2の事前設定時間の終了時に前記ビデオ復号デバイスによって取得される前記i番目のビデオデータセグメントに対応する参照データグループの数であり、1≦i≦pである、請求項22に記載の装置。
【請求項２４】
前記第1の決定モジュールが、
前記p個の履歴復号差分と第1の式とに基づき、取得される必要のある参照データセットの前記数tの前記値を計算することであって、前記第1の式が、
【数９】
2021505081.tif 000051
であり、式中、
【数１０】
2021505081.tif 000052
であり、式中、gが、重みパラメータであり、diが、前記p個の履歴復号差分内のi番目の履歴復号差分であり、tpが、前記ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前に前記ビデオ符号化デバイスによって取得された参照データセットの数である、こと
を行うように構成される、請求項22または23に記載の装置。
【請求項２５】
前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された最初のビデオデータセグメントであり、
前記装置が、第2の決定モジュールをさらに含み、
前記第2の決定モジュールが、
前記ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの前記数tの値を決定すること
を行うように構成される、請求項19に記載の装置。
【請求項２６】
前記第2の決定モジュールが、
前記ライブブロードキャストネットワークの前記平均パケット損失率と第2の式とに基づき、取得される必要のある参照データセットの前記数tの前記値を計算することであって、前記第2の式が、
【数１１】
2021505081.tif 000053
であり、式中、ρが、前記ライブブロードキャストネットワークの前記平均パケット損失率であり、
【数１２】
2021505081.tif 000054
が、切り捨て演算子である、こと
を行うように構成される、請求項25に記載の装置。
【請求項２７】
前記装置が、第3の決定モジュールをさらに含み、
前記第3の決定モジュールが、
前記ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバを決定することであって、rがn以上の正の整数である、ことと、
前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間のデータ伝送速度に基づいて前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを決定することであって、前記n台のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質が別のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質よりも良好である、ことと
を行うように構成される、請求項19に記載の装置。
【請求項２８】
前記第3の決定モジュールが、
第3の式と、前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間の前記データ伝送速度とに基づいて各フロントエンドサーバの利用価値を計算することであって、前記第3の式が、
【数１３】
2021505081.tif 000055
であり、式中、ujが、前記r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、1≦j≦rであり、thrjが、前記ビデオ符号化デバイスと前記j番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjが、前記ビデオ符号化デバイスと前記j番目のフロントエンドサーバとの間のパケット損失率であり、ρが、前記ライブブロードキャストネットワークの平均パケット損失率であり、βが、定数である、ことと、
前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを利用価値の降順に決定することと
を行うように構成される、請求項27に記載の装置。
【請求項２９】
前記送信モジュールが、
第4の式に基づき、前記n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を決定することであって、前記第4の式が、
【数１４】
2021505081.tif 000056
であり、式中、ylが、前記n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulが、前記最初のフロントエンドサーバの利用価値であり、
【数１５】
2021505081.tif 000057
が、前記n台のフロントエンドサーバの利用価値の和であり、1≦l≦nである、ことと、
各フロントエンドサーバが受信した第1の参照データグループを前記ビデオ復号デバイスに送信するように、前記各フロントエンドサーバに対応する数の第1の参照データグループを送信することと
を行うように構成される、請求項28に記載の装置。
【請求項３０】
前記装置が、第4の決定モジュールをさらに含み、
前記第4の決定モジュールが、
データブロックの前記数kに対応する伝送遅延が事前設定伝送遅延範囲内に収まるように、伝送遅延とデータブロックの数との間の事前設定対応関係に基づいて前記ターゲットビデオデータセグメント内のデータブロックの前記数kを決定することあって、前記伝送遅延が、アンカ端末が前記ビデオ復号デバイスに前記ビデオデータセグメントを送信するときに存在している伝送遅延である、こと
を行うように構成される、請求項19に記載の装置。
【請求項３１】
ライブブロードキャストネットワークにおいてビデオ復号デバイスで使用される、ビデオ伝送装置であって、前記ライブブロードキャストネットワークが、ビデオ符号化デバイスと、前記ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記装置が、
u台のフロントエンドサーバによって送信された第1の参照データグループを受信するように構成された受信モジュールであって、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、前記ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、前記ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、前記参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、受信モジュールと、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと前記受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するように構成された構築モジュールと、
前記連立方程式行列の計算された解行列のデータを、前記ターゲットビデオデータセグメントのデータとして決定するように構成された決定モジュールと
を含む、装置。
【請求項３２】
前記装置が、第1の送信モジュールをさらに含み、
前記第1の送信モジュールが、
受信した第1の参照データグループの前記数が前記第2の事前設定時間の終了時にk未満である場合、受信した第1の参照データグループの前記数とkとの差分の絶対値を取得することと、
前記絶対値を現在の復号差分として前記ビデオ符号化デバイスに送信することと
を行うように構成される、請求項31に記載の装置。
【請求項３３】
前記装置が、第2の送信モジュールをさらに含み、
前記第2の送信モジュールが、
前記第2の事前設定時間において、受信した第1の参照データグループの前記数がkに達した後、前記ビデオ符号化デバイスに現在の復号差分を送信することであって、前記現在の復号差分が0である、こと
を行うように構成される、請求項31に記載の装置。
【請求項３４】
前記構築モジュールが、
前記受信したk個の第1の参照データグループをパースして、k個の符号化データブロックと、前記k個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとを取得することと、
前記k個の符号化データブロックを使用して前記連立方程式行列の定数項行列を構築することであって、各符号化データブロックが前記定数項行列の1行として使用される、ことと、
前記k個の参照データセットを使用して前記連立方程式行列の係数行列を構築することであって、各参照データセットが前記係数行列の1行として使用され、各参照データセットが前記係数行列において位置する前記行の階数が、対応する符号化データブロックが前記定数項行列において位置する行の階数と同じである、ことと
を行うように構成される、請求項31に記載の装置。
【請求項３５】
前記装置が、記憶モジュールをさらに含み、
前記記憶モジュールが、
前記第1の参照データグループを事前設定記憶場所に格納することであって、
前記事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、前記ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて決定され、
前記最大遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、前記最小遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに前記参照データグループを送信するために必要とされる最小時間である、こと
を行うように構成される、請求項31に記載の装置。
【請求項３６】
前記事前設定記憶場所の前記記憶空間サイズが第6の式を満たし、前記第6の式が、
【数１６】
2021505081.tif 000058
であり式中、Qが、前記事前設定記憶場所の前記記憶空間サイズであり、max（delay）が、前記最大遅延時間であり、min（delay）が、前記最小遅延時間であり、generate_timeが、前記ビデオデータストリーム内の前記ビデオデータセグメントの前記生成時間であり、sが、前記ビデオデータセグメントのデータ量サイズである、請求項35に記載の装置。
【請求項３７】
ビデオ伝送装置であって、前記ビデオ伝送装置が、プロセッサとメモリとを含み、
前記プロセッサが、前記メモリに格納された命令を実行するように構成され、
前記プロセッサが、前記命令を実行して、請求項1から12のいずれか一項に記載のビデオ伝送方法を実施する、ビデオ伝送装置。
【請求項３８】
ビデオ伝送装置であって、前記ビデオ伝送装置が、プロセッサとメモリとを含み、
前記プロセッサが、前記メモリに格納された命令を実行するように構成され、
前記プロセッサが、前記命令を実行して、請求項13から18のいずれか一項に記載のビデオ伝送方法を実施する、ビデオ伝送装置。
【請求項３９】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体が命令を格納し、
前記命令がコンピュータの処理コンポーネントで動作すると、前記処理コンポーネントが、請求項1から12のいずれか一項に記載のビデオ伝送方法を実施可能となるか、または前記処理コンポーネントが、請求項13から18のいずれか一項に記載のビデオ伝送方法を実施可能となる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、2017年11月30日付で中国特許庁に出願された、「VIDEO TRANSMISSION METHOD, APPARATUS, AND SYSTEM, AND COMPUTER READABLE STORAGE MEDIUM」という名称の中国特許出願第CN201711244047.2号の優先権を主張するものであり、参照により上記中国特許出願の全体が本明細書に組み入れられる。
【０００２】
本出願は、ビデオ伝送分野に関し、特に、ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体に関する。
【背景技術】
【０００３】
現在、ネットワークライブブロードキャストが人々の日常生活においてますます一般的になってきている。ネットワークライブブロードキャストとは、ライブブロードキャストネットワークを使用して行われるライブビデオブロードキャストを意味する。ネットワークライブブロードキャストプロセスにおいては、アンカ端末がライブビデオを撮影し、そのライブビデオを対応するサーバに送信し、次いでサーバがそのライブビデオを視聴者端末に送信して、視聴者端末が属するユーザがライブビデオを見る。ネットワークライブブロードキャスト中には、ライブビデオの上りリンクと下りリンクの両方がリアルタイムであり、ライブブロードキャストネットワークはライブビデオを事前にキャッシュすることができない。加えて、ライブビデオの遅延の程度およびフリーズの程度についてのユーザの要件は比較的高い。したがって、ライブビデオの低遅延および低フリーズを保証するためにライブビデオの上り速度と下り速度とをどのように保証するかが、ネットワークライブブロードキャストの重要な部分になる。
【０００４】
関連技術では、ライブブロードキャストネットワークは、コンテンツ配信ネットワーク（英語：Content Delivery Network、略称：CDN）を含み得る。ライブビデオの上りプロセスにおいて、アンカ端末はCDNネットワーク内のフロントエンドサーバにライブビデオを送信してもよく、フロントエンドサーバはライブビデオをCDNネットワーク内のバックグラウンドストレージサーバに転送し得る。下りライブブロードキャストプロセスにおいて、視聴者端末はライブビデオをCDNネットワーク内の別のフロントエンドサーバに要求してもよく、要求を受信したフロントエンドサーバは、バックグラウンドストレージサーバからライブビデオを取得し、そのライブビデオを視聴者端末に送信し得る。CDNネットワークは、データがより速くより安定して伝送されるように、データ伝送の速度および安定性に影響を及ぼし得るインターネット上のボトルネックおよびプロセスを可能な限り回避することができる。したがって、関連技術は、ライブビデオの上り速度と下り速度とをある程度まで保証することができる。
【０００５】
本出願を実施する過程で、本発明者は、先行技術に少なくとも以下の問題があることに気づいた。
【０００６】
ライブビデオの上りプロセスにおいて、パケット損失が発生した場合、アンカ端末はビデオデータを再送する必要があり、これによりライブビデオのフリーズおよび遅延が容易に引き起こされる。
【発明の概要】
【課題を解決するための手段】
【０００７】
本出願は、ビデオ伝送方法、ビデオ伝送装置、およびビデオ伝送システム、ならびにコンピュータ可読記憶媒体を提供する。本出願で提供される技術的解決策は、ライブビデオでフリーズおよび遅延が発生する確率を下げることができる。本出願で提供される技術的解決策は以下のとおりである。
【０００８】
第1の態様によれば、ビデオ伝送方法が提供され、方法はライブブロードキャストネットワークにおいてビデオ符号化デバイスで使用され、ライブブロードキャストネットワークは、ビデオ符号化デバイスと、ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、方法が、
ターゲットビデオデータセグメントを取得するステップであって、ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、ステップと、
t個の参照データセットを取得するステップであって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、ステップと、
各参照データセットを使用してターゲットビデオデータセグメントを符号化して、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するステップであって、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである、ステップと、
n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップであって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、ステップとを含む。
【０００９】
本出願では、ビデオ符号化デバイスは、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化してもよく、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
【００１０】
本出願の一実施形態では、各参照データセットが、k個のデータブロックと一対一の対応関係にあるk個の参照データを含み、各参照データセットを使用してターゲットビデオデータセグメントを符号化して、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するステップは、
参照データセットごとに、参照データセットに含まれる各参照データを対応するデータブロックで乗算して、k個の積を取得するステップと、
k個の積を加算して、参照データセットに対応する符号化データブロックを取得するステップとを含む。
【００１１】
本出願の一実施形態では、ターゲットビデオデータセグメントを取得するステップは、
送信されるべきライブビデオのビデオデータストリームを取得するステップと、
ビデオデータストリームからデータブロックを取得するステップと、
第1の事前設定時間において、取得されたデータブロックの数がk以上である場合、取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成するステップ、または
取得されたデータブロックの数が第1の事前設定時間の終了時にk未満である場合、事前設定データを使用して取得されたデータブロックをパディングして、k個のデータブロックを取得し、パディングによって取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成するステップとを含む。
【００１２】
場合によっては、ネットワーク通信品質の問題が原因で、ビデオ符号化デバイスは、比較的低速でビデオデータストリームを取得し得る。この場合、ビデオ符号化デバイスは、ビデオデータストリームからk個のデータブロックをすぐに取得することができず、ビデオ符号化デバイスの符号化速度が比較的遅くなる可能性がある。ビデオ符号化デバイスの符号化速度を保証するために、本出願では、ビデオ符号化デバイスが第1の事前設定時間においてk個のデータブロックの取得に失敗したとき、ビデオ符号化デバイスは、k個のデータブロックを取得するために、事前設定データを使用して取得されたデータブロックにパディングし、次いで、符号化速度を向上させるために、パディングによって取得されたk個のデータブロックを符号化し得る。
【００１３】
本出願の一実施形態では、ターゲットビデオデータセグメントは、ビデオデータストリームからビデオ符号化デバイスによって取得された（p＋1）番目のビデオデータセグメントであり、pは1以上の正の整数であり、t個の参照データセットを取得するステップの前に、方法が、
ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信するステップであって、p個の履歴復号差分が、ビデオデータストリームにおいてターゲットビデオデータセグメントに先行するp個のビデオデータセグメントと一対一の対応関係にあり、各履歴復号差分が、復号によって対応するビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時にビデオ復号デバイスに不足している参照データグループの数を表すために使用される、ステップと、
p個の履歴復号差分に基づき、取得される必要のある参照データセットの数tの値を決定するステップとをさらに含む。
【００１４】
任意選択で、p個の履歴復号差分内のi番目の履歴復号差分diは、
ビデオ復号デバイスが、復号によって第2の事前設定時間において、ビデオデータストリーム内の、i番目の履歴復号差分に対応するi番目のビデオデータセグメントを正常に取得する場合、di＝0を満たし、
ビデオ復号デバイスが、第2の事前設定時間の終了時に復号によってi番目のビデオデータセグメントの取得に失敗する場合、di＝y−xを満たし、式中、yは、復号によりi番目のビデオデータセグメントを正常に取得するためにビデオ復号デバイスによって必要とされる参照データグループの数であり、xは、第2の事前設定時間の終了時にビデオ復号デバイスによって取得されるi番目のビデオデータセグメントに対応する参照データグループの数であり、1≦i≦pである。
【００１５】
任意選択で、p個の履歴復号差分に基づき、取得される必要のある参照データセットの数tの値を決定するステップが、
p個の履歴復号差分と第1の式とに基づき、取得される必要のある参照データセットの数tの値を計算するステップであって、第1の式が、
【数１】
2021505081.tif 000003
であり、式中、
【数２】
2021505081.tif 000004
であり、式中、gは、重みパラメータであり、diは、p個の履歴復号差分内のi番目の履歴復号差分diであり、tpは、ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前にビデオ符号化デバイスによって取得された参照データセットの数である、ステップを含む。
【００１６】
本出願の一実施形態では、ターゲットビデオデータセグメントは、ビデオデータストリームからビデオ符号化デバイスによって取得された最初のビデオデータセグメントであり、t個の参照データセットを取得するステップの前に、方法が、
ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの数tの値を決定するステップをさらに含む。
【００１７】
任意選択で、ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの数tの値を決定するステップが、
ライブブロードキャストネットワークの平均パケット損失率と第2の式とに基づき、取得される必要のある参照データセットの数tの値を計算するステップであって、第2の式が、
【数３】
2021505081.tif 000005
であり、式中、ρが、ライブブロードキャストネットワークの平均パケット損失率であり、
【数４】
2021505081.tif 000006
が、切り捨て演算子である、ステップを含む。
【００１８】
t個の参照データセットを取得する前に、ビデオ符号化デバイスは、第1の式または第2の式に基づいてtの値を決定するので、ビデオ符号化デバイスがtに適正な値を設定することを保証でき、それによって、ライブブロードキャストネットワークのネットワークリソースの無駄が回避され、ビデオ復号デバイスが復号によりターゲットビデオデータセグメントを正常に取得できない事例が回避される。
【００１９】
本出願の一実施形態では、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップの後に、方法が、
ビデオ復号デバイスによって送信された現在の復号差分を受信するステップであって、現在の復号差分がターゲットビデオデータセグメントに対応し、現在の復号差分が、復号によりターゲットビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時にビデオ復号デバイスに不足している第1の参照データグループの数を表すために使用される、ステップと、
現在の復号差分が事前設定差分閾値より大きい場合、m個の参照データセットを取得し、m個の参照データセットの各々を使用してターゲットビデオデータセグメントを符号化して、m個の参照データセットと一対一の対応関係にあるm個の符号化データブロックを取得するステップであって、mがk以上の正の整数である、ステップと、
q台のフロントエンドサーバを使用してビデオ復号デバイスにm個の第1の参照データグループを送信するステップであって、qが1以上の正の整数である、ステップとをさらに含む。
【００２０】
ビデオ復号デバイスが復号によるターゲットビデオデータセグメントの取得に失敗した場合、ビデオ符号化デバイスは、ビデオ復号デバイスが復号によりターゲットビデオデータセグメントを正常に取得できるようにするために、第1の参照データグループをさらに再送し得る。
【００２１】
本出願の一実施形態では、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップの前に、方法が、
ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバを決定するステップであって、rがn以上の正の整数である、ステップと、
ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度に基づいてr台のフロントエンドサーバの中からn台のフロントエンドサーバを決定するステップであって、n台のフロントエンドサーバとビデオ符号化デバイスとの間の通信品質が別のフロントエンドサーバとビデオ符号化デバイスとの間の通信品質よりも良好である、ステップとをさらに含む。
【００２２】
任意選択で、ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度に基づいてr台のフロントエンドサーバの中からn台のフロントエンドサーバを決定するステップが、
第3の式と、ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度とに基づいて各フロントエンドサーバの利用価値を計算するステップであって、第3の式が、
【数５】
2021505081.tif 000007
であり、式中、ujが、r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、1≦j≦rであり、thrjが、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjが、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のパケット損失率であり、ρが、ライブブロードキャストネットワークの平均パケット損失率であり、βが、定数である、ステップと、
r台のフロントエンドサーバの中からn台のフロントエンドサーバを利用価値の降順に決定するステップとを含む。
【００２３】
任意選択で、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップが、
各フロントエンドサーバの利用価値に基づき、各フロントエンドサーバに対応する第1の参照データグループの数を決定するステップであって、フロントエンドサーバに対応する第1の参照データグループの数がフロントエンドサーバの利用価値と正に相関し、n台のフロントエンドサーバに対応する第1の参照データグループの数の和がtである、ステップと、
各フロントエンドサーバに対応する数の第1の参照データグループを送信するステップとを含む。
【００２４】
任意選択で、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップが、
第4の式に基づき、n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を決定するステップであって、第4の式が、
【数６】
2021505081.tif 000008
であり、式中、ylが、n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulが、最初のフロントエンドサーバの利用価値であり、
【数７】
2021505081.tif 000009
が、n台のフロントエンドサーバの利用価値の和であり、1≦l≦nである、ステップと、
各フロントエンドサーバが受信した第1の参照データグループをビデオ復号デバイスに送信するように、各フロントエンドサーバに対応する数の第1の参照データグループを送信するステップとを含む。
【００２５】
ビデオ符号化デバイスは、ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバの中からより良いネットワーク通信品質を有するn台のフロントエンドサーバを決定し、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信し得る。ビデオ符号化デバイスと決定されたn台のフロントエンドサーバとの間のネットワーク通信品質が比較的高いため、ビデオ符号化デバイスはn台のフロントエンドサーバを使用して比較的高速でデータを送信するので、ビデオデータストリームの上り速度を保証することができる。
【００２６】
加えて、利用価値が比較的大きいフロントエンドサーバとビデオ符号化デバイスとの間のネットワーク通信品質は比較的高く、ビデオ符号化デバイスはフロントエンドサーバに比較的多数の第1の参照データグループを送信し得る。利用価値が比較的小さいフロントエンドサーバとビデオ符号化デバイスとの間のネットワーク通信品質は比較的低く、データ伝送遅延を減らすために、ビデオ符号化デバイスはフロントエンドサーバに比較的少数の第1の参照データグループを送信し得る。
【００２７】
本出願の一実施形態では、ターゲットビデオデータセグメントを取得するステップの前に、方法が、
データブロックの数kに対応する伝送遅延が事前設定伝送遅延範囲内に収まるように、伝送遅延とデータブロックの数との間の事前設定対応関係に基づいてターゲットビデオセグメント内のデータブロックの数kを決定するステップであって、伝送遅延が、アンカ端末がビデオ復号デバイスにビデオデータセグメントを送信するときに存在している伝送遅延である、ステップをさらに含む。
【００２８】
任意選択で、対応関係は、
【数８】
2021505081.tif 000010
であり、式中、delayは、伝送遅延であり、Bは、データブロックのデータ量サイズであり、bit_rateは、送信されるべきライブビデオのビデオ再生ビットレートであり、T0は、そのデータ量サイズがB0であるK0個のデータブロックを含むビデオデータセグメントを符号化または復号するのに必要な時間であり、βは、定数であり、ρminは、ビデオ符号化デバイスとn台のフロントエンドサーバの各々との間のパケット損失率の最小値であり、ρは、ライブブロードキャストネットワークの平均パケット損失率であり、thrwは、ビデオ符号化デバイスとn台のフロントエンドサーバ内のw番目のフロントエンドサーバとの間のデータ伝送速度であり、ρwは、ビデオ符号化デバイスとn台のフロントエンドサーバ内のw番目のフロントエンドサーバとの間のパケット損失率であり、RTTvは、n台のフロントエンドサーバ内のv番目のフロントエンドサーバとビデオ復号デバイスとの間のデータパケットの往復時間であり、loss％vは、n台のフロントエンドサーバ内のv番目のフロントエンドサーバとビデオ復号デバイスとの間のパケット損失率であり、RTOは、再送タイムアウトであり、maxは、最大化演算であり、Δは、エラー遅延であり、1≦v≦nである。
【００２９】
kに適正な値が設定されるので、ビデオデータセグメントの上り遅延を事前設定伝送遅延範囲内とすることができ、それによって、ビデオデータセグメントの上り速度が保証され、視聴者端末が送信されるべきライブビデオを再生するときにフリーズが非常に頻繁に発生するかまたは遅延が非常に長いという現象が回避される。
【００３０】
本出願の一実施形態では、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップが、
a個の参照データパケットを生成するステップであって、各参照データパケットが少なくとも1つの第1の参照データグループを含み、参照データパケットのフォーマットがユーザデータグラムプロトコルUDPベースのデータ伝送プロトコルUDTフォーマットであり、aが1以上の正の整数である、ステップと、
n台のフロントエンドサーバを使用してビデオ復号デバイスにa個の参照データパケットを送信するステップとを含む。
【００３１】
先行技術では、ライブブロードキャストネットワークで使用されるデータ伝送プロトコルは通常、伝送制御プロトコル（英語：Transmission Control Protocol、略称：TCP）であり、TCPプロトコルの輻輳制御機構は、加法的増加乗法的減少（英語：Additive Increase Multiplicative Decrease、略称：AIMD）機構である。AIMD機構では、パケット損失がリンク上で発生すると、リンクの送信ウィンドウが半減される。例えば、送信側デバイスAと受信側デバイスBとの間でパケット損失が発生すると、AIMD機構は送信側デバイスAの送信ウィンドウを半減させる。送信ウィンドウが半減されると、データ伝送速度が比較的重大な影響を受ける。したがって、ビデオデータストリームがTCPプロトコルに基づいてライブブロードキャストネットワークで伝送される場合、パケット損失がビデオデータストリームの伝送速度に比較的重大な影響を及ぼし、視聴者端末がライブビデオを再生するときに遅延が非常に長くフリーズが非常に頻繁に発生するという現象を引き起こす。
【００３２】
パケット損失によってライブブロードキャストネットワークにおけるビデオデータストリームの伝送速度に与えられる影響を低減させるために、本出願の本実施形態では、ライブブロードキャストネットワークはビデオデータストリームをUDTプロトコルに基づいて伝送し得る。具体的には、ビデオ符号化デバイスは、UDTプロトコルに基づいてビデオ復号デバイスにa個の参照データパケットを送信する。UDTプロトコルの輻輳制御機構は、減少加法的増加乗法的減少（英語：Decreasing Additive Increase Multiplicative Decrease、略称：DAIMD）機構である。DAIMD機構では、パケット損失がリンク上で発生すると、リンクの利用可能な帯域幅に基づいて送信ウィンドウが低減されてもよく、送信ウィンドウの低減の大きさは、1／8〜1／2の乱数である。したがって、パケット損失によってライブブロードキャストネットワークにおけるビデオデータストリームの伝送速度に与えられる影響を、TCPプロトコルでの影響と比較して低減させることができる。
【００３３】
本出願の一実施形態では、各参照データパケットは、ターゲットビデオデータセグメントの識別子および／または送信されるべきライブビデオが属するライブブロードキャストチャネルの識別子をさらに含む。
【００３４】
第2の態様によれば、ビデオ伝送方法が提供され、方法はライブブロードキャストネットワークにおいてビデオ復号デバイスで使用され、ライブブロードキャストネットワークは、ビデオ符号化デバイスと、ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、方法が、
u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップであって、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、ステップと、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するステップと、
連立方程式行列の計算された解行列のデータを、ターゲットビデオデータセグメントのデータとして決定するステップとを含む。
【００３５】
本出願の一実施形態では、u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップが、
u台のフロントエンドサーバによって送信された少なくとも1つの参照データパケットを受信するステップであって、各参照データパケットが少なくとも1つの第1の参照データグループを含み、参照データパケットのフォーマットがユーザデータグラムプロトコルUDPベースのデータ伝送プロトコルUDTフォーマットである、ステップを含む。
【００３６】
本出願の一実施形態では、方法が、
事前設定記憶場所に格納された第1の参照データグループの数が第2の事前設定時間の終了時にk未満である場合、事前設定記憶場所に格納された第1の参照データグループを削除するステップをさらに含む。
【００３７】
本出願の一実施形態では、方法が、
受信した第1の参照データグループの数が第2の事前設定時間の終了時にk未満である場合、受信した第1の参照データグループの数とkとの差分の絶対値を取得するステップと、
その絶対値を現在の復号差分としてビデオ符号化デバイスに送信するステップとをさらに含む。
【００３８】
ビデオ復号デバイスが第1の参照データグループを削除する場合、第1の参照データグループが過度に長い時間にわたって事前設定記憶場所を占有するために、他のビデオデータセグメントを符号化することによって取得された参照データグループが事前設定記憶場所からあふれるという事例を回避することができる。ビデオ復号デバイスが第1の参照データグループを削除せず、ビデオ符号化デバイスに現在の復号差分を送信する場合、ビデオ符号化デバイスによってビデオ復号デバイスに続いて再送される第1の参照データグループの数を低減させることができ、それによってネットワークリソースが節約される。
【００３９】
本出願の一実施形態では、方法が、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達した後、ビデオ符号化デバイスに現在の復号差分を送信するステップであって、現在の復号差分が0である、ステップをさらに含む。
【００４０】
本出願の一実施形態では、符号化データブロックと、受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するステップは、
受信したk個の第1の参照データグループをパースして、k個の符号化データブロックと、k個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとを取得するステップと、
k個の符号化データブロックを使用して連立方程式行列の定数項行列を構築するステップであって、各符号化データブロックが定数項行列の1行として使用される、ステップと、
k個の参照データセットを使用して連立方程式行列の係数行列を構築するステップであって、各参照データセットが係数行列の1行として使用され、各参照データセットが係数行列において位置する行の階数が、対応する符号化データブロックが定数項行列において位置する行の階数と同じである、ステップとを含む。
【００４１】
本出願の一実施形態では、u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップの後に、方法が、
少なくとも2つの第1の参照データグループを事前設定記憶場所に格納するステップをさらに含む。
【００４２】
本出願の一実施形態では、事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて決定され、
最大遅延時間は、ビデオ符号化デバイスによってフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、最小遅延時間は、ビデオ符号化デバイスによってフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最小時間である。
【００４３】
任意選択で、事前設定記憶場所の記憶空間サイズは第6の式を満たし、第6の式は、
【数９】
2021505081.tif 000011
であり、式中、Qは、事前設定記憶場所の記憶空間サイズであり、max（delay）は、最大遅延時間であり、min（delay）は、最小遅延時間であり、generate_timeは、ビデオデータストリーム内のビデオデータセグメントの生成時間であり、sは、ビデオデータセグメントのデータ量サイズである。
【００４４】
事前設定記憶場所は、複数のビデオデータセグメントを符号化することによって取得された参照データグループを同時に格納することが必要になる場合がある。事前設定記憶場所の記憶空間が過度に小さいことに起因する事前設定記憶場所からの参照データグループのオーバフローを回避するために、本出願の本実施形態では事前設定記憶空間に適正な記憶空間サイズが設定され得る。
【００４５】
第3の態様によれば、ビデオ伝送装置が提供され、装置は、少なくとも1つのモジュールを含み、少なくとも1つのモジュールは、第1の態様または第1の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施するように構成される。
【００４６】
第4の態様によれば、ビデオ伝送装置が提供され、装置は、少なくとも1つのモジュールを含み、少なくとも1つのモジュールは、第2の態様または第2の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施するように構成される。
【００４７】
第5の態様によれば、ビデオ伝送装置が提供され、装置は、プロセッサとメモリとを含み、
プロセッサは、メモリに格納された命令を実行するように構成され、プロセッサは、第1の態様または第1の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施するために命令を実行する。
【００４８】
第6の態様によれば、ビデオ伝送装置が提供され、装置は、プロセッサとメモリとを含み、
プロセッサは、メモリに格納された命令を実行するように構成され、プロセッサは、第2の態様または第2の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施するために命令を実行する。
【００４９】
第7の態様によれば、コンピュータ可読記憶媒体が提供され、コンピュータ可読記憶媒体は命令を格納し、命令がコンピュータの処理コンポーネントで動作すると、処理コンポーネントは、第1の態様もしくは第1の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施可能となるか、または処理コンポーネントは、第2の態様もしくは第2の態様のいずれかの任意選択の方法で提供されるビデオ伝送方法を実施可能となる。
【００５０】
本発明の実施形態で提供される技術的解決策によってもたらされる有益な効果は以下のとおりである。
【００５１】
ビデオ符号化デバイスは、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
【図面の簡単な説明】
【００５２】
【図１】関連技術において提供されるライブブロードキャストネットワークの概略図である。
【図２Ａ】本出願の一実施形態によるライブブロードキャストネットワークの概略図である。
【図２Ｂ】本出願の一実施形態による別のライブブロードキャストネットワークの概略図である。
【図３Ａ】本出願の一実施形態によるビデオ伝送方法の流れ図である。
【図３Ｂ】本出願の一実施形態による、ρ＝0.03およびβが異なる値を有する場合のρjと
【数１０】
2021505081.tif 000012
との間の関係曲線の図である。
【図４】本出願の一実施形態によるビデオ伝送方法のいくつかのステップの流れ図である。
【図５Ａ】本出願の一実施形態によるビデオ伝送方法のいくつかのステップの流れ図である。
【図５Ｂ】本出願の一実施形態による、伝送遅延とデータブロックの数kとの間の対応関係の概略図である。
【図６】本出願の一実施形態によるビデオ伝送装置のブロック図である。
【図７】本出願の一実施形態によるビデオ伝送装置のブロック図である。
【図８】本出願の一実施形態によるビデオ伝送装置のブロック図である。
【図９】本出願の一実施形態によるビデオ伝送装置のブロック図である。
【図１０】本出願の一実施形態によるビデオ伝送装置のブロック図である。
【図１１】本出願の一実施形態によるビデオ伝送装置のブロック図である。
【発明を実施するための形態】
【００５３】
本出願の目的、技術的解決策、および利点をより明確にするために、以下で、添付の図面に関連して本出願の実施態様を詳細にさらに説明する。
【００５４】
ネットワークライブブロードキャストとは、ライブブロードキャストネットワークを使用して行われるライブビデオブロードキャストを意味する。図1に示されるように、関連技術では、ライブブロードキャストネットワークは、アンカ端末101と、視聴者端末102と、アンカ端末101と視聴者端末102との間に位置するコンテンツ配信ネットワーク（英語：Content Delivery Network、略称：CDN）103とを含み得る。CDNネットワーク103は、複数のフロントエンドサーバ（図1では、2台のフロントエンドサーバ、すなわち、フロントエンドサーバBおよびフロントエンドサーバDのみが例として使用されている）と、集中コントローラAと、バックグラウンドストレージサーバCを含み得る。
【００５５】
実際の適用において、ネットワークライブブロードキャストは、2つのプロセス、すなわち、ライブビデオの上りリンクとライブビデオの下りリンクとを含み得る。ライブビデオの上りプロセスでは、アンカ端末101は、ライブビデオを撮影し、CDNネットワーク103内の集中コントローラAにアップロード要求を送信し得る。アップロード要求を受信した後、集中コントローラAは、特定のスケジューリングポリシーに基づいてアンカ端末101に、CDNネットワーク103内のフロントエンドサーバBのインターネットプロトコル（英語：Internet Protocol、略称：IP）アドレスを返し得る。フロントエンドサーバBは、CDNネットワーク103の複数のフロントエンドサーバ内の、地理的位置においてアンカ端末101に最も近いフロントエンドサーバである。アンカ端末101は、受信したIPアドレスに基づいてフロントエンドサーバBにライブビデオのビデオデータストリームを送信し得る。ビデオデータストリームを受信したフロントエンドサーバBは、そのビデオデータストリームをCDNネットワーク103内のバックグラウンドストレージサーバCに転送し得る。
【００５６】
ライブビデオの下りプロセスでは、視聴者端末102は集中コントローラAに視聴要求を送信し得る。視聴要求を受信した後、集中コントローラAは、特定のスケジューリングポリシーに基づいて視聴者端末102に、CDNネットワーク103内のフロントエンドサーバDのIPアドレスを返し得る。フロントエンドサーバDは、CDNネットワーク103の複数のフロントエンドサーバ内の、地理的位置において視聴者端末102に最も近いフロントエンドサーバである。視聴者端末102は、受信したIPアドレスに基づいてフロントエンドサーバDにデータストリーム取得要求を送信し得る。データストリーム取得要求を受信したフロントエンドサーバDは、バックグラウンドストレージサーバCからビデオデータストリームを取得し、そのビデオデータストリームを視聴者端末102に送信し得るので、視聴者端末102は受信したビデオデータストリームに基づいてライブビデオを再生する。
【００５７】
ライブビデオの上りプロセスにおいて、パケット損失が発生した場合、アンカ端末はビデオデータを再送する必要があり、これによりライブビデオのフリーズおよび遅延が容易に引き起こされる。加えて、先行技術では、アンカ端末はライブビデオを、CDNネットワーク内の1台のフロントエンドサーバのみに送信する。この単一パスのビデオデータ送信方法が原因で、アンカ端末の上り帯域幅利用度が比較的低くなる。実際の適用において、ライブブロードキャストネットワークの上り帯域幅は通常、比較的小さい。これにより、アンカ端末の上り帯域幅利用度が比較的低いためにライブビデオの上り速度が比較的低くなり、したがって、ライブビデオのフリーズおよび遅延が発生しやすい。
【００５８】
ライブビデオでフリーズおよび遅延が発生する確率を下げるために、本出願は、ビデオ伝送方法を提供する。図2Aは、本ビデオ伝送方法におけるライブブロードキャストネットワークの概略図である。図2Aに示されるように、ライブブロードキャストネットワークは、アンカ端末201と、CDNネットワーク202と、視聴者端末203とを含み得る。アンカ端末201および視聴者端末203は、携帯電話やタブレットコンピュータなどの、ビデオ再生機能を備えた電子デバイスであってもよく、CDNネットワーク202は、複数のフロントエンドサーバ2021と、ビデオ復号サーバ2022と、バックグラウンドストレージサーバ2023とを含み得る。図2Aに示されるライブブロードキャストネットワークにおいて、アンカ端末201は、CDNネットワーク202内の複数のフロントエンドサーバ2021のうちの少なくとも2台と通信し（図2Aには、アンカ端末201と通信する2台のフロントエンドサーバ2021のみが示されている）、少なくとも2台のフロントエンドサーバ2021の各々がビデオ復号サーバ2022と通信し、ビデオ復号サーバ2022はバックグラウンドストレージサーバ2023と通信し得る。視聴者端末203は、CDNネットワーク202内の複数のフロントエンドサーバ2021のうちの少なくとも1台と通信し（図2Aには、視聴者端末203を通信する1台のフロントエンドサーバ2021のみが示されている）、少なくとも1台のフロントエンドサーバ2021の各々がバックグラウンドストレージサーバ2023と通信し得る。
【００５９】
図2Bは、本出願によるビデオ伝送方法における別のライブブロードキャストネットワークの概略図である。図2Bに示されるライブブロードキャストネットワークのアーキテクチャは、図2Aに示されるライブブロードキャストネットワークのアーキテクチャと基本的に同じである。このライブブロードキャストネットワークも、アンカ端末201と、CDNネットワーク202と、視聴者端末203とを含み、このCDNネットワーク202も、複数のフロントエンドサーバ2021と、ビデオ復号サーバ2022と、バックグラウンドストレージサーバ2023とを含み得る。図2Bに示されるライブブロードキャストネットワークのアーキテクチャは、図2Bに示されるライブブロードキャストネットワークがビデオ符号化サーバ204をさらに含むという点で、図2Aに示されるライブブロードキャストネットワークのアーキテクチャと異なる。図2Bのライブブロードキャストネットワークにおいて、アンカ端末201はビデオ符号化サーバ204と通信し、ビデオ符号化サーバ204は、CDNネットワーク202内の複数のフロントエンドサーバ2021のうちの少なくとも2台と通信し（図2Bには、ビデオ符号化サーバ204を通信する2台のフロントエンドサーバ2021のみが示されている）、少なくとも2台のフロントエンドサーバ2021の各々がビデオ復号サーバ2022と通信し得る。
【００６０】
本出願の一実施形態では、図2Aおよび図2Bに示されるライブブロードキャストネットワークにおいて、CDNネットワーク202は集中コントローラをさらに含み得ることに留意されたい。図2Aに示されるライブブロードキャストネットワークにおいて、集中コントローラは、アンカ端末201および視聴者端末203と別々に通信し得る。図2Bに示されるライブブロードキャストネットワークにおいて、集中コントローラは、ビデオ符号化サーバ204および視聴者端末203と別々に通信し得る。
【００６１】
図3Aは、本出願の一実施形態によるビデオ伝送方法の流れ図である。ビデオ伝送方法は、図2Aまたは図2Bに示されるライブブロードキャストネットワークに適用され得る。図3Aに示されるように、ビデオ伝送方法は以下のステップを含み得る。
【００６２】
ステップ301：ビデオ符号化デバイスが、送信されるべきライブビデオのビデオデータストリームからターゲットビデオデータセグメントを取得する。
【００６３】
ビデオ符号化デバイスは、図2Aのアンカ端末201であり得るか、または図2Bのビデオ符号化サーバ204であり得ることに留意されたい。言い換えると、本出願の本実施形態では、アンカ端末がターゲットビデオデータセグメントを取得し、後続のステップでそのターゲットビデオデータセグメントを符号化する技術プロセスを行い得るか、またはビデオ符号化サーバがターゲットビデオデータセグメントを取得し、後続のステップでそのターゲットビデオデータセグメントを符号化する技術プロセスを行い得る。
【００６４】
ビデオ符号化デバイスがアンカ端末である場合、ライブブロードキャストネットワークにビデオ符号化サーバが配置されなくてもよいので、ハードウェアオーバーヘッドを減らすことができ、ライブブロードキャストネットワークの配置コストを削減することができる。ビデオ符号化デバイスがビデオ符号化サーバである場合、アンカ端末は、ターゲットビデオデータセグメントを符号化する技術プロセスを行わなくてもよい。したがって、アンカ端末上にインストールされたネットワークライブブロードキャストアプリケーションにビデオ符号化機能が追加される必要がなく、言い換えると、既存のネットワークライブブロードキャストアプリケーションが変更される必要がない。したがって、ソフトウェアオーバーヘッドが比較的低く、本出願の本実施形態で提供されるビデオ伝送方法が既存のネットワークライブブロードキャストアプリケーションと共存できることが保証され得る。
【００６５】
ビデオ符号化デバイスがアンカ端末である場合、ステップ301で、ビデオ符号化デバイスは、ビデオ符号化デバイスによって撮影された送信されるべきライブビデオのビデオデータストリームを取得し、ビデオデータストリームから複数のビデオデータセグメントを連続して取得し得る。ターゲットビデオデータセグメントは、複数のビデオデータセグメントのうちの1つである。本出願の本実施形態では、ターゲットビデオデータセグメントを符号化、復号、および伝送するプロセスのみが、本出願で提供される技術的解決策を説明する例として使用されている。本出願で別のビデオデータセグメントを処理する方法は、ターゲットビデオデータセグメントを処理する方法と同じである。
【００６６】
ビデオ符号化デバイスがビデオ符号化サーバである場合、ステップ301で、ビデオ符号化デバイスは、アンカ端末によって送信された送信されるべきライブビデオのビデオデータストリームを取得し、受信したビデオデータストリームから複数のビデオデータセグメントを連続して取得し得る。ターゲットビデオデータセグメントは、複数のビデオデータセグメントのうちの1つである。ビデオ符号化デバイスがビデオ符号化サーバである場合、ビデオ符号化デバイスは、地理的にアンカ端末に比較的近い、基地局などの位置に配置され得るので、ビデオ符号化デバイスとアンカ端末との間のネットワーク通信品質を保証することができ、それによって、アンカ端末がビデオ符号化デバイスにビデオデータストリームを送信する速度が向上することに留意されたい。
【００６７】
実際の適用において、ターゲットビデオデータセグメントは、同じサイズのk個のデータブロックを含んでいてもよく、kは1以上の正の整数である。本出願の本実施形態では、データブロックのサイズは、送信されるべきライブビデオのビデオデータストリームカプセル化フォーマットに基づいて設定され得る。例として、トランスポートストリーム（英語：Transport Stream、略称：ts）カプセル化フォーマットを使用する。tsカプセル化フォーマットでは、1つのtsパケットのサイズが188バイトである。イーサネットにおける最大伝送単位のサイズ（英語：Maximum Transmission Unit、略称：MTU）が1500バイトであるので、イーサネットにおける1つのデータフレームは最大で7tsパケット、すなわち、1316バイトをカプセル化することができる。この場合、データブロックのサイズは1316バイトに設定され得る。
【００６８】
上述したように、ビデオ符号化デバイスがビデオ符号化サーバである場合、ビデオ符号化デバイスは、アンカ端末によって送信された送信されるべきライブビデオのビデオデータストリームを受信し、ターゲットビデオデータセグメントを形成するために、ビデオデータストリームからターゲットビデオデータセグメントを取得する、言い換えると、ビデオデータストリームからk個のデータブロックを取得する必要がある。しかしながら、場合によっては、アンカ端末とビデオ符号化デバイスとの間のネットワーク通信品質が比較的低く、したがって、アンカ端末とビデオ符号化デバイスとの間でビデオデータストリームを伝送する速度が比較的低い。この場合、ビデオ符号化デバイスが十分なビデオデータストリームを受信できないので、ビデオ符号化デバイスは、受信したビデオデータストリームからk個のデータブロックを取得すること、すなわち、ターゲットビデオデータセグメントを取得することができない。
【００６９】
ビデオ符号化デバイスがターゲットビデオデータセグメントを取得する際の遅延が長すぎ、送信されるべきライブビデオの上り速度に影響を及ぼす事例を回避するために、本出願の一実施形態では、ビデオ符号化デバイスに第1の事前設定時間が設定され得る。ビデオ符号化デバイスは、ビデオデータストリームからターゲットビデオデータセグメントの最初のデータブロックを取得した後に計時を開始し、計時プロセスにおいて、ビデオ符号化デバイスによって取得されたデータブロックの数を監視し得る。ビデオ符号化デバイスが、第1の事前設定時間内の任意の時点で、ビデオ符号化デバイスによって取得されたデータブロックの数がkに達したことを検出すると、ビデオ符号化デバイスは、取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成し得る。ビデオ符号化デバイスによって取得されたデータブロックの数が第1の事前設定時間の終了時に依然としてk未満である場合、ビデオ符号化デバイスは、k個のデータブロックを取得するために、事前設定データ（例えば、事前設定データは0であり得る）を使用して取得されたデータブロックをパディングでき、次いでビデオ符号化デバイスは、パディングによって取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成し得る。このようにして、ビデオ符号化デバイスがターゲットビデオデータセグメントを取得する時間は第1の事前設定時間を超えず、それによって、ビデオ符号化デバイスがターゲットビデオデータセグメントを取得する際の遅延が長すぎて、送信されるべきライブビデオの上り速度に影響を及ぼす事例が回避される。
【００７０】
ビデオ符号化デバイスがターゲットビデオデータセグメントを取得した後、ビデオ符号化デバイスはターゲットビデオデータセグメントを符号化し得る。ターゲットビデオデータセグメントを符号化する技術プロセスは、以下のステップ302およびステップ303を含み得る。
【００７１】
ステップ302：ビデオ符号化デバイスがt個の参照データセットを取得し、tがk以上の正の整数である。
【００７２】
ターゲットビデオデータセグメントを符号化するとき、ビデオ符号化デバイスはt個の参照データセットを取得でき、各参照データセットはk個の参照データを含むことができ、k個の参照データは、ターゲットビデオデータセグメントに含まれるk個のデータブロックと一対一の対応関係にある。加えて、t個の参照データセットの各々に含まれるすべてのk個の参照データが1つの参照ベクトルを構築でき、構築されたt個の参照ベクトルのどの2つも互いに線形的に無相関である。
【００７３】
例えば、t個の参照データセット内のi番目の参照データセットがk個の参照データを含み、k個の参照データはCi1、Ci2、...、Ciu、...、Cikであり、Ciuは、ターゲットビデオデータセグメントに含まれるk個のデータブロック内のu番目のデータブロックに対応する。例えば、t個の参照データセット内のj番目の参照データセットもk個の参照データを含み、k個の参照データはCj1、Cj2、...、Cju、...、Cjkであり、Cjuは、ターゲットビデオデータセグメントに含まれるk個のデータブロック内のu番目のデータブロックに対応する。i番目の参照データセットはベクトルCi1、Ci2、...、Ciu、...、Cikを構築でき、j番目の参照データセットはベクトルCj1、Cj2、...、Cju、...、Cjkを構築でき、2つのベクトルは互いに線形的に無相関である。
【００７４】
ステップ303：ビデオ符号化デバイスが、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、各参照データセットを使用してターゲットビデオデータセグメントを符号化する。
【００７５】
本出願の本実施形態では、ステップ303を、ビデオ符号化デバイスが、t個の符号化データブロック内のi番目の符号化データブロックを取得するために、t個の参照データセット内のi番目の参照データセットを使用してターゲットビデオデータセグメントを符号化する技術プロセスを例に使用して、以下で説明する。
【００７６】
ビデオ符号化デバイスは、i番目の参照データセットに含まれる各参照データを、ターゲットビデオデータセグメント内の、i番目の参照データセットに対応するデータブロックで乗算して、k個の積を取得し、次いで、ビデオ符号化デバイスは、k個の積を加算して、i番目の符号化データブロックを取得し得る。
【００７７】
例えば、i番目の参照データセットは、次のk個の参照データ：Ci1、Ci2、...、Ciu、...、Cikを含み、ターゲットビデオデータセグメントは、次のk個のデータブロック：b1、b2、...、bu、...、bkを含み、Ciuはbuに対応する。ビデオ符号化デバイスは、i番目の符号化データブロックai＝Ci1×b1＋Ci2×b2＋...＋Ciu×bu＋...＋Cik×bkを取得するために、i番目の参照データセットに基づいてターゲットビデオデータセグメントを符号化する。
【００７８】
以上の説明から、ビデオ符号化デバイスが、t個の符号化データブロックを取得するために、t個の参照データセットを使用してターゲットビデオデータセグメントを符号化する技術プロセスは、実際には、定数項行列を取得するために、連立方程式行列における係数行列を解行列で乗算することによって表され得ることがわかる。係数行列はt個の参照データセットを含み、解行列は、ターゲットビデオデータセグメント内のk個のデータブロックを含み、定数項行列は、t個の符号化データブロックを含む。具体的には、符号化プロセスは次式として表され得る。
【数１１】
2021505081.tif 000013
【００７９】
ステップ304：ビデオ符号化デバイスがt個の第1の参照データグループを取得する。
【００８０】
ターゲットビデオデータセグメントを符号化した後にt個の符号化データブロックを取得した後、ビデオ符号化デバイスはt個の第1の参照データグループを取得でき、各第1の参照データグループは1つの符号化データブロックおよびその符号化データブロックに対応する参照データセットを含み得る。例えば、t個の第1の参照データグループ内のi番目の第1の参照データグループは、t個の符号化データブロック内のi番目の符号化データブロックおよびt個の参照データセット内のi番目の参照データセットを含むことができ、i番目の参照データセットはCi1、Ci2、...、Ciu、...、Cikを含む。
【００８１】
ステップ305：ビデオ符号化デバイスが、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信し、nが1以上の正の整数である。
【００８２】
本出願の本実施形態では、ビデオ符号化デバイスは、n台のフロントエンドサーバの各々に少なくとも1つの第1の参照データグループを送信でき、ビデオ符号化デバイスによってn台のフロントエンド送信機に送信された第1の参照データグループの数の和がtに等しい。
【００８３】
任意選択で、ビデオ符号化デバイスはa個の参照データパケットを生成し得る。各参照データパケットは少なくとも1つの第1の参照データグループを含むことができ、a個の参照データパケットはt個の第1の参照データグループを含むことができ、aは1以上の正の整数である。次いで、ビデオ符号化デバイスは、t個の第1の参照データグループをビデオ復号デバイスに送信するために、n台のフロントエンドサーバを使用してビデオ復号デバイスにa個の参照データパケットを送信し得る。本出願の一実施形態では、参照データパケットは、ターゲットビデオデータセグメントの識別子および／または送信されるべきライブビデオが属するライブブロードキャストチャネルの識別子をさらに含み得ることに留意されたい。ビデオ復号デバイスは、図2Aまたは図2Bのビデオ復号サーバ2022であり得ることにさらに留意されたい。
【００８４】
本出願の一実施形態では、参照データパケットのフォーマットは、ユーザデータグラムプロトコル（英語：User Datagram Protocol、略称：UDP）ベースのデータ転送プロトコル（英語：UDP-based Data Transfer Protocol、略称：UDT）フォーマットであり得る。言い換えると、ビデオ符号化デバイスは、UDTプロトコルに基づいてビデオ復号デバイスにa個の参照データパケットを送信し得る。
【００８５】
先行技術では、ライブブロードキャストネットワークで使用されるデータ伝送プロトコルは通常、伝送制御プロトコル（英語：Transmission Control Protocol、略称：TCP）であり、TCPプロトコルの輻輳制御機構は、加法的増加乗法的減少（英語：Additive Increase Multiplicative Decrease、略称：AIMD）機構である。AIMD機構では、パケット損失がリンク上で発生すると、リンクの送信ウィンドウが半減される。例えば、送信側デバイスAと受信側デバイスBとの間でパケット損失が発生すると、AIMD機構は送信側デバイスAの送信ウィンドウを半減させる。送信ウィンドウが半減されると、データ伝送速度が比較的重大な影響を受ける。したがって、ビデオデータストリームがTCPプロトコルに基づいてライブブロードキャストネットワークで伝送される場合、パケット損失がビデオデータストリームの伝送速度に比較的重大な影響を及ぼし、視聴者端末がライブビデオを再生するときに遅延が非常に長くフリーズが非常に頻繁に発生するという現象を引き起こす。
【００８６】
パケット損失によってライブブロードキャストネットワークにおけるビデオデータストリームの伝送速度に与えられる影響を低減させるために、本出願の本実施形態では、ライブブロードキャストネットワークはビデオデータストリームをUDTプロトコルに基づいて伝送し得る。具体的には、ビデオ符号化デバイスは、UDTプロトコルに基づいてビデオ復号デバイスにa個の参照データパケットを送信する。UDTプロトコルの輻輳制御機構は、減少加法的増加乗法的減少（英語：Decreasing Additive Increase Multiplicative Decrease、略称：DAIMD）機構である。DAIMD機構では、パケット損失がリンク上で発生すると、リンクの利用可能な帯域幅に基づいて送信ウィンドウが低減されてもよく、送信ウィンドウの低減の大きさは、1／8〜1／2の乱数である。したがって、パケット損失によってライブブロードキャストネットワークにおけるビデオデータストリームの伝送速度に与えられる影響を、TCPプロトコルでの影響と比較して低減させることができる。
【００８７】
実際の適用において、t個の第1の参照データグループを送信する前に、ビデオ符号化デバイスは、CDNネットワーク内のr台のフロントエンドサーバへの通信接続を確立でき、rはn以上の正の整数である。場合によっては、ビデオ符号化デバイスは、r台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを直接送信し得る。場合によっては、ビデオ符号化デバイスはさらに、ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度に基づいてr台のフロントエンドサーバの中からより良いネットワーク通信品質を有するn台のフロントエンドサーバを決定し、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信し得る。ビデオ符号化デバイスと決定されたn台のフロントエンドサーバとの間のネットワーク通信品質が比較的高いため、ビデオ符号化デバイスはn台のフロントエンドサーバを使用して比較的高速でデータを送信するので、ビデオデータストリームの上り速度を保証することができる。
【００８８】
本出願の一実施形態では、ビデオ符号化デバイスとフロントエンドサーバとの間のネットワーク通信品質は、フロントエンドサーバの利用価値を使用して表され得る。利用価値がより大きいことは、フロントエンドサーバとビデオ符号化デバイスとの間のネットワーク通信品質がより良いことを示す。r台のフロントエンドサーバの中からn台のフロントエンドサーバを決定するプロセスにおいて、ビデオ符号化デバイスは、r台のフロントエンドサーバの各々の利用価値を計算し、r台のフロントエンドサーバの中からn台のフロントエンドサーバを利用価値の降順に決定でき、n台のフロントエンドサーバの利用価値は、r台のフロントエンドサーバ内の別のフロントエンドサーバの利用価値より大きい。
【００８９】
本出願の一実施形態では、フロントエンドサーバの利用価値は、以下の第3の式を使用して計算され得る。
【数１２】
2021505081.tif 000014
【００９０】
第3の式において、ujは、r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、thrjは、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjは、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のパケット損失率であり、ρは、ライブブロードキャストネットワークの平均パケット損失率であり、経験値に基づいて設定されてもよく、例えば、ρは、0.03に設定されてもよく、βは、定数であり、eは、自然対数の底である。
【００９１】
実際の適用において、ビデオ符号化デバイスとフロントエンドサーバとの間のネットワーク通信品質は通常、ビデオ符号化デバイスとフロントエンドサーバとの間のデータ伝送速度およびパケット損失率によって決定される。データ伝送速度は、ビデオ符号化デバイスとフロントエンドサーバとの間の利用可能な帯域幅を表し、パケット損失率は、ビデオ符号化デバイスとフロントエンドサーバとの間の経路輻輳の程度を表し得る。したがって、第3の式において、フロントエンドサーバの利用価値は、ビデオ符号化デバイスとフロントエンドサーバとの間のデータ伝送速度およびパケット損失率を使用して計算され得る。
【００９２】
一般に、パケット損失率は、ビデオ符号化デバイスとフロントエンドサーバとの間のネットワーク通信品質に大きな影響を及ぼし、このため、パケット損失が発生すると、データパケットの送信ウィンドウが減少し、ビデオ符号化デバイスはさらにデータパケットを再送する必要がある。第3の式では、利用価値に合わせてパケット損失率の重要度を調整するように定数βの値が調整され得る。具体的には、ρj＞ρの場合、βの値が大きいほど、ρjが増加するにつれてj番目のフロントエンドサーバの利用価値が減少する率が高くなる。図3Bに、ρ＝0.03であり、βが異なる値を有する場合のρjとsigmoid関数
【数１３】
2021505081.tif 000015
との間の関係曲線を示す。図3Bから、βの値が大きいほど、ρjが増加するにつれてsigmoid関数
【数１４】
2021505081.tif 000016
が減少する率が高くなることがわかる。場合によっては、パケット損失率を取得できない場合、βの値を0に設定することができる。このようにして、パケット損失率は利用価値に影響を及ぼさない。
【００９３】
本出願の一実施形態では、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するプロセスにおいて、ビデオ符号化デバイスは、n台のフロントエンドサーバの各々を使用してビデオ復号デバイスに異なる数の第1の参照データグループを送信し得る。例えば、ビデオ符号化デバイスは、n台のフロントエンドサーバ内の最初のフロントエンドサーバを使用してビデオ復号デバイスにy1個の第1の参照データグループを送信し、2番目のフロントエンドサーバを使用してビデオ復号デバイスにy2個の第1の参照データグループを送信し、l番目のフロントエンドサーバを使用してビデオ復号デバイスにyl個の第1の参照データグループを送信し、...、n番目のフロントエンドサーバを使用してビデオ復号デバイスにyn個の第1の参照データグループを送信し、y1＋y2＋...＋yl＋...yn＝tである。
【００９４】
一般に、利用価値が比較的大きいフロントエンドサーバとビデオ符号化デバイスとの間のネットワーク通信品質は比較的高く、ビデオ符号化デバイスは、フロントエンドサーバに比較的多数の第1の参照データグループを送信し得る。利用価値が比較的小さいフロントエンドサーバとビデオ符号化デバイスとの間のネットワーク通信品質は比較的低く、データ伝送遅延を減らすために、ビデオ符号化デバイスはフロントエンドサーバに比較的少数の第1の参照データグループを送信し得る。
【００９５】
前述の技術プロセスを実施するために、t個の第1の参照データグループを送信する前に、ビデオ符号化デバイスは、以下の第4の式に基づき、n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を計算し、次いでビデオ符号化デバイスは、各フロントエンドサーバが受信した第1の参照データグループをビデオ復号デバイスに送信するように、各フロントエンドサーバに対応する数の第1の参照データグループを送信し得る。第4の式は次のとおりである。
【数１５】
2021505081.tif 000017
【００９６】
第4の式において、ylは、n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulは、最初のフロントエンドサーバの利用価値であり、
【数１６】
2021505081.tif 000018
は、n台のフロントエンドサーバの利用価値の和である。
【００９７】
ビデオ符号化デバイスがアンカ端末であり、アンカ端末がマルチホームの端末である場合（マルチホームの端末は、異なるネットワーク接続方法で同時にネットワークとデータを交換し得る）、ビデオ符号化デバイスは、異なるネットワーク接続方法でビデオ復号デバイスにt個の第1の参照データグループを送信し得ることに留意されたい。異なるネットワーク接続方法には、ワイヤレスフィデリティ（英語：Wireless Fidelity、略称：WiFi）方式でのネットワーク接続、移動通信ネットワーク接続、固定電話のネットワーク接続などが含まれ得る。このようにして、ビデオ符号化デバイスの上り帯域幅を増やすことができるので、ビデオ符号化デバイスがt個の第1の参照データグループを送信する速度が増して、送信されるべきライブビデオのビデオデータストリームの上り速度が増す。
【００９８】
ビデオ符号化デバイスが、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信した後、ビデオ符号化デバイスは、ビデオ符号化デバイスとn台のフロントエンドサーバの各々との間のパケット損失率をリアルタイムでさらに検出し得る。ビデオ符号化デバイスが、ビデオ符号化デバイスと1台または複数のフロントエンドサーバとの間のパケット損失率が事前設定のパケット損失率閾値より大きいことを検出すると、ビデオ符号化デバイスは、第1の参照データグループを再送し得る。事前設定のパケット損失率閾値は、当業者によって設定され得る。
【００９９】
任意選択で、第1の参照データグループを再送するプロセスにおいて、ビデオ符号化デバイスは、d個の参照データセットを取得してもよく（dは1以上の正の整数である）、d個の参照データセットの各々に含まれるk個の参照データが1つの参照ベクトルを構築でき、構築されたd個の参照ベクトルのどの2つも互いに線形的に無相関であり、構築されたd個の参照ベクトルの各々が、t個の参照データセットを使用して構築されたt個の参照ベクトルのどの1つとも線形的に無相関である。次いで、ビデオ符号化デバイスは、d個の第1の参照データグループを取得するために、d個の参照データセットを使用してステップ303およびステップ304と同様の技術プロセスに基づいてターゲットビデオデータセグメントを符号化し得る。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバ内の最高の利用価値を有する1台または複数のフロントエンドサーバを使用してビデオ復号デバイスにd個の第1の参照データグループを送信し得る（ビデオ符号化デバイスと1台または複数のフロントエンドサーバとの間のパケット損失率は、事前設定のパケット損失率閾値未満である必要がある）。
【０１００】
ステップ306：ビデオ復号デバイスが、u台のフロントエンドサーバによって送信された第1の参照データグループを受信し、1＜u≦nである。
【０１０１】
ビデオ復号デバイスは、フロントエンドサーバによって送信された参照データパケットを受信し、参照データパケットから第1の参照データグループを抽出し得る。実際の適用において、ビデオ符号化デバイスとn台のフロントエンドサーバとの間でパケット損失が発生せず、ビデオ復号デバイスとn台のフロントエンドサーバとの間でパケット損失が発生しない場合、ビデオ復号デバイスは、n台のフロントエンドサーバによって送信されたa個の参照データパケットを受信し、a個の参照データパケットからt個の第1の参照データグループを抽出し得る。しかしながら、ビデオ符号化デバイスとn台のフロントエンドサーバとの間でパケット損失が発生するか、またはビデオ復号デバイスとn台のフロントエンドサーバとの間でパケット損失が発生する場合（一部の極端な事例では、フロントエンドサーバを使用してビデオ符号化デバイスによって送信されたすべての参照データパケットが失われ得る）、ビデオ復号デバイスによって受信される参照データパケットの数がa未満であり、ビデオ復号デバイスによって実行される第1の参照データグループの数もt未満である。
【０１０２】
ステップ307：ビデオ復号デバイスが、受信した第1の参照データグループを事前設定記憶場所に格納する。
【０１０３】
実際の適用においては、ビデオ符号化デバイスによって符号化により取得された参照データグループを異なるフロントエンドサーバからビデオ復号デバイスに送信するのに必要とされる時間が異なるので、ビデオ復号デバイスが、ビデオデータセグメントを符号化することによって取得された参照データグループを、前のビデオデータセグメントを符号化することによって取得されたすべての参照データグループが受信される前に受信する可能性が非常に高い。例えば、ビデオ復号デバイスが、ビデオデータストリーム内のq番目のビデオデータセグメントを復号することによって取得されたt個の参照データグループ内のb（1≦b＜t）個の参照データグループを受信している場合、ビデオ復号デバイスは、ビデオデータストリーム内の（q＋1）番目のビデオデータセグメントを復号することによって取得されたt個の参照データグループ内のo（1≦o＜t）個の参照データグループをさらに受信する。
【０１０４】
この場合、事前設定記憶場所は、複数のビデオデータセグメントを符号化することによって取得された参照データグループを同時に格納する必要になる場合がある。事前設定記憶場所の記憶空間が過度に小さいことに起因する事前設定記憶場所からの参照データグループのオーバフローを回避するために、本出願の本実施形態では、事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて設定され得る。事前設定記憶場所の記憶空間サイズは第6の式を満たし、第6の式は次のとおりである。
【数１７】
2021505081.tif 000019
【０１０５】
第6の式において、Qは、事前設定記憶場所の記憶空間サイズであり、max（delay）は、最大遅延時間であり、最大遅延時間は、ビデオ符号化デバイスからフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、min（delay）は、最小遅延時間であり、最小遅延時間は、ビデオ符号化デバイスからフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最小時間であり、generate_timeは、ビデオデータセグメントの生成時間であり、ビデオデータセグメントの生成時間は、アンカ端末によってk個のデータブロックを生成するために必要とされる時間であり、sは、ビデオデータセグメントのデータ量サイズである。
【０１０６】
実際の適用においては、あるいは、ビデオデータセグメントの生成時間は通常、ビデオデータセグメントの再生時間と等しい場合もある。ビデオデータセグメントの再生時間は、視聴者端末がk個のデータブロックに基づいて送信されるべきライブビデオを再生できる時間である。ビデオデータセグメントの再生時間は、次の第7の式を使用して計算され得る。
【数１８】
2021505081.tif 000020
【０１０７】
第7の式において、play_timeは、ビデオデータセグメントの再生時間であり、Bは、データブロックのデータ量サイズであり、bit_rateは、送信されるべきライブビデオのビデオ再生ビットレートである。
【０１０８】
Bは、データブロックのサイズであり、bit_rateは、送信されるべきライブビデオの再生ビットレートである。
【０１０９】
ビデオデータセグメントの生成時間が、ビデオデータセグメントの再生時間と等しい場合、第6の式は第7の式に基づいて次のように変形され得る。
【数１９】
2021505081.tif 000021
【０１１０】
ステップ308：事前設定記憶場所に格納された第1の参照データグループの数が第2の事前設定時間内に事前設定数閾値に達すると、ビデオ復号デバイスは、符号化データブロックと、事前設定記憶場所に格納された第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築し、連立方程式行列の計算された解行列のデータを、ターゲットビデオデータセグメントのデータとして決定する。
【０１１１】
事前設定数閾値は、復号によりターゲットビデオデータセグメントを正常に取得するためにビデオ復号デバイスによって必要とされる第1の参照データグループの数であり得ることに留意されたい。言い換えると、ビデオ復号デバイスは、受信した第1の参照データグループが事前設定数閾値に達したときにのみ、復号によりターゲットビデオデータセグメントを正常に取得することができる。
【０１１２】
理想的な場合、具体的には、ビデオ符号化デバイスとn台のフロントエンドサーバとの間でパケット損失が発生せず、ビデオ復号デバイスとn台のフロントエンドサーバとの間でパケット損失が発生しない場合、ビデオ符号化デバイスは、その数が事前設定数閾値である第1の参照データグループのみをビデオ復号デバイスに送信し得るので、ビデオ復号デバイスは、その数が事前設定数閾値である、ビデオ符号化デバイスによって送信された第1の参照データグループに基づいて復号によりターゲットビデオデータセグメントを取得する。言い換えると、理想的な場合には、tの値は事前設定数閾値と等しくてもよい。
【０１１３】
しかしながら、実際の適用においては、理想的ではない事例が発生する可能性があり、具体的には、ビデオ符号化デバイスとn台のフロントエンドサーバとの間でパケット損失が発生し得るか、またはビデオ復号デバイスとn台のフロントエンドサーバとの間でパケット損失が発生し得る。この場合、ビデオ復号デバイスが受信できる第1の参照データグループの数はt未満である。したがって、この場合、tの値が事前設定数閾値と等しければ、ビデオ復号デバイスは復号によりターゲットビデオデータセグメントを正常に取得することは絶対にできない。この事例を回避するために、tの値を事前設定数閾値より大としてもよく、具体的には、ビデオ符号化デバイスは、ビデオ復号デバイスに事前設定数閾値より多い第1の参照データグループを送信し得る。このようにして、たとえビデオ復号デバイスがパケット損失が原因でt個の第1の参照データグループ内のいくつかの第1の参照データグループを受信できなくても、ビデオ復号デバイスは、tの値が事前設定数閾値より大きいので、その数が事前設定数閾値である第1の参照データグループをやはり受信でき、この場合、ビデオ復号デバイスはやはり、復号によりターゲットビデオデータセグメントを正常に取得できる。
【０１１４】
しかしながら、たとえtの値が事前設定数閾値より大きくなるように設定されても、理想的ではない事例でパケット損失が発生すると、ビデオ復号デバイスが受信できる第1の参照データグループの数はそれでもなお事前設定数閾値未満となり得る。この場合、ビデオ復号デバイスは復号によりターゲットビデオデータセグメントを正常に取得することができない。この場合、ビデオ復号デバイスが第1の参照データグループの受信を待ち続けることは無意味であり、さもなければ事前設定記憶場所の記憶空間が無駄になる。
【０１１５】
前述の事例を回避するために、本出願の一実施形態では、ビデオ復号デバイスのために第2の事前設定時間が設定され得る。ビデオ復号デバイスは、受信した最初の第1の参照データグループを事前設定記憶場所に格納した後で計時を開始し、計時プロセスにおいてリアルタイムで、事前設定記憶場所に格納された第1の参照データグループの数を監視し得る。ビデオ復号デバイスが、計時の開始から第2の事前設定時間までの期間に、事前設定記憶場所に格納された第1の参照データグループの数が事前設定数閾値に達したことを検出すると、ビデオ復号デバイスは、ターゲットビデオデータセグメントを取得するために、その数が事前設定数閾値である第1の参照データグループに基づいて復号を行い得る。
【０１１６】
しかしながら、事前設定記憶場所に格納された第1の参照データグループの数が第2の事前設定時間の終了時に依然として事前設定数閾値未満である場合、これはパケット損失が発生している可能性があることを示し、ビデオ復号デバイスは、パケット損失が原因でその数が事前設定数閾値である第1の参照データグループを受信することができない。この場合、ビデオ復号デバイスは、事前設定記憶場所に格納された第1の参照データグループを削除し、ビデオ符号化デバイスに現在の復号差分を送信し得るか、またはビデオ復号デバイスは、事前設定記憶場所に格納された第1の参照データグループを削除せず、ビデオ符号化デバイスに現在の復号差分を直接送信し得る。現在の復号差分は、復号によりターゲットビデオデータセグメントを正常に取得する前にビデオ復号デバイスに不足している第1の参照データグループの数を表すために使用され、言い換えると、現在の復号差分は、第2の事前設定時間の終了時に事前設定記憶場所に格納されている第1の参照データグループの数（言い換えると、ビデオ復号デバイスによって受信された第1の参照データグループの数）と事前設定数閾値との差分の絶対値であり得る。
【０１１７】
現在の復号差分を受信した後、ビデオ符号化デバイスは、現在の復号差分が事前設定差分閾値より大きいかどうかを判断し得る（事前設定差分閾値は0であり得る）。ビデオ符号化デバイスが現在の復号差分は事前設定差分閾値より大きいと判断した場合、これは、ビデオ復号デバイスが復号によりターゲットビデオデータセグメントを正常に取得できないことを示し、この場合、ビデオ符号化デバイスはビデオ復号デバイスに第1の参照データグループを再送する必要がある。任意選択で、第1の参照データグループを再送するプロセスにおいて、ビデオ符号化デバイスは、m個の参照データセットを取得してもよく（mは、k以上の正の整数である）、m個の参照データセットの各々に含まれるk個の参照データが1つの参照ベクトルを構築でき、構築されたm個の参照ベクトルのどの2つも互いに線形的に無相関である。その場合、ビデオ符号化デバイスは、m個の参照データセットと一対一の対応関係にあるm個の符号化データブロックを取得するために、ステップ303からステップ305と同様の技術プロセスに基づいてm個の参照データセットの各々を使用してターゲットビデオデータセグメントを符号化し、次いで、q台のフロントエンドサーバ（qは1以上の正の整数である）を使用してビデオ復号デバイスにm個の第1の参照データグループを送信することができ、m個の第1の参照データグループの各々は、m個の符号化データブロックおよび符号化データブロックに対応する参照データセットを含む。
【０１１８】
実際の適用においては、ビデオ復号デバイスが事前設定記憶場所に格納された第1の参照データグループを削除する場合、mはtと等しくてもよい。ビデオ復号デバイスが事前設定記憶場所に格納された第1の参照データグループを削除しない場合、mは現在の復号差分以上であってもよく、この場合、m個の参照データセットによって構築されたm個の参照ベクトルは、t個の参照データセットによって構築されたt個の参照ベクトルのうちのいずれか1つと線形的に無相関である必要があり、構築されたm個の参照ベクトルは、d個の参照データセットによって構築されたd個の参照ベクトルのいずれか1つと線形的に無相関である必要がさらにある。ビデオ復号デバイスが第1の参照データグループを削除する場合、第1の参照データグループが過度に長い時間にわたって事前設定記憶場所を占有するために、他のビデオデータセグメントを符号化することによって取得された参照データグループが事前設定記憶場所からあふれるという事例を回避することができる。ビデオ復号デバイスが第1の参照データグループを削除しない場合、ビデオ符号化デバイスによってビデオ復号デバイスに続いて再送される第1の参照データグループの数を減らすことができ、それによってネットワークリソースが節約される。
【０１１９】
ビデオ復号デバイスが、第2の事前設定時間において、その数が事前設定数閾値である第1の参照データグループを受信すると、ビデオ復号デバイスはやはり、ビデオ符号化デバイスに現在の復号差分を送信し得ることに留意されたい。この場合、現在の復号差分は0であり得る。この場合、ビデオ符号化デバイスは、現在の復号差分に応答しないこともある。
【０１２０】
第2の事前設定時間がビデオ復号デバイスのために設定されるので、ビデオ復号デバイスが第1の参照データグループの受信を待つ時間が第2の事前設定時間を超えないことを保証できる。ビデオ復号デバイスが、第2の事前設定時間の終了時にその数が事前設定数閾値である第1の参照データグループを受信していない場合、ビデオ復号デバイスは、ビデオ符号化デバイスに現在の復号差分を送信することにより、ビデオ符号化デバイスに第1の参照データグループを再送するよう命令し得る。
【０１２１】
上述したように、第2の事前設定時間において、事前設定記憶場所に格納された第1の参照データグループの数が事前設定数閾値に達したことを検出すると、ビデオ復号デバイスは、ターゲットビデオデータセグメントを取得するために、その数が事前設定数閾値である第1の参照データグループに基づいて復号を行い得る。復号プロセスにおいて、ビデオ復号デバイスは、その数が事前設定数閾値である第1の参照データグループをパースして、その数が事前設定数閾値である符号化データブロックとその数が事前設定数閾値である参照データセットとを取得し、次いでビデオ復号デバイスは、その数が事前設定数閾値である符号化データブロックとその数が事前設定数閾値である参照データセットとに基づいて連立方程式行列を構築し得る。連立方程式行列は、係数行列と、解行列と、定数項行列とを含むことができ、定数項行列は、係数行列と解行列とを乗算することによって取得され得る。
【０１２２】
任意選択で、連立方程式行列を構築するプロセスにおいて、ビデオ復号デバイスは、その数が事前設定数閾値である符号化データブロックを使用して連立方程式行列の定数項行列を構築してもよく、各符号化データブロックは定数項行列の1行として使用され得る。例えば、ビデオ復号デバイスによって構築される連立方程式行列の定数項行列は［a1，a2，...，ai，...，av］Tであり、式中、vは、事前設定数閾値である。
【０１２３】
加えて、ビデオ復号デバイスは、その数が事前設定数閾値である参照データセットを使用して連立方程式行列の係数行列を構築してもよく、各参照データセットは係数行列の1行として使用されてもよく、各参照データセットが係数行列において位置する行の階数は、参照データセットに対応する符号化データブロックが定数項行列において位置する行の階数と同じである。例えば、ビデオ復号デバイスによって構築される連立方程式行列の係数行列は次式であり得る。
【数２０】
2021505081.tif 000022
【０１２４】
参照データセットCi1、Ci2、...、Ciu、...、Cikが係数行列において位置する行の階数はiであり、参照データセットCi1、Ci2、...、Ciu、...、Cikに対応する符号化データブロックaiが定数項行列において位置する行の階数もiである。
【０１２５】
次いで、ビデオ復号デバイスは、ガウス・ジョーダン消去法（英語：Gauss-Jordan Elimination）アルゴリズムに基づいて連立方程式行列の解行列［x1，x2，...，xu，...，xk］Tを解くことができる。
【０１２６】
上述したように、連立方程式行列の解行列［x1，x2，...，xu，...，xk］Tは、定数項行列を取得するために係数行列で乗算され得る。具体的には、次のとおりである。
【数２１】
2021505081.tif 000023
【０１２７】
したがって、前述の符号化プロセスから、連立方程式行列の解行列［x1，x2，...，xu，...，xk］Tは、ターゲットビデオデータセグメントに含まれるk個のデータブロックを含む行列であり、言い換えると、［x1，x2，...，xu，...，xk］T＝［b1，b2，...，bu，...，bk］Tであることがわかる。
【０１２８】
実際の適用においては、連立線形方程式の解は、連立線形方程式内の方程式の順序とは無関係であるので、連立方程式行列の解行列は、ビデオ復号デバイスが連立方程式行列を構築するときに、係数行列におけるv個の参照データセットのソート方法および定数項行列におけるv個の符号化データブロックのソート方法にかかわらず、参照データセットが係数行列において位置する行の階数が、参照データセットに対応する符号化データブロックが定数項行列において位置する行の階数と同じであるならば、不変のままである。［x1，x2，...，xu，...，xk］T＝［b1，b2，...，bu，...，bk］Tは依然として満たされる。例えば、係数行列におけるv個の参照データセットのソート方法および定数項行列におけるv個の符号化データブロックのソート方法が以下のように変化するとき、連立方程式行列の解行列は不変のままであり、依然として［b1，b2，...，bu，...，bk］Tと等しい。
【数２２】
2021505081.tif 000024
【０１２９】
以上の解析から、ビデオ復号デバイスがv個の第1の参照データグループを受信する順序は、復号により最終的に取得されるターゲットビデオデータセグメント内のk個のデータブロックの順序とは無関係であることがわかる。このようにして、送信されるべきライブビデオ内のビデオデータストリームの順不同を回避することができるので、視聴者端末が送信されるべきライブビデオを正常に再生することを保証することができる。
【０１３０】
加えて、連立線形方程式内の方程式の数が未知数の数と等しいので、連立方程式は一意解を有する。したがって、連立方程式行列においては、係数行列の行階数vと定数項行列の行階数vの両方がkと等しいときにのみ、連立方程式行列は一意の決定解行列を有する。言い換えると、ビデオ復号デバイスが復号によりターゲットビデオデータセグメントを正常に取得できるようにするためには、事前設定数閾値の値vがkと等しくなり得る。
【０１３１】
ステップ309：ビデオ復号デバイスがバックグラウンドストレージサーバに、復号により取得されたターゲットビデオデータセグメントを送信する。
【０１３２】
後続の技術プロセスにおいて、バックグラウンドストレージサーバは、CDNネットワーク内のフロントエンドサーバによって送信された視聴要求を受信し得る。視聴要求を受信した後、バックグラウンドストレージサーバはフロントエンドサーバにターゲットビデオデータセグメントを送信し得るので、フロントエンドサーバは視聴者端末にターゲットビデオデータセグメントを送信する。
【０１３３】
ビデオ復号デバイスがバックグラウンドストレージサーバにターゲットビデオデータセグメントを送信し、次いでバックグラウンドストレージサーバがフロントエンドサーバを使用して視聴者端末にターゲットビデオデータセグメント転送するので、CDNネットワークは、ライブビデオの再生などの機能をサポートすることができ、それによってライブビデオ再生の柔軟性が高まる。
【０１３４】
結論として、本出願の本実施形態で提供されるビデオ伝送方法では、ビデオ符号化デバイスは、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
【０１３５】
パケット損失が発生したときに、ビデオ復号デバイスがそれでもなお復号によりターゲットビデオデータセグメントを正常に取得できるようにするために、ビデオ符号化デバイスは、tの値を事前設定数閾値（すなわちk）より大きい値に設定する必要がある。実際の適用においては、tの値が過大な値に設定された場合、ビデオ符号化デバイスは、ビデオ復号デバイスに、復号の役に立たない過剰な第1の参照データグループを送信して、ライブブロードキャストネットワークのネットワークリソースを無駄にし、tの値が過小な値に設定された場合、ビデオ復号デバイスは、パケット損失が発生したときにその数が事前設定数閾値である第1の参照データグループを受信できず、ゆえに、ビデオ復号デバイスは復号によりターゲットビデオデータセグメントを正常に取得することができない。したがって、本出願で提供されるビデオ伝送方法においては、どのようにしてtを適正な値に設定するかが重要である。この問題を解決するために、本出願の一実施形態では別のビデオ伝送方法が提供される。ビデオ伝送方法は、図2Aまたは図2Bに示されるライブブロードキャストネットワークに適用され得る。図3Aに示される実施形態におけるステップ301からステップ309の技術プロセスに加えて、ビデオ伝送方法は、図4に示されるステップ401およびステップ402をさらに含み得る。ステップ401およびステップ402はステップ302の前に行われ得る。
【０１３６】
ステップ401：ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリームからビデオ符号化デバイスによって取得された最初のビデオデータセグメントであるとき、ビデオ符号化デバイスが、ライブブロードキャストネットワークの平均パケット損失率に基づいてtの値を決定する。
【０１３７】
上述したように、ビデオ符号化デバイスは、送信されるべきライブビデオのビデオデータストリームから複数のビデオデータセグメントを連続して取得でき、ターゲットビデオデータセグメントは、複数のビデオデータセグメントのうちの1つである。ターゲットビデオデータセグメントが、ビデオデータストリームからビデオ符号化デバイスによって取得された最初のビデオデータセグメントであるとき、ビデオ符号化デバイスは、t個の参照データセットを取得する前に、ライブブロードキャストネットワークの平均パケット損失率に基づいてtの値をまず決定し得る。任意選択で、この場合、ビデオ符号化デバイスは、第2の式に基づいてtの値を計算してもよく、第2の式は次のとおりである。
【数２３】
2021505081.tif 000025
【０１３８】
第2の式において、ρは、ライブブロードキャストネットワークの平均パケット損失率であり、経験値に基づいて設定されてもよく、例えば、ρは、0.03に設定されてもよく、
【数２４】
2021505081.tif 000026
は、切り捨て演算子であり、min（）は、最小化演算である。
【０１３９】
ステップ402：ターゲットビデオデータセグメントが、ビデオデータストリームからビデオ符号化デバイスによって取得された（p＋1）（pは1以上の正の整数である）番目のビデオデータセグメントであるとき、ビデオ符号化デバイスが、受信したp個の履歴復号差分に基づいてtの値を決定する。
【０１４０】
本出願の本実施形態では、ビデオデータストリームからビデオ符号化デバイスによって取得されたビデオデータセグメントごとに、ビデオ復号デバイスがビデオ符号化デバイスに復号差分を返し得る。ビデオ符号化デバイスがターゲットビデオデータセグメントを符号化する前に、ビデオ復号デバイスによってビデオ符号化デバイスに返される復号差分は、履歴復号差分と呼ばれ、ターゲットビデオデータセグメントについてビデオ復号デバイスによってビデオ符号化デバイスに返される復号差分は、現在の復号差分と呼ばれ得る。
【０１４１】
以上の説明から、ターゲットビデオデータセグメントを符号化する前に、ビデオ符号化デバイスは、ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信し、p個の履歴復号差分内のi番目の履歴復号差分は、第2の事前設定時間の終了時に復号によりi番目のビデオデータセグメントを正常に取得する前にビデオ復号デバイスに不足している参照データグループの数を表すために使用され、i番目のビデオデータセグメントは、ターゲットビデオデータセグメントを取得する前にビデオデータストリームからビデオ符号化デバイスによって取得されたp個のビデオデータセグメント内のi番目のビデオデータセグメントであることがわかる。
【０１４２】
任意選択で、ビデオ復号デバイスが復号によりi番目のビデオデータセグメントを正常に取得する場合、i番目の履歴復号差分di＝0であり、ビデオ復号デバイスが復号によりi番目のビデオデータセグメントの取得に失敗する場合、i番目の履歴復号差分di＝y−xであり、式中、yは、復号によりi番目のビデオデータセグメントを正常に取得するためにビデオ復号デバイスによって必要とされる参照データグループの数である。本出願の本実施形態では、yは、事前設定数閾値と等しくてもよく、言い換えると、yは、kと等しくてもよく、xは、i番目のビデオデータセグメントを符号化することによってビデオ復号デバイスによって取得された参照データグループの数である。
【０１４３】
ターゲットビデオデータセグメントが、ビデオデータストリームからビデオ符号化デバイスによって取得された（p＋1）番目のビデオデータセグメントであるとき、ビデオ符号化デバイスは、t個の参照データセットを取得する前に、受信したp個の履歴復号差分に基づいてtの値をまず決定し得る。任意選択で、この場合、ビデオ符号化デバイスは、第1の式に基づいてtの値を計算してもよく、第1の式は次のとおりである。
【数２５】
2021505081.tif 000027
【０１４４】
第1の式においては、Fi＝di／kおよび1≦i≦pであり、式中、diは、p個の履歴復号差分内のi番目の履歴復号差分diであり、
【数２６】
2021505081.tif 000028
であり、gは、重みパラメータであり、0≦g≦1であり、gは通常、0.1または0.2であってもよく、tpは、ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前にビデオ符号化デバイスによって取得された参照データセットの数である。
【０１４５】
結論として、本出願の本実施形態で提供されるビデオ伝送方法では、ビデオ符号化デバイスは、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
【０１４６】
さらに、t個の参照データセットを取得する前に、ビデオ符号化デバイスは、第1の式または第2の式に基づいてtの値を決定するので、ビデオ符号化デバイスがtに適正な値を設定することを保証でき、それによって、ライブブロードキャストネットワークのネットワークリソースの無駄が回避され、ビデオ復号デバイスが復号によりターゲットビデオデータセグメントを正常に取得できない事例が回避される。
【０１４７】
実際の適用においては、ビデオデータセグメントに含まれるデータブロックの数kは、ビデオデータセグメントの上り遅延に関連し、上り遅延は、ビデオデータセグメントがアンカ端末からビデオ復号デバイスに送信されるときに取得される伝送遅延である。したがって、本出願の本実施形態では、kに適正な値が設定され得るので、上り遅延が事前設定伝送遅延範囲内に収まる。前述の技術プロセスを実施するために、本出願の一実施形態は別のビデオ伝送方法を提供する。ビデオ伝送方法は、図2Aまたは図2Bに示されるライブブロードキャストネットワークに適用され得る。図3Aに示される実施形態におけるステップ301からステップ309の技術プロセスに加えて、ビデオ伝送方法は、図5Aに示されるステップ501をさらに含み得る。ステップ501はステップ301の前に行われ得る。
【０１４８】
ステップ501：ビデオ符号化デバイスがkの値を決定する。
【０１４９】
本出願の本実施形態では、ビデオ符号化デバイスは、別のデバイスによって送信された構成命令を受信してもよく、構成命令はkの値を指示でき、構成命令によって指示されたkの値が、伝送遅延が事前設定伝送遅延範囲内に収まることを可能にし得るか、またはビデオ符号化デバイスは、伝送遅延とデータブロックの数kとの間の事前設定対応関係に基づいてkの値を決定し得るので、kに対応する伝送遅延が事前設定伝送遅延範囲内に収まる。「伝送遅延」はビデオデータセグメントの上り遅延であることに留意されたい。言い換えると、「伝送遅延」は、ビデオデータセグメントがアンカ端末からビデオ復号デバイスに送信されるときに取得される伝送遅延である。
【０１５０】
以下で、本出願の本実施形態における、ビデオ符号化デバイスが、伝送遅延とデータブロックの数kとの間の事前設定対応関係に基づいてkの値を決定する技術プロセスを説明する。
【０１５１】
実際の適用において、伝送遅延は通常、アンカ端末によってビデオデータセグメントを生成するために必要とされる時間、ビデオ符号化デバイスによってビデオデータセグメントを符号化するために必要とされる時間、ビデオ符号化デバイスによってn台のフロントエンドサーバに符号化ビデオデータセグメントを送信するために必要とされる時間、n台のフロントエンドサーバによってビデオ復号デバイスに符号化ビデオデータセグメントを送信するために必要とされる時間、およびビデオ復号デバイスによってビデオデータセグメントを復号するために必要とされる時間を含み得る。
【０１５２】
ビデオ符号化デバイスがビデオ符号化サーバである場合、伝送遅延は、アンカ端末によってビデオ符号化サーバにビデオデータセグメントを送信するために必要とされる時間をさらに含み得ることに留意されたい。しかしながら、ビデオ符号化サーバは通常、地理的にアンカ端末に比較的近い、基地局などの場所に配置され得るので、アンカ端末によってビデオ符号化サーバにビデオデータセグメントを送信するために必要とされる時間は無視され得る。
【０１５３】
アンカ端末によって1つのビデオデータセグメントを生成するために必要とされる時間generate_timeは通常、そのビデオデータセグメントの再生時間play_timeと等しく、ビデオデータセグメントの再生時間は、視聴者端末が1つのビデオデータセグメントに基づいて送信されるべきライブビデオを再生できる時間である。ビデオデータセグメントの再生時間は第7の式を使用して計算されてもよく、第7の式は次のとおりである。
【数２７】
2021505081.tif 000029
【０１５４】
Bは、データブロックのデータ量サイズであり、bit_rateは、送信されるべきライブビデオのビデオ再生ビットレートである。
【０１５５】
ビデオ符号化デバイスによってビデオデータセグメントを符号化するために必要とされる時間は、ビデオ復号デバイスによってビデオデータセグメントを復号するために必要とされる時間と等しく、どちらもTcodingである。
【数２８】
2021505081.tif 000030
【０１５６】
T0は、ビデオ符号化デバイスによってそのデータ量サイズがB0であるK0個のデータブロックを含むビデオデータセグメントを符号化するために、またはビデオ復号デバイスによってそのビデオデータセグメントを復号するために必要とされる時間である。測定により、K0＝10およびB0＝1KBのとき、T0＝0.1msであることがわかっており、したがって、Tcodingは、代替として次式でもあってもよい。
【０１５７】
【数２９】
2021505081.tif 000031
【０１５８】
ビデオ符号化デバイスによってn台のフロントエンドサーバに符号化ビデオデータセグメントを送信するために必要とされる時間trans_time1は、
【数３０】
2021505081.tif 000032
であり、式中、eは、自然対数の底数であり、tは、ビデオ符号化デバイスによって取得された参照データセットの数であり、βは、定数であり、ρminは、ビデオ符号化デバイスとn台のフロントエンドサーバの各々との間のパケット損失率の最小値であり、ρは、ライブブロードキャストネットワークの平均パケット損失率であり、経験値に基づいて設定されてもよく、例えば、ρは、0.03に設定されてもよく、thrwは、ビデオ符号化デバイスとn台のフロントエンドサーバ内のw番目のフロントエンドサーバとの間のデータ伝送速度であり、ρwは、ビデオ符号化デバイスとn台のフロントエンドサーバ内のw番目のフロントエンドサーバとの間のパケット損失率である。
【０１５９】
n台のフロントエンドサーバによってビデオ復号デバイスに符号化ビデオデータセグメントを送信するために必要とされる時間trans_time2は、
【数３１】
2021505081.tif 000033
であり、式中、RTTvは、n台のフロントエンドサーバ内のv番目のフロントエンドサーバとビデオ復号デバイスとの間のデータパケットの往復時間であり、loss％vは、n台のフロントエンドサーバ内のv番目のフロントエンドサーバとビデオ復号デバイスとの間のパケット損失率であり、RTOは、再送タイムアウト（英語：Retransmission Timeout）であり、max（）は、最大化演算を指示する。
【０１６０】
以上の解析から、伝送遅延とデータブロックの数kとの間の対応関係は、
【数３２】
2021505081.tif 000034
であり、式中、delayは、伝送遅延であり、Δは、エラー遅延であり、リンク中断などの理由により生じたエラー遅延であり、一般に、Δの値は、経験値に基づいて取得され得ることがわかる。
【０１６１】
図5Bは、伝送遅延とデータブロックの数kとの間の対応関係の例示的な概略図である。図5Bに示されるように、伝送遅延が100ms未満であることが保証される必要があるとき、kの値は30に設定され得る。
【０１６２】
結論として、本出願の本実施形態で提供されるビデオ伝送方法では、ビデオ符号化デバイスは、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
【０１６３】
さらに、kに適正な値が設定されるので、ビデオデータセグメントの上り遅延を事前設定伝送遅延範囲内とすることができ、それによって、ビデオデータセグメントの上り速度が保証され、視聴者端末が送信されるべきライブビデオを再生するときにフリーズが非常に頻繁に発生するかまたは遅延が非常に長いという現象が回避される。
【０１６４】
以下は、本出願の装置実施形態であり、本装置実施形態は、本出願の方法実施形態を実行するために使用され得る。本出願の装置実施形態に開示されない詳細については、本出願の方法実施形態を参照されたい。
【０１６５】
図6は、本出願の一実施形態によるビデオ伝送装置600のブロック図である。ビデオ伝送装置600は、ビデオ符号化デバイスであり得る。図6を参照すると、ビデオ伝送装置600は、第1の取得モジュール601と、第2の取得モジュール602と、符号化モジュール603と、送信モジュール604とを含み得る。
【０１６６】
第1の取得モジュール601は、ターゲットビデオデータセグメントを取得し、ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、ように構成される。
【０１６７】
第2の取得モジュール602は、t個の参照データセットを取得し、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、ように構成される。
【０１６８】
符号化モジュール603は、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、各参照データセットを使用してターゲットビデオデータセグメントを符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである、ように構成される。
【０１６９】
送信モジュール604は、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信し、nが1以上の正の整数である、ように構成される。
【０１７０】
各第1の参照データグループは、1つの符号化データブロックおよび対応する参照データセットを含む。
【０１７１】
任意選択で、各参照データセットは、k個のデータブロックと一対一の対応関係にあるk個の参照データを含み、符号化モジュール603は、参照データセットごとに、k個の積を取得するために、参照データセットに含まれる各参照データを対応するデータブロックで乗算し、参照データセットに対応する符号化データブロックを取得するためにk個の積を加算する、ように構成される。
【０１７２】
任意選択で、第1の取得モジュール601は、送信されるべきライブビデオのビデオデータストリームを取得し、ビデオデータストリームからデータブロックを取得し、第1の事前設定時間において、取得されたデータブロックの数がk以上である場合、取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成するか、または取得されたデータブロックの数が第1の事前設定時間の終了時にk未満である場合、k個のデータブロックを取得するために、事前設定データを使用して取得されたデータブロックをパディングし、パディングによって取得されたk個のデータブロックを使用してターゲットビデオデータセグメントを形成する、ように構成される。
【０１７３】
本出願の一実施形態は、別のビデオ伝送装置700をさらに提供する。ビデオ伝送装置600に含まれるモジュールに加えて、ビデオ伝送装置700は、第1の決定モジュール605と、第2の決定モジュール606と、第3の決定モジュール607と、第4の決定モジュール608とをさらに含む。
【０１７４】
第1の決定モジュール605は、ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信し、p個の履歴復号差分が、ビデオデータストリームにおいてターゲットビデオデータセグメントに先行するp個のビデオデータセグメントと一対一の対応関係にあり、各履歴復号差分が、復号により対応するビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時にビデオ復号デバイスに不足している参照データグループの数を表すために使用され、p個の履歴復号差分に基づき、取得される必要のある参照データセットの数tの値を決定する、ように構成される。
【０１７５】
p個の履歴復号差分内のi番目の履歴復号差分diは、
ビデオ復号デバイスが、復号により第2の事前設定時間において、ビデオデータストリーム内の、i番目の履歴復号差分に対応するi番目のビデオデータセグメントを正常に取得する場合、di＝0を満たし、
ビデオ復号デバイスが第2の事前設定時間の終了時に復号によるi番目のビデオデータセグメントの取得に失敗する場合、di＝y−xを満たし、式中、yは、復号によりi番目のビデオデータセグメントを正常に取得するためにビデオ復号デバイスによって必要とされる参照データグループの数であり、xは、第2の事前設定時間の終了時にビデオ復号デバイスによって取得されるi番目のビデオデータセグメントに対応する参照データグループの数であり、1≦i≦pである。
【０１７６】
第1の決定モジュール605は、
p個の履歴復号差分と第1の式とに基づき、取得される必要のある参照データセットの数tの値を計算し、第1の式が、
【数３３】
2021505081.tif 000035
であり、式中、
【数３４】
2021505081.tif 000036
であり、式中、gが、重みパラメータであり、diが、p個の履歴復号差分内のi番目の履歴復号差分diであり、tpが、ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前にビデオ符号化デバイスによって取得された参照データセットの数である、
ように構成される。
【０１７７】
ターゲットビデオデータセグメントは、ビデオデータストリームからビデオ符号化デバイスによって取得された最初のビデオデータセグメントであり、第2の決定モジュール606は、ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの数tの値を決定する、ように構成される。
【０１７８】
第2の決定モジュール606は、
ライブブロードキャストネットワークの平均パケット損失率と第2の式とに基づき、取得される必要のある参照データセットの数tの値を計算し、第2の式が、
【数３５】
2021505081.tif 000037
であり、式中、ρが、ライブブロードキャストネットワークの平均パケット損失率であり、
【数３６】
2021505081.tif 000038
が、切り捨て演算子である、
ように構成される。
【０１７９】
第3の決定モジュール607は、
ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバを決定し、rがn以上の正の整数であり、
ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度に基づいてr台のフロントエンドサーバの中からn台のフロントエンドサーバを決定し、n台のフロントエンドサーバとビデオ符号化デバイスとの間の通信品質が別のフロントエンドサーバとビデオ符号化デバイスとの間の通信品質より良好である、
ように構成される。
【０１８０】
第3の決定モジュール607は、
第3の式と、ビデオ符号化デバイスとr台のフロントエンドサーバの各々との間のデータ伝送速度とに基づいて各フロントエンドサーバの利用価値を計算し、第3の式が、
【数３７】
2021505081.tif 000039
であり、式中、ujが、r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、1≦j≦r、thrjが、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjが、ビデオ符号化デバイスとj番目のフロントエンドサーバとの間のパケット損失率であり、ρが、ライブブロードキャストネットワークの平均パケット損失率であり、βが、定数であり、
r台のフロントエンドサーバの中からn台のフロントエンドサーバを利用価値の降順に決定する、
ように構成される。
【０１８１】
送信モジュール604は、
第4の式に基づき、n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を決定し、第4の式が、
【数３８】
2021505081.tif 000040
であり、式中、ylが、n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulが、最初のフロントエンドサーバの利用価値であり、
【数３９】
2021505081.tif 000041
が、n台のフロントエンドサーバの利用価値の和であり、1≦l≦nであり、
各フロントエンドサーバが受信した第1の参照データグループをビデオ復号デバイスに送信するように、各フロントエンドサーバに対応する数の第1の参照データグループを送信する、
ように構成される。
【０１８２】
第4の決定モジュール608は、
データブロックの数kに対応する伝送遅延が事前設定伝送遅延範囲内に収まるように、伝送遅延とデータブロックの数との間の事前設定対応関係に基づいてターゲットビデオセグメント内のデータブロックの数kを決定し、
伝送遅延が、アンカ端末がビデオ復号デバイスにビデオデータセグメントを送信するときに存在している伝送遅延である、
ように構成される。
【０１８３】
結論として、本出願の本実施形態で提供されるビデオ伝送装置は、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が向上し、ライブビデオのフリーズおよび遅延をある程度回避することができる。
【０１８４】
図8は、本出願の一実施形態によるビデオ伝送装置800のブロック図である。ビデオ伝送装置800は、ビデオ復号デバイスであり得る。図8を参照すると、ビデオ伝送装置800は、受信モジュール801と、構築モジュール802と、決定モジュール803とを含み得る。
【０１８５】
受信モジュール801は、u台のフロントエンドサーバによって送信された第1の参照データグループを受信し、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、ように構成される。
【０１８６】
構築モジュール802は、第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築する、ように構成される。
【０１８７】
決定モジュール803は、連立方程式行列の計算された解行列のデータを、ターゲットビデオデータセグメントのデータとして決定するように構成される。
【０１８８】
任意選択で、構築モジュール802は、
k個の符号化データブロックと、k個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとを取得するために、受信したk個の第1の参照データグループをパースし、
k個の符号化データブロックを使用して連立方程式行列の定数項行列を構築し、各符号化データブロックが定数項行列の1行として使用され、
k個の参照データセットを使用して連立方程式行列の係数行列を構築し、各参照データセットが係数行列の1行として使用され、各参照データセットが係数行列において位置する行の階数が、対応する符号化データブロックが定数項行列において位置する行の階数と同じである、
ように構成される。
【０１８９】
本出願の一実施形態は、別のビデオ伝送装置900をさらに提供する。ビデオ伝送装置800に含まれるモジュールに加えて、ビデオ伝送装置900は、第1の送信モジュール804と、第2の送信モジュール805と、記憶モジュール806とをさらに含む。
【０１９０】
第1の送信モジュール804は、
受信した第1の参照データグループの数が第2の事前設定時間の終了時にk未満である場合、受信した第1の参照データグループの数とkとの差分の絶対値を取得し、
その絶対値を現在の復号差分としてビデオ符号化デバイスに送信する、
ように構成される。
【０１９１】
第2の送信モジュール805は、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達した後、ビデオ符号化デバイスに現在の復号差分を送信し、現在の復号差分が0である、
ように構成される。
【０１９２】
記憶モジュール806は、
第1の参照データグループを事前設定記憶場所に格納し、
事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて決定され、
最大遅延時間が、ビデオ符号化デバイスによってフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、最小遅延時間が、ビデオ符号化デバイスによってフロントエンドサーバを介してビデオ復号デバイスに参照データグループを送信するために必要とされる最小時間である、
ように構成される。
【０１９３】
事前設定記憶場所の記憶空間サイズは第6の式を満たし、第6の式は、
【数４０】
2021505081.tif 000042
であり、式中、Qは、事前設定記憶場所の記憶空間サイズであり、max（delay）は、最大遅延時間であり、min（delay）は、最小遅延時間であり、generate_timeは、ビデオデータストリーム内のビデオデータセグメントの生成時間であり、sは、ビデオデータセグメントのデータ量サイズである。
【０１９４】
結論として、本出願の本実施形態で提供されるビデオ伝送装置は、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、k個のデータブロックを含むターゲットビデオデータセグメントを、t個の参照データセットを使用して別々に符号化し、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータはターゲットビデオデータセグメントのデータである。次いで、ビデオ符号化デバイスは、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信してもよく、各第1の参照データグループが1つの符号化データブロックおよびその符号化データブロックに対応する符号化データセットを含み、言い換えると、各第1の参照データグループが、連立方程式行列に対応する連立方程式内の1つの方程式である。このようにして、t個の第1の参照データグループ内の任意のk個の第1の参照データグループを受信した後、言い換えると、任意のk個の方程式を受信した後、ビデオ復号デバイスは、連立方程式行列を構築し、復号によりターゲットビデオデータセグメントを取得するために連立方程式行列の解行列を解くことができる。このようにして、たとえパケット損失が発生したとしても、ビデオ符号化デバイスが、t個の第1の参照データグループ内のk個の参照データグループを受信する確率は依然として比較的大きい。したがって、パケット損失が発生したときにビデオ符号化デバイスがデータの再送を必要とする確率を下げることができ、それによってライブビデオのフリーズおよび遅延がある程度回避される。加えて、nが1より大きいとき、ビデオ符号化デバイスは、複数の経路を使用して、言い換えると、複数のフロントエンドサーバを使用してライブビデオの上りプロセスにおいてビデオデータを送信してもよい。これにより、ライブブロードキャストネットワークの上り帯域幅の利用度が改善され、ライブビデオのフリーズおよび遅延をある程度回避することができる。
【０１９５】
一実施形態は端末を提供し、本端末は、前述の実施形態で提供されるビデオ符号化方法を行うように構成され得る。図10に示されるように、本端末1000は、以下を含む。
【０１９６】
端末1000は、RF（Radio Frequency、無線周波数）回路1010、1つまたは複数のコンピュータ可読記憶媒体を含むメモリ1020、入力部1030、表示部1040、センサ1050、オーディオ回路1060、WiFi（Wireless Fidelity、ワイヤレスフィデリティ）モジュール1070、1つまたは複数の処理コアを含むプロセッサ1080、電源190などの部品を含み得る。図10に示される端末構造は、本端末に対する限定を構成するものではなく、図に示されている部品よりも多いかもしくは少ない部品を含んでいてもよく、または一部の部品が結合されていてもよく、または異なる部品配置を有していてもよいことを、当業者は理解できよう。
【０１９７】
RF回路1010は、情報受信プロセスまたは送信プロセスまたは通話プロセスにおいて信号を受信および送信し、特に、基地局の下り情報を受信した後、下り情報を処理のために1つまたは複数のプロセッサ1080に送信し、加えて、基地局に関連した上りデータを送信する、ように構成され得る。一般に、RF回路1010は、アンテナ、少なくとも1つの増幅器、チューナ、1つまたは複数の発振器、加入者識別モジュール（SIM）カード、送受信機、カプラ、LNA（Low Noise Amplifier、低雑音増幅器）、デュプレクサなどを含むが、これに限定されない。加えて、RF回路1010は、無線通信によってネットワークおよび別のデバイスと通信し得る。無線通信には、これに限定されないが、GSM（登録商標）（Global System of Mobile communication、グローバル・システム・フォー・モバイル・コミュニケーションズ）、GPRS（General Packet Radio Service、汎用パケット無線サービス）、CDMA（Code Division Multiple Access、符号分割多元接続）、WCDMA（登録商標）（Wideband Code Division Multiple Access、広帯域符号分割多元接続）、LTE（Long Term Evolution、ロングタームエボリューション）、電子メール、SMS（Short Messaging Service、ショートメッセージサービス）などを含む任意の通信規格またはプロトコルが使用され得る。
【０１９８】
メモリ1020は、ソフトウェアプログラムおよびモジュールを格納するように構成されていてよく、プロセッサ1080は、メモリ1020に格納されたソフトウェアプログラムおよびモジュールを動作させることによって様々な機能アプリケーションを実行し、データを処理する。メモリ1020は、プログラム記憶域とデータ記憶域とを主に含んでいてもよく、プログラム記憶域は、オペレーティングシステム、少なくとも1つの機能（音声再生機能や画像再生機能など）によって必要とされるアプリケーションプログラムなどを格納し、データ記憶域は、端末1000の使用に基づいて作成された（オーディオデータやアドレス帳などの）データなどを格納し得る。加えて、メモリ1020は、高速ランダムアクセスメモリも含んでいてもよく、少なくとも1つの磁気ディスク記憶コンポーネント、フラッシュメモリコンポーネントなどの不揮発性メモリ、または別の揮発性固体記憶コンポーネントをさらに含んでいてもよい。これに対応して、メモリ1020は、プロセッサ1080および入力部1030にメモリ1020へのアクセスを提供するために、メモリコントローラをさらに含み得る。
【０１９９】
入力部1030は、入力デジタル情報または文字情報を受け取り、キーボード、マウス、ジョイスティック、光学系、またはトラックボールのものである、ユーザ設定および機能制御に関連した信号入力を生成する、ように構成され得る。具体的には、入力部1030は、タッチセンシティブ表面1031と、別の入力デバイス1032とを含み得る。タッチセンシティブ表面1031は、タッチスクリーンまたはタッチパッドとも呼ばれ、タッチセンシティブ表面上またはその近くでのユーザのタッチ操作（ユーザが、タッチセンシティブ表面1031上またはタッチセンシティブ表面1031の近くで、指、スタイラス、または任意の他の適切な物体もしくはアクセサリを使用して行う操作など）を受け取り、事前設定式に基づいて対応する接続装置を駆動し得る。任意選択で、タッチセンシティブ表面1031は、2つの部分、タッチ検出装置とタッチコントローラとを含んでいてもよい。タッチ検出装置は、ユーザのタッチ位置を検出し、タッチ操作によって生じた信号を検出し、その信号をタッチコントローラに送る。タッチコントローラは、タッチ検出装置からタッチ情報を受け取り、タッチ情報をタッチ点座標に変換し、タッチ点座標をプロセッサ1080に送り、プロセッサ1080によって送られたコマンドを受け取り、実行することができる。加えて、タッチセンシティブ表面1031は、抵抗膜式、静電容量式、または表面弾性波方式のタッチセンシティブ表面によって実施されてもよい。タッチセンシティブ表面1031に加えて、入力部1030は、別の入力デバイス1032をさらに含み得る。具体的には、別の入力デバイス1032には、物理キーボード、機能キー（音量調節キーやオン／オフキーなど）、トラックボール、マウス、ジョイスティックなどのうちの1つまたは複数が含まれ得るが、これに限定されない。
【０２００】
表示部1040は、ユーザによって入力された情報またはユーザに提供される情報、および端末1000の様々なグラフィックユーザインターフェースを表示するように構成されてもよく、グラフィックユーザインターフェースは、グラフィック、テキスト、アイコン、ビデオ、およびそれらの任意の組み合わせを含み得る。表示部1040は、表示パネル1041を含み得る。任意選択で、表示パネル1041は、LCD（Liquid Crystal Display、液晶ディスプレイ）、OLED（Organic Light-Emitting Diode、有機発光ダイオード）などを使用して構成されていてもよい。さらに、タッチセンシティブ表面1031は、表示パネル1041を覆っていてもよい。タッチセンシティブ表面1031上またはその近くでタッチ操作を検出すると、タッチセンシティブ表面1041は、タッチイベントのタイプを決定するためにタッチ操作をプロセッサ1080に送り、次いでプロセッサ1080は、タッチイベントのタイプに基づいて表示パネル1041で対応する視覚出力を提供する。図10ではタッチセンシティブ表面1031と表示パネル1041とが入力機能と入力機能とを実施する2つの独立した構成要素として使用されているが、いくつかの実施形態では、入力機能と出力機能とを実施するようにタッチセンシティブ表面1031が表示パネル1041と統合され得る。
【０２０１】
端末1000は、光センサ、動きセンサ、別のセンサなどの少なくとも1つのタイプのセンサ1050をさらに含み得る。具体的には、光センサは、周囲光センサおよび近接センサを含み得る。周囲光センサは、周囲光の明るさに基づいて表示パネル1041の輝度を調整し得る。光センサは、端末1000が耳に当てられると、表示パネル1041および／またはバックライトをオフにし得る。動きセンサの1タイプとして、重力加速度センサは、各方向（一般には3軸）の加速度の値を検出でき、静止モードで重力の値および方向を検出でき、携帯電話のジェスチャを識別するためのアプリケーション（横向き／縦向きの切り替え、関連したゲーム、磁力計のジェスチャ較正など）、振動識別に関連し機能（歩数計やストロークなど）その他に使用することができる。端末1000上でさらに構成することができる、ジャイロスコープ、気圧計、湿度計、温度計、赤外線センサなどの他のセンサについては、ここでは詳述しない。
【０２０２】
オーディオ回路1060、スピーカ1061、およびマイクロフォン1062は、ユーザと端末1000との間のオーディオインターフェースを提供することができる。オーディオ回路1060はスピーカ1061に、受け取ったオーディオデータから変換された電気信号を送ることができ、スピーカ1061はその電気信号を出力のために音声信号に変換する。加えて、マイクロフォン1062は集められた音声信号を電気信号に変換し、オーディオ回路1060は、電気信号を受け取った後でその電気信号をオーディオデータに変換し、そのオーディオデータを処理のためにプロセッサ1080に出力し、次いでオーディオデータは、例えば、RF回路1010を使用して別の端末に送信されるか、またはオーディオデータは、さらに処理するためにメモリ1020に出力される。オーディオ回路1060は、端末1000と通信するための外部イヤホンを提供するために、おそらくはイヤプラグジャックを含み得る。
【０２０３】
WiFiは、短距離無線伝送技術である。端末1000は、WiFiモジュール1070を使用して、ユーザが電子メールを送受信したり、ウェブページを閲覧したり、ストリーミングメディアにアクセスしたりするのを支援する。WiFiモジュールはユーザに無線広帯域インターネットアクセスを提供する。図10にはWiFiモジュール1070が示されているが、WiFiモジュール1070は、端末1000の必須構成要素ではなく、本発明の本質が変更されなければ、要件に基づいて省略されてもよいことが理解されよう。
【０２０４】
プロセッサ1080は、端末1000のコントロールセンタである。携帯電話全体の様々な部分に接続するために様々なインターフェースおよびケーブルが使用されうる。プロセッサ1080は、端末1000の様々な機能を実行し、メモリ1020に格納されたソフトウェアプログラムおよび／またはモジュールを動作させるかまたは実行し、メモリ1020に格納されたデータを呼び出すことによってデータを処理して、携帯電話上で全体的な監視を行う。任意選択で、プロセッサ1080は、1つまたは複数の処理コアを含んでいてもよい。好ましくは、プロセッサ1080はアプリケーションプロセッサとモデムプロセッサとを統合したものであり得る。アプリケーションプロセッサは、オペレーティングシステム、ユーザインターフェース、アプリケーションプログラムなどを主に処理し、モデムプロセッサは、無線通信を主に処理する。モデムプロセッサはプロセッサ1080に統合されない場合もあることが理解されよう。
【０２０５】
端末1000は、各部分に電力を供給する電源（バッテリなど）190をさらに含む。好ましくは、電源は、充放電管理や電力消費管理などの機能が電源管理システムを使用して実施されるように、電源管理システムを使用してプロセッサ1080に論理的に接続され得る。電源190は、1つまたは複数の直流または交流電源、再充電システム、電源障害検出回路、電力変換器またはインバータ、電源状況表示器などの任意の構成要素をさらに含み得る。
【０２０６】
図示されていない場、端末1000は、カメラ、ブルートゥース（登録商標）モジュールなどをさらに含んでいてもよく、ここでは詳述しない。具体的には、本実施形態では、端末の表示部は、タッチスクリーンディスプレイであってもよく、端末は、メモリおよび1つまたは複数のプログラムをさらに含み、1つまたは複数のプログラムは、メモリに格納され、構成された後で1つまたは複数のプロセッサによって実行される。1つまたは複数のプログラムは、以下の動作を行うために使用される命令を含む。ターゲットビデオデータセグメントを取得する動作であって、ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、動作、t個の参照データセットを取得する動作であって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、動作、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、各参照データセットを使用してターゲットビデオデータセグメントを符号化する動作であって、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである、動作、およびn台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信する動作であって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、動作。
【０２０７】
図11は、一例示的実施形態によるビデオ伝送装置1100のブロック図である。例えば、装置1100はサーバとして提供され得る。図11に示されるように、装置1100は、処理コンポーネント1122を含み、処理コンポーネント1122は、1つまたは複数のプロセッサと、メモリ1132で表されたメモリリソースとをさらに含み、処理コンポーネント1122によって実行され得る、アプリケーションプログラムなどの命令を格納するように構成される。メモリ1132に格納されたアプリケーションプログラムは、1つまたは複数のモジュールを含んでいてもよく、各モジュールは命令グループに対応する。加えて、処理コンポーネント1122は、命令を実行して以下の方法を行うように構成される。
ターゲットビデオデータセグメントを取得するステップであって、ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、ステップと、t個の参照データセットを取得するステップであって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、ステップと、t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するために、各参照データセットを使用してターゲットビデオデータセグメントを符号化するステップであって、t個の参照データセット内の任意のk個の参照データセットと、任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、連立方程式行列の解行列のデータがターゲットビデオデータセグメントのデータである、ステップと、n台のフロントエンドサーバを使用してビデオ復号デバイスにt個の第1の参照データグループを送信するステップであって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、ステップ。
【０２０８】
あるいは、以下の方法が行われる。
u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップであって、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、ターゲットビデオデータセグメントがk個のデータブロックを含み、参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、ステップと、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するステップと、
連立方程式行列の計算された解行列のデータを、ターゲットビデオデータセグメントのデータとして決定するステップ。
【０２０９】
装置1100は、装置1100の電源管理を実行するように構成された電源コンポーネント1126と、装置1100をネットワークに接続するように構成された有線または無線ネットワークインターフェース1150と、入力／出力（I／O）インターフェース1158とをさらに含み得る。装置1100は、Windows Server（登録商標）、Mac OS X（登録商標）、Unix（登録商標）、Linux（登録商標）、FreeBSD（登録商標）などといったメモリ1132に格納されたオペレーティングシステムを動作させ得る。
【０２１０】
本出願の一実施形態は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は命令を格納する。命令がコンピュータの処理コンポーネント上で動作すると、処理コンポーネントは、図3Aに示される実施形態で提供されるビデオ伝送方法を行うことができるようになる。
【０２１１】
各実施形態のステップの全部または一部がハードウェアまたは関連したハードウェアに命令するプログラムによって実現され得ることを当業者は理解できよう。プログラムはコンピュータ可読記憶媒体に格納され得る。記憶媒体は、読取り専用メモリ、磁気ディスク、または光ディスクを含み得る。
【０２１２】
以上の説明は、本出願の実施形態の単なる任意選択の実施態様にすぎず、本出願を限定するためのものではない。本出願の趣旨および原理を逸脱することなくなされるあらゆる改変、等価の置換、または改善は、本出願の保護範囲内に含まれるべきである。
【符号の説明】
【０２１３】
101  アンカ端末
102  視聴者端末
103  コンテンツ配信（CDN）ネットワーク
201  アンカ端末
202  CDNネットワーク
203  視聴者端末
204  ビデオ符号化サーバ
600  ビデオ伝送装置
601  第1の取得モジュール
602  第2の取得モジュール
603  符号化モジュール
604  送信モジュール
605  第1の決定モジュール
606  第2の決定モジュール
607  第3の決定モジュール
608  第4の決定モジュール
700  ビデオ伝送装置
800  ビデオ伝送装置
801  受信モジュール
802  構築モジュール
803  決定モジュール
804  第1の送信モジュール
805  第2の送信モジュール
806  記憶モジュール
900  ビデオ伝送装置
1000  端末
1010  RF（無線周波数）回路
1020  メモリ
1030  入力部
1031  タッチセンシティブ表面
1032  別の入力デバイス
1040  表示部
1041  表示パネル
1050  センサ
1060  オーディオ回路
1061  スピーカ
1062  マイクロフォン
1070  WiFi（ワイヤレスフィデリティ）モジュール
1080  プロセッサ
1090  電源
1100  ビデオ伝送装置
1122  処理コンポーネント
1126  電源コンポーネント
1132  メモリ
1150  ネットワークインターフェース
1158  入力／出力インターフェース
2021  フロントエンドサーバ
2022  ビデオ復号サーバ
2023  バックグラウンドストレージサーバ
【図１】
2021505081.tif 000059
【図２Ａ】
2021505081.tif 000060
【図２Ｂ】
2021505081.tif 000061
【図３Ａ】
2021505081.tif 000062
【図３Ｂ】
2021505081.tif 000063
【図４】
2021505081.tif 000064
【図５Ａ】
2021505081.tif 000065
【図５Ｂ】
2021505081.tif 000066
【図６】
2021505081.tif 000067
【図７】
2021505081.tif 000068
【図８】
2021505081.tif 000069
【図９】
2021505081.tif 000070
【図１０】
2021505081.tif 000071
【図１１】
2021505081.tif 000072
【手続補正書】
【提出日】令和2年7月9日(2020.7.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ライブブロードキャストネットワークにおいてビデオ符号化デバイスで使用される、ビデオ伝送方法であって、前記ライブブロードキャストネットワークが、前記ビデオ符号化デバイスと、ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記方法が、
ターゲットビデオデータセグメントを取得するステップであって、前記ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、ステップと、
t個の参照データセットを取得するステップであって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、ステップと、
各参照データセットを使用して前記ターゲットビデオデータセグメントを符号化して、前記t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するステップであって、前記t個の参照データセット内の任意のk個の参照データセットと、前記任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、前記連立方程式行列の解行列のデータが前記ターゲットビデオデータセグメントのデータである、ステップと、
n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信するステップであって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、ステップと
を含む、方法。
【請求項２】
各参照データセットが、前記k個のデータブロックと一対一の対応関係にあるk個の参照データを含み、
各参照データセットを使用して前記ターゲットビデオデータセグメントを符号化して、前記t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得する前記ステップが、
参照データセットごとに、前記参照データセットに含まれる各参照データを対応するデータブロックで乗算して、k個の積を取得するステップと、
前記k個の積を加算して、前記参照データセットに対応する符号化データブロックを取得するステップと
を含む、請求項1に記載の方法。
【請求項３】
ターゲットビデオデータセグメントを取得する前記ステップが、
前記送信されるべきライブビデオの前記ビデオデータストリームを取得するステップと、
前記ビデオデータストリームからデータブロックを取得するステップと、
第1の事前設定時間において、取得されたデータブロックの数がk以上である場合、前記取得されたk個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成するステップ、または
取得されたデータブロックの前記数が前記第1の事前設定時間の終了時にk未満である場合、事前設定データを使用して前記取得されたデータブロックをパディングして、k個のデータブロックを取得し、パディングによって取得された前記k個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成するステップと
を含む、請求項1または2に記載の方法。
【請求項４】
前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された（p＋1）番目のビデオデータセグメントであり、pが1以上の正の整数であり、
t個の参照データセットを取得する前記ステップの前に、前記方法が、
前記ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信するステップであって、前記p個の履歴復号差分が、前記ビデオデータストリームにおいて前記ターゲットビデオデータセグメントに先行するp個のビデオデータセグメントと一対一の対応関係にあり、各履歴復号差分が、復号によって対応するビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時に前記ビデオ復号デバイスに不足している参照データグループの数を表すために使用される、ステップと、
前記p個の履歴復号差分に基づき、取得される必要のある参照データセットの前記数tの値を決定するステップと
をさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記p個の履歴復号差分内のi番目の履歴復号差分diが、
前記ビデオ復号デバイスが、復号によって前記第2の事前設定時間において、前記ビデオデータストリーム内の、前記i番目の履歴復号差分に対応するi番目のビデオデータセグメントを正常に取得する場合、di＝0を満たし、
前記ビデオ復号デバイスが、前記第2の事前設定時間の終了時に復号による前記i番目のビデオデータセグメントの取得に失敗する場合、di＝y−xを満たし、式中、yが、復号によって前記i番目のビデオデータセグメントを正常に取得するために前記ビデオ復号デバイスによって必要とされる参照データグループの数であり、xが、前記第2の事前設定時間の終了時に前記ビデオ復号デバイスによって取得される前記i番目のビデオデータセグメントに対応する参照データグループの数であり、1≦i≦pである、請求項4に記載の方法。
【請求項６】
前記p個の履歴復号差分に基づき、取得される必要のある参照データセットの前記数tの値を決定する前記ステップが、
前記p個の履歴復号差分と第1の式とに基づき、取得される必要のある参照データセットの前記数tの前記値を計算するステップであって、前記第1の式が、
【数１】
2021505081.tif 000073
であり、式中、
【数２】
2021505081.tif 000074
であり、式中、gが、重みパラメータであり、diが、前記p個の履歴復号差分内のi番目の履歴復号差分であり、tpが、前記ビデオデータストリーム内のp番目のビデオデータセグメントを符号化する前に前記ビデオ符号化デバイスによって取得された参照データセットの数である、ステップ
を含む、請求項4または5に記載の方法。
【請求項７】
前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された最初のビデオデータセグメントであり、
t個の参照データセットを取得する前記ステップの前に、前記方法が、
前記ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの前記数tの値を決定するステップ
をさらに含む、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの前記数tの値を決定する前記ステップが、
前記ライブブロードキャストネットワークの前記平均パケット損失率と第2の式とに基づき、取得される必要のある参照データセットの前記数tの前記値を計算するステップであって、前記第2の式が、
【数３】
2021505081.tif 000075
であり、式中、ρが、前記ライブブロードキャストネットワークの前記平均パケット損失率であり、
【数４】
2021505081.tif 000076
が、切り捨て演算子である、ステップ
を含む、請求項7に記載の方法。
【請求項９】
n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信する前記ステップの前に、前記方法が、
前記ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバを決定するステップであって、rがn以上の正の整数である、ステップと、
前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間のデータ伝送速度に基づいて前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを決定するステップであって、前記n台のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質が別のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質よりも良好である、ステップと
をさらに含む、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間のデータ伝送速度に基づいて前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを決定する前記ステップが、
第3の式と、前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間の前記データ伝送速度とに基づいて各フロントエンドサーバの利用価値を計算するステップであって、前記第3の式が、
【数５】
2021505081.tif 000077
であり、式中、ujが、前記r台のフロントエンドサーバ内のj番目のフロントエンドサーバの利用価値であり、1≦j≦rであり、thrjが、前記ビデオ符号化デバイスと前記j番目のフロントエンドサーバとの間のデータ伝送速度であり、ρjが、前記ビデオ符号化デバイスと前記j番目のフロントエンドサーバとの間のパケット損失率であり、ρが、前記ライブブロードキャストネットワークの平均パケット損失率であり、βが、定数である、ステップと、
前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを利用価値の降順に決定するステップと
を含む、請求項9に記載の方法。
【請求項１１】
n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信する前記ステップが、
第4の式に基づき、前記n台のフロントエンドサーバの各々に対応する第1の参照データグループの数を決定するステップであって、前記第4の式が、
【数６】
2021505081.tif 000078
であり、式中、ylが、前記n台のフロントエンドサーバ内の最初のフロントエンドサーバに対応する第1の参照データグループの数であり、ulが、前記最初のフロントエンドサーバの利用価値であり、
【数７】
2021505081.tif 000079
が、前記n台のフロントエンドサーバの利用価値の和であり、1≦l≦nである、ステップと、
各フロントエンドサーバが受信した第1の参照データグループを前記ビデオ復号デバイスに送信するように、各フロントエンドサーバに対応する数の第1の参照データグループを送信するステップと
を含む、請求項10に記載の方法。
【請求項１２】
ターゲットビデオデータセグメントを取得する前記ステップの前に、前記方法が、
データブロックの前記数kに対応する伝送遅延が事前設定伝送遅延範囲内に収まるように、伝送遅延とデータブロックの数との間の事前設定対応関係に基づいて前記ターゲットビデオデータセグメント内のデータブロックの前記数kを決定するステップであって、前記伝送遅延が、アンカ端末が前記ビデオ復号デバイスに前記ビデオデータセグメントを送信するときに存在している伝送遅延である、ステップ
をさらに含む、請求項1から11のいずれか一項に記載の方法。
【請求項１３】
ライブブロードキャストネットワークにおいてビデオ復号デバイスで使用される、ビデオ伝送方法であって、前記ライブブロードキャストネットワークが、ビデオ符号化デバイスと、前記ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記方法が、
u台のフロントエンドサーバによって送信された第1の参照データグループを受信するステップであって、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、前記ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、前記ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、前記参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、ステップと、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと前記受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するステップと、
前記連立方程式行列の計算された解行列のデータを、前記ターゲットビデオデータセグメントのデータとして決定するステップと
を含む、方法。
【請求項１４】
前記方法が、
受信した第1の参照データグループの前記数が前記第2の事前設定時間の終了時にk未満である場合、受信した第1の参照データグループの前記数とkとの差分の絶対値を取得するステップと、
前記絶対値を現在の復号差分として前記ビデオ符号化デバイスに送信するステップと
をさらに含む、請求項13に記載の方法。
【請求項１５】
前記方法が、
前記第2の事前設定時間において、受信した第1の参照データグループの前記数がkに達した後、前記ビデオ符号化デバイスに現在の復号差分を送信するステップであって、前記現在の復号差分が0である、ステップ
をさらに含む、請求項13または14に記載の方法。
【請求項１６】
符号化データブロックと前記受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築する前記ステップが、
前記受信したk個の第1の参照データグループをパースして、k個の符号化データブロックと、前記k個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとを取得するステップと、
前記k個の符号化データブロックを使用して前記連立方程式行列の定数項行列を構築するステップであって、各符号化データブロックが前記定数項行列の1行として使用される、ステップと、
前記k個の参照データセットを使用して前記連立方程式行列の係数行列を構築するステップであって、各参照データセットが前記係数行列の1行として使用され、各参照データセットが前記係数行列において位置する前記行の階数が、対応する符号化データブロックが前記定数項行列において位置する行の階数と同じである、ステップと
を含む、請求項13から15のいずれか一項に記載の方法。
【請求項１７】
u台のフロントエンドサーバによって送信された第1の参照データグループを受信する前記ステップの後に、前記方法が、
前記第1の参照データグループを事前設定記憶場所に格納するステップであって、
前記事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、前記ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて決定され、
前記最大遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、前記最小遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに前記参照データグループを送信するために必要とされる最小時間である、ステップ
をさらに含む、請求項13から16のいずれか一項に記載の方法。
【請求項１８】
前記事前設定記憶場所の前記記憶空間サイズが第6の式を満たし、前記第6の式が、
【数８】
2021505081.tif 000080
であり、式中、Qが、前記事前設定記憶場所の前記記憶空間サイズであり、max（delay）が、前記最大遅延時間であり、min（delay）が、前記最小遅延時間であり、generate_timeが、前記ビデオデータストリーム内の前記ビデオデータセグメントの前記生成時間であり、sが、前記ビデオデータセグメントのデータ量サイズである、請求項17に記載の方法。
【請求項１９】
ライブブロードキャストネットワークにおいてビデオ符号化デバイスで使用される、ビデオ伝送装置であって、前記ライブブロードキャストネットワークが、前記ビデオ符号化デバイスと、ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記装置が、
ターゲットビデオデータセグメントを取得するように構成された第1の取得モジュールであって、前記ターゲットビデオデータセグメントが、送信されるべきライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、kが1以上の正の整数である、第1の取得モジュールと、
t個の参照データセットを取得するように構成された第2の取得モジュールであって、各参照データセットが少なくとも1つの参照データを含み、tがkより大きい正の整数である、第2の取得モジュールと、
各参照データセットを使用して前記ターゲットビデオデータセグメントを符号化して、前記t個の参照データセットと一対一の対応関係にあるt個の符号化データブロックを取得するように構成された符号化モジュールであって、前記t個の参照データセット内の任意のk個の参照データセットと、前記任意のk個の参照データセットと一対一の対応関係にあるk個の符号化データブロックとで連立方程式行列を構築することができ、前記連立方程式行列の解行列のデータが前記ターゲットビデオデータセグメントのデータである、符号化モジュールと、
n台のフロントエンドサーバを使用して前記ビデオ復号デバイスにt個の第1の参照データグループを送信するように構成された送信モジュールであって、nが1以上の正の整数であり、各第1の参照データグループが、1つの符号化データブロックおよび対応する参照データセットを含む、送信モジュールと
を含む、装置。
【請求項２０】
各参照データセットが、前記k個のデータブロックと一対一の対応関係にあるk個の参照データを含み、
前記符号化モジュールが、
参照データセットごとに、前記参照データセットに含まれる各参照データを対応するデータブロックで乗算して、k個の積を取得することと、
前記k個の積を加算して、前記参照データセットに対応する符号化データブロックを取得することと
を行うように構成される、請求項19に記載の装置。
【請求項２１】
前記第1の取得モジュールが、
前記送信されるべきライブビデオの前記ビデオデータストリームを取得することと、
前記ビデオデータストリームからデータブロックを取得することと、
第1の事前設定時間において、取得されたデータブロックの数がk以上である場合、前記取得されたk個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成すること、または
取得されたデータブロックの前記数が前記第1の事前設定時間の終了時にk未満である場合、事前設定データを使用して前記取得されたデータブロックをパディングして、k個のデータブロックを取得し、パディングによって取得された前記k個のデータブロックを使用して前記ターゲットビデオデータセグメントを形成することと
を行うように構成される、請求項19または20に記載の装置。
【請求項２２】
前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された（p＋1）番目のビデオデータセグメントであり、pが1以上の正の整数であり、
前記装置が、第1の決定モジュールをさらに含み、
前記第1の決定モジュールが、
前記ビデオ復号デバイスによって送信されたp個の履歴復号差分を受信することであって、前記p個の履歴復号差分が、前記ビデオデータストリームにおいて前記ターゲットビデオデータセグメントに先行するp個のビデオデータセグメントと一対一の対応関係にあり、各履歴復号差分が、復号によって対応するビデオデータセグメントを正常に取得する前に第2の事前設定時間の終了時に前記ビデオ復号デバイスに不足している参照データグループの数を表すために使用される、ことと、
前記p個の履歴復号差分に基づき、取得される必要のある参照データセットの前記数tの値を決定することと
を行うように構成される、請求項19から21のいずれか一項に記載の装置。
【請求項２３】
前記p個の履歴復号差分内のi番目の履歴復号差分diが、
前記ビデオ復号デバイスが、復号によって前記第2の事前設定時間において、前記ビデオデータストリーム内の、前記i番目の履歴復号差分に対応するi番目のビデオデータセグメントを正常に取得する場合、di＝0を満たし、
前記ビデオ復号デバイスが、前記第2の事前設定時間の終了時に復号による前記i番目のビデオデータセグメントの取得に失敗する場合、di＝y−xを満たし、式中、yが、復号によって前記i番目のビデオデータセグメントを正常に取得するために前記ビデオ復号デバイスによって必要とされる参照データグループの数であり、xが、前記第2の事前設定時間の終了時に前記ビデオ復号デバイスによって取得される前記i番目のビデオデータセグメントに対応する参照データグループの数であり、1≦i≦pである、請求項22に記載の装置。
【請求項２４】
前記ターゲットビデオデータセグメントが、前記ビデオデータストリームから前記ビデオ符号化デバイスによって取得された最初のビデオデータセグメントであり、
前記装置が、第2の決定モジュールをさらに含み、
前記第2の決定モジュールが、
前記ライブブロードキャストネットワークの平均パケット損失率に基づき、取得される必要のある参照データセットの前記数tの値を決定すること
を行うように構成される、請求項19から23のいずれか一項に記載の装置。
【請求項２５】
前記装置が、第3の決定モジュールをさらに含み、
前記第3の決定モジュールが、
前記ビデオ符号化デバイスへの通信接続を確立しているr台のフロントエンドサーバを決定することであって、rがn以上の正の整数である、ことと、
前記ビデオ符号化デバイスと前記r台のフロントエンドサーバの各々との間のデータ伝送速度に基づいて前記r台のフロントエンドサーバの中から前記n台のフロントエンドサーバを決定することであって、前記n台のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質が別のフロントエンドサーバと前記ビデオ符号化デバイスとの間の通信品質よりも良好である、ことと
を行うように構成される、請求項19から24のいずれか一項に記載の装置。
【請求項２６】
前記装置が、第4の決定モジュールをさらに含み、
前記第4の決定モジュールが、
データブロックの前記数kに対応する伝送遅延が事前設定伝送遅延範囲内に収まるように、伝送遅延とデータブロックの数との間の事前設定対応関係に基づいて前記ターゲットビデオデータセグメント内のデータブロックの前記数kを決定することあって、前記伝送遅延が、アンカ端末が前記ビデオ復号デバイスに前記ビデオデータセグメントを送信するときに存在している伝送遅延である、こと
を行うように構成される、請求項19から25のいずれか一項に記載の装置。
【請求項２７】
ライブブロードキャストネットワークにおいてビデオ復号デバイスで使用される、ビデオ伝送装置であって、前記ライブブロードキャストネットワークが、ビデオ符号化デバイスと、前記ビデオ復号デバイスと、複数のフロントエンドサーバとを含み、前記装置が、
u台のフロントエンドサーバによって送信された第1の参照データグループを受信するように構成された受信モジュールであって、各第1の参照データグループが符号化データブロックおよび対応する参照データセットを含み、各符号化データブロックが、前記ビデオ符号化デバイスにより、対応する参照データセットを使用してターゲットビデオデータセグメントを符号化することによって取得され、前記ターゲットビデオデータセグメントが、ライブビデオのビデオデータストリーム内のデータのセグメントであり、前記ターゲットビデオデータセグメントがk個のデータブロックを含み、前記参照データセットが少なくとも1つの参照データを含み、kが1以上の正の整数であり、uが1以上の正の整数である、受信モジュールと、
第2の事前設定時間において、受信した第1の参照データグループの数がkに達すると、符号化データブロックと前記受信したk個の第1の参照データグループ内の参照データセットとに基づいて連立方程式行列を構築するように構成された構築モジュールと、
前記連立方程式行列の計算された解行列のデータを、前記ターゲットビデオデータセグメントのデータとして決定するように構成された決定モジュールと
を含む、装置。
【請求項２８】
前記装置が、第1の送信モジュールをさらに含み、
前記第1の送信モジュールが、
受信した第1の参照データグループの前記数が前記第2の事前設定時間の終了時にk未満である場合、受信した第1の参照データグループの前記数とkとの差分の絶対値を取得することと、
前記絶対値を現在の復号差分として前記ビデオ符号化デバイスに送信することと
を行うように構成される、請求項27に記載の装置。
【請求項２９】
前記装置が、第2の送信モジュールをさらに含み、
前記第2の送信モジュールが、
前記第2の事前設定時間において、受信した第1の参照データグループの前記数がkに達した後、前記ビデオ符号化デバイスに現在の復号差分を送信することであって、前記現在の復号差分が0である、こと
を行うように構成される、請求項27または28に記載の装置。
【請求項３０】
前記構築モジュールが、
前記受信したk個の第1の参照データグループをパースして、k個の符号化データブロックと、前記k個の符号化データブロックと一対一の対応関係にあるk個の参照データセットとを取得することと、
前記k個の符号化データブロックを使用して前記連立方程式行列の定数項行列を構築することであって、各符号化データブロックが前記定数項行列の1行として使用される、ことと、
前記k個の参照データセットを使用して前記連立方程式行列の係数行列を構築することであって、各参照データセットが前記係数行列の1行として使用され、各参照データセットが前記係数行列において位置する前記行の階数が、対応する符号化データブロックが前記定数項行列において位置する行の階数と同じである、ことと
を行うように構成される、請求項27から29のいずれか一項に記載の装置。
【請求項３１】
前記装置が、記憶モジュールをさらに含み、
前記記憶モジュールが、
前記第1の参照データグループを事前設定記憶場所に格納することであって、
前記事前設定記憶場所の記憶空間サイズが、最大遅延時間と、最小遅延時間と、前記ビデオデータストリーム内のビデオデータセグメントの生成時間とに基づいて決定され、
前記最大遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに参照データグループを送信するために必要とされる最大時間であり、前記最小遅延時間が、前記ビデオ符号化デバイスによって前記フロントエンドサーバを介して前記ビデオ復号デバイスに前記参照データグループを送信するために必要とされる最小時間である、こと
を行うように構成される、請求項27から30のいずれか一項に記載の装置。
【請求項３２】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体が命令を格納し、
前記命令がコンピュータの処理コンポーネントで動作すると、前記処理コンポーネントが、請求項1から12のいずれか一項に記載のビデオ伝送方法を実施可能となるか、または前記処理コンポーネントが、請求項13から18のいずれか一項に記載のビデオ伝送方法を実施可能となる、コンピュータ可読記憶媒体。
【国際調査報告】
2021505081.tif 000081
2021505081.tif 000082
2021505081.tif 000083
2021505081.tif 000084