(57)【要約】  本発明は、ビデオ品質評価を実行するための方法、装置およびシステムを開示する。ビデオ品質が評価される場合、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、当該ビデオフレームにおける破損データの位置、および当該ビデオフレームまたは当該ビデオフレームの後に位置するビデオフレームに対する当該ビデオフレームが位置するシーンの影響など、他の要因も考慮される。従って、品質評価の精度はより高い。
2019528635.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ品質評価を実行するための方法であって、
１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断する段階と、
前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得する段階であって、前記破損データは、前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、段階と、
前記１番目のビデオフレームがシーン変化フレームであるかどうかを判断する段階と、
前記１番目のビデオフレームはシーン変化フレームではない、と判断した場合、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する段階と
を備える方法。
【請求項２】
前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階は具体的には、
式ｘｌｅｃ＝β×ｘｌｅｌを用いて前記１番目のビデオフレームの前記品質劣化値を補正する段階
を有し、
ｘｌｅｌは、前記シーンに基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｃは、前記シーンに基づいて補正された後に取得された品質劣化値であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項１に記載の方法。
【請求項３】
前記１番目のビデオフレームの品質劣化値を取得する前記段階の後、かつ、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階の前に、
前記１番目のビデオフレームにおける前記破損データの位置を決定する段階と、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する段階と
をさらに備える、請求項１または２に記載の方法。
【請求項４】
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて補正する前記段階は具体的には、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正する段階
を有し、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記１番目のビデオフレームにおける前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項３に記載の方法。
【請求項５】
αは、式
【数３２】
2019528635.tif 000034
または
【数３３】
2019528635.tif 000035
を用いて計算され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５未満であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項４に記載の方法。
【請求項６】
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、式
【数３４】
2019528635.tif 000036
を用いて計算され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項５に記載の方法。
【請求項７】
前記１番目のビデオフレームが位置する前記シーンの前記シーン複雑度に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階の後に、
式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するＧＯＰの品質劣化値を計算する段階
をさらに備え、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項１から６のいずれか一項に記載の方法。
【請求項８】
ビデオ品質評価を実行するための方法であって、
１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断する段階と、
前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得する段階であって、前記破損データは、前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、段階と、
式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するＧＯＰの品質劣化値を計算する段階と
を備え、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
方法。
【請求項９】
前記１番目のビデオフレームの品質劣化値を取得する前記段階の後、かつ、前記１番目のビデオフレームが位置するＧＯＰの品質劣化値を計算する前記段階の前に、
前記１番目のビデオフレームにおける前記破損データの位置を決定する段階と、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する段階と
をさらに備え、
ｘｌｅは具体的には、前記位置に基づいて補正された後に取得された品質劣化値である、
請求項８に記載の方法。
【請求項１０】
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて補正する前記段階は具体的には、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正する段階
を有し、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項９に記載の方法。
【請求項１１】
αは、式
【数３５】
2019528635.tif 000037
または
【数３６】
2019528635.tif 000038
を用いて計算され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項１０に記載の方法。
【請求項１２】
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、式
【数３７】
2019528635.tif 000039
を用いて計算され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項１１に記載の方法。
【請求項１３】
ビデオ品質評価を実行するための方法であって、
１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断する段階と、
前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得する段階であって、前記破損データは、前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、段階と、
前記１番目のビデオフレームにおける前記破損データの位置を決定する段階と、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する段階と
を備える方法。
【請求項１４】
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて補正する前記段階は具体的には、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正する段階
を有し、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記１番目のビデオフレームにおける前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項１３に記載の方法。
【請求項１５】
αは、式
【数３８】
2019528635.tif 000040
または
【数３９】
2019528635.tif 000041
を用いて計算され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項１４に記載の方法。
【請求項１６】
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、式
【数４０】
2019528635.tif 000042
を用いて計算され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項１５に記載の方法。
【請求項１７】
前記１番目のビデオフレームの品質劣化値を取得する前記段階の後、かつ、前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて補正する前記段階の前に、
前記１番目のビデオフレームはシーン変化フレームではない、と判断した場合、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する段階
をさらに備え、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて補正する前記段階は具体的には、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて、前記シーン複雑度に基づいて補正された後に取得された、前記１番目のビデオフレームの品質劣化値を補正する段階
を有する、
請求項１３から１６のいずれか一項に記載の方法。
【請求項１８】
前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階は具体的には、
式ｘｌｅｃ＝β×ｘｌｅｌを用いて前記１番目のビデオフレームの前記品質劣化値を補正する段階
を有し、
ｘｌｅｌは、前記シーンに基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｃは、前記シーンに基づいて補正された後に取得された品質劣化値であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項１７に記載の方法。
【請求項１９】
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて補正する前記段階の後に、
式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するＧＯＰの品質劣化値を計算する段階
をさらに備え、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項１７または１８に記載の方法。
【請求項２０】
判断ユニットと、計算ユニットと
を備え、
前記判断ユニットは、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成され、
前記計算ユニットは、前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得し、
前記１番目のビデオフレームがシーン変化フレームであるかどうかを判断し、かつ、
前記１番目のビデオフレームはシーン変化フレームではない、と判断した場合、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する
ように構成される、
評価装置。
【請求項２１】
前記計算ユニットが、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成されることは具体的には、
式ｘｌｅｃ＝β×ｘｌｅｌを用いて前記１番目のビデオフレームの前記品質劣化値を補正すること
を含み、
ｘｌｅｌは、前記シーンに基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｃは、前記シーンに基づいて補正された後に取得された品質劣化値であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項２０に記載の評価装置。
【請求項２２】
前記計算ユニットはさらに、
前記１番目のビデオフレームの前記品質劣化値を取得した後、かつ、前記１番目のビデオフレームが位置する前記シーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前に、
前記１番目のビデオフレームにおける前記破損データの位置を決定し、かつ、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する
ように構成される、
請求項２０または２１に記載の評価装置。
【請求項２３】
前記計算ユニットが前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて補正するように構成されることは具体的には、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正すること
を含み、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記１番目のビデオフレームにおける前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項２２に記載の評価装置。
【請求項２４】
前記計算ユニットはさらに、
式
【数４１】
2019528635.tif 000043
または
【数４２】
2019528635.tif 000044
を用いてαを計算するように構成され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５未満であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項２３に記載の評価装置。
【請求項２５】
前記計算ユニットはさらに、
式
【数４３】
2019528635.tif 000045
を用いてｄａｍａｇｅＰｏｓｉｔｉｏｎを計算するように構成され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項２４に記載の評価装置。
【請求項２６】
前記計算ユニットはさらに、
前記１番目のビデオフレームが位置する前記シーンの前記シーン複雑度に基づいて前記１番目のビデオフレームの前記品質劣化値を補正した後に、式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するＧＯＰの品質劣化値を計算するように構成され、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項２０から２５のいずれか一項に記載の評価装置。
【請求項２７】
判断ユニットと、計算ユニットと
を備え、
前記判断ユニットは、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成され、
前記計算ユニットは、
前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得し、かつ、
式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するＧＯＰの品質劣化値を計算する
ように構成され、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
評価装置。
【請求項２８】
前記計算ユニットはさらに、
前記１番目のビデオフレームの前記品質劣化値を取得した後、かつ、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値を計算する前に、
前記１番目のビデオフレームにおける前記破損データの位置を決定し、かつ、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する
ように構成され、
ｘｌｅは具体的には、前記位置に基づいて補正された後に取得された品質劣化値である、
請求項２７に記載の評価装置。
【請求項２９】
前記計算ユニットが前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて補正するように構成されることは具体的には、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正すること
を含み、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記１番目のビデオフレームにおける前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項２８に記載の評価装置。
【請求項３０】
前記計算ユニットはさらに、
式
【数４４】
2019528635.tif 000046
または
【数４５】
2019528635.tif 000047
を用いてαを計算するように構成され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項２９に記載の評価装置。
【請求項３１】
前記計算ユニットはさらに、
式
【数４６】
2019528635.tif 000048
を用いてｄａｍａｇｅＰｏｓｉｔｉｏｎを計算するように構成され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項３０に記載の評価装置。
【請求項３２】
判断ユニットと、計算ユニットと
を備え、
前記判断ユニットは、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成され、
前記計算ユニットは、
前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得するように構成され、さらに、
前記１番目のビデオフレームにおける前記破損データの位置を決定し、かつ、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する
ように構成される、
評価装置。
【請求項３３】
前記計算ユニットが前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて補正するように構成されることは具体的には、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正すること
を含み、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記１番目のビデオフレームにおける前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項３２に記載の評価装置。
【請求項３４】
前記計算ユニットはさらに、
式
【数４７】
2019528635.tif 000049
または
【数４８】
2019528635.tif 000050
を用いてαを計算するように構成され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項３３に記載の評価装置。
【請求項３５】
前記計算ユニットはさらに、
式
【数４９】
2019528635.tif 000051
を用いてｄａｍａｇｅＰｏｓｉｔｉｏｎを計算するように構成され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項３４に記載の評価装置。
【請求項３６】
前記計算ユニットはさらに、
前記１番目のビデオフレームの前記品質劣化値を取得した後、かつ、前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前に、前記１番目のビデオフレームはシーン変化フレームではない、と判断した場合、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成され、
前記計算ユニットが前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成されることは具体的には、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて、前記シーン複雑度に基づいて補正された後に取得された、前記１番目のビデオフレームの品質劣化値を補正すること
を含む、
請求項３２から３５のいずれか一項に記載の評価装置。
【請求項３７】
前記計算ユニットが、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成されることは具体的には、
式ｘｌｅｃ＝β×ｘｌｅｌを用いて前記１番目のビデオフレームの前記品質劣化値を補正すること
を含み、
ｘｌｅｌは、前記シーンに基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｃは、前記シーンに基づいて補正された後に取得された品質劣化値であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項３６に記載の評価装置。
【請求項３８】
前記計算ユニットはさらに、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正した後に、式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するＧＯＰの品質劣化値を計算するように構成され、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項３６または３７に記載の評価装置。
【請求項３９】
ビデオ品質評価を実行するためのシステムであって、
ビデオサーバと、送信デバイスと、ビデオ端末と
を備え、
前記ビデオサーバにより送信されたビデオストリームは、前記送信デバイスを用いて前記ビデオ端末へ送信され、
前記送信デバイスまたは前記ビデオ端末は、請求項２０から３８のいずれか一項に記載の評価装置を有し、または、
前記システムは、請求項２０から３８のいずれか一項に記載の評価装置をさらに備え、
前記送信デバイスまたは前記ビデオ端末は、前記システムの前記評価装置に接続され、
前記システムの前記評価装置は、前記システムの前記評価装置または前記ビデオ端末に接続された前記送信デバイスを用いて前記ビデオストリームを取得する、
システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ技術分野に関し、特に、ビデオ品質評価を実行するための方法、装置およびシステムに関する。
【背景技術】
【０００２】
マルチメディア情報時代の到来により、様々なビデオ処理およびビデオ通信技術が連続的に台頭している。従って、ビデオ品質評価技術がますます重要になっている。
【０００３】
通信技術が発展するにつれ、ＩＰＴＶ（インターネットプロトコルテレビ）、インターネットプロトコルテレビおよびオーバー・ザ・トップ（Ｏｖｅｒ  Ｔｈｅ  Ｔｏｐ、ＯＴＴ）などのビデオサービスが広く商業的に用いられている。ビデオサービスの品質を保証するために、ビデオ品質は、ビデオサービスの正常な動作を保証すべく対応する調整措置が時間内に講じられ得るように評価される必要がある。従って、どのようにビデオ品質を正確に評価するかが、緊急に解決される必要がある重要な課題になっている。
【０００４】
ビデオ品質評価中、パケット損失により生じる影響は、考慮される必要がある重要な要素である。ＩＴＵ−Ｔ勧告Ｐ１２０１．２において提供されているＩＰＴＶモニタリング解決手段では、ビデオ品質評価中に用いられる方法は、破損データが位置するビデオフレームにおけるパケット損失により生じる破損データの割合を計算し、当該割合を用いて、パケット損失により生じる影響度を決定することである。より大きい割合は、より高い影響度を示す。
【０００５】
しかしながら、上述の方法は、破損データが位置するビデオフレームにおけるパケット損失により生じる破損データの割合のみを考慮している。結果的に、評価結果の精度は高くない。
【発明の概要】
【０００６】
本発明の実施形態は、ビデオ品質評価結果が不正確であるという従来技術の課題を解決すべく、ビデオ品質評価を実行するための方法、装置およびシステムを提供する。
【０００７】
第１の態様によれば、ビデオ品質評価を実行するための方法が提供される。
方法は、
１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断する段階と、
１番目のビデオフレームにおける破損データの割合を計算することにより１番目のビデオフレームの品質劣化値を取得する段階であって、破損データは、１番目のビデオフレームにおける１番目のデータパケットの損失に影響を受けた画像データを含む、段階と、
１番目のビデオフレームがシーン変化フレームであるかどうかを判断する段階と、
１番目のビデオフレームはシーン変化フレームではない、と判断した場合、１番目のビデオフレームが位置するシーンに基づいて１番目のビデオフレームの品質劣化値を補正する段階と
を含む。
【０００８】
本発明の第１の態様において提供される方法によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームに対するビデオフレームが位置するシーンの影響も考慮される。従って、品質評価の精度はより高い。
【０００９】
第１の態様の第１の可能な実装形態において、具体的には、１番目のビデオフレームのＡ品質劣化値は、式ｘｌｅｃ＝β×ｘｌｅｌを用いて示補正され得る。ｘｌｅｌは、シーンに基づいて補正される前に取得された品質劣化値であり、ｘｌｅｃは、シーンに基づいて補正された後に取得された品質劣化値であり、βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。
【００１０】
本実装形態によれば、品質劣化値に対する１番目のビデオフレームが位置するシーンのシーン複雑度の影響が特に考慮されることにより、品質評価の精度がさらに向上する。
【００１１】
具体的には、βは、式
【数１】
2019528635.tif 000003
を用いて計算され得る。ｔｃｏｍｐは、１番目のビデオフレームが位置するシーンの時間複雑度である。ｔｃｏｍｐのより大きい値は、関数ｇを用いた計算を通じて取得されたβのより大きい値を示し、ｔｃｏｍｐのより小さい値は、関数ｇを用いた計算を通じて取得されたβのより小さい値を示す。
【００１２】
シーンの時間複雑度ｔｃｏｍｐは、シーンにおける隣接ビデオフレーム間の相関度を表すために用いられる。より高い時間複雑度はより弱い相関を示し、より低い時間複雑度はより強い相関を示す。時間複雑度は、シーンにおける隣接ビデオフレーム間の相関度を表す。従って、シーン複雑度が効果的に反映されることにより、品質評価の精度がさらに向上し得る。
【００１３】
非Ｉフレーム（ＢフレームまたはＰフレームなど）は、圧縮のためにビデオフレーム間の相関を用いる。従って、より強い相関、つまり、より低い時間複雑度は、非Ｉフレームのより高い圧縮率を示す。従って、シーンの時間複雑度は、１番目のビデオフレームが位置するシーンにおける全ての非Ｉフレームのフレームサイズの中央値または平均値と、シーンにおける全てのＩフレームのフレームサイズの中央値または平均値との比を計算することにより取得され得る。具体的には、比は、シーンの時間複雑度として直接用いられ得る。非Ｉフレームの圧縮率に対するビデオフレーム間の相関の影響が考慮される。従って、時間複雑度が正確に計算されることにより、品質評価の精度がさらに向上し得る。
【００１４】
第２の態様によれば、ビデオ品質評価を実行するための方法が提供される。
方法は、
１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断する段階と、
１番目のビデオフレームにおける破損データの割合を計算することにより１番目のビデオフレームの品質劣化値を取得する段階であって、破損データは、１番目のビデオフレームにおける１番目のデータパケットの損失に影響を受けた画像データを含む、段階と、
式ｘｌ＝β×ｘｌｅ×Δｔを用いて、１番目のビデオフレームが位置するＧＯＰの品質劣化値を計算する段階と
を含み、
ｘｌｅは、１番目のビデオフレームの品質劣化値であり、
ｘｌは、１番目のビデオフレームが位置するＧＯＰの品質劣化値であり、
Δｔは、１番目のビデオフレームに対応する時点と、１番目のビデオフレームの後に位置し、１番目のビデオフレームへの最短距離を有し、かつ、ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、シーンのより高い複雑度を示し、
βのより小さい値は、シーンのより低い複雑度を示す。
【００１５】
本発明の第２の態様において提供される方法によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームの後に位置するビデオフレームに対する、ビデオフレームが位置するシーンの影響も考慮される。従って、品質評価の精度はより高い。
【００１６】
具体的には、βは、式
【数２】
2019528635.tif 000004
を用いて計算され得る。ｔｃｏｍｐは、１番目のビデオフレームが位置するシーンの時間複雑度である。ｔｃｏｍｐのより大きい値は、関数ｇを用いた計算を通じて取得されたβのより大きい値を示し、ｔｃｏｍｐのより小さい値は、関数ｇを用いた計算を通じて取得されたβのより小さい値を示す。
【００１７】
シーンの時間複雑度ｔｃｏｍｐは、シーンにおける隣接ビデオフレーム間の相関度を表すために用いられる。より高い時間複雑度はより弱い相関を示し、より低い時間複雑度はより強い相関を示す。時間複雑度は、シーンにおける隣接ビデオフレーム間の相関度を表す。従って、シーン複雑度が効果的に反映されることにより、品質評価の精度がさらに向上し得る。
【００１８】
非Ｉフレーム（ＢフレームまたはＰフレームなど）は、圧縮のためにビデオフレーム間の相関を用いる。従って、より強い相関、つまり、より低い時間複雑度は、非Ｉフレームのより高い圧縮率を示す。従って、シーンの時間複雑度は、１番目のビデオフレームが位置するシーンにおける全ての非Ｉフレームのフレームサイズの中央値または平均値と、シーンにおける全てのＩフレームのフレームサイズの中央値または平均値との比を計算することにより取得され得る。具体的には、比は、シーンの時間複雑度として直接用いられ得る。非Ｉフレームの圧縮率に対するビデオフレーム間の相関の影響が考慮される。従って、時間複雑度が正確に計算されることにより、品質評価の精度がさらに向上し得る。
【００１９】
第３の態様によれば、ビデオ品質評価を実行するための方法が提供される。方法は、
１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断する段階と、
１番目のビデオフレームにおける破損データの割合を計算することにより１番目のビデオフレームの品質劣化値を取得する段階であって、破損データは、１番目のビデオフレームにおける１番目のデータパケットの損失に影響を受けた画像データを含む、段階と、
１番目のビデオフレームにおける破損データの位置を決定する段階と、
１番目のビデオフレームにおける破損データの位置に基づいて１番目のビデオフレームの品質劣化値を補正する段階と
を含む。
【００２０】
本発明の第３の態様において提供される方法によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームにおける破損データの位置も考慮される。従って、品質評価の精度はより高い。
【００２１】
第３の態様の第１の可能な実装形態において、具体的には、１番目のビデオフレームの品質劣化値は、式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて補正され得る。
ｘｌｅｌ１は、位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、位置に基づいて補正された後に取得された品質劣化値であり、
αは、１番目のビデオフレームの品質に対する１番目のビデオフレームにおける破損データの位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す。
【００２２】
具体的な実装形態において、αは、式
【数３】
2019528635.tif 000005
を用いて計算され得る。
【００２３】
ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂ超である（ｂの値が０超かつ０．５未満である）場合にｄａｍａｇｅＰｏｓｉｔｉｏｎと共に変動するαの変動振幅は、ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂより小さい場合にｄａｍａｇｅＰｏｓｉｔｉｏｎと共に変動するαの変動振幅未満である。より大きいｄａｍａｇｅＰｏｓｉｔｉｏｎの値に基づいて計算されるαの値は、より小さいｄａｍａｇｅＰｏｓｉｔｉｏｎの値に基づいて計算されるαの値以上であり、αの値は０超である。
【００２４】
ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂ未満である、つまり、破損領域が１番目のビデオフレームの最下部に比較的近い場合、ビデオ知覚品質に対する影響は比較的低い。ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂ超である場合、つまり、破損領域が１番目のビデオフレームの中央位置に近い比較的大きい領域を含む場合、ビデオ知覚品質に対する影響は比較的低く、または、破損領域が最下部に比較的近い場合、破損領域の異なるサイズにより生じるビデオ知覚品質の影響は、明らかに異なる。しかしながら、破損領域が中央位置に近い比較的大きい領域を含む場合、破損領域の異なるサイズにより生じるビデオ知覚品質に対する影響間の差は、著しいものではない。従って、式を用いた計算を通じて取得された補正係数αは、ビデオ知覚品質の破損データの位置の影響を正確に反映し得、品質評価の精度は、さらに向上し得る。
【００２５】
第４の態様によれば、評価装置が提供される。
評価装置は、判断ユニットと、計算ユニットと
を含み、
判断ユニットは、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成され、
計算ユニットは、１番目のビデオフレームにおける１番目のデータパケットの損失に影響を受けた画像データを含む、１番目のビデオフレームにおける破損データの割合を計算することにより１番目のビデオフレームの品質劣化値を取得し、
１番目のビデオフレームがシーン変化フレームであるかどうかを判断し、かつ、
１番目のビデオフレームはシーン変化フレームではない、と判断した場合、１番目のビデオフレームが位置するシーンに基づいて１番目のビデオフレームの品質劣化値を補正する
ように構成される。
【００２６】
本発明の第４の態様において提供される評価装置によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームに対するビデオフレームが位置するシーンの影響も考慮される。従って、品質評価の精度はより高い。
【００２７】
第４の態様の第１の可能な実装形態において、計算ユニットは具体的には、式ｘｌｅｃ＝β×ｘｌｅｌを用いて１番目のビデオフレームの品質劣化値を補正するように構成され得る。ｘｌｅｌは、シーンに基づいて補正される前に取得された品質劣化値であり、ｘｌｅｃは、シーンに基づいて補正された後に取得された品質劣化値であり、βは、１番目のビデオフレームが位置ｓるシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。
【００２８】
本実装形態によれば、品質劣化値に対する１番目のビデオフレームが位置するシーンのシーン複雑度の影響が特に考慮されることにより、品質評価の精度がさらに向上する。
【００２９】
具体的には、βは、式
【数４】
2019528635.tif 000006
を用いて計算され得る。ｔｃｏｍｐは、１番目のビデオフレームが位置するシーンの時間複雑度である。ｔｃｏｍｐのより大きい値は、関数ｇを用いた計算を通じて取得されたβのより大きい値を示し、ｔｃｏｍｐのより小さい値は、関数ｇを用いた計算を通じて取得されたβのより小さい値を示す。
【００３０】
シーンの時間複雑度ｔｃｏｍｐは、シーンにおける隣接ビデオフレーム間の相関度を表すために用いられる。より高い時間複雑度はより弱い相関を示し、より低い時間複雑度はより強い相関を示す。時間複雑度は、シーンにおける隣接ビデオフレーム間の相関度を表す。従って、シーン複雑度が効果的に反映されることにより、品質評価の精度がさらに向上し得る。
【００３１】
非Ｉフレーム（ＢフレームまたはＰフレームなど）は、圧縮のためにビデオフレーム間の相関を用いる。従って、より強い相関、つまり、より低い時間複雑度は、非Ｉフレームのより高い圧縮率を示す。従って、シーンの時間複雑度は、１番目のビデオフレームが位置するシーンにおける全ての非Ｉフレームのフレームサイズの中央値または平均値と、シーンにおける全てのＩフレームのフレームサイズの中央値または平均値との比を計算することにより取得され得る。具体的には、比は、シーンの時間複雑度として直接用いられ得る。非Ｉフレームの圧縮率に対するビデオフレーム間の相関の影響が考慮される。従って、時間複雑度が正確に計算されることにより、品質評価の精度がさらに向上し得る。
【００３２】
第５の態様によれば、評価装置が提供される。評価装置は、判断ユニットと、計算ユニットとを含む。
判断ユニットは、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成され、
計算ユニットは、
１番目のビデオフレームにおける１番目のデータパケットの損失に影響を受けた画像データを含む、１番目のビデオフレームにおける破損データの割合を計算することにより１番目のビデオフレームの品質劣化値を取得し、かつ、
式ｘｌ＝β×ｘｌｅ×Δｔを用いて、１番目のビデオフレームが位置するＧＯＰの品質劣化値を計算する
ように構成される。
【００３３】
ｘｌｅは、１番目のビデオフレームの品質劣化値であり、ｘｌは、１番目のビデオフレームが位置するＧＯＰの品質劣化値であり、Δｔは、１番目のビデオフレームに対応する時点と、１番目のビデオフレームの後に位置し、１番目のビデオフレームへの最短距離を有し、かつ、ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。
【００３４】
本発明の第５の態様において提供される評価装置によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームの後に位置するビデオフレームに対する、ビデオフレームが位置するシーンの影響も考慮される。従って、品質評価の精度はより高い。
【００３５】
具体的には、βは、式
【数５】
2019528635.tif 000007
を用いて計算され得る。ｔｃｏｍｐは、１番目のビデオフレームが位置するシーンの時間複雑度である。ｔｃｏｍｐのより大きい値は、関数ｇを用いた計算を通じて取得されたβのより大きい値を示し、ｔｃｏｍｐのより小さい値は、関数ｇを用いた計算を通じて取得されたβのより小さい値を示す。
【００３６】
シーンの時間複雑度ｔｃｏｍｐは、シーンにおける隣接ビデオフレーム間の相関度を表すために用いられる。より高い時間複雑度はより弱い相関を示し、より低い時間複雑度はより強い相関を示す。時間複雑度は、シーンにおける隣接ビデオフレーム間の相関度を表す。従って、シーン複雑度が効果的に反映されることにより、品質評価の精度がさらに向上し得る。
【００３７】
非Ｉフレーム（ＢフレームまたはＰフレームなど）は、圧縮のためにビデオフレーム間の相関を用いる。従って、より強い相関、つまり、より低い時間複雑度は、非Ｉフレームのより高い圧縮率を示す。従って、シーンの時間複雑度は、１番目のビデオフレームが位置するシーンにおける全ての非Ｉフレームのフレームサイズの中央値または平均値と、シーンにおける全てのＩフレームのフレームサイズの中央値または平均値との比を計算することにより取得され得る。具体的には、比は、シーンの時間複雑度として直接用いられ得る。非Ｉフレームの圧縮率に対するビデオフレーム間の相関の影響が考慮される。従って、時間複雑度が正確に計算されることにより、品質評価の精度がさらに向上し得る。
【００３８】
第６の態様によれば、評価装置が提供される。
装置は、判断ユニットと、計算ユニットと
を含み、
判断ユニットは、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成され、
計算ユニットは、
１番目のビデオフレームにおける１番目のデータパケットの損失に影響を受けた画像データを含む、１番目のビデオフレームにおける破損データの割合を計算することにより１番目のビデオフレームの品質劣化値を取得するように構成され、さらに、
１番目のビデオフレームにおける破損データの位置を決定し、かつ、
１番目のビデオフレームにおける破損データの位置に基づいて１番目のビデオフレームの品質劣化値を補正する
ように構成される。
【００３９】
本発明の第６の態様において提供される評価装置によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームにおける破損データの位置も考慮される。従って、品質評価の精度はより高い。
【００４０】
第６の態様の第１の可能な実装形態において、計算ユニットは具体的には、式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて１番目のビデオフレームの品質劣化値を補正するように構成され得る。
ｘｌｅｌ１は、位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、位置に基づいて補正された後に取得された品質劣化値であり、
αは、１番目のビデオフレームの品質に対する１番目のビデオフレームにおける破損データの位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す。
【００４１】
具体的な実装形態において、計算ユニットは、式
【数６】
2019528635.tif 000008
を用いてαを計算し得る。
【００４２】
ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂ超である（ｂの値が０超かつ０．５未満である）場合にｄａｍａｇｅＰｏｓｉｔｉｏｎと共に変動するαの変動振幅は、ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂより小さい場合にｄａｍａｇｅＰｏｓｉｔｉｏｎと共に変動するαの変動振幅未満である。より大きいｄａｍａｇｅＰｏｓｉｔｉｏｎの値に基づいて計算されるαの値は、より小さいｄａｍａｇｅＰｏｓｉｔｉｏｎの値に基づいて計算されるαの値以上であり、αの値は０超である。
【００４３】
ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂ未満である、つまり、破損領域が１番目のビデオフレームの最下部に比較的近い場合、ビデオ知覚品質に対する影響は比較的低い。ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂ超である場合、つまり、破損領域が１番目のビデオフレームの中央位置に近い比較的大きい領域を含む場合、ビデオ知覚品質に対する影響は比較的低く、または、破損領域が最下部に比較的近い場合、破損領域の異なるサイズにより生じるビデオ知覚品質の影響は、明らかに異なる。しかしながら、破損領域が中央位置に近い比較的大きい領域を含む場合、破損領域の異なるサイズにより生じるビデオ知覚品質に対する影響間の差は、著しいものではない。従って、式を用いた計算を通じて取得された補正係数αは、ビデオ知覚品質の破損データの位置の影響を正確に反映し得、品質評価の精度は、さらに向上し得る。
【００４４】
第７の態様によれば、評価装置が提供される。
評価装置は、プロセッサと、メモリとを含む。
メモリは、コンピュータ演算命令を記憶するように構成され、
プロセッサは、本発明の第１の態様または第１の態様の任意の可能な実装形態において、第２の態様または第２の態様の任意の可能な実装形態において、また、第３の態様または第３の態様の任意の可能な実装形態において提供される方法を検出装置が実行するように、メモリに記憶されたコンピュータ演算命令を実行するように構成される。
【００４５】
本発明の第７の態様において提供される評価装置によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームにおける破損データの位置と、ビデオフレームがビデオフレーム上に位置するかまたはビデオフレームがビデオフレームの後に位置するシーンの影響となど、他の要因も考慮される。従って、品質評価の精度はより高い。
【００４６】
第８の態様によれば、送信デバイスが提供される。
検出デバイスは、メディアユニットと、評価装置とを含む。
メディアユニットは、ビデオサーバにより送信されたメディアストリームを受信し、メディアストリームを別の送信デバイスまたはビデオ端末へ送信し、かつ、メディアストリームを評価装置へ送信するように構成される。
評価装置は具体的には、本発明の第４の態様から第７の態様の任意の態様または任意の態様の任意の可能な実装形態において提供される評価装置であり得、
メディアユニットからメディアストリームを取得し、かつ、本発明の第４の態様から第７の態様の任意の態様または任意の態様の任意の実装形態において提供される評価装置により実行されるオペレーションを実行するように構成され、
オペレーションを実行するプロセスにおいて、具体的には、メディアストリームに基づいて、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成される。
【００４７】
本発明の第８の態様において提供される送信デバイスによれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームにおける破損データの位置と、ビデオフレームがビデオフレーム上に位置するかまたはビデオフレームがビデオフレームの後に位置するシーンの影響となど、他の要因も考慮される。従って、品質評価の精度はより高い。
【００４８】
第９の態様によれば、ビデオ端末が提供される。
ビデオ端末は、メディアユニットと、評価装置とを含む。
メディアユニットは、ビデオサーバにより送信されたメディアストリームを受信し、メディアストリームを復号化および再生し、かつ、メディアストリームを評価装置へ送信するように構成される。
評価装置は具体的には、本発明の第４の態様から第７の態様の任意の態様または任意の態様の任意の可能な実装形態において提供される評価装置であり得、
メディアユニットからメディアストリームを取得し、かつ、本発明の第４の態様から第７の態様の任意の態様または任意の態様の任意の実装形態において提供される評価装置により実行されるオペレーションを実行するように構成され、
オペレーションを実行するプロセスにおいて、具体的には、メディアストリームに基づいて、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成される。
【００４９】
本発明の第９の態様において提供されるビデオ端末によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームにおける破損データの位置と、ビデオフレームがビデオフレーム上に位置するかまたはビデオフレームがビデオフレームの後に位置するシーンの影響となど、他の要因も考慮される。従って、品質評価の精度はより高い。
【００５０】
第１０の態様によれば、ビデオ品質評価を実行するためのシステムが提供される。
システムは、ビデオサーバと、送信デバイスと、ビデオ端末とを含む。
ビデオサーバにより送信されたビデオストリームは、送信デバイスを用いてビデオ端末へ送信される。
送信デバイスまたはビデオ端末は具体的には、本発明の第４の態様から第７の態様の任意の態様または任意の態様の任意の可能な実装形態において提供される評価装置を含み得るか、またはシステムは、第１の評価装置をさらに含む。
具体的には、第１の評価装置は、本発明の第４の態様から第７の態様の任意の態様または任意の態様の任意の可能な実装形態において提供される評価装置であり得る。
送信デバイス２０２０またはビデオ端末２０３０は、第１の評価装置に接続される。
第１の評価装置は、送信デバイス、または第１の評価装置に接続されたビデオ端末を用いて、ビデオストリームを取得する。
【００５１】
本発明の第１０の態様において提供されるシステムによれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームにおける破損データの位置と、ビデオフレームがビデオフレーム上に位置するかまたはビデオフレームがビデオフレームの後に位置するシーンのシーン複雑度の影響となど、他の要因も考慮される。従って、品質評価の精度はより高い。
【図面の簡単な説明】
【００５２】
本発明の実施形態における技術的解決手段をより明確に説明すべく、以下では、実施形態または従来技術を説明するために必要な添付図面を簡潔に説明する。以下の説明における添付図面は、本発明のいくつかの実施形態を示しているに過ぎず、当業者であれば、創造的努力なくこれらの添付図面から他の図面をさらに導出し得ることは明らかである。
【００５３】
【図１Ａ】本発明の実施形態１によるビデオ品質評価を実行するために用いられるビデオシステム１００のネットワーキングの概略構造図である。
【図１Ｂ】本発明の実施形態１によるビデオ品質評価を実行するために用いられるビデオシステム１００のネットワーキングの概略構造図である。
【図１Ｃ】本発明の実施形態１によるビデオ品質評価を実行するために用いられるビデオシステム１００のネットワーキングの概略構造図である。
【００５４】
【図２】本発明の実施形態１による方法の概略フローチャートである。
【００５５】
【図３Ａ】本発明の実施形態１によるビデオフレームのパケット損失の模式図である。
【図３Ｂ】本発明の実施形態１によるビデオフレームのパケット損失の模式図である。
【００５６】
【図４Ａ】本発明の実施形態１によるＧＯＰの模式図である。
【００５７】
【図４Ｂ】本発明の実施形態１によるエラー広の模式図である。
【図４Ｃ】本発明の実施形態１によるエラー広の模式図である。  およびは、
【００５８】
【図５】本発明の実施形態２による評価装置２００の概略構造図である。
【００５９】
【図６】本発明の実施形態３による評価装置１０００の概略構造図である。
【００６０】
【図７】本発明の実施形態４による送信デバイス４００の概略構造図である。
【００６１】
【図８】本発明の実施形態５によるビデオ端末５００の概略構造図である。
【００６２】
【図９Ａ】本発明の実施形態６によるシステム２０００の概略構造図である。
【図９Ｂ】本発明の実施形態６によるシステム２０００の概略構造図である。
【図９Ｃ】本発明の実施形態６によるシステム２０００の概略構造図である。
【発明を実施するための形態】
【００６３】
以下では、本発明の実施形態における添付図面を参照して、本発明の実施形態における技術的解決手段を明確かつ十分に説明する。説明する実施形態は、本発明の実施形態の全てではなく一部であることは明らかである。当業者が創造的努力をすることなく本発明の実施形態に基づいて取得する全ての他の実施形態は、本発明の保護範囲に含まれるものとする。
【００６４】
図１Ａは、本発明の実施形態によるビデオシステム１００のネットワーキングの概略構造図である。ビデオシステム１００は、ビデオサーバ１１０と、１または複数の送信デバイス１２０と、ビデオ端末１３０とを含む。ビデオサーバ１１０により送信されたビデオストリームは、送信デバイス１２０を用いてビデオ端末１３０へ送信される。
【００６５】
ビデオシステム１００は具体的には、図１Ｂに示されるＩＰＴＶシステムであり得る。ＩＰＴＶシステムにおいて、ビデオサーバ１１０は具体的には、ビデオヘッドエンド（ｖｉｄｅｏ  ｈｅａｄＥｎｄ、ビデオＨＥ）であり、送信デバイス１２０は具体的には、コアルータ（Ｃｏｒｅ  Ｒｏｕｔｅｒ、ＣＲ）、ブロードバンドネットワークゲートウェイ（Ｂｒｏａｄｂａｎｄ  Ｎｅｔｗｏｒｋ  Ｇａｔｅｗａｙ、ＢＮＧ）および光回線終端装置（Ｏｐｔｉｃａｌ  Ｌｉｎｅ  Ｔｅｒｍｉｎａｌ、ＯＬＴ）などのネットワークデバイスを含み、ビデオ端末１３０は具体的には、セットトップボックス（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ、ＳＴＢ）である。
【００６６】
図１Ａおよび図１Ｂに示されるビデオシステムにおいて、ビデオストリームがビデオサーバからビデオ端末へ送信される場合、ビデオストリームが通過するネットワークのステータスが変化すると、パケット損失、レイテンシ、ジッタおよび障害など、ビデオストリームの異常現象が生じ得る。これらの異常現象により、ビデオ端末のスクリーン上で再生されるビデオ画像のアーティファクトおよびフレームフリーズなどの不具合が生じ得る。結果的に、ユーザのビデオ閲覧体験が減る。従って、ユーザのビデオ体験は、モニタリングされる必要がある。
【００６７】
ビデオ体験のモニタリング中、ビデオ品質評価を実行するように構成される評価装置は、ビデオストリームの品質を評価するために、ビデオシステムにデプロイされ得る。評価装置は、ビデオストリームが通過する任意のデバイス（送信デバイス１２０またはビデオ端末１３０など）にデプロイされ得るか、またはビデオストリームが通過し、そのビデオストリームをミラーリング方式で取得する任意のデバイスへバイパスされ得る。
【００６８】
具体的な実装形態において、図１Ｃに示されるように、評価装置は、ＣＲ、ＢＮＧおよびＯＬＴなどのネットワークデバイス上に、別々にデプロイされ得る。異なるネットワークデバイスのネットワークステータスは異なり、これらのネットワークデバイスを通過するビデオストリームは、異なる態様で影響を受け得る。ＣＲ、ＢＮＧ、ＯＬＴおよびＳＴＢ上の同じビデオストリームのネットワーク障害は異なる。従って、ビデオ品質評価が異なる時点で実行された場合、評価結果に基づいて計算されるビデオの平均オピニオン評点（Ｍｅａｎ  Ｏｐｉｎｉｏｎ  Ｓｃｏｒｅ  ｏｆ  Ｖｉｄｅｏ、ＭＯＳＶ）は異なる。図１Ｃに示されるように、具体的な例において、ＣＲ、ＢＮＧ、ＯＬＴおよびＳＴＢについて計算されたＭＯＳＶ値はそれぞれ、４．５、４．２、４．０および２．６である（より小さい値はより低い品質を示す）。ＣＲ、ＢＮＧ、ＯＬＴおよびＳＴＢにデプロイされた評価装置は別々に、評価されたＭＯＳＶ値をビデオ品質モニタリングプラットフォームへ報告する。ＳＴＢについて計算されたＭＯＳＶ値は急激に減る。従って、ビデオモニタリングプラットフォームは、ＯＬＴとＳＴＢとの間に深刻なネットワーク障害が生じていると判断し得る。従って、ネットワーク障害は、区切って配置され得る。
【００６９】
図２は、本発明の実施形態１による方法の概略フローチャートである。本発明の実施形態１の方法は、図１Ａおよび図１Ｂに示されるビデオシステム１００に適用され、評価装置により実行される。
【００７０】
図２に示されるように、本発明の実施形態１において提供される方法は、以下の段階を含む。
【００７１】
段階１０１：１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断する。
【００７２】
段階１０１の具体的な実装形態は、ビデオストリームを取得し、ビデオストリームにおける１番目のデータパケットが失われている、と判断することであり得る。
【００７３】
評価装置は、ビデオストリームが通過する任意のデバイス（送信デバイス１２０またはビデオ端末１３０など）に組み込まれ得るか、またはビデオストリームが通過し、そのビデオストリームをミラーリング方式で取得する任意のデバイスへバイパスされ得る。
【００７４】
符号化中、ビデオフレームは、単一のストリップまたは複数のストリップへと符号化され得る。ビデオフレームが複数のストリップへと符号化される場合、ストリップにおける画像データの符号化および復号化は、別のストリップにおける画像データに依存し得ない。以下では、説明用の例として、各フレームを単一のストリップへと符号化するためのスキームを用いる。
【００７５】
送信中、ビデオフレームは、複数のデータパケットへとカプセル化され得る。トランスポートストリーム（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ、ＴＳ）プロトコルが送信に用いられる場合、データパケットは具体的には、ＴＳパケットである。データグラムプロトコル（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ、ＵＤＰ）が送信に直接用いられる場合、データパケットは具体的には、ＵＤＰパケットである。図３Ａに示されるように、ビデオフレームは、３０個のデータパケットへとカプセル化されており、ブラック領域に対応するデータパケットが、失われた１番目のデータパケットである。
【００７６】
段階１０２：１番目のビデオフレーム（以下、第１の品質劣化値と称する）における破損データの割合を計算することにより１番目のビデオフレームの品質劣化値を取得する。
【００７７】
具体的な実装形態において、当該割合は、第１の品質劣化値として直接用いられ得る。
【００７８】
第１の品質劣化値は、１番目のデータパケットの損失により生じる１番目のビデオフレームの破損度を表すために用いられ得る。より大きい第１の品質劣化値は、１番目のビデオフレームのより高い破損度、つまり、１番目のビデオフレームのより低い品質を示す。反対に、より小さい第１の品質劣化値は、１番目のビデオフレームのより低い破損度、つまり、１番目のビデオフレームのより高い品質を示す。
【００７９】
破損データは、１番目のビデオフレームにおける１番目のデータパケットの損失に影響を受けた画像データを含み、概して、１番目のデータパケットにカプセル化された画像データと、１番目のデータパケットにカプセル化された画像データに基づいて復号化される必要がある、１番目のビデオフレームにおける画像データとを含む。図３Ａおよび図３Ｂに示されるように、ブラック領域に対応するデータパケットが失われた場合には、ビデオフレームにおけるグレー領域に対応するデータパケットが全て正確に受信された場合でも、復号化は、正確に実行され得ない。なぜなら、グレー領域に対応するデータパケットにおける画像データの復号化中、ブラック領域に対応するデータパケットにおける画像データに対して直接または間接的な参照が行われる必要があるからである。従って、破損データは、ブラック領域およびグレー領域の画像データを含む。
【００８０】
１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける２つ以上のデータパケットが失われ得ることに留意すべきである。各フレームを単一のストリップへと符号化するためのスキームにおいて、２つ以上のデータパケットが失われた場合、失われたデータパケットの各々が全ての後続のデータパケットに影響を及ぼし得るので、失われたデータパケットにおける先頭のデータパケットの影響のみを考慮する必要があり、先頭のデータパケットは、１番目のデータパケットとして用いられる。
【００８１】
加えて、本発明の本実施形態において、同じビデオフレームをカプセル化するために用いられる一連のデータパケットは、当該ビデオフレームにおける全てのデータパケットにカプセル化された画像データの位置的なシーケンスである。これらのデータパケットは通常、左右および上下のシーケンスに基づいてソートされる。具体的には、ビデオフレームの上側の位置にある画像データをカプセル化するために用いられるデータパケットは、下側の位置にある、データパケットにカプセル化された画像データの前に位置する。同じ高さの画像データに対して、左側の位置にある画像データをカプセル化するために用いられるデータパケットは、右側の位置にある画像データをカプセル化するために用いられるデータパケットの前に位置する。図３Ａに示されるように、通常、第２行における任意のデータパケットは、第５行における任意のデータパケットの前に位置し、第２行における２番目のデータパケットは、第２行における３番目のデータパケットの前に位置するものとみなされる。
【００８２】
ビデオ品質評価は、ビデオの復号化の前に実行される。従って、復号化された画像データは、破損データの割合を計算するためには取得され得ない。従って、破損データの割合が計算される場合、画像データをカプセル化するために用いられるデータパケットについての情報が通常、計算のために用いられる。加えて、計算中、各フレームを単一のストリップへと符号化するためのスキームと、各フレームを複数のストリップへと符号化するためのスキームとは、互いに区別される必要がある。特定の計算方式については、ＩＴＵ−Ｔ勧告Ｐ１２０１．２を参照されたい。
【００８３】
以下では、各フレームを単一のストリップへと符号化するためのスキームの計算方式であるｘｌｅ＝ｎａｐ／ｎｐを簡潔に説明する。
【００８４】
ｎａｐは、破損データをカプセル化するために用いられるデータパケットの数であり、ｎｐは、１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数である。図３Ａに示されるように、１番目のビデオフレームは、３０個のデータパケットへとカプセル化されており、１番目のデータパケットは、８番目のデータパケットであある。従って、ｎａｐは、３０−８＋１＝２３であり、第１の品質劣化値ｘｌｅは、２３／３０＝０．７６６７である。さらに、図３Ｂに示されるように、１番目のビデオフレームは、３０個のデータパケットへとカプセル化されており、１番目のデータパケットは、２３番目のデータパケットである。従って、ｎａｐは、３０−２３＋１＝８であり、第１の品質劣化値ｘｌｅは、８／３０＝  ０．２６６７である。
【００８５】
段階１０３：１番目のビデオフレームにおける破損データの位置を決定し、１番目のビデオフレームにおける破損データの位置に基づいて第１の品質劣化値を補正する。
【００８６】
スクリーン上の画像に面した場合、人間の眼は通常、画像の中央領域における破損に対して最も感度が高く、別の領域における破損に対する感度はより低い。網膜の中心に近い、角膜への距離が最長である場所（以下、イエロースポットと称する）は、最も高密度の光受容細胞を有し、かつ、最も高い視覚鋭敏度を有する位置であることがその理由である。人が物体を明確に見る必要がある場合、人は、画像の焦点がイエロースポットに合うまで、眼球を動かし得る。イエロースポットまでの距離がより長い位置は、光受容細胞がより少なく、画像より不明瞭であることを示している。加えて、人間の眼は通常、画像の中央領域に最も関心がある。図３Ａに示されるように、破損データは、中央領域を含み、人間の眼の知覚品質に対する影響度が比較的高い。図３Ｂに示されるように、破損データは、中央領域を含まず、人間の眼の知覚品質に対する影響度が比較的低い。従って、本発明の本実施形態において、ビデオ品質評価中、１番目のビデオフレームにおける破損データの位置の影響がさらに考慮される。
【００８７】
本発明の本実施形態において、破損データのある位置の影響が考慮される場合には、各フレームが単一のストリップへと符号化される場合のみが考慮される。
【００８８】
段階１０３は、段階１０３Ａおよび段階１０３Ｂを含み得る。
【００８９】
段階１０３Ａ：１番目のビデオフレームにおける破損データの位置ｄａｍａｇｅＰｏｓｉｔｉｏｎを決定する。
【００９０】
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、１番目のビデオフレームの終端位置に対する、破損データの開始位置の相対位置を表すために用いられる。ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、破損データの開始位置が１番目のビデオフレームの最下部により近いことを示し、ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、破損データの開始位置が１番目のビデオフレームの最上部により近いことを示す。
【００９１】
図３Ａに示されるように、各フレームを単一のストリップへと符号化するためのスキームが用いられた場合において、ビデオフレーム（例えば、１番目のビデオフレーム）の中でパケット損失が生じたときは、失われたデータパケット（例えば、１番目のデータパケット）にカプセル化されている画像データの１番目のピクセルから当該ビデオフレームの終端位置までの領域全体（以下、破損領域と称する）が破損している。従って、図３Ａに示されるように、失われたデータパケットにカプセル化されている画像データがビデオフレームの上側部分にある場合、ビデオフレームの中央位置における画像データは、確実に破損している。
【００９２】
本発明の本実施形態において、１番目のビデオフレームの終端位置に対する、破損データの開始位置の相対位置は、当該ビデオフレームにおける破損データの位置を表すために用いられる。具体的には、ｄａｍａｇｅＰｏｓｉｔｉｏｎは、式
【数７】
2019528635.tif 000009
を用いて計算され得る。
【００９３】
ｎｐは、１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、ｌｏｓｓＰｏｓｉｔｉｏｎは、全てのデータパケットにおける１番目のデータパケット（具体的には、全てのデータパケットにおける一連の１番目のデータパケット）の位置である。ｄａｍａｇｅＰｏｓｉｔｉｏｎの計算された値の範囲は、［０，１］であり、破損領域がビデオフレームの最下部により近いことはｄａｍａｇｅＰｏｓｉｔｉｏｎの値が０により近く、破損度が低いということを示すことが分かり得る。
【００９４】
図３Ａおよび図３Ｂに示されるように、２つのビデオフレームの各々のデータパケットの総数は、３０個である。つまり、各ビデオフレームは、３０個のデータパケットへとカプセル化されている。図３Ａにおいて、第１の失われたデータパケットは、８番目のデータパケットである。従って、ｄａｍａｇｅＰｏｓｉｔｉｏｎは、（３０−８）／３０＝０．７３３３である。図３Ｂにおいて、第１の失われたデータパケットは、２３番目のパケットである。従って、ｄａｍａｇｅＰｏｓｉｔｉｏｎは、（３０−２３）／３０＝０．２３３３である。
【００９５】
段階１０３Ｂ：位置に基づいて第１の品質劣化値を補正する。
【００９６】
具体的には、補正は、式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて実行され得る。
【００９７】
ｘｌｅｌ１は、位置に基づいて補正される前に取得された第１の品質劣化値であり、ｘｌｅｌ２は、位置に基づいて補正された後に取得された第１の品質劣化値であり、αは、１番目のビデオフレームの品質に対する、破損データの位置の影響度を表すために用いられる補正係数であり、αの値は、０超かつ１以下であり、αのより大きい値は、より高い影響度を示し、αのより小さい値は、より低い影響度を示す。αの値は、画像における破損データの位置に依存し、式
【数８】
2019528635.tif 000010
を用いて計算され得る。
【００９８】
ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂ超である（ｂの値が０超かつ０．５未満である）場合にｄａｍａｇｅＰｏｓｉｔｉｏｎと共に変動するαの変動振幅は、ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂより小さい場合にｄａｍａｇｅＰｏｓｉｔｉｏｎと共に変動するαの変動振幅未満である。より大きいｄａｍａｇｅＰｏｓｉｔｉｏｎの値に基づいて計算されるαの値は、より小さいｄａｍａｇｅＰｏｓｉｔｉｏｎの値に基づいて計算されるαの値以上であり、αの値は０超である。
【００９９】
一例として、αの値は、式
【数９】
2019528635.tif 000011
または
【数１０】
2019528635.tif 000012
を用いて計算され得る。
【０１００】
ａの値は、０超かつ１以下であり、ｂの値は、０超かつ０．５以下である。
【０１０１】
破損領域が破損フレームの最下部により近いことは、ビデオ知覚品質に対するより低い影響を示す。例えば、ｂは、（ビデオフレームの最下部に近い位置に対応する）０．０５と等しく、従って、ｂ未満の位置は、画像の最下部に過度に近い位置であり、ビデオ知覚品質に対する影響が過度に低い。例えば、ａが０．０１と等しく、ｂが０．３と等しい場合、ビデオ知覚品質に対する影響は、破損データがビデオフレームの最下部に近い場合に過度に低ことを示す。この場合、第１の品質劣化値を低減すべく、αは、係数ａを用いて計算され得る。
【０１０２】
上述の式に基づいて、ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂ超（または以上）である場合、つまり、破損領域が、１番目のビデオフレームの中央位置に近い比較的大きい領域を含む場合、αは、１と等しい。補正後に取得された第１の品質劣化値が補正前に取得された第１の品質劣化値と等しい場合、これは、破損領域が１番目のビデオフレームの中央位置に近い比較的大きい領域を含むことを示し、１番目のビデオフレームにおける破損データの割合は、１番目のビデオフレームに対する破損データの影響度を反映し得る。
【０１０３】
上述の式に基づいて、ｄａｍａｇｅＰｏｓｉｔｉｏｎがｂ未満（または以下）である場合、つまり、破損領域が１番目のビデオフレームの最下部に比較的近い場合、αは、ｄａｍａｇｅＰｏｓｉｔｉｏｎと等しい。ａの値が０超かつ１以下であり、ｄａｍａｇｅＰｏｓｉｔｉｏｎが０超かつ１未満なので、αは、０超かつ１未満であり、補正後に取得された第１の品質劣化値は、補正前に取得される第１の品質劣化値未満である。実際には、破損データがビデオフレームの最下部に比較的近い場合、１番目のビデオフレームの品質に対する破損データの影響度は、破損データの割合のみに基づいて計算された第１の品質劣化値が反映する影響度より低い。従って、この場合、上述の式を用いて補正後に取得された第１の品質劣化値は、実際の影響度をより良く反映し得る。
【０１０４】
具体的な実装形態において、ａおよびｂの最適な値は、最終的に評価されたビデオ品質値がビデオ主観試験値に最も近くなるように、ヒューリスティックアルゴリズムを用いた訓練を通じて取得され得る。例えば、主観的なスコアリングのために第１の品質劣化値を取得すべく、ａの異なる値およびｂの異なる値に基づく補正のために、異なる破損領域を有する複数のビデオフレームが選択される。ａの値がＡ（例えば、０．０１）であり、ｂの値がＢ（例えば、０．３）である場合において、補正後に取得された各ビデオフレームの第１の品質劣化値が主観的スコアに最も近いときは、ＡおよびＢはそれぞれ、ａおよびｂという値に設定される。
【０１０５】
ａおよびｂがそれぞれ０．０１および０．３に設定されるものと仮定する。図３Ａに示されるように、破損データは、中央領域を含み、ｄａｍａｇｅＰｏｓｉｔｉｏｎは、０．３超である０．７３３３と等しく、従って、αは１と等しい。それに応じて、補正後に取得された第１の品質劣化値は、補正前に取得された第１の品質劣化値と同じである。さらに、図３Ｂに示されるように、破損データは、最下部に近い領域のみを含み、ｄａｍａｇｅＰｏｓｉｔｉｏｎは、０．３未満である０．２３３３と等しく、従って、αは、０．２３３３×０．３＝０．０７００と等しい。それに応じて、補正前に取得された第１の品質劣化値が０．２６６７であるものと仮定する。従って、補正後に取得された第１の品質劣化値は、補正前に取得された第１の品質劣化値未満である０．２６６７×０．０７００＝０．０１８７である。
【０１０６】
一例として、代替的に、αの値は、式
【数１１】
2019528635.tif 000013
または
【数１２】
2019528635.tif 000014
を用いて計算され得る。
【０１０７】
ａ１およびａ２の値は、０超かつ１以下であり、ｂの値は、０超かつ０．５以下である。
【０１０８】
具体的な実装形態において、ａ１、ａ２およびｂの最適な値は、上述のヒューリスティックアルゴリズムを用いた訓練を通じて取得され得る。
【０１０９】
段階１０４：１番目のビデオフレームはシーン変化フレームではない、と判断した場合、１番目のビデオフレームが位置するシーンに基づいて第１の品質劣化値を補正する。
【０１１０】
パケット損失が生じた場合、ビデオ端末（例えば、セットトップボックス）は通常、エラー隠蔽を用いて、影響を緩和し得る。  エラー隠蔽方法は、通常、ビデオフレーム間の時間相関を用い、破損フレーム（例えば、本発明の本実施形態における１番目のビデオフレーム）における破損データが復元される場合、破損フレームを復元するために、破損フレームの前のフレーム内にある、破損領域に対応するビデオコンテンツを、破損領域のビデオコンテンツとして用いる。従って、破損フレームのコンテンツと、破損フレームの前のフレームのコンテンツとの間のより小さい差は、より良好な補償効果を示す。
【０１１１】
破損フレームがシーン変化フレームである場合、例えば、破損フレームの前のビデオフレームは、撮影されたサッカー場の画像であり、破損フレームは、撮影された観客席の画像である。この場合、エラー隠蔽効果はほぼない。この場合、第１の品質劣化値を補正する必要はない。
【０１１２】
破損フレームがシーン変化フレームではない、例えば、破損フレームと破損フレームの前のビデオフレームとが、撮影されたサッカー場の画像または撮影された観客席の画像である場合、エラー隠蔽が実行され得る。エラー隠蔽効果は、破損フレームが位置するシーンの条件、例えば、破損フレームが位置するシーンのシーン複雑度に依存する。
【０１１３】
シーンのシーン複雑度は、シーンの時間複雑度および／または空間複雑度に依存し得る。
【０１１４】
シーンの空間複雑度は、シーンにおけるビデオフレームの画像詳細の多様化度を表すために用いられる。より高い空間複雑度は、より多くの詳細を示し、それに応じて、より良いエラー隠蔽効果を示す。より低い空間複雑度は、より少ない詳細を示し、それに応じて、より悪いエラー隠蔽効果を示す。
【０１１５】
シーンの時間複雑度は、シーンの隣接ビデオフレーム間の相関度を表すために用いられる。より高い時間複雑度はより弱い相関を示し、より低い時間複雑度はより強い相関を示す。
【０１１６】
概して、シーンのより低い時間複雑度、つまり、例えば観客席の画像を含むシーンにおけるより遅いビデオの動きは、隣接フレーム間のより強い相関およびより良いエラー隠蔽効果を示し、シーンのより高い時間複雑度、つまり、例えばサッカー場の画像を含むシーンにおけるより速いビデオの動きは、隣接フレーム間のより弱い相関およびより悪いエラー隠蔽効果を示す。
【０１１７】
従って、段階１０４において、具体的には、第１の品質劣化値は、１番目のビデオフレームが位置するシーンのシーン複雑度に基づいて補正され得る。
【０１１８】
破損フレームがシーン変化フレームではない場合、第１の品質劣化値を補正するために、補正係数βが導入され得る。
【０１１９】
ｘｌｅｃ＝β×ｘｌｅｌである。ｘｌｅｌは、シーンに基づいて補正される前に取得された第１の品質劣化値であり、ｘｌｅｃは、シーンに基づいて補正された後に取得された第１の品質劣化値であり、βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。
【０１２０】
本実装形態によれば、品質劣化値に対する１番目のビデオフレームが位置するシーンのシーン複雑度の影響が特に考慮されることにより、品質評価の精度がさらに向上する。
【０１２１】
具体的には、βは、以下の方式で計算され得る。
【０１２２】
【数１３】
2019528635.tif 000015
ｔｃｏｍｐは、破損フレームが位置するシーンの時間複雑度である。ｔｃｏｍｐのより大きい値は、関数ｇを用いた計算を通じて取得されるβのより大きい値を示し、ｔｃｏｍｐのより小さい値は、関数ｇを用いた計算を通じて取得されるβのより小さい値を示す。具体的な実装形態において、βは、シーンの時間複雑度と等しくてよい。つまり、β＝ｔｃｏｍｐであり得る。時間複雑度は、シーンにおける隣接ビデオフレーム間の相関度を表す。従って、シーン複雑度が効果的に反映されることにより、品質評価の精度がさらに向上し得る。
【０１２３】
シーンの時間複雑度は、シーンにおける隣接ビデオフレーム間の相関度を表すために用いられ得、非Ｉフレーム（ＢフレームまたはＰフレームなど）は、圧縮のためにビデオフレーム間の相関を用いる。従って、より強い相関、つまり、より低い時間複雑度は、非Ｉフレームのより高い圧縮率を示し、シーンの時間複雑度は、１番目のビデオフレームが位置するシーンにおける全ての非Ｉフレームのフレームサイズの中央値または平均値と、シーンにおける全てのＩフレームのフレームサイズの中央値または平均値との比を計算することにより取得され得る。具体的には、当該比は、シーンの時間複雑度として直接用いられ得る。例えば、補正される前に取得される第１の品質劣化値は０．７７である。シーン複雑度が比較的高い場合、βの値は０．８であり、補正された劣化値は０．６２である。シーン複雑度が比較的低い場合、βの値は０．１であり、補正された後に取得される第１の品質劣化値は０．０７７である。
【０１２４】
非Ｉフレームの圧縮率に対するビデオフレーム間の相関の影響が考慮される。従って、時間複雑度が正確に計算されることにより、品質評価の精度がさらに向上し得る。
【０１２５】
破損フレームが位置するシーンの時間複雑度が計算される前に、具体的には、１番目のビデオフレームが位置するシーン（以下、対象シーンと称する）が以下の方式で判断され得、さらに、上述の方式を用いて、シーンの時間複雑度が判断され得る。
【０１２６】
１番目のビデオフレームの前に位置し、かつ、１番目のビデオフレームへの最短距離を有するシーン変化フレーム（以下、開始シーン変化フレームと称する）が決定され、１番目のビデオフレームの後に位置し、かつ、１番目のビデオフレームへの最短距離を有するシーン変化フレーム（以下、終了シーン変化フレームと称する）が決定される。開始シーン変化フレームと、開始シーン変化フレームおよび終了シーン変化フレームの間のビデオフレームとに対応するシーンが、対象シーンとして決定される。つまり、開始シーン変化フレームは、対象シーンの１番目のビデオフレームである。終了シーン変化フレームの前のフレームは、対象シーンの最後のビデオフレームである。
【０１２７】
本発明の実施形態１において、具体的には、１番目のビデオフレームが位置するビデオのシーン変化フレームは、以下の方式で識別され得る。さらに、段階１０４における識別結果に基づいて、１番目のビデオフレームがシーン変化フレームであるかどうかが判断され得、１番目のビデオフレームの前に位置し、かつ、１番目のビデオフレームへの最短距離を有するシーン変化フレーム（つまり、開始シーン変化フレーム）が決定され得、１番目のビデオフレームの後に位置し、かつ、１番目のビデオフレームへの最短距離を有するシーン変化フレーム（つまり、終了シーン変化フレーム）が決定され得る。
【０１２８】
復号化されたビデオフレームシーケンスは、複数のピクチャグループ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ、ＧＯＰ）を含む。図４Ａに示されるように、各ＧＯＰは通常、Ｉフレームから始まり、いくつかのＰフレームおよびＢフレームがこれに続き、次のＩフレームの前のフレームで終わる。
【０１２９】
具体的には、１番目のビデオフレームが位置するビデオのシーン変化フレームは、以下の２つの方式のうちの１つで識別され得る。
【０１３０】
方式１：Ｉフレームのみにおけるシーン変化フレームの識別
【０１３１】
１番目のＧＯＰのＩフレームがシーン変化フレームとして決定されてから、連続的に、後続のＩフレーム（決定されるＩフレームを以下、Ｋ番目のＧＯＰのＩフレームと称する）の各々がシーン変化フレームであるかどうかが、以下の方式で決定される。
【０１３２】
１．  Ｋ番目のＧＯＰのＩフレームのサイズと（Ｋ−１）番目のＧＯＰのＩフレームのサイズとの比ｒＩを計算する。
【０１３３】
２．  （Ｋ−１）番目のＧＯＰにおける全てのＰフレームのサイズの平均値とＫ番目のＧＯＰにおける全てのＰフレームのサイズの平均値との比ｒＰを計算する。
【０１３４】
３．  （Ｋ−１）番目のＧＯＰにおける全てのＢフレームのサイズの平均値とＫ番目のＧＯＰにおける全てのＢフレームのサイズの平均値との比ｒＢを計算する。
【０１３５】
４．  比ｒＩが第１の閾値超または第２の閾値未満である場合、以下の条件（１）および条件（２）がさらに決定され、または、比ｒＩが第１の閾値超ではなく、かつ、第２の閾値以上である場合、Ｋ番目のＧＯＰのＩフレームはシーン変化フレームではない、と判断する。
【０１３６】
条件（１）：ｒＰは、第３の閾値未満であるか、または第４の閾値超である。
【０１３７】
条件（２）：ｒＢは、第５の閾値未満であるか、または第６の閾値超である。
【０１３８】
条件（１）および条件（２）の両方が満たされている場合、Ｋ番目のＧＯＰのＩフレームはシーン変化フレームである、と決定するか、または、条件（１）および条件（２）のいずれか１つが満たされていない場合、Ｋ番目のＧＯＰのＩフレームはシーン変化フレームではない、と判断する。
【０１３９】
方式１における具体的な判断方法について、ＩＴＵ−Ｔ勧告Ｐ１２０１．２を参照されたい。
【０１４０】
方式２：ＩフレームおよびＰフレームにおけるシーン変化フレームを識別する。
【０１４１】
１．  ビデオに含まれる各ＧＯＰを決定すべく、ビデオにおける各ビデオフレームのタイプ（Ｉフレーム、ＰフレームまたはＢフレームなど）を識別する。
【０１４２】
２．  ビデオにおける全てのＩフレームのシーン変化フレームを方式１で識別する。
【０１４３】
後続の段階が、１番目のＧＯＰから始まる全てのＧＯＰに対して別々に実行され、全てのＧＯＰ（決定されるＧＯＰを以下、Ｋ番目のＧＯＰと称する）におけるシーン変化フレームが連続的に識別される。
【０１４４】
３．  Ｋ番目のＧＯＰの全てのＰフレームにおける最大ＰフレームＰｍａｘを決定する。Ｐｍａｘのサイズは
【数１４】
2019528635.tif 000016
である。
【０１４５】
４．  
【数１５】
2019528635.tif 000017
および
【数１６】
2019528635.tif 000018
の相対的なサイズ
【数１７】
2019528635.tif 000019
を計算する。
【数１８】
2019528635.tif 000020
は、Ｐｍａｘと、Ｐｍａｘの前に位置し、かつ、Ｐｍａｘへの最短距離を有するシーン変化フレームとの間の複数のフレームのサイズの中央値または平均値である。
【０１４６】
５．  
【数１９】
2019528635.tif 000021
が第１の閾値超である場合、
【数２０】
2019528635.tif 000022
および
【数２１】
2019528635.tif 000023
の相対的なサイズ
【数２２】
2019528635.tif 000024
を計算する。
【数２３】
2019528635.tif 000025
は、Ｋ番目のＧＯＰにおける複数のＰフレームのサイズの中央値または平均値である。第１の閾値は、０超かつ１未満であり、具体的には０．５３であり得る。
【０１４７】
具体的には、
【数２４】
2019528635.tif 000026
は、以下の式を用いて計算され得る。
【０１４８】
【数２５】
2019528635.tif 000027
である。
Ｐ−ｍ，  …，  Ｐ−１は、Ｋ番目のＧＯＰにおける、Ｐｍａｘの前に位置するＰフレームを表し、Ｐ１，  …，  Ｐｎは、Ｋ番目のＧＯＰにおける、Ｐｍａｘの後に位置するＰフレームを表し、Ｆは、Ｐ−ｍ，  …，  Ｐ−１，  Ｐ１，  …，  Ｐｎのサイズの中央値または平均値を計算するために用いられる。ｍ＝ｍｉｎ（ｎｕｍ＿ｂｅｆｏｒｅ＿Ｐ＿ｆｒａｍｅｓ，  ｍａｘ＿ｎｕｍ）であり、ｎ＝ｍｉｎ（ｎｕｍ＿ａｆｔｅｒ＿Ｐ＿ｆｒａｍｅｓ，  ｍａｘ＿ｎｕｍ）である。
【０１４９】
ｎｕｍ＿ｂｅｆｏｒｅ＿Ｐ＿ｆｒａｍｅｓは、Ｋ番目のＧＯＰにある、Ｐｍａｘの前に位置するＰフレームの数であり、ｎｕｍ＿ａｆｔｅｒ＿Ｐ＿ｆｒａｍｅｓは、Ｋ番目のＧＯＰにおける、Ｐｍａｘの後に位置するＰフレームの数であり、ｍａｘ＿ｎｕｍは、考慮される必要がある、６に設定され得る予め設定されたフレーム数を表す。
【０１５０】
６．  
【数２６】
2019528635.tif 000028
が第２の閾値超である場合、Ｐｍａｘはシーン変化フレームである、と判断するか、または、
【数２７】
2019528635.tif 000029
が第２の閾値超ではない場合、Ｐｍａｘはシーン変化フレームではない、と判断する。現在のＧＯＰがビデオの最後のＧＯＰである場合、識別処理は終了し、または、現在のＧＯＰがビデオの最後のＧＯＰではない場合、段階３〜６が次のＧＯＰについて再度実行される。
【０１５１】
段階２がまず実行され得、次に、段階３〜６が実行される、つまり、全てのＩフレームにおけるシーン変化フレームがまず識別され、次に、全てのＰフレームにおけるシーン変化フレームが識別されることに留意すべきである。代替的に、段階２は、段階３から６に挿入され得、シーン変化フレームが一連のフレームに基づいて連続的に識別される。つまり、現在のＧＯＰにおけるシーン変化フレームを識別すべく、現在の全てのＧＯＰが一連のＧＯＰに基づいて１つずつ識別される。加えて、現在のＧＯＰにおけるシーン変化フレームが識別される場合、現在のＧＯＰにおけるＩフレームがシーン変化フレームであるかどうかをまず決定し、次に、現在のＧＯＰにおけるＰｍａｘがシーン変化フレームであるかどうかを決定する。
【０１５２】
破損フレームの品質劣化値は、段階１０１〜１０４において計算される。実際には、パケット損失により、ビデオフレーム（つまり、失われたデータパケットが位置する破損フレーム）の品質に対する影響および後続のビデオフレームの品質に対する影響が生じ得る。
【０１５３】
復号化されたビデオフレームシーケンスは、複数のＧＯＰを含む。図４Ａに示されるように、各ＧＯＰは通常、Ｉフレームから始まり、いくつかのＰフレームおよびＢフレームがこれに続き、次のＩフレームの前のフレームで終わる。Ｉフレームはイントラフレームであり、Ｐフレームは転送基準フレームであり、Ｂフレームは、双方向基準フレームである。あるＧＯＰのフレームにおいてパケット損失が生じた場合、パケット損失により生じる復号化エラーが後続のビデオフレームにおいて継続的に広がり得る。通常、復号化エラーは、当該ＧＯＰの最後のフレームまで広がるものとみなされる。図４Ｂに示されるように、ＧＯＰ１における４番目のフレームが破損した場合、エラーが当該ＧＯＰの最後のフレームまで広がり得る。しかしながら、シーン変化フレームが当該ＧＯＰに含まれている場合、シーン変化フレームのコンテンツは、シーン変化フレームの前のフレームのコンテンツとは完全に異なり、符号化中、シーン変化フレームにおけるマクロブロックは通常、イントラフレーム予測符号化を用いる。従って、ＧＯＰにおける、シーン変化フレームの前に位置するフレームが破損した場合、エラーの広がりは、シーン変化フレームで終わり得る。図４Ｃに示されるように、ＧＯＰ１における６番目のフレームはシーン変化フレームであり、４番目のフレームが破損した場合、エラーの広がりは、６番目のフレームで終わる。
【０１５４】
上述の分析に基づいて、以下では、段階１０５における後続のビデオフレームの品質に対するパケット損失の影響を推定する。
【０１５５】
本発明の本実施形態における一連のフレームは、ビデオにおけるフレームのタイムシーケンスであることに留意すべきである。例えば、持続期間がＴ（例えば、１０秒）であるビデオは、時点ｔ１においてビデオフレーム１を含み、時点ｔ２においてビデオフレーム２を含む。ｔ１がｔ２未満である場合、例えば、ｔ１は１秒３０ミリ秒であり、ｔ２は５秒４０ミリ秒である。ビデオフレーム１は、ビデオフレーム２の前に位置しているものとみなされる。
【０１５６】
段階１０５：１番目のビデオフレームの品質劣化値に基づいて、１番目のビデオフレームが位置するＧＯＰの品質劣化値（以下、第２の品質劣化値と称する）を計算する。
【０１５７】
第２の品質劣化値は、１番目のビデオフレームが位置する、１番目のデータパケットの損失により生じたＧＯＰの破損度を表すために用いられ得る。より大きい第２の品質劣化値は、ＧＯＰのより高い破損度、つまり、ＧＯＰのより低い品質を示す。反対に、より小さい第２の品質劣化値は、ＧＯＰのより低い破損度、つまり、ＧＯＰのより高い品質を示す。
【０１５８】
段階１０５は、実装形態Ａまたは実装形態Ｂにおいて実行され得る。
【０１５９】
実装形態Ａ
【０１６０】
１番目のビデオフレームが位置するＧＯＰが、１番目のビデオフレームの後に位置するシーン変化フレームを含む場合、第２の品質劣化値は、式ｘｌ＝β×ｘｌｅ×ΔＴＳＣを用いて計算され得る。
【０１６１】
ｘｌｅは、第１の品質劣化値であり、ｘｌは、第２の品質劣化値であり、第２の品質劣化値は、１番目のビデオフレームが位置する、１番目のデータパケットの損失により生じたＧＯＰの破損度を表すために用いられ、Δｔは、１番目のビデオフレームに対応する時点と、１番目のビデオフレームの後に位置し、１番目のビデオフレームへの最短距離を有し、かつ、ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。βの計算方式については、段階１０４におけるβの計算方式を参照されたい。詳細は、改めて説明しない。
【０１６２】
図４Ｃに示されるように、ＧＯＰ１の４番目のフレームは破損フレームであり、ＧＯＰ１の６番目のフレームは、１番目のビデオフレームの後に位置し、かつ、１番目のビデオフレームへの最短距離を有するシーン変化フレームであり、ビデオのフレームレートは、１５フレーム／秒、つまり、２つの隣接フレーム間の時間差は、１０００ミリ秒／１５＝６７ミリ秒である。従って、ΔＴＳＣは１３４ミリ秒である。
【０１６３】
具体的には、上述方式２は、１番目のビデオフレームの後に位置し、１番目のビデオフレームへの最短距離を有するシーン変化フレームを決定するために用いられ得る。
【０１６４】
加えて、１番目のビデオフレームが位置するＧＯＰが、１番目のビデオフレームの後に位置するシーン変化フレームを含まない場合、第２の品質劣化値は、式ｘｌ＝β×ｘｌｅ×ΔＴＩを用いて計算され得る。
【０１６５】
ｘｌｅは、第２の品質劣化値であり、ｘｌは、第２の品質劣化値であり、ΔＴＳＣは、１番目のビデオフレームに対応する時点と、１番目のビデオフレームの後に位置する１番目のＩフレームに対応する時点との間の差である。１番目のビデオフレームの後に位置する１番目のＩフレームは、１番目のビデオフレームが位置するＧＯＰの後に位置する、ＧＯＰの１番目のフレームである。βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。βの計算方式については、段階１０４におけるβの計算方式を参照されたい。詳細は、改めて説明しない。
【０１６６】
図４Ｂに示されるように、ＧＯＰ１の４番目のフレームは破損フレームであり、ＧＯＰ２の１番目のフレームは、１番目のビデオフレームの後に位置する１番目のＩフレームであり、ビデオのフレームレートは、１５フレーム／秒、つまり、２つの隣接フレーム間の時間差は、１０００ミリ秒／１５＝６７ミリ秒である。従って、ΔＴＩは３３５ミリ秒である。
【０１６７】
具体的には、上述の方式２は１番目のビデオフレームの後に位置し、かつ、１番目のビデオフレームへの最短距離を有するシーン変化フレームを決定するために用いられ得る。
【０１６８】
１番目のビデオフレームが位置するＧＯＰが、１番目のビデオフレームの後に位置するシーン変化フレームを含まない場合、１番目のビデオフレームの後に位置し、かつ、１番目のビデオフレームへの最短距離を有するシーン変化フレームが、１番目のビデオフレームの後に位置する１番目のＩフレームの後に位置することは明らかである。
【０１６９】
従って、第２の品質劣化値を計算するために用いられる２つの上述の式は、式ｘｌ＝β×ｘｌｅ×ｍｉｎ（ΔＴＳＣ，ΔＴＩ）を取得するために組み合わされ得る。
【０１７０】
実装形態Ｂ
【０１７１】
１番目のビデオフレームが位置するＧＯＰが、１番目のビデオフレームの後に位置するシーン変化フレームを含むかどうかに拘らず、第２の品質劣化値は、式ｘｌ＝β×ｘｌｅ×ΔＴＩを用いて計算される。
【０１７２】
ｘｌｅは、第２の品質劣化値であり、ｘｌは、第２の品質劣化値であり、ΔＴＳＣは、１番目のビデオフレームに対応する時点と、１番目のビデオフレームの後に位置する１番目のＩフレームに対応する時点との間の差である。βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。βの計算方式については、段階１０４におけるβの計算方式を参照されたい。詳細は、改めて説明しない。１番目のビデオフレームが位置するシーンが決定される場合、具体的には、シーンの開始シーン変化フレームおよび終了シーン変化フレームは、上述の方式１または２で決定され得る。
【０１７３】
具体的な実装形態において、段階１０１および１０２が実行された後に、任意の段階または段階１０３〜１０５における複数の段階の任意の組み合わせが実行され得る。
【０１７４】
段階１０３および段階１０４の両方が実行される場合、段階１０３と段階１０４との間に指定の順序はない。段階１０３がまず実行され、次に、段階１０４が実行される場合、段階１０３において補正された第１の品質劣化値は、段階１０４においてさらに補正され、または、段階１０４がまず実行され、次に、段階１０３が実行される場合、段階１０４において補正された第１の品質劣化値は、段階１０３においてさらに補正される。
【０１７５】
以下では、いくつかの具体的な実装形態の例を示す。
【０１７６】
実装形態１：段階１０１、１０２および１０３が含まれ、段階１０３において補正される第１の品質劣化値は、段階１０２において計算される第１の品質劣化値である。段階１０５がさらに含まれ得る。それに応じて、段階１０５において第２の品質劣化値が計算される場合に用いられる第１の品質劣化値は、段階１０３において補正される第１の品質劣化値である。
【０１７７】
実装形態２：段階１０１、１０２および１０４が含まれ、段階１０４において補正される第１の品質劣化値は、段階１０２において計算される第１の品質劣化値である。段階１０５がさらに含まれ得る。それに応じて、段階１０５において第２の品質劣化値が計算される場合に用いられる第１の品質劣化値は、段階１０４において補正される第１の品質劣化値である。
【０１７８】
実装形態３：段階１０１、１０２および１０５が含まれる。それに応じて、段階１０５において第２の品質劣化値が計算される場合に用いられる第１の品質劣化値は、段階１０２において計算される第１の品質劣化値である。
【０１７９】
本発明の実施形態１において提供される方法によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームにおける破損データの位置と、ビデオフレームがビデオフレーム上に位置するかまたはビデオフレームがビデオフレームの後に位置するシーンのシーン複雑度の影響となど、他の要因も考慮される。従って、品質評価の精度はより高い。
【０１８０】
加えて、１番目のビデオフレームが位置するＧＯＰにおける複数のビデオフレームにおいてパケット損失が生じた場合、段階１０５が実行された後、ＧＯＰの合計品質劣化値を計算するために、複数のビデオフレームに対応する第２の品質劣化値に対して加算がさらに実行され得る。特定の計算方式については、ＩＴＵ−Ｔ勧告Ｐ１２０１．２を参照されたい。
【０１８１】
測定ウィンドウは、複数のＧＯＰを含み得る。さらに、測定ウィンドウのパケット損失の大きさｌｏｓｓＭａｇｎｉｔｕｄｅが、以下の式を用いて計算され得る。特定の計算方式については、ＩＴＵ−Ｔ勧告Ｐ１２０１．２を参照されたい。
【数２８】
2019528635.tif 000030
【０１８２】
ｋは、測定時間ウィンドウにおける各ＧＯＰの順序番号であり、ｘｌｋは、Ｋ番目のＧＯＰの合計品質劣化値であり、Ｔｋは、Ｋ番目のＧＯＰに含まれるフレームの数である。
【０１８３】
さらに、パラメータｌｏｓｓＭａｇｎｉｔｕｄｅおよびビデオ符号化情報に基づいて、データパケット損失により生じた品質歪みＱｔｒａＶが、品質推定モデルを用いてさらに推定され得、最後に、プログラムソース圧縮歪みＱｃｏｄＶおよびネットワーク送信歪みも考慮されたうえで、ビデオの最終平均オピニオン評点（Ｍｅａｎ  Ｏｐｉｎｉｏｎ  Ｓｃｏｒｅ  ｏｆ  Ｖｉｄｅｏ、ＭＯＳＶ）が計算される。特定の計算方式については、ＩＴＵ−Ｔ勧告Ｐ１２０１．２を参照されたい。
【０１８４】
本発明の実施形態１に基づいて、本発明の実施形態２は、評価装置２００を提供する。図５に示されるように、評価装置２００は、判断ユニット２１０と、計算ユニット２２０とを含む。
【０１８５】
判断ユニット２１０は、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成される。
【０１８６】
説明を容易にするために、本発明の本実施形態において、１番目のビデオフレームの品質劣化値を簡潔に第１の品質劣化値と称し、１番目のビデオフレームが位置するＧＯＰの品質劣化値を簡潔に第２の品質劣化値と称する。
【０１８７】
第１の実装形態
【０１８８】
計算ユニット２２０は、１番目のビデオフレームにおける１番目のデータパケットの損失に影響を受けた画像データを含む、１番目のビデオフレームにおける破損データの割合を計算することにより１番目のビデオフレームの品質劣化値（つまり、第１の品質劣化値）を取得し、１番目のビデオフレームがシーン変化フレームであるかどうかを判断し、１番目のビデオフレームはシーン変化フレームではない、と判断した場合、１番目のビデオフレームが位置するシーンに基づいて第１の品質劣化値を補正するように構成される。
【０１８９】
具体的には、第１の品質劣化値は、式ｘｌｅｃ＝β×ｘｌｅｌを用いて補正され得る。ｘｌｅｌは、シーンに基づいて補正される前に取得された第１の品質劣化値であり、ｘｌｅｃは、シーンに基づいて補正された後に取得された第１の品質劣化値であり、βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。
【０１９０】
さらに、計算ユニット２２０は、第１の品質劣化値を取得した後、かつ、１番目のビデオフレームが位置するシーンに基づいて第１の品質劣化値を補正する前に、１番目のビデオフレームにおける破損データの位置を決定し、１番目のビデオフレームにおける破損データの位置に基づいて第１の品質劣化値を補正するように構成され得る。それに応じて、計算ユニット２２０は、１番目のビデオフレームが位置するシーンのシーン複雑度に基づいて、位置に基づいて補正された後に取得された第１の品質劣化値を補正する。
【０１９１】
具体的には、計算ユニット２２０は、式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて第１の品質劣化値を補正し得る。ｘｌｅｌ１は、 位置に基づいて補正される前に取得された第１の品質劣化値であり、ｘｌｅｌ２は、位置に基づいて補正された後に取得された第１の品質劣化値であり、αは、１番目のビデオフレームの品質に対する、破損データの位置の影響度を表すために用いられる補正係数であり、αの値は、０超かつ１以下であり、αのより小さい値は、より低い影響度を示し、αのより大きい値は、より高い影響度を示す。
【０１９２】
計算ユニット２２０は、式
【数２９】
2019528635.tif 000031
を用いてαを計算し得る。
【０１９３】
αの特定の計算方式については、本発明の実施形態１の段階１０３を参照されたい。詳細は、改めて説明しない。
【０１９４】
加えて、計算ユニット２２０はさらに、１番目のビデオフレームが位置するシーンのシーン複雑度に基づいて第１の品質劣化値を補正した後に、１番目のビデオフレームが位置する式ｘｌ＝β×ｘｌｅ×Δｔを用いて品質劣化値（つまり、ＧＯＰの第２の品質劣化値）を計算するように構成され得る。
【０１９５】
ｘｌｅは、第１の品質劣化値であり、ｘｌは、第２の品質劣化値であり、Δｔは、１番目のビデオフレームに対応する時点と、１番目のビデオフレームの後に位置し、１番目のビデオフレームへの最短距離を有し、かつ、ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。
【０１９６】
第２の実装形態
【０１９７】
計算ユニット２２０は、１番目のビデオフレームにおける１番目のデータパケットの損失に影響を受けた画像データを含む、１番目のビデオフレームにおける破損データの割合を計算することにより第１の品質劣化値を取得し、式ｘｌ＝β×ｘｌｅ×Δｔを用いて第２の品質劣化値を計算するように構成される。
【０１９８】
ｘｌｅは、第１の品質劣化値であり、ｘｌは、第２の品質劣化値であり、Δｔは、１番目のビデオフレームに対応する時点と、１番目のビデオフレームの後に位置し、１番目のビデオフレームへの最短距離を有し、かつ、ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。
【０１９９】
さらに、計算ユニット２２０は、第１の品質劣化値を取得した後、かつ、第２の品質劣化値を計算する前に、１番目のビデオフレームにおける破損データの位置を決定し、１番目のビデオフレームにおける破損データの位置に基づいて第１の品質劣化値を補正するように構成される。それに応じて、式ｘｌ＝β×ｘｌｅ×Δｔにおけるｘｌｅは具体的には、位置に基づいて補正された後に取得された第１の品質劣化値である。
【０２００】
具体的には、計算ユニット２２０は、式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて第１の品質劣化値を補正し得る。ｘｌｅｌ１は、位置に基づいて補正される前に取得された第１の品質劣化値であり、ｘｌｅｌ２は、位置に基づいて補正された後に取得された第１の品質劣化値であり、αは、１番目のビデオフレームの品質に対する、破損データの位置の影響度を表すために用いられる補正係数であり、αの値は、０超かつ１以下であり、αのより小さい値は、より低い影響度を示し、αのより大きい値は、より高い影響度を示す。
【０２０１】
計算ユニット２２０は、式
【数３０】
2019528635.tif 000032
を用いてαを計算し得る。
【０２０２】
αの特定の計算方式については、本発明の実施形態１の段階１０３を参照されたい。詳細は、改めて説明しない。
【０２０３】
第３の実装形態
【０２０４】
計算ユニット２２０は、１番目のビデオフレームにおける１番目のデータパケットの損失に影響を受けた画像データを含む、１番目のビデオフレームにおける破損データの割合を計算することにより第１の品質劣化値を取得するように構成され、さらに、１番目のビデオフレームにおける破損データの位置を決定し、１番目のビデオフレームにおける破損データの位置に基づいて第１の品質劣化値を補正するように構成される。
【０２０５】
具体的には、第１の品質劣化値は、式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて補正され得る。ｘｌｅｌ１は、位置に基づいて補正される前に取得された第１の品質劣化値であり、ｘｌｅｌ２は、位置に基づいて補正された後に取得された第１の品質劣化値であり、αは、１番目のビデオフレームの品質に対する、破損データの位置の影響度を表すために用いられる補正係数であり、αの値は、０超かつ１以下であり、αのより小さい値は、より低い影響度を示し、αのより大きい値は、より高い影響度を示す。
【０２０６】
計算ユニット２２０は、式
【数３１】
2019528635.tif 000033
を用いてαを計算し得る。
【０２０７】
αの特定の計算方式については、本発明の実施形態１の段階１０３を参照されたい。詳細は、改めて説明しない。
【０２０８】
さらに、計算ユニット２２０は、第１の品質劣化値を取得した後、かつ、１番目のビデオフレームにおける破損データの位置に基づいて第１の品質劣化値を補正する前に、１番目のビデオフレームはシーン変化フレームではない、と判断した場合、１番目のビデオフレームが位置するシーンに基づいて第１の品質劣化値を補正するように構成され得る。具体的には、第１の品質劣化値は、式ｘｌｅｃ＝β×ｘｌｅｌを用いて補正され得る。ｘｌｅｌは、シーンに基づいて補正される前に取得された第１の品質劣化値であり、ｘｌｅｃは、シーンに基づいて補正された後に取得された第１の品質劣化値であり、βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。
【０２０９】
それに応じて、計算ユニット２２０は、位置に基づいて、シーン複雑度に基づいて補正された後に取得された第１の品質劣化値を補正する。
【０２１０】
加えて、計算ユニット２２０はさらに、位置に基づいて第１の品質劣化値を補正した後に、式ｘｌ＝β×ｘｌｅ×Δｔを用いて第２の品質劣化値を計算するように構成され得る。
【０２１１】
ｘｌｅは、第１の品質劣化値であり、ｘｌは、第２の品質劣化値であり、Δｔは、１番目のビデオフレームに対応する時点と、１番目のビデオフレームの後に位置し、１番目のビデオフレームへの最短距離を有し、かつ、ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、βは、１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、βの値は、０超かつ１未満であり、βのより大きい値は、シーンのより高い複雑度を示し、βのより小さい値は、シーンのより低い複雑度を示す。
【０２１２】
本発明の実施形態２における機能モジュールは、上述の実施形態１の方法を実行するために用いられ得る。
【０２１３】
本発明の実施形態２において提供される評価装置２００によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームにおける破損データの位置と、ビデオフレームがビデオフレーム上に位置するかまたはビデオフレームがビデオフレームの後に位置するシーンのシーン複雑度の影響となど、他の要因も考慮される。従って、品質評価の精度はより高い。
【０２１４】
本発明の実施形態１に基づいて、本発明の実施形態３は、評価装置１０００を提供する。図６に示されるように、評価装置１０００は、プロセッサ１０１０とメモリ１０２０とを含む。プロセッサ１０１０およびメモリ１０２０は、バスを用いて相互通信を完結する。
【０２１５】
メモリ１０２０は、コンピュータ演算命令を記憶するように構成される。メモリ１０２０は、高速ＲＡＭメモリを含んでよく、例えば少なくとも１つの磁気ディスクメモリなどの不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）をさらに含んでよい。
【０２１６】
プロセッサ１０１０は、メモリ１０２０に記憶されたコンピュータ演算命令を実行するように構成される。プロセッサ１０１０は具体的には、コンピュータのコアユニットである中央処理装置（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、ＣＰＵ）であり得る。
【０２１７】
プロセッサ１０１０がコンピュータ演算命令を実行するので、結果的に、評価装置１０００が上述の実施形態１における方法を実行する。
【０２１８】
本発明の実施形態３において提供される評価装置１０００によれば、ビデオ品質評価中、破損データが位置するビデオフレームにおけるパケット損失により生じた破損データの割合が考慮され、ビデオフレームにおける破損データの位置と、ビデオフレームがビデオフレーム上に位置するかまたはビデオフレームがビデオフレームの後に位置するシーンのシーン複雑度の影響となど、他の要因も考慮される。従って、品質評価の精度はより高い。
【０２１９】
本発明の実施形態１から３に基づいて、本発明の実施形態４は、送信デバイス４００を提供する。図７に示されるように、送信デバイス４００は、メディアユニット４０１０と評価装置４０２０とを含む。
【０２２０】
メディアユニット４０１０は、ビデオサーバにより送信されたメディアストリームを受信し、メディアストリームを別の送信デバイスまたはビデオ端末へ送信し、かつ、メディアストリームを評価装置４０２０へ送信するように構成される。
【０２２１】
評価装置４０２０は具体的には、実施形態２において提供される評価装置２００または実施形態３において提供される評価装置１０００であり得ると共に、メディアユニット４０１０からメディアストリームを取得し、かつ、実施形態２において提供されされる評価装置２００または実施形態３において提供される評価装置１０００により実行されるオペレーションを実行するように構成される。オペレーションを実行するプロセスにおいて、評価装置４０２０は具体的には、メディアストリームに基づいて、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成される。
【０２２２】
本発明の実施形態１から３に基づいて、本発明の実施形態５は、ビデオ端末５００を提供する。図８に示されるように、送信デバイス５００は、メディアユニット５０１０と評価装置５０２０とを含む。
【０２２３】
メディアユニット５０１０は、ビデオサーバにより送信されたメディアストリームを受信し、メディアストリームを復号化および再生し、かつ、メディアストリームを評価装置４０２０へ送信するように構成される。
【０２２４】
評価装置５０２０は具体的には、実施形態２において提供される評価装置２００または実施形態３において提供される評価装置１０００であり得ると共に、メディアユニット５０１０からメディアストリームを取得し、かつ、実施形態２において提供されされる評価装置２００または実施形態３において提供される評価装置１０００により実行されるオペレーションを実行するように構成される。オペレーションを実行するプロセスにおいて、評価装置５０２０は具体的には、メディアストリームに基づいて、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成される。
【０２２５】
本発明の実施形態１から３に基づいて、本発明の実施形態６は、ビデオ品質評価を実行するためのシステム２０００を提供する。図９Ａに示されるように、システム２０００は、ビデオサーバ２０１０と、送信デバイス２０２０と、ビデオ端末２０３０とを含む。ビデオサーバ２０１０により送信されたビデオストリームは、送信デバイス２０２０を用いてビデオ端末２０３０へ送信される。
【０２２６】
具体的な実装形態において、送信デバイス２０２０またはビデオ端末２０３０は具体的には、実施形態２において提供される評価装置２００または実施形態３において提供される評価装置１０００を含み得る。具体的な実装形態において、送信デバイス２０２０およびビデオ端末２０３０は各々、実施形態２において提供される評価装置２００または実施形態３において提供される評価装置１０００を含み得る。送信デバイス２０２０は具体的には、実施形態４において提供される送信デバイス４００であり得る。ビデオ端末２０３０は具体的には、実施形態５において提供されるビデオ端末５００であり得る。
【０２２７】
別の具体的な実装形態において、システムは、評価装置２０４０をさらに含む。図９Ｂおよｂ図９Ｃに示されるように、評価装置２０４０は具体的には、実施形態２において提供される評価装置２００または実施形態３において提供される評価装置１０００であり得る。送信デバイス２０２０またはビデオ端末２０３０は、評価装置２０４０に接続される。評価装置２０４０は、送信デバイス２０２０、または評価装置２０４０に接続されたビデオ端末２０３０を用いて、ビデオストリームを取得する。具体的な実装形態において、送信デバイス２０２０およびビデオ端末２０３０はそれぞれ、評価装置２０４０に接続され得る。
【０２２８】
当業者であれば、本明細書において開示される実施形態において説明される例と組み合わせて、ユニットおよびアルゴリズムの段階が、電子的ハードウェアまたはコンピュータソフトウェアと電子的ハードウェアとの組み合わせにより実行され得ることを認識し得る。機能がハードウェアにより実行されるか、またはソフトウェアにより実行されるかは、技術的解決手段の特定の用途と設計上の制約条件とに依存する。当業者であれば、異なる方法を用いて、説明された機能を特定の用途毎に実装し得るが、そのような実装が本発明の範囲を越えるものとみなされるべきではない。
【０２２９】
説明を簡便かつ簡潔にすることを目的として、上述のシステム、装置およびユニットの詳細な動作プロセスについては、上述の方法の実施形態における対応するプロセスが参照されてよいことが、当業者には明確に理解され得る。ここでは、詳細は改めて説明しない。
【０２３０】
本願において提供されるいくつかの実施形態において、開示されたシステム、装置および方法は、他の方式で実装され得ることが理解されるべきである。例えば、説明されている装置の実施形態は、一例に過ぎない。例えば、ユニットの分割は、論理的機能の分割に過ぎず、実際の実装では他の分割であってよい。例えば、複数のユニットまたはコンポーネントが別のシステムへ組み合わされるかまたは統合されてよく、いくつかの特徴が無視されても実行されなくてもよい。加えて、表示または説明された相互結合もしくは直接結合または通信接続は、いくつかのインタフェースを用いて実装されてよい。装置間またはユニット間の間接的な結合または通信接続は、電子的、機械的または他の形式で実装されてよい。
【０２３１】
別個の部品として説明されたユニットは、物理的に離れていても離れていなくてもよく、ユニットとして表示された部品が、物理的なユニットであってもそうでなくてもよく、１箇所に配置されてもよく、複数のネットワークユニットに分散されてもよい。実施形態の解決手段の目的を実現するために、当該ユニットのいくつかまたは全てが、実際の要件に基づいて選択されてよい。
【０２３２】
加えて、本発明の実施形態における機能ユニットが１つの処理ユニットに統合されてよく、これらのユニットの各々が物理的に単独で存在してもよく、２つまたはそれより多くのユニットが１つのユニットに統合されてもよい。
【０２３３】
機能がソフトウェア機能ユニットの形式で実装され、独立の製品として販売または使用される場合、機能は、コンピュータ可読記憶媒体に記憶されてよい。そのような理解に基づいて、本発明の技術的解決手段は本質的に、または従来技術に寄与する部分もしくは技術的解決手段のいくつかは、ソフトウェア製品の形態で実装されてよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態において説明された方法の段階の全てまたはいくつかを実行するよう、（パーソナルコンピュータ、サーバまたはネットワークデバイスであってよい）コンピュータデバイスに命令するためのいくつかの命令を含む。上述の記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、リードオンリメモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなど、プログラムコードを記憶し得る任意の媒体を含む。
【０２３４】
上述の説明は、本発明の特定の実装に過ぎず、本発明の保護範囲を限定することを意図していない。本発明において開示される技術的範囲内で当業者が容易に想到する任意の変形例または置換は、本発明の保護範囲に含まれるものとする。従って、本発明の保護範囲は、特許請求の範囲の保護範囲によって決まるものとする。
【図１Ａ】
2019528635.tif 000052
【図１Ｂ】
2019528635.tif 000053
【図１Ｃ】
2019528635.tif 000054
【図２】
2019528635.tif 000055
【図３Ａ】
2019528635.tif 000056
【図３Ｂ】
2019528635.tif 000057
【図４Ａ】
2019528635.tif 000058
【図４Ｂ】
2019528635.tif 000059
【図４Ｃ】
2019528635.tif 000060
【図５】
2019528635.tif 000061
【図６】
2019528635.tif 000062
【図７】
2019528635.tif 000063
【図８】
2019528635.tif 000064
【図９Ａ】
2019528635.tif 000065
【図９Ｂ】
2019528635.tif 000066
【図９Ｃ】
2019528635.tif 000067
【手続補正書】
【提出日】平成31年4月3日(2019.4.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ品質評価を実行するための方法であって、
１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断する段階と、
前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得する段階であって、前記破損データは、前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、段階と、
前記１番目のビデオフレームにおける前記破損データの位置を決定する段階と、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する段階と
を備える方法。
【請求項２】
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階は、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正する段階
を有し、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記１番目のビデオフレームにおける前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項１に記載の方法。
【請求項３】
αは、式
【数３８】
2019528635.tif 000068
または
【数３９】
2019528635.tif 000069
を用いて計算され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項２に記載の方法。
【請求項４】
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、式
【数４０】
2019528635.tif 000070
を用いて計算され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項３に記載の方法。
【請求項５】
前記１番目のビデオフレームの品質劣化値を取得する前記段階の後、かつ、前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階の前に、
前記１番目のビデオフレームはシーン変化フレームではない、と判断した場合、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する段階
をさらに備え、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階は、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて、前記シーンに基づいて補正された後に取得された、前記１番目のビデオフレームの品質劣化値を補正する段階
を有する、
請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階は、
式ｘｌｅｃ＝β×ｘｌｅｌを用いて前記１番目のビデオフレームの前記品質劣化値を補正する段階
を有し、
ｘｌｅｌは、前記シーンに基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｃは、前記シーンに基づいて補正された後に取得された品質劣化値であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項５に記載の方法。
【請求項７】
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階の後に、
式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するピクチャグループ（ＧＯＰ）の品質劣化値を計算する段階
をさらに備え、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項５または６に記載の方法。
【請求項８】
ビデオ品質評価を実行するための方法であって、
１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断する段階と、
前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得する段階であって、前記破損データは、前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、段階と、
前記１番目のビデオフレームがシーン変化フレームであるかどうかを判断する段階と、
前記１番目のビデオフレームはシーン変化フレームではない、と判断した場合、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する段階と
を備える方法。
【請求項９】
前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階は、
式ｘｌｅｃ＝β×ｘｌｅｌを用いて前記１番目のビデオフレームの前記品質劣化値を補正する段階
を有し、
ｘｌｅｌは、前記シーンに基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｃは、前記シーンに基づいて補正された後に取得された品質劣化値であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項８に記載の方法。
【請求項１０】
前記１番目のビデオフレームの品質劣化値を取得する前記段階の後、かつ、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階の前に、
前記１番目のビデオフレームにおける前記破損データの位置を決定する段階と、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する段階と
をさらに備える、請求項８または９に記載の方法。
【請求項１１】
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階は、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正する段階
を有し、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記１番目のビデオフレームにおける前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項１０に記載の方法。
【請求項１２】
αは、式
【数３２】
2019528635.tif 000071
または
【数３３】
2019528635.tif 000072
を用いて計算され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５未満であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項１１に記載の方法。
【請求項１３】
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、式
【数３４】
2019528635.tif 000073
を用いて計算され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項１２に記載の方法。
【請求項１４】
前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階の後に、
式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するピクチャグループ（ＧＯＰ）の品質劣化値を計算する段階
をさらに備え、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項８から１３のいずれか一項に記載の方法。
【請求項１５】
ビデオ品質評価を実行するための方法であって、
１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断する段階と、
前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得する段階であって、前記破損データは、前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、段階と、
式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するピクチャグループ（ＧＯＰ）の品質劣化値を計算する段階と
を備え、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
方法。
【請求項１６】
前記１番目のビデオフレームの品質劣化値を取得する前記段階の後、かつ、前記１番目のビデオフレームが位置するピクチャグループ（ＧＯＰ）の品質劣化値を計算する前記段階の前に、
前記１番目のビデオフレームにおける前記破損データの位置を決定する段階と、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する段階と
をさらに備え、
ｘｌｅは、前記位置に基づいて補正された後に取得された品質劣化値である、
請求項１５に記載の方法。
【請求項１７】
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前記段階は、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正する段階
を有し、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項１６に記載の方法。
【請求項１８】
αは、式
【数３５】
2019528635.tif 000074
または
【数３６】
2019528635.tif 000075
を用いて計算され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項１７に記載の方法。
【請求項１９】
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、式
【数３７】
2019528635.tif 000076
を用いて計算され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項１８に記載の方法。
【請求項２０】
判断ユニットと、計算ユニットと
を備え、
前記判断ユニットは、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成され、
前記計算ユニットは、
前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得するように構成され、さらに、
前記１番目のビデオフレームにおける前記破損データの位置を決定し、かつ、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する
ように構成される、
評価装置。
【請求項２１】
前記計算ユニットが前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成されることは、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正すること
を含み、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記１番目のビデオフレームにおける前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項２０に記載の評価装置。
【請求項２２】
前記計算ユニットはさらに、
式
【数４７】
2019528635.tif 000077
または
【数４８】
2019528635.tif 000078
を用いてαを計算するように構成され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項２１に記載の評価装置。
【請求項２３】
前記計算ユニットはさらに、
式
【数４９】
2019528635.tif 000079
を用いてｄａｍａｇｅＰｏｓｉｔｉｏｎを計算するように構成され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項２２に記載の評価装置。
【請求項２４】
前記計算ユニットはさらに、
前記１番目のビデオフレームの前記品質劣化値を取得した後、かつ、前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前に、前記１番目のビデオフレームはシーン変化フレームではない、と判断した場合、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成され、
前記計算ユニットが前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成されることは、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて、前記シーンに基づいて補正された後に取得された、前記１番目のビデオフレームの品質劣化値を補正すること
を含む、
請求項２０から２３のいずれか一項に記載の評価装置。
【請求項２５】
前記計算ユニットが、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成されることは、
式ｘｌｅｃ＝β×ｘｌｅｌを用いて前記１番目のビデオフレームの前記品質劣化値を補正すること
を含み、
ｘｌｅｌは、前記シーンに基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｃは、前記シーンに基づいて補正された後に取得された品質劣化値であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項２４に記載の評価装置。
【請求項２６】
前記計算ユニットはさらに、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正した後に、式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するピクチャグループ（ＧＯＰ）の品質劣化値を計算するように構成され、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項２４または２５に記載の評価装置。
【請求項２７】
判断ユニットと、計算ユニットと
を備え、
前記判断ユニットは、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成され、
前記計算ユニットは、前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得し、
前記１番目のビデオフレームがシーン変化フレームであるかどうかを判断し、かつ、
前記１番目のビデオフレームはシーン変化フレームではない、と判断した場合、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する
ように構成される、
評価装置。
【請求項２８】
前記計算ユニットが、前記１番目のビデオフレームが位置するシーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成されることは、
式ｘｌｅｃ＝β×ｘｌｅｌを用いて前記１番目のビデオフレームの前記品質劣化値を補正すること
を含み、
ｘｌｅｌは、前記シーンに基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｃは、前記シーンに基づいて補正された後に取得された品質劣化値であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項２７に記載の評価装置。
【請求項２９】
前記計算ユニットはさらに、
前記１番目のビデオフレームの前記品質劣化値を取得した後、かつ、前記１番目のビデオフレームが位置する前記シーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正する前に、
前記１番目のビデオフレームにおける前記破損データの位置を決定し、かつ、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する
ように構成される、
請求項２７または２８に記載の評価装置。
【請求項３０】
前記計算ユニットが前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成されることは、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正すること
を含み、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記１番目のビデオフレームにおける前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項２９に記載の評価装置。
【請求項３１】
前記計算ユニットはさらに、
式
【数４１】
2019528635.tif 000080
または
【数４２】
2019528635.tif 000081
を用いてαを計算するように構成され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５未満であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項３０に記載の評価装置。
【請求項３２】
前記計算ユニットはさらに、
式
【数４３】
2019528635.tif 000082
を用いてｄａｍａｇｅＰｏｓｉｔｉｏｎを計算するように構成され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項３１に記載の評価装置。
【請求項３３】
前記計算ユニットはさらに、
前記１番目のビデオフレームが位置する前記シーンに基づいて前記１番目のビデオフレームの前記品質劣化値を補正した後に、式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するピクチャグループ（ＧＯＰ）の品質劣化値を計算するように構成され、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置する前記シーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
請求項２７から３２のいずれか一項に記載の評価装置。
【請求項３４】
判断ユニットと、計算ユニットと
を備え、
前記判断ユニットは、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成され、
前記計算ユニットは、
前記１番目のビデオフレームにおける前記１番目のデータパケットの損失に影響を受けた画像データを含む、前記１番目のビデオフレームにおける破損データの割合を計算することにより前記１番目のビデオフレームの品質劣化値を取得し、かつ、
式ｘｌ＝β×ｘｌｅ×Δｔを用いて、前記１番目のビデオフレームが位置するピクチャグループ（ＧＯＰ）の品質劣化値を計算する
ように構成され、
ｘｌｅは、前記１番目のビデオフレームの前記品質劣化値であり、
ｘｌは、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値であり、
Δｔは、前記１番目のビデオフレームに対応する時点と、前記１番目のビデオフレームの後に位置し、前記１番目のビデオフレームへの最短距離を有し、かつ、前記ＧＯＰ内にあるシーン変化フレームに対応する時点との間の差であり、
βは、前記１番目のビデオフレームが位置するシーンのシーン複雑度を表すために用いられ、
βの値は、０超かつ１未満であり、
βのより大きい値は、前記シーンのより高い複雑度を示し、
βのより小さい値は、前記シーンのより低い複雑度を示す、
評価装置。
【請求項３５】
前記計算ユニットはさらに、
前記１番目のビデオフレームの前記品質劣化値を取得した後、かつ、前記１番目のビデオフレームが位置する前記ＧＯＰの前記品質劣化値を計算する前に、
前記１番目のビデオフレームにおける前記破損データの位置を決定し、かつ、
前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正する
ように構成され、
ｘｌｅは、前記位置に基づいて補正された後に取得された品質劣化値である、
請求項３４に記載の評価装置。
【請求項３６】
前記計算ユニットが前記１番目のビデオフレームにおける前記破損データの前記位置に基づいて前記１番目のビデオフレームの前記品質劣化値を補正するように構成されることは、
式ｘｌｅｌ２＝α×ｘｌｅｌ１を用いて前記１番目のビデオフレームの前記品質劣化値を補正すること
を含み、
ｘｌｅｌ１は、前記位置に基づいて補正される前に取得された品質劣化値であり、
ｘｌｅｌ２は、前記位置に基づいて補正された後に取得された品質劣化値であり、
αは、前記１番目のビデオフレームの品質に対する前記１番目のビデオフレームにおける前記破損データの前記位置の影響度を表すために用いられる補正係数であり、
αの値は、０超かつ１以下であり、
αのより小さい値は、より低い影響度を示し、
αのより大きい値は、より高い影響度を示す、
請求項３５に記載の評価装置。
【請求項３７】
前記計算ユニットはさらに、
式
【数４４】
2019528635.tif 000083
または
【数４５】
2019528635.tif 000084
を用いてαを計算するように構成され、
ａの値は、０超かつ１以下であり、
ｂの値は、０超かつ０．５以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎは、前記１番目のビデオフレームの終端位置に対する、前記破損データの開始位置の相対位置を表すために用いられ、
ｄａｍａｇｅＰｏｓｉｔｉｏｎの値は、０超かつ１以下であり、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより小さい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最下部により近いことを示し、
ｄａｍａｇｅＰｏｓｉｔｉｏｎのより大きい値は、前記破損データの前記開始位置が前記１番目のビデオフレームの最上部により近いことを示す、
請求項３６に記載の評価装置。
【請求項３８】
前記計算ユニットはさらに、
式
【数４６】
2019528635.tif 000085
を用いてｄａｍａｇｅＰｏｓｉｔｉｏｎを計算するように構成され、
ｎｐは、前記１番目のビデオフレームをカプセル化するために用いられる全てのデータパケットの数であり、
ｌｏｓｓＰｏｓｉｔｉｏｎは、前記全てのデータパケットにおける前記１番目のデータパケットの位置である、
請求項３７に記載の評価装置。
【請求項３９】
ビデオ品質評価を実行するためのシステムであって、
ビデオサーバと、送信デバイスと、ビデオ端末と
を備え、
前記ビデオサーバにより送信されたビデオストリームは、前記送信デバイスを用いて前記ビデオ端末へ送信され、
前記送信デバイスまたは前記ビデオ端末は、請求項２０から３８のいずれか一項に記載の評価装置を有し、または、
前記システムは、請求項２０から３８のいずれか一項に記載の評価装置をさらに備え、
前記送信デバイスまたは前記ビデオ端末は、前記システムの前記評価装置に接続され、
前記システムの前記評価装置は、前記システムの前記評価装置または前記ビデオ端末に接続された前記送信デバイスを用いて前記ビデオストリームを取得する、
システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
第７の態様によれば、評価装置が提供される。
評価装置は、プロセッサと、メモリとを含む。
メモリは、コンピュータ演算命令を記憶するように構成され、
プロセッサは、本発明の第１の態様または第１の態様の任意の可能な実装形態において、第２の態様または第２の態様の任意の可能な実装形態において、また、第３の態様または第３の態様の任意の可能な実装形態において提供される方法を評価装置が実行するように、メモリに記憶されたコンピュータ演算命令を実行するように構成される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
第８の態様によれば、送信デバイスが提供される。
送信デバイスは、メディアユニットと、評価装置とを含む。
メディアユニットは、ビデオサーバにより送信されたメディアストリームを受信し、メディアストリームを別の送信デバイスまたはビデオ端末へ送信し、かつ、メディアストリームを評価装置へ送信するように構成される。
評価装置は具体的には、本発明の第４の態様から第７の態様の任意の態様または任意の態様の任意の可能な実装形態において提供される評価装置であり得、
メディアユニットからメディアストリームを取得し、かつ、本発明の第４の態様から第７の態様の任意の態様または任意の態様の任意の実装形態において提供される評価装置により実行されるオペレーションを実行するように構成され、
オペレーションを実行するプロセスにおいて、具体的には、メディアストリームに基づいて、１番目のビデオフレームをカプセル化するために用いられる複数のデータパケットにおける１番目のデータパケットが失われている、と判断するように構成される。
【国際調査報告】
2019528635.tif 000086
2019528635.tif 000087
2019528635.tif 000088
2019528635.tif 000089