影片質量

影片質量是量化一段影片通過影片傳輸／處理系統時畫面質量變化（通常是下降）程度的方法。由於影片處理系統可能會導致一定的影片信號失真，因此影片質量評價對於影片傳輸／處理系統的選擇，顯得十分重要。

## 從模擬信號到數位訊號

自從世界上第一段影片被錄製以來，各種各樣的影片處理系統都被設計生產。在模擬影片系統時期，評估影片處理系統的質量可使其播放一些"傳統測試信號"，並計算其頻率響應得到。（比如一系列的色條與圓圈）

如今，數字視頻已經取代模擬影片，評價的方法也隨之改變。數字視頻處理系統的性能顯著地取決於輸入影片的動態特性（如動作或空間細節）。

## 客觀影片質量

客觀影片評估技術是一些與主觀質量評估結果相近的數學模型，但是它們通常由電腦按照一定的標準與指標自動完成。評價的方法大致是將原影片（高品質、一般不被壓縮）與處理後的影片進行分類對比。分類對比分為三種：全參考（FR）、部分參考（RR）、無參考（NR）。全參考比較處理前後的兩段影片每個像素的差別，部分參考提取兩段影片的一些特性，並依此給予它們評分。以上兩種方法通常在原影片可用時使用，如在有限的帶寬下。無參考則試圖在沒有任何原影片的參考下進行評估，通常在影片編碼方法已知時使用。

當然，最傳統的方法是計算兩段影片信噪比（SNR）與峰值信噪比（PSNR）的差異。

PSNR是使用最廣泛的客觀影片質量的度量方法，但由於人類視覺系統的非線性，因此PSNR值與人眼感受到的影片質量仍有較大出入。近來一些更複雜、更精確的一些指標被指定，比如 VQM、結構相似性（SSIM）、VQuad-HD。

一個客觀的影片質量指標的表現由計算客觀分數與測試分數之間的相關性得出。後者被稱為平均意見分數（MOS）。最常用的相關係數有：線性相關係數、斯皮爾曼等級相關係數、峰度、與。

### 客觀影片質量模型的分類

<image>

<image>

客觀模型可以根據原始信號、接收信號或是否存在信號的可用資訊量進行分類:

- 全參考方法 (FR): FR模型通過將原始影片信號與接收的影片信號進行比較來計算質量差異。典型地，將來自源的每個像素與接收到的影片中的對應像素進行比較，而不了解其間的編碼或傳輸過程。更複雜的演算法可以選擇將基於像素的估計與其他方法相結合，如下所述。FR模型通常是最精確的，但代價是較高的計算量。因為它們要求在傳輸或編碼之前原始影片的可用性，所以它們不能用於所有情況(例如，從客戶端設備測量質量)。
- 弱參考方法 (RR): RR模型提取兩個影片的一些特徵，並對它們進行比較以給出質量分數。當所有原始影片不可用時，或者當實際上不可能這樣做時，例如在帶寬有限的傳輸中，使用它們。這使得它們比FR模型更有效率，但代價是精度更低。
- 無參考方法 (NR): NR模型試圖在不參考原始信號的情況下評估失真影片的質量。由於沒有原始信號，它們可能不如FR或RR方法準確，但計算效率更高。
- 基於像素的方法 (NR-P): 基於像素的模型使用信號的解碼表示，並基於像素資訊分析質量。其中一些只評估特定的退化類型，如模糊或其他編碼偽像。
- 參數/比特流方法 (NR-B): 這些模型利用從傳輸容器和/或影片比特流中提取的特徵，例如，MPEG-TS分組報頭、和量化參數。他們無法訪問原始信號，也不需要對影片進行解碼，這使得他們更加高效。與NR-P模型相反，它們無法訪問最終的解碼信號。然而，他們提供的圖像質量預測並不十分準確。
- 混合方法 (Hybrid NR-P-B): 混合模型將從比特流中提取的參數與解碼的影片信號相結合。因此，它們是 NR-P 和 NR-B 模型的混合體。

### 使用圖像質量模型進行影片質量評估

用於影片質量評估的一些模型(如PSNR或SSIM)只是圖像質量模型，其輸出是為影片序列的每一幀計算的。然後可以記錄每一幀的質量度量，並隨著時間的推移匯集在一起，以評估整個影片序列的質量。雖然這種方法很容易實現，但它沒有考慮到隨時間發展的某些類型的降級，例如由數據包丟失及其隱藏引起的運動偽像。考慮質量下降的時間方面的影片質量模型，如VQM或電影指數，可能能夠產生更準確的人類感知質量的預測。

### 實例

指標｜用途｜描述

全參考｜PSNR (峰值信噪比)｜圖像｜它是在原始影片信號和降級影片信號的每一幀之間計算的。PSNR是最廣泛使用的客觀圖像質量指標。然而，由於人類視覺系統的複雜、高度非線性的行為，PSNR值與感知的圖像質量不太相關。

SSIM (結構相似性)｜圖像｜SSIM是一種基於感知的模型，它將圖像退化視為結構資訊中的感知變化，同時還結合了重要的感知現象，包括亮度掩蔽和對比度掩蔽項。

MOVIE 基於運動的影片完整性評估｜影片｜MOVIE 指數是一個基於神經科學的模型，用於預測(可能是壓縮的或失真的)電影或影片相對於原始參考影片的感知質量。

VMAF 影片多方法評估｜影片｜VMAF使用四個特徵來預測影片質量VIF、DLM、MCPD和信噪比。使用基於SVM的回歸來融合上述特徵，以提供單個輸出分數。然後，使用算術平均在整個影片序列上暫時匯集這些分數，以提供總體差異平均意見分數(DMOS)。

弱參考｜SRR (基於SSIM的弱參考)｜影片｜SRR值由接收的(目標)影片信號SSIM與參考影片模式SSIM值的比值計算。

ST-RRED｜影片｜計算影片序列中相鄰幀之間幀差的小波係數(用GSM建模)。它用於評估導致時間性再狹窄的相對熵差異。它結合通過在影片的每一幀上應用空間平均指數而評估的空間平均指數，產生時空平均指數

無參考｜NIQE Naturalness Image Quality Evaluator｜圖像｜該IQA模型建立在從局部圖像塊提取的感知相關空間域n自然場景統計(NSS)特徵的基礎上，該特徵有效地捕捉自然圖像的基本低階統計。

BRISQUE 無參考圖像空間質量評估器｜圖像｜方法提取局部歸一化亮度信號的逐點統計，並基於測量到的與自然圖像模型的偏差來測量圖像自然度(或缺乏自然度)。它還對相鄰歸一化亮度信號的成對統計分布進行建模，從而提供失真方向信息。

Video-BLIINDS｜影片｜計算幀差的離散餘弦變換係數的統計模型，並計算運動特徵。基於這些特徵用 SVM 方法預測分數。

當評估一個影片編解碼器的質量時，所有上文提到的客觀方法可能都要逐一反覆進行測試，以滿足所需的視覺質量水平。無疑，這十分費時、複雜，並且在商業化應用中不切實際。出於上述原因，許多研究都專注於開發新的客觀評價方法，使其更為實用。

## 主觀影片質量

許多主觀影片質量的主要目標是自動評估使用者（即觀眾）對影片處理系統處理後的影片質量的意見。其主要思路與MOS相近，即記錄觀眾意見的平均值來評估影片的質量。但是測試出的細節出入可能極大。

## 評估影片質量的工具

工具｜獲取方式｜包含的指標

FFmpeg｜免費｜PSNR, SSIM, VMAF

MSU VQMT｜基礎指標免費 HDR指標付費｜PSNR, SSIM, MS-SSIM, 3SSIM, VMAF, NIQE, VQM, Delta, MSAD, MSE MSU提出的指標: 模糊程度指標, 區塊效應指標, 亮度抖動指標, 丟幀指標, 噪聲估計指標

EPFL VQMT｜免費｜PSNR, PSNR-HVS, PSNR-HVS-M, SSIM, MS-SSIM, VIFp

OpenVQ｜免費｜PSNR, SSIM, OPVQ(開放式感知影片質量指標)

Elecard｜收費｜PSNR, APSNR, MSAD, MSE, SSIM, Delta, VQM, NQI, VMAF, VIF

AviSynth｜免費｜SSIM

VQ Probe｜免費｜PSNR, SSIM, VMAF

- FFmpeg - FFmpeg是領先的多媒體框架，能夠解碼、編碼、轉碼、多路復用、多路分解、流式傳輸、濾鏡和播放人類和機器創造的幾乎任何東西。它的支持範圍囊括從最古老的格式到最新的格式。不管這些格式是由標準委員會、社區還是公司設計的。它還具有很高的可移植性:FFmpeg 可跨Linux、Mac OS X、微軟Windows、BSDs、Solaris等在各種各樣的構建環境、機器架構和配置下編譯、運行並通過稱為FATE的測試基礎設施。
- MSU VQMT - MSU影片質量測量工具是一個客觀的影片質量評估程序。它提供了全參考(檢查兩個影片)和單參考(分析一個影片)比較的功能。
- EPFL VQMT - 該軟體提供了以下客觀指標的快速實現:PSNR、SSIM、MS-SSIM、VIFp、PSNR-HVS、PSNR-HVS-M。在該軟體中，上述指標是基於其開發人員提供的原始Matlab實現在OpenCV (C++)中實現的。
- OpenVQ - OpenVQ是一個影片質量評估工具包。該項目的目標是為任何對影片質量評估感興趣的人提供一個工具包，該工具包提供了現成的影片質量指標實現，並使實現其他影片質量指標變得容易。
- Elecard - 影片質量測量工具，旨在根據客觀指標來比較編碼流的質量，例如PSNR、APSNR、SSIM、DELTA、MSE、MSAD、VQM、NQI、VMAF，VIF。
- AviSynth - AviSynth是影片後期製作的有力工具。它提供了編輯和處理影片的方法。AviSynth作為一個框架伺服器工作，提供即時編輯，而不需要臨時文件。AviSynth本身不提供圖形使用者界面(GUI)，而是依賴於允許高級非線性編輯的腳本系統。
- VQ Probe - VQ Probe是一個專業的用來評估客觀和主觀影片質量的影片工具。該工具允許用戶比較不同的編解碼器標準，建立研發曲線，並計算BD速率。

## 參考

- ITU-T Rec. J.341（01/11）Objective perceptual multimedia video quality measurement of HDTV for digital cable television in the presence of a full reference
- ITU-T Rec. J.247（08/08）Objective perceptual multimedia video quality measurement in the presence of a full reference
- ITU-T Rec. J.246（08/08）Perceptual audiovisual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference
- Digital Video Quality, Stefan Winkler, Wiley, March 2005, ISBN 0-470-02404-6
- "Quality Control", Duvall, Richard, Broadcast Engineering, February 2010