視覺信號保真度

視覺信號保真度（VIF）是一種評估影像品質的方法，為基於自然場景統計和由人類視覺系統（英语：Human_visual_system_model）提取影像信號的概念的圖像質量評估參數。它由Hamid R Sheikh和Alan Bovik於2006年在德克薩斯大學奧斯汀分校圖像和視頻工程實驗室（LIVE）開發，結果顯示它與人類對影像質量的判斷非常相近。VIF部署在Netflix VMAF的視頻質量監控系統中，該系統控制Netflix傳輸的所有編碼視頻的影像質量。這占美國所有頻寬消耗的35％，並且在全球視頻流量中也不斷增加。 三維視覺環境的圖像和視頻都來自於自然場景（natural scene）。自然場景在所有可能的信號空間形成一個微小的子空間，科學家發明了複雜的模型來描述這些統計數據。但是大多數真實世界都會造成這些統計數據的失真，並使圖像或視頻信號不自然。VIF假設測試和參考圖像之間的共享訊息與視覺品質高度相關，並採用自然場景統計（NSS）模型結合失真（通道）模型來量化這種共享訊息。與基於人類視覺系統（HVS）錯誤敏感度和結構測量的先前方法相比，VIF在消息理論中被使用，且不需要任何HVS或其他觀察幾何參數，就能產生完全參考（FR）質量評估（QA）方法；VIF也不需要任何需要優化的常數，就能與現有的QA方法相競爭。 具體來說，參考圖像被建模後通過HVS通道，接著由大腦處理的隨機「自然」源輸出。參考圖像的資訊被量化為HVS頻道的輸入和輸出之間的相互資訊（mutual information），這是大腦可以從HVS輸出中提取的最理想資訊。然後讓相同的參考圖像通過失真通道，並對測量進行量化。將這兩個訊息組合，形成視覺質量與相對圖像信息相關聯的視覺信息保真度。 圖像的的小波係數可用高斯尺度混和(Gaussain Scale Mixture, GSM)建模，以下針對特定子帶進行多尺度多方位分解的模型，其他子帶可以進行相似的模型。設給定子帶中的小波係數為 C = { C i ¯ : i ∈ I } {\displaystyle {\mathcal {C}}=\{{\bar {\mathit {C_{i}}}}:{\mathit {i}}\in {\mathcal {I}}\}} ， I {\displaystyle {\mathcal {I}}} 表示整個子帶和每個子帶的空間索引集合，子帶被分割成M塊不重疊的區域，每塊對應到一個M維的向量 C i ¯ {\displaystyle {\bar {\mathit {C_{i}}}}} 。 根據GSM模型 C = S ⋅ U = { S i U i ¯ : i ∈ I } {\displaystyle {\mathcal {C}}={\mathcal {S}}\cdot {\mathcal {U}}=\{{\mathit {S_{i}}}{\mathit {\bar {U_{i}}}}:{\mathit {i}}\in {\mathcal {I}}\}} 其中 S i {\displaystyle {\mathit {S_{i}}}} 是一個正數， U i ¯ {\displaystyle {\mathit {\bar {U_{i}}}}} 是一個平均為0且協方差為 C U {\displaystyle \mathrm {C_{U}} } 的高斯向量。我們假設這M塊區域彼此獨立，且隨機場 S {\displaystyle {\mathcal {S}}} 和 U {\displaystyle {\mathcal {U}}} 相互獨立。 我們利用小波域中的信號衰減和加性噪聲來對失真過程進行建模。以數學式表示，如果 D = { D i ¯ : i ∈ I } {\displaystyle {\mathcal {D}}=\{{\bar {D_{i}}}:i\in {\mathcal {I}}\}} 表示來自失真圖像的特定子帶的隨機場， G = { g i ¯ : i ∈ I } {\displaystyle {\mathcal {G}}=\{{\bar {g_{i}}}:i\in {\mathcal {I}}\}} 是一個確定的常量場且 V = { v i ¯ : i ∈ I } {\displaystyle {\mathcal {V}}=\{{\bar {v_{i}}}:i\in {\mathcal {I}}\}} ， V i ¯ {\displaystyle {\bar {V_{i}}}} 是一個平均為0且協方差為 C V {\displaystyle \mathrm {C_{V}} } 的高斯向量，其中 C V = σ v 2 I {\displaystyle \mathrm {C_{V}} =\sigma _{v}^{2}\mathrm {I} } ，那麼 D = G C + V {\displaystyle {\mathcal {D}}={\mathcal {GC}}+{\mathcal {V}}} 此外， V {\displaystyle {\mathcal {V}}} 獨立於 S {\displaystyle {\mathcal {S}}} 和 U {\displaystyle {\mathcal {U}}} 。 基於視覺信號感知中的不確定性，限制了可以從來源和失真圖像中提取的訊息量，HVS對此進行了額外的建模。這種不確定性的來源可以模擬為HVS模型中的視覺噪聲，小波分解特定子帶中的HVS噪聲更進一步被建模為加性高斯白噪聲。假設 N = { N i ¯ : i ∈ I } {\displaystyle {\mathcal {N}}=\{{\bar {N_{i}}}:i\in {\mathcal {I}}\}} 和 N ′ = { N i ′ ¯ : i ∈ I } {\displaystyle {\mathcal {N^{'}}}=\{{\bar {N_{i}^{'}}}:i\in {\mathcal {I}}\}} 是隨機場， N i ¯ {\displaystyle {\bar {N_{i}}}} 和 N i ′ ¯ {\displaystyle {\bar {N_{i}^{'}}}} 是平均為0且協方差為 C N {\displaystyle \mathrm {C_{N}} } 和 C N ′ {\displaystyle \mathrm {C_{N}^{'}} } 的高斯向量。 ε = C + N {\displaystyle {\mathcal {\varepsilon }}={\mathcal {C}}+{\mathcal {N}}} 和 F = D + N ′ {\displaystyle {\mathcal {F}}={\mathcal {D}}+{\mathcal {N^{'}}}} 表示HVS輸出端的視覺信號。在數學上，E=C+N且F=D+N’。其中N和N’是隨機的且獨立於 S {\displaystyle {\mathcal {S}}} ， U {\displaystyle {\mathcal {U}}} 和 V {\displaystyle {\mathcal {V}}} 。 將 C ¯ N = ( C 1 ¯ , C 1 ¯ , . . . , C N ¯ ) {\displaystyle {\bar {C}}^{N}=({\bar {C_{1}}},{\bar {C_{1}}},...,{\bar {C_{N}}})} 定義為特定子帶中所有區塊的向量，同理定義 S N {\displaystyle {S}^{N}} , D ¯ N {\displaystyle {\bar {D}}^{N}} , E ¯ N {\displaystyle {\bar {E}}^{N}} 和 F ¯ N {\displaystyle {\bar {F}}^{N}} 。 s N {\displaystyle s^{N}} 為給定 C N {\displaystyle {C}^{N}} 和 C U {\displaystyle \mathrm {C_{U}} } 的 S N {\displaystyle S^{N}} 中機率最大的數。從參考圖像中獲取的資訊量為 I ( C ¯ N ; E ¯ N | S ¯ N = s N ) = 1 2 ∑ i = 1 N log 2 ⁡ ( | s i 2 C U + σ n 2 I | | σ n 2 I | ) {\displaystyle I({\bar {C}}^{N};{\bar {E}}^{N}|{\bar {S}}^{N}=s^{N})={\frac {1}{2}}\sum _{i=1}^{N}\log _{2}{\Bigl (}{\frac {|s_{i}^{2}{\mathsf {C_{U}}}+\sigma _{n}^{2}{\text{I}}|}{|\sigma _{n}^{2}{\text{I}}|}}{\Bigr )}} 而從測試圖像中獲取的資訊量為 I ( C ¯ N ; F ¯ N | S ¯ N = s N ) = 1 2 ∑ i = 1 N log 2 ⁡ ( | g i 2 s i 2 C U + ( σ v 2 + σ n 2 ) I | | ( σ v 2 + σ n 2 ) I | ) {\displaystyle I({\bar {C}}^{N};{\bar {F}}^{N}|{\bar {S}}^{N}=s^{N})={\frac {1}{2}}\sum _{i=1}^{N}\log _{2}{\Bigl (}{\frac {|g_{i}^{2}s_{i}^{2}{\mathsf {C_{U}}}+(\sigma _{v}^{2}+\sigma _{n}^{2}){\text{I}}|}{|(\sigma _{v}^{2}+\sigma _{n}^{2}){\text{I}}|}}{\Bigr )}} VIF定義為 V I F = ∑ j ∈ s u b b a n d s I ( C ¯ N , j ; F ¯ N , j | S N , j = s N , j ) ∑ j ∈ s u b b a n d s I ( C ¯ N , j ; E ¯ N , j | S N , j = s N , j ) {\displaystyle VIF={\frac {\textstyle \sum _{j\in {subbands}}^{}I({\bar {C}}^{N,j};{\bar {F}}^{N,j}|S^{N,j}=s^{N,j})\displaystyle }{\textstyle \sum _{j\in {subbands}}^{}I({\bar {C}}^{N,j};{\bar {E}}^{N,j}|S^{N,j}=s^{N,j})\displaystyle }}} 評估LIVE圖像質量評估數據庫中，失真圖像的VIF得分，與相應的人類意見得分之間的斯皮爾曼等級排序相關係數（SROCC）為0.96。這顯示該指數與人類對圖像質量的感知非常相近，與最佳的FR IQA算法一致。 (PDF) http://videoclarity.com/wp-content/uploads/2013/05/Statistic-of-Full-Reference-UT.pdf. （原始内容存档 (PDF)于2018-06-12）.  缺少或|title=为空 (帮助)