Shifted Gradient Similarity: A perceptual video quality assessment index for adaptive streaming encoding

Cada vez mais servicos de streaming de video estao migrando para o modelo adaptativo, devido a crescente diversidade de dispositivos pessoais conectados a Web e a popularidade das redes sociais. Limitacoes comuns na largura de banda de Internet, velocidade de decodificacao e potencia de baterias disponiveis em tais dispositivos desafiam a eficiencia dos codificadores de conteudo para preservar a qualidade visual em taxas de dados reduzidas e abrangendo uma ampla gama de resolucoes de tela, tipicamente comprimindo para menos de 1% da massiva taxa de dados bruta. Ademais, o sistema visual humano nao percebe uniformemente as perdas de informacao espacial e temporal, entao um modelo objetivo fisico simples como a media do erro quadratico nao se correlaciona bem com qualidade perceptivel. Tecnicas de avaliacao e predicao objetiva de qualidade perceptivel de conteudo visual se aprimoraram amplamente na ultima decada, mas o problema permanece em aberto. Dentre as metricas de qualidade psicovisual mais relevantes estao muitas versoes do indice de similaridade estrutural (Structural Similarity — SSIM). No presente trabalho, varias das mais eficientes metricas baseadas em SSIM, como o Multi-Scale Fast SSIM e o Gradient Magnitude Similarity Deviation (GMSD), sao decompostas em suas tecnicas-componentes e recombinadas para se obter medidas e entendimento sobre a contribuicao de cada tecnica e se desenvolver aprimoramentos a sua qualidade e eficiencia. Tais metricas sao aplicadas as bases de dados LIVE Mobile Video Quality e TID2008 e os resultados sao correlacionados aos dados subjetivos incluidos naquelas bases na forma de escores de opiniao subjetiva (mean opinion score — MOS), de modo que o grau de correlacao de cada metrica indique sua capacidade de predizer qualidade perceptivel. Investiga-se, ainda, a aplicabilidade das metricas a recente e relevante implementacao de otimizacao psicovisual de distorcao por taxa (psychovisual rate-distortion optimization — Psy-RDO) do codificador x264, ao qual atualmente falta uma metrica de avaliacao objetiva ideal. O indice “Shifted Gradient Similarity” (SG-Sim) e proposto com uma tecnica aprimorada de realce de imagem que evita uma perda nao-pretendida de informacao de analise, comum em indices baseados em SSIM, assim alcancando correlacao consideravelmente maior com MOS comparado as metricas existentes investigadas neste trabalho. Tambem sao propostos filtros de consolidacao espacial mais eficientes: o filtro gaussiano de inteiros 1-D decomposto e limitado a dois desvios padrao e o filtro “box” subamostrado baseado na imagem integral, os quais retem, respectivamente, 99% e 98% de equivalencia e obtem ganhos de velocidade de, respectivamente, 68% e 382%. O filtro subamostrado tambem promove escalabilidade, especialmente para conteudo de ultra-alta definicao, e define a versao do indice “Fast SG-Sim”. Ademais, verifica-se que o SG-Sim aumenta a correlacao com Psy-RDO, indicando-se uma metrica de qualidade de codificacao ideal para o x264. Finalmente, os algoritmos e experimentos usados neste trabalho estao implementados no software “Video Quality Assessment in Java” (jVQA), baseado nas plataformas AviSynth e FFmpeg e que e projetado para personalizacao e extensibilidade, suportando conteudo ultra-alta definicao “4K” e disponibilizado como codigo-fonte aberto e livre.