Subjetive QoE analysis of HTTP adaptive streaming applications

Actualmente la optimization de la calidad de experiencia (Quality of Experience- QoE) de HTTP Adaptive Streaming (HAS) de video recibe una atencion creciente. Este incremento de interes proviene fundamentalmente de las carencias de las soluciones actuales HAS, que, al no ser QoE-driven, no incluyen la percepcion de la calidad de los usuarios finales como una parte integral de la logica de adaptacion. Por lo tanto, la obtencion de informacion de referencia fiable en QoE en HAS presenta retos importantes, ya que las metodologias de evaluacion subjetiva de la calidad de video propuestas en las normas actuales no son adecuadas para tratar con la variacion temporal de la calidad que es consustancial de HAS. Esta tesis investiga la influencia de la adaptacion dinamica en la calidad de la transmision de video considerando metodos de evaluacion subjetiva. Tras un estudio exhaustivo del estado del arte en la evaluacion subjetiva de QoE en HAS, se han resaltado los retos asociados y las lineas de investigacion abiertas. Como resultado, se han seleccionado dos lineas principales de investigacion: el analisis del impacto en la QoE de los parametros de las tecnicas de adaptacion y la investigacion de las metodologias de prueba subjetiva adecuada para evaluacion de QoE en HAS. Se han llevado a cabo un conjunto de experimentos de laboratorio para investigar las cuestiones planteadas mediante la utilizacion de diferentes metodologaas para pruebas subjetivas. El analisis estadistico muestra que no son robustas todas las suposiciones y reivindicaciones de las referencias analizadas, en particular en lo que respecta al impacto en la QoE de la frecuencia de las variaciones de calidad, de las adaptaciones suaves o abruptas y de las oscilaciones de calidad. Por otra parte, nuestros resultados confirman la influencia de otros parametros, como la longitud de los segmentos de video y la amplitud de las oscilaciones de calidad. Los resultados tambien muestran que tomar en consideracion las caracteristicas objetivas de los contenidos puede ser beneficioso para la mejora de la QoE en HAS. Ademas, todos los resultados han sido validados mediante extensos analisis experimentales que han incluido estudio tanto en otros laboratorios como en crowdsourcing Por ultimo, sobre los aspectos metodologicos de las pruebas subjetivas de QoE, se ha realizado la comparacion entre los resultados experimentales obtenidos a partir de un metodo estandarizado basado en estimulos cortos (ACR) y un metodo semi continuo (desarrollado para la evaluacion de secuencias prolongadas de video). A pesar de algunas diferencias, el resultado de los analisis estadisticos no muestra ningun efecto significativo de la metodologia de prueba. Asimismo, aunque se percibe la influencia de la presencia de audio en la evaluacion de degradaciones del video, no se han encontrado efectos estadisticamente significativos de dicha presencia. A partir de la ausencia de influencia del metodo de prueba y de la presencia de audio, se ha realizado un analisis adicional sobre el impacto de realizar comparaciones estadisticas multiples en niveles estadisticos de importancia que aumentan la probabilidad de los errores de tipo-I (falsos positivos). Nuestros resultados muestran que, para obtener un efectos solido en el analisis estadistico de los resultados subjetivos, es necesario aumentar el numero de sujetos de las pruebas claramente por encima de los tamanos de muestras propuestos por las normas y recomendaciones actuales. ABSTRACT Optimizing the Quality of Experience (QoE) of HTTP adaptive video streaming (HAS) is receiving increasing attention nowadays. The growth of interest is mainly caused by the fact that current HAS solutions are not QoE-driven, i.e. end-user quality perception is not integral part of the adaptation logic. However, obtaining the necessary reliable ground truths on HAS QoE faces substantial challenges, since the subjective video quality assessment methodologies as proposed by current standards are not well-suited for dealing with the time-varying quality properties that are characteristic for HAS. This thesis investigates the influence of dynamic quality adaptation on the QoE of streaming video by means of subjective evaluation approaches. Based on a comprehensive survey of related work on subjective HAS QoE assessment, the related challenges and open research questions are highlighted and discussed. As a result, two main research directions are selected for further investigation: analysis of the QoE impact of different technical adaptation parameters, and investigation of testing methodologies suitable for HAS QoE evaluation. In order to investigate related research issues and questions, a set of laboratory experiments have been conducted using different subjective testing methodologies. Our statistical analysis demonstrates that not all assumptions and claims reported in the literature are robust, particularly as regards the QoE impact of switching frequency, smooth vs. abrupt switching, and quality oscillation. On the other hand, our results confirm the influence of some other parameters such as chunk length and switching amplitude on perceived quality. We also show that taking the objective characteristics of the content into account can be beneficial to improve the adaptation viewing experience. In addition, all aforementioned findings are validated by means of an extensive cross-experimental analysis that involves external laboratory and crowdsourcing studies. Finally, to address the methodological aspects of subjective QoE testing, a comparison between the experimental results obtained from a (short stimuli-based) ACR standardized method and a semi-continuous method (developed for assessment of long video sequences) has been performed. In spite of observation of some differences, the result of statistical analysis does not show any significant effect of testing methodology. Similarly, although the influence of audio presence on evaluation of video-related degradations is perceived, no statistically significant effect of audio presence could be found. Motivating by this finding (no effect of testing method and audio presence), a subsequent analysis has been performed investigating the impact of performing multiple statistical comparisons on statistical levels of significance which increase the likelihood of Type-I errors (false positives). Our results show that in order to obtain a strong effect from the statistical analysis of the subjective results, it is necessary to increase the number of test subjects well beyond the sample sizes proposed by current quality assessment standards and recommendations.