Assessment and prediction of speech transmission quality with an auditory processing model

In this thesis, an objective prediction method for the transmission quality of lowbit rate speech coding algorithms is described. A quantitative processing model of the auditory system is employed to objectively measure the perceptually relevant deviations between the coded, distorted signal and the corresponding reference signal. The inherent parameters of the processing model were derived directly from psychoacoustical data independent of the present studies. The auditory processing is applied to transform the corresponding speech signals to an internal representation which is thought of as the information that is accessible to higher neural stages of perception. The correlation coefficient between these two internal representations constitutes the objective speech quality measure qC . It shows a high performance in the prediction of the mean opinion score data of various low bit-rate coded speech test data bases, if a frequency-dependent weighting is applied that exhibits increasing weights for increasing center frequencies of the filter channels of the internal representation. This non-uniform relative importance of different critical bands for the perception of speech transmission quality is further investigated in two experiments. Two algorithms are introduced that generate a band-specific modulated-noise distortion in the speech signal. Detection thresholds are measured as a function of the center frequency of the band used for generating the distortion. Pairwise speech quality preferences of these distortions are assessed at levels of the modulation depth that are selected relative to the respective detection thresholds. The detection thresholds are modeled with only small deviations by assuming a constant value of qC at threshold, if a constant weighting of the filter channels of the internal representation was employed. No satisfactory prediction of the detection threshold is found if a weighting increasing with frequency was employed. Similarly, pairwise speech quality preference ratings are modeled by the difference ∆qC of the measure qC with constant spectral weighting, but neither for the spectral weighting increasing with frequency. To extend the current speech quality assessment methods beyond the limits of stationary transmission conditions, a new method is introduced for continuously assessing the time-varying speech quality. Different sequences of sentences are degraded in quality by a modified Modulated Noise Reference Unit with a timevarying modulation depth. Subjects can monitor the speech quality variations very accurately by moving a slider along a graphical scale. The assessment task is performed in a highly consistent way across subjects with respect to the use of the slider rating scale and the delay of approximately 1 s relative to the expected target slider position. The new objective speech quality measure qC is modified to allow for a time-depending quality prediction for frames of 20 ms. Except for the same delay of 1 s, the subjective assessment results can be predicted very well by the time-dependent measure qC(t) if a low-pass filter at 0.5 Hz is applied to qC(t) in order to reduce its short time variability. The prediction method introduced here may be used for monitoring speech transmission quality in realistic time-varying conditions and for the quality optimization of speech coding algorithms, e.g., for mobile telephones. Zusammenfassung In dieser Arbeit wird eine objektive Methode zur Vorhersage der Sprachübertragungsqualität von Sprachkodierungsalgorithmen mit niedrigen Bitraten beschrieben. Ein quantitatives Modell der “effektiven” Signalverarbeitung im auditorischen System wurde verwendet, um die perzeptiv relevanten Abweichungen zwischen dem kodierten, verzerrten Signal und dem entsprechenden Referenzsignal objektiv zu bestimmen. Die im Modell enthaltenen Parameter wurden aus von der vorliegenden Arbeit unabhängigen psychoakustischen Daten abgeleitet. Das Signalverarbeitungsmodell wurde verwendet, um die beiden Sprachsignale auf eine interne Repräsentation abzubilden, die diejenige Information enthält, die für nachfolgende neuronale Stufen zur Auswertung zur Verfügung steht. Der Korrelationskoeffizient zwischen den beiden internen Repräsentationen stellt das objektive Sprachqualitätsmaß qC dar. Es zeigt eine hohe Korrelation mit den subjektiven Mean Opinion Score Daten verschiedener niedrigraten-kodierter Testdatenbasen für den Fall, daß eine frequenzabhängige Gewichtung der einzelnen Bänder der internen Repräsentation angewandt wird, die mit der Bandmittenfrequenz ansteigt. Diese nicht-gleichförmige relative spektrale Gewichtung unterschiedlicher kritischer Bänder bei der Messung der Sprachübertragungsqualität wurde in zwei Experimenten weiter untersucht. Es wurden zwei Algorithmen eingeführt, die eine bandspezifische Rauschmodulationsverzerrung im Sprachsignal generieren. Detektionsschwellen wurden als Funktion der Mittenfrequenz des generierenden Bandes gemessen. Die Detektionsschwellen wurden mit geringen Abweichungen durch die Annahme eines konstanten Wertes von qC modelliert, falls eine konstante Gewichtung der Filterkanäle der internen Repräsentation verwendet wird. Für die mit der Mittenfrequenz ansteigende Gewichtung konnte dagegen keine befriedigende Vorhersage der Detektionsschwellen erzielt werden. Anschließend wurde die paarweise subjektive Sprachqualitätspräferenz dieser Verzerrungen, die bei verschiedenen Modulationsgradparametern relativ zur entsprechenden Detektionsschwelle generiert wurden, subjektiv beurteilt. Die paarweisen subjektiven Sprachqualitätspräferenzurteile konnten durch den Unterschied ∆qC zwischen den Maßen qC der verglichenen Sätze modelliert werden, falls ebenfalls eine konstante Gewichtung verwendet wurde, nicht jedoch für die ansteigende Gewichtung. Um die bisherigen, auf stationäre Übertragungsbedingungen beschränkte Methoden zur Sprachqualitätsbeurteilung zu erweitern, wurde eine neue Methode zur kontinuierlichen Beurteilung von zeitlich variabler Sprachqualität eingeführt. Sequenzen verschiedener Testsätze wurden durch eine modifizierte Modulated Noise Reference Unit mit zeitlich variierendem Modulationsgrad in ihrer Sprachqualität verändert. Versuchspersonen konnten die Variation der Sprachqualität sehr genau beurteilen, indem sie zeitlich kontinuierlich einen Schieberegler entlang einer Skala einstellten. Die Versuchspersonen erfüllten die Beurteilungsaufgabe sehr konsistent im Hinblick auf die Ausnutzung der Reglerskala bei einer Verzögerung von ca. 1 s relativ zur erwarteten Reglerposition. Das neue objektive Sprachqualitätsmaß qC wurde modifiziert, um eine zeitabhängige Qualitätsvorhersage basierend auf 20 ms langen Abschnitten zu ermöglichen.