Оценка моделей text-to-speech
В процессе обучения модели преобразования текста в речь оптимизируются по среднеквадратичной ошибке (mean-square error, MSE) (или средней абсолютной ошибке (mean absolute error, MAE)) между спрогнозированными значениями спектрограмм и сгенерированными. Как MSE, так и MAE способствуют минимизации разности между прогнозируемой и целевой спектрограммами. Однако, поскольку TTS - это проблема отображения “один ко многим”, т.е. выходная спектрограмма для данного текста может быть представлена множеством различных способов, оценка полученных моделей преобразования текста в речь (TTS) значительно сложнее.
В отличие от многих других вычислительных задач, которые могут быть объективно измерены с помощью количественных показателей, таких как accuracy или precision, оценка TTS в значительной степени зависит от субъективного человеческого анализа.
Одним из наиболее часто используемых методов оценки систем TTS является качественная оценка с использованием cредней экспертной оценки (Mean Opinion Scores, MOS). MOS - это субъективная система оценки, которая позволяет людям оценить качество синтезированной речи [NL] по шкале от 1 до 5. Эти оценки обычно собираются с помощью тестов на прослушивание, в которых участники-люди [NL] прослушивают и оценивают синтезированные образцы речи.
Одной из основных причин, по которой трудно разработать объективные метрики для оценки TTS, является субъективный характер восприятия речи. Слушатели имеют различные предпочтения и чувствительность к различным аспектам речи, включая произношение, интонацию, естественность и ясность. Учесть все эти нюансы восприятия с помощью одного числового значения - сложная задача. В то же время субъективность человеческой оценки затрудняет сравнение и сопоставление различных систем TTS.
Кроме того, при такой оценке могут быть упущены некоторые важные аспекты синтеза речи, такие как естественность, выразительность и эмоциональное воздействие. Эти качества трудно поддаются объективной количественной оценке, но очень важны в приложениях, где синтезированная речь должна передавать человекоподобные качества и вызывать соответствующие эмоциональные реакции.
В итоге, можно сказать, что оценка моделей преобразования текста в речь является сложной задачей из-за отсутствия единой действительно объективной метрики. Наиболее распространенный метод оценки, средняя экспертная оценка (MOS), опирается на субъективный человеческий анализ. Хотя MOS дает ценные сведения о качестве синтезированной речи, она также вносит вариативность и субъективность.