АВТОМАТИЗИРОВАННАЯ ОЦЕНКА КАЧЕСТВА ДИАЛОГОВОЙ СИСТЕМЫ В РЕАЛЬНОМ ВРЕМЕНИ

1. Система автоматизированной оценки качества диалоговой системы в реальном времени, содержащая
1) модуль определения тематики диалога, выполненный с возможностью получения текста диалога в реальном времени и автоматического определения тематики этого текста диалога;
2) модуль обработки текста диалога, выполненный с возможностью выделения фраз из текста диалога на основе данных о тематике, которые были определены модулем определения тематики;
3) модуль фильтрации фраз, выполненный с возможностью замены персональной информацию на специализированные топик-слова;
4) модуль модели классификатора текущего состояния диалога, выполненный с возможностью определения мотивации продолжения тематики диалога в реальном времени на основе последовательности фраз и определения состояния завершения диалога по тематике, определенной модулем определения тематики диалога;
5) модуль модели классификатора текущего качества диалога, выполненный с возможностью при приеме информации о состоянии завершения диалога присваивать балльную оценку качества диалогу на основании фраз, полученных от модуля классификатора текущего состояния диалога фраз.
2. Система по п.1, характеризующаяся тем, что дополнительно включает модуль дообучения диалоговой системы, выполненный с возможностью на основе бальной оценки качества диалога осуществлять дообучение диалоговой.
3. Система по п.1, характеризующаяся тем, что для классификации тематик используется библиотека с открытым кодом для тематического моделирования больших коллекций текстовых документов (BigARTM) или k-means.
4. Система по п.1, характеризующаяся тем, что персональной информацией являются: числа, имена, названия мест, названия компаний, индивидуальности.
5. Система по п.1, характеризующаяся тем, что список топик-слов формируется заранее с использованием механизмов именованных сущностей NER (Named entity recognition).