Assessment of the effectiveness of an adaptive software-hardware system for speech recognition, translation and speech synthesis for operators of technological processes
Authors: Золкин А.Л. , Клюканов А.В. 
Published: April 2024

Целью данного исследования являются разработка и реализация адаптивной программноаппаратной системы распознавания, перевода и озвучивания речи, предназначенной для операторов технологических процессов. Система разрабатывается с целью улучшения эффективности и удобства работы операторов. Основной функциональностью системы является автоматическое распознавание речи операторов на различных языках с последующим переводом на выбранный язык и озвучиванием текстовых ответов. Это облегчит и ускорит коммуникацию операторов с системой, а также улучшит понимание информации. Рассмотрен процесс разработки методов обработки звука и анализа речи для точного распознавания и интерпретации вводимой операторами информации. Для этого применяются передовые алгоритмы машинного обучения, что делает систему более адаптивной и улучшает качество распознавания с течением времени. Важным аспектом исследования является внедрение предиктивной аналитики на основе тембральных признаков голоса. Это позволяет улучшить качество голосовой связи, а также осуществить контроль качества на линии связи для определения возможных помех и проблем. Для повышения безопасности системы и защиты от несанкционированного доступа представлено подробное использование хэш-стойкого алгоритма верификации пользователей на основе тембральных признаков голоса, что обеспечивает надежную идентификацию пользователей и защиту от подделки голоса. В ходе исследования проведены эксперименты и тестирование различных аспектов системы, что позволило оценить ее эффективность и точность. Результаты исследования подтверждают значительное улучшение взаимодействия операторов с системой, повышение качества распознавания и снижение ошибок в процессе перевода и озвучивания. Представленное исследование является значимым шагом в области разработки адаптивных систем распознавания и верификации голоса, демонстрирует потенциал таких систем для повышения производительности операторов технологических процессов и создания удобной и эффективной среды для их работы.
The aim of the study is to develop and implement an adaptive software-hardware system for speech recognition, translation, and speech synthesis designed for operators of technological processes. The system is designed to improve the efficiency and convenience of operators’ work by enabling them to interact with the system using voice commands. The main functionality of the system is automatic speech recognition of operators in various languages, followed by translation into the selected language and voice synthesis of textual responses. This will facilitate and accelerate the communication between operators and the system, enhancing the overall understanding of information. The article includes a description of the process of developing methods for sound processing and speech analysis to ensure accurate recognition and interpretation of the input information from the operators. Advanced machine learning algorithms are applied to make the system more adaptive and continuously improve the recognition quality over time. A crucial aspect of this research is the integration of predictive analytics based on vocal timbre features. This enhances the quality of voice communication and enables quality control on the communication line to identify possible disturbances and problems. To enhance system security and protect against unauthorized access, the authors propose a detailed use of a hash-resistant algorithm for user verification based on vocal timbre features, which ensures reliable user identification and protects against voice impersonation. Throughout the research, experiments and testing on various aspects of the system have been conducted to evaluate its effectiveness and accuracy. The results confirm significant improvements in operator-system interaction, enhancement of recognition quality, and reduction in errors during translation and voice synthesis. In conclusion, this research is a significant advancement in the field of developing adaptive speech recognition and verification systems. It demonstrates the potential of such systems to enhance the productivity of operators in technological processes and create a convenient and efficient environment for their work.