Entropy estimates of the decision statistics of the classification algorithm for random processes
Authors: Калинин М.Ю. , Чопоров О.Н. 
Published: July 2024

Рассматривается задача выявления состояния технической системы по поступающим от нее сигналам, каждому состоянию соответствует класс сигналов с определенными свойствами, актуальная в области распознавания образов, технической диагностики и других направлениях науки и техники. Для ее решения определяется принадлежность поступающего сигнала одному из выбранных классов. Для описания случайного сигнала и математического представления классов используется марковская модель случайного процесса, на основе которой разработан оптимальный алгоритм классификации сигнала с заданной достоверностью. Получены величины (решающие статистики), по которым принимается решение о принадлежности выборки отсчетов принимаемого сигнала соответствующему классу и которые позволяют оценивать «расстояние» между классами (их моделями). Их изучение позволяет оценивать возможности и эффективность алгоритмов классификации сигналов, а также свойства множества классов по их марковским моделям. С использованием теории информации исследуются свойства решающих статистик, определяются их вероятностные характеристики. С использованием понятий энтропии и информационной дивергенции (расстояния Кульбака-Лейблера) получены оценки среднего значения и дисперсии решающих статистик. Получены оценки продолжительности процедуры классификации. Приведен пример расчета. Результаты исследований могут быть использованы при определении состояния технических устройств (двигателей, турбин и др.) по поступающим сигналам от размещенных на них датчиков, при классификации радиосигналов в системах радиомониторинга и других научных и технических приложениях.

The problem of identifying the state of a technical system based on signals coming from it is considered, each state corresponds to a class of signals with certain properties, which is relevant in the field of pattern recognition, technical diagnostics and other areas of science and technology. To solve it, the belonging of the incoming signal to one of the selected classes is determined. To describe a random signal and mathematical representation of classes, a Markov model of a random process is used, on the basis of which an optimal signal classification algorithm with a given reliability has been developed. Values ​​(decisive statistics) are obtained, according to which a decision is made about the belonging of a sample of samples of the received signal to the corresponding class and which allow us to estimate the "distance" between the classes (their models). Their study allows one to evaluate the capabilities and efficiency of signal classification algorithms, as well as the properties of a set of classes by their Markov models. With the use of information theory, the properties of decisive statistics are investigated, their probabilistic characteristics are determined. Using the concepts of entropy and information divergence (Kullback-Leibler distance), estimates of the mean value and variance of the decision statistics are obtained. Estimates of the duration of the classification procedure are obtained. An example of calculation is given. The research results can be used to determine the state of technical devices (engines, turbines, etc.) based on incoming signals from sensors placed on them, when classifying radio signals in radio monitoring systems and other scientific and technical applications.