Metrics for Assessing the Quality of Numerical Parameters of Dynamic Systems
Authors: Жгун Т.В. 
Published: July 2024

Проблема неопределенности качества входных данных, описывающих систему, является одной из наиболее существенных проблем при построении систем управления сложными объектами. Еще более остро такая проблема стоит при управлении слабо формализованными (мягкими) системами. Критически важным компонентом управления качеством данных является разработка метрик, информирующих потребителей о характеристиках качества, которые наиболее важны для оценки степени пригодности данных к использованию. В статье предлагаются такие параметры для измерения качества данных, как точность данных, которая определяется как совпадение характеристики набора данных с неискаженными характеристиками реального объекта, и достоверность данных, которая определяется как несовпадение характеристики набора данных с характеристиками объекта, все регистрируемые параметры абсолютно случайны. Приводятся формулы для определения мер этих параметров качества, использующие аппарат конечных разностей. Предлагаемая методика предоставляет достаточно формализованный и вычислительно несложный алгоритм оценки качества совокупности входных параметров слабо формализованной динамической системы. Предлагаемые оценки являются эффективными метриками качества, анализ которых позволяет инициировать алгоритм управления, выделяющий полезный сигнал из зашумленного потока данных. Предлагаемая методика применена для анализа совокупности статистических данных, характеризующих качество жизни населения субъектов Российской Федерации за 2009–2019 годы. Анализ показывает, что значительное число рассматриваемых параметров имеет значительную ошибку регистрации и недостаточную степень достоверности. Следовательно, использование таких данных, как основы для принятия решений, без учета имеющихся искажений привносит ошибки в оценки и прогнозы и, как следствие, приводит к значительному снижению качества принимаемых управленческих решений. В частности, вычисление композитных индексов качества системы по однократному наблюдению по данным статистических измерений с помощью математических методов не предполагает устранения имеющейся шумовой компоненты данных, вследствие чего полученный результат может быть неправдоподобным.
The problem of uncertainty concerning the quality of input data describing the system is one of the most significant problems in the construction of control systems for complex objects. This problem is even more acute when managing poorly formalized systems. A critical component of data quality management is the development of metrics that inform consumers about the quality characteristics that are most important for assessing the degree of suitability of the data for use. The article suggests such parameters for measuring data quality as data accuracy, which is defined as the similarity of the characteristics of a data set with non-distorted characteristics of a real object, and data reliability, which is defined as the discrepancy between the characteristics of a data set with the characteristics of an object, for which all recorded parameters are absolutely random. Formulas for determining the measures of these quality parameters using the finite difference apparatus are given. The proposed methodology provides a fairly formalized and computationally simple algorithm for evaluating the quality of a set of input parameters of a complex dynamic system. The proposed estimates are effective quality metrics, the analysis of which allows you to initiate a control algorithm that extracts a useful signal from a noisy data stream. The analysis shows that a significant number of the parameters under consideration have a significant registration error and an insufficient degree of reliability. Consequently, the use of such data as a basis for decision-making, without taking into account the existing distortions, introduces errors in estimates and forecasts and, as a result, leads to a significant decrease in the quality of management decisions. In particular, the calculation of composite system quality indices based on a single observation of statistical measurements using mathematical methods does not imply the elimination of the existing noise component of the data, as a result of which the result obtained may be implausible.