Оценка качества статистических данных в задаче вычисления интегральной характеристики системы по ряду наблюдений
Authors: Жгун Т.В. 
Published: December 2024

Построение интегральной характеристики системы по ряду наблюдений, фиксирующих состояние системы с некоторыми ошибками, можно рассматривать как задачу выделения полезного сигнала на фоне шумов. Сигналом в этом случае являются весовые коэффициенты линейной свертки показателей, которые должны отражать постоянную структуру оцениваемой системы в рассматриваемом периоде. Для ряда наблюдений методы многомерного анализа по-разному определяют структуру главных компонент (главных факторов). Даже небольшое возмущение исходных данных может вызвать значительное изменение весовых коэффициентов при использовании методов многомерного анализа. Причиной этого может являться наличие неустранимых погрешностей используемых данных. Поэтому существенным является вопрос об оценке качества используемых данных в задаче вычисления композитного индикатора качества системы по ряду наблюдений, а именно, оценка наличия в регистрируемых измерениях значительных неустранимых ошибок. В статье рассматривается применение метода конечных разностей для оценки неустранимых ошибок регистрации данных по ряду наблюдений. Для применения этой методики необходимо, чтобы данные допускали приближение полиномами более низких степеней, чем число наблюдений минус один. Справедливость предположения проверена эмпирически на конкретном наборе данных. Рассматриваются 37 переменных, характеризующих качество жизни населения России за 2010-2017 годы. Проанализированы зависимости качества аппроксимации данных от степени полиномиальной регрессии. Результаты численного эксперимента позволяют сделать вывод о правомерности оценки неустранимых погрешностей данных с помощью метода конечных разностей. Применение аппарата конечных разностей для анализа выборки показывает наличие неустранимых ошибок в исследуемой выборке от 0,59% до 28,92 %. Следовательно, получение композитных характеристик объектов на основании таких данных должно обязательно учитывать наличие неустранимой ошибки. В частности, число параметров и число наблюдений, характеризующих систему, должно быть достаточно большим, чтобы компенсировать случайные ошибки.

The construction of the composite index of a system can be considered as a problem of separating signal from noise. The signal in this case is the weight coefficients of the linear convolution of indicators. The weights to be determined should reflect the structure of the system being evaluated. However, principal component analysis and factor analysis determine the structure of principal components and principal factors differently for different observations. The reason for this may be the presence of inevitable errors in the used data. A solution of the problem requires a detailed understanding of input data errors’ influence on the calculated model’s parameters. The article discusses the use of the finite difference method for evaluating statistical data quality in the problem of calculating the integral characteristic of a system for a number of observations. For this technique to be applicable, the data must be approximated with polynomials of lower degrees than the number of observations minus one. The assumption is tested empirically on a specific data set. 37 variables characterizing the quality of life of the population of Russia for 2010-2017 are considered. The dependencies of the quality of data approximation on the degree of polynomial regression are analyzed. The results of the numerical experiment make it possible to draw a conclusion about the legitimacy of evaluating data errors using the finite difference method. The use of the finite difference apparatus for analyzing the data shows the presence of fatal errors from 0.59% to 28.92%. Therefore, obtaining the composite characteristics of objects on the basis of such data must necessarily take into account the presence of a fatal error. In particular, the number of parameters characterizing the system should be large enough to compensate for random errors with averaging.