Применение преобразований данных при вычислении композитного индекса качества системы
Authors: Жгун Т.В. 
Published: December 2024

В статье анализируются особенности данных, используемых при вычислении композитных индексов сложных систем. Метод главных компонент дает объективное резюме набора данных, однако метод критичен к качеству исходных данных. Одним из основных моментов в критике использования методов многомерного анализа для получения весов композитных индексов является, в частности, отсутствие социально-экономической интерпретации получаемых весовых коэффициентов в случае, если метод главных компонент определяет отрицательные знаки весовых коэффициентов. Показано, что известные статистические характеристики, такие как коэффициент асимметрии, коэффициент вариации, характеристики наличия/отсутствия нормального распределения данных не позволяют выявить аномальные переменные, влияющие на результат применения метода главных компонент для вычисления весовых показателей. Для аномальных переменных выбросы на верхнем уровне нивелируют все остальные значения показателя. Логарифмическое преобразование в таком случае позволяет избежать потерь значений. В современных исследованиях логарифмическое преобразование хотя и упоминается как возможное при вычислении композитных индексов, однако конкретных рекомендаций по его применению не дается, и оно практически не применяется на практике. В работе обосновано применение логарифмического преобразования данных, аномальный характер которых выявляется с помощью тепловых карт и подтверждается применением аналитического критерия отношения сигнал / шум, оценивающего переменные в стандартном диапазоне, не содержащем нуля. Предложенный вид логарифмического преобразования позволяет уйти от проблемы больших отрицательных значений, характерных для применения логарифмического преобразования на стандартном единичном интервале. Эффективность использования логарифмического преобразования для оценки качества слабо формализованных систем демонстрируется на примере исследования качества жизни населения РФ с помощью авторской модификации метода главных компонент. Показано, что применение логарифмической коррекции для аномальных переменных решает проблему с отрицательностью весовых коэффициентов и перераспределяет значения получаемых весовых коэффициентов в сторону более корректной социально-экономической интерпретации.
The paper examines features of data used when calculating composite indexes of complex systems. Principal component analysis gives an objective summary of the dataset, but is sensitive to the quality of the data. One of the main critiques of using multidimensional analysis when calculating the weights of composite indexes is ambiguity in the socio-economic interpretation of negative weight coefficients. The paper shows that known statistical characteristics of the data, such as the coefficient of asymmetry, the coefficient of variation and the presence/absence of a normal distribution of data do not allow the identification of anomalous variables. Anomalous data is considered such if the upper range outliers neutralize all other values for an indicator. Such data affects the calculated the weights and can be identified by using heatmaps. The logarithmic transformation of anomalous variables eliminates the peculiarities of the distribution of such data. The paper proposes an analytical criterion for determining the anomalous data. The criterion evaluates the signal-to-noise ratios of variables in a fixed range that does not contain zero. The justification of using the logarithmic transformation when assessing the quality of weakly formalized systems is demonstrated in the example of using the author’s modification of the PCA when studying the quality of life of the population of Russia’s regions. The paper shows that the use of logarithmic correction for anomalous variables eliminates the negativity of the weight coefficients and results in a redistribution of weights with a more correct socio-economic interpretation.