Использование метаданных и норм элементов для оптимизации запросов
Authors: Кирикова А.В. , Мунерман В.И. 
Published: December 2024

В виду стремительного развития информационных технологий, также соразмерно стремительно развиваются требования к информации и скорости ее обработке в этой сфере. Данные и запросы все более отличаются от оперирования простейшими типами. В статье рассматривается метод повышения эффективности решения задач поиска элементов среди широких таблиц – имеющих большое количество столбцов, что также можно рассматривать в разрезе задачи по соединению таблиц. Метод основан на специфическом индексировании, элементов, которое позволяет снять некоторые ограничения с данных таблицы и оптимизировав работу с большим количеством столбцов – тем самым расширив спектр применения такого подхода, не теряя плюсов классического индексирования. В основе предлагаемого индексирования используется вводимое понятия близкое к понятию нормы пространства – вес, позволяющее образовать на множестве элементов таблицы отношение эквивалентности, одновременно с чем снимая некоторые ограничения на использования индексирования с элементов – такие, как например, отношение порядка характеристик или ограничение на сами обрабатываемые типы данных таблицы. Также в статье рассматривается возможность группировки и распределения данных для распараллеливания методов обработки запросов к СУБД. Для реализации такой параллельной обработки данных используется простой принцип симметричного горизонтального распределения, на основе фактор-множества множества элементов таблицы построенного на базе вводимого понятия веса элемента. Он может позволить распределить элементы таблицы по вычислителям достаточно равномерно, притом, что будет сохранено отсутствие пересечения интересующих характеристик элемента между разными вычислителями, для ограждения от обмена памятью между процессорами.

In view of the rapid development of information technologies, the requirements for information and the speed of its processing in this area are also developing proportionally rapidly. Data and queries are increasingly different from operating with the simplest types. The article discusses a method for improving the efficiency of solving problems of searching for elements among wide tables – having a large number of columns, which can also be considered in the context of the task of connecting tables. The method is based on specific indexing of elements, which allows you to remove some restrictions from the table data and optimize work with a large number of columns – thereby expanding the range of applications of this approach, without losing the advantages of classical indexing. The proposed indexing is based on an introduced concept close to the concept of space–weight norms, which allows forming an equivalence relation on a set of table elements, at the same time removing some restrictions on the use of indexing from elements – such as, for example, the ratio of the order of characteristics or the restriction on the processed data types of the table themselves. The article also discusses the possibility of grouping and distributing data to parallelize the methods of processing DBMS queries. To implement such parallel data processing, a simple principle of symmetrical horizontal distribution is used, based on the factor-set of the set of elements of the table built on the basis of the introduced concept of element weight. It can allow you to distribute the elements of the table among the calculators fairly evenly, despite the fact that there will be no intersection of the characteristics of the element of interest between different calculators, to protect against memory exchange between processors.