Ситуационно-ориентированные базы данных: обработка гетерогенных документов микросервисов в документо-ориентированном хранилище
Authors: Gusarenko A.S. 
Published: July 2024

The research is focused on a situation-oriented approach to the processing of heterogeneous data obtained from microservices that are widespread due to the implementation of the microservice architecture underlying many information systems. Such information systems are sources of heterogeneous data provided to the user upon request via the Internet. Data in the form of documents is provided by services included in the information system. The volume of such data can be large, and its processing requires specialized technologies available in document-oriented big data storages (SODB). As part of a situationally oriented database, a microservice is implemented that provides data in JSON format through its programming interface. There is a problem of loading and processing large amounts of data in the storage where specialized statistical functions of Map-Reduce are implemented. The manual method of loading and obtaining results for SODB is laborious because it requires the implementation of routine operations for loading data, applying functions to the loaded data, creating functions inside the storage and obtaining results. This task was not considered within the scope of the project on creating situation-oriented databases, and the possibilities for developing specialized elements and methods for processing large-scale heterogeneous data in a hierarchical situational model with the required equipment were not studied. The developed models for processing documents make processing heterogeneous data less laborious and help to create data-driven applications by means of situation-oriented databases in the framework of the introduced data processing model as part of a hierarchical situational model with the involvement of big data processing technologies of specialized document-oriented storages. The proposed tools are examined by the example of the SODB application for solving the problems of course design in the educational process using the developed microservice saturated with heterogeneous data collected while designing a course remotely.

Работа сосредоточена на ситуационно-ориентированном подходе к обработке гетерогенных данных, получаемых из микросервисов получивших распространение благодаря реализации микросервисной архитектуры, положенной в основу многих информационных систем. Такие информационные системы являются источниками гетерогенных данных, предоставляемых пользователю по запросу через сеть интернет. Данные в виде документов предоставляются сервисами, входящими в состав информационной системы. Объемы таких данных могут быть велики, а для обработки требуются специализированные технологии, имеющиеся в документо-ориентированных хранилищах больших данных (СОБД). В составе ситуационно-ориентированной базы данных реализован микросервис, предоставляющий через свой программный интерфейс данные в формате JSON. Возникает задача загрузки и обработки больших объемов данных в хранилище, где реализованы специализированные статистические функции Map-Reduce. Ручной способ загрузки и получения результатов для СОБД является трудоемким, так как требуется реализация рутинных операций по загрузке данных, применению функций к загруженным данным, созданию функций внутри хранилища и получению результатов. Данная задача не рассматривалась в рамках проекта создания ситуационно-ориентированных баз данных, а возможности по разработке специализированных элементов и методов обработки гетерогенных данных большого объема в иерархической ситуационной модели с требующимся оснащением не исследовались. Разработанные модели обработки документов делают процесс обработки гетерогенных данных менее трудоемким и позволяют создавать собственные приложения на базе ситуационно-ориентированных баз данных, опираясь на введенную модель обработки данных в составе иерархической ситуационной модели с привлечением технологий обработки больших данных специализированных документо-ориентированных хранилищ. Предложенные средства рассматриваются в примере приложения СОБД для решения задач курсового проектирования в учебном процессе с задействованием разработанного микросервиса, насыщенного гетерогенными данными, собранными в процессе дистанционного курсового проектирования.