УСТРОЙСТВО УНИВЕРСАЛЬНОГО ХРАНИЛИЩА ДАННЫХ И СПОСОБ ЕГО ФОРМИРОВАНИЯ
DEVICE OF UNIVERSAL DATA STORAGE AND METHOD OF ITS FORMATION

ОБЛАСТЬ ТЕХНИКИ
Группа изобретений относится к области информационных технологий, в частности к организации, хранению и извлечению данных из хранилищ данных, расположенных на носителях информации, которые предназначены для создания информационного обеспечения справочных, информационных и информационно-управляющих систем.
УРОВЕНЬ ТЕХНИКИ
Из уровня техники известны различные системы управления базами данных (СУБД), обеспечивающие управление созданием и использованием устройств универсального хранилища данных, в частности, баз данных. Недостатком таких систем является отсутствие возможности обеспечить поиск данных в заданном временном диапазоне. Предложенный способ заключается в том, что в отличие от классических СУБД, в нем реализован дискретный принцип представления в памяти ЭВМ состояния информационных объектов, процессов, показателей и процедур агрегации данных, объем и структура которых ограничены определенными правилами: количество записей в инвариантной информационной структуре не должно превышать заданного значения, что позволяет производить поиск записи или группы записей в заранее заданном временном диапазоне без потери производительности по мере накопления информации в хранилище данных. Объем инвариантной информационной структуры определяется посредством экспериментального сопоставления его значения с эталонным объемом данных, записанных в инвариантную информационную структуру, потому что время выборки данных зависит от множества факторов, таких как: тип, модель, количество и характеристики используемых процессоров, объем оперативной памяти, характеристики запоминающих устройств и т.п.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Технической задачей, на решение которой направлено заявленное решение, является обеспечение автоматической организации инвариантных информационных структур хранения данных через их горизонтальную и вертикальную агрегацию, что позволяет осуществлять более быстрый поиск записи или группы записей в заранее заданном временном диапазоне без потери производительности по мере накопления данных в хранилище данных.
Техническим результатом является обеспечение возможности автоматизированного формирования инвариантных информационных структур для хранения структурированных данных о состоянии информационных объектов, процессов, показателей и процедур агрегации данных.
Для достижения указанного технического результата разработан способ обработки информации для автоматизированного формирования устройства универсального хранилища данных, содержащий этапы, на которых:
определяются источники и формат представления данных о текущем состоянии значений свойств объектов предметной области, поступающие по меньшей мере от одного источника поступления данных;
формируются инвариантные структуры информационных объектов, метамодель которых представляет собой именованную часть предметной области, выделяемую как отдельный его элемент, состоящий из набора элементарных и составных свойств, связей между ними, а также интегрального показателя, однозначно идентифицирующего информационный объект;
осуществляется фильтрация поступившей информации и отнесение ее к соответствующей классификационной группе инвариантных структур информационных объектов: простой справочник, сложный справочник, объект показатель исполнения процесса, объект управления, объект контроля;
производится запись информации о текущем состоянии значений свойств объектов предметной области в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных об информационных объектах;
формируются сетевые структуры, описывающие процессы, происходящие в предметной области, и состояние отдельных его этапов, метамодель каждого из которых содержит в себе информацию о названии процесса и его этапах, их характеристики, время начала и завершения этапов и процесса в целом, описание состояния информационного объекта на момент начала и завершения этапов процесса, а также значения активных и латентных показателей результатов их исполнения;
формируются инвариантные информационные структуры для хранения данных о состоянии процессов и этапов их исполнения;
производится запись информации о состоянии процессов и этапов их исполнения в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных о состоянии процессов и этапов их;
определяется перечень показателей, фиксирующих состояние свойств объектов управления по итогам исполнения этапов процессов, характеристика каждого из которых включает в себя название, аббревиатуру, меру и единицу измерения значений показателя, тип свойства, полярность (нисходящий, константа, восходящий), признак (первичный, назначаемый, вычисляемый), класс (целевой, ресурсный, эффективный), статус (активный, латентный), а также регламенты преобразования и агрегирования их значений;
формируются инвариантные информационные структуры данных каждого показателя в виде матрицы,
(1)
где П -  нормативное значение показателя, Ф – фактическое значение показателя, А – абсолютное отклонение фактического значения показателя от его нормативного значения, О - коэффициент отклонения фактического значения показателя и его нормативного значения, i- номер процесса, j – номер этапа процесса, 0,1,2,3,…,n – номер повтора этапа процесса, привязанный ко времени его исполнения;
производится запись полученной информации о состояние свойств объектов управления и матриц по итогам исполнения этапов процессов в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных о показателях процессов;
осуществляется преобразование значений показателей для получения данных о состоянии предметной области;
формируются инвариантные информационные структуры для хранения преобразованных данных;
производится запись информации о состоянии предметной области в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных о преобразованных значениях показателей.
Также разработана система обработки информации для автоматизированного формирования устройства универсального хранилища данных, содержащая: по меньшей мере одно устройство сбора данных; внешнее устройство хранения данных; и устройство обработки информации, выполненное с возможностью осуществлять указанный выше способ обработки информации для автоматизированного формирования устройства универсального хранилища данных.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Для лучшего понимания сущности изобретения, и чтобы более ясно показать, каким образом оно может быть осуществлено, далее будет сделана ссылка, лишь в качестве примера, на прилагаемые чертежи, на которых:
фиг. 1 – пример технической схемы системы обработки информации для автоматизированного формирования устройства универсального хранилища данных;
фиг. 2 – пример структуры справочных объектов;
фиг. 3 – общая схема работы хранилища.
ОСУЩЕСВТЛЕНИЕ ИЗОБРЕТЕНИЯ
В соответствии с приведенным на фиг. 1 примером система обработки информации, в частном случае ее реализации, содержит: по меньшей мере одно устройство сбора данных 1, устройство обработки информации 2 и внешнее устройство хранения данных 3. Устройство сбора данных 1 может быть реализовано на базе приемного или приемо-передающего устройства связи (сервиса), выполненного с возможностью приема данных от по меньшей мере одного источника поступления данных 100 (см. фиг. 3). Источниками поступления данных могут быть: внутренние и внешние базы данных, в которых хранятся данные о текущем состоянии значений свойств объектов предметной области; ПК, посредством которых пользователи оперативно вводят данные; внешние и встроенные измерительные устройства, например, датчики, расположенные на технических устройствах, которые непосредственно осуществляют сбор упомянутых данных о текущем состоянии значений свойств объектов предметной области; и т.д.
Данные о текущем состоянии значений свойств объектов предметной области могут содержать информацию об информационных объектах, процессах и его этапах, а также о показателях. Под свойством объекта предметной области понимается количественная или качественная характеристика, определяющее текущее состояние объекта в системе.
Примеры набора свойств объекта предметной области:
- объект – деталь; свойства – обозначение детали, название детали, марка материала, из которого изготовлена деталь, габаритные размеры детали, максимальный и минимальный квалитет характерных размеров детали, вес детали, наличие химического покрытия, количество деталей на складе и в незавершенном производстве на текущий момент времени;
- объект – туфли мужские; свойства – цвет кожи, наличие шнуровки, высота каблука, размер, полнота, фасон, объем заказа модели заданных размеров/ цвета кожи на начало смены, объем запуска в производство модели/размера/ цвета кожи на начало смены.
Примеры данных о текущем состоянии свойств объектов предметной области: показание электрического счетчика на начало смены и на конец смены; скорость движения транспортной единицы на участке маршрута; количество инструментов в магазине станка, требующих замену и т.д.
Внешнее устройство хранения данных 3 может представлять собой комбинацию наборов  инвариантных информационных структур, имеющих заранее заданную организацию ячеек памяти, которые хранят информацию об объектах произвольной структуры и сложности в их взаимосвязях, не меняющихся во времени, и состоящие из группы  метамоделей таблиц, их первичных ключей, индексов и связей между таблицами, что позволяет реализовать универсальные методы работы с процедурами записи, хранения, обработки и представления данных, например, формирование древовидной структуры информационного объекта, создание многомерных таблиц, заполнение древовидных структур и многомерных таблиц данными и т.п.
Инвариантные информационные структуры формируются устройством обработки информации 2, реализованным на базе процессора или микроконтроллера, автоматически по заранее заданному шаблону. С помощью инвариантных информационных структур описываются информационные объекты, процессы, показатели и агрегированные значения данных, моделирующие заданную предметную область. Также инвариантные информационные структуры позволяют хранить значения оперативных и агрегированных данных. Количество инвариантных информационных структур оперативных и агрегированных данных не ограничивается.
Инвариантные информационные структуры распределены на четыре вида:
- инвариантные информационные структуры для хранения данных об информационных объектах;
- инвариантные информационные структуры хранения данных о процессах и его этапах;
- инвариантные информационные структуры для хранения данных о показателях;
- инвариантные информационные структуры для описания процедуры преобразования значений показателей и их хранения.
Данные о текущем состоянии значений свойств объектов предметной области от по меньшей мере одного устройства сбора данных 1 поступают на устройство обработки информации 2, которое модифицировано в программно-аппаратной части таким образом, чтобы осуществлять определение источника и формата (экранная форма, таблицы, графики и диаграммы, древовидные структуры, сетевые структуры и т.д.) представления полученных данных, а также формировать инвариантные структуры информационных объектов, метамодель которых представляет собой именованную часть предметной области, выделяемую как отдельный его элемент, состоящий из набора элементарных и составных свойств, связей между ними, а также интегрального показателя, однозначно идентифицирующего информационный объект, в том числе в хранилище данных.
Источник и формат представления данных требуется для отнесения данных к соответствующей классификационной группировке объектов предметной области и установления причинно-следственных связей их взаимодействия. Данная технология широко известна в уровне техники и дополнительно не будет описываться в рамках данной заявки.
Интегральный показатель представляет собой суррогатный ключ, который состоит из первичного ключа (однозначно идентифицирующего объект в системе) и дополнительной текстовой, числовой, графической и иной информации, необходимой для визуальной идентификации экземпляра объекта. Примером интегрального показателя может служить название и обозначение детали узла изделия.
Каждое свойство (атрибут в структуре данных) имеет свое уникальное название и представляется в виде первичного ключа имени и типа. Примером первичного ключа может быть индекс почтового отделения связи. Элементарное свойство (атрибут) является атомарным элементом информационного объекта. Формат представления информационных объектов – древовидные структуры. Пример формирования структуры объекта – простой и сложный справочник. Справочная система описывается как набор инвариантных информационных структур для хранения данных об информационных объектах с определенным контентом (см. фиг. 2).
Пример структуры простого справочника:
название справочника – таблица болтов; свойства (атрибуты): обозначение болта, № ГОСТа, диаметр резьбы, длина болта, длина резьбы болта, размер под ключ, вид покрытия, толщина покрытия, масса 100 штук.
Пример структуры сложного справочника
: название справочника – справочник транспортных единиц; марка автобуса, гаражный номер, номер государственной регистрации, вид используемого горючего, номер двигателя, ФИО водителей, табельный номер водителей, номер водительского удостоверения, время и место прохождения обучения и стажировки.
Комбинации древовидных структур создают сложные информационные конструкции. Выделяют пять степеней сложности соединения информационных объектов.
Степень сложности
Описание
Пример структуры информационного объекта
Первая
Одному экземпляру свойства информационного объекта соответствует один экземпляр свойства другого информационного объекта.
Номер подшипника – серия подшипника
Вторая
Одному экземпляру свойства информационного объекта соответствует несколько экземпляров свойства другого информационного объекта.
Человек – список его детей
Третья
Нескольким экземплярам свойства информационного объекта соответствует несколько экземпляров свойства другого информационного объекта.
Цвета автомобилей – название марок автомобилей
Четвертая
Нескольким экземплярам свойства информационного объекта соответствуют несколько экземпляров нескольких свойств другого информационного объекта.
Станки типа обрабатывающий центр с магазином инструментов – обрабатываемые детали, для изготовления которых требуются различные операции
Пятая
Нескольким экземплярам нескольких свойств информационного объекта соответствуют несколько экземпляров нескольких свойств другого информационного объекта.
Студенты (объект), обучающиеся на различных специальностях (свойства) по разным дисциплинам (экземпляры) – учебный план (объект), которые реализуют различные преподаватели (свойства) используя авторские курсы дисциплин (экземпляры).
Также устройство обработки информации 2 осуществляет фильтрацию поступившей информации, в частности распределяет полученные данные и группирует их по заданным условиям, свойствам предметной области и признаку отнесения информационного объекта к соответствующей группе, назначаемого во время моделирования объекта предметной области.
Различают следующие группы информационных объектов:
- «простой справочник» - связь атрибута (свойства) справочника с интегральным показателем находится в отношении «один к одному»;
- «сложный справочник» - хотя бы один атрибут (свойство) справочника находится по отношению к интегральному показателю в связи «один ко многим»;
- «объект - показатель исполнения процесса» - простой справочник, с помощью атрибутов которого можно оценивать состояние информационного объекта в соответствующем процессе. Является единственным информационным объектом, содержащим различные атрибуты (свойства), характеризующие показатели;
- «объект управления» - информационный объект, целенаправленные изменения атрибутов (свойств) которого переводит систему в новое состояние;
- «объект контроля» - информационный объект, который в своей структуре содержит «объект показатель исполнения процесса».
На данном этапе устройство обработки информации 2 анализирует полученные данные о текущем состоянии значений свойств объектов предметной области и относит их к процессу или объекту предметной области 101. Если полученные данные не относятся к процессу или объекту предметной области, то они записываются в хранилище данных 111, расположенное в устройстве хранения данных 3.
Если полученные данные относятся к процессу или объекту предметной области, то устройство обработки информации 2 определяет, к какому конкретному информационному объекту и процессу 102 полученные данные относятся и относит их к соответствующей классификационной группе инвариантных структур информационных объектов: объект - простой справочник 104, объект - сложный справочник 105, объект управления 106, объект контроля 107 или объект - показатель исполнения процесса 108.
Пример объекта показателя исполнения процесса»: название атрибута – коэффициент использования материала, коэффициент прокроя, регулярность движения транспортной единицы по маршруту и т.д.
При проектировании объектов предметной области каждый информационный объект получает признак принадлежности, на основе которого определяется классификационная группа.
Когда классификационная группа определена, устройство обработки информации 2 осуществляет запись информации о текущем состоянии значений свойств объектов предметной области в ячейки памяти внешних устройств 3 в соответствии с выбранной инвариантной информационной структурой хранения данных об информационных объектах в соответствии с классификационной группой.
Далее устройство обработки информации 2 формирует сетевые структуры, описывающие процессы, происходящие в предметной области, и состояние отдельных его этапов, метамодель каждого из которых содержит в себе информацию о названии процесса и его этапах, их характеристики, время начала и завершения этапов и процесса в целом, описание состояния информационного объекта на момент начала и завершения этапов процесса, а также значения активных и латентных показателей результатов их исполнения. Этап процесса является атомарным элементом данной инвариантной информационной структуры.
Под сетевыми структурами, описывающими процесс, понимается связи между инвариантными информационными структурами в соответствии с которыми передаются и/или преобразуются данные по заданным правилам. Пример: процесс изготовления деталей узла и сборки узла в единую конструкцию. Указывается, с какого участка, с какого склада поступают детали на соответствующие сборочные стенды на этапах изготовления конечного продукта.
Устройство обработки информации 2 ориентировано на работу с процессами   различной степенью сложности.
Тип процесса
Описание
Одноэтапный процесс
Процесс, исполняемый за один этап, состоящий из действия, выполняемого одним исполнителем, или параллельных действий, выполняемых несколькими исполнителями
Многоэтапный процесс
Процесс, исполняемый за несколько последовательных и параллельных этапов
Прямой процесс
Процесс, исполняемый при последовательной реализации без условий этапов;
Разветвленный процесс, расходящийся по условию
Процесс, реализуемый по различным сценариям в соответствии с установленными условиями
Разветвленный процесс, сходящийся по условию
Процесс, реализуемый по нескольким ветвям на начальных этапах, сходящийся в единый процесс по заданному условию
Циклический процесс
Процесс (одноэтапный или многоэтапный), многократно повторяющийся в соответствии с заданным условием
Каскадный процесс
Процесс, имеющий иерархическую структуру, детализация которого осуществляется по каждому уровню его исполнения
Связанные процессы
Совокупность процессов, включающих: процесс, с которого передаются данные; процесс, на который передаются данные и процесс, организующий передачу промежуточных или завершающих данных из одного процесса в другой, при достижении определенных условий
Для хранения данных о состоянии процессов и этапов их исполнения устройство обработки информации 2 также формирует инвариантные информационные структуры и производит запись информации в ячейки памяти внешних устройств хранения данных 3 в соответствии с выбранной инвариантной информационной структурой хранения данных о состоянии процессов и этапов их.
По итогам исполнения этапов процессов устройство обработки информации 2 определяет перечень показателей, фиксирующих состояние свойств объектов управления, причем характеристика каждого этапа процесса включает в себя название, аббревиатуру, меру и единицу измерения значений показателя,  тип свойства, полярность (нисходящий, константа, восходящий), признак наличия вычислений (первичный, назначаемый, вычисляемый), класс (целевой, ресурсный, эффективный), статус (активный, латентный),  а также регламенты преобразования и агрегирования их значений.
Перечень показателей определяются целью и задачами управляемой системы. По мере развития системы перечень показателей может расширяться.
Тип свойства показателя – общепринятая характеристика данных, имеющихся в СУБД.
Тип свойства показателя принимает значение: числовой, символьный, тип дата, тип время, тип дата и время, тип временного диапазона, перечисляемый, логический, текстовый, графический и другие известные типы представления данных.
Полярность – характеристика показателя, определяющая направление достижения возможного положительного результата, относительно которого производится сравнение.
Примеры:
- нисходящая полярность – чем ниже значение показателя, тем лучше (поиск минимума), например, себестоимость изделия.
- константа – не может менять свое значение, например, температура здорового человека.
- восходящая полярность – чем выше значение показателя, тем лучше (поиск максимума), например, рентабельность производства.
Признак наличия вычислений:
- первичный – значение показателя снимается с базы данных или датчиков технических устройств;
- назначаемый – устанавливается на этапе процесса в зависимости от состояния объекта управления. Например, норма расхода топлива на 100 км пробега транспортной единицы (по результатам тестирования транспортной единицы);
- вычисляемый – рассчитывается через группу показателей по соответствующим формулам. Например, увеличение расхода топлива для обогрева салона автобуса в зависимости от наружной температуры для зимних условий эксплуатации.
Класс показателя – отнесения показателя к целевому, ресурсному, эффективному признаку.
Статус показателя – отнесение показателя к активному показателю, который участвует в анализе состояния системы или латентному показателю, который не участвует в анализе состояния системы, но может быть переведен в активное состояние.
Регламент преобразования показателя представляет собой описание процедуры его вычислений.
Агрегирование значений показателя – накопительные суммы, вычисляемые по заданному алгоритму. Пример, АВС-анализ.
Пример описания показателя:
Название показателя
Количество произведенной продукции
Аббревиатура показателя
К<sub>гп</sub>
Мера
количество
Единица измерения
штука
Тип свойства
числовой
Полярность
константа
Признак
первичный
Класс
целевой
Статус
активный
Далее устройство обработки информации 2 формирует инвариантные информационные структуры данных для каждого показателя в виде матрицы,
(1)
где П -  нормативное значение показателя, Ф – фактическое значение показателя, А – абсолютное отклонение фактического значения показателя от его нормативного значения, О - коэффициент отклонения фактического значения показателя и его нормативного значения. i- номер процесса, j – номер этапа процесса, 0,1,2,3,…,n – номер повтора этапа процесса, привязанный ко времени его исполнения. Вся дополнительная информация, необходимая для формирования упомянутой матрицы, также может быть получена от по меньшей мере одной базы данных посредством устройства сбора данных 1.
Запись данных о показателях в ячейки памяти внешних устройств хранения данных 3 осуществляется в соответствии со формированными инвариантными информационными структурами хранения данных о показателях процессов.
Для каждого показателя исполнения процесса 108 устройство обработки информации 2 определяется значение активного и латентного показателей в зависимости от того, участвует ли показатель в анализе состояния системы.
Значения активных и латентных показателей записываются в различные инвариантные информационные структуры.
В соответствии с заданными регламентами сбора данных значений активных показателей (показателей, имеющих статус – активный) автоматически осуществляется агрегация данных по горизонтальной и вертикальной схемам, а их значения активных показателей соотносятся с ячейкой матрицы показателей 109 и записываются в инвариантные информационные структуры хранилища данных. Количество уровней агрегации данных определяется регламентом. Значения латентных показателей накапливаются в хранилище данных и могут быть переведены в активное состояние.  Если латентный показатель переводится в активное состояние, то происходит автоматическое создание новой инвариантной информационной структуры, которая заполняется значениями агрегированных данных в соответствии с заданными условиями
Для получения данных о состоянии предметной области устройство обработки информации 2 осуществляет преобразование значений показателей по определенным формулам и суммирование их значений нарастающим итогом по заданным временным периодам 110, а также выполнение других математических операций.
Под состоянием предметной области понимается значение множества показателей, характеризующих ее состояние в текущий момент времени. Например, расход горючего, регулярность выполненных рейсов, километраж, наработка на отказ каждого колеса, нарядное время работы водителя, собранные доходы на текущий момент времени по каждой транспортной единицы автопарка. Примером преобразования значений показателей по определенным формулам может служить расчет премии водителю в зависимости от регулярности рейсов, экономии горючего, соблюдения скоростного режима, наличия/отсутствия ДТП. Упомянутые методы преобразования широко известны в данной области техники и дополнительно не будут описываться в рамках данной заявки.
Также устройство обработки информации 2 формирует инвариантные информационные структуры для хранения преобразованных данных и производит запись данных о состоянии предметной области в ячейки памяти внешних устройств хранения данных 3 в соответствии с выбранной инвариантной информационной структурой хранения данных о преобразованных значениях показателей.
Обработка и агрегация данных настраивается в режиме удобного пользовательского диалога посредством использования универсальных методов обработки (чтение записи из инвариантной информационной структуры, запись данных в инвариантную информационную  структуру, корректировка данных в инвариантной информационной структуре, выборка нескольких записей из инвариантной информационной структуры по заранее заданным условиям) и визуального представления набора данных в виде таблиц, деревьев, иерархий, многомерных данных, диаграмм и других форматов.
Для повышения скорости поиска информации внутри инвариантной информационной структуры строятся индексы в виде бинарных структур, которые хранятся в индексном файле. Поскольку перестройка индекса является самым длительным этапом, то на размер файла накладываются ограничения, чтобы обеспечивать время поиска данных в инвариантной информационной структуре в заданном диапазоне времени. оперативной памяти, характеристики запоминающих устройств и т.п.
Предложенный способ позволяет автоматически организовывать инвариантные информационные структуры хранения данных через их горизонтальную и вертикальную агрегацию, что позволяет осуществлять поиск записи или группы записей в заранее заданном временном диапазоне без потери производительности по мере накопления данных в хранилище данных
Все остальные эффекты являются следствием использования предлагаемого способа настоящего патента. Указанные выше универсальные методы представляют собой набор алгоритмов формирования коллекций многомерных данных, обработки древовидных индексных структур, записи данных в таблицы, входящие в состав инвариантных структур, корректировки и удаления этих данных, а также выборки одной или группы записей по заданным условиям.