АДАПТИВНАЯ РАСПРЕДЕЛЕННАЯ СИСТЕМА ФОТОГРАММЕТРИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ
EARTH REMOTE SENSING DATA PHOTOGRAMMETRIC PROCESSING ADAPTIVE DISTRIBUTED SYSTEM

Изобретение относится к вычислительной технике, а именно к территориально-распределенным информационным системам обеспечения потребителей данными дистанционного зондирования, и может быть использовано для фотограмметрической обработки данных дистанционного зондирования Земли с возможностью распределения выполнения заявок по подсистемам фотограмметрической обработки различных пунктов приема и обработки информации с целью более рационального использования ресурсов информационной системы.
Известна унифицированная система управления информационными потоками предприятия (RU №123562 G06F), предназначенная для решения задач обмена данными между программными комплексами, используемыми на предприятии. Унифицированная система включает блок модулей первичной обработки информации, блок мониторинга и администрирования, транспортную подсистему, систему согласования нормативно-справочной информации, блок внесения изменений в базу данных системы, блок передачи и обработки данных, блок перекодировки, блоки передачи данных, единое хранилище данных.
Недостатком известной унифицированной системы является наличие единого хранилища данных, которое реализует единую точку доступа к данным. Это приводит к повышенной нагрузке средств передачи данных на элементы централизованного управления (в том числе, единого хранилища данных), необходимости синхронизации данных и работы взаимодействующих информационных систем и программных комплексов, необходимости получения информации элементами централизованного управления о состоянии всех элементов системы.
Известна система информационного обмена между базами данных информационных систем (RU №2351010 G06N 1/100), предназначенная для обмена между базами данных системы с исключением повторной записи уже имеющихся данных. Система информационного обмена включает базы данных информационной системы, канал обмена между базами данных, устройство службы централизованной идентификации данных, реляционную базу данных, устройство метаданных, устройство формирования массива записей, устройство приема записей и каналы взаимодействия.
Недостатком известной системы информационного обмена является необходимость централизованной генерации уникального ключа для записи базы данных, поэтому в случае отключения подсистемы, генерирующей ключ, данные не могут быть добавлены и, как следствие, использоваться.
Известен контроллер распределения ресурсов (RU №2526762 G06F 17/00, H04L 12/911), предназначенный для использования в сетевых системах обеспечения управления различными объектами. Контроллер включает буферную память, содержащую схемы управления, схему И, счетчик, и интерфейсную часть устройства, содержащую два стандартных разъема СОМ-портов, две группы элементов И, два распределителя импульсов, три схемы И, два инвертора НЕ и два универсальных асинхронных приемопередатчика.
Недостатком известного устройства является распределение ресурсов, принадлежащих только одной локальной сети, тогда как его применение в распределенной системе, содержащей несколько локальных сетей, является нецелесообразным или невозможным.
Известна интегрированная автоматизированная информационно-аналитическая система для комплексного управления промышленным предприятием (RU №64791 G05B), относящаяся к управляющим системам общего назначения и включающая последовательно и взаимно связанные между собой посредством локальной компьютерной сети подсистему стратегического управления, подсистему оперативного управления и подсистему управления технологическим процессом.
Недостатком известной системы является то, что она ориентирована на управление разнотипными ресурсами. При наличии нескольких однотипных ресурсов в известной системе отсутствуют элементы синтеза рационального технологического процесса.
Известна территориальная информационная система муниципального образования (RU №66826 G06F), предназначенная для обработки информации на единой топографо-геодезической основе цифровых карт территории. Известная система включает средства коммуникаций, системное программное и прикладное программное обеспечение, базу метаданных, базы геопространственных данных, базу нормативных регулирующих документов и условий, средства отображения и документирования и ядро системы.
Недостатком известной системы является отсутствие средств координации и кооперации выполнения обработки информации между территориально-распределенными подсистемами.
Известна мультиагентная информационная система управления инновационной средой предприятий региона (RU №87549 G06F), предназначенная для обработки информации, представленной в виде знаний и данных на основе интеграции методов системного, процессного и синергетического подходов для управления наращиванием интеллектуального потенциала и индекса инновационной активности предприятий региона. Известная система включает средства коммуникаций, системное программное и прикладное программное обеспечение, базу знаний, базу метаданных, базу нормативно регулирующих документов и условий, средства отображения и документирования и ядро системы.
Недостатком известной системы является отсутствие средств координации и кооперации выполнения обработки информации между территориально-распределенными подсистемами.
Известен региональный центр геопространственных данных (RU №65265 G06F 17/30), предназначенный для сбора, обработки, хранения и выдачи пространственно привязанной информации и получения на ее основе информации нового качества. Региональный центр включает ПЭВМ-сервер центра геопространственных данных, ПЭВМ-сервер геопространственных и прикладных отраслевых баз данных, ПЭВМ направлений, обеспечивающих работу с геоинформационными данными, ПЭВМ обработки фотоснимков и получения ортофотопланов, ПЭВМ создания и обновления электронных карт, ПЭВМ координации и управления, ПЭВМ редактирования документов, ПЭВМ системного администратора, а также средства отображения и обработки информации.
Недостатком известного регионального центра является отсутствие средств распределенной обработки данных и средств адаптации технологического процесса этой обработки к свойствам потока заявок на получение данных и к свойствам исходных данных, что не позволяет привлекать ресурсы других центров для выполнения этих заявок.
Известно устройство распределенного контроля и адаптивного управления многоуровневой системой (RU №2450335 G05B), предназначенное для контроля и управления распределенными многоуровневыми системами. Известное устройство включает блоки измерений, блок принятия решения и блок регистрации и управления.
Недостатком известного устройства является то, что при распределенном использовании ресурсов системы для синтеза технологической цепочки обработки данных элементу системы, осуществляющему синтез этой цепочки, требуется информация о состоянии всех элементов этой системы (длин очереди обслуживания, свободных ресурсов и т.п.). Это подразумевает значительный поток информационного обмена между элементами системы, который с ростом количества этих элементов возрастает по полиномиальному закону.
Наиболее близким к заявляемому изобретению является многофункциональный наземный комплекс приема, обработки и распространения информации дистанционного зондирования Земли (МНКПОР ДЗЗ) (RU 2552109 С1), предназначенный для реализации комплексного подхода выполнения заявок потребителей на информацию ДЗЗ с использованием доступных космических средств различного назначения и технической конфигурации, координации процессов приема заявок, планирования реализации их космическими и наземными средствами, приема, обработки, хранения и выдачи информации потребителям. Известный комплекс включает автоматизированную систему управления целевого применения, единый банк геоинформационных данных, систему обмена данными, наземные комплексы приема, обработки и распространения (НКПОР) оператора космической системы ДЗЗ и сеть региональных НКПОР.
Недостатком прототипа является организация взаимодействия НКПОР только в части приема и первичной обработки данных ДЗЗ, использования архивных материалов, внедрения новых подходов к решению прикладных задач. В силу конечности технических возможностей НКПОР, в условиях постоянного роста объемов получаемых данных ДЗЗ, они не всегда будут способны своевременно выполнить требования потребителей в части их тематической обработки, в том числе фотограмметрической (ФГО). Так, при поступлении потока заявок потребителей на получение данных ДЗЗ низкой интенсивности в некоторые территориальные и ведомственные НКПОР их ресурсы могут оставаться невостребованными в полном объеме. Тогда как, при поступлении потока заявок высокой интенсивности ресурсов этих НКПОР может оказаться недостаточно для выполнения всех поступающих заявок. Отказ в выполнении заявки не допускается: все поступающие заявки должны быть выполнены в соответствии с требованиями потребителя. Взаимодействие между НКПОР в части фотограмметрической обработки материалов ДЗЗ отсутствует.
Целью изобретения является повышение эффективности функционирования распределенной системы фотограмметрической обработки данных дистанционного зондирования Земли в части выполнения заявок потребителей на получение данных ДЗЗ в условиях ограниченности ресурсов (аппаратных, алгоритмических, информационных, временных) при вариабельности значений изобразительных и измерительных свойств этих данных.
Сопоставительный анализ технического решения с выбранным прототипом показывает, что заявляемая система отличается новыми элементами, а именно в состав пунктов приема и обработки информации (ПОИ) введены инфраструктурный компонент b2b-сети, модули выбора сервисов и предоставления сервисов, реализующие адаптацию системы к свойствам потока заявок на получение данных ДЗЗ и позволяющие перераспределить «вычислительную нагрузку» между различными пунктами ПОИ посредством привлечения их ресурсов для выполнения заявок, а также модуля качественно-временных показателей ФГО, реализующего адаптацию к изобразительным и измерительным свойствам космических изображений местности.
Таким образом, заявляемое техническое решение соответствует критерию изобретения «новизна».
Анализ известных технических решений в исследуемой области и в смежных областях позволяет сделать вывод о том, что введенные элементы известны. Однако введение их в адаптивную распределенную систему фотограмметрической обработки данных ДЗЗ в указанном порядке придает этой системе новые свойства. Введенные элементы с совокупности с существующими функционируют таким образом, что позволяют совместно использовать ресурсы различных пунктов ПОИ и, тем самым, увеличить количество выполняемых заявок на получение данных ДЗЗ в единицу времени.
Таким образом, техническое решение соответствует критерию «изобретательский уровень», так как оно для специалиста явным образом не следует из уровня развития техники.
Техническое решение может быть использовано в качестве информационной системы приема и обработки данных ДЗЗ органов федерального, регионального и муниципального управления в качестве источника информационного обеспечения при решении прикладных расчетно-аналитических задач.
Таким образом, изобретение соответствует критерию «промышленная применимость».
На фиг. 1 представлена структурная схема адаптивной распределенной системы фотограмметрической обработки данных дистанционного зондирования Земли.
Пункты приема и обработки информации (ПОИ) имеют различную ведомственную принадлежность и обладают различными ресурсами (аппаратными, алгоритмическими и информационными) для выполнения заявок на получение данных ДЗЗ.
Пункты ПОИ включают в свой состав: информационную подсистему, предназначенную для хранения и распространения данных ДЗЗ, приема заявок потребителей на предоставление материалов съемки требуемых территорий; управляющую подсистему, предназначенную для планирования и управления процессами получения данных ДЗЗ, их приема и предварительной обработки; подсистему фотограмметрической обработки, предназначенную для трансформирования данных ДЗЗ в требуемую картографическую систему координат; подсистему обмена данными, предназначенную для обеспечения взаимодействия между различными пунктами ПОИ посредством линий связи.
Каждая подсистема ФГО пунктов ПОИ (фиг. 1) содержит: вычислительные ресурсы, предназначенные для выполнения ФГО данных ДЗЗ, представленные автоматизированными рабочими местами, серверами, узлами или кластерами обработки данных и т.п.; модуль управления, предназначенный для составления локального расписания выполнения заявок и использования вычислительных ресурсов, представленный программным обеспечением; модуль синтеза технологической цепочки ФГО, предназначенный для выбора вычислительных ресурсов, алгоритма обработки материалов ДЗЗ, информационного обеспечения на основе требований заявки потребителя и характеристик материалов ДЗЗ, поступивших на обработку; модуль оценки качественно-временных показателей ФГО, предназначенный для получения прогнозных оценок времени выполнения ФГО материалов ДЗЗ по текущей заявке, а также прогнозного значения ошибки геодезической привязки результатов ФГО; инфраструктурный компонент b2b-сети, предназначенный для реализации сценариев поиска требуемых вычислительных ресурсов в других пунктах ПОИ, предоставляемых в виде сервисов, и составления скоординированного расписания выполнения заявки; модуль выбора сервисов, предназначенный для выбора сервисов, предоставляющих доступ к вычислительным ресурсам других пунктов ПОИ на наилучших условиях (с точки зрения оплаты и времени выполнения); модуль предоставления сервисов, предназначенный для предоставления вычислительных ресурсов пункта ПОИ другим пунктам ПОИ в виде сервисов для выполнения заявки.
При этом инфраструктурный компонент b2b-сети, модули выбора сервисов и предоставления сервисов составляют контур сетевого взаимодействия ПФГО, реализующий адаптацию системы к свойствам потока заявок на получение данных ДЗЗ и позволяющий перераспределить «вычислительную нагрузку» между различными пунктами ПОИ посредством привлечения их ресурсов. Остальные модули ПФГО реализуют адаптацию к изобразительным и измерительным свойствам космических изображений местности посредством выбора соответствующего алгоритма его обработки.
Адаптивная распределенная система работает следующим образом.
Заявки на получение данных ДЗЗ и сами данные поступают в произвольные пункты ПОИ в режиме реального времени. В силу ограниченности технических возможностей пунктов ПОИ, в условиях постоянного роста объемов получаемых данных ДЗЗ, они не всегда будут способны своевременно выполнить требования потребителей в части их фотограмметрической обработки. Так, при поступлении потока заявок низкой интенсивности в некоторые территориальные и ведомственные пункты ПОИ их ресурсы могут оставаться невостребованными в полном объеме. Тогда как, при поступлении потока заявок высокой интенсивности ресурсов этих пунктов ПОИ может оказаться недостаточно для выполнения всех поступающих заявок. Отказ в выполнении заявки не допускается: все поступающие заявки должны быть выполнены в соответствии с требованиями потребителя.
При поступлении заявки на получение ДЗЗ в пункт ПОИ решаются следующие задачи:
1) оценивание возможности локального выполнения ФГО по поступившей заявке;
2) в случае, если в соответствии с требованиями потребителя выполнить заявку локально не представляется возможным, то осуществляется поиск необходимых вычислительных ресурсов в сети пунктов ПОИ и выбор тех из них, условия предоставления которых наиболее оптимальны;
3) составление скоординированного расписания выполнения заявок пунктами ПОИ.
В рамках решения первой задачи определяется возможность и целесообразность выполнения заявки на получение данных ДЗЗ, используя ресурсы ПФГО пункта ПОИ, в которую эта заявка поступила. При этом под оценкой возможности выполнения заявки понимается наличие необходимых ресурсов в ПФГО ПОИ и, при необходимости, высвобождение ресурсов, занятых выполнением других заявок в зависимости от их приоритета. Под оценкой целесообразности понимается соответствие оценок значений экономических, технических и временных показателей локального и/или распределенного выполнения ФГО космических изображений (КИ) критерию эффективности функционирования системы.
Заявка на получение данных ДЗЗ от потребителя поступает в информационную подсистему пункта ПОИ. В данной подсистеме анализируются требования этой заявки к материалам ДЗЗ и результатам ФГО. Если архивные данные не соответствуют требованиям потребителя, то с помощью управляющей подсистемы могут быть получены актуальные материалы ДЗЗ (космические изображения местности). Далее заявка потребителя поступает в модуль управления подсистемы ФГО, где выполняется ее регистрация и анализ, по результатам которого определяются:
- вид требуемых результатов ФГО (уровень стандартной обработки) и значения их характеристик (в том числе, точностных);
- предельное и директивное время завершения выполнения заявки;
- приоритет (важность) выполнения заявки;
- метод ФГО, потенциально позволяющий достичь требования заявки в результате обработки изображения местности.
Далее эти данные поступают в модуль синтеза технологической цепочки ФГО, на основе которых в этом модуле определяется набор программного обеспечения, реализующего требуемый метод ФГО и позволяющего получить требуемый вид результатов ФГО, а также характеристики информационного обеспечения. Затем осуществляется оценивание возможности выполнения локальной ФГО. Для этого определяется:
1) наличие в пункте ПОИ требуемого программного обеспечения;
2) прогнозное время выполнения ФГО, вычисляемое модулем оценки качественно-временных показателей на основе характеристик аппаратных ресурсов и объемов обрабатываемых материалов ДЗЗ.
На основе полученного прогнозного времени выполнения ФГО в модуле управления перестраивается локальное расписание выполнения заявок с определением директивного и предельного времени завершения выполнения заявки.
В случае, если необходимое программное обеспечение имеется в пункте ПОИ и предельное время завершения выполнения заявки меньше требуемого, то принимается решение локального выполнения ФГО с использованием вычислительных ресурсов только того пункта ПОИ, в который поступила заявка.
Если необходимое программное или информационное обеспечение отсутствует в этом пункте ПОИ, или предельное время завершения выполнения заявки больше требуемого, то принимается решение о распределенном выполнении ФГО. Для организации распределенной ФГО требования к программному и информационному обеспечению передаются в модуль выбора сервисов, который их транслирует в инфраструктурный компонент b2b-сети, являющийся программным агентом. Этот программный агент посредством системы обмена данными связывается с другими пунктами ПОИ и запрашивает наличие необходимых ресурсов для выполнения ФГО, условия их предоставления и прогнозное время завершения выполнения ФГО. При этом, может запрашиваться не только ФГО материалов ДЗЗ, но и их прием с космического аппарата.
Для организации взаимодействия подсистем ФГО различных пунктов ПОИ эти пункты имеют набор сервисов, предоставляющих доступ к их ресурсам со стороны других пунктов ПОИ. Для этого в состав подсистемы ФГО пунктов ПОИ вводится модуль предоставления сервисов. Следует отметить, что пункт ПОИ может предоставлять доступ лишь к части своих ресурсов, резервируя остальные ресурсы для решения задач, возложенных непосредственно на него.
После ответа других пунктов ПОИ модуль выбора сервисов выбирает те пункты ПОИ, которые потенциально могут достичь выполнения требований заявки потребителя. Формируется набор технологических цепочек ФГО, информационно связывающих потребителя данных ДЗЗ, пункт ПОИ, в который поступила заявка, и пункт ПОИ, предоставляющий ресурсы для ее выполнения.
Следует отметить, что направление запроса сведений о ресурсах ко всем пунктам ПОИ системы потребует осуществлять оценивание возможности выполнения новой заявки посредством составления различных вариантов локальных расписаний всех пунктов ПОИ. Составление расписаний является NP-сложной задачей. Тогда подход, основанный на полном переборе всех пунктов ПОИ, нецелесообразен, поскольку в этом случае резко возрастает объем вычислений, проводимых для составления расписаний в каждом пункте при поступлении каждой заявки. Выходом из создавшейся ситуации может быть сокращение количество указанных операций, которое достигается сужением круга поиска требуемых ресурсов для выполнения ФГО за счет перехода от процедур полного перебора к процедурам сокращенного поиска. Этот подход основан на использовании совокупности правил и прецедентов, в соответствии с которыми, например, поиск ресурсов для выполнения заявки может быть иерархическим. То есть, определяется группа пунктов ПОИ (например, по ведомственному признаку), в которой поиск требуемых ресурсов осуществляется в первую очередь. Если в пунктах ПОИ этой группы требуемых ресурсов с необходимыми условиями их предоставления найдено не было, то поиск осуществляется во второй группе пунктов ПОИ и т.д.
Далее для каждой технологической цепочки ФГО определяются условия предоставления ресурсов пунктов ПОИ, необходимых для функционирования этой цепочки. Эти условия определяют вид и величину оплаты, взимаемой каждым пунктом ПОИ за использование его ресурсов. Могут использоваться следующие основные виды оплаты: денежная, взаимозачет (подразумевает предоставление аналогичных ресурсов), предоставление ресурсов, характеристики которых отличаются от полученных.
Далее вычисляется время завершения выполнения заявки для каждой цепочки ФГО, определяемые по формуле
0
ФГО
О
Т
Т
где τ - время поступления заявки; τ - время выполнения ФГО КИ; τ - время ожидания обработки; τ - затраты времени на транспортировку данных в сети НЦПОР (τ=0, если ФГО выполняется в том же НЦПОР, в который поступила заявка).
При этом, затраты времени на транспортировку данных в сети пунктов ПОИ оцениваются априорно на основе усредненных оценок пропускной способности и интенсивности использования каналов связи.
О
Поскольку в момент поступления заявки ресурсы привлекаемого пункта ПОИ, требуемые для ее выполнения, могут быть заняты выполнением другой заявки, то величина времени ожидания τ определяется локальными расписаниями выполнения заявок в каждом пункте, а также приоритетами этих заявок. При составлении локальных расписаний пункта ПОИ в качестве целевой функции используется минимум взвешенного числа запаздывающих заявок. При поступлении новой заявки локальные расписания пунктов ПОИ перестраиваются. Для этой заявки в каждом пункте определяются: время начала выполнения и время завершения выполнения.
Наиболее предпочтительным является выполнение ФГО в том пункте, в который поступила заявка на получение данных ДЗЗ, поскольку в этом случае оплачивать привлечение сторонних ресурсов не приходится. Исходя из этих соображений, в случае недостатка собственных ресурсов для выполнения заявки в первую очередь целесообразно привлечь ресурсы тех пунктов ПОИ, которые принадлежат тому же ведомству, что и пункт ПОИ, в который поступила заявка. Причиной этого может быть безвозмездное предоставление ресурсов для выполнения заявок в рамках одного ведомства, либо же предоставление своих ресурсов при расчете за полученные ресурсы от другого пункта.
В каждом пункте ПОИ формируется своя система приоритетов выбора как пунктов, предоставляющих ресурсы для выполнения ФГО, так и по видам оплаты полученных ресурсов. На основе этой системы выбираются ресурсы тех пунктов ПОИ, у которых условия предоставления ресурсов наиболее предпочтительны. Однако этот критерий является второстепенным.
Основным критерием выбора варианта технологической цепочки ФГО является время завершения выполнения заявки. В основе этого критерия положена штрафная функция. Если время завершения выполнения заявки происходит раньше директивного времени ее выполнения, то штраф отсутствует. При превышении директивного времени завершения выполнения заявки штраф пропорционален времени запаздывания. При превышении предельного времени завершения выполнения заявки происходит отказ в ее обслуживании.
Таким образом, выбирается такая технологическая цепочка, которая имеет минимальное значение штрафной функции и условия предоставления ресурсов соответствуют системе приоритетов, принятой в пункте ПОИ, в который поступила заявка на получение данных ДЗЗ. В случае, если не найдено ни одной такой цепочки ФГО, одновременно удовлетворяющей двум указанным критериям, то решение о выборе цепочки ФГО принимается на основе минимума аддитивной функции, в которой числовые значения, полученные по каждому критерию, умножаются на весовой коэффициент и суммируются.
После того, как выбрана технологическая цепочка ФГО, реализуемая с использованием ресурсов стороннего пункта ПОИ, этот пункт уведомляется о привлечении его ресурсов для выполнения заявки. Дополнительно могут уточняться условия предоставления этих ресурсов. Осуществляется передача всех исходных данных в этот пункт посредством системы обмена данными. В этом пункте ПОИ принимается к исполнению ранее построенный вариант локального расписания. Если пункт ПОИ, в который поступила заявка, для выполнения этой заявки привлекает ресурсы другого пункта, то кроме локального расписания использования ресурсов в нем составляется скоординированное расписание выполнения заявок.
Результаты ФГО передаются в пункт ПОИ, в который поступила заявка, и, посредством информационной подсистемы передаются потребителю.
Использование предлагаемого изобретения позволит для выполнения заявки на получение данных ДЗЗ привлекать ресурсы различных пунктов ПОИ, входящих в распределенную систему ФГО, что повышает эффективность его функционирования. В рамках выполнения заявки потребителя на получение данных ДЗЗ для каждого КИ синтезируется цепочка ФГО, объединяющая потребителя данных ДЗЗ, пункт ПОИ, в который поступила заявка, и пункт ПОИ, имеющий ресурсы, необходимые для ее выполнения. Это позволяет распределить вычислительную нагрузку между отдельными пунктами ПОИ и расширить номенклатуру предоставляемых ими результатов ФГО.
Кроме того, распределенная адаптивная система ФГО позволяет наращивать как количество пунктов ПОИ, так и функционал каждой ПФГО этих пунктов.