Система сегментации изображений участков недропользования открытого типа
SYSTEM FOR SEGMENTING IMAGES OF SUBSOIL RESOURCES OF OPEN TYPE

Предлагаемое изобретение относится к области средств и технологий дистанционного зондирования Земли, а именно к интеллектуальным космическим системам сегментации участков недропользования открытого типа.
1
3
2
1
3
Известен способ обработки спутниковых изображений [Blaschke T. et al., «Object-Oriented Image Processing in an Integrated GIS / Remote Sensing Environment and Perspectives for Environmental Applications», EnviroInfo 2000], предусматривающий сегментацию изображений с помощью различных алгоритмов и последующее объединение результатов с данными геоинформационной системы. Известна также система получения и обработки спутниковых изображений, основанная на использовании сверточной нейронной сети, предложенная в заявке на изобретение CN 10 7 945 146, Univ. Nanjing Information Science & Tech., публикация 2018 г. Система представляет собой нейронную сеть глубокого обучения, получающую изображения от спутников Landsat с аппаратурой дистанционного зондирования Земли Modis и сегментацией изображений, принятых с космического аппарата. В CN 10 7 945 146 на стадии подготовки выбираются изображения Landsat и Modis для формирования пары изображений Landsat – Modis, выполняется формирование репрезентативной выборки данных по образцу Landsat. Изображение LSR Landsat, приближающееся к пространственному разрешению Modis; обучается в соответствии с комбинацией Landsat и Modis LSR Landsat, получая нелинейное отображение и реконстрируя свёрточную нейронную сеть с суперразрешением. На стадии прогнозирования выбираются пары изображений Landsat – Modis на дату t и дату t, и прогнозируется возможное изображение Landsat в дату t, между датой t и t, полученное на этапе обучения на основе нелинейного отображения с суперразрешением.
В качестве ближайшего аналога выбрана система сегментации спутниковых изображений, являющаяся составной частью интеллектуальной космической системы мониторинга лесного фонда. Система, основанная на использовании свёрточной нейронной сети, была предложена в патенте на изобретение RU 2 703 349, Российские космические системы, публикация 2019 г. Нейронная сеть глубокого обучения обрабатывает фрагменты изображений, полученных с космических аппаратов дистанционного зондирования Земли Ресурс-П, Канопус-В и Planet Labs. Фрагменты изображений формируются методом скользящего окна с заданным шагом. На этапе обучения, для расширения обучающей выборки генерируются новые фрагменты изображений.
В нашем изобретении предложено применить технические возможности и особенности алгоритмов глубокого машинного обучения для решения задачи сегментации изображений участков недропользования открытого типа. Система включает в себя свёрточную нейронную сеть, обеспечивающую обработку фрагментов изображений, полученных с космических аппаратов дистанционного зондирования Земли типа Ресурс-П, Канопус-В и компании Planet Labs (Dove, RapidEye). Фрагменты изображений формируются методом скользящего окна с заданным шагом. На этапе обучения, для расширения обучающей выборки генерируются новые фрагменты изображений. В отличие от аналога, свёрточная нейронная сеть обрабатывает фрагменты четырехканальных спутниковых снимков. При работе системы методом скользящего окна с фиксированным шагом из каждого спутникового изображения выделяется набор фрагментов для сегментации. На этапе обучения, для расширения обучающей выборки к каждому из фрагментов применяются операторы поворота и зеркального отображения, изменения масштаба в пределах [1;1,2], сдвига в пределах 2% от размера фрагмента, поворота на небольшой угол в пределах [-π/12; π/12] и хроматического искажения. На этапе работы алгоритма фрагменты объединяются для получения изначального, «большого» спутникового снимка с выделенными на нем участками недропользования открытого типа.
Предложенная система поясняется следующими изображениями:
фиг. 1 – схема обучения алгоритма сегментации участков недропользования открытого типа;
фиг. 2 – схема работы алгоритма сегментации участков недропользования открытого типа;
фиг. 3 – архитектура свёрточной нейронной сети для сегментации участков недропользования открытого типа;
фиг. 4 – разбиение исходного спутникового снимка на фрагменты фиксированного размера методом скользящего окна.
Спутниковые снимки участков недропользования открытого типа, полученные с космических аппаратов Канопус-В, Ресурс-П и Planet Labs поступают на вход свёрточной нейронной сети (фиг. 1, 2). В настоящее время используются четырехканальные спутниковые снимки исследуемой территории. Свёрточная нейронная сеть позволяет быстрее выполнить обработку данных за счет меньшего количества требуемых вычислений. Применение космических аппаратов Канопус-В, Ресурс-П и Palnet Labs позволяет задействовать при мониторинге участков недропользования открытого типа данные дистанционного зондирования Земли высокого и сверхвысокого разрешения. Предложено использовать свёрточную нейронную сеть Mask R-CNN (фиг. 3), расширяющую функциональность архитектуры Faster R-CNN для детектирования объектов на изображениях, добавляя в свёрточную сеть дополнительную ветвь – полносвязную нейронную сеть FCN для осуществления сегментации на уровне пикселей в области детектированного объекта (RoI) параллельно с уже существующими выходами – метками класса и рамками, ограничивающими объекты.
Свёрточные слои являются основными элементами нейронных сетей глубокого обучения. На этапе работы этих слоев с помощью свёрточного фильтра и матричных операций преобразуются данные, поступившие на вход с предыдущего слоя нейронной сети. Результатом такой обработки является набор матриц меньшего размера – множество слоёв преобразованных признаков. Свёрточная сеть Faster R-CNN, основанная на архитектуре сети ResNet-101, состоит из двух последовательно выполняемых алгоритмов: полносвязной сети (RPN), совершающей с помощью скользящего окна предсказания о возможном местоположении рамок, ограничивающих объекты, с учетом большого диапазона их возможных размеров, и сети Fast R-CNN, извлекающей из этого набора рамок те, которые более точно окружают объекты. Одновременно с этим осуществляется и классификация детектируемых объектов. Сеть RPN с помощью скользящего окна предоставляет информацию о возможных местоположениях рамок, окружающих объекты на снимках и при этом специальные, равномерно расположенные на изображении «якори», прямоугольные рамки с разными размерами и разным отношением сторон, генерируемые алгоритмом, позволяют выделить рамки любых размеров, окружающие объекты, расположенные на снимке (фиг. 3). Решение о наличии или отсутствии объекта внутри рамки делается на основании значения метрики IoU: если IoU>0,5, то считается, что объект попал в рамку. Ключевыми составляющими алгоритма Fast R-CNN является пространственно-пирамидальный слой с операцией RoIPool по извлечению карты признаков из каждой области с детектированным объектом и слой RoIAlign, определяющий точное пространственное расположение рамок детектированных объектов на снимках.
Для улучшения качества поступающих с космических аппаратов изображений, отбрасывается импульсный шум, присутствующий на спутниковых изображениях в виде одиночных, очень светлых и темных пикселей. Для этого проводилась эквилизация гистограммы – процесс предобработки изображений, в результате которого значения яркости пикселей изображения перераспределяются равномерно, с учетом пороговых значений яркости светлых и темных пикселей. Значения пикселей, не попадающие в промежуток допустимой яркости, меняются на пороговые величины. Для выравнивания гистограммы яркости производится также линейное преобразование для каждого пикселя.
Для обработки предобработанных спутниковых снимков методом скользящего окна с заданным шагом формируются фрагменты изображений (фиг. 4), поступающие на вход свёрточной нейронной сети. Предложено использовать окно размером 1024×1024 пикселей для обеспечения попадания достаточно крупных объектов недропользования в один фрагмент. При необходимости, спутниковый снимок по краям дополняется до такого размера, что каждая сторона снимка была кратна 1024. Шаг окна в 512 пикселей обеспечивает наложение фрагментов друг на друга таким образом, что край одного фрагмента совпадает с центром смежного с ним. Это позволяет избежать искажений сегментации на краях при восстановлении всего снимка из отдельных фрагментов на этапе внедрения и использования алгоритма.
При обучении сети, из каждого фрагмента спутникового снимка генерируются несколько изображений путём поворота и зеркального отображения исходного фрагмента. Предложено сначала сгенерировать восемь фрагментов изображений с помощью всевозможных вариаций поворота исходного фрагмента на угол π/2, π, 3π/2 и зеркального отображения, а затем к каждому новому полученному фрагменту дополнительно применять операторы случайного поворота на небольшой угол в пределах [-π/12; π/12], изменения масштаба в пределах [1; 1,2], сдвига в пределах 2% от размера фрагмента и хроматического искажения. Это позволяет значительно увеличить обучающую выборку для повышения качества сегментации алгоритма глубокого обучения на этапе обучения. На фазе тестирования свёрточной сети, а также при её последующем внедрении и использовании генерация новых фрагментов пропускается.
В качестве алгоритма численной оптимизации при обучении свёрточной нейронной сети был выбран оптимизатор адаптивной оценки моментов Adam. Эта функция объединяет лучшие подходы от градиентного спуска и импульсных оптимизаторов, показывая быструю сходимость для большинства задач машинного обучения, в частности для задачи сегментации участков недропользования открытого типа. Средствами свёрточной нейронной сети для каждого фрагмента получается множество рамок, ограничивающих объекты, и карт вероятностей того, что каждый пиксель относится к участкам недропользования открытого типа. С помощью отсечения пикселей по определенному порогу, получается итоговая сегментация фрагмента спутникового изображения. При внедрении и использовании алгоритма фрагменты изображения с помощью нормированной суммы объединяются. В итоге, получается спутниковое изображение изначального размера с выделенными на нем участками недропользования открытого типа.