СПОСОБ ИДЕНТИФИКАЦИИ ОПОРНЫХ ТОЧЕК НА КОСМИЧЕСКИХ ИЗОБРАЖЕНИЯХ МЕСТНОСТИ ПРИ ОТСУТСТВИИ ПАРАМЕТРОВ ГЕОГРАФИЧЕСКОЙ ПРИВЯЗКИ
METHOD OF IDENTIFYING REFERENCE POINTS ON SPACE IMAGES OF AREA IN ABSENCE OF GEOREFERENCING PARAMETERS

Изобретение относится к системам фотограмметрической обработки космических изображений местности высокого и сверхвысокого разрешения и может быть использовано при трансформировании этих изображений методами, требующими набора опорных точек, идентифицированных на обрабатываемом и опорном изображениях местности. Предлагаемый способ позволяет без участия оператора осуществить поиск участка земной поверхности, покрываемого обрабатываемым снимком, при отсутствии параметров первичной географической привязки, идентификацию набора опорных точек, исключить ложно идентифицированные опорные точки, что, в свою очередь, позволяет сократить время на идентификацию опорных точек на космическом изображении (КИ) местности при его последующем трансформировании.
Известен способ автоматического выбора и идентификации характерных точек на разновременных разномасштабных аэрокосмических снимках [Гук А.П., Йехиа Хассан Мики Хасан. Автоматический выбор и идентификация характерных точек на разновременных разномасштабных аэрокосмических снимках // Известия вузов. Серия «Геодезия и аэрофотосъемка». 2010. №2. С. 63-68], включающий: подчеркивание контуров и выделение границ объектов путем определения разностного изображения для соседних уровней гауссова пространства изображений; выделение ключевых точек на разностном изображении путем последовательного просмотра разностных уровней и выявления локальных экстремумов (максимумов или минимумов) для разностных изображений; описание локальной области выделенной вокруг точки путем задания масштаба и ориентации локальной системы координат, связанные с этой локальной областью; детальное описание точки с помощью градиентов по направлениям, заданным относительно ориентации локальной области; сравнение детальных описаний точки опорного и обрабатываемого космического изображения местности.
Недостатком известного способа является идентификация одновременно всех опорных точек на КИ, что имеет положительный результат для относительно небольших изображений (примерно 3000×3000 пикселов). При увеличении размерности сопоставляемых изображений возрастает количество ключевых точек изображения. Учитывая ограниченность свойств ключевой точки (64 или 128 в зависимости от алгоритма), отдельные ключевые точки, принадлежащие на обрабатываемом и опорном изображении разным объектам, могут иметь одинаковые значения свойств. Это приводит к появлению ложных опорных точек, что увеличивает ошибку географической привязки КИ при его последующем трансформировании.
Известен способ автоматического определения одноименных точек для вычисления элементов взаимного ориентирования [Соловье А.П. Метод автоматического определения одноименных точек для вычисления элементов взаимного ориентирования // Известия вузов. Серия «Геодезия и аэрофотосъемка». 2017. №1. С. 40-44], включающий: определение особых (ключевых) точек изображений; определение опорных точек из совокупности особых; отбраковка ложных и грубо отождествленных опорных точек.
Недостатком известного способа является идентификация одновременно всех опорных точек на КИ, что имеет положительный результат для относительно небольших изображений (примерно 3000×3000 пикселов).
Известен способ, положенный в основу робастного детектора ключевых точек и дескриптора (патент US 8 670 619 В2 от 11 марта 2014 г.). Данный способ включает: фильтрование изображений, построение интегрального представления изображений, обнаружение ключевых точек, локализацию ключевых точек, вычисление дескрипторов для каждой ключевой точки изображений, сопоставление дескрипторов ключевых точек одного изображения с дескрипторами ключевых точек другого изображения.
Недостатком известного способа является идентификация одновременно всех опорных точек на КИ, что имеет положительный результат для относительно небольших изображений (примерно 3000×3000 пикселов).
Наиболее близким по своей сущности к заявляемому изобретению является способ идентификации опорных точек на космических изображениях местности при их трансформировании (патент RU №2683626 от 16 апреля 2018 г). Данный способ включает: определение первичной географической привязки обрабатываемого КИ, определение области пересечения обрабатываемого и опорного КИ, формирование копий опорного и. обрабатываемого КИ с пониженным разрешением, идентификацию 4-х опорных точек, уточнение первичной географической привязки обрабатываемого КИ, формирование пар фрагментов и идентификацию опорных точек на каждой паре, формирование набора опорных точек по критерию качества.
Недостатком прототипа является отсутствие функции вычисления параметров первичной географической привязки обрабатываемого КИ с использованием глобального покрытия земной поверхности, разрешения на местности и азимута съемки. Это определяет невозможность его применения при отсутствии параметров первичной географической привязки, обычно поставляемых вместе с КИ.
Целью изобретения является повышение оперативно-технических характеристик идентификации опорных точек на обрабатываемом и опорном космических изображениях при трансформировании, в том числе, сокращение времени на определение параметров первичной географической привязки изображений местности.
Заявляемые преимущества обеспечиваются введением новых операций: подготовка глобального покрытия земной поверхности, учет наличия данных о районе съемки, нахождение ключевых точек глобального покрытия, корректировка яркостных и геометрических свойств обрабатываемого КИ, нахождение ключевых точек обрабатываемого изображения, идентификация опорных точек на глобальном и обрабатываемом КИ, удаление ложных сопоставлений, проверка опорных точек по геометрической модели, вычисление приближенных значений параметров географической привязки, определение области пересечения обрабатываемого и опорного КИ, формирование копий опорного и обрабатываемого КИ с пониженным разрешением, идентификацию 4-х опорных точек, уточнение первичной географической привязки обрабатываемого КИ, формирование пар фрагментов и идентификацию опорных точек на каждой паре, формирование набора опорных точек по критерию качества.
Сопоставительный анализ технического решения со способом, выбранным в качестве прототипа, показывает, что заявляемый способ отличается новыми операциями, такими как: подготовка глобального покрытия земной поверхности, учет наличия данных о районе съемки, нахождение ключевых точек глобального покрытия, корректировка яркостных и геометрических свойств обрабатываемого КИ, нахождение ключевых точек обрабатываемого изображения, идентификация опорных точек на глобальном и обрабатываемом КИ, вычисление приближенных значений параметров географической привязки.
Таким образом, заявляемое техническое решение соответствует критерию изобретения «новизна».
Анализ известных технических решений в исследуемой области и в смежных областях позволяет сделать вывод о том, что введенные операции известны. Однако введение их в способ идентификации опорных точек на космических изображениях местности при их трансформировании в указанной последовательности придает этому способу новые свойства. Введенные операции осуществляются таким образом, что позволяют значительно снизить время идентификации опорных точек при отсутствии параметров первичной географической привязки, поскольку дескрипторы ключевых точек глобального покрытия формируются заблаговременно один раз и ключевые точки выбираются, исходя из инвариантности их дескрипторов к масштабу и повороту изображения, количество сопоставляемых ключевых точек на порядок меньше, чем в прототипе. Небольшое количество опорных точек не позволяет с требуемой точностью трансформировать обрабатываемое изображение, однако их достаточно для вычисления параметров первичной географической привязки (локализации КИ на земной поверхности). Определенные параметры первичной географической привязки будут обладать ошибкой на местности до 100 м, но поскольку в способе присутствует операция их уточнения, то наличие этой ошибки не приведут к ухудшению точностных свойств результатов трансформирования.
Таким образом, техническое решение соответствует критерию «изобретательский уровень», так как оно для специалиста явным образом не следует из уровня развития техники.
Техническое решение может быть использовано в геоинформационных системах и цифровых фотограмметрических станциях в процессах фотограмметрической обработки космических изображений местности методами, требующими наличия набора опорных точек при отсутствии параметров первичной географической привязки (например, для архивных снимков).
Таким образом, изобретение соответствует критерию «промышленная применимость».
На фиг. 1 представлена схема идентификации опорных точек на космических изображениях местности при их трансформировании.
На фиг. 2 представлена схема локализации КИ на земной поверхности.
Под обрабатываемым изображением понимается космическое изображение местности, поступившее на фотограмметрическую обработку для трансформирования.
Под опорным изображением понимается эталонное трансформированное (ортотрансформированное) изображение местности, имеющее географическую привязку.
Под идентификацией опорных точек понимается процесс нахождения точек на обрабатываемом и опорном изображениях, соответствующих одному и тому же объекту местности.
Под первичной географической привязкой понимается привязка, выполненная на основе результатов обработки данных прямых измерений местоположения и ориентации космического аппарата во время съемки.
Задача идентификации опорных точек на космических изображениях местности при отсутствии параметров первичной географической привязки будем решать в два этапа: на первом этапе осуществляется определение параметров первичной географической привязки по глобальному КИ, на втором - идентификация опорных точек на каждой паре фрагментов обрабатываемого и опорного изображений с последующим объединением их в единый набор опорных точек.
При выполнении первого этапа изображение обрабатывается целиком, на втором этапе может выполняться как последовательная обработка каждой пары фрагментов, так и параллельная.
В качестве необходимого условия идентификации опорных точек при отсутствии параметров первичной географической привязки КИ является наличие глобального покрытия земной поверхности - мозаики опорных изображений пониженного разрешения на всю земную поверхность, и набора опорных изображений (мозаики опорных изображений) высокого и сверхвысокого разрешения, покрывающего участок местности, определенный по вычисленным параметрам первичной географической привязки КИ.
Например, имеется исходное КИ, для которого отсутствует первичная географическая привязка, а также покрывающее его опорное КИ и глобальное покрытие земной поверхности.
Требуется найти приближенные значения параметров географической привязки обрабатываемого КИ с точностью, позволяющей осуществить решение прикладных задач (например, ретроспективного анализа), посредством сопоставления с глобальным КИ. Экспериментально установлено, что величина ошибки определения значений параметров географической привязки КИ, не превышающая 1 км, является достаточной для проведения ретроспективного анализа. Далее эти приближенные значения уточняются с использованием известных способов.
Способ включает следующие операции:
1. Подготовка глобального КИ.
КИ, как правило, содержат множество (тысячи) мелких объектов местности, линейные размеры которых находятся в диапазоне от единиц до нескольких десятков пикселов, и небольшое количество объектов крупнее. Данная особенность снижает эффективность использования существующих алгоритмов поиска и сопоставления ключевых точек КИ, поскольку наличие множества мелких объектов порождает большое количество (от единиц до десятков тысяч) пикселов-кандидатов в ключевые точки, имеющих соответствующий градиент яркости в своей окрестности. Это способствует появлению ложных соответствий ключевых точек обрабатываемого и глобального КИ. Ложные соответствия - одноименные ключевые точки разных КИ, отождествленные по близким описаниям, но не соответствующие одному объекту местности. Это объясняется наличием на снимаемой местности объектов одинаковых или достаточно близких по перепаду на них яркостных характеристик. При этом вероятность наличия ложных соответствий и их количество растет с увеличением размеров снимаемой местности (размеров КИ).
Кроме того, наличие указанных объектов на КИ делает существующие алгоритмы чувствительными к условиям съемки, что накладывает ограничения на выбор глобального КИ.
Для устранения этих недостатков в качестве глобального покрытия земной поверхности используется КИ пониженного пространственного разрешения. Опытным путем установлено, что величина разрешения для КИ может быть уменьшена на один порядок (например, для КИ с разрешением 1 м может быть выбрана величина, равная 17 м). Это позволяет использовать в качестве глобального КИ снимки, обладающие средним пространственным разрешением, например, материалы съемочной системы Landsat. Пониженное разрешение снимков позволяет снизить влияние на результат сопоставления изображений мелких контрастных объектов, уменьшить влияние условий съемки (угол солнца, параметры внешнего ориентирования и др.) на яркостную характеристику сцены и пр.
Поскольку материалы съемочной системы Landsat поставляются либо как трехканальное композитное изображение, либо как пакет из нескольких изображений местности, каждое из которых соответствует материалам съемки в некотором диапазоне спектра, то с целью сокращения времени сопоставления КИ из указанных материалов выбирается один канал. Использование красного канала материалов Landsat является предпочтительным, поскольку в них природные объекты являются более контрастными по сравнению с другими каналами, а антропогенные объекты (аэродромы, дороги и т.д.) имеют более широкий динамический диапазон яркости.
2. Учет наличия данных о районе съемки.
В рамках данной операции осуществляется проверка наличия сведений о районе съемки (например, страна или регион). Если эти сведения отсутствуют, то осуществляется переход к операции 5. Иначе - к операции 3.
3. Задание района поиска.
При наличии сведений о районе съемки формируют район поиска опорных точек в виде рамки, заданной географическими координатами, которая соответствует требуемой стране или региону. Использование подобной рамки ограничивает область идентификации опорных точек на глобальном покрытии указанным районом, что сокращает время определения первичной географической привязки.
4. Выбор соответствующего фрагмента глобального КИ.
В соответствии с полученной рамкой выбирается область из глобального покрытия.
5. Нахождение ключевых точек глобального КИ.
Учитывая большие объемы КИ (от 1 до 50 Гбайт), для снижения временных затрат на выполнение операции сопоставления КИ предлагается ее осуществлять на основе сравнения ключевых точек изображений, обладающих отличающимися от основной массы точек яркостными характеристиками некоторой своей окрестности. В процессе выполнения данной операции выбираются такие точки изображения, в окрестности которых существенно изменяются производные по яркости. Могут быть получены на основе использования лаплассиана, гессиана или другим известным способом.
Для описания яркостных характеристик ключевых точек используются бинарные дескрипторы, обладающие инвариантностью к повороту и масштабу. Использование этих дескрипторов при сопоставлении изображений показывает наилучшие результаты по критерию «точность сопоставления - затраты времени» по сравнению с другими дескрипторами.
6. Корректировка свойств обрабатываемого КИ.
В связи с вариабельностью условий съемки (влажность атмосферы, проведение радиометрической калибровки, изменение освещения, сезонности) обрабатываемые снимки могут иметь различные яркостные характеристики и наличие шумов. Для их устранения осуществляется гистограммная коррекция и сглаживание изображения (например, фильтром Гаусса).
7. Нахождение ключевых точек на обрабатываемом изображении.
Осуществляется аналогично п. 5.
8. Идентификация опорных точек на глобальном и обрабатываемом КИ.
Идентификация опорных точек на обрабатываемом и глобальном КИ осуществляется посредством автоматической идентификации ключевых точек. Решение данной задачи заключается в последовательном сопоставлении дескрипторов ключевых точек обрабатываемого изображения с дескрипторами ключевых точек глобального КИ методом скользящего окна с некоторым шагом по широте и долготе до тех пор, пока характеристики сопоставляемого набора ключевых точек не превысят значения пороговой функции качества.
При подобии дескрипторов пары ключевых точек они считаются опорной. Результатом идентификации опорных точек является набор опорных точек, по которым, в последствии, вычисляются приближенные значения параметров географической привязки обрабатываемого КИ.
9. Удаление ложных сопоставлений.
Одной из основных операций при идентификации опорных точек является удаление ложных сопоставлений. Поскольку вектор признаков (дескрипторов) представляет собой бинарную строку, то в качестве меры сходства предлагается использовать расстояние Хемминга. Данная мера наиболее часто используется для определения различий между объектами, задаваемыми дихотомическими признаками и интерпретируется как число несовпадений значений признаков у рассматриваемых объектов. С использованием пороговой функции, заданной расстоянием Хемминга осуществляется удаление ложных опорных точек.
10. Проверка опорных точек по геометрической модели.
В рамках данной операции ложные опорные точки удаляются на основе их расположения относительно других опорных точек (то есть по геометрическому принципу). По набору опорных точек строится геометрическая модель трансформирования КИ (обычно - полиномиальная первого порядка). Выбираются четыре опорные точки, географические координаты которых имеют минимальное отклонение от указанной модели. Если эти отклонения превышают значение пороговой функции, то осуществляется переход к следующему фрагменту глобального КИ, определенного методом скользящего окна. В противном случае переходим к процедуре вычисления приближенных значений параметров географической привязки (параметров геоориентирования) обрабатываемого КИ.
11. Формирование набора опорных точек.
В рамках данной операции осуществляется проверка всех полученных опорных точек по п. 10.
12. Вычисление приближенных значений параметров географической привязки.
Значения указанных параметров вычисляются с использованием полиномиальной модели первого порядка, коэффициенты которой определены с использованием ранее полученных опорных точек. Эти параметры включают координаты углов обрабатываемого снимка, размеры пиксела изображения и пр.
Определение первичной географической привязки обрабатываемого КИ на основе информации, сопутствующей этому изображению и содержащей данные об условиях съемки. На основе этих параметров формируется модель обрабатываемого КИ вида
ВЛ
BЛ
х
у
где (X, Y) - географические координаты произвольного пиксела КИ; (X, Y) - географические координаты левого верхнего угла КИ; n и n - порядковый номер пиксела в файле по осям абсцисс и ординат; r - размер пиксела КИ; α - азимут съемки.
Использование модели вида (1) позволяет определить соответствие масштабов обрабатываемого и опорного КИ, что позволяет при выполнении последующих операций сократить количество обрабатываемых обзорных слоев (октав) изображений при идентификации опорных точек, наличие которых необходимо при сопоставлении разномасштабных изображений. Уменьшение количества используемых обзорных слоев приводит к сокращению времени идентификации опорных точек на изображениях пропорционально количеству исключенных слоев и их размеру.
13. Определение области пересечения обрабатываемого и опорного КИ. В процессе данной операции определяются области обрабатываемого и опорного КИ с учетом ошибки определения первичной географической привязки обрабатываемого КИ, на которых в дальнейшем будут идентифицироваться опорные точки.
14. Формирование копий опорного и обрабатываемого КИ с пониженным разрешением. Разрешение КИ выбирается, исходя из соотношения
k
k
k
где δ - допустимая величина ошибки географической привязки обрабатываемого КИ (определяется требованиями потребителя по точности к трансформируемому изображению местности); r - размер пиксела копии обрабатываемого КИ; δ - априорно известная величина ошибки географической привязки исходного КИ. Копия опорного КИ приводится к разрешению копии обрабатываемого КИ r.
15. Идентификация четырех опорных точек. В рамках данной операции из копий обрабатываемого и опорного КИ пониженного разрешения выбирается пара фрагментов (по одному с каждого изображения), таким образом, что бы эти фрагменты покрывали один и тот же участок местности с учетом априорно известной ошибки определения первичной географической привязки обрабатываемого КИ с размерами от 1000×1000 пикселов до 3000×3000 пикселов. На этих фрагментах выявляются ключевые точки (например, детектором Харриса, FAST-детектором или аналогичными). Далее для каждой ключевой точки вычисляются дескрипторы (например, SURF, SIFT или любые другие). Затем идентифицируются опорные точки посредством сравнения дескрипторов фрагмента обрабатываемого КИ с дескрипторами фрагмента опорного КИ, из которых по критерию качества (например, максимальное значение расстояния Махаланобиса между дескрипторами ключевых точек фрагмента обрабатываемого и фрагмента опорного КИ) выбираются 4 опорные точки.
16. Уточнение первичной географической привязки обрабатываемого КИ. С использованием координат опорных точек, полученных в п. 4, вычисляются параметры модели (1) методом наименьших квадратов, либо аналогичным. Допускается использование меньшего количества опорных точек, если некоторые параметры модели (1) известны с достаточной точностью.
Отметим, что операции по п. 15 и 16 могут выполняться итеративно несколько раз подряд для достижения требуемой точности географической привязки обрабатываемого КИ.
i
i
17. Формирование пар фрагментов. Обрабатываемое КИ виртуально разбивается на прямоугольные фрагменты, размер которых определяется ограничениями использования дескрипторов (SURF, SIFT и др.). Для выбранного на обрабатываемом КИ фрагменте g определяется соответствующая прямоугольная область опорного КИ с учетом требований методов, используемых для сопоставления опорных точек, включая: нахождение полного покрытия g выделенной на опорном КИ областью; приведение к близкой (одинаковой) ориентации фрагмента и выделенной области; приведение фрагментов к равному масштабу.
i
ф
ф
ф
Положение области опорного КИ, соответствующей фрагменту g однозначно задается началом отсчета (х,y) и направлением сторон β в системе координат опорного КИ (фиг. 2), а также размером стороны фрагмента h.
Указанные величины определяются следующим образом
1
2
тек
оки
min
где ƒ(δ,δ) - функция от погрешностей в определении географической привязки обрабатываемого и опорного КИ соответственно; β - угол, противоположный по знаку азимуту α съемки обрабатываемого КИ, Р - разрешение обрабатываемого (текущего) КИ, P - разрешение опорного КИ, h - минимально допустимый размер фрагмента для выбранного алгоритма идентификации опорных точек,  - коэффициент, учитывающий погрешность в определении географической привязки КИ.
i
Из области опорного КИ формируется виртуальное изображение с масштабом и ориентацией, соответствующими g, на котором осуществляется дальнейшая идентификация опорных точек.
Поскольку существующие алгоритмы сопоставления изображений, как правило, чувствительны к повороту изображаемой сцены (наличие большого количества ложных соответствий), то приведение к близкой (одинаковой) ориентации фрагмента текущего и выделенной области опорного КИ приводит к снижению ложных соответствий. Это позволяет при оценке пригодности (истинности) опорной точки использовать не только близость яркостных характеристик, но и их псевдо геометрические характеристики (рассматривается в п. 22).
18. Перебор пар фрагментов.
19. Идентификация опорных точек на каждой паре фрагментов. Данная операция включает: фильтрацию фрагментов изображений фильтром Гаусса или подобным, обеспечивающим подавление шума изображения; поиск ключевых точек на фрагментах одним из известных детекторов (например, детектор углов Харриса, детерминант матрицы Гессе и др.); формирование дескрипторов для каждой ключевой точки фрагментов (в виде Гауссовых производных, моментных инвариант, комплексных характеристик, характеристик меньшего масштаба в окрестностях ключевой точки и др.); вычисление оценки близости дескриптора ключевой точки фрагмента обрабатываемого КИ дескриптору ключевой точки фрагмента опорного КИ (например, в виде евклидового расстояния, расстояния Махаланобиса или аналогичных оценок).
Отметим, что сравниваются дескрипторы ключевых точек только соответствующих фрагментов, а не всего изображения, что позволяет снизить вычислительную сложность задачи и уменьшить количество ложных соответствий.
20. Выбор опорных точек из пар ключевых точек фрагментов по критерию качества. В качестве критерия качества выступает пороговая функция. Например, если значение евклидова расстояния для пары ключевых точек превышает значение пороговой функции, то считается, что ключевая точка фрагмента опорного КИ и ключевая точка обрабатываемого КИ принадлежат одному и тому же объекту, то есть эта пара является опорной точкой.
21. Построение модели трансформации. После нахождения опорных точек на всех фрагментах обрабатываемого КИ, имеющих общее покрытие участка местности с фрагментами опорного КИ, формируется набор опорных точек для обрабатываемого изображения. С использованием этого набора методом наименьших квадратов вычисляются параметры модели трансформации обрабатываемого изображения из системы координат фотоприемной аппаратуры космического аппарата в географическую систему координат. В качестве модели трансформации может быть использована полиномиальная модель (например, полиномиальная функция 1-го, 2-го или иного порядка, рациональный полином) или иная модель, параметры которой могут быть вычислены по полученному набору опорных точек.
22. Формирование набора опорных точек. Пользователем задается критерий качества идентифицированных опорных точек в виде максимального значения отклонения географических координат опорной точки от географических координат этой точки, полученных по модели трансформации п. 21. Если отклонение географических координат опорной точки превышает максимальное значение, то данная опорная точка исключается из набора, а параметры модели, полученные в п. 21, вычисляются повторно.
Таким образом, при использовании заявляемого способа достигается повышение оперативно-технических характеристик идентификации опорных точек на обрабатываемом и опорном космических изображениях при отсутствии параметров его первичной географической привязки, в том числе, сокращение времени на локализацию изображения местности на глобальном покрытии земного шара и сокращение количества ложно найденных опорных точек, что позволяет получить высокоточное трансформированное КИ.