ПОСТРОЕНИЕ МАРШРУТОВ В ДОПОЛНЕННОЙ РЕАЛЬНОСТИ С ИСПОЛЬЗОВАНИЕМ ГИС-ТЕХНОЛОГИЙ

Вестник РУДН. Серия: Инженерные исследования RUDN Journal of Engineering Researches

2020;21(3):189-196

journals.rudn.ru/engineering-researches

DOI 10.22363/2312-8143-2020-21-3-189-196 УДК 656.7.052:351.814.335.1

Научная статья

Построение маршрутов в дополненной реальности с использованием ГИС-технологий

А.В. Юдин, А.Н. Стратиенко, М.М. Мадумаров, М.А. Мирненко

Российский университет дружбы народов, Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

История статьи:

Поступила в редакцию: 22 апреля 2020 г. Доработана: 23 июня 2020 г. Принята к публикации: 24 июля 2020 г.

Ключевые слова:

маршрутизация, дополненная реальность, геоинформационные сервисы

Аннотация. В настоящее время одним из перспективных направлений разработки в сфере информационных технологий является дополненная реальность. С ее помощью можно получить доступ к данным реального мира посредством камеры устройства, используя интерактивный подход отображения данных. Дополненная реальность широко применяется в различных областях жизни: начиная от игровых и заканчивая профессиональными приложениями для проведения инструктажа, обучения персонала в производственном секторе, тяжелом машиностроении и высокотехнологическом секторе, тем самым обеспечивая возможность использовать виртуальные инструкции для осуществления квалифицированных операций. Еще одним способом применения дополненной реальности является геолокация - возможность в режиме реального времени отслеживать позицию объектов на геоинформационной карте. В статье рассматриваются способы построения маршрутов в дополненной реальности на основе геолокационных данных, анализируются особенности ее применения и выявленные проблемы. Приводится пример построения маршрута на карте с привязкой к геолокацинным данным и на сцене дополненной реальности с вычисленными координатами точек маршрута. Представлены способы преобразования географических координат в координаты сцены дополненной реальности.

Введение

Основной целью статьи является рассмотрение возможности применения технологии дополненной реальности в геоинформационных

Юдин Александр Викторович, доцент департамента механики и мехатроники Института космических технологий Инженерной академии РУДН; кандидат физико-математических наук; ORCID iD: https://orcid.org/0000-0002-6802-8603, eLIBRARY SPIN-код: 4917-0840; yudin-av@rudn.ru

Стратиенко Артем Николаевич, магистр департамента механики и мехатроники Института космических технологий Инженерной академии РУДН; ORCID iD: https://orcid.org/0000-0002-3350-813X.

Мадумаров Мухриддин Мухаммаджон угли, магистр департамента механики и мехатроники Института космических технологий Инженерной академии РУДН; ORCID iD: https://orcid.org/0000-0002-0904-5411. Мирненко Маргарита Александровна, магистр департамента механики и мехатроники Института космических технологий Инженерной академии РУДН; ORCID iD: https://orcid.org/0000-0003-3922-2308.

О Юдин А.В., Стратиенко А.Н., Мадумаров М.М., Мирненко М.А., 2020

_ This work is licensed under a Creative Commons Attribution 4.0

(ccl © 1 International License

https://creativecommons.Org/licenses/by/4.0/

системах для отображения и построения маршрутов. Разберем возможности применения в области маршрутизации, а также выделим существующие проблемы.

Для построения виртуальных маршрутов используем представленный Apple в 2017 г. фреймворк ARKit [1], а для создания приложений дополненной реальности под операционную систему iOS и определения геолокации - фреймворк CoreLocation, встроенный в SDK iOS [2]. Также применим открытый SDK и API сервиса геолокации HereMaps для предоставления картографической подложки, отображения маршрутов и результатов расчета.

1. Создание сцены дополненной реальности

При создании сцены дополненной реальности камера устройства использует реальный мир для создания виртуальных объектов. Это происходит за счет того, что виртуальные объекты, такие как 3D-модели, видео, текстуры или звуковые эффекты, проецируются перед нами на камере устройства, поверх реального мира.

Для создания дополненной реальности привлекается ряд аппаратных технических устройств,

таких как процессор, дисплей, датчики и устройства ввода/вывода. Всеми этими сенсорами обладают современные мобильные устройства. В составе обработки информации с мобильного устройства iPhone использует встроенный в iOS фреймворк АЯК^. В свою очередь АККй обрабатывает информацию с различных сенсоров устройства [3]. Сенсоры представлены в табл. 1.

Сцена дополненной реальности использует систему визуально-инерциальной одометрии.

Состав сенсоров мобильного устройства [Table 1. Data capture by the device]

Таблица 1

Устройство [Device]

iPhone

Сенсор 1 [Sensor 1]

Сенсор 2 [Sensor 2]

Сенсор 3 [Sensor 3]

Сенсор 4 [Sensor 4]

Сенсор 5 [Sensor 5]

Сенсор 6 [Sensor 6]

Камера Барометр Гироскоп Акселерометр Магнитометр

[Camera] [Barometr] [Gyroscope] [Accelerometr] [Magnetometr]

GPS

Визуальная одометрия - метод оценки положения и ориентации устройства с помощью анализа последовательности изображений, снятых установленной на нем камерой [4].

Визуально-инерциальная одометрия - технология, использующая видеокамеры в дополнение к инерциальным датчикам и способная обеспечить полное шестистороннее отслеживание свободного движения в визуально различимых средах [5].

Фреймфорк АККй анализирует камеру телефона и данные о движении для отслеживания окружающего мира. Компьютерное зрение регистрирует заметные особенности в среде и способно поддерживать осведомленность об их расположении в реальном мире вне зависимости от движения устройства iPhone. Система объединяет данные с визуальной и инерциальной подсистемой устройства для определения положения и смещения на сцене [6].

К визуальной подсистеме относятся такие устройства, как камера, а к инерциальной подсистеме - акселерометр, магнитометр и гироскоп [6].

Магнитометры используют информацию с установленных на мобильном устройстве датчиков для измерения напряженности поля [7]. При этом магнитометр мобильного устройства измеряет напряженность поля. Магнитометр позволяет оценить воздействие на устройство магнитного полюса Земли [8].

В основе выборки лучшего позиционирования на сцене лежит фильтр Калмана [9] - алгоритм, который в каждый момент времени после инициализации сцены выбирает наилучшее из показаний двух подсистем, что позволяет корректно определить на сцене текущую позицию и ориентацию пользователя [10].

При создании сцены дополненной реальности есть возможность определения горизонтальных и вертикальных поверхностей, что позволяет рассчитать расстояние от точки инициализации сцены до поверхности Земли для определения высоты при построении маршрутов [9].

Помимо перечисленных устройств и датчиков, ARKit использует показания с приемника глобальной системы позиционирования (GPS), что позволяет определить географические координаты текущего положения пользователя. Данные получает от спутников GNSS.

2. Сопоставление системы координат сцены дополненной реальности и осей географической системы координат

Оси X и Z совпадают с направлениями долготы и широты [11], что позволяет установить выравнивание осей дополненной реальности ARKit рис. 1:

- направить ось Y параллельно силе тяжести;

- ось Z расположить по направлению к востоку;

- ось X установить по направлению курса компаса.

Рис. 1. Система координат сцены дополненной реальности [Figure 1. System coordinate for AR Scene]

Начало координат размещается в исходном месте устройства в момент инициализации сцены в точке (X = 0; У = 0; 2 = 0).

3. Расположение маршрутов на карте и сцене дополненной реальности

Для определения позиции объекта на сцене необходимо произвести ряд манипуляций с декартовой и географической системами координат (рис. 3). Декартовая система координат используется для размещения объектов на сцене дополненной реальности [12]. Географическая -для отображения объектов на географической карте. Связь систем представлена на рис. 2.

Координаты на сцене дополненной реальности измеряются в метрах [11]. За счет этого возможно произвести преобразование координат из географической системы в декартову [13]. При этом смещение между начальной точкой и конечной - искомой на сцене дополненной реальности - и будет смещением между географическими координатами, преобразованными в метры. Поскольку координаты определяются как долгота и широта, смещение между этими парами и есть смещение по осям X и 2 сцены дополненной реальности соответственно.

Инициализация сессии дополненой реальности

Инициализация CoreLocatlon

Расчет координат смещения между системами координат

Построение маршрута в дополненой реальности

Рис. 3. Алгоритм построения маршрута в дополненной реальности

Initialisation AR Session

Initialisation Core Location

Différents Coordinate System Metrs

Create Route in AR Scene

Рис. 2. Системы координат сцены дополненной реальности и карты [Figure 2. System coordinates for AR scene and maps]

Figure 3. Algorithm build route at AR

После того как будет произведен расчет смещения координат в одной системе и преобразован в другую, необходимо определить центр начала системы координат сцены дополненной реальности. Для этого необходимо выбрать такую точку, в которой в момент инициализации сцены будут известны координаты, полученные с помощью GPS [4]. В момент, когда будет зафиксирована такая точка, появится возможность построения на сцене дополненной реальности точек маршрута, зная только их географические координаты (рис. 4).

Формула для определения расстояния между координатами на карте (1):

где П ~ 3,141592 - математическая константа, выражающая отношение окружности к длине ее диаметра; Я = 6371 км - средний радиус земного шара [14].

deltaLon =

2*PÍ*R*cos(latl) 360

где Pi ~ 3,141592 - математическая константа, выражающая отношение окружности к длине ее диаметра; R = 6371 км - средний радиус земного шара; latí - широта начальной координаты на карте.

cos

где 0 а и 0Ь - широты; иа, ий - долготы данных пунктов; й - расстояние между пунктами, измеряемое в радианах длиной дуги большого круга земного шара.

Перевод радиан в метры:

delta* = (lon2 — lonl) *deltaLon,

где 1оп1 и 1оп2 - долгота начальной и конечной координаты на карте; deltaLon - приращение по долготе.

deltaZ = (lat2 - latí) *deltaLat,

D = acos

где й - расстояние между пунктами, измеряемое в радианах длиной дуги большого круга земного шара; Я = 6371 км - средний радиус земного шара.

Рис. 4. Алгоритм построения маршрута в дополненной реальности [Figure 4. Algorithm build route at AR]

Формула для определения смещения в метрах между долготами и широтами и преобразование в координаты сцены дополненной реальности (2):

deltaLat =

2 *PÍ*R 360 '

где latí и lat2 - широта начальной и конечной координаты на карте; deltaLat - приращение по широте.

Вычисленные значения deltaX и deltaZ являются приращением для осей X и Z соответственно.

objX = *0 + delta*, objZ = Z0 + (-deltaZ),

где objX и objZ - координаты точки на сцене дополненной реальности [15].

Результаты расчетов для тестового маршрута представлены в табл. 2.

4. Проведение эксперимента. Построение маршрута

На карте задаем точками сегменты маршрута для создания их в режиме дополненной реальности (рис. 5).

Инициализируем сцену дополненной реальности в начале маршрута в точке.

На рис. 6 и 7 представлены результаты построения маршрута, а также результаты отслеживания геопозиции пользователя на маршруте для анализа качества полученных точек по GPS.

Таблица 2

Вычисленные координаты сцены дополненной реальности [Table 2. Computed coordinate for AR scene]

Широта Долгота Смещение по долготе Смещение по широте Расстояние

[Latitude] [Longitude] [Offset latitude] [Offset longitude] [Distance]

55.790607665738925 38.43919700016806 - - 0

55.790637186838694 38.43939233127532 12.224978492197607 3.2862737939613993 12.658748279907163

55.79070514309321 38.439813942917496 38.61193410739788 10.851129443203357 40.10780048416137

55.79050494307579 38.43993051296731 45.907578778373896 -11.435034553283009 47.31031547968738

55.79040408403042 38.43997846910398 48.908958064845315 -22.6626121255378 53.90445211015675

55.79029708193492 38.4399654496344 48.09412248750543 -34.574030910073326 59.2319189983349

55.79022642140064 38.439792761745274 37.28629080109022 -42.439925605768074 56.49272652482635

55.790151503070554 38.4397685710474 35.7722935410897 -50.77979596196146 62.114933931060584

55.7900245268851 38.43979900978218 37.67732998495587 -64.9147202697816 75.05679065086598

55.789945304497145 38.439617293316154 26.304436440575017 -73.73371615612359 78.28536143824138

55.789865714112274 38.439289565788734 5.793305212529633 -82.59367727202104 82.79660465819886

55.78986205414613 38.43913933484901 -3.6090374696573067 -83.00110283983018 83.0795568601002

55.789969241354044 38.43904044576228 -9.798102669302764 -71.06907743500359 71.74139931035073

55.79005458812978 38.43897875048687 -13.659358695325283 -61.56831781946964 63.065343396300435

55.790123547746596 38.43878813629289 -25.589124795047287 -53.891768389920344 59.6584529781236

55.79016529680853 38.438644316951255 -34.59019166508795 -49.24428407415834 60.178852226622965

55.790252657035644 38.43858245811466 -38.46168431939108 -39.51938807638185 55.14610910749036

55.790486478018444 38.438482522236406 -44.71626393736429 -13.490555334339737 46.70704742272045

55.7905507838302 38.438809039411126 -24.280883755482574 -6.332065114763968 25.093154898600957

a б

Рис. 5. Построение маршрута на карте

[Figure 5. Route in maps (а) and mobile client (б)]

ke Cottee

Русский

Рис. 6. Движение по маршруту, отслеживание геопозиции [Figure 6. Move at route, location service]

Рис. 7. Маршрут в дополненной реальности [Figure 7. Route an augmented reality]

Altitude: -1.037037

le world - SCNVector3(x:.„ ition in map: Optional(55...

000 000

Заключение

Маршрутизация широко используется как для пешеходных маршрутов, так и для автомобильных. Не всегда используя карту можно понять в каком направлении необходимо двигаться. За счет использования дополненной реальности, построенной на геолокационном сервисе, пользователю сразу можно будет начать движение по нужному маршруту

Анализ и эксперимент, проведенные при построении маршрутов в дополненной реальности, показали слабые места такого подхода, а именно: определение геопозиции пользователя в момент инициализации сцены и во время движения. Происходит частое отклонение, в результате чего вычисленные смещения прибавляются к неправильным координатам с ошибкой. С целью устранения данной проблемы предлагается рассмотреть возможность корреляции данных с последующей калибровкой сцены.

Список литературы / References

1. Furht B. Handbook of Augmented Reality. Florida Atlantic University (USA). Springer; 2011.

2. Francese R, Gravino C, Michele R, Scanniello G, Tortora G. Mobile app development and management: results from a qualitative investigation. Proceedings of the 4th International Conference on Mobile Software Engineering and Systems. IEEE Press; 2017. p. 133-143.

3. Schöps T, Engel J, Cremers D. Semi-dense visual odometry for AR on a smart-phone. Proceedings of the International Symposium on Mixed and Augmented Reality (ISMAR). 2014;(1):145-150.

4. Lin T, Maire M, Belongie SJ, Hays J, Perona P, Ramanan D, Dollár P, Zitnick CL. Microsoft COCO: common objects in context. Proceedings of the European Conference on Computer Vision (ECCV). Zurich, Switzerland; 2014. p. 740-755.

5. Mur-Artal R, Tardós JD. ORB-SLAM2: an open-source SLAM system for monocular, stereo and RGB-D cameras. IEEE Transactions on Robotics. 2017;33(5): 1255-1262.

6. Kulikov AS, Mavlutov AR, Mavlutov AR. Application of augmented reality in GIS. Herald of Science and Education. 2019;2(56)(2):25-28.

Куликов А.С., Мавлютов А.Р., Мавлютов А.Р. Применение дополненной реальности в ГИС // Вестник науки и образования. 2019. № 2 (56). Ч. 2. С. 25-28.

7. Lee DH, Lee JM, Han JK, Choi BI. MR elasto-graphy of healthy liver parenchyma: normal value and reliability of the liver stiffness value measurement. Journal of Magnetic Resonance Imaging. 2013;38(5):1215-1223.

8. Venkatesh SK, Wang G, Teo LL, Ang BW, Magnetic resonance elastography of liver in healthy Asians: normal liver stiffness quantification and reproducibility assessment. Journal of Magnetic Resonance Imaging. 2014; 39(1):1-8.

9. Mourikis AI, Roumeliotis SI. A multi-state constraint Kalman filter for vision- aided inertial navigation.

Proceedings of the International Conference on Robotics and Automation (ICRA). Rome, Italy; 2007. p. 3565-3572.

10. Kim LM, Mourikis BH. Real-time motion tracking on a cellphone using inertial sensing and a rolling-shutter camera. Proceedings of the International Conference on Robotics and Automation (ICRA). 2013;(1): 4712-4719.

11. Yurlov DN. Princhip dopolnennoy realnosty v navigatsii [Augmented reality principle in navigation]. Academy. 2019;1(40):26-28.

Юрлов Д.Н. Принцип дополненной реальности в навигации // Academy. 2019. № 1 (40). С. 26-28.

12. Faure F, Gilles B, Bousquet G, Pai DK. Sparse meshless models of complex deformable solids. ACM transactions on graphics (TOG). 2011;30(4):73.

13. Baraff D, Witkin A. Large steps in cloth simulation. Proceedings of the 25th annual conference on computer graphics and interactive techniques. ACM. 1998. p. 43-54.

14. Luntovskyy A. Advanced software-technological approaches for mobile apps development. 14th International Conference on Advanced Trends in Radioelectronics, Telecommunications and Computer Engineering (TC-SET). 2018:113-118. doi: 10.1109/TCSET.2018.8336168.

15. Kim WT. Mobile Application Development Experiences on Apple's iOS and Android OS. IEEE Potentials. 2012;31(4):30-34.

Для цитирования

Юдин А.В., Стратиенко А.Н., Мадумаров М.М., Мир-ненко МА. Построение маршрутов в дополненной реальности с использованием ГИС-технологий // Вестник Российского университета дружбы народов. Серия: Инженерные исследования. 2020. Т. 21. № 3. С. 189-196. http://dx.doi.org/10.22363/2312-8143-2020-21-3-189-196

DOI 10.22363/2312-8143-2020-21-3-189-196

Research article

Construction of routes in augmented reality using GIS technologies

Alexandr V. Yudin, Artem N. Stratienko, Mukhriddin M. Madumarov, Margaryta A. Myrnenko

Peoples' Friendship University of Russia (RUDN University), 6Miklukho-Maklaya St, Moscow, 117198, Russian Federation

Abstract. At present, one of the promising directions of development in the field of information technologies is augmented reality, which offers access to real-world data through the device's camera using an interactive data display approach. Augmented reality is widely applied in various areas of life: beginning from game applications, finishing with professional applications for briefing, training for personnel in a manufacturing sector, heavy mechanical engineering and the high-tech sector, thereby providing an opportunity to use virtual instructions for implementation of the qualified operations. Also, the main way to apply augmented reality is location service - the possibility to track the position of objects on the geographic information map in real time. The article discusses ways of constructing routes in augmented reality on the field of location service data and explores the peculiarities of application. Problems identified when applying the above method are analyzed. An example of route construction is given on the map with reference to location service data and on the stage of augmented reality with calculated coordinates of route points. Methods of converting geographical coordinates into coordinates of augmented reality scene are presented.

Article history: Received: April 22, 2020 Revised: July 23, 2020 Accepted: July 24, 2020

Keywords:

routing, augmented reality, geo-information services

For citation

Yudin AV, Stratienko AN, Madumarov MM, Myrnenko MA. Construction of routes in augmented reality using GIS technologies. RUDN Journal of Engineering Researches. 2020;21(3):189-196. (In Russ.) http://dx.doi.org/10.22363/ 2312-8143-2020-21-3-189-196

Alexander V. Yudin, Associate Professor of Department of Mechanics and Mechatronics of Institute of Space Technologies of Academy of Engineering of RUDN University; Candidate of Physical and Mathematical Sciences; ORCID iD: https://orcid.org/0000-0002-6802-8603, eLIBRARY SPIN-code: 4917-0840; yudin-av@rudn.ru Artem N. Stratienko, master student of Department of Mechanics and Mechatronics of Institute of Space Technologies of Academy of Engineering of RUDN University; ORCID iD: https://orcid.org/0000-0002-3350-813X.

Muhriddin M. Madumarov, master student of Department of Mechanics and Mechatronics of Institute of Space Technologies of Academy of Engineering of RUDN University; ORCID iD: https://orcid.org/0000-0002-0904-5411.

Margarita A. Mirnenko, master student of Department of Mechanics and Mechatronics of Institute of Space Technologies of Academy of Engineering of RUDN University; ORCID iD: https://orcid.org/0000-0003-3922-2308.