СОВРЕМЕННЫЕ ТЕХНОЛОГИИ ВИЗУАЛИЗАЦИИ АРХИТЕКТУРНЫХ ОБЪЕКТОВ

УДК 004.94

Технические науки

Куляшова Наталья Михайловна, доцент, канд. физ.-мат. наук, доцент кафедры фундаментальной информатики факультета математики и информационных технологий ФГБОУ ВО «Национальный исследовательский Мордовский государственный университет им. Н. П. Огарёва»,

Россия, г. Саранск

СОВРЕМЕННЫЕ ТЕХНОЛОГИИ ВИЗУАЛИЗАЦИИ АРХИТЕКТУРНЫХ

ОБЪЕКТОВ

Аннотация: Предметом исследования является визуализация трехмерных объектов средствами дополненной реальности. В статье рассмотрены процессы проектирования и реализации мобильного приложения с технологией дополненной реальности для интерактивной визуализации архитектурных объектов. Описаны архитектура и логика приложения.

Ключевые слова: дополненная реальность, визуализация, 3D моделирование, виртуальные объекты, мобильное приложение, программная реализация.

Annotation: The subject of the study is the visualization of three-dimensional objects by means of augmented reality. The article considers the processes of designing and implementing a mobile application with augmented reality technology for interactive visualization of architectural objects. The architecture and logic of the application are described.

Keywords: augmented reality, education, visualization, 3D modeling, virtual objects, mobile app, software implementation.

Введение. «Дополненная реальность (Augmented Reality, AR) - феномен пространственно-временного континуума, совмещающий в себе объективную и виртуальную реальности и обладающий рядом специфических качеств и свойств, которые недоступны в объективной и виртуальной реальности по отдельности» [4].

Технология дополненной реальности является весьма разносторонней и включает в себя возможность визуализации, триггеры (контекстные процедуры, вызываемые определенными действиями), визуальные инструкции и подсказки.

Визуализация с помощью AR может применяться в медицине, военной технике, образовании, играх, полиграфии, туризме, рекламе, различных B2B-решениях (Business to business, бизнес для бизнеса), интерактивных развлечения и т. д. В рамках исследования, описываемого в статье, приоритетной областью применения дополненной реальности является визуализация архитектурных объектов.

Некоторые эксперты говорят, что уже в ближайшем будущем все участники строительной индустрии будут получать всю необходимую информацию о процессе строительства с помощью очков дополненной реальности или мобильного AR-приложения. Технология дополненной реальность заменит многочисленные чертежи, что окажет значительную поддержку архитекторам непосредственно на строительной площадке или при общении с заказчиком.

Постановка задачи. Дополненная реальность делает ненужным классический архитектурный макет, у которого и так есть существенные недостатки в виде низкой детализации, проблем с передачей цветовых элементов и высокой стоимости. AR-технология позволяет избежать минусы физических макетов и, благодаря мобильности, продемонстрировать клиенту будущее сооружение со всех сторон. Для демонстрации достаточно положить на стол бумагу с напечатанным маркером и навести на него камеру смартфона или планшета, а приложение дополненной реальности покажет высокое качество трехмерной визуализации, мельчайшие детали и реалистичные цвета объекта.

Это и определило необходимость разработки мобильного приложения с технологией дополненной реальности для интерактивной визуализации архитектурных объектов.

Выбор среды разработки AR-приложения. Для создания мобильного приложения с технологией дополненной реальностью, в первую очередь, «необходимыми являются два основных элемента: трекинг и визуализация.

На данный момент существует много различных теоретических и алгоритмических наработок для их реализации, а также программных инструментов для разработчиков. Они представлены как в виде разнообразных автономных компонентов (фреймворки и библиотеки компьютерного зрения, движки 3D графики), так и в виде комплексных решений: интегрированных сред разработки» [1] (Integrated Development Environment, IDE) и наборов инструментов разработчика (Software Development Kit, SDK).

В качестве инструмента для реализации трекинга был выбран EasyAR SDK, т. к. по своим характеристикам и условиям использования полностью подходит для разработки приложения визуализации архитектурных объектов средствами дополненной реальности. Также весомым аргументом является поддержка наиболее широкого сегмента мобильных устройств и стабильная работа на мобильных платформах.

«В результате поиска и анализа среди множества существующих решений была выбрана интегрированная среда разработки Unity.

Unity - кроссплатформенная среда разработки 2D и 3D приложений и игр, работающая под операционными системами Windows, Linux и OS X. Приложения, созданные с помощью Unity, работают на Windows, OS X, Windows Phone, Android, iOS, Linux, а также на игровых консолях, смарт очках и веб-браузерах» [5].

Преимуществами Unity являются:

- наличие визуальной среды разработки,

- межплатформенная поддержка, позволяющая собирать проект с одним исходным кодом и ресурсами сразу под все поддерживаемые платформы,

- графический движок, оптимизированный под мобильные устройства,

- легко настраиваемый и простой Drag & Drop интерфейс,

- возможность отладки приложения прямо в среде,

- наличие движка для рендеринга в реальном времени,

- поддержка множества популярных 3D и звуковых форматов,

- активное сообщество пользователей и большое количество готовых наработок и решений.

«Объекты в Unity создаются посредством объединения функциональных блоков, а не помещения в узлы дерева наследования. Такой подход облегчает создание прототипов, что актуально при разработке интерактивных приложений и игр. Незначительным минусом можно назвать отсутствие поддержки ссылок на внешние библиотеки, работу с которыми приходиться настраивать вручную» [2].

Выбор программных инструментов для 3D моделирования. 3D

моделирование - это техника компьютерной графики, которую используют для создания трехмерного цифрового представления объекта.

Для создания качественных 3D моделей архитектурных объектов было решено использовать три инструмента компьютерной графики:

- Cinema4D для создания трехмерных объектов,

- UVLayout как средство развертки трехмерной модели в двумерную,

- Substance Painter с целью текстурирования и окрашивания моделей.

Выбранные инструменты компьютерной графики полностью

удовлетворяют предъявляемым требованиям и обладают всеми необходимыми

функциями для создания трехмерных моделей архитектурных объектов и позволяют добиться качественных результатов.

Разработка и реализация мобильного AR-приложения для визуализации архитектурных объектов. Разработанное приложение предоставляет возможность просматривать виртуальные объекты не только в AR-режиме, но и в режиме 3D, т. к. этот режим позволит более детально рассмотреть модели архитектурных объектов, благодаря более привычному для пользователя механизму приближения и отдаления, а также вращения объекта. Также у пользователя есть возможность прослушать звуковую дорожку, соответствующую каждому из архитектурных объектов путем прикосновения к модели, а некоторые из них рассмотреть изнутри по нажатию соответствующей кнопки.

Для 3D моделирования выбрано 4 архитектурных объекта, поделенные на две категории. К первой категории относятся достопримечательности города Саранск: Кафедральный собор Федора Ушакова и главный корпус НИ МГУ им. Н. П. Огарёва. Вторая категория - модели, заменяющие архитектурные макеты для демонстрации заказчику: офисное здание и загородный коттедж.

Созданное приложение поддерживается операционной системой Android версии 5.0 и выше [3].

Архитектура и логика приложения. Архитектура разработанного приложения (рис. 1) состоит из следующих структурных элементов:

- интерфейс для взаимодействия с пользователем приложения,

- модуль рендеринга, обеспечивающий визуализацию и корректное отображение 3D моделей,

- система трекинга, отвечающая за распознавание маркеров и внедрение виртуальных объектов в реальный мир,

локальное хранилище 3D моделей и маркеров для трекинга.

Главное меню приложения (рис. 2) состоит из двух опций: кнопка «Старт», по нажатию на которую, пользователю предоставляется весь имеющийся

функционал приложения, и кнопка «Как это работает», предоставляющая инструкцию по работе с приложением.

На странице с инструкцией (рис. 3) также расположена кнопка, по нажатию на которую осуществляется переход на внешний облачный ресурс, с которого можно скачать маркеры для работы с приложением.

Рисунок 1 - Архитектура приложения

АКсЫЧес^иге

СТАРТ

КАК ЭТО РАБОТАЕТ

Рисунок 2 - Главное меню приложения

АРсЫЧесШге - это приложение дополненной реальности для визуализации различных архитектурных объектов. Данное приложение реализовано в рамках выпускной квалификационной работы. Инструкция

1. Нажмите на кнопку "Скачать маркеры" внизу этой страницы, чтобы получить маркеры для работы с приложением и распечатайте их.

2. Положите распечатанный маркер на горизонтальную поверхность.

3. В главном меню нажмите кнопку "Старт" и наведите камеру мобильного устройства на маркер.

Для того чтобы посмотреть объект в 30 режиме, нажмите соответствующую кнопку.

Скачать маркеры

Рисунок 3 - Страница с инструкцией пользователя

Общий принцип работы приложения состоит из следующих шагов:

1. Изображение, получаемое с камеры мобильного устройства, передается в систему трекинга, где производится поиск известного маркера, хранящегося в локальной базе приложения.

2. Когда маркер был распознан системой трекинга, 3D модель, связанная с этим маркером, извлекается из хранилища, а затем проецируется на него в заранее заданном положении и масштабе относительно маркера.

3. Окончательная визуализация строится путем наложения виртуальной модели на реальное изображение с камеры, после чего происходит отрисовка финальной картины дополненной реальности.

Маркеры для трекинга. Для реализации приложения решено использовать оптический трекинг на основе маркеров, поэтому необходимо создать эти самые маркеры и загрузить их в локальное хранилище приложения,

чтобы система трекинга могла однозначно их идентифицировать в потоке кадров камеры мобильного устройства.

EasyAR SDK, который был выбран в качестве программного инструмента для реализации процесса трекинга, поддерживает распознавание, как простых изображений, так и QR-кодов, маркеры для работы приложения представлены в этих двух вариантах (рисунок 4). Изображение было создано с помощью программы Adobe Photoshop, а QR-код сгенерирован на веб-сайте «QR Coder».

Рисунок 4 - Маркеры для трекинга

По факту, это один и тот же маркер с точки зрения программной реализации приложения, к которому привязаны все четыре 3D модели архитектурных объектов, т. к. было принято решение минимизировать действия пользователя и не принуждать его каждый раз менять маркер в поле зрения камеры для просмотра другого объекта. Для этой задачи был реализован механизм, позволяющий средствами пользовательского интерфейса переключать отображаемую 3D модель на следующую.

Как только один из этих маркеров попадает в поле зрения камеры мобильного устройства, система трекинга распознает его как известный и

подготавливает одну из привязанных к нему 3D моделей к визуализации средствами дополненной реальности.

Оптимальным размером маркера для данного приложения был принят размер 8х8 см, в предположении просмотра объекта в масштабах небольшой горизонтальной поверхности (например, стола). Для просмотра объекта в более крупном масштабе нужно лишь распечатать маркер более крупного размера.

В случае, когда в поле зрения камеры попадают сразу оба маркера, распознается только один из них, которых был замечен системой трекинга раньше другого.

Программная реализация приложения. Подключения библиотеки для работы с трекингом недостаточно для того, чтобы трекинг стал работоспособным. Необходимо произвести настройку библиотеки и написать собственные модули и сценарии под реализуемое приложение, используя язык программирования C Sharp (C#).

EasyAR не предоставляет функцию вызова для визуализации контента на маркере. Поэтому был создан собственный класс, определяющий произошло ли распознавание маркера, который имеет функции OnTargetFound и OnTargetLost, которые вызываются при обнаружении и потери камерой маркера соответственно и возвращают значение True или False в логическую переменную isTracking, которая используется в контроллере AR-режима для отображения 3D модели.

Также были написаны модули и контроллеры для управления приближением, отдалением и вращением объекта в 3D режиме; интерактивного взаимодействия с объектом; работы в AR-режиме; главного меню приложения; переключения режимов приложения и ориентации экрана устройства. Исходные коды некоторых из них представлены в приложении А.

В ходе тестирования приложения не было выявлено высокоприоритетных и критичных дефектов, поэтому настоящую версию приложения можно считать стабильной и работоспособной. Весь функционал приложения работает без ошибок.

Результаты работы приложения показаны на рис. 5.

ЗРШ

х

Заключение. Разработанное приложение ориентируется на принцип массовой доступности, поэтому оно работоспособно на большинстве современных мобильных устройств. Приложение имеет оригинальные механизмы управления содержимым и работает не только в режиме дополненной реальности, но и в режиме 3 D просмотра. Применяемые методики могут использоваться для разработки коммерческих программных продуктов для различных сфер. Результаты работы подтверждают значение дополненной реальности на пути развития абсолютно новых парадигм пользовательского интерфейса.

Библиографический список:

1 Аникин М. А. Реализация трекинга для дополненной реальности на мобильных устройствах / М. А. Аникин, М. С. Ловчиков // Технические и математические науки. Студенческий научный форум: электр. сб. ст. по мат. XVI междунар. студ. науч.-практ. конф. - М., 2019. - № 5(16). - C. 6-11.

2 Ловчиков М. С. Современные подходы к разработке AR-приложений / М. С. Ловчиков, М. А. Аникин // Материалы XXII науч.-практ. конф. молодых ученых, аспирантов и студентов НИ МГУ им. Н. П. Огарёва: в 3 ч. Ч. 2. Естественные науки. - Саранск, Изд-во Мордов. ун-та, 2019. - С. 384-388.

3 Карпюк И. А., Куляшова Н. М. Сравнительный анализ мобильных приложений и инструментальных средств их разработки // Научно-методический электронный журнал «Концепт». - 2017. - Т. 31. - С. 826-830 - URL: http://e-koncept.ru/2016/46492.htm. (дата обращения: 17.03.2022).

4 Макеев С. Н. Генезис понятия дополненной реальности / С. Н. Макеев, А. Н. Макеев // Учебный эксперимент в образовании. - Саранск, 2013. - С. 8-14.

5 Unity - Руководство [Электронный ресурс]: [сайт] - 2019. - URL: https://docs.unity3d.com/ru/current/Manual/. - (дата обращения: 17.03.2022).