Технологии интеллектуального контроля производственных процессов

УДК 004.7

ТЕХНОЛОГИИ ИНТЕЛЛЕКТУАЛЬНОГО КОНТРОЛЯ ПРОИЗВОДСТВЕННЫХ ПРОЦЕССОВ

© 2018 А.В. Иващенко1, П.В. Ситников2

1 Самарский государственный технический университет 2 Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики

Статья поступила в редакцию 12.12.2018

В статье рассматриваются прикладные аспекты внедрения технологий виртуальной и дополненной реальности при организации производства в машиностроении. Для решения задачи распознавания образов в рамках интеллектуального контроля технологических операций предлагается программная платформа, основанная на реализации искусственных нейронных сетей. С целью повышения качества распознавания предлагается дополнить программный анализатор семантическим модулем, обеспечивающим формализацию фокуса и контекста производственного процесса с помощью инженерной базы знаний об изделии в виде онтологии. Такое решение позволяет реализовать новую концепцию акцентной визуализации для мониторинга действий производственного персонала, контроля правильности и своевременности проведения технологических операций и поддержки принятия решений по повышению эффективности его работы. Практическое применение предложенной разработки позволяет произвести оптимизацию организационных структур и производственных процессов, вспомогательных и обслуживающих производств на основе широкого использования новых информационных технологий, в частности, технологий дополненной реальности (Augmented Reality). В качестве примера успешной реализации такого решения приводится опыт разработки интеллектуальной системы контроля ручных операций. Результаты работы рекомендуются в рамках реализации концепции Индустрии 4.0 на научно-производственных предприятиях машиностроения.

Ключевые слова: цифровая экономика, Индустрия 4.0, дополненная реальность, организация производства.

ВВЕДЕНИЕ

Современные тенденции по организации производства в машиностроении часто представляют в виде четвертой промышленной революции, связанной с активным и массовым внедрением в производство киберфизических систем. Этот процесс описывается концепцией Индустрии 4.0, основанной на реализации технологий анализа больших данных (Big Data), Интернета вещей (Internet of Things), машинного обучения, блокчейна, виртуальной и дополненной реальности и других современных информационных технологий. Однако, ожидания от применения конкретных решений в этой области на практике должны определяться не столько их инновационностью, сколько возможностью реального повышения эффективности функционирования и качества организации производственных систем.

Успешное решение этой задачи во многом зависит от вспомогательных информационных и программных средств, обеспечивающих

Иващенко Антон Владимирович, доктор технических наук, профессор, профессор кафедры «Вычислительная техника». E-mail: anton-ivashenko@yandex.ru Ситников Павел Владимирович, кандидат технических наук, заведующий корпоративной лабораторией комплексных цифровых решений. E-mail: sitnikov@o-code.ru

подготовку исходных данных и адаптацию полученных результатов с учетом особенностей человеческого восприятия. Основываясь на имеющемся опыте разработки программного обеспечения для моделирования и поддержки принятия решений в различных проблемных областях, можно указать ряд возможных подходов, направленных на повышение удобства использования, актуальности и производительности новых средств автоматизации. В частности, была разработана новая концепция акцентированной визуализации, которая позволяет повысить эффективность современных пользовательских интерфейсов, используемых в Индустрии 4.0.

МЕТОДОЛОГИЯ

Концепция Индустрии 4.0 интенсивно и массово описывается в современной литературе [1 - 3]. Современные цели развития цифровой экономики выделяют концепцию «Индустрия 4.0» как одну из ключевых технологических тенденций, направленных на повышение качества и конкурентоспособности продукции. Эта концепция основана на разработке киберфизиче-ских систем, способных отслеживать реальные физические процессы, дополняя их специально сгенерированными виртуальными объектами

и обеспечивая контекстную и децентрализованную поддержку принятия решений. Данные функции требуют реализации инновационных пользовательских интерфейсов, подходящих для обработки, анализа, виртуализации и представления данных изображений на основе дополненной реальности и Интернета вещей.

Через Интернет вещей [4, 5] киберфизиче-ские системы взаимодействуют друг с другом и людьми в режиме реального времени как внутри организации, так и с внешними службами. Использование нескольких устройств с различными функциями в облаке позволяет повысить качество мониторинга и поддержки принятия решений. Современные протоколы и архитектуры беспроводных сетей позволяют реализовывать различные топологии на техническом уровне.

Практическая реализация Индустрии 4.0 связана с возможностью обработки больших данных (Big Data), которая в настоящее время является отдельной областью исследований [6 - 8]. Сочетание Интернета вещей как основного источника данных и технологий анализа больших данных как мощного инструмента обработки информации успешно используется на современных производственных предприятиях. Тем не менее, анализ больших данных оказывается сложной задачей в промышленных приложениях из-за необходимости обрабатывать неструктурированные объемы данных в режиме реального времени. Результаты этого анализа должны быть представлены для лиц, принимающих решения, в виде иллюстративной информационной графики, дающей влияние на соответствующие показатели и их критические изменения. Существует требование избегать перегрузки второстепенной информацией и адаптировать целостное визуальное представление сложно структурированной информации в соответствии с гештальтом пользователя.

Основные современные тенденции визуализации контекстных данных широко исследованы в [9, 10]. Примеры приведены для медицинских данных, но могут быть легко распространены для описания сложной технической системы. Отмечено, что основная цель визуализации данных состоит в том, чтобы объединить несколько наборов данных для одновременного анализа нескольких слоев биологической системы. Система должна связывать все связанные наборы данных (например, изображения, текст, измеренные значения, сканы) и предлагать визуальную аналитику для поддержки экспертов. Этот подход поддерживает идею максимально эффективной визуализации сложных данных для профессионалов вместо автоматического принятия решений.

Эта концепция закрепилась и получила дальнейшее развитие в [11]. В этой статье пред-

ставлен подход «человек в цикле», согласно которому пользователи кибер-физических систем (лица, принимающие решения) участвуют не только в предварительной обработке, выбирая данные или функции, но в непосредственном взаимодействии с алгоритмом на этапе обучения. Основная причина заключается в том, что в случае, если набор параметров, необходимых для принятия решений, большой по размеру и различается по типам, становится проблематичным представить их в одном изображении. Поэтому предлагается вовлекать лиц, принимающих решения, в процесс обработки и визуализации данных посредством постоянного взаимодействия с системой, что помогает оптимизировать учебное поведение как людей, так и алгоритмов.

Технология дополненной реальности (Augmented Reality) [12 - 13] позволяет разрабатывать интерактивные и контекстно-зависимые пользовательские интерфейсы, которые предоставляют возможности компьютерного зрения и распознавания объектов в режиме реального времени. Эти функции делают AR мощным инструментом реализации Индустрии 4.0 на практике, который может значительно улучшить возможности интерфейсов человеко-компьютерного взаимодействия. Реализация дополненной реальности [14 - 16] позволяет пользователям проходить интерактивное обучение и получать активную помощь во время выполнения технологических операций без необходимости обращаться к комплекту документации в бумажном или электронном виде.

ТЕХНОЛОГИЯ АКЦЕНТНОЙ ВИЗУАЛИЗАЦИИ

Представим совокупность объектов сцены, видимых и не видимых (заслоненных) пользователю в виде множества w{, i = 1..Nw. В качестве объектов сцены могут выступать как реальные объекты, так и компоненты другого пользовательского интерфейса, например, в составе экрана ситуационного центра.

В ходе реализации бизнес-процесса или технологического процесса пользователь должен выполнять последовательность действий, объединенных сценарием:

sk = (tk { %Л1 = %Х1 ^ dP j AtW } Ь (1) где t?k - время начала сценария, q,, k l - событие

начала действия, dt - тип действия, k l - время ожидания начала действия согласно сценарию, At**ijkl - максимальный интервал времени, за которое событие должно произойти.

Для выполнения указанных в сценарии действий, внимание пользователя ux должно быть привлечено к определенным объектам сцены в нужные моменты времени. Для представления текущего интереса пользователя введем поня-

тие фокуса и обозначим события его изменения: e = e

где tnmx - время обращения внимания пользователя u на объект w .

x n

Сложность сценария, несовершенство пользовательского интерфейса или отсутствие навыков работы с программным обеспечением, а также влияние человеческого фактора приводят к задержкам и отклонениям от заданного сценария.

Обозначим событие попадания фокуса в заданный интервал в виде:

iKm^ = 1, если К = Wn) (3) и (t е (t0. + t*. . , , , t0. + f. . . , + ДГ. . . ,)); 0, иначе.v '

4 n, m,x 4 k i,j, k, l' k i,j, k, l i,j, k, V'' '

Обозначим количество обращений фокуса к объектам сценария в нужное время в виде: F (u , s,, d,) = S. S. S S y(e , q-,,).

4 x1 k7 l' i j n m ' 4 n, m,x li,j,k,l'

Оценка соответствия фокуса сценарию может быть произведена с помощью индикатора, определяющего количество отклонений, характеризующих недостаточное внимание:

L (u, Sk) = Si 8(F (u, s, d) < FJ ^ 0, (4) где Fmin - минимально необходимое количество обращений; 5(х) = 1, если x = true, 0, иначе.

Отметим, что в условиях оптимизации показателя (4) необходимо соблюдение условия минимизации усилий на поиск необходимых объектов:

K

Выражения (4 - 5) означают, что при высоком качестве интерфейса программного обеспечения пользователь должен обращать внимание на нужные объекты своевременно. Для решения этой задачи предлагается влиять на фокус пользователя, для чего вводится понятие контекста. Контекст формализует информационное пространство (понятийный аппарат и описание текущей ситуации), в котором он выполняет свои действия.

Согласно этому определению, контекст пользователя ux включает выборочно перечень объектов, к которым обращался пользователь, и действий сценария, о которых он знает

С (u ) = { w* х m(u, w*, f , Дt' ), q..,, x

v x' L n T v x7 n x, n x,n/7 li,j,k,l

x qy,^ ^УАР Ь

где булевы функции y(ux, w*n, t'xn, Дt'xп) и j(ux, q.j hl,

t'x., kl, Д^ . , k l) принимают значение «1», если пользователь ux помнит о соответствующих объектах и действиях сценария соответственно в момент времени t, моменты времени t' + Дt'

x n x n

и fx,, k l + Дt'x,j kl характеризуют забывание.

Функции y и j являются онтологическими отношениями, поскольку определяют динамику изменения знаний пользователя и могут быть реализованы средствами динамических семантических сетей. Для выполнения условий (4 - 5) необходимо, чтобы соответствующие отношения существовали на момент выполнения этапов каждого сценария.

Для решения этой задачи управления вниманием пользователя необходимо идентифи-

цировать отсутствие внимания пользователя с помощью отношения (4) и достраивать отношения у и )', для чего предлагается формировать оверлейный контекст:

С5

Описанная модель, включающая понятия сценария, фокуса, контекста и оверлейного контекста позволяет реализовать метод акцентной визуализации, который заключается в формировании виртуальных объектов, отметок и пояснений для привлечения внимания пользователей с помощью интерфейсов дополненной реальности.

Для реализации метода акцентной визуализации была разработана технология разработки программного обеспечения. Для пользователя (лица, принимающего решения) описывается профиль в базе знаний (онтологии), в котором выделяется фокус и контекст. Фокус используется для представления текущего интереса пользователя. Контекст формализует информационное пространство, в котором он выполняет свои действия. Фокус и контекст подвергаются влиянию поступающей информации и изменяются под влиянием поведения пользователя. В случае необходимости обновления привлекают внимание пользователя с помощью оверлейного контекста, содержащего необходимые отметки и уведомления.

СИСТЕМА ИНТЕЛЛЕКТУАЛЬНОГО КОНТРОЛЯ ТЕХНОЛОГИЧЕСКИХ ОПЕРАЦИЙ

Предложенный подход был реализован в специализированной интеллектуальной системе ручного управления операциями, разработанной на базе платформы ООО «Открытый код». Такая система реализует идеи Индустрии 4.0 для интеллектуального производства путем внедрения кибер-физической поддержки принятия решений по мониторигу действий рабочего (оператора) и идентификации возможных нарушений.

Ряд видеокамер используется для отслеживания операций в соответствии с технологическим процессом и определения объектов, которые будут использоваться в реальной сцене (детали и узлы). Интеллектуальное программное обеспечение обеспечивает распознавание изображений объектов и их сопоставление с соответствующим описанием в базе знаний. Видеопанели или очки дополнненой реальности используются для представления соответствующей контекстной информации оператору.

Результаты реализации проиллюстрированы на Рис. 1. Общее решение используется для выявления пробелов и отказов оператора в режиме реального времени, прогнозирования возможных ошибок в работе и предложения лучших проце-

Рис. 1. Интеллектуальный контроль технологических операций в рамках производствевнного процесса

дур, основанных на сравнении последовательности действий с опытом высококвалифицированных операторов, включенных в базу знаний.

Детали реализации являются конкретными с точки зрения используемых технологий. Для отслеживания и захвата объектов могут использоваться простые веб-камеры: качество видео достаточно хорошее для большинства современных моделей. Тем не менее, рекомендуется ввести минимум две камеры, чтобы уменьшить дефекты освещения, вызванные затенением и размытием. Качество освещения оказывается не столь критичным, что делает его выгодным для применения на реальных предприятиях.

Значительные изменения освещения требуют дополнительной калибровки.

Распознавание изображений и идентификация объектов проводились с использованием стандартных нейронных сетей. Было рассмотрено несколько альтернативных библиотек, в том числе Tensorflow (который является наиболее быстрым), Keras, Theano (больше не поддерживается разработчиками) и Deeplearning4j (поддерживает Java). Thesorflow был выбран для реализации, помимо высокой производительности он распространяется под открытой лицензией Apache 2.0, предоставляет доступ из Python, C ++, Java, Haskell, Go, Swift API, поддерживает Linux, Windows, macOS, iOS, Android, поддерживает Google и облачные вычисления и завоевывает высокую популярность среди разработчиков. Среди возможных топологий нейронных сетей (AlexNet, VGG16, GoogLeNet / Inception и т. Д.) Был выбран ResNet-50, остаточная сеть на базе Microsoft. ResNet-50 - это сверточ-ная нейронная сеть, которая обучается более чем миллиону изображений из базы данных ImageNet. Глубина 50 слоев с прямыми связями между нейронами, расположенными на одном уровне.

Сцена дополненной реальности может быть развернута на планшете или реализована с помощью специализированных очков, для этого примера использовался Epson Moverio. Использование дополненной реальности позволило реализовать алгоритмы, улучшающие распознавание изображений с учетом особенностей выявленных компонентов, а также результатов его внедрения и практического использования.

В качестве примера был взят один из узлов двигателя грузового автомобиля (турбокомпрессор). Идентификация объектов иллюстрируется на Рис. 2. Требуемый объект выделяется в зависимости от контекста в соответствии с технологическим процессом производства (см. Рис. 3).

Контроль технологического процесса сборки турбокомпрессора 740.60-1118010 ТКР 7С-6М

ngFromBelow

Текущая стадии

Начало сборки

Сборки следующей егадии

Установить ид ротор с колесом турбины  оборе колесо компрессора и иамрнуть eaíwy

Рис. 2. Интеллектуальный контроль ручных операций. Мониторинг действий

Контроль технологического процесса сборни турбокомпрессора 740,60 1118010 ТКР7С-6М

'гСа5И|дОпТо

Рис. 3. Интеллектуальный контроль ручных операций. Идентификация объектов и контроль правильности

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Реализация метода акцентной визуализации позволяет решить ряд проблем, связанных с особенностями применения нейронных сетей для идентификации объектов, а именно: сложностью подборки универсальной обучающей выборки, большим количеством и разнообразием деталей и сборочных единиц, возможностью взаимного перекрытия элементов конструкции, возможностью изменения режимов освещения и видимости. Выделение сценария, фокуса, контекста и оверлейного контекста на основе базы знаний об инженерном составе изделия, а также индивидуальных особенностях оператора, позволяет конкретизировать ситуацию и сузить перечень возможных решений.

Пример результатов распознавания приведен на Рис. 4. Предложенный пример требует идентификации 8 деталей в 11 этапах технологического процесса. Некоторые детали были разделены на отдельные объекты для улучшения качества идентификации. В результате было введено 27 объектов для распознавания изображений. Каждый объект был снят на видео отдельно под разными углами. Результаты передавались в нейронную сеть, которая давала разные результаты средней вероятности идентификации.

Обучение нейронной сети потребовало 27500 кадров (с разными углами и фонами) с распределением 1000 кадров в среднем на каждый объект. В результате вероятность идентификации увеличилась до 0,95, что потребовало 5500000 шагов обучения. Чтобы повысить качество идентификации, система должна знать этап эксплуатации и не требовать посторонних предметов, чтобы внешние объекты появлялись

на сцене. Последнее требование соответствует 5Б методологии организации рабочего места. Тем не менее, в случае появления боковых объектов ЛИ-устройство может пометить их и остаться исключенными из процесса распознавания изображения.

7000000

6000000

Рис. 4. Результаты обучения нейронной сети в рамках заданного примера

Принципиальные отличия предлагаемого решения от существующих разработок состоит в следующем:

В основе решения предлагается использовать базу знаний - открытое хранилище характеристической информации об изделиях. Эта информация будет использоваться в семантических алгоритмах распознавания дополнительно к искусственным нейронным сетям, что позволит обеспечить универсальность применения. Для идентификации каждого отдельного изделия, детали или сборочной единицы, а также из фрагмента может использоваться своя нейронная сеть. Применение базы знаний позволяет реализовать предобработку, создав необходимый контекст распознавания и персонифици-

рованный оверлейный контекст, адаптированный с учетом индивидуальных особенностей оператора и постобработку, фиксируя его фокус.

Предлагаемый подход в отличие от аналогов позволит существенно повысить качество распознавания дополнительно к возможностям глубокого обучения искусственных нейронных сетей. Для этого, во-первых, используются семантические технологии формализации характерных признаков и их распознавания, а во-вторых, фокус и контекст рассматриваются в отношении к сценарию выполнения соответствующих технологических операций и переходов. Это позволяет локализовать практическое использование интеллектуальных технологий и обеспечить дополнительное повышение точности идентификации объектов и их частей.

Предлагаемый подход позволяет повысить качество распознавания на основе обратной связи от пользователя, для чего используются аппаратно-программные средства трекинга внимания пользователя и очки дополненной реальности. По результатам анализа внимания пользователя производится приоритезация объектов, ассоциирование фокуса и контекста повышает приоритетность выбора объекта в группе (в том числе в условиях частичного перекрытия). Более релевантными являются объекты, которые уже просматривались пользователем, или относительно которых выполнялись определенные действия. Нерелевантные результаты исключаются из рассмотрения, что позволяет снизить вычислительную сложность алгоритмов. Повышение релевантности может быть нелинейным. Исходя из предположения, что в течение одного сценария пользователь находит искомое последним, то максимальный приоритет будет у последнего выбранного объекта. Активно применяются средства интерактивной визуализации для формирования подсказок пользователям, управления выполнением технологических операций и переходов и получения обратной связи.

В результате предложенное решение позволяет обеспечить универсальность применения интерактивных электронных технических руководств в заданной предметной области вне зависимости от количества типов изделий, их частей и исполнений.

ЗАКЛЮЧЕНИЕ

Предложенный в статье подход направлен на решение современных проблем внедрения технологий дополненной реальности и машинного обучения на промышленных предприятиях, связанных с удобством использования, производительностью и качеством распознавания изображений. Метод акцентной визуализации

позволяет реализовать мониторинг действий производственного персонала, контроль правильности и своевременности проведения технологических операций и поддержку принятия решений по повышению эффективности его работы. Практическое применение предложенной разработки позволяет произвести оптимизацию организационных структур и производственных процессов, вспомогательных и обслуживающих производств на основе широкого использования новых информационных технологий.

СПИСОК ЛИТЕРАТУРЫ

1. Digital Russia. New Reality. [Online] / Digital McKinsey, July 2017, - 133 p. https://www.mckinsey. com/ru/our-work/mckinsey-digital

2. Lasi H., Kemper H.-G., Fettke P., Feld T., Hoffmann M. Industry 4.0 // Business & Information Systems Engineering, 2014. - № 4 (6), - pp. 239 - 242

3. Kagermann H., Wahlster W., Helbig J. Recommendations for implementing the strategic initiative Industrie 4.0: Final report of the Industrie 4.0 Working Group, 2013. - 82 p.

4. Hersent O., Boswarthick D., Elloumi O. The Internet of Things: Key Applications and Protocols. - Willey, 2012. - 370 p.

5. Bessis N., Dobre C. Big Data and Internet of Things: A roadmap for smart environments. - Springer International Publishing, 2014. - 450 p.

6. Baesens B. Analytics in a Big Data world: The essential guide to data science and its applications.

- Wiley, 2014. - 232 p.

7. Surnin O.L., Sitnikov P.V., Ivaschenko A.V., Ilyasova N.Yu., Popov S.B. Big Data incorporation based on open services provider for distributed enterprises // CEUR Workshop Proceedings. Proceedings of the International conference Information Technology and Nanotechnology. Session Data Science (DS-ITNT 2017), Vol-190, 2017. - pp. 42 - 47

8. Ivaschenko A., Multi-agent solution for business processes management of 5PL transportation provider // Lecture Notes in Business Information Processing, Vol. 170, 2014, Springer International Publishing. - pp 110 - 120

9. Holzinger A. Extravaganza tutorial on hot ideas for interactive knowledge discovery and data mining in biomedical informatics // Lecture Notes in Computer Science, 8609, 2014. - pp. 502 - 515

10. Sturm W., Schreck T., Holzinger A., Ullrich T. Discovering medical knowledge using visual analytics - a survey on methods for systems biology and *omics data. Eurographics Workshop on VCBM. Eurographics (EG), 2015. - pp. 71 - 81

11. Holzinger A. Interactive machine learning for health informatics: when do we need the human-in-the-loop? // Brain Informatics, Volume 3, Issue 2, 2016.

- pp. 119 - 131

12. Navab N. Developing killer apps for industrial Augmented Reality // IEEE Computer Graphics and Applications. Vol. 24, Iss. 3. 2004. - pp. 16 - 20

13. Singh M., Singh M.P. Augmented Reality interfaces // IEEE Internet Computing, Vol. 17, Iss. 6, 2013. - pp. 66 - 70

14. Ivaschenko A., Khorina A., Sitnikov P. Accented visualization by augmented reality for smart manufacturing applications // 2018 IEEE Industrial Cyber-Physical Systems (ICPS), ITMO University, Saint Petersburg, Russia, 2018. - p. 519 - 522

15. Ivaschenko A., Sitnikov P., Milutkin M., Khasanov D., Krivosheev A. AR optimization for interactive

user guides // Proceedings of Intelligent Systems Conference (IntelliSys 2018). 6-7 September 2018. London, UK, 2018. - pp. 1183 - 1186 16. Иващенко А.В., Ситников П.В., Катиркин Г.В., Сур-нин О.Л. Акцентная визуализация в интерфейсах дополненной реальности // Программные продукты и системы, 2018. № 4. C. 740 - 744

PRODUCTION PROCESSES INTELLIGENT MONITORING AND CONTROL

© 2018 A.V. Ivaschenko1, P.V. Sitnikov2

1 Samara State Technical University 2 ITMO University, St. Petersburg

The article discusses the aspects of virtual and Augmented Reality application in the organization of production in industrial engineering. To improve the quality of pattern recognition within the framework of intellectual control of technological operations, it is proposed to develop a software platform based on the implementation of artificial neural networks. It is proposed to supplement the software analyzer with a semantic module that provides formalization of the focus and context of the production process using the engineering knowledge base about the product in the form of ontology. The proposed solution allows implementing a new concept of accented visualization to monitor the actions of production personnel, monitor the correctness and timeliness of technological operations and support decision-making support to improve the efficiency. Practical application of the proposed approach provides optimization of organizational structures and production processes, auxiliary and service industries based on the wide use of new information technologies, like Augmented Reality. As an example of the successful implementation of such a solution, there is described an experience of developing an intelligent control system for manual operations. Research results are recommended under the framework of implementation of the concept of Industry 4.0 for modern enterprises of industrial engineering.

Keywords: digital economy, Industry 4.0, Augmented Reality, industrial engineering.

Anton Ivaschenko, Dr.Tech.Sc., Professor, Professor of

"Computer Science" Department.

E-mail: anton-ivashenko@yandex.ru

Pavel Sitnikov, PhD, Head of Laboratory of Complex Digital

Solutions. E-mail: sitnikov@o-code.ru