Устройство для распознавания жестов путём обнаружения и анализа мышечной активности методом электромиографии

Полезная модель относится к устройствам ввода-вывода для взаимодействия пользователя с компьютером, а в частности к устройству для распознавания жестов,  носимому человеко-машинному интерфейсу (ЧМИ, англ. Human-machine interface, HMI), основанному на регистрации электрических сигналов от сокращения мышц, методом поверхностной электромиографии.
Поверхностная электромиография (ЭМГ) – это метод регистрации электрических сигналов, возникающих во время мышечных сокращений между заземлённым электродом и электродом датчика ЭМГ. Применение этого метода в специальных носимых человеком устройствах позволяет реализовать ЧМИ в виде жестового интерфейса, или миоинтерфейса, заменить им привычные устройства ввода-вывода механического воздействия, такие как компьютерная мышь, сенсорная панель, пульт дистанционного управления, и управлять различными объектами без физического прикосновения к ним. Такими объектами могут быть  протезы, реабилитационные тренажёры, телефон, игрушка, летательный аппарат.
Одним из вариантов такой конструкции может быть носимое на руке устройство ЧМИ в виде ленты-повязки или браслета, способного считывать электрические сигналы мышц, анализировать мышечную активность и распознавать жесты руки, превращая их в управляющие сигналы для различных устройств и технических объектов.
Электрические сигналы мышц представляют собой аналоговый сигнал в виде достаточно хаотической последовательности импульсов небольшой амплитуды, до единиц милливольт, и не могут быть непосредственно использованы в качестве входящего сигнала для устройств ЧМИ.
Одним из ограничений обнаружения входящего сигнала от сокращения мышц является то, что датчики ЭMГ очень чувствительны к изменениям условий эксплуатации. На сигналы, генерируемые этими датчиками, могут влиять потоотделение кожи, количество волос и содержание жира в коже, влияние активности от других мышц, движения кожи по мышцам, электромагнитные помехи в окружающей среде и т.д.
Для регистрации сигналов поверхностной ЭМГ применяют датчики ЭМГ двух типов: резистивные датчики ЭМГ и ёмкостные датчики ЭМГ. Электрод резистивного датчика ЭМГ обычно содержит пластину из электропроводящего материала, которая находится в прямом физическом контакте с кожей пользователя, в то время как электрод ёмкостного датчика ЭМГ обычно содержит пластину из электропроводящего материала, которая электрически изолирована от кожи пользователя, по крайней мере, одним тонким промежуточным слоем диэлектрического материала.
Из уровня техники известны документы, в которых описано носимое устройство ЧМИ, включающее в себя улучшенные ёмкостные ЭМГ-датчики.
В заявке US 20 190 033 967 раскрыто преимущество ёмкостных датчиков ЭМГ.
Предлагаемые улучшенные ёмкостные датчики ЭМГ обеспечивают повышение надёжности за счёт дополнительного диэлектрического слоя на основе керамики, которым покрыты пластины электродов датчика. Данный диэлектрический слой является барьером для защиты пластин электродов датчика от влаги на поверхности кожи,  и, в то же время, выгодно способствует увеличению ёмкости между электродом датчика ЭМГ и телом пользователя, при этом он все ещё остаётся чувствительным к влаге. Ёмкостной датчик ЭМГ обязательно дополнительно включает в себя заземляющий электрод, поверхность которого не покрыта диэлектрическим слоем, этим он также отличается от резистивного датчика ЭМГ.
Ёмкостная связь обеспечивает относительно высокое сопротивление между кожей и датчиком, и это может усложнить схему, необходимую для усиления обнаруженных сигналов ЭМГ, делая  её более дорогой.
В заявке US 20 180 344 195 раскрыто носимое ЭМГ-устройство, представляющее собой ЧМИ и включающее в себя такие ёмкостные ЭМГ-датчики, которые объединяют элементы традиционных ёмкостных и резистивных датчиков ЭМГ. Например, описаны ёмкостные датчики ЭМГ, которые адаптированы к резистивному соединению с кожей пользователя. При этом резистивная связь между электродом датчика и кожей потребителя гальванически изолирована от электрических цепей датчика конденсатором, включённым в электрическую цепь, соединяющую электроды датчика с усилителем. Сочетание резистивно связанного электрода с кожей и конденсатора обеспечивает соответствующие преимущества традиционных резистивных и ёмкостных конструкций датчиков ЭМГ при одновременном смягчении соответствующих недостатков каждого.
Резистивная связь с кожей, реализуемая резистивным датчиком ЭМГ, обеспечивает относительно низкий импеданс между кожей и датчиком, по сравнению с ёмкостной связью, и это может значительно упростить схему, необходимую для усиления обнаруженных сигналов ЭМГ. Однако, поскольку резистивная связь является по существу гальванической, она может подать на схему усиления паразитное постоянное напряжение, приложенное к коже пользователя. Ёмкостные датчики усиления таким эффектом не обладают, так как гальванически изолируют цепи усиления от кожи. Оба этих эффекта потенциально влияют на качество обнаруженных сигналов ЭМГ. Очевидно, что ни один из типов поверхностных датчиков ЭМГ не является идеальным.
Поэтому наравне с задачей усовершенствования датчиков ЭМГ необходимы и другие приёмы, направленные на создание устройства, способного выделить полезный сигнал из уровня шумов.
На отношение сигнал/шум существенно влияют такие факторы, как положение электродов на теле человека, плотность прижатия электродов к коже, шумы элементов микросхем, неверная интерпретация посылаемых мышцами электрических сигналов.
В патенте US 9 299 248 описано устройство управления мышцами на основе сигналов ЭМГ, в котором применены комбинации из различных типов датчиков: ёмкостных датчиков ЭМГ, инерционных и вибрационных датчиков для управления объектами с помощью жестов. Дополнительные датчики являются механическими, не оказывают влияния на сигнал, и могут обеспечить надёжное управление. Устройство представляет собой  носимую на руке  растягивающуюся полосу, которая способна оставаться в стационарном положении на предплечье пользователя. Полоса содержит в себе комбинации различных типов датчиков, приспособленных для обнаружения множества жестов, выполняемых пользователем. Обнаруженные пользовательские жесты, полученные по результатам анализа сигналов от датчиков, обрабатываются, после чего генерируется управляющий сигнал, позволяющий пользователю взаимодействовать с подключённым управляемым устройством. Устройство содержит также модуль для фильтрации и обработки сигналов, полученных от датчиков, аналого-цифровой преобразователь для преобразования аналогового сигнала в цифровой, калибровочный модуль с подпрограммой для калибровки, и блок обработки, выполненный с возможностью распознавания жестов пользователя по результатам анализа обработанных сигналов ёмкостных ЭМГ-датчиков, инерционных и вибрационных датчиков.
Ёмкостные датчики ЭМГ не требуют непосредственного контакта с кожей пользователя, и поэтому более устойчивы к изменениям сигнала, которые характерны для резистивных датчиков, но при этом ёмкостная связь обеспечивает относительно высокое сопротивление между кожей и датчиком, и для усиления сигнала каждый такой датчик должен быть дополнительно снабжён усилителем и дополнительным заземлённым электродом. Это усложняет устройство, делая схему усиления более дорогой, кроме того, уменьшается полезная площадь электродов для снятия сигналов поверхностной ЭМГ, т.к. необходимо иметь на датчике три электрода, а именно, два сигнальных электрода и заземлённый электрод.
Подготовка и предварительная настройка устройства к работе путём правильного предварительного размещения датчиков и точной калибровки, желательно в автоматическом режиме, способствуют возможности получения наилучшего отношения сигнал/шум.
Этот уровень техники известен из патента US 8170 656, в котором описан носимый электромиографический контроллер, который включает в себя множество ёмкостных датчиков ЭМГ, и обеспечивает проводной или беспроводной человеко-машинный интерфейс для взаимодействия с вычислительными системами и подключёнными устройствами с помощью электрических сигналов, генерируемых конкретными движениями мышц пользователя. Измерение и интерпретация электрических сигналов, генерируемых мышцами, осуществляется после автоматизированного процесса самокалибровки и позиционной локализации, путём выборки сигналов от датчиков ЭМГ. При надевании носимый электромиографический контроллер занимает приблизительное положение на поверхности кожи пользователя. Затем пользователю предоставляются инструкции или подаются автоматические сигналы для точной настройки размещения носимого электромиографического контроллера, а также электродов или датчиков контроллера. Изделие контроллера может иметь вид нарукавной повязки, наручных часов или быть предметом одежды, имеющей множество интегрированных сенсорных узлов на основе ЭМГ и связанную с ними электронику.
Чтобы найти оптимальное местоположение носимого контроллера и проверить точность размещения датчиков, пользователь производит калибровку. Во время калибровки выполняются определённые жесты. После калибровки пользователю может быть дано указание подвинуть или переместить электроды вручную для того, чтобы обеспечить распознавание жестов. Ручное, а возможно неоднократное, изменение местоположения электродов не совсем удобно. В этом устройстве так же используются ёмкостные датчики, преимущество которых заключается в отсутствии прямого контакта с кожей.
Однако, в связи с тем, что потенциалы и токи на поверхности кожи очень малы, а кроме того, в окружающей среде присутствует большое количество помех в виде электромагнитных шумов, влияющих на измерение потенциала бесконтактным способом, точность распознавания при дистанционном расположении датчиков сравнима с классическими датчиками сопротивления, расположенными на поверхности кожи.
Таким образом, с учетом достоинств и недостатков устройств, известных из уровня техники, задачей, на решение которой направлена настоящая полезная модель, является разработка устройства для распознавания жестов путём обнаружения и анализа мышечной активности методом электромиографии, носимого на руке, повышение достоверности  распознавания жестов  обеспечивающей точность передаваемой команды на управляемый объект.
Техническим результатом, достигаемым приведённой совокупностью существенных признаков, является упрощение устройства, повышение точности и достоверности распознавания жестов за счёт снижения влияния уровня шумов на сигнал электрической мышечной активности.
Указанный технический результат, при осуществлении полезной модели, достигается за счёт того, что устройство для распознавания жестов путем обнаружения мышечной активности методом электромиографии, выполненное в виде эластичной ленты или браслета, носимое на предплечье, в котором размещены блок преобразования аналоговых сигналов в цифровой код, включающий последовательно соединённые  электроды датчиков ЭМГ,  фильтры низких частот  и аналого-цифровой преобразователь с усилителем,   инерционные датчики,   источник питания,  модуль управления внешними устройствами, подключенные   к микроконтроллеру, обрабатывающему данные и запрограммированному по типу встроенной  нейронной сети,  который содержит   модуль калибровки с подстройкой встроенной нейронной сети,   подключённые к нему  модуль хранения фиксированного набора заранее заданных жестов пользователя и   обучающий модуль в виде  памяти процесса обучения  для адаптации   устройства  к определенному жесту из фиксированного набора, а выход    модуля калибровки  соединен обратной связью для осуществления подстройки нейронной сети с входом обучающего модуля, а также  и входом  модуля  распознавания,  который  на основе предварительной обработки  информации от  датчиков ЭМГ, инерционных датчиков и  команд  модуля хранения фиксированного набора жестов пользователя, генерирует сигнал, который несет информацию о жесте, сравнивает его с информацией от набора жестов, поступающей из памяти обучающего модуля и формирует на выходе управляющий сигнал, причем выход модуля   распознавания соединён со входом модуля управления внешними устройствами,  микроконтроллер  дополнительно содержит модуль определения опорного электрода, датчика ЭМГ, имеющего наименьший уровень сигнала, при этом  модуль определения опорного электрода соединен с выходом АЦП и с выходом модуля хранения фиксированного набора заранее заданных жестов пользователя, который  для расширения функциональных возможностей устройства, дополнительно имеет обратную связь с модулем калибровки с подстройкой нейронной сети,  в качестве датчиков ЭМГ используют датчики сопротивления, а регистрируют электрические сигналы мышечных сокращений между опорным   электродом и электродами датчиков ЭМГ.
Резистивная связь с кожей, реализуемая резистивным датчиком ЭМГ, обеспечивает относительно низкий импеданс по сравнению с ёмкостной связью, что значительно упрощает схему усиления обнаруженных сигналов ЭМГ. Схема также упрощается за счёт отсутствия необходимости использования опорного с нулевым потенциалом электрода в составе каждого датчика, так как опорным электродом становится любой резистивный датчик, местоположение которого определено в начале работы устройства и соответствует позиции над локтевой или лучевой костью.
В процессе разработки устройства, экспериментально было определено количество электродов, размещаемым на носимом устройстве, которое даёт оптимальный и достаточный вклад в улучшение распознавания жестов. Количество электродов, с учётом их размера и размеров предплечья у различных людей, составляет не менее 6 и не более 10. Меньшее количество электродов будет давать недостаточно информации, что снизит точность и достоверность распознавания жестов, а количество электродов больше 10 повлечёт увеличение затрат на обработку данных и будет избыточным, так как сигналы от рядом расположенных электродов будут коррелировать друг с другом.
При выборе оптимального количества электродов, в пределах заявленного, все электроды участвуют в измерениях. По сравнению с прототипом появляется возможность сделать каждый электрод большей площади, как за счёт выбора оптимального количества электродов, так и за счёт отсутствия дополнительного опорного электрода в каждом резистивном датчике ЭМГ, в результате чего может быть уменьшено переходное сопротивление контакта «электрод-кожа», и тем самым повышено отношение сигнал/шум, точность и достоверность распознавания жестов.
Обратная связь модуля калибровки и подстройки нейронной сети с модулем хранения фиксированного набора заранее заданных жестов пользователя, позволяет расширить функциональные возможностей устройства и использовать его людям с ограниченными возможностями, у которых плохо или совсем не действует часть мышц.
Полезная модель иллюстрируется приведённым ниже примером реализации и фигурами чертежей, на которых представлены:
Фиг. 1 – Блок-схема устройства для распознавания жестов.
Фиг. 2 – Функциональная схема, иллюстрирующая подготовку к работе и работу устройства для распознавания жестов.
В устройстве, выполненном в виде эластичной ленты или браслета 1, носимом на предплечье, размещены электроды датчиков ЭМГ 2. Электродами датчиков ЭМГ 2 снимаются с мышц на поверхности кожи сигналы, которые поступают на фильтры нижних частот 3, которые отсекают частоты выше 1,5 кГц, т.к. в высокочастотной области нет полезной информации для распознавания жестов. После фильтров нижних частот 3 сигналы поступают в аналого-цифровой преобразователь, АЦП 4. С помощью АЦП 4 сигналы с электродов датчиков ЭМГ усиливаются, а затем дополнительно фильтруются фильтром верхних частот, для отсечения частот ниже 10 Гц, где так же нет полезной информации, и преобразуются в цифровой вид. Цифровой сигнал поступает в микроконтроллер 5, который и служит для обработки сигналов датчиков ЭМГ и распознавания жестов с помощью встроенной нейронной сети.
Источник питания 6, который может содержать в своём составе аккумулятор, осуществляет питание устройства и преобразует входное напряжение в необходимый для работы устройства набор напряжений. Устройство содержит инерционные датчики 7: гироскоп, акселерометр, служащие для получения дополнительной информации о возможных движениях руки пользователя и для активации режима энергосбережения. Устройство может передавать управляющий сигнал на внешние устройства с помощью модуля управления внешними устройствами 8 посредством интерфейсов Bluetooth, USB или др.
В состав микроконтроллера 5, Фиг.2, входят: модуль определения опорного электрода датчика ЭМГ 9, который при одевании браслета занимает положение над костью и имеет нулевой потенциал, модуль хранения фиксированного набора заранее заданных жестов пользователя 10, который служит для передачи пользователю информации о выполнении определенных жестов в количестве от 5 до 7 жестов, модуля калибровки с подстройкой встроенной нейронной сети 11, обучающий модуль 12.
В памяти обучающего модуля 12 записаны усреднённые коэффициенты нейронной сети, обученной на данных от 20 человек.  Процесс обучения  необходим, он заключается в адаптации устройства к конкретным движениям рук пользователя из  фиксированного набора заранее заданных жестов. Подключают процесс обучения для адаптации устройства, чтобы устройство отвечало нужными реакциями на определённые внешние воздействия.   Модуль распознавания 13.
Описание предварительной настройки устройства и его работы ведётся по поясняющей функциональной схеме Фиг.2.
Пользователь надевает устройство, например, браслет на предплечье, таким образом, чтобы один из электродов датчиков ЭМГ 2 располагался над локтевой или лучевой костью.
После того, как устройство закреплено на руке, пользователь включает устройство, либо подаёт команду о готовности с внешнего устройства, например, с телефона, ноутбука.
После приёма команды в устройстве начинает работать модуль хранения фиксированного набора заранее заданных жестов пользователя 10 в режиме совместной работы с модулем определения опорного электрода датчиков ЭМГ 9. Даются указания пользователю о том, какой жест или жесты необходимо выполнить, например, пять сжатий в кулак с интервалом в пять секунд. Эти указания могут быть даны, например, с помощью информации на экране внешнего устройства телефона, ноутбука. Во время выполнения жестов пользователем начинает работать модуль определения опорного электрода датчика ЭМГ 9, чтобы определить, какой электрод из установленных на браслете датчиков ЭМГ общим количеством от 6 до 10, располагается над костью. Во время выполнения жестов устройство оценивает с какого электрода поступает наименьший по уровню сигнал и делает вывод о том, что данный электрод является опорным и располагается над костью. Для уточнения положения также могут анализироваться данные с инерционных датчиков: акселерометра, гироскопа. Когда таким образом устройство выбирает опорный электрод, то повышается амплитуда сигнала, а, следовательно, улучшается отношение сигнал/шум. Кроме этого повышается удобство для пользователя, так как ему не надо подбирать размещение браслет на предплечье в определённом положении, а достаточно выполнить лишь одно условие – один из электродов должен находиться над костью чуть ниже локтя.
После того, как устройство определит какой электрод является опорным, начинает работать модуль калибровки с подстройкой встроенной нейронной сети 11, с модулем хранения фиксированного набора пользовательских жестов 10. Пользователю даются указания, какие жесты необходимо выполнить, например, 5 сгибов ладони вправо, 5 сгибов ладони влево.
Модуль 11 сравнивает сигналы с датчиков ЭМГ 2 и с  инерционных датчиков 7 с данными, которые поступают из памяти учебного модуля  12, после чего выдаёт сигнал  о соответствии или несоответствии данных, а также о необходимости подстройки встроенной нейронной сети. Модуль 11 обеспечивает вычисление новых коэффициентов и запись их в память учебного модуля 12.
После окончания калибровки устройство готово к работе и начинает работать модуль распознавания 13. Он анализирует сигналы с датчиков ЭМГ, а также инерционных датчиков 7, команд модуля 10 и с помощью памяти учебного модуля 12 распознаёт выполненный пользователем жест с помощью встроенной нейронной сети, а затем выдаёт сигнал управления на модуль управления внешними устройствами 8, который передает команду управления на внешний управляемый объект или устройство. Модуль  8 может быть представлен одним или несколькими  беспроводными интерфейсами передачи данных, Wi-Fi, Bluetooth или другими, или, при необходимости, проводным интерфейсом. Внешним управляемым устройством может являться протез, телефон, компьютер, игрушка, летательный аппарат и т.д.
В устройстве имеется возможность  работы  пользователей с ограниченными возможностями, у которых по причине хирургических последствий плохо или совсем не действует часть мышц. Для этого, если различимые жесты из стандартного набора пользователь сделать не сможет,  эти жесты назначаются из имеющегося  общего  набора жестов,  в количестве   от 5 до 7 и  различимых  друг от друга.
Когда во время работы модуля калибровки 11 происходит сравнение сигналов с датчиков ЭМГ, инерционных датчиков с данными, которые передаются из памяти учебного модуля 12 с некоторых электродов ЭМГ 2 сигнал практически отсутствует и этим сильно отличается от  данных, хранящихся в учебном модуле 12,  подстройка коэффициентов и передаче сигнала на модуль распознавания  13 не происходит, а происходит  передача сигнала по обратной связи с модуля калибровки 11 на модуль хранения фиксированного набора  жестов 10  и  выбор другого жеста,   который будет выполняться следующим.
Таким образом, возможна замена 3-5 жестов из обучающего модуля 12 на жесты из фиксированного набора, заранее заданных жестов пользователя модуля 10. Далее, аналогично описанному выше, если в модуле калибровки 11 происходит сравнение сигналов с датчиков с данными, учебного модуля 12 и результат выше порога срабатывания, происходит   выдача сигнал на подстройку коэффициентов нейронной сети в учебном модуле 12. После окончания калибровки устройство готово к работе и начинает работать модуль распознавания 13.
Электроды ЭМГ представляют собой металлические пластины, изготовленные из медицинской стали либо другого металла, заключённые в пластиковый корпус. Для использования дифференциальных сигналов на входе АЦП 4 используются два электрода – положительный и отрицательный, которые представляют собой две металлические пластины. Два электрода составляют один сигнальный датчик ЭМГ. Эти металлические пластины в датчике соединены пайкой или механически с помощью проводов или гибкой печатной платы с платой миоинтерфейса.
Настоящее устройство может быть изготовлено с использованием современной радиоэлектронной элементной базы и программного обеспечения. В качестве АЦП  в устройстве можно использовать АЦП фирмы Texas Instruments семейства ADS1299 или другой с похожими характеристиками. Микроконтроллер в устройстве можно использовать фирмы STMicroelectronics семейства STM32F405 или другой с лучшими характеристиками.
Из приведённого примера реализации видно, что полезная модель представляет собой простое устройство, произвольно одетое на предплечье чуть ниже локтя, в котором использованы традиционные датчики сопротивления, оптимальный автоматический режим предварительной настройки, обеспечивающий получение достоверной информации для распознавания жестов, используемых для дистанционного управления различными устройствами.