Система и способ определения состояния концентрации на основе биометрического сигнала ЭЭГ
SYSTEM AND METHOD OF DETERMINING CONCENTRATION STATE BASED ON BIOMETRIC EEG SIGNAL

Настоящая группа изобретений относится к области психофизиологии, в частности, к пользовательской диагностике, и может быть использована для регистрации и анализа электрических сигналов мозга человека для определения состояния концентрации.
Состояние концентрации у пользователя предполагает концентрацию внимания (один из показателей устойчивого внимания). Внимание может быть описано с позиций различных теоретических моделей. Одной из них является общая модель Knudsen (2007), которая предполагает четыре ключевых (ядерных) процесса внимания, к которым относятся: хранилище рабочей памяти; конкурентный отбор, который определяет, какая информация получает доступ к рабочей памяти; нисходящий контроль, который регулирует интенсивность сигнала в каналах, и, таким образом, дает преимущество определенным типам информации в доступе к рабочей памяти; восходящие фильтры, которые автоматически повышают реакцию на нечастые стимулы или стимулы, важные для осуществления инстинктов или выученного биологически значимого поведения (экзогенное внимание). Другая широко известная модель внимания разработана М.Познером: внимание состоит из нескольких разноуровневых систем - возбуждения-бдительности, ориентировки (заднеассоциативной системы), управляющего контроля (переднеассоциаивной системы внимания) (Posner, 2004). Если системы возбуждения и ориентировки связаны с автоматическими процессами, то управляющий контроль - с произвольными. Заднеассоциативная система внимания охватывает теменную долю коры головного мозга, таламус, зоны среднего мозга, связанные с движением глаз, и отражает процессы зрительно-пространственного внимания. Управляющий контроль составляет одну из систем внимания, ответственную за селекцию информации, координацию и исполнение актуальных процессов и подавление неактуальных. По мнению М.Познера, эта система реализуется во время активации рабочей памяти, преодоления конфликтов. Таким образом, данная система может рассматриваться как необходимый аппарат для поддержания концентрации внимания. Функционирование управляющего контроля предполагает работу передней поясной извилины, медиальной и вентролатеральной префронтальной коры, базальных ганглиев.
Известен способ оценки эмоционального состояния человека [патент на изобретение RU 2291720, опубл. 20.01.2007], заключающийся в предъявлении пациенту четырех групп словесных характеристик, отражающих различные эмоциональные состояния и степень их выраженности. Затем анализируют выбранные человеком словесные характеристики, отражающие его состояние с использованием шкалы баллов. Способ позволяет дать количественную оценку степени эмоциональной дезадаптации и позволяет испытуемому самостоятельно осознать характер переживаемых эмоций.
Недостатком известного способа является низкая степень автоматизации сбора и обработки данных и достоверности полученной информации из-за субъективного метода сбора данных.
Известны система и способ обучения [заявка на изобретение US 20170330475, опубл. 16.11.2017], использующая данные электроэнцефалограммы (ЭЭГ) для анализа результатов выполнения тестов и определение того, нужно ли сделать перерыв в учебной деятельности или наоборот усложнить выполняемое задание. Система обучения включает в себя блок вывода, который выводит первую проблему и сообщение на дисплее, предлагающее пользователю сделать перерыв, блок сбора, который получает ответ на первую проблему от пользователя, блок измерения ЭЭГ, который измеряет ЭЭГ пользователя, и блок управления. Блок управления определяет, присутствует ли первая мотивация, на основе потенциала, связанного с первым событием, включенного в ЭЭГ, и, начиная с момента, когда выводится первая проблема, определяет, присутствует ли вторая мотивация пользователя на основе потенциала, связанного со вторым событием, включенным в ЭЭГ, и начинающийся с момента, в который был получен ответ, и инструктирует блок вывода выводить сообщение на дисплей, предлагающее пользователю сделать перерыв, если первая мотивация отсутствует и второй мотивации нет.
Недостатками известной системы является ограниченная сфера применения (только образование), отсутствие информации о текущем психоэмоциональном состоянии пользователя, ограниченный набор выдаваемых рекомендаций (сделать перерыв).
Известны система и способ для модуляции контента на основе данных об электрических сигналах мозга человека [заявка на изобретение US 2018278984, опубл. 27.09.2018], включая изменение представления цифрового контента по меньшей мере на одном вычислительном устройстве. Контент также может модулироваться на основе набора правил, поддерживаемых или доступных компьютерной системе, на основе пользовательского ввода, в том числе посредством приема команды управления представлением, которая может быть обработана компьютерной системой для модификации представления контента. Содержимое также может быть передано со связанной информацией о состоянии мозга. Компьютерная система может обрабатывать данные биосигнала, используя конвейер обработки биологического сигнала, чтобы определить, по меньшей мере, одно состояние мозга пользователя. Можно определить, что данные о состоянии мозга произошли в ответ на представление пользователю определенного цифрового контента. Следовательно, компьютерная система может связывать определенное состояние мозга пользователя с представленным цифровым контентом. Вместо или в дополнение к выполнению этой ассоциации компьютерная система может модифицировать представление цифрового контента, по меньшей мере, на одном вычислительном устройстве, основываясь, по меньшей мере, частично на принятых данных биосигнала и, по меньшей мере, одном правиле модификации представления, связанном с представленным цифровым контентом. Применение любых таких правил может быть использовано для обработки компонентом модулятора, взаимодействующим с источником контента.
Недостатками известных технических решений является ограниченная сфера применения (только медиа сфера), связывание состояние мозга только с представляемым цифровым контентом, узкая интерпретация данных о мозговой активности пользователя.
Настоящая группа изобретений направлена на достижение технического результата, заключающегося в повышении достоверности определения текущего состояния концентрации за счет повышения точности обработки полученных данных и расширенной интерпретации данных о мозговой активности пользователя в режиме реального времени.
Заявленный технический результат в части системы, достигается за счет того, что система определения состояния концентрации на основе сигнала ЭЭГ включает блок приема сигнала, выполненный с возможностью получения сигнала ЭЭГ от нейроинтерфейса пользователя, с которым соединен блок первичной обработки сигнала, выполненный с возможностью спектрального разложения полученного сигнала на ритмы головного мозга, с которым соединен блок фильтрации первично обработанных сигналов, выполненный с возможностью проверки сигнала на наличие помех и агрегации первично преобразованных сигналов с выделением левополушарных бета-ритмов, с которым соединен блок определения состояния концентрации, выполненный с возможностью суммирования фронтальной и височной бета активности, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора концентрации и глобального среднего индикатора концентрации, определения границы состояния и выхода за нее, с блоком определения состояния концентрации соединен блок вывода данных, выполненный с возможностью предоставления пользователю полученных результатов.
Имеются варианты развития основного технического решения:
- блок первичной обработки сигнала выполнен с возможностью реализации предварительного сглаживания полученного сигнала;
- введен блок персонализации состояния концентрации, соединенный с блоком определения состояния концентрации и с блоком вывода данных и выполненный с возможностью определения границ нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя;
- введен блок фиксации отклонения от нормального состояния пользователя, соединенный с блоком персонализации состояний и блоком вывода данных и выполненный с возможностью определения нахождения пользователя в заданном состоянии.
Заявленный технический результат в части способа достигается за счет того, что способ определения состояния концентрации на основе сигнала ЭЭГ включает получение сигнала ЭЭГ от нейроинтерфейса пользователя посредством блока приема сигнала, его первичную обработку путем спектрального разложения полученного сигнала на ритмы головного мозга с помощью блока первичной обработки сигнала, проверку сигнала на наличие помех и агрегацию первично преобразованных сигналов таких, как левополушарные бета-ритмы с помощью блока фильтрации первично обработанных сигналов, определение состояния концентрации путем определения коррелята состояния концентрации посредством блока определения состояния концентрации, сконфигурированного для выполнения суммирования фронтальной и височной бета активности, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора концентрации и глобального среднего индикатора концентрации, определения границы состояния и выхода за нее, вывод данных путем предоставления пользователю полученных результатов с помощью блока вывода данных.
Имеются варианты развития основного технического решения:
- на этапе первичной обработки сигнала ЭЭГ выполняют предварительное сглаживание полученного сигнала;
- после определения состояния концентрации и перед выводом полученных данных определяют границы нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя с помощью блока персонализации состояния концентрации;
- после определения границ нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя и перед выводом полученных данных определяют нахождение пользователя в состоянии концентрации с помощью блока фиксации отклонения от нормального состояния пользователя.
Таким образом, за счет заявленных совокупностей признаков системы и способа повышается достоверность определения текущего состояния концентрации за счет повышения точности обработки полученных данных и расширенной интерпретации данных о мозговой активности пользователя в режиме реального времени. Это стало возможным благодаря агрегации первично преобразованных сигналов таких, как левополушарные бета-ритмы, с помощью блока фильтрации первично обработанных сигналов, и последующему определению состояния концентрации путем определения коррелята состояния концентрации посредством блока определения состояния концентрации, сконфигурированного для выполнения суммирования фронтальной и височной бета активности, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора концентрации и глобального среднего индикатора концентрации, определения границы состояния и выхода за нее. Одновременно с этим расширена сфера применения заявленных технических решений (образование, собеседования, оценка контента, повышение производительности труда) и объема предоставляемых рекомендаций. Оценка состояния концентрации осуществляется без привязки к контенту, в любое время, при различных видах деятельности.
Сущность предлагаемой группы изобретений раскрыта более подробно с помощью фигур и дальнейшего описания.
На Фиг. 1 приведена блок-схема системы.
На Фиг. 2 приведена блок схема блока определения состояния концентрации.
На Фиг. 3 приведены исходные данные для определения состояния концентрации.
На Фиг. 4 приведена сводка по рассчитываемому индексу в блоке 5 определения состояния концентрации.
На Фиг. 5 приведена сводка по применяемому триггеру в блоке 5 определения состояния концентрации.
На Фиг. 6 приведен перечень сообщений в блоке 5 определения состояния концентрации.
На Фиг. 7 приведена блок-схема модели определения состояний концентрации пользователя.
На Фиг. 8 и 9 приведены результаты проведенного исследования.
Система определения состояния концентрации на основе сигнала ЭЭГ (Фиг. 1 и 2) пользователя 1 включает последовательно соединенные друг с другом блок 2 приема сигнала, блок 3 первичной обработки сигнала, блок 4 фильтрации первично обработанных сигналов, блок 5 определения состояния концентрации, блок 6 вывода данных.
Дополнительно система может содержать блок 7 персонализации состояния концентрации, соединенный с блоком 5 определения состояния концентрации и с блоком 6 вывода данных, а также блок 8 фиксации отклонения от нормального состояния пользователя 1, соединенный с блоком 7 персонализации состояний и блоком 6 вывода данных.
Блок 2 приема сигнала выполнен с возможностью получения сигнала ЭЭГ от нейроинтерфейса пользователя 1, снятого с помощью нейрогарнитуры. Нейрогарнитура обеспечивает регистрацию ЭЭГ, а также трансляцию этих данных по беспроводному каналу связи в блок 2 приема.
Блок 3 первичной обработки сигнала выполнен с возможностью спектрального разложения полученного сигнала на ритмы головного мозга и представляет собой преобразователь исходной ЭЭГ-волны в гармонические колебания по алгоритму Фурье с определением абсолютных и относительных спектральных мощностей каждого из заданного диапазонов частот. Также блок 3 может быть выполнен с возможностью реализации предварительного сглаживания полученного сигнала путем проверки на превышение заданной амплитуды сигнала с последующим удалением участка записи, в котором произошло превышение амплитуды.
Блок 4 фильтрации первично обработанных сигналов выполнен с возможностью проверки сигнала на наличие помех путем определения амплитудного всплеска на основе статистического анализа и агрегации первично преобразованных сигналов с выделением левополушарных бета-ритмов.
Нейрофизиологические характеристики концентрации могут отражаться в различных показателях ЭЭГ. К спектральным характеристикам, отражающим концентрацию внимания на определенном объекте, могут быть отнесены высокочастотные показатели, например, гамма-волны в диапазоне свыше 40 Гц. Они генерируются в теменно-фронтальных областях мозга, обнаруживающих синхронизацию работы нейронов в данных регионах (Kaiser, Lutzenberger, 2003; Siegel et al., 2008; Gregoriou et al., 2009; Baldauf, Desimone, 2014). Вовлечение теменных областей обусловлено активацией дорзального потока: системы “Где?”, отвечающей за переработку информации о пространственном положении объекте, и, как следствие, участвующей в активном отслеживании объекта (концентрации внимания на нем) (Mishkin, Ungerleider, 1992). Вовлечение лобных областей обусловлено активацией контролирующих процессов, участвующих в организации работы теменной коры. Другим высокочастотным показателем концентрации внимания может являться мощность в бета-диапазоне (12,5-30 Гц), появляющаяся в лобных областях мозга и распространяющая в процессе активации внимания на другие области (Jensen et al., 2005). Показано, что тренинги бета-активности повышают эффективность выполнения задач, требующих концентрации внимания, у лиц с синдромом дефицита внимания и гиперактивности (СДВГ) (Linden et al, 1996; Egner, Gruzelier, 2004; Kropotov et al., 2005). Сообщается, что дезактивация бета-ритма может являться механизмом нарушения внимания при СДВГ (Clarke et al., 2001). Одним из возможных механизмов, обуславливающих вовлеченность бета-активации в процессы внимания, может быть генетический: например, полиморфизмы гена DAT (гена транспортера дофамина) (Loo et al., 2003). Это согласуется с так называемой “дофаминовой гипотезой”, предполагающей наличие необходимого уровня (оптимума) дофамина, который требуется для эффективного осуществления не только внимания, но и других когнитивных функций посредством нейронов префронтальной коры (Schacht, 2016). Таким образом, активность в бета-диапазоне может являться биомаркером состояния концентрации (устойчивости) внимания, связанного с поддержкой необходимого уровня дофамина.
Таким образом, исходными данными для определения состояния концентрации выбран показатель высокочастотной ЭЭГ активности в бета-диапазоне с электрода в точке AF7 по системе MCN, приведенный на Фиг. 3.
Блок 5 определения состояния концентрации выполнен с возможностью суммирования фронтальной и височной бета активности, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора концентрации и глобального среднего индикатора концентрации, определения границы состояния и выхода за нее. Блок 5 представляет собой программируемый модуль, сконфигурированный для осуществления последовательности вычислительных действий.
На основе измеренных данных производится расчет индекса, характеризующего состояние концентрации пользователей.
Индекс Beta мощность определяется следующим путем.
af7
Индекс рассчитывается на основании потока сигнала с электрода в точке AF7 (D). Для обработки сигнала используется быстрое преобразование Фурье (FFT):
I
Baf
7
af7),
=FFT(D
затем рассчитывается мощность ритмов на полосе частот 14-30 Гц.
Сводка по рассчитываемому индексу приведена на Фиг. 4.
Согласно концепции разрабатываемой модели, после расчета индексов необходимо определить их граничные значения, достижение которых означает определенный уровень когнитивного состояния пользователей (триггеры). В модели применяется следующий триггер.
Baf7
Триггер "Ясность" формируется на основе индекса Beta мощность (I). Проверяемое условие:
I
>Mean(I
I
).
Baf7
Baf7
Baf7
)+1.5*std(
Выполнение условия означает то, что пользователь находится в состоянии концентрации.
Сводка по применяемому триггеру приведена на Фиг. 5.
При реализации рассматриваемой модели в составе программного комплекса для регистрации и анализа электрофизиологических параметров человека и предоставления биологической и оптической обратной связи, предусматривается определенная реакция ПК на выполнение условий триггеров, рассмотренных выше. Реакция выражается отметкой в базе данных. Всего предусматривается одна отметка в базе данных (Фиг. 6).
Отметка о состоянии концентрации формируется, если выполняется триггер Tlucidity (ясность). При этом в базе данных делается отметка о том, что пользователь находится в состоянии концентрации.
На Фиг. 7 приведен графический вид модели определения состояний концентрации пользователя.
Блок 6 вывода данных представляет собой любое электронное устройство, способное выдавать информацию на какой-то из каналов восприятия пользователя, выполненный с возможностью предоставления пользователю 1 полученных результатов в текстовой, визуальной, звуковой, тактильной форме в зависимости от доступной периферии и задачи. К нему могут быть подключены монитор, дисплей, звуковые колонки, вибратор и др.
Блок 7 персонализации состояния концентрации, выполнен с возможностью определения границ нормального состояния для данного пользователя 1 путем статистического анализа исторических значений по состоянию пользователя 1, и представляет собой программируемый модуль вычислительных операций, в котором происходит расчет верхней границы нормального состояния концентрации пользователя на основе исторических данных, вычисляется разница между текущим значением и границей состояния (концентрации), а также происходит проверка нахождения среднего значения в диапазоне триггера состояний (концентрации).
Блок 8 фиксации отклонения от нормального состояния пользователя выполнен с возможностью определения нахождения пользователя 1 в заданном состоянии, и представляет собой модуль, обеспечивающий проверку сильно ли отклоняются показатели текущего состояния пользователя от обычного состояния и насколько устойчиво отклонение.
Питание всех блоков обеспечивается от общего питания ПК.
Дополнительно может быть введен блок (на чертеже не показано) взаимодействия с сервером, на котором хранятся исторические данные по пользователю 1 и на который отправляются данные о состоянии для сохранения в базе данных и предъявления с помощью веб-интерфейсов.
Заявляемая система реализует следующий способ определения состояния концентрации на основе сигнала ЭЭГ.
Пользователь 1 надевает нейроинтерфейс и включает его блютуз-адаптер для передачи сигнала ЭЭГ в заявляемую систему.
Получают сигнал ЭЭГ от нейроинтерфейса пользователя 1 посредством блока 2 приема сигнала, затем осуществляют его первичную обработку путем спектрального разложения полученного сигнала на ритмы головного мозга с помощью блока 3 первичной обработки сигнала, при необходимости выполняют предварительное сглаживание полученного сигнала.
Далее осуществляют проверку сигнала на наличие помех и агрегацию первично преобразованных сигналов таких, как левополушарные бета-ритмы, с помощью блока 4 фильтрации первично обработанных сигналов.
Последующее определение состояния концентрации производят путем определения коррелята состояния концентрации посредством блока 5 определения состояния концентрации, сконфигурированного для выполнения суммирования фронтальной и височной бета активности, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора концентрации и глобального среднего индикатора концентрации, определения границы состояния и выхода за нее.
При необходимости после определения состояния концентрации и перед выводом полученных данных определяют границы нормального состояния для данного пользователя 1 путем статистического анализа исторических значений по состоянию пользователя 1 с помощью блока 7 персонализации состояния концентрации. А после определения границ нормального состояния для данного пользователя 1 путем статистического анализа исторических значений по состоянию пользователя и перед выводом полученных данных определяют нахождение пользователя 1 в состоянии концентрации с помощью блока 8 фиксации отклонения от нормального состояния пользователя 1.
Конечный вывод данных осуществляют путем предоставления пользователю 1 полученных результатов с помощью блока 6 вывода данных.
Система и способ могут быть реализованы на базе персонального компьютера и могут быть использованы в любой области и при любом виде деятельности, основной задачей является выявление негативного состояния и информирование о нем пользователя для принятия своевременных мер с целью повышения производительности труда или эффективности обучения.
Пример применения способа и системы.
В оценке приняли участие 48 детей, посещающих три вида образовательных студий в детском лагере: «Керамика», «Ракетостроение», «Фортепиано». Данные представлены на Фиг. 8 и 9.
Наибольшие показатели концентрации наблюдаются на студии Керамики, но различие по этому показателю со студией Фортепьяно незначимо. Различия в показателях концентрации у студии Ракетостроения в сравнении со студией Керамики проявляются в меньшей степени.
Эти данные могут быть использованы при построении более эффективного учебного процесса, к примеру включение заданий, использующих мелкую моторику, должно повысить уровень концентрации детей на студии «Ракетостроение».