Движения глаз человека при наборе текста в интерфейсе мозг-компьютер на основе потенциала П300: эффект размера стимула и расстояния между стимулами

ВЕСТНИК МОСКОВСКОГО УНИВЕРСИТЕТА. СЕРИЯ 14. ПСИХОЛОГИЯ. 2018. № 4 MOSCOW UNIVERSITY PSYCHOLOGY BULLETIN. 2018. # 4

УДК 159.931, 612.846.1 doi: 10.11621top.2018.04.120

движения глаз человека при наборе текста в интерфейсе мозг-компьютер на основе потенциала П300: эффект размера стимула и расстояния между стимулами

А. С. Пронина, р. к. Григорян, А. Я. каплан

Актуальность. Возможность замещения у пациентов каналов вербальной и двигательной коммуникации, утраченных вследствие инсультов и нейротравм, в настоящее время активно исследуется с применением технологий интерфейсов мозг-компьютер (ИМК). Одним из наиболее перспективных вариантов подобных интерфейсов являются системы, основанные на использовании компонента П300 зрительных вызванных потенциалов — П300 ИМК. Поскольку зрительная стимуляция играет ключевую роль в концепции П300 ИМК, представляется важным изучение влияния особенностей визуальной стимульной среды на движения глаз пользователя и эффективность работы интерфейса.

цель работы. Исследование влияния основных характеристик визуальной среды классического П300 ИМК — размеров стимулов и расстояния между стимулами в матрице — на движения глаз пользователя при наборе текста, точность набора текста, амплитуду и латентность компонента П300.

Методика. В исследовании было задействовано 16 здоровых испытуемых, каждый из которых принял участие в пяти экспериментальных сессиях. Основные характеристики визуальной среды — размер стимулов в матрице и расстояние между ними — варьировались между сессиями

Пронина Анна Сергеевна — аспирант лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов биологического ф-та МГУ им. М.В. Ломоносова. Email: a.pronina@hotmail.com

Григорян рафаэль каренович — аспирант лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов биологического ф-та МГУ им. М.В. Ломоносова. Email: grraph.bio@gmail.com

каплан александр Яковлевич — доктор биологических наук, профессор, зав. лабораторией нейрофизиологии и нейрокомпьютерных интерфейсов биологического ф-та МГУ имени М.В. Ломоносова. Email: akaplan@mail.ru

ISSN 0137-0936 (Print) / ISSN 2309-9852 (Online) http://msupsyj.ru/

© 2018 ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова»

от 1.22 и 0.73 до 2.43 и 1.45 градусов зрительного угла. В каждой из пяти сессий испытуемым было необходимо напечатать с помощью П300 ИМК определенный текст на экране, при этом в течение всего эксперимента велась запись движений глаз и электроэнцефалограммы.

Результаты. Было обнаружено, что размер стимула значимо влияет на ряд характеристик движений глаз пользователя П300 ИМК. Размер стимула и расстояние между стимулами не оказывает значимого влияния на точность набора текста, амплитуду и латентность компонента П300.

Выводы. Полученные результаты в дальнейшем смогут быть применены в разработке более эффективных визуальных сред для П300 ИМК.

Ключевые слова: интерфейс мозг-компьютер, ИМК, спеллер, П300, движения глаз.

Введение

В основе технологии интерфейсов мозг-компьютер (ИМК) лежит предположение о том, что электрическая активность мозга может быть использована для получения управляющих команд для внешних устройств без задействования обычных нейромоторных путей. В медицине ИМК рассматриваются в первую очередь как компоненты ассистивных реабилитационных устройств, нацеленных на замещение каналов естественной коммуникации у пациентов, страдающих нейродегенеративными заболеваниями, перенесших инсульт или нейротравму (Каплан, 2016; Lazarou et al., 2018). Многие подобные ИМК построены на основе регистрации методом электроэнцефалографии (ЭЭГ) компонента П300 зрительных вызванных потенциалов, не связанного с физическими характеристиками стимула, но зависимого от степени заинтересованности человека в этом стимуле. Предполагается, что компонент П300 — одно из объективных проявлений когнитивных процессов, ассоциированных с вниманием и процессами сравнения объектов в рабочей памяти (Polich, 2007). На этой основе были созданы системы ИМК, позволяющие по наличию компонента П300 в ответ на быстро предъявляемые стимулы определять тот из них, к которому привлечено внимание человека. В частности, ИМК на основе волны П300 позволяют быстро обучиться набирать тексты буква-за-буквой при их поочередной подсветке на экране компьютера.

Стимульная визуальная среда в таких интерфейсах обычно организована в виде матрицы, строки и столбцы которой во время работы системы подсвечиваются в псевдослучайном порядке (Farwell, Donchin, 1988). Визуальная среда является одним из ключевых элементов ИМК и именно той частью системы, с которой

взаимодействует оператор. Тщательное исследование визуальных сред и их компонентов могло бы не только сделать коммуникационные ИМК (в англоязычной литературе — spellers, спеллеры) более эффективными и удобными для конечных пользователей, но и повысить точность их работы за счет подбора оптимальных значений параметров. В ряде исследований последних лет были осуществлены попытки тем или иным способом выявить основные компоненты визуальной среды классического П300 ИМК, влияющие на производительность системы (Rezeika et al., 2018). Так, исследование Э. Селлерса и коллег (Sellers et al., 2006) посвящено изучению влияния размера матрицы на точность и скорость набора текста. Авторы приходили к выводу об увеличении точности набора текста при переходе от матрицы 6x6 к матрице 3x3, однако скорость набора была выше для матрицы 6x6. В более раннем исследовании (Allison, Pineda, 2003) также сообщалось об увеличении амплитуды P300 при изменении размера матрицы от 4x4 до 12x12. В других работах (Григорян и др., 2018; Garcia et al., 2015; Salvaris, Sepulveda, 2009) исследовалось влияние различных параметров визуальной среды, а именно размера стимулов в матрице, цвета стимулов, цвета фона, расстояния между стимулами в матрице и линейного размера матрицы на производительность интерфейса. В этих исследованиях отмечался возможный эффект цвета стимулов и фона, а также размера стимулов и линейного размера матрицы как на точность классификации, так и на показатели когнитивной нагрузки и усталость оператора. Предпринимались попытки замены классической подсветки столбцов и строк «шахматным» паттерном или смены парадигмы подсветки (Obeidat et al., 2015; Townsend et al., 2010), что, согласно выводам исследователей, позволяло повысить точность и скорость набора текста, а также попытки изменить положение стимулов в матрице для снижения краудинг-эффекта (Obeidat et al., 2013), что позволяло улучшить точность классификации и снизить сообщаемый уровень усталости оператора спеллера.

Можно предположить, что основные параметры визуальной среды ИМК способны оказывать влияние на окуломоторную активность пользователя и, таким образом, на характер и успешность работы с ИМК в целом. Ранее было показано, что точность классификации при использовании П300 ИМК зависит от направления взгляда (Brunner et al., 2010). Также было исследовано влияние особенностей интенсивности подсветки и наличия контура стимулов в матрице П300 ИМК на длительность и дисперсию фиксаций пользователя (Басюл, 2017) и выявлены значимые отличия в

значениях этих показателей при работе с различными матрицами. Дальнейшее подробное изучение влияния особенностей визуальной среды на окуломоторную активность кажется перспективным с точки зрения повышения эффективности работы П300 ИМК и обеспечения комфорта пользователя.

Таким образом, целью настоящей работы было выяснение влияния основных параметров визуальной среды, а именно размера стимулов и интервала между стимулами в матрице П300 ИМК на движения глаз при наборе текста в интерфейсе мозг-компьютер, а также на основные показатели эффективности работы интерфейса: точность набора текста, амплитуду и латентность П300.

Методы

В исследовании приняло участие 16 здоровых добровольцев: 6 мужчин и 10 женщин в возрасте от 20 до 42 лет (средний возраст 27.81 года). Исследование было одобрено комиссией по биоэтике МГУ имени М.В. Ломоносова.

Протокол исследования включал 5 экспериментальных сессий, выполняемых в случайном порядке. В каждой из сессий участнику эксперимента были представлены матрицы ИМК, состоящие из 6 строк и 6 столбцов, отличающиеся размером стимулов и расстоянием между ними: «SS» («small-small») — 1.22, 0.73; «SL» («small-large») — 1.22, 1.45; «М» («medium») — 1.82, 1.09; «LS» («large-small») — 2.43, 0.73; «LL» («large-large») — 2.43, 1.45 (размеры указаны в градусах зрительного угла, соответствующих расположению на расстоянии 640 мм от экрана). Все матрицы предъявлялись на экране компьютера с частотой обновления 60 Гц, разрешением 1680 х 1050.

В каждой сессии участнику эксперимента было необходимо при помощи команд ИМК набрать на экране определенный текст («NEUROSCIENCE_158»). В период выбора команды стимулы подсвечивались группами — строками или столбцами, причем выбор следующей подсветки происходил псевдослучайным образом так, чтобы одна и та же группа не могла быть активирована несколько раз подряд. Во время работы стимулы активировались на 134 мс и находились в неактивном состоянии 66 мс; полный цикл подсветки составлял 200 мс. На каждый целевой стимул приходилось ровно 20 циклов подсветок. Для выбора команды участник был проинструктирован мысленно подсчитывать, сколько раз целевой стимул был подсвечен в составе столбца или строки. Это позволяло обеспечить активное внимание к целевому стимулу в период выбора команды. Участнику эксперимента не давалось в явной форме

указаний смотреть на целевой стимул, чтобы обеспечить более естественное поведение взгляда во время эксперимента. Перед началом периода выбора команды целевой стимул на короткое время дополнительно выделялся на 2 секунды для привлечения внимания участника эксперимента. Перед началом каждой сессии проводились калибровка айтрекера и обучение классификатора ИМК (размер стимула и расстояние между ними в матрице во время обучения соответствовали тем, что использовались затем в экспериментальной сессии).

Во время обучения классификатора и в каждой экспериментальной сессии сигнал ЭЭГ регистрировался при помощи 9 электродов, расположенных в соответствии с международной системой 10/20 в позициях Oz, O1, O2, Pz, P3, P4, Cp1, Cp2, Cz. В качестве референта использовался усредненный сигнал ушных электродов с заземлением в позиции AFz. Получение и запись сигнала ЭЭГ осуществлялись при помощи усилителя NVX52 (Medical Computer Systems Ltd). Система ИМК, включая презентацию зрительных стимулов, обработку сигнала и онлайн-классификацию, была реализована с помощью программы на python 2.7, написанной для этого исследования. Отслеживание движений глаз (видеоокулография) и запись данных проводились с помощью айтрекера SMI RED500, частота дискретизации 500 Гц (SensoMotoric Instruments GmbH).

Для обработки данных о движениях глаз использовался дисперсионный алгоритм определения фиксаций из пакета PyGaze (Dalmaijer et al., 2014), минимальная длительность фиксаций была установлена в 50 мс. В качестве основных характеристик движений глаз участника во время эксперимента были выбраны среднее время фиксации в зоне интереса (ЗИ), среднее время взгляда в ЗИ, общее время взгляда в ЗИ, доля фиксаций в ЗИ, рассчитанная на единицу площади ЗИ. Под взглядами (в англоязычной литературе dwells) подразумевался ряд последовательных фиксаций внутри ЗИ. Размер ЗИ складывался из размера целевого стимула и маржина (отступа) размером 0.5 градуса зрительного угла для коррекции возможных неточностей, обусловленных особенностями оборудования.

В качестве основных показателей эффективности работы П300 ИМК анализировались точность набора текста, рассчитанная как доля безошибочно набранных символов, а также амплитуда и ла-тентность компонента П300 в отведениях Cz и Pz, поскольку именно в них этот компонент наиболее выражен. Для этого сигнал ЭЭГ был отфильтрован фильтром Баттерворта четвертого порядка в частотном диапазоне 1—35 Гц, разделен на эпохи относительно времени

начала стимуляции (начала цикла подсветки) и усреднен отдельно для целевых и нецелевых эпох. Амплитуда компонента П300 рассчитывалась при помощи разностных кривых как максимальное значение сигнала в заданном временном окне (250—600 мс).

В статистическом анализе изучалось влияние двух факторов (размера стимула и расстояния между стимулами) и взаимодействия между ними на выходные переменные (среднее время фиксации в ЗИ, среднее время взгляда в ЗИ, общее время взгляда в ЗИ, доля фиксаций в ЗИ, а также точность набора текста, амплитуда и ла-тентность П300). Для построения регрессионной модели взаимодействия факторов и выходных переменных использовался полный рандомизированный двухфакторный план эксперимента с двумя уровнями факторов и одной центральной точкой. План предусматривал блочную структуру с включением данных по каждому испытуемому в отдельный блок для изоляции одного из основных источников вариабельности в данных. Выходные переменные анализировались как среднее по значениям, полученным во время набора каждой буквы. Статистический анализ был выполнен с помощью Minitab 17 Statistical software (Minitab Ltd).

Результаты

Движения глаз

Был выявлен статистически значимый эффект изменения размера стимула на исследуемые характеристики движений глаз (рис. 1). Так, для условий «small» и «large», соответствующих размерам стимулов 1.22 и 2.43 градуса, доля фиксаций на единицу площади ЗИ составила 0.13±0.03 и 0.07±0.01 (среднее ± среднеквадратичное отклонение) соответственно (эффект -0.06, F=199.05, p<0.001, 1"Р=1.00); общее время взгляда в ЗИ: 13.83±3.17 с и 20.73±2.72 с соответственно (эффект 6.90 c, F=118.40, p<0.001, 1-^=1.00); среднее время взгляда в ЗИ: 1.72±1.17 с и 3.20±1.57 c соответственно (эффект 1.47 c, F=24.86, p<0.001, 1-^=0.96); среднее время фиксации в ЗИ: 1.00±0.57 с и 0.77±0.25 c соответственно (эффект -0.23 с, F=6.98, p=0.04, 1-р<0.80). Величина эффекта рассчитывалась как разность средних значений для условий «small» и «large»; все значения p были скорректированы по Бонферрони относительно числа характеристик (i=4).

Изменение расстояния между стимулами к значимому эффекту не приводило, эффект взаимодействия двух изучаемых факторов также не был статистически значимым (p>0.10, 1-^<0.80 во всех случаях).

т

и

small large

11

small large

Рис. 1. Влияние размера стимула в матрице на характеристики движений глаз пользователя. Условиям «small» и «large» соответствуют размеры стимулов 1.22 и 2.43 градуса зрительного угла

Таким образом, только размер стимулов в матрице оказывает влияние на некоторые особенности движений глаз пользователя. Это влияние может быть описано следующим образом: для меньших по размеру стимулов характерны более долгие и компактные фиксации, но более короткие взгляды; для больших стимулов, наоборот, характерны короткие и рассеянные в пространстве фиксации, но долгие взгляды.

Точность набора текста

Статистический анализ не выявил значимого влияния размера стимула и расстояния между стимулами в матрице на точность набора текста (p>0.10, 1-р=1.00 в обоих случаях). Влияние взаимодействия этих факторов на точность набора текста также было несущественным (p>0.10, 1-р=1.00).

Компонент П300

Влияние размера стимула и расстояния между стимулами в матрице на амплитуду и латентность компонента П300 было проанали-

зировано в отведениях Сг и Рг. На рис. 2 представлены разностные кривые зрительных вызванных потенциалов в данных отведениях для 5 экспериментальных условий, усредненные по всем испытуемым. Для обоих изучаемых факторов, как и для их взаимодействия, значимого влияния на амплитуду и латентность компонента П300 обнаружено не было (р>0.10, 1-р<0.80 во всех случаях).

О 100 ЗОО МС О 100 300 мс

Рис. 2. Разностные кривые зрительных вызванных потенциалов в отведениях Cz и Pz для 5 экспериментальных условий (SS, SL, M, LS, LL), усредненные по всем участникам эксперимента

Обсуждение

Целью настоящей работы было выяснение влияния основных параметров стимульной визуальной среды, а именно размера стимулов и интервала между стимулами в матрице П300 ИМК, на характеристики движения глаз при наборе текста в интерфейсе мозг-компьютер, а также на точность набора текста, амплитуду и латентность компонента П300. В качестве основных характеристик движений рассматривались среднее время фиксации, среднее время взгляда, общее время взгляда, а также доля фиксаций в зоне интереса.

Основной результат работы — обнаружение значимого влияния на окуломоторную активность оператора по крайне мере одного из параметров стимульной визуальной среды П300 ИМК, а именно размера стимулов в матрице. Так, стимулы меньшего размера провоцируют продолжительные и компактные фиксации с коротким временем рассматривания объекта, тогда как для больших стимулов характерны более короткие и более распределенные по пространству фиксации, с более продолжительным рассматриванием соответствующего объекта. Такое различие может объясняться общими закономерностями восприятия, которое при больших размерах объекта требует больше времени и более распределенных фиксаций при его «рассматривании». В случае же маленьких стимулов взгляд часто покидает

пределы площади стимула, переходя на соседние стимулы. Однако интерпретация влияния размера стимула на движения глаз с учетом более подробных деталей этого процесса достаточно затруднительна.

Представленные паттерны характеристик могут быть обусловлены как непосредственно особенностями организации визуальной среды, так и более комплексными причинами, такими как психоэмоциональное состояние или когнитивная нагрузка на пользователя П300 ИМК. Так, ряд исследований связывает увеличение длительности фиксаций в ЗИ при выполнении задач, требующих повышенного внимания, с возрастающей когнитивной нагрузкой (De Greef, 2009; Marchitto et al., 2016). Представляется вероятным, что для участников настоящего исследования набор текста при помощи спеллера с небольшими по размеру стимулами был более сложным и провоцировал увеличение когнитивной нагрузки. Поскольку подобная ситуация не может быть исключена из рассмотрения, необходимы более подробные дальнейшие исследования взаимосвязи когнитивной нагрузки и движений глаз с учетом специфики задачи набора текста в П300 ИМК. Обнаруженное отсутствие значимого эффекта интервала между стимулами в матрице на изучаемые характеристики движений глаз может говорить о том, что при использовании П300 ИМК краудинг-эффект (Whitney, Levi, 2011), вероятно, не оказывает значительного влияния на окуломоторную активность оператора.

Полученные данные о взаимосвязи характеристик визуальной среды П300 ИМК и движений глаз могут быть в дальнейшем использованы в разработке гибридных интерфейсов мозг-компьютер, совмещающих в себе данные ЭЭГ и видеоокулографии. Существующий интерес к подобным гибридным системам (Kalika et al., 2017; Kim et al., 2013; Shishkin et al., 2017) обусловлен возможностью одновременно улучшить производительность ИМК и приблизиться к решению характерной для видеоокулографических интерфейсов проблемы «Мидаса» — непреднамеренной активации команды при случайной фиксации взгляда на ней (Jacob, 1991). Исследование особенностей окуломоторной активности, характерной для различных визуальных сред, и в частности выявление факторов, влияющих на длительность фиксаций и взглядов на различных элементах пользовательского интерфейса, поможет оптимизировать разработку гибридных ИМК.

Еще одним значимым результатом настоящей работы было показанное экспериментально отсутствие влияния размера стимула и интервала между стимулами на точность набора текста в П300 ИМК, как и на амплитуду и латентность компонента П300. Данное исследование дополняет более ранние работы (Allison, Pineda, 2003;

Garcia et al., 2015; Salvaris, Sepulveda, 2009), в которых ставились сходные задачи: установить, влияют ли характеристики визуальной среды на производительность коммуникационных ИМК. Важно отметить, что в упомянутых работах исследования проводились на малых выборках (5, 8 и 3 испытуемых соответственно) и, кроме того, в них не был проведен факторный анализ, а только сравнение экспериментальных условий, что могло послужить источником погрешностей при интерпретации результатов. В связи с этим утверждения о явной или возможной взаимосвязи размера стимула и интервала между стимулами на производительность могли быть неточными. В другом исследовании (Pfabigan et al., 2015) отмечается значимый эффект влияния размера стимула на амплитуду компонента П300, однако описанные экспериментальные условия значительно отличаются от набора текста в интерфейсе мозг-компьютер, и выводы не могут распространяться на данную ситуацию без возможных неточностей. По результатам настоящей работы влияние размера стимула и интервала между стимулами в матрице на амплитуду и латентность компонента П300 и точность набора текста может считаться статистически не значимым. Однако стоит отметить, что в работе исследовался ограниченный интервал возможных значений характеристик визуальной среды, и достоверность возможных выводов ограничена только значениями, находящимися внутри данного интервала. Кроме того, стоит учитывать низкие показатели статистической мощности для некоторых приведенных результатов, обусловленные небольшими в сравнении с дисперсией размерами эффектов и небольшим количеством испытуемых. Таким образом, при утверждении отсутствия статистической значимости не может быть полностью исключена возможность совершения ошибки второго рода, что снижает надежность полученных результатов.

В целом отсутствие непосредственного значимого влияния размера стимула и интервала между стимулами на точность набора текста делает возможным создание более гибких визуальных сред для коммуникационных интерфейсов на основе компонента П300. Так, можно предположить, что адаптация системы для небольшого экрана мобильного устройства не приведет к нежелательному изменению производительности ИМК, как и настройка параметров визуальной среды в соответствии с пожеланиями конкретного пользователя.

Заключение

Основным результатом выполненного исследования является экспериментально зафиксированное влияние характеристик сти-

мульной визуальной среды П300 ИМК на характеристики движения глаз. Дальнейшее изучение этого влияния может способствовать разработке более эффективных визуальных сред для разнообразных приложений П300 ИМК.

СПИСОК ЛИТЕРАТУРЫ

Басюл И.А. Характеристики окуломоторной активности оператора интерфейса мозг—компьютер на волне P300 в различных стимульных ситуациях // Экспериментальная психология. 2017. Т. 10. № 1. C. 129—138.

Григорян Р.К., Крысанова Е.Ю., Кирьянов Д.А., Каплан А.Я. Зрительные стимулы для интерфейса мозг—компьютер на основе зрительных вызванных потенциалов: цвет, форма, подвижность // Вестник Московского университета. Сер. 16. Биология. 2018. Т. 73. № 2. C. 111—117.

Каплан А.Я. Нейрофизиологические основания и практические реализации технологии мозг-машинных интерфейсов в неврологической реабилитации // Физиология человека. 2016. Т. 42. № 1. C. 118—127.

Allison B.Z., Pineda J.A. ERPs evoked by different matrix sizes: Implications for a brain computer interface (BCI) system // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2003. Vol. 11. N 2. P. 110-113. DOI: 10.1109/ TNSRE.2003.814448

Brunner P., Joshi S., Briskin S. et al. Does the "P300" Speller Depend on Eye Gaze? // Journal of Neural Engineering. 2010. Vol. 7. N 5. 056013.

Dalmaijer E.S., Mathot S., Van der Stigchel S. PyGaze: an open-source, cross-platform toolbox for minimal-effort programming of eyetracking experiments // Behavior Research Methods. 2014. Vol. 46. N 4. P. 913—921. DOI: 10.3758/s13428-013-0422-2

De Greef T. Eye movement as indicators of mental workload to trigger adaptive automation // Proceedings of the 5th International Conference on Foundations of Augmented Cognition. Neuroergonomics and Operational Neuroscience: Held as Part of HCI International (July 19-24, 2009, San Diego, CA). P. 219—228.

Farwell L.A., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials // Electroencephalography and Clinical Neurophysiology. 1988. Vol. 70. N 6. P. 510—523. DOI: 10.1016/0013-4694(88)90149-6

Garcia L., Lespinet-najib V., Saioud S. et al. Brain-computer interface: Usability evaluation of different P300 speller configurations: A preliminary study // Advances in Computational Intelligence Pt I / Ed. by I. Rojas, G. Joya, A. Catala. In Lecture Notes in Computer Science. Vol. 9094. Berlin: Springer-Verlag, 2015. P. 98—109.

Jacob R.J.K. The use of eye movements in human-computer interaction techniques: what you look at is what you get // ACM Transactions on Information Systems. 1991. Vol. 9. P. 152—169. DOI: 10.1145/123078.128728

Kalika D., CollinsL., Caves K., Throckmorton C. Fusion of P300 and eye-tracker data for spelling using BCI2000 // Journal of Neural Engineering. 2017. Vol. 14. N 5. 056010. DOI: 10.1088/1741-2552/aa776b

Kim M., Chae Y., Jo S. Hybrid EEG and eye movement interface to multidirectional target selection // Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. EMBS 2013. P. 763—766.

Lazarou I., Nikolopoulos S., Petrantonakis P. C. et al. EEG-based brain-computer interfaces for communication and rehabilitation of people with motor impairment: A novel approach of the 21st Century // Frontiers in Human Neuroscience. 2018. Vol. 12. N 1. P. 1—18.

Marchitto M., Benedetto S., Baccino T., Canas J.J. Air traffic control: Ocular metrics reflect cognitive complexity // International Journal of Industrial Ergonomics. 2016. Vol. 54. P. 120—130. DOI: doi.org/10.1016/j.ergon.2016.05.010

Obeidat Q., Campbell T., Kong J. The Zigzag Paradigm : A new P300-based brain-computer interface // Proceedings of 15th ACM International Conference on Multimodal Interaction (December 09-13, 2013, Sydney, Australia). P. 205—212.

Obeidat Q.T., Campbell T.A., Kong J. Introducing the Edges Paradigm : A P300 brain-computer interface for spelling written words // IEEE Transactions on Human-machine Systems. 2015. Vol. 45. N 6. P. 727—738. DOI: 10.1109/THMS.2015.2456017 Pfabigan D.M., Sailer U., Lamm C. Size does matter! Perceptual stimulus properties affect event-related potentials during feedback processing // Psychophysiology. 2015. Vol. 52. N 9. P. 1238—1247. DOI: 10.1111/psyp.12458

Polich J. Updating P300 : An integrative theory of P3a and P3b // Clinical Neurophysiology. 2007. Vol. 118. N 10. P. 2128—2148. DOI: 10.1016/j.clinph.2007.04.019 Rezeika A., Benda M., Stawicki P. et al. Brain-computer interface spellers: A review // Brain Sciences. 2018. Vol. 8. N 4. Art. 57. DOI: 10.3390/brainsci8040057 Salvaris M., Sepulveda F. Visual modifications on the P300 speller BCI paradigm // Journal of Neural Engineering. 2009. Vol. 6. N 4. 046011.

Sellers E.W., Krusienski D.J., Mcfarland D.J. et al. A P300 event-related potential brain-computer interface (BCI): The effects of matrix size and inter stimulus interval on performance // Biological Psychology. 2006. Vol. 73. N 3. P. 242—252. DOI: 10.1016/j.biopsycho.2006.04.007

Shishkin S.L., Zhao D.G., Isachenko A.V., Velichkovsky B.M. Gaze-and-brain-controlled interfaces for human-computer and human-robot interaction // Psychology in Russia: State of the Art. 2017. Vol. 10. N 3. P. 120—137.

Townsend G., LaPallo B.K., Boulay C.B. et al. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns // Clinical Neurophysiology. 2010. Vol. 121. N 7. P. 1109—1120. DOI: 10.1016/j.clinph.2010.01.030

Whitney D., Levi D.M. Visual crowding: A fundamental limit on conscious perception and object recognition // Trends in Cognitive Sciences. 2011. Vol. 15. N 4. P. 160—168. DOI: 10.1016/j.tics.2011.02.005

Поступила в редакцию 15.08.18 Принята к публикации 05.09.18

OBJECTIVE EYE MOVEMENTS DURING TYPING IN P300 BCI: THE EFFECT OF STIMULI SIZE AND SPACING

Anna S. Pronina, Rafael K. Grigoryan, Alexander Ya. Kaplan

Lomonosov Moscow State University, Faculty of Biology, Moscow, Russia

Abstract

Relevance. Brain-computer interface (BCI) technology is widely employed in studies focused on possibility of substitution of human verbal and motor communication channels when such channels are lost due to stroke or trauma. One of the most promising examples of BCI technology is P300 BCI - a system based on P300 component of visual evoked potential. Visual stimulation plays a key role in P300 BCI concept, and it is thus important to explore the influence of visual stimuli environment on user's eye movements and BCI performance.

Objective. The objective was to explore the influence of the main components of P300 BCI visual environment, namely matrix stimuli size and spacing, on the movements of user's eyes during typing, the accuracy of typing, and the amplitude and latency of P300 component.

Methods. Sixteen healthy subjects were recruited for the study. Each subject participated in five experimental sessions, where P300 BCI matrix stimuli size and spacing varied from 1.22 and 0.73 to 2.43 and 1.45 degrees of visual angle. During each experimental session, subjects were typing in a certain text sequence using the BCI while their eye movements and EEG were being recorded.

Results. We found that the stimuli size significantly affected certain characteristics of user's eye movements. The stimuli size and spacing, however, had no significant effect on the accuracy of the typing and the amplitude and latency of P300 component.

Conclusions. The results of the study can prove to be beneficial to the development of efficient visual stimuli environments for P300 BCI.

Key words: brain-computer interface, BCI, speller, P300, eye movements.

References

Allison, B.Z., Pineda, J.A. (2003). ERPs evoked by different matrix sizes: Implications for a brain computer interface (BCI) system. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 11, 2, 110-113. DOI: 10.1109/ TNSRE.2003.814448

Basyul, I.A. (2017). Harakteristiki okulomotornoj aktivnosti operatora interfejsa «mozg—komp'yuter» na volne P300 v razlichnyh stimul'nyh situaciyah. Eksperimental'naya psihologiya [Experimental Psychology], 10, 1, 129—138.

Brunner, P., Joshi, S., Briskin, S. et al. (2010). Does the "P300" Speller Depend on Eye Gaze? Journal of Neural Engineering, 7, 5, 056013.

Dalmaijer, E.S., Mathôt, S., Van der Stigchel, S. (2014). PyGaze: an open-source, cross-platform toolbox for minimal-effort programming of eyetracking experiments. Behavior Research Methods, 46, 4, 913—921. DOI: 10.3758/s13428-013-0422-2

De Greef, T. (2009). Eye movement as indicators of mental workload to trigger adaptive automation. In: Proceedings of the 5th International Conference on Foundations of Augmented Cognition. Neuroergonomics and Operational Neuroscience: Held as Part of HCIInternational (July 19-24, 2009, San Diego, CA). pp. 219—228.

Farwell, L.A., Donchin, E. (1988). Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalography and Clinical Neurophysiology, 70, 6, 510—523. DOI: 10.1016/0013-4694(88)90149-6 Garcia, L., Lespinet-najib, V., Saioud, S. et al. (2015). Brain-computer interface: Usability evaluation of different P300 speller configurations: A preliminary study. In I. Rojas, G. Joya, A. Catala (eds.) Advances in Computational Intelligence Pt I. Lecture Notes in Computer Science. Vol. 9094 (pp. 98—109). Berlin: Springer-Verlag.

Grigoryan, R.K., Krysanova, E.Yu., Kir'yanov, D.A., Kaplan, A.Ya. (2018). Zritel'nye stimuly dlya interfejsa mozg—komp'yuter na osnove zritel'nyh vyzvannyh potencialov: cvet, forma, podvizhnost'. Vestnik Moskovskogo universiteta. Ser. 16. Biologiya [Bulletin of Moscow University. Series 16. Biology], 73, 2, 111—117.

Jacob, R.J.K. (1991). The use of eye movements in human-computer interaction techniques: what you look at is what you get. ACM Transactions on Information Systems, 9, 152—169. DOI: 10.1145/123078.128728

Kalika, D., Collins, L., Caves, K., Throckmorton, C. (2017). Fusion of P300 and eye-tracker data for spelling using BCI2000. Journal of Neural Engineering, 14, 5, 056010. DOI: 10.1088/1741-2552/aa776b

Kaplan, A.Ya. (2016). Nejrofiziologicheskie osnovaniya i prakticheskie realizacii tekhnologii mozg-mashinnyh interfejsov v nevrologicheskoj reabilitacii. Fiziologiya cheloveka [Human Physiology], 42, 1, 118—127.

Kim, M., Chae, Y., Jo, S. (2013). Hybrid EEG and eye movement interface to multi-directional target selection. In: Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. EMBS, pp. 763—766.

Lazarou, I., Nikolopoulos, S., Petrantonakis, P.C. et al. (2018). EEG-based brain-computer interfaces for communication and rehabilitation of people with motor impairment: A novel approach of the 21st Century. Frontiers in Human Neuroscience, 12, 1, 1—18.

Marchitto, M., Benedetto, S., Baccino, T., Canas, J.J. (2016). Air traffic control: Ocular metrics reflect cognitive complexity. International Journal of Industrial Ergonomics, 54, 120—130. DOI: doi.org/10.1016Aj.ergon.2016.05.010

Obeidat, Q., Campbell, T., Kong, J. (2013). The Zigzag Paradigm : A new P300-based brain-computer interface. In: Proceedings of 15th ACM International Conference on Multimodal Interaction (December 09-13, 2013, Sydney, Australia). pp. 205—212.

Obeidat, Q.T., Campbell, T.A., Kong, J. (2015). Introducing the Edges Paradigm : A P300 brain-computer interface for spelling written words. IEEE Transactions on Human-machine Systems, 45, 6, 727—738. DOI: 10.1109/THMS.2015.2456017

Pfabigan, D.M., Sailer, U., Lamm, C. (2015). Size does matter! Perceptual stimulus properties affect event-related potentials during feedback processing. Psychophysiology, 52, 9, 1238—1247. DOI: 10.1111/psyp.12458

Polich, J. (2007). Updating P300 : An integrative theory of P3a and P3b. Clinical Neurophysiology, 118, 10, 2128—2148. DOI: 10.1016/j.clinph.2007.04.019

Rezeika, A., Benda, M., Stawicki, P. et al. (2018). Brain-computer interface spellers: A review. Brain Sciences, 8, 4, 57. DOI: 10.3390/brainsci8040057

Salvaris, M., Sepulveda, F. (2009). Visual modifications on the P300 speller BCI paradigm. Journal of Neural Engineering, 6, 4, 046011.

Sellers, E.W., Krusienski, D.J., Mcfarland, D.J. et al. (2006). A P300 event-related potential brain-computer interface (BCI): The effects of matrix size and inter stimulus interval on performance. Biological Psychology, 73, 3, 242—252. DOI: 10.1016/j. biopsycho.2006.04.007

Shishkin, S.L., Zhao, D.G., Isachenko, A.V., Velichkovsky, B.M. (2017). Gaze-and-brain-controlled interfaces for human-computer and human-robot interaction. Psychology in Russia: State of the Art, 10, 3, 120—137.

Townsend, G., LaPallo, B.K., Boulay, C.B. et al. (2010). A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology, 121, 7, 1109—1120. DOI: 10.1016/j. clinph.2010.01.030

Whitney, D., Levi, D.M. (2011). Visual crowding: A fundamental limit on conscious perception and object recognition. Trends in Cognitive Sciences, 15, 4, 160—168. DOI: 10.1016/j.tics.2011.02.005

Original manuscript received August 15, 2018 Revised manuscript accepted September 5, 2018