СПОСОБ И УСТРОЙСТВО ДЛЯ ВЫЯВЛЕНИЯ СЛУЧАЕВ МИКРОСНА
METHOD AND DEVICE FOR MICROSLEEP DETECTION

Настоящее изобретение относится к способу и устройству для определения случаев микросна.
УРОВЕНЬ ТЕХНИКИ
Способы подсчета ошибок, допускаемых во время вождения, связанных с наступлением сна, имеют ключевое значение для уменьшения количества аварий, связанных со сном. В США сонливость водителей является основной причиной автомобильных аварий, в результате которых ежегодно 40000 человек получают травмы и 1500 человек гибнет. В одном из исследований 55% из 1000 опрошенных водителей указали, что они управляли транспортным средством в сонном состоянии, а 23% заснули за рулем. Эти данные подтверждают другие исследования о том, что сонливость или наступление сна могут приводить к авариям транспортных средств, причинами которых по ошибке считаются другие обстоятельства.
Случаи микросна могут использоваться для указания на наступление сна. Случай микросна часто происходит в результате недостатка сна или умственного утомления, синдрома апноэ, нарколепсии или гиперсомнии.
Существуют стандартные способы отслеживания микросна, которые включают: мониторинг электроэнцефалограммы (ЭЭГ) и электроокулограммы (ЭОГ), видеосъемку, проверку функционирования и т.п. Из всех этих способов наиболее надежным для измерения сонливости считается ЭЭГ. Однако ЭЭГ и ЭОГ требуют использования электродов, которые необходимо подключать к субъекту, поэтому эти способы не подходят для постоянного контроля любых операторов, выполняющих работу, приводящую к утомлению, таких, например, как водители транспортных средств. Остальные способы являются непрактичными, поскольку сложны для реализации и требуют интенсивного анализа данных операторами, что затрудняет автоматизацию обработки таких данных.
Существуют различные способы определения случаев микросна. Некоторые эксперты определяют микросон согласно поведенческому критерию (смыкание век), тогда как другие специалисты используют маркеры электроэнцефалограммы, например 3-15-секундный эпизод (более короткие промежутки было бы сложно определить визуально, а более длинные промежутки времени квалифицируются как наступление сна), в течение которого биоактивность на частоте 4-7 Гц (тета-ритм) заменяет фоновый ритм при бодрствовании на частоте 14-20 Гц (альфа-ритм).
Микросон, субъективно относящийся к ощущению «дремоты», связан с прерыванием моргания, характерного для полного бодрствования. Во время микросна утрата внимания может ослабить способность определять и реагировать на критические раздражители и события. Например, микросон (или случаи микросна) может стать очень опасным в случае, если он наступает во время ситуаций, требующих постоянной бдительности, таких как вождение транспортного средства или управление производственным оборудованием. Лица, подвергшиеся микросну, обычно не осознают это и считают, что они все время бодрствовали, или ощущают "мысленное отключение". Сонный водитель особенно рискует попасть в аварию во время случая микросна. Многие аварии происходили в результате случаев микросна.
Очевидно, что способность определять случаи микросна была бы полезна в качестве средств предупреждения и оповещения сонных водителей о таких случаях.
В нескольких исследованиях использовались «количественные» способы ЭЭГ для определения сонливости водителя. Тета-энергия (ЭЭГ волны) и частота тета-импульсов обычно увеличиваются во время длительного вождения и связаны с плохим управлением транспортным средством. К сожалению, эти методы обычно используют среднюю активность, фиксируемую ЭЭГ, до нескольких секунд (в пределах 1 минуты), и поэтому не могут использоваться для определения краткосрочных случаев микросна длительностью от 3 до 15 секунд.
Были предложены различные физиологически критерии для предупреждения водителей о наступлении сонливости.
Одним из наиболее исследованных критериев является показатель PERCLOS (или PERcent CLOSure, процент закрывания), измеряющий сонливость как процент времени, когда глаза водителя закрыты, за определенный отрезок времени. После получения достаточного количества моделей открытий/закрытий показатель PERCLOS выдает сигнал тревоги. Показатель PERCLOS срабатывает при процентном отношении более 80%, что обычно означает, что в течение 1 минуты глаза индивида были закрыты 48 секунд перед срабатыванием сигнала тревоги. Очевидно, что такая задержка недопустима в таких задачах, как управление транспортным средством, так как за то время, пока показатель PERCLOS активизирует сигнал тревоги, водитель либо уже заснет, либо будет на грани засыпания. Следовательно, к сожалению, показатель PERCLOS является слишком медленной системой, чтобы дать время на принятие превентивных мер до того, как индивид, такой как водитель, испытает первые признаки сонливости.
Записи ЭОГ, выполняющиеся для того, чтобы исключить потенциальные дефекты во время записей ЭЭГ, также показывают, что нормальное моргание глаз зачастую продолжается во время случаев микросна, определяя таким образом, что глаза по крайней мере частично открыты.
Другим физиологическим критерием, основанным на измерениях закрытия глаз и предположительно предупреждающим водителей о наступлении сонливости, является измерение пиковой скорости моргания, что описано в патенте США 7071831 В2. Система, описанная там, включает пару очков или оправ для очков, которые должны носить индивиды для отслеживания частоты моргания. Однако операторы должны иметь при себе или носить такой тип устройства (т.е., это переносные устройства).
Таким образом, имеется необходимость в способе определения и устройстве для определения случаев микросна у субъекта, как индикатора наступления сна, способные определить краткие случаи микросна на ранних стадиях, не требующие использования электродов или других переносных устройств.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Мы непредвиденно выявили, что случаи микросна можно легко и быстро определить путем измерения моделей открытия и закрытия век с использованием процесса обнаружения микросна, преобразования исходных данных, полученных в результате измерений, в графики и сравнения графиков с хранимыми стандартными графиками моделей микросна.
Соответственно, согласно одному из аспектов настоящего изобретения предложен способ определения случая микросна у субъекта, содержащий определение коэффициентов открытости глаз путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за определенный промежуток времени, формирование графических представлений коэффициентов открытости глаза, сопоставление изменения коэффициентов открытости глаза за указанный промежуток времени с моделью закрытия эталонного глаза, указывающей на случай микросна.
Вышеописанный способ также может включать освещение лица субъекта и запись изображения лица. Для освещения лица и записи изображения лица используется цифровая фотокамера с инфракрасным излучателем.
Вышеописанный способ также может включать идентификацию глаза и век с использованием алгоритма распознавания черт лица.
Вышеописанный способ также может включать определение наличия уровней коэффициента открытости глаза, характерных для микросна, путем измерения коэффициентов открытости глаза с помощью функции времени для цикла моргания глаза. Уровни коэффициентов открытости глаза включают по меньшей мере один уровень открытости. Коэффициенты открытости глаза включают минимум один уровень открытости глаза и максимум пять уровней открытости глаза. Коэффициенты открытости глаза включают пять уровней открытости глаза. Уровни открытости глаза соотнесены с открытым глазом, закрытием век, прикрытым или закрытым глазом и открытием век.
В способе, описанном выше, коэффициенты открытости глаза могут включать пять последовательных уровней открытости глаза, и последовательное определение пяти уровней указывает на характеристику микросна. Способ также может включать определение дополнительных коэффициентов открытости глаза при выявлении менее пяти последовательных уровней коэффициента открытости глаза.
Вышеописанный способ также может включать вычисление характерных кривых открытия и закрытия глаза. Характерные кривые закрытия глаза вычисляются с использованием отрицательного наклона и полиномиальной регрессии второго порядка, применяемых для коэффициентов открытости глаза первого и второго уровней коэффициента открытости глаза. Коэффициенты открытости глаза вычисляются с использованием положительного наклона и полиномиальной регрессии второго порядка, применяемых для коэффициентов открытости глаза четвертого и пятого уровней коэффициента открытости глаза.
Способ также может включать выявление наличия характерных кривых открытия и закрытия глаза при микросне путем вычисления коэффициента Пирсона для характерных кривых закрытия относительно первого и второго уровней коэффициента открытости глаза и характерных кривых открытия относительно четвертого и пятого уровней коэффициента открытости глаза. Субъект информируется, когда коэффициенты Пирсона превышают или равны заданному предельному значению.
В способе, описанном выше, изображения лиц выбираются с частотой от 10 Гц до 60 Гц.
Вышеописанный способ также может включать подпроцесс для определения уровней коэффициента открытости глаза, характерных для микросна, при частоте отбора изображения 20 Гц. Подпроцесс включает выявление определения первого уровня путем подтверждения наличия последовательности из шести или более последовательных коэффициентов открытости глаза, соответствующих открытому глазу.
Вышеописанный способ также может включать проверку определения второго уровня путем подтверждения наличия серии из четырех и более последовательных убываний коэффициентов открытости глаза. Вышеописанный способ также может включать проверку определения третьего уровня путем подтверждения наличия серии минимум пяти и максимум ста двадцати последовательных коэффициентов открытости глаза.
Вышеописанный способ также может включать проверку определения четвертого уровня путем подтверждения наличия серии по меньшей мере четырех последовательных коэффициентов открытости глаза.
Вышеописанный способ также может включать проверку определения пятого уровня путем подтверждения наличия серии по меньшей мере шести последовательных коэффициентов открытости глаза, соответствующих открытому глазу.
Вышеописанный способ также может включать оповещение субъекта о наличии случая микросна.
Согласно другому аспекту, предложено устройство для определения случаев микросна, содержащее устройство для отбора изображений лица субъекта за определенное время, имеющее инфракрасный излучатель для освещения одного или более глаз субъекта,
микропроцессор со встроенной электронной процедурой определения микросна, микропроцессор подключен к указанному устройству отбора для получения отобранных изображений лица, которые преобразуются электронным образом в графические представления коэффициентов открытости глаза, и память, соотнесенную с микропроцессором, которая хранит модели закрытия эталонного глаза для сопоставления электронным образом коэффициентов открытости глаза с моделями закрытия эталонного глаза.
Устройство, описанное выше, дополнительно включает сигнальное устройство, соединенное с микропроцессором, для оповещения субъекта о случае микросна.
Согласно другому аспекту, предложен способ оповещения оператора транспортного средства о случае микросна, содержащий
- определение коэффициентов открытости глаза путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за определенный промежуток времени,
- формирование графических представлений коэффициентов открытости глаза,
- сопоставление изменений коэффициентов открытости глаза за определенный промежуток времени с моделью закрытия эталонного глаза, указывающей на случай микросна,
- запуск сигнального устройства для оповещения оператора о случае микросна.
Согласно еще одному аспекту, предложен способ соотнесения случаев микросна по электроэнцефалограмме (ЭЭГ) и электроокулограмме (ЭОГ) с моделями закрытия глаза, содержащий
- измерение моделей микросна по ЭЭГ и ЭОГ у субъекта,
- определение коэффициентов открытости глаза путем измерения расстояний между верхним веком и нижним веком по меньшей мере одного глаза за определенный промежуток времени, - формирование графических представлений коэффициентов открытости глаза,
- сопоставление изменений коэффициентов открытости глаза с моделями микросна по ЭЭГ и ЭОГ.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Варианты реализации изобретения описаны с помощью примеров со ссылками на прилагаемые чертежи.
Фиг.1 является структурной схемой устройства определения микросна согласно варианту реализации настоящего изобретения, устройство используется на субъекте.
Фиг.2 является блок-схемой процедуры определения случая микросна, который может использоваться устройством, изображенным на фиг.1.
Фиг.3А и 3В являются схемами полностью открытого глаза (фиг.3А) и полностью закрытого глаза (фиг.3В) с соответствующим коэффициентом открытости глаза.
Фиг.4 является последовательностью схем для примера изменения коэффициента открытости глаза как функции от времени для цикла моргания.
Фиг.5 иллюстрирует пример полностью закрытого глаза (периоды L4 и L5), в момент микросна.
Фиг.6 является блок-схемой подпроцесса определения уровней коэффициента открытости глаза, являющегося характеристикой микросна, который может использоваться вместе с процедурой определения случая микросна, проиллюстрированного на фиг.2, для частоты дискретизации изображения 20 Гц.
ПОДРОБНОЕ ОПИСАНИЕ
Показанный неограничивающий вариант реализации данного изобретения относится к способу и устройству для определения случаев микросна у испытуемого на основании анализа моделей закрытия по меньшей мере одного глаза, как правило, обоих глаз, происходящих во время случаев микросна.
Во время случаев микросна, измеряемых ЭОГ и ЭЭГ, наблюдались последовательные колебания расстояния между верхним веком и нижним веком испытуемого в течение определенного промежутка времени. Ниже описываются способ и устройство, дополнительно свидетельствующие о наступлении сна у сонных операторов, например водителей транспортных средств, пилотов самолетов, авиационных диспетчеров и т.п., с помощью моделей закрытия глаза, при выявлении которых срабатывает сигнал оповещения сонных операторов об опасной ситуации до закрытия века, таким образом устанавливая соотношение между моделями микросна согласно ЭЭГ и ЭОГ и моделями закрытия глаза.
Также описывается способ анализа моделей закрытия глаза, позволяющий установить различия между обычным закрытием века и закрытием века в результате сонливости.
На фиг.1 показан пример устройства 100 для определения случаев микросна, которое по существу содержит прибор для отбора изображений лица, например цифровую фотокамеру 102 с соотнесенным с ней инфракрасным излучателем 104, микропроцессор 106 с соотнесенной с ним памятью 108 и сигнальное устройство/дисплей 110 и/или интерфейс 112 ввода/вывода.
В одном примере описан способ, использующий устройство 100 для определения случая микросна у испытуемого. Способ включает определение коэффициентов открытости глаза путем измерения расстояний между верхним веком и нижний веком по меньшей мере одного глаза, как правило обоих глаз, за определенный промежуток времени, формирование графических представлений коэффициентов открытости глаза, соотнесение изменений коэффициентов открытости глаза за определенный промежуток времени с моделью закрытия эталонного глаза, указывающей на случай микросна.
Во время работы цифровая камера 102 направлена на лицо субъекта 10 и освещает его/ее глаза 12 с помощью инфракрасного излучателя 104 с целью определения коэффициента открытости глаза, т.е. величины расстояния между верхним 14а и нижним 14b веками. Изображения, полученные цифровой фотокамерой 102, обрабатывают процессором 106, который осуществляет процедуру определения случая микросна, сохраненную в соотнесенной с ним памяти 108. По определении случая микросна устройство 100 может информировать пользователя о случае микросна с помощью запуска встроенного сигнального устройства и/или дисплея 110, или предоставить информацию следующему процессу или устройству через интерфейс 112. Следует отметить, что к устройству 100 определения случая микросна могут быть добавлены другие компоненты, такие как, например, пользовательский интерфейс и беспроводное устройство связи.
Далее рассмотрена фиг.2, на которой изображена блок-схема процедуры 200 определения случая микросна, которая может выполняться электронным образом с помощью процессора 106 устройства 100, изображенного на фиг.1. Этапы процедуры 200 обозначены блоками 202-212. Процедура 200 начинается с блока 202 для отбора изображения лица субъекта 10 с помощью цифровой фотокамеры 102. Цифровая фотокамера 102 может осуществлять отбор изображений с частотой 10-60 Гц (т.е. частотой отбора проб). В блоке 204 процедура 200 определяет в отобранном цифровом изображении глаз 12 и веки 14а, 14b субъекта 10. Это может выполняться с помощью алгоритма распознавания черт лица, выполняемого процессором 106. Затем вычисляется коэффициент открытости глаза.
Далее рассмотрены фиг.3А и ЗВ, где коэффициент открытости глаза может быть выражен через 6 со значением между 1, представляющим полностью открытый глаз 12 (см. фиг.3А), и 0, представляющим полностью закрытый глаз 12 (см. фиг.3В). Значение 5 может быть вычислено, например, путем деления измеренного расстояния между положениями верхнего 14а и нижнего 14b век в декартовом представлении (X,Y) на контрольный размер полностью открытого глаза D. Таким образом:
u
u
L
L
δ=(положение верхнего века (x,y) - положение нижнего века (x,y))/D,
u
u
|
|
u
u
L
L
u
u
L
L
где D=положение верхнего века (x,y) - положение нижнего века (x,у), и (x,y)=текущее положение верхнего века, (x,y)=текущее положение нижнего века, (x,y)=положение верхнего века при максимальном открытии глаза, и (х,у)=положение нижнего века при максимальном открытии глаза.
Снова обращаясь к фиг.2, в блоке 206 процедура определяет, имеются ли уровни коэффициента открытости глаза, характерные для микросна.
1
2
i
i+1
j
k
k+1
n
Далее рассмотрена фиг.4, где изображен иллюстративный пример колебания коэффициента открытости глаза как функции от времени для цикла мигания. Цикл мигания начинается в момент времени t при полностью открытом глазе 12 (коэффициент открытости глаза δ=1,00), в момент времени t коэффициент открытости глаза остается δ=1,00, затем убывает до δ=0,80 и δ=0,50 в отрезки времени t, и t, пока не достигнет δ=0,00 в момент времени t (полностью закрытый глаз 12), а затем возрастает до δ=0,50 и δ=0,80 в отрезки времени t и t, пока снова не достигнет δ=1,00 в момент времени t. Следует отметить, что цикл мигания, изображенный на фиг.4, является исключительно иллюстративным, и фактический цикл включает ряд отобранных моментов времени в зависимости от частоты отбора.
Далее рассмотрена фиг.5, на которой вычисленные коэффициенты открытости глаза как функция от времени представлены в виде графика, который, в целом, может характеризоваться пятью последовательными уровнями L1-L5. Первый и последний уровни, L1 и L5, соотносятся с открытым глазом (т.е. δ=1,00), второй уровень, L2, - с закрытием век 14а, 14b (т.е. 0,00>δ>0,00, 5 убывает), третий уровень, L3, - с прикрытым или закрытым глазом (т.е., например, 0,00<δ<0,5) и четвертый уровень, L4, - с открытием век 14а, 14b (т.е. 0,00<δ<1,00, 5 возрастает).
Снова обращаясь к фиг.2, процедура 200 определяет все пять уровней, т.е. L1-L5, затем переходит к блоку 208. В противном случае, процедура переходит обратно к блоку 202 для отбора следующего изображения. В блоке 208 процедура вычисляет характерные кривые 21 или 26 закрытия глаза и кривые 25 или 27 открытия глаза. Характерная кривая 21 или 26 закрытия глаза вычисляется с помощью полиномиальной регрессии второго порядка отрицательного наклона (параболическая кривая), т.е.
o
1
2
2
Y=d+d.X+d.X.
1
2
где Y является прогнозируемой результативной величиной для полиномиальной модели с коэффициентами регрессии d до  для каждого уровня и Y пересекающим d1;
которая применяется для коэффициентов открытости глаза, включающих первый и второй уровни коэффициента открытости глаза, т.е. L1 и L2. Для кривых 25 или 27 открытия глаза вычисление производится с помощью полиномиальной регрессии второго порядка положительного наклона, применяемой к коэффициентам открытости глаза, включающих четвертый и пятый уровни коэффициента открытости глаза, т.е. L4 и L5. Затем в блоке 210 процедура 220 определяет, имеются ли характерные для микросна кривые открытия и закрытия глаза. Это выполняется путем вычисления коэффициента Пирсона, r:
где X и Y являются положениями в декартовом представлении;
кривых 21 или 26 закрытия глаза с учетом коэффициентов открытости глаза, включающих уровни L1 и L2 коэффициента открытости глаза, и кривых 25 или 27 открытия глаза с учетом коэффициентов открытости глаза, включающих уровни L4 и L5 коэффициента открытости глаза. Если оба коэффициента Пирсона больше или равны заданному пределу, как например, 0,9, то процедура 200 переходит к блоку 212. В противном случае процедура переходит обратно к блоку 202 для отбора следующего изображения. И наконец, в блоке 212 устройство 100 для определения случая микросна может оповестить пользователя 10 об определении состояния микросна с помощью встроенного сигнального устройства и/или дисплея 110 или предоставить информацию следующему процессу или устройству с помощью интерфейса 112 (см. фиг.1), использующего, например, проводную или беспроводную телекоммуникационную связь, как, например, Bluetooth, WiFi и т.п.
Следует отметить, что предел коэффициента Пирсона не ограничивается значением 0,9 и может регулироваться, чтобы соответствовать желаемому доверительному уровню. Он также может варьироваться в зависимости от разрешения цифровой камеры 102 (см. фиг.1).
Модель закрытия глаза основывается на конкретных данных наблюдениях закрытия, продолжительности частичного или полного закрытия и открытия век. Точнее, модель закрытия глаза указывает на последовательное убывание, за которым следует период, когда веки полностью закрыты, а затем открываются снова. Если имеет место все вышеописанное, обнаружен случай микросна.
Пример уровней коэффициента открытости глаза, характерных для микросна при частоте отбора изображений, равной 20 ГГц
Далее рассмотрен фиг.6, на котором изображена блок-схема подпроцесса 300 для определения уровней коэффициента открытости глаза, характерных для микросна, который может выполняться в блоке 206 процедуры 200 с целью определения наличия пяти уровней коэффициента открытости глаза, характерных для микросна, т.е. L1-L5 (см. фиг.5), для частоты отбора изображений, равной 20 Гц. Этапы подпроцесса 300 обозначены блоками 301-305.
В блоке 301 подпроцессом 300 выявляется, определен ли первый уровень L1. С этой целью подпроцессом 300 производится проверка наличия серии минимум из шести (6) последовательных коэффициентов открытости глаза со значением δ=1,00. В случае наличия подпроцесс 300 переходит к блоку 302, в противном случае подпроцесс возвращается к блоку 202 процедуры 200 (см. фиг.2).
В блоке 302 подпроцессом 300 выявляется, определен ли второй уровень L2. С этой целью подпроцессом 300 производится проверка наличия серии из минимум четырех (4) последовательных убывающих коэффициентов открытости глаза со значением между δ=0,99 и δ=0,01. В случае наличия подпроцесс 300 переходит к блоку 303, в противном случае подпроцесс возвращается к блоку 202 процедуры 200 (см. фиг.2).
В блоке 303 подпроцессом 300 выявляется, определен ли третий уровень L3. С этой целью подпроцессом 300 производится проверка наличия серии из минимум пяти (5) и максимум 120 последовательных коэффициентов открытости глаза со значением δ=0,00. В случае наличия подпроцесс 300 переходит к блоку 304, в противном случае подпроцесс возвращается к блоку 202 процедуры 200 (см. фиг.2).
В блоке 304 подпроцессом 300 выявляется, определен ли четвертый уровень L4. С этой целью подпроцессом 300 производится проверка наличия серии из минимум четырех (4) последовательных возрастающих коэффициентов открытости глаза со значением между δ=0,01 и δ=0,99. В случае наличия подпроцесс 300 переходит к блоку 305, в противном случае подпроцесс возвращается к блоку 202 процедуры 200 (см. фиг.2).
И наконец, в блоке 305 подпроцессом 300 выявляется, определен ли пятый уровень L5. С этой целью подпроцессом 300 производится проверка наличия серии из минимум шести (6) последовательных коэффициентов открытости глаза со значением δ=1,00. В случае наличия подпроцесс 300 переходит к блоку 208 процедуры 200 (см. фиг.2), наличие всех пяти (5) уровней коэффициента открытости глаза, характерных для микросна. В противном случае подпроцесс возвращается к блоку 202 процедуры 200 (см. фиг.2). Следует отметить, что количество коэффициентов открытости глаза, используемых для определения наличия каждого уровня коэффициента открытости глаза, характерного для микросна, может варьироваться, например, согласно частоте отбора изображений, и приводится исключительно в качестве примера.
Следует отметить, что память, соотнесенная с микропроцессором, как описано выше, содержит сохраненные в ней модели закрытия эталонного глаза. Графики, изображенные на фиг.5, сравниваются с соответствующими моделями закрытия эталонного глаза. Как только соответствие найдено, случай микросна подтверждается и запускается сигнальное устройство.
Хотя настоящее изобретение описано с помощью конкретного варианта реализации и его примерами, для специалистов в данном уровне технике очевидно, что к варианту реализации могут быть применены модификации без отклонения от объема настоящего изобретения.