СПОСОБ ОПРЕДЕЛЕНИЯ ТЕКУЩЕГО СОСТОЯНИЯ ГЛАЗ ОПЕРАТОРА ПРИ КОНТРОЛЕ БОДРСТВОВАНИЯ
DETERMINATION OF OPERATOR EYE CURRENT STATE AT CONTROL OVER VIGILANCE

Изобретение относится к технике оптического контроля текущего состояния глаз (открыты/закрыты) человека-оператора, предпочтительно водителя транспортного средства.
Как следует из достигнутого уровня техники проблема распознавания (контроля) состояния (бодрствование или засыпание) человека-оператора продолжает оставаться актуальной, при этом усилия разработчиков направлены преимущественно на совершенствование оптических средств контроля состояния глаз человека-оператора (см., например, RU 2012122205 А, Цзэцзюнь и др., 10.12.2013; RU 2423070 С2, СЛИП ДИАГНОСТИКС ПТИ. ЛТД, Мюррей, 10.07.2011; RU 2432120 С2, ООО "АВТЭКС", 27.10.2011; US 8659751 В2, Tsukizawa, et al., 25.02.2014 и др.).
Анализ патентной документации показал, что в настоящее время наметились, по существу, два основных альтернативных направления решения задачи по обеспечению непрерывного контроля состояния глаз оператора. Первое направление - получение с помощью, по меньшей мере, одной видеокамеры последовательности кадров изображения оператора с последующей и соответствующей каждому изобретению обработкой (анализом) полученных изображений. Второе - получение с помощью видеокамеры последовательности изображений лица оператора с последующим выделением на полученных изображениях бликов от глаз, обусловленных используемой при получении упомянутых изображений подсветкой точечными источниками света.
Так достигнутый уровень техники, относящийся к указанному выше первому направлению, характеризует способ определения текущего состояния глаз (открыты или закрыты) оператора, согласно которому формируют последовательность пар кадров изображения, каждый в виде электрического сигнала в цифровой форме, который адекватен распределению интенсивности света в соответствующем изображении (RU 2413632 С2, В.Н. Гридин и др., 10.03.2011). В каждой паре кадров один кадр формируют без ИК подсветки, а другой кадр формируют с ИК подсветкой. Каждый кадр изображения разбивают на п одинаковых фрагментов, определяют среднюю яркость сигнала в пределах каждого фрагмента. Определение в каждой паре кадров изображения области, содержащей лицо оператора, осуществляют путем выделения тех фрагментов, соответствующая которым средняя яркость сигнала существенно увеличивается при ИК подсветке, а, кроме того, выделенные фрагменты образуют односвязную область. Затем в упомянутой выделенной односвязной области того кадра изображения, который получен при ИК подсветке, выделяют фрагменты, соответствующая которым средняя яркость сигнала для соответствующего кадра имеет наименьшее значение, определяют степень округлости выделенных в упомянутой односвязанной области кадра изображения зон с наименьшей средней яркостью сигнала. Из этих зон выделяют зоны, имеющие близкие геометрические параметры (диаметр и площадь) и определяют их контраст, а распознавание в выявленной группе зон тех зон, которые соответствуют изображению зрачков в анализируемой паре кадров изображения (иными словами, вынесение суждения о наличии в анализируемой паре кадров изображений глаз оператора) осуществляют путем выявления (по наличию) в упомянутой группе зон не менее двух зон, имеющих контраст, превышающий заданное пороговое значение и расположенных на расстоянии, которое не меньше m·d, где m - константа, a d - диаметр упомянутых зон.
Недостаток этого способа - необходимость проведения большого объема вычислительных операций и соответственно средств, обладающих достаточно высокой вычислительной мощностью. Кроме того, совокупность параметров, используемых в этом способе для обнаружения зрачков, не обеспечивает высокой достоверности обнаружения открытых глаз, поскольку наличие очков у оператора оказывает существенное влияние на измеряемую величину контраста.
Наиболее близким к патентуемому является способ определения текущего состояния глаз (открыты/закрыты) оператора (US 7578593 В2, Hammoud, et al., 25.08.2009 - прототип), согласно которому посредством фокусируемой на оператора видеокамеры формируют последовательность кадров изображения каждый в цифровой форме, который адекватен распределению интенсивности света в соответствующем изображении. При формировании следующих друг за другом кадров изображения посредством разнесенных относительно друг друга в пространстве двух групп из одинакового количества одинаковых точечных источников света, предпочтительно светодиодов, осуществляют в чередующейся последовательности, в соответствии с длительностью каждого кадра изображения и синхронно с ним импульсную подсветку оператора. В каждом полученном кадре изображения выделяют блики, обусловленные отражением излучения точечных источников света соответствующей этому кадру изображения группы точечных источников света, и определяют их координаты. Распознавание бликов, обусловленных отражением излучения точечных источников света от глаз оператора, осуществляют путем выделения в каждой паре следующих друг за другом кадров изображения бликов, имеющих одинаковые или незначительно отличающиеся координаты. Иными словами, осуществляют выделение в каждой паре следующих друг за другом кадров изображения бликов, координаты которых не зависят или незначительно зависят от положения обуславливающих их точечных источников света относительно оператора.
Недостатки прототипа состоят в следующем.
1. Достоверность определения состояния глаз оператора (открыты/закрыты) невысока, поскольку, как было экспериментально установлено:
- величина смещения бликов от очков сильно зависит как от величины поворота головы оператора, так и от кривизны поверхности линз очков, при этом величина смещения бликов от очков в ряде случаев оказывается сравнима с величиной смещения бликов от глаз оператора;
- при поворотах головы оператора блики от глаз и блики от очков могут накладываться друг на друга.
2. Поиск бликов сопряжен со значительными временными затратами, поскольку осуществляется по всей площади каждого кадра изображения. Кроме того, необходимость двух групп точечных источников света (предпочтительно светодиодных), излучающих свет в чередующейся последовательности и синхронно со сменой кадров изображения, усложняет техническую реализацию известного способа.
Настоящее изобретение направлено на решение технической задачи по повышению достоверности определения состояния глаз оператора (открыты/закрыты) при одновременном уменьшении поисковых временных затрат и упрощении его технической реализации.
Патентуемый способ определения текущего состояния глаз оператора, согласно которому посредством группы одинаковых точечных источников света осуществляют подсветку оператора, а с помощью фокусируемой на оператора видеокамеры формируют последовательность кадров изображения в цифровой форме, отличается следующими операциями.
В каждом N-м кадре изображения выделяют область поиска глаз оператора в форме имеющего геометрический центр удлиненного в горизонтальном направлении прямоугольника; осуществляют однопороговое сканирование упомянутой области поиска, при этом выделяют участки изображения, далее блики, с интенсивностью, превышающей пороговое значение, и определяют их координаты; определяют соответствующее каждому N+1 кадру изображения положение геометрического центра упомянутой области поиска путем вычисления усредненных координат бликов, выявленных в упомянутой области поиска.
Затем осуществляют распознавание бликов, обусловленных отражением излучения точечных источников света от глаз, путем проведения следующих операций:
выделяют одинаковый для всех бликов фрагмент изображения, полностью перекрывающий каждый из бликов и имеющий форму плоской поверхностно-односвязанной области,
определяют суммарную интенсивность излучения в каждом упомянутом фрагменте изображения,
определяют значение максимальной интенсивности излучения в пределах каждого упомянутого фрагмента изображения, а также усредненный, по меньшей мере, по двум, предпочтительно ортогональным направлениям параметр, характеризующий убывание интенсивности излучения в направлении к границе этого фрагмента изображения.
В каждом фрагменте изображения измеряют распределение интенсивности, суммарную интенсивность, а также максимальное значение интенсивности излучения и ее среднеквадратическое отклонение в пределах контура, образованного по границе упомянутого фрагмента изображения и имеющего одинаковую ширину, равную (1÷3)·Δ, где Δ - размер одного пикселя твердотельного формирователя видеосигнала видеокамеры.
Определяют принадлежность рассматриваемого блика к блику от глаз, если значения каждого из перечисленных выше параметров для рассматриваемого блика не выходят за пределы установленного для каждого из них порогового значения.
Состояние открытия одного глаза определяют при наличии в упомянутой области поиска единственного блика или бликов, расположенных друг относительно друга приблизительно на одинаковом расстоянии;
состояние открытия обоих глаз - при наличии в упомянутой области поиска двух групп скоплений бликов, расположенных на расстоянии относительно друг друга большем максимального расстояния между упомянутыми бликами в каждой группе;
состояние закрытия обоих глаз - при отсутствии в упомянутой области поиска бликов от глаз оператора.
Способ может характеризоваться тем, что соответствующий каждому блику фрагмент изображения имеет форму центросимметричной плоской поверхностно-односвязанной области с границей, образованной прямолинейными и/или ступенчатыми сторонами, при этом шаг ступеней кратен размеру пикселей формирователя видеосигнала видеокамеры, а минимальное расстояние Н между участками границы фрагмента изображения, расположенными оппозитно относительно его центра, в 1,2÷1,6 раза превышает максимальный размер W того блика, из числа выделенных в области поиска глаз оператора бликов, который в каждом конкретном случае имеет максимальный размер.
Способ может характеризоваться также тем, что подсветку оператора осуществляют посредством группы одинаковых точечных источников света, в качестве которых используют светодиоды и которые размещают в узловых точках плоского контура, например, в вершинах многоугольника с количеством сторон от 3 до 6.
Преимущество патентуемого способа определения текущего состояния глаз (открыты/закрыты) оператора, по сравнению с прототипом, заключается в том, что, благодаря использованию патентуемой совокупности измеряемых у соответствующего каждому выделенному в анализируемом кадре блику фрагмента изображения (полностью перекрывающего соответствующий ему блик и имеющего для всех выделенных бликов одинаковый размер и форму) его структурных параметров, обеспечивается достижение технического результата.
Технический результат состоит в повышении достоверности распознавания бликов, обусловленных отражением излучения точечных источников света от глаз оператора, а, следовательно, повышается достоверность определения состояния глаз оператора, при одновременном отсутствии необходимости в использовании второй группы точечных источников света, а также использования синхронизированной с частотой следования кадров изображения импульсной подсветки оператора. То есть, одновременно достигается и дополнительный технический результат, заключающийся в упрощении технической реализации патентуемого способа.
Кроме того, благодаря выделению в каждом N-м кадре изображения области поиска глаз оператора, иными словами, участка изображения лица оператора, содержащего глаза, а также определение соответствующее каждому N+1 кадру изображения положение геометрического центра упомянутой области поиска, обеспечивает не только уменьшение поисковых временных затрат, но и слежение во времени за положением изображения части лица оператора, содержащей глаза.
В дальнейшем патентуемое изобретение поясняется конкретным примером, который, однако, не является единственно возможным, но наглядно демонстрирует возможность достижения упомянутых технических результатов патентуемой совокупностью существенных признаков.
Сущность изобретения поясняется на фигурах.
На фиг. 1 схематично изображен простейший пример выполнения блок-схемы устройства для осуществления патентуемого способа;
на фиг. 2 схематично изображена область поиска после выполнения однопорогового сканирования соответствующего кадра изображения;
на фиг. 3 - то же, что и на фиг. 2, но с соответствующим каждому выявленному блику выделенным одинаковым фрагментом изображения, полностью перекрывающим соответствующий ему блик;
на фиг. 4 в увеличенном масштабе изображена граница выделенного фрагмента изображения, который соответствует блику, выявленному в области поиска данного кадра и имеющему максимальный размер;
на фиг. 5 - изображен фрагмент изображения, выделенный для блика, имеющего максимальный размер;
на фиг. 6 - то же, что и на фиг. 5, но с выделенной дополнительной штриховкой приграничной областью фрагмента изображения;
на фиг. 7 - распределение интенсивности I излучения в пределах фрагмента изображения вдоль направления, показанного линией А фиг. 5;
на фиг. 8 - представленная на фиг. 2 область поиска после селекции бликов, обусловленных отражением излучения именно от глаз оператора.
В простейшем примере воплощения изобретения устройство для определения текущего состояния глаз (открыты/закрыты) оператора (фиг. 1) содержит блок 1 подсветки оператора 2, видеокамеру 3, снабженную системой 31 автофокусировки, процессорный блок 4 вычислений и сигнализатор 5. Блок 1 подсветки содержит группу из одинаковых точечных источников света 6 (точечных излучателей), например, светодиодов, расположенных в узловых точках плоского контура, например, в вершинах многоугольника с небольшим (от 3 до 6) количеством сторон, предпочтительно, или квадрата, или прямоугольника (фиг. 1). В предпочтительном воплощении изобретения видеокамера 3 выполнена с обеспечением возможности формирования изображения в спектральном интервале, соответствующем излучению точечных источников 6, при этом направление подсветки оператора 2 условно показано стрелкой «П», а линия визирования видеокамеры 3 - стрелкой «О».
ц
ц
max
1
2
Чертежи, представленные на фиг. 2÷8, последовательно иллюстрируют операции, проводимые при осуществлении патентуемого способа. Используются следующие обозначения: 7 - блик; 71÷77 блики, обусловленные отражением излучения точечных источников света 6 от глаз оператора 2; 8 - область поиска; 81 - геометрический центр области 8 поиска, имеющий координаты Х и Y; 9 - фрагмент изображения, выделяемый для каждого блика 7 и полностью перекрывающий соответствующий ему блик 7; 91 - центр фрагмента 9 изображения; 92 - граница фрагмента 9 изображения; 93 - приграничная область фрагмента 9 изображения. Линиями А и В показаны два ортогональных направления, по которым измеряется распределение интенсивности I излучения в пределах каждого фрагмента 9 изображения; m - количество пикселей, соответствующих расстоянию, на котором в пределах фрагмента изображения интенсивность I излучения уменьшается, относительно своего максимального значения I в два раза. Z и Z - соответственно расстояние между группами (скоплениями) бликов, обусловленных отражением излучения от глаз оператора 2 и расстояние между бликами 71÷77 в каждой группе.
В патентуемом изобретении, для снижения поисковых временных затрат, селекция бликов, обусловленных отражением излучения от глаз оператора (преимущественно водителя транспортного средства), осуществляется не в пределах всего каждого получаемого с помощью видеокамеры 3 кадра изображения, а только в пределах области 8 поиска глаз оператора 2, выделенной в каждом текущем кадре изображения и имеющей форму удлиненного в горизонтальном направлении прямоугольника с геометрическим центром 81 (фиг. 2). При этом геометрические размеры области 8 поиска глаз, а также начальное (исходное) положение ее геометрического центра 81, определяют предварительно для каждого оператора 2 в отдельности следующим образом.
i
i
Сначала определяют координаты геометрического центра 81 области 8 поиска глаз оператора 2. Для этого с помощью блока 1 подсветки осуществляют подсветку оператора 2, а помощью фокусируемой на оператора 2 видеокамеры 3 формируют предназначенный для настройки измерительной системы кадр изображения в цифровой форме, который адекватен распределению интенсивности излучения в соответствующем кадре изображении. Далее, осуществляют однопороговое сканирование всего полученного кадра изображения, при этом выделяют участки изображения с интенсивностью I, превышающей пороговое значение, (иными словами, выделяют блики 7) и определяют их координаты: (x, y), где: i=1, 2, …, N, a N - количество бликов, выявленных в упомянутом кадре изображения. Операция однопорогового сканирования кадра изображения осуществляется аналогично известной из уровня техники операции селекции объектов по интенсивности излучения (С.Е. Здор и В.Б. Широков, Оптический поиск и распознавание. Изд «Наука», М. 1973, с. 31-32).
ц
ц
max
max
max
ц
i
max
ц
i
<mrow><msub><mi>Х</mi><mi>ц</mi></msub><mo>=</mo><msup><mi>N</mi><mrow><mo>−</mo><mn>1</mn></mrow></msup><mo>⋅</mo><mi>Σ</mi><msub><mi>x</mi><mi>i</mi></msub><mtext> </mtext><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow>
<mrow><msub><mi>Y</mi><mi>ц</mi></msub><mo>=</mo><msup><mi>N</mi><mrow><mo>−</mo><mn>1</mn></mrow></msup><mo>⋅</mo><mi>Σ</mi><msub><mi>y</mi><mi>i</mi></msub><mtext> </mtext><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow>
Определяют координаты (Х и Y) геометрического центра 81 области 8 поиска глаз оператора 2 путем вычисления средних значений обеих координат всех N выявленных бликов:
,
. Ширину - Н и длину - L области 8 поиска глаз оператора 2 определяют соответственно из соотношений: Н=2·А·Δy и L=2·В·Δx, где Δy- максимальное значение модуля разности: max|Y-y|, Δx - максимальное значение модуля разности: max|Х-x], а А и В - константы, величина которых выбирается из следующего диапазона значений: 1,1÷1,3.
После проведения адаптированной для данного оператора 2 и упомянутой настройки параметров области 8 поиска глаз осуществляют собственно определение текущего состояния глаз (открыты или закрыты) следующим образом. С помощью блока 1 подсветки осуществляют подсветку оператора 2, а с помощью фокусируемой на оператора 2 видеокамеры 3 формируют последовательность кадров изображения в цифровой форме.
В каждом N-м кадре изображения выделяют вышеопределенную область 8 поиска глаз в форме, как уже отмечалось, имеющего геометрический центр 81 удлиненного в горизонтальном направлении прямоугольника. Осуществляют однопороговое сканирование области 8 поиска глаз, при этом выделяют расположенные в области 8 поиска глаз блики 7 и определяют их координаты. Далее определяют соответствующее каждому N+1, т.е. следующему кадру положение геометрического центра 81 области 8 поиска глаз путем вычисления, по приведенным выше зависимостям (1) и (2), усредненных координат бликов 7, выявленных в упомянутой области 8 поиска глаз. Это обеспечивает постоянное слежение за положением изображения выделенной области лица оператора в каждом кадре.
Затем осуществляют распознавание (селекцию) бликов 71÷77, (фиг. 8) обусловленных отражением излучения точечных источников света 6 от глаз, путем последовательного проведения нижеследующих операций.
1. В области 8 поиска (фиг. 3) выделяют одинаковые фрагменты 9 изображения, полностью перекрывающие соответствующий каждому фрагменту 9 изображения блик 7 и имеющие форму плоской поверхностно-односвязанной области, которая, в предпочтительном воплощении изобретения, является центро-симметричной (иными словами, имеющей центр 91) и с границей 92 (фиг. 4÷6), образованной прямолинейными и/или ступенчатыми сторонами. При этом шаг ступеней кратен размеру пикселей, например, твердотельного преобразователя изображения видеокамеры 3, а минимальное расстояние Н между участками границы 92 фрагмента 9 изображения, расположенными оппозитно относительно его центра 91 - в 1,2÷1,6 раза превышает максимальный размер W того блика 7, из числа выделенных в области 8 поиска глаз бликов 7, который в каждом конкретном случае имеет максимальный размер (фиг. 4).
2. Определяют суммарную интенсивность излучения в каждом упомянутом фрагменте 9 изображения.
max
max
max
3. Определяют значение максимальной интенсивности I излучения в пределах каждого упомянутого фрагмента 9 изображения, а также усредненный, по меньшей мере, двум, предпочтительно ортогональным, направлениям (которые, например, на фиг. 5 показаны двумя взаимно перпендикулярным линиями А и В, пересекающими в точке, координаты которой соответствуют положению максимального значения интенсивности I излучения в пределах данного фрагмента 9 изображения) параметр, характеризующий убывание интенсивности I излучения в направлении к границе этого фрагмента 9 изображения, предпочтительно, расстояние в пикселях (m), на котором интенсивность I излучения уменьшается, например, в 2½, или в два раза (на фиг. 7, для упрощения чертежа, показана огибающая, обусловленная конечными геометрическими размерами пикселей формирователя видеосигнала ступенчатого распределения интенсивности I излучения в пределах фрагмента 9 изображения вдоль направления, показанного линией А фиг. 5), или в е-раз относительно своего максимального значения I.
4. Измеряют распределение интенсивности I излучения в пределах приграничной области 93 (фиг. 6) каждого фрагмента 9 изображения, которая представляет собой окантовку, расположенную вдоль всей границы 92 каждого упомянутого фрагмента 9 изображения и имеет одинаковую по всей своей длине ширину, равную (1÷3)·Δ, где Δ - размер одного пикселя, например, твердотельного формирователя видеосигнала; определяют суммарную интенсивность излучения в пределах приграничной области 93 каждого фрагмента 9 изображения, а также максимальное значение интенсивности излучения в пределах приграничной области 93 каждого фрагмента 9 изображения и ее среднеквадратическое отклонение.
Благодаря проведению вышеописанных операций обеспечивается определение для соответствующего каждому выделенному блику 7 фрагмента 9 анализируемого изображения (полностью перекрывающего соответствующий ему блик 7 и имеющего для всех выделенных бликов 7 одинаковый размер и форму) его структурных параметров.
Далее, на основании измеренных и перечисленных выше структурных параметров соответствующего каждому блику 7 и полностью охватывающего его фрагмента 9 изображения, осуществляют селекцию тех бликов (на фиг. 8 обозначены позициями 71÷77), которые обусловлены отражением излучения точечных источников света 6 от глаз оператора 2, следующим образом. В том случае, если значения каждого из перечисленных выше структурных параметров соответствующего данному блику 7 фрагмента 9 изображения не выходят за пределы установленного для каждого из них порогового значения, то выносят суждение о соответствии рассматриваемого блика 7 блику (71÷77) от глаза оператора.
В результате обеспечивается достижение технического результата, заключающегося в повышении достоверности распознавания бликов, обусловленных отражением излучения точечных источников света от глаз, а, следовательно, повышается достоверность определения состояния глаз (открыты/закрыты).
Принятие решения о следующих состояниях глаз: открыт один глаз; оба глаза открыты; оба глаза закрыты, осуществляется на основании следующих признаков (фиг. 8):
а) Состояние глаз - открыт один глаз. Наличие в упомянутой области поиска хотя бы одного блика (например, 71) или нескольких бликов (например, 71, 72, 73), расположенных друг относительно друга приблизительно на одинаковом расстоянии.
1
2
1
2
б) Состояние глаз - оба глаза открыты. Наличие в упомянутой области поиска двух групп (скоплений) бликов от глаз (71, 72, 73) и (74, 75, 76, 77), расположенных на расстоянии Z относительно друг друга, которое значительно больше максимального расстояния Z между упомянутыми бликами в каждой группе (Z, Z);
в) Состояние глаз - оба глаза закрыты. Характеризуется отсутствием в упомянутой области 8 поиска бликов от глаз.
Отсутствие необходимости при осуществлении патентуемого способа в использовании второй группы точечных источников света, а также импульсной подсветки оператора, синхронизированной с частотой следования кадров изображения, обеспечивает достижении дополнительного технического результата, заключающегося в упрощении технической реализации патентуемого способа. Однако возможно использование и импульсной подсветки, синхронизированной с частотой следования кадров изображения и обеспечивающей, по сравнению с непрерывной, большую интенсивность засветки, а также лучшую инвариантность по отношению к изменениям внешней освещенности.
Промышленная применимость патентуемого способа подтверждается также известностью из достигнутого уровня техники средств, используемых при его осуществлении с обеспечением достижения упомянутых технических результатов.