СПОСОБ ИЗМЕРЕНИЯ ВОСПРИЯТИЯ
METHOD OF PERCEPTION MEASUREMENT

Изобретение относится к способу измерения восприятия, в частности измерения зрительного внимания, согласно ограничительной части пункта 1 формулы изобретения.
Известны так называемые системы определения направления взгляда, которые позволяют определять, на какую часть или на какое место поля зрения направлен взгляд наблюдателя. Подобные системы определения направления взгляда при этом определяют так называемые зрительные координаты, то есть координаты в пределах поля зрения наблюдателя, на которые направлен взгляд этого наблюдателя. Особо выдающийся и точный способ определения зрительных координат известен, например, из ЕР 1 300 018 В1.
Поэтому в основу изобретения поставлена задача предложить способ измерения восприятия, в частности, измерения зрительного внимания описанной выше разновидности, который позволял бы как можно более точно измерять зрительное внимание, направленное на определенные участки окружающего мира.
Согласно изобретению, поставленная задача решается за счет признаков, перечисленных в пункте 1 формулы изобретения.
Это позволяет научно обоснованно и на солидном уровне измерять восприятие испытуемым окружающего мира или же его внимание, направленное на определенные части этого окружающего мира. Так, например, в задаваемом окружении могут быть точно определены его части, воспринимаемые испытуемым надежно и сознательно, а также части, на которые он лишь неупорядоченно и всего лишь вскользь обратил свой взгляд. Это позволяет оценивать или измерять качество окружения, например рабочего окружения, главным образом в важных с точки зрения безопасности или же опасных зонах, к примеру проезжей части улицы, прежде всего поворотов, строительных площадок и/или участков автомобильной дороги, проходящей через населенные пункты, экранной панели управления, центральных диспетчерских постов, панели управления машиной или станком, вплоть до организации рабочего места в кабинах транспортных средств наземного и воздушного сообщения, и/или рекламной среды, к примеру, графического и/или текстового индикатора или так называемого короткого рекламного сюжета. Благодаря этому можно производить оценку или измерение, в первую очередь, частей окружения или окружающего мира, которые представляют собой серьезную опасность для жизни и здоровья, с точки зрения степени их восприятия и вносить в них изменения в плане улучшения восприятия важной информации. Например, направление прохождения улицы может быть оптимизировано уже на стадии проектирования с точки зрения снижения вероятности дорожно-транспортных происшествий, важные дорожные знаки, к примеру знаки обязательной остановки, могут быть целенаправленно и научно обоснованно установлены в местах, в которых на них должны обращать самое пристальное внимание участники дорожного движения. Рабочее окружение может быть целенаправленно сформировано таким образом, чтобы важные, в том числе с точки зрения безопасности, элементы управления, индикаторы и органы управления требовали от пользователя целенаправленного восприятия, в то время как средства рекламы могут согласовываться с требованиями их целенаправленного восприятия наблюдателем.
В зависимых пунктах формулы изобретения, которые, как и пункт 1, одновременно являются составной частью описания, описаны другие предпочтительные варианты изобретения.
Изобретение более полно раскрывается далее со ссылкой на прилагаемые чертежи, на которых всего лишь в качестве примеров представлены предпочтительные варианты изобретения. При этом на фигурах чертежей представлены:
Фиг. 1 - блок-схема первого варианта исполнения изобретения;
Фиг. 2 - человеческий глаз в разрезе;
Фиг. 3 - блок-схема второго варианта исполнения изобретения;
Фиг. 4 - блок-схема третьего варианта исполнения изобретения;
Фиг. 5 - блок-схема четвертого варианта исполнения изобретения;
Фиг. 6 - схематическое представление поведения взгляда пользователя при фиксации;
Фиг. 7 - схематическое представление поведения взгляда пользователя в процессе последовательности первой его фиксации, саккады и второй фиксации;
Фиг. 8 - предпочтительный вариант режима выдачи первого относительного расстояния;
Фиг. 9 - предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого с первым и вторым кружками;
Фиг. 10 - второй предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого с третьим кружком;
Фиг. 11 - третий предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого с четвертым кружком;
Фиг. 12 - предпочтительный пользовательский интерфейс предпочтительного варианта исполнения изобретения в компьютерном представлении;
Фиг. 13 - первый предпочтительный вариант режима выдачи частотности определенных фиксаций взгляда в зависимости от угла фиксации;
Фиг. 14 - первый предпочтительный вариант режима выдачи частотности определенных саккад в зависимости от угла саккады;
Фиг. 15 - первый предпочтительный вариант режима выдачи частотности фиксаций взгляда в зависимости от переменного критерия фиксаций в виде семейства кривых с постоянной первой продолжительностью;
Фиг. 16 - четвертый предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого;
Фиг. 17 - пятый предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого;
Фиг. 18 - шестой предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого;
Фиг. 19 - седьмой предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого;
Фиг. 20 - восьмой предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого;
Фиг. 21 - схематическое представление зафиксированной на голове испытуемого части системы для определения направления его взгляда;
Фиг. 22 - схематическое изображение движений глаз испытуемого;
Фиг. 23 - схематическое представление кадра изображения в поле зрения испытуемого;
Фиг. 24 - девятый предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого;
Фиг. 25 - десятый предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого;
Фиг. 26 - одиннадцатый предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого;
Фиг. 27 - двенадцатый предпочтительный вариант режима выдачи видеоизображения в поле зрения испытуемого;
Фиг. 28 - предпочтительная маска выдачи данных первого вида;
Фиг. 29 - предпочтительная маска выдачи данных второго вида;
Фиг. 30 - первый предпочтительный вариант режима выдачи частотности определенных фиксаций взгляда в зависимости от продолжительности фиксации;
Фиг. 31 - первый предпочтительный вариант режима выдачи частотности определенных саккад в зависимости от продолжительности саккады;
Фиг. 32 - первый предпочтительный вариант режима выдачи частотности определенных морганий в зависимости от продолжительности моргания;
Фиг. 33 и Фиг. 34 - первый пример предпочтительной маски выдачи данных предпочтительного инструмента для анализа;
Фиг. 35 и Фиг. 36 - второй пример предпочтительной маски выдачи данных предпочтительного инструмента для анализа.
На Фиг. 1, 3, 4 и 5 представлены блок-схемы предпочтительных вариантов способа измерения восприятия, в частности измерения зрительного внимания, причем обрабатываются - в частности, определенные с использованием системы определения направления взгляда - по меньшей мере первые, отнесенные к первому кадру изображения в поле зрения испытуемого зрительные координаты первого центра 37 зрительного внимания и, по меньшей мере, вторые, отнесенные ко второму кадру изображения в поле зрения, зрительные координаты второго центра 38 зрительного внимания, причем второй кадр изображения в поле зрения был записан после первого кадра изображения в поле зрения испытуемого, а вторые зрительные координаты второго центра 38 зрительного внимания проверяются по первым зрительным координатам первого центра 37 зрительного внимания в устройстве сравнения на соответствие, по меньшей мере, одному первому задаваемому критерию 25 фиксации взгляда испытуемого, а первые и вторые центры 37, 38 зрительного внимания при соответствии первому критерию 25 фиксации взгляда испытуемого относят к первой фиксации 48, имеющей отношение к упорядоченному восприятию, и регистрируют как таковую, и что первые и вторые центры 37, 38 зрительного внимания при несоответствии первому критерию 25 фиксации взгляда относят к первой саккаде неупорядоченного восприятия и регистрируют как таковую.
Это позволяет научно обоснованно и на солидном уровне измерять восприятие испытуемым окружающего мира или же его внимание, направленное на определенные части этого окружения. Так, например, в задаваемом окружении могут быть точно определены его части, воспринимаемые испытуемым надежно и сознательно, а также части, на которые он только неупорядоченно и всего лишь вскользь обратил свой взгляд. Это позволяет оценивать или измерять качество окружения, например, рабочего окружения, главным образом в важных с точки зрения безопасности или же опасных зонах, к примеру проезжей части улицы, прежде всего поворотов, строительных площадок и/или участков автомобильной дороги, проходящей через населенные пункты, экранной панели управления, центральных диспетчерских постов, панели управления машиной или станком, вплоть до организации рабочего места в кабинах транспортных средств наземного и воздушного сообщения, и/или рекламной среды, к примеру, графического и/или текстового индикатора или так называемого короткого рекламного сюжета. Благодаря этому можно производить оценку или измерение, в первую очередь, частей окружения или окружающего мира, которые представляют собой серьезную опасность для жизни и здоровья, с точки зрения степени их восприятия, и вносить в них изменения в плане улучшения восприятия важной информации. Например, направление прохождения улицы может быть оптимизировано уже на стадии проектирования с точки зрения снижения вероятности дорожно-транспортных происшествий, важные дорожные знаки, к примеру знаки обязательной остановки, могут быть целенаправленно и научно обоснованно установлены в местах, в которых на них должны обращать самое пристальное внимание участники дорожного движения. Рабочее окружение может быть целенаправленно сформировано таким образом, чтобы важные, в том числе с точки зрения безопасности, элементы управления, индикаторы и органы управления требовали от пользователя целенаправленного восприятия, в то время как средства рекламы могут согласовываться с требованиями их целенаправленного восприятия наблюдателем.
Избранные для предметной реализации понятия, касающиеся первых, вторых, третьих и т.д. зрительных координат, центров зрительного внимания, фиксаций взгляда, саккад, кружков, углов фиксации и/или саккад и тому подобное предпочтительно никоим образом не должны восприниматься как ограничительное сведение процесса реализации способа всего лишь к двум указанным признакам либо только к одному единственному варианту реализации или осуществления способа, а всего лишь восприниматься как описание одного единственного процесса реализации задаваемо часто повторяемого способа.
В способах согласно изобретению обрабатываются данные, полученные при помощи так называемой системы для определения направления взгляда испытуемого. Подобная система для определения направления взгляда испытуемого представлена, например, на Фиг. 21. Особо предпочтительная система для определения направления взгляда испытуемого описана, к примеру, в EP 1 300 108 A1. Принцип действия такой системы для определения направления взгляда испытуемого, краткое описание которой приведено далее, базируется на использовании способа регистрации, оценки и анализа последовательностей движений глаз испытуемого при помощи системы для определения направления взгляда, причем изображение в поле зрения испытуемого регистрирует направленная вперед и неподвижно зафиксированная на голове 80 испытуемого первая камера 76, которая записывает видеоизображение в поле зрения, в то время как движение зрачков испытуемого регистрирует вторая камера 77, точно так же неподвижно зафиксированная на его голове 80, которая регистрирует видеоизображение движения глаз испытуемого, а видеоизображение движения глаз испытуемого и изображение 9 в поле его зрения записывают на видеосистему с синхронизацией во времени, причем для каждого отдельного кадра видеоизображения движения глаз испытуемого, поэтому для каждого кадра изображения 78 в поле зрения определяются координаты xa,ya зрачка, корреляционная функция K между координатами xa,ya зрачка на видеоизображении движения глаз испытуемого и координатами xb,yb соответствующего центра B зрительного внимания, т.е. точки, на которой фиксирует взгляд испытуемый, определяются на изображении 79 в поле зрения видеозаписи 9 этого поля зрения, а после определения корреляционной функции K для каждого отдельного кадра по координатам xa,ya зрачка на видеоизображении движения глаз испытуемого экстраполируют координаты xb,yb соответствующего центра B зрительного внимания на видеоизображении в поле зрения испытуемого, причем для определения координат xa,ya зрачков для каждого кадра видеоизображения движения глаз испытуемого при помощи программы распознавания образов автоматически регистрируются значения контраста зрачка относительно окружающего его поля изображения, производится поиск всех точек отдельного кадра, яркость которых меньше установленной, по этим точкам полностью учитывается и отграничивается темная плоскость, яркость которой соответствует яркости зрачка, и определяется центр темной плоскости, соответствующий центру зрачка с координатами xa,ya. Предпочтительно при этом может быть предусмотрено, чтобы выбиралось произвольное число точек по краю зрачка, которые по причине своей контрастности относительно окружающего их поля изображения могут быть особенно хорошо и надежно идентифицированы, и чтобы эти точки располагались в виде части эллипса, причем производится расчет середины или центра эллипса, по окружности которого располагается задаваемое количество точек. Все это позволяет добиваться особенно высокой точности, намного превосходящей известные из предшествующего уровня техники системы для определения направления взгляда испытуемого. Благодаря этому исключается воздействие помех, вызванных, например, отражениями в глазу испытуемого, на результаты измерения. На Фиг. 22 представлен схематический пример для поля зрения 78 глаза видеоизображения движения глаз испытуемого с координатами xa,ya зрачка. На Фиг. 23 представлен схематический пример кадра изображения 79 в поле зрения испытуемого с координатами xb,yb первого центра 37 зрительного внимания. Задачей систем для определения направления взгляда испытуемого является как можно более точное определение точки, на которую направлен взгляд испытуемого, т.е. на которой сконцентрированы его интерес или внимание.
При этом, с одной стороны, изображение в поле зрения регистрирует первая видеокамера 76, направленная вперед и неподвижно закрепленная на голове 80 испытуемого. Кроме того, движения зрачка испытуемого регистрирует вторая видеокамера 77, которая также неподвижно зафиксирована на его голове 80. Неподвижно зафиксированные в этом случае означает, что обе видеокамеры 76 и 77 таким образом соединены с головой 80 испытуемого, что они двигаются вместе с ним или же повторяют все его движения, причем, однако, свобода движений головы и глаз испытуемого никоим образом не ограничивается. По результатам оценки обеих полученных видеозаписей можно с большой точностью определить, на какую точку в данный момент времени направлен взгляд испытуемого. Это позволяет делать выводы о направлении взгляда, его фиксации и отсутствии внимания.
Подобные системы определения направления взгляда испытуемого используются предпочтительно в сфере обеспечения безопасности, в частности, при изучении причин производственного травматизма, но также и в сфере рекламы, спорта или же при других исследованиях в области физиологии человека.
В целом, исследование процессов рассматривания позволяет сделать существенный вклад в дело исследования физиологических причин производственного травматизма. Например, в ходе обширных исследований направления взгляда могут быть получены новые данные, важные для выяснения причин и реконструкции производственного травматизма с точки зрения пределов возможностей организма человека.
Так, например, особенно опасные участки на улицах и дорогах с большой интенсивностью движения могут быть изучены с использованием систем для системы определения направления взгляда. В процессе такого обследования испытуемый с закрепленной у него на голове системой для определения направления его взгляда проезжает опасный участок дороги, причем регистрируется весь процесс зрительного распознавания. Совокупность проанализированных при этом взглядов далее по тексту называется последовательностью взглядов. По результатам анализа поведения взгляда испытуемого можно понять, на какие знаки дорожного движения или сигнальные щиты по причине их неудачного расположения обращается недостаточное внимание или же где в районе перекрестка находятся особенно малозаметные места или места, на которые участники движения обращают мало внимания. В сфере безопасности труда, например, на строительных площадках, можно исследовать, на какие источники опасности испытуемый обращает внимание слишком поздно и какие меры предосторожности было бы целесообразно предпринять. Еще одной важной областью использования систем для определения направления взгляда является анализ эффективности воздействия рекламных плакатов или роликов. В этом плане также можно очень точно определить, на каких сообщениях, текстах, логотипах и пр. испытуемый как долго и в какой последовательности фиксировал свой взгляд.
На Фиг. 21 представлена часть системы для определения направления взгляда испытуемого для осуществления предпочтительного способа определения центров зрительного внимания или зрительных координат. Изображение в поле зрения испытуемого регистрирует первая видеокамера 76, направленная вперед и неподвижно закрепленная у него на голове 80. Эта первая видеокамера 76 предоставляет примерное изображение направления взгляда испытуемого, определяемое только положением его головы 80. Первая камера 76 может быть выполнена, к примеру, как цветная видеокамера с зарядовой связью, которая и регистрирует преобладающую часть поля зрения испытуемого.
Предпочтительно первая видеокамера 76 и/или вторая видеокамера 77 дополнительно могут быть с программным управлением, что позволит им еще лучше соответствовать самым различным условиям эксплуатации под открытым небом. За счет этого даже при прямых съемках зрачка будет обеспечиваться полное отсутствие искажений его изображения или же при непосредственной близости камеры к глазу 33 будет обеспечиваться более крупное изображение зрачка при сравнительной компактности всего устройства. Другие известные способы как по причине своих размеров, так и по причине менее благоприятного расположения центра зрачка являются причиной существенной нерезкости изображения. А это означает не только увеличение веса системы для определения направления взгляда испытуемого, но еще и накладывает общие ограничения на весь процесс зрительного распознавания объектов окружающего мира испытуемым, от чего позволяет избавиться способ согласно изобретению. Поэтому систему для распознавания направления взгляда безо всяких ограничений могут использовать также испытуемые в самой разнообразной одежде, носящие индивидуальные средства защиты, например защитный шлем. Благодаря этому легко и просто могут применяться также самые различные видеокамеры 76, 77 с разными объективами в зависимости от требований, которые предъявляются к проводимому исследованию.
Используемые в предпочитаемой системе предпочтительно высококачественные видеокамеры предпочтительно оснащены устройством управления, которое позволяет обеспечивать автоматическую компенсацию баланса белого, цветового баланса и освещения. Эти параметры предпочтительно могут также регулироваться вручную. Это устройство управления позволяет оптимально согласовать качество получаемого изображения с условиями проведения испытаний. Ведь таким образом обеспечивается изображение очень высокого качества для его последующего анализа. Кроме того, предпочтительно еще имеется возможность цифрового зумирования фрагмента получаемого изображения. Другие регулировки параметров, как правило, весьма условно сказываются на качестве получаемого изображения.
Движение зрачка испытуемого регистрирует вторая видеокамера 77, также неподвижно закрепленная у него на голове 80 и направленная на один из обоих глаз 33 этого человека. Вторая видеокамера 77 может быть реализована, к примеру, как черно-белая видеокамера с зарядовой связью и регистрировать движения правого глаза испытуемого. Регистрация положения зрачка второй видеокамерой 77 осуществляется непосредственно при помощи представленных на фигурах чертежей систем для определения направления взгляда испытуемого, причем вторая видеокамера 77 направлена прямо на глаз 33 испытуемого. Но для регистрации положения зрачка могут с успехом использоваться и оптические отклоняющие системы типа зеркал или стекловолоконных кабелей, отклоняющие изображение с глаза 33 на вторую видеокамеру 77.
Обе видеокамеры 76, 77 зафиксированы, к примеру, на шлеме или очках или другом подобном предпочтительно просто надеваемом и снимаемом крепежном устройстве, которое неподвижно закреплено на голове 80 испытуемого. Неподвижно закреплено, как об этом уже говорилось выше, означает, что крепежное устройство и обе видеокамеры 76, 77 следуют всем движениям головы 80, причем, однако, никоим образом не ограничивается свобода движений головы 80 и глаз 33 испытуемого. Установка видеокамер 76, 77 на очках как легко и просто надеваемом и съемном крепежном устройстве с возможностью непосредственной регистрации на переносное устройство видеозаписи позволяет обеспечить максимально возможную подвижность испытуемого и намного большее разнообразие проводимых исследований - по сравнению с традиционными системами.
Разумеется, можно также предусмотреть несколько вторых видеокамер 77, например, чтобы регистрировать движения обоих зрачков испытуемого. Кроме того, можно также использовать несколько первых видеокамер 76, чтобы регистрировать изображение всего поля зрения испытуемого в полном объеме, если фокусного расстояния одной первой видеокамеры 76 для этого недостаточно. Все это позволяет регистрировать отдельные последовательности движений глаз испытуемого, а также производить их оценку и анализ, как это описано ниже. При этом под последовательностью движений глаз имеется в виду совокупность записанных и проанализированных в каждом конкретном случае движений глаз.
Обе видеокамеры 76, 77 позволяют получать два видеосигнала, обозначаемые в последующем как видеоизображение движения глаз и видеоизображение в поле зрения испытуемого и схематически представленные на Фиг. 22 или 23, которые записываются на видеосистему. Под видеосистемой здесь имеются в виду любые устройства, пригодные для записи видеоданных. Могут быть использованы аналоговые приемы киносъемки, а также видеоленты или цифровые носители информации типа DVD-дисков или им подобных. Сохранение отдельных изображений в памяти компьютера также является их записью в смысле настоящего изобретения. Использоваться могут самые разные аналоговые или цифровые видеоформаты, например, DV, AVI или MPEG2. При использовании видеокамеры с зарядовой связью обе видеопоследовательности предпочтительно записывают на цифровую видеосистему, например на два видеомагнитофона с мини-DV-дисками.
В одном из предпочтительных вариантов изобретения связь между камерами 76, 77 и видеосистемой может быть выполнена с использованием проводной или же радиолинии. Последнее позволяет осуществлять бескабельную передачу видеосигналов на записывающую видеосистему. Благодаря этому предпочтительно обеспечивается практически полная свобода движения испытуемого в качестве пешехода, велосипедиста на территории под открытым небом или же на строительных лесах либо строительных площадках.
Очень важно, чтобы оба видеосигнала были синхронизированы во времени, т.е. чтобы для каждого отдельного кадра видеоизображения движения глаз испытуемого был определен соответствующий отдельный кадр видеоизображения 9 в его поле зрения, и наоборот. Для такой синхронизации может использоваться генератор периодических сигналов и временной код. Процесс видеозаписи предпочтительно синхронизируется тональным импульсом, который также записывается на соответствующие аудиодорожки. Этот способ позволяет одновременно синхронизировать и другие внешние устройства, как, например, регистратор данных UDS, GPS-системы и пр., чтобы можно было согласовывать и другие технические и медицинские параметры, например текущее географическое положение, частоту сердечных сокращений или частоту пульса испытуемого, электрическое сопротивление кожи, частоту дыхания и т.п. непосредственно с его зрительным поведением. Синхронизация во времени очень важна для последующей обработки или анализа обоих видеосигналов согласно изобретению.
В предпочтительном варианте осуществления способа точные координаты (xa,ya) центра зрачка испытуемого определяются по видеозаписи движения его глаз с использованием программы распознавания образов. При этом координаты зрачка (xa,ya) определяются для каждого отдельного кадра видеоизображения движения глаз испытуемого. Координаты зрачка (xa,ya) в отдельном кадре видеоизображения движения глаз испытуемого в общих чертах представлены на фиг. 22. Определение координат зрачка (xa,ya) осуществляется предпочтительно автоматически при помощи программы распознавания образов. С этой целью для каждого отдельного кадра видеоизображения движений глаз испытуемого регистрируют контраст между самим зрачком и окружающей его средой и находят все точки этого кадра, яркость которых меньше установленного уровня. По этим точкам полностью устанавливают и отграничивают темную плоскость, после чего определяют центр этой темной плоскости. Поскольку темная плоскость соответствует зрачку испытуемого, то центр темной плоскости и представляет собой центр зрачка его глаза. Предпочтительно программа распознавания образов предлагает варианты настройки под различные значения контраста и степени яркости, что позволяет добиться высокой степени точности для каждого отдельного кадра видеоизображения. Как об этом уже говорилось выше, дополнительно может быть предусмотрено, чтобы выбиралось произвольное число точек по краю зрачка, которые по причине своей контрастности относительно окружающего их поля изображения могут быть особенно хорошо и надежно идентифицированы, причем эти точки располагались бы в виде части эллипса, после чего производится расчет середины или центра эллипса, по окружности которого располагается задаваемое число точек. Таким образом, для каждого отдельного кадра видеоизображения может быть обеспечен наилучший контраст в форме предельного значения по уровню серого при различных условиях освещения, что в совокупности позволяет добиться точного определения координат зрачка (xa,ya). Предельное значение по уровню серого - это такое значение, которое, например, в цифровом формате находится в промежутке между 1 и 256 и определяет процентное содержание черного либо белого в точке изображения. Максимально достижимое значение соответствует полностью черному, а минимально достижимое значение - полностью белому цвету. Поскольку зрачок при видеозаписи, вероятно, никогда не может достигнуть уровня полностью черного цвета, то необходимо определить уровень, который, по меньшей мере, для данного кадра, соответствует реально существующему серому цвету зрачка. Пороговый уровень исключает все точки изображения, яркость которых выше установленного уровня серого, а центр темной плоскости определяется по всем более темным участкам изображения. Три параметра позволяют оптимизировать определение порогового уровня. Поскольку при проведении испытаний в пределах видеопоследовательности условия освещения часто очень сильно отличаются, то такое определение порогового уровня предпочтительно возможно также для каждого отдельного кадра в индивидуальном порядке. Все настройки в соответствии с предъявляемыми к каждому кадру видеопоследовательности высочайшими требованиями могут быть сохранены в файл. Способ согласно изобретению позволяет добиться особенно высокой точности при сопоставлении координат зрачка испытуемого (xa,ya) с полем его зрения. Существует возможность визуализации каждого уровня точности.
Для того чтобы добиться особенно высокой степени точности определяемых координат зрачка и вместе с тем особенно высокой точности определения направления взгляда испытуемого, в особо предпочтительном варианте осуществления способа согласно изобретению предусмотрено, что дополнительно выполняется коррекция оптических дефектов, в частности компенсация искажений, вызванных объективом, коррекция перспективы, коррекция поля зрения и/или коррекция так называемого искажения изображения, как, например, сферической аберрации, хроматической аберрации, светорассеяния, дефекта симметричности (комы), астигматизма косых пучков (или просто астигматизма), кривизны поля изображения, искривления поля изображения, оптической дисторсии и/или монохроматических дефектов изображения.
Перед камерой для более точной локализации центра зрачка дополнительно может быть предусмотрен инфракрасный фильтр. Его назначением является усиление контраста видеоизображения движений глаз испытуемого. Инфракрасный фильтр предпочтительно выполняет две функции: во-первых, глаз 33 освещается светодиодами инфракрасного спектра излучения (IR-LED), которые и в полной темноте обеспечивают хорошую контрастность изображения с камеры для регистрации движения глаз для последующей обработки. Задача фильтра заключается в том, чтобы пропускать испускаемый светодиодами ИК-спектра свет на матрицу камеры, в то время как все другие области спектра соответственно элиминируются кривой пропускания фильтра. Во-вторых, вызываемые солнечным светом отражения на зрачке, которые максимально отрицательно сказываются на точности определения центра зрачка, присутствуют главным образом в синей области спектра. Так что и в этом отношении задачей фильтра является уменьшение отражений на зрачке, вызванных солнечным светом.
В еще одном предпочтительном варианте осуществления способа после автоматического определения координат зрачка (xa,ya) дополнительно выполняется еще и ручной контроль. Оператор может при неправильном автоматическом определении, как это часто случается при возникновении внезапных отражений света на поверхности глаз и т.п., вручную изменять параметры обработки изображения. Кроме того, имеется еще возможность непосредственно производить коррекцию координат зрачка (xa,ya).
Всего для каждого отдельного кадра видеоизображения движений глаз испытуемого получают координаты зрачка (xa,ya), к примеру, в виде пары картезианских координат. Разумеется, использоваться могут и другие системы координат, например, полярные координаты и пр. Поскольку обе видеокамеры 76, 77 неподвижно зафиксированы на голове 80 испытуемого, то каждому определенному положению зрачка или центра зрачка на видеоизображении движения глаз всегда соответствует точно определенный центр В зрительного внимания на видеоизображении 9 в поле зрения. Таким образом, по видеоизображению движения глаз испытуемого и видеоизображению 9 в поле зрения можно точно рассчитать, на какую точку направлен взгляд испытуемого. Для того чтобы сопоставить координаты зрачка (xa,ya) с координатами (xb,yb) соответствующего центра B зрительного внимания, т.е. точки, на которой зафиксирован взгляд испытуемого, на видеоизображении его поля зрения должна вначале быть определена корреляционная функция K между этими обеими парами координат (xa,ya) и (xb,yb). Коореляцию между координатами зрачка (xa,ya) и центром B зрительного внимания на видеоизображении в поле зрения испытуемого устанавливают в ходе серии опытов (калибровка). При этом испытуемый поочередно фиксирует взгляд на определенных заданных контрольных точках P. Корреляционная функция K между координатами зрачка (xa,ya) и координатами (xb,yb) на видеоизображении в поле зрения испытуемого определяется по измеренным при этом данным.
В предпочтительном варианте осуществления способа корреляционная функция K между координатами зрачка (xa,ya) на видеоизображении движения глаз испытуемого и координатами (xb,yb) соответствующего центра B зрительного внимания на видеоизображении 9 поля его зрения предпочтительно определяется автоматически. Для этого вначале записывают одну или несколько последовательностей образцов взглядов испытуемого на одну или несколько заданных контрольных точек Р. Под последовательностью образцов взглядов испытуемого нужно понимать последовательность взглядов, которую записывают исключительно для калибровки, когда испытуемый направляет свой взгляд на заданные контрольные точки Р. Например, определенная контрольная точка Р может быть отмечена на стене. Для получения максимально возможного контраста в качестве контрольной точки Р, к примеру, может быть выбрана черная метка на во всем остальном белой поверхности. Контрольная точка Р, как правило, представляет собой крестик или светящуюся точку или еще что-нибудь подобное. От испытуемого требуют зафиксировать взгляд на этой контрольной точке Р, причем производится запись видеоизображения в поле зрения и движения его глаз при помощи обеих видеокамер 76, 77. Таким образом могут быть заданы несколько контрольных точек Р.
Поскольку центр B зрительного внимания на записанном таким образом видеоизображении последовательности образцов взглядов в поле зрения испытуемого задается по известным контрольным точкам P, то в качестве следующего шага может быть определена корреляционная функция K между координатами зрачка (xa,ya) на видеоизображении движений глаз испытуемого и координатами (xb,yb) соответствующего центра B поля зрения на видеоизображении в его поле зрения. С этой целью для каждого отдельного кадра видеоизображения движений глаз испытуемого определяют координаты зрачка (xa,ya) на видеоизображении движений его глаз по описанному выше способу. Затем определяют координаты (xb,yb) контрольной точки P на соответствующем кадре видеоизображения в поле зрения испытуемого. Выполняют это предпочтительно с использованием способа распознавания изображений и/или способа распознавания образов, который на видеоизображении в поле зрения испытуемого определяет координаты (xb,yb) контрольной точки Р, однозначно распознаваемой по ее контрасту. Однако имеется также возможность задавать координаты (xb,yb) контрольной точки Р для каждого отдельного кадра вручную, например простым щелчком компьютерной мыши. Это позволяет производить анализ последовательности образцов взглядов и при неблагоприятных условиях на местности, когда автоматическое определение координат (xb,yb) контрольной точки P невозможно, например, по причине слишком неоднородного фона.
Таким образом координаты зрачка (xa,ya) на отдельном кадре видеоизображения движения глаз испытуемого могут быть соотнесены с координатами (xb,yb) контрольной точки P на соответствующем отдельном кадре видеоизображения в его поле зрения. Соответствующие координаты в видеоизображении движения глаз испытуемого и поля его зрения определяются и сохраняются для каждого отдельного кадра. Со всеми полученными таким образом наборами данных предпочтительно методом квадратичной регрессии соотносят координаты зрачка (xa,ya) на видеоизображении движения глаз испытуемого и координаты (xb,yb) соответствующего центра В зрительного внимания на видеоизображении в его поле зрения, причем для коррелирования вполне могут быть использованы и другие варианты, как, например, метод линейной регрессии или стохастические модели. В результате получают корреляционную функцию K: (xa,ya)->(xb,yb), которая однозначно соотносит с определенным набором координат зрачка (xa,ya) на видеоизображении движения глаз испытуемого соответствующие координаты (xb,yb) центра В зрительного внимания на видеоизображении в его поле зрения.
Для достижения как можно большей точности корреляционной функции K необходимо использовать по меньшей мере 25 различных положений контрольной точки P. Начиная со 100 различных положений контрольной точки, достигаемая точность больше практически не повышается, так что дальнейшее увеличение числа положений контрольной точки не является целесообразным. Поэтому предпочтительно используют от 25 до 100 положений контрольной точки. С использованием определенной таким образом корреляционной функции К могут быть исчислены все другие видеопоследовательности одной и той же серии опытов, т.е. в которых отсутствуют изменения положения видеокамер, зафиксированных на голове испытуемого. При помощи метода количественной корреляции обеих пар координат могут быть определены и нелинейные взаимосвязи.
После калибровки системы для определения направления взгляда можно производить регистрацию и анализ отдельных последовательностей движений глаз испытуемого. После выполненного определения корреляционной функции K при этом для каждого отдельного кадра по координатам зрачка (xa,ya) на видеоизображении движений глаз испытуемого экстраполируются координаты (xb,yb) соответствующего центра B зрительного внимания на видеоизображении в его поле зрения.
Сведение видеоизображения движения глаз испытуемого и видеоизображения 9 поля его зрения в конечное видеоизображение осуществляется программным путем таким образом, что исчисленные центры В зрительного внимания позиционируются как центры внимания, на которые обращается взгляд испытуемого, на видеоизображении 9 в его поле зрения. Благодаря расчетному определению координат (xb,yb) центров B зрительного внимания согласно изобретению становится возможным особо точное представление центра внимания, на который обращается взгляд испытуемого. Центр В зрительного внимания может быть точно помечен на видеоизображении 9 в поле зрения испытуемого. Предпочтительно центр В зрительного внимания на видеоизображении 9 в поле зрения испытуемого отмечают визуально четко различимой маркировкой, например, в виде крестика.
С использованием способа согласно изобретению можно определять, на какие участки окружающего наблюдателя мира он обращает свое зрительное внимание, какие участки окружения испытуемый на самом деле воспринимает и по каким участкам его взгляд хотя и скользит, но лишь вскользь или кратковременно, или же они находятся настолько далеко, что отсутствует их целенаправленное восприятие испытуемым. Имеется в виду, что испытуемый скользнул взглядом по участку своего окружения, но не отметил для себя содержание этого участка. Участки, на которых состоялось упорядоченное восприятие, далее в тексте обозначены как "фиксации взгляда". Участки, на которых состоялось упорядоченное восприятие, но упорядоченное восприятие отсутствовало, далее в тексте обозначены как "саккады".
На Фиг. 2 представлен человеческий глаз 33 в разрезе, причем отмечены также участки различной остроты зрения. Важную роль при этом играет так называемая фовеальная область 34, расположенная всего лишь в узко ограниченной зоне вокруг не отмеченной на фигуре центральной зрительной оси, в которой, собственно, возможна максимально высокая острота зрения, с чем и связано упорядоченное восприятие зрительных раздражений. Согласно принятым ранее определениям фовеальной области 34, она начинается от первого угла 41 зрения с первого радиуса и простирается примерно на 1° вокруг зрительной оси. Однако, как будет описано далее в этом документе, первый угол 41 зрения фовеальной области 34 в значительной степени зависим от объекта либо окружения. Фовеальная область 34 окружена так называемой парафовеальной областью 35, в которой еще обеспечивается распознавание крупных образов. Окружающая эту парафовеальную область 35 так называемая периферическая область 36 чувствительна только к восприятию движений. Распознавание образа или объекта в этой периферической области 36 невозможно.
В способе согласно изобретению по меньшей мере опосредованно следующие один за другим центры 37, 38 зрительного внимания в устройстве сравнения изучаются или сравниваются на предмет их соответствия по меньшей мере первому критерию 25 фиксации. Применительно к устройству сравнения речь может идти о любом подходящем устройстве этого рода. Предпочтительно для этого используются устройства, в состав которых входят электронные логические элементы или так называемые логические вентили, которые позволяют производить сравнение входных данных с использованием булевских функций. Еще более предпочтительными являются устройства, содержащие подобные электронные логические элементы в интегральном исполнении, в частности, в виде процессоров, микропроцессоров и/или программируемых логических схем. В особо предпочтительном варианте способа устройство сравнения может быть реализовано на базе компьютера.
Устройство сравнения производит обработку так называемых зрительных координат, которые далее в этом документе могут сокращенно обозначаются как  SKO и которые могут быть определены с использованием хотя бы описанной выше корреляционной функции между изображением в поле зрения 79 и изображением движений глаза 78 испытуемого, причем зрительные координаты могут определяться с использованием и других способов и методик. На Фиг. 1 под ссылкой 2 представлен примерный перечень возможных зрительных координат для отдельных кадров изображения в поле зрения испытуемого, сокращенно обозначенных как Frm (фрейм) в картезианской системе координат.
Касательно первого критерия 25 фиксации речь может идти о критерии любого вида, который позволяет различать фиксации и саккады. В одном из предпочтительных вариантов осуществления способа согласно изобретению предусмотрено, что первый критерий 25 фиксации представляет собой задаваемое первое расстояние 39 вокруг первого центра 37 зрительного внимания, что определяют первое относительное расстояние 40 между первым центром 37 зрительного внимания и вторым центром 38 зрительного внимания, а также что, если первое относительное расстояние 40 меньше первого расстояния 39, первый и второй центры 37, 38 зрительного внимания относят к первой фиксации 48 взгляда испытуемого, поэтому пока следующий за первым центром 37 зрительного внимания второй центр 38 зрительного внимания остается в пределах фовеальной области 34 первого центра 37 зрительного внимания и, тем самым, в пределах области упорядоченного восприятия первого центра 37 зрительного внимания, упорядоченное восприятие не прерывается и, тем самым, первый критерий 25 фиксации по-прежнему исполняется. Поэтому речь идет о первой фиксации 48 взгляда испытуемого. В особо предпочтительном варианте осуществления способа согласно изобретению предусмотрено, что первое расстояние 39 представляет собой первый угол 41 зрения, который предпочтительно описывает область 34, отнесенную к фовеальному зрению, в частности радиус между 0,5° и 1,5°, предпочтительно примерно 1°, и что расстояние между первым центром 37 зрительного внимания и вторым центром 38 зрительного внимания представлено первым относительным углом 42. Благодаря этому становится возможным особенно простое и точное определение саккад или фиксаций взгляда 48 или 49, исходя из установленных при помощи системы для определения направления взгляда зрительных координат. На Фиг. 6 представлена в виде примера первая фиксация 48, образуемая из первой последовательности четырех центров 37, 38, 69, 70 зрительного внимания. На Фиг. 6 при этом также отмечены первое расстояние 39, первый угол 41 зрения, первое относительное расстояние 40 и первый относительный угол 42. Вокруг каждого из четырех центров 37, 38, 69, 70 зрительного внимания при этом отмечен первый кружок 43, радиус которого равен первому расстоянию 39, за счет чего наглядно демонстрируется, что каждый последующий центр 38, 69, 70 зрительного внимания находится внутри первого кружка 43, радиус которого равен первому расстоянию 39 предыдущего центра 37, 38, 69 зрительного внимания, так что предпочтительный первый критерий 25 фиксации исполняется. В целях адаптации под различные распознаваемые объекты или различных испытуемых и/или разные условия проведения испытаний при усовершенствовании изобретения предусмотрено, что первый критерий 25 фиксации, в частности первое расстояние 39 и/или первый угол 41 зрения, могут быть заданы произвольно.
На Фиг. 7 представлена последовательность взглядов, при которой не все центры 37, 38, 69, 70, 71, 72, 73, 74, 75 зрительного внимания удовлетворяют первому критерию 25 фиксации. Каждый из первых четырех центров 37, 38, 69, 70 зрительного внимания удовлетворяет критерию 25 фиксации и вместе они образуют первую фиксацию 48, в то время как каждый из следующих трех центров 71, 72, 73 зрительного внимания не соответствует первому критерию 25 фиксации. Только четвертый, следующий за первой фиксацией 28, центр 74 зрительного внимания удовлетворяет первому критерию 25 фиксации, в отличие от третьего, следующего за первой фиксацией 48, центра 73 зрительного внимания. Третий, следующий за первой фиксацией 48, центр 73 зрительного внимания, таким образом, является первым центром 73 зрительного внимания для второй фиксации 49, в совокупности образуемой тремя центрами 73, 74, 75 зрительного внимания. На Фиг. 6 и 7 показаны предпочтительно наглядные примеры, ведь в природном окружении могут встречаться и фиксации 48, 49 с множеством отдельных центров зрительного внимания. Область между последним центром 70 зрительного внимания первой фиксации 48 и первым центром 73 зрительного внимания второй фиксации 49 и образует саккаду, поэтому восприятие в этой области отсутствует. Угол между последним центром 70 зрительного внимания первой фиксации 48 и первым центром 73 зрительного внимания второй фиксации 49 обозначают еще как первый угол 52 саккады.
На Фиг. 1 представлена блок-схема способа согласно изобретению, причем на 1 этапе при помощи системы для определения направления взгляда записывают видеоизображение 9 в поле зрения испытуемого и видеоизображение движений его глаз. На 2 этапе способа по видеоизображению в поле зрения испытуемого и видеоизображению движений его глаз определяют зрительные координаты SKO, которые в процессе следующего этапа 4 патентуемого способа в устройстве сравнения сравнивается с заданным, сохраненным, считываемым либо произвольно задаваемым первым критерием 25 фиксации. После этого отдельные отнесенные таким образом саккаде или фиксации 48 либо 49 центры 37, 38 зрительного внимания могут быть выданы для дальнейшей оценки, обработки либо визуального представления. В частности, может быть предусмотрено, что первый и второй центры 37, 38 зрительного внимания выдаются помеченными как относящиеся к первой фиксации 48 или первой саккаде.
В устройстве сравнения производится сравнение двоих, по меньшей мере опосредованно следующих один за другим кадров видеоизображения в поле зрения испытуемого или сопоставленных с ними зрительных координат SKO. Предпочтительно при этом предусмотрено, что второй кадр видеоизображения в поле зрения испытуемого был записан через задаваемый первый промежуток времени, в частности, от 0,005 с до 0,1 с, предпочтительно от 0,02 с до 0,04 с, сразу же за первым кадром видеоизображения в поле его зрения. По причине того, что разрешающая способность человеческого глаза 33 в восприятии движения в фовеальной области 34 составляет всего лишь около 25 Гц, предпочтительно предусмотрено, что промежуток времени между двумя непосредственно следующими один за другим кадрами видеоизображения в поле зрения испытуемого составляет примерно 0,04 с. В зависимости от требований, предъявленных к разрешающей способности, могут быть записаны другие кадры видеоизображения в поле зрения испытуемого, а промежуток времени между двумя непосредственно следующими один за другим кадрами видеоизображения в поле зрения уменьшают, чтобы добиться более высокого разрешения глаза при восприятии движения, и/или задаваемое количество кадров видеоизображения в поле зрения испытуемого могут быть пропущены или же записаны с меньшим временным разрешением, в результате чего разрешающая способность к восприятию движения снижается, но и объем математических расчетов также уменьшается. Благодаря сравниванию следующих один за другим кадров видеоизображения в поле зрения испытуемого можно достичь как более высокой разрешающей способности в восприятии движения, так и упростить конструкцию системы, так как удается обойтись без систем выборки кадров и промежуточного накопителя.
На Фиг. 3 представлена блок-схема особо предпочтительного варианта осуществления способа согласно изобретению, причем сразу же за этапами описанного выше способа согл. Фиг. 1 предусмотрена дальнейшая обработка полученных данных, в зависимости от того, отнесен ли центр 37, 38 зрительного внимания к фиксации 48, 49 или саккаде. При этом предусмотрено, что выдается первое относительное расстояние 40 вместе с помеченными как относящиеся к первой фиксации 48 или первой саккаде центры 37, 38 зрительного внимания. При этом данные для первой выдачи 10 подготавливаются в виде первой диаграммы 11 и/или для второй выдачи 5 на видеоизображении 9 в поле зрения испытуемого, причем предпочтительно предусмотрено, что выдается видеоизображение 9 в поле зрения испытуемого, записанное для определения координат центров 37, 38 зрительного внимания, и что представляются относящиеся по меньшей мере к первой фиксации 48 или по меньшей мере к первой саккаде центры 37, 38 зрительного внимания на видеоизображении 9 в поле зрения, за счет чего становится возможной быстрая и визуально простая оценка визуального восприятия.
На Фиг. 12 представлен моментальный снимок экрана предпочтительного пользовательского интерфейса 55 компьютерной программы для осуществления способа согласно изобретению, причем слева внизу представлено видеоизображение 9 в поле зрения испытуемого, на котором, в соответствии с описываемым далее способом, выдаются данные, имеющие отношение к принадлежности отдельных центров 37, 38 зрительного внимания к фиксации 48, 49 или саккаде. Слева над видеоизображением 9 в поле зрения испытуемого синхронно с ним во времени выдается первая диаграмма 11, причем справа рядом с видеоизображением 9 в поле зрения - также синхронно во времени с видеоизображением 9 в поле зрения испытуемого - выдается фрагмент первой диаграммы 11. Кроме того, предпочтительный пользовательский интерфейс содержит целый ряд элементов управления и/или ввода данных.
На первой диаграмме 11 над изменениями во времени видеоизображения 9 в поле зрения всегда выдается первое относительное расстояние 40 между двумя следующими один за другим центрами 37, 38 зрительного внимания или между следующими между ними один за другим центрами 37, 38 зрительного внимания, которые в устройстве сравнения были подвергнуты сравнению на предмет соответствия первому критерию 25 фиксации. На Фиг. 8 представлен предпочтительный вариант первой диаграммы, причем на оси абсцисс показано время 53 или число 54 следующих подряд фреймов, т.е. кадров в поле зрения записанного видеоизображения 9, а на оси ординат показано первое относительное расстояние 40 или первый относительный угол 42. Данные касательно каждого первого относительного расстояния 40 между двумя следующими подряд один за другим кадрами видеоизображения в поле зрения испытуемого, отнесенными к саккаде или фиксации 48, 49, в последующем выдаются для представления в цвете или яркости отдельных первых относительных расстояний 40 или первых относительных углов 42. По такой первой диаграмме 11 можно быстро и легко проверить видеоизображения 9 в поле зрения на уровень восприятия, в частности на уровень зрительного внимания. Кроме того, может быть предусмотрено, что на первой диаграмме 11 выдается маркер, чтобы отметить место, в настоящий момент времени представленное на видеоизображении 9 в поле зрения испытуемого, причем первая диаграмма 11 постоянно заново определяется по текущему видеоизображению 9 в поле зрения и/или постоянно выдается на индикацию области вокруг неподвижного маркера в виде подвижной и изменяющейся первой диаграммы 11.
В дополнение к выдаче данных о том, относится ли в первой диаграмме 11 центр 37, 38 зрительного внимания к фиксации 48, 49 или саккаде, может быть предусмотрена выдача соответствующих данных в виде специально адаптированного видеоизображения 9 в поле зрения испытуемого, как это продемонстрировано на Фиг. 3 блоками 6, 7 и 8. Предпочтительно предусмотрено три различных режима выдачи данных, причем каждый раз может быть предусмотрена выдача только в одном из этих трех режимов, хотя может быть предусмотрена и выдача данных сразу в двух или трех режимах одновременно.
На Фиг. 9 показан первый предпочтительный режим 6 выдачи видеоданных, который представлен также на моментальном снимке экрана согласно Фиг. 12, причем вместе с отнесенным к текущему центру 37 зрительного внимания в представленном текущем видеоизображении 9 в поле зрения испытуемого выдается первый кружок 43, располагающийся по существу равномерно вокруг центра 37 зрительного внимания, радиус которого соответствует первому расстоянию 39, и/или вместе с отнесенным к текущему центру 37 зрительного внимания в представленном текущем видеоизображении 9 в поле зрения испытуемого выдается второй кружок 44, располагающийся, по существу, равномерно вокруг центра 37 зрительного внимания, радиус которого соответствует задаваемому второму расстоянию, причем второе расстояние предпочтительно представляет собой второй угол зрения, предпочтительно описывающий область 35, предпочтительно отвечающую за парафовеальное зрение, в частности с радиусом до 5° и более, причем уже при просмотре видеоизображения 9 в поле зрения испытуемого могут быть распознаны области, в которых по причине распределения остроты зрения вокруг центральной зрительной оси вообще возможно упорядоченное либо неупорядоченное восприятие зрительных раздражений. Дополнительно может быть предусмотрено, что путем объединения следующих один за другим центров 37, 38 зрительного внимания определяют первые траектории 45 движения взгляда испытуемого, которые на видеоизображении 9 в поле его зрения представляются по меньшей мере временно, поэтому траектории 45 движения взгляда испытуемого после истечения заданного времени снова постепенно убирают из видеоизображения 9 в поле его зрения, в частности, путем их непрерывного затухания, благодаря чему быстро и просто можно определить, какие области видеоизображения 9 в поле зрения у наблюдателя или испытуемого на краткий промежуток времени, зависящий от особенностей личности, запомнились ему или остались в его кратковременной памяти.
Второй предпочтительный режим 7 выдачи видеоданных представлен на Фиг. 10, причем предусмотрено отмеченные как отнесенные по меньшей мере к первой фиксации 48 точки изображения 37 представлять по существу равномерно окруженными третьим кружком 46, причем радиус третьего кружка 46 представляет собой функцию непрерывной продолжительности во времени первой фиксации 48 взгляда испытуемого, по каковой причине третий кружок по мере непрерывной продолжительности соответствующей фиксации постоянно увеличивается. Дополнительно может быть еще предусмотрено, чтобы саккады между двумя следующими одна за другой фиксациями 48, 49 соединялись при помощи линии, проходящей через центры зрительного внимания. Предпочтительно отдельные представленные на изображении фиксации 48, 49 или саккады через заданный промежуток времени снова удаляют из видеоизображения 9 в поле зрения испытуемого. Для того чтобы обеспечить возможность распознавать различия между несколькими одновременно выдаваемыми саккадами или фиксациями 48, 49, может быть предусмотрено помечать их различным цветом и/или оттенками серого, причем может быть предусмотрено помечать фиксации в зависимости от их очередности различным цветом, оттенками серого и/или формой кружков.
На Фиг. 11 представлен третий предпочтительный режим 8 выдачи видеоизображения 9 в поле зрения испытуемого, причем предусмотрено представлять его затемненно, и помеченные как относящиеся по меньшей мере к первой фиксации 48 центры 37 зрительного внимания представлять по существу равномерно окруженными четвертым кружком 47, причем площадь четвертого кружка 47 по сравнению с затемненно представленным видеоизображением 9 в поле зрения по меньшей мере временно представляется более светлой. Это представляет собой особо предпочтительный вариант, так как - по типу осветительного прибора направленного действия или поискового прожектора - хорошо видимыми представляются только участки, на самом деле достаточно хорошо воспринятые или воспринимаемые испытуемым. Все другие участки представляются затемненными, потому что они действительно не были надлежащим образом зрительно восприняты.
В дополнение к выдаче обработанного согласно изобретению видеоизображения 9 в поле зрения испытуемого или к выдаче 12 первой диаграммы 11 (Фиг. 8) может быть предусмотрена оценка всей последовательности задаваемого первого отрезка или всего видеоизображения 9 в поле зрения, причем может быть предусмотрен первый выбор 13 (Фиг. 3) первого отрезка видеоизображения 9 в поле зрения. Для этого в блоке 14 предварительной обработки все следующие один за другим центры 37, 38, 69, 70 зрительного внимания, удовлетворяющие первому критерию 25 фиксации, сопоставляют с первой фиксацией 48, определяют угловое расстояние между первым центром 37 зрительного внимания, относящимся к первой фиксации 48, и последним центром 70 зрительного внимания, относящимся к первой фиксации 48, и выдают как первый угол 51 фиксации (Фиг. 13). В дополнение к этому предпочтительно определяют угловое расстояние между последним центром 70 зрительного внимания, относящимся к первой фиксации 48 и первым центром 73 зрительного внимания, относящимся ко второй фиксации 49, и выдают как первый угол 52 саккады (Фиг. 14). Это позволяет целенаправленно измерять внимание к определенным задаваемым объектам или сценам видеоизображения 9 в поле зрения, так как в этом случае в дополнение к первому результату измерения, в зависимости от того, относится ли центр 37 зрительного внимания к фиксации 48 или к саккаде, определяют также второй результат измерения по временной либо локальной длительности фиксации 48 или саккады. В предпочтительном варианте осуществления способа предусмотрено, что для задаваемого первого отрезка видеоизображения 9 в поле зрения выдается частотность определенных фиксаций 48, 49 в зависимости от угла 51 фиксации, и/или что для первого отрезка видеоизображения 9 в поле зрения задается частотность определенных саккад в зависимости от угла 52 саккады или в зависимости от времени. Предпочтительно при этом предусмотрено, что соответствующие первому критерию 25 фиксации или удовлетворяющие ему фиксации 48, 49 выдаются в виде первой диаграммы 15 фиксации, а также определенные по первому критерию 25 фиксации саккады выдаются в виде первой диаграммы 20 саккады. Это позволяет просто и быстро оценивать всю последовательность или же задаваемый первый отрезок. На Фиг. 13 представлена первая такая диаграмма 15 фиксации, причем на оси абсцисс отложен первый угол 51 фиксации, а на оси ординат - частотность 56, с которой встречаются фиксации 48, 49 с соответствующим углом 51. Представленная на Фиг. 13 первая диаграмма 15 фиксации при этом демонстрирует колебания фиксации при поездке на автомобиле. На Фиг. 14 представлена первая диаграмма 20 саккады, причем на оси абсцисс отложен первый угол 52 саккады, а на оси ординат - частотность 56, с которой встречаются саккады с соответствующим углом 52. Представленная на Фиг. 14 первая диаграмма 20 саккады при этом демонстрирует колебания саккадических движений глаз при поездке на автомобиле. Предпочтительно может быть предусмотрено, что пользовательский интерфейс содержит еще средства для выбора первого отрезка видеоизображения 9 в поле зрения.
Может быть также предусмотрено, что первый отрезок изображается в виде окна заданных размеров с обеих сторон показанного на первой диаграмме 11 маркера, и что непрерывно рассчитывается и выдается на индикацию первая диаграмма 15 фиксации и/или первая диаграмма 20 саккады для этого отрезка постоянной длины, но притом постоянно изменяющегося содержания.
В дополнение или альтернативно к выдаче первой диаграммы 15 фиксации и/или первой диаграммы 20 саккады предпочтительно может быть предусмотрено, что для задаваемого первого отрезка видеоизображения 9 в поле зрения все следующие один за другим центры 37, 38, 69, 70 зрительного внимания, которые удовлетворяют первому критерию 25 фиксации, совместно относят к первой фиксации 48 и что определяют первую продолжительность 103 фиксации между первым, отнесенным к первой фиксации 48 центром 37 зрительного внимания и последним, отнесенным к первой фиксации 48 центром 70 зрительного внимания, а также что выдают частотность 56 определенных фиксаций 48, 49 в зависимости от первой продолжительности 103 фиксации. На Фиг. 30 представлен особо предпочтительный режим выдачи в виде диаграммы 100 продолжительности фиксации, причем на оси абсцисс отложена первая продолжительность 103 фиксации как продолжительность фиксации 48, 49 во времени, причем в качестве эквивалентного масштабирования может быть предусмотрено количество фреймов 106 или кадров видеоизображения 9 в поле зрения испытуемого, и причем на оси ординат отложена частотность 56, с которой встречаются фиксации 48, 49 соответствующей продолжительности 103 в задаваемом первом отрезке видеоизображения 9 в поле зрения испытуемого.
Далее было особо предпочтительно предусмотрено, что для первого отрезка видеоизображения 9 в поле зрения определяется первая продолжительность 104 саккады между последним, отнесенным к первой фиксации 48 центром 70 зрительного внимания с первым, отнесенным к второй фиксации 49 центром 73 зрительного внимания и что выдается частотность 56 определенных саккад в зависимости от первой продолжительности 104 саккады. На Фиг. 31 представлен особо предпочтительный режим выдачи в виде диаграммы 101 продолжительности саккады, причем на оси абсцисс отложена первая продолжительность 104 саккады как продолжительность саккады 48, 49 во времени, причем в качестве эквивалентного масштабирования может быть предусмотрено количество фреймов 106 или кадров видеоизображения 9 в поле зрения испытуемого и причем на оси ординат отложена частотность 56, с которой встречаются саккады соответствующей продолжительности 104 в задаваемом первом отрезке видеоизображения 9 в поле зрения испытуемого. Путем выдачи частотности 56 применительно к саккадам или фиксациям 48, 49 в зависимости от первой продолжительности 104 саккады или же первой продолжительности 103 фиксации можно быстро и просто произвести анализ того, какого рода или качества были обращения взгляда и зрительного внимания в первом отрезке видеоизображения. Это позволяет быстро, просто и однозначно распознавать объектно- и/или ситуационнозависимые различия.
В способе согласно изобретению, кроме того, могут автоматически распознаваться промежутки времени, в продолжение которых глаза остаются закрытыми. Причиной таких промежутков времени является так называемое моргание, при котором зрачок временно перекрывается веком. Очень полезным для оценки взаимосвязей физиологии зрения оказалось изучение также первой продолжительности 105 моргания как продолжительности моргания во времени, а также частоты, с которой происходят моргания в течение произвольно задаваемой первой продолжительности 105 морганий. На Фиг. 32 представлен примерно предпочтительный режим выдачи в виде диаграммы 102 морганий, причем выдается частота 56, с которой происходят моргания в течение произвольно задаваемой продолжительности 105. Было обнаружено, что можно делать вывод о высокой степени сложности сложившейся ситуации или объекта, исходя из низкой частоты морганий или первой продолжительности 105 морганий, а также наоборот. Кроме того, слишком низкая частота морганий может привести к пересыханию роговицы глаз и, вместе с тем, к заболеванию глаз и/или возникновению проблем со зрением. Поэтому из всего сказанного выше можно сделать вывод, что, начиная с определенной степени сложности сложившейся ситуации, следует ожидать снижения способности к зрительному восприятию по причине низкой частоты морганий.
Дополнительно в способе согласно Фиг. 3 предусмотрены еще возможности для оценки полученных данных, как, например, выдача данных в соответствии с другими режимами 64, 65, 66, 67, 68, 87, 88, 89, 90 выдачи, которые ниже будут подробно описаны. Далее, может также быть предусмотрено, что первый критерий 25 фиксации заменяют вторым критерием 26 фиксации, причем по меньшей мере один задаваемый отрезок видеоизображения 9 в поле зрения изучают заново, как это показано штриховой линией, которая соединяет фрагмент 13 задаваемого первого либо второго отрезка видеоизображения 9 в поле зрения с первым критерием 25 фиксации.
Как об этом уже говорилось выше, а также исходя из определения фовеальной области 34 как области, в которой возможно упорядоченное восприятие, первый угол 41 зрения фовеальной области 34 в значительной степени зависит от объекта либо окружения. Например, известные объекты в окружении, в котором испытуемый рассчитывает встретить такой объект (к примеру, восьмиугольный дорожный знак обязательной остановки), очень быстро воспринимается или распознается испытуемым. В то же время неожиданные или неизвестные объекты не распознаются и не воспринимаются так быстро и однозначно.
Способ измерения распознаваемости задаваемых объектных единиц, согласно которому для задаваемого третьего отрезка видеоизображения 9 в поле зрения все относящиеся к первой задаваемой объектной единице центры зрительного внимания сохраняют в первом объектном промежуточном накопителе 81, а описанный выше способ осуществляется с использованием сохраненных в первом объектном промежуточном накопителе 81 центров зрительного внимания. Поэтому для задаваемого либо выбираемого третьего отрезка видеоизображения 9 в поле зрения выбирают, по меньшей мере, одну объектную единицу, однако предпочтительно выбирают задаваемое количество объектных единиц, например, как показано на Фиг. 4 и 5, выбирают пять объектных единиц. Объектные единицы при этом предпочтительно выбирает сам пользователь, хотя может быть предусмотрен и автоматический выбор по меньшей мере первой объектной единицы. Касательно первой объектной единицы речь может идти о дорожном знаке обязательной остановки, применительно к второй объектной единице, об автомобиле, а в качестве третьей объектной единицы может быть выбрана осевая линия дорожной разметки. В качестве объектной единицы согласно изобретению может выступать также эпизод видеоизображения в поле зрения испытуемого, например проезд поворота.
На Фиг. 4 при этом представлен способ, согласно которому после выборки 13 третьего отрезка видеоизображения 9 в поле зрения этот третий отрезок видеоизображения 9 в поле зрения исследуют на наличие центров зрительного внимания, которые должны быть отнесены к предварительно определенным объектным единицам либо уже отнесены к ним. В качестве центров зрительного внимания, которые должны быть отнесены либо уже отнесены к первым объектным единицам, при этом имеются в виду все центры зрительного внимания, встречающиеся между первым центром зрительного внимания первой, относящейся к первой объектной единице фиксации и последним центром зрительного внимания последней, относящейся к первой объектной единице фиксации на третьем отрезке видеоизображения в поле зрения испытуемого. После выборки 13 третьего отрезка видеоизображения 9 в поле зрения его просматривают на предмет наличия центров зрительного внимания (блок 91), которые должны быть отнесены либо уже отнесены к первой объектной единице. При этом такие просмотр и отнесение отдельных центров зрительного внимания к отдельным объектным единицам могут производиться как вручную пользователем, так и автоматически при помощи компьютера, например, с использованием программного пакета для автоматического распознавания задаваемых оптических образцов, как-то: дорожных знаков обязательной остановки, дорожной разметки, людей и тому подобного.
После этого производится обработка и оценка отложенных в отдельных объектных промежуточных накопителях 81, 82, 83, 84, 85 центрах зрительного внимания, как показано на Фиг. 4, согласно описанному выше способу. После обработки этих данных на каждый объектный промежуточный накопитель выдается по одной диаграмме 15, 16, 17, 18, 19 фиксации и одной диаграмме 20, 21, 22, 23, 24 саккад. Поэтому в предпочтительном способе, представленном на Фиг. 4, предпочтительно выдают первую диаграмму 15 фиксации, вторую диаграмму 16 фиксации, третью диаграмму 17 фиксации, четвертую диаграмму 18 фиксации и пятую диаграмму 19 фиксации, а также первую диаграмму 20 саккады, вторую диаграмму 21 саккады, третью диаграмму 22 саккады, четвертую диаграмму 23 саккады и пятую диаграмму 24 саккады. Это позволяет различать и производить оценку различных объектов с точки зрения качества их восприятия. В частности, это позволяет относить к различным объектам так называемую «характеристику притягивания взгляда», которая определяет, насколько сильно притягивает внимание испытуемого тот или иной объект. Поэтому есть объекты, которые уже своим внешним видом притягивают к себе внимание наблюдателя или сковывают его, в то время как другие объекты никак не действуют на внимание наблюдателя. Знание того, какими должны быть свойства объекта, чтобы привлекать к себе внимание наблюдателя, или же того, какие объекты притягивают к себе внимание наблюдателя, важны для многих сфер повседневной жизни, как, например, при оформлении надземных пешеходных переходов, при конструировании защитной одежды, при прокладывании дорог, но также и при оформлении средств рекламы. Дополнительно в способе согласно Фиг. 4 предусмотрены еще и другие возможности для оценки полученных данных, как, например, выдача данных в соответствии с другими режимами выдачи 64, 65, 66, 67, 68, 87, 88, 89, 90, которые далее будут подробно описаны.
Известные или ожидаемые объекты уже при существенно большем первом угле 41 зрения полностью распознаются как таковые - по сравнению с пока еще неизвестными либо неожиданными объектами. Поэтому острота зрения, а вместе с нею и фовеальная область 34 для первого объекта или первого окружения могут быть больше или меньше, чем для второго объекта или второго окружения. Поэтому степень необходимой для определенного объекта остроты зрения представляет собой очень содержательное значение восприятия объекта или последовательности сцен, причем понятие «последовательность сцен» может относиться ко всем временным последовательностям, например, проезд участка улицы или рассматривание рекламного объявления.
Чем больше область вокруг центральной зрительной оси, в пределах или рядом с которой распознается объект, тем легче и быстрее этот объект воспринимается наблюдателем, поэтому тем выше становится вероятность того, что объект наблюдателем действительно воспринимается как таковой, даже если для соседних объектов не выполняется первый критерий 25 фиксации. Например, наблюдатель, бросив на здание беглый мимолетный взгляд, может безукоризненно распознать установленную на его крыше рекламу знакомого производителя безалкогольных напитков или знакомой сети быстрого питания как таковую, совершенно не обратив при этом внимание на форму самой крыши.
Поэтому изобретение относится также к способу измерения восприятия задаваемых объектных единиц, причем описанный выше способ осуществляют также для по меньшей мере одного задаваемого второго отрезка видеоизображения 9 в поле зрения по меньшей мере одному задаваемому, отличающемуся от первого критерия 25 фиксации взгляда второму критерию 26 фиксации, причем качество задаваемых объектов и/или последовательностей движений глаз испытуемого в плане их восприятия может определяться самим наблюдателем. На Фиг. 5 представлен предпочтительный вариант осуществления подобного способа в виде блок-схемы, причем отдельные этапы способа изображены в виде совместного помеченного штрих-пунктиром блока 86. В предпочтительном варианте осуществления изобретения предусмотрено, что вторая область идентична третьей области, причем особо предпочтительно предусмотрено, что соответствующие, собранные в блок 86 способы применяют к сохраненным или накопленным в первом объектном промежуточном накопителе 81, отнесенным или относимым к задаваемой первой объектной единице центрам зрительного внимания, как это и представлено на Фиг. 5.
В варианте осуществления способа согласно Фиг. 5 предусмотрено, что второй отрезок видеоизображения 9 в поле зрения испытуемого, или содержание первого объектного промежуточного накопителя 81, второго объектного промежуточного накопителя 82, третьего объектного промежуточного накопителя 83, четвертого объектного промежуточного накопителя 84 и/или пятого объектного промежуточного накопителя 85, последовательно одно за другим обрабатываются в устройстве 4 сравнения и в устройстве 14 предварительной обработки результатов с различными критериями 25, 26, 27, 28, 29 фиксации взгляда, то есть последовательно одно за другим обрабатываются, соответственно, с первым критерием 25 фиксации, вторым критерием 26 фиксации, третьим критерием 27 фиксации, четвертым критерием 28 фиксации и пятым критерием 28 фиксации взгляда, в виде замкнутого цикла 30 для варьирования критерия фиксации взгляда испытуемого, причем результаты сохраняются в первом накопителе 31 и затем выдаются.
При этом предпочтительно предусмотрено выдавать полученные данные либо зависимое от соответствующего критерия 25, 26, 27, 28, 29 фиксации восприятие объекта. При этом предпочтительно предусмотрено, что частотность фиксаций 48, 49 в зависимости от, по меньшей мере, первого и второго критериев 25, 26 фиксаций выдается в виде первой кривой 58 с постоянной первой продолжительностью во времени и в виде второй кривой 59 с постоянной второй продолжительностью во времени. На Фиг. 15 представлена такая вторая диаграмма, которую еще называют диаграммой уровня фиксации 32, в которой на оси абсцисс отложено первое расстояние 39 или первый угол 41 зрения, а на оси ординат отложено число 57 фиксаций, причем каждая из представленных шести кривых 58, 59, 60, 61, 62, 63 определяется с различной первой продолжительностью во времени, поэтому у первой кривой 58 расстояние между первым кадром 37 изображения в поле зрения и вторым кадром 38 изображения в поле зрения представляет собой фрейм или изображение в поле зрения, поэтому вторым кадром 38 изображения в поле зрения является кадр изображения в поле зрения, который непосредственно следует за кадром 37 изображения в поле зрения. Во второй кривой 59 расстояние между первым кадром 37 изображения в поле зрения и вторым кадром 38 изображения в поле зрения составляет два фрейма. В третьей кривой 60 расстояние между первым кадром 37 изображения в поле зрения и вторым кадром 38 изображения в поле зрения составляет три фрейма. В четвертой кривой 61 расстояние между первым кадром 37 изображения в поле зрения и вторым кадром 38 изображения в поле зрения составляет четыре фрейма. В пятой кривой 62 расстояние между первым кадром 37 изображения в поле зрения и вторым кадром 38 изображения в поле зрения составляет пять фреймов. В шестой кривой 63 расстояние между первым кадром 38 изображения в поле зрения и вторым кадром 38 изображения в поле зрения составляет шесть фреймов. На Фиг. 15 при этом представлены две разные диаграммы уровня фиксации 32, относящиеся к различным сценам или объектам. По таким диаграммам уровня фиксации 32 можно быстро определить специфические с точки зрения восприятия различия между разными объектами в зависимости от первого расстояния 39 или первого угла 41 зрения, а также между первыми продолжительностями во времени, причем обеспечивается возможность научной оценки или измерения различий в восприятии объектов. Это позволяет относить к различным объектам так называемую «характеристику притягивания взгляда», которая определяет, насколько сильно притягивает внимание испытуемого тот или иной объект.
Для дальнейшей оценки и анализа поведения взгляда испытуемого и восприятия им объекта, как об этом уже говорилось выше, могут быть дополнительно предусмотрены и другие форматы выдачи информации, как это представлено на Фиг. 16-20, а также Фиг. 24-27.
На Фиг. 16 представлены, предпочтительно для первой объектной единицы, все центры зрительного внимания, поэтому все сохраненные в первом объектном промежуточном накопителе центры зрительного внимания представляются без особой оценки и/или учета их значимости. Благодаря подобному представлению в виде так называемых «точек» 64 опытный наблюдатель в состоянии сделать целый ряд выводов о качестве наблюдаемого объекта с точки зрения его восприятия. Под заштрихованную серым площадь, - как при подобном представлении, так и при представлении во всех других видах, показанных на Фиг. 16-20, а также 24-27, - в целях большей наглядности может также быть подложено изображение первого объекта, причем необходимо учитывать, что при динамическом приближении представленные центры зрительного внимания вовсе не обязательно должны быть направлены на изображенные на фоновом изображении участки.
На Фиг. 18 представлены, предпочтительно для первой объектной единицы, все центры зрительного внимания, поэтому изображены все сохраненные в первом объектном промежуточном накопителе центры зрительного внимания, причем все центры зрительного внимания, относящиеся к одной фиксации, отмечены как таковые, причем предпочтительно предусмотрено, что они, по сравнению с окружающим фоном, имеют облегчающий восприятие контраст и/или облегчающую восприятие разницу в яркости и/или представлены цветом, отличающимся от цвета окружающего фона. Представленные или выдаваемые таким помеченным образом центры зрительного внимания еще также называют «фиксированными точками» 66. Это позволяет производить особо точную и дифференцированную оценку качеств первого объекта в плане его распознаваемости. На Фиг. 18, кроме того, представлена первая система координат 97, которая характеризует среднюю точку и/или средоточие центров зрительного внимания.
На Фиг. 19 также представлены все сохраненные в первом объектном накопителе центры зрительного внимания, причем все центры зрительного внимания, относящиеся к одной фиксации задаваемой продолжительности, отмечены как таковые, причем предпочтительно предусмотрено, что они, по сравнению с окружающим фоном, имеют облегчающий восприятие контраст и/или облегчающую восприятие разницу в яркости и/или представлены цветом, отличающимся от цвета окружающего фона. Представленные или выдаваемые таким помеченным образом центры зрительного внимания еще также называют «взвешенными фиксированными точками» 67. Путем изменения задаваемой продолжительности фиксации можно легко и быстро выполнить анализ того, насколько качества первого объекта в плане его распознаваемости изменяются в зависимости от продолжительности отдельных фиксаций. На Фиг. 19, кроме того, представлена также первая система координат 97.
На Фиг. 20 представлен предпочтительный вариант режима выдачи данных, который может быть применен в дополнение к уже описанным другим режимам выдачи. При этом вокруг центра 98 точек фиксации первой системы координат 97 изображается произвольно задаваемое число кружков. Предпочтительно, и как здесь представлено, показан седьмой кружок 93, диаметр которого имеет такой размер, что седьмой кружок 93 включает в себя пятьдесят процентов центров зрительного внимания. Кроме того, изображен еще восьмой кружок 94, диаметр которого имеет такой размер, что седьмой кружок 93 включает в себя восемьдесят пять процентов центров зрительного внимания. Изображенный также девятый кружок 95 образован таким образом, что он включает в себя девяносто пять процентов центров зрительного внимания, а десятый кружок 96 образован таким образом, что он охватывает девяносто девять процентов центров зрительного внимания. Такое называемое еще «зональным углом» 68 представление может быть скомбинировано с любыми другими режимами выдачи, что позволяет выполнять ускоренную объектноспецифичную оценку качества восприятия.
На Фиг. 17, равно как и на Фиг. 16, показаны сохраненные в первом объектном промежуточном накопителе центры зрительного внимания, причем, кроме этого, участки, отнесенные к фиксации после предшествующей ей «продолжительной» саккады, изображаются в виде шестого кружка 92, плоскость которого, по сравнению с окружающим фоном, имеет облегчающий восприятие контраст и/или облегчающую восприятие разницу в яркости и/или представлена цветом, отличающимся от цвета окружающего фона. Центром шестого кружка 92 является средняя точка центров зрительного внимания, отнесенных к соответствующей фиксации. Подобный режим представления называют также «преобладанием определенных признаков фиксации» 65. Продолжительность длительной саккады определяется задаваемым первым углом 52 саккады. Альтернативно может также задаваться промежуток времени саккады, при превышении которого саккада считается продолжительной. Диаметр шестого кружка может быть задан и его размер находится предпочтительно в области, которая предпочтительно ограничена областью 35 парафовеального зрения. Благодаря такому режиму представления можно быстро и убедительно даже для неопытного наблюдателя определять, какие именно участки объекта с особой силой притягивают к себе внимание этого последнего. Кроме того, может быть предусмотрено, что шестой кружок 92 изображается только в том случае, если выполняются требования, необходимые для распознавания объекта наблюдателем в плане фиксации 48, 49 и продолжительности 103 фиксации. Все это позволяет легко и быстро распознать, скользнул ли наблюдатель по объекту всего лишь мимолетным взглядом, воспринял его или же на самом деле распознал.
На Фиг. 25 представлен десятый предпочтительный вариант режима выдачи 88, причем изображаются исключительно саккады между отдельными фиксациями, для чего последний центр зрительного внимания первой фиксации изображают соединенным линией с первым центром зрительного внимания второй фиксации, причем продолжительность саккады может быть изображена другим цветом, благодаря чему наблюдатель может быстро распознавать участки с продолжительными недостатками восприятия.
На Фиг. 24 представлен девятый предпочтительный вариант режима выдачи 87, причем поле зрения перекрывают растром заданного размера и/или заданной формы, а отдельные сегменты 99 растра отмечают с учетом частотности встречающихся в них центров зрительного внимания путем придания им заданной яркости, цвета и/или путем их структурирования.
На Фиг. 26 представлен одиннадцатый предпочтительный вариант режима выдачи, причем методы выдачи информации согласно Фиг. 17, 19, 20, 24 и 25 изображены с перекрытием, что позволяет особенно много информации выдавать в виде только одного изображения, а наблюдатель получает возможность особенно легко и быстро оценить объект или отдельную сцену. На Фиг. 27 представлен двенадцатый предпочтительный вариант режима выдачи, причем этот вид, как и показанный на Фиг. 26, для большей наглядности наложен на кадр изображения первого объекта - в этом случае первой сцены.
В дополнение к уже описанным выше способам оценки и/или выдачи полученных данных, особо предпочтительно предусмотрен еще один описываемый ниже способ оценки и/или выдачи полученных данных, который представляется в максимальной степени пригодным для обнаружения комплексности последовательности сцен. При этом речь идет, как будет разъяснено на двух примерах, приведенных на Фиг. 28 и 29, об особо предпочтительной комбинации уже описанных выше способов оценки и/или выдачи полученных данных, предпочтительно расширенных дополнительными предпочтительными способами оценки и/или выдачи данных.
На Фиг. 28 и 29 представлена предпочтительная маска 50 выдачи данных, причем элементы управления и другие поля выдачи данных были удалены из изображения, с сохранением только текстового описания. Хорошо видны оба расположенные одно рядом с другим видеоизображения 9 в поле зрения, причем одно из видеоизображений 9 в поле зрения представлено на Фиг. 17, а другое видеоизображение 9 в поле зрения представлено на Фиг. 25. Кроме того, имеется еще первая диаграмма 11, а также подробное изображение такой первой диаграммы 11. Маска 50 выдачи данных включает в себя первую диаграмму 20 саккад и первую диаграмму 100 продолжительности фиксации для исследуемого промежутка времени, предпочтительно 2 с, но с возможностью произвольно его задавать. Кроме того, предусмотрена еще вторая диаграмма 107, в которую выдается информация о том, сколько центров зрительного внимания - отсюда и частотность центров зрительного внимания - располагаются на каком первом относительном расстоянии 40 вокруг центральной зрительной оси. Кроме того, предпочтительно еще может быть предусмотрено для каждой последовательности видеоизображений в поле зрения текущего представления задавать первую продолжительность 103 фиксации, угол 52 саккады, а также значение комплексности последовательности, причем значение комплексности определяется и выдается как сумма относительных углов 42, измеренных в продолжение заданного промежутка времени, обычно равного одной секунде. Это позволяет легко и быстро определять, не является ли наблюдаемая испытуемым ситуация слишком сложной для его восприятия. Как только значение комплексности превысит определенное предельное значение, можно делать вывод о том, что упорядоченного восприятия объектов больше не происходит. А ведь в сфере дорожного движения подобная ситуация может иметь поистине непредсказуемые последствия. С использованием такого способа, который был описан выше, и такой обработки данных можно не только производить оценку ситуации, но еще и легко и быстро определять, пригоден ли испытуемый к управлению транспортным средством.
На Фиг. 33 - Фиг. 36 представлены примеры предпочтительной маски 108 выдачи данных предпочтительного инструмента для анализа, причем Фиг. 33 и 34 образуют одно целое или же подчинены одна другой, а Фиг. 35 и 36 также образуют одно целое или же подчинены одна другой. На Фиг. 33 и 35 представлено по одному видеоизображению 9 в поле зрения испытуемого, которое согласно первому предпочтительному варианту режима вывода 6 видеоизображения 9 в поле зрения показано с первым и вторым кружками 43, 44, как это было представлено на Фиг. 9, причем могут быть предусмотрены и другие описанные выше предпочтительные варианты режима выдачи видеоизображения 9 в поле зрения испытуемого. На видеоизображении 9 в поле зрения при этом имеется номер текущего кадра видеоизображения в поле зрения или фрейма в виде порядкового номера 106, что позволяет точно соотносить выдаваемый кадр видеоизображения 9 в поле зрения. Кроме того, определяют статистические данные текущего видеоизображения 9 в поле зрения, рассчитывая их предпочтительно на компьютере, и представляют их в виде первого блока 109 статистических данных по участку и второго блока 110 статистических данных по участку, а также блока 111 прошлых статистических данных и блока 112 будущих статистических данных. При этом в первом и втором блоках 109, 110 статистических данных по участкам статистические данные представляются, соответственно, для свободно выбираемого временного участка видеоизображения 9 в поле зрения испытуемого. В блоке 111 прошлых статистических данных представляются статистические данные для задаваемого промежутка времени перед показываемым в соответствующий момент кадром изображения в поле зрения, а в блоке 112 будущих статистических данных - данные для задаваемого промежутка времени, следующего сразу же за показываемым в соответствующий момент кадром изображения в поле зрения.
В отдельных блоках 109, 110, 111, 112 статистики, то есть первом и втором блоках 109, 110 статистики по участкам, блоке 111 прошлых статистических данных, блоке 112 будущих статистических данных, представляются комплексность, удельный вес фиксаций, удельный вес саккад, коэффициент фиксаций, коэффициент саккад и удельный вес морганий, причем MD означает среднее арифметическое, SD - стандартное отклонение или среднее квадратическое отклонение, min - минимальное значение, max - максимальное значение, 85% - 85-й перцентиль соответствующих значений для выбранного в соответствующем блоке 109, 110, 111, 112 статистики промежутка времени видеоизображения 9 в поле зрения.
Комплексностью при этом обозначают сумму всех движений взгляда в продолжение выбранного промежутка времени в видеоизображении 9 в поле зрения испытуемого, предпочтительно в градусах/единицу времени, поэтому °/с. Удельным весом фиксаций обозначена временная доля выбранного промежутка времени в видеоизображении 9 в поле зрения испытуемого, который может быть отнесен к фиксациям относительно суммарной продолжительности во времени выбранного промежутка времени в видеоизображении 9 в поле зрения испытуемого; а удельным весом саккад обозначена временная доля выбранного промежутка времени в видеоизображении 9 в поле зрения испытуемого, который может быть отнесен к саккадам относительно суммарной продолжительности во времени выбранного промежутка времени в видеоизображении 9 в поле зрения испытуемого. Удельный вес фиксаций и удельный вес саккад могут принимать значения от нуля до единицы и суммарно они составляют единицу, так как для их оценки привлекают только участки, не содержащие морганий, то есть полных временных затемнений глаза.
Коэффициент фиксаций - это отношение удельного веса фиксаций к удельному весу саккад в любой момент времени, а коэффициент саккад - это соотношение удельного веса саккад к удельному весу фиксаций в любой момент времени. Удельный вес морганий - это доля времени, занимаемая морганием в продолжение выбранного промежутка времени.
Количество фиксаций, саккад и морганий представляется в соответствующих блоках 109, 110, 111, 112 статистики предпочтительно и, как показано, дополнительно в виде дискретных значений.
На Фиг. 34 представлены статистические данные по видеоизображению 9 в поле зрения и по блокам 109, 110, 111, 112 статистики согласно Фиг. 33 в графическом виде, а на Фиг. 36 представлены статистические данные по видеоизображению 9 в поле зрения и по блокам 109, 110, 111, 112 статистики согласно Фиг. 35 в графическом виде. При этом предпочтительно, и как изображено, предусмотрена первая диаграмма 11 для представления фиксаций и саккад в графическом виде. Кроме того, соответствующее значение комплексности представляется на диаграмме комплексности 113. Другие значения удельного веса фиксаций, удельного веса саккад, коэффициента фиксаций и/или коэффициента саккад представлены еще на обзорной диаграмме 114. Расположенная по центру двойная полоса 115 служит для маркировки представленного места на соответствующем видеоизображении 9 в поле зрения. Кроме того, моргание представляется как в виде значения морганий 116 в численном выражении, так и в виде полосы морганий 117.
Инструмент для анализа согласно Фиг. 33-36 особо предпочтительно предусмотрен для обнаружения и детального изучения мест с потерями информации по причине чрезмерно высокой комплексности или часто встречающихся фовеальных, центральных притягиваний взгляда испытуемого. Благодаря выдаче особо содержательных статистических данных и возможности их непосредственного сопоставления с представленным видеоизображением 9 в поле зрения можно выполнять качественные глубинные анализы реального восприятия информации, а также усовершенствованное рассмотрение различных потерь информации и/или информационных дефектов. Это позволяет определять степень визуального восприятия, обеспечивая возможность проведения дальнейших медицинских и нейрофизиологических исследований.
В усовершенствованном варианте осуществления способа согласно изобретению может быть предусмотрена совместная оценка параметров визуального восприятия с индивидуальными параметрами стресса (данные физиологии человека) и физическими параметрами движения и состояния, что позволяет использовать описанные выше способы в еще более обширной сфере исследований в области стресса и поведенческих реакций.
Кроме того, изобретение относится также и к способу контроля визуального восприятия по меньшей мере одного пользователя, предпочтительно человека, причем с помощью по меньшей мере одной первой камеры для первого видеоизображения окружения снимают по меньшей мере одно первое видеоизображение окружения первого пользователя, это первое видеоизображение окружения исследуют на наличие по меньшей мере одного заданного первого образца, предпочтительно знака дорожного движения, затем с использованием способа согласно одному из пунктов с 1 по 20 определяют, выполняется ли первый критерий 25 фиксации, применительно к центрам зрительного внимания, которые, по меньшей мере, частично совпадают с ним, и что при невыполнении критерия первой фиксации касательно первого образца приводится в действие по меньшей мере одна схема управления и/или регулирования. Это позволяет машине контролировать область поля зрения пользователя вместе с его зрительным поведением и устанавливать, воспринимались или воспринимаются ли пользователем определенные участки либо образцы. Например, автомобиль может исследовать участок улицы или дороги на наличие знаков дорожного движения и проконтролировать, на самом ли деле водитель воспринял присутствие этих дорожных знаков. Если этого не случилось, то автомобиль может при помощи световой или акустической сигнализации обратить на это внимание водителя или даже самостоятельно остановиться, если, к примеру, водитель не заметил дорожный знак обязательной остановки.
Для осуществления подобного способа необходимо, чтобы регистрировались движения зрачков пользователя или водителя, для чего и предусмотрена соответствующая система для определения направления взгляда испытуемого. Даже если с помощью систем для определения направления взгляда испытуемого, которые неподвижно зафиксированы у него на голове, можно добиться наилучших результатов, может быть предусмотрена система для определения направления взгляда, которая регистрирует движения зрачков или направление взгляда пользователя при помощи нескольких расположенных вокруг него видеокамер. Поэтому они находят себе применение предпочтительно в областях, когда пользователь и без них носит защитные очки либо защитную каску, потому что такая система для определения направления взгляда может быть просто встроена в каску либо защитные очки. Возможными областями применения являются, к примеру, быстродвижущиеся машины, например токарные станки или канатопрядильные машины, шлемы пилотов боевых самолетов, в которых самолет сам определяет наличие целей или источников опасности и обращает на них внимание пилота, только если этот последний не сделал этого сам. Такие системы могут также быть встроены в шлемы автогонщиков и соответственно оптимизированы на распознавание образцов флажных сигналов, подаваемых судьями на линии, и т.п.
Другие признаки изобретения, кроме как из пунктов патентной формулы, могут исходить также из описания и чертежей, причем отдельные признаки, в частности также признаки различных описанных вариантов осуществления способа, в каждом конкретном случае могут быть осуществлены по отдельности или же в виде нескольких объединенных в комбинацию в по меньшей мере одном варианте осуществления изобретения и/или в других областях, причем может быть предусмотрена любая комбинация признаков, что и будет представлять сами по себе охраноспособные изобретения. Подразделение предметной заявки на несколько частей никоим образом не ограничивает сделанных в этих частях когда-либо высказываний в общей законной силе, которую они имеют для изобретения.
Перечень ссылочных позиций
1. определение центров зрительного внимания или зрительных координат
2. ввод зрительных координат
3. ввод критерия фиксации
4. определение, фиксация или саккада
5. вторая выдача
6. первый предпочтительный режим выдачи
7. второй предпочтительный режим выдачи
8. третий предпочтительный режим выдачи
9. видеоизображение в поле зрения
10. первая выдача
11. первая диаграмма
12. выдача первой диаграммы
13. выбор первого отрезка видеоизображения в поле зрения
14. блок предварительной обработки
15. первая диаграмма фиксации
16. вторая диаграмма фиксации
17. третья диаграмма фиксации
18. четвертая диаграмма фиксации
19. пятая диаграмма фиксации
20. первая диаграмма саккады
21. вторая диаграмма саккады
22. третья диаграмма саккады
23. четвертая диаграмма саккады
24. пятая диаграмма саккады
25. первый критерий фиксации
26. второй критерий фиксации
27. третий критерий фиксации
28. четвертый критерий фиксации
29. пятый критерий фиксации
30. замкнутый цикл способа для варьирования критерия фиксации
31. первый накопитель
32. диаграмма уровня фиксации
33. глаз
34. фовеальная область
35. парафовеальная область
36. периферическая область
37. первый центр зрительного внимания
38. второй центр зрительного внимания
39. первое расстояние
40. первое относительное расстояние
41. первый угол зрения
42. первый относительный угол
43. первый кружок
44. второй кружок
45. первые траектории движения взгляда
46. третий кружок
47. четвертый кружок
48. первая фиксация
49. вторая фиксация
50. маска выдачи данных
51. первый угол фиксации
52. первой угол саккады
53. время
54. число следующих подряд один за другим фреймов видеоизображения в поле зрения испытуемого
55. пользовательский интерфейс
56. частотность
57. количество фиксаций
58. первая кривая
59. вторая кривая
60. третья кривая
61. четвертая кривая
62. пятая кривая
63. шестая кривая
64. точки
65. преобладание определенных признаков фиксации
66. фиксированные точки
67. взвешенные фиксированные точки
68. зональный угол
69. третий центр зрительного внимания первой фиксации
70. последний центр зрительного внимания первой фиксации
71. центр зрительного внимания, между первой и второй фиксациями
72. центр зрительного внимания, между первой и второй фиксациями
73. центр зрительного внимания, первый центр зрительного внимания второй фиксации
74. центр зрительного внимания, второй центр зрительного внимания второй фиксации
75. центр зрительного внимания, третий центр зрительного внимания второй фиксации
76. первая видеокамера
77. вторая видеокамера
78. изображение движений глаз
79. изображение в поле зрения
80. голова испытуемого
81. первый объектный промежуточный накопитель
82. второй объектный промежуточный накопитель
83. третий объектный промежуточный накопитель
84. четвертый объектный промежуточный накопитель
85. пятый объектный промежуточный накопитель
86. блок
87. девятый предпочтительный вариант режима выдачи
88. десятый предпочтительный вариант режима выдачи
89. одиннадцатый предпочтительный вариант режима выдачи
90. двенадцатый предпочтительный вариант режима выдачи
91. исследование видеоизображения в поле зрения испытуемого на наличие центров зрительного внимания, блок Фиг. 4
92. шестой кружок
93. седьмой кружок
94. восьмой кружок
95. девятый кружок
96. десятый кружок
97. первая система координат
98. центр точек фиксации
99. сегменты растра
100. первая диаграмма продолжительности фиксации
101. первая диаграмма продолжительности саккады
102. диаграмма морганий
103. первая продолжительность фиксации
104. первая продолжительность саккады
105. первая продолжительность моргания
106. число фреймов
107. вторая диаграмма
108. маска выдачи данных
109. первый блок статистики по участкам
110. второй блок статистики по участкам
111. блок прошлых статистических данных
112. блок будущих статистических данных
113. диаграмма комплексности
114. обзорная диаграмма
115. двойная полоса
116. значение морганий
117. полоса морганий