СПОСОБ И УСТРОЙСТВО ДЛЯ СОЗДАНИЯ СТАБИЛИЗИРОВАННЫХ ИЗОБРАЖЕНИЙ НА СЕТЧАТКЕ
METHOD AND APPARATUS FOR CREATING OF STABILISED IMAGES ON RETINA

Изобретение относится к области коммуникации и медицинского приборостроения и может быть использовано для создания и исследования изображений непосредственно на сетчатке глаза, для диагностики состояния оператора (состояния сетчатки и психоэмоционального состояния) в различных областях техники, для проецирования на сетчатку диспетчера, оператора или пилота дополнительной информации.
В конце XX столетия усилия многих ученых были посвящены изучению феномена зрения и принципов работы сетчатки человеческого глаза [1, 2, 3]. Одним из способов экспериментальных исследований было создание стабилизированных сетчаточных изображений (Ярбус А.Л., 1965-77 г., Рожкова Г.И. 1982-1985 г. [4, 5] и др.).
При этом были получены достаточно противоречивые данные о влиянии динамики зрительного стимула на фоторецепцию, что во многом послужило причиной фактического прекращения работ в данной области.
Основным источником неповторяющихся результатов и главными недостатками использовавшихся систем являлись их узкополосность (недостаточное быстродействие) и невысокая точность (применялись, например, присоски весом 0,2-0,4 г, размещавшиеся непосредственно на поверхности глаза [4] и имевшие инерционность при перемещении; медленно действующие сканирующие системы и т.п.).
Наиболее близким к предлагаемому способу является способ создания стабилизированных изображений на сетчатке по патенту США №5703637, G02B 27/00T, 1997 г. Способ включает проецирование луча на сетчатку, слежение за движением глаза в плоскости, перпендикулярной оси зрения, и компенсацию движения глаза в процессе проецирования луча на сетчатку.
Наиболее близким к предложенному устройству является устройство для осуществления известного способа по патенту США №5703637. Устройство содержит средство формирования изображения (луча видимого света), средства отклонения луча (сканирования) по вертикали и горизонтали, оптическую систему проецирования отклоненного луча на сетчатку, средства слежения за движениями глаза, включающие синхронные контуры для выделения сигналов вертикальной и горизонтальной развертки, фотоэлектрический преобразователь излучения, поступающего из глаза, видеопроцессор для сопоставления настоящего и предшествующего изображений зрачка и определения направления и величины смещения последнего, и передачи этих данных на контроллер движения зрачка, который производит управление оптической системой проектирования отклоненного луча на сетчатку.
В самом общем виде известное устройство содержит блок формирования изображения, оптическую систему для проецирования данного изображения на сетчатку, блок слежения за движением глаза в плоскости, перпендикулярной оси зрения, подключенный к блоку формирования компенсационного сигнала, управляющего оптической системой для проецирования изображения на сетчатку.
В результате компенсации движений зрачка по вертикали и горизонтали удается фиксировать проецируемое изображение на одном и том же участке сетчатки глаза при движениях последнего в плоскости, перпендикулярной оси зрения, с частотой, не превышающей полосу пропускания устройства. Однако при этом не учитываются вращательные движения глазного яблока и не компенсируются высокочастотные составляющие движения. Кроме того, имеется и принципиальное ограничение: полная фиксация изображения на сетчатке может не давать эффекта постоянной перцепции стабилизированного изображения, наоборот, в восприятии оператора стабилизированное таким образом изображение может частично исчезать и не восприниматься.
Техническим результатом, ожидаемым от использования изобретения, является создание на сетчатке действительно стабильного изображения, воспринимаемого глазом в качестве такового и учитывающего индивидуальные особенности глаза. Данная формулировка предполагает постановку и решение целого ряда задач:
- получение на сетчатке изображения, максимально соответствующего заданному;
- проецирование на сетчатку изображений в режиме, наиболее комфортном для восприятия оператором;
- получение на сетчатке тестовых изображений, определенным образом связанных не только с исходным изображением, но и с топографией самой сетчатки, а также с механизмом перцепции, что открывает возможность для изучения топографии и диагностики состояния сетчатки.
Указанный результат достигается тем, что в известном способе, включающем проецирование луча на сетчатку, слежение за движением глаза в плоскости, перпендикулярной оси зрения, а также вдоль нее, и компенсацию зафиксированного движения глаза в процессе проецирования луча на сетчатку, дополнительно фиксируют движения глаза вокруг оси зрения и компенсируют зафиксированное движение глаза в процессе проецирования луча на сетчатку, при этом компенсацию по трем осям осуществляют с предустановленным коэффициентом и для фиксированных частотных диапазонов.
Кроме того, выбор предустановленного коэффициента и фиксированных частотных диапазонов может осуществляться путем последовательной или выборочной компенсации типов движений глаза в процессе предъявления тестовых изображений.
При этом нескомпенсированными полностью могут оставлять выбранные типы движения глаза (тремор, и/или нистагмы, и/или саккады) по меньшей мере для одной из осей.
Указанный результат достигается также тем, что известное устройство для создания стабилизированных изображений на сетчатке, содержащее блок формирования изображения, оптическую систему для проецирования данного изображения на сетчатку, блок слежения за движением глаза в плоскости, перпендикулярной оси зрения, подключенный к блоку формирования компенсационного сигнала, снабжено блоком слежения за вращением глаза вокруг оси зрения и трехосным амплитудно-частотным регулятором, подключенным между выходом блока формирования компенсационного сигнала и управляющим входом оптической системы для проецирования изображения на сетчатку, при этом выход блока слежения за движением глаза в плоскости, перпендикулярной оси зрения, соединен с дополнительным входом блока формирования компенсационного сигнала, который выполнен трехосным.
На чертеже схематично изображено устройство для осуществления предлагаемого способа.
Устройство состоит из блока 1 формирования изображения (растровой системы на базе матричного или одиночного излучателя света, жидкокристаллического или светодиодного дисплея, полиграфической картинки с подсветкой или другого источника изображения) и оптической системы 2 для проецирования изображения, созданного блоком 1 на сетчатку 3 глазного яблока 4 со зрачком 5.
Оптическая система может состоять из подвижного сканирующего по углу зеркала 6 или световода системы развертки или координатной подачи светового изображения, посредством которого луч (или изображение зрительного стимула) через объектив 7 попадает в зрачок 5, может также использоваться комбинация световода и подвижных зеркал, выполненных по технологии MEMS, и другие схемы.
Блок 8 слежения за вращением глаза 4 вокруг оси зрения вместе с блоком 9 слежения за движением глаза 4 в плоскости, перпендикулярной оси зрения, образует трехосный блок слежения за движением глаза, выходы которого соединены с соответствующими входами трехосного блока 10 формирования компенсационного сигнала, выходы которого подключены ко входам трехосного амплитудно-частотного регулятора 11.
Позицией 12 на чертеже обозначена ось зрения, позициями 13, 14 - соответственно вертикальная и горизонтальная оси, позицией 15 условно обозначен привод (трехосный механизм вращения) зеркала 6, а позицией 16 - трехосный блок слежения за движением глаза, образованный блоками 8 и 9.
Осуществление способа рассмотрим на примере его реализации в предложенном устройстве. Излучение от блока 1 преобразуется оптической системой 2 в видимое, направленное вдоль оси 12 и элементами оптической системы 2 (условно зеркалом 6 с приводом 15) через объектив 7 направляется на определенный участок сетчатки 3 глаза 4. В процессе осуществляемого таким образом проецирования изображения на сетчатку 3 глаз 4 совершает сложное движение, в котором присутствуют следующие основные составляющие:
- низкочастотные: вместе с головой оператора, в результате контролируемого оператором перевода взгляда с одной точки изображения на другую или дрейфа с частотой ниже, например, 10 Гц;
- среднечастотные, в первую очередь нистагматические и саккадические, в диапазоне, например, 10-40 Гц;
- высокочастотные: микросаккадические и в результате тремора в диапазоне, например, 40-80 Гц;
- микротремор, например, 80-800 Гц.
Любое движение глаза 4 может быть представлено как перемещение вдоль осей 13,14 и вращения вокруг оси 12 (есть еще движение вдоль оси 12, которое может быть определено по расхождению лучей и также частично или полностью скомпенсировано регулятором 11) и каждая из этих составляющих движения имеет вышеописанный спектр. Блоки 8 и 9 выполняются так же, как описано в известном решении, или любым иным известным образом, например в виде видеокамеры и встроенного анализатора изображений, сопоставляющих последовательные массивы данных с выхода фотоэлектрической матрицы и определяющих по результатам сравнения величину перемещения и его направление. При этом следует учитывать, что, поскольку микродвижения глаза имеют малую амплитуду и высокую частоту, их выделение и фиксацию лучше проводить путем анализа перемещения выделенных характерных участков глазного дна, на которые производится настройка или корреляции перемещений, зафиксированных на нескольких участках сетчатки.
Полоса пропускания всего тракта обратной связи, образованного элементами 8-11 и 15,6, должна быть не ниже 900 Гц. На практике это проще реализовать, применяя не механический привод 15 зеркала 6, а известные телевизионные элементы управления изображением или дисплей с соответствующим видеоконтроллером либо другие быстродействующие схемы. Информация о движении глаза вдоль осей 13, 14 и вращении вокруг оси 12 с выхода блока 16 подается на блок 10. Задачей последнего является формирование сигналов, которые будучи поданы непосредственно на оптическую систему 2 обеспечат полную компенсацию всех типов движений глаза по всем вышеуказанным направлениям. Компенсационные сигналы с выхода блока 10 поступают на входы регулятора 11. Он также выполнен трехосным, т.е. в простейшем случае трехканальным, каждый канал в виде последовательно соединенных перестраиваемых полосового фильтра и амплитудного регулятора, причем полосовой фильтр выполнен с возможностью выбора одной или нескольких полос пропускания в диапазоне, например, до 900 Гц.
Пусть, например, сначала ставится задача диагностики состояния сетчатки оператора. Тогда, предъявляя ему набор тестовых изображений и осуществляя последовательное подавление с помощью регулятора 11 всех направлений и типов движения глазного яблока, начиная от низкочастотных и заканчивая высокочастотными, появляется возможность стабилизировать сетчаточные изображения, регистрируя словесные описания видимых им предметов, качества изображения, диагностировать состояние сетчатки.
Далее, изменив программу «предъявление стимула - подавление определенного движения глаза - отчет» или выделив из предшествующего анализа соответствующую информацию, мы получаем возможность определить, какая степень компенсации по частоте и амплитуде обеспечивает наиболее комфортное для глаза восприятие, режим наименьшей утомляемости для данного оператора.
И, наконец, используя данные первых двух этапов, то есть зная, что данный оператор имеет сетчатку, структурированную именно таким образом, соответствующую норме для данного вида деятельности, и обеспечивая режим, наиболее благоприятный для восприятия зрительной информации, мы имеем возможность, применяя заявленный способ и устройство для его осуществления, осуществлять непосредственную передачу зрительной информации, стабилизируя ее на сетчатке.
Иными словами, изобретение может быть использовано при исследованиях и функциональной диагностике зрения, а также для создания путем индивидуального подбора максимально комфортных условий для оператора при длительном восприятии большого потока зрительной информации.
Отличие от известных систем состоит в том, что непрерывно измеряется с высокой точностью и учитывается в обратной связи положение глаза, в том числе поворот радужки относительно оси зрения. Это, например, достигается тем, что используется координатная привязка изображения стимула к точному положению глаза (сетчатки) в момент его проекции по привязке к характерному рисунку вен глазного дна, например, или по полученной координате от внешней, но связанной со сканером системы трекинга глаза (зрачка, радужки, неоднородностей). Точность исполнения устройства (и его быстродействие, т.е. ширина полосы частот механики сканера, регуляторов и пр.) должна быть такова, что требуемое изображение (видеостимул) должно продолжать оставаться на нужных (неизменных) точках сетчатки не зависимо от движений (микродвижений) глаза.
Дополнительное отличие заключается в том, что, помимо движения глаза в двух координатах, регистрируются и компенсируются одновременно поворотные микродвижения, совершаемые глазом относительно оси зрения. Достигается это либо поворотным перемещением зеркального (световодного и т.п.) сканера, либо смещением и поворотом исходного проецируемого изображения (что не составляет трудности при достаточном быстродействии дисплея и использовании быстродействующего цифрового устройства для создания изображения). Таким образом, главной целью является точная привязка (стабилизация) проецируемого изображения к конкретным элементам структуры сетчатки.
Поскольку точность стабилизации (сопровождения и компенсации быстрых микроперемещений сетчатки) обеспечивается фактически шириной полосы пропускания (по частоте) элементов стабилизации, осуществляя ограничение этой полосы (цифровым или аналоговым фильтром низкой частоты, например) можно выявить (и отделить) влияние высокочастотных микроперемещений глаза от прочих. Кроме этого, средствами цифровой обработки из сигнала перемещения глаза по соответствующей оси могут по характерным признакам выделяться конкретные типы микродвижений (например, микросаккады - по характерному скачку, амплитудой больше установленного порога) и приниматься решения об их полной или частичной компенсации средствами стабилизации по данной оси. То же - при отключении функций компенсации поворотных микроперемещений вокруг оси зрения и т.п.
Предлагаемые способ и устройство подачи и стабилизации изображения отличаются от существующих прежде всего широкими функциональными возможностями, многообразием решаемых задач: все известные способы и устройства для проецирования изображения на сетчатку имеют целью прежде всего информационное назначение (телевизионный сигнал, информация с дисплея во время работы за компьютером и т.п.), при этом большинство известных систем предназначено просто для закрепления и перемещения изображения вместе с головой оператора и отслеживает только большие угловые перемещения зрачка с целью предоставлять глазу изображение непрерывно и не выходить из поля зрения зрачка. При этом само изображение должно сохранять свою натуральность в части имитации заменяемого прибора - дисплея, телевизора и т.п.
В предложенном решении дополнительно обеспечивается диагностика и индивидуальная подстройка; оно открывает широкие возможности для определения топологии сетчатки, в нем используются или в зависимости от режима частично или полностью блокируются все возможности глаза в отношении стабилизации изображения и микроперемещений (т.е. возможность глаза двигаться по элементам изображения и «осматривать» картинку). Предлагаемый способ отличается тем, что в режиме максимальной стабилизации исключается всякое движение изображения по элементам сетчатки, в том числе исключают микроколебания и поворотную составляющую движения относительно оси зрения (за счет стабилизации с привязкой к глазному дну, радужке, неоднородностям формы выреза зрачка и т.п.).
Еще одним отличием от любых известных нам систем является то, что в системе есть регулировка полосы (максимальной частоты) либо выделение типа движений с их выборочной компенсацией, а также выбор осей (все три либо две или одна), по которым осуществляется стабилизация. Таким образом, регулируя параметры системы, а также характер проецируемого изображения (зрительного стимула), удается в процессе исследований и диагностики разделить функции различных перемещений, выявить поврежденные участки и т.п.: тем самым получить важнейшую и недоступную раньше диагностическую информацию. При этом эффекты для испытуемого человека от проецирования таких стабилизированных сетчаточных изображений могут иметь мало пока изученные терапевтическое и коррекционное значения, но одновременно могут лишать (за счет эффектов зрительного восприятия) проецируемую таким образом картинку какой-либо информационной или эстетической ценности или же, наоборот, привнести новую за счет зрительных иллюзий.
Естественно, что как и известные способ и устройство, предлагаемые могут быть бинокулярными, т.е. осуществляться одновременно для двух глаз, иметь два канала.
При использовании изобретения появляется важный инструмент - возможность выборочной и частичной компенсации движений глаза в процессе предъявления испытуемому или оператору тестовых или рабочих изображений, создания различных стабилизированных сетчаточных изображений как для диагностики (а также лечения зрительных расстройств), так и для построения индивидуальной функциональной (алгоритмической) топологии сетчатки глаза.
Таким образом, предложение дает четыре основных инструмента для изменения характеристик стабилизации:
- изменение полосы (постоянной времени) по каждой оси;
- выделение вычислительными методами конкретных типов микродвижений глаза (микросаккад, например) по их характерному началу и блокирование (исключение) именно их либо выбранных из них (например, выше определенного порога и т.п.);
- возможность раздельной манипуляции режимами по всем трем осям;
- широкие возможности сочетания вышеперечисленных режимов с самим характером демонстрируемого зрительного стимула (изображения).
Наблюдаемое противоречие между измеряемой остротой зрения человека при суженом зрачке и параметрами геометрического расположения фотосенсоров сетчатки позволяет однозначно предположить пространственный характер обработки сетчаткой дифракционной картинки от точечного элемента изображения. При этом исходя из текущего динамического диапазона сенсоров (колбочек) и зависимости от простоты структуры разрешаемого объекта можно полагать обработку до 3-5-го минимума/максимума дифракционной картинки с задействованием соответственно от 20 до 100 и более сенсоров (например, при разрешении глазом двух точечных объектов). Таким образом имеем некий кластер, например, из 30 колбочек и, например, ста сопутствующих им нейронов в слоях сетчатки, обращенных к свету (известные сейчас амокриновые, биполярные, горизонтальные и ганглиозные клетки различных типов). При работе такого кластера (объединяемого в свою очередь по иерархии в большего размера структуры и перестраиваемого) нужно предполагать два основных фактора, определяющих, помимо поглощения фотонов, механизм перцепции. Во-первых, не изученные пока, но вполне возможные локальные эффекты влияния электрических потенциалов в нейронных слоях сетчатки на оптические параметры (отражение, поляризация, рассеяние и т.п.) этих слоев, что могло бы способствовать некоторой самоорганизации такой системы и повышению точности пространственного восприятия участком сетчатки дифракционной картинки. Во-вторых, что более очевидно и подтверждается экспериментально, присутствующие высокочастотные микродвижения глаза приводят к перемещению элементов картинки между сенсорами вышеописанного кластера, способствуют при этом цветовосприятию за счет улучшения оценки параметров дифракции и фотоэлектрического преобразования в зависимости от длины волны, а также приводят к эффекту существенного увеличения углового разрешения при зрительной перцепции.
Из вышесказанного следует, что движение составляет неотъемлемую часть феномена зрения. Согласно нашей концепции глаз при разглядывании предмета «ощупывает» его образ, спроецированный хрусталиком на сетчатку, но не просто центральной ее ямкой (фовеа) для максимального углового и цветового разрешения ключевых элементов зрительной сцены, как принято считать, а самыми разными специализированными алгоритмически участками (микрофрагментами) сетчатки, находя характерные и удобные для кодирования (данным микрофрагментом) элементы изображения. При этом в сетчатке такие специализированные зоны (фактически - наборы фильтров для обработки изображений) распределены во множестве, создавая сложный «узор» (возможно, перестраиваемый), и большую роль в феномене перцепции играют именно микродвижения глаза, «прикладывающие» каждый элемент изображения к целому набору таких функциональных зон (в поиске характерного отклика или совпадения) и так итерационно, многократно повторяя этот процесс для элемента изображения в разных зонах сетчатки, уточняя образ и насыщая его (закодированными деталями). Так, с нашей точки зрения, и происходит настройка зрительной системы на наиболее точное восприятие образа - по первоначально выявленным (в т.ч. с учетом условий освещенности) в общем виде элементам изображения (его типу) выбирается и далее корректируется по командам мозга стратегия саккад, микросаккад и т.п.
В данной работе предлагается условная иерархическая модель зрения с использованием микродвижений глаза на различных этапах обработки, например статического изображения:
- саккады - для переноса «центральных» (расположенных в окрестностях точки фиксации зрения) элементов изображения из фовеа в область кольцевого и периферического зрения (и наоборот) для дополнительной обработки фрагментов картинки в разных зонах сетчатки, в том числе в областях «ночных» алгоритмов;
- микросаккады - для автоматического переброса элементов изображения между сенсорами и участками нейронной сети как внутри и в окрестностях фовеа, так и для других зон сетчатки - в окрестностях этих зон обработки для возможности применения различных ее типов;
- тремор (а также низкочастотная дрейфовая составляющая движения) - также для переброса «центральных» фрагментов картинки внутри участков фовеолы с разной алгоритмикой обработки (а остальных фрагментов изображения - соответственно внутри окрестности зон их точки проецирования), другими словами, тремор - это микромикросаккады и управление им, видимо, происходит из того же центра, а дрейф и высокочастотное движение - своего рода комбинация медленного и быстрого режимов «сканирования» глаза;
- микротремор (условно определяем как тремор минимальной амплитуды, не зависимой от когнитивных процессов) - для «межпиксельной» обработки: уточнения центров дифракционных картинок (в т.ч. цветных) точечных элементов изображения и обеспечения комфортных условий работы фотосенсоров - без насыщения; микротремор, в частности - основа работы и периферического зрения и механизма цветовосприятия.
Таким образом, совокупность микродвижений глаза при рассмотрении объекта совсем не хаотична, а отражает «алгоритмическую» специфику топологии сетчатки индивида и ее текущее состояние с учетом возможностей адаптации под тип объекта или задачу (обнаружения, распознавания и т.п.).
Далее в иерархии идут уже осознанные движения глаза, определяемые когнитивным процессом. При этом мозг содержит полную модель сетчатки, верифицируя поступающую информацию, управляя низкочастотными режимами кинематики глаза и назначая высокочастотные автоматические режимы в соответствии с характеристиками объекта, текущими потребностями организации панорамного зрения и идущей работой над образами (со всей своей обширной памятью и творческим подходом к достраиванию изображений). Таким образом имеем динамический характер синтетической картинки с обновлением фрагментов по запросу.
Мы почти не касаемся здесь цветового зрения, наблюдения движущихся объектов, а также задач стереоскопии и бинокулярности, где требуется согласованное управление осями глаз (и областями обработки) с точностью в несколько угловых минут и присутствуют эффекты «конкуренции» полей зрения, диспаратности и пр. Это еще больше осложняет изучение такой многоуровневой цветной (RGB) бинокулярной системы, однако предложенные способ и устройство для его осуществления являются инструментом такого исследования.
Таким образом, представленный способ стабилизации позволяет последовательно исключать по представленной выше иерархии микродвижения глаза - вплоть до самого фундаментального из них - высокочастотного тремора, проводя тем самым диагностику как сетчатки глаза, так и всей зрительной системы человека.
Литература
1. Хьюбел Д. Глаз, мозг, зрение. / Пер. с анг. - М.: Мир, 1990. - 239 с.
2. Сеченов И.М. Избранные произведения. T.I. Физиология и психология - М.: Изд-во АН СССР, 1952. - 772 с.
3. Ярбус А.Л. «Роль движений глаз в процессе зрения». Наука, 1965.
4. Rozhkova G.I., Nikolayev P.P., Shchadrin V.E. Perception of stabilized retinal stimuli in dichoptic viewing conditions. - Vision Research, 1982, v.22, №2, p.293.
5. Рожкова Г.И., Николаев П.П., Щадрин В.Е. О факторах, определяющих особенности восприятия стабилизированных сетчаточных изображений. - Физиология человека, т.8, №4, 1982, стр. 564.
6. S.K.Mitra, Digital Signal Processing: A Computer-Based Approach, New York, NY: McGraw-Hill, 1998.
7. С.П.Марпл-мл. Цифровой спектральный анализ и его приложения. - М.: «Мир», 1990 г.
8. Применение цифровой. обработки сигналов. Под ред. Э.Оппенгейма. - М.: «Мир», 1980 г.