ОЧКИ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ (ДР) И СПОСОБ ДОБАВЛЕНИЯ ВИРТУАЛЬНЫХ ИЗОБРАЖЕНИЙ В ИЗОБРАЖЕНИЕ, ВИДИМОЕ НОСИТЕЛЮ ОЧКОВ ПО МЕНЬШЕЙ МЕРЕ ЧЕРЕЗ ОДНО СТЕКЛО ОЧКОВ
AUGMENTED REALITY GLASSES (AR) AND METHOD FOR ADDING VIRTUAL IMAGES TO IMAGE VISIBLE TO WEARER OF GLASSES THROUGH AT LEAST ONE GLASS OF GLASSES

Область применения
-
Изобретение касается ДР–очков (Augmented Realityдополненная реальность), которые являются прозрачными, как обычные очки, однако дополнительно могут с высоким разрешением накладывать на реальное изображение, видимое носителю очков, виртуальные объекты или изображения. В частности, изобретение касается ДР–очков, которые при размещении множества концов стекловолокон непосредственно перед зрачком носителя очков проецируют в зрачок световое поле с динамическим разрешением, при этом стекловолоконные подводы с помощью оптического маскировочного устройства невидимым снаружи образом направляются через стекло и могут распределятся с помощью оптических фильтров, и при этом за ухом или головой носителя очков в стекловолокна вводятся преобразованные ПМС–процессорами (от англ. Spatial Light Modulator SLM, пространственный модулятор света) с помощью матрицы пропускания изображения, чтобы концы стекловолокон излучали перед зрачком идеальное отдельное изображение.
Уровень техники
Известны разные системы функционального конфигурирования ДР–очков. При этом грубо различают более старый метод обратного отражения маленького дисплея стеклом очков или в призме. Этот метод приводит к чрезмерно большой оправе для этого дисплея или достаточно маленькому видимому фрагменту, и здесь более не рассматривается (например, Гугл–очки или Мета 2).
Другим, более новым методом является использование плоских волноводов (waveguides), которые позволяют изображению выходить из стекла через дифракционную решетку. Однако эта технология дает только очень ограниченный угол просмотра и плохую прозрачность (например, Hololens или Magic Leap). Некоторые новые, еще не реализованные методы создают световое поле из нескольких расположенных в форме растра отдельных фрагментов общего изображения. Эти отдельные изображения проецируются (как в некоторых запатентованных методах Magic Leap) через растр быстро переключаемых зеркальных призм (optical gates, оптические затворы) или через дифракционную решетку (Waveguide with embedded diffraction grating, волновод с заделанной дифракционной решеткой) в стекло очков сбоку и затем в глаз. Также Magic Leap было предложено использовать в качестве особенно маленького проектора изображений осциллирующее одномодовое стекловолокно.
Другая система (Pinlight Display от UNC) с помощью ПМС (SLM Spatial Light Modulator - пространственный модулятор света) направляет фронт волны на растр из зернистых точек на стекле очков. Тогда зернистые точки при близком рассмотрении производят впечатление экрана фрагмента светового поля, однако освещаются снаружи.
Известны 3D–мониторы, которые с помощью отслеживания движения глаз проецируют для наблюдателя генерированную компьютером голограмму в направлении глаз. При этом также с помощью пространственных модуляторов света (ПМС) создаются отдельные голограммы, которые затем объединяют в одну общую голограмму.
Недостатки уровня техники
Представленные до сих пор разработки очень далеки от того, чтобы выглядеть, как обычные имеющиеся в продаже очки, имеющие наименьшую возможную оправу. Однако рыночный опыт Гугл–очков ясно подтверждает, что даже самая маленькая аномалия по сравнению с обычными очками означает проблему с приемлемостью на рынке, когда очки должны использоваться ежедневно. Индивидуальное выражение лица и зрительный контакт чаще всего очень важно в социальном плане, и не должен искажаться футуристской технологией. Кроме того, эти очки имеют плохое пиксельное разрешение, ограниченно прозрачны, они фокусируют не как реальные объекты, дают только ограниченное поле зрения и отсвечивают в глаза большое количество света.
Преимущества и задача изобретения
Преимуществами и задачами изобретения является, взять за пример в высшей степени минималистичные безоправные очки (1), имеющие закрепленное непосредственно на стеклах переносье и боковые дужки, и интегрировать в них почти невидимую оптическую систему (10), которая проецирует в глаза невидимое снаружи интегральное световое поле с высоким разрешением (по меньшей мере 20 К) (48). При этом протяженность этого светового поля ограничена только полем обзора стекол, так что при соответствующем дизайне очков возможно также поле обзора в 220 градусов. На стекла спереди наносится затемняющий LCD–слой. Кроме того, по меньшей мере 2 видеокамеры размещены (53) на глазах и 2 видеокамеры в поле обзора.
Стекла могут также выполняться как обычные оптические стекла.
Любая технология с более высокими запросами может размещаться в переносном блоке (3) или на конце ушной дужки за ухом и головой.
Изображение спроецированного светового поля может, если необходимо, создавать адаптированный фокус для каждого рассматриваемого объекта, чтобы воспроизводить отношение сходимость глаз–фокус, и при этом отображать фокусируемые объекты с наивысшим возможным разрешением (47) сетчатки, без необходимости поворачивать голову. Патент показывает, что конфигурация «Main Stream » ДР–очков является абсолютно возможным. Однако условием этого является переход парадигмы на операционные системы «Open Source» (операционная система с открытым исходным кодом), которые противопоставляют кошмарам защиты ДР–данных блокчейн–конструкции абсолютного доверия, и а также конфигурирование ДР–очков для ультимативного блокчейн–применения.
Поиск по ключевым словам
Pinhole Projector ( точечный проектор), Integral Imaging (интегральное изображение), Optical Cloaking Device (оптическое маскирующее устройство), Multi Mode Fiber Endoscope (многомодовый волоконный эндоскоп), Computer Generated Holography CGH (компьютерная голография КГ), Foveated Rendering (фовеальный рендеринг), Vergence Accommodation Conflict (конфликт сигналов вергенции и  приспособляемости), Time Domain Imaging ( изображение во временном домене), Amplitude and Phase Complex Modulating SLM (амплитудная и фазная комплексная модуляция ПМС), Magic Leap, Hololens, SLM (ПМС), DMD ( цифровое зеркальное устройство), DLP (цифровая обработка света), FLCOS, Augmented Reality AR (дополненная реальность ДР), Mixed Reality MR (смешанная реальность СР), Matrix Optics (матричная оптика), Speckles Reduction ( понижение уровня спеклов), Piezo FTIR (, Electochromic Mirror (электрохромное зеркало), растровые очки.
Список чертежей:
Далее изобретение поясняется подробнее на нескольких изображенных на чертежах вариантах осуществления. Показано:
фиг.1: обзор ДР–очков с технологией МЭМС (MEMS) или коммутирующие зеркала;
фиг.2: представление концепции всей системы;
фиг.3: представление концепции многомодового стекловолоконного проектора;
фиг.4: ДР–очки, интегральное изображение с динамическим разрешением;
фиг.5: градиентные оптические маскировочные каналы в стекле очков;
фиг.6: плоскости проекции для фокуса и окружающей среды в стекле очков;
фиг.7: представление концепции двухступенчатого проектора;
фиг.8: представление концепции одноступенчатого проектора;
фиг.9: автомат для калибровки ДР–очков;
фиг.10: представление концепции измерения образца пропускания.
Подробное описание
Как изображено на чертеже, для ДР–очков в размещенном на затылке, состоящем из нескольких световых ПМС–процессоров голограммном проекторе (3) по меньшей мере 300 стекловолоконных точек (48) проекции снабжаются каждая имеющим более низкое разрешение частичным изображением (51). Подводящие стекловолокна через дужки (9) очков и край (62) очков произвольно позиционируются на очках для проецирования. При этом получаются разные методы (34), как проекции могут попадать непосредственно в растр перед глазом, чтобы таким образом проецировать множество частичным изображений или голограмм (33) непосредственно в зрачки. Штриховой вариант (2) помещает точки проекции на край очков и использует быстро переключаемые зеркальные поверхности (19) внутри стекла. Предпочтительный, описанный здесь точечный вариант (1) использует градиентную маскировочную оптику (12, 69). Для этого стекловолокна в стекле очков направляются через оптическую маскировочную трубку (12), так чтобы волокна или закрепленные на них оконечные системы MEMS(МЭМС)–фильтров (10, 70) в стекле были невидимы со всех сторон (66). Так световоды могут проецировать (59) в глаз в растре непосредственно перед глазами в стекле.
С позиции носителя очков отдельные проекции сливаются в одно заполняющее поле зрения общее изображение (48) с высоким разрешением. Впечатление 3D возникает уже благодаря стереоскопическому разделению проекторов правым и левым стеклом. Тем не менее, для каждого глаза может создаваться голографическое изображение, на котором глаз может фокусироваться без перехода, от далекого до совсем близкого. Только так при взаимодействии с динамическим расчетом 3D–изображений соответственно движениям головы (гиросенсоры) и  при наложении соответствующей затемняющей LCD–маски (31, 67), к реальности добавляется идеальное голографическое изображение. Благодаря очень маленьким точкам (43) проекции стекловолокон они даже дают изображение, имеющее особенно большую глубину резкости, так что проектор должен настраивать фокус только для очень близких объектов. Также благодаря этому стекло очков никоим образом не является менее прозрачным, чем обычные очки (66). Напротив, некоторые волокна также параллельно или эксклюзивно применяются в качестве камеры (25, 53). Для каждого стекловолокна компьютер преобразует фрагмент изображения по индивидуальной матрице (23, 36) пропускания, которая была рассчитана ранее при калибровке (87) для каждого волокна (92) и каждой точки (102). ПМС (SLM - Spatial Light Modulator – пространственный модулятор света) (24) создает из нее световой фронт (39), который вводит (41) в стекловолокна не только точное распределение силы света, но и распределение сдвига фаз. Только благодаря этому превращению светового фронта, включая распределение фаз, одно отдельное многомодовое стекловолокно (42) может использоваться для каждого основного цвета в качестве светового канала и проектора (44). Для проецирования изображений описываются разные способы, которые используют только один ПМС (83) или несколько ПМС (76, 77) друг за другом, чтобы сэкономить издержки вычислений (78, 79). Один способ последовательно строится на генерированных компьютером голограммах, а также создании эффективных голографических градаций серого (голографический проектор). Второй способ последовательно строится на математическом применении разных матриц для пропускания и фокусирования (матричный проектор) и требует для этого особо оптимизированных ПМС, имеющих особое освещение для генерирования сдвигов фаз. ДР–приложения обычно отображают только небольшое количество объектов в широком поле обзора (46). Проектор динамически активирует только стекловолоконные проекторы, в которых и лежат объекты. Путем отслеживания глаз (Eye Tracking) (53) дополнительно с более высоким разрешением задействуются только фокусируемые в данный момент проекторы (47). То есть большинство точек проекции снабжаются только более низким разрешением (45), потому что человеческий способ видения, так или иначе, не воспринимает окружение с высоким разрешением. Из–за сильных движений (71) глазных яблок применяются по меньшей мере две параллельные интегральные плоскости растра отображения для проекций фокуса и окружающей среды, которые с помощью разных углов (74, 75) проекции позволяют получить разные плотности пикселей, и точно ограничиваются зрачком, чтобы не возникало мешающего отсвечивания в глаза. Только благодаря этому интенсивному снижению разрешения и работы, и интенсивному применению предварительно рассчитанных модульных дифракционных образцов или образцов изображений можно уже сегодня реализовать процесс отображения с помощью самых быстрых световых ПМС –процессоров и параллельных графических процессоров. С помощью целого ряда способов, прежде всего, с помощью слегка некогерентного лазерного света при проецировании, отфильтровывается мешающий эффект пятен. С помощью стекловолоконных MEMS–фильтров (10) в маскировочных трубках снижается количество стекловолоконных жгутов (8), благодаря чему увеличиваются толщина и разрешение стекловолокон. Производятся технические оптимизации на ПМС–чипах, которые делают возможной для ДР–очков более оптимальную голограмму или матричную проекцию. Путем освещения ПМС–чипов с помощью нескольких разных источников света, или целых осветительных голограмм, и с помощью наклоняемого в нескольких направлениях DMD–зеркала могут сильно оптимизироваться проекции для отдельных точек ввода. Так могут создаваться градации серого в пределах одного единственного цикла отображения для экстремально быстрых световых ПМС–процессоров. Тогда эти 24000–32000 циклов в секунду DMD–чипов могут для каждой отдельной проекции интегрального светового поля на один глаз (например, 150), и для каждого КЖС–компонента цвета и с частотой кадров 60 Гц последовательно во времени строить полное изображение. Однако на практике для нормальных ДР–приложений используется только намного меньшая область изображения.
В отношении более детальных подробностей и вариантов технологии ссылаемся немецкую заявку на патент № 10 2017 003 336.6, содержание которой путем ссылки включается в настоящую заявку на патент.
PV Точечный вариант (11)
Название этого варианта связано с крошечными верхушками стекловолокон, которые выдаются из оптической защиты ровно настолько, что они создают, собственно, только нечеткую тень. Если вершина стекловолокна целиком вдвигается в область защиты, больше ничего не видно. Привлекательным в этом варианте является тот воспринимаемый как волшебство эффект, что изображение появляется в стекле прямо–таки из ничего. Технически этот вариант особенно привлекателен, потому что он может полностью использовать предложенные возможности и степени свободы.
Эффект маскировочного колпачка:
техническим основанием является здесь эффект (66) маскировочного колпачка, который позволяет делать оптически невидимой менее плотную полость (64) в плотной оптической среде (68). Это достигается с помощью кольцеобразных слоев (69) сильно падающего показателя преломления вокруг полости, при этом окружающая оптическая среда должна начинаться с достаточно высокого показателя преломления (по меньшей мере 1,7), а последний слой в защищенной области имеет только лишь минимальный показатель преломления (максимум 1,5). При этом световые лучи идеальным образом направляются вокруг полости (66). Так как человек всегда интерпретирует свет как прямолинейный, полость не воспринимается.
Идеальным маскировочным элементом является соответствующая трубка (12), однако также более сложные пространства, такие как овал, идеально маскируются со всех сторон.
Особенно много стекловолокон:
для точечного варианта большое количество стекловолокон укладывается вокруг края очков и распределяется по растру точек проекции, заканчивающихся непосредственно в стекле очков (11). Чтобы попасть внутрь стекла, через стекло рядом друг с другом проводится несколько маскировочных трубок (12). Стекловолокна вдеваются в стеклянные трубки и совершают в маскировочной трубке изгиб с радиусом (64) изгиба прибл. в 1–2 мм и затем указывают через сверление в трубке точно в направлении зрачка (60). Стекловолокна имеют на конце оптику, которая в комбинации со свойствами маскировочной трубки излучает в направлении зрачка конус проекции. Эта система позволяет излучать проекции волокон точно в желаемом направлении (59).
Плотный растр проекторов по принципу близкой проекции светового поля становится взаимосвязанным изображением (48). Тога по технологии обрезки проекции (50, 51) из накладывающихся изображений получается идеально взаимосвязанное изображение.
Искривленная трубка и край:
маскировочные трубки приводятся в изогнутую форму, чтобы следовать изгибу стекла очков. Чтобы также защитить направляющий канал вокруг стекла, применяется та же сама технология маскировочной получаши (61).
Крепление дужек может осуществляться с помощью сверления между двумя трубками.
Больше плоскостей проекции:
важным условием для одного из вариантов дизайна является возможность размещения нескольких плоскостей проекции. Это требуется в связи с сильными движениями глаз для отображения окружающей среды и описывается ниже в одном из параграфов. Для этого может параллельно вводиться второй и третий растр, который позволяет получить разные углы проекции. Тогда блок проецирования, в зависимости от положения глаз, управляет тем, какая плоскость используется.
Применение МЭМС–технологии:
при прогрессивной реализации по МЭМС–технологии в маскировочных трубках размещается комплексная стержневая микросистема (10, 70), которая изготавливается методами МЭМС, Wafer–Level–Optics (. оптики на уровне пластины) и Nano–Optics Printing (нано–оптической печати), и которая сконструирована из световодов (14), имеющих отклоняющие зеркальные фильтры и проекционные оптики (16), а также управляющую электронику (13).
SV Штриховой вариант (2)
Название этого варианта связано с мелкими канавками между отдельными стеклянными элементами, которые, однако, на практике при склеивании не видны.
Переключаемое зеркало:
здесь технической основой является метод, который позволяет сделать слой между двумя стеклянными элементами зеркально–отражающим c высокой частотой, или по меньшей мере частично зеркально–отражающим (19). При этом размещенный на крае очков стекловолоконный проектор (18) может заставлять направлять свою проекцию на этой зеркальной поверхности (21) в направлении зрачка. С помощью нескольких таких переключаемых зеркал вместе и соответствующей схемы один отдельный проектор может последовательно создавать несколько изображений и из разных направлений. При этом один зеркальный слой распространяется по всей ширине стекла, так что несколько проекторов параллельно могут отображать изображения для координаты Y. Таким образом перед глазами строится растр светового поля из отдельных изображений. Возможными методами переключаемых зеркала являются:
SV6 нарушенное полное внутреннее отражение FTIR:
создается внутреннее полное отражение или только нарушенное внутреннее полное отражение  путем расширения зазора посредством пьезо–элемента, который образует зазор при расширении или вибрации;
SV8 электрохромное зеркало:
в качестве зеркала используется электрохромное зеркало (Electrochromic Mirror).
Варианты установки проектора
PA1:
вычислительный блок, в зависимости от степени миниатюризации, может быть выполнен непосредственно на очках (3) или в виде отдельного блока. Тогда соединение может осуществляться бескабельным или кабельным способом.
PA2:
проекторный и вычислительный блок может быть размещен в блоке за головой.
PA3:
проектор и/или вычислительный блок может размещаться в блоке в кармане или поясе на теле. Чисто вычислительный блок может также бескабельным способом удерживаться в сумке или просто в окружении пользователя дальностью максимум 10 метров.
Варианты обрезки проекции светового поля
Интегральное световое поле создает круглые проекции (50), которые пересекаются. Пересечения должны обрезаться при рендеринге изображений (clipping, отсечение) (51).
PB1:
с помощью Eye–Tracking (отслеживание глаз,  окулография) точно регистрируется направление взгляда и рассчитываются рамки отсечения.
PB2:
дополнительно камерой (53) с отслеживанием глаз регистрируется размер зрачка, и адаптируются рамки отсечения..
PB3:
плавные переходы: кромки отсечения отсекаются легко без переходов и плавно, так чтобы проекции сопрягались друг с другом с меньшим допуском.
Функции закрывающих масок
ДР–очки оснащены спереди затемняющим LCD–экраном (67) с высоким разрешением, который закрывает все поле зрения через стекла очков.
Закрытие фона для непрозрачных виртуальных объектов:
основной функцией затемнения является делать включенные виртуальные объекты при необходимости непрозрачными и вместе с тем перекрывающими реальность. Для этого для каждого виртуального объекта рассчитывается соответствующая маска.
Распознавание окружения и распознавание объектов
Применяются локальные KI–серверы для распознавания шаблонов. Окружение сканируется камерами (53) окружения, и все объекты с помощью нейронных сетей (Deep Learning – глубокое обучение), насколько это возможно, ставятся в соответствие известным логическими объектами. В вычислительном устройстве конструируется цифровой интерпретированный мир, к которому может получать доступ пользовательский интерфейс. Тогда пользовательский интерфейс может функционировать, соотносясь с объектом.
Варианты маскировочной оптики
Маскировочная оптика может вводиться в плотную стеклянную среду разным образом. Форма не обязательно должна представлять собой трубку, а может также принимать более сложные формы и, несмотря на это, последовательно маскировать, такие как:
TO1 Круглая форма:
маскировочный канал имеет идеальную цилиндрическую форму (12);
TO2 Овальная форма:
маскировочный канал имеет идеальную овальную форму;
TO3 Форма чаши:
на крае стекла маскировочная оптика имеет форму (61) чаши, которая может наполняться от края;
TO4: С изгибом:
формы дополнительно к их правильной форме в разной степени или одинаково изогнуты;
TO5 Цельные решетки:
формы выполнены в виде сеток или решеток, имеющих соответствующие ответвления или перекрещивания;
TO6: Закругления на ответвлениях:
резкие переходы на ответвлениях плавно закруглены.
Маскировочная функция создается за счет равномерного отклонения света, образуемое множеством разных слоев (69), имеющих уменьшающуюся оптическую плотность, вокруг полости. Эти характеристики изменения градиента могут быть выполнены по–разному:
GR1: Разные показатели преломления:
слои имеют разные и согласованные друг с другом показатели преломления.
GR2: Разные значения дисперсии:
слои имеют разные и согласованные друг с другом значения дисперсии для повышения оптической надежности защиты.
GR3: Очень толстые или тонкие слои:
слои выполнены достаточно тонкими или толстыми.
GR4 Неодинаково сильно уменьшающиеся:
плотность (показатель преломления) или толщина этих слоев уменьшается не равномерно, а экспоненциально или с изменяющейся быстротой.
GR5: Ступени или бесступенчато:
слои расположены ступенями друг относительно друга, или слои переходят друг в друга бесступенчато по их плотности.
Варианты перфораций маскировочной оптики
Для проецирования изнутри защиты наружу может быть необходимо прокалывание (Piercing, перфорация) маскировочной оболочки (69). Это может производиться разным образом:
TP1 Сверление:
в соответствующих местах и углах располагается сверление (69).
TP2 Глубина сверления:
с помощью глубины сверления настраивается правильное оптическое поведение.
TP3 Форма сверления:
с помощью формы сверления поведение изменяется. Форма может включать в себя шар, конус, щель, клин или иную форму.
TP4 Наполнение сверления:
сверленое отверстие наполняется другой оптической средой или закрывается.
TP5 Внутреннее сверление:
сверления создаются на промежуточной стадии построения слоев, закрываются, и построение продолжается. Так сверление действует только изнутри.
Маскировочная оптика слоистой конструкции и перфорационные отпечатки
Для получения маскировочной оптики, пригодной для массового производства, всегда слой за слоем строится цельная решетка вместе с рамкой. При этом всегда наносится отверждаемый УФ (ультрафиолетом) полимерный слой или другой материал, имеющий соответствующий показатель преломления. Теперь, чтобы произвести оптическую перфорацию в местах проекции маскировочных трубок, по технологии печати, на подобии каплеструйной (Bubblejet), на эти места напыляется другой полимер, имеющий другой показатель преломления. Он вытесняет ранее нанесенный в этой точке слой. После этого слой отверждается УФ, и производится следующий слой. При этом последовательность этапов и материал печати могут варьироваться.
PD1 Печать до нанесения слоя:
перед нанесением всего слоя наносится печать на перфорированные места. При этом материал печати может также представлять собой средство против растекания, которое препятствует входу покрытия на это место.
PD2 Печать после нанесения слоя:
печать осуществляется после нанесения всего слоя.
PD3 Печатается только примесное средство:
напыляется только вещество, изменяющее показатель преломления.
PD4 Печать до и после нанесения слоя:
производится комбинация печати до и после, которая также может содержать промежуточное отверждение слоя.
PD5 Дальнейшие корректирующие отпечатки:
для выполнения оптических корректировок печать наносится и на другие места на слоях, которые в ином случае могли бы мешать из–за перфорационных отпечатков.
Варианты маскировочных оптических вставок
Внутреннее устройство маскировочных трубок, в зависимости от технологического уровня, может быть выполнено различным образом. Основной задачей является правильное размещение и сберегающее световоды сгибание проекции. При более высоком технологическом уровне в них может также размещаться переключение и разветвление. Кроме того, могут закладываться системы проецирования, а также съемки.
TI1 Структура:
изготавливается более сложная удерживающая структура, в которой проводятся стекловолокна и установлены другие оптические элементы;
TI2: Оптическая вставка:
изготавливается узкий микрочип, имеющий генерированные с помощью Wafer Level–оптики волноводы, отклоняющие оптики и линзы, который точно генерирует желаемую точку проекции и который позволяет получить проводники на крае очков. Тогда на крае очков размещена узкая ИС, имеющая MЭМС–фильтры и оптики, которая производит распределение сигналов стекловолокон по этим проводникам.
TI3: МЭМС –плата (70):
применяется крайне узкий и длинный микрочип, который, наряду с электрическими переключательными схемами, включает в себя также много MЭМС–DMD–микрозеркал в качестве оптического фильтра, а также оптические проводники и линзы. Этот чип может изготавливаться в массовом порядке по технологии ИС, МЭМС (13) и Wafer Level–Optics (15) и дополняться полимерными оптическими нано–принтерами.
Описание и варианты плоскостей проекции
Проекция светового поля состоит из растра стекловолоконных проекторов, которые размещены в стекле очков относительно близко к глазу. Зрачок в глазном яблоке (58) находится относительно близко к стеклу очков и поэтому относительно сильно смещается при вращении относительно большого глазного яблока (71). Это сильное движение глаз происходит вправо/влево, а также вверх и вниз. То есть положение цели сильно зависимо от направления взгляда. Для обычного дисплея это не проблема, потому что нормальный экран отображает каждый пиксель с высоким углом просмотра. Свет экрана, даже когда он отражается от зеркальной поверхности на стекле очков, относительно сильно светит во всех направлениях и освещает всю область глаза.
В корне иное световое поле:
отдельные проекции светового поля, напротив, начиная от некоторой точки, как кинопроектор, излучают цельное изображение в направлении зрачка. Это в корне иной принцип попадания изображения в глаз. При этом имеется только ограниченный угол проекции (74).
Стекловолокно, в зависимости от толщины, переносит только ограниченно разрешенное изображение, которое затем на конце волокна доводится до желаемого угла выхода от 20° до 40° (74, 75).
Эти точки проекции становятся в человеческом глазу круглым изображением только из–за достаточно широкого зрачка. Угол выхода проекции определяет плотность разрешения изображения.
Чтобы получить как изображение с можно более высоким разрешением в фокусируемой в данный момент области, в световом поле в этом направлении проекторы должны давать проекцию с особенно малым углом (50). Чтобы получить изображение с низким разрешением в не фокусируемой области, в световом поле в этом направлении проекторы должны давать проекцию с широким углом (60), чтобы могли использоваться проекции для как можно более широких углов зрения зрачка.
Из–за этих иногда маленьких углов проекции световое поле должно точно согласовываться с движениями глаз глазного яблока.
Эти обстоятельства являются также основанием для необходимости параллельного применения по меньшей мере двух полных плоскостей поля проекции. Одна плоскость для фокусируемых областей (47), и одна для отображения остальной не фокусируемой окружающей среды (46).
Благодаря этой технологии фильтров по МЭМС –технологии, находящихся непосредственно на точках проекции, а также оптимальных световодов по методу Wafer–Level–Optics, количество применяемых точек проекции для разных разрешений не ограничено. Количество проводимых стекловолокон крайне снижается, и при этом жгут становится очень тонким. Отдельные волокна, напротив, могут получаться намного толще и могут давать более высокое разрешение.
Варианты снижения разрешения поля зрения
Теоретическое разрешение в пикселях для ДР–очков с высоким разрешением и покрывающих все поле зрения легко достигает 20–40 мегапикселей. Однако к счастью, проекция ДР–голограммы при практическом использовании в корне иная, чем классический проектор изображений или монитор.
AR 1 Только имеющиеся объекты:
при дополненной реальности почти никогда все поле обзора не мостится полностью виртуальными объектами. Чаще всего в реальность включаются только разъединенные объекты (46).
AR 2 Только фокусируемая HQ (англ. high quality, высокого качества) область:
вторым аспектом практической ДР является то обстоятельство, что человек всегда может смотреть только на одно место, а также только в нем с высоким разрешением и фокусированным образом воспринимает детали (47). Все остальное окружение воспринимается с гораздо более низким разрешением (45). Проектор ДР–голограмм, благодаря отслеживанию глаз, всегда точно знает, куда и на какую глубину направляется взгляд. При наличии этой информации проектору всегда нужно проецировать с самым высоким разрешением только совсем маленькую часть. Остальные проекторы могут просто иметь более низкое разрешение при гораздо меньшем количестве циклов изображений. Это еще раз дает огромную экономию частоты кадров. Виды снижения разрешения для окружающей среды могут иметь форму более низкой частоты кадров, разрешения в пикселях, глубины цвета и возможности фокусирования.
AR 3 Более низкая частота кадров в области фокусирования:
третьим аспектом является, что частота повторения фокусируемых относительно спокойных объектов должна быть намного ниже, чем быстро движущихся объектов. Человеческий глаз замечает мерцание только на периферии и достаточно медленный в фокусируемой области (47).
Технически частота повторения в фокусируемой области может, таким образом, уменьшаться, и при быстром движении разрешение может легко снижаться.
AR 4 Адаптация фокуса только в области фокуса:
возможность действительного фокусирования на объектах должна обеспечиваться только в области фокуса.
Матричные голо– и гибридные проекторы (35)
A1 Матричный проектор:
матрица TM преобразования создается не оптически с помощью голограммы преобразования, а применяется к изображению в компьютере чисто расчетным способом. ПМС используется общепринятым образом для размещения этого изображения перед концами стекловолокон. Благодаря этому уменьшается сложность генерируемых компьютером голограмм, и нужен только оптимизированный для этого ПМС, имеющий систему освещения (83).
B1 Гибридный проектор:
в качестве изображения используется обычный пиксельный растр используемого общепринятым образом SML. Однако для применения стекловолоконной матрицы преобразования вторая поверхность ПМС используется в качестве GGH, и при этом перед глазами проецируется истинная голограмма (76, 77). Это простейший вариант осуществления, который может реализовываться, потому что должно применяться только небольшое количество дополнительной вычислительной мощности и ноу–хау для GGH (генерируемой компьютером голографии) (78, 79).
B2 Гибридный проектор:
поступают, как при B1, однако не обходятся без фокусирования глаз на объектах. При этом второй ПМС преобразует не только TM для стекловолокон, но и дополнительно преобразует глубину отображения отдельных пикселей. Для этого берется информация из Z–буфера предварительного расчетного 2D–изображения.
C1 Голограммный проектор:
там, где в вариантах B еще традиционными OpenGL (Open Graphics Library, англ. открытая графическая библиотека)–методами непосредственно рассчитывается изображение из пикселей, расчеты изображений вариантов C могут непосредственно из моделей создавать голографические данные, то есть шаблоны интерференции, которые затем передаются на ПМС. Только после облучения ПМС соответственно модулированными КЖС–компонентами цвета лазерами возникает вводимый световой фронт. Может использоваться один единственный ПМС (82) для выполнения воспроизведения изображения и преобразования стекловолокна в одном этапе. Однако для этого должны с высокой частотой либо умножаться преобразования, либо рассчитываться голограмма (84).
Источники света и уменьшение пятен
E1 Пониженная когерентность:
лазерный источник света в еще приемлемой для голографического метода мере смешанным образом модулируется по одному или нескольким разным аспектам.
1. Так, модулируется длина световой волны в соответственно ограниченном смешанном спектре.
2. Фазы равномерно смешиваются по их сдвигу (Moving Diffusers (англ. подвижные диффузоры) или многомодовое волокно).
3. Угол лучей друг относительно друга (параллельность) смешивается в соответственно ограниченном диапазоне.
Эти модуляции могут достигаться с помощью подвижных диффузоров, изгибных пьезо–датчиков, акустооптических модуляторов или пассивного пропускания через многомодовые стекловолокна.
E3 Проход через стекловолокно:
отличающий систему проход фронта волны через многомодовое стекловолокно до места перед зрачком вызывает когерентность смешения фаз, которая очень сильно подавляет образование пятен.
E4 Постоянное варьирование голограммы:
если используется способ генерирования шаблона изгиба для содержания изображения, который делает возможными несколько путей создания одного и того же результата, то для создания изображений могут постоянно использоваться другие варианты шаблона. Генератор случайных чисел может всегда выбирать следующий вариант. Шаблоны пятен всегда появлялись бы только в одном цикле, в то время как желаемые изображения при каждом цикле оставались бы.
E5 Пьезо–сдвиг:
с помощью вибрирующего пьезо–зеркала или диффузора снижается когерентность.
Поле расщепления, описание и варианты
ДР–очки базируются на плотном растре точек проекции стекловолокон, которые размещены близко перед глазами. Чем больше активное поле зрения максимально целесообразных 220 градусов горизонтально, и чем выше необходимое для этого виртуальное разрешение точек, тем больше применяется концов стекловолокон. Однако из этих стекловолокон, в зависимости от количества применяемых ПМС –проекторов, и в зависимости от применяемого голографического параллельного использования проекторов, только небольшое количество (2–32) применяются параллельно. То есть эти стекловолокна должны отбираться с высокой частотой. Абстрактной базой для этого является оптический фильтр, и в итоге применяется смесь разных видов фильтров.
Поле ввода как первая ступень фильтра:
у ДР–очков поле (28) ввода, наряду с процессом ввода изображений в концы волокон, выполняет также функцию отбора концов волокон. Причем этот отбор при голографическом проецировании учитывается уже при расчете изображения, и поэтому очень эффективен, однако глубоко интегрирован в методы расчета. Однако поле (28) ввода из–за наибольшей возможной оптики для каждого волокна ограничено по количеству отбираемых волокон.
Вторая ступень фильтра:
стекловолокна из поля ввода на пути к точкам выхода проекций могут разным образом разветвляться, чтобы приходить к конечному количеству необходимых проекций. Это может происходить с помощью отдельных фильтров и древовидной структуры. Однако могут также применяться фильтры, имеющие несколько разветвлений.
Активный фильтр:
наилучшими являются активные фильтры, которые полностью ответвляют световой поток. Но некоторые технологии создают едва лишь 100%, при этом остаточный свет либо приемлем, либо должен блокироваться дополнительным запорным слоем.
МЭМС –технология:
при МЭМС –технологии создания схема может еще оптимизироваться таким образом, что может также сильно снижаться количество проложенных волокон. Это достигается за счет того, что фильтры прокладываются, немного не доходя до точек выхода.
Фильтр и угол:
благодаря особенно малой конструктивной форме МЭМС или микрооптики, непосредственно на маскировочных трубках может производиться комбинация из активного фильтра и отклонения на 90 градусов (16). При этом одним выстрелом убиваются два зайца, потому что отклонение на 90 градусов тоже является критической точкой. Благодаря интенсивной экономии стекловолоконных проводников, волокна могут получаться намного толще и при этом проводить изображения с намного более высоким разрешением.
Комбинация волокон окружающей среды и фокуса:
при интенсивном складывании стекловолокон вместе существует также возможность складывания вместе волокон для окружающей среды и фокуса. Типы проекторов отличаются, в частности, только оптикой ввода и оптикой выхода. Более затратная оптика ввода для проекторов фокуса может при этом также использоваться для более простых проекторов окружающей среды.
Объединение волокон:
для объединения волокон проекторов фокуса и окружающей среды эти два стекловолокна могут также сходиться в одно.
Технологии фильтров:
могут использоваться разные физические методы фильтрации:
WT1 Пьезо–актуаторы:
оптики физически смещаются друг относительно друга. Так целые поля могут смещаться на большое расстояние с помощью пьезо–актуаторов.
WT2 FLCD
(Ferroelectric Liquid Crystal Display, сегнетоэлектрический жидкокристаллический экран): отбор может производиться путем простого открытия и закрытия FLCD–диафрагм (27).
WT3 FTIR:
настраиваемое нарушенное или полное внутреннее общее отражение FTIR.
WT4 Электрохромное зеркало:
включение с помощью электрохромных слоев.
WT5 МЭМС:
микромеханическое вращение, опускание и смещение зеркала или других элементов.
WT6 DMD:
наклон DMD–зеркал (16) как одного целого поля или как одного большого зеркала.
Деревья фильтров:
путем комбинирования нескольких систем фильтров могут реализовываться много разветвлений.
WB1 Каскадный фильтр:
один тип фильтра может включаться последовательно много раз, чтобы иметь много ответвлений на одном жгуте (10). Это особенно эффективно, когда этот тип фильтра может особенно эффективно проводить сигналы на конце фильтра.
WB2: Разветвление дерева:
все концы фильтров дополнительно разветвляются.
Особые формы фильтров во вставке маскировочной трубки
ДР–очки позволяют в каскаде последних фильтров устанавливать на маскировочные трубки вставки, которые изготавливаются по технологии МЭМС и/или Wafer Level Optics (10). Проекционные оптики могут дополнительно, например, дополняться градиентными полимерными нано–принтерами на базе УФ–отверждения. Фильтр может одновременно совершать вращение прибл. на 90 градусов. Для этого предпочтительны следующие варианты дизайна:
DMD–зеркало, имеющее оптики вывода и повторного ввода:
функция фильтра выполняется одним большим или растром DMD–зеркал. Причем эти зеркала могут наклоняться в разные положения. Одно отдельное зеркало может при этом иметь форму фокусирующей чаши, или зеркальная матрица тоже создавать желаемое фокусирование.
В зависимости от направления наклона, может получаться другое фокусирование.
Вывод может использоваться непосредственно при фокусировании, или другой оптикой в качестве окончательной проекции. Управление зеркалами не должно осуществляться индивидуально, а только для всех вместе.
Фронт волны при передаче снова направляется в оптику ввода.
При расширении и большем размере волноводов в системе фронт волны может распределяться с меньшей крутизной. Фронт волны может направляться на DMD–зеркала с помощью крутого зеркала полного отражения. Выведенный фронт волны, напротив, из–за более крутого угла может проходить сквозь зеркало.
Утонченные вершины стекловолокон
Концы стекловолокон могут с помощью оптических полимерных нано–принтеров снабжаться тонкой линзовой оптикой. Принтеры могут также печатать градиентные оптики и расширять и выполнять отверстие волокон так, чтобы не нарушался комплексный поток световой волны, и таким образом повышалась ограниченная размером отверстия разрешающая способность всей системы. При этом нет необходимости следить конкретно за сохранением геометрии всей системы, так как геометрия воссоздается матрицей преобразования.
Голографически оптимизированные FLCOS– и DMD–системы
Известные SML–системы  были первично разработаны для проецирования обычных видео. Они могут также хорошо использоваться для GGH–приложений. Тем не менее, для ДР–очков следовало бы оптимизировать ПМС–систему для GGH–приложения и для ввода в стекловолокна, так как используется только одна единственная перспектива фронта волны, а остаток, в отличие от обычных проекторов, нерелевантен.
KF2 Комплексно модулирующий FLCOS ПМС
Чтобы достичь одной из независимо настраиваемых амплитудных и фазовых модуляций, применяются два толстых FLCD–слоя, которые могут вращать поляризацию каждый в противоположном направлении. Так чистая фазовая модуляция может достигаться с помощью активирования двух слоев с одинаковой силой. При этом поляризация света сначала вращается в одном направлении, и затем может вращаться точно снова назад. При этом поляризация в конце остается одинаковой. Только показатель преломления двух слоев, и вместе с тем сдвиг фаз изменяется в зависимости от силы активирования.
При этом активирование двух слоев с разной силой создает дополнительно вращение поляризации и вместе с тем амплитудную модуляцию.
KD2 Разные источники света
При использовании разных источников света из разных направлений при соответствующем комбинировании источников света могут генерироваться много разных сил амплитуды.
Разные источники света могут также давать разные сдвиги фаз, чтобы генерировать шаблоны ввода, имеющие разные фазы.
KD3 Модулирующий бинарные фазы МЭМС ПМС
Один из упрощенных вариантов позволяет включать микрозеркало только между двумя положениями сдвига фаз, такими как 0 и π, используемой длины волны. В качестве третьего состояния зеркало может также откидываться целиком, чтобы дополнительно выполнять функцию бинарного амплитудного модулятора.
CM1: Микрозеркала с наклоном в нескольких направлениях :
зеркала могут наклоняться не только в двух направлениях, но и в большем количестве направлений, чтобы выхватывать из светового фронта освещения еще больше разных фаз или амплитуд.