ОТОБРАЖЕНИЕ ТЕНЕЙ С ПОМОЩЬЮ ПРОЗРАЧНОГО УСТРОЙСТВА ОТОБРАЖЕНИЯ
DISPLAY OF THE SHADOWS BY A TRANSPARENT DISPLAY DEVICE

Уровень техники
Различные технологии могут позволить пользователю испытывать действие сочетания реального и виртуального миров. Например, некоторые устройства отображения, такие как различные головные (устанавливаемые на голове) устройства отображения, могут содержать прозрачные устройства отображения, которые позволяют накладывать отображаемое изображение на фон реального мира. Тем самым изображения могут отображаться так, чтобы они казались объединенными с элементами на фоне реального мира.
Сущность изобретения
Раскрыты различные варианты осуществления, которые относятся к представлению изображений теней, отбрасываемых на фоне реального мира виртуальными объектами, отображенными в прозрачной системе отображения. Например, один раскрытый вариант осуществления обеспечивает способ функционирования устройства отображения, имеющего прозрачный экран отображения. Способ содержит этапы, на которых отображают на прозрачном экране отображения изображение объекта, и при отображении изображения объекта отображают изображение тени, отбрасываемой объектом на задний план. Изображение тени отображается посредством получения изображения заднего плана, определения местоположения тени на изображении заднего плана, воспроизведения улучшенного изображения заднего плана за счет увеличения относительной яркости в области рядом с тенью по сравнению с яркостью в пределах тени и отображения улучшенного изображения заднего плана.
Данный раздел обеспечен для представления выбора понятий в упрощенной форме, которые дополнительно описываются ниже в разделе «Подробное Описание». Данный раздел не предназначен для идентификации ключевых признаков или существенных признаков заявленного изобретения, а также не предназначен для использования, чтобы ограничивать объем заявленного изобретения. Более того, заявленное изобретение не ограничено реализациями, которые устраняют любой или все недостатки, отмеченные в любой части данного документа.
Краткое описание чертежей
Фиг. 1 показывает вариант осуществления прозрачной системы отображения, которую носит пользователь в примерной среде использования.
Фиг. 2 показывает вид в перспективе, наблюдаемый пользователем с фиг. 1, просматривающим варианты осуществления объекта и изображения тени, отбрасываемой объектом на заднем плане, в среде использования с фиг. 1.
Фиг. 3 показывает блок-схему последовательности операций, представляющую вариант осуществления способа функционирования прозрачной системы отображения.
Фиг. 4 показывает блок-схему варианта осуществления прозрачной системы отображения.
Фиг. 5 показывает вид в перспективе варианта осуществления с фиг. 1.
Подробное описание
Как упомянуто выше, прозрачные устройства отображения могут обеспечить представление отображаемого изображения на фоне реального мира, так что объекты на отображаемых изображениях могут казаться объединенными с фоном реального мира. Однако, различные аспекты такого представления изображения могут делать отображаемые объекты менее реалистичными. Например, тени, отбрасываемые объектами реального мира, могут заметно отсутствовать у объектов, отображаемых на устройстве отображения.
Формирование изображений теней виртуальных объектов на фоне реального мира может представлять различные трудности. Например, в том месте, где изображения формируются на прозрачном экране отображения через проекцию или посредством технологии встроенного излучающего устройства отображения (например, прозрачного органического светоизлучающего устройства), отображаемые изображения добавляют дополнительный свет к виду, просматриваемому пользователем. В то же время тень создается посредством удаления света из вида. Поскольку такие технологии не позволяют удалять свет из заднего плана реального мира, отображение тени, отбрасываемой виртуальным объектом на фоне реального мира, может представлять трудности.
Соответственно, раскрытые варианты осуществления направлены на формирование тени на заднем плане в прозрачном устройстве отображения путем увеличения относительной яркости бестеневых областей заднего плана, просматриваемого пользователем. Говоря вкратце, получают опорное изображение заднего плана, по возможности, глобально снижают его яркость, а затем повторно воспроизводят таким образом, чтобы сформировать улучшенное изображение заднего плана, на котором бестеневые области фонового изображения имеют большую относительную яркость, чем теневые области. Улучшенное изображение заднего плана далее отображается пользователю на фоне реального мира вместе с изображением виртуального объекта, от которого, как кажется, возникает изображение тени. Отображение улучшенного изображения заднего плана на фоне реального мира эффективно добавляет свет к требуемым бестеневым частям заднего плана реального мира, воспринимаемого пользователем. Это может создать эффект изображения тени, отбрасываемой отображаемым виртуальным объектом на объекты реального мира на заднем плане.
В некоторых вариантах осуществления увеличение яркости бестеневых областей улучшенного изображения заднего плана по сравнению с теневыми областями улучшенного изображения заднего плана может быть глобальным в такой степени, что все бестеневые области относительно увеличиваются по сравнению с теневыми областями. В других вариантах осуществления увеличение яркости может быть локальным относительно областей рядом с каждой тенью. Кроме того, для устранения эффекта добавленного света улучшенного изображения заднего плана в некоторых вариантах осуществления прозрачный экран отображения может содержать оптические средства, такие как нейтральный фильтр, для снижения количества фонового света, проходящего через прозрачный экран.
Фиг. 1 иллюстрирует среду использования для варианта осуществления прозрачного устройства 100 отображения в форме головной системы отображения. Пользователь 102, носящий прозрачное устройство 100 отображения, расположен в комнате и показан обращенным к стене 104. С целью ясности никакие физические объекты не показаны на полу 106 или на стене 104 комнаты в пределах поля зрения пользователя. Тем не менее, должно быть понятно, что прозрачное устройство 100 отображения может использоваться в практически любой среде, внутри помещения или вне помещения.
Фиг. 2, показанная из вида в перспективе, наблюдаемого пользователем 102, иллюстрирует изображение объекта 200 в виде волшебника, отображаемого на прозрачном устройстве 100 отображения, так что объект 200 оказывается расположенным в пустой среде просмотра с фиг. 1. Кроме того, изображение тени 202, отбрасываемой объектом 200, показано, как будто она отбрасывается на фон реального мира. В проиллюстрированном варианте осуществления тень следует за контуром пола 106 и стены 104 таким же образом, как и реальная тень. Тем не менее, другие варианты осуществления могут предусматривать различные изменения в контуре поверхности фона другими способами. Должно быть понятно, что тень может иметь любой подходящий размер, форму, интенсивность и направление в зависимости от типа и местоположения виртуального(ых) источника(ов) света, используемого(ых) для вычисления внешнего вида тени.
Как упомянуто выше, изображение тени 202 может быть сформировано воспроизведением изображения заднего плана на реальном заднем плане таким образом, чтобы относительная яркость бестеневых областей была увеличена по сравнению с теневыми областями изображения заднего плана. Фиг. 3 показывает блок-схему, иллюстрирующую пример варианта осуществления способа 300 отображения изображений теней таким образом.
Способ 300 содержит на этапе 302 отображение изображения объекта на прозрачном экране отображения и на этапе 304 - получение опорного изображения заднего плана, который находится в пределах поля зрения пользователя прозрачного устройства отображения. Опорное изображение заднего плана может обрабатываться различными способами для формирования улучшенного изображения заднего плана. Например, на этапе 305 способ 300 содержит определение на заднем плане местоположения тени, сформированной отображаемым объектом. Местоположение тени может быть определено любым подходящим способом, в том числе (но без ограничения) через традиционные методики формирования теней в реальном времени, используемым в компьютерной графике. Должно быть понятно, что местоположение и внешний вид тени могут зависеть от типа (например, параллельные лучи, рассеянный свет и т.д.) и местоположения (например, над головой, под наклоном и т.д.) виртуального источника света или виртуальных источников света, применяемых при определении местоположения тени, а также от использованного определенного способа формирования тени.
Как упомянуто выше, местоположение тени на фоновом изображении может зависеть от структуры среды использования. Например, тень может изменять направление и/или форму в зависимости от формы и ориентации поверхностей в среде использования, на которые должна отбрасываться тень. Следовательно, в некоторых вариантах осуществления обработка изображения может выполняться для определения изменений контура поверхности, которые могут влиять на внешний вид тени, и такие изменения контура могут затем учитываться при определении местоположения тени.
После определения местоположения тени способ 300 содержит на этапе 308 воспроизведение улучшенного изображения заднего плана путем увеличения относительной яркости заднего плана в бестеневой области рядом с теневой областью по сравнению с яркостью в теневой области. Это может предусматривать различные процессы. Например, в некоторых вариантах осуществления все изображение заднего плана сначала может быть затемнено для формирования базового изображения, а затем яркость требуемых бестеневых областей может быть избирательно увеличена относительно теневых областей. В качестве альтернативы и/или дополнения требуемые теневые области могут быть избирательно затемнены относительно бестеневых областей. Должно быть понятно, что такое предварительное затемнение исходного изображения заднего фона может быть исключено, если потребуется, например, в среде использования со слабым освещением. Также должно быть понятно, что степень, с которой исходное изображение заднего плана затемняется, может быть фиксированной или изменяемой и может выбираться или изменяться на основании таких факторов, как количество фонового света, которое удаляется нейтральным фильтром, интенсивность фонового света в реальной или ожидаемой среде использования и т.д.
В некоторых вариантах осуществления, как указано на этапе 310, относительная яркость бестеневой области изображения может быть увеличена глобально таким образом, чтобы относительная яркость всех бестеневых областей улучшенного изображения заднего плана была увеличена относительно всех теневых областей. В других вариантах осуществления, как указано на этапе 312, относительная яркость бестеневых областей может быть увеличена локально. В таких вариантах осуществления дифференциал относительной яркости может иметь максимум, расположенный на или около теневой/бестеневой границы, и уменьшаться от максимума как функция расстояния от теневой области. Использование в достаточной степени плавного градиента яркости, в качестве неограничительного примера, под угловым видом 20 градусов, может помочь сделать яркое пятно вокруг тени менее заметным вследствие меньшей чувствительности человеческой зрительной системы к постепенному изменению света. Должно быть понятно, что такие градиенты яркости могут быть более заметными, когда они пересекают край, например, между разными цветами, текстурами и т.д. на фоновом изображении, вследствие чувствительности человеческого глаза к изменениям яркости в пределах узких диапазонов. Следовательно, как указано на этапе 314, увеличение относительной яркости бестеневой области рядом с теневой областью может завершиться резким градиентом (например, который превышает заранее выбранный пороговый градиент) на фоновом изображении.
В случае, когда относительная яркость бестеневых областей увеличена глобально, добавление улучшенного изображения заднего плана на фон реального мира может приводить к заметному увеличению яркости при некоторых обстоятельствах. Чтобы избежать нежелательного увеличения яркости, вышеупомянутый нейтральный фильтр и/или другие подходящие оптические средства могут быть использованы для снижения общей яркости изображения, которая достигает глаза пользователя, посредством блокировки некоторого фонового света. В вариантах осуществления, в которых относительная яркость увеличена локально, можно не использовать нейтральный фильтр, так как области с увеличенной яркостью могут не влиять заметно на общую яркость изображения, просматриваемого пользователем.
Яркость бестеневой области может быть увеличена на любую подходящую относительную величину по сравнению с яркостью теневой области. Следует отметить, что тени реального мира в целом не являются абсолютно черными и могут вместо этого иметь относительно небольшое уменьшение интенсивности по сравнению с соседними бестеневыми областями вследствие отраженного света и других окружающих источников света. Следовательно, в некоторых вариантах осуществления дифференциал относительной яркости между теневыми и бестеневыми областями может быть относительно трудноразличимым. Примеры подходящих разностей яркости включают в себя (без ограничения) разности 2-3 ступеней (stops).
Окружающий фоновый свет может иметь разное цветовое распределение в зависимости от источника окружающего света в среде просмотра. Например, внутренний окружающий свет может иметь спектр с максимумами, соответствующими максимальным длинам волн источников света, используемых в этой внутренней среде. Аналогичным образом, разные внешние местоположения могут иметь разные цветовые распределения окружающего света вследствие изменений, вызываемых окружающей средой. Например, окружающий свет в пустынной среде в солнечный день может иметь большую синюю компоненту, нежели солнечный свет, вследствие распределения длин волн отраженного света в таких средах.
Следовательно, чтобы сделать более естественным увеличение относительной интенсивности яркости, способ 300 может содержать на этапе 316 выполнение цветового анализа для определения цветового распределения в окружающем свете (например, интенсивность в зависимости от длины волны) и увеличение относительной яркости на основании распределения интенсивностей цвета. Например, если цветовой анализ показывает, что окружающий свет имеет относительно равномерное распределение интенсивностей цвета, то интенсивность бестеневых областей может быть увеличена посредством добавления белого света к бестеневым областям. Аналогичным образом, если цветовой анализ показывает, что окружающий свет имеет преимущественно синее распределение, то подобный синий свет может быть добавлен к бестеневым областям улучшенного изображения заднего плана.
Продолжая с фиг. 3, после формирования улучшенного изображения заднего плана способ 300 содержит на этапе 318 отображение улучшенного изображения заднего плана вместе с изображением объекта на прозрачном устройстве отображения. Таким образом, тень на улучшенном изображении заднего плана может казаться отбрасываемой отображаемым объектом на фоне реального мира. Это может помочь обеспечить перспективу глубины для объекта, что может помочь передать чувство, что отображаемый объект действительно существует в среде использования.
В зависимости от скорости обработки прозрачного устройства отображения и частоты, с которой пользователь изменяет вид в перспективе в среде, вид в перспективе, наблюдаемый пользователем, может изменяться достаточно быстро, так что улучшенное изображение заднего плана может не соответствовать в достаточной степени текущему воспринимаемому фону. Следовательно, в некоторых вариантах осуществления прозрачное устройство отображения может быть выполнено с возможностью отслеживания движений пользователя и в ответ на них корректировки любого несоответствия между улучшенным изображением заднего плана и воспринимаемым в настоящий момент фоном реального мира. Такая корректировка может выполняться, например, посредством позиционного смещения улучшенного изображения заднего плана на основании отслеживаемых движений пользователя в течение периода между получением исходного изображения и отображением улучшенного изображения заднего плана. Такое отслеживание может выполняться любым подходящим образом, в том числе (но без ограничения) посредством датчиков движения, размещенных на прозрачном устройстве отображения.
Вышеописанные варианты осуществления способов отображения теней на прозрачном устройстве отображения могут использоваться с любым подходящим прозрачным устройством отображения, в том числе (но без ограничения) с головной системой отображения с фиг. 1. Фиг. 4 показывает блок-схему варианта осуществления прозрачного устройства 100 отображения, и фиг. 5 показывает пример физического варианта осуществления прозрачного устройства 100 отображения. Прозрачное устройство 100 отображения может содержать различные датчики и устройства вывода. Например, прозрачное устройство 100 отображения может содержать прозрачную подсистему 400 отображения, имеющую систему 402 создания изображений, выполненную с возможностью создания изображений и отображения изображений на прозрачном экране 403 отображения, например, в виде линз. Система 402 создания изображений может быть выполнена с возможностью проекции изображений на прозрачный экран 403 отображения, отображения изображений через элементы создания изображений, включенные в прозрачный экран 403 отображения (например, прозрачное OLED устройство отображения), или любым другим подходящим образом. Прозрачный экран 403 отображения может содержать нейтральный фильтр 404 и/или другие оптические средства для снижения количества фонового света, который достигает наблюдателя. Аудио может предоставляться через один или более динамиков 405 в прозрачном устройстве 100 отображения.
Прозрачное устройство 100 отображения может дополнительно содержать один или более датчиков 406 изображения. Датчик (датчики) 406 изображения может (могут) включать в себя один или более обращенных наружу датчиков изображения, выполненных с возможностью получения изображения заднего плана для преобразования в улучшенное изображение заднего плана. Аналогичным образом, датчик (датчики) 406 изображения может (могут) включать в себя отслеживающие движение глаза датчики изображения, выполненные с возможностью получения данных изображения, чтобы позволить отслеживать глазные яблоки наблюдателя для различных целей, например, определения, где расположены объекты на отображаемом изображении, обнаружения пользовательских вводов, сделанных через жесты глазами, и т.д. Прозрачное устройство 100 отображения может дополнительно содержать один или более микрофонов 407, чтобы позволить использовать голосовые команды в качестве пользовательских вводов.
Прозрачное устройство 100 отображения может дополнительно содержать один или более датчиков 408 движения для обнаружения перемещений руки наблюдателя, когда наблюдатель носит прозрачное устройство 100 отображения. Это может обеспечить, например, соответствие улучшенного изображения заднего плана с текущим фоновым видом. Аналогичным образом, датчики 408 движения могут также применяться в качестве пользовательских устройств ввода, так что пользователь может взаимодействовать с прозрачным устройством 100 отображения через жесты шеи и головы или даже тела. Датчики 408 движения могут быть выполнены с возможностью обнаружения любых подходящих перемещений пользовательской головы, в том числе поступательного и/или наклонного движения. Должно быть понятно, что датчики, проиллюстрированные на фиг.4, показаны с целью примера и не предназначены для ограничения каким-либо образом, так как могут быть использованы любые другие подходящие датчики и/или комбинация датчиков.
Головная система 110 отображения может иметь любую подходящую физическую форму. Например, в некоторых вариантах осуществления головная система 110 отображения может принимать форму очков, как показано на фиг. 5, причем линзы могут быть прозрачными или затемненными посредством нейтрального фильтра или других подходящих оптических средств. На фиг. 5 обращенный наружу датчик 406 изображения показан расположенным в верхнем центральном местоположении на оправе очков, но должно быть понятно, что датчик 406 изображения может иметь любое другое подходящее местоположение. Кроме того, должно быть понятно, что в других вариантах осуществления головная система 110 отображения может принимать любую другую подходящую форму, такую как шлем, защитные очки и т.д., в которой прозрачная система отображения устанавливается перед глазом или глазами наблюдателя.
Возвращаясь к фиг. 4, прозрачное устройство 100 отображения дополнительно содержит контроллер 410, имеющий логическую подсистему 412 и подсистему 414 хранения данных, осуществляющие связь с различными другими компонентами прозрачного устройства 100 отображения. В подсистеме 414 хранения данных хранятся инструкции, которые исполняются логической подсистемой 412, например, для отображения изображений объектов и теней, сформированных объектом на прозрачном экране 403 отображения, как описано выше.
Должно быть понятно, что контроллер 410 показан в упрощенной форме. Также должно быть понятно, что прозрачное устройство 100 отображения может использовать любую подходящую компьютерную архитектуру, которая может использоваться без отступления от объема данного изобретения.
Логическая подсистема 412 может включать в себя один или более физических устройств, выполненных с возможностью исполнения одной или более инструкций. Например, логическая подсистема 412 может быть выполнена с возможностью исполнения одной или более инструкций, которые составляют часть одного или более приложений, служб, программ, методов, библиотек, объектов, компонентов, структур данных или других логических структур. Такие инструкции могут быть реализованы для выполнения задачи, реализации типа данных, преобразования состояния одного или более устройств или достижения требуемого результата иным способом.
Логическая подсистема 412 может включать в себя один или более процессоров, которые выполнены с возможностью исполнения программных инструкций. В качестве дополнения или альтернативы логическая подсистема 412 может включать в себя один или более аппаратных или программно-аппаратных логических механизмов, выполненных с возможностью исполнения аппаратных или программно-аппаратных инструкций. Процессоры логической подсистемы 412 могут быть одноядерными или многоядерными, и программы, исполняемые на них, могут быть сконфигурированы для параллельной или распределенной обработки. Логическая подсистема 412 может, если потребуется, включать в себя отдельные компоненты, которые распределены по двум или более устройствам, которые могут быть удалено расположены и/или сконфигурированы для совместной обработки. Один или более аспектов логической подсистемы 412 могут быть виртуализированы и исполнены сетевыми вычислительными устройствами с удаленным доступом, выполненными в облачной вычислительной конфигурации.
Подсистема 414 хранения данных может включать в себя один или более физических постоянных устройств, выполненных с возможностью хранения данных и/или инструкций, исполняемых логической подсистемой для реализации описанных в данном документе способов и процессов. Когда такие способы и процессы реализованы, состояние подсистемы 414 хранения данных может быть преобразовано (например, для хранения разных данных).
Подсистема 414 хранения данных может включать в себя съемные носители и/или встроенные устройства. Подсистема 414 хранения данных может включать в себя память и/или устройства с одной или более следующими характеристиками: энергозависимые, энергонезависимые, динамические, статические, считываемые/записываемые, доступные только для чтения, с произвольным доступом, с последовательным доступом, с адресацией по местоположению, с адресацией по файлу и с адресацией по содержимому. В некоторых вариантах осуществления логическая подсистема 412 и подсистема 414 хранения данных могут быть объединены в одном или более общих устройствах, например, специализированной интегральной схеме или однокристальной системе.
Подсистема хранения данных может дополнительно содержать съемные считываемые компьютером запоминающие носители 416, которые могут использоваться для хранения и/или передачи данных и/или инструкций, исполняемых для реализации описанных в данном документе способов и процессов. Съемные считываемые компьютером запоминающие носители 416 могут представлять собой любой подходящий тип запоминающих носителей, включая в том числе (но без ограничения) DVD, CD, HD-DVD, диски Blu-Ray, EEPROM, накопители на ленте и/или гибкие магнитные диски.
Контроллер 410 может дополнительно содержать подсистему 418 связи, выполненную с возможностью соединять с возможностью связи прозрачное устройство 100 отображения с одним или более другими вычислительными устройствами. Подсистема 418 связи может включать в себя проводные и/или беспроводные устройства связи, совместимые с одним или более разными протоколами связи. В качестве неограничительных примеров подсистема 418 связи может быть выполнена с возможностью осуществления связи через беспроводную телефонную сеть, беспроводную локальную сеть, проводную локальную сеть, беспроводную глобальную сеть, проводную глобальную сеть и т.д. В некоторых вариантах осуществления подсистема 418 связи может позволить прозрачному устройству 100 отображения отправлять и/или принимать данные, такие как видеоданные, игровые данные, данные изображения и т.д., на и/или от других устройств через сеть, такую как Интернет.
Должно быть очевидным, что подсистема 414 хранения данных включает в себя один или более физических постоянных устройств. В то же время, в некоторых вариантах осуществления аспекты описанных в данном документе инструкций могут распространяться временным образом посредством свободного сигнала (например, электромагнитного сигнала, оптического сигнала и т.д.), который не сохраняется физическим устройством по меньшей мере в течение ограниченной продолжительности времени. Кроме того, данные и/или другие формы информации, относящейся к настоящему изобретению, могут распространяться посредством свободного сигнала.
Должно быть понятно, что описанные в данном документе конфигурации и/или подходы являются примерными по характеру и что эти конкретные варианты осуществления или примеры не должны рассматриваться в ограничивающем смысле, поскольку возможны многочисленные изменения. Описанные в данном документе конкретные методы и способы могут представлять собой одну или более из любого числа стратегий обработки. Различные проиллюстрированные действия, как таковые, могут выполняться в проиллюстрированной последовательности, в других последовательностях, параллельно или могут быть в некоторых случаях исключены. Аналогичным образом, порядок вышеописанных процессов может быть изменен.
Изобретение, согласно настоящему документу, включает в себя все новые и неочевидные комбинации или подкомбинации различных процессов, систем и конфигураций и другие признаки, функции, действия и/или свойства, раскрытые в данном документе, а также любые и все их эквиваленты.