ОПРЕДЕЛЕНИЕ ПОЗИЦИИ ОБЪЕКТА ПУТЕМ ВОСПРИЯТИЯ ПОЗИЦИОННОГО ШАБЛОНА С ПОМОЩЬЮ ОПТИЧЕСКОГО ДАТЧИКА
POSITION DETERMINATION FOR AN OBJECT BY MEANS OF THE SENSING OF A POSITION PATTERN BY AN OPTICAL SENSOR

Настоящее изобретение относится к устройствам для определения позиции (физического) объекта и к устройствам обработки изображений и устройствам оптического датчика, возможно, используемым для этого. Кроме того, настоящее изобретение относится к способу определения позиции объекта. В частности, настоящее изобретение относится к определению позиции объекта на экране или области отображения или по отношению к нему/ней.
Определение позиции физического объекта можно применять в контексте пользовательских интерфейсов для обеспечения отслеживания и/или визуализации фактической физической позиции физического объекта, например, с помощью программного обеспечения, выполняющегося на компьютере. Существуют, например, так называемые материальные пользовательские интерфейсы (TUI). Для подобласти области применения материальных пользовательских интерфейсов (TUI), физические объекты подлежат размещению на экране компьютера, который расположен горизонтально, позиции и, возможно, ориентации которых могут автоматически определяться компьютером. Таким образом, физические объекты можно связывать с представлениями на экране, благодаря чему, перемещение этих объектов может приводить к немедленной реакции в компьютере. Создается впечатление, что физические объекты принадлежат представлениям на экране, причем представления становятся непосредственно 'материальными'. Раскрытые здесь технические принципы описывают методы, позволяющие эффективно распознавать такую позицию.
Один способ обнаружения позиции объекта предусматривает восприятие объекта с помощью камеры, установленной над или под экраном (например, в связи с прозрачным проекционным экраном), которая применяется, например, в продукте Microsoft Surface™. В усовершенствовании этой технологии, торгуемой как Microsoft Surface 2, матрица светочувствительных датчиков, заменяющих камеру, встроена непосредственно в экран. Таким образом, в этих подходах требуются либо дополнительные внешние камеры и/или специальное экранное оборудование. Другой известный подход (см., например, международную патентную заявку, имеющую номер публикации WO 01/15059 A2 с 2000) обходится без специальных экранов. В этом подходе на экране изображаются сигналы изображения, из которых можно обнаруживать позицию на экране, когда она распознается и оценивается с помощью наложенных объектов. Наложенные объекты имеют оптические датчики и радиоканал с компьютером для обеспечения распознавания позиции и ее передачи на компьютер.
Обычно желательно, чтобы можно быть гарантировать невидимость или, по меньшей мере, низкую заметность шаблонов наложенной информации. В упомянутой международной патентной заявке WO 01/15059 A2, описаны разные варианты наложения информационных сигналов на изображение фона для обнаружения, таким образом, позиции физических объектов. В одной из этих разновидностей, наложенная информация зависит от положения на экране, т.е. разные шаблоны, распознавание которых позволяет напрямую делать вывод о положении, накладываются в разных областях экрана. Эти шаблоны можно формировать на плоскости или во времени. В частности, предполагается, что шаблоны активны одновременно для всех областей изображения. Это обуславливает желание, чтобы наложенные шаблоны были невидимыми пользователю. Для решения этой проблемы WO 01/15059 A2 предлагает использовать специальное экранное оборудование, которое может излучать световые сигналы в невидимом диапазоне. Решение с традиционным экраном не описано. Настоящее изобретение описывает, как можно внедрять шаблоны, которые лежат ниже порога человеческого восприятия, но все еще распознаются объектами, в нормальные экраны, при надлежащем выборе шаблонов, датчика HW и обработки сигнала. Это принцип “внедрения водяных знаков”.
В опубликованной патентной заявке США с номером публикации US 2007/0001950 A1 описаны способ и система для представления данных на носителе для регистрации устройством ввода. Способ предусматривает внедрение символьной конструкции, например, внедренного кода взаимодействия (EIC) в изображение на экране дисплея, например, жидкокристаллического дисплея (ЖКД). Сетка, имеющая множество пикселей, задает размер шаблона EIC на ЖКД. Одна область сетки используется для внедрения данных позиции и/или информации метаданных.
Задачей настоящего изобретения является обеспечение устройства и способа определения позиции объекта, совместимого с нормальным экранным оборудованием или проекционным оборудованием, причем шаблон, используемый устройством или способом, может не восприниматься или очень слабо восприниматься наблюдателем-человеком.
Задача настоящего изобретения решается устройством по п.  1 или 25, устройством обработки изображений по п.  12, устройством регистрации шаблона по п.  12, способом по п.  19 и компьютерной программой по п.  24.
Согласно варианту осуществления, изобретение предусматривает устройство для определения позиции объекта относительно представления изображения, подлежащего представлению. Устройство содержит вход для по меньшей мере одного изображения, подлежащего представлению, генератор позиционных шаблонов, блок объединения, оптический датчик, фильтр и средство определения. Генератор позиционных шаблонов выполнен с возможностью генерации позиционного шаблона, подразделенный на множество участков шаблона, причем каждый из участков шаблона содержит однозначный битовый шаблон из множества битовых шаблонов, и битовые шаблоны подвергаются обобщенному греевскому кодированию. Блок объединения выполнен с возможностью объединения позиционного шаблона с по меньшей мере одним изображением, подлежащим представлению, и обеспечения соответствующего объединенного изображения. Оптический датчик выполнен с возможностью оптического восприятия секции изображения объединенного изображения, причем секция изображения коррелирует с позицией объекта. Фильтр выполнен с возможностью извлечения по меньшей мере одного участка шаблона позиционного шаблона из участка изображения и обеспечения по меньшей мере одного соответствующего извлеченного участка шаблона. Средство определения выполнено с возможностью определения позиции объекта на основании по меньшей мере одного извлеченного участка шаблона.
Таким образом, некоторые варианты осуществления основаны на том факте, что, благодаря греевскому кодированию или обобщенному греевскому кодированию, битовые шаблоны имеют дело со сравнительно низким количеством битов на каждый битовый шаблон для разных участков шаблона для получения сравнительно точного позиционного разрешения. Вследствие низкого количества битов можно объединять биты с изображением, подлежащим представлению, так что изображение, подлежащее представлению, изменяется настолько незначительно, что не воспринимается или по меньшей мере незаметно для наблюдателя-человека. С этой целью используется тот факт, что информация, подлежащая передаче для отдельных областей или участка шаблона, заранее известна. Когда информация передается битовым шаблоном, можно без каких-либо функциональных ограничений назначать битовые шаблоны, которые как можно более схожи с соседними областями или участками шаблона. В качестве информации, области изображения передают координаты X и Y (в частности, свои собственные координаты X и Y). Две соседние области отличаются тем фактом, что одна из этих координат увеличивается или уменьшается на единицу. Если греевское кодирование используется для назначения номеров битовому шаблону, соседние битовые шаблоны всегда будут отличаться только одним битом. Тогда перекрестные помехи между двумя областями приведут к тому, что символы для всех битов кроме одного накладываются конструктивно (усиливаются), и только один бит “смешивается”. Таким образом, осуществляется надежное распознавание общих битов, и “смешанный бит” даже показывает, что датчик находится между двумя областями, не расширяя кодирование символов.
Обобщенное греевское кодирование означает код Грея, где только один элемент изменяется от одного участка шаблона к соседнему участку шаблона, в котором один элемент, однако, может содержать один бит (т.е. нормальный код Грея) или более одного бита. Согласно определению, обобщенные коды Грея - это коды, имеющие как свойство отражения, так и свойство единичного расстояния, причем свойство единичного расстояния может быть одним битом или несколькими битами.
Таким образом, битовые шаблоны соседних участков шаблона или областей практически не интерферируют друг с другом (только в одном бите), но, напротив, конструктивно усиливают друг друга в большинстве битов. Соответственно, например, последовательность модуляции, реализующая объединение изображения, подлежащего представлению, позиционным шаблоном, может быть значительно короче, чем в других принципах определения позиции. При наличии перекрестных помех соседних ячеек энергию сигнала объединения (например, в форме модуляции) можно использовать наиболее конструктивно. Кроме того, в соседних участках шаблона (или областях), не нужно использовать последовательности, которые ортогональны друг другу и имеют соответствующую необходимую длину. Если датчик отчасти воспринимает два (или более) соседних участков шаблона, энергия сигнала будет оставаться суммой воспринятых подобластей.
При использовании модуляции для объединения изображения, подлежащего представлению, позиционным шаблоном, глубина модуляции может снижаться без увеличения длины последовательности за счет расширения в ответ. Таким образом, становится практически выполнимым постоянное внедрение модуляции в форме водяного знака невидимым образом во все (или, по меньшей мере, некоторые соответствующие) области изображения и тем не менее обеспечивать быстрое распознавание позиции.
Согласно альтернативным вариантам осуществления, устройство для определения позиции объекта в представлении изображения, подлежащего представлению, содержит: вход для изображения, подлежащего представлению; генератор модуляционных изображений для генерации по меньшей мере одного модуляционного изображения, причем это по меньшей мере одно модуляционное изображение подразделяется на множество полей, и значение модуляционного изображения конкретного поля представляет информацию местоположения поля в модуляционном изображении; модулятор изображений для модуляции изображения, подлежащего представлению, модуляционным изображением, причем различие между изображением, подлежащим представлению, и изображением, модулированным по меньшей мере одним модуляционным изображением, ниже порога человеческого восприятия; выход для изображения, модулированного по меньшей мере одним модуляционным изображением, для отображения на устройстве отображения; оптический датчик для восприятия оптического сигнала, излучаемого участком изображения для изображения, модулированного модуляционным изображением, и для генерации соответствующего сигнала восприятия; и блок оценивания для определения информации местоположения секции изображения на основании оптического сигнала, излучаемого секцией изображения, причем блок оценивания выполнен с возможностью извлечения информации местоположения по меньшей мере одного поля, расположенного, по меньшей мере частично, в секции изображения, из оптического сигнала, излучаемого участком изображения.
Варианты осуществления изобретения будут более подробно рассмотрены ниже со ссылкой на прилагаемые чертежи.
Фиг. 1 - упрощенная блок-схема устройства для определения позиции объекта согласно по меньшей мере одному варианту осуществления раскрытого здесь технического принципа;
фиг. 2 - упрощенная блок-схема устройства для определения позиции объекта согласно по меньшей мере одному дополнительному варианту осуществления раскрытого здесь технического принципа;
фиг. 3 - схематическое представление позиционного шаблона или модуляционного изображения;
фиг. 4 - схематическое представление позиционного шаблона или модуляционного изображения, показанного на фиг. 3 с двумя примерами диапазона наблюдения датчика устройства для определения позиции объекта;
фиг. 5 - схематическая иллюстрация временного битового шаблона;
фиг. 6 - схематическая иллюстрация пространственного битового шаблона;
фиг. 7 - схематическая иллюстрация временного пространственного битового шаблона;
фиг. 8 - схематическая иллюстрация временной модуляции пиксельного значения на основании временных форм волны;
фиг. 9 - схематическая иллюстрация временных форм волны для иллюстрации манчестерского кодирования;
фиг. 10 - упрощенная блок-схема устройства для определения позиции объекта согласно по меньшей мере одному дополнительному варианту осуществления;
фиг. 11 - упрощенная блок-схема устройства для определения позиции объекта согласно по меньшей мере одному дополнительному варианту осуществления;
фиг. 12 - упрощенная блок-схема устройства восприятия шаблона согласно по меньшей мере одному варианту осуществления раскрытого здесь технического принципа;
фиг. 13 - упрощенная блок-схема операций способа определения позиции объекта согласно по меньшей мере одному варианту осуществления раскрытого здесь технического принципа; и
фиг. 14A, 14B - упрощенная блок-схема операций способа определения позиции объекта согласно по меньшей мере одному варианту осуществления раскрытого здесь технического принципа.
Прежде чем варианты осуществления настоящего изобретения будут более подробно рассмотрены ниже на основании чертежей, следует отметить, что идентичные, функционально идентичные или равные элементы и структуры снабжены одинаковыми или аналогичными ссылочными позициями на разных фигурах, в результате чего описания элементов и структур, снабженных одинаковыми или аналогичными ссылочными позициями в разных вариантах осуществления, взаимозаменяемы или их можно применять друг к другу.
На Фиг. 1 показана упрощенная блок-схема устройства для определения позиции объекта согласно по меньшей мере одному возможному варианту осуществления раскрытого здесь технического принципа. Устройство 10 принимает изображение 3, подлежащее представлению (т.е. соответствующие данные изображения) на входе 11. Изображение 3, подлежащее представлению, подлежит представлению посредством устройства 4 отображения, причем устройство 4 отображения может представлять собой, например, экран, цифровой проектор, имеющий соответствующую область проекции или другое устройство, для представления информации в оптической форме. Подвижный объект 5 может занимать позицию по отношению к дисплею 4, путем помещения или размещения объекта, например, на горизонтально ориентированную область отображения устройства 4 отображения и его ориентирования к конкретной секции изображения для изображения, представляемого устройством 4 отображения. Однако в общем случае не требуется, чтобы объект 5 непосредственно контактировал с устройством 4 отображения, должно быть очевидно, в целях однозначного или правильного определения позиции объекта, какой секции изображения соответствует текущая позиция объекта 5. Кроме того, область отображения устройства 4 отображения не должна быть ориентирована горизонтально, но также может быть наклонной или перпендикулярной. В этих случаях практично, когда объект присоединен, может быть подвешен над поверхностью дисплея или расположен на ней подходящими средствами. Альтернативно, объект также может удерживаться или направляться пользователем. На фиг. 1, подвижный объект 5 в порядке примера показан как игровая фишка настольной игры, однако может принимать множество других форм. Секция изображения, связанная с позицией объекта 5, указана на фиг. 1 пунктирной окружностью в области отображения устройства 4 отображения.
Обычно подвижный объект 5 присоединен к оптическому датчику 15, таким образом, что он, в частности, направлен к упомянутому участку 6 изображения. Таким образом, оптический датчик 15 выполнен с возможностью восприятия секции 6 изображения оптическим способом. При этом секция 6 изображения соответствует позиции объекта 5. С этой целью оптический датчик 15 может быть встроен в объект 5 или установлен на нем. Оптический датчик 15 составляет часть устройства 10 для определения позиции объекта 5. Участок изображения, воспринимаемый оптическим датчиком 15, передается на фильтр 16. Фильтр 16 выполнен с возможностью отфильтровывания одного битового шаблона или нескольких битовых шаблонов, включающих в себя информацию позиции секции изображения из секции изображения. Битовый шаблон или несколько битовых шаблонов представлены информацией, которая объединена с изображением 3, подлежащим представлению, до представления изображения 3, подлежащего представлению, посредством устройства 4 отображения. Когда фильтр 16 распознает битовый шаблон служащий для определения позиции в секции изображения с достаточной надежностью, он передает битовый шаблон или соответствующий участок шаблона на средство 17 определения устройства 10. Средство 17 определения выполнено с возможностью определения позиции объекта 5 на основании по меньшей мере одного извлеченного участка шаблона или соответствующего битового шаблона.
Для объединения изображения 3, подлежащего представлению, с информацией, используемой для определения позиции, устройство 10 для определения позиции объекта 5 включает в себя генератор 12 позиционных шаблонов и блок 14 объединения. Генератор 12 позиционных шаблонов обеспечивает позиционный шаблон 13. Позиционный шаблон 13 делится на множество участков шаблона. Каждый из участков шаблона содержит однозначный битовый шаблон из множества битовых шаблонов, позволяющий идентифицировать соответствующий участок шаблона. Битовые шаблоны подвергаются греевскому кодированию или обобщенному греевскому кодированию. Позиционный шаблон обычно является двухмерным шаблоном, и участки шаблона обычно образуют двухмерный массив. Согласно коду Грея, битовые шаблоны отличаются от двух соседних участков шаблона только одним битом. В двухмерном массиве участков шаблона может быть полезно использовать индивидуальное греевское кодирование для каждой координаты, которые сохраняются в двух отдельных частях соответствующих битовых шаблонов. Даже при таком греевском кодировании, которое разделено координатами, все еще выполняется условие, что только один бит изменяется от одного участка шаблона к соседнему участку шаблона (где участки шаблона, размещенные диагонально относительно друг друга, обычно не считаются соседними участками шаблона). В обобщенном коде Грея, один бит или также несколько битов могут изменяться от одного участка шаблона к следующему. В обобщенном коде Грея условие, известное из нормального кода Грея, обобщено так, что только один элемент (например, поднабор битового шаблона, имеющий несколько битов) изменяется от одного участка шаблона к соседнему участку шаблона.
Изображение 3, подлежащее представлению, и позиционный шаблон 13 объединяются посредством блока 14 объединения, в результате чего получается соответствующее объединенное изображение, которое обеспечивается для отображения на устройстве 4 отображения.
Оптический датчик 15 может быть подключен к фильтру 16, например, гибким кабелем или беспроводной линией связи (линией радиосвязи, линией инфракрасной связи, линией ультразвуковой связи и пр.). Таким образом, оптический датчик 15 обладает подвижностью относительно остального устройства 10. Альтернативно, гибкий кабель или беспроводная линия связи также может быть обеспечена между фильтром 16 и средством 17 определения, или также на выходе средства 17 определения, где обеспечивается информация позиции.
На Фиг. 2 показана упрощенная блок-схема устройства для определения позиции объекта согласно по меньшей мере одному дополнительно возможному варианту осуществления раскрытого здесь технического принципа. Устройство 20 включает в себя вход 11 для изображения 3, подлежащего представлению, генератор 22 модуляционных изображений, модулятор 24 изображений, оптический датчик 15 и блок 27 оценивания. Изображение 3, подлежащее представлению, будет проходить через устройство 20 от входа 11 к входу модулятора 24 изображений. Дополнительный вход модулятора 24 изображений подключен к выходу генератора 22 модуляционных изображений. Генератор 22 модуляционных изображений генерирует по меньшей мере одно модуляционное изображение, разделенное на множество полей. При этом значение модуляционного изображения конкретного поля представляет информацию местоположения поля в модуляционном изображении. Модуляционное изображение имеет примерно такую же цель, как позиционный шаблон варианта осуществления, представленного на фиг. 1, и даже может соответствовать ему. Аналогично, множество полей имеет примерно такую же цель, как множество участков шаблона варианта осуществления, представленного на фиг. 1. Кроме того, в отношении функции и/или цели значение модуляционного изображения конкретного поля также можно сравнивать с однозначным битовым шаблоном конкретного участка шаблона, упомянутого в связи с описанием фиг. 1.
Модулятор 24 изображений выполнен с возможностью модуляции изображения 3, подлежащего представлению, модуляционным изображением. Изображение 3, подлежащее представлению, можно рассматривать как несущий сигнал, а модуляционное изображение - как полезную информацию, причем термин “полезная информация” относится к цели определения позиции. В результате модуляции изображение 3, подлежащее представлению, немного изменяется, при этом наблюдатель модулированного изображения, отображаемого устройством 4 отображения, не воспринимает заметный или побочный эффект. Таким образом, различие между изображением 3, подлежащим представлению, и модулированным изображением находится ниже (среднего) порога человеческого восприятия. Таким образом, модуляционное изображение практически невидимо для наблюдателя-человека, но, тем не менее, отображается в видимом диапазоне длин волны. Желательно, чтобы устройство 4 отображения было стандартным устройством отображения, реализованным для воспроизведения изображения в видимом диапазоне длин волны, и не включало в себя никаких средств, позволяющих воспроизводить заданный входной сигнал в невидимом диапазоне длин волны (например, в инфракрасном диапазоне или ультрафиолетовом диапазоне). Желание или необходимость иметь возможность представлять модуляционное изображение, необходимое для определения позиции также в видимом диапазоне длин волны, обусловлено/а этим ограничением используемого диапазона длин волны, заданным устройством 4 отображения.
Оптический датчик 15 воспринимает оптический сигнал, излучаемый секцией изображения для изображения, модулированного модуляционным изображением, и генерирует соответствующий сигнал восприятия. Секция изображения, воспринимающая оптический сигнал, коррелирует с позицией объекта. Как описано в контексте фиг. 1, с этой целью оптический датчик 15 может быть механически связан с объектом, например, в том, что оптический датчик 15 встроен в объект или установлен на нем. Также возможно, что оптический датчик 15 сам представляет объект. Блок 27 оценивания позволяет определять информацию местоположения секции изображения. С этой целью блок оценивания извлекает информацию местоположения из по меньшей мере одного поля, расположенного, по меньшей мере частично, в секции изображения, из оптического сигнала, излучаемого секцией изображения. С этой целью блок оценивания может включать в себя демодулятор, который выполнен с возможностью демодуляции сигнала восприятия и определения сигнала модуляции, возможно, включенного в сигнал восприятия для по меньшей мере одного поля (которое располагается, по меньшей мере частично, в секции изображения). Информация местоположения поля или полей, расположенных в секции изображения, получается из сигнала модуляции, определенного демодулятором.
Для извлечения информация местоположения из оптического сигнала можно использовать тот факт, что модулирование осуществляется с заданными (определенными) параметрами. Заданные параметры модуляции могут быть известны как модулятору 24 изображений, так и блоку 27 оценивания. Модулирование можно осуществлять, например, с заранее заданной временной частотой или пространственной частотой. Поскольку модуляция осуществляется для изменения изображения, подлежащего представлению, лишь постольку, поскольку результирующее отличие остается ниже порога человеческого восприятия, ограничение диапазона амплитуды, используемого при модуляции, также можно использовать как параметр, поддерживающий дифференциацию. Ниже амплитуды модуляции может означать, например, изменение яркости или изменение интенсивности либо всего изображения 3, подлежащего представлению, либо его цветового канала, обусловленного модуляцией. Другими словами, модулирование изображения, подлежащего представлению, модуляционным изображением может содержать диапазон амплитуды, и блок оценивания может включать в себя амплитудно-чувствительный фильтр. Амплитудно-чувствительный фильтр может быть выполнен с возможностью распознавания и, возможно, извлечения временного изменения и/или локального изменения значения модуляционного изображения, которое имеет амплитуда в ограниченном диапазоне амплитуды. Однако шумовые влияния или изменения изображения 3, подлежащего представлению, также могут вызывать соответствующие временные изменения и/или локальные изменения значения модуляционного изображения, однако они обычно не формируют сколько-нибудь пригодной информации местоположения ввиду своего случайного характера и, таким образом, могут быть отброшены в дополнительном ходе обработки сигнала. При использовании нескольких датчиков или датчика с несколькими пикселями, восприятие, например, одного пикселя из группы соседних пикселей, для которых обычно применяется одно и то же значение модуляционного изображения (исключение: датчик 15 находится на границе между двумя полями модуляционного изображения), существует вариант перекрестной проверки и/или совпадения значений модуляционного изображения, воспринимаемых отдельными датчиками/ пикселями датчика для достижения, несмотря на шумовые влияния и различия в изображении, подлежащем представлению, относительно надежного определения значения модуляционного изображения в области, контролируемой датчиком 15.
Модуляция изменяет изображение 3, подлежащее представлению, в пикселе, начиная с фактического значения (например, яркости, интенсивности (цветового канала) и т.д.), где это фактическое значение, однако, в общем случае не известно, поскольку заранее не известно, какую секцию 6 изображения воспринимает оптический датчик 15, и поскольку изображение 3, подлежащее представлению, также может изменяться динамически, в частности, когда это телевизионное изображение, видеоизображение, анимация или графическая версия компьютерной игры или компьютеризированная игра. Однако, исходя из того, что изображение 3, подлежащее представлению, по меньшей мере, периодически, является достаточно постоянным в воспринимаемой секции изображения 3, модулятор 24 изображений может прерывать модуляцию, например с регулярными интервалами, и, таким образом, передавать изображение, подлежащее представлению, на устройство 4 отображения. Информация, указывающая, что только изображение 3, подлежащее представлению, отображается или было отображено в последующем или предыдущем интервале времени, может передаваться на блок 27 оценивания посредством конкретного предыдущего или последующего битового шаблона. Таким образом, блок 27 оценивания может использовать соответствующий сигнал восприятия в качестве опорного значения и, таким образом, может более надежно и/или эффективно определять информацию местоположения.
Согласно показанному варианту осуществления на фиг. 2, информация местоположения, включенная в модуляционное изображение, также может подвергаться греевскому кодированию относительно соседних полей. Блок оценивания может быть выполнен с возможностью оценивания извлеченной информации местоположения, которая не может однозначно выделяться полю, путем оценивания относительно однозначных битовых значений битов (кодированной по Грею) информации местоположения для определения границы пространственной области, где располагается секция изображения. Кроме того, относительно малозначимые или неопределенные битовые значения битов (кодированной по Грею) информации местоположения могут указывать, что секция изображения перекрывает по меньшей мере два поля модуляционного изображения. В порядке примера предполагая, что биты являются двоичными битами и можно предположить два битовых значения, представляемых “0” или “1”, битовое значение, лежащее между 0 и 1, также может получаться для одного или нескольких битов информации местоположения, в частности, когда два или более полей модуляционного изображения включены, по меньшей мере частично, в секцию изображения (перекрывание или одновременное присутствие по меньшей мере двух полей модуляционного изображения). Процесс восприятия оптического сигнала можно рассматривать, по меньшей мере, в некоторых вариантах осуществления раскрытого здесь технического принципа, как аналогичный процесс, где воспринимаются характеристики, интенсивность, комбинация цветов и пр. оптического сигнала, передаваемого секцией изображения. Дифференциацию между относительно однозначными битовыми значениями и относительно неопределенными битовыми значениями можно осуществлять, например, посредством двух порогов, где первый порог равен, например, 0,1 и второй порог равен, например, 0,9. Для битового значения, лежащего в интервале [0; 0,1], можно предположить, что это относительно однозначное битовое значение, а именно “0”. Также, для битового значения между 0,9 и 1, можно предположить, что это относительно однозначное битовое значение “1”. Если же битовое значение лежит в интервале [0,1; 0,9] (исключая границы интервала), нельзя сделать однозначного утверждения относительно битового значения, поэтому соответствующее битовое значение классифицируется как относительно малозначимое или неопределенное. Как упомянуто выше, указанные пороги 0,1 и 0,9 следует рассматривать в качестве примеров, и возможны также другие пороги, например 0,15 или 0,2 или 0,25 в качестве нижнего порога, а также 0,75 или 0,8 или 0,85 в качестве верхнего порога. Относительно малозначимое или неопределенное битовое значение может быть обусловлено, в частности, тем фактом, что не только одно поле модуляционного изображения включено в секцию изображения, воспринимаемую датчиком изображения, но секция изображения включает в себя два или более полей в изменяющихся пропорциях (области). Битовое значение, лежащее между нижним порогом и верхним порогом, указывает, что секция изображения располагается на границе между двумя или более полями шаблона модуляции. В некотором смысле, сигнал восприятия можно рассматривать, по меньшей мере, в некоторых вариантах осуществления, как сигнал “нечеткой логики”, который оценивается блоком 27 оценивания для определения вероятностей или пропорций полей модуляционного изображения, включенных в секцию изображения. В этом смысле устройство для определения позиции объекта при отображении изображения, подлежащего представлению, может включать в себя нечеткую логику, выполненную с возможностью оценивания сигнала восприятия, обеспечиваемого оптическим датчиком 15, и указания, какое поле шаблона модуляции или какие поля шаблона модуляции включены в секцию изображения и приблизительно в какой пропорции.
2
Было бы желательно позволить одновременно осуществлять быстрое распознавание нескольких объектов в произвольных позициях экрана, масштабируемое разрешение по положению и конструктивную обработку межканальных помех в устройстве определения позиции или способе определения позиции. Согласно возможному варианту осуществления устройства для определения позиции оптический датчик, обычно присоединенный к объекту, имеет лишь несколько датчиков света, каждый из которых воспринимает малую область экрана, например область 1 или 2 нм, как точку (либо только как значение яркости, либо как три яркости цветов красный, зеленый и синий, либо как другую характеристику оптического сигнала, излучаемого секцией изображения). Благодаря временной модуляции последующих изображений, временной шаблон передается в каждой из малых областей экрана. Эти шаблоны включают в себя информацию временной синхронизации, координату x и координату x соответствующей области.
Обычно не удается избежать того, чтобы объект или оптический датчик находился в граничной области между двумя (или даже более) областями, в результате чего шаблоны этих областей перекрываются на датчике. Между шаблонами соседних областей изображения возникают перекрестные помехи, что приводит к интерференции шаблонов (межканальной помехе, ICI), что может затруднять или делать невозможным распознавание шаблонов (в частности, в технологиях определения позиции, где не применяется раскрытый здесь технический принцип). Общая процедура передачи сообщений предусматривает использование ортогональных последовательностей для модуляции шаблонов в соседних каналах, которые можно распознавать даже при наличии помехи между символами. Недостаток состоит в том, что время, необходимое для передачи, приходится продлевать, т.е. информация может передаваться менее часто.
Раскрытый здесь технический принцип описывает альтернативный вариант, дающий несколько преимуществ. Для этого используется тот факт, что информация, подлежащая передаче, для отдельных областей известна заранее. Когда информация передается битовым шаблоном, можно, без каких-либо функциональных ограничений, назначать битовые шаблоны как можно более схожие с соседними областями. Области изображения передают координаты X и Y в качестве информации, две соседние области характеризуются, например, тем, что одна из этих координат увеличивается или уменьшается на 1. Если греевское кодирование используется для назначения номеров битовому шаблону, соседние битовые шаблоны всегда отличаются только единственным битом (или несколькими битами для обобщенного кода Грея). Тогда, в результате перекрестных помех между двумя областями, символы для всех битов накладываются (усиливаются) конструктивно на одном бите, и только единственный бит “смешивается”. Это приводит к надежному распознаванию общих битов, и “смешанный бит” даже показывает, что датчик находится между двумя областями, не расширяя кодирование символов. Хотя при использовании ортогональных последовательностей сигнал в любом случае ослабевает, например, когда два канала смешиваются с половиной энергии, для общих битов не происходит никакого ослабления сигнала.
Этот способ работает даже при перекрывании нескольких соседних областей, например, когда датчик воспринимает область изображения, где располагается одновременно несколько областей. В этом случае, биты в количестве, соответствующем размеру области, смешиваются, все остальные биты усиливаются конструктивно, поскольку они идентичны для всех символов. Таким образом, можно разделить экран на очень малые области и определить локальную позицию объектов с одной и той же экранной модуляцией более или менее точно, в зависимости от размера области экрана, которая воспринимается датчиком объекта. Таким образом, позиционное разрешение легко масштабируется.
Если нумерация осуществляется по парам координат (x, y) в столбцах и строках, значения y соседних областей имеют одинаковые значения в направлении X, и значения x имеют одинаковые значения в направлении Y. Это играет роль дополнительных конструктивных перекрестных помех, когда соответствующие две области перекрываются на датчике. Не ограничивая преимуществ способа, три компоненты: синхронизацию, координаты X и Y, можно разделить на три канала, передаваемых параллельно, например, информацию синего, красного и зеленого цветов. В этом случае в объекте используется RGB-датчик.
В порядке одного примера, на фиг. 3 показан возможный позиционный шаблон или возможное модуляционное изображение. Позиционный шаблон или модуляционное изображение можно продлить вниз и вправо. Буквы B, R и G обозначают цветовые каналы синий, красный и зеленый. Сигнал синхронизации передается посредством синего цветового канала. Сигнал синхронизации может быть, например, периодическим шаблоном модуляции в синем цветовом канале, который можем распознаваться средством оценивания или средство определения. Координата x соответствующего участка шаблона позиционного шаблона или поле модуляционного изображения передается посредством красного цветового канала. Координата y участка шаблона или поля передается через зеленый цветовой канал.
2
Экран делится на матрицу малых областей, например, 1*1 мм. Области нумеруются в направлении x и y, область однозначно идентифицируется значением пары (x, y). Каждая из областей должна быть снабжена модуляцией, передающей координаты (x, y) области.
Числа X и Y подвергаются греевскому кодированию, в результате чего значения для соседних областей изображения отличаются в точности 1 битом. Теперь X и Y передаются последовательно, причем передача синхронизируется во всех областях, т.е. для всех областей, “первый” бит координаты x или y передается одновременно. Для синхронизации приемника с передатчиком передается отдельный шаблон синхронизации. Передача 3 частей: синхронизации, x и y, может осуществляться последовательно, однако она также может располагаться на трех цветовых каналах: красный, зеленый и синий. В последнем случае передача синхронизации, координаты x и координаты y происходит одновременно, что схематически проиллюстрировано в следующей фигуре.
На Фиг. 4 показано два примера эффектов, когда подобласти перекрываются на датчике. Диапазон наблюдения датчика (т.е. воспринимаемая секция изображения) для двух примеров представлен здесь окружностью, обозначенной “датчик 1” или “датчик 2”.
В случае датчика 1 датчик располагается в точности между четырьмя областями. Пропорции четырех областей до некоторой степени смешиваются, т.е. бит координаты x или y, изменяющийся от одной области к соседней, будет принимать промежуточное значение, другие биты являются однозначными, как показано в нижеследующей таблице.
синий = синхронизация
красный =x
зеленый =y
область (R=0, G=1), 25%
abcd
0; 0; 0; 0
0; 0; 0; 1
область (R=1, G=1), 25%
abcd
0; 0; 0; 1
0; 0; 0; 1
область (R=0, G=2), 25%
abcd
0; 0; 0; 0
0; 0; 1; 1
область (R=1, G=2), 25%
abcd
0; 0; 0; 1
0; 0; 1; 1
взвешенная сумма
abcd
0; 0; 0; 0,5
0; 0; 0,5; 1
Каждая из четырех областей занимает четверть области диапазона наблюдения оптического датчика 15.
В случае “датчик 2”, датчик располагается в точности в центре одной области. Эта полностью воспринимаемая область обеспечивает наибольший вклад, другие четыре области только, например, 10% (еще меньшими областями можно пренебречь). Это можно представить следующим образом в таблице.
синий = синхронизация
красный =x
зеленый =y
область (R=3, G=0), 10%
abcd
0; 0; 1; 0
0; 0; 0; 0
область (R=2, G=1), 10%
abcd
0; 0; 1; 1
0; 0; 0; 1
область (R=3, G=1), 60%
abcd
0; 0; 1; 0
0; 0; 0; 1
область (R=4, G=1), 10%
abcd
0; 1; 1; 0
0; 0; 0; 1
область (R=3, G=2), 10%
abcd
0; 0; 1; 0
0; 0; 1; 1
взвешенная сумма
abcd
0 0,1 1 0,1
0 0 0,1 0,9
В направлении X и Y задействованы три области, т.е. два битовых перехода. Битовое состояние центральной области представлено наибольшим, бит соседней области вносит свой вклад в своей пропорции. Таким образом, результат становится менее резким, но при достаточно хорошем качестве сигнала, по-прежнему можно сделать вывод, какая область располагается в центре. В данном случае, греевское кодирование допускает мягкое перекрестное замирание между двумя соседними областями.
Таким образом, поскольку модуляции соседних областей не интерферируют, но, напротив, конструктивно усиливают друг друга, последовательности модуляции в соседних областях, которые ортогональны друг другу, можно опустить. Соответственно, последовательность модуляции значительно сокращается. В общем, полученный сигнал усиливается, поскольку энергию сигнала обеспечивает не только подобласть со своей ортогональной последовательностью, но и все видимые подобласти. Таким образом, глубину модуляции при высоком разрешении (малых областях) можно снизить настолько, чтобы она оставалась ниже порога человеческого восприятия.
Поскольку модуляция является наложением изображения фона, и абсолютный уровень фона неизвестен в ходе обнаружения, может быть полезно, чтобы изменение между модулированным “0” или “1” происходило достаточно часто, поскольку иначе 0 невозможно будет отличить от 1. С этой целью можно использовать, например, манчестерское кодирование, которое заменяет каждый бит кода Грея последовательностью (1,0) или (0,1). Посредством этого дифференциального кодирования декодер могут формировать разность между двумя последовательными изображениями для распознавания перехода модуляции от 0 к 1 или от 1 к 0. Абсолютный уровень яркости в общем случае не имеет значения. Альтернативно, этот тип манчестерского кодирования также можно использовать через каждые n битов, или пилотные ячейки можно интегрировать с подходящий интервалами.
В итоге настоящее изобретение отличается от уровня техники по меньшей мере некоторыми из следующих признаков:
- энергию сигнала модуляции соседних ячеек можно по большей части использовать конструктивно при наличии перекрестных помех, в соседних областях не нужно использовать никаких ортогональных последовательностей. Если датчик отчасти воспринимает две (или более) соседних области, энергия сигнала остается суммой воспринятых подобластей.
- система может продолжать работать, когда область, воспринимаемая датчиком, включает в себя несколько модулированных областей. Система масштабируема в области, т.е. может работать на больших и меньших экранах для одного и того же количества областей изображения.
- глубина модуляции может снижаться без необходимости в увеличении длины последовательности за счет расширения в ответ. Таким образом, становится практически возможным постоянно внедрять модуляцию в форме водяного знака невидимым образом во все области изображения без ущерба для быстрого распознавания позиции.
Фиг. 5 иллюстрирует позиционный шаблон 13 или модуляционное изображение, который(ое) можно использовать для временной модуляции изображения 3, подлежащего представлению. Позиционный шаблон 13 делится на несколько участков шаблона, причем каждый участок шаблона включает в себя пиксель или множество пикселей. В порядке одного примера, секция участка шаблона представлена увеличенной. Поскольку все пиксели, принадлежащие этой секции, принадлежат одному и тому же участку шаблона, все они следуют одному и тому же временному битовому шаблону. Временной битовый шаблон, представленный на фиг. 5, в порядке примера включает в себя восемь битов. В порядке сравнения на фиг. 5 дополнительно представлен битовый шаблон, который принадлежит участку шаблона, соседствующему справа в позиционном шаблоне 13. Поскольку это соседний участок шаблона, битовые шаблоны отличаются, согласно греевскому кодированию, только одним битом, в данном случае, третьим битом.
Фиг. 6 иллюстрирует пространственный битовый шаблон, который может возникать в участке шаблона. Пространственный битовый шаблон может представлять собой, например, матрицу 3x3 или матрицу 4×4 (в общем случае, матрицу m × n) и, возможно, повторяться в соответствующем участке шаблона. В этом случае оптический датчик 15 включает в себя также матрицу пикселей, включающую в себя по меньшей мере такое же количество пикселей, как пространственный битовый шаблон.
Фиг. 7 иллюстрирует временной пространственный битовый шаблон, где отдельные пиксели массива пикселей изменяется согласно конкретному временному шаблону.
Для временного битового шаблона, показанного на фиг. 5, пространственного битового шаблона, показанного на фиг. 6, и временного пространственного битового шаблона, показанного на фиг. 7, дополнительно предполагается, что информация местоположения также может делиться на разные цветовые каналы цветного отображения изображения, подлежащего представлению.
Фиг. 8 иллюстрирует принцип модуляции изображения 3, подлежащего представлению, позиционным шаблоном или модуляционным изображением. Верхняя временная диаграмма на фиг. 8 схематически представляет кривую яркости пикселя изображения 3, подлежащего представлению, в течение времени. Из соображений простоты предполагается, что значение яркости для этого пикселя остается постоянным в течение конкретного интервала времени, например, поскольку изображение 3, подлежащее представлению, является неподвижным изображением в течение этого интервала времени. В общем случае не требуется, чтобы изображение, подлежащее представлению, было неподвижным изображением. Напротив, динамические изображения, например, также можно использовать телевизионное изображение или кодированное видеоизображение, где значение яркости обычно постоянно изменяется. Кроме того, следует отметить, что значение яркости подлежит рассмотрению только в порядке одного примера для характеристики изображения для изображения, подлежащего представлению, и что также можно использовать другие характеристики изображения.
В середине фиг. 8 показан битовый шаблон участка шаблона, соответствующего вышеупомянутому пикселю изображения, подлежащего представлению, т.е. участок шаблона связан с областью изображения, подлежащего представлению, где располагается упомянутый пиксель. Битовый шаблон представляет собой двоичный временной шаблон проходящий между началом битового шаблона и концом битового шаблона.
Модулирование изображения, подлежащего представлению, позиционным шаблоном или модуляционным изображением дает кривую яркости, схематически проиллюстрированную на нижней временной диаграмме фиг. 8. Битовый шаблон участка шаблона приводит к изменению значения яркости пикселя, причем амплитуда изменения яркости соответствует, например, младшему значащему биту (LSB). Например, информация яркости пикселя или информация интенсивности цветового канала пикселя может содержать разрешение в 256 разных ступеней яркости или интенсивности. Когда амплитуда модуляции соответствует младшему значащему биту LSB, отношение между амплитудой модуляции и битовым разрешением изображения, подлежащего представлению, или его цветового канала составляет приблизительно 0,4%. Столь малая модуляция относительно всего битового разрешения изображения, подлежащего представлению, обычно не воспринимается наблюдателем-человеком. Может даже быть так, что даже значения 10% для отношения между амплитудой модуляции и битовым разрешением все еще ниже порога человеческого восприятия, в частности, когда модуляция распределена во времени и/или в пространстве, что не позволяет или затрудняет восприятие наблюдателем-человеком. Кроме того, возможные значения отношения между амплитудой модуляции и разрешением по яркости или интенсивности (так называемая “глубина модуляции”) равны 5%, 3%, 2% и 1%.
Блок 14 объединения или модулятор 24 изображений может быть выполнен с возможностью поддерживать изображение 3, подлежащее представлению, постоянным во времени, т.е. для его “замораживания” для генерации неподвижного изображения и, таким образом, для улучшения распознавания позиционного шаблона средством 17 определения или блоком 27 оценивания.
Фиг. 9 схематически представляет преобразование временного битового шаблона в битовый шаблон, подвергнутый манчестерскому кодированию. Битовый шаблон, подвергнутый манчестерскому кодированию, можно получить, например, осуществляя операцию исключающего ИЛИ над тактовым сигналом и битовым шаблоном. Другими словами, битовый шаблон осуществляет двоичную модуляцию фазовой позиции тактового сигнала. Дополнительно возможная интерпретация манчестерского кода состоит в том, что фтронты битового шаблона, подвергнутого манчестерскому кодированию, по отношению к тактовому сигналу, несут информацию. Согласно определению IEEE 802.3 кода, используемого на фиг. 9, спадающий фронт означает логический 0, а нарастающий фронт - логический 1. Таким образом, в этом случае существует по меньшей мере один фронт на бит, из которого можно вывести тактовый сигнал. Манчестерский код является самосинхронизирующимся и независимым от уровня напряжения постоянного тока. Как упомянуто выше, переход модуляции от 0 к 1 или от 1 к 0 можно распознавать, независимо от текущего абсолютного значения яркости изображения, подлежащего представлению, или его пикселя.
На Фиг. 10 показана упрощенная блок-схема устройства для определения позиции объекта согласно дополнительному варианту осуществления раскрытого здесь технического принципа. Устройство для определения позиции включает в себя первый отдельный блок 14, который, опять же, включает в себя оптический датчик 15, фильтр 16 и передатчик 36. Отдельный блок 14 является независимым относительно дополнительно возможного отдельного блока, включающего в себя средство определения и приемник 38. Передатчик 36 выполнен с возможностью передачи данных позиции объекта или промежуточных данных, необходимых для определения позиции объекта. Таким образом, промежуточные данные - это данные, которые возникают при передаче информации от оптического датчика на средство 17 определения. В частности, отдельный блок 40 может быть присоединен к объекту 5 или встроен в него. Таким образом, объект можно перемещать совместно с отдельным блоком 40 относительно представления изображения, подлежащего представлению, посредством устройства 4 отображения. Приемник 38 и средство 17 определения могут быть относительно неподвижными относительно устройства отображения и/или компьютерной системы, подключенной к нему (источник данных изображения (например, проигрыватель DVD, видеомагнитофон, телевизионный приемник и т.д.)). Передачу данных позиции объекта или промежуточных данных от передатчика 36 на приемник 38 можно осуществлять, например, на основе радиосигналов, инфракрасных сигналов, ультразвуковых сигналов или дополнительно возможных технологий передачи.
На Фиг. 11 показана упрощенная блок-схема устройства для определения позиции объекта, который структурирован аналогично устройству согласно варианту осуществления, показанному на фиг. 10. Согласно показанному варианту осуществления, показанному на фиг. 11, первый отдельный блок 14 также включает в себя средство 17 определения, что позволяет обнаруживать данные позиции в отдельном блоке 40. Таким образом, передатчик 36 передает данные позиции на приемник 38, который выдает их для дальнейшей обработки, например, на компьютерную систему, другую систему или графический пользовательский интерфейс.
На Фиг. 12 показана упрощенная блок-схема устройства 4 отображения и устройства 30 восприятия шаблона в соответствии с другим вариантом осуществления раскрытого здесь технического принципа. Устройство 30 восприятия шаблона включает в себя оптический датчик 15, фильтр 16, греевский декодер 32 и интерфейс 34. Аналогично тому, что описано в связи с устройством для определения позиции объекта, оптический датчик 15 выполнен с возможностью оптического восприятия секции 6 изображения объединенного изображения, которое включает в себя объединение изображения, подлежащего представлению, и позиционного шаблона. Секция изображения или данные, описывающие секцию изображения, передает(ют)ся от оптического датчика 15 на фильтр 16. Фильтр 16 выполнен с возможностью извлечения по меньшей мере одного кодированного по Грею участка шаблона позиционного шаблона из участка 6 изображения или соответствующей информации участка изображения. Греевский декодер 32 выполнен с возможностью декодирования кодированного по Грею участка шаблона и обеспечения декодированной информации. Фильтр 16 и греевский декодер 32 также могут действовать совместно с единым блоком или может быть встроен в него, поскольку извлечение по меньшей мере одного кодированного по Грею участка шаблона может извлекать выгоду из информации, обнаруженной в связи с декодированием кодированного по Грею участка шаблона, или декодированной информации на выходе греевского декодера 32. Декодированная информация передается от греевского декодера 32 на интерфейс 32, который обеспечивает ее или информацию, выведенную из нее, для дополнительной обработки вне устройства 30 восприятия шаблона. Устройство 30 восприятия шаблона, в порядке примера, можно использовать аналогично первому отдельному блоку 40, проиллюстрированному и описанному на фиг. 10 и 11. Таким образом, устройство 30 восприятия шаблона может быть присоединено к объекту 5 или может быть присоединено к нему для обеспечения возможности позиционной восприятия объекта 5. Интерфейс 34 может представлять собой радиопередатчик, инфракрасный передатчик, ультразвуковой передатчик, кабельное соединение или другой подходящий интерфейс для передачи информации на внешний приемник.
Часть позиционного шаблона в объединенном изображении можно выбирать так, чтобы она была ниже порога человеческого восприятия. Кроме того, часть позиционного шаблона может демонстрировать заданные характеристики, относящиеся к амплитуде, информации цвета, пространственной частоте и/или временной частоте. Фильтр 16 может быть выполнен с возможностью извлечения из объединенного изображения частей изображения, которые соответствуют заданным характеристикам части позиционного шаблона. В частности, часть позиционного шаблона в объединенном изображении может быть незначительной модуляцией изображения, подлежащего представлению (например, временной модуляцией, пространственной модуляцией или пространственно-временной модуляцией), в результате чего часть позиционного шаблона имеет лишь ограниченную амплитуду, в порядке примера, в отношении значения яркости или значения интенсивности.
Когда объединенное изображение основано на модуляции изображения, подлежащего представлению, и позиционном шаблоне, фильтр 16 может включать в себя демодулятор для демодуляции объединенного изображения.
Позиционный шаблон может содержать по меньшей мере один фрагмент информации временной синхронизации и средство восприятия шаблона может включать в себя средство синхронизации для синхронизации средства 30 восприятия шаблона на основании информации синхронизации.
На Фиг. 13 показана упрощенная блок-схема операций способа определения позиции объекта в соответствии с по меньшей мере одним вариантом осуществления раскрытого здесь технического принципа. На этапе 52 генерируется позиционный шаблон, который подразделяется на множество участков шаблона, причем каждый из участков шаблона содержит однозначный битовый шаблон из множества битовых шаблонов. Битовые шаблоны подвергаются греевскому кодированию. Позиционный шаблон может либо динамически генерироваться, либо генерироваться таким образом, что сохраненный позиционный шаблон считывается из памяти и обеспечивается для дальнейшей обработки. Греевское кодирование битового шаблона в данном случае означает, что два битовых шаблона, принадлежащие соседним участкам шаблона, отличаются, самое большее, определенным количеством битов. В соответствии с классическим греевским кодированием битовые шаблоны соседних участков шаблона отличаются только одним битом. В соответствии с обобщенным определением греевского кодирования, несколько битов битового шаблона может изменяться от одного участка шаблона к соседнему участку шаблона, однако, обычно без превышения верхнего предела. В частности, можно обеспечивать всегда одинаковое количество битов для изменения от одного участка шаблона к соседнему участку шаблона, в порядке примера, всегда два бита или три бита. Таким образом, битовые шаблоны соседних участков шаблона аналогичны друг другу. Благодаря греевскому кодированию, не существует резких изменений в кодировании битовых шаблонов, которые возникают, например, при традиционном двоичном кодировании, при переходе от одной степени двойки к следующей более высокой степени двойки.
На этапе 54 способа, позиционный шаблон объединяется с по меньшей мере одним изображением, подлежащим представлению, и обеспечивается соответствующее объединенное изображение. По меньшей мере одно изображение, подлежащее представлению, может представлять собой единичное изображение из последовательности изображений, подлежащих представлению, что позволяет объединить позиционный шаблон с разными изображениями, подлежащими представлению в разные моменты времени. Даже когда более позднее распознавание позиционного шаблона может быть затруднено за счет изменения изображения, подлежащего представлению, распознавание позиционного шаблона можно осуществлять относительно надежно подходящими средствами. В частности, в этом контексте надо упомянуть манчестерское кодирование позиционного шаблона или регулярную вставку опорных изображений, которые не объединяются с позиционным шаблоном, и, таким образом, позволяют делать выводы в отношении позиционного шаблона, например посредством формирования разности. Секция изображения объединенного изображения воспринимается на этапе 56 способа определения позиции объекта. При этом секция изображения коррелирует с позицией объекта. Это означает, что определенные позиции объекта связаны с определенными секциями изображения. В частности, объект может располагаться на или в представлении изображения, подлежащего представлению, и, таким образом, может скрывать или занимать секцию изображения. Эта скрытая секция изображения или секция изображения, занятая объектом может соответствовать воспринимаемой секции изображения. Кроме того, возможно, что только часть скрытой секции изображения или секции изображения, занятой объектом, подлежит восприятия и дополнительному использованию в способе определения позиции в качестве воспринимаемой секции изображения. В некоторых вариантах осуществления можно обеспечивать не только одну секцию изображения, подлежащую восприятия, но и две секции изображения или несколько секций изображения, которые связаны с разными областями объекта, в порядке примера, первой краевой областью и второй краевой областью. Таким образом, можно определять не только позицию объекта, но и его ориентацию (позицию) относительно представления изображения, подлежащего представлению, поскольку для объекта существует два или более элемента данных позиции, и можно создать соединение между двумя или более объектно-специфическими точками и двумя или более обнаруженными фрагментами информации позиции.
На этапе 58 способа определения позиции по меньшей мере один участок шаблона позиционного шаблона извлекается из секции изображения. Кроме того, соответствующая извлеченная секция шаблона обеспечивается для дальнейшей обработки. Извлечение участка шаблона может осуществляться посредством способа для распознавания шаблонов. При этом полезно, что, благодаря греевскому кодированию битовых шаблонов, битовые шаблоны могут быть относительно короткими, и отношение соседства двух или более секций шаблона также выражается в том, что соответствующие битовые шаблоны являются аналогичными. Поскольку секция изображения может регистрировать не только единичный участок шаблона, но и два или более участков шаблона, можно регистрировать два или более участков шаблона. Промежуточную позицию объекта можно, если применимо, обнаруживать из упомянутой информации, что будет описано ниже.
Позиция объекта определяется на этапе 60 на основании по меньшей мере одного извлеченного участка шаблона. Поскольку позиционный шаблон подразделяется на множество участков шаблона, и позиционный шаблон объединяется с по меньшей мере одним изображением, подлежащим представлению, можно создать соединение между по меньшей мере одним извлеченным участком шаблона и точкой или областью в изображении, подлежащем представлению. Позиция объекта может либо совпадать с этой точкой или областью представления изображения, подлежащего представлению, либо иначе коррелировать определенным образом, обычно известным заранее, с указанной точкой или областью.
Объединение позиционного шаблона с по меньшей мере одним изображением, подлежащим представлению, на этапе 54 может включать в себя модуляцию изображения, подлежащего представлению, позиционным шаблоном. Кроме того, генерация позиционного шаблона может включать в себя манчестерское кодирование позиционного шаблона.
Способ определения позиции объекта может дополнительно включать в себя передачу данных позиции объекта или промежуточных данных, необходимых для определения позиции, с передатчика на приемник.
На Фиг. 14a и 14b показана упрощенная блок-схема операций другого возможного варианта осуществления способа определения позиции объекта. Способ включает в себя этапы 52-58, известные из фиг. 13, поэтому здесь мы будем ссылаться на их описание в связи с фиг. 13. Этап 60, на котором позиция объекта определяется на основании по меньшей мере одного извлеченного участка шаблона, описан более подробно в этапах 62-66.
На этапе 62 шаблон битовой вероятности определяется на основании извлеченного участка шаблона и интенсивности сигнала отдельных частей битового шаблона. Шаблон битовой вероятности демонстрирует относительно надежные части битового шаблона и относительно неопределенные части битового шаблона. В частности, помимо предполагаемого битового значения, также можно определить надежность или достоверность обнаруженного битового значения. Битовые значения и значения битовой вероятности, в порядке примера, также можно представлять в форме промежуточных значений, заключенных между двумя регулярными битовыми значениями. В порядке примера, два регулярных битовых значения могут представлять собой логический “0” и логическую “1”, и промежуточные значения в интервале от 0 до 1 могут указывать, какое из логического значения “0” и логического значения “1” более вероятно. Например, когда промежуточное значение равно 0,5, нельзя высказать однозначного утверждения, имеет ли соответствующий бит битовое значение “0” или “1”. Чтобы иметь возможность представлять промежуточные значения, битовое значение можно представить в виде аналогового сигнала или цифрового сигнала с более высоким разрешением (т.е. с более высокой дискретизацией), чем фактический битовый шаблон.
На этапе 64 возможная позиция секции изображения ограничивается одним участком шаблона или несколькими участками шаблона из участков шаблона в секции изображения путем обнаружения относительно надежных частей битового шаблона с использованием греевского кодирования участков шаблона. Относительно надежные части битового шаблона обычно можно интерпретировать так, что они указывают совпадающие части битового шаблона разных битовых шаблонов, принадлежащих участкам шаблона, присутствующим в секции изображения. Приближенная позиция секции изображения может быть заранее обнаружена вследствие характеристик греевского кодирования, где точность зависит от того, сколько максимально участков шаблона может присутствовать в секции изображения, воспринимаемой оптическим датчиком.
Помимо вышеописанного относительно грубого ограничения возможной позиции секции изображения, меру для промежуточной позиции секции изображения относительно двух или более участков шаблона можно определять посредством относительно неопределенных частей битового шаблона, что проиллюстрировано на этапе 66 способа определения позиции объекта. В порядке примера, с этой целью можно использовать тот факт, что оптические сигналы участков шаблона, содержащийся в секции изображения, перекрываются, и соответствующий перекрытый оптический сигнал воспринимается оптическим датчиком 15. В частности, при значениях яркости и/или интенсивности, но и при разных характеристиках оптического сигнала, часть области участка шаблона в секции изображения помогает определить, в какой степени оптический сигнал, излучаемый соответствующим участком шаблона, входит в сигнал восприятия, обеспечиваемый оптическим датчиком 15. Сигнал восприятия, в порядке примера, представляет взвешенную сумму отдельных оптических сигналов, которые излучаются разными участками шаблона, содержащимися в той или иной степени в секции изображения. Весовыми коэффициентами в данном случае являются отношения подобластей соответствующего участка шаблона, содержащихся в секции изображения, ко всей области секции изображения.
Устройство обработки изображений в соответствии с по меньшей мере одним вариантом осуществления раскрытого здесь технического принципа включает в себя вход для изображения, подлежащего представлению; генератор 22 модуляционных изображений для генерации по меньшей мере одного модуляционного изображения, причем модуляционное изображение подразделяется на множество полей, и значение модуляционного изображения определенного поля представляет информацию местоположения поля в модуляционном изображении; модулятор изображений для модуляции изображения, подлежащего представлению, модуляционным изображением, причем различие между изображением, подлежащим представлению, и изображением, модулированным модуляционным изображением, ниже порога человеческого восприятия; и выход для изображения, модулированного модуляционным изображением, для отображения на устройстве отображения, которое может быть подключено к выходу, что позволяет реконструировать информацию местоположения, оценивая изображение, отображаемое и модулированное модуляционным изображением.
Наконец, рассмотрим некоторые технические характеристики устройства обработки изображений и устройства для определения позиции объекта, которые могут присутствовать, но не обязательно. Устройство обработки изображений и устройство для определения позиции, в частности, могут содержать одну или несколько из следующих характеристик.
Различие между изображением, подлежащим представлению, и изображением, модулированным модуляционным изображением, может находиться в диапазоне длин волны, видимых для человека.
Таким образом, модулятор изображений может быть выполнен с возможностью аддитивного перекрывания изображения, подлежащего представлению, и модуляционного изображения.
В устройстве обработки изображений изображение, подлежащее представлению, может содержать битовое разрешение, и модуляция может оказывать влияние на часть более низких значений битового разрешения. В частности, модуляция может (только) оказывать влияние на младшие биты точек изображения для изображения, подлежащего представлению.
Кроме того, изображение, подлежащее представлению, может содержать по меньшей мере первый цветовой канал и второй цветовой канал, причем генератор 22 модуляционных изображений выполнен с возможностью представления первой пространственной координаты информации местоположения путем модуляции первого цветового канала и второй пространственной координаты информации местоположения путем модуляции второго цветового канала в модуляционном изображении.
Таким образом, информация местоположения может подвергаться греевскому кодированию относительно соседствующих друг с другом полей модуляционного изображения.
Таким образом, генератор 22 модуляционных изображений может быть выполнен с возможностью генерации последовательности модуляционных изображений, причем информация местоположения представляется значением модуляционного изображения определенного поля определенного модуляционного изображения последовательности, составляющей часть объединенной информации местоположения определенного поля, что позволяет реконструировать объединенную информацию местоположения из дискретной информации местоположения последовательности модуляционных изображений.
Таким образом, последовательность модуляционных изображений может включать в себя по меньшей мере сигнал временной синхронизации.
Дополнительно, модулятор изображений может включать в себя манчестерский кодер, выполненный с возможностью генерации первого модуляционного изображения, подвергнутого манчестерскому кодированию, и второго модуляционного изображения, подвергнутого манчестерскому кодированию, из модуляционного изображения, причем модулятор изображений выполнен с возможностью модуляции изображения, подлежащего представлению, последовательно первым модуляционным изображением, подвергнутым манчестерскому кодированию, и вторым модуляционным изображением, подвергнутым манчестерскому кодированию, и генерации двух соответственно модулированных изображений для отображения на устройстве отображения.
Модулятор изображений может демонстрировать глубину модуляции в отношении изображения, подлежащего представлению, меньшую или равную 10% битового разрешения изображения, подлежащего представлению.
Устройство оптического датчика в соответствии с одним вариантом осуществления может включать в себя: оптический датчик для восприятия электромагнитного излучения для генерации соответствующего сигнала восприятия; демодулятор, выполненный с возможностью демодуляции сигнала восприятия и определения сигнала модуляции, который может содержаться в сигнале восприятия, причем демодулятор включает в себя амплитудно-чувствительный фильтр, выполненный с возможностью извлечения по меньшей мере одного из временного изменения и пространственного изменения значения сигнала восприятия, содержащего амплитуду в ограниченной области амплитуды, для дальнейшей обработки.
Хотя некоторые аспекты были описаны в связи с устройством, следует понимать, что эти аспекты также представляют описание соответствующего способа, в связи с чем, блок или узел устройства также следует рассматривать как соответствующий этап способа или характеристику этапа способа. По аналогии, аспекты, описанные в связи с или в качестве этапа способа, также представляют описание соответствующего блока или детали или характеристики соответствующего устройства. Некоторые или все этапы способа могут выполняться аппаратным устройством (или с использованием аппаратного устройства), например, микропроцессором, программируемым компьютером или электронной схемой. В некоторых вариантах осуществления некоторые или несколько из наиболее важных этапов способа могут выполняться таким устройством.
В зависимости от определенных требований реализации, варианты осуществления изобретения могут быть реализованы либо в оборудовании либо в программном обеспечении. Реализация может осуществляться с использованием цифрового носителя данных, например, флоппи-диска, DVD, диска Blu-ray, CD, ПЗУ, ППЗУ, СППЗУ, ЭСППЗУ или флэш-памяти, жесткого диска или другого магнитного или оптического запоминающего устройства, на котором хранятся электронно считываемые сигналы управления, которые способны кооперировать или кооперируют с программируемой компьютерной системой, обеспечивая выполнение соответствующего способа. Это означает, что цифровой носитель данных может считываться компьютером.
Таким образом, некоторые варианты осуществления в соответствии с изобретением включают в себя носитель данных, содержащий электронно считываемые сигналы управления, которые способны кооперировать с программируемой компьютерной системой для осуществления одного из описанных здесь способов.
В общем случае варианты осуществления настоящего изобретения могут быть реализованы в виде компьютерного программного продукта, содержащего программный код, причем программный код предназначен для осуществления одного из способов, когда компьютерный программный продукт выполняется на компьютере.
Программный код, в порядке примера, может храниться на машиночитаемом носителе.
Различные варианты осуществления включают в себя компьютерную программу для осуществления одного из описанных здесь способов, причем компьютерная программа хранится на машиночитаемом носителе.
Другими словами, вариант осуществления способа, отвечающего изобретению, таким образом, предусматривает компьютерную программу, содержащую программный код для осуществления одного из описанных здесь способов, когда компьютерная программа выполняется на компьютере.
Дополнительный вариант осуществления способа, отвечающего изобретению, таким образом, предусматривает носитель данных (или цифровой носитель данных или машиночитаемый носитель), на котором записана компьютерная программа для осуществления одного из описанных здесь способов.
Еще один вариант осуществления способа, отвечающего изобретению, таким образом, предусматривает поток данных или последовательность сигналов, представляющий(ую) компьютерную программу для осуществления одного из описанных здесь способов. Поток данных или последовательность сигналов, в порядке примера, может быть выполнен(а) с возможностью переноса через соединение для передачи данных, например, через интернет.
Другой вариант осуществления включает в себя средство обработки, в порядке примера, компьютер или программируемое логическое устройство, сконфигурированное или адаптированное для осуществления одного из описанных здесь способов.
Другой вариант осуществления включает в себя компьютер, на котором установлена компьютерная программа для осуществления одного из описанных здесь способов.
Другой вариант осуществления в соответствии с изобретением включает в себя устройство или систему, реализованное(ую) для передачи компьютерной программы для осуществления по меньшей мере одного из описанных здесь способов на приемник. Передача, в порядке примера, может осуществляться электронно или оптически. Приемником, в порядке примера, может быть компьютер, мобильное устройство, запоминающее устройство или аналогичное устройство. Устройство или система, в порядке примера, может включать в себя файловый сервер для передачи компьютерной программы на приемник.
В некоторых вариантах осуществления, программируемое логическое устройство (в порядке примера, вентильная матрица, программируемая пользователем или FPGA) может использоваться для осуществления некоторых или всех функциональных возможностей описанных здесь способов. В некоторых вариантах осуществления, вентильная матрица, программируемая пользователем может кооперировать с микропроцессором для осуществления одного из описанных здесь способов. В общем случае, в некоторых вариантах осуществления, способы осуществляются на части любого аппаратного устройства. Это может быть многоцелевое оборудование, например, компьютерный процессор (ЦП), или оборудование, специализированное для способа, в порядке примера, ASIC.
Вышеописанные варианты осуществления представляют лишь иллюстрацию принципов настоящего изобретения. Следует понимать, что специалисты в данной области техники могут предложить модификации и вариации описанных здесь конфигураций и деталей. Таким образом, изобретение подлежит ограничению исключительно объемом нижеследующей формулы изобретения, а не конкретными деталями, представленными с использованием описания и рассмотрения вариантов осуществления.