КОМПАКТНОЕ ОПТИЧЕСКОЕ КООРДИНАТНО-УКАЗАТЕЛЬНОЕ УСТРОЙСТВО И СПОСОБ
COMPACT OPTICAL COORDINATE-INDICATING DEVICE AND METHOD

Область техники, к которой относится изобретение
Изобретение касается в общем отображающего координатно-указательного устройства и, более конкретно, оптических координатно-указательных устройств.
Предпосылки создания изобретения
Координатно-указательное устройство типа "мышь" обеспечивает возможность пользователю указывать позицию на экране, чтобы в интерактивном режиме устанавливать курсор или выбирать позицию на поверхности устройства отображения, типа экрана устройства отображения, или другой подходящей поверхности. Такие координатно-указательные устройства, как известно, используются в настольных компьютерах, мобильных устройствах, компактных портативных компьютерах, сотовых телефонах, ПЦА (персональных цифровых ассистентах), устройствах для доступа к Интернету и других устройствах. Указатель на устройстве отображения может быть текстовым (например, выделенный текст) или графическим (например, курсор).
Пользовательские интерфейсы в портативных бытовых электронных изделиях становятся все более сложными. Эта сложность в общем требует большего количества средств управления для выполнения манипулирования пользователем. Однако потребительский спрос обычно требует изделий, которые являются маленькими и компактными. Может оказаться трудным включать адекватное средство управления и все еще сохранять устройство достаточно маленьким для рыночного признания изделия. Также имеется практический предел в отношении того, насколько маленькие средства управления, типа кнопок, можно размещать относительно друг друга и на которые все еще можно воздействовать пальцем среднего пользователя.
Для портативных бытовых электронных изделий существуют два основных класса координатно-указательных устройств, а именно одномерные и двухмерные координатно-указательные устройства. Одномерное координатно-указательное устройство может включать в себя, например, координатные манипуляторы, изменяемые кнопкой числовые поля, скользящие маркеры, многопозиционные тумблеры и кулисные переключатели. Эти координатно-указательные устройства используются для выбора перемещения в одном измерении в пользовательском интерфейсе, типа графического пользовательского интерфейса, или в другом подходящем устройстве сопряжения. Перемещения в одном измерении в общем интерпретируются как одно из перемещений вверх/вниз, вперед/назад и следующее/предыдущее, в зависимости от контекста изделия.
Одномерные координатно-указательные устройства типа "колеса" могут быть сконструированы для использования очень небольшой части существенно ограниченной площади поверхности потребительского изделия. Например, край колеса может выступать через прорезь, проходящую в корпус изделия, и обеспечивать возможность пользователю прокручивать колесо в обоих направлениях, перемещая палец по краю колеса по касательной к его окружности. Недостаток такого средства управления типа "колеса" состоит в том, что прорезь, проходящая в корпус, позволяет попадать в изделие загрязняющим веществам.
Тумблеры и кулисные переключатели обычно больше, чем "колеса", и для них требуется контактная площадка с достаточно большой площадью поверхности, чтобы принять кончик пальца пользователя. В некоторых случаях кулисные переключатели реализуют как две смежные кнопки, связанные общей линейкой кнопок или клавиш. Эти устройства можно конструировать таким образом, чтобы сохранять изоляцию корпуса изделия от окружающей среды. Однако такие устройства имеют недостатки, заключающиеся в том, что они имеют перемещающиеся части и могут занимать большие площади поверхности устройства по сравнению с другими одномерными альтернативными вариантами, перечисленными прежде.
Двухмерные координатно-указательные устройства включают в себя, например, сенсорные панели, шаровые манипуляторы, координатные манипуляторы типа "мышь", джойстики и другие устройства. Эти типы координатно-указательных устройств обычно используют для выбора перемещения в двух измерениях одновременно внутри пользовательского интерфейса. Любое двухмерное координатно-указательное устройство также можно использовать как одномерное координатно-указательное устройство, если желательно, тривиально игнорируя одно из измерений, воспринимаемых устройством. Двухмерные координатно-указательные устройства являются гораздо более универсальными, чем одномерные координатно-указательные устройства. Как правило, двухмерные координатно-указательные устройства используют для выбора и манипулирования информацией в двухмерных устройствах отображения, указывая позицию (X, Y) на устройстве отображения, в которых эта позиция (X, Y) связана с функцией посредством графического пользовательского интерфейса. В качестве альтернативы, двухмерные координатно-указательные устройства можно использовать для управления двумя независимыми аспектами устройства, типа основного тона (речевого сигнала) в зависимости от тембра, отклонения элеронов в зависимости от положения руля, процентной ставки в зависимости от периода.
Сенсорные панели представляют собой плоские площади поверхности, которые воспринимают абсолютное контактное местоположение кончика пальца пользователя на плоской площади поверхности. Поэтому минимальный размер сенсорной панели должен быть несколько больше, чем кончик пальца пользователя, чтобы быть эффективным; практически они превышают в несколько раз размер кончика пальца пользователя. Преимущество сенсорных панелей состоит в том, что обычно для них требуется очень маленькая глубина в корпусе устройства по отношению к площади поверхности, которая им требуется, и они могут быть герметизированы относительно окружающей среды. Однако из-за величины площади поверхности, которая требуется для сенсорных панелей, их обычно не применяют для более мелких изделий, типа карманных устройств.
В шаровых манипуляторах используются вращающиеся шарики для обеспечения индикации относительного перемещения, выводимой для пользовательского интерфейса. Пользователь прикасается к шарику и вызывает его поворот. Для определения двухмерной координатно-указательной информации считывается угол поворота шарика. Минимальный диаметр шарового манипулятора ограничивается, например, размером чувствительного элемента, используемого для определения вращения. Недостаток шаровых манипуляторов заключается в том, что для них требуется глубина внутри корпуса такого же порядка, как диаметр шарового манипулятора. Однако многие портативные бытовые электронные изделия не имеют необходимой глубины, чтобы разместить координатно-указательное устройство шарового манипулятора и связанные с ним считывающие механизмы. Кроме того, шаровые манипуляторы не могут быть герметизированы относительно окружающей среды и, таким образом, также позволяют проникать в изделие загрязняющим веществам.
Джойстики в портативных бытовых электронных изделиях как правило не используются, обычно потому, что они должны выступать над поверхностью изделия и им может требоваться в общем существенный объем или глубина внутри изделия для считывающих механизмов. Вариант джойстика, обычно упоминаемый как "joybutton" (клавиша управления) или выключатель в виде шляпки, обычно реализуют как двухмерный кулисный переключатель. Среди недостатков, разделяемых клавишей управления, имеется недостаток, состоящий в том, что устройство в общем не может указывать скорость или расстояние, а только направление.
Наиболее обычный вид координатно-указательного устройства типа "мышь" предшествующего уровня техники (множественное число: "мыши") работает по существу аналогично инвертированному шаровому манипулятору. Вместо касания пользователя и непосредственного вращения шарика пользователь перемещает весь корпус, содержащий инвертированный шаровой манипулятор, по вспомогательной плоской поверхности (коврику для мыши), отдельной от корпуса. Вспомогательная плоская поверхность имеет минимальный размер, определяемый размером корпуса мыши, и на практике минимальный размер такого коврика для мыши значительно больше, чем ладонь пользователя. При использовании трение между шариком и ковриком для мыши заставляет шарик вращаться внутри корпуса, и здесь остальная часть функциональных операций является аналогичной устройству шарового манипулятора. В дополнение ко всем недостаткам шарового манипулятора такие существующие мыши предшествующего уровня техники также проявляют недостаток, заключающийся в требовании вспомогательной плоской поверхности, и считывание перемещения обязательно проводится на нижней части корпуса.
Для другой реализации мыши, известной из предшествующего уровня техники, требуется точное регулярно повторяющееся оптическое изображение или сетка, напечатанная на поверхности коврика для мыши, по которой пользователь перемещает оптическую мышь. Этот тип оптической мыши использует датчики, обязательно находящиеся на нижней поверхности корпуса, которые помещены с определенным шагом относительно сетки на поверхности коврика для мыши и, таким образом, считывают относительное перемещение известной сетки под ними и используют эту информацию, чтобы считывать направление и скорость. Однако недостатки дополнительной сеточной поверхности включают в себя требование непосредственно для коврика для мыши и то, что коврик для мыши обычно тяжело содержать чистым и свободным от повреждений, коврик для мыши обычно в несколько раз больше, чем ладонь пользователя, и пользователь должен заботиться о сохранении ориентации оптической мыши в соответствии с ориентацией сетки на коврике для мыши.
Другой вид оптической мыши, типа IntelliEye Optical Sensor™, поставляемый фирмой Microsoft Corporation of Redmond, Вашингтон, использует оптические датчики и методики обработки изображения для определения относительного перемещения. Как и со всеми другими реализациями мышей предшествующего уровня техники, это изделие для работы нуждается во вспомогательной поверхности. Это изделие отличается от упомянутой выше оптической сеточной мыши тем, что ему не требуется отдельный коврик с оптической периодической сеткой и оно использует множество матриц датчиков и процессор для обработки изображений для определения скорости и направления перемещения плоской гладкой поверхности под ним. Таким образом, на нижней поверхности оптической мыши обязательно устанавливают матрицы датчиков. Плоское считывающее окно на нижней части мыши принимает излучение для матриц оптических датчиков. При работе для использования мыши требуется плоский участок, типа верхней части рабочего стола. Минимальный размер плоского участка должен быть по меньшей мере такого размера, как корпус мыши, который составляет примерно размер ладони пользователя, а практически требуемый плоский участок должен быть в несколько раз больше, чем ладонь пользователя. Также желательно иметь улучшенное координатно-указательное устройство отображения для переносных устройств потребителей.
Краткое описание чертежей
Изобретение будет легче понять со ссылкой на следующие чертежи, на которых:
фиг. 1 представляет блок-схему, иллюстрирующую один пример отображающего координатно-указательного устройства в соответствии с одним вариантом осуществления изобретения;
фиг. 2 представляет блок-схему последовательности, иллюстрирующей один пример способа обеспечения координатно-указательной информации для устройства отображения в соответствии с одним вариантом осуществления изобретения;
фиг. 3 представляет блок-схему последовательности, иллюстрирующую более подробно один пример определения направления перемещения или скорости перемещения, или обоих параметров, поверхностной текстуры, типа отпечатка пальца или другой поверхностной текстуры, в соответствии с одним вариантом осуществления изобретения;
фиг. 4 представляет иллюстрацию примера мобильного устройства, включающего в себя отображающее координатно-указательное устройство в соответствии с одним вариантом осуществления изобретения;
фиг. 5 представляет блок-схему, иллюстрирующую один пример датчика поверхностной текстуры в соответствии с одним вариантом осуществления изобретения;
фиг. 6 иллюстрирует поперечное сечение одного примера кнопки, содержащей встроенную схему считывания поверхностной текстуры в соответствии с одним вариантом осуществления изобретения;
фиг. 7 представляет схему, иллюстрирующую структуры данных, представляющие кадры для итерации образцов по способу, показанному на фиг. 3.
Подробное описание предпочтительного варианта осуществления
Коротко говоря, отображающее координатно-указательное устройство включает в себя схему считывания поверхностной текстуры, которая считывает, например, часть поверхности, типа пальца или другой текстуры кожи, и схему обнаружения перемещения поверхностной текстуры, оперативно подсоединенную к схеме считывания поверхностной текстуры, которая функционирует для определения направления перемещения и скорости перемещения текстуры кожи, считываемой схемой считывания поверхностной текстуры, для обеспечения координатно-указательных выходных данных для устройства отображения. Координатно-указательными выходными данными могут быть, например, данные, представляющие визуальную индикацию позиции на экране устройства отображения, типа позиции курсора или подсвеченного текста, или любую другую подходящую индикацию позиции. Способ обеспечения координатно-указательной информации для устройства отображения включает в себя считывание поверхностной текстуры, определение направления перемещения и скорости перемещения поверхностной текстуры и вырабатывание координатно-указательного выходного сигнала для устройства отображения, основанного на определенном направлении перемещения и скорости перемещения направленной поверхностной текстуры. В одном примере способ включает в себя анализирование данных, принятых от схемы считывания поверхностной текстуры, для формирования первого изображения, сохранение первого изображения и сравнение первого изображения с одним или более предварительно сохраненными изображениями для определения, произошло ли перемещение поверхностной текстуры, и, если так, определения скорости и направления перемещения.
В другом варианте осуществления мобильное устройство, типа небольшого портативного компьютера, карманного устройства или другого подходящего мобильного устройства, включают в себя схему считывания поверхностной текстуры с небольшой площадью поверхности, упоминаемой как считывающее окно, для обнаружения рисунка текстуры кожи, типа гребешков и бороздок, на кончике пальца пользователя, который используется как тип оптического рисунка для считывания перемещения мимо считывающего окна. Нет необходимости, чтобы оптическое изображение кончика пальца пользователя было однородным. В одном примере используются ряды устройств с зарядовой связью (ПЗС) вместе с оптическим фильтром видимого излучения для обеспечения возможности прохождения инфракрасного излучения на устройства с зарядовой связью. Также, если желательно, в качестве считывающего окна можно использовать фокусирующий механизм, типа фокусирующей линзы, и располагать его таким образом, чтобы фокусировать энергию инфракрасного излучения, которая находится над считывающим окном, например, на высоте до 0,7 мм или на любом другом подходящем расстоянии, чтобы для обнаружения отпечатка пальца пользователя текстуру кожи или другую поверхностную текстуру не требовалось вводить в соприкосновение со считывающей поверхностью. Устройства с зарядовой связью сформированы в виде матрицы датчиков. В другом варианте осуществления используются матрицы тепловых датчиков, которые являются чувствительными к излучению в невидимой области спектра, так что фильтр не требуется.
В другом варианте осуществления схема считывания поверхностной текстуры внедрена в легко нажимаемую кнопку в устройстве таким образом, чтобы кнопку можно было использовать и как площадь поверхности, которая вмещает считывающее окно, и как площадь поверхности, используемая для нажатия, для активизирования кнопки для обеспечения активизирования пользователем. Следовательно, считывающее окно локализовано внутри так называемого кнопочного переключателя или другой поверхности управления. В альтернативных вариантах осуществления считывающее окно расположено между другими переключателями или кнопками или может быть расположено в любой другой подходящей области, отдельной от любых других клавиш или кнопок управления. Считывающее окно расположено на поверхности без переключателей, например, мобильного устройства и также может быть расположено, например, на боковой поверхности, верхней поверхности или другой поверхности без переключателей. Среди других преимуществ не требуется никаких перемещающихся частей, и необходима только небольшая площадь поверхности для упрощения управления курсором или другим подходящим механизмом пользовательского интерфейса. Кроме того, использование длин волн инфракрасного излучения может обеспечивать возможность проникновения через отложения грязи или другую пленку, которая может потенциально блокировать оптические датчики, типа тех, в которых используются технологии лазерных излучателей видимого диапазона. Однако также должно быть понятно, что такие технологии можно использовать в качестве схемы считывания отпечатка пальца, как здесь описано.
Фиг. 1 иллюстрирует один пример отображающего координатно-указательного устройства 10, который с целью иллюстрации показан используемым в устройстве, включающем в себя устройство 12 отображения, пользовательский интерфейс 14 и блок памяти 16. Отображающее координатно-указательное устройство 10 включает в себя схему 18 считывания поверхностной текстуры, типа схемы оптического считывания отпечатка пальца, и схему 20 обнаружения перемещения поверхностной текстуры. Блок памяти 16 в качестве альтернативы может быть включен как часть схемы считывания поверхностной текстуры и/или схемы обнаружения перемещения поверхностной текстуры. Как используется здесь, термин "отпечаток пальца" включает в себя любой участок текстуры кожи или другой текстуры, не относится к полному отпечатку пальца и не ограничен текстурой кожи, связанной пальцем. По существу, схема 18 считывания поверхностной текстуры функционирует для считывания по меньшей мере участка, например, отпечатка пальца или другого подходящего рисунка кожи или другой поверхности, типа перчатки, которую помещают на считывающее окно, или в непосредственной близости от него, схемы считывания поверхностной текстуры.
Схема 18 считывания поверхностной текстуры выдает информацию, представляющую одно или более обнаруженных изображений 22 текстуры кожи для схемы 20 обнаружения перемещения поверхностной текстуры. Схема 18 считывания поверхностной текстуры включает в себя матрицу оптических датчиков, которая включает в себя, например, устройство с зарядовой связью (приборы ПЗС), матрицу тепловых датчиков, отражательную систему на основании источника освещения (например, излучателя света) или любой другой подходящий механизм оптического считывания поверхностной текстуры. Одним примером теплового датчика поверхностной текстуры является модель FCD4A14 Fingerchip, продаваемая фирмой STMicroelectronics, г. Женева, Швейцария, которая включает в себя прямоугольную решетку температурных датчиков. Схема 18 считывания поверхностной текстуры в качестве альтернативы может включать в себя излучатель света, типа обычного светоизлучающего диода (СИД), оперативно установленного для освещения текстуры кожи на кончике пальца или другого участка кожи, для упрощения считывания текстуры кожи. Устройства СИД можно приобрести у многочисленных поставщиков и агентов по продаже, и они доступны в широком разнообразии испускаемых длин волн, включая излучение в видимой и инфракрасной области спектра. Поставщики СИД включают в себя фирмы LEDtronics, г. Торранс, штат Калифорния, DiaLight, г. Кембридж, Англия и LiteOn, г. Тайбэй, Тайвань.
Вариант осуществления настоящего изобретения, который использует освещение СИД, отличающееся от когерентной интерферометрии на основе лазера, типа Optical Translation Measurement (измерение оптического сдвига), принадлежащего фирме OTM Technologies Ltd., г. Лондон, Англия и разрабатываемого фирмой GOU Lite Ltd., Herziyla, Израиль, множеством способов, включая то, что источник освещения согласно настоящему изобретению не должен быть когерентным источником освещения и настоящее изобретение не требует приповерхностной сетки. В примере, где используется датчик на базе активного излучателя света, для локального освещения кончика пальца пользователя можно использовать активный излучатель света одной из видимой и инфракрасной областей спектра, или обеих. Требуемый световой выход излучателя может быть очень низким из-за небольшой площади поверхности, что может быть выгодным в отношении освещения и из-за близкого расстояния между пальцем пользователя и считывающим окном.
Схема 18 считывания поверхностной текстуры анализирует данные, принятые от оптических датчиков схемы считывания поверхностной текстуры, для формирования изображения отпечатка пальца, типа участка отпечатка пальца или другой текстуры кожи, и это изображение в качестве типа оптического рисунка может представлять, например, гребешки и бороздки кончика пальца пользователя или другую подходящую поверхностную текстуру. Схема 20 обнаружения перемещения поверхностной текстуры использует гребешки и бороздки в текстуре кожи как оптический рисунок, чтобы считывать движение и скорость движения текстуры кожи, когда палец проходит над считывающим окном.
Схемой 20 обнаружения перемещения поверхностной текстуры может быть микроконтроллер, дискретные логические схемы, микропроцессор, конечный автомат или любая подходящая комбинация аппаратного обеспечения, программного обеспечения или встроенных программ. Схема 20 обнаружения перемещения поверхностной текстуры оперативно соединена со схемой 18 считывания поверхностной текстуры для приема одного или более изображений 22 текстуры кожи и определяет по меньшей мере один параметр из направления перемещения и/или скорости перемещения текстуры кожи, считываемой схемой 18 считывания поверхностной текстуры. Предпочтительно, определяются и направление перемещения, и скорость перемещения. Схема 20 обнаружения перемещения поверхностной текстуры производит координатно-указательные выходные данные 24 для устройства 12 отображения. Как показано в этом примере, координатно-указательные выходные данные 24, которые представляют, например, позицию на устройстве отображения, указанную кончиком пальца пользователя, используемую пользовательским интерфейсом 14, типа графического пользовательского интерфейса или другого подходящего устройства сопряжения, чтобы пользовательский интерфейс мог обеспечивать визуальную индикацию позиции на устройстве отображения. В этом примере пользовательский интерфейс 14 выводит позицию 26 курсора, которая отображается на устройстве 12 отображения. Также должно быть понятно, что координатно-указательными выходными данными 24 могут быть любые подходящие данные, представляющие визуальную индикацию позиции на устройстве отображения, включая, но не ограничиваясь этим, подсвеченный или выделенный текст или любую другую подходящую визуальную индикацию.
Блок 16 памяти может быть частью устройства или включен как часть схемы обнаружения перемещения поверхностной текстуры или схемы 18 считывания поверхностной текстуры, если желательно. Также должно быть понятно, что любая подходящая часть схемы 18 считывания поверхностной текстуры может использоваться в схеме обнаружения перемещения поверхностной текстуры и наоборот. В любом случае, в этом примере, схема 20 обнаружения перемещения поверхностной текстуры сохраняет в блоке 16 памяти изображение, принятое от схемы считывания поверхностной текстуры. Затем она определяет скорость и направление перемещения поверхностной текстуры, сравнивая сохраненное изображение с одним или более предварительно сохраненными изображениями, принятыми от схемы 18 считывания поверхностной текстуры.
Фиг. 2 иллюстрирует один пример способа обеспечения указательной информации для устройства отображения, обеспечиваемой, например, отображающим координатно-указательным устройством 10 согласно фиг. 1. Однако раскрытый способ может реализовать любым подходящим устройством или комбинацией устройств или схем. Как показано в блоке 200, способ начинается считыванием поверхностной текстуры. Это может быть сделано через любой подходящий механизм считывания поверхностной текстуры. Как показано в блоке 202, способ включает в себя определение по меньшей мере одного из параметров направления перемещения поверхностной текстуры и скорости перемещения поверхностной текстуры, когда она проходит вдоль считывающего окна, связанного с отображающим координатно-указательным устройством 10. В блоке 204 способ включает в себя формирование указательных выходных данных для устройства отображения на основании определенного направления перемещения и/или скорости перемещения поверхностной текстуры. Обращаясь снова к блоку 200, отметим, что считывание поверхностной текстуры включает в себя, в этом примере, анализирование принятых оптических данных от датчика поверхностной текстуры, типа матрицы устройств с зарядовой связью, матрицы тепловых датчиков или какого-либо другого подходящего светочувствительного датчика, и формирование данных, представляющих изображение считываемой поверхностной текстуры.
Фиг. 3 представляет блок-схему последовательности, иллюстрирующей один пример способа определения по меньшей мере одного из параметров направления перемещения и скорости перемещения отпечатка пальца в соответствии с одним вариантом осуществления изобретения. Фиг. 7 иллюстрирует структуры данных, представляющие кадры для частной итерации образцов блок-схемы последовательности способа согласно фиг. 3. Как показано в блоке 300, способ включает в себя сохранение одного или более принятых изображений от датчика поверхностной текстуры, типа датчика отпечатка пальца. Как показано в блоке 302, способ включает в себя сравнение принятого изображения 710 с одним или более предварительно считанными изображениями 760 отпечатков пальцев. Как показано в блоке 304, способ включает в себя определение на основании сравнения, произошло ли перемещение изображения. В тривиальном случае, перемещение не произошло, и принятое изображение 710 по существу соответствует сохраненному изображению 700. Когда два изображения по существу совпадают, они, как считают, имеют высокую корреляцию. Другой способ для описания по существу совпадения состоит в том, чтобы вычислять оценку на основании корреляции, где более высокая оценка указывает лучшую корреляцию.
Каждое изображение 710, принятое от схемы 18 считывания поверхностной текстуры, может быть, например, набором пикселей, принятых в течение некоторого промежутка времени, а также может рассматриваться кадром информации. По существу, схема 20 обнаружения перемещения пальца может выполнять любые подходящие алгоритмы выявления движения, включающие в себя, например, формирование векторов движения для участка изображения или целого изображения, типа используемых в кодировании видеоинформации движения и сжатия, таких как аспекты стандартов кодирования Экспертной группы по кинематографии (MPEG), или любые другие подходящие методы выявления движения. Аппаратное обеспечение кодирования MPEG можно приобрести у множества поставщиков, примером которых является изделие Flexicoder, продаваемое корпорацией Harris Corporation of Palm Bay, Флорида. Подробные описания кодирования MPEG, корреляции и оценки блочного движения можно получить в патентах США Purcel и др., US 5608656, Ishii и др., US 5157732, Gobert и др., US 5247586 и Tsukagoshi, US 5461423, включенных здесь путем ссылки.
Обращаясь снова к фиг. 3 и 7, отметим, что в нетривиальном случае, где произошло перемещение, принятое изображение 710 и сохраненное изображение 700 будут иметь существенные различия, и применяется алгоритм выявления движения, используемый для определения направления и величины перемещения. В предпочтительном варианте осуществления сохраненное изображение 700 подвергается по меньшей мере одному из преобразований обработки изображения: сдвигу, повороту и масштабированию, для формирования множества потенциальных изображений 715, 720, 725, 730, 735, 740, 745, 750, которые можно сохранять в запоминающем устройстве 760. В иллюстрируемом примере фиг. 7 потенциальное изображение 715 представляет собой сдвиг вверх и влево относительно сохраненного изображения 700; потенциальное изображение 720 представляет собой сдвиг вверх относительно сохраненного изображения 700; потенциальное изображение 725 представляет собой сдвиг вверх и вправо относительно сохраненного изображения 700; потенциальное изображение 730 представляет собой сдвиг влево относительно сохраненного изображения 700; потенциальное изображение 735 представляет собой сдвиг вправо относительно сохраненного изображения 700; потенциальное изображение 740 представляет собой сдвиг вниз и влево относительно сохраненного изображения 700; потенциальное изображение 745 представляет собой сдвиг вниз относительно сохраненного изображения 700; и потенциальное изображение 750 представляет собой сдвиг вниз и вправо относительно сохраненного изображения 700. Затем потенциальные изображения 715, 720, 725, 730, 735, 740, 745, 750 сравниваются с принятым изображением 710, и, если они по существу совпадают, тогда преобразование обработки изображения, используемое для формирования потенциального изображения, является отображающим перемещение текстуры кожи. Если потенциальное изображение не совпадает, то предпринимается другое преобразование или ряд преобразований, например смещение сохраненного изображения или преобразованного изображения влево на большую величину, или смещение вправо. Первый предпринятый сдвиг может быть выбран при помощи архивных данных недавних предварительно определенных направлений и величин или других средств, типа векторов блочного смещения MPEG.
При периодическом выполнении попыток сравнения или коррелирования принятого изображения 710 относительно различных потенциальных преобразований 715, 720, 725, 730, 735, 740, 745, 750 возможен один из двух результатов. Первый результат представляет собой тот, при котором, в конечном счете, часть преобразованного потенциального изображения (735) по существу совпадает с соответствующей частью принятого изображения 710, когда движение текстуры кожи было определено на основании сдвига, который был применен к сохраненному изображению 700, образуя соответствующее потенциальное изображение 735, и производится координатно-указательный выходной сигнал 204. Второй результат представляет собой тот, при котором никакое потенциальное преобразование не имеет достаточную корреляцию с принятым изображением для приемлемого идентифицирования движения. Этот второй результат, в общем, подразумевает, что движение текстуры кожи было настолько большой величиной, что его нельзя было точно измерить, например в принятом изображении представлен полностью отличающийся участок текстуры кожи с отличающимися гребешками и бороздками по сравнению с сохраненным изображением. В предпочтительном варианте осуществления при втором результате изобретение использует историю предыдущих определений направления и скорости для определения, если перемещение было, то оно, вероятно, имеет большую величину. Если архивные данные указывают точное определение согласующегося направления и увеличивающуюся величину, изобретение возвращает направление, согласующееся с предыдущими направлениями, и скорость перемещения, соответствующую максимальной скорости перемещения, которая может быть обнаружена иначе, таким образом обеспечивая функцию ограничения скорости в случае смещений большой величины текстуры кожи. Если архивные данные не указывают согласующееся направление и увеличивающуюся величину, то обеспечиваются направление и скорость, согласующиеся со стационарной текстурой кожи.
В альтернативном варианте осуществления изобретения принятое изображение подвергается по меньшей мере одному из преобразований обработки изображения: сдвигу, повороту или масштабированию, например сдвигу изображения влево с небольшим приращением для формирования потенциального изображения, которое может быть сохранено. Затем потенциальное изображение сравнивается с сохраненным изображением, и, если они по существу совпадают, тогда преобразование обработки изображения, используемое для формирования потенциального изображения, является отображающим инверсию перемещения текстуры кожи. Если потенциальное изображение не совпадает, то предпринимается другое преобразование, например смещение принятого изображения или преобразованного изображения влево на большую величину, или смещение вправо. Этот альтернативный вариант осуществления действует по существу по тем же правилам, как предпочтительный вариант осуществления, описанный непосредственно выше, за исключением того, что преобразования применяются к принятому изображению вместо сохраненного изображения, сравнение выполняется между потенциальными преобразованными принятыми изображениями относительно сохраненного изображения вместо потенциального преобразованного сохраненного изображения относительно принятого изображения, а анализируемое направление будет инверсией преобразования, примененного к принятому изображению.
Для настоящего изобретения требуется по меньшей мере одно сохраненное изображение и одно принятое изображение для обеспечения возможности сравнивания между этими двумя изображениями, и во время сравнения сохранять требуется только одно из изображений. В предпочтительном варианте осуществления сохраняется множество изображений от предыдущих итераций алгоритма, чтобы потенциально снизить среднюю вычислительную рабочую нагрузку на итерацию. В одном альтернативном варианте осуществления принятое изображение преобразуется в множество потенциальных изображений параллельно. В альтернативном варианте осуществления принятое изображение преобразуется в множество потенциальных изображений последовательным способом.
В альтернативном варианте осуществления изобретения алгоритм выявления движения используется на одном или более подмножествах принятого изображения и на одном или более подмножествах сохраненного изображения способом, аналогичным способу стандартов кодирования оценки блочного движения Экспертной группы по кинематографии (MPEG). Чтобы поддерживать использование компонентов стандарта MPEG, подмножества можно выбирать как блоки и макроблоки, связанные с алгоритмами векторов блочного движения MPEG. В качестве альтернативы подмножества могут представлять специфические распознаваемые особенности внутри отпечатка пальца, типа изгибов, соединений, параллельных гребешков и бороздок, шрама или другой такой особенности. Совокупное перемещение подмножеств может быть усреднено для определения направления и величины перемещения текстуры кожи. В качестве альтернативы можно использовать усреднение как начальное потенциальное преобразование, где осуществляется корреляция полного изображения подобно той, как уже описано выше.
Обращаясь вновь к блоку 304, отметим, что если перемещение не произошло, способ включает в себя продолжение сохранения изображений и анализ поступающих изображений для определения, произошло ли перемещение. Посредством примера действие, показанное в блоках 202 и 204, может быть осуществлено, например, посредством схемы 20 обнаружения перемещения поверхностной текстуры.
В предпочтительном варианте осуществления настоящего изобретения с каждым сохраненным изображением и с принятым изображением связаны временные метки. Временная метка представляет собой меру времени, прошедшего от некоторого начала отсчета. Примеры обычных временных меток содержат даты, время дня, значение счетчика, произведенное в зависимости от системного времени или опорной частоты, и счетчика прошедшего времени. Небольшое изменение времени вычисляется посредством вычитания значения временной метки, связанного с сохраненным изображением, из значения временной метки принятого изображения. Как здесь было предварительно раскрыто, направление и величина перемещения текстуры кожи определяются с помощью сравнения принятого изображения относительно одного или более сохраненных изображений. Величина перемещения текстуры кожи, разделенная на небольшое изменение времени, представляет скорость перемещения текстуры кожи. Скорость перемещения и направление перемещения вместе содержат полную информацию о векторе движения, связанном с текстурой кожи.
В альтернативном варианте осуществления изобретения счетчик прошедшего времени запускается после каждого определения направления и скорости и останавливается и опрашивается в начале каждого определения направления и скорости. Таким образом, счетчик прошедшего времени непосредственно обеспечивает небольшое изменение времени без необходимости в этапе вычитания.
Фиг. 4 представляет пример мобильного устройства 400, типа телефона для сотовой связи, персонального цифрового ассистента, устройства для доступа к Интернету, наручных часов, телефона, органайзера, или любого другого подходящего мобильного устройства, но не ограниченного этим. Только с целью иллюстрации мобильное устройство 400 показано в виде телефона для сотовой связи. Мобильное устройство 400 включает в себя устройство 12 отображения, которое содержит графические изображения 402, отображенные на нем, и курсор 404, которым управляют на основании указательных выходных данных 24, как известно из уровня техники. Мобильное устройство 400 включает в себя корпус 406 с устройством 12 отображения, оперативно прикрепленным к корпусу. Устройством отображения может быть устройство отображения с зеркальным отображением или любое другое подходящее устройство отображения. Как показано, мобильное устройство 400 включает в себя подсистему беспроводного телефона, в общем обозначенную ссылочной позицией 408, которая включает в себя множество активизирующих переключателей 410, чтобы облегчить осуществление связи телефона для сотовой связи. Переключателями 410 могут быть легко нажимаемые панели, виртуальные ключи, представленные в виде графических изображений 402, или любые другие подходящие ключи. Мобильное устройство 400 также включает в себя отображающее указательное устройство 10, имеющее считывающее окно 410 поверхностной текстуры как часть схемы 18 считывания поверхностной текстуры. Схемой 20 обнаружения перемещения поверхностной текстуры может быть соответственно запрограммированный процессор или процессоры внутри мобильного устройства 400 или любой другой подходящей структуры. Считывающее окно 410 поверхностной текстуры расположено на поверхности корпуса 406 без переключателей. Как показано в этом примере, считывающее окно 410 поверхностной текстуры расположено на верхней поверхности мобильного устройства 400. Считывающее окно 410 поверхностной текстуры может быть расположено на боковой поверхности или любой другой подходящей поверхности без переключателей, в зависимости от требования конструкции мобильного устройства 400. Поскольку отображающее координатно-указательное устройство 10 согласно настоящему изобретению не требует использования внешней клавиатуры или нижней поверхности, считывающее окно 410 поверхностной текстуры расположено на поверхности без переключателей. Кроме того, считывающее окно 410 поверхностной текстуры является относительно небольшим, поскольку оно требуется только для обнаружения небольшого перемещения участка отпечатка пальца. Считывающее окно 410 отпечатка пальца может иметь размер, составляющий всего несколько рядов гребешков и бороздок в текстуре кожи; из-за того что текстура кожи изменяется от пользователя к пользователю, самый маленький практический размер составляет приблизительно 2,5 ммх2,5 мм (6,25 кв. мм). В предпочтительном варианте осуществления изобретения считывающее окно 410 поверхностной текстуры имеет размер порядка 20 кв. мм и приблизительно квадратное соотношение геометрических размеров. Считывающее окно 410 поверхностной текстуры не должно быть прямоугольной формы и может содержать произвольное очертание, включая независимые области. Матрицы датчиков расположены позади или внутри считывающего окна поверхностной текстуры. Ряды в матрицах датчиков находятся достаточно близко друг к другу поблизости для обнаружения соответствующим образом пространственного представления по меньшей мере одной энергии из оптической энергии, отраженной от пальца, и энергии инфракрасного излучения, испускаемой от пальца, в зависимости от типа используемой схемы считывания поверхностной текстуры. Матрица датчиков может быть сконструирована для использования очень маленькой площади поверхности мобильного устройства. В общем нет необходимости считывать или анализировать изображение большой области кончика пальца пользователя. Считывающее окно 410, например, представляет собой поверхность, которая обеспечивает возможность энергии проходить через нее и предпочтительно герметизирована для предотвращения проникновения физических загрязняющих веществ внутрь корпуса устройства.
Фиг. 5 иллюстрирует блок-схему, показывающую один пример схемы 18 считывания поверхностной текстуры, использующей матрицу датчиков на основе ПЗС. Как показано, в качестве схемы 20 обнаружения перемещения отпечатка пальца служат контроллер или другие подходящие управляющие логические схемы и принимают данные 22 изображения от матрицы 500 устройств с зарядовой связью. Фокусирующая линза 502, вершина которой может служить в качестве считывающего окна 410, или его части, фокусирует излучение на матрице ПЗС. Фокусирующая линза предпочтительно разработана так, чтобы энергия видимого или инфракрасного излучений, испускаемая в пределах высоты, составляющей приблизительно 5 мм от верхней поверхности считывающего окна, фокусировалась на матрице ПЗС, а излучение, возникающее за пределами расстояния 5 мм от верхней поверхности, будет рассеянным. Как таковой, непосредственный контакт со считывающим окном не является необходимым. Между фокусирующей линзой и матрицей 500 ПЗС можно разместить фильтр 504 видимого излучения как, например, соответствующий пленочный фильтр видимого излучения, для отфильтровывания видимого излучения, но обеспечивающий возможность прохождения через него к матрице 500 ПЗС энергии инфракрасного излучения. Фильтр 504 видимого излучения служит в качестве оптического фильтра, который находится в рабочем положении для фильтрования видимого излучения от матрицы устройств с зарядовой связью. Как показано в этом примере, графическая информация 22 может быть представлена в аналоговой или цифровой форме, в зависимости от сложности матрицы 500 ПЗС.
Фиг. 6 представляет поперечное сечение, иллюстрирующее пример встроенного отображающего координатно-указательного устройства в соответствии с одним вариантом осуществления изобретения. Как показано, нажимаемая кнопка или клавиша (ключ) 600 вмещает схему 18 считывания отпечатка пальца и, следовательно, считывающее окно 410. В кнопке выполнено подходящее отверстие 602 для прохождения каких-либо проводных соединений 604 или соединителей, требуемых для соединения с печатной платой или другим подходящим устройством сопряжения. По существу, кнопка управления, обычно используемая как клавиша "ввода", или другая подходящая клавиша, может также вмещать схему 18 считывания отпечатка пальца, таким образом снижая до минимума занимаемую площадь, требуемую для размещения описываемого отображающего координатно-указательного устройства. По существу, считывающее окно локализовано на кнопке или клавише. Пользователь может устанавливать курсор или текст на графическом пользовательском интерфейсе, используя отображающее координатно-указательное устройство, и может использовать непосредственно кнопку для выбора и активизирования действия, связанного с мобильным устройством.
Среди других преимуществ раскрытое координатно-указательное устройство не имеет никаких перемещающихся частей. Это преимущество, наряду с прочими, может приводить к низкой стоимости производства, эксплуатационным расходам, затратам на техническое обслуживание и ремонт. Также менее вероятно, что раскрытое координатно-указательное устройство будет ошибочно запущено неживыми объектами, перемещающимися мимо него, из-за близкого расстояния, требуемого в диапазоне фокусировки, и необходимого условия относительно анализирования гребешков и бороздок, связанных с текстурой кожи. Специалистам в данной области техники должны быть очевидны и другие преимущества. Также должно быть понятно, что, хотя описание было сделано относительно мобильного устройства, настоящее отображающее координатно-указательное устройство 10 может быть реализовано в немобильном устройстве, включая, но не ограничиваясь этим, принтеры, копировальные устройства, факсимильные аппараты, настольные компьютеры, навигационные модули или любые другие подходящие устройства.
Должно быть понятно, что специалистам в данной области техники может быть очевидной реализация других видоизменений и модификаций изобретения и его различных аспектов и что изобретение не ограничено описанными специфическими вариантами осуществления. Например, такими, в которых считывающее окно может быть расположено в пределах определенного средства управления пользователя, типа кнопки или другого участка корпуса мобильного устройства, а схема считывания отпечатка пальца иначе не связана с функцией определенного средства управления пользователя. Поэтому предполагается, что настоящее изобретение охватывает любые и все модификации, видоизменения или эквиваленты, которые попадают в пределы, охватываемые объемом и сущностью базовых основных принципов, раскрытых и заявляемых здесь.