СПОСОБ УПРАВЛЕНИЯ ОКОНЕЧНЫМ УСТРОЙСТВОМ С ИСПОЛЬЗОВАНИЕМ ЖЕСТА И УСТРОЙСТВО
METHOD FOR CONTROLLING TERMINAL DEVICE WITH USE OF GESTURE, AND DEVICE

Область техники, к которой относится изобретение
Настоящая заявка относится к области компьютерной техники, и более конкретно, к способу и устройству управления оконечным устройством с использованием жеста.
Уровень техники
В настоящее время пользователь обычно управляет компьютером, используя клавиатуру, отметку или перетаскивание мышью. Пользователь может вводить инструкции с помощью клавиатуры или использовать клавиши быстрого вызова на клавиатуре. Соответствующие операции могут быть воплощены через отметку или перетаскивание мышью. Наряду с разработкой компьютерной технологии и учитывая разнообразие требований пользователей, все способы управления в предшествующем уровне техники требуют, чтобы пользователь мог управлять компьютером, используя периферийные устройства, такие как мышь и клавиатура. Поэтому обычные способы управления в высокой степени зависят от периферийных устройств, таких как мышь и клавиатура.
Раскрытие изобретения
Для решения описанной выше технической задачи, примеры настоящего раскрытия относятся к способу и устройству управления оконечным устройством с использованием жеста. Техническая схема состоит в следующем.
Способ управления оконечным устройством с использованием жеста включает в себя этапы, на которых:
получают видеосегмент жестов, включающий в себя заданное количество кадров изображений;
получают информацию отслеживания жеста пользователя в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста;
выполняют поиск в заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией в соответствии с информацией отслеживания жеста;
получают операцию, соответствующую информации отслеживания жеста пользователя; и
выполняют операцию.
Способ получения видеосегмента жеста, включающего в себя заданное количество кадров изображений, включает в себя этапы, на которых:
получают видеопоток через видеоустройство;
преобразуют формат видеопотока; и
получают видеосегмент жеста заданного формата; при этом
видеосегмент жеста включает в себя заданное количество кадров изображений.
Перед получением информации отслеживания жеста пользователя, в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста, способ дополнительно включает в себя этап, на котором:
разделяют каждый кадр изображения в видеосегменте жеста на множество областей местоположения; при этом
каждая область включает в себя одинаковое количество пикселей.
Способ получения информации отслеживания жеста пользователя, в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста, включает в себя этапы, на которых:
получают параметр местоположения пальца пользователя в каждом кадре изображения видеосегмента жеста в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста; и
получают информацию отслеживания жеста пользователя в соответствии с параметром местоположения пальца пользователя в каждом кадре изображения видеосегмента жеста.
Способ получения информации отслеживания жеста пользователя в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста включает в себя этапы, на которых:
используют параметр местоположения пальца пользователя в первом кадре изображения в качестве начальной точки;
используют измененный параметр местоположения пальца пользователя в качестве промежуточной точки; и
используют параметр местоположения, который не меняется в течение периода времени, в качестве конечной точки.
Информация отслеживания жеста представляет собой характерное значение, обозначающее траекторию движения пальца пользователя и/или направление движения пальца пользователя.
Устройство включает в себя: накопитель и процессор; при этом
накопитель выполнен с возможностью хранения взаимосвязи соответствия между информацией отслеживания жеста и операцией; а
процессор выполнен с возможностью получения видеосегмента жеста, включающего в себя заданное количество кадров изображений;
получения информации отслеживания жеста пользователя в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста;
поиска взаимосвязи соответствия в накопителе, в соответствии с информацией отслеживания жеста пользователя;
получения операции, соответствующей информации отслеживания жеста пользователя; и
выполнения операции.
Процессор, кроме того, выполнен с возможностью
получения видеопотока через видеоустройство;
преобразования формата видеопотока; и
получения видеосегмента жеста в заданном формате; при этом
видеосегмент жеста включает в себя заданное количество кадров изображений.
Процессор, кроме того, выполнен с возможностью
разделения каждого кадра изображения видеосегмента жеста на множество областей местоположения; при этом
каждая область включает в себя одинаковое количество пикселей.
Процессор, кроме того, выполнен с возможностью
получения параметра местоположения пальца пользователя в каждом кадре изображения видеосегмента жеста в соответствии с местоположением пальца пользователя в каждом кадре видеосегмента изображения жеста; и
получения информации отслеживания жеста пользователя в соответствии с параметром местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста.
Процессор, кроме того, выполнен с возможностью
использования параметра местоположения пальца пользователя в первом кадре изображения в качестве начальной точки;
использования изменяющегося параметра местоположения пальца пользователя в качестве промежуточной точки; и
использования параметра местоположения, которое не меняется в течение времени, в качестве конечной точки.
Информация отслеживания жеста представляет собой характерное значение, указывающее траекторию движения пальца пользователя и/или направление движения пальца пользователя.
Данный пример настоящего раскрытия направлен на обеспечение способа и устройства управления оконечным устройством с использованием жеста. При этом получают видеосегмент жеста. Видеосегмент жеста включает в себя заданное количество кадров изображений. Информацию отслеживания жеста пользователя получают в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста. Выполняют поиск заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией для определения операции, в соответствии с информацией отслеживания жеста пользователя. Операцию, соответствующую информации отслеживания жеста пользователя, получают и выполняют соответствующую операцию. Используя техническую схему настоящего раскрытия, получают информацию отслеживания жеста пользователя путем анализа каждого кадра изображения в полученном видеосегменте жеста. Информация отслеживания жеста пользователя рассматривается в пространственной плоскости, и соответствующую ей операцию получают, используя информацию отслеживания жеста. Такая техническая схема может увеличить разнообразие способов инициирования операции, позволяя управлять оконечным устройством без непосредственного прикосновения к оконечному устройству и уменьшая степень зависимости от периферийных устройств, таких как мышь и клавиатура.
Краткое описание чертежей
Для того чтобы ясно описать техническую схему настоящего раскрытия представлено краткое описание приложенных чертежей, используемых в следующих примерах. Очевидно, что приложенные чертежи, описанные ниже, представляют собой некоторые примеры настоящего раскрытия. Специалист в данной области техники может получить другие чертежи, используя эти приложенные чертежи без творческих усилий.
На фиг. 1 показана блок-схема последовательности операций, иллюстрирующая способ управления оконечным устройством с помощью жеста, в соответствии с примером настоящего раскрытия;
На фиг. 2 показана схема, иллюстрирующая области изображения, в соответствии с примером настоящего раскрытия;
На фиг. 3 показана схема, иллюстрирующая отслеживание жеста, в соответствии с примером настоящего раскрытия;
На фиг. 4 показана схема, иллюстрирующая другое отслеживание жеста, в соответствии с примером настоящего раскрытия;
На фиг. 5 показана блок-схема последовательности операций, иллюстрирующая способ установления взаимосвязи соответствия между управлением и информацией отслеживания жеста, в соответствии с примером настоящего раскрытия;
На фиг. 6 показана блок-схема последовательности операций, иллюстрирующая другой способ управления оконечным устройством с помощью жеста, в соответствии с примером настоящего раскрытия; и
На фиг. 7 показана структура, иллюстрирующая структуру устройства, в соответствии с примером настоящего раскрытия; и
На фиг. 8 показана структура, иллюстрирующая структуру другого устройства, в соответствии с примером настоящего раскрытия.
Осуществление изобретения
Для простоты и для иллюстрации настоящее раскрытие будет описано со ссылкой на примеры. В следующем описании, различные конкретные детали представлены для обеспечения полного понимания настоящего раскрытия. Однако должно быть понятно, что настоящее раскрытие может быть выполнено на практике без ограничения этими конкретными деталями. В других случаях некоторые способы и структуры не были описаны подробно, для того чтобы излишне не усложнять настоящее раскрытие. Используемый в данном раскрытии термин "включать в себя" означает включает в себя, но не ограничен этим, термин "включающий в себя" означает включающий в себя, но не ограничен этим. Термин "основанный на" означает основанный, по меньшей мере, частично, на. Настоящее изобретение, кроме того, подробно описано ниже со ссылкой на приложенные чертежи, с тем чтобы более ясно представить объективное техническое решение и его преимущества.
На фиг. 1 показана блок-схема последовательности операций, иллюстрирующая способ управления оконечным устройством с помощью жеста, в соответствии с примером настоящего раскрытия. Данный вариант осуществления воплощен с использованием оконечного устройства. Оконечное устройство может представлять собой стационарное оконечное устройство или мобильное оконечное устройство. Стационарное оконечное устройство может представлять собой персональный компьютер (PC). Мобильное оконечное устройство может представлять собой смартфон, планшетный персональный компьютер (PC), устройство Группы экспертов движущихся изображений, аудиоуровень 3 (МРЗ) и карманный персональный компьютер (PDA) и т.д.
На фиг. 1 пример включает в себя следующие блоки.
В блоке 101 получают видеосегмент жеста. Видеосегмент жеста включает в себя заданное количество кадров изображений.
Формат видеосегмента жеста содержит N кадров каждую секунду. Этот пример настоящего раскрытия не накладывает ограничение на конкретную длину видеосегмента жеста. Таким образом, заданное значение представляет собой значение, кратное N. N представляет собой положительное целое число, большее чем или равное единице.
Описан пример, в котором, например, используется обработка видеосегмента в видеопотоке, полученном видеоустройством. Что касается всех видеосегментов в видеопотоке, одинаковая обработка выполняется для каждого видеосегмента в хронологическом порядке следования видеосегментов.
В блоке 102, информацию отслеживания жеста пользователя получают в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста.
Что касается оконечного устройства, местоположение пальца пользователя в изображении определяют в соответствии с цветом блока области и формой размытого изображения. В данном варианте осуществления местоположение пальца пользователя относится к местоположению центра пальца пользователя.
Информация отслеживания жеста может включать в себя характерное значение, указывающее траекторию движения пользователя и/или направление движения пальца пользователя. Эту траекторию получают через траекторию движения пальца пользователя и/или направление движения пальца пользователя, и информацию отслеживания жеста, соответствующую траектории, получают в соответствии с траекторией в заданном алгоритме (алгоритме характерного значения, таком как алгоритм MD5).
В блоке 103 выполняют поиск заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией для операции, в соответствии с информацией отслеживания жеста пользователя.
Взаимосвязь соответствия между информацией отслеживания жеста и операцией заранее устанавливают в оконечном устройстве. Взаимосвязь соответствия между информацией отслеживания жеста и операцией может быть сохранена в базе данных информации отслеживания жеста. Каждая часть информации отслеживания жеста соответствует операции. Если взаимосвязь соответствия включает в себя информацию отслеживания жеста пользователя, это обозначает, что взаимосвязь соответствия включает в себя операцию, соответствующую информации отслеживания жеста.
Следует отметить, что заданная взаимосвязь соответствия между информацией отслеживания жеста и операцией может применяться для всех вариантов применения оконечного устройства. Таким образом, взаимосвязь соответствия между информацией отслеживания жеста и операцией относится ко всем вариантам применения оконечного устройства. Операция может быть получена через заранее установленную взаимосвязь соответствия между информацией отслеживания жеста и операцией, когда пользователь загружает какое-либо приложение. Заранее установленная взаимосвязь соответствия между информацией отслеживания жеста и операцией может применяться только к определенному приложению. Сохраненные операции представляют собой операции приложения. Только приложение может получать операцию в соответствии с заранее установленной взаимосвязью соответствия между информацией отслеживания жеста и операцией. Данный пример настоящего раскрытия не накладывает ограничение на это.
В блоке 104 получают операцию, соответствующую информации отслеживания жеста пользователя.
Выполняют поиск взаимосвязи соответствия для соответствующей операции, используя информацию отслеживания жеста оконечного устройства, в качестве индекса, и получают соответствующую операцию, когда находят соответствующую операцию.
Операция в этом примере представляет собой операцию, выполняемую в соответствующем приложении, например при выходе из приложения, увеличении интерфейса приложения. Операция может представлять собой операцию, выполняемую на странице, отображаемой в оконечном устройстве, например, путем увеличения или уменьшения страницы. Пример настоящего раскрытия не накладывает ограничение на операцию.
Следует отметить, что информация отслеживания жеста может быть разделена на множество типов. Соответствующие операции могут быть найдены из взаимосвязи соответствия с определенной информацией отслеживания жеста, в то время как операция может не быть найдена из взаимосвязи соответствия с такой же информацией отслеживания жеста. Ответ не получают на информацию отслеживания жеста, которая не соответствует какой-либо операции.
В блоке 105 выполняется соответствующая операция.
В этом примере, когда получают соответствующую операцию, выполняют эту операцию. Текущей страницей можно управлять без непосредственного прикосновения к оконечному устройству, что позволяет уменьшить зависимость от клавиатуры. Например, если полученная операция представляет собой прокрутку текущей страницы до предыдущей страницы, оконечное устройство передает сообщение, работающее как сообщение клавиатуры PageDown в Windows, для прокрутки страницы на экране.
Этот пример настоящего раскрытия представляет собой способ управления оконечным устройством с помощью жеста. Получают видеосегмент жеста. Видеосегмент жеста включает в себя заданное количество кадров изображений. Информацию отслеживания жеста пользователя получают в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста. Выполняют поиск среди заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией для операции в соответствии с информацией отслеживания жеста пользователя. Операцию, соответствующую информации отслеживания жеста пользователя, получают и выполняют соответствующую операцию. Используя техническую схему настоящего раскрытия, информацию отслеживания жеста пользователя получают в результате анализа каждого кадра изображения полученного видеосегмента жеста. Информация отслеживания жеста пользователя рассматривается в пространственной плоскости, и соответствующую операцию получают, используя информацию отслеживания жеста. Техническая схема может расширить способы инициирования операции, управления оконечным устройством без непосредственного прикосновения к оконечному устройству и уменьшения зависимости от периферийных устройств, таких как мышь и клавиатура.
В случае необходимости, на основе технической схемы примера, показанного на фиг. 1, способ получения видеосегмента жеста в блоке 101 включает в себя блок 101a.
В блоке 101a получают видеопоток через видеоустройство. Формат видеопотока преобразуют для получения видеосегмента жеста в заданном формате. Видеосегмент жеста включает в себя заданное количество кадров изображения.
Заданный формат устанавливают с помощью технического персонала или пользователя, в соответствии со своими привычками, в соответствии с которыми формат видеопотока, выводимый видеоустройством, конфигурируют, как N кадров каждую секунду. Этот формат может быть задан, как 30 кадров каждую секунду.
В качестве примера представлен пример, в котором формат видеоизображения представлен, как формат, сконфигурированный через интерфейс DirectShow в DirectX SDK.
if(!capSetVideoFormat(m_hWndCapture,&m_InInfo,sizeof(BITMAPINFO)))
AfxMessageBox ("Невозможно установить видеоформат"); // конфигурируют формат видеоизображения
capPreviewRate(m_hWndCapture, 30); // частота просмотра кадров составляет 30 кадров/с (30 кадров каждую секунду)
capPreview(this->m_hWndCapture,TRUE); // может выполнять предварительный просмотр
Используя описанные выше коды, формат видеоизображения конфигурируют как 30 кадров каждую секунду. Формат выходного видеопотока видеоданных составляет 30 кадров каждую секунду.
В этом примере каждый видеосегмент в видеопотоке может быть обработан в хронологическом порядке. Когда обрабатывают предыдущий видеосегмент, получают следующий видеосегмент. В этом примере обработка одного видеосегмента подробно описана ниже.
В случае необходимости, на основе технической схемы в примере, представленном на фиг. 1, перед получением информации отслеживания жеста пользователя, в соответствии с местоположением пальца пользователя в каждом кадре изображения для видеосегмента жеста в блоке 102, способ включает в себя этапы, на которых: делят каждый кадр изображения в видеосегменте жеста на множество областей местоположения. Количество пикселей в каждой области является одинаковым.
На практике, палец пользователя может генерировать некоторое движение. Фактически, незначительное движение не используется для выполнения определенной операции. Поэтому настоящее раскрытие должно уменьшать эффект малого движения при обработке видеоданных и точно определять, движется ли палец пользователя. В этом примере каждый кадр изображения видеосегмента делят приблизительно. Таким образом, изображение делят на множество областей. Количество пикселей в каждой области является одинаковым.
В этом примере настоящее раскрытие направлено на обеспечение способа управления оконечным устройством с помощью жеста. При этом получают видеосегмент жеста. Видеосегмент жеста включает в себя заданное количество кадров изображений. Информацию об отслеживании жеста пользователя получают в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста. Среди заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией выполняют поиск операции в соответствии с информацией отслеживания жеста пользователя. Информацию, соответствующую операции отслеживания жеста пользователя, получают и выполняют соответствующую операцию. Используя техническую схему настоящего раскрытия, информацию отслеживания жеста пользователя получают путем анализа каждого кадра изображения в полученном видеосегменте жеста. Информация отслеживания жеста пользователя рассматривается в пространственной плоскости, и соответствующую ей операцию получают через информацию отслеживания жеста. Такая техническая схема может обогащать способы для инициирования операции, управления оконечным устройством без непосредственного прикосновения к оконечному устройству и уменьшения зависимости от периферийных устройств, таких как мышь и клавиатура. Кроме того, движение пальца пользователя можно грубо оценивать путем деления гранулярности областей изображения. Отслеживание жеста пальца пользователя можно точно осуществлять путем сравнения изображений кадр за кадром.
В случае необходимости, на основе технической схемы в примере, представленном на фиг. 1, способ получения информации отслеживания жеста пользователя, в соответствии с местоположением пальца пользователя в каждом кадре изображения для видеосегмента жеста в блоке 102, включает в себя следующие блоки.
В блоке 102а параметр местоположения пальца пользователя в каждом кадре изображения в видеосегменте жеста получают в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста.
В частности, для каждого кадра изображения видеосегмента жеста, параметр местоположения пальца пользователя в каждом кадре изображения определяют в соответствии с цветом блока области и формой размытого изображения.
Кроме того, координату области для области, в которой находится палец пользователя в изображении, принимают как параметр местоположения пальца пользователя в изображении.
Если каждый кадр изображения в видеосегменте жеста разделить на множество областей местоположения, каждая область имеет соответствующую координату области. Координату области для области определяют, используя местоположение области среди областей. Если область находится во второй линии и втором столбце области, координата области для данной области представляет собой (2, 2).
В частности, что касается каждого кадра изображения, разрешающую способность каждого кадра полученного изображения форматируют, используя заданное количество пикселей, например, 640*480 (то есть, 640 точек пикселей расположено в горизонтальном направлении и 480 точек пикселей расположено в продольном направлении). Изображение делят на M*M соответствующих областей, таких как 16*16 соответствующих областей (каждая область имеет 160*120 точек пикселей). Существуют два способа обозначения параметра местоположения каждой точки в изображении. Один способ основан на координате пикселя, а другой основан на координате области. Например, на фиг. 2 показана схема, иллюстрирующая области изображения в соответствии с примером настоящего раскрытия. Как показано на фиг. 2, изображение разделяют на 4*4 соответствующих областей. Координата A во второй линии и втором столбце определена как координата точек пикселей A, составляющая (200, 150), и координата области A представляет собой (1, 1).
Что касается пальца пользователя, поскольку изображение разделено на области, параметр местоположения может быть обозначен по координате области для области, в которой находится палец пользователя. Поскольку гранулярность разделения может быть разной, существуют два сценария. Во-первых, фактические местоположения пальца пользователя во множестве кадров изображений видеосегмента жеста изменяются, в то время как область, в которой расположен палец, не изменяется, и параметр местоположения не меняется. Во-вторых, фактические местоположения пальца пользователя во множестве кадров изображений в видеосегменте жеста изменяются, область, в которой расположен палец, изменяется, и параметры местоположения также изменяются. Что касается первого сценария, вывод о том, что палец пользователя не перемещается, получают в результате определения, выполняемого в блоке 102b. Что касается второго сценария, вывод о том, что палец пользователя перемещается, получают в результате определения в блоке 102b.
В блоке 102а, изображение одного кадра в видеосегменте получают через функцию обратного вызова FrameCallBack ().
if(!capSetCallbackOnFrame(this->m_hWndCapture,FrameCallBack)) // установлена функция обратного вызова одного кадра
AfxMessageBox ("невозможно установить функцию setCallbackOnFrame").
В блоке 102b информацию отслеживания жеста пользователя получают в соответствии с параметром местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста.
В частности, отслеживание жеста пользователя получают в соответствии с параметром местоположения пальца пользователя в каждом кадре изображения видеосегмента жеста. После получения отслеживания жеста пользователя информацию отслеживания жеста пользователя получают в соответствии с отслеживанием жеста пользователя и заданным алгоритмом. Способ получения отслеживания жеста пользователя, в соответствии с параметром местоположения пальца пользователя в каждом кадре видеосегмента жеста, включает в себя этапы, на которых: принимают параметр местоположения пальца пользователя в первом кадре изображения, в качестве исходной точки, используя параметр изменения местоположения пальца пользователя, как промежуточную точку, путем сравнения каждого кадра и учитывая параметр местоположения пальца пользователя, которое не меняется в течение определенного периода времени, в качестве конечной точки. Таким образом, получают информацию отслеживания жеста в видеосегменте жеста.
В этом примере, если параметры местоположения пальца пользователя в последовательном заданном количестве кадров видеосегмента жеста не меняются, получают вывод о том, что палец пользователя не движется. Если параметры местоположения пальца пользователя в последовательном заданном количестве кадров видеосегмента жеста меняется, получают вывод о том, что палец пользователя движется. Если параметр местоположения пальца пользователя в текущем кадре изображения отличается от параметра местоположения пальца пользователя в предыдущем кадре изображения, получают вывод о том, что палец пользователя движется, и параметр местоположения пальца пользователя в первом кадре изображения используют как исходную точку. Если определяют, что параметр местоположения пальца пользователя изменяется, в результате сравнения каждого кадра изображения, измененный параметр местоположения используют как промежуточную точку. Если параметр местоположения пальца пользователя не меняется, параметр местоположения пальца пользователя в последнем кадре изображения в видеосегменте жеста используют в качестве конечной точки. Поэтому получают отслеживание жеста пальца пользователя в видеосегменте жеста. Если определяют, что палец пользователя в видеосегменте жеста не движется, в соответствии с параметром местоположения пальца пользователя в каждом кадре изображения видеосегмента жеста, обработка текущего видеосегмента жеста прекращается. Что касается примера в блоке 102c, то есть параметры местоположения пальца пользователя в последовательных 30 кадрах изображений не меняются, получают вывод о том, что палец пользователя в видеосегменте жеста не меняется, обработка текущего видеосегмента жеста прекращается.
Этот пример описан с учетом обработки одного видеосегмента в видеопотоке для примера, и обработка других полученных видеосегментов в видеопотоке является такой же, как и в этом примере, который не повторяется.
Например, предположим, что видеосегмент жеста включает в себя 30 кадров изображений, параметр местоположения пальца в первом кадре изображения представляет собой (3, 1), параметр местоположения пальца во втором кадре изображения представляет собой (3, 1) и параметр положения пальца в третьем кадре изображения представляет собой (2, 1). Таким образом, по сравнению с параметром местоположения пальца во втором кадре изображения, параметр местоположения пальца в третьем кадре изображения изменяется. Параметр (3, 1) местоположения пальца в первом кадре изображения используют как исходную точку и параметр (2, 1) местоположения пальца в третьем кадре изображения используют как промежуточную точку. Параметр местоположения пальца в четвертом кадре изображения представляет собой (2, 2). Все параметры местоположения в последовательных 26 кадрах изображений представляют собой (2, 2), что обозначает то, что параметры местоположения пальца пользователя в четвертом кадре изображения и по 26-й кадр изображения не изменяются. Параметр местоположения (2, 2) последнего кадра изображения используют как конечную точку. Полученное отслеживание жеста пользователя представляет собой (3, 1)->(2, 1) (2, 2) (то есть от (3, 1) до (2, 2) через (2, 1)).
В качестве другого примера на фиг. 3, показана схема, иллюстрирующая отслеживание жеста в соответствии с примером настоящего раскрытия. Как представлено на фиг. 3, отслеживание жеста пальца пользователя представляет собой линию, продолжающуюся вправо. Текущее отслеживание жеста пользователя в оконечном устройстве представляет собой линию, продолжающуюся вправо.
Заданный алгоритм представляет собой принятый по умолчанию алгоритм оконечного устройства или алгоритм, сконфигурированный пользователем оконечного устройства. Что касается каждого отслеживания жеста, информацию об отслеживании жеста, уникально соответствующую отслеживанию жеста, получают после расчета каждого отслеживания жеста в соответствии с заданным алгоритмом. Каждая часть информации отслеживания жеста отличается от других.
Кроме того, что касается отслеживания жеста для одной и той же формы и разных направлений, одна и та же информация отслеживания жеста или разная информация отслеживания жеста могут быть получены в соответствии с разными заданными алгоритмами. Если в заданном алгоритме используется направление для влияния на результат, что касается отслеживания жеста с той же формой и в разных направлениях, разная информация отслеживания жеста может быть получена, используя заданный алгоритм. Если направление не используется в другом заданном алгоритме для того, чтобы влиять на результат, то есть используется только форма в алгоритме для влияния на результат, что касается отслеживания жеста с той же формой и с разными направлениями, одна и та же информация отслеживания жеста может быть получена с другим заданным алгоритмом.
Например, на фиг. 4 показана схема, иллюстрирующая другое отслеживание жеста, в соответствии с примером настоящего раскрытия. Как представлено на фиг. 4, отслеживание жеста пальца пользователя представляет собой линию, продолжающуюся вниз. Текущее отслеживание жеста пользователя оконечного устройства представляет собой линию, продолжающуюся вниз. Что касается заданного алгоритма, информация отслеживания жеста, соответствующая текущему следу жеста пользователя в оконечном устройстве на фиг. 3, представляет собой A, в то время, как информация следа жеста, соответствующая текущему следу жеста пользователя оконечного устройства на фиг. 4, представляет собой B. Однако A не равно B.
Кроме того, на основе технической схемы примера, представленного на фиг. 1, способ для получения информации отслеживания жеста пользователя, в соответствии с параметром местоположения пальца пользователя, в каждом кадре изображения видеосегмента жеста, в блоке 102b представленного выше примера, включает в себя этапы, на которых: определяют, изменяется ли параметр положения пальца пользователя в соответствии с параметром местоположения пальца пользователя в каждом кадре изображения видеосегмента жеста, и получают информацию отслеживания жеста пользователя, когда параметр местоположения пальца пользователя изменяется. Способ определения, изменяется ли параметр местоположения пальца пользователя, в соответствии с параметром местоположения пальца пользователя в каждом кадре изображения в видеосегменте жеста, включает в себя:
Этап один: определяют, является ли параметр местоположения пальца пользователя в (i-1)-м кадре изображения видеосегмента жеста таким же, как и изображение пальца пользователя в i-м кадре изображения;
Этап два: определяют, что параметр местоположения пальца пользователя изменяется, если параметр местоположения пальца пользователя в (i-1)-м кадре изображения отличается от местоположения пальца пользователя в i-м кадре изображения;
Этап три: определяют, что параметр местоположения пальца пользователя не меняется, если параметр местоположения пальца пользователя в каждом кадре изображения для видеосегмента жеста является одинаковым. В котором, i представляет собой положительное целое число, меньшее, чем заданное число.
Что касается каждого кадра изображения в видеосегменте жеста, получают параметр местоположения пальца пользователя в текущем кадре изображения, и получают параметр местоположения пальца пользователя в следующем кадре изображения. Эти два параметра местоположения сравнивают, если параметр местоположения пальца пользователя в текущем кадре изображения отличается от параметра местоположения пальца пользователя в следующем кадре изображения, получают вывод о том, что параметр местоположения пальца пользователя изменился. Параметр местоположения пальца пользователя в следующем кадре изображения используют как промежуточное значение. Если параметр местоположения пальца пользователя в текущем кадре изображения является таким же, как и у пальца пользователя в следующем кадре изображения, получают вывод о том, что параметр местоположения пальца пользователя не изменился.
Изображения в этом примере определяют кадр за кадром. В другом примере изображения могут не быть определены кадр за кадром, но могут быть определены каждые два кадра. Таким образом, параметр местоположения пальца пользователя в (i-2)-м кадре изображения и параметр местоположения пальца пользователя в i-м кадре изображения сравнивают для определения, изменился ли параметр местоположения пальца пользователя.
Кроме того, на основе технической схемы в примере, представленном на фиг. 1, способ определения, что параметр местоположения пальца пользователя изменился, если параметр местоположения пальца пользователя в (i-1)-м кадре изображения и параметр местоположения пальца пользователя в i-м кадре изображения отличаются на этапе два в представленном выше примере, включает в себя: определяют, что параметр местоположения пальца пользователя изменяется, если параметр местоположения пальца пользователя в (i-1)-м кадре изображения и параметр местоположения пальца пользователя в i-м кадре изображения отличаются, и палец пользователя в i-м кадре изображения находится в пределах i-го кадра изображения. Когда палец пользователя движется за пределы области съемки камеры, то есть параметр местоположения пальца пользователя не может быть определен, параметр местоположения пальца пользователя в (i-1)-м кадре изображения и параметр местоположения пальца пользователя в i-м кадре изображения являются разными. Однако в этой ситуации движение пальца пользователя является недействительным. Поэтому, только когда палец пользователя находится в пределах i-го кадра изображения, движение пальца пользователя является действительным, то есть параметр местоположения пальца пользователя изменяется.
В случае необходимости, на основе примера, представленного на фиг. 1, существуют два блока, то есть блок 100а и блок 100b, перед получением информации об отслеживании жеста пользователя оконечного устройства в блоке 101.
В блоке 100а устанавливают взаимосвязь соответствия между каждой частью информации отслеживания жеста и операцией.
В этом примере информацию отслеживания жеста и операцию ассоциируют заранее, таким образом, что соответствующая операция может быть получена через часть информации отслеживания жеста, когда принимается информация отслеживания жеста.
В блоке 100b сохраняют взаимосвязь соответствия.
Следует отметить, что взаимосвязь соответствия может быть сохранена в базе данных информации отслеживания жеста. Каждая часть информации отслеживания жеста уникально соответствует операции. Если взаимосвязь соответствия включает в себя текущую информацию отслеживания жеста пользователя в оконечном устройстве, получают вывод о том, что взаимосвязь соответствия включает в себя операцию, соответствующую информации отслеживания жеста.
Кроме того, на основе представленного выше примера, способ установления взаимосвязи соответствия между каждой частью информации отслеживания жеста и операцией включает в себя следующие этапы: (a), (b), (c) и (d).
На этапе (a) принимают первую операцию.
Первая операция в данном примере может представлять собой любую операцию и может быть выполнена техническим персоналом или пользователем в соответствии с его/ее навыками. Кроме того, этот пример описан, например, путем установления взаимосвязи соответствия между первой операцией и первой информацией отслеживания жеста. На практике взаимосвязь соответствия между информацией отслеживания жеста и операцией может включать в себя множество частей информации отслеживания жеста и операцию, соответствующую каждой части информации отслеживания жеста. Этот пример настоящего раскрытия не ограничивает время для установления взаимосвязи соответствия между информацией отслеживания жеста и соответствующей операцией.
На этапе (b) получают первую информацию отслеживания жеста.
Обработка для получения первой информации отслеживания жеста является такой же, как и в блоке 101, который здесь не повторяется.
На этапе (a) выполняют поиск взаимосвязи соответствия между заданной информацией отслеживания жеста и операцией в соответствии с первой информацией отслеживания жеста.
Для того чтобы гарантировать взаимно-однозначное соответствие между информацией отслеживания жеста и операцией, выполняют поиск заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией определения, включена ли первая информация отслеживания жеста. Если первая информация отслеживания жеста включена, получают вывод о том, что первая информация отслеживания жеста соответствует операции. Пользователь должен ввести другую часть информации отслеживания жеста, если "да"; в противном случае получают вывод о том, что первая информация отслеживания жеста не соответствует операции и первой информации отслеживания жеста.
На практике, когда первая информация отслеживания жеста соответствует операции и пользователю требуется ввести другую часть информации отслеживания жеста, интерфейс отображения пользователя подсказывает пользователю то, что пользователь может ввести другую часть информации отслеживания жеста. В то время, когда первая информация отслеживания жеста не соответствует операции и первая информация отслеживания жеста доступна для того, чтобы гарантировать правильный ввод пользователя, интерфейс отображения пользователя запрашивает пользователя снова ввести первую информацию отслеживания жеста.
На этапе (d), когда заданная взаимосвязь соответствия между информацией отслеживания жеста и операцией не включает в себя первую информацию отслеживания жеста и первую информацию отслеживания жеста получают снова, устанавливают взаимосвязь соответствия между первой информацией отслеживания жеста и первой операцией.
Например, в процессе установления взаимосвязи соответствия оконечное устройство записывает треугольный след жеста, то есть траекторию жеста пользователя, в результате обработки видеосегмента, и получает информацию отслеживания жеста, соответствующую треугольнику, в соответствии с настоящим алгоритмом. Если информация отслеживания жеста, соответствующая треугольнику, имеет соответствующую операцию (то есть пользователь установил соответствующую взаимосвязь между информацией отслеживания жеста, соответствующей треугольнику, и операцией), через процесс поиска на этапе (c), пользователю подсказывают ввести другую часть информации отслеживания жеста. Пользователь снова выполняет ввод жеста. Оконечное устройство записывает след жеста в виде звезды, то есть траекторию жеста пользователя, в результате обработки видеосегмента, получает информацию отслеживания жеста, соответствующую звезде, в соответствии с настоящим алгоритмом. Если информация отслеживания жеста, соответствующая началу, не соответствует операции, полученной через обработку поиска на этапе (c), пользователю подсказывают снова ввести информацию отслеживания жеста, соответствующую звезде. Когда информация отслеживания жеста, соответствующая звезде, будет получена снова, будет установлена взаимосвязь соответствия между информацией отслеживания жеста, соответствующего звезде, и первой операцией.
Представленные выше необязательные технические схемы могут быть скомбинированы с любым способом для формирования необязательных примеров настоящего раскрытия, которые не описаны в примерах.
На фиг. 5 представлена блок-схема последовательности операций, иллюстрирующая способ установления взаимосвязи соответствия между операцией и информацией отслеживания жеста, в соответствии с примером настоящего раскрытия. В этом примере раскрыто конкретное установление потока обработки, который сопровождает представленные выше примеры. Как представлено на фиг. 5, данный пример включает в себя следующие блоки.
В блоке 501 оконечное устройство принимает инструкцию для установки взаимосвязи соответствия.
Пользователь инициирует установление взаимосвязи соответствия. Поэтому, когда пользователю требуется установить взаимосвязь соответствия между операцией и информацией отслеживания жеста, пользователь передает инструкцию для установления соответствующей взаимосвязи. После приема инструкции для установления взаимосвязи соответствия оконечное устройство исполняет последующие блоки.
В блоке 502 принимают первую операцию.
Следует отметить, что порядок следования блока 502 и блоков 503-505 не ограничен этим примером. В этом примере вначале принимают операцию, и затем получают информацию отслеживания жеста. На практике информация отслеживания жеста может быть получена первой, и затем принимают операцию. Первая операция может представлять собой первое описание операции, введенной или выбранной пользователем.
В блоке 503 получают видеосегмент жеста.
В блоке 504 получают параметр местоположения пальца пользователя в каждом кадре изображения видеосегмента жеста, в соответствии с параметром местоположения пальца пользователя, в каждом кадре изображения видеосегмента жеста.
В блоке 505 получают первый след жеста пользователя, в соответствии с местоположением пальца пользователя, в каждом кадре изображения видеосегмента жеста.
В блоке 506 вначале получают информацию отслеживания жеста, в соответствии с первым отслеживанием жеста и заданным алгоритмом.
В блоке 507 выполняют поиск заданной взаимосвязи соответствия между информацией отслеживания жеста и операцией, в соответствии с первой информацией отслеживания жеста.
В блоке 508, пользователю подсказывают снова ввести первую информацию отслеживания жеста, если заданная взаимосвязь соответствия между информацией отслеживания жеста и операцией не включает в себя первую информацию отслеживания жеста.
Кроме того, если заранее установленная взаимосвязь соответствия между информацией отслеживания жеста и операцией включает в себя первую информацию отслеживания жеста, пользователю подсказывают ввести другую часть информации отслеживания жеста. Когда будет принята вторая информация отслеживания жеста, выполняют поиск заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией в соответствии со второй информацией отслеживания. Если заранее установленная взаимосвязь соответствия между информацией отслеживания жеста и операцией не включает в себя вторую информацию отслеживания жеста, выполняют следующие блоки. Если заранее установленная взаимосвязь соответствия между информацией отслеживания жеста и операцией включает в себя вторую информацию отслеживания жеста, пользователю подсказывают ввести другую часть информации отслеживания жеста. Пользователю не представляют подсказку на ввод до тех пор, пока введенная информация отслеживания жеста не будет включена в настоящую, соответствующую взаимосвязь между информацией отслеживания жеста и операцией, или количество попыток не сравняется с заранее установленным пороговым значением.
В блоке 509, когда снова получают первую информацию отслеживания жеста, устанавливают взаимосвязь соответствия между первой информацией отслеживания жеста и первой операцией.
В блоке 510 сохраняют соответствующую взаимосвязь между первой информацией отслеживания жеста и первой операцией.
В примере, показанном на фиг. 5, описано установление взаимосвязи соответствия между информацией отслеживания жеста и операцией на основе установления взаимосвязи соответствия между первой информацией отслеживания жеста и первой операцией. Способ операции дополнительно описан, используя, например, сценарий входа в систему. На фиг. 6 показана блок-схема последовательности операций, иллюстрирующая другой способ работы оконечного устройства в соответствии с жестом, в соответствии с примером настоящего раскрытия. В примере, показанном на фиг. 5, оконечное устройство устанавливает и сохраняет заданную взаимосвязь соответствия между информацией отслеживания жеста и операцией с установлением потока обработки, показанной на фиг. 5. В соответствии с этим, пример, показанный на фиг. 6, включает в себя следующие блоки.
В блоке 601 оконечное устройство получает видеопоток через видеоустройство, преобразует формат видеопотока и получает видеосегменты жеста в множестве заданных форматов. Каждый видеосегмент жеста включает в себя заданное количество кадров изображений. Количество кадров изображений представляет собой заданное значение.
В блоке 602 каждый видеосегмент жеста получают из видеосегментов жеста множества заданных форматов в хронологическом порядке.
В блоке 603, для каждого кадра изображения полученного в данное время видеосегмента жеста, изображение делят на множество областей. Каждая область включает в себя одинаковое количество пикселей.
В блоке 604 координату области для области, в которой находится палец пользователя, в изображении, используют как параметр местоположения пальца пользователя в изображении.
В блоке 605, определяют, является ли параметр местоположения пальца пользователя в (i-1)-м кадре изображения в видеосегменте жеста таким же, как и палец пользователя в i-м кадре изображения. Блок 606 выполняется в случае "да"; в противном случае получают параметр местоположения пальца пользователя в (i+1)-м кадре изображения. Далее определяют, является ли параметр местоположения пальца пользователя в i-м кадре изображения в видеосегменте жеста таким же, как и у пальца пользователя в (i+1)-м кадре изображения.
В блоке 606 определяют, находится ли i-й кадр изображения в пределах i-го кадра изображения, в котором расположен палец пользователя. Блок 607 выполняется в случае "да"; в противном случае выполняется блок 608.
В блоке 607 параметр местоположения пальца пользователя в первом кадре изображения видеосегмента жеста используют как исходную точку отслеживания жеста пользователя, параметр местоположения пальца пользователя в i-м кадре изображения принимается в качестве промежуточной точки отслеживания жеста пользователя, и исполняется блок 609.
В блоке 608 параметр местоположения пальца пользователя в (i-1)-м кадре изображения используется как конечная точка, и исполняется блок 610.
В этом блоке 608, если палец пользователя не находится в пределах i-го кадра изображения, приходят к выводу о том, что действие пальца пользователя в (i-1)-м кадре изображения закончилось. Поэтому параметр местоположения пальца пользователя в (i-1)-м кадре изображения используется как конечная точка отслеживания жеста, и обработку видеосегмента жеста прекращают.
В блоке 609, когда все изображения в видеосегменте жеста будут определены кадр за кадром, параметр местоположения пальца пользователя в последнем кадре изображения видеосегмента жеста используется как конечная точка.
В этом блоке 609, когда все изображения такого видеосегмента жеста будут определены и параметр местоположения пальца пользователя меняется, получают отслеживание жеста пальца пользователя в видеосегменте жеста.
В блоке 610 получают информацию отслеживания жеста пользователя в соответствии с полученным отслеживанием жеста пользователя и заданным алгоритмом.
В блоке 611 выполняют поиск заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией в соответствии с информацией отслеживания жеста пользователя.
В блоке 612 получают соответствующую операцию, если взаимосвязь соответствия включает в себя операцию, соответствующую информации отслеживания жеста пользователя.
В блоке 613 выполняют соответствующую операцию.
Этот пример настоящего раскрытия направлен на способ работы оконечного устройства с использованием жеста. Получают видеосегмент жеста. Видеосегмент жеста включает в себя заданное количество кадров изображений. Информацию отслеживания жеста пользователя получают в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста. Выполняют поиск заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией для операции, соответствующей информации отслеживания жеста пользователя. Операцию, соответствующую информации отслеживания жеста пользователя, получают и выполняют соответствующую операцию. Используя техническую схему настоящего раскрытия, информацию отслеживания жеста пользователя получают в результате анализа каждого кадра изображения полученного видеосегмента жеста. Информация отслеживания жеста пользователя рассматривается в пространственной плоскости, и соответствующую ей операцию получают через информацию отслеживания жеста. Такая техническая схема может обогатить способы для инициирования операции, управления оконечным устройством без непосредственного прикосновения к оконечному устройству и при уменьшении зависимости от периферийных устройств, таких как мышь и клавиатура.
На фиг. 7 показана схема, иллюстрирующая структуру устройства, в соответствии с примером настоящего раскрытия. Как показано на фиг. 7, устройство включает в себя:
модуль 10 получения видеосегмента жеста, предназначенный для получения видеосегмента жеста, соответствующего заданному количеству кадров изображений;
модуль 20 получения информации отслеживания жеста, предназначенный для получения информации отслеживания жеста пользователя, в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста;
модуль 30 поиска, предназначенный для поиска заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией в соответствии с информацией отслеживания жеста пользователя;
модуль 40 получения операции, предназначенный для получения операции, соответствующей информации отслеживания жеста пользователя; и
модуль 50 обработки, предназначенный для выполнения операции.
В случае необходимости, модуль 10 получения видеосегмента жеста предназначен для получения видеопотока через видеоустройство, преобразования формата видеопотока и получения видеосегмента жеста в заданном формате.
Видеосегмент жеста содержит заданное количество кадров изображений.
В случае необходимости, устройство дополнительно включает в себя модуль 60 разделения, который делит каждый кадр изображения в видеосегменте жеста на множество областей местоположения.
Каждая область включает в себя одинаковое количество пикселей.
В случае необходимости, модуль 20 получения информации отслеживания жеста включает в себя: модуль получения параметра местоположения для получения параметра местоположения пальца пользователя в каждом кадре изображения видеосегмента жеста в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста; и модуль получения информации отслеживания жеста для получения информации отслеживания жеста пользователя в соответствии с параметром местоположения пальца пользователя в каждом кадре изображения видеосегмента жеста.
В случае необходимости, модуль получения информации отслеживания жеста дополнительно предназначен для использования параметра местоположения пальца пользователя в первом кадре изображения в качестве исходной точки, определения измененного параметра местоположения пальца пользователя в качестве промежуточной точки и использования параметра местоположения, который не меняется в течение определенного периода времени, в качестве конечной точки. Таким образом, получают информацию отслеживания жеста пользователя в видеосегменте жеста.
В случае необходимости, информация отслеживания жеста представляет собой характерное значение, обозначающее траекторию движения пальца пользователя и/или направления движения пальца пользователя.
Устройство для управления оконечным устройством с помощью жеста было описано в примере, представленном на фиг. 7. Техническая схема настоящего раскрытия описана с учетом всех представленных выше необязательных примеров, в качестве примера. На практике все представленные выше необязательные технические схемы могут формировать необязательные технические схемы в вариантах осуществления настоящего раскрытия с любыми комбинируемыми способами, которые не описаны здесь.
На фиг. 8 показана схема, иллюстрирующая структуру другого устройства, в соответствии с примером настоящего раскрытия. Как показано на фиг. 8, устройство включает в себя накопитель 800 и процессор 810.
Накопитель 800 предназначен для сохранения взаимосвязи соответствия между информацией отслеживания жеста и операцией.
Процессор 810 предназначен для получения видеосегмента жеста, содержащего заданное количество кадров изображений, получения информации отслеживания жеста пользователя в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста, поиска среди взаимосвязи соответствия, в накопителе 800, в соответствии с информацией отслеживания жеста пользователя, получения операции, соответствующей информации отслеживания жеста пользователя, и выполнения этой операции.
Процессор 810, кроме того, предназначен для получения видеопотока через видеоустройство, преобразования формата этого видеопотока и получения видеосегмента жеста заданного формата. Видеосегмент жеста содержит заданное количество кадров изображений.
Процессор 810, кроме того, предназначен для разделения каждого кадра изображения в видеосегменте жеста на множество областей местоположения. Каждая область включает в себя одинаковое количество пикселей.
Процессор 810, кроме того, предназначен для получения параметра местоположения пальца пользователя в каждом кадре изображения видеосегмента жеста, в соответствии с местоположением пальца пользователя, в каждом кадре изображения видеосегмента жеста, и получения информации отслеживания жеста пользователя, в соответствии с параметром местоположения пальца пользователя, в каждом кадре изображения видеосегмента жеста.
Процессор 810, кроме того, предназначен для использования параметра местоположения пальца пользователя в первом кадре изображения в качестве исходной точки, использования измененного параметра местоположения пальца пользователя в качестве промежуточной точки и использования параметра местоположения, который не меняется в течение определенного периода времени, в качестве конечной точки.
Информация отслеживания жеста представляет собой характерное значение, обозначающее траекторию движения пальца пользователя и/или направление движения пальца пользователя.
Устройство в этом примере управляет оконечным устройством, с описанными выше модулями. Схема воплощения устройства является такой же, как описана в отношении примеров способа. Что касается описанного выше соответствующего примера способа, в котором детально представлена подробная схема воплощения, схема его воплощения здесь не повторяется.
Этот пример настоящего раскрытия направлен на устройство для управления оконечным устройством с помощью жеста. Получают видеосегмент жеста. Видеосегмент жеста включает в себя заданное количество кадров изображений. Информацию отслеживания жеста пользователя получают в соответствии с местоположением пальца пользователя в каждом кадре изображения видеосегмента жеста. Выполняют поиск заранее установленной взаимосвязи соответствия между информацией отслеживания жеста и операцией, для получения операции, в соответствии с информацией отслеживания жеста пользователя. Операцию, соответствующую информации отслеживания жеста пользователя, получают и выполняют соответствующую операцию. Используя техническую схему настоящего раскрытия, получают информацию отслеживания жеста пользователя путем анализа каждого кадра изображения в полученном видеосегменте жеста. Информация отслеживания жеста пользователя рассматривается в пространственной плоскости, и ее соответствующую операцию получают, используя информацию отслеживания жеста. Такая техническая схема может обогатить способы инициирования операции для управления устройством терминала, без непосредственного прикосновения к устройству терминала и уменьшения зависимости от периферийных устройств, таких как мышь и клавиатура.
Следует отметить, что в представленном выше примере описано, как управлять оконечным устройством, используя жест и применяя, например, описанные выше функциональные модули. На практике описанные выше функции могут быть воплощены различными функциональными модулями. Таким образом, устройство может быть разделено на разные функциональные модули, которые выполняют все или часть из описанных выше функций. Кроме того, устройство в представленном выше примере имеет такую же схему воплощения, как и в примерах способа. Обращаясь к описанным выше соответствующим примерам способа, в которых детально описана подробная схема воплощения, описание этой схемы воплощения здесь не повторяется.
Для специалиста в данной области техники хорошо известно, что все или часть представленных выше примеров могут быть воплощены в виде аппаратных средств и также могут быть воплощены с помощью работающих программ в аппаратных средствах. Программы могут быть сохранены на считываемом в компьютере носителе информации. Упомянутые выше носители информации могут представлять собой постоянное запоминающее устройство (ROM), диск или CD-ROM.
Выше описаны только предпочтительные варианты воплощения настоящего изобретения. Объем защиты настоящего изобретения, однако, не ограничен представленным выше описанием. Любое изменение или замена легко могут быть выполнены специалистом в данной области техники, если только они будут охвачены объемом защиты настоящего изобретения.