УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ И ПРОГРАММА
INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAMME

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству обработки информации, способу обработки информации и программе и, в частности, к устройству обработки информации, способу обработки информации и программе, обеспечивающим возможность выполнять любые операции, используя сенсорный экран.
Описание предшествующего уровня техники
Одно из устройств дисплея представляет собой сенсорный экран (сенсорную панель), в котором предусмотрен сенсорный датчик электрического емкостного типа или сенсорный датчик типа резистивной пленки на поверхности модуля дисплея, такого как жидкокристаллический дисплей или тому подобное. С помощью такого сенсорного экрана ввод в устройство обработки информации выполняют путем прикосновения к экрану модуля дисплея, что помогает пользователю при работе с устройством обработки информации.
Для ввода информации с использованием сенсорного экрана раскрыта технология улучшения потребительских свойств (см., например, выложенную заявку на японский патент №2005-339420). В соответствии с выложенной заявкой на японский патент №2005-339420 становится возможным принимать входные данные при вычерчивании линии на сенсорном экране, отображать изображение экрана меню и переключать изображения экрана в соответствии с выполняемыми пальцем жестами, детектируемыми сенсорным экраном.
Сущность изобретения
Однако при этом возникает проблема, состоящая в том, что пользователь должен визуально распознавать отображение и проверять экран дисплея при выполнении требуемой операции. Например, когда пользователь выполняет какую-либо операцию с использованием сенсорного экрана, находящегося в сумке или в кармане, он должен вынуть устройство из сумки или кармана для того, чтобы визуально распознавать дисплей. Кроме того, для выполнения операций с устройством с использованием определенного жеста, пользователь должен удерживать устройство в фиксированной ориентации.
Настоящее изобретение было выполнено с учетом описанных выше проблем, и при этом цель его состоит в том, чтобы обеспечить новое и улучшенное устройство обработки информации, способ обработки информации и программу, позволяющие выполнять требуемую операцию при использовании панели сенсорного экрана, без визуального распознавания дисплея.
В соответствии с вариантом воплощения настоящего изобретения предложено устройство обработки информации, включающее в себя сенсорный модуль операций, с которым выполняют операции соприкосновения с помощью операторов, модуль детектирования, предназначенный для детектирования состояния прикосновения каждого из операторов, находящихся в соприкосновении с сенсорным модулем операций, модуль определения системы координат, предназначенный для определения системы координат сенсорного модуля операций в соответствии с направлением операции оператора, детектируемым модулем детектирования, модуль расчета относительного положения, предназначенный для расчета относительного положения каждого из двух или больше операторов по положению прикосновения двух или больше операторов, детектируемых модулем детектирования по дополнительной операции прикосновения, выполняемой двумя или больше операторами, и системе координат сенсорного модуля операций, определяемой модулем определения системы координат, и модуль выработки команды, предназначенный для выработки команды заданной операции на основе состояния прикосновения каждого из двух или больше операторов, детектируемых модулем детектирования, в относительном положении этих двух или больше операторов, рассчитанном модулем расчета относительного положения.
В соответствии с такой структурой детектируют состояние работы каждого из операторов, соприкасающихся с сенсорным модулем операций, для определения системы координат сенсорного модуля операций, в соответствии с направлением операции оператора. Тогда положения прикосновения двух или больше операторов, детектируемое модулем детектирования, по дополнительным операциям прикосновения, выполняемым двумя или больше операторами, и определенной системе координат, используют для расчета относительных положений двух или больше операторов. И состояния прикосновения двух или больше операторов в относительных положениях используют как основу для выработки команды заданной операции.
В соответствии с этим независимо от того, как ориентирован корпус устройства обработки информации, направления операций операторов оценивают таким образом, что пользователь может выполнять требуемые операции без учета ориентации корпуса. Следовательно, пользователь может выполнять требуемые операции с панелью сенсорного экрана без визуального распознавания корпуса или дисплея устройства обработки информации. Например, когда устройство обработки информации помещено в сумке или в кармане, пользователь может выполнять требуемые операции без необходимости вынимать устройство из кармана или сумки.
Модуль определения системы координат может определять систему координат сенсорного модуля операций в состоянии, в котором ось y представляет собой направление, параллельное направлению операции оператора, детектируемому модулем детектирования, и ось х представляет собой направление, перпендикулярное направлению операции.
Модуль определения системы координат может определять систему координат сенсорного модуля операций, когда модуль детектирования детектирует два или больше оператора, которые находятся в соприкосновении с сенсорным модулем операций, расположенные на определенном расстоянии друг от друга и перемещаемые на заданное расстояние по сенсорному модулю операций.
Модуль расчета относительного положения может рассчитывать относительное положение каждого из двух или больше операторов по положению прикосновения этих двух или больше операторов, детектируемому с помощью модуля детектирования, используя дополнительную операцию соприкосновения двух или больше операторов после того, как система координат сенсорного модуля операций будет определена с помощью модуля определения системы координат.
Устройство обработки информации может включать в себя модуль выбора режима, предназначенный для выбора первого режима, в котором ось y представляет собой вертикальное направление корпуса устройства обработки информации, и ось х представляет собой горизонтальное направление корпуса, или второго режима, в котором ось y представляет собой направление, параллельное направлению операции каждого из операторов, и ось х представляет собой направление, перпендикулярное направлению операции. Модуль выбора режима выбирает второй режим, когда модуль детектирования детектирует два или больше оператора, которые находятся в соприкосновении с сенсорным модулем операций, расположенные на заданном расстоянии друг от друга и перемещаемые на заданное расстояние по сенсорному модулю операций.
Когда модуль выбора режима выбирает второй режим, модуль определения системы координат может определять систему координат сенсорного модуля операций в соответствии с направлением операции каждого из двух или больше операторов и модуль расчета относительного положения рассчитывает относительное положение двух или больше операторов на основе системы координат сенсорного модуля операций, определенной с помощью модуля определения системы координат, и положения соприкосновения двух или больше операторов, детектируемого модулем детектирования, после того, как второй режим будет выбран модулем выбора режима. Модуль детектирования может детектировать состояние прикосновения, включающее в себя порядок прикосновения и количество прикосновений двух или больше операторов, и модуль выработки команды вырабатывает команды заданной операции в соответствии с порядком прикосновения и количеством прикосновений двух или больше операторов.
В соответствии с другим вариантом воплощения настоящего изобретения предусмотрен способ обработки информации, включающий в себя следующие этапы: детектируют состояние прикосновения каждого из операторов, которые находятся в соприкосновении с сенсорным модулем операций; определяют систему координат сенсорного модуля операций в соответствии с направлением операции каждого из детектируемых операторов; рассчитывают относительное положение каждого из двух или больше операторов по положению прикосновения этих двух или больше детектируемых операторов с помощью модуля детектирования по дополнительной операции прикосновения, выполняемой двумя или больше операторами, и системе координат сенсорного модуля операций, определяемой модулем детектирования системы координат; и вырабатывают команду заданной операции на основе состояния прикосновения каждого из двух или больше операторов, детектируемых в рассчитанном относительном положении двух или больше операторов.
В соответствии с другим вариантом воплощения настоящего изобретения, предусмотрена программа, обеспечивающая выполнение компьютером функции устройства обработки информации, включающего в себя сенсорный модуль операций, с которым выполняют операции соприкосновения с помощью операторов; модуль детектирования, предназначенный для детектирования состояния прикосновения каждого из операторов, находящихся в соприкосновении с сенсорным модулем операций; модуль определения системы координат, предназначенный для определения системы координат сенсорного модуля операций в соответствии с направлением операции оператора, детектируемым модулем детектирования; модуль расчета относительного положения, предназначенный для расчета относительного положения каждого из двух или больше операторов, по положению прикосновения двух или больше операторов, детектируемых модулем детектирования по дополнительной операции прикосновения, выполняемой двумя или больше операторами, и системе координат сенсорного модуля операций, определенной модулем определения системы координат; и модуль выработки команды, предназначенный для выработки команды заданной операции на основе состояния прикосновения каждого из двух или больше операторов, детектируемых модулем детектирования, в относительном положении этих двух или больше операторов, рассчитанном модулем расчета относительного положения.
Как описано выше, в соответствии с настоящим изобретением становится возможным выполнять требуемую операцию с использованием панели сенсорного экрана без визуального распознавания дисплея.
Краткое описание чертежей
На фиг.1 показан вид в поперечном сечении, иллюстрирующий примеры удержания устройства обработки информации в соответствии с вариантом воплощения настоящего изобретения;
на фиг.2 показана блок-схема, иллюстрирующая конфигурацию аппаратных средств устройства обработки информации в соответствии с вариантом воплощения;
на фиг.3 показана блок-схема, поясняющая функциональную структуру устройства обработки информации в соответствии с вариантом воплощения;
на фиг.4 показан пояснительный вид, поясняющий состояния прикосновения двух или больше операторов, детектируемых в соответствии с вариантом воплощения;
на фиг.5 показан пояснительный вид, поясняющий определение системы координат сенсорного модуля операций с помощью модуля определения координат в соответствии с вариантом воплощения;
на фиг.6 показана блок-схема последовательности операций, предназначенная для пояснения способа обработки информации в соответствии с вариантом воплощения;
на фиг.7 показана блок-схема последовательности операций, предназначенная для пояснения обработки определения слепого режима в соответствии с вариантом воплощения;
на фиг.8 показана блок-схема последовательности операций, представляющая обработку от детектирования состояний соприкосновения операторов до выработки команды, в соответствии с вариантом воплощения;
на фиг.9 показан пояснительный вид для пояснения предыстории операции, в соответствии с вариантом воплощения;
на фиг.10 показан пояснительный вид, предназначенный для пояснения примеров операции прикосновения двух операторов, в соответствии с вариантом воплощения;
на фиг.11 показан пояснительный вид, предназначенный для пояснения примеров операции прикосновения двумя пальцами, в соответствии с вариантом воплощения;
на фиг.12 показан пояснительный вид, предназначенный для пояснения примеров операции прикосновения тремя пальцами, в соответствии с вариантом воплощения;
на фиг.13 показан пояснительный вид, предназначенный для пояснения примеров операции прикосновения, когда два пальца используют для выполнения переключения режимов, в соответствии с вариантом воплощения;
на фиг.14 показан пояснительный вид, предназначенный для пояснения примеров операции прикосновения, когда используют три пальца для выполнения переключения режимов, в соответствии с вариантом воплощения;
на фиг.15 показан пояснительный вид, предназначенный для пояснения иерархической структуры устройства 10 обработки информации, в соответствии с вариантом воплощения; и
на фиг.16 показан пояснительный вид, предназначенный для пояснения операции прикосновения, когда предусмотрена иерархическая структура, в соответствии с вариантом воплощения.
Подробное описание изобретения
Ниже будут подробно описаны предпочтительные варианты воплощения настоящего изобретения со ссылкой на приложенные чертежи. Следует отметить, что в описании и на приложенных чертежах конструктивные элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены одинаковыми номерами ссылочных позиций и повторное пояснение этих конструктивных элементов исключено.
Кроме того, описание данного раздела "ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ" будет представлено в следующем порядке.
[1] Назначение данного варианта выполнения
[2] Конфигурация аппаратных средств устройства обработки информации
[3] Функциональная структура устройства обработки информации
[4] Работа устройства обработки информации
[5] Операция соприкосновения и пример команды
[1] Назначение данного варианта выполнения
Вначале будет представлено описание назначения настоящего варианта выполнения настоящего изобретения. Среди устройств дисплея можно упомянуть сенсорный экран (сенсорную панель), в которой предусмотрен сенсорный датчик электрического емкостного типа, или сенсорный датчик типа резистивной пленки на подложке модуля дисплея жидкокристаллического дисплея, или тому подобное. С помощью такого сенсорного экрана обеспечивается возможность ввода данных в устройство обработки информации путем прикосновения к экрану модуля дисплея, что помогает пользователю работать с устройством обработки информации.
В последние годы сенсорный экран используют не только для приема входных данных, таких как вычерчивание линий, но также и для отображения изображения экранного меню или смены изображений на экране, в соответствии с жестами пальцем, детектируемыми сенсорным экраном. Такая структура может улучшить потребительские свойства для пользователя во время ввода данных с использованием сенсорного экрана.
В предшествующем уровне техники устройством, оборудованным аппаратной кнопкой, можно было управлять для выполнения требуемой операции с возможностью нащупывать аппаратную кнопку даже в сумке или в кармане после того, как она будет разблокирована. Такую операцию выполняют в следующей последовательности.
(1) Устройство удерживают в фиксированной ориентации
(2) Нащупывают кнопку разблокирования и разблокируют
(3) Нащупывают аппаратную кнопку устройства
(4) Выполняют требуемую операцию путем нажатия на аппаратную кнопку или тому подобное
В описанных выше операциях (1)-(4) обычно аппаратной кнопке назначают каждую из функций, таких как воспроизведение, ускоренная перемотка вперед, переход на одну позицию вперед, перемотка назад, переход на одну позицию назад (ниже также называются "основными функциями") в музыкальном устройстве. Поэтому кнопками оперировали без визуального распознавания устройства даже на столе. Ниже операция, выполняемая без визуального распознавания устройства, называется "слепой операцией". Во время слепой операции устройство требуется удерживать неподвижно ориентированным, и при этом трудно нащупывать кнопку пальцами.
В устройстве, в котором используется сенсорный экран, необходимо визуально распознавать дисплей и проверять положение кнопки для выполнения операции. По этой причине слепая операция, описанная выше, весьма затруднена. Кроме того, для выполнения часто используемых основных функций необходимо удерживать устройство, визуально распознавать дисплей, разблокировать его и снова визуально распознавать дисплей. Следовательно, при работе с устройством, в котором используется сенсорный экран, пользователь должен визуально распознавать дисплей, даже когда он использует основные функции, что затрудняет выполнение операции пользователем.
Для решения описанной выше проблемы, например, было предложено использовать отдельное устройство управления с малыми размерами, установленное на устройстве так, чтобы основные функции можно было выполнять с помощью этого устройства управления с малыми размерами. Однако когда используют такое устройство управления с малыми размерами, вначале такое устройство необходимо закрепить на одежде или тому подобное, и устройство управления с малыми размерами необходимо визуально распознавать и выполнять операции с ним. Кроме того, происходит увеличение затрат при производстве такого устройства управления с малыми размерами.
Кроме того, было предложено устройство с размерами для настольного устройства, в котором используется сенсорный экран, или устройство, которым оперируют одной рукой, в то время как устройство удерживают другой рукой. В таком устройстве воспроизведением или остановкой управляют путем ввода сложных жестов. Однако устройство, оперируемое одной рукой, необходимо удерживать для выполнения операций, и поэтому диапазон операций, выполняемых пальцами, невелик, и при этом трудно вводить сложные жесты.
Как описано выше, было предложено множество способов работы с использованием сенсорного экрана, однако они были заявлены для самого устройства или дисплея, и для них требуется визуальное распознавание во время выполнения операции. Кроме того, каждую операцию требовалось выполнять, распознавая направление операции устройства. Учитывая это, когда направление операции меняется относительно устройства, содержание, которым управляет пользователь, иногда неправильно распознавалось. Следовательно, трудно управлять устройством, удерживая это устройство в произвольной ориентации.
Например, когда какую-либо операцию выполняют с использованием сенсорного экрана в сумке или в кармане, устройство необходимо вынимать из сумки или кармана для визуального распознавания дисплея, что делает операцию неудобной. Кроме того, когда устройством оперируют с использованием определенного жеста, устройство требуется удерживать в неподвижной ориентации.
Затем, учитывая описанные выше ситуации, было разработано устройство 10 обработки информации в соответствии с вариантом воплощения настоящего изобретения. При использовании устройства 10 обработки информации в соответствии с настоящим вариантом воплощения становится возможным выполнять требуемую операцию с использованием панели сенсорного экрана без визуального распознавания дисплея.
В данном варианте воплощения устройство 10 обработки информации описано на примере аудиопроигрывателя с малыми размерами или мультимедийного проигрывателя, показанного на фиг.1, или PDA (КПК, карманный персональный компьютер), портативного телефона. Однако настоящее изобретение не ограничивается этим, и его можно применять в персональном компьютере или тому подобное. Кроме того, устройство обработки информации выполнено как единое устройство с устройством дисплея, таким как дисплей. Однако настоящее изобретение не ограничивается этим, и устройство 10 обработки информации может быть выполнено отдельно от устройства дисплея.
Кроме того, как показано в примерах 502 и 504 удержания на фиг.1, пользователь может прикасаться к сенсорному экрану, используя два или больше пальцев, удерживая устройство 10 обработки информации одной рукой. Как показано в примерах 502 и 504 удержания, ориентация пальцев отличается в зависимости от того, как пользователь удерживает устройство 10 обработки информации. Другими словами, в примере 502 удержания, ориентация пальцев пользователя параллельна вертикальной ориентации корпуса устройства 10 обработки информации, в то время как в примере 504 удержания, ориентация пальцев пользователя не является вертикальной и не параллельна корпусу устройства 10 обработки информации.
Когда устройство 10 обработки информации находится в сумке или в кармане, пользователь удерживает устройство 10 обработки информации, как показано в примере 502 удержания или в примере 504 удержания. Если устройство 10 обработки информации необходимо удерживать в фиксированной ориентации, пользователь должен вынуть устройство 10 обработки информации из сумки или кармана и проверить направление корпуса и дисплея. Однако для устройства 10 обработки информации в соответствии с данным вариантом воплощения становится возможным выполнять требуемую операцию, используя панель сенсорного экрана, без удержания устройства 10 обработки информации в фиксированной ориентации.
[2] Конфигурация аппаратных средств устройства обработки информации
Ниже приведено описание, со ссылкой на фиг.2, конфигурации устройства 10 обработки информации в соответствии с настоящим вариантом воплощения. На фиг.2 показана блок-схема, представляющая конфигурацию аппаратных средств устройства 10 обработки информации, в соответствии с настоящим вариантом воплощения.
Как показано на фиг.2, устройство 10 обработки информации имеет CPU (ЦПУ, центральное процессорное устройство) 101, ROM (ПЗУ, постоянное запоминающее устройство) 102, RAM (ОЗУ, оперативное запоминающее устройство) 103, главную шину 104, мост 105, внешнюю шину 106, интерфейс 107, устройство 108 ввода, устройство 109 вывода, устройство 110 накопитель (HDD, ПЖД, привод жесткого диска), привод 111 и устройство 112 передачи данных.
ЦПУ 101 выполняет функцию устройства выполнения операций или устройства управления и управляет общей работой устройства в обработки информации 10 соответствии с различными программами. Кроме того, ЦПУ 101 может быть выполнено как микропроцессор. В ПЗУ 102 сохраняют программы, используемые ЦПУ 101, параметры операций и т.п. В ОЗУ 103, в основном, сохраняют программы, используемые для выполнения ЦПУ 101, и параметры, которые меняются соответствующим образом, во время их выполнения. Они соединены друг с другом с помощью главной шины 104, которая представляет собой шину ЦПУ или тому подобное.
Главная шина 104 соединена с внешней шиной 106, такой как шина PCI (МПК, межсоединение периферийных компонентов/Интерфейс) через мост 105. Здесь главная шина 104, мост 105 и внешняя шина 106 не обязательно выполнены как отдельное устройство и могут быть выполнены как одна шина, выполняющая функции этих шин.
Устройство 108 ввода выполнено так, что оно содержит средство ввода для ввода информации пользователя, такое как "мышь", клавиатура, сенсорный экран, кнопка, микрофон, переключатель и рычаг, и схему управления вводом для генерирования входного сигнала на основе входной операции пользователя и вывода этого сигнала в ЦПУ 101. Пользователь устройства 10 обработки информации выполняет операции с устройством 108 ввода, таким образом вводя различные данные в устройство 10 обработки информации, и задает инструкции для выполняемых операций.
В данном варианте воплощения операцию пользователя, в основном, принимают путем детектирования оператора, такого как палец пользователя, с помощью сенсорного экрана. Сенсорный экран имеет две функции: дисплея и ввода данных. Сенсорный экран в соответствии с настоящим вариантом воплощения выполнен с возможностью не только принимать входные данные, такие как вычерчивание линий при выполнении операций пальцем пользователя или тому подобное, но также и детектировать жест, выполняемый двумя или больше пальцами пользователя. Другими словами, сенсорный экран представляет собой устройство ввода, выполненное с возможностью детектировать две или больше множественных точек соприкосновения. В качестве способа детектирования точки соприкосновения можно использовать любой способ, пригодный для детектирования информации о положении операторов на дисплее, например, с помощью устройства типа резистивной пленки, в котором используется тонкая металлическая пленка, формирующая прозрачный электрод, и системы электрической емкости для детектирования положения путем детектирования изменения электрической емкости между концом пальца и электропроводной пленкой.
Устройство 109 вывода выполнено так, что оно включает в себя, например, устройство дисплея, такое устройство дисплея CRT (ЭЛТ, электронно-лучевая трубка), устройство LCD (ЖКД, жидкокристаллический дисплей), устройство OLED (ОИСД, органический излучающий свет дисплей) и лампа, и устройство вывода звука, такое как громкоговоритель и головной телефон. Устройство 109 вывода, например, выводит воспроизводимое содержание. В частности, устройство дисплея отображает различную информацию, такую как изображение экранного меню и данные воспроизводимого изображения в форме текста или изображения, в то время как устройство вывода звука преобразует воспроизводимые аудиоданные и т.п. в звук для его вывода.
Устройство 110 накопитель представляет собой устройство для сохранения данных и выполнено, например, как накопитель устройства 10 обработки информации в соответствии с настоящим вариантом воплощения. Устройство 110 накопитель может включать в себя носитель записи, устройство записи, предназначенное для записи данных на носителе записи, устройство считывания, предназначенное для считывания данных с носителя записи, устройство удаления, предназначенное для удаления данных, записанных на носителе записи, и т.п. Устройство 110 накопитель выполнено так, что оно включает в себя, например, ПЖД (привод жесткого диска). Такое устройство 110 накопитель выполняет привод жесткого диска и сохраняет программы, выполняемые ЦПУ 101, и различные данные.
Привод 111 представляет собой устройство считывания/записи для носителя записи и выполнен как единое целое с устройством 10 обработки информации или как внешнее устройство для устройства 10 обработки информации. Привод 111 считывает информацию, записанную на съемном носителе 120 записи, установленном в нем, таком как магнитный диск, оптический диск, магнитооптический диск, полупроводниковое запоминающее устройство или тому подобное, и выводит эту информацию в ОЗУ 103.
Устройство 112 передачи данных представляет собой интерфейс передачи данных, выполненный так, что он включает в себя, например, устройство передачи данных, предназначенное для соединения с системой 121 передачи данных или тому подобное. Кроме того, устройство 112 передачи данных может представлять собой любое устройство передачи данных, совместимое с беспроводной LAN (ЛВС, локальная вычислительная сеть), беспроводным устройством передачи данных, совместимым с шиной USB (УПШ, универсальная последовательная шина), и проводным устройством передачи данных для передачи данных по кабелю. Такое устройство 112 передачи данных выполняет передачу и прием различных данных с внешним устройством через сеть 121 передачи данных.
[3] Функциональная структура устройства обработки информации
До настоящего момента конфигурация аппаратных средств устройства 10 обработки информации в соответствии с настоящим вариантом воплощения была описана со ссылкой на фиг.2. Ниже приведено описание, со ссылкой на фиг.3, функций устройства 10 обработки информации в соответствии с настоящим вариантом воплощения.
На фиг.3 показана блок-схема, представляющая функциональную структуру устройства 10 обработки информации в соответствии с настоящим вариантом воплощения. Как показано на фиг.3, устройство 10 обработки информации в соответствии с настоящим вариантом воплощения имеет, в основном, сенсорный модуль 202 операций, модуль 204 детектирования, модуль 206 выбора режима, модуль 208 определения системы координат, модуль 210 расчета относительного положения, модуль 212 выработки команды и т.п.
Сенсорный модуль 202 операций и модуль 204 детектирования представляют собой примеры описанного выше сенсорного экрана. Сенсорный модуль 202 операций представляет собой модуль дисплея сенсорного экрана, и с ним выполняют сенсорные операции, используя, по меньшей мере, два оператора. По меньшей мере, два оператора могут представлять собой, например, пальцы пользователя, руки, стайлус или тому подобное. Однако приведенное описание основано на использовании двух или больше пальцев пользователя как операторов.
Модуль 204 детектирования имеет функцию детектирования состояний соприкосновения двух или больше операторов, которые соприкасаются с сенсорным модулем 202 операций. Модуль 204 детектирования представляет детектируемые состояния прикосновения двух или больше операторов в модуль 206 выбора режима, или в модуль 208 определения системы координат. Состояния прикосновения двух или больше операторов, детектируемые модулем 204 детектирования, включают в себя порядок прикосновения двух или больше операторов, положения прикосновения, количество прикосновений, время прикосновения и т.п. Здесь со ссылкой на фиг.4 будут описаны состояния прикосновения двух или больше операторов, детектируемых модулем 204 детектирования.
На фиг.4 показан пояснительный вид, поясняющий состояния прикосновения двух или больше операторов, детектируемые модулем 204 детектирования. Как показано на фиг.4, модуль 204 детектирования получает количество прикосновений (время прикосновения), положения точек соприкосновения операторов, где ось y представляет собой вертикальное направление корпуса устройства 10 обработки информации и ось х представляет горизонтальное направление корпуса и т.п., и затем получает массив 402 данных. Численные значения в массиве 402 данных обозначают силу соприкосновения оператора, и большее числовое значение представляет более сильное соприкосновение. Состояние соприкосновения можно детектировать, включая в себя количество соприкосновений операторов, центр соприкосновения и т.п., путем получения, например, двадцати частей данных в секунду.
Как снова показано на фиг.3, модуль 206 выбора режима, в который передают результаты детектирования из модуля 204 детектирования, выполняет выбор режима на основе детектируемых состояний соприкосновения, из слепого режима или нормального режима. Слепой режим представляет собой режим, когда пользователь выполняет операции без визуального распознавания дисплея и корпуса устройства 10 обработки информации. В частности, он представляет собой режим, в котором ось y представляет собой направление, параллельное направлению операции, выполняемой двумя или больше операторами, и ось х представляет собой направление, вертикальное относительно направления операции. Этот режим представляет пример второго режима настоящего изобретения.
Затем нормальный режим представляет собой режим, когда пользователь выполняет операции во время визуального распознавания корпуса и дисплея устройства 10 обработки информации. В частности, этот режим представляет собой режим, в котором ось y представляет вертикальное направление для корпуса устройства 10 обработки информации и ось х представляет горизонтальное направление относительно корпуса. Такой режим представляет пример первого режима настоящего изобретения. Когда результат детектирования модуля 204 детектирования представляет, что два или больше оператора находятся в соприкосновении с сенсорным модулем 202 операций и расположены с заданным промежутком, установленным между ними, и они движутся на заданное расстояние по сенсорному модулю 202 операций, модуль 206 выбора режима может определить, что этот режим представляет собой слепой режим. Модуль 206 выбора режима уведомляет модуль 208 определения системы координат о том, представляет ли собой данный режим нормальный режим (первый режим), слепой режим (второй режим) или нет.
Модуль 208 определения системы координат имеет функцию определения системы координат сенсорного модуля 202 операций в соответствии с направлением операции двух или больше операторов, детектируемым модулем 204 детектирования. Кроме того, модуль 208 определения системы координат может быть выполнен с возможностью определения системы координат сенсорного модуля 202 операций, когда он получает уведомление о слепом режиме из модуля 206 выбора режима. Определение системы координат сенсорного модуля 202 операций с помощью модуля 208 определения системы координат описано со ссылкой на фиг.5.
На фиг.5 показан вид, представленный с целью пояснения определения системы координат сенсорного модуля 202 операций с помощью модуля 208 определения системы координат. Как показано в состоянии 506 соприкосновения на фиг.5, два или больше оператора 20, то есть два пальца пользователя, движутся в направлении, показанном направлением 30 соприкосновения на сенсорном модуле 202 операций. Модуль 208 определения системы координат определяет систему координат путем установки направления параллельно направлению 30 операции операторов 20 в качестве оси y и направления, вертикального относительно направления 30 операции, как ось х.
Возвращаясь к фиг.3, модуль расчета 210 относительного положения имеет функцию определения относительного положения двух или больше операторов среди рабочих положений двух или больше операторов, детектируемых модулем 204 детектирования, и системы координат сенсорного модуля 202 операций, определяемой модулем 208 определения системы координат. Модуль 210 расчета взаимного положения может быть выполнен с возможностью расчета относительного положения двух или больше операторов по положениям соприкосновения двух или больше операторов, детектируемым модулем 204 детектирования, после определения системы координат сенсорного модуля 202 операций, определяемого с помощью модуля 208 определения системы координат. Кроме того, модуль 210 расчета относительного положения может быть выполнен с возможностью расчета относительных положений двух или больше операторов по положениям соприкосновения двух или больше операторов, детектируемым модулем 204 детектирования, и системы координат сенсорного модуля 202 операций, определяемой модулем 208 определения системы координат, после того, как слепой режим (второй режим) будет выбран модулем 206 выбора режима.
Модуль 212 выработки команды имеет функцию выработки команды заданной операции на основе состояния прикосновения двух или больше операторов, детектируемых модулем 204 детектирования в относительных положениях двух или больше операторов, рассчитываемых модулем 210 расчета относительного положения. Модуль 212 выработки команды определяет команду для операции, выполняемой с помощью заданной функции устройства 10 обработки информации, из комбинации относительных положений этих двух или больше операторов и состояний соприкосновения операторов. Заданная функция устройства 10 обработки информации может представлять собой воспроизведение музыки, остановку, ускоренную перемотку вперед, перемотку назад, переход на одну позицию вперед, переход на одну позицию назад и другие функции, в случае когда устройство 10 обработки информации представляет собой устройство, имеющее функцию воспроизведения музыки. Команда, вырабатываемая модулем 212 выработки команды, будет подробно описана ниже.
[4] Работа устройства обработки информации
До настоящего момента была описана функциональная структура устройства 10 обработки информации. Ниже приведено описание со ссылкой на фиг.6-8 способа обработки информации устройства 10 обработки информации. На фиг.6 показана блок-схема последовательности операций, предназначенная для пояснения способа обработки информации устройства 10 обработки информации.
Вначале модуль 204 детектирования детектирует состояние соприкосновения двух или больше операторов (S102). Затем модуль 206 выбора режима определяет, представляет ли собой данный режим нормальный режим или слепой режим (S104). Здесь приведено описание со ссылкой на фиг.7 деталей обработки определения, представляет ли собой данный режим слепой режим или нет, выполняемой на этапе S104 по фиг.6. На фиг.7 показана блок-схема последовательности операций, поясняющая обработку определения слепого режима. На фиг.7 операторы представляют собой два оператора.
Как показано на фиг.7, первый модуль 204 детектирования определяет, находятся ли две точки прикосновения двух операторов в соприкосновении с сенсорным модулем 202 операций или нет (S202). На этапе S202, если определяют, что две точки прикосновения двух операторов не находятся в соприкосновении с сенсорным модулем 202 операций, сохраняют текущий режим (S216).
На этапе S202, если определяют, что две точки прикосновения двух операторов находятся в соприкосновении с сенсорным модулем 202 операций, рассчитывают расстояния перетягивания двух точек соприкосновения (S204). Расстояния перетягивания, рассчитанные на этапе S204, представляют собой расстояние перемещения двух операторов по сенсорному модулю 202 операций. Затем определяют, равно ли или превышает расстояние перетягивания, рассчитанное на этапе S204, пороговое значение (S206).
Пороговое значение на этапе S206 представляет собой, например, приблизительно 30 мм, однако это значение может быть изменено в соответствии с размером корпуса устройства 10 обработки информации. Когда на этапе S206 определяют, что расстояние перетягивания равно или больше, чем пороговое значение, режим переключают путем выполнения обработки этапа 208 и следующих после него этапов. Таким образом, когда расстояние перетягивания двух операторов равно или больше, чем пороговое значение, операция двух операторов означает инструкции переключения режимов. Инструкции переключения режимов представляют собой инструкции на переключение нормального режима в слепой режим и переключение слепого режима в нормальный режим.
На этапе S206, когда расстояние перетягивания равно или больше, чем пороговое значение, определяют, представляет ли собой текущий режим слепой режим или нет (S208). Когда расстояние перетягивания составляет пороговое значение или меньше на этапе S206, сохраняют текущий режим (S216).
На этапе S208, если определяют, что текущий режим представляет собой слепой режим, передают инструкции нормального режима для переключения в нормальный режим (S214). С другой стороны, если на этапе S208 определяют, что текущий режим не представляет собой слепой режим, основание системы координат слепого режима рассчитывают для переключения в слепой режим (S210). Затем вырабатывают инструкцию для входа в слепой режим для определения основания системы координат сенсорного модуля 202 операций (S212).
Возвращаясь к фиг.6, на этапе S104 модуль 206 выбора режима определяет, что текущий режим представляет собой слепой режим, когда результат детектирования состояния прикосновения на этапе S102 показывает, что два или больше оператора находятся в соприкосновении и расположены на заданном расстоянии друг от друга и что их перемещают на заданное расстояние по сенсорному модулю операций.
Когда на этапе S104 определяют слепой режим, модуль 208 определения системы координат определяет систему координат сенсорного модуля 202 операций (S106). Затем модуль 210 расчета относительного положения использует систему координат сенсорного модуля 202 операций, определенную на этапе S106, и положения соприкосновения двух или больше операторов для определения относительных положений двух или больше операторов (S108). На этапе S104 определяют, что режим не представляет собой слепой режим, то есть, когда определяют, что текущий режим представляет собой нормальный режим, положения соприкосновения двух или больше операторов рассчитывают, как обычно, предполагая, что ось y представляет собой вертикальное направление корпуса и ось х представляет горизонтальное направление (S110).
Затем модуль 204 детектирования детектирует состояния прикосновения двух или больше операторов (S112). После чего модуль 212 выработки команды вырабатывает команду заданной операции на основе состояния прикосновения, детектированного на этапе S112 в относительных положениях, рассчитанных на этапе S108. Когда на этапе S104 определяют нормальный режим, команду заданной операции вырабатывают на основе состояния прикосновения в положении, рассчитанном на этапе S110 (S114).
Далее со ссылкой на фиг.8 подробно поясняется детектирование состояний соприкосновения операторов на этапе S112 и выработка команды. На фиг.8 показана блок-схема последовательности операций, представляющая поток обработки детектирования состояний соприкосновения операторов до обработки выработки команды. Как показано на фиг.8, вначале определяют, находятся ли операторы в соприкосновении с сенсорным модулем 202 операций или нет (S302). На этапе S302, когда определяют, что операторы находятся в соприкосновении с сенсорным модулем 202 операций, определяют, меняется или нет количество операторов (S304). На этапе S302, когда определяют, что операторы не находятся в соприкосновении с сенсорным модулем 202 операций, команду не выводят (S312).
На этапе S304, если определяют, что количество операторов не меняется, обновляют предысторию операции, состоящую из данных 402 предыстории операции (S306).
На этапе S304, если определяют, что количество операторов, находящихся в соприкосновении с сенсорным модулем 202 операций, меняется, команду распознают на основе данных предыстории операции (S308). Затем команду, распознанную на этапе S308, выводят (S310).
Далее со ссылкой на фиг.9 будет описано распознание команды на этапе S308. На фиг.9 представлен пояснительный вид, предназначенный для пояснения данных 402 предыстории операции. Как показано на фиг.9, в примере 410 данных предыстории операции, время, в которое указательный палец (первый оператор) входит в соприкосновение, устанавливают как начало 1. Затем в заданный момент времени средний палец (второй оператор) входит в соприкосновение, и момент времени, в который время соприкосновения среднего пальца равно или меньше, чем заданное время, устанавливают как начало 2. В примере 410 данных предыстории операции команду "переход на одну позицию вперед" вырабатывают в момент начала 2. Таким образом, когда количество пальцев, находящихся в соприкосновении, меняется, например, как 1, 2 и затем 1, вырабатывают команду "переход на одну позицию вперед".
Далее поясняется пример 412 данных предыстории операции. В примере 412 данных предыстории операции момент времени, в который указательный палец (первый оператор) входит в соприкосновение, устанавливают как начало 1. Затем в заданный момент времени средний палец (второй оператор) входит в соприкосновение, и момент времени, в который время соприкосновения среднего пальца равно или меньше, чем заданное время, устанавливают как начало 2. В примере 412 предыстории операции, если средний палец остается в соприкосновении в течение заданного времени после прохода через момент начала 2, вырабатывают команду "ускоренной перемотки вперед" в течение периода времени, когда средний палец находится в соприкосновении.
[5] Примеры операции контакта и команды
Вплоть до этого момента был описан способ обработки информации устройства 10 обработки информации. Далее приведено описание со ссылкой на фиг.10-16 примеров команд, вырабатываемых модулем 212 выработки команды. На фиг.10 представлен пояснительный вид, предназначенный для пояснения примеров операции прикосновения, выполняемой двумя операторами. На фиг.10 два оператора описаны как указательный палец и средний палец. Пример 21 операции прикосновения представляет состояние, в котором указательный палец используют для касания и перетягивания по поверхности соприкосновения, когда средний палец не соприкасается с нею. Здесь касание/перетягивание означает действие перетягивания и касания поверхности соприкосновения пальцем.
Пример 22 операции прикосновения представляет указательный палец и средний палец, которые используются для одновременного постукивания о сенсорную поверхность. Здесь постукивание представляет собой действие постукивания или похлопывания по сенсорной поверхности пальцем. Пример 23 операции прикосновения представляет сенсорную поверхность, по которой последовательно постукивают указательным пальцем и средним пальцем в указанном порядке. Пример 24 операции прикосновения представляет сенсорную поверхность, по которой два раза постукивают одновременно указательным пальцем и средним пальцем.
Дальнейшее описание приведено со ссылкой на фиг.11 и представляет примеры операции прикосновения двумя пальцами. На фиг.11 показан пояснительный вид, поясняющий примеры операции прикосновения двумя пальцами. Как показано на фиг.11, пример операции 25 соприкосновения представляет два пальца, используемые для касания и перетягивания сенсорной поверхности. Например, указательный палец и средний палец перемещают горизонтально поочередно или только указательный палец используют для касания и перетягивания экрана, в то время как средний палец находится в соприкосновении. Средний палец и указательный палец можно одновременно использовать для касания и перетягивания экрана.
Пример 26 операции прикосновения представляет постукивание, выполняемое только двумя пальцами. Например, указательный палец и средний палец используют для постукивания по экрану одновременно или поочередно. Кроме того, пример 27 операции прикосновения представляет сенсорную поверхность, по которой постукивают и по которой выполняют касание/перетягивание либо указательным пальцем, либо средним пальцем. Например, указательный палец или средний палец используют только для касания/перетягивания экрана или указательный палец или средний палец используют только для постукивания по экрану.
Следующее описание приведено со ссылкой на фиг.12 и относится к примерам операции прикосновения тремя пальцами. На фиг.12 представлен пояснительный вид, поясняющий примеры операции прикосновения тремя пальцами. Как показано на фиг.12, пример 28 операции прикосновения представляет сенсорную поверхность, по которой выполняют касание/перетягивание двумя или тремя пальцами, такими как указательный палец, средний палец и безымянный палец. Например, касание/перетягивание средним пальцем и постукивание безымянным пальцем можно выполнять одновременно, или средний палец и безымянный палец используются одновременно для касания и перетягивания.
В примере 29 операции контакта показано постукивание сенсорной поверхности двумя или тремя пальцами. Например, указательный палец и безымянный палец используют для постукивания по экрану одновременно, или средний палец и безымянный палец используют для постукивания по экрану пальцами поочередно. Пример 30 операции прикосновения представляет сенсорную поверхность, по которой выполняют касание/перетягивание или по которой постукивают одним из трех пальцев. Например, только указательный палец используют для постукивания по поверхности, или только безымянный палец используют для касания/перетягивания экрана.
Пример 31 операции прикосновения представляет касание/перетягивание, которое выполняют с использованием любого из трех пальцев. Например, только указательный палец используют для касания/перетягивания поверхности, в то время как средний и безымянный пальцы находятся в контакте с сенсорной поверхностью. Или средний и безымянный пальцы используют для касания/перетягивания поверхности, в то время как указательный палец находится в соприкосновении с сенсорной поверхностью. Пример 32 операции прикосновения и пример 33 операции прикосновения представляют состояние, в котором по сенсорной поверхности постукивают тремя пальцами. Например, указательный палец и средний палец используются одновременно для постукивания по поверхности, и затем безымянный палец используют для постукивания по поверхности. Или три пальца используют для постукивания по поверхности поочередно, один за другим.
Ниже приведено описание со ссылкой на фиг.13 примеров переключения режимов или тому подобное с помощью двух пальцев. Как показано на фиг.13, пример 41 операции прикосновения представляет переключение режима с использованием касания/перетягивания двумя пальцами одновременно. Например, когда два пальца используют для касания/перетягивания поверхности сверху вниз, включается слепой режим. Когда два пальца используют для касания/перетягивания поверхности снизу вверх, слепой режим может быть выключен.
В примере 42 операции прикосновения представлены воспроизведение и остановка воспроизведения музыкального содержания в результате двойного постукивания по сенсорной поверхности одним из двух пальцев или одновременного постукивания двумя пальцами. Например, для воспроизведения музыки выполняют двойное постукивание по сенсорному экрану только указательным пальцем и для остановки воспроизведения музыкального содержания выполняют постукивание по поверхности указательным пальцем и средним пальцем одновременно.
Пример 43 операции прикосновения и пример 44 операции прикосновения представляют выполнение "ускоренной перемотки вперед", "перехода на одну позицию вперед", "обратной перемотки", "перехода на одну позицию назад" музыкального содержания, которые выполняют путем постукивания по сенсорной поверхности двумя пальцами, один за другим. Например, для включения "ускоренной перемотки вперед" или "переход на одну позицию вперед" по поверхности постукивают указательным пальцем и средним пальцем в указанном порядке. Для "обратной перемотки" и "перехода на одну позицию назад" по поверхности постукивают средним пальцем и указательным пальцем в данном порядке. В примере 45 операции прикосновения представлено повышение или понижение громкости путем касания/перетягивания сенсорной поверхности любым из двух пальцев. Например, для увеличения громкости используют указательный палец, которым касаются/перетягивают поверхность снизу вверх. Для уменьшения громкости используют указательный палец для касания/перетягивания по поверхности сверху вниз.
Следующее описание приведено со ссылкой на фиг.14, на которой представлен пример операции прикосновения, в котором используют три пальца для переключения режима и тому подобное. Как показано на фиг.14, в примере 46 операции прикосновения представлено состояние, в котором три пальца одновременно используют для касания и перетягивания по экрану для переключения режимов. Например, когда три пальца используются для касания и перетягивания экрана сверху вниз, может включаться слепой режим. Когда три пальца используются для касания и перетягивания экрана снизу вверх, слепой режим может выключаться.
В примере 47 операции прикосновения представлено воспроизведение и остановка воспроизведения музыкального содержания путем двойного постукивания по сенсорному экрану тремя пальцами одновременно или один за другим. Например, для воспроизведения музыки используют указательный палец и безымянный палец, которыми постукивают по поверхности одновременно, и затем средний палец используют для постукивания по поверхности. Для остановки воспроизведения музыкального содержания используют средний палец, которым постукивают по поверхности, и затем указательный палец и безымянный палец используют для постукивания по поверхности одновременно.
Пример 48 операции прикосновения и пример 49 операции прикосновения представляют состояние, в котором выполняют "ускоренную перемотку вперед", "переход на одну позицию вперед", "обратную перемотку", "переход на одну позицию назад" музыкального содержания в результате постукивания по сенсорной поверхности тремя пальцами одновременно или одним за другим. Например, для "ускоренной перемотки вперед" или "перехода на одну позицию вперед" используют указательный палец и средний палец, которыми постукивают по поверхности одновременно, и затем используют безымянный палец, которым постукивают по поверхности. Для "обратной перемотки" и "перехода на одну позицию назад" используют средний палец и безымянный палец, которыми одновременно постукивают по поверхности, и затем используют указательный палец, которым постукивают по поверхности. Пример 50 операции прикосновения представляет увеличение или уменьшение громкости с помощью касания/перетягивания сенсорной поверхности любым из трех пальцев. Например, для увеличения громкости используют средний палец, которым касаются/перетягивают поверхность снизу вверх, в то время как указательный палец и безымянный палец находятся в соприкосновении с поверхностью. Для понижения громкости используют средний палец, которым касаются/перетягивают поверхность сверху вниз, в то время как указательный палец и безымянный палец находятся в соприкосновении с поверхностью.
Далее приведено описание, со ссылкой на фиг.15 и 16 операции прикосновения, в которой устройство 10 обработки информации имеет иерархическую структуру, аналогичную интерфейсу пользователя типичного приложения, для воспроизведения музыкального содержания (ниже называется "приложением воспроизведения музыкального содержания"). В следующем описании предполагается, что используют три пальца для изменения диапазона выбора иерархии и перемещения вверх и вниз по иерархической структуре.
На фиг.15 показан пояснительный вид, поясняющий содержание, сохраненное в иерархической структуре. Как показано на фиг.15, структура имеет уровни, такие как сверху вниз: Жанр, Артист, Альбом, Песня и Список воспроизведения в указанном порядке. Пользователь выполняет операцию соприкосновения двумя или тремя пальцами, обеспечивая таким образом возможность изменения диапазона выбора или перемещения на более высокий или более низкий уровень.
Со ссылкой на фиг.16 будет приведено описание, поясняющее примеры операции прикосновения для изменения цели выбора или перемещения на другой уровень. На фиг.16 показаны примеры 52-54 операции прикосновения, которые представляют собой пояснительные виды для пояснения операции прикосновения пользователя двумя пальцами. Пример 52 операции прикосновения представляет изменение цели выбора с помощью соприкосновения двумя пальцами, одним за другим. Например, сначала указательный палец используют для касания, после чего следует непрерывное касание средним пальцем, в результате чего выполняют переход на одну позицию вперед на одну цель выбора, или вначале используют указательный палец для прикосновения, после чего выполняют постукивание средним пальцем, в результате чего последовательно выполняют переход вперед по целям выбора.
Пример 53 операции прикосновения представляет перемещение на более высокий уровень в результате постукивания двумя пальцами одновременно. Например, указательный палец и средний палец одновременно используют для постукивания по экрану, в результате чего перемещаются на более высокий уровень. Пример 54 операции прикосновения представляет перемещение на более низкий уровень в результате двойного постукивания любым из двух пальцев. Например, используют только указательный палец для двойного постукивания по экрану для перемещения на более низкий уровень.
Примеры 55-57 операции прикосновения, показанные на фиг.16, представляют собой пояснительные виды, предназначенные для пояснения операции прикосновения пользователя тремя пальцами. Пример 55 операции прикосновения представляет изменения цели выбора путем прикосновения тремя пальцами одновременно или одним за другим. Например, указательный палец и средний палец используют одновременно для прикосновения к экрану, после чего следуют непрерывные прикосновения безымянным пальцем, в результате чего выполняют переход на одну позицию вперед на одну цель выбора, или средний палец и безымянный палец используют для прикосновения к экрану, после чего выполняют постукивание указательным пальцем, в результате чего постоянно выполняют переход на одну позицию вперед по целям выбора.
В примере 56 операции прикосновения представлено перемещение на более высокий уровень в результате двойного постукивания или постукивания тремя пальцами. Например, три пальца используют одновременно для прикосновения к экрану и затем указательный палец используют для двойного постукивания по экрану, после чего следует постукивание средним пальцем и безымянным пальцем, в результате чего выполняют переход на более высокий уровень. В примере 57 операции прикосновения показано перемещение на более низкий уровень с использованием двойного постукивания или постукивания тремя пальцами. Например, три пальца используют одновременно для прикосновения к экрану и затем указательный палец и средний палец используют для постукивания по экрану, после чего выполняют двойное постукивание безымянным пальцем для перемещения таким образом на более низкий уровень. Выше были описаны примеры операции прикосновения и команды.
С помощью устройства 10 обработки информации в соответствии с данным вариантами воплощения детектируют состояние операций двух или больше операторов, находящихся в соприкосновении с сенсорным модулем 202 операций, для определения системы координат сенсорного модуля 202 операций в соответствии с направлением операции двух или больше операторов. Затем определенную систему координат и положения соприкосновения двух или больше операторов используют для расчета взаимных положений двух или больше операторов и состояния прикосновения двух или больше операторов в относительных положениях используют как основу для выработки различных команд для операций.
При использовании такой структуры независимо от того, как ориентирован корпус устройства 10 обработки информации, направления операции операторов определяют так, что пользователь может выполнять требуемые операции без учета ориентации корпуса. Следовательно, пользователь может выполнять требуемые операции с панелью сенсорного экрана без визуального распознавания корпуса или дисплея устройства 10 обработки информации. Например, когда устройство 10 обработки информации находится в сумке или в кармане, пользователь может выполнять требуемые операции, без необходимости вынимать устройство из кармана или сумки.
Для специалистов в данной области техники будет понятно, что различные изменения, комбинации, подкомбинации и изменения могут возникать в зависимости от конструктивных требований и других факторов, если только они находятся в пределах объема приложенной формулы изобретения или ее эквивалентов.
Например, данный вариант воплощения был описан в качестве примера, в котором пользователь может выполнить требуемые операции без визуального распознавания корпуса и дисплея устройства 10 обработки информации. Однако настоящее изобретение не ограничивается этим примером. Например, когда работает другое приложение, кроме приложения, предназначенного для воспроизведения музыкального содержания (ниже называется "приложением воспроизведения музыкального содержания"), операции по воспроизведению и остановке воспроизведения музыкального содержания и т.п. можно выполнять без переключения отображаемого приложения. Другими словами, когда работает другое приложение, кроме приложения воспроизведения музыкального содержания, описанные выше специфические операции, выполняемые операторами, можно выполнять для переключения в слепой режим и детектирования операции, выполняемой операторами. Поскольку операцию, выполняемую операторами, детектируют после переключения в слепой режим, другое приложение, кроме приложения воспроизведения музыкального содержания, может продолжить свою работу при воспроизведении, остановке музыкального содержания и т.п.
Настоящая заявка содержит предмет изобретения, раскрытый в приоритетной заявке на японский патент JP 2008-280021, поданной в японское патентное ведомство 30 октября 2008 г., полное содержание которой приведено здесь в качестве ссылочного материала.