СПОСОБ И УСТРОЙСТВО ВЗАИМОДЕЙСТВИЯ С ПОЛЬЗОВАТЕЛЕМ
METHOD AND APPARATUS FOR INTERACTING WITH USER

Изобретение относится к устройству взаимодействия с пользователем, системе, содержащей устройство взаимодействия с пользователем, и способу взаимодействия с пользователем.
WO 03012618 раскрывает дисплей с сенсорным экраном, содержащий датчик обнаружения присутствия пальца или пера вблизи части дисплея. Дисплей с сенсорным экраном покрыт резистивным слоем. Альтернативно дисплей с сенсорным экраном выполняется на основе технологии поверхностной волны или емкостной технологии. На дисплее с сенсорным экраном может отображаться графическое окно. Когда датчик обнаруживает присутствие пальца пользователя вблизи дисплея, временно отображается графическое меню, а графическое окно, в котором просматривается содержимое, автоматически уменьшается в размере или перекрывается графическим меню. Графическое меню снова скрывается через заданный период времени. Для повторного отображения графического меню пользователь должен отодвинуть руку от дисплея с сенсорным экраном и снова приблизить руку к экрану.
Датчик, известный по WO 03012618, передает сигналы на центральный процессор (CPU) для управления дисплеем. Сам по себе датчик не имеет никакого средства для связи с пользователем. Для связи с пользователем требуется дисплей. В то же самое время комбинация дисплея и датчика является сложной и дорогостоящей системой.
Желательно предусмотреть устройство взаимодействия с пользователем, способное обнаруживать пользователя, взаимодействующего с устройством, и обеспечивающее обратную связь с пользователем без необходимости объединять с дорогостоящим дисплеем устройство взаимодействия с пользователем.
Устройство взаимодействия с пользователем в соответствии с настоящим изобретением содержит
- оптический модуль, имеющий слой материала, электрически переключаемого между первым визуальным состоянием и вторым визуальным состоянием, и электрический переключатель для электрического переключения материала между первым и вторым визуальными состояниями,
- детектор для обнаружения присутствия физического объекта и
- блок управления для управления электрическим переключателем в ответ на обнаружение присутствия физического объекта.
Детектор в целом выполнен с возможностью обнаружения события ввода пользователя посредством присутствия физического объекта. В зависимости от типа детектора обнаруживаются различные типы ввода пользователя. Например, вводом пользователя является касание пользователем устройства, конкретная близость, например, заданное расстояние между пользователем и устройством, конкретное местоположение на устройстве, которого касается пользователь. Физическим объектом может быть палец пользователя, перо и т.д.
Оптический модуль предусматривает визуальную обратную связь с пользователем в ответ на обнаружение присутствия физического объекта. Оптический модуль в соответствии с настоящим изобретением содержит слой материала, который изменяет свое визуальное состояние при приложении электрического поля, например некоторой разности напряжений, к материалу через электрический переключатель. Например, электрический переключатель содержит два прозрачных электрода (например, индий-олово-оксид, ITO или индий-цинк-окисел, IZO) на противоположных сторонах слоя для приложения разности напряжений к материалу. Такой оптический модуль намного дешевле, чем, например, известные дисплеи на жидких кристаллах (LCD) и с электронно-лучевой трубкой (CRT).
Слой может иметь рассеивающий материал на основе, например, PDLC (диспергированные в полимере жидкие кристаллы), жидких кристаллов с полимерной сеткой или гелей жидких кристаллов. Материал может изменять свое визуальное состояние с прозрачного состояния на рассеивающее, или наоборот, то есть с рассеивающего состояния на прозрачное. Термин "рассеивание" означает, что свет направляется в случайных направлениях. Часть окружающего света, направленного на рассеивающий слой, частично отражается благодаря диффузному отражению. Окружающим светом может быть лампа или солнечный свет в комнате, где расположено устройство. Рассеивающийся слой позволяет скрывать объекты, расположенные позади рассеивающего слоя. Наша европейская патентная заявка № 05109148, озаглавленная "An image display apparatus" (устройство отображения образов), раскрывает, как оптический модуль может использоваться для скрытия экрана дисплея, например телевизионного экрана. В дополнение к рассеивающемуся слою и электрическому переключателю оптический модуль также содержит отражающий слой, например, между экраном дисплея и рассеивающим слоем, чтобы улучшить отражение окружающего света. Наша европейская патентная заявка № 05109149 раскрывает оптический модуль (электрооптический переключатель), который может также использоваться в настоящем изобретении. В оптический модуль добавляется отражающий слой, чтобы увеличить коэффициент мультиплексирования полос адресации рассеивающего слоя.
В одном из визуальных состояний разность напряжений между электродами может быть минимальной, чтобы избежать ненужного потребления энергии. Предпочтительно оптический модуль выполняется с возможностью того, чтобы визуальное состояние материала, к которому прикладывается минимальное напряжение, соответствовало прозрачному или непрозрачному состоянию, в зависимости от того, что желательно для ситуации, когда оптический модуль не используется активно. Другое визуальное состояние материала, когда прикладывается более высокая разность напряжений, переключается, когда оптический модуль используется активно, например, когда обнаруживается взаимодействие пользователя с устройством.
В соответствии с изобретением ввод пользователя в устройство обнаруживается через присутствие физического объекта. Чтобы создать интерфейс взаимодействия с пользователем, устройство выполнено с возможностью реагировать на ввод пользователя. Обратная связь устройства с пользователем содержит изменение визуального состояния материала, например оптического рассеивающего вещества. Для этой цели устройство содержит блок управления для переключения изменения визуального состояния материала с помощью электрического переключателя в ответ на обнаружение присутствия физического объекта. Поэтому детектор и оптический модуль объединяются, чтобы создать активный интерфейс взаимодействия с пользователем без необходимости в каком-либо дополнительном устройстве отображения.
Преимущественно детектор и электрический переключатель могут быть объединены для обнаружения ввода пользователя так, чтобы сложность и стоимость устройства снизились. Такая интеграция может быть достигнута, например, используя один из электродов электрического переключателя в качестве резистивного датчика для считывания прикосновения пользователя к электроду. Электроды электрического переключателя могут использоваться в режиме чувствительности к касанию, когда разность напряжений на электродах ниже уровня, при котором материал изменяет свое визуальное состояние, и в режиме визуального переключения, когда разность напряжений выше этого уровня. Например, электрический переключатель может сначала использоваться в режиме чувствительности к касанию. После обнаружения касания электрический переключатель может функционировать в режиме визуального переключения.
Система, соответствующая настоящему изобретению, содержит устройство взаимодействия с пользователем и устройство отображения, например, дисплей LCD или CRT.
Способ взаимодействия с пользователем, соответствующий настоящему изобретению, содержит этапы, на которых
- используют оптический модуль, имеющий слой материала, электрически переключаемого между первым визуальным состоянием и вторым визуальным состоянием, и электрический переключатель для электрического переключения материала между первым и вторым визуальными состояниями,
- обнаруживают присутствие физического объекта и
- управляют электрическим переключателем в ответ на обнаружение присутствия физического объекта.
Способ описывает работу устройства в соответствии с изобретением.
Эти и другие особенности изобретения будут далее объясняться и описываться посредством примера со ссылкой на следующие чертежи:
фиг.1 - функциональная блок-схема сенсорного экрана, выполненного по резистивной сенсорной технологии;
фиг.2 - функциональная блок-схема варианта осуществления устройства в соответствии с настоящим изобретением, в котором один из электродов электрического переключателя используется для обнаружения касания пользователем;
фиг.3 - функциональная блок-схема варианта осуществления устройства в соответствии с настоящим изобретением, в котором один из электродов электрического переключателя может использоваться для обнаружения места касания пользователем;
фиг.4 - вариант осуществления способа настоящего изобретения.
С целью краткости и ясности идентичные или соответствующие компоненты и элементы устройства, соответствующие изобретению, будут иметь одни и те же обозначения или нумерацию на всех чертежах.
Существует множество известных способов обнаружения касания или близости пальца пользователя или пера к чувствительной (к касанию) поверхности. Среди известных способов основными сенсорными технологиями являются резистивная, емкостная и технология поверхностной акустической волны. Эти основные технологии предусматривают сборку сенсорной панели и контроллера. Рама для касания обычно устанавливается поверх дисплея.
На фиг.1 показан пример сборки панели сенсорного экрана, выполненного по резистивной технологии. Сборка в корпусе 100 содержит сенсорную панель 110, дисплей 180 LCD и контроллер 190.
Сенсорная панель содержит гибкий слой, имеющий абразивную и химическую резистивную пленку 1а и первое прозрачное проводящее покрытие 1b и основание, имеющее подложку 2a и второе прозрачное проводящее покрытие 2b. Пленка 1а может быть выполнена из гибкого материала, такого как прозрачная пластмассовая пленка, например оптическая полиэфирная пленка. Подложка 2a может быть выполнена из прозрачного материала, например стекла и/или полиэтилентерефталата, поликарбоната. Покрытие 1b или 2b может быть тонким слоем (полу-)прозрачного металла, например напыленного индий-олово-оксида (ITO). Гибкий слой и основание разделены изолирующими упругими прокладками, например прозрачными точечными прокладками или бусинками 3. На края между гибким слоем и основанием может дополнительно наноситься клей. Слои могут также разделяться прокладкой.
При эксплуатации линейное падение напряжения от одного края к другому, противоположному краю может применяться к любому из покрытий 1b или 2b. Другой, противоположный электрод используется как диагностический электрод для электрода, относительно которого приложено падение напряжения. Когда гибкий слой при касании сжимается, покрытия 1b и 2b входят в контакт друг с другом, чтобы образовать электрическую цепь, и напряжение определяется через электрод, который действует как диагностический электрод, в месте касания и передается на контроллер 190 для обработки.
Кроме того, контроллер 190 может содержать аналого-цифровой преобразователь и некоторую логическую схему для преобразования напряжения в координаты мест касания по осям Х и Y. Измеренное напряжение, поступающее через диагностический электрод, прямо пропорционально координате места касания. Чтобы определить X- и Y-координаты места касания, напряжение может попеременно прикладываться к покрытиям 1b и 2b. Например, сначала напряжение, измеренное на одном из покрытий, преобразуется в X-координату. Линейное падение напряжения затем прикладывается к другому покрытию, в ортогональном направлении относительно предыдущего направления падения напряжения, чтобы получить Y-координату. Резистивная технология имеет то преимущество, что она работает с любым пером, включая руки в перчатках.
Покрытие 1b или 2b может иметь параллельные проводящие полосы, ортогональные к проводящим полосам другого покрытия. Проводящие полосы могут быть выполнены, например, из материала ITO или быть проводящими чернилами.
Емкостная технология считывания может быть осуществлена с помощью сенсорной панели, например из стекла, покрытого проводящим материалом, например ITO, подключенным к источнику электроэнергии. Когда пользователь касается сенсорной панели, емкость тела пользователя может вызывать изменение характеристик емкостного поля. Электронные схемы, например, расположенные в углах сенсорной панели, измеряют искажение. X- и Y-координаты места касания могут быть вычислены, исходя из измеренного искажения. Емкостная технология считывания хорошо применима при считывании касания голым пальцем, но не пером или пальцем в перчатке. Однако перо считывается, если оно снабжено, например, резонансной катушкой. Если сенсорная панель используется вместе с дисплеем, емкостное сенсорное покрытие может обеспечиваться позади дисплея, чтобы улучшить видимость дисплея.
Технология поверхностной акустической волны использует неслышимые, например ультразвуковые, волны, распространяющиеся по поверхности сенсорной панели от одного края к другому, противоположному краю. Волны распределяются и распространяются по поверхности сенсорной панели. Благодаря различным результирующим длинам пути, волны прибывают к стороне датчика последовательно во времени. Координата соприкосновения при этом пропорциональна времени задержки, то есть задержке от места запуска волны до места ее приема на стороне датчика. При касании поверхности волна, распространяющая через место касания, частично теряет свою энергию. Это ослабление энергии затем обнаруживается, и соответствующее время задержки отмечается и переводится в координаты места касания.
В соответствии с настоящим изобретением детектор для обнаружения присутствия физического объекта используется в устройстве взаимодействия с пользователем. Детектор может быть выполнен с возможностью считывания касания или близости пользователя или объекта, подобного перу, на основе принципов резистивной технологии, емкостной технологии или технологии поверхностной акустической волны, как объяснено выше.
Для образования обратной связи с пользователем устройство взаимодействия с пользователем в соответствии с настоящим изобретением дополнительно содержит оптический блок для обеспечения визуальной реакции и блок управления для переключения визуальной реакции в ответ на обнаружение ввода пользователя.
На фиг.2 показан вариант осуществления настоящего изобретения. В этом варианте осуществления устройство 200 содержит оптический модуль 210, блок управления 290 и дополнительный дисплей 280. Оптический модуль 210 может содержать слой 5 материала, например поляризатор, пригодный для переключения его визуального состояния при приложении электрического поля, и электрический переключатель, например электроды 6a и 6b, для электрического переключения материала между его первым и вторым визуальными состояниями. Оптический блок 210 может быть снабжен подложкой 7, выполненной, например, из изолирующего материала, например, из стекла или пластмассы.
Примером слоя 5 электрически переключаемого материала является рассеивающийся слой, выполненный с возможностью беспорядочного перенаправления и произвольного отражения, по меньшей мере, части окружающего света 222, например дневного света, от источника 220 окружающего света. Для создания слоя 5 могут использоваться материалы различных типов. Например, может использоваться материал, имеющий прозрачное состояние и непрозрачное состояние, который особенно полезен в комбинации с дисплеем 280 с точки зрения эффекта скрытия. Если материал имеет прозрачное состояние, выгодно, чтобы электроды 6a и 6b были выполнены из прозрачного проводящего материала, например ITO или IZO. Материал в слое 5 может быть основан, например, на холестерических жидких кристаллах, переключаемых между диффузно отражающим, зеркально отражающим, рассеивающим и прозрачным состояниями, в зависимости от определенных условий и приложенного электрического поля. Также можно использовать слой 5 с материалом, электрически переключаемым между двумя визуально различными непрозрачными состояниями или между различными полутоновыми визуальными состояниями.
Слой 5 может быть также снабжен отражающим слоем 5a для отражения окружающего света, например назад на рассеивающий слой. Отражающий слой 5a может быть основан на поляризаторе, например рассеивающем поляризаторе, обладающем различным поведением для соответствующих направлений поляризации, или отражающем поляризаторе, как подробно раскрыто в нашей европейской патентной заявке № 05109148, озаглавленной "An image display apparatus" (устройство отображения образов). Отражающий слой 5a может быть также выполнен вне слоя 5, например между подложкой 7 и дисплеем 280.
Устройство 200 содержит детектор для обнаружения присутствия физического объекта в соответствии с резистивной технологией, реализуемой с помощью, например, простого электропроводящего элемента. Когда пользователь касается элемента, блок управления может регистрировать, например, изменение импеданса элемента. Изменение импеданса может сигнализировать о том, что пользователь взаимодействует с устройством. Электропроводящий элемент может обеспечиваться отдельно от оптического модуля 210. Однако, когда электропроводящий элемент объединяется с оптическим модулем, получается более простая и более эффективная конструкция устройства. Например, электрод 6a электрического переключателя выполняется с возможностью функционирования в качестве детектора.
В варианте осуществления, показанном на фиг.2, электроды 6a и 6b присоединяются к адаптеру 290a блока 290 управления. Адаптер 290a выполнен с возможностью приложения к электродам заданного напряжения. В режиме считывания-касания разность напряжений между электродами 6a и 6b может быть недостаточна для переключения между визуальными состояниями оптического модуля 210, но достаточна, чтобы обнаружить изменение импеданса электрода 6a. Изменение сопротивления регистрируется контроллером 290b блока 290 управления. В ответ контроллер 290b может переключить адаптер, чтобы изменить разность напряжений между электродами 6a и 6b так, чтобы материал слоя 5 переключился из одного визуального состояния в другое визуальное состояние.
Контроллер 290b может быть реализован как блок обработки данных, соответственно выполненный с возможностью осуществления настоящего изобретения и позволяющий устройству действовать так, как объяснено в данном документе. Адаптер 290a может содержать средство электропитания и электрические схемы для обеспечения подачи заданного напряжения на слой 5.
Электрод 6b электрического переключателя может содержать одну или более конструкций двигающихся электродов для переключения соответствующих частей слоя 5 между визуальными состояниями, например, посредством пассивной матрицы, назначающей адреса соответствующих электродов, как раскрыто в нашей европейской патентной заявке № 05109149. Конструкции могут также помещаться в отдельные электродные слои для создания многофункционального дисплея.
Отражающий слой 5а, преимущественно, может содержать электрически проводящий материал. Отражающий слой может быть выполнен с возможностью обнаружению близости физического объекта в соответствии с емкостной технологией считывания.
На фиг.3 показано устройство 300, отличающееся от устройства 200, показанного на фиг.2, прежде всего средством обнаружения присутствия физического объекта. Устройство 300 дополнительно содержит гибкий слой, имеющий пленку 11а и проводящее покрытие 11b. Пленка 1а может быть выполнена из гибкого и, по желанию, прозрачного материала, например, из оптической полиэфирной пленки. Проводящее покрытие также может быть прозрачным, например, за счет напыленного материала ITO. Гибкий слой и электрод 6a разделяются изолирующими упругими прокладками 12, например прозрачными точечными прокладками или бусинками.
Следует отметить, что размещение элементов на фиг.3 может отличаться от показанного. Например, пленка 11а может быть твердой подложкой, тогда как электроды 6a и 6b и слой 5 - гибким материалом. Чтобы удерживать материал на месте в слое 5, может быть предусмотрено еще одно основание между электродом 6a и слоем 5, тогда как подложка остается электрически переключаемой.
В режиме считывания-касания адаптер 390a блока 390 управления выполнен с возможностью приложения напряжения к покрытию 11b. Когда пользователь касается гибкого слоя пальцем или пером, покрытие 11b входит в контакт с электродом 6a и создается электрическая цепь. Электрический контакт переключает адаптер, чтобы сообщить сигнал на контроллер 390b блока 390 управления. Блок управления может быть выполнен с возможностью управления адаптером, чтобы прикладывать напряжение к электродам 6a и 6b для переключения слоя 5 материала из одного визуального состояния в другое. Уровень напряжения, прикладываемого к покрытию 11b и электроду 6a, выбирается в зависимости от конкретного исполнения.
Детектор может быть выполнен с возможностью обнаружения места касания, например, посредством измерения сопротивления покрытия 11b и/или электрода 6a. Например, контроллер 390b может быть выполнен с возможностью измерения сначала импеданса между точкой контакта и одним из краев покрытия 11b, используя электрод 6a в качестве датчика, чтобы определить одну координату, например X-координату. Затем импеданс измеряется снова между точкой контакта и одной из сторон, причем сторона выбирается ортогонально стороне электрода 6a, выбиравшейся при определении другой координаты, используя электрод 11b в качестве датчика. Например, если полное сопротивление R электрода 6a равно (A*R+(1-А)*R), где 0<А<1 и параметр А зависит от места касания, можно определить место касания, используя результаты измерения.
В усовершенствованном варианте осуществления контроллер 390b выполнен с возможностью управления адаптером 390a для перемещения конструкции электродов в зависимости от реакции оптического дисплея на определенное место. Например, когда устройство 300 имеет форму полоски для управления громкостью и пользователь касается полоски в середине, половина полоски показывается так, чтобы пользователь знал, что громкость установлена соответственно.
Дисплей 280 является дополнительным. Устройство 300 может быть установлено также на любой поверхности, отличной от экрана дисплея. Например, устройство 300 может закладываться в окно, стекло или пластмасса которого могут функционировать в качестве подложки 7. Такое окно может быть выгодно в автомобиле, где водитель имеет возможность касаться переднего окна для управления, для общедоступного терминала типа банкомата (устройства самообслуживания), где никакой массивный отдельный дисплей не потребуется и т.д.
Материал слоя 5 может выбираться так, чтобы одно из его визуальных состояний соответствовало или зависело от цвета окружающей среды. Например, материал может переключаться между прозрачным состоянием и серым цветом, когда устройство накладывается поверх телевизионного дисплея 280, имеющего серый корпус. Когда телевизор выключен, устройство имеет серый цвет, а когда пользователь смотрит телевизор, слой 5 прозрачен.
В одном варианте осуществления настоящего изобретения устройство выполнено с возможностью измерения давления физического объекта. Например, измеряется давление пальца или пера на электрод 6a устройства 200. Детектор, пригодный для измерения давления, может быть выполнен в соответствии с известным патентом США 5510813. В известном способе измерения давления при касании основание устройства выполнено с возможностью вызывания сужения между проводящими панелями в ответ на приложенное давление при касании. Суженое расстояние между панелями приводит в результате к изменению электрической емкости. Давление определяется по измеренной емкости.
На фиг.4 показан вариант осуществления способа настоящего изобретения. Способ содержит этап 410, на котором используют оптический модуль со слоем 5 и электрическим переключателем в качестве средства осуществления обратной связи с пользователем. На этапе 420 присутствие физического объекта обнаруживается с помощью детектора, как объяснялось со ссылкой на фиг.2 и 3. На этапе 430 электрический переключатель управляется в ответ на обнаруженное взаимодействие с пользователем так, чтобы визуальная обратная связь передавалась пользователю. Дополнительный вариант осуществления способа может быть получен в соответствии с объяснениями, данными в отношении устройства, показанного на фиг.2 и 3.
Вариации и изменения описанных вариантов осуществления возможны в пределах концепции изобретения. Например, система, соответствующая настоящему изобретению, может быть реализована в отдельном устройстве без дисплея 180 или 280.
Устройство может быть интегрировано в различные устройства бытовой электроники, такие как телевизор, видеомагнитофон, DVD-или HDD-проигрыватель, система домашнего кинотеатра, мобильный CD-плеер, устройство дистанционного управления типа устройства дистанционного управления iPronto, сотовый телефон и т.д.