Новые сенсорные технологии для компьютерных устройств ввода

Новые сенсорные технологии

для компьютерных устройств ввода

Александр САМАРИН

В статье приведен обзор нескольких технологий создания сенсорных экранов для использования в компьютерной технике.

При разработке сенсорных экранов с использованием накладных сенсорных пластин очень важно обеспечить максимальную прозрачность и малую толщину пластин, в противном случае ухудшается контрастность или нарушается четкость изображения вследствие проявления параллакса. Прозрачная сенсорная панель монтируется поверх ЖК-дисплея. В настоящее время самой распространенной и самой дешевой технологией, бесспорно, является резистивная сенсорная технология. Однако, несмотря на большой коэффициент пропускания (до 85%), структура сенсорной панели значительно ухудшает контраст изображения за счет рассеяния и параллакса (рис. 1).

В последние годы несколькими фирмами, работающими в секторе разработки новых сенсорных технологий, было разработано несколько прогрессивных концепций для устранения характерного недостатка, присущего резистивным и емкостным накладным сенсорным панелям.

Новая сенсорная технология Philips для TFT ЖК-дисплеев

Одна из разработок Philips Research — технология встроенных в каждый пиксель механических ключей-замыкателей. Идея проста: при надавливании на поверхность ЖК-экра-на происходит локальная деформация верхней стеклянной пластины между задающими

зазор спейсерами. В каждом пикселе формируется подвижный микроконтакт, который при деформации замыкает контакт между противоэлектродом и электродом пикселя.

Данная сенсорная технология имеет два ключевых компонента — конструкцию подвижного контакта и модуль электроники для фиксации локальных замыканий сенсорных контактов в пикселях.

Управление дисплейными пикселями и встроенными ключами обеспечивается интегральным столбцовым драйвером. Для управления дисплеем со встроенной сенсорной системой не требуется вводить дополнительные электроды управления и отдельные микросхемы.

Структура панели ЖК-дисплея со встроенными в пиксели ключами такая же, как и у обычных ТБТ ЖК-дисплеев. Для реализации среды замыкания при нажатии на локальную область экрана предложены два метода. В первом методе в качестве подвижного проводящего элемента контакта используются микрошарики-спейсеры с проводящим по-

крытием. Диаметр этих шариков меньше, чем диаметр зазорозадающих спейсеров, чтобы не вызвать постоянного замыкания между противоэлектродом и сенсорной площадкой пикселей. Во втором варианте подвижный контакт формируется на внутренней поверхности верхней стеклянной пластины ЖК-дисплея методом фотолитографии и селективного травления. На рис. 2 показаны поперечные сечения ЖК-дисплея для двух вариантов реализации подвижного контакта.

В первом варианте подвижные проводящие спейсеры хаотично распределены в слое ЖК-материала.

Минимальное усилие для фиксирования касания в стандартной резистивной панели для РЭЛ составляет около 0,15 Н. Для того чтобы уменьшить усилие давления, активизирующего контакт, толщина верхней стеклянной пластины в ЖК-дисплее должна быть уменьшена до 0,2 мм. Толщина нижней подложки может составлять от 0,45 до 0,7 мм. При такой толщине и давлении 0,15 Н достигается смещение верхней пластины на 0,3 мкм.

Rh,:ichk- : 1 нн-нн iki.iiikiklh

/ Г/й I ш

/ ПрйТиЬОйЛСКТрВДА 1С:пгик1” Е1н.1пх1н

пг IIII C.1SSH МПННгМН,lll-KIH

• •______•_____••

HljHKIH IIIH.HPH

..-'Слпн ШМНгМКИЖЫ 1111-Нр   !л:п|*дкн 11гчI.Iн

итскплши гикпииЧ-+11 I структура

/

И

ГЛй№

LkpwiiFH стсын и олпедлошса : икятродри

• V   #

...........*..... г- .................... i.i.Jh.iп.*jb.ао.шъш,:• ^ЯГк|

rjl'.KIL-MMbJ- . iU- H-lw4 '

......... Гб"!

t «тгп т р “ г-гт: ч нн ] I——I

Рис. 2. Поперечное сечение сенсорного ЖК-дисплея:

a) использование сферических проводящих спейсеров; б) спейсер, формируемый фотолитографией из пленки ITO

Рис. 1. Уменьшение контраста за счет внутреннего отражения и рассеяния света слоями сенсорной структуры

Рис. 3. Структура пикселя со встроенным ключом и временные диаграммы

На рис. 3 показана эквивалентная схема пикселя и временная диаграмма для работы сенсорного дисплея со встроенным механическим ключом. Эквивалентная схема пикселя представляет собой конденсатор Cp, который шунтируется подвижным механическим контактом St. При замыкании контакта St на транзистор адресации пикселя подается напряжение противоэлектрода Vce.

В схему драйвера управления столбцами вводится дополнительный модуль, который обеспечивает считывание напряжения на обкладке пикселя.

В процессе развертки ЖК-дисплея со встроенными сенсорными ключами производится последовательная адресация всего массива пикселей, — как и в обычном TFT ЖК-дисплее. Однако есть и отличие — после записи потенциалов для каждой строки пикселей добавлена фаза считывания потенциалов (readback) и сравнение напряжений. Процедура осуществляется в микросхемах столбцовых драйверов. Оценка величины контрольного напряжения производится с помощью встроенного в столбцовый драйвер АЦП.

Технология интегрированного оптического сенсорного экрана Planar Systems

Сенсорная технология базируется на использовании встроенной в конструкцию TFT ЖК-дисплея с активной адресацией на основе аморфного кремния (a-Si) матричной системы фотодатчиков.

В основе предложенного метода лежит несколько ключевых моментов:

• Фоточувствительность a-Si транзистора.

• Совместимость технологии сенсорной матрицы c технологией активной матрицы адресации на основе аморфного кремния.

• Цифровая обработка сигналов изображения.

• Интегральная технология для создания недорогого драйвера сенсорной матрицы.

Конструкция оптической сенсорной панели представляет собой встроенный в дисплей матричный датчик изображения. Для этого в схеме управления адресацией формируются дополнительные элементы, образующие модуль фотодатчика. Для обеспечения достаточного разрешения необязательно формировать модуль фотодатчика для каждого пикселя. Поэтому шаг матрицы фототранзисторов гораздо больше, чем шаг элементов изображения.

«Полезным» изображением является тень курсорного указателя, роль которого может выполнять контактное перо или кончик пальца оператора. В качестве указателя может быть использовано и световое пятно от лазерной указки. Технология применима как для дисплеев отражательного типа, так и дисплеев с подсветкой.

Фотосенсорная структура может работать в широком диапазоне освещенностей — от 50 до 50 000 лк. Разработанный алгоритм обработки позволяет исключить влияние многих артефактов в виде фоновых теней, наличия градиента освещенности, технологического разброса параметров всех элементов. Сигнальный процессор контроллера сенсорной панели производит первичную обработку изображения, нормирование сигналов изображения, определение факта касания, определение границ объекта и, наконец, вычисление координат касания с большой точностью.

На рис. 4 показана структура схемы управления ЖК-дисплеем со встроенной фотосен-сорной матрицей.

Управление фототранзисторной матрицей датчиков и вычисление координат точки касания производится отдельным модулем — драйвером сенсорной матрицы. Драйвер содержит 60-канальную схему считывания фототоков строки и преобразования их в сигна-

Рис. 4. Структура схемы управления дисплеем с фотосенсорным экраном

лы напряжения, схему выборки и хранения аналоговых сигналов строки, аналоговый мультиплексор на 60 каналов для поочередной коммутации сигналов датчиков, АЦП, сигнальный процессор и интерфейсную схему для передачи кодов координат в хост-контроллер.

Алгоритм учитывает влияние различных факторов, в том числе и наличие дефектных фотосенсоров, технологический разброс параметров фототранзисторов и считывающей схемы, наличие фоновых локальных теней.

Работа сенсорного устройства состоит из двух фаз. В первой фазе производится построчное сканирование матрицы фотодатчиков и считывание аналоговых сигналов профиля изображения. Изображение содержит фон и контур тени (или светового пятна) указателя. Во второй фазе изображение оцифровывается и затем подвергается обработке, в результате которой производится фильтрация и вычитание фонового изображения и выделение контура тени указателя. Для площади тени указателя вычисляются координаты положения центра тяжести, которые и используются как координаты курсора. Отслеживается также динамика перемещения тени указателя, фиксируются факты касания поверхности дисплея, а также «клика», короткого удара по экрану для проведения выбора объекта изображения.

Считывание данных фототоков производится построчно, параллельно с разверткой ТБТ ЖК-дисплея. Для выборки строки фотодатчиков используется сигнал строчной развертки дисплея. Дополнительно прокладываются шины считывания фототоков

Рис. 5. Схема управления для одного сенсорного элемента матрицы

Рис. б. Поперечное сечение TFT ЖК-панели со встроенной матрицей фотодатчиков

и шина напряжения смещения, общая для всех элементов матрицы датчиков. На рис. 5 показана электрическая схема адресации пикселя со встроенным фотодатчиком.

Преобразователь тока в напряжение выполнен на основе операционного усилителя, работающего в режиме интегратора тока. В обратной цепи операционного усилителя включена интегрирующая емкость и ключ разряда. Емкость будет заряжаться током фототранзистора. Уровень тока на фототранзисторе пропорционален интенсивности потока света, падающего через апертурное отверстие на область затвора. Выходное напряжение операционного усилителя будет пропорционально накопленному заряду на обкладках конденсатора за время интегрирования. После считывания производится разрядка интегрирующей емкости. В следующем цикле чтения производится зарядка от фототока сенсорного элемента следующей строки матрицы датчиков.

Считывание данных сенсорной матрицы производится синхронно с разверткой ЖК-дисплея. Импульсом выборки строки пикселей экрана производится и выбор строки, со-

стоящей из 60 сенсоров. Считывание сигналов производится по отдельным шинам (readout). Период сканирования матрицы совпадает с периодом развертки дисплея (60 Гц).

При касании экрана прохождение части света от внешнего источника на локальных участках матрицы датчиков блокируется — на них падает тень. Соответственно, уменьшается значение фототока на данных элементах.

На рис. 6 показано поперечное сечение ЖК-панели со встроенной матрицей фотодатчиков.

На верхней подложке с внутренней стороны сформированы цветные фильтры и фильтр черной решетки. Сам транзистор активной матрицы на основе аморфного кремния (a-Si) обладает хорошей фоточувствительностью. Для нормальной работы в матрице активной адресации a-Si транзистор экранируется от попадания потоков света как со стороны подсветки, так и со стороны внешней среды. Черная решетка выполняет две функции: является светозащитным фильтром для ключевых транзисторов активной адресации и световым фильтром для блокирования прохождения модулируемого потока света в нерабочей зоне панели (там, где расположе-

ны шины адресации). Фильтрация нерабочей зоны увеличивает контрастное отношение дисплея за счет уменьшения пропускания света в «черном» состоянии. Для прохождения света от внешнего источника в топологии черной решетки (black matrix) формируются отверстия — апертуры. Отверстия достаточно малы и неразличимы глазом. Размер апертуры подобран с учетом как чувствительности фототранзистора, так и диапазона освещенности. Чувствительные элементы (фототранзисторы) формируются на нижней подложке вместе с ключами активной адресации. Фоточувствительные зоны затворов транзисторов топологически размещены в проекции окон, сформированных в черной матрице для прохождения света. Структура элементов фоточувствительной матрицы формируется в едином с активной транзисторной структурой технологическом цикле и не требует проведения дополнительных операций. Дополнительный фототранзистор и ключ чтения занимают небольшую площадь и не влияют на работу ключа адресации пикселя. Для дисплеев отражательного типа при низких уровнях освещенности следует использовать в качестве указателя световое перо. Чрезмерный уровень освещенности также может приводить к неправильному функционированию сенсоров вследствие насыщения фототранзисторов.

В заключение следует отметить и еще одно достоинство данной сенсорной технологии — способность измерять освещенность позволяет регулировать интенсивность подсветки без использования дополнительного датчика освещенности.

Технология сенсорной панели DST фирмы 3М Touch Systems

В сенсорной технологии DST (Dispersive Signal Technology) для вычисления координат точки касания тактильной панели используется обработка рассеянного акустического сигнала. В качестве рабочей среды используется стеклянная пластина. Эта накладная пластина не содержит в рабочей зоне экрана никаких покрытий и абсолютно прозрачна. По углам пластины установлены интегральные пьезодатчики. В данной системе, в отличие от сенсорных панелей SAW, не используются генераторы тестового акустического сигнала. Датчики принимают сигналы вибрации, возникающие в структуре стеклянной пластины в результате деформации от локального нажатия пальцем. Другое отличие от сенсорных резистивных, емкостных и оптических технологий — для локализации координат производится обработка треков сигналов, то есть используется функция изменения сигналов во времени после нажатия. В результате отражения от стенок стеклянной пластины и интерференции сигналы, достигающие датчиков, имеют сложную форму. На рис. 7-10 показана динамика процесса рас-

Рис. 7. Фаза 1 — нажатие

Рис. 9. Фаза 3 — рельеф после отражения от стенок и интерференции

Рис. S. Фаза 2 — движение фронта акустических волн

Рис. і0. Рельеф отраженных волн

пространения акустических волн в стеклянной пластине.

Характер распространения акустических волн можно описать, зная математическую модель распространения акустических волн в пластине, имеющей определенные размеры. Используя данную модель, можно решить обратную задачу — на основании полученных треков от нескольких разнесенных по углам датчиков восстановить координаты источника сигналов. Для этого сигналы от четырех датчиков оцифровываются с помощью АЦП и направляются в DSP для обработки. Сигнальный процессор выполняет корреляционную обработку сигналов и восстанавливает координаты точки касания. Пока это единственная из сенсорных технологий, в которой сигналы, снимаемые с датчиков, не прямо пропорциональны координатам точки касания. На рис. 11 показана структура сенсорной панели по технологии DST.

На рис. 12 показана сенсорная панель DST с платой контроллера.

В углу пластины можно видеть пьезодатчик. В периферийной зоне пластины расположены шины соединений датчиков с контактами гибкого шлейфа.

Фирма ЗМ запатентовала технологию DST еще в 2002 году. Для готовых изделий, выполненных по данной технологии, была зарегистрирована торговая марка MicroTouch. Впервые технология DST была анонсирована только в мае 2004 года на международном симпозиуме SID’04. Тогда же была продемонстрирована работа прототипов сенсорных панелей DST. Несмотря на многообещающее начало, появление первого промышленного изделия было отмечено только спустя почти полтора года. В сентябре 2005 года был анонсирован 40-дюймовый ЖК-монитор NEC 4010 с сенсорным экраном MicroTouch DST (рис. 13, 14, табл. 1).

Рис. іі. Структура сенсорной панели DST

Задержка была связана с тем, что потребовалось выполнить большой объем работ для достижения реального высокого разрешения, надежной работы корреляционных алгоритмов, а также масштабирования алгоритмов под разные размеры сенсорных панелей. К со-

Рис. 13. 40-дюймовый ЖК-дисплей NEC — пока единственный известный продукт с сенсорным экраном DST

Таблица і. Ключевые характеристики серии сенсорных панелей DST

Технология DST

Размеры сенсорных панелей 32”, 40”, 46”

Напряжение питания контроллера 12 В

Разрешение панели Не менее 1024x1024

Коэффициент пропускания > 92%

Прозрачность HCG12/Clarity 80

Интерфейс контроллера RS-232/USB

Антибликовое покрытие Anti glare

Поддержка режима работы с тактильным пером Да

Возможность работы в перчатке Да

Рис. 14. Сенсорный дисплей NEC c диагональю 40 дюймов

Рис. 15. Оптическая схема и принцип работы сенсорной системы STRIKE

1 — светодиоды подсветки; 2 — пятно отраженного и рассеянного света; 3 — фотосенсор — КМОП-камера;

4 — изображение световых пятен при касании пяти пальцев руки;

5 — форма светового пятна при касании пальца поверхности с малой и большой силой;

6 — определение угла касания; 7 — гистограмма изменения силы давления при контакте;

8 — компьютерная система обработки изображения

Таблица 2. Ключевые параметры для 3-мерного моделирования положения пальцев рук

Параметр Метод вычисления Точность

Определение координат контактирования Высокоточное центрирование световых теней В худшем случае 0,05%

Усилие нажатия по вертикали Функция яркости световых пятен 0,25%

Скорость нажатия и отпускания Функция гистограммы изменения интенсивности Не хуже 2%

ХУ определение вектора околоногтевого давления Функция смещения светового пятна от кончика пальца 1%

Азимутальный угол пальца Анализ длинной оси эллипса световой тени кончика пальца 0,5%

Высота кончика пальца над рабочей поверхностью Интенсивность теневого отпечатка пальца Погрешность не хуже 0,3 мм

Усилие поворота кончика пальца Измерение угла между длинной осью эллипса тени и длинной осью пальца В процессе исследования

Угол подъема пальца Функция интенсивности профиля тени пальца 0,5%

Гибкость пальца Функция интенсивности профиля тени пальца 2%

Идентификация анатомического типа пальца Фирменный патентованный алгоритм

жалению, данную технологию нельзя считать массовой и дешевой. Реализация встроенных пьезодатчиков на стекле, а также плата контроллера сенсорной панели на базе сигнального процессора стоят довольно дорого.

Высокая стоимость реализации данной технологии не позволяет внедрять ее в мобильных устройствах. Более простая и дешевая резистивная технология остается пока вне конкуренции, несмотря на присущие ей недостатки и заявления разработчиков альтернативных технологий сенсорных панелей о ее скорой кончине. Однако и для перспективной сенсорной технологии DST нашлось свое уникальное приложение — сенсорный экран для большеформатных ЖК-дисплеев. В этом случае стоимость самой панели по сравнению со стоимостью дисплея становится вполне приемлемой. К тому же при больших размерах сенсорной панели у конкурента — резистивной технологии начинаются проблемы с обеспечением точности.

Сенсорный интерфейс STRIKE

Этот интерфейс разработан небольшой американской фирмой STRIKE Technologies. Сенсорный человеко-машинный интерфейс STRIKE основан на обработке изображения. Этот метод позволяет улучшить функциональность сенсорной панели, ее надежность, а также обеспечить ясность изображения (сохранить прозрачность) при сравнительно малой цене устройства. В нем используются стандартные дискретные компоненты.

Основные принципы работы нового интерфейса, который получил название STRIKE («удар», «стук»), показаны на рис. 15. Световые потоки от светодиодов (1) направляются на край стеклянной или пластиковой пластины, где испытывают внутреннее отражение. При контакте пальца оператора с поверхностью (2) свет, исходящий из фронтальной поверхности стекла, частично поглощается и частично отражается от поверхности кожи пальца и рассеивается в зоне касания на поверхности пластины. Матричная КМОП-камера (3) производит захват изображения поверхности пластины (4) и посылает оцифрованный кадр в компьютерную систему обработки изображения (8). Посредством применения специальных алгоритмов сначала определяются границы световых пятен на тактильной поверхности и координаты их центров.

Поскольку ткани пальца эластичны, степень давления каждого пальца может быть оценена измерением площади контакта, которая пропорциональна площади светового пятна рассеянного излучения от пальца (5). Световое пятно имеет эллиптическую форму. Очевидно, что по длинной оси эллипса можно определить направление пальцевой фаланги или угол контакта (6). Наконец, в процессе покадровой регистрации изображений процесса касания поверхности пальцем мож-

Рис. 17. Пример использования интерфейса STRIKE для «листания» страниц виртуальной книги на экране ЖК-дисплея

но косвенно определить силу давления и динамику и оценить скорость движения.

Разработанный алгоритм обработки изображений позволяет определить набор параметров, которые описывают статическое положение пальцев, контактирующих с поверхностью или висящих на некотором небольшом расстоянии над поверхностью. В результате каждый из пальцев может использоваться как самостоятельное трехмерное координатное устройство для ввода информации (рис. 16, 17, табл. 2).

Интерактивная система TactaPad

В интерактивной сенсорной системе ввода TactaPad американской фирмы Тас^уа (Калифорния, Пало Альто, w ww.tactiva.c от) используется видеокамера и программа распознавания движения рук на тактильном коврике. Интерактивная графическая среда —

дисплей и устройство ввода данных (рис. 18). Принцип работы основан на использовании визуальной обратной связи с результатом действий на экране. Механизм обратной связи для координации движений «рука — глаз» обеспечивает повышение эффективности механизма выбора и активизации (point-and-shoot) на З00%. Устройство в первую очередь предназначено для дизайнеров.

Технология обратной связи (force feedback) вызывает отдачу в тех местах, где оператор нажимает на рабочую область. Каждый объект чувствуется под пальцем по-разному, и можно различать нажимаемые объекты на ощупь (рис. 19).

О компании 3M Touch Systems

Компания 3М известна всему миру благодаря своему знаменитому патентованному продукту — липкой ленте (скотчу). Компания производит также много других, не менее уникальных продуктов, например ACF-ленты с анизотропным проводящим слоем для монтажа кристаллов микросхем, соединения печатных плат с гибкими шлейфами и многое другое. 3М непрерывно расширяет зону своих интересов за счет развития или приобретения новых перспективных технологий. В настоящее время в компании по всему миру работает около 67 тыс. сотрудников.

Компания 3M Touch Systems была образована фирмой 3M в 2001 году в результате приобретения двух известных в секторе сенсорных технологий компаний: Dynapro Systems и MicroTouch Systems. Новое образование 3M Touch Systems стало подразделением 3M Optical Systems Division.

Компания состоит из трех подразделений: Touch Screen Sensors, Touch Monitors и Specialty Sensor Products. Приоритетные секторы рынка: игры и развлечения, торговые терминалы (point-of-sale — POS), информационные киоски (point-of-information — POI), терминалы розничной продажи (self-service kiosks), банковские терминалы, портативные и ручные электронные приборы, а также бытовая техника. Для продвижения технологии DST было сформировано отдельное подразделение (w ww.DSTtouch.c om).

Рис. 20. Пример перемещения объекта на экране с помощью манипулятора

Рис. і8. Работа с объектами на экране дисплея

Устройство обеспечивает выбор и манипуляцию объектами на экране с помощью пальцев обеих рук. Особенностью устройства является формирование на экране дисплея пропорциональных теневых изображений рук оператора. Оператор выполняет естественные движения с объектами — выбор, перемещение (рис. 20, 21).

TactaPad позволяет не только локализовать координаты касания, но и определить силу давления пальцев на поверхность эластичного коврика и скорость нажатия. Опрос про-

Рис. 21. Тактильный эластичный коврик со встроенными датчиками давления и актутаторами force feedback

изводится с частотой несколько сотен отсчетов в секунду.

Цена устройства довольно высокая — около $1000, поэтому вряд ли на него удастся организовать массовый спрос. Скорее, это концептуальное экзотическое устройство, вроде концепт-кара автомобиля. Красиво, но дорого и мало востребовано в реальной работе. Устройство предназначено для фанатов компьютерных новинок, геймеров и дизайнеров.

Выводы

С уменьшением стоимости вычислительных ресурсов становится возможной реализация новых концепций сенсорных устройств. Самый перспективный способ реализации сенсорных устройств для ввода информации — непосредственное распознавание объекта, прикасающегося к поверхности (в том числе на фоне спроецированного на нее изображения). Для распознавания используется сигнал, получаемый от КМОП-микрокамеры. Системы подобного типа не ограничены в размерах и позволяют распознавать прикосновения нескольких объектов (пальцев, рук) без привязки к заранее заданным зонам. Для реализации этого способа требуется использование мощных процессоров. Впрочем, в настоящее время стоимость и размеры вычислительных ресурсов стремительно уменьшаются.

Литература

1. Dispersive Signal Technology. Рекламные материалы компании 3М. 2005.

2. Destura G. J. A., Osenga J. T. M., S. J. van der Hoef, Pearson A. D. Novel Touch Sensitive InCell AMLCD. SID’04.

3. Tulbert D. J. Low Cost, Display-Based, Photonic Touch Interface with Advanced Functionality. SID’05 Digest. Newmarket, Ontario, Canada.

4. Самарин А. В. Сенсорные панели. Взгляд изнутри // Схемотехника. 2001. № 5.

5. Самарин А. Новые типы сенсорных панелей для портативных приборов // Компоненты и технологии. 2002. № 3.

6. Самарин А. В. Технология интегрированного оптического сенсорного экрана для TFT ЖК-дисплеев // Электронные компоненты. 2004. № 11.

7. Willem den Boer, Adi Abileah, Pat Green, Terrance Larsson, Scott Robinson and Tin Nguyen. Active Matrix LCD with Integrated Optical Touch Screen. SID’02. Beaverton, Oregon, USA.

8. Sung Hwan Won, Jai Il Ryu, Ji Ho Hur and Jin Jang. Active Matrix Amorphous Silicon Photosensor Array for Flexible Substrate. SID’01 Digest. Korea.