МОБИЛЬНОЕ УСТРОЙСТВО ДЛЯ ОРГАНИЗАЦИИ СЕНСОРНОЙ ПЛОСКОСТИ
MOBILE DEVICE FOR SENSOR PLANE

Предлагаемое устройство относится к технике интерактивных дисплеев, пользовательских интерфейсов и систем распознавания жестов, применение которых постоянно растет.
Известен ряд устройств подобного назначения. Так, в [1] описывается система, осуществляющая проекцию изображения виртуальной клавиатуры на ладонь пользователя. Она включает в себя оптический проектор и телевизионную камеру, расположенные на дужках очков, и связанное с ними вычислительное устройство. Касание пальцем свободной руки изображения виртуальной клавиатуры в определенных точках фиксируется телевизионной камерой и передается в вычислительное устройство, которое определяет, с каким элементом виртуальной клавиатуры произошло касание пальца пользователя.
В [2] рассматривается мобильная носимая система, закрепляемая на предплечье, воспринимающая биопотенциалы соответствующих мышц, участвующих в выработке жестов, совершаемых пальцами кисти. Недостатком данной системы является сложная техническая реализация и низкая помехоустойчивость, необходимость ее индивидуальной калибровки.
В [3] предлагается устройство оцифровки движений конечностей на основе источника структурированной подсветки аналогично используемой в системе Kinect [4]. Однако устройства данного класса не предназначены для работы с малоразмерными объектами типа пальцев руки.
В [5] предложена интерактивная измерительная система, определяющая положения пальцев пользователя в области, ограниченной зонами обзора от двух до четырех и более телевизионных камер, отличающаяся возможностью 3D измерений, однако весьма громоздкая для мобильных приложений.
Известно устройство фирмы Canesta, Inc. [6], функциональная схема которого наиболее близка к предлагаемому изобретению и которое является его прототипом. Это устройство содержит инфракрасный (ИК) излучатель, создающий плоское поле излучения над контролируемой поверхностью, и матричный фотоприемник с объективом, расположенный консольно над поверхностью «виртуальной клавиатуры», поле зрения которого охватывает контролируемую поверхность. Приемная оптическая система связана с вычислительным устройством, в которое вводится оцифрованное изображение контролируемой поверхности. Касание пальцем либо каким-то указателем (стилусом), поверхности «виртуальной клавиатуры» вызывает отражение от пальца (стилуса) части ИК-излучения, формируемого излучателем, и его регистрацию приемной оптической системой. Определение координаты касания основано на решении системы уравнений, описывающей пространственное положение изображения подсвечиваемой части пальца на поверхности фотоприемника, входящего в состав приемной оптической системы, и поверхности, образуемой излучением, формируемым излучателем (триангуляционное уравнение). В результате определяются плоские координаты пальца (стилуса) на поверхности «виртуальной клавиатуры», и принимается решение о том, какая клавиша была «нажата».
Мобильное устройство для организации сенсорной плоскости, предлагаемое в данной заявке, отличается от известных расширенными функциональными возможностями, а именно тем, что оно позволяет организовать взаимодействие с персональным или планшетным компьютером, смартфоном и т.п. дистанционно, не пользуясь встроенными в них сенсорными поверхностями. Для этого оно выполнено в виде браслета, располагаемого на запястье, и позволяет пользователю в любой момент начать набор текста, рисование, редактирование, телефонные вызовы и пр. Кроме того, найдя в окружающей обстановке участок плоской поверхности (стол, окно, подоконник и т.п.), можно «превратить» эту поверхность в сенсорную. Оно содержит источник подсветки и оптически сопряженные с ним первую и вторую телевизионные камеры, направленные в сторону пальцев пользователя, подключенные к первому и второму входам специализированного вычислителя и размещаемые в фиксаторе. При этом телевизионные камеры формируют плоскости обзора, проходящие через определенную заранее строку изображения на фотоприемной матрице и оптический центр объектива каждой телевизионной камеры. Сенсорная плоскость создается пересечением плоскостей обзора первой и второй телевизионных камер и пересекает возможные положения пальцев кисти пользователя. Далее специализированным вычислителем фиксируется пересечение пальцем пользователя сенсорной плоскости и определяется пространственное положение этого пересечения. Кроме того, сторона фиксатора, противоположная той, которой он крепится к браслету, может иметь плоскую поверхность, параллельную сенсорной плоскости. Это позволяет, зафиксировав плоскую поверхность фиксатора с какой-либо плоскостью, получить тактильную обратную связь, возникающую при касании пальцем твердой поверхности, как и при работе с обычным сенсорным экраном или тачпэдом.
На фиг. 1 приведена функциональная схема предлагаемого устройства, где:
1, 2 - первая и вторая телевизионные камеры,
3 - инфракрасный излучатель,
4 - кисть пользователя,
5 - палец,
6 - браслет,
7 - фиксатор,
8 - специализированный вычислитель,
1
2
Ψ, Ψ - телесные углы обзора первой (1) и второй (2) телевизионных камер,
Ω - поток, формируемый инфракрасным излучателем 3,
1
Φ - плоскость обзора первой телевизионной камеры 1,
2
Φ - плоскость обзора второй телевизионной камеры 2,
Θ - сенсорная плоскость.
На фиг. 2 иллюстрируется формирование сенсорной плоскости Θ, где:
1
M - фотоприемная матрица первой телевизионной камеры 1,
2
М - фотоприемная матрица второй телевизионной камеры 2,
1
O - оптический центр объектива первой телевизионной камеры 1,
2
O - оптический центр объектива второй телевизионной камеры 2,
1
1
C - центр фотоприемной матрицы M,
2
2
C - центр фотоприемной матрицы М,
П - точка, принадлежащая пальцу оператора,
1
1
O C - центральная оптическая ось первой телевизионной камеры 1,
2
2
O C - центральная оптическая ось второй телевизионной камеры 2,
f - фокусное расстояние объективов первой и второй телевизионных камер 1 и 2,
1
2
l - расстояние между оптическими центрами объективов O и O,
M1
1
S(1) - 1-я строка фотоприемной матрицы M,
M2
2
S(1) - 1-я строка фотоприемной матрицы М.
M1
1
S(n) - n-я строка фотоприемной матрицы М,
M2
2
S(n) - n-я строка фотоприемной матрицы М,
M1
1
S(i) - i-я строка фотоприемной матрицы M,
M2
2
S(i) - i-я строка фотоприемной матрицы М,
<mrow><msubsup><mi>x</mi><mn>1</mn><mi>П</mi></msubsup></mrow>
1
- координата изображения точки П на матрице M,
<mrow><msubsup><mi>x</mi><mn>2</mn><mi>П</mi></msubsup></mrow>
2
- координата изображения точки П на матрице М.
На фиг. 3 приведен пример формирования изображений пальца 5, где:
1
1
5(t) - положение пальца 5 в момент времени t,
2
2
5(t) - положение пальца 5 в момент времени t,
M1
1
1
1
I(t) - изображение пальца 5 на фотоприемной матрице M в момент времени t,
M1
2
1
2
I(t) - изображение пальца 5 на фотоприемной матрице M в момент времени t,
M2
1
2
1
I(t) - изображение пальца 5 на фотоприемной матрице М в момент времени t,
M2
2
2
2
I(t) - изображение пальца 5 на фотоприемной матрице М в момент времени t.
На фиг. 4 приведена функциональная схема устройства, выполненного по второму пункту формулы изобретения, где:
9 - плоская поверхность фиксатора 7,
10 - рабочая поверхность.
На фиг. 5 приведен пример конструктивного исполнения устройства, где:
РСВ - печатная плата.
ξ - расстояние между сенсорной плоскостью и рабочей поверхностью.
Функционирование данного устройства иллюстрируется фиг. 1 и происходит следующим образом. Устройство охватывает запястье вблизи кисти пользователя 4 с помощью браслета 6. В фиксаторе 7, жестко связанном с браслетом 6, размещаются инфракрасный излучатель 3 и оптически сопряженные с ним две телевизионные камеры 1 и 2. Инфракрасный излучатель 3 создает подсветку, поток которой Ω, пересекает пальцы кисти 4, в том числе и палец 5.
M1
1
На фиг. 2 показано, как на строке S(n) формируется изображение окружающей сцены, находящейся в плоскости Φ, называемой далее плоскостью обзора первой телевизионной камеры 1.
M2
2
Аналогично, на строке S(n), формируется изображение окружающей сцены, находящейся в плоскости Φ, называемой далее плоскостью обзора второй телевизионной камеры 2.
Определим сенсорную плоскость
1
2
2
M1
2
M2
2
M1
M2
1
1
2
2
как пересечение плоскостей Φ и Φ. Эта плоскость фактически является зоной стереообзора [7] телевизионных камер 1 и 2. При пересечении пальцем 5 сенсорной плоскости Θ в момент времени t изображения I(t) и I(t) будут пересекать строки S(n) и S(n) соответственно. В случае если оптические оси OC и OC параллельны, изменение номера n в направлении, указанном стрелкой α, вызывает перемещение плоскости Θ в направлении, указанном стрелкой β. Это позволяет пользователю при необходимости отрегулировать положение сенсорной плоскости Θ относительно кисти 4.
Выражение для вычисления координат точки П, соответствующей положению пальца 9, находящегося на пересечении с сенсорной плоскостью Θ, получено из фиг. 2 и имеет вид:
ref1
ref2
M1
2
M2
2
M1
2
M2
2
M1
M2
П
П
<mrow><msubsup><mi>x</mi><mn>1</mn><mi>П</mi></msubsup></mrow>
<mrow><msubsup><mi>x</mi><mn>2</mn><mi>П</mi></msubsup></mrow>
Мощность инфракрасного потока Ω, формируемая излучателем 3, должна быть достаточной, чтобы превысить уровень паразитных составляющих в изображениях окружающей сцены в видеосигналах первой и второй телевизионных камер 1 и 2. Таким образом, специализированный вычислитель 8, обнаружив в видеосигналах i-й строки обеих телевизионных камер 1 и 2 уровни, превышающие пороговые значения (например U и U), принимает решение о наличии I(t) и I(t). Далее, фиксируя координаты
и
пересечения I(t) и I(t) с S(n) и S(n) соответственно, специализированный вычислитель 8 рассчитывает координаты точки пересечения пальцем 5 сенсорной плоскости Θ по формуле 1. Координаты X и Y поступают далее в персональный компьютер, смартфон и т.п. для организации интерактивного взаимодействия с его программным обеспечением.
На фиг. 4 представлена модификация предлагаемого устройства, а именно фиксатор 7 на стороне, противоположной той, которой он скреплен с браслетом 6, дополнен плоскостью 9, оптически сопряженной с первой и второй телевизионными камерами, параллельной сенсорной плоскости Θ. Если в распоряжении пользователя есть участок плоской поверхности, например стола, работа с устройством может быть организованна следующим образом. Пользователь прижимает фиксатор 7 плоскостью 9 к рабочей поверхности 10. Далее он может прикоснуться к рабочей поверхности 10 и перемещать по ней палец 5, производя интерактивное взаимодействие с программным обеспечением. Для того чтобы это прикосновение происходило практически одновременно с пересечением сенсорной плоскости Θ, расстояние ξ между сенсорной плоскостью 0 и рабочей поверхностью 10 должно быть не больше нескольких миллиметров, благодаря чему кончик пальца проходит это расстояние практически мгновенно для пользователя.
На фиг. 5 иллюстрируется использование телевизионных камер типа OVM7675 фирмы Omni Vision [8], имеющих габариты 2.9×2.9×2.3 мм, что позволяет получить сенсорную плоскость Θ, находящуюся на расстоянии ξ от поверхности 10 не больше 1.5 мм. Конструктивно, телевизионные камеры и излучатель могут быть расположены на единой многослойной печатной плате 11, с обратной стороны которой размещается специализированный вычислитель 8.
Для передачи вычисленных значений координат в персональный компьютер, смартфон и т.п. устройство может быть снабжено средством беспроводной передачи данных, например Wi-Fi или Bluetooth.
Источники информации
1. Патент США №8228315 В1 от 24.01.2012 г.
2. Патент США №7333090 В2 от 19.02.2008 г.
3. Патент США №7259747 от 21.08.2007 г.
4. Патент США №7170492 В2 от 30.01.2007 г.
5. Публикация № US 2010/0199228 А1 от 05.08.2010 г.
6. Патент США №7006236 В2 от 28.02.2006 г.
7. В.В. Коротаев, А.В. Краснящих. Телевизионные измерительные системы. СПб.: СПбГУ ИТМО, 2008 г., стр. 43.
8. Материал фирмы Omni Vision. OV7695. VGA product brief. Verison 1.0, August 2012.
http://www.ovt.com/download_document.php?type=sensor&sensorid=124.