ИНТЕРАКТИВНОЕ УСТРОЙСТВО УПРАВЛЕНИЯ И СПОСОБ ЭКСПЛУАТАЦИИ ИНТЕРАКТИВНОГО УСТРОЙСТВА УПРАВЛЕНИЯ
INTERACTIVE CONTROL DEVICE AND METHOD OF OPERATING INTERACTIVE CONTROL DEVICE

Изобретение относится к способу эксплуатации интерактивного устройства управления с устройством индикации в соответствии с ограничительной частью по п.1 формулы изобретения и к интерактивному устройству с устройством индикации в соответствии с ограничительной частью по п.16 формулы изобретения.
Управление функциями автомобиля из кокпита часто находит свое воплощение в виде так называемых интерактивных устройств управления. Интерактивное устройство управления включает в себя устройство индикации, на котором графически отображается один или несколько органов управления. За отдельными функциями автомобиля закреплены соответствующие органы управления. Действие, в последующем обозначаемое как действие управления, активизируется или запускается при приближении части тела пользователя, например пальца руки, к графическому изображению органа управления. Должна ли часть тела только приблизиться к сенсорному блоку, расположенному перед устройством индикации, или же ею необходимо прикоснуться к упомянутому сенсорному блоку для активации действия управления, закрепленного за органом управления, зависит от практического воплощения сенсорного блока (например, выполненного в виде сенсорной пленки).
Интерактивные устройства управления, к которым требуется прикосновение для запуска действия управления, называются устройствами управления с сенсорным экраном. Интерактивные устройства управления, которые могут активизироваться бесконтактно, включают в себя, например, датчики, способные обнаруживать высокочастотные сигналы, передаваемые через тело человека. При этом необходимо, чтобы передатчик высокочастотных сигналов размещался рядом с телом или находился с ним в контакте. В автомобиле упомянутый передатчик высокочастотных сигналов можно встраивать, например, в сиденье. Способы и приспособления для передачи информации посредством высокочастотных сигналов через тело человека описаны, например, в документе WO 2004/078536.
Зона, в которой должна находиться часть тела для активации действия управления, называется зоной активации. У устройства управления с сенсорным экраном зона активации представляет собой двухмерную область на поверхности устройства управления с сенсорным экраном. Зона активации, как правило, совпадает с областью изображения, отображающей приводимый в действие орган управления. У бесконтактно активизируемого устройства управления зона активации представляет собой, как правило, трехмерную область, расположенную непосредственно сверху над поверхностью устройства индикации или прилегающую к ней. Проекция зоны активации вдоль нормалей к поверхности устройства индикации обычно конгруэнтна с областью изображения соответствующего органа управления.
Изображение информации на устройствах индикации упомянутых интерактивных устройств управления при современном уровне техники ориентировано не на разрешающую способность глаза человека, а прежде всего на точность попадания и моторную точность пальцев пользователя.
Изображенные на устройстве индикации органы управления, называемые также виртуальными органами управления, включают в себя, помимо прочего, меню, кнопки и т.д. Они также могут быть представлены, например, в виде графических объектов на интерактивно отображаемых навигационных картах. Обычно такие виртуальные органы управления также называют виджетами. В настоящее время органам управления обычно соответствуют довольно большие изображения на интерактивных устройствах для того, чтобы пользователю было удобно и легко их активировать. Вследствие этого зоны изображения органов управления часто занимают значительную часть поверхности отображения устройства индикации, которую можно было бы использовать для дополнительной информации. Часто зоны изображения закрывают «расположенную под ними» графическую информацию. Уменьшение изображения органов управления на устройстве индикации позволяет увеличить место для отображения информации, но при этом из-за заметного усложнения попадания пальцем на орган управления понижается комфортность управления.
Из предшествующего уровня техники известно масштабирование органов управления как реакция на первое действие управления. На упомянутых устройствах управления для активации и выполнения требуемых действий необходимы, по меньшей мере, два действия управления.
Из документа US 5579037 известно устройство индикации с электромагнитным кодирующим планшетом, позволяющим вводить на устройство индикации отображаемые знаки японского письма. Кодирующий планшет включает в себя пишущее приспособление, соединенное с ним проводом. При перемещении пишущего приспособления на первое расстояние к устройству индикации позиции отображаемой зоны, над которой находится пишущее приспособление, отображаются с увеличением. Все время пока расстояние пишущего приспособления от устройства индикации будет меньше первого расстояния и больше второго, которое меньше первого, зона увеличенного изображения будет адаптироваться к изменению положения пишущего приспособления параллельно изменению его положения. Если расстояние станет меньше второго расстояния, то зона увеличенного изображения не будет больше адаптироваться в соответствии с параллельным перемещением относительно поверхности индикации, и становится возможным прикосновение к устройству индикации в том месте, в котором отображен соответствующий увеличенный знак, одного из нескольких отображаемых с увеличением знаков письма. Такое устройство управления, работа с которым осуществляется только одним пишущим приспособлением, не подходит для многих применений, например, в качестве интерактивного устройства управления в кокпите автомобиля. Кроме того, в движущемся автомобиле трудно перемещать пишущее приспособление на заданном расстоянии параллельно устройству индикации для увеличения нужного изображения фрагмента.
Из DE 10 2004045885 A1 известен орган управления для автомобиля, выполненный предпочтительно в виде вращаемой, нажимаемой и вытягиваемой кнопки и предназначенный для управления функциями автомобиля, в частности нажатием на орган управления, прикосновением к органу управления, вращением органа управления и/или вытягиванием органа управления; при этом для органа управления предусмотрены датчик приближения для распознавания приближения пользователя, использующего орган управления, и управление освещением для регулировки освещения органа управления в зависимости от выходного сигнала датчика приближения.
Таким образом, необходимо интерактивное устройство управления, которое обеспечивало бы и оптимальное отображение информации и было бы удобно в использовании за счет простой активации органов управления.
Ввиду изложенного в основу изобретения была положена техническая задача создания устройства управления и способа применения интерактивного устройства, которые обеспечили бы оптимально адаптированное для человеческих глаз представление информации в сочетании с комфортной активацией органов управления.
Упомянутая задача решается по настоящему изобретению способом с отличительными признаками по п.1 формулы изобретения, а также устройством с отличительными признаками по п.16 формулы изобретения. Изобретение основывается на идее адаптации отображаемой информации на устройстве индикации в зависимости от ситуации. При этом изображение может быть оптимизировано для визуального восприятия отображаемой информации. Как только будет определено, какое управляющее воздействие намеревается осуществить пользователь, отображаемая информация изменяется так, чтобы обеспечивалась оптимальная активация органа управления, соответствующего выявленному намерению пользователя.
В настоящем изобретении предлагается способ применения интерактивного устройства управления, в частности в автомобиле, с устройством индикации, отображающим или способным отображать информацию, указывающую на органы управления, включающий в себя следующие этапы:
- выявление намерения оказания управляющего воздействия на, по меньшей мере, один из отображаемых на устройстве индикации органов управления,
- адаптация информации, отображаемой на устройстве индикации, в зависимости от выявленного намерения оказания управляющего воздействия с тем, чтобы обеспечить оптимальное для активации отображение по меньшей мере одного органа управления, в отношении которого будет осуществлено управляющее воздействие.
В преимущественном варианте осуществления изобретения для выявления намерения оказания управляющего воздействия на, по меньшей мере, один орган управления из отображаемых на устройстве индикации регистрируется, находится ли часть тела пользователя внутри зоны активации, которая пространственно закреплена за зоной отображения, по меньшей мере, одного органа управления на устройстве индикации.
Другое осуществление способа по настоящему изобретению предусматривает выявление намерения оказания управляющего воздействия, по меньшей мере, на один орган управления, с опережением по времени активации действия управления.
В преимущественном варианте воплощения способ применения, в частности в автомобиле, интерактивного устройства управления с устройством индикации включает в себя следующие этапы:
- отображение графической информации на устройстве индикации;
- прием информации от датчика;
- активация действия управления в случае, если по информации датчика будет установлено, что часть тела пользователя находится в зоне активации, которая пространственно соотнесена с зоной отображения того органа управления на устройстве индикации, за которым закреплено действие управления, при этом предусмотрено следующее:
- принятая информация датчика включает в себя информацию о пользователе, которая для передачи намерения оказания управляющего воздействия, по меньшей мере, на один орган управления по времени должна обрабатываться до активации действия управления;
- на устройстве индикации отображается информация, адаптируемая в зависимости от выявленного намерения оказания управляющего воздействия, так что обеспечивается оптимальное для активации отображение, по меньшей мере, одного органа управления, закрепленного за управляющим воздействием органом управления.
При переходе от визуальной компоновки, оптимизированной под восприятие информации, на гаптическую, оптимизированную на управление, орган управления отображается, например, с повышенной яркостью или с увеличением. Так, например, отображаемый в виде небольшого изображения орган управления будет отображаться в увеличенном виде при намерении оказания управляющего воздействия. За счет этого достигается высокая информационная плотность на устройстве индикации и при этом обеспечивается комфортное выполнение управления в любое время, особенно тогда, когда оно должно осуществляться. Информацией о пользователе является та информация датчика, которая указывает действия пользователя или описывает его самого. Информация о пользователе определяется с помощью сенсорных блоков и является составной частью информации датчиков, обрабатываемой для выявления намерения оказания управляющего воздействия.
Для обеспечения достоверного выявления намерения оказания управляющего воздействия в одном из преимущественных вариантов осуществления изобретения предусматривается, что информация датчиков включает в себя информацию о действиях тела пользователя. Действием тела является, например, движение рук или кистей рук, или пальцев пользователя. В качестве другого примера действия тела можно указать направление глаз для получения информации, отображаемой на устройстве индикации.
В одном из наиболее преимущественных вариантов осуществления в связи с этим предусматривается включение в информацию о пользователе информации о направлении взгляда пользователя. Приведению в действие органа управления часто предшествует взгляд пользователя на устройство индикации.
Направление взгляда пользователя может, например, регистрироваться датчиками типа камер. В связи с этим преимущественный вариант воплощения изобретения предусматривает, по меньшей мере, частичную регистрацию информации о пользователе посредством системы камер. Упомянутая выше система камер обеспечивает также, как правило, достоверное определение движения частей тела.
Другие преимущественные варианты осуществления изобретения предусматривают, по меньшей мере, частичную регистрацию информации о пользователе посредством системы ультразвуковых датчиков. Система ультразвуковых датчиков подходит для особо точного и достоверного определения положения частей тела. Таким образом, посредством ультразвуковой системы датчиков можно уже на относительно большом удалении от устройства управления распознавать движение по направлению к интерактивному устройству управления. В такой же степени возможны точные измерения положения, вытяжения и скорости в ближней зоне устройства управления. Ультразвуковая система датчиков может использоваться альтернативно или вместе с другими системами датчиков.
В одном из наиболее преимущественных вариантов осуществления изобретения на основании информации о пользователе определяется направление движения части тела. Упомянутое направление движение может быть использовано отдельно или в сочетании, например, с другой информацией, в частности с информацией о пользователе, преимущественно с направлением взгляда, для выявления органа управления или нескольких органов управления одной группы, которые пользователь намеревается использовать следующими. В одном из усовершенствований изобретения в связи с этим предусмотрено определение намерения оказания управляющего воздействия на орган управления и, в частности, последующих вероятных действий управления другими органами управления и адаптация отображаемой информации таким образом, чтобы по меньшей мере, один орган управления или другие органы управления отображались в соответствии с вероятностью их использования для активации соответствующих закрепленных за ними действий управления. Таким образом возможна реализация своего рода «узконаправленного прожектора управления». В зависимости от удаленности части тела, направления ее движения и/или скорости движения, а также от другой информации о пользователе может быть определена зона расположения на устройстве индикации того органа управления, который, вероятно, и будет использован. Упомянутая выше определенная зона называется узконаправленным прожектором управления. На большом удалении и при низкой скорости движения узконаправленный прожектор управления будет нечетким, его четкость будет возрастать по мере приближения к устройству индикации. Нечеткость означает неуверенность в конечном положении на устройстве индикации, к которому будет перемещаться часть тела. Упомянутое конечное положение используется в качестве центра узконаправленного прожектора управления. Неуверенность проявляется в площади пятна узконаправленного прожектора управления на устройстве индикации. Как правило, пятно узконаправленного прожектора управления имеет кругообразную форму, так что нечеткость и неуверенность относительно конечного положения на устройстве индикации, к которому перемещается часть тела, выражается радиусом пятна узконаправленного прожектора управления. Чем больше неуверенность (чем менее четко пятно узконаправленного прожектора управления), тем оно больше. Чем меньше неуверенность относительно конечного положения (чем четче пятно узконаправленного прожектора управления), тем меньше пятно узконаправленного прожектора управления. Предпочтительно предусмотрено масштабирование или иная оптимизация посредством анимации, раскрытия меню и т.д. для простого использования органов управления на устройстве индикации в зависимости от того, в какой мере их поверхность при заранее заданной величине масштабирования попадает в зону пятна узконаправленного прожектора управления, насколько четкое пятно узконаправленного прожектора управления и/или насколько велико расстояние между органом управления и положением (центром) пятна узконаправленного прожектора управления.
В одном из наиболее преимущественных вариантов осуществления предусмотрено выявление намерения оказания управляющего воздействия и соответствующая итерационная и/или непрерывная адаптация отображаемой информации. Таким образом, возможно, например, непрерывное определение пятна узконаправленного прожектора управления и плавное масштабирование на устройстве индикации попадающих в это пятно органов управления с адаптацией в зависимости от движения пользователя.
В одном из вариантов осуществления изобретения предусматривается, что при адаптации будут меняться прозрачность, расстояние между соседними органами управления и/или анимация одного или нескольких органов управления. При этом можно соответствующим образом анимировать список органов управления для упрощения выбора одного или нескольких элементов списка. В частности, с учетом выявленного намерения оказания управляющего воздействия можно осуществлять прокрутку или перелистывание большого списка.
Предпочтительно также предусмотрено то, что по информации о пользователе определяется расстояние части тела от изображения органа управления, и в зависимости от этого расстояния осуществляется масштабирование органа управления. При использовании, например, бесконтактного датчика для активации органа управления упомянутый датчик может зарегистрировать приближение руки пользователя, например, на расстояние приблизительно 30 см от устройства индикации. Чем ближе будет рука или палец к устройству индикации, тем лучше можно будет спрогнозировать, какой же из органов управления должен будет активирован. Поэтому легко обеспечить специально оптимизированное изображение этого органа управления на устройстве индикации. Кроме того, изображаемая информация будет соответствующим образом адаптирована.
В одной из предпочтительных форм осуществления для оптимизации адаптации органа управления дополнительно к информации о пользователе обрабатывается информация о режиме движения. Так, например, езда по неровному дорожному полотну влияет на моторную точность при выборе органа управления пользователем. В упомянутом случае орган управления предпочтительно изображается более крупно по сравнению с дорожной ситуацией при движении по ровному дорожному полотну. Тем самым гарантируются повышенные удобство обслуживания и комфорт. Одновременно обеспечивается максимально возможное в зависимости от ситуации отображение информации. Предпочтительно поэтому то, что информация до тех пор, пока не выявлено намерение оказания управляющего воздействия, оптимизируется для визуальной передачи информации, например все органы управления высвечиваются с пониженной яркостью или же «отображаются» с прозрачностью 100%. Указанный подход особенно предпочтителен для интерактивных устройств управления, на которых отображение информации очень ограничено, например, из-за маленькой поверхности отображения.
В одном из преимущественных вариантов осуществления изобретения предусмотрено при выявлении намерения оказания управляющего воздействия распознавание и обработка выполненных частью тела жестов, при этом адаптация отображаемой информации осуществляется в соответствии с функцией адаптации, закрепленной за одним из соответствующих распознанных жестов. Таким образом, можно, например, конкретизировать намерение оказания управляющего воздействия при особенно большом количестве потенциально используемых органов управления. Так, например, статическим жестом можно передать сигнал остановки, блокирующий дальнейшую адаптацию органов управления, что позволит сделать выбор без последующей масштабирующей адаптации. Таким же образом можно запустить перелистывание большого количества органов управления, графически представленных маленькими изображениями, при этом один из них будет в фокусе и будет отображаться увеличенным для осуществления управления. Тем самым функция адаптации обеспечивает любое подходящее изменение отображаемой информации.
Подходящими жестами оказались так называемые статические, динамические и комбинированные жесты. Одна из форм осуществления изобретения предусматривает в связи с этим, по меньшей мере, статические жесты, распознаваемые по заранее определенному положению части тела. Другая форма воплощения предусматривает по меньшей мере динамические жесты, распознаваемые по предварительно определенным траекториям движения части тела. В случае траектории движения можно, во-первых, анализировать форму в трехмерном пространстве. Кроме того, также можно дополнительно обрабатывать скорость прохождения отдельных участков трехмерного пространства. И в заключение одна из других форм воплощения предусматривает по меньшей мере комбинированные жесты, распознаваемые как переходящие друг в друга предварительно определенные статические жесты и/или как статический жест, проходящий по заранее определенной траектории. Различные формы осуществления изобретения могут таким образом учитывать только статические, только динамические или только комбинированные жесты или же любое их сочетание. Распознавание жестов осуществляется по меньшей мере одним сенсорным блоком, способным определять положение части тела в пространстве. Формулировка, что жесты распознаются по меньшей мере одним сенсорным блоком, не указывает, что при наличии нескольких сенсорных блоков жесты должны распознаваться одним единственным сенсорным блоком. Формулировка скорее включает в себя также распознавание жестов посредством взаимодействия нескольких имеющихся сенсорных блоков. Достаточность одного единственного сенсорного блока для распознавания жеста зависит от специального воплощения по меньшей мере одного сенсорного блока и от самого жеста.
Информация преимущественно адаптируется таким образом, чтобы отображалось максимум информации для визуального восприятия, и при этом в случае намерения оказания управляющего действия обеспечивалось оптимальное с точки зрения управления отображение, по меньшей мере, одного органа управления, для которого было распознано намерение оказания управляющего воздействия. При этом возможен учет самых разнообразных ситуативных влияний.
Отличительные признаки устройства по настоящему изобретению обладают теми же преимуществами, что и соответствующие отличительные признаки способа по настоящему изобретению.
Далее с привлечением фигур чертежа приводится более подробное разъяснение изобретения на предпочтительных вариантах осуществления, причем показано:
фиг.1 - схематическая блок-схема для пояснения варианта осуществления способа эксплуатации интерактивного устройства управления;
фиг.2 - схематическое изображение, поясняющее принцип ситуативного масштабирования органов управления;
фиг.3 - схематическое представление устройства индикации, на котором информация отображается оптимизировано для визуального восприятия или частично оптимизировано для гаптического управления;
фиг.4A-4D - схематические представления информации, отображаемой на устройстве индикации, включающей в себя органы управления, которые частично представлены с увеличением в соответствии с выявленным пятном узконаправленного прожектора управления;
фиг.5A-5D - схематические представления устройства индикации, на котором органы управления масштабированы в зависимости от величины выявленного пятна узконаправленного прожектора управления;
фиг.6A-6C - схематические представления устройства индикации, на котором органы управления масштабированы по-разному, в зависимости от намерения оказания управляющего действия;
фиг.7A-7B - схематические представления устройства индикации, на котором органы управления перелистываются в зависимости от намерения оказания управляющего действия;
фиг.8 - схематическое представление интерактивного устройства управления в автомобиле;
фиг.9-17 - статические жесты кисти руки;
фиг.20-27 - динамические жесты кисти руки;
фиг.28-33 - комбинированные жесты кисти руки.
На фиг.1 представлена блок-схема, отображающая способ 10 эксплуатации интерактивного устройства управления. Как показано в блок-схеме 12 способа, способ включает в себя отображение информации на устройстве индикации. Преимущественно сначала компоновка выбирается таким образом, чтобы обеспечивалась оптимальная визуальная передача информации. Такая компоновка в последующем будет называться визуальной.
Устройство управления регистрирует информацию от датчиков 12. Информация от датчиков включает в себя информацию об одном или нескольких пользователях. Такая информация называется информацией о пользователе. Она включает в себя, в частности, информацию о действиях тела пользователя или пользователей, зарегистрированную сенсорными блоками. Действия тела включают в себя, например, движение руки, которое может быть выявлено сенсорным блоком с камерой, и/или ультразвуковым сенсорным блоком. Кроме того, сенсорным блоком с камерой можно зарегистрировать направление взгляда пользователя или пользователей. Направление взгляда на устройство индикации является особо важным действием тела, так как процессу управления преимущественно предшествует взгляд на устройство индикации интерактивного устройства управления. Зарегистрированная информация датчика преимущественно включает в себя также и информацию о дорожной ситуации или об окружающей среде автомобиля. Было установлено, что определенным действиям управления часто предшествуют определенные события, связанные с движением.
На основании собранной информации датчика выявляется намерение 14 оказания управляющего воздействия пользователя или пользователей. Для выявления намерения оказания управляющего воздействия пользователя обрабатывается различная информация, содержащаяся в информации датчика, в частности информация о пользователе. При этом, в частности, обрабатываются и оцениваются действия пользователя или пользователей, т.е. действие его тела или действия их тел. Например, если будет обнаружено изменение направления взгляда на устройство индикации интерактивного устройства управления и выявлено коррелирующее с ним по времени движение руки или кисти, ближайшей в пространстве к интерактивному устройству управления, то из этого можно будет сделать вывод о намерении оказания управляющего воздействия. Возможны многочисленные разнообразные комбинации информации, которые могут обрабатываться и оцениваться. Например, в одной из форм воплощения целенаправленное движение части тела в направлении пульта управления может быть условием того, что намерение оказания управляющего воздействия будет считаться распознанным.
Проверка наступления изменения в намерении оказания управляющего воздействия выполняется посредством опроса 16. Если изменения нет, то информация на устройстве индикации продолжает отображаться без изменений. Если же изменение в намерении оказания управляющего воздействия было выявлено, т.е. было выявлено намерение оказания управляющего воздействия или установлено, что более намерения оказания управляющего воздействия нет, то информация, отображаемая на устройстве индикации, адаптируется в соответствии с имеющимся или уже не имеющимся намерением оказания управляющего воздействия 18. Изменение имеет место также и в случае, когда происходит дальнейшая конкретизация намерения оказания управляющего воздействия.
Если же изменение намерения оказания управляющего воздействия заключается в том, что было выявлено до сих пор отсутствовавшее намерение оказания управляющего воздействия пользователя, то отображаемая информация изменяется таким образом, чтобы компоновка на устройстве индикации была оптимизирована для гаптического управления. В одной из форм выполнения можно предусмотреть отсутствие при визуальной компоновке графического отображения каких-либо органов управления. Органы управления начинают высвечиваться в гаптической компоновке, т.е. их уровень прозрачности становится меньше 100%. Также можно предусмотреть переключение графического отображения на текстовое. В еще одной форме воплощения, в которой при визуальной компоновке отображаются маленькие графические изображения органов управления, в гаптической форме компоновки органы управления отображаются увеличенными. Кроме того, адаптация может включать в себя также изменение оформления органов управления, например анимацию органа управления (виджеты). В устройстве индикации, выполненном в виде автостереоскопического трехмерного устройства индикации, можно предусмотреть пространственное выдвижение органов управления или же пространственное наложение друг на друга изображений информации.
Определение и адаптация отображаемой информации происходит преимущественно поэтапно и возможен плавный переход этапов друг в друга. Сначала по информации датчика первого сенсорного блока выявляется намерение оказания управляющего воздействия. Первый сенсорный блок включает в себя преимущественно создающую изображение систему датчиков, например систему камер. После выявления этого общего намерения оказания управляющего воздействия происходит переключение с визуальной компоновки на гаптическую. Например, высвечиваются органы управления, которые были до сих пор невидимы.
В одной из преимущественных форм осуществления также предусмотрено при выявлении намерения оказания управляющего воздействия выявление положения и окружающей его зоны на устройстве индикации, подтвержденного для действия управления, т.е. активации органа управления. Этот процесс называется определением пятна узконаправленного прожектора управления 20.
Для выявления пятна узконаправленного прожектора возможна обработка различной информации от датчика. В частности, отдельно или совместно обрабатываются направление движения части тела пользователя, скорость движения, направление взгляда на устройство индикации, а также информация о дорожной ситуации. В результате определения пятна узконаправленного прожектора получают положение на устройстве индикации, которое указывает подтвержденное конечное положение и радиус, являющейся мерой неуверенности в определенном подтвержденном конечном положении. В другой форме воплощения можно предусмотреть некруговую форму пятна узконаправленного прожектора. Это особенно предпочтительно в случае, когда направление воздействия сильно отклоняется от направления нормалей к поверхности отображения устройства индикации.
Информация, характеризующая пятно узконаправленного прожектора (положение/радиус и/или прочие данные о зоне), учитывается при адаптации отображаемой информации. Преимущественно органы управления отображаются масштабированными в зависимости от их расстояния до положения и наложения их поверхности на пятно узконаправленного прожектора. Это означает, что органы управления, находящиеся близко к положению пятна узконаправленного прожектора, находящиеся в центре пятна узконаправленного прожектора, масштабируются с большим увеличением по сравнению с теми органами управления, которые находятся на большем удалении от положения пятна узконаправленного прожектора. Кроме того, с большим увеличением масштабируются органы управления, поверхность которых в большей степени накладывается на пятно узконаправленного прожектора при проекции пятна узконаправленного прожектора на устройство индикации. На фиг.4A-4D представлены соответствующие примеры. Преимущественно также и то, что органы управления 61', не лежащие в пятне узконаправленного прожектора 62, но расположенные ближе к пятну узконаправленного прожектора 62 по сравнению с другими органами управления 61", могут быть представлены с большим увеличением, чем органы управления 61".
Описанный способ представляет собой определение вероятности использования отдельных органов управления 22. Вероятность использования также может быть определена другими способами по информации о пользователе, при необходимости с учетом другой информации о ситуативных влияниях, например дорожной ситуации, имевшихся до сих пор привычках пользователя и т.д.
Адаптация пятна узконаправленного прожектора осуществляется непрерывно. На следующем этапе посредством второго сенсорного блока более точно определяются движения части тела и, если требуется, другие ее характеристики.
В одной из форм реализации, в которой датчики, генерирующие высокочастотные сигналы, размещаются рядом с телом пользователя, и приемники располагаются на устройстве индикации или около него для приема высокочастотных сигналов, передаваемых телом пользователя, при определении на их основании позиции кисти пользователя вблизи от устройства индикации особенно хорошо может быть выполнена тонкая настройка адаптации изображаемой информации. Такие системы датчиков в состоянии регистрировать части тела пользователя на расстоянии приблизительно 30 см. Если в зоне действия интерактивного устройства управления в автомобиле находятся несколько пользователей, например водитель и передний пассажир, то их можно различать по отличающимся высокочастотным сигналам, которые подаются в тело пользователя датчиками сигналов, встроенных, например, в сиденье водителя и сиденье переднего пассажира. Таким образом, масштабирование или общая адаптация отображаемой информации может быть дополнительно настроена на функцию пользователя (водитель/передний пассажир). Например, целесообразно отображать меньшее количество органов управления с большим увеличением на устройстве индикации, когда водитель при высокой скорости движения автомобиля хочет активировать органы управления на устройстве индикации. Передний пассажир, который не должен концентрироваться на вождении автомобиля, может, например, использовать большее количество меньших по размерам органов управления, отображаемых на устройстве индикации. Для выполнения тонкой настройки преимущественно также то, что при распознавании намерения оказания управляющего воздействия определяется расстояние между частью тела пользователя и устройством индикации. Кроме того, дополнительно определяется вытяжение части тела. Оно также будет учитываться при масштабировании и/или оформлении органов управления. Для пользователя с крупными, широкими пальцами органы управления должны отображаться большими по площади, чем для пользователя с небольшими и узкими пальцами. Таким образом, на следующем этапе возможна более тонкая адаптация. Можно предусмотреть более двух этапов. Вторым сенсорным блоком может быть также ультразвуковой сенсорный блок.
На фиг.2 схематично представлено переключение с визуальной компоновки на гаптическую. В верхней части фиг.2 представлены два возможных оформления изображения 31, 32 информации в так называемой визуальной компоновке. На левом изображении 31 органы управления не отображаются. На правом изображении 32 органы управления 33 отображаются небольшими по размерам. Наибольшая зона 34 устройства индикации 35 предусмотрена для изображения информации. При приближении части тела 36, в данном случае кисти, к устройству индикации 35, как это показано в центре фиг.2, изображаемая информация изменяется так, что органы управления 33' изображаются увеличенными с включением дополнительной текстовой информации (A, B, C, D) и, по меньшей мере, относительно изображения 31 вверху слева изменяются по уровню прозрачности. Гаптическая компоновка оптимизирована так, чтобы органы управления 33' оптимально подходили для касания пальцем, выполняемого для активации и выполнения действий управления, закрепленных за органами управления 33'.
На фиг.3 представлен другой пример переключения с визуальной компоновки 41 на гаптическую 42. На устройстве индикации 43 схематично представлены точки особого интереса (points of interest - POI) 44-47 изображения карты 48 навигационной системы. Приближение пальца 49 к устройству индикации 43 движением, направленным на правую кромку 50 устройства индикации, приводит к масштабированию на плоскости точек интереса в зависимости от их расстояния от нижнего конца правой кромки 50. Для достижения лучшего управления некоторые точки 46, 47 слегка сдвигаются относительно их первоначальных позиций. На левом участке 51 изображения карты 48 компоновка все еще адаптирована для визуальной передачи информации.
На фиг.4A-4D показаны различные изображения 55-58 информации на устройстве индикации 59. Дополнительно к пальцу 60, при помощи которого намереваются воспользоваться органом управления 61, на устройстве индикации 59 изображается так называемое пятно узконаправленного прожектора 62 круговой формы. Органы управления 61 масштабируются в зависимости от их расположения относительно позиции 63 (центр) пятна узконаправленного прожектора 62 и степени наложения их поверхностей с пятном узконаправленного прожектора 62. Общая степень масштабирования может зависеть от дорожной ситуации. Например, при езде автомобиля по неровной поверхности с высокой скоростью органы управления должны масштабироваться в большей степени по сравнению с масштабированием при езде по ровному дорожному полотну на малой скорости. Пятно узконаправленного прожектора 62 существует только виртуально и, как правило, не отображается на устройстве индикации 59. Пятно узконаправленного прожектора 62 показано здесь исключительно для наглядности.
На фиг.5A-5D показано изменение пятна узконаправленного прожектора 70 при приближении пальца 71 к устройству индикации 72 и как это влияет на масштабирование органов управления в предпочтительной форме воплощения. Представленные на фиг.5A-5D изображения 73 устройства индикации 72 показывают навигационную карту с точками интереса 81-86, являющимися органами управления. На фиг.5A выбрана гаптическая компоновка, при которой точки интереса 61-65, попадающие в пятно узконаправленного прожектора 70, представлены большими по размеру по сравнению с точкой интереса 86, которая находится вне пятна узконаправленного прожектора 70. Изображение 73 на фиг.5A соответствует изображению, когда кисть, которая будет осуществлять управление, находится еще на большом удалении от устройства индикации 72. Поэтому на фиг.5A еще не изображен палец. Приближение пальца 71 приводит к уменьшению радиуса 74 пятна узконаправленного прожектора 70, поэтому на фиг.5B пятно узконаправленного прожектора 70 меньше по размеру. Органы управления 82, 83, находящиеся рядом с позицией 75 (центр) пятна узконаправленного прожектора, масштабируются больше остальных. Однако и точка интереса 86 масштабируется больше по сравнению с изображением на фиг.5A. Дальнейшее приближение пальца 71 позволяет провести анализ направления движения пальца 71, в связи с чем позиция 75 пятна узконаправленного прожектора 70 слегка сместилась. Поэтому точка интереса 82 на фиг.5C масштабируется больше по сравнению с точкой 83, расположенной теперь на большем удалении от позиции центра 75 пятна узконаправленного прожектора 70. На фиг.5D представлена ситуация, когда палец 71 находится в зоне активации, установленной относительно изображения органа управления. В случае интерактивного устройства управления, выполненного в виде сенсорного экрана, это, как правило, поверхность графического изображения. В устройствах управления с бесконтактными датчиками это может быть зона пространства, которая преимущественно устанавливается на небольшом расстоянии от графического изображения органа управления или граничит с ним.
Если часть тела, в данном случае палец 71, находится в зоне активации, то происходит активация действия управления, закрепленного за органом управления.
На фиг.6A схематично представлено устройство индикации 150, на котором органы управления упорядочены в две группы 152 и 153. В первой группе 152 соответствующие органы управления 151 представлены в виде списка. Во второй группе органы управления 151 представлены в виде числового поля. На фиг.6A органы управления 151 обеих групп 152 и 153 занимают незначительную часть поверхности устройства индикации 150. Большая часть поверхности может использоваться для изображения другой (непоказанной) информации.
При приближении пальца 155 к устройству индикации 150 органы управления 151 одной из двух групп 152 или 153 изображаются увеличенными. В случае выявления намерения оказания управляющего воздействия на один из органов управления 151 оформленной в виде списка первой группы 152 список будет представлен в увеличенном виде так, как это показано на фиг.6B. Если же палец 155 приближается в большей степени ко второй группе 153 органов управления 151, оформленной в виде числового поля, то эти органы управления изображаются увеличенными так, как это показано на фиг.6C.
В то время как в форме выполнения, описанной с использованием фиг.5A-5D, центры органов управления преимущественно не смещались на устройстве индикации, то в форме выполнения, описанной с использованием фиг.6A-6C, позиции органов управления явно меняются.
На фиг.7A и 7B поясняется, как можно преимущественно использовать выявленное намерение оказания управляющего воздействия для выбора органа управления из списка.
На фиг.7A показан горизонтальный список 160 органов управления 161-169 на устройстве индикации 170. В случае выявления намерения оказания управляющего воздействия за одним из органов управления 165 из списка 160 закрепляется фокус. В данном случае фокус закрепляется за органом управления 165, на котором написана цифра "5". Этот факт обозначается увеличенным изображением органа управления 165. Как правило, фокус закрепляется за одним изображаемым в центре устройства индикации 170 органом управления 160 из списка. Альтернативно возможно закрепление фокуса за органом управления, изображаемым у края.
Фокус можно "сдвинуть" перемещением пальца 171 пользователя на край устройства индикации 170. На фиг.7A палец 171 находится на правом крае 172 устройства индикации 170. Благодаря этому в одной из форм выполнения фокус можно сместить вправо. Альтернативно более предпочтительно предусмотреть сохранение фокуса в центре устройства индикации 170 и смещение органов управления 161-169 относительно фокуса. Т.е. ячейки управления перемещаются влево, как это показано стрелкой 173. Это означает, что следующей, за которой будет закреплен фокус, является ячейка управления 166 с числом "6", при этом ячейка управления изображается в увеличенном виде в центре устройства индикации 170.
В обеих формах выполнения фокус прокручивается или перелистывается по списку органов управления.
Этот процесс можно завершить перемещением пальца 171 в центр устройства индикации 170. В заключение можно воспользоваться органом управления, за которым закреплен фокус, для выполнения соответствующего действия управления.
Скорость прокрутки или перелистывания может варьироваться в зависимости от положения пальца 171. Т.е. чем дальше перемещается палец от центра, тем быстрее происходит прокрутка или перелистывание.
Направление перелистывания/прокручивания может совпадать с направлением перемещения пальца или быть противоположным. Кроме того, в случае списка можно предусмотреть, что он будет рассматриваться как бесконечный. Это означает, что после последнего элемента списка вновь появляется первый его элемент.
На фиг.7B представлено устройство индикации 180, на котором показан список органов управления 181-186. При приближении пальца 187 к устройству индикации 180 за одним из органов управления 181-186 закрепляется фокус. Орган управления 183, за которым закреплен фокус, изображается увеличенным для оптимального управления. Палец 187 находится на нижнем краю 188 устройства индикации 180. Это приводит к тому, что органы 181-186 перемещаются вверх "через фокус", как это показано стрелкой 189. Перемещение пальца 187 в центр устройства индикации приведет к остановке процесса перелистывания. Возможно оптимальное использование органа управления, находящегося в фокусе. Перемещение пальца 187 в позицию между фокусом и верхним краем 190 устройства индикации 180 приведет к перемещению органов управления 181-186 вниз. Таким образом возможно перелистывание в обоих направлениях.
Фокус не должен неподвижно застывать в одной позиции на устройстве индикации. Более того, он может перемещаться вместе с органом управления, за которым он закреплен. Если этот орган управления удален от предварительно заданной позиции фокуса дальше, чем следующий элемент списка, то фокус переходит на этот следующий орган управления.
Другие формы выполнения могут предусматривать увеличенное изображение нескольких органов управления. Например, можно предусмотреть один главный фокус и два вспомогательных. Органы управления, закрепленные за вспомогательными фокусами, хотя и изображаются увеличенными, но тем не менее они меньше изображения органа управления, за которым закреплен главный фокус.
В одной форме выполнения можно предусмотреть, что орган управления, для которого выявлена наибольшая вероятность использования (например, орган управления, находящийся в фиксированном фокусе или в центре пятна узконаправленного прожектора), будет использован в случае, когда часть тела пользователя, например палец, застынет без изменения положения в течение заранее заданного времени выдержки, без адаптации изображаемой информации. В частности, это справедливо также и в случае, когда палец не находится непосредственно в самой зоне активации органа управления. Таким образом можно получить орган управления «квази без непосредственного воздействия».
На фиг.8 схематично представлена форма воплощения интерактивного устройства 100 управления в автомобиле 101. Она включает в себя устройство индикации 102, на котором информация может отображаться в визуальной и в гаптической компоновке. В устройство 100 управления интегрированы датчики 104, способные бесконтактно принимать переданные телом 106, 108 пользователя высокочастотные сигналы, которые передаются в тело 106, 108 размещенными рядом с ним передатчиками 110, 112 сигналов. Передатчики 110, 112 сигналов соединены с блоком 113 передатчиков сигналов, который в свою очередь связан с системой 126 шин автомобиля. Блок 113 передатчиков сигналов может совместно с датчиками 104, которые в узком смысле уже представляют собой сенсорный блок, также рассматриваться как система датчиков или сенсорный блок. Интерактивное устройство 100 управления также включает в себя блок 120 управления, в который входит модуль 122 визуализации. Модуль 122 визуализации выполняет подготовку информации, изображаемой на устройстве индикации 102. В частности, модуль 122 визуализации адаптирует информацию для визуальной и гаптической компоновки. Интерактивное устройство 100 управления также включает в себя приемный блок 124, принимающий, например, по системе 126 шин автомобиля информацию от сенсорных блоков, которые могут быть выполнены, например, в виде системы 130 камер или в виде ультразвуковой системы 132 датчиков. Кроме того, приемный блок 124 принимает по системе 126 шин автомобиля информацию о режиме движения автомобиля 101. На основании информации, полученной от датчиков и включающей в себя информацию о режиме движения, обрабатывающий модуль 128 выявляет намерение оказания управляющего воздействия пользователя 106 или 108. В зависимости от выявленного намерения оказания управляющего воздействия модуль 122 визуализации изменяет информацию, которая отображается на устройстве индикации 102. Обрабатывающий модуль 128 преимущественно выполнен так, чтобы определялись пятно узконаправленного прожектора и вероятность использования отдельных органов управления.
Блок управления также включает в себя модуль 134 активации, который запускает или активирует действие управления в случае, когда часть тела, например палец, находится в зоне активации, заданной для изображения органа управления на устройстве индикации 102. При этом сигналы, влияющие на другие устройства управления автомобиля 101, могут передаваться по шинам автомобиля.
Блок 120 управления и отдельные модули 122, 128, 134, входящие в его состав, могут быть выполнены в виде аппаратного или же программного обеспечения.
Устройство индикации может быть выполнено в виде проекционного устройства, у которого изображаемая информация проецируется на поверхность. В упомянутом случае существенным является расстояние и движение части тела относительно этой поверхности и взгляд на эту поверхность.
Наиболее подходящими сенсорными блоками, передающими высокочастотные сигналы через тело человека, оказались те из них, которые работают в диапазоне частот от 80 КГц до 150 КГц. Сенсорные блоки также могут эксплуатироваться на частотах, не попадающих в приведенный выше диапазон.
Наряду или альтернативно с сенсорным блоком, обнаруживающим часть тела путем передачи высокочастотных сигналов через тело человека, могут использоваться также и другие бесконтактные сенсорные блоки, например ультразвуковые или оптические. Упомянутый выше сенсорный блок может быть воплощен в соответствии с рассматриваемым далее принципом. Передающий светодиод излучает прямоугольный модулированный по амплитуде световой сигнал в оптическом или инфракрасном диапазоне длин волн. Световой сигнал, отражающийся от некоторого объекта, регистрируется фотодиодом. Компенсационный светодиод передает на фотодиод по неизменному пути прохождения света смещенный по фазе на 180° также прямоугольный модулированный по амплитуде опорный световой сигнал. Контур регулирования посредством регулирующего сигнала воздействует на компенсирующий светодиод таким образом, что принятый отражающийся световой сигнал передающего светодиода и принятый опорный сигнал компенсирующего светодиода компенсируют друг друга на фотодиоде, и детектируется сигнал совпадения. Изменение регулирующего сигнала является мерой удаленности объекта. Созданный по этому принципу сенсорный блок в значительной степени независим от колебаний температуры и освещенности.
Преимущественно также то, что по меньшей мере один сенсорный блок или несколько сенсорных блоков, выполненных упомянутым выше образом, в состоянии воспринимать выдвижение части тела в плоскости (при известных условиях во взаимодействии друг с другом). Таким образом возможно выявлять и интерпретировать как намерение оказания управляющего воздействия жесты, выполняемые частью тела, например кистью руки. Жесты, зависящие только от позы тела, в частности от положения кисти, обозначаются как фиксированные или статические жесты. Кисть 140, расположенная плоско перед устройством индикации, так, как это показано на фиг.9, может интерпретироваться, например, как сигнал остановки, останавливающий дальнейшее перелистывание или блокирующий любую дальнейшую адаптацию отображаемой информации в течение предварительно установленного интервала времени. На фиг.10 и 11 представлены примеры других простых статических жестов, выполненных левой кистью 140. В случае, когда возможна работа нескольких элементов кисти руки, также будет возможно распознавание и применение дифференцированных фиксированных жестов так, как это в качестве примера показано на фиг.12-17.
Если же движение части тела в определенной области пространства сравнивать с заранее заданными траекториями, то становится возможным распознавание динамических жестов. Примеры траекторий движения показаны на фиг.18 в двухмерной плоскости, а на фиг.19 - в трехмерном пространстве. Примеры динамических жестов показаны на фиг.20-27. Жест, показанный на фиг.20, включает в себя движение вперед и вверх горизонтально плоско расположенной кисти 140, жест на фиг.21 показывает движение так же расположенной кисти 140 вниз. На фиг.22-25 показаны следующие жесты: на фиг.22 плоско расположенная по вертикали кисть перемещается в направлении от устройства индикации, на фиг.23 так же расположенная кисть перемещается по направлению к устройству индикации, на фиг.24 кисть выполняет движение влево, а на фиг.25 - движение вправо. Также возможна интерпретация и использование скорости приближения или скорости удаления части тела. Жесты, представленные на фиг.26 и 27, выполняются поворотом вытянутой кисти 140, соответственно поворотом против или по часовой стрелке относительно продольной оси кисти. Жесты могут также включать в себя оба противоположных направления движения. При анализе траекторий наряду с проходимыми точками пространства, определяющими движение, также возможен учет скорости, с которой выполняется это движение.
В случае, когда возможна работа нескольких элементов кисти руки и/или регистрация их относительной скорости движения, будет возможна обработка и соответственно учет также и комбинированных жестов или положений кисти, выполнения движения, например растопыривание и сведение вместе пальцев плоской ладони или сжатие пальцев в кулак (фиг.28) и разжимание кулака (фиг.29). Другие комбинированные жесты показаны в качестве примеров на фиг.30 и 31, их выполнение включает в себя выполнение соответствующего жеста загибания пальцев 142 (фиг.30) и разгибание пальцев 142 (фиг.31). На фиг.32 показан комбинированный жест, при выполнении которого центр тяжести кисти 140 дополнительно к загибанию пальцев 142 выполняет движение направо. На фиг.33 в качестве примера показан комбинированный жест, включающий в себя ранее представленные примеры жестов: кулак первоначально направлен горизонтально, кисть с плоско разведенными пальцами 140 и одновременно выполненный поворот кисти приблизительно на 90° вправо.
Представленные жесты являются только примерами. За отдельными жестами можно закрепить различные намерения оказания управляющих воздействий, в соответствии с которыми и будет происходить адаптация отображаемой информации.
Преимущественно предусмотрено, что интерактивное устройство управления может использоваться в режиме обучения и, следовательно, оно сможет изучить определенные жесты в индивидуальном исполнении различных людей. Например, от водителя можно потребовать выполнения определенных жестов. По данным измерения, полученным во время выполнения, можно изучить индивидуальные особенности выполнения жестов. Изучение происходит преимущественно с привязкой к конкретному лицу. Уже сам характер жестов может использоваться для идентификация лица, также для идентификации лица можно, например, использовать признак пользователя или водителя, закодированный в ключе автомобиля.
Некоторые формы выполнения предусматривают различие жестов водителя и переднего пассажира. Если интерактивное устройство управления размещено в центральной консоли автомобиля, то жесты водителя можно отличать от жестов переднего пассажира в зависимости от того, правой или левой рукой они выполняются; при этом полагают, что для управления водитель и передний пассажир используют ту руку, которая ближе к центральной консоли. При использовании сенсорных блоков, позволяющих различать водителя и переднего пассажира, например, по отличающейся частоте высокочастотного сигнала, проходящего через тело водителя и через тело переднего пассажира, и применяемых сенсорными блоками для регистрации позиции части тела, возможно различие жестов переднего пассажира и водителя по информации сенсорного блока. Если различие возможно, то за одинаковыми жестами водителя и переднего пассажира можно закрепить различные цели управления или различные функции отображения или адаптации.