ВЫБОР ОБЪЕКТОВ В ТРЕХМЕРНОМ ВИРТУАЛЬНОМ ДИНАМИЧЕСКОМ ОТОБРАЖЕНИИ
SELECTION OF OBJECT IN THREE-DIMENSIONAL VIRTUAL DYNAMIC DISPLAY

Область техники, к которой относится изобретение
Изобретение относится к устройству представления для представления трехмерного виртуального динамического отображения и для взаимодействия с трехмерным виртуальным динамическим отображением, к устройству рабочего места для представления трехмерного виртуального динамического отображения и управления им, к применению устройства рабочего места для представления и контроля воздушных пространств в качестве рабочего места авиадиспетчеров и для наблюдения за беспилотными летательными аппаратами и управления ими, а также к способу выбора виртуальных объектов в трехмерном виртуальном динамическом отображении.
Уровень техники
Стереоскопические техники визуализации используются для создания впечатления трехмерного динамического отображения у наблюдателя стереоскопического дисплея. Впечатление трехмерности возникает у наблюдателя вследствие того, что глаза наблюдателя воспринимают различные изображения.
Из публикации US 6611283 В1 известно устройство для восприятия объектов и сопряжения фрагментов стереоизображений, выполняемого для создания из двух изображений пространственного изображения, содержащего информацию о глубине. При этом определяются линии наблюдения, проходящие от глаз наблюдателя, рассматривающего одновременно оба изображения, что позволяет определить относящиеся друг к другу фрагменты изображения. Линии наблюдения определяются посредством обнаруживающего устройства, расположенного между глазами наблюдателя и изображениями.
Взаимодействие с трехмерными виртуальными объектами в трехмерном виртуальном динамическом отображении требует ввода соответственно трех линейных степеней свободы, поскольку трехмерное динамическое отображение по сравнению с двухмерным динамическим отображением дополнительно содержит измерение глубины. Ввод трех степеней свободы может потребовать применения специальных устройств и/или способов взаимодействия, поскольку обычные устройства взаимодействия, такие как так называемая компьютерная мышь или так называемый шаровой манипулятор, предоставляют в распоряжение только две линейные степени свободы.
Сущность изобретения
В основу изобретения положена задача облегчения взаимодействия оператора с виртуальным трехмерным динамическим отображением.
Для решения поставленной задачи предложены устройство представления, устройство рабочего места, применение устройства рабочего места, способ и машиночитаемый носитель данных, охарактеризованные в соответствующих независимых пунктах формулы изобретения.
Многие из далее описанных признаков, относящихся к устройству представления и к устройству рабочего места, применимы также к этапам способа, и наоборот.
Согласно первому аспекту изобретения предложено устройство представления для представления трехмерного виртуального динамического отображения и для взаимодействия с ним, содержащее: по меньшей мере одну область представления для представления трехмерного динамического отображения и устройство ввода для управления перемещением элемента маркировки, обладающего двумя степенями свободы, по виртуальной поверхности в трехмерном виртуальном динамическом отображении, причем устройство представления выполнено для отображения виртуальных объектов в отображаемом объеме таким образом, что виртуальные объекты отстоят от поверхности визуализации устройства представления и устройство представления выполнено для отображения виртуальной поверхности в отображаемом объеме с возможностью перемещения элемента маркировки по виртуальной поверхности для выбора виртуального объекта в трехмерном виртуальном динамическом отображении.
Технический результат, обеспечиваемый изобретением, заключается в упрощении выбора виртуальных объектов в виртуальном трехмерном динамическом отображении, достигаемом за счет возможности использования простых в обращении двумерных устройств ввода с двумя линейными степенями свободы и отказа от применения сложных в управлении трехмерных устройств ввода.
Очевидно, что устройство представления может содержать также и более чем одну область представления, например две, три, четыре или еще большее число областей представления.
В качестве областей представления может выступать показывающий элемент, который выполнен для стереоскопической визуализации. Областями представления могут также служить, например, дисплеи или плоскости проецирования, которые пригодны к использованию для стереоскопической техники визуализации.
Устройство представления, как описано выше и ниже, делает возможным взаимодействие с виртуальными объектами в трехмерном виртуальном динамическом отображении при использовании устройства ввода, предлагающего две линейные степени свободы.
Линейная степень свободы означает, в противоположность вращательной степени свободы, что тело перемещается в рамках выполнения линейно-направленного движения.
Под перемещением элемента маркировки с двумя линейными степенями свободы понимается перемещение элемента маркировки по поверхности. Другими словами: элемент маркировки может перемещаться на поверхности вдоль первого направления и вдоль второго направления, причем вектор перемещения первого направления и вектор перемещения второго направления расположены перпендикулярно друг другу. Очевидно, перемещение также возможно в составном направлении, при этом составное направление движения содержит компонент первого вектора перемещения и компонент второго вектора перемещения.
Другими словами, это значит, что элемент маркировки может перемещаться вдоль двух заданных направлений движения. Это значит, что у элемента маркировки есть две линейные степени свободы.
Тем самым устройство представления, как описано выше и ниже, делает возможным простое и быстро осваиваемое взаимодействие с трехмерным виртуальным динамическим отображением.
Под понятием взаимодействия с трехмерным виртуальным динамическим отображением, прежде всего, понимают выбор находящихся в трехмерном виртуальном динамическом отображении виртуальных объектов и манипуляцию ими.
Как указано выше, перемещение элемента маркировки, обладающее двумя линейными степенями свободы, происходит по виртуальной поверхности, при этом виртуальная поверхность задается двумя допустимыми направлениями движения элемента маркировки.
Выбор виртуального объекта в трехмерном виртуальном динамическом отображении осуществляется посредством расчета линии связи между глазом оператора устройства представления и элементом маркировки. Перемещение элемента маркировки по виртуальной поверхности влечет за собой изменение положения линии связи. Равным образом, положение линии связи изменяется также, если наблюдатель изменяет положение его глаз. Выбор виртуального объекта в трехмерном виртуальном динамическом отображении происходит посредством продления линии связи в трехмерном виртуальном динамическом отображении, причем виртуальный объект выбирается, если линия связи пересекает виртуальные координаты виртуального местоположения виртуального объекта.
Прежде всего, выбор виртуального объекта может происходить в результате прицеливания в виртуальный объект, то есть такого перемещения элемента маркировки, что линия связи скрещивается с виртуальным объектом, и последующего приведения в действие элемента выбора в элементе ввода, например, приведения в действие клавиши на так называемой компьютерной мыши, чем подтверждается выбор виртуального объекта.
Согласно другому варианту осуществления изобретения виртуальная поверхность выполнена в виде плоскости.
Необходимо особо отметить, что виртуальная поверхность представляет собой лишь воображаемую поверхность в трехмерном виртуальном динамическом отображении, задаваемую двумя допустимыми направлениями движения элемента маркировки.
Согласно другому варианту осуществления изобретения виртуальная поверхность выполнена дугообразной.
В виртуальном трехмерном динамическом отображении виртуальная поверхность представляет тем самым пространственное соответствие дуги, а именно сегмент полого цилиндра.
Даже если виртуальная поверхность за счет своей округленной формы получает компонент глубины, остается возможным перемещать элемент маркировки путем задания величин двух направлений движения от одной точки на виртуальной поверхности к произвольной другой точке на виртуальной поверхности.
Виртуальная поверхность может быть оформлена в произвольной форме, например также в форме полушария или шара.
Трехмерное динамическое отображение может проецироваться, например, таким образом, что наблюдатель виртуальных объектов оказывается окружен ими, другими словами, наблюдатель находится посреди трехмерного виртуального динамического отображения. В этом случае такая виртуальная поверхность, как шар, может окружать наблюдателя, и элемент маркировки может быть выполнен для перемещения по шаровой поверхности.
Согласно другому варианту осуществления изобретения расположение виртуальной поверхности в трехмерном виртуальном динамическом отображении является изменяемым.
Изменение расположения виртуальной поверхности в трехмерном виртуальном динамическом отображении ничего не изменяет в том обстоятельстве, что элемент маркировки способен перемещаться только по виртуальной поверхности. Поскольку виртуальная поверхность, которая лежит в трехмерном виртуальном динамическом отображении, может располагать компонентом глубины, изменение расположения виртуальной поверхности в трехмерном виртуальном динамическом отображении может привести к соответствующему изменению перемещения элемента маркировки по отношению к трехмерному виртуальному динамическому отображению.
Если виртуальная поверхность представлена, например, плоскостью, то угол наклона, под которым виртуальная поверхность располагается в трехмерном виртуальном динамическом отображении, может быть изменен. В равной мере, может быть изменено и положение виртуальной поверхности в трехмерном виртуальном динамическом отображении.
Согласно другому аспекту изобретения предложено устройство рабочего места для представления трехмерного виртуального динамического отображения и управления им, содержащее предлагаемое в изобретении устройство представления.
Устройство рабочего места может применяться, например, для управления беспилотными летательными аппаратами или же для контроля любых динамических отображений одним или несколькими пользователями.
Устройство рабочего места, как описано выше и ниже, может располагать, очевидно, несколькими устройствами представления и наряду с этим содержать также один или несколько обычных дисплеев для представления дополнительной двухмерно представленной информации.
Также устройство рабочего места может содержать элементы ввода, которые могут использоваться альтернативно или дополнительно для взаимодействия с трехмерным виртуальным динамическим отображением, как описано выше и ниже.
Устройство рабочего места, кроме того, может содержать так называемую компьютерную мышь, клавиатуру или типичные для применения устройства взаимодействия, например, такие как на рабочем месте авиадиспетчеров.
В равной мере, под любыми дисплеями или, соответственно, модулями представления понимают либо обычные дисплеи, либо чувствительные к соприкосновению дисплеи или, соответственно, модули представления (так называемые сенсорные экраны).
Согласно другому аспекту изобретения предложено устройство рабочего места, как описано выше и ниже, для контроля воздушных пространств.
Согласно другому аспекту изобретения предложено применение устройства рабочего места, как описано выше и ниже, в качестве рабочего места авиадиспетчеров.
Тем самым оператору устройства рабочего места предоставлена возможность простого взаимодействия с представленными виртуальными объектами, то есть самолетами, в наблюдаемой и, соответственно, представленной области, то есть возможность выбирать самолеты и передавать указания на выбранные самолеты.
Согласно другому аспекту изобретения предложено применение устройства рабочего места, как описано выше и ниже, для контроля беспилотных летательных аппаратов и управления ими.
Тем самым оператору устройства рабочего места предоставлена возможность простого взаимодействия с представленными виртуальными объектами, то есть беспилотными летательными аппаратами, в представленном трехмерном виртуальном динамическом отображении, то есть возможность выбирать летательные аппараты и передавать указания на выбранные летательные аппараты.
В равной мере, устройство рабочего места может быть использовано также для управления компонентами, как, например, фотокамерами или прочими воспринимающими элементами, которые являются составной частью беспилотного летательного аппарата.
Согласно другому аспекту изобретения предложен способ выбора виртуальных объектов в трехмерном виртуальном динамическом отображении, включающий отображение элемента маркировки в трехмерном виртуальном динамическом отображении, перемещение элемента маркировки с двумя степенями свободы по виртуальной поверхности, установление линии связи, проходящей от глаза наблюдателя к элементу маркировки, выбор виртуального объекта в трехмерном виртуальном динамическом отображении посредством позиционирования элемента маркировки в заданной области на виртуальной поверхности, причем объект выбирают путем перемещения элемента маркировки на виртуальной поверхности таким образом, чтобы линия связи пересекала виртуальное местоположение выбираемого виртуального объекта в трехмерном виртуальном динамическом отображении.
Согласно другому аспекту изобретения предложен машиночитаемый носитель данных, в котором сохранен элемент компьютерной программы, предназначенный для управления предлагаемым в изобретении устройством представления и при его выполнении процессором вычислительного модуля обеспечивающий осуществление предлагаемого в изобретении способа.
Элемент компьютерной программы может служить для управления процессором вычислительного модуля для выполнения способа выбора виртуальных объектов в трехмерном виртуальном динамическом отображении.
При этом машиночитаемый носитель данных может быть представлен произвольным энергозависимым или энергонезависимым носителем данных, например жестким диском, компакт-диском, DVD, дискетой, картой памяти или другим выполненным с возможностью считывания компьютером средством или, соответственно, носителем данных.
В дальнейшем варианты осуществления изобретения описаны со ссылками на чертежи.
Краткое описание чертежей
Фиг. 1 показывает схематическое перспективное изображение устройства представления согласно варианту осуществления изобретения.
Фиг. 2 показывает вид сбоку устройства представления согласно другому варианту осуществления изобретения.
Фиг. 3 показывает вид сбоку устройства представления согласно другому варианту осуществления изобретения.
Фиг. 4 показывает схематическое изображение устройства представления согласно варианту осуществления изобретения.
Фиг. 5 показывает вид сбоку устройства представления согласно варианту осуществления изобретения.
Фиг. 6 показывает схематическое представление способа согласно варианту осуществления изобретения.
Фиг. 7 показывает схематическое представление выполненного с возможностью считывания компьютером средства согласно варианту осуществления изобретения.
Подробное описание вариантов осуществления
Фиг. 1 показывает устройство 100 представления для представления трехмерного виртуального динамического отображения 300 с областью 111 представления. В трехмерном виртуальном динамическом отображении 300 находится виртуальный объект 301, а также виртуальная поверхность 601.
Виртуальная поверхность 601 выполнена для перемещения по ней элемента маркировки. Тем самым элемент маркировки может перемещаться в двух направлениях в пределах трехмерного виртуального динамического отображения 300.
Фиг. 2 показывает вид сбоку устройства 100 представления с областью 111 представления для представления трехмерного виртуального динамического отображения 300.
В трехмерном виртуальном динамическом отображении находится виртуальная поверхность 601 и виртуальный объект 301.
При этом виртуальная поверхность 601 может быть расположена в трехмерном виртуальном динамическом отображении произвольным образом. Это означает, что, например, наклон и расположение виртуальной поверхности могут быть отрегулированы.
Если положение виртуальной поверхности 601 изменяется, то это может привести к тому, что виртуальное местоположение виртуального объекта 301 также изменится относительно виртуальной поверхности 601. На фиг. 2 виртуальная поверхность 601 расположена таким образом, что виртуальный объект 301 находится между областью 111 представления и виртуальной поверхностью 601.
Однако виртуальная поверхность 601 может быть расположена таким образом, что она находится между одним или несколькими виртуальными объектами 301 и областью 111 представления.
Положение виртуальной поверхности в трехмерном виртуальном динамическом отображении не оказывает принципиального воздействия на способ выбора виртуального объекта.
Если выбираемый виртуальный объект находится между виртуальной поверхностью и глазом наблюдателя, то виртуальный объект выбирают путем направления линии связи глаза с элементом маркировки через виртуальные координаты местоположения виртуального объекта.
Если выбираемый виртуальный объект находится между виртуальной поверхностью и модулем представления, виртуальный объект выбирают путем продления линии связи в трехмерном виртуальном динамическом отображении до достижения ею координат местоположения виртуального объекта.
Фиг. 3 показывает устройство 100 представления с областью 111 представления трехмерного виртуального изображения 300, причем в трехмерном виртуальном изображении представлены виртуальный объект 301 и виртуальная поверхность 601.
Виртуальная поверхность выполнена дугообразной, что соответствует в пространственном осуществлении сегменту полого цилиндра. При этом элемент маркировки может перемещаться в пределах границ виртуальной поверхности.
Фиг. 4 показывает устройство 100 представления для трехмерного виртуального динамического отображения с модулем 110 представления с первой областью 111 представления и второй областью 112 представления. В отображаемом объеме отображаются виртуальные трехмерные объекты 301.
В трехмерном виртуальном изображении размещена виртуальная поверхность 601, по которой может перемещаться элемент 602 маркировки. Элемент 602 маркировки перемещается только по виртуальной поверхности 601, причем элемент 602 маркировки обладает двумя линейными степенями свободы в своем перемещении. Другими словами, элемент 602 маркировки выполнен для осуществления двухмерного перемещения. Тем самым элемент маркировки может управляться, например, посредством обычной компьютерной мыши.
Выбор виртуального объекта в трехмерном динамическом отображении происходит посредством обнаружения положения по меньшей мере одного глаза 503 и последующего расчета линии 504 связи между обнаруженным положением глаза 503 и элементом 602 маркировки в виртуальном трехмерном динамическом отображении в отображаемом объеме 130.
Обнаружение положения глаза может происходить, например, посредством надевания пользователем очков с отражателями и последующей регистрации положения отражателей с помощью системы камер. Однако могут быть использованы и другие способы обнаружения положения глаз.
Линия связи может быть рассчитана, очевидно, также исходя из усредненного положения обоих глаз наблюдателя. Наряду с этим, положение глаз пользователя может быть обнаружено как при помощи очков с соответствующими отражателями, так и без них. Необходимо отметить, что в связи с изобретением для обнаружения положения глаз могут быть использованы произвольные механизмы и способы.
Выбор виртуального объекта 301 в трехмерном динамическом отображении происходит за счет продления линии 504 связи в отображаемом объеме 130, при этом выбирается виртуальный объект, виртуальные координаты которого пересекает линия 504 связи. Выбор виртуального объекта 301 отмечается затем, например, посредством указателя 603 выбора.
Очевидно, виртуальная поверхность 601, на которой перемещается элемент 602 маркировки, может быть расположена также таким образом в виртуальном динамическом отображении в отображаемом объеме 130, что с точки зрения пользователя виртуальные объекты 301 находятся перед виртуальной поверхностью 601 и/или за ней.
Как только элемент 602 маркировки на виртуальной поверхности 601 перемещается настолько, что линия 504 связи пересекает координаты виртуального объекта 301, элемент 602 маркировки может быть представлен в трехмерном динамическом отображении таким образом, что он получает дополнительную информацию по глубине или, соответственно, информацию по изменению глубины виртуальных трехмерных координат выбранного объекта. С точки зрения пользователя это изменение представляется тогда таким образом, что элемент 602 маркировки, как только виртуальный объект 301 выбран, делает пространственное перемещение либо к пользователю, либо прочь от пользователя.
Это делает возможным взаимодействие с виртуальными объектами в трехмерных динамических отображениях посредством простых в обращении двухмерных устройств взаимодействия, таких как, например, компьютерные мыши, то есть посредством устройств взаимодействия, которые обладают двумя линейными степенями свободы. Это позволяет, в противоположность специальным трехмерным устройствам взаимодействия с тремя степенями свободы, предоставлять более простое и быстрее осваиваемое взаимодействие с трехмерным динамическим отображением, поскольку для взаимодействия используется устройство ввода с меньшим числом степеней свободы.
Очевидно, виртуальные объекты могут представляться в трехмерном динамическом отображении также и таким образом, что координаты объектов появляются в виртуальном динамическом отображении, как если бы виртуальные объекты с точки зрения пользователя находились за поверхностью визуализации устройства представления.
Фиг. 5 показывает устройство 200 рабочего места для представления трехмерного виртуального динамического отображения и для взаимодействия с виртуальным динамическим отображением.
Устройство 200 рабочего места содержит устройство 100 представления с модулем 110 представления.
Модуль 110 представления содержит первую область 111 представления и вторую 112 область представления, причем вторая область представления выполнена с перегибом относительно первой области представления в направлении пользователя таким образом, что обе области представления образуют внутренний угол α 115.
Первая область 111 представления модуля 110 представления и вторая область 112 представления модуля 110 представления за счет перегибного положения по отношению друг к другу образуют совместно с положением 195 наблюдателя, то есть положением глаз наблюдателя, расширенный отображаемый объем 130 для трехмерного виртуального динамического отображения.
Под отображаемым объемом 130 понимают тот объем пространства, в котором представляется видимое трехмерное виртуальное изображение.
Оператор, который использует место 190 для сидения во время пользования устройством 200 рабочего места, может использовать наряду с отображаемым объемом 130 для трехмерного виртуального динамического отображения также область 140 рабочего места, на которой могут находиться дополнительные чувствительные к прикосновению или обычные дисплеи.
Внутренний угол α 115 может быть задан таким образом, что все виртуальные объекты располагаются в отображаемом объеме 130 в пределах дальности действия руки пользователя устройства 200 рабочего места. Прежде всего, при внутреннем угле α, который лежит между 90 градусов и 150 градусов, получается хорошее приспособление устройства для дальности действия руки пользователя. Внутренний угол α может быть отрегулирован, например, также согласно индивидуальным потребностям отдельного пользователя, и при этом как снижаться ниже, так и превосходить область от 90 градусов до 150 градусов. В варианте осуществления внутренний угол α составляет 120 градусов.
При контроле воздушного пространства трехмерное виртуальное динамическое отображение может представляться, например, таким образом, что вторая область 112 представления модуля 110 представления соответствует виртуально представленной поверхности земли или отсчетной поверхности в пространстве.
Тем самым предложенное устройство рабочего места подходит, прежде всего, для более длительных и неутомительных рассмотрения и обработки трехмерных виртуальных динамических отображений с интегрированными пространственными представлениями географически привязанных данных, как, например, летательных аппаратов, точек взлета, контрольных зон, угрожаемых зон, топографии территории и метеорологических явлений, при обеспечении простых интуитивных возможностей взаимодействия.
Устройство рабочего места, как описано выше и ниже, делает тем самым возможным обеспечение большого стереоскопического объема представления и, соответственно, отображаемого пространства. Кроме того, устройство рабочего места позволяет располагать виртуальную отсчетную поверхность в виртуальном трехмерном динамическом отображении, например земную поверхность, на том же уровне, как реально наличествующий модуль представления или, соответственно, чувствительный к прикосновению модуль.
Фиг. 6 показывает схематическое представление способа выбора виртуальных объектов в трехмерном виртуальном динамическом отображении, содержащего этапы: отображения элемента маркировки в трехмерном виртуальном динамическом отображении 601, перемещения элемента маркировки с двумя степенями свободы по виртуальной поверхности 602, установления линии связи между глазом наблюдателя и элементом 603 маркировки и выбора виртуального объекта в трехмерном виртуальном динамическом отображении посредством позиционирования элемента маркировки в заданной области на виртуальной поверхности 604.
Выбор объекта может происходить посредством перемещения элемента маркировки на виртуальной поверхности таким образом, что линия связи между глазом наблюдателя и элементом маркировки пересекает виртуальное местоположение выбираемого виртуального объекта в трехмерном виртуальном динамическом отображении.
Фиг. 7 показывает машиночитаемый носитель 701 данных с элементом компьютерной программы для управления устройством представления, как описано выше и ниже, который выполнен для осуществления способа выбора виртуальных объектов в трехмерном виртуальном динамическом отображении, при выполнении элемента компьютерной программы процессором машины.