Проектирование трехмерного пользовательского интерфейса - критический компонент любого приложения с использованием виртуальной среды (VE). Представим краткий обзор трехмерного взаимодействия и интерфейсы пользователя. Обсудим влияние обычных VE аппаратных устройств на пользовательское взаимодействие, так же как техники взаимодействия для  трехмерных задач и использование традиционных двумерных стилей взаимодействия в трехмерных средах. Мы делим большинство пользовательских взаимодействий на три категории: навигация, выбор/манипуляция, и систему управления.  Центр внимания находится на  доступных методах, но также и на практических рекомендациях для трехмерного взаимодействия. Наконец, мы обсуждаем два подхода к проектированию трехмерного взаимодействия и рассмотрим некоторые примеры приложений со сложными трехмерными требованиями. Интерфейсы пользователя для компьютерных приложений становятся более разнообразными. Мыши, клавиатуры, окна, меню, и значки - стандартные части традиционных  приложений  связываются вместе  с помощью интерфейса. Но и нетрадиционные устройства и компоненты интерфейса распространяются быстро. Они включают пространственные устройства ввода данных типа трекеры, трехмерных устройств ввода, и ручные устройства ввода. Трехмерные, мультисенсорные технологии вывода–типа стереоскопических дисплеев, головные дисплеи (HMDs), пространственные аудиосистемы, и устройства  использующие  осязание - также становятся более обычными. С этой новой технологией появляются  новые проблемы. Люди часто находят это очень трудным, чтобы понять трехмерные интерфейс  и исполнять действия в свободном пространстве.  Хотя мы живем и действуем в трехмерном мире, физический мир содержит еще много элементов для ориентации и для обеспечения  действия, которые не могут в настоящее время быть представлены в компьютерном моделировании. Поэтому, большую тщательность нужно проявлять при проектировании интерфейсов пользователя и методов взаимодействия для трехмерных приложений. Просто приспособление традиционных стилей взаимодействия к трехмерному пространству не обеспечивают решение этой проблемы. Новые трехмерные интерфейсы пользователя, основанные на пространственном взаимодействии или некоторых других метафорах,  должны быть использованы. Ввод и вывод  важный компонент в формировании трехмерных интерфейсов пользователя   для приложений VE. Проектировщики взаимодействия должны иметь полное понимание эргономики, преимуществ  и ограничений используемых устройств. Однако, многие из этих устройств могут быть классифицированы в группы с общими характеристиками и дизайном взаимодействия.  Мы обычно используем дисплей, чтобы описать вывод. Хотя самые обычные дисплеи представляют информацию в визуальном виде, есть другие важные виды представления - слуховой,  осязательный, обонятельный. В контексте трехмерных интерфейсов пользователя для VEs, визуальные дисплеи могут быть грубо разделены на полностью immersive и semi-immersive устройства. Полностью immersive дисплеи - типа головных дисплеев (HMDs), ручные дисплеи, и виртуальные проектирующие на сетчатку глаза дисплеи - закрывают реальный мир. Из-за этого, физические объекты требует графического представления в виртуальном мире. Кроме того, более - сложные вводные устройства могут быть сложны для использования, потому что они не могут быть видимы. Semi-immersive дисплеи - типа стерео мониторов, и окружающие - экранные системы виртуального мира - позволяют пользователю видеть и физический и виртуальный мир. Множество проблем интерфейса возникает с такими  дисплеями. Например,  пользователи могут видеть их собственные руки перед дисплеем, они могут отметить виртуальные объекты, которые должны ближе, чем их руки. Эта проблема встречается часто в  задачах манипуляции, и может быть решена, если виртуальный объект заблокирован от выбора так.  Другая проблема имеет отношение к использованию стерео-шаттер очков. Поскольку они требуют переключения, любая преграда будет разрушать эффект стерео. Проектировщики интерфейса должны избежать методов взаимодействия  пользователя, при которых их руки или физические объекты будут попадать в сигнал переключения. В дополнение к визуальным дисплеям появляются дисплеи со слуховым, осязательным каналом. Существуют слуховые дисплеи, главные цели интерфейса – локализация трехмерного звука, и преобразование некоторых типов информации в звук. Слуховой вывод особенно полезен в совместном интерфейсе, в котором участники могут понять, где другие участники находятся в виртуальном мире. Это можно также используйтесь, чтобы заменить отсутствующий осязательный сигнал. Например, звук может имитировать  нажим кнопки. Относящиеся к осязанию и осязательные дисплеи- важный компонент трехмерного интерфейса пользователя для VEs, и это активная область исследования. Разрешение пользователям касаться и осязать в виртуальном мире может быть чрезвычайно мощно, особенно для манипуляции объектом и имитации столкновений и обнаружение объектов. Должно быть сделано различение между устройствами ввода данных и методы взаимодействия. Устройства ввода данных–только физические инструментальные средства. Вообще, много различных методов взаимодействия могут быть отображены на данное устройство ввода данных. Вопрос заключается в том, как естественно, эффективно данное устройство ввода данных будет работать. Устройства ввода данных также управляются степенями свободы. Вообще, устройство ввода данных с меньшим числом DOFs может использоваться, чтобы изображать устройство с большим количеством DOFs с дополнительными кнопками. Устройства ввода данных могут быть грубо классифицированы по типам событий, которые они производят. Устройства, которые производят одно событие в данный момент времени, считают дискретно-входными устройствами.  Щелчок по кнопке или другое действие сообщает о случае, который является обычно Булевым. Перчатки  являются примером дискретного устройства ввода данных, (пользователь нажимает два или больше пальцев, чтобы сгенерировать событие). В отличие от дискретного- устройства ввода данных, непрерывно-входные устройства производят поток событий. Два из наиболее обычных устройств  непрерывного ввода данных – трекеры позиции/ориентации и data перчатки, которые передают углы изгиба пальцев. Устройства, которые объединяют и дискретный и непрерывный события, называют гибридными. Примеры таких устройств включают кольцевую Мышь (маленькое устройство, носимое на пальце пользователя, которое обеспечивает отслеживание двух кнопок) и таблетки на основе пера, которые становятся более популярным в приложениях VE потому, что они дают пользователям способность взаимодействовать в двух измерениях. Речевой ввод уникален, потому что “устройство”- человеческий голос. Речь обеспечивает хорошее дополнение к другим устройствам ввода данных и, в результате, это - естественный путь к объединению различных режимов ввода. Вообще, речевой ввод может быть ценным инструментом в трехмерных интерфейсах пользователя, особенно когда обе руки заняты.  К сожалению, много других проблем должны быть решены, когда имеешь дело с речевым вводом. Пользователь может дать речевую команду неумышленно, когда говорит с другим человеком. Один из лучших способов избежать этой проблемы состоит в том, чтобы использовать push to talk  интерфейс. Задача навигации – самое распространенное действие в большинстве крупномасштабных трехмерных сред, и поэтому требует  пространственного понимания, обеспечение эффективного и удобного перемещения между отдаленными  местоположениями, и легкий способ навигации так чтобы пользователи могли сосредоточиться на более - важных задачах. Мы подразделяем навигацию на два компонента на моторный компонент названный перемещением  и познавательный компонент, названный поиском пути. Навигационные задачи могут  быть классифицированы на три категории. Исследование - передвижение без явного адреса: пользователь просто исследует среду. Задачи поиска приводит к  перемещению в специфическое целевое местоположение. Наконец, маневрирующие задачи могут быть охарактеризованы как  движение высокой точности,  которые используются для размещения точки зрения в более выгодное местоположение для выполнения специфической задачи. Путешествие - концептуально простая задача – движение из точки зрения от одного местоположения до другого. Ориентация точки зрения обычно обрабатывается в immersive VEs путем отслеживания головы. Есть пять общих метафор для  путешествия: Физическое движение: движение тела пользователя через среду. Примеры включают глобальное отслеживание движения, перемещение на место, и использование устройств передвижения,  таких как стационарные велосипеды. Такие методы являются приемлемыми, когда  требуется присутствие или когда приложение требует от пользователя испытывать физическое усилия при путешествии. Ручная манипуляция точки зрения: рука пользователя используются, чтобы произвести навигацию. Например, пользователь “захватывает воздух” и перемещает себя вперед как будто с виртуальной веревкой. Другой тип когда выбранный объект используется как перемещения. Эти методы могут быть эффективны. Регулирование: регулирование – непрерывное определение движения. Это самая обычная метафора путешествия  включает методы типа- направленное взглядом управление (когда ориентация головы пользователя определяет направление перемещения) или указание точки (в котором используется рука для указания перемещения. Методы регулирование являются общими и эффективными. Перемещение на основе цели. Пользователь определяет цель, а система управляет фактическим движением. Это может иметь форму “телепортации”, в которой пользователь перескакивает немедленно к новому местоположению, или, предпочтительно, система может выполнить несколько переходных движение между отправной точкой и целью. Методы на основе цели – очень просты с точки зрения пользователя. Планирование маршрута: пользователь определяет путь, а система обрабатывает фактическое движение. Пользователь может управлять значками, или рисовать путь на карте или в фактической среде, чтобы планировать маршрут. Эти методы позволяют пользователю управлять путешествием, в то время как он сохраняет способность к исполните другие задачи в течение движения. Помимо выбора метафоры, другие проекты предполагают управление скоростью и использование ограничений или руководства. Bowman и другие выполнили разнообразные экспериментальные оценки  количественного сравнения методов, которые могут быть  основанием для рекомендаций выбора дизайна. Например, проектировщики должны рассматривать, используется ли путешествие основную цель или для выполнения другой задачи. (Методы на основе цели, из-за их простоты, позволяют пользователю сконцентрироваться на основной задаче.) Другая важная задача - это обучение пользователя, и она может быть так же важна как используемая методика. Пользователи со сложной стратегией останутся более пространственно-ориентируемыми, чем те, которые ориентируются по наитию. Поиск пути, может быть описан как познавательный процесс нахождения пути через среду, таким образом, используют  и приобретают пространственное знание, чтобы создать познавательную карту среды. Пространственное знание состоит из ориентира, процедурного знания, и знание точки обзора. Использование и приобретение пространственных знание – зависит от таких факторов как контекст (человек от первого лица или человек от третьего лица) и методики путешествия. Пользователь должен получать поддержку поиска пути в течение VE путешествия. Индивидуальные пользователи имеют широкий диапазон пространственных способностей, и дополнительные степени свободы в пределах VE могут легко дезориентировать их. В случае обучения VE, с целью передачи знания от VE, приложение и среда должны быть разработаны, чтобы поддержать перемещение. Поддержка поиска пути может быть подразделена: на сосредоточенную на пользователе и сосредоточенную на среде. Первая поддержка включает факторы типа большого поля зрения, включение визуального движения и вестибулярного чувства, и не визуальной поддержки, типа аудио. Эти факторы могут иметь существенное воздействие на ощущения, но этого требует дальнейшего исследования. Сосредоточенная на среды поддержка может быть разделена на структурную организацию и факторы. Структурная организация определяет, как различные части среды могут быть идентифицированы и связаны с другими частями.  Суть состоит в сочетании принципов поиска пути, которые реализованы в  среде VE. Наиболее обычные прикладные факторы - типа карт, компасов  и сеток. Эта категория может также включать архитектурные факторы подобные освещению, цвету, и текстуре, и естественная среда подает факторы подобные горизонту и  атмосферной перспективы. Изучение карт в Ves  показали некоторое преимущество их использования при поиске пути. Методы взаимодействия для трехмерной манипуляции в VEs должны обеспечивать достижение, по крайней мере, одной из трех основных задач: выбор объекта, позиционирование объекта и вращение объекта. Поскольку прямая ручная манипуляция главный метод взаимодействия не только в трехмерном виртуальном мире, но также и в физическом мире, проектирование методов взаимодействия для выбора объекта и манипуляции имеет сильный эффект на качество интерфейса пользователя. Классический подход проектирования методов манипуляции предполагает обеспечение пользователя “виртуальной” рукой. Эта рука представляет собой трехмерный курсор, часто  подобный человеческой руке. Выбор и манипуляция просто выполняется касанием объекта, в результате позиционирование и адресация выполняется этой виртуальной рукой в пределах VE. Виртуальная рука является довольно понятной, потому что этот способ  моделирует реальное взаимодействие с объектами в физическом мире, но только те объекты могут быть выбраны, которые достижимы. Множество методов было предложено, чтобы преодолеть эту проблему. GO-GO методика  позволяет расширить область  досягаемости пользователя, используя нелинейное отображение. Когда пользователь продлевает  руку дальше, чем пороговое расстояние D, отображение становится нелинейным и виртуальная рука “растет”.   Различные функции отображения могут использоваться, чтобы достигнуть различных степеней увеличения виртуальной руки. Другой обычный способ выбирать и управлять объектами в VEs это  использование виртуального  луча, исходящего из виртуальной руки. Когда  виртуальный луч пересекается объект, это может быть обнаружено и использовано.  Несколько разновидностей проведения луча может быть использовано, чтобы помочь  пользователям в выборе очень маленького или далекого объекта. Например, методика прожектора обеспечивает конический объем выбора, так, чтобы объекты,  падающие в пределах конуса, могли быть легко выбраны. Однако, когда больше чем  один объект падает в прожектор, дальнейший выбор целевого объекта требуется.  Методика апертуры использует конический указатель, чье направление определяется местоположением глаза пользователя. Пользователь может управлять размером объема выбора. Просто перемещая ручной датчик ближе или дальше. Метод взаимодействия плоскость образа развивает и расширяет эту идею. Все методы, описанные выше, обеспечивают пользователей инструментальными средствами, которые позволяют им выбирать или перемещаться далее в виртуальном мире. Альтернативный подход был бы должен позволить пользователю управлять относительным масштабом виртуального мира. Одно из самых ранних использований этого подхода был в 3D модельер,  в который пользователи могли “расти” или “сокращать” себя, чтобы управлять объектами различных размеров. Мир-в-миниатюре (WIM) методика обеспечивает маленькую  VE. Пользователь может тогда косвенно управлять виртуальными объектами, взаимодействуя с их представлениями в WIM. Поскольку все методы манипуляции имеют определенные преимущества и слабости, множество попыток выполнялось для того, чтобы комбинировать их лучшие особенности. Например, Виртуальный Tricorder комбинирует проведение луча для выбора и манипуляции с методами навигации и  управление уровнем детализации с помощью одного универсального инструмента. Другие примеры: это метод HOMER, захват масштаба мира и куклы Voodoo. Разнообразие методов взаимодействия может подавить разработчика.  Однако, некоторые общие принципы могут быть заявлены. Ни один из методов не может быть определен как “лучший”. Часто, нереалистические методы имейте лучшую эффективность, чем базирующиеся на реальном мире. Наконец, важно осуществить ограничения на предел степеней свободы.  Системное управление относится к задаче выполнения команд, чтобы изменить состояние системы или режим взаимодействия. Выполнение команды всегда включает выбор элемента из набора.Таким образом, некоторое подобие может быть отмечено между системным управлением и методами выбора объекта.В настольных приложениях, выполнению команд всегда уделялось большое внимание.  К сожалению, стили взаимодействия, используемые в настольных средах, подобно ниспадающим меню и интерфейсу типа командной строки, не всегда применимы в пределах VE. Одна из основных проблем системы управления VE - то, что обычная одномерная или двухмерная задача становится трехмерным, в которой  уменьшается эффективность традиционных методов. Например, коснуться пункта меню, плавающего в пространстве - намного больше трудная задача, чем выбор пункта меню на рабочем столе, не только, потому, что задача стала трехмерной, но также и потому что существует ограничение размера физического стола. Многие специальные исследования выполнены, однако, системное управление не изучено структурированным способом. Мы можем классифицировать методы системного управления для immersive VEs на четыре группы: Графические меню (визуальные представления команд). Команды голосом (обращение к меню через голос). Жестикуляционное взаимодействие (команда выбирается через жест). Инструментальные средства (виртуальные объекты с неявной функцией или режимом).  Гибридные методы существуют, которые комбинируют несколько из типов. Системное управление часто объединяется с универсальной задачей взаимодействия. Из-за этой интеграции, задача системного управления должна избегать нарушения главной задачи взаимодействия. Пользователь должен остаться сосредоточенным на задаче. Взаимодействие не зависящее от режима является предпочтительным . Один из способов поддерживать свободный доступ к интерфейсу системного управления – это использование естественного пространства, такие как  фиксированная позиция относительно головы пользователя. Этот подход применим  главным образом к графическому меню. Другой метод позволяет более тесную интеграцию системного управления в поток действия, в результате получается многомодальный системный интерфейс управления. После получения доступа к интерфейсу системного управления, каждый должен выбирать команду.  Когда набор функций является большим, необходимо структурировать пункты. Это могло бы быть решено методами подобно контекстно-зависимым меню или ясной иерархии пунктов и подменю. Наконец, проектировщик должен пытаться предотвратить ошибки пользователя, обеспечивая пользователя с соответствующей обратной связью в течение и после выбора команды. Ошибки могут быть очень нежелательными для потока действий в приложении. Обычное неправильное представление об  интерфейсе пользователя заключается в том, что, если приложения содержат трехмерные миры, в которых пользователи могут создать, выбрать, и управлять трехмерными объектами, взаимодействие  должно использовать только трехмерный интерфейс. В действительности, 2-ое взаимодействие предлагает множество  преимуществ перед трехмерным взаимодействием для некоторых задач. Если есть осязательные дисплеи, 2-ое взаимодействие на физической поверхности обеспечивает ощущение обратной связи, которая является особенно полезной для того, чтобы создавать объекты, выполнять письмо, и аннотирование. Как упомянуто предварительно, большинство эффективных методов выбора основано на 2-х измерениях, хотя дальнейшая манипуляция может требовать трехмерная методика взаимодействия. Пользуясь преимуществами 2-ых и трехмерных методов взаимодействия, мы можем создать интерфейсы для трехмерных приложений. Интеграция 2-ых и трехмерных методов взаимодействия является важным подходом при проектировании интерфейса, как с физической, так и с логической точки зрения. Физическая интеграция важна, потому что мы не хотим делать интерфейс сложным для пользователей, чтобы было легко переключаться между 2-ыми и трехмерными устройствами.  Логическая интеграция также важна, потому что мы хотим, чтобы было понятно предназначение устройств, используемых для 2-ого или трехмерного взаимодействия. Это контекстно-основанная информация помогает уменьшать познавательную загрузку  пользователя. 2-D/3-D интерфейсы могут быть классифицированы на три категории.  Обратите внимание что, во всех категориях, некоторый тип физической поверхности требуется для 2-ого ввода. Различие этих интерфейсов заключается в том, как эти физические 2-ые поверхности используются.  Первая категория приложения такова, что используется полностью immersive окружение (например, HMDs), где пользователь не может физически видеть двумерную поверхность. Здесь, 2-ая поверхность - обычно часть отслеживаемой пластмассовой поверхности или таблетка на основе пера, и пользователи должны иметь графическое представление поверхности, чтобы взаимодействовать с этим в виртуальном мире. Пример этого типа являются Virtual NotePad, система для того, чтобы писать и аннотировать в VR. Вторая категория 2-D/3-D отражает приложения, которые используют semi-immersive дисплеи типа инструментальные средства. Физическая двумерная поверхность взаимодействия обычно соответствует поверхности отображения, или отслеживаемая  прозрачная таблетка, которую пользователи могут держать в руке. В последнем случае, графика проектируется на первичный дисплей, но фактически появляется на поверхности таблетки. Примеры этой категории - ErgoDesk и Прозрачная Клавиатура, в которой пользователи могут взаимодействовать с ландшафтом в  приложениях проектирования. Третья категория использует отдельные 2-ые поверхности отображения, типа карманных компьютеров и таблеток LCD на основе пера.Пример этого типа интерфейса - использование Palm Pilot в подобной CAVE устройства для камеры, среды, и геометрических элементах. Часто проводятся  дебаты относительно самого эффективного метода или философии  развития хорошего трехмерные интерфейса пользователя. Существуют два подхода  «артистическая» философия дизайна систематическая философия.  По нашему представлению, эти две стратегии дополняют друг друга, озарение может привести  к хорошей систематической форме, и наоборот. Оба подхода могут вести к новым и эффективным методам, принципам и рекомендациям для дизайна. Shneiderman идентифицировал три основы успешного дизайна интерфейса пользователя Руководящие документы Инструментальные средства программного обеспечения интерфейса пользователя Экспертные заключения и испытания применимости Эти столпы определяют главные источники проектирования удобного интерфейса пользователя, типа Рекомендации по Человекомашинному Интерфейсу Macintosh, появившихся как часть операционной системы Macintosh. Вместе они выделили и осуществили основные элементы настольного интерфейса пользователя, определили их функциональные возможности цель, соответствующий внешний вид и т.д. Эти и другие рекомендации, и инструментальные средства обеспечивают проектировщиков не только основными - стандартными блоками интерфейса, освобождая от необходимости изобретения и реализации самостоятельно, но  с ясным видением как они должны быть объединены вместе и могут использоваться, чтобы проектировать интерфейсы пользователя для специфических программ. Проектирование трехмерных интерфейсов еще не достигло такого состояния зрелости, нет все еще никакой связной трехмерной парадигмы интерфейса, подобные парадигме WIMP в настольных интерфейсах пользователя.  Хотя  о многих методах проектирования трехмерных интерфейсов сообщено в литературе и много проблем человеческих факторов многомерного взаимодействия были исследованы, нет все еще общего видения того, как эти исследовательские результаты могут быть объединены вместе, чтобы формировать связное изображение, которое вело бы проектирование трехмерного  интерфейса. Одна из причин для этого - то, что дизайн в трехмерных интерфейсах пользователя значительно более сложен, чем в двумерных интерфейсах. Проектировщики должны иметь дело с большим разнообразием устройств ввода и вывода: появляются новые дисплеи и датчики, которые требуют учета соответствующих методов взаимодействия и как следствие переоценки накопленного дизайна. Успешный трехмерный дизайн интерфейса должен быть основан на, во-первых, на исследовании человеческих факторов в вычислительных системах, во-вторых, это должно быть использование техник взаимодействия, методов и идей, развитых исследователями, в-третьих, это должно быть использование творческого потенциала и простых подходов, которые помогут изобрести интерфейсы и новые методы взаимодействия. Наконец, это должно быть использованы существующие модели  дизайна и стратегии трехмерного дизайна интерфейса. Примеры основных принципов человеческих факторов, которые могут непосредственно использоваться в трехмерном дизайне интерфейса, включают исследования двуручного взаимодействия, ограничения, сенсорную обратную связь, и многомодальное взаимодействие, так же как основные рекомендации дизайна интерфейса, которые являются применимыми из двухмерного дизайна интерфейса: требования простоты, последовательности, предотвращения ошибок, и так далее. Методы для того, чтобы изобретать трехмерные интерфейсы могут быть разделены на два класса: те, которые основываются на реальном мире и те, которые основанные на “волшебстве”. Примеры реалистических методы включают точное моделирование физических взаимодействие между людьми и средой, заимствованные из других областей человеческой деятельности (типа кино и архитектура), приспособление реальных  инструментальных средств к форме трехмерных виджетов, и заимствование идеи дизайна из двумерного интерфейса. Волшебный подход приводит к  проектированию интерфейса на основе  культурных клише и метафор - типа летающего ковра и волшебных палочек, как сознательное нарушение пользовательских предположений.  Хотя эти методы позволяют нам проектировать только краткосрочные, часто специальные решения, они действительно обеспечивают основу для научных исследований, которые можно анализировать, классифицировать, и оценить предложенные идеи и методы. Систематический подход к дизайну интерфейса характеризуется изучением пользовательских задач, существующего интерфейса, и характеристик пользователя, среды, или системы, которая могла бы затронуть реализацию. Вообще, этот подход является медленным и методическим, с постепенными усовершенствованиями реализации, а не основанным на внезапных прыжках. Важный компонент систематической философии  является классификация, обычно сделанная в форме таксономии. Классифицируя задачи и методы, мы получаем намного более глубокое понимание их и обеспечиваем нас структурой для дизайна новых методов и оценки существующих. Один тип таксономии, основанной на иерархическом разложение задачи и затем записи компонентов методики до подзадач самого низкого уровня, способствует  использованию таксономию для порождения новых дизайнов интерфейса. Этот подход может даже быть осуществлен в программном обеспечении. Так новые методы интерфейса могут быть прототипированы и проверены быстро. Второй критический аспект систематического подхода – это оценка. Хотя многие думают о дизайне и оценке как об отдельных понятиях, они – фактически сильно связанны. Повторяющийся используемый процесс дизайна  применим и к VES также. Оценка дизайна кончается изменениями в этом проекте дизайна, который может снова быть оценен. В области трехмерных интерфейсов, оценка методов взаимодействия  является все еще важной. Для иллюстрации практического использования части из методов, устройств и понятий, описанных  ранее, мы представляем некоторые приложения в этом разделе. Использование сложных систем визуализации широко распространено в прикладных областях типа автомобильной промышленности, медицинской области,  и нефтегазовой промышленности. Эти системы визуализации должны обработать большие количества данных, используя соответствующие методы визуализации, и применяя эффективные методы взаимодействия, чтобы осмотреть и управлять данными. Традиционные устройства ввода данных часто являются узким местом при взаимодействии с такими системами, из-за их неточности и потребности в постоянных изменениях режима. В немецком национальном Исследовательском центре Информационных Технологий (GMD), в задачах визуализации использовали новое устройство ввода данных Кубическую Мышь. Кубическая Мышь - имеющее форму куба устройство с тремя прутами, проходящими через первичные оси. В пределах блока, магнитный датчик помещен для отслеживания ориентации и позиции. Кубические Мыши поддерживают очень точное двурукое взаимодействие с комплексом наборов данных. Вообще, полное устройство используется, чтобы создать соответствующую точку зрения в сцене, в то время как пруты используются, чтобы перевести и вращать объекты в пределах сцены ограниченным способом. В течение неофициальной оценки, пользователи показали увеличенную точность в сравнение с двумя перчатками или пером, и точную  предпочтительность Кубической Мыши для точных манипуляций. Многомодальное взаимодействие может быть определено как комбинация многократных методов ввода и вывода для обеспечения пользователей более богатым набором взаимодействий по сравнению с традиционным интерфейсами. Методы вывода могут быть объединены, чтобы учесть сенсорную замену и параллельную обработку информации. Есть несколько основных способов  комбинировать входные методы, включая взаимозависимость (два или больше входных методов дополняют друг друга когда они объединяются, чтобы выдать отдельную команду), параллелизм (два или больше входных метода параллельны когда они выдают различные команды в одно время), и передача (два входных метода передают информацию, когда каждый получает ее от другого и использует эту информацию, чтобы завершить данную задачу). Эти многомодальные входные стили были осуществлены в контексте научной визуализации на основе VR приложения. В частности Multimodal Scientific Visualization Tool (MSVT)    позволяет пользователям рассматривать и взаимодействовать с потоком жидкости  , используя жесты рукой и ввод голоса. MSVT использует комбинацию стилей ввода типа взаимозависимости и передачи для создания, манипуляции, и удаления из инструментальных средств визуализации.    Пользователи могут спросить у приложения определенный инструмент, показать где размещать инструмент. Кроме того, пользователи могут одновременно управлять наборами данных и инструментальными средствами визуализации путем издания команд голосом для того, чтобы запомнить важные точки зрения и записи мультипликации.  Архитектурное проектирование часто представляется как область, для которой виртуальные среды должны быть идеальны. Вне пешеходных прогулок и проверки окружающей среды, однако, есть несколько областей для приложений immersive дизайн. Virtual Habitat-  пространство  дизайна, которое сосредоточено на обучении. Цель Virtual Habitat состоит в том, чтобы позволить студентам применить принципы экологического дизайна. Студенты погружены в виртуальный зоопарк, показывают и используют диалоговые инструментальные средства дизайна, чтобы делать изменения ландшафта, местоположения камней и деревьев, и местоположения и угол точек зрения посетителя.  Virtual Habitat показывает сложное взаимодействие. Пользователь должен передвигаться, выбирать и управлять объектами, и управлять выводом информации. Система поддерживает различные типы задач и пользовательских предпочтений, обеспечивая по крайней мере, два способа решения большинства задач: прямая методика имеет место в 3D среде,  косвенная методика,  используется 2D интерфейс. Методы взаимодействия были выбраны на основании результатов экспериментов, сравнения различных техник перемещения, выбора и манипуляции. Изучение применимости показало, что  это приложение служило очень хорошо в области его предназначения.  Трехмерное представление информации является наиболее привычным и наглядным для человека: через зрение человек получает около 80% всей воспринимаемой информации. Различные системы 3D визуализации и виртуальной реальности уже хорошо себя зарекомендовали и с экономической точки зрения.