СЪЕМКА ВИДОВ И ДВИЖЕНИЙ АКТЕРОВ, ДЕЙСТВУЮЩИХ В СГЕНЕРИРОВАННЫХ ДЕКОРАЦИЯХ
CAPTURING VIEWS AND MOVEMENTS OF ACTORS PERFORMING WITHIN GENERATED SCENES

Область техники, к которой относится изобретение
Настоящее изобретение относится к кинофильмам и видеоиграм, в частности к моделированию работы виртуальной камеры, действующей в декорациях, сгенерированных для таких кинофильмов и видеоигр.
Уровень техники
Системы съемки движения используются для съемки движения реальных объектов и проецирования их на сгенерированные компьютером объекты. Такие системы часто используются в производстве кинофильмов и видеоигр для создания цифрового отображения, которое используется в качестве исходных данных для создания компьютерной графической (CG) анимации. Во время сеанса с использованием типовой системы съемки движения актер надевает костюм с прикрепленными в разных местах метками (к примеру, маленькими светоотражающими метками, прикрепленными к туловищу и конечностям), а цифровые камеры записывают движения актера. Затем система анализирует изображения для определения местоположений (к примеру, в качестве пространственных координат) и ориентацию меток на костюме актера в каждом съемочном плане. Отследив местоположения меток, система создает пространственное отображение меток во времени и строит цифровое представление актера в движении. Движение затем накладывается на цифровую модель, которая затем может быть текстурирована и визуализирована для производства полного CG отображения актера и (или) исполнения. Эту технологию используют компании, производящие спецэффекты для создания реалистичной анимации во многих популярных фильмах и играх.
Раскрытие изобретения
Настоящее изобретение обеспечивает генерирование декораций для виртуальной среды визуальной развлекательной программы.
В одном варианте осуществления раскрыт способ съемки видов и движений актера, действующего в сгенерированных декорациях. Способ включает в себя этапы, на которых: отслеживают движения наголовной камеры и множества меток съемки движения, надетых на актера, внутри физического объема пространства; переводят движения наголовной камеры в движения головы виртуального персонажа, действующего в виртуальной среде; переводят движения множества меток съемки движения в телодвижения виртуального персонажа; генерируют съемочные планы «от первого лица» с точки зрения персонажа с помощью движений головы и движений тела виртуального персонажа; и подают сгенерированные съемочные планы «от первого лица» с точки зрения персонажа на наголовную камеру, надетую на актера.
В другом варианте осуществления раскрыт способ съемки видов и движений актера, действующего в сгенерированных декорациях. Способ включает в себя этапы, на которых: отслеживают положения и ориентации объекта, надетого на голову актера, внутри физического объема пространства; отслеживают положения меток съемки движения, надетых на тело актера, внутри физического объема пространства; переводят положения и ориентации объекта в движения головы виртуального персонажа, действующего в виртуальной среде; переводят положения множества меток для съемки движения в телодвижения виртуального персонажа; и генерируют съемочные планы «от первого лица» с точки зрения персонажа с помощью движений головы и тела виртуального персонажа.
В другом варианте осуществления раскрыта система генерирования декораций для виртуальной среды визуальной развлекательной программы. Система включает в себя: множество отслеживающих положение устройств, выполненных с возможностью отслеживать положения объекта в виде наголовной камеры и множества меток для съемки движения, надетых на актера, действующего внутри физического объема пространства; отслеживающее ориентацию устройство, выполненное с возможностью отслеживать ориентации объекта в виде наголовной камеры; процессор, включающий в себя носитель записи, на котором хранится компьютерная программа, содержащая выполняемые команды, которые заставляют процессор: принимать видеофайл, включающий в себя виртуальную среду; принимать данные отслеживания положений объекта в виде наголовной камеры и множества меток съемки движения с множества отслеживающих положение устройств; принимать данные отслеживания ориентации объекта в виде наголовной камеры с отслеживающего ориентацию устройства; переводить положения и ориентации объекта в виде наголовной камеры в движения головы виртуального персонажа, действующего в виртуальной среде; переводить положения множества меток для съемки движения в телодвижения виртуального персонажа; генерировать съемочные планы «от первого лица» с точки зрения персонажа с помощью движений головы и тела виртуального персонажа; и подавать сгенерированные съемочные планы «от первого лица» с точки зрения персонажа на объект в виде наголовной камеры, надетый на актера.
В еще одном варианте осуществления раскрыт машиночитаемый носитель записи, на котором хранится компьютерная программа генерирования декораций для виртуальной среды визуальной развлекательной программы. Компьютерная программа включает в себя выполняемые команды, которые заставляют компьютер: принимать видеофайл, включающий в себя виртуальную среду; принимать данные отслеживания положений объекта в виде наголовной камеры и множества меток съемки движения с множества отслеживающих положение устройств; принимать данные отслеживания ориентации объекта в виде наголовной камеры с отслеживающего ориентацию устройства; переводить положения и ориентации объекта в виде наголовной камеры в движения головы виртуального персонажа, действующего в виртуальной среде; переводить положения множества меток съемки движения в телодвижения виртуального персонажа; генерировать съемочные планы «от первого лица» с точки зрения персонажа с помощью движений головы и тела виртуального персонажа; и подавать сгенерированные съемочные планы «от первого лица» с точки зрения персонажа на объект в виде наголовной камеры, надетый на актера.
Другие признаки и преимущества настоящего изобретения станут более явными для специалистов в данной области после знакомства с нижеследующим подробным описанием и приложенными чертежами.
Краткое описание чертежей
Фиг.1 показывает один пример декораций, в которых виртуальные персонажи показаны в промежуточной стадии завершенности.
Фиг.2 показывает один пример декораций, в которых виртуальным персонажам в промежуточной стадии, показанной на Фиг.1, приданы реалистичные черты.
Фиг.3 является одним примером декораций, показывающим съемочный план, снятый «от первого лица».
Фиг.4 показывает один пример нескольких различных конфигураций сеанса съемки движения.
Фиг.5 показывает физический объем пространства для отслеживания наголовной камеры и меток, надетых на актера, действующего в декорациях, сгенерированных для кинофильмов и (или) видеоигр.
Фиг.6 показывает один пример актера с наголовной камерой и в костюме с прикрепленными к нему множественными метками для съемки движения.
Фиг.7 показывает один пример установки физического объема пространства для выполнения сеансов съемки движения.
Фиг.8 показывает один пример наголовной камеры, которая использует сочетание аппаратного и программного обеспечения для съемки движения головы актера.
Фиг.9 является блок-схемой, иллюстрирующей процесс съемки изображений и движений актера, играющего в декорациях, сгенерированных для кинофильмов, видеоигр и (или) моделирования.
Осуществление изобретения
Некоторые варианты осуществления, как раскрыто здесь, обеспечивают съемку изображений и движений актера, действующего в декорациях, сгенерированных для кинофильмов, видеоигр, моделирования и/или других визуальных развлекательных программ. В некоторых вариантах осуществления снимаются изображения и движения более чем одного актера, действующего в сгенерированных декорациях. Другие варианты осуществления обеспечивают моделирование работы наголовной камеры, работающей в сгенерированных декорациях. Сгенерированные декорации предоставляются актеру, чтобы помочь ему действовать в этих декорациях. В некоторых вариантах осуществления в понятие «актер» входят «исполнитель», «игрок» и/или пользователь системы, генерирующей кинофильмы, видеоигры и/или иное моделирование.
В одном варианте осуществления сгенерированные декорации подаются на наголовную камеру, которая надета на актера, для обеспечения у него ощущения виртуальной среды. Актер с наголовной камерой физически перемещается по объему для съемки движения, в котором физическое движение головной гарнитуры отслеживается и преобразуется в поле зрения актера в виртуальной среде.
В некоторых вариантах осуществления это поле зрения актера отображается в виде съемочных планов, снятых с точки зрения персонажа съемочной камерой. В описанном ниже варианте осуществления на актера с наголовной камерой может также быть надет костюм с набором меток для съемки движения. Физические перемещения меток для съемки движения отслеживаются и переводятся в движения актера в виртуальной среде. Снятые перемещения актера и наголовного устройства встраиваются в сгенерированные декорации для создания серии съемочных планов «от первого лица», снятых с точки зрения персонажа актера, действующего в виртуальной среде. Съемочные планы «от первого лица», снятые с точки зрения персонажа, поданные на наголовную камеру, позволяют актеру видеть руки и ноги персонажа, действующего в виртуальной среде. Описанные выше этапы особенно полезны в играх, куда часто бывает желательно включать виды «от первого лица» в качестве способа сочетать сюжет и игру «с погружением».
В одном варианте осуществления виртуальная среда, в которой действует виртуальный персонаж, содержит виртуальную среду, сгенерированную для видеоигры. В другом варианте осуществления виртуальная среда, в которой действует виртуальный персонаж, содержит гибридную среду, сгенерированную для кинофильма, в которой виртуальные сцены объединены со сценами, снятыми «вживую».
Следует отметить, что наголовная камера не является настоящей камерой, это физический объект, который обозначает виртуальную камеру в виртуальной среде. Движения (изменения ориентации) физического объекта отслеживаются для соотнесения их с ракурсом камеры виртуального персонажа, действующего в виртуальной среде.
В описанных выше вариантах осуществления съемочные планы «от первого лица» с точки зрения персонажа снимаются путем отслеживания положения и ориентации наголовного устройства, надетого на актера, и преобразования положения и ориентации в поле зрения актера в виртуальной среде. Кроме того, метки, размещенные на костюме, надетом на актера, отслеживаются для генерирования движений актера, действующего в виртуальной среде.
По прочтении данного описания становится очевидно, каким образом изобретение можно реализовать в различных вариантах осуществления и применениях. Однако, хотя здесь будут описаны различные варианты осуществления настоящего изобретения, само собой разумеется, что эти варианты осуществления приведены только в качестве примера, но не ограничения. Как таковое, это подробное описание различных вариантов осуществления не должно толковаться как ограничение объема или широты настоящего изобретения.
С появлением технологии, обеспечивающей более реалистичную и жизнеподобную анимацию (часто в трехмерной среде), видеоигры становятся скорее интерактивным развлечением, чем просто играми. Далее интерактивность может быть включена в другие развлекательные программы, такие как видеофильмы или различные типы моделирования. В сеансах съемки движения используется ряд камер для съемки движения, которые снимают метки на телах актеров, передают снятые метки в компьютер, накладывают их на «скелеты» для генерирования графических персонажей и добавляют к графическим персонажам жизнеподобные черты. Например, Фиг.1 и 2 показывают жизнеподобные черты (см. Фиг.2), добавленные к графическим персонажам с помощью сеанса съемки движения. Далее моделирование съемочных планов «от первого лица», снятых с точки зрения актера (к примеру, как показано на Фиг.3), действующего в декорациях, сгенерированных для видеоигры, позволяет игрокам погрузиться в игровую среду, оставаясь вовлеченными в сюжет.
Сгенерированные декорации в трехмерной среде изначально снимаются кинокамерами и (или) камерами для съемки движения, обрабатываются и передаются на физическую видеокамеру. Фиг.4 показывает один пример нескольких различных конфигураций сеанса съемки движения. В альтернативном варианте осуществления сцены генерируются с помощью компьютерной графики (к примеру, с помощью анимации по ключевым съемочным планам).
В одном варианте осуществления при генерировании съемочных планов «от первого лица», снятых с точки зрения актера, на актера надета наголовная камера 502 и костюм с прикрепленным к нему множеством меток 510 съемки движения, и актер действует внутри физического объема пространства 500, как показано на Фиг.5. Фиг.6 показывает один пример актера, на которого надета наголовная камера и костюм с прикрепленным к нему множеством меток съемки движения. Фиг.7 показывает один пример установки физического объема пространства для выполнения сеанса съемки движения.
В проиллюстрированном на Фиг.5 варианте осуществления положение и ориентация наголовной камеры 502, надетой на актера 520, отслеживается внутри физического объема пространства 500. Съемочные планы «от первого лица», снятые с точки зрения актера 520, затем генерируются путем перевода перемещений наголовной камеры 502 в движения головы человека, действующего в сценах, сгенерированных для кинофильмов и видеоигр («3D виртуальная среда»). Далее телодвижения актера 520 генерируются путем отслеживания меток 510 для съемки движения, размещенных на костюме, надетом на актера. Декорации, сгенерированные из съемочных планов «от первого лица» и телодвижений актера 520, затем подаются обратно на наголовную камеру 502, надетую на актера, чтобы помогать актеру действовать в этих декорациях (к примеру, видны руки и ноги персонажа, действующего в виртуальной среде). Таким образом, обратная связь позволяет актеру 520 видеть то, что персонаж видит в виртуальной среде, и виртуально перемещаться по этой среде. Актер 520 может видеть и взаимодействовать с персонажами и объектами в виртуальной среде. Фиг.8 показывает один пример наголовной камеры, в которой использовано сочетание аппаратного обеспечения и программного обеспечения для съемки движения головы актера.
На Фиг.5 положение наголовной камеры 502 отслеживается с помощью отслеживающих положение устройств 540, прикрепленных к потолку. Опоры для отслеживающих положение устройств 540 расположены в виде решетки 530. Отслеживающие положение устройства 540 могут также использоваться для определения ориентации наголовной камеры 502. Однако в типовой конфигурации для определения ориентации камеры 502 используются датчики ускорения или гироскопы, прикрепленные к камере 502.
После того как сгенерированы декорации для виртуальной среды, отслеженные движения наголовной камеры 502 переводятся в движения головы персонажа, действующего в виртуальной среде, и вычисляются и генерируются съемочные планы «от первого лица» (с точки зрения виртуального персонажа). Эти съемочные планы «от первого лица» подаются на компьютер для сохранения, вывода и (или) других целей, таких как подача обратно на наголовную камеру 502, чтобы помочь актеру 520 действовать в декорациях виртуальной среды. Таким образом, процесс «генерирования» съемочных планов «от первого лица» с точки зрения персонажа включает в себя: отслеживание движений (т.е. положения и ориентации) наголовной камеры 502 и движений меток 510 на актере 520 внутри физического объема пространства 500; преобразование движений наголовной камеры 502 в движения головы виртуального персонажа, соответствующего актеру 520 (т.е. виртуальный персонаж используется в качестве аватара актера); перевод движений меток 510 в телодвижения виртуального персонажа; генерирование съемочных планов «от первого лица» с точки зрения персонажа с помощью движений головы и тела виртуального персонажа; подача обратно и отображение сгенерированных съемочных планов «от первого лица» с точки зрения персонажа на наголовную камеру 502. Сгенерированные съемочные планы могут быть поданы обратно и отображены на дисплее наголовной камеры 502 по проводам или беспроводным способом.
Итак, описана система съемки поля зрения и движений актера, действующего в виртуальных декорациях, сгенерированных для кинофильмов, видеоигр и (или) моделирования. Система включает в себя отслеживающее положение устройство, отслеживающее ориентацию устройство, процессор, блок памяти и дисплей. Отслеживающее положение устройство выполнено так, чтобы отслеживать положение наголовной камеры и набора меток для съемки движения. Отслеживающее ориентацию устройство выполнено так, чтобы отслеживать ориентацию наголовной камеры. Процессор включает в себя носитель записи, на котором хранится компьютерная программа с выполняемыми командами. Выполняемые команды заставляют процессор: переводить движения наголовной камеры в движения головы виртуального персонажа, действующего в декорациях, сгенерированных для кинофильмов или видеоигр, где поле обзора виртуального персонажа генерируется в соответствии с отслеженными положением и ориентацией физической наголовной камеры; переводить движения меток для съемки движения в телодвижения виртуального персонажа; генерировать съемочные планы «от первого лица» с точки зрения персонажа с помощью движения головы и тела виртуального персонажа; подавать обратно и отображать сгенерированные съемочные планы «от первого лица» с точки зрения персонажа на наголовной камере.
Как описано выше, заснятые съемочные планы от первого лица и движения актера, действующего внутри объема для съемки движения, позволяют виртуальному персонажу, действующему в сгенерированных виртуальных декорациях, двигаться вперед, в противоположном направлении и вокруг созданных с помощью съемки движения (или с помощью анимации по ключевым съемочным планам) персонажей или объектов для создания реалистичного обзора виртуальной трехмерной среды от первого лица. Например, Фиг.5 показывает актера 520, на которого надета наголовная камера 502, действующего внутри физического объема пространства 500. Поскольку положение камеры 502 отслеживается отслеживающими положение устройствами 540 под потолком, а ее ориентация отслеживается датчиками, прикрепленными к камере 502, эти данные отслеживания передаются на процессор, а процессор посылает обратно видео, отображающее точку обзора и движение виртуальной камеры, действующей в виртуальной трехмерной среде. Это видео сохраняется в блоке памяти и отображается на наголовной камере 502.
До того как посредством различных вариантов осуществления настоящего изобретения, описанных выше, стало доступным моделирование наголовной камеры (для съемки видов и движений актера), сеансы съемки движения включали в себя определение, где будут расположены камеры, и указание актерам съемки движения (или анимированным персонажам), чтобы они двигались соответствующим образом. Однако с ростом доступности описанных выше технологий положение и ракурс камер, так же как движения актеров, могут быть определены после завершения сеанса съемки движения (или сеанса анимации по ключевым съемочным планам). Далее, поскольку сеанс моделирования наголовной камеры может выполняться в реальном времени, перед тем как выбрать конкретный дубль, дающий лучшие движение и ракурс камеры, можно выполнить и записать множество сеансов моделирования наголовной камеры. Сеансы записываются так, что каждый сеанс можно оценить и сравнить по движению и ракурсу камеры. В некоторых случаях множество сеансов моделирования наголовной камеры могут быть выполнены на каждом из нескольких различных сеансов съемки движения, чтобы выбрать лучшее сочетание.
Фиг.9 является блок-схемой 900, иллюстрирующей процесс съемки видов и движений актера, действующего в декорациях, сгенерированных для кинофильмов, видеоигр, моделирования и/или других визуальных развлекательных программ, согласно одному варианту осуществления. В иллюстрированном варианте осуществления по Фиг.9 декорации генерируются в ячейке 910. Сцены генерируются путем съемки их кинокамерами или камерами для съемки движения, обрабатываются и подаются на наголовную камеру 502. В одном варианте осуществления сгенерированные сцены подаются в видеофайле, включающем в себя виртуальную среду.
В ячейке 920 движения (т.е. положение и ориентация) наголовной камеры и меток отслеживаются внутри физического объема пространства. Как отмечалось выше, в одном примере варианта осуществления положение камеры 502 отслеживается с помощью отслеживающих положение устройств 540, расположенных в виде решетки 530 и прикрепленных к потолку. Отслеживающие устройства 540 или датчики ускорения/гироскопы, прикрепленные к наголовной камере 502, могут использоваться для определения ориентации. Положение и ориентация физической камеры 502 отслеживаются так, чтобы эти положение и ориентация могли быть надлежащим образом переведены в движения головы (т.е. поле зрения) виртуального персонажа, действующего в виртуальной среде. Следовательно, генерирование декораций для визуальной развлекательной программы содержит выполнение сеанса съемки движения, в котором снимаются обзоры и движения актера, действующего внутри сгенерированных сцен. В одном варианте осуществления выполняется множество сеансов съемки движения, чтобы выбрать дубль, обеспечивающий лучшие движение и ракурс камеры. В другом варианте осуществления множество сеансов съемки движения записываются так, чтобы каждый сеанс можно было оценить и сравнить.
Движения наголовной камеры 502 переводятся в движения головы виртуального персонажа, соответствующего актеру 520, в ячейке 930, а движения меток 510 переводятся в телодвижения виртуального персонажа (включая мимику) в ячейке 940. Таким образом, перевод движения наголовной камеры в движения головы виртуального персонажа для генерирования съемочных планов «от первого лица» с точки зрения персонажа включает в себя перевод движений наголовной камеры в изменения полей зрения виртуального персонажа, действующего в виртуальной среде. Затем в ячейке 950 генерируются съемочные планы «от первого лица» с точки зрения персонажа с помощью движений головы и тела виртуального персонажа. Сгенерированные съемочные планы «от первого лица» с точки зрения персонажа подаются обратно и отображаются на наголовной камере 502 в ячейке 960.
В альтернативном варианте осуществления вся установка отслеживания камеры внутри физического объема пространства является игрой, в которой игрок играет за виртуального персонажа, действующего в игре. Установка включает в себя: процессор для координации игры; отслеживающее положение устройство, которое можно укрепить на потолке; отслеживающее направление устройство (т.е. датчики ускорения, гироскопы и т.д.), соединенное с наголовной камерой, надетой на игрока; записывающее устройство, соединенное с процессором для записи съемочных планов «от первого лица» с точки зрения персонажа, снятых игроком. В одной конфигурации процессор является игровой консолью, такой как Sony Playstation.
Данное описание раскрытых вариантов осуществления предоставляется, чтобы дать возможность любому специалисту в данной области воспроизвести или использовать изобретение. Многочисленные модификации этих вариантов осуществления очевидны для специалистов в данной области, и определенные здесь принципы могут применяться к другим вариантам осуществления без отхода от сущности или объема изобретения. Например, хотя спецификация описывает съемку видов и движений камеры, надетой на актера, действующего в декорациях, сгенерированных для кинофильмов и видеоигр, виды и движения камеры, надетой на актера, могут быть задействованы в других применениях, таких как концерты, праздники, шоу и осмотр недвижимости. В другом примере можно отслеживать больше одной наголовной камеры, чтобы моделировать взаимодействие между актерами, на которых надеты камеры (к примеру, отслеживаются две камеры для моделирования сцены драки между двумя игроками, где у каждого игрока разные движения и угол зрения). Таким образом, изобретение не стремится ограничиться показанными здесь вариантами осуществления, но ему должен соответствовать широчайший объем, согласующийся с принципиальными и новыми признаками, раскрытыми здесь.
Различные варианты осуществления изобретения реализуются в виде электронного аппаратного обеспечения, компьютерного программного обеспечения или сочетания этих технологий. Некоторые варианты осуществления включают в себя одну или несколько компьютерных программ, исполняемых одним или несколькими компьютерами. Как правило, компьютер включает в себя один или несколько процессоров, один или несколько компонентов для хранения данных (к примеру, энергонезависимые и энергозависимые модули памяти и постоянные оптические и магнитные устройства записи, такие как жесткие диски и флоппи-диски, CD-ROM и накопители на магнитной ленте), одно или несколько устройств ввода (к примеру, устройства управления игрой, мыши и клавиатуры), а также одно или несколько устройств вывода (к примеру, дисплеи).
Компьютерные программы включают в себя исполняемый код, который обычно хранится на постоянном носителе записи и затем копируется в память во время исполнения. По меньшей мере один процессор исполняет этот код путем считывания программных команд из памяти в предписанном порядке. Выполняя программный код, компьютер принимает данные с устройств ввода и (или) памяти, выполняет операции с данными и затем подает результирующие данные на устройства вывода и (или) памяти.
Специалистам в данной области понятно, что описанные здесь различные иллюстративные модули и этапы способа могут быть осуществлены при помощи электронного аппаратного обеспечения, программного обеспечения, аппаратно реализованного программного обеспечения или сочетаний вышеупомянутого. Чтобы точнее иллюстрировать эту взаимозаменяемость аппаратного и программного обеспечения, различные иллюстративные модули и этапы способа описаны здесь как правило с точки зрения их функционального назначения. Осуществлены ли эти функции при помощи аппаратного или программного обеспечения, зависит от конкретного применения и проектных ограничений, накладываемых на комплексную систему. Специалисты могут осуществить описанное функциональное назначение различными способами для каждого конкретного применения, но такие вариативные решения не должны трактоваться как отход от объема изобретения. Кроме того, функции сгруппированы в модули или этапы для удобства описания. Отдельные функции могут быть перемещены из одного этапа в другой без отхода от объема изобретения.
Дополнительно, этапы способа или технологии, описанные в связи с раскрытыми здесь вариантами осуществления, могут быть осуществлены непосредственно в аппаратном обеспечении, в модуле программного обеспечения, исполняемом процессором, или в их сочетании. Модуль программного обеспечения может постоянно храниться в памяти: RAM, флэш, ROM, KPROM, EKPROM, регистрирующих устройствах, жестком диске, съемном диске, CD-ROM или в любой другой форме носителя записи, включая сетевой носитель записи. Пример носителя записи может быть соединен с процессором так, что процессор может считывать данные с носителя записи и записывать данные на носитель записи. В качестве альтернативы носитель записи может быть составной частью процессора. Процессор и носитель записи могут также постоянно размещаться на специализированной ИС (ASIC).