АВТОМАТИЧЕСКИЙ ЦИФРОВОЙ СБОР И МАРКИРОВКА ДИНАМИЧНЫХ ВИДЕОИЗОБРАЖЕНИЙ
AUTOMATIC DIGITAL COLLECTION AND MARKING OF DYNAMIC VIDEO IMAGES

[0001] Данная заявка притязает на приоритет Предварительной патентной заявки США с порядковым номером 61/689654, поданной 11 июня 2012 года, озаглавленной "Auto Digital Curation And Tagging Of Action Videos", и заявки на патент США с порядковым номером 13/734818, поданной 4 января 2013 года, озаглавленной "Automatic Digital Curation And Tagging Of Action Videos", которые полностью включаются в этот документ путем отсылки.
[0002] Данная заявка включает в себя материал, который подлежит охране авторского права. Владелец авторских прав не имеет возражений против факсимильного воспроизведения кем-либо раскрытия патента, как он выглядит в файлах или записях Бюро США по патентам и торговым знакам, в противном случае абсолютно все авторские права защищены.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0003] Настоящее изобретение в общем относится к области устройств для записи видеоизображения и в частности к способам и устройствам для автоматического цифрового сбора и маркировки динамичных видеоизображений.
УРОВЕНЬ ТЕХНИКИ
[0004] Широкая доступность портативных камер привела к стремительному росту коротких любительских и профессиональных видеоизображений. Многие из этих видеоизображений, особенно сделанных камерами для динамичной съемки типа POV (от первого лица), относятся к экстремальным видам спорта, таким как горные лыжи, катание на сноуборде, серфинг, катание на горном велосипеде и т.п. Веб-сайт YouTube, например, содержит тысячи таких видеоизображений.
[0005] Вместе с тем очень большое количество и популярность этих видеоизображений создали свою проблему. Во-первых, стало очень трудно отыскать представляющее интерес видеоизображение, когда представляющее интерес событие не ассоциировано явно с видеоизображением его создателями. Во-вторых, поскольку большинство видеоизображений сделано любителями и не редактируется, пользователям приходится смотреть все видеоизображение, даже если они заинтересованы только в его некоторой конкретной части, например когда сноубордист прыгает, или у лыжника очень быстрый участок спуска, или любые другие конкретные события в более крупном видеоизображении.
[0006] В то же время широкая популярность портативных устройств с GPS и другими датчиками делает возможным точное измерение, хранение и классификацию действий в экстремальных видах спорта. Поэтому если бы данные видеоизображения и данные о выполнении можно было синхронизировать во времени и пространстве, то видеоматериалы можно было бы снабжать комментариями, редактировать, выбирать и маркировать на основе матрицы выполнения конкретного действия, которое было снято.
[0007] Человек, ищущий или просматривающий такое видеоизображение, может отыскать конкретное видеоизображение или части видеоизображения. Например, такой человек может захотеть найти видеоизображение, которое показывает прыжки на сноуборде с временем пребывания в воздухе больше одной секунды. Однако это было бы непрактично или невозможно при использовании доступных в настоящее время средств для маркировки видеоизображений, которые обычно используют только семантику и текстовые описания видеоизображений.
[0008] Другая проблема, ассоциированная со многими динамичными видеоизображениями, состоит в том, что они создаются одним человеком, а данные о выполнении для "субъекта" видеоизображения собираются датчиками, совмещенными с субъектом видеоизображения, который является другим человеком.
[0009] Предприняты попытки помечать видеоизображение во время захвата для быстрого выбора. Однако такие решения обычно используют метки, которые основываются на тексте, который создается другими или обнаруживается в видеоизображении.
[0010] Патенты США 7624337 и 7823055 раскрывают решение, которое использует текст, включая текст в видеоизображении, для создания меток и метаданных для последующего использования в поиске видеоизображений.
[0011] Патент США 5832171 (Heist) и др. описывает синхронизацию видеоизображения и текста, где текст создавался для видеоизображения.
[0012] Патент США 4873585 (Blanton) и др. показывает систему, которая допускает выбор изображений конкретных движений из видеоизображения, чтобы предоставить простой доступ к этим изображениям. Однако это требует вмешательства оператора и принятия решений.
[0013] Патент США 7483049 (Aman) и др. раскрывает создание базы данных с видеоизображениями спортивных движений. Однако видеоизображение нужно создавать в сильно управляемой среде с помощью нескольких камер спортсменами с видимыми или невидимыми маркерами, которые можно идентифицировать на видеоизображении.
[0014] Также существует пакет документов по инициированию видеоизображения конкретными событиями, главным образом нарушениями правил движения. Патент США 7986339 (Higgins) описывает систему, допускающую запись и анализ неподвижных изображений и видеоизображений нарушения правил движения. Однако видеозапись инициируется внешним физическим сигналом, который формируется транспортным средством, например лазером или радаром на эффекте Допплера. Патент США 6919823 (Lock) и Патент США 7633433 (Behrens) аналогичны, причем инициирующий сигнал формируется переключением красного света или лазерным лучом, прерываемым после переключения красного света.
[0015] К тому же в вышеупомянутых случаях относительное положение камеры и субъекта видеоизображения известны заранее, и поэтому решение не предоставляет никакого поиска во временной и пространственной области для сопоставления события и видеоматериалов.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0016] В варианте осуществления настоящее раскрытие изобретения предоставляет способ и систему, которые делают возможным синхронизацию видеоизображения и соответствующих данных о выполнении, а затем маркировку и/или редактирование видеоизображения на основе данных о выполнении. Данные видеоизображения и данные о выполнении могут собираться совмещенным устройством (то есть одним и тем же устройством) либо разными устройствами и разными пользователями. Данные видеоизображения и данные о выполнении также могли бы сохраняться на одном устройстве или сохраняться на разных устройствах или базах данных. Изобретение соответственно может обеспечить сопоставление данных видеоизображения и данных о выполнении из разных наборов данных или разных баз данных, а затем автоматическое редактирование, снабжение комментариями и маркировку видеоизображения. Это может выполняться, даже если данные видеоизображения и данные о выполнении записывались независимо и без явных сведений о другом действии.
[0017] Изобретение принимает в системе обработки данные GPS, а в некоторых вариантах осуществления - инерциальные данные от устройства с датчиками, носимого пользователем, который в некоторых вариантах осуществления является спортсменом во время спортивного действия. Данные GPS могут быть данными о положении, или данными о времени, либо данными о положении и времени. Система обработки обрабатывает данные GPS и необязательные данные датчиков, чтобы идентифицировать по меньшей мере одно событие, например спортивное событие, и сохраняет данные, идентифицирующие это событие, в базе данных о выполнении. Данные видеоизображения от видеокамеры сохраняются в базе данных видеоизображений, причем данные видеоизображения включают в себя информацию о местоположении, времени и направлении, ассоциированную с кадрами видеоизображения. Данные временного кода в видеозаписи синхронизируются с данными временного кода в записи выполнения, и данные, идентифицирующие событие, используются для автоматического выбора, снабжения комментариями, маркировки или редактирования упомянутых данных видеоизображения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0018] Вышеупомянутые и другие цели, признаки и преимущества изобретения станут очевидными из нижеследующего, более конкретного описания предпочтительных вариантов осуществления, которые проиллюстрированы на прилагаемых чертежах, на которых номера позиций относятся к одинаковым частям на различных представлениях. Чертежи не обязательно представлены в масштабе, вместо этого сделан акцент на иллюстрацию принципов изобретения.
[0019] Фиг. 1 показывает логическую блок-схему, иллюстрирующую вариант осуществления способа для автоматического выбора нужной части видеоматериалов из динамичного видеоизображения, когда датчики совмещаются с видеокамерой.
[0020] Фиг. 2 показывает трехмерное схематическое изображение, иллюстрирующее сценарий, в котором траектория лыжника пересекает поле зрения камеры A, но не пересекает поле зрения для камеры B.
[0021] Фиг. 3 показывает логическую блок-схему, иллюстрирующую вариант осуществления подходящего алгоритма, который ищет в базе данных активных камер.
[0022] Фиг. 4 показывает блок-схему, иллюстрирующую организацию баз данных видеоизображений и выполнения в соответствии с вариантом осуществления изобретения.
[0023] Фиг. 5 показывает логическую блок-схему, иллюстрирующую процесс для использования метаданных выполнения для упрощения поиска.
ПОДРОБНОЕ ОПИСАНИЕ
[0024] Сейчас будет сделана подробная ссылка на предпочтительные варианты осуществления настоящего изобретения, примеры которых иллюстрируются на прилагаемых чертежах.
[0025] Настоящее изобретение описывается ниже со ссылкой на блок-схемы и функциональные иллюстрации системы и способа для автоматического цифрового сбора и маркировки динамичных видеоизображений. Подразумевается, что каждый блок в блок-схемах или функциональных иллюстрациях и сочетания блоков на блок-схемах или функциональных иллюстрациях могут быть реализованы посредством аналоговых или цифровых аппаратных средств и команд компьютерной программы. Эти команды компьютерной программы могут храниться на машиночитаемых носителях и предоставляться процессору универсального компьютера, специализированного компьютера, ASIC или другого программируемого устройства обработки данных, так что команды, которые исполняются посредством процессора компьютера или другого программируемого устройства обработки данных, реализуют функции/действия, заданные на блок-схемах, или функциональный блок либо блоки. В некоторых дополнительных реализациях функции/действия, упомянутые в блоках, могут совершаться не в порядке, упомянутом на функциональных иллюстрациях. Например, показанные в последовательности два блока на самом деле могут выполняться практически одновременно, или блоки иногда могут выполняться в обратном порядке в зависимости от участвующих функциональных возможностей/действий.
[0026] В варианте осуществления пользователь оснащается устройством с датчиками, которое записывает его/ее движения. Устройство с датчиками может быть, например, портативным устройством, которое включает в себя GPS и инерциальные датчики. Также предоставляется система обработки, которая может быть встроена в устройство с датчиками, может быть обособленным устройством или может быть серверной, которая предусматривает обнаружение таких событий, как прыжки, сальто, вращения, высокая скорость, быстрые повороты и т.п. В результате в базе данных о выполнении создается и сохраняется подробная запись движений с подробной траекторией, скоростью, ускорением, прыжками, трюками и т.п. Также предоставляется видеокамера, для которой информация о местоположении, времени и, при желании, направлении известна для времени, когда снимается видеоизображение. Камера может совмещаться с датчиками или может быть независимым устройством.
start
end
k
start
k
end
k-T
k+T
[0027] Нижеследующее является неограничивающим примером работы системы и способа в соответствии с вариантом осуществления изобретения. Видеокамера записывает некое спортивное действие, которое происходит между моментом t=T и t=T. В этом примере такие же параметры выполнения действия также записаны с использованием набора датчиков. Конкретное представляющее интерес событие, например прыжок, обнаруживается с использованием данных от датчиков в момент t=t, T<t<T. Затем, если данные от датчиков и видеоизображение синхронизированы по времени, то видеоматериалы представляющего интерес события можно вырезать между моментом t и t, где T - полупериод нужных видеоматериалов. В варианте осуществления, если видеоизображение короче нужного времени 2T, то используется все видеоизображение. Временная синхронизация между данными видеоизображения и данными датчиков может проводиться с использованием временных отметок GPS, либо временных отметок беспроводной сети, либо любого другого способа, известного специалистам в данной области техники.
sns
[0028] Фиг. 1 показывает блок-схему алгоритма, иллюстрирующую вариант осуществления способа для автоматического выбора нужной части видеоматериалов из динамичного видеоизображения, когда датчики совмещаются с видеокамерой. Координация времени и положения позволяет системе автоматически ассоциировать видеоматериалы и спортивное выполнение. Если известны положение, направление и фокусное расстояние камеры, то можно выполнить более сложное составление пар между данными видеоизображения и данными от датчиков. Способ начинается с этапа 101, на котором время синхронизируется между видеозаписями и записями датчиков. На этапе 103 выбирается представляющее интерес событие на основе данных датчиков. Это событие может быть, например, прыжком, сальто, вращением, высокоскоростным участком, поворотом, быстрым поворотом или любой другой ограниченной частью выполнения пользователя, которая может представлять интерес. На этапе 105 устройство обработки автоматически определяет, где происходит представляющее интерес событие в данных датчиков, при t=T. Различные системы и способы для идентификации представляющего интерес события в данных датчиков показаны, например, в заявке на патент США № 13/612470, озаглавленной "Method and Apparatus for Determining Sportsman Jumps Using Fuzzy Logic", поданной 12 сентября 2012 года, все раскрытие которой включается в этот документ путем отсылки.
sns
[0029] Продолжая ссылаться на фиг. 1, на этапе 107 время, определенное на вышеприведенном этапе 105, переносится во временной интервал видеоизображения в базе данных видеоизображений, так что Tv = Sync(T). Затем на этапе 109 выбирается видеоизображение между Tv-T:Tv+T. Данные о выполнении затем внедряются (отображаются, добавляются в комментарии) в данные видеоизображения на этапе 111. Данные видеоизображения можно автоматически маркировать с помощью данных о выполнении на этапе 113. Автоматизированная маркировка может включать в себя имя пользователя, время и местоположение события и ключевые характеристики выполнения, например скорость, значение наклона, время и/или высоту прыжка, угол отклонения, или торговую марку и т.п. В качестве альтернативы или дополнительно видеоизображение затем можно автоматически редактировать, и этап 111 завершен.
[0030] Специалисты в данной области техники поймут, что аналогичная работа может выполняться путем выбора подходящего сегмента выполнения, когда видеоизображение короткое, а запись выполнения охватывает гораздо больший перекрывающийся период времени.
[0031] Фиг. 2 показывает трехмерное схематическое изображение, иллюстрирующее сценарий, в котором траектория лыжника пересекает поле зрения камеры A, но не пересекает поле зрения для камеры B. Если представляющее интерес событие происходит в течение времени, когда функционирует камера A, то можно идентифицировать и выбрать подходящие материалы. Траектория события B не пересекает никакое поле зрения камеры и не может быть синхронизирована. Эта реализация иллюстрирует возможный случай, где несколько автоматически управляемых камер постоянно записывают любое действие в их поле зрения, а затем представляющее интерес видеоизображение автоматически выбирается на основе данных о выполнении, времени и местоположении, которые собираются отдельно.
k
k-T
k+T
[0032] Фиг. 3 показывает блок-схему алгоритма, иллюстрирующую вариант осуществления подходящего алгоритма, который ищет в базе данных активных камер. На этапе 301 представляющее интерес событие идентифицируется с использованием данных датчиков. Как отмечалось выше, такое событие может быть прыжком, сальто, вращением, высокоскоростным участком, поворотом, быстрым поворотом или любой другой ограниченной частью выполнения пользователя, которая может представлять интерес. Как только идентифицируется событие, на этапе 303 система обработки определяет географическое положение и продолжительность времени события. На этапе 305 система обработки отыскивает все камеры, которые функционируют в момент T (определенный на вышеприведенном этапе 303). Если нет функционирующих камер, как определено на этапе 307, то процесс завершается. В противном случае процесс переходит к этапу 309, на котором данные функционирующих камер или камеры синхронизируются по времени с данными датчиков или датчика. Как только функционирующие камеры или их данные синхронизируются по времени с данными датчиков или датчика, процесс переходит к выбору на этапе 311 подмножества камер, у которых положение события (которое определено выше на этапе 303) находится в их поле зрения. Если нет таких камер, как определено на этапе 313, то процесс завершается. Среди ранее выбранного подмножества камер выбирается дополнительное подмножество камер на этапе 315, причем это дополнительное подмножество является теми данными камер или камеры, которые удовлетворяют другим критериям. Примеры таких других критериев включают в себя, например, камеру, которая обладает наилучшим фокусом. Из дополнительного подмножества камер на этапе 317 выбираются видеоматериалы, записанные в момент T:T. На этапе 319 данные о выполнении для представляющего интерес события или для всего выполнения внедряются в данные видеоизображения. В конечном счете данные видеоизображения на этапе 321 маркируются с помощью данных о выполнении, а также с помощью другой информации - времени, местоположения, пользователя.
[0033] Фиг. 4 показывает блок-схему, иллюстрирующую пример организации баз данных видеоизображений и выполнения в соответствии с вариантом осуществления изобретения. Фиг. 5 показывает блок-схему алгоритма, иллюстрирующую процесс для использования метаданных выполнения для упрощения поиска.
[0034] Таким образом, вариант осуществления раскрытых сейчас системы и способа позволяет редактирование, снабжение комментариями и поиск в отдельном видеоизображении или библиотеке видеоизображений по характеристикам выполнения. Выбор субъекта можно дополнительно уточнить путем выбора данных о выполнении от пользователей, которые принадлежат к конкретной подгруппе, например "друзья". Предположим, что несколько пользователей имеют траекторию данных о выполнении, которая соответствует конкретному видеоклипу. Однако только один пользователь среди них принадлежит к подгруппе "друзья" человека, который создал видеоизображение. Тогда данные о выполнении этого "друга" можно выбрать автоматически для синхронизации с видеоизображением. Это разрешает распространенную ситуацию, в которой человек записывает видеоизображение его или ее друзей, и в кадре также записывается действие других людей. Автоматический выбор в соответствии с различными вариантами осуществления изобретения может дополнительно повысить производительность системы и упростить процесс создания видеоизображения.
[0035] Описанные в этом документе этапы обработки могут выполняться на одном или нескольких вычислительных устройствах. Например, этапы могут выполняться на любом сочетании (a) портативного устройства сбора данных, носимого пользователем, (b) портативного вычислительного устройства видеозаписи, носимого наблюдателем на спортивном событии или пользователем, участвующим в событии, или (c) удаленного серверного вычислительного устройства. Примером портативных устройств сбора данных является портативное вычислительное устройство или смартфон с возможностью акселерометра и GPS. Примеры портативного вычислительного устройства видеозаписи включают в себя видеокамеру с возможностью обработки или смартфон с аппаратными средствами и программным обеспечением для видеозаписи. Каждое такое вычислительное устройство может содержать, например, процессор для выполнения команд; машиночитаемые носители, например статическое запоминающее устройство и/или динамическое запоминающее устройство для хранения команд компьютерной программы; средство ввода, например сенсорный экран, клавиатуру, речевой ввод, мышь или т.п.; сетевой интерфейс для взаимодействия по беспроводной и/или проводной сети и интерфейс пользователя, например дисплей, динамик и аппаратные или программируемые кнопки. Портативное устройство сбора данных может дополнительно включать в себя акселерометр, например трехкоординатный акселерометр, а также может включать в себя приемник GPS и способность определять свое положение с его использованием. Удаленное серверное вычислительное устройство может быть устройством, которое удалено от портативного устройства сбора данных. Например, может предоставляться служебный или настольный компьютер, и он может обрабатывать необработанные или предварительно обработанные данные акселерометра от портативного устройства сбора данных. Передача данных от портативного устройства сбора данных к вычислительному устройству или к удаленному серверному вычислительному устройству может выполняться посредством беспроводного и/или проводного сетевого интерфейса, ассоциированного с портативным устройством сбора данных, и беспроводного и/или проводного сетевого интерфейса, ассоциированного с удаленным служебным или удаленным настольным компьютером.
[0036] Вышеприведенные варианты осуществления и предпочтения являются пояснительными для настоящего изобретения. Для данного патента не является необходимым или предполагаемым обрисовывать или задавать каждое возможное сочетание или вариант осуществления. Автор изобретения раскрыл достаточно информации, чтобы позволить специалисту в данной области техники применить на практике по меньшей мере один вариант осуществления изобретения. Вышеприведенное описание и чертежи являются лишь пояснительными для настоящего изобретения, и изменения в компонентах, структуре и процедуре возможны без отклонения от объема настоящего изобретения, который задан в нижеследующей формуле изобретения. Например, элементы и/или этапы, описанные выше и/или в нижеследующей формуле изобретения в конкретном порядке, могут применяться на практике в другом порядке без отклонения от изобретения. Таким образом, хотя изобретение подробно показано и описано со ссылкой на его варианты осуществления, специалисты в данной области техники поймут, что в нем могут быть сделаны различные изменения в форме и деталях без отклонения от сущности и объема изобретения.