СПОСОБ И СИСТЕМА ДЛЯ ВЫДЕЛЕНИЯ КЛЮЧЕВЫХ КАДРОВ ИЗ ВИДЕО ПОСЛЕДОВАТЕЛЬНОСТЕЙ
METHOD AND SYSTEM FOR SELECTING KEY FRAMES FROM VIDEO SEQUENCES

Заявляемое изобретение относится к технологии обработки видео, а более конкретно - к устройствам и способам для автоматического извлечения ключевых кадров из видео для дополнения видео с помощью оператора такой информацией, как назначение глубины для последующего преобразования монокулярной видео последовательности в стерео последовательность или для назначения цветовой информации для последующего преобразования черно-белой видео последовательности в цветную видео последовательность.
В последние годы разные производители активно разрабатывали стереоскопические устройства отображения (дисплеи), способные воспроизводить стерео изображения. Для получения ощущения трехмерности (стерео), требуется применение видео последовательности в особом формате. Этот формат включает видео, записанное с разных ракурсов, отдельно для левого и правого глаза. Для формирования изображений с различных ракурсов применяют большое число способов. Например, может использоваться съемка несколькими камерами, или видео на основе трехмерной модели.
Большинство видео изображений, полученных в эпоху синематографа, предназначены для обычных монодисплеев. Чтобы получить ощущение трехмерности на основе старых кинопленок, необходимо преобразовать эти видео изображения в стереоскопическое видео. Это достигается за счет назначения карты глубины для каждого видео кадра, и получения левого и правого ракурсов на основе использования видео кадров и карты глубины.
Системы для преобразования видео могут быть или полностью автоматическими, действующими без вмешательства оператора, или полуавтоматическими, где преобразование выполняется с участием оператора. В последнем варианте, оператор, как правило, выбирает ключевые кадры видео последовательности и вручную назначает (рисует) карты глубины, в ряде случаев используя некоторые специальные вспомогательные способы (см., например, патентную заявку США 2002/0048395)[1]. Такие карты глубины распространяют на остальные части видео кадров (такими, например, способами, как в американских патентных заявках 2010/0194856 [2] и 2009/0116732 [3]). Полуавтоматические системы обеспечивают намного более высокое качество, чем полностью автоматизированные системы.
В последние годы многие старые черно-белые кинофильмы были преобразованы в цветные. В настоящее время потребителю хочется более полных ощущений от просмотра кинофильма, в том числе получения полноценной цветовой видео информации. Однако большое число кино шедевров записывались на черно-белой пленке, в связи с чем была утрачена цветовая информация. Восстановление такого драгоценного наследия в цвете является утомительной и дорогостоящей процедурой. Обычно пленку обрабатывают следующим образом: одному из кадров (ключевому кадру) в видео последовательности добавляют (назначают) информацию, касающуюся цвета (раскрашивание), и эту информацию далее распространяют на соседние кадры, как это описано, например, в патенте США 4755870 [4]. В этом изобретении, однако, такие ключевые кадры выбираются вручную.
Способ выбора ключевых кадров играет важную роль в конвертации видео последовательностей.
В американской патентной заявке 2011/0110649 [5] ключевые кадры выбираются автоматически, но они скорее предназначены для видео резюмирования, то есть для выбора наиболее визуально представительных видео кадров. В американском патенте 7046731 [6] ключевые кадры выбирают автоматически на основе определения направления глобального движения и кластеризации глобального движения, но этот способ выбора ключевых кадров предназначен для эффективного представления и резюмирования видео. В американской патентной заявке 2007/0263128 [7] представлены методики, которые позволяют осуществлять адаптивный процесс извлечения ключевых кадров из видео. Процесс выбора включает оценку качества кадров для отбора кадров с наивысшим качеством на роль ключевых кадров. Ключевые кадры выбираются на основе значений энтропии, четкости и контрастности кадров. Однако в этом подходе рассматривается кадр в целом, т. е. не принимаются во внимание объекты в кадре. В американском патенте 7843512 [8] определяют скорость изменения содержимого кадра (по сравнению со смежным видео кадром), и выбирают видео кадр в качестве ключевого видео кадра, если скорость превышает некое пороговое значение. В американской патентной заявке [3] ключевые кадры выбираются автоматически на основе анализа поля движения объектов. В американском патенте 7158676 [9] ключевые кадры и объекты, представляющих интерес, выбираются вручную. Данные интерактивного содержимого встраиваются вместе с объектом, и объект отслеживается через всю последовательность кадров, и данные интерактивного содержимого встраиваются в каждый из кадров. В целом, современные технологии для выбора ключевых кадров предназначены для визуального резюмирования видео последовательностей, для лучшего визуального понимания.
Американский патент [9] и американскую патентную заявку [3] можно рассматривать в качестве прототипов.
Заявляемый способ предназначен для решения конкретной задачи преобразования видео из монокулярного в стереоскопическое и из черно-белого - в цветное в полуавтоматическом режиме. Заявляемый способ учитывает конкретные характеристики видео последовательностей, такие, как данные о главных персонажах (ключевых кадрах) видеопоследовательности. Это позволяет добиться более целенаправленного выбора видео кадров.
Технический результат достигается за счет разработки усовершенствованного способа выделения ключевого кадра в процессе полуавтоматического дополнения видео последовательности информацией о глубине или цвете, причем заявленный способ предусматривает выполнение следующих операций:
• выявляют смены сцены во входной видео последовательности и осуществляют разбиение видео последовательности на сцены;
• для каждой сцены на модуль анализа видеоданных подают данные об инициализации объектов, выявляют действия каждого объекта и данные GM (глобального движения) на всех кадрах сцены и записывают в накопителе результаты видеоанализа;
• после обработки всех кадров видео сцены с помощью модуля анализа видеоданных сначала анализируют сохраненные данные о  деятельности каждого объекта, извлекают ключевые кадры объекта, затем анализируют данные GM и ключевые кадры объекта, извлекают и выводят ключевые кадры; после чего накопитель результатов видеоанализа очищают и загружают модуль анализа видеоданных следующей сценой входной видео последовательности.
Как правило, ключевые кадры выбирают для резюмирования видео визуальной информации. Новизна заявляемого изобретения подтверждается следующими отличительными признаками:
• ключевые кадры выбирают на основе вводимой пользователем информации о содержимом сцены;
• каждый ключевой объект выбирают на одном или нескольких кадрах;
• каждый ключевой объект отслеживают во всех кадрах в вырезанной сцене;
• оценивают качество участков кадра, содержащих ключевой объект;
• анализируют траекторию движения каждого ключевого объекта;
• выбирают ключевые кадры на основе анализа участков кадров и/или точек качества траектории.
f
f
f
0
begin
end
В заявляемом способе данные для инициализации объекта включают в себя координаты RBB, а именно координаты {x, y} левого верхнего угла, ширина и высота, кадр для этого RBB  и два кадра  и  для отслеживания промежутка RBB между ними таким образом, что  и .
В заявляемом способе для выявления действий объекта RBB объекта отслеживают по всем кадрам в видео сцене, а именно, определяют координаты RBB в видео кадре таким образом, чтобы сравнение областей видео кадров, содержащихся внутри RBB, на текущем и на следующем кадре, давало максимальное значение в терминах предопределенных метрик, и вычисляют параметры объекта, представляющие собой особенности изображения области видео кадра, содержащейся внутри RBB.
В заявляемом способе дополнительные ключевые кадры выбирают в промежутке между ключевыми кадрами объектов, основываясь на анализе данных глобального движения (GM).
f
f
f
f
f
0
0
end
0
begin
В заявляемом способе отслеживают RBB из кадра  инициализации объекта вперед, из кадра  до кадра  , после чего в обратном направлении, из кадра  до кадра  , для получения отслеженных координат RBB.
В заявляемом способе в модуле обработки результатов видеоанализа сравнивают аккумулированные координаты RBB и параметры объекта и выводят ряд ключевых кадров KFo:
,
f
f
start
finish
где  и  - последовательные кадры сцены, для которой вычисляют данные о действиях объекта,
1
start
2
finish
где ƒ = max(ƒ-T, ƒ), ƒ = min (ƒ+T, ƒ), T - предопределенный порог,
.
В заявляемом способе в модуле обработки результатов видеоанализа анализируют кривизну траектории объекта  в видео кадрах и получают на выходе ряд ключевых кадров KFo
<mrow><msub><mi>k</mi><mi>f</mi></msub><mo>=</mo><mfrac><mrow><mo>|</mo><mo stretchy="false">(</mo><msup><mi>x</mi><mrow><mi>f</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>−</mo><msup><mi>x</mi><mi>f</mi></msup><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msup><mi>y</mi><mrow><mi>f</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>−</mo><mn>2</mn><msup><mi>y</mi><mi>f</mi></msup><mo>+</mo><msup><mi>y</mi><mrow><mi>f</mi><mo>−</mo><mn>1</mn></mrow></msup><mo stretchy="false">)</mo><mo>−</mo><mo stretchy="false">(</mo><msup><mi>y</mi><mrow><mi>f</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>−</mo><msup><mi>y</mi><mi>f</mi></msup><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msup><mi>x</mi><mrow><mi>f</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>−</mo><mn>2</mn><msup><mi>x</mi><mi>f</mi></msup><mo>+</mo><msup><mi>x</mi><mrow><mi>f</mi><mo>−</mo><mn>1</mn></mrow></msup><mo stretchy="false">)</mo><mo>|</mo></mrow><mrow><msup><mrow><mrow><mo>[</mo><mrow><msup><mrow><mo stretchy="false">(</mo><msup><mi>x</mi><mrow><mi>f</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>−</mo><msup><mi>x</mi><mi>f</mi></msup><mo stretchy="false">)</mo></mrow><mn>2</mn></msup><mtext> </mtext><mo>+</mo><mtext> </mtext><msup><mrow><mo stretchy="false">(</mo><msup><mi>y</mi><mrow><mi>f</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>−</mo><msup><mi>y</mi><mi>f</mi></msup><mo stretchy="false">)</mo></mrow><mn>2</mn></msup></mrow><mo>]</mo></mrow></mrow><mrow><mfrac><mn>3</mn><mn>2</mn></mfrac></mrow></msup></mrow></mfrac><mo>,</mo><mi>f</mi><mo>=</mo><msub><mi>f</mi><mrow><mi>s</mi><mi>t</mi><mi>a</mi><mi>r</mi><mi>t</mi></mrow></msub><mo>+</mo><mn>1...</mn><msub><mi>f</mi><mrow><mi>f</mi><mi>i</mi><mi>n</mi><mi>i</mi><mi>s</mi><mi>h</mi></mrow></msub><mo>−</mo><mn>1,</mn></mrow>
1
start
2
finish
гдеƒ = max(ƒ-T, ƒ+1), ƒ = min(ƒ+T, ƒ-1), T - предопределенный порог, .
В заявляемом способе параметры объектов включают оценку резкости и контрастности.
C
S
F' C
S
1
2
В заявляемом способе анализируют параметры объекта, такие как контраст  и резкость , вычисляют функции F и , и , а T и T являются предопределенными реальными значениями:
,
1
start
2
finish
гдеƒ = max(ƒ-T, ƒ+1), ƒ = min(ƒ+T, ƒ-1), T - предопределенный порог
.
Кроме того, в заявленном изобретении предлагается система для реализации способа выделения ключевых кадров в процессе полуавтоматического дополнения видео последовательности информацией о глубине или цвете, отличающаяся тем, что состоит из трех основных частей:
модуля анализа видеоданных, выполненного с возможностью извлечения данных из входного видео потока и получения множества инициализационных данных для ключевых объектов в видео через устройство разметки видео;
накопителя результатов видеоанализа, выполненного с возможностью запоминания аккумулированных данных видеоанализа, обнаруженных модулем анализа;
и модуля обработки результатов видеоанализа, выполненного с возможностью проведения анализа аккумулированных данных.
В заявляемой системе модуль анализа видеоданных выполнен с возможностью получения множества координат прямоугольных рамок (RBB), индексов кадра и числа кадров, через устройство разметки видео.
В заявляемой системе модуль анализа видеоданных включает детектор смены кадров, детектор данных глобального движения, детектор действий объекта.
В заявляемой системе накопитель результатов видеоанализа состоит из аккумулятора данных о действиях объекта, запоминающего аккумулированные данные о действиях объекта, и аккумулятора данных глобального движения, запоминающего параметры, описывающие относительное смещение статичных объектов в двух последовательных видео кадрах.
В заявляемой системе модуль обработки результатов видеоанализа включает в себя выделитель данных, детектор ключевых кадров объекта и детектор ключевых кадров.
Для лучшего понимания сущности заявляемого изобретения ниже приводится подробное описание с чертежами.
Фиг. 1.
Описывает основные части системы, с помощью которой реализуется способ для выделения ключевых кадров.
Фиг. 2.
Иллюстрирует основные шаги видео анализа для выбора ключевых кадров.
Фиг. 3.
203
Объясняет в подробностях этап , касающийся обнаружения данных видео анализа в видео сцене.
Фиг. 4.
Иллюстрирует процесс выполнения анализа видео последовательности.
Фиг. 5.
303
Объясняет в подробностях этап , касающийся обработки конкретного видео кадра и извлечения данных о действиях объекта во время прохождения через видео кадр «вперед».
Фиг. 6.
308
Объясняет в подробностях этап , касающийся обработки конкретного видео кадра и извлечения данных о действиях объекта во время прохода через видео кадр «назад».
Фиг. 7.
204
Объясняет в подробностях этап , касающийся обработки данных видео анализа, извлечения ключевых кадров и очистки накопителя.
Система, реализующая способ для выделения ключевых кадров в процессе дополнения монокулярного видео глубиной (преобразование из 2D в 3D) или черно-белого видео цветом состоит из трех основных частей: модуль анализа видеоданных, который извлекает данные из входного видео потока и который может получить множество данных для инициализации для ключевых объектов в видео через устройство разметки видео; накопитель результатов видеоанализа, который запоминает аккумулированные данные видеоанализа, обнаруженные модулем анализа; и модуль обработки результатов видеоанализа, который выполняет анализ аккумулированных данных.
Модуль анализа видеоданных может получать множество координат прямоугольных рамок (RBB) и кадров от устройства разметки видео. Накопитель результатов видеоанализа сохраняет данные о деятельности объекта в аккумуляторе данных о деятельности объекта, сохраняет данные глобального движения (GM данные) (параметры, описывающие относительное смещение неподвижных объектов в двух последовательных видео кадрах) в аккумуляторе данных глобального движения. Модуль обработки результатов видеоанализа анализирует аккумулированные данные и выделяет ключевые кадры для дальнейшего дополнения видео с помощью оператора.
Способ выделения ключевых кадров в процессе полуавтоматического дополнения видео включает следующие шаги:
получают данные для инициализации объектов каждого ключевого объекта в каждом кадре;
выявляют смены сцен во входной видео последовательности и разбивают видео последовательность на сцены;
для каждой сцены выявляют данные о деятельности каждого объекта посредством модуля анализа видеоданных и данных GM по всем кадрам сцены и сохраняют эти данные в накопителе результатов видеоанализа;
после обработки видео сцены, сначала анализируют сохраненные данные о деятельности каждого объекта, выделяют ключевые кадры, затем анализируют данные GM и ключевых кадров объекта, и извлекают и выводят ключевые кадры посредством модуля анализа видеоданных; после чего очищают накопитель результатов видеоанализа и переходят к следующей сцене входной видео последовательности до достижения конца видео последовательности.
Фиг. 1
101
показывает схему функционирования основных компонентов системы, которая осуществляет заявляемый способ. Входное видео обрабатывается Модулем  анализа видеоданных, который получает данные для инициализации каждого объекта, который необходимо принять во внимание.
k
k
0
begin
end
Данные для инициализации (идентификатор) конкретного объекта  даны для одного или нескольких видео кадров как {, RBB, ƒ, ƒ, ƒ}, где:
k
- индекс объекта,
RBB - прямоугольная рамка, отмечающая позицию объекта в видео кадре,
0
ƒ - кадр, в котором объект отмечен,
begin
ƒ - кадр, от которого начинают вычислять данные о действиях объекта (отслеживание объекта),
end
ƒ - кадр, на котором заканчивают вычисление данных о действиях объекта (отслеживание объекта).
100
101
102
101
108
101
103
104
105
102
107
106
108
111
110
109
Такая информация предоставляется оператором вместе с видео последовательностью посредством устройства разметки видео, который может включать, по меньшей мере, устройство отображения (дисплей) и манипулятор, такой как компьютерная мышь. Число объектов оставляют на усмотрение оператора. Модуль анализа видеоданных в процессе обработки видео последовательности дает на выходе данные видеоанализа, такие как действия объекта и данные о глобальном движении (GM). Данные GM включают параметры, описывающие относительное смещение неподвижных (статичных) объектов в двух последовательных видео кадрах. Данные видео анализа аккумулируются в накопителе результатов видеоанализа. Когда модуль анализа видеоданных обнаруживает смену сцены, модуль  обработки результатов видеоанализа выделяет и анализирует аккумулированные данные и дает на выходе выявленные ключевые кадры. Модуль анализа видеоданных включает детектор смены кадров, детектор данных GM и детектор действий объекта. Накопитель результатов видеоанализа сохраняет данные о действиях объекта в аккумуляторе данных о действиях объекта и данные GM в аккумуляторе данных глобального движения. Модуль обработки результатов видеоанализа включает в себя выделитель данных, детектор ключевых кадров объекта и детектор ключевых кадров.
Все компоненты данной системы могут быть изготовлены путем применения современных систем проектирования электрических цепей, дополненных исполняемыми программами.
Фиг. 2
201
202
203
204
206
205
207
описывает основные шаги заявляемого способа. На шаге  данные для инициализации вводят для всех объектов. Видео обработка начинается с анализа видео сцена за сценой начиная с первого кадра . В каждой видео сцене выявляют данные видеоанализа и заносят их в накопитель результатов видеоанализа, шаг . После завершения анализа сцены данные видеоанализа обрабатываются, выделяются ключевые кадры и накопитель результатов видеоанализа очищается, шаг . Затем, проверяют выполнение условия , в случае если последний обработанный кадр не был последним кадром видео последовательности, процесс переходит к следующему видео кадру, шаг . В ином случае обработка продолжается до завершения на шаге .
Фиг. 3
203
301.
302
303
305
306
304
306
307
308
309
301
307
311
310
312
205
объясняет в подробностях процесс обнаружения данных видеоанализа во время обработки сцены, шаг . Начиная с первого кадра сцены (CSFI, т. е. кадр текущей сцены, = 0), сцена обрабатывается кадр за кадром, шаг  Два прохода выполняют по сцене (см. также Фиг. 4). Сначала сцена обрабатывается в прямом направлении («вперед»), то есть с увеличением CSFI. После достижения конца сцены кадры обрабатываются в обратном порядке («назад»), то есть с CSFI. В каждом кадре извлекаются данные GM, шаг . Как было упомянуто выше, данные GM включают параметры, описывающие относительное смещение неподвижных (статичных) объектов в двух последовательных видео кадрах. Есть много способов, известных из уровня техники, для обнаружения такого смещения, например, в американском патенте 7312819 [10]. На шаге  данные о действиях объекта извлекают из видео кадра, подробности этого процесса объяснены ниже, на Фиг. 5. На шаге  CSFI увеличивается на 1. В случае если условие  не выполняется, процесс продолжается в отношении следующего кадра, шаг . Условие  проверяют с помощью детектора смены сцен, то есть сравнивая текущий кадр со следующим кадром. Есть много способов, известных из уровня техники, для выявления смены сцен, например, в американском патенте 7123769 [11]. В случае если обнаружена смена сцены, текущий кадр определяют как последний кадр сцены. Потом данная сцена анализируется в обратном направлении («назад») начиная с последнего кадра сцены, шаг . На шаге  извлекают данные о действиях объекта из видео кадра, подробности этого процесса объяснены ниже, на Фиг. 6. Затем CSFI уменьшают на 1, шаг . Когда достигается первый кадр сцены, CSFI = 0, то есть тот же самый кадр в видео, как на шаге , и обработка видео последовательности продолжается с последнего кадра сцены, как на шаге . В ином случае, если условие на шаге  не соблюдено, обрабатывают следующий кадр, шаг . На шаге  индекс текущего видео кадра устанавливается на последнем кадре сцены для того, чтобы начать обработку следующей сцены (шаги  и далее).
Фиг. 5
501
502
k
k
f
0
begin
end
ƒ
описывает процесс обнаружения данных о действиях объекта. Процесс выполняется в отношении конкретного кадра в сцене, с индексом CSFI, индексом кадра текущей сцены, шаг , для всех объектов начиная с объекта с индексом =0, шаг . Данные о действиях объекта могут состоять из, но не ограничиваются, {, {RBB }|ƒ, ƒ, ƒ, ƒ, {features}}, где:
k
- индекс объекта,
ƒ
{RBB} - множество прямоугольных рамок, отмечающих положение (позицию) объекта в видео кадре с индексом ƒ, 0 <ƒ <N, где N - индекс последнего кадра в сцене.
0
ƒ - кадр, в котором отмечен объект,
begin
ƒ - кадр, с которого начинают вычисление данных о действиях объекта (отслеживание объекта),
end
ƒ - кадр, в котором завершают вычисление данных о действиях объекта (отслеживание объекта),
ƒ
ƒ
ƒ
{features} - набор параметров, связанных с кадром ƒ и RBB, таких как особенности изображения, вычисленного для заплаты изображения, содержавшейся в соответствующей RBB. Параметры изображения могут включать резкость, контраст, или тому подобные.
RBB = {x, y, w, h}, где {x, y} - координаты верхнего левого угла, w и h - ширина и высота соответственно.
503
504
505
503
504
505
506
507
505
508
510
509
503
0,
0
end
k
k
На шаге  инициализационные данные (ID) анализируют на предмет того, присутствуют ли там данные с ƒ равным CSFI, и индексом объекта, равным . В случае если эти данные присутствуют, объект инициализируют, то есть его RBB инициализируют на основе RBB данных для инициализации, шаг , и затем параметры объекта вычисляются, шаг  (будет объяснено ниже). В случае если условие  не выполняется, шаги  и  пропускают. На шаге  проверяют выполнение условия, находится ли кадр текущей сцены (CSFI) между ƒ объекта и ƒобъекта. В случае положительного результата на шаге  вычисляют координаты объекта RBB, используя координаты этого RBB на предыдущем кадре, CSFI-1. Есть много способов, известных из уровня техники, для вычисления таких координат, например, американские патенты 5099324 [12] и 7620204 [13]. На шаге  вычисляют параметры области изображения, содержащей объект, для оценки параметров объекта. На шаге  проверяют, имеются ли еще необработанные объекты. В случае если таких объектов больше нет, процесс завершают, шаг . В ином случае индекс  объекта увеличивают на 1 (шаг ) и шаги  и последующие повторяют.
505
Следующие параметры вычисляют на шаге : контраст и резкость. Контраст вычисляют как разность между максимальными и минимальными значениями в области изображения, содержащейся в RBB:
Резкость S вычисляют, например, так, как это описано в статье Safonov, I. V.; Rychagov, М. N.; Kang, KiMin; Ким, Sang Ho; “Adaptive sharpening of photos”, Proceedings of the SPIE, Volume 6807, pp. 68070U-68070U-12 (2008) [14].
Фиг. 6
308
601
602
507
605
505
606
607
k
begin
0
описывает в подробностях процесс выявления данных о действиях объекта во время обратного прохода («назад») через кадр, шаг . Процесс выполняют для конкретного кадра в сцене, с индексом CSFI, индекс кадра текущей сцены, шаг , для всех объектов начиная с объекта с индексом =0, шаг . Если CSFI оказывается между ƒ текущего объекта и ƒтекущего объекта, то координаты RBB объекта вычисляют используя координаты этого RBB на предыдущем обработанном кадре, CSFI+1 (поскольку это обратный проход) таким же способом, как это было сделано на шаге . На шаге  параметры объекта вычисляют тем же способом, как это было сделано на шаге . В случае если текущий объект является последним (условие ), процесс заканчивается, в ином случае он продолжается в отношении следующего объекта, шаг , и индекс объекта увеличивают на 1.
Фиг. 7
204
701
702
703
701,
объясняет более детально шаг , касающийся обработки данных видеоанализа, выделения ключевых кадров и очистки накопителя. На шаге  выбирают набор ключевых кадров KFo исходя из выявленных данных о действиях объекта, подробности этого процесса объяснены далее. На шаге  вводят дополнительные ключевые кадры, если необходимо, между кадрами, которые присутствуют в наборе KFo. Из уровня техники известны способы для этого, например, S. V. Porter, M. Mirmehdi, and B. T. Thomas. A shortest path representation for video summarization. In Proc. of 12th ICIAP, pp. 460-465. IEEE Comp. Soc., Sept. 2003 [15], где данные глобального движения используют для выявления ключевых кадров. Полученный набор ключевых кадров подается на выход, и накопитель результатов видеоанализа очищают для использования при дальнейшей обработке следующей видео сцены, шаг . Набор ключевых кадров KFo выбирают на основе данных о действиях обнаруженного объекта, шаг  следующим образом. В одном из предложенных вариантов реализации заявляемого изобретения ключевые кадры выбирают на основе скорости движения объекта. Модуль обработки результатов видеоанализа сравнивает аккумулированные координаты RBB и параметры объекта.
,
start
finish
где ƒ и ƒ - последовательные кадры сцены, для которых вычисляют данные о действиях объекта. Пусть T является заранее заданным порогом,
0<T<
1
start
2
finish
гдеƒ = max(ƒ-T, ƒ), ƒ = min(ƒ+T, ƒ)
В другом варианте реализации заявляемого изобретения выполняют анализ кривизны траектории объекта  в видео кадрах.
1
start
2
finish
гдеƒ = max(ƒ-T, ƒ+1),  ƒ = min(ƒ+T, ƒ-1)
1
2
В еще одном варианте реализации заявленного изобретения проводят анализ параметров изображения, таких, как контраст C и резкость S. Пусть F является функцией C и S, а T и T являются предопределенными реальными значениями.
,
1
start
2
finish
гдеƒ = max(ƒ-T, ƒ+1),  ƒ = min(ƒ+T, ƒ-1),
Специалист в данной области техники поймет, что возможны также и другие варианты реализации данного изобретения и что элементы изобретения могут быть изменены различным образом не выходя за рамки концепции данного изобретения. Поэтому чертежи и описание следует рассматривать лишь в качестве иллюстрации, которая не имеет ограничительного характера.
С
Заявляемый способ предназначен для реализации в программном обеспечении полуавтоматических систем преобразования "моно-в-стерео" или «черно/белое-в-цветное», используя современное вычислительное оборудование (персональные компьютеры, рабочие станции, компьютерные кластеры или тому подобное).пособ применим для систем преобразования видео "моно-в-стерео" или «черно/белое-в-цветное», оборудованных процессором, памятью, устройствами ввода - вывода и шиной передачи данных.