视频摘要

原始视频中提取有意义的片段/帧，视频浓缩
视频摘要，就是以自动或半自动的方式，通过分析视频的结构和内容存在的时空冗余，从原始视频中提取有意义的片段/帧。
分类简介
广义上来说，视频摘要可以分为两种，第一种是直接提取视频中的关键帧合成新的视频，该方法虽然也可以缩短视频的时长，但是合成后视频给人一种快进看电影的感觉，而且实际使用较少，所用的方法包括SEDIM，SEDIM-IN，CEA，TEA等方法。
第二种视频摘要又称视频浓缩，是对视频内容的一个简单概括，以自动或半自动的方式，先通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合。视频摘要在视频分析和基于内容的视频检索中扮演着重要角色。
从摘要的技术处理过程来讲，视频摘要一般可以分成两种，静态视频摘要和动态视频摘要。
视频浓缩是动态视频摘要，一般包括四个步骤:
1.运动目标检测，背景建模，场景分割，运动目标提取。
2. 目标轨迹提取，涉及的目标跟踪算法。如camshift，TLD等。
3 轨迹组合优化，通过组合算法得到轨迹的时间序列
4. 生成浓缩视频，将目标轨迹集合与背景图像拼接成帧，再将帧组合成视频。
生成方法
简单的生成方法
基于时间点对视频进行采样，即每间隔一定的时间抽取一个代表帧或者一个片段，这种生成方法很容易实现，但完全没有基于视频的内容。
基于视觉信息的生成方法
根据视频里出现的颜色、纹理、形状、运动方向和强度等视觉信息，基于模式识别的思维，应用各种视频和图像处理技术，进行镜头探测、关键帧提取、场景聚类、运动特征提取等一系列操作，最终生成具有代表性的关键帧序列或缩略视频。这种算法完全基于视觉特征，忽略了音频、字幕等信息对视频的作用。
融合多特性的生成方法
在基于视觉方法的基础上融入其他媒体提供的信息，准确的判断视频片段的重要程度，这种算法是大多数视频摘要技术采用的方法。
基于视频句法语义的生成方法
从视频的句法结构分析入手，探寻镜头与镜头之间、场景与场景之间的结构规则，将视频的句法语义尽可能完整的保存在摘要中。
生成过程
视频分割
任何视频摘要算法都遵循“先分后合”的原则，要进行视频内容理解和分析必须首先将视频切分成合理的基本单位，这些基本单位包括场景、镜头、帧等。
视频内容提取
采用模式识别或者视频结构探测的方法来获取能够被计算机或者人感觉的信息。
合成摘要
把判定为重要的视频片段组合在一起形成某种形式的摘要。
技术背景
视频摘要技术的研究最早始于1994年CMU大学的Informedia工程，随后德国曼海姆大学、FXPaloAlto实验室、Minnesota大学、MITRE公司、哥伦比亚大学与微软研究院等都在这方面进行了较为深入的研究，分别提出了各自的视频摘要策略，视频摘要的表现形式也由最初的静态摘要转变为的动态缩略视频。
特性作用
视频摘要的作用主要是便于存储和视频的浏览或查找，相对于原始的视频资料，视频摘要的长度要短很多，节省了存储时间和空间。视频摘要保留了原内容的要点，所以对于用户来说，浏览或查找视频摘要比浏览原始视频要节省时间。
视频摘要系统产品特性：
并发处理：可对长视频文件进行摘要处理，可同时进行四个视频文件的处理工作；
处理时间短：处理时间为原视频时间的10%~15%；
摘要视频短：特定条件下，一小时视频可摘要成60秒，甚至几秒钟；
灵活的操作：可设置摘要视频的播放速度，设定摘要视频中活动对象的展现密度；
直观的展现：每个活动对象可现实对象框，并标注出现的时间戳；
方便的摘要输出：可将视频摘要导出为AVI文件；
与原始视频互动：选中活动目标可直接索引播放活动目标的原始视频
防止误报的限制条件
实际应用中，视频录像质量层次不齐，视频中的内容也千差万别，为提高可用性，在可接受范围内大幅降低误报，需要设定部分闲置条件：
小于9*9像素点，目标过小，不作为活动目标处理，防止出现过多误报；
在画面中出现小于1s的目标，不作为活动目标处理
灰度值相差小于15个灰阶的，不作为活动目标处理
帧率低于5FPS的不处理，不建议使用低于10FPS的视频进行摘要处理
视频摘要产品的显著特性是可在数分钟内浏览数小时视频录像中所有的活动目标，浏览视频摘要可大大缩短查看原始视频的时间，提高效率和人工识别的准确性。
行业应用
视频摘要技术已经广泛使用在安防行业各种应用场景。视频摘要技术建立在基于内容的多媒体分析技术基础上，多年以来一直是国内外多媒体研究的热点之一。如何集成现有成熟技术到视频摘要系统中，使视频分析和检索系统能够真正实现商业化应用，也是今后研究的重点之一，面向监视视频的视频摘要技术具有很大的商业应用前景。
安防领域的作用
视频摘要技术已经广泛地应用于大量使用视频监控的行业，例如：
公安行业：关键道路、卡口视频智能摘要;
交通行业：重点路段、收费闸口视频智能摘要;
监狱看守所：重点监舍、人员交接班视频智能摘要;
大型展会：场馆、出入口视频智能摘要;
电信行业：相关网店、基站、机房视频智能摘要;
电力行业：相关变电站、电力设备。
视频摘要应用于公安刑侦部门的视频调查中，通过数分钟的摘要处理和数分钟摘要视频的查看，公安部分可快速确定数小时的原始视频中是否有嫌疑人员或特殊情况发生，有助于高效的追嫌追逃、寻找线索。
此外，对于重点、高安保级别区域，如监狱、银行、政府机关等，通过定期快速浏览摘要视频，有助于安保人员快速明确过去数小时内是否有异常情况发生，及时性很高。这也弥补了智能视频对特性行为进行实时分析、而不能对非特定性为进行判断的空白。
市场应用
目前市场推出的视频摘要子系统是从海量的视频文件中迅速定位播放相关事件的视频，找出有价值的视频信息，缩短视频回放翻查时间，节省人力成本，使查看所有视频成为日常工作的一部分。视频摘要子系统能够对重点监控区域的录像文件进行特征分析，使原来需要数小时查看的文件，在几分钟内可以快速浏览查看。用户通过摘要回放，可以快捷的预览视频覆盖时间内的可疑事件和事件发生时间，并根据摘要短片中的单个事件索引，直接链接播放可疑事件的原始视频，观看整个事件的真实情况。同时视频摘要子系统还提供对处理后的视频文件进行物件特征搜索功能，用户可以通过设置活动物件大小、移动方向以及颜色等信息，对大范围的视频进行搜索，找出与用户设置信息类似的物件，并通过查找结果，回溯到原始视频。
未来趋势
随着视频、音频内容分析技术、自然语言理解以及人工交互技术的不断发展与完善，未来的视频摘要技术将出现以下发展趋势:
1)多模态的视频摘要，即融合图像、视频、音频以及文本等多种媒体内容的视频摘要。大量的实验证明，将各种媒体的特征有机地结合在一起，才能最大限度地让用户在短时间内迅速理解并获取视频的内容，如标题与故事板相结合的摘要形式必定会比单一的标题或故事板的摘要形式更容易让人理解。
2)交互式的视频摘要。现在的视频摘要多半是主观的、按照生成者意图定制的摘要，力求让用户理解或浏览视频内容。但未来的视频摘要将是交互式的，允许用户指定摘要的形式，摘要哪方面的内容，便于用户自己设计个性化的摘要。未来的视频摘要技术目标是生成自适应的、可视化的视频摘要，即根据用户需求对内容进行自适应的表现。具体体现在允许用户对视频片段进行标注，允许用户调整缩略的压缩比，如对感兴趣的内容设置较小的压缩率。另外，它可以通过对用户交互记录的分析获取用户的喜好，按照用户喜好自适应地生成缩略。目前，已经能够实现通过交互式的地图以及时间线的方法对新闻视频按地区和时间进行快速信息的获取。
总而言之，视频摘要技术正在向多模态、个性化以及融合的方向发展，具有很好的研究价值以及广阔的应用前景。
摘要系统
视频摘要系统是BriefCam公司的重大创新，视频摘要是一项其所拥有的图像处理技术，将原始长度的视频创建成一个摘要。摘要能够将发生在不同时间的多个对象和活动同时呈现。