system: [SYSTEM]

user: 3. 丢包对QoE的影响 通过深入分析失真网络，我们知道网络视频传输失真的主要表现形式是延迟、丢包和抖动。其中，延迟几乎对视频的质量没有影响，而网络的抖动所导致的效果就是丢包，所以统一采用丢包率衡量网络的性能。本节主要是在使用MPEG4编码器的基础上研究丢包对QoE的影响。MPEG是Moving Pictures Experts Group (动态图象专家组)的简称，是国际标准化组织(ISO)成立的专责制定有关运动图像压缩编码标准的工作组所制定的国际通用标准。其中MPEG1是VCD的视频图像压缩标准；MPEG2是DVD/超级VCD的视频图像压缩标准，MPEG4是网络视频图像压缩标准之一。MPEG4之优势在于其压缩比(最大可达4000:1)，低位元速率，较少之核心程式空间，加强运算功能，及强大之通讯应用整合能力，己成为影音数位视讯产业，最重要之功及标准格式。日本NTT制定标准，让动态影像能以不同通信速率传递。国际电脑界推出了适合电视动画、移动通讯、电脑互动影片、随选视讯的第四代动态影像解压缩协定——MPEG4，这一协定将使得动画影像应用范围更加广，画面更加自然。VCD可以在符合第一代动态影像解压缩协定(MPEG1)的多媒体电脑上播放，如果透过网络传输播放影像，大约要通过64 K以上的数据专线或整体服务数据网络，才能够观看到比较自然的影像。高画质电视或高容量DVD则使用第二代动态影像解压缩协定(MPEG2)，电脑如果要看DVD光盘，除了DVD光驱外，还要加装动态影像解压卡(当然，CPU + 3D加速卡，完全可以以软解压的方式来实现)，因为高画质电视处理资料量为普通动画影像的6倍，若在网络上传输，至少要用3 Mbps的专线，相当于两条T1专线，根本无法普及化。因此，日本NTT移动通信网公司主导国际电信标准组织，在包括松下、东芝、富士通、恩益禧等电脑通讯业者参与下，着手开发宽频移动通信，又称为下一代移动通信，让不同速率的通信传输都可结合MPEG4播出，也搭配制订了MPEG4标准。NTT在日本电脑展上展示了以28，800 bps传输，每秒播放10个176乘144画面的迷你画面，适用于视讯电话或远距监视；若改用流行的56 Kbps猫，传输的画质会更好，还能校正解压缩错误，避免影像漏失；如果用384 Kbps数据专线，就可以每秒15至30画面速度播放，画面大小为352乘288；若是2 Mbps专线就能播出完整的720乘480画面，每秒30个画面，这和当时电影、电视效果就完全相同了。MPEG4影音数位视讯产业己在台湾异军突起，悄悄地在市场中展现具潜力之商机。MPEG4是一个影音串流视讯压缩技术及商业标准格式，继MPEG2、MP3、VCD、DVD之后，MPEG4之优势压缩比(最大可达4000:1)，低位元速率，较少之核心程式空间，加强运算功能，及强大之通讯应用整合能力，己成为影音数位视讯产业，最重要之功及标准格式。亚洲国家(主要以日本、中国台湾、韩国及大陆为主轴)是一个不论在IT、IA及无线通讯产品设计、研发及生产上成长最快速之市场；台湾厂商在此产业动向，更扮演其重要之角色。继台湾在传统夕阳产业及科技人力密集之生产制造基地，转移至海外，其中以大陆为最大之产业外移地区，台湾产业生态必然受到冲击及转型，研发，设计，IP (智慧财产)及专业之系统整合俨然成为台湾产业必经之定位，从美商Intel及Phoenix至台湾设立研发中心，不难看出其端倪。MPEG4影音数位视讯产业所研发，设计及系统整合方面，藉著产业世代交替阶段中，孕育出丰富之商机，其MPEG4影音数位应用商机可分为三大类：一、以安全系统，数位监视系统(Surveillance)为主--MPEG4的高压缩比，能够让数位录(放)影机传输更快，存取空间更少。并可透过Internet传输，播放较佳的影像品质，其中IC晶片厂商有TI及淩阳为主；因主要是在监控应用可搭配一般的数位或类比监视系统应用中，此数位监视系统或数位监控录影——DVR (Digital Video Recorder)可与宽频网际网路(Internet)及无线通讯(WLAN)结合，衍生出更多之MPEG4应用商机；国内有潜力之厂商包括：悠克、慧友、镇宇、……二、以数位相机(DSP)，一般数位DV摄录影机(CCD)，可携带型MPEG4 (或DivX)多媒体影音(录)放，影机(Portable MPEG4/DivX Player or Viewer)为主，此应用领域需较高品质之影像解析度或画素，通常为百万画素，彩色液晶萤幕以1.5吋、2.5吋及3.5吋为主，影音动画可达到160 × 120/320 × 240 (DSP)或运用DXP讯号处理(CCD)加入了MPEG4影音录功能，使其增加更多的空间；录制高品质之影像和语音，此应用领域可与手机或PDA整合加入MPEG4影音压缩功能，并可与无线通讯(Blutooth及WLAN)整合，成为便利之无线影音应用产品。国内有潜力之厂商包括：天瀚、明碁、致伸、东雅、金宝、建邦……此市场供应商一直是以日本为主，主要厂商包括：Sharp、Sony、Panasonic、Nikon、FujiFilm、Olympus、Canon……三、以可携带型之行动数位影音录放影机DVR、数位电视/视讯广播机上盒DVB (Digital Video Broadcasting)及STB (Set-Top-Box)为主，从类比到数位，从一般的广播到录放功能，MPEG4己在数位影音录放领域扮演革命性的角色；其中最大的特色是有HDD硬碟或CD-RW整合到系统中，MPEG4己逐渐地在数位影音录放领域中取代了MPEG2的地位；虽然DVB STB以MPEG2为其为其标准之压缩规格，主要DVB晶片供应厂为ST (5518)及Fujitsu (2250)为主流，其中PVR (Personal Video Recorder)功能己运用到STB，但市场尚未打开；同时市场己有以MPEG2之外接式DVR；将来MPEG4整合HDD及CD-RW之外接用DVR，即可取代MPEG2 DVR，同时也会刺激MPEG4跨入DVB STB之压缩技术升级。 3.1. 实验环境 由于在真实的网络上，无法量化的去模拟网络不同程度的损伤。为此，在windows上搭建cygwin + NS2的网络仿真环境，通过改变QoS参数的方法去模拟网络不同程度的损伤。再将NS2和Evalvid进行整合得到MyEvalvid。MyEvalvid使得Evalvid能通过myEvalvid，my_UDP，my_Evalvid_Sink这三个接口程序与NS2做沟通，介绍如下。1) myEvalvid：读取经VS程序处理过后的影片记录文件，把记录文件中的每一个画面切割成较小的片段，并在用户在Tcl Script中设置好的时间内把这些区段往较底层的UDP层传送出去。2) my_UDP：基本上my_UDP Agent只是UDP Agent的延伸。这个新的Agent把封包传送时间、封包的识别和封包负载大小记录在Tcl Script中所设置的文件中。3) myEvalvid_Sink：接收由my_UDP所传送出去的封包，并且记录接收时间、封包的识别和封包负载大小，记录在Tcl Script所设置的文件中。 3.2. 拓扑结构描述和高清视频选择 有线拓扑结构一共有4个节点，n0与n1和n2与n3之间是双工链路，链路的频宽是10 MBps，延迟的时间设置为1 ms。n1和n2之间是单工链路速度，频宽是640 kb，延迟的时间设置为1 ms。单工和双工的队列管理机制都采用DropTail，且队列的长度都是50个封包大小。在n0上建立UDP Agent，封包大小设置为1500 bytes，在n3上建立NULL Agent，封包大小设置为1500 bytes。最后，将两个Agent设置好联机。仿真时间是10 s。无线网络的拓扑结构总共有4个无线节点，n0~n3这四个无线节点n0 (200， 400)，n1 (200， 300)，n2 (400， 300)，n3 (400， 400)。n0设置为移动节点，在模拟的第5 s的时候，以5 m/s的速度从起始位置移动到(300， 400)位置，然后在第25 s的时候，再移动到(200， 400)，也就是n0的起始位置。在n0上建立udp1 Agent，在n3上建立null1 Agent，然后在这个上面建立联机。仿真时间是50 s。我们选取高清视频源进行实验，高清视频源主要有525序列和625序列。在充分了解高清视频的基础上，选出人类剧烈运动，内容复杂度高的视频src13_hrc1_525.yuv和风景，内容复杂度低的src22_hrc1_525.yuv两个视频。高清视频即现在的HDTV，HDTV是DTV标准中最高的一种，即High Definition TV，故而称为HDTV。HDTV规定了视频必须至少具备720线非交错式(720 p，即常说的逐行)或1080线交错式隔行(1080 i，即常说的隔行)扫描(DVD标准为480线)，屏幕纵横比为16:9。音频输出为5.1声道(杜比数字格式)，同时能兼容接收其它较低格式的信号并进行数字化处理重放。HDTV的规格：HDTV规定了视频必须至少具备720线非交错式(720 p，即常说的逐行)或1080线交错式隔行(1080 i，即常说的隔行)扫描(DVD标准为480线)，屏幕纵横比为16:9。音频输出为5.1声道(杜比数字格式)，同时能兼容接收其它较低格式的信号并进行数字化处理重放。HDTV有常见的三种分辨率，分别是：720 p (1280 × 720P，非交错式 欧美国家有的电视台就是用这种分辨率)，1080 i (1920 × 1080，隔行扫描)，1080 p (1920 × 1080，逐行扫描)，其中网络上流传的以720 p和1080 p最为常见，480 p属于标清，480 p效果就是市面上的DVD效果！480 p是一种视频显示格式。字母p表示逐行扫描 (progressive scan)，数字480表示其垂直分辨率，也就是垂直方向有480条水平线的扫描线；而每条水平线分辨率有640个像素，纵横比(aspect ratio)为4:3，即通常所说的标准电视格式(standard-definition television， SDTV)。帧频通常为30赫兹或者60赫兹。一般描述该格式时，最后的数字通常表示帧频。480 p通常应用在使用NTSC制式的国家和地区，例如北美、日本、台湾等。480 p 60格式被认为是准高清晰电视格式(enhanced-definition television， EDTV)。1) REMUX：提取原版Blu-ray和HDDVD视频进行无损封装，AVI视频部分不重编码，音频一般采用原片音轨，可能采用DVD提取的国粤语和其他音轨；2) AVI：所谓封装格式就是将已经编码压缩好的视频轨和音频轨按照一定的格式放到一个文件中，也就是说仅仅是一个外壳，或者大家把它当成一个放视频轨和音频轨的文件夹也可以。随着网络传输质量的不断提高，在三网融合的大环境下，CC视频及时推出了码率1024、分辨率1280 × 960的超高清视频服务，带领视频行业跨入全新的高清高品质时代。AVI是微软1992年推出用于对抗苹果Quicktime的技术，尽管国际学术界公认AVI已经属于被淘汰的技术，但是由于windows的通用性，和简单易懂的开发API，还在被广泛使用。AVI的文件结构、分为头部， 主体和索引三部分。主体中图像数据和声音数据是交互存放的。从尾部的索引可以索引跳到自己想放的位置。AVI本身只是提供了这么一个框架，内部的图像数据和声音顺据格式可以是任意的编码形式。因为索引放在了文件尾部，所以在播internet流媒体时已属力不从心。很简单的例子，从网络上下载的片子，如果没有下载完成，是很难正常播放出来。另外一个问题是AVI对高码率VBR音频文件支持不好。VBR全称是Variable BitRate，就是动态比特率，可以根据当前的需要定义不同的比特率，避免了浪费，并且提高了利用率。随之问题也就来了，因为容器里的图像和声音是分开的，所以播放时需要一个图像和声音的同步过程，如果CBR音轨的话因为码率是定值，同步不成为问题，可是VBR音轨是不断的在变换，而AVI没有时间戳去让VBR音轨和图像同步，这样就会产生图像声音不同步的问题。后来VirtualDub提出了一种新的方法扩充了AVI对VBR音频的兼容，但是在高码率时会产生丢失数据的问题，从而导致有损音效，这一点问题到如今都没有比较完美的解决方法。并且更加令人遗憾的是，对TrueHD，DTS-HD等音效更是完全不能支持。3) TS：现今网上大多流传以TS封装的HDTV remux版，PS封装只能在HDDVD原版才看到，所以我们来着重分析一下TS封装格式。电视节目是你任何时候打开电视机都能解码(收看)的，所以，MPEG2-TS格式的特点就是要求从视频流的任一片段开始都是可以独立解码的。从结构上来说，TS是由头文件和主体所组成的，扩充过的TS流还包括时间戳。这样不管是什么格式的VBR音轨，都很容易通过时间戳来同步图像。当然，对新的声音格式来说，需要新的分离器，解码器来实现解码。如今正在不断改进开发中。除了REMUX版本之外(Remux的意思是无损的提取出HD-DVD和 BluRay-DVD里面的视频数据和音频数据，封装到我们熟悉的TS或者AVI文件中)，有不少HDRIP (重新编码，即有损压缩过之后的片)使用的封装格式一般是AVI，MKV和MOV。AVI封装自然不需要介绍了，MOV是Quicktime封装，这一封装和AVI几乎是同一时代的，缺陷也不少，如今很少有人使用。而使用MKV是Matroska的简称，它是一种新的多媒体封装格式，比较常见的搭配是X264 + MKV。 3.3. 仿真实验 这个实验首先采用高清视频src13_hrc1_525.yuv和src22_hrc1_525.yuv使用MPEG4编码在有线环境下进行。首先，我们假设封包遗失率对用户体验质量没有影响。其次，我们假设视频内容复杂度对用户体验质量没有影响。实验结果如图1和图2所示，做拟合曲线图如图3和图4所示。 3.4. 仿真结果的分析 观察图1和图2可以发现，封包遗失率不同，用户体验质量不同，因此假设1不成立，即封包遗失率对用户体验质量有影响。对比两个图可以发现，相同丢包率情况下，用户体验质量不同，这是由于两个视频的内容复杂度不同，因此，假设2不成立，即视频内容复杂度对用户体验质量有影响。观察图3和图4两个结果图发现两个图都是随着丢包率的增大，用户体验质量先是增加，然后减小，最后再增大，并且存在两个拐点。并且对比两个图可以知道，视频内容复杂度越小，用户体验质量越差。但是 图1. Src13丢包率和PSNR图 图2. Src22封包遗失率和PSNR值图 图3. Src13视频的拟合曲线图 图4. Src22视频的拟合曲线图 src22_hrc1_525.yuv视频的第一个拐点并不是很明显。两个图的横坐标都是封包遗失率，纵坐标都是PSNR值。对于src22视频，延迟时间设置对用户体验质量和封包遗失率没有影响。链路速度的下限是10 MB和74 kb。封包大小的下限是540 kb，上限是2050 kb。量化参数的范围是0.01~255。因此，封包遗失率极少取到0.6~1之间。在第一个拐点的左侧和第二个拐点的右侧，丢包率越大，用户体验质量越好。造成这种现象的原因是视频的内容复杂度如较大的空间复杂度和时间复杂度会对编码失真产生掩盖效应，而视频失真主要是由编码失真和网络传输失真组成。在这里我们用时域复杂度和空域复杂度代表视频的内容特性，用丢包率来衡量网络传输失真，当视频内容复杂度很大也就是时域复杂度和空域复杂度很大时，它对编码失真的掩盖效应远远大于编码失真和网络传输失真的总和，因此，丢包率越大，用户体验质量越好。在第一个拐点的右侧和第二个拐点的左侧，丢包率越大，用户体验质量越差。造成这种现象的原因是当双工和单工链路速度较小时，尤其在小于实际传输速度范围内传输时，双工和单工链路速度设置的越小，网络会越加拥塞，丢包率会越大，用户的体验质量越差。封包的大小设置的越小，则封包的数量越多，在封包的错误率相同的情况下，封包的遗失率越大，则用户的体验质量QoE越小。压缩的量化参数越大，需要较多的封包去传送，封包遗失率越大，压缩出来的视频质量越差。GOP越大，其等待下一个Ｉ帧到来的时间会比较长，故恢复时间会比较长，用户体验质量越差。并且当时域复杂度和空域复杂度不大时，它对编码失真的掩盖效应远远小于编码失真和网络传输失真的总和，因此，丢包率越大，用户体验质量越差。通过上面的图3和图4我们可以发现，在不同的视频的情况下，丢包对QoE的影响程度不同，视频的内容越是复杂，视频的QoE越大。得出结论不同的视频内容对视频的QoE有影响。造成这种现象的原因是视频内容运动越是复杂，时间复杂度和空间复杂度越大，对编码失真产生掩盖效应，因此，用户体验质量越好。总体来讲，得出的结论是不同的内容复杂度和不同的丢包率对用户体验质量有显著的影响。