观看抖音直播过程中最让人难以忍受的不是卡顿、也不是延迟,而是你看着眼前的画面发现和声音完全对不上,也就是音画不同步。那么,视频直播为什么会出现音画不同步的情况呢?
视频播放过程中出现音画不同步有两种情况:
第一情况就是视频文件本身就有问题。
音频和视频在采集的时候,摄像头采集到画面和同时刻麦克风采集的音频都有相应的时间戳,两者的时间差越趋近于零,音画的同步就越好。所以,如果麦克风距离太远的话,采集的数据会导致视频文件本身出现音画不同步的问题。
但是摄像头和麦克风采集音视频,一般都要在硬件上都会经过一些信号处理模块,如果处理延时不稳定的时候,则会导致输出数据的时间不稳定,从而导致产生误差,带来音画不同步问题。
这些情况都是视频文件本身就出现了音画不同步的问题。
第二种情况就是视频文件没有问题。
这类的情况常见有的:
1、硬件配置太低
硬件配置太低的话,GPU性能不足,就会出现部分视频解码完成后,已经远慢于当前的音频时钟,这个时候就只能丢弃掉,从而导致画面更新不及时,与正在播放的音频无法匹配上,从而产生音画不同步的现象。
2、网络传输问题
网络不稳定的情况下会出现延时、丢包等问题,同一时刻的音视频包不会正好同时准确到达,如果在接收到了数据后再打上当前的时间戳,也会出现不同步问题。
3、直播过程中的前处理阶段
前处理阶段就是对图像美化,风格化,图像处理等,也就是常说的美颜。而美颜算法需要用到GPU编程,如果GPU占用太高会导致手机发烫,而手机发烫会导致摄像头采集掉帧,采集掉帧画面就会出现问题。
以上这些就是出现音画不同步常见的情况,不过这些问题以现在的技术都是可以轻松解决的。画面不同步固然让人头痛,直播过程中的卡顿也让人难以忍受。