5.3 数字声音及应用 5.3.1 波形声音的获取与播放 5.3.2 波形声音的表示与压缩编码 5.3.3 波形声音的编辑 5.3.4 计算机合成声音 5.3.1 波形声音的获取与播放 2 5.3 数字声音及应用 声音的特性和类型 声音的特性和类型 声音由振动产生, 声音由振动产生,通过空气进行传播 声音是一种波, 声音是一种波,它由许多不同频率的 谐波组成 谐波的频率范围称为声音的“带宽” 谐波的频率范围称为声音的“带宽” 计算机处理的声音类型: 计算机处理的声音类型: 话音或语音(speech),专指人的说话声音,带宽仅为300~ ,专指人的说话声音,带宽仅为 话音或语音 ~ 3400Hz 全频带声音(如音乐声、风雨声、汽车声等), 全频带声音 如音乐声、风雨声、汽车声等 ,其带宽可达到 如音乐声 20Hz~20kHz ~ 人耳可听到的声音统称“可听声” 人耳可听到的声音统称“可听声”(audio) ,20Hz~ ~ 20kHz 3 5.3 数字声音及应用 数字波形声音的获取 步骤: 步骤: 1. 取样(sampling) 取样( ) 2. 量化(quantization,模数转换 ) 量化( , 模 拟 声 音 信 号 取样的 的 的 4 3. 编码(encoding) 编码( ) 取 样 量 化 编 码 数字 声音 01100011001··· 的 转换 量化 样 模 数字量(8 量转换 数字量 16 ) 数 样 码 数 的 , 5.3 数字声音及应用 数字波形声音的获取设备 声音的联机获取设备(声卡 声音的联机获取设备 声卡) 声卡 声波转换 为电信号 模 拟 声 音 microphone 声音卡 sound card 取 数 字 声 音 声音的 机获取设备 数 音 5 5.3 数字声音及应用 声音的重建与播放 计算机输出声音分为两步: 计算机输出声音分为两步: 1 声音的重建:把声音从数字形式转换成模拟信号形式,由声 声音的重建:把声音从数字形式转换成模拟信号形式, 卡完成 数字 解码 声音 011010011101… 把压缩编码的数字 声音恢复为压缩编 码前的状态 数模转换 插值 重建的模拟 声音信号 把声音样本从 数字量转换为 模拟量 把时间上离散的一组 样本转换成在时间上 连续的模拟声音信号 2 声音播放:将模拟声音信号经处理和放大后送到音箱(扬声器 声音播放:将模拟声音信号经处理和放大后送到音箱 扬声器 扬声器) 关于音箱: 关于音箱: 普通音箱接收的是重建的模拟声音信号 普通音箱接收的是重建的模拟声音信号 数字音箱直接接收数字声音信号 直接接收数字声音信号, 数字音箱直接接收数字声音信号,失真更小 6 5.3 数字声音及应用 声卡的功能与逻辑组成 波形声音的获取与编码 声卡的主要功能 波形声音的重建与播放 MIDI消息的输入 消息的输入 MIDI音乐的合成 音乐的合成 取样, 取样,量化 声音输入 DSP DMA接口 接口 D/A 重建, 重建,滤波 mixer 声音输出 音乐合成器 PC总线 总线 MIDI接口 接口 7 5.3 数字声音及应用 背景材料: 背景材料:声卡的几种类型 独立声卡: 独立声卡:以扩展卡形式插在机箱中使用 声卡的类型 软声卡: 芯片, 软声卡:仅1块CODEC芯片,负责多 块 芯片 声道取样与量化处理, 控制器部分 声道取样与量化处理,I/O控制器部分 集成在主板上的南桥芯片中, 集成在主板上的南桥芯片中,DSP的功 的功 集成声卡 能需由CPU协助完成 能需由 协助完成 硬声卡: 芯片外, 硬声卡:除CODEC芯片外,主板上还 芯片外 块音频主处理芯片, 有1块音频主处理芯片,很多音效处理 块音频主处理芯片 任务无需CPU参与就可独立完成 任务无需 参与就可独立完成 声卡的组成部 分均集成在主 板上 8 5.3 数字声音及应用 5.3.2 波形声音的表示 与压缩编码 9 5.3 数字声音及应用 数字波形声音的表示及其参数 数字波形声音是使用二进位表示的一种串行比特流, 数字波形声音是使用二进位表示的一种串行比特流,其数 据按时间顺序进行组织,文件扩展名为“ 据按时间顺序进行组织,文件扩展名为“.wav” 数字波形声音的主要参数有: 数字波形声音的主要参数有: 取样频率: 取样频率: 语音的取样频率低,一般为 语音的取样频率低,一般为8kHz 全频带声音(如音乐)的取样频率高,一般为 全频带声音(如音乐)的取样频率高,一般为44.1kHz 量化位数:通常为 位 位或16位 量化位数:通常为8位、12位或 位 位或 声道数目:单声道为 ,双声道为2 声道数目:单声道为1,双声道为 码率(比特率 , 码率 比特率),每秒钟的数据量 比特率 5.3 数字声音及应用 10 数字波形声音码率的计算 未压缩时数字波形声音的码率计算公式 码率 = 取样频率 × 量化位数 × 声道数 例: 声音类型 数字语音 CD立体声 立体声 声音信号带宽 (Hz) 300~3 400 ~ 20~20 000 ~ 取样频率 (kHz) 8 44.1 量化位数 (bits) 8 16 声道 数 1 2 未压缩时的 码率 64 kb/s 1411.2(kb/s) 压缩编码之后数字波形声音的码率为: 压缩编码之后数字波形声音的码率为: 未压缩时的码率/ 压缩后的码率 = 未压缩时的码率/压缩倍数 唱片的立体声音乐压缩为MP3后,若压缩倍数 例:上面CD唱片的立体声音乐压缩为 上面 唱片的立体声音乐压缩为 后 音乐的码率是: 是12倍,则该 倍 则该MP3音乐的码率是:118 kb/s左右 音乐的码率是 左右 11 5.3 数字声音及应用 数字波形声音的数据压缩 数字波形声音的数据量很大,例如: 数字波形声音的数据量很大,例如: 数字语音1小时的数据量大约是 数字语音 小时的数据量大约是30MB 小时的数据量大约是 CD立体声高保真的数字音乐 小时的数据量大约是 立体声高保真的数字音乐1小时的数据量大约是 立体声高保真的数字音乐 小时的数据量大约是635MB 数据压缩的必要性: 数据压缩的必要性: 为了降低存储成本和提高在网络上的传输效率 数据压缩的可能性: 数据压缩的可能性: 声音中包含了大量冗余信息;人耳的灵敏度有限, 声音中包含了大量冗余信息;人耳的灵敏度有限,允许有一 定失真 数字波形声音压缩编码的方法: 数字波形声音压缩编码的方法: 全频带声音:国际标准 全频带声音:国际标准MPEG;工业标准 ;工业标准Dolby AC-3 数字语音:固定电话使用ADPCM编码 数字语音:固定电话使用 编码 移动电话使用高效率的混合编码技术 12 5.3 数字声音及应用 全频带数字音频编码的标准 标准名称 MPEG-1 audio层1 层 MPEG-1 audio层2 层 MPEG-1 audio层3 层 MPEG-2 audio Dolby AC-3 压缩后的码率(每个声道 压缩后的码率 每个声道) 每个声道 192 kbps (压缩 倍) 压缩4倍 128 kbps(压缩 倍) (压缩6倍 64kbps(压缩11-12倍) (压缩 - 倍 与MPEG-1层1,层2,层3相同 层 层 层 相同 64 kbp 声道数目 2 2 2 5.1, 7.1 5.1, 7.1 主要应用 数字盒式录音带 DAB,VCD, Internet,MP3音乐 , 音乐 同MPEG-1 DVD, DTV,家庭影院 , 所谓“ 音乐” 所谓“MP3音乐”就是一种采用 音乐 MPEG-1层3编码的高质量数字声音 它 编码的高质量数字声音, 层 编码的高质量数字声音 能以10倍左右的压缩比降低高保真数 能以 倍左右的压缩比降低高保真数 字声音的存储量,使一张普通CD光盘 字声音的存储量,使一张普通 光盘 上可以存储大约100首MP3歌曲 首 上可以存储大约 歌曲 13 5.3 数字声音及应用 什么是流媒体? 什么是流媒体? 在因特网上收听(看 音 视 频节目的 种方式: 频节目的2种方式 在因特网上收听 看)音(视)频节目的 种方式: i 下载存储方式:先下载存储在计算机中,下载完毕后再播放(缺点: 下载存储方式:先下载存储在计算机中,下载完毕后再播放(缺点: 需要等待很长时间,并需要较大的存储容量) 需要等待很长时间,并需要较大的存储容量) 流式传输方式:边下载、边播放(优点: 流式传输方式:边下载、边播放(优点:只需要下载一部分数据之 后, 就可以开始一边播放一边下载,等待时间短、存储需求小) 就可以开始一边播放一边下载,等待时间短、存储需求小) i 流媒体技术就是允许在网络上让用户一边下载一边收看(听 流媒体技术就是允许在网络上让用户一边下载一边收看 听) 音视频媒体的一种技术 目前主要有3个公司的流媒体产品: 目前主要有 个公司的流媒体产品: 个公司的流媒体产品 1. 2. 3. Real Networks公司的 Real Media 公司的 微软公司的 Windows Media 苹果公司的 Quick Time 5.3 数字声音及应用 14 数字波形声音的主要文件格式 .wav——波形声音文件 波形声音文件 .pcm——使用 使用PCM编码的声音文件 编码的声音文件 使用 .mp2——MPEG 层 1 或层 编码的声音文件 或层2 .mp3——MPEG 层3 编码的声音文件 .rm,.ra(RealAudio)——RealNetworks的流式声音文件 , 的流式声音文件 .wma——微软公司的流式声音文件 微软公司的流式声音文件 .aif (Audio Interchangeable File Format)——苹果公司的 苹果公司的 声音文件 15 5.3 数字声音及应用 5.3.3 波形声音的编辑 16 5.3 数字声音及应用 波形声音编辑软件的功能 主要功能: 主要功能: 1 编辑声音:如声音剪 编辑声音: 辑、复制、调节音量 复制、 2 声音的效果处理:如 声音的效果处理: 混响、 混响、回声等 3 录音 4 声音的格式转换 5 播放声音 左声道 右声道 信号波形 信号波形 17 声音编辑软件的 典型用户界面 时间刻度 播放标尺 淡入 淡出 数字声音 的参数 5.3 数字声音及应用 5.3.4 计算机合成声音 18 5.3 数字声音及应用 什么是计算机合成声音? 什么是计算机合成声音? 计算机合成声音就是计算机模仿人说话或演奏音乐 计算机合成声音有两类: 计算机合成声音有两类: 计算机合成语音: 计算机合成语音: 计算机模仿人把一段文字朗读出来, 计算机模仿人把一段文字朗读出来,即把文字转换为语音 (简称为 TTS) ) 应用:有声查询、文稿校对、语言学习、语音秘书、自动报 应用:有声查询、文稿校对、语言学习、语音秘书、 警、残疾人服务等 计算机合成音乐: 计算机合成音乐: 计算机模拟各种乐器发声并按照乐谱演奏音乐 应用:计算机作曲、 应用:计算机作曲、配器等 19 5.3 数字声音及应用 计算机合成音乐( 计算机合成音乐(MIDI) ) 计算机合成音乐需要三个要素:乐器、乐谱和“演奏员” 计算机合成音乐需要三个要素:乐器、乐谱和“演奏员” MIDI MIDI 文件 媒体 播放器 消息 音乐 合成器 音乐 乐谱在计算机中使用 一种叫做MIDI的音 一种叫做 的音 乐描述语言来表示。 乐描述语言来表示。 使用MIDI描述的音 使用 描述的音 乐称为MIDI音乐。 音乐。 乐称为 音乐 一首乐曲对应一个 MIDI文件,其文件 文件, 文件 扩展名为 .MID 或 .MIDI 20 媒体播放器软件相当 于“演奏员”。播放 演奏员” MIDI音乐时,它先 音乐时, 音乐时 从磁盘上读入.MID 从磁盘上读入 文件,解释其内容, 文件,解释其内容, 然后以MIDI消息的 然后以 消息的 形式向声卡上的音乐 合成器发出各种指令 声卡上的音乐合成 器能像电子琴一样 模仿几十种不同的 乐器发出声音, 乐器发出声音,它 按照MIDI消息合成 按照 消息合成 出不同音色和音调 的音符, 的音符,通过扬声 器播放出音乐来 5.3 数字声音及应用 例:计算机合成的MIDI音乐 计算机合成的 音乐 MIDI的优点: 的优点: 的优点 数据量极小( 立体声少3个数量级 数据量极小(比CD立体声少 个数量级,比MP3少3 立体声少 个数量级, 少 个数量级) 个数量级) 易于制作和编辑修改 可以与波形声音同时播放 MIDI的不足: 的不足: 的不足 只能合成音乐, 只能合成音乐,不能合成歌曲和语言 音质与硬件设备相关 21 5.3 数字声音及应用 小结: 小结:计算机中的数字声音 数字声音的特点: 数字声音的特点: 是一种连续媒体, 是一种连续媒体,传输与播放有实时性要求 数据量大,对存储和传输的要求比较高, 数据量大,对存储和传输的要求比较高,必须进行压缩 数字声音的类型: 数字声音的类型: 取样(波形)声音 取样(波形) 数字语音:应用于电话、手机、 数字语音:应用于电话、手机、多媒体配音等 全频带声音: 和 音乐, 全频带声音:CD和DVD音乐,数字电视伴音等 音乐 计算机合成声音 合成语音 合成音乐(MIDI) 合成音乐( ) 22 5.3 数字声音及应用